GitHub Copilot の Vision 能力
423 Views
February 16, 25
スライド概要
パブリックプレビュー機能の GitHub Copilot の Vision 能力を触ってみました
mishizaki
関連スライド
各ページのテキスト
GitHub Copilot の視覚の確 認
GitHub Copilot の視覚 • Public Preview 機能 • GitHub 社の記事では Vision と書かれている • https://github.blog/changelog/2025-02-06-next-editsuggestions-agent-mode-and-prompts-files-for-githubcopilot-in-vs-code-january-release-v0-24/ • チャット欄の既存ファイル添付機能で画像を渡せるようになっ た • クリップボードからの貼り付けも可能 • 仕様には Visual Studio Code の Insiders 版が必要
Visual Studio Code の Insiders 版 • https://code.visualstudio.com/insiders/ • 通常版と共存可能 • アイコンの色が通常版は青いが、Insiders 版は緑
確認内容目次 • コードを画像にして読ませる • 写真を読ませる・写真を HTML / HTML 以外にさせる • コードで書いた UI 画面の画像をコードにさせる • エラー画像からエラーを解消させる • Excel を Markdown にさせる • 画像を UML にさせる • 画像を Markdown にさせる
コードを画像にして読ませる コードの画像を添付する コードの改善提案 画像に映っているものを問う 画像のテキストをテキスト化 すべて OK
写真を読ませる・写真を HTML / HTML 写真をデザインとして扱って 以外にさせる UI コードを出すことが可能 コードと無関係の画像を添付する 一般的な質問、PlantUML / Markdown は × 映っているものもテキス トで反映されているため、 Copilot は認識できてい ることがわかる
コードで書いた UI 画面の画像をコード にさせる もともとコードで書いている画面 UI の写真を添付する あまり良いコードとは言えませんが、十分にコード化される ※ Copilot は XAML は少し苦手であることは以前の検証でわ かっています
エラー画像からエラーを解消させる コードとエラーメッセージの映った画像を添付する エラー原因の指摘と 改善コードが得られる
エラー画像からエラーを解消させる 前ページの状況はあまり現実的ではないので より現実に沿ったデバッグ時の実行エラー そつなく回答が得られる
Excel を Markdown にさせる Excel 方眼紙の画像を添付する Markdown が 得られる 文字修飾など はないが完璧
Excel を Markdown にさせる(セル結合) Excel 方眼紙～セル結合している場合 結合セルの部分すべてにテキストが入る うれしい解釈で Markdown が得られる
画像を UML にさせる PlantUML で書いた UML の画像を添付する 完全に復元されたコード が得られる
画像を Markdown にさせる PlantUML で書いた UML の画像を添付する 最初から Markdown にするの ではなく、一度 PlantUML に してから PlantUML を Markdown 設計書に 少し不完全な結 果が得られる 完全な結果が 得られる
まとめ 赤字は公式で謡われているもの 黒太字は独自検証の結果、面白そうなもの コードを画像にして読ませる ◎ 完全な結果 (ただし使いどころはあまりないと思われる) 普通の写真を読ませる △ 写真は解釈しているが、プログラミングに関係な いと判断され回答が得られない 写真を HTML にさせる ○ 写真を画面 UI イメージとみなして HTML 化可能 写真を HTML 以外にさせる × PlantUML や Markdown は不可 コードで書いた UI 画面の画像をコード ◎ にさせる 良いコードとは言えないが、十分なコードが得ら れる エラー画像からエラーを解消させる ◎ 完全な結果 Excel を Markdown にさせる ◎ 完全な結果 UML 画像を UML にさせる ◎ 完全な結果 UML 画像を Markdown にさせる △ 精度に課題。一度 PlantUML 化を挟むことで完全 な結果が得られる