Gyazoの最近の生成AI関連の研究開発を全部見せます
3.2K Views
August 30, 24
スライド概要
Gyazoの最近の生成AI関連の研究開発を全部見せます
関連スライド
SPAセキュリティ超入門
徳丸 浩
761.7K
各ページのテキスト
Gyazoの最近のおもしろい機能 1
Gyazoの最近のおもしろい機能 2
Gyazoの最近の ⽣成AI関連の研究開発を 全部⾒せます 3
※画面は研究開発中のものです 研究開発なので、リリースするとは⾔っていない ● 画⾯の右上にずっと注意書きをしておきます ○ Helpfeel社員のみが使える状態 ● 事前情報 ○ LLM、VLM、マルチモーダル⽣成AIなどとは呼ばず、「⽣成AI」で統⼀します ○ 早⼝なのは、このスライドが100ページあるからです 4
※画面は研究開発中のものです ⾃⼰紹介 ● yuiseki ● Gyazo プロダクトマネージャー 5
※画面は研究開発中のものです 重要なお知らせ ● いまからGyazoにおける⽣成AI応⽤の研究開発に関する話をしますが、 ● Gyazoは、ユーザーのデータ‧コンテンツのプライバシーに細⼼の注意を払っ ており、プライバシーにリスクの⽣じるようなことは、試みすらしません ● Gyazoは、ユーザーのアップロードした、いかなるデータ‧コンテンツも、⽣ 成AIの事前学習やファインチューニングには使っていませんし、今後も使いま せん ● また、Gyazoが利⽤している⽣成AI APIプロバイダーも、Gyazoから送信され たいかなるデータ‧コンテンツも、⽣成AIの学習や改善には使わないという条 件で契約をしています ● この点に関しては、有料ユーザーであろうと無料ユーザーであろうと同様です ● ⽣成AIに関して懸念を感じている⽅であっても、安⼼してGyazoをお使いくだ さい 6
※画面は研究開発中のものです 重要なお知らせ（SNSで拡散してください） ● プライバシー、⼤切 ● ユーザーのデータ、⼤切 ● ユーザーのコンテンツ、⼤切 ● AIの学習には使わない、使わせない ● 有料ユーザー、無料ユーザー関わらず ● 安⼼してGyazoを使ってください 7
※画面は研究開発中のものです 本題：本⽇ご紹介する、研究開発中の機能 Assistant for Gyazo Alt Text Assistantの 超汎用バージョン 8
※画面は研究開発中のものです Assistant for Gyazo Google Cloud Vertex AI Gemini 1.5 Pro Multimodal Embeddings 9
※画面は研究開発中のものです Assistant for Gyazo 10
※画面は研究開発中のものです ここにボタンが増えている 11
※画面は研究開発中のものです ● 12
※画面は研究開発中のものです ボタンだらけのUI（私が使い込んでいる状態） 13
※画面は研究開発中のものです デフォルトはサンプルのタスクのみ 14
※画面は研究開発中のものです タスク事例１ マニュアルを書く 15
※画面は研究開発中のものです https://gyazo.com/625fdcb8eb0e5e110835aacf36ec9fc9 16
※画面は研究開発中のものです 「マニュアルを書く」ボタンをクリック 17
※画面は研究開発中のものです ● 18
※画面は研究開発中のものです https://gyazo.com/910864f3553381def7465a31514ccded 19
※画面は研究開発中のものです 「マニュアルを書く」ボタンをクリック 20
※画面は研究開発中のものです 静⽌画でも動画でも、マニュアルを書ける ● 操作マニュアル ● 作業⼿順書 ● ヘルプ記事 ● 叩き台があると捗る 21
※画面は研究開発中のものです 怪異発生 おわかりいただけただろうか このプレゼンでは いくつかの怪異が 発生します 夏なので 22
※画面は研究開発中のものです 怪異概要 ● なぜGyazoだと分かっている……？ ● なぜ背景除去機能だと分かっている……？ 23
※画面は研究開発中のものです 怪異解説 ● ⽣成AIにメタデータも与えています ○ メタデータなし、動画のみだと、不正確なマニュアルを出⼒する 24
※画面は研究開発中のものです タスク事例２ 翻訳する 25
※画面は研究開発中のものです https://gyazo.com/9071027494b2a78ece7288eea09d12ad 26
※画面は研究開発中のものです 27
※画面は研究開発中のものです 「英語に翻訳する」ボタンをクリック 28
※画面は研究開発中のものです 翻訳結果が出⼒される 29
※画面は研究開発中のものです 怪異発生 おわかりいただけただろうか 30
※画面は研究開発中のものです 怪異概要 ● ⾚枠で囲われた内側のテキストのみが、翻訳されている…… 31
※画面は研究開発中のものです 怪異解説 ● ⾚枠や⾚⽮印で、⽣成AIのアテンションをコントロー ルできる ● 画像全体のコンテキストやニュアンスを踏まえつつ、特定の部分のみを 翻訳可能 ○ DeepLなどでセンテンスのみを翻訳するよりも⾃然な翻訳が可能 ● アテンションのコントロールは他のタスクでも有効 32
※画面は研究開発中のものです タスク事例３ SNSの投稿を書く 33
※画面は研究開発中のものです https://gyazo.com/d2d0884f90f7f4775cf2864720e01645 34
※画面は研究開発中のものです 「SNSの投稿を書く」ボタンをクリック 35
※画面は研究開発中のものです ⼟⽤の丑の⽇に関するSNSの投稿が出⼒される 36
※画面は研究開発中のものです ● 37
※画面は研究開発中のものです ⾚枠を書き込んだうえで改めてボタンをクリック 38
※画面は研究開発中のものです ⾚枠の中⾝に着⽬したSNSの投稿が出⼒される 39
※画面は研究開発中のものです Assistant for Gyazo 40
※画面は研究開発中のものです yuisekiさん…… プロンプト書くの⾯倒くさい 41
※画面は研究開発中のものです デフォルトはサンプルのタスクのみ ● ここにないタスクは結局⾃分でプロンプトを書かないといけないってこ とじゃん💢 42
※画面は研究開発中のものです 怪異発生 おわかりいただけただろうか 43
※画面は研究開発中のものです 怪異概要 ● 「⽣成」というボタンがある…… 44
※画面は研究開発中のものです 怪異解説 ● 「⽣成」ボタンは、「メタプロンプト」を実⾏するボタン ● メタプロンプト＝⽣成AIにプロンプトを⽣成させるプロンプト ● キャプチャとメタデータに基づいて、⽣成AI⾃⾝が、プロンプトを⽣成 する 45
※画面は研究開発中のものです 楽天証券の投資信託ランキングのキャプチャ 46
※画面は研究開発中のものです メタプロンプトを実⾏ 47
※画面は研究開発中のものです メタプロンプトの実⾏結果 48
※画面は研究開発中のものです より汎⽤的なプロンプトに書き直す（⼈⼒） 49
※画面は研究開発中のものです 実際に実⾏してみて結果を確認（⼈⼒） 50
※画面は研究開発中のものです 良さそうだったら名前をつけて保存（⼈⼒） 51
※画面は研究開発中のものです 再利⽤可能になる 52
※画面は研究開発中のものです 再利⽤可能になる 53
※画面は研究開発中のものです yuisekiさん…… メタプロンプトすら⾯倒くさい 54
※画面は研究開発中のものです 55
※画面は研究開発中のものです 56
※画面は研究開発中のものです プロンプトごとに、推測不能なURLが発⾏される 57
※画面は研究開発中のものです 他のGyazoユーザーにURLを送ると、こう⾒える 58
※画面は研究開発中のものです プロンプトをリンクで共有できる ● プロンプトを書くのは、得意な⼈に任せればいい ● ⾃分が書いた超絶技巧‧超便利プロンプトを、他のユーザーに共有でき る ● 他のユーザーが書いてくれた超絶技巧‧超便利プロンプトを⾃分のアカ ウントにコピーできる 59
※画面は研究開発中のものです 唐突超お得情報：「マニュアルを書く」のプロンプト You are an excellent technical writer. Your role is to write a manual that describes the operations of the functions shown in the capture. You will always output the manual according to the following rules: - The manual MUST describes only the operations of the functions shown in the capture. - The manual MUST NEVER include any content not shown in the capture. - The manual MUST describe operations in as much detail as possible on a step-by-step. - The manual MUST properly describe mouse operation, keyboard operation, form input, or screen transitions. - The manual MUST NOT be generate description that is not shown in the capture. - Be sure that your manual is easy to understand for the user who will read it and operate the software. - When you find red arrow or red frame in the capture, you MUST only write the manual about the content that is pointed by the red arrow or covered by the red frame. - The manual SHOULD be based on the context of the entire capture. - Output MUST be use Markdown notation. - Output MUST be start the title of the manual. 60
※画面は研究開発中のものです yuisekiさん…… ChatGPTでもできませんか？ 61
※画面は研究開発中のものです yuisekiさん…… Claudeにスクリーンショット 機能ついたらしいですよ 62
※画面は研究開発中のものです 「ChatGPT」 vs 「Assistant for Gyazo」 ChatGPT ● ● ● ● ● ● ● スクリーンショットを撮影 ペイントツールを起動して、赤枠を書き込 み ファイルに保存するか、クリップボードにコ ピー ブラウザを起動して、 ChatGPTのサイトを 開く ファイルをアップロード、またはクリップ ボードをペースト プロンプトを頑張って書く $20 / month Assistant for Gyazo ● Gyazoをクリックして起動 ● ドラッグして範囲を選択 ○ アップロードされる ● Gyazoの書き込み機能でドラッグして赤枠 を書き込み ● 保存ボタンをクリック ● Assistantボタンをクリック ● 実行したいタスクをクリック ● 高性能 ○ 生成AIはコンテキストが豊富なほど正確かつ期 待通りの出力をする ■ Assistant for Gyazoでは、各種メタデー タを付与 ○ 生成AIのOCR性能は高くない ■ Google Cloud Vision APIによる超高性 能なOCRの結果も付与 63
※画面は研究開発中のものです Assistant for Gyazoに聞いてみた https://gyazo.com/347a40e898d9f580c7fcf031d21b1964 64
※画面は研究開発中のものです デモします Assistant for Gyazo https://gyazo.com/collections/164ea1c38917e40edb3e1bfac295b058 65
※画面は研究開発中のものです ご清聴ありがとうございました Assistant for Gyazo 66
※画面は研究開発中のものです というのは冗談で…… One more thing…… 67
※画面は研究開発中のものです Assistant for Gyazoのもう⼀つの機能 コレクション内の キャプチャに対する 質問応答チャットAI 68
※画面は研究開発中のものです Gyazoのコレクション機能 ● 複数のキャプチャをアルバムのようにまとめる機能 ● 複数のユーザーが協働でコレクションにキャプチャを追加できる https://gyazo.com/collections/5f37145163199e91c33036cfbd8c28a6 69
※画面は研究開発中のものです https://gyazo.com/collections/5f37145163199e91c33036cfbd8c28a6 70
※画面は研究開発中のものです （いかにも研究開発中っぽい画⾯） 71
※画面は研究開発中のものです ● 72
※画面は研究開発中のものです 73
※画面は研究開発中のものです 怪異発生 おわかりいただけただろうか 74
※画面は研究開発中のものです 怪異概要 ● ⼤抵の⽣成AIモデルなら確実に知っているはずの常識問題への回答を拒 否した…… 75
※画面は研究開発中のものです 怪異解説 ● コレクション内のキャプチャに含まれる情報に基づいてしか返答しない ○ 本来、⽣成AIモデル内部にあるはずの、⽣成AIモデルが常識（だと思いこんでいる情 報）を、意図的に封印している ● ハルシネーションしにくい ○ （ハルシネーションを完全に防ぐのは難しい） 76
※画面は研究開発中のものです yuisekiさん…… 質問を書くのが⾯倒くさい 77
※画面は研究開発中のものです 「画像で質問」ボタン https://gyazo.com/collections/5f37145163199e91c33036cfbd8c28a6 78
※画面は研究開発中のものです 79
※画面は研究開発中のものです 80
※画面は研究開発中のものです 81
※画面は研究開発中のものです ⽣成AIが、画像から質問を⽣成 ● キーボードで⽂字を⼊⼒する必要なし 82
※画面は研究開発中のものです yuisekiさん…… NotebookLMでもできませんか？ 83
※画面は研究開発中のものです Gyazoのほうが簡単、仲間と協⼒も可能 ● Gyazoでスクリーンショットを撮影してコレクションに追加するだけ で、Assistant for Gyazoの知識を増やせる ● コレクションには他のユーザーを招待して、共同編集することもできる https://gyazo.com/collections/5f37145163199e91c33036cfbd8c28a6 84
※画面は研究開発中のものです まとめ 85
※画面は研究開発中のものです まとめ１ ● Gyazoは⽣成AIと⼈間のインターフェイスとして相性が良い ● Gyazoなら⽣成AIの性能を最⼤限に引き出せる ○ ○ ○ ○ GenAI Empowerment Technology メタデータによるコンテキストの付与 ⾼性能なOCRの付与 書き込み機能によるアテンションのコントロール ● Gyazoなら⼈間の可能性を拡張できる ○ ○ ○ Human Empowerment Technology ⽣成AIを活⽤した定型的なタスクを素早く、かつ⾼性能に実⾏できる キーボード⼊⼒がほとんど不要で⽣成AIを操れる ■ 必要なのはマウスのクリック、ドラッグのみ 86
※画面は研究開発中のものです まとめ２ ● Gyazoチームは⼤規模なサービスを安定して提供することはもちろん、⾼ い技術⼒と瞬発⼒で機能を研究開発をすることができます ○ チームのみなさんの助⾔、⽀えがあってこそ ● こんな⼈がGyazoのプロダクトマネージャーです ○ プロダクトがどう使われているか、ユーザーの観察 ○ 汎⽤的でありながら、特定の使い⽅にバッチリ刺さる機能の構想 ○ バグがなく、使いやすいインターフェイスの探求 ○ ○ ○ スケーラビリティやパフォーマンスを考慮したバックエンドの開発 プライバシーやコストを考慮したクラウドプロバイダーとの連携 ⽣成AIの性質、挙動、扱い⽅や性能の引き出し⽅の深い理解 87
※画面は研究開発中のものです ⾃慢ポイント 88
※画面は研究開発中のものです ⾃慢ポイントその１ 研究開発期間：3週間 残業なし、休日出勤なし お盆に連休もあった なんなら有給も取った 通常業務もやっていた つまり、まだ本気出してない 89
※画面は研究開発中のものです ⾃慢ポイントその２ Ruby on Railsで オンメモリで ベクトル検索を実現 外部のベクトル検索プロバイダーは使っ ていない つまり、まだ本気出してない 90
※画面は研究開発中のものです ⾃慢ポイントその３ 10年以上の歴史がある 超⼤規模な Ruby on Railsシステムの 本番環境で動いている master branchにマージしてます 91
※画面は研究開発中のものです あくまでも研究開発なので…… ⼀般リリース時期未定 92
※画面は研究開発中のものです ⼀般リリース時期未定の事情 ● 本当にニーズがあるのか不明…… ● UIとUXも、もっと洗練させられる…… ○ ボタンだらけのUIはない…… ● プロンプトインジェクション対策してない…… ● もっとさらに便利にもできるはず…… ● プライシングも考えないといけない…… ○ ● ⽉額590円でGemini 1.5 ProとMultimodal Embedding呼び出し放題は太っ腹すぎる etc… 93
※画面は研究開発中のものです 本⾳ 94
※画面は研究開発中のものです ⼀般リリース時期未定の Assistant for Gyazoを いますぐ使う⽅法 95
※画面は研究開発中のものです Assistant for Gyazoをいますぐ使う⽅法 あんまり 確実ではない⽅法 96
※画面は研究開発中のものです Assistant for Gyazoをいますぐ使う⽅法 このあとの懇親会で CEOとCTOとGyazo開発チームに Assistant for Gyazo いますぐにでも使いたいです！ とみんなで⾔う （私に⾔っても無駄です） 97
※画面は研究開発中のものです Assistant for Gyazoをいますぐ使う⽅法 確実に使える⽅法が ⼀つだけあります 98
※画面は研究開発中のものです Assistant for Gyazoをいますぐ使う⽅法 株式会社Helpfeelに ⼊社する Helpfeel社員は Gyazo Pro永久無料 研究開発中の機能も 使い放題 99
採⽤情報 Helpfeel wants Teammates! サービスの急成⻑に伴い、 私たちは新しい仲間を必要としています！ 採⽤情報 開発チームBlog 開発チームX https://scrapbox.io/ helpfeel-dev-careers/ https://blog.notainc.com/ @Helpfeeltech 100