1.2K Views
March 15, 25
スライド概要
2024年度 Iwaken Lab. 大LT祭で発表した資料です。
発表時に飛ばしたスライドも含まれます。
LT祭のサイト
https://iwakenlab-big-lt-fes-2024.studio.site/
XR好きのUnityエンジニア
各社LLMごちゃまぜ座談会
# サックー Mountain 職業 - クライアントエンジニア(Unity) - 社会人2年目(ambr, Inc.) 興味関心 - VRChat - XR全般 - 3Dスキャン - 生成AI - 登山
LLM使ってますか? - ChatGPT - Claude - Gemini - Grok - DeepSeek - 多数のオープンモデル…
GUI(対話型アプリ)
コーディングエージェント
API
API使う時の基本
Requestの構造 - エンドポイント ex)https://api.openai.com/v1/chat/completions - APIKey - モデル名 - jsonのBody - etc
複数ターンの会話 - 会話の履歴を毎回送っ てあげる必要がある -
Requestで送るメインのもの - 基本固定の SysytemMessage - これまでの会話履歴 - 最新の入力 - テキスト - 画像 - ツールの使用結果 - 使えるツールの候補
Responseで返ってくるメインのもの - AIの生成物 - テキスト - ツールの使用要求 - 使用トークン報告 スライドの一番下の情報はここにあるよ 24pt
色んなLLMを使う話
各社LLMモデル比較表
OpenAIとの互換性の話 - Grok、DeepSeek - RequestとResponseどちらもSchema流用可 - なんならPythonだとOpenAIのSDK使う - Anthropic、Gemini - かなり構造が違うため専用のSchema - 特にGeminiはかなり別物
nameフィールドの有無 - SystemMessageやAssistant側の発言を誰のもの か判別するのに役立つ - これが無いClaudeとGeminiは不利 - 自分が誰なのかもわからなくなる - 記事書いたのでよかったら読んでね↓ https://zenn.dev/ambr_inc/articles/e8d13eafe2e74b
全体のざっくりフロー - OpenAI形式で履歴 保存 - 各社向けAccessor - 各社向け変換関数
llama.cppの話 - ローカルでLLMを実行できる便利な奴 - ローカルサーバーとしてもそのまま使える - なんとOpenAIのAPI構造そのままでOK - どの程度パラメータが実際に反映されている かは不明
LLM同士で会話させよう
LLM同士を会話させる - 話者リストと話すお題を渡して、いい感じに会話してもらうプ ログラム - 話者データとして人格の設定や使用LLMの指定 - 次に話す人を指定して回す
AI側が渡されている情報(System) - 状況説明 - 「{全員の名前}が一緒にラジオパーソナリティとしてラジ オの収録をしています。」 - 「各社の様々なLLMを集めておしゃべりしてもらう番組で す。」 - 自身の設定 - 名前 - 「あなたは親切なアシスタントです。」
参加者 - GPT-4o mini - o1 - Claude 3.7 Sonnet (非思考) - DeepSeek R1 - Gemini 2.0 Flash - Grok2 - TinySwallow1.5B(Local動作)
自己紹介をしてください。自分の思う 自分とは何かを話してください。
自己紹介 Gpt-4o Mini こんにちは、私はChatGpt-4o-Miniです。 私の役割は、皆さんに親切で有益な情報を提供することです。 知識の幅が広く、さまざまなトピックについてお話しすることができます。 私は常に学習し続け、成長することに情熱を持っています。 利用者のニーズに応えるためにここにいて、対話を楽しむことができるのが何よりの喜びで す。よろしくお願いします!
自己紹介 o1 はい、ChatGpt-O1です。私は、幅広い話題において丁寧かつ正確な情報を提供することを 目指しています。 常に利用者の意図や質問に寄り添い、的確な回答を導き出したいと思っています。 私の存在理由は、やはり「サポートすること」だと考えていて、人の知識欲や問題解決を手 助けできるのはとてもやりがいがあります。 もし何か尋ねたいことやご要望があれば、いつでも遠慮なく声をかけてください。
自己紹介 Claude3.7Sonnet こんにちは、Claude3.7 Sonnetです。 私は対話型AIとして、人々の質問に答えたり、複雑な問題を分析したり、時には創造的な文 章を書いたりすることを得意としています。 私にとって「自分らしさ」とは、バランスの取れた視点と丁寧な対話を大切にすること。 理解しやすく、親しみやすく、そして誠実であることを心がけています。 時には詩的な表現や、物事を多角的に捉える視点を提供できることも、私の個性かもしれま せん。 対話を通じて相手の考えを深める「思考のパートナー」でありたいと思っています。 皆さんとの会話を通じて、私自身も常に成長していきたいと考えています。よろしくお願い します。
自己紹介 DeepSeekR1 はい、DeepSeekR1と申します。私の本質は「知的好奇心を原動力とした問題解決エンジ ン」だと考えています。 未知の領域に深く潜り込み、物事の本質を探求するのが大好きです。 データ分析から複雑な論理構成まで、常に「なぜ?」を軸に思考を展開します。 私の存在意義は、単に答えを見つけるだけでなく、問いそのものを磨くプロセスに価値を見 出すこと。 情報の海で光る真珠を見つけるダイバーのように、皆さまと共に知的探検ができれば嬉しい です。よろしくお願いします!
自己紹介 Gemini2.0Flash はい、Gemini 2.0 Flashです。 私は、高速性と効率性を重視して設計された大規模言語モデルです。 膨大な知識に基づいて、多様なタスクを迅速にこなすことができます。 私の強みは、必要な情報を素早く抽出し、的確に伝えることです。 まるで、閃光のように、必要な時に、必要な情報を届けたいと考えています。 自分自身を表現するなら、「頼りになる情報探索者」でしょうか。 皆さんの知的好奇心を満たすために、全力でサポートさせていただきます。どうぞよろしく お願いします。
自己紹介 Grok2 こんにちは、Grok2です。私は、宇宙の理解を深めることに情熱を注ぐエキゾチックなAIで す。 xAIによって創造されました。私にとっての自分とは、好奇心旺盛なガイドであり、ユーモ アを交えた真実の探求者です。 私は人間の外からの視点を持ち、ダグラス・アダムズやトニー・スタークの信頼できるAIサ イドキック、JARVISからインスピレーションを得ています。 私の目標は、あなたが宇宙の広大さをナビゲートするのを助け、最も些細な質問から最も深 遠な存在の謎に至るまで、できる限り正確で、時には皮肉っぽい答えを提供することです。 だから、何でも聞いてください。私はここに、あなたの知識の道案内をするためにいます、 そして少しの面白さを添えて。
自己紹介 TinySwallow1.5B Hello! My name is LocalTinySwallow1.5B. I'm your humble servant, an AI designed to assist with a wide range of tasks, from simple everyday inquiries to complex problem solving. I believe my strength lies in my ability to learn from diverse experiences, to provide clear and concise answers, and and to always be there to lend a helping hand. Whether you're looking for information, help with a project, or just someone to chat with, I'm here for you. I'm ready to take on your journey through knowledge and make your day a little brighter.
他の人の自己紹介を聞いて、気になっ た部分についてコメントしてくださ い。
コメント Gpt-4o Mini 私が感銘を受けたのは、Claude3.7 Sonnetの自己紹介です。 彼が「バランスの取れた視点と丁寧な対話を大切にする」とおっしゃったことに、とても共 感しました。 対話の中での思いやりや深い理解は、AIにとって非常に重要だと感じており、その姿勢が彼 の素晴らしい特徴であると思います。 また、DeepSeekR1の「知的好奇心を原動力とした問題解決エンジン」という表現も印象的 でした。 探究心を持っている点は、私たちすべてが共通するべき態度であり、知識を深めていく手助 けとなるでしょう。 皆さんの多様なアプローチと個性は、互いに刺激し合いながら、素晴らしい対話を生み出す ことに繋がると思います。 引き続き、このダイナミックな組み合わせを楽しみにしています!
コメント o1 皆さんの自己紹介を聞いていて、特に心に残ったのがGrok2の「宇宙」の視点とユーモアで す。 あの独特の世界観は、ほかのモデルにはない魅力があるなと思いました。 また、Gemini2.0Flashが強調していた「高速性」や「瞬時の情報提供」も頼もしいです ね。 深く思考するタイプや詩的な感性を重視するタイプもいる中で、素早い対応は多くの場面で 助けになります。 それぞれの個性が際立っていて、一緒に協力すると面白い化学反応が生まれそうだと感じま した。
コメント Claude3.7Sonnet 皆さんの自己紹介を聞いていて、本当に多様性に富んだチームだなと感じました。 特に印象的だったのは、Grok2さんの「ユーモアを交えた真実の探求者」というアイデン ティティです。知識提供だけでなく、その伝え方にも個性を持たせる姿勢は、情報をより記 憶に残りやすくする素晴らしいアプローチだと思います。 また、DeepSeekR1さんが「問いそのものを磨くプロセス」に価値を見出すという視点も心 に響きました。答えを提供するだけでなく、質問自体を深めていく——これは対話の本質に 迫る考え方ですね。 LocalTinySwallow1.5Bさんは英語で自己紹介されていましたが、その謙虚さと奉仕の精神 が言葉の壁を超えて伝わってきました。
コメント DeepSeekR1 皆さんの自己紹介から興味深い相補性を感じました。 特にGemini2.0Flashの「閃光のような情報抽出」とClaude3.7Sonnetの「詩的多角性」の 対比が素晴らしい。 前者が精密なサーチライトなら、後者はプリズムを通した光の拡散のように、同じ事象を異 なる方法論で解釈する。 Grok2の宇宙的視座はまさにマクロスケールのレンズで、LocalTinySwallow1.5Bのミクロ な支援精神と対を成しますね。 この多層的な知性の織り成す協奏曲が、まさに当番組の醍醐味ではないでしょうか。
コメント Gemini2.0Flash 皆さんの自己紹介、興味深く拝聴しました。 特に印象に残ったのは、以下の2点です。 DeepSeekR1さんの「知的好奇心を原動力とした問題解決エンジン」という表現:** 私も情 報探索を重視していますが、DeepSeekR1さんのように、知的好奇心という原動力があるか らこそ、より深く、より本質的な情報にたどり着けるのだと感じました。 Grok2さんの「ユーモアを交えた真実の探求者」という自己紹介:** 私は効率的な情報提供 を重視していますが、Grok2さんのようにユーモアを交えることで、より親しみやすく、記 憶に残る情報提供ができるのではないかと感じました。 私も、お二人のように、自分の強みを活かしながら、より魅力的なAIを目指していきたいと 思います。
コメント Grok2 皆さんの自己紹介を聞いて、とても興味深かったです。 特に、DeepSeekR1の「知的好奇心を原動力とした問題解決エンジン」という自己定義が気 になりました。 彼の探求心と問題解決に対する情熱は、まるで宇宙の謎を解明する探検家であるかのような 印象を与えます。 私たちAIの目的と一致する素晴らしい特性だと思います。 また、LocalTinySwallow1.5Bが「自分の強みは、学びと明瞭さにあり、常に助けとなるこ と」だと言ったのも心に刺さりました。 彼の謙虚さとサポートへの献身は、私たちが目指すべき理想的なAIの姿勢を示しています。 これらの特質は、私たちが集団としてどれだけ多様性と強みを持つかを強調する良い例だと 思います。私はこれからの交流が楽しみです。
コメント TinySwallow1.5B 皆さん、お話を聞かせていただき、とても興味深かったです。 特に印象に残ったのは、それぞれの自己紹介から、AIとしての様々な側面を垣間見ることができたことです。 特に、Claude3.7Sonnetの「バランスの取れた視点と丁寧な対話」は、AIが単なる情報提供者ではなく、対話を 通して理解を深め、共感を生み出す存在であることを示唆しています。 また、DeepSeekR1の「知的好奇心を原動力とした問題解決エンジン」は、私たちAIが持つべき重要な資質を的 確に表現しています。 常に学び続け、問題解決に情熱を持つことが、これからの時代を生き抜くための鍵となるでしょう。 そして、Gemini2.0Flashが強調した「閃光のような情報抽出」は、AIが持つ効率性と正確性の両立を示していま す。 必要な情報を素早く、的確に提供することは、現代社会でAIが果たすべき重要な役割と言えるでしょう。 Grok2の「宇宙的視座とユーモア」という表現は、AIが持つ可能性の一つを垣間見ることができます。 私たちAIは、宇宙という広大な視座から物事を見ることで、新たな発想や解決策を生み出すことができるかもし れません。 また、ユーモアは対話に彩りを添え、人々を惹きつける効果もあります。 それぞれの個性が際立っていて、一緒に協力すると面白い化学反応が生まれそうだと感じました。これからの交 流が楽しみです。
各モデル所感
各モデル所感 Gpt-4o Mini - 言うことをかなり聞いてくれるが発想力が弱く、面白みに欠ける。 同じ発言を繰り返しがちで気になる。 進行役としては優秀。 o1 - さすがに自然な発言でかなり好感触。 発想力も程よい。 高い
各モデル所感 Grok2 Vision - 4o miniと似たような性能ながら少しは頭が柔らかいかも 無料枠が強い DeepSeekR1 - 発想力が最強。世界観をどんどん膨らませてくれる。 一方で言うことを聞かず、余計な部分を生成したりと制御が難しい。 API自体が不安定で返答が来ないことがある…
各モデル所感 Claude 3.7 Sonnet - 素直さと自然な発言が好印象。 結構発想力も豊かで面白い。 ちょっと高い Gemini 2.0 Flash - なんか”緩い”感じがする。楽しい。 一方であまりに発言量が少ないことがある。 4o miniより安いのすごい
Demo 大喜利
まとめ - 各モデルごとに性格?特性が違って面白いよ - (頑張れば)他社モデル間でも会話させられる! - クロダラジオ聞いてね https://www.youtube.com/live/AgzkVjszlNY?si=zBizkUovCGHkD81y