AIとどう付き合っていくか2024

AIとどう付き合っていくか 2024 #SecHack365 仲山ゼミ

前提・背景 • 2024年末の情勢 • なのでDeepSeekとかは入っていません • AIエージェントの定義はまだ諸説ありすぎ • OpenAI o1 Pro modeは未体験 • 週末OpenAI o3 miniが来るという噂 • 自分でさわった感触＋SNS（おもに𝕏𝕏）上の意見がベース

LLM（大規模言語モデル）のおさらい • インターネット上のたくさんの元データを元になんやかんやして 機械学習した重み付けデータと、それによるサービス • だいたいこの2～3年で一気に発展した • Stable Diffusion（2022） • ChatGPT(2022）

LLMの課題 • LLMは自分が計算機であることを忘れている • LLMは文脈を知らない • どのようなデータや文脈（コンテキスト）を与えるか

自分が計算機であることを忘れている • 「続きを予測する」という技術がベースにある • Ｑ：「9.11と9.9のどちらが大きいか」 • 「直感」だけで解いているようなもの • 頑張ればできるかもしれない • 「ステップバイステップで考えてください」 ⇒ 手法：Chain-of-Thought（CoT） • が、計算機は計算機として素直に動いて欲しい • 計算をする部分はＬＬＭの「外」でやる ⇒ 手法：Function-Calling

LLMは文脈を知らない • 何かの仕事をするときに前提となる文脈情報 • 組織の中にある仕様書や手順書 • 所属組織のビジネスモデル • 人間が実現したい作業の目的や自分をとりまく現在状況 • これらをＡＩに反映させないと価値が低い情報しか出てこない • ファインチューニング（追加学習） • コンテキスト内学習（In-Context Learning）

文脈をどうやってAIに伝えるか • ソースコード • GitHub Copilot、Cursor • 行動データ • Apple Intelligence（iPhoneやmac） • Google Gemini • Microsoft Copilot、Windows Recall

LLMに文脈を追加で教えるRAG • 質問内容に関係がありそうな知識を検索して埋め込む • 製品や組織内のドキュメント • 最新の法改正情報 • 論文のサマリー • 最新のニュース • そもそも「検索」が難しい技術 • 雑に区切ってベクトルデータベースに入れる ← 2024年 • より複雑な知識グラフに基づいて検索結果と関連情報をたどる • 検索内容自体をＬＬＭに考えさせて繰り返す

ビジネスAI • 通常業務にＡＩを取り入れる • 営業支援 • 人手は面倒くさかった（人件費に見合わない）細かい管理 • 文脈を踏まえたインサイト発見、不正検知 • 新入社員のオンボーディング（研修）、相談相手 • レガシー機器のＤＸ（メーターをカメラで数値データ化） • サービスにＡＩを取り入れる • 古くはＡｍａｚｏｎの商品推薦アルゴリズム

デジタルツインとAI SaaS • デジタルツイン：実世界の状態・文脈を電子データとして再現 • トラック（に積まれた荷物）の移動履歴から最適化を提案 • ドローンのカメラで撮影した点群情報から土砂崩れの可能性を予想 • 粒度が重要：キャベツを数えるのに分子レベルのシミュレーションは不要 • AI SaaS • お客さんの文脈情報をもとに、より「深い」サービスを提供 • ルールやコンプライアンスなど、ドメインロジックの強制が難しい ⇒ ＡＩエージェント

AIエージェント • そもそも「ワークフロー」という考え方が重要 • （ビジネスにおいて）情報を誰がどのように処理して受け渡すか Input⇒Process⇒Output • ワークフローにＡＩを組み込む • AIにワークフローの構築を「推論（reasoning）」させる • 従来のルールベースでは足りなかった能力を獲得 • 現状では「論理的な推論」や「厳密な計算」「ドメイン知識に基づくルール 遵守」が容易ではない • 人が全体のワークフローを書く（Ｄｉｆｙ） • LLM自身に正しさを判断させる（手法：LLM as a Judge）

AI常時接続時代という近未来 • 24時間絶えずAIと接続できる「AI常時接続時代」 • いつでもどこでも“電脳化”された知能との対話・連携が当たり前になる • 実世界での行動や結果が、継続的にＡＩに流れ込みアップデートされる • Ｇｏｏｇｌｅ マイGemini • データガバナンスやプライバシー • Apple Intelligenceはハイブリッドでかなり頑張ろうとしている • ＧＤＰＲ的世界観 ←→ China的世界観 • 個人の考え方をＡＩに食わせて、同じような意志決定ができるように学習 させるデジタルクローン

集中と分散と電力 • クラウド • 背景：NVIDIAチップをより多く集めたサービスへの集中 • 現在はGPU間のインターコネクト速度やメモリ帯域が極めて重要 • 1ラックにめちゃくちゃ集中させないといけない • 直接液冷技術 ← 2024から実用ベースに • カーボンニュートラル的価値観との摺り合わせ • デバイス • デバイス上で動くLLM（もしくはSLM：小規模言語モデル）の発展を 期待しつつもまだもう少し先

• AIがあって当たり前の時代でITエンジニアとして生きて行くので、 この辺の動きを踏まえながら楽しく生きていこう！