【生成Deap Learning 第2版】14.1~14.4

2025年度 前期輪読会 ＃12(2025/07/10) [生成Deep Learning] 第14章 まとめ (14.1~14.4) 京都大学 経済学部 ３回 大澤 衡正 0

アジェンダ ◼ 生成AIの年表 ◼ 生成AIの現状 ◼ 生成AIの未来 1

生成AIの年表 VAEとGANの時代(2014~2017) 2013年のVAEの発明は生成AI開発の重要な発起点でした 続いて14年にはGANが発表され、以降の３年間に渡り、 画像生成において支配的なアーキテクチャでした テキスト生成では自己回帰モデルが主流でした トランスフォーマーの時代(2018~2019) トランスフォーマーはアテンション機構によって再帰層の 必要性を否定しました GPTとBERTが発表されてから次々とテキスト生成モデル の開発が行われるようになりました トランスフォーマーは音楽生成においても成功を収めまし た GANも引き続き改良され、画像生成で目覚ましい成果をあ げました さらに、スコアベースモデルが登場し、拡散モデルへの道 を切り開くこととなりました 2

生成AIの年表 ビッグモデルの時代(2020~2022) この時期には既存のアーキテクチャを改良した様々な新しいモデルが登場しました。 VQ-GANやVIT、StyleGAN-XLなどが代表的です。 また、非常に高品質な画像生成が可能な拡散モデルが登場しました。 テキスト生成の分野ではGPT-3がリリースされ、自然な会話に近いテキスト生成が可能なモデルと して注目を集めました。 また、新しいトレンドとして、マルチモーダルモデルの登場があげられます。 DALL・EやStable Diffusionは高品質なtext-to-image生成を実現しました。 マルチモーダルの時代(2023~) 2023年以降、マルチモーダル技術はさらに飛躍的な進化を遂げます。 QwenなどのVLMの登場により、高品質なimage-to-text（画像からのテキスト生成） が可能にな りました。 さらに、 Soraに代表される高度な動画生成モデルも次々と発表されました。 また、ロボティクス領域への応用も急速に進んでおり、トランスフォーマーベースのACTや拡散モ デルを用いたDiffusion Policy、VLMを活用したπ0などが登場しました。 他にも、テキストから3Dモデルを生成するDreamFusionや音楽を生成するMusicLMが開発されま した。 3

生成AIの現状 大規模言語モデル 大規模言語モデルは与えられたトークンの続きを予想するという一見単純なタスクで訓練されます が、実に驚くべき汎用性と柔軟性を実現しています。 大規模言語モデルにおいては、その性能とパラメータ数には一定の相関があるとされており、近年 のモデルでは指数関数的に増加しています。 2025年現在では主要なモデルとして下記が挙げられ ます。これらのモデルのパラメータ数は数兆にも達 すると言われています。 OpenAIのGPT-4.5： 対話の自然さや論理的整合性に長け、依然として業 界をリードする GoogleのGemini 2.5 Pro： 100万トークンという驚異的なコンテクストウィンド ウを持つ AnthropicのClaude 4： コーディングにおいて強みを持つ 4

生成AIの現状 テキストからのコード生成モデル 大規模言語モデルの重要な応用としてコード生成が挙げられます。 2021年にOpenAIが発表したcodexがその先駆けでした。これはGitHub Copilotという今日でも広く 使用されているサービスに搭載されました。 エディタに統合されたこのようなサービスを活用することで、エンジニアの開発効率はかつてない ほど向上しました。 さらに、2025年にはClaude Codeといったエディタ無しのCLIベースのアプリケーションも登場し ました。 テキストからの画像生成モデル 近年の画像生成においては、テキストプロンプトを画像に変換するマルチモーダルが支配的です。 特にStable Diffusionは完全にオープンソースで提供されており、そのファインチューニングモデ ルを共有する巨大なコミュニティが発達しています。 ControlNetなどの付随するモデルが登場し、さらに細かく生成画像を条件づけることができるよう になりました。 5

生成AIの現状 実際に使ってみた 画像生成(imagen 4) 私たちは「KaiRA」という京都 でAIを学ぶ学生団体です。私た ちの団体の新しいロゴを考えて ください。 動画生成(Veo 3) 私たちは「KaiRA」という京都でAIを学ぶ学生団体 です。私たちの団体のプロモーションビデオを作成 してください。先進的な印象を与えるスタイルで、 アトラクティブなBGMをつけてください。 6

生成AIの未来 日常生活における生成AI 生成AIの登場は日常生活に大きなインパクトを与えました。 AIを用いて人々はメールや、レポート作成などのタスクを高品質に行うことができるようになりま した。 さらに、AIアシスタントはウェブ検索に代わる新しい情報取得のツールになるでしょう。 仕事における生成AI AIは仕事の領域においても大きな影響を及ぼしています。 多くのオフィスワーカーが最終的にAIにとって代わられるという悲観的な予測もありますが、 筆者は寧ろAIは役割を置き換えるよりは、役割の高度化をもたらすものと捉えているようです。 教育における生成AI 生成AIによって与えられた課題を完了させる生徒の登場は教育現場に大きな議論を巻き起こしてい ます。筆者は教育において生成AIを規制することはできないとしたうえで、評価システムの見直し が必要であると述べています。 また、AIアシスタントの登場により、完全にパーソナライズされた教育を提供できるようになった ことも重要な観点の１つです。 7