DeepSeekが示す生成AI開発の2つの大きな可能性とは
>100 Views
March 12, 26
スライド概要
2025年2月26日の生成AI協会（GAIS）勉強会での講演内容です
関連スライド
各ページのテキスト
DeepSeekが示す生成AI開発の2 つの大きな可能性とは アステリア株式会社 エバンジェリスト 生成AI協会（GAIS）エバンジェリスト 森 一弥 2025年2月26日 © 2025 Asteria Corporation
自己紹介 アステリア株式会社 エバンジェリスト 森 一弥 生成AI協会（GAIS）：エバンジェリスト / データ連携活用WGリーダー ブロックチェーン推進協会（BCCC）：技術応用部会長 ◼ 講演・TV・雑誌・Web掲載（AI関連のみ一部抜粋） Schoo にて 生成AIの 授業を担当 出典：Schoo https://schoo.jp/teacher/3817 Interop24 Tokyo / Apps Japan 2024 出典：APPS JAPAN 2024 https://forest.f2ff.jp/introduction/91 78?project_id=20240601 AISmiley での ウェビナー 出典：AISmiley https://aismiley.co.jp/webinar/2024 0628webinar/ ＠DIME にて生成AI コラム連載中 出典：@DIME https://dime.jp/genre/1830048/ © 2025 Asteria Corporation
アステリアの生成AI マンガでわかる生成AI AI活用変革センター https://aituc.asteria.com/ マンガでわかりやすく 生成AIに入門 個別セミナーやコンサルティング、 PoC を随時受付中です © 2025 Asteria Corporation
DeepSeek ショック ◼ 1/20 リリースされた中国発のLLM 「DeepSeek R1」が話題 ◼ 無料（MITライセンス）、 オープンソース、商用利用可能 ◼ OpenAI o1 に匹敵する性能 ◼ Web検索、「深く考える」、 写真OCR、画像OCR、 ドキュメント添付 ◼ トレーニングコストはo1の 約3%？ ◼ NVIDIA株が一時約17%下落 ◼ 1/27 画像生成「Janus-Pro」 © 2025 Asteria Corporation
アステリアART代表 ウタゴエ創業社長 早稲田大学 情報科学博士 園田さんに DeepSeekについて聞いてみた © 2025 Asteria © 2025 Corporation Asteria Corporation
DeepSeekの技術で注目すべき 「強化学習」と「蒸留」 © 2025 Asteria © 2025 Corporation Asteria Corporation
学習コストが安い！？ DeepSeek R1ができるまで DeepSeek V3 Base 強化学習 DeepSeek R1-Zero DeepSeek R1 教師ありファインチューニング＋強化学習 ◼ パラメータ数：6710億の 大規模言語モデル ◼ 2024年12月リリース ◼ V3時点から学習コストが 安いと話題になっていた ◼ 性能はGPT-4oと同等 ◼ MITライセンス、オープン ソース ◼ DeepSeek V3 Baseに 強化学習のみを実施 ◼ 性能向上の効果を確認 ◼ 出力言語が不安定などの 問題あり ◼ 言語の一貫性、読み やすさなどの問題を解消 ◼ 性能はGPT o1レベルを 達成 © 2025 Asteria Corporation
強化学習とは ◼ 結果から学び、徐々に賢い判断ができるようにする機械学習 ◼ 例えば数学問題を解き、間違っていたら他の解き方を試す ◼ 教師あり学習と違って、教師データの用意が必要ない 機械学習いろいろ 教師あり学習 教師なし学習 強化学習 Dog Cat ◼ 教師データの特徴を学習 ◼ 学習済みのデータのどれに 近いのかで判断 ◼ データ群のパラメータで 似たものをグルーピング していく ◼ 数学など答えが明確な問題を 方法は指示せずAIに考えさせる ◼ スコアの向上を目指す © 2025 Asteria Corporation
ローカル利用・モバイル利用を加速！？ DeepSeek R1からの圧縮・派生 DeepSeek R1 Qwen2.5-Math-1.5B DeepSeek-R1-Distill-Qwen-1.5B Qwen2.5-Math-7B DeepSeek-R1-Distill-Qwen-7B Qwen2.5-14B DeepSeek-R1-Distill-Qwen-14B Qwen2.5-32B 蒸留 DeepSeek-R1-Distill-Qwen-32B Llama-3.1-8B DeepSeek-R1-Distill-Llama-8B Llama-3.3-70B-Instruct DeepSeek-R1-Distill-Llama-70B © 2025 Asteria Corporation
モデル圧縮技術「蒸留」 ◼ 大きなモデルの入力と出力（確率分布）を学習させる ◼ 小さなモデルの性能向上につながる 小さなモデルを作る技術いろいろ 圧縮（Pruning） 量子化（Quantization） 蒸留（Distillation） Dog:0.85 Cat:0.15 0.45678 → 0.5 0.21012 → 0.2 Dog:0.85 Cat:0.15 0.33310 → 0.3 ◼ 大きなモデルの低影響な パラメーターを間引く ◼ モデル内の重みや演算を簡略化 ◼ 大きなモデルの確率分布を小さな モデルで模倣するように学習 © 2025 Asteria Corporation
DeepSeekを契機に・・・ ◼ 本家のサービスは中国にデータが送られる、準拠する法律が中国 法など気になりますが・・・ ローカル展開 プライベートクラウド 日本語版 Microsoft Azure Llama オープンソースとしての活用で生成AI界隈が盛り上がる © 2025 Asteria Corporation