Transformer入門 〜ChatGPTの "T" を知る〜

Transformer入門 ChatGPTの “T” を知る 横浜国立大学 坪井 一馬 2026年9月19日(土) @ 法政大学多摩キャンパス Lumos CODEMATES 合同LT会

目次 • 自己紹介 • 坪井 一馬に関する紹介 • GPTって何？ • 子供を相手に教えられますか？ • Transformerとは何か • まずは機械学習，深層学習を導入し，Transformerの処理の概要を説明 する． • Transformerの応用例 • ChatGPTへのテキスト入力だけでない，様々な分野へのTransformerの 応用例を紹介する． • Transformerのウラ事情 • Transformerは「絶対神」ではなく，いつかは時代遅れになるのかもし れない． • 実は視野が狭くなっていないだろうか？ • まとめ 2

3 自己紹介 坪井 一馬に関する紹介

坪井 一馬 4 Kazuma TSUBOI • INTP 論理学者 • 21歳，神奈川県川崎市出身，実家暮らし • 横浜国立大学 理工学部 化学・生命系学科 化学EP 4年 • 研究: 知識情報を活用した分子生成モデル開発 • 大学院は合格しており，内部進学予定 学科の友人と飲み会 8杯目のハイボール 牛タン定食 @仙台 必ずある特有の漬物 • 東京大学 松尾・岩澤研究室 共同研究インターン • 講座修了歴: GCI，深層学習，LLM，深層強化学習，世界 モデル，AI起業サマープログラム2025など • Lumosには2年生に入会し，3年生から本格的に活動 • 2026年は運営に参画，機械学習PJ主宰，システムチーム メンバーなど • 以前所属の別サークルでケーブルテレビ局の番組制作リー ダーを務めていました． 矢場味仙 @名古屋 行く度に辛さが違う お好み焼き @広島 「広島風」ではない • 趣味: 旅行/コーヒー/酒/ゲーム/ラーメン/激辛/ご当地 グルメ/名古屋メシ/喫茶店の雰囲気/離島でゆっくり流 れる時間を過ごす など

5 私の研究 有機化合物はめっちゃ多い！ データベースはデカい！ だから… 思いつきに頼らないで もっと「効率的」に もっと「良い」分子を 設計できたらいいなぁ これを 作る研究 そうだ AIを使おう！

6 私の研究 有機化合物はめっちゃ多い！ ！ データベースはデカい！ す ま だから… 思いつきに頼らないで もっと「効率的」に もっと「良い」分子を 設計できたらいいなぁ っ ま 詰 き 行 在 現 そうだ り これを お 作る研究 AIを使おう！ て

7 最近の出来事: 学会発表 第21回 言語処理若手シンポジウム YANS2026 • 2026年8月16日(日)〜18日(火) 仙台国際センター(仙台市) にて開催 • 演題「有機化合物の構造情報および知識情報の埋め込み相互変換に基づく分子生成モデルの開発」 • 学生からの「化学」に関連する唯一の発表．言語処理学会から旅費補助を受けて参加しました． 発表後の様子 参加報告ブログ • • 自身の発表について 学会の内容，懇親会，仙台について など ブログはこちら またはQRコード

• https://zenn.dev/poclab_techblog/articles/09a31a59dfe2b8

8 GPTって何？ 子供を相手に教えられますか？

答えられますか？ ねぇねぇ おにいちゃん/おねえちゃん ちゃっとじーぴーてぃーって なあに？ ようちえんじ 9

10 答えられますか？ 厳密性には欠けるが，概ね正解？ ねぇねぇ おにいちゃん/おねえちゃん ちゃっとじーぴーてぃーって なあに？ チャットGPTは，パソコンやスマホのなかにいる「なんでも しっている ロボットさん」だよ． ロボットさんができること • おしゃべりができる：おはなしをすると，すぐにニコニコ お返事をくれるよ． • なんでも教えてくれる：「虫の名前」や「お星さまのお 話」とか，なんでも知っているよ． • 絵本(えほん)を作ってくれる：「クマさんのお話を作っ て！」と言うと，新しいお話を作ってくれるよ． つかうときのお約束(やくそく) • ウソをつくこともある：ロボットさんも，ときどき間違え ちゃうことがあるよ． • ないしょにすること：みんなのお名前や，お家がどこにあ るかは，ロボットさんに言わないよ． ようちえんじ あなた(大学生) • パパやママといっしょにする：つかうときは，必ずお父さ んやお母さんといっしょにやろうね． ※ Geminiで生成

もっと賢い場合は？ Chatはわかるけど GPTってなんですか？ 何かの略称ですか？ ギフテッド 11

もっと賢い場合は？ Chatはわかるけど GPTってなんですか？ 何かの略称ですか？ ギフテッド あなた(大学生) 12 するどい！ わからない！！

13 もっと賢い場合は？ Chatはわかるけど GPTってなんですか？ 何かの略称ですか？ するどい！ わからない！！ (って人がほとんど？？) 私のLTが終わると，皆さんもなんとなく わかるようになります ただ，実は “T” が意外とムズイです… まぁ楽しみにしていてください！ ギフテッド あなた(大学生)

14 学術的には… Generative Pretrained Transformer 「生成的な」 「事前学習された」 「Transformer」

15 Generative: 生成 Generative Pretrained Transformer 「生成的な」 「事前学習された」 「Transformer」 何かを作り出すための (当たり前？) 幼稚園児向けの説明で「お返事をくれる」や「新しいお話を作ってくれる」など (再掲) チャットGPTは，パソコンやスマホのなかにいる「なんでもしっている ロボットさん」だよ． ロボットさんができること • おしゃべりができる：おはなしをすると，すぐにニコニコお返事をくれるよ． • なんでも教えてくれる：「虫の名前」や「お星さまのお話」とか，なんでも知っているよ． • 絵本(えほん)を作ってくれる：「クマさんのお話を作って！」と言うと，新しいお話を あなた(大学生) 作ってくれるよ．

16 Pretrained: 事前学習 Generative Pretrained Transformer 「生成的な」 「事前学習された」 「Transformer」 言葉の使われ方を覚えさせた 入力に対して出力する「ロボット」として，普遍的な言葉の使われ方を統計的に覚えさせる 文章をトークンと呼ばれる単位に分割，次に何が続くか or 空所に何が入るか(ここでは省略) を確率的に予測 入力 LLM 出力 春 𝑃 は 春 春は 𝑃 曙 春, は 春は曙 𝑃 ． 春, は, 曙 正解 ズ レ 最 小 化 1 1 1

17 Transformer: ??? Generative Pretrained Transformer 「生成的な」 「事前学習された」 「Transformer」 深層学習モデル (として紹介されてはいるが…？) 元論文 “Attention is All You Need”[1] Abstract(和訳), Figure 1 主流のシーケンストランスダクションモデルは，エンコーダーとデコーダーを含む複雑な再帰型または畳 み込み型ニューラルネットワークに基づいている．最も優れた性能を発揮するモデルでは，アテンション メカニズムを介してエンコーダーとデコーダーを接続している．我々は，再帰や畳み込みを完全に排除 し，アテンションメカニズムのみに基づいた新しいシンプルなネットワークアーキテクチャ 「Transformer」を提案する．2つの機械翻訳タスクにおける実験の結果，これらのモデルは品質に優れ ているだけでなく，並列化が容易で，学習時間も大幅に短縮できることが示された．我々のモデルは， WMT 2014の英語からドイツ語への翻訳タスクにおいて28.4 BLEUを達成し，アンサンブルを含む既存 の最高成績を2 BLEU以上上回った．WMT 2014の英語からフランス語への翻訳タスクにおいて，当モデ ルは8台のGPUで3.5日間の学習を経て，41.8という単一モデルとしての新たな最先端BLEUスコアを樹立 した．これは，先行研究における最良モデルの学習コストのほんの一部に過ぎない．また，Transformer を，大規模および限られたトレーニングデータの両方で英語の構文解析に適用し，成功を収めることで， 他のタスクに対しても良好な汎化能力を持つことを示した．

18 Transformer: ??? 深層学習モデル (として紹介されてはいるが…？) 元論文 “Attention is All You Need”[1] Abstract(和訳), Figure 1 主流のシーケンストランスダクションモデルは，エンコーダーとデコーダーを含む複雑な再帰型または畳 み込み型ニューラルネットワークに基づいている．最も優れた性能を発揮するモデルでは，アテンション メカニズムを介してエンコーダーとデコーダーを接続している．我々は，再帰や畳み込みを完全に排除 し，アテンションメカニズムのみに基づいた新しいシンプルなネットワークアーキテクチャ 「Transformer」を提案する．2つの機械翻訳タスクにおける実験の結果，これらのモデルは品質に優れ ているだけでなく，並列化が容易で，学習時間も大幅に短縮できることが示された．我々のモデルは， WMT 2014の英語からドイツ語への翻訳タスクにおいて28.4 BLEUを達成し，アンサンブルを含む既存 の最高成績を2 BLEU以上上回った．WMT 2014の英語からフランス語への翻訳タスクにおいて，当モデ ルは8台のGPUで3.5日間の学習を経て，41.8という単一モデルとしての新たな最先端BLEUスコアを樹立 した．これは，先行研究における最良モデルの学習コストのほんの一部に過ぎない．また，Transformer を，大規模および限られたトレーニングデータの両方で英語の構文解析に適用し，成功を収めることで， 他のタスクに対しても良好な汎化能力を持つことを示した． 論文では専門的な表現が多い • エンコーダ，デコーダ？ • 再帰型または畳み込み型ネットワーク？ • アテンションメカニズム？ • Figure 1は何を表現したもの？ この後，専門用語のことも含めて精一杯説明します！

19 Transformerとは何か まずは機械学習，深層学習を導入し，Transformerの処理 の概要を説明する．

20 機械学習モデル 目的に応じて何らかのタスクを遂行するために，大量のデータに基づいて，未知の入力にどのような 出力をするべきかを「学習」したシステム • モデルとは「対象とする概念の本質を取り出したシステム」といえよう． • モデルには様々な種類があり，その用途やシステムによって異なっている． • 一般に「良いモデル」とは，その目的となるタスクをこなすために本質的な情報が取り出されており，それゆえ 正確にタスクをこなすことができるもの． • どのようにして，何を以て「本質的な情報が取り出されている」と判断するか？ 例: 信用調査 • • • この人は返済する？ いくらまで貸す？ 不正利用されないか？ 目的に応じて 活用されるモデルが変わる モ デ ル • • • • • • 年齢 性別 年収 出身大学の偏差値 自家用車の有無 1ヶ月間の外食額 機械学習は，これを構築・運用する技術 まとめて「機械学習モデル」と呼ぶことも

21 機械学習に関する用語整理 教師あり学習 強化学習 入出力の組を与えて，入力から正しい出力を 出せるように学習する． エージェントが報酬を最大化するために，その状態で どう行動すればよいかを学習する． 教師なし学習 深層学習 正解を与えずに，入力されるデータに隠れた 傾向を分析する．クラスタリングなど． 人間の脳における情報処理をニューラルネットワーク としてモデル化した機械学習手法の総称． 例: 信用調査 • • • この人は返済する？ いくらまで貸す？ 不正利用されないか？ 教師あり学習に基づいて 構築されたモデルで予測 • • • • • • モ デ ル 深層学習の 手法が用いられる 年齢 性別 年収 出身大学の偏差値 自家用車の有無 1ヶ月間の外食額 教師なし学習で クラスタリング

22 深層学習モデル 人間の脳の神経回路の情報処理に着想を得たニューラルネットワークを基本とする機械学習モデル． 画像や音声，テキストなど，複雑な情報を扱うことが得意である．全体として関数． • 元の情報を何らかの手法で数値に変換したものを入力．それをモデル内部の「層」で何度も変換する ことで，最終的に目的のタスクに適した数値を得る． • モデル内部での数値表現(隠れ層を通して得られる表現)は，潜在表現，埋め込み(表現)，内部表現と呼ばれる． 潜在表現が，入力された情報の本質的な部分だけを捉えたものになっていることが期待される． 画像分類を行う 一般的なネットワーク 入力 入力層 隠れ層 出力層 出力 これが最大になるように 変換時のパラメータ，つまり 「どう変換するか」を調整 「0」の確率 「1」の確率 数値化 … … … … … … 手書き数字 「9」の確率 ニューラルネットワーク(NN)

言語モデル 23 機械学習モデルのうちで，広い意味で「言語」を扱うモデル．現代では深層学習をそのベースとする ニューラル言語モデルが主流である． • 良い言語モデルとは？ • 言語を扱う上で本質的な情報，つまり言葉の使われ方が取り出されており，それゆえ正確に言葉を取り扱うこと のできるもの． • GPTの “P” における事前学習は，ここでいう言葉の使われ方を覚えさせるために絶対必要なプロセス． • 言葉の使われ方とは，文法や語法だけでなく，大量の文献に含まれている人間の潜在的なクセのようなものも含 まれている(正直こっちのほうが大事だと思う)． • 言語にも種類がある • 自然言語: 人間が話し言葉として使う言語．英語や日本語，フランス語など．曖昧性が許容される． • 形式言語: 人間が通常話し言葉として使わない言語．プログラミング言語など．文法が厳密で曖昧性がない． • 大規模なものだけではない！ • 大規模言語モデル(Large Language Model; LLM): モデル内のパラメータ数が比較的多い．ChatGPTやGemini などが該当し，幅広いタスクに対応可能であるという意味で汎用性が高いが，学習コストが高い． • 小規模言語モデル(Small Language Model; SLM): モデル内のパラメータ数が比較的少ない．学習コストが低い． 特定のタスクに対応できるが，汎用性は弱い．計算資源等の状況によっては良い選択肢．

ニューラル言語モデル: 潜在表現を得る 24 言語を扱う深層学習モデルであり，今回の主題であるTransformerも含まれる． まず，文章をトークンと呼ばれる単位に分割し，ニューラルネットワークで言葉の潜在表現を得る． 例: “春は曙” を数値化する過程 “春” 1508 “春は曙” • 元の文章 “は” “曙” • • 元の文章をトークン単位に分ける(トークナイズ) 1つのトークンが1つの単語に対応するとは限らない 1730 • • 用意した全トークンの辞書(語彙)に基づき，各トークンにIDを付与 IDの最大値は語彙数に等しい • • そのIDに対応する要素だけが1をとるone-hotベクトルに変換 one-hotベクトルの次元数は語彙数(IDの最大値)に等しい • ニューラルネットワークにone-hotベクトルを入力すると，各単語 に対応する潜在表現(埋め込み, 分散表現)が得られる 49 [0,0,…,1,…,0,0] 𝑧春 𝑧は 𝑧曙

25 ニューラル言語モデル: 潜在表現は色々使える 潜在表現が得られたら，少し工夫はありうるが，画像等と同様にニューラルネットワークに入力する ことで，所望のタスクを解けるよう学習する，学習済みモデルから生成するなど，色々できる． 𝑧春 𝑧は 𝑧曙 • ニューラルネットワークにone-hotベクトルを入力すると，各単語 に対応する潜在表現(埋め込み, 分散表現)が得られる 例えば，“春は曙” という文章全体を意味する潜在表現を得るには，これらを平均する(pooling)などの工夫が必要． 用途によっては，各トークンに対する潜在表現を別々のままで扱い，順次モデルに入力することもある． 文章を扱う 一般的なネットワーク 入力 入力層 隠れ層 出力層 出力 数値化 … … … … … 主な処理は 前ページで 説明した内容 う 出 タ そ ま 力 ス こ く 層 ク で 設 の に 目 計 次 合 的 す 元 わ と る 等 せ す を て る ニューラルネットワーク(NN)

Transformer以前のニューラル言語モデル 26 系列を前から順に処理するので，GPUで並列化が難しく，遠距離の情報同士の関連性がつかみにくい という課題があった．例えば “The book is mine. It is so funny." の It が何を指すか？ • 再帰型ニューラルネットワーク(recurrent neural network; RNN) • 文章に限らず，株価や気温の変動など，時系列データに対して適用が可能． • 時刻 𝑡 ごとに，入出力を行いつつ，それまでの過去の情報を内部に「隠れ状態」として保持し，次の時刻へ受け 渡す処理を繰り返す． • しかし，長い系列では学習がうまく進まず，十分過去の情報を保持し続けることが難しい． • 長・短期記憶(long-short term memory; LSTM) • RNNの特殊な場合として，入出力とは別に「セル状態」を導入することにより，比較的長時間にわたって情報を 保持し続けることを可能にした． • セル状態への入力ゲート，忘却ゲート，出力ゲートによって，何を記憶し，何を忘れ，何を出力するかを制御． • RNNよりもパラメータが増えており，学習がやや大変． • ゲート付き再帰型ユニット(gated recurrent unit; GRU) • LSTMよりも構造を簡略化．隠れ状態そのものを更新しつつ，更新ゲートとリセットゲートによって情報を制御 することを可能にした． • LSTMよりもパラメータが少なく，計算を軽量化しやすい．

27 Transformer: Attention機構 Transformerでは，Attention機構の導入で，系列全体を一気に見て「どこが重要か」を把握できる ようにした．また，GPUを活かした並列計算とそれに伴う高速化も可能にした． Attention機構の仕組み • 系列全体のうちで，注目するトークンと他のトークンとがどのくらい関係しているかを計算． • 計算結果を注目するトークンの潜在表現とすることで，各トークンに対する潜在表現が，周囲の文脈を取り込んだ ものにTransformされる． Scaled Dot-Product Attention 1. 各トークンに対して，潜在表現からの線形変換でQuery, Value, Keyベ クトル(それぞれ 𝑑! 次元)を計算． 春 2. あるトークンに注目する．全トークンそれぞれについて，そのKeyと 注目トークンのQueryとの類似度を計算し，Valueを乗じる． 春 は 曙 • 𝑸𝑲! の部分が内積に相当．その増大を抑制するため平方根 𝑑" で割る • ソフトマックス関数を適用し，出力を0から1の範囲に正規化 • QueryとKeyの類似度は，注目トークンと相手トークンとの依存度を表す．な お，自分自身に対するものも計算される．最終的に高類似度が重視される． 春 は 曙 3. 2.の計算結果を全トークンについて足し合わせることで，注目した トークンに対するAttention機構の出力が得られる．

Attention機構を図解する Attention機構に入力されるのは，各トークンに対応する潜在表現． ここでは，簡単のため4次元のベクトルで考える． 春 (1,1,0,0) Input 1 は (0,1,1,0) Input 2 曙 (1,0,1,1) Input3 28

29 Attention機構を図解する Query (1,1,1) 春 (1,1,0,0) (1,0,0) (1,1,2) Key Value Input 1 は (0,1,1,0) (1,1,0) (1,2,1) Key Value Input 2 曙 (1,0,1,1) Input3 (0,1,2) (3,1,1) Key Value 入力された潜在表現に対して線形変換を加え，各トークンに対応する Query, Key, Valueベクトルが得られる． ここで「どのような線形変換を加えるか」を制御する行列は，Query, Key, Valueのそれぞれに 用意されており，学習されるパラメータである．ここがうまく学習されて，Attentionの仕組みが うまく動作し，モデル全体として「どこが重要か」把握できることが期待される．

30 Attention機構を図解する Query (1,1,1) 春 (1,1,0,0) (1,0,0) (1,1,2) Key まずはトークン “春” に注目する． 1 Value Input 1 は (0,1,1,0) (1,1,0) (1,2,1) Key 2 Value Input 2 曙 (1,0,1,1) Input3 (0,1,2) (3,1,1) Key Value 3 トークン “春” のQueryベクトルと，各トークンに対する Keyベクトルとの内積を計算する．

31 Attention機構を図解する Query (1,1,1) 春 (1,1,0,0) (1,0,0) (1,1,2) Key Query, Key, Valueベクトルの次元数の平方根 (ここ 0.6 Value は (0,1,1,0) (1,1,0) (1,2,1) 1.2 Value Input 2 曙 (1,0,1,1) Input3 (0,1,2) (3,1,1) Key Value これは，内積の値が極端に大小した場合，学習が収束しなくなることを防 ぐために行う． 以後簡単のため，小数点以下は1桁あるいは2桁で四捨五入しており，桁数 の厳密性は考慮しないこととする． Input 1 Key では 3) で割る． 1.7

32 Attention機構を図解する Query (1,1,1) 春 (1,1,0,0) (1,0,0) (1,1,2) Key 0.2 Value Input3 𝑸𝑲! 𝑑" 内積 = softmax 調整項 の値の総和が1となる． (1,1,0) (1,2,1) Key 0.3 Value Input 2 曙 (1,0,1,1) これにより，各トークンに対する softmax Input 1 は (0,1,1,0) 計算した値が「類似度」として扱えるよう，値域が0以上1 以下のソフトマックス関数に渡して変換． (0,1,2) (3,1,1) Key Value 0.5 これは，注目トークンと相手トークンとがどのくらい「似ているか」を表す数値と して解釈できる．この値をAttention Scoreといい，モデル内部の挙動の解釈に役 立つ場合がある．

33 Attention機構を図解する 春 (1,1,0,0) (1,0,0) (1,1,2) Query Valueベクトルに対して，計算した類似度を乗じる． (1,1,1) これは，注目トークンとの類似度でValueベクトルを重みづけ している操作としてみなせる → 「どこが重要か」を把握！ Key 0.2 (0.2, 0.2, 0.4) 0.3 (0.3, 0.6, 0.3) 0.5 (1.5, 0.5, 0.5) Value Input 1 は (0,1,1,0) (1,1,0) (1,2,1) Key Value Input 2 曙 (1,0,1,1) Input3 (0,1,2) (3,1,1) Key Value

34 Attention機構を図解する Query 重みづけされたValueベクトルを足し合わせることで，注目 トークンに対するAttention機構の出力が得られる． (1,1,1) 春 (1,1,0,0) (1,0,0) (1,1,2) Key 0.2 (0.2, 0.2, 0.4) Value Output 1 Input 1 は (0,1,1,0) (1,1,0) (1,2,1) Key 0.3 (0.3, 0.6, 0.3) 0.5 (1.5, 0.5, 0.5) Value Input 2 曙 (1,0,1,1) Input3 (0,1,2) (3,1,1) Key Value (2.0, 1.3, 1.2)

35 Attention機構を図解する Query トークン “は” や “曙” に注目した場合も同様である． (1,1,0) 春 (1,1,0,0) (1,0,0) (1,1,2) Key なお，ここでは簡単のため，後述するCausal Attention Maskは考慮していない． 0.25 (0.25, 0.25, 0.50) Value (2.0, 1.3, 1.2) Output 1 Input 1 は (0,1,1,0) (1,1,0) (1,2,1) Key 0.50 (0.50, 1.00, 0.50) Value Output 2 Input 2 曙 (1,0,1,1) Input3 (0,1,2) (3,1,1) Key Value (1.3, 1.5, 1.3) 0.25 (0.75, 0.25, 0.25)

36 Attention機構を図解する Query トークン “は” や “曙” に注目した場合も同様である． (2,1,2) 春 (1,1,0,0) (1,0,0) (1,1,2) Key なお，ここでは簡単のため，後述するCausal Attention Maskは考慮していない． 0.1 (0.1, 0.1, 0.2) Value (2.0, 1.3, 1.2) Output 1 Input 1 は (0,1,1,0) (1,1,0) (1,2,1) Key 0.2 (0.2, 0.4, 0.2) Value (1.3, 1.5, 1.3) Output 2 Input 2 曙 (1,0,1,1) Input3 (0,1,2) (3,1,1) Key Value 0.7 (2.1, 0.7, 0.7) (2.4, 1.2, 1.1) Output 3

37 Transformerの全体像 • Encoder • 入力された情報から潜在表現を得る部分． • Transformerの場合は，入力された情報だけでトークン同士の関係性を捉える Self-Attentionが含まれる． Encoder • このEncoder部分だけ単独で用いて，分類タスクを解くモデル(分類器)に接続 させることもできる(割と有用)． • BERT[2] • 左図のEncoderを N=12 or 24 層積み重ねたモデル(base or large)． • 事前学習として，入力された文章の穴埋めと，続く文章が正しいか判定． • 目的とするタスクのデータセットで追加の学習を小規模に行うことで，当時の 性能最先端(State of The Art; SoTA)を達成．

38 Transformerの全体像 • 潜在表現から元の情報に戻す，あるいはトークン列からそれに続くトークンを 出力する部分(定義は使用形態によって微妙に変わる)． • 最近はDecoderだけのモデルが増えている． • Transformerの場合は，入出力をまたがったCross-Attention，出力だけに関 するSelf-Attentionの2種類がありうる． • 出力側のAttentionについては，自身よりも未来のトークンを知らないように するために，Causal Attention Maskを適用． Key 春 は 曙 Query Decoder • Decoder 春 は 曙 • 灰色の部分は計算対象に入れない • Query側から見て，“春” は “は”, “曙” を 知らないようにする • GPT-3[3] • 実はChatGPTとして使われているのはDecoder部分だけ．入力された文章や 過去に出力した文章に続くものを予測しつつ生成している！ • 2020年のGPT-3の時点で，左図のDecoderを N=96 個積み重ねている． • 事前学習として，大量のテキストに対してそれに続くものを予測させる．

39 Transformerの全体像 細かい各パーツについて補足．Attentionだけではない． • 位置エンコーディング (Positional Encoding) • Transformerでは，RNNやLSTMなどとは異なり，すべてのトークンを 同時に読み込むので，そのトークンの位置を表す情報を潜在表現に付加 しておく必要がある． • どのようなものを付加するかは，事前にルールベースで決めたものにす るか，あるいはその内容自体を学習する方法もある． 残差結合 • Multi-Head Attention • ここまで説明したAttention機構を並列化したもの． • あるトークンから他のトークンへ異種のAttentionを可能にすることで， 情報を多角的に捉えることができるようにする． • Feed Forward • Attention機構とは全く異なり，単に入力された潜在表現を別の潜在表現 に変換するだけのパーツ． • Transformerのうちではパラメータ数が多く，学習された知識を蓄えて いる，というか引き出せるようにしている部分と見ることもできる． • 残差結合 (Residual Connection) • 学習時の工夫で，ある層への入力をその層の出力にそのまま足すことで， 学習の安定化を図る．

40 ここまでのまとめ 色々あるけど… Transformerが提案されたので 前から順に じゃなくて 全部一気に読み込んで並列で学習 ある部分に対してどの部分が重要か GPUでバンバン高速化！ 言語モデルがどんどん「賢く」なったよ！

41 Transformerの応用例 ChatGPTへのテキスト入力だけでない，様々な分野への Transformerの応用例を紹介する．

42 Transformerの応用に共通すること 元は異言語間の翻訳を目的として提案されたが，対象をトークンに分けて数値化し，系列とみなせる のであれば，結局なんでも適用できる．言語に限定されない． • その対象ごとに適合した方式でトークンに分け，他のトークンとの関係性をモデルに獲得させること により目的のタスクの性能を上げたい場合に有用． • 言語以外の対象でも，大規模に学習されたTransformerベースのモデルが多く配布されている． • 以下の例に示す対象(モダリティ)同士を複合的に扱うモデルはマルチモーダルモデルと呼ばれる． 対象とトークン化，Attentionの例 対象 トークン化するもの Attentionで捉えるもの 文章 単語，フレーズ 言葉と言葉 画像 区切った領域(パッチ) 領域と領域 グラフ ノード ノードとノード タンパク質 アミノ酸残基 残基と残基 ロボティクス 画像や言語，行動 観測や指示，行動 ※ 詳細は後述します

画像: Vision Transformer (ViT) 43 画像を細かい部分(パッチ)に分割してから数値化し，Transformerに入力．画像分類タスクにおいて 優れた性能を発揮． An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale[4] Alexey Dosovitskiy, et al., ICLR 2021, (2021). 主流のトランスフォーマーアーキテクチャは自然言 語処理タスクにおいて事実上の標準となっている一 方で，コンピュータビジョンへの応用は依然として 限定的である．ビジョンタスクでは，通常アテン ションは畳み込みネットワークと組み合わせて適用 されるか，あるいは畳み込みネットワークの全体的 な構造を維持したまま，その特定の構成要素を置き 換えるために使用される．我々は，このような ConvNetへの依存は必ずしも必要ではなく，純粋な トランスフォーマーを画像パッチのシーケンスに直 接適用することで，画像分類タスクにおいて非常に 優れた性能を発揮できることを示す．大量のデータ で事前学習を行い，複数の認識ベンチマーク (ImageNet ， CIFAR-10 な ど ) に 転 移 学 習 さ せ た 場 合，これらのトランスフォーマーは優れた精度を達 成し，最良の畳み込みネットワークと同等かそれ以 上の性能を発揮する一方で，学習に必要な計算リ ソースは大幅に少なくて済む．

グラフ: GNN-Transformer (GTC) 44 グラフとは，データの関係性をノード(実体)とエッジ(関係性)で表現するもの．Transformerにより 大域的な関係性，既存の手法(GNN)で局所的な関係性をそれぞれ捉え，うまく対応づけて扱う． GTC: GNN-Transformer Co-contrastive Learning for Self-supervised Heterogeneous Graph Representation[5] Yundong Sun, et al., Neural Networks, (2025). グラフニューラルネットワーク(GNN)は，メッセージパッシン グ機構が持つ優れた局所情報の集約能力により，さまざまなグ ラフトラスクにおいて最も強力な手段として台頭してきた．し かし，過度な平滑化が常にGNNの深層化やマルチホップの近傍 情報の捕捉を妨げてきた．GNNとは異なり，トランスフォー マーはマルチヘッド自己アテンションを通じてグローバルな情 報やマルチホップの相互作用をモデル化することができ，適切 なトランスフォーマー構造を採用することで，過平滑化の問題 に対してより強い耐性を示すことができる．そこで，GNNの局 所的な情報集約能力とトランスフォーマーのグローバルな情報 モデリング能力を統合し，過平滑化の問題を解消する，GNNと トランスフォーマーを組み合わせた新しいフレームワークを提 案することはできないか．これを実現するため，本論文では GNN-トランスフォーマーのための協調学習スキームを提案し， GTC ア ー キ テ ク チ ャ を 構 築 す る ． GTC は ， GNN ブ ラ ン チ と Transformerブランチを活用して，それぞれ異なるビューからの ノード情報をエンコードし，エンコードされたクロスビュー情 報に基づいて対比学習タスクを確立することで，自己教師付き 異種グラフ表現を実現する．Transformerブランチについては， Metapath-aware Hop2TokenとCG-Hetphormerを提案してお り，これらはGNNと連携して，異なるレベルからの近傍情報を 注意深くエンコードすることができる．我々の知る限り，グラ フ表現学習の分野において，GNNとTransformerの両方を活用 して異なるビューの情報を協調的に捕捉し，クロスビュー対比 学習を行う試みはこれが初めてである．実データセットを用い た実験の結果，GTCは最先端の手法と比較して優れた性能を示 すことが確認された．

バイオ: AlphaFold3 45 生体内にある分子の構成要素の表現とその関係を特殊なTransformer(Pairformer)で捉えて，その 情報に基づいて，分子の3次元構造を生成．AlphaFold3では，対象はタンパク質に限定されない． Accurate structure prediction of biomolecular interactions with AlphaFold 3[6] Josh Abramson, et al., Nature, (2024). AlphaFold 2の登場は，タンパク質の構造およびその相互作用のモデリングに革命をもたらし，タンパク質モデリングや設計における幅広い応用を可能にした．ここで は，拡散ベースのアーキテクチャを大幅に更新したAlphaFold 3モデルについて解説する．このモデルは，タンパク質，核酸，低分子，イオン，修飾残基を含む複合体 の統合構造を予測することができる．この新しいAlphaFoldモデルは，多くの従来の専用ツールに比べて精度が大幅に向上している．具体的には，最先端のドッキン グツールと比較してタンパク質-リガンド相互作用の精度がはるかに高く，核酸特異的な予測ツールと比較してタンパク質-核酸相互作用の精度がはるかに高く，また AlphaFold-Multimer v.2.3と比較して抗体-抗原の予測精度が大幅に高い．これらの結果を総合すると，単一の統合された深層学習フレームワーク内で，生体分子空間 全体にわたる高精度なモデリングが可能であることが示されている．

ロボティクス: Octo 46 視覚画像や言語の指示をTransformerによって処理し，ロボットの連続的な行動を生成できる汎用 ロボット制御モデル． Octo: An Open-Source Generalist Robot Policy[7] Octo Model Team, arXiV, (2024). 実験の詳細等は公式ページにまとまっている． 多様なロボットデータセットで事前学習された大規模なポリシー は，ロボット学習に変革をもたらす可能性を秘めている．こうし た汎用的なロボットポリシーを用いれば，新しいポリシーをゼロ から学習させる代わりに，わずかなドメイン内データだけで微調 整を行うだけで，幅広い汎化性能を発揮できるからである．しか し，さまざまなロボット学習シナリオ，環境，タスクに広く適用 するためには，こうしたポリシーが多様なセンサーや動作空間に 対応し，一般的に使用されるさまざまなロボットプラットフォー ムに適応し，新しいドメインに対して容易かつ効率的に微調整を 行える必要がある．本研究では，ロボット操作のためのオープン ソースで汎用性の高いポリシーの開発に向けた基盤を築くことを 目指す．その第一歩として，現在最大規模のロボット操作データ セットである「Open X-Embodiment」データセットから得られ た80万件の軌跡を用いて学習された，トランスフォーマーベース の大規模ポリシー「Octo」を紹介する．Octoは，言語コマンドや 目標画像を通じて指示を受け，標準的な民生用GPU上で数時間以 内に，新しい感覚入力や動作空間を持つロボット構成に対して効 果的に微調整を行うことができる．9つのロボットプラット フォームにわたる実験において，Octoが，新しい観測空間や動作 空間に対して効果的に微調整可能な汎用性の高いポリシー初期化 として機能することを実証した．また，汎用ロボットモデルの構 築に関する今後の研究の指針となるよう，アーキテクチャから学 習データに至るまで，Octoモデルの設計上の決定事項について詳 細なアブレーション分析を実施した．

• https://octo-models.github.io/

気象予測: Aurora 47 地球全体を3次元のパッチに分割したものを入力とし，Transformerで地球の大気・海洋の時空間的 な関係を学習している． A foundation model for the earth system[8] Cristian Bodnar, Nature, (2025). 地球システムの信頼性の高い予測は，自然災害の軽減や人類の進歩を支える上で不可欠である．従来の数値モデルは強力であるが，計算コス トが極めて高いという課題がある．人工知能(AI)の最近の進歩は，予測性能と効率の両方を向上させる可能性を示しているが，多くの地球シ ステム分野において，その潜在能力はまだ十分に活用されていない．そこで本稿では，100万時間以上にわたる多様な地球物理データを用い て学習された大規模基盤モデル「Aurora」を紹介する．「Aurora」は，大気質，海浪，熱帯低気圧の進路，および高解像度の気象予測にお いて，運用中の予測システムを上回る性能を発揮し，その計算コストは桁違いに低い．比較的少ないコストで多様な用途に合わせて微調整が 可能であることから，「Aurora」は，正確かつ効率的な地球システム予測の普及に向けた重要な一歩となる．これらの結果は，環境予測に おけるAIの変革的な可能性を浮き彫りにするとともに，高品質な気候・気象情報へのより広範なアクセスの道を開くものである．

3D点群: Point Transformer 48 3次元空間中の点同士の関係をSelf-Attentionで捉えるTransformerにより，空間内にある物体分類 や点単位の物体推定(セマンティックセグメンテーション)を高い精度で達成． Point Transformer[9] Hengshuang Zhao, ICCV 2021, (2021). 自己アテンションネットワークは自然言語処理に革命を もたらし，画像分類や物体検出といった画像解析タスク においても目覚ましい進歩を遂げている．この成功に着 想を得て，我々は3D点群処理への自己アテンション ネットワークの応用について検討した．点群用の自己ア テンション層を設計し，これを利用して，意味的シーン セグメンテーション，物体部分セグメンテーション，物 体分類などのタスクに向けた自己アテンションネット ワークを構築した．我々の「Point Transformer」の設 計は，さまざまな分野やタスクにおいて先行研究を上回 る成果を上げている．例えば，大規模なセマンティック シーンセグメンテーションにおける難易度の高いS3DIS データセットにおいて，Point TransformerはArea 5で mIoU 70.4%を達成し，最有力な先行モデルを絶対値で 3.3パーセントポイント上回り，mIoU 70%という閾値 を初めて突破した．

49 Transformerのウラ事情 Transformerは「絶対神」ではなく，いつかは時代遅れに なるのかもしれない．

実は “Attention is NOT All You Need Anymore” ? 50 Transformerの主役はAttentionかもしれないが，Self-Attentionを入れすぎると，各トークンへの 潜在表現が似過ぎてしまうので，単純なFFNや残差結合が重要であることを述べている． Attention is NOT All You Need Anymore: pure attention loses rank doubly exponentially with depth[10] Yihe Dong, et al., ICML 2021, (2021). 検証内容の概要: SAはSelf-Attentionの略称 アテンションに基づくアーキテクチャは，機械 学習において広く普及している．しかし，その 有効性の理由に関する理解は依然として限定的 である．本研究では，セルフアテンションネッ トワークを理解するための新しいアプローチを 提案する．すなわち，その出力を，各層にわた る一連のアテンションヘッドの演算を含む，よ り小さな項(パス)の和として分解できることを 示す．このパス分解を用いて，セルフアテン ションが「トークンの均一性」に向けた強い帰 納的バイアスを有することを証明する．具体的 には，スキップ接続や多層パーセプトロン (MLP)がない場合，出力は二重指数関数的にラ ンク1の行列へと収束する．一方，スキップ接 続やMLPを導入することで，出力の退化が阻止 される．我々の実験では，標準的なトランス フォーマーアーキテクチャにおいて，この収束 結果が検証された．

xLSTM: LSTMが帰ってきた 51 LSTMの記憶セルと並列化機構を強化して大規模にした結果，当時最先端のTransformerや，それに 代わろうとする別のモデルと遜色ない性能を出せることが判明． xLSTM: Extended Long Short-Term Memory[11] Maximilian Beck et al., NeurIPS 2024, (2024). 個性的な点 • 複数の記憶セルの間で情報を混合 → Self-Attention風 • 指数関数的なゲート制御 → 古い情報を保持し続ける 1990年代，ロング・ショート・ターム・メモリー(LSTM)の中核と なる概念として，定常誤差カルーセルとゲーティングが導入され た．それ以来，LSTMは長きにわたりその有用性を証明し，数多く のディープラーニングの成功事例に貢献してきた．特に，LSTMは 最初の大規模言語モデル(LLM)の基盤となった．しかし，並列化可 能な自己アテンションを中核とするトランスフォーマー技術の登場 は，新たな時代の幕開けを告げ，大規模な処理においてLSTMを凌 駕した．そこで，私たちは次のような単純な問いを投げかける． LSTMを数十億パラメータ規模に拡張し，最新のLLM技術を活用し つつ，LSTMの既知の限界を緩和した場合，言語モデリングにおい てどこまで到達できるのだろうか？まず，適切な正規化および安定 化手法を伴う指数関数的ゲーティングを導入する．次に，LSTMの メモリ構造を修正し，以下のモデルを得る：(i) スカラーメモリ，ス カラー更新，および新しいメモリ混合を持つsLSTM，(ii) 行列メモ リと共分散更新ルールを備え，完全に並列化可能なmLSTM．これら のLSTM拡張機能を残差ブロックのバックボーンに統合することで xLSTMブロックが生成され，これらは残差的に積み重ねられて xLSTMアーキテクチャを構成する．指数関数的ゲーティングと改良 されたメモリ構造により，xLSTMの能力は向上し，性能とスケーラ ビリティの両面で，最先端のトランスフォーマーや状態空間モデル と比較しても遜色ない性能を発揮する．

Mamba: Attentionのようなことをやりつつ計算量抑制 52 Attentionのように系列全体を毎度見るのではなく，重要な情報を選択的に状態へ残しつつ系列を処理 する．そして，特定の条件下では同規模のTransformerよりも高い性能を実現． Mamba: Linear-Time Sequence Modeling with Selective State Spaces[12] Albert Gu, et al., COLM 2024, (2024). • H3: 過去を圧縮し保持．Attentionに類似するが線形計算量． • Gated MLP: ゲート機構．何を記憶して何を忘れるかを制御． 現在，ディープラーニングにおける多くの画期的なアプリケーションを 支えている基盤モデルは，ほぼ例外なくトランスフォーマーアーキテク チャとその中核となるアテンションモジュールに基づいている．長い シーケンスに対するトランスフォーマーの計算効率の低さを解決するた めに，線形アテンション，ゲート付き畳み込み，リカレントモデル，構 造化状態空間モデル(SSM)など，多くのサブ二次時間アーキテクチャが開 発されてきたが，言語などの重要なモダリティにおいては，アテンショ ンほど優れた性能を発揮できていない．我々は，こうしたモデルの主な 弱点がコンテンツに基づく推論ができないことにあると特定し，いくつ かの改善を行った．第一に，SSMのパラメータを入力の関数とするだけ で，離散モダリティにおける弱点を解消し，モデルが現在のトークンに 応じてシーケンス長次元に沿って情報を選択的に伝播または忘却できる ようにした．第二に，この変更により効率的な畳み込みの使用はできな くなるものの，リカレントモードでハードウェアを意識した並列アルゴ リズムを設計した．これらの選択的SSMを，アテンションやMLPブロッ クさえも含まない簡素化されたエンドツーエンドのニューラルネット ワ ー ク ア ー キ テ ク チ ャ (Mamba) に 統 合 し た ． Mamba は 高 速 な 推 論 (Transformersよりも5倍高いスループット)とシーケンス長に対する線形 スケーリングを実現し，100万長までのシーケンスで実データでの性能が 向上する．汎用シーケンスモデルのバックボーンとして，Mambaは言 語，音声，ゲノミクスなど，複数のモダリティにおいて最先端の性能を 達成している．言語モデリングで，当社のMamba-3Bモデルは，事前学 習およびダウンストリーム評価の両方で，同サイズのTransformersを上 回り，2倍のサイズのTransformersと同等の性能を発揮する．

Titans: 長期記憶を別レイヤーで管理 53 Attentionに短期的な処理を任せて，別途長期的な記憶機構を追加することで，長く続く会話であっ ても現在と過去の両方を重視させ，忘却が起きにくくしている． Titans: Learning to Memorize at Test Time[13] Ali Behrouz, et al., NeurIPS 2025, (2025). 3レイヤーに分割してやり取り • Core: 直近の情報．直前の指示や現在の会話を処理する • Long-term Memory: 重要な過去情報．必要なら参照される • Persistent Memory: 事前学習された一般知識を保持する 10年以上にわたり，リカレントモデルとアテンションを効果的に活用 する方法について，広範な研究が行われてきた．リカレントモデルは データを固定サイズのメモリ(隠れ状態と呼ばれる)に圧縮することを 目的としているのに対し，アテンションはコンテキストウィンドウ全 体に注目させ，すべてのトークンの直接的な依存関係を捉えることを 可能にする．しかし，この依存関係のより正確なモデリングには二次 的な計算コストが伴い，モデルのコンテキスト長が固定長に制限され てしまう．本研究では，過去のコンテキストを記憶することを学習 し，アテンションが過去の情報を活用しつつ現在のコンテキストに注 意を向けるのを支援する，ニューラル長期記憶モジュールを提案す る．このニューラルメモリには，高速かつ並列化可能な学習という利 点があることを示す．記憶の観点から，アテンションはコンテキスト が限定的であるものの依存関係のモデリングが正確であるため短期記 憶として機能するのに対し，ニューラルメモリはデータを記憶する能 力を持つため，より持続性の高い長期記憶として機能すると論じる． これら2つのモジュールに基づき，我々は「Titans」と呼ばれる新し いアーキテクチャファミリーを導入し，このアーキテクチャにメモリ を効果的に組み込む方法として3つのバリエーションを提示する．言 語モデリング，常識推論，時系列タスクにおける実験結果から， Titansはベースラインと比較して有効であることが示され，また「干 し草の山から針を探す」ようなタスクにおいて，より大きなコンテキ ストウィンドウへも効果的に拡張できることが確認された．

研究のハナシ: 実は視野が狭くなっていないだろうか？ 54 このように，Transformerは実は絶対的なものではない．研究では「何をすれば価値が出るか」を しっかり考えること．そして，自分にしかできないことをする．日々の積み重ねが道になる！ • 新しいものを使えば良いのか • やはり不易流行のスタンスが良い．やはり研究として価値があるとされやすいのは新しいものだが，新しいもの も比較的すぐに陳腐化する． • 研究では，温故知新もありうる．例えばTransformerに勝つこともある「LSTMの進化形」が注目されるように， 昔のものを究めると面白い成果が出るかもしれない． • 精度が上がればいいのか • 公開される基盤LLMの性能は上昇し続けるはずなのに「提案手法ではGPT-6を上回る精度を出しました」と訴求 することに価値は無いと思います． • 精度が上がる，正解率が上がるという目先の利益よりも，もっと重要なことがあるのではないか． • 何が満たされればいいのか？ → 自分の知的好奇心 • 日々状況が変わっていて，研究をする人に芸術的センスが求められる難しい時代になった． • いつか「坪井さんだから出た成果ですね」と言われるような成果を出したい． • 分野にとらわれず，色々なことに触れて，自分の視野を広げ，自分にしかない発想で自分にしかできないことを しましょう．そのために広く勉強するし，勉強以外のこともしましょう．

55 まとめ いいかお前，Transformer ってのはな… ① ChatGPT の “T” ② 入った情報は「数値化」して扱う 入った情報のうちで，どこが大事かを把握する ③ 「Attention機構」ってやつがある GPUバンバン使って ④ ハイスピードで計算できるようにしている ⑤ 言葉だけじゃなくて，色んなデータに使える ⑥ でも「絶対神」のようなものではない んだぞ うんうん…

56 まとめ いいかお前，Transformer ってのはな… ① ChatGPT の “T” ムズ過ぎた かなぁ… ② 入った情報は「数値化」して扱う 入った情報のうちで，どこが大事かを把握する ③ 「Attention機構」ってやつがある GPUバンバン使って ④ ハイスピードで計算できるようにしている ⑤ 言葉だけじゃなくて，色んなデータに使える ⑥ でも「絶対神」のようなものではない んだぞ うんうん…

57 お知らせ • 本日のスライドはDocswellにおいて一般公開し，画面録画も後日公開予定(失敗したら事後に録画)． • 以前のLT会のスライド，動画等は一般公開しているので，ぜひご覧ください！ World Model for Science リンク: LT会資料 LLMって何？ リンク: 実行結果ファイル，説明動画 「世界モデル」とは何かを解説 Docswellの人気スライドに上位掲載！ 新歓のミニLTでのLLMの概要説明 コードベースで動かすLLMの雰囲気がわかる

• https://www.docswell.com/s/6056506/Z1QQDG-2026-07-04-WM-for-Science
• https://gist.github.com/Tsuboi-coder/86a491273d0e71221a2a12b4ad935ee4
• https://youtu.be/cF7_7z36u_A

参考文献 58 • 東京大学 松尾・岩澤研究室 学生向け講座の資料を，規約上違反にならない範囲で参考にしました． • [1] Vaswani, A. et al., “Attention Is All You Need,” Advances in Neural Information Processing Systems 30 (NIPS 2017), 2017. • [2] Devlin, J. et al., “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding,” Proceedings of NAACL-HLT 2019, pp. 4171‒4186, 2019. • [3] Brown, T. B. et al., “Language Models are Few-Shot Learners,” Advances in Neural Information Processing Systems 33 (NeurIPS 2020), 2020. • [4] Dosovitskiy, A. et al., “An Image Is Worth 16 16 Words: Transformers for Image Recognition at Scale,” International Conference on Learning Representations (ICLR), 2021. • [5] Sun, Y. et al., “GTC: GNN-Transformer Co-contrastive Learning for Self-supervised Heterogeneous Graph Representation,” Neural Networks, vol. 181, 106645, 2025. DOI: 10.1016/j.neunet.2024.106645. • [6] Abramson, J. et al., “Accurate Structure Prediction of Biomolecular Interactions with AlphaFold 3,” Nature, vol. 630, pp. 493‒500, 2024. • [7] Ghosh, D. et al., “Octo: An Open-Source Generalist Robot Policy,” Robotics: Science and Systems (RSS), 2024. DOI: 10.15607/RSS.2024.XX.090. • [8] Bodnar, C. et al., “A Foundation Model for the Earth System,” Nature, vol. 641, pp. 1180‒1187, 2025. • [9] Zhao, H. et al., “Point Transformer,” Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. 16259‒ 16268, 2021. • [10] Dong, Y. et al., “Attention is not all you need: pure attention loses rank doubly exponentially with depth,” Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR 139, pp. 2793‒2803, 2021. • [11] Beck, M. et al., “xLSTM: Extended Long Short-Term Memory,” Advances in Neural Information Processing Systems 37 (NeurIPS 2024), 2024. • [12] Gu, A. et al., “Mamba: Linear-Time Sequence Modeling with Selective State Spaces,” Conference on Language Modeling (COLM), 2024. • [13] Behrouz, A. et al., “Titans: Learning to Memorize at Test Time,” Advances in Neural Information Processing Systems 38 (NeurIPS 2025), 2025.