---
title: 【人工知能・深層学習】論文紹介：SayCAN, RT-1, RT-2, OpneVLA, Diffusion Policy, π0
tags:  #deeplearning #論文紹介 #深層学習 #人工知能 #vla #vision-language-action #robotics  
author: [Taki lab.](https://image.docswell.com/user/8328889256)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/K74W5GYZE1.jpg?width=480
description: M2の原さんが、2022年から2024年までの主要VLA研究論文6本の紹介を行いました。 本書では、行動を既存スキルから「選択する」アプローチのSayCanから始まり、単一のネットワークでEnd2End制御を実現したRT-1やRT-2、そしてオープンソースのデファクトスタンダードとなったOpenVLAへの発展ストーリがまとめられています。さらに、従来の自己回帰型モデルの限界であった「多峰性の問題」や「動作速度の遅さ」を克服するために導入された、アクションを一括生成するDiffusion Policyのノイズ除去や勾配による生成メカニズム、そして最新のFlow Matching技術を用いて決定論的かつ最大50Hzという高速で滑らかな制御を可能にした汎用ロボット基盤モデル「π0（パイゼロ）」のアーキテクチャや学習手法について紹介しました。
published: July 06, 26
canonical: https://image.docswell.com/s/8328889256/KX29Y3-2026-07-06-211825
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/K74W5GYZE1.jpg)

VLA入門
VLM→VLA、Diffusion Policy
立教大学大学院
人工知能科学研究科
原 志弥


# Page. 2

![Page Image](https://bcdn.docswell.com/page/LJ1YWD6DEG.jpg)

VLA(Vision-Language-Action)とは
• 入力：カメラ画像＋自然言語の指示
• 出力：ロボットの行動指令(グリッパーをΔx 動かす等)
1


# Page. 3

![Page Image](https://bcdn.docswell.com/page/GJWG6YW872.jpg)

VLM から VLA へ
• LLMやVLM
莫大なデータセットから「高度な意味理解能力」や「常識的な推論能力」を獲得
しかし、『グラウンディング(意味の物理世界との紐付け)の欠如』という問題有
• ロボットが置かれている現在の物理的状況(障害物の有無、手の届く範囲など)を考慮できない
LLMがロボットに対して非現実的な行動(ハルシネーション・異常行動)を起こす(生成する)問題があった
• 長年のロボティクスとAI
見る(認識・知覚)→考える(推論)→行動 という分離したステップで動作
• 各ステップが独立して動作するため、情報の連携が不十分
• 動的な環境での適応が困難
• 新しいタスクごとに、それぞれ別のモデルやシステムを組み替える必要有
これらの限界を克服するために、より統合的なアプローチが求められた
2


# Page. 4

![Page Image](https://bcdn.docswell.com/page/4EZLYX5973.jpg)

VLAロードマップ
• SayCan(2022.4)[1]
LLM＋既存スキルのモジュール化。行動は生成せずに『選ぶ』
• RT-1(2022.12)[2]
視覚・言語・行動を1つのTransformerでEnd2End(ただしロボットデータのみ)
• RT-2(2023.7)[3]
VLMを流用し、Web知識を転送。行動を「言語トークン」として出力
• OpenVLA(2024.6)[4]
オープンソースの7Bモデル。小型でRT-2級。RoRAでのFTが有用。デファクトスタンダード的存在
• Diffusion Policy(2023.3)[5]
VLAではない
行動生成の方式についての議論
• π0(2024.10)[6]
VLA+Flow Matching、連続・高周波・器用な動作へ
3


# Page. 5

![Page Image](https://bcdn.docswell.com/page/Y76WD49D7V.jpg)

SayCan(2022)の登場とモジュール型アプローチ
• Do As I Can, Not As I Say: Grounding Language in Robotic Affordances (Google Robotics / Everday Robots)
背景
• LLM(GPT-3, PaLMなど)は、ウェブ上の莫大なテキストデータから「世界に関する情報」を学習しているが、
物理的な実体を持たないため、現実世界での行動の結果を観察したことがない
目的と提案
• LLMが持つ「高レベルな意味的知識(何をすべきか)」とロボットの価値関数が提供する「現実世界での実現可能性(何が
できるか)」を統合するSayCanアルゴリズムの提案
• ロボットが抽象的で長期間にわたる自然言語の処理に従い、自分の能力と環境に合わせた適切な行動を選択できるように
なることを目指す
アーキテクチャ
• 各スキル(π)(1つの小さい動作のこと)の確率を「タスク接地」と「世界接地」の積として定式化
• ロボットが受け取った高レベルな指示 (i )に対して、現在の状態 ( s )で実行するべきスキル(π)を選択する確率
𝝅 = argmax 𝝅∈𝚷 ∝ 𝑝 𝑐𝜋 𝑠, ℓ𝜋 × 𝑝 ℓ𝜋 𝑖
• 𝑝 ℓ𝜋 𝑖 ：Say / タスク接地
◆
◆
指示 𝒊 に対して、スキルの自然言語記述 ℓ𝝅 が次のステップとしてどの程度有用かをLLMが推論し、確率を算出。
◆
「ロボットが実行可能なスキルのリスト」の中から、現在の文脈に最適なものを確率的に選別するプロセス
• 𝑝 𝑐𝜋 𝑠, ℓ𝜋 ：Can / 世界接地
◆
現在の状態 𝒔 において、スキル ℓ𝝅 が成功する確率(アフォーダンス)を、強化学習で学習された価値関数を用いて推定
4


# Page. 6

![Page Image](https://bcdn.docswell.com/page/G75M3QN874.jpg)

SayCanのアルゴリズム
5


# Page. 7

![Page Image](https://bcdn.docswell.com/page/9J29ZP5VER.jpg)

SayCanの結果と課題
• Do As I Can, Not As I Say: Grounding Language in Robotic Affordances (Google Robotics / Everday Robots)
結果
• 未知の指示に対しても、長期的(ロングホライズン)なタスク実行を可能にした。
◆
新しい環境下での成功率は、ベースラインを大きく上回った
課題
• 「事前に定義・学習された個別のスキルセット」に完全依存しており、未知の動作をゼロから生成するのは不可能
◆
行動は、既存スキルから選ぶだけ
• スキルの実行が失敗した際や環境が途中で変わった際のフィードバック（Inner Monologue）が限定的
• ロボットの性能は、背後にあるスキルのバリエーション(本論文では551種類)に依存
◆
新しい物理操作の学習が必要
• LLMは画像を見ていない、接地は価値観数のみで入る＝非End2End
視覚・言語・行動の生成を単一のネットワークで、End2Endで行うモデルが必要
ロボット自身の経験をLLMにフィードバックして、LLM側の「物理的常識」を更新
6


# Page. 8

![Page Image](https://bcdn.docswell.com/page/DEY4R5KQJM.jpg)

End2End制御の基盤：RT-1(2022, Google DeepMind)
• RT-1: ROBOTICS TRANSFORMER FOR REAL-WORLD CONTROL AT SCALE
• 貢献：ロボットの連続的な行動を、11次元×各256ビンの離散トークンにして、Transformerで自
己回帰生成
アームの動き (7次元)
• 位置の変位：x, y, z (3次元)
• 回転の変位：ロール (roll)、ピッチ (pitch)、ヨー (yaw) (3次元)
• グリッパーの開閉度 (1次元)
ベースの動き (3次元)
• 位置の変位：x, y (2次元)
• 回転の変位：ヨー (yaw) (1次元)
制御モード/終了フラグ (1次元)
• 「アームの制御」、「ベースの制御」、「エピソードの終了」の3つのモードを切り替えるための離散変数
• 汎化能力の限界
RT-1の学習データ：ロボットの軌道データのみ
• 学習データに存在しない未知の物体や背景、わずかに言い回しを変えただけのプロンプトに対するZero-shot性能が乏しい。
7
• 物理世界で収集できるロボットデータは、web上のデータに比べて非常に小規模


# Page. 9

![Page Image](https://bcdn.docswell.com/page/VJNYDNR278.jpg)

8


# Page. 10

![Page Image](https://bcdn.docswell.com/page/YE9PGRMDJ3.jpg)

Web知識の利用とVLMの行動トークン出力：RT-2(2023, GoogleDeepmind)
• RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control
RT-1以前：特定のタスクごとに大量の「ロボット操作データ」を学習させる必要有り
• 課題：学習データにない状況や、抽象的な指示には対応できなかった
• 貢献
行動を専用の出力ヘッドなしで生成可能
• 従来のVLMをベースに、出力として「ロボットの行動トークン」を直接出力できるようにCo-FineTuning
Web知識の転送
• 恐竜の画像がWeb上に多ければ、ロボットは「恐竜を拾って」という指示だけで、見たことのない恐竜のフィギュアを
正しく認識して掴める
推論能力(Chain-of-Thought)
• 「即席のハンマーとして使えるものを探して」といった、意味的な理解を要するタスクもこなせるように
• 課題
55Bパラメータ、巨大で推論が遅い、クローズドで再現不可
9


# Page. 11

![Page Image](https://bcdn.docswell.com/page/GE8DVWL5ED.jpg)

RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control
• アーキテクチャ(2バリアント)
RT-2-PaLI-X：55BのVLM、画像エンコーダーはViT、デコーダは言語モデル
RT-2-PaLM-E：12BのVLM、視覚的なトークンを直接言語モデルに埋め込む
10


# Page. 12

![Page Image](https://bcdn.docswell.com/page/LELM5NL37R.jpg)

RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control
• 訓練方法
Co-FineTuning
• ロボットデータのみでFine-tuningを行うと、VLMがもともと持っていた豊かな意味理解能力が失われてしまう。
◆
ロボットのデモンストレーションデータ(約10万エピソード)
◆
インターネット規模のVLデータ(数百万の画像とテキストのペア)
• バッチ内のデータ比率を「ロボットデータ：Webデータ＝50:50~66:34」となるように重み付けすると最高性能を発揮
• Symbol Tuning
ロボットの低レベルな制御(エンドエフェクタの移動や回転など)をテキストトークンとして表現
• アクションの離散化：ロボットの6自由度の位置・回転・グリッパーの開閉状態等を、256個のビン(bin)に分割し、数値化
• トークンへのマッピング：ビンを、既存のVLMの語彙(トークン)に対応させる
◆
PaLI-Xの場合: 1000までの整数に対応する既存のトークンをそのまま利用
◆
PaLM-Eの場合: 使用頻度の低い256個のトークンを、アクション用として上書
• 「マルチモーダルな文章」としての出力: 「1 128 91...」といったアクションを意味するトークン列を、あたかも自然言語
の回答であるかのように出力
• Chain-of-Thought
訓練データを拡張し、行動トークンを出力する前に、まず自然言語で「計画(plan)」を出力させる
11


# Page. 13

![Page Image](https://bcdn.docswell.com/page/4JMY3XMMJW.jpg)

RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control
12


# Page. 14

![Page Image](https://bcdn.docswell.com/page/PJR9QNVL79.jpg)

オープンソース化と高解像度視覚表現：OpenVLA(2024)
• OpenVLA: An Open-Source Vision-Language-Action Model
Stanford University, UC Berkeley, Toyota Research Institute, Google DeepMind, Physical
Intelligence, MITなどなど
13


# Page. 15

![Page Image](https://bcdn.docswell.com/page/PEXQ5NW6JX.jpg)

OpenVLA: An Open-Source Vision-Language-Action Model
• 訓練方法
Open X-Embodimentデータセット(100万以上のシーン)から97万件のデータを抽出
• 27エポック、64台のA100で14日
• ビジョンエンコーダをフリーズせず、VLAの学習中も同時にFine-Tuning
◆
ロボット制御の精密な空間的詳細を捉えるのに必要らしい
• 結果：55BパラメータのRT-2-Xを、7Bパラメータで上回る成功率
14


# Page. 16

![Page Image](https://bcdn.docswell.com/page/3EK96NVGED.jpg)

OpenVLA: An Open-Source Vision-Language-Action Model
• LoRAによる新規タスクへの応用
計算資源が限られていても、新規タスクへ容易に対応可能
• Full-FTには8基のA100GPUが必要だが、 1基のA100GPU(10〜15時間)で学習が完了
• LoRAを使用し、モデルの線形層に低ランク行列(推奨r=32)を追加
• 全体のわずか1.4％(約9,760万パラメータ)のみを更新
• Full-FTと同等の成功率を達成
15


# Page. 17

![Page Image](https://bcdn.docswell.com/page/L73W6VM575.jpg)

OpenVLA: An Open-Source Vision-Language-Action Model
• 4-bit量子化による推論の高速化
16


# Page. 18

![Page Image](https://bcdn.docswell.com/page/87DKV86YJG.jpg)

RT-1、RT-2、OpenVLAの限界
• 自己回帰型VLAの構造的限界
• Reactive Policy：多峰性の問題
例)テーブルの上のマグカップを掴む際、「上から掴む」軌道と、「横から掴む」軌道の両方が正解になる
• 確率分布が複数のピークを持つ
言語モデルのように離散トークンを1ステップづつ出力するモデルは、これらの複数の正解軌道を「平均
化」してしまう
• 「斜めから中途半端にアプローチして衝突」といった最適ではない＆危険行動を生成する可能性あり
• 動作速度の問題
自己回帰によるトークン生成は計算コストが高く、数10Hzという高周波で滑らかな連続制御ができない
• 布を畳むなど
拡散モデルのアプローチにより、多峰性と制御周波数の問題を解決
17


# Page. 19

![Page Image](https://bcdn.docswell.com/page/VJPKV8Y2E8.jpg)

VLAロードマップ(再掲)
• SayCan(2022.4)[1]
LLM＋既存スキルのモジュール化。行動は生成せずに『選ぶ』
• RT-1(2022.12)[2]
視覚・言語・行動を1つのTransformerでEnd2End(ただしロボットデータのみ)
• RT-2(2023.7)[3]
VLMを流用し、Web知識を転送。行動を「言語トークン」として出力
• OpenVLA(2024.6)[4]
オープンソースの7Bモデル。小型でRT-2級。RoRAでのFTが有用。デファクトスタンダード的存在
• Diffusion Policy(2023.3)[5]
VLAではない
行動生成の方式についての議論
• π0(2024.10)[6]
VLA+Flow Matching、連続・高周波・器用な動作へ
18


# Page. 20

![Page Image](https://bcdn.docswell.com/page/2EVVZNGXEQ.jpg)

多峰性問題の克服と連続制御： DiffusionPolicy(2023年)
• Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
Cheng Chi et al…
• Policy(方策)とは
「観測」を入れると「行動」を返すもの
Diffusion Policyは、行動を1つに決めず、「行動の確率分布」として扱う
• 𝑝𝜃 𝑎|𝑜
𝑎：行動(グリッパーの移動量)
o：観測(画像など)
𝜽：ニューラルネットワークの重み
状況oに対して、「あり得る行動」全体の確率分布
19


# Page. 21

![Page Image](https://bcdn.docswell.com/page/57GL4K8REL.jpg)

Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
• 定義
• 𝑡：環境時刻
ロボットが実際に動く時間ステップ
• 𝑘：拡散ステップ
ノイズ除去の回数
𝑘 = 𝐾 が純ノイズ、𝑘 = 0 が完成した行動
• 𝐴𝑡 = 𝑎𝑡 … 𝑎𝑡+𝑇𝑝−1
時刻 𝑡 で予測する行動チャンク
• 𝑂𝑡 ：観測
直近数フレームの画像など、ノイズは加えない
• 𝐴𝑘𝑡
行動チャンクを 𝑘段ノイズ除去した途中状態
20


# Page. 22

![Page Image](https://bcdn.docswell.com/page/4EQYGN9YJP.jpg)

多峰性問題の克服と連続制御： DiffusionPolicy(2023年)
行動を直接出力するのではなく、最適な行動へ向かう『勾配』を出力し、ノイズから連続的に生成するアプローチ
21


# Page. 23

![Page Image](https://bcdn.docswell.com/page/KJ4W5GXZ71.jpg)

(b)エネルギーベースドモデル(EBM)と分配関数zの限界
• (b) Implicit Policy（エネルギーベースドモデル(EBM)）のアイディア
観測oと行動aのペアに対して、その『不自然さ』をスカラー値のエネルギーとして評価する関数を学習
• 低エネルギー：尤もらしい行動
• 推論：エネルギー最小化で最適行動を探す
• 𝑝𝜃 𝑎|𝑜 =
𝑒 −𝐸𝜃 𝑜,𝑎
𝑍 𝑜,𝜃
エネルギーEから確率分布pを作る変換。Eさえ学べば、行動の良し悪しを確率で語れる
• 𝑍 𝑜, 𝜃 = ‫ 𝑒 ׬‬−𝐸𝜃 𝑜,𝑎′ 𝑑𝑎′
確率の合計を1にするための割り算の分母になる役割
Zは全行動の積分、行動が高次元だと計算不可能
• 𝑎ො = arg min𝐸𝜃 𝑜, 𝑎
𝑎
推論時は「エネルギーが最小の行動」を探す
学習後に、実際に取る行動を1つ選ぶ役割
22


# Page. 24

![Page Image](https://bcdn.docswell.com/page/LE1YWDND7G.jpg)

(c)Diffusion policy, SGMs
• (c)Score-based Generative Models (SGMs)
スコア関数とは＝確率が最も増える方向
• 𝛻𝑎 (行動aでの勾配)は、「aをどちらへ動かせば確率が上がるか」という向きベクトル
• この向きに沿って進めば、自然と「良い行動」に辿り着ける←これを学びたい
EBMモデルの問題→ Z の計算に起因する学習の不安定さ
• 𝑝𝜃 𝑎|𝑜 =
𝑒 −𝐸𝜃 𝑜,𝑎
𝑍 𝑜,𝜃
23


# Page. 25

![Page Image](https://bcdn.docswell.com/page/GEWG6Y48J2.jpg)

(c)Diffusion policy, SGMs
• (c)Score-based Generative Models (SGMs)
スコア関数とは＝確率が最も増える方向
• 𝛻𝑎 (行動aでの勾配)は、「aをどちらへ動かせば確率が上がるか」という向きベクトル
• この向きに沿って進めば、自然と「良い行動」に辿り着ける←これを学びたい
EBMモデルの問題→ Z の計算に起因する学習の不安定さ
• 𝑝𝜃 𝑎|𝑜 =
𝑒 −𝐸𝜃 𝑜,𝑎
𝑍 𝑜,𝜃
両辺の対数を取る
• log 𝑝𝜃 𝑎|𝑜 = −𝐸𝜃 𝑜, 𝑎 − log 𝑍 𝑜, 𝜃
行動aで微分する
• 𝛻𝑎 log 𝑝𝜃 𝑎|𝑜 = −𝛻𝑎 𝐸𝜃 𝑜, 𝑎 − 𝛻𝑎 log 𝑍 𝑜, 𝜃
◆
この時 𝑍 𝑜, 𝜃 = ‫ 𝑒 ׬‬−𝐸𝜃 𝑜,𝑎′ 𝑑𝑎′ は a で積分済み=aに依存しない→ 𝛻𝑎 log 𝑍 𝑜, 𝜃 = 0
∴ 𝛻𝑎 log 𝑝𝜃 𝑎|𝑜 = −𝛻𝑎 𝐸𝜃 𝑜, 𝑎 ≈ −𝜀𝜃 𝑎, 𝑜, 𝑘
24


# Page. 26

![Page Image](https://bcdn.docswell.com/page/47ZLYX29J3.jpg)

DDPM①：ノイズの加算
• Denoising Diffusion Probabilistic(DDPM)の定式化
視覚運動制御を条件付きノイズ除去問題として再定式
ランダムなノイズを有意義なアクションシーケンスに繰り返し洗練することを学習
• 学習の準備：前方過程
正解の行動に、段階的にノイズを足していく
𝑞 𝐴𝑘𝑡 | 𝐴𝑘−1
= 𝒩 1 − 𝛽𝑘 𝐴𝑘−1
, 𝛽𝑘 𝐼
𝑡
𝑡
• q：ノイズを足す過程
• N ：ガウスノイズ
• β_k：格段でどれだけノイズを足すかのスケジュール
• I ：単位行列
𝐴𝑘𝑡 = 𝛼𝑘 𝐴0𝑡 + 1 − 𝛼𝑘 𝜀
• 途中を飛ばして、お手本 𝐴0𝑡 から「k段ノイズを乗せた状態」を一発で作れる
• 𝛼𝑘 ：βを掛け合わせた累積地
• 学習用に「ノイズの乗った行動」と「乗せたノイズの正解」のペアを大量生成できる
25


# Page. 27

![Page Image](https://bcdn.docswell.com/page/YJ6WD4VDJV.jpg)

DDPM②：「乗ったノイズ」を当てる
• ネットワーク（𝜀𝜃 𝑨𝒕𝒌 , 𝑶𝒕 , 𝒌 ≈ 𝜀 𝒌 ）に、行動に乗ったノイズを予測させる
• 𝓛 = 𝑬𝑨𝒕,𝑶𝒕,𝒌,𝜀
𝒌
𝜀 − 𝜀𝜃 𝑨𝒕 , 𝑶𝒕 , 𝒌
𝟐
𝜀 ：実際に乗せたノイズ
𝜀𝜃 ：ネットワークが予測したノイズ
𝛻𝑎 log 𝑝𝜃 𝑎|𝑜 = −𝛻𝑎 𝐸𝜃 𝑜, 𝑎 ≈ −𝜀𝜃 𝑎, 𝑜, 𝑘
26


# Page. 28

![Page Image](https://bcdn.docswell.com/page/GJ5M3QD8J4.jpg)

推論：ノイズから行動を生成(ランジュバン)
• 純ノイズから出発して、少しづつ「良い行動」へ
• 𝐴𝑘−1
= 𝛼 𝐴𝑘𝑡 − 𝛾𝜀𝜃 𝑂𝑡 , 𝐴𝑘𝑡 , 𝑘
𝑡
+ 𝜎𝑘 𝒩 0, 𝐼
𝛾 ：一歩の大きさ
𝜎𝑘 𝒩 0, 𝐼 ：毎回加える小さな揺らぎ
𝛼 ：スケジュール係数
今の行動𝐴𝑘𝑡 から、予測ノイズ𝜀𝜃 を 𝛾倍だけ引き、少しだけ揺らす
エネルギーの低い方へ一歩下がる(ノイズ付き勾配降下)
• 多峰性が保てる理由
出発点のノイズが違えば、別の谷(別の正解軌道)に落ちる＝平均化しない。
27


# Page. 29

![Page Image](https://bcdn.docswell.com/page/LE3W6VMGE5.jpg)

連続なアクションチャンクをまとめて生成
• 従来(RT-1,RT-2)のモデル
行動を256ビンに離散化して、1ステップづつ出力
→離散化誤差、モード間の振動でがたつく、遅延に弱い
• DiffusionPolicy
連続空間で「行動系列(アクションチャンク)」を一括生成
1回の推論でTp ステップ先まで予測
• 時間的に一貫した滑らかな軌道
𝐴𝑡 = 𝑎𝑡 , … , 𝑎𝑡+𝑇 𝑝 − 1
• 高次元でも扱え、滑らかで時間的に一貫した軌道
Receding Hrizon
• まずTp ステップ先まで予測し、そのうち先頭のTaステップだけ実行
◆
反応性、環境変化への追従
◆
論文では、16ステップ先まで予測し、先頭の8ステップだけ実行
28


# Page. 30

![Page Image](https://bcdn.docswell.com/page/8EDKV86N7G.jpg)

ノイズ予測ネット𝜀𝜃 の中身
• アーキテクチャ(ノイズ予測(𝜀𝜃 ))
CNNベース
• 時系列の行動シークエンスを生成するための、時間方向の1次元畳み込み(1D CNN)、頑健で使いやすい
• FiLM 𝑥 = 𝛾 ⊙ 𝑥 + 𝛽
Transformer
• 複雑なタスク(急な方向転換が求められるタスクなど)に強いminGPTベースのTransformer
29


# Page. 31

![Page Image](https://bcdn.docswell.com/page/V7PKV8YNJ8.jpg)

DiffusionPolicyの結果とまとめ
• プッシュTタスク
30


# Page. 32

![Page Image](https://bcdn.docswell.com/page/2JVVZNGYJQ.jpg)

DiffusionPolicyの結果とまとめ
31


# Page. 33

![Page Image](https://bcdn.docswell.com/page/5EGL4K8WJL.jpg)

DiffusionPolicyの結果とまとめ
• まとめ
DiffusionPolicyはVLAではない
言語やweb知識を使わない
「行動の出し方」を変えた研究
• 連続生成の仕組みがVLMと合体して、次のπ0に
32


# Page. 34

![Page Image](https://bcdn.docswell.com/page/4JQYGN9Q7P.jpg)

汎用ロボット基盤モデル：π0(2024, Physical Intelligence)
• π0: A Vision-Language-Action Flow Model for General Robot Control
33


# Page. 35

![Page Image](https://bcdn.docswell.com/page/K74W5GXYE1.jpg)

汎用ロボット基盤モデル：π0(2024, Physical Intelligence)
• 代表タスク
洗濯物たたみ
テーブルの片付け
ダンボールの組み立て
少量品の箱詰め
5~20分の連続行動
• 高レベルの言語分解
「洗濯物を畳む」を受け取り、「ナプキンを取る」などのサブタスクに分解
• 長期タスクの成功率の底上げ
• 学習データにない状況での汎化性能
複数の皿を重ねて、まとめてバケツにいれる
皿の上のゴミを落としてから片付ける
箱が崩れないよう、両腕やテーブルを使って支える
34


# Page. 36

![Page Image](https://bcdn.docswell.com/page/LJ1YWDNNEG.jpg)

モデルアーキテクチャ
• 全体構造：大きなVLMバックボーン＋小さなアクションエキスパート
• 入力
𝑜𝑡 = 𝐼𝑡1 , … , 𝐼𝑡𝑛 , ℓ𝑡 , 𝑞𝑡
• 出力
𝐴𝑡 = 𝑎𝑡 , … , 𝑎𝑡+𝐻 − 1 , 𝐻 = 50
35


# Page. 37

![Page Image](https://bcdn.docswell.com/page/GJWG68MM72.jpg)

Flow matching
• 拡散DDPMとの違い
拡散：ノイズ→データを多数の確率的ステップで戻す
Flow Matching：ノイズ→データを繋ぐ「速度場𝑣𝜃 」を学ぶ
• 速度場：各地点、各時刻でどちらへどれだけ動くかを表す
• 𝑣𝜃 は行動そのものではなく、進む「向き(速度)」を返すニューラルネット
• 直線的な経路が使え、わずか10ステップで生成→50Hz
◆
従来の拡散モデルでは、ノイズを除去する過程が複雑
• 同じ初期ノイズなら決定論的→起動が滑らか
•
𝑑𝐴𝜏𝑡
𝑑𝜏
= 𝑣𝜃 𝐴𝜏𝑡 , 𝑜𝑡
𝐴𝜏𝑡 ：流れの途中状態(τ=0 でノイズ、τ=1 で完成行動)
左辺
𝑑𝐴𝜏𝑡
は「状態がどれだけ速く変わるか」＝ 速度 (𝑣𝜃 に等しい)
𝑑𝜏
• 「今どこにいて時刻いくつか」を入れると「進むべき向き」が返る
36


# Page. 38

![Page Image](https://bcdn.docswell.com/page/4EZLY8QM73.jpg)

Flow Matching②
• 推論：速度場に沿って積分
純ノイズ A0t から出発し、10回繰り返して行動チャンクを得る
• 𝐴𝜏+𝛿
= 𝐴𝜏𝑡 + 𝛿 · 𝑣𝜃 𝐴𝜏𝑡 , 𝑜𝑡
𝑡
δ＝1歩の刻み幅（=0.1、計10歩)
今の途中状態 𝐴𝜏𝑡 に、その場の速度 𝑣𝜃 を δ 倍だけ足して次の状態 𝐴𝜏+𝛿
へ進む
𝑡
• これを繰り返すのが Euler 積分(ODE を離散的に解く)
純ノイズから始め、10ステップで滑らかな行動チャンクが完成。
• 拡散より少ないステップ → 最大50Hz の高頻度制御
37


# Page. 39

![Page Image](https://bcdn.docswell.com/page/Y76WDP657V.jpg)

Flow Matching③：学習
• 正しい速度場の学び方
ノイズと正解行動を真っ直ぐ結ぶ経路を作る
• 𝐴𝜏𝑡 = 1 − 𝜏 𝜀 + 𝜏 · 𝐴𝑡
ノイズ ε（τ=0）と正解行動 At （τ=1）を結ぶ直線上の点
τ を 0→1 に動かすと経路をなぞる
• 𝑢 = 𝐴𝑡 − 𝜀
その直線の“速度”＝一定ベクトル 𝐴𝑡 − ε
• どの点でも「ノイズから行動へ」向かう向き
• ℒ = E𝜏 𝑣𝜃 𝐴𝜏𝑡 , 𝑜𝑡 − 𝑢 2
各 τ で速度 𝑣𝜃 を u に一致させる回帰（二乗誤差の平均）
学習後は前ページの積分で行動が出る
38


# Page. 40

![Page Image](https://bcdn.docswell.com/page/G75M3K6G74.jpg)

学習方法とデータセット
• 2段階の学習
Pre-training：多様・大規模データで「言語に従う汎用ベース」を
Post-training：少量・高品質なタスク特化データで訓練
• Pre-trainingデータ
自前データ：約1万時間=約9.03億タイムステップ、7種のロボット構成・68タスク
オープンソースデータ(約9000万タイムステップ)
• Post-trainingデータ
各下流タスクに1〜10時間程度の高品質データでFine-tuning
• 洗濯物畳、箱組み立てなど
39


# Page. 41

![Page Image](https://bcdn.docswell.com/page/9J29ZWMDER.jpg)

実験結果：ゼロショット・Fine-tuning・長時間タスク
40


# Page. 42

![Page Image](https://bcdn.docswell.com/page/DEY4RLXMJM.jpg)

実験結果：ゼロショット・Fine-tuning・長時間タスク
41


# Page. 43

![Page Image](https://bcdn.docswell.com/page/VJNYD41378.jpg)

実験結果：ゼロショット・Fine-tuning・長時間タスク
42


# Page. 44

![Page Image](https://bcdn.docswell.com/page/YE9PGQ5PJ3.jpg)

π0まとめ
• 汎用性の進歩
単一モデルで様々なロボットプラットフォームに渡って、多様なタスクを実行可能
クロスエンボディメント学習
• ゼロショット能力
タスク固有のファインチューニングなしで、多くのタスクを実行可能
• 言語理解
• 行動表現
フローマッチングの有効性
43


# Page. 45

![Page Image](https://bcdn.docswell.com/page/GE8DVGYXED.jpg)

参考文献（元論文）
[1] SayCan (2022.4) M. Ahn et al., “Do As I Can, Not As I Say: Grounding Language in Robotic Affordances,” arXiv:2204.01691,
2022. (Google Robotics / Everyday Robots)
[2] RT-1 (2022.12) A. Brohan et al., “RT-1: Robotics Transformer for Real-World Control at Scale,” arXiv:2212.06817, 2022.
(Google DeepMind)
[3] RT-2 (2023.7) A. Brohan, B. Zitkovich et al., “RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic
Control,” arXiv:2307.15818, 2023 (CoRL 2023). (Google DeepMind)
[4] OpenVLA (2024.6) M. J. Kim et al., “OpenVLA: An Open-Source Vision-Language-Action Model,” arXiv:2406.09246, 2024
(CoRL 2024).
[5] Diffusion Policy (2023.3) C. Chi et al., “Diffusion Policy: Visuomotor Policy Learning via Action Diffusion,” arXiv:2303.04137,
2023 (RSS 2023).
[6] π0 (2024.10) K. Black et al., “π0: A Vision-Language-Action Flow Model for General Robot Control,” arXiv:2410.24164, 2024.
(Physical Intelligence)


# Page. 46

![Page Image](https://bcdn.docswell.com/page/LELM5G4N7R.jpg)