--- title: 【DL輪読会】Few-shot Adaptation of Robot Foundation Models tags: author: [Deep Learning JP](https://image.docswell.com/user/DeepLearning2023) site: [Docswell](https://www.docswell.com/) thumbnail: https://bcdn.docswell.com/page/LE39N5L1E5.jpg?width=480 description: 【DL輪読会】Few-shot Adaptation of Robot Foundation Models by Deep Learning JP published: October 29, 26 canonical: https://image.docswell.com/s/DeepLearning2023/5GNPM9-2026-11-04-102725 --- # Page. 1 ![Page Image](https://bcdn.docswell.com/page/LE39N5L1E5.jpg) Few-shot Adaptation of Robot Foundation Models Kohei Sendai, Matsuo Lab 1 # Page. 2 ![Page Image](https://bcdn.docswell.com/page/8EDGWDNKEG.jpg) 背景：なぜ少ないデータで適応させるのか VLA はある程度汎化するが、新しい環境ではまだ失敗する。事前学習と実環境の差を少ないデータで埋める⼿法が必要になる VLA はそのままでは現場で使えない • π0 は 1 万時間超の事前学習のあとも、post-training に簡単なタスクで約 5 時間、難しいタスクで 100 時間以上のデータを使う [1] • GR00T N1 はタスクあたり 100 demo で fine-tune しても、sim の平均成 功率が 45.0% にとどまる [2] • LIBERO で 90% を超える VLA が、LIBERO-PRO で物体・配置・指⽰を 変えた設定ではほぼ 0% になる [3] 事前学習 実環境に置く ⼤規模で多様なデータ 新しい物体・配置・ （π0 は 1 万時間超 [1]） 照明・タスク 実環境でのデータ収集はコストが⼤きい 差を埋める⼿段 • DROID の 76k 軌跡（350 時間）は、50 ⼈が 12 か⽉かけて集めた [4] • 現場ごとに遠隔操作（teleoperation）で数百 demo を集め直すのは負担 が⼤きい • • • • 数本の demo・動画・⾔語・⼈の介⼊を与える weights をほぼ触らないか、軽く学習する deploy 前に⼀度だけ、または動かしながら適応する (simulationで適⽤させる, real2sim2real) … 何を・いつ変えるか、何を与えるかで⼿法が分かれる（p.3） 100 時間以上 45.0% 90% 超 → ほぼ 0% ⾼いdata収集コスト π0 の難しいタスクの post-training デ ータ [1] GR00T N1：100 demo / タスクで finetune 後の sim 平均 [2] LIBERO → LIBERO-PRO（物体・配 置・指⽰を変更）[3] DROID 76k 軌跡（350 時間）の収集 [4] [1] K. Black et al., arXiv:2410.24164 [2] NVIDIA, arXiv:2503.14734 [3] X. Zhou et al., arXiv:2510.03827 [4] A. Khazatsky et al., arXiv:2403.12945 2 # Page. 3 ![Page Image](https://bcdn.docswell.com/page/V7P39X53J8.jpg) 研究領域 何を変えるか いつ変えるか 何を与えるか context（例として⾒せる demo）／ ⼊⼒の指⽰ ／ weights ／ ⾏動の選び⽅（サンプリング） deploy 前に⼀度（offline） 推論中（test-time） (今回は扱わない) robot の demo ／ ⼈の動画 ／ ⾔語・⼈の介⼊ ／ 成否や reward 領域 変えるもの いつ 与えるもの 扱う論⽂ ICRT [5]、RICL [6]、Zero-WAM [7]、GEN1.5 [8]、Astranomy [9]、RoboDawn [10]、 GMP [11] A In-context learning（ICL） context（例として⾒せる demo・動画） 推論中 demo 1〜20 本、⼈の動画 1 本、過去の試⾏の結果 B Few-shot fine-tuning（FT） weights deploy 前 数分〜1.6 時間の demo GEN-1.5 [8]、DREAM-1 [12] C Steerable policy ⼊⼒の指⽰（⾔語・点のコマンド）、サ ンプリング（noise・勾配） 推論中 ⼈・VLM・価値関数の信号 Hi Robot [13]、Steerable Policies [14]、 FRS [15]、QGF [16] D Verifier ⾏動の選び⽅（候補の選択、ずれたとき の修正） 推論中 成否付きの rollout、⾔い換え 、または不要 CoVer [17]、DiVeR [18]、PACT-VLA [19]、 VLA-Corrector [20] Appendix 1 TTT 層 weights の⼀部（episode ごとに初期値 へ戻す） 推論中 観測のみ RoboTTT [21]、T²Mem [22] Appendix 2 Agentic 全部（agent が判断） deploy 前 環境と成功判定 ENPIRE [23]、ASPIRE [24]、Harness VLA [25]、DexAgent [26] 3 # Page. 4 ![Page Image](https://bcdn.docswell.com/page/2JV4MLPN7Q.jpg) A In-context learning：weights を触らず context で適応する この部で扱う論⽂：RICL [6]、Zero-WAM [7]、GEN-1.5 [8]、Astranomy [9]、RoboDawn [10]、GMP [11] 学習はせず、demo や動画を context に並べて新しいタスクをこなす • 注⽬点：context に何を⼊れるか（robot の軌跡、⼈の動画、離散コマンド、過去の試⾏の結果） • ICL の能⼒の出どころ：ICL ⽤に学習する（RICL、Zero-WAM）、⼤規模な事前学習から出る（GEN-1.5、Astranomy の GPT-6 Astra）、汎⽤ VLM に専⽤のコマンド体系で使わせる（RoboDawn） • fine-tune にどこまで近づけるかを、次の B で⽐べる 5 # Page. 5 ![Page Image](https://bcdn.docswell.com/page/5EG1GXP5JL.jpg) RICL：既存の VLA に後から ICL の能⼒を⾜す VLA に ICL を後から⾜すと、検索した demo を context に⼊れるだけで、同じ 20 demo の fine-tune と並ぶ 更新 検索⽤の demo と context 固定 weights（priming 後） データ 新タスクの demo 10〜20 本 何をする研究か • π0-FAST-DROID に検索付きの ICL（retrieval-augmented）を⾜ す • 検索した demo の⾏動トークンを、画像の距離 d に応じた重み exp(−λd) で出⼒に混ぜる 結果（Franka:未⾒ 8 タスク 各10 試⾏ demo 20 本） • 成功率は π0-FAST-DROID の 2.5% から、RICL（ICL のみ）で 31.25% に上がる • 同じ 20 demo で π0-FAST を fine-tune すると 31.67% • RICL をさらに fine-tune すると 61.67% 注意点 [6] Fig. 2 より：現在の画像に近い demo を DINOv2 で 4 つ検索して context に並べ、距離で重み付けした⾏ 動を混ぜる • priming では 20 タスク × 20 demo で LLM 部を 1 回だけ fine-tune し、その後の新 タスクでは weights を更新しない • 5 demo では⾜りず、10 本以上が必要 • テニスのフォアハンドのような新しい動きはできない • context は 4 倍になり、推論時間は約 1.33 倍に増える [6] K. Sridhar et al., RICL: Adding In-Context Adaptability to Pre-Trained Vision-Language-Action Models, arXiv:2508.02062, 2025（UPenn） 7 # Page. 6 ![Page Image](https://bcdn.docswell.com/page/4JQDX82L7P.jpg) Zero-WAM：⼈の動画を prompt にして未⾒のタスクをこなす ⼈の動画を world-action model の context に⼊れると、sim では新タスクの robot data なしで未⾒のタスクをこなせる 更新 context（⼈の動画） 固定 weights データ ⼈の動画 1 本 何をする研究か • ⼈の動画を prefix memory として前に置き、⾏動の側からは動 画に直接 attend しない • 学習時だけ、context の先の chunk を予測する補助 loss（IFP） を⼊れ、context の動画を⾒ずに既知のタスクを再現する近道を 防ぐ 結果 [7] Fig. 1 より：⾔語か⼈の動画を条件に、将来の robot の映像と⾏動を⾃⼰回帰で予測する • Wan-2.2（5B）の動画モデルを world-action model に作り替える • VLM と動画⽣成で robot の軌跡に対応する⼈の動画を作り、7.4 万組・8.6k タスク の対データ HumanGen を構築する • RoboTwin 2.0 の未⾒ 7 タスク（3 seed × 100 試⾏）で 46.95%（LingBot-VA は 17.45%） • IFP を外すと 28.55%、⾔語だけで指⽰した Zero-WAM は 39.44% • 実機（双腕 Franka、各 30 試⾏）で⾔語指⽰の LingBot-VA と⽐ べると、物体を容器へ⼊れるタスクが 53.3% vs 43.3%、テーブ ルの脚 2 本の差し込みが 16.7% vs 0.0% 注意点 • 実機では⾒たことのある配置の robot demo（36〜120 本）で embodiment に合わせている • sim のテストに使う prompt は⽣成した動画 [7] J. Zhou et al., Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization, arXiv:2608.26103, 2026（Robbyant / HKUST） 8 # Page. 7 ![Page Image](https://bcdn.docswell.com/page/K74Z62L5E1.jpg) GEN-1.5 / Astranomy：⼤規模モデルは ICL ⽤の学習なしで demo を使える GEN-1.5 は one-shot で 59%、Astranomy は動画の demo で 87.9%（⾔語の指⽰では 90.0%） GEN-1.5（Generalist AI）[8] Astranomy（NVIDIA）[9] 8 か⽉以上かけて事前学習した robot 基盤モデル 汎⽤モデル GPT-6 Astra を robot policy として評価 59% one-shot ICL の 10 タスク平均（標準偏差 10） • physical prompt：センサと⾏動の軌跡 3〜12 秒（demo 1 本）を 30 秒の context に⼊れる • prompt には、⼿持ち gripper で取った⼈の demo、robot の rollout、 sim の rollout のどれも使える • Generalist は、ICL ⽤の構造や⽬的関数は⼊れておらず、規模から出 てきた能⼒だと主張している • prompt を drag & drop で選ぶ画⾯や、2 つの prompt をつなげた⻑い 動作も⽰している（定性的） 87.9% 動画の demo で指⽰したときの成功率 (⾔語だけでも解けるのでそもそもの能⼒ が⾼いことに注意) • robot ⽤の fine-tune はせず、⾏動の形式や幾何の情報を prompt で定 める • ICL では、同じタスクの成功 rollout から 1 Hz で切り出した 3 視点の frame を⾒せる（tool を使う agent 型の設定、30 タスク） • RoboLab-120（sim）の成功率は agent 型 74.8%、agent を介さず直 接呼ぶ設定 66.3%（π0.5 は 28.0%） • agent 型は 1 回の推論に 13.4 秒、1 episode に $36.40 かかる どちらも査読前（blog と tech report）。GEN-1.5 は試⾏数を公開しておらず、Astranomy は sim の pick-and-place のみ [8] Generalist AI, GEN-1.5: Embodied Foundation Models are One-Shot Learners, blog, 2026-08-19 [9] J. X. Yang, A. Khetan, S. Zhang, Astranomy: An Empirical Study of GPT-6 Astra as a Native Robot Policy, NVIDIA SRL tech report, 2026-10-14 9 # Page. 8 ![Page Image](https://bcdn.docswell.com/page/LJ1RVML2JG.jpg) RoboDawn：凍結した VLM にコマンド形式の demo を 1 本⾒せる ⾏動を move / rotate / gripper のような離散コマンドにすると、学習なしの VLM が 1 demo で学習済み VLA を上回る 更新 context（demo・feedback） 固定 VLM データ demo 0〜8 本（主に 0〜1 本） 何をする研究か • VLM に robot ⽤の学習をせず、ゲームの操作のようなコマンド 体系と demo を context に置く 結果（RoboTwin 2.0 Clean → Randomized、50 タスク × 10 試⾏） • GPT-6 Astra では 0-shot 53.2%、1-shot 73.6% • 学習済みの π0.5 は 46.0%、LingBot-VLA は 50.4%（clean で 50 demo / タスクを学習し、分布外の randomized で評価） • Gemini で 0 / 1 / 2 / 4 / 8 shot：47.0 / 62.2 / 63.6 / 65.4 / 62.7% 。1 shot より先はほぼ横ばい 注意点 [10] Fig. 1 より：⼈に分かりやすいコマンドと in-context の demo で VLM を⾏動につなぐ（右：demo 数と成 功率） • expert の軌跡を waypoint に変換してコマンド列にし、VLM が各コマンドの理由を⽣ 成する • 観測、推論、コマンド実⾏、feedback と memory の更新を繰り返す。実⾏は motion planning が担う • ⽐較相⼿の VLA は end-to-end だが、RoboDawn は実⾏に motion planning を使う • 1 回の推論に約 10 秒かかり、回転や接触の細かい制御が苦⼿ • ICL の効果は sim でのみ測っている。実機は 0-shot（Franka の 積み⽊ 9/10、布たたみ 0/10） [10] M.-H. Guo et al., Transferring the Intelligence of VLMs to Robotic Control (RoboDawn), arXiv:2609.22966, 2026（Tsinghua / Tencent Hunyuan） 10 # Page. 9 ![Page Image](https://bcdn.docswell.com/page/GJW1L3V2E2.jpg) B Few-shot fine-tuning：少数の demo で weights を更新する この部で扱う論⽂：GEN-1.5 [8]、DREAM-1 [12] 数分から 1.6 時間程度の demo で、weights を直接更新する • 注⽬点：同じモデル・同じタスクで⽐べて、ICL より本当に成功率が⾼いか（GEN-1.5） • どれだけのデータと step で⾜りるか、embodiment が違う robot にも使えるか（DREAM-1） • どちらも企業の発表で、論⽂より公開されている情報が少ない 12 # Page. 10 ![Page Image](https://bcdn.docswell.com/page/4EZPMV44J3.jpg) GEN-1.5：10 step・5 分のデータで ICL を上回る 同じモデルで fine-tune（約 50 demo、83%）が one-shot ICL（demo 1 本、59%）を全 10 タスクで上回る 更新 weights（10 step） Fine-tune 10 step（5 分のデータ） 0 10 hyperparameter（事前学習と同じ） 固定 20 40 50 60 Retrieve money from purse 70 Fold and crease paper 95 99 37 83 55 81 78 86 56 64 • 10 タスク平均は ICL 59%、fine-tune 83%（標準偏差はそれぞ れ 10 と 9） • 差が最も⼤きいのは Sweep trash（37.3% → 99%） • 1 step・1 分のデータでも、未⾒のタスクで 66.5% • タスクごとに weights の動く向きが違う（MDS で可視化） 注意点 71 61 Flip phone upside down Remove vacuum pad 75 67 • 同じ事前学習モデルを、in-context（demo 1 本、3〜12 秒）と few-shot fine-tune で⽐べる 結果 60 Brush cube into bowl Unzip pencil pouch 100 83 50 Stack two small cups Open book cover 90 69 Twist lid off glass jar Sweep trash with brush 80 61 1 タスク 5 分（約 50 demo） 何をする研究か In-context（demo 1 本、最長 12 秒） 30 データ 86 • 企業の blog で、試⾏数や robot の詳細は公開されていない • ICL と fine-tune では demo の本数が約 50 倍違う（1 本 vs 約 50 本） • 短く単純なタスクのみ。ICL が 1〜5 step の fine-tune を上回る 場合もあると書いている グラフは [8] Fig. 2 の値を作図し直したもの [8] Generalist AI, GEN-1.5: Embodied Foundation Models are One-Shot Learners, blog, 2026-08-19 13 # Page. 11 ![Page Image](https://bcdn.docswell.com/page/Y76MN53GEV.jpg) DREAM-1：⾃機のデータで fine-tune し、別の robot に合わせる zero-shot でも別の robot で動くが、⾃機のデータで fine-tune すると sim の 12 台中 10 台で成績が上がる 更新 weights（FaaS、詳細は⾮公開） After FaaS 0 10 20 30 ⼿先姿勢の⾏動空間 固定 50 60 70 80 Trossen 88 Metal Arm 87 65 84 44 Maker Arm 75 56 SO-101 73 51 OpenArm 2.0 70 45 ROBO-T1 28 Mantis 28 68 57 Galaxea A1Z Unitree R1 87 76 reBot B601-DM Bracket Bot 90 71 AI Worker 42 31 32 31 実機の例で⾃機の遠隔操作 5〜98 分 何をする研究か Zero-shot 40 データ 49 42 グラフは [12] の表（sim、YAM ⽐）を作図し直したもの [12] Dream Labs, Zero-Shot to New Robots: Introducing Dream-1, blog, 2026-10 100 • world-action model（動画と⾏動を同時に予測）が⼿先姿勢を出 ⼒し、各 robot の IK で関節⾓に変換して、zero-shot で別の機 体を動かす • 合わない機体は Fine-tuning-as-a-Service（FaaS）で⾃機のデー タに合わせる 結果（sim、YAM を 100 とした相対スコア） • 12 台の平均は 48.3 → 66.7 で、10 台で上がる • ROBO-T1 は 28 → 68 と⼤きく上がり、Bracket Bot と Unitree R1 は下がる • 実機では reBot と Maker Arm に各 5 分、器⽤な⼿の Dexmate に 77 分、⼿先を替えた YAM に 98 分のデータを使う 注意点 • research beta の発表で、数値は sim の相対値。実機の結果は動 画のみ • どの parameter を何 step 学習するかは公開されていない (documentから分かるのは⼀回200＄で,4~5h程度,gpu換算だと 1node H100 8gpuくらい?) 14 # Page. 12 ![Page Image](https://bcdn.docswell.com/page/G75Z5YLXJ4.jpg) C Steerable：policy を外から操作できるようにする この部で扱う論⽂：Hi Robot [13]、Steerable Policies [14]、FRS [15]、QGF [16] weights はほぼ触らず、新しい状況への対応を上位（⼈・VLM・価値関数）に任せる • 注⽬点：誰が操作するか（⼈、VLM、価値関数） • どこに信号を⼊れるか：⼊⼒（⾔語や点のコマンド）か、⽣成過程（flow の noise や勾配）か • policy を操作できるようにすれば、上位 policy が⼈の意図を取り込んで下位を動かせる（Hi Robot から Steerable Policies への流れ） • ⼤きくは階層的ポリシーに含まれるような⼿法 15 # Page. 13 ![Page Image](https://bcdn.docswell.com/page/9J2RNGLQ7R.jpg) Hi Robot：VLM が⾔語で VLA を操作し、⼈の割り込みも反映する 上位の VLM が⼈の指⽰や途中の割り込みを短い⾔語コマンドに変えて VLA に渡す。⾔語が steering の窓⼝になる 更新 推論時はなし 固定 下位の π0（VLA） データ ⼈の発話・割り込み 何をする研究か • System 2（VLM）が考え、System 1（VLA）が動く階層構造 • 上位は約 1 秒ごとに推論し、割り込みがあればすぐに推論し直す 結果（UR5e・双腕 ARX・移動型 ARX、3 タスク × 各 20 試⾏、評価者は⼿ 法を知らない） • 指⽰の正確さの平均は Hi Robot 76%、階層化しない単体の VLA 36%、GPT-4o を上位 にした構成 30% • タスク進捗の平均は 81%（単体の VLA 44%、GPT-4o 64%） 注意点 • 上位は下位が実際に何をできるかを知らない（次の Steerable Policies はこの課題に取 り組むが、解決はしていない） • 指⽰は⾔語の subtask だけで、細かい位置や動きは伝えられない [13] Fig. 2 より：上位の VLM が画像と⼈の発話から低レベルの⾔語コマンド を出し、下位の VLA が⾏動に変える • demo を 1〜3 秒の skill に区切り、⼤きな VLM で作った「 指⽰・割り込み・返答」の合成データで、上位の PaliGemma-3B を学習する [13] L. X. Shi et al., Hi Robot: Open-Ended Instruction Following with Hierarchical Vision-Language-Action Models, arXiv:2502.19417, 2025（Physical Intelligence） 16 # Page. 14 ![Page Image](https://bcdn.docswell.com/page/DEYDPVQYEM.jpg) Steerable Policies：点・軌跡・動作のコマンドに従う VLA を作る task の指⽰に加えて subtask・動作・点・軌跡のコマンドに従うよう学習すると、VLM の推論を実機の制御に使える 更新 推論時はコマンドのみ 固定 推論時の VLA の weights データ 新しい robot data 0 結果（WidowX、合計 650 rollout 超） • 推論 VLM と組み合わせると、下位が OpenVLA のとき 84.6%、 π0.5 のとき 83.7% • 通常の π0.5 は 61.3%、⾏動の前に推論⽂を⽣成する ECoT は 77.5% • in-context の Gemini で多段タスクを⾏うと進捗 84%（subtask のコマンドだけなら 64%） • ⼈がコマンドを選ぶと、成功率はほぼ 100% 注意点 [14] Teaser より：上位の VLM が状況に応じて「点＋動作」などのコマンドの書き⽅を選び、下位の VLA が 従う • Bridge の約 3.8 万の task label を、Gemini 2.0 で 20.6 万の subtask と約 200 万のコ マンドに⾃動で変換する • 上位は 2 通り：fine-tune した推論 VLM（5 step ごと）と、in-context の Gemini 3.0 （20 step ごと） • 失敗の多くは、上位の VLM が下位の能⼒を読み違えることによ る • 多様な動きを含むデータが必要で、LIBERO にはそのまま使え ない [14] W. Chen et al., Steerable Vision-Language-Action Policies for Embodied Reasoning and Hierarchical Control, arXiv:2602.13193, 2026（UC Berkeley / Stanford / Physical Intelligence ） 17 # Page. 15 ![Page Image](https://bcdn.docswell.com/page/VJN65MKRJ8.jpg) FRS：粗い⾏動を flow で逆にたどり、近くの良い⾏動に直す ⼈や VLM が出した粗い⾏動を noise まで逆積分して作り直すと、policy が出しうる⾏動のうち、指⽰に近いものになる 更新 ⼩さな noise 空間 policy 固定 π0.5（VLA） データ 0、または⼈が導いた成功 10 回 結果 [15] Fig. 2 より：(1) 推論役が粗い⾏動を出す、(2) flow を逆にたどって noise にしてから denoise し直す、(3) zero-shot・BC・RL に使う • ⼈は W/A/S/D/Q/E キーで⽅向を指⽰し、VLM（Gemini-ER）は⽅向を選ぶ • forward diffusion で noise を⾜す⽅法と違い、逆積分は決定的なので指⽰の情報が残 る • DSBC では、noise 空間の⼩さな policy を成功 10 回分の noise で BC する（1 分未 満、約 1 GB） • LIBERO-90（π0.5、各 50 試⾏）では、⼈の指⽰で 30.8% → 50% • 難しい部分集合では 4.5% → 33.7%（VLM が指⽰すると 11.1% ） • 実機の DROID 6 タスクで、DSBC の平均は 80%（base は 20%）。同じ 10 回で普通の BC をするとすべて失敗する • タオル掛けは 5% → 50%（DSBC）→ 80%（その後の RL） 注意点 • flow matching の policy が前提 • ⼈か VLM が chunk ごとに指⽰し続ける必要があり、指⽰でき るのは主に並進 適応との関係 zero-shot で直せないタスクも、⼈が導いた成功 10 回で noise 空間の policy を BC 学 習すれば、その後は指⽰なしで動く [15] A. Tang, W. Chen et al., Improving Robotic Generalist Policies via Flow Reversal Steering, arXiv:2606.13675, 2026（Stanford / UC Berkeley） 18 # Page. 16 ![Page Image](https://bcdn.docswell.com/page/YE9LYNVZ73.jpg) QGF：critic の勾配で flow policy の⽣成を導く policy は BC（behavior cloning）のまま、推論時に Q の勾配を velocity に⾜すだけで、学習時の offline RL と同じ程度の成績 になる 更新 なし（推論時に勾配で誘導） 固定 BC の flow policy、critic データ reward 付き offline データ（critic ⽤） 結果（OGBench sim、20 タスク × 10 seed） [16] Fig. 1 より：BPTT や noisy な a_t での勾配を使わず、1 step 先の予測 â1 で Q の勾配を取る • 各 denoise step で â1 = a_t + (1−t)·v を予測し、∇Q(s, â1) を velocity に⾜す • Jacobian は単位⾏列で近似する（BPTT より成績が良い） • critic は IQL などで offline に学習しておく • 推論時に誘導する既存⼿法（QFQL、CFGRL など）を上回り、 学習時の offline RL で最良の EDP と同等以上 • best-of-4 より成績が良く、併⽤すると best-of-16 並み（bestof-N の FLOPs は桁違いに多いと論⽂は報告） • モデルを 0.8M から 3.2M parameter に⼤きくすると、成績が約 4 倍になる 注意点 • critic の質が成績の上限を決め、⼤きな critic では推論が重い 適応との関係 policy は模倣で安定に学習し、改善は推論時の勾配で⾏う。critic を差し替えれば、 policy を学習し直さずに挙動を変えられる [16] Z. Zhou et al., Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning, arXiv:2606.11087, 2026（UC Berkeley / Physical Intelligence） 19 # Page. 17 ![Page Image](https://bcdn.docswell.com/page/GE8X6K4YJD.jpg) D Verifier：⾏動を採点して、選ぶか直す この部で扱う論⽂：CoVer [17]、DiVeR [18]、PACT-VLA [19]、VLA-Corrector [20] policy はすべて固定し、推論時の計算を増やして成績を上げる（test-time scaling） • 注⽬点：何を採点するか（指⽰との⼀致、成功、新しい観測との整合、予測とのずれ） • いつ介⼊するか：毎 chunk で N 個から選ぶか、ずれたときだけ直すか • verifier の学習に使うデータ：⾔い換えた指⽰、成否ラベル付きの rollout。policy ⾃⾝で採点する場合は学習不要 • VLA-Corrector は best-of-N ではなく、ずれを監視してから勾配で⽣成を導く（C の QGF に近い） 20 # Page. 18 ![Page Image](https://bcdn.docswell.com/page/LEL89Z697R.jpg) CoVer：policy の学習を増やすより、検証を増やす⽅が成功率が上がる ⾔い換えデータで policy を学習するより、指⽰と⾏動の⼀致を測る verifier で候補を選ぶ⽅が成功率が上がる 更新 なし（候補を選ぶだけ） 固定 VLA（π0 / π0.5） データ 既存の demo と指⽰の⾔い換え 何をする研究か • 画像と指⽰の埋め込みと、⾏動の埋め込みの cos 類似度で採点す る contrastive verifier（1B、Bridge の約 2,000 万サンプルで学習） • 8 通りの⾔い換え × 各 5 サンプルの 40 候補から選ぶ 結果 • SIMPLER（π0、難しい⾔い換えの指⽰）で、π0 の 41.5 / 29.7% が CoVer で 65.5 / 62.0%（ID / OOD） • ⾔い換えデータで policy を学習すると 44.0 / 48.7%（学習の計算 は元の policy の学習を 1 として 16 倍、CoVer は 3.8 倍） • PolaRiS（π0.5）では task progress が 40.0% → 53.9% 注意点 [17] の pipeline 図より：VLM が指⽰を⾔い換え、VLA が⾏動をサンプルし、CoVer が採点して最良の指 ⽰と⾏動を選ぶ • 採点するのは指⽰との⼀致で、成功ではない（verifier 単体の F1 0.77） • 推論は batch 16 で 1 step 約 0.45 秒かかり、速い動きには向かな い • 実機の評価は 2 タスクのみ • 論⽂中で要約の改善幅が箇所により⾷い違うので、表の値を使っ た [17] J. Kwok et al., Scaling Verification Can Be More Effective than Scaling Policy Learning for VLA Alignment, arXiv:2602.12281, 2026（Stanford / NVIDIA） 21 # Page. 19 ![Page Image](https://bcdn.docswell.com/page/4JM6ZV5VEW.jpg) PACT-VLA / VLA-Corrector：実⾏直前に選ぶか、ずれたときだけ直す 毎 chunk で多数の候補を⽐べず、実⾏直前の観測で選ぶか（PACT-VLA）、ずれたときだけ直す（VLA-Corrector） PACT-VLA：推論の待ち時間の間に候補を選ぶ [19] VLA-Corrector：ずれたときだけ⽌めて直す [20] [19] の図より（候補の選び⽅ 3 ⽅式の⽐較） • ⾮同期制御の推論遅延の間に複数の chunk を作り、実⾏直前の新しい観測で 選ぶ • 採点には policy ⾃⾝（flow の残差）を使い、verifier の学習は不要 • Kinetix 12 タスク（推論遅延 4 step）で 77.2%（RTC は 62.2%） • 実機の π0.5（3 タスク × 50 試⾏）で 60.0% → 82.0% • 実機の⽐較相⼿は通常の⾮同期実⾏（60.0%）で、VLASH は 66.0% [20] Fig. 3 より（監視・打ち切り・勾配による誘導） • 40M の forward model で、予想した潜在の変化と実際の変化のずれを監視す る • ずれが続けば chunk を打ち切り、勾配で次の⽣成を導く（候補を採点する verifier ではなく、監視して直す⼿法） • 実機の PiPER（9 タスク × 20 試⾏）で 55.6% → 73.3%、外乱ありでは 40.0% → 68.3% • 少数の demo で FT した π0.5 に組み合わせると、LIBERO で 94.0% → 97.8% （全データで fine-tune すると 96.95%） • 1 episode の実時間は、固定⻑で chunk を実⾏する場合の約 1.64 倍 [19] Y. Zhu et al., PACT-VLA: Speculative Action-Chunk Verification with Pre-Commit Observations, arXiv:2610.28019, 2026（HKUST-GZ / One Robotics） [20] Y. Pan et al., VLA-Corrector: Lightweight Detect-and-Correct Inference for Adaptive Action Horizon, arXiv:2607.01804, 2026（Zhejiang Univ. / Alibaba DAMO） 23 # Page. 20 ![Page Image](https://bcdn.docswell.com/page/PJRP623WE9.jpg) まとめ：何を変えるかで、必要なデータと弱点が変わる アプローチ 代表 適応に必要なもの ⻑所 短所 A In-context learning ICRT [5]、RICL [6]、Zero-WAM [7]、GEN-1.5 [8]、Astranomy [9]、RoboDawn [10]、GMP [11] demo 1〜20 本、⼈の 動画 1 本、過去の試⾏ の結果 weights を更新せずにすぐ切り替えら れ、⼈の動画や過去の試⾏の結果も context に使える demo 1 本の ICL は約 50 demo の FT より低い [8]。同じ 20 demo なら同等 [6]。context の分だけ推論が重い タスクや機体ごとに checkpoint が増 え、demo の収集と学習の基盤が必要 B Few-shot fine-tuning GEN-1.5 [8]、DREAM-1 [12] 5 分〜1.6 時間の demo 扱った範囲では同じモデルの oneshot ICL より成功率が⾼く、sim では 機体の違いにも対応できる C Steerable policy Hi Robot [13]、Steerable Policies [14]、FRS [15]、QGF [16] 成功 0〜10 回、⼈の指 ⽰、reward 付きデータ （QGF） ⼈や VLM の意図を、weights を触ら ずに反映できる 上位が下位の能⼒を知らず、指⽰する 役が常に必要（FRS は成功 10 回で学 習すれば外せる） D Verifier CoVer [17]、DiVeR [18]、 PACT-VLA [19]、VLA-Corrector [20] 成否付き rollout 数百本 、⾔い換え、または不 要 policy を固定したまま、推論時の計算 を増やして成功率を上げられる policy が出せない⾏動は選べず、候補 の⽣成で遅くなる 数値は各論⽂と blog の⾃⼰申告で、⼿法間で同じ benchmark を使った⽐較ではない。番号は参考⽂献（p.31〜32） 24 # Page. 21 ![Page Image](https://bcdn.docswell.com/page/PEX3MD4VJX.jpg) 未解決の課題 ICL と fine-tune の差 ⻑く適応し続ける⼿法が少ない GEN-1.5 [8] は demo の本数が 1 本 vs 約 50 本の⽐較。RICL [6] では同 じ 20 demo なら同等で、ICL のあとに fine-tune を重ねると 61.67%。 基本的1taskに適応する⼿法が主であり,基盤モデルにおける継続学習等 はいまだ⼤きな課題であると考えられる。 評価の規模が⼩さく、⼿法間で⽐べられない 推論の遅延とcost 本資料で扱った実機評価は 1 タスク 5〜50 試⾏で、sim の結果が中⼼。 企業の発表は試⾏数を公開していない。 In-context 能⼒等を図る基準が曖昧になりがち. best-of-N、VLM による上位の制御、⻑い context はどれも推論を重く する（RoboDawn [10] は約 10 秒 / 回、CoVer [17] は約 0.45 秒 / step） 上位と下位の能⼒のずれ steering する側は policy に何ができるかを知らず [14]、verifier も policy が出した候補の中からしか選べない 逆に,verifier側や上位policyが⼗分強いのであればそもそも下位のpolicy がらなくなる. (極端な話,Astraを上位に置くなら直接動かした⽅が早い 可能性もある. 番号は参考⽂献（p.31〜32） 26 # Page. 22 ![Page Image](https://bcdn.docswell.com/page/3EKYGXZ5JD.jpg) Appendix 1 Test-time training：TTT 層で推論中に記憶する この部で扱う論⽂：RoboTTT [21]、T²Mem [22] 推論中に⾃⼰教師の loss で fast weights を更新し、履歴を weights に書き込む。少数データの適応とは軸が違うので Appendix で紹介する • 注⽬点：何を更新するか（追加した層の fast weights だけで、本体は固定） • label も reward も不要で、観測の流れだけで更新できる • 注意：2 本とも episode ごとに fast weights を初期値に戻す。episode 内の記憶や⻑い⽂脈として働くもので、環境に適応 し続けるものではない • ここでの TTT は TTT 層（fast weights を持つ系列モデルの層）を指す。テスト⼊⼒で分布シフトに適応する元の意味の TTT とは使い⽅が違い、少数データの適応とは別の軸として紹介する 27 # Page. 23 ![Page Image](https://bcdn.docswell.com/page/L739N5D175.jpg) RoboTTT：TTT 層で 8K step の⽂脈を weights に圧縮する 履歴を fast weights に書き込んで context を 8K step まで伸ばし、⻑いタスクの成績を上げる 更新 fast weights（chunk ごと） 固定 VLM・DiT などの slow weights データ 推論時は観測のみ 結果（YAM 双腕の実機、⻑い組⽴ 3 タスク） • 平均の達成度は RoboTTT 79%、GR00T N1.7 42%、Gated DeltaNet 56% • context の⻑さを変えた実験では、8K で 71.5%、1K で 43.9% • ⼈の動画 1 本からの模倣（未⾒の配置、10 試⾏）は 6/10（ GDN は 0/10） • 外乱からの回復（屋根とタイヤの部品、各 20 試⾏）は 15/20 と 18/20（GR00T は 10/20 と 11/20） • context を伸ばしても推論時間は増えないと論⽂は報告している 注意点 [21] Fig. 2 より：学習時は系列全体で flow matching を⾏い、推論時は fast weights を chunk ごとに更新して 引き継ぐ • タスクごとに 5〜8 時間のデータで全 parameter を post-train し ており、少数データの適応ではない • robot 1 種、3 タスク、10〜20 試⾏ • GR00T N1.7 の DiT の各層に TTT 層（2 層 MLP）を⾜す。gate は 0 付近で初期化す る • 内側の loss は⾃⼰教師の K → V 再構成で、rollout ごとに学習済みの W0 に戻す [21] Y. Jiang et al., RoboTTT: Context Scaling for Robot Policies, arXiv:2607.15275, 2026（NVIDIA / Stanford / UT Austin） 28 # Page. 24 ![Page Image](https://bcdn.docswell.com/page/87DGWDPK7G.jpg) T²Mem：後の⾏動に必要な情報だけを推論中に書き込む ⽣の履歴でなく後の⾏動に必要な情報を fast weights に書くと、記憶が必要なタスクで π0.5 の成功率が約 3 倍になる 更新 memory の fast weights 固定 policy・interface・projection データ 推論時は観測のみ 結果（RoboMME sim、16 タスク、50 episode × 3 seed） • 平均成功率は π0.5 の 17.93% から T²Mem で 56.83%（MemER 42.38%、context 型 TTT 22.28%） • 推論中の書き込みを⽌めると、VideoUnmask で 82.67 pt 下が る • RoboTTT と同じく action expert 側に⼊れると、VideoUnmask で 30%（T²Mem は 84%） • 推論は MemER の 69 倍速い 注意点 • sim のみの評価で、物体の⼊れ替えを追うタスクは苦⼿ • ⽐較⼿法の数値は、[21] がベンチマーク RoboMME の論⽂から 引⽤したもの [22] Fig. 1 より：(a) 記憶が必要なタスク、(b) 1 つの VLA の中の fast-weight memory、(c) 推論中の書き込み と読み出し • π0.5 の VLM と action expert の間に memory を挟み、query token で観測を要約して 書き込む • memory と policy を交互に学習する（同時に学習すると memory なしと同等） [22] Y. Liu et al., T²Mem: Learning Test-Time Memory for Robotics, arXiv:2609.36720, 2026（Stanford / NVIDIA / UMich） 29 # Page. 25 ![Page Image](https://bcdn.docswell.com/page/VJP39XN3E8.jpg) Appendix 2：本編で扱わなかった Agentic approach ⼈の代わりに coding agent が、環境構築・データ収集・学習・評価を⾃動で繰り返す ENPIRE [23] ASPIRE [24] Harness VLA [25] DexAgent [26] NVIDIA / CMU / UC Berkeley NVIDIA / UMich / UIUC ほか Tsinghua ほか Stanford / Columbia [26] Fig. 2 より [23] Fig. 2 より [24] のプロジェクトページの図より [25] Fig. 1 より • agent が reset・成功判定・policy の コード（BC / RL）を書き、実機 8 台 で回す • 実機 5 タスクで 99%（pass@8：8 回までの再試⾏で 1 回成功すればよ い） • 8 台に増やすと、Push-T の到達時間 が約 5 時間から約 2 時間に • 凍結した LLM が制御プログラムを書 き、直した skill を library に蓄える • 凍結した VLA を primitive として agent が組み合わせ、成功例を memory に残す • LIBERO-PRO（この論⽂の設定）で 82.4%（凍結した π0.5 は 50.0%） • RoboCasa365 で 57.1%（凍結した RLDX-1 は 30.0%） • Robosuite の双腕の受け渡しで 20% → 92% • sim の skill を使うと、実機の成功が 13/20 → 19/20 • ⼈の⼀⼈称動画 1 本と指⽰から、sim の再構成・軌道の最適化・学習デー タの⽣成までを agent が⾏う • 実機 11 タスク（多指ハンド、各 10 試⾏）で平均 63.6%（最良の⽐較⼿ 法は 18.2%） • skill と verifier を library に蓄え、1 本 の変換が平均 2.1 時間（GPT-6 Astra は 3.3 時間） 共通の課題：token とロボットの稼働時間の費⽤、⾃動 reset と検証できる reward への依存、安全性。RSI（recursive self-improvement）につながる⽅向だが、どれも LLM ⾃体は固定 で、agent ⾃⾝は改善しない [23] W. Xiao et al., arXiv:2606.19980 [24] R. Lu et al., arXiv:2607.00272 [25] Y. Zhang et al., arXiv:2607.08448 [26] Y. Wang et al., arXiv:2609.35318 30 # Page. 26 ![Page Image](https://bcdn.docswell.com/page/2EV4MLKNJQ.jpg) 参考⽂献（1/2） [1] K. Black et al. “π0: A Vision-Language-Action Flow Model for General Robot Control.” arXiv:2410.24164, 2024. [2] NVIDIA, J. Bjorck et al. “GR00T N1: An Open Foundation Model for Generalist Humanoid Robots.” arXiv:2503.14734, 2025. [3] X. Zhou et al. “LIBERO-PRO: Towards Robust and Fair Evaluation of Vision-Language-Action Models Beyond Memorization.” arXiv:2510.03827, 2025. [4] A. Khazatsky et al. “DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset.” RSS 2024 (arXiv:2403.12945). [5] L. Fu et al. “In-Context Imitation Learning via Next-Token Prediction.” ICRA 2025 (arXiv:2408.15980). [6] K. Sridhar, S. Dutta, D. Jayaraman, I. Lee. “RICL: Adding In-Context Adaptability to Pre-Trained Vision-Language-Action Models.” arXiv:2508.02062, 2025. [7] J. Zhou et al. “Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization.” arXiv:2608.26103, 2026. [8] Generalist AI. “GEN-1.5: Embodied Foundation Models are One-Shot Learners.” Blog, 2026-08-19. https://generalistai.com/blog/gen-1.5 [9] J. X. Yang, A. Khetan, S. Zhang. “Astranomy: An Empirical Study of GPT-6 Astra as a Native Robot Policy.” NVIDIA SRL tech report, 2026-10-14. https://research.nvidia.com/labs/srl/projects/astranomy/ [10] M.-H. Guo et al. “Transferring the Intelligence of VLMs to Robotic Control.” arXiv:2609.22966, 2026. https://robodawn.top/ [11] Y. Gao, J. J. Liu, S. Li, S. Song. “Gated Memory Policy: In-Context Memorization and Adaptation.” arXiv:2604.18933, 2026. https://gated-memorypolicy.github.io [12] Dream Labs. “Zero-Shot to New Robots: Introducing Dream-1.” Blog, 2026-10. https://dreamlabs.ai/research/dream-1/ [13] L. X. Shi et al. “Hi Robot: Open-Ended Instruction Following with Hierarchical Vision-Language-Action Models.” arXiv:2502.19417, 2025. https://www.pi.website/research/hirobot 図は各論⽂・blog・プロジェクトページから引⽤した（各スライドの図の下に出典番号を記載）。数値は 2026-10-25 時点で公開されている各⽂献の内容による 31 # Page. 27 ![Page Image](https://bcdn.docswell.com/page/57G1GXQ5EL.jpg) 参考⽂献（2/2） [14] W. Chen et al. “Steerable Vision-Language-Action Policies for Embodied Reasoning and Hierarchical Control.” arXiv:2602.13193, 2026. https://steerablepolicies.github.io/ [15] A. Tang, W. Chen, A. Wagenmaker, C. Finn, S. Levine. “Improving Robotic Generalist Policies via Flow Reversal Steering.” arXiv:2606.13675, 2026. https://flow-reversal-steering.github.io/ [16] Z. Zhou et al. “Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning.” arXiv:2606.11087, 2026. https://q-guided-flow.github.io/ [17] J. Kwok et al. “Scaling Verification Can Be More Effective than Scaling Policy Learning for Vision-Language-Action Alignment.” arXiv:2602.12281, 2026. [18] S. Park et al. “DiVeR: Decision-Critical Verifier Learning for VLA Test-Time Scaling.” arXiv:2610.04933, 2026. [19] Y. Zhu et al. “PACT-VLA: Speculative Action-Chunk Verification with Pre-Commit Observations.” arXiv:2610.28019, 2026. [20] Y. Pan et al. “VLA-Corrector: Lightweight Detect-and-Correct Inference for Adaptive Action Horizon.” arXiv:2607.01804, 2026. [21] Y. Jiang et al. “RoboTTT: Context Scaling for Robot Policies.” arXiv:2607.15275, 2026. https://research.nvidia.com/labs/gear/robottt/ [22] Y. Liu et al. “T²Mem: Learning Test-Time Memory for Robotics.” arXiv:2609.36720, 2026. [23] W. Xiao et al. “ENPIRE: Agentic Robot Policy Self-Improvement in the Real World.” CoRL 2026 (arXiv:2606.19980). [24] R. Lu et al. “ASPIRE: Agentic /Skills Discovery for Robotics.” arXiv:2607.00272, 2026. [25] Y. Zhang et al. “Harness VLA: Steering Frozen VLAs into Reliable Manipulation Primitives via Memory-Guided Agents.” arXiv:2607.08448, 2026. [26] Y. Wang, Y. Li, L. Fei-Fei, J. Wu, H. Huang. “DexAgent: An Agentic Human2Sim2Robot Framework for Dexterous Manipulation with Self-Evolving Tool Library.” arXiv:2609.35318, 2026. 図は各論⽂・blog・プロジェクトページから引⽤した（各スライドの図の下に出典番号を記載）。数値は 2026-10-25 時点で公開されている各⽂献の内容による 32