【DL輪読会】Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation

DEEP LEARNING JP [DL Papers] Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation Koki Yamane, University of Tsukuba http://deeplearning.jp/ 1

• http://deeplearning.jp/

書誌情報 題名 Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation 著者 Zipeng Fu (1) Tony Z. Zhao (1) Chelsea Finn (1) 所属 (1)Stanford University 会議 arXiv (2024/1/4) URL https://arxiv.org/abs/2401.02117 概要 ⚫ 低コストな双椀モバイルマニピュレータ「Mobile ALOHA」を開 発 ⚫ 双椀モバイルマニピュレータで模倣学習 2024/2/2 2

• https://arxiv.org/abs/2401.02117

2024/2/2 3

従来手法：ALOHA 低コストの双腕遠隔操作ハードウェア 2024/2/2 4

提案手法： Mobile ALOHA ALOHAに台車を加えてモバイルマニピュレータ化 2024/2/2 5

従来手法： Action Chunking with Transformers (ACT) Transformerを用いたCVAEで現在の状態から次の数ステップの行動を予測 動作のスタイルを表す潜在変数 （操作者による癖などを表現） 次の１ステップではなく 次の数ステップの行動を同時に予測 ４つのカメラの画像と各関節の角度を入力 2024/2/2 自律動作時の潜在変数は０ 6

従来手法： Action Chunking with Transformers (ACT) Transformerを用いたCVAEで現在の状態から次の数ステップの行動を予測 ◼ Action Chunking  次の数ステップをまとめて予測 ◼ 一連の動作をまとめて扱う ◼ 非マルコフ性に対応  １ステップごとの生成では，一時停止と 終了時の停止を見分けるのが難しい ◼ Temporal Ensemble  チャンクを毎ステップ出力し加重平 均を取ることで滑らかにつなぐ  チャンクの境目で急な動作になるの を防ぐ 2024/2/2 7

実験 ◼ ７つのタスクで検証 ◼ 教示データ50回分，自律動作20回（Cook Shrimpのみ各20回，5回） ◼ Co Training  移動なしALOHAのデータを一緒に学習 2024/2/2 8

実験結果 多くのタスクで80%超えの成功率を達成 Cook Shrimpのみ 成功率80%未満 タスクが長いから？ 2024/2/2 9

実験結果 ACTが最も高い成功率を達成 2024/2/2 10

まとめ ◼ 低コスト双椀マニピュレータALOHAに台車を統合 ◼ 双椀モバイルマニピュレータで模倣学習 ◼ 7つの実機タスクで実験，6つのタスクで80%を超える成功率を達成 ◼ 感想  とにかくデモが面白い  ACTとDiffusion Policyの比較が興味深かった ◼ ACTのほうが性能高い結果になっているがデータ数やタスクによって変わる？ 2024/2/2 11