松尾研TRAIL第2回ロボナイト（2022年度ロボカップ成果報告会）

RoboCup 成果報告 〜基盤モデルの汎⽤サービスロボットへの応⽤と検証〜 TRAIL RoboCupチーム 辻 知⾹葉 ⼩武海 ⼤ 松尾研 TRAIL ロボナイト #2 綱島 颯志 ⽩坂 翠萌 ⽣駒 創 ⼤⾒謝 恒和 保呂 蒼威 和⽥ 輝 1

今回の内容 1. 2. 3. 4. 5. イントロダクション-TRAIL, RoboCupとは？2022年度のTRAILの活動 技術紹介 まとめ 今後の活動 松尾研 TRAIL ロボナイト #2 2

1. イントロダクション -TRAIL, RoboCupとは？- 松尾研 TRAIL ロボナイト #2 3

TRAIL とは • 松尾研所属の AI‧ロボット研究グループ • 2022 年度にサークルが発⾜、RoboCup参加 松尾研 TRAIL ロボナイト #2 1. イントロダクション 4

RoboCup とは • ⾃律型ロボットの競技会 • 5 つのリーグに45 か国から 2500 ⼈が参加 • ロボット‧AIの研究コミュニティとしての機能 • ポスターセッションなどでの技術交流が盛ん • 研究の発展に応じてルールも難化 松尾研 TRAIL ロボナイト #2 1. イントロダクション 5

RoboCup@Home とは • 家庭で従事するサービスロボットの競技 • 家事のタスク • • • • ⾷事の準備 ⽚付け パーティーのホスト etc. Serve Breakfast タスクの様⼦ 松尾研 TRAIL ロボナイト #2 1. イントロダクション 6

RoboCup@Home DSPL流れ 応募 技術論⽂等による審査 Stage I （５タスク） 各タスク ２回まで 挑戦可 松尾研 TRAIL ロボナイト #2 Stage II（４タスク） Finals（デモプレゼン） 1. イントロダクション Max定員まで 上位 50 ％ 上位２チーム 優勝 7

RoboCup@Home の特徴‧難しさ • 実⾏環境や使⽤するオブジェクトが⼤会直前ま でわからない！！ • 実際の家庭環境での動作を期待しているため ルールが抽象的 →ハードコード× →汎化性や適応性が求められる ↔学⽣ロボコン等（環境や設定が既知） 松尾研 TRAIL ロボナイト #2 1. イントロダクション 8

参加チーム • 技術論⽂審査を通過した 11 チームが本選へ • マスター‧ドクター中⼼のチーム多 • 世界中の⼤学(欧⽶‧アジア‧オセアニア)が参加 • • • • 韓国‧ソウル⼤学/プサン⼤学🥇 蘭‧アイントホーフェン⼯科⼤学 昨年🥇 英‧オックスフォード⼤学 ⽶‧テキサス⼤学 etc. • 優勝したソウル⼤/プサン⼤のチームは10 ⼈強 松尾研 TRAIL ロボナイト #2 1. イントロダクション 9

RoboCupチーム構成（１期⽣） • ８⼈全員B2, ロボコン経験者からロボット初⼼者まで 辻 知⾹葉 リーダー ⼩武海 ⼤ サブリーダー ⽩坂 翠萌 ロジ 綱島 颯志 ロジ / 新歓 / ʻ23年度サークル運営 保呂 蒼威 新歓 ⽣駒 創 企画 ⼤⾒謝 恒和 外部交流 和⽥ 輝 内部交流 松尾研 TRAIL ロボナイト #2 1. イントロダクション 10

サークル‧TRAIL 1期⽣の活動成果 • サークル１期⽣(現B2)でRoboCupに挑戦 • 約１年間の活動の末、新規参⼊ながらも 🥇全国⼤会優勝 🥉世界⼤会第三位 を達成 松尾研 TRAIL ロボナイト #2 1. イントロダクション 11

サークル‧TRAIL 1期⽣の課題 • サークル１期⽣ • →サークルとしてのノウハウがない！ • チーム体制‧年間スケジュール‧技術的蓄積etc. • RoboCup世界⼤会に初参戦 →全タスク新規開発‧ロジスティクス（ロボットの海外輸送etc.) • メンバーは駒場⽣（B１→B２） →専⾨にとらわれず視野を広げ⼈間としての器を広げる⾃由な期間 →他の活動や学業とTRAIL活動の両⽴の難しさ • 進振り直前に全国⼤会‧世界⼤会etc. 松尾研 TRAIL ロボナイト #2 1. イントロダクション 12

⼤会総括 • 成果 • メンバーのほとんどがロボット初⼼者、チーム開発 未経験の新参チームが 1 から開発 ↓ 1 年で↓ • 古参チームに⽐肩する世界トップレベルチームに →技術的要因および技術以外の要因は何？？ 松尾研 TRAIL ロボナイト #2 1. イントロダクション 13

2. 2022年度のTRAILの活動 松尾研 TRAIL ロボナイト #2 2. 2022年度のTRAILの活動 14

2022 年度の活動タイムライン • 4⽉ 新歓、現メンバー参加 • 6-9 ⽉ Roomba Hack • 9⽉ RoboCup チーム発⾜ • 12 ⽉ • 3⽉ 世界⼤会 Qualification 提出 🥉ロボカップジャパンオープン2022 • 5⽉ 🥇ロボカップジャパンオープン2023 • 7⽉ 🥉RoboCup 2023 Bordeaux 松尾研 TRAIL ロボナイト #2 2. 2022年度のTRAILの活動 15

Roomba Hack（6~9⽉） • Roomba を動かしながらロボット制御を学ぶ • 全 6 回の講義と最終競技会（競技＋プレゼン） 松尾研 TRAIL ロボナイト #2 2. 2022年度のTRAILの活動 16

RoboCupチームの結成（9⽉） • プログラミング未経験者 からロボコン‧競技プロ グラミング経験者まで • 理科⼀類が多い • 推薦⽣も在籍 • 電情‧精密‧機情 • 兼サーしている⼈も多数 松尾研 TRAIL ロボナイト #2 2. 2022年度のTRAILの活動 17

世界⼤会 Qualification（11~12⽉） • 資料を提出して審査に通過→世界⼤会出場 • TDP（技術論⽂）、Web サイト、動画 TDP 松尾研 TRAIL ロボナイト #2 Web サイト 2. 2022年度のTRAILの活動 動画 18

全国⼤会に向けた開発（1~2⽉） • ロボカップで必要とされるモジュールの開発 • 基盤モデル‧LLMを活⽤ • ⾳声認識‧物体認識‧タスクプランニングetc. • ２タスクの新規開発 • GPSR ----------- ⾃然⾔語の命令をロボットが実⾏ • Restaurant ---- 未知環境でオーダーを取り配膳 松尾研 TRAIL ロボナイト #2 2. 2022年度のTRAILの活動 19

ロボカップジャパンオープン 2022（３⽉） • 2023/3/6~3/9 @東⼤（@Home のみ） • DSPLには 7 チームが参加 • 結果：3 位⼊賞 🥉 松尾研 TRAIL ロボナイト #2 2. 2022年度のTRAILの活動 20

ロボカップジャパンオープン 2022（反省） • 技術的な基礎を形成 • 基盤モデルを導⼊ • 性能と汎⽤性の⾼さを確認 • ⼀⽅その本領は発揮できず • チームとしては未熟だった • 混沌を極める Git tree • 直前の限界開発 • ⼤会当⽇の現場対応 →ポテンシャルを発揮するため改⾰を決⾏！ 松尾研 TRAIL ロボナイト #2 2. 2022年度のTRAILの活動 21

次の全国⼤会に向けた改⾰と開発（3~4⽉） • ⻑野にて反省会合宿を開催 • チーム構造を改⾰ • チーム体制‧開発体制の改善 • 情報共有の改善 • 定期的なスコア計測会‧チー ムミーティングの導⼊ • ロジスティクス担当の導⼊ • Issue Driven 開発を導⼊ • GitHub の活⽤ 松尾研 TRAIL ロボナイト #2 2. 2022年度のTRAILの活動 22

ロボカップジャパンオープン 2023（５⽉） • 2023/5/3~5/7 @滋賀（全リーグ） • DSPLには 7 チームが参加 • 結果： 競技優勝🏆 技術デモ 3 位 🥉 松尾研 TRAIL ロボナイト #2 2. 2022年度のTRAILの活動 23

ロボカップジャパンオープン 2023 • 全タスクで⾸位 • 前回からスコアを 2 ヶ⽉で 3 倍に伸ばした • 常勝チームを圧倒し衝撃を与えた • チーム改⾰と開発の効率化 → ポテンシャルを発揮 松尾研 TRAIL ロボナイト #2 2. 2022年度のTRAILの活動 24

得点 / 満点 (%) の平均 RCJ2023 → RCJ2022 スコアの推移 80 2 ヶ⽉で 3 倍！ 60 TRAIL eR@sers 40 HMA OIT-RITS 20 SOBITS 0 RCJ2022 松尾研 TRAIL ロボナイト #2 RCJ2023 2. 2022年度のTRAILの活動 25

世界⼤会に向けた開発（6⽉） • ７タスクを新規開発 • 期間は１か⽉強‧メンバーは８⼈．．． • 今まで開発した要素技術をうまく組み合わせて 活⽤ • 画像‧⾳声認識はタスク間で共通して基盤モデ ルを活⽤ → 限られた時間‧⼈数で⾼速な開発を実現 松尾研 TRAIL ロボナイト #2 2. 2022年度のTRAILの活動 26

世界⼤会ロジスティクス 3⽉ メンバー決定 4⽉ 企画書、趣意書の提出→研究室から出場が認められた ⼤会Registration、航空券⼿配、宿泊施設予約 5⽉ HSR輸送の詳細決定 6⽉ ⼤会に使うHSRを輸送 7⽉ いざボルドーへ 松尾研 TRAIL ロボナイト #2 2. 2022年度のTRAILの活動 27

RoboCup 2023 Bordeaux（7⽉） • 2023/7/4~7/9 @ボルドー • DSPL には 11 チームが参加 • 結果：3 位⼊賞 🥉 松尾研 TRAIL ロボナイト #2 2. 2022年度のTRAILの活動 28

外部交流 • RSJ2022@東⼤に学⽣スタッフとして参加 • ⽟川⼤学岡⽥研究室を訪問 • ロボカップ常連チーム eR@sers • 早稲⽥⼤学尾形研究室を訪問 • ロボット x AI のラボ 松尾研 TRAIL ロボナイト #2 2. 2022年度のTRAILの活動 29

サークル運営 • 五⽉祭に企画を出展 • Restaurant のデモ • 新⼊⽣向け Roomba Hack を開講中 松尾研 TRAIL ロボナイト #2 2. 2022年度のTRAILの活動 30

3. 技術紹介 松尾研 TRAIL ロボナイト #2 3. 技術紹介 31

RoboCup@Home の技術課題 • 家庭内サービスに関する９タスクの新規開発 →限られた時間‧⼈数 • 実⾏環境や使⽤するオブジェクトが⼤会直前ま でわからない！！ →ハードコード× →汎化性や適応性が求められる 松尾研 TRAIL ロボナイト #2 3. 技術紹介 32

⼤会総括‧技術的アプローチ • 成果 • メンバーのほとんどがロボット初⼼者、チーム開発未 経験の新参チームが 1 から開発 ↓ 1 年で↓ • 古参チームに⽐肩する世界トップレベルチームに • (技術的)要因 • 基盤モデル‧LLM など新規技術を積極的に導⼊ 松尾研 TRAIL ロボナイト #2 3. 技術紹介 33

基盤モデルの各モジュールでの活⽤ モジュール 基盤モデル 特徴 Whisper 会話の⽂脈を考慮した⽂字 起こし 👀物体認識 Detic‧CLIP Prompt-tuningによる未知 物体への対応 🧠タスク プランニング GPT-3/GPT-4 LLMによる⾏動⽣成 👂⾳声認識 →各タスクで活⽤ 松尾研 TRAIL ロボナイト #2 3. 技術紹介 34

👂⾳声認識 • 発声区間認識：Silero VAD(DNNモデル) • ⽂字起こし：Whisper(基盤モデル) • タスク設定情報や実⾏環境の説明をプロン プトとしてWhisperに与える →⽂脈を考慮した⽂字起こしが可能 • タスク特有の難単語の認識精度の向上 • ノイズやアクセントに対するロバスト性向上 松尾研 TRAIL ロボナイト #2 3. 技術紹介 35

👀物体認識 • 物体検出：Detic(基盤モデル) • 物体分類：CLIP(基盤モデル) • テキストによるチューニングが可能(プロ ンプトチューニング) • 検出結果に対して３つのフィルタリング • プロンプトチューニングでは分類が難しい 物体のみCLIPの全結合層をチューニング することで対応 松尾研 TRAIL ロボナイト #2 3. 技術紹介 36

👀物体認識 • プロンプトチューニングによっ て直前に公開されるオブジェク トにも学習なしで対応可能に 松尾研 TRAIL ロボナイト #2 3. 技術紹介 37

🧠タスクプランニング • ⾏動に⼀対⼀対応した23種類のスキル • コマンドに合わせてスキルの組み合わ せをLLM(GPT-3‧4)でプランニング • 多段階プロンプトによるChain-ofThoughtによる2段階プランニング • 実際の動作順序を考慮したプランニング が可能に • e.g., Tell me how many apples are on the table. 松尾研 TRAIL ロボナイト #2 3. 技術紹介 38

RoboCup@Home タスク 応募 ‧Receptionist ‧Storing Groceries ‧Carry My Luggage ５タスク） ‧GPSR ‧Serve Breakfast ‧Clean The Table ‧Restaurant ５タスク） ‧Stickler For The Rules ‧EGPSR 松尾研 TRAIL ロボナイト #2 技術論⽂等による審査 Stage I（５タスク） Stage II（４タスク） Finals（デモプレゼン） 3. 技術紹介 Max定員まで 上位 50 ％ 上位２チーム 優勝 39

Receptionist • ロボットがホストに訪問者を案内‧紹介する • ⾳声認識‧HRI‧⼈物の特徴推定 松尾研 TRAIL ロボナイト #2 3. 技術紹介 40

Storing Groceries • ⾷料品を種類ごとに分けて棚にお⽚付けする • 物体認識‧マニピュレーション 松尾研 TRAIL ロボナイト #2 3. 技術紹介 41

Carry My Luggage • ポーター係‧⾞までのかばんの運搬 • 未知環境での⼈追従‧マニピュレーション 松尾研 TRAIL ロボナイト #2 3. 技術紹介 42

Serve Breakfast • 朝⾷の⽀度，ミルク⼊りのシリアルを準備する • 物体認識‧マニピュレーション 松尾研 TRAIL ロボナイト #2 3. 技術紹介 43

Clean The Table • ⾷卓の⽚づけ • 物体認識‧マニピュレーション 松尾研 TRAIL ロボナイト #2 3. 技術紹介 44

Restaurant • レストラン（未知環境）でのウエイター係 • 未知環境でのナビゲーション‧⾳声認識‧姿勢推定 松尾研 TRAIL ロボナイト #2 3. 技術紹介 45

Stickler For The Rules • ホームパーティーでの室内パトロール係 • ４つのルールが保たれているか確認し訂正する • 物体認識‧HRI 松尾研 TRAIL ロボナイト #2 3. 技術紹介 46

(Enhanced) General Purpose Service Robot • RoboCup＠Homeのラスボス的タスク • ⾃然⾔語で与えられる様々なコマンドを実⾏ • コマンドはロボカップの要素技術の組み合わせ • 技術をどのように組み合わせてプランニングしてい くかが重要 • 懇親会中に競技のデモをお⾒せします！ 松尾研 TRAIL ロボナイト #2 3. 技術紹介 47

RoboCupで使った技術の詳細 • 世界⼤会でのポスター発表 • ９⽉のRSJで発表予定 • 後ほどの質疑応答‧交流タ イムでぜひ！ 松尾研 TRAIL ロボナイト #2 3. 技術紹介 48

4. まとめ 松尾研 TRAIL ロボナイト #2 4. まとめ 49

RoboCup 2023 Bordeaux Team Sum Poster Tidyboy 3720.8 30.83 HMA 3663.3 33.33 TRAIL 3129.2 29.16 Tech United 2979.2 29.15 eR@sers+Pumas 1850.8 30.83 792.5 27.5 RoboCanes-VISAGE Storing Receptionist Groceries 650 Carry My 0 400 420 500 410 550 0 0 400 Luggage 100 GPSR 50 Serve 400 200 Breakfast Clean the 680 640 Table 760 220 Stickler for Restaurant 100 0 the Rules 700 1000 90 100 300 810 300 100 1000 220 600 0 0 0 300 300 0 0 0 0 440 15 0 0 800 800 EGPSR 300 700 400 0 200 • 上位 3 チームは 0 点のタスクが少ない → 動くシステム構築の重要性 • GPSR を得点しているのは上位 3 チームのみ 松尾研 TRAIL ロボナイト #2 4. まとめ 50

成果分析 • 基盤モデル‧LLM を活⽤した数少ないチーム • 多くのチームが古参 → 既存技術の置き換えに抵抗？ • TRAIL は全タスクを 1 から開発 → 新規技術を積極的に導⼊できた • 松尾研 as AI Lab のバックグラウンド • ⾼い性能と汎⽤性で短期間で世界トップレベルに 松尾研 TRAIL ロボナイト #2 4. まとめ 51

成果分析 • 基盤モデルのロボット実装の難しさ • マシンパワーの制約（ラップトップ 1 台) • コード‧モデルの重みが公開されていない論⽂も • 資料‧実装例の量が分野によって偏っている • 多：⾔語、画像、⾳声 • ⼩：ナビゲーション、マニピュレーション、3D 松尾研 TRAIL ロボナイト #2 4. まとめ 52

サークル‧TRAIL 1期⽣の課題（再掲） • サークル１期⽣ →サークルとしてのノウハウがない！ • チーム体制‧年間スケジュール‧技術的蓄積etc. • RoboCup世界⼤会に初参戦 →全タスク新規開発‧ロジスティクス（ロボットの海外輸送etc.) • メンバーは駒場⽣（B１~B２） →専⾨にとらわれず視野を広げ⼈間としての器を広げる⾃由な期間 →他の活動(兼サー等)や進振りといった学業とTRAIL活動の両⽴の難 しさ • 進振り直前に全国⼤会‧世界⼤会etc. 松尾研 TRAIL ロボナイト #2 4. まとめ 53

まとめ • 技術的側⾯ • 新規参⼊だからこそのフットワークの軽さを活かし， 新規技術を積極的に導⼊した →基盤モデルの活⽤ • それ以外の側⾯ • 時間‧⼈数‧学業や他の活動とのバランス等を配慮し コミュニケーションを重視しながらチームにとっての 最適なチームの在り⽅‧開発体制を探求し続けた 松尾研 TRAIL ロボナイト #2 4. まとめ 54

5. 今後の活動 松尾研 TRAIL ロボナイト #2 5. 今後の活動 55

今後の課題 • 基礎的なロボット技術に課題 • Online SLAM, Human Tracking, Pick & Place, HRI • 技術の置換が容易なシステムの構築 • 新技術導⼊へのフットワークを軽く ↓ • 最新の AI 技術の応⽤と検証 松尾研 TRAIL ロボナイト #2 5. 今後の活動 56

おわりに 今後も RoboCup@Home を通して AI 技術の応⽤と検証を⾏っていきます。 応援よろしくお願いします！ X (Twitter) 松尾研 TRAIL ロボナイト #2 5. 今後の活動 Web サイト 57