ロボットトイ「toio」とVisual Scriptingでお手軽!Unityでロボットを動かそう!

2.3K Views

October 25, 22

スライド概要

実世界で高精度にキビキビ動く超小型ロボットトイ「toio」をUnityのVisual Scriptingを使ったノーコード/ローコードでお手軽に動かせる「toio SDK for Unity」について、使いかたのチュートリアルを含めてご紹介します。UnityのアプリからBluetooth経由で簡単に動かせて、群制御もお手軽。Unityをロボットシミュレーター&制御ホストとして利用できるため、触れるプロジェクション・インタラクティブ作品やAIを使った大規模行動シミュレーションにも利用可能です。Visual Scriptingとtoioを使って手軽にロボット開発を始めましょう!

こんな人におすすめ:
・Unityで研究開発をしている学生・エンジニア・クリエイター
・群制御・群行動アルゴリズムなどを研究しているロボット開発者・自動運転車開発者
・Scratchなどビジュアルプログラミングでロボットを動かした後でより高度なプログラミングに取り組んでみたい方・教育関係者

受講者が得られる知見:
・UnityのVisual Scriptingを使ったロボット開発
・Unityでロボットトイ「toio」を動かす方法
・群制御など高度なロボット制御を簡単に扱う方法

出演:
田中 章愛 (株式会社ソニー・インタラクティブエンタテインメント)
銭 起揚 (モリカトロン株式会社)

--
初出: SYNC 2022 #UnitySYNC
https://events.unity3d.jp/sync/

profile-image

リアルタイム3Dコンテンツを制作・運用するための世界的にリードするプラットフォームである「Unity」の日本国内における販売、サポート、コミュニティ活動、研究開発、教育支援を行っています。ゲーム開発者からアーティスト、建築家、自動車デザイナー、映画製作者など、さまざまなクリエイターがUnityを使い想像力を発揮しています。

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

toio SDK for Unityと Visual Scriptingでお手軽! Unityでロボットを動かそう! 202XMMDDtoio_Title ソニー・インタラクティブエンタテインメント toio開発者 田中章愛 202X/XX/XX モリカトロン株式会社 SIE/toio事業推進室 田中章愛 [email protected] AIエンジニア 銭 起揚 © 2022 Sony Interactive Entertainment 1

2.

田中 章愛(たなか あきちか) ソニー・インタラクティブエンタテインメント toio事業推進室課長 / toio開発者 2002年 2006年 同年 2013年 2014年 2016年 2018年~ 佐世保高専卒業(NHKロボコン全国大会出場) 筑波大学大学院修了(RoboCup Rescue世界大会出場) ソニー(株)入社、ロボットの研究開発に従事 スタンフォード大学訪問研究員 スタートアップ創出と事業運営を支援する 「Seed Acceleration Program(SAP)」や 「Creative Lounge」の企画運営 SAPの新規事業としてロボットトイ「toio」提案 以降、商品化・事業化に従事 ソニー・インタラクティブエンタテインメント にて「toio」の商品企画と事業開発を担当 © 2022 Sony Interactive Entertainment ものづくり・ロボコン少年 ロボット研究者 社内スタートアップ のリーダー 今はPlayStation® でおなじみのSIEで 「toio™(トイオ)」 をつくってます 2

3.

「つくって、あそんで、ひらめいて」 カタチやプログラムをつくって あそべるロボット 創意工夫を引き出す ロボットトイ カートリッジであそぶ、プログラミングでつくる © 2022 SonyInteractive Interactive Entertainment © 2021 Sony Entertainment 3 3

4.

触って夢中になれるデジタル体験が目の前に カートリッジで様々な あそびのテーマを提供 自由な発想を投影 → 夢中になる → 工夫したくなる “クラフトファイター” ドライブ・自動運転 工作生物 金賞 © 2022 Sony Interactive Entertainment 4

5.

2012年からの アイデアをかたちに toioTM 開発者 ぜったい いち “ユーザーテスト” “絶対位置” あそんでもらって よりよくする キビキビうごく ゲームができる 光学式センサー 特殊パターン © 2022 Sony Interactive Entertainment © 2020 Sony Interactive Entertainment 5 5

6.

https://www.youtube.com/watch?v=0-QrT1PtKY4&t=113s © 2020 Sony Interactive Entertainment 6

7.

自宅プリンターやオンデマンド印刷で オリジナル toio用マットも作れます! スイッチサイエンス toio™開発用 A3プレイマット [TMD01SS] スイッチサイエンス toio™開発用 A4プレイマット [TMD02SS] https://www.graphic.jp/lineup/toio_playmat © 2022 Sony Interactive Entertainment 7

8.

開発者向けのスターターキットも! © 2022 Sony Interactive Entertainment 8

9.

直感的・手軽さ→授業・教室への広がり プログラミング教室 CoderDojo伊予 © 2022 Sony Interactive Entertainment 9

10.

実世界エンタテインメントの表現手段へ 実世界インタラクション ①入力 位置・アクション ②処理 ゲームロジック コンピューターモデル x2,y2,θ 2 x1,y1,θ 1 ↑専用マット ・物理特性 ・ユーザー操作 ③出力 動き・反応 ・ルール、シナリオ ・制御ロジック DB x2,y2,θ2 © 2022 Sony Interactive Entertainment x1,y1,θ1 10

11.

アルゴリズムで ロボットを制御してみよう! • お掃除ロボット: ぶつかったら回る • 迷路探索: トレモー法 (拡張左手法) © 2022 Sony Interactive Entertainment 11

12.

AI体験キット公開! →AIの「考え方」を身につける © 2022 Sony Interactive Entertainment 12

13.

アート表現 https://rhizomatiks.com/work/yokogawa-brand-video-connecting-humanity-and-technology/ © 2022 Sony Interactive Entertainment 13

14.

技術仕様公開・開発環境 • Unity・JavaScript 開発環境を提供 • ハードウェア&通信 仕様を公開 © 2022 Sony Interactive Entertainment 14

15.

toio SDK for Unityの活用事例 © 2022 Sony Interactive Entertainment 15

16.

https://www.youtube.com/watch?v=r71mIJJRDKU https://note.com/unityjapan/n/n8f4e8504a8a2 © 2022 Sony Interactive Entertainment 16

17.

toio x Unityで渋滞回避→ロボコン(WRO)世界大会出場! by 追手門学院 大手前中・高等学校 https://www.youtube.com/watch?v=L36jdXCj48s&t=5348s https://www.otemon.ac.jp/whatsnew/pressrelease/31_20211011.html © 2021 Sony Interactive Entertainment 17

18.

toio x Unity x AI by ギリア株式会社 (ML-Agents) でAIロボットサッカー https://www.youtube.com/watch?v=5wZ43hPAb9Q https://blog.unity.com/ja/games/made-with-unity-soccer-robots-with-ml-agents https://note.com/npaka/n/n05368fec4551 © 2022 Sony Interactive Entertainment 18

19.

SCRAP「リアル脱出ゲーム」での応用 © 2022 Sony Interactive Entertainment 19

20.

Unity & ROSでtoioを動かす書籍も! Unityではじめる ROS・人工知能 ロボットプログラミング実践入門 布留川 英一 著 発行:ボーンデジタル © 2022 Sony Interactive Entertainment 20

21.

Unityとtoioで ロボットを思い通りに 動かしちゃおう! © 2022 Sony Interactive Entertainment © 2020 Sony Interactive Entertainment 21

22.

Unity SYNC 2022 22

23.

自己紹介 講演者 東京大学機械工学専攻で自 動運転と強化学習の研究を 行い、 修士卒業後、AIエンジ ニアとしてモリカトロン株式会 社に入社。 銭 起揚 モリカトロン株式会社 AIエンジニア

24.

概要 toio SDK for Unity (T4U) は、 Unityエンジン で toio™コア キューブ(以降キューブ)を制御するための開発環境です。 対応プラットフォーム • iOS • WebGL • Android • Mac • Windows 24

25.

一通りの流れ 1. Unityプロジェクトを作ります 25

26.

一通りの流れ 2. SDKを導入します ※その他の手順は導入ドキュメントをご参考下さい。 26

27.

一通りの流れ 3. コードを書いて、シミュレータで動かします 27

28.

一通りの流れ 4. iOSアプリを作ります プラットフォームに応じて、通信システム自動切り替え 28

29.

シミュレータ・リアルの手動指定 Macでは、Editorからリアルキューブと接続できます。 サンプル Sample_ConnectType が使われています。

30.

Visual Scriptingでキューブを動かそう Cube CubeHandle CubeNavigator タイアの速度指定で制御する 目標指定でキューブ単体を制御する 目標指定で群制御をする

31.

Visual Scriptingでキューブを動かそう キューブと接続 Cube Manager オブジェクトを 作ります 変数に保存 しておきます キューブを1個 接続します

32.

Visual Scriptingでキューブを動かそう モーターを動かす 保存した Cube Manager を取り出します キューブが送信する準備できたかを 判断します

33.

Visual Scriptingでキューブを動かそう モーターを動かす キューブを 取り出します

34.

Visual Scriptingでキューブを動かそう モーターを動かす Left:左モーター速度 Right:右モーター速度 Duration:継続時間 Order:命令の優先度 Move命令を 送信します

35.

Visual Scriptingでキューブを動かそう モーターを動かす

36.

Visual Scriptingでキューブを動かそう CubeHandle を使って目標までに到達させる Cube Handle を取得します

37.

Visual Scriptingでキューブを動かそう CubeHandle を使って目標までに到達させる 目標に到達させる制御 を行います

38.

Visual Scriptingでキューブを動かそう CubeHandle を使って目標までに到達させる

39.

Visual Scriptingでキューブを動かそう CubeHandle による複数台の制御 0~3番のキューブを (100, 400)に移動させます 4~7番のキューブを (400, 100)に移動させます

40.

Visual Scriptingでキューブを動かそう CubeHandleによる複数台の制御

41.

Visual Scriptingでキューブを動かそう CubeNavigator で衝突回避 Cube Navigator を 取得します 衝突回避しながら 目標に到達する制御を 行います

42.

Visual Scriptingでキューブを動かそう CubeNavigator で衝突回避

43.

群制御 CubeNavigator ● 自然に他個体を避ける Human-like 衝突回避(改良版) ● 群がり Boids 43

44.

群制御 CubeNavigator ● 群がりながら、自然に移動できます Human-like 衝突回避(改良版)× Boids *弊社の技術解説ブログ *台数が多いためパケロスで少しカクつきます 44

45.

ご静聴、ありがとうございました。 45

46.

“Sony”はソニーグループ株式会社の商標です。"toio"、"トイオ"は、株式会社ソニー・インタラクティブエンタテインメントの登録商標または商標です。 各ソニー製品の商品名・サービス名はソニーグループ株式会社またはグループ各社の登録商標です。その他の製品および会社名は、各社の商号、登録商標または商標です。 © 2022 Sony Interactive Entertainment 46