ロボット「toio」をUnityで自在に制御！「toio SDK for Unity 」の紹介

新公開の開発環境 「toio SDK for Unity」 をご紹介！ ロボットトイ「toio（トイオ）」 とUnityでの開発事例のご紹介 Unity道場ロボティクススペシャル 龍の巻 2020/10/10 ソニー・インタラクティブエンタテインメント toio開発者 田中章愛 モリカトロン株式会社 AIエンジニア 本間翔太／銭 起揚 © 2020 Sony Interactive Entertainment 1

@toio_jp https://toio.io

• https://toio.io

#toio #Unity

本日のお題 ・ロボットトイ「toio™（トイオ）」の紹介 ・新開発環境「toio SDK for Unity」 © 2020 Sony Interactive Entertainment 4

「つくって、あそんで、ひらめいて」 好きな形や動きをつくって エンタメ的体験であそべるロボット 創意工夫を引き出す New! ロボットトイ Coming Soon カートリッジであそぶ、プログラミングでつくる © 2020 SonyInteractive Interactive Entertainment © 2020 Sony Entertainment 5 5

自己紹介：田中 章愛（たなか あきちか） ソニー・インタラクティブエンタテインメント toio事業推進室 課長（事業開発担当）/ toio開発者 2002年 2006年 同年 2013年 2014年 2016年 佐世保高専卒業（NHKロボコン全国大会出場） ロボコン三昧 筑波大学大学院修了（RoboCup Rescue世界大会出場） ソニー(株)入社、ロボットの研究開発に従事 スタンフォード大学訪問研究員 ロボット研究者 スタートアップ創出と事業運営を支援する 「Seed Acceleration Program(SAP)」や 「Creative Lounge」の企画運営 社内スタートアップ SAPの新規事業としてロボットトイ「toio」提案 のリーダー 以降、商品化・事業化に従事 2018年～ ソニー・インタラクティブエンタテインメント にて「toio」の商品企画と事業開発を担当 © 2020 Sony Interactive Entertainment 現在PlayStation® でおなじみのSIEで 「toio」を企画 6

触って夢中になれるデジタル体験が目の前に カートリッジで様々な あそびのテーマを提供 “クラフトファイター” 自由な発想を投影 → 夢中になる → 工夫したくなる ドライブ・自動運転 工作生物 金賞 © 2020 SonyInteractive Interactive Entertainment © 2020 Sony Entertainment 7 7

開発姿勢：2012年からの夢が徐々に現実に ユーザーテスト toioTM 開発者 技術開発 「実世界インタラクティブエンタテインメント」をつくろう！ “絶対位置検出” ユーザーテスト 正確な動き・高いゲーム性 企画⇒試作⇒改善… 光学式センサー © 2020 Sony Interactive Entertainment © 2020 Sony Interactive Entertainment 特殊パターン 8 8

https://www.youtube.com/watch?v=0-QrT1PtKY4&t=113s © 2020 Sony Interactive Entertainment 9

• https://www.youtube.com/watch?v=0-QrT1PtKY4&t=113s

“あそび感覚でプログラミング” ～3段階にステップアップ～ 小学生(低)～：基本 「順次・分岐・反復」を体感 アンプラグド 敷居は低く、壁は広く、 天井は高く by ミッチェル・レズニック MIT教授 小学生(高)～：創作 多角形・アルゴリズム・ゲーム ビジュアルプログラミング 中学生～大人：本格 ロボット/AI/インタラクション JavaScriptライブラリ ＆技術仕様公開 （Windows10/Mac対応） （パソコン不要・カード式） プログラミングもあそびになる © 2020 Sony Interactive Entertainment © 2020 Sony Interactive Entertainment 10 10

“あそび感覚でプログラミング” ～3段階にステップアップ～ 小学生(低)～：基本 「順次・分岐・反復」を体感 アンプラグド 敷居は低く、壁は広く、 天井は高く by ミッチェル・レズニック MIT教授 New! 小学生(高)～：創作 多角形・アルゴリズム・ゲーム ビジュアルプログラミング 中学生～大人：本格 ロボット/AI/インタラクション JavaScriptライブラリ ＆技術仕様公開 （Windows10/Mac対応） （パソコン不要・カード式） プログラミングもあそびになる © 2020 Sony Interactive Entertainment © 2020 Sony Interactive Entertainment 11 11

本日のお題 ・ロボットトイ「toio™（トイオ）」の紹介 ・新開発環境「toio SDK for Unity」 © 2020 Sony Interactive Entertainment 12

New! 「toio SDK for Unity」 Developed by © 2020 Sony Interactive Entertainment 13

New! 「toio SDK for Unity」 ゲームエンジンUnityを使ってロボット「toio」のスマホアプリやゲーム開発が手軽に • 豊富なライブラリやアセットを活用し、ARや機械学習も統合できる • ロボット工学やインタラクション、メディアアートなど多彩な活用が可能 Developed by Unity上シミュレーターで開発 スマホアプリ(iOS)からtoioが動く！ © 2020 Sony Interactive Entertainment 「ウロチョロス」 のような実世界 ゲームが開発可能 14

ここからは・・・ 「toio SDK for Unity」の深い話 開発：モリカトロン株式会社 © 2020 Sony Interactive Entertainment 15

https://morikatron.com/t4u/ （※モリカトロン 本間様・銭様のプレゼンテーションをご覧下さい) © 2020 Sony Interactive Entertainment 16

• https://morikatron.com/t4u/

New! 「toio SDK for Unity」 α版モニター事例紹介（個人作品） 「AR Touch」 by 橋本直（明治大学／工学ナビ） 「リモートすごろく」 by 高友康、藤波秀麿（東京大学 筧研究室） ビジュアルスクリプティングBoltでの開発も！ 「Bolt with toio」 by comoc 「ミニチュアムービーメーカー」by tokyoamado 「トイオで徒競走」 by kawachin, numachin © 2020 Sony Interactive Entertainment 17

toio SDK for Unityの感想 ユニティ・テクノロジーズ・ジャパン 小森 顕博 様 「Bolt with toio」 by comoc © 2020 Sony Interactive Entertainment https://note.com/unityjapan/n/nf9ca97d3d472 18

• https://note.com/unityjapan/n/nf9ca97d3d472

New! 作品動画コンテスト 「ロボやろ」 #toio #Unity #ロボやろ © 2020 Sony Interactive Entertainment 19

New! 「ロボやろ」 作品動画コンテスト • 開催概要 – – • • toioやUnityのオリジナル作品動画オンラインコンテスト （シミュレーター参加もOK！） YouTube＆Twitter・ブログで作品動画投稿し、応募フォームに記入 賞＆リワード – View数や内容にインパクトのあるものを表彰＆リワード進呈 – toio & Unity大賞リワード：Unity推奨PC＋toio特別セット ほか賞・リワード多数 #toio #Unity #ロボやろ 審査員 – – ソニー・インタラクティブエンタテインメント 田中章愛 ユニティ・テクノロジーズ・ジャパン 小森様 エントリー・作品募集期間：10/10-11/4 ※他ゲスト審査員追加次第告知予定 主催：ソニー・インタラクティブエンタテインメント 協賛：ユニティ・テクノロジーズ・ジャパン 協力：モリカトロン株式会社、株式会社スイッチサイエンス © 2020 Sony Interactive Entertainment 審査発表日：11/6 ※日程や内容は状況により変更になる場合があります。 20

@toio_jp https://toio.io

• https://toio.io

最後に・・・ 開発に役立つ新商品ご紹介 © 2020 Sony Interactive Entertainment 22

New! toio™開発用プレイマット 開発者向けtoio専⽤マット、A3サイズ12枚セット • toioの絶対位置が印刷され、高度なロボット開発やプログラミングに最適 • 裏面は最⼤12枚まで並べることで、⼤きなプレイエリアとして利⽤可 • 表⾯は簡易プレイマット（６枚）、簡易カード（6枚）としても使⽤可 12枚並べると約1.2ｍ角の正方形に Distributed by © 2020 Sony Interactive Entertainment 23

New! toio™開発用プレイマット SwitchScience「「toio」ではじめよう、おうちでロボット開発キャンペーン」 より https://mag.switch-science.com/2020/05/19/toio-posts/ https://mag.switch-science.com/2020/07/01/toio-posts-2/ © 2020 Sony Interactive Entertainment 24

• https://mag.switch-science.com/2020/05/19/toio-posts/
• https://mag.switch-science.com/2020/07/01/toio-posts-2/

工作も、ゲームも、プログラミングも、創意工夫で楽しもう。 「toio」のあそびはどんどん広がります。 © 2020 Sony Interactive Entertainment © 2020 Sony Interactive Entertainment 25

#toio #Unity #ロボやろ

ぜひ一緒にtoio で 「実世界インタラクティブエンタテインメント」 をつくりましょう！ TM

“Sony”はソニー株式会社の商標です。 各ソニー製品の商品名・サービス名はソニー株式会社またはグループ各社の登録商標です。その他の製品および会社名は、各社の商号、登録商標または商標です。 © 2020 Sony Interactive Entertainment

Unity道場 ロボティクススペシャル 龍の巻 1

自己紹介 講演者 ゲーム会社でエンジニア として従事。その後東京 工科大学でゲームと認知 心理の研究に取り組む。 修士卒業後、AIエンジニ アとしてモリカトロン株 式会社へ入社。 東京大学機械工学専攻で自 動運転と強化学習の研究を 行い、 修士卒業後、AIエン ジニアとしてモリカトロン 株式会社に入社。 本間 翔太 銭 起揚 モリカトロン株式会社 AIエンジニア モリカトロン株式会社 AIエンジニア

概要 toio SDK for Unity は、Unityエンジン で toio™コア キューブ（以降キューブ）を制御するための開発環境です。 3

一通りの流れ 1. Unityプロジェクトを作ります 4

一通りの流れ 2. SDKを導入します ※その他の手順は導入ドキュメントをご参考下さい。 5

一通りの流れ 3. コードを書いて、シミュレータで動かします https://youtu.be/rCKu6J3MggA 6

• https://youtu.be/rCKu6J3MggA

一通りの流れ 4. iOSアプリを作ります プラットフォームに応じて、通信システム自動切り替え 7

機能一覧 ● Cubeクラス キューブをプログラム制御するモジュール ● Bluetooth デバイスを通信制御するモジュール ● Simulator UnityEditor で toio のシミュレーションをするモジュール ● 制御モジュール Cube を単体及び群集として動かすモジュール

機能一覧 ● Cubeクラス キューブをプログラム制御するモジュール ● Bluetooth デバイスを通信制御するモジュール ● Simulator UnityEditor で toio のシミュレーションをするモジュール ● 制御モジュール Cube を単体及び群集として動かすモジュール

Cubeクラス 10

Cubeクラス スキャン 11

Cubeクラス スキャン 接続 12

Cubeクラス スキャン 接続 命令 13

Cubeクラス CubeUnity Cube CubeReal 14

Cubeクラス 15

機能一覧 ● Cubeクラス キューブをプログラム制御するモジュール ● Bluetooth デバイスを通信制御するモジュール ● Simulator UnityEditor で toio のシミュレーションをするモジュール ● 制御モジュール Cube を単体及び群集として動かすモジュール

Bluetooth iOS Cube 通信インターフェイス Web 17

Bluetooth 多台数動かせる 開発者登録が必要 iOS Web 18

Bluetooth シェアできる 台数制限がある iOS Web 19

Bluetooth iOS Cube Web 通信インターフェイス Mac Android 20

機能一覧 ● Cubeクラス キューブをプログラム制御するモジュール ● Bluetooth デバイスを通信制御するモジュール ● Simulator UnityEditor で toio のシミュレーションをするモジュール ● 制御モジュール Cube を単体及び群集として動かすモジュール

Simulator Simulator が生まれる前には… Bug Build (数十秒~数分) 22

Simulator Simulator を加えることで… Bug Play (1秒で) 少ない Bug Build (数十秒~数分) 23

Simulator ● Mat マットオブジェクト ● Standard ID カード・シート オブジェクト ● Cube コアキューブ オブジェクト ※Simulatorの画面キャプチャーです 24

Simulator ● Mat マットオブジェクト ● Standard ID カード・シート オブジェクト *数が多いので省略 ● Cube コアキューブ オブジェクト ※Simulatorの画面キャプチャーです 25

Simulator ● Cube ○ toio™コアキューブ仕様2.0.0に対応 しています。 ○ 物理、通信遅延のシミュレーショ ンも実装しています。 ○ マウスとキーボードで、Drag&Drop などの操作ができます。 ※Simulatorの画面キャプチャーです 26

• https://toio.github.io/toio-spec/docs/2.0.0/about

Simulator ※Simulatorの画面キャプチャーです 27

機能一覧 ● Cubeクラス キューブをプログラム制御するモジュール ● Bluetooth デバイスを通信制御するモジュール ● Simulator UnityEditor で toio のシミュレーションをするモジュール ● 制御モジュール Cube を単体及び群集として動かすモジュール

単体制御 CubeHandle ● メソッド ○ 目標座標・角度に到達 (closed-loop) ○ 指定距離・角度で前進・回転 (open-loop) 29

単体制御 CubeHandle ● 予測によるボーダー制限 単発の指令でも、それによる軌跡を予測して、マットを出る前に 止まれるように、指令の継続時間をカットします。 同じ指令（速度&継続時間）を違うAPI で出しています。 ● 緑：CubeHandle.Move ● 赤：Cube.Move 30

群制御 CubeHandleを多台数の場合に使うと… 互いに意識していないので、当然ぶつかります。 *対角に移動するタスク 31

群制御 Navigator ● 自然に他個体を避ける Human-like 衝突回避（改良版） ● 群がり Boids (魚のような集団行動を作れるアルゴリズム) 32

群制御 Navigator ● 群がりながら、自然に移動できます Human-like 衝突回避（改良版）× Boids *弊社の技術解説ブログ https://tech.morikatron.ai/entry/2020/03/04/100000 *台数が多いためパケロスで少しカクつきます 33

• https://tech.morikatron.ai/entry/2020/03/04/100000

群制御 デモ「鬼ごっこ」 https://www.youtube.com/watch?v=mKl3XM30b00 34

• https://www.youtube.com/watch?v=mKl3XM30b00

ご静聴、ありがとうございました。 35