人の移動を支援するロボット技術

人の移動を支援するロボット技術 田村 雄介 東北大学 大学院工学研究科 ロボティクス専攻 [email protected] 准教授

人の移動を支援するロボット技術 歩行者の移動予測 視覚障がい者の移動支援

背景 高齢化に伴う交通事故のリスク増大 高齢化率の推移と将来推計 50% 大崎市 全国 40% 30% 20% 宮城県内の75歳以上の高齢者の免許人口に対する事故率は、 全年代平均の1.75倍 75歳以上の運転免許自主返納年間件数 3,944件 [2.9%] @大崎市 171件 [1.9%] 10% （出典）宮城県警察 0% 1980 1990 2000 2010 2020 2030 2040 （出典）大崎市地域公共交通計画, 令和5年版高齢社会白書 病院や銀行、買い物等の生活移動をするためには 移動手段が必須 近距離モビリティ https://whill.inc/jp/model-r 電動カート（車椅子） https://www.sentabi.jp/info/notice/20240209info/ 自動運転バス 4

• https://whill.inc/jp/model-r
• https://www.sentabi.jp/info/notice/20240209info/

歩車混在空間での安全かつ円滑な移動 現状の自動運転は歩行者等を検知すると走行停止（or 手動介入）とい うものがほとんど。 安全かつ円滑に移動するためには、 周辺他者の移動を予測することが重要 5

歩行者の移動予測 数理モデルに基づく方法 深層学習を用いた方法 歩行者は他者や周囲の環境から仮想的な力 を受けて移動するとしてモデル化し、将来 の動きを予測（Social Force Model） 大量の歩行者軌跡のデータセットを用いて 周辺他者からの影響などを学習し、将来の 動きを予測 理想的な歩行者の動きは精度良く予測できるが、 現実の歩行者≠理想的な歩行者 6

Smartphone Zombie 歩きスマホ 人間の注意できる範囲には限りがあり、 状況によってその範囲は狭まる 7

歩行中にスマホを使用したことがありますか？ YES NO 57 43 10s 20s 66.9 30s 33.1 58.7 40s 41.3 46.3 50s 53.7 34.3 65.7 27.6 60s 72.4 21.1 70s 78.9 42.6 Average 0 25 57.4 50 75 100 https://www.moba-ken.jp/whitepaper/wp21/pdf/wp21_all.pdf NTT Docomo モバイル社会白書2021年版 8

• https://www.moba-ken.jp/whitepaper/wp21/pdf/wp21_all.pdf

歩きスマホの特徴 頭が前傾している LiDARで真横から計測した際の点群 スマホを手に持っている 肘が曲がっている 11

ated as the mean of their x and body y coordinate of points belonging the are expected to appear at similar regions. Finally, the parts, such as hands and toarms, 歩きスマホの検出 direction of the objectlateral in Σw profile and the of rotation of robot have already each candidate object can be acquired as shown in Fig. 4.2. matrix R can be represented as where qij i (ximean , yme calculated as to the object the rotation matrix R ca Z axis    r r ˆit ẏˆti 0 ẋ cosφ −sinφ 0 t t    物体トラッキングによる進行方向推定  ˆi   i r r ˆ =  ẏt −ẋt 0  sinφt (4.2) cosφt 0 . t=1    t=2 0 0 1 0 0 1 t=3 each point in the cluster are normalized by the maximum value of R= Y ax the maximum height of candidate objects will correspond to 1 and is nds and arms, are expected to appear at similar regions. t = 2 the t = 3 t = 1 Finally, is X ax Fig. 4. Illustration of the lateral view taken from the unified direction. (a) shows object tracking in the world coordinate with its corresponding images, where the red arrows show the moving direction of the objects. (b) shows the (b) of lateral view in Σo . The z coordinate of projection result from the direction those points are normalized using the height of the object. idate object can be acquired as shown in Fig. 4.2. (a) 進行方向に対して垂直な =1 歩きスマホの形状特徴 Fig. 4.2: Illustration of方向からの視点に変換 the lateral view taken from the unified direction. (a) shows object tracking in the world coordinate with its corresponding images, where the red arrows show the moving direction of the objects. (b) shows the projection result from the direction of lateral view in Σo . The z coordinate of those points are normalized using the height of the object. t=2 t=3 Then, the ized by the maximum h their body pa at similar re object can b D. Local Fe Features f from the t 特徴抽出 Section III-C features to d zombie. 42 Feature ex (b) for each ca J. Wu, Y. Tamura, et al., Smartphone Zombie Detection from LiDAR Point Cloud for Mobile Robot Safety, IEEE Robotics and Automation Letters, 5, 2, 2256-2263, dimensions 2020. 12 Fig. 5. Illustration of the 2D histogram obtained by considering the partial

移動ロボットからの歩きスマホ検出 Spherical LiDAR 点群 歩行者検出 camera SLAM LiDAR トラッキング 特徴抽出 (a) (b) ion of the 2D histogram 分類 obtained by considering the partial smartphone zombies in heat map. (a) shows the lateral e red block shows the region of interest. (b) shows the heat istogram, where the brightness of the grid in the heat map he number of 検出結果 points distributed inside the grid, which are he total number of points belonging to the object. Pioneer 3-AT aforementioned features. In practice, the feature Fig. 6. Experiment setup. Left: for data collection. Right: outdoor d classification will beJ. Wu, executed simultaneously Y. Tamura, et al., Smartphone Zombie Detection from LiDAR Point Cloud for Mobile Robot Safety, IEEE Robotics and Automation Letters, 5, 2, 2256-2263, 2020. demonstration. 13

歩行者の注意と移動 歩きスマホに限らず、歩行者の注意は将来の移動に 影響を与えうる ロボット等が周辺他者の移動を予測するには、 その人の注意がどこに向いているのかを知る ことが重要 14

周辺他者の視覚的注意の推定 環境情報の取得 360°カメラを用いて、人物を含む ロボット周辺環境の画像を取得 顔検出 Multi-task Cascaded Convolutional Networks (MTCNN) によって、画像中 の人物の顔を正確かつ高速に検出 注意推定 周辺環境の顕著性を考慮した新たなモデル によって、他者の視覚的注意を推定 15

360°カメラ画像での他者の注意推定 16

注意推定結果を用いた歩行者移動予測 Monte Carlo Dropoutを用いた 複数仮説の出力 17

人の移動を支援するロボット技術 歩行者の移動予測 視覚障がい者の移動支援

背景 全世界で2億8500万人もの人が視覚障がいを抱えている 視覚障がいがQoLに与える影響 日常生活における自立性が低下 移動が困難 情報へのアクセスが困難 日常生活における困難 身の回りの世話、家事、社会的交流、買い物、… 19

視覚障がい者の買い物における困難 商品の位置を把握する 広い店舗の中で、所望の商品がどこにあるのかを把握 することが難しい 安全に目的地まで移動する 障害物や他者を回避しながら通路を安全に移動する ことが難しい 商品（の情報）を認識する 類似商品を見分けたり、価格表示や商品ラベルを 認識することが難しい 20

スーパー等での買い物における移動支援 安全性の担保 • 周辺環境認識・衝突回避機能が必要 ユーザへの適切なフィードバック • 周辺環境の直感的把握のためには、触覚/力覚が有効 • 詳細な説明には音声が有効 「自分が制御している感覚」の維持 • ユーザ自身の力で移動することが望ましい 買い物環境に適した支援システム • スーパーマーケットでの使用に違和感のないものが望ましい 21

ショッピングカート型パッシブロボット RGB-Dカメラ & IMU RGB-Dカメラ Controller スピーカー Speaker 左ブレーキ 右ブレーキ サーボブレーキ コントローラ バッテリー 22

ブレーキ制御 停止 左折 右折 両ブレーキを同時に作動 左ブレーキを作動 右ブレーキを作動 23

ブレーキトルク (Nm) マーカーに基づくナビゲーション ✓ <latexit sha1_base64="i88lUfDMtsFoMgl+H48iZ0wr3Ao=">AAACaXichVG7SgNBFD1Z3/GRqI1oE1wiVmEivrASbSx95QFJCLvraEY3u8vuJKDBH7CyE7VSEBE/w8YfsPATxDKCjYV3NwuiQb3DzJw5c8+dMzO6YwpPMvYcUTo6u7p7evui/QODQ7H48EjWs2uuwTOGbdpuXtc8bgqLZ6SQJs87Ltequslz+sGqv5+rc9cTtrUtDx1eqmp7ltgVhiaJyhZlhUutHFdZigWRaAfpEKgIY92O36KIHdgwUEMVHBYkYRMaPGoFpMHgEFdCgziXkAj2OY4RJW2NsjhlaMQe0LhHq0LIWrT2a3qB2qBTTOouKRNIsid2x5rskd2zF/bxa61GUMP3ckiz3tJypxw7Gdt6/1dVpVmi8qX607PELhYDr4K8OwHj38Jo6etHZ82tpc1kY4pds1fyf8We2QPdwKq/GTcbfPMSUfqA9M/nbgfZmVR6PjW3Masur4Rf0YsJTGKa3nsBy1jDOjJ07j5OcY6LyKsyrIwp461UJRJqRvEtFPUTrt2MLg==</latexit> ArUcoマーカー 12 左折 右折 8 4 0 -35 -30 -5 0 5 30 35 目標方向 θ (deg) 24

ショッピングカート型ロボットによる誘導 マーカー @東北大学工学部機械・知能系共同棟6F 25

26

まとめ 人の移動を支援するロボット技術 周辺他者の移動予測 視覚障がい者支援のためのショッピングカート型ロボット 明日も体験デモやってます。 https://tamlab.jp 27