触覚・近接覚センサ解説 V3
48.1K Views
April 16, 22
スライド概要
第１部 触覚センサの基礎
触覚センサの概要 人間の触覚，触覚センサ
特許出願動向からみる触覚センサ技術
触覚センサの構成
触圧覚センサの原理と例
すべり覚センサの原理と例
近接覚センサの原理と例
第２部 触覚センサの実例と展開
７．触覚センサの実例紹介
7.1 触覚センサの事例
7.2 すべり覚センサの事例
7.3 近接覚センサの事例
８．触覚センサの研究開発動向
8.1 新製法&新材料の利用
8.2 機械学習での利用
９. まとめ
これまでに主に，ロボティクス・メカトロニクス研究，特にロボットハンドと触覚センシングの研究を行ってきました。現在は、機械系の学部生向けのメカトロニクス講義資料、そしてロボティクス研究者向けの触覚技術のサーベイ資料の作成などをしております。最近自作センサの解説を動画で始めました。https://researchmap.jp/read0072509 電気通信大学 名誉教授
関連スライド
各ページのテキスト
2021.11.14 触覚・近接覚センサ解説 V3 “これからの触覚技術”補足説明資料” 以前のVer.に選択と追加・修正を加え，特に以下の項目を追記した ⚫ 特許出願動向からみる触覚センサ技術 ⚫ E- skin (Printed Electronics) ⚫ Soft robotics (3D Printing) 下 条 誠 電気通信大学名誉教授 https://researchmap.jp/read0072509/ The University of Electro-Communications Department of Mechanical Engineering and Intelligent System
内 第１部 触覚センサの基礎 1. 触覚センサの概要 人間の触覚，触覚センサ 2. 特許出願動向からみる触覚セン サ技術 3. 触覚センサの構成 4. 触圧覚センサの原理と例 5. すべり覚センサの原理と例 6. 近接覚センサの原理と例 2 容 第２部 触覚センサの実例と展開 ７．触覚センサの実例紹介 7.1 触覚センサの事例 7.2 すべり覚センサの事例 7.3 近接覚センサの事例 ８．触覚センサの研究開発動向 8.1 新製法&新材料の利用 8.2 機械学習での利用 ９. まとめ
コメント ⚫ 例示センサの出典論文は各スライドに示しました ⚫ ビデオ(主にyoutube)がある場合はURLを示しました 紹介例は，ロボットに実装・実験されているものとしています。 しかし，E-Skinなど新しい分野の触覚センサでは，この原則を 外しました。 補足説明の場合，このアイコンを表示してます。 下条研究室で開発したセンサ例の場合このアイコンを表示してます。 本説明での紹介例は，これまで開発された多数の触覚センサの一部です。 重要な開発例，および利用例が抜け落ちているかと思います。 その点は著者のサーベーイ不足，知識不足であります。 3
第１部 触覚センサの基礎 4
第一部 触覚センサの基礎 1. 触覚センサの概要 2. 特許出願動向からみる触覚センサ技術 3. 触覚センサの構成 4. 触圧覚センサの原理と開発例 5. すべり覚センサの原理と開発例 6. 近接覚センサの原理と開発例 5
１．触覚センサの概要 ⚫ 触覚の生理学 ⚫ 触覚の特徴とは ⚫ 触覚センサに求められる特性 ⚫ 最近開発が進んでいる新たな研究分野 6
7 五感の中の触覚 器官 集 中 型 分 散 型 通信量 視覚：眼 107 bit/s 聴覚：耳 105 bit/s 嗅覚：鼻 103 bit/s 味覚：舌 103 bit/s 触覚：皮膚 106 bit/s 注 大脳での触感覚領域の広さ ［Penfield et al., 1950］ 成人では1.6〜1.8㎡の面積と，３〜５Kgの重量を有する 最大の器官である 注：山田雅弘，"各感覚における神経情報処理の共通点・相違点"．電総研調査報告，No.215, 18,1986
8 皮膚構造と機械受容器 順応時間 深さ ：浅い→I SA: slow adaptation unit ：深い→II FA: fast adaptation unit 皮膚受容器は，配置の“深さ” と，“順応” 時間のタイプから， 4種類に分けられる。 メルケル細胞 (SAI) 皮丘 皮溝 汗腺 表皮 表皮 隆起 Mr Mk 真皮 乳頭 真皮 皮下 組織 マイスナー小体(FAI) R ルフィニ終末 Pc パチニ小体 (FAII) (SAII)
9 順応性と受容野 FA-I SA-I FA-II SA-II 刺 激 順 応 性 感 度 （ し き い 値 ） 神経パルス 応答 (μm) 75 600 50 400 25 200 0 0 2 4 0 6 (mm) 0 50 1000 0 0 2 4 6 0 2 4 6 8 0 2 4 受 容 野 1mm 領域明確 1mm 領域不明確 Roland S.Johansson, Åke B.Vallbo,Tactile sensory coding in the glabrous skin of the human hand,Trends in Neurosciences,Volume 6, 1983, Pages 27-32 6 8
10 機械受容器の周波数特性 メルケル細胞 振動刺激振幅（dB ：1.0μm基準） マイスナー小体(FAI) NP-III ( FA-I ) 45 ルフィニ終末 (SAII) パチニ小体 (FAII) NP-II ( SA-II ) NP-I ( SA-I ) 30 (SAI) 強度検出 15 注釈 速度検出 ：浅い→I 0 P ( FA-II ) ：深い→II -15 加速度検出 30 0 1 10 100 振動刺激周波数（ Hz ：対数軸） SA: slow adaptation unit 遅い順応 1000 FA: fast adaptation unit 早い順応 S. J. Bolanowski, Jr. , G. A. Gescheider , R. T. Verrillo , C. M. Checkosky, Four channels mediate the mechanical aspects of touch,J. of the Acoustical Society of America 84,5, November 1988
なぜ触覚か？ 11 １．商品の差別化・高級化を図る 視覚，聴覚 と比較して 利用がまだ 未開拓 ２．より自然なインターフェース ➢ 視覚･聴覚･触覚の融合(multimodal) ・見て，聞いて，触れる ３．皮膚機能の実現 ➢ 人工の手の実現 • ➢ 巧みな動作（機能を向上させる触覚） 生体センシング • バイオメディカル，ウェアラブルデバイス
12 触覚の特徴は何か 1/3 １．確定感覚：接触による確認 ➢ 視覚で推定 ➢ 触覚で確認 視覚は撮像系により非接触で対象の存在を推定する感覚なのに対して， 触覚は接触により対象を確認する感覚である。 ⚫ 大局情報 ⚫ 局所情報 ⚫ 推定 (Expect) ⚫ 確定 (Confirm) ⚫ 隠蔽・死角 ⚫ 接触まで未検出
13 触覚の特徴は何か 2/3 ２．接触感覚：力・硬さ・熱，接続関係などの検出 ➢ 見えないものを知覚する ⚫ 押す（力） ✓ 柔らかさ ✓ 表面あらさ ⚫ 触る，なでる ✓ 熱伝達率 S.J. Lederman, R.L. Klatzky: Haptic perception: A tutorial,Attention, Perception, & Psychophysics, 71(7), pp.1439-1459,2009. ✓ 固定されている or 分離可能？ ✓ 可動範囲・方向 ✓ ガタつきの有無 ⚫ 能動的動作 意図的動作 分離可能？ 動作方向は？ 触ることで 判別可能
14 触覚の特徴は何か 3/3 ３．原始感覚：心への伝達 ➢ 情動への関与 コミュニケーション手段として重要な役割を担っている。 触覚の特性 識別感覚 制御 原始感覚 心
器用な作業のための触覚 器用な動作，様々な作業を行うための触覚 人間の優れた点 ”脳”と”手” ⚫ 認識・創造する脳 →人工知能 ⚫ 実体化する手 →人工の手 機能を向上させる触覚 15
16 触覚センサの標準デバイスは？ 触覚は，視覚，聴覚に対して開発が遅れている 入力の標準デバイス 視覚センサ：ビデオカメラ 聴覚センサ：マイクロホン 触覚センサ：？？？ ？
触覚は，視覚，聴覚と比較して開発が遅れている 17 触覚センサの研究は、視覚、 聴覚と比べて遅れている。これは視覚、 聴覚センサが検出器 レベルを過ぎ，情報処理／応用レベルが主なのに比べ、まだ触覚センサは検出方式レベルの 研究が多く、応用への取り組みが発展途上の感覚である。 視覚を基準とした場合の各感覚の進展度合いイメージ 生理学的知見 センシング （入力） 五感情報通信技術に関する調査研究会報告書, http://www.soumu.go.jp/main_sosiki/joho_tsusin/policyreports/chousa/gokan_index.html 1) 再生・表現 （出力）
触覚センサの種類 18 ◼ 触圧覚センサ： ✓ 接触センサ：物体との接触をON/OFF情報として検出する ✓ 圧覚センサ：接触力を連続量として検出する ◼ すべり覚センサ： ✓ センサと物体との相対的なすべり変位，速度を検出する ◼ 近接覚センサ： ✓ センサの近傍にある物体の有無，位置，距離などを検出する ◼ 温熱覚センサ，硬さ覚センサなど： ✓ 触覚は視覚と補完的な役割があり，視覚では見えない力のほか，温 熱覚，硬さなどを計測する
触覚センサに求められる特性 ◆ 薄く柔らかい ✓ 物理・化学的耐久性 ◆ 伸縮性 ✓ 関節部覆える ◆ 広い曲面を覆える ◆ 多種類のセンサ(multimodality) ✓ 触圧，振動，伸展，温冷， 痛覚 ◆ そのほか ✓ 情報処理（局所的） ✓ データ転送（高速通信） ✓ 省配線（←重要） ロボットが組立作業などで用いる触覚機能は， ここに記した機能すべては必要なく，目的に 応じて機能設計を行うべきと考える。 19
触覚センサに求められる特性 人間の皮膚のように薄く柔らかく多種類のセンサを実現 項 目 機 能 多数の検出素子 要 求 事 項 ・柔軟／薄型の確保，広い面積／曲面への配置 ・高密度への対応，高速動作、配線処理の問題 分布量検出 多種類の検出素子 ・接触，振動，すべり，温度などの検出 ・力ベクトル，モーメントベクトルの検出 素材特性 柔らかい ・皮膚のように薄く柔軟で伸び縮み可能 薄い ・伸び，縮み，擦り，打撃などに対する物理的耐久性 伸縮性 ・水，油，薬品などに対する化学的耐久性 広い曲面を覆える ・関節部など伸び縮みする曲面の被覆 局所情報処理 ・高速サンプリング動作 情報処理 ・触覚の局所的情報は局所的に処理する。 データ伝送 ・高速通信，省配線，耐ノイズ，耐久性 20
触覚センサは，何が難しいのか ◼接触型である ⚫ 伸び，縮み，擦り，打撃などに対する物理的耐久性 ⚫ 水，油などの化学的汚染に対する化学的耐久性 ⚫ キチンと接触させるのが難しい（接触状態によって変わる検出量） ◼分布型である ⚫ 柔軟性があり，薄く，広い自由曲面を覆えることが必要 ⚫ 多数分布する検出素子への配線が必要 ◼マルチモダリティである ⚫ 力／トルク，滑り，振動，熱効果，接触面積，伸縮など多感覚の検出が必要 ◼能動型である ⚫ 触覚は手・指でなぞる等の何らかの意図に基づいた探索的動作が必要な 感覚である． ⚫ アクティブタッチに関わる機構＆検出アルゴリズムが必要 21
22 最近の傾向 最近開発が進んでいる新たな研究分野 分野 Wearable sensor, e-skin Soft robotics 技術 Printed Electronics 3D Printing
新たな研究開発分野 Wearable sensor, e-skin 柔軟で伸縮自在な素材で構成する E-skin Hua, Q.,et.al. ,Skin-inspired highly stretchable and conformable matrix networks for multifunctional sensing. Nat. Commun. 2018, 9, 244 Soft robotics 軟質素材で構成するソフトロボットに 対応したセンサーが必要となっている Jin, T.; et al. Triboelectric nanogenerator sensors for soft robotics aiming at digital twin applications. Nat. Commun. 2020, 11, 5381. 23
E-skin (Printed Electronics) 柔軟で伸縮自在な素材で構成するE-skin は、人間の体性感覚システムを模倣する ために開発されており、ロボット工学、 義肢装具、ヘルスモニタリングや， ヒューマン・インターフェースなどへの 応用が注目されている。柔らかく伸縮自 在にすることで、より快適な装着感が得 られるとともに、接触面積が増えること で検出信号の忠実度が大幅に向上する。 https://www.youtube.com/watch?v=XDyZTbjkjNE https://www.youtube.com/watch?v=cc4IWtaOx_s 24
Soft robotics (3D Printing) 25 No-Audio ソフトロボティクスでは，シリコーンゴム などの柔軟な素材を用いて，生物と似たよ うな器用な動作を実現するロボットを目標 としている。しかし、非線形変形が大きく、 関節のない構造のため、従来のポテンショ メータやエンコーダなどのセンサーでは対 応できず、ソフトロボットに対応したセン サーが必要となっている。 https://www.youtube.com/watch?v=RUfuhW0cnRU https://www.youtube.com/watch?v=p1qyg4TbDgQ&t=22s
2．特許出願動向からみる触覚センサ技術 特許動向のデータは，以下の特許庁による調査結果資料を基にしています • 特許出願技術動向調査 • 令和2年度：触覚センシング • 出願動向調査のお問い合わせ先 特許庁総務部企画調査課 知財動向班 TEL:03-3581-1101(ex.2155) email:[email protected] https://www.jpo.go.jp/resources/report/gidou-houkoku/tokkyo/index.html https://www.jpo.go.jp/resources/report/gidou-houkoku/tokkyo/document/index/2020_02.pdf 26
特許出願動向（出願人国籍・地域別） 合計件数 出願人国籍·地域別ファミリー件数 優先権主張2000-2018年 ①米国籍（26.8％）、②日本国籍（20.1％）、 ③中国籍（17.6％）、④韓国籍（14.8％）、 ⑤欧州国籍（14.0％） 合計 14,145件 ファミリー件数推移：日本国籍・欧州国籍の出 願は、2000 年以降微増の傾向を示している。 一方、中国籍の出願は、2013 年以降急増して いる。また、米国籍の出願は2011 年から2013 年にかけて増加したものの2013 年以降横ばい 27
パテントファミリーとは 特許権は通常、各国毎に独立した権利が付与されます。つまり、日本で特 許を取得した発明が、米国やその他の国で保護されることはありません。米 国や、その他の国でも発明を保護したい場合は、別途それぞれの国へ特許 出願を行い特許権を取得する必要があります。 そのため、多くの企業は、同じ発明を複数の国へ特許出願し権利化を行い ます。それらの、特許出願のまとまりを「パテントファミリー(特許ファミリ)や ◯◯国対応特許出願」とよびます。正確には一の特許出願に対して優先権 を主張して各国(自国も含む)へ特許出願した「特許出願のまとまり」をパテン トファミリーとよびます。 複数国にまたがり生産、販売予定の製品を開発するにあたり特許侵害の おそれのある特許が見つかった場合、その特許のパテントファミリーを調査 することにより、同一発明・同一観点についての特許侵害調査を広い地域を 対象として効率的に行うことができます。 https://patent-i.com/ja/wiki/patentfamily/ 28
応用産業に関する特許出願動向マップ 2000-2018年のファミリー件数の合計（件） （千件） (出願先:日米欧中韓台印ASEAN、センシング技術、優先権主張2000-2018 年) 3.5 3 赤線枠は、各国籍・地域でのトップの 項目、青線枠は２番目の項目を示す 2.5 2 1.5 1 0.5 0 0 2.0 4.0 6.0 8.0 10.0 前期（2000-2008年）から後期（2009-2018年）への増加率 12.0 29
図6-2- 17 用途に関する特許出願動向マップ 2000-2018年のファミリー件数の合計（件） （千件） (出願先:日米欧中韓台印ASEAN、センシング技術、優先権主張2000-2018 年) 6 赤線枠は、各国籍・地域でのトップの 項目、青線枠は２番目の項目を示す 5 4 3 2 1 触覚 0 0 1.0 2.0 3.0 4.0 5.0 6.0 7.0 前期（2000-2008年）から後期（2009-2018年）への増加率 8.0 30
技術区分別-出願人国籍·地域別ファミリー件数 優先権主張2000-2018年 医療・福祉 アミューズメント スポーツ 交通 工場 物流 建設 農業 赤線枠は、各国籍・地 域でのトップの項目、 青線枠は２番目の項目 を示す 商業 衣料・アパレル 家庭 情報・通信 その他の産業分野 31
技術区分別-出願人国籍·地域別ファミリー件数 用途(ロボティクス) 優先権主張2000-2018年 人工皮膚 義肢 特定用途ロボット 汎用ロボット アクチュエータ制御 触感·質感センサ その他の ロボティクス 日本国籍 米国籍 欧州国籍 特定用途ロボット： 汎用ロボット： 中国籍 韓国籍 台湾籍 インド国籍 ASEAN 国籍 その他 産業分野と組み合わせて用途を特定したロボット(ex:建機) 特定の用途に特化していないロボット 32
ファミリー件数 出願人国籍·地域別ファミリー件数推移 33
センシング技術に関する特許出願動向マップ 2000-2018年のファミリー件数の合計（件） （千件） 12 (出願先:日米欧中韓台印ASEAN、センシング技術、優先権主張2000-2018 年) 10 8 6 4 2 0 0.0 1.0 2.0 3.0 4.0 5.0 前期（2000-2008年）から後期（2009-2018年）への増加率 34
日本の用途技術力マップ 拡大係数（注力度）→高 10.0 1.0 0.1 0.1 1.0 10.0 特化係数（競争力）→高 拡大係数：技術区分の増加指標を示す。（2005-2011） と（2012-2018 ）の比。平均値で正規化している 特化係数：特定の技術区分における各国の シェアを示す。平均値で正規化している 35
米国の用途技術力マップ 拡大係数（注力度）→高 10.0 1.0 0.1 0.1 1.0 10.0 特化係数（競争力）→高 拡大係数：技術区分の増加指標を示す。（2005-2011） と（2012-2018 ）の比。平均値で正規化している 特化係数：特定の技術区分における各国の シェアを示す。平均値で正規化している 36
中国の用途技術力マップ 拡大係数（注力度）→高 10.0 1.0 0.1 0.1 1.0 10.0 特化係数（競争力）→高 拡大係数：技術区分の増加指標を示す。（2005-2011） と（2012-2018 ）の比。平均値で正規化している 特化係数：特定の技術区分における各国の シェアを示す。平均値で正規化している 37
日本国籍の出願人属性別ファミリー件数推移，比率、及び共同出願内訳 38
3．触覚センサの構成 3.1 触覚センサの分類 ① 触圧覚センサ ② すべり覚センサ ③ 近接覚センサ ④ 温熱覚センサ他 3.2 触覚センサ基本構成 ① 変換器，検出器，信号処理伝送 ② 変換方式（接触物理量→電気量）の種類 ③ 配線方式と伝送方式の種類 39
3.1 触覚センサの分類 40 ① 触圧覚センサ： a. 接触センサ：物体との接触をON/OFF情報として検出する b. 圧覚センサ：接触力を連続量として検出する ② すべり覚センサ： ⚫ センサと物体との相対的なすべり変位，速度を検出する ③ 近接覚センサ： ⚫ センサの近傍にある物体の有無，もしくは位置，距離などを検出する ④ 温熱覚センサ，硬さ覚センサなど： ⚫ 触覚は視覚と補完的な役割があり，視覚では見えない力のほか，温熱 覚，硬さなどを計測する
41 触覚に求められる検出機能 近接覚センサ 距離/方向 触覚センサ 物体面までの ⚫ 距離/方向 ⚫ 接触位置 ⚫ 力/トルク 力/トルク ⚫ 適切な物体操作 ⚫ 安全性の向上 ⚫ すべり ⚫ 初期すべり 振 動 ⚫ 衝突回避 ⚫ 柔らかな接触 ⚫ 倣い，追尾 ⚫ すべり方向 ⚫ 把持力制御 ⚫ 柔らかさ識別 ⚫ 静摩擦/動摩擦 ⚫ 力/トルク分布 接触パターン ⚫ 接触面３D変形 ⚫ 接触状態 ⚫ テクスチャー ⚫ 材質判別 情報処理
触・近接覚からの検出情報と操作への利用 触・近接覚センサからの検出情報の種類および操作への応用，並びに新技術・新材料 などの最近のトピクッスを表す。センサ情報とセンサを実装したロボットの運動情報とを 統合処理することで，各種情報の検出と操作を行えることを示している。 42
触覚センサに求められる検出機能 さまざまな接触に関係する物理量の計測 機能（タスク） 検 出 量 接触位置 点接触位置 接触強度 法線方向力 力強度／方向 接触位置，および力ベクトル・モーメント（法線／接線方向力など） 力の分布 法線方向力分布，力ベクトル・モーメント分布 摩擦係数 静摩擦／動摩擦係数の推定 すべり 初期滑り，すべり，すべり方向 変形・変位 柔らかさ，硬さ計測 温度 温度分布，熱伝達率 表面粗さ 触運動によるテクスチャー計測 触覚イメージ 接触画像，接触面変形3D画像 43
触覚と力覚センサの用語の違い ✓ 一般に触覚センサとは，物体とセンサ間の力学的関係を 検出するセンサで，分布圧，力とモーメント，すべり等 を検出する。 ✓ その中の，“力とモーメント”の大きさと方向を計測す るセンサを力覚センサと呼ぶ。力覚センサは指の関節や 手首に取付けられることが多い。 44
3.2 触覚センサの構成 電気量 物 理 量 - 45 電気量 + 変換器 物理 量 電気 量 検出回路 狭義の センサ 信号処理・伝送 広義の センサ
力を電気量に変える変換器 変換器： 力 変位 電気量 例） 弾性体 𝐴 𝐶=𝜖 𝑑 𝜖: 誘電率 ΔＣ： 静電容量変化 46
力を電気量に変える変換器 力を電気量に変える変換器は多くの種類がある ◆ 電気抵抗 ✓ 抵抗体の伸縮などによる抵抗値変化 ◆ 静電容量 ✓ 誘電体の圧縮による静電容量変化 ◆ 光利用 ✓ ✓ 光路長変化による光量変化 柔軟体変形の３Ｄ計測 ◆ 電荷 ✓ 圧電効果（ピエゾ効果） ◆ 磁気 ✓ 柔軟体変形による磁場変化 ◆ 超音波 ✓ ✓ 経路長変化による強度位相変化 共鳴 詳細は， 触覚センサの動作原理 と開発例で説明 47
48 力から電気量への変換方式 方 式 原 理 触覚センサ/材料 備 考 ひずみ抵抗変化 ひずみゲージ，導体型圧力センサ（ピエゾ抵 材料の伸縮による断面積，長さ変化などによ 抗効果） る抵抗値変化 パーコレション原理 感圧導電ゴム，感圧エラストマー 接触抵抗変化 感圧インク，感圧繊維 導電体（粒体，フィーラー）の体積比率の増減 に伴う抵抗値変化 接触面積の増減に伴う抵抗値変化 電極間容量変化 弾性体，誘電体 電極間の距離変化に伴う静電容量変化 光量変化 光路変化による光量変化，光拡散，発光受光 発光/受光素子間の距離・姿勢などの相対変 化（経路長，相対位置/姿勢）散乱光変化 素子，光ファイバー 屈折率変化（全反射） 光導波型，ガラス，ポリマー 変形/変位の画像計測 ゲルフォース，ゲルサイト，光透過性弾性体 電荷 光経路遮断 圧電効果（ピエゾ電気） フォトインタラプタ 圧電ポリマー，PVDF，PZT，水晶 磁気 磁気変化 ホール素子，磁気抵抗素子，磁性体 微小磁石／磁性粒子+ホール素子/磁気抵抗 素子などの組合わせでの変位計測 強度/位相変化 弾性体，圧電体(送受信) 発振/受信素子間の距離・姿勢などの相対変 化（経路長，相対位置/姿勢） 共鳴（共振） 音響共鳴型，弾性体 空洞形状変化による共鳴周波数変化 電気抵抗 静電容量 光 超音波 光導波路の変形による光漏れ（全反射条件 の破れ） ゲル内標的の３D変形，ゲル表面変形などの 撮像系による変位計測 発光/受光素子間の光路を塞ぐ 圧力による分極に伴う表面電荷変化 E-skin 有機トランジスタ/OFETを用いたアクティブマトリックス方式を用いた触覚センサ．印刷技術による作成．伸縮可能で薄型な触覚を 実現．力を電気量に変換する原理は同じ． E-textile 導電性高分子繊維，炭素，金属等で表面修飾した繊維を用いて，編み込み，織り上げ技術を用いた布状の触覚センサ．力を電気 量変換は，繊維間の接触抵抗，静電容量などを用いる． その他 機械的方式：バネなどの機械的構造の変位，変形から接触力を検出する 触角（whisker），微小クラック（光漏れ，抵抗値）
配線方式と伝送方式（配線処理問題） 49 触覚センサでは 1. 広い面積に多数の検出素子が分布することがある 2. このとき，配線が測定の妨げにならぬよう，多数の検出素子を繋げる配線 方式が必要となる 3. そして，測定された多数のデータをセンサから情報処理部にどのように伝 送するか，その方式も重要である 4. これらは，配線処理（コード）問題と言われ難しい課題である
配線方式と伝送方式 (a)一対一,(b)マトリクス 50 介護ロボット RI-MAN (a) 一対一配線方式 8ｘ8に半導体圧力センサを配置 http://rtc.nagoya.riken.jp/RI-MAN/index_jp.html (b) マトリクス状 64ｘ64マトリクス電極 http://www.rm.mce.uec.ac.jp/sjE/index.php?Tactile%20sensor
配線方式と伝送方式(c)階層的シリアルバス方式 51 (c)階層的シリアルバス方式 12 tactile sensor ATtiny40(8-bit ) A highly sensitive 3D-shaped tactile sensor ,Ritter, 2013 IEEE/ASME Int. Conf. Advanced Intelligent Mechatronics (AIM ) Event-based signaling for large-scale artificial robotic skin - Realization and performance evaluation,cheng,IROS2016 A real-time data acquisition and processing framework for large-scale robot skin, S. Youssefi et al. / Robotics and Autonomous Systems 68 (2015)
配線方式と伝送方式(d)ワイアレス方式 52 Tactile chip Antenna/ coil Wireless Tactile Sensing Element Using Stress-Sensitive Resonator, Shinoda, IEEE/ASME TRANS. ON MECHATRONICS, 5, 3, 2000 A Sensitive Skin Using Wireless Tactile Sensing Elements,shinoda, TECHNICAL DIGEST OF THE 18TH SENSOR SYMPOSIUM, 2001 A Capacitive Touch Interface for Passive RFID Tags,J.R. Smith,2009 IEEE International Conference on RFI
配線方式と伝送方式 (e)境界接続方式 53 (e)境界接続方式 石川正俊, 下条誠: 感圧導電性 ゴムを用いた2次元分布荷重の中 心位置の測定方法,SICE, 18, 7, 1982 A Tactile Distribution Sensor Which Enables Stable Measurement Under High and Dynamic Stretch, Nagakubo, IEEE Symp. on 3D User Interfaces 2009
4．触圧覚センサの原理と開発例 4.1 電気抵抗方式 4.2 静電容量方式 4.3 光方式 4.4 電荷方式 4.5 磁気方式 4.6 超音波方式 54
４． 触圧覚センサ ◆ 触圧覚センサ ① 接触センサ：物体との接触をON/OFF情報として 検出する ② 圧覚センサ：接触力を連続量として検出する ◆ すべり覚 ◆ 近接覚 55
触覚センサの動作原理 （１）力により変形する機械的構造体 力→変形量ε →電気量 （２）変形量を計測する方式 ① 電気抵抗方式， ② 静電容量方式， ③ 光方式， ④ 電荷方式， ⑤ 磁気方式， ⑥ 超音波方式 弾性体 例） 56
4.1 触覚センサ（電気抵抗型） ① ② ③ ④ 電気抵抗方式（ひずみゲージ） 電気抵抗方式（感圧導電ゴム） 電気抵抗方式（接触抵抗値変化） 電気抵抗方式（圧抵抗効果方式） 57
①電気抵抗方式（ひずみゲージ） 58 荷重による抵抗線の歪みによる抵抗値変化から検出する方式 共和電業社製歪ゲージ R l K = K R l K：ゲージ率 ひずみアンプ ブリッジ回路 抵抗体の種類により， ✓ 箔ひずみゲージ， ✓ 線ひずみゲージ， ✓ 半導体ひずみゲージなど
59 ①力覚センサへの利用（ひずみゲージ） 例） ATI 指先 （BL AUTOTEC LTD.) 手首 （PR2）
①力覚センサ ちなみに，力覚センサはひずみゲージ方式だけではない 水晶圧電方式 エプソンS250シリーズ 静電容量式 ワコーテック Dynpick 60
②電気抵抗方式（感圧導電ゴム） 多孔質シリコンゴム中に炭素 粒子等の導電粒子を均一に拡 散させたものである 荷重 抵抗値 利点： ➢ 薄く柔軟で加工が容易 ➢ 大面積化が容易 ➢ 衝撃などによっても破損しない ➢ 検出回路は簡単 ➢ 安価 欠点： ➢ ヒステリシス特性があり， ➢ 定量的な計測に不向き 61
②電気抵抗方式（感圧導電ゴム） 原理 パーコレション：感圧導電ゴムの導電機構を説明する一つの理論 導体密度 低い 導体密度 高い 導電路 導体密度上昇→相互接触増加→導電性発現 （力→導電体を含む柔軟物の圧縮→導体密度上昇→電気抵抗値減少） 導体：カーボン粒子，導体糸，カーボンナノチューブ（CNT)，グラフェン (graphene)等 62
63 ②電気抵抗方式（感圧導電ゴム） 縦方向に電流が流れる ©shimojo （１）縦方向電流パス方式 横方向に電流が流れる ©shimojo （２）横方向電流パス方式
64 ②感圧導電ゴムの特性例 荷重 VS 周波数 VS 抵抗値 エネルギ散逸 ひずみ VS ひずみ VS 応力 エネルギ散逸 M. Shimojo, A. Namiki, M. Ishikawa, R. Makino and K. Mabuchi: A tactile sensor sheet using pressure conductive rubber with electrical-wires stitched method, IEEE Trans. Sensors, Vol.4, No.5, pp.589-596, 2004
②感圧導電ゴムの特性例 抵抗値時間緩和特性 抵抗値応答特性 M. Shimojo, A. Namiki, M. Ishikawa, R. Makino and K. Mabuchi: A tactile sensor sheet using pressure conductive rubber with electrical-wires stitched method, IEEE Trans. Sensors, Vol.4, No.5, pp.589-596, 2004 65
③電気抵抗方式（接触抵抗値変化） 66 感圧インク表面の微小な凹凸部分の接触面積 が圧力により変化し，電極間相互の接触抵抗 が変化することから圧力を計測 利点： ➢ 薄いフィルム状（0.1mm） ➢ 印刷による形成ため自由な形状と空間分解 能が可能 欠点： ➢ 剪断力に弱い ➢ 変形するとフィルムに皺発生し，故障 ➢ ヒステリシス特性 https://www.nitta.co.jp/product/sensor/flexiforce/A201/
③電気抵抗方式（接触抵抗値変化） 感圧原理 接触面積の増減による接触抵抗値の変化 荷重負荷 弾性のある 導体変形 接触面積の 増加 抵抗値の減少 https://www.nitta.co.jp/product/sensor/ 67
③ Tekscan （例） 68 2枚のフィルム（PET）に、縦横方向の銀電極を配線し， 感圧導電性インクで被覆，電極の交点が検出点，圧力が かかると電気抵抗値が変化 ✓ 薄さ：0.1mm ✓ 感度：50kPa～20MPa ✓ サンプリング：100Hz程度 https://www.nitta.co.jp/product/sensor/ https://www.youtube.com/watch?v=rzHiGQh2FNo
69 ③ Tekscan （例） FlexiForce™ Standard Model A201 Thickness ：0.203 mm Sensing Area: 9.53 mm diameter CoV; Components of Variance https://www.tekscan.com/products-solutions/force-sensors/a201
④電気抵抗方式（圧抵抗効果方式） 70 圧抵抗効果： ✓ 半導体結晶に圧力を加えるとその電気抵抗が変化する。ピエゾ抵抗 効果(piezoresistive effect)ともいう 気圧センサ（ｂａｒｏｍｅｔｅｒ)への利用例 気圧センサ(barometer)ICはこのピエゾ抵抗式受圧素子（ダイヤフラム構造とピエゾ 抵抗を集積化したMEMS）と温度補正処理、制御回路等を含めた集積回路パケージ化
④マイクロカンチレバーを用いた触覚センサ （例） 71 ピエゾ抵抗層を備えたSiマイクロ カンチレバーを用いた触覚センサ ⚫ 法線およびせん断応力を検出する ⚫ カンチレバーをPDMSエラストマー に埋め込んで柔らかな表面とする ⚫ エラストマーの表面に応力を加える と、エラストマーとともにカンチレ バーが変形し、ピエゾ抵抗層の抵抗 値変化として検出される deflection control layer Piezoresistors layer A cross-sectional view of the cantilever (a) fabricated cantilever without elastomer, (b) tactile sensor chip M. Sohgawa, Y.-M. Huang, M. Noda, T. Kanashima, K. Yamashita, M. Okuyama, M. Ikeda, H. Noma, Fabrication and characterization of normal and shear stresses sensitive tactile sensors by using inclined micro-cantilevers covered with elastomer, Mater. Res. Soc. Symp. Proc. 1052 (2008) 151–156.
72 ④Takktile （例） MEMS気圧センサICを分布させて触覚センサを構築 I2C接続 MEMS barometric sensor (MPL115A2, Freescale Semiconductor) Load is applied through a spherical tip with diameter of 6 mm https://softroboticstoolkit.com/book/takktile-sensors
④Takktile （例） ビデオ 73 無音声 https://www.youtube.com/watch?v=TqMtOmw9C7Y
④ ReFlex Robotic Grippers 74 Takktileを触覚として利用するハンド https://www.youtube.com/watch?v=4Ku7Q3vEkRw
4.2 触覚センサ（静電容量方式） 75
4.2 静電容量方式 誘電体変形による静電容量変化から力を計測 利点： ➢ 薄型で構造がシンプル ➢ 誘電体により検出感度などの特 性を変更可能 ➢ 静電容量変化検出用IC市販 https://pressureprofile.com/ 欠点： ➢ 空間分解能を上げると容量が 小さくなりS/N比が低下 ➢ 電磁ノイズ，温度の影響を受 けやすい http://wiki.icub.org/wiki/Tactile_sensors_(aka_Skin) 76
77 4.2 静電容量方式 C = A d : 誘電率，A：面積，d：電極間距離 荷重負荷 弾性のある 誘電体変形 電極間距離 の減少 AD7147 A Tactile Sensor for the Fingertips of the Humanoid Robot iCub,A.Schmitz, IEEE/RSJ Int. Conf. Intell. Robots Syst., 2010 静電容量Cの 増加
4.2 静電容量方式（例） ✓ ✓ ✓ ✓ 78 最小感度：10Pascal(0.1gf/cm2)も可能としている 薄さ: 1mm linearity : 99.8% Sample rate: 7-10KHz/element https://pressureprofile.com/ CONFORMABLE TACTARRAY SENSOR (CTS) https://www.youtube.com/watch?v=lvVJ9vG6H_k
静電容量センシングと電界センシング 静電容量センシング（capacitive sensing）は、いくつかの文献では 電界センシング（electric field sensing）と呼ばれています。これら は同じ基本技術を指しています。 ⚫ 静電容量性近接センシングは，長い歴史があり様々な技術があります。ここで 述べた，誘電体を挟んだ電極間の変位により荷重を計測する方法，以外に様々 な技術・用途があります ⚫ 例えば、電極を用いて電界を発生させることができます。物体が電極に近づく とこの電界が干渉し、静電容量が変化します。これを利用して距離を推定する ととともに、物体の材質などの特性も推定されます これらについては，近接覚の 原理で説明いたします Tobias Grosse-Puppendahl,Christian Holz,Gabe, Raphael Wimmer, Oskar Bechtold, Steve Hodges, Matthew S Reynolds, Joshua R Smith,"Finding Common Ground: A Survey of Capacitive Sensing in Human-Computer Interaction,"Proceedings of the 2017 CHI Conference on Human Factors in Computing SystemsMay 2017 Pages 3293–3315 79
4.3 触覚センサ（光学方式） ① 光量変化 ⚫ 発光／受光素子などを対にして光量の 変化から荷重を検出する方法 ② 光遮断方式 ⚫ 発光／受光素子間の光路を遮断する光 量変化から荷重を検出する方法 ③ 光導波板方式 ⚫ 荷重による白色弾性体と光導波板の接 触面積の変化をカメラ等で計測し，荷 重を計測する方式 ④ 弾性体変形/変位の画像計測 ⚫ 光透過性弾性体中のマーカの荷重によ る位置変化をカメラ等で計測し，荷重 を計測する方式 80
①光学方式（光量変化） ⚫ 発光·受光素子などを対にして配置し,力による柔軟体の変形に よる受光量の変化から力を検出する ⚫ 弾性体は力の大きさ，方向，そして回転力によってさまざまに 変形する。この変形を計測することで力の成分を計測すること ができる 81
82 ①光学方式（光量変化）例 ⚫ センサ内部の光源から発した赤外光が，シリ コンゴムで作られた半球状外皮の内側反射層 に反射 ⚫ それを光検知素子で検出することで、外皮形 状の変化を検知 検知表面 反射層 半球状 外皮 検知素子 光源 OptoForce Ltd. 半球型フォースセンサ (3軸) 寸法：直径20mm 力：±20N 分解能：2mN 非直線性：2% ヒステリシス：2% 以下 ✓ サンプリング： 100Hz（標準） 1kHz(最大) ✓ ✓ ✓ ✓ ✓ http://nihonbinary.co.jp/Products/Robot/OptoForce.html
83 ①光学方式（光量変化）例 ⚫ 本体底部のLED光を本体上部のセンサが検知 ⚫ スポンジ表面の押し込み量(変位)を計測 ⚫ スポンジ表面の複数点を計測から、表面の傾き、 上下左右方向の「つまむ」動作等の検出が可能 ⚫ センササイズ、スポンジの形状などは変更可能 https://www.youtube.com/watch?v=b68S0d_qZpY （タッチエンス株式会社） https://www.youtube.com/watch?v=b68S0d_qZpY 無音声 http://www.touchence.jp/
①光学方式（光量変化）例 84 ⚫ 発光素子により発砲 材質内部に照射し， ⚫ 力の変形による発砲 材内の散乱光量変化 による光透過性の変 化を， ⚫ 受光側で計測するこ とで，力を計測する https://www.slideshare.net/Touchence/ss-52242522
②光学方式（光遮断方式） 85 荷重面に弾性パッドを配置 ⚫ 加圧力により変位 ⚫ 弾性ピッド下にある発光／受 光素子間の光路を遮断する ⚫ その光量変化から荷重を検出 する方法 LTS-210 tactile array sensor (Lord Corpration) ✓ ✓ ✓ ✓ Array size: 10x16, Pixel size:1.8mm x 1.8mm Force resolution:5g Bandwith: 10Hz An Overview of Tactile Sensing, R Agrawal, R Jain - 1986 - ntrs.nasa.gov
③光学方式（光導波板） ⚫ ガラス，有機ポリマー など光を通す光導波板 と白色弾性体を用い， ⚫ 荷重による白色弾性体 と光導波板の接触面積 の変化を ⚫ 撮像系（カメラ等）で 観測する方法 利点： 欠点： ➢ 空間解像度を高くできる ➢ カメラ等の撮像系のため薄型 が困難 ➢ 光源とカメラの配線のみでよい ➢ 曲面等の配置が困難 86
③光学方式（光導波板）例 87 ① ゴムカバーに覆われた光を 通すアクリル樹脂の端面か ら光を照射 ② 物体との接触でゴムカバー がアクリル樹脂接触，その 部分から光が散乱する ③ この光散乱位置を受光素子 (PSD) で検出することで 接触位置を計測する 無音声 前川，谷江，小森谷, 触覚フィードバックを用いた多指ハンドによる未 知形状物体の転がり接触を考慮した操り制御 ，計測自動制御学会論 文集, 第31巻9号, pp. 1462-1470, 1995
④光学方式（弾性体変形/変位の画像計測） 88 ⚫ 光透過性弾性体中に入れた赤, 青などのマーカの外力による位 置変化を ⚫ 撮像系（カメラなど）で計測し て外力を計測する方式 ⚫ 荷重方向・トルクにより弾性体 の変形が異なることから ⚫ 外力の方向成分，回転成分など が計測できる 利点： ➢ 外力の方向成分，回転成分が計 測できる ➢ 光源とカメラの配線のみでよい 欠点： ➢ 撮像系の薄型が困難 K.Kamiyama, K. Vlack,T. Mizota, H. Kajimoto, K. Kawakami,S. Tachi, S.:Vision-based sensor for real-time measuring of surface traction fields, IEEE Computer Graphics and Applications, 25, 1, 68-75, 2005
④光学方式（弾性体変形/変位の画像計測）例 89 https://www.youtube.com/watch?v=VWtUSoBqdVo Kazuto Kamiyama, Kevin Vlack, Terukazu Mizota,Hiroyuki Kajimoto, Naoki Kawakami, and Susumu Tachi,Vision-Based Sensor for Real-Time Measuring ofSurface Traction Fields,IEEE Computer Graphics and Applications ( Volume: 25, Issue: 1, Jan.-Feb. 2005 )
4.4 圧電効果(電荷)方式 90 ⚫ 圧電効果を利用して，荷重 を電荷変化から計測する． ⚫ 圧電効果（ピエゾ効果）： 特定方向に力を加えると応 力に比例した電気分極(表 面電荷)が発生する現象． 利点： ➢ 高速な応答 ➢ 検出感度高い ➢ 機械・電気的特性が良い 欠点： ➢ 静的な荷重は不得手 ➢ 温度変化有り（集電効果） https://www.tokin.com/product/piezodevice1/piezo_tech.html
圧電効果(電荷)方式 例 切削加工時の力測定(Kistler) 水晶圧電方式力覚センサ （セイコーエプソン） 91 圧電フィルム（ピエゾフィルム） (Measurement Specialties Inc.) 3軸加速度計 （PCB Piezotronics Inc.）
4.4 圧電効果(電荷)方式 例 Strain gage and PVDF 歪みゲージとPVDFを様々な 深さや方向に埋めた柔軟指 ✓ Hand: Robotiq AdaptiveGripper ✓ Sensor: 8 PVDF strips ✓ IC: AnalogDevices AD7608 ✓ Sampling: 3.125 kHz, with an antialias filter with a cutoff at 1.5 kHz. B Heyneman, MR Cutkosky, Slip classification for dynamic tactile array sensors, The International Journal of Robotics Research, March 16, 2015 多田泰徳,細田耕,浅田稔，内部に触覚受容器を持つ人間型柔軟 指，日本ロボット学会誌，23巻，4号, 2005 92
4.5 磁気変化方式 93 磁気双極子の空間的変位か ら外力を計測する。 ⚫ 磁気センサ素子と微小 磁石を混合した弾性体 を組合わせ， ⚫ 弾性体の変形による磁 場の変化を磁気センサ 素子で検出する方法 利点： ➢ 外力の方向成分，回 転成分が計測できる 欠点： ➢ 物体が磁性体の場合， 特性に影響与える http://techon.nikkeibp.co.jp/article/WORD/20080324/149333/?rt=nocnt
94 4.5 磁気変化方式 （例） fingertip model Hall-effect sensor characteristic curve. http://robonable.typepad.jp/news/2010/08/30bl-auto.html 中本裕之, 伍賀正典, 武縄悟, 貴田恭旭，磁気抵抗素子とインダクタを用いた 磁気式触覚センサ，日本機械学会論文集 C編 / 76 巻 (2010) 766 号 Lorenzo Jamone, Lorenzo Natale, Giorgio Metta, and Giulio Sandin,Highly Sensitive Soft Tactile Sensors for an Anthropomorphic Robotic Hand, IEEE SENSORS JOURNAL,15,8, 2015
4.5 磁気変化方式 （例） 95 The force applied is estimated detecting the position of the tip of the dome. Magnets is used to detect the position of the tip ⚫ 接触力により鉄粉を含むゴムの層が磁気 センサに近づく ⚫ 磁石が作る磁場が変化 ⚫ この磁気の変化を磁気センサで計測 ⚫ 接触力を推定 川節拓実, 堀井隆斗, 石原尚, 浅田稔,磁性・非磁性エラストマを積層した磁気式触覚 センサの基礎特性解析,日本AEM 学会誌 Vol. 24, No.3 (2016) Sensitive Robotics platforms. These robots are covered with the compliant tacitle sensors. Sina Youssefian, Nima Rahbar, and Eduardo Torres-Jara, Contact Behavior of Soft Spherical Tactile Sensors, IEEE SENSORS JOURNAL,14, 5, 2014
4.6 超音波方式 力による弾性体の変形を超音波により計測 する方式 ⚫ 配置した発振器と受信機の動作モードに工夫 を凝らすことで，力による弾性体の３D 変形を 超音波の強度/位相の変化から計測 ⚫ 弾性体に加わったx,y,z 軸方向力と，x,y,z 軸 周りのモーメント，計6 軸力を求める S. Ando, H. Shinoda, A. Yonenaga, and J. Terao, Ultrasonic Six-Axis Deformation Sensing, IEEE trans. on ultrasonics, ferroelectrics, and frequency control, 48, 4, 1031-1045, 2001 96
4.6 超音波方式 97 力による変形を音響共鳴現象により計測す る方式 ⚫ 弾性体内の空洞の共鳴周波数から計測 ⚫ 共鳴周波数の変化は共鳴空洞の形状に より，球ならば主応力の変化に対応し， 直方体ならば３辺の長さの各方向の伸 縮に対応している． ⚫ またすべり発生に伴う特有な変化を検 出することですべり検出を行なうこと も可能 空洞 滑り方向応力の変化による部分滑りの検出 吉海智晃, 但馬竜介, 加賀美聡, 篠田裕之, 稲葉雅幸, 井上博允, 音響共鳴 型テンソルセル触覚センサによる滑り予知と把持動作への応用, 日本ロボッ ト学会誌, 20, 8, 868-875, 2002
98 弾性体カバーの空間フィルタ特性 1/3 空間分解能とセンサカバーの関係 ⚫ 検出素子密度を高くしても，その空間分解能はセンサを保 護するカバーによって大きな影響を受ける 点荷重 P1 P2 g ( , ) 圧力分布 検出素子 圧力分布パターンが 分離 P1 弾性体 カバー センサ P2 f ( x, y ) g ( , ) filter g ( , ) s ( x, y ) 検出素子 圧力分布パターンが 重なり分解能低下 •M. Shimojo: Mechanical Filtering Effect of Elastic Cover for Tactile Sensor, IEEE Transactions on Robotics and Automation, Vol.13, No.1, pp.128-132, 1997.
弾性体カバーの空間フィルタ特性 2/3 f ( x, y ) 弾性体カバーは Low Passの空間周 波数フィルタである s ( x, y ) g ( , ) 点荷重によるPoint Spred Function s ( x, y ) = g ( , ) f ( x − , y − )dd カバーによる荷重 分布変化 Fourieｒ変換 S (u , v) = G (u , v) F (u , v) 空間周波数 G (u , v) 空間フィルタGain 99
100 弾性体カバーの空間フィルタ特性 3/3 カバー上 カバー下 カバーの薄さ M. Shimojo: Mechanical Filtering Effect of Elastic Cover for Tactile Sensor, IEEE Tran.on Robotics and Automation, Vol.13, No.1, pp.128-132 (1997)
５．すべり覚センサの原理と開発例 ５.1 変位検出方式 ５.2 振動検出方式 ５.3 接触画像検出方式（固着領域，部分すべり領域） ５.4 特異信号検出方式（高周波など） ５.5 接触パターン変化検出方式（法線/接線力，温度など） 101
5. すべり覚 （概論：すべりとは？） 法線力 接線力 参考：地震の発生 102 ① 物体と物体の接触は，表面に凹凸 があるため，分散した接触領域と なる．通常，この実際の接触領域 は，Fn が大きいほど増加する ② この接触領域は，固着領域と，固 着が剥がれた部分すべり領域から なる Wiki：定常すべり ③ またFt を増加させると，この部分 すべり領域が増大し，固着領域が 減少していく ④ そしてFt の増大による固着領域の 減少が限度を超えると Ftに抵抗で きず，すべりが発生する 4.安定すべり領域 5.固着域 6.遷移領域 http://www.arito.jp/LecEQ17.shtml ⑤ この部分すべり領域は拡大してい るが，まだ全体すべりが起きてい ない状態のことを初期すべりと呼 ぶことがある
5. すべり覚 （概論：計測方式） すべりを計測する方式として次のようなものがある。 ① すべり変位を計測する方式として，ローラ，ボールなどを物体に接触さ せ，物体が滑るときに生じる変位を検出する，または接触パターンもし くはその特徴量の変化からすべりを検出する方式がある ② 突起等を設け，物体が滑るときに発生する振動を加速度センサなどを用 いて検出する方式，または音響放射(AE)を利用する方式 ③ 固着領域，部分すべり領域などの発生変化に伴う領域の変化，微振動等 からすべりを検出する方式もある 初期すべりの検出では， ✓ 接触面の剥離に伴う内部応力の変化を歪みゲージにより検出する方法 ✓ 感圧ゴムでの特異な抵抗値変化を検出する方式 ✓ 接触面積の減少をカメラで観測する方式などがある 103
触覚情報処理 （すべり等） 触覚のデータ種類 情報処理方法 104 触覚データ の応用 力 振動 接触パ ターン ZhanatKappassov,Juan-Antonio Corrales,VéroniquePerdereau,Tactile sensing in dexterous robot hands — Review, Robotics and Autonomous Systems, Volume 74, Part A, December 2015, Pages 195-220，
5.1 すべり覚センサ（変位検出方式） 105 すべり検知として，物体とセンサ間の 滑りを検出する。 ⚫ すべり検知方式には，ローラ，ボールなど対象物に接触させ物 体が滑るときに生じるローラ等の回転で検出する方式 ⚫ 接触パターン，表面パターンの特徴量の変化からすべりを検出 例） 1） 触針検出型： ✓ 変位を触針の振動で検出 ✓ 無方向性 2） ローラ回転検出型： ✓ 変位をローラの回転で検出 ✓ 一方向性 3） ボール回転検出型： ✓ 変位を市松模様を付けたボールの 回転で検出 ✓ 2方向性 R Tomović, Z Stojiljkovic, Multifunctional terminal device with adaptive grasping force, Volume 11, Issue 6, November 1975, Pages 567-570.
5.1 すべり覚センサ（変位検出方式） 例 例） 106 表面パターンの特徴量変化から すべりを検出 ⚫ 光学マウスは，物体表面の微細パ タンの変化を検出することで移動 を検出する ⚫ 光学マウス用の光学系およびIC は性能，寸法など各種あり，市販 されている。 光学マウス用光学系とIC （avago:Optical mouse sensors) 光学系とICを取付けた指先 A. Maldonado, H. Alvarez, M. Beetz, Improving robot manipulation through fingertip perception, IEEE/RSJ Int. Conf.on Intelligent Robots and Systems, 29472954, 2012
5.1 すべり覚センサ（変位検出方式） 例 System components (left image, clockwise): Fingertip sensor, SPI controller, FLOSS-JTAG TUM-Rosie, mobile manipulation platform 107 Fingertip for the DLR/HIT Hand ADNS-9500(Avago Technologies) Three fingertip sensors installed in the DLR/HIT hand (thumb, index and ring fingers). Fig. shows the relationship between grasping force and detected slip during a grasping action. The slip is detected early and quickly enough to avoid any large movement of the object. Sampling：50Hz-200Hz A. Maldonado, H. Alvarez, M. Beetz, Improving robot manipulation through fingertip perception, IEEE/RSJ Int. Conf.on Intelligent Robots and Systems, 29472954, 2012
5.2 すべり覚センサ（振動検出方式） 108 突起等を設け，物体が滑るときに発生する振動を加速度センサなどを用い て検出する方式，または音響放射(AE)を利用する方式 例） ① 半円筒形内部を多孔質ゴムで満たし，突起のあ るゴム膜で覆い，その中に小型加速度計を入れ たもの（多孔質ゴムは機械系からの振動によるノイズを防ぐために用い ている） ② 接線方向力の増加により，接触面周辺の突起が 剥がれ，その時の突起の振動の検出から，すべ りを検出 ③ すべりによって発生する振動と，それ以外の振 動を，２つ加速度センサの振動の相違から検出 M. Tremblay and M. R. Cutkosky, “Estimating friction using incipient slip sensing during a manipulation task”, IEEE Int. Conf. on Robotics and Automation, 429–434, 1993
5.2 すべり覚センサ（振動検出方式） 109 ① シリコンゴムの表面に溝を作り，溝の中 の梁にPVDFフィルムを取付けた構造 ② 矢印方向に力が加わると接触部周辺部か ら梁と物体の接触が剝がれ，それが全体 に広がることですべりが発生するとした ③ このときの梁の振動をPVDF で検出する ことで，すべりを検出する 山由陽滋，森田裕之，梅谷陽二，ロボツトハンドのための指紋を 備えた高周波微振動検出式滑り覚センサ，計測自動制御学会論文 集,ol.36, No.6, 473/480 (2000)
5.3 すべり覚センサ（固着領域，部分すべり領域） Alice V. Maceo, Qualitative Assessment of Skin Deformation:A Pilot Study,Journal of Forensic Identification, 2009 固着領域，部分すべり領域など の発生変化に伴う領域の変化， 微振動等からすべりを検出 Y Kurita et.al.,A Novel Pointing Device Utilizing the Deformation of the Fingertip, IROS 2003 110
5.3 すべり覚センサ（固着・部分すべり領域画像判別） 111 ① 弾性体半球を物体に接触し，カメラ で接触状態を観測 ② 接線方向力を増加させるに従い，固 着領域に対して，すべり領域が移動 A Ikeda,Y Kurita,J Ueda,Y Matsumoto,T Ogasawara,Grip Force Control for an Elastic Finger using Vision-based Incipient Slip Feedback,IROS 2004.
5.3 すべり覚センサ（固着・部分すべり領域画像判別） ビジョンによる初期滑り検出センサ ✓ カメラにより弾性体の接触面を撮影 し，接触面の摩擦係数も推定する http://robotics.naist.jp/research/naisthandhp_enadj/NAIST-Hand.htm 112
5.4 すべり覚センサ(高周波検出方式) 113 ① 物体が滑り出す直前付近で高周波成 分が急激に増加 ② Wavelet変換を用いて，この初期滑 りを検出 S. Teshigawara, K. Tadakuma, A. Ming, M. Ishikawa, M. Shimojo, High Sensitivity Initial Slip Sensor for Dexterous Grasp, IEEE Int. Conf. on Robotics and Automation, 4867-4872, 2010
5.4 すべり覚センサ（高周波検出方式） 滑り→把持力強める→弱める→滑り→強める→... 114 ビデオ 把持力 すべり 検知 無音声 https://www.youtube.com/watch?v=WtuDZvrZ0Gg&t=2s
5.5 接線方向力の変化で検出 115 slip 𝜇 = 𝑓𝑇 Τ𝑓𝑁 Normal force and tangential force exerted by one of the fingers recorded while manipulating a deformable bottle of 300mL water. ✓ This framework consists of a tangentialforce based slip detection. ✓ Slip is detected when it happens for the first time by measuring the increasing rate of tangential force. https://www.youtube.com/watch?v=07N0olaBDDY M Kaboli, K Yao, G Cheng,Tactile-based manipulation of deformable objects with dynamic center of mass,Humanoid Robots (Humanoids), 2016 IEEE-RAS 16th International Conference on
5.5 法線方向力の変化で検出 116 ⚫ 鉗子の把持領域に，シリコン チップ上に集積された8つのピエ ゾ抵抗ゲージを装着 ⚫ 法線方向力と荷重中心の位置の 変化に基づいて滑りを検出する この装置は、ポリエチレンフィル ムに包まれたシリコーンゲル製の 「臓器」でテストされ、表面での せん断力がゼロであっても、フィ ルムの下での滑りを検出すること ができたとした Kanako Ando, Takafumi Yamamoto, Yusaku Maeda, Kyohei Terao, Fusao Shimokawa, Masao Fujiwara, and Hidekuni Takao, “Highly Sensitive Silicon Slip Sensing Imager for Forceps Grippers Used under LowFriction Condition”, 2019 IEEE Int. Electron Devices Meeting https://www.kagawa-u.ac.jp/kagawa-u_ead/topics/research/24522/
117 5.5 熱エネルギー伝達の変化で検出 ⚫ ヒータ（赤）が発熱→把持物体 （生体組織）→サーミスタ（青)に 熱エネルギーが伝達 豚の組織 the da Vinci ⚫ 把持物体が滑るとヒータの4方向に 配置したサーミスタ(N,E,S,W)へ の熱伝導が変化し，サーミスタの 温度変化から変化方向を検出 腸 卵巣 食道 Mean slip and 95% Confidence Intervals N.T. Burkhard, M.R. Cutkosky and J.R. Steger: Slip Sensing for Intelligent, Improved Grasping and Retraction in Robot-Assisted Surgery, IEEE Robotics and Automation Letters, 3(4), pp.4148-4155, 2018
6．近接覚センサの原理と開発例 6.1 光反射光量方式(フォトリフレクタ) 6.2 三角測量方式 6.3 光/超音波の往復時間（TOF）方式 6.4 静電容量方式 6.5 渦電流方式 118
6. 近接覚（概要） 触覚センサは 接触が分かる 衝突した後で わかる！ 安全のためには近接覚が重要 119
120 6. 近接覚（概要） 近接領域 例えば次のような検出方式がある LED i 非接触での検知 Phototransistor EE-SY1200 触覚が空間的に拡張した イメージ 検出素子：フォトリフレクタ
121 6. 近接覚（概要：計測例） https://www.youtube.com/watch?v=ILmK0DinkYM 近接覚センサとしてフォトリフレクタを16×16に配置した。センサー出力は カラーで表示され、距離に応じて出力画像が変化する 無音声
6. 近接覚（概要：導入例） 122 近接覚センサ 高速な物体表面追従を実現 Robot finger traces a surface using proximity array sensor ⚫ 指先に近接覚センサを配置 ⚫ センサ出力と指駆動モータを一対一接続 （Reactive contol） 追跡と回避動作の実現 Tracking and avoiding ⚫ ARM先端に近接覚センサを配置 ⚫ 先端トップの近接覚で追跡 ⚫ 先端サイドの近接覚で回避 https://www.youtube.com/watch?v=gaxcQPKM9C8 https://www.youtube.com/watch?v=M0QYP-V7qB8 https://www.youtube.com/watch?v=Bi0o-ai6-yM&feature=emb_logo https://www.youtube.com/watch?v=sCgZdzQL0GQ&t=35s M. Shimojo, T. Araki, S. Teshigawara, A. Ming, M. Ishikawa,A Net-Structure Tactile Sensor Covering Free-form Surface and Ensuring High-Speed Response, Int. Conf. on Intelligent Robots and Systems(IROS 2007), 670-675, 2007
123 6. 近接覚（概要：利用場面の例） 輪郭tracing × 高速 approaching 高速動作 ⚫ 安定操作 非破壊 辺 ⚫ 安全安心 ⚫ 高速動作 Soft Touching × 〇 角 面 安定した把持・操作 Proximity Servoing 接近面形状の検知 輪郭・追従 面/辺/角など 衝突事前検知 非接触操作 Touchless Operation
124 6. 近接覚（概要：情報と利用） 種類 検出情報の種類・利用 物体面までの 近接覚 距離 ⚫ 衝突回避 ⚫ 距離/方向 ⚫ ソフトな接触 ⚫ 接近速度 方向 ⚫ 衝突までの 時間 ⚫ 物体の位置 姿勢 ◼ 非接触 →非破壊 ✓ 安全性向上 ⚫ Servoing 輪郭・追従 ⚫ 接近面の形状 ⚫ 高速/安定 把持 平面/辺/角 形状 （分布） 長所 ⚫ 巧緻な把持 操作 ✓ 高速な動作 ✓ 非接触イン ターフェース への応用
125 6. 近接覚（概要：位置づけ） ⚫ 視覚には隠蔽があり，触覚は接触まで検出できない ⚫ よって物体近傍では，衝突等を避けるため，低速な動作となる ⚫ 近接覚は視触覚をシームレスに接続し，確実で高速な動作を行わせる ⚫ 局所情報 (local area) ⚫ 大局情報 (wide area) ⚫ 推定 (predict) 視覚 近接覚 触覚 Vision Proximity Tactile ⚫ 接触まで未検出 ⚫ 隠蔽・死角 (Occlusion/blin d spot) 視覚 (vision) ⚫ 確定 (confirm) 非接触 接触 (non-contact) (contact) Proximity connects vision and tactile seamlessly 近接覚 (proximity) ✓ 視・触覚のシームレスな接続 (Not detected until contact) 触覚 (tactile)
近接覚の測定原理と開発例 近接覚センサ 6.1 光反射光量方式(フォトリフレクタ) 6.2 三角測量方式 6.3 光/超音波の往復時間（TOF）方式 6.4 静電容量方式 6.5 渦電流方式 126
6.1 光反射光量方式（フォトリフレクタ） 127 反射光強度は物体の距離に応じて変化 することから近接距離情報を検出 EE-SY1200 3.2mmx1.9mm 利点： 欠点： ➢ 応答速度速い ➢ 対象物の反射率，表面粗さ，色などの 影響を受ける ➢ 空間分解能高くできる ➢ 小型軽量廉価，種類豊富 ➢ 透明体など光を反射しない物体は検知 できない
6.1 光反射光量方式(フォトリフレクタ)例 128 ① センサ素子は円周方向に60分割 ② 接近物体の方向と距離を検出 ③ 接近物体が複数の場合，接近物 体の方向と距離，および数を示す https://www.youtube.com/watch?v=Cfngzj1IFjU https://www.youtube.com/watch?v=XB3GhOs7UTk https://www.youtube.com/watch?v=r-n7wJWbeRQ Terada, K.; Suzuki, Y.; Hasegawa, H.; Sone, S.; Ming, A.; Ishikawa, M.; Shimojo, M.. Development of Omni-directional and Fast-responsive Net-structure Proximity Sensor, 2011 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2011) pp. 1954-1961, 2011. https://www.youtube.com/watch?v=Cfngzj1IFjU 128無音声
129 6.2 三角測量方式 三角測量にて距離を計測。受光素子と してPSD等の位置検出素子を用いる PSD (Position Sensitive Detector) 利点： ➢ 対象の反射率等の影響を受 けない ➢ 信号処理回路を一体化 sharp 多くの種類がある 欠点： ➢ 最小検出距離数センチ ➢ 応答性十数ms程度(I2C接続）
6.2 三角測量方式 例 光源として赤外LEDを用い，計測対象物 からの反射光を画像素子CMOSに集光し て三角測量方式により距離を計測する。 型番：GP2Y0E02B 寸法：18.9×8.0×5.2mm CMOS素子 障害物や段差の検知用として，6~８個のセンサを使用 Ex)ロボット掃除機用 http://www.sharp.co.jp/corporate/rd/n36/pdf/201210topics3.pdf I2Cインターフェースにより接続 130
131 6.3 光往復時間（TOF）方式 光の往復時間TOF(Time of Flight) から対象物までの距離を測る方式 L=10mm→Δｔ＝67ｐｓ 𝟏 𝒇= ∆𝒕 𝒇 = 𝟏𝟓𝟎𝑮𝑯𝒛 利点： 欠点： ➢ 対象物の反射率，表面粗さ， 色等の影響が無い ➢ 小型軽量 ➢ 計測時間精度？ →数ミリの誤差がある
6.3 光往復時間（TOF）方式 STMicroelectronics VL6180X ✓ レンジ：0mm-100mm, ✓ 誤差：2mm(Noise) I2C接続 4.8 x 2.8 x 1.0 mm ✓ 応答：15ms（67Hz） STMicroelectronics Vl6180X 距離計測特性 多数試行からの統計処理 132
6.3 光往復時間（TOF方式） 133 SONY:画像センサ「IMX456QL」 ✓ レンジ：300mm-10000mm, ✓ 誤差：誤差6mm（１ｍ測距時） ✓ 速度：120fps SONY:画像センサ「IMX456QL」 https://www.sony.co.jp/SonyIn fo/News/Press/201712/17-114/ Simblee™ IoT 3D ToF Sensor Module RFD77402 ✓ Range: 100 mm to 2000 mm ✓ Accuracy: +/- 10% accuracy ✓ Maximum refresh rate: 10 Hz Simblee™ IoT 3D ToF Sensor Module （RFD77402） 4.8 x 2.8 x 1.0 (LxWxH) I2C接続
6.4 静電容量(電界）方式 1/2 134 ① 自己容量方式：電極間の 電界内に誘電体の侵入に よる静電容量が変化から 検出 ② 相互容量方式：送受信電 極間の電界に物体の侵入 による電流IRの変化を検出 静電容量式(capacitive sensing)は電界式(electric field sensing)とも呼ばれている 静電容量（電界）式の検出 モードはこのほか各種ある 利点： 欠点： ➢ 作りやすい ➢ 物体の形状，材質などで特性が異なる ➢ 形状の自由度大（大小軽薄型など） ➢ 空間分解能が低い ➢ 光方式と比べ汚れ等に強い ➢ 指向性が低い ➢ 接近距離に強い ➢ グランド（接地）環境による不安定性 ➢ 広範囲の検出が可能 ➢ 電磁ノイズによる影響を受けやすい
135 6.4 静電容量(電界）方式 2/2 物体 C1 電極1 C2 電極2 物体 C3 電極3 CN 電極N Active guarding C1 電極1 C2 電極2 C3 電極3 CN 電極N Grounded shielding この例では送信は電極1 この例では送信は電極1，受信は電極3 Single-ended mode Differential mode ⚫ 送信電極のみで動作 ⚫ 送信電極と受信電極のペアで動作 ⚫ 送信電極に電圧をかけ，送信電極の変位電 流を測定（強度と位相情報あり） ⚫ 送信電極に電圧をかけ，受信電極の変位 電流を測定（強度と位相情報あり） ⚫ 独立した測定値の数はN（N:電極数） ⚫ 独立した測定値の数はN(N-1) /2（N:電 極数） ⚫ 十分に接地された対象物に対して、より優 れたS/N比が得られる ⚫ 主に導電性物体と電極との最短距離に反応 ⚫ 情報量が多い ⚫ 非導電性物体の検出能力が向上 T. Schlegl, T. Kröger, A. Gaschler, O. Khatib, H. Zangl,"Virtual Whiskers — Highly Responsive Robot Collision Avoidance," 2013 IEEE/RSJ Int. Conf. on Intelligent Robots and Systems
6.4 近接覚（静電容量方式） 例 136 T. Schlegl, T. Kröger, A. Gaschler, O. Khatib, H. Zangl,"Virtual Whiskers — Highly Responsive Robot Collision Avoidance," 2013 IEEE/RSJ Int. Conf. on Intelligent Robots and Systems differential mode例 Single-ended mode Differential mode セ ン サ 電 極 Sensitivity maps with respect to grounded conductive objects for different sensing modes as obtained from Finite Element Simulation. https://www.youtube.com/watch?v=v7C_SHweCxM
137 静電容量（電界）式の説明 集中回路モデル 容量性カップリング 通常数100pF以下 grand ⚫ 導体（人体）と送受信電極との間の容量性カップリングの変化を測定する ⚫ 静電容量は1MHz以下の周波数の交流電圧で電極を駆動したときに流れる変 位電流から計測することが多い ⚫ すべての物体が電気的に結合している共通の電位であるグラウンドの役割 は重要である。このグラウンドがないと静電容量式は、正常に動作しない 静電容量式(capacitive sensing)は、電界式(electric field sensing) とも呼ばれている Tobias Grosse-Puppendahl,Christian Holz,Gabe, Raphael Wimmer, Oskar Bechtold, Steve Hodges, Matthew S Reynolds, Joshua R Smith,"Finding Common Ground: A Survey of Capacitive Sensing in Human-Computer Interaction,"Proceedings of the 2017 CHI Conference on Human Factors in Computing SystemsMay 2017 Pages 3293–3315
静電容量（電界）式 検出モード分類 Loading Mode Active Capcitance sensing 能動型 Passive Capcitance sensing 受動型 138 ⚫ 能動型：交流電源で電界を変化させる ⚫ 受動型：存在する電界を利用する Loading(負荷)モード 自己容量方式(self-capacitance sensing) Receive Mode Transmit Mode Shunt Mode 一般的検出法 電界を遮るモード 相互容量方式(mutual-capacitance sensing) (𝐶𝑇𝑅 ≅ 𝐶𝑇𝐵 ≅ 𝐶𝑅𝐵 ) 送信側に物体を配置するモード (𝐶𝑇𝐵 ≫ 𝐶𝑅𝐵 , 𝐶𝑇𝐵 ≫ 𝐶𝑇𝑅 ) 受信側に物体を配置するモード (𝐶𝑅𝐵 ≫ 𝐶𝑇𝐵 , 𝐶𝑅𝐵 ≫ 𝐶𝑇𝑅 )
静電容量（電界）式 Thomas G. Zimmerman, Joshua R. Smith, Joseph A. , Paradiso, David Allport, and Neil Gershenfeld. , "Applying Electric Field Sensing to Human-computer Interfaces", (CHI ’95), DOI:http://dx.doi.org/10.1145/223904.223940 電界 Electric Field 送信 電極 交流 電圧 受信 電極 139 ⚫ 静電容量センシングは、2つ以上 の導体間の静電容量を測定するこ とで、触覚、近接などの物理量を 推定することができる ⚫ 静電容量は、2つの電極が距離を 隔てているときに存在する。電極 が異なる電位にある場合、両者の 間には電界が存在する。 ① 上図の送信電極と受信電極は，コンデンサを構成する ② 電極間の電位が時間的に変化すると，電極間に変位電流Iと呼ばれる電流が流れる ③ 送受信電極間に発生した電界に，人体などの導体が介入すると，電界が妨げられ， 受信電極に流れる変位電流IRが減少する ④ この変位電流IRの変化を計測することで人体などの接近を検知する 変位電流(Displacemnt current)：電流は電荷の移動で発生するが、変位電流は電荷の移動で発生するものではないので、 「変位」という名称が付けられている（wikipedia） 私は，この例では，容量性カップリング間の単なる充放電電流と と思っている
変位電流とは？ 付録の付録 𝐼(𝑡) 𝑄(𝑡) = 𝐶𝑉 𝑡 変位電流 Q(t) ＋ 𝐶 𝑉(𝑡) 140 ＋ 𝑑𝑄 𝑑𝑉 𝐼= =𝐶 𝑑𝑡 𝑑𝑡 素直に考えると，これは単なる充放電電流 ＋ ＋ 電界E - - - - ① コンデンサに加わる電圧が増加する ② 電荷Qが増加する ③ コンデンサに電流が流れ込む 変位電流 コンデンサの電極間を実際に電荷が移動するわけではない 電磁気学では？ ＋ ＋ ＋ ＋ - - - - 𝐻 マクスウェル の方程式 𝜕𝐷 ∇×𝐻 = 𝑖+ 𝜕𝑡 アンペールの法則 変位電流 𝐷 = 𝜀𝐸 D は電束密度、H は磁界の強度 電荷Qの変化→電界Eの変化→変位電流？→磁界Hの発生？ このあたりの物理（因果関係）が私にはよくわからない。ただ，アンペールの法則では，電流が流れ るところに磁界がある。コンデンサ電極間には電流が流れず，かつ磁界があるとすると，何らかの電 流の存在が必要である。それが変位電流なのか？ しかし，コンデンサのところで磁界Hはあるのか？ 以前からこの辺りがスッキリしない
6.5 渦電流方式 141 電磁誘導での渦電流による磁気損失を検出 ⚫ 渦電流(eddy current)が導体に流れると導 体内部の電気抵抗により消費され渦電流損失 となる https://www.keyence.co.jp/ss/sensor/aboutsensor/eddy_current/ 利点： ➢ 耐環境性に優れる ✓水や油などの環境下 ✓広い温度範囲 欠点： ➢ 導体である金属に限られ ➢ 物体の材質等の違いで特性 が変化
第2部 触覚センサの実例と展開 142
第２部 触覚センサの実例と展開 ７．触覚センサの実例紹介 7.1 触覚センサの事例 7.2 すべり覚センサの事例 7.3 近接覚センサの事例 ８．触覚センサの研究開発動向 8.1 新製法&新材料の利用 8.2 機械学習での利用 ９. まとめ 143
７．触覚センサの実例紹介 7.1 触覚センサの事例 7.2 すべり覚センサの事例 7.3 近接覚センサの事例 144
７．１ 触覚センサの事例（電気抵抗変化型） ① ビデオ出力型触覚センサ（感圧導電ゴム） ② 縫込み電極型（感圧導電ゴム） ③ 3D-shaped tactile sensor ④ 感圧導電素材Weiss Robotics ⑤ 触覚スーツ（接触抵抗値変化型） ⑥ 強靭な触覚センサ ⑦ 荷重分布中心位置と総荷重検出センサ(COP) 145
①ビデオ出力型触覚センサ（感圧導電ゴム） Tactile sensor(64x64, 1mm pitch) 146 Video signal output(1991) http://www.rm.mce.uec.ac.jp/sjE/index.php?Tactile%20sensor 感圧機構：感圧導電ゴム 特徴： ✓圧力分布をビデオ信号として出力 ✓64×64マトリクス状配置，1mmピッチの高密度 備考： ✓ 配線が128本となり，その処理が問題 ✓ 回り込み電流の防止回路の工夫が必要（マトリクス配置の問題点）
①ビデオ出力型触覚センサ 64×64＝4096点 （1mm pitch） 147 scan time: 1/30/4096=8μs/cell ビデオ信号変換のメリット：画像処理のハードとソフトが利用できる ⚫ 圧力分布情報の各種情報書処理が簡単，安価で実現可能 ⚫ 圧力分布の時間変化を，ビデオ録画を用いて長時間，安価に行える ⚫ 但し，高速なスキャニングを行い，かつ不要な電流の回り込みをキャンセル する必要がある。 M. Shimojo, M. Ishikawa, K. Kanaya: A Flexible High Resolution Tactile Imager with Video Signal Output, IEEE Int. Conf. Robotics and Automation (ICRA), Sacramento, pp.384-391, 1991.4
①ビデオ出力型触覚センサ（電流の回り込み） 電流の回り込み 仮想接地 （e0=0V） 対策：ゼロ電位法 148
149 ①ビデオ出力型触覚センサ ビデオ 64×64＝4096点 （1mm pitch） •石川正俊，下条誠，ビデオ信号出力を持つ圧力分布センサと触覚パターン処理, 計測自動制御学会論文集, Vol.24, No.7, pp.662-669, 1988 走査回路 •M. Shimojo, M. Ishikawa, K. Kanaya: A Flexible High Resolution Tactile Imager with Video Signal Output, IEEE Int. Conf. Robotics and Automation, Sacramento, pp.384-391 (1991)
②縫込み電極型（感圧導電ゴム） 150 感圧導電ゴムに金メッキ線 を網目状に縫い込んだ構造 ⚫ 薄型柔軟 ⚫ 接線方向力にも頑健 M. Shimojo, A. Namiki, M. Ishikawa, R. Makino and K. Mabuchi: A tactile sensor sheet using pressure conductive rubber with electrical-wires stitched method, IEEE Trans. Sensors,vol.4, no.5, pp.589-596 (2004)
②縫込み電極型（感圧導電ゴム） 151 ✓ CyberGroveで ハンドを制御 ✓ 4指ハンド ✓ 触覚センサ： 3x16マトリクス M. Shimojo, T. Suzuki, A. Namiki, T.Saito, M. Kunimoto, R. Makino, H. Ogawa, M. Ishikawa, K..Mabuchi, Development of a System for Experiencing Tactile Sensation from a Robot Hand by Electrically Stimulating Sensory Nerve Fiber, IEEE ICRA pp.1264-1270,2003 https://www.youtube.com/watch?v=Lffe73bZdlc&t=26s
③3D-shaped tactile sensor 152 ⚫ 12 tactile sensor regions ⚫ Embedded signal acquisition electronics ⚫ Capture force patterns with a frame-rate of more than 1 kHz. ⚫ Conductive elastomer from Weiss Robotics. 12 tactile sensor ATtiny40 (8-bit ) https://ni.www.techfak.uni-bielefeld.de/node/3554 Risto Kõiva; Matthias Zenker; Carsten Schürmann; Robert Haschke; Helge J. Ritter, Mechatronics (AIM), 2013 IEEE/ASME Int. Conf. on A highly sensitive 3D-shaped tactile sensor, Advanced Intelligent
153 ④感圧導電素材Weiss Robotics 寸法： 80 x 80 x 15[mm]. 分解能： 16 x 16 (5mm pitch) 感度：0.1[g/mm2 ]~20[g/mm2 ] Sample rate: 1800[Hz] Matthias Schoepfer ; Carsten Schuermann ; Michael Pardowitz ; Helge Ritter, Using a Piezo-Resistive Tactile Sensor for Detection of Incipient Slippage,Robotics (ISR), 2010 41st International Symposium on and 2010 6th German Conference on Robotics (ROBOTIK) A distinction between a slip and stick condition Power [level] ⚫ ⚫ ⚫ ⚫ Frequency The tactile sensor mounted on the Kuka LWR https://www.youtube.com/watch?v=mSq8e4PU90s 無音声
154 ④感圧導電素材Weiss Robotics The six tactile sensors from Weiss Robotics ✓ センサ：触覚センサ/指（指先，指腹） ✓ 指腹： 6 ｘ14 (3.4mm pitch) ✓ 指先： 6 ｘ13 tactels J Sanchez, S Schneider, P Plöger, Safely grasping with complex dexterous hands by tactile feedback, RoboCup 2014: RoboCup 2014: Robot World Cup XVIII pp.332-344 Weiss Robotics :WTS 0614-34とすると ✓ 寸法：51.4 x 25.4 x 5.7 mm ✓ レンジ：2.8kPa-85kPa ✓ 応答速度：270fps Schunk Dexterous Hand (SDH-2) https://www.youtube.com/watch?v=4QvShViUceM 無音声
⑤触覚スーツ（接触抵抗値変化型） 155 網目状メッシュを介しての導電布接触面積 特徴： ⚫ 導電性の布と繊維でできているため，縫製で洋服 形状可能 ⚫ メッシュの直径と厚みにより感度を可変可能 （全身：160ポイント） 備考： ⚫ 検出点と配線が一対一対応，検出点の増大による 配線処理問題がある 稲葉雅幸，星野由紀子，井上博允：導電性ファブリックを用いた全身被覆型触覚センサスーツ，日本ロボット学会学会誌, vol.16, no.1,pp.80-86, 1998
⑤触覚スーツ（接触抵抗値変化型） ネット こすりによる感圧変化実験 感圧特性例 負荷/除荷特性 湿度による耐久性実験 156
⑤触覚スーツ（接触抵抗値変化型） 157 http://www.jsk.t.u-tokyo.ac.jp/research/sensorsuit-j.html
⑥強靭な触覚センサ 158 強靭で、曲げやすく、伸縮自在な 触覚センサーアレイの提案 ⚫ 導電布、導圧ゴムシート、シリ コーンゴムでセンサを構成 ⚫ 各触覚素子は，0.7N～3Nの法 線方向の力を，ヒステリシスが 少なく，高い再現性で検出する bendable and stretchable tactile sensors array with a 16 4 matrix configuration impact force a radius of 10mm 25% stretching Y. Hirai, Y. Suzuki, T. Tsuji and T. Watanabe, "Tough, bendable and stretchable tactile sensors array for covering robot surfaces," 2018 IEEE International Conference on Soft Robotics (RoboSoft), 2018, pp. 276-281, doi: 10.1109/ROBOSOFT.2018.8404932.
⑦荷重分布中心位置と総荷重検出センサ(COP) 159 感圧機構：感圧導電ゴムを面状抵抗体で挟む 特徴： ✓ 荷重分布の中心位置（COP）と総和を検出，すべり検出（COP：Center of Pressure） ✓ 高速応答（1ms以内），薄型シート状，省配線型（配線は4本のみ） 備考： ✓ 大面積，正則関数を用いた変換座標系可能 石川正俊,下条誠:感圧導電性ゴムを用いた２次元分布荷重の中心位置の測定方法,計測自動制御学会論文集, 18, 7, 730-735, 1982
７．１ 荷重分布中心位置と総荷重検出センサ(COP) ◼ CoP センサ 160 制御では荷重分布の中心位置 と総和が分かれば良い ◼ センサの特徴 ⚫ ⚫ ⚫ ⚫ ⚫ 柔軟，薄型，軽量 曲面に配置可能 1[ms]以内の高速応答性 処理回路はアナログ回路 配線は4本 郡司大輔 荒木拓真 並木明夫 明愛国 下条誠, 触覚センサによる滑り検出に基づく多指ハンドの把持力制御,日本ロボット学会誌 Vol.25 No.6 pp.970-978 , 2007
Ishikawa lab. U.Tokyo https://www.youtube.com/watch?v=qqhL7zOLKo8 https://www.youtube.com/watch?v=-tTN2SPeEoY https://www.youtube.com/watch?v=xCCYxYgTTYk https://www.youtube.com/watch?v=QH8XHmlWPlg 161
指長手方向 CoP触覚センサのJPLハンドへの実装 指円周方向 162 だいぶ以前（1986年頃）に なりますがStanford JPLハ ンドに装着して動作実験をし たことがあります。 ビデオでは，木片をハンドリ ングしている動作を示します。 センサは3本指のうち１本に のみ実装。白い指先部分がセ ンサで，シリコンゴムで被覆 してあります。 オシロスコープがセンサ 出力を示す ⚫ 木片と指先の接触位置の 時間変化が，指先での接 触の軌跡で示される ⚫ 画面横軸が指円周方向， 縦軸が指長手方向の接触 位置を示す ⚫ （1986年，下条，Ronald S. Fearing ） https://www.youtube.com/watch?v=bBaKCXpYeGs
A Soft Pressure Sensor Skin （例） 163 X. Tan, L. He, J. Cao, W. Chen and T. Nanayakkara, "A Soft Pressure Sensor Skin for Hand and Wrist Orthoses," in IEEE Robotics and Automation Letters, vol. 5, no. 2, pp. 2192-2199, April 2020, doi: 10.1109/LRA.2020.2970947.
７．１ 触覚センサの事例（静電容量型） ① 静電容量型触覚（iCub skin） ② 静電容量型の例(Univ. stanford) ③ 静電容量型の例(Univ. ETS,Canada) 164
①静電容量型触覚（iCub skin） 感圧機構：静電容量型 特徴： ✓三角形のパッチで大面積を覆う ✓三角形のパッチ内に静電容量計測ICがあ り，I2Cでデータ転送 備考： ✓ iCub，KASPER，NAO などのロボット に利用 165
① iCub skin ０か月 （シリコン商品名） 6か月 圧力と静電容量変化および素材経年変化 TH Le, P Maiolino, F Mastrogiovanni, G Cannata,,kinning a Robot: Design Methodologies for Large-Scale Robot Skin,IEEE Robotics & Automation Magazine, 23, 4, 2016 センサ：48個/掌，12個/指 https://www.youtube.com/watch?v=yQGXYGS0Ojo 166
167 ① iCub skin simulation data experimental data simulation data Fig. shows sensitivity and weight computed for each elastomer for a target pressure p= 10 KPa. 誘電体の違いによるセンサの 感度と重量 Thuy-Hong-Loan Le; Perla Maiolino; Fulvio Mastrogiovanni; Giorgio Cannata,kinning a Robot: Design Methodologies for Large-Scale Robot Skin,IEEE Robotics & Automation Magazine, Volume: 23, Issue: 4, Dec. 2016 experimental data
②静電容量型の例(Univ. stanford) a cross-section view of sensor construction. a) The adaptive gripper with sensor suite installed.Insets show closeups of b) the texture and c) the taxels on the inner surface of a distal link. ⚫ 検出点：132 ⚫ 面積： ~1 cm2 area/taxel ⚫ 突起： 125 µm高， 125 µm 直径， Silicone rubber ⚫ CDC： AD7147 (Analog Devices ) B Heyneman and M Cutkosky, Biologically inspired tactile classification of object-hand and object-world interactions, 2012 IEEE Int. Conf. on Robotics and Biomimetics (ROBIO) A typical calibration curve for a load/unload cycle of one taxel showing low hysteresis. http://bdml.stanford.edu/Main/RobotiqGrasping 168
③静電容量型の例(Univ. ETS) 169 ⚫ 表皮には、特殊なシリコン を用い、これにニッケル繊 維と窒化ニッケルを均一に 混ぜ合わせている ⚫ 皮膚の剛性を高め、セン サーの全体的な精度を向上 させるために、2種類のナ ノ粒子（BaTiO3と PMNPT）を混ぜている ⚫ 制御はPSoCマイクロコン トローラーを搭載している 無音声 Integrated Tactile Sensors for Robotic Gripper from ETS (École de technologie supérieure in Montreal, Quebec, Canada.) https://www.youtube.com/watch?v=5eAivKiKadA https://blog.robotiq.com/bid/69803/Integrated-Tactile-Sensors-for-Robotic-Gripper-from-ETS
７．１ 触覚センサの事例（光応用型） ① 触覚センサの切り貼り実装（光量変化型） ② 光導波板方式（3軸力） ③ GelSight（ゲルの変形を用いた方式） ④ Finger Vision(Univ.Tohoku) ⑤ OmniTact ⑥ DIGIT ⑦ TacTip 170
①触覚センサの切り貼り実装（光量変化型） ウレタン内の散乱光量による透過光量変化 特徴： ⚫ 切断，または折り曲げて, エレメントごとに配置調整が可能 ⚫ 触覚センサと通信機能をモジュール化（計測点1800以上） Y. Ohmura, Y. Kuniyoshi, A. Nagakubo, “Conformable and Scalable Tactile Sensor Skin for Curved Surfaces,” ICRA,pp.1348-1353,2006 171
①触覚センサの切り貼り実装（光量変化型） 172 センサの接続方式 切断，または折り曲げて, エレメントごとに配置調整 が可能 感圧特性
②光導波板方式（3軸力） 173 Sampling interval: 25ms/finger M Ohka, SC Abdullah, J Wada, HB Yussof,Two-Hand-Arm Manipulation Based on Tri-axial Tactile Data,International Journal of Social Robotics January 2012, Volume 4, Issue 1, pp 97–105
③ゲルの変形を用いた方式（GelSight） 174 GelSight 光透過性柔軟ゲルの接触変形の計測。ゲル周囲からRGB各色LED 照明を照 射しカメラで撮影，ゲル表面の３D変形を推定，接触状態を計測する 特徴： ⚫ 荷重分布のカメラ画像からの高解像計測が可能。動画像から動的 接触状態を計測 備考： ⚫ カメラを搭載するため指先形状寸法に制限はある ⚫ 柔軟ゲルの耐久性が問題 http://www.gelsight.com/
③ GelSight 175 Output:Handが把持している USBコネクタ (camera pixels : 320 240) Localization and Manipulation of Small Parts Using GelSight Tactile Sensing, R Li; R Platt; W Yuan; A Pas; N Roscup; MA Srinivasan; E Adelson,IROS 2014 https://www.youtube.com/watch?v=4DSilbo2B24
③ GelSight（新型） Camera:xHD 720p (1280 x 720) 滑り検出： ① 物体とセンサ表面の相対変位 ② 接線方向力分布状態 ③ 接触面積変化 GelSigtは，把持力が小さいと，上記の現象観測が困難 なため，滑り検出に失敗したとする 176 (b) Image captured by GelSight sensor during the grasp (c) The reconstructed 3D geometry from (b) The backgrounds in the pictures are the color intensity change of GelSight images. To detect the slip through marker motion, Improved gelsight tactile sensor for measuring geometry and slip,S Dong, W Yuan, E Adelson - arXiv preprint arXiv:1708.00922, 2017 - arxiv.org
③ Gelslim （薄型GelSight） 177 GelSightを薄型にした ⚫ 投光系・撮像系の光学パスを下図 のようにミラーを用いて薄型にな るよう構成 ⚫ 接触部表面には耐久性と検出品質 を向上させるため布を貼り付けた E. Donlon, S. Dong, M. Liu, J. Li, E. Adelson, A. Rodriguez, sensing Finger, arXiv:1803.00628 (2018) GelSlim: A High-Resolution, Compact, Robust, and Calibrated Tactile-
④Finger Vision(Univ.Tohoku) 178 透明な柔軟層と硬く透明なアクリル層 を介して物体をカメラで観測する ⚫ 柔らかい層のマーカーの変形を カメラで読み取ることで外力を 推定 ⚫ 画像解析により，物体の滑り・ 変形も検出可能とする ⚫ また，透明層のため視覚情報も 取得可能とする A. Yamaguchi and C. G. Atkeson: Combining Finger Vision and Optical Tactile Sensing: Reducing and Handling Errors While Cutting Vegetables, in Proc. of the 16th IEEE-RAS Int. Conf. on Humanoid Robots,2016. https://www.youtube.com/watch?v=ifOwQdy9gDg
179 ⑤ OmniTact: A Multi-Directional Touch Sensor Coating Elastomer gel GelSightセンサと同様に，反射層が塗布され た柔軟ゲルの変形を変形をカメラで計測 LEDs ⚫ 多方向のセンシング:5台のマイクロカメラ利用 Cameras ⚫ 最短撮影距離を短くするため内視鏡カメラ（最 短焦点距離 5mm，視野角約90°）を用いる ⚫ カメラに隣接してRGBカラーLEDを配置 A. Padmanabha, F. Ebert, S. Tian, R. Calandra, C. Finn and S. Levine, "OmniTact: A MultiDirectional High-Resolution Touch Sensor," 2020 IEEE International Conference on Robotics and Automation (ICRA), 2020, pp. 618-624, doi: 10.1109/ICRA40945.2020.9196712. LEDs Camera OmniTact sensor GelSight sensor 比較 Showing the fields of view and arrangement of the 5 micro-cameras inside the sensor flex-PCB with the positions of LEDs and camera Top Camera Side Camera
⑥ DIGIT: Low-Cost Compact Tactile Sensor 180 GelSightと同様に，柔軟ゲルの変形を カメラで計測 DIGIT ➢ 反射，反射＋マーカー，透明＋マーカー Camera PCB plastic housing lighting PCB snap-fit holder acrylic window elastomer elastomer back housing DIGIT ⚫ 安価，小型・軽量化，耐久性の向上 ⚫ ゲル状柔軟体の耐久性向上と簡便な付 け替え 分解斜視図 ✓ 幅20mm×高さ27mm×奥行 き18mm、重さ約20g ✓ Image Resolution: 640x480 M. Lambeta et al., "DIGIT: A Novel Design for a Low-Cost Compact HighResolution Tactile Sensor With Application to In-Hand Manipulation," in IEEE Robotics and Automation Letters, vol. 5, no. 3, pp. 3838-3845, July 2020 Before After Camera PCB? ゲル状柔軟体 の種類 reflective reflective with markers transparent with markers Industry-standard linear abrasion device による摩耗試験の結果
⑦ Optical Tactile Sensing with the TacTip 181 内向きのピンを備えたシリコーン製の外皮、レン ズ、光源とカメラから構成。接触による外皮の変 位を，ピン変形のカメラ画像を通して検出する TacTip family pins Clear gelatinous polymer blend Light souce Silicone membrane lens camera Nathan F. Lepora, Soft Biomimetic Optical Tactile Sensing with the TacTip: A Review, arXiv:2105.14455 https://www.youtube.com/watch?v=qBrdipVi-ys
７．１ 触覚センサの事例（半導体応用型） ① 半導体圧力センサアレイ(RI-MAN) ② 複合型センサ(HEX-O-SKIN) 182
183 ①半導体圧力センサアレイ(RI-MAN) 半導体圧力センサのアレイ状配置 特徴： ⚫ 検出素子間補間を弾性体シート等で行い， 検出ヘッドへの荷重誘導 FUJIKURA FPBS-04A ピエゾ抵抗効果を利用した 拡散型の半導体圧力センサ ⚫ 小型コントローラによるセンサ情報の階層 的分散制御 備考： ⚫ ロボット全身で320個 ⚫ サンプリング：20ms T. Mukai, M. Onishi, T. Odashima, Development of the Tactile Sensor System of a Human-Interactive Robot "RI-MAN”, IEEE Trans. on Robotics, 24, 2, 505-512, 2008 Scanning circuit
②複合型センサ(HEX-O-SKIN) 184 感圧機構：力，近接,温度,加速度セン サの複合型センサ（六角形構造） 特徴： ⚫ 六角形はポートで隣接六角形に接続され 計測データを伝送 ⚫ 近接(GP2S60)，加速度(BMA150)， 温度(PCS1.132)，静電容量型力セン サ（MEMS) 備考： ⚫ 柔軟性は低い Substrate and cap design of the new force sensor cell. Philipp Mittendorfer, Gordon Cheng,Integrating Discrete Force Cells into Multi-modal Artificial Skin,Humanoid Robots (Humanoids), 2012 12th IEEE-RAS International Conference on
② HEX-O-SKIN 185 Robot TOMM with robotic skin using event-based signaling https://www.youtube.com/watch?v=4bs58bA7Hy8
② Sensitive Skin for Robots(HEX-O-SKIN) 186 https://www.youtube.com/watch?v=M-Y2HW6JcGI
７．１ 触覚センサの事例（各種） ① 導電性流体を用いたもの(BioTac) ② 磁気変化方式(Uskin) ③ EIT(Electrical Impedance Tomography)法 ④ 接触抵抗から力分布をTomography法を用いて計算 ⑤ 空気圧による接触検知 187
①導電性流体を用いたもの(BioTac) 188 柔軟スキンの変形による導電性流体の インピーダンス変化 特徴： ⚫ 3軸方向力およびその力の重心位置を計測 ⚫ 接触振動を流体圧力波を圧力センサによ り計測（two pressure transducers, one for low (upto 100 Hz) and one for high (up to 2.2 kHz) frequencies. ） ⚫ サーミスタにより温度変化も検出 備考： ⚫ 寸法はやや長く，ロボットハンドへの実 装ではハンド指先第2リンクまで https://www.syntouchinc.com/clients/ ダイナミックレンジ 0.01～50N (100～1000 kΩ) 再現性 ＜5％ ヒステリス ＜5％ 空間分解能 ＜3mm http://www.nihonbinary.co.jp/Products/Robot/BioTac.html
① BioTac (Syntouch inc.) https://www.youtube.com/watch?v=W_O-u9PNUMU 189
① BioTac (Syntouch inc.) 190 https://www.youtube.com/watch?v=y3STuHARVfI Shadow hand with Biotac RB Hellman, E Chang, J Tanner, SIH Tillery and VJ Santos, A Robot Hand Testbed Designed for Enhancing Embodiment and Functional Neurorehabilitation of Body Schema in Subjects with Upper Limb Impairment or Loss, Front Hum Neurosci. 2015; 9: 26.6
191 ②磁気変化方式(Uskin) 磁石とホール素子の 組合わせにより3軸力 を検出 ⚫ ホール素子（24個 /指）はI2C接続 Hall-effect sensors (MLX90393) Responsetime:66ms TP Tomo, A Schmitz, W Wong, H Kristanto,S Somlor, J Hwang, L Jamone, S,Sugano, Covering a Robot Fingertip With uSkin: A Soft Electronic Skin With Distributed 3-Axis Force Sensitive Elements for Robot Hands, IEEE ROBOTICS AND AUTOMATION LETTERS, 3, 1, 2018.
②磁気変化方式(Uskin) 192 無音声 https://www.youtube.com/watch?v=uflHqP5mhYg
③EIT(Electrical Impedance Tomography)法 193 導電体シートの外周に多数の電極を配置し導電 体内部の抵抗値分布を逆問題手法を用いて計測 する方法 特徴： ⚫ 感圧領域は導電性の布やゴムシートなどで構成できるため、高い伸縮性が実現できる ⚫ 測定領域内に配線が不要なためセンサは柔軟・薄型，伸縮可能 ⚫ 導電材料の層を重ねると伸縮と圧力を分離して検出することもできる 備考： ⚫ 電磁ノイズ等に対する耐性？，空間分解能は高くない H Alirezaei; A Nagakubo; Y Kuniyoshi, A tactile distribution sensor which enables stable measurement under high and dynamic stretch,IEEE Symposium on 3D User Interfaces, 3DUI 2009
③EIT(Electrical Impedance Tomography)法 194 sensor sheet is 90mm x 160mm and it can be stretched to up to 140% of its original size Pressure is applied to a circular area with a 20mm diameter Developed tactile sensor under 2way stretch: The sensor’s response is demonstrated over a relatively hard foamed styrol sphere.60mm(a), a highly deformable and stretchable balloon- .90mm (b,c) and a slim PET bottle cap.20mm (d). H Alirezaei; A Nagakubo; Y Kuniyoshi, A tactile distribution sensor which enables stable measurement under high and dynamic stretch,IEEE Symposium on 3D User Interfaces, 3DUI 2009
④接触抵抗から力分布をTomography法を用いて計算 195 導電体間の接触抵抗分布を Tomography法を用いて計算す ることで力分布を計測 ⚫ 二つの導電体の接触境界には 電気接触抵抗が存在 ⚫ 接触抵抗は接触圧力によって 変化 ⚫ 接触圧力の分布に応じて導電 体に印加される電圧の分布も 決まる ⚫ よって，電圧の分布を推定す ることで、接触圧力の分布を 推定する Shunsuke Yoshimoto, Yoshihiro Kuroda, and Osamu Oshiro, Tomographic Approach for Universal Tactile Imaging with Electromechanically Coupled Conductors, IEEE Transactions on Industrial Electronics
④接触抵抗から力分布をTomography法を用いて計算 https://resou.osaka-u.ac.jp/ja/research/2018/20181114_2 https://www.youtube.com/watch?v=e2boH-Peogs&feature=youtu.be 196
⑤ 空気圧による接触検知 197 AIRSKIN® pad ⚫ 気密性に優れた薄皮で覆われた柔軟なダン プニング構造 ⚫ 接触変形による内部の空気圧の変化を圧力 センサで検知 ⚫ 検出パッドは，単一のケーブルで直列接続 https://www.youtube.com/watch?v=1C7BYxE57h8 http://www.bluedanuberobotics.com/
７．２ すべり覚センサの事例 ⚫ これまでに取り上げた触覚センサを用いて，その検出データ の情報処理を通して滑りを検知している ⚫ すでに「 ５. すべり覚センサの原理と開発例」で述べている ⚫ なお，感圧導電ゴム（高周波検出）について追記する 198
７．２ すべり覚センサの事例 これまでに取り上げた 触覚センサで， ⚫ 接触パターン， ⚫ 接線方向力， ⚫ 振動など を用いて，滑りを検知 することができるとし ている 199
7.2 すべり覚センサ(高周波検出) 力 200 変位 ① 物体が滑り出す直前付近で高周波成分が 急激に増加 ② Wavelet変換を用いて，この初期滑り を検出 S. Teshigawara, K. Tadakuma, A. Ming, M. Ishikawa, M. Shimojo, High Sensitivity Initial Slip Sensor for Dexterous Grasp, IEEE Int. Conf. on Robotics and Automation, 4867-4872, 2010
感圧導電ゴムの抵抗値変化 炭素量子 シリコンゴム Fn 電極 （１）無負荷 電気抵抗 ∞ Fn Ft （３）接線方向力：抵抗値変化 （２）法線方向力：抵抗値低下 導電粒子の 分布変化 複雑な電圧 変化 201
6 mm 7.2 すべり覚センサの開発(高周波検出) 5 mm 6 mm ”すべり”による感圧素材の特徴的な 特性を解析し ”すべり”を検出するセンサを開発した 5 mm 5 mm Pair of electrodes 202 5 mm Pressure conductive rubber ( 6 mm 6 mm, Thickness 0.5 mm) https://www.youtube.com/watch?v=ueSl7pWb8pc すべり覚センサ（ビデオ） Teshigawara, S.; Ishikawa, M.; Shimojo, M., Development of high speed and high sensitivity slip sensor, IEEE/RSJ IROS pp.47-45, 2008. S. Teshigawara, K. Tadakuma, A. Ming, M. Ishikawa, M. Shimojo: Development of high-sensitivity slip sensor using special characteristics of pressure conductive rubber, ICRA, pp.3289-3294, 2009.5 https://www.youtube.com/watch?v=cu18UJk3eZ8 把持力調整実験（最少力把持）
すべり覚センサをロボットハ ンドに実装： 把持力 すべり発生→把持力増加→把持力減少→すべり 発生→把持力増加→・・・ Slip S. Teshigawara, K. Tadakuma, A. Ming, M. Ishikawa, M. Shimojo: High Sensitivity Initial Slip Sensor for Dexterous Grasp, 2010 IEEE International Conference on Robotics and Automation (ICRA), pp.4867-4872, 2010.5 https://www.youtube.com/watch?v=WtuDZvrZ0Gg 203 https://www.youtube.com/watch?v=8obI1Gr53ZA https://www.youtube.com/watch?v=8obI1Gr53ZA
7.3 近接覚センサの事例 ① 光反射光量方式(フォトリフレクタ) ② 光/超音波の往復時間（TOF）方式 ③ 静電容量方式 ④ 触・近接覚方式 204
① 分布型近接覚 205 フォトリフレクタをアレイ状に配し，対象物面までの距離 （高速応答）と，距離パターン（低速応答）を計測する。 ⚫ フォトリフレクタ，抵抗ネットワークで接続して中心位 置を検出する方式に，各フォトリフレクタの出力（電 流）を計測して距離パターンを検出する方式を合わ せたセンサ ⚫ 中心位置の検出は１ｋｚ，距離パターンは100Hz，の サンプリング速度 ⚫ 左図は，球と円柱の距離パターン計測例を示す。 （パラメータとしてセンサと物体の距離を変化） Y. Hirai, Y. Suzuki, T. Tsuji and T. Watanabe: High-speed and Intelligent Pre-grasp Motion by a Robotic Hand Equipped with Hierarchical Proximity Sensors, IEEE/RSJ Int. Conf. on Intelligent Robots and Systems, pp.7424-7431, 2018.
① アレイ状近接覚によるpoint-cloud生成 206 Proximity Sensors on the fingertips and palm of the robot hand. Point clouds of general objects generated by the proximity sensors Procedure of the non-contact perception motion. Y. Suzuki (2021) Proximity-based non-contact perception and omnidirectional point-cloud generation based on hierarchical information on fingertip proximity sensors, Advanced Robotics, DOI: 10.1080/01691864.2021.1969268
207 ① 触・近接センサを指全周配置 A B 内部 リフレクタ型 近接覚 • トップ：4個 • ４側面：８個 計36個 袋の中から取り出す動作 ✓ 指周囲の物体を検出 ✓ 物体を避けること， ✓ 物体表面と平行にすること， ✓ エッジを検出すること， などが実行可能 触近接センサ構成： ✓ 近接センサをシリコンゴムに埋め 込む ✓ 近接距離：物体からの反射光+ ゴム面反射（B) ✓ 接触距離：ゴム面反射増大（A) N. Yamaguchi, S. Hasegawa, K. Okada and M. Inaba, "A Gripper for Object Search and Grasp Through Proximity Sensing," 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Madrid, 2018, pp. 1-9.
① 光導波板と複眼カメラを組合わせた触近接覚 208 hand ✓ 触覚：光導波板(Acrylic)を用いた 拡散光検出→赤外光検知用カメラ ✓ 近接覚：光導波板(Acrylic)からの 透過光→可視光用カメラ（2台）か らの視差から計測 複眼カメラ（9units） フィルタを挿入 近接出力 触覚出力 上段： 可視光カット 中下段： 赤外光カット K. Shimonomura, H. Nakashima and K. Nozu, "Robotic grasp control with high-resolution combined tactile and proximity sensing," 2016 IEEE International Conference on Robotics and Automation (ICRA), 2016, pp. 138-143.
209 ① 光の遮断による物体検知 Tissue grasping 1. 2. 3. 4. Kinect:Preliminary work point cloud Trace the edge Find the corner Grasp it エッジ追跡で角を検出 Four beams of IR light 赤外光の遮断による物体検知 Center detection 1. Gripper rotates around the x-axisfor 180 degrees 2. Records the sensing information ハンドを回転 して物体中心 位置を検出 Kinectでの前処理と光遮断法による検出 Di Guo, P. Lancaster, L. Jiang, Fuchun Sun and J. R. Smith, "Transmissive optical pretouch sensing for robotic grasping," 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 5891-5897.
① 協調動作空間での接触を予測検知 210 人間とのロボットの協調動作空間での接 触検知を近接覚センサで予測検知する 時の，最適な近接覚センサの配置の位 置と個数をシミュレーションによって評価 ⚫ 搭載センサ方式は，開発および キャリブレションの容易性，オク ルージョン排除の優位性の利点 20個配置 GP2Y0A02YK (Sharp ) 20-150cm ⚫ 産業用ロボット（ ABB IRB140 ）での最適化方法の結果 として，センサ配置数20個使用し た場合に、人間の検出確率のほぼ 90％を保証 ⚫ ロボットの回避制御として，セン サ情報に基づく、安全性を高める 回避アクションを行うリアクティ ブ制御が提案 G. Buizza Avanzini, N. M. Ceriani, A. M. Zanchettin, P. Rocco and L. Bascetta, "Safety Control of Industrial Robots Based on a Distributed Distance Sensor," in IEEE Transactions on Control Systems Technology, vol. 22, no. 6, pp. 2127-2140, Nov. 2014.
① 近接センサアレイによる分布計測 211 短冊形状のフレキシブルプリン ト基板上に赤外線LEDセンサー をアレイ状に配置 ✓ 検出範囲：0～300mm ✓ 応答性：５００Hz ✓ インターフェース：CAN (日本精工株式会社) https://www.nsk.com/jp/company/news/2015/press1201b.html
① 近接覚による自律的追従・把持（１） proximity sensor 212 高速な近接センシングに基づく，Reactive制御 を用いた、多自由度HandとArmの統合制御 ✓ 各指先の近接覚センサは、抵抗回路網型マト リクス状の構成である ✓ センサは，物体までの距離とその中心位置と に関係する値を高速(<1ms)に検出する ✓ センサ出力により、ハンド指面を物体形状に 倣わせ，同時に適切なアームの位置・姿勢に なるようReactive制御を行う ✓ 位置と姿勢は非接触で制御されるため、物体 やロボットを損傷する危険性はない Structure of a high-speed proximity sensor (An example m × n matrix of detectors where m = 3 and n = 3) K. Koyama, M. Shimojo, A. Ming, M. Ishikawa,"Integrated control of a multiple-degree-offreedom hand and arm using a reactive architecture based on high-speed proximity sensing,"The International Journal of Robotics Research, 38(14). 1717 - 1750, 201
① 近接覚による自律的追従・把持（２） 213 指先と物体面とが平 行となるように制御 近接センサ出力と関節 モータとの一対一接続に よるReactive制御 指先腹部位で物体を 把持するように制御 近接センサ出力（中心位置の値） https://www.youtube.com/watch?time_conti nue=3&v=gaxcQPKM9C8&feature=emb_logo 近接覚出力に基づく，多自由度HandとArmの制御 https://www.youtube.com/watch?v=Bi0oai6-yM https://www.youtube.com/watch?v=fn9T9toOn_c
① 近接覚による自律的追従・把持（3） 214 ビデオ Integrated control of a multiple-degree-of-freedom hand and arm using a reactive architecture based on high-speed proximity sensing https://www.youtube.com/watch?v=fn9T9toOn_c https://journals.sagepub.com/doi/abs/10.1177/0278364919875811
② 近接覚モジュールによるProximity servoing 215 人間とロボットの協調作業のため， ロボットにリング状配置した近接モ ジュールを備えたマニピュレーター ⚫ 近接モジュール：静電容量，ToFセンサの近 距離情報の組み合わせ ⚫ ロボットは変化する環境で，反射動作(reflex motions )のように衝突回避を実行 Proximity sensor cuff (PSC) 12 elements/PSC ⚫ 衝突回避経路として、直交運動で障害物の 周りを移動する近接サーボ方法を提案する ⚫ 回避運動は、衝突回避運動が許可する限り、 タスク運動を維持する capacitive electrodes ⚫ 3D深度カメラと比較して、関連するワークス ペース領域のほとんどを最小限のポイントで カバーできるとする TOF RGB LED front back ⚫ 一方、ToFセンシングの狭いレーザービーム の狭い視界を、広域静電容量センシングと の組み合わせによりカバーする Y. Ding, F. Wilhelm, L. Faulhammer, and U. Thomas, “With proximity servoing towards safe human-robot-interaction,” in 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2019, pp. 4907–4912.
② ToF+静電の複合型 VL53L0X 216 1. ToF型近接： ✓ 中距離計測 2. 静電容量型： ✓ 近接距離 ✓ 非接触材質判別 材質判別：静電型電極を用いた インピーダンス計測 Real part Imaginary part Cooling Pad, Coated Steel, ESD Foam(帯電防止剤）, Pork ,Humanを0.2 ｍｍの距離から計測したインピーダンス インピーダンス計測例 実線：実部，点線：虚部 ToFの役割は位置決めか？ Y. Ding, H. Zhang and U. Thomas, "Capacitive Proximity Sensor Skin for Contactless Material Detection," 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Madrid, 2018, pp. 7179-7184.
217 ② ToF+静電の複合型 ToF: VL6180X 27x27mm/ cell 拡大 役割分担 ⚫ 遠距離：ToF 静電容量 ⚫ 近距離：静電型 拡大 ToFと静電容量型センサの計測結果 測定物体(100×100mm)：導体と Acrylic，白と黒の紙を貼る センサ構成 ✓ ToF(VL6180X)+静電 型のモジュール構成 ✓ 24モジュールがI2Cで 接続 ✓ 全計測速度は58ms（計 測+伝送） S. Tsuji and T. Kohama, “Proximity and Contact Sensor for Human Cooperative Robot by Combining Time-of-Flight and Self-Capacitance Sensors,” in IEEE Sensors Journal，2020.
② フォトリフレクタアレイとTOFの複合型 218 近接センサを使用して、手と 対象物の間、および手と支持 面の間の相対的な姿勢と位 置に基づく把持を実現する 近接センサ PhotRef( SY1200) fingernail ToF(VL6180X) 指先： ⚫ フォトリフレクタを抵抗回路 網で構成したもの。中心位置 と距離を検出 爪先： ⚫ フォトリフレクタ。物体との 位置姿勢を計測 ⚫ ToF:反射率に関係なく支持面 まで距離を計測 K. Sasaki, K. Koyama, A. Ming, M. Shimojo, R. Plateaux and J. Choley, "Robotic Grasping Using Proximity Sensors for Detecting both Target Object and Support Surface," 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Madrid, 2018, pp. 2925-2932.
219 ② テレオペレーションへの利用 ① ② ① ガイダンス力 (引力) ② 禁止領域力 (斥力) ③ 近接倣い力 ③ 利点：スペースの制約、アクセシビリティ、またはオクルー ジョンのためにカメラや長距離センサーでは十分に観察で きない動的なオブジェクトや領域を探索できる VL6180X 計 6個配置 未知の幾何学的構造にロボットが接触することによる負の 結果を招くことなく、ターゲットとのインターラクションが可能 ✓ ターゲットの損傷または不要な変位を生じない ✓ 操作者は，より積極的に探索に集中可能 ✓ ハプティックフィードバックは、非ハプティックフィードバック と比較し衝突は半分以下。ユーザーは一貫して関心のあ るオブジェクトに近づくことができた K. Huang, P. Lancaster, J. R. Smith and H. J. Chizeck, "Visionless Tele-Exploration of 3D Moving Objects," 2018 IEEE International Conference on Robotics and Biomimetics (ROBIO), Kuala Lumpur, Malaysia, 2018, pp. 2238-2244.
③ 静電（電界）型近接覚 220 電界(Electric Field )変化による近接物体 の検知。バレットハンド指先に左図センサを 取付け把持を行う Left Receive short-range Mid-Range Transmit Short Range Rightelectrodes Receive attached to Finger bottom of sensor board. Transmit センサ出力変化 （相対比） B. Mayton, L. LeGrand, and J.R. Smith,"An Electric Field Pretouch System for Grasping and Co-Manipulation," 2010 IEEE Int. Conf. on Robotics and Automation https://www.youtube.com/watch?v=tMk0WKjqrk0 Mid-range
③ 静電型センサProximity servoing 221 裏 ✓ 力モード ： Layer AとB間の静電容量で計測 ✓ 近接モード： Layer Bと対象物間の静電容量で計測 ✓ ハンド両面の近接センサから物体 の位置姿勢を計測 ✓ Proximity servoingを行う S.E. Navarro, M. Schonert, B. Hein, H. Wörn,"6D proximity servoing for preshaping and haptic exploration using capacitive tactile proximity sensors,"2014 IEEE/RSJ International Conference on Intelligent Robots and Systems https://www.youtube.com/watch?v=nwH9GfzTek8
③ 衝突回避（静電容量型） 222 T. Schlegl, T. Kröger, A. Gaschler, O. Khatib, H. Zangl,"Virtual Whiskers — Highly Responsive Robot Collision Avoidance," 2013 IEEE/RSJ Int. Conf. on Intelligent Robots and Systems differential mode例 Single-ended mode Differential mode A descriptive example on how an approaching object deforms the electric field. https://www.youtube.com/watch?v=v7C_SHweCxM
③ 静電（電界）型近接覚 223 ⚫ PDMS(Polydimethylsiloxane) 上に 16×16 個の電極マトリクスを形成した静 電容量型触覚・近接覚複合センサ ⚫ 接触力の変形による静電容量の変化による 触覚センシング 近接覚 動作 触 覚 動作 ⚫ 電極-物体間に生じる静電結合により近接覚 センシング ⚫ 検出部は22mm 角 HK Lee, SI Chang, E Yoon, Dual-Mode Capacitive Proximity Sensor for Robot Application: Implementation of Tactile and Proximity Sensing Capability on a Single Polymer Platform Using Shared Electrodes, IEEE Sensors Journal, 9,12, 1748 - 1755, 2009
224 ③ 前例の実験データ Dual-Mode Capacitive Proximity Sensor 材質による静電容量変化 距離 VS 静電容量変化 HK Lee, SI Chang, E Yoon, Dual-Mode Capacitive Proximity Sensor for Robot Application: Implementation of Tactile and Proximity Sensing Capability on a Single Polymer Platform Using Shared Electrodes,IEEE Sensors Journal, 9,12, 1748 - 1755, 2009
③ 操作中物体の内部特性を計測 225 自己容量 方式 IDS S1:測定切り替え 相互容量 方式 IDD Electrodes 静電容量センシング：電極の励 起モードを切り替え，操作中物 体の内部特性を計測する 電極の配列に対して，シング ルエンド測定（IDS: 電極とグ ランド間容量）と差動測定 （IDD: 電極間容量）を実行、 空のボトルと空でないボトル を分類する 物体による電界の変化シミュレーション S. Mühlbacher-Karrer, A. Gaschler and H. Zangl, "Responsive fingers — capacitive sensing during object manipulation," 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Hamburg, 2015, pp. 4394-4401. https://www.youtube.com/watch?v=htc3lj8Los0&feature=youtu.be
④ 触・近接センサ(Univ.Colorado) 226 VNCL40101 proximity sensors PDMS 透明度の高いPDMS層の下にフォトリ フレクタ(VNCL40101)を配置する。 VNCL40101: proximity sensor detecting objects a distance up to 20 cm. reliable detection: atdistance up to 6–7 cm ⚫ 対象物の接近は反射光強度より検出 ⚫ 接触後は反射光強度からPDMSの変 形量を検出，力を推定する。 Dana Hughes, John Lammie,and Nikolaus Correll，A Robotic Skin for Collision Avoidance and Affective Touch Recognition, IEEE ROBOTICS AND AUTOMATION LETTERS, VOL.3, NO.3, pp.1386-1393, 2018
④ 触・近接覚（１）(Univ. Tokyo) 227 対象物面までの距離と傾きを，反射率の影 響を受けず，高速・高精度に計測する ⚫ フォトリフレクタの配置間隔，点滅位相を工 夫することで，対象物表面の反射率の影響を 受けない ⚫ 応答時間：1ms以下，計測精度：50mm以下 ⚫ 対象物までの距離ゼロを接触と見なすことで 高感度な接触検知可能 1)近接覚 elastomer LEDs Phot.Diode 2)触覚 elastomer ⚫ 高精度位置計測が可能たため，指先柔軟体に 接触後の変位計測より接触力を計測可能
④ 触・近接覚（２）(Univ. Tokyo) Distance mode https://www.youtube.com/watch?v=v0jTcjZWz88 https://www.youtube.com/watch?v=UVMg2qdhdYs 228
④ 触・近接覚（3）(Univ. Tokyo) https://www.youtube.com/watch?v=v0jTcjZWz88 229
ワンチップ型の高速・高精度近接覚センサ https://www.youtube.com/watch?v=KMmkcUkTC5w 230
触覚情報と視覚的外観を同時に提供する新しい種類のセンサ SeeThrough-your-Skin sensor (STS） Half silvered coating LED lights 231 Transparent gel Camera Camera ⚫ 内部照明の切替え：ゲル表面は 透明状態（右：カメラによる外 界識別）と不透明な状態（左： 反射型触覚センサ） ⚫ 触覚と視覚の情報を融合:視覚 と触覚の信号を融合させること で，性能を向上させる 15cm×15cm surface (a) STS components (b) STS prototype Francois R. Hogan, Michael Jenkin, Sahand Rezaei-Shoshtari, Yogesh Girdhar, David Meger, Gregory Dudek; Seeing Through Your Skin: Recognizing Objects With a Novel Visuotactile Sensor, Proc. of the IEEE/CVF Winter Conference on 異なるモダリティを持つResNet-50 での物体認識の学習曲線
８．触覚センサの研究開発動向 8.1 新製法&新材料の利用 8.2 機械学習での利用 232
8.1 新製法&新材料の利用 ⚫ E-skin (Printed Electronics) ⚫ Soft robotics (3D Printing) 233
E-skin (Printed Electronics) 柔軟で伸縮自在な素材で構成するE-skin は、人間の体性感覚システムを模倣する ために開発されており、ロボット工学、 義肢装具、ヘルスモニタリングや， ヒューマン・インターフェースなどへの 応用が注目されている。柔らかく伸縮自 在にすることで、より快適な装着感が得 られるとともに、接触面積が増えること で検出信号の忠実度が大幅に向上する。 https://www.youtube.com/watch?v=XDyZTbjkjNE https://www.youtube.com/watch?v=cc4IWtaOx_s 234
有機薄膜トランジスタ作成（ビデオ） https://www.youtube.com/watch?v=peE8Sm5xEz8 Organic Thin Film (OTFT) 235
E-skin(Electronic Skin) Electronic Skin https://www.youtube.com/watch?v=4oqf--GMNrA Electronic Skin Could Track Your Vital Signs https://www.youtube.com/watch?v=zpGujcLRHNw 236
有機トランジスタによる触覚センサ 237 http://www.ntech.t.u-tokyo.ac.jp/research_results/index.html 概要：薄さ(2 µm)の有機トランジスタ集積回路を、1.2 µm厚のポリ エチレンテレフタレート基板上に作製したフレキシブルな回路 特徴 ⚫ センサ１セルは4 mm角、4.8 × 4.8 cm2のアクティブエリ アに144 (12 × 12) セル搭載 ⚫ 人間の肌のような自由曲面に貼り付けることが可能 ⚫ デバイスは電気的・機械的特性の劣化がほぼなしで233%ま で伸長可能 ⚫ デバイスを生理食塩水に2週間以上浸漬、電気特性に劣化なし M. Kaltenbrunner, T. Sekitani, J. Reeder, T. Yokota, K. Kuribara, T. Tokuhara, M. Drack, R. Schwödiauer, I. Graz, S. B. Gogonea, S. Bauer & T. Someya, An ultra-lightweight design for imperceptible plastic electronics, Nature 499, 458–463, 2013
E-skin: 圧力と温度の計測 238 有機トランジスタを用いた 大面積の圧力と温度計測， E-skin （2005年） フレキシブルな、大面積型の熱・圧力セ ンサ（伸張は25%可能） ⚫ 圧力センサ：感圧ゴムシートと、ポリ イミドフィルムで挟まれた銅電極を形 成。この2つのフィルムをトランジス タフィルムの上にラミネートして、圧 力センサを制作 ⚫ 温度センサ：エレクトロルミネッセン ス素子や太陽電池と同様の構造を持つ 有機ダイオードを、ITO（インジウム 錫酸化物）コーティングされたポリ （エチレンナフタレート）フィルム上 に制作 触 検 出 選 択 圧力 温度 Takao Someya, Yusaku Kato, Tsuyoshi Sekitani, Shingo Iba, Yoshiaki Noguchi, Yousuke Murase,Hiroshi Kawaguchi, and Takayasu Sakurai, Conformable, flexible, large-area networks of pressure and thermal sensors with organic，transistor active matrixes,PNAS August 30, 2005 102 (35) 12321-12325; https://doi.org/10.1073/pnas.0502392102
A hierarchically patterned, bioinspired e-skin able to detect the direction of applied pressure 239 法線力とせん断力をリアルタイムで 測定するe-skin thin-film dielectric CNT electrodes Polyurethane 突起 ⚫ 突起ごとに25個（頂上に1個，斜面に 4個，角に4個，突起を囲むように16 個）のコンデンサのアレイを形成 ⚫ 傾斜力を加えたとき，コンデンサの場 所による静電容量変化の違いから法線 接線力を検出 e-skin概念図 e-skinを用いたアームの制御実験 e-skin（単一素子） センサ素子は一個 Clementine M. Boutry, Marc Negre, Mikael Jorda, Orestis Vardoulis, Alex Chortos,Oussama Khatib, Zhenan Bao, A hierarchically patterned, ioinspired e-skin able to detect the direction of applied pressure for robotics, SCIENCE ROBOTICS,Vol 3, Issue 24, 2018 DOI: 10.1126/scirobotics.aau6914
Energy-Autonomous, FlexibleTactile Skin 240 単層グラフェンをベースとした透明な触覚 層と、その下の光電池からなる新しい構造 を、エネルギー自律型の柔軟な触覚e-skin PDMS Ti/Au pads Graphene capcitor ⚫ PDMS保護層と単層グラフェン・CoPlanar Capacitorの組み合わせ ⚫ 最大80kPa、最小0.11kPaの圧力感度 ⚫ 消費電力：20nW cm-2 PVC Solar cell Flexible graphene-on-PVC sample with an interdigitated pattern Intermediate Phalange sensor Ti/Au pads Proximal Phalange sensor PVC Ti/Au pads Graphene capacitive sensors attached on an i-Limb Active area of the Grapene capacitive sensor Carlos García, NúñezWilliam, Taube Navaraj, Emre O. Polat and Ravinder Dahiya, Energy-Autonomous, Flexible, and Transparent Tactile Skin,Adv. Funct. Mater. 2017, 27, 1606287 DOI: 10.1002/adfm.201606287
Electronic skin for pressure visualization 241 薄膜トランジスタ、 圧力センサ(PSR)、 有機ELを、大面積 に集積し，加圧部 分の有機発光ダイ オード(OLED)が点 灯して、光によっ て圧力の大きさを 表示する PSR: pressuresensitive rubber OLED: organic lightemitting diode Current (mA) 16×16 I–V characteristics of the OLED and PSR combination Voltage (V) ⚫ PSR上面には銀インクが 塗布，回路GNDに接続。 ⚫ 加圧すると • PSR抵抗値低下 • OLED電流増加 • OLED点灯 Wang, C., Hwang, D., Yu, Z. , Takei, K. et al. Userinteractive electronic skin for instantaneous pressure visualization. Nature Mater 12, 899–904 (2013). https://doi.org/10.1038/nmat371
単結晶シリコンナノリボンを配列 e-skin 電気抵抗ヒータ 242 超薄型の単結晶シリ コンナノリボン （SiNR）ひずみ・ 圧力・温度センサー アレイを備えた伸縮 自在の人工皮膚 ⚫ 義手の表面全体を覆う、 伸縮するセンサとヒー タを内蔵した人工皮膚 ⚫ SiNRを用いた歪み・温 度、圧力(Cavity利用) 検出 ⚫ センサーを千鳥状に配 置した積層構造 ⚫ ヒータは人工皮膚が自 然に感じられるよう， その温度を人体と同じ ように制御 silicon nanoribbon (SiNR) SiNR:single crystalline silicon nanoribbon Kim J, Lee M, Shim HJ, Ghaffari R, Cho HR, et al. 2014. Stretchable silicon nanoribbon electronics for skin prosthesis. Nat. Commun. 5:5747
多機能センシングのための皮膚インスパイア型SCMN 243 伸縮可能な構造を用いて 多機能なセンシング性能 を実現する100個の感覚 ノードを蛇行するワイヤ で接続したSCMN ⚫ 温度、面内歪み、湿度、紫 外線、磁場、圧力、近接 5 mm Schematic layout of an SCMN—an integrated sensor array with eight function SCMN (stretchable and conformable matrix network ) Optical image of the fabricated polyimide network (10x10array) In-plane strain sensing Hua, Q., Sun, J., Liu, H. et al. Skin-inspired highly stretchable and conformable matrix networks for multifunctional sensing. Nat Commun 9, 244 (2018). https://doi.org/10.1038/s41467-017-02685-9 Pressure and proximity sensing
Stretchable, and transparent triboelectric tactile sensor 244 銀ナノ繊維電極 (Ag-nanofibe)を 用いた，自己発電型 で伸縮自在，かつ透 明な摩擦電気式触覚 センサ 帯電層 ⚫ 伸縮性100%以上 ⚫ 透過率70％ ⚫ 高速応答性(約70ms) 絶縁層 triboelectric tactile sensor 左センサの写真 列電極と行電極、帯電層、絶縁体層、基 板からなるクロスバー型の電極構成 アクティブエリア：3.4×3.4cm2 配列： 8×8マトリクス構造 デバイス上の画素を選択した ときの電圧値 Xiandi Wang, Yufei Zhang, Xiaojia Zhang, Zhihao Huo, Xiaoyi Li, Miaoling Que, Zhengchun Peng, Hui Wang, Caofeng Pan, Advanced Materials, Volume30, Issue12, March 22, 2018 https://doi.org/10.1002/adma.201706738
摩擦帯電型ナノ発電機 （triboelectric nanogenerator、TENG） 245 摩擦帯電効果 摩擦帯電効果と静電誘導の組合わ せによって，外界の力学的エネル ギーを電気エネルギーに変換する 発電デバイスである Kapton：ポリイミド PMMA：アクリル 1. 電気的に中性な有機層が2層(ポリイミドとアクリル）がある（右図 I）。 2. デバイスが曲げや圧迫を受けると、有機層どうしが接触して電荷の移動が起こり、片側の表面が 正電荷を、もう片側が負電荷を帯びる（図 II）。これは単純な摩擦帯電効果である。 3. 変形が解放されると、二つの表面は自然に離れていき、上下の電極間に電位差が生じる。このた め、一方の電極からもう一方へ電子が外部負荷を通って流れていく（図 III）。この電流は電極 間の電位が等しくなるまで継続する（図 IV）。 4. その後、有機層が再び互いに圧迫されて間隔が狭まると、正負の電荷対によって誘起される電位 差が減少するため、電子が外部負荷を逆向きに流れて逆方向の電流パルスが発生する（図 V）。 https://ja.wikipedia.org/wiki/%E3%83%8A%E3%83%8E%E7%99%BA%E9%9B%BB%E6%A9%9F
帯電列 ⚫ 帯電列とは、プラスの静電気を帯びやすい物体を上位(左側)に、マイ ナスの静電気を帯びやすい物体を下位(右側)に並べた配列のこと ⚫ 接触や摩擦があったとき、帯電列上で、近い位置にあるものは帯電 量が小さく、遠い位置にあるものは帯電量が大きくなる ✓ 身近な例だと、パジャマの素材が「木綿・麻・絹」のいずれかの場合、帯電列上で「木綿・麻・絹」は「人などの皮膚」 と近い位置にあるため、帯電量が小さくなります(静電気が発生しにくくなります)。 ✓ 一方、パジャマの素材が「ポリエステル」の場合、帯電列上で「ポリエステル」は「人などの皮膚」と遠い位置にあるた め、帯電量が大きくなります(静電気が発生しやすくなります)。 https://detail-infomation.com/triboelectric-series/ 246
Soft robotics (3D Printing) 247 No-Audio ソフトロボティクスでは，シリコーンゴム などの柔軟な素材を用いて，生物と似たよ うな器用な動作を実現するロボットを目標 としている。しかし、非線形変形が大きく、 関節のない構造のため、従来のポテンショ メータやエンコーダなどのセンサーでは対 応できず、ソフトロボットに対応したセン サーが必要となっている。 https://www.youtube.com/watch?v=RUfuhW0cnRU https://www.youtube.com/watch?v=p1qyg4TbDgQ&t=22s
3-D Printed Tissue(Fugitive Ink ) Fugitive Ink Flees the Scene to Help Sustain 3-D Printed Tissue https://www.youtube.com/watch?v=p1qyg4TbDgQ&t=22s 248
柔軟なマイクロ流体路センサの作り方 1/2 249 1. インクジェットプリンターで、マイクロ チャネルのベースとなる基板（PDMSな ど）上に、目的のチャネル形状の犠牲層 (Fugitive Ink )を印刷する 2. 犠牲層(ex:PEG)は相変化温度以上に加熱 し、溶媒に溶かすことで除去できる （この例では，PEG構造体を60℃で加熱，溶融させた 後、溶液IPAを注入しPEGを洗い流す） 3. その後、必要な液体を注入することで チャネルを使用することができる。 分離層を挟んだ チャネルの断面 a)PDMS基板上に印刷さ れたPEG犠牲層 b) 犠牲層を封入・溶解した後、着色した色 素で満たされたマイクロ流体チャネル Alfadhel A, Ouyang J, Mahajan CG, Forouzandeh F, Cormier D, Borkholder DA. Inkjet Printed Polyethylene Glycol as a Fugitive Ink for the Fabrication of Flexible Microfluidic Systems. Mater Des. 2018;150:182-187. c) 2つの犠牲層を印刷し、その間に 構造層を実現することで作製し た多層マイクロ流体チャネル
柔軟なマイクロ流体路センサの作り方 2/2 250 R/R0 [%] 曲げ半径を変えたときの抵抗値の変化 a) 伸縮可能なマイクロ 流体抵抗器 Ex；液体金属： EGaIn ガリウム (Ga)とインジウム(In)の共晶合金 b)液体金属を注入 した抵抗器 抵抗値は36Ω Bending Radius [mm] 1. 曲げると抵抗器の長さが長くなる 2. マイクロ流体抵抗器の断面積が小さくなる 3. 抵抗値上昇 R/R0 [%] マイクロ流体圧力センサの圧力応答 1. 圧力を感知する領域に負荷がかかる 顕微鏡写真 2. メンブレンが曲がって流体が側面領域に移動 3. 断面積が変化→抵抗が変化 円形領域：直径8 mm，高さ32 µm 流路：側面に長さ5 mm，幅200 µm Pressure[kPa] Alfadhel A, Ouyang J, Mahajan CG, Forouzandeh F, Cormier D, Borkholder DA. Inkjet Printed Polyethylene Glycol as a Fugitive Ink for the Fabrication of Flexible Microfluidic Systems. Mater Des. 2018;150:182-187.
Soft Robotic Fingers with Embedded Ionogel Sensors 251 先端部，基端部，指全体の動作を可能 にする2つの離散的な流体ネットワーク を持つソフトフィンガー アクチュエータ ⚫ 指は2自由度を実現し、4つのイオ ノゲルセンサによって各自由度に 対応した個別の曲げと接触センサ を備える ⚫ 指の動作モードに対応する閉ルー プ制御を目指す 曲率センサ：指の先端，根元 接触センサ：指の先端，腹 曲率センサ 接触センサ R. L. Truby, R. K. Katzschmann, J. A. Lewis and D. Rus, "Soft Robotic Fingers with Embedded Ionogel Sensors and Discrete Actuation Modes for Somatosensitive Manipulation," 2019 2nd IEEE International Conference on Soft Robotics (RoboSoft), 2019, pp. 322-329
252 Soft Robotic Fingers with Embedded Ionogel Sensors ビデオ https://www.youtube.com/watch?v=RUfuhW0cnRU No-Audio
3D Printed Stretchable Tactile Sensors Top electrode 253 3D印刷技術を用いて，自由形 状の表面に触覚センサを製造 Supporting layer Sensor layer ⚫ 高い柔軟性、電気伝導性、お よび感度を備えた一連の新規 インクを開発(ピエゾ抵抗型） Bottom electrode 指先に印刷された3D触覚センサ センサー層 のSEM画像 ⚫ シリコーンゴムは，皮膚の弾 性率に近い150kPaの低弾性 率と，人の皮膚の硬度（ショ アA20）よりも低い硬度 （ショアA10）を有している scaleBar :200 mm 人間の指で押したときの 電流変化信号 周波数(0.125Hz )で 200 kPa の動的 圧力をかけたときの周波数応答 ⚫ 新しいインク：サブマイクロ メートルサイズの銀粒子を高 伸縮性シリコーンエラスト マー（Dragon Skin 10）に 混合 ⚫ 柔軟で伸縮可能なセンサで、 脈拍や指の押し曲げなどの検 出例 Shuang-Zhuang Guo,Kaiyan Qiu,Fanben Meng,Sung Hyun Park,Michael C. McAlpine, 3D Printed Stretchable Tactile Sensors, Advanced Materials,Volume29, Issue27,July 19, 2017 DOI: 10.1002/adma.201701218
3D Printed Stretchable Tactile Sensors 254 ビデオ https://www.youtube.com/watch?v=GCT0KwFw-pM
３D印刷による静電容量型センサ 255 電気二重層 (EDL)キャパシタ を用いた静電容量型触覚センサ Ionic capacitive sensor based on 3D printed mesh イオン液体は電圧印加で電極-イオン液体 界面に電気二重層を形成しキャパシタと して振る舞う。 電極 OHMS 手首に装着したセンサの 静電容量応答 ⚫ この静電容量は界面の面積に比例 する ⚫ 無負荷の状態では、静電容量は、 数個のマイクロドームと上部電極 AgNWs の接触によって形成された界面の 静電容量で構成される ⚫ 圧力を上げると、以前の接触面積 が拡大するだけでなく、低いマイ クロドームも接触面積に寄与し始 める ⚫ 高圧下では、基底部のマイクロ ドームが徐々に電極に接触し、界 面の静電容量がさらに増加する メッシュ構造を持つ誘電体層 Cation 正イオン Anion 負イオン Q. Zou, Z. Ma, S. Li, Z. Lei, Q. Su, Tunable ionic pressure sensor based on 3D printed ordered hierarchical mesh structure. Sensors Actuators A Phys. 308, 112012 (2020)
3D-printed stretchable piezoelectric nanogenerator 256 自己発電型圧電 触覚センサ 靴下に貼り付けたセンサ ⚫ ３D印刷により，両電極と 圧電体であるBTO／P （VDF-TrFE）複合体を作 成した ⚫ 切り紙パターンは、柔軟性 のあるPVDF系材料の伸縮 性を実現，圧電特性やセン シング動作も変化可能 3D printed P(VDF-TrFE) 異なる踏み込み姿勢で足踏みを したときの電圧出力 ３D印刷方式 ⚫ 靴下などのウェアラブル繊 維に装着することで、足踏 みエネルギーを回収するエ ネルギーハーベスタとして、 また自力で歩行センサーと して使用することができる X. Zhou, K. Parida, O. Halevi, Y. Liu, J. Xiong, S. Magdassi, P.S. Lee, All 3D-printed stretchable piezoelectric nanogenerator with non-protruding kirigami structure. Nano Energy 72, 104676 (2020)
3D printed, soft, resistive sensors 257 3D印刷で，空気圧式のグリッパーに直接センシング 機能を組み込んだソフトグリッパ ⚫ 柔軟な半透明のフォトポリマと柔軟な黒色のフォトポ リマ（TangoBlackPlus FLX980）などから構成 ⚫ 黒い樹脂にはカーボン粒子（Stratasys, 2014b）が含ま れており，わずかではあるが測定可能な導電性が得ら れセンサーとして利用 ⚫ 破断伸度は約20％（実験値） B. Shih, C. Christianson, K. Gillespie, S. Lee, J. Mayeda, Z. Huo, M.T. Tolley, Design considerations for 3D printed, soft, multimaterial resistive sensors for soft robotics. Front. Robot. AI 6, 30 (2019) Normalized change in resistance vs. strain for the uniaxial strain sensor. The mean is 108 MW. Number of samples n = 3.
液体金属を用いた触覚センサ 258 ⚫ 流路に封入された液体金属の変 位によるインダクタンスの変化 に基づいて，加えられた法線方 向の力を推定 ⚫ 誘導センサー技術と液体金属-流 路を用いることで，圧縮性，伸 縮性，耐久性に優れた触覚セン サーを実現した https://www.youtube.com/watch?v=TU6RE7HCqSY S. Hamaguchi et al., "Soft Inductive Tactile Sensor Using Flow-Channel Enclosing Liquid Metal," in IEEE Robotics and Automation Letters, vol. 5, no. 3, pp. 4028-4034, July 2020, doi: 10.1109/LRA.2020.2985573.
8.2 機械学習での利用 259 近年，ロボティクス分野では触覚センサを用いた機械学習の研究が多くなってきた。 ただし，これまでもpeg-in-hole作業で，触覚(力覚)データを基に機械学習を行い，制 御方法を獲得する研究は多くあった[25]。そのほか振動·圧力を出力する触覚センサで 滑り検出を視覚を利用して学習させた研究[26]，把持の安定性を触覚データから学習 し判別する研究[27] [28] など様々な研究がある。最近では，触覚データを用いた物 体の形状，固さ，テクスチャー，材質などの機械学習による識別の研究が増えている [29] [30] [31] [32]。 [26] Y. Tada, K. Hosoda: Acquisition of multi-modal expression of slip through pick-up experiences, Advanced Robotics, 21(5-6),pp.601-617, 2007. [31] S. Funabashi, S. Morikuni, A. Geier, A. Schmitz, S. Ogasa,T.P. Tomo, S. Somlor, S.Sugano: Object Recognition Through Active Sensing Using a Multi-Fingered Robot Hand with 3D Tactile Sensors, IEEE Robotics and Automation Letters, 3(3),pp.1482-1489, 2018
8.2 機械学習での利用 260 多指ハンドでの操りの研究も増えてきた[33]。例えば文献[34] では，ShadowHand(24DoF) を使い立方体の掌内での操りを行っている。文献[35] ではShadowHand による円 筒物体の操り制御の研究がある。モデルベースを用いて，少ない試行で学習可能とのこと である。文献[36] では，廉価型3指ハンド(9-DoF， Dynamixel使用) を使い，バルブの 開閉，ドア開け作業などを人間による教示を用いて短時間で学習できることを示している。 これらは視覚を用いた機械学習のようだ。視覚と触覚を利用した研究では，多指ハンドで の把持で視覚に加え触覚からの接触情報を機械学習に導入すると，ロバスト性が格段に向 上したのと報告がある[37]。同様に，高解像度触覚GelSight を実装した2指ハンドでの把 持では，把持速度の向上，適切な把持力など性能が向上したとの報告がある[38]。 下条 誠，これからの触覚技術，日本ロボット学会誌 37(5) 385-390,2019 [34] OpenAI: Learning dexterous in-hand manipulation, CoRR, vol. abs/1808.00177, 2018. [38] R. Calandra, A. Owens, D. Jayaraman, J. Lin, W, Yuan, J. Malik,E.H. Adelson, S. Levineg: More Than a Feeling: Learning to Grasp and Regrasp Using Vision and Touch,IEEE Robotics and Automation Letters, 3(4), pp.3300-3307, 2018.
8.2 機械学習での利用 261 ここで触覚が確実に必要になる作業としては，巧緻な動作が必要な組立などの作業があると思う。ロボット ハンドを用いた部品の巧みな操りや組立は，ロボティクス分野で最も挑戦的な試みである。最近，視覚と触 覚の協調動作で操りのスキルを学習する興味深い例がある[39]。Jenga という積み木抜きゲームをロボット が実行している。興味深い点は，視覚では認識できないブロック間の相互関係を，触覚付き指で押し，移動 量と反力から摩擦力などを推定し，ブロックを選び抜き取っている。この場合，特に触覚の重要性が際立っ ている。この例のように巧緻な操りでは触覚が重要な役割を果たすと考える。 上記のような多指ハンドでの巧みな動作制御アルゴリズムを人間が設計することは困難であろう。機械学習 は，視覚と触覚など異なる感覚モダリティーを統合する上で有効であり，数多くのパラメータが関係する制 御設計が難しい動作に対して，新たなフレームワークとツールを提供すると考える。ただし，機械学習は大 量のデータを判断の手がかりとする。触覚でのデータ取得は対象物に触れ，動作を行う触運動により取得す るため時間が掛かる問題がある。このため転移学習など各種学習方法の研究も行われている[40]。 [39] N. Fazeli, M. Oller, J. Wu, Z. Wu, J.B. Tenenbaum, A. Rodriguez: See, feel, act: Hierarchical learning for complex manipulation skills with multisensory fusion, Science Robotics, 4(26), eaav3123, 2019. [40] M Kaboli, D Feng, G Chengr: Active tactile transfer learning for object discrimination in an unstructured environment using multimodal robotic skin, Int. J. of Humanoid Robotics, 1(1),1850001, pp.1-28, 2018.
①機械学習での利用 262 振動、圧力、視覚を利用することで滑り （マクロとミクロ）を獲得できるニューラ ルネットワークを提案 ⚫ 機械学習では，視覚での対象物の滑り検 出を基に，圧電フィルム(PVDF)で振動、 ひずみゲージで圧力をデータとして利用 ⚫ Outer layerとinner Layerの二層構造， 各層にPVDF6枚，歪ゲージ6枚，計24個 の検出器を配置 A robot system consists of fingers equipped with tactile receptors and a vision sensor. Y. Tada, K. Hosoda: Acquisition of multimodal expression of slip through pick-up experiences, Advanced Robotics, 21(5-6), pp.601-617, 2007. The fingertip has two layers and a metal rod imitating the structure of the human fingertip. A sensor network that learns multi-modal expression of the slip. The weights between the tactile nodes and the visual nodes are updated by a Hebbian rule.
② Object Recognition Through Active Sensing 3軸力センサ 16個 263 Using a Multi-Fingered Robot Hand 高密度に分布した力ベクトル計測に よる触覚物体認識 ⚫ uSkin触覚センサをAllegro Handに組込， 合計240の3軸力ベクトル測定 ⚫ 対象物体は，Yale-CMU-Berkeley (YCB) のオブジェクトモデルセットか ら20個選んだ ⚫ 物体の認識実験では，単純なフィード フォワード型，リカレント型，および畳 み込み型のニューラルネットワークを使 用している ⚫ 20個の物体に対して、最大95％の物体 認識率を達成した 磁石とホール素子 の組合わせにより 3軸力を検出 uSkin触覚センサ S. Funabashi, S. Morikuni, A. Geier, A. Schmitz, S. Ogasa, T.P. Tomo, S. Somlor, S.Sugano: Object Recognition Through Active Sensing Using a Multi-Fingered Robot Hand with 3D Tactile Sensors, IEEE Robotics and Automation Letters, 3(3), pp.14821489, 2018
③Learning Dexterous In-Hand Manipulation https://www.youtube.com/watch?v=jwSbzNHGflM 264 OpenAI: Learning dexterous in-hand manipulation, CoRR, vol. abs/1808.00177, 2018.
④Dexterous Manipulation with Deep Reinforcement Learning 265 モデルフリーの深層強化学習アルゴリズ ムを用いての器用な多指ハンドの操作 強化学習（RL）と最適制御の技術は、手で指 定するのが困難な複雑なコントローラを最適 化するための汎用的なパラダイムを提供する 課題：弁の回転，箱の反転，ドアの開閉 弁の回転 ドアの開閉 ⚫ 実験の結果、複雑な多指の操作スキ ルは、ほとんどのタスクにおいて、 実世界で4～7時間程度で習得できる こと、また、デモンストレーション を行うことで、23時間程度に短縮で きることを示した ⚫ モデルフリーの深層強化学習は、数 時間の時間スケールで首尾一貫した 操作スキルを習得できることがわ かった（バルブを回すのに7時間、箱 をひっくり返すのに4時間、ドアを開 けるのに16時間） H. Zhu, A. Gupta, A. Rajeswaran, S. Levine and V. Kumar, "Dexterous Manipulation with Deep Reinforcement Learning: Efficient, General, and LowCost," 2019 International Conference on Robotics and Automation (ICRA), 2019, pp. 3651-3657, doi: 10.1109/ICRA.2019.8794102.
④Dexterous Manipulation with Deep Reinforcement Learning 266 無音声 https://www.youtube.com/watch?v=mpGK4zbdi6g&t=9s H. Zhu, A. Gupta, A. Rajeswaran, S. Levine and V. Kumar, "Dexterous Manipulation with Deep Reinforcement Learning: Efficient, General, and LowCost," 2019 International Conference on Robotics and Automation (ICRA), 2019, pp. 3651-3657, doi: 10.1109/ICRA.2019.8794102.
⑤ Learning to Grasp and Regrasp Using Vision and Touch 267 7-DoF Sawyer arm Tactile: GelSight Vision:Kinect2 Weiss WSG-5 gripper Action-conditioned visuo-tactile model network architecture. 視覚と触覚を把持システム に統合する研究 視覚-触覚データから再把持戦略を学習するエンドツーエンドの行動条件モデルを提案。 マルチモーダルな深層畳み込みネットワークで、把持調整の候補の結果を予測し、最も有望 な行動を繰り返し選択して把持を実行する 65以上のトレーニング対象物から6450回（？）の把持実験で収集，その間GelSightのゲルを消耗のために 何度も交換した。さらに、ゲルの表面が徐々に摩耗することで、画像は時間とともに大きく変化する R. Calandra et al., "More Than a Feeling: Learning to Grasp and Regrasp Using Vision and Touch," in IEEE Robotics and Automation Letters, vol. 3, no. 4, pp. 3300-3307, Oct. 2018, doi: 10.1109/LRA.2018.2852779.
⑤ Learning to Grasp and Regrasp Using Vision and Touch 268 視覚&触覚モデルは、視覚のみ のモデルと円柱フィッティン グモデルの両方を大幅に上回 り、94％の精度を達成 R. Calandra et al., "More Than a Feeling: Learning to Grasp and Regrasp Using Vision and Touch," in IEEE Robotics and Automation Letters, vol. 3, no. 4, pp. 3300-3307, Oct. 2018, doi: 10.1109/LRA.2018.2852779. https://www.youtube.com/watch?v=0eQCSrKdt5w
⑥ Hierarchical learning for complex manipulation skills Learned Physics Model Sensor Measurements Robots ロボットシステム Controller 人工知能アーキテクチャ Game Play Module 269 with multisensory fusion トップダウン・ボトム アップのアプローチでの 操作スキルの学習 ⚫ トップダウン学習：タワーモ デルの学習 Interface and Estimation ⚫ ボトムアップ学習：状態遷移 モデルを学習。関節力と視覚 データを用いて，行動が与え られたとき，将来の状態の条 件付き分布をモデル化 ロボット手首にIntel RealSense D415カメラとATI Gamma 6軸 センサを装着 ⚫ 近年のマニピュレーションのためのRLの傾向は、主に視覚領域での学習に焦点を当てて おり、ディープRLやコンピュータビジョンアルゴリズムの進歩を利用している ⚫ 但し、多くの接触型操作スキルを自動化することが難しい。これは触覚情報は断続的で あることが多い。つまり、短い時間で接触したり離れたりする。そのため、触覚情報と 視覚情報を効果的に統合することは困難なため ⚫ これら問題に対して，階層的な推論と多感覚の融合をエミュレートする方法論を提案 N. Fazeli, M. Oller, J. Wu, Z. Wu, J.B. Tenenbaum, A. Rodriguez: See, feel, act: Hierarchical learning for complex manipulation skills with multisensory fusion, Science Robotics, 4(26), eaav3123, 2019.
⑥ Hierarchical learning for complex manipulation skills 270 with multisensory fusion 無音声 https://www.science.org/doi/10.1126/scirobotics.aav3123 N. Fazeli, M. Oller, J. Wu, Z. Wu, J.B. Tenenbaum, A. Rodriguez: See, feel, act: Hierarchical learning for complex manipulation skills with multisensory fusion, Science Robotics, 4(26), eaav3123, 2019.
9. まとめ 271
まとめ 1/2 272 人間の優れたところは,創造する脳と，それを実体化する“手”にある。この“手”の機能を実現する 試みがロボット技術のフロンティアとしていま注目されている。触覚はこの手の機能を向上させ るためには必要不可欠な感覚である。 1. 触覚の欠点は接触しないと情報が取れないことである。このためアプロー チ動作では対象物に衝突させないため低速度での動作となる 2. 同様に，接触から離れると検出できない。たとえば把持操作中に接触が僅 かでもなくなると制御が格段に難しくなる。これは把持操作では大きな欠 点である。また機械学習では，接触が断続する触覚は使いづらいようであ る。この点，接触が離れても連続して計測できる触・近接覚センサを利用 する方が合理的であろう 3. 把持操作はアームの働きが重要である。このためアームとハンドの協調動 作のための統合制御が必須である。その一つの方式として，適応性に必要 な高速動作が可能であるReactive方式のさらなる発展に期待したい 4. 触覚センサは高感度に接触を検出できればよいと思う。また時間・空間的 に高分解能で計測できれば素晴らしい。時間分解能として1[ms]程度，空 間分解能としてカメラを利用するGelSightのような高空間分解能触覚が興 味深い。なお圧力強度の分解能は，せいぜい3bit，あるいはそれ以下でも よいのではないかと思う
まとめ 2/2 273 1. 柔軟性，大面積，伸縮性を備えた印刷技術などで製造したセンサの利用が進 むであろう。また3D印刷技術によるセンサと構造体と一体になった作成も 興味深い 2. 特にPrinted Electronics，３D-printなどの技術の進歩は，従来にないセ ンサ性能を安価に提供する可能性がある。但し，耐久性など各種特性につい ては現状ではまだ未知な点があるが，使い捨て利用の用途も多い 3. カメラモジュールを用いた高空間分解能型の触覚センサは視覚情報処理技術 との相性もよく，各種制御などへの利用が進むであろう 4. 近接覚を基礎とした触・近接覚センサは，一つの発展の方向性を示すと思う 5. 機械学習のロボット技術への応用が急速に進歩している。組立などハンドを 用いた巧緻作業の実現は，社会に大きな変革をもたらす。特に多指ハンドで 各種感覚を統合したマルチモーダルな多パラメータ系での制御アルゴリズム の構築では，機械学習が新たなフレームワークとツール提供するであろう 6. 多指ハンドの制御では，視覚ベースの機械学習で操りが可能となってきた。 但し，視覚と触覚の協調により，ロバストな，より高性能な操りが可能とな る。操りが可能から，より巧みに出来るためには視覚，触覚などマルチモー ダルな情報による制御が必要になるだろう
お わ り 274