これからの触覚技術

これからの触覚技術 ー最近の状況と今後の展開ー “in 2019 version 1.0” 下 条 誠 電気通信大学名誉教授 https://researchmap.jp/read0072509/ The University of Electro-Communications Department of Mechanical Engineering and Intelligent System

• https://researchmap.jp/read0072509/

内 容 1. 2. はじめに 触覚の特徴は何か 1. 接触による確認 2. 見えないものの検出 3. 原始感覚 3. 4. 触覚センサの構成 最近の触覚センサの研究開発動向 1. 2. 3. 4. 5. 6. 5. 触覚センサに望まれる機能について 1. 2. 3. 4. 5. 6. 7. 8. 6. 新製法&新材料の利用 モジュール化 カメラモジュールの利用 Robot-Assisted Surgery (RAS) 触·近接覚センサ 機械学習での利用が増加 荷重中心位置と総荷重で十分ではないか？ 滑り検出は有効か？ 高速応答が大切 自由曲面の被覆 接触部位の形状特徴の検出 触·近接覚は使い易い 指先カバーの働き センサ一体型ハンドの開発 まとめ＆参考文献 2

はじめに ⚫ 最近触覚センサに関して，研究開発および利用での大きな 進捗がみられる。センサ開発では，有機トランジスタや繊維 技術など従来とは異なる技術を用いたE-skin，E-textileの 研究開発が増えてきた。 ⚫ これらは薄型で伸縮性のある触覚センサを実現させ，ヘル スケア，スポーツ，ゲームでの利用など従来分野とは異なる 広がりを見せている。 ⚫ またロボティクス分野では機械学習での触覚の利用が増加 している。本解説では，ロボット分野に焦点を当て，触覚の 役割とは何か，最近の研究開発動向，そして触覚センサに 望まれる機能について私見を交え解説を行いたい。 3

はじめに 触覚は視覚の先生である。 ピアジェは知能の誕生の中で[1]，乳児の視覚映像には，奥行 きも，起伏もなく，固さも，厚みもない，現れては消え，消えて は現れる，動き回るシミに過ぎないと述べ，視覚映像は乳児 の行動に伴う，聴覚や把握動作，触覚などと結びついて意味 を持ってくると述べている。 これは視覚が物体の形，大きさ，距離，位置などを学習するに は触ることが必要であり，「触れること」と「見えること」の関係 から学び，視覚が形成されることを示している。いわば触覚は 視覚映像に意味を教える教師の役割を果たす。しかし，学習 が終われば視覚優位となり，触覚の役割は少なくなる。 4

5 はじめに 視覚と触覚は補完的で協力的 これは視覚と触覚の役割分担の結果であり，人間では視覚と 触覚は相互補完的な感覚として，それぞれの特徴を活かし協 調しながら作業を遂行する。 それではロボティクス分野での触覚の役割とは何であろうか。 次章以降では，上述の相互補完的な観点から触覚の特徴·優 位性について述べ，ロボティクス分野での役割について述べる。 [1] Origin of Intelligence in the Child (Jean Piaget)

はじめに 6 推薦図書・論文 また，これまでに触覚について数多くの研究があり，多数の優れたレビュー が存在する。そこでより詳しく学びたい方のため，いくつかの文献を紹介す る。まず触覚センサでは，文献[2] は開発例とハンドへの応用例を多く取上 げており，情報処理方式などの説明も詳しい。文献[3] は人間からロボット の触覚について体系的に解説している。そして1999年以前については文献 [4]が詳しい。なお，触覚センサの種類，原理などの基礎知識，および最近 の使用事例などを含めた解説はSlideShare [5]に掲載したので参考にして 頂きたい。次に触覚生理の解説では，文献[6]が分かり易い。文献[7]は内 容が詳しく美しい図版が多い。また文献[8]では生理およびHaptics知覚，触 視覚の統合まで入門者用の解説である。このほか人間の物体操作に関し て，文献[9]では触覚受容器から神経中枢そして動作までのsensorimotor制 御について詳しく解説している。 [1 ] ジャン·ピアジェ(谷村覚,浜田寿美男訳),ミネルヴァ書房,1978 [2] Z. Kappassov, J.A. Corrales, V. Perdereau: Tactile sensing in dexterous robot hands Review, Robotics and Autonomous Systems, vol.74, pp.195-220, 2015. [3] R. S. Dahiya, G. Metta, M. Valle, G, Sandini: Tactile Sensing From Humans to Humanoids, IEEE Trans. on Robotics, 26(1), pp.1-20, 2010. [4] M.H. Lee, H.R. Nichollsi: Review Article Tactile sensing for mechatronics -a state of the art survey, Mechatronics, 9(1), pp.1-31, 1999. [5] SlideShare: https://www.slideshare.net/secret/1yjCbOD2JOU68l(Japanese) [6] Robert F. Schmidt , Fundamentals of Sensory Physiology , Springer Verlag,1978. [7] Eric Kandel et.al.;Principles of Neural Science, Fifth Edition (Principles of Neural Science (Kandel)), McGraw-Hill Professional,2012. [8] S.J. Lederman, R.L. Klatzky: Haptic perception: A tutorial,Attention, Perception, & Psychophysics, 71(7), pp.1439-1459,2009. [9] R.S. Johansson, J.R. Flanagan: Coding and use of tactile signals from the fingertips in object manipulation tasks, Nature Reviews Neuroscience, vol.10, pp.345-359, 2009.

2. 触覚の特徴は何か 2.1 接触による確認 触覚の特徴は確定感覚であることにある。視覚は撮像系により 非接触的に対象の存在を推定する感覚なのに対して，触覚は 接触により対象を確認する感覚である。このほか視覚の場合に は，隠蔽，塵埃，水蒸気などの不良視界環境，または光を反射 しない透明体などでは情報取得が困難であるが，しかし触覚で は確認できることが多い。 ⚫ 大局情報 ⚫ 局所情報 ⚫ 推定 ⚫ 確定 (Confirm) (Expect) ⚫ 隠蔽・死角 ⚫ 接触まで未検出 7

8 2. 触覚の特徴は何か 2.2 見えないものの検出 触覚は視覚では見えないものを知覚できる。例えば対象との接触 での相互作用による力や変形，固さ，表面粗さ，熱伝達率，そして 物と物との接続関係が固定または分離可能か，可動だとするとそ の動作範囲や方向，またガタつきはあるか等々，対象に能動的に 触れることで判別できる。すなわち触覚は非接触からでは取得困 難な情報を入手できる特徴を有する。 このように視覚は大局的な情報を推定的に検出する感覚であり， 触覚は局所的情報を確定的に検出する感覚で，かつ意図を持っ た能動的動作を通して情報を取得する感覚である。すなわち相互 の特性が異なり，お互いの死角を補い合う相補的感覚であるとい える。 分離可能？ 動作方向は？ 触ることで 判別可能

2. 触覚の特徴は何か 2.3 原始感覚 このほか人間の触覚では原始感覚系機能として，人間の情動 に働きかける特性があり，コミュニケーション手段としても重要 な役割を担っている。またタブレット操作などで触覚を用いた直 感的な操作方式のような，より直感的で使いやすい情報機器 の開発には必要不可欠な感覚ではないだろうか 9

3. 触覚センサの構成 10 図1 に触覚センサの構成を示す。センサは変換器，検出回路， 信号·情報処理回路，信号伝送回路から構成される。これらの情 報処理はMPU ボードなどにより現在では簡便に実現できる。局 所的情報処理は局所的に実行し適切な方式で伝送することが， S/N 比を高め，省配線化を進めるため重要である。なお，外力 に因るひずみ。 の電気量への変換方式は多様で，触覚センサ の多様性はこの多様性が一つの原因である[5]。 D. Gunji, Y. Mizoguchi,S. Teshigawara,A, Ming, A. Namiki,M. Ishikawa and M. Shimojo., "Grasping force control of multi-fingered robot hand based on slip detection using tactile sensor," 2008 IEEE International Conference on Robotics and Automation, Pasadena, CA, 2008, pp. 2605-2610.

3. 触覚センサの構成 電気量 物 理 量 - 11 電気量 + 変換器 物理量 電気量 検出回路 狭義の センサ 信号処理・伝送 広義の センサ 図1 触覚センサの構成図 センサは,1) 接触力を電気量に変換する変換器,2) 電気量を検出する検出回路,3) 信号·情報処理回路,4) 信号伝送回路から構 成される，また変換部のみを狭義の触覚センサと呼ぶこともある。ロボットでは近くにはモータなど電気ノイズ発生源があり,セン サ内部で信号処理を行いノイズに強い方式を用いて伝送することが重要である。なお変換器をフォトリフレクタなどに変更すれ ば近接覚センサとなる。

3. 触覚センサの構成 12 図2 には，触覚および近接覚センサから検出できる情報とその応用技術についてまと めた図を示す。ここでは物体近傍から接触までを連続的に計測するセンサとしてまとめ ている。 Figure 2a Figure 2b 図2 触·近接覚からの検出情報と操作への利用 触·近接覚センサからの検出情報の種類および操作への応用,並びに新技術·新材料などの最近のト ピクッスを表す。センサ情報とセンサを実装したロボットの運動情報とを統合処理することで,各種情 報の検出と操作を行えることを示してい。

3. 触覚センサの構成 Figure 2a 13

3. 触覚センサの構成 Figure 2b 14

4. 最近の触覚センサの研究開発動向 4.1 新製法&新材料の利用 (1) E-skin 近年，皮膚のような特徴の実現を目的としたE-skin(Electronic skin) の研究開発が 多く行われている[10] [11]。E-skin は印刷技術を用いてフレキシブルなフィルム上 に検出素子と有機トランジスタなどを用いて電子回路とを作成したもので，低コスト で大量生産が可能な特徴がある。また検出素子，配線などを工夫して伸縮性を与え， 薄型で柔軟性のある大面積のセンサが製作できるのが強みである。このため曲面 などへの実装が可能として義手，ロボットなどへの利用，その特徴を活かして wearable sensor など様々なIoT 機器への応用を目指している。 これらの検出素子素材は印刷に適したものが選ばれる。その動作原理は従来の方 式[5] とほぼ同様に，荷重による構造体のひずみを抵抗や静電容量などの電気量 に変換するものである。ただし，微小クラックによる抵抗値変化などを用いた方法や， 検出素材として，グラフェン(Graphene)，硫化モリブデン(MoS2) が利用されるなど， 新たな変換機構，変換材料の試みも行われている。また荷重，温度検出に関して基 本特性が良い単結晶シリコンを波状に形成して伸縮性を付与した試みもある。その 他，GMR 素子で磁気，Pt 薄膜で温度，静電容量で圧力と近接覚，ほかに赤·紫外光， 湿度など各種検出器をフィルム上に製作することで多角的センシングを行う試みも 行われている[12] 15

4. 最近の触覚センサの研究開発動向 触覚は接触により情報収集を行う。このため伸び，縮み，擦り，打撃などに対する 物理的耐久性や，湿気，酸素などの浸透に対する化学的安定性などが重要となる。 E-skin に関して，現実の環境で実装しての実績に関して筆者は残念ながら知らな い。但し，最近開発が進んだこともあり長期間に渡る安定性については未知の部分 があると思われる。 http://www.ntech.t.u-tokyo.ac.jp/research_results/index.html [10] T. Yang, D. Xie ,Z. Li, H. Zhu: Recent advances in wearable tactile sensors: Materials, sensing mechanisms, and device performance, Materials Science and Engineering: R: Reports, vol.115, pp.1-37, 2017. [11] M. Park, B. Bok, J.H. Ahn and M.S. Kim: Recent Advances in Tactile Sensing Technology, Micromachines, 9(7), 321,2018. [12] Q. Hua, J. Sun, H. Liu, R. Bao, R.Yu, J. Zhai,C. Pan & Z.L.Wang: Skin-inspired highly stretchable and conformable matrix networks for multifunctional sensing,Nature communications,9:244, 2018. Reference.[10] 16

• http://www.ntech.t.u-tokyo.ac.jp/research_results/index.html

4. 最近の触覚センサの研究開発動向 17 (2) E-textile (Smart fabric transducers) E-textileとは，導電性高分子繊維，炭素，金属などで表面修飾した繊維を，撚り糸状や布 状に織り上げて触覚センサとしたものである[13]。感圧機構としては，編上げた繊維間の 接触抵抗や静電容量の力による変化から荷重を検出する。この繊維などを編み込み，セ ンサを構成する方式は，製作が比較的容易なため安価に作れ，大面積化が容易，柔軟 性もあるなどの特徴を有する。このため現在wearable E-textile として，ヘルスケア，ス ポーツ，ゲームなどの分野での利用が行われている。また，ロボットでは空間/強度分解 能が低くても良い部分（胴体）などへの利用は適切かもしれない。 [10] T. Yang, D. Xie ,Z. Li, H. Zhu: Recent advances in wearable tactile sensors: Materials, sensing mechanisms, and device performance, Materials Science and Engineering: R: Reports, vol.115, pp.1-37, 2017 R. Wu, L. Ma,C. Hou, Z. Meng, W. Guo, W. Yu, R. Yu, F. Hu, X. . Liu: Silk Composite Electronic Textile Sensor for High Space Precision 2D Combo Temperature–Pressure Sensing ,wiley online library,Volume15, Issue31, 2019. https://doi.org/10.1002/smll.201901558

4. 最近の触覚センサの研究開発動向 4.2 モジュール化 近年モジュール構造としたセンサでロボット全体を覆い，各モジュールを階層的シ リアルバス方式で接続する触覚センサがある。モジュール化は以前からある方式 だが，IC 技術の進歩で一段とスマートになった。例えば，実際にロボットに利用さ れたセンサとしては，iCub skin，HEX-O-skinなどがある。iCub は静電容量方式の センサで三角形状で3D 物体をこのパッチで覆うことを想定している。この三角形 中に12 個の検出点があり，I2C 経由で検出データを転送する[14]。HEX-O-skin は一辺が14mm の六角形構造の中に荷重，近接，温度，加速度センサおよび MPU を含む。各六角形はポートで隣接モジュールに接続し計測データを伝送する [15]。ただし，PCB 基板を用いているため柔軟性は低いようだ。 18

4. 最近の触覚センサの研究開発動向 19 4.3カメラモジュールの利用 カメラモジュールとゲルを組合わせた触覚センサがある。物体によるゲルの接触 変形をカメラで高空間分解能に計測することでゲル表面の3D変形から物体の接 触状態を解析できる[16]。またゲルの変形から接触力，すべり，そしてゲルを透明 にして近接情報を計測するセンサもある[17]。これらにはカメラを搭載するため形 状制約があるが，最近ミラーを用いて薄型になるよう構成したセンサも出てきた [18]。従来の分布型触覚センサの弱点は空間分解能が低いことにある。この点， 高空間分解能な接触状態情報は把持·操り制御への可能性を感じさせる。 Improved gelsight tactile sensor for measuring geometry and slip,S Dong, W Yuan, E Adelson - arXiv preprint arXiv:1708.00922, 2017 - arxiv.org A. Yamaguchi and C. G. Atkeson: Combining Finger Vision and Optical Tactile Sensing: Reducing and Handling Errors While Cutting Vegetables, in Proc. of the 16th IEEE-RAS Int. Conf. on Humanoid Robots,2016

4. 最近の触覚センサの研究開発動向 4.4 Robot-Assisted Surgery (RAS) 手術ロボットにおいて触覚欠落問題の指摘がある[19]。カメラの視覚情報のみ で鉗子からのフィードバック力の欠如は，過剰な力を加え組織の損傷をもたらす 可能性があり，更にカメラの限られた視野外での意図しない接触の問題がある との指摘である。そのほか人間への力フィードバックのためも含め，力感知能力 を有する手術ロボットの研究が進められている。なお，RAS での触覚の必要性 に関しては両論があるようだ。 [13] C. Gonçalves, A.F. da Silva,J. Gomes and R. Simoes: Wearable E-Textile Technologies: A Review on Sensors, Actuators and Control Elements,Inventions, 3(1), 14 ,2018. [14] A. Schmitz , P. Maiolino, M. Maggiali, L. Natale, G. Cannata and G. Metta: Methods and Technologies for the Implementation of Large-Scale Robot Tactile Sensors, IEEE Trans. Robotic, 27(3), pp.389-400, 2011. [15] P. Mittendorfer, G. Cheng: Humanoid Multimodal Tactile Sensing Modules, IEEE Trans. Robotic, 27(3), pp.401-410, 2011. [16] R. Li, R. Platt Jr., W. Yuan, A. t. Pas, N. Roscup, M.A. Srinivasan,E. Adelson: Localization and manipulation of small parts using GelSight tactile sensing, IEEE/RSJ Int. Conf, on Intelligent Robots and Systems, pp.3988-3993, 2014. [17] A. Yamaguchi and C. G. Atkeson: Combining Finger Visionand Optical Tactile Sensing: Reducing and Handling Errors While Cutting Vegetables, IEEE-RAS Int. Conf. on Humanoid Robots, pp.1045-1051, 2016. [18] E. Donlon, S. Dong, M. Liu, J. Li, E. Adelson, A. Rodriguez: GelSlim: A High-Resolution, Compact, Robust, and Calibrated Tactile-sensing Finger, arXiv:1803.00628, 2018. [19] U. Kim, Y.B. Kim, J.So, D.Y. Seok, and H.R. Choi: Sensorized Surgical Forceps for Robotic-Assisted Minimally Invasive Surgery, IEEE Trans. on Industrial Electronics, 65(12),pp.9604-9613, 2018. 20

4. 最近の触覚センサの研究開発動向 21 4.5 触·近接覚センサ 触覚は接触するまで検出できない。しかし，近接覚と統合することでセンサから 20cm程度まで離れた物体を検出できる。これにより視覚から触覚までシームレスに つなぐセンシングシステムができる[20]。この触覚の拡張としての触·近接覚センサ は，近接覚を基礎として開発が容易だ。 実例として，透明なPDMS 層の下にフォトリフレクタを配置し，接近と接触後の反射 光特性の違いから，接近距離と接触力とを，計測するセンサがある[21]。接触力は 接触後のPDMS 変形量から計測する。ただし，この方式は反射光強度を用いてい るため対象物表面反射率の影響を受ける。 PDMS VNCL40101 proximity sensors [21] Dana Hughes, John Lammie,and Nikolaus Correll, A Robotic Skin for Collision Avoidance and Affective Touch Recognition, IEEE ROBOTICS AND AUTOMATION LETTERS, VOL.3, NO.3, pp.1386-1393, 2018

4. 最近の触覚センサの研究開発動向 22 また，複数個のフォトリフレクタ配置と点滅位相を工夫することで，物体表面の 反射率の影響を受けず，高速(1[ms]) で高精度(50[µm]) な近接覚を開発し，近 接距離は無論，接触力を指先柔軟体変位より計測するセンサもある[22]。なお 高精度·高速な近接覚は従来のレーザ距離計より精度は劣るが，薄型軽量安価 なセンサとしても利用可能であろう。 距離と傾きの検出 1) proximity elastomer LEDs 2) tactile elastomer [22] Koyama, K; Shimojo, M; Senoo, T; Ishikawa, M: High-Speed High-Precision Proximity Sensor for Detection of Tilt, Distance, and Contact, Koyama, IEEE Robotics and Automation Letters 3(4) pp.3224-3231, 2018.

4. 最近の触覚センサの研究開発動向 23 このほか近接覚をアレイ状に配置した分布型近接覚の研究もある。近接覚が接近 する対象物表面の形状特徴を非接触で検出できる[23]，また指先全周に配置した 場合には，指先の周囲状況が分かるため，袋の中などの物体操作を実現できると している[24]。このほか距離センサとしてTOF(Time of Flight) 方式がある。小型軽 量で反射率の影響を受けないため使い易い。しかし，距離誤差が現状で１～２mm 程度あり，近接距離での制御への利用は難しいだろう。このように拡張型の触覚 センサは，一つの発展の方向性を示すものと考える(図3)。 [23] Y. Hirai, Y. Suzuki, T. Tsuji and T. Watanabe: High-speed and Intelligent Pregrasp Motion by a Robotic Hand Equipped with Hierarchical Proximity Sensors, IEEE/RSJ Int. Conf. on Intelligent Robots and Systems, pp.7424-7431, 2018. [24] N. Yamaguchi, S. Hasegawa, K. Okada and M. Inaba, "A Gripper for Object Search and Grasp Through Proximity Sensing," 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Madrid, 2018, pp. 1-9.

4. 最近の触覚センサの研究開発動向 このような近接領域までを検出する拡張型の触覚センサは，一つの発展の方向性を 示すものと考える(図3)。 図3 視覚から触覚までシームレスにつなぐセンシング 視覚には隠蔽があり触覚は接触まで未定である。このため対象物近傍では不確な情 報による衝突などを避けるため低速な動作となる。近接覚は視触覚をシームレスに接 続し確実で高速な動作を行わせる。 24

4. 最近の触覚センサの研究開発動向 25 4.6 機械学習での利用が増加 近年，ロボティクス分野では触覚センサを用いた機械学習の研究が多くなってきた。 ただし，これまでもpeg-in-hole作業で，触覚(力覚)データを基に機械学習を行い， 制御方法を獲得する研究は多くあった[25]。そのほか振動·圧力を出力する触覚セ ンサで滑り検出を視覚を利用して学習させた研究[26]，把持の安定性を触覚デー タから学習し判別する研究[27] [28] など様々な研究がある。最近では，触覚デー タを用いた物体の形状，固さ，テクスチャー，材質などの機械学習による識別の研 究が増えている[29] [30] [31] [32]。 [26] Y. Tada, K. Hosoda: Acquisition of multi-modal expression of slip through pick-up experiences, Advanced Robotics, 21(5-6),pp.601-617, 2007. [31] S. Funabashi, S. Morikuni, A. Geier, A. Schmitz, S. Ogasa,T.P. Tomo, S. Somlor, S.Sugano: Object Recognition Through Active Sensing Using a Multi-Fingered Robot Hand with 3D Tactile Sensors, IEEE Robotics and Automation Letters, 3(3),pp.1482-1489, 2018

4. 最近の触覚センサの研究開発動向 26 多指ハンドでの操りの研究も増えてきた[33]。例えば文献[34] では， ShadowHand(24-DoF) を使い立方体の掌内での操りを行っている。文献[35] では ShadowHand による円筒物体の操り制御の研究がある。モデルベースを用いて，少 ない試行で学習可能とのことである。文献[36] では，廉価型3指ハンド(9-DoF， Dynamixel使用) を使い，バルブの開閉，ドア開け作業などを人間による教示を用い て短時間で学習できることを示している。これらは視覚を用いた機械学習のようだ。 視覚と触覚を利用した研究では，多指ハンドでの把持で視覚に加え触覚からの接触 情報を機械学習に導入すると，ロバスト性が格段に向上したのと報告がある[37]。同 様に，高解像度触覚GelSight を実装した2指ハンドでの把持では，把持速度の向上， 適切な把持力など性能が向上したとの報告がある[38]。 [34] OpenAI: Learning dexterous in-hand manipulation, CoRR, vol. abs/1808.00177, 2018. [38] R. Calandra, A. Owens, D. Jayaraman, J. Lin, W, Yuan, J. Malik,E.H. Adelson, S. Levineg: More Than a Feeling: Learning to Grasp and Regrasp Using Vision and Touch,IEEE Robotics and Automation Letters, 3(4), pp.3300-3307, 2018.

4. 最近の触覚センサの研究開発動向 27 ここで触覚が確実に必要になる作業としては，巧緻な動作が必要な組立などの作業があると思う。ロボットハ ンドを用いた部品の巧みな操りや組立は，ロボティクス分野で最も挑戦的な試みである。最近，視覚と触覚の 協調動作で操りのスキルを学習する興味深い例がある[39]。Jenga という積み木抜きゲームをロボットが実行 している。興味深い点は，視覚では認識できないブロック間の相互関係を，触覚付き指で押し，移動量と反力 から摩擦力などを推定し，ブロックを選び抜き取っている。この場合，特に触覚の重要性が際立っている。この 例のように巧緻な操りでは触覚が重要な役割を果たすと考える。 上記のような多指ハンドでの巧みな動作制御アルゴリズムを人間が設計することは困難であろう。機械学習 は，視覚と触覚など異なる感覚モダリティーを統合する上で有効であり，数多くのパラメータが関係する制御設 計が難しい動作に対して，新たなフレームワークとツールを提供すると考える。ただし，機械学習は大量の データを判断の手がかりとする。触覚でのデータ取得は対象物に触れ，動作を行う触運動により取得するため 時間が掛かる問題がある。このため転移学習など各種学習方法の研究も行われている[40]。 [39] N. Fazeli, M. Oller, J. Wu, Z. Wu, J.B. Tenenbaum, A. Rodriguez: See, feel, act: Hierarchical learning for complex manipulation skills with multisensory fusion, Science Robotics, 4(26), eaav3123, 2019. [40] M Kaboli, D Feng, G Chengr: Active tactile transfer learning for object discrimination in an unstructured environment using multimodal robotic skin, Int. J. of Humanoid Robotics, 1(1),1850001, pp.1-28, 2018.

5. 触覚センサに望まれる機能について 28 5.1 荷重中心位置と総荷重で十分ではないか？ 触覚の制御では分布荷重の中心位置(CoP)と総荷重の情報でほぼ十分な場合が 多いのではないかと思う。重要なのは制御動作に対する接触力の位置·強度を高速 にフィードバックできることであろう。なお関節に取付けた多軸力センサでも接触位 置と総荷重を計測できる。これと指先触覚センサの違いは感度とS/N 比である。接 触位置から多軸力センサまでの慣性と伝達機構による影響を受けない分，指先触 覚が優れている。ただし多軸力センサの方が情報は多い。 また制御では，接触検出がON/OFF の1bit のみでも接触面積と面心が計測できる センサならば，制御に十分利用可能かと思われる。例えば，力検出では分解能が 1bit でも指先柔軟体の接触面積から荷重を推定でき，面心から荷重中心位置に相 当する制御量が計測できる。 CoP 総荷重 (Center of Pressure) (x,y) 荷重分布 把持操作制御は、ＣｏＰと総 荷重の時間変化を利用する

5. 触覚センサに望まれる機能について 29 5.2 滑り検出は有効か？ すべり覚についてはこれまで数多くの研究がある[5]。滑りは，把持の安定性を乱す ものとしてその検出が望まれていた。しかし，対象を壊さない程度の大きな力で把 持を行えば良いとの意見もある。この滑り検出の活用例として，最小把持力での把 持がある。すなわち変形を嫌い，壊れやすい対象物を把持するとき，滑り検知に応 じて把持力を調整することで，物体を滑らさせず最小の力で把持できる。例えば，ロ ボット手術で，鉗子で組織を挟み保持するとき，組織にダメージを与えないよう，よ り小さな把持力の実現のため，鉗子にすべり覚を付けた研究がある[42]。 [42] N.T. Burkhard, M.R. Cutkosky and J.R. Steger: Slip Sensing for Intelligent, Improved Grasping and Retraction in Robot-Assisted Surgery, IEEE Robotics and Automation Letters, 3(4), pp.4148-4155, 2018.

5. 触覚センサに望まれる機能について 30 その他の利用可能性として，滑りを利用した把持物体の位置姿勢の制御がある。 物体に働く反力や重力など利用して，すべりを意図的に発生させ，位置姿勢を合わ せることができる。これは部品の操りや組立で利用可能な技術であろう。弾性体を 利用した反力変位では変位量に応じ復元力が発生するが，滑りの変位では復元力 が発生しないため都合が良いかもしれない。 滑りには，その前兆を示す初期滑りがある。まだ実際に滑りが発生していないため， 視覚での検出は困難である。この初期滑りを検出機能を備えたすべり覚[5] では， 滑りが発生する直前を検知できる。通常，滑り検出を高速で行い，素早い対応を可 能にするには視覚より触覚が適している。 初期すべり： 接線力が大きくなると、部分スリップ領域が増加し、スティック領域が減少す る。そして、スティック領域の減少が限界を超えるとスリップが発生する。 Alice V. Maceo, Qualitative Assessment of Skin Deformation:A Pilot Study,Journal of Forensic Identification, 2009 Y Kurita et.al.,A Novel Pointing Device Utilizing the Deformation of the Fingertip, IROS 2003

5. 触覚センサに望まれる機能について 5.3 高速応答が大切 触覚は高速応答性が重要と考える。ロボット制御での制御サイクルは通常1ms 程度 のため，センサは1ms 以下の応答性が必要となる。特に触覚は接触状態での制御 のため高速応答が重要となる。例えば動作速度が1m/s の場合，1ms の間に1mm 移動する。このとき剛体物体と高剛性機構の組み合わせでは接触状態に破綻が起 きやすく何らかのコンプライアンスを介入させることが必要だろう。例えば柔軟カバー などの被覆材がこの役割を果たす。また非接触から接触に状態遷移するとき，位置 制御から力制御に切替わるため，接触検出は高速応答かつ高感度なセンサが望ま れる。また人間は触覚の応答性が高く，わずかの時間遅れでも違和感を生ずるため， ヒューマンインターフェースにおいても瞬間的応答性は必要である。 5.4 自由曲面の被覆 触覚はさまざまな面を覆う必要がある。その時の問題点として自由曲面の被覆が ある。通常，自由曲面の被覆を平面シートで行う場合，シートに伸縮機能が備わっ ている必要がある。当然分布する検出素子への配線は伸縮性があり，配線により 検出特性を損なわせてはならない。大面積化と検出素子の分散配置，検出素子 間との配線処理の問題を解決する必要がある。後で述べる，E-skin，E-textile は この問題に対する回答例だろう。 31

5. 触覚センサに望まれる機能について 5.5 接触部位の形状特徴の検出 接触部位の形状特徴として，面/辺/角の検出ができれば把持や操りにとって有用 だろう。部品を把持して組立などの操作に進むとき把持部位が重要となる。通常， 把持では面状部分を選び，辺/角は避けるのが順当である。このとき接触後に触覚 で判断し持ち替えを行うより，近接位置で面を検出できる方が良い。このためには 近接覚を用いての形状特徴検出が合理的と考える。 × × 辺 〇 接近面形状の検知 面/辺/角など 角 面 安定した把持・操作 32

5. 触覚センサに望まれる機能について 5.6 触·近接覚は使い易い 図3 には視覚と触覚，そして両者をシームレスにつなぐ近接覚のお互いの特徴と役 割分担を示している。近接覚は，対象物表面までの距離と方向を検出し，分布情報 から接近面形状などを計測する。これら情報から衝突回避，ソフトな接触，物体表面 の追従などが可能になる。近接覚は対象物近傍での動作のため高速応答性が不可 欠である。触覚の難しさは接触にある。このため例えば形状認識，エッジ検出などは 触覚を使わず，非接触で計測する視覚と近接覚に委ねればよい。触覚は離れると検 出できない。これは把持や操りでは大きな欠点であり，接触が離れても連続して計測 できる近接覚を利用する方が合理的と思える。さらに接近中では近接距離·面情報を， 接触後は接触分布を，計測できる近·触統合型センサならばより便利である。 輪郭tracing 高速 approaching Proximity Servoing 輪郭・追従 Soft Touching 高速動作 非破壊 33

5. 触覚センサに望まれる機能について 34 5.7 指先カバーの働き 柔軟なカバーは，ローパス空間周波数特性を有するが[43]，触覚センサの保護や把持した時の 摩擦の確保，そして位置誤差などの吸収のため必要と考える。誤差吸収の例としてpeg-in-hole を考える。peg-in-hole ではpeg の位置と姿勢をhole に合わせ，力を入れながら挿入を行う。この 時pegとhole との相互作用による反力から，位置姿勢誤差を推定し，誤差を無くすよう位置姿勢を 修正する。peg の位置姿勢は三次元空間では6自由度あるため，制御には6自由度の機構が必 要となる。この位置姿勢の修正は細かく，かつ素早いことが必要で，さもないとpeg とhole の間で 喰い込みなどが生じ，挿入に失敗する。 この繊細で高速な操作は，慣性の大きいアーム系で行うよりは，peg を保持する多自由度ハンド 系で行うのが合理的であろう。また高感度でS/N 比が良い高感度型の触覚センサを用いることで， より巧緻な作業を行える。ただし，6自由度の位置姿勢制御をハンド系のみで対応することは自由 度の面から難しい。この場合，指先に取付けた柔軟体カバーの変形が自由度の不足を補う。もし くは位置姿勢誤差による反力に合わせて指先のすべりを意図的に発生させ位置姿勢を合わせる ことも考えられる。 • • 触覚センサー の保護 把持時の摩 擦を確保 • • カバーの弾性による位 置誤差の吸収 制御された滑りを利用 した位置と姿勢の調整

5. 触覚センサに望まれる機能について 5.8 センサ一体型ハンドの開発 ⚫ 人間の手は素晴らしいアクチュエータであり，同時に繊細で多機能なセンサでもある。本来 触覚は，能動的感覚であり，実は繊細な動作が可能な機械系と組合わさり始めてその機能 が十分に発揮できるセンサである。このためロボットハンドを用いた部品の巧みな操りや組 立の実現には，ハンド，センサおよび制御を含めた情報処理系とを統合的に設計したセン サ一体型ハンドの開発が重要と考える。特に触覚は適切な形状·配置があり，個別に開発さ れたハンドとセンサを組合わせて使用するよりも，一体型として設計されたものがより好ま しいと考える。 ⚫ ここでハンドについて述べたい。組立など巧緻な作業を行うとき，ハンドによる意図的な微 小動作に対し，触覚出力から接触状態などを推定して動作修正，すなわち把持物体の位置 姿勢と操作力の修正が必要となる。この時ハンド機構は，把持物体の位置と姿勢を検出し ながら力を制御できることが必要だろう。巧緻な作業には，ハンド機構は微小動作および力 制御が可能であることが望ましく，各関節のコンプライアンスは可変で，バックドライバビリ ティーがあることが好ましい。 ⚫ しかし，4。 6 節で述べたように小型廉価サーボモータを使った3指ハンドで巧みな作業を行 う試みも出てきた。位置制御動作が主のハンドでも，作業内容によるが，十分利用できる。 最近の廉価サーボモータはかなり高性能である。位置制御のみならば廉価サーボモータを 用いたモジュラー型ハンドも良いと思う。構造が単純，制御も配線も容易で，安価に制作で きる。しかもモジュラー構造を用いて自由な関節配置が可能なため，実験用には適している。 視覚分野でkinect の出現が視覚利用の裾野を広くしたように，安価なモジュール型多自由 度ハンドの出現が望まれている。最近このような考えの製品も徐々に出てきたようだ。 35

まとめ 36 1. 柔軟性，大面積，伸縮性を備えた，印刷技術などで製造した安価なセンサの利用が進む かも知れない。構造体と一体になった作成も興味深い。ただし，耐久性など各種特性につ いては現状ではまだ未知な点がある。 2. カメラモジュールを用いた高空間分解能型の触覚センサは視覚情報処理技術との相性も よく，操り制御などへの利用が進むかもしれない。 3. 近接覚を基礎とした，触近接覚センサは，一つの発展の方向性を示すものと思う。 4. 機械学習のロボット技術への応用が急速に進歩している。組立などハンドを用いた巧緻な 作業の実現は，社会に大きな革新をもたらす。特に多指ハンドによる巧緻な作業での制 御アルゴリズムの構築では機械学習が新たなフレームワークとツール提供するであろう。 5. 多指ハンドの制御では，視覚ベースの機械学習で操りが可能となってきた。ただし，視覚 と触覚の協調により，ロバストな，より高性能な操りが可能となる。操りが可能から，より巧 みにできるためには，視覚・触覚など多角的情報による制御が必要になるだろう[44]。 6. 巧緻な作業を行うハンドは，繊細な動作可能なハンドと，高速高精度なセンサが統合的に 設計されたセンサ一体型ハンドが必要かと思える。 7. 触覚センサの開発は，目的に応じた機構と情報処理アルゴリズムとが一体となったシステ ムとして作り込むことが必要であると考える。 8. 視覚と触覚，どれを，どのように使うかは，利用可能か否かではなく，機能性，確実性，簡 便性，耐久性，コストなどの観点から総合的に判断すべきであろう。

参考文献 37 [1 ] ジャン·ピアジェ(谷村覚,浜田寿美男訳),ミネルヴァ書房,1978. [ 2 ] Z. Kappassov, J.A. Corrales, V. Perdereau: Tactile sensing in dexterous robot hands Review, Robotics and Autonomous Systems, vol.74, pp.195220, 2015. [ 3 ] R. S. Dahiya, G. Metta, M. Valle, G, Sandini: Tactile Sensing From Humans to Humanoids, IEEE Trans. on Robotics, 26(1), pp.1-20, 2010. [ 4 ] M.H. Lee, H.R. Nichollsi: Review Article Tactile sensing for mechatronics -a state of the art survey, Mechatronics, 9(1), pp.1-31, 1999. [ 5 ] SlideShare: https://www.slideshare.net/secret/1yjCbOD2JOU68l [ 6 ] R.F. schmit, (岩村吉晃訳): 感覚生理学第2版, 金芳堂, 1991. [ 7 ] 金澤一郎(監修), 宮下保司(監修), Eric R. Kandel (編集): カンデル神経科学, メディカルサイエンスインターナショナル,2014. [ 8 ] S.J. Lederman, R.L. Klatzky: Haptic perception: A tutorial,Attention, Perception, & Psychophysics, 71(7), pp.1439-1459, 2009. [ 9 ] R.S. Johansson, J.R. Flanagan: Coding and use of tactile signals from the fingertips in object manipulation tasks, Nature Reviews Neuroscience, vol.10, pp.345-359, 2009. [10] T. Yang, D. Xie ,Z. Li, H. Zhu: Recent advances in wearable tactile sensors: Materials, sensing mechanisms, and device performance, Materials Science and Engineering: R: Reports, vol.115, pp.1-37, 2017. [11] M. Park, B. Bok, J.H. Ahn and M.S. Kim: Recent Advances in Tactile Sensing Technology, Micromachines, 9(7), 321,2018. [12] Q. Hua, J. Sun, H. Liu, R. Bao, R.Yu, J. Zhai,C. Pan & Z.L Wang: Skin-inspired highly stretchable and conformable matrix networks for multifunctional sensing, Nature communications, 9:244, 2018. [13] C. Gonçalves, A.F. da Silva,J. Gomes and R. Simoes: Wearable E-Textile Technologies: A Review on Sensors, Actuators and Control Elements, Inventions, 3(1), 14 ,2018. [14] A. Schmitz , P. Maiolino, M. Maggiali, L. Natale, G. Cannata and G. Metta: Methods and Technologies for the Implementation of Large-Scale Robot Tactile Sensors, IEEE Trans. Robotic, 27(3), pp.389-400, 2011. [15] P. Mittendorfer, G. Cheng: Humanoid Multimodal Tactile Sensing Modules, IEEE Trans. Robotic, 27(3), pp.401-410, 2011. [16] R. Li, R. Platt Jr., W. Yuan, A. t. Pas, N. Roscup, M.A. Srinivasan,E. Adelson: Localization and manipulation of small parts using GelSight tactile sensing, IEEE/RSJ Int. Conf, on Intelligent Robots and Systems, pp.3988-3993, 2014. [17] A. Yamaguchi and C. G. Atkeson: Combining Finger Vision and Optical Tactile Sensing: Reducing and Handling Errors While Cutting Vegetables, IEEE-RAS Int. Conf. on Humanoid Robots, pp.1045-1051, 2016. [18] E. Donlon, S. Dong, M. Liu, J. Li, E. Adelson, A. Rodriguez: GelSlim: A High-Resolution, Compact, Robust, and Calibrated Tactile-sensing Finger, arXiv:1803.00628, 2018. [19] U. Kim, Y.B. Kim, J.So, D.Y. Seok, and H.R. Choi: Sensorized Surgical Forceps for Robotic-Assisted Minimally Invasive Surgery, IEEE Trans. on Industrial Electronics, 65(12), pp.9604-9613, 2018. [20] 下条誠, 小山佳祐: ロボットマニピュレーションのための触近接覚,計測自動制御学会, 56(10), pp.758-763, 2017. [21] D. Hughes, J. Lammie and N. Correll: A Robotic Skin for Collision Avoidance and Affective Touch Recognition, IEEE Robotics and Automation Letters, 3(3), pp.1386-1393, 2018. [22] K. Koyama, M. Shimojo, T. Senoo, M. Ishikawa: High-Speed High-Precision Proximity Sensor for Detection of Tilt, Distance, and Contact, IEEE Robotics and Automation Letters, 3(4), pp.3224-3231, 2018. [23] Y. Hirai, Y. Suzuki, T. Tsuji and T. Watanabe: High-speed and Intelligent Pre-grasp Motion by a Robotic Hand Equipped with Hierarchical Proximity Sensors, IEEE/RSJ Int. Conf. on Intelligent Robots and Systems, pp.7424-7431, 2018.

参考文献 38 [24] 山口, 長谷川, 岡田, 稲葉: 指全周に近接触覚をもつ平行グリッパによる収納袋内の物体把持, ロボメカ講演会, 1P1-H14, 2018 [25] J. Kober, J.A. Bagnell, J. Peters: Reinforcement learning in robotics: A survey, The Int. J. of Robotics Research, 32(11),pp.1238-1274, 2013. [26] Y. Tada, K. Hosoda: Acquisition of multi-modal expression of slip through pick-up experiences, Advanced Robotics, 21(5-6), pp.601-617, 2007. [27] Y. Bekiroglu, J. Laaksonen, J. A. Jørgensen, V.K. and D. Kragic: Assessing grasp stability based on learning and haptic data, IEEE Trans. on Robotics, 27(3),pp.616-629, 2011. [28] J. Schill, J. Laaksonen, M. Przybylski, V. Kyrki, T. Asfour, R. Dillmann: Learning Continuous Grasp Stability for a Humanoid Robot Hand Based on Tactile Sensing, Int. Conf. on Biomedical Robotics and Biomechatronics, pp.190-1906, 2012. [29] D. Tanaka, T. Matsubara, K. Ichien, and K. Sugimoto: Object Manifold Learning with Action Features for Active Tactile Object Recognition, Int. Conf. Intelligent Robots and Systems, pp.608-614, 2014. [30] A. Schmitz, Y. Bansho, K. Noda, H. Iwata, T. Ogata, S. Sugano: Tactile object recognition using deep learning and dropout, IEEE-RAS Int. Conf. on Humanoid Robots, pp.1044-1050, 2014. [31] S. Funabashi, S. Morikuni, A. Geier, A. Schmitz, S. Ogasa, T.P. Tomo, S. Somlor, S.Sugano: Object Recognition Through Active Sensing Using a Multi-Fingered Robot Hand with 3D Tactile Sensors, IEEE Robotics and Automation Letters, 3(3), pp.1482-1489, 2018. [32] S Luo, J Bimbo, R Dahiya, H Liur: Robotic tactile perception of object properties: A review, Mechatronics 48, pp.54-67, 2017. [33] P. Falco, A. Attawia, M. Saveriano, D. Lee: On Policy Learning Robust to Irreversible Events: An Application to Robotic In-Hand Manipulation, IEEE Robotics and Automation Letters, 3(3), pp.1482-1489, 2018. [34] OpenAI: Learning dexterous in-hand manipulation, CoRR, vol. abs/1808.00177, 2018. [35] V. Kumar, E. Todorov and S. Levine: Optimal Control with Learned Local Models: Application to Dexterous Manipulation, IEEE Int. Conf. on Robotics and Automation, pp.378-383, 2016. [36] H. Zhu, A. Gupta, A. Rajeswaran, S. Levine, V. Kumar: Dexterous Manipulation with Deep Reinforcement Learning: Efficient, General, and LowCost, arXiv:1810.06045,2018. [37] H. Merzic, M. Bogdanovic, D. Kappler, L. Righetti, J. Bohg: Leveraging Contact Forces for Learning to Grasp, arXiv:1809.07004, 2018. [38] R. Calandra, A. Owens, D. Jayaraman, J. Lin, W, Yuan, J. Malik, E.H. Adelson, S. Levineg: More Than a Feeling: Learning to Grasp and Regrasp Using Vision and Touch, IEEE Robotics and Automation Letters, 3(4), pp.3300-3307, 2018. [39] N. Fazeli, M. Oller, J. Wu, Z. Wu, J.B. Tenenbaum, A. Rodriguez: See, feel, act: Hierarchical learning for complex manipulation skills with multisensory fusion, Science Robotics, 4(26), eaav3123, 2019. [40] M Kaboli, D Feng, G Chengr: Active tactile transfer learning for object discrimination in an unstructured environment using multimodal robotic skin, Int. J. of Humanoid Robotics, 1(1), 1850001, pp.1-28, 2018. [41] M. Kaboli, K. Yao, D. Feng, G. Cheng: Tactile-based active object discrimination and target object search in an unknown workspace, Autonomous Robots, 43:123-152, 2019. [42] N.T. Burkhard, M.R. Cutkosky and J.R. Steger: Slip Sensing for Intelligent, Improved Grasping and Retraction in Robot-Assisted Surgery, IEEE Robotics and Automation Letters, 3(4), pp.4148-4155, 2018. [43] M. Shimojo: Mechanical Filtering Effect of Elastic Cover for Tactile Sensor, IEEE Trans. on Robotics and Automation, 13(1), pp.128-132, 1997. [44] M.A. Lee, Y. Zhu, K. Srinivasan, P. Shah, S. Savarese, L. Fei-Fei, A. Garg, J. Bohg: Making Sense of Vision and Touch: Self-Supervised Learning of Multimodal Representations for Contact-Rich Tasks, arXiv:1810.10191, 2018.

End 39 This slide is based on the following literature. 下条誠 これからの触覚技術，日本ロボット学会誌Vol.37, No.5, pp.383-390, 2019. DOI https://doi.org/10.7210/jrsj.37.385 The English version is also available on shareslide. Title: Recent progress in tactile sensor technology https://researchmap.jp/read0072509

• https://researchmap.jp/read0072509

comments 40 ⚫ Source papers of the example sensors are shown on each slide. ⚫ Showed URL when video (youtube) exists. This icon is displayed in the case of a sensor example developed in Shimojo Lab. This icon indicates a supplementary explanation. The examples below are just a few of the many proximity sensors that have been developed. I think that important development examples and usage examples are missing. The cause is the lack of surveys and lack of knowledge of the author.