[DL輪読会]Robotic Manipulation and Sensing of Deformable Objects in Domestic and Industrial Applications: A Survey Multi-Modal Sensing and Robotic Manipulation of Non-Rigid Objects: A Survey

Robotic Manipulation and Sensing of Deformable Objects in Domestic and Industrial Applications: A Survey Multi-Modal Sensing and Robotic Manipulation of Non-Rigid Objects: A Survey PSI B3 近藤生也 https://docs.google.com/presentation/d/1h08YpEgcbZZqksioplq-spO-hPJp98qDXXKLfTkgWuw/edit?usp=sharing

• https://docs.google.com/presentation/d/1h08YpEgcbZZqksioplq-spO-hPJp98qDXXKLfTkgWuw/edit?usp=sharing

書誌情報 - Robotic Manipulation and Sensing of Deformable Objects in Domestic and Industrial Applications: A Survey - - Multi-Modal Sensing and Robotic Manipulation of Non-Rigid Objects: A Survey - - International Journal of Robotics Research, Jun 2018 オタワ大学 MDPI Robotics(Journal), Nov 2018 クレルモン・オーベルニュ大学 (仏), CNRS(フランス国立科学研究センター ) 非剛体×ロボットに興味

目次 - モデリング方法 各種類のタスク - - 紐 紙 布 その他 まとめ

前置き - DL, MLではない研究が多い 服は結構前から畳めていた 触覚が大事 （タスクベースの）ネタがいっぱい - キーワードは書いていますが個々の手法はそんなわかってません。。

非剛体≒Deformable≒Non-Rigid - 操作中に形状が変化する可能性のある任意のオブジェクト - - ロボット系の実用的なタスクで必要 - - ロープ、ワイヤー、金属板、布地、スポンジ、ゴム、臓器、生体組織 片付け、洗濯、 介護、調理、医療、工作。（介護系タスクが割と多く取り組まれていて熱い） 対象物の『ダイナミクスの理解』, 『使い方の理解』が必要。難しい。

モデリング方法 - 物理ベース - - 有限要素法（FEM） マスバネダンパ（ MSD） 幾何学ベース - ニューラルガスネットワーク

ニューラルガス - 量子化の方法 - https://www.youtube.com/watch?v=XtC1M7nrDk0

• https://www.youtube.com/watch?v=XtC1M7nrDk0

タスクに分けて紹介。

線状 - 結ぶタスク(2008) https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=4650802&tag=1

• https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=4650802&tag=1

線状 - 結ぶタスク(2012) - - Wiiリモコンを使って教師データ生成 ①ロープを握ること , ②ループを作ること , ③ロープを引っ張って結び目を作ること , を認識して真似 る センサーフィードバックなし。 (紐の位置は決まってる )外乱に対して非ロバスト。 こんな感じの汎化をあまり意識してなさそうな研究が結構多かった - （この手の研究は以降省略気味に紹介）

タオル - タオルを連続的にたたむ https://www.youtube.com/watch?v=gy5g33S0Gzo

• https://www.youtube.com/watch?v=gy5g33S0Gzo

タオル - しわをなくす https://www.youtube.com/watch?v=Z85bW6QqdMI 5次の関数で曲面を近似、シミュレーション。 歪み体積が大きいところを引っ張る。

• https://www.youtube.com/watch?v=Z85bW6QqdMI

タオル https://www.youtube.com/watch?v=AVNZy05KrPc 2018 - 人と協調してタオルを伸ばしたりおったりする。 - 布の各場所のシワを評価するような特徴量を定義し、『こういうシワの時にこのよう に操作すれば良い』という情報を予め数10~100個ほど用意する

• https://www.youtube.com/watch?v=AVNZy05KrPc

服 - たたむ https://www.youtube.com/watch?v=MeBBVAKv5zI - (ICRA 2011) HMM。服のカテゴリ、サイズ、ハンドの開閉 →持ちあげるべき高さ

• https://www.youtube.com/watch?v=MeBBVAKv5zI

服 - たたむ https://www.youtube.com/watch?v=L4vuAUgeINI - (2015): 軌跡を最適化した（もともと高さが課題） 特徴点はヒューリスティックに抽出

• https://www.youtube.com/watch?v=L4vuAUgeINI

服 - どこもってるか推測する2015 https://www.youtube.com/watch?v=P25ku9KpMVE 各ノードを持った時のdepthをシミュレート CNNの類似度でノードを当てる

• https://www.youtube.com/watch?v=P25ku9KpMVE

着せる - http://ais.shinshu-u.ac.jp/~aislab/papers/2014_SII_yamazaki.pdf - depth、オプティカルフローで足の位置を検出 データベースと比較することによってタスクの状態を検出

• http://ais.shinshu-u.ac.jp/~aislab/papers/2014_SII_yamazaki.pdf

着せる - 着せた時に、当たってしまったらオンラインで修正し、着せ直す。

その他。食事 - オブジェクトの特性（脆さや弾力性など）の教師ラベル(0から1)を回帰モデルで学 習。 - http://pr.cs.cornell.edu/hapticmanipulation/

• http://pr.cs.cornell.edu/hapticmanipulation/

その他、黒板消し - 力の制御をしながらホワイトボードを消す （位置の認識はしてない。）

その他 - 布のクラス推定 - - 水で洗うべきかお湯で洗うべきか。 黒板消し 半田づけ？ ペースト生地の繰り抜き 手術縫合

discussion & conclusion - 洗濯物畳み、まだ完成したシステムはほとんどない。 - - 着替えサポートも、より堅牢になり柔軟性を増すことが期待 ケーブルの配線、靴ひもを結ぶタスクなどを考えた時、オクルージョンが発生する - - 任意の服 触覚と視覚をうまく組み合わせる手法が望まれる 日本人が割と多かった(過去形)(引用の1/3くらい日本人)