爪色の変化によるものの重さの推定に関する基礎検討

!"!#$#$%& '()!"! ⽖⾊の変化による ものの重さの推定に関する基礎検討 明治⼤学 松⽥さゆり 中村聡史

研究背景 レシピ通りの料理を作るとき・・・ 何度も計量する必要がある 2

研究背景 レシピ通りの料理を作るとき・・・ 何度も計量する必要がある めんどうだなぁ．．． 3

料理に関するアンケート調査 65%(642/991⼈)が材料の計量を⾯倒と感じている • • • 余計な洗い物が増える ⼿間がかかる いちいち道具を⽤意することが⾯倒 4

料理に関するアンケート調査 65%(642/991⼈)が材料の計量を⾯倒と感じている • • • 余計な洗い物が増える ⼿間がかかる いちいち道具を⽤意することが⾯倒 そもそも道具を持ち合わせていないことも 5

料理に関するアンケート調査 65%(642/991⼈)が材料の計量を⾯倒と感じている • • • 余計な洗い物が増える ⼿間がかかる いちいち道具を⽤意することが⾯倒 そもそも道具を持ち合わせていないことも !"#$%&'( 6

問題 ⼈間の⽬分量は正確ではない 7

⽬的 はかり無しで計量 8

関連研究 VibroScale スマートフォンの振動を物体に伝えて計量 Zhang, S., Xu, Q., Sen, S., and Alshurafa, N.. VibroScale: Turning Your Smartphone into a Weighing Scale. UbiComp-ISWC, 2020, p. 176-179. Arctanbler ⽬盛りが振られていない容器に携帯情報端 末を付けると、⽔平にして⽬盛りを読まず とも、計量できる 尾⾼陽太, 渡邉恵太. Arctanbler: 空中でも⽔平を得られる計量カップ. 情報処 理学会 インタラクション,2016, c2-3, p. 612-613. 9

関連研究 ⼿のひらに物体を載せた時に⽣じる 筋電位から物体の重さを推定 ⼩原⽥和也, 志築⽂太郎, ⾼橋 伸. 筋電位を⽤いた物体の重さの推定. 情報処理学会 HCI169, 9, 2016. 10

関連研究 ⽖の⾊を測定し、指の接触圧⼒を検出 Mascaro, S., Kuo Wei Chang, and Asada, H. H.. Finger touch sensors using instrumented nails and their application to human-robot interactive control. IEEE Transactions Robotics and Automation, 1998, p. 91-96. 11

関連研究 ⽖の⾊から、⽖が押している⼒の⼤きさと⽅向を推定 !" !" !" !" Mameno, H., Imura, M., Uranishi, Y., Yoshimoto, S., and Oshiro, O.. Estimation of fingertip contact force direction based on change in nail color distribution. ⽣体医⼯学, 1998, vol. 53, p. 155-56 12

提案⼿法 ⽖⾊の変化でものの重さを推定する ❓ 13

仮説 持っているものが重くなるほど、⽩い部分が増える さらに、⾚い部分はより⾚くなり、⾊変化がはっきりする 持っている重さによって⽖⾊が変化するため 重さを推定できる 14

予備検討 ⽖⾊は個⼈によって異なる上、照明・容器の形・持ち⽅に よって変化しやすいため条件の統制が必要 最も精度が⾼くなるデータセット 持ち⽅ 上 ⽖領域抽出⽅法 横 下 ⽖全体 四⾓形を抽出 15

予備検討 ⽖⾊は個⼈によって異なる上、照明・容器の形・持ち⽅に よって変化しやすいため条件の統制が必要 最も精度が⾼くなるデータセット 持ち⽅ 上 ⽖領域抽出⽅法 横 下 ⽖全体 四⾓形を抽出 16

実験 0ｇ〜500gまで50ｇ区切りに ⽔を⼊れたペットボトル 各重さ5枚ずつ⽖画像撮影 ⼤学⽣17名 合計935枚 17

結果 0gを持った時との差分 100 ←根元 150 200 250 300 ⽖の根元からの距離(px) 350 400 先端→ 18

結果 19

結果 20

結果 21

結果 22

結果 23

結果 24

結果 25

結果 26

結果 27

結果 28

結果（RGB） 0gを持った時との差分 100 ←根元 150 200 250 300 ⽖の根元からの距離(px) 350 400 先端→ 29

結果（RGB） 0gを持った時との差分 100 ←根元 150 200 250 300 ⽖の根元からの距離(px) 350 400 先端→ 30

結果（RGB） 0gを持った時との差分 100 ←根元 150 200 250 300 ⽖の根元からの距離(px) 350 400 先端→ 31

結果（HSV） H S 0gを持った時との差分 100 150 200 250 300 ⽖の根元からの距離(px) 0gを持った時との差分 350 400 100 150 200 250 300 350 400 ⽖の根元からの距離(px) 32

結果（HSV） H S 0gを持った時との差分 100 150 200 250 300 ⽖の根元からの距離(px) 0gを持った時との差分 350 400 100 150 200 250 300 350 400 ⽖の根元からの距離(px) 33

結果（HSV） S H H S 0gを持った時との差分 100 150 200 250 300 ⽖の根元からの距離(px) 0gを持った時との差分 350 400 100 150 200 250 300 350 400 ⽖の根元からの距離(px) 34

⽖⾊から重さを推定する際の特徴量 0gを持った時との差分が⼤きくなる(H,G,B)・⼩さくなる（S） • H・S・G・Bの平均値 • H・S・G・Bの最⼤値 • H・S・G・Bの最⼩値 ⽖の中での⾊変化が⼤きくなる（G,B） • G・Bの変化量 • G・Bの傾き 35

推定平均分類確率 持っている重さ（ｇ） 推定した重さ（g） 0 50 100 150 200 250 300 350 400 450 500 0 0.41 0.26 0.06 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 50 0.12 0.47 0.21 0.06 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100 0.03 0.24 0.47 0.09 0.03 0.00 0.00 0.00 0.00 0.00 0.00 150 0.00 0.03 0.29 0.56 0.26 0.03 0.03 0.00 0.00 0.00 0.00 200 0.00 0.00 0.03 0.18 0.38 0.18 0.06 0.00 0.00 0.00 0.00 250 0.00 0.00 0.03 0.00 0.29 0.65 0.12 0.00 0.00 0.00 0.00 300 0.00 0.00 0.00 0.00 0.06 0.24 0.44 0.32 0.03 0.00 0.00 350 0.00 0.00 0.00 0.00 0.00 0.03 0.21 0.59 0.18 0.03 0.03 400 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.15 0.59 0.24 0.06 450 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.03 0.12 0.56 0.15 500 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.12 0.26 0.44 36

推定平均分類確率 持っている重さ（ｇ） 推定した重さ（g） 0 50 100 150 200 250 300 350 400 450 500 0 0.41 0.26 0.06 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 50 0.12 0.47 0.21 0.06 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100 0.03 0.24 0.47 0.09 0.03 0.00 0.00 0.00 0.00 0.00 0.00 150 0.00 0.03 0.29 0.56 0.26 0.03 0.03 0.00 0.00 0.00 0.00 200 0.00 0.00 0.03 0.18 0.38 0.18 0.06 0.00 0.00 0.00 0.00 250 0.00 0.00 0.03 0.00 0.29 0.65 0.12 0.00 0.00 0.00 0.00 300 0.00 0.00 0.00 0.00 0.06 0.24 0.44 0.32 0.03 0.00 0.00 350 0.00 0.00 0.00 0.00 0.00 0.03 0.21 0.59 0.18 0.03 0.03 400 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.15 0.59 0.24 0.06 450 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.03 0.12 0.56 0.15 500 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.12 0.26 0.44 37

推定平均分類確率 持っている重さ（ｇ） 推定した重さ（g） 0 50 100 150 200 250 300 350 400 450 500 0 0.41 0.26 0.06 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 50 0.12 0.47 0.21 0.06 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100 0.03 0.24 0.47 0.09 0.03 0.00 0.00 0.00 0.00 0.00 0.00 150 0.00 0.03 0.29 0.56 0.26 0.03 0.03 0.00 0.00 0.00 0.00 200 0.00 0.00 0.03 0.18 0.38 0.18 0.06 0.00 0.00 0.00 0.00 250 0.00 0.00 0.03 0.00 0.29 0.65 0.12 0.00 0.00 0.00 0.00 300 0.00 0.00 0.00 0.00 0.06 0.24 0.44 0.32 0.03 0.00 0.00 350 0.00 0.00 0.00 0.00 0.00 0.03 0.21 0.59 0.18 0.03 0.03 400 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.15 0.59 0.24 0.06 450 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.03 0.12 0.56 0.15 500 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.12 0.26 0.44 38

推定平均分類確率 持っている重さ（ｇ） 推定した重さ（g） 0 50 100 150 200 250 300 350 400 450 500 0 0.41 0.26 0.06 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 50 0.12 0.47 0.21 0.06 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100 0.03 0.24 0.47 0.09 0.03 0.00 0.00 0.00 0.00 0.00 0.00 150 0.00 0.03 0.29 0.56 0.26 0.03 0.03 0.00 0.00 0.00 0.00 200 0.00 0.00 0.03 0.18 0.38 0.18 0.06 0.00 0.00 0.00 0.00 250 0.00 0.00 0.03 0.00 0.29 0.65 0.12 0.00 0.00 0.00 0.00 300 0.00 0.00 0.00 0.00 0.06 0.24 0.44 0.32 0.03 0.00 0.00 350 0.00 0.00 0.00 0.00 0.00 0.03 0.21 0.59 0.18 0.03 0.03 400 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.15 0.59 0.24 0.06 450 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.03 0.12 0.56 0.15 500 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.12 0.26 0.44 39

推定平均分類確率 持っている重さ（ｇ） 推定した重さ（g） 0 50 100 150 200 250 300 350 400 450 500 0 0.41 0.26 0.06 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 50 0.12 0.47 0.21 0.06 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100 0.03 0.24 0.47 0.09 0.03 0.00 0.00 0.00 0.00 0.00 0.00 150 0.00 0.03 0.29 0.56 0.26 0.03 0.03 0.00 0.00 0.00 0.00 200 0.00 0.00 0.03 0.18 0.38 0.18 0.06 0.00 0.00 0.00 0.00 250 0.00 0.00 0.03 0.00 0.29 0.65 0.12 0.00 0.00 0.00 0.00 300 0.00 0.00 0.00 0.00 0.06 0.24 0.44 0.32 0.03 0.00 0.00 350 0.00 0.00 0.00 0.00 0.00 0.03 0.21 0.59 0.18 0.03 0.03 400 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.15 0.59 0.24 0.06 450 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.03 0.12 0.56 0.15 500 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.12 0.26 0.44 40

考察 重いものを持つほど、G・Bの値が⾼くなる ⽖の先端にかけて急に⾼くなる 重いものを持つと ⽩⾊に近づく ⽖の中での⾊変化が⼤きくなる 41

考察 推定率が低い 個⼈差 ⽖の⼀部分を使⽤したため →⽖全体の利⽤・分析の⼯夫 学習データ枚数が不⼗分 42

考察 推定率が低い 個⼈差 ⽖の⼀部分を使⽤したため →⽖全体の利⽤・分析の⼯夫 学習データ枚数が不⼗分 どれくらいの枚数があったら正確に推定可能か？ 43

追実験 適切な枚数の検討 各重さにつき80枚の画像（合計1760枚） 学習データ枚数ごとの分類正解率 約20枚で 精度が安定する傾向 44

追実験 1つの重さにつき 5枚 の画像データ 1つの重さにつき 20枚 の画像データ 0 推定した重さ（g） 0 50 100 150 200 250 300 350 400 450 500 0.82 0.16 0.02 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 50 0.01 0.93 0.06 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 推定した重さ（g） 50 100 150 200 250 300 350 400 450 500 0 0.20 0.68 0.09 0.03 0.00 0.00 0.00 0.00 0.00 0.00 0.00 50 0.00 0.72 0.28 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100 0.00 0.15 0.59 0.22 0.04 0.00 150 0.00 0.00 0.01 0.08 0.35 0.35 200 0.00 0.00 0.07 0.62 0.21 0.08 250 0.00 0.04 0.10 0.10 0.14 0.24 0.00 0.00 0.00 0.00 0.00 300 0.00 0.00 0.00 0.00 0.02 0.13 350 0.00 0.00 0.00 0.00 0.00 0.00 400 0.00 0.00 0.00 0.00 0.00 0.00 450 0.00 0.00 0.00 0.00 0.00 0.02 0.46 0.36 0.03 0.00 0.00 0.16 0.03 0.01 0.00 0.00 0.02 0.00 0.00 0.00 0.00 0.13 0.11 0.15 0.01 0.00 0.07 0.50 0.41 0.02 0.00 0.10 0.20 0.59 0.11 0.00 0.03 0.09 0.52 0.34 0.00 500 0.00 0.00 0.00 0.00 0.00 0.00 0.02 0.15 0.40 0.42 0.01 持っている重さ（ｇ） 持っている重さ（ｇ） 0 100 0.02 0.08 0.82 0.07 0.00 0.00 150 0.00 0.00 0.01 0.76 0.13 0.09 200 0.00 0.00 0.00 0.16 0.77 0.06 250 0.00 0.00 0.00 0.01 0.07 0.77 0.00 0.00 0.00 0.00 0.00 300 0.00 0.00 0.00 0.00 0.00 0.07 350 0.00 0.00 0.00 0.00 0.00 0.00 400 0.00 0.00 0.00 0.00 0.00 0.00 450 0.00 0.00 0.00 0.00 0.00 0.00 0.83 0.09 0.02 0.00 0.00 0.01 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.13 0.03 0.00 0.00 0.00 0.01 0.99 0.00 0.00 0.00 0.03 0.09 0.83 0.04 0.00 0.00 0.01 0.06 0.91 0.02 500 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.01 0.02 0.11 0.85 45

追実験 1つの重さにつき 5枚 の画像データ 1つの重さにつき 20枚 の画像データ 0 推定した重さ（g） 0 50 100 150 200 250 300 350 400 450 500 0.82 0.16 0.02 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 50 0.01 0.93 0.06 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 推定した重さ（g） 50 100 150 200 250 300 350 400 450 500 0 0.20 0.68 0.09 0.03 0.00 0.00 0.00 0.00 0.00 0.00 0.00 50 0.00 0.72 0.28 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100 0.00 0.15 0.59 0.22 0.04 0.00 150 0.00 0.00 0.01 0.08 0.35 0.35 200 0.00 0.00 0.07 0.62 0.21 0.08 250 0.00 0.04 0.10 0.10 0.14 0.24 0.00 0.00 0.00 0.00 0.00 300 0.00 0.00 0.00 0.00 0.02 0.13 350 0.00 0.00 0.00 0.00 0.00 0.00 400 0.00 0.00 0.00 0.00 0.00 0.00 450 0.00 0.00 0.00 0.00 0.00 0.02 0.46 0.36 0.03 0.00 0.00 0.16 0.03 0.01 0.00 0.00 0.02 0.00 0.00 0.00 0.00 0.13 0.11 0.15 0.01 0.00 0.07 0.50 0.41 0.02 0.00 0.10 0.20 0.59 0.11 0.00 0.03 0.09 0.52 0.34 0.00 500 0.00 0.00 0.00 0.00 0.00 0.00 0.02 0.15 0.40 0.42 0.01 持っている重さ（ｇ） 持っている重さ（ｇ） 0 100 0.02 0.08 0.82 0.07 0.00 0.00 150 0.00 0.00 0.01 0.76 0.13 0.09 200 0.00 0.00 0.00 0.16 0.77 0.06 250 0.00 0.00 0.00 0.01 0.07 0.77 0.00 0.00 0.00 0.00 0.00 300 0.00 0.00 0.00 0.00 0.00 0.07 350 0.00 0.00 0.00 0.00 0.00 0.00 400 0.00 0.00 0.00 0.00 0.00 0.00 450 0.00 0.00 0.00 0.00 0.00 0.00 0.83 0.09 0.02 0.00 0.00 0.01 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.13 0.03 0.00 0.00 0.00 0.01 0.99 0.00 0.00 0.00 0.03 0.09 0.83 0.04 0.00 0.00 0.01 0.06 0.91 0.02 500 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.01 0.02 0.11 0.85 46

今後 個⼈に応じた⽖⾊分析⽅法 他の持ち⽅、計量対象の検討 ⽇常の中でも精度を出すための検証 47

まとめ 背景：⼈間の⽬分量は正しくない ⽬的：道具なしでものの重さを測れるようにしたい ⼿法：⽖の⾊の変化を利⽤ 仮説：重いものを持つと⽩くなる、⾊変化が⼤きくなる 実験：50gごと持って撮影 結果：ある程度近い重さで推定 考察：重いものを持つと⽩⾊に近づく傾向 追実験：適切な学習枚数の検討 48