不快感を与えない顔への塗りムラ提示手法の検討

不快感を与えない 顔への塗りムラ 提示手法の検討 梶田美帆（明治大学） 中村聡史（明治大学） 伊藤貴之（お茶の水女子大学）

背景 ・顔は年齢や性別，感情などの個人の印象を捉えやすい部位 ・化粧は自身の印象を理想に近づけるための手段のひとつ ・ベースメイクは肌を即時的に整え，理想の質感を演出できる 2

背景 ・顔は年齢や性別，感情などの個人の印象を捉えやすい部位 ・化粧は自身の印象を理想に近づけるための手段のひとつ ・ベースメイクは肌を即時的に整え，理想の質感を演出できる ファンデーションが最も重要！ 3

ファンデーションの特性 ・ファンデーションの効果 肌色補正効果，毛穴や色ムラなど肌の欠点を隠す 肌の見た目に「自然さ」「透明感」など理想的な質感を付与 ・綺麗に塗ることが難しく「塗りムラ」ができやすい 4

ファンデーションの特性 ・ファンデーションの効果 肌色補正効果，毛穴や色ムラなど肌の欠点を隠す 肌の見た目に「自然さ」「透明感」など理想的な質感を付与 ・綺麗に塗ることが難しく「塗りムラ」ができやすい ・肌の難点が隠せない ・ぬれていない部分が日焼けする ・化粧崩れの原因になる 5

大目的 ファンデーションを塗りムラなく 自分で塗れるようにしたい！ 6

塗りムラの原因 ファンデーションは自身の肌の色に近いものを使用する 素肌との境目が肉眼でわかりづらい 7

塗りムラの原因 ファンデーションは自身の肌の色に近いものを使用する 素肌との境目が肉眼でわかりづらい ファンデーションを塗った箇所と 塗っていない箇所（素肌）がどこなのかを 化粧をしている最中に確認したい 8

関連研究 ・ファンデーション肌は素肌より光をより効率的に吸収する [五十嵐 2012] ・光学フィルタを用いたファンデーション量の分布計測システム [西野 2013] マイクロスコープやフィルタなど特別な機器が必須 化粧をする一般のユーザの利用は困難 9

これまで取り組んだ研究 特殊なフィルタやカメラなどを用いず 化粧中の一般のユーザに対して 塗りムラを指摘するシステム 一般のカメラで撮影した肌画像について ファンデーションの塗布状態を判別 [梶田 2020] 10

これまで取り組んだ研究 特殊なフィルタやカメラなどを用いず 化粧中の一般のユーザに対して 塗りムラを指摘するシステム 一般のカメラで撮影した肌画像について ファンデーションの塗布状態を判別 [梶田 2020] 可視化の際に嫌悪感を覚える可能性 11

これまで取り組んだ研究 特殊なフィルタやカメラなどを用いず 化粧中の一般のユーザに対して 塗りムラを指摘するシステム 一般のカメラで撮影した肌画像について ファンデーションの塗布状態を判別 [梶田 2020] 可視化の際に嫌悪感を覚える可能性 塗りムラの適切な 可視化方法が必要！！ 12

本研究の目的 嫌悪感の少ない可視化手法を 明らかにすること 可視化方法による印象への影響の調査 13

可視化方法による影響の調査 一般的な可視化の研究 ・見やすさ，わかりやすさなどに焦点 ・研究者側（他人）からの評価 ファンデーションの塗りムラの可視化 ・ムラ=ネガティブな印象のものを自身の顔にたくさん表示させる ・可視化される側（自分）からの評価 ・自分の顔と他者の顔の評価には差？ ・可視化方法によって好ましさやわかりやすさに差？ 14

実験 ・目的：顔に可視化されたファンデーションの塗りムラに対する 印象の調査 ・手法：実験1…ムラを指摘する意図の加工を施した自身の 顔写真に対して好ましさ，わかりやすさの評価 実験2…ムラを指摘する意図の加工を施した自身と 他人の顔写真における印象の差の調査 実験終了後簡単なアンケートを実施 ・実験協力者：女性の大学生，大学院生19名 15

注意 ムラの可視化の例として 集合体の画像が多く出てきます 16

実験：事前準備 1. 実験協力者， AI女性の顔写真 を1枚用意 2. 各写真を 36枚ずつ複製 3. 12パターンの 可視化方法 × ムラの位置 3パターン 1. ヒートマップ 全顔 赤 2. ヒートマップ 一部 赤 3. ヒートマップ 全顔 青 4. ヒートマップ 一部 青 5. 囲う 赤 6. 囲う 青 7. 囲う 黄 8. 囲う 緑 9. 塗りつぶし 赤 2. 塗りつぶし 青 3. 塗りつぶし 黄 4. 塗りつぶし 緑 17

実験1：好ましさ・わかりやすさの評価 ・目的：加工方法の違いによる塗りムラのわかりやすさ等を調査 ・手法：実験協力者自身の顔写真 36枚のうち 2枚ずつを比較 「提示手法が好ましいか，好ましくないか」 「塗りムラがわかりやすいか，わかりにくいか」 「左の方が好ましい」か「右の方が好ましい」かを評価してください ○ 左の方が好ましい ○ 右の方が好ましい 「左の方が塗りムラがわかりやすい」か「右の方が塗りムラがわかりやすい」かを評価してください ○ 左の方が塗りムラがわかりやすい ○ 右の方が塗りムラがわかりやすい 評価する 18

結果：好ましさ・わかりやすさの評価 「好ましい」もしくは「わかりやすい」として選ばれた手法に それぞれ 1 点を加算し，全実験協力者の結果を平均した値を 利用したPageRankを算出 1/2 1/2 1/2 1/2 1/2 19

結果：好ましさ・わかりやすさの評価 好ましさ わかりやすさ 好ましさの平均 わかりやすさの平均 1. ヒートマップ全顔赤 0.032 0.031 2. ヒートマップ一部赤 0.035 0.032 0.037 0.034 3. ヒートマップ全顔青 0.039 0.035 4. ヒートマップ一部青 0.042 0.037 5. 囲う 赤 0.044 0.042 6. 囲う 青 0.047 0.047 0.050 0.050 7. 囲う 黄 0.049 0.050 8. 囲う 緑 0.059 0.060 9. 塗りつぶし赤 0.084 0.087 10. 塗りつぶし青 0.123 0.117 0.164 0.166 11. 塗りつぶし黄 0.138 0.164 12. 塗りつぶし緑 0.310 0.298 20

結果：好ましさ・わかりやすさの評価 1. ヒートマップ全顔赤 0.032 0.031 2. ヒートマップ一部赤 0.035 0.032 3. ヒートマップ全顔青 0.039 0 4. ヒートマップ一部青 0.042 0 5. 囲う 赤 0.044 0 6. 囲う 青 0.047 0 7. 囲う 黄 0.049 0 8. 囲う 緑 0.059 0 9. 塗りつぶし赤 0.084 0 10. 塗りつぶし青 0.123 0 11. 塗りつぶし黄 0.138 0.164 12. 塗りつぶし緑 0.310 0.298 ムラの位置がわかりづらい ✖ 21

結果：好ましさ・わかりやすさの評価 1. ヒートマップ全顔赤 2. ヒートマップ一部赤 3. ヒートマップ全顔青 4. ヒートマップ一部青 5. 囲う 赤 6. 囲う 青 0.047 0.047 7. 囲う 黄 0.049 0.050 0.050 0.050 8. 囲う 緑 0.059 0.060 9. 塗りつぶし赤 0.084 0.087 10. 塗りつぶし青 0.123 0.117 0.164 0.166 11. 塗りつぶし黄 0.138 0.164 12. 塗りつぶし緑 0.310 0.298 ムラの位置がわかりやすい ✖ ◯ 22

結果：好ましさ・わかりやすさの評価 1. ヒートマップ全顔赤 0.032 0.031 2. ヒートマップ一部赤 0.035 0.032 3. ヒートマップ全顔青 0.039 0.035 4. ヒートマップ一部青 0.042 0.037 5. 囲う 赤 0.044 0.042 6. 囲う 青 0.047 0.047 7. 囲う 黄 0.049 0.050 8. 囲う 緑 0.059 0.060 9. 塗りつぶし赤 0.084 0.087 10. 塗りつぶし青 0.123 0.117 11. 塗りつぶし黄 0.138 0.164 12. 塗りつぶし緑 0.310 0.298 塗りムラが顔のどこにあるのかが わかりやすいものが評価が高い 23

考察：手法の好悪などに影響する条件 最も高評価：塗りムラの塗りつぶして提示する手法 （位置と範囲） 最も低評価：ヒートマップ手法 （位置と範囲と量） 最も情報量が多いヒートマップが最も評価が低い 塗布量の分布まで指摘せずとも 塗れていない位置を大まかに示すだけで充分な可能性 24

実験2：自他画像間の印象の差 ・目的：自身と他人の顔に対する加工における印象の差の調査 ・方法：実験協力者自身の顔写真36枚と AIで作成した女性の顔写真36枚に対し 13の形容詞対を7段階のリッカート尺度で評価 「静かな」か「うるさい」かを評価してください ○ 非常に静かな ○ とても静かな ○ 少し静かな ○ どちらでもない ○ 少しうるさい ○ とてもうるさい ○ 非常にうるさい 「明るい」か「暗い」かを評価してください ○ 非常に明るい ○ とても明るい ○ 少し明るい ○ どちらでもない ○ 少し暗い ○ とても暗い ○ 非常に暗い 「透明感がある」か「くすんでいる」かを評価してください ○ 非常に透明感がある ○ とても透明感がある ○ 少し透明感がある ○ どちらでもない ○ 少しくすんでいる ○ とてもくすんで いる ○ 非常にくすんでいる 25

結果：印象の差 最もポジティブな評価の際スコアは+3 最もネガティブな評価の際スコアは-3 としたときの各手法における平均 ヒートマップ 囲う 塗りつぶす 全顔赤 一部赤 全顔青 一部青 赤 青 黄 緑 赤 青 黄 緑 自分 0.027 0.166 -0.045 -0.383 0.050 0.031 -0.497 0.231 -0.123 0.045 -0.329 0.206 他人 0.053 0.321 0.174 -0.483 0.181 0.249 -0.260 0.587 0.170 0.504 -0.233 0.660 他人の顔画像より自分の顔画像の方が ムラの可視化に対してネガティブな印象 26

結果：印象の差 一部塗りつぶす方が ネガティブな印象 ◯ ✖ ヒートマップ 囲う 塗りつぶす 全顔赤 一部赤 全顔青 一部青 赤 青 黄 緑 赤 青 黄 緑 自分 0.027 0.166 -0.045 -0.383 0.050 0.031 -0.497 0.231 -0.123 0.045 -0.329 0.206 他人 0.053 0.321 0.174 -0.483 0.181 0.249 -0.260 0.587 0.170 0.504 -0.233 0.660 他人の顔画像より自分の顔画像の方が ムラの可視化に対してネガティブな印象 27

考察：評価に好影響した印象 ・印象評価：塗りつぶす方法 < 囲う方法 ・好ましさ：塗りつぶす方法 > 囲う方法 どういった印象が 好ましさに 繋がったのか？ 28

考察：評価に好影響した印象 ・印象評価：塗りつぶす方法 > 囲う方法 ・好ましさ：塗りつぶす方法 < 囲う方法 どういった印象が 好ましさに 繋がったのか？ ・ムラを囲うよりも塗りつぶして提示した場合に よりポジティブな評価がされた形容詞対 「明るい - 暗い」「あたたかい - 冷たい」 「積極的 - 消極的」，「派手 - 地味」 「明るく，あたたかく，積極的かつ派手」という 顔の印象が華やぐような手法が適している 29

考察：着目した部位の評価への影響 実験2について，着目箇所の違いによって 実験協力者を顔全体群14名，加工部分群5名に分類し比較分析 顔全体群 加工部分群 他人の顔画像への評価の平均 ◯ ✖ 自分の顔画像への評価の平均 ✖ ◯ 自分と他人の顔画像の評価の差 ◯ ✖ 加工部分群の方が自身の画像をより客観的に評価 30

考察：着目した部位の評価への影響 実験2について，着目箇所の違いによって 実験協力者を顔全体群14名，加工部分群5名に分類し比較分析 加工部分により注目を集めることで 『自身の顔上に好ましくないものが可視化されている』 ということに対する ネガティブな印象を和らげることができる？ 加工部分群の方が自身の画像をより客観的に評価 31

考察まとめと展望 ・他人より自身の顔に可視化されたムラの方がネガティブな印象 可視化される人自身の印象を考慮することは重要 好ましい可視化法 ・範囲：塗れていない位置を大まかに示す ・色：華やかな印象を受ける色 ・その他：ムラの位置が相対的にわかりやすい， 可視化部分により注目を集める 今回の実験で提案した12手法以外にも 写真加工アプリなどで顔の上に表示させることのできる ユニークなスタンプなどを参考にした可視化方法も検討 32

まとめ ・背景：塗りムラができてしまうが解決方法がない ・大目的：塗りムラをなくしたい ・目的：可視化手法による印象の影響の調査 ・手法：画像の印象評価 ・結果：可視化される人の印象を考慮することは重要 ムラの位置が相対的にわかりやすく 華やかな印象を受ける色で可視化 33