言語化と画像の分割表示による模写時の観察支援手法の検討

言語化と画像の分割表示による 模写時の観察支援手法の検討 明治大学大学院 先端数理科学研究科 1年 菅野 一平 髙橋 拓 中村 聡史

提案システム 目について 言語化してください 気づいたことを メモする 見本とする画像

背景 デジタルイラストに 独学で挑戦する初心者がいる しかし一人でイラスト制作することは難しい 特に初心者のうちは • 思い通りに描けない • バランスや色が狂う

背景 イラスト制作において観察は重要 観察を十分に行うことで…… • バランス • 色や光 • 細かい部分 →整合性がとれて思い通りに描ける

問題 初心者は • 観察 • 想像と考察 を十分に行わないので思い通りに描けない そこで 観察を促し，深く考察させる手法が必要

関連研究 Shadow draw (Yong Jae Lee, Larry Zitnick, and Michael Cohen, 2011.)

関連研究 Real-Time Data-Driven Interactive Rough Sketch Inking (Edgar Simo-Serra, Satoshi Iizuka, Hiroshi Ishikawa, 2018)

アプローチ →言葉でアウトプットさせて観察を促す 言葉でアウトプットすることで • 考察する • より意識が向き観察を行う

言語化実験(DCC24) 観察中と模写中に観察対象について気づいたことを 言語化させることで • 気づくことができるか • 反映できるか を検証 結果 • 細かい部分の書き込みが増えた • パーツの大きさや配置に関して崩れている

手法の問題点 相対関係の観察が促せていない • パーツの位置や大きさについて言語化されていない • 多くの人がパーツの大きさに違和感があった 言語隠蔽効果 • 観察がこの効果によって妨害されている • 言語化が抽象的でありこの効果が強く表れた

言語隠蔽効果 言語隠蔽効果 顔などの非言語情報を記憶した後に言葉で表現 するとその記憶が正確に思い出せない現象

言語隠蔽効果 言語隠蔽効果 顔などの非言語情報を記憶した後に言葉で表現 するとその記憶が正確に思い出せない現象

言語隠蔽効果 言語隠蔽効果 顔などの非言語情報を記憶した後に言葉で表現 するとその記憶が正確に思い出せない現象 この効果によって観察が妨害された可能性がある

本研究の目的 言語隠蔽効果を表れにくくしたうえで 言語化によりイラスト制作者の観察を促す

言語隠蔽効果 言語隠蔽効果 顔などの非言語情報を記憶した後に言葉で表現するとそ の記憶が正確に思い出せない現象 言語能力が高いと言語隠蔽効果が表れにくい (Fiore & Schooer, 2002) 洞察課題において言語隠蔽効果 具体性のある反省的言語化が洞察問題の解決を促進 (清河ら，2010)

言語隠蔽効果 言語隠蔽効果 顔などの非言語情報を記憶した後に言葉で表現するとそ の記憶が正確に思い出せない現象 言語能力が高いと言語隠蔽効果が発動しない 具体性のある言語化をすれば言語隠蔽効果が表れにくくなる？ (Fiore & Schooer, 2002) 洞察課題において言語隠蔽効果 具体性のある反省的言語化が洞察問題の解決を促進 (清河ら，2010)

言語化 目に対して 「一重，細い」

言語化 目に対して 「一重，細い」 この情報から顔を特定できない 抽象的すぎて誤認する

言語化 目に対して 「一重，細い」 ↓ 「･一重 ･下の輪郭は直線的 ･目は顔の中心線の少し上くらいの高さにある ･眉毛と目の大きさは同じくらい ･目と目の間は，目一個分空いてる ･左目のほうが1.5倍くらい開いている」

言語化 目に対して 「一重，細い」 ↓ 「･一重 ･下の輪郭は直線的 ･目は顔の中心線の少し上くらいの高さにある ･眉毛と目の大きさは同じくらい ･目と目の間は，目一個分空いてる ･左目のほうが1.5倍くらい開いている」 様々な要素から言語化

言語化 目に対して 「一重，細い」 ↓ 「･一重 ･下の輪郭は直線的 ･目は顔の中心線の少し上くらいの高さにある ･眉毛と目の大きさは同じくらい ･目と目の間は，目一個分空いてる ･左目のほうが1.5倍くらい開いている」 比較を用いて言語化

言語化 目に対して 「一重，細い」 ↓ 「･一重 ･下の輪郭は直線的 ･目は顔の中心線の少し上くらいの高さにある ･眉毛と目の大きさは同じくらい ･目と目の間は，目一個分空いてる ･左目のほうが1.5倍くらい開いている」 数値を用いて言語化

提案手法 「部分的な画像を見せる」手法

提案手法 目について言語化 ↓ ・二重 ・カーブを描いている ・右目のほうが上にある 視点が一か所に向いている

提案手法 「部分的な画像を見せる」手法 ↓ イラスト制作者の視点を絞る • 自分では観察しない視点について注意が向く • 深く観察してより詳細に言語化できる

提案システム 目について 言語化してください 気づいたことを メモする 見本とする画像

検証 提案手法を用いて以下のことを検証 1. 言語化が多面的，具体的になるか 2. 観察を促すことができるか 観察対象の特徴について言語化する実験で 明らかにする

実験 • 模写をする実験 • 情報系の学部に通う21～23歳の学生10名 (教室などで絵を習っていない人) • 分割なし条件と分割あり条件を2日に分けて 実施 デバイスやツール • 資料提示用PCはAlienware17 R4 • 液晶タブレットはWacom MobileStudio Pro 13 • 制作ツールはClipStudio Paint Pro

実験手順 1. 使用するソフトやデバイスの説明を行い 練習を5分間行う 2. 視線計測を開始して観察を8分間行う ※分割あり条件では指示を行い画像を切り替える 3. 模写を1時間程度行う 描画対象

実験 髪 輪郭 眉毛 目 鼻 口 パーツの位置 パーツの大きさ

実験

結果：言語化 観察中と描画中に記述された言語化の内容別の個数

結果：言語化 観察中と描画中に記述された言語化の内容別の個数 分割なし条件では髪，目，パーツの位置に言語化が偏っている

結果：言語化 観察中と描画中に記述された言語化の内容別の個数の平均 分割あり条件ではまんべんなく言語化されている

結果：言語化 観察中と描画中に記述された言語化の内容別の個数の平均 分割あり条件において言語化がより多面的になった 分割あり条件ではまんべんなく言語化されている

結果：言語化 相対的な比較や数値を用いた言語化 →パーツの位置，大きさに関して分割あり条件において 多くの実験協力者が行っていた 分割あり条件において言語化がより具体的になった

結果：注視点ヒートマップ 分割あり条件で注視時間が多かった人の注視点ヒートマップ (左が分割なし条件，右が分割あり条件) C D G E H

結果：注視点ヒートマップ C 分割あり条件において赤や白い点が少ない 観察対象全体に観察がまんべんなく行われている

結果：注視点ヒートマップ 分割あり条件で注視時間が少なかった人の注視点ヒートマップ (左が分割なし条件，右が分割あり条件) F I どちらの条件においてもまんべんなく観察が行われている

考察：言語化 指示を行わなかった「全体の色」や「向き」について分 割あり条件では言語化されなかった →観察の視点が強く誘導されたため 解決策 • 重要な視点すべてに指示をする • 自由観察の時間を設ける

考察：注視点 分割あり条件で注視時間が多かった人の領域ごとの注視点の割合 (左が分割なし条件，右が分割あり条件) C D G E H

考察：注視点 G 顔の上部だけでなく下部にも注視点が分散している

考察：注視点 分割あり条件で注視時間が少なかった人の領域ごとの注視点の割合 (左が分割なし条件，右が分割あり条件) F I もともと注視点が分散している

考察：注視時間 ほとんどの実験協力者が描画中に5%程度しか 観察を行っていない 今後は描画中にも観察を促す

まとめ 視点の指示を行い画像を分割提示する手法を提案 観察対象の特徴を言語化する実験でその効果を検証 結果 ①すべての視点に対してまんべんなく言語化された ②言語化が多面的，具体的になった ③一部の人の観察が描画対象全体にまんべんなく行われた 今後 どのように言語化するかを指示 描画中にもガイドを提示することで観察を促す