作画ミス見落としに関する基礎調査とその防止のためのイラストの自動遮蔽システムの実現

作画ミス見落としに関する基礎調査と その防止のための イラストの自動遮蔽システムの実現 明治大学大学院 先端数理科学研究科 2年 髙橋 拓 中村 聡史

本発表の概要 研究のメインテーマ 作画ミスの 見落とし を解決する 問題の調査 上級者4名が対象

本発表の概要 研究のメインテーマ 作画ミスの 見落とし を解決する 問題の調査 手法の提案・検証 上級者4名が対象 部分遮蔽手法の 提案と有用性調査 [髙橋, 2020]

本発表の概要 研究のメインテーマ 作画ミスの 見落とし を解決する 問題の調査 手法の提案・検証 上級者4名が対象 部分遮蔽手法の 提案と有用性調査 一般のイラスト制作者 1000名が対象 [髙橋, 2020]

本発表の概要 研究のメインテーマ 作画ミスの 見落とし を解決する 問題の調査 手法の提案・検証 上級者4名が対象 部分遮蔽手法の 提案と有用性調査 一般のイラスト制作者 1000名が対象 [髙橋, 2020] システム化 以上の分析をもとに 作画ミス発見に有効な システムの実装

背景 誰もが気軽にイラストを制作・発信できるように！

作画ミスの見落とし イラスト投稿（作画直後） ミス無し、投稿！

作画ミスの見落とし イラスト投稿（作画直後） ミス無し、投稿！ 後日… こんな絵だっけ…？

作画ミスの見落とし イラスト投稿（作画直後） ミス無し、投稿！ 後日… こんな絵だっけ…？ 「作画ミス」が残ったまま投稿・納品してしまう 作画ミスの見落としを回避したい！

「作画ミス」の定義 模写の場合… ・目が離れている ・手が大きい ・襟の構造が違う …… 描きたいもの（正解） 描いたもの 作画ミス ＝ 実物との差異

「作画ミス」の定義 模写の場合… ・目が離れている ・手が大きい ・襟の構造が違う …… 描きたいもの（正解） 描いたもの 作画ミス ＝ 実物との差異 → 機械的に定義・発見することが可能

「作画ミス」の定義 想像から描くイラスト（本研究の対象）の場合… ・違和感はないか？ ・リアルに描く？ デフォルメする？ ・デザインは設定通り？ …… 描きたいもの（正解） 描いたもの

「作画ミス」の定義 想像から描くイラスト（本研究の対象）の場合… ・違和感はないか？ ・リアルに描く？ デフォルメする？ ・デザインは設定通り？ …… 描きたいもの（正解） 描いたもの 作画ミス ＝ 作者の意図しない表現

「作画ミス」の定義 想像から描くイラスト（本研究の対象）の場合… ・違和感はないか？ ・リアルに描く？ デフォルメする？ ・デザインは設定通り？ …… 描きたいもの（正解） 描いたもの 作画ミス ＝ 作者の意図しない表現 → 作者自身が発見する必要がある

「作画ミス」の定義 想像から描くイラスト（本研究の対象）の場合… ・頭身に違和感… ・腕の曲がり方が変？ ・あまり笑顔に見えない ・服が地味？ 描きたいもの（正解） 描いたもの 作画ミス ＝ 作者の意図しない表現 → 作者自身が発見する必要がある ……

「作画ミス見落とし」の定義 数ヶ月・数年後に気が付けるミス ＝ 作画時点での能力では気が付けない 数日後には気が付けるミス ＝ 作画時点での能力で発見可能

「作画ミス見落とし」の定義 数ヶ月・数年後に気が付けるミス ＝ 作画時点での能力では気が付けない 数日後には気が付けるミス ＝ 作画時点での能力で発見可能

「作画ミス見落とし」の定義 数ヶ月・数年後に気が付けるミス ＝ 作画時点での能力では気が付けない 数日後には気が付けるミス ＝ 作画時点での能力で発見可能 作画中/直後は一時的に気が付けない「慣れ」の状況下にある

「作画ミス見落とし」の定義 数ヶ月・数年後に気が付けるミス ＝ 作画時点での能力では気が付けない 数日後には気が付けるミス ＝ 作画時点での能力で発見可能 作画中/直後は一時的に気が付けない「慣れ」の状況下にある 何らかのアプローチで作画直後でも発見可能になる？

「作画ミス見落とし」の定義 数ヶ月・数年後に気が付けるミス ＝ 作画時点での能力では気が付けない 数日後には気が付けるミス ＝ 作画時点での能力で発見可能 作画中/直後は一時的に気が付けない「慣れ」の状況下にある 何らかのアプローチで作画直後でも発見可能になる？ 研究の大目的 作画直後 の イラスト制作者自身 での 作画ミス発見を促す手法 の実現

作画ミス見落としに関する基礎調査 ・一般のイラスト制作者における作画ミス見落としの現状を 明らかにするため、大規模なアンケート調査を実施 ・2020年8月、Yahoo!クラウドソーシングにて実施 ・自身が描いたオリジナルのイラストをWebに投稿したこと のあるひと1000人が対象→有効な回答762件 ・主な調査項目： 「見落としていた作画ミスの具体例」 「作画ミス見落としの頻度」 「見落としを防ぐために行っている工夫」 「見落としの原因として想定されること」

作画ミス見落としに関する基礎調査 ・一般のイラスト制作者における作画ミス見落としの現状を 明らかにするため、大規模なアンケート調査を実施 ・2020年8月、Yahoo!クラウドソーシングにて実施 ・自身が描いたオリジナルのイラストをWebに投稿したこと のあるひと1000人が対象→有効な回答762件 ・主な調査項目： 「見落としていた作画ミスの具体例」→ 見落としやすいミス 「作画ミス見落としの頻度」→ 本研究が対象とすべき層 「見落としを防ぐために行っている工夫」→ 既存手法 「見落としの原因として想定されること」→ 解消すべき原因

見落とされがちな作画ミス ・「デッサン狂い」と「表現のミス」が見落とされがち ・それぞれ全体的なミスと細部のミスがある

見落とされがちな作画ミス（デッサン狂いの例） ・「デッサン狂い」と「表現のミス」が見落とされがち ・それぞれ全体的なミスと細部のミスがある 顔のバランスが悪い ・左右非対称 ・パーツの配置 人体のバランスが悪い ・手足の長さ ・顔の大きさ 立体感のないパーツ 指の本数 不自然な関節

見落とされがちな作画ミス（表現のミスの例） ・「デッサン狂い」と「表現のミス」が見落とされがち ・それぞれ全体的なミスと細部のミスがある イラストの構図 キャラクタのポーズ 全体的な雰囲気 表情が硬い 装飾のデザイン ・設定に沿っていない ・好みでない

「工夫」と「作画ミス見落とし」の自覚 ・「工夫」と「経験年数」の対応分析 ・経験年数の少ない回答者ほど「工夫」がない ・「工夫」と「見落としの頻度」の対応分析 ・頻度は４段階で回答 ・よくある、たまにある、あまりない、全くない ・「工夫」がない人ほど「あまりない」以下を回答 「作画ミスの見落とし」を問題視するには ある程度の経験が必要 「工夫」を回答した535名を対象に分析している

工夫ごとの作画ミス見落とし頻度 ・「工夫」ごとの作画ミス見落とし頻度の割合（人数） ・すべての工夫における半数以上、および全体の58%が 「よくある」「たまにある」を回答している

左右反転（既存手法） 作画中や直後に自分自身で 絵の違和感に気が付ける？ 古くから認知されている、 既存ペイントツールにも実装されている手法

左右反転に関する事前調査 ・美術系の大学生４名に実際に絵を描いてもらった ・作画直後に左右反転することで左右のバランスの狂いを発見 ・数日後に再度確認したところ、作画ミスの見落としが発覚 網羅的な作画ミス発見はできない

工夫ごとの作画ミス見落とし頻度 ・「工夫」ごとの作画ミス見落とし頻度の割合（人数） ・すべての工夫における半数以上、および全体の58%が 「よくある」「たまにある」を回答している 注意深いイラスト制作者にとっても、 作画ミス見落としは日常的な問題である 既存手法は効果的ではあるが、不十分

見落としの原因として想定されること ・「長時間の作画によって客観的に見ることができなくなる」 といった目や脳の「慣れ」の感覚を問題視する回答が 多く見られた ・「慣れ」を構成する感覚の中でも、 「意識の一点集中」と「思い込み」は後日自覚しやすい

見落としの原因として想定されること ・「長時間の作画によって客観的に見ることができなくなる」 といった目や脳の「慣れ」の感覚を問題視する回答が 多く見られた ・「慣れ」を構成する感覚の中でも、 「意識の一点集中」と「思い込み」は後日自覚しやすい ・一点に意識が向いてしまい、全体 or 他の箇所を見ていない

見落としの原因として想定されること ・「長時間の作画によって客観的に見ることができなくなる」 といった目や脳の「慣れ」の感覚を問題視する回答が 多く見られた ・「慣れ」を構成する感覚の中でも、 「意識の一点集中」と「思い込み」は後日自覚しやすい ・一点に意識が向いてしまい、全体 or 他の箇所を見ていない ・知識を参照に描いた結果、記号的な作画になる認知バイアス → 線に持たせた意味を自覚しているために客観視できない [Carmichael, 1932] [Gombrich, 1960] [Roseielle, 2009]

基礎調査結果まとめ ・「作画ミス見落とし」は初心者上級者を問わず、 イラスト制作者の多くに関係する問題 ・ 見落とされやすい作画ミスは、 「デッサン狂い」と「表現のミス」 ・ 効果的な既存手法が広まっているが、不十分 ・ 見落としの原因は目や脳の「慣れ」 具体的には「意識の一点集中」と「思い込み」

部分遮蔽手法 [髙橋, 2020] ・イラストを部分的に隠すことで、作画直後に自分自身での 作画ミス発見を促す部分遮蔽手法を提案 ・実験によって手法の有用性を調査した

部分遮蔽手法（仮説） ひと通り形になったのでミスを見つけたいが、 この絵がいいのか悪いのか分からない…

部分遮蔽手法（仮説） ここで、イラストの一部分を遮蔽する

部分遮蔽手法（仮説） このとき、遮蔽の向こう側を想像することで、 作者の理想のバランスを再認識させる

部分遮蔽手法（仮説） 遮蔽されていた範囲を再度確認することで、 本来描きたかったバランスとの相違に気付ける？

部分遮蔽手法（仮説） 遮蔽されていた範囲を再度確認することで、 本来描きたかったバランスとの相違に気付ける？

部分遮蔽手法（仮説） 遮蔽されていた範囲を再度確認することで、 本来描きたかったバランスとの相違に気付ける？

部分遮蔽手法（仮説） またこのとき、全体を見ていると気付けなかった 提示された範囲の細部のミスにも意識が向く？

部分遮蔽手法の概要 仮説： 遮蔽範囲内のバランスのミス 非遮蔽範囲内の細部のミス の発見に有効？ 適用によって感覚の変化が生じる？

部分遮蔽手法の概要 仮説： 遮蔽範囲内のバランスのミス 非遮蔽範囲内の細部のミス の発見に有効？ 適用によって感覚の変化が生じる？ ・実験協力者全員が作画直後に新たな作画ミスを見つけた ・仮説のミスの他、分断されたパーツ内のミスに特に有効 ・単純な注視点変化では気付かなかったミスを発見できた ・手法による感覚の変化が生じていたことがわかった

部分遮蔽手法の概要 仮説： 遮蔽範囲内のバランスのミス 非遮蔽範囲内の細部のミス の発見に有効？ 適用によって感覚の変化が生じる？ ・実験協力者全員が作画直後に新たな作画ミスを見つけた ・仮説のミスの他、分断されたパーツ内のミスに特に有効 ・単純な注視点変化では気付かなかったミスを発見できた ・手法による感覚の変化が生じていたことがわかった

今回の調査を踏まえた部分遮蔽手法の有用性 ・見落とされやすい作画ミスは 「デッサン狂い」と「表現のミス」 → 部分遮蔽手法によって実際に発見可能だった しかし、表現のミスの発見例は少ない ・ 見落としの原因は目や脳の「慣れ」 具体的には「意識の一点集中」と「思い込み」 → 一点集中に対しては仮説で述べた通りの効果があった また、線を分断しまとまりとして認識できなくすること で認知バイアスの低減が達成された可能性がある

未解決の問題点 実際に修正可能か明らかになっていない ・実際の作画環境において本手法を適用した際に 発見された作画ミスを修正できるのか、 また、その修正が満足なイラスト制作に繋がるのかは不明

未解決の問題点 実際に修正可能か明らかになっていない ・実際の作画環境において本手法を適用した際に 発見された作画ミスを修正できるのか、 また、その修正が満足なイラスト制作に繋がるのかは不明 → これまでの分析から、入力されたイラストの内容に応じて 作画ミス発見に効果的な遮蔽パターンを自動生成する 自動遮蔽システムを実装する

未解決の問題点 実際に修正可能か明らかになっていない ・実際の作画環境において本手法を適用した際に 発見された作画ミスを修正できるのか、 また、その修正が満足なイラスト制作に繋がるのかは不明 → これまでの分析から、入力されたイラストの内容に応じて 作画ミス発見に効果的な遮蔽パターンを自動生成する 自動遮蔽システムを実装する → 実験協力者の普段のイラスト制作環境において、 実際に満足な作画ミス修正が可能であるかを指標に 本システムの効果を検証し、より効果的なシステム設計と その応用を考察する

自動遮蔽システムの実装 ・入力されたイラストの内容に応じて効果的な遮蔽パターンを 生成・提示する自動遮蔽システムを実装する ・オブジェクトのパーツ内を分割するような遮蔽が重要？ ・線で囲まれた領域（閉領域）はパーツ輪郭線の可能性が高い [Forrester, 2008] ・線画内の閉領域をパーツとして推定、これを分断する

遮蔽パターンの生成

自動遮蔽システム ・ドラッグ＆ドロップでシステムにイラストを入力 ・SHIFTで遮蔽の表示/非表示切り替え・ENTERで遮蔽再生成 ・作画ミスの発見が満足にできたと感じるまで続ける

自動遮蔽システム ・ドラッグ＆ドロップでシステムにイラストを入力 ・SHIFTで遮蔽の表示/非表示切り替え・ENTERで遮蔽再生成 ・作画ミスの発見が満足にできたと感じるまで続ける

自動遮蔽システム ・ドラッグ＆ドロップでシステムにイラストを入力 ・SHIFTで遮蔽の表示/非表示切り替え・ENTERで遮蔽再生成 ・作画ミスの発見が満足にできたと感じるまで続ける

自動遮蔽システム ・ドラッグ＆ドロップでシステムにイラストを入力 ・SHIFTで遮蔽の表示/非表示切り替え・ENTERで遮蔽再生成 ・作画ミスの発見が満足にできたと感じるまで続ける

システム使用実験手順 作画タスク 単純な観察 修正タスク ・普段のイラスト制作環境 ・修正したい箇所の記入 ・この結果を元画像とする 自動遮蔽システム適用 修正タスク 2日後 ・修正したい箇所の記入 ・修正の満足度 ・最低10回は遮蔽生成 ・自動遮蔽システムの フィードバック

システム使用実験手順 作画タスク 単純な観察 修正タスク ・普段のイラスト制作環境 ・修正したい箇所の記入 ・この結果を元画像とする 自動遮蔽システム適用 修正タスク 2日後 ・修正したい箇所の記入 ・修正の満足度 ・最低10回は遮蔽生成 ・自動遮蔽システムの フィードバック

実験設計 ・イラスト初心者～中級者 9名 ・タスク→多くのパーツで構成され、正確な立体感の 描画が難しいもの ・線が閉じている必要がある 車 ヘッドフォンを装着したキャラクタの （車タスク） 胸部まで （ヘッドフォンタスク）

実験結果（制作物の例）

実験結果（制作物の例）

実験結果（作画ミス回答の例） ・右側の頬をもう少しキリッとさせたい ・首が長すぎる？ ・右側の肩も撫で肩にする ・首に対して、顔がもっと前 ・遮蔽してる時の方がスッキリして見えるので、 右側の頭の輪郭をもう少し小さくしてもいいかもしれない 時間経過 （見落としたミス） ・パーカーの右側が肌が見えすぎてて不自然 ・前髪ももっとふわっとしたい

実験結果（修正満足度とフィードバック） ・実験協力者全員がシステム適用で新たに作画ミスの発見 をしている（既存手法適用では発見できなかったもの） ・2日後に修正の満足度を5段階で回答した ・実験協力者全員が修正に満足感を抱いている（平均4.0） ・「システムは見落とし防止に有効か？」（平均4.3） ・「描いている時とは違う視点で見ることができ、 絵のバランスの悪さに気付くことができると感じた」 ・「システムを普段のイラスト制作でも使いたいか？」(平均4.0) ・「見落としやすい細かいミスに気付くことが出来る」 ・「専用のシステムを介するのは面倒」

実験結果（修正満足度とフィードバック） ・実験協力者全員がシステム適用で新たに作画ミスの発見 をしている（既存手法適用では発見できなかったもの） ・2日後に修正の満足度を5段階で回答した ・実験協力者全員が修正に満足感を抱いている（平均4.0） ・「システムは見落とし防止に有効か？」（平均4.3） ・「描いている時とは違う視点で見ることができ、 絵のバランスの悪さに気付くことができると感じた」 ・「システムを普段のイラスト制作でも使いたいか？」(平均4.0) ・「見落としやすい細かいミスに気付くことが出来る」 ・「専用のシステムを介するのは面倒」

実験結果（修正満足度とフィードバック） ・実験協力者全員がシステム適用で新たに作画ミスの発見 をしている（既存手法適用では発見できなかったもの） ・2日後に修正の満足度を5段階で回答した ・実験協力者全員が修正に満足感を抱いている（平均4.0） 自動遮蔽システムによって満足なイラスト修正が可能だった ・「システムは見落とし防止に有効か？」（平均4.3） ・「描いている時とは違う視点で見ることができ、 絵のバランスの悪さに気付くことができると感じた」 ・「システムを普段のイラスト制作でも使いたいか？」(平均4.0) ・「見落としやすい細かいミスに気付くことが出来る」 ・「専用のシステムを介するのは面倒」

発見できなかった作画ミス ・発見できた作画ミスはこれまでの研究と同様 ・大まかなバランスや細かなミス ・特に分断されたパーツ内のミスが多い ・表現のミスの見落としは多かった ・部分遮蔽手法が有効ではない？ ・上級者が対象の実験なら得られる可能性がある ・修正したことによって増えてしまったミスが2件ある ・修正後、再度システムに入力して観察することで 発見できた可能性がある

システムの改善点 ・バランスに関するミスが発見できず、細部のミス にのみ有効だと感じた実験協力者がいた ・より想像を促すようなインタフェースが必要？ ・似た遮蔽パターンが連続して提示されてしまった ・新鮮な視覚刺激提示のため改善が必要 ・線が繋がってないといけない ・モルフォロジー演算やスプライン補間を アルゴリズムに取り入れることでより多くの 線画に対応する必要がある

まとめと今後の展望 ・今後は改善点として要望の多かった、 既存のペイントツールのプラグインとしての 実装を目指す（Photoshop, Clip Studioなど） 簡易まとめ ・作画ミス見落としは初心者上級者を問わず日常的な 問題であり、現状広まっている手法では不十分 ・自動遮蔽システムによって普段のイラスト制作環境 における満足な作画ミス発見・修正が可能

ご清聴 or 閲覧ありがとうございました！ 以下、発表時間の都合上 割愛した内容の補足スライドです

補足（アンケート除外条件） ・無意味な文字列・支離滅裂な回答 ・明らかにイラスト制作者ではない参加者 ・「絵は描きません」など ・全ての記述に対して「特に無し」

補足（アンケート参加者の属性） ・初心者~上級者まで幅広い回答者が参加 ・主に趣味でイラスト制作をしているアマチュア層 ・作画時間、投稿先、制作目的などから判断

補足（縮尺変更） いわゆる拡大縮小ツールのこと 作画中/直後に適用可能かつ、 細部の確認と全体の俯瞰ができる 部分遮蔽手法と同じ？ ・絵の情報量の削減といった観点で異なる ・一部が見えないことで 感覚の変化が起こる 記号的でない想像ができる ・デジタル作画であればそもそも拡大縮小は必須 → 効果を比較する必要はないと考える

補足（アルゴリズムの詳細）

補足（アルゴリズムの詳細） ・領域Aに完全に包括された領域BはAと合体 ・例：服に対するポケットや顔に対する目・口 ・複雑な絵になった時、微細な領域はノイズになる ・Aに対するBの配置や大きさのバランスが意識できる

補足（閉領域着目の理由） ・部分遮蔽手法の有用性調査には視線計測を用いた →パーツや意識されている箇所の推定に応用可能？ ・しかし、視線計測機器は現時点では普及していない →システムの恩恵を受けられるユーザが限られる →画像内情報のみであれば誰でも利用できる ・また、COVID-19の影響で対面実験が難しい →画像内情報のみであればリモートで実験可能

補足（線画時に適用する理由と着色後の適用可能性） ・主なデジタルイラスト制作フロー（この限りではない）： ラフ → 下書き → 線画 → 着色 → 加工 ・「作画ミス見落とし」の更なる問題点として、 「着色後や加工後に気付き修正が大変」がある ・線画は作画対象物の構造を十分に認識できる最初の タイミング → この時点でミスを修正したい ・輪郭抽出を取り入れることで着色後や主線のない絵 にも対応可能だと考える

補足（システムは見落とし防止に有効か？） 平均：4.3

補足（システムを普段のイラスト制作でも使いたいか？） 平均：4.0

補足(実際に見られた作画ミス発見の流れ) 初回修正前 ・こだわった点：表情・髪型 元画像 ・気に入っている点：目・眉 ・難しかった点：髪型・パーカー ・初回の修正：パーカーと身体の左右バランス・口と鼻の距離

補足(実際に見られた作画ミス発見の流れ) 初回修正前 元画像 システム適用前は 主に顔とパーカー部分を 意識していると推測できる

補足(実際に見られた作画ミス発見の流れ) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

補足(実際に見られた作画ミス発見の流れ) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 パーカーが完全に隠れ、頭部が分断 19 18 → 遮蔽範囲内の顔の想像 17 顔より下の人体バランスを意識できるように 21 22 23 20 24

補足(実際に見られた作画ミス発見の流れ) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 18 19 20 はじめて頭部が完全に隠れた 17 → 胴体のバランスのみを意識できるように 21 22 23 24

補足(実際に見られた作画ミス発見の流れ) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 19 18 #4に似ているが、遮蔽される範囲が異なる → わずかな差で気付きが変化することがわかる 21 22 23 20 24

補足(実際に見られた作画ミス発見の流れ) 頭部が完全に隠れている点で#9同様だが、 3 4 1 2 首が一部見えている点で異なる → 表示されている首を基準にした想像が促され、 7 8 5 6 はじめて頭の位置のミスに気が付けた 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

補足(実際に見られた作画ミス発見の流れ) ・システム適用によって先に右肩に意識が向いた → ほぼ同位置に存在する右側パーカーに着目できず 3 1 2 4 ・肩とパーカーを分離するようなパターンが無かった 5 6 7 8 13 14 15 16 17 18 19 20 21 22 23 24 ・前髪に関しては#17で気付けた可能性 → 「ふわっとしたい」といった表現のミスの発見は不向き？ 9 11 12 10