印象にもとづくコミック検索に向けた服領域自動抽出と印象推定に関する検討

印象にもとづくコミック検索に向けた 服領域自動抽出と印象推定に関する検討 渡邉 聡, 望月 華（明治大学3年） 二宮 洸太, 梶田 美帆, 中村 聡史

背景：コミックにおける絞り込み 絞り込み 作者名 作品名 人気

背景：コミックにおける絞り込み 恋愛物で 猫が出てくる 作品が読みたい 迫力のある熱い 場面を読みたい

背景：コミックにおける絞り込み 恋愛物で 猫が出てくる 作品が読みたい コミックのジャンル キーワード 口コミ 迫力のある熱い 場面を読みたい

背景：コミックにおける絞り込み 恋愛物で 猫が出てくる 作品が読みたい 迫力のある熱い 場面を読みたい コミックのジャンル キーワード 口コミ シーンの雰囲気？

背景：雰囲気の取得方法(外部情報) レビューを利用する 読んでいて明るい気持ちや前向き ・ワードから作品全体の雰囲気が掴める な気持ちになれる漫画です。 わざとらしくなく、クサくなく、 感動するような言葉が織り込まれて いるのもすごい。 ・シーン単位の雰囲気は掴みにくい ・レビューが沢山付く作品なら使えそう

背景：雰囲気の取得方法(内部情報) 内部情報を利用する ・絵柄 ・セリフの内容 ・表情 亜人©︎桜井画門

背景：雰囲気の取得方法(内部情報) 内部情報を利用する ・絵柄 服装から ・セリフの内容 ・表情 亜人©︎桜井画門 雰囲気を掴む

背景：服装による雰囲気の変化 Tシャツ 礼服 同じ作品でも、服が違うと雰囲気も変わる うさぎドロップ©︎宇仁田ゆみ

全体の目的 コミック内の服領域を自動抽出し 服の印象を自動推定することで 服の印象の組み合わせから シーンの雰囲気を推定

全体の流れ シーン取り出し 服抽出 服印象推定 ・カジュアル ・平凡 ・冷たい 亜人©︎桜井画門 シーン印象推定 あわただしい雰囲気 迫力がある感じ

全体の流れ：今回行ったこと シーン取り出し 服抽出 服印象推定 ・カジュアル ・平凡 ・冷たい 亜人©︎桜井画門 シーン印象推定 あわただしい雰囲気 迫力がある感じ

服の評価軸および印象の個人差の調査

目的とアプローチ 電子コミックから服画像を切り出し，検証を行う 印象の個人差，適切な評価軸の2点の検討をする ・トップスのみを検証対象とする ・服が正面から描かれた画像を切り出す

検証概要 評価者 評価段階 大学生12名（男性6名, 女性6名） 評価軸 カジュアル-フォーマル 下品-上品 平凡-個性的 地味-派手 冷たい-暖かい （衣服の印象評価における媒体間の比較[堀ら 2002]） -3～+3 の7段階評価

データセット ・2010年以降に描かれた作品 ・服の種類が多い ・赤髪の白雪姫（著：あきづき空太） ・コウノドリ（著：鈴ノ木ユウ） ・亜人（著：桜井画門） ・テセウスの船（著：東元俊哉） ・いぬやしき（著：奥浩哉） ・放課後さいころ倶楽部（著：中道裕大） ・うさぎドロップ（著：宇治田ゆみ） ・忘却のサチコ（著：阿部潤） ・かくしごと（著：久米田康治） ・ランウェイで笑って（著：猪ノ谷言葉）

データの分析 1. 評価者間の分析 評価者間のばらつきを調べ、印象の個人差について分析する 1. 評価軸の分析 使える評価軸や、服の特徴等を分析する

評価者間の分析：主成分分析したグラフ 評価者6と9のデータは他の評価者と大きく異なっている

データセット

結果 適切な評価軸 再検証が必要な評価軸 「カジュアル-フォーマル」 「平凡-個性的」 「地味-派手」 ・十分なデータ数 ・作品ごとに差がある ・「平凡-個性的」との差が無い 「冷たさ-暖かさ」 ・データ数不足 「下品-上品」 ・上品な服のデータ数不足

平凡-個性的：個性的な例 装飾物が多い 服の形状が特殊 服を描く線が細い 赤髪の白雪姫©︎あきづき空太 赤髪の白雪姫©︎あきづき空太 ランウェイで笑って©︎猪ノ谷言葉

平凡-個性的：平凡な例 日常的に見かけるデザイン 柄も特徴的ではない 服を描く線の量が少ない うさぎドロップ©︎宇仁田ゆみ いぬやしき©︎奥浩哉 テセウスの船©︎東元俊哉 コウノドリ©︎鈴ノ木ユウ

冷たさ-暖かさ：冷たさの例 冷たい服は仕事着が多い 黒を用いて描いた箇所が多い コウノドリ©︎鈴ノ木ユウ 亜人©︎桜井画門 かくしごと©︎久米田康治 いぬやしき©︎奥浩哉

展望 ● ● ● ● 「カジュアル-フォーマル」「平凡-個性的」は適していた そのほかの評価軸はデータ種類を増やして再実験が必要 カラー漫画やデータ数を増やすことで さらに適する評価軸が見つかる可能性がある 色, 装飾量, 線の多さを特徴量として機械学習

DeepFashionを用いた機械による 服領域抽出とカテゴリ分類の検証

全体の流れと今回行ったこと シーン取り出し 服抽出 服印象推定 ・カジュアル ・平凡 ・冷たい 亜人©︎桜井画門 シーン印象推定 あわただしい雰囲気 迫力がある感じ

全体の流れと今回行ったこと シーン取り出し 服抽出 服印象推定 ・カジュアル ・平凡 ・冷たい 亜人©︎桜井画門 シーン印象推定 あわただしい雰囲気 迫力がある感じ

DeepFashion [Ziweiら 2016] ● 写真から服を認識する技術 ● 80万以上のファッション画像 データセットを保持 ● Tシャツやジーンズなど大きな50の カテゴリに分類 ● さらに色や素材など1000の属性に区分

DeepFashion [Ziweiら 2016] ● 写真から服を認識する技術 ● 80万以上のファッション画像 データセットを保持 ● Tシャツやジーンズなど大きな50の カテゴリに分類 ● さらに色や素材など1000の属性に区分 DeepFashionのイラストへの有用性を検討

アプローチ 電子コミックから服画像を切り出し，DeepFashionで判定 服領域抽出，カテゴリ分類の2点を色の有無で比較する

アプローチ モノクロの特徴 ● ２色しかない ● 質感が伝わりづらい カラーの特徴 ● 色による情報が多い ● 質感が伝わりやすい

アプローチ モノクロの特徴 ● ２色しかない ● 質感が伝わりづらい カラーの特徴 ● 色による情報が多い ● 質感が伝わりやすい カラーの方が精度が高いと予想

データセット 作品の選定基準 ● ● モノクロ版，カラー版２パターンで配信 私服の登場シーンが多い 使用作品 ● ● イタズラなKiss（著：多田かおる） バクマン。（原作：大場つぐみ，作画：小畑健） イタズラなKiss©︎多田かおる

結果

全体の結果 モノクロ，カラーそれぞれ244枚ずつ入力 領域抽出（枚） カテゴリ分類（枚） モノクロ 37%（91/244） 25%（23/91） カラー 39%（95/244） 31%（29/95） 38%（186/488） 28%（52/186） モノクロ＋カラー モノクロとカラーの結果にあまり差はない

全体の結果 モノクロ，カラーを合わせた場合… 服領域抽出に成功した画像の約30%が，カテゴリ分類にも成功 写真の場合 カテゴリ推定で上位3つに含まれる確率は82.58%[Ziweiら 2016]

全体の結果 モノクロ，カラーを合わせた場合… 服領域抽出に成功した画像の約30%が，カテゴリ分類にも成功 写真の場合 カテゴリ推定で上位3つに含まれる確率は82.58%[Ziweiら 2016] イラストの場合，精度はかなり落ちる

全体の結果 DeepFashionをそのままイラストに利用することは難しい モノクロ，カラーの検証結果を比較 機械によるイラストの服認識の特徴を考察

領域抽出の正確性 モノクロの場合 カラーの場合 イラストから 服領域の抽出に成功した 37%（91/244） イラストから 服領域の抽出に成功した 39%（95/244） 差はほとんど無い

カテゴリ分類の正確性 モノクロの場合 カラーの場合 トップス，ボトムスなど 大きな分類 62% トップス，ボトムスなど 大きな分類 63% Tシャツ，セーターなど カテゴリ分類 26% Tシャツ，セーターなど カテゴリ分類 31%

カテゴリ分類の正確性 モノクロの場合 カラーの場合 トップス，ボトムスなど 大きな分類 62% トップス，ボトムスなど 大きな分類 63% Tシャツ，セーターなど カテゴリ分類 26% Tシャツ，セーターなど カテゴリ分類 31% 領域抽出同様，差はほとんど無い

事例 “jeans”，“casual_dress”，“t_shirt”

事例① -jeansモノクロ カラー jeansの服領域抽出は ほとんどできない 正確に分類できたものは無し jeansの服領域を抽出できた 13枚 jeansに分類できた 11枚(85%) イタズラなKiss©︎多田かおる イタズラなKiss©︎多田かおる

事例① -jeansモノクロ カラー jeansの服領域抽出は ほとんどできない 正確に分類できたものは無し jeansの服領域を抽出できた 13枚 jeansに分類できた 11枚(85%) カラーの方がいい結果 イタズラなKiss©︎多田かおる イタズラなKiss©︎多田かおる

事例① -jeans● カラーの方が結果がいい ● jeansと分類されたものは全て青いパンツ ● モノクロではjeansに分類できなかった →特定の色が想像できる服は，カラーだと精度が高い

事例② -casual_dressモノクロ 服領域抽出，カテゴリ分類 共に無し イタズラなKiss©︎多田かおる カラー casual_dressの服領域を 抽出できた 4枚 casual_dressに分類できた 4枚 イタズラなKiss©︎多田かおる

事例② -casual_dressモノクロ 服領域抽出，カテゴリ分類 共に無し カラー casual_dressの服領域を 抽出できた 4枚 casual_dressに分類できた 4枚 カラーの方がいい結果 イタズラなKiss©︎多田かおる イタズラなKiss©︎多田かおる

事例② -casual_dress● カラーの方が結果がいい ● 柄つきのdressは全てcasual_dressに分類 ● 裾が広がっているものはcasual_dress → ● 柄はカラーの方が認識しやすい ● 柄や形でも判定

事例③ -t_shirtモノクロ カラー t_shirtの服領域を抽出できた 20枚 t_shirtに分類できた 7枚(35%) t_shirtの服領域を抽出できた 5枚 t_shirtに分類できたもの 無し イタズラなKiss©︎多田かおる イタズラなKiss©︎多田かおる

事例③ -t_shirtモノクロ カラー t_shirtの服領域を抽出できた 20枚 t_shirtに分類できた 7枚(35%) t_shirtの服領域を抽出できた 5枚 t_shirtに分類できたもの 無し モノクロの方がいい結果 イタズラなKiss©︎多田かおる イタズラなKiss©︎多田かおる

事例③ -t_shirt● モノクロの方が結果がいい ● カラーではt_shirtのプリントの影響で，間違った分類をされた ● 襟付きのシャツをt_shirtと分類する事例もあった →特にカラーでの襟やプリントなど細かい装飾の認識は難しい

機械によるイラストからの服認識特徴 ● ● ● ● → 一概にカラーの方が精度が高いわけでは無い 単色の服はモノクロ 柄のある服，jeansのように特定の色が想像される服はカラー プリントや装飾は誤判定の原因になりうる ● ● ● 書き込みが多い場合はカラー，少ない場合はモノクロ だと精度が高い傾向 服によってモノクロとカラーを使い分ける 服の輪郭をはっきりさせる

展望 ● 自動彩色での同様の検証を行う ● カラーとモノクロを組み合わせたデータセットの構築 機械学習によるイラストからの服領域自動抽出および カテゴリ分類システムの作成 ●

まとめ 目的 ： 電子コミックの曖昧なクエリ検索の実現 提案手法 ： 作品中の服の印象から，作品の印象を推定 検証結果 ： 服の印象評価実験 「カジュアル-フォーマル」，「平凡-個性的」の指標は適切 服領域抽出実験 DeepFashionをそのまま利用することは難しい