スマートフォン上のスクリーンキャプチャ画像探索手法の提案

スマートフォン上の スクリーンキャプチャ画像 探索手法の提案 前島紘希 中村聡史 明治大学 総合数理学部

背景（スクリーンキャプチャ） • 画面をキャプチャし，画像として保存する機能 • Gyazo ‒スクリーンキャプチャ画像を共有できるサービス

背景（スクリーンキャプチャ） • 撮影枚数が膨大なユーザの存在 • スクリーンキャプチャの用途 ‒Webサイト ‒ゲームアプリ ‒SNS ‒電車の乗り換え ‒通販などのメール ‒QRコード ‒情報の比較 © GungHo Online Entertainment

背景（スクリーンキャプチャ） • 撮影枚数が膨大なユーザの存在 • スクリーンキャプチャの用途 ‒Webサイト ‒ゲームアプリ ‒SNS ‒電車の乗り換え ‒通販などのメール ‒QRコード ‒情報の比較

背景（スクリーンキャプチャの探索の難しさ） • 大量の画像から目的の画像を探すのは困難 会話の話題 QRコード © GREE, Inc ©TYPE-MOON / FGO PROJECT

目的 ユーザごとにスマートフォン上の スクリーンキャプチャ画像を 簡単に探索する • スクリーンキャプチャ画像の特性を調査 • スクリーンキャプチャ画像探索手法を提案 • プロトタイプシステムとして実装

予備調査 スクリーンキャプチャ画像の 特性を明らかにする • スクリーンキャプチャ画像の所持数の調査 ‒調査対象：大学生33名 • スクリーンキャプチャ画像の特性の調査 ‒調査対象：大学生5名

スクリーンキャプチャ画像の所持数 • ほとんど撮影しない人から頻繁に撮影を 行う人まで幅広く存在 • 削除を頻繁に行う人も存在 ‒スマートフォンの容量を空けるため

スクリーンキャプチャ画像の特徴 • スマートフォンのスクリーンキャプチャ画像 7438枚の特徴を分析 ‒スクリーンキャプチャ画像の撮影枚数が500枚 を超えている学生5名から収集

特徴1：似た構図の画像が多い • ある程度決まったアプリで撮影 ‒同じアプリのものは構図が似ている

特徴2：短い時間で連続撮影される • ゲームアプリの会話シーンを撮影する ‒動画撮影には手間がかかる ‒動画よりも容量が少ない

特徴2：短い時間で連続撮影される • なんらかのアクションの撮影の前後に さらに撮影が行われる ‒SNSなどに投稿する

分類手法1：特徴点分析を用いた分類 • 類似した画像をクラスタリング ‒ 求めている画像に近い画像の集団から検索できる ©1999-2016 DeNA Co.,Ltd

特徴点分析による分類 • 分類方法 ‒特徴点抽出(SIFT) ‒画像を1つのベクトル に変換(Bag-of-features) ‒クラスタリング(k-means法)

特徴点分析による分類 • 分類方法 ‒特徴点抽出(SIFT) ‒画像を1つのベクトル に変換(Bag-of-features) ‒クラスタリング(k-means法)

分類手法2：撮影時間を用いた分類 • 撮影時間の差が小さい画像群を同一 グループに分類 • 普段の探索と同じ感覚で画像の提示枚数 を減らすことができる

撮影時間による分類 • 分類方法 ‒時間情報を取得 ‒撮影間隔が一定時間内の画像を同一グループ に分類 ©2017 Niantic, Inc. ©2017 Pokémon. , ©1995-2017 Nintendo/Creatures Inc. /GAME FREAK inc.

特徴点分析を用いた分類の調査 • 同じゲームアプリの画像，テキストが多い画 像は同じクラスタに分類される傾向 ©Donuts

特徴点分析を用いた分類の調査 • 統一性が見られない画像群でクラスタが 生成された • クラスタ間の枚数に大きな差が存在

特徴点分析を用いた分類の調査 正しく分類 A 0.65 B 0.75 C 0.65 D 0.80 E 0.25 F 0.60 G 0.60 総合 0.61 • スクリーンキャプチャ 画像が分類できたかを 評価

特徴点分析を用いた分類の調査 正しく分類 A 0.65 B 0.75 C 0.65 D 0.80 E 0.25 F 0.60 G 0.60 総合 0.61 • スクリーンキャプチャ 画像が分類できたかを 評価 • ユーザEのものは正しく 分類されていない ‒ユーザEを除くと68% ‒カメラ画面をキャプチャ していたものが見られた

撮影時間を用いた分類の調査 • 平均20〜30%の削減 • 撮影間隔の閾値を変更してもあまり変化は なかった

プロトタイプシステム • 実装環境：Processing 従来手法 撮影時間 特徴点分析 © 2013 プロジェクトラブライブ！ ©2016 プロジェクトラブライブ！サンシャイン!! © KLabGames © bushiroad ©BANDAI NAMCO Entertainment Inc.

探索実験 • 実験協力者：大学生7名 • 検索タスクを提示し，そのタスクに合った画 像を探索してもらう ‒自分の所持しているスクリーンキャプチャ画像 からの探索 • 評価項目 ‒発見までにかかった時間を計測 ‒探索ができたか否か，探索の満足度について の5段階評価 ‒自由記述

検索タスク • 一番面白い画像 • 自分が一番 気に入っている画像 • メモとして文字を キャプチャした画像 • SNSで共有するために 撮影した画像 • 一番嬉しかった画像 友人と共有

検索タスク • 一番面白い画像 • 自分が一番 気に入っている画像 • メモとして文字を キャプチャした画像 • SNSで共有するために 撮影した画像 • 一番嬉しかった画像 思い出の想起

検索タスク • 一番面白い画像 • 自分が一番 気に入っている画像 • メモとして文字を キャプチャした画像 • SNSで共有するために 撮影した画像 • 一番嬉しかった画像 情報探索

検索タスク • 一番面白い画像 • 自分が一番 気に入っている画像 • メモとして文字を キャプチャした画像 • SNSで共有するために 撮影した画像 • 一番嬉しかった画像 撮影状況の想起

検索タスク • 一番面白い画像 • 自分が一番 気に入っている画像 • メモとして文字を キャプチャした画像 • SNSで共有するために 撮影した画像 • 一番嬉しかった画像 友人と共有 記憶の想起

実験結果（探索時間・5段階評価） 全ユーザ平均 従来手法 撮影時間 画像特徴量 かかった時間 1:10 1:04 1:07 • 全体の平均に大き な差は見られな かった • 特徴点分析の 評価値が高い • 撮影時間は従来 手法よりも低い

考察（特徴点分析） • 探す画像がまとまっており，少ない候補か ら探索ができた ‒評価が高くなった主な要因 • 似た画像が複数のクラスタに分散 • 枚数が少ないクラスタが存在 ‒画像ごとの類似度を数値化し，閾値を設定す ることで緩和が可能？

考察（撮影時間） • 従来方法よりも評価が低い ‒グループ化することで見落としが発生してしま うことが原因か • スクロール時間が少なくなった ‒探索画面で提示枚数が少なくなったことが 実感できている

まとめ • スマートフォンのスクリーンキャプチャ画像 の特性調査 • スマートフォンのスクリーンキャプチャ画像 分類手法の提案 • プロトタイプシステムの実装 • 探索実験の実施 [今後の展開] • 他の手法を用いた分類 • スマートフォン上でのシステムの実装