ペンギンの腹部模様に注目したぬりえ型検索・観察手法の水族館での検証
4.8K Views
November 21, 23
スライド概要
我々はこれまで，ペンギンの特徴的な腹部模様に着目し，模様をぬりえしながらペンギンの名前を検索することで観察を支援する手法を提案してきた．また，スマートフォン上でのぬりえにより，検索が可能となることを明らかにしてきた．しかしこれまでの研究では，写真を用いた実験を行っており，実際のペンギンのように動き回ったり，片側や腹部の上半分しか見えなかったりといった観察可能性を十分考慮できていなかった．そこで水族館で実際に利用するため，予備実験などで明らかになっていたペンギンが動かず一部しか見えない問題に着目し，UI 上でユーザが見えなかった部分を指定するとその範囲は検索条件から除外するようにシステムの改良をした．また，提案システムを使用して水族館で飼育されているペンギンを観察する実地実験を行った．実験後，アンケートと記憶テストを行い，ペンギンの記憶に与える影響を調査した．実験の結果，平均 2.2 羽のペンギンの名前を記憶していたことがわかった．また，約半数の実験参加者が実験後の記憶テストにおいてペンギンの模様と名前を一致させることができたことから，本システムを用いた観察が一部の実験参加者のペンギンへの記憶に効果的である可能性が示唆された．
明治大学 総合数理学部 先端メディアサイエンス学科 中村聡史研究室
関連スライド
各ページのテキスト
ペンギンの腹部模様に注目した ぬりえ型検索・観察手法の水族館での検証 2023.11.21-22｜HCI205｜淡路夢舞台国際会議場 中川由貴 中村聡史 明治大学 先端数理科学研究科 先端メディアサイエンス専攻
背景 動物園・水族館は多くの人が訪れるレジャー施設 小中学校の課外学習など教育的役割も担う 生き物の中でも ペンギン は人気が高く, 多くの人を惹きつける Q. 好きな動物・生き物を教えてください（1000人） 1.ペンギン 2.イルカ 3.パンダ 84 59 44 4.犬 5.キリン 21 18 2
背景 ペンギンは数十羽単位での展示で, 俯瞰した観察になってしまう ただ眺めているだけでは記憶や興味にはつながりづらい • 観察学習効果の低下 • 再訪に繋がらない 参照）https://co-trip.jp/post/116127/ 3
背景 個体に着目させる水族館の展示の工夫 ペンギンの個体リスト ペンギン相関図 参照）https://www.sumida-aquarium.com/sokanzu/ 4
背景 水族館の個体に着目させる展示の工夫 顔やフリッパーバンドだけで名前を探し出すのは困難 ペンギンの個体リスト ペンギン相関図 参照）https://www.sumida-aquarium.com/sokanzu/ 5
提案手法 腹部模様を ぬりえ 描いたぬりえから 名前検索 6
提案手法 腹部模様を ぬりえ 描いたぬりえから 名前検索 個体の特徴に注目できる 簡単に名前を対応づけ 描いた個体に愛着が湧く 記憶に残りやすい 7
関連研究 LINNÉ LENS スマホのカメラで生き物をかざすだけで 自動で認識し, 名前を表示するアプリ 能動性がなく記憶には残りづらい 参照）https://lens.linne.ai/ja/ 8
関連研究 能動性と興味・記憶 • ぬりえが大学生の 認知力の向上 に影響する [Holtら, 2019] • 能動的に話を聞くとその話題への 興味が増す [Funazakiら, 2022] • Holt, N. J., Furbert, L., and Sweetingham, E.. Cognitive and Affective Benefits of Coloring: Two Randomized Controlled Crossover Studies. Journal of the American Art Therapy Association, 2019, vol. 36, no. 4, p. 200-208. • Funazaki, F., and Nakamura, S.. A Method to Success of "Oshigatari" Recommendation Talk by Asking to Create Search Queries While Listening, KnowledgeBased and Intelligent Information & Engineering Systems, International Conference on Knowledge-Based and Intelligent Information & Engineering Systems. 2022, vol.207, p. 1812-1821. 9
過去の研究 ぬりえの 類似度評価 検索手法の 検討 データセット 構築 HCI201 HCS5月研究会 HCI204 ぬりえ収集システムを実装 ひとのぬりえの傾向を ぬりえデータセット構築 名前検索が可能か調査 調査して検索手法検討 検索精度の評価 10
過去の研究 ○ 高い精度でぬりえからペンギンの名前検索が 可能であることが明らかに ▲ 実地実験でのぬりえを考慮していない ▲ ぬりえ・名前検索が記憶に与える影響を調査 していない 11
目的 水族館でシステムを使用した観察が ペンギンの記憶に及ぼす影響を調査する 12
システム • 名前検索までをシステム上に実装 → 腹部を9分割してぬりえをベクトル表現 ぬりえの類似度順に名前ランキングを提示 • 実地に向けたぬりえシステム改良 → 見えない腹部があった場合は検索から除外できるように 13
システム • 名前検索までをシステム上に実装 → 腹部を9分割してぬりえをベクトル表現 ぬりえの類似度順に名前ランキングを提示 • 実地に向けたぬりえシステム改良 → 見えない腹部があった場合は検索から除外できるように 14
システム 15
実験 実地実験 アンケート 記憶テスト 16
実験 実地実験 アンケート 記憶テスト 場所：すみだ水族館 日程：2023年10月13日 参加者：大学生９名（男性6名, 女性3名） 17
実験 実地実験 アンケート 記憶テスト 1. ペンギンの名前の記憶に関する質問 • 描いたペンギンの名前 • 気に入った/印象に残ったペンギンの名前 2. システムのユーザ評価に関する質問 • 5段階リッカート尺度 • 実験の感想（自由記述） 18
実験 実地実験 アンケート 記憶テスト 実地実験の 6 日後に実施 記憶している範囲でペンギンの画像と名前を 線でつなぐタスク 19
結果 実地実験で検索したペンギンの数 ・・・ 平均 6.0 羽 実験後アンケート • 記述したペンギンの名前：平均 2.0 羽 • 気に入った/印象に残ったペンギン： 7 / 9名が名前を回答 • ユーザ評価（1~5）： 3.56 20
結果 ローズ 記憶テスト • 記憶したペンギンの画像：平均 3.4 羽 • 記憶したペンギンの名前：平均 2.2 羽 • 画像と名前の一致： 4 /9名が1羽正解 21
結果 ローズ 記憶テスト • 記憶したペンギンの画像：平均 3.4 羽 • 記憶したペンギンの名前：平均 2.2 羽 • 画像と名前の一致： 4 /9名が1羽正解 22
考察 記憶への影響 • 実地実験で名前検索したペンギンのうち, 1/3程度の名前を記憶していた • 名前を覚えていなくても, ぬりえにより模様を記憶した場合もある • 観察から6日後でも, 4/9名がペンギンの模様と名前を紐付けられた システムを使用した観察がペンギンの記憶につながる可能性がある 23
考察 観察する方向の影響 • 同じペンギンのぬりえでも, 観察する方向によって中心が 上下左右にズレることがある 25
課題と展望 データセットの不足 実地観察でのブレ 実験データの数 ペンギンデータセット 観察する方向による 水族館と協力し, を拡充・網羅し, ブレを考慮した検索 ペンギンの数と参加者 検索精度を向上 アルゴリズムに改良 を増やして再実験 26
まとめ 背景 ｜ 興味や記憶につながる生き物の観察支援が必要 提案 ｜ ペンギンの模様をぬりえ・名前検索する観察システム 実験 ｜ システムを使用した水族館での観察実験・記憶テスト 結果 ｜ 平均2.2羽のペンギンの名前を記憶し, 4/9名が模様と名前を一致 今後 ｜ 検索精度を向上し, 水族館と協力して実証実験 27