第6回ナレッジグラフ勉強会 発表資料

2025/12/03 第6回ナレッジグラフ勉強会@オンライン 論文紹介 PeaCoK: Persona Commonsense Knowledge for Consistent and Engaging Narratives (ACL2023) nagano41 1

紹介論文（ACL2023） 2

本論文を読んだ動機 合成データ（架空データ）を利用したアンケート、インタビューの評価基盤を検討する上で、ペルソナの知識ベー スとLLM利用に関する先行研究調査の１つとして。 本論文は、LLMから知識を蒸留し、高品質なペルソナ常識知識グラフの構築に関するもの。軽量モデルに GPT-3.5並みの知識生成能力を持たせ、一貫性・魅力的なナラティブ生成を可能にすることから、評価基盤の構 築に不可欠な知見を得られると考えた。 3

本論文の動機 ● ● ● 首尾一貫して魅力的なナラティブ（対話やストーリー）を持続的に生成するためには、対話システムが、話 し手、聞き手、または登場人物のペルソナがナラティブをどのように根拠付けている（ground）かを理解す る必要がある ● 聞き手の興味関心に合致する発言を生成するため、聞き手のペルソナを適切に推論する ● ナラティブ全体を通じて、話し手自身のペルソナを一貫して維持し、対話相手に会話への参加感覚 を提供する ペルソナは本質的に多様かつ複雑であり、膨大で相互に接続された世界知識を内包する 断片的な情報ではなく、構造化され、一貫性があり、検証されたペルソナ知識ベースが必要 4

ペルソナ知識 ● ● 個々の特性だけでなく、人格の異なる側面間の体系的 な関係を理解することが必要 例えば、「アルバムを準備している歌手」であることを知 ることは、関連する経験（音楽を勉強した）、日課（歌を 書く）、目標（賞を獲得する、ファンを獲得する）を暗示す るはず 5

PeaCok：ペルソナ知識グラフ 先行研究の「人間の対話行動における5次元」を拡張 ● 主要関係 ○ 特性（Characteristics） ○ 日課または習慣（Routines or Habits） ○ 目標または計画（Goals or Plans） ○ 経験（Experiences） ● 相互作用性（Interactivity） ○ 関係（Relationships） ○ 自己（Self） ● 特殊性（Distinctiveness） ○ 特徴的（Distinctive） ○ 汎用的（Generic） 約10万件のトリプル、約3,800のペルソナ、約40,000の属性、約 9200の属性が複数のペルソナ間で共有 6

PeaCok構築プロセス 1. 2. 3. 常識知識グラフから、人間のロールとイベントベースのエンティティの組を抽出 常識知識グラフ、および大規模言語モデルから、属性を抽出（蒸留） 抽出した属性の関係分類を人間2人で実施し、LLM評価と合わせた多数決評価を実施 7

PeaCok構築プロセス 8

新規性・独自性 ● 知識スキーマの独自性 ○ ○ ● 知識抽出のハイブリッドアプローチ ○ ● 先行研究の5次元をベースに、相互作用性と特殊性を追加しし て拡張し、体系化 どのように振る舞い、他者とどのように関わるかを表現 既存の常識知識グラフと大規模言語モデルの異なる2つのソー スから知識を蒸留することで、知識の網羅性と推論の豊かさを 同時に確保 AI活用による高品質な検証 ○ 人間とAIによる多数決により、検証作業の効率化と知識の高品 質化を両立 出典：著者らのプレゼン動画 9

評価１ Personal Attribute Inference Task ● ● PeaCoKで訓練されたBARTベースのペルソナ知識ジェネレータを、大規模事前学習済み言語モデル （few-shot GP3、zeroshot GPT3.5）と比較 NLPメトリクスで高スコア、人間評価で高い受容率 出典：著者らのプレゼン動画 10

評価２ Personal Attribute Inference Task ● ● 対話システム（P2Bモデル）をベースラインとし、PeaCoKで知識拡張したモデルと、既存の常識知識グラフ （ATOMIC2020）で知識拡張したモデルを比較 流暢さ、一貫性、魅力、ペルソナ表現のすべてにおいてPeaCokの優位性を確認 出典：著者らのプレゼン動画 11

議論 ● 軽量言語モデルの知識生成能力の向上 ○ ● PakCokで学習させることで、軽量な言語モデルでも大規模言語モデルに匹敵する知識生成能力を持つことが 可能に 一貫性のある魅力的なナラティブ生成 ○ PeaCoKの知識が話し手間の話題をつなぎ、より一貫性のある魅力的な会話が可能に 12

参考 https://www.aicrowd.com/challenges/commonsense-persona-grounded-dialogue-challenge-2025 13

• https://www.aicrowd.com/challenges/commonsense-persona-grounded-dialogue-challenge-2025