---
title: SteamレビューのLLMを用いた分析
tags:  #steam #ゲーム #llm #レビューデータ分析  
author: [小山友介](https://image.docswell.com/user/6610037)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/47ZLZV29J3.jpg?width=480
description: 黒神話悟空のゲームレビューの日本語と中国語の分析。分類のためのフレームワークは研究者（李）が設定し、LLMと人間の分類が差が（余り）無いことを確認し、そのうえでどういうレビューがあるのかを分析しました。
published: September 12, 26
canonical: https://image.docswell.com/s/6610037/K6N8GV-2026-09-12-142925
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/47ZLZV29J3.jpg)

LLMを用いた
多言語ゲームレビューの多次元分析
李 佳欣 ／ 小山 友介
芝浦工業大学
1


# Page. 2

![Page Image](https://bcdn.docswell.com/page/YJ6WZ5VDJV.jpg)

研究対象と背景
『黒神話：悟空』をめぐる「文化発信」とプレイヤーの受け止め方
研究対象
研究背景
『黒神話：悟空』
発売後、中国内のメディアでは
「中国文化の海外発信」 「中国のソフトパワー」
中国神話・『西遊記』を背景に
中国のアクションRPG
という文脈で取り上げられた
Reuters (2024); ABC News (2024); SCMP (2024)
分析データ中国語 500件
＋
日本語 368件
＝
合計 868件（Steamレビュー）
研究上の問い
メディアが「文化発信」と評価することと、
プレイヤー自身がそう受け止めることは同じなのか？
→ 「何が語られるか」＋「中国文化をどう捉えるか」を中日レビューで分析
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/GJ5MWYD8J4.jpg)

研究のポイント
同じ「文化への言及」でも、意味は同じではない
文化に触れる
l 日本語レビュー
文化輸出として評価する
「西遊記を読んでからプレイするとさらにおい
しい」
l 中国語レビュー
「一次有效的中国文化宣传」
（有効な中国文化の発信だった）
→ 文化には触れているが、「文化輸出」とは言
っていない
→ ゲームを中国文化の発信として評価している
本研究の考え方
「文化に触れたか」と「その文化をどう捉えたか」を、
別々の項目としてコード化する。
4


# Page. 4

![Page Image](https://bcdn.docswell.com/page/LE3W45MGE5.jpg)

分析の考え方
文化については、3つの段階を分けて考える
2
1
作品内に中国⽂化の
モチーフがある
神話・宗教・美術・建築など
3
レビューで文化に
触れる
「この表現は中国文化だ」
「文化輸出」として
評価する
文化発信・国家代表として評価
②と③は同じではない
本研究では、②「文化への言及」と ③「文化輸出としての評価」を分けて分析する
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/8EDKQD6N7G.jpg)

研究課題 / Research Questions
この研究で確認する3つのこと
RQ1
LLMの判断は、人手の判断とどのくらい一致するか
RQ2
中国語と日本語で、よく語られる話題は違うか
RQ3
文化に触れたレビューは、その文化をどう捉えているか
→ この3点を順に見ていきます
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/V7PKLXYNJ8.jpg)

データの選び方
中国語500件＋日本語368件＝868件
中国語レビュー
日本語レビュー
クリーニング後
357,757
500
421
推奨／非推奨の比率
を保って無作為抽出
推奨474 / 非推奨26
− 53 非日本語
368
確認後の全件を使用
主分析 N = 868
中国語は多いため抽出、日本語は少ないため全件を使用
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/2JVVQLGYJQ.jpg)

コードブック
レビューを6つの観点で分類する
1
戦闘・操作
2
Combat
難易度・探索
技術性能
4
3
Audiovisual （AV）
グラフィック・美術
音楽・映像演出
ローカライズ
Localization（LOCAL）
翻訳・字幕
吹替・言語選択
0 = 言及なし
映像・音響
｜
5
文化
神話・宗教・建築
民俗・美学
1 = 短いが明確な言及
｜
Narrative
人物・台詞
設定・世界観
6
Culture
物語
社会・公共
Social
ゲーム産業・メディア
社会的評価
2 = 詳しい言及／主要テーマ
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/5EGLWX8WJL.jpg)

文化の捉え方
文化に触れたレビューを4タイプに分ける
文化への言及あり（1以上）
文化的読解タイプ：4分類
DOM｜主導的読解
NEG｜交渉的読解
OPP｜対抗的読解
OBS｜観察的読解
Oppositional
Observational
文化輸出・国家代表を
明確に肯定
基本は肯定するが
留保・条件あり
文化輸出という見方を
拒否・批判
文化には触れるが
文化輸出とは捉えない
Dominant
Negotiated
重要なルール
「西遊記」という作品名だけでは「文化」としない
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/4JQY389Q7P.jpg)

LLMの使い方と検証
検証用30件を、人手とGeminiが独立に判定
2
1
3
4
コードブック
検証用30件
独立に注釈
一致度
6項目＋文化4タイプ
中15＋日15
868件から抽出
人手・Gemini
ラベル非共有
κwで確認
検証のポイント
・同じ30件を、人手とGeminiがそれぞれ判定
・互いの結果を見せずに注釈し、その後で一致度を比較
LLM = Large Language Model（大規模言語モデル）
｜
一致度確認後 → 同じコードブックで868件をGeminiが注釈
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/K74W12XYE1.jpg)

検証結果RQ1
6項目すべてで、人手とLLMの一致度を確認
検証用30件（中15／日15）
0.577
戦闘・操作
映像・音響
0.672
物語
0.681
0.620
ローカライズ
0.742
文化
0.868
社会・公共
0.0
0.2
0.4
0.6
0.8
1.0
κwの解釈：0.41–0.60＝中程度、0.61–0.80＝かなり⾼い⼀致、0.81以上＝ほぼ完全な⼀致（Landis & Koch, 1977）
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/LJ1YGMNNEG.jpg)

結果 1｜よく語られる話題 RQ2
日本語は「戦闘・操作」が高く、中国語は「社会・公共」が相対的に高い
50.2
戦闘・操作
83.7
23.4
映像・音響
47.3
28.2
物語
39.9
0.4
ローカライズ
13.9
6.8
10.1
文化
中国語
28.6
社会・公共
日本語
21.5
0
出現率 = スコア1以上（%）
主分析用868件（中500/日368）
25
50
75
100
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/GJWGKDMM72.jpg)

補足分析｜RQ2
100字以上では3項目で方向が反転
全体と「100字以上」を並べて比較
項目
全体（N=868）
100字以上
（中国語75・⽇本語223、N=298）
変化
中国語
日本語
中国語
日本語
戦闘・操作
50.2
83.7
88.0
98.7
方向維持
映像・音響
23.4
47.3
68.0
62.8
反転（p=.415）
物語
28.2
39.9
69.3
56.1
反転（p=.043）
文化
6.8
10.1
22.7
15.7
反転（p=.169）
社会・公共
28.6
21.5
53.3
29.6
方向維持
反転した3項目のうち、有意差が残ったのは「物語」のみ
→ 最初の差の一部はレビュー長の構成に左右される可能性
※ 出現率 = スコア1以上（%）
同じ内容でも、⽇本語は中国語より⽂字数が多くなる傾向がある。例：中⽇平⾏コーパスでは平均17.35字（中国語）対28.16字（⽇本語）、約1.62倍（Ren & Liu, 2006）


# Page. 13

![Page Image](https://bcdn.docswell.com/page/4EZLZGQM73.jpg)

結果 2｜文化の捉え方 RQ3
文化に触れた71件のうち、88.7%は「観察的読解」
文化の捉え方
文化への言及あり
71
中国語 34/日本語 37
文化に触れた割合の差
有意ではない（p=.084）
観察的読解 63 / 71 = 88.7%
観察的読解
63 文化には触れるが、文化輸出とは捉えない
主導的読解
7 文化輸出・国家代表として肯定
対抗的読解
1 その見方を拒否・批判
交渉的読解
0 基本は肯定するが留保あり
「文化への言及」 ≠ 「文化輸出としての評価」
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/Y76WZY657V.jpg)

結論
3つの研究課題（RQ）に対する答え
RQ1
LLMの判断は、人手の判断とどのくらい一致するか。
6項目のκw = .577〜.868：項目差はあるが、一定の人手–LLM一致を確認
文化=.742／社会・公共=.868 → 同じコードブックで868件の主分析を実施
中国語と日本語で、よく語られる話題は違うか。
RQ2
日本語：「戦闘・操作」が顕著に高い（83.7% vs 50.2%）
中国語：「社会・公共」が相対的に高い（28.6% vs 21.5%）
ローカライズ差は受容環境の影響も考慮
文化に触れたレビューは、その文化をどう捉えているか。
RQ3
文化に触れた71件（中34／日37）の88.7%が「観察的読解」
→ 文化への言及 ＝ 文化輸出としての評価、ではない
結論：話題の違いと、文化の「言及」と「意味づけ」を分けて捉えることが重要
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/G75MWG6G74.jpg)

限界・今後の課題
現在の限界と、次に改善する点
データ構成
注釈の信頼性
一般化可能性
課題
課題
課題
レビュー長・表記体系
・推薦比率の違い
人手参照1名・検証30件
・単一LLM
単一作品・Steam投稿
者のみ・言語≠文化的ア
イデンティティ
改善
改善
改善
レビュー長を共変量に
した分析／長さのマッ
チング／多重比較補正
複数人coder／検証サン
プル拡大／複数LLM・反
復実行
他作品・英語レビュー
／他プラットフォーム
／質問紙との組み合わ
せ
※ 100字以上の分析は「長さを統制した分析」ではなく、短いレビューの影響を減らすための補足分析
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/9J29QYMDER.jpg)

ご清聴ありがとうございました
1
6


# Page. 17

![Page Image](https://bcdn.docswell.com/page/DEY4WGXMJM.jpg)

APPENDIX
質疑用 補足スライド
κの計算／サンプリング／文化コードの境界／統計結果
1
7


# Page. 18

![Page Image](https://bcdn.docswell.com/page/VJNY9G1378.jpg)

補足B｜データ選定と検証用30件
review ID重複を除去
空欄・10文字未満・数字／記号のみを除外
過度な反復・広告・求赞・ASCIIアート等を除外
URL・BBCode削除、Unicode正規化
中国語：推奨／非推奨比率を保持した比例層化無作為抽出（N=500）
日本語：421候補から非日本語53件を除外し、368件を全数使用
検証用：868件から30件（中15／日15）を抽出。文化・社会の判定ルールを確認。
1
8


# Page. 19

![Page Image](https://bcdn.docswell.com/page/YE9P2W5PJ3.jpg)

如果是为了战斗爽，我十分的推荐，好玩好玩。我给差评的原因，一这不是我想要的
大圣，二剧情后面过于离谱……
游戏本身是可行的，但扯到文化输出……我不认同。
……结果告诉我这天上的神佛和地上的妖魔没有区别，大圣还是妖怪，不是什么斗战
胜佛也不是什么齐天大圣孙悟空……
language：zh（中国語）
Steam评价：negative
D_CULTURE = 2
D_SOCIAL = 2
reading_type = OPP
1
9


# Page. 20

![Page Image](https://bcdn.docswell.com/page/GE8D5NYXED.jpg)

補足C｜「文化」と「社会・公共」の境界
文化（CULTURE）文化内容そのもの
社会・公共（D_SOCIAL）
ゲームを取り巻く社会的な話題
中国神話、宗教、建築、伝統音楽、民俗、
美学など
「文化内容そのもの」への実質的な言及
メディア、SNS、配信者、受賞、論争、産業、
国家的・社会的評価など「公共的言説」
例：
「寺院建築や壁画の表現から、中国仏教文
化を感じる」
例：
「中国初のAAA（トリプルエー）として、
産業的に重要な作品だ」
×「西遊記が原作だから」だけでは文化言
及としない
× 文化内容に触れなければ D_CULTURE に
はしない
2
0


# Page. 21

![Page Image](https://bcdn.docswell.com/page/LELMYP4N7R.jpg)

補足E
コードブックと4分類の理論的根拠
① なぜ「6項目」なのか
先行研究＋パイロットデータによる整理
ゲーム
レビュー研究
ゲームプレイ・物語・ローカ
ライズなどの評価観点を参考
質的内容分析
既存概念からの演繹＋データ
からの帰納を組み合わせる
本研究の調整
文化/社会・公共を追加し、6
項目としてコードブック化
→ 1つの既成理論をそのまま転用した6分類ではない
② なぜ文化を「4タイプ」に分けるのか
Hallの受容理論を基礎に、OBSを追加
Hall (1980) Encoding / Decoding
Dominant（主導的）
Negotiated（交渉的）
Oppositional（対抗的）
OBS｜Observational（観察的読解）
文化には言及するが、「文化輸出」という枠
組み自体を採用しないレビューを、データに
基づいて追加分類
質疑での回答：6項目＝「先行研究＋パイロットレビュー」、4タイプ＝「Hallの3類型＋本研究で追加したOBS」
参考：Hall (1980); Zagal & Tomuro (2013); Brückner et al. (2018); Elo et al. (2014)
23