20260912_Understanding Internal Representations of Recommendation Models with Sparse Autoencoders

Journal Club Understanding Internal Representations of Recommendation Models with Sparse Autoencoders 2026/9/12 瀧研究室 李 其融

この論文の主張 ID だけで学習された推薦モデルの中には、 人間が読める「意味の概念」が既に埋まっている → RecSAEはそれを「取り出す」ことが可能 READ KEEP WRITE 内部表現を「グルテンフ リーの焼き菓子」のよう な意味に翻訳する 元のモデルには一切触れ ず、どの型の推薦モデル にも差し込める 読み取った概念を「つま み」として、出力を狙っ て調整できる 1

本日発表の流れ 1．研究背景 推薦システムの透明性／既存手法の限界／SAEの可能性 2．RecSAE動作の仕組み 探査／学習／概念の構築と検証 3．モデル評価 latentの質／概念の質／情報破損の有無 4．読み取った概念をどう応用できるか 5．まとめ／議論したい点 2

モデルの透明性は、「説明」と「解釈」に分けられる Result-Level 結果レベルの説明 対象：エンドユーザー 問い：なぜこれが薦められたのか Model-Level モデルレベルの解釈 対象：システム設計者 問い：モデルは何を根拠に判断したのか モデルレベルの解釈が難しい理由 ① ニューロン活性が不透明 ② 推薦モデルの型が多すぎる （一般／グラフ／文脈／系列……）結果として既存手法は特定のアーキテクチャに縛られている 3

汎用化を狙った先行研究の欠点 Tsang et al. 特徴交互作用 文脈ベースのモデル専用 →他の型には持っていけない Zhang et al. 蒸留 同時学習が必要 →すでに動いている学習済みモデルに使えない Du et al. クラスタリング 性能を犠牲にする →埋め合わせに3モデル以上のアンサンブルが必要 さらに、3手法とも チューニングできない →①多様な型 ②性能を落とさない ③調整できる を同時に満たす枠組みは 4 存在しなかった

本研究の立ち位置 RecSAEは、既存手法では達成しなかった、3つの条件をすべて満たしたモデルである 5

突破口となったSparse Autoencoder SAEとは、大きく疎な latent 空間を使い、 多義的な表現を「1 つの意味だけを担う latent」へ分解する手法 （LLM解釈に用いられることが多い） 推薦システムとの相性が良い ・入力が疎である →ユーザーはほとんどのアイテムに触れていない ・興味は「概念」の粒度 →アイテム単位の行動でも、その裏には概念単位の好 みが潜在している 応用に必要な工夫 ・Transformerではない推薦システムが多数あるため、 そのままでは使えない →SAEの実績はTransformerの残差ストリームが中心 ・IDに意味が付いていない →学習データは番号の羅列で、意味概念との直接の対 応がない 設計の適応と多様なモデル型での検証が必要→それを行ったのはRecSAE 6

RecSAE動作の仕組み 1．研究背景 推薦システムの透明性／既存手法の限界／SAEの可能性 2．RecSAE動作の仕組み 探査／学習／概念の構築と検証 3．モデル評価 latentの質／概念の質／情報破損の有無 4．読み取った概念をどう応用できるか 5．まとめ／議論したい点 7

RecSAE全体像 LightGCNに適用 SASRecに適用 上半分が「取り出す」、下半分が「言葉にする」パート 8

概念が立ち上げる手順 STEP 1 探査する STEP 2 分解する STEP 3 言葉にする 予測層の直前にあるユー ザー表現を読み取る より広いlatent空間と疎 性制約で学習し、意味を 1つずつに切り分ける 概念記述を作り、確信度 スコアで検証する （TF-IDF/LLM） 入力は、① 推薦モデル本体 ② IDの相互作用ログ ③ アイテムの記述（タイトル・カテゴリ） の３つのみ。追加のラベル付けは不要（教師なし） 9

STEP 2 どう分解するか 通常のAutoencoderは次元を絞って圧縮するのに対して、 RecSAEは逆にs倍に広げ、Top-KでK個だけ活性化させる。 混ざっていた意味が1つずつのlatentに割り当てられ、読める状態になる 通常Autoencoderで採用される案 L1正則化など RecSAEが採用した Top-K活性化層 L1はL0の不完全な近似 活性数を直接指定できる （調整不要） 正の活性をすべて0へと縮める バイアス 疎性と再構成の両立は他の活性化関 数より優れている 重みの最適値がモデルの型ごと変わ る 型を跨いで安定して使える 本実験の設定： 元の埋め込み次元 64 → s＝16(latent 1,024個)、k= 8 10

STEP 2 Top-kの副作用——「dead latent」問題 問題 k 個しか使わないので、選ばれなかった latent は勾配を受け取らない。 学習されないまま放置され、広げた空間を 使い切れない。 対策：補助損失 余った latent に「残った誤差」を担当さ せる。 エンコーダは共有なので計算コストの増加 は限定的。 学習損失＝再構成損失＋α×補助損失 再構成損失は、元の内部表現とその再構成のL2距離 再構成ができることから、latentが元の情報を持っていることが分かる →latentを解釈することが、モデルを解釈することになる 11

STEP 3-1 latent が発火した瞬間を集めて読ませる ある latent を最も強く活性させたケースを集め、その共通点を一文で書かせる 前半＝過去に見たアイテム（活性 0） 末尾＝モデルの予測アイテム（活性が立つ） プロンプトの概要： TF-IDF アイテムのメタデータから 最もスコアの高い語を取る LLM(Llama-3-8B) ローカルで動く 8B モデル。1-shot 例を添 えて概念を一文で書かせる。商用 API は使 わない 「活性する箇所を見て、何を探しているかを一文で要約せよ。 ただし語の例を列挙しないこと」 ── 列挙を禁じることで抽象化を強制している データ設計 訓練セット → 概念を作る ／ テストセット → 概念を検証する（リークを避ける） 12

STEP 3-2 確信度による「概念」の検証 考え方：作った概念を使って、新しいケースの活性を予測できるかを測る 正例（強く活性したケース） 概念が現れれば的中 負例（活性していないケース） 概念が現れれば失敗 両方を使うため、当たり障りのない概念では点が取れない →概念が本当に確立されているのかを識別できる検証になる 確信度スコア＝ 正しく判定できたケースの割合 TF-IDF ：語の完全一致で判定 LLM ：活性レベルを予測させて判定 13

モデル評価 1．研究背景 推薦システムの透明性／既存手法の限界／SAEの可能性 2．RecSAE動作の仕組み 探査／学習／概念の構築と検証 3．モデル評価 latentの質／概念の質／情報破損の有無 4．読み取った概念をどう応用できるか 5．まとめ／議論したい点 14

異なる型のモデルによる横断検証 解釈対象のモデル データセット（4つ） BPRMF（一般） LightGCN （グラフ） SASRec （系列） TiMiRec （系列） ※ 3 つの型を統一的に解釈できる既存手法が存在しないため、 「SAE を挟まず、生の内部表現に同じパイプラインを回したもの」をベースとして比較する 検証内容 ① 概念は妥当か（解釈性能） ② 情報は壊れていないか（再構成性能） 15

発見1：中はまとまり、latent 同士は離れた intra ↑ 同じ latent の中は似ている（凝集） ／ inter ↓ 違う latent 同士は似ていない（分離） 16

発見2： latent は 検証を通る概念に翻訳できる 各セルの 左＝確信度 P ≥ 0.8 を満たした概念数 ① LLM ＞ TF-IDF 語の頻度を超えた意味理解 が効く ② RecSAE ＞ Base RecSAEは概念の振り分け に有効である 右＝概念の総数 ③ 系列モデルほど読める 推薦精度の高さと連動して いる 17

強いモデルほど、確信度の裾は右に伸びる Amazon データセット 左：BPRMF → 中：LightGCN → 右：SASRec （推薦精度は右へ向かって高い） latent の質は、解釈される側のモデルの能力を反映していると考え られているため、右端が厚くなっているSASRecは最も解釈性能と 推薦精度の両立に優れていることが分かった 18

発見3： latent が持つ一対一対応関係 SASRecにおいて、 1 つの latent が、1 つの概念を担っている 商品名もジャンルもなくても、番号の共起だけによって、「意味」が構築される 19

発見4：発火と概念は連動している オレンジ：該当概念を持つ／青：該当概念を持たない →概念がある時は強く発火し、ない時はほぼ発火しない 活性が強まるほど、概念が出る割合も上がる（青線） ※赤破線：全体平均 概念が出力に現れるかどうかは、対応する latent の発火パターンで説明できる 20

発見5： 「何を捉えているのか」でモデルを比較できる Amazon の NDCG@10： BPRMF 0.0200 ＜ SASRec 0.0367 →性能差がそのまま語彙の差で表している SASRecは他の推薦モデルよりも、概 念の幅が広く、 精度だけでは分からない「捉えてい る内容」の概念も構築できる 左：BPRMF ／ 右：SASRec 21

Attention を見るだけでは足りない理由 【Attentionを見て変わること】 ・カテゴリの塊で、特徴レベルの類似を捉えるこ とができる 【Attentionを見るだけでできないこと】 ・系列に出ていない特徴、モデルの好みを調整す ることができない →そのため、特徴ごとにlatentを持つ必要がある SF・ロマンス・アニメ・ホラーの4 カ テゴリから 200 本ずつ抽出して平均注 意重みを可視化したグラフ 22

疎にしても、情報は壊れていない RecSAEはほぼBaseと同じ精度を維持しているのに対して、AEの精度は大幅落ちている → RecSAEは解釈時に差し戻さないので、性能には干渉しない →この表の比較を通して、「latent が情報を持つ」ことが読み取れる 23

Latentを強めると、その概念が推薦に増える 1 つの latent の活性値だけを −10 倍〜+10 倍にスケールし、他は固定して出力を観測 効果： 狙った概念の出現率は単調に上昇 副作用が小さい： 他の概念の変化はほとんど見られず、 狙った所だけ動いている 24

まとめ／議論したい点 1．研究背景 推薦システムの透明性／既存手法の限界／SAEの可能性 2．RecSAE動作の仕組み 探査／学習／概念の構築と検証 3．モデル評価 latentの質／概念の質／情報破損の有無 4．読み取った概念をどう応用できるか 5．まとめ／議論したい点 25

まとめ ID だけで学習された推薦モデルの中には人間が読める概念が埋まっていて、 モデルを壊さずに取り出し、つまみとして回すことができる。 RecSAEの強み 【可読性】 ・latent は凝集し分離する ・TF-IDF・LLM 双方で検証を通る概念になる ・ID だけのモデルから意味が立ち上がる 【信頼性】 ・発火と概念は連動している ・再構成でも情報は保たれる 【実用性】 ・モデルが「何を捉えているのか」を比較できる ・狙った概念の出現率を制御できる 26

本研究の議論したい点 以下に、本研究ではSAE自体の限界を踏まえ （活性シャッフル、過剰疎化、単義性の保証がない）、 以下の問題を取り上げている 1．LLMと同じく、本研究における検証は自己整合的ではないか 2．探査位置はユーザー表現層のみで、アイテム側や深い層は未探索。「系列モデルが読み やすい」という結論は、この位置選択に依存していないか 3．チューニングは実運用に耐えるか（推薦精度への影響など） 27

ご清聴ありがとうございました 28