創発言語でもHarrisの分節原理は成り立つのか？

創発言語でも Harris の分節原理は成り立 つのか？ On the Word Boundaries of Emergent Languages Based on Harris’s Articulation Scheme (ICLR2023) 上田亮 2023/06/14 @ NLP コロキウム 東京大学 (宮尾研究室)

自己紹介

自己紹介 名前 所属 研究分野 上田 亮 東大 宮尾研 (B4～現在 D1) Emergent Communication (言語創発) my homepage 興味 言語の統計的な性質・構造が 如何にして創発 (emerge) するのか 近況 • JSAI’23 にて OS 実施 『言語とコミュニケーションの創発』 pre-print (来年・再来年もやるのでぜひ参加してね！) • 展望論文のプレプリント公開 (ぜひ読んでみてね！) 1/20

今回紹介する論文

今回紹介する論文 今回紹介させていただく論文 今年 ICLR に通った論文です 2/20

論文化までの経緯 『言語とフラクタル』 に感銘受け思いつく (Oct 2021) NLP’22 で優秀賞に (Mar 2022) ACL-SRW’22 reject NeurIPS’22 reject ICLR’23 に accept (Jan 2023) ※ちょうどこの時期 (2021/10/29) に田中先生が NLP コロキウムでトークされていましたね。 ※当時 NLP 参加経験がなく「〆切 2 ヶ月前からこん な突飛なテーマを始めて良いのか...」と思ってま した。 3/20

本研究の概要 問い 創発言語 でも Harris の分節原理 (HAS) は 成り立つのか？ 創発言語 は 有意味 な 単語分割 を もつのか？ 創発言語 HAS エージェント間 で 生じる 人工的 な 言語 (的な何か) 自然言語 の 単語分割 に関する 統計的 な 性質 実験結果から得られた示唆 創発言語 では HAS が :成 り立たない :::::::::::::::: 創発言語 は 有意味 な 単語分割 を :欠 く ::::: 4/20

本研究の概要 問い 創発言語 でも Harris の分節原理 (HAS) は 成り立つのか？ 創発言語 は 有意味 な 単語分割 を もつのか？ HAS を 使えば なんとなく 単語っぽいもの が 得られるが それが 意味のあるもの であるかは 全く自明でない 5/20

背景：Emergent Communication

Emergent Communication 創発コミュニケーション (Emergent Communication) エージェント 同士のコ ミュニケーション ::::::::::::::::::::::::: から 生じる プロトコル (創 発言語) ::::::::::: を 対象 とする 分野 ::::::::::::::::: 典型的なモチベーション 1. インタラクティブ な AI [e.g., Lazaridou et al., 2018] 2. 言語進化 の シミュレーション 3. 自然言語 との 差異 [e.g., Kirby, 2001] [e.g., Chaabouni et al., 2020] 6/20

シグナリングゲーム 典型的な環境設定 シグナリングゲーム [Lewis, 1969] パラメータ 属性の数 a ∈ N, 各属性の取り得る値の数 v ∈ N 7/20

背景：Harris の分節原理 (HAS)

次に来る文字の不確かさと単語境界 Example: 英単語 “natural” n... nat... natura... natural... 次の文字は何だろう... 次は “u” か “i” だな... 次は “l” に違いない！ Harris の仮説 [Harris, 1955] 一度下がった「次の文字の不確実性」が再び上昇 そこ に 単語境界 が ある 傾向 Harris の分節原理 (HAS) [Tanaka-Ishii, 2021] Harris の仮説 の 情報理論的 な 再定式化 不確実性 as エントロピー 8/20

条件付きエントロピーと分岐エントロピー i 文字列集合 Σ∗ 文字列 x1:n = x1 · · · xn ∈ Σ∗ Σ∗ 上の確率変数 X1:n = X1 · · · Xn 条件付きエントロピー H(n) H (Xn+1 |X1:n ) の直感 平 均的な :::::::: 次 の 文字 の 不確実さ 分岐エントロピー h(x1:n ) H(Xn+1 |X1:n = x1:n ) の直感 個 別文脈での ::::::::::: 次 の 文字 の 不確実さ 条件付きエントロピー は 分岐エントロピー の 平均 P ∵ H(n) = x1:n ∈Σ∗ p(x1:n )h(x1:n ) 9/20

条件付きエントロピーと分岐エントロピー ii 条件付きエントロピー 分岐エントロピー 自然言語 に おける 両者 の 性質 条件付きエントロピー H(n) は 単調減少 する vs 分岐エントロピー h(x1:n ) は 増減 を 繰り返す 自然言語 において 不確実性 は 平均的には減少 するが 10/20 個別の文脈 においては 増減 する

Harris の分節原理 (HAS) Harris の分節原理 (HAS) [Tanaka-Ishii, 2021] ある (自然言語の) 文字列 x1:n+1 ∈ Σ∗ について h(x1:n ) < h(x1:n+1 ) のとき (i.e., 分岐エントロピーが上昇するとき) xn+1 は単語境界に位置する傾向にある の直感 分岐エントロピー h は 平均的には減少 するが (∵ 条件付きエントロピー の 単調減少性) ところどころ増大 する そこに 単語境界 が ある 可能性が高い 11/20

問題設定

問題設定 Re: 問い 創発言語 でも HAS は 成り立つのか？ 12/20

問題設定 Re: 問い 創発言語 でも HAS は 成り立つのか？ 以下の 3 つ問いに答える必要あり： 創発言語 において... 問 1 条件付きエントロピー H は 単調減少 するのか？ 問 2 分岐エントロピー h は 増減するのか？ 問 3 なんとなく 得られた “分割” に 意味はある のか？ エントロピー の 振舞い は 自然言語 と 同じ？ なんとなく 得た 分割 は 本当に単語？ 問 1, 問 2 問3 13/20

問題設定 なんとなく 得られた “分割” に 意味はある のか？ 問 3 の 難しさ 創発言語 に 単語分割 の 教師データ は 無い そもそも 創発言語 に 単語 なんてあるの？ そこで... 問 3 を 以下 の 3 つの問い に 置き換え ます 問 3 の 代わりに 設ける 新たな 問い 問 3-1 “属性の数” が増えると “境界の数” も増えるか？ 問 3-2 “値の数” が増えると “単語の種類” も増えるか？ 問 3-3 “単語レベルの構成性” ＞ “文字レベルの構成性”？ 14/20

問題設定 問 3-1 の直感 “属性の数” が増えると “境界の数” も増えるか？ 15/20

実験結果

実験結果 の 概要 答えるべき 3 つの問いに対して： 問 1 条件付きエントロピー H は単調減少するか？ YES 問 2 分岐エントロピー h は増減するか？ YES 問 3 なんとなく 得られた “分割” に 意味はある のか？ 多分NO 問 3 の代わりに設けた新たな問いに対して： 問 3-1 “属性の数” が増えると “境界の数” も増えるか？ 問 3-2 “値の数” が増えると “単語の種類” も増えるか？ 問 3-3 “単語レベルの構成性” ＞ “文字レベルの構成性”？ 全てNO 16/20

まとめ

まとめ 問い 創発言語 でも Harris の分節原理 (HAS) は 成り立つのか？ 創発言語 は 有意味 な 単語分割 を もつのか？ 創発言語 HAS エージェント間 で 生じる 人工的 な 言語 (的な何か) 自然言語 の 単語分割 に関する 統計的 な 性質 実験結果から得られた示唆 創発言語 では HAS が :成 り立たない :::::::::::::::: 創発言語 は 有意味 な 単語分割 を :欠 く ::::: 17/20

雑感

じゃあ どうすれば創発言語でも HAS が成り立つのか エージェントに「秩序だった分岐エントロピーの増減」を 実現しなきゃいけない理由が特にない 多分「意味の伝達」と「文字 (単語) の予測可能性」の trade-off がモデル化されていないのが良くない (シグナリングゲームには「予測可能性」の pressure が無い) 予測可能性 意味の伝達 コミュニケーション成立の pressure 分岐エントロピー 大きい 小さい サプライザル最小化の pressure 文字の予測可能性 意味の伝達 18/20

References i Rahma Chaabouni, Eugene Kharitonov, Diane Bouchacourt, Emmanuel Dupoux, and Marco Baroni. Compositionality and generalization in emergent languages. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pages 4427–4442. Association for Computational Linguistics, 2020. doi: 10.18653/v1/2020.acl-main.407. Zellig S. Harris. From phoneme to morpheme. Language, 31(2):190–222, 1955. ISSN 00978507, 15350665. Simon Kirby. Spontaneous evolution of linguistic structure-an iterated learning model of the emergence of regularity and irregularity. IEEE Trans. Evol. Comput., 5 (2):102–110, 2001. doi: 10.1109/4235.918430. 19/20

References ii Angeliki Lazaridou, Karl Moritz Hermann, Karl Tuyls, and Stephen Clark. Emergence of linguistic communication from referential games with symbolic and pixel input. In 6th International Conference on Learning Representations, ICLR 2018, Vancouver, BC, Canada, April 30 - May 3, 2018, Conference Track Proceedings. OpenReview.net, 2018. David K. Lewis. Convention: A Philosophical Study. Wiley-Blackwell, 1969. Kumiko Tanaka-Ishii. Articulation of Elements, pages 115–124. Springer International Publishing, Cham, 2021. 20/20