# 主題化における人間と言語モデルの対照

藤原吏生 ${ }^{1}$ 栗林樹生 ${ }^{1,2}$ 徳久良子 1 乾健太郎 1,3
1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 理化学研究所
riki.fujihara.s4@dc. tohoku.ac.jp
\{kuribayashi, tokuhisa, kentaro.inui\}@tohoku.ac.jp

## 概要

人間は文脈から自明な内容を省略したり，先行 する文脈に関連する情報を文頭に配置したりする ことで，文章を滑らかに繋ぐ，本研究では，このよ うな文章生成における談話レベルの選好について， ニューラル言語モデルが人間らしい振る舞いをして いるかを調査する. 特に日本語における項の主題化 の選好に焦点を当て，クラウドソーシングを用いて 大規模に人間の選好データを収集し，人間と言語モ デルの選好を対照する. 本実験の範囲では，主題化 について言語モデルが人間とは異なる選好を示し，談話レベルの現象について言語モデルが人間と異な る汎化を行なっている可能性が示された。

## 1 はじめに

ニューラルモデルはデータのみから人間らしい言語の汎化を達成するのかという認知科学的な関心の もと, 近年進展を遂げたニューラル言語モデルの有 する言語知識が分析されてきた $[1,2,3,4,5,6]$. 文章の産出といった言語活動において文を超えた談話的な側面は無視できない一方, 言語モデルの分析で は統語的知識などが関心の的となり $[7,8]$, 談話的知識については文の並び替え能力など粗いレベルで の分析にとどまることが多い.

本研究では談話の一側面である主題構造 [9] に焦点を当て，言語モデルが有する談話レベルの選好に ついて，人間と対照しながら統制的に調査する. 主題は，「心理的主語：話者が伝えたいことの算出に とりかかる時にまず心の中にもつもの」と定義さ れ [10], ある要素を主題にするか（主題化するか） という判断は，センタリング理論 [11,12] や情報の 新旧 [13] などと関わりがあり, 文脈を考慮する必要 があることが知られている。

例えば以下の 2 文は「花瓶」が主題化されている かという観点で異なり，「花瓶を昨日割った。」とい

図 1 主題化判断における人間と言語モデルの比較. 特定 の文脈において，ある項が主題化された文 $s^{\text {TOP }}$ と，主題化されていない文 $s^{\text {NOT }}$ のどちらが続くのが自然かを判断 させる

う文の続きとしては，文 (1a)よりも文 (1b)を用いる ことが考えられる.

(1) a.花瓶が部屋にあった。 There was a vase in the room.

b.花瓶は部屋にあった。

The vase was in the room.

このような文脈依存な判断について，言語モデルの 選好を分析する。また，主題化の選択は日本語学習者にとって容易でなく [14], 主題化のモデリングは 日本語の主題選択に関する自動判定や, 文章執筆支援といった応用的出口にも繋がる.

具体的には，文の主題がとりたて助詞で明示され る日本語を用い，統制的に文ぺアを作成することで 主題構造の観点を切り分けてモデルを分析する．人間の文脈依存な選好に関してクラウドソーシングを 用いて大規模にデータを収集した後，主題化に関す る選好を言語モデルと人間とで比較した（図 1).人間の判断が文脈依存で変化する事例において，言語 モデルは文脈非依存な振る舞いを示し，日本語の主
題化について人間とは異なる汎化をしていることが 示唆された. 本研究で作成したデータセットは公開 する1).

## 2 データセット作成

本研究では, 述語の項のうち, 特に主格, 与格,対格の主題化を対象とする. 以下に，ある項が主題化された文とされていない文のぺアを例示する.

## 主格の主題化の例

(2) a.花瓶が部屋にあった。 b.花瓶は部屋にあった。

## 与格の主題化の例

(3) a.飛行機で沖縄に向かった。 b.沖縄には飛行機で向かった。

## 対格の主題化の例

(4) a.沖縄で会議を開催した。

b.会議は沖縄で開催した。

実験では，特定の文脈のもと，続く文として項を 主題化した儿ない文のどちらが自然かを人間と言語モデルに問い，選好を比較する。

## 2.1 データ収集

NAIST Text Corpus（NTC）[15] に主題化に関する 判断のアノテーションを行う. 述語項構造アノテー ションを利用し，以下の条件を全て満たす項（主格・与格・対格）を対象とした.2)
- 文内で最も後方に出現する能動態の動詞の項で ある

・項がとりたて助詞「は」を伴うか，各格に対応 する格助詞（が・に・を）を伴って表出している

-与格対格を対象とする場合は, 対応する述語が 対格/与格の項を持たない
- 文中で対象の項以外が主題化されていない
- 項が各文章の先頭から 2 文目以降に出現する

上の条件を満たしたある項 $a_{i}$ を含む文 $s_{i}$ につい て，2 節で示したような主題構造の観点でのみ異な る文ペアを作成した. 文 $s_{i}$ で対象とする項 $a_{i}$ が主題化されていた場合（とりたて助詞「は」を伴う場合）は，とりたて助詞を格助詞に変え，項を基本語


順位置 ${ }^{3}$ に移動させることで，主題化が生じていな い無標の文を作成した. 逆に, 項が主題化されてい なかった場合は，とりたて助詞「は」を付与して文頭に移動することで，主題化が生じている有標の文 を作成した. 結果としてある項 $a_{i}$ について，(文脈 $c_{i}$, 項が主題化された文 $s_{i}^{\mathrm{TOP}}$, 項が主題化されてい ない文 $s_{i}^{\text {NOT }}$ )の 3 つ組が収集された. データの例を 表 1 に示す.

## 2.2 クラウドソーシング

各項 $a_{i}$ が主題化される尤もらしさを定量化し, さ らに主題化の判断における文脈 $c_{i}$ の影響を測るた めに，(i) 文脈 $c_{i}$ を見せない場合4) と (ii) 文脈 $c_{i}$ を見 せる場合5) の 2 つの設定で，文 $s_{i}^{\text {TOP }}$ と文 $s_{i}^{\text {NOT }}$ のどち らが自然かを判断させた.「どちらでも良い」とい う選択肢も提示し，どうしても判断がつかない場合 のみ選択するよう指示した. また両設定では異なる 作業者がアノテーションを行った. また 2.1 節で施 した機械的な文ペアの生成により，非文が生成され る可能性があるため, どちらの文も日本語の文とし て明らかな違和感がないことも作業者に確認し, 非文だと判断された文が含まれる事例はデータから除外した。

$
\text { アノテーションには Yahoo!クラウドソーシング6) }
$
を用いた. 事前に同様のタスクをトライアルとし て複数回実施して優秀な作業者を選別し, さらに チェック設問を用いて不適切なラベルを付与する作業者を適宜除外した．この時点で，各格 $\times$ 各設定 （文脈を見せる場合と見せない場合）に対して 8 人 ずつのラベルを収集した. その後，MACE [16]を用 いて各作業者の信頼度を計算し, 信頼度下位 $30 \%$ の 作業者を除外したのち, 3 人以下のラベルしか付与 されていないデータポイントも除外した. 最終的に 得られたデータセットの統計量を表 2 に示す. 最終的に，主格のアノテーションでは 164 名の，与格・対格のアノテーションでは 247 名の作業者の作業結果を採用した ${ }^{7)}$ 。なお，主格のデータ収集について の詳細は，Fujihara ら [17]を参考にされたい.

3）脱主題化時に，主格の場合は位置は変えず，与格・対格に ついては述語の直前に移動した. なお，与格と対格が同時に 出現する文は省いているため，基本語順において与格と対格 のどちらが先かという議論は生じない.

4）特定の文脈を想定しないよう作業者に指示した.

5）作業者の負担を軽減するために, 文脈 $c$ が 4 文以上からな る場合は，後ろから 3 文目までを見せた

6) https://crowdsourcing.yahoo.co.jp/

7）トライアルも含め，チェック設問に正解した作業者に対し て1 タスク (約 10 分) あたり 160 円を報酬として支払った
表 1 データセットの例（機械的に作成した文の文頭には*を付与した）

 &  &  \\

表 2 データセットの統計量

## 2.3 文脈依存セットの作成

2.2 節で収集したデータの中には，文脈の影響が 見られない，すなわち文脈を見せた場合と見せない 場合とで作業者の選好がほとんど変化しないインス タンスが確認された.また，「は」と「が」の使い分 けは，談話レべルの主題構造以外の観点の作用が無視できないという調査もある $[18,19]$. そこで，言語モデルの文脈（非）依存な振る舞いを精緻に分析 するために，以下の条件のいずれかを満たすインス タンスを文脈依存セットとして抽出した.

・NTC 上と文脈を見せた場合のアノテーション で主題化された文が選ばれた，かつ文脈の有無 による選好の変化の大きさが上位 $25 \%$ に属する （文脈を見ることで主題化された文への選好が 強まった)

・NTC 上と文脈を見せた場合のアノテーション で主題化されていない文が選ばれた，かつ文脈 の有無による選好の変化の大きさが下位 $25 \%$ に 属する（文脈を見ることで主題化されていない 文への選好が強まった)実験では，文脈依存セットを用いる。

## 3 実験設定

3 種類の単方向言語モデルを用いて, 人間と言語 モデルの主題化に関する選好を比較する。

## 3.1 言語モデル

2 つの Transformer 言語モデル TRANS-L (400M パラ メータ), Trans-s (55M パラメータ) と, LSTM 言語 モデル（55M パラメータ）を実験に用いた $[20,21]$.言語モデルは新聞記事と Wikipedia からなる 300 万文章で学習した ${ }^{8)}$. 言語モデルへの入力は, JUMAN [22] で形態素に分割したのち，Unigram モデ ル [23] でサブワードに分割した"9.

## 3.2 評価指標

2 節で作成した各インスタンス $\left(c_{i}, s_{i}^{\text {TOP }}, s_{i}^{\text {NOT }}\right)$ につ いて，人間と言語モデルの主題化率 $r_{i}$ を以下のよう に計算する。

$
r_{i}=\frac{n\left(s_{i}^{\mathrm{TOP}}\right)}{n\left(s_{i}^{\mathrm{TOP}}\right)+n\left(s_{i}^{\mathrm{NOT}}\right)} .
$

人間の選好については, $n(\cdot)$ としてクラウドソーシ ングで得られたどちらの文が自然かに関する票数を

8） データサイズはトークナイズ前で $3.4 \mathrm{~GB}$ である. また学習データは，2 節で作成したデータと重複しない

9） sentencepiece [24] を用いた（character coverage $=0.9995$, vocab size $=100000$ )
表 3 文脈依存セットでの人間と言語モデルの選択の傾向

用いる ${ }^{10)}$. 言語モデルの場合は，各文に対するパー プレキシティを $n(\cdot)$ として用いる. $r_{i}$ が大きいほど 主題化された文が強く選好されることを意味する。文脈を提示した下で，人間と言語モデルの主題化率 $r_{i}$ の相関 $\rho_{r}$ を求め, 人間が強く主題化を選好する 事例において言語モデルも強く主題化を選好するか 調査する。なお，言語的な規則・制約において判断 が完全に定まる問題ではないため，2 值には要約せ ず，主題化率という連続値のまま扱う。

また, 文脈 $c_{i}$ のもとで得られた主題化率を $r_{i}^{\mathrm{C}}$, 文脈を考慮せずに得られた主題化率を $r_{i}$ と区別し，各事例において，文脈が主題化の選択をどれほど促す か $\Delta=r_{i}^{\mathrm{C}}-r_{i}$ を計算した. $\Delta$ が大きいほど，文脈 $c$ が，項の主題化を強く促したことを意味する. ${ }^{11}$ 主題化の選択における先行文脈の影響の度合いが人間 と言語モデルで近いかを調べるために，人間と言語 モデルから求まる文脈の影響度 $\Delta$ の順位相関係数 $\rho_{\Delta}$ も報告する. また参考として， NTC 上での主題化の選択を正解と見做し, 主題化する儿ないの 2 值分類として扱った際の F1 値も報告する ${ }^{12)}$.

## 4 文脈依存セットでの結果

2.3 節で作成した文脈依存セットにおける，人間と言語モデルの選択の傾向を表 3 に示す. 文脈 ありの設定では，人間と言語モデルの判断につい て，主格，与格，対格とも正の相関が観察された

10）「どちらでも良い」という票については， $s^{\text {TOP }}, s^{\text {NOT }} 0.5$票ずつ分配した.

11）なお一連の計算において確率の足し算・引き算が発生し ており，確率的な意味づけは困難になるが，比率などを用い た場合には今回の目的と反する性質を持つ値となり（例えば $\Delta=r_{i}^{\mathrm{C}} / r_{i}$ とした場合, 1 票から 2 票への変化が 2 となり, 7 票から 8 票の変化が 1.1 程度となるのは今回の文脈では不自然), この定式化に至っている.

12）人間・言語モデル共に，主題化率 $r_{i}$ が 0.5 を上回る場合 には $s^{\text {TOP }}$ を選択したとみなし，そうでない場合は $s^{\text {NOT を選 }}$択したとみなした。 $\left(\rho_{r} \geq 0.48\right)$. 一方，文脈の影響度の相関 $\rho_{\Delta}$ は，主格，与格，対格のいずれにおいても非常に弱く，主題化に対する文脈の影響について，人間と言語モデ ルで乘離があることが示唆された。

また，人間の $\mathrm{F} 1$ 值は文脈の有無によって大きく 変化しているのに対し，言語モデルの F1 值はほと んど変わらず，言語モデルが不当に文脈非依存な選択を行っていることが示唆された. 特に与格や対格 などコーパスと比較して人間の選択が著しく変わる 設定において，なぜ言語モデルが文脈なしにコーパ スと一貫した選択が行えているのかは興味深い。な お，文脈依存セットの作成では，人間とコーパスの 判断が一致することを条件に課したため，文脈あり の設定で人間の $\mathrm{F} 1$ 値は 100 となる. また文脈の有無で主題化における選好が大きく変わるデータを収集したため，文脈がないときに人間は積極的にコー パスと逆の選択をとる可能性があり，F1 值がチャ ンスレートを下回ることは不自然でない，なおデー タセット全体で評価した場合でも，文脈の影響度の 相関 $\rho_{\Delta}$ は依然として非常に弱く，一貫して言語モ デルの人間と乘離した振る舞いが確認された（付録 A；表 4).

## 5 おわりに

本研究では, 談話の一側面である主題構造に焦点 を当て，主題化の判断における人間と言語モデルの 選好の比較を行った. 実験では，人間が文脈に依存 して判断を行う事例に対しても言語モデルは文脈非依存な判断を行うこと，主題化に対する文脈の影響 について人間と言語モデルで乘離があることを示し た.この結果は，人間と同様の談話レベルの言語的知識を言語モデルに獲得させるためには，モデルの アーキテクチャや学習において更なる帰納バイアス が必要であることを示唆している.

## 謝辞

本研究は JST CREST JPMJCR20D2 の助成を受け

たものです. また，データセットの作成にあたり毎日新聞記事データ集 1995 年版のクラウドソーシン グでの使用を許可してくださった毎日新聞社に感謝致します。

## 参考文献

[1] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the ability of 1stms to learn syntax-sensitive dependencies. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 521-535, 2016.

[2] Jey Han Lau, Alexander Clark, and Shalom Lappin. Grammaticality, acceptability, and probability: A probabilistic view of linguistic knowledge. Cognitive Science, Vol. 41, No. 5, pp. 1202-1241, 2017.

[3] Rebecca Marvin and Tal Linzen. Targeted syntactic evaluation of language models. In Proceedings of EMNLP, pp. 1192-1202, 2018.

[4] Yoav Goldberg. Assessing bert's syntactic abilities. arXiv preprint arXiv:1901.05287, 2019.

[5] Alex Warstadt, Amanpreet Singh, and Samuel R. Bowman. Neural network acceptability judgments. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 625-641, 2019.

[6] Alex Warstadt, Alicia Parrish, Haokun Liu, Anhad Mohananey, Wei Peng, Sheng-Fu Wang, and Samuel R. Bowman. Blimp: The benchmark of linguistic minimal pairs for english. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 377-392, 2020.

[7] Jiwei Li and Dan Jurafsky. Neural net models of opendomain discourse coherence. In Proceedings of EMNLP, pp. 198-209, September 2017.

[8] Abigail See, Aneesh Pappu, Rohun Saxena, Akhila Yerukola, and Christopher D Manning. Do massively pretrained language models make better storytellers? In Proceedings of CoNLL, pp. 843-861, 2019.

[9] Michael Alexander Kirkwood Halliday and Ruqaiya Hasan. Cohesion in english. Longman, 1976.

[10] Michael Halliday, Christian MIM Matthiessen, and Christian Matthiessen. An Introduction to Functional Grammar. Routledge, 2014.

[11] Barbara J Grosz, Aravind K Joshi, and Scott Weinstein. Centering: A framework for modelling the local coherence of discourse. Computational Linguistics, Vol. 21, No. 2 , pp. 203-225, 1995.

[12] Marilyn Walker, Masayo Iida, and Sharon Cote. Japanese discourse and the process of centering. Computational Linguistics, Vol. 20, No. 2, pp. 193-231, 1994.

[13] 松下大三郎. 標準日本口語法. 中文館書店, 1930.

[14] 孟玲秀. 『日本語教育における「は」と「が」の教授法』一一中国人学習者に対する日本語教育の場合一一. 2004.

[15] Ryu Iida, Mamoru Komachi, Kentaro Inui, and Yuji Matsumoto. Annotating a japanese text corpus with predicate- argument and coreference relations. In Proceedings of the linguistic annotation workshop, pp. 132-139, 2007.

[16] Dirk Hovy, Taylor Berg-Kirkpatrick, Ashish Vaswani, and Eduard Hovy. Learning whom to trust with mace. In Proceedings of NAACL-HLT, pp. 1120-1130, 2013.

[17] Riki Fujihara, Tatsuki Kuribayashi, Kaori Abe, Ryoko Tokuhisa, and Kentaro Inui. Topicalization in language models: A case study on Japanese. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 851-862, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[18]野田尚史.「は」と「が」.くろしお出版, 1996.

[19] 日本語記述文法研究会. 現代日本語文法 5 とりた て・主題. くろしお出版, 2009.

[20] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of NeurIPS, pp. 5998-6008, 2017.

[21] Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[22] Daisuke Kawahara and Sadao Kurohashi. Case frame compilation from the web using high-performance computing. In Proceedings of LREC, pp. 1344-1347, 2006.

[23] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of ACL, pp. 66-75, 2018.

[24] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of EMNLP, pp. 66-71, 2018.
表 4 データセット全体での人間と言語モデルの選択の傾向

## A データセット全体での結果

表 4 に 2 節で作成したデータセット全体での人間と言語モデルの選択の傾向を示す. データセット全体に おいても主格，与格，対格いずれの文脈の影響度合いの相関 $\rho_{\Delta}$ はほとんどなく， 4 節の結果と一貫して，人間と言語モデルの文脈の考慮の仕方には乘離があることが確認された。

F1 值については，主格における主題化の判断では，人間も言語モデルも 90 ポイント前後と高い值を示し た.また，データセット全体では人間も言語モデルも文脈の有無による $\mathrm{F} 1$ 值の変化が小さく，主格における 主題化の判断，すなわち「は」と「が」の選択は文内の情報のみで十分可能であることが示唆された。一方 で，与格と対格における主題化の判断では，言語モデルは 80 から 90 ポイント前後の値となっているのに対 し，人間は 50 から 60 ポイント前後の值となっていた. この值は 2 值分類のチャンスレートに近いことから，人間にとって与格と対格における主題化判断は一方に選好が偏るものではないことが考えられる. しかしな がら，文脈を見ることでコーパスと一貫した判断がわずかではあるができるようになるという点で，人間は 与格や対格における主題化の判断を文脈に依存して行っていることが改めて確認された. 人間と比べて言語 モデルは F1 值で高いスコアとなっているが，依然として文脈に依存した判断を行っていないことから，過剩 にコーパスにフィットしていたり，N-gram レベルの情報で判断していたりする可能性が考えられる。人間 にとっては困難な判断を言語モデルがどんな情報を頼りに行っているのかということについては今後さらに 調査したい.
 藤原吏生 ${ }^{1}$ 栗林樹生 ${ }^{1,2}$ 徳久良子 1 乾健太郎 1,3 1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 理化学研究所 riki.fujihara.s4@dc. tohoku.ac.jp \{kuribayashi, tokuhisa, kentaro.inui\}@tohoku.ac.jp  