# 人と言語モデルが捉える文の主題

藤原吏生 ${ }^{1}$ 栗林樹生 ${ }^{1,2}$ 乾健太郎 1,3
}

1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 理化学研究所

riki.fujihara.s4@dc.tohoku.ac.jp, \{kuribayashi, inui\}@ecei.tohoku.ac.jp
## 1 はじめに

(1) a. 兄は部屋に向かった。 b.兄が部屋に向かった。

二つの文は論理的に同等であるが，文脈や何につい てメッセージを伝えたいか（主題）といった観点か ら人はこの二文を使い分ける．例えば，「兄がさっ き帰ってきた。」というような兄に関する話に続く 文であれば例 1a の方が自然であるし，単に兄が何 をしたか客観的に描写するのであれば例 $1 \mathrm{~b}$ の方が 好まれるだろう。このような先行文脈に依存する 選択において計算モデルと人の判断に乘離がある か，近年流暢な文章の生成が可能になったとされる ニューラル言語モデルに焦点を当てて調査する.

本研究では，文章の形成や評価において重要な側面である文の主題を取り上げる $[1,2]$. 日本語の係助詞「は」は主題であることを表し [3], 例 1 の二つ の文は「兄」が主題か否かという点で異なる. ある 要素を主題化するかの判断には，情報の新旧 [4] や センタリング理論 [5] などの観点から先行文脈を考慮する必要があるとされている $[3,6]$. 文の主題の 観点で言語モデルが人と同様の選択を行えるかを分析することで，言語モデルの文章生成における先行文脈の影響について考察する。

文の主題は英語では語順で示されるが [2], 日本語では係助詞「は」などによって明示され，その範囲を策定しやすいため日本語で研究を行う．はじめ に，クラウドソーシング1)を活用し，NAIST テキス トコーパス（NTC）[7] 中の主格に対して人の「は」 と「が」の判断に関するアノテーションを行った。「は」と「が」の対立には主題と非主題といった対立以外にも，対比と排他，節末まで係るか文全体に係 るかといった様々な軸がある $[3,6,8]$. NTC の共参照アノテーションや先行文脈を見せる/見せないこ

1）Yahoo!クラウドソーシング https://crowdsourcing.yahoo. co.jp/を利用した。また，毎日新聞社に許可を得て NAIST テ キストコーパス中の文をワーカに見せている.

図 1 人と言語モデルによる「は」と「が」の選択

とによる人の判断の変化から，「は」と「が」の選択 について特に文脈が依存するデータポイントを収集 し，言語モデルの評価に用いた。

実験では，文脈依存の「は」と「が」の選択につ いて，人とニューラル言語モデルの傾向を比較し た (図 1).人と言語モデルの選択の相関は高く，言語モデルは人と近い選択を行うことができていた. しかしながら，インスタンスごとの判断の不一致度 (agreement error) [9] や先行文脈の有無による判断の 変化といった観点から分析を行うと，人と言語モデ ルの間に乘離が観察され，特に言語モデルは先行文脈を見なくても人と比べて不当に高精度な選択がで きていた。これらの結果から，「は」と「が」の選択について言語モデルは人と近い選択が可能であ るが，判断の拠り所は両者で異なるということが示唆された. 本研究で作成したデータセットは公開す $る^{2)}$.

## 2 関連研究

選択体系機能文法では，主題は「心理的主語」と して「話者が伝えたいことの産出にとりかかる時に まず心の中にもつもの」と定義され [2]，文法的な主

次の文の下線部 _—に入る助詞としてより自然だと思うものを選んでください。

親戚の子供たちが遊びに来ました。子供たち——外でサッカーをしています。

が

○ は

○どちらでも良い (この文では判断できない)

図 2 クラウドソーシングにおける設問の例.

語とは異なるものである ${ }^{3)}$. 文章の形成や評価にお いて，主題の構造は結束性などと並び重要な側面で あるとされている $[1,2]$. また，例 1 のような「は」 と「が」の使い分けは日本語学習者にとって難しい とされており [10], 計算モデルが自然に使い分けら れるのであれば，ライティング支援，学習者支援に も繋がる. 更に日本語では主題が省略される傾向も あり，どの要素を主題とするのが自然かといった自動評価は，どの要素を省略すると自然かといった研究・評価にも繋がると考えられる。

言語モデルによる文章の容認性判断に関する既存研究では，文レベルの文法性判断や $[11,12,13,14]$,論理的な能力 $[15,16]$ に焦点を当てた分析が多い.一方で，言語モデルの分析の文脈で文の主題に直接焦点を当てた研究は我々の知る限り存在しない.

## 3 データ作成

## 3.1 クラウドソーシング

NTC [7] 中の以下の条件を全て満たす主格をアノ テーション対象とした。

・文内で最も後方に出現する動詞の主格である

・格助詞「が」または係助詞「は」を伴う

・各文章の先頭から 2-4 文目に出現する

上の条件を満たした主格について付随する助詞を 隠し，クラウドワーカーに「は」と「が」のどちら を使用するのが適切か聞いた（図 2).「どちらでも よい(この文では判断できない)」という選択肢も用意した。それぞれの主格について，（i）同一文章内 の先行文脈を全て見せる場合と（ii）文脈を見せな い場合（特定の文脈を想像しない）の 2 つの設定で アノテーションをした. 両設定では異なるワーカが アノテーションをしている．また，ある問題につい て文脈ありの設問を解いた後，同一の文脈なしの設問を解くということが生じないようにした.


 & ラベル数 \\

事前に同様のタスクを複数回実施して優秀なワー カを選別し，さらにチェック設問を設定して不適切 なラベルを付与するワーカを適宜除外した. この時点で 234 人のワーカから，各主格，各設定（文脈の 有無）に対して 8 人のラベルを得た. さらに統計的後処理4) により信頼度下位 $30 \%$ のワーカを除外し,結果的に 3 人以下のラベルしか付与されていない データポイントも除外した. 最終的に 1,562 の主格 に対して，文脈の有無の両設定それぞれで平均 6 人 から, 計 18643 ラベルが付与された. 得られたデー タセットにおけるアノテーション一致度はクリッぺ ンドルフの $\alpha$ で 0.694 であり，信頼可能なデータの 一致度の下限とされる 0.667 を超えている [18].

## 3.2 サブセットの作成

1 節で言及したとおり，「は」と「が」の対立には 主題か非主題かという軸だけでなく，対比を表すか 排他を表すか，判断文であるか現象文であるか，ど こまで係るかなどの様々な対立が内包されている $[3,8]$. 先行文脈で既に言及された要素は主題になり やすくなる（関連の主題）という，文脈依存の傾向 が反映されたデータを収集するため，以下の条件を 全て満たす主格を文脈依存の「は」として収集した。

・NTC 上で「は」を伴っていた.

・共参照アノテーション上で，主格の要素が先行文脈において既出である。

・文脈を見せることで，「は」と答える割合が $15 \%$ よりも上昇した.

上記条件を満たさずコーパス上で「は」を伴ってい たデータポイントの集合については文脈非依存の 「は」，コーパス上で「が」を伴っていたデータポイ ントの集合については「が」全体と呼ぶ. サブセッ トの統計を表 1 に示す.

作成したサブセットごとにデータの例を示す。ま た，必要に応じて先行文脈を灰色で，アノテーショ ン対象の主格を太字で載せる。

4）MACE [17]を用いて各アノテータの信頼度を計算した.

## 文脈依存の「は」の例

(2)十万円が当たった。暮れ息子が買ったジャン ボ宝くじの二十枚連番の一枚である。昨日、息子はテレビでの当選番号と照らし合わせなが ら、「三千六百円になるから、お母さんにあげ る」と言っていた。

毎日新聞記事データ集 1995 年版

例 2 では，主格の要素である「息子」が先行文脈に 出現している. このように先行文脈に出現した要素 やそれに関連するものは「は」を伴って主題になり やすいことが知られている [3].

## 文脈非依存の「は」の例

(3)民法九 $\bigcirc$ 条は、非嫡出子の相続分について 「嫡出子の二分の一とする」と定めている。

毎日新聞記事データ集 1995 年版

例 3 は主格の要素である「民放九○○条」について 解説をする文となっている。このように主格名詞に ついて解説 (措定) するときには「は」を伴う [19].

## 「が」全体の例

(4)ペソの暴落でメキシコ経済の混乱が続いてい る。北米自由貿易協定、中南米諸国だけでな く、日本や欧州企業にも影響が及び始めた。

毎日新聞記事データ集 1995 年版

例 4 は「メキシコ経済の混乱によって影響が及ぶ」 という現象を表した文である。現象をありのまま，判断の加工を施さないでそのまま表現した文を現象文と呼び，「が」を伴う [20]. 他にも排他の「が」な ど，様々な用法の「が」がこのサブセットに属する。

## 4 実験設定

言語モデル パラメータ数の異なる 2 つ Transformer ベースの言語モデル [21] (400M パラメータの TRANS-L と 55M パラメータの textscTrans-s）と LSTM ベースの言語モデル [22]（LSTM）について，「は」 と「が」の選択の傾向を分析する。言語モデルは文章レベルであり，学習データは約 300 万の新聞記事 から成る ${ }^{5)}$. 言語モデルへの入力は，JUMAN[23] で 形態素に分割したのち sentencepiece[24] でサブワー ドに分割した ${ }^{6)}$.

指標 3 節で作成した各インスタンスは， $\left(c, s_{\text {は }}, s_{\text {が }}\right)$

5）言語モデルの訓練に用いたデータは，3.1 節で作成した評価 データと重複しない。

6） Unigram モデル [25]を用いた（character coverage $=0.9995$, vocab size $=100000$ )
の三つ組で表される. ただし， $s_{\text {は }}$ と $s_{\text {が }}$ は分析の対象となる主格が「は」または「が」を伴う文であり， $c$ は同一文章内の先行文脈である．各インスタンス における「は率」 $r_{\text {はを人と言語モデルに対して以下 }}$ のように計算する.

$
r_{\text {は }}=\frac{p\left(s_{\text {は }}\right)}{p\left(s_{\text {は }}\right)+p\left(s_{\text {が }}\right)}
$

ただし $p\left(s_{\text {は }}\right)$ および $p\left(s_{\text {が }}\right)$ は，人の場合何人中何人 が「は」または「が」が自然であると判断したかの 割合7) であり，言語モデルの場合 $s_{\text {はま }}$ および $s_{\text {が }}$ に対 する生成確率である. $r_{\text {はが大きいほど「が」ではな }}$ く「は」が自然であると判断した割合が高いという

確信度の指標と考えられる。

また，文脈 $c$ を見せて（入力して）得られた $p\left(s_{\text {は }}\right)$ および $p\left(s_{\text {が }}\right)$ を元に計算した「は率」を $r_{\text {は }}^{\text {ctx }}$ ，文脈 を見せない場合で得られた「は率」を $r_{\text {奻_ctx }}^{\text {woct }}$ と別 する.人および各言語モデルについて，各インスタ ンスにおける文脈の影響を $\Delta_{\text {は }}=r_{\text {は }}^{\text {ctx }}-r_{\text {は_ctx }}^{\mathrm{wo} c \text { とす }}$ る. $\Delta_{\text {は }}$ が大きいインスタンスほど，文脈を見るこ とにより「は」を伴うと判断するようになった度合 いが高いインスタンスであると言える.

## 5 実験 1: 文脈依存の「は」の傾向

はじめに，3.2 節で作成した文脈依存の「は」のサ ブセットについて人と言語モデルの傾向を分析する (表 2). 各言語モデルが各インスタンスに付与した $r_{\text {は }}^{\text {ct }}$ と $\Delta_{\text {は }}$ について, ワーカから得られた值との順位相関係数を報告する。 $r_{\text {は }}^{\text {ctx }}$ の相関は,「は」か「が」 を選択する際の確信度の強さにおける人らしさを示 す. $\Delta_{\text {は }}$ 相関は，「は」と「が」の選択に及ぼす文脈の影響が人と言語モデルで似ているかを示す.

また，NAIST テキストコーパス上で主格に対して 用いられていた助詞を正しい助詞 8 ) とみなした場合 の正解率も報告する. 人の正解率は各インスタンス に付与されたラベルのうち正しい助詞（本実験では 「は」）を選択できたものの割合とし，言語モデルの 正解率は正しい助詞に対して高い確率を付与できた インスタンスの割合とした. 文脈を見せた場合と見 せない場合でそれぞれ正解率を計算した。

文脈ありの正解率を見ると人と言語モデルが同程度の値を示しており，およそ $90 \%$ という高い精度

表 2 文脈依存の「は」の選択傾向

 &  &  &  \\

で「は」と「が」の選択が可能であった。一方で表 2 中の文脈なしの正解率と文脈ありの正解率の比較 より，人は文脈を見ることで正解率が 12 ポイント 上がっているにも関わらず，言語モデルは先行文脈 をみても正解率がほとんど変わらないことが確認さ れた. 特に文脈を見ない場合の言語モデルの正解率 が人よりも 10 ポイント程度高く，人が認識してい ないような文内の何らかの特徵量を手がかりに言語 モデルが「は」と「が」の選択を行っていることが 示唆された ${ }^{9)}$.また,$r_{\text {は }}^{\text {ctx }}$ の相関が弱いことから人 と言語モデルの間のある種の選択の確信度が異な り， $\Delta_{\text {は }}$ 相関がないことからも文脈の考慮の仕方 に乘離があることが分かる。つまり，言語モデルは 正しく「は」と「が」の選択が行えているものの， その選択をする要因は人と異なることが示唆され る.このような乘離は，言語理解タスクにおいて回答に十分な情報が提供されなくても解けてしまう問題 [26] や，人に認識不可能な特徵量（敵対的事例） の存在 [27] と類似する問題と考えられる。

本実験で確認された「は」と「が」の選択におけ る乘離は，クラウドワーカによる複数人のアノテー ションや文脈が存在しない場合の判断といったコー パス上に表出されない情報によって明らかになった 結果であり, 本データセットの作成に意義があった ことを強調したい。なお言語モデル間の差について は， $r_{\text {は }}^{\text {ctx }}$ の相関において LSTM が比較的人に近いと いう観察が得られた。

## 6 実験 2: コーパス全体の傾向

5 節では文脈依存の「は」のサブセットについて 分析したが，最後に 3 節で作成したデータセット全体についても，人と言語モデルの傾向を分析する (表 3). 文脈なしの正解率と文脈ありの正解率を比較すると, 人も言語モデルも文脈の有無による正解率の変化は小さく，データセット全体としては「は」 と「が」の選択は文内の情報のみで可能であること

9）言語モデルだけが文脈を見ずに正解できたインスタンスを 付録に示す.表 3 「は」と「が」の選択傾向 (データセット全体)

 &  &  &  \\

が示唆された.この結果は「は」と「が」の使い分 けにしばしば情報の新旧といった談話レべルの概念 が持ち込まれることと対照的であり，談話レベルの 判断が必要な状況は実際のコーパス上では少数であ る可能性，文脈を見せない設定においても文内の情報から人が適当な文脈を復元できている（例えば代名詞の使用から情報の新旧の予測がつくなど）可能性を含めて今後さらに調査したい.

$r_{\text {は }}^{\mathrm{ctx}}$ の相関はどの言語モデルでも 0.79 以上と， データセット全体においては人と言語モデルの選択 の確信度の強さに高い相関があることが確認され た ${ }^{10)}$. 表 2 の $r_{\text {は }}^{\text {はtx }}$ の相関は弱かったことを踏まえる と，言語モデルは「は」と「が」のどちらが自然か という粒度の選択においては人と近い傾向がみられ るが，「は」を選択する際にどれくらいの確信度で 選択しているかという側面では人と傾向に乘離があ ると考えられる (付録図 3)． $\Delta_{\text {は }}$ の相関はなく, 5 節 の結果と一貫して，人と文脈の考慮の仕方に乘離が あることが確認された。

## 7 おわりに

本研究では，談話レベルの文脈に依存する系列的 な選択における言語モデルと人の判断について分析 を行い，乘離があることを示した。「は」か「が」と いう選択においては言語モデルは人よりも正確な選択が行えるが，先行文脈の情報に依存した選択を行 わないという点で人と乘離がみられた。これは言語 モデルと人の「は」と「が」の選択の拠り所が両者 で異なるということである．今後は，言語モデルが 文内および先行文脈のどの部分の情報を頼りに系列的な選択を行うのかを調査していきたい。

## 謝辞.

本研究は JSPS 科研費 P19H04162 の助成を受けた ものです.また，データセットの作成にあたり毎日新聞記事データ集 1995 年版の使用を許可していた だいた毎日新聞社に感謝します。

10）人と言語モデルの $r_{\text {は }}^{\text {ctx }}$ の相関が高かったインスタンスを付録に示す.

## 参考文献

[1]Michael Alexander Kirkwood Halliday and Ruqaiya Hasan. Cohesion in english. Longman, 1976.

[2]Michael Halliday, Christian MIM Matthiessen, and Christian Matthiessen. An introduction to functional grammar. Routledge, 2014.

[3]野田尚史.「は」と「が」. くろしお出版, 1996. [4]松下大三郎. 標準日本口語法. 中文館書店, 1930.

[5]Barbara J Grosz, Aravind K Joshi, and Scott Weinstein. Centering: A framework for modelling the local coherence of discourse. Computational Linguistics, 1995.

[6]砂川有里子. 文法と談話の接点. くろしお出版, 2005.

[7]Ryu Iida, Mamoru Komachi, Kentaro Inui, and Yuji Matsumoto. Annotating a japanese text corpus with predicate-argument and coreference relations. In Proceedings of the linguistic annotation workshop, pp. 132-139, 2007.

[8]日本語記述文法研究会. 現代日本語文法 5 とりた て・主題. くろしお出版, 2009 .

[9]Suhas Arehalli and Tal Linzen. Neural language models capture some, but not all, agreement attraction effects, Feb 2020.

[10]孟玲秀. 『日本語教育における「は」と「が」の 教授法』——国人学習者に対する日本語教育 の場合—. 2004.

[11]Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the ability of lstms to learn syntax-sensitive dependencies. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 521-535, 2016.

[12]Jey Han Lau, Alexander Clark, and Shalom Lappin. Grammaticality, acceptability, and probability: A probabilistic view of linguistic knowledge. Cognitive Science, Vol. 41, No. 5, pp. 1202-1241, 2017.

[13]Jey Han Lau, Carlos S Armendariz, Shalom Lappin, Matthew Purver, and Chang Shu. How furiously can colourless green ideas sleep? sentence acceptability in context. arXiv preprint arXiv:2004.00881, 2020.

[14]Alex Warstadt, Alicia Parrish, Haokun Liu, Anhad Mohananey, Wei Peng, Sheng-Fu Wang, and Samuel R Bowman. Blimp: The benchmark of linguistic minimal pairs for english. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 377-392,
2020.

[15]Xuhui Zhou, Yue Zhang, Leyang Cui, and Dandan Huang. Evaluating commonsense in pre-trained language models. In AAAI, pp. 9733-9740, 2020.

[16]Gregor Betz, Christian Voigt, and Kyle Richardson. Critical thinking for language models, 2020.

[17]Dirk Hovy, Taylor Berg-Kirkpatrick, Ashish Vaswani, and Eduard Hovy. Learning whom to trust with mace. In Proceedings of NAACL, pp. 1120-1130, 2013.

[18]Klaus Krippendorff. Content Analysis: an Introduction to its Methodology. Sage publications, 2004.

[19]三尾砂. 國語法文章論. 三省堂, 1948.

[20]三上章. 現代語法序説ーシンタクスの試みー. 刀江書院, 1953.

[21]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS, pp. 5998-6008, 2017.

[22]Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[23]Daisuke Kawahara and Sadao Kurohashi. Case frame compilation from the web using high-performance computing. In Proceedings of LREC, Genoa, Italy, May 2006. European Language Resources Association (ELRA).

[24]Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In EMNLP, pp. 66-71, 2018.

[25]Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. Proceedings of ACL, 2018.

[26]Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel R Bowman, and Noah A Smith. Annotation artifacts in natural language inference data. arXiv preprint arXiv:1803.02324, 2018.

[27]Andrew Ilyas, Shibani Santurkar, Dimitris Tsipras, Logan Engstrom, Brandon Tran, and Aleksander Madry. Adversarial examples are not bugs, they are features. In Advances in Neural Information Processing Systems, pp. 125-136, 2019.

(a) 文脈依存の「は

(b) データ全体

図 3 人と言語モデル (TRANS-L) の $r_{\text {は }}^{\text {はt }}$ の相関. 1 プロットが 1 インスタンスを表す.

表 4 人と言語モデルの「は」と「が」の選択傾向

## A インスタンス例

## 人と言語モデルの $r_{\text {はt }^{\text {ct }}$ 相関が高かったインスタンス}

(5)受験生に試練の季節がやってきた。十四日、日本海側が大雪に見舞われたなか始まった大学入試センター試験。今年の受験者は女子が大幅に増えるなど過去最多となった。

毎日新聞記事データ集 1995 年版

(6)三日未明から夕方にかけて北海道、東北地方で三陸はるか沖地震の余震とみられる地震が四回あった。午前一時四十二分ごろ、東北地方の一部で地震があった。

毎日新聞記事データ集 1995 年版

## 言語モデルだけが文脈を見ずに正しい助詞を選択できたインスタンス

(7) 4 歳の孫を連れておそば屋さんへ入りました。鍋焼きうどんを取って 2 人で食べました。孫は必死になって食べま したが、とても食べ切れません。

毎日新聞記事データ集 1995 年版

(8)七日は、無病息災を願う「春の七草」の日。大阪・キタの阪神百貨店では、午前八時から七草がゆの無料サービス を行い、サラリーマンや若い女性たち、剣道の早朝練習帰りの中学生らが季節の味覚を楽しんだ。用意した五百食は約一時間でなくなった。

毎日新聞記事データ集 1995 年版
 藤原吏生 ${ }^{1}$ 栗林樹生 ${ }^{1,2}$ 乾健太郎 1,3 }  1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 理化学研究所  riki.fujihara.s4@dc.tohoku.ac.jp, \{kuribayashi, inui\}@ecei.tohoku.ac.jp 