# 中央銀行の要人発言に対するタカ・ハト極性付与タスクの検討

高野海斗 1 内藤麻人 ${ }^{1}$ 長谷川直弘 ${ }^{1}$ 中川慧 ${ }^{1}$
1 野村アセットマネジメント株式会社
$\{$ k-takano, a-naito, n-hasegawa, k-nakagawa $\}$ @nomura-am.co.jp

## 概要

金融業界でオルタナティブデータの活用が進む 中，金融テキストマイニングにおいて，文に対して センチメント付与を行うタスクは，重要な研究テー マである．金融分野におけるテキストへのセンチメ ント付与性能の向上のためには，少なくとも，否定表現，経済状況，時間軸の情報を加味できるモデル が必要であると考える. 本研究では，上記に挙げた 3 つの情報を加味する必要のある困難なタスクとし $\tau$ ，中央銀行の要人発言に対するタカ・ハト極性付与タスクを提案し, その重要性と必要性について述 べる.

## 1 はじめに

近年，機械学習などの手法が注目を集め，様々な 分野への応用研究が活発に行われている. 金融業界 でも人工知能分野の手法や技術を様々な場面に応用 することが期待されており，膨大な金融情報を分析 し投資判断を支援する金融テキストマイニングに注目が集まっている $[1,2,3]$.

金融業界でオルタナティブデータの活用が進む 中，金融テキストマイニングにおいて，文に対して センチメント付与を行うタスクは，重要な研究テー マである. 特にテキストを用いて景況感を示す指標 はセンチメントスコアと呼ばれ実際に活用されてい る. 例えば野村證券株式会社では, 政府や日本銀行 のレポートのセンチメントを指数化する野村 AI 景況感指数を公表し，実際に定量分析などで利用して いる1).

金融テキストマイニングにおいて，センチメント スコアが注目されているのには，以下に述べる背景が存在する。一般に金融テキストには，結果（事実）と評価が混在している。例えば，「今期の EPS ${ }^{2)}$

は 100 円であり、経営努力が実った。」と「今期の EPS は 100 円であり、経営陣の見通しの甘さが露呈 した。」というテキストには，「今期の EPS は 100 円 である」という同一の結果を伝えているが，評価は 正反対の内容を伝えている. このように，同一の結果に対してどのような評価，すなわち極性を付与す るかという点に市場あるいは投資家のセンチメント が含まれる。また結果を表す情報は財務データある いは経済データが多く，定量的に取得・分析できる のに対して，評価情報はテキストにのみ存在する定性的情報である。そのため，金融テキストの極性付与は投資意思決定において重要なタスクである.

本研究では，大量に存在する金融テキストの中で 中央銀行の要人 ${ }^{3}$ ) 発言に極性を付与することに焦点 を当てる．中央銀行に関しての詳細は，2 章で述べ ることとし，ここでは中央銀行の要人発言に注目す る理由を簡潔に述べる。

まず，中央銀行の公開情報は注目度が高く，マー ケットに与える影響が大きいことが焦点を当てた最大の理由である，日々運用者は，マーケット情報を 参考にし，仮説を立て，投資判断を行っているが， その中でもメディアや公式 HP から発表される中央銀行の金融政策方針や要人発言などの重要性は非常 に高く，実際に市場が予想していなかった発言が出 た直後には，株価や金利などが大きく変動すること があるのは周知の事実である [4]. そのため，公開 されているテキスト情報の定量的な活用を含めると 非常に多くの関連研究が存在する。関連研究の詳細 に関しては，3 章で取り上げるが，それらの研究の ほとんどがトピックの割合や，そのポジティブ単語 の割合・ネガティブ単語の割合と，マーケットとの 関連を分析したものとなっている。

本研究で焦点を当てている要人発言は，伝統的 に，金融引締のスタンスを取っているものは「タ カ」派の意見，金融緩和のスタンスを取っているも のは「ハト」派の意見に大別される．金融政策の決

3）金融政策方針を決定するメンバー
定権を持つ要人のタカ派あるいはハト派の発言の多萓が今後の金融政策の方向性に重要な影響を与え ることが想定される。そのため市場参加者は要人発言が，タカ・ハトのどちら側のスタンスであるかを 日々のニュースや公表物から波み取り, 将来の見通 しや投資判断の材料にしている. しかし，このタカ とハトという観点から極性を付与してマーケット への影響を分析するような研究は数が少ない. 例え ば，Amadeus[5] らは，オリジナルの辞書を用いてタ カ・ハトの極性を付与し，分析を行っているが，辞書やデータセットに関する詳細は伏せられており， このような極性が付与されたデータは公開されてい ない.

そこで，本研究では中央銀行の要人発言に対する タカ・ハト極性付与タスクを提案する。 そもそも文 の極性付与というタスク自体が，文の分類問題の中 ではトピックの分類などと比較して難しいタスクで はあるが，要人発言の分析を通して，このタカ・ハ トの極性付与タスクは従来の極性付与タスクより も難易度が高いことがわかってきた. 本研究では, どのような点においてタカ・ハトの極性付与が他タ スクと比較して難しいのかについて取り上げる。ま た，研究初期の段階であることから定義に関してな ど，課題が残っているが，そのような点を解消した 暁には，公開データを用いて正解ラベル付きデータ の共有を目標としている.このようなデータセット が公開されることで，極性付与モデルのさらなる発展と，これまでテキスト情報であることから定量的 に扱うことができなかった多くのテキストが有効活用されることで，より健全な市場の形成に繋がるこ とを期待している.

## 2 中央銀行の重要性

中央銀行は国家や特定の地域の金融機構の中核と なる機関である. 各国の中央銀行を取り上げたいと ころではあるが，市場に与える影響が最も大きい米国の連邦準備制度（Federal Reserve System，以降 Fed と省略して表記）を代表として取り上げる。

連邦準備制度において，金融政策の基本方針決定 に中心的な役割を果たす組織が，連邦準備制度理事会 (Board of Governors of the Federal Reserve System) である. Fedの金融政策の目的として，連邦準備法 では「最大の雇用」,「物価の安定」,「穏やかな長期金利」が規定されている. 特に，「最大の雇用 $」$,「物価の安定」は非常に重要視されている.
Fed は上記の目標を達成するために，状況に応じ ていくつかの金融政策手段を実施する．代表的な金融政策手段として，公開市場操作，公定歩合，預金準備率がある ${ }^{4)}$.これらの金融政策手段のうち最も 機動的なものが公開市場操作であり, FF 金利5)を誘導目標に沿うように，オペレーションを実施する。 したがって，市場参加者の注目は $\mathrm{FF}$ 金利の誘導目標に集まることから，その基本方針が決定される公開市場委員会（Federal Open Market Committee，以降 FOMC と省略して表記）に対する市場の関心は非常 に高いものとなっている. FOMC は日銀の政策委員会に相当する最高意思決定機関であり，年 8 回開催 される。投票権を有する参加者は，理事会から理事 7 名, 12 ある地区連銀から総裁 5 名（1 年交代の輪番）の計 12 名であり，投票権のない地区連銀総裁 はオブザーバーとして出席する。これらの理由か ら，FOMC 参加者の日々の発言，スタンスが市場参加者からは非常に重要視されている. 本研究では, オブザーバーを含めた FOMC 参加者を「要人」と定義する.

Fed の金融政策のスタンスを分析するのに有効となるテキストデータは，スペースの関係上, Appendix[A] に記載している。

## 3 関連研究

金融政策に関わるテキストを対象にした分析 は，盛んに行われている．その対象は Fed や ECB （欧州中央銀行）はもちろん $[6,7,8,9,10,4], \mathrm{BOJ}$ （日銀）やBOK（韓国）などの分析も行われている $[11,12,13]$. 例えば，Hansen[6] らは，FOMC 声明文 を LDA により分析し, Apel[7] らの金融極性辞書 を用いて，トピック別にセンチメント付与をした. そして，FAVAR モデルを用いてトピック別にマク 口変数や資産価格への影響を分析している。また， Jegadeesh[8] らは, FOMC 議事録をLDA により分析し，Loughran[14] らの金融極性辞書を用いて，卜 ピック別にセンチメントを付与した. そして，ト ピック別にそれらのマクロ変数や資産価格への影響を分析している．ECB の分析では，Schmeling[4] らは, Apel[7] らの金融極性辞書を用いて，ECB の 会見に対してセンチメント（ネガティブな単語の比率）を付与し，それが欧州各国の株価指数やイール

4）その他にも，超過準備への付利金利，翌日物リバースレポ などがある.

5） 米国の銀行間で資金を融通し合う際に適用され金利であ り，日本の無担保コール翌日物金利に対応する。

ドカーブに影響を与えることを示している.

このように，自然言語処理技術を用いて分析を 行っている研究は数多くあるが，それらの研究のほ とんどは金融極性辞書を用いた分析やトピックモ デルによる議題の変化に着目した分析である. 極性辞書を分析に用いるメリットは，分析が容易で あることや，恣意的な要素が入りにくいことが挙 げられる。また，極性辞書を用いた分析では，ど のような極性辞書を使用するかが非常に重要であ る. 例えば，広く利用されている一般的な極性辞書 （Harvard-IV-4 TagNeg）に含まれるネガティブ表現 は，金融の分野において，約 4 分の 3 も該当しない ことを Loughran[14] らは示している. したがって， センチメント分析を行うためには，その目的に特化 した極性辞書を使用する必要があり，特化した極性辞書を作成や拡張する研究は，盛んに行われてい る $[15,16]$. 金融政策の分析を行うのであれば，金融政策の分析に特化した極性辞書が本来望ましい.例えば，重要な経済指標の一つである失業率は，低下がポジティブであり，上昇がネガティブな出来事 である.このようなトピックが含まれることから， Ahrens[9] らは，GDP，CPI，失業率という 3つの主要な経済的側面に沿って，金融政策のシグナル分散指数を，教師有り学習を用いた方法を用いて構築し ている.

しかしながら，次の 4 章で述べる様々な理由か ら, 仮に特化した辞書を作成したとしても, 辞書 ベースでの分析には限界がある. 要人発言に関して は，その文がどのようなニュアンスを含んだ文であ るかを推測する必要があり，それを達成するには単語やフレーズによる極性付与では不十分である。こ れまで辞書ベースのナイーブな分析であっても，有益な効果を示すことができていたことから，センチ メント付与を工夫することができれば，より良い分析結果につながることが期待される。

## 4 タカ・ハト極性付与タスクの課題

まず，著者らは，タカ，ハト，その他の 3 つのラ ベルをテキストに対して人手で付与し，BERT 系モ デル [17]をファインチューニングすることで分類モ デルを作成したが，期待するような精度は出なかっ た6). 上記モデルの出力を検証したところ，タカ・ ハト極性付与タスクの困難は，(1) 要人発言のテキ ストの持つ特徴と (2) ラベル付けの困難にあると考

えている。

## 4.1 要人発言のテキストの特徵

まず上記モデルの出力の中から，誤分類していた 要人発言のテキストの特徴を取り上げる.

## 4.1.1 否定・婉曲表現

まず，中央銀行の要人発言では，否定表現や婉曲表現が多発する。これはマーケットへの影響を配慮 した結果であると考えられる。遠回しな表現を行い 含みを持たせることで，情報を受け取った人が内容 を解釈した上で行動を選択できるような発言が多い のが特徴である．実際にロイターニュースの要人発言に関するニュースを対象に分析を行ったところ， not (短縮形含む) , no, never などの否定を意味する単語を含んでいるへッドラインの割合は，全体の $10 \%$ を超える結果であった ${ }^{7)}$. この分析は単純な方法に よるものであり，実際に単語やフレーズによる極性付与では難しい文はもっと多く存在する. 例えば， $\lceil$ Fed's Bostic added that it's "really challenging" to slow the pace of policy tightening amid rising core inflation. $\lrcorner$ のように「slow the pace of policy tightening (政策の 引締ぺースを遅くする)」という表現が含まれてい るが，「"really challenging"（難しい)」とのことから，引き続き金融引締めを行っていくというニュアンス の文である．トピック分類などであれば，否定表現 の割合が分類精度に与える影響は少ないが，意味を 捉える必要のあるセンチメント付与においては大き な課題となる.

## 4.1.2 テキスト外 (経済) 情報の加味

次に問題となるのが，テキスト情報だけでは夕 カ・ハトを判定することができない文である．人間は与えられた文だけでなく，非常に多くの情報 を加味した上で文を読み，判定を行うのに対して，一般的なモデルは入力として与えられた文のみで 判定を行う必要がある. 例えば，「The Committee is strongly committed to returning inflation to its 2 percent objective.」のようなコメントは，現状のインフレ率 が高い場合，高いインフレ率を抑制するという意味 を持つタカ派的なコメントになるが，現状にインフ レ率が低い場合には，低いインフレ率を浮揚させる という意味を持つハト派的なコメントとなる。この

7）別のニュースソースでも検証を行ったが，否定表現の割合 は $12 \%$ 超える結果となった.

ように現状のインフレ率がどのくらいの水準である かに対して，意味合いが異なる．経済指標などを単純にモデルに組み込むことも考えらえるが，それら の数值情報によって過学習する恐れがあるため, ど のように組み込み，活用するかに関しても議論の余地が残る.

## 4.1.3 時間軸情報の加味

また，時間的常識を理解できる仕組みも重要とな る $[18,19]$. 例えば，「Many Fed officials have said they want to open the door to a possible rate hike in June.」の ようなコメントは, 現時点から 6 月がどのくらい先 の出来事を指しているかによって，意味合いが大き く異なる、コメントが出たのが 5 月である場合に は，早急な利上げが必要であるという意味を持つタ カ派的な発言となるが，コメントが出たのが 1 月で ある場合には, 利上げを急ぐ必要はないという意味 を持つハト派的な発言となる. 実際に，2015年 1 月後半から 3 月前半にかけて以下のようなへッドラ インのニュースがロイターから出ていたが，1文目 から順に，6月，夏または秋，2016 年（来年）から の利上げ開始を支持する内容であり, 議論のポイン トは利上げ開始の時期となっている。また，以下の ヘッドラインの例からわかる通り, 時期の表現方法 も様々である。
- Fed's George sticks with mid-year rate lift-off
- Fed's Williams sees first rate rise in summer or fall
- Fed's Evans wants no rate hikes until early 2016

## 4.2 テキストヘのラベル付け

次にタカ・ハトのラベル付与の課題を述べる.

## 4.2.1 金融政策文以外のテキスト

ここまで金融政策に言及する文を取り上げた が，Fed の目的は「最大の雇用」と「物価の安定」 のため，これらに関して言及している文も多い. また，金融政策の意思決定のために，「consumer spending $\lrcorner,\lceil$ energy $\lrcorner$, $\ulcorner$ agriculture $\lrcorner,\ulcorner$ manufacturing $\lrcorner$, $\lceil$ real estate $\lrcorner,\lceil$ retail trade $\lrcorner,\lceil$ construction $\lrcorner,\lceil$ services $\lrcorner$, $「$ banking $」$ 「finance」など，様々な材料を取り挙げ る.これらの文の場合，金融政策に言及している文 と比較して, タカ・ハトの判定が難しいものが含ま れる. 特に，材料はあくまで結果（事実）に対して 言及していることが多く，その結果に対してどのよ
うな評価を行っているかを汲み取ることが重要とな り，高い専門性が必要となる.

## 4.2.2 金融政策文

金融政策に言及している文に関しても，どの ようにラベル付与するか課題が残る. 例えば, $\lceil$ The Federal Reserve will deliver more interest rate hikes next year even as the economy slips towards a possible recession, Fed Chair Jerome Powell said on Wednesday, arguing that a higher cost would be paid if the U.S. central bank does not get a firmer grip on inflation.」のような 「景気後退が起こったとしてもさらなる利上げを 行う」という文は，容易にタカ派の発言と捉え ることができる. しかし, 「Jerome Powell supports 25 bp rate hike at March meeting.」, 「Fed's Mester says she doesn't see compelling case to start with 50 bps rate hike.」,「Fed's Powell will slow the pace of interest-rate increases next month.」などの文は，ラベル付けが難 しい，なぜならば，タカ派とハト派は相対的なス タンスで議論されることが多いためである. 1 文目 は，多くのメンバーが 50bp の利上げを支持してい る中での発言であれば，ハト派と捉える必要があ る. 2 文目は，仮にメスター総裁が $75 \mathrm{bp}$ の利上げを 支持しているのであればタカ派の文と捉える必要が あり，仮に $25 \mathrm{bp}$ の利上げを支持しているのであれ ば八ト派の文と捉える必要がある. 3 文目は，金融引締はするが，そのペースは落としていくとのこと で八ト派の文と捉えることができる。しかし，金融引締を積極的に行っていく中での相対的なハト派 の文と，金融緩和を支持するハト派の文を同じもの と捉えるのには問題が残る. したがってラベル付け は複雑にはなるが，より緻密な分析に繋げるために も，順序尺度によるラベル付けが必要である．後続 の分析に使用することも考えながら，現在その定義付けを進めている.

## 5 まとめと今後の展望

本研究では，中央銀行の要人発言に対するタカハ ト極性付与タスクの重要性・必要性とその難しさに 関して述べた. 今後は，ラベル付けの定義を策定 し，公開されているデータに対してラベル付けを 行ったものを公開する予定である。データセットの 公開によって, 否定表現の理解や時間軸の理解に対応可能なモデル開発やその評価に活用され，極性付与モデルの発展に貢献したいと考えている.

## 参考文献

[1] 和泉潔, 坂地泰紀, 伊藤友貴, 伊藤諒. 金融テキストマ イニングの最新技術動向 (特集 ai の金融応用 (実践編)). 証券アナリストジャーナル, Vol. 55, No. 10 , pp. 28-36, 2017.

[2] Aaryan Gupta, Vinya Dengre, Hamza Abubakar Kheruwala, and Manan Shah. Comprehensive review of text-mining applications in finance. Financial Innovation, Vol. 6, No. 1, pp. 1-25, 2020.

[3] 鈴木智也, 中川慧, 伊藤友貴, 坂地泰紀. 金融におけ るテキストマイニングと機械学習応用. 人工知能, Vol. 36, No. 3, pp. 270-278, 2021.

[4] Maik Schmeling and Christian Wagner. Does central bank tone move asset prices? 2015.

[5] Musa Amadeus, Rajeev Bhargava, Tim Graf, Michael Guidi, Michael Metcalfe, Gideon Ozik, and Ronnie Sadka. Central bank monetary tones and yields. Vol. 31, No. 4, pp. 5-19, 2022.

[6] Stephen Hansen and Michael McMahon. Shocking language: Understanding the macroeconomic effects of central bank communication. Journal of International Economics, Vol. 99, pp. S114-S133, 2016.

[7] Mikael Apel and Marianna Blix Grimaldi. The information content of central bank minutes. Technical Report 261, 2012.

[8] Narasimhan Jegadeesh and Di Wu. Deciphering fedspeak: The information content of fomc meetings. Monetary Economics: Central Banks - Policies \& Impacts eJournal, 2017.

[9] Maximilian Ahrens and Michael McMahon. Extracting economic signals from central bank speeches. In Proceedings of the Third Workshop on Economics and Natural Language Processing, 112021.

[10] Viorel Milea, Nurfadhlina Mohd Sharef, Rui J. Almeida, Uzay Kaymak, and Flavius Frasincer. Prediction of the msci euro index based on fuzzy grammar fragments extracted from european central bank statements.

[11] 和泉潔, 後藤卓, 松井藤五郎. 経済テキスト情報を用 いた長期的な市場動向推定. 情報処理学会論文誌, Vol. 52, No. 12, pp. 3309-3315, 2011

[12] 松田安咲子, 岡石一真, 白田由香利, 橋本隆子, 佐倉環. Lda 方式による金融経済月報からのトピック抽出～第 2 次安倍内閣の金融政策と経済動向分析 〜.信学技報, Vol. 114, No. 204, pp. 79-84, 2014.

[13] Ki Young Park, Youngjoon Lee, and Soohyon Kim. eciphering monetary policy board minutes through text mining approach: The case of korea. Technical report, 2019.

[14] Tim Loughran and Bill Mcdonald. When is a liability not a liability? textual analysis, dictionaries, and $10-\mathrm{Ks}$. The Journal of Finance, Vol. 66, No. 1, pp. 35-65, 2011.

[15] Tomoki Ito, Hiroki Sakaji, Kota Tsubouchi, Kiyoshi Izumi, and Tatsuo Yamashita. Text-visualizing neural network model: understanding online financial textual data. In Pacific-Asia Conference on Knowledge Discovery and Data Mining, pp. 247-259, 2018.

[16] 今井康太, 酒井浩之, 高野海斗, 北島良三, 末廣徹, 稲垣真太郎, 木村柚里. 債券市場における金融極性辞書の自動構築. 第 25 回金融情報学研究会, pp. 38-43, 2020.

[17] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[18] Siddharth Vashishtha, Benjamin Van Durme, and Aaron Steven White. Fine-grained temporal relation extraction. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 7 2019.

[19] Qiang Ning, Hao Wu, Rujun Han, Nanyun Peng, Matt Gardner, and Dan Roth. TORQUE: A reading comprehension dataset of temporal ordering questions. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), 112020.

[20] Dogu Araci. Finbert: Financial sentiment analysis with pre-trained language models, 2019.

[21] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

## A テキストデータ

Fed の金融政策を理解するためのテキスト情報を 詳述する. Fed が公表するデータは，アーカイブさ れているため過去の情報を取得できる。しかし，公表される形式が年代によって異なるため，データ収集は困難であり，またデータを分析しやすい形に整 える必要がある.

FOMC 声明文: FOMC 開催日に即日公表される。経済，物価に対する評価，金融政策の変更の有無等の基本的な決定事項が簡潔に記載されてい る. 注目すべきテキスト情報としては，決定に 対して反対した人の主張が記載されている。ま た, 声明文公表の 30 分後に FRB 議長の記者会見が行われる。

ベージュブック（地区連銀経済報告）：各地区連銀の管轄地域の経済状況をまとめたもの であり，FOMC の 2 週間前に公開される。 FOMC での議論の材料になることから，次の FOMC の結果を推測する材料の 1 つとなって いる.

FOMC 議事録: FOMC での議論と公式見解が記述 された資料であり，FOMCの 3 週間後に公開さ れる。したがって情報の即時性はないが，記載内容の半分以上がメンバーの議論となってお り，景気見通しの議論や金融政策の是非につい ての議論などが含まれるため，非常に良質な データである.

Monetary Policy Report to the Congress: 翌々年 までの経済見通しと金融政策の基本方針 が記載されている資料であり，年 2 回公表さ れる.この報告書は, 議会に提出される際, FOMC 議長は議会証言を行うが，こちらの内容 は文書化され一般に公表される。

その他: 理事や地区連銀総裁は，様々な場で発言 を行う。これらの要人発言は，FOMC での決定を予想するのに非常に重要な情報源となる。 ニュースデータなどの活用ができれば理想的で あるが，分析可能な公開データは限定的であ る.また，ブラックアウト期間という金融政策 に関して踏み込んだ発言が禁じられる期間が各国で設けられている。その中でも米国は，この ブラックアウト期間が長く, 現在は FOMC が開催される前々週の土曜日から FOMC 終了時ま でがその期間となっている.

図 1 テキストデータの公開されるタイミング

FOMC を中心に，テキストデータの公開されるタ イミングを図 1 に示す.FOMC は年 8 回行われるた め，年に 8 回このサイクルを繰り返す.

## B 分類モデル作成の実験設定

テキストは 2015 年から 2022 年の期間のデータ を使用し，ラベル付けデータを学習 (training), 評価 (validation)，テスト (test)の 3 つに分けて実験を 行った. 2021 年以降の 2 年分のデータをテストデー タとし, 評価データは 2020 年 12 月 31 日に近いも のを各ラベルの割合が均等になるように各 60 文ず つ抽出したものを使用した. そして，残りのラベル 付けしたデータを学習データに使用した. 表 1 に各 データのラベルがどの程度であるかを示す. なお， ラベルが均等になるようにバッチデータを作成し， モデルの学習を行った。

ファインチューニングに使用した事前学習済みモ デルに関しては, finBERT[20] ${ }^{8}, \operatorname{RoBERTa}[21]^{9)}$ で比較検証を行った．比較した結果，RoBERTa モデルの 方が良好な結果が得られた. RoBERTa モデルの学習過程における精度の推移を図 2 に示す。

表 1 各データのラベル

図 2 学習過程における精度の推移

8) https://huggingface.co/ProsusAI/finbert

9) https://huggingface.co/roberta-large


# 金融テキストからの類似文の自動収集

吉野綾音酒井浩之永並健吾
成蹊大学 理工学部 情報科学科
us192136@cc.seikei.ac.jp, \{h-sakai, kengo-enami\}@st.seikei.ac.jp

## 概要

本研究では有価証券報告書データから類似文を自動的に収集する手法を提案する. タグと文末表現が一致する文ぺアの中で, 単語の TFIDF 値を要素とした単語ベクトルから求めた $\cos$ 類似度とレーベンシュタイン 距離との調和平均を算出し, 類似文を収集する. 収集 した類似文を学習データとして Sentence-BERT で学習 モデルを作成し, その学習モデルによる決算短信から の業績要因文の抽出により, 収集した類似文を評価し た.

## 1. はじめに

近年, ビッグデータの活用やテキストマイニング技術 などテキストデータの有効利用が注目されている. テキ ストマイニングには多くのテキストデータが必要であるが，学習データ等はまだ手動で作成, 収集を行なっている ことも多い. 特に類似文のペアは様々な言語処理に活用できる. 例えば, 類似文からは言い換え表現の獲得 ができる. また, 高精度な文べクトルを生成する手法で ある Sentence-BERT[1]において, 類似文のぺアを学習 データとして使用している. その一方で, 類似文のペア の作成は人手で行っていることがほとんどであり, 大量 のデータを用意できないのが現状である. 類似文を自動的に収集することができれば, データ作成の労力を 大きく抑えられる. また，自動収集によって多くの類似文ぺアのデータが入手できるため, 言い換え表現の獲得や Sentence-BERT など類似文を利用する様々な技術で役立つと考える. そこで本研究では, 類似した内容 の多い金融テキストから, 類似文のぺアを自動的に収集することを目的とする. 金融テキストは企業から毎年発行されるが, 同じ企業が発行している金融テキストに 記載される内容はほぼ同じことが多い. そのため, 類似 した文のペアが含まれると考えられる. 本研究では, そ
のような金融テキストの性質を利用して，類似文のぺア を自動的に収集することを目的とする.

これまでに金融テキストからの情報抽出に関してはい くつかの研究が行われている[2][3][4]. 文献[2]では, 決算短信から手がかり表現と企業キーワードを獲得し, 業績要因文を抽出している. 文献[3]では, 手がかり表現 を拡張して学習データを自動的に作成し, 深層学習に よって有価証券報告書から業績要因文を抽出している。文献[4]では, [3]と同様に学習データを自動的に作成し,深層学習によって決算短信から業績要因文を抽出して いる.いずれも決算短信や有価証券報告書から業績要因文を抽出する手法を提案している.これらの研究に対 して, 本研究では金融テキストとして有価証券報告書を 対象とし, 業績要因文に限らず，文書内の類似文をす べて収集する.

言い換え表現の獲得に関する研究は文献[5][6][7]が ある. 文献[6]では多言語パラレルコーパスを利用した 言い換え表現の判定, 収集であり, 本研究では文全体 での類似した文を収集するという点が異なる. 類似した 文のペアには表現の言い換えによって類似している文 も含まれており, 本研究で収集した類似文から言い換え 表現の獲得を行うことも可能である. 文献 [7]では同義語のグラフを構築し，グラフをもとにペアワイズ類似度を 計算, 単語単位の類似度を合計して文同士の類似度を 測る手法を提案している. 本研究では, $\cos$ 類似度とレ 一ベンシュタイン距離を組み合わせて文同士の類似度 を算出し，類似文を収集するといら点に違いがある.

日本語の Sentence-BERTに関しては文献[8]がある. この研究ではスタンフォード NLI コーパスを日本語に翻訳し, BLEU のスコアとクラウドソーシングを利用すること で類似文を収集している. 本研究では金融テキストから 類似文を自動的に収集する点が異なるが，収集した類似文は金融に特化しており，金融テキストを対象とした 研究においては精度の向上が望めるという違いがある.

## 2. 提案手法

本提案手法は以下の 4 つの Step で構成される.

Step 1: 有価証券報告書データから, 文末表現が一致 する文を抽出

Step 2: Step1 で抽出された文において, 2つの文の類似度を単語の TFIDF 値を要素とする単語ベクトル による $\cos$ 類似度を算出

Step 3： Step1 で抽出された文において, 2つの文の正規化レーベンシュタイン距離を算出

Step 4: $\cos$ 類似度と正規化レーベンシュタイン距離の 調和平均を算出し, 調和平均が閾値より高い 2 つ の文を類似文として収集

## 2. 1 金融テキスト

本研究で使用する金融テキストとして, 上場企業が発行している有価証券報告書を使用する. 有価証券報告書は EDINET ${ }^{1}$ から XBRL 形式のファイルで取得した 4593 社の有価証券報告書のテキストデータを使用す る.

XBRL 形式のテキストデータには文ごとに文の内容を 示すタグが付与されている.タグは全部で 479 種類で あった. 例えば「BusinessRisksTextBlock」タグは,「その ような研究開発活動の停滞により、当社グループの業績が悪影響を受ける可能性があります。」のような事業リ スクに関する文に付与されている. タグが同じ文は内容 が近しいと考えられるため, 同じ企業の同じタグを持つ 文を比較する。

## 2. 2 文末表現による類似文候補の取得

文末文節と，その文末文節に係る文節を結合した文字列を文末表現とし, 文末表現が一致する文を抽出す る. 文末表現を得るための係り受け解析には Cabocha[9]を利用した. 内容が近い文ぺアは文末表現 が一致すると考えられるため, 同一のタグをもち, かつ,文末表現が一致する 2 つ文を類似文候補として抽出 する.しかし，これだけでは図1のように類似文として不適切な文ぺアが多く抽出されるため, 文間の類似度を 求めることで, 類似文として不適切な文ぺアを除去す る.社会全般にわたる重大な品質問題など、当社グル ープの取り組みの範囲を超えた事象が発生した場合には、業績に影響を及ぼす可能性があります。販売量・単価共にこの季節変動及び気候・天候条件に影響を受け易く、その変動が大きい場合は、業績に影響を及ぼす可能性があります。

図 1 類似文として不適切な文ぺアの例

## 2. 3 類似文の判定

抽出された類似文候補の 2 文間の類似度を求め, 類似文として不適切な文ぺアを除去する。ここで，類似度 は文に含まれる単語の TF・IDF 值を要素とする単語べ タトルの $\cos$ 類似度を用いる. 以下の式を用いてある企業における単語 $a$ の TF・IDF 値を求める.

$
T F(a, x)=\frac{\text { 文 } x \text { における単語 } a \text { の出現頻度 }}{\text { 文 } x \text { における全単語の出現頻度の和 }}
$

$
T F \cdot I D F(a, x)=T F(a, x) \times \log \left(\frac{N}{\text { 単語 } a \text { を含む文の数 }}\right)
$

ここで, $\mathrm{N}$ はある企業が発行している有価証券報告書の 集合における文の総数である.

$\mathrm{TF}$ IDF 值で文の単語ベクトルを生成し, 単語ベクト ルによる文間の $\cos$ 類似度を求める. $\cos$ 類似度が高 い文ぺアを類似文とすることで，不適切な文ぺアを除去 する.

本研究では全く同じ文や数字だけが異なる文ではな く, 内容は類似していながら表現の異なる文を類似文と して収集したい. しかし, タグと文末表現の一致と $\cos$類似度による収集では, 内容が類似している文ではあ るものの, 表現の異なる文の収集ができない. そこで本研究では類似度の判定として, $\cos$ 類似度に加え正規化レーベンシュタイン距離を利用する.レーベンシュタ イン距離とは編集距離のことで, 1 文字の挿入・削除・置換で，一方の文字列をもう一方に変形するために必要な手順の最小回数を表す。

本手法では, $\cos$ 類似度と正規化レーベンシュタイン 距離の調和平均が大きい文ぺアを類似文として判定す る. 本来, レーベンシュタイン距離が小さいとき文同士 は類似していることになるが，本手法では大きいものを 収集した. なぜなら, 文間類似度を表す $\cos$ 類似度と,編集にかかるコストを表すレーベンシュタイン距離がとも
^{1} \mathrm{https}$ ://disclosure.edinet-fsa.go.jp/
}

に大きい文ぺアを抽出することで，同じ単語を異なる配置で使っている文を類似文として獲得できると考えるた めである. $\cos$ 類似度と正規化レーベンシュタイン距離 の調和平均の閾値は 0.5 以上とした.

本手法により 401,347 ペアの類似文を収集した. 本手法による類似文として判定された文ぺアの例を以下 に示す.

花種子につきましては、トルコギキョウやヒマワリの売上が伸びたことなどから、前期比増収となりました。花種子につきましては、為替の影響で欧州、南米で は減収となりましたが、中国ではトルコギキョウ、北米ではヒマワリやトルコギキョウなどが好調に推移し たことから、前期比増収となりました。

図 2 本手法による収集した類似文の例

## 3. 評価

本手法で収集した類似文を学習データとして Sentence-BERT でモデルを生成し, 生成されたモデル を使用することで収集した類似文の評価を行う. 適切な 類似文が収集できていれば，その類似文を学習データ として用いて作成したモデルは適切な文ベクトルを生成 できる.ここで, 評価タスクとして決算短信からの業績要因文の抽出[2][4]を設定する.このモデルを利用して決算短信から業績要因文の抽出を行い, 抽出された業績要因文の精度, 再現率で評価する.

収集した類似文を用い, Sentence-BERT のモデルを 生成する. なお, 学習データとして利用する非類似文 は, 同じ企業の同じタグの文の中で最も $\cos$ 類似度が 低いものを収集した. そして, 文献[4]の手法にて作成し た学習用の業績要因文データと, テストデータである決算短信の文との類似度を, Sentence-BERT で学習した モデルを用いて求め, 学習用の業績要因文との類似度 が高い文を決算短信から抽出する.

抽出された業績要因文の精度と再現率によって, 収集した類似文の適切性を評価する. 類似度の閾値によ り, 精度, 再現率, $\mathrm{F}$ 值が変化する. 表 1 に類似度の閾值における, 精度, 再現率, $\mathrm{F}$ 值を示す.表 1 評価結果

比較手法として, 以下の 2 種類の手法で収集した類似文で Sentence-BERT のモデルを学習し，比較した.

1) $\cos$ 類似度と正規化レーベンシュタイン距離の調和平均により抽出した類似文から，同一文字列が含まれ る文ぺアを除いた類似文

2) $\cos$ 類似度のみで抽出した類似文

$\cos$ 類似度と正規化レーベンシュタイン距離の調和平均により抽出した類似文のデータには, 同一文字列 が含まれる組み合わせが散見される. なるべく異なる表現の類似文を収集したいため，1）では同一文字列を 含む文ぺアを除き学習データとした. 2）では， ベースラ インとして $\cos$ 類似度のみで類似文の判定を行なっ た. 閾値は 1）と同様に 0.5 以上とした. 表 2 に比較手法の精度, 再現率, F 值を示す. 表2では, 各手法で $\mathrm{F}$值が最も大きい時の評価値を示した. 閾値は本手法で は 0.54 の時, 1)では 0.70 の時, 2)では 0.71 の時の評価値である.

表 2 提案手法との比較

 &  \\

本手法と比較手法において, 閾值を 0.01 ずつ変化さ せたときの精度, 再現率のグラフを示す.

図 3 提案手法と比較手法の評価結果

## 4. 考察

金融テキストを利用した類似文の収集において，収集した類似文を用いて Sentence-BERT のモデルを学習した. そして, 作成されたモデルによって決算短信か らの業績要因文の抽出を行い, その精度と再現率で収集した類似文の評価を行った. 類似度の閾値が 0.54 の 時, 精度が $61 \%$, 再現率が $84 \%, \mathrm{~F}$ 値が 70.7 となった. 3 種類の手法によって収集した類似文ぺアで学習モデル を作成したが，本手法が最も良い結果が得られ，同一文字列を除く場合は精度が落ちた. 言い換えや内容の 順番の入れ替えによる類似文とは言い難い同一文字列 を含む文ぺアを除くことは精度向上につながると考えた。 しかし, 正規化レーベンシュタイン距離の値を考慮して も調和平均の值が大きく, 類似文として完全にノイズで あるとはいえない. 類似文の総数が同一文字列を含む 場合は約 40 万文, 含まない場合は約 38 万文となり, 同一文字列を含む文ぺアを除いたことによって学習デー タが少なくなり, それにより精度が落ちたと考える. さら に，本研究では類似文を自動的に収集しているため, データ量が膨大となり, すべての文ぺアを手作業で確認ができない，そのことから，同一文字列を含む文ぺア を除いた場合の学習データには, 例えば図 4 のようなノ イズが含まれていた. 学習データが少なくなったことで,学習データにおけるノイズの影響が大きくなり, それによ り精度が落ちたと考える.服飾資材関連では, スポーツアパレルメーカー向け 付属品の売上高が増加しました

生活産業資材関連では, 映像機器向け付属品の 売上高が増加しました

図 4 類似文として不適切な例

また, Sentence-BERT のモデルの作成の際に必要と なる非類似文は，単純に最も $\cos$ 類似度が低くなる文に したが，「あります」など極端に短い非類似文があり，そ のような非類似文がノイズになったと考える。この非類似文の収集についても，含まれる文字数を考慮したり，レ 一ベンシュタイン距離等を組み合わせたりすることで，精度の向上が目指せるのではないかと考える.

類似文の抽出では, 数字だけが異なる文の組み合わ せを省くため，「円」や「\%」が含まれる文は類似文として 取得しなかった.しかし，「名」「年」「株」「単元」なども単位として頻繁に使われている.これらの単語についても ノイズとして除くことで精度の向上に繋がる可能性があ る.しかし, それによって「株式会社」や「当事業年度」な どのよく使われる単語も省かれるため，金融テキストに 特有の言い回しやよく使われる単語のリストを作成し，省く単語の適切な条件を設定する必要がある.

## 5. むすび

本研究では有価証券報告書データから類似文を収集する手法を提案した. 本手法では $\cos$ 類似度と正規化レーベンシュタイン距離との調和平均を算出し, 類似文を収集した。決算短信からの業績要因文の抽出によ る評価の結果, 精度が $61 \%$, 再現率が $84 \%$, F 值が 70.7 となり，同一文字列を含む文を除いた場合， $\cos$ 類似度 のみの場合と比較して良好な結果を得ることができた。今後の課題として, 単位を含む文の除去, 文末, 文頭表現の一致の条件を適切に設定して精度を向上させた い.

## 参考文献

[1] Nils Reimers, Iryna Gurevych: "Sentence-BERT: Sentence Embeddings using Sia-mese BERTNetworks", Proceedings of the 2019 Conference on

Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pages 3982-3992, November 3-7, 2019.

[2]酒井浩之, 西沢 裕子, 松並祥吾, 坂地泰紀: “企業の決算短信 PDF からの業績要因の抽出”,人工知能学会論文誌, Vol. 30, No. 1, pp. 172-182, 2015 .

[3] 高野 海斗, 酒井 浩之, 北島良三: “有価証券報告書からの事業セグメント付与された業績要因文・業績結果文の抽出”, 人工知能学会論文誌, Vol. 34, No. 5, p.wd-A_1-22, 2019.

[4] 酒井浩之, 松下 和暉, 北島 良三: “学習デー夕 の自動生成による決算短信からの業績要因文の抽出”, 日本知能情報ファジィ学会誌, Vol. 31, No. 2, pp. 653-661, 2019.

[5] 乾 健太郎, 藤田 篤: “言い換え技術に関する研究動向”, 言語処理学会論文誌, Vol. 11, No. 5, pp. 151-198, 2004.

[6] 柏岡 秀紀: “多言語パラレルコーパスを利用した 言い換え表現グループの構築と分析”, 言語処理学会論文誌, Vol. 11, No. 5, pp. 3-18, 2004.

[7] Youhyun Shin, Yeonchan Ahn, Hyuntak Kim, Sanggoo Lee: “ Exploiting Synonymy to Measure Semantic Similarity of Sentences”, IMCOM 15: Proceedings of the 9th International Conference on Ubiquitous Information Management and Communication, No. 40, pp. 1-4, 2015.

[8] Naoki Shibayam, Hiroyuki Shinnou: "Construction and Evaluation of Japanese Sentence-BERT Models”, In Proceedings of the 35th Pacific Asia Conference on Language, Information and Computation, pp. 731-738, 2021.

[9] Taku Kudo, Yuji Matsumoto: "Fast Methods for Kernel-Based Text Analysis", Proceedings of the 41st Annual Meeting of the Association for Computational Linguistics, pp. 24-31, 2003.


# 自己回帰型言語モデルを活用した Sentiment Interpretable Neural Network の構築

伊藤友貴 ${ }^{1}$
1 三井物産株式会社
Tomok.ito@mitsui.com

## 概要

深層学習モデルは強力なモデルである一方，その ブラックボックス性が故に説明責任を伴う場面では 利用できない場合が多い。このような問題を解決 するアプローチの一つとして，解釈可能なニュー ラルネットワークモデルの構築が考えられる.こ のような背景のもと，本研究では「感情分類」の夕 スクを対象に，予測結果を説明可能かつその予測性能も高いニューラルネットワークの構築を目指 す。本目的達成のため，近年提案された，単語レべ ルでのセンチメントに基づき予測結果を説明可能 ななニューラルネットワーク Sentiment Interpretable Neural Network へ自己回帰型学習言語モデルを導入 し，予測性能を解釈性を保ちつつ向上させることを 試みる。景気ウォッチャー調査に関する日本語デー タを用いて本手法の性能を検討した結果，本研究に て提案されたアプローチを取ることで，説明性を担保しつつもべースライン手法に比べ予測性能が高い ニューラルネットワークを構築することができた.

## 1 はじめに

深層学習モデルは強力なモデルである一方，その ブラックボックス性が故に説明責任を伴う場面では 利用できない場合が多い。このような問題を解決す るアプローチの一つとして，解釈可能なニューラル ネットワークモデルの構築が考えられる。このよう な背景のもと, 本研究では「感情分類」のタスクを 対象に，予測結果を説明可能かつその予測性能も高 いニューラルネットワークの構築を目指す.

解釈可能なニューラルネットワークの構築に関 する研究は近年，いくつか提案されているが，そ の中でも最近提案された手法の一つが， Sentiment Interoratable Neural Network (SINN) である。本ニュー ラルネットワークを活用することで，図 1 のよう
に単語レベルでのセンチメントに基づき予測結果 を説明可能となる．SINN を構築するには，専門用語に関する極性辞書をなニューラルネットワー ク Sentiment Interoratable Neural Network Model を構築 する手法 Lexical Initialization Learning (LEXIL) [2] や Joint Sentiment Propagation 学習 [1]. 本手法を利用す ることにより，センチメント分析の結果を各単語の オリジナルセンチメント，極性反転，及び大域的な 重要度に分解する形で説明可能なニューラルネット ワークを構築することが可能となる。

本学習手法は対象タスクが感情分類であれば，一定の汎用性が見込まれる一方で，先行研究では比較的層の浅いネットワークにしか適用できておらず， GPT を始めとする，近年提案されている大規模言語 モデルに適用できるかどうかは不明瞭である。ま た，SINN では LSTM 及び Self Attention を用いた文脈層により，極性反転，及び大域的な重要度をモデ リングしており，結果，Self Attention の層が双方向 の情報を活用しており，極性反転が右側の文脈から 起きるのか左側の文脈から起きるのかを LSTM の層 にて捉えることができても，その強弱が左右どちら の文脈から引き起こすのかについて観測することは 難しい。

このような背景のもと，本研究では，SINNへ 自己回帰型の学習済み大規模言語モデルを組み込 み，Joint Sentiment Propagation 学習を用いて自然な 形で学習させることで，(1) ニューラルネットワー クの予測性能向上，及び (2) 各単語のセンチメント への影響をその前後で分離させ，可視化すること を試みる。学習済み大規模言語モデルを利用する ことで性能の向上が期待され，また，自己回帰型 のモデルを採用することで各単語のセンチメント への影響をその前後で分離させることができるこ とが期待される．提案手法では，まず，学習済み 大規模言語モデルを使えるようにするために SINN

[2]を LSTM ベースから GPT-2[3] ベースへ切り替え る. さらに, Global Word-Level Context 層には GPT-2 の Decoder 層の Attention をそのまま活用し, Global Word-Level Context 層の計算時には前の情報しか利用できない形にする.このようなモデルの構造を採用することで，各単語のセンチメントへの影響をそ の前後で分離されることが期待する. 景気ウォッ チャー調査に関する日本語データを用いて本手法の 性能を検討した結果，本研究にて提案されたアプ ローチを取ることで，説明性をある程度担保しつつ も従来手法に比べ予測性能が高いニューラルネット ワークモデルを構築できることを検証できた. その 一方で，提案手法では極性反転は捉えきれないと いった課題も見えた。

## 2 関連研究

深層学習モデルの ブラックボックス性に関する 取り組みとしていくつかの関連研究が挙げられる.深層学習モデルの予測結果を説明する取り組みとし て「ニューラルネットワークモデルの解釈」に関す る研究いくつかが過去に行われてきた $[5,6,7]$. こ れらの手法を用いると, 出力に対する入力の寄与度を Back Propagation 法に近い形で計算することに よって, 入力要素のうちどこが出力に大きな影響を 与えたかを可視化することができる．また，その他 の有用なアプローチとして「各層の意味が解釈可能 なニューラルネットの構築」も挙げられる。その中 でも近年，提案されたのがセンチメント分析の結果 をオリジナルセンチメント，極性反転，極性反転，大域的な重要度に分解する形で説明可能なニューラ ルネットワーク SINN である．また，本手法ではこ のような解釈可能なニューラルネットワーク実現の ため，極性辞書を用いた初期化 Lexical Initialization を利用した学習手法を提案している. また，[1] で は，その改良版アルゴリズム Joint Sentiment（JSP） Propagation 学習が提案されている.

## 3 自己回帰言語型モデルベース SINN

本節では今回検討する自己回帰型言語モデ ルベース SINNを紹介する．SINN は訓練データ $\left.\{\left(\mathbf{Q}_{n}, d^{\mathbf{Q}_{n}}\right)\right.\}_{n=1}^{N}$ 及び小規模な単語のセンチメント スコア辞書を用いた学習 Joint Sentiment Propagation (JSP) 学習により構築可能である. ここで， $N$ は訓練データのサイズ， $\mathbf{Q}_{n}$ はレビュー,$d^{\mathbf{Q}_{n}}$ はセンチメ ントタグ (1: ポジティブ, 2: ネガティブ)である.

## 3.1 モデル

SINN は Token-level Original Sentiment layer (WOSL), Token-level Contextual layer (WCL), Token level Contextual Sentiment layer (WCSL)，そして出力層から構成 される, レビュー $\mathbf{Q}=\left.\{w_{t}^{\mathbf{Q}}\right.\}_{t=1}^{n}$ 入力すると，その ポジネガ予測 $y^{\mathbf{Q}} \in\{0$ ( negative), 1 ( positive) $\}$ を出力 する NN である. 本論文ではコーパスに出現する 語彙数 $v$ の語彙集合を $\left.\{w_{i}\right.\}_{i=1}^{v}$, 単語 $w_{i}$ の語彙 ID を $I\left(w_{i}\right), w_{i}^{e m} \in \mathbb{R}^{e}$ を単語 $w_{i}$ の次元 $e$ の用意され たコーパスから計算された分散表現とし，さらに $\boldsymbol{W}^{e m} \in \mathbb{R}^{v \times e}:=\left[\boldsymbol{w}_{1}^{e m T}, \cdots, \boldsymbol{w}_{v}^{e m T}\right]^{T}$ とする.

## 3.1.1 WOSL

この層ではコメント $\mathbf{Q}=\left.\{w_{t}^{\mathbf{Q}}\right.\}_{t=1}^{n}$ の各単語をその 単語が文脈に左右されずに持つセンチメント値，オ リジナルセンチメント値に変換する。

$
p_{t}^{\mathbf{Q}}:=w_{I\left(w_{t}^{\mathbf{Q}}\right)}^{p}
$

ここで， $\boldsymbol{W}^{p} \in \mathbb{R}^{v}$ は各単語のオリジナルセンチメン 卜值を表す. $w_{i}^{p}$ は $\boldsymbol{W}^{p}$ の $i$ 番目の要素を表し, $w_{i}^{p}$ の值が $w_{i}$ のオリジナルセンチメント值に対応する.

## 3.1.2 WCL

この層は各単語 $w_{t^{\prime}}^{\mathrm{Q}}$ へのセンチメントに関する影響（反転や強弱）を表す. まず，レビュー $\mathbf{Q}$ 内の 単語 $\left.\{w_{t}^{\mathbf{Q}}\right.\}_{t=1}^{T}$ を埋め込み表現 $\left.\{\boldsymbol{e}_{t}^{\mathbf{Q}}\right.\}_{t=1}^{T}$ に変換する. その後順方向及び逆方向の自己回帰型言語モデ ル CLM（本研究における検証では CLM として GPT2[3] を採用）によって順方向からのセンチメン トへの影響 $\vec{s}_{t}^{\mathbf{Q}}$ と逆方向からのセンチメントへの影響 $\overleftarrow{s}_{t}^{\mathbf{Q}}$ を表す値に変換する。

$
\begin{aligned}
& \overleftarrow{\boldsymbol{h}}_{t}^{\mathbf{Q}}:=\overleftarrow{\operatorname{CLM}^{D E C}}\left(w_{t}^{\mathbf{Q}}, w_{t+1}^{\mathbf{Q}}, \ldots, w_{n}^{\mathbf{Q}}\right)
\end{aligned}
$

$
\begin{aligned}
& \vec{\alpha}_{t}^{\mathbf{Q}}=\tanh \left(\boldsymbol{v}^{\text {left }}{ }^{T} \cdot \overleftarrow{\boldsymbol{h}}_{t}^{\mathbf{Q}}\right), \overleftarrow{\alpha}_{t}^{\mathbf{Q}}=\tanh \left(\boldsymbol{v}^{\text {right }^{T}} \cdot \overrightarrow{\boldsymbol{h}}_{t}^{\mathbf{Q}}\right) \\
& \vec{\beta}_{t}^{\mathbf{Q}}=\tanh \left(\overrightarrow{\mathrm{CLM}^{a t t}}\left(w_{1}^{\mathbf{Q}}, w_{2}^{\mathbf{Q}}, \ldots, w_{t}^{\mathbf{Q}}\right)\right), \\
& \overleftarrow{\beta}_{t}^{\mathbf{Q}}:=\tanh \left(\overleftarrow{\operatorname{att}^{D E C}}\left(w_{t}^{\mathbf{Q}}, w_{t+1}^{\mathbf{Q}}, \ldots, w_{n}^{\mathbf{Q}}\right)\right)
\end{aligned}
$

向の CLM のデコーダーによって出力される最終層 への変換，また， $\overrightarrow{\mathrm{CLM}^{a t t}}$ 及び $\overleftrightarrow{\mathrm{CLM}^{a t t}}$ は順方向及

び逆方向の CLM による各単語へのアテンションへ の変換を表す。

$\vec{s}_{t}^{\mathbf{Q}}$ 及び $\overleftarrow{s}_{t}^{\mathbf{Q}}$ はそれぞれ単語 $w_{t}^{\mathbf{Q}}$ がその右側及び 左側の単語群 $w_{t}^{\mathbf{Q}}:\left.\{w_{t^{\prime}}^{\mathbf{Q}}\right.\}_{t^{\prime}=1}^{t-1}$ and $\left.\{w_{t^{\prime}}^{\mathbf{Q}}\right.\}_{t^{\prime}=t+1}^{n}$ によるセ ンチメントに関する影響に関するスコアを表す。次 に, $\vec{s}_{t}^{\mathbf{Q}}$ と $\overleftrightarrow{s}_{t}^{\mathbf{Q}}$ から各単語への両方向からのセンチ メントへの影響値 $\left.\{s_{t}^{\mathbf{Q}}\right.\}_{t=1}^{T}$ へと変換する.

$
s_{t}^{\mathbf{Q}}:=\vec{s}_{t}^{\mathbf{Q}} \cdot \stackrel{\leftrightarrow}{s}_{t}^{\mathbf{Q}}
$

先行研究では CLM $\mathrm{LSTM}, \beta_{t}^{\mathrm{Q}}$ をSTM から出力される隠れ層をべースとするアテンションを利用 しているが，本研究では事前気隔週ズム言語モデル 活用による性能向上，及び左右からの影響を見える ようにするため，CLM には GPT2 を採用する。

## 3.1.3 WCSL

WCSL では WOSL 及び WCL の値を用いて各単語の文脈センチメント $\left.\{c_{t}^{\mathbf{Q}}\right.\}_{t=1}^{T}$ を以下のように表す.

$
c_{i t}^{\mathbf{Q}}:=p_{i t}^{\mathbf{Q}} \cdot s_{i t}^{\mathbf{Q}} \cdot \alpha_{i t}^{\mathbf{Q}} .
$

## 3.1.4 出力

最後に SINN は文の極性を $y^{Q}$ 以下のように出力 する

$
y^{\mathbf{Q}}=\sum_{t=1}^{T} c_{t}^{\mathbf{Q}}
$

ここで， $y^{\mathbf{Q}}>0$ は $\mathbf{Q}$ がポジティブであることを表

表す.

## 3.2 JSP 学習

SINN は JSP 学習によって学習する. JSP 学習は 「単語センチメント辞書を用いた初期化 (Lexicon Initialization)」と「SSLへの制約付き学習」により 構成される。

## Lexicon Initialization

まず，以下のような初期化を学習前に行う。

$
w_{i}^{p} \leftarrow \begin{cases}P S\left(w_{i}\right) & \left(w_{i} \in S^{d}\right) \\ 0 & \text { (otherwise) }\end{cases}
$

ここで， $P S\left(w_{i}\right)$ は単語 $w_{i}$ のセンチメント辞書値で あり， $S^{d}$ はセンチメント辞書内単語の集合である. これは $S^{d}$ が $S^{*}$ の部分集合であり，また，センチメ ント辞書のセンチメント值が正しい，つまり $P S\left(w_{i}\right)$ の符号が $P N^{*}\left(w_{i}\right)$ に一致し，かつ $S^{d}$ が十分に大き く, $S^{*} \subset \Omega\left(S^{d}\right)$ という条件が成り立つ場合には $S^{*}$内の任意の単語について SINN の各層における解釈性が担保されることが期待される.

## SSL への制約付き学習

学習時には次の $L_{\text {joint }}^{\mathbf{Q}}$ を最小化させるよう学習さ せる。

$
\begin{aligned}
& L_{\text {shift }}^{\mathbf{Q}}:=\sum_{t \in\left.\{t \mid w_{t}^{\mathbf{Q}} \in\left(S^{d} \cap \mathbf{Q}\right)\right.\}} \operatorname{SCE}\left(s_{t}^{\mathbf{Q}}, l_{s s l}\left(P S\left(w_{t}^{\mathbf{Q}}\right)\right)\right. \\
& L_{\text {joint }}^{\mathbf{Q}}:=L_{\text {doc }}^{\mathbf{Q}}+\lambda \cdot L_{\text {shift }}^{\mathbf{Q}}
\end{aligned}
$

where $l_{s s l}(a)= \begin{cases}1 & \left(a>0 \wedge d^{\mathbf{Q}}=1\right) \vee\left(a<0 \wedge d^{\mathbf{Q}}=0\right) \\ 0 & \left(a>0 \wedge d^{\mathbf{Q}}=0\right) \vee\left(a<0 \wedge d^{\mathbf{Q}}=1\right)\end{cases}$

ここで， $\lambda$ はハイパーパラメータであり, $L_{\text {shift }}^{\mathbf{Q}}$ は SSLへの制約に関するコスト関数である.

この $L_{\text {shift }}^{\mathbf{Q}}$ の活用によって $R^{*}\left(w_{t}^{\mathbf{Q}}\right)$ と $s_{t}^{\mathbf{Q}}$ の符号 が一致させるような制約が $\Omega\left(S^{d}\right)$ 内の単語について かかることが期待でき，WOSL や SSLへの極性情報 の伝搬が促進されることが期待できる.

## 4 評価実験

## 5 解釈性の評価

本節では実データを用いて本手法の評価を予測性能及び解釈性の二点から評価する.

## 5.1 実験設定

景気ウォッチャー調査の現状に関する日本語コ メントのデータセット [2] を用いて実験を実施し た. 本データセットは訓練データ，検証データ， テストデータから構成され，各データセットにポ ジティブコメント及びネガティブコメントがそれ ぞれ 20,000 件，2,000 件，4,000 件格納されている. Lexicon Initialization においては「”上がる”, ”回復”, "上方”, ”増加”, ”上昇”」及び「["減少”, ”低下”, "損失”, ”遅れ”, ”リスク”]」についてそれぞれ +1 と -1を入れる形で初期化を実施した。また，Tokenizer は rinna/japanese-roberta-baseを利用した。

## 5.2 評価指標

予測性能についてはテストデータに対するポジ ネガ分類制度により評価した。解釈性については， [2] にて提供されている人手で作成された，単語レ ベルでのポジネガリスト及び極性反転に関するデー タセットをもとに (A) WOSL 及び (B) WCSL の評価 を実施した. (A) WOSL の評価では，WOSL の妥当
性をWOSLから得られるリスト内単語の極性（ポジ ティブ 189 件，ネガティブ 198 件）と単語極性リス 卜内の極性の一致度 (macro $F_{1}$ 値) をもとに評価し た.また，(B) WCSL の評価では，まず極性反転に 関するデータセットに記載される各コメントをモデ ルに読み込ませ， CWL 層から各トークンの文脈ス コア $s_{t}^{\mathbf{Q}}$ を抽出する. その後, 単語極性リスト内に 含まれるトークンを対象に， $s_{t}^{\mathbf{Q}}<0$ の場合，また は $\left.\{s_{t}^{\mathbf{Q}}\right.\}$ の平均値よりも小さい場合にはセンチメン トが「反転または軽減されている」とみなし，そう でない場合には「反転または軽減されていない」と みなした. この予測結果とデータセットにつけられ る反転タグが一致するかどうかによって評価した。評価指標には Macro F1 値を利用した. 尚，本評価 データには「反転または軽減されている」のラベル が 660 件,「反転または軽減されていない」のラべ ルが 3,000 件付与されていた.

## 5.3 ベースライン

性能評価のため，解釈性に関しては，SINN[2]加え，SINNにおける WGCL の層に RoBERTa

## 5.4 結果・考察

表 1 が評価結果である.SINN+GPT の結果が提案手法の結果である. SINN に比べ，予測性能をあげ ることには成功した。また，WOSL や WCL に関す る解釈性についてもある程度性能を保っていること が見て取れる。また，図 1 で見て取れるように，本提案手法 (SINN+GPT) センチメントへの影響を後 ろから受けていることが見て取れる。例えば、「イ ベントが何もないので、という記載においてイべ ント（ポジティブワード）が「何もない」によって 後ろから反転させられていることが可視化結果をも とに理解できる。一方, SINN+GPT 内の WCL に 関しては，極性反転されている部分について，マイ ナスの値を取ることができていない様子が見られ， この部分を改善し, SINN (ベースライン) のように 極性反転に対し, WCL 内の値をマイナスに取るこ とができれば，WOSL に関しても更なる性能向上が されることが期待される.

## 6 結論

SINN へ自己回帰型の学習済み大規模言語モデル を組み込み，Joint Sentiment Propagation 学習を用い て自然な形で学習させることで, (1)ニューラルネッ表 1 評価結果

 &  \\

RoBERTA & 0.955 & - & - \\

図 1 Visualzation example by SINNs

トワークの予測性能向上，及び (2) 各単語のセンチ メントへの影響をその前後で分離させ，可視化する ことを試みた。予測性能を解釈性をある程度保ちつ つも向上させることには成功したが，まだ改善の余地があると言える. 今後の展開としてはマルチリン ガルモデルの活用による性能向上や Few Shot 学習手法の提案，あるいはより効率の良い学習手法の提案等が挙げられる。また，より大規模なデータセッ 卜を用いた本手法の評価やもう一歩踏み込んだ可視化結果の評価等も今後の展開としては考えられる.

## 参考文献

[1] Tomoki Ito, Kota Tsubouchi, Hiroki Sakaji, Tatsuo Yamashita and Kiyoshi Izumi, SSNN: Sentiment Shift Neural Network, SDM 2020, 2020.

[2] Tomoki Ito, Kota Tsubouchi, Hiroki Sakaji, Tatsuo Yamashita and Kiyoshi Izumi, Word-level Contextual Sentiment Analysis with Interpretability, AAAI 2020.

[3] Radford, Alec and Wu, Jeff and Child, Rewon and Luan, David and Amodei, Dario and Sutskever, Ilya, Language Models are Unsupervised Multitask Learners, 2019.

[4] Zhuang et al., A Robustly Optimized BERT Pre-training Approach with Post-training, CCL 2021

[5] S. Bach and A. Binder and G. Montavon and F. Klauschen and K. R. Muller and W. Samek, On pixel-wise explanations for nonlinear classifier decisions by layer-wise relevance propagation, PLOS ONE Vol. 10. No. 7. 2017.

[6] L. Arras and G. Montavon and K. R. Muller and W. Samek,

Explaining Recurrent Neural Network Predictions in Sentiment Analysis, EMNLP Workshop 2017

[7] M. T. Ribeiro and S. Singh and C. Guestrin, Why Should I Trust You?" Explaining the Predictions of Any Classifier, KDD 2016.


# 日本語 CCGBank は言語学的に妥当か

戸次大介 ${ }^{1}$ 谷中瞳 ${ }^{2}$
1 お茶の水女子大学 2 東京大学
bekki@is.ocha.ac.jp hyanaka@is.s.u-tokyo.ac.jp

## 概要

日本語 CCGBank は、日本語 CCG パーザの開発に おいて学習・評価データとして利用されている $\mathrm{CCG}$ ツリーバンクである。しかし、日本語 CCGBank は 係り受けツリーバンクからの自動変換によって生成 されたものであり、その言語的妥当性については検証が必要である。本論文では、日本語 CCGBank に おける受身・使役の分析に焦点を当て、それが意味解析システム ccg2lambda の意味合成と相まって、特 に使役受身文において経験的に誤った予測をもたら すことを示す。メタレベルでは、本論文はツリーバ ンクを言語学的分析と見做して反証する試みであ り、その方法論の例示である。

## 1 日本語 CCG ツリーバンク

ツリーバンクからパーザを構築する、という工程 は 1990 年代の確率的 CFG パーザの時代に確立さ れたものである。しかし、当時はこのようなアプ ローチは言語学としての形式統語論には適用でき ない、と考えられていた。その理由は「形式統語論 は柔軟性に欠け、実際のテキストの構造を網羅的に 記述することはできない」と信じられていたから である。この誤解は、組合せ範疇文法 (Combinatory Categorial Grammar, CCG: Ades and Steedman (1982); Steedman $(1996,2000))$ の理論的発展、および英語 CCGBank (Hockenmaier and Steedman, 2005) 等の CCG ツリーバンクの登場によって払拭されることとなっ た。その後の C\&C parser (Clark and Curran, 2007) や EasyCCG (Lewis and Steedman, 2014) 等の CCG パーザ の開発は、形式統語論の理論である CCGのための パーザが、確率的 $\mathrm{CFG}$ パーザに準ずる工程によっ てツリーバンクから生成可能である、ということを 明らかにした点において印象的な出来事であった。
この流れは、日本語 $\mathrm{CCG}$ パーザの研究にも影響を与えた。Bekki (2010)によって、日本語の統語構造も CCG による網羅的な記述が可能であるこ とが一定以上の水準において示されたことをうけ て、Uematsu et al. (2013) による日本語 CCGBank が 構築され、続いて Jigg (Noji and Miyao, 2016), depccg (Yoshikawa et al., 2017) といった日本語 CCG パーザ が開発されるに至った。現在の研究環境では、高速 で頑健な複数の CCG パーザが利用可能であり、そ の精度はニューラル言語モデルの発達によってさら なる改善をみている。

日本語 CCGBank の開発における難点として、当

たことが挙げられる1)。CCGbank (Hockenmaier and Steedman, 2005) が CFG ツリーバンクである Penn Treebank から生成されたのに対し、日本語 CCGBank 開発当時に利用可能であった日本語のための大規模ツリーバンクは、係り受けコーパスである京都大学テキストコーパス2)しかなかったため、Uematsu et al. (2013) では係り受け構造から CCG 統語構造へ の自動変換を試みたのである。

ところが $\mathrm{CCG}$ の統語構造は一般に、項構造や統語素性など、 $\mathrm{CFG}$ 木と比較しても精緻な情報を持っ ている。したがって、CFG よりもさらに情報量の 少ない係り受け木は、多くの言語学的情報で埋め合 わせなければならない。この補完は自明ではなく、 そのために ad-hoc な規則を随所で措定する必要が あった。たとえば、受身/使役の動詞性接尾語「れ （る）」「せ（る）」を、統語範疇 $S \backslash S$ を持つ語として

1）近年では、日本語の大規模な CFG ツリーバンクが NINJAL parsed corpus of modern Japanese  の一部として利用可能であり、それを用いて範疇文法 の一種である $\mathrm{AB}$ 文法のツリーバンクを生成する試みも行わ れている (Kubota et al., 2020)。しかし、日本語 CCGBank の何 が経験的に問題であるのか、なぜ問題なのか、という問いに対 して踏み込んだ議論はなされていない。Universal Dependency のような係り受けツリーバンクから新たな CCGBankを生成 する試み Tran and Miyao (2022) も進行中であり、上述の問い に答えることの重要性は益々高まっている。

2) https://github.com/ku-nlp/KyotoCorpus

図 1 Bekki (2010) における (1a)(2a) の統語構造

解析したのはその一例である。これがなぜ誤りとい えるのかについては次節以降で論じる。

CCGBank は CCG パーザの学習・評価データとし て機能するため、CCG パーザは CCGBank の分析の 誤りを継承する。その意味において、CCGBank に おける統語的分析の妥当性は、CCG パーザの（精度 に表れない）性能の上限を定める。しかし、ツリー バンクに含まれる統語構造の妥当性に関しては、自然言語処理は語る術を持たない。一方、理論言語学 の観点からの研究はこれまでほとんど行われてい ない。

そのような背景から、本論文では、日本語 CCGBank が示す統語構造を理論言語学の観点から 批判的に検討することを試みる。具体的には、日本語 CCG (Bekki, 2010) と CCGBank が異なる分析を与 えている「受動文」と「使役文」に着目し、日本語 CCGBank の分析にどのような経験的誤りがあるの か、その一例を明らかにする。また、このような研究の持つ意義についても第 4 節で論じる。

## 2 日本語における受動文と使役文

まずは日本語の受動文・使役文にまつわる経験的 な事実と、それらが日本語 CCG (Bekki, 2010) にお いてどのように説明されているかを簡潔に解説す る3)。受動文の主節におけるガ格名詞句は埋め込み 節におけるニ格またはヨ格名詞句に対応する。この ことを推論の形式で表せば (1c)のようになる。

(1) a. 太郎が次郎に褒められた。

b. 次郎が太郎を褒めた。
c. $(1 a) \Longrightarrow(1 b)$

次に、使役文の主節におけるニ格もしくはヨ格名詞句は埋め込み節におけるガ格名詞句に対応する。 こちらも推論の形式で表せば (2c)のようになる。

(2) a. 太郎が次郎を走らせた。

3）受動文については、間接受動文（いわゆる迷惑受身）と直接受動文の二種類が存在する (Bekki, 2010, pp.222-226) が、こ こでは直接受動文のみについて論じる。この限定は議論に影響しない。 b. 次郎が走った。
c. $(2 \mathrm{a}) \Longrightarrow(2 \mathrm{~b})$

Bekki (2010) に依れば、文 (1a)(2a) の統語構造は 図 1 である。ここで意味の理論として依存型意味論 (Dependent type semantics, DTS: Bekki (2014); Bekki and Mineshima (2017); Bekki (2021))を採用し4) 、語/句の意味表示がそれぞれ以下のようであると仮定 する。

(3) 太郎が： $\lambda P . P(\mathbf{t})$

次郎 $\{$ に $\}: \lambda P . P(\mathbf{j})$

褒めら： $\lambda y x k .(e: \mathbf{e}) \times \operatorname{praise}(e, x, y) \times k(e)$

走ら： $\lambda x k .(e: \mathbf{e}) \times \mathbf{r u n}(e, x) \times k(e)$

た: id

すると、受動態の動詞性接尾語「れ（る）」および 使役態の動詞性接尾語「せ（る）」の意味表示が、受動文・使役文の分析の中核となる。

(4) $れ: \lambda P y x . P x y$

(5) せ: גPyxk.Py $(\lambda e . \operatorname{cause}(e, x) \times k e)$

これらの動詞性接尾語は第一項である埋め込み節 の項と自らの項の対応関係を「把握」している。す なわち受動文においては、主節の二格名詞句が埋め 込み節のガ格名詞句に、主節のガ格名詞句が埋め込 み節のヲ格または二格名詞句に意味的に対応する。継続 $k$ は意味合成の最終段階で $\lambda e$.Tによって埋め られる5)と仮定すると、意味合成の結果、文(1a)(2a) の意味表示はそれぞれ以下のようになる。

(6) $\quad(e: \mathbf{e}) \times \operatorname{praise}(e, \mathbf{j}, \mathbf{t}) \times T$

(7) $(e: \mathbf{e}) \times \operatorname{run}(e, \mathbf{j}) \times \operatorname{cause}(e, \mathbf{t}) \times \mathrm{T}$

4）ここでは Bekki (2010) で採用されている型付き動的論理に 代えてDTS を採用しているが、さらにイベント意味論と意味合成を両立する手法として標準的な技法である継続渡し形式 (continuation-passing style)を採用している。一方、簡便のため テンスの分析は省略しており「た」の意味は恒等関数である。 このような理論設定は、本論での論点を意味合成から推論ま で明らかにするという目的のもとではもっとも簡略化された 設定の一つである。

5） $\mathrm{W}$ は証明項を一つだけ持つ枚挙型 (enumeration type) で「真」 の役割を果たす。

図 2 CCGBank における (1a)(2a) の統語構造

一方、文 (1b)(2b) の意味表示は以下のようになる。

(8) $(e: \mathbf{e}) \times \operatorname{praise}(e, \mathbf{j}, \mathbf{t}) \times \mathrm{T}$

(9) $(e: \mathbf{e}) \times \mathbf{r u n}(e, \mathbf{j}) \times \mathrm{T}$

(6)(7) はそれぞれ (8)(9)を含意するので、推論 (1c)(2c)はいずれも正しく予測される。

この分析の予測の妥当性は受動・使役の接尾語「れ（る）」「せ（る）」を含む様々な構文についての 推論データによって検証することができるが、端的 な例は使役受身である。日本語においては (10a)の ように、使役と受身は接続することができる。

(10) a. 次郎が太郎に走らせられた。

b.太郎が次郎を走らせた。
c. $(10 a) \Longrightarrow(10 b)$

文 (10a)は文 $(2 a)(=(10 b))$ の受動化であり、(10b) を含意する。「走らせられ」の意味表示は、「走ら」 の意味表示に「せ」(5)を関数適用したのちに「れ」 (4)を関数適用したもので、以下のようになる。

(11) $\lambda y x k .(e: \mathbf{e}) \times \operatorname{run}(e, x) \times \operatorname{cause}(e, y) \times k e$

したがって文 (10a) 意味表示は

(12) $\quad(e: \mathbf{e}) \times \operatorname{run}(e, \mathbf{j}) \times \operatorname{cause}(e, \mathbf{t}) \times T$

となるが、これは (7) そのものであるから、(2a)を、 したがって (2b) を含意することが正しく予測され る。このように、日本語 CCG の受動文・使役文の 分析は、統語構造から意味表示、そして推論に至る 過程を「れ（る）」「せ（る）」が現れる広範囲の構文 において正しく予測・説明する。

## 3 CCGBank と $S \backslash S$ 分析

日本語 CCGBankでは、太郎が次郎に褒められた、 の統語構造は図 2 のようになっており、受身の動詞性接尾語「れ (る)」も使役の動詞性接尾語「せ (る)」もともに統語範疇が $S \backslash S$ の語として分析され ている。

日本語 CCGBank 自体は意味論の分析を持たない が、日本語 $\mathrm{CCG}$ のための意味論的分析として、含意関係システム ccg2lambda (Mineshima et al., 2015) に おいて採用されている高階論理による意味表示とそ の意味合成過程が知られている。ccg2lambda の分析 は、日本語 CCG パーザである Jigg または depccg の 出力する統語構造に依存しており、それらのパーザ の出力は日本語 CCGBank の記述に依存している。

まず、ガヲ動詞である「褒め（る）」の意味表示 は、以下のようになっている。

(13) $\lambda Q_{2} Q_{1} C_{1} C_{2} K \cdot Q_{1}\left(\lambda x_{1} \cdot Q_{2}\left(\lambda x_{2}\right.\right.$.

$\exists e\left(K(\right.$ praise,$\left.\left.\left.e) \& C_{1}\left(x_{1}, e, \mathbf{A g}\right) \& C_{2}\left(x_{2}, e, \mathbf{T h}\right)\right)\right)\right)$

この意味表示は、標準的な二項動詞の意味表示、 もしくは前節の意味表示と比べても、かなり複雑である。その理由は、ccg2lambda では、意味役割である $\mathbf{A g}$ と $e, x_{1}$ の間の関係、および $\mathbf{T h}$ と $e, x_{2}$ の間の関係を相対化して $C_{1}, C_{2}$ という関数 の変数によって表しているからである。 $Q_{2}$ に Э格名詞句、 $Q_{1}$ にガ格名詞句を取って統語範疇 $S$ となったのち、トップレベルで機械的に $\lambda E S . S(\lambda x e T .(T(e)=x), \lambda x e T .(T(e)=x), i d)$ を適用す る。これによって、 $C_{1}$ と $C_{2}$ に $\lambda x e T .(T(e)=x)$ が代入されて $\operatorname{Ag}(e)=x, \mathbf{T h}(e)=y$ が指定され、また $K$ に id が代入されるのである。「次郎が」の意味表示 を $\lambda P . P(\mathbf{j})$ ，「太郎を」の意味表示を $\lambda P . P(\mathbf{t})$ とすれ ば、能動文 (1b) の意味表示は、

(14) $\exists e(\operatorname{praise}(e) \& \mathbf{A g}(e)=\mathbf{j} \& \mathbf{T h}(e)=\mathbf{t})$

となる。次に、受動文 (1a) の意味表示を考える。 ccg2lambdaにおいては「れ（る）」の意味表示は意味 テンプレート6)によって以下のように与えられる。

(15) $\lambda Q_{2} Q_{1} C_{1} C_{2} K . V\left(Q_{2}, Q_{1}\right.$,

$
\left.\lambda x_{1} e T . C_{1}\left(x_{1}, e, \mathbf{T h}\right), \lambda x_{2} e T . C_{2}\left(x_{2}, e, \mathbf{A g}\right), K\right)
$

$V$ には隣接する他動詞「褒めら」の意味表示が与え られる。よって「褒められ」の意味表示は以下のよ うになる。

6）ccg2lambda においては「れ（る）」の場合に見られるよう に、意味テンプレートの適用によって意味表示の型が統語範疇と準同型ではなくなる場合がある。このこと自体への反論 はありうるが、ここでは本題ではないので深入りしない。

(16)

$\lambda Q_{2} Q_{1} C_{1} C_{2} K \cdot Q_{1}\left(\lambda x_{1} \cdot Q_{2}\left(\lambda x_{2}\right.\right.$.

$\exists e\left(K(\right.$ praise,$\left.\left.\left.e) \& C_{1}\left(x_{1}, e, \mathbf{T h}\right) \& C_{2}\left(x_{2}, e, \mathbf{A g}\right)\right)\right)\right)$

すなわち、(15)において $C_{1}, C_{2}$ が受け取っている意味役割を捨て、 $C_{1}$ には $\mathbf{T h}$ を、 $C_{2}$ には $\mathbf{A g}$ を与え直すの である。これに $\lambda P . P(\mathbf{t})$ (太郎を)、 $\lambda P . P(\mathbf{j})$ (次郎が)、 そして $\lambda S . S(\lambda x e T .(T(e)=x), \lambda x e T .(T(e)=x), i d)$ を 順次適用することで、(1b) は以下のようになる。

## (17) $\exists e(\boldsymbol{p r a i s e(e) \& \mathbf{A g}(e)=\mathbf{j} \& \mathbf{T h}(e)=\mathbf{t})$}

これはまさに (14) と同一であるから、(1c) の推論が 正しく予測されることになる。同様に、使役の「せ (る)」についても、

(18)

$
\begin{aligned}
& \lambda Q_{2} Q_{1} C_{1} C_{2} K \cdot V\left(Q_{2}, Q_{1},\right. \\
& \left.\lambda x_{1} e T . C_{1}\left(x_{1}, e, \text { Cause }\right), \lambda x_{2} e T . C_{2}\left(x_{2}, e, \mathbf{A g}\right), K\right)
\end{aligned}
$

のような意味テンプレートを与えれば、まず「走ら せ」の意味表示は以下のようになる。

$
\begin{aligned}
& \lambda Q_{2} Q_{1} C_{1} C_{2} K \cdot Q_{1}\left(\lambda x _ { 1 } \cdot Q _ { 2 } \left(\lambda x_{2}\right.\right. \\
& \left.\left.\exists e\left(K(\text { run }, e) \& C_{1}\left(x_{1}, e, \text { Cause }\right) \& C_{2}\left(x_{2}, e, \mathbf{A g}\right)\right)\right)\right)
\end{aligned}
$

したがって、(2b) は以下のようになる。7)

(20) $\exists e(\operatorname{run}(e) \& \mathbf{C a u s e}(e)=\mathbf{t} \& \boldsymbol{A g}(e)=\mathbf{j})$

これは(2a) すなわち $\exists e(\boldsymbol{r u n}(e) \& \mathbf{A g}(e)=\mathbf{j})$ を含意するので、(2c)についても正しく予測される。

ところが、この個別のケースについては正しく見 える分析が、使役受身について誤った予測を生み出 す。「走らせられ」の意味表示は、ccg2lambda では (19)に に15)を適用することによって、

(21) $\lambda Q_{2} Q_{1} C_{1} C_{2} K \cdot Q_{1}\left(\lambda x_{1} \cdot Q_{2}\left(\lambda x_{2}\right.\right.$. $\left.\left.\exists e\left(K(\mathbf{r u n}, e) \& C_{1}\left(x_{1}, e, \mathbf{T h}\right) \& C_{2}\left(x_{2}, e, \mathbf{A g}\right)\right)\right)\right)$ となるが、これは「走ら」に直接受身の「れ（る）」 を適用したもの、すなわち「走られ」の意味表示と 同一になってしまっている。ここからは、(10b)= (2a) も、(2b)も、いずれも含意しない。

この誤りの原因は、「れ（る）」が第一項に対して Thを、第二項に対して Agを与える、と大域的に 決め打ちしていることにある。使役受身の例が示す ことは、「れ（る）」は第一項を、埋め込み節の用言 の第二項と対応付け、第二項を、埋め込み節の用言 の第一項と対応付ける、という以外の捉え方が許さ

れないということである。この標準的分析が要求す ることは、埋め込み節の用言の第一、第二項が「れ （る）」の意味表示において操作可能であることであ る。このことは統語論において「れ（る）」の取るべ き第一項の統語範疇が $S \backslash N P \backslash N P$ であることを要求 するのである。

## 4 おわりに

日本語 CCGBank の受動文と使役文の分析、すな わち「れ（る）」と「せ（る）」が統語範疇 $S \backslash S$ を持 つ、という統語的分析は、使役受身文において誤っ た予測を生み出すことを示した。これは、日本語 CCGBank の分析が (1c)(2c)(10c) のような受身・使役 が関わる推論を説明しうる意味論的分析を、現時点 で持たないということである。第 2 節で述べた日本語 CCG における分析がこれらの推論をすべて正し く予測する以上、修正の責任は CCGBank 側にある。

本論文の議論には、二つの目的がある。一つ目 は、ツリーバンクを必ずしも言語学的分析とみなし ていない言語学コミュニティへの呼びかけである。 ツリーバンクの記述に対して、言語学的分析に対す るのと同じように反例を提示する、という過程が、 ツリーバンクと言語学双方の健全性にとって重要な 研究活動であると考える。

二つ目は、ツリーバンクの記述を言語学コミュニ ティにおいて合意済みとみなしてしまうことへの警鐘である。そもそも理論言語学においては理論は提示・反証・修正の繰り返しであるから、どの時点に おいても「合意済みの理論」というものは存在しな い、という当たり前の事実を再確認しておきたい。

本論文はツリーバンクを言語学的分析と見做して 反証する試みであり、そのような方法論の例示でも ある。今後、理論言語学のコミュニティから、本論文で行われたようなツリーバンク内の分析への反論 が試みられ、それを受けたツリーバンク開発者によ る分析の修正、それに対するさらなる反論、という 研究の流れが現れることを期待したい。

謝辞 本研究の一部は、JST CREST JPMJCR20D2、 JSPS 科研費 JP20K19868 の支援を受けたもので ある。

## 参考文献

Ades, A. E. and M. J. Steedman. (1982) "On the Order of Words", Linguistics and Philosophy 4, pp.517-558.

Bekki, D. (2010) Nihongo-Bunpoo-no Keisiki-Riron - Katuyootaikei, Toogohantyuu, Imigoosei - (trans. 'Formal Japanese Grammar: the conjugation system, categorial syntax, and compositional semantics'). Tokyo, Kuroshio Publisher.

Bekki, D. (2014) "Representing Anaphora with Dependent Types", In the Proceedings of N. Asher and S. V. Soloviev (eds.): Logical Aspects of Computational Linguistics (8th international conference (LACL2014), Toulouse, France, June 2014 Proceedings), LNCS 8535. pp.14-29, Springer, Heiderburg.

Bekki, D. (2021) "Proof-Theoretic Analysis of Weak Crossover", In the Proceedings of Logic and Engineering of Natural Language Semantics 18 (LENLS18). pp.75-88.

Bekki, D. and K. Mineshima. (2017) "Context-passing and Underspecification in Dependent Type Semantics", In: Modern Perspectives in Type Theoretical Semantics, Studies of Linguistics and Philosophy. Springer, pp.1141.

Clark, S. and J. R. Curran. (2007) "Widecoverage efficient statistical parsing with CCG and log-linear models", Computational Linguistics 33(4), pp.493-552.

Hockenmaier, J. and M. J. Steedman. (2005) "CCGbank LDC2005T13". Linguistic Data Consortium.

Kubota, Y., K. Mineshima, N. Hayashi, and S. Okano. (2020) "Development of a General-Purpose Categorial Grammar Treebank", In the Proceedings of the 12th Language Resources and Evaluation Conference. pp.5195-5201, European Language Resources Association.

Lewis, M. and M. Steedman. (2014) "A* CCG Parsing with a Supertag-factored Model", In the Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). pp.990-1000, Association of Computational Linguistics.

Mineshima, K., P. Martínez-Gómez, Y. Miyao, and D. Bekki. (2015) "Higher-order logical inference with compositional semantics", In the Proceedings of Conference on Empirical Methods in Natural Language Pro- cessing (EMNLP2015). pp.2055-2061.

Noji, H. and Y. Miyao. (2016) "Jigg: A framework for an easy natural language processing pipeline", In the Proceedings of the 54th Association of Computational Linguistics. pp.103-108.

Steedman, M. J. (1996) Surface Structure and Interpretation. Cambridge, The MIT Press.

Steedman, M. J. (2000) The Syntactic Process (Language, Speech, and Communication). Cambridge, The MIT Press.

Tran, T.-A. and Y. Miyao. (2022) "Development of Multilingual CCG Treebank via Universal Dependencies Conversion", In the Proceedings of the 13th Conference on Language Resource and Evaluation (LREC2022). pp.5220-5233.

Uematsu, S., T. Matsuzaki, H. Hanaoka, Y. Miyao, and H. Mima. (2013) "Integrating Multiple Dependency Corpora for Inducing Wide-coverage Japanese CCG Resources", In the Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, Vol. 1. pp.1042-1051, Association for Computational Linguistics.

Yoshikawa, M., H. Noji, and Y. Matsumoto. (2017) "A* CCG Parsing with a Supertag and Dependency Factored Model", In the Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (ACL2017). pp.277-287.


# チョムスキー階層とニューラル言語モデル

染谷大河 吉田遼 中石海 大関洋平
東京大学
\{taiga98-0809, yoshiryo0617, nakaishi-kai787, oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

近年、自然言語の文を用いて、言語モデルがどの ような言語現象を把握できるかが盛んに検証されて いる。また、形式言語を用いて、言語モデルがチョ ムスキー階層のどのクラスに属する言語までを認識 できるのかも検証されてきている。しかしながら、自然言語を用いた研究では、同種の統語構造を持っ た言語現象を抽象化して統一的に扱うという観点が 久けていたために、語彙の影響と統語構造の影響を 切り分けることが十分にできておらず、また形式言語を用いた研究では、終端記号の種類数が最低限の 場合しか扱われておらず、自然言語のように多様な 終端記号が存在する場合でも同様に認識できるの かという点は検討されてこなかった。そこで本研究 では、自然言語を抽象化し語彙の影響を排除したモ デルとして多様な終端記号を持つ形式言語を考え、 ニューラル言語モデルがこのような言語をどの程度認識できるか実験する。

## 1 導入

ニューラル言語モデルはどの程度統語的に複雑 な言語現象を捉えられるのだろうか。近年、ニュー ラル言語モデルの成功に伴い、その統語的評価が 盛んに行われている $[1,2,3,4]$ 。これら統語的評価 に関する先行研究では、実際に自然言語の文を用 いてニューラル言語モデルがどのような言語現象 を把握できるのかが検証されており、例えば、こ れら研究の先駆けとなった Linzen et al. (2016) [1] で は、再帰的ニューラルネットワーク (Recurrent Neural Network, RNN; Elman, 1990 [5]) をべースとしたモデ ルである Long Short-Term Memory (LSTM; Hochreiter and Schmidhuber, 1997 [6]) 言語モデルが英語におけ る主語と動詞の一致を捉えられることが示されてい る。また、より近年では、様々なタスクで世界最高性能を達成している Transformer [7] をべースとした モデルである GPT-2 [8] 言語モデルが、LSTM 言語
モデルよりも高い精度で主語と動詞の一致・島の制約などの様々な言語現象を捉えられること [9] も示 されている。しかしながら、これらの研究では、主 にニューラル言語モデルが個別の言語現象に対して 汎化できるかが検証されるにとどまり、同種の統語構造を持つ言語現象を統一的に扱うという観点が欠 けていた。そのため、統語構造の複雑さが本質的に どのように結果に影響しているかが不明瞭だった。 また、検証には実際の自然言語を用いているため、語彙の影響を排除できず、言語現象を統語的な複雑性に注目して比較することができないという方法論的な限界があった。

一方、先行研究では、ニューラル言語モデルがど の程度統語的に複雑な「言語」を認識できるのか も盛んに議論されてきている $[10,11,12,13,14,15$, $16,17,18,19,20,21,22,23]$ 。これらの先行研究では、 ニューラル言語モデルがチョムスキー階層のどのク ラスに属する形式言語までを認識できるのかが、数理的・実験的に検証されてきており、例えば、RNN やLSTM はいくつかの文脈自由言語を認識できるこ と $[24,25,15]$ や、Transformer はチョムスキー階層に うまく位置付けられないこと $[17,19]$ などが示唆さ れている。しかしながら、これらの研究は、最低限 の数の終端記号を持つ形式言語での検証にとどまっ ており、同クラスに属する言語であっても、自然言語のように多様な終端記号を持つ場合に、ニューラ ル言語モデルが認識できるとは限らないという限界 があった。

そこで本研究では、自然言語を多様な終端記号を 持つ形式言語に抽象化し、語彙の影響を排除して統語的な複雑さに注目することで、ニューラル言語 モデルがどの程度統語的に複雑な言語現象を捉え られるのかを検証する。具体的には、英語におけ る複合語などの文法現象を $A^{n} B^{n}$ 型の形式言語、ド イツ語における依存関係などの文法現象を Nested Dependency 型の形式言語、Swiss German における依存関係などの文法現象を Cross Serial Dependency 型

の形式言語に抽象化し、LSTM・GPT-2 言語モデル のそれぞれがこれらのうちどの程度複雑なものまで 認識できるのかを検証する。

検証の結果、LSTM 言語モデルは $A^{n} B^{n}$ 型の言語現象については認識することができ、高い精度で学習の際よりも長い文字列に汎化することが可能だ が、Nested Dependency 型や Cross Serial Dependency 型の形式言語はほとんど全く汎化できないことがわ かった。一方 GPT-2 言語モデルは、いずれの言語に おいても、LSTM が $A^{n} B^{n}$ 型に対して達成したほど 高い精度での汎化は不可能であった。また、いずれ の言語モデル、形式言語においても、終端記号の種類を増やしていくと精度が下がる傾向が見られた。

## 2 実験

## 2.1 扱う形式言語の種類

本研究で扱う言語はいずれも以下のように定義 される：有限個の非終端記号の集合 $V_{\text {non. }}$ を与える。各非終端記号 $A \in V_{\text {non. }}$. 対して、 $T$ 個の終端記号 $a_{A, 0}, \cdots, a_{A, T}$ を定義する。非終端記号のみからなる 有限長の文字列の集合 $L_{\text {non. }} \subseteq V_{\text {non. }}^{*}$ を決める。 $L_{\text {non }}$. に含まれる任意の文字列をとり、それを構成する各非終端記号 $A$ を $a_{A, 0}, \cdots, a_{A, T}$ のいずれかに書き換 える。ここで、文字列に同じ非終端記号が複数個含 まれる場合、それらを異なる終端記号に書き換えて も良い。こうして得られる終端記号のみの文字列全体の集合を言語 $L$ とする。言語 $L$ は、非終端記号の 集合 $V_{\text {non. }}$ 、各非終端記号に対応する終端記号の個数 $T$ 、そして非終端記号の文字列の集合 $L_{\text {non. }}$ を与える と決まる。

以下、本研究で扱う言語を順に導入し、それぞれ の Chomsky 階層における位置付け、および自然言語 との対応について述べる。

## 2.1.1 $A^{n B^{n}$ 型}

$
\begin{aligned}
V_{\text {non. }} & =\{A, B\} \\
L_{\text {non. }} & =\left.\{A^{n} B^{n}: n \geq 0\right.\}
\end{aligned}
$

で定義される文脈自由言語。この言語に対応する自然言語 $T \geq 2$ の例としては、オランダ語などに見ら れる (I)のような構造が挙げられる [26]。

ブラケット内には NP（名詞句）と V (動詞) が 3 つずつ含まれ、NP の個数と V の個数が一致して
いる必要がある。一方、各 NP と V のあいだに文法的な対応関係は特に要求されない。これは、書 き換え規則を $A \rightarrow$ Marie|Pieter|Arabisch $\mid \cdots$ および $B \rightarrow$ laat|zien|schrijven| $\cdots$ とした場合に対応する。

( I ) dass Jan [Marie Pieter Arabisch laat zien schrijven] that Jan Marie Pieter Arabic let see write 'that Jan let Marie see Pieter write Arabic'

## 2.1.2 Nested Dependency 型

$
\begin{aligned}
V_{\text {non. }} & =\left.\{A_{0}, \cdots, A_{N-1}, B_{0}, \cdots, B_{N-1}\right.\}, \\
L_{\text {non. }} & =\left.\{A_{i_{0}} \cdots A_{i_{n-1}} B_{i_{n-1}} \cdots B_{i_{0}}:\right. \\
& \left.n \geq 0 ; 0 \leq i_{0}, \cdots, i_{n-1} \leq N-1\right.\}
\end{aligned}
$

で定義される文脈自由言語。ここで、同じ添字 $i$ を もつ $A_{i}$ と $B_{i}$ は文法的な対応関係を持つことを表 すと考えると、自然言語では英語の以下の (II) の ような構造と対応する [27]。この構造では複数名詞句 the cats と複数動詞 bark が対応し、単数名詞句 the dog と単数動詞 chases がそれぞれ対応して いる。このように文法数（単数/複数）を持つ動詞 の数とそれに対応する文法数を持つ名詞句の数が 一致する。よって、非終端記号を $A_{0}=\mathrm{V}_{\text {単数, }}, A_{1}=$ $\mathrm{V}_{\text {複数, }}, \cdots 、 B_{0}=\mathrm{NP}_{\text {单数, }}, B_{1}=\mathrm{NP}_{\text {複数 }}, \cdots$ とし、終端記号への書き換え規則を $\mathrm{V}_{\text {単数 }} \rightarrow$ chases $\mid$ barks $\mid \cdots$ 、 $\mathrm{V}_{\text {複数 }} \rightarrow$ chase $\mid$ bark $\mid \cdots 、 \mathrm{NP}_{\text {单数 }} \rightarrow$ the cat $\mid$ the $\operatorname{dog} \mid \cdots$ 、 $\mathrm{NP}_{\text {複数 }} \rightarrow$ the cats $\mid$ the dogs $\mid \cdots$ とした場合に対応 する。

(II) the cats that the dog chases bark

## 2.1.3 Cross Serial Dependency 型

$
\begin{aligned}
& V_{\text {non. }}=\left.\{A_{0}, \cdots, A_{N-1}, B_{0}, \cdots, B_{N-1}\right.\}, \\
& L_{\text {non. }}=\left.\{A_{i_{0}} \cdots A_{i_{n-1}} B_{i_{0}} \cdots B_{i_{n-1}}:\right. \\
& \left.n \geq 0 ; 0 \leq i_{0}, \cdots, i_{n-1} \leq N-1\right.\}
\end{aligned}
$

で定義される文脈依存言語 [28]。ここで、同じ 添字 $i$ をもつ $A_{i}$ と $B_{i}$ は文法的な対応関係を持 つことを表すと考えると、自然言語では、Swiss German における以下の (III) のような構造に対応 する [29]。この構造では、与格動詞 hälfe は与格名詞句 em Hans を、対格動詞 aastriiche が対格名詞句 es huus を項としている。このように文法格を持つ
動詞の数とそれに対応する格を持つ名詞句の数 が一致する。さらに、対応する動詞と名詞句は格 が一致していなければならない。よって、非終端記号を $A_{0}=\mathrm{V}_{\text {与格 }}, A_{1}=\mathrm{V}_{\text {対格 }}, \cdots 、 B_{0}=\mathrm{NP}_{\text {与格, }}, B_{1}=$ $\mathrm{NP}_{\text {対格 }} \cdots$ とし、終端記号への書き換え規則を $\mathrm{V}_{\text {与格 }} \rightarrow$ hälfe $\mid \cdots \mathrm{V}_{\text {対格 }} \rightarrow$ aastriiche $\mid \cdots \mathrm{NP}_{\text {与格 }} \rightarrow$ em Hans|em huus| $\cdots$ 、 $\mathrm{NP}_{\text {対格 }} \rightarrow$ de Hans|es huus $\mid \cdots$ とした場合に対応する。

(III) ... mer em Hans es huus hälfe aastriiche ... we Hans the house help paint.

'... we help Hans paint the hause'

## 2.2 データ生成

本研究では、Nested Dependency 型と Cross Serial Dependency 型については $V_{\text {non. }}=$ $\left.\{A_{0}, \cdots, A_{4}, B_{0}, \cdots, B_{4}\right.\}$ の場合のみで検証する。そ して、各形式言語について $T=2,5,10,100,1000,5000$ の 6 つの場合を考え、合計で 18 種類の形式言語を 言語モデルが認識できるかを検証する。

以上の 18 種類の各文法によって生成される文 のうち、長さが $l \sim U(4,30)$ である文を 50,000 文 サンプリングして作成し、そのうち 40,000 文を学習用データ、 5,000 文ずつを検証・テスト用データ とした。また、各文法から生成される文のうち、長さが $l \sim U(31,100)$ である文を 5,000 文をサン プリングし、「汎化テスト用データ」とした。こ れは、言語モデルが学習時よりも長い文字列に 対してその文字列が当該言語に含まれるかどう かの判定を正しくできるかどうかを検証するた めのものである。最後に、以上により生成した 55,000 文の正例それぞれに対して以下の方法で対応する負例を作成して追加し、各形式言語それ ぞれに対して合計 110,000 文ずつからなるデータ セットを生成した: $A^{n} B^{n}$ 型の形式言語について は、それぞれの正例に含まれる B の数 $\mathrm{n}$ を U(min_sequence_length,max_sequence_length) に変化させることによって負例を生成した。ただし、 $n=m$ となった場合は $n \neq m$ となるまでサンプリン グを繰り返した。また、ここでmin_sequence_length と max_sequence_length は各データに含まれる文 の長さの最小値と最大值である。また、Nested Dependency 型と Cross Serial Dependency 型の形式言語については、それぞれの正例に含まれる $\mathrm{N}$ 個 の $B_{n}(0 \leq n \leq N-1)$ のうち、 $l \sim U(1, N-1)$ 個を $B_{m}(0 \leq m \leq N-1, m \neq n)$ に入れ替えることで負例 を生成した。本研究では、データセット内の各文に ついてそれが正例であるか負例であるかの二值分類 を行うタスクを考え、その正解率で言語モデルの性能を評価する。

## 2.3 言語モデル

本研究では、前節で作成されたデータを用いて二種類のニューラル言語モデルの性能を評価する。

LSTM 本研究では、PyTorch ${ }^{1}$ で実装された、単語埋め込み次元が 256 、隠れ層の次元が 256 の 1 層 LSTM 言語モデル [6]を使用する。

GPT-2 本研究では、 Huggingface ${ }^{2}$ により実装さ れた 3 層、4ヘッド、単語埋め込み次元が 128 の GPT-2 言語モデル [8]を使用する。

言語モデルの学習 LSTM 言語モデルは、最適化 アルゴリズムとして SGDを用いた。GPT-2 言語モ デルは、最適化アルゴリズムとして AdamW [30]を 用い、その他のハイパーパラメータはデフォルト值 を用いた。両言語モデルともにバッチサイズは 512 で 15 エポック訓練し、検証用データでの損失が最 も小さくなった時点のモデルを評価した。

## 3 結果と考察

表 1 は各言語モデルの各タスクに対する汎化テス ト用データでの正解率である。先行研究 [23] に倣 い、各タスクに対する正解率は、異なる 10 のラン ダムシード、異なる 3 つの学習率を用いて学習され た言語モデルの正解率の最大値とし、正解率が $90 \%$以上となった場合に言語モデルがそのタスクを解く ことができたと判断することとする。

LSTM 言語モデルは、終端記号の種類が最低限の 場合、即ち $T=1$ の場合には、 $A^{n} B^{n}$ 型のタスクを解 くことができるとことが先行研究で実験的に確かめ られていたが [13]、本研究でも、LSTM 言語モデルは $A^{n} B^{n}$ 型のタスクを $T \leq 100$ の場合で解くことが可能だと示された。これは、先行研究で確かめられて いた予想が、一定程度まで終端記号を増やしていっ ても成り立つことを示唆している。一方で、Nested Dependency 型や Cross Serial Dependency 型のタスク の正解率は $A^{n} B^{n}$ 型の場合のように一貫して高くな く、LSTM がこれらの統語構造を必ずしも認識でき ないことを示唆する。特に、Nested dependency 型は

表 1 言語モデルの各タスクに対する汎化テスト用データ での正解率。正解率は、異なる 10 のランダムシード、異 なる 3 つの学習率を用いて学習された言語モデルの正解率の最大値をとったものである。正解率が $90 \%$ を超えた ものを太字で示している。

$A^{n} B^{n}$ 型と同じ文脈自由言語であり、LSTM が前者 は認識できず後者は認識できることは、Chomsky 階層において同じ階層に分類される形式言語であっ ても、ある程度終端記号を増やしても認識できる ものと、少ない終端記号数であっても認識できな いものがあることを意味する。同様に、Cross Serial Dependency 型は文脈依存言語であるが、LSTM がこ れを終端記号数にかかわらず認識できないことは、 LSTM が $A^{n} B^{n} C^{n}$ 型の文脈依存言語を捉えることが できるとする先行研究 [31] の結果と合わせると、 Chomsky 階層において同じ階層に分類される形式言語であっても、終端記号数に応じて認識できるもの と認識できないものがあることを意味する。

GPT-2 言語モデルは、Nested Dependency 型の一部 $(T=5,10)$ や Cross Serial Dependency 型の一部 $(T=10)$ で $90 \%$ を超える正解率を達成しているもの の、全ての場合で一貫してタスクを解くことはでき なかった。これは、高い表現力を持つため言語現象 の大局的なパターンを捉えることはできるが、生起回数を数えることや複雑な依存関係のルールを捉 えることが必ずしもできていないことを示唆して いると考えられる。一方で、言語モデルが自然言語にある個別の言語現象を理解できているかを自然言語を用いて検証した先行研究では、GPT-2 など
Transformer ベースの言語モデルが LSTM などの再帰的ニューラルネットワーク言語モデルよりも幅広 い言語現象を理解できることが示唆されている [9]。 このことは一見すると本研究の結果と整合性が無 いように思われるが、以下のように説明できる。こ れらの先行研究では、言語モデルが個別の言語現象 をどの程度理解しているかを各論的に評価できる。 しかし、言語モデルが自然言語の背後にある統語構造を認識せずに、語彙的なヒューリスティックを用 いてタスクを解いている可能性を排除できない。一方、本研究では、統語構造に注目して語彙的要素を 抽象化した形式言語を対象としており、これが本研究の結果との相違を生じさせている可能性がある。

また、いずれの言語モデル、タスクについても、終端記号の種類を増やすと正解率は下がる傾向が見 られた。[13] や [23] などの先行研究では、終端記号 の種類数が最低限であるような形式言語のみに対 して言語モデルの性能が評価されていたが、本研究 のこの結果は、これらの研究で認識可能とされてい た形式言語が、終端記号の種類を増やすと認識不可能になる可能性を示唆する。自然言語では、終端記号に対応する単語などの種類は非常に多様である。従って、言語モデルが最低限の終端記号しか持たな い形式言語を認識できたとしても、それは多様な終端記号を持つ自然言語を認識できることを意味しな い。この意味で、本研究は、終端記号の種類数の影響を検証する必要性を提起する。

## 4 結論

本研究では、多様な終端記号への書き換え規則も 含め自然言語を形式言語化し、ニューラル言語モデ ルがどの程度統語的に複雑な言語現象を捉えられ るのかを検証した。検証の結果、LSTM 言語モデル は $A^{n} B^{n}$ 型の言語現象を終端記号数が少ない場合 に認識することができるが、Nested Dependency 型や Cross Serial Dependency 型の形式言語は終端記号数 に関係なくほとんど全く汎化することができなかっ た。一方 GPT-2 言語モデルは、いずれの言語におい ても、LSTM が $A^{n} B^{n}$ 型に対して達成したほど高い 精度での汎化は不可能であった。また、いずれの場合でも終端記号の種類を増やしていくと精度が下が る傾向が見られた。対象となる言語クラスの範囲を 拡大することは今後の課題としたい。

## 謝辞

本研究は JST さきがけ JPMJPR21C2 の支援を受け たものである。

## 参考文献

[1] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the ability of LSTMs to learn Syntax-Sensitive dependencies. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 521-535, December 2016.

[2] Rebecca Marvin and Tal Linzen. Targeted syntactic evaluation of language models. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1192-1202, Brussels, Belgium, 2018. Association for Computational Linguistics.

[3] Ethan Wilcox, Roger Levy, Takashi Morita, and Richard Futrell. What do RNN language models learn about Filler-Gap dependencies? In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 211-221, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[4] Richard Futrell, Ethan Wilcox, Takashi Morita, Peng Qian, Miguel Ballesteros, and Roger Levy. Neural language models as psycholinguistic subjects: Representations of syntactic state. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 32-42, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Jeffrey L Elman. Finding structure in time. Cogn. Sci., Vol. 14, No. 2, pp. 179-211, March 1990.

[6] S Hochreiter and J Schmidhuber. Long short-term memory. Neural Comput., Vol. 9, No. 8, pp. 1735-1780, November 1997.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L Ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I Guyon, U V Luxburg, S Bengio, H Wallach, R Fergus, S Vishwanathan, and R Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008. Curran Associates, Inc., 2017.

[8] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[9] Alex Warstadt, Alicia Parrish, Haokun Liu, Anhad Mohananey, Wei Peng, Sheng-Fu Wang, and Samuel R Bowman. BLiMP: The benchmark of linguistic minimal pairs for english. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 377-392, December 2020.

[10] Janet Wiles and Jeffrey Elman. Learning to count without a counter: A case study of dynamics and activation landscapes in recurrent networks. 061995 .

[11] Paul Rodriguez and Janet Wiles. Recurrent neural networks can learn to implement symbol-sensitive counting. Vol. 10, , 1997.

[12] Luzi Sennhauser and Robert Berwick. Evaluating the ability of LSTMs to learn context-free grammars. pp. 115-124, November 2018 .

[13] Gail Weiss, Yoav Goldberg, and Eran Yahav. On the practical computational power of finite precision RNNs for language recognition. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 740-745, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[14] Samuel A. Korsky and Robert C. Berwick. On the computational power of rnns. CoRR, Vol. abs/1906.06349, , 2019.

[15] Mirac Suzgun, Yonatan Belinkov, Stuart Shieber, and Sebastian
Gehrmann. LSTM networks can perform dynamic counting. In Proceedings of the Workshop on Deep Learning and Formal Languages: Building Bridges, pp. 44-54, Florence, August 2019. Association for Computational Linguistics.

[16] William Merrill. Sequential neural networks as automata. CoRR, Vol. abs/1906.01615, , 2019

[17] Satwik Bhattamishra, Kabir Ahuja, and Navin Goyal. On the Ability and Limitations of Transformers to Recognize Formal Languages. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7096-7116, Online, November 2020. Association for Computational Linguistics.

[18] Javid Ebrahimi, Dhruv Gelda, and Wei Zhang. How can selfattention networks recognize dyck-n languages? CoRR, Vol. abs/2010.04303, , 2020.

[19] Michael Hahn. Theoretical limitations of self-attention in neural sequence models. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 156-171, 2020.

[20] William Merrill, Gail Weiss, Yoav Goldberg, Roy Schwartz, Noah A. Smith, and Eran Yahav. A formal hierarchy of RNN architectures. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 443-459, Online, July 2020. Association for Computational Linguistics.

[21] Joshua Ackerman and George V. Cybenko. A survey of neural networks and formal languages. ArXiv, Vol. abs/2006.01338, 2020.

[22] Gail Weiss, Yoav Goldberg, and Eran Yahav. Thinking like transformers, 2021.

[23] Grégoire Delétang, Anian Ruoss, Jordi Grau-Moya, Tim Genewein, Li Kevin Wenliang, Elliot Catt, Marcus Hutter, Shane Legg, and Pedro A. Ortega. Neural networks and the chomsky hierarchy. 2022.

[24] Paul Rodriguez and Janet Wiles. Recurrent neural networks can learn to implement symbol-sensitive counting. In M. Jordan, M. Kearns, and S. Solla, editors, Advances in Neural Information Processing Systems, Vol. 10. MIT Press, 1997.

[25] Natalia Skachkova, Thomas Trost, and Dietrich Klakow. Closing brackets with recurrent neural networks. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 232-239, Brussels, Belgium, November 2018. Association for Computational Linguistics

[26] Geoffrey K. Pullum and Gerald Gazdar. Natural languages and context-free languages. Linguistics and Philosophy, Vol. 4, No. 4, pp. 471-504, 1982.

[27] Hana Filip. LIN 69321 LIN6932 Topics in Computational Linguistics Lecture 7. n.d.

[28] Alfred V Aho and Jeffrey D Ullman. The Theory of Parsing, Translation and Compiling. Parsing, vol. I. Prentice-Hall, Englewood Cliffs, 1972

[29] Stuart M. Shieber. Evidence against the context-freeness of natural language. Linguistics and Philosophy, Vol. 8, No. 3, pp. 333343, 1985.

[30] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net, 2019

[31] F.A. Gers and E. Schmidhuber. LSTM recurrent networks learn simple context-free and context-sensitive languages. IEEE Transactions on Neural Networks, Vol. 12, No. 6, pp. 1333-1340, January 2001. Conference Name: IEEE Transactions on Neural Networks.


# 証明支援系 Coqを用いた 依存型意味論の照応解析と推論の実装の試み

小斉平ひな 高橋優太 戸次大介
お茶の水女子大学
\{g1820513, takahashi.yuta, bekki\}@is.ocha.ac.jp

## 概要

含意関係認識に対するアプローチの一つに，証明支援系 $\operatorname{Coq}$ を用いるアプローチがある. タクティク を用いて自動証明手続きを定義することで，さまざ まなテキストに対する含意関係認識タスクがこの アプローチにより研究されてきた. その一方で，照応解析の結果を含意関係認識の中で用いるという 種類のタスクを, Coq が提供するタクティクのみを 用いて行う手法はこれまでに提案されていない。こ うした手法への一歩として, 本研究では, 照応解析 を Coqの refineタクティクによって行い，得られ た結果を用いてテキストから仮説を導く手法を提案 する。

## 1 はじめに

含意関係認識 (Recognizing Textual Entailment) と は，テキスト $T$ が仮説 $H$ を含意するかどうかを判定するタスクであり, 質問応答 (question answering) など，さまざまな応用をもつ。このタスクに対して は，大規模なデータを用いてニューラルモデルに含意関係を学習させる深層学習アプローチ $[1,2]$, 定理証明器を用いる論理推論アプローチ $[3,4]$, およ びこの二つを組み合わせるハイブリッドアプローチ

[5]がある.

論理推論アプローチではさまざまな定理証明器 が用いられており，その中には定理証明器 Coq [6] を用いるものがある $[7,8,9,10,11,12,13]$. 証明支援系 (proof assistants) とも呼ばれる Coqを用いるこ のアプローチには以下の利点がある。まず，依存型理論 (dependent type theory) に基づくCoqでは, 自然言語の文がもつ複雑な意味構造を捉えることがで きる. さらに，証明状態を遷移させることのできる 「タクティク」と呼ばれるものを合成することで， ユーザー定義の自動証明手続きを定式化することが
できる. 以上に加え，論理推論アプローチ一般がも つ利点として，含意関係認識タスクにおける判定結果の解釈・判定手続きの修正が容易である点も挙げ られる。これまで，様相表現・一般化量化子などを 含むさまざまなテキストに対する含意関係認識タス クが Coqアプローチにより研究されてきた。

その一方で，照応解析 (anaphora resolution) の結果 を含意関係認識の中で用いるという二重タスクを， $\operatorname{Coq}$ が提供するタクティクのみを用いて行う手法は これまでに提案されていない，照応解析とは，英語 を例にとれば，テキストの中にある “it” ゃ “he”など の照応表現の指示対象を指定するタスクであり，自然言語処理や形式意味論といった分野で研究されて いる. 次の例は，照応表現を含むテキストに関する 含意関係認識を行うには照応解析が必要であること を示している [14, p. 46]:

A man entered. He whistled. $\Longrightarrow$ A man whistled.

照応解析に続く含意関係認識のためのタクティ ク整備へ向けて，本研究ではまず，照応解析を Coq タクティクによって行う手法を定式化する. この目的のために，自然言語意味論のフレームワークであ る依存型意味論 (Dependent Type Semantics, DTS) を Coq で実装する．DTS では未指定項 (underspecified terms) を用いた照応解析手続き $[15,16,17]$ が定式化 されており, 本研究の基本アイデアは, このDTS 照応解析手続きを Coq が提供する refine タクティク によりシミュレートするというものである. 次に，照応解析の結果，テキストが仮説を含意する場合 は，その含意関係を Coq 内の定理として証明する手法を提案する。

## 2 先行研究

DTS における照応解析手続きに対しては，Haskell による実装 $[18,19,20,21]$ がすでに与えられてい る. DTS においては，照応解析手続きは型検査アル

ゴリズムが呼び出す証明探索手続きとして捉えら れ，これらのアルゴリズムおよび証明探索手続きが Haskell を用いて実装されている. それに対して本研究では，DTS における型検査アルゴリズムを Coq における型検査アルゴリズムに還元し, 照応解析に 対応する証明探索手続きは Coq タクティクにより与 える。

含意関係認識に対するこれまでの Coqアプローチ の中では, $[12,13]$ が, 照応解析の結果を含意関係認識の中で用いるという二重タスクを扱っている。こ れらの先行研究では，モナドに基づく動的意味論を 介して照応解析が行われている. これに対し, 上述 のように本研究では, Coq が提供する refine タク ティクを用いることで，Coqタクティクによっての み照応解析を行う手法を提案する。

## 3 提案手法

本研究が提案する手法は，照応解析に関するもの と含意関係認識に関するものに分かれる，以下では まず，Coqの refineタクティクについて説明した のち，このタクティクを用いてDTS における照応解析手続きを実装する (§ 3.1). その際に，DTS での 照応解析および含意関係認識に現れる多くの命題の 証明に有効なタクティクを構成する。次に，照応解析の結果，テキストが仮説を含意する場合は，その 含意関係を $\operatorname{Coq}$ 内の定理として証明する手法を提案 する (§ 3.2).

## 3.1 refine タクティクを用いた照応解析と 証明自動化のためのタクティク

DTS は，自然言語の文の意味を，Martin-Löf 型理論 [22] の式にその文を翻訳することによって説明す る. 言い換えれば，翻訳の結果として得られる式が その文の意味表示となる. ここでの翻訳は，当の文 の部分表現に割り当てられた意味表示を型理論の規則に従って合成することでなされる.

DTS において，自然言語の文に現れる“it”といっ た照応表現の意味表示は，もともとの Martin-Löf 型理論には含まれない未指定項@によって与えられ る. 例として, 照応表現 “he” を含む次の二つの文か ら構成される談話を考えると, この談話の意味表示 は図1のようになる.

1a. A man entered.

1b. He whistled.

図 1 に見られる $\left[\begin{array}{c}x: A \\ B(x)\end{array}\right]$ という表現は， $\Sigma$ 型と呼ば

図 1 例文 $1 \mathrm{a}, 1 \mathrm{~b}$ の意味表示

$
\left[\begin{array}{l}
u:\left[\begin{array}{l}
x: \text { entity } \\
{\left[\begin{array}{l}
\operatorname{man}(x) \\
\operatorname{enter}(x)
\end{array}\right]}
\end{array}\right] \\
\text { whistle }\left(\pi_{1}(u)\right)
\end{array}\right]
$

図 2 照応解析結果

れるデータ型の DTS における表記であり, 型 $A$ の 要素 $a$ と型 $B(a)$ の要素 $b$ のペア $(a, b)$ の型である.例えば $\left[\begin{array}{l}x: \text { entity } \\ \boldsymbol{\operatorname { m a n } ( x )}\end{array}\right]$ は（以下ではこの型を Man と 呼ぶ), 型 entity の要素である対象 $e$ と, 型 $\boldsymbol{\operatorname { m a n }}(e)$ の要素である「 $e$ が男性であることの証明 $t\lrcorner$ のぺア $(e, t)$ の型である. 型と命題の同型性を示すカリー・・ ハワード対応 (Curry-Howard correspondence)によれ ば，この型は「男性がいる」という命題と見なすこ とができ，ペア $(e, t)$ はこの命題の証明となる。も し $\left[\begin{array}{l}A \\ B\end{array}\right]$ のように $B$ が $A$ の要素に依存しないとき は，この型はたんに「 $A$ かつ $B$ である」という命題 に対応する.こうして，型 $\left[\begin{array}{l}x: \text { entity } \\ {\left[\begin{array}{l}\operatorname{man}(x) \\ \operatorname{enter}(x)\end{array}\right]}\end{array}\right]$ は「あ る男性が入ってきた」という命題に対応し， $1 \mathrm{a}$ の意味表示となる。そして，図 1 の残りの部分が $1 \mathrm{~b}$ の 意味表示であり，「彼は口笛を吹いた」という命題 に対応する。ここでの未指定項@は，型 Man の証明の部分がいわば空所になっていて証明を待ってい ることを示している. もし何らかの証明つまりペア $(e, t)$ が与えられれば，その第一要素を取り出す関数 $\pi_{1}$ によって男性である対象 $e$ を取り出すことが でき，この $\pi_{1}$ (@: Man) が “he”の意味表示となる.

DTS において照応解析は，証明探索によって @を具体的な証明に置き換える操作に相当す る. 図 1 の例では@の型は Man であるが, その 証明として $\left(\pi_{1}(u), \pi_{1}\left(\pi_{2}(u)\right)\right)$ が存在するため, 図 1の@：Manをこの証明に置き換える。すると， $\pi_{1}\left(\pi_{1}(u), \pi_{1}\left(\pi_{2}(u)\right)\right)$ を簡約すると $\pi_{1}(u)$ となるため,図 2 のような意味表示が得られる。つまり，照応解析の結果, “he” の指示対象は $\pi_{1}(u)$ となる.
以上から分かるように，DTS における照応解析手続きを実装するには，型における空所を表現し，さ らにその空所を埋める証明探索を定式化することが 必要である. 本研究では，この一連の手続きを，証明支援系 Coq が提供する refine タクティクを用い てシミュレートする。このタクティクは，証明が未完成の部分をひとまず空所にしたまま証明を進める ことを可能にする.

Coq が提供する refine タクティクを用いた DTS 照応解析手続きは次の手順で定式化される.

(i) DTS に従って，語彙の意味表示を定義する。

(ii) 未指定項に対応する表現 [?asp] によって照応表現を表しつつ文の意味表示を合成し, Eval コマ ンドでその意味表示を計算する。

(iii) refine タクティクを計算結果に適用して， [?asp] 以外の部分に型検査を施しつつ，空所 [?asp] を埋めることをゴールに設定する.

(iv) 空所 [?asp] を埋める証明をタクティクによって 構成し照応解析を行う。

例 1 を例に挙げて，Coqでの DTS 照応解析手続き を説明する。

(i) DTS に従って，語彙の意味表示を定義する。例 えば，a_nom は名詞位置の不定冠詞 “a” の意味表示である.

Definition a_nom: forall $n v$ : entity $->$
Type, Type $:=$
fun $n v=\left.\{x:\right.$ entity $\left.\&\left.\{\begin{array}{l}n \\ n\end{array} \vee x\right.\}\right.\}$.
Axiom man enter whistle : entity $>$ Type.

(ii) 未指定項に対応する表現 [?asp] によって照応表現を表しつつ文の意味表示を合成し，Eval コ マンドでその意味表示を計算する．以下におい ては,

(prog_conj (a_nom man enter)

(whistle (projT1 (?[asp1]:

$\{x$ : entity \& man $x\})))$ )

が $1 \mathrm{a}, 1 \mathrm{~b}$ から構成される談話の意味表示で ある.

(iii) refine タクティクを計算結果に適用して， [?asp] 以外の部分に型検査を施しつつ，空所 [?asp] を埋めることをゴールに設定する。

(iv) 空所 [?asp] を埋める証明をタクティクによっ て構成し照応解析を完了させる. Coq の proof mode は，こうして得られた解析結果を，上記 の定理の名前である AManHe として保存するこ とを可能にする.

このようにして，DTS 照応解析手続きは Coqが提供するタクティクを用いて対話的に行われる。 その 一方で，本研究は，この手続きが含む証明探索の一部を自動化するタクティクの構成も行う。Coqの夕 クティク言語 Ltac を用いて構成したタクティクは 以下になる.

図 1 およびその解析結果である図 2 が例となるよう に，DTS における照応解析においては， $\Sigma$ 型の要素 をいったん分解し, 解析の中で求められているぺア に組み直すといった推論が多く現れる。この tac1 は，そうした推論を自動で行うためのタクティクと して定義している.

tac1を構成するために作成したタクティクにつ いてもおおまかに説明する。これらのタクティク の定義については付録 A を参照されたい．ただし， destruct_one_ex と destruct_one_pair は, Coq [6] の標準ライブラリの一つである Coq.Program.Tactics にて定義されているものであるため，定義は繰り返 さない.この二つのタクティクは，DTS における照応解析の中でしばしば必要になる $\Sigma$ 型の分解を行う ため有用である.

specialize_H は, $\Sigma$ 型と対をなす П 型についての ものであり, $\Pi$ 型 $\left(u:\left[\begin{array}{c}x: A \\ B(x)\end{array}\right]\right) \rightarrow C$ と, 型 $A$ の要素 $a$ および型 $B(a)$ の要素 $b$ が前提に含まれるとき, ペア $(a, b)$ によって上の П 型を例化するタクティク である. 例えば， $(u:$ Man $) \rightarrow$ whistle $\left(\pi_{1}(u)\right)$ は「ど の男性も口笛を吹いた」という全称命題に対応する が，specialize_H は，この命題と男性 $(e, t)$ が前提 に含まれるとき， $(e, t)$ でこの命題を例化する．照応
解析のために分解したい $\Sigma$ 型が, 上述の $\Pi$ 型の後件 である $C$ の中に現れるとき，このタクティクによっ て全体の П型を例化することで $C$ の中の $\Sigma$ 型の分解へ進むことができる. 次の rewrite_H は，前提に $A=B$ が現れるとき，この等式を使ってゴールの中 の $A$ を $B$ で置き換えるタクティクである．また，夕 クティク exists_H は，Coqにあらかじめ備わって いる自動証明タクティク eautoを用いて, ゴールが $\Sigma$ 型であるときに自動でペアをつくり証明すること を試みる。同様に apply_H は，いわゆるモーダス・ ポネンス (modus ponens)を用いつつ, eautoによる 自動証明を試みるタクティクである。

以上のように, refineタクティクを用いた手順 (i)-(iv) により対話的に照応解析を行いつつ，Ltacに より構成したタクティク tac1を用いて証明の一部 を自動化することで，本研究が実装した DTS 照応解析手続きは完了する. Coqの proof mode は，こう して得られた解析結果を保存することを可能にし，保存された結果を用いて含意関係を判定できる.

## 3.2 照応解析の結果を用いる推論の実装

本研究では，照応解析の結果を含意関係認識タス クで用いるための手続きを次のように定式化する.

(v) DTS に従って，語彙の意味表示を定義する.

(vi) テキスト $T$ に対する照応解析結果が前件とな り，仮説 $H$ が後件となる条件文を組み立てる.

(vii) Ltac を用いて構成したタクティク tac1を用い て証明を行う。

次の 2.を例に挙げ，照応解析結果を用いた含意関係認識タスクへの本研究のアプローチを説明する。

2. A man entered. He whistled. $\Longrightarrow$ A man whistled.

(v) DTS に従って，語彙の意味表示を定義する.

(vi) テキスト $T$ に対する照応解析結果が前件とな り，仮説 $H$ が後件となる条件文を組み立てる. いまの場合，照応解析結果として前節で保存し た AManHe がテキストに対する照応解析結果と なる.

Theorem ex: AManHe -> a_nom man whistle

(vii) Ltacを用いて構成したタクティク tac1を用い て証明を行う。

Proof. で証明を始め，tac1を用いて自動でゴー
ルを見つけることかできたので，Qed. で証明を 終える。

## 4 成果

§§ 3.1-3.2 にて説明した提案手法に基づき，前節 で扱った例 2. に加え，次の例 3. に対しても証明を 構成することができた.

2. A man entered. He whistled. $\Longrightarrow$ A man whistled.

3. John bought a car. He checked the motor. $\Longrightarrow$

John checked a motor.

例 3.においては，二文目における "he", "the motor" が照応表現となり，それぞれ次のような意味表示が 割り当てられる：

projT1 (?[asp1] : \{x: entity \& man $x\})$

projT1 (?[asp2]: \{y : entity \& motor y\})上述のように，これらを含む談話全体の意味表示 に refine タクティクを適用することで照応解析手続きは進む．いまの場合，?[asp1] と?[asp2]を証明で埋める（言い換えれば，“he”と “the motor”につ いて照応解析をする）という二つのサブゴールが生 じる.

“he” の指示対象として John を指定するには，公理として man johnを加えれば，タクティクにより 容易に照応解析をすることができる。一方で，“the motor” の指示対象として John が買った車のモー ターを指定するには，全ての車にモーターがあると いう一般的な背景知識を公理として措定し，Johnが 買った車にもモーターがあることを導出できるよう にする必要がある。こうした導出も，本研究が構成 したタクティク tac1により行うことができる。あ とは，以上の照応解析結果を CarMotor として保存 し，例 3. の意味表示となる条件文

CarMotor -> a_acc motor check john をタクティクにより証明すればよい。

## 5 おわりに

本研究では，DTS における未指定項を用いた照応解析手続きを Coqにより実装し, さらに照応解析 の結果を推論の中で用いるための手続きを定式化 した. 今後の課題として，同様に Coqを用いるアプ ローチである $[12,13]$ の提案手法との比較がある.加えて, 照応解析の結果を用いる推論の中でも本研究が扱わなかった，結論が照応表現を含む推論の Coqによる実装を目指す.

## 謝辞

本研究は、JST CREST JPMJCR20D2 の支援を受け

たものである。

## 参考文献

[1] Tim Rocktäschel, Edward Grefenstette, Karl Moritz Hermann, Tomás Kociský, and Phil Blunsom. Reasoning about entailment with neural attention. In Y. Bengio and Y. LeCun, editors, 4th International Conference on Learning Representations, ICLR 2016, San Juan, Puerto Rico, May 2-4, 2016, Conference Track Proceedings, 2016

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In J. Burstein, C. Doran, and T. Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACLHLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[3] Lasha Abzianidze. LangPro: Natural Language Theorem Prover. In L. Specia, M. Post, and M. Paul, editors, Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, EMNLP 2017, Copenhagen, Denmark, September 9-11, 2017 - System Demonstrations, pp. 115-120. Association for Computational Linguistics, 2017.

[4] Hai Hu, Qi Chen, Kyle Richardson, Atreyee Mukherjee, Lawrence S. Moss, and Sandra Kuebler. MonaLog: a lightweight system for natural language inference based on monotonicity. In Proceedings of the Society for Computation in Linguistics 2020, pp. 334-344, New York, New York, January 2020. Association for Computational Linguistics.

[5] Aikaterini-Lida Kalouli, Richard S. Crouch, and Valeria de Paiva. Hy-nli: a hybrid system for natural language inference. In D. Scott, N. Bel, and C. Zong, editors, Proceedings of the 28th International Conference on Computational Linguistics, COLING 2020, Barcelona, Spain (Online), December 8-13, 2020, pp. 5235-5249. International Committee on Computational Linguistics, 2020.

[6] The Coq Development Team. The Coq proof assistant reference manual, Version 8.16.1, 2022. https://coq.inria.fr/.

[7] Stergios Chatzikyriakidis and Zhaohui Luo. Natural language inference in coq. J. Log. Lang. Inf., Vol. 23, No. 4, pp. 441-480, 2014.

[8] Koji Mineshima, Pascual Martínez-Gómez, Yusuke Miyao, and Daisuke Bekki. Higher-order logical inference with compositional semantics. In L. Màrquez, C. Callison-Burch, J. Su, D. Pighin, and Y. Marton, editors, Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, EMNLP 2015, Lisbon, Portugal, September 17-21, 2015, pp. 2055-2061. The Association for Computational Linguistics, 2015.

[9] Stergios Chatzikyriakidis and Zhaohui Luo. Proof assistants for natural language semantics. In M. Amblard, P. de Groote, S. Pogodalla, and C. Retoré, editors, Logical Aspects of Computational Linguistics. Celebrating 20 Years of LACL (1996-2016) - 9th International Conference, LACL 2016, Nancy, France, December 5-7, 2016, Proceedings, Vol. 10054 of Lecture Notes in Computer Science, pp. 85-98, 2016.

[10] Koji Mineshima, Ribeka Tanaka, Pascual Martínez-Gómez, Yusuke Miyao, and Daisuke Bekki. Building compositional semantics and higher-order inference system for a wide-coverage japanese CCG parser. In J. Su, X. Carreras, and K. Duh, editors, Pro- ceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, EMNLP 2016, Austin, Texas, USA, November 1-4, 2016, pp. 2236-2242. The Association for Computational Linguistics, 2016.

[11] Pascual Martínez-Gómez, Koji Mineshima, Yusuke Miyao, and Daisuke Bekki. On-demand injection of lexical knowledge for recognising textual entailment. In M. Lapata, P. Blunsom, and A. Koller, editors, Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, EACL 2017, Valencia, Spain, April 3-7, 2017, Volume 1: Long Papers, pp. 710-720. Association for Computational Linguistics, 2017.

[12] Stergios Chatzikyriakidis and Jean-Philippe Bernardy. A widecoverage symbolic natural language inference system. In Mareike Hartmann and Barbara Plank, editors, Proceedings of the 22nd Nordic Conference on Computational Linguistics, NoDaLiDa 2019, Turku, Finland, September 30 - October 2, 2019, pp. 298-303. Linköping University Electronic Press, 2019

[13] Jean-Philippe Bernardy and Stergios Chatzikyriakidis. Applied temporal analysis: A complete run of the FraCaS test suite. In Proceedings of the 14th International Conference on Computational Semantics (IWCS), pp. 11-20, Groningen, The Netherlands (online), June 2021. Association for Computational Linguistics.

[14] Ribeka Tanaka. Natural Language Quantification and Dependent Types. PhD thesis, Ochanomizu University, 2021.

[15] Daisuke Bekki. Representing anaphora with dependent types. In N. Asher and S. Soloviev, editors, Logical Aspects of Computational Linguistics - 8th International Conference, LACL 2014, Toulouse, France, June 18-20, 2014. Proceedings, Vol. 8535 of Lecture Notes in Computer Science, pp. 14-29. Springer, 2014

[16] Daisuke Bekki and Koji Mineshima. Context-passing and underspecification in dependent type semantics. In S. Chatzikyriakidis and Z. Luo, editors, Modern Perspectives in Type-Theoretical Semantics, Vol. 98 of Studies in Linguistics and Philosophy, pp. 11-41. Springer, Cham, 2017

[17] Daisuke Bekki. Proof-theoretic analysis of weak crossover. In Proceedings of the Eighteenth International Workshop of Logic and Engineering of Natural Language Semantics 18 (LENLS18), pp. 75-88, 2021

[18] Daisuke Bekki and Miho Satoh. Calculating projections via type checking. In Proceedings of TYTLES, 2015.

[19] 佐藤未歩. 依存型意味論の証明探索とその実装, 2016.

[20] Hinari Daido and Daisuke Bekki. Development of an automated theorem prover for the fragment of DTS. In Proceedings of the 17th International Workshop on Logic and Engineering of Natural Language Semantics (LENLS17), 2020.

[21] 大洞日音. DTS の部分体系を用いた定理自動証明器への等号型の導入, 2022

[22] Per Martin-Löf. An intuitionistic theory of types. In G. Sambin and Jan M. Smith, editors, Twenty-five years of constructive type theory, Vol. 36 of Oxford Logic Guides, pp. 127-172. Clarendon Press, 1998

## A 付録

本研究では，DTS での照応解析および含意関係認識に現れる多くの命題の証明にとって有効なタクティク tac1を構成した. このタクティクを構成する各々のタクティクの定義は以下になる.


# 逆接の推論関係に着目した日本語談話関係アノテーション

窪田愛 ${ }^{1}$ 佐藤拓真 ${ }^{1}$ 天本貴之 ${ }^{1}$ 秋吉亮太 ${ }^{1}$ 峯島宏次 ${ }^{1}$
1 慶應義塾大学
ai.kubota.m@gmail.com takuma.sato.keio@gmail.com
amamoto@keio.jp georg.logic@gmail.com
minesima@abelard.flet.keio.ac.jp

## 概要

本研究では、逆接の談話関係で前提される推論に 着目し、同時進行と逆接の二つの用法を持つ接続詞「ながら」「つつ」に対して談話関係アノテーション を試みる。逆接を含む談話関係コーパス自体はすで に存在するが、前提される推論を実際に書き出し、逆接の推論関係を特定しようとする点に本研究の 特色がある。本稿ではアノテーション手法とその結果、ならびに、アノテーションの際に判明した逆接 の特徴について報告する。

## 1 はじめに

テキストの談話関係を適切に認識することは、人間の言語理解の重要な側面であり、自然言語処理で も重要な課題の一つである。しかし、談話関係を分類する基準、その関係を担う談話単位を設定する基準を明確にすることは必ずしも容易ではなく、言語学・言語処理で様々な試みが続いている。一つの有力なアプローチは、明示的な接続表現（談話標識） に着目して談話関係を判別するもの $[1,2]$ であるが、同一の接続表現が複数の談話関係を担う場合、その 談話関係の判別は容易ではない。

このような背景から、本研究では逆接の意味をも つ接続表現に着目し、詳細な統語情報が付与された ツリーバンクを利用した談話関係アノテーションを 試みる。具体的には、同時進行と逆接の二つの用法 をもつ「ながら」「つつ」をとりあげ、「前提される 推論」という観点から談話関係の分類を試みる。

## 2 関連研究

## 2.1 逆接・譲歩

ここでいう逆接（あるいは逆接・譲歩）とは、「何 らかの含意関係の否定」[3]、あるいは、“denial of expectation” $[4,5]$ を伴う接続関係のことであり、以下の二種類があると言われている。（例文は [4](37) より抜粋。)

(1) 直接型 (Direct concessive) Although John is poor, he is happy.

(2) 間接型 (Indirect concessive)

The car is stylish and spacious, but it is expensive.

直接型と間接型の違いは、前提される推論の違い にある。間接型では「P (= John is poor) ならば、大抵 $\mathrm{Q}(=$ he is happy) ではない」という情報が前提されて いるのに対して、間接型では「P (= The car is stylish and spacious) ならば、大抵 $\mathrm{Q}(=\mathrm{it}$ is expensive) ではな い」という情報が前提されているとは考えにくい。間接型の場合、「P (= The car is stylish and spacious) な らば R (= we should buy it)、Q (= it is expensive) なら ば R でなはい」といったように第三の項 (R) が隠れ ている点に特徴がある $[6,7,8,4,5]^{1)}$ 。

## 2.2 「ながら」「つつ」

「ながら」は動詞の語基、非過去のイ形容詞、ナ形容詞の語幹に、また名詞及び副詞には直接後続し、「同時進行（付帯状況）」を表す用法と「逆接」を表 す用法があるとされる $[9,10]^{2)}$ 。「つつ」は動詞の語基に後続し、やはり「同時／付帯状況」と「逆接」 の二つの用法がある [9]。

典型的には、「食べる」「走る」など動的述語の場合は「同時進行」「思う」「狭い」などの静的述語の 場合は「逆接」の用法になることが多いものの、述語の種類だけで「同時進行」か「逆接」かが決まる わけではなく、以下の例（[9]の 3.4 節より抜粋）が 示すように主節との意味的な関係や文脈により解釈

が影響される $[9,10] 。$

(3) a. さびしいと思いながら毎日を過ごした。

(同時進行)

b. さびしいと思いながらそれを口にしな かった。

（逆接）

（4） a. 3 時間、英語を勉強しながら、音楽を聞 いた。 （同時進行）
b. 12 年間も英語をながら、日常会話もろく にできない。

（逆接）

そのため、以下の例（[10](31)）のように「同時進行」か「逆接」かの判断が難しいケースもある。

（5）加藤文太郎は秋の海を見ながら、思いは日本海に飛んでいた。

どのような要因により「同時進行」か「逆接」か の解釈が決まり、特にどのような場合に「逆接」の 推論を読み取って解釈しているのかという問いが、本稿での焦点である。

## 2.3 談話関係コーパス

英語の談話関係コーパスの研究として代表的なも のに、Penn Discourse Treebank (PDTB) [1,11] がある。 PDTB-3 [12] では、明示的な談話関係と非明示的な 談話関係が区別され、明示的な談話関係については 接続表現（談話標識）ごとに談話関係の単位 (Arg1, Arg2) と談話関係ラベルが付与されている。譲歩・逆接に対応する談話関係としては、CONCESSIONと CONTRAST が区別され、COMPARISON 関係の下位クラ スに分類されている。この CONCESSION と CONTRAST の判別は容易ではないことが報告されている [12]。

日本語の談話関係コーパスとしては、Web ページ の冒頭 3 文を収集したコーパス（京都大学ウェブ文書リードコーパス）に対して、PDTB の方針を参考 とし、談話関係タグを付与したものがある [2]。談話関係タグとしては、「対比」と「逆接」が区別され ているが、「が」のように同一の接続表現が対比と 逆接の用法をもつ場合、その判別基準は必ずしも明確ではない。また、談話単位 $(\mathrm{Arg} 1, \mathrm{Arg} 2)$ は自動認識によって設定されているため、言語学的な節単位 とは必ずしも対応していない。

本研究は、詳細な統語情報が付与された既存のツ リーバンクを利用することで、談話単位の認定とい う問題を回避し、より言語学的に妥当な談話関係ラ
ベルの設計に向けて、逆接の談話関係アノテーショ ンを試みる。

## 3 アノテーションの方針

## 3.1 使用したデータ

今回使用した文は全て Kainoki Treebank [13] から 抽出した。ツリーの例を付録の図 1 に示す。Kainoki Treebank は品詞タグ及び統語構造が付与されてお り、単に「ながら」「つつ」の文字列を含む文を抽出 するだけでなく、接続詞「ながら」「つつ」が取る二 つの項（これを $\operatorname{Arg} 1, \operatorname{Arg} 2$ と呼ぶ）が、埋め込み節 を含むような複雑な文でも正確に自動的に特定でき ることからこのコーパスを使用した。例えば、図 1 の例では Arg1と Arg2はそれぞれ「（女性が）事務能力を事務能力を発揮し」「女性が一家の中心となっ て働く」であるが、Arg1 は「つつ」直上の IPノー ド、 $\operatorname{Arg} 2$ は「つつ」節を直接支配する IP ノードに 支配される部分となっている。

## 3.2 談話関係ラベルと判断基準

接続詞「ながら」「つつ」を含む文 (それぞれ 1,325 文、239 文）について筆者ら含め 11 名で下記の通り ラベル付けを行った。各例に 2 名のアノテータがラ ベルを付与した。

（6） a. 逆接・譲歩（同時進行の意味を伴ってい ても逆接・譲歩の意味もあれば逆接・譲歩のラベル付けを優先する）例：(3a), (4a)

b. 同時進行（逆接・譲歩の意味を伴わない もの）例：(3b), (4b)

c. イディオム（慣用句的表現）例 : 残念ながら／今更ながら

d. 対象外（後件が省略されているもの）例：窓の外を見ながら

「ながらも」「つつも」は全て逆接・譲歩とし、「な がら」「つつ」を「ながらも」「つつも」で置き換えて 文意が変わらない場合も逆接・譲歩とした。更に、 より正確に逆接・譲歩の意味を特定するために、前提される推論 (2.1 節参照) を以下のように書き出す 作業を行った。

(7) $\left[{ }_{A r g 1}\right.$ たばこは体によくないと分かり]つつ [Arg2なかなかやめられない。]

(480_textbook_djg_intermediate;page_543)

表 1 アノテーション結果

前提される推論：たばこは体によくないと分 かっているなら、なかなかやめられないこと はない（やめられるはず）だろう。

## 4 アノテーション結果と考察

各分類ラベルの件数を表 1 に示す。 2 名のアノ テータの判定ラベルが異なる場合、第 3 のアノテー タがチェックし、ラベルを決定した。それでも決定 できない曖昧なケースは $\mathrm{A} / \mathrm{B}$ と分類した。2 名のア ノテーション一致率は Kappa 值で、それぞれ、「な がら」は 0.72、「つつ」は 0.36 であった。

## 4.1 逆接・譲歩の特徵

「ながら」「つつ」が逆接を表すのは、典型的には 述語が動的か静的かが関与するものの、例外もある (2.2 節)。ここでは今回のアノテーションで逆接・譲歩とラベル付されたものに共通してみられる傾向 があるかどうかについて考察する。

「ながら」「つつ」の用法に影響を及ぼしうると 考えられる以下の特徴について、ラベルごとにそ れぞれ当てはまるものの件数を数え、表にまとめ た (付録の表 2)。なお、それぞれの特徴は Kainoki Treebank から自動的に抽出してカウントした3)。

(8) a. 状態性アスペクト (ASP) : Arg1の述部が $\Gamma(\sim \tau)$ いる」「(〜て) ある」「〜ておく」

b. 否定 (NEG）：Arg2 が否定を含む

c. モーダル $($ MOD $): \operatorname{Arg} 2$ が「はず」「べき」等モーダル要素を含む

d. 接続詞 $(\mathbf{C N J}): \operatorname{Arg} 2$ が「しかし」「一方」 などの接続詞を含む

3）例えば、ASP の特徴をもつ「ながら」文の場合、Kainoki Treebank のウェブサイトにある検索インターフェイスで P-CONN く(ながら，おきけいあり) という検索式を用いて 抽出できる。 e. 取り立て詞（TOR）：Arg2が「も」「は」「さえ」などの取り立て詞を含む

f. 疑問文 (QUE)： $\operatorname{Arg} 2$ が疑問文

g. 命令文（IMP）：Arg2 が命令文

まず、 $\operatorname{Arg} 1$ の述部が「(〜て) いる」「(〜て) ある」「〜ておく」など静的状態を表すものである場合、逆接の用法である傾向が強いことが分かる (31/146 対 3/1046) $)^{4}$ 。また、 $\operatorname{Arg} 2$ に否定が現れる場合も、比較的逆接の用法になりやすい傾向が見られる $(21 / 146$対 13/1046)。その他には特に目立った特徴は見られ ないが、疑問（QUE）に関しては、逆接・譲歩の場合ほとんど全てが以下のような修辞（反語的）疑問文であった点が特徴的である。

（9）[Arg1 敵軍撃滅という偽情報を国民に流し 続けて煽動し]ながら [Arg2 何をいうか] と怒りをおさえがたいが、国民（女も） が戦意に燃えていたのは事実であろう。 (1037_fiction_onna_to_senso)

「つつ」に関しては全体件数も少なく、目立った 特徴は見られなかった。

## 4.2 前提される推論が書き出しにくい例

逆接・譲歩とは前提される推論（直接型の場合 $\lceil P$ ならば $\neg Q \perp$ 、間接型の場合「 $P$ ならば $R$ 、かつ $Q$ ならば $\neg R\rfloor)$ が書き出せるものとした (2.1 節)。し かし、実際に実例を見ていくと、判定が難しいもの や、一見すると逆接と思われるもののいざ前提され る推論を書き出そうとすると難しいものなど、興味深い例が見られた。

A. 前提のモーダルの種類 前提される推論を考 える際、明示的には表れていない隠れたモーダルを 補いながら考えなくてはならない場合がある。例え ば、以下の例で、機械的に「 $P$ ならば $\neg Q\lrcorner$ というテ ンプレートに当てはめて前提される推論を書き出そ うとすると (10a)となるが、「大抵〜」というような 物事の典型的な起こり方を示す (stereotypical) モダ リティというよりは、(10b)のような義務的 (deontic) なモダリティの意味合いが強い。

4） 今回、典型的な動作動詞ではない「思う」「知る」など思考や認識を表す動詞についてはカウントしなかったが、これ らの動詞は「(〜て) いる」の形をとらなくても静的状態を 表しているとも考えられるため、それらの動詞についても 「逆接」「同時進行」のいずれかになりやすいなどの傾向を調 べる必要がある。動詞の種類の詳細に関しては今後の課題と する。

（10）[Arg1 遺家族とあれば一層保護を加うべき任 にあり] ながら、[Arg2 色と慾の二筋道をかけ る〕など実に言語道断です。(454_aozora_Oda1976-2)

a. 一層保護を加うべき任にあるならば、大抵色と慾の二筋道をかけない。

b. 一層保護を加うべき任にあるならば、色と慾の二筋道をかけるべきではない。

## B. 同時進行と逆接の二分類の妥当性 「同時進行」 と「逆接」は相互排他的なものではなく、「同時進行」でもあり「逆接」でもあるケースもある。例え ば、以下の例では「ながら」に「も」が後続する逆接用法であるが、叫んだのは逃げ終わったあ後では なく逃げている最中とも解釈可能である。

(11）[Arg1 逃げていき] ながらも、[Arg2「ひゃあ!」 と叫んだ。]

(421_aozora_Harada-1960)

典型的には「ながら」は同時進行と逆接のいずれ かであるものの、「ながら」の時間性（同時か継起 か）と表現主体の判断（順接か逆接か）はそれぞれ 独立した軸であるため、それらの組み合わせの結果、(ア）「同時・順接」（イ）「同時・逆接」（ウ）「継起・順接」（エ）「継起・逆接」の４ パターンあると の見方 [10] もある。今回のアノテーションにおいて も、上記のような例が見つかることから、同時進行 と逆接という二分類が単純な相互排他的な二つのカ テゴリーではないということが窥える。

c. 対比 逆接は対比の意味も伴っていることが 多く、その二つを切り分けるのは容易ではない（2.3 節)。PDTB-3 においては CONCESSION と CONTRAST の ラベル付けに関する判断基準が決められており、 CONCESSION でもあり CONTRAST でもある場合は、前者を優先してラベル付けすることになっている [14]。

今回のアノテーションにおいても、そのような逆接と対比の切り分けの難しさが窥えた。例えば、以下の例では $\Gamma P$ ならば $Q \perp$ というテンプレートに 当てはめて前提を書き出すと (12a)のようになるが、 そもそも「おだてる」が本心から相手を尊敬して褒 め称えるというよりは、何か下心があってことさら に褒めて相手をいい気分にさせるというニュアンス があることから、前提は不自然に感じられる。

(12)「本土の人って、[Arg1 沖縄をおだて] ながら、 [Arg2 ほんとうはお人好しのバカだと思って るでしょ]」（494_fiction_onna_to_senso) a. 沖縄をおだてるなら、大抵はほんとうは お人好しのバカだと思わない。

b.（表面的には）沖縄をおだて、ほんとう はお人好しのバカだと思っている。

これを純粋な対比であるとすれば、(12b)のよう

に「表面的には」vs.「ほんとうは」、「おだてる」vs.「お人好しのバカだと思っている」という二点にお いて対立する対比の関係と見ることができる。

D. 累加 最後に累加の例を挙げる。

（13）東北大大学院工学研究科の風間基樹教授 （地盤工学・地震工学）は「[ ${ }_{\text {Arg } 1}$ 行政が作る 防災マップを参考にし]つつも、[Arg2 普段 から地域の地形的特性を把握して、非常時 の対策を考える必要がある]」と指摘する。

(27_news_KAHOKU_184;K201406140A0T10XX00001)

a. 行政が作る防災マップを参考にするな ら、大抵は普段から地域の地形的特性を 把握して、非常時の対策を考える必要 がない。

b. 行政が作る防災マップを参考にして、そ してそれだけではなく普段から地域の地形的特性を把握して、非常時の対策を考 える必要がある。

上記の例では、テンプレートに当てはめただけの 前提 (13a) は不自然であり、(13b) のように累加の意味があると考えたほうが自然に解釈できる。

逆接と累加の関係については、例えば、英語の接続詞 butで接続された節の後件に累加的表現の $t o o$ が現れうることが知られており、tooの持つ前提が どのように but の表す前提や前件の意味と相互的に 作用するのかについての研究がある [5]。今回のア ノテーションでも、逆接と累加とが言語学的に興味深い関係を示す例が見られた。

## 5 おわりに

本研究では、前提される推論という観点から、談話関係が曖昧である「ながら」「つつ」という接続表現に着目し、逆接の談話関係アノテーションを行っ た。前提される推論を明示的に書き出すことで、逆接の談話関係とその用法の広がりが明らかになっ た。今後の課題としては、「が」「のに」など様々な 逆接・譲歩の意味を伴う接続表現を対象としたアノ テーションを行うことなどが考えられる。

## 謝辞

本研究は、JST CREST、JP-MJCR2114 の支援を受

けたものである。

## 参考文献

[1] Rashmi Prasad, Nikhil Dinesh, Alan Lee, Eleni Miltsakaki, Livio Robaldo, Aravind Joshi, and Bonnie Webber. The Penn Discourse TreeBank 2.0. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Morocco, May 2008. European Language Resources Association (ELRA).

[2] 岸本裕大, 村脇有吾, 河原大輔, 黒橋禎夫. 日本語談話関係解析：タスク設計・談話標識の自動認識・コー パスアノテーション. 自然言語処理, Vol. 27, No. 4, pp. 889-931, 2020.

[3] 衣畑智秀. 日本語の「逆接」の接続助詞について: 情報の質と処理単位を軸に. 日本語科学, Vol. 17, pp. 47-64, 2005 .

[4] Mitsuko Narita Izutsu. Contrast, concessive, and corrective: Toward a comprehensive study of opposition relations. Journal of Pragmatics, Vol. 40, pp. 646-675, 2008.

[5] Grégoire Winterstein. What but-sentences argue for: An argumentative analysis of but. Lingua, Vol. 122, No. 15, pp. 1864-1885, 2012.

[6] 野矢茂樹.「しかし」の論理. 言語, Vol. 32, No. 3, 2003.

[7] 坂原茂. 日常言語の推論. 東京大学出版会, 1985.

[8] 小泉保. 譲歩文について. 言語研究, Vol. 91, pp. 1-14, 1987.

[9] 日本語記述文法研究会. 現代日本語文法 6. くろし お出版, 2008.

[10] 村木新次郎. 語彙論と文法論と.ひつじ書房, 2019.

[11] Rashmi Prasad, Bonnie Webber, and Aravind Joshi. Reflections on the Penn Discourse Treebank, comparable corpora, and complementary annotation. Computational Linguistics, Vol. 40, No. 4, pp. 921-950, 2014.

[12] Bonnie Webber, Rashmi Prasad, Alan Lee, and Aravind Joshi. The Penn Discourse Treebank 3.0 annotation manual, 2019. University of Pennsylvania.

[13] Ed Kainoki. The Kainoki Treebank - a parsed corpus of contemporary Japanese, 2022. https://kainoki. gi thub. io (accessed September 2022).

[14] Rashmi Prasad, Nikhil Dinesh, Alan Lee, Eleni Miltsakaki, Livio Robaldo, Aravind Joshi, and Bonnie Webber. The Penn Discourse TreeBank 2.0. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Morocco, May 2008. European Language Resources Association (ELRA).

## 付録

Kainoki Treebank のツリーの例を以下に示す。

ID@Kainoki_185_essay_Hepburn_no_shoogai_to_nihongo2

女性が事務能力を発揮しつつ、一家の中心となって 働くさまは、日本の少年少女たちを驚かせた。

図 1 Kainoki Treebank のツリーの例

各分類ラベルが付与された言語的特徴の統計情報を以下に示す。

表 2 アノテーション結果の言語的特徴