# 談話依存構造解析の教師なしドメイン適応

西田典起
理化学研究所 AIP
noriki.nishida@riken.jp

## 1 はじめに

談話依存構造解析 (Discourse Dependency Parsing) は文書内にある節や文の間の係り受けと修辞関係 を同定し、文書の談話依存構造を明らかにすること を目指す $[1,2]$ 。本研究で解析対象にする論文アブ ストラクトの談話依存構造の例を図 1 に示す。談話構造はこれまで文書要約 $[3,1]$ や質問応答 [4]、極性分類 $[5,6]$ などのタスクでその有用性が確認されて きた。

談話構造解析の従来法は RST-DT [7] などのツリー バンクを使い、解析器を学習する $[8,9]$ 。しかし、既存のツリーバンクのサイズおよびそれらがカバーす るドメインは限定的なため、一般的には解析したい 文書はそれらのドメインから外れ、解析精度は低下 する。よって、利用できる談話構造ツリーバンクの ドメインと解析器を適用したいドメインが異なると きに、どのように適用先ドメインに解析器を適応す るかという「教師なしドメイン適応」の問題は、現実的に重要な課題となっている。

本稿では、談話依存構造解析における教師な しドメイン適応問題に対する疑似ラベリング 法 (Self-Training [10, 11, 12], Co-Training [13, 14, 15], Tri-Training [16], Asymmetric Tri-Training [17] など) の 効果を調べ、その結果を分析する。疑似ラベリング はラベル付きデータとラベルなしデータからモデル を訓練する半教師あり学習の代表的な方法論であ る。本研究では特に科学技術論文アブストラクトの 談話依存構造解析を対象に、自然言語処理アブスト ラクト(ソースドメイン)のツリーバンクで訓練され た解析器を、医学生物学アブストラクト (ターゲッ トドメイン) に適応することを考える。実験の結果、疑似ラベリング、特に係り受けの一致率に基づいて合意基準を緩和化した Asymmetric Tri-Training が談話依存構造解析の教師なしドメイ ン適応に有効であることを確認した。解析精度は Labeled Attachment Score で 4.1 ポイント向上し、さ

\author{
松本裕治 \\ 理化学研究所 AIP \\ yuji.matsumoto@riken.jp
}

らに人手による談話構造のアノテーションコストが 大幅に (e.g., 約 60\%) 削減できることがわかった。ま た、疑似ラベルの質と量の影響力は大きく、閾値に よる合意基準の調整によってそれらの最適なバラン スを実現できることを示した。また、解析結果を分析し、解析エラーの主要因が (1) 係り受けパターン の頻度の偏り、(2) 談話関係クラスの曖昧性、(3) ド メインごとの論旨の展開の違いの 3 つである可能性 があることを確認した。

## 2 方法

## 2.1 談話依存構造解析の疑似ラベリング

談話依存構造解析は、EDU の系列として表現され た入力文書 $d=e_{0}, e_{1}, \ldots, e_{n}$ に対し、談話依存構造 $T=\{(h, m, l) \mid 0 \leq h \leq n, 1 \leq m \leq n, l \in \mathscr{L}\}$ を出力す るタスクである。ここで $e_{0}$ は根ノードを表し、係 り受け $(h, m, l)$ は $e_{h}$ (head) と $e_{m}$ (modifier) が談話関係 $l \in \mathscr{L}$ にって結合することを表す。本研究の疑似ラベリングは 4 ステップからなる。

1. 少量のラベル1) 付きデータ(ゴールドデータ)の 集合 $L=\{\langle d, T\rangle\}$ を使い、解析器 $f$ を訓練する。

2. その解析器を使い、大量のラベルなしデータ $d^{\prime} \in U$ に対して疑似ラベル $T^{\prime}=f\left(d^{\prime}\right)$ を付与 する。

3. 疑似ラベル付きデータの一部からシルバーデー タセット $L^{\prime}=\left.\{\left.\langle d^{\prime}, T^{\prime}\right.\rangle\right.\}$ を構成する。

4. ゴールドデータとシルバーデータを合わせて、解析器の再訓練を行う。

教師なしドメイン適応の問題設定では、ラベル付き データについてはソースドメインのみに存在し、ラ ベルなしデータはテストデータと同じターゲットド メインから収集したものとする。

疑似ラベリングの方法として Self-Training, CoTraining, Tri-Training, Asymmetric Tri-Training の $4 \supset の$

ROOT

SARS-CoV-2 genetic identification is based on viral RNA extraction prior to RT-qPCR assay,

however recent studies support the elimination of the extraction step.

Herein, we assessed the RNA extraction necessity,

by comparing RT-qPCR efficacy in several direct approaches vs. the gold standard RNA extraction,

in detection of SARS-CoV-2 from laboratory samples as well as clinical Oro-nasopharyngeal SARS-CoV-2 swabs.

Our findings show advantage for the extraction procedure,

however a direct no-buffer approach might be an alternative,

since it identified up to $70 \%$ of positive clinical specimens.

図 1 科学技術論文アブストラクトの談話依存構造の例。

アルゴリズムを実装し、比較する。

Self-Training (ST) [10,11] は最も単純な疑似ラベ リング法である。本研究では Reichart と Rappoport (2007) [12] に従い、すべての疑似ラベルをシルバー データとして用いた。ST は単一の解析器を用いる ため、自己の誤り傾向を軌道修正する仕組みがな く、学習過程で誤りが増幅する可能性がある。

Co-Training (CT) [13, 14, 15] は二つの異なる解析器 を使い、一方の解析器の予測結果をもう一方の解析器のシルバーデータとして活用する。

Tri-Training (TT) [16] は三つの解析器を使い、二つ の解析器の予測結果が一致 (合意) している場合の み、それを残り一つの解析器のシルバーデータとし て採用する。すなわち、上記の ST や CT と異なり、疑似ラベル $T^{\prime}$ のうち二つの解析器の間で合意が得 られたもののみを再訓練で用いる。

Asymmetric Tri-Training (AT) は TT の拡張であり、斎藤ら (2017) [17]によって教師なしドメイン適応の 方法として開発された。AT では三つの解析器のう ち一つをターゲットドメイン専用の解析器 $f_{t}$ とし て訓練する。具体的には、二つの解析器 $f_{1}$ と $f_{2}$ に よる予測結果 $T_{1}^{\prime}, T_{2}^{\prime}$ が一致しているときのみ、それ をシルバーデータセット $L^{\prime}$ に追加し、 $f_{1}$ と $f_{2}$ は $L \cup L^{\prime} 、 f_{t}$ は $L^{\prime}$ のみで再訓練する。

## 2.2 合意基準の緩和化

TT および AT では一般に予測した「ラベル」が完全一致しているかどうかで合意判定されるが、談話構造解析では「ラベル」は文書レベルの木構造で あるため、完全一致に基づく合意基準は非常に厳 しい。その結果、ほとんどの疑似「ラベル」はシル バーデータとして採用されず、捨てられてしまう。

そこで、本研究では局所的に一致している係り受 けの割合 (一致率) がある閾値以上の場合には合意し
ていると判定する。具体的には、 $\frac{2\left|T_{i}^{\prime} \cap T_{j}^{\prime}\right|}{\left|T_{i}^{\prime}\right|+\left|T_{j}^{\prime}\right|} \geq \tau$ を満た す場合のみ、 $T_{i}^{\prime}$ と $T_{j}^{\prime}$ の両方ともをシルバーデータ セットに加える, i.e., $L_{k}^{\prime} \rightarrow L_{k}^{\prime} \cup\left.\{\left.\langle d^{\prime}, T_{i}^{\prime}\right.\rangle,\left.\langle d^{\prime}, T_{j}^{\prime}\right.\rangle\right.\}$. こ のような合意基準の緩和化によって、局所的に合意 を得ている係り受け情報の活用を目指す。

## 2.3 談話依存構造解析器

Zhou と Goldman (2004) [15] によれば、CT におい てデータの viewを明示的に二つに分けない場合、異 なる inductive bias をもつモデルを使う必要がある。 また、モデル間の同意に基づく TT および AT でも、三つのモデルの多様性は重要であると考えられる。

本研究では、異なる解析戦略をもつ三つのニュー ラル談話依存構造解析器を実装する。具体的には、 グラフ型解析器 $(\mathrm{G})$ 、遷移型解析器 $\left(\mathrm{T}_{\mathrm{LR}}\right)$ 、逆向きの 遷移型解析器 $\left(T_{R L}\right)$ を実装した。紙面の都合上、各解析器の詳細は省略する。

## 3 実験結果と考察

## 3.1 データ

ソースドメインのラベル付き訓練データとして、 SciDTB [18] に収録されている 742 件の NLPアブス トラクトの談話依存構造を用いた。ターゲットドメ インのラベルなし訓練データとして、CORD-19 [19] に収録されている 22,515 件の医学生物学アブス トラクトを用いた。EDU 分割については Wang ら (2018) [20] の方法で自動的に行った。また、ター ゲットドメインのテストデータとして、CORD-19か らランダムに 70 件のアブストラクトを選択し、そ れらに対して人手で談話依存構造をアノテーション した2）。以降ではこのデータセットを CORD19-DT

2）アノテーションに関しては、著者自身が行った。今後、よ り公平で大規模な設定で評価を行うために、現在第三者によ るアノテーション作業を行っている。
表 1 各システムの評価結果。評価尺度として Labeled Attachment Score (LAS), Unlabeled Attachment Score (UAS), Undirected UAS (UUAS) を用いる。括弧内解析器を示 す。 $\tau$ は合意基準の閾値を表す。SciDTB の結果の括弧内 の数値はラベルなしデータとして NLP アブストラクトを 用いたときのスコアである。

} \\

と表記する。 70 件のアノテーションデータをテス トセット (50 件) と検証セット (20 件) に分割した。 CORD19-DT と SciDTB の特徵の比較については付録に載せる。

## 3.2 解析精度の比較

表 1 に各システムの評価スコアを載せる。比較の ために、ターゲットドメインのラベルなしデータを 活用しないべースラインシステム (Seed data only) の スコアも載せる。また、参考のために SciDTB のテ ストセットでの結果も載せる。

CORD19-DT での結果から、疑似ラベリングによ るシステムはベースラインよりも一貫して高い解析精度であることがわかる。これは、疑似ラベリング によって、ターゲットドメインのラベルなしデータ を活用して談話依存構造解析器のドメイン適応が できていることを示唆する。また、TT, AT は ST, CT よりも精度が高く、このことから複数の解析器の合意によってノイジーな疑似ラベルをフィルタリング することが有効であるとわかる。また、本研究で導入した閾値による合意基準の緩和化も有効であった $(\tau=0.9$ vs. $\tau=0.5)$ 。

一方、SciDTB での結果では、TT $(\tau=0.5)$ を除い て、疑似ラベリングによる精度向上は見られなかっ た。しかし、ラベルなしデータとしてテストデータ と同じドメインである NLP アブストラクトを用い

図 2 ラベル付きデータの個数と解析精度の関係。

図 $3 \mathrm{AT}$ における合意基準の閾値と、シルバーデータの 量および解析精度の関係。量は全ラベルなしデータ数に 対する割合で表す。

た場合、ST を除いて疑似ラベリングによる精度向上が見られた。このことから、疑似ラベリングを用 いる場合、テストデータと同じドメインのラベルな しデータを用いることが重要であると判断できる。

## 3.3 アノテーションコストの削減率

図 2 にラベル付きデータの個数と解析精度 (LAS, UAS) の関係を示す。ラベル付きデータの個数の変化に対し、疑似ラベリングは一貫してベースライン を上回っている。また、AT の精度はST よりもほぼ 一貫して高い。以上から、人手による談話構造デー タが少ないときにも、談話依存構造解析の教師なし ドメイン適応に対し疑似ラベリングは有効であるこ とがわかる。

また、注目すべきことに、図 2 は ATによって大幅にアノテーションコスト減らせることを示唆す る。例えば、ベースラインシステムが $54.7 \%$ の LAS を実現するためには 742 件のラベル付きデータが必要であるのに対し、ATを用いることで必要なラべ ル付きデータの個数を 300 件まで減らすことがで きる。これは、AT によって、 $\frac{742-300}{742} \times 100 \fallingdotseq 60 \%$ の アノテーションコストの削減が可能であることを 表す。

## 3.4 シルバーデータの量と質の重要性

AT における合意基準の間値 $\tau$ と、シルバーデー タの量および解析精度 (LAS, UAS) の関係を調べた 結果を図 3 に示す。閾值が低すぎれば、解析器が予測する談話依存構造のうち一致率 (信頼性) が低い ものまでシルバーデータに追加されてしまい、結果

図 4 AT による解析結果の混合行列。縦軸および横軸は それぞれ人手またはシステムによる係り受けに対応する。各行で正規化している。

として解析精度が低くなってしまっている。一方、閾値が高すぎれば、ほとんどの談話依存構造が捨て られてしまい、結果としてシルバーデータの量が少 なくなりすぎてしまい、ドメイン適応を行うのが難 しくなっている。すなわち、閾値によってシルバー データの量と質が制御され、閾値をうまく調整する ことで量と質の最適なバランスを実現することがで きる。

## 3.5 エラー分析

ATを用いたシステムの解析エラーについて詳し く分析した結果、多くのエラーが以下の 3 つに起因 することがわかった。

一つめの要因は、係り受けパターンの頻度の偏 りである。低頻度のパターン (e.g., 長さ $\geq 2$, ラベル =Evaluation) を誤って最頻出の係り受けパターン (i.e., 長さ $=1$, ラベル=Elaboration) として解析する傾向が見られた。図 4 は、CORD19-DT における解析結果の混合行列である。それぞれ、係り受けの長 さと談話関係ラベルに対応する。長さ 1 の係り受 けの 90\%については同定できているのに対し、長 さ 2 以上の係り受けについては約 $60 \%$ しか同定で きていない。また、談話関係の誤分類のほとんどは Elaboration として予測されており (Elaboration の列 を参照)、実際に Elaboration は SciDTB 中で最頻出の 談話関係クラスである (付録参照)。

二つめの要因は、談話関係クラスそのものの 曖昧性である。例えば、Elaboration と Progression, Cause-effect と Explain の識別は常に自明であるとは 限らず、これらはしばしば人間にとっても識別する のが難しい。図 5 は、CORD19-DT のデータに対す るシステムの解析結果の例である。EDU 間の係り 受け (エッジ) については正しく同定できているが、 エッジ $(1,2)$ についてその関係クラスを Cause-effect

図 5 CORD-19-DT における解析結果の例。赤は解析エ ラー、青は正解を表す。

図 6 CORD19-DT における解析結果の例。

ではなく Explain と誤分類してしまっている。

最後の要因は、ドメイン (分野)ごとの論旨の展開傾向の違いである。具体例を図 6 に示す。システ ムは、 $e_{3}$ (head) から $e_{11}$ (modifier)への係り受けのラ ベルを、 $e_{11}$ の内容は $e_{3}$ の評価結果ではなく研究に よる知見であるにも関わらず、Evaluation と誤分類 している。これは、Evaluation 関係の係り受けの頻度が SciDTB では CORD19-DT にくらべて非常に多 く (7.4\% vs. $1.9 \%)$ SciDTB で訓練された解析器が 「Evaluation 関係の係り受けは論文アブストラクトの 終盤EDUとの間で起こる」と学習しているからだ と考えられる。

## 4 おわりに

本稿では、談話依存構造解析の教師なしドメイン 適応問題に対する疑似ラベリング法 (Self-Training, Co-Training, Tri-Training, Asymmetric Tri-Training) の検討を行った。間値により同意基準を緩和化した Asymmetric Tri-Training が最も効果的であり、 4.1 ポ イントの解析精度の向上と $60 \%$ のアノテーションコ ストの削減が可能であることを確認した。また、間值によって制御できるシルバーデータの量と質のバ ランスの重要性を示し、解析エラーの 3 つの主要因 について分析した。

今後は、CORD19-DT の拡大および、論文全体の 談話構造を解析する方法の開発に取り組んでいく。

## 謝辞

本研究は JST CREST(課題番号: JPMJCR1513) の支援を受けて行った。

## 参考文献

[1]Yasuhisa Yoshida, Jun Suzuki, Tsutomu Hirao, and Masaaki Nagata. Dependency-based discourse parser for singledocument summarization. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, 2014.

[2]Mathieu Morey, Philippe Muller, and Nicholas Asher. A dependency perspective on RST discourse parsing and evaluation. Computational Linguistics, Vol. 44, No. 2, pp. 197-235, 2018.

[3]Annie Louis, Aravind Joshi, and Ani Nenkova. Discourse indicators for content selection in summarization. In $S I G$ DIAL'10, 2010.

[4]Peter Jansen, Mihai Surdeanu, and Peter Clark. Discourse complements lexical semantics for non-factoid answer reranking. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, 2014.

[5]Livia Polanyi and Martin Van den Berg. Discourse structure and sentiment. In 2011 IEEE 11th International Conference on Data Mining Workshops, 2011.

[6]Parminder Bhatia, Yangfeng Ji, and Jacob Eisenstein. Better document-level sentiment analysis from RST discourse parsing. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, 2015.

[7]Lynn Carlson, Daniel Marcu, and Mary Ellen Okurowski. Building a discourse-tagged corpus in the framework of Rhetorical Structure Theory. In Proceedings of the 2nd SIGdial Workshop on Discourse and Dialogue, 2001.

[8]Yangfeng Ji and Jacob Eisenstein. Representation learning for text-level discourse parsing. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, 2014.

[9]Shafiq Joty, Giuseppe Carenini, and Raymond T. Ng. CODRA a novel discriminative framework for rhetorical analysis. Computational Linguistics, Vol. 41, No. 3, pp. 385-435, 2015.

[10]David Yarowsky. Unsupervised word sense disambiguation rivaling supervised methods. In Proceedings of the 33rd Annual Meeting of the Association for Computational Linguistics, 1995.

[11]David McClosky, Eugene Charniak, and Mark Johnson. Effective self-training for parsing. In Proceedings of the 2006 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2006.

[12]Roi Reichart and Ari Rappoport. Self-training for enhancement and domain adaptationa of statistical parsers train on small datasets. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics, 2007.

[13]Avrim Blum and Tom Mitchell. Combining labeled and unlabeled data with co-training. In Proceedings of the 11 th Annual Conference on Computational Learning Theory, 1998.

[14]Mark Steedman, Miles Osborne, Anoop Sarkar, Stephen Clark, Rebecca Hwa, Julia Hockenmaier, Paula Ruhlen, Steven Baker, and Jeremiah Crim. Bootstrapping statistical parsers from small datasets. In Proceedings of the 10th Conference of the European Chapter of the Association for
Computational Linguistics, 2003

[15]Yan Zhou and Sally Goldman. Democratic co-learning. In Proceedings of the 16th IEEE International Conference on Tools with Artificial Intelligence, 2004.

[16]Zhi-Hua Zhou and Ming Li. Tri-training: Exploiting unlabeled data using three classifiers. IEEE Transactions on Knowledge and Data Engineering, Vol. 17, No. 11, 2005.

[17]Kuniaki Saito, Toshitaka Ushiku, and Tatsuya Harada. Asymmetric tri-training for unsupervised domain adaptation. In Proceedings of The 34th International Conference on Machine Learning, 2017.

[18]An Yang and Sujian Li. SciDTB: Discourse dependency treebank for scientific abstracts. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, 2018.

[19]Lucy Lu Wang, Kyle Lo, Yoganand Chandrasekhar, Russell Reas, Jiangjiang Yang, Douglas Burdick, Darrin Eide, Kathryn Funk, Yannis Katsis, Rodney Kinney, Yunyao Li, Ziyang Liu, William Merrill, Paul Mooney, Dewey Murdick, Devvret Rishi, Jerry Sheehan, Zhihong Shen, Brandon Stilson, Alex D. Wade, Kuansan Wang, Nancy Xin Ru Wang, Chris Wilhelm, Boya Xie, Douglas Raymond, Daniel S. Weld, Oren Etzioni, and Sebastian Kohlmeier. CORD19: The COVID-19 open research dataset. arXiv preprint arXiv:2004.10706, 2020.

[20]Yizhong Wang, Sujian Li, and Jingfeng Yang. Toward fast and accurate neural discourse segmentation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, 2018.

## A 付録: CORD19-DT vs. SciDTB

本付録では、本研究で構築している CORD19-DT と、Yang ら (2018) によって構築された SciDTB の特徵の違いについて報告する。これら二つはそれぞれ 医学生物学論文または自然言語処理論文のアブスト ラクトに対して人手で談話依存構造をアノテーショ ンしており、ここで示す特徴の違いはドメイン間の ギャップの大きさ、ドメイン適応の難しさを表す。

表 2 に CORD19-DT と SciDTB の特徴を載せる。医学生物学のアブストラクトの長さ (i.e., 文数、トー クン数) は NLP アブストラクトよりも長い傾向にあ ることがわかる (7.2 文vs. 5.3 文; 197.5 トークンvs. 130.5 トークン)。一方、平均 EDU 数については一致 している (14.0 vs. 14.0)。このことから、医学生物学 の EDU は平均的に NLP の EDU よりも長く (情報量 が多く)、教師なしドメイン適応ではこの点が課題 の一つになりうる。

係り受けの平均長 (談話関係によって結合される EDU 間の平均距離) についてはほぼ等しい $(2.5 \mathrm{vs}$. 2.4)。これは、一般に長い係り受けは読み手への負荷が高いため自然言語文書において起こりにくく、 この傾向は分野に依らないことを示唆する。

一方、文書 $d=e_{1}, \ldots, e_{n}$ 全体の親であり、根ノ一 ド $e_{0}$ の唯一の子である Root EDU の平均位置は、医学生物学では前から 5.9 番目であるのに対し、NLP では 3.9 番目であった。両分野ともにアブストラク 卜は大まかに研究背景 $\rightarrow$ 研究目的と方法 $\rightarrow$ 結果 と考察という順番で記述される傾向にあると考え ると、医学生物学では研究背景部分に関する記述が NLP よりも多く、対応して談話依存構造の傾向も分野間で異なることを示唆する。

各データセットにおける談話関係クラスごとの係 り受けの分布を表 3 に載せる。いくつかの談話関係については出現率が大きく異なることがわかる。 Elaboration の出現率の違い (47.2 vs. 39.1) について は、表 2 で見たように医学生物学アブストラクトは NLP アブストラクトよりも情報量が多く、順接で情報展開されることが多いことを反映していると考え らえる。Evaluation の出現率の違い (1.9 vs. 7.4) につ いては、医学生物学論文の主軸は知見 (実験結果) の 記述であることが多く、Root EDU そのものが知見 に関するものであることが多いのに対し、NLPでは 主軸が開発した手法であることが多く、その評価結果についてアブストラクトの後半で別に記述する傾表 2 CORD19-DT と SciDTB [18] の比較. 数値は各データ セットのすべてのアブストラクト数を用いて平均化して

表 3 CORD19-DT と SciDTB における各談話関係クラス ごとの係り受けの分布。

向にあることを反映していると考えられる。談話関係の分布は文書においてどのように論旨が展開され るのかという傾向を反映しており、このような論旨 の展開傾向の違いはドメイン適応の難しさを表す。


# 物語におけるイベントの顕現性推定と物語類似性計算への応用

大竹孝樹 1 横井祥 1,2 井之上 直也 ${ }^{2,3}$ 高橋諒 1,2 栗林樹生 1,4 乾健太郎 1,2
1 東北大学 2 理化学研究所 ${ }^{3}$ Stony Brook University ${ }^{4}$ Langsmith 株式会社
\{takaki, yokoi, ryo.t, kuribayashi, inui\}@ecei.tohoku.ac.jp
naoya. inoue. lab@gmail.com

## 1 はじめに

物語はあるイベントや一連のイベントの表現であ る [1]. 物語に登場するイベントはその顕現性（重要さ）が異なり，物語において大きな役割を果たす 重要なイベントとそうでないイベントが存在する。童話『シンデレラ』を例に挙げると，「シンデレラ が王子に見初められる」というイベントは物語の進行に大きく関わる顕現性の高いイベントだが，「シ ンデレラが井戸で水を汲む」はそうではない。この ようなイベントの顕現性推定は物語の自動生成など のタスクに役立ち，また物語分析のためのツールと しても有用である $[2,3]$. 物語におけるイベントの 顕現性推定の有望な応用先として，物語の類似性計算が挙げられる．私たち人間は物語の類似性を自然 に認識することができ，例えば「恵まれない境遇の 女性が幸運を掴み成功を手に入れる」という物語は 我々に『シンデレラ』との類似を思い起こさせる. こういった物語の類似性・類型を対象にした研究は 人文学 $[4,5]$ 及び自然言語処理分野 $[6,7,8]$ で盛ん に行われてきた. とくに民俗学や物語論では，顕現性の高いイベントに着目して物語の類型分類・分析 を行う研究が多く存在し $[5,4,9]$, これらの研究は,物語の類似性を計算機によって計算する際にイベン 卜顕現性を考慮することの重要性を示唆している.本研究では，物語論においてロラン・バルト (Roland Barthes) によって提案されたイベント顕現性の概念である枢軸機能体 (Cardinal Functions) $[10,11]$ の定義1) に基づき，あるイベントの顕現性を “そのイベントを物語から削除したときに，物語全体としての首尾一貫性が損なわれる度合い”として 推定する手法を提案する [13]（2 節)。人手によりイ ベント顕現性が付与された昔話コーパスに提案法を

## 言語モデル(首尾一貫性の計算モデル)

salience $\left(\boldsymbol{S}_{3}\right)=\operatorname{coherence}\left(\boldsymbol{S}_{\{\mathbf{1}: n\}}\right)-\operatorname{coherence}\left(\widetilde{\boldsymbol{S}}_{\{1: n\}}\right)$

図 1 バルトの枢軸機能体の概念に基づいた

物語におけるイベントの顕現性推定手法の概要.

適用し，その有効性を実験的に検証する（3 節).

加えて，提案法が物語の類似性計算に有用である か検証するため，提案法を利用した物語の類似性計算方法を検討する．民俗学の専門家により物語の類型が付与された民話コーパスにおける実験で，提案法によりイベント顕現性を考慮する効果を実験的に 検証する（4 節）。

## 2 物語におけるイベント顕現性推定

## 2.1 タスク設定

本研究では Ouyang ら [2] に従い，イベントその ものではなく文の顕現性を推定するタスクに取り 組む. すなわち，物語を構成する各文に対して， その文が顕現性の高いイベントを含む度合いを推定する。形式的には， $n$ 個の文から構成される物語 $S_{\{1: n\}}:=\left.\{S_{1}, \ldots, S_{n}\right.\}$ と，ターゲット文 $S_{k} \in S_{\{1: n\}}$ が与えられ，タスクは $S_{k}$ に対する顕現性スコア $\sigma\left(S_{k}, S_{\{1: n\}}\right) \in \mathbb{R}$ を予測することである.

## 2.2 提案手法

概要 バルトの枢軸機能体の定義に基づき，顕現性スコア $\sigma\left(S_{k}, S_{\{1: n\}}\right)$ を “文 $S_{k}$ に含まれる全てのイ ベントを $S_{\{1: n\}}$ から削除した際に，物語全体として の首尾一貫性が損なわれる度合い”として計算する。提案法の概要を図 1 に示す。
$r$ を後述するイベント削除関数とし, $\widetilde{S}_{\{1: n\}}:=$ $\left.\{S_{\{1: k-1\}}, r\left(S_{k}\right), S_{\{k+1: n\}}\right.\}$ を, $S_{\{1: n\}}$ において $S_{k}$ に含 まれる全てのイベントが削除された物語とする。 $c(S)$ を物語 $S$ の首尾一貫性スコアとすれば， $S_{k}$ に 対する顕現性スコアは以下の式で与えられる。

$
\sigma\left(S_{k}, S_{\{1: n\}}\right):=c\left(S_{\{1: n\}}\right)-c\left(\widetilde{S}_{\{1: n\}}\right)
$

イベントの削除方法 イベント削除関数 $r$ として 以下の 3 つを検討する。

・文削除: 文そのものを削除する
- 動詞置換: 文に含まれる全ての動詞を，“do”, “does”，“did”など一般的な動詞で置き換える2)
- 動詞 - 項置換: 動詞置換と同様の処理に加え, 動詞の項（主格・目的格）を不定代名詞“someone”, “something”で置き換える")

物語の首尾一貫性の計算方法 See ら [14] に従 い，事前学習済み言語モデルによって計算される物語テキストの生成確率をその物語の首尾一貫性スコ アと見なす. 物語テキストの首尾一貫性スコア $c(S)$ は以下の式で与えられる。

$
c\left(S_{\{1: n\}}\right):=\frac{1}{\left|S_{\{k+1: n\}}\right|} \log P\left(S_{\{k+1: n\}} \mid S_{\{1: k-1\}}, S_{k}\right),
$

$c\left(\widetilde{S}_{\{1: n\}}\right):=\frac{1}{\left|S_{\{k+1: n\}}\right|} \log P\left(S_{\{k+1: n\}} \mid S_{\{1: k-1\}}, r\left(S_{k}\right)\right)$,

ここで $\left|S_{\{k+1: n\}}\right|$ は $S_{\{k+1: n\}}$ に含まれるトークンの総数である. 詳細を付録 A. 1 に示す.

## 3 実験 1: 物語中の文の顕現性推定

本節では，提案法が物語におけるイベント顕現性 を推定できるかどうかを実験的に確かめる．具体的 には，人手によりイベント顕現性が付与された物語 コーパスを用いて，各提案法の性能を複数のベース ライン手法と比較する.

## 3.1 実験設定

データセット 評価用データセットとして, Finlayson [15] によって提案された ProppLearner コー パスを使用した。コーパスの基本統計量を付録 A. 2 の表 3 に示す.コーパス中の各物語には，動詞に対

2）置換先の一般的な動詞として "do", “does", “did", “done”, “doing”を使用する．例えば，品詞タグが VBZ（三人称単数現在形の動詞）である場合，“does”で置き換える.

3）ARG0 (agent) に該当するテキストのスパンを “someone”で， ARG1 (patient) に該当するスパンを“something”で置き換える。
して Propp の機能4)（顕現性の高いイベント）が付与されている． 2.1 節のタスク設定に従い，各手法 はそのような動詞を含む文を判別する.

提案法に用いる言語モデル 首尾一貫性の計算 に使用する言語モデルとして, 事前学習済みの GPT-2 [17]を使用した. 物語ドメインへの適応の度合いが異なる 3 種類の fine-tuning の設定を検討する。

・ fine-tuning なし: 事前学習済みの GPT-2をその まま使用する。
- BookCorpus: 一般的な物語ドメインへの適応を 狙い，物語ドメインの大規模コーパスである BookCorpus [18] で fine-tuning する.

$\cdot$ ProppLearner: トランスダクティブ設定 $[19,20]$ のドメイン適応として, ProppLearnerコーパス で fine-tuning する.

ベースライン手法 提案法の比較対象として，以下のベースライン手法を検討する:

・ランダムベースライン: 各文に対して $[0,1)$ の 範囲のランダムなスコアを与える.

・TF-IDFベースライン: 各文に対してその文を構成する単語の TF-IDF 値の和を与える。

## 提案法と TF-IDF ベースラインの組み合わせ手法加えて, 各提案法と TF-IDFベースラインを組み合 わせる手法を検討する．各提案法と TF-IDFベース ラインが各文に対して計算する顕現性スコアはまず 各物語内で $[0,1]$ の値に正規化され，それら 2 つの 値の和が組み合わせ手法の顕現性スコアとなる。

以上より，提案法はイベント削除方法 ( 3 種類) $\times$言語モデルの fine-tuning 設定 $(3$ 種類 $)=9$ 種類のバリ エーションをもつ．TF-IDFベースラインとの組み 合わせ手法を含めると計 18 種類となる.

評価指標 Liu ら [21] に従い，顕現性推定をラン キング問題とみなして評価を行う。すなわち，各手法はそれぞれの物語に含まれる文を顕現性スコアの 高い順にランク付けし, 最終的に構成されるランキ ングの良さを評価する。評価尺度として，2 値適合性に基づくランキングの評価に一般的に用いられる Mean Average Precision (MAP) [22]を使用した.

## 3.2 実験結果

表 1 に各手法の結果を示す. +TF-IDF に対応する 行は組み合わせ手法の結果を表している。全提案法

4）Propp の機能は “登場人物の行為で、しかも、筋＝出来事全体の展開過程にとって当の行為がもちうる意義 (位置) という 観点から規定された登場人物の行為” [16] と定義される.

は一貫してランダムベースラインの性能を上回り，提案法単独では (文削除, ProppLearner) が最も高い性能を示した。

イベントを削除する方法の比較 動詞置換や動詞・項置換と比べて，文削除が概ね良い性能を示し ていることがわかる. 動詞置換や動詞・項置換によ るイベント削除は文からイベントの情報のみをより 精緻に削除することが期待されたが，実験結果はこ れらのイベント削除方法は効果的でないことを示し ている．動詞置換や動詞・項置換では，文に含まれ る単語を置換する操作によって不自然な文が生成さ れ，こうした文が言語モデルの推論に悪影響を及ぼ している可能性が考えられる.

言語モデルの fine-tuning の効果 GPT-2を BookCorpus で fine-tuning した場合には一貫して提案法 の MAP スコアが改善しており，またトランスダク ティブ設定の fine-tuning をした場合には文削除と動詞・項置換による提案法の MAP スコアが改善して いることが確認できる。これらの結果から，首尾一貫性の計算に使用する言語モデルを物語ドメインに 適応させることが有効であることがわかる.

提案法と TF-IDF ベースラインの組み合わせ手法組み合わせ手法は全ての場合で各提案法そのもの, あるいは TF-IDF ベースラインそのものの性能を一貫して上回る結果となり，最終的に提案法（文削除， BookCorpus）と TF-IDF ベースラインの組み合わせ が全手法の中で最も高い性能を達成した. これらの 結果は，バルトの枢軸機能体の概念に基づいて提案法が計算するイベント顕現性の手がかりと，単語の 頻度・逆文書頻度に基づく手がかりが相補的な関係 にあり，これらが統合されることでより良いイベン 卜顕現性の尺度となっていることを示唆している。

付録 A. 3 の表 5 に童話『シンデレラ』の toy example に対する提案法の実際の振る舞いを示す.

## 4 実験 2: 物語類似性計算への応用

本節では，提案法が計算する顕現性スコアが物語 の類似性計算に有用であるか実験的な検証を行う。具体的には，まずイベント顕現性を考慮する儿ない という点のみが異なる物語の類似性計算方法を検討 する。次にそれらを専門家による分類が付与された 物語データセットに適用し，内的/外的な評価を行う ことで，提案法により顕現性を考慮することで物語 の類似性計算が改善するかどうかを確かめる。

表 1 各手法のMAP スコア. ランダムベースラインは シード值を変えて 10 回の実験を行った際の平均值である (標準偏差 $=0.015)$. ダガーのついた値はランダムベース ラインから $p<0.05$ で統計的に有意な差があったものを 示している。統計的検定は Wilcoxon signed-rank test [23] により行った.太字の值は提案法単独で最も性能が高い ものを，太字かつ斜体の値は提案法と TF-IDF ベースライ ンの組み合わせ手法の中で最も性能が高いものを示す。

## 4.1 物語類似性の計算方法

物語テキスト $S$ 及び $S^{\prime}$ の埋め込み表現をそれぞ れ $\mathbf{S}, \mathbf{S}^{\prime}$ とする. $\mathbf{S}, \mathbf{S}^{\prime}$ はそれぞれ物語 $S$ 及び $S^{\prime}$ を構成する文の文ベクトル和である. 本研究では $S$ と $S^{\prime}$ の類似度 $\operatorname{sim}\left(S, S^{\prime}\right)$ をコサイン類似度 $\cos \left(\mathbf{S}, \mathbf{S}^{\prime}\right)$ で計算する。

イベント顕現性を考慮しない場合: 文ベクトル を，文を構成する単語の単語ベクトルの和とする。

イベント顕現性を考慮する場合：文ベクトルを，文を構成する単語の単語べクトルの顕現性重みつ き和とする。重みは提案法が文に対して計算した顕現性スコア゙)であり，(文削除, fine-tuning なし) 及び (文削除, BookCorpus) の 2 通りを検討する. 比較対象として，重みを単語の TF-IDF 值とするべースラ インを検討する。また各提案法と TF-IDFベースラ

5）顕現性スコアは負の値をとる場合もあるため，重みは $1+[0,1]$ に正規化した顕現性スコアとした。

6) 重みを 1 + (正規化した顕現性スコアと正規化した TF-IDF 値の平均値)とした。

 &  \\

TF-IDF & - & $\mathbf{. 1 7 8 0}$ & .0029 & .0034 \\

fine-tuning なし) & $\checkmark$ & .1724 & .0049 & .0052 \\

BookCorpus) & $\checkmark$ & .1725 & $\mathbf{. 0 0 6 0}$ & $\mathbf{. 0 0 5 4}$ \\

表 2 物語の類似性計算の実験結果. 太字の値は各指標で 最も性能が高いものを示す。+TF-IDF に対応する行は各提案法と TF-IDFベースラインの組み合わせ手法を示す.

インの組み合わせ手法6)を検討する．全ての場合で 重み付けを行う単語は文に含まれる動詞とその項 （主格・目的格）とした.

## 4.2 実験設定

データセット 評価用データセットとして，大竹ら [24] が作成した 793 編の民話からなるデータ セットを使用した. データセットの基本統計量を付録 A. 2 の表 4 に示す. 各物語には，民俗学において 最も一般的な民話の分類体系の一つであるATU 分類 [5] が付与されている．ATU 分類は，物語をその モチーフ（物語中に出現する特徵的な要素，たとえ ば「Crimes punished (罪が罰せられる)」）に基づき階層的に分類した体系である.

内的な評価方法: RSA Score ATU 分類の分類木上での物語の距離構造が，どの程度埋め込み空間 にエンコードされているかを RSA Score $[25,26] を$用いて定量的に評価する. 今回使用する民話デー タセットの埋め込み空間における表現を $r_{1}$, 分類木上での離散的な表現を $r_{2}$ とする. Bouchacourt ら [26] に従い， $r_{1}$ 内で物語ぺアの全組み合わせに ついて類似度を計算し，その類似度列を $s_{1}, r_{2}$ に おいて同様に求めた類似度列を $s_{2}$ として， $s_{1}$ と $s_{2}$ の間のスピアマンの順位相関係数を RSA Score と する。ただし，分類木における物語間の類似度は，物語 $S$ と $S^{\prime}$ の分類木上でのパス長を $\operatorname{dist}\left(S, S^{\prime}\right)$ と し, $\max _{S, S^{\prime}}\left[\operatorname{dist}\left(S, S^{\prime}\right)\right]-\operatorname{dist}\left(S, S^{\prime}\right)$ として計算した. RSA Score の値が高ければ，ATU 分類における物語 の距離構造が，埋め込み空間によく反映されている （すなわち， $r_{1}$ で近い物語ペアは $r_{2}$ で近く, $r_{1}$ で遠 い物語ぺアは $r_{2}$ で遠くなっている）ことを示す.

外的な評価方法: ARIによるクラスタリング評価先に述べた複数の類似性計算方法により物語の集合 をクラスタリングし，結果が専門家による分類であ
る ATU 分類とどの程度一致するかを評価する。ク ラスタリング結果の分割 $\widehat{C}$ と正解の分割 $C$ の一致 の尺度として，一般的に用いられる Adjusted Rand Index（以下 ARI）[27]を用いた。また，クラスタリ ングアルゴリズムとして階層的凝集型クラスタリン グ（群平均法）を使用した。クラスタリングとその 結果の評価は, ATU 分類の中間層における分類 (例: ATU type1-99『野生動物』), 及び最下層における分類 (例: ATU type333『赤ずきん』)の 2 通りで行った.内的/外的な評価実験共に，単語ベクトルとして学習済みの GloVe [28]を使用した。

## 4.3 実験結果

結果を表 2 に示す. RSA Score による内的な評価 に注目すると，イベント顕現性を考慮しない場合と 比較して，提案法によってイベントの顕現性を考慮 することで物語の類似性計算が改善していること がわかる．クラスタリングによる外的な評価に注目 すると，提案法単独の重み付けをおこなった場合， ATU 分類の最下層におけるクラスタリングでは効果が見られなかったものの，中間層においては提案法のイベント顕現性スコアを考慮することでょり正解の分類と近いクラスタが形成されていることがわ かる.また実験 1 の結果（3節）と同様, 評価指標 によらず提案法と TF-IDF ベースラインを組み合わ せることで提案法単体よりも性能が向上しているこ とが確認できる。これらの結果は，バルトの枢軸機能体の概念に基づく提案法が物語の類似性計算に役立つ可能性を示唆するものである.

## 5 おわりに

本論文では，物語論におけるイベント顕現性の概念であるロラン・バルトの枢軸機能体の定義を足掛 かりに，物語におけるイベントの顕現性を言語モデ ルを利用して推定する教師なし手法を提案した。人手によりイベント顕現性が付与された昔話データ セットにおける実験で，提案法はべースライン手法 の性能を上回ることを示した。加えて，物語におけ るイベント顕現性推定の有望な応用先として，提案法が物語の類似性計算に有用であるか検証を行っ た. 専門家による類型分類が付与された民話データ セットにおける実験で，提案法が物語の類似性計算 に役立つ可能性が示唆された。

謝辞本研究は JSPS 科研費 JP19H04425 の助成を 受けたものである.

## 参考文献

[1] H Porter Abbott. The Cambridge Introduction to Narrative. Cambridge Introductions to Literature. Cambridge University Press, 2 edition, 2008.

[2] Jessica Ouyang and Kathleen McKeown. Modeling Reportable Events as Turning Points in Narrative. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2149-2158, Lisbon, Portugal, 9 2015. Association for Computational Linguistics.

[3] Pinelopi Papalampidi, Frank Keller, and Mirella Lapata. Movie Plot Analysis via Turning Point Identification. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 1707-1717, Hong Kong, China, 11 2019. Association for Computational Linguistics.

[4] Vladimir Propp. Morphology of the Folktale. University of Texas Press, 1968.

[5] Hans-Jörg Uther. The Types of International Folktales: A Classification and Bibliography, based on the system of Antti Aarne and Stith Thompson, Vol. 1-3. Suomalainen Tiedeakatemia, Academia Scientiarum Fennica, Helsinki, 2004.

[6] Lisa Friedland and James Allan. Joke retrieval: recognizing the same joke told differently. In Proceedings of the 17th ACM Conference on Information and Knowledge Management (CIKM), pp. 883-892, Napa Valley, California, USA, 2008. Association for Computing Machinery.

[7] Dong Nguyen, Dolf Trieschnigg, and Mariët Theune. Using Crowdsourcing to Investigate Perception of Narrative Similarity. In CIKM, CIKM '14, pp. 321-330, New York, NY, USA, 2014. ACM.

[8] Snigdha Chaturvedi, Shashank Srivastava, and Dan Roth. Where Have I Heard This Story Before? Identifying Narrative Similarity in Movie Remakes. In NAACL, pp. 673-678, New Orleans, Louisiana, 6 2018. Association for Computational Linguistics.

[9] A Aarne and S Thompson. The types of the folktale: a classification and bibliography. FF communications. Suomalainen Tiedeakatemia, Academia Scientarum Fennica, Helsinki, 1961.

[10] Roland Barthes. Introduction à l'analyse structurale des récits. Communications, 8, 1966. Recherches sémiologiques : l'analyse structurale du récit., 1966.

[11] Roland Barthes and Lionel Duisit. An Introduction to the Structural Analysis of Narrative. New Literary History, Vol. 6, No. 2, p. 237, 1975.

[12] Gerald Prince, 遠藤健一. 物語論辞典. 松柏社叢書, 言語科学 の冒険 4. 松柏社, 改訂, 2015.

[13] Takaki Otake, Sho Yokoi, Naoya Inoue, Ryo Takahashi, Tatsuki Kuribayashi, and Kentaro Inui. Modeling Event Salience in Narratives via Barthes' Cardinal Functions. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 17841794, Barcelona, Spain (Online), 12 2020. International Committee on Computational Linguistics.

[14] Abigail See, Aneesh Pappu, Rohun Saxena, Akhila Yerukola, and Christopher D Manning. Do Massively Pretrained Language Models Make Better Storytellers? In Proceedings of the 23rd Conference on Computational Natural Language Learning (CoNLL), pp. 843-861, Hong Kong, China, 11 2019. Association for Computational Linguistics.

[15] Mark A Finlayson. ProppLearner: Deeply annotating a corpus of Russian folktales to enable the machine learning of a Russian formalist theory. Digital Scholarship in the Humanities, Vol. 32, No. 2, pp. 284-300, 2015.

[16] Vladimir Propp, 北岡誠司, 福田美智代. 昔話の形態学. 叢書記号学的実践, No. 10. 白馬書房, 1987.

[17] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language Models are Unsupervised
Multitask Learners. OpenAI Blog, Vol. 1, No. 8, 2019.

[18] Yukun Zhu, Ryan Kiros, Rich Zemel, Ruslan Salakhutdinov, Raquel Urtasun, Antonio Torralba, and Sanja Fidler. Aligning Books and Movies: Towards Story-Like Visual Explanations by Watching Movies and Reading Books. In The IEEE International Conference on Computer Vision (ICCV), 122015.

[19] Vladimir Vapnik. Statistical learning theory. Wiley, 1998.

[20] Hiroki Ouchi, Jun Suzuki, and Kentaro Inui. Transductive Learning of Neural Language Models for Syntactic and Semantic Analysis. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3665-3671, Hong Kong, China, 11 2019. Association for Computational Linguistics.

[21] Zhengzhong Liu, Chenyan Xiong, Teruko Mitamura, and Eduard Hovy. Automatic Event Salience Identification. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1226-1236, Brussels, Belgium, 2018. Association for Computational Linguistics.

[22] Christopher D Manning, Prabhakar Raghavan, and Hinrich Schütze. Evaluation in information retrieval. In Introduction to Information Retrieval, p. 139-161. Cambridge University Press, 2008.

[23] Frank Wilcoxon. Individual Comparisons by Ranking Methods. Biometrics Bulletin, Vol. 1, No. 6, pp. 80-83, 1945.

[24] Recurrent Neural and Point-wise Mutual. 顕現的要素の出現順序に基づく物語の類似性尺度. 言語処理学会 第 25 回年次大会 発表論文集, pp. 304-307, 2019.

[25] Nikolaus Kriegeskorte, Marieke Mur, and Peter Bandettini. Representational similarity analysis - connecting the branches of systems neuroscience. Frontiers in Systems Neuroscience, Vol. 2, No. NOV, pp. 1-28, 2008.

[26] Diane Bouchacourt and Marco Baroni. How agents see things: On visual representations in an emergent language game. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 981-985, Brussels, Belgium, 2018. Association for Computational Linguistics.

[27] Lawrence Hubert and Phipps Arabie. Comparing Partitions. Journal of Classification, Vol. 2, No. 1, pp. 193-218, 1985.

[28] Jeffrey Pennington, Richard Socher, and Christopher Manning. \{G\}love: Global Vectors for Word Representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543, Doha, Qatar, 10 2014. Association for Computational Linguistics.

[29] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, and Jamie Brew. HuggingFace's Transformers: State-of-the-art Natural Language Processing. arXiv:1910.03771, 2019.

[30] Lars Buitinck, Gilles Louppe, Mathieu Blondel, Fabian Pedregosa, Andreas Mueller, Olivier Grisel, Vlad Niculae, Peter Prettenhofer, Alexandre Gramfort, Jaques Grobler, Robert Layton, Jake VanderPlas, Arnaud Joly, Brian Holt, and Gaël Varoquaux. API design for machine learning software: experiences from the scikit-learn project. In ECML PKDD Workshop: Languages for Data Mining and Machine Learning, pp. 108-122, 2013.

[31] Chikashi Nobata, Satoshi Sekine, and Hitoshi Isahara. Evaluation of Features for Sentence Extraction on Different Types of Corpora. In Proceedings of the ACL 2003 Workshop on Multilingual Summarization and Question Answering, pp. 29-36, Sapporo, Japan, 7 2003. Association for Computational Linguistics.

[32] Matt Gardner, Joel Grus, Mark Neumann, Oyvind Tafjord, Pradeep Dasigi, Nelson F Liu, Matthew Peters, Michael Schmitz, and Luke S Zettlemoyer. AllenNLP: A Deep Semantic Natural Language Processing Platform. 2017.

## A 付録

## A. 1 提案法詳細

首尾一貫性の計算に使用した GPT-2 は，一度に入力できるテキストの長さに制限があるため，実装上はターゲット文 の前後の文脈を適当に捨てることで首尾一貫性スコア $c\left(S_{\{1: n\}}\right)$ を計算した:

$
c(S)=\frac{1}{\left|S_{\left.\{k+1: n-\ell^{\prime}\right.\}}\right|} \log P\left(S_{\left.\{k+1: n-\ell^{\prime}\right.\}} \mid S_{\{1+\ell: k-1\}}, S_{k}\right)
$

$\left|S_{\{i: j\}}\right|$ は $\left(S_{i}, \ldots, S_{j}\right)$ に含まれるトークンの総数を示す. $\ell^{\prime}$ 及び $\ell$ は言語モデルの最大入力長 $L$ によって決まる閾値であ り, $\left|S_{\left.\{k+1: n-\ell^{\prime}\right.\}}\right|+\left|S_{\{1+\ell: k\}}\right|$ が $L$ 以下かつ最大の值をとるように定める. $c(\widetilde{S})$ についても同様である. ただし $P\left(S_{i}\right)$ はトー クンの生成確率の積である:

$
\log P\left(S_{i} \mid \text { context }\right)=\log P\left(w_{1}^{(i)} \mid \operatorname{context}\right)+\sum_{j=2}^{\left|S_{i}\right|} \log P\left(w_{j}^{(i)} \mid \operatorname{context}, w_{1}^{(i)}, \ldots, w_{j-1}^{(i)}\right)
$

また，各物語の最後の文の顕現性スコアを計算するため，各物語の末尾に文書の区切りを示す特殊トークンを添加し た. 提案法はこの特殊トークンの生成確率を利用することで，各物語の最後の文の顕現性スコアを他の文と同様に計算 することが可能である.

## A. 2 実験に使用したデータセットの基本統計量

表 3 ProppLearnerコーパスの基本統計量

表 4 大竹ら [24] が作成した民話コーパスの基本統計量

## A. 3 提案法の toy example に対する振る舞い

表 5 童話『シンデレラ』の toy example に対して提案手法 (文削除,fine-tuning なし)を適用した際の振る舞い.

提案法の実際の物語に対する振る舞いを定性的に分析するため，6文から構成される童話『シンデレラ』の toy example に対して提案法を適用した. 表 5 に，各文に対して提案法（文削除，fine-tuningなし）が計算した顕現性スコアを示す.「魔法使いが現れ，シンデレラにドレスや馬車，御者を与える」や「シンデレラが王子に見初められる」といった顕現性 の高いイベントを表現している文に対しては，「シンデレラが井戸で水を汲む」といった顕現性が低いイベントを表す文 よりも高い顕現性スコアを与えていることがわかる.

## A. 4 実装の詳細

GPT-2 の実装は transformers [29] の事前学習済みモデル (12-layer, 768-hidden, 12-heads, 117M parameters)を使用した. 実験 1,2 で行った顕現性スコアのスケーリングには，scikit-learn [30] の MinMaxScalerを使用した. 実験 1,2 の TF-IDFべー スラインでは野畑ら [31] の研究において T3 と呼ばれる修正 TF-IDF 值を使用した. イベントを表す単語（動詞とその項） の抽出について，実験 1 では ProppLearner コーパスが品詞タグや述語項構造のアノテーションを含んでいるためこれら をそのまま利用した．実験 2 で使用した大竹ら [24] の民話コーパスはそのようなアノテーションを含まないため, Allen NLP [32] が提供している述語項構造解析器の実装5)を用い，その解析結果を利用した.

5) https://demo.allennlp.org/semantic-role-labeling


# $A B C$ ツリーバンク：学際的な言語研究のための基盤資源

窪田悠介
国立国語研究所
kubota@ninjal.ac.jp
林則序
東京大学
hayashi@phiz.c.u-tokyo.ac.jp

## 1 はじめに

NLP と理論言語学の融合的研究に活用可能な 日本語の範疇文法ツリーバンクである ABC ツ リーバンクを構築した。ツリーバンクのデータ,構築のために開発したツール群，マニュアルは， https://github.com/ABCTreebank/で公開する。本論文では，主要な言語現象のアノテーションを概説 し，活用事例として，このツリーバンクを学習デー タとして統語パーサ（CCG パーサ）を訓練し，論理的意味表示に基づいてパーサの性能を評価する実験 を試行的に行った結果について報告する。1)

## 2 ABC 文法の概要

$\mathrm{ABC}$ リーバンクで用いられているのは ABC 文法という範疇文法の一種である。これは組み合わ せ範疇文法 (CCG; [14, 18]) やタイプ論理文法 (TLG; $[12,11,7])$ といった特定の範疇文法の流派へのコ ミットメントを避けながらも，それらの文法への変換の土台となりうる，汎用性を重視した中間的枠組 みである。以下， $\mathrm{ABC}$ 文法の基本的な構成要素であ るカテゴリと素性，および種々の規則を示す。

## 2.1 カテゴリと素性

$\mathrm{ABC}$ 文法で用いられている基本カテゴリ (atomic category)のうち，代表的なものを表 1 に挙げる。2)

カテゴリには素性が表示されることがある。3)素性は小文字で始め，大文字のカテゴリに続けて表記

//github.com/ajb129/KeyakiTreebank) [4] からの変換によっ て構築された。構築の詳細については $[19,8]$ を参照。

2） S，CP はそれぞれ，元コーパスのけやきツリーバンクでの IP, CP に対応し, 生成文法での区分とは必ずしも一致しない。

3）素性による区別は，けやきツリーバンクにおける拡張タグ を用いた区別におおむね準ずる。
}

峯島宏次

慶應義塾大学

minesima@abelard.flet.keio.ac.jp

岡野 伸哉

東京大学

okano@phiz.c.u-tokyo.ac.jp

表 1 代表的な基本カテゴリ

する。以下では代表的な素性をカテゴリと合わせて 列挙する。

文法役割を示すもの PPs (主語), PPs2 (第二主語), PPo1 (第一目的語), PPo2 (第二目的語), CPt-sbj (補部節主語), CPq-sbj (疑問節主語) ${ }^{4}$

節の種類を示すもの $\mathrm{Sa}$ (連用節), $\mathrm{Se}$ (空所なし名詞修飾節), Simp (命令節), Sm (主節), Snml (名詞化節), Srel (関係節), Ssmc (小節), Ssub (準主節), $\mathrm{CPf}$ (終助詞節), $\mathrm{CPq}$ (疑問節) $\mathrm{CPt}$ (補部節), $\mathrm{CPx}$ (感嘆節)

## 量化的であることを示すもの $\mathrm{NPq$}

一般に範疇文法では，X，Y がカテゴリであるなら ば， $\mathrm{X} / \mathrm{Y}, \mathrm{Y} \backslash \mathrm{X}$ もカテゴリ（関数的カテゴリ）である。例えば，自動詞は $\mathrm{PPs} \backslash \mathrm{S}$ ，他動詞は $\mathrm{PPo} 1 \backslash(\mathrm{PPs} \backslash \mathrm{S})$ と いうカテゴリを付与される。

## 2.2 統語規則

$\mathrm{ABC}$ 文法という名前には，関数適用の規則の みをもつ $\mathrm{AB}$ 文法 $[1,3]$ に，関数合成 (Function Composition)の規則を加えたもの，という由来があ る。したがってこの 2 つは基本的な規則として置か

れている。図1にこれを示す。5)

図 1 基本的な規則

上に示した binary 規則だけでなく，ある 1 つのカ テゴリを別のカテゴリに変換する，unary 規則も存在する。これは日本語を分析するにあたっての必要性から用いられるもので，上記の一般的な規則と は異なり，適用可能なカテゴリ・素性が限られてい る。unary 規則は以下のものに大別される。(i) 名詞 の項化・述語化; (ii) 関係節による名詞修飾 ; (iii) 連用節化・副詞化; (iv) かき混ぜ。以下，規則において 素性の指定がない場合は，カテゴリさえ合致してい ればそれが適用可能であるということを意味する。

## 2.2.1 名詞の項化・述語化

名詞 $\mathrm{N}$ はまず名詞句 $\mathrm{NP}$ を投射した上で，さらに 述語または項としてのカテゴリを投射する。以下，関連する unary 規則を簡単に説明する (表 2 参照)。

名詞の名詞句化 本ツリーバンクでは, 基本カテ ゴリとして N と NP の区別を行い，N から NP へは，つねに 1 本の unary branch が伸びる。

名詞句の述語化 コピュラが後続する名詞句は それ自体が述語と見なされ，S で終わるカテゴ リとなる（コピュラは $\mathrm{S} \backslash \mathrm{S}$ のようなカテゴリを 与えられ，関数合成で述語名詞句と結びつく)。

名詞句の後置詞句化 表層で格助詞が落ちる名詞句も，格助詞のある場合と同じカテゴリとし て扱うため unary 規則で PP を投射する。

表 2 名詞の項化・述語の規則 (抜粋)

## 2.2.2 関係節による名詞修飾

日本語には英語のような明示的な関係代名詞が存在しないため，表 3 に代表される規則を用いて関係節 (Srel) を名詞を修飾するカテゴリ（N/N）へと変換する。
 / \$$ は $\mathrm{X}, \mathrm{X} / \mathrm{Y},(\mathrm{X} / \mathrm{Y}) / \mathrm{Z}, \ldots$ のいずれかを， $\$ \mathrm{X}$ は $\mathrm{X}, \mathrm{Y} \backslash \mathrm{X}$, $\mathrm{Z} \backslash(\mathrm{Y} \backslash \mathrm{X}), \ldots$ のいずれかを表す。
}

表 3 関係節による名詞修飾の規則 (抜粋)

## 2.2.3 連用節化・副詞化

バンクの仕様を引き継ぎ，動詞の連用形と終止形を カテゴリの上で区別しない。一方で，両ツリーバン クは連用節に特別のカテゴリを与えている（けやき ツリーバンクにおける連用節 IP-ADV が ABC ツリー バンクの $\mathrm{Sa}$ に対応する)。この情報を利用し，動詞 の連用形が「て・で」などの接続助詞を伴わずに連用節をなすケースについて，表 4 上段の規則を導入 する。つまり，Saで終わるカテゴリから，S で終わ るカテゴリを修飾するカテゴリへの変換である。

加えて，「今朝」のような副詞的な用法をもつ名詞句についても，同様に S で終わるカテゴリを修飾す るカテゴリへの変換規則が必要である (表 4 下段)。

表 4 連用節化・副詞化の規則 (抜粋)

## 2.2.4 かき混ぜ

ABC ツリーバンクでは，かき混ぜ (scrambling)を 規則で扱う。例えば，「主語-目的語-述語」という語順と，「目的語-主語-述語」という語順に対応して，同じ音形の述語に別個の語彙項目を割り当てるので はなく，前者を基本語順として，それ以外の語順は 規則適用によって捉える，という扱いをする (表 5)。

表 5 かき混ぜの規則 (抜粋)

## 3 意味表示

範疇文法をフレームワークとして用いる ABC リーバンクは，統語構造と意味表示との対応に関し て明示的な解析を与える。範疇文法の意味パーサ ccg2lambda [9], および，辞書としての意味テンプ

レートを用いることで， $\lambda$ 計算に基づく意味合成に

出木を自動的に得ることができる。意味表示として は一階論理 (FOL)，談話表示構造 (DRS) [6]，高階論理 (HOL) の 3 つの出力形式を用いる。

具体例として，(1)の各意味表示を以下に示す。

(1) 窓が開けてある。 (Keyaki:13_textbook_djg_gram_terms)

FOL: $\exists x_{1} \exists x_{2}$. (窓 $\left(x_{2}\right) \wedge \exists e_{3}$. ( 開ける $\left(e_{3}\right) \wedge \arg \_\mathrm{s}\left(e_{3}, x_{1}\right) \wedge$ arg_01 $\left.\left.\left(e_{3}, x_{2}\right) \wedge \tau\left(e_{3}\right)\right)\right)$

DRS: $\left(\left.\{x_{1}, x_{2}, e_{3}\right.\},\left.\{\right.\right.$ 窓 $\left(x_{2}\right)$, 開ける $\left(e_{3}\right), \arg s\left(e_{3}, x_{1}\right)$,

$
\left.\left.\left.\arg 001\left(e_{3}, x_{2}\right), \tau\left(e_{3}\right)\right)\right.\}\right)
$

HOL: ある $(\lambda y \lambda x$. 開ける $(x, y)$, 窓 $)$

それぞれの意味表示について簡単に説明する。

FOL FOL の意味表示は Neo-Davidsonian Event Semantics [13] に基づく。ここで, $\arg s(e, x)$ と arg_01 $(e, x)$ はそれぞれ，ABC 文法のカテゴリ PPs と PPo1 に対応する意味役割であり, 「イベント $e$ の主体は個体 $x$ である」「e の対象は $x 」 を$ 表す。 (1)では，「(て) ある」を受身に類する述語として解析することで，適切な述語項構造が得られている。6)

DRSDRS は意味合成によって導出された FOL の意味表示からの自動変換によって得られる。DRS は, 談話指示物 (discourse referent) $の$ 集合 $D$ と条件 の集合 $C$ の対 $(D, C)$ から構成され, 図 2 のように Box 表記により見通しよく表すことができる。また 4 節で述べるように，DRS を節形式に変換すること で意味表示の評価に用いることができる。

HOL HOL は範疇文法の統語構造に即した意味表現であり，範疇文法の意味合成の過程を関数と項の 形で明示的に記述することができる。上の HOL の 例では，「(て) ある」は高階述語として扱われ，2 項述語「開ける」を項とし, その項構造を変化させ る役割を担う。

ここで使用している論理的な意味表示の特徴とし て, 量化や否定，モーダル表現などのスコープを明示的に表現できることが挙げられる。例えば，以下 に示す (2)の各意味表示は, 理由の「から」および否定「ない」がもつスコープ関係を捉えたものである。

（2）咳がなおらないから，病院に行きます。 (642_textbook_purple_basic)

6）使役・受身やコントロール述語などの文末述語の扱いにつ いて詳しくは $[19,8]$ を参照。

図 2 (1)と(2)の DRS の Box 表記

FOL: $\exists x_{1}$. (病院 $\left(x_{1}\right) \wedge \exists e_{2}$. (行く $\left(e_{2}\right) \wedge \arg \mathrm{s}\left(e_{2}\right.$, speaker $) \wedge$ に $\left(e_{2}, x_{1}\right) \wedge$ から $\left(e_{2}, \neg \exists x_{3}\right.$. 咳 $\left(x_{3}\right) \wedge \exists e_{4}$. なおる $\left(e_{4}\right) \wedge$ $\left.\left.\left.\left.\left.\arg \mathrm{s}\left(e_{4}, x_{3}\right)\right)\right)\right)\right)\right)$

DRS: $\left(\left.\{x_{1}, e_{2}\right.\},\left.\{\right.\right.$ 病院 $\left(x_{1}\right)$, 行く $\left(e_{2}\right)$, arg_s $\left(e_{2}\right.$, speaker $)$, に $\left(e_{2}, x_{1}\right)$, から $\left(e_{2}, \neg\left(\emptyset,\left.\{\left(\left.\{x_{3}, e_{4}\right.\},\left.\{\right.\right.\right.\right.\right.$ 咳 $\left(x_{3}\right)$,

なおる $\left.\left.\left.\left.\left.\left.\left.\left(e_{4}\right), \arg \mathbf{s}\left(e_{4}, x_{3}\right)\right.\}\right)\right.\}\right)\right)\right.\}\right)$

HOL: から (なおる (咳),に (病院, $\lambda x$. 行く $(x))$, speaker)

現時点で意味表示の導出に用いられる意味テンプ レートは， unary 規則に対するもの（46個），カテゴ リに対する意味割り当て（62 個），カテゴリと単語 のペアに対する意味割り当て（68 個）からなる。付

クの導出木を示す。

## 4 統語パーサの構築と評価

$\mathrm{ABC}$ ツーバンクの応用として日本語統語パー サの構築が考えられる。以下，この途中経過を報告 する。係り受け以上の細かい分析を行うパーサに関 しては，木構造の些末な差異などが性能評価に大き な影響を及ぼしがちであり，適切な評価指標は何 かという問題がつきまとう。一つの解決策として， パーサの性能評価を構文木のレベルで行うのでな く，構文木に基づいて得られる意味表示（3 節参照） のレベルで行う方法が考えられる。以下，この手順 で行った性能評価の結果を報告する。

表示の妥当性を人手でチェックし，評価用の GOLD データ（223 件）を作成した。言語現象の多様性を 確保するため，言語学のテキストの例文を集めた もの（textbook, 133 例）を中心とし，その他に書籍 (book, 11 例), 辞書 (dict, 17 例)，フィクション (fiction, 26 例)，ニュース (news, 8 例)，ノンフィ クション (nonfiction, 13 例)，テッドトーク（ted,

15 例）という複数のジャンルの文を含めた。

今回は，[17] と同様の手法によって，範疇と木 の依存関係の両方を表現ベクトルの中に含んだ bi-LSTM モデルを，AllenNLP [5] を用いて訓練した。 $\mathrm{ABC}$ ツーー゙ンクの全データ（44,750 文）から上記の評価用データ（223 文）を除き，さらに二分木 でないもの7)を排除した 21,456 文のうち，訓練用 に 17,137 文，訓練のステップごとの評価のために 4,319 文を分けて，訓練を行った。8)

ここで学習したパーサの評価のため，パーサの出力の木からテンプレートにより意味表示を導出し， それを DRS の節形式に変換する。節形式は, 節の一致率を求める評価手法 (COUNTER [16]) によって比較 することが可能である。9) (2) の節形式を図 3 に示す。

図 3 (2) のDRS から得られた節形式

$\mathrm{ABC}$ パーサで評価用データの 223 文を解析10) し, 出力の導出木から DRS の節形式を生成した。 COUNTER による GOLD の節形式との一致率は, precision の平均が $77.4 \%$, recall の平均が $76.4 \%, \mathrm{~F} 1$ の平均が $76.7 \%$ であった。意味表示が出力されず解析エラーとなったものは，10文であり，残りの 213 文に対しては well-formed な意味表示が出力された。

以下では一致率が低かった文に関するエラー分析 の結果を簡単に報告する。問題点は主に，係り受け や連体節の種類（「内の関係」対「外の関係」）など，統語解析のみでは解決が困難な問題に関するパーサ の誤解析と，変換元コーパスのけやきツリーバンク の仕様に依存する部分でのエラーに大別できる。 パーサの誤解析に関しては，(3)のような例 ( prec/rec/F1 = 42.9/45.0/43.9）で「内の関係」の連体節が誤って「外の関係」として解析されるケースや,

7）例えば，複数文の埋め込み multi-sentence や，断片的な文 FRAG 範疇とする部分木を含む文が該当する。

8）結果とパラメータは, https://github.com/ABCTreebank/ ABCTreebank/tree/master/papers/202103_NLP27 で公開予定。

9) これは, Abstract Meaning Representation (AMR [2]) の評価で 使われている SMATCH をスコープ付きの意味表現に拡張した 評価法である。詳細は [16]を参照。

10）それらの文の形態素解析は，もとの ABCツリーバンクに おける解析をそのまま使用した。
(4)のような例（50.0/45.5/47.6）で動詞の項の係り受 け先が正しくないケースが目立った（「教える」に 係るべき「人に」が誤って「獲る」に係っている)。

（3） ... 泳ぎをおぼえるチャンスもなかった。

(7_book_excerpt-18;JP)

（4）人に魚を獲ることを教えれば，... (28_nonfiction_ANC__110CYL067;JP)

ツリーバンクの仕様に依存する問題の代表例とし ては，元コーパスのけやきツリーバンクのアノテー ションに従って決定される，動詞の項構造に関する ものがある。例えば存在動詞「ある」に対しては，「に/が」または「が/が」の格配列に応じて，以下の 二つのカテゴリが割り振られる。

(5) a. 私が 意欲がある ${ }_{P P s} \backslash P P s 2 \backslash S$

b. 私に 意欲がある $\operatorname{PPol} \backslash \operatorname{PPs} \backslash S$

以下の (6) のように外の関係の連体節で表層で格助詞が落ちる場合，「ある」に関して (5a) と (5b) のど ちらの語彙項目を使うかの曖昧性がある。

（6）意欲ある住民

(43_news_KAHOKU_33)

この曖昧性は本来は意味解釈のレベルでは捨象され るべきものだが，現状では動詞の項構造を示すラべ ルの不一致による解析の失敗と分類されている。

## 5 おわりに

[8] で詳述した文末述語の扱いに関しては，構造 が単純な文についてはパーサの解析結果に基づい て概ね正しい意味表示が得られることが確認でき た。言語学的知見を適切に反映させた言語資源によ る end-to-end の解析システムを組むことができるこ とを示した点において，一定程度所期の目的を達成したと考えられる。今後の課題としては，4 節で 議論した誤解析への対応，関連研究である日本語 CCGBank [15] に基づく統語・意味パーサ [10] との 比較，また，汎用性を重視したツリーバンクである という特徴を活かして，CCG では扱いが煩雑になる 量化現象を，タイプ論理文法の手法で扱うことなど に取り組みたい。

謝辞 吉川将司氏（東北大）のサポートに感謝し ます。この研究は JSPS 科研費 18K00523，国立国語研究所共同研究プロジェクト「対照言語学的観点か ら見た日本語の音声と文法」の助成を受けている。

## 参考文献

[1] Kazimierz Ajdukiewicz. Die syntaktische Konnexität. In Storrs McCall, editor, Polish Logic 1920-1939, pp. 207231. Oxford University Press, Oxford, 1935. Translated from Studia Philosophica, 1, 1-27.

[2] Laura Banarescu, Claire Bonial, Shu Cai, Madalina Georgescu, Kira Griffitt, Ulf Hermjakob, Kevin Knight, Philipp Koehn, Martha Palmer, and Nathan Schneider. Abstract Meaning Representation for sembanking. In Proceedings of the 7th Linguistic Annotation Workshop and Interoperability with Discourse, pp. 178-186, 2013.

[3] Yehoshua Bar-Hillel. A quasi-arithmetic notation for syntactic descriptions. Language, Vol. 29, pp. 47-58, 1953.

[4] Alastair Butler, Kei Yoshimoto, Shota Hiyama, Stephen Wright Horn, Iku Nagasaki, and Ai Kubota. The Keyaki Treebank Parsed Corpus, Version 1.1. http://www.compling.jp/keyaki/, 2018. Last accessed: 2021.01.01.

[5] Matt Gardner, Joel Grus, Mark Neumann, Oyvind Tafjord, Pradeep Dasigi, Nelson F. Liu, Matthew Peters, Michael Schmitz, and Luke Zettlemoyer. AllenNLP: A deep semantic natural language processing platform. In Proceedings of Workshop for NLP Open Source Software (NLP-OSS), pp. 1-6, 2018 .

[6] Hans Kamp and Uwe Reyle. From Discourse to Logic. Kluwer Academic Publishers, Dordrecht, 1993.

[7] Yusuke Kubota and Robert Levine. Type-Logical Syntax. MIT Press, Cambridge, Mass., 2020.

[8] Yusuke Kubota, Koji Mineshima, Noritsugu Hayashi, and Shinya Okano. Development of a general-purpose categorial grammar treebank. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 51955201, 2020.

[9] Pascual Martínez-Gómez, Koji Mineshima, Yusuke Miyao, and Daisuke Bekki. ccg2lambda: A compositional semantics system. In Proceedings of ACL-2016 System Demonstrations, pp. 85-90, 2016.

[10] Koji Mineshima, Ribeka Tanaka, Pascual MartínezGómez, Yusuke Miyao, and Daisuke Bekki. Building compositional semantics and higher-order inference system for a wide-coverage Japanese CCG parser. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2236-2242.

[11] Michael Moortgat. Categorial Type Logics. In Johan van Benthem and Alice ter Meulen, editors, Handbook of Logic and Language, pp. 93-177. Elsevier, Amsterdam, 1997.

[12] Glyn Morrill. Type Logical Grammar: Categorial Logic of Signs. Kluwer, Dordrecht, 1994.

[13] Terence Parsons. Events in the Semantics of English. MIT Press, Cambridge, Mass., 1990.

[14] Mark Steedman. The Syntactic Process. MIT Press, Cambridge, Mass., 2000.

[15] Sumire Uematsu, Takuya Matsuzaki, Hiroki Hanaoka, Yusuke Miyao, and Hideki Mima. Integrating multiple dependency corpora for inducing wide-coverage Japanese CCG resources. ACM Transactions on Asian and LowResource Language Information Processing, Vol. 14,
No. 1, pp. 1-24, 2015.

[16] Rik van Noord, Lasha Abzianidze, Hessel Haagsma, and Johan Bos. Evaluating scoped meaning representations. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018).

[17] Masashi Yoshikawa, Hiroshi Noji, and Yuji Matsumoto. A* CCG parsing with a supertag and dependency factored model. Journal of Natural Language Processing, Vol. 26, No. 1, pp. 83-119, 2019.

[18] 戸次大介. 日本語文法の形式理論. くろしお出版, 東京, 2010.

[19] 窪田悠介, 峯島宏次, 林則序, 岡野伸哉. 汎用的な範疇文法ツリーバンクの構築. 言語処理学会第 25 回年次大会発表論文集, pp. 143-146, 2019.

## A 付録

3 節で例示した (1) と (2) の文の意味表示 (FOL, DRS, HOL) に対する導出木を示す。これは 3 節で述べた意味テンプ レートに基づいて，ccg2lambdaを用いて ABCツリーバンクの木から生成したものである。なお，ABCツリーバンクでは 名詞句のカテゴリとして N と NPを区別しているが（2.2.1 節を参照），現在のところ，意味合成において $\mathrm{NP}$ と $\mathrm{N}$ の意味割り当ては区別されていない。

HOL: から(-なおる(咳),に(病院, |X0.行く(X0)),*speaker*)


# 上場会社開示資料の日英対訳コーパスの自動生成に関する検討

土井惟成大西恒彰命苫昭平高頭俊
株式会社 日本取引所グループ
\{n-doi, n-onishi, s-meitoma, s-takato\}@jpx.co.jp

## 1 はじめに

東京証券取引所 (以下，東証) における海外投資家 のプレゼンスは年々高まっている。東証が公表して いる株式分布状況調査 [1] によると, 2019 年度にお ける日本の上場会社の株式に対する外国法人の保有比率 (時価総額に対する金額ベース) は約 $30 \%$ に及ん でいる。しかしながら, 2018 年に TDnet ${ }^{1}$ で開示さ れた，適時開示資料をはじめとする上場会社開示資料 (以下，開示資料) において，英語による開示資料 の占める割合は約 11 \%に留まっている.

このような状況を踏まえ，海外投資家による開示資料の利便性を改善するための手段として，機械翻訳の活用が考えられる [2]. ニューラル機械翻訳モ デル [3] (以下, NMT モデル) による機械翻訳は, 従来の機械翻訳モデルより翻訳精度が高いことで知ら れている。一方で, 専門用語の多い特定分野の文を 対象にすると, 汎用的な NMT モデルでは翻訳精度 が低くなる傾向にある [4]. また, NMT モデルの学習は対訳コーパスを用いて行われるため，対訳コー パスの規模や品質が翻訳精度に影響を与えることが 知られている [5].

本研究では, 2019 年に TDnetで開示された, PDF 形式の開示資料を対象に，約 23 万文対の日英対訳 コーパス (東証適時開示対訳コーパス: ParaTDC)を 機械的に生成した. その後, ParaTDC の有用性の評価のため, 汎用的な NMT モデルを対象に本コーパ スを用いて追加学習を行うことでカスタム翻訳モデ ル2)を作成し, その翻訳精度を評価した。実験の結果，日英の文の類似度で閾値を設けた対訳コーパス を用いた追加学習によって, 追加学習前と比較して BLEU スコア [6] の上昇が確認できた。

## 2 関連研究

本研究に関連する研究として, (1) 開示資料の一 つである CG 報告書を対象としたカスタム翻訳モ デルの検討に関する研究 [7], (2) 開示資料を対象と した人手による日英対訳コーパス (TDDC) の作成に 関する研究 [8], (3) Web サイトのクロールで収集し た HTML ファイルを対象とした日英対訳コーパス (JParaCrawl)の自動生成に関する研究 [9]がある．以下では，これらについてそ抽紹介する。

(1) の研究では, 160 社の日英の CG 報告書を対象 に，約 4 万文対の対訳コーパスを人手で作成し，力 スタム翻訳モデルを評価した。本研究と (1)の主な 差異は, (1)の対象とする開示資料が限定的である点 と, 作成手法が人手である点の 2 点が挙げられる.

(2) の研究では, 2016 年 1 月から 2018 年 6 月まで の 2.5 年間に TDnet で開示された PDF 形式の開示資料を対象に，人手によって約 140 万文対の日英対訳 コーパス (TDDC) を作成した。本研究と (2) の主な 差異は, (2) の対象とする文書の開示期間と, 作成手法が人手である点の 2 点が挙げられる.

(3) の研究では, Webクロールで収集した HTML ファイルを対象に，機械的な手法で作成された，約 1,000 万文対の日英対訳コーパス (JParaCrawl)を作成 した. ParaTDC と JParaCrawl は, 大量の日英の文書 から自動的に作成した日英対訳コーパスという点で 共通している。一方で, 本研究と (3) の主な差異は, (3) の対象とする文書が HTML ファイルである点と,文単位のアライメント手法に内製の NMT モデルを 用いている点の 2 点が挙げられる.

## 3 対訳コーパス生成の流れ

2019 年における TDnet の開示資料の件数は約 10.3 万件であり，その内，日本語は 9.2 万件，英語は約 1.1 万件である. 本研究では, これらの開示資料を 源泉として以下の各節に述べる処理を実行した。

## 3.1 暗号化・画像化された PDF の除外

PDF ファイルからのテキスト抽出を防ぐ方法とし て，コピー禁止の設定，パスワードや電子署名によ る PDF 文書の暗号化, テキストの画像化が挙げられ る. 手書き文字認識等の技術を用いることで，これ らの処理が施されている PDFファイルからのテキ スト抽出が可能ではあるものの, その精度は必ずし も高いとは限らない, そのため, 本研究では, これ らの処理が施されている PDFファイルは，コーパス の源泉データの対象から除外した。

## 3.2 日英の文書のアライメント

対訳コーパスの源泉となる開示資料に対して，文書単位での日英のアライメントを実施した. TDnet の開示資料には, PDF 形式の開示資料本体とは別 に, 開示日時やタイトル等のメタデータが存在す る.このメタデータから, 開示資料の言語 (日英) は 判別できるが，日英の対応関係が含まれていないた め, 別途の手段による日英の文書のアライメントが 必要となる。また, 英語の開示資料は, 必ずしも対応する日本語の開示資料と同日に開示されるとは限 らず，日本語より遅延して開示されることがある.本研究では，まず，英語の各開示資料に対して， 2019 年 1 月 1 日から各開示日までに，その銘柄コー ドの上場会社が開示した全ての日本語の開示資料 を出力した. その後, 日英のタイトルの分散表現を 算出し, 英語の開示資料のべクトルとのコサイン類似度が最大となる日本語の開示資料を探索するこ とで，文書のアライメントを実現した。この時，テ キストの分散表現の算出に TensorFlow の Embedding メソッド3を使用し，分散表現のモデルには， TensorFlow $の$ universal-sentence-encoder-multilingual ${ }^{4}$ ) を使用した。

## 3.3 PDF テキスト抽出

PDF ファイルには，セクション，見出し，表，段落などの論理的な構造を追加するための夕グを付与 することが可能であり，このような夕グが付与され た PDF ファイルをタグ付きPDF と呼ぶ。しかしな がら，開示資料における夕グ付きPDF の割合は一定程度に留まっており (2018 年の開示資料では $28 \%$ 程

度)，また，夕グ付き PDFであっても，必ずしも全 てのタグが適切に付与されているとは限らない.

そこで，本研究では，PDF形式の開示資料からの テキスト抽出には，文書中の各文字の座標情報等 を踏まえて，一連のテキスト (以下，テキストボッ クス) を抽出することが可能なソフトウェアを利用 し, テキストボックス単位でテキストを抽出した。具体的には，PDF ファイル中の文字について，文字間隔が閾値以下同士の文字は，同一の行に含まれる 一連のテキスト (以下，テキストライン)に属すと 見なし，行間隔が閾値以下同士のテキストライン同士は同一のテキストボックスに属すと見なしてい る.このような処理を有するソフトウェアとして， PDFMiner[10] が知られている. なお, 本処理では,文書中の 1 パラグラフが 1 つのテキストボックスと して抽出されるため，1つのテキストボックスに 2 文以上が含まれることがある.

## 3.4 正規化処理

開示資料から抽出したテキストを対象に，以下を はじめとする正規化処理を実行した。

特定文字の置換 長音記号や全角チルダをはじめ とする一部の記号文字を，類似する形状の記号文字 に置換した。また，CJK 部首補助や CJK 互換漢字は 後述する NFKC 正規化によって正規化されないこと から，本処理においてそれぞれ対応する CJK 統合漢字へ置換した。

Unicode 正規化 丸数字 $(U+2460-U+2473), 2$ 点 リーダ (U+2025)，3 点リーダ (U+2026)を除く文字 を対象に，NFKC[11]による Unicode 正規化を実行 した。これにより，全角英数字を半角に変換したほ か，康熙部首を CJK 統合漢字に変換した。康熙部首 とは，部首を表す漢字の一種であり，一部の PDF 変換ソフトウェアにおいて, CJK 統合漢字で入力した 文字が PDF ファイルでは康熙部首に変換されるこ とが知られている [12].

制御文字等の削除 制御文字に相当する文字等を 削除する目的で, Unicode character property $の$ General Category[13] が Cc，Cf，Cn，Coの文字を削除した.

余分なスペースの削除 以下の処理を行うこと で，余分なスペースを削除した。

・文頭及び文末のスペースを削除

・連続するスペースを 1 つのスペースに置換

$\cdot$「平仮名, 片仮名, CJK 統合漢字, 全角記号」の 間のスペースを削除

-「平仮名, 片仮名」と「半角濁点 (U+FF9E), 半角半濁点 (U+FF9F)」の間のスペースを削除し， NFKC 正規化を実行

## 3.5 日英の文のアライメント

アライメントされた日英の文書ごとに，日英の文 のアライメントを行った。本処理では，まず，和文 と英文のそれぞれに対して分散表現を算出した。こ の時使用したモデルは，3.2 節における夕イトルの 分散表現の算出に使用したモデルと同様である.こ の時, 日本語側の文については, 日本語の文字を含 まない文 (平仮名, 片仮名, $\mathrm{CJK}$ 統合漢字のいずれ も含まない文) は処理の対象から除外した. その後,英文ごとに, 英文のベクトルとのコサイン類似度が 最大となる和文のベクトルを探索し，それを対訳文 として選定した。

この時, 文書全体での類似度の組み合わせの最適化等は行っていない。 そのため, 文書中に複数出現 する同一の和文に対して異なる英文がアライメント されることや，英文がアライメントされない和文が 生じることがある.

また，本処理の実行に際しては，計算コスト上の 理由から, 1 文書当たり 10 分を処理時間の上限とし て設け，それ以降の処理を中断した。

## 4 ParaTDC の概要

本研究では, 3 章の処理を通じて, 2019 年の開示資料を源泉とした，約 23 万文対の日英対訳コーパ スである ParaTDC を生成した，ParaTDCにおける対訳数や平均文字列長等の詳細を表 1 に示し, 英文に おける単語数の分布を図 1 に示す。

TDDC が 2.5 年分の開示資料を源泉とした 140 万文対の対訳コーパスであることを踏まえると， ParaTDC は開示資料 1 年分当たりの対訳数が比較的少ないと言える. この理由としては, 3.3 節の PDF テキスト抽出において， 1 行中に複数の文を含むこ とを許容していること，また， 3.4 節の文アライメ ントにおいて, 10 分以上の処理を途中で中断してい ることが考えられる。

また, ParaTDC は, 日英の対訳に加え, 源泉の開示資料の ID，開示日時，発行体の銘柄コード， 3.4 節で算出したコサイン類似度 (以下，スコア) で構成 されている，スコアは必ずしも翻訳の正確性を表し ているとは限らないものの, 対訳コーパスからの) イズ除去において有用性が期待される。表 1 ParaTDC の統計情報. 括弧内の数値は全対訳数に占

図 1 ParaTDC の英文における単語数の分布

## 5 実験

ParaTDC の有用性を検証するため，ParaTDC と TDDC (2016 年及び 2017 年の開示資料) のそれぞれ を用いてカスタム翻訳モデルを作成し，同一のテス トデータを用いて翻訳精度の向上を検証する。 5.1 節では本実験の実験設定について述べ，5.2 節では 実験結果と考察について述べる。

## 5.1 実験設定

本実験では，汎用的な NMT モデルに追加学習を 行うことでカスタム翻訳モデルを作成するサービス として, Microsoft が提供する Custom Translator ${ }^{5}$ を 利用した。また，翻訳精度の評価指標として BLEU スコアを採択した。

ParaTDC を用いた追加学習では，Devには訓練 データからランダムに選出した $5 \%$ 程度の対訳 (上限 2,500 文対)，Test には TDDC で提供している，2018 年 1 月から同年 6 月の開示資料から作成した 3,277 文対を用いた，TDDCを用いた追加学習では，Train には 2016 年と 2017 年の開示資料から作成した対訳 コーパス,Devには 2018 年 1 月から同年 6 月の開示資料から作成した 3,967 文対, Testには ParaTDC と 同一の 3,277 文対を用いた。この時, Dev と Test は,作成元の開示資料がそれぞれ異なることを確認して いる. なお, Custom Translator の仕様として, 英単

表 2 実験結果. 閾値を設けている場合，スコアが閾値未満の対訳を元の対訳コーパスから除外していることを意味する。

語数が 100 個以上の対訳や，和文が 2,000 文字以上 の対訳は自動的に削除される [14].

ParaTDC 及び TDDC には重複する対訳が含まれて おり, 追加学習に際してはこれらを除外した。ま た，ParaTDC に重複して出現する和文については， スコアが最も大きい英文のみを残すことで，各和文 に対して対応する英文が一意に定まるようにした。

また，本実験では，ParaTDC のスコアによるノイ ズ除去の有用性の検討のため, 複数のパターンでス コアに閾値を設けた対訳コーパスを用いてカスタム 翻訳モデルを作成し，翻訳精度を評価した。

## 5.2 実験結果及び考察

各追加学習で用いたデータセットの内訳や BLEU スコアによる評価結果を表 2 に示す。

ParaTDC による追加学習により, 多くの閾値のパ ターンにおいて BLEUスコアの上昇が見られた. 特 に，スコアによる閥値を $60 \%$ とした時の上昇量が最 も大きく, 2.7 ポイント程度の上昇を確認した。

一方で, TDDC では BLEU スコアが 8.8 ポイン 卜程度と, ParaTDC と比較すると大幅に上昇した。 ParaTDC による翻訳精度の改善が TDDC に及ばな かった原因の一つに，対訳コーパスの規模が考え られる. 4 章で述べたとおり, ParaTDC の作成に当 たっては， 1 文中に複数の文が含まれる可能性があ り, また, 文書中の全ての文に対してアライメント を行っているとは限らないため, 今後はこれらの解決が課題となり得る。

スコアによる閾値に着目すると，閥値を $80 \%$ にし た時の BLEU スコアはベースラインよりも悪化し た.これは, 閾値を上げることによって追加学習に 用いる学習データが減ったことに加え, アライメン トのスコアの高い対訳が, 必ずしも正しい対訳であ るとは限らないことに起因していると推察する。表 3 に，ParaTDC におけるスコアの高い対訳の例を示表 3 アライメントのスコアが高い対訳の例

 & the GRESB website & \\
& . & \\

す.ParaTDCでは，表 3 の例 1 のとおり，短文のア ライメントは比較的正確であり, そのスコアは高い 傾向にある。一方で, 個人名 (例 2) や施設名 (例 3) をはじめとする固有名詞, 及び，金額 (例 4) や日付 (例 5)をはじめとする数値表現において，アライメ ントが誤っているにもかかわらず高いスコアを示 している対訳が散見された。この原因として，固有名詞や数値表現の分散表現では, それらが異なる値 であるにもかかわらず， ベクトルとしては似通って しまうことが挙げられる。これを回避する方法とし て，固有表現抽出の利活用が考えられる。

## 6 おわりに

本研究では, PDF 形式の上場会社開示資料から機械的に対訳コーパスを生成し，それを用いた追加学習によるカスタム翻訳モデルの翻訳精度を評価する ことで，ParaTDC の有用性を評価した。実験から， ParaTDC による追加学習によって翻訳品質の改善を 確認した。一方で, 対訳コーパスの規模及び品質に は改善の余地があると考えられる。

東証上場会社は毎年膨大な量の開示資料を開示し ていることから，引き続き，これらの分析を進める ことで，自然言語処理による開示資料の利活用の可能性について検証を進めたい.

## 謝辞

ParaTDC の作成に当たっては, 東証が 2020 年 4 月 から同年 8 月に実施した, 東証適時開示コーパスに 関する限定公開実証実験6)の参加者各位より有益な ご助言を戴いた。ここに記して謝意を表する。

## 参考文献

[1] 株式会社東京証券取引所. 2019 年度株式分布状況調査, 2020. https://www.jpx.co.jp/markets/ statistics-equities/examination/01.html.

[2] 山藤敦史. 開示資料と翻訳. AAMT 2019,Tokyo 〜機械翻訳最前線 , 2019.

[3] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequence learning with neural networks. In Proceedings of the 27th International Conference on Neural Information Processing Systems - Volume 2, NIPS'14, pp. 3104-3112, Cambridge, MA, USA, 2014. MIT Press.

[4] Philipp Koehn and Rebecca Knowles. Six challenges for neural machine translation. In Proceedings of the First Workshop on Neural Machine Translation, pp. 28-39. Association for Computational Linguistics, 2017.

[5] Rico Sennrich and Biao Zhang. Revisiting low-resource neural machine translation: A case study. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 211-221, Florence, Italy, July 2019. Association for Computational Linguistics.

[6] Kishore Papineni, Salim Roukos, Todd Ward, and Wei jing Zhu. Bleu: a method for automatic evaluation of machine translation. pp. 311-318, 2002.

[7] 土井惟成, 近藤真史, 山藤敦史. コーポレート・ガバ ナンス報告書における機械翻訳の検討. 言語処理学会第 25 回年次大会 (NLP2019), pp. 926-929, 32019.

[8] Nobushige Doi, Yusuke Oda, and Toshiaki Nakazawa. TDDC: Timely disclosure documents corpus. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 3719-3726, Marseille, France, May 2020. European Language Resources Association.

[9] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 3603-3609, Marseille, France, May 2020. European Language Resources Association.

[10] Yusuke Shinyama. PDFMiner, 2016. https://euske. github.io/pdfminer/.

[11] Ken Whistler. UAX \#15: UNICODE NORMALIZATION FORMS, 2020. https://www.unicode.org/reports/ tr44/.

[12] Create PDF, why KANJI 9AD8(高) will be changed to $2 \mathrm{FBC}($ 高) when Meiryo UI ? - Adobe Support Community - 10625575, （2021-01 閲 覧）. https://community. adobe.com/t5/acrobat/createpdf-why-kanji-9ad8-\%E9\%AB\%98-will-be-changedto-2fbc-when-meiryo-ui/td-p/10625575?page=1.

[13] Ken Whistler. UAX \#44: UNICODE CHARACTER DATABASE, 2020. https://www. unicode.org/ reports/tr15/.

[14] データのフィルター処理 - カスタムトランスレー ター - Azure Cognitive Services | Microsoft Docs, (202101 閲 覧）. https://docs.microsoft.com/ja-jp/ azure/cognitive-services/translator/customtranslator/data-filtering.


# 日本語 Wikipedia の編集履歴に基づく 入力誤りデータセットと訂正システムの改良

田中佑 $\dagger$ 村脇有吾 $\dagger$ 河原 大輔 $\dagger$ 黒橋禎夫 $\dagger$
†京都大学 大学院情報学研究科 $\ddagger$ 早稲田大学 基幹理工学部
\{ytanaka, murawaki, kuro\}@nlp.ist.i.kyoto-u.ac.jp dkw@waseda.jp

## 1 はじめに

文章執筆時に発生する入力誤りによって，人はス ムーズに文章を読むことを妨げられ，計算機は正し く解析することを妨げられる。人が文章を書く際,入力誤り訂正を行うシステムを用いれば，その発生 を抑えることができ，計算機においても，システム を事前に適用することで, 解析誤りの減少が見込め るため, NLPにおいても重要である.

入力誤り訂正の一種であるスペルミス訂正におい て，ニューラルモデルは成功を収めており [1]，入力誤り訂正システムの構築に有望であると考えられ る. ニューラルモデルは多量の学習データを必要と するため，ニューラル入力誤り訂正システムの実現 の重要課題は多量の入力誤りとその訂正ぺアを用意 することである.

我々は Wikipedia の編集履歴から約 50 万文規模 の日本語入力誤りデータセット (JWTD v1; Japanese Wikipedia Typo Dataset version 1) ${ }^{1)}$ 構築した [2]. JWTD v1 は誤字・脱字・衍字・漢字誤変換の 4 種類 の日本語入力誤りからなるが, 転字 (transposition) [3] といった代表的な入力誤りを収集していなかった. データセット構築手法の評価をクラウドソーシング を用いて行っているが，再現率については評価でき ていなかった。また, ベースラインとして LSTM モ デルを用いた訂正システム実験も行ったが，不十分 な精度であった。

本研究では，JWTDv1で収集していない転字など の入力誤りを新たに収集し，フィルタリングの一部 を改良して, 約 70 万文規模の JWTD v2 を構築した。提案手法とは別に入力誤りを網羅的に収集し，それ を用いて評価を行った。JWTD v2を用いて, seq 2 seq 事前学習モデルである BART [4]を学習し, 訂正シ

1）http://nlp.ist.i.kyoto-u.ac.jp/?日本語 Wikipedia入力誤りデータセット
ステム実験を行い，より強力なベースラインとし た。漢字の読み推定を同時に学習する実験を行い, ベースラインと比較した。最後に入力誤り認識にお いて他の校正システムとの精度比較を行った。

## 2 関連研究

公開されている日本語入力誤りデータセットは JWTD の他に, GitHub Typo Corpus [5] がある.これ は $\mathrm{GitHub}^{2}$ の commit ログから構築した多言語入力誤りデータセットである．日本語データのサイズは 1,500 文ほどであり, ニューラルモデルの学習には 十分なサイズではない，そのため，本研究ではテス トセットの一つとして利用した。

BART は Transformer [6] を用いた seq2seq モデル であり，大規模な生コーパスで事前学習した後に，各タスクで fine-tuning するモデルである. Katsumata らは BART を用いて英語の文法誤り訂正を行って おり，事前学習済み BART を文法誤り訂正タスクで fine-tuning するというシンプルな手法ながら, 既存 の SOTA に近い結果が得られたと報告している [7].我々は文法誤り訂正を入力誤り訂正に近いタスクと 考え，ベースラインとして同様の手法で入力誤り訂正実験を行った。

## 3 日本語における入力誤り

日本語における入力誤りは様々なバリエーショ ンが考えられるが, 本研究でデータ構築に利用す る Wikipedia の編集履歴には，編集のタグが存在し ないため，入力誤り全てを取り出すことは容易では ない。そこで，本研究では日本語における入力誤り のうち，表 1 のような，誤字・脱字・衍字・転字・漢字誤変換（以下，誤変換と呼ぶ）の 5 種類を対象 に収集した。ここで，転字・衍字 (b) ・誤変換 (b) は JWTD v1 では収集しておらず，本研究で新規に収集

2) https://GitHub.com

} & \multirow{7}{*}{  } \\

表 1 本研究が対象とする入力誤りカテゴリ

した入力誤りである．誤字は 1 文字の入れ替え，脱字は 1 文字の抜け, 衍字 (a) は余分な 1 文字の挿入,衍字 (b) は直前の文字列と一致する 2 文字以上の余分な文字の挿入, 転字は隣接する 2 文字間の転置,誤変換（a）は同一の読みを持つ漢字の入れ替え，誤変換（b）は近い読みを持つ漢字の入れ替えの誤り である.

## 4 データセットの構築

データセットの構築では, Wikipedia の編集履歴 から入力誤りとその訂正文ぺアの候補を取り出し, その後, 入力誤り訂正ではないと考えられる編集を フィルタリングした。

## 4.1 Wikipedia マイニング

Wikipedia の編集履歴から, 入力誤り訂正の可能性がある文ぺアを以下の方法で取り出す3）.

1. Wikipedia の全ての記事の全ての版において、編集前と編集後の差分をとり、編集箇所を持つ文 ペアを取り出す.

2. 編集箇所が以下の条件を満たす文ぺアを取り 出す.

誤字編集箇所における文字単位編集距離が 1 , 編集箇所の文字数変化が 0 , 編集箇所の文字 は前後ともひらがな又はカタカナ

脱字編集箇所における文字単位編集距離が 1 , 編集箇所の文字数変化が 0 , 編集箇所の文字 は前後ともひらがな又はカタカナ

衍字 (a) 編集箇所における文字単位編集距離が 1 , 編集箇所の文字数変化が -1 , 削除文字 はひらがな又はカタカナ

衍字 (b) 編集箇所がその直前もしくはその 直後の文字列と一致する, 編集箇所の文字数変化が -1 以下, 削除文字は編集箇所の文字数変化が -1 ならば漢字， -2 以下ならばひらがな又

3）JWTD v1 と同様に, undo や revert された版を取り除く, 編集がループしている文ぺアを取り除く, 編集が推移している 文ペアは統合するなどの操作も行っているが, 紙面の都合上,本稿ではその詳細は省略する。

 &  \\

& 出力 & 今日はいい天気だ。 \\

表 2

「今日はいい【転機 $\rightarrow$ 天気】だ。」を BART モデル で尤度計算する際に与える入出力

はカタカナ又は漢字

転字 編集箇所における文字単位編集距離が 2, 編集箇所における文字単位ダメラウ・レー ベンシュタイン距離 [8] が 1, 編集箇所の文字 は前後ともひらがな又はカタカナ

誤変換 (a) 編集箇所における編集前後の読 みが一致，編集箇所の文字は前後ともに漢字が 含まれる

誤変換 (b) 編集箇所における編集前後の読 みが誤字または脱字または衍字 (a) または転字 を含む，編集箇所の文字は前後ともに漢字が含 まれる

## 4.2 フィルタリング

上記で得られた文ぺアには入力誤り訂正ではな いと考えられる編集も含まれる. それらを取り除く ため, 品詞・形態素解析, リダイレクトデータ, 言語モデルを使ったフィルタリングを行った. 本稿で は，JWTDv1 から変更した言語モデルフィルタにつ いてのみ以下に述べ，それ以外は省略する。

JWTD v1 では文字単位 LSTM 言語モデルにおけ る編集による尤度の差をもとにフィルタリングを 行っている. 本研究では，モデルを事前学習済み BART $^{4)}$ に変更してフィルタリングを行った。表 2 のように編集箇所を mask トークンで置換した文を 入力として, 編集前・編集後の文が出力される尤度 をそれぞれ計算する．編集による尤度の増加が大き いものは入力誤り訂正である可能性が高いと考えら れる。それぞれの入力誤りの種類で閾值を定め，編集による尤度の差が閾値より小さい文ぺアを取り除 いた5).

## 4.3 結果

上記の手法を 2019 年 6 月の日本語 Wikipedia に適用し，JWTDv2を構築した。そのデータサイズを表

表 3 データセットのサイズ

3 に示す. 合計で約 70 万文ぺアが得られた.

## 5 データセット構築手法の評価

JWTD v1 ではデータセット構築手法の評価を，ク ラウドソーシングを用いてデータセットの一部を 評価することで行っていた6). しかし，その方法は データセットの適合率のみ評価ができるものであっ た. 入力誤りのうち, 特定のカテゴリを対象として 収集する JWTD の手法では，含まれていない入力誤 りが存在すると考えられるため, 再現率も評価する ことが望ましい. 本研究では, 再現率も含めて評価 するために，入力誤り評価データを作成し，それを 用いて評価を行った。

## 5.1 入力誤り評価データ

特定のカテゴリに制限されていない入力誤りデー タを用意できれば，データセット構築手法の再現率 を評価できる．そこで，クラウドソーシングを用い て，そのようなデータを収集し，それを入力誤り評価データとした.

クラウドソーシングに用いたデータは, 4.1 節の ステップ 1 で取り出した編集箇所を持つ文ぺアから ランダムに選んだ 11,000 文ぺアである. クラウド ソーシングのタスク内容については紙面の都合上,付録の A. 1 章に付す. タスクの結果より 1,127 個の 文ぺアが入力誤り評価データとして得られた。

## 5.2 評価結果

入力誤り評価データを用いて, データセット構築手法の評価を行った。前節でクラウドソーシングに 用いた 11,000 文ペアに対して，4 章の方法を適用 し, 収集された文ペアから，データセット構築手法 を評価した。

結果を表 4 に示す. v1 が JWTD v1における手法 であり, v2 が本研究の手法を示している. これよ

6）同様の方法での JWTD v2 の評価を A. 2 章に付す.

表 4 データセット構築手法の評価結果

り，本研究の手法がマイニング・フィルタリング両面で $\mathrm{F}$ 值が高いことが確認できる.

## 6 入力誤り訂正システム

JWTD v2 を利用して，入力誤り訂正実験を行っ た. BART モデルを事前学習し, その後, 入力誤り 訂正タスクで, fine-tuning を行った. 誤変換の訂正 には漢字の読みの情報が役立つと考え, fine-tuning 時に漢字の読み推定を同時に学習する実験も行っ た。紙面の都合上，事前学習については付録の A. 3 章に付す。

## 6.1 fine-tuning

入力誤り訂正タスクでは, 評価に使うデータ(入力誤り評価データ・次節で後述の JWTD v2 テスト セット)を含まないページから得られた, 入力誤り 文ペア 664,287 文を訓練データ，1,000 文を検証デー タとした。漢字の読み推定タスクでは, BCCWJ [9] のコアデータ 40,584 文を訓練データとして用いた. BCCWJ の原文文字列（原文）を入力して，発音形出現形（読み）を出力させるように学習させる.読み推定タスクの入力単位は BCCWJ の短単位を subword 分割したものとした。同時に学習を行うモ デルでは，まず，入力誤り訂正タスクと読み推定タ スクで fine-tuning した後, 入力誤り訂正タスクのみ で fine-tuning した.

## 6.2 評価方法

評価指標は入力誤り訂正の適合率 - 再現率 $\cdot \mathrm{F}$ 值 とし，それらは訂正前の文と訂正後の文の文字単位最小編集と, 訂正前の文とシステム出力文の文字単位最小編集から計算した。

評価には, 入力誤り評価データ・GitHub Typo Corpus・JWTD v2 テストセットの 3 つを用いた. GitHub Typo Corpus は, Hagiwara らの分類器での入力誤りである確率 (prob_typo) が 0.9 より大きい日本語データから，英語のスペルミス訂正を除いた，557 文を用いた。JWTD v2 テストセットは JWTD v2 の

表 5 入力誤り訂正結果

表 6 誤変換の訂正結果

一部をクラウドソーシングで評価し，入力誤り訂正 として「正しい」と分類されたものである7).

## 6.3 実験結果

入力誤り評価データと GitHub Typo Corpusにおけ る結果を表 5 に示す。入力誤り評価データでのスコ アは, 表 4 にあるデータセットの評価結果と比較し て，十分高いスコアといえる. GitHub Typo Corpus でのスコアは入力誤り評価データと比較していずれ も低い。これは, Wikipedia と GitHubの commitログ ではテキストのドメインが大きく異なることが原因 であると考えられる. JWTD v2 テストセットのう ち，誤変換カテゴリにおける結果を表 6 に示す。い ずれにおいても，スコアの向上が確認できる。これ より，誤変換の訂正では読み推定タスクを同時に学習することが有効であると考えられる。

## 7 他の校正システムとの比較

前章で作成した BART を用いた入力誤り訂正シス テムと, 他の二つの校正システム (Microsoft Word ${ }^{8}$ ) と Yahoo! 校正支援 $\mathrm{API}^{9}$ ) で, 入力誤り認識精度の 比較を行った。紙面の都合上，校正システムの設定等は付録 A. 4 章に付す.

## 7.1 評価方法

二つの校正システムの出力の多くが，訂正箇所の 指摘のみであったため, 入力誤り訂正ではなく, 訂正すべき箇所を推定するタスク（入力誤り認識）で 評価した。校正システムが出力した訂正箇所（区間）が，正解の訂正箇所（区間）を含むかどうかを 数え上げ，適合率・再現率・F 値を計算する．前章

表 7 入力誤り認識結果

表 8 入力誤り認識結果の実例

で作成した訂正システムにおいては，入力とシステ ム出力の差分箇所を訂正箇所とした。評価には入力誤り評価データと GitHub Typo Corpus を用い, Word においてはそれぞれランダムに 100 個サンプルした もので我々が人手で評価した。

## 7.2 結果

結果を表 7 に示す. 本研究のシステムが，他の校正システムより再現率・F 值において高いスコアで あることが確認できる。

入力誤り認識結果の実例を表 8 に示す. 誤変換以外の衍字などの入力誤りは，Word が指摘できてい るものがあったが，誤変換は，本研究のシステムの みが指摘できているものが多かった。最後の例は JWTD v2 では収集していない編集距離の大きい入力誤りであり, 本研究のシステムは指摘できておら ず，今後の課題である.

## 8 おわりに

本研究では JWTD v1 が収集していない入力誤り の収集とフィルタリングの一部を変更し，JWTD v2 を構築した。データセットの再現率を評価できる データを作成して評価を行い，v2 が v1より精度が 高いことを確認した。事前学習モデルを用いて入力誤り訂正実験を行い，十分高い精度であることを確認した。また，読み推定タスクを同時に学習するこ とで，精度が向上することを確認した。最後に，入力誤り認識において, 他の校正システムと比較し て, 本研究のシステムの精度が高いことを確認し た. 今後はデータセットのさらなる改良と, 入力誤 り訂正システムを異なるドメインで適用した際の分析・改良に取り組む予定である。

## 参考文献

[1] Keisuke Sakaguchi, Kevin Duh, Matt Post, and Benjamin Van Durme. Robsut wrod reocginiton via semi-character recurrent neural network. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 31, No. 1, Feb. 2017.

[2] Yu Tanaka, Yugo Murawaki, Daisuke Kawahara, and Sadao Kurohashi. Building a Japanese typo dataset from Wikipedia's revision history. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 230-236, 2020.

[3] Yukino Baba and Hisami Suzuki. How are spelling errors generated and corrected? a study of corrected and uncorrected spelling errors using keystroke logs. In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 373-377, 2012.

[4] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[5] Masato Hagiwara and Masato Mita. GitHub typo corpus: A large-scale multilingual dataset of misspellings and grammatical errors. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 6761-6768, Marseille, France, May 2020. European Language Resources Association.

[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[7] Satoru Katsumata and Mamoru Komachi. Stronger baselines for grammatical error correction using a pretrained encoder-decoder model. In Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Nat- ural Language Processing, pp. 827-832, Suzhou, China, December 2020. Association for Computational Linguistics.

[8] Fred J Damerau. A technique for computer detection and correction of spelling errors. Communications of the ACM, Vol. 7, No. 3, pp. 171-176, 1964.

[9] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written Japanese. Language resources and evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

[10] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, 2016.

[11] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

## A 付録

## A. 1 入力誤り評価データの作成

クラウドソーシングを用いて，入力誤り評価データを 作成した。

## A.1.1 タスク内容

質の良い評価データを作るために，二段階の方法でク ラウドソーシングを行った. どちらもそれぞれ 5 人の ワーカーに回答してもらった.

一段回目のタスクは，編集がどのような編集かを分類 するタスクである，編集前と編集後の文を提示して，「内容の変更 ・追加 ・削除」,「表現の変更 - 追加 - 削除」, 「誤字・脱字・衍字・漢字の変換ミスの修正」,「その他・わか らない」の 4 つの選択肢の中から一つ選んでもらった。「誤字・脱字・衍字・漢字の変換ミスの修正」が過半数を 得た文ペアを入力誤りに関係するぺアとし, 二段階目の タスクの対象データとした.

二段階目のタスクは，編集前と編集後の文を同時に提示して，それぞれ書き言葉として自然かどうかを質問し た. このとき, 提示する際は単に文 $\mathrm{A}$, 文 $\mathrm{B}$ として提示 し, どちらが編集前か編集後かをわからないようにした.選択肢は「A は書き言葉として自然な文であるが，B は不自然な文である」，「B は書き言葉として自然な文である が，A は不自然な文である」，「どちらの文も自然である」,「どちらの文も不自然である」，「わからない」の 5 つとし た. 編集前が不自然・編集後が自然という回答が過半数 を得た文ぺアを入力誤りに関係するぺアとした。

## A.1.2 結果

一段階目のタスクにおいて，「誤字・脱字・衍字・漢字 の変換ミスの編集」が過半数を占めた文ぺアは 1,773 個で あった。それらを対象に行った二段階目のタスクで，編集前の文が不自然・編集後の文が自然という回答が過半数を占めた文ぺアは 1,127 個であった。この 1,127 個の文 ペアを入力誤り評価データとした。

## A. 2 クラウドソーシングを用いたデータ セット構築手法の評価

クラウドソーシングを用いて, JWTD v2 の評価を行っ た. 評価対象はランダムに選んだ記事 3,000 ページ中から 得られた文ぺアを用いた. 同じ編集が数多く存在してい るぺージが存在したため, データの偏りを避けるために，選ばれたページ内に同一の編集が 4 つ以上含まれていた 場合，そのうちの 3 つのみをランダムに採用した。

## A.2.1 タスク内容
A. 1 節の二段階目のタスクと同じ，編集前後の文が自然 かどうかを問うタスクである。それぞれの文ぺアにつき 10 人のワーカーに回答してもらった.

## A.2.2 結果

編集前が不自然で編集後が自然という回答の票が過半数を占める文ぺアを入力誤りとして「正しい」とすると，「正しい」割合は, 誤字が $77.6 \%$, 脱字が $70.3 \%$, 衍字 (a) が $84.1 \%$, 衍字 (b) が $93.5 \%$, 転字が $52.5 \%$, 誤変換 (a) が $64.3 \%$ ，誤変換 (b) が $69.9 \%$ で，全体では $71.9 \%$ であった.

## A. 3 BART の事前学習

日本語 Wikipedia の約 1,800 万文を利用して BART の事前学習を行った ${ }^{10)}$. 事前学習では, Text infilling タスクを 行った. Text infilling は, 文章の一部が maskトークンに 置き換えられた文章から，元の文章を生成するタスク である。トークン単位は，テキストをJuman++で形態素分割した後にそれらを subword 分割 [10] したものを用い た. subword 分割には SentencePiece[11]を利用し，語彙数 は 32,000 とした. encoder と decoder がそれぞれ 12 層であ る, large モデルで事前学習した。隠れ層の次元は 1,024 , バッチサイズは 512 とし, 25 万 step 学習した.

## A. 4 他の校正システムの設定

Microsoft Word 日本語における入力誤り認識のみの 評価に限定するために，校正結果のうち言語設定が日本語とされている箇所のみを評価に用いた。校正の設定は 「文書のスタイル」を「通常の文」に設定し，他は初期設定 のままとした. 利用した Word のバージョンは「Microsoft Word for Mac 16.37」である.

Yahoo! 校正支援 API Yahoo! 校正支援 API は，校正 のカテゴリを 17 種類に分けて出力を行う. 本研究におい ては，それら 17 種類のうち, $\mathrm{F}$ 值が最大となるような力 テゴリを選択して，評価を行った。

10）事前学習済みモデルはhttp://nlp.ist.i.kyoto-u.ac.jp/ ?BART 日本語Pretrained モデル にて公開している.


# NPCMJ への PropBank 形式の意味役割と 概念フレームの付与の進捗報告

竹内 孔一
岡山大学大学院
バトラーアラステア
弘前大学
長崎郁
名古屋大学
}

takeuc-k@okayama-u.ac.jp

パルデシプラシャント
国立国語研究所
prashant@ninjal.ac.jp

## 1 はじめに

$\mathrm{Web}$ 上で閲覧可能な日本語統語解析情報付き コーパス (ツリーバンク)NPMCJ(NINJAL Parsed Corpus of Modern Japanese) [1] が国立国語研究所で開発が進んでおり既に構文木が公開され て言語学者や言語学習者に利用されている1).現在 14 ジャンルの出典で約 4 万文の構文木が 構築されておりユーザはツールを通して事例 を確認できる. 本研究では NPCMJ に対して述語項構造シソーラズ ${ }^{2)}$ の概念フレームをべー スとして名前による意味役割(「動作主」,「対象」など) と PropBank 形式の意味役割 ( $\operatorname{Arg} 0$, ArgM-ADV など)を付与している [2] . 例えば 「両親は，長女の愛は厳しく育てた」の場合，概念フレームと意味役割は下記のように付与す る. 付与過程で英語の構文には出てこない自動

図 1 「両親は, 長女の愛は厳しく育てた」の概念 フレームと意味役割付与例

詞の受動態について PropBank では議論されて こなかった必須項が必要であることを先行研究 で発表した [3] . NPCMJ は現在も付与が続いて いるコーパスで 6 万文まで拡張されることが計画されており, 本研究も継続して意味役割と概念フレームを付与する予定である . 本論文では 付与作業と現段階での付与された意味タグの内容について記述する。

1) http://npcmj.ninjal.ac.jp/

2) http://pth.cl.cs.okayama-u.ac.jp/

## 2 NPCMJ 内の付与対象の設定

NPCMJ は NPやPP といった非終端記号，SBJ やOBJなどの区別，トレース，参照情報が付与 されている，一方で , 意味役割を付与する述語 と項のみをタグ付けした情報は存在しないが，付与されている詳細な構文情報から論理形式の 意味構造に変換する手法が提案されており [4]， これを基に付与すべき述語と項が設定される。

図 $2 「$ 長女の愛は」に関する NPCMJ の構文木の例

## 3 概念フレームデータに基づく PropBank 形式の意味役割

意味役割とは文における述語の係り関係を 想定した場合，述語と項との意味的な関係を 記述するタグである. 例えば图 1 の場合，述語「育てる」に対して，係り元は「両親は，「長女の愛は」「厳しく」の3つである.このう ち,「敩しく」には述語に対する修飾要素とし て ArgM-MNR を付与し，残りニつは項として $\operatorname{Arg} 0$ と $\operatorname{Arg} 1$ を付与する。

PropBank では意味役割は述語の各語義ごと (つまり述語に対してより細分化された分類)に 付与されているが, 本研究では述語項構造シ ソーラスの概念フレームを利用して概念フレー ムごと (複数の述語で共通する概念) に対して

概念フレームデータ

 \\

図 3 NPCMJ の付与コーパスと述語項構造シソーラ スおよび概念フレームデータの関係

一貫した必須項の意味役割を付与する.つまり 概念フレームが同一の述語間では $\operatorname{Arg} 0, \operatorname{Arg} 1$ などの意味的な関係が一貫した意味役割で付与される.これにより, 同じフレーム内での言 い換え関係などが同じタグで取り出せること， さらに，付与の際に，事例が少なくても概念フ レーム内で述語があれば意味役割の設定が可能 なためより安定して意味役割を設定できること が期待できる。

具体的な例をあげて説明する. 図3では「育 てる」は述語項構造シソーラスの概念フレー 么番号 197 (状態変化あり/主体の変化/身体的変化/成長) に相当する語義であることを指摘して おり，この概念フレームには「熟す」「発育す る」「飼育する」「仕立てる」など自動詞，他動詞が含まれている.これらの述語で必須項を表 す $\operatorname{Arg} 0, \operatorname{Arg} 1$ は述語項構造シソーラスに事例 が付与されているのと同時に図 3に示すように 概念フレームデータを作成して一貫性を保って いる。

## 4 付与作業

付与作業者に対して 2 節で生成された述語と 係り元か提示される. 統語情報から述語と判定 されたものが自動で選択されており，1文で複数の述語と項の関係が取り出されている (図 4 参照).

作業者は対象事例を基に述語項構造シソーラ スの事例を調べて，合致する概念フレームを探 す . 合致する概念フレームがあれば , 必須項を

図 4 NPCMJ の付与コーパスと述語項構造シソーラ スおよび概念フレームデータの関係

事例から選び，付加詞の場合はあらかじめ決 められているリスト [2] から意味役割を選択す る.シソーラスに存在しない場合は , 該当する 概念フレームがある場合は既にある述語を利用 して記述し (5 図参照), 必要があれば辞書を更新する. 同樣に意味役割が不足している場合は 辞書管理者が判断して概念フレームの必須項を 追加する。

## 5 FrameNet に準拠したデータ 形式

意味役割と概念フレームを付与した NPCMJ からデータを取り出す形式として現在 2 種類が 可能である. 1 つは图 5 に示すように FrameNet に準拠した XML 形式であり，文と述語および 意味役割が付与されている. FrameNet の XML では述語と項や係り元の構造か理解しやすい く簡素であるため 6 節の統計量も XML 形式の データから取り出している。

しかしながら XML 形式には NPCMJ の統語情報が付与されていない，そとこで本論文ではま だ利用していないが構文木の構造による出力形式も構築している．統語情報や参照情報，形態素情報など多量な情報が付与されており付与さ れた全ての情報を取り出すことが可能である．

図 5 FrameNet に準拠した NPCMJ 意味役割付与 データ形式

図 5 ではコーパス misc_1709kytext1 にテキ ストがあったことがわかる．述語と項の情報は annotationSet のタグ内に記述されてお

り, 複数の述語と項の組がある場合は複数の annotationSet が記述される.ここでは「の」が 述語で項は「2 歳違い」と「姉妹」である. 連体修飾の形になっている。

XMLでは述語「の」の概念フレームは 895(コ ピュラ) に登録されている述語「です」に相当 することを示している.「2 歳違い」と「姉妹」 の意味役割は光れ光れ $\operatorname{Arg} 1$ :対象と $\operatorname{Arg} 2$ :補語相当（は）である．つまり平叙文だと

[895です]

として付与している。

## 6 現在の付与内容

現段階で付与している述語の付与数は 22,637 箇所で炎のうち項の付与数は 44,404 箇所であ る . 各要素について以下に説明する。

述語について

基本的に NPCMJ では文内の表層形に述語の概念を付与している.よって述語の種類数を求 める場合, 単純に文字列で集約すると付与述語の語彙数がわからない. 光こで形態素解析 $\mathrm{MeCab}$ を通して述語の種類を推定して求めた.光の結果，付与している述語の種類数は 4048 種類である . 形態素解析を利用してどのような 種類の述語があったかを図 6 に示す.

図 6 付与した述語 (上位 20 件)

図 6 は縦軸が形態素の頻度を表している。「だ」がもっとも多く続いて「の」(同格)，「あ る」「なる」などの和語動詞が多い．

次に述語の品詞について頻度の多い述語から 順に図 7 に上位 20 件まで示す. 品詞は MeCab (IPAdic) の品詞細分類までとする . 述語の頻度 で3 番目に「名詞一般」が多いのは「こと」を 述語として付与しているためである.「こと」 は非飽和名詞 $[5,6]$ であり，内容を名詞化する

図 7 述語の品詞 (上位 20 件)(MeCab による推定)

際に使われる．述語項構造シソーラスでは現段階では非飽和名詞に関する項目が無いが可能な 限り付与している. 現段階では一部概念フレー ムとして WordNet の概念フレームを付与してい る (例えば「こと」に対して「w $\mathrm{wn:00034479-n \lrcorner ).}$ また「話」「仕事」などの非飽和名詞の他に「試 み」や「喜び」など述語的な要素を持つものな どがある．これらは述語項構造シソーラスの概念フレームを付与している.よって先行研究 [7] で付与されている事態性名詞についても今回の NPCMJ コーパスに付与されている．

次に概念フレームについて图 8 に上位 10 件 の頻度分布を示す. 最も多いのが「コピュラ」

図 8 述語の概念フレーム (上位 10 件)

(ある)である．次に「伝達」(話す)，「生成」(作 る)，「変更」(変える)，「移動」(行く)が多いこ とがわかる.

項について

項に付与した意味役割の統計量について示す。 PropBank 形式の意味役割上位 20 件を図 9 に 示す.

図 9 では最も多い意味役割は $\operatorname{Arg} 1$ で $\operatorname{Arg} 0$ の 1.6 倍程度出現している.必須項は $\operatorname{Arg} 2$ までが 数千の単位で出現していて，割合が多いことが

図 9 PropBank 形式の意味役割 (上位 20 件)

分かる. 一方, $\operatorname{Arg} 3$ や $\operatorname{Arg} 4$ はこれらに比べる と相対的に少ないことが分かる．

付加詞に対する意味役割では副詞を表 す ArgM-ADV (副詞), ArgM-TMP (時間), ArgMLOC (場所) が光れ光れ $\operatorname{Arg} 2$ に続いて出現して いる.ArgM-PRX は連語である．このタグは主動詞の意味がほとんどなく項の部分に中心的な 意味がある場合に付与する．「〜をする」とい う軽動詞構文はこのタイプの意味役割を付与し ている.

(book_except-15)

また , 慣用句などで項の部分と動詞の部分が一 つになってある決まった意味を表す場合の項の 部分に付与する。

(aozora_Tsuboi-1968)

よって，ArgM-PRX を付与している項は述語の

一部と見なしている。

次に名前の意味役割上位 20 件の頻度分布を 図 10 に示す.「対象」が最も多く，次いで「動

図 10 名前の意味役割 (上位 20 件)

作主」「経験者」が続く . 意味役割の頻度分布 が PropBank 形式の意味役割と異なるのは $\operatorname{Arg} 1$ は「対象」や「経験者」など複数の名前の意味役割に付与されることが原因である．これは
PropBank 形式の意味役割が構文を重視した分類であるのに対して，名前意味役割は意味的な 関係を重視している点に起因する．

## 7 最後に

本論文では現在進めている NPCMJ に対する 概念フレームと意味役割付与データ構築プロ ジェクトでどのようなタグをどの程度付与して いるかについて記述した . PropBank 形式の意味役割を採用し，概念フレームごとに意味役割 の定義集合を一貫して構築している．NPCMJ における統語情報付与作業はこれからも続くた め，今後も意味役割と概念フレームの付与を続 けると同時に付与データを公開していく予定で ある

## 8 謝辞

本研究の遂行にあたって国立国語研究所機関拠点型基幹研究プロジェクト「統語・意味解析 コーパスの開発と言語研究」および科研費 (課題番号 19K00552) の助成を受けた .

## 参考文献

[1] 吉本啓, 周振, 小菅智也, 大友瑠璃子, Alastair Butler. 日本語ツリーバンクのアノテーション方針. 言語処理学会第 19 回年次大会, 2013.

[2] 竹内孔一, バトラーアラステア, 長崎郁, ホー ンスティーブンライト. PropBank スタイルの意味役割タグを導入した述語項構造シソーラスと NPCMJ への付与計画. 言語処理学会第 25 回年次大会, pp. 136-138, 2019.

[3] Koichi Takeuchi, Alastair Butler, Iku Nagasaki, Takuya Okamura, and Prashant Pardeshi. Constructing Web-Accessible Semantic Role Labels and Frames for Japanese as Additions to the NPCMJ Parsed Corpus. In Proceedings of The 12th Language Resources and Evaluation Conference (LREC2020), 2020.

[4] Alastair Butler. From discourse to logic with stanford corenlp and treebank semantics. In New Frontiers in Artificial Intelligence. JSAI-isAI 2019, vol. 12331 of Lecture Notes in Computer Science, 2020.

[5] 西山佑司. 日本語名詞句の意味論と語用論.ひつ じ書房, 2003.

[6] 影山太郎. 日英対照 名詞の意味と構文. 大修館書店, 2011.

[7] 小町守, 飯田龍, 乾健太郎, 松本裕治. 名詞句の語彙統語パターンを用いた事態性名詞の項構造解析. 自然言語処理, Vol. 17, No. 1, pp. 141-159, 2010.


# 中国語の「数量詞分離」の語用論・意味論とその形式化

詹 湬凡（東北大学国際文化研究科）吉本 啓（東北大学高度教養教育・学生支援機構）
tinpozhan@gmail.com
kei@compling.jp

## 1. はじめに

中国語には（1）のように、日本語の数量詞遊離 に類似した現象がある。

(1) 那些 苹果 我 吃了 两个。 those apple 1-SG eat-PEF two-CL(general) 'それらのリンゴは私が二個食べた'

日本語の数量詞遊離は様々に議論されている。そ の代表的な研究として、Miyagawa（1989）は「相互 C 統御条件」と「非対格仮説」を併用する分析 を行っている。それに対し、高見（1998）は語用論的特徴、より具体的には、情報構造的特徴により、数量詞遊離構文の適格性問題がよりよく説明するこ とができると述べている。

中国語の数量詞分離構文に関しては、主に

Miyagawa（1989）を踏襲し、統語論を中心として 議論が展開されている（eg. 山口 2005）。語用論、情報構造の視点からの研究はあまり見られない。中国語の場合は日本語のような長距離遊離という 現象がないにもかかわらず、情報構造の観点から表層構造の差異による表現力の差異を説明することが できると思われる。そこで、本稿の考察ではまず中国語の数量詞分離構文の情報構造について検討す る。

一方、「数量詞」がアジア諸言語において特殊な 品詞範疇であり、分離・遊離数量詞はさらに特殊な 現象として、意味論上の考察も十分とは言えない。 したがって、本稿では形式意味論の立場を取り、数量詞・分離数量詞の意味表示、及び数量詞分離構文 の意味計算をも検討する。

最後の到達点として、語用論、意味論両側面の考察の結論によって、当該文法現象に対して形式的文法体系におけるより完全な記述を提案する。

## 2. 数量詞分離構文の情報構造

## 2. 1 情報包装理論と情報構造の三分法

情報構造の分析において、本稿は Engdahl and Vallduví（1996）により提示された情報包装理論
（Information Packaging Theory, IPT）に従う。IPT は 情報構造の三分法によって、topic-comment と focus-presupposition の対立を解消している（Vallduví 1990, Chp. 3 を参照されたい)。

より詳細には、まず、一文の情報構造は焦点

（FOCUS）と基盤（GROUND）という二部分に分

けられる。焦点はその文において聞き手にとって相対的に新しく、最も重要であると想定される情報を いう。それに対して、基盤はその文において、聞き 手にとって相対的に古く、それほど重要でないと想定される情報である。また、基盤はリンク

（LINK）とテール（TAIL）に分けられる。リンク は topic-comment $の$ topic にほぼ相当し、談話の

「出発点」である。これに対し、テールは非リンク 的要素であるという。

## 2.2 中国語の文のデフォルト的情報構造

LaPolla（1995）は中国語の文において、話題的 または非焦点的名詞句は動詞の前に現れ、焦点的ま たは非話題的名詞句は動詞の後ろに現れる傾向があ ると主張している。IPTの体系において、中国語の 文は（2）のようなデフォルト的情報構造を持つと 考えられる。

(2)

本研究では、北京語言大学により開発された現代中国語コーパス (BCC) から、分離数量詞が生起す る文を抽出し、その中から 2000 文を詳細に調査

し、（3）のように文型別に整理した。

（3）（HNP：ホスト名詞、NU：数量詞、 LOC：場所句)。

 \\

以上の文型は、特有の語用論的意義を持っている が、関連する個別的な研究 (eg. 「把」構文 : Tsao (1987)、「被」構文 : LaPolla（1990, Chp. 3 )) に よると、それらの情報構造は（2）のデフォルト的情報構造に合致している。それに加えて、実例の上下文脈の観察により、帰納的にホスト名詞の基盤性 （Groundedness）が確認される。これは日本語の数量詞遊離構文に対する高見（1998）の所見にも合致 する。

## 2.3 分離数量詞の焦点性

本節では焦点敏感演算子 (focus-sensitive operator）を利用し、分離数量詞の焦点性を確認す る。焦点敏感演算子（focus-sensitive operator）と は、文の焦点位置が変わるのに伴って、束縛要素と 作用域が変わり、文の解釈（意味）の変化をもたら す演算子を指す。

下の（4）を見よう。

(4)

a. 饭 我最多吃一碗。 rice 1-SG at-most eat one-CL(bowl) ‘ご飯は私が精々一杯を食う。

b. 我最多吃一碗 饭。 1-SG at-most eat one-CL(bowl) rice ‘私は精々一杯のご飯を食う。

（4a）は数量詞分離構文であり、（4b）では数量詞が名詞を連体修飾している。副詞「最多」は焦点敏感演算子として、(4a）において、数量詞「一碗」を束縛し、他方、(4b) において、「一碗饭」全体を束縛する。よって、たとえば「ご飯を一杯、餃子を四個食う」場合、(4a）は真となるが、（3b）は偽となる。

数量詞一名詞の「連合」はそもそも意味上、「モ ノの存在」・「モノの数量」・「モノの内容」の三種類 の情報を伝える。数量詞分離構文は語用論上、ホス 卜名詞が先に提示されることによって、「モノの存在」と「モノの内容」が前提化され、目的語位置に 残る数的情報をハイライトする働きをしていると考 えられる。

## 3. 数量詞分離構文の意味論 3.1 $\lambda$ 計算付き談話表示理論

意味論の分析において、構成性原理と文脈依存性 を考慮し、 $\lambda$ 計算付き談話表示構造 ( $\lambda$-DRS, Bos et al. 1994）を採用する。DRS（Kamp and Reyle 1993）は通常、「ボックス」で記述されるが、スペ 一ス節約のために、ここでは線状化された表記

（Muskens 1996）を使う。基本的な形式は（5）の ようになる。

(5) $K($ Box $)=\left[\mathrm{x}_{1} \ldots \mathrm{x}_{\mathrm{n}}\right.$ (discourse referents) $\mid \varphi_{1} \ldots \varphi_{\mathrm{n}}$ (conditions)]

## 3.1 ホスト名詞の解釈

基盤的であるという情報構造的特峌はホスト名詞 の意味論上のステータスにも関連している。ホスト 名詞は定的指示（definite reference）または種類指示 (kind reference) でなければならない。換言すれ ば、ホスト名詞は漠然とした不定的対象と解釈され ることが許されない。

有定性（definiteness）は認識上の同定可能 （identifiable）性として定義されることがある（eg. Lyons 1999)。種類指示、または総称、と話題性 （topichood）との関連もよく議論される（eg. Van Valin and LaPolla 1997, p.200)。種類指示は常識上談話参加者にとって同定可能的であるため、常に話題 となるとされている。

しかし、形式意味論において名詞は通例、技術的 に一項関数としての属性（property）として扱われ ている。種類指示に対処するために、本稿は Chierchia（1998）の方法を導入する。ここでは主に 二つのものをオントロジックに使う。

(1)素朴集合論の代わりに、束（lattice）に基づい た名詞の外延の定義。(詳細は 3.2 節)

(2) ${ }^{n}$ (down 演算子)。属性は down 演算子の作用

によって、一階定項 e としての種類（kind）にタイ プシフトすることができる。そこで、「パンダは稀 だ」の意味は（6）のように表すことができる。

(6) $\llbracket$ Panda is rare $\rrbracket=$ RARE $^{\prime}\left({ }^{n}\right.$ PANDA' $\left.^{\prime}\right)$

$\lambda$-DRS の場合、種類指示はその定項に独自のソ 一トを与え、（7）のように表示する。

(7) [ $\mid<k$, name $>]$

$\mathrm{k}_{\mathrm{i}}$ はソートが「kind」である定項として、ソート が「event」である定項 $\mathrm{e}_{\mathrm{i}}$, ソートが「individual」で ある $\mathrm{x}_{\mathrm{i}}$ などと区別される。よって、（6）はこのよ うな体系において、 $\left[\mid<\mathrm{k}_{\mathrm{i}}\right.$, panda $>$, rare $\left.\left(\mathrm{k}_{\mathrm{i}}\right)\right]$ で表す ことになる。

一方、定的指示のような文脈依存表現は Bos et al. （1994）において、「ALFA 条件」が付いた「ALFA 表現」として扱われている。ここでは、「ALFA 表現」を（8）のように表記する。

(8) [ |@x. $\{\psi(\mathrm{x}) \ldots($ restriction $)\}]$

（8）に示すように、ALFA 表現の談話域は空値 であり、ALFA 表現自体は談話域に談話指示物を導入しない。@xはただの仮変数で、照応処理によっ て適切なグローバル変数と同值化することが要求さ れている。

## 3.2 数量詞 - 分離数量詞のオントロジッ クな定義と意味表示

Chierchia の名詞意味論に従い、小林（2004）の 扱い方も参考して、中国語の数量詞 - 分離数量詞に つき、（9）にオントロジックな定義を与える。

## (9)

Unit $\{\mathrm{k} 1, \ldots, \mathrm{km}\}$ が種類 $\mathrm{k}_{1}, \ldots, \mathrm{k}_{\mathrm{m}}$ に対して適切な助数詞である場合、Unit $\{\mathrm{k} 1, \ldots, \mathrm{km}\}$ の外延 U は、 $\mathrm{k}_{1}, \ldots, \mathrm{k}_{\mathrm{m}}$ が含むすべての要素からなる上限半束 （upper semilattice）として定義される。

$
\begin{aligned}
& \mathrm{U}=\left.\{\mathrm{x} \in \mathrm{U} \mid \exists \mathrm{y}_{1}, \ldots, \mathrm{y}_{\mathrm{r}} \in \mathrm{U}\left.\{\llbracket \mathrm{k}_{1} \rrbracket, \ldots, \llbracket \mathrm{k}_{\mathrm{m}} \rrbracket\right.\}:\right. \\
& \left.\mathrm{x}=\mathrm{y}_{1} \oplus \ldots \oplus \mathrm{y}_{\mathrm{r}}\right.\}
\end{aligned}
$

$\mathrm{n}$ は基数で、数量詞 [ $\mathrm{NU}$ Numeral $_{\mathrm{n}}$ Unit] は $\mathrm{n}$ を 入力し、U の中から濃度（cardinality）が n である集合を選び出してそれらの集合を（n が 1 であれば $\mathrm{U}$ の中の原子的（AT）要素からなる集合を）出力 する関数 $v$ と定義する。

$
\begin{aligned}
& v(\mathrm{n})=\mathrm{AT}(\mathrm{U}), \mathrm{n}=1 \text {, or }\{\mathrm{x}|\mathrm{x} \in \mathrm{U} \wedge| \mathrm{x} \mid=\mathrm{n}\}, \mathrm{n} \\
& >1
\end{aligned}
$

$\mathrm{k}_{\mathrm{i}}$ が Unit $\{\mathrm{k} 1, \ldots, \mathrm{km}\}$ で数えられる種類の一つで あるとすると、数量詞が連体修飾する名詞句 [NUP $\mathrm{NU}_{\mathrm{i}}$ ] は $\mathrm{k}_{\mathrm{i}}$ を入力して、v(n)の結果の中 $\mathrm{k}_{\mathrm{i}}$ の部分 を満足する要素の集合、もしくは $v(n)$ と $\mathrm{k}_{\mathrm{i}}$ が対応す る概念の外延の積集合を出力する関数 $\mu$ と定義す ることができる。

$
\begin{aligned}
& \mu\left(\mathrm{n}, \mathrm{k}_{\mathrm{i}}\right)=\left.\{\mathrm{x} \mid \mathrm{x} \in \mathrm{v}(\mathrm{n}) \wedge \mathrm{x} \leq \llbracket \mathrm{k}_{\mathrm{i}} \rrbracket\right.\}=\mathrm{v}(\mathrm{n}) \cap \\
& \quad \llbracket{ }^{\cup} \mathrm{k}_{\mathrm{i}} \rrbracket
\end{aligned}
$

分離数量詞の場合、ホスト名詞が定的指示に解釈されることがあるため、前に定義した $\mu$ の関数 を拡張する必要がある。つまり $\mathrm{k}$ だけではなく、定的指示の類も適用できるようにしなければならな い。即ち、

$
\begin{gathered}
\mu\left(\mathrm{n}, \mathrm{k}_{\mathrm{i}}\right) \Rightarrow \mu(\mathrm{n}, \mathrm{t})=\{\mathrm{x} \mid \mathrm{x} \in \mathrm{v}(\mathrm{n}) \wedge \mathrm{x} \leq \llbracket \mathrm{t} \rrbracket\} \\
\mathrm{t} \in\left.\{\mathrm{k}_{1}, \ldots, \mathrm{k}_{\mathrm{m}}\right.\} \vee \mathrm{t}=\mathrm{P} P \wedge \cap_{\mathrm{P}} \in \cup\left.\{\mathrm{k}_{1}, \ldots, \mathrm{k}_{\mathrm{m}}\right.\}
\end{gathered}
$

以上の定義を踏まえて、 $\lambda$-DRS の枠組みにおい て、分類数量詞の表示は自然に導き出される。比較 のために、(10a) には連体修飾する数量詞の中の助数詞の論理形式を示し、10b）には分離数量詞の中 の助数詞の論理形式を示す。

(10)
a. $\lambda n \lambda k \lambda P[x \mid x \in \mu(n, k) \wedge P(x)]$
b. $\lambda \mathrm{n} \lambda \mathrm{P}[\mathrm{x} \mid \mathrm{x} \in \mu(\mathrm{n}, @ \mathrm{t}) \wedge \mathrm{P}(\mathrm{x})]$

## 3.3 数量詞分離構文の意味生成

下の（11）は、例文（1）の意味生成の過程を示 す。ここでは Gao （2001）の動詞項構造拡張説を 採用し、ホスト名詞を動詞が下位範疇化する斜格 （OBL）とする。

两个: $\lambda \mathrm{P}[\mathrm{y} \mid \mathrm{y} \in$ 个(2,@v) $\wedge \mathrm{P}(\mathrm{v})]$

吃了: $\lambda y \lambda x \lambda \lambda z[e \mid e a t(e), \operatorname{Agent}(e, x)$, Theme(e, y), OBL(e, z)]

$\Rightarrow$ 吃了两个: $\lambda x \lambda z[$ e, y $\mid$ eat(e), Agent $(e, x)$, Theme $(e$, $\mathrm{y}), \mathrm{y} \in$ 个(2, @v),OBL(e, z)]

我: $\lambda \mathrm{P}[\mid @ \mathrm{i} .\{<\mathrm{i}$, speaker $>\} \wedge \mathrm{P}(\mathrm{i})]$
$\Rightarrow$ 我吃了两个: $\lambda z[\mathrm{e}, \mathrm{y} \mid \operatorname{eat}(\mathrm{e}), \operatorname{Agent}(\mathrm{e}, \mathrm{i}), @ \mathrm{i} .\{<\mathrm{i}$, speaker $>\}$, Theme(e, y), $\mathrm{y} \in$ 个(2, @v),OBL $(\mathrm{e}, \mathrm{z})]$那些苹果: $\lambda \mathrm{P}[\mid @ \mathrm{w} .\{\operatorname{apple}(\mathrm{w})\} \wedge \mathrm{P}(\mathrm{w})]$ $\Rightarrow$ 那些苹果我吃了两个: [ e, y | eat(e), Agent(e, i), @i. $\{<\mathrm{i}$, speaker $>\}$, Theme(e, v), y $\in$ 个 $(2, @ \mathrm{v}), \mathrm{OBL}(\mathrm{e}$, w), @w.\{apple(w) \}]

$\Rightarrow$ (照応処理) [ e, y | eat(e), Agent(e, i), @i. $\{<i$, speaker $>\}$, Theme(e, y), $\mathrm{y} \in$ 个(2,@w), OBL(e, w), @w.\{apple(w)\}]

ここでの照応処理は統語部門の規定による local resolution である。動詞の項構造において、OBL に より同時に Theme のギャップが補填されることが 記載されている（(13）を参照されたい)。文の統語計算が完成する時点で、@vの値は@w に同一化さ れる。

## 4. HPSG による形式化

本節では数量詞遊離に関して、第 2 節の語用論か らの考察と第 3 節の意味論からの考察を、主辞駆動句構造文法 (Head-driven Phrase Structure Grammar, HPSG）により記述する。HPSG の設定と表示は Sag et al. (2003) のバージョンに基づいている。 IPT と $\lambda$-DRS は別々に、語用論部門（PRAG）及び 意味論部門（SEM）において構成される。

下の（12）には、（1）のような話題化構文の主動詞の項構造を示す。文法諸部門のインタフェースと する項構造によって情報構造の指定を担うのは合理的だと思われる。同時に、文内の照応の情報や意味役割の分配の情報についても規定されており、まさ に文法諸部門の「相互制約」を反映している。

（13）は（1）の中の一般助数詞の「个」の辞書項目を示す。ここはALFA_ARG の値と半順序関係 $(\leq)$ にある ARG2 の値、とギャップの補填子の意味論部門に記載される項の值とが同值であると指定するこ
とによって、統語計算が完了する時点で、分離数量詞が実質的な名詞的内容物を獲得する。

(13)

## 5. おわりに

本稿では、中国語の数量詞分離構文を語用論及び 意味論の両側面から分析した。語用論から、数量詞分離構文はホスト名詞と分離数量詞とが基盤対焦点 の関係にあり、数量詞が連体修飾する名詞句全体が 基盤や焦点の位置にある文とは異なる。このような 情報構造の分布は意味解釈に相応の制約をもたらす。 Chierchia の名詞意味論により、本稿は一貫した形式意味計算の手続きを提供している。数量詞分離は語用論的な動機に基づく構文であると言える。また、

中国語の discourse configurational language としての 性格も明らかになった。このような分析は形式文法 の理論的な面において、制約に基づく並列的処理の 妥当性を証明している。将来の課題として、この分析を他の言語現象にも適用し、この文法体系の実装 を行いたいと思う。

## 参考文献

Bos, J., Mastenbroek, E., McGlashan, S., Millies, S., and Pinkal, M. (1994). The Verbmobil semantic formalism (version 1.3). Verbmobil Report 6, Universität des Saarlandes, Saarbrücken, Germany.

Chierchia, G. (1998b). Reference to kinds across language. Natural language semantics, 6(4), 339405.

Engdahl, E. and E. Vallduví (1996). Information packaging in HPSG. In: C. Grover and E. Vallduví (eds.) Edinburgh working papers in cognitive science, 12, 1-32. Scotland: Centre for Cognitive Science, University of Edinburgh.

Gao, Q. (2001). Argument structure, HPSG, and Chinese grammar. Doctoral dissertation, The Ohio State University.

Kamp, H. and U. Reyle (1993). From Discourse to Logic. Dordrecht: Kluwer Academic Publishers.

LaPolla, R. J. (1990). Grammatical relations in Chinese. Synchronic and diachronic considerations. Ph. D. dissertation, UC Berkeley.

LaPolla, R. J. (1995). Pragmatic relations and word order in Chinese. In: Pamela A. Downing and Michael Noonan (eds.), Word order in discourse, 297-329. John Benjamins Publishing.

Lyons, C. (1999). Definiteness. Cambridge University Press.

Miyagawa, S. (1989). Syntax and Semantics 22: Structure and Case Marking in Japanese. San Diego: Academic Press.

Muskens, R. (1996). Combining Montague semantics and discourse representation. Linguistics and phil -osophy, 19(2), 143-186.

Sag, I. A., T. Wasow and E. Bender (2003). Syntactic Theory: A Formal Introduction (2nd ed.). Stanford: CSLI Publications.

Tsao, Feng-fu. (1987). A topic-comment approach to the ba construction. Journal of Chinese Linguisitcs, 15, 1-54.

Vallduví, E. (1990). The informational component. Ph.D. Dissertation, University of Pennsylvania.

Van Valin, R. D., Jr. and LaPolla, R. J. (1997). Syntax: Structure, meaning, and function. Cambridge University Press.

高見健一 (1998)「日本語の数量詞遊離について: 機能論的分析 (下)」『言語』27:3.99-107

小林昌博 (2004)「数量詞の形式と量化の領域 : 日英語の対照の観点から」、佐藤滋・堀江薰・中村涉編『対照言語学の新展開』,125-135.ひつじ書房山口直人（2005）「中国語の遊離数量詞」『日中言語対照研究論叢』(7), 114-131.


# 定理証明に基づく対話的な自然言語推論システム

隅田敦
東京大学
atsushisumita0421@gmail.com
}

峯島宏次
慶應義塾大学
}

minesima@abelard.flet.keio.ac.jp

宮尾祐介

東京大学

yusuke@is.s.u-tokyo.ac.jp
## 1 概要

自然言語推論 (Natural Language Inference; NLI) と は, ある文から別の文が帰結するか否かを判定する タスクである [1]. 自然言語推論は質問応答, 自動要約, ファクトチェックなどの様々な応用先が考えら れ, 近年では自然言語理解のベンチマークとしても 重要性を増している [2].

本論文では, 計算機と人間のインタラクションが NLI を解く上で有益であるかを検討する.ここでイ ンタラクションとは, 人間と計算機が互いの弱みを 補完しながら協力して NLI タスクを解くという形式 を想定している. 一般的に, 人間の方が語彙間の含意関係や常識推論などの柔らかい判断に優れる一方 で, 計算機の方が交錯した論理関係の包括的な探索 や検証において優位性があると考えられる. 自然言語推論は様々な意味現象が組み合わさった複雑な夕 スクであり,これら両方の意味現象を処理する必要 がある.

本研究では形式意味論と定理証明器を用いるアプ ローチに着目する. 定理証明器は 複雑な数学的命題 や形式手法の証明を補佐するためのソフトウェアで あり, 人間と計算機が互いの強みを活かしてインタ ラクティブに複雑な課題を解決している好例であ る.いくつかの既存研究において, 自然言語の意味を 論理式を用いてモデル化する形式意味論 $[3,4]$ と組 み合わせることで, 定理証明器を NLI に応用するこ とが出来ることが示されている $[5,6,7]$. しかし, 定理証明器の重要な特徴であるインタラクティブな課題解決という側面に目を向けた NLI システムはこれ までに十分に研究が行われて来なかった.

そこで, 本研究では形式意味論と定理証明器に基 づいた NLI システムである ccg2lambda [8] に, 証明
に関する知識が不足した際にユーザーが自然言語で インタラクションを行うことが出来るシステムを提案する。

仮説の検証のために，SICK [9] をデータセット， Amazon Mechanical Turk にて募ったクラウドワー カーを被験者として適合率, 再現率, 精度を計測し, エラー分析を行った. 以降で提案手法と実験につい て詳細に説明する。

## 2 提案手法

本節ではユーザーと定理証明器とのインタラク ションを実現するための提案手法について説明す る. 重要な点として,インタラクションは基本的に自然言語で行われる.これにより, 形式意味論や定理証明器について知識がないユーザーであってもインタ ラクションが可能となる.

図 1 に提案手法の大枠を示した. 提案手法の内, セ マンティックパーザーと定理証明器については既存手法を用いている. まず，ユーザーが証明したい文の 組をシステムに入力し,これがセマンティックパー ザーにより論理式に変換される.これが定理証明器 に入力される. 定理証明器は証明をいくつかのサブ ゴールと呼ばれる命題に分解し, 全てのサブゴール が証明された時に全体の証明が完成する. 図 1 の例 では, person $(x 0)$, move $(e 0)$ がサブゴールである.

本研究ではサブゴールを自然言語に変換しユー ザーに提示するインタラクティブな NLI システムを 提案する. 以下, サブゴールを自然言語に変換したも のを可読なサブゴールと呼ぶことにする.より正確 には, あるサブゴールの可読なサブゴールとは, 前提文とそのサブゴールが真の時かつその時のみ真と なるような自然言語文のことである。図の例では, person $(x 0)$, move $(e 0)$ に対応する可読なサブゴール

(1)ユーザーの入カを論理式に変換

図 1 提案手法によるインタラクションの例. ユーザーが証明したい文対を入力すると, セマンティックパーザーにより 文対が論理表現に変換され，定理証明器に入力される。証明が完成しなかった場合にサブゴールを抽出し，提案手法に より可読なサブゴールが生成されユーザーに提示される. ユーザーの反応に応じて公理が生成され，証明が続行される.

は The man is a person, The man is moving となる. ユー ザーが可読なサブゴールの真偽を入力すると, それ に応じて新たな論理式が公理として生成され, 定理証明器にフィードバックされる. 以下でより詳細な ステップについて説明する。

## 2.1 可読なサブゴールの生成

サブゴールを可読なサブゴールに変換する問題を 考える. 以下の説明では, 図 1 中の move $(e 0)$ を例に とる.

サブゴールを自然言語文に変換するためには, サ ブゴールに含まれていないが自然言語文には必須の 要素を識別し正しく補充することが必要となる. 例 えば, 適格な (英語の) 自然言語文は主語が必ず必要 である. move $(e 0)$ の例では, 誰が moveしているのか を識別しなければならない。

まず第一ステップとして, 可読なサブゴールに含 めるべき変数の集合を識別する.これは論理式中の 意味役割を表す式から識別できる. 意味役割は主語 や動詞の必須項などを表現しており, 適格な自然言語文には含める必要がある. よって, 各変数について その変数が含まれている意味役割の式を抽出し, そ の式に含まれている全ての変数を集合に追加すると いう手続きを再帰的に適用すれば良い. 現在の例で は, $\operatorname{Subj}(e 0)=x 0$ から 可読なサブゴールに含める べき変数は $\{e 0, x 0\}$ であることが分かる.次のステップでは，それぞれの変数に語を割り 当て, 変数の内容を自然言語で表す.これには, そ の変数を引数としている述語を選択すれば良い.現在の手法では entity 型の変数に関してはそれを 引数に取る名詞を, event 型の変数に関してはそ れを引数に取る動詞を選択している. 現在の例で は, $x 0$ には man, $e 0$ には move を選ぶ. 結果として, $\{e 0$ : “move”, $x 0$ : “man” $\}$ を得る.

最後に, 得られた語の正しい語順と必要な機能語 を適宜補充し, 文法的に正しい文を生成する. 可読な サブゴールはごく簡単な宣言文なので, 語の品詞か ら語順, 時制, 必要な機能語を特定するルールベース のシステムが比較的容易に構築可能である.この例 では, The man is moving が可読なサブゴールとなる.

表 1 に実際に生成された可読なサブゴールを示し た. 二列目にサブゴール, 三列目に可読なサブゴール が示されている.

## 2.2 ユーザーの反応

可読なサブゴールを受け取ったユーザーは true, false, unknown から一つを選び, これを返答とする。 true が選択されると, 可読なサブゴールが論理表現 に変換され, 公理として定理証明器に追加される. false が選ばれた場合には可読なサブゴールを否定 した論理表現が追加される. unknown が選ばれた場合には公理は追加されず, 証明が完成しないことが

 & boy $(x 0)$ & The kid is a boy. & $\forall x, \operatorname{kid}(x) \rightarrow \operatorname{boy}(x)$ \\
 & & & \\

and the man is smiling nearby. & near $(e 0, x 1)$ & The man is with a smile. & $\forall x, y, e, \operatorname{boy}(x) \rightarrow$ \\
H: The kids are playing outdoors near a & with $(e 1, ? x 2)$ & The boys are near a man. & $\operatorname{Subj}(x)=e \wedge \operatorname{near}(e, y)$ \\
man with a smile. & $\operatorname{smile}(? x 2)$ & & $\wedge \operatorname{man}(y)$ \\

H: Two dogs are wrestling and hugging. & hug $(e 1)$ & The dogs are hugging. & $\forall e, \operatorname{fight}(e) \rightarrow \operatorname{wrestle}(e)$ \\

表 1 文のペアに SICK の訓練データから抽出した文を示している，T から始まる文が前提文, $\mathbf{H}$ から始まる文が帰結文 であり, 前者から後者への含意関係を示すことがタスクの内容となる. イタリックで示した箇所が非論理的推論が必要と なる箇所であり, サブゴールとして定理証明器により出力される. サブゴールには定理証明器が証明出来なかった命題を 示している. 可読なサブゴールには提案手法が生成しユーザーに提示された文を示した. 公理にはユーザーが trueで反応した場合に生成される論理式を示した.

表 2 SICK における適合率, 再現率, 精度. チェックマークは axiom injection [5], readable subgoal は提案手法の可読なサブ ゴールを使用しているか否かを示している。

確定するのでプロセスが停止する. 表 1 の四列目に trueが選択された場合の公理を示した.

## 3 実験

## 3.1 データ

提案手法の評価には, 語彙的な推論と論理的な推論の両方を適度に含み, 関連する既存手法 $[5,6]$ にお いても使用されている自然言語推論データセットで ある SICK [9]を用いた. SICK は 10000 件の文対から 成り, 各文対について一つ目の文から二つ目の文が 帰結するか否かを判定する分類タスクである. 正解 ラベルは entailment, contradiction, neutral の三通りで ある.

## 3.2 実験設定

セマンティックパーザーには ccg2lambda [8], 定理証明器に Coq [10] を使用した. SICK の訓練データか らサンプルした 1000 ペアを depccg と ccg2lambdaに より論理表現に変換し, 定理証明器に渡して証明を 行った. 定理証明器が証明を完成させた場合はプロ セスが終了する. 証明が完成しなかった場合はサブ ゴールを抽出し, 提案手法により可読なサブゴール
を生成し, ユーザーがインタラクションを行う. 本実験においては Amazon Mechanical Turkにより被験者 を募り,各ペアについて 3 人が true, false, unknown を 付与した. 精度を高めるため, 3 人が一致した時のみ 公理を生成した。

## 3.3 結果

適合率, 再現率, 精度を表 2 に示した. 一行目の ベースラインは majority class であり, $61.5 \%$ を占め る neutral の割合を示している. 二行目は ccg2lambda [8] の結果であり, $99.7 \%$ と高い適合率を達成してい るが, 再現率が $34.7 \%$ と低く, 全体として低い精度と なっている. 三行目に ccg2lambdaを拡張し知識デー タベースから公理生成を行う word abduction [5] の結果を示した. 語彙的推論がカバーされたため再現率 が $53.8 \%$ に向上している. 四行目に提案手法の結果 を示した. 再現率は $59.0 \%$ と最も高く, 偽陽性も少な く適合率の高さも維持されたため, 精度についても 比較した手法の中では最も良い結果となった.

## 3.4 エラー分析

提案手法の成功例と失敗例について表 3 にまと めた.

 & Yes & Yes & The helmet is red. \\

表 3 本実験中に得られた提案手法の成功例と失敗例. 単純な語彙間の含意関係では捉えられない句間の含意関係が捉え られている (1-2 行目). 一方で, 帰結文との重複が多いケース (3 行目) や蓋然性を高めるだけの関係を含意とアノテーショ ンしてしまうケース (4-5 行目) が多く見られた.

一行目のペアは成功例である.この証明を完成さ せるためには, 句間に成立する含意関係を認識する 必要があり, 単純な語彙間の含意関係に基づいた手法では処理することが出来ない. より形式的には, こ こで用いられている知識は以下のようなものであ る. The helmet is red については

$
\begin{aligned}
& \forall x, y, e, \operatorname{paint}(e) \wedge \operatorname{red}(x) \wedge(\operatorname{Acc}(e)=x) \\
& \wedge(\operatorname{Dat}(e)=y) \rightarrow \operatorname{red}(y)
\end{aligned}
$

The man is a motorcyclist については

$
\begin{gathered}
\forall e, x, y, \text { ride }(e) \wedge \operatorname{man}(x) \wedge \operatorname{motorcycle}(y) \\
\rightarrow \operatorname{motorcyclist}(x)
\end{gathered}
$

実際この例においては知識ベースにより公理を生成する既存手法 [5] は証明を完成させることが出来 ていない. 二行目に示した例も同様に, ride the wave から surf を導く必要がる.

三行目に示した例は成功しているがやや問題を含 んでいる. 可読なサブゴールは正しく生成され予測結果も正しいが, 帰結文とほとんど重複してしまっ ている.これは帰結文が短すぎるために分解の余地 がないためである.したがってこのようなケースで は可読なサブゴールを介する有用性が低く, より長 い前提文・帰結文において提案手法が価値を発揮す ることが示唆される。

四行目に示した例は典型的な失敗例である.この 例では The stage is a podium という可読なサブゴール に対して true とラベルが付与されたが, 全ての stage が podium である訳ではないので unknown が正しい 反応となる. ただしこの文脈で stage が podium であ るという蓋然性は高く, このようなケースと他の語彙間の含意関係や常識判断の間に厳密な線を引くの は難しい. 五行目に示した例も同様である.
また, 曖昧性のある場合にも解析誤りが見られ た. 例えば The men are women はその女性は男性であ るともその女性は人間であるとも解釈でき, それぞ れの解釈の下で適切な反応が異なってしまう。この ような曖昧性の解消が将来的には必要になると考え られる。

他の失敗ケースで多く見られたのは CCG タグ付 けやセマンティックパーザーなどの前処理の段階で の解析結果の誤りが影響するケースである. 特に複合表現など構成性を満たさない表現は誤った意味表現が付与される例が多く見られた.

## 4 結論と今後の課題

本論文では形式意味論と定理証明器に基づいたイ ンタラクティブな自然言語推論システムを提案し た. 実験の結果, 提案手法により再現率と精度が向上 しており,ユーザーとのインタラクションが有益で あることが示された.

今後の課題としては, 前節で示した典型的な失敗例の解決に加え, より複雑な設定でインタラクショ ンを成立させることが挙げられる. SICK は単文と単文の間の含意関係を認識するタスクだが, 人間が論理関係を包括的に把握するのが困難な量のドキュメ ントを前提文とする場合の方が応用上は有益であ る. そのためには共参照などの問題を考慮する必要 が生じる. また, SICK では非論理的推論のほとんど がシンプルな語彙間の推論だが, 常識推論などのよ り高度かつ計算機には処理が難しい推論を含んだ場合にもインタラクションを成立させることが出来れ ば, ユーザーとシステムの協働により高い価值を見 いだせるので,これらを今後の課題としたい.

## 参考文献

[1] Omer Levy, Torsten Zesch, Ido Dagan, and Iryna Gurevych. Recognizing partial textual entailment. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 451-455, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[2] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pages 353-355, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[3] Terence Parsons. Events in the Semantics of English. MIT Press, 1990

[4] Claudia Maienborn. Event semantics. In Claudia Maienborn, Klaus von Heusinger, and Paul Portner, editors, Semantics. An International Handbook of Natural Language Meaning, volume 1, pages 802829. Mouton de Gruyter, 2011.

[5] Pascual Martínez-Gómez, Koji Mineshima, Yusuke Miyao, and Daisuke Bekki. On-demand injection of lexical knowledge for recognising textual entailment. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pages 710-720, Valencia, Spain, April 2017. Association for Computational Linguistics.

[6] Hitomi Yanaka, Koji Mineshima, Pascual MartínezGómez, and Daisuke Bekki. Acquisition of phrase correspondences using natural deduction proofs. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pages 756-766, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[7] Lasha Abzianidze. LangPro: Natural language theorem prover. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pages 115-120,
Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[8] Pascual Martínez-Gómez, Koji Mineshima, Yusuke Miyao, and Daisuke Bekki. ccg2lambda: A compositional semantics system. In Proceedings of ACL2016 System Demonstrations, pages 85-90, Berlin, Germany, August 2016. Association for Computational Linguistics.

[9] Marco Marelli, Stefano Menini, Marco Baroni, Luisa Bentivogli, Raffaella Bernardi, and Roberto Zamparelli. A SICK cure for the evaluation of compositional distributional semantic models. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pages 216-223, Reykjavik, Iceland, May 2014. European Language Resources Association (ELRA).

[10] Yves Bertot and Pierre Castéran. Interactive Theorem Proving and Program Development: Coq'Art: the Calculus of Inductive Constructions. Springer, 2013.