# ニューラルモデルとタブロー法を用いた自然言語推論

佐治 礼仁 ${ }^{\dagger, \dagger \dagger} \cdot$ 高尾 大樹 $\dagger \cdot$ 加藤 芳秀 $+\dagger \dagger \cdot$ 松原 茂樹 $\dagger,+\dagger \dagger \dagger$

自然言語推論 (NLI)は，2つのテキストの間に成り立つ推論的関係を同定する夕ス クである。近年, ニューラルモデルに基づくアプローチが高い正答率を達成してい る.しかし, このアプローチに基づく NLI は, 判定結果に至る過程や理由を説明す る能力を有していないという問題がある。一方，NLI では以前より，記号操作に基 づくアプローチが提案されてきた。このアプローチは, 推論の論理的な過程を明示 でき, 推論の根拠を示すことができるものの, 語の意味的知識や常識的な知識を十分に備えることは容易でなく, 高い推論性能の達成は難しいという問題がある。 そ こで本論文では，夕ブロー法とニューラルモデルを組み合わせた手法を提案する。 タブロー法は, 推論規則の適用に基づく論理式の分解, 及び, 論理式への真偽值割 り当てが存在するか否かの検査から構成される，本手法ではこのうち，真偽値割り 当ての検査にニューラルモデルを用いる。なお，夕ブロー法では通常，論理式を操作対象とするのに対し, 本手法では依存構造を対象とする。依存構造を用いること により，ニューラル NLI モデルをタブロー法アルゴリズムに組み込むことが可能と なる。提案手法の論理的整合性を検証するために，手法をモデル理論的に定式化し， その理論的性質を明らかにした。また，SNLI コーパスを用いて推論実験を行い，本手法による推論過程の明示可能性を検証した。

キーワード：自然言語推論, 含意関係認識, 依存構造, 形式論理, タブロー法, ニューラル ネットワーク，SNLI コーパス
## Natural Language Inference Using Neural Network and Tableau Method

Ayahito Saji ${ }^{\dagger, \dagger \dagger}$, Daiki TakaO ${ }^{\dagger}$, Yoshihide Kato $^{\dagger \dagger \dagger}$ and Shigeki Matsubara ${ }^{\dagger, \dagger \dagger \dagger}$

Natural language inference (NLI) is the task of identifying the inferential relation between a text pair. In recent times, neural-based approaches have achieved high performance in NLI. However, they are unable to explain their reasoning processes. On the other hand, symbolic approaches have the advantage that their reasoning process is understandable to humans. This paper proposes a method for integrating a neural NLI model and the tableau proof system, with the latter explaining the

reasoning processes. The standard tableau method decomposes logical formulas by applying inferential rules and checks for a valuation that satisfies the given constraints. Unlike the standard tableau method, the proposed method uses dependency structures as its components rather than logical formulas and employs a neural NLI model for the latter process. To analyze the behavior of our method, we conducted an experiment on the neural NLI model and the proposed method using SNLI corpus. In addition, we formalize our method model-theoretically and clarify the theoretical limitations of this method based on the formalization.

Key Words: Natural Language Inference, Recognizing Textual Entailment, Dependency Structure, Formal Logic, Tableau Method, Neural Network, SNLI corpus

## 1 はじめに

自然言語推論 (NLI) (Dagan et al. 2013)とは，2つのテキスト（一方を前提，他方を仮説と呼 ぶ）の間に成り立つ推論的関係を同定するタスクである。前提から仮説が，論理的知識や常識的知識を用いて導出可能である場合は含意, 前提と仮説が両立しえない場合は矛盾，そのいず れでもない場合は中立と判定する。質問応答, 情報検索，テキスト要約などの幅広い分野での 応用が期待されている。

近年, ニューラルモデルに基づくアプローチ (Parikh et al. 2016; Chen et al. 2017; Devlin et al. 2019; Lan et al. 2019; Tai et al. 2020; Wang et al. 2021) が提案され, SNLI コーパス (Bowman et al. 2015), MultiNLI (MNLI) コーパス (Williams et al. 2018), Adversarial NLI (ANLI) デー タセット (Nie et al. 2020), QNLI データセット (Wang et al. 2018)などの NLI データセットを 用いた実験で高い正答率を達成している。 しかし, このアプローチに基づく NLI は, 判定結果 に至る過程や理由を説明する能力を有していないという問題がある。ニューラルモデルの内部 はブラックボックスであり，どのような推論を経て判定に至ったのかを人間が推察することは 容易ではない1。このような問題に対して, 近年, 機械学習モデルの判定の過程を明らかにする ための技術，いわゆる説明可能な AI (XAI) (Barredo Arrieta et al. 2020)の研究が進められてお り, 自然言語処理の分野においても同様の問題意識を共有している (Danilevsky et al. 2020). ま た, ニューラルモデルによる推論の正当性についても問題が指摘されている. 例えば, Yanaka ら (Yanaka et al. 2020)は，ニューラルモデルが自然言語における推論の体系性を学習するか について monotonicity の観点から評価する手法を提案し, 現状のニューラルモデルの汎化性能 には限界があることを示している。 また, Gururangan ら (Gururangan et al. 2018) や Tsuchiya
^{1}$ Kumar ら (Kumar and Talukdar 2020) は説明文を生成する NLI システムを提案している。しかし，説明文は ニューラルモデルにより生成されるため, 説明文の生成過程はブラックボックス化しており，内部の処理を知るこ とは困難であるといえる。
}

(Tsuchiya 2018)は, SNLI コーパスや MNLI コーパスなどの NLI データセットには, 本来 $2 \supset$ のテキストに対して定まるはずの推論的関係が，一方のテキストのみから推測できてしまうバ イアスがあることを示し, ニューラルモデルが単にバイアスに基づいて推論的関係を同定して いるという危険性を指摘している.

一方, NLI では従来より, 記号操作に基づくアプローチが提案されてきた (Bar-Haim et al. 2007; MacCartney and Manning 2007, 2008, 2009; Mineshima et al. 2015; Abzianidze 2015, 2017; Hu et al. 2020). このアプローチには, ニューラルモデルによるものと異なり, 推論の論理的な 過程を明示できるという利点がある。また, 推論における記号操作は, 論理学や言語学による 裏付けが与えられているため, 推論の根拠を示すことができる. しかし, このアプローチでは,推論規則を人手で作成する必要があり，語の同義・対義関係や上位・下位関係を網羅的に扱う ことが難しいという問題がある。加えて，「雨が降ると地面が濡れる」といった常識的知識を推論規則として表現しなければならず，それを人手で網羅することは困難である．実際，記号操作に基づくアプローチは, FraCaS test suite (Cooper et al. 1996) や SICKデータセット (Marelli et al. 2014) など，論理的知識に基づき推論的関係が導出できるように統制をかけて作成された NLI データセット（以下，統制 NLI データと呼ぶ）に対して優位性が示されている。一方，上述したSNLIコーパスや MNLIコーパスなどは，統制 NLI データで課されたような統制をかけ ず比較的自由に作成されている（以下, 非統制 NLI データと呼ぶ). 語の意味的知識や常識的な 知識を十分に備えていない記号操作に基づくアプローチでは, 非統制 NLI データに対して高い 正答率を達成することは難しい.

そこで本論文では，ニューラルモデルに基づくアプローチが備える，非統制 NLIデータへの 適用可能性を維持しつつ，論理的な推論過程を明示可能な自然言語推論システムを実現するた めの一手法を提案する。本手法では, 形式論理の証明手法の一つである夕ブロー法のアルゴリ ズムとニューラル NLI モデルを組み合わせる。夕ブロー法は, 推論規則の適用に基づく論理式 の分解, 並びに論理式への真偽値割り当てが存在するか否かの検査から構成される．提案手法 ではこのうち, 真偽値割り当ての検査にニューラル NLI モデルを用いる. タブロー法は通常,論理式を操作対象とするのに対し，本手法では，依存構造を操作対象とする。依存構造を用い ることにより，ニューラル NLI モデルをタブロー法アルゴリズムに組み込むことが可能となる．本手法で導入するニューラル NLI モデルには，入力として前提文と仮説文を受け取ること，及 び, それらの推論的関係を出力することのみを課し, その内部処理に関する制約はない2.

本論文の構成は以下の通りである。まず 2 章で，提案手法のベースとなるタブロー法につい て概説する． 3 章では，夕ブロー法とニューラル NLI モデルを組み合わせた推論手法を提案す る. 続く 4 章では, 提案手法の意味論をモデル理論的に定式化し, 手法の理論的性質を明らか

にする， 5 章では, SLNI コーパスを用いて, 提案手法の推論能力を定量的及び定性的に評価す る. 6 章では, 関連研究を整理し, 提案手法との違いを示す.

## 2 タブロー法

本章では, 提案手法のベースとなるタブロー法について説明する. タブロー法は, 論理式と真偽値の対の集合が与えられたとき, 集合中のすべての論理式にその対となる真偽値を割り当て ることが可能か否かを証明する手続きである，タブロー法では，与えられた集合をもとに，夕 ブローと呼ばれる木構造を構成する，タブローのノードのラベルは， 3 つ組 $(f, v, a)$ であり，エ ントリと呼ばれる。これは, 論理式 $f$ が真偽値として $v$ を取らなければならないという制約を 表しており，aはこのエントリに対して後述するタブロー規則が適用されたか否かを表すフラグ である，真偽値は， $\mathrm{T}$ かのいいずれかであり，それぞれ真と偽を表す.フラグは，0か 1 のいず れかであり，0 はタブロー規則が未適用，1 は適用済みであることを表す。初期タブローは，与 えられた集合の要素である論理式と真偽値の対に対して，フラグとして値 0 を付加したエント リから構成される。タブローのエントリにタブロー規則と呼ばれる推論規則を適用することに より新たなタブローが導出される，タブロー規則の適用により，エントリが表現する制約，す なわち, 論理式が与えられた真偽値を取らなければならないという制約は, 部分論理式に関す る制約に分解され，新たなエントリとしてタブローに付け加えられる。この分解により，推論 の過程が明示化される．以下では，タブロー $t$ に対して，タブロー規則集合 $R$ 中のタブロー規則を適用して, タブロー $t^{\prime}$ が導出されるとき， $t \stackrel{R}{\triangleright} t^{\prime}$ と表記する。また， $\stackrel{\triangleright}{\triangleright}$ の反射推移閉包を $\stackrel{R}{D^{*} \text { と表記し }, ~} t \stackrel{R}{\triangleright} t^{\prime}$ であるような $t^{\prime}$ が存在しないタブロー $t$ を完成したタブローと呼ぶことに する.

タブロー規則の適用は，適用元のエントリが表現する制約を，それと等価な制約へと変換す る操作と位置づけられる 3 . したがって，タブロー規則が適用されたエントリの制約は，新たに 導出されたエントリにより表現されているため，それ以上規則の適用，および後述する閉鎖性判定の対象にする必要はない. エントリ $(f, v, a)$ の $a$ はこれらの操作の適用の制御に利用でき, タブロー規則が適用されたときにこれを 1 に変更する．フラグが 1 のエントリは以後，規則の 適用，および閉鎖性判定の対象とはしない.

タブローは木構造であり分岐する。分岐は場合分けに相当する．タブローの根から葉への経路を枝と呼び，ある枝の上に $(f, \mathrm{~T}, 0)$, および $(f, \mathrm{~F}, 0)$ （ $f$ は論理式）というエントリが存在す るとき，その枝は閉じているという，タブローのすべての枝が閉じているとき，そのタブロー は閉じているという．閉じているタブローを閉鎖タブローと呼ぶ．タブローが閉じていること

（a）命題論理におけるタブローの例

図 1 命題論理に対するタブロー推論の例

によって, 最初に与えられた論理式と真偽値の対の集合のような真偽値割り当てが存在しない ことが証明される。

例として, 命題記号 $p, q, r$ について, $p \wedge q \rightarrow r, p, q$ が真であるとき, $r$ も真であることを命題論理におけるタブロー法を用いて証明する。この証明には, $\{(\mathrm{p} \wedge \mathrm{q} \rightarrow \mathrm{r}, \mathrm{T}),(\mathrm{p}, \mathrm{T}),(\mathrm{q}, \mathrm{T}),(\mathrm{r}, \mathrm{F})\}$ に対する完成したタブローが閉じていることを示せば十分である。完成したタブローを図 1(a) に示す. 初期タブローは, 図中のエントリ $e_{1} \sim e_{4}$ からなるタブローである. この初期タブロー に対して，図 1(b) にその一部を記した命題論理におけるタブロー規則の適用を繰り返すと，図 1(a) が得られる. その後, 各枝において, それが閉じているかどうかを判定する. この例では,全ての枝が閉じている（図では，×により閉じていることを示す），すなわちこの夕ブローは閉 じている。これは， $\mathrm{p} \wedge \mathrm{q} \rightarrow \mathrm{r}, \mathrm{p}, \mathrm{q}$ に真，rに偽を割り当てることができないことを意味して おり, $\mathrm{p} \wedge \mathrm{q} \rightarrow \mathrm{r}, \mathrm{p}, \mathrm{q}$ が真であるならば， $\mathrm{r}$ も真であることが証明される。

## 3 提案手法

本章では，夕ブロー法とニューラル NLI モデルを組み合わせた自然言語推論の手法を提案す る。この手法は以下の処理を順に実行する.

依存構造解析 前提文 $p$ と仮説文 $h$ に依存構造を付与する。依存構造が付与された文をそれぞ れ $D_{p}, D_{h}$ とする.

タブローの構成 前提 $D_{p}$ と仮説 $D_{h}$ をもと，含意関係を証明するタブロー（集合 $\left.\{\left(D_{p}, \mathrm{~T}\right)\right.$,
$\left.\left(D_{h}, \mathrm{~F}\right)\right.\}$ から導出される完成したタブロー）と矛盾関係を証明するタブロー（集合 $\left.\{\left(D_{p}, \mathrm{~T}\right)\right.$, $\left.\left(D_{h}, \mathrm{~T}\right)\right.\}$ から導出される完成したタブロー) を構築する。以下では, これらのタブロー をそれぞれ含意タブロー，矛盾タブローと呼ぶ.

タブローの閉鎖性判定 含意タブロー，および矛盾タブローが閉じているか否かをニューラル NLI モデルを用いて判定する.

推論的関係の同定 含意タブローと矛盾タブローの閉鎖性の判定から，推論的関係を同定する.以下では，各処理について，その背景となる考え方と合わせて説明する.

## 3.1 依存構造解析

提案手法ではタブローが閉じているか否かの判定にニューラル NLI モデルを利用する。これ にはニューラル NLI モデルへの入力は論理式ではなく自然言語文 2 文であることが課題となる. この課題を解決する，すなわち，自然言語文をモデルに入力するためのアプローチの一つとし て，夕ブローのエントリは論理式とし，前提文と仮説文を論理式に変換して記号操作を行った 後に，論理式を自然言語文へ再変換してニューラルモデルを利用する方法が考えられる。しか し，論理式からテキストへの変換は現状の技術では困難である ${ }^{4}$.そこで提案手法では，自然言語文を論理式に変換してタブロー法を適用するのではなく，タブロー法を自然言語文に適用でき るように拡張するアプローチを取る。具体的には，依存構造を付与した自然言語文をタブロー のエントリに採用する。夕ブロー規則は，依存構造情報をもとに，新しいエントリを導出する。提案手法では, 依存構造として Universal Dependencies (UD) (de Marneffe et al. 2021)を採用 する。提案手法の最初のステップは，前提と仮説の自然言語文に依存構造を与える処理であり， この処理には, UDに基づく任意の依存構造解析器を用いることができる. 図 2 に依存構造の 例を示す.

図 2 "Either Smith or Anderson signed the contract." の依存構造解析結果

## 3.2 タブローの構成

本節では，依存構造に基づくタブロー法について述べる。通常のタブロー法が，夕ブロー規則により複雑な論理式をより単純な論理式に分解するのに対して, 提案手法では, 依存構造に 基づき，自然言語文をより単純な自然言語文に分解するタブロー規則を設計する.

提案手法におけるタブローのエントリは，四つ組 $(D, v, a, o)$ である。 $D$ は依存構造であり, $v$ と $a$ は通常のタブロー法と同様であり，それぞれ真偽値およびフラグである，oは，そのエン トリがどのエントリから導出されたかを表す。初期タブローのエントリ $e$ は, 自分自身から導出されたものとする. すなわち $e=(D, v, 0, e)$ という形をとる. タブローは, 通常のタブロー 法と同じくタブロー規則を繰り返しエントリに適用することで導出される。提案手法における タブロー規則の一般形は, 次の表記で表される.

$
r=\left(c_{1,1} \wedge \cdots \wedge c_{1, n_{1}}\right) \vee \cdots \vee\left(c_{m, 1} \wedge \cdots \wedge c_{m, n_{m}}\right)
$

ここで， $c_{i, j}$ は, エントリ $(D, v, 0, o)$ を受け取り，エントリ $\left(D^{\prime}, v^{\prime}, 0, o\right)$ を返す任意の部分関数 である． $r$ を構成するすべての $c_{i, j}$ について,$c_{i, j}(e)$ が未定義でないとき, タブロー規則 $r$ は エントリ $e$ に適用可能であるという，夕ブロー中に，夕ブロー規則が適用可能なエントリ $e$ が 存在するとき, そのエントリが支配するすべての葉に, それらの子として新たな $m$ 個の経路 $\left.\langle c_{1,1}(e) \cdots c_{1, n_{1}}(e)\right.\rangle, \cdots,\left.\langle c_{m, 1}(e) \cdots c_{m, n_{m}}(e)\right.\rangle$ を追加する. タブロー規則が適用されたエントリ $(D, v, 0, o)$ を $(D, v, 1, o)$ に置き換える.

図 3 にタブロー規則の例に示す.この図において, 根は入力として取ることができる依存構造（のパターン）と真偽値の対を表している。すなわち，このパターンに合致しないような依存構造に対して $c_{i, j}$ は未定義である。根以外のラベルは各 $\mathrm{c}_{i, j}$ に対応しており，入力されたエ ントリに対してどのようなエントリを返すかを表現している。

(a) 条件法に関する規則
(b) 否定に関する規則
(c) 選言に関する規則

図 3 タブロー規則の例
初期タブローを $e_{1}=\left(\right.$ Either Smith or Anderson signed the contract, T, $\left.0, e_{1}\right), e_{2}=($ If Smith did not sign the contract Anderson made an agreement, F, $\left.0, e_{2}\right)$ としたときのタブローの構成を 例に，タブロー規則の適用の流れを説明する（完成したタブローを図 4 に示す)。 $e_{2}$ ：(If Smith did not sign the contract Anderson made an agreement, F $\left., 0, e_{2}\right)$ に図 3(a)の規則を適用すると， $e_{2}$ が支配するすべての葉に新たな 2 つのエントリ $e_{3}$ : (Smith did not sign the contract, $\mathrm{T}, 0, e_{2}$ ) と $e_{4}$ : (Anderson made an agreement, $\left.\mathrm{F}, 0, e_{2}\right)$ が追加され， $e_{2}$ のフラグが 1 に変更される. 次 に， $e_{3}$ : (Smith did not sign the contract, $\mathrm{T}, 0, e_{2}$ )に図 3(b) の規則を適用すると，新たなエン トリ $e_{5}$ ：(Smith signed the contract, $\left.\mathrm{F}, 0, e_{2}\right)$ が追加され， $e_{3}$ のフラグが 1 に変更される。最後に， $e_{1}$ : (Either Smith or Anderson signed the contract, T $\left., 0, e_{1}\right)$ に図 3(c) の規則を適用する と，新たな 2 つのエントリ $e_{6}$ : (Smith signed the contract, T, $0, e_{1}$ ) と $e_{7}$ : (Anderson singned the contract, $\left.\mathrm{T}, 0, e_{1}\right)$ が追加され， $e_{1}$ のフラグは 1 に変更される. 以上により, タブローが構成さ れる.

$e_{1}$ : (Either Smith or Anderson signed the contract, T, 1, $e_{1}$ )

$e_{2}$ : (If Smith did not sign the contract Anderson made an agreement, F, 1, $e_{2}$ )

図 4 含意タブローの例

## 3.3 タブローの閉鎖性判定

一般のタブロー法においては，枝上に真偽値のみが異なるエントリが存在することをもって 閉じた枝を定義している。提案手法ではこれに加えてニューラル NLI モデルに基づく閉じた枝 を定義する。ニューラル NLI モデルは, 前提文 $p$ と仮説文 $h$ を力として受け取ると，それを 含意 $(\mathrm{E})$, 中立 $(\mathrm{N})$, 矛盾 (C)のいずれかのクラスに分類するものとする．以下では， $L \times L(L$ は 自然言語文の集合）から集合 $\{\mathrm{E}, \mathrm{N}, \mathrm{C}\}$ へ関数 $\nu$ を $N L I$ システムと呼ぶ. $\nu(p, h)=\mathrm{E}$ は $p$ が $h$

提案手法では，枝上に次のいずれかが成り立つようなエントリ $e_{1}=\left(D_{s_{1}}, v_{1}, 0, o_{1}\right), e_{2}=$ $\left(D_{s_{2}}, v_{2}, 0, o_{2}\right)$ （ただし $o_{1} \neq o_{2} ）$ が存在するとき，その枝は閉じていると再定義する（閉じた夕 ブローについてもこの再定義のもとで同様に再定義する).以下では再定義した 3 つの条件を,枝の閉鎖条件と呼ぶ.

(1) $v_{1}=\mathrm{T}$ かつ $v_{2}=\mathrm{F}$ かつ $s_{1}=s_{2}$

(2) $v_{1}=\mathrm{T}$ かつ $v_{2}=\mathrm{T}$ かつ $\nu\left(s_{1}, s_{2}\right)=\mathrm{C}$

(3) $v_{1}=\mathrm{T}$ かつ $v_{2}=\mathrm{F}$ かつ $\nu\left(s_{1}, s_{2}\right)=\mathrm{E}$

閉鎖条件 (1) は従来のタブロー法と同じである。閉鎖条件 $(2)$ は， $s_{1}, s_{2}$ が矛盾関係にあること と $e_{1}, e_{2}$ の両方が真であることは両立しえないことに由来する条件である. 閉鎖条件 $(3)$ は, $s_{1}$ が $s_{2}$ を含意するとき， $s_{1}$ が真ならば， $s_{2}$ も真でなければならないが，エントリはそのように はなっていないことを意味する. 閉鎖条件 (2), (3) については, 4 章において改めて議論する. NLI システムに応じてタブローが閉じているか否かが異なるため, 以下では, いかなる NLI シ ステムのもとで閉じているかを明示する場合には，NLI システム $\nu$ のもとで閉じているという ことにする.

$o_{1} \neq o_{2}$ という条件は, 前提から導出されたエントリ同士, あるいは仮説から導出されたエ ントリ同士について，閉鎖性の判定の対象から除外するものである。これは前提や仮説が恒真 (偽) でなければ問題となることはない.

タブローの閉鎖性判定の例について見るために，図 4 のタブローを考える。また，

$
\nu\left(\operatorname{sen}\left(e_{7}\right), \operatorname{sen}\left(e_{4}\right)\right)=\mathrm{E}
$

であると仮定する 5 . このタブローは 2 つの枝をもつが, 左の枝 $\left.\langle e_{1}, e_{2}, e_{3}, e_{4}, e_{5}, e_{6}\right.\rangle$ では, $e_{6}$ : (Smith signed the contract, T, $0, e_{1}$ ), $e_{5}$ : (Smith signed the contract, F, $0, e_{2}$ ) が存在している. この枝は閉鎖条件 $(1)$ を満たすので，閉じている。一方，右の枝 $\left.\langle e_{1}, e_{2}, e_{3}, e_{4}, e_{5}, e_{7}\right.\rangle$ では, $e_{7}$ : (Anderson signed the contract, T, $0, e_{1}$ ), $e_{4}$ : (Anderson made an agreement, F, $0, e_{2}$ ) が存在し ている. $\nu\left(\operatorname{sen}\left(e_{7}\right), \operatorname{sen}\left(e_{4}\right)\right)=\mathrm{E}$ であるので，閉鎖条件 $(3)$ によってこの枝は閉じている. した
\left(\left(D_{s}, v, a, o\right)\right)=s$ と定義する.
}

表 1 タブローの閉鎖性と推論的関係の対応

がって, 図4のタブローは, 仮定のような NLI システムの下で閉じている.

## 3.4 推論的関係の同定

含意タブロー，および矛盾タブローは，それぞれ前提と仮説の間に含意関係，矛盾関係が成り 立つかどうかを判定するためのタブローである。これらのタブローの閉鎖性と，仮説と前提の 間の推論的関係は, Abzianidze (Abzianidze 2015) と同様に表 1 のように整理でき,これに従っ て推論的関係を同定する ${ }^{6}$.

## 4 提案手法の意味論

本章では， 3 章で提案した手法の論理的な整合性を検証する。提案手法をモデル理論的に定式化し，手法の性質とその限界を理論的に明らかにする。具体的には，提案手法において健全性が常に成立する一方で，完全性が一般には成立しないことを示す。本章で使用する記号とそ の説明を表 2 に示す。

## 4.1 モデル

本節では，提案するタブロー法を形式的に議論するために，まず，その基盤となるモデル理論的な文の解釈について定義する．次に，モデルに基づいて，タブロー規則，および NLI シス テムを特徵付け，タブロー規則により導出された完成したタブローにおける NLI システムを用 いた閉鎖性判定のもつ性質を明らかにする。

まず，モデルを定義する.

定義 1 (モデル). $L$ ( $L$ は自然言語文の集合）から $\{\mathrm{T}, \mathrm{F}\}$ の関数 $m$ をモデルと呼ぶ. $\mathcal{M}$ を べてのモデルの集合とする. モデルの集合 $M \subseteq \mathcal{M}$ に対して, $M(s)=\{m \in M \mid m(s)=\mathrm{T}\}$ と 定義する。

 &  \\

表 2 提案手法の定式化に使用する記号

以下では，モデル集合 $M$ が与えられたとき7， $M$ と整合性のとれた NLI システム，および夕 ブロー規則がどのようなものであるかを定義し, 整合性が取れているという条件の下で提案手法による推論的関係の同定の理論的限界を明らかにする.

定義 2. 次の 3 つの条件が全て成り立つとき, NLI システム $\nu$ はモデル集合 $M$ と整合的である という。なお, $s_{1}, s_{2} \in L$ とする.
- $M\left(s_{1}\right) \subseteq M\left(s_{2}\right)$ ならば, かつ, そのときのみ $\nu\left(s_{1}, s_{2}\right)=\mathrm{E}$
- $\neg\left(M\left(s_{1}\right) \subseteq M\left(s_{2}\right)\right) \wedge \neg\left(M\left(s_{1}\right) \cap M\left(s_{2}\right)=\emptyset\right)$ ならば, かつ, そのときのみ $\nu\left(s_{1}, s_{2}\right)=\mathrm{N}$
- $M\left(s_{1}\right) \cap M\left(s_{2}\right)=\emptyset$ ならば，かつ，そのときのみ $\nu\left(s_{1}, s_{2}\right)=\mathrm{C}$

この定義では，含意関係をモデル集合の包含関係として，矛盾関係を互いに素な関係として 捉えている.

以下では，モデルに基づいてタブローを特徴付ける。その準備として，エントリ，タブロー の枝, タブローに対応するモデルを， $M(s)$ を拡張することにより定義する.
$ ではなく, その部分集合 $M$ を考えるのは， $\mathcal{M}$ の中には，論理的に不自然なモデ ル，例えば，すべての自然言語文に対して T を返すようなモデルが含まれるからである。論理的に自然なモデルの 集合が仮に $M$ として与えられたものとして以下では議論を進める。なお， $M$ に対して何の条件も課さないため， $M$ がどのような集合であっても以下の議論は成り立つ.
}
定義 3 (エントリに対するモデル集合). タブローのエントリ $e=\left(D_{s}, v, a, o\right)$ に対して, $M(e)$ を 次のように定義する.

$
M(e)= \begin{cases}M(s) & (v=\mathrm{T}) \\ M-M(s) & (v=\mathrm{F})\end{cases}
$

定義 4 (タブローの枝に対するモデル集合). タブローの枝 $b$ に対して,$M(b)$ を次のように定義 する.

$
M(b)=\bigcap_{e \in b} M(e)
$

定義 $\mathbf{5}$ (タブローに対するモデル集合). タブロー $t$ に含まれる全ての枝の集合を $B$ とする. $M(t)$ を次のように定義する。

$
M(t)=\bigcup_{b \in B} M(b)
$

提案手法では，タブロー規則の適用前後で，エントリが表現する制約が等価であることを想定しており，この性質を以下のように定義する.

定義 6. $r=\left(c_{1,1} \wedge \cdots \wedge c_{1, n_{1}}\right) \vee \cdots \vee\left(c_{m, 1} \wedge \cdots \wedge c_{m, n_{m}}\right), E$ をすべてのエントリの集合とし, $E_{r}=\{e \in E \mid r$ は $e$ に適用可能 $\}$ とする. 任意の $e \in E_{r}$ に対して次の条件が満たされるとき, タブロー規則 $r$ はモデル集合 $M$ と整合的であるという.

$
M(e)=\left(M\left(c_{1,1}(e)\right) \cap \cdots \cap M\left(c_{1, n_{1}}(e)\right)\right) \cup \cdots \cup\left(M\left(c_{m, 1}(e)\right) \cap \cdots \cap M\left(c_{m, n_{m}}(e)\right)\right)
$

この等式において, 左辺は, エントリ $e$ に対する制約に相当する。右辺は, エントリ $e$ にタブ ロー規則 $r$ を適用した結果，導出されるエントリにより表現される制約に対応する。また，任意の $r \in R$ が $M$ と整合的であるとき， $R$ は $M$ と整合的であるという.

提案手法の振る舞いは，タブロー規則の集合 $R$ と NLI システム $\nu$ によって定まる。 以下で は, この対 $(R, \nu)$ を証明システムとよび， $R$ と $\nu$ がモデル $M$ と整合的であるとき， $(R, \nu)$ は $M$ と整合的であるという。

## 4.2 健全性と完全性

本節では，前節で定義したモデルに基づき提案手法の健全性と完全性を定義する．任意の証明システムについて健全性が成り立つことを証明し，完全性について反例を示す.

ここで定義する健全性とは，含意（矛盾）タブローが閉じているとき，前提と仮説に対する モデル集合は, 包含（互いに素な）関係にあるという性質である。定義は以下のとおりである.
定義 7 (含意タブロー, および矛盾タブローの健全性). $M$ をモデル集合, $(R, \nu)$ を $M$ と整合的な証明システムとする。任意の前提文 $p$ と仮説文 $h$ について, 次の条件が成り立つならば, $(R, \nu)$ は，モデル集合 $M$ において健全であるという.
- $R$ によって構成された含意タブローが $\nu$ もとで閉じているならば, $M(p) \subseteq M(h)$.
- $R$ によって構成された矛盾タブローが $\nu$ のもとで閉じているならば, $M(p) \cap M(h)=\emptyset$.一方で，完全性を次のように定義する。

定義 8 (含意タブロー, および矛盾タブローの完全性). $M$ をモデル集合, $(R, \nu)$ を $M$ と整合的な証明システムとする。任意の前提文 $p$ と仮説文 $h$ について, 次の条件が成り立つならば, $(R, \nu)$ は，モデル集合 $M$ において完全であるという.
- $M(p) \subseteq M(h)$ ならば, $R$ によって構成された含意タブローが $\nu$ のもとで閉じている.

## 4.2.1 健全性の証明

本節では，健全性に関する以下の定理を証明する。

定理 1 (健全性の定理)． $M$ をモデル集合とする． $M$ と整合的な任意の証明システムは， $M$ に おいて健全である。

以下では，まず定理 1 を証明するための補助定理を導入し，それにも基づき定理 1 を証明する.

補助定理 2. $R$ が $M$ と整合的であるならば， $t \stackrel{R}{\triangleright} t^{\prime}$ を満たす任意のタブロー $t$ と $t^{\prime}$ において次 が成立する.

$
M(t)=M\left(t^{\prime}\right)
$

補助定理 2 は定義 6 から明らかである.

補助定理 3. $t$ と $t^{\prime}$ をタブローとし, $t \triangleright^{R} t^{\prime}$ とする， $R$ が $M$ と整合的であるならば, $M(t)=M\left(t^{\prime}\right)$.補助定理 3 は補助定理 2 から明らかである.

含意タブローの健全性の証明は次の通りである。

証明. $R$ によって構成された含意タブロー $t_{\mathrm{comp}}$ が $\nu$ のとで閉じているとする.このとき, $t_{\text {comp }}$ のすべての枝 $b$ に閉鎖条件のいずれかを満たす 2 つのエントリ $e_{1}=\left(D_{s_{1}}, v_{1}, 0, o_{1}\right), e_{2}=$ $\left(D_{s_{2}}, v_{2}, 0, o_{2}\right)$ （ただし $\left.o_{1} \neq o_{2}\right)$ が存在する.
- 閉鎖条件 (1) を満たすならば, $s_{1}=s_{2}$. したがって, 定義 3 より $M\left(e_{1}\right) \cap M\left(e_{2}\right)=$ $M\left(\left(D_{s_{1}}, \mathrm{~T}, 0, o_{1}\right)\right) \cap M\left(\left(D_{s_{2}}, \mathrm{~F}, 0, o_{2}\right)\right)=\emptyset$.
- 閉鎖条件 $(2)$ を満たすならば, $\nu\left(s_{1}, s_{2}\right)=$ C. $\nu$ は $M$ と整合的であるから, 定義 2 よ り $M\left(s_{1}\right) \cap M\left(s_{2}\right)=\emptyset$. よって, 定義 3 より $M\left(s_{1}\right) \cap M\left(s_{2}\right)=M\left(\left(D_{s_{1}}, \mathrm{~T}, 0, o_{1}\right)\right) \cap$ $M\left(\left(D_{s_{2}}, \mathrm{~T}, 0, o_{2}\right)\right)=M\left(e_{1}\right) \cap M\left(e_{2}\right)=\emptyset$.
- 閉鎖条件 $(3)$ を満たすならば, $\nu\left(s_{1}, s_{2}\right)=\mathrm{E} . \nu$ は $M$ と整合的であるから，定義 2 より $M\left(s_{1}\right) \subseteq M\left(s_{2}\right)$. 定義 3 より $M\left(e_{1}\right)=M\left(s_{1}\right), M\left(e_{2}\right)=M-M\left(s_{1}\right)$. ここで $M\left(s_{1}\right) \subseteq$ $M\left(s_{2}\right)$ であるから, $M\left(e_{1}\right) \cap M\left(e_{2}\right)=\emptyset$.

以上より, $M\left(e_{1}\right) \cap M\left(e_{2}\right)=\emptyset$. ゆえに, 定義 4 より $M(b)=\emptyset$ となる. したがって，すべての

$e_{1}=\left(D_{p}, \mathrm{~T}, 0, e_{1}\right), e_{2}=\left(D_{h}, \mathrm{~F}, 0, e_{2}\right)$ から構成されるため, 定義 4 と 5 から $M\left(\left(D_{p}, \mathrm{~T}, 0, e_{1}\right)\right) \cap$ $M\left(\left(D_{h}, \mathrm{~F}, 0, e_{2}\right)\right)=\emptyset$ である. したがって, $M\left(\left(D_{p}, \mathrm{~T}, 0, e_{1}\right)\right) \subseteq M\left(\left(D_{h}, \mathrm{~T}, 0, e_{2}\right)\right)$. 定義 3 から $M(p) \subseteq M(h)$ である．以上より定義 7 の 1 番目の条件は満たされる。矛盾タブローに関する 2 番目の条件も同様に証明できる。すなわち, 証明システム $(R, \nu)$ は $M$ において健全である.

## 4.2.2 完全性の反例

本節では，完全性が一般には成立しないことを反例を用いて説明する。

完全性が一般に成り立たないことを示すには，次の条件を満たすモデル集合 $M$ ，証明システ 厶 $(R, \nu)$, 前提文 $p$, 仮説文 $h$ が存在することを示せげ十分である.

## 条件 $1 M(p) \subseteq M(h)$

条件 $2(R, \nu)$ は $M$ と整合的である.

条件 $3 R$ によって構成された $p$ と $h$ の含意タブローは $\nu$ のとで閉じていない.

次のインスタンス, 表 3 に示すモデル $M$, 図 5 に示すタブローを構成する証明システム $(R, \nu)$ （ $\nu$ は $M$ と整合的なものを任意に選んでよい）は，上の条件を満たす，完全性が一般には成り 立たないことを示す反例となっている.

前提: Smith and Anderson did not go out.

仮説: Smith and Anderson were home.

推論的関係: 含意

$M(p)=M(h)=\left.\{m_{1}\right.\}$ であるので, $M(p) \subseteq M(h)$ である. すなわち条件 1 を満たす. $M\left(e_{1}\right)=$

表 3 完全性が成立しないモデルの例

$e_{1}$ : (Smith and Anderson did not go out, T, 1, $e_{1}$ )

$e_{2}$ : (Smith and Anderson were home, $\mathrm{F}, 1, e_{2}$ )

$e_{3}$ : (Smith or Anderson went out, F, 1, $e_{1}$ )

図 5 タブローの完全性の反例

$M\left(e_{3}\right)=M\left(e_{4}\right) \cap M\left(e_{5}\right)=\left.\{m_{1}\right.\}, M\left(e_{2}\right)=M\left(e_{6}\right) \cup M\left(e_{7}\right)=\left.\{m_{2}, m_{3}, m_{4}\right.\}$ であることから, こ のタブローの構成に用いられたタブロー規則は $M$ と整合的である。 $\nu$ はと整合的であるの で， $(R, \nu)$ は $M$ と整合的である。 すなわち条件 2 を満たす. 図 5 の含意タブローにおいてタブ

このため, この含意タブローにおいて，閉鎖条件を満たすエントリの対は存在せず， $\nu$ のもと でこのタブローが閉じていることはあり得ない。（条件 3 を満たす)。以上から， $M,(R, \nu), p, h$ は完全性が一般には成り立たないことを示す反例となっている.

## 5 実験

提案手法における論理的な推論過程の明示可能性を評価すること, 及び, 提案手法の欠点を
明らかにすることを目的に，下記の準備のもと実験を実施した8 8.

データセット ニューラル NLI モデルの構築, および評価用データセットとして SNLIコーパス を使用した．SNLIコーパスには，訓練データとして 549,367 件，開発データとして 9,842 件，テストデータとして 9,824 件が含まれている 9.

依存構造解析 依存構造解析器として Udify (Kondratyuk and Straka 2019), および Udify 事前学習モデルを用いた ${ }^{10}$. Udify は Multilingual BERT ${ }^{11}$ ベースの多言語対応の依存構造解析器であり，UDに基づく依存構造を出力する.

ニューラル NLI モデルフレームワーク内で使用するニューラル NLI モデルとして，LSTM に 基づくニューラル NLI モデルである ESIM (Chen et al. 2017) を採用した ${ }^{12}$. ESIM のパ ラメータは，SNLIコーパスの訓練用データと開発用データを用いて学習した。

タブロー規則 タブロー規則として，命題論理のタブロー法の連言，選言，否定，条件法の 4 つ の規則に相当する規則を合計 32 個作成した。作成したタブロー規則について付録 Aに まとめる。連言，選言については，文の等位接続だけでなく，UDの core argument（主語，目的語など）の等位接続を扱える規則となっている.

## 5.1 推論過程の明示可能性

提案手法における推論過程の明示可能性を評価するために，含意タブロー，および矛盾タブ ローのサイズ (エントリの数) を測定した。提案手法はタブロー規則の適用により推論の明示化 を行っており，タブローのサイズは推論の明示化の程度を評価する指標である。含意タブロー と矛盾タブローのサイズの分布を図 6 の左と右にそれぞれ示す. サイズが 2 となる（タブロー 規則が適用されなかった）推論も多いが，一方で，サイズが 4 以上となる（タブロー規則が複数回適用された）推論も少なくなく，提案手法における明示可能性が示された。なお，何らか のタブロー規則が適用されたインスタンスは， 9,824 件中 800 件であった.

実験デー夕内のあるインスタンスを対象に，提案手法による推論がどのように行われたのか を分析した。

前提: A little boy is standing in front of a wedding party laughing.

仮説: There is a bride and groom behind the little boy.

推論的関係: 含意

図 7 に，このインスタンスに対して作成された含意タブローを示す。この例では， $e_{2}$ に含まれ る等位構造 “a bride and groom” が “groom” と “bride”に分解され，それぞれ $e_{3}$ と $e_{4}$ として導

図 6 含意タブロー（左）と矛盾タブロー（右）のサイズの分布

$e_{1}$ : (A little boy is standing in front of a wedding party laughing, $\mathrm{T}, 0, e_{1}$ )

$e_{2}$ : (There is a bride and groom behind the little boy, $\mathrm{F}, 1, e_{2}$ )

$e_{3}$ : (There is a bride behind the little boy, $\mathrm{F}, 0, e_{2}$ )

$e_{4}$ : (There is a groom behind the little boy, $\mathrm{F}, 0, e_{2}$ )

図 7 正しい含意タブローの例

出された後，それらが $e_{1}$ と矛盾することを正しく判定できている。 すなわち，タブロー法に基 づいて名詞句の等位構造により表現された連言を分解する推論過程を明示化できている。一方 で, 記号操作的アプローチでは扱いが難しい "wedding party" と "groom", "bride"といった単語の類似関係や “in front of" と “behind” といった異なる単語（列）によって表現された位置の 関係は, ニューラルモデルにより柔軟に扱うことができている.

## 5.2 誤り分析

タブロー法とニューラル NLI モデルを組み合わせる提案手法の問題点を明らかにするために,提案手法において何らかのタブロー規則が適用された 800 件を対象に，その推論性能を測定し た. 提案手法による結果, 及び，ニューラル NLI モデルによる結果を表 4 , および表 5 に併せ て示す。なお,「エラー」とは， 3.4 節の表 1 に示したように，含意関係と矛盾関係のいずれも 成立すると判定され，解釈不能であることを示すラベルである．推論性能として，標準的な評価指標である正解率, 再現率, 精度, $F_{1}$ 値を求めた ${ }^{13} . F_{1}$ 値は, 以下で定義する再現率と精度 の調和平均である.

$
\begin{aligned}
\text { Recall }_{A} & =\frac{\mathrm{TP}_{A}}{\operatorname{True}_{A}} \\
\text { Precision }_{A} & =\frac{\mathrm{TP}_{A}}{\text { Positive }_{A}}
\end{aligned}
$

ここで， $A$ は「含意」，「中立」，「矛盾」のいずれかのラベルを表し， $\mathrm{TP}_{A}$ は正解ラベルと予測 ラベルがクラス $A$ であるインスタンス数, True $A$ は正解ラベルがクラス $A$ であるインスタンス 数, Positive ${ }_{A}$ は予測ラベルがクラス $A$ であるインスタンス数である. 提案手法は, ニューラル NLI モデルと比べて, 正解率の低下がみられた.

以下では，提案手法において夕ブロー規則が適用され，かつ誤りが生じたケースについて，そ

の要因を分析し，考察する.

表 4 提案手法とニューラル NLI モデルの予測結果

表 5 提案手法とニューラル NLI モデルの正解率

## 5.2.1 誤りの原因の分析

本節では，開発データ中においてタブロー規則が適用された 762 件のインスタンスを用いて 提案手法が推論的関係を誤って同定した原因を分析する。開発データに対して提案手法を適用 した予測結果の混合行列を表 6 に示す. 開発データの結果はテストデータと大きな乘離がなく，誤りの原因についても同様の傾向が見られた。誤って予測したインスタンスの合計は 268 件で あった. この 268 件の中で, 正解ラベルが誤っていたインスタンスは 35 件存在した. 正解ラベ ルを修正したところ，そのうち 16 件は提案手法によって正しく推論的関係を同定できていた. また, 文中の単語の誤りによって意味が通らないインスタンスが 4 件存在した. そこで, 以上の 20 件を除いた 248 件のインスタンスについて, その閉鎖性判定が誤っているタブロー 292 個 ${ }^{14}$ を, 次の 4 つに分類した ${ }^{15}$.
- NLI システムに起因する誤り（5.2.2 節）

$\cdot$ タブロー規則に起因する誤り (5.2.3 節)
- 依存構造解析に起因する誤り (5.2.4 節)
- 提案手法の限界に起因する誤り (5.2.5 節)

それぞれに該当するタブローの数を表 7 に示す.

以下では具体例を挙げながら，各誤りについて説明する。

表 6 開発デー夕に対する提案手法の予測結果

表 7 開発デー夕における誤りの要因

## 5.2.2 NLI システムに起因する誤り

本節では, NLI システムに起因する誤りについて説明する。 292 個の誤りのうち, 239 個の誤 りは，NLI システムが推論的関係の同定を誤ったことが原因である．例として，以下のインス タンス

前提: Two people are in a green forest.

仮説: The forest is not dead.

推論的関係: 含意

に対して生成された含意タブローを図 8 に示す.このインスタンスの推論的関係は「含意」であ るため，含意夕ブローは閉じなければならないが，閉じていなかった. $\operatorname{sen}\left(e_{1}\right)$ における "green forest" $\operatorname{sen}\left(e_{3}\right)=$ "The forest is dead" から, 正しくは $\nu\left(\operatorname{sen}\left(e_{1}\right), \operatorname{sen}\left(e_{3}\right)\right)=$ Cであると考えら れるが, $\nu\left(\operatorname{sen}\left(e_{1}\right), \operatorname{sen}\left(e_{3}\right)\right)=\mathrm{N}$ と判定されたために，閉鎖条件 $(2)$ を満たさず，このタブロー は閉じていない.

また，NLI システムの推論的関係の同定の誤り 239 個のうち, SNLI コーパスから学習した ニューラルモデルがもつある特性が原因であると考えられるものが 141 個存在した. 例として,以下のインスタンス

前提: A man and woman walk atop a hill.

仮説: A man and woman are walking.

推論的関係: 含意

に対して生成された矛盾タブローを図 9 に示す.

推論的関係は「含意」であるこのタブローのエントリ $e_{3}$ と $e_{6}$ について, $\nu\left(\operatorname{sen}\left(e_{3}\right), \operatorname{sen}\left(e_{6}\right)\right)=\mathrm{C}$ と判定された。 そのため, $\nu$ のもとでこの矛盾タブローは閉じてしまい, 正しい推論的関係を

$e_{1}$ : (Two people are in a green forest, $\mathrm{T}, 0, e_{1}$ )

図 8 NLI システムに起因して誤った含意タブローの例

$e_{1}$ : (A man and woman walk atop a hill, T, $1, e_{1}$ )

$e_{3}$ : (A man walk atop a hill, $\mathrm{T}, 0, e_{1}$ )

$e_{4}$ : (Woman walk atop a hill, $\mathrm{T}, 0, e_{1}$ )

$e_{6}$ : (Woman are walking, $\mathrm{T}, 0, e_{2}$ )

$e_{3}$ と $e_{6}$ より誤って $\mathbf{x}$

図 9 NLI システムに起因して誤った矛盾タブローの例

同定できなかった.

$\operatorname{sen}\left(e_{3}\right)$ と $\operatorname{sen}\left(e_{6}\right)$ の間の推論的関係には, ある種の不確定性が存在することが, 文献 (Bowman et al. 2015)において指摘されている. 名詞句が参照する実体が同一であるか否かに応じて推論的関係が異なる場合があり, $\operatorname{sen}\left(e_{3}\right)$ と $\operatorname{sen}\left(e_{6}\right)$ の推論的関係においては “a man"と "woman" が同一の実体を参照するとすればその推論的関係は「矛盾」であるが，同一の実体を参照しな いとすれば「中立」である．SNLIコーパスにおいては，同一の実体を参照するという想定のも とで推論的関係が定められる傾向にあり，SNLIコーパスに基づき構築された ESIM もその傾向 を持っていると考えられる。ここで注目すべきポイントは，提案したタブロー法による推論に よってこの事実を捉えることができた点である.

## 5.2.3 タブロー規則に起因する誤り

本節では，夕ブロー規則の適用に起因する誤りについて説明する。夕ブロー規則を適用する ことにより不適格文が生成されるケースが確認された。例えば，次のようなインスタンスが存在した。

前提: The man and woman are both smiling.

仮説: A guy and a lady are standing near each other.

推論的関係: 中立

この仮説文に対してタブロー規則を適用した結果を図 10 に示す.ここで， $e_{1}$ に含まれる “each other”は, “a guy”が “a lady”を, “a lady”が “a guy”を先行詞とする相互代名詞であるもの の, タブロー規則を適用した結果得られる $e_{2}$ と $e_{3}$ では先行詞が存在しなくなるため, 不適格文となる。タブロー規則を適用した結果, 不適格文が生成されたタブローは 19 個存在した.

別の誤りの要因としては， not + any を含む文に対して否定に関するタブロー規則を適用す ることによるものが挙げられる。例えば,

前提: A cement truck pours cement on the street.

仮説: The truck isn't doing anything.

## 推論的関係: 矛盾

の仮説文に否定に関するタブロー規則を適用すると，図 11 のようになる. $e_{1}$ と $e_{2}$ は等価な制約を表していない． $e_{2}$ における“anything”を“something”に置き換えれば等価な制約を表せる ものの, 現状のタブロー規則では not を単純に取り除くことしかできない. このような原因に より誤りが生じたタブローは 17 個存在した.

$e_{2}$ : (A guy are standing near each other, $\mathrm{T}, 0, o$ )

図 10 タブロー規則の適用により意味的に不適格な文が生成される例

$e_{1}$ : (The truck is n't doing anything, $\mathrm{T}, 1, o$ )

図 11 not + any を含むエントリに対するタブロー規則の適用の例

$e_{1}$ : (A little boy is playing hide and seek in the woods, $\mathrm{T}, 1, o$ )

$e_{2}$ : (A little boy is playing hide in the woods, $\mathrm{T}, 0, o$ )

$e_{3}$ : (A little boy is playing seek in the woods, $\mathrm{T}, 0, o$ )

図 12 非合成的な要素を含むエントリの誤った分解

他の誤りの要因として, 非合成的な要素（イディオム, 固有名詞など）をタブロー規則が分解してしまうことが挙げられる，以下のインスタンスでは，図 12 のように，仮説文に含まれる “hide and seek”というイディオムが分解されたために, 意味的に不適格な文が生成されている.

前提: A small child is sitting on a stump in a forest clearing.

仮説: A little boy is playing hide and seek in the woods.

推論的関係: 矛盾

このようなタブローは 2 個存在した.

## 5.2.4 依存構造解析に起因する誤り

前提文，または仮説文の依存構造解析に誤っているタブローは 53 個存在した。このうち，夕 ブロー規則がマッチする部分における解析誤りによって，意味的に不適格な文が生成された夕

ブローは 3 個存在した。例えば，次のインスタンス

前提: A male and a female with a black hat, and sunglasses stop and talk.

仮説: Man and woman stop and chat with each other.

推論的関係: 含意

の前提文は, 正しくは図 13 のような依存構造を持つが，依存構造解析の誤りによって図 14 の ように分解されてしまい，意味的に不適格な文 “Sunglasses stop and talk.” が生成されている.残りのタブロー 50 個における依存構造解析誤りの影響はみられなかった.

A male and a female with a black hat, and sunglasses stop and talk

図 13 "A male and a female with a black hat, and sunglasses stop and talk." の正しい依存構造

$e_{1}$ : (A male and a female with a black hat, and sunglasses stop and talk, $\mathrm{T}, 1, o$ )

$e_{2}:($ A male stop and talk, $\mathrm{T}, 0, o)$

$e_{3}$ : (A female with a black hat stop and talk, $\mathrm{T}, 0, o$ )

図 14 依存構造解析の誤りによる意味的に不適格な文の生成

$e_{1}$ : (Two men and one woman are performing music on a stage, T, $1, e_{1}$ )

$e_{2}$ : (Three musicians are performing at a concert, $\mathrm{F}, 0, e_{2}$ )

図 15 提案手法の限界に起因する誤った含意タブローの例

## 5.2.5 提案手法の限界に起因する誤り

NLI システム, タブロー規則の適用, 依存構造解析のいずれにも誤りがないにもかかわらず,推論的関係の同定を誤ったものは, 提案手法の限界, すなわち完全性が一般には成り立たない ことに起因するものと位置づけられる。例として，以下のインスタンス

前提: Two men and one woman are performing music on a stage.

仮説: Three musicians are performing at a concert.

推論的関係: 含意

に対して生成された含意タブローを図 15 に示す.このタブローでは, 正しく依存構造解析が行 われており, $e_{1}$ は $e_{3}$ おび $e_{4}$ に分解されているが，夕ブロー規則の適用に誤りはない. また, $\nu\left(\operatorname{sen}\left(e_{3}\right), \operatorname{sen}\left(e_{2}\right)\right)=\mathrm{N}, \quad \nu\left(\operatorname{sen}\left(e_{4}\right), \operatorname{sen}\left(e_{2}\right)\right)=\mathrm{N}$ であり, NLI モデルも正しい. 前提と仮説の間 の推論的関係は「含意」であり, このタブローは閉じられる必要があるが, 閉じていない.こ れは,この提案手法の完全性が一般には成立しないことによるものと位置づけられる。このよ うに，実際のデータセット中でも，完全性が一般に成立しないために推論的関係を正しく同定 できなかったインスタンスが存在することがわかった.

## 6 関連研究

提案手法は, 構文構造を用いて推論を行う自然論理 (Natural Logic) (Lakoff 1970)のアイデア

に基づく手法と位置付けられる。本章では，自然論理に基づく従来の NLI 手法と提案手法を定性的に比較する。

自然論理に基づく NLI 手法は，遷移に基づく手法と証明に基づく手法に大別できる。

遷移に基づく手法では，前提の自然言語文を仮説の自然言語文へと何らかの操作を用いて変換する. Bar-Haim ら (Bar-Haim et al. 2007) は，依存構造に基づく変換操作を提案している. この変換操作は，含意関係を保存するような操作に限られ，前提から仮説への変換が成功する ことは，前提と仮説の間に含意関係が成り立つことを意味する．MacCartney ら (MacCartney and Manning 2008)は，NatLog と呼ばれるシステムを提案している。このシステムは単調性に 関する推論 (MacCartney and Manning 2009) に基づいている。これらの手法は，自然言語文を 直接的に扱うという点で提案手法と同様であるが，NLI モデルと統合できるかどうかは明らか ではない。また, 遷移に基づくこれらの手法は, 前提が複数の文からなる問題を本質的に解く ことができないが，提案手法は初期タブローのエントリとして前提を加えるだけでこのような 問題にも適用可能である.

証明に基づく手法として, Abzianidze (Abzianidze 2017)は, LangPro と呼ばれるタブロー法 に基づくシステムを, Huら (Hu et al. 2020)は MonaLog と呼ばれる単調性推論に基づくシステ ムを開発している。これらのシステムでは，自然言語文に似た意味表現を採用しているが，あ くまでも似た意味表現であって自然言語文ではない.このため，提案手法のようにニューラル NLI モデルと証明システムを組み合わせることはできない.

## 7 おわりに

本論文では，夕ブロー法とニューラルモデルを用いて NLIを行う手法を提案した．提案手法 をモデル理論的に定式化し, 一般に，健全性は成り立つが完全性は成り立たないことを示した. また，SNLIコーパスを用いた実験により，提案手法の振る舞いを分析した．今後の発展とし て，タブロー規則の充実や多言語への対応などが考えられる，今回の実験では，命題論理に対 するタブロー規則を作成し利用したが，より広範に提案手法を適用できるようにするために，量化, 時相, 様相, 命題的態度などの現象を扱うことが可能なタブロー規則を整備する必要が ある。高階論理に対するタブロー法のための規則の拡充法が Abzianidze (Abzianidze 2015)に より提案されており，それを本手法に応用することが一つのアプローチとして考えられる。ま た，今回の実験では，データセットの前提と仮説をそのまま用いてニューラルモデルを学習し たが，タブロー法に従って前提と仮説をより小さい文に分解した上で，それに基づきモデルを 構築する手法の検討も今後の課題である.

## 謝 辞

本研究は, 一部, 科学研究費補助金基盤研究 (C) (No. 22K12148) により実施したものである.

## 参考文献

Abzianidze, L. (2015). "A Tableau Prover for Natural Logic and Language." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2492-2502, Lisbon, Portugal. Association for Computational Linguistics.

Abzianidze, L. (2017). "LangPro: Natural Language Theorem Prover." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 115-120, Copenhagen, Denmark. Association for Computational Linguistics.

Bar-Haim, R., Dagan, I., Greental, I., and Shnarch, E. (2007). "Semantic Inference at the LexicalSyntactic Level." In Proceedings of the 22nd AAAI Conference on Artificial Intelligence, pp. 871-876.

Barredo Arrieta, A., Díaz-Rodríguez, N., Del Ser, J., Bennetot, A., Tabik, S., Barbado, A., Garcia, S., Gil-Lopez, S., Molina, D., Benjamins, R., Chatila, R., and Herrera, F. (2020). "Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges Toward Responsible AI." Information Fusion, 58, pp. 82-115.

Bowman, S. R., Angeli, G., Potts, C., and Manning, C. D. (2015). "A Large Annotated Corpus for Learning Natural Language Inference." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642, Lisbon, Portugal. Association for Computational Linguistics.

Chen, Q., Zhu, X., Ling, Z.-H., Wei, S., Jiang, H., and Inkpen, D. (2017). "Enhanced LSTM for Natural Language Inference." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1657-1668, Vancouver, Canada. Association for Computational Linguistics.

Cooper, R., Crouch, D., Eijck, J. V., Fox, C., Genabith, J. V., Jaspars, J., Kamp, H., Milward, D., Pinkal, M., Poesio, M., Pulman, S., Briscoe, T., Maier, H., and Konrad, K. (1996). "Using the Framework." Tech. rep., FraCaS: A Framework for Computational Semantics. FraCaS deliverable D16.

Dagan, I., Roth, D., Sammons, M., and Zanzotto, F. M. (2013). Recognizing Textual Entailment: Models and Applications. Synthesis Lectures on Human Language Technologies. Morgan \& Claypool Publishers.

Danilevsky, M., Qian, K., Aharonov, R., Katsis, Y., Kawas, B., and Sen, P. (2020). "A Survey of the State of Explainable AI for Natural Language Processing." In Proceedings of the 1 st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing, pp. 447-459, Suzhou, China. Association for Computational Linguistics.

de Marneffe, M.-C., Manning, C. D., Nivre, J., and Zeman, D. (2021). "Universal Dependencies." Computational Linguistics, 47 (2), pp. 255-308.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

Gururangan, S., Swayamdipta, S., Levy, O., Schwartz, R., Bowman, S., and Smith, N. A. (2018). "Annotation Artifacts in Natural Language Inference Data." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 107-112, New Orleans, Louisiana. Association for Computational Linguistics.

Hochreiter, S. and Schmidhuber, J. (1997). "Long Short-Term Memory." Neural Computation, 9 (8), pp. 1735-1780.

Hu, H., Chen, Q., Richardson, K., Mukherjee, A., Moss, L. S., and Kuebler, S. (2020). "MonaLog: a Lightweight System for Natural Language Inference Based on Monotonicity." In Proceedings of the Society for Computation in Linguistics 2020, pp. 334-344, New York, New York. Association for Computational Linguistics.

Kondratyuk, D. and Straka, M. (2019). "75 Languages, 1 Model: Parsing Universal Dependencies Universally." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 2779-2795, Hong Kong, China. Association for Computational Linguistics.

Kumar, S. and Talukdar, P. (2020). "NILE : Natural Language Inference with Faithful Natural Language Explanations." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8730-8742, Online. Association for Computational Linguistics.

Lakoff, G. (1970). "Linguistics and Natural Logic." Synthese, 22 (1), pp. 151-271.

Lan, Z., Chen, M., Goodman, S., Gimpel, K., Sharma, P., and Soricut, R. (2019). "ALBERT: A Lite BERT for Self-supervised Learning of Language Representations." CoRR,
abs/1909.11942.

MacCartney, B. and Manning, C. D. (2007). "Natural Logic for Textual Inference." In Proceedings of the ACL-PASCAL Workshop on Textual Entailment and Paraphrasing, pp. 193-200, Prague. Association for Computational Linguistics.

MacCartney, B. and Manning, C. D. (2008). "Modeling Semantic Containment and Exclusion in Natural Language Inference." In Proceedings of the 22nd International Conference on Computational Linguistics, pp. 521-528, Manchester, UK. Coling 2008 Organizing Committee.

MacCartney, B. and Manning, C. D. (2009). "An Extended Model of Natural Logic." In Proceedings of the 9th International Conference on Computational Semantics, pp. 140-156, Tilburg, The Netherlands. Association for Computational Linguistics.

馬目華奈, 谷中瞳, 吉川将司, 峯島宏次, 戸次大介 (2018). RNN 系列変換モデルを用いた高階論理式からの文生成. 言語処理学会第 24 回年次大会発表論文集, pp. 380-383. [K. Manome et al. (2018). RNN Henkan Keiretsu Moderu wo Mochiita Kokaironrishiki karano Bunseisei. The 24th Annual Meeting of the Association for Natural Language Processing, pp. 380-383.].

Marelli, M., Menini, S., Baroni, M., Bentivogli, L., Bernardi, R., and Zamparelli, R. (2014). "A SICK Cure for the Evaluation of Compositional Distributional Semantic Models." In Proceedings of the 9th International Conference on Language Resources and Evaluation, pp. 216-223, Reykjavik, Iceland. European Language Resources Association.

Mineshima, K., Martínez-Gómez, P., Miyao, Y., and Bekki, D. (2015). "Higher-order Logical Inference with Compositional Semantics." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2055-2061, Lisbon, Portugal. Association for Computational Linguistics.

Nie, Y., Williams, A., Dinan, E., Bansal, M., Weston, J., and Kiela, D. (2020). "Adversarial NLI: A New Benchmark for Natural Language Understanding." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4885-4901, Online. Association for Computational Linguistics.

Parikh, A., Täckström, O., Das, D., and Uszkoreit, J. (2016). "A Decomposable Attention Model for Natural Language Inference." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2249-2255, Austin, Texas. Association for Computational Linguistics.

Saji, A., Takao, D., Kato, Y., and Matsubara, S. (2021). "Natural Language Inference using Neural Network and Tableau Method." In Proceedings of the 35th Pacific Asia Conference on Language, Information and Computation, pp. 406-414, Shanghai, China. Association for Computational Lingustics.

Tai, W., Kung, H. T., Dong, X., Comiter, M., and Kuo, C.-F. (2020). "exBERT: Extending Pretrained Models with Domain-specific Vocabulary Under Constrained Training Resources." In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 1433-1439, Online. Association for Computational Linguistics.

Tsuchiya, M. (2018). "Performance Impact Caused by Hidden Bias of Training Data for Recognizing Textual Entailment." In Proceedings of the 11th International Conference on Language Resources and Evaluation, Miyazaki, Japan. European Language Resources Association.

Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., and Bowman, S. (2018). "GLUE: A MultiTask Benchmark and Analysis Platform for Natural Language Understanding." In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium. Association for Computational Linguistics.

Wang, S., Fang, H., Khabsa, M., Mao, H., and Ma, H. (2021). "Entailment as Few-Shot Learner." ArXiv, abs/2104.14690.

Williams, A., Nangia, N., and Bowman, S. (2018). "A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1112-1122, New Orleans, Louisiana. Association for Computational Linguistics.

Yanaka, H., Mineshima, K., Bekki, D., and Inui, K. (2020). "Do Neural Models Learn Systematicity of Monotonicity Inference in Natural Language?" In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6105-6117, Online. Association for Computational Linguistics.

## 付録

## A 付録 A

図 16 に，実験の際に関数として作成したタブロー規則の一覧を示す.ここで $C, C_{i}, C_{i}^{\prime}$ は任意の依存構造である。また， $X$ は依存関係であり， $X \in\{$ nsubj, csubj, obj, iobj, ccomp, xcomp $\}$ である。

図 16 作成したタブロー規則の一覧

## 略歴

佐治 礼仁：2021 年名古屋大学情報学部卒. 2023 年, 同大学院情報学研究科博士前期課程修了. 現在, ヤフー株式会社に在籍中.

高尾大樹：2017 年名古屋大学工学部卒. 2019 年同大学大学院情報学研究科博士前期課程修了. 現在, 同博士後期課程在学中.

加藤 芳秀 : 2003 年名古屋大学大学院工学研究科情報工学専攻博士課程後期課
程修了. 博士 (工学). 同大助手, 助教等を経て, 准教授. 言語処理学会, 情報処理学会, 人工知能学会, 電子情報通信学会, ACL 各会員.

松原 茂樹：1998 年名古屋大学大学院工学研究科情報工学専攻博士課程修了.博士 (工学). 同大助手, 助教授, 准教授を経て, 2017 年名古屋大学教授.

(2022 年 9 月 1 日 受付)

(2023 年 1 月 26 日 再受付)

(2023 年 3 月 3 日 採録)


# JGLUE: 日本語言語理解ベンチマーク

栗原健太郎 $\dagger \cdot$ 河原 大輔 $\dagger \cdot$ 柴田 知秀 $\dagger \dagger$
}

高性能な言語理解モデルを開発するためには, 言語理解の能力を様々な観点から評価 し分析するためのベンチマークが必要である。英語においては, GLUE (Wang et al. 2018) が先駆けとして構築されており, 中国語版の CLUE (Xu et al. 2020) やフラン ス語版の FLUE (Le et al. 2020) など, 各言語におけるベンチマーク構築も進んでい るが，日本語においては GLUEのようなベンチマークは存在せず，日本語自然言語処理において大きな問題となっている。本研究では, 一般的な日本語言語理解能力 を測ることを目的として，翻訳を介することなく，日本語で一から言語理解ベンチ マーク JGLUE を構築する. JGLUE は文章分類, 文ペア分類, QA の 3 種類の夕ス クから構成される。本ベンチマークによって日本語における言語理解研究が活性化 することを期待する。

キーワード：GLUE，日本語，言語理解ベンチマーク，文章分類，文ペア分類，QA
## JGLUE: Japanese General Language Understanding Evaluation

\author{
Kentaro Kurihara $^{\dagger}$, Daisuke Kawahara $^{\dagger}$ and Tomohide Shibata ${ }^{\dagger \dagger}$
}

To develop high-performance natural language understanding (NLU) models, it is necessary to have a benchmark to evaluate and analyze NLU ability from various perspectives. The English NLU benchmark, GLUE (Wang et al. 2018), has been the forerunner, and benchmarks for languages other than English have been constructed, such as CLUE (Xu et al. 2020) for Chinese and FLUE (Le et al. 2020) for French. However, there is no such benchmark for Japanese, and this is a serious problem in Japanese NLP. We build a Japanese NLU benchmark, JGLUE, from scratch without translation to measure the general NLU ability in Japanese. JGLUE consists of three kinds of tasks: text classification, sentence pair classification, and QA. We hope that JGLUE will facilitate NLU research in Japanese.

Key Words: GLUE, Japanese, NLU Benchmark, Text Classification, Sentence Pair Classification, $Q A$

## 1 はじめに

高性能な言語理解モデルを開発するためには，言語理解の能力を様々な観点から評価し分析 するためのベンチマーク（データセット群）が必要である．英語においては， GLUE (General Language Understanding Evaluation) (Wang et al. 2018) が構築, 公開されている. GLUEであ る程度の高スコアを達成できる言語理解モデルが開発されると, より難易度の高いべンチマー クとして SuperGLUE (Wang et al. 2019) などが構築され, ベンチマーク構築と言語理解モデル 開発の好循環が生まれている。このような英語における言語理解研究活性化の潮流に乗じて,中国語版の CLUE (Xu et al. 2020), フランス語版の FLUE (Le et al. 2020), 韓国語版の KLUE (Park et al. 2021) など，各言語におけるベンチマーク構築が進んでいる.

しかし, 日本語には GLUEのようなベンチマークが存在せず，日本語自然言語処理にとって 大きな問題となっている。日本語は英語や他の言語とは以下の点で異なることから, 英語デー タセットにおける研究の知見は必ずしも日本語に適用できるとは限らない.

$\cdot$ひらがな, カタカナ, 漢字, アルファベットが使われる.
- 単語間に空白区切りが無い.
- 語順が比較的自由である.

以上の背景より, 日本語の言語理解ベンチマークの構築は急務となっている. JSNLI (Yoshikoshi et al. 2020) や JSICK (谷中, 峯島 2021) など, 個々の日本語データセットは構築されているが, それらの主な構築手法は英語のデータセットからの機械翻訳あるいは人手翻訳である。いずれ の翻訳手法でも，翻訳文の不自然さや，翻訳元の言語（多くの場合英語）と翻訳後の言語（本研究では日本語）との間での文化・社会差が大きな問題となることが Clark et al. (2020) や Park et al. (2021) らに指摘されている. また, 特定ドメインの日本語のデータセットとして, ホテル レビューを対象とした JRTEコーパス (Hayashibe 2020) や，運転行動を対象とした運転ドメイ ン QA (Takahashi et al. 2019) が構築されているが，いずれも一般的なドメインの言語理解能力 を測るのには向かない.

本研究では, 一般的な日本語言語理解能力を測ることを目的として, 翻訳を介することな く, 日本語で一から言語理解ベンチマーク JGLUE を構築する. JGLUE は, 表 1 に示すよう に文章分類，文ぺア分類，QAの3 種類のタスクから構成し，GLUE および SuperGLUEの夕 スクを幅広くカバーするように設計した。また, 構築したJGLUE を用いて種々の事前学習 モデルを評価し, 現状のモデルやデータセットの分析を行った. JGLUE は 2022 年 6 月より https://github.com/yahoojapan/JGLUE にて公開している。本ベンチマークによって日本語 における言語理解研究が活性化することを期待する.

表 1 JGLUE の構成

## 2 関連研究

言語理解モデルを評価するためのベンチマークの先駆けは GLUEである．GLUE は，英語 を対象として，文章分類および文ぺア関係分類の 2 種のタスク，合計 9 つのデータセットで構成されている．GLUE より難易度の高いベンチマークとして SuperGLUE が構築されている。 SuperGLUE は，GLUE において最も難易度が高い含意関係認識データセットを残した上で，QA や常識推論など難易度の高いデータセットを加えた合計 8 つのデータセットとして構築されてい る.このような英語におけるベンチマーク構築が言語理解モデル開発を活性化し, BERT (Devlin et al. 2019) やその拡張モデルが多く生み出された. この動きに伴い, 中国語, フランス語, 韓国語，インドの言語群，アラビア語，カタルーニヤ語などの各言語で, CLUE, FLUE, KLUE, IndicGLUE (Kakwani et al. 2020), ARLUE (Abdul-Mageed et al. 2021), ALUE (Seelawi et al. 2021), CLUB (Rodriguez-Penagos et al. 2021) などの言語理解ベンチマークを構築する研究が活発になっている。また, XGLUE (Liang et al. 2020), XTREME (Hu et al. 2020), XTREME-R (Ruder et al. 2021) などの多言語のベンチマークも構築されている. 日本語も多言語ベンチマー クに含まれているがデータ数は少量である.

## 3 JGLUE の構築

JGLUE は，表 1 のとおり，文章分類，文ぺア分類，QAのタスクから構成する，以下では，各タスクのデータセットの構築方法について説明する。ただし，文章分類タスクの一つである JCoLA（日本語容認性判断データセット）(染谷，大関 2022) は他研究組織から提供を受ける 予定であり, 本稿では説明しない. 各データセットは英語からの翻訳ではなく日本語のテキス トを用いて構築し，正解の付与や自由記述文の作成はクラウドソーシング1を用いて行う.
^{1}$ Yahoo!クラウドソーシング https://crowdsourcing.yahoo.co.jp/を用いた.
}

## 3.1 MARC-ja

文章分類タスクの一つとして，多言語商品レビューコーパス MARC (Multilingual Amazon Reviews Corpus) (Keung et al. 2020)の日本語部分を基にデータセットを構築する．MARCは，通販サイト「アマゾン」における商品レビューとそれに紐づく $1-5$ の 5 段階のレーティングを まとめているコーパスであり, 英語や日本語などの複数言語で公開されている. JGLUEでは, MARC の日本語部分を使用し，また，計算機，人間ともにできる限り摇らぎなく判定できるよ うに，5段階のレーティングのうち 3 を除く 4 つの評価について， 1, 2 を “negative”, 4,5 を “positive"に変換した 2 値分類タスクとする．例えば，表 2 の上 4 件の例について， 5 段階のレー ティングで 4,5 の評価がついている文章や, 1,2 の評価がついている文章のレーティングの判定は, 人間にとっても困難であるが, positive, negative の 2 值分類タスクとすることで判定が 容易となる。

MARC における問題点として, positive な内容のレビューに対し 1 やの評価がついている 場合など，内容と評価が乘離したデータが含まれている場合があることが挙げられる。これら のデータには，レビューの内容と明らかに異なったラベルが割り振られるため, データセット の品質を低下させる.

評価に用いる dev/test セットに対しては, これらのデータを修正し高品質なものにするため に, 約 12,000 件のレビューに対して positive/negative 判定タスクをクラウドソーシングで実施 する. 10 人から回答を収集し， 7 人以上から同じ回答を得られたデー夕のみを採用し，票の多 い回答を正解ラベルとする．収集したデータを分割することで dev/test セットとする.

以上の手続きにより，5,654 件の dev セット，5,639 件の test セットを獲得した． train セット は大規模であるため上記の手続きを実施せず，187,528件のデータを抽出した．MARC-jaのラ ベル分布を表 3 に示す.

 & 2 & positive \\

表 2 MARC-jaの例（上 4 件はクラウドソーシングの前後でラベルが変わらなかった例，下 2 件はクラ ウドソーシングによってラベルが変わった例)

表 3 MARC-ja のラベル分布

MARC-ja で用いる評価指標には, 文章の 2 値分類タスクであることから, 精度 (accuracy)を 用いる.

## 3.2 JSTS $\cdot$ JNLI

文ペア分類タスクについては，意味的類似度計算 (Semantic Textual Similarity, STS) データ セット JSTS および自然言語推論 (Natural Language Inference, NLI) データセット JNLI を構築 する.

## 3.2.1 概要

STS は，文ぺアの意味的な類似度を推定するタスクである。正解の類似度は，クラウドソー シングによって複数人で付与した整数値 0 （意味が完全に異なる）から 5 （意味が等価）の平均値とされるのが一般的である。

NLI は，前提文と仮説文の文ぺアが与えられたときに，前提文が仮説文に対してもつ推論関係を認識するタスクである。推論関係としては「含意 (entailment)」「矛盾 (contradiction)」「中立 (neutral)」の 3 値で定義されるのが一般的である. 正解の推論関係は，クラウドソーシング によって複数人から回答を収集し，多数決によって付与することが多い.

STS, NLI タスクは GLUE において，それぞれSTS-B (Cer et al. 2017), MultiNLI (Williams et al. 2018) データセットが含まれている。日本語では，英語 NLI データセット SNLI (Stanford NLI) (Bowman et al. 2015) を機械翻訳した JSNLI (Yoshikoshi et al. 2020), 英語 STS/NLI デー タセット SICK (Marelli et al. 2014)を人手翻訳した JSICK (谷中, 峯島 2021) がある。しかし, 1 節で述べたように，これらには翻訳に由来する問題があるため, 本研究では日本語で一から 構築する。

JSTS と JNLI の文ぺアは，基本的に，MS COCO Caption Dataset (Chen et al. 2015)の日本語版 YJ Captions Dataset (Miyazaki and Shimizu 2016)2 (以下, YJ Captions と呼ぶ）から抽出する. SICK や JSICK と同様に, JSTS と JNLI を構成する文ぺアの大部分は重複しており,同じ文ぺアに対する類似度と推論関係との間の関係を分析することができる．JSTSにおける類
^{2}$ YJ Captions は MS COCO (Chen et al. 2015) の各画像に対して, クラウドソーシングを用いて日本語のキャプ ションを 5 つ付与することで構築されている.
}
似度は，STS-B と同様に 0〜5の実数值とし，JNLIにおける推論関係は，SNLI や MultiNLI な どと同様に上記の 3 値とする。各推論関係の定義は SNLIに基づく.

## 3.2.2 構築方法

JSTS と JNLI の構築フローを図 1 に示す. 基本的には，YJ Captions の同じ画像に対する 2 つのキャプションを文ぺアとし，クラウドソーシングによって類似度および推論関係を付与す る. ここで二つの問題が生じる。一つ目は, JSTSにおいて, 同じ画像に対するキャプションか らは類似度の低い文ぺアを収集しにくいという問題である。そこで，異なる画像に対するキャ プションから類似度の低い文ぺアを収集する。二つ目は，JNLIにおいても同様に，同じ画像 に対するキャプションからは contradiction 関係にある文ぺアを収集しにくいという問題であ る. そこで，クラウドソーシングによって付与する推論関係は entailment と neutral のみとし, contradiction 関係については，あるキャプションに対して矛盾する文をワーカーに作文しても らうことによって収集する.

JSTS と JNLI の詳細な構築手順を以下に示す.

Step 1 YJ Captionsの同じ画像に対する 2 つのキャプションを文ぺアとしたSTS タスクをク ラウドソーシングで実施する． 5 人から回答を収集し，その平均値を正解類似度とする。 ただし，回答の分散が大きい文ぺアについては，類似度の判断が難しい，もしくは回答 の品質が悪い文ぺアと判断し削除する。16,000 件の文ぺアを対象に上記タスクを実施し,類似度の分散が 1.0 以上の文ぺアを削除した結果，10,236 件の文ぺアに対する類似度を

図 $1 \mathrm{JSTS}$ $\cdot$JNLI の構築フロー (画像の出典: いらすとや , ONWA イ ラスト )
収集した。この収集データを JSTS-A と呼ぶ.

Step 2 類似度の低い文ぺアを収集するために，異なる画像に対するキャプションを文ぺアと したSTS タスクをクラウドソーシングで実施する. 本タスクも Step 1 と同様の方法で 類似度を獲得し，回答の分散によるフィルタリングを実施する４４，000 件の文ぺアを対象 に上記タスクを実施し，2,970 件の文ぺアに対する類似度を収集した。この収集データを JSTS-B と呼ぶ.

Step 3 JSTS-A に対して, NLI タスクをクラウドソーシングで実施する. 推論関係には方向性があるため, 文ぺアについて双方向で推論関係を得る。前述のとおり, 同じ画像のキャ プションから収集した JSTS-A からは contradiction の事例を収集しづらいため，このス テップでは entailment と neutral の事例を収集する。10 人から推論関係の回答を収集し, 6 人以上が同一の回答をした場合に, それが entailment か neutral であれば正解ラベルと して採用する。同一の回答が 6 人以上から得られなかった文ぺアは採用しない. JSTS-A に対して双方向で推論関係を得るため, JSTS-Aの 2 倍の 20,472 件の文ぺアを対象に上記タスクを実施し，回答の一致度が高い 17,501 件の文ぺアに対する推論関係を収集した。 この収集データを JNLI-A と呼ぶ。なお，JSTS-Bについては，文ぺア間に関連性がなく， 3 つの推論関係から選択することが難しいことから，NLI タスクには使用しない3 3.

Step 4 contradictionのNLI 事例を収集するため, YJ Captionsのキャプションに対して，矛盾する文を 4 つずつ作成するタスクをクラウドソーシングで実施する．作成された文の うち，短い文や，提示文と関連性の低い文といった品質の低い文を除去するために，編集距離が 0.75 以上の文ぺアを除去する。 さらに，作成した文ぺアが本当に矛盾関係にあ るかを確認するために，10人で片方向の NLI タスクを実施し，6 人以上が contradiction と回答した文ぺアのみを採用する。最後に，矛盾関係には方向性がないため，採用され た文ぺアにおける反対方向の推論関係として contradictionを自動付与する，1,800 件の キャプションを用いて 7,200 件の文ぺアを獲得し，そこから，片方向の contradiction 関係を付与した文ぺアを 3,779 件収集した。 反対方向の contradiction 関係を自動付与する ことで， 2 倍の 7,558 件の事例を収集した。この収集データを JNLI-C と呼ぶ.

Step 5 Step 4 で収集した 3,779 件の文ぺアについて，クラウドソーシングによるSTSタスク を実施する. Step 1, 2 と同様の方法で類似度付与とフィルタリングを実施する．以上に より，3,779 件の文ぺアから 2,303 件の文ぺアに対する類似度を収集した.この収集デー 夕を JSTS-C と呼ぶ.

以上の手続きによって獲得した JSTS-A, B, Cの 3つでJSTS，また JNLI-A, Cの 2 つで JNLI

表 $4 \mathrm{JSTS} \cdot \mathrm{JNLI}$ の例

表 6 JNLI のラベル分布

表 5 JSTS のラベル分布

表 7 JSTS における類似度の分散の平均値と分散の標準偏差

を構築した。最後に，重複する文ぺア事例を JSTS から 12 件, JNLI から 44 件除去した. JSTS と JNLI の例を表 4 に示す. JSTS と JNLI のラベル分布をそれぞれ表 5,6 に示す.

JSTS の質を評価するために，それぞれの文ぺアに対してクラウドワーカー 5 人が回答した 類似度の分散を計算し，分散の平均値と標準偏差を算出した。それぞれの値は表 7 に示す通り，小さい値となっており，アノテーションの品質を保証する結果となっている． JNLIのアノテー ションの一致度を評価するために，全ての文ぺアにおける 10 人のクラウドワーカーの回答の Fleiss' Kappa 係数を計算した. 係数の値は 0.399 であり, ある程度の一致を示す数値となった. この結果は，それぞれの回答の信頼度が高くないことを示しているものの，多数決によって収集したラベルは人間のスコアの高さ（4.2 節）から信頼度が高いと言える。

JSTS の評価指標には，STS-B と同様に Pearson および Spearman 相関係数を用いる. JNLI の評価指標には，SNLI，MultiNLI などと同様に精度を用いる。

## 3.3 JSQuAD

QA データセットとして, 機械読解データセットである日本語版 SQuAD (JSQuAD) と, 常識推論データセットである日本語版 CommonsenseQA（JCommonsenseQA，3.4 節で説明）を構築する。機械読解タスクは文書を読み，それに関する質問に対して答えるというタスクである.
多くの機械読解評価セットは英語で構築されているが, その他の言語での機械読解評価セット, もしくは多言語の評価セットが構築され始めている.

日本語ではクイズを対象にした機械読解評価セット (鈴木 他 2018 ) や運転ドメインの評価セッ ト (Takahashi et al. 2019) が構築されているが, 一般ドメインのものはない. そこで, Wikipedia を用いて一般ドメインの評価セットを構築する。構築は基本的に SQuAD 1.1 (Rajpurkar et al. 2016)にならう.

まず，高品質な記事を対象とするために，Nayuki4を使ってスコアトップ 10,000 記事を選出 し，そこからランダムに 822 記事を選んた。これらの記事には例えば「熊本県」「フランス料理」 が含まれている，次に，記事を段落に分割し，クラウドワーカーに各段落を提示し，段落を理解できれば答えられるような質問とその正解を書いてもらう。書いてもらった正解が段落中に ない場合は，その問題は採用しない，最後に，パターンマッチングと人手での確認により，質問文が段落のタイトルや本文に包含される事例など 1,094 件の問題を除去した.

JSQuAD の例を図 2 に示す. dev/test セットについてはシステム評価を頑健にするために，質問と正解を書いてもらったワーカーとは別のワーカーに追加で 2 つの正解を書いてもらう. この際，「回答不可」の選択肢を用意し，ワーカーの回答が段落中に存在しない文字列あるいは 「回答不可」であった場合には，その回答を採用しない．2つの回答が共に採用されない場合は，問題ごと除去する.

評価指標は $\mathrm{SQuAD}$ にならい, Exact match (EM) と F1 を用いる. 最大 3 つの正解が存在す るので，システムの出力と各正解を比較して最大のスコアを取る $\mathrm{EM}$ ならびに F1を採用する.英語では F1 は単語単位で計算されているが, 日本語で形態素単位で計算すると採用する形態素解析器によって値が異なってしまうので文字単位で計算する.
 / \mathrm{h}$ で運行されている

質問: 2020 年、東京〜新大阪間の最速の所要時間は

正解: 2 時間 21 分

質問: 東海道新幹線と相互乗り入れがされている路線はどこか？

正解: 山陽新幹線
}

1987 年（昭和 62 年）4月 1 日の国鉄分割民営化により、JR 東海が運営を継承した。西日本旅客鉄道（JR 西日本）が継承した 山陽新幹線とは相互乗り入れが行われており、東海道新幹線区間のみで運転される 列車にも JR 西日本所有の車両が使用されることがある。2020 年（令和 2 年） 3 月現在、東京駅 - 新大阪

図 $2 \mathrm{JSQuAD}$ の例
^{4}$ Nayuki は Wikipedia 内のハイパーリンクに基づき，記事の品質を推定するシステムで，SQuAD でも利用されて いる. https://www.nayuki.io/
}
質問: 会社の最高責任者を何というか？選択肢: 教師, 部長, 社長, 部下, バイト

質問: スープを飲む時に使う道具は何？

選択肢: スプーン, メニュー, 皿, フォーク, はし

図 3 JCommonsenseQA の例（太字は正解を表す）

質問: 電車に人が乗り降りする場所を何という？選択肢: 駅, 鉄道会社, 線路, 空港, 港

図 4 JCommonsenseQA の構築フロー

## 3.4 JCommonsenseQA

## 3.4.1 概要

JCommonsenseQA は, CommonsenseQA (Talmor et al. 2019)の日本語版データセットであり,常識推論能力を評価するための 5 択の QA で構成する. JCommonsenseQA の例を図 3 に示す. JCommonsenseQA は, CommonsenseQA と同様に, 知識ベース ConceptNet (Speer et al. 2017) をシードとし，クラウドソーシングを用いて構築する. ConceptNet は， 2 つの概念 (concept) と，その間の関係 (relation)を表す 3 つ組からなる多言語知識ベースである。 3 つ組は方向性を 持ち, 例えば（新幹線, AtLocation, 駅）のように, (source concept, relation, target concept)と して表される.

## 3.4.2 構築方法

JCommonsenseQA の構築フローを図 4 に示す.まず, source concept と, それに対して同じ relation を持つ target concept 3 つからなる集合を ConceptNet から収集する。以降，この集合を Question Set (QS) と呼ぶ．次に，各 QS に対して，1つの target concept のみが正解となる質問文の作成と, 2 つの誤答選択肢の追加をクラウドソーシングで行う。以下では, CommonsenseQA との違いを示しつつ, JCommonsenseQAの詳細な構築手順を説明する。

(1) ConceptNetから日本語 QS を収集する。CommonsneseQA においては, (source concept, relation, target concept) という順方向の関係のみの QS を採用しており, relation は “RelatedTo", "IsA"など一般的すぎるものを除いたものを用いている. JCommonsneseQA でも，一般的すぎる relation を除外した 22 種類の relation 集合 5 を用いるが，問題の選

択肢をより多様化させるために関係の方向は両方向とする. すなわち, (source concept, relation $^{-1}$, target concept) という逆方向の関係も用いる ${ }^{6}$. 以上の設定で, source/target concept が日本語である 43,566 件の QS を抽出し，そこから 7,500 件をランダムに選択 した.

(2) CommonsenseQA には, 正解となり得る選択肢が複数含まれている低品質な問題が少数含まれている. JCommonsenseQA においては, 正解の一意性を担保するために，CommonsenseQA 構築では実施していない 2 つの処理を行う。まず，各 QSについて，3つの target concept 内に表記摇れと判断されるものがあれば，その QS を除去する。表記摇れ の判断は, 形態素解析辞書 JumanDic $の$ 単語 ID （代表表記）が一致するかどうかで行 う. さらに, target concept 内に同義語が含まれているかを判定するタスクをクラウド ソーシングで実施し， 3 つの target concept 中に同義語が含まれる QS を除去する．以上 より， 7,500 件の QS から 5,920 件の QS を採用した.

（3）各 QSにおいて，3つの target conceptのうちの 1 つの concept だけが正解となる質問文 をクラウドソーシングで作成する。 さらに JCommonsenseQA では, 正解の文字数やキー ワードの指定などでヒントを与えられた難易度の低い質問, および不適切な形式の質問文を除去するために，以下のいずれかに該当する質問文を持つ問題を除去する.

(a) 質問文に選択肢の言葉が含まれる

（b）質問文に「○文字」という文字列が含まれる8（○は数字）

(c) 質問文の文末が「?」ではない

以上により， $5,920 \times 3=17,760$ 件の問題を作成し，そこから不適切な問題を除去する ことで 15,310 件の問題を採用した.

（4） CommonsenseQA では，2つの誤答選択肢の追加にあたって，1つを ConceptNet から選択し，もう1つをクラウドソーシングで作成している。 JCommonsenseQAでは，より多様な誤答選択肢とするため, ConceptNet からの選択は行わず, クラウドソーシングで 2 つの誤答選択肢を作成し追加する。また，問題の品質向上のために，以下のいずれかに 該当する選択肢が追加された問題を除去する.

(a) 質問文に含まれる言葉と同じ選択肢

（b）既存の選択肢と重複する選択肢

以上により，15,310 件の問題に誤答選択肢を追加し，そのうち 13,906 件を採用した.

（5） 各問題を 3 人のクラウドワーカーに回答してもらい，2 人以上が正解した問題のみを採
^{-1}$, 新幹線）のような 3 つ組から, source concept「駅」に対して target concept「新幹線」「時刻表」「改札」を得る。

7 https://github.com/ku-nlp/JumanDIC

8 「値段が高いことを漢字 2 文字でなんという？」のような問題を除くために設定する.
}
用する. これにより，13,906 件の問題のうち 11,263 件を採用した。

最後に, パターンマッチングと人手での確認により, ひらがなやアルファベット 1 文字の選択肢が 含まれる事例など 87 件の問題を除去した. JCommonsenseQAの評価指標には, CommonsenseQA と同様に精度を用いる。

## 4 JGLUEによるベースラインモデルの評価

構築した JGLUE を用いて様々な事前学習モデルの性能評価を行った。また，人間のスコア を計算し，モデルと比較した。そして，各データセットの分析を行った。

## 4.1 実験設定

事前学習モデルをファインチューニングすることで各データセットに対するモデルの学習を 行った．実験に用いた事前学習モデルを表 8 に示す. 各事前学習モデルのファインチューニン グはタスク/データセットに応じて以下のように行った 9.
- 文章分類タスクと文ぺア分類タスク：[CLS]トークンに対する分類問題もしくは回帰問題を解く.
- JSQuAD: 各トークンに対して正解のスパンの開始/終了となるかどうかの分類問題を

 &  & 日本語 Wikipedia \\

表 8 実験に用いた事前学習モデルの詳細. モデル名の丸括弧内は Hugging Face Hub での名称を示す.東北大 BERT BASE , XLM-RoBERTabaSE, 早稲田大 RoBERTabaSE については LARGE サイズ も使用する。早稲田大 RoBERTabaSE $の$ max seq length は 128 , 早稲田大 RoBERTaLARGE $の$ max seq length は 128 と 512 の 2 種類あり，その他のモデルの max seq lengthは 512 である. 事前学習テキストの CCは Common Crawl を表す.

解く ${ }^{10}$.
- JCommonsenseQA: 質問と各選択肢を連結し，多肢選択式問題を解く.

実験に用いたハイパーパラメータを表 9 に示す. learning rate と epoch については $\operatorname{dev} セ ッ$ トを用いて最適なハイパーパラメータを探索し, それを用いて test セットで性能を評価した。

モデルの性能を人間のスコアと比較するために，人間のスコアの獲得をデータセットごとに 以下の手順で行った.
- MARC-ja: positive/negative 判定タスクをクラウドソーシングで実施し, 10 人から回答 を収集して多数決をとる。同票についてはランダムに positive/negative のいずれかを人間のスコア獲得時の回答とする。構築済みのラベルと一致する回答の割合を人間のスコ アとする。
- JSTS: STS タスクをクラウドソーシングで実施し，5 人から回答を収集したのち，その 平均値を人間のスコア獲得時の類似度とする。構築済みラベルの値と人間のスコア獲得時の類似度の Spearman 相関係数を人間のスコアとする。
- JNLI: NLI タスクをクラウドソーシングで実施し, 10 人から回答を収集して多数決をと る. 同票で 1 位の 2 つラベルについては，ランダムにいずれかを選択して人間のスコ ア獲得時の回答とする。構築済みのラベルと一致する回答の割合を人間のスコアとする.
- JSQuAD: 構築済みの各問題に対する 2 つもしくは 3 つの正解のうち, 1 つ目の正解を人間のスコア獲得時の人間の回答とみなす。残りの正解と人間の回答との間の $\mathrm{EM}$ と 1 ス コアをそれぞれ計算し，最も大きいスコアを人間のスコアとする11.
- JCommonsenseQA: 各問題の回答をクラウドソーシングにより 5 人から収集し, 多数決 をとる。同票で 1 位の 2 つの選択肢については, ランダムに選んだ 1 つの選択肢を人間 の回答とする。構築済みのラベルと一致する回答の割合を人間のスコアとする。

表 9 実験に用いたハイパーパラメータ
_{\text {BASE }}$ と XLM-RoBERTa LARGE は, トークン の分割位置が解答の開始/終了位置と一致しない事例が頻出することで性能が低くなってしまうため，実験に使用 しない.

11 システムの場合は最大 3 つの正解と比較してスコアを算出しているのに対し, 人間の場合は最大 2 つの正解と比較 しているため, 条件が若干異なる。
}

## 4.2 実験結果

表 10 に各種モデルのスコアならびに人間のスコアを示す.モデルの性能の比較では以下のこ とがいえる.

の性能が全般的によい。これはモデルサイズが LARGEであることと，事前学習のテキ ストとして Wikipediaよりも大規模な Common Crawl を使っていることが考えられる。
- 解析単位について, サブワード単位 (東北大 $\mathrm{BERT}_{\mathrm{BASE}}$ ) と文字単位 (東北大 $\mathrm{BERT}_{\mathrm{BASE}}$ (char)）を比較すると一貫してサブワード単位の方が精度が高い.
- JCommonsenseQA は Wikipedia には記載されにくい常識的な知識を要求することから, Common Crawl を用いたモデルの精度が高い，図 5 に，早稲田大 RoBERTaLARGE が正解を，東北大 BERT $_{\mathrm{BASE}}$ が不正解を出力した JCommonsenseQA の事例を示す.このよ うな知識は Wikipedia には記載されにくい.

長い MARC-ja と JSQuAD では s512 の精度が s128 よりも向上している.
- MARC-ja と JCommonsenseQA 以外のデータセットについては, ベストなモデルは人間 のスコアと同等または超えている.

} & \multicolumn{2}{|c|}{} & \multicolumn{2}{|c|}{} & \multicolumn{2}{|c|}{} & \multicolumn{2}{|c|}{} \\

表 10 JGLUE による各種モデルの評洒結果

質問: 顔を洗う場所は?

選択肢: 洗面所, 店, 台所, 化粧台, ストック

図 5 早稲田大 RoBERTa RARGE が正解を, 東北大 $\mathrm{BERT}_{\mathrm{BASE}}$ が不正解を出力した JCommonsenseQA の 事例（太字が正解，下線が不正解の出力）

## 4.3 議論

システムの正解例・誤り例 表 11 から表 15 に, dev セットに対するシステムの正解例ならびに 誤り例を示す。各データセットで最も性能の高かったシステムの例を掲載している．MARC-ja （表 11）は全般的に性能が高く, 正解例のように正しく判定できる場合が多い. 誤りは例に示す ように，レビュー文章中に positive な言及と negative な言及が混在し, 判断が難しい場合が多 い. JSTS（表 12）の正解例では，1つ目の例のように「瘦せ型」と「細身」の同義関係が認識 できていたり，2つ目の例のように「横転した白いトラックがあります」と「白色のトラックが 横転しています」の語順の入れ替わりが認識できていた例があった。誤り例では，使われてい る単語の重複は多いが異なる意味の 2 文に対して誤って高い類似度を出力している場合があっ た. JNLI（表 13）では正解例にあげたような場合は正しく判定できている。誤り例の1つ目 では「ティアラを身につけています」と「ティアラをかぶっています」の含意関係を認識でき

 & positive & positive \\

表 11 MARC-jaにおけるシステムの正解例・誤り例

 & 4.17 & 4.2 \\

表 12 JSTSにおけるシステムの正解例・誤り例（ここでの正解，誤りはそれぞれシステム出力と正解の 差が比較的小さい，大きい事例のことを指す.)

 &  & entailment & entailment \\

表 13 JNLIにおけるシステムの正解例・誤り例

## 正解例

[タイトル] コンゴ共和国

自給自足的で、国民の基礎食糧となるキャッサバの生産が盛んに行われている。.. 林業は独立時には 主要産業であり、木材は輸出の約 60 \%を占める主力輸出品であったが、その後石油産業の成長によっ て割合は小さくなり、2014 年には輸出の 0.9 \%にまで縮小した。しかし重要な産業であることには変 わりなく、かつてはマヨンべ山地が、1960 年代以降はコミログ支線沿いのシャイユ山地が主な産地と なっている。北部の熱帯雨林の林業開発は進んでいない。

質問： コンゴ共和国の重要な産業である林業の主な産地はどこか

正解： シャイユ山地

システム出力： シャイユ山地

## 誤り例

[タイトル] 石油

20 世紀前半には、ベネズエラやインドネシアが石油の輸出地に加わった。この当時、世界の石油生産はアメリカ、ソ連、そしてべネズエラが多く占めていた。その中でもアメリカ合衆国は約７０パー セントを占めていた。

質問：20世紀前半に石油生産が一番多かった国は?

正解： アメリカ合衆国

システム出力： ベネズエラ

表 $14 \mathrm{JSQuAD}$ におけるシステムの正解例・誤り例

ておらず，また 2 つ目では，「赤ん坊」と「テーブル」の位置関係を認識できておらず，誤って entailment と出力してしまっている. JSQuAD（表 13）では正解例にあげたようなケースは正 しく判定できている。誤り例では答えとなる国の候補が 3 つあり， 2 文目と 3 文目を合わせて推論する必要があり, このような場合にシステムが誤っていた. JCommonsenseQA（表 15）で は，正解例にあげたような常識的な知識をシステムが備えていることがわかる．誤り例の 1 つ

表 15 JCommonsenseQA におけるシステムの正解例・誤り例（太字が正解，下線が出力）

 &  \\

表 16 MARC-jaにおける人間の誤り回答例（P は positive，N は negative を表しており，太字は多数決 で選ばれたラベルを表す。)

 &  \\

表 17 JSTS における人間の誤り回答例

目では質問中の「コンビニ」と「カウンター」から誤って「レジ」と答えてしまっており，ま た，2つ目では質問の「毎週発刊」と選択肢の「週刊誌」の関係性が捉えられておらず，このよ うな常識的な知識をどのようにすれば得られるかは今後の検討課題である.

人間の誤り回答 全般的に人間のスコアは高いが, 人間の判断が摇れる問題が少ない割合ではあ るが作成されている，表 16 から表 20 に，各データセットの人間の誤り回答例を示す. MARC-ja においては表 16 に示すように, positive (negative)な意味を前提とした negative (positive) な発言を含む事例がしばしば存在しており，判断を悩ませている。JNLI では表 18 に示すように，

 &  \\

表 18 JNLI における人間の誤り回答例（Eは entailment, C は contradiction, N は neutral を表してお り，太字は多数決によって選ばれたラベルを表す.)

[タイトル] ポルトガル

漢字表記は葡萄牙で、葡と略される。これは広東語の発音（Pou4tou4nga4 $\doteqdot$ ポウトウガー） による漢字表記に由来し、19 世紀の中国南部で生まれ、...٪それまでは...「蒲麗都家」等の 多くの表記もあったが、幕末期より日本でも葡萄牙の漢字表記が優勢となっている。

質問：葡萄牙と漢字表記されることが一般的になったのはどの時期か。

正解: 19 世紀

人間の回答： 幕末期

[タイトル] 梅雨

梅雨の期間中ほとんど雨が降らない場合がある。このような梅雨のことを空梅雨（からつゆ） という。... 空梅雨の場合、夏季に使用する水（特に稲作に必要な農業用水）が確保できなく なり、渇水を引き起こすことが多く、... 秋季〜冬季の降水量が少ない北部九州や瀬戸内地方 などでは、空梅雨の後、台風などによるまとまった雨がない場合、渇水が 1 年以上続くこと もある。

質問： 梅雨の期間中ほとんど雨が降らない場合を何と呼ぶ？

正解： 空梅雨（からつゆ）

人間の回答： 空梅雨

表 19 JSQuADにおける人間の誤り例

 & 選択肢 \\

表 20 JCommonsenseQA における人間の誤り回答例（選択肢の太字は正解，[ ] 内の数字は人間のスコ ア獲得時の人間の回答の票数を表す.)

データ構築時や人間のスコア獲得時に $4: 6,5: 5$ などに回答が分かれるような判断が難しい事例 が少数含まれている。JSTS についても，データ構築時と人間のスコア獲得時で大きく類似度が 異なってしまう事例が少数含まれている，JSQuADでは，表 19 に示すように，正解のスパンの 区切り位置の判別が難しい例や，別解が考えられる例，そのほか質問文が破綻している事例が
含まれている. JCommonsenseQA においては表 20 に示すように別解が考えられる例や，人が 誤って答えてしまう事例が含まれる。これらの誤りに対処するためには，データセット構築時 の各事例の検証に，より多数のクラウドワーカーを用いることで，よりロバストな結果を得る ことなどが考えられる。

能の変化を確認した．各データセットで最も高い性能を出したモデルを用いている．精度の変化を図 6 に示す。全てのデータセットで性能はほぼ飽和していることから，構築したデータセッ トの量は十分であると言える。

JNLI における Annotation Artifacts クラウドワーカーに作文してもらうことによって構築されたデータセットは, Annotation Artifacts が発生することがあり, 特に NLI データセット において顕著である (Poliak et al. 2018; Tsuchiya 2018). Annotation Artifacts とは，アノテー ションによってデータ内に生じてしまうあるパターンのことを呼ぶ. 例えば, クラウドワーカー によって作成された仮説文内に「not」が含まれている場合にたいてい推論関係が contradiction であると，システムは仮説文のみを参照するだけでも十分高い性能を出すことができる．JNLI において，仮説文のみを用いた推論の性能を確認した。はじめに，本実験用に JNLI から部分集合の抽出を行った，具体的には，推論関係が contradiction である文ぺア集合から，クラウド ワーカーの作成文が仮説文である文ぺアを抽出した。推論関係が entailment, neutral である文 ペア集合については，片方向分のみ文ぺア抽出した。そして，仮説文のみを用いた推論結果と， majority ベースラインとして全ての出力を neutral とする場合のスコアをそれぞれ比較した. 比較の結果を表 21 に示す. 東北大 $\mathrm{BERT}_{\mathrm{BASE}}$ モデル による仮説文のみを用いた推論の結果が,

図 6 学習デー夕量を変えた時の精度変化

 \\

XLM-RoBERTa \\

表 21 仮説文のみを用いた推論による JNLI の dev セットにおける精度

majority ベースラインより高精度となっていることから ${ }^{12}$, 若干 Annotation Artifacts が含まれ ていると考えられる，本データセットを利用することで，Annotation Artifactsの軽減に関する 研究が実施されることを期待する.

JSQuADにおける Lexical Overlap JSQuADの質を評価するために，SQuAD で指摘され ている Lexical Overlap について調査した. Lexical Overlap とは, 段落と質問文において単語 が重なっている割合を指す。この割合が大きい場合, モデルにとって容易に回答可能であると いうことが知られている (Clark et al. 2020). JSQuADの各段落と質問文のペアを単語単位に 分割 ${ }^{13}$ し, Lexical Overlap を算出した. Lexical Overlap の平均値は 0.795 であり，JSQuAD は SQuAD と同様の課題を持つ. しかしながら, 日本語においてべンチマークが存在しないので, JSQuAD を先駆けとして本課題に対する研究が進むことを期待する.

## 5 おわりに

本論文では日本語における言語理解ベンチマーク JGLUE の構築について述べた. JGLUE は文章分類タスクである MARC-ja・JCoLA，文ペア分類タスクの JSTS・JNLI，QA タスクの JSQuAD・JCommonsenseQA の計 6 つのデータセットで構成しており，それぞれのデータセッ トの文は全て人手で機械翻訳を用いることなく作成した。さらに，JGLUE を用いて各種事前学習モデルの性能比較を行うとともに，構築したデータセットのデータ量や品質について考察 した. JGLUE は 2022 年 6 月よりhttps://github.com/yahoojapan/JGLUE で公開中である. JGLUE を用いて, 事前学習モデルの包括的な評価や, より難しい評価データの構築が進むこと を期待している。今後は GLGE (Liu et al. 2021)のような生成系タスクや FLEX (Bragg et al. 2021)のような Few-shot タスクのデータセットなどを構築する予定である.
_{\text {LARGE }}$ モデルでは学習がうまくできず, 出力のすべてが最多ラべルである neutral となった.

13 単語単位の分割には MeCab + IPAdic  を使用した.
}

## 謝 辞

本研究はヤフー株式会社と早稲田大学の共同研究により実施した. また本論文は以下の LREC 2022 の論文を拡張・翻訳したものである.

Kurihara, K., Kawahara, D., and Shibata, T. (2022). JGLUE: Japanese General Language Understanding Evaluation. In Proceedings of the 13th Language Resources and Evaluation Conference (LREC2022). European Language Resources Association (ELRA).

## 参考文献

Abdul-Mageed, M., Elmadany, A. A., and Nagoudi, E. M. B. (2021). "ARBERT \& MARBERT: Deep Bidirectional Transformers for Arabic." CoRR, abs/2101.01785.

Bowman, S. R., Angeli, G., Potts, C., and Manning, C. D. (2015). "A Large Annotated Corpus for Learning Natural Language Inference." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642, Lisbon, Portugal. Association for Computational Linguistics.

Bragg, J., Cohan, A., Lo, K., and Beltagy, I. (2021). "FLEX: Unifying Evaluation for Few-Shot NLP.” In Beygelzimer, A., Dauphin, Y., Liang, P., and Vaughan, J. W. (Eds.), Advances in Neural Information Processing Systems.

Cer, D., Diab, M., Agirre, E., Lopez-Gazpio, I., and Specia, L. (2017). "SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Crosslingual Focused Evaluation." In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), pp. 1-14. Association for Computational Linguistics.

Chen, X., Fang, H., Lin, T.-Y., Vedantam, R., Gupta, S., Dollar, P., and Zitnick, C. L. (2015). "Microsoft COCO Captions: Data Collection and Evaluation Server." CORR, abs/1504.00325.

Clark, J. H., Choi, E., Collins, M., Garrette, D., Kwiatkowski, T., Nikolaev, V., and Palomaki, J. (2020). "TyDi QA: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages." Transactions of the Association for Computational Linguistics, 8, pp. 454-470.

Conneau, A., Khandelwal, K., Goyal, N., Chaudhary, V., Wenzek, G., Guzmán, F., Grave, E., Ott, M., Zettlemoyer, L., and Stoyanov, V. (2020). "Unsupervised Cross-lingual Representation Learning at Scale." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online. Association for Computational Linguis-
tics.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota.

Hayashibe, Y. (2020). "Japanese Realistic Textual Entailment Corpus." In LREC2020, pp. 6827-6834, Marseille, France. European Language Resources Association.

Hu, J., Ruder, S., Siddhant, A., Neubig, G., Firat, O., and Johnson, M. (2020). "XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization." CORR, abs/2003.11080.

Kakwani, D., Kunchukuttan, A., Golla, S., N.C., G., Bhattacharyya, A., Khapra, M. M., and Kumar, P. (2020). "IndicNLPSuite: Monolingual Corpora, Evaluation Benchmarks and Pretrained Multilingual Language Models for Indian Languages." In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 4948-4961, Online.

Keung, P., Lu, Y., Szarvas, G., and Smith, N. A. (2020). "The Multilingual Amazon Reviews Corpus." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4563-4568, Online.

Le, H., Vial, L., Frej, J., Segonne, V., Coavoux, M., Lecouteux, B., Allauzen, A., Crabbé, B., Besacier, L., and Schwab, D. (2020). "FlauBERT: Unsupervised Language Model Pre-training for French." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 2479-2490, Marseille, France.

Liang, Y., Duan, N., Gong, Y., Wu, N., Guo, F., Qi, W., Gong, M., Shou, L., Jiang, D., Cao, G., Fan, X., Zhang, R., Agrawal, R., Cui, E., Wei, S., Bharti, T., Qiao, Y., Chen, J.-H., Wu, W., Liu, S., Yang, F., Campos, D., Majumder, R., and Zhou, M. (2020). "XGLUE: A New Benchmark Dataset for Cross-lingual Pre-training, Understanding and Generation." CORR, abs/2004.01401.

Liu, D., Yan, Y., Gong, Y., Qi, W., Zhang, H., Jiao, J., Chen, W., Fu, J., Shou, L., Gong, M., Wang, P., Chen, J., Jiang, D., Lv, J., Zhang, R., Wu, W., Zhou, M., and Duan, N. (2021). "GLGE: A New General Language Generation Evaluation Benchmark." In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 408-420, Online.

Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., and Stoyanov, V. (2019). "RoBERTa: A Robustly Optimized BERT Pretraining Approach." CORR, abs/1907.11692.

Marelli, M., Menini, S., Baroni, M., Bentivogli, L., Bernardi, R., and Zamparelli, R. (2014). "A SICK Cure for the Evaluation of Compositional Distributional Semantic Models." In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pp. 216-223, Reykjavik, Iceland. European Language Resources Association (ELRA).

Miyazaki, T. and Shimizu, N. (2016). "Cross-Lingual Image Caption Generation." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1780-1790.

Park, S., Moon, J., Kim, S., Cho, W. I., Han, J. Y., Park, J., Song, C., Kim, J., Song, Y., Oh, T., Lee, J., Oh, J., Lyu, S., Jeong, Y., Lee, I., Seo, S., Lee, D., Kim, H., Lee, M., Jang, S., Do, S., Kim, S., Lim, K., Lee, J., Park, K., Shin, J., Kim, S., Park, L., Oh, A., Ha, J.-W., and Cho, K. (2021). "KLUE: Korean Language Understanding Evaluation." In 35th Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2).

Poliak, A., Naradowsky, J., Haldar, A., Rudinger, R., and Van Durme, B. (2018). "Hypothesis Only Baselines in Natural Language Inference." In Proceedings of the 7th Joint Conference on Lexical and Computational Semantics, pp. 180-191, New Orleans, Louisiana. Association for Computational Linguistics.

Rajpurkar, P., Zhang, J., Lopyrev, K., and Liang, P. (2016). "SQuAD: 100,000+ Questions for Machine Comprehension of Text." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, Austin, Texas.

Rodriguez-Penagos, C., Armentano-Oller, C., Villegas, M., Melero, M., Gonzalez, A., de Gibert Bonet, O., and Pio, C. C. (2021). "The Catalan Language CLUB." CoRR, abs/2112.01894.

Ruder, S., Constant, N., Botha, J., Siddhant, A., Firat, O., Fu, J., Liu, P., Hu, J., Garrette, D., Neubig, G., and Johnson, M. (2021). "XTREME-R: Towards More Challenging and Nuanced Multilingual Evaluation." CORR, abs/2104.07412.

Seelawi, H., Tuffaha, I., Gzawi, M., Farhan, W., Talafha, B., Badawi, R., Sober, Z., Al-Dweik, O., Freihat, A. A., and Al-Natsheh, H. (2021). "ALUE: Arabic Language Understanding Evaluation." In Proceedings of the 6th Arabic Natural Language Processing Workshop, pp. 173-184, Kyiv, Ukraine (Virtual).

Sennrich, R., Haddow, B., and Birch, A. (2016). "Neural Machine Translation of Rare Words with Subword Units." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany.

染谷大河, 大関洋平 (2022). 日本語版 CoLA の構築. 言語処理学会第 28 回年次大会発表論文集,
pp. 1872-1877. [T. Someya and Y. Oseki (2022). Nihongoban CoLA no Kochiku. Proceedings of the 28th Annual Meeting of the Association for Natural Language Processing, pp. 18721877.].

Speer, R., Chin, J., and Havasi, C. (2017). "ConceptNet 5.5: An Open Multilingual Graph of General Knowledge." Proceedings of the AAAI Conference on Artificial Intelligence, 31 (1), pp. 4444-4451.

鈴木正敏, 松田耕史, 岡崎直観, 乾健太郎 (2018). 読解による解答可能性を付与した質問応答デー タセットの構築. 言語処理学会第 24 回年次大会発表論文集, pp. 702-705. [M. Suzuki et al. (2018). Dokkai niyoru Kaito Kanosei wo Fuyo shita Shitsumon Oto Detasetto no Kochiku. Proceedings of the 24th Annual Meeting of the Association for Natural Language Processing, pp. 702-705.].

Takahashi, N., Shibata, T., Kawahara, D., and Kurohashi, S. (2019). "Machine Comprehension Improves Domain-Specific Japanese Predicate-Argument Structure Analysis." In Proceedings of the 2nd Workshop on Machine Reading for Question Answering, pp. 98-104, Hong Kong, China.

Talmor, A., Herzig, J., Lourie, N., and Berant, J. (2019). "CommonsenseQA: A Question Answering Challenge Targeting Commonsense Knowledge." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4149-4158, Minneapolis, Minnesota.

Tsuchiya, M. (2018). "Performance Impact Caused by Hidden Bias of Training Data for Recognizing Textual Entailment." In Proceedings of the 11th International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan. European Language Resources Association (ELRA).

Wang, A., Pruksachatkun, Y., Nangia, N., Singh, A., Michael, J., Hill, F., Levy, O., and Bowman, S. (2019). "SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems." In Wallach, H., Larochelle, H., Beygelzimer, A., d'Alché-Buc, F., Fox, E., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc.

Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., and Bowman, S. (2018). "GLUE: A MultiTask Benchmark and Analysis Platform for Natural Language Understanding." In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium.

Williams, A., Nangia, N., and Bowman, S. (2018). "A Broad-Coverage Challenge Corpus for

Sentence Understanding through Inference." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1112-1122, New Orleans, Louisiana.

Xu, L., Hu, H., Zhang, X., Li, L., Cao, C., Li, Y., Xu, Y., Sun, K., Yu, D., Yu, C., Tian, Y., Dong, Q., Liu, W., Shi, B., Cui, Y., Li, J., Zeng, J., Wang, R., Xie, W., Li, Y., Patterson, Y., Tian, Z., Zhang, Y., Zhou, H., Liu, S., Zhao, Z., Zhao, Q., Yue, C., Zhang, X., Yang, Z., Richardson, K., and Lan, Z. (2020). "CLUE: A Chinese Language Understanding Evaluation Benchmark." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4762-4772, Barcelona, Spain (Online). International Committee on Computational Linguistics.

谷中瞳, 峯島宏次 (2021). JSICK: 日本語構成的推論・類似度データセットの構築. 人工知能学

会全国大会論文集, JSAI2021. 4J3GS6f02. [H. Yanaka and K. Mineshima (2021). JSICK:

Japanese Sentences Involving Compositional Knowledge Dataset. Proceedings of the Annual Conference of JSAI 2021. 4J3GS6f02.].

Yoshikoshi, T., Kawahara, D., and Kurohashi, S. (2020). "Multilingualization of a Natural Language Inference Dataset Using Machine Translation." In The Special Interest Group Technical Reports of IPSJ. in Japanese.

## 略歴

栗原健太郎：2021 年早稲田大学基幹理工学部情報通信学科卒業. 2022 年現在同大学院修士課程在学中.

河原 大輔：1997 年京都大学工学部電気工学第二学科卒業. 1999 年同大学院修士課程修了. 2002 年同大学院博士課程単位取得認定退学. 東京大学大学院情報理工学系研究科学術研究支援員, 独立行政法人情報通信研究機構主任研究員, 京都大学大学院情報学研究科准教授を経て, 2020 年より早稲田大学理工学術院教授. 自然言語処理, 知識処理の研究に従事. 博士 (情報学).

柴田 知秀：2007 年東京大学大学院情報理工学系研究科博士課程修了. 京都大学大学院情報学研究科助教, 特定講師を経て, 2019 年より Yahoo! JAPAN 研究所上席研究員. 専門は自然言語処理, 特に深層学習を利用した日本語基礎解析. 博士 (情報理工学).

$(2022$ 年 9 月 1 日 $\quad$ 受付 $)$
$(2022$ 年 10 月 18 日 $\quad$ 採録)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/