# 言い換えラティスを用いたテキスト生成の性能改善

西原大貴
大阪大学大学院情報科学研究科
nishihara.daiki@ist.osaka-u.ac.jp
荒瀬 由紀
大阪大学大学院情報科学研究科
arase@ist.osaka-u.ac.jp

## 1 はじめに

言語構造を機械学習に導入するために，機械翻訳 $[1,2]$ や文書要約 $[3,4]$ ，対話における感情認識 [5]，抽象的意味表現 [6-10] など多くの自然言語処理タスクにおいてグラフに基づく手法が提案され ている。例えば，有向非巡回グラフの一種であるラ ティスは，テキストを単純な単語の系列ではなく単語間の構造情報を持たせて表現でき，テキストの分類 $[11,12]$ や生成 $[13,14]$ に広く活用されている.

テキスト生成タスクでは，単語分割の曖昧性 $[13,14]$ や音声認識の曖昧性 [15-19] をラティスと して表現する Lattice2Seq モデルが，最も尤度の高い 1 つの系列を用いる Seq2Seq モデルよりも高い性能 を達成することが知られている。本研究では，新た に語彙選択の曖昧性に着目し，入力テキストとその 言い換えを用いてラティスを構築する。つまり，人間が書いたテキストの中の個々の表現は，必ずしも 「それでなくてはならない」表現とは限らないとい う仮説に基づき，入力テキストの語句の言い換えを 考慮し，入力テキストの情報を増やすことによって テキスト生成の性能改善を試みる。英日翻訳および 英語のスタイル変換における実験の結果，この手法 による BLEU [20] 値の顕著な改善を確認した。

## 2 提案手法

図 1 に示すように，本研究では言い換え辞書を用 いて入力テキストを言い換えラティスに変換する.各ノードが 1 つの単語を表すラティスを構築し，入力テキストとその複数の言い換えをコンパクトに表現する.エッジは接続する 2 つのノード（単語）の 繋がりを表しており，エッジの重みは言い換えとそ の前後の単語の繋がりの良さを表現する。このよう

\author{
梶原 智之 \\ 愛媛大学大学院理工学研究科 \\ kajiwara@cs.ehime-u.ac.jp \\ 藤田 篤 \\ 情報通信研究機構 \\ atsushi.fujita@nict.go.jp
}

図 1 提案手法の全体図

に，ラティス構造を用いることで複数の言い換えを 表現でき，訓練時と評価時の両方で大力テキストの 情報を増やすことが可能となる。

## 2.1 言い換えラティスの構築

入力の単語列 $s_{1} s_{2} \cdots s_{N}$ （ $N$ は単語数）に対し,次の手順でラティス $G=(V, E)$ を構築する.

1. ラティスの初期化 Sourceノードを文頭記号 $s_{0}$, Sinkノードを文末記号 $s_{N+1}$ とし, $s_{0} \rightarrow s_{1} \rightarrow$ $\cdots \rightarrow s_{N} \rightarrow s_{N+1}$ をパスとするグラフを作る. すなわち, $V=\bigcup_{i=0}^{N+1}\left.\{s_{i}\right.\}, E=\bigcup_{i=0}^{N}\left.\{\left(s_{i}, s_{i+1}\right)\right.\}$ と する. エッジ $(a, b)$ があるとき， $a$ を $b$ の親 ノード， $b$ を $a$ の子ノードと呼ぶ.

2. 言い換えパスの追加入力テキストに含ま れるあらゆる単語 $n$-gram $(n \in\{1,2, \cdots, N\})$ $s_{i} s_{i+1} \cdots s_{i+n-1}$ のそれぞれに対し，言い換え辞書を用いて言い換えを取得し，ラティスに加え る. すなわち, 個々の句の言い換え $p_{1} p_{2} \cdots p_{M}$ が得られた時， $V \cup \bigcup_{k=1}^{M}\left.\{p_{k}\right.\}$ を新たな $V$ とし， $E \cup\left.\{\left(s_{i-1}, p_{1}\right),\left(p_{M}, s_{i+n}\right)\right.\} \cup \bigcup_{k=1}^{M-1}\left.\{\left(p_{k}, p_{k+1}\right)\right.\}$新たな $E$ とする。

図 2 統合前のラティス（例 1)

3. 重複ノードの統合 ラティスに含まれるパス の集合が変化しないように，ノードの重複を統合する．共通の単語を含む句の言い換えを適用した場合に，ノードの重複が起こる. 重複す るノード集合は実際には同一の単語を参照す るため，これを統合する．ここで，ノード集合 $V^{\prime}(\subset V)$ の統合とは， $\forall v \in V^{\prime}$ を削除し， $v$ に接続していた全てのエッジと接続する新たなノー ドを 1 つ作ることを指す. 統合の大まかな手順 としては，まずラティスを前向きおよび後ろ向 きに探索し，統合するノード集合の候補を列挙 する。次に，候補の中から実際に統合する集合 を選び，ノードを統合する。

(a) 統合候補の列挙：ノードを Source ノード からトポロジカル順1) に探索し，各ノード の子ノードのうち，単語ラベルが同じでか つ親ノードの集合が同じであるノードの 集合を列挙する. ここで列挙されたノード 集合の集合 $M_{f}=\{\{v, w\} \mid \forall u \in V, \forall v, \forall w \in$ $C(u), v$ の単語ラベル $=w$ の単語ラベル $\}$ が，統合候補となる。なお， $C(u)$ は $u$ の子 ノードの集合である. 同様に逆順にも探索 し，統合候補 $M_{b}$ を得る．ただし探索の際 には，先に見つかったノード集合から頜欲 に統合されると仮定して残りの探索を進め るが，ここではまだ実際には統合しない.

(b) ノードの統合 : $M_{f}$ 中のある候補 $A$ の要素 が $M_{b}$ で網羅されている場合， $M_{b}$ を統合す れば $A$ の統合は必要ない. そこで統合が必要な, $M_{f}$ または $M_{b}$ の片方のみに含まれ るノード $D=\left.\{v \mid \forall M \in M_{f}, \forall v \in M\right.\} \triangle\{v \mid$ $\left.\forall M \in M_{b}, \forall v \in M\right.\}^{2}$ を求める.

1）有向非巡回グラフにおけるノードのソート手法にトポロジ カルソートがある。これは, 全ての異なる 2 つのノード $a, b$ に対し $a \neq b$ かつノード $a$ からノード $b$ へ到達可能ならば $a$ が $b$ より先にくるようにノードを並べる手法である．ここで はトポロジカルソートによる並べ方をトポロジカル順と呼ぶ. 2）記号 $\Delta$ は，対称差集合を表す.

図 3 統合後のラティス (例 1)

そして，統合候補 $M_{f}$ おひひ $M_{b}$ の 各要素に対して，Dを含むノード集合 $M_{f}^{\prime}=\left.\{M \mid \forall M \in M_{f}, \exists v \in M, v \in D\right.\}$ およ び $M_{b}^{\prime}=\left.\{M \mid \forall M \in M_{b}, \exists v \in M, v \in D\right.\}$ を 選び，これらのノード集合を統合する.

以下では統合処理の具体例を示す.

例 1 単語列 $a b c d$ と言い換 $え\{a b \rightarrow a$, $\mathrm{a} b \rightarrow \mathrm{b} \mathrm{a}, \mathrm{b} c \mathrm{~d} \rightarrow \mathrm{e} c \mathrm{~d}\}$ が与えられた場合を考 える. 手順 1 および 2 により, これらの入力から図 2 のラティスを得る. ここで，文頭記号を $<\mathrm{s}>$ ，文末記号をく/s>としている.

手順 3.(a) では， $v_{0}$ の子ノード $v_{1}, v_{6}, v_{7}$ のうち $v_{1}, v_{6}$ はどちらも単語ラベルが a であり, かつ親 ノードが $v_{0}$ であるため, $M_{f}=\left.\{\left.\{v_{1}, v_{6}\right.\}\right.\}$ が前向き の統合候補（赤囲み）と同定される．逆順でも同様 に, $M_{b}=\left.\{\left.\{v_{4}, v_{10}\right.\},\left.\{v_{3}, v_{9}\right.\},\left.\{v_{6}, v_{8}\right.\}\right.\}$ が後ろ向きの 統合候補（緑囲み）と同定される。

手順 3.(b) では， $M_{f}$ と $M_{b}$ のいずれか片方のみ に含まれるノードとして $D=\left.\{v_{1}, v_{4}, v_{10}, v_{3}, v_{9}, v_{8}\right.\}$ が挙げられる. $M_{f}$ や $M_{b}$ の要素は, 全て 1 つ以上の要素が $D$ に含まれるため, $M_{f}^{\prime}=\left.\{\left.\{v_{1}, v_{6}\right.\}\right.\}$, $M_{b}^{\prime}=\left.\{\left.\{v_{4}, v_{10}\right.\},\left.\{v_{3}, v_{9}\right.\},\left.\{v_{6}, v_{8}\right.\}\right.\}$ となる.

これらの $M_{f}^{\prime}$ おび $M_{b}^{\prime}$ の各要素を統合する と, 図 3 のラティスが得られる。 なお, 図 2 に 含まれる<s>からく/s>までの全てのパスの集合 は, $P=\{\langle\mathrm{s}\rangle \rightarrow \mathrm{a} \rightarrow \mathrm{e} \rightarrow \mathrm{c} \rightarrow \mathrm{d} \rightarrow\langle/ \mathrm{s}\rangle,\langle\mathrm{s}\rangle \rightarrow$ $\mathrm{a} \rightarrow \mathrm{b} \rightarrow \mathrm{c} \rightarrow \mathrm{d} \rightarrow\langle/ \mathrm{s}\rangle,\langle\mathrm{s}\rangle \rightarrow \mathrm{a} \rightarrow \mathrm{c} \rightarrow \mathrm{d} \rightarrow$ $\langle/ \mathrm{s}\rangle,\langle\mathrm{s}\rangle \rightarrow \mathrm{b} \rightarrow \mathrm{a} \rightarrow \mathrm{c} \rightarrow \mathrm{d} \rightarrow\langle/ \mathrm{s}\rangle\}$ であるが, 図 3 のように統合しても，Pに変化はない.

例 2 手順 3.(b) が必要となる例として,図 4 のラティスからは, $M_{f}=\left.\{\left.\{v_{3}, v_{5}\right.\}\right.\}$, $M_{b}=\left.\{\left.\{v_{2}, v_{3}\right.\},\left.\{v_{5}, v_{7}\right.\}\right.\}, D=\left.\{v_{2}, v_{7}\right.\}$ が得られる. $\left.\{v_{3}, v_{5}\right.\} \in M_{f}$ の要素 $v_{3}, v_{5}$ はどちらも $D$ に含まれな いため, $M_{f}^{\prime}=\{\}$ となる. $\left.\{v_{2}, v_{3}\right.\},\left.\{v_{5}, v_{7}\right.\} \in M_{b}$ はそれぞれ $v_{2}, v_{7}$ が $D$ に含まれるため, $M_{b}^{\prime}=\left.\{\left.\{v_{2}, v_{3}\right.\},\left.\{v_{5}, v_{7}\right.\}\right.\}$ となる. $M_{f}^{\prime}$ および $M_{b}^{\prime}$ の統合を行うと，図 5 が得られる.

図4統合前のラティス（例 2)

図 5 統合後のラティス（例 2)

図 6 全ての候補を統合する失敗例
この例において，手順 3.(b)を省略，つまり $M_{f}^{\prime}=M_{f}$ として $\left.\{v_{3}, v_{5}\right.\}$ も統合した場合, 図6のラ ティスが得られる. このとき, パス $v_{0} \rightarrow v_{2 \cdot 3} \rightarrow v_{4}$ とパス $v_{0} \rightarrow v_{3.5} \rightarrow v_{4}$ で表現される単語ラベルの 系列は同じであり，またパス $v_{0} \rightarrow v_{5.7} \rightarrow v_{8}$ とパス $v_{0} \rightarrow v_{3.5} \rightarrow v_{8}$ で表現される単語ラベルの系列も同 じであるため，ノード $v_{3.5}$ およびこれに接続する エッジを削除してもラティス全体のパス集合は図 5 の場合と変わらない. 手順 3.(b) で $M_{f}^{\prime}$ および $M_{b}^{\prime}$ を 考慮することによって，重複ノードを持たない図 5 のラティスが得られる。なお，重複ノードを避ける 理由については 2.3 節で説明する.

## 2.2 エッジの重み付け

言い換えとその前後の単語の繋がりの良さを表現 するため, 2.1 節で得られたラティス $G=(V, E)$ の 各エッジに，次の手順で重み付けを行う。

1. エッジ $\left(v_{j}, v_{k}\right) \in E$ で接続されている $2 \supset の$ ノードの単語ラベルの 2-gram 言語モデルスコ アを，当該エッジの重み $w_{j k}$ とする。

2. 各ノード $v_{j}$ の出力エッジの重みの和が 1 にな るよう，エッジの重みを正規化する．具体的に は，ノード $v_{j}$ の子ノード集合 $C\left(v_{j}\right)$ を考え，

$
w_{j k}^{\prime}=\frac{w_{j k}}{\sum_{v_{l} \in C\left(v_{j}\right)} w_{j l}}
$

をエッジ $\left(v_{j}, v_{k}\right)$ の新たな重みとする.

## 2.3 Lattice2Seq モデル

言い換えラティスを大力として, Sperberら [19]の Lattice2Seq モデルでテキストを生成する. Sperber らは, Transformer [21] の符号化器における Positional Encoding (PE) と自己注意機構を改変し, ラティス 構造の入力を可能にした. PEでは, 各ノードの位置を Sourceノードからの最長距離として定義した. また，単語間の接続関係およびエッジの重みを表現表 1 実験に使用したデータセット

するために，自己注意機構にマスクを導入した。

ラティスに重複ノードが含まれる場合, PE の位置が異なる場合がある. 例えば図 6 のラティスにお いて，Sourceノード $v_{0}$ の位置を 0 とすると，同一の 単語を参照する $v_{2.3}$ と $v_{3.5}$ の位置はそれぞれ 2 と 1 であり，異なる。このため位置を表す分散表現も異 なるが，同一の単語を参照するノード同士には同一 の分散表現を割り当てたい. そこで本研究では，重複ノードを含まない言い換えラティスを設計する。

## 3 実験

提案手法の有効性を確認するため，表 1 に示す 英日翻訳および英語のスタイル変換の実験を行っ た. 英日翻訳には，田中コーパズ3)の一部である small parallel enja ${ }^{4}$ を使用した. スタイル変換には, カジュアルな英文とフォーマルな英文からなるパラ レルコーパスである $\mathrm{GYAFC}^{5)}$ [22]を使用した。本実験では, Entertainment \& Music (E\&M) と Family \& Relationships (F\&R) の両方のドメインにおいて，カ ジュアルからフォーマルへの変換を行う．評価には sacreBLEU ${ }^{6)}[20]$ で求めた BLEU 値を用いた.

## 3.1 実験設定

前処理として, Moses ツールキット7) [23] の normalize-punctuation および tokenizer を使用し た. また，本実験で使用する言い換え辞書が小文字化されているため, Moses ツールキットの lowercase

3) http://www.edrdg.org/wiki/index.php/Tanaka_Corpus

4) https://github.com/odashi/small_parallel_enja

5）評価用データは，4つの参照文を持つマルチリファレンス.

6) https://github.com/mjpost/sacrebleu

7) https://github.com/moses-smt/mosesdecoder
表 2 英日翻訳とスタイル変換（E\&M・F\&R）の BLEU

を用いて，GYAFC の入力側も小文字化した. small parallel enja は，事前に単語分割および英語の小文字化が行われているため，それに従った。両タスク で，さらに Byte Pair Encoding [24]を用いて語彙サイ ズ 32,000 のサブワード化を行った.

言い換え辞書には，PPDB 2.08) [25] のうち，英語 の Lexical および Phrasal（S サイズ）を用いた.な お，収録されている語句は，事前に小文字化され ている.ノイズの影響を抑えるため, 適用する言 い換えは PPDB 2.0 におけるスコアが $\theta$ 以上のも のに限定した。このスコアの中央値は 5.3 のため, $\theta \in\{5.1,5.2,5.3,5.4,5.5\}$ の中から，検証用データ における性能が最も高い值を選択した。

2-gram 言語モデルの訓練には， $\mathrm{CC}-100^{9}$ ) の en を 用いた. CC-100 (en) は約 556 億トークンからなる英語の大規模な単一言語コーパスである. 前処理とし て Moses ツールキットの normalize-punctuation, tokenizerおよび lowercaseを適用し, $\operatorname{KenLM}^{10)}$ [26] によって 2-gram 言語モデルを訓練した。

Lattice2Seq モデルの実装には, JoeyNMT ${ }^{11)}$ [27]を 用いた. 符号化器および復号化器には 4 層 4 ヘッド の Transformer [21]を使用した. 埋込層および隠れ 層は 512 次元とし, 符号化器と復合化器で埋込層の 重みを共有した．埋込層および隠れ層のドロップア ウト率は 0.2 とした. 最適化には Adam [28] を使用 した. バッチサイズは 4096 で，英日翻訳タスクで は 200 回，スタイル変換タスクでは 400 回パラメー タを更新するごとに検証用データにおけるパープレ キシティを評価し, 連続で 32 回改善しなくなった ところで訓練を終了した. スケジューラには plateau を用い, 初期の学習率を 0.0002 とし, 連続で 8 回改善しなくなる毎に減衰率 0.7 を乗じた。

## 3.2 比較手法

Seq2Seq 言い換えを適用しないべースライン.

表 3 PPDB 2.0 スコアの閾値 $\theta$ と検証用データの BLEU

MultiSource 入力テキストを言い換えるが，ラティ スを構築しない比較手法. PPDB に基づく言い換 え生成器 ${ }^{12)}$ [29] によって $(r-1)(r \in\{2,3,4,5\})$ 種類の言い換えを取得し，入力文を含めた $r$ 文を連結して Seq2Seq モデルに入力する. $r$ は，検証用 データにおける性能が最も高い值を選択した。

## 3.3 実験結果

表 2 亿, 英日翻訳（翻訳）およびスタイル変換 （E\&M および F\&R）の BLEU 值を示す．英日翻訳で は，提案手法は Seq2Seq と比較して 2.12 ポイント， MultiSource と比較して 2.13 ポイント，それぞれ大幅に BLEUを改善した. スタイル変換でも，提案手法は Seq2Seq から 3.03 ポイント（E\&M）および 3.90 ポイント (F\&R), MultiSource から 4.12 ポイン ト（E\&M）および 1.38 ポイント（F\&R），それぞれ 大幅に BLEU を改善した.これらの実験結果から，言い換えラティスの有効性を確認できた。

表 3 に，使用する言い換えの閾値 $\theta$ を変化させた ときの検証用データにおける評価結果を示す。 $\theta$ が 小さいと低品質な言い換えを含んでしまい，大きい と有用な言い換えを使用できないことが分かる.

## 4 おわりに

本研究では，語彙選択の曖昧性をモデル化するた めに，入力テキストおよび言い換え辞書からラティ スを構築する手法を提案した. 英日翻訳およびスタ イル変換の実験を通じて，提案手法によって性能を 大幅に改善できることを示した.

今後は，語順の交替など語句の言い換え以外の言 い換えへの拡張を検討する。また，テキスト分類な ど他のタスクにおける有効性を検証する。

## 謝辞

本研究は JST（ACT-X，課題番号: JPMJAX1907) の支援を受けたものです.

12) https://cwiki.apache.org/confluence/pages/viewpage. action?pageId=65142863

## 参考文献

[1] Liangyou Li, Andy Way, and Qun Liu. Graph-Based Translation Via Graph Segmentation. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 97-107, 2016.

[2] Jasmijn Bastings, Ivan Titov, Wilker Aziz, Diego Marcheggiani, and Khalil Sima'an. Graph Convolutional Encoders for Syntaxaware Neural Machine Translation. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1957-1967, 2017.

[3] Danqing Wang, Pengfei Liu, Yining Zheng, Xipeng Qiu, and Xuanjing Huang. Heterogeneous Graph Neural Networks for Extractive Document Summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6209-6219, 2020.

[4] Wei Li, Xinyan Xiao, Jiachen Liu, Hua Wu, Haifeng Wang, and Junping Du. Leveraging Graph to Improve Abstractive MultiDocument Summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6232-6243, 2020.

[5] Taichi Ishiwatari, Yuki Yasuda, Taro Miyazaki, and Jun Goto. Relation-aware Graph Attention Networks with Relational Position Encodings for Emotion Recognition in Conversations. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 7360-7370, 2020.

[6] Jie Zhu, Junhui Li, Muhua Zhu, Longhua Qian, Min Zhang, and Guodong Zhou. Modeling Graph Structure in Transformer for Better AMR-to-Text Generation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 5459-5468, 2019.

[7] Shaowei Yao, Tianming Wang, and Xiaojun Wan. Heterogeneous Graph Transformer for Graph-to-Sequence Learning. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7145-7154, 2020.

[8] Linfeng Song, Ante Wang, Su Jinsong, Yue Zhang, Kun Xu, Yubin Ge, and Dong Yu. Structural Information Preserving for Graph-toText Generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7987-7998, 2020.

[9] Yanbin Zhao, Lu Chen, Zhi Chen, Ruisheng Cao, Su Zhu, and Kai Yu. Line Graph Enhanced AMR-to-Text Generation with MixOrder Graph Attention Networks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 732-741, 2020.

[10] Deng Cai and Wai Lam. AMR Parsing via GraphSequence Iterative Inference. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1290-1301, 2020.

[11] Yue Zhang and Jie Yang. Chinese NER Using Lattice LSTM. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 1554-1564, 2018.

[12] Xiaonan Li, Hang Yan, Xipeng Qiu, and Xuanjing Huang. FLAT: Chinese NER Using Flat-Lattice Transformer. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6836-6842, 2020.

[13] Jinsong Su, Zhixing Tan, Deyi Xiong, Rongrong Ji, Xiaodong Shi, and Yang Liu. Lattice-Based Recurrent Neural Network Encoders for Neural Machine Translation. In Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, pp. 3302-3308, 2017.

[14] Fengshun Xiao, Jiangtong Li, Hai Zhao, Rui Wang, and Kehai Chen. Lattice-Based Transformer Encoder for Neural Machine Translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3090-3097, 2019.

[15] Huda Khayrallah, Gaurav Kumar, Kevin Duh, Matt Post, and Philipp Koehn. Neural Lattice Search for Domain Adaptation in Machine Translation. In Proceedings of the The 8th International
Joint Conference on Natural Language Processing, pp. 20-25, 2017.

[16] Matthias Sperber, Graham Neubig, Jan Niehues, and Alex Waibel. Neural Lattice-to-Sequence Models for Uncertain Inputs. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1380-1389, 2017.

[17] Daniel Beck, Trevor Cohn, and Gholamreza Haffari. Neural Speech Translation using Lattice Transformations and Graph Networks. In Proceedings of the Thirteenth Workshop on Graph-Based Methods for Natural Language Processing, pp. 26-31, 2019.

[18] Pei Zhang, Boxing Chen, Niyu Ge, and Kai Fan. Lattice Transformer for Speech Translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 6475-6484, 2019.

[19] Matthias Sperber, Graham Neubig, Ngoc-Quan Pham, and Alex Waibel. Self-Attentional Models for Lattice Inputs. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1185-1197, 2019.

[20] Matt Post. A Call for Clarity in Reporting BLEU Scores. In Proceedings of the Third Conference on Machine Translation, $\mathrm{pp}$. 186-191, 2018.

[21] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Proceedings of the 31st Conference on Neural Information Processing Systems, pp. 5998-6008, 2017.

[22] Sudha Rao and Joel Tetreault. Dear Sir or Madam, May I Introduce the GYAFC Dataset: Corpus, Benchmarks and Metrics for Formality Style Transfer. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 129-140, 2018.

[23] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris CallisonBurch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open Source Toolkit for Statistical Machine Translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics, Demo and Poster session, pp. 177-180, 2007.

[24] Rico Sennrich, Haddow Barry, and Alexandra Birch. Neural Machine Translation of Rare Words with Subword Units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 1715-1725, 2016.

[25] Ellie Pavlick, Pushpendre Rastogi, Juri Ganitkevitch, Benjamin Van Durme, and Chris Callison-Burch. PPDB 2.0: Better paraphrase ranking, fine-grained entailment relations, word embeddings, and style classification. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, pp. 425-430, 2015.

[26] Kenneth Heafield. KenLM: Faster and Smaller Language Model Queries. In Proceedings of the 6th Workshop on Statistical Machine Translation, pp. 187-197, 2011.

[27] Julia Kreutzer, Jasmijn Bastings, and Stefan Riezler. Joey NMT: A Minimalist NMT Toolkit for Novices. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (System Demonstrations), pp. 109-114, 2019.

[28] Diederik P. Kingma and Jimmy Lei Ba. Adam: A Method for Stochastic Optimization. In Proceedings of the 3rd International Conference on Learning Representations, pp. 1-15, 2015.

[29] Courtney Napoles, Chris Callison-Burch, and Matt Post. Sentential Paraphrasing as Black-Box Machine Translation. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Demonstrations), pp. 62-66, 2016.


# ファクトチェック支援のための含意関係認識システム

栗原健太郎
早稲田大学基幹理工学部
kkurihara@akane.waseda.jp
}

河原大輔
早稲田大学基幹理工学部
dkw@waseda.jp

## 1 はじめに

2016 年アメリカ大統領選挙以降、フェイクニュー スという言葉が世界中に浸透している。フェイク ニュースとは虚偽の情報で作られたニュース、すなわ ちデマ情報を意味する言葉であり、フェイクニュース という言葉の拡大は、政治家の発言や現地メディアの 報道の真実性に関する議論を勃発させていた。しか し、それら発言や報道が、時として大統領選挙の結果 などの重要な局面で大きな影響を与えうる。故に、報道機関では不正のない正当な情報の提供のために、発信する情報の真実性の向上と外部の言説の適切な利用を目的としたファクトチェックの需要が高まって いる。

しかしファクトチェックは、昨今のニュースの情報源の膨大さ故に大変な労力を要する作業である。日本 においても、 $\mathrm{InFact}^{11}$ や毎日新聞などのジャーナルが 積極的なファクトチェックを行っているが、ファクト チェックの自動化が実現していない現状においては、 その作業は人手や時間のかかる作業となっている。本研究では、含意関係認識を活用したファクト チェック支援システムを考える。システムの概略図を 図 1(a) に示す。本システムは以下のフローで構成さ れる。

1. 疑義言説について関連する文書集合を取得

2. 疑義言説とその関連文書の含意関係認識

ここで疑義言説とは、ファクトチェックの対象となる 真実かどうか疑わしい言説である。本研究では疑義言説を 1 文で表せるものとする。

本研究では、上記フローのうち、2の含意関係認識 のステップ (図 1(b)) の実現を目指す。このステップは 疑義言説と関連文書との含意関係認識であるが、既存 の含意関係認識リソースは文ペアを対象にしており、 これらを利用することが難しい。そこで、本研究で は、このステップを実現するための要素技術として、

1) https://infact.press/疑義言説 1 文と関連文書中の 1 文との含意関係認識を 行うシステム (図 1(c))を構築する。このシステムを NLIFC (NLI system for FactCheck) と呼ぶ。

NLIFC の訓練・評価のためにデータセットを構築 した。これを FCSNLI (FactCheck Sentence NLI デー タセット) と呼ぶ。SNLI [1] や MultiNLI [2] などの 既存の含意関係認識データセットでは、文ペアが contradiction (矛盾)", “entailment (含意)”, “neutral (中立)” のいずれかのラベルをもち、2 文間には何らかの 関係性がある。しかし、ファクトチェックにおいて は、疑義言説と関連文書中の 1 文がまったく関係ない ことも多い。そこで、FCSNLI のラベルは、上記 3 ラ ベルに “unrelated (無関係)”を加えた 4 ラベルとする。訓練データは、既存 3 ラベルの識別性能向上を目的と して SNLI の和文翻訳データセットである JSNLI [3] “unrelated” ラベルの識別性能向上を目的としてニュー ス記事のコーパス、数値表現の識別性能向上を目的と した擬似データの 3 種類から構成する。評価データ は、ファクトチェック・イニシアティブ (FIJ) が提供 する疑義言説データベースに掲載されている疑義言説 を基に作成する。

NLIFC のモデルは文脈言語モデル BERT [4]を用い る。実験の結果、FCSNLI の 4 ラベルにおける F1 值 は 0.653、“unrelated”以外の 3 ラベルのみにおける F1 值は 0.538 となった。本研究における提案手法および 構築したデータセットは、含意関係認識システムを活用したファクトチェック支援の第一歩になると考えて いる。

## 2 関連研究

田上ら [5] はファクトチェックすべきニュース記事 (要検証記事) の探索支援に関する研究を行ってい る。具体的には、ファクトチェックをするべきである ニュース記事の選別のための端緒情報の特定、および 特定した端緒情報を利用したニュース記事の検証必要度のランク付けによる要検証記事の探索支援の仕組み を構築している。本稿では、このような仕組みによっ
(a)

図1ファクトチェック支援システムの概略図

て抽出された要検証記事のファクトチェックを図 1 の フローで支援することを想定し、疑義言説と関連文書 の含意関係認識システム構築の前段階として、疑義言説と関連文書中の文との含意関係認識システムを提案 する。

## 3 ファクトチェック支援のための 含意関係認識システム

ファクトチェック支援のための含意関係認識システ ムとして NLI system for FactCheck (NLIFC) を提案す る。本モデルは図 1(c)、すなわち疑義言説と関連文書中の文の 2 文間の含意関係認識を行うシステムであ る。本研究では、疑義言説は 1 文で表されるものを扱 うので疑義言説文、関連文書中の文をリソース文と 呼ぶ。

提案モデルは BERT (Bidirectional Encoder Representations from Transformers) [4] をべースとする。本研究 では BERT 日本語 Pretrained モデル [6] を使用し、ファ クトチェック支援への活用に向けた含意関係認識夕 スクで fine-tuning する。本タスクにおける fine-tuning のために、4 節で述べる FCSNLI 訓練データを用い る。入力はリソース文と疑義言説文の 2 文であり、出力ラベルは "contradiction", "entailment", "neutral", “unrelated”の 4 ラベルのいずれかである。

リソース文と疑義言説文は形態素解析器 Juman $++^{2)}$ で分かち書きを行ったトークン列を入力とし、リソー ス文と疑義言説文の間に [SEP] トークンを追加して いる。

## 4 ファクトチェック支援に向けた 含意関係認識データセットの構築

NLIFC の訓練および評価を行うデータセットとし て、FCSNLIを構築する。本データセットのラベル は 1 節で述べたとおり、“contradiction”, “entailment,

2) http://nlp.ist.i.kyoto-u.ac.jp/?JUMAN\%2B\%2B "neutral", "unrelated”の 4 ラベルとした。

## 4.1 訓練データ

FCSNLI 訓練データは以下の 3 つのデータセットか ら構成する。
- JSNLI (contradiction: 182964, entailment: 182583, neutral: 182467, unrelated: 0 )

・ unrelated データセット (contradiction: 0 , entailment: 0 , neutral: 0 , unrelated: 180000 )

$\cdot$ figure データセット (contradiction: 248556, entailment: 248556, neutral: 30360, unrelated: 0)

unrelated データセットは、JSNLI データに含まれてい ない unrelated ラベルのデータを追加する目的で構築 したデータセットである。データのペアのうち一方 は livedoor ニュースコーパスの文を使用し、他方に は JSNLI データセットの文を使用した。figure データ セットは、NLIFC の数値表現の認識性能向上を目的 として作成した擬似データセットである。リソース 文・疑義言説文の数値を変化させ、対応する正解ラべ ルを与えることで擬似データの生成を行った。figure データセットの例を付録の表 6 に示す。

## 4.2 評価データ

FCSNLI 評価データはファクトチェック・イニシ アティブ (FIJ) が提供する疑義言説データベース ClaimMonitor2 に掲載されている疑義言説のうち、 Infact や毎日新聞などのジャーナルが検証を行った言説を基に構築した。データセットの構築は以下の 2 点 に留意した上で人手で行った。

1. 人には容易に含意関係認識が可能となるような データセット

2. 既存の NLI データセットよりも平均文字数が多 くなるような文のペアのデータセット

これらは、既存の NLI データセットにおける以下の特

 &  \\

表 1 FCSNLI 評価データの例

表 $2 \mathrm{JSNLI} \cdot \mathrm{FCSNLI}$ における文の平均文字数

徴との差別化を図ったものである。

1. ペアに無関係のものがほとんど含まれていない。

2. 文の平均文字数が短い。

FCSNLI 評価データの例を表 1 に示す。データ数は 開発 (dev) データが 305 ペア、テスト (test) データが 200 ペアとなっており、ラベルの比率は unrelated: 既存 3 ラベル $=4: 1$ である。文の平均文字数は表 2 のように JSNLI と比較して多くなった。

## 5 含意関係認識システムの評価実験

## 5.1 実験設定

NLIFC の構築にあたって、BERT の学習の際のハイ パーパラメータを付録の表 7 に示す。また、NLIFC の性能評価のため、figure データセットを除いて fine-tuning したモデル (以下 NLIFC - figure) と、JSNLI データセットのみを用いて fine-tuning したモデル (以下 NLIFC - unrelated - figure) も同様の設定で構築する。

モデルの性能評価には FCSNLI と JSNLI の 2 つの評価データを使用した。このうち JSNLI は unrelated 以外の 3 ラベルで構成されているデータセットであるた め、NLIFC と NLIFC - unrelated - figure の比較を通じ て unrelated の学習が与える既存 3 ラベルの識別性能 への影響の調査が可能となる。精度の測定に関して、 JSNLI データセットについては正答率をスコアとし、 FCSNLI データセットについてはマイクロ平均により 算出した $\mathrm{F}$ 値をスコアとしており、3ラベルデータの スコア算出は unrelated データ以外について行った。

## 5.2 結果・考察

FCSNLI の全てのデータで訓練した結果を表 3 の NLIFC の行に示す。提案手法は JSNLI データセット において、精度 0.922 を達成しており、JSNLI モデル のスコアとわずか $0.5 \%$ 差であることから、unrelated の学習に伴う 3 ラベルの識別性能の低下は生じていな いことを示している。また、FCSNLI - test の 4 ラベル データで評価した結果は 3 ラベルデータで評価した 結果と比較して 11.5 ポイント上回っている。これは NLIFC の unrelated ラベルの識別性能が他の 3 ラベル の識別性能よりも性能が高いことを示している。一方で 3 ラベルデータにおける 0.538 というスコアは、 JSNLI タスクで高精度を達成している BERT も、ファ クトチェック支援などの実応用における含意関係認識 に関しては性能が不十分であることを示している。

NLIFC の予測例を表 4 に示す。(1)のようにリソー ス文の肯定表現と疑義言説の否定表現を正しく認識で きた例が得られた一方で、(2)(3) のように “entailment” と判定してしまう誤り例も得られた。これはリソース 文と疑義言説文とで一致する表現が多いことから否定表現の認識が適切に行われず“entailment” と判定し まったと考えられる。次に (4) のようにリソース文あ るいは疑義言説文が長文である場合の誤り例も多く見 られた。これは長文における文脈の考慮が正確にでき ていないことに起因していると考えられる。(5)はリ ソース文の前半の「新型コロナ〜論文が存在する一方で」と疑義言説文との含意関係は “entailment”、リ ソース文の後半の節「WHO は〜続いている。」と疑義言説文との含意関係は “contradiction” となるという問題であり、このような節ごとに異なる含意関係を持つ データに関しても誤った判定をしていた。

表 3 評価結果

 \\

表 4 NLIFC の予測例

 & リソース文 & 疑義言説文 \\

表 5 NLIFC と NLIFC - figure の予測例

## 5.3 Ablation 実験

NLIFC 構築において fine-tuning に用いた figure デー タセットが与えた影響に関して考える。NLIFC から figure データセットを除いて学習したモデル (NLIFC figure) の評価結果を表 5 に示す。開発データ同士での 比較ではほとんどスコアに差はなかったものの、テ ストデータにおいては NLIFC が NLIFC - figure のス コアを、4 ラベル評価・3 ラベル評価の両方で上回っ た。この結果は figure データセットの有効性を示して いる。各モデルの出力例を表 5 に示す。( I ) の他 3 件 の正解ラベルが “contradiction” の数値表現を含むデー タに関して同様に NLIFC のみが正解できた一方、(II ) の他 2 件の正解ラベルが “neutral” の数値表現を含 むデータに関しては NLIFC - figure のみが正解した。 これは、figure データセットの多くが “contradiction” と “entailment”の 2 つのラベルから構成されるため、 neutral の数値表現に関しての学習が不十分であるこ とが考えられる。

## 6 おわりに

本研究では、疑義言説と関連文書との含意関係認識 システム構築の前段階として、疑義言説と関連文書中 の文との含意関係認識システムとして NLIFC を提案 した。また、ファクトチェックへの応用を想定した含意関係認識システムの評価指標として FCSNLI データ セットを構築した。

実験結果は、FCSNLI タスクが JSNLI タスクと比較 して難易度の高いタスクであることを示している。一方で、提案手法は FCSNLI タスクで $\mathrm{F} 1$ 値 0.653 を達成 しており、今後のファクトチェック支援の第一歩にな ると考えている。今後は、MultiNLIなどのドメインの カバレッジが広い NLI データセットの和文翻訳デー タセットを用いた FCSNLI データセットの拡張によ る含意関係認識システムの性能向上を図るとともに、 データセット拡張の自動化も検討していく。また、図 1(b) のような疑義言説と複数文から成る関連文書の含意関係認識システムの実現が今後の課題である。

## 参考文献

[1]Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[2]Adina Williams, Nikita Nangia, and Samuel Bowman. A broad-coverage challenge corpus for sentence understanding through inference. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1112-1122, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[3]吉越卓見, 河原大輔, 黒橋禎夫. 機械翻訳を用いた自然言語推論データセットの多言語化. 研究報告自然言語処理 (NL), pp. $1-8,2020$.

[4]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5]田上翼, 朝野広樹, 楊井人文, 山下亮, 小宮篤史, 藤村厚夫, 町野明徳, 乾健太郎.ファクトチェックを必要とする ニュース記事の探索の支援. 言語処理学会 第 24 回年次大会, pp. $404-407,2018$.

[6]柴田知秀, 河原大輔, 黒橋禎夫. Bert による日本語構文解析の精度向上. 言語処理学会 第 25 回年次大会, pp. 205 208, 2019.

## A 付録

 & "山田君は 3 月 15 日に沖縄に滞在していた。 \\

表 6 figure データセットの例

表 7 ハイパーパラメータの設定値


# 会話文の常識推論の実現に向けた一考察 -関連性理論及びポライトネスによるローカル化をつうじて-

太田 博三
放送大学教養学部
9924658973@campus.ouj.ac.jp

## 1 はじめに

人工知能における推論は，ここ数年で技術的に飛躍したが，理論的には新たな進展はあまり見受けら れない. 本稿では，後者についてこれまでの動向を 検討し，新たな提案を行う.

物理的な人工知能の推論は, 最近の BERT や

RoBERTa などの派生モデルの発展をつうじて, 自然言語処理でも質問応答や情報検索で精度が向上し， pre-trained moel 及び masked model の構造は, 確立し たと言える.

また，言語資源としての国際的なタスクでも，主 にクラウドソーシングの活用により Wikidata から ConceptNet に至るまで進展が見込まれている.

しかし, このままでは会話文での常識推論の実現 は難しく, 当面, 書き言葉での常識推論に終止して いる。そこで，理論的側面での進展は決して多くな い.この理由は，各国の言語的特徴にあると考え,関連性理論やポライトネスの視点と常識推論に当て はめながら，家族内や親友同士などのプライベート 間，もしくはローカル環境における共有される推論 を，言語的な視点で大枠を示したい.

以下に本稿の大きな流れを示す. これまでの各推論の流れと課題を検討し, 先行研究も含めた議論と する. 1）記号論理学の推論から字義的推論（フレ 一ム）へ，2）字義的推論の書き言葉から Wikidata を加えた常識推論へ，3）国際的なベンチマーク・ タスクによる常識推論の資源について，ここでは含意関係認識のタスクは本当に含意を類推していたか, また，NN による言語モデル（BERT）への常識推論資源の適用は可能か，さらに時間的推論の活用法な ども考察する.

4 ）ローカル環境に向けて, 敬語コーパスの必要性 を吟味し, 書き言葉の常識推論から話し言葉の会話推論の課題や枠組みを提供する.

## 2 研究の背景と目的

以下の対話応答の実現に向けて, 次の 3 つを追求 することに始まる。

1) 言語学の語用論や敬語・ポライトネス,

2) 認知科学や脳科学でのプログラミング言語や アーキテクチャへの適用

3) BERT などの深層学習の適用とその可能性

妻:「コーヒー飲む？」

夫: 「明日、早いから」

この会話には，まず，(「おたし」や「あなた」、「飲 まないよ」）などの主語・述語などの省略が考えられ る (主に言語学の視点). 次に, 仕事があるなどのプ ライベートでの共通認識や暗黙知もしくは含意や推意が存在している (主に関連性理論)。さらに，コー ヒーを飲むとカフェイン効果で眠れないといった，一般常識(Commonsense)による推論が考えられる.

ここでは，記号論理や意味ネットワークやフレー ム理論，そしてスクリプトによる知識表現 (knowledge representation)による推論 (inference) が,認知科学(cognitive science)や脳科学の分野で研究さ れ，コンピューターのハードウェアやソフトウェア でのアーキテクチャやプログラム上で具現化され実用に至っていると想定する.

この上で，昨今のビッグデータやディープラーニ ング以降ではなく, 一昔前の人工知能の時代まで遡 り, 言語学の語用論やポライトネスなどの豊かな発想の諸説をヒントにしながら，再考察する。そして 深層学習に適用することを目的としている。認知科学や脳科学, 言語学などの諸科学をコンピューター サイエンスに結びつけられる確率は非常に少ない. Minsky の「心の社会」では 100 個のアイデアがある が, 実用化されているのはわずかである.おそらく, ここ数年の深層学習から構築し直すのが正解と思わ れるが, 今一度, Minsky のようなアイデアをかえり みて，敬意表現などの不足分を補い，国別のローカ

ル化に向けて, 言語資源としても, 整備されていな いなら，その分を本稿で検討する機会を設けられれ ばと考えている.

## 2.1 記号論理学による表現と推論

一昔前の知識表現には，一階述語論理で表されて いる（図 2.1）.ここでは, 同值や含意の除去を基礎 としており(スコーレム標準形), 堅い書き言葉が中心となっている.曖昧性や多義性の除去だけでなく,意味的な飛躍は許されないため, 非常に多くの述語論理表現が必要となる. 推論の中でも, ボトムアッ プの演繹的推論にとどまっている事も, 商業的には 真新しさがなく, 複雑でなければ至極当然な結果と 見なされてしまい，これが評価を落とした原因の一 つである. また, 記号推論とディープラーニングと を共存させる事では, そこで得る推論の進展は大き くはないと思われる.

$
\begin{array}{r}
\text { 私はコンピューターを持っている } \\
\quad \exists x(\text { have }(I, x) \wedge \operatorname{computer}(x))
\end{array}
$

すべての作家は書物が好きだ

$
\forall \mathrm{x}(\operatorname{writer}(\mathrm{x}) \rightarrow \exists \mathrm{y}(\operatorname{likes}(\mathrm{x}, \mathrm{y}) \wedge \text { documents }
$

図 2.1 一階述語論理式の例

## 2.2 フレーム理論・スクリプトによる推論

認知科学によるSOAR のアーキテクチャとフレー ムワークやスクリプトを用いた推論は, 記号論理学 に比べて, 次の 2 点において, 大きな飛躍を遂げた と言える.

1）自然言語の場面や時などを含む知識表現の実現

2） IF-THEN ルールと複数の同值の判断の実現

これらは，プロダクション・システムに代表され る.

ここで用いられている常識推論 (Commonsense Reasoning)は IF-THEN ルール内で定められているも のとして，限定的である事が，対話システムに向け て課題となっていた。

そこで, 自然言語処理では, 次のような含意関係 を含むか否かの会話の判別から着手する国際的な夕 スクが 2000 年代に行われた。

含意関係認識(Recognition of Textual Entailment; RTE)である. 含意関係認識とは 2 つの文を想定し，

る文(Hypothesis; $\mathrm{H}$ )を設定し, それらの関係が成立す るかを Yes,No $(0,1)$ で判定するタスクである. 例を次
に2つ示す.

例 1

$\mathrm{T}$ : 私は昨日、京都で晚御飯を食べた。

$\mathrm{H}$ : 私は昨日、京都にいた。

$\rightarrow$ 判定: Yes(含意である).

## 例 2

$\mathrm{T}$ : 川端康成は「雪国」などの作品でノーベル文学賞を受賞した。

$\mathrm{H}$ : 川端康成は「雪国」の著者である.

$\rightarrow$ 判定: Yes(含意である).

ここで注目すべきは, コンピューターが Wikipedia などの知識から判断されているのか，語句間で結び 付けられているためなのかである.

実装されているコードから, Wikipedia などによる 一般常識が直接的に働いているとは見受けられない。 むしろ Attention や BERT の Masked Model などの一文内，もしくは前後の文の語句との結びつきによる ものと考えるのが妥当かもしれないと考えられる。

## 2.3(言語I 画像)資源による常識推論

一般常識が必要と考えた MIT メディアラボでは Cyc や Open Mind Common Sense のプロジェクトが 発足し, これが現在の常識推論 (Commonsense Reasoning)に至っていると考えられる(図 2.3.1, 図 2.3.2).

ここでは, 固有表現認識の国際的なタスクの限界 とも言える内容になっている. 固有表現認識（NER： Named Entity Recognition）とは、テキストに出現す る人名や地名などの固有名詞や、日付や時間などの 数值表現を認識する知識抽出である. ここではエン ティティリンキングや関係抽出, そして共参照問題 の解決といった自然言語処理タスクを要素技術とし ており, Wikidata などを対象としている.この固有表現認識での常識推論が存在している.

図 2.3.1 (言語/画像)常識資源の流れ
今後に向けては，上記とは一線を画する形で，

ConceptNet や ATOMIC などのように, 因果関係に特化したものや時間的推論には十分に対応出来ておら ず，対話応答の QA 形式の実践に向けたタスクと言 える.

このような状況の上で, BERT の派生モデルが State-Of-Art を競い合っているとも言え，ある特定の データセットの分布に見合う言語モデルになりがち であり,依然としてスケール化も課題となっている。

しかし, これ以外に実現可能な方法がないのも事実である.

図 2.3.2(言語/画像)常識資源のボリューム

## 3 今後の常識推論に向けた提案

現行では, 書き言葉での常識推論に終始しており，対話応答などの会話の実現は今後の課題となってい る. ここで, 次の 2 つの要素が国別更には地域別の 単位で個別のタスクとして見込まれる。

1）敬意表現を用いた推論

2）母と娘との間の共通認識の推論

まず，1)は修辞句などの慣用表現がどのコーパス にも含まれておらず，国際的なタスク (ConceptNet など）でも除外されている.メタファーなどの表現 は認知言語学での捉え方や言語学寄りでの捉え方が いくつか存在し, 統一されていない.これと同様に,日本語の敬語や敬語を用いない敬意を表す表現も諸学説がある. 更に, コンピューターに対応させる事 となると, 実現可能であるかの疑問が生じるため,実行に移すのは, 書き言葉の常識推論の後と考えて いるかもしれない. 社会的に, もしくは産業的な優先順位では決して高くはないが，コンピューターに よる言語理解や言語認識技術は少子高齢社会での人間の代わりをするものと想定するならば，できる限 り, 早期に着手すべきとも考えられる. 1 人の高齢者を 4 人の若い人が支える時代は数年前の事である.

ここで2）に通じることであるが，Siri や Alexa $の$
ような話しかけは私達の日常会話の範囲内と言える が, 親子や友人同士の会話の内ではないとも言える. まずは慣用表現として対話応答で実現されることが 現実的と考えられ，その範疇を超えるものはその後 に続く位置づけと捉えられる。

## 3.1 敬意表現を用いた推論の展開

1)に関しては，言語学の語用論やポライトネス の研究がヒントになる. 次に示す, 生田(1997)の例文で考察してみる。

3.1.1 生田(1997)の例文

以下の状況のもとでの会話である. 注目すべきは, この例では，敬語や丁寧な表現は一切使われていな いことである.

状況は i と ii が考えられる。

( i )「B のペンが何本か目の前の机の上に置いて ある」

（ii）「相手 B が，既にペンを筆入れ，さらに鞄に しまっており，席を立とうとしている」

ここで，A3に，敬語を用いた表現を入れると不自然になる.敬語を用いてはいけない敬意表現である.

「A：あのう，恐れ入りますが，ちょっとペンをお 借りできますでしょうか.」

これらから, ポライトネス（語用論）と敬語は異 なるものだと言える. よって，ポライトネスの表現 がコーパスに取り入れられているか吟味する必要が ある。

更に，日本語の非母国語話者のコーパス（宇佐美 2020）から，1)の場面や友人間の分類の有用なアイ デアが得られる. 6 の参考情報で図 6.1.1 及び図 6.1.2 にその概要と分類木を示す.

## 3.2 関連性理論と推論の展開

2)に関しては，関連性理論に基づく推論の捉え方 が挙げられる. 次に示す, 松井(2001)の例文で考察 してみる。

3.2.1 松井(2001)の例文

以下のように，母と娘との会話であり，たった 1 対の対話でしかないが，これを推論するのには，単

なる文の省略を補完するだけでは十分である。この 会話を把握するはめには，母と娘との共通認識や背景の理解が必要になる。

背景は(カ)から(コ)にかけて記す。

(カ) 美佐の母親が今日自宅のベランダにふとんを 干していた。

(キ) 美佐は美佐の母親が今日自宅のベランダにふ とんを干していたと言った。

(ク) ふとんを干すのは, 宿泊する客が来る前の準備 である.

(ケ) 美佐の母親は真理のためにふとんを干してい た.

(コ) 美佐の母親は真理が明日泊まりに来るのを知 っている.

真理「お母さん、私が明日泊まりにゆくの知って るの?」

美佐「ふとんを干してたわ!

ここでは，表意と推意とに分けて捉えている．発話の言語情報はとそこで意図して伝達する命題は変 わらないとしている.敬語や丁寧な表現は一切使わ れていないことも, 日本独自の言語の表れとして注目し言語資源に取り入れるものと思われる.

## 4 おわりに

本稿は，敬語を使わない敬意表現やポライトネス への興味とそれを実装したいと思い描いてきた中で 得られた知見を基に考察したものである. 宇佐美ま ゆみ先生から学んだことが少なくない. また, 理論的で行き詰まりを感じていな中で, 小出誠二先生の

「Common Lisp」の講座(cl-aip)を受講させて頂き,常識推論(Commonsense Reasoning) $の$ 存在を知った.特に知識表現やオントロジーの人工知能の専門家か ら知る事が出来たことは有益であった. ここに感謝 の意を表したい. そして，ポライトネスや関連性理論を反映させた対話システムに組み込みたい.

## 5 参考文献

[1] 新田「知識と推論」, サイエンス社, 2002

[2] 加藤・土屋 「記号論理学」, 放送大学出版会, 2014

[3] 時本「あいまいな会話はなぜ成立するのか」, 岩波書店, 2020

[4] 坂原「日常言語の推論」, 東京大学出版会, 1985 [5] Minsky（竹林訳）「ミンスキー博士の脳の探検」,共立出版会， 2009

[6] 小出「Common Lisp と人工知能プログラミング

(下巻)」オントロノミー合同会社, 2017

[7] Peter Norvig Paradigms of Artificial Intelligence Programming: Case Studies in Common Lisp, Morgan Kaufmann, 1991

[8] 長尾「知識と推論」, 岩波書店, 1988

[9] 宇佐美まゆみ監修(2020)『BTSJ 日本語自然会話 コーパス (トランスクリプト・音声) 2020 年版』

[10] Recent Advances in Natural Language Inference: A Survey of Benchmarks, Resources, and Approaches Shane Storks, Qiaozi Gao, Joyce Y. Chai, 2019

[11] ブラウン \& レヴィンソン「ポライトネス 言語使用における、ある普遍現象」“Politeness： Some Universals in Language Usage” , 1987

[12] 生田「ポライトネスの理論」大修館書店, 『月刊言語』, pp.66-71, 1997

[13] 松井「関連性理論から見たポライトネス」巻 No. 3 特集 月刊言語, 2001

[14] 太田「言語学の語用論や配慮表現の先端技術へ の適用に関する一考察」第 23 回 SIG-AM 人工知能学会合同研究会, 2019

[15] 岩倉・関根「情報抽出・固有表現抽出のための 基礎知識」 近代科学社, 2020

[16] Maarten, Shwartz, Choi et .al., Introductory Tutorial: Commonsense Reasoning for Natural Language Processing, Computational Linguistics, pages 27-33, 2020

[17] Mueller Commonsense Reasoning: An Event Calculus Based Approach, Morgan Kaufmann, 2nd edition, 2014

[18] Lehman, Laird. A Gentle Introduction to Soar, an Architecture for Human Cognition, 2006

## 6 参考資料

## 6.1 対人関係の分類

図 6.1.1 は決定木で表わすと, 図 6.1.2 のようにな る。例文で考察してみる。対人関係またはプライベ 一ト間での分類案を示す(BTSJ 宇佐美 2020, 一部加筆修正した).

対話内容や上下関係, そしてポライトネス(ブラウ ン\&レヴィンソン, 1987)を基に考案したものである。

1 層目には, 初対面か, 複数回以上会ったことが ある親しい友人と分けた。「はじめまして...」は初対
面以外で使用することは考えられなく，仮に用いた 際は, 皮肉や嫌味の意味合いを生じることになるが， これは極めて例外的であると考えられる。

2 層目は, 男性同士, 女性同士, 男女混合で分け た，大きく話し方は変わるためである.

3 層目は, LINE などの SNS か, 雑談か, 主に仕事上の依頼の電話に分けられる。ここで, 敬語を力 バーするものとして，ビジネス場面での上司と部下 の上下関係と敬語や必ずしも敬語を使用しない敬意表現や配慮表現を指している。

最後に, 別のラインとして, 謝罪や隣人同士の挨拶は突発的に起こるものとして区分した.

図 6.1.1 プライベート間での分類案(BTSJ 宇佐美 2020)
Flame と Script の間に位置づけられており, Flame に常識が含まれているものとしてきた。これが知識表現が重たく感じられ限界があると言われた所以で あると考えられる。

しかし最近では, 別の枠組みとして, Wikipedia や Wikidata, ConceptNet などがビッグデータとして のコーパスとして独立して位置づけられるようにな り, Flame に掛かる負担は多少は減ったものと捉え ることができる．課題はどこでこれらの常識を統合 させるかであるが，ConceptNet 以降はニューラルネ ットワークの入力に用いられ, Flame は別になって いる。この場合は自然言語をべクトル空間での表現 しか表現できなくな るというトレードオ フの関係になってし まい，両立は困難と 考えられる.これが，記号論理学による推論とニューラルネッ トワークの両立は難 しいと, 2.1 節で述べ た理由である。

しかし Flame は自然言語の文章を柔軟 に表現し，ルールベ ースの IF-THEN に よるコードに落とし 込みやすいというメ リットを6.3で示す.常識推論(Commonsense Reasoning) の位置づけ

図 6.2.1 Commonsense Reasoning

の

位置づけ

図 6.1.2 対人関係の分類

## 6.2 常識推論(Commonsense Reasoning)

の位置づけ

従来の常識推論を図 6.2.1 に示す. 注目すべきは

## 6.3 自然言語のフレーム化とスクリプト化

図6.3.1 に示した文章を図6.3.2のようにフレーム 化する。 そして, 図 6.3.3 のように IF-THENルー ルで実行するのがプロダクション・システムである.

これらの図から，フレームが自然言語文の表現性 に優れているといった長所が挙げられる一方で,

Temporal Commonsense Reasoning といった時間的推論を 1 つのフレームで取り扱うのは難しいといった 弱点も挙げられる. ディープラーニングでは時間的推論は困難であることは言うまでもなく，折東案が しばしば求められる。

7 回表。 2 黄と 3 眰に走者がいます。 2 つのア ウトがあります。打者のマーティン・プラドは平均. 256 で、打順は 4 番目です。 3-2 で勝ちまし た。前回、1 人がこのバッターを打ちました。私 の目標はイニングを逃れることです。

図 6.3.1 自然言語の文章

イニング : 7 イニング目

回の表裏 : 上

塁上の走者 : 2 位と 3 位

アウトカウント : 2 つ

打者 : プラド

平均 : .287

右l 左打者 : 右利き

点数: 3-2

目標 : イニングを無失点で逃げきること

図 6.3.2 フレーム化

\# (a1)
If I perceive I am at the mound
then suggest a goal to get the batter o
ut
\# (a2)
If there is a goal in WM to get the bat
ter out
then suggest achieving it using the Pit
ch problem space with
an initial state having balls 0 and str

ikes $\theta$

\#(a3)

If using the Pitch problem space

and I perceive a new batter who is left /right handed

then add batter not out and batter left

/right-handed to the state

\#(a4)

If using the Pitch problem space and th e batter is not out

then suggest the throw-curve operator

## \# (a5)

If using the Pitch problem space and th e batter is not out

and the batter is left-handed

then suggest the throw-fast-ball operat or

\#(a6)

If both throw-fast-ball and throw-curve are suggested

then consider throw-curve to be better

than throw-fast-ball

\# (a7)

If the throw-curve operator has been se lected in the Pitch problem space

then send throw-curve to the motor syst em and add pitch thrown to the state

\# (a8)

If using the Pitch problem space and th e pitch was thrown and I perceive a hit then add pitch hit to the state

図 6.3.3 スクリプト化

## 6.4 敬語コーパスの作成

敬語は文法的に規則性が明確になっているため，総称としての敬意表現ではなく，敬語のみの抽出であ れば可能である.


# 『昭和話し言葉コーパス』の設計・構築と分析 (2)： コーパスの構成とメタデータの設計

丸山岳彦
専修大学・国立国語研究所
maruyama@isc.senshu-u.ac.jp
田嶋明日香
国立国語研究所
tajima-a@ninjal.ac.jp
}

西川賢哉
国立国語研究所
nishikawa@ninjal.ac.jp
小磯花絵
国立国語研究所
koiso@ninjal.ac.jp

## 1 はじめに

国立国語研究所共同研究プロジェクト「大規模日常会話コーパスに基づく話し言葉の多角的研究」で は、2016年度より『昭和話し言葉コーパス』(Showa Speech Corpus：SSC）の構築を進めてきた。『昭和話 し言葉コーパス』は、1950 年代から 1970 年代にか けて国立国語研究所で作成された録音資料（独話・会話）を再編し、話し言葉コーパスとして整備した ものである。これまで、2 2 回のモニター公開を経て、 2021 年 3 月にコーパス全体が完成し、Web 上のコー パス検索アプリケーション「中納言」で本公開さ れる。そこで本発表では、『昭和話し言葉コーパス』 の設計と構築について、特にコーパスの構成とメタ データの設計を中心に述べる。

## 2 『昭和話し言葉コーパス』開発の 経緯

『昭和話し言葉コーパス』は、1952 年以降、国立国語研究所で作成されてきた録音資料群を収集し、再編した音声コーパスである。1952 年から 1970 年代の初頭にかけて録音された自発的な日本語音声 （独話・会話）約 44 時間分を収録しており、20 世紀半ばから現代に至る過程において、日本語の話し言葉がどのように変化してきたかを探るための言語資源として活用することができる $[1,2,3]$ 。

1948 年に設立された国立国語研究所では、1952 年度に話し言葉を専門的に分析する「第 1 研究室」 を設置して以降、さまざまな場面における日常会話 や、講演会での講演、挨拶・祝辞などの独話を録音 してきた。可搬型のオープンリール型録音機（通称
デンスケ、おそらくM1 型）をさまざまな場所に持 ち込み、市井の人々の日常会話音声や、国立国語研究所員の講演音声を録音したことが、当時の報告書 や『国立国語研究所年報』などに記録されている。特に日常会話の録音作業では、「地区・場所・性・年齢・教養・相手」という条件を設定し、各条件をな るべく広くカバーするような収集方針が取られた。当時の年報には、以下のような記述がある [4]。

日常の談話が多く得られる場合として、衣食住・社交等の生活機能と家庭・近隣・職場・市町村などの生活環境との切点から具体的な談話の場面を収集し、また、性・年齢・教養・相手 (の数、未知既知) ・地域などになるべく片寄りの少いことを目安として、調査地点・調査対象・調査場面の予定表を作成した。（p.6）

言語研究を目的として、日常の多様な場面・多様 な話し手から偏りなく会話音声をサンプリングし たこの試みは、世界的に見ても極めて早い時期に行 われた話し言葉研究の実践例であったと言ってよ い。録音された音声資料は転記され（図 1)、さらに カード式のデータベースとして整理され（図2）、分析に使用された。この分析結果は、『談話語の実態』 (1955 年)、『話しことばの文型 (1)(2)』(1960、1963 年）などの報告書にまとめられている。

当時の音声を録音したオープンリールテープは、国立国語研究所の資料庫に保存されていたが、1990 年代以降、音源をDATテープにダビングし、デジタ ル化する作業が進められてきた。この音声データを 収集・再編し、『昭和話し言葉コーパス』として整備 することを着想したのが 2013 年ごろであり、2016 年度から本格的に構築を開始した。

図 1 録音音声の転記

図 2 カード式データベース

## 3 『昭和話し言葉コーパス』の構成

以下では、『昭和話し言葉コーパス』（以下、SSC と略記する）の構成について述べる。

## 3.1 音声の種類

SSC の収録音声は、「会話」「独話」に分かれる。

## 3.1.1 会話

1952 年度に「第 1 研究室」が設置された際、「現代話し言葉の実態と性質を明らかにする。材料として は主として日常談話による」という研究項目が定め られた [4]。この方針に基づき、日常談話の録音作業が本格的に開始されたのが、1952 年 9 月である。上述のように、会話参与者の性・年齢 - 教養 - 相手 (の数、未知既知) ・地域などを考慮して、バランス の取れたサンプリングが企図されたようである。こ れら初期の録音資料群は、1955 年の報告書『談話語 の実態』での分析に用いられた。また、1955 年以降 の録音資料群は、1960 年の報告書『話しことばの文型 (1) 対話資料による研究』に用いられた。

## 3.1.2 独話

SSC に収録された独話音声は、「国立国語研究所新庁舎開き記念講演会（1955 年)」「国立国語研究所創立 10 周年記念祝賀式（1959 年）」「国立国語研究所創立 20 周年記念講演会（1969 年)」など、当時の 国立国語研究所における講演会・講座や式典・祝賀式などで録音した講義、挨拶・祝辞が主なものであ る。1963 年の報告書『話しことばの文型 (2) 独話資料による研究』でも分析に利用されている。

$\mathrm{SSC}$ に収録された会話音声・独話音声の一覧を、稿末の「SSC 収録音声一覧」に掲載する。

## 3.2 収録時期

それぞれの収録時期は、以下の通りである。

会話: 1952 年 3 月（録音日不明） 1969 年 12 月 6 日独話: 1955 年 3 月 26 日 1974 年 6 月 5 日

## 3.3 転記テキスト

転記テキストは、新規に作成した。当時の転記テ キストを再利用することも検討したが、聞き取り困難な箇所が書き起こされていないケースや、数十秒 の範囲で転記が欠落しているケースも見られたこ とから、新規に作成する方がよいと判断した。録音 レベルが極めて低い音声や、ノイズが多く混入して いる音声など、録音状態の悪い音声データについて は、SSCへの収録対象から除外した。

過去の音声資料を新規に転記する作業には、多く の困難が生じた。ノイズの混入により音声が聞き取 りづらい場合だけでなく、現代ではあまり使われな い言い回しが特定できない場合も多かった。以下は その例である（これらは転記者たちの調査と努力に より、特定することができた)。

1. 次があったら○00ということを、常に考えて いるわけでありますが

2.これらを、え、○○0まするために、これも、 お一、西尾所長から先ほど、

3. 文化庁でも、おー、その当時、次の、お、国語課長の国松君か

また、当時の収録機器はマイク 1 本であるため、特に多人数会話で発話の重複が生じていると、発話内容の聞き取り、発話者の同定が極めて困難であっ た。これらの場合には、「聴取不能」「発話者不明」 と注釈を付与せざるを得なかった。

## 3.4 アノテーション

音声ファイルと転記テキストが準備できた段階 で、(1) 時間情報の付与、(2) 形態素解析、という 2 種のアノテーションを実施した。(1)については、 Praat 上で発話単位を区切り、各単位に時間情報を 付与した (図 3)。(2)については、形態素解析用辞書「現代話し言葉 UniDic（ver.3.0.1.1）」と MeCab （ver.0.996）により形態素解析を実施した。

図 3 時間情報の付与

また、会話音声の中で個人情報（人名、住所、電話番号など）が含まれるケースがあった。これらに ついては、該当する範囲の音声をマスキングし、転記テキストは伏字化の処理を行った。

## 3.5 データサイズ

SSC のデータサイズについて、表 1 に示す（最終的な公開時には数値が変動する可能性がある)。な お「話者数」は延べ人数を表す。

表 1 SSC のデータサイズ

## 3.6 メタデータ

通常、音声コーパスには「メタデータ」が付与さ れ、発話者や発話場面に関する情報などが提供され る。例えば、『日本語日常会話コーパス』(CEJC) で は、発話者の年齢、性別、出身地、居住地、職業、話者間の関係性や、会話場面の具体的な説明などが メタデータとして記録されており、当該の会話デー タの詳細が分かるように設計されている [5]。

SSC でも、可能な限り詳細なメタデータをコーパ スに付与することにした。かつ、特に会話音声につ いては、CEJC におけるメタデータとできる限り項目を揃えることにより、将来的にSSC と CEJC を連結して検索し、比較できるようにした。メタデータ の設計と構築については、次節で述べる。

## 4 メタデータの設計

## 4.1 メタデータの復元

SSC に含まれる録音資料のうち、独話について は、当時の国語研所員による講義音声や、関係者に よる祝辞のケースが大半である。これらについて は、『国立国語研究所年報』や昔の記録写真などか ら当時の録音状況を推定した結果、すべての録音資料について、録音日、録音場所、発話者情報（氏名、性別、当時の年齢、生年、出身地、職業、肩書)、発話状況（講演のイベント名、講演タイトル）などを 特定することができた。

一方、会話については、録音状況の割り出しが非常に困難であった。当初は、最初に入手した音声 データに付されていた録音資料の名称しか手掛かり がなかったため、詳細なメタデータの付与は不可能 であると思われた。しかしながら、国立国語研究所 の中央資料庫に保存されている当時の資料群を探索し、当時の資料群を隅から隅まで吟味した結果、 オープンリールの箱に記載されたメモ書き（図 4） や、当時のフェイスシートと思われるメモ（図 5） を発見することができた。

図4 オープンリールテープの箱に記されたメモ

図 5 当時のフェイスシート
図 4 からは、録音年月日と参与者の属性を知るこ とができる。図 5 のメモは、各発話者の属性（性、年齢、教養、職業、居住歴）が記載されたフェイス シートである。このような断片的に残された情報を 丁寧に拾い上げることにより、会話音声のメタデー タを整備した結果、当初の見通しからするとはるか に詳細な話者情報を付与することができた。それで も付与できなかった話者属性（年齢、居住地、出身地など）については、推測値を付与する（「壮年層」 など)、または「不明」とすることで対処した。

## 4.2 メタデータの設計

上記のように収集した情報を整理し、SSC のメタ データを設計した。ただし、独話音声と会話音声は メタデータの性質が大きく異なるため、個別に設計 することとした。各メタデータに含まれる情報を、以下に示す。

## 4.2.1 独話音声のメタデータ

・独話音声データ :

ファイル ID、録音年度、音声タイプ、タイト ル、話者、話者ID、話者年齢、イベントタイプ、 イベント名、録音年月日、録音場所

## ・話者情報データ：

話者 ID、話者名、性別、生年、出身地、職業

## 4.2.2 会話音声のメタデータ

・会話音声データ：

ファイル ID、タイトル、録音年度、会話形式、話者 ID、会話概要、録音場所、話者数

## ・話者情報データ：

話者 ID、話者名、性別、生年、出身地、居住地、職業、話者の関係性

このうち会話音声のメタデータは、前述の通り、『日本語日常会話コーパス』(CEJC) に付与されたメ タデータ（図 6）との連結可能性を考慮して設計し た。SSC と CEJC を同じ条件で検索することで、過去 60 年間に日常会話の音声がどのように変化して きたかを比較・対照することができるようになる。

図 6 CEJC のメタデータ

## 5 おわりに

古い録音資料を収集してコーパス化し、話し言葉 の経年変化を実証的に明らかにしょうとする試み は、相澤・金澤 (2016) などごく少数の事例しか存在 してこなかった [6]。『昭和話し言葉コーパス』は、設計当初から話し言葉の経年変化を探るためのコー パスとしての運用を想定しており、独話音声を『日本語話し言葉コーパス』(CSJ) と比較したり、会話音声を『日本語日常会話コーパス』(CEJC) と比較 したりすることによって、独話・会話の話し言葉が どのように変化してきたのかを分析することが可能 である。『昭和話し言葉コーパス』の完成によって、「通時音声コーパス」という新しいタイプの日本語 コーパスが利用可能になったと言えるだろう。

2020 年度をもって『昭和話し言葉コーパス』の 構築作業は完了し、その全体が 3 月に「中納言 ${ }^{1)} 」$ で公開される。利用登録をすれば、『昭和話し言葉 コーパス』をオンラインで検索することができ、そ の音声を聴取することもできる。ぜひご活用いただ きたい。

## 参考文献

[1] 丸山岳彦. 『昭和話し言葉コーパス』の計画と 展望一1950 年代の話し言葉研究小史一. 専修大学人文科学研究所月報, Vol. 282, pp. 39-55, 2016 . http://doi.org/10.34360/00007004.

[2] 丸山岳彦. 「通時音声コーパス」の可能性と 問題点—『昭和話し言葉コーパス』の構築と分析。言語資源活用ワークショップ 2019 発表論文集, pp. 402-412. 国立国語研究所, 2019. http: //doi.org/10.15084/00002592.

[3] 丸山岳彦. 『昭和話し言葉コーパス』の設計・構築と分析. 言語処理学会第 26 回年次大会発表論文集, pp. 629-632. 言語処理学会, 2020. https://www.anlp.jp/proceedings/annual_ meeting/2020/pdf_dir/F3-3.pdf.

[4] 国立国語研究所. 昭和 27 年度 国立国語研究所年報 4.国立国語研究所, 1952. http://id.nii.ac.jp/1328/ 00001164/.

[5] 小磯花絵, 天谷晴香, 居關友里子, 臼田泰如, 柏野和佳子, 川端良子, 田中弥生, 伝康晴, 西川賢哉。『日本語日常会話コーパス』モニター版の設計・評価・予備的分析. 国立国語研究所論集, Vol. 18, pp. 17-33, 2020. http://doi.org/10.15084/00002540.

[6] 相澤正夫, 金澤裕之（編）.SP 盤演説レコードがひら <日本語研究. 笠間書院, 2016.

## 『昭和話し言葉コーパス』収録音声一覧

## 独話音声
- 国立国語研究所新庁舎開き式典 (1955)
- 所長挨拶ならびに経過報告 (西尾実)、祝辞（松村謙三、茅誠司、村上俊亮、土岐善麿、柳田国男)
- 国立国語研究所新庁舎開き記念講演会 (1955)
- 講演者紹介 (平井昌夫) 、所長挨拶 (西尾実)、現代の敬語意識（柴田武）、三つの語彙調査（林大）
- 全国国語科指導主事研修講座（1957）
- 話し言葉の表現意図について（飯豊毅一）、方言調査法 (野元菊雄)、言語能力の発達 (芦沢節)、助詞 - 助動詞 (宮地裕)、文型 (永野賢)、国語教育（輿水実）、新聞文章研究法 (林四郎)
- 国立国語研究所創立 10 周年記念祝賀式 (1959)
- 所長挨拶 (西尾実)、祝辞 (橋本龍伍、兼重寛九郎、関口隆克、時枝誠記、山本有三)、来賓挨拶（土岐善麿、安倍能成、片山哲）
- 国立国語研究所創立 10 周年記念講演会 (1959)
- 所長挨拶 (西尾実)、明治初期の書きこと ば (山田巌)、現代語の標準（林大）、話し ことばの文法 (大石初太郎)、これからの 日本語（岩淵悦太郎）
- 第 17 回国立国語研究所創立記念講演会 (1965) - 所長挨拶（岩淵悦太郎）
- 第 18 回国立国語研究所創立記念講演会 (1966) - 所長挨拶（岩淵悦太郎）
- 第 19 回国立国語研究所創立記念講演会 (1967)
- 所長挨拶 (岩淵悦太郎)、講演者紹介（岩淵悦太郎)
- 見坊氏退官記念講演（1968）
- 見坊氏退官記念講演（見坊豪紀）
- 国立国語研究所創立 20 周年記念講演会 (1969)
- あいさつ-研究所と語彙研究-（岩淵悦太

郎)、語彙調査と基本語彙 (林四郎)、形容詞の意味の特質（西尾寅弥）
- 第 21 回国立国語研究所創立記念日 (1969)
- 講演者紹介（岩淵悦太郎）
- 第 24 回国立国語研究所創立記念日 (1972) - 所長挨拶（岩淵悦太郎）
- 国立国語研究所研究棟落成式典 (1974)
- 所長挨拶 (岩淵悦太郎)、来賓挨拶 (奥野誠亮)、祝辞 (藤沢達夫、安達健二、平塚益徳、久松潜一)

## 会話音声

$\mathrm{T}$ 社応接室

タクシー苦情

歯科大学生

麻布主婦

K 教育委員会雑談

鎌倉主婦

研究室の電話

養老院

少年工員

下町家族

3 人の青年

1960 年度 浅草噺

1969 年度その電気ごたつは安全ですか


# So-Called "Prepositions" in Somali are Not Prepositions: A Linguistic Approach for Somali POS tagging

Chihiro Taguchi
Taro Watanabe
Nara Institute of Science and Technology
\{taguchi.chihiro.td0, taro\}@is.naist.jp

## 1 Introduction

In Somali, the four lexemes $u, k u, k a, l a$ (UKKLS henceforth) are called in various terminologies such as "prepositions"[1, 2], "prepositional indicators”[3], "adpositional verbal particles"[4], and "verbal adpositions"[5]. However, as this polyonymy indicates, the morphosyntactic status of the lexemes is still controversial. This study first demonstrates that the lexemes are neither prepositions nor adpositions, but are either clitics, verbal prefixes, or particles that function as an applicative[6] to augment an extra argument. Particularly, in view of Universal POS tags[7], we argue that they should be categorized in particles (PART). Then, we propose a solution to implement the Somali Universal Dependencies (UD) by practically applying our POS tagging rules.

## 2 Overview

## 2.1 Overview of the Language

Somali (< Cushitic < Afroasiatic) is spoken in the Horn of Africa by approximately 15 million people[8]. The basic word order is Subject-Object-Verb (SOV), but it may change with respect to the information structure. In contrast, the order of verbal components is rigid. The nominal morphology distinguishes number (singular and plural), gender (masculine and feminine), case (subject and absolute), and definiteness (definite and indefinite). The verbal morphology includes inflections by person, number, and gender of the subject, tense (present and past), aspect (unmarked and continuous), mood (indicative, subjunctive, and imperative), polarity (positive and negative), and focus. As for the information structure, focus plays a significant role in Somali. Auxiliaries ayaa and baa puts focus on the preceding noun (cf. $(1,2)$ ), and waxa put focus on the noun after the verb phrase (cf. (3)). When there is no focus on a particular noun, the auxiliary waa is selected (cf. (4)). Note that the long vowel - $a a$ in the auxiliaries is changed to $-u и$ when succeeded by the third person masculine subject marker.

(1)Maxamed (baa|ayaa)bariis cunay. Mohammed FOC rice ate

"Mohammed ate rice."

(2)Maxamed bariis (bиu|ayиu) cunay.

Mohammed rice FOC:3SG.M ate.

"Mohammed ate rice."

(3)Bariis waxa cunay Maxamed. rice FOC ate Mohammed

"Mohammed ate rice."

(4)Maxamed bariis wиu cunay.

Mohammed rice AUX:3SG.M ate

"Mohammed ate rice."

## $2.2 u, k u, k a, l a$

Sentences below (5)-(7) are examples with $k a$ "from". They basically share the same meaning, only differing in the word order. As apparent in the ungrammaticality of (8), the lexeme $k a$ and the verb yimi must not be intervened.

(5)Maxamed baaka yimi Soomaaliya.

Mohammed FOC from came Somalia

(6)Maxamed baa Soomaaliya ka yimi. Mohammed FOC Somalia from came

(7)Soomaaliya Maxamed baa ka yimi. Somalia Mohammed FOC from came (1)-(3): "Mohammed came from Somalia."

(8)*Maxamed baa ka Soomaaliya yimi. Mohammed FOC from Somalia came intended: "Mohammed came from Somalia."

The other UKKLs, $u$ "for", $k u$ "in", la "with", also syntactically behave similarly to $k a$. Below are examples containing them.

(9)Cali shaah $\boldsymbol{u}$ samee!

Ali tea for make

"Make tea for Ali!"

(10)Caano koob-ka ku shub!

milk cup-DET in pour

"Pour milk in the cup!"

(11)Maxamed waa-n la joogay.

Mohammed AUX-1SG with stayed

"I stayed with Mohammed."

Interestingly, the four UKKLS can be combined with each other (12) as well as with object pronouns. In addition, because of the relatively free word order, ambiguities may occur as exemplified in (13). This kind of ambiguities is in most cases resolved by contextual information.

(12)Maxamed guri-ga baa-n ku-la kulmay.

Mohammed house-DET FOC-1SG in-with met

"I met with Mohammed in the house."

(13)Cali baa Maxamed $i-u \quad$ dilay.

Ali FOC Mohammed me-for hit

"Ali hit (Mohammed for me | me for Mohammed)."

## 3 Linguistic Analysis of UKKLS

This section discusses the grammatical status of UKKLS in more detail, chiefly to show that UKKLS are not adpositions and that they function as applicatives. In addition, in view of application to the Universal POS Tagging, we argue that it is suitable for the UD to analyze UKKLs as particles (PART).

## 3.1 Why UKKLS are not adpositions

Adpositions roughly comprise two subcategories: prepositions and postpositions. Adpositions form an ad-

Figure 1 Crossing tree positional phrase when combined with a nominal phrase (NP) adjacent to it, and prepositions specify that the NP succeeds them. In other words, in an adpositional phrase, an adposition is the head and the adjacent NP is the dependent.

In this sense, sentences (5)-(8) clearly show that they are not adpositions, because $k a$ does not necessarily come next to the dependent. If we assume that they are adpositions, we will end up allowing for dependency trees in which branches cross arbitrarily. Figure 1 is an outline showing crossing branches in (10). Therefore, it is inappropriate to deem them as adpositions.

## 3.2 Why they are applicatives

Applicative is a grammatical voice by which an oblique argument is promoted to a core argument of the predicate. (14) is an example of the applicative construction reported in Rombo ( $<$ Chaga $<$ Bantu)[9]. As English never allows "child" to be an object in this case, the argument mwaná "child" is a semantically marginal argument to which is assigned a benefactive semantic role. However, mwaná "child" is treated as an object because of the applicativization in the verb.

## (14)Ksali é-le-m'-kor-i-a mwaná klálo.

Kisali SM.3SG-PST-OM.3sG-cook-APPL-F child food

"Kisali cooked food for her child."

In Somali, UKKLS are applicatives because of the following two facts. First, UKKL is a verbal component that cannot be separated from the main predicate as shown in (13). Second, UKKL augments a new object that is semantically marginal; in particular, $u, k u, k a$, and $l a$ promote benefactive ("for"), locative ("in"), source ("from"), and comitative ("with") arguments to objects respectively. Without using any UKKLS, yimi "came" is a monovalent predicate that only takes a subject (agent). Adding $k a$ to yimi changes it to a divalent predicate requiring an additional object pertain-

Figure 2 Uncrossing tree

Table 1 An example of POS tagging (1)

Figure 3 An example of dependency tree (1)

ing to source. Since Somali is a pro-drop language, even when the augmented object is not pronounced as in (16), the sentence is interpreted as entailing implicit information of source.

(15)Maxamed baa yimi.

Mohammed FOC came

"Mohammed came."

(16)Maxamed baaka yimi.

Mohammed FOC from came

"Mohammed came from there."

In formal semantics, the structural difference between yimi and ka yimi is represented in (17) and (18). Combining multiple UKKLS adds more arguments as in (19).

(17) $\llbracket y i m i \rrbracket=\lambda x . \operatorname{come}(x)$

(18) $\llbracket k$ a yimi $\rrbracket=\lambda y \lambda x$.come-from $(x, y)$

(19) $\llbracket$ kala yimi $\rrbracket=\lambda z \lambda y \lambda x$.come-from-with $(x, y, z)$

This representation solves the problem of dependency mentioned in the previous subsection, and allows for word order scrambling seen in (1). Taking these semantic representations into account, the ideal branching of (1) would look like Figure 2.

## 3.3 Why they are particles

Having demonstrated that UKKLS are at least not adpositions and that they derive applicative construction, it is still unclear as to which part-of-speech they are covered in. Given the strong combination of UKKLS and predicates, there are three possibilities: verbal prefix, clitic, and particle. For the sake of compatibility with UD, we argue that UKKLS are particles (PART).

Formally distinguishing prefixes, clitics, and particles is a disputable matter. As Zwicky noted that so-called particles are in fact either clitics or affixes or something that are difficult to be labelled[10], particles can even be an unnecessary label. In theoretical linguistics, it is possible, or even suitable, to assume that UKKLS are verbal prefixes in speakers' linguistic knowledge. When a morpheme is an affix, it is attached to its stem and cannot appear on its own. Even though they look like an independent lexeme in the orthography, they are phonologically pronounced together with the succeeding predicate.

However, this interpretation would require text-based NLP to prepare some additional pre-processings. In light of the definition of particles (PART) given by $\mathrm{UD}^{1)}$, it is more reasonable for UD to label them as particles.

## 4 Universal POS Tags and Dependency Tree

UD is an ongoing project to establish a universal framework for annotation of grammatical information in different languages. As of 2020 it covers over 120 languages, and more UD languages are being prepared. At the time of this writing, Somali is not included in the list of UD languages. Given this situation, this section briefly dis-

1) "Particles are function words that must be associated with another word or phrase to impart meaning and that do not satisfy definitions of other universal parts of speech"[7].

Table 2 An example of POS tagging (2)

Figure 4 An example of dependency tree (2)

cusses what POS tags, features, and syntactic relations are needed for the establishment of the Somali UD based on the observation we have made in the previous sections.

As we have already seen that UKKLS should be categorized in PART, adposition (ADP) is no longer necessary for the Somali POS tags. A practical example of POS tagging is shown in Table $1^{2}$. Based on this POS tagging, Figure 3 is an instance of a manually drawn dependency tree. The syntactic relation binding the predicate and the particle $k u$ is assumed to be aux (auxiliary). The feature of the particle is specified as PartType=Loc, as it adds an object with a locative semantic role.

Specifying the morphological features in this way resolves the morphological complexity of Somali; for example, in (13), the morphemes $i$ "me" and $u$ "for" are combined into one token even though they do not necessarily share a direct syntactic dependency. An example of this kind of particle combination is shown in Table 2, where idinkula is a combination of idin "you (plural)", $k u$ "in", and la "with", and its corresponding dependency tree in Figure 4. Since applicativization and object pronouns are specified in the features, the dependency trees correctly predict the desired interpretation.

These dependency trees contain two novel features: Valency and Focus. Valency, requiring the number of core arguments as its value, is a feature proposed by Senuma \& Aizawa for a morphological analysis of Ainu, which also has applicative construction[12]. The fact that

2) The sample sentences in Tables 1 and 2 were collected from Orwin (1995)[11] the valency is augmented to 3 (subject, locative object, comitative object) is represented by this feature. Focus is a language-specific feature for Somali. It takes a boolean value, and when Focus=True, the token puts a focus on a certain phrase which is uniquely determined syntactically.

## 5 Conclusion

This study clarified that $u, k u, k a$, and $l a$ in Somali are neither prepositions nor adpositions, but are functional morphemes for applicativization, each playing a role of augmenting a new core argument with different semantic roles. While verbal prefixes might be a suitable categorization for UKKLS from the viewpoint of theoretical linguistics, PART is reasonable for the UD POS tagging for the sake of consistency. In addition, we made a tentative proposal for practical POS tagging and dependency parsing of Somali by defining POS tag sets, features, and syntactic relations. This study established a ground for the Somali UD, since it is indispensable to examine the grammar of low-resource languages before starting to apply NLP to them.

## 6 Future Work

How to resolve the ambiguity of grammatical functions mentioned in (13) still remains unclear. In human's natural language understanding, this kind of ambiguity is usually resolved by contextual information. Embedding knowledge graph information or hypernym-hyponym relations might improve the accuracy for machine to resolve the ambiguity.

## References

[1] Annarita Puglielli. Sintassi della lingua somala. Ministero AA. EE., 1981.

[2] John I. Saeed. Somali reference grammar (2nd ed.). Dunwoody Press, second edition, 1993.

[3] Catherine El-Solami-Mewis. Lehrbuch des Somali. Verlag Enzyklopädie, 1987.

[4] Abdalla O. Mansur. Le lingue Cuscitiche e il Somalo. Ministero AA. EE., 1988.

[5] John I. Saeed. Somali. John Benjamins B.V., 1999.

[6] David A. Peterson. Applicative constructions. Oxford University Press, 2007.

[7] Universal POS tags, 2020. universaldependencies.org/u/pos/.

[8] Ethnologue, 2019.

[9] Daisuke Shinagawa. A grammatical sketch of ChagaRombo (Bantu E623). Research Institute for Languages and Cultures of Asia and Africa, 2014.

[10] Arnold M. Zwicky. Clitics and particles. Language, 63(2):283-305, 1985

[11] Martin Orwin. Colloquial Somali. Routledge, 1995.

[12] Hajime Senuma and Akiko Aizawa. Toward Universal Dependencies for Ainu. In Proceedings of the NoDaLiDa 2017 Workshop on Universal Dependencies (UDW 2017), pages 133-139, Gothenburg, Sweden, May 2017. Association for Computational Linguistics.

## A Appendix: Abbreviations
- APPL: applicative
- AUX: auxiliary
- DET: determiner
- $\mathrm{F}$ : final suffix
- FOC: focus
- M: masculine
- OM: object marker
- PST: past
- SG: singular
- SM: subject marker


# None the wiser? Adding "None" Mitigates Superficial Cues in Multiple-Choice Benchmarks

Pride Kavumba ${ }^{1,2}$
Ana Brassard ${ }^{2,1}$
Benjamin Heinzerling ${ }^{2,1}$
Naoya Inoue ${ }^{1,2,} \quad$ Kentaro Inui $^{1,2}$
${ }^{1}$ Tohoku University ${ }^{2}$ RIKEN Center for Advanced Intelligence Project (AIP)
\{pkavumba, naoya-i, inui\} @ecei.tohoku.ac.jp
\{ana.brassard, benjamin.heinzerling\} ariken.jp

## 1 Introduction

It is now established that many benchmarks of natural language understanding contain superficial cues, which enable models to solve the task using shortcuts that do not generalize to datasets without these shortcuts $[3,13,7,8$, $14,4]$.

Previous works have employed two main approaches to mitigate superficial cues. The first approach is to discard instances that contain superficial cues using language models (LMs). For example, Zellers et al. [15] create SWAG using adversarial filtering which removes instances that can be easily solved by existing finetuned LMs. Zellers et al. [16] then created HellaSwag, a more challenging dataset than SWAG [15], using adversarial filtering with BERT [2]. However, this approach may reduce question diversity, as Gururangan et al. [3] notes on SNLI, and creates distributional bias [16] that can be exploited by other models not used in the filtering process. SWAG has been shown to contain superficial cues [14], and our analysis reveals superficial cues in HellaSwag: ALBERT [5] trained on only the answers achieved 76.2\% accuracy.

The second approach is to efficiently reuse existing benchmarks and to change the training process of models. For example, Poliak et al. [9] use adversarial training to unlearn hypothesis-only bias on SNLI [1] and Stacey et al. [12] extends this approach by using an ensemble of adversaries. Schuster et al. [11] propose to weigh training instances based on the difficulty in the training objective. However, this approach requires solving additional optimization problems.

Here, we introduce AddNone-an automatic method that reuses the full existing dataset, does not rely on LMs, and does not change the training process-for mitigating superficial cues in multiple-choice benchmarks. Specifically, for each multiple-choice question, consisting of a context and multiple choices (Fig. 1, A), we introduce "None of the above" (Fig. 1, B, Q1). We then duplicate

A) Original question

B) Add "none of the above"

Figure 1: A question containing a superficial cue (highlighted) that allows models to easily pick the correct answer (bold) (A). AddNone adds None of the above (B, Q1) and automatically generates a twin question with the same choices but a different context that makes None of the above the correct answer (B, Q2). The superficial cue is now less effective since it appears both as correct and incorrect.

the question and change the correct answer to "None of the above" by replacing the context (Fig. 1, B, Q2). This creates twin questions with the same choices but different contexts and correct answer, forcing models to consider the context while solving them. Our approach does not discard any instances, and modifying the data is computationally cheap and fully automated. Additionally, we do not have to modify the models and their training process except having the extra choice.

In summary, our contributions are as follows:

- We show that the answers in Commonsense-Explanation (Cs-Ex), HellaSwag and SWAG, commonly used commonsense benchmarks, contain superficial cues ( $\$ 2$ ), and that training on these datasets leads to poor generalization on datasets without superficial cues ( $\S 4$ );

- We present AddNone, a method for mitigating superficial cues in multiple-choice benchmarks, and apply it to these benchmarks ( $\S 3)$;

- We empirically show that training on AddNone-modified datasets encourages models to assess the association be-
tween a context and its choices, leading to better generalization on dataset without superficial cues (§4).

## 2 Cues in Cs-Ex, HellaSwag, and SWAG

In this section, we show that commonly used commonsense datasets, Cs-Ex, HellaSwag and SWAG, contain easy-to-exploit superficial cues. ${ }^{1}$ All three benchmarks are multiple-choice tasks in which the model is required to choose the correct ending for a given incomplete sentence (SWAG, HellaSwag) or the reason why a given statement is false (Cs-Ex). The authors of Cs-Ex aimed to mitigate superficial cues by employing strict guidelines for crowd workers, while the authors of SWAG and HellaSwag made use of LM-based adversarial filtering. SWAG and HellaSwag should not be solvable by an LM in an answer-only setting, namely, by an LSTM-LM trained on the Book Corpus for SWAG, and by BERT for HellaSwag.

## 2.1 Input Ablation

We first ablate the input, i.e., we provide models with contextless questions (answers only). This setup follows similar ablations by Gururangan et al. [3], McCoy et al. [7] and is designed to reveal whether the answers contain superficial cues that allow models to solve the task by taking shortcuts, such as relying on different token distributions in correct and wrong answers.

We finetune BERT, RoBERTa [6], and ALBERT in this contextless setting. The high accuracy of BERT (87.8\%), RoBERTa (85.3\%) and ALBERT (85.7\%) on Cs-Ex shows that the strict crowdsourcing protocol for creating this dataset was not effective, since even without the context, models are still able to identify the correct answer considerably above random chance (Table 1). On SWAG, model accuracies are similarly high, while on HellaSwag, the effect of using BERT for adversarial filtering is clearly visible in BERT's accuracy (37.0\%). However, this filtering is not effective for RoBERTa (70.5\%) and ALBERT $(76.2 \%){ }^{2}$ These results show that the answers of Cs-Ex, HellaSwag, and SWAG all contain exploitable superficial cues.
^{1}$ Trichelair et al. [14] showed, using a different analysis method than the one presented here, that SWAG contains superficial cues. We include this dataset for completeness.

 }^{2}$ When creating HellaSwag, the authors envisioned a co-evolution of models and datasets, in which increasingly stronger models are used as filters to create increasingly harder datasets, which, in turn, are used to train increasingly stronger models. However, given RoBERTa's worse accuracy on Cs-Ex, the question arises whether RoBERTa's strong results on answers-only HellaSwag are due to being stronger than the filter (i.e., BERT) or merely different than the filter.

Table 1: Average accuracy with standard deviation (subscript) of models trained on the answers only.

## 2.2 Token-based Superficial Cues

To identify the actual superficial cues models may exploit, we collect unigrams that are predictive of the answer, using the productivity measure introduced by Niven and Kao $[8$, see definition in ]. Intuitively, the productivity of a token expresses how precise a model is if it predicts only based on the presence of this token in a candidate answer. We found that not is highly predictive of the correct answer on Cs-Ex, followed by to. On SWAG and HellaSwag, unigram token productivity is below 20 , suggesting that RoBERTa exploits different signals to achieve high accuracy in the answers-only setting. Bigram token productivity was much lower.

To further investigate the exploitability of unigram cues, we train a binary bag-of-word classifier to predict if a given choice is a correct or wrong answer. On CsEx, this classifier achieved $89.5 \%$ accuracy, showing that correct and wrong answers are clearly distinguishable and confirming that the task is solvable with token-level cues. On SWAG and HellaSwag, the classifier fails to reach majority accuracy. This further confirms that superficial cues in SWAG and HellaSwag are not token-based.

## 3 AddNone to Mitigate Superficial Cues

To mitigate superficial cues in the answers, we ensure that each correct answer appears at least once as a wrong answer. This breaks the direct link between the cues and the correctness of the answer, since they now also point to the wrong answer at least once. To achieve this, one can duplicate each question and manually modify it so that an alternative choice becomes correct (henceforth, twin question) [8, 4], however, this does not scale to larger datasets.

As a scalable alternative, we propose creating twin questions by adding none of the above as an additional choice in all questions, then automatically replacing one of the contexts so that the added choice becomes the correct answer. This is similar to previous methods [8, 4], however, creating a context that does not fit any answer can be automated while curating one that specifically leads to an alternative answer requires creativity, i.e., a manual effort.

For example, consider the following question from CsEx with the additional choice included.

Table 2: Number of Easy and Hard instances

Context: she danced to the piano a) piano can not be danced to

b) piano can produce beautiful sounds

c) some people are born to dance

+d) None of the above

This question stays unchanged, with only an added choice that is not correct in this case. Its twin, shown below, has its context replaced by a similar context that renders the correct answer (in bold above) incorrect.

Context: he types using a piano

a) piano can not be danced to

b) piano can produce beautiful sounds

c) some people are born to dance

## +d) None of the above

The replacement context is extracted from the set of all training contexts in the dataset. Candidate contexts should be similar enough to the original context to avoid trivial solving by (dis)similarity. In our experiments, we calculated the cosine similarity between TF-IDF vectors of all training contexts and the context to be replaced, and picked the most similar context, allowing the similarity to be 0.97 or below. Theoretically, it is possible that the replacement context is a paraphrase of the original context, however, in practice, we did not find this to be a problem. We used $90 \%$ of the original questions to create twin questions.

## 4 Experiments

## 4.1 Evaluation on Hard and Easy Subsets

To investigate if ALBERT, RoBERTa, and BERT learn to rely on superficial cues when trained on the original CsEx, HellaSwag, and SWAG dataset, we split the evaluation set into (i) questions with superficial cues, Easy subset, and (ii) questions without superficial cues, Hard subset. The Easy subset consists of instances that are correctly solved by ALBERT or RoBERTa over three random seeds without being provided the context, ${ }^{3}$ and the Hard subset consists of the remaining instances. The statistics of each subset are shown in Table 2.

The models trained on the original dataset perform badly on the Hard subset, while they perform much better on the Easy subset (Fig. 2). This indicates that the models strongly rely on superficial cues and the reported accuracy
^{3}$ We do not use BERT because it was used for adversarial filtering of HellaSwag.
}

Figure 2: Average accuracy and standard deviation of models on Easy questions with superficial cues and Hard questions without superficial cues. On Hard questions, models trained on AddNone, and AddNone-eq (which is equal in size to the original dataset) perform better.

on these datasets may be inflated.

## 4.2 Evaluation of AddNone

How effective is AddNone in removing superficial cues, and how does it translate to model performance? We train ALBERT, RoBERTa, and BERT on the AddNonemodified Cs-Ex, HellaSwag, and SWAG (AddNone models), and evaluate them on the original Hard and Easy subsets.

As expected, training on the AddNone-modified datasets degraded the accuracy on the Easy subset containing superficial cues across all models and benchmarks (Fig. 2). This indicates that the models were discouraged from exploiting superficial cues.

On the other hand, AddNone-modified datasets improved the accuracy on the Hard subset lacking superficial cues. This suggests that the models were encouraged to learn more task-related cues, which lead to better generalization resulting in higher performance on the test set.

To control for data size, we repeated the experiments on AddNone-modified datasets that are equal in size to their originals (AddNone-eq) and found that the results still support the effectiveness of AddNone (Fig. 2). Rajpurkar et al. [10] proposed crowdsourcing unanswerable questions instead of generating them automatically, however, here we found that creating these automatically improves the model generalization.

Table 3: Overall average accuracy of full-input models evaluated on context (C) and contextless (NC) setting. The larger drop of accuracy in AddNone-modified datasets indicates that models trained on original dataset rely more on superficial cues in the answers.

## 4.3 Model Sensitivity to Context

Are the models trained on AddNone-modified datasets more sensitive to given contexts? We compare AddNone models with the models trained on the original datasets (original models) on the test set with context (C) and no context (NC). Here, we use the same models whose results are shown in Fig. 2. AddNone models are more sensitive to the context than the original models across all datasets, indicating that AddNone models' predictions depended more on the connection between the context and the choices (Table 3).

## 5 Conclusions

We introduced AddNone, a simple and LM-independent method for mitigating superficial cues in multiple-choice benchmarks. AddNone can reuse existing benchmarks, allowing researchers to make more efficient use of the existing benchmarks instead of creating new ones. Our experiments demonstrated that training on AddNone-modified datasets encourages models to assess the association between a context and its choices, leading to better generalization on datasets without superficial cues.

## Acknowledgements

This work was supported by JSPS KAKENHI Grant Number JP19H04425.

## References

[1] S. R. Bowman, G. Angeli, C. Potts, and C. D. Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pages 632-642, Lisbon, Portugal, Sept. 2015. Association for Computational Linguistics. doi: 10.18653/v1/D15-1075. URL https: //www.aclweb.org/anthology/D15-1075.

[2] J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume
1 (Long and Short Papers), pages 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics. doi: 10.18653/v1/ N19-1423. URL https://www.aclweb.org/anthology/N19-1423.

[3] S. Gururangan, S. Swayamdipta, O. Levy, R. Schwartz, S. Bowman, and N. A. Smith. Annotation artifacts in natural language inference data. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pages 107-112, New Orleans, Louisiana, June 2018. Association for Computational Linguistics. doi: 10.18653/v1/N18-2017. URL https://www.aclweb.org/anthology/N18-2017.

[4] P. Kavumba, N. Inoue, B. Heinzerling, K. Singh, P. Reisert, and K. Inui. When choosing plausible alternatives, clever hans can be clever. In Proceedings of the First Workshop on Commonsense Inference in Natural Language Processing, pages 33-42, Hong Kong, China, Nov. 2019. Association for Computational Linguistics. doi: 10.18653/v1/D19-6004. URL https://www.aclweb.org/anthology/D19-6004.

[5] Z. Lan, M. Chen, S. Goodman, K. Gimpel, P. Sharma, and R. Soricut. Albert: A lite bert for self-supervised learning of language representations, 2019.

[6] Y. Liu, M. Ott, N. Goyal, J. Du, M. Joshi, D. Chen, O. Levy, M. Lewis, L. Zettlemoyer, and V. Stoyanov. Roberta: A robustly optimized BERT pretraining approach. CoRR, abs/1907.11692, 2019. URL http://arxiv. org/abs/1907. 11692 .

[7] T. McCoy, E. Pavlick, and T. Linzen. Right for the wrong reasons: Diagnosing syntactic heuristics in natural language inference. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 3428-3448, Florence, Italy, July 2019. Association for Computational Linguistics. URL https://www.aclweb.org/anthology/P19-1334.

[8] T. Niven and H.-Y. Kao. Probing neural network comprehension of natural language arguments. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 4658-4664, Florence, Italy, July 2019. Association for Computational Linguistics. URL https://www.aclweb.org/anthology/P19-1459.

[9] A. Poliak, J. Naradowsky, A. Haldar, R. Rudinger, and B. Van Durme. Hypothesis only baselines in natural language inference. In Proceedings of the Seventh Joint Conference on Lexical and Computational Semantics, pages 180-191, New Orleans, Louisiana, June 2018. Association for Computational Linguistics. doi: 10.18653/v1/S18-2023. URL https://www.aclweb.org/anthology/S18-2023.

[10] P. Rajpurkar, R. Jia, and P. Liang. Know what you don't know: Unanswerable questions for SQuAD. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 784-789, Melbourne, Australia, July 2018. Association for Computational Linguistics. doi: 10.18653/v1/P18-2124. URL https://www.aclweb. org/anthology/P18-2124.

[11] T. Schuster, D. Shah, Y. J. S. Yeo, D. Roberto Filizzola Ortiz, E. Santus, and R. Barzilay. Towards debiasing fact verification models. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 3410-3416, Hong Kong, China, Nov. 2019. Association for Computational Linguistics. doi: 10.18653/v1/D19-1341. URL https://www.aclweb.org/anthology/D19-1341.

[12] J. Stacey, P. Minervini, H. Dubossarsky, S. Riedel, and T. Rocktäschel. There is strength in numbers: Avoiding the hypothesis-only bias in natural language inference via ensemble adversarial training, 2020.

[13] S. Sugawara, K. Inui, S. Sekine, and A. Aizawa. What makes reading comprehension questions easier? In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 4208-4219, Brussels, Belgium, Oct.-Nov. 2018. Association for Computational Linguistics. doi: 10.18653/v1/D18-1453. URL https://www.aclweb.org/ anthology/D18-1453.

[14] P. Trichelair, A. Emami, A. Trischler, K. Suleman, and J. C. K. Cheung. How reasonable are common-sense reasoning tasks: A case-study on the Winograd schema challenge and SWAG. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 3373-3378, Hong Kong, China, Nov. 2019. Association for Computational Linguistics. doi: 10.18653/v1/D19-1335. URL https://www.aclweb.org/anthology/D19-1335.

[15] R. Zellers, Y. Bisk, R. Schwartz, and Y. Choi. SWAG: A large-scale adversarial dataset for grounded commonsense inference. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 93-104, Brussels, Belgium, Oct.-Nov. 2018. Association for Computational Linguistics. doi: 10.18653/v1/D18-1009. URL https://www.aclweb.org/anthology/D18-1009.

[16] R. Zellers, A. Holtzman, Y. Bisk, A. Farhadi, and Y. Choi. HellaSwag: Can a machine really finish your sentence? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 4791-4800, Florence, Italy, July 2019. Association for Computational Linguistics. doi 10.18653/v1/P19-1472. URL https://www.aclweb.org/anthology/ P19-1472.


# 日本語文法誤り訂正におけるデータ増強および評価データ構築

加藤秀佳 岡部格明 北野道春 宿久洋
同志社大学
}

\{khideyoshi2,mokab.0328,kitano.michiharu\}@gmail.com, hyadohis@mail.doshisha.ac.jp
## 1 はじめに

文法誤り訂正 (Grammatical Error Correction: GEC) とは，入力したテキストの誤りを自動で検出して訂正することを目的とした自然言語処理タスクの 1 つ である [1]. 近年，校正業務におけるコスト削減が 期待できることからビジネス分野での需要も高ま り，そのための文章校正システムの開発が求められ ている. しかし, 既存の文章校正システムは助詞の 誤字，脱字，衍字などの誤り箇所の検出 (detect)の みに焦点が当てられており, 文章の誤りを検出し,訂正 (correct) まで行う日本語 GEC システムはほと んど提案されていない. 日本語 GEC 研究は英語や 中国語といった他言語の GEC 研究と比較すると取 り組みが少なく, それは日本語 GEC 研究の性質や 環境などに様々な課題が存在することに起因する。 そこで本研究では, 日本語 GEC 研究が抱える課題 1 学習に利用できるデータ不足および課題 2 評価デー タの不十分性という 2 つの課題に対処することで GEC モデルの精度向上と頑健な評価に取り組む.

課題 1 について，近年の GEC 研究は文法的に誤 りを含む文 $(\mathrm{src})$ から文法的に正しい文 $(\mathrm{tgt})$ への翻訳タスクとして取り組むことが一般的であり，その 際に， src と tgt がペアとなった大量のデータ (対訳 データ) が必要とされる [2]. 英語 GEC 研究において 利用できる大規模な対訳データは, EFCAMDAT(約 250 万文)[3] など，合計して 450 万文以上用意され ている一方で, 日本語 GEC 研究において利用でき る対訳データは, Lang8 コーパス [4] の約 160 万文 のみであり，量および種類の観点からも対訳デー タが少ないことが問題視されている. この問題に 対して，既存研究では用意したコーパスから $\mathrm{src}$ を 生成し擬似的に対訳データを生成するデータ増強 (Data Augmentation: DA) が提案されている [5,6]. し かし, 新たな生成元コーパスを大量に準備するこ とができない，または使用できるドメインのデー 夕量が限られている状況においては $\operatorname{src}$ を生成する既存研究では対応できない，そこで，本研究では $\operatorname{src}$ の生成だけではなく, $\operatorname{tgt}$ の生成も考慮に入れた DA(BERT-DA-tgt) を提案することで課題 $\mathbf{1}$ に対処す ることを考える。

課題 2 について，英語の GEC 研究において，モデ ルを評価するために (1) 誤りタイプごとの評価と (2)複数ドメインごとの評価の 2 つの観点から行う研究やワークショップが数多く行われている $[7,8,9]$. (1)については，提案された GEC モデルが有効に作用する，または作用しないような誤りの性質を明ら かにし, GEC システムを構築する際に, 特定の誤り 種類と相性の良いモデルを採用したいという意図が ある [10]. (2) については，特定のドメインで高い性能を示すモデルが，異なるドメインで低い性能を示 すような状況が生じた場合，構築されたモデルを正 しく評価できたとは言えず，複数ドメインでの評価 をしたいという意図がある [11]. 近年の日本語 GEC モデルを評価するために広く使われているデータ セットとして，NIST 誤用コーパス (NIL) [12, 13] と 日本語学習者の文法誤り訂正システムのための評価用マルチリファレンスコーパス (TEC_JL) [14, 15] が あるが，日本語 GEC 研究において GEC モデルを英語のように上記の 2 つの観点両方で評価した研究は ない. そこで，本研究では (1)，(2) 両方の観点から 評価できるような新たなデータセット (JGECM) の 構築および構築方法の提案を行うことで，課題 2 に 対処し，さらに構築したデータを公開1)する。

## 2 BERT-DA-tgt

DA を使用しない GEC 手法は，図 1 における対訳データ $D=\left.\{\left(\boldsymbol{x}_{i}, \boldsymbol{y}_{i}\right) \mid i=1,2, \ldots, n\right.\}$ のみを用いてモ デルを学習する. このとき， $D$ は $\operatorname{src}$ の集合 $X=$ $\left.\{\boldsymbol{x}_{i} \mid i=1,2, \ldots, n\right.\}$ と, $\operatorname{tgt}$ の集合 $y=\left.\{\boldsymbol{y}_{i} \mid i=1,2, \ldots, n\right.\}$ の組から構成される.ここで, 既存の DA は, 図 1 における対訳データ $D$ とは別の疑似データ $\mathscr{D}^{a}$ を生成し，モデルの学習に利用するデータ量を

1) https://github.com/hideyoshikato/JGECM
増やす手法のことである [2].このとき， $D^{a}$ は $\operatorname{tgt}$ の集合 $y^{a}=\left.\{\boldsymbol{y}_{j}^{a} \mid j=1,2, \ldots, m\right.\}$ から， $\operatorname{src}$ の集合 $X^{a}=\left.\{\boldsymbol{x}_{j}^{a} \mid j=1,2, \ldots, m\right.\}$ を Direct Noise[16] などの手法によって生成される。

一方で，BERT-DA-tgtは，図 2 に示すとおり，対訳 データ $D ，$ 疑似データ $\mathscr{D}^{a}$ のどちらとも異なる新た な疑似データ $\mathscr{D}^{a^{\prime}}=\left.\{\left(\boldsymbol{x}_{k}^{a^{\prime}}, \boldsymbol{y}_{k}^{a^{\prime}}\right) \mid k=1,2, \ldots, S \times L\right.\}$ を生成する DA であり, 大きく「 $\boldsymbol{y}_{k}^{a^{\prime}}$ の生成 (generate $\boldsymbol{y}_{k}^{a^{\prime}}$ ) 」 と「 $\boldsymbol{x}_{k}^{a^{\prime}}$ の生成 (generate $\boldsymbol{x}_{k}^{a^{\prime}}$ )」という 2 つのアルゴリ ズムによって疑似データが生成される (Algotithm1). $S$ は ya からサンプリングする文の数を表すパラ メータ, Lは, BERTの Masked Language Model(Masked LM) における予測確率の順位を表し，DA を行う際 のデータ量を調整するパラメータである. 表 1 に生成した $\mathscr{D}^{a^{\prime}}$ の具体例を示す. また, BERT-DA-tgt は 様々な NLP タスクにおいてDA の有効性が示されて いる BERT の Masked LM を用いているため，以下の 3 つのメリットを得る.

1. BERT は文脈を考慮できるため，生成されたテ キストは文法的 / 意味的な整合性を持つ特徴を 得ることができる。
2. $L$ の数を分析者が指定することで，学習に利用 するデータ量を調整できる。

3. 豊富な語彙, 多様な言い回しにより使用できる ドメインや生成元コーパスの量が限られた状況 での精度向上が期待できる.

表 1 BERT-DA-tgt の疑似データの具体例

図 1 既存の DA

図 2 BERT-DA-tgt

## 3 JGECM

本節では，複数誤りタイプをもつ日本語文法誤り 訂正のための評価用コーパス (JGECM) の構築手順 および分析を行う.

## 3.1 構築手順

評価データは以下の 5 つの手順により構築する.

## 手順 1 BCCWJ [17]の 'C-XML/VARIABLE/PN''

に含まれる 'xml' ファイルから sentence タ グで囲まれたテキストをクローリング

手順 219 文字以上 50 文字未満の文を抽出

手順 3 「句点を含む文」を抽出

手順 4 ランダムに 500 文抽出

手順 5 指示書に基づき 10 名のアノテータが 1 文 に対して8 種類の誤りを付与

手順 1 では，本研究では校正者が文法的な正し さが担保されていると考えられる新聞 (PN) レジス ターを評価データとして設定し， sentence タグで囲 まれた合計 51,977 文が抽出された. 手順 2 では，機械翻訳では構文の曖昧さから，長い文を翻訳するこ とへの問題点が挙げられている [18]. また，長すぎ る文は読点や区切り文字などであらかじめ分割し ておくことで，問題に対処することができることか ら，本研究では，評価データの文字数を 19 文字以上 50 文字未満と設定し，合計 17,446 文が抽出され た. 手順 3 では，評価対象を文とするために，句点 を含まないタイトルや見出しなどを省くための手順 である. その結果，合計 15,236 文が抽出された. 手順 4 では，訂正性能を評価するために一定のデータ 数が必要であると判断したため，[4]を参考にラン

ダムに 500 文用意した. 手順 $\mathbf{5}$ では，今回，[13]を 参考に削除 (助詞), 挿入 (助詞), 置換 (助詞), 語彙選択，表記，動詞，削除 (助詞 - 動詞以外), 挿入 (助詞・動詞以外) という 8 種類の誤りを付与した.ま た，誤り箇所を明確にするために，誤りを付与した 箇所を"["と"]"で挟むように指示を行った. 実際に 用いた指示書および構築された JGECM の具体例に ついては，付録 A，Bに示す。

## 3.2 分析

構築した評価データの欠損値の数については表 2 に示す. データに欠損値が含まれる理由は，誤りを 付与する対象となる品詞の中に助詞や動詞が存在し ない場合，セルの中身を空になるようにアノテータ に指示しているためである. 評価データの文字数の 分布は図 3 の通りである.

図 3 評価データの文字数の分布

## 4 実験

実験は，(i) 既存モデル (SMT に基づく手法および NMT に基づく手法) と提案モデル (BERT-DA-tgt を 行った GEC モデル) の性能を比較し提案モデルの 有効性を示すこと, (ii) 要素 (1) データ生成元, 要素 (2) データ生成量に関する比較実験を行い，提案し た DA 手法 (BERT-DA-tgt) がより効果的に作用する 知見を見つけ出すこと，の2つを目的として行う. ハイパーパラメータ，最適化，分割単位に関しては [5] の設定を用いる.

## 4.1 実験設定

データセット 学習データ, 開発データには Lang8コーパスを利用する．評価データには， NIL，
TEC_JL，第 3 節で構築した JGECM の 3 種類を用 いる. DA の生成元コーパスとして, BCCWJ [17] か らクローリングした一般書籍 (BCCWJ-PB), 図書書籍 (BCCWJ-LB), Yahoo!知恵袋 (BCCWJ-OC) という 3 種類の異なるドメインのデータを使用する. それ ぞれのデータの詳細については表 3 に示す.

表 3 各データの概要

モデル既存の Encoder-Decoder モデルである Transformerに, Copy 機構を組むことで提案された TransformerCopy [16] を採用して実験を行う.

比較手法比較手法には統計的機械翻訳 (SMT) ベースの GEC 手法として Moses [14, 19], ニューラ ル機械翻訳 (NMT) ベースの GEC 手法として CNN [14, 20], Bi-LSTM [21], そして, 最後に疑似データ を考慮しない通常の TransfomerCopy $[5,16]$ をべース ラインとする。

評価指標 GEC システムの評価には，出力文と $\operatorname{src} と \operatorname{tgt}$ の 3 つを用いて行う参照有り評価手法と $\operatorname{tg}$ を用いない参照無し評価手法が存在する [22]. 本研究では, 英語 Shared Taskにおいて最も用いられてい る前者の $M^{2}$ scorer [23] と GLEU [24] の結果を示す.

## 4.2 要素 (1): 生成元コーパス

生成元コーパスとして, 出版書籍 (PB), 図書館書籍 (LB)，Yahoo!知恵袋 (OC) を用いた場合のモデ ルの性能を比較する。ベースラインは，通常の DA および事前学習を行わない TransformerCopy である. また，今回データ量の違いが性能に影響を与えるこ とを防ぐために，それぞれのレジスターからランダ ムに 300,000 文を取得し，BERT-DA-tgt によりDA し たデータ量 $\left|\mathscr{D}^{a} \cup \mathscr{D}^{a^{\prime}}\right|=600,000$ に設定している. $\mathscr{D}^{a} \cup \mathscr{D}^{a^{\prime}}$ は既存手法で用意できる $\mathscr{D}^{a}$ と提案手法で 用意した $\mathscr{D}^{a^{\prime}}$ を結合した事前学習に用いるデータで ある. 各生成データごとのモデル性能比較に関する 実験結果を表 4 に示す. 実験の結果，TEC_JL は OC で，NIL，WGECM は PB で事前学習したモデルが最 も性能で優れた。つまり, 評価用データと近い性質 を持つコーパスで事前学習を行うことで，精度向上 が期待できる可能性を示唆している.
表 4 生成元コーパスごとの GLEU による性能比較

## 4.3 要素 (2)：疑似データ生成量

疑似データ生成量の違いによりモデル性能への 影響について検証する. 今回， $K=300,000$ として 生成元コーパスからサンプリングし， $L=0,1,2,3,4$ の場合を報告している. $L=0$ は DAを行わないモ デルを表している．実験結果を表 5 に示す. $F_{0.5}$ ， GLEU は全ての評価データにおいて $L=2$ のときに 最も優れていたことが確認できる. これは， $L$ の数 を増やすほど予測確率が低いトークンに置換された 文が生成されるため， $\operatorname{tg}$ の文構造の崩壊を招きやす くなり性能が下がる可能性が示唆される.

表 5 データ生成量の違いによる性能比較

## 4.4 既存システムとの性能比較

要素 (1),(2) で得られた知見の下，BERT-DA-tgt の生成元コーパスを BCCWJ-PB， $L=2$ とした設定により構築したモデル (Trans+BERT_PB) と比較手法の性能比較を行う. DAを行わない通常の TransofrmerCopy によるモデル (ベースライン), 事前学習とファインチューニングを Lang8 で行う モデル (Trans+BERT_lang8)を比較手法とした結果 についても記載する。実験結果を表 6 に示す. Trans+BERT_PB は，すべての評価データにおいて既存システムよりも性能で上回っている．加えて，提案手法を用いた結果，TEC_JL では 1,835 文のうち 541 文，NIL では 6,672 文のうち 1,605 文の訂正が行 われた．また，疑似データを考慮したことで多様な 語彙や言い回しに対応でき，TransfomerCopy では訂正ができなかった誤りに対しても訂正されている。 また，Bi-LSTM のように誤り種類を特定して訂正を 行う手法と比較しても，不適切な助詞の誤りや文字 の挿入に対応することができ，誤りの種類を特定せ
ずに訂正が行われていることも確認できた.

表 6 既存システムとの GLEUによる性能比較

図 4 JGECM における誤りタイプごとの評価2)

## 5 おわりに

日本語 GEC 研究が抱える 2 の課題に対して, $\operatorname{tgt}$ の生成も考慮に入れた DA(BERT-DA-tgt) を提案し， 2 つ要素について性能比較を行った. その結果, (1) 生成元コーパスは $\mathrm{PB}$ (出版書籍ドメイン)を用い る. (2) BERT の Masked LM における候補は 2 番目 まで増やす. という 2 つ知見を獲得した。これら の設定に基づき，事前学習された TransformerCopy によって GEC モデルを構築し性能比較を行った結果, 複数ドメインの評価データにおいて既存の GEC システムを上回る性能を達成し，BERT-DA-tgt の有効性を示した. 今後の課題として，学習データを逐次的に収集し，モデルを再学習できる GEC システ ムの構築，入力に用いる分割単位に違いによる性能比較, 開発 (valid) データの違いによる性能比較など が挙げられる.

2) 'hyoki', 'goi', 'insert_joshi', 'doshi', 'insert', 'delete_joshi', 'replace_joshi'，'delete'，はそれぞれ表記，語彙選択，挿入 (助詞), 動詞，插入 (助詞 - 動詞以外), 削除 (助詞), 置換 (助詞),削除 (助詞・動詞以外)を表す.

## 参考文献

[1] Yu Wang, Yuelin Wang, Jie Liu, and Zhuo Liu. A comprehensive survey of grammar error correction. arXiv preprint arXiv:2005.06600, 2020.

[2] Shun Kiyono, Jun Suzuki, Masato Mita, Tomoya Mizumoto, and Kentaro Inui. An empirical study of incorporating pseudo data into grammatical error correction. pp. 1236-1242. Association for Computational Linguistics, November 2019

[3] Jeroen Geertzen, Theodora Alexopoulou, and Anna Korhonen. Automatic linguistic annotation of large scale 12 databases: The ef-cambridge open language database (efcamdat). In Proceedings of the 31st Second Language Research Forum. Somerville, MA: Cascadilla Proceedings Project, pp. 240-254, 2013.

[4] Tomoya Mizumoto, Mamoru Komachi, Masaaki Nagata, and Yuji Matsumoto. Mining revision log of language learning sns for automated japanese error correction of second language learners. In Proceedings of 5th International Joint Conference on Natural Language Processing, pp. 147-155, 2011.

[5] 小川耀一朗, 山本和英. 日本語文法誤り訂正における 誤り傾向を考慮した擬似誤り生成. 2020.

[6] 白井稔久, 萩行正嗣, 小町守. 擬似誤りコーパスを用 いた天気予報原稿のニューラル誤り検出. 人工知能学会全国大会論文集一般社団法人 人工知能学会, pp. 3Rin242-3Rin242. 一般社団法人人工知能学会, 2019.

[7] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 793-805, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[8] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL-2014 shared task on grammatical error correction. In Proceedings of the Eighteenth Conference on Computational Natural Language Learning: Shared Task, pp. 1-14, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[9] Hwee Tou Ng, Siew Mei Wu, Yuanbin Wu, Christian Hadiwinoto, and Joel Tetreault. The CoNLL-2013 shared task on grammatical error correction. In Proceedings of the Seventeenth Conference on Computational Natural Language Learning: Shared Task, pp. 1-12, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[10] 清野舜, 鈴木潤, 三田雅人, 水本智也, 乾健太郎. 大規模疑似データを用いた高性能文法誤り訂正モデルの 構築. 2020.

[11] 三田雅人, 水本智也, 金子正弘, 永田亮, 乾健太郎. 文法誤り訂正のコーパス横断評価:単一コーパス評価 で十分か？2020

[12] Hiromi Oyama, Mamoru Komachi, and Yuji Matsumoto. Towards automatic error type classification of japanese language learners' writings. In Proceedings of the 27th Pacific Asia Conference on Language, Information, and
Computation (PACLIC 27), pp. 163-172, 2013

[13] 大山浩美, 小町守, 松本裕治. 日本語学習者の作文に おける誤用タイプの階層的アノテーションに基づ く機械学習による自動分類. 自然言語処理, Vol. 23, No. 2, pp. 195-225, 2016.

[14] Aomi Koyama, Tomoshige Kiyuna, Kenji Kobayashi, Mio Arai, and Mamoru Komachi. Construction of an evaluation corpus for grammatical error correction for learners of Japanese as a second language. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 204211, Marseille, France, May 2020. European Language Resources Association.

[15] 小山碧海, 喜友名朝視顕, 小林賢治, 新井美桜, 小町守. 日本語学習者の文法誤り訂正のための評価コー パス構築. 2020.

[16] Wei Zhao, Liang Wang, Kewei Shen, Ruoyu Jia, and Jingming Liu. Improving grammatical error correction via pre-training a copy-augmented architecture with unlabeled data.

[17] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written japanese. Language resources and evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

[18] Yoon-Hyung Roh, Young-Ae Seo, Ki-Young Lee, and Sung-Kwon Choi. Long sentence partitioning using structure analysis for machine translation. In NLPRS, 2001.

[19] Philipp Koehn, Franz J Och, and Daniel Marcu. Statistical phrase-based translation. Technical report, UNIVERSITY OF SOUTHERN CALIFORNIA MARINA DEL REY INFORMATION SCIENCES INST, 2003.

[20] Shamil Chollampatt and Hwee Tou Ng. A multilayer convolutional encoder-decoder neural network for grammatical error correction. In Proceedings of the Thirty-Second AAAI Conference on Artificial Intelligence, February 2018.

[21]高橋諒, 䒾田和麻, 多田明宽, 石川信行. Bidirectional LSTM を用いた誤字脱字検出システム. 人工知能学会全国大会論文集 一般社団法人 人工知能学会, pp. 3C4J903-3C4J903. 一般社団法人 人工知能学会, 2019.

[22] 浅野広樹, 水本智也, 乾健太郎. 文法性 - 流暢性 ・意味保存性に基づく文法誤り訂正の参照無し評価. 自然言語処理, Vol. 25, No. 5, pp. 555-576, 2018.

[23] Daniel Dahlmeier and Hwee Tou Ng. Better evaluation for grammatical error correction. In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 568-572, Montréal, Canada, June 2012. Association for Computational Linguistics.

[24] Courtney Napoles, Keisuke Sakaguchi, Matt Post, and Joel Tetreault. Ground truth for grammatical error correction metrics. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 588-593, Beijing, China, July 2015. Association for Computational Linguistics.

## A 評価データ構築におけるアノテータに対する指示書

下記の誤りの種類に対する作業指示に従って誤りを付与してください。

[削除 (助詞)]

B JGECM の具体例および既存システムと提案モデルの出力例の比較

表 8 既存システムと提案モデルの出力例の比較


# スピーキング 3 秒採点と赤ペン添削システム開発とオンライン授業人手による主観評価から機械（AI）による客観評価へ

田淵龍二
ミント音声教育研究所
tabuchiryuji@nifty.ne.jp
}

Ryan Spring
東北大学
spring.ryan.edward.c4@tohoku.ac.jp

## 1 はじめに

言語能力 4 技能「読む，聞く，書く，話す」にお いて「話す」能力測定には難点が多く, 入学試験へ の導入が進まない．とりわけ採点者を複数用意する ことが困難であり，時間と経費が膨大になってしま う。根本的な問題はスピーキング学習法・教授法の 遅れにある。他教科の勉強と比べて見よう。

たとえば受験生は過去問を解いたとき必ず答え合 わせをし，不正解なら解説を見て間違いを正すこと で自己研鑽する. しかしスピーキングでは答え合わ せができない。たとえ模範解答の音声があったとし ても自分の発音の修正点は自明ではない. 横に英語母語話者がいればと思うだろう。つまり現状のスピ ーキング学習法には自習環境が欠けている。

もう一つの問題は指導者と生徒の間で, 生徒の発音のどこがどのように間違っているのかを共有する ことが難しいことだ. たとえ波形や発音記号や口形 を見せられても腑に落ちるとは限らない。また厳密 な採点に複数の専門家が必要なことも, 課題解決の 困難さを増大させている.

現在のスピーキング学習と指導には持続可能な発展（SD: Sustainable Development）に久けている。こ うした難点を解決するために，自動採点システムの 研究開発も進んでいて，あと一息である[1][2][3][4]. そこで筆者らは AI 音声認識技術 (ASR: Automatic Speaking Recognition）に即時採点を可能にする自動赤ペン添削 (ASCwRP: Automatic Speaking Correction with Red Pen）を加えたサービス（ASCA: Automatic Speaking Correction Application）の開発と授業実践に 取り組んだ. ASCA の設計思想を具体化したオープ ンサイト NatTos の 公開を受けて, 音声指導授業を実施した. 結果は思 った以上に良好で, 従来の難点とされた透明性, 客観性, 機会均等性, 即時性で効果が確認された。ま た学習性, 説明性, 納得性, 共有性, 指導性を解決
する方向性が見えてきた．特にオンライン授業の受講者の多くが積極的に参加し，満点を取る（通じる） まで何度も自ら工夫しながら，授業時間終了後にも 挑戦する様子が見受けられた。

以下に詳しく述べる。

## 2 ASCA を具体化した NatTos の概要

スピーキング自動赤ペン添削（ASCwRP）の仕組 みはシンプルで, $\mathrm{AI}$ 音声認識技術 (ASR) が出力し たテキスト（書き起こし文）を課題テキストと比較 し, 双方で一致しないところを抽出する流れである.赤ペン添削の様子を図 1 に示す.

## At those times ${ ^{k}$ I would} think in silence

図 1 赤ペン添削の様子

上段の英文が読み上げ用の文（課題文）で，下段 が受験者の音声を ASR で書き起こしたテキスト（解答文）である．赤字の文字が一致しない部分を示し ている.この例からは発音上の 3 つの弱点が指摘で きる.

1. 言い出しの At が弱すぎたのだろう

2. 音素 $\mathrm{TH}$ が $\mathrm{S}$ と聞き取られている

3. 音素 $\mathrm{L}$ が $\mathrm{R}$ と聞き取られている 結果として“沈思”が “魅惑的？に歌う”になった ことがわかる．採点と添削は直感性が高いので無用 かもしれないが念のため, 図 1 を参考に採点と添削 と学習指導について説明する。

採点は「正しさ」と「なめらかさ」で評価してい る.「正しさ」は赤文字の比率を基礎にした 10 段階
評価で, 満点が 10 , 最低が 1 となる. 図 1 の例では 前半ができたが後半が全滅したので 3 点となった.

「なめらかさ」は発声単語数を発声時間（秒）で割 ったもので，単位は wps (words per second). 最大は 3.1, 有効行数は小数点第 1 位で抑えてある.添削結果は課題文と解答文に赤字で示してある.課題文の赤字は解答文にない文字 (文字列) で, 解答文の赤字は課題文にないことを示している．双方 を照らし合わせることで「言い間違い」や「欠落」 や「余分」を知ることができる.

総評は右下にあるアイコンである.ここでは通じ なかったので,「ウッ」との顔文字になっている. 満点（正しく通じた）では○が表示される.

指導は受験者の個人差が出やすいが，アルファべ ットと音声（音素）の区別がつく初級以上であれば 理解できるだろう.このあたりは学力（学年）に合 わせた指導法の研究が待たれる. 今回の授業対象は 大学初級で, 説明抜きで理解されたようだ.

## 3 NatTos による発声練習の仕組み

ここでは課題文の提示から，発声・添削までの流 れを述べる。

開始ボタンをタップすると課題文が提示される. と同時に模範音声が流れる.その様子を図 2 に示す.

図 2 課題文提示の様子

模範音声を聞いたあとで録音ボタン（赤丸）を夕 ップする。録音が始まるので課題文を読み上げる。読み上げを終えるか無音期間が長く続くと録音状態 が自動的に解除され, 添削が開始される。 3 秒しな いうちに先に示した図 1 のような結果が示される.

入学試験や資格試験であれば次の課題に進むこと になる.しかしウェブアプリ NatTos は発声練習用と して開発されている. 練習用と受験用で大きく異な る点は反復性であろう.受験の解答は 1 回限りだが，練習では何度でも正解するまで挑戦することができ る. 工夫しながら発声・採点・添削を繰り返すこと が成長につながるからである. NatTos では最大 5 回 まで挑戦できる。 さて，赤ペンのついた部分を注意 すれば良い事がわかっても，どのように発声すれば 良いのかわからない，そこで模範音声を再生できる ようになっている. それがスピーカマークである. また何度か続けて聞いて確かめたいこともある。そ れが図 2 の右上にある「繰り返す」ボタンだ。最大 5 回まで連続再生できる. 模範音声を聞きながら重 ねて音を合わせるように（シャドーイング）するの が上達のコツである. また人の一息の発声と聴覚作動記憶 (音韻ループ) の時間幅はともに $2 \sim 3$ 秒 [5][6] なので，模範音声をフレーズに分けてシャドーイン グできるようにしてある。 それが図 1 上段の背景色 （薄い青と緑）で区切られたブロックである.

## 4 赤ペン添削による学習履歴

発声と添削の様子は克明に記録され，先生も生徒 もリアルタイムで授業中に閲覧できる。採点の生徒 への即時フィードバックは学習を促す。他方，視覚化された学習履歴の統計処理結果は教員の形成的評価（Formative Assessment）として即時指導に利用で きる.そのフィードバック機能をいくつか紹介する.

## 4.1 クラス履歴

データマイニングによるスピーキングテストの履歴俯瞰では，正しく発音できなかった課題文や表現 が一望できる（図 3).

図 3 課題文提示の様子 (抜粋)

右端のコインと小判のアイコンがそれぞれ正しさ となめらかさの度合いを示す. 左端の赤と緑のバー が出来具合を示す. 赤が多いほど不出来だったこと を示す. 濃淡のある青い背景色を持つ文字列は課題文で，色の濃いところほど正しい発音にならなかつ たことを示している. 付録 $\mathrm{A}$ にテスト課題全文と履
歴全体図を掲載した。

テキストマイニングによる語彙クラウドでは，生徒が頻繁に失敗した語彙がひと目でわかる（図 4).

図 4 語彙クラウド例

発声に何度も失敗した語彙が太字で大きく表示さ れる.たとえば中断左端の pray を選ぶと, 図 5 のよ うに表示が変わる。 pray 344 回（背景赤と緑）の 発声があり，通じたのは $28 \%$ （緑字）だとわかる。

図 5 失敗パターンチャート例

さらにその下には対象語 pray の発音間違い (話者 の意図と異なる ASR の聞き取り)が多かった失敗例 が 2 つ示されている (破線内拡大図)。音素 $\mathrm{R}$ を $\mathrm{L}$ と発声した例が $28 \%$ に及んでいたことがわかる. また語頭子音の曖昧さも一定量見て取れる.

## 4.2 生徒履歴

受験者の個別履歴を図 6 に示す. 受験者 1 は 1 回目のテストで失敗し, 2 回目のテストの 3 回目の発声で成功している. 受験者 2 は 1 回目のテストの 2 回目の挑戦で成功し, 2 回目テストでは一発で成功
させている。学力差だと片付けられない情報がこの 履歴には隠されている. それが赤い小さな点である.

小さな赤い点の数を比べると, 受験者 1 には 2 個,

受験者 2 には 5 個見つかる. 赤い点の数は補助音声再生の回数を表している. 行頭の赤い点は自動再生 で，それ以外は受験者の手動再生である。受験者 2 は 1 回目のテストで最初に失敗したあと補助音声を 3 度再生し, その後の発声で成功させていたことが わかる。 母語話者の音声を参照しそれを真似て発話 しようとの意志がうかがえる. それに対し受験者 1 は自らの記憶にある音声と発声知識だけを参照して 失敗を繰り返したと推察される。

受験者 1

受験者2

図 6 受験者ごとの発声履歴

凡例: 1 回分の発声. " 補助音声再生. 91 列分が 1 回分のテスト. 盛の 成功. X 失敗. アイ コンは左から右，上から下への時系列。

## 5 オンラインテストと指導の様子

約 100 人 (3クラス, CEFR A2 B2: 初級〜準上級) のオンライン授業で NatTos を発音練習ツールとし て利用した。発音の講義（週 1 レッスンを 5 週）の 各テーマは子音, 母音, ストレス, 連結・脱落, リ ズムであった。毎回，授業の前後に教員が自分で NatTos 上に作成した発音テストを実施した。毎回の 発音テストはレッスンテーマに沿った物であり，学習履歴を形成的評価として利用した. レッスン冒頭 の発音テスト（前テスト）の結果を確認し，多くの 学生が困ったポイントに指導を集中した. 例えば, CEFR B2 のクラスはLの音が最初からできたがRの 音ができなかったため, そのクラスでは $\mathrm{R}$ に集中的 に指導して，練習させた。一方, CEFR A2 のクラス は $\mathrm{L}$ と $の$ 音を両方できなかったため, 両方を平等 に指導し，その区別に焦点をおいて指導した。

また，発音の指導を実施した後，NatTosで作成し た別の練習課題を学生に与え, 学習履歴を確認し,
最も多い間違いを参照しながらクラスごとに助言を した. 例えば， CEFR B1 のクラスでは Rを発音する 際に W として認識された件が多かったため, 多くの 学生が R を発音する場合, 唇を前に出していたとい うことが特定できたため, 唇を後ろに引っ張るよう に指導ができ，発音の改善を図れた．クラスによっ て発音によるミスが異なることから, 学習履歴でク ラス固有の弱点を即時に確認することで, 教育の改善が適切にできたと考えられる。 その例として， 3 クラス全体の前後テストの分析結果を表 1 に示す.第 1 回（子音）と第 2 回（母音）の発音テストの正確さを対応あり $\mathrm{t}$ 検定で比較した場合, 上達してい ることが明らかになった。

表 1 前後テストでの正確さの比較 $N=\mathbf{7 8}$

前テストは授業冒頭, 後テストは授業の締めくくりにそれぞれ 20 分ほど実施. 值は平均值 (10 点満点).カッコ内は標準偏差.前後テストのどちらか一方だけのデータは除いた.

教員として，発音の形成的評価が即時に数多くの 学生にできることが非常に好ましい状態であり, 発音の指導をより良好にできる. 従来の発音指導法で は，全ての学生の発音を聞いて，個人アドバイスす るのが大変困難である. 対面式の場合でも， 10 人以下の少人数クラスでもない限り, 教員は全員の発音 を認識するのは困難であり，コロナ渦で急にオンラ イン化された授業では尚更できない。また, 対面式 で一人一人に発音指導をすると, 他の学生の練習が 止まり, 先生の助言が来るまで待っている時間が多 い.そのため, NatTos を授業に取り入れることによ り, 学生の練習時間が多くなり, 学生が ASR による フィードバックを即時に確認ができ, また ASCwRP 履歴マイニングに基づいたフィードバックが教員か ら来るため, 学生には練習時間とフィードバックの 量が増えることになった。

今後の研究課題として, どのような練習文を使え ば, 最も発音トレーニングのためになるかを調査し， どのような発音レッスンを実施すれば，最も発音が 上達するかを調查したいと考える.

## 6 おわりに

英語スピーキングテストを全自動 3 秒で採点と添削をして返すアプリは他に例がないようであったが， ASR と ASCwRP を組み込んだ ASCA で設計したア プリ NatTos が 3 クラス 100 人規模の授業で結果を出 したことで, 成果と課題が浮き彫りになった.

成果は，発声・採点・添削・指導のサイクルを 1 コマの授業内で可能にしたことで，通常授業でスピ ーキング課題をもっと頻繁に行えるようになるだけ でなく, 学期試験や入学試験への応用可能性も示唆 された.

特に，スピーキング学習にあっては「他者とのコ ミュニケーションを妨げる発音誤りを認識する必要」[4]があることから， ASCA はその課題をクリア したと判断できた.

次に ASCA の課題を列挙する。

(1) 評価の妥当性については, 人手による主観的評価 との比較研究を準備中である。

(2) 学習効果については, 今回のパイロット研究をべ 一スに来年度に精度高く検証予定である。

(3) Chrome と SafariによるASR で同等の出力が期待 できるかの検証が必要である.

(4) 読み上げ問題には対応している一方で, 自由発話問題や文生成問題 $[1]$ の対応にはキーワード生成や文法チェックなどの技術導入が必要となる だろう.

(5) 発音評価指標とされる intelligibility（音韻的正確性; 了解性）と comprehensibility（理解可能性 ;可解性）[4]に従えば，ASR は後者の comprehen sibility に重きをおいていると考えられることか ら，ASRの選定（どの ASRを使うか，あるいは 複数の ASR が必要か) などの検討も視野に入れ る必要がある。

(6) ASCA が出力する各種履歴データに支援された 教授法の考案と, 授業中の指導に結びつく出力デ 一タの最適化が望まれる。

(7) 課題文の作成にあっては, 単語と短文と長文で語彙や文構造による学習効果度合や難易度（ASR の特性）を調べる必要がある。

(8) 特に単語については ASR の成否が採点結果に大 きく影響する[1]ことから親密度や出現頻度や同音異語などへの対処が求められる。

これらの課題を解決するには該当する分野の技術 と専門家及び指導者（教員）の協力が必要となる.

関心のある研究者や教育者及びその団体の参加を強 く期待している.

## 参考文献

1. 今井新悟（筑波大学）, 赤木爾生 (山口大学), 石塚賢吉（株式会社ドワンゴ），伊東祐郎（東京外国語大学) , 菊地賢一 (東邦大学), 篠崎隆宏 (東京工業大学), 中園博美 (島根大学), 中村洋一 (清泉女学院短期大学), 西村隆一 (和歌山大学), 本田明子（立命館アジア太平洋大学）, 家根橋伸子 (東亜大学), 山田武志 (筑波大学)。「自動採点 スピーキングテスト SJ-CAT の能力推定の検証」言語処理学会 第 23 回年次大会 発表論文集 (2017 年 3 月), 835-838.

2. 中西のりこ, タム・ショウイン, 海老原由貴 (201 9）.「ICT 教室の特性と音声認識ソフトを活かし た英語リスニング・スピーキング活動の可視化」.私立大学情報教育協会 2019 年度 ICT 利用によ る教育改善研究発表会 http://juce.jp/archives/ronbu n_2019/02.pdf

3. Spring, R. (2020). Using Multimedia Tools to Obj ectively Rate the Pronunciation of L1 Japanese EF L Learners. ATEM Journal: Teaching English thro ugh Multimedia, 25, 113-124.

4. 井上雄介，椛島優，齋藤大輔，峯松信明（2018）.「母語話者シャドーイングに基づく可解性自動計測と回帰分析による高精度化」情報処理学会

第 125 回 SLP 研究発表会. https://www.gavo.t.u-tok yo.ac.jp/ mine/CALL/ILS/Inoue_asj.pdf

5. 湯舟英一, 田淵龍二 (2013).「映画音声コーパス を利用した Breath Group 長の分析」 Language Education \& Technology, 50, 23-41.: https://www. mintap.com/news/pic/2013_7_bg.pdf.

6. 田淵龍二 (2018).「テキストアナリティクスと音声解析と認知科学と検索エンジン」. 電子情報通信学会 言語理解とコミュニケーション研究会 第 13 回 テキストアナリティクス・シンポジウム. https://www.mintap.com/news/pic/2018_nlc13.pdf

## 付録

A テスト履歴俯瞰図と課題文全文

1 crime

2 climb
3 bat

4 vat

5 some

6 thumb

7 laze

8 lathe

9 When I was a child, I often visited the shrine near my house.

10 of course, I went there to pray with my family on special occasions.

11 But I also went on my own.

12 That's because there were very few places to play in my neighborhood.

13 However, there would sometimes be a ban on entry for preparations or other things.

14 At those times, I would think in silence.

15 Eventually, I would get an idea and head elsewhere.

16 But it wasn't without a heavy heart.

(履歴と課題文は 5 回の授業のうちの初回のもの)

## B NatTos の動作環境など

必須媒体

サービス

アクセス

動作確認

機能
テスト課題

公開

クラス管理開発中/2021 年春公開予定/有料

開発 ミント音声教育研究所（田淵龍二）

## C 受験者（生徒）の動作環境

Chrome

28 人

Safari

80 人自動採点，自動赤ペン添削

・自前文によるテスト作成

- 作成テスト公開 (登録が必要/無料)