# 手順構造を考慮した手順書からの作業画像検索

迫田航次郎
京都大学大学院情報学研究科
sakoda.kojiro.48z@st.kyoto-u.ac.jp
西村太一
京都大学大学院情報学研究科
nishimura.taichi.43x@st.kyoto-u.ac.jp
森信介
京都大学学術情報メディアセンター
forest@i.kyoto-u.ac.jp

## 1 はじめに

ある手順書に基づいて作業を行う場合，手順書に 記されている文章だけでなく，その手順における物体の状態を写した画像を共に参照することで作業者 は手順を再現しやすくなる。本研究では手順書を入力として，各手順に対応する画像を検索することを 目的とする (図 1).

手順書から作業画像を検索するためには，モデル は単に対応する手順の内容だけでなく, 過去の手順 で使用した材料や動作との因果関係も考慮する必要がある，我々は，この因果関係を木構造をはじめ とするグラフ構造で表現することができる $[1,2,3]$.本研究ではこうした構造を手順構造と呼び，図 1 に その一例を示す.この例では，手順書の (1) で材料 リストにあるアスパラガスとじゃがいもを茹で，(2) でそれらを皿に並べている。(4)では (2) の結果と (3) で刻んだチーズを合わせてオーブンで加熱して いる。手順構造はこれらの手順間の因果関係を表現 しており，各材料が手順構造の葉に，各手順が節点 に対応している. 本研究では，手順書と，材料リス ト，そして手順構造を入力として与え，手順構造を 効率よく学習しつつ作業画像を検索する手法を提案 する。

実験では，手順構造を考慮しない従来の画像検索 モデルと比較して画像検索性能が向上したことが分 かった. また，実際に検索した結果をもとに，手順構造を考慮することの有用性を示した。

## 2 関連研究

手順書とその実施映像を対象とした研究は近年活発に行われている。中でも，料理ドメインは Web 上でデータを集めやすく，材料や動作の種類が豊富

図 1 本研究の課題概要. 手順書，材料リスト，手順構造 を入力として，手順書の各手順に対応する作業画像を検索する。

であるため注目を集めている。本研究で利用する Cookpad Image Dataset [4] は約 170 万のレシピ，画像列，材料リストを含む世界最大規模のマルチモーダ ルデータセットである.

こうした大規模なデータセットを活用して，レシ ピとその実施映像との間で共通の表現を学習する研究も行われている. Salvador ら [5] は，テキスト側 の入力として手順と材料を，画像の入力としてレシ ピの完成画像をそれぞれエンコードし，共有潜在空間を学習することで，レシピから完成画像を検索す る手法を提案した。

しかし，材料と動作の因果関係を考慮しつつ検索 を行うような研究は未だ十分に取り組まれてはい ない. レシピの内容をコンピュータが理解するため に，こうした関係を手順構造で表現する取り組みも 行われている $[1,2]$. さらに，近年では，手順構造を 画像付きで理解する試みも行われており，そのため のマルチモーダルデータセットとして，VSIMMR [3] というデータセットも提案されている. 本研究で は，VSIMMR データセットを用いて，材料と動作の 因果関係を考慮しつつ，手順書の各手順に対応する

図 2 従来の画像検索モデル (ベースラインモデル).画像を検索する手法を提案する。

## 3 作業画像の検索モデル

図 2 に従来の画像検索モデル (ベースラインモデ ル)の, 図 3 に提案手法モデルの概要を示す. また，以下の節でそれぞれのモデルについて説明する。

## 3.1 ベースラインモデル

ベースラインモデルは 3 つの処理に分けること ができる. (i) で手順列を入力に，LSTMを用いて手順書の時系列情報を考慮した特徵べクトルを得る。 (ii) で画像列を入力に，全結合層を用いることで画像の特徴べクトルを得る. 最後に, (iii) で (i) と (ii) で得られた手順と画像の特徴べクトルを 3 層の全結合層により共有潜在空間上に埋め込む.

(i) 手順列の入力 : 手順列の入力部は 1 層の LSTM と 2 層の全結合層からなる. まず，各手順を構成す る単語を word2vec を用いて分散表現に変換し，そ の平均を手順べクトル列 $T=\left(t_{1}, t_{2}, \ldots, t_{k}, \ldots, t_{K}\right)$ と して得る. 次に，手順ベクトル列をLSTM に入力 し, 手順書の時系列情報を考慮した手順ベクトル列 $H=\left(h_{1}, h_{2}, \ldots, h_{k}, \ldots, h_{K}\right)$ を以下のように計算して 得る.

$
\begin{aligned}
\boldsymbol{i}_{\boldsymbol{k}} & =\sigma\left(\boldsymbol{W}^{(i)} \boldsymbol{t}_{\boldsymbol{k}}+\boldsymbol{U}^{(i)} \boldsymbol{h}_{\boldsymbol{k}-1}+\boldsymbol{b}^{(i)}\right) \\
\boldsymbol{f}_{\boldsymbol{k}} & =\sigma\left(\boldsymbol{W}^{(f)} \boldsymbol{t}_{\boldsymbol{k}}+\boldsymbol{U}^{(f)} \boldsymbol{h}_{\boldsymbol{k - 1}}+\boldsymbol{b}^{(f)}\right) \\
\boldsymbol{o}_{\boldsymbol{k}} & =\sigma\left(\boldsymbol{W}^{(o)} \boldsymbol{t}_{\boldsymbol{k}}+\boldsymbol{U}^{(o)} \boldsymbol{h}_{\boldsymbol{k}-\mathbf{1}}+\boldsymbol{b}^{(o)}\right) \\
\boldsymbol{u}_{\boldsymbol{k}} & =\tanh \left(\boldsymbol{W}^{(u)} \boldsymbol{t}_{\boldsymbol{k}}+\boldsymbol{U}^{(u)} \boldsymbol{h}_{\boldsymbol{k}-\mathbf{1}}+\boldsymbol{b}^{(u)}\right) \\
\boldsymbol{c}_{\boldsymbol{k}} & =\boldsymbol{i}_{\boldsymbol{k}} \odot \boldsymbol{u}_{\boldsymbol{k}}+\boldsymbol{f}_{\boldsymbol{k}} \odot \boldsymbol{c}_{\boldsymbol{k - 1}} \\
\boldsymbol{h}_{\boldsymbol{k}} & =\boldsymbol{o}_{\boldsymbol{k}} \odot \tanh \left(\boldsymbol{c}_{\boldsymbol{k}}\right)
\end{aligned}
$

次に, LSTM の出力を 2 層の全結合層に入力し, 共有潜在空間上の手順べクトル列 $S=$ $\left(s_{1}, s_{2}, \ldots, s_{k}, \ldots, s_{K}\right)$ を得る.

図 3 提案手法モデル.

(ii) 画像列の入力 : 画像列の入力部は ResNet50 [6] と 3 層の全結合層からなる. まず，画像列の各画像 を ImageNet [7] で学習済の ResNet50を用いて分散表現 $\boldsymbol{I}=\left(\boldsymbol{i}_{1}, \boldsymbol{i}_{2}, \ldots, \boldsymbol{i}_{k}, \ldots, \boldsymbol{i}_{\boldsymbol{K}}\right)$ に変換し，全結合層に入力することで，共有潜在空間上の画像列ベクトル $V=\left(v_{1}, v_{2}, \ldots, v_{k}, \ldots, v_{K}\right)$ を得る.

(iii) 共有潜在空間の学習: Triplet margin loss [8] を 用いて, 手順と画像の共有潜在空間を学習する. Triplet margin loss は基準となるべクトル $\boldsymbol{a}$ ，正例べ クトル $\boldsymbol{p}$ ，負例べクトル $\boldsymbol{n}$ を用いて以下のように書 ける.

$
L=\max (0, d(\boldsymbol{a}, \boldsymbol{p})-d(\boldsymbol{a}, \boldsymbol{n})+\epsilon)
$

なお， $d(\cdot)$ は 2 つのべクトルのユークリッド距離を 表し， $\epsilon$ はハイパーパラメータである.

本研究では，手順を基準として得られる 3 つ 組 $\left(\boldsymbol{s}^{\mathrm{a}}, \boldsymbol{v}^{\mathrm{p}}, \boldsymbol{v}^{\mathrm{n}}\right)$ ，画像を基準として得られる 3 つ 組 $\left(\boldsymbol{v}^{\mathrm{a}}, \boldsymbol{s}^{\mathrm{p}}, \boldsymbol{s}^{\mathrm{n}}\right)$ を用いて，それぞれの基準での損失 $L_{s 2 v}, L_{v 2 s}$ を計算する. そして, 2 つの損失の和 $L_{\text {triplet }}$ を最小化するようにモデルを学習する.

## 3.2 提案手法

提案手法のモデルもベースラインモデルと同様の 3 つの処理からなる. ベースラインモデルからの拡張点は，手順構造を考慮するために，(i) において LSTM を Tree-LSTM [9] に変更したことである. (ii) と (iii) に関してはベースラインモデルと同様である ため，以下で (i) の処理に焦点を当てて説明をする。

(i) の拡張箇所は 1 層の Tree-LSTM と 2 層の全結合層からなる。まず，手順構造の節点となる手順書 の各手順ベクトルをベースラインモデルと同様に 計算する. また，手順構造の葉となる材料べクトル $G=\left(g_{1}, g_{2}, \ldots, g_{n}, \ldots, g_{N}\right)$ も同様の処理で計算する. こうして得られる手順，材料べクトルおよび手順構
表 1 Cookpad Image Dataset の統計情報.

造を Tree-LSTM へ入力する。 $k$ 番目の手順ベクトル $\boldsymbol{t}_{\boldsymbol{k}}$ と $k$ 番目の節に接続している子の集合 $C(k)$ を用 いて，以下のように $k$ 番目の隠れ層 $\boldsymbol{h}_{\boldsymbol{k}}$ とメモリセ ル $c_{k}$ を更新する。

$
\begin{aligned}
\hat{\boldsymbol{h}}_{\boldsymbol{k}} & =\sum_{j \in C(k)} \boldsymbol{h}_{\boldsymbol{j}}^{\boldsymbol{k}} \\
\boldsymbol{i}_{\boldsymbol{k}} & =\sigma\left(\boldsymbol{W}^{(i)} \boldsymbol{t}_{\boldsymbol{k}}+\boldsymbol{U}^{(i)} \hat{\boldsymbol{h}}_{\boldsymbol{k}}+\boldsymbol{b}^{(i)}\right) \\
\boldsymbol{f}_{\boldsymbol{k} \boldsymbol{j}} & =\sigma\left(\boldsymbol{W}^{(f)} \boldsymbol{t}_{\boldsymbol{k}}+\boldsymbol{U}^{(f)} \hat{\boldsymbol{h}}_{\boldsymbol{k}}+\boldsymbol{b}^{(f)}\right) \\
\boldsymbol{o}_{\boldsymbol{k}} & =\sigma\left(\boldsymbol{W}^{(o)} \boldsymbol{t}_{\boldsymbol{k}}+\boldsymbol{U}^{(o)} \hat{\boldsymbol{h}}_{\boldsymbol{k}}+\boldsymbol{b}^{(o)}\right) \\
\boldsymbol{u}_{\boldsymbol{k}} & =\tanh \left(\boldsymbol{W}^{(u)} \boldsymbol{t}_{\boldsymbol{k}}+\boldsymbol{U}^{(u)} \hat{\boldsymbol{h}}_{\boldsymbol{k}}+\boldsymbol{b}^{(u)}\right) \\
\boldsymbol{c}_{\boldsymbol{k}} & =\boldsymbol{i}_{\boldsymbol{k}} \odot \boldsymbol{u}_{\boldsymbol{k}}+\sum_{j \in C(k)} \boldsymbol{f}_{\boldsymbol{k} \boldsymbol{j}} \odot \boldsymbol{c}_{\boldsymbol{j}} \\
\boldsymbol{h}_{\boldsymbol{k}} & =\boldsymbol{o}_{\boldsymbol{k}} \odot \tanh \left(\boldsymbol{c}_{\boldsymbol{k}}\right)
\end{aligned}
$

## 4 実験

まず，ベースラインモデル，提案手法を用いて画像検索の性能を定量的に評価した. 次に, 手順構造 を考慮することの有用性を示すために，実際の検索結果を用いて定性的評価を行なった。

## 4.1 データセット

本研究では, Cookpad Image Dataset, vSIMMR の 2 つのデータセットを用いて実験を行なった. Cookpad Image Dataset は，レシピ，材料のリスト，レ シピの各手順に対応する画像からなるデータセット である. Cookpad Image Dataset のレシピの中には，全ての手順に写真が付与されていないものも存在す る. 本研究では，そうしたレシピを除き，全ての手順に写真が付与しているレシピのみを用いた. 表 1 に Cookpad Image Dataset の統計情報を示す.

vSIMMR は，Cookpad Image Dataset の一部に手順構造を人手でアノテーションしたデータセットであ る.このデータセットは, Cookpad Image Dataset の レシピから，全ての手順に写真がついており，かつ 材料数と手順数が 3 以上のものを取り出し，その一表 2 vSIMMR の統計情報.

部に木構造のアノテーションが行われたものであ る. 表 2 にvSIMMR の統計情報を示す.

## 4.2 実験設定

本研究では, word2vec モデルは Cookpad Image Dataset と vSIMMR の訓練データの全レシピを用い て学習した。なお, word $2 \mathrm{vec}$ の出力の次元数は 300 である。画像ベクトルは学習済みの ResNet50 の最終層を取り除いたモデルから得られ, 出力の次元数 は 2,048 である. 共有潜在空間の次元数は 512 に設定した。また，バッチサイズは 128 とし，最適化手法には Adam [10]を用いた.

また，比較手法としてべースラインモデルの材料 リストを用いない場合 (材料なし) に加え，提案手法 との公平な比較のために，材料リストも用いた場合 (材料あり)も考えた。(材料なし)では，手順側の入力として手順列のみを用いて学習しており，(材料あ り)では，手順側の入力として手順書の各手順べク トルに材料べクトルの平均を連結し学習している.

## 4.3 定量的評価

## 4.3.1 評価尺度

画像検索の性能を評価するために，1,000 の手順 に対する Recall@K (R@K) と Median rank (medR)を 計算した. $\mathrm{R} @ \mathrm{~K}$ は手順を入力し，得られた画像集合を $\cos$ 類似度で降順にソートした時に手順に対応 する画像が上位 $\mathrm{K}$ 番以内に現れる割合， medR は各手順に対応する画像の順位の中央値を示す.

## 4.3.2 結果

結果を表 3 に示す. ベースラインモデルの (材料 あり) は用いられる材料を考慮することで検索精度 の上昇を期待したが，(2)と (3)，(4)と (5)を比較し た結果，手順ベクトルに材料ベクトルを単に連結す るだけでは検索精度が必ずしも良くなるわけではな いことが分かった. ベースラインモデルの (5) と提案手法の (6) を比較すると (6) の結果の方が medR の
表 3 画像検索の評価結果.

図 4 画像検索結果の一例.

値が低く， $\mathrm{R} @ \mathrm{~K}$ の值が高かったことから，手順構造を考慮することで検索精度が良くなることが示さ れ，提案手法の有用性を確認できた。一方で、大量 のデータセットで学習されたベースラインモデル (2)，(3) と提案手法の (6) の結果を比較すると学習に 用いたデータセットが多ければ手順構造を考慮しな くとも検索精度が良くなるなることが分かった。

## 4.4 定性的評価

レシピを入力して作業画像を検索した結果を図 4 に示す。このレシピでは 2 番目の手順で示されてい る溶き卵と 3 番目の手順で炒められたちくわが 4 番目の手順で混ぜ合わされるような構造となってい る. 提案手法ではこの混ぜ合わされた結果の画像を 正確に検索することができており，手順構造を考慮
することが有効であると確認できた。

## 5 おわりに

本研究では，手順書から作業画像を検索する課題 に取り組んだ。手順に対応する画像を正しく検索す るためには過去の手順で使用した材料や動作との因果関係をモデルが捉える必要がある．本研究ではこ うした関係を表現している手順構造を考慮し，画像検索を行う手法を提案した．実験では，定性的，定量的に評価を行い，ベースラインモデルに比べて提案手法が有用であることを確認した。

今後の課題として，手順構造がアノテーションさ れていない場合でも，手順構造を予測し，それを考慮しながら画像検索を行える手法へと拡張すること を検討する。

## 参考文献

[1]Shinsuke Mori, Hirokuni Maeta, Yoko Yamakata, and Tetsuro Sasada. Flow graph corpus from recipe texts. In $L R E C$, 2014.

[2]Jermsak Jermsurawong and Nizar Habash. Predicting the structure of cooking recipes. In EMNLP, 2015.

[3]Taichi Nishimura, Atsushi Hashimoto, Yoshitaka Ushiku, Hirotaka Kameko, Yoko Yamakata, and Shinsuke Mori. Structure-aware procedural text generation from an image sequence. IEEE Access, 2020.

[4]Jun Harashima, Yuichiro Someya, and Yohei Kikuta. Cookpad image dataset: An image collection as infrastructure for food research. In SIGIR, 2017.

[5]Amaia Salvador, Nicholas Hynes, Yusuf Aytar, Javier Marin, Ferda Ofli, Ingmar Weber, and Antonio Torralba. Learning cross-modal embeddings for cooking recipes and food images. In CVPR, 2017.

[6]Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, 2016.

[7]Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, and Li Fei-Fei. ImageNet: A large-scale hierarchical image database. In CVPR, 2009.

[8]Jiang Wang, Yang Song, Thomas Leung, Chuck Rosenberg, Jingbin Wang, James Philbin, Bo Chen, and Ying Wu. Learning fine-grained image similarity with deep ranking. In CVPR, 2014

[9]Kai Sheng Tai, Richard Socher, and Christopher D. Manning. Improved semantic representations from tree-structured long short-term memory networks. In ACL, 2015.

[10]Diederik Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In ICLR, 2015.


# 国会会議録を利用した議員の発言特性の抽出

有田智也 松井くにお
金沢工業大学工学研究科情報工学専攻
C6000578@planet.kanzawa-it.ac.jp
}

概要 本論文では Web 上に公開されている国会会議録を利用し, TF-IDF を用いた議員ごとの発言特性の抽出及びTFIDF 値を用いた議員の関係性分析と, 機械学習を用いて議員の発言を評価した結果を述べる. 機械学習では議員の応答文を学習データとして seq2seq で学習させることで応答文を作成し, 生成された応答文を利用し議員の発言の一貫性 の分析を試みた. 議員の発言をトークン分割する際には, Sentence Piece を利用することで，複合語を考慮しつつ特徵語の抽出ができる. また少数のデータを seq2seq で学習する際には， トークン分割に Sentence Piece を用いることで， トークン分割に MeCabを利用した場合に比べて，より自然で文法的に正しい応答文の作成が可能になり，高品質な関係分析が可能になる.
## 1 はじめに

近年, Apple 社の「Siri」や, Google 社の「Google Assistant」などの, 知能的な対話システムの研究が活発化している。また女子高校生を模した，日本マイ クロソフト社の「りんな」や, NTT 先端技術総合研究所が精華町役場と共同で研究している「京町セイ 力」など対話システムに，ある特定の個性を持たせ ようとする研究も活発化している。しかしながら個性的な文章にするために, どの単語が役に立つのか, という研究は積極的になされていない. そこで本研究では個性付与の役に立つ言葉の抽出方法に着目し た.

特徴語を抽出する研究として木村ら[1]は TF-IDF を用いて各地方議員の発言から, 議員が重点を置い ている政策を抽出しているが，抽出対象は名詞のみ であり, 助動詞や助詞などの議員の発言特性を抽出 できそうな品詞を利用していない. また大南ら[2]は 最大エントロピー法を用いて短命議員と長期議員に 特徴的な単語を抽出し, ”っぽい”などの短い個性を 表す語の抽出には成功しているが，”であります”と いった複数の単語から構成される意味を持つ語(複合語)を抽出することは出来ていない. そこで本研究 では複合語での特徴語の抽出, 抽出した特徴語での 関係性の分析, 及び複合語でトークン分割した文章 を学習させたモデルでの応答文生成の評価を試みた。

## 2 利用した技術とデータ

## - TF-IDF

TF-IDF(TermFrequency-InverseDocument Frequency)
とはKaren Sparck Jones(1972)によって提唱された重 みづけ手法であり, 2 種類の重みづけ手法を組み合わ せることで実現されている．TFでは「ある文章中に おいて出現回数の多い語はより重要な単語」という 考え方に基づいて重みづけを試みる. IDFでは「ほか の文章中での出現回数が少ないほど重要な単語」 という考え方に基づいて重みづけを試みる。つまり TF-IDF の値が大きければ大きいほどその文章にと って重要な語である.

- SentencePiece

SentencePiece[3]とは 2018 年に工藤拓らにより提案された入力文章をサブワードにトークン分割する 手法である. SentecePiece では辞書を利用せず，コー パスから教師無し学習で文章をトークン分割するた めのモデルを生成し, 文章のトークン分割を行える. SentencePiece で国会会議録を分割した結果の一部を 表 1 に示す.

表 1. sentencePiece での分割結果

## - Seq2Seq

Seq2Seq(Sequence to Sequence)[4]とは 2014 年に Ilya Sutskever らによって提案された, 入力された系列を別の系列に変換するモデルである. Seq2seq は Encoder と Decoder の二つの RNN から構成され， Encoder では入力系列を読み込み隠れ層の最後の状態を Decoder に渡す. Decoder では Encoder から与え られた隠れ層をもとに，入力出力終了を表す”<eos>” が現れるまで単語を出力する。RNN の部分を LSTM[5]や GRU[6]にすることで離れた語の依存関
係を学習させることが可能になる.
- 国会会議録

話者が明示されている上, 文法的な正しさが保証 されているデータとして国会会議録を使用した. デ 一タの収集には国立国会図書館が公開している API[7]を用いて, 2012 年から 2019 年までの国会会議録を収集した。その後国会会議録から安倍晋三議員, 麻生太郎議員, 稲田朋美議員, 福島哲郎議員,福島みずほ議員, 蓮舫議員の発言を抽出した。また 対話を学習させるためのデータには各議員の発言の 内第一文までを利用した。

## 3 提案手法

図 1 に提案システムの構成を示す. 国会会議録コ ーパスから特定の議員の発言内容を抽出し, 発言デ 一タには発言内容をそのまま保存し，対話データに は発言内容に加えて他の議員の質問内容を保存する. トークン分割には MeCab[8] と Sentence Piece を用い た. 発言データでは TF-IDF の值を用いて議員ごと の特徴語を抽出する. 対話データでは seq 2 seq を用 いて議員ごとの発言内容を学習させる.

図 1 . 提案システムの構成

## 3.1 TF-IDF を用いた特徴抽出と評価

2012 年 1 月 1 日から 2019 年 12 月 31 日までの安倍晋三議員の発言を MeCab[8]+neologd 辞書でトー クン分割した後に TF-IDF の值が 0.1 以上の単語を 抽出した結果を図 2 に示す.

図 2. MeCab で分割したデータでの特徴語
データを MeCab+neologd辞書でトークン分割した 場合”わけであります”や”だと思っております”など の複合語は，"わけ/で/あり/ます”や，"だ/と/思っ/て /おり/ます”のように細かく分割され,意味を持つ複合語から単体では意味の伝わらない単位にまで分割 されてしまう。

この問題を解決するために本研究では SentencePi eceを用いてトークン分割を試みた. SentencePiece を 用いてトークン分割することで，高頻度で現れる語 をそのまま利用することが可能になる.そのため”わ けであります”などの高頻度で文章中に現れる語を SentencePiece でトークン分割した場合, 複合語であ る”わけであります”のまま出力される. SentecePiece を用いて安倍晋三議員の文章を分割した後に TFIDF の值を計算して, TF-IDF の值が 0.1 以上の特徴語を抽出した結果を図 3 に示す.

図 3. SentencePiece で分割したデータでの特徴語

トークン分割に SentencePiece を用いることで議員の発言の複合語も議員の特徴語として抽出するこ とが可能になった. SentencePiece と TF-IDF を用い て 2012 2015 年の議員の発言の特徴語を抽出した結果を表 2 に示す.

表 2.2012 2015 年の特徴語

2016 2019 年の議員の特徴語を抽出した結果を 表 3 に示す. 黄色で示された部分は 2012 2015 年と 2016 2019 年で共通の特徴語である.

表 3.2016 2019 年の特徴語

次に単語の 2012 2015 年と 2016 2019 年での特徴語の一致率を表 4 に示す.

表 4. 特徵語の一致率

2012 2015 年と 2016 年 2019 年の特徴語一致率を比較すると, 与党議員の安倍晋三議員と麻生太郎議員の特徴語一致率は $0.63,0.5$ と高く特徴語が変化していない.これは質問に答える際に深 く言及することを避け, 抽象的な内容で返答した もしくは, 多くの質問に答えているため, 特徴語 として特定の名詞が現れにくかったためである. しかし稲田朋美議員は与党議員にも関わらず, 特徴語の一致率が 0.1 である.これは 2016 年に公務員精度改革を担当する国務大臣の職を退き, 防衛大臣の職に就き，答える質問の内容が変化したた めである。また野党議員の福山哲郎議員, 蓮舫議員, 福島みずほ議員の特徴語一致率は $0.23,0.03$, 0.3 と小さく, 特徵語が大きく変化していた. これ はその時ホットな話題について集中して質問する ことが多く, その質問した事柄が特徵語として現 れためである.

## 3.2 Seq2Seq を用いた応答文生成と評価

2012 年 1 月 1 日から 2019 年 12 月 31 日までの安倍晋三議員の答弁 25,459 件を MeCab+neologd 辞書 で分割した後に他議員からの質問を入力, 安倍晋三議員の応答を出力として Seq2Seq で学習させ, 学習済みモデルを作成した。本研究で用いた Seq2Seq の 中間層は 256 , 単語埋め込み次元は 300 である. 学習させたモデルに対して, 議員の発言からランダム に選んだものを学習済みモデルに入力し, 生成され た応答文を図 4 に示す.

図 4. MeCab で分割したデータを Seq2Seq で学習さ せたモデルから得られた応答文

$\mathrm{MeCab}$ で分割し，先頭の単語をランダムにサン プリングし，以降の単語を貪欲法でサンプリングす ることで生成した応答文の問題は次の 2 つである.

・複合語が細かく分割されるため, 学習することが 難しく, 複合語が出力の途中で崩壊してしまう。

・出力の内容が”これはまさにこれはまさに”のよう

にループし文章として成立しない.

複合語をそのまま利用し, 複合語生成の学習を省略させるため, SentecePiece を用いて対話データを 分割し, Seq2Seq で学習させた結果を図 5 に示す.

図 5. SentencePiece で分割したデータを Seq2Seq で 学習させたモデルから得られた応答文
対話データを SentencePiece でトークン分割し学習させることで, MeCab でトークン分割した場合, $17.7 \%$ で発生していた応答文の崩壊と応答文のルー プを, $6.7 \%$ に減少させることに成功した.

学習させたモデルに, 議員の発言をランダムに 30 件抽出したものを入力し, 生成された応答文に対し て, 文法的に正しい応答が生成される確率，自然な 応答文が生成される確率, 生成された応答文に TFIDF 上位 30 件の単語がマッチ寸る確率を評価した。

2012 2015 年の評価結果を表 5 亿示す.

表 5.2012 2015 年の応答文の評価

2012 年 2015 年の評価の結果, 自然な応答文が生成される確率は, 与党議員に比べて野党議員の方が 平均で $13 \%$ 低かった. これは野党議員の発言内容は 様々な分野への質問が多く, 学習が困難であるのに 対して, 与党議員の発言内容は回答一辺倒であり,内容に一貫性が生まれ学習しやすかったためである. また応答文に TF-IDF 上位 30 件の単語が含まれる確率は与党議員に比べて福島瑞穂議員を除く野党議員 の方が平均で $8 \%$ 低かった. これは与党議員の特徴語に複合語が多く, 複合語の方が名詞に比べて応答文に反映させる余地が多いためである．福島みずほ 議員の応答文に含まれる単語が TF-IDF 上位 30 件に マッチする確率が高いのは” の福島みずほです”と いう応答文が頻繁に生成されたためである.

2016 2019 年の評価結果を表 6 に示す.

表 6.2016 2019 年の応答文の評価

2012 2015 年と 2016 2019 年を比較すると蓮舫議員の応答文の文法的な正しさ, 応答文の自然さ, 応答文が TF-IDF 上位 30 件にマッチ寸る確率が減少 している.これは 2012 2015 年に比べて 2016 2019年の方が，より様々な政治的事柄について質問する ようになったため, 学習が難しくなったためであ る.

## 4 おわりに

本論文では，国会会議録を用いて議員の発言特性 の分析と抽出を TF-IDを用いた手法と対話モデルを 作成する手法で行った. SentencePiece を用いること で複合語の抽出が可能になり, 高品質な個性抽出,応答文生成ができる.

## 参考文献

1. 地方議会会議録コーパスプロジェクト(引用日:2010 年 12 月 20 日)http://local-politics.jp/

2. 大南勝, 掛谷秀紀. 国会会議録に基づく短命大臣 の特徵分析第 2 報. 言語処理学会第 23 回年次大会論文集, pp. 1167-1170，2018

3. Taku Kudo, John Richardson. SentencePiece:A simple and language independent sub word tokenizer and tokenizer for Neural Text Processing.

https://arxiv.org/pdf/180806226.pdf

4. Ilya Sutskever, Oriol Vinyals, Quoc V. Le. Sequence to Sequence Learning with Neural Networks

https://arxiv.org/abs/1409.3215

5. Sepp Hochreiter, Jurgen Schmidhuber. Long Shortterm Memory.

https://www.researchgate.net/publication/13853244_Lon g_Short-term_Memory

6. Kyunghyun Cho, Bart van Merrienboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, Yoshua Bengio.

Learning Phrase Representations using RNN Encoder-

Deocder for Statistical Machine Translation.

https://arxiv.org/abs/1406.1078

7. 国会会議録検索システム検索 $\mathrm{API}$ (引用日:2020

年 12 月 20 日)

https://kokkai.ndl.go.jp/api.html

8. 工藤拓, 山本薰, 松本裕治. Conditional Random Fields を用いた日本語形態素解析. Applying Conditional RandomFields to Japanese Morphological Analysis. https://ci.nii.ac.jp/naid/110002911717


# ツイートされる病気・症状の可視化に向けた症状の事実性解析

安藤翼
香川大学大学院工学研究科
s19g453@stu.kagawa-u.ac.jp

## 1 はじめに

近年，医療分野に自然言語処理を応用する研究 $[1,2,3]$ が注目されている.また,コロナ禍においては,新型コロナウイルス対策に AI 技術を応用する研究組織[4]が設立され, 一般社会からも注目を浴びて いる. 医療分野に応用する研究のうち，ソーシャル メディアを対象とした研究においては, Twitter から ツイートを収集してインフルエンザの流行度合を推定し, その状況を可視化する研究[1]や，感染症のみ を対象とし, 病気の事実性を解析する研究[2], イン フルエンザと新型コロナウイルスに同時感染した場合における特徴・症状分析に関する研究[3]など，対象を特定の病気や症状に限定する研究が中心である.本研究では, 感染症であるか否かを問わず,いつ, どこで，どのような病気・症状がツイートされてい るのかを収集・分析し，地域別 - 時系列別に可視化 するシステムの構築[5]を目的とする. 本システムを 実現するためには, 既存研究 $[1,2]$ のような感染症名 を含むツイートのみを対象とした事実性解析ではな く, 病名を含まないツイートに対して病気・症状の 事実性を解析する手法が必要となる。NTCIR-13 MedWeb Task[6]においては, 8 つの病名又は症状を 含むツイート文にアノテーションしたデータセット が公開され，これに基づく手法がいくつか提案され ているが，対象とする病気・症状は少ない.

本稿では, Twitter に投稿された各ツイートに含ま れる様々な症状に対して, 二值分類により, 事実性 を解析する手法について検討する。

## 2 症状の事実性解析手法

## 2.1 データセットの構築

ツイートに含まれる症状に対して事実性解析する 手法を検討するに先立ち, 症状を含むツイートを Twitter 上から収集する必要がある. ツイートを収集

\author{
安藤一秋 \\ 香川大学創造工学部 \\ ando.kazuaki@kagawa-u.ac.jp
}

するには，対象とする症状の辞書が必要となる。

本稿では，「gooヘルスケア家庭の医学 ${ }^{11)}$ を基に 対象とする症状を決定した. 表 1 に，対象とする 14 種類の症状を示す．症状は，性別，年齢に関係しな い一般的なものを採用した。

次に，実験に用いるデータセットを構築するため のツイート収集法について述べる. ツイートの収集条件は, ツイート内に 14 種の症状を必ず 1 語以上含むこととする。

以上の条件で収集した結果，合計 30 万件のツイ 一トが得られた. その後, 収集したツイートから無作為に 20,000 件を抽出し, ツイート内に含まれる症状が病気によるものなのか否かを精査し，人手で真偽ラベルを各ツイートに付与する。

以下，ラベル付与の 4 つの条件について示す.

(1) 対象者は当人及びその近辺者

ツイート内容が投稿者に対すること又は投稿者の近辺者に対する場合は「真」と判定する．こ こで, 収集したツイートには症状の対象者が記述 されていない場合がある。そこで，「は」，「が」 の 2 種の助詞が存在せず, 先頭が症状名から始ま らない文を含むツイートに対しては, 1 人称代名詞として「私は」を自動で付与する。そして，上記以外の第 3 者である場合は「偽」と判定する.

(2) 時制は現在

ツイート内容から現在継続していると判断で きる場合は「真」, 過去の話題と判断できる場合 は「偽」と判定する．ただし，症状が過去から現在に至るまで継続していると判断できる場合は 「真」と判定する.

(3) 仮定表現

Twitter をセンサーとして利用するため，ツイ 一ト文内に「かもしれない」,「であろう」などの 仮定発言がある場合も「真」と判定する.

(4) 病気に関係する症状

ツイート内の症状が病気に関係するとき「真」 と判定し, 気分や表現の拡張により症状の原因が 読み取れない場合は,「偽」と判定する.

以上の 4 条件の下で， 20,000 件のツイートに真偽 ラベルを付与し, 6,046 件の正例, 13,954 件の負例か らなるデータセットを構築した。

## 2.2 症状の事実性解析に利用する素性

我々の先行研究[7]では, Support Vector Machine (SVM), ロジスティック回帰 (LR), 多層パーセプ トロン (MLP) の 3 種類の分類器と, Bag of Words,病名の有無, 体の部位の有無, 文長, 単語分散表現 の 5 つの素性を用いて, 14 症状を対象とした事実性解析の評価を実施した. その結果, 分散表現を素性 とする SVM が最も分類性能が高く, 0.743 という適合率を得ることを確認した。

本稿では，以下の 4 素性を用いたモデルの有効性 について検討する.

(1) 単語分散表現 (W2V)

単語分散表現は, BoW 素性と異なり, 単語の 出現頻度だけでなく, 前後の単語の意味や関わり を考慮することができるため，単語分散表現を baseline 素性に利用する. 分散表現は, 株式会社 ホットリンクが公開している「日本語大規模 SNS+Web コーパスによる単語分散表現モデル[8]」 を用いる.このモデルは, SNS や Web 上の文書,日本語 Wikipediaを学習コーパスに利用している.素性値には, 文内の形態素に対する分散表現の平均を利用する。

(2) つつじ[9]素性 (Ttj)

日本語機能表現辞書である「つつじ」を素性抽出に利用する。「つつじ」には，「に対して」や「か もしれない」などの機能表現とその意味が登録さ れている. 文に含まれる機能をとらえることで，文の意味をより正確に学習できると考える.つつ じ素性（Ttj）には，つつじ内の各機能表現に付与 されている意味 ID を用いる. 各文において, 症状の右側最長 $\alpha$ 字中に含まれる最長の意味 IDを 素性として利用する。

(3) 病名素性 (Sick)
ツイート文内に病名が含まれている場合, 症状 が病気に関係する可能性が高いと予測できるた め, 文中に病名が含まれているか否かを素性とし て利用する. 病名は「株式会社 メディカルノー 卜[10]」に登録されている 2,102 種の病名を利用 する.

(4) 物体素性 (Object)

症状を含むツイート内において, 症状の対象が 人であるとは限らない. 比喻や人以外の物体が対象となるツイート文も存在するため, 文内に人以外の物体が含まれているか否かを素性値として 利用する. 物体名には, 真偽ラベルを付与した 20,000 件のツイートデータから人手で抽出した 29 種を利用する.

## 3 主体性判定手法

本稿では, 症状の原因が病気であり, かつ, 対象者がツイート投稿者又は，その近辺者である場合の み, 正例として扱う. そこで, 2.2 項で検討した 4 素性を用いて, 症状が原因であると判定されたツイー トに対して, そのツイート対象者を分類し, ツイー 卜投稿者又は，その近辺者であると判定されたツイ 一トのみ可視化に利用する。

収集したツイートから, 症状の事実性解析に使用 したツイート以外を無作為に 20,000 件抽出し, 症状 の対象者に応じて, 以下の 3 種のラベルを各ツイー トに付与する。

(1) 当人・近辺者

(2) 遠方者

(3) 不明

## 3.1 主体性判定に利用する素性

主体性判定では, 以下の 3 素性について検討する.

(1) 1 人称代名詞素性 (Pron)

ツイート内における症状の対象が投稿者当人 である場合, 「私」や「僕」などの 1 人称代名詞 を記載する可能性が高い. そこで，「Wikipedia[11]」 に登録された 30 種の公的表現及び私的表現に含 まれる 1 人称代名詞がツイート内に含まれてい るか否かを素性に利用する。

(2) 都道府県素性 (Area)

ツイートの対象人物が遠方者である場合, どこ に住む人物なのか, また, 現在の居場所などの地名に関する情報が記述される傾向があると考え る.そこで，ツイート内に都道府県名が存在する
場合，その都道府県名を素性に利用する。

(3) 移動予測素性 (Move)

ツイートが, ある地点から別の地点へ移動する 内容の場合, 対象人物が遠方者である可能性が高 い. そこで，移動を予想させる助詞がツイート中 の名詞に続く場合, その助詞を素性として利用す る. 本稿で対象とする 7 種の助詞を以下に示す.

以上の 3 種の素性に, 2.2 項で提案した単語分散表現 (W2V), つつじ素性 (Ttj) の計 5 種の素性を用 いて，主体性を判定する。なお，主体性判定におい ても，単語の分散表現を baseline 素性とする.

## 4 評価実験

評価実験では，始めに，症状の事実解析を行い，病気が原因であると判定されたツイートに対して， そのツイートの対象人物を判定する。

## 4.1 実験方法

形態素解析には MeCab を利用する. また, 先行研究[7]と同様, 分類器には, Support Vector Machine (SVM), ロジスティック回帰 (LR), 多層パーセプト ロン (MLP)を用いる. 分類器の実装には, scikit-learn を使用し, 分類器ごとに, baseline 素性である単語の 分散表現に他の検討素性を組み合わせて各々の分類性能を比較する．SVM には RBF カーネルを使用 し, コストパラメータは 1,000 とした. MLP は最適化関数を SGD，バッチサイズを 128 とした.

## 4.2 評価方法

症状の事実性解析では, 2.1 節で述べた 20,000 件 のデータセットを用いる. 適合率, 再現率, F 1 値を 評価尺度とし, 10 分割交差検証の平均値で分類性能 を評価する. 人手でラベルを付与した結果と分類結果を比較し, 完全一致した場合を正解と判断する. なお, 症状の罹患状況を可視化する際, 病気が原因 であると判定されたツイートのみ用いることを想定 しているため, 本実験では, 適合率を最重視する.主体性判定では, 症状の事実性解析の結果, 病気 が原因であると判定されたツイートに対して, 新た に 3 種の主体性ラベルを付与しテストデータとする。事実性解析に使用したツイート以外の 20,000 件に 対し， 3 種のラベルを付与すると共に， 2.1 項の方法で「私は」をツイートに自動付与したものを学習 データに用いる。適合率, 再現率, F1 值を評価尺度 とし, 「当人・近辺者」に分類された性能で評価する.本研究では, ツイートの対象者が当人又は近辺者で ある場合を正例として扱い，「遠方者」，「不明」に分類されたツイートは負例とする. 人手でラベルを付与した結果と分類結果を比較し, 完全一致した場合 を正解と判断する. 罹患状況の可視化には「当人 .近辺者」へ分類されたツイートのみ用いることを想定しているため，適合率を最重視する。

## 4.3 実験結果

まず，症状の事実性解析において， 3 種の分類器 に beseline 素性及び 3 種の検討素性を組み合わせた 結果を表 3 に示す.

表 3 より, 最も適合率が高い組み合わせは, MLP に全ての検討素性を加えた場合で 0.788 を得た. 我々 の先行研究[7]で提案した手法より, 性能が 4.5 ポイ ント向上した. 対して最も適合率が低くなった組み 合わせは LR に baseline 素性である単語の分散表現 のみを用いた場合で 0.732 となった. $\mathrm{Ttj}$ 素性のみに 着目すると, 全ての分類器において baseline 素性の みの場合と比較して, 分類性能が向上した.これは, ツイートの文末における意味的まとまりの表現を考慮することができたためであると考えられる.また, Object 素性のみを追加した場合も, 全ての分類器に おいて baseline 素性のみの場合と比較して, 分類性能が向上した. ツイート文内に含まれる症状の対象 は, 人以外の「スマホ」や「パソコン」などの物体 となる場合がある。 そこで，ツイート内の物体に関 する素性を追加することで, 対象物の分類に貢献し たと考えられる. 最後に, Sick 素性を追加した場合,分類性能に大きな変化はなかった. これはツイート 内に含まれる病名の件数が全体の $22 \%$ と低いことが 原因であると予想できる.

次に, 主体性判定において, 3 種の分類器に対し て, beseline 素性及び 3 種類の検討素性を組み合わ せた結果を表 4 に示す. 主体性判定では「当人又は 近辺者」に分類されたツイートを最終結果とするた め, 「当人又は近辺者」に分類された結果のみを示 す. また, 表 4 の結果は, 表 3 の症状の事実性解析 の結果において，最も分類性能が高い MLP に全て の検討素性を加えたモデルが正例と判定した結果に
対し，主体性判定した結果である.

表 3 症状の事実性解析の結果

表 4 主体性判定の結果

表 4 より, 最も適合率が高い組み合わせは, MLP に全ての検討素性を追加した場合で 0.788 を得た。 これに対して, LRに baseline 素性である単語の分散表現と Move 素性を追加した場合に最も適合率が低 く, 0.660 となった.
Pron 素性及び, Area 素性を追加することで全ての 分類器において, 分類性能が 0.01 ポイント以上向上 した. 1 人称対代名詞に関する素性は，対象者を「当人」または「遠方者」に分類する際, 重要であるこ とを確認した。 さらに, Area 素性を追加することで 分類性能が向上したが，「当人又は近辺者」のラベル が付与されたツイートにおいて都道府県名が含まれ る割合は全体の $1.1 \%$, 「遠方者」では $6 \%$ であった。 このことから，都道府県名の有無が「当人又は近辺者」への分類に貢献したと考えられる.

## 4.4 エラー分析

症状の事実性解析では, 短文ツイートに誤分類が 多く見受けられた。症状が過去から現在に至るまで 継続していると判断できるツイートは正例として扱 うが，「僕，ずっーと頭痛い」のような短文ツイート の場合, 症状の原因が病気によるものか否かの分類 が困難である．短文ツイートについては，前後ツイ 一トを利用することで改善できる可能性はある。ま た, 症状の種類で分類が困難なツイートも確認でき た. 特に，「頭痛」「めまい」の 2 症状は，様々な状況において言葉の比喻で用いられることが多く, 分類が困難なものが存在することを確認した。

主体性の判定では, 1 ツイート内に複数の人物が 登場する場合, 症状が発生している人物が誰である かを判定することができず，誤分類している傾向を 確認した. また, 本稿では, 30 種の一般的な 1 人称代名詞を辞書として利用したが，ツイート内には辞書に未登録の 1 人称代名詞も存在するため, 特殊な 代名詞が出現する場合において誤分類することを確認した. ゼロ代名詞のツイートも多いことから，照応解析の導入が必要である.

## 5 おわりに

本稿では, 症状の事実性解析手法及び, ツイート 文内の症状の主体性を判定する手法について検討し た. 3 種類の分類器に検討素性を組み合わせた実験 により分類性能を評価した結果, 症状の事実性解析 では 0.788 , 主体性の判定では 0.703 という適合率を 得た. 今後は, さらに分類性能を向上させるための 素性検討及び，症状以外の病名に対する事実性解析器の構築, 病気・症状の動向をリアルタイムで可視化できるシステムの構築を目指す.

## 参考文献

[1] 北川善彬, 小町守, 荒牧英治, 岡崎直観, 石川博, インフルエンザ流行検出のための事実性解析。言語処理学会第 21 回年次大会（NLP2015）発表論文集，pp.218-221，2015.

[2] 松田紘伸，吉田稔，松本和幸，北研二．Twitter を用 いた病気の事実性解析及び知識べース構築. 人工知能学会第 30 回全国大会（JSAI2016）論文集, pp.2C5-OS-21b-4, 2016

[3] Simin Ma, Xiaoquan Lai, Zhe Chen, Shenghao Tu, Kai Qin. Clinical characteristics of critically ill patients coinfected with SARS-CoV and the influenza virus in Wuhan, China. International Journal of Infectious Diseases, Vol.96, pp.683-687, 2020.

[4] AI Japan R\&D Network. (オンライン）（引用日:2021 年 1 月 13 日） https://www.ai-japan.go.jp/.

[5] 難波洋平，安藤一秋. 罹患者情報の可視化へ向けた Twitter $の$ 調查・分析. 電気・電子・情報関係学会四国支部連合大会講演論文集 2017，p.226，2017.

[6] Shoko Wakamiya, Mizuki Morita, Yoshinobu Kano, Tomiki Ohkuma, and Eiji Aramaki. Overview of the NTCIR-13: MedWeb Task. In Proc. of the 13th NTCIR Conference, pp.40-49, 2017.

[7] 安藤翼, 安藤一秋. ツイートされる病気症状の可視化に向けた病気症状の事実性判定手法の検討.

FIT2019（情報科学技術フォーラム 2019）講演論文集，第 2 分冊，pp.139-140，2019.

[8] 松野省吾，水木栄，郸剛史。日本語大規模 SNS+Web コーパスによる単語分散表現のモデル構築. 人工知能学会第 33 回全国大会（JSAI2019）論文集，pp.1-3，2019.

[9] 松吉俊, 佐藤理史, 宇津呂武仁. 日本語機能表現書 の編纂. 自然言語処理，Vol.14，No.5，pp.123-

146, 2007

[10] 株式会社メディカルノート 病名一覧. (オンライ ン）（引用日: 2021 年 1 月 13 日）

https://medicalnote.jp/diseases/list.

[11] 日本語の一人称代名詞. (オンライン)（引用日: 2021 年 1 月 13 日） https://ja.wikipedia.org/wiki/日本語の一人称代名詞.


# フェイクニュース検出データセットにおける通時的バイアス

村山 太一若宮翔子荒牧英治
奈良先端科学技術大学院大学
\{murayama.taichi.mk1, wakamiya, aramaki\}@is.naist.jp

## 1 はじめに

近年，意図的に広められた誤った記事である 「フェイクニュース」が深刻な社会問題の一つと なっている. 例えば，2016 年の米国大統領選挙で は，Twitter に投稿されたニュースの $25 \%$ がフェイク もしくは極端に偏っており，トランプ氏の支持者 の活動がフェイクニュースの拡散に影響を与えて いた [1]. 選挙だけでなく, 2011 年の東日本大震災 などの自然災害 [2,3] や，COVID-19 [4] に関連した フェイクニュースが世界各国でソーシャルメディア などを通じて共有された。これらの問題に対処する ため，ソーシャルメディア投稿やニュースコンテン ツからのフェイクニュース検出モデルの開発や，検出モデル開発のためのデータセット構築が活発に行 われている $[5,6]$.

多くのフェイクニュース検出データセットは，現実のフェイクニュースから構成される. 現実のフェ イクニュースは人々の関心に強く影響される [7] こ とから，時期によって流行するトピックが異なる.具体的には，2013 年にはオバマ大統領 [8],2016 年 には米国大統領選挙 [1], 2020 年には COVID-19 [9] など，異なるトピックのフェイクニュースが頻繁に 拡散された。 そのため, 特定時期のイベントや単一 のドメインを対象とした，データセットが構築され ることが多い. これらのデータセットから学習され るフェイクニュース検出モデルは, 学習データセッ トと同様のニュースに対しては高い検出精度を達成 する。その一方で，異なるドメインや将来のフェイ クニュースに対してはテキストの語彙情報が大き く異なることから十分に対応できない場合が多い. つまり，時期に偏りがあるデータセットで学習され た検出モデルに，特定の人名や組織名を含む文章が 入力されると，その文章の真偽に関わらず判定に誤 りが生じる可能性がある.これは，同一のドメイン データでも生じる問題であり，頑健なモデル構築の 妨げとなる.本研究では，この問題をデータセットの作成時期 に依存することから「通時的バイアス」と定義す る. 本稿では，通時的バイアスがデータセット内の 人名などの固有名詞によるものと考え，これらをマ スキングすることでバイアスの緩和手法を検討す る. はじめに，作成時期の異なるフェイクニュース 検出データセットを対象に，ラベルとフレーズ間の 相関について分析し，データセット内の人名などの 語の偏りを明らかにした。 次に，テキストからの フェイクニュース検出タスクを対象に，通時的バイ アスの原因と考えられる人名に着目した緩和手法の 検討を行った。

## 2 関連研究

学習データセットにおけるバイアスに関する研究 は，攻撃的な言語やへイトスピーチの検知などを主 な目的としており，著者バイアス [10]，アノテータ バイアス [11], ジェンダーバイアス [12,13], 人種バ イアス [14, 15], 政治的バイアス [16] などの様々な バイアスの分析や緩和手法の検討がなされている. Dayanik らの研究 [17] では，データセット内の人名 の頻度バイアスに着目している. 人名に着目した点 は我々と同様であるが，本稿では時間の経過のバイ アスについて考慮している点で大きく異なる. å

フェイクニュース検出に近い分野として，含意認識の一種である与えられた証拠から主張の真偽を判定する Fact Verification タスクではバイアスの分析・軽減が取り組まれてる. Schuster ら [18] は頑健な推論モデル構築のためにテキストの語彙の偏りを緩和する手法を提案した. Suntwal ら [19] はテキスト 中の語彙を NER タグに置き換えることで，ドメイ ン外のデータでも頑健な推論モデルの構築を目指 した. しかしながら，フェイクニュース検出データ セットに対してのバイアス調査や分析は我々の知る 限り行われていない。

## 3

## リソース

## 3.1 データセット

本稿では，フェイクニュース検出に関するドメイ ンや収集時期が異なる以下の４つの英語データセッ 卜を用いて通時的バイアスの分析・検証を行う.こ れらのデータセットでは，記事や投稿などのテキス トデータの内容に対して，フェイクニュースかどう かを示す 2 值ラベル（Fake / Real）が付与されてい る. 各データセットの詳細を以下に, ラベル数など の情報を付録A.1節に示す。

MultiFC [20] : 複数ドメインのフェイクニュース データセットであり， 38 の事実検証サイトの記事 から構成される. 全データ 36534 件のうち, 本稿で は 2015 年以前の truth!， true， mostly true（Real ラべ ルとする）と false, mostly false（Fake ラベルとする） が付与された 7861 件のデータを用いる.

Horne17 [21]：2016 年の米国大統領選挙に関連し たニュース記事を中心に構成される. Buzzfeed News などのサイトに基づいて, Real, Fake, Satireの 3 值 ラベルが付与されており，本稿では Real, Fakeのラ ベルが付与されたデータを用いる.

Celebrity [22]：有名人を対象としたニュースの事実検証サイトである GossipCop によって検証された 記事によって構成される. データセットの記事は 2016，2017 年頃に報道されたものが多く, 有名人同士の喧嘩などセンセーショナルな話題が中心で ある。

Constraint [23] : Constraint@AAAI2021 Shared Task のサブタスクで用いられたデータセットであり， Twitter などのソーシャルメディアの投稿で構成され る. Politifact や Snopes などの事実検証サイトによっ てラベルが付与されており，2020 年に Twitter で拡散された COVID-19に関連した投稿が中心である.

## 3.2 フレーズとラベルの相関

データセットの偏りを検証するために，データ セットのフレーズとラベルの相関について調査 する. 高い出現頻度かつ各ラベルとの相関が高い フレーズ (n-gram) を抽出するために, Local Mutual Information (LMI) [24]を用いる.

$
L M I(w, l)=p(w, l) \cdot \log \left(\frac{p(l \mid w)}{p(l)}\right)
$

$w$ はフレーズ， $l$ はラベルとする. 条件付き確率 $p(l \mid w)$ は $\frac{\operatorname{count}(w, l)}{\operatorname{count}(w)}, p(l)$ は $\frac{\operatorname{count}(l)}{|D|}$ と算出される. $w$ と $l$ の同時確率である $p(w, l)$ は $\frac{\operatorname{count}(w, l)}{|D|}$ として算出される. $|D|$ はデータセット内の全てのフレーズ の出現回数を示す.

MultiFC と Horne17 の bi-gram を対象とした，各 ラベルとの相関が高い上位 10 フレーズの LMI を 表 1に，Celebrity と Constraint の結果は付録 A.2節に 示す. 2015 年以前の記事で構成された MultiFC では “barack obama”といった当時の米国大統領が Fake ラ ベルとの相関が高くなり，2016年大統領選挙の記事 で構成された Horne17 では当時の大統領候補であっ た “hillary clinton” や“donald trump” が Fake ラベルと 高い相関を持つという結果となった. このように， データセットごとに特定の人名とラベルの関係に大 きな偏りの存在が明らかになった. どちらか一方の データセットで学習された検出モデルでは大統領交代などの時代変化に対応できず，もう一方のデータ セットでのフェイクニュース検出が上手くいかない ことが示唆される.

## 4 通時的バイアスの緩和の検討

## 4.1 検討手法

通時的バイアスを緩和し，ドメイン外のデータに 対しても頑健なフェイクニュース検出モデルを構築 するために，データセットに対する複数のマスキン グ手法を検討する．本稿で検討するマスキング手法 の例を表 2に示す. Lexicalized はマスキングされて いない通常の入力とする.

Named Entity (NE) Deletion : Flair [25]の Named Entity Recognition (NER) [26] によって NE とタグ付 けされた語彙を削除する．NEに依存しない検出モ デルの構築を目的とするマスキング手法の一つで ある。

Basic NER : Flair の NER により NE としてタグ 付けされた語彙が対応するラベル (PER, LOC など) に置き換える。

WikiD : Flair の NER により PER とタグ付けさ れた語彙を，Wikidata ${ }^{1)}$ で対応する人物の公的な地位 (P39)，対応がなければ職業 (P106) に置き換える.当時の Wikidataを用いることで，2015 年の記事に登場する “barack obama”と 2020 年の記事に登場する “donald trump”を米国大統領 (Q11696) というラベル に置き換えることができる。.これによって，テキス トを入力としたフェイクニュース検出モデルが時間経過にも頑健になり，通時的バイアスの緩和が期待

表 1 データセットの bi-gram を対象に，各ラベルにおいて LMI が高い上位 10 フレーズと算出された LMI と $p(l \mid w)$ を示 す. LMI は $10^{6}$ を掛けた值を示す. 人名を示すフレーズを太字で記す. Real ラベルは “if you”などの一般的なフレーズ との相関が高い一方で，Fake ラベルでは“donald trump”などの人名と高い相関を示す傾向が見られた.

 & 217 & 0.70 & barack obama & 365 & 0.69 & national security & 106 & 0.88 & hillary clinton & 440 & 0.50 \\

表 2 マスキング手法の適用例．ラベル PERに当たる部分を赤字，そのほかの NE を太字で示す.

## できる.

WikiD+Del : Flairの NERにより PERとタグ付け された語彙を WikiD のルールで置き換え，その他の NEとタグ付けされた語彙を削除する。

WikiD+NER : Flair の NER により PER とタグ付 けされた語彙を WikiD のルールで置き換え，その他 の NE を対応するラベル (LOC など) に置き換える.

## 4.2 実験設定

マスキング手法の有効性について検証するため に，フェイクニュース検出タスクを取り組む． 3 節 で取り上げた各データセットの学習データを用い て，各マスキング手法を適用したフェイクニュース 検出モデルを作成する. そして, 同じドメインや異 なるドメインのデータセットに対して，各検出モデ ルによりどの程度フェイクニュースの検出が可能か を確認する。

モデル 本実験では，Google から公開されている 事前学習 BERT $_{\text {BASE }}$ モデル [27] を用いる. マスキン グ手法によって追加されたラベル（LOC や Q11696 など）は新たなトークンとして追加し， fine-tuning する、マスキングで用いる Wikidata の詳細は付録A.3節に示す.

データと評価学習のために，各データセットを 全体の $80 \%$ を学習データに， $20 \%$ をテストデータに 分割する．検出精度の評価には正解率 (Accuracy) を用いる。

## 4.3 実験結果

各データセットで学習したフェイクニュース検出モデルを，学習したデータセットのテストデータ （ドメイン内）とそれ以外のデータセットのテスト データ（ドメイン外）で評価し，マスキング手法の 有用性について検討する。

## 4.3.1 ドメイン内データ

ドメイン内データに対する各マスキング手法で の正解率を表 3に示す. Constraint 以外のデータセッ トにおいて，マスキング手法を行わない Lexicalized が最も高い精度となった。一方で，Constraint デー タセットにおいて WikiD が最も高い精度を達成し た. また，Lexicalized が最も高い精度となったデー タセットにおいても他のマスキング手法による精度 と比較して数ポイントの差しか存在しないという結果が得られた.このことから，同一ドメインのデー タに対して，各マスキング手法を適用したモデルで フェイクニュース検出を行っても，大きく精度が悪化しないことが示唆される.

## 4.3.2 ドメイン外データ

ドメイン外データをテストデータとした正解率 を表 4に示す. 左の列に学習に用いたデータセット を，精度を記載した列はテストに用いた各データ セットに対応している。ほとんどのドメイン外の データに対して，マスキングを行わない Lexicalized
表 3 各マスキング手法におけるドメイン内での ファイクニュース検出精度.

よりも各マスキング手法が高い精度を達成した.

Lexicalized の精度はドメイン外への適応可能性を 示している. 例えば, Constraintで学習したモデルは Constraint で 0.96 と高い正解率を達成した（表 3）が， ドメイン外データで学習したモデルでは Constraint のテストデータに適用したところ，約 $0.48-0.58$ と 低い正解率となった。このことは，フェイクニュー ス検出モデルの一般化の難しさを示している.

検討手法の一つである NE Deletion は単純なマス キング手法にも関わらず，12 の実験設定のうち9つ で Lexicalized よりも高い精度を達成した。一部の データセットで大幅に精度が向上しており，中でも Horne17 で学習したモデルでは MultiFC と Celebrity の 2 つのテストデータセットで最も高い精度を達成 している. Basic NER は Horne17 で学習したモデル で Constraint のテストデータに対して最も高い精度 を達成したが，NE Deletion ほどの大きな効果は見ら れなかった。

Wikidataを活用したマスキング手法である WikiD と WikiD+Del は，Lexicalized と比較して Celebrity を テストデータとした時以外の 10 の実験設定で高 い精度を達成した. 例えば，MultiFC で学習したモ デルで Constraint のテストデータで評価したとこ ろ，Lexicalized では 0.530 だったものの，WikiDで は 0.689 と大幅な精度向上を達成した. この結果 は，Wikidataを活用したマスキング手法が通時的バ イアスを緩和し，ドメイン外のデータセットにおい ても頑健なモデルを構築できる可能性を明らかにし た. 一方で，芸能系のドメインである Celebrity をテ ストデータとしたとき，Lexicalized と変わらない検出精度であった。これは，学習データが政治系を中心としたものでドメインが大きく異なることから， Wikidata を活用できず大きな効果が見られなかった と考えられる（付録の表7を参照されたい）。また， Wikidata を活用したマスキング手法の WikiD+NER は WikiD+Del と比べ低い精度となっている。つま表 4 各マスキング手法におけるドメイン外での ファイクニュース検出精度.

} & \multirow{2}{*}{ 手法 } & \multicolumn{4}{|c|}{ テストデータ } \\

り，人名以外の Entity，例えば“London”などの地名 を“LOC” というタグに置き換えるよりも，削除す ることで頑健なモデルを構築できることを示す.こ れは余分な Entity 情報を削除することで，モデルが 文体の特徵に着目できることが要因と考えられる。

## 5 おわりに

本稿は，フェイクニュース検出データセットの 作成時期やドメインによって生じる新たなバイア ス「通時的バイアス」を定義した。そして，データ セット内の人名に大きな偏りがあるのに着目し，人名を Wikidata の情報に置き換えるマスキング手法を 提案し，ドメイン外のデータセットに対するフェイ クニュース検出タスクに取り組むことによりマスキ ング手法の有効性について確認した。

今回はマスキングという簡易な手法を検討した が，今後の方向性として，通時的バイアスを緩和す るために知識グラフを活用した検出モデルの構築な どが考えられる。また，フェイクニュース検出デー タセットには通時的バイアス以外にも政治的バイア スや人種バイアスが存在すると考えられるため，こ れらのバイアスを明らかにしていくことも重要な課題の 1 つである.

## 参考文献

[1]Alexandre Bovet and Hernán A Makse. Influence of fake news in twitter during the 2016 us presidential election. $\mathrm{Na}$ ture communications, Vol. 10, No. 1, pp. 1-14, 2019.

[2]Misako Takayasu, Kazuya Sato, Yukie Sano, Kenta Yamada, Wataru Miura, and Hideki Takayasu. Rumor diffusion and convergence during the 3.11 earthquake: a twitter case study. PLoS one, Vol. 10, No. 4, p. e0121443, 2015.

[3]Takako Hashimoto, David Lawrence Shepard, Tetsuji Kuboyama, Kilho Shin, Ryota Kobayashi, and Takeaki Uno. Analyzing temporal patterns of topic diversity using graph clustering. The Journal of Supercomputing, pp. 1-14, 2020.

[4]Gautam Kishore Shahi and Durgesh Nandini. FakeCovid - a multilingual cross-domain fact check news dataset for covid19. In Workshop Proc. of ICWSM, 2020.

[5]Kai Shu, Suhang Wang, Dongwon Lee, and Huan Liu. Mining disinformation and fake news: Concepts, methods, and recent advancements. arXiv:2001.00623, 2020.

[6]Savvas Zannettou, Michael Sirivianos, Jeremy Blackburn, and Nicolas Kourtellis. The web of false information: $\mathrm{Ru}-$ mors, fake news, hoaxes, clickbait, and various other shenanigans. Journal of Data and Information Quality, Vol. 11, No. 3, pp. 1-37, 2019.

[7]Ana Lucía Schmidt, Fabiana Zollo, Michela Del Vicario, Alessandro Bessi, Antonio Scala, Guido Caldarelli, H Eugene Stanley, and Walter Quattrociocchi. Anatomy of news consumption on facebook. Proceedings of the National Academy of Sciences, Vol. 114, No. 12, pp. 3035-3039, 2017.

[8]CNBC News. False rumor of explosion at white house causes stocks to briefly plunge; ap confirms its twitter feed was hacked. https://www.cnbc.com/id/100646197, 2013.

[9]Gautam Kishore Shahi, Anne Dirkson, and Tim A Majchrzak. An exploratory study of covid-19 misinformation on twitter. arXiv preprint arXiv:2005.05710, 2020.

[10]Michael Wiegand, Josef Ruppenhofer, and Thomas Kleinbauer. Detection of Abusive Language: the Problem of Biased Datasets. In Proc. of NAACL, pp. 602-608, 2019.

[11]Björn Ross, Michael Rist, Guillermo Carbonell, Benjamin Cabrera, Nils Kurowsky, and Michael Wojatzki. Measuring the reliability of hate speech annotations: The case of the european refugee crisis. arXiv:1701.08118, 2017.

[12]Reuben Binns, Michael Veale, Max Van Kleek, and Nigel Shadbolt. Like trainer, like bot? inheritance of bias in algorithmic content moderation. In International conference on social informatics, pp. 405-415. Springer, 2017.

[13]Ji Ho Park, Jamin Shin, and Pascale Fung. Reducing gender bias in abusive language detection. In Proc. of EMNLP, pp. 2799-2804, 2018.

[14]Maarten Sap, Dallas Card, Saadia Gabriel, Yejin Choi, and Noah A Smith. The risk of racial bias in hate speech detection. In Proc. of ACL, pp. 1668-1678, 2019.

[15]Thomas Davidson, Debasmita Bhattacharya, and Ingmar Weber. Racial bias in hate speech and abusive language detection datasets. In Proc. of the Third Workshop on Abusive Language Online, pp. 25-35, 2019.

[16]Maximilian Wich, Jan Bauer, and Georg Groh. Impact of politically biased data on hate speech classification. In Proc. of the Fourth Workshop on Online Abuse and Harms, pp. 54-64, 2020

[17]Erenay Dayanik and Sebastian Padó. Masking actor information leads to fairer political claims detection. In Proc. of $A C L$, July 2020.

[18]Tal Schuster, Darsh Shah, Yun Jie Serene Yeo, Daniel Roberto Filizzola Ortiz, Enrico Santus, and Regina Barzilay. Towards debiasing fact verification models. In Proc. of EMNLP-IJCNLP, pp. 3410-3416, 2019.

[19]Sandeep Suntwal, Mithun Paul, Rebecca Sharp, and Mihai Surdeanu. On the importance of delexicalization for fact verification. In Proc. of EMNLP-IJCNLP, pp. 3404-3409, 2019.

[20]Isabelle Augenstein, Christina Lioma, Dongsheng Wang, Lucas Chaves Lima, Casper Hansen, Christian Hansen, and Jakob Grue Simonsen. Multifc: A real-world multi-domain dataset for evidence-based fact checking of claims. In Proc. of EMNLP-IJCNLP, pp. 4677-4691, 2019.

[21]Benjamin Horne and Sibel Adali. This just in: Fake news packs a lot in title, uses simpler, repetitive content in text body, more similar to satire than real news. In Proc. of ICWSM, Vol. 11, 2017.

[22]Verónica Pérez-Rosas, Bennett Kleinberg, Alexandra Lefevre, and Rada Mihalcea. Automatic detection of fake news. In Proc. of COLING, pp. 3391-3401, 2018.

[23]Parth Patwa, Shivam Sharma, Srinivas PYKL, Vineeth Guptha, Gitanjali Kumari, Md Shad Akhtar, Asif Ekbal, Amitava Das, and Tanmoy Chakraborty. Fighting an infodemic: Covid-19 fake news dataset. arXiv:2011.03327, 2020.

[24]Stefan Evert. The statistics of word cooccurrences: word pairs and collocations. 2005.

[25]Alan Akbik, Duncan Blythe, and Roland Vollgraf. Contextual string embeddings for sequence labeling. In Proc. of COLING, pp. 1638-1649, 2018.

[26]Alan Akbik, Tanja Bergmann, and Roland Vollgraf. Pooled contextualized embeddings for named entity recognition. In Proc. of NAACL, pp. 724-728, 2019.

[27]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. of NAACL, pp. 4171-4186, 2019

## A 付録

## A. 1 データセットの概要

本稿で扱うデータセットのドメインや各ラベルの データ数について表 5に示す.

表 54 つのデータセットの概要.

## A. 2 データセットの LMI

Celebrity と Constraint の 2 つのデータセットに おいて各ラベルと相関の高い上位 10 フレーズの LMI を表 6に示す. 芸能系のニュースで構成され た Celebrity では “brad pitt” や “kate middleton” などの 著名人が，COVID-19 関係の Constraint では “donald trump” “bill gates”などの人名が Fake ラベルと高 い相関を持つという結果となった。一方で，Real ラベルでは人名や固有名詞が少なく, “i had” や “if you"などの一般的な表現と高い相関を持つという傾向が示された. Fake ラベルと人名が高い相関を持 ち, Real ラベルと一般的な表現が高い相関を持つと いう傾向は 4 つのデータセット全体に見られる傾向 である.

## A. 3 マスキング手法における Wikidata

本実験では，テキストのマスキングのためにデー タセットを構成する記事や投稿の時期に対応した Wikidataを用いる。具体的には，MultiFC には 2016 年 1 月 4 日, Horne17と Celebrity には 2018 年 1 月 11 日，Constraint に対しては 2020 年 12 月 28 日に公開された Wikidataを用いる.

## A. 4 各データセットにおける Wikidata ラ ベル

各データセット同士の WikiD による Wikidata ラ ベルの重複を表 7に示す. これは，左列に示した データセットの Wikidata ラベルのうち，他のデー タセットにある Wikidata ラベルによってどの程度 カバーされているかを示したものである. MultiFC と Horne17 データセットは同様の政治トピックで あることからお互い高いカバー率である。一方で，表 6 Celebrity と Constraint データセットの bi-gramを対象に，各ラベルにおいて LMI が高い上位 10 フレーズ.

 & 822 & 0.93 & donald trump & 569 & 0.98 \\

Celebrity データセットは芸能というドメインである ことから，他のデータセットと比べ低いカバー率で ある．各データセットにおいて出現回数が上位 3 つ の Wikidata ラベルを表 8に示す.

表 7 各データセット同士の Wikidata ラベルのカバー率.

表 8 各データセットにおける，出現回数上位 3 の Wikidata ラベル.

 &  & actor &  \\


# ニューラル文法誤り訂正のための 多様な規則を用いる人工誤り生成

古山翔太 ${ }^{1,2}$ 高村大也 ${ }^{1,2}$ 岡崎直観 1,2
1 東京工業大学 2 産業技術総合研究所
shota.koyama[at]nlp.c.titech.ac.jp, takamura.hiroya[at]aist.go.jp,
okazaki[at]c.titech.ac.jp

## 1 はじめに

文法誤り訂正は，与えられた文書から綴りの間違 いや，単語の誤用などの文法的な誤りを見つけ，正 しい表現へと修正する技術である。言語学習者支援 や文書校正への応用が期待されており，自然言語処理の重要な課題のひとつである.

文法誤り訂正では，誤り注釈付きの学習者コーパ スを教師データとして，ニューラルネットワークの モデルを学習する手法が主流である [1]. さらに，人工誤り生成による人工誤りデータを用いてニュー ラルネットワークのモデルを事前学習したのちに，学習者コーパスを用いて再学習（ファインチューニ ング）を行うアプローチの有効性が報告されてい る [2]. そのため, 事前学習に用いる学習データを 生成するための人工誤り生成手法の改善は, ニュー ラル文法誤り訂正における重要な研究課題である.

人工誤り生成は，文法誤り訂正固有のデータ拡張手法であり，単語を置き換える規則や文法誤りを生成する手法を用い，文法的な文に誤りを導入するこ とで，人工誤りデータを構築する。 ニューラル文法誤り訂正のための人工誤り生成には，機械翻訳によ る誤り生成と, 誤り生成規則による誤り生成があ る. 機械翻訳による誤り生成は, 系列変換モデルを 用いて誤りデータを作成する手法であり，逆翻訳 を用いる手法 $[3,4,5]$ や，折り返し翻訳を用いる手法 $[2,6]$, 初級 ・上級翻訳器を用いる手法 [7] が提案 されている。一方，規則による誤り生成では，各規則は特定の種類の誤りのみしか生成できず，文法力 テゴリごとに異なる規則を準備する必要がある.こ のため, 英語文法誤り訂正においては, 誤りの種類 ごとに様々な誤り生成規則が提案されている.

英語を対象とした人工誤り生成において，誤り生成規則は，機能語誤り，語形変化誤り，表記体系の誤り，単語選択の誤り，語順誤りの生成に関するも のに大別できる.

機能語誤りは, 例えば“I went for Tokyo.” の for（訂正は to）のような，前置詞や代名詞などの機能語の 用法に関する誤りである。機能語誤りの生成手法と して，冠詞を置き換える手法 [8] や，学習者の誤り 傾向を反映し, 冠詞や前置詞の誤りを生成する手法 $[9,10]$ などが提案されている.

語形変化誤りは，例えば “I goed to Tokyo.” の goed （訂正は went）のような，内容語の語形変化におけ る誤りである。語形変化誤りの生成手法として，不可算名詞の数に関する誤りを生成する手法 [11] や,品詞解析の結果に基づき名詞数や動詞変化の誤りを 生成する手法 [12] などが提案されている.

表記体系の誤りは，例えば“I want to Tokyo.”の want（訂正はwent）のような綴りの誤りや，句読法，複合語，分かち書き，縮約，大小文字の規則に関す る誤りである。表記体系の誤り生成手法として，文中のコンマを削除する手法 [13] や，経り誤り訂正器を逆適用する手法 [14]が提案されている.

単語選択の誤りは，例えば“I lost my flight.” の lost （訂正は missed）のような類義語の誤用や，接辞が 異なる語を用いる誤りである．単語選択の誤り生成手法として, 品詞解析の結果に基づき接辞に関する 誤りを生成する手法が提案されている [15].

語順誤りは，例えば“I my flight missed.” の my flight の位置（missed の後ろが正しい）のように，文中の語や句の位置に関する誤りである。語順誤りの 生成手法として，隣り合う単語を入れ替える手法が 提案されている $[16,14]$.

以上のように，人工誤り生成のための規則による 誤り生成手法は数多く存在している。しかし，いず れの手法も，特定の種類か，あるいは少数の誤り生成規則を適用して人工誤り生成を行っている。この

ため，これらの手法で生成されるデータは，多様な 種類の誤りを含む実際の文書と比較して, 非常に限 られた種類の誤りのみを含む.このような手法で生成される誤りデータを用いて訂正モデルを学習する 場合，人工誤り生成が対応していない種類の誤りに 対しては，誤り訂正の性能向上が期待できない.

本研究では，英文中の様々な文法誤りに対して誤 り生成規則を設計し，それらを組み合わせて多様な 誤り文を生成できる人工誤り生成の枠組みを提案す る. 提案手法では, 複数の誤り生成規則を文ごとに 異なる確率で適用することで，多様な誤り文を生成 する. 生成された誤りデータで文法誤り訂正モデル を事前学習し, さらに学習者コーパスで再学習する 実験を行う。提案手法の誤り生成規則や適用確率は すべて人手で調整しているが，この方法で生成した 誤りデータを用いて事前学習を行ったモデルは，事前学習を行わないべースラインよりも高い訂正性能 を示した. 特に，CoNLL-14 タスクのテストデータ では, 最高性能を達成した. さらに, 特定の誤り種類に関する誤り生成規則を人工誤り生成から取り除 くことによる影響を評価し，多様な誤り生成規則を 用いる人工誤り生成の有効性を検証する。

## 2 手法

提案手法では，単言語コーパスの各文に対して複数の誤り生成規則を順番に，かつ独立に適用する。単言語コーパスの各文には，SpaCy v2.3 ${ }^{1)}$ を用いて トークナイズを施し, 品詞タグ，係り受け解析タ グ，見出し語，固有表現のIOB タグと種類を，単語 ごとに付与しておく. 誤り生成規則は単語ごとに適用され，ある誤り生成規則が，ある語に対して誤り 生成可能であるかは, その語やその周辺の語に付与 された情報から判定される. 各誤り生成規則は, 固有のベータ分布を保持しており, 文ごとにしきい值 をサンプルする．誤り生成規則は，誤りを生成可能 な単語ごとに，一様分布から值をサンプルし，その 值がしきい値を超えた場合に誤りを生成する。この 仕組みのため, 文ごとに異なる割合で誤りが生成さ れ，多様な誤り文を得ることができる。 入力文に対 してすべての誤り生成規則を適用した文を誤り文，入力文を修正文とし，誤りデータを生成する.

誤り生成規則は，計 188 種類を作成した。このう ち, 154 種類が機能語誤りに， 5 種類が語形変化誤 りに， 19 種類が表記体系誤りに， 6 種類が語順誤

表 2 単言語コーパス

表 3 評価コーパス

りに， 2 種類が単語選択誤りに関する誤り生成規則 である. その他, 記号や頻度の高い機能語の削除 を行う誤り生成規則と，マスクトークン予測のた めの規則がある．誤り生成規則の多くは，条件に 合う単語を削除したり，置き換えたりするもので ある．例えば，前置詞 than に関する誤り生成規則 は, 前置詞の than に対して確率 0.2 で削除操作を行 い，またそれぞれ確率 $0.4,0.2,0.1,0.1$ で than を to, from, over, beyond に置き換える。単語を挿入する誤 り生成規則もあり，例えば，冠詞を挿入する誤り生成規則では，文頭，あるいはある単語間の位置にお いて, 左の単語が存在しないか, あるいは左の単語 の Penn Treebank 品詞タグが，VB, VBD, VBG, VBN, VBP, VBZ, IN のいずれかであり，かつ右の単語の Penn Treebank 品詞タグが, NN, NNS, JJ, JJN, JJS のい ずれかである場合に，a, an, the, this, that, these, those を，それぞれ $0.3,0.3,0.3,0.025,0.025,0.025,0.025$ の 確率でサンプルし，挿入する。人工誤り生成に用い るソースコードは，GitHub 上で公開した2)，その他 の誤り生成規則の詳細はそちらを参照してほしい。

## 3 実験

再学習に用いる学習者コーパスの種類と規模を表 1 に示す。学習者コーパスの入手は，BEA-19 Shared Task ${ }^{3}$ の規定に従う. Lang-8 コーパスは，誤り文と 修正文が同一な事例を除いた文のみを学習に用い， Lang-8 コーパス以外のコーパスは, 学習時に標本数を 3 倍にする．評価に用いるコーパスの種類と規模，評価尺度を表 3 に示す. 事前学習に用いる単言語コーパスの種類と規模を表 2 に示す. 表 2 中の

表 4 誤り訂正実験の結果と既存手法との比較

 &  &  &  \\

コーパスは，WMT19のニュースタスクのもの4)を 用いる。誤り生成は, 各エポックごとに行う. すべ てのデータは，記号の正規化などの前処理が施され たのち，BPE-dropout [24]が施される. dropout 確率 は，誤り文で 0.1 ，修正文で 0 とする.

ニューラル文法誤り訂正には，Transformer Big [25] モデルを用いる. 実装は fairseq v0.10.1 5) を用 いる. 生成は, 幅 12 のビーム探索で行い, スコア は長さ正規化をする. 実験結果は， 5 モデルの平均值と，アンサンブル，RoBERTa Large を用いるリス コア [26] によるものを報告する.

## 4 結果

実験結果を表 4 に示す. ベースラインでは, 学習者コーパスを用いて 50 エポック訓練する. 事前学習では，単言語コーパスに誤り生成を施した誤り データを用いて 20 エポック訓練する. 再学習では，学習者コーパスを用いて 30 エポック訓練する. ド メイン適応は，再学習を行ったのちに，評価データ とドメインの近い訓練データで追加の学習を行うこ とである. ドメイン適応では, 事前学習済みモデル を学習者コーパスすべてで 5 エポック訓練し, さら に，ドメインが同じ学習者コーパスのみを用いて 20 エポック訓練する．ドメインが同じ学習者コーパス は，BEA-19 valid/test に対しては，W\&I train，CoNLL

表 5 誤り生成規則の有無が性能に与える影響の比較

13/14 は NUCLE，FCE valid/test は FCE train である.

ベースラインと比較すると，提案手法による人工誤りデータを用いて事前学習し，再学習するモデル の性能がすべての評価データセットで高くなってお り，多様な規則を用いる人工誤り生成が有効である ことがわかる. アンサンブル，リスコアはともに性能向上に大きく寄与している．事前学習済みモデル のスコアは，ベースラインのそれに迫る結果となっ ているが，アンサンブルやリスコアによる性能向上 は小さい。これは，事前学習済みモデルが，ベース ラインモデルと比較して，良い言語モデル的性質を 持っており，アンサンブルやリスコアによる恩恵を 受けにくいためだと考えられる. ドメイン適応によ る性能向上は，句読法の規約などの，評価データ間 で異なっている特徴に適応する効果によると考えら れる. NUCLEコーパスは CoNLL-14 タスク [21] の 訓練データセットであるが，CoNLL-14 データセッ トへのドメイン適応の効果は見られなかった。

誤り生成において，特定のカテゴリの誤り生成規則のみを用いる場合と，特定のカテゴリの誤り生成規則を除く場合の性能の変化をカテゴリごとに調べ るために，誤り生成規則の 5 カテゴリについて， 1 つのみを用いるか，1 つを除く 800 万文で，事前学習を 10 エポック行い, 再学習, アンサンブル，リス コアを行った結果を表 5 にまとめた. 1 カテゴリの 規則のみを用いる場合は, ベースラインと同程度か それ以下となる。これは, 事前学習に用いるデータ での誤りの種類が多様でない場合には，規則による 誤り生成が有効ではない可能性を示している．1 力 テゴリの規則のみを取り除く場合の性能は，すべて の規則を用いる場合と比較して，性能が大きくは変

図 1 事前学習データのエポック数・ステップ数による BEA-19 valid データセット上での性能変化

わらない。これは事前学習に用いるデータにおける 誤りの偏りが小さいことが有効であることを支持し ている．また，評価データによっては，特定の誤り カテゴリがない方がスコアが高くなる．この原因を 調べるためには，各誤り生成規則がスコアに与える 影響を評価する方法を検討する必要がある。

逆翻訳を用いる人工誤り生成手法では，事前学習 に用いるデータを大きくするとモデルの訂正性能 が向上することが確認されている [5]. 図 1 の青線「エポック数を 10 に固定」は，事前学習に用いる単言語コーパスの文数を 400 万文， 800 万文，1,600 万文，3,200万文に変化させたとき，エポック数を 10 回に固定することで，総ステップ数が単言語コーパ スの文数に比例する条件で事前学習を行い，再学習，アンサンブル，リスコアし，BEA-19 valid デー タセット上で評価した結果である。実験結果から，既存の報告と同様に，事前学習に用いるデータの規模が性能向上に寄与することがわかる.

しかし，この実験設定では，訂正性能の向上は単言語コーパスの規模の増加によるものか，事前学習 の総ステップ数の増加によるものかの区別がつか ない。そこで，単言語コーパスの規模を大きくして も学習の総ステップ数がおおよそ一定になるよう に，エポック数を調整した条件で実験を行った. 図 1 の赤線「総ステップ数が一定」は，事前学習に用 いる単言語コーパスの文数を 400 万文， 800 万文, 1,600 万文，3,200 万文と変化させたとき，エポック 数をそれぞれ 40, 20, 10, 5 回に設定することで，総 ステップ数が同程度になる条件で事前学習を行った 結果である. 実験結果から，総ステップ数を揃えた 場合，単言語コーパスが比較的小規模（400万文や 800 万文）の場合も，高い性能を示すことがわかる. これは，事前学習に用いる誤りデータでは，同じ文 に対してもエポックごとに異なる誤りを生成させて いるためだと考えられる．また，このことは，単言語コーパスの規模が小さな言語に対しても，適切な

図 2 従来手法との BEA-19 test データセットでの ERRANT 誤り種類ごとの性能比較

誤り生成規則を設計すれば，高性能なモデルを学習 できる可能性を示している.

従来の規則による誤り生成手法と, 提案手法を比較するために，表 4 の BEA-19 test データセットで の, ERRANT [27] 誤り種類の一部に対しての訂正性能の比較を図 2 に示す. 正書法の誤り (ORTH) や綴 り誤り (SPELL) では，提案手法は従来手法よりも 高い性能を示している。これは，提案手法の表記体系の誤りの生成が有効であることを示している. Choe らの手法 [12] と提案手法は，ドメイン適応を 行っているが，句読法の誤り (PUNCT) の性能が高 い。これは，句読法はドメインごとに規約が異なる ためだと考えられる。冠詞誤り (DET) や，前置詞誤 り (PREP), 代名詞誤り (PRON) などの機能語誤りで は，規則による誤り生成を行う従来手法との単純な 比較は難しい. 機能語誤りのように訂正に前後の文脈を要する誤りの生成においては，規則による誤り 生成は機械翻訳による誤り生成と比較して質が劣る と考えられる。その検証は，今後の課題である。

## 5 おわりに

本研究では，多様な誤りに対して誤り生成規則を 定義し，それらを組み合わせた人工誤り生成の枠組 みを提案した。実験を通して，多様な規則を用いる 誤り生成は，ニューラル文法誤り訂正の事前学習の ためのデータ拡張手法として効果的であることが 示された. さらに，誤り生成規則の多様性は，文法誤り訂正の事前学習の効果を向上させることがわ かった. また，人工誤りデータの生成に用いる単言語コーパスが小規模な場合でも，条件によっては高性能な訂正モデルを学習できる可能性も判明した.

謝辞 本研究成果は，「産総研・東工大実社会 ビッグデータ活用オープンイノベーションラボラ トリ」により得られたものです.

## 参考文献

[1] Marcin Junczys-Dowmunt, Roman Grundkiewicz, Shubha Guha, and Kenneth Heafield. Approaching neural grammatical error correction as a low-resource machine translation task. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 595-606, 2018.

[2] Jared Lichtarge, Chris Alberti, Shankar Kumar, Noam Shazeer, Niki Parmar, and Simon Tong. Corpora generation for grammatical error correction. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3291-3301, 2019.

[3] Marek Rei, Mariano Felice, Zheng Yuan, and Ted Briscoe. Artificial error generation with machine translation and syntactic patterns. In Proceedings of the 12th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 287-292, 2017.

[4] Tao Ge, Furu Wei, and Ming Zhou. Fluency boost learning and inference for neural grammatical error correction. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1055-1065, 2018.

[5] Shun Kiyono, Jun Suzuki, Masato Mita, Tomoya Mizumoto, and Kentaro Inui. An empirical study of incorporating pseudo data into grammatical error correction. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 1236-1242, 2019.

[6] Jared Lichtarge, Chris Alberti, and Shankar Kumar. Data weighted training strategies for grammatical error correction. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 634646, 2020.

[7] Wangchunshu Zhou, Tao Ge, Chang Mu, Ke Xu, Furu Wei, and Ming Zhou. Improving grammatical error correction with machine translation pairs. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 318-328, 2020.

[8] Emi Izumi, Kiyotaka Uchimoto, Toyomi Saiga, Thepchai Supnithi, and Hitoshi Isahara. Automatic error detection in the Japanese learners' English spoken data. In The Companion Volume to the Proceedings of 41st Annual Meeting of the Association for Computational Linguistics, pp. 145-148, 2003.

[9] Alla Rozovskaya and Dan Roth. Training paradigms for correcting errors in grammar and usage. In Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 154-162, 2010.

[10] Alla Rozovskaya and Dan Roth. Generating confusion sets for context-sensitive error correction. In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 961-970, 2010.

[11] Chris Brockett, William B. Dolan, and Michael Gamon. Correcting ESL errors using phrasal SMT techniques. In Proceedings of the 21 st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 249-256, 2006.

[12] Yo Joong Choe, Jiyeon Ham, Kyubyong Park, and Yeoil Yoon. A neural grammatical error correction system built on better pretraining and sequential transfer learning. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 213-227, 2019.

[13] Simon Flachs, Ophélie Lacroix, and Anders Søgaard. Noisy channel for low resource grammatical error correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 191-196, 2019.

[14] Roman Grundkiewicz, Marcin Junczys-Dowmunt, and Kenneth Heafield. Neural grammatical error correction systems with unsupervised pre-training on synthetic data. In Proceedings of the
Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 252-263, 2019.

[15] Shuyao Xu, Jiehao Zhang, Jin Chen, and Long Qin. Erroneous data generation for grammatical error correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 149-158, 2019.

[16] Jonas Sjöbergh and Ola Knutsson. Faking errors to avoid making errors: Very weakly supervised learning for error detection in writing. 2005.

[17] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A new dataset and method for automatically grading ESOL texts. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 180-189, 2011.

[18] Daniel Dahlmeier, Hwee Tou Ng, and Siew Mei Wu. Building a large annotated corpus of learner English: The NUS corpus of learner English. In Proceedings of the Eighth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 22-31, 2013.

[19] Tomoya Mizumoto, Yuta Hayashibe, Mamoru Komachi, Masaaki Nagata, and Yuji Matsumoto. The effect of learner corpus size in grammatical error correction of ESL writings. In Proceedings of COLING 2012: Posters, pp. 863-872, 2012.

[20] Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 shared task on grammatical error correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 52-75, 2019.

[21] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL2014 shared task on grammatical error correction. In Proceedings of the Eighteenth Conference on Computational Natural Language Learning: Shared Task, pp. 1-14, 2014.

[22] Courtney Napoles, Keisuke Sakaguchi, and Joel Tetreault. JFLEG: A fluency corpus and benchmark for grammatical error correction. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 229-234, 2017.

[23] Kostiantyn Omelianchuk, Vitaliy Atrasevych, Artem Chernodub, and Oleksandr Skurzhanskyi. GECToR - grammatical error correction: Tag, not rewrite. In Proceedings of the Fifteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 163-170, 2020.

[24] Ivan Provilkov, Dmitrii Emelianenko, and Elena Voita. BPEdropout: Simple and effective subword regularization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1882-1892, 2020.

[25] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008, 2017.

[26] Julian Salazar, Davis Liang, Toan Q. Nguyen, and Katrin Kirchhoff. Masked language model scoring. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2699-2712, 2020.

[27] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 793-805, 2017 .
表 6 誤り訂正実験の結果と既存手法との比較

 \\

図 3 事前学習データのエ ポック数・ステップ数によ る CoNLL-14 test データセッ 卜上での性能変化

図4 事前学習データのエ ポック数・ステップ数によ る FCE test データセット上 での性能変化

単言語コーパスの文数

図 5 事前学習データのエ ポック数・ステップ数によ る JFLEG test データセット 上での性能変化

dropout 確率

図 6 BPE-dropout $の$ dropout 率による BEA-19 valid デー タセット上での性能変化

## A 実験結果の詳細

表 4 のより詳細な結果を表 6 に示す。再学習を 行った場合，ベースラインより特に再現率が高くな る. 多様な人工誤り生成を行った誤りデータでの事前学習が，多様な誤りの訂正性能に寄与することが 確認できる. ドメイン適応は，評価データ間の規約 の差異を埋め，再現率を向上させる。

表 5 の詳細な結果を表 7 に示す.

図 1 と同じ実験を BEA-19 valid データセット以外 で行った結果を図 $3,4,5$ に示す. 他のデータセット でも図 1 と同様の結果が確認できる.

BPE-dropout の dropout 確率を変化させたときの ベースラインモデルの BEA-19 valid データセットで の性能変化を図 6 に示す.表 7 誤り生成規則の有無が性能に与える影響の比較

事前学習 (人工誤り・1 カテゴリのみ) +再学習 +機能語誤り $\quad \begin{array}{lllllll}59.05 & 32.65 & 50.83 & 73.29 & 43.44 & 64.44\end{array}$ +活用誤り $\quad \begin{array}{lllllllll} & 58.49 & 32.13 & 50.25 & 71.69 & 44.64 & 63.94\end{array}$ +表記体系誤り $\quad \begin{array}{lllllll}60.30 & 33.39 & 51.93 & 73.15 & 43.81 & 64.50\end{array}$ +单語選択誤り $\quad \begin{array}{lllllll}58.80 & 33.05 & 50.87 & 70.45 & 44.37 & 63.04\end{array}$ +語順誤り $\quad \begin{array}{llllll}57.80 & 32.48 & 50.00 & 68.90 & 44.76 & 62.19\end{array}$事前学習（人工誤り・1 カテゴリ除く）+再学習 -機能語誤り $\quad \begin{array}{lllllll} & 58.95 & 37.42 & 52.87 & 71.79 & 47.74 & 65.22\end{array}$ -活用誤り $\quad \begin{array}{llllllll}59.36 & 37.05 & 52.98 & 69.55 & 48.28 & 63.92\end{array}$ $\begin{array}{llllllll}\text {-表記体系誤り } & 60.10 & 34.61 & 52.38 & 74.79 & 44.74 & 65.93\end{array}$ -単語選択誤り $\quad \begin{array}{lllllll}61.03 & 35.45 & 53.33 & 74.21 & 45.78 & 66.01\end{array}$ $\begin{array}{lllllll}\text {-語順誤り } & 61.13 & 34.00 & 52.72 & 75.45 & 45.16 & 66.54\end{array}$事前学習+再学習 6


# 文法誤り訂正における複数の逆翻訳モデルを 利用した訂正傾向の比較

小山碧海甫立健悟 金子正弘 小町守
東京都立大学
\{koyama-aomi, hotate-kengo, kaneko-masahiro\}@ed.tmu.ac.jp
komachi@tmu.ac.jp

## 1 はじめに

文法誤り訂正（GEC）とは，言語学習者の書いた 文にある誤りを自動で訂正するタスクである.Yuan ら [1] がエンコーダ・デコーダ（EncDec）モデルを GEC 適用して以来，様々な EncDec べースの GEC モデルが提案されている $[2,3,4]$.また，GEC モデ ルは構造ごとに異なる訂正傾向を持つことが知られ ている. 例えば, CNN [5] ベースのモデルは, 局所的な誤りの訂正性能が高いことが示されている [3]. さらに，複数の GEC モデルを組み合わせることに より，性能を向上させることも行われている $[6,7]$.一方で, EncDec モデルの訓練には大量の訓練デー タが必要であり [8], GECでは訓練に使用可能な学習者データが不足しているという問題がある。その ため, 様々な擬似データ生成手法が研究されており $[4,9,10]$, 大量の擬似データを利用した EncDec モデ ルが顕著な性能を達成している $[11,12,13]$.

代表的な擬似データ生成手法の一つ民逆翻訳 [14] がある。逆翻訳では，GEC モデルの場合とは反対 に，訂正文から学習者文を出力させるように逆翻訳 モデルを訓練する. その後，逆翻訳モデルに対して 文法的に正しい文を入力し，擬似的な誤りを含む文 を生成する。このようにして得た擬似誤り文とその 入力文のペアを擬似データとして GEC モデルの訓練に使用する. Kiyono ら [12] は, いくつかの擬似 データ生成手法を比較した結果，逆翻訳による擬似 データで事前学習された GEC モデルの性能が最も 高かったと報告しており, 逆翻訳は最も効果的な擬似データ生成手法の一つであると考えられる。

我々は，GECモデルの場合と同様に，逆翻訳モデ ルの構造によって GEC モデルの訂正傾向が異なる 可能性があると考えた.しかしながら，これまでの 研究では逆翻訳モデルに GEC モデルと同じモデル
を使用することが多く $[9,12,15]$ ，異なる逆翻訳も デルを使用した場合にどのような訂正傾向の違いが あるかを比較していない。また，Wan ら [16] は潜在表現にノイズを加えることによる擬似データ生成手法とルールベースの擬似データ生成手法を比較し，擬似データごと記正傾向が異なることを報告し ている。さらに，それらの擬似データを組み合わせ ることにより GEC モデルの性能を向上させている. したがって，訂正傾向の違いを捉えることは，より 高性能な GEC モデルを構築することに繋がる。

[17], CNN，LSTM [18]）を逆翻訳モデルとして使用 し, それらが生成した擬似データで事前学習された GEC モデルの訂正傾向を調査した.その結果，逆翻訳モデルごとに誤りタイプ別の訂正傾向が異なるこ とが明らかになった．さらに，異なる逆翻訳モデル から生成した擬似データを組み合わせた場合の訂正傾向を調査した。その結果，異なる逆翻訳モデルか ら生成した擬似データを組み合わせた場合，シード のみが異なる単一の逆翻訳モデルを使用した場合に 対して，性能が向上するあるいは補間する性能とな ることを確認した。

## 2 関連研究

Htut ら [19] は複数の GEC モデル（Transformer， CNN，PRPN [20]，ON-LSTM [21]）に対して，異な る逆翻訳モデル（Transformer, CNN）から生成され た擬似データを使用した場合の訂正性能を調査し た.その結果，GEC モデルに Transformerを使用し，逆翻訳モデルに CNNを使用した場合に最も高い 性能を達成したと報告した．ただし，GECでは擬似データを事前学習に使用することが一般的であ るが [4, 10, 12], Htut ら [19] は擬似データを学習者 データで訓練した後の再訓練に使用するというあま

り一般的ではない方法を用いている。さらに， Htut ら [19] は擬似データごとにどのような訂正傾向が あるかについて報告していない. 我々は，GEC モ デルに Transformer を使用し，異なる逆翻訳モデル （Transformer，CNN，LSTM）を使用した場合の訂正傾向を調査する．また，Kiyono ら [12] に従い，擬似 データを GEC モデルの事前学習に使用する.

White ら [22] は，直接的な編集操作による擬似 データ生成手法 $[11,23]$ の比較を行なった. 1 つ目 の手法 [11] では，スペルチェッカーに基づいて構築 された confusion set を利用して擬似データを生成す る. 2 つ目の手法 [23] では, 学習者データから抽出 された誤りパターン，および動詞・名詞・前置詞の 置換を利用して擬似データを生成する．2つの手法 $[11,23]$ を比較した結果，1つ目の手法 [11] ではスペ リングの誤りの訂正性能が高いこと，および 2 つ目 の手法 [23] では名詞の単数・複数形と時制の誤りの 訂正性能が高いことを報告している. 我々は，異な る逆翻訳モデルから生成された擬似データを用いた 場合の GEC モデルの訂正傾向を報告する.

いくつかの研究 $[10,16,24]$ では，異なる手法によ り生成された擬似データを組み合わせて GEC モデ ルの訓練に使用している。例えば，Zhou ら [24] は，統計的機械翻訳からの翻訳文を擬似誤り文とし， ニューラル機械翻訳からの翻訳文を擬似訂正文とす る擬似データ生成手法を提案し，さらに逆翻訳によ り生成された擬似データを組み合わせて GEC モデ ルの訓練に使用している. しかしながら, Zhou ら [24] は，擬似データを組み合わせた場合の GEC モ デルの訂正傾向について報告していない. 我々は，異なる逆翻訳モデルから生成した擬似データを組み 合わせた場合の GEC モデルの訂正傾向を報告する。

## 3 実験設定

## 3.1 データセット

訓練データおよび検証データには BEA-2019 [25] で使用されたものを用いた. BEA-2019 で使用されたデータセットは FCE [26], Lang-8コー パス [27, 28], NUCLE [29], および W\&I+LOCNESS [30, 31] から構成されている. Chollampatt ら [3] に従 い，訓練データから編集のない文対を削除した。そ の後, 訓練データの訂正文側のみからサブワードを 獲得し，BPE [32]を適用した.ここで，語彙サイズ は 8,000 とした. 以降では，訓練データおよび検証
データをそれぞれ BEA-train，BEA-valid と呼ぶ.

また，擬似誤り文を生成するための生成元コーパ スとして，Wikipediaからランダムに抽出した 900 万文を使用した1)。

## 3.2 性能評価

GEC モデルの評価データには，CoNLL-2014 [33]， JFLEG [34], および BEA-2019 のテストデータ (BEAtest）を使用した. CoNLL-2014 では M ${ }^{2}$ [35]，JFLEG では GLEU [36]を評価指標に用いた. また, BEA-test およびBEA-valid は, ERRANT $[37,38]$ を用いて評価 を行なった．アンサンブルモデルを除く報告する全 ての値は 3 つの異なるシードを用いて訓練された GEC モデルのスコアの平均である ${ }^{21}$. アンサンブル モデルでは，平均值を得るために訓練した 3 つの GEC モデルをアンサンブルした結果を報告する。

## 3.3 文法誤り訂正モデル

GEC モデルには，代表的な EncDec ベースのモデ ルである Transformerを使用した. モデルのアーキ テクチャは Vaswani ら [17] の "Transformer (base)" と し，fairseq [39]にある実装を用いた. Kiyono ら [12] に従い，擬似データを事前学習に使用し，その後 BEA-train でファインチューニングを行なった. 事前学習では Adam [40], ファインチューニングでは Adafactor [41] を最適化に用いた。 さらに，ベースラ インとして，事前学習を行わずに BEA-train のみを 用いて訓練したモデルを用意した.

また，異なる逆翻訳モデルから生成した擬似デー タを組み合わせた場合の訂正傾向を調査するため, 3.4 節で説明する逆翻訳モデルのうち Transformer お よび CNN から生成した 900 万文の擬似データを組 み合わせた 1,800 万文の擬似データで事前学習され た GEC モデルを用意した. さらに，異なる逆翻訳 モデルを使用した場合と比較するため，シードのみ が異なる単一の逆翻訳モデルから擬似データを生成し, 同様に組み合わせた擬似データで事前学習さ れた GEC モデルを用意した。ここで，全ての逆翻訳モデルに与えた文は同じである。そのため，擬似 データを組み合わせた際，擬似誤り文側の種類数は 増えているが，訂正文側の種類数は増えていない。

1） 2020 年 7 月 6 日のダンプデータを用いた.

2）逆翻訳モデルのシードの違いによる影響を軽減するため,各シードの GEC モデルごとに対応するシードで訓練した逆翻訳モデルを用意した. そして，その対応する逆翻訳モデルか ら生成した擬似データを GEC モデルの事前学習に使用した.
表 1: それぞれの GEC モデルの訂正性能（シングルモデルアンサンブルモデル）上段は逆翻訳モデルごとの性能を表 し，下段は擬似データを組み合わせて使用した場合の性能を表す。

} & \multicolumn{3}{|c|}{ BEA-test } \\

## 3.4 逆翻訳モデル

GEC において逆翻訳を使用している研究が用い ているモデルを参考にして，Transformer，CNN，お よび LSTM を選択した。また，全てのモデルの実装 は fairseqにあるものを使用した. さらに，多様な 誤りを生成するために，デコード時に Xie ら [9] に よって提案されたノイズ付きビームサーチを使用し た. 本手法では，ビームサーチ時に，毎ステップご との各仮説のスコアに $r \beta_{\text {random }}$ をノイズとして加え る. ここで， $r$ は区間 $[0,1]$ の一様分布からランダ ムに選択される値であり， $\beta_{\text {random }}$ はノイズの大きさ を調節するためのハイパーパラメータである．本実験においては, Transformer では $\beta_{\text {random }}=8, \mathrm{CNN}$ で は $\beta_{\text {random }}=10$, LSTM では $\beta_{\text {random }}=12$ とした ${ }^{3}$ ).

## 4 実験結果

## 4.1 全体の訂正性能

逆翻訳モデルごとの訂正性能表 1 の上段に，逆翻訳モデルごとの訂正性能を示す. 表 1 より，評価データによって，優れている逆翻訳モデル が異なることが分かる. 例えば，CoNLL-2014で は Transformerを使用した場合に最も性能が高く， JFLEG および BEA-test では CNN を使用した場合に 最も性能が高いことが分かる. また, BEA-test で は，Transformer よりもLSTM を使用した場合の方 が， $\mathrm{F}_{0.5}$ 值が高いことが分かる. したがって，GEC モデルとして高い性能を持つ Transformer [12] が，必 ずしも逆翻訳モデルとしても優れているとは限らな いことが示唆される。

擬似データを組み合わせた場合の訂正性能 表 1 の下段に，擬似データを組み合わせた場合の訂正性

3） 事前実験において，BEA-valid 上で最大の $F_{0.5}$ 值となった時 の値を使用した。能を示す. 表 1 より, 異なる逆翻訳モデルから生成 した擬似データを組み合わせて使用した場合，擬似 データを組み合わせない場合よりも一貫して性能が 向上していることが分かる。一方で，シードのみが 異なる単一の逆翻訳モデルから生成した擬似デー タを組み合わせた場合，一部の項目において組み合 わせない場合よりも性能が低下していることが分 かる．例えば，Transformer では，アンサンブルモデ ルにおける CoNLL-2014 上の $\mathrm{F}_{0.5}$ 值で，組み合わせ ない場合のスコアは 59.0 であるが，組み合わせた 場合のスコアは 58.9 である。また， CNN の場合で も同様に，アンサンブルモデルにおける BEA-test 上 の $\mathrm{F}_{0.5}$ 值で，組み合わせない場合のスコアは 63.4 で あるが，組み合わせた場合のスコアは 63.3 である. したがって，異なる逆翻訳モデルから生成した擬似 データを組み合わせて使用する方が，シードのみが 異なる単一の逆翻訳モデルを使用するよりも，より 頑健な GEC モデルが構築されると考えられる.

## 4.2 誤りタイプ別の訂正性能

逆翻訳モデルごとの訂正性能 表 2 の左側に，シ ングルモデルにおける BEA-test 上での誤りタイプ別 の $\mathrm{F}_{0.5}$ 值を示す. 表 2 より，Transformer では PRON （代名詞）の誤りの性能が高いことが分かる.また， CNN では PREP (前置詞), VERB:TENSE (時制) お よび VERB:SVA（主語と動詞の一致）の誤り，LSTM では VERB（動詞）の誤りの性能が高いことが分か る.したがって，逆翻訳モデルごとに誤りタイプ別 の訂正傾向が異なると考えられる.

また，Transformerを逆翻訳モデルに使用した場合，PUNCT（句読点）の誤りの性能がベースライン よりも低下している。さらに，CNNと LSTM の場合でも，他の誤りタイプと比較して，PUNCT の誤 りはベースラインからの性能の向上幅が小さいこと
表 2: シングルモデルにおける BEA-test 上での誤りタイプ別の $\mathrm{F}_{0.5}$ 值. 頻度が 100 以上である誤りタイプを抜き出した. また，全ての誤りタイプの頻度の合計は 4,882 である。なお，誤りタイプの詳細は文献 [37]を参照せよ.

 &  &  \\

が分かる。したがって，逆翻訳による擬似データを 使用した場合，PUNCT の誤りは性能を改善させる ことが難しい誤りタイプであると考えられる.

擬似データを組み合わせた場合の訂正性能 表 2 の右側に，擬似データを組み合わせた場合のシング ルモデルにおける BEA-test 上での誤りタイプ別の $\mathrm{F}_{0.5}$ 值を示す. 表 2 より, PUNCT, VERB:TENSE お よび VERB:FORM（不定詞・動名詞・分詞の用法） を除く誤りタイプにおいて，異なる逆翻訳モデルか ら生成した擬似データを組み合わせた場合の方が， シードのみが異なる単一の逆翻訳モデルを使用した 場合の少なくとも一方よりも性能が高いことが分か る.そのため，異なる逆翻訳モデルから生成した擬似データを使用した場合，シードのみが異なる単一 の逆翻訳モデルを使用した場合に対して，性能が向上するあるいは補間する性能を持つと考えられる.

また, OTHER（その他）の誤りについて，シード のみが異なる単一の逆翻訳モデルから生成した擬似 データを組み合わせた場合，組み合わせない場合と 比較して, 性能が向上していないことが分かる。一方で，異なる逆翻訳モデルから生成した擬似データ を組み合わせた場合は，組み合わせない場合よりも 性能が向上している. したがって，異なる逆翻訳モ デルを使用することにより，より多様な誤りタイプ を訂正することが可能になると考えられる。

シードの違いによる影響 ここでは，逆翻訳モデ ルのシードの違いによる影響について検討する. 表 2 より, 異なる逆翻訳モデルから生成した擬似デー
タを組み合わせた場合よりも，シードのみが異なる 単一の逆翻訳モデルを使用した場合の方が，高い 性能になる誤りタイプがあることが分かる. 我々 は, この理由の一つとして, 逆翻訳モデルのシー ドのみを変えた場合でもある程度性能にばらつき があるためであると考える．例えば，逆翻訳モデ ルに Transformerを使用した場合，DET（限定詞）の 誤りの標準偏差は 1.62 と比較的高い. またこの時, Transformer \& CNN よりも, Transformer \& Transformer の方が高い性能になっている。このように，ある程度性能にばらつきがある誤りタイプでは，シードの みが異なる単一の逆翻訳モデルを使用した場合で も，異なる逆翻訳モデルを使用した場合と比べて，性能が向上する可能性があると考えられる.

## 5 おわりに

本研究では，逆翻訳モデルごとの GEC モデルの 訂正傾向を調査した. その結果，逆翻訳モデルごと に誤りタイプ別の訂正傾向が異なることが分かっ た.また，異なる逆翻訳モデルから生成した擬似 データを組み合わせた場合，シードのみが異なる単一の逆翻訳モデルから生成した擬似データを組み合 わせた場合に対して，性能が向上するあるいは補間 する性能を持つことを確認した。

## 謝辞

Lang-8 のデータを使用したことについて, 株式会社 Lang-8 の喜洋洋氏に感謝申し上げます.

## 参考文献

[1] Zheng Yuan and Ted Briscoe. Grammatical error correction using neural machine translation. In NAACL, pp. 380-386, 2016.

[2] Jianshu Ji, Qinlong Wang, Kristina Toutanova, Yongen Gong, Steven Truong, and Jianfeng Gao. A Nested Attention Neural Hybrid Model for Grammatical Error Correction. In $A C L$, pp. 753-762, 2017.

[3] Shamil Chollampatt and Hwee Tou Ng. A Multilayer Convolutional Encoder-Decoder Neural Network for Grammatical Error Correction. In AAAI, pp. 5755-5762, 2018.

[4] Wei Zhao, Liang Wang, Kewei Shen, Ruoyu Jia, and Jingming Liu. Improving Grammatical Error Correction via Pre-Training a Copy-Augmented Architecture with Unlabeled Data. In NAACL, pp. 156-165, 2019

[5] Jonas Gehring, Michael Auli, David Grangier, Denis Yarats, and Yann N. Dauphin. Convolutional Sequence to Sequence Learning. In ICML, pp. 1243-1252, 2017.

[6] Roman Grundkiewicz and Marcin Junczys-Dowmunt. Near Human-Level Performance in Grammatical Error Correction with Hybrid Machine Translation. In NAACL, pp. 284-290, 2018.

[7] Yoav Kantor, Yoav Katz, Leshem Choshen, Edo Cohen-Karlik, Naftali Liberman, Assaf Toledo, Amir Menczel, and Noam Slonim. Learning to combine Grammatical Error Corrections. In $B E A, \mathrm{pp}$. 139-148, 2019.

[8] Philipp Koehn and Rebecca Knowles. Six Challenges for Neural Machine Translation. In WNMT, pp. 28-39, 2017.

[9] Ziang Xie, Guillaume Genthial, Stanley Xie, Andrew Ng, and Dan Jurafsky. Noising and Denoising Natural Language: Diverse Backtranslation for Grammar Correction. In NAACL, pp. 619-628, 2018.

[10] Jared Lichtarge, Chris Alberti, Shankar Kumar, Noam Shazeer, Niki Parmar, and Simon Tong. Corpora Generation for Grammatical Error Correction. In NAACL, pp. 3291-3301, 2019.

[11] Roman Grundkiewicz, Marcin Junczys-Dowmunt, and Kenneth Heafield. Neural Grammatical Error Correction Systems with Unsupervised Pre-training on Synthetic Data. In BEA, pp. 252-263, 2019.

[12] Shun Kiyono, Jun Suzuki, Tomoya Mizumoto, and Kentaro Inui. Massive Exploration of Pseudo Data for Grammatical Error Correction. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 28, pp. 2134-2145, 2020.

[13] Masahiro Kaneko, Masato Mita, Shun Kiyono, Jun Suzuki, and Kentaro Inui. Encoder-Decoder Models Can Benefit from Pretrained Masked Language Models in Grammatical Error Correction. In $A C L$, pp. 4248-4254, 2020

[14] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving Neural Machine Translation Models with Monolingual Data. In $A C L$, pp. 86-96, 2016.

[15] Tao Ge, Furu Wei, and Ming Zhou. Fluency Boost Learning and Inference for Neural Grammatical Error Correction. In $A C L$, pp. 1055-1065, 2018.

[16] Zhaohong Wan, Xiaojun Wan, and Wenguang Wang. Improving Grammatical Error Correction with Data Augmentation by Editing Latent Representation. In COLING, pp. 2202-2212, 2020.

[17] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In NeurIPS, pp. 5998-6008, 2017.

[18] Sepp Hochreiter and Jürgen Schmidhuber. Long Short-Term Memory. Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[19] Phu Mon Htut and Joel Tetreault. The Unbearable Weight of Generating Artificial Errors for Grammatical Error Correction. In BEA, pp. 478-483, 2019.

[20] Yikang Shen, Zhouhan Lin, Chin wei Huang, and Aaron Courville. Neural Language Modeling by Jointly Learning Syntax and Lexicon. In ICLR, 2018.
[21] Yikang Shen, Shawn Tan, Alessandro Sordoni, and Aaron Courville. Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks. In ICLR, 2019.

[22] Max White and Alla Rozovskaya. A Comparative Study of Synthetic Data Generation Methods for Grammatical Error Correction. In BEA, pp. 198-208, 2020.

[23] Yo Joong Choe, Jiyeon Ham, Kyubyong Park, and Yeoil Yoon. A Neural Grammatical Error Correction System Built On Better Pretraining and Sequential Transfer Learning. In BEA, pp. 213-227, 2019.

[24] Wangchunshu Zhou, Tao Ge, Chang Mu, Ke Xu, Furu Wei, and Ming Zhou. Improving Grammatical Error Correction with Machine Translation Pairs. In EMNLP Findings, pp. 318-328, 2020.

[25] Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 Shared Task on Grammatical Error Correction. In BEA, pp. 52-75, 2019.

[26] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A New Dataset and Method for Automatically Grading ESOL Texts. In $A C L$, pp. 180-189, 2011.

[27] Tomoya Mizumoto, Mamoru Komachi, Masaaki Nagata, and Yuji Matsumoto. Mining Revision Log of Language Learning SNS for Automated Japanese Error Correction of Second Language Learners. In IJCNLP, pp. 147-155, 2011.

[28] Toshikazu Tajiri, Mamoru Komachi, and Yuji Matsumoto. Tense and Aspect Error Correction for ESL Learners Using Global Context. In $A C L$, pp. 198-202, 2012.

[29] Daniel Dahlmeier, Hwee Tou Ng, and Siew Mei Wu. Building a Large Annotated Corpus of Learner English: The NUS Corpus of Learner English. In BEA, pp. 22-31, 2013.

[30] Sylviane Granger. The computerized learner corpus: a versatile new source of data for SLA research. In Learner English on Computer, pp. 3-18. 1998.

[31] Helen Yannakoudakis, Øistein E Andersen, Ardeshir Geranpayeh, Ted Briscoe, and Diane Nicholls. Developing an Automated Writing Placement System for ESL Learners. Applied Measurement in Education, Vol. 31, No. 3, pp. 251-267, 2018.

[32] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural Machine Translation of Rare Words with Subword Units. In $A C L$, pp. 1715-1725, 2016.

[33] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL2014 Shared Task on Grammatical Error Correction. In CoNLL, pp. 1-14, 2014.

[34] Courtney Napoles, Keisuke Sakaguchi, and Joel Tetreault. JFLEG: A Fluency Corpus and Benchmark for Grammatical Error Correction. In EACL, pp. 229-234, 2017.

[35] Daniel Dahlmeier and Hwee Tou Ng. Better Evaluation for Grammatical Error Correction. In NAACL, pp. 568-572, 2012.

[36] Courtney Napoles, Keisuke Sakaguchi, Matt Post, and Joel Tetreault. Ground Truth for Grammatical Error Correction Metrics. In ACL-IJCNLP, pp. 588-593, 2015.

[37] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic Annotation and Evaluation of Error Types for Grammatical Error Correction. In $A C L$, pp. 793-805, 2017

[38] Mariano Felice, Christopher Bryant, and Ted Briscoe. Automatic Extraction of Learner Errors in ESL Sentences Using Linguistically Enhanced Alignments. In COLING, pp. 825-835, 2016.

[39] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In NAACL, pp. 48-53, 2019.

[40] Diederik P. Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In ICLR, 2015

[41] Noam Shazeer and Mitchell Stern. Adafactor: Adaptive Learning Rates with Sublinear Memory Cost. In ICML, pp. 4596-4604, 2018 .


# Recurrent neural network grammar の並列化

能地宏
産業技術総合研究所
人工知能研究センター
hiroshi.noji@aist.go.jp

## 1 はじめに

自然言語処理のモデルは言語の統語構造を明示的に扱うべきだろうか。その必要はないだろうか。近年の大規模コーパス上での事前学習モデルの成功を見ると (Devlin et al., 2019)、特定タスクで高い 精度を得るためには明示的な統語構造は不要に思 える。一方、これらのモデルの脆弱性 (McCoy et al., 2019; Yanaka et al., 2020) や人間の汎化能力との解離 (Linzen, 2020) も指摘されており、人の持つ頑健な言語能力を計算機上で実現するためには、シンボリッ クな統語構造の操作など強力な帰納バイアスがやは り必要であるという可能性も捨てきれない。

現在 Transformer (Vaswani et al., 2017) を始めとする 単純で弱い帰納バイアスのモデルがもてはやされて いる大きな理由は、それらの GPU 上での並列計算 との親和性による高いスケーラビリティである。明示的に構造を扱う深層学習モデルも提案されている ものの、計算グラフが文毎に変化するという特性か ら並列化が難しく、大規模なデータ上で効率的な学習が行えないことが実用上の大きな妨げとなってい る。例えば Kuncoro et al. (2020) は、 Recurrent neural network grammar (RNNG; Dyer et al. (2016)) に対して BERT の訓練データの約 $3 \%$ (340万文)を使った訓練 に 3 週間を要したと報告している。

本研究では、構造を扱うモデルとしてこの RNNG に着目し、このモデルのミニバッチ化がモデル構造 を注意深く観察し、データ構造を工夫することで実現可能となることを示す。RNNG はこれまで DyNet (Neubig et al., 2017) による実装しか存在しなかった。 DyNet は計算グラフからミニバッチ単位を自動で見 つける Autobatch と呼ばれる機能を備えるが、この 機能自体のオーバーヘッドが大きいために、大きい バッチサイズによる並列化の恩恵が得られにくいと いう問題があった。我々は提案アルゴリズムを新し く PyTorch で実装したところ、C++ DyNet の実装と

\author{
大関洋平 \\ 東京大学 \\ 大学院総合文化研究科 \\ oseki@g.ecc.u-tokyo.ac.jp
}

比較して大幅な速度向上を達成した。本研究で提案 するアイデアは他のモデルにも適用可能なものであ り、様々な構造を考慮に入れたモデルを設計する際 の新しい方法論となり得る。

## 2 Recurrent neural network grammar

RNNG (Dyer et al., 2016) は文及び対応する句構造 を同時に生成する生成モデルであり、言語モデルと して LSTM 言語モデルなど他のモデルよりも統語能力、例えば英語での離れた主語と動詞の数を一致さ せる能力 (Linzen et al., 2016) などに優れることが示 されている他 (Hu et al., 2020)、人の文処理のモデル としての妥当性も主張されている (Hale et al., 2018)。本研究では元論文のモデルではなく、Kuncoro et al. (2017) で提案された Stack-only RNNG を取り扱う。 このモデルは各時点で LSTM の先頭の状態が次の動作の確率を定めるという点で、LSTM 言語モデルと の類似性が認められる。

RNNG は各時点で (S (NP A dog ) (VP barks ))のよ うな句構造を左から右に生成するモデルと理解され る。 ${ }^{1)}$ こ際、データ構造として各要素がべクトルで あるスタックを用い、その上での LSTM (スタック LSTM; Dyer et al. (2015)) によって状態を更新してい く点に特徴がある。次の三つの動作からなる。

・OPEN(X): スタック上に非終端記号 X に対応す るべクトル $\mathbf{e}_{X}$ を置く。新しく開いた $(\mathrm{X}$ の生成 を意味する。

・ $\mathrm{GEN}(\mathrm{w})$ : スタック上に単語ベクトル $\mathbf{e}_{w}$ を置く。単語 $\mathrm{w}$ の生成を意味する。

・REDUCE: スタックが左から $\left[\cdots \mathbf{e}_{X} \mathbf{e}_{w_{1}} \cdots \mathbf{e}_{w_{n}}\right]$ であるとき、 $\mathbf{e}_{X} \mathbf{e}_{w_{1}} \cdots \mathbf{e}_{w_{n}}$ を取り除き、句 Xに 対応する新しいべクトル $\mathbf{e}_{X^{\prime}}$ で置き換える。

$
\mathbf{e}_{X^{\prime}}=\operatorname{Composition}\left(\mathbf{e}_{X}, \mathbf{e}_{w_{1}}, \cdots, \mathbf{e}_{w_{n}}\right)
$

1）生成過程に品詞を含めると (NP (DT A ) (NN dog )) などとな るが、元論文のモデルに従い、本研究では品詞の生成はモデ ル化せず、単語を直接生成するモデルを扱う。

この関数がトップダウンの木構造生成過程に おいて句構造の階層性を捉えるための中心的役割を果たす。本研究では元論文に従い、 $\mathbf{e}_{X}, \mathbf{e}_{w_{1}}, \cdots, \mathbf{e}_{w_{n}}$ を大力とする双方向 LSTM の両端の出力を結合することで $\mathbf{e}_{X^{\prime}}$ を得る。本動作が REDUCE であるのは、OPEN(X) で開いた 句を閉じる操作に対応するためである。例え ば上の簡単な文で GEN $(\operatorname{dog})$ の後のスタックは $\left[\mathbf{e}_{\mathrm{S}} \mathbf{e}_{\mathrm{NP}} \mathbf{e}_{\mathrm{A}} \mathbf{e}_{\mathrm{dog}}\right]$ となり、ここから REDUCE によ り (NP A dog) に相当する句べクトル $\mathbf{e}_{\mathrm{NP}}$ を計算 した後、スタックは $\left[\mathbf{e}_{\mathrm{S}} \mathbf{e}_{\mathrm{NP}^{\prime}}\right]$ となる。

これらスタック要素 $\mathbf{e}_{X}, \mathbf{e}_{w}$ をもとに、各時点で次 の動作 $a_{i}$ に対する確率が、単方向 LSTM によって 計算される。スタック要素が $\mathbf{e}_{1}, \cdots, \mathbf{e}_{t}$ であるとき、 $\mathbf{u}_{i}=\operatorname{MLP}\left(\operatorname{LSTM}\left(\mathbf{e}_{1}, \cdots, \mathbf{e}_{t}\right)\right)$ として、

$
p\left(a_{i} \mid a_{1}, \cdots, a_{i-1}\right) \propto \exp \left(\mathbf{W} \cdot \mathbf{u}_{i}\right)
$

が次の動作の分布となる。LSTM は逐次先頭から実行する必要はなく、各ステップの隠れ層をスタック の形で保持しておけば、REDUCE 時には適宜 pop 乙 つつ 1 ステップの実行を行うのみで良い。本機構が スタック LSTM と呼ばれる所以である。学習は、正解の木構造が与えられたときにそれを復元する動作確率を最大化する教師あり学習により行われる。

並列化の難しさ 単純な LSTM の学習が本モデル より効率的なのは、複数文をまとめたミニバッチの 中で $i$ 番目の単語をまとめて処理できるためである。 Transformer は更に再帰性を取り除くことで、全単語 を同時に処理することを可能としている。RNNG は 一方、各時点 $i$ で選択される動作が文 (木構造) 毎に 異なるため、単語単位の並列化を行うことが困難と なる。DyNet (Neubig et al., 2017)の Autobatch はこれ を軽減するための仕組みだが、仕組み自体のオー バーヘッドが無視できず、特に大きいバッチサイズ では効果が限定的となる (第 5 節)。

## 3 並列化

本研究では複数文からなるミニバッチに対して、 バッチ内の全文の $i$ 番目の動作を並列に行うアルゴ リズムを提案する。鍵となるのは、上で導入した OPEN、GEN、REDUCE の内部動作が、次の二つの 基本動作の組み合わせで表現可能という点である。

・ $\operatorname{PUSH}\left(\mathbf{e}_{x}\right): \mathbf{e}_{x}$ をスタック先頭に追加する。

・ $\operatorname{CLOSE}()$ : スタック上で開いている句 (Xを閉じ た後 Composition() で得られる $\mathbf{e}_{X^{\prime}}$ を返す。
これらを用いると、元の RNNG の動作は
- $\operatorname{OPEN}(\mathrm{X}) \Rightarrow \operatorname{PUSH}\left(\mathbf{e}_{X}\right)$
- $\mathrm{GEN}(\mathrm{w}) \Rightarrow \mathrm{PUSH}\left(\mathrm{e}_{w}\right)$
- REDUCE $\Rightarrow$ PUSH(CLOSE())

と表現できる。いずれも $\operatorname{PUSH}\left(\mathbf{e}_{x}\right)$ を含んでいる点 に注目されたい。これらをバッチ内の文に渡って並列化するには、まず各文について PUSH すべき要素 $\mathbf{e}_{x}$ を得た後、まとめてスタックに追加すれば良い。

スタックのテンソル化 これを実現するには、ス タックを表すデータ構造を工夫する必要がある。我々は $B$ をバッチサイズとして $\mathbf{E}_{i}=\left[\mathbf{e}^{1} \cdots \mathbf{e}^{B}\right]$ の要素をまとめてスタックに追加したい。これを一つの テンソル計算で実現するためには、挿入先のスタッ ク自体がテンソルである必要がある。式で表すと、

$
\mathbf{j}=\mathbf{j}+1 ; \quad \mathbf{S}[(1, \mathbf{j}[1]), \cdots,(B, \mathbf{j}[B])]=\mathbf{E}_{i}
$

と書ける。ここで $\mathbf{j}$ は $B$ 次元のベクトルであり、各文に対するスタックの深さのポインタを保持す る。 $\mathbf{S}$ がスタックを保持するテンソルであり、 $D$ をあらかじめ定まる最大のスタックの深さとして $\left(B, D,\left|\mathbf{e}_{x}\right|\right)$ の次元を持つ。このようにスタックを固定長のテンソルで表現することで PUSH 操作のバッ チ内に渡る並列化が可能となる。2)

CLOSE のためのデータ構造上記操作で PUSH を実現する場合、 $\mathbf{E}_{i}$ を具体的にどう得るかが問題と なる。次の動作を表すべクトル $\mathbf{a}_{i}=\left[a_{i}^{1} \cdots a_{i}^{B}\right]$ が与 えられたとき、OPEN、GENに関しては、 $\mathbf{a}_{i}$ から それぞれの動作のみ選択するためのマスク行列を 得て、単語及び非終端記号の埋め込み行列から値を 取り出せば良い。REDUCE に伴う CLOSE 処理は若干複雑である。CLOSEを for や if を伴わず効率的 に実現するには、更にいくつかのデータ構造を用意 し、それらを操作する必要がある。

-nt_positions: nt_positions $[\mathrm{b}, \mathrm{d}]=\mathrm{k}$ で文 $b$ の スタック中で $d$ 番目の非終端記号が深さ $k$ にあ ることを表す、 $(B, D)$ 次元の行列。

-nt_ids: nt_positions $[\mathrm{b}, \mathrm{d}]=\mathrm{x}$ で文 $b$ のスタッ ク中で $d$ 番目の非終端記号が $x$ であることを表 す、 $(B, D)$ 次元の行列。

2） $D$ はバッチ毎にあらかじめ定めておく必要があるが、これ を大きくすると GPUメモリを多量に消費するという問題も生 じる。訓練時であれば、各文に対して正解の動作列をあらか じめシミュレートすることで最小値を得ておき、バッチ内の 文で最大の值を用いれば良い。推論の際は深さが理論上無限 に増えるが、英語の標準的な文であれば、150 単語を超える長 い文であっても、深さ 70 程度で抑えられることが分かった。 そのため、推論時には $D=100$ に設定した。

(a) 訓練時の文処理速度の比較

(b) PTB 開発セットでの構文解析精度

(c) PTB 開発セットでの perplexity

図 1: Penn Treebank (PTB) での実験結果。いずれのポイントも seed の異なる 3 モデルの平均である。

・num_nts: 文 $b$ のスタック中の非終端記号の数を 保持する $B$ 次元ベクトル。

例えばnt_positions[(1,num_nts[1]), , (B,num_n $\mathrm{ts}[\mathrm{B}])]$ でバッチに渡り先頭の非終端記号のスタッ ク深さを得ることができ、 $\mathbf{a}_{i}$ からのマスク行列と組 み合わせることで CLOSE の対象となるスタック要素をテンソル計算で取り出すことが可能となる。

既存研究との関連スタック KSTMを固定長テン ソルによって並列化する研究は本研究が初ではな く、Ding and Koehn (2019) がより単純なラベルなし 依存構造解析に対してアイデアを提示している。た だし彼らのアルゴリズムは COMPOSITION が扱えず、更に二分木の場合にしか適用できない。本研究の貢献は、より複雑なスタック上の操作を要する RNNG に対しても、効率的なバッチ処理が実現可能である ことを示した点にある。

## 4 その他の改善

Beam search の並列化 RNNG を言語モデル、も しくは逐次的な構文解析器として用いる場合、各単語毎にビーム内の足切りを行う word-synchronous beam search (Stern et al., 2017) の有効性が示されてい る。ただし既存の DyNet の実装は非常に遅く、小規模な実験のためであってもかなりの計算リソースを 要する。我々はこの beam search も、ビーム幅の次元をスタックのテンソルに組み込むことで並列化す ることに成功し、大幅な速度の向上を実現した。

サブワード 未知語を含まない言語モデルとして サブワード単位の言語モデルが標準的となってい る。本研究はRNNG の予測をサブワード単位に拡張した。具体的には、予測する木構造の終端記号を 分割し、(S (NP The do\#\# g ) (VP bar\#\# ks )) のような 木構造をモデル化する。なお Kuncoro et al. (2020) で はより複雑なサブワードへの対応法が議論されてい るが、我々の実装ではこの単純な方法でも高い性能
が維持できることが分かった。

## 5 DyNet 実装との比較

まず、Penn Treebank (PTB) を用いて C++ DyNet の 実装との訓練時の処理時間の比較を行う。モデルサ イズ、ハイパーパラメータ及びデータ前処理は Dyer et al. (2016) に従い、モデルの全ての次元を 256 に設定した。3）訓練データのうち 1 回しか出現しない単語は未知語に置き換え、語彙サイズは 23,794 となっ た。バッチサイズを $2^{0}, \cdots, 2^{9}=512$ まで変化させ た。実験環境は 16GB の Nvidia V100 GPU $\times 1$ であ る。各設定 3 回の試行を行い、平均値を報告する。

訓練を 1 エポック行った際の一秒あたりの処理文数の比較を図 1a に示す。DyNet 実装はメモリ不足 のためバッチサイズ 128 までしか実行できなかった が、 32 程度で速度の上限に達してしまった。一方我々の PyTorch 実装は GPU メモリの許すバッチサイ ズ 512 まで処理速度の向上を達成し、両者の最大の 速度を比較すると約 6 倍と大幅な改善を達成した。

更に重要な点として、大きいバッチサイズのモデ ルは実時間でより早く収束し、また推論時により 高い性能を示すことが分かった。図 $1 \mathrm{~b}, 1 \mathrm{c}$ に、これ らモデルでビーム幅を変えてビームサーチを行っ た際の EVALBでのF1 スコア (構文解析精度)と perplexity の値をまとめた。4) F1 スコアの差は小さい が、 perplexity はバッチサイズ 512 の場合が一貫し て最も低い。これより、以下の大規模実験ではバッ チサイズは 512 に固定した。

3）DyNet 実装では最適化に SGDが使われているが、我々の実装では Adam (Kingma and Ba, 2015) の方が安定して高い性能を 示した。学習率は 0.001 に設定した。

4）言語モデルとしての perplexity の計算方法などは Hale et al. (2018)に譲る。これらはアクションビーム幅 (Stern et al., 2017) であり、word-synchronous search の単語ビーム幅はその 1/10、 fast track の大きさを $1 / 00$ とした。これは Hale et al. (2018) と同 じ設定であるが、彼らの数値より一貫して 0.8 ポイント程度高いF1 値を得ており、我々の実装がより高品質なモデルの学習を可能にすることを示している。

## 6 大規模データでの検証と議論

本研究によって大規模データ上で RNNG の学習 を行う道が開けたといえる。過去の研究で RNNG と LSTM は対比されてきたが (Wilcox et al., 2019; Hu et al., 2020) 、RNNG のスケーラビリティが低いため に PTB など小規模のデータ上での実験に限定され ていた。より大量のデータで同じ条件で訓練した 際、RNNG は LSTM に対する優位性を保持するだろ うか。大量のデータを与えられた LSTM は統語能力 をある程度獲得し、明示的に構造を追跡する利点が 相対的に薄れるという可能性も考えられる。

本節ではこの点を検証するために、英語 Wikipedia から新たにサンプルした約一億語 (PTB の約 100 倍) の訓練データで学習したLSTM とRNNGを、言語モ デルとしての統語能力の観点で評価する。様々な評価方法が提案されているが、本研究では、その中で 現時点で最も広い言語現象をカバーする SyntaxGym (Gauthier et al., 2020)を用いる。5) これは様々な文法項目について、言語モデルがそれらを把握する能力 がどれほどあるかを調べるためのテストセットであ る。例えば Agreement のテストでは “The farmer near the clerks knows/*know many people.” のように動詞の 数が違う二文が与えられ、下線部の単語に対してモ デルが付与する尤度を比較したとき、適格な単語 (knows) に高い尤度を付与していれば正解となる。

本実験はサブワードを用いる。Sentencepiece (Kudo and Richardson, 2018) 実装の byte-pair encoding (Sennrich et al., 2016) を利用し、語彙サイズ 30,720 と した。LSTM 言語モデルは Noji and Takamura (2020) でチューニングした文単位のモデルを用いる。 LSTM、RNNG 共に、パラメータ数がこの語彙数で 約 35M となるように調整した。6) RNNG の学習デー タはアノテートされた句構造からなる。Wikipedia 文書に対するなるべく高精度の句構造を得る目的 で、BERT に基づく Berkeley neural parser (Kitaev and Klein, 2018)を利用し、正解の構造とみなした。

全体の結果を図 2 にまとめた。特にLSTM 言語モデルで性能が $70 \%$ 程度までに留まる項目 (Agreement、Center Embedding、Licensing) で 10 ポイ ント以上の性能向上を果たしていることから、一億語ほどの学習データを用いても、RNNG で明示的に

図 2: SyntaxGym での各項目 (circuit) 毎の評価結果。エ ラーバーは seed の異なる 3 モデルでの標準偏差を表す。

構造を捉える利点は確実に存在することが分かる。

一方、Long-Distance Dependencies では精度が低下 している。この項目は分裂文 (cleft) 及びフィラー・ ギャップ構造の扱いをテストするものである。中身 を分析したところ、特に単純な擬似分裂文に対し て、LSTM は精度がほぼ 100\%であるのに RNNG は 60\%程度しか解けていないことが判明した。例えば 次の二文で、下線部の尤度が (1a) > (1b) であること を判定する問題である。

(1) a. What he did was prepare the meal.

b. * What he ate was prepare the meal.

RNNG は構造を追跡するが故に、この現象を扱う能力が低下した可能性が考えられる。(1b) が不適であ るのは、was に続く句が動詞句であることが許され るのは主節に現れる動詞が do の場合のみだからで ある。一方、PTBアノテーションでは両者の主節は (SBAR (WHNP What) (S (NP he) (VP did/ate))) と同じ 構造で、実際モデルはこの構造を正しく認識してい る。これは RNNG は構造を追跡するが故に、その構造により依拠した予測をしがちであり、そのために LSTM が表層的に獲得できるヒューリスティクスの 獲得に失敗する可能性があることを示唆している。

図 2 よりRNNG が LSTM より統語処理能力全般 に優れるのは明らかであり、このような現在苦手で ある現象に対処するためのモデル面での改善は今後 の課題である。本研究で提案したバッチ化により、 RNNG は研究のためだけの道具ではなくLSTM と比較できるモデル候補となった。今後のモデルの更な る精緻化や付与すべきアノテーションの検討をはじ め、様々な研究に繋がる礎を築いたといえる。

## 謝辞

本研究は JSPS 科研費 JP20K19877 及び JP19H04990 の助成を受けたものです。

## 参考文献

J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova (2019) "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding," in Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota: Association for Computational Linguistics, June, DOI: 10.18653/v1/N19-1423.

S. Ding and P. Koehn (2019) "Parallelizable Stack Long Short-Term Memory," in Proceedings of the Third Workshop on Structured Prediction for NLP, pp. 1-6, Minneapolis, Minnesota: Association for Computational Linguistics, June, DOI: 10.18653/v1/W19-1501.

C. Dyer, M. Ballesteros, W. Ling, A. Matthews, and N. A. Smith (2015) "Transition-Based Dependency Parsing with Stack Long Short-Term Memory," in Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 334-343, Beijing, China: Association for Computational Linguistics, July, DOI: 10.3115/v1/P15-1033.

C. Dyer, A. Kuncoro, M. Ballesteros, and N. A. Smith (2016) "Recurrent Neural Network Grammars," in Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 199-209, San Diego, California: Association for Computational Linguistics, June, DOI: 10.18653/v1/N16-1024.

J. Gauthier, J. Hu, E. Wilcox, P. Qian, and R. Levy (2020) "SyntaxGym: An Online Platform for Targeted Evaluation of Language Models," in Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 7076, Online: Association for Computational Linguistics, July, DOI: 10.18653/v1/2020.acl-demos. 10 .

J. Hale, C. Dyer, A. Kuncoro, and J. Brennan (2018) "Finding syntax in human encephalography with beam search," in Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2727-2736, Melbourne, Australia: Association for Computational Linguistics, July, DOI: 10.18653/v1/P181254.

J. Hu, J. Gauthier, P. Qian, E. Wilcox, and R. Levy (2020) "A Systematic Assessment of Syntactic Generalization in Neural Language Models," in Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1725-1744, Online: Association for Computational Linguistics, July, DOI: 10.18653/v1/2020 acl-main. 158.

D. P. Kingma and J. Ba (2015) "Adam: A Method for Stochastic Optimization," in Y. Bengio and Y. LeCun eds. 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, URL: http://arxiv.org/abs/1412.6980.

N. Kitaev and D. Klein (2018) "Constituency Parsing with a Self-Attentive Encoder," in Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2676-2686, Melbourne, Australia: Association for Computational Linguistics, July, URL: http://www. aclweb .org/anthology/ P18-1249.

T. Kudo and J. Richardson (2018) "SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing," in Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium: Association for Computational Linguistics, November, DOI: 10.18653/v1/D18-2012

A. Kuncoro, M. Ballesteros, L. Kong, C. Dyer, G. Neubig, and N. A. Smith (2017) "What Do Recurrent Neural Network Grammars Learn About Syntax?" in Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 1249-1258, Valencia, Spain: Association for Computational Linguistics, April, URL: https://www. aclweb.org/
anthology/E17-1117.

A. Kuncoro, L. Kong, D. Fried, D. Yogatama, L. Rimell, C. Dyer, and P. Blunsom (2020) "Syntactic Structure Distillation Pretraining for Bidirectional Encoders," Transactions of the Association for Computational Linguistics, Vol. 8, pp. 776-794, DOI: 10.1162/tacl_a_00345.

T. Linzen (2020) "How Can We Accelerate Progress Towards Humanlike Linguistic Generalization?" in Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 52105217, Online: Association for Computational Linguistics, July, DOI: 10.18653/v1/2020.acl-main. 465.

T. Linzen, E. Dupoux, and Y. Goldberg (2016) "Assessing the Ability of LSTMs to Learn Syntax-Sensitive Dependencies," Transactions of the Association for Computational Linguistics, Vol. 4, pp. 521-535, DOI: 10.1162/tacl_a_00115.

T. McCoy, E. Pavlick, and T. Linzen (2019) "Right for the Wrong Reasons: Diagnosing Syntactic Heuristics in Natural Language Inference," in Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3428-3448, Florence, Italy: Association for Computational Linguistics, July, DOI: 10.18653/v1/P19-1334.

G. Neubig, Y. Goldberg, and C. Dyer (2017) "On-the-fly Operation Batching in Dynamic Computation Graphs," in I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett eds. Advances in Neural Information Processing Systems, Vol. 30, pp. 3971-3981: Curran Associates, Inc. URL: https://proceedings. neurips.cc/paper/2017/file/ c902b497eb972281fb5b4e206db38ee6-Paper. pdf.

H. Noji and H. Takamura (2020) "An Analysis of the Utility of Explicit Negative Examples to Improve the Syntactic Abilities of Neural Language Models," in Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 33753385, Online: Association for Computational Linguistics, July, DOI: 10.18653/v1/2020.acl-main. 309 .

R. Sennrich, B. Haddow, and A. Birch (2016) "Neural Machine Translation of Rare Words with Subword Units," in Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany: Association for Computational Linguistics, August, DOI: 10.18653/v1/P16-1162.

M. Stern, D. Fried, and D. Klein (2017) "Effective Inference for Generative Neural Parsing," in Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1695-1700, Copenhagen, Denmark: Association for Computational Linguistics, September, DOI: 10.18653/v1/D17-1178.

A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. u. Kaiser, and I. Polosukhin (2017) "Attention is All you Need," in I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett eds. Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008: Curran Associates, Inc. URL: https://proceedings . neurips.cc/paper/2017/file/ 3f5ee243547dee91fbd053c1c4a845aa-Paper. pdf.

E. Wilcox, P. Qian, R. Futrell, M. Ballesteros, and R. Levy (2019) "Structural Supervision Improves Learning of Non-Local Grammatical Dependencies," in Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3302-3312, Minneapolis, Minnesota: Association for Computational Linguistics, June, DOI: 10.18653/v1/N19-1334.

H. Yanaka, K. Mineshima, D. Bekki, and K. Inui (2020) "Do Neural Models Learn Systematicity of Monotonicity Inference in Natural Language?" in Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6105-6117, Online: Association for Computational Linguistics, July, DOI: 10.18653/v1/2020.aclmain.543.


# 日本語学習者コーパス I-JAS を用いた母語識別

西島光洋 1,2 劉穎 1 中田和秀 2
1 清華大学人文学院中国語言文学系 2 東京工業大学工学院経営工学系
nishijima.m.ae@m.titech.ac.jp, yingliu@tsinghua.edu.cn,
nakata.k.ac@m.titech.ac.jp

## 1 はじめに

母語識別 (Native Language Identification, NLI)とは, ある文書が母語話者以外によって書かれたことが分 かっている前提のもとで，その文書の書き手の母語を 識別するタスクである. NLI は第 2 言語習得 (Second Language Acquisition, SLA) や法言語学の分野で応用 がされ得る.たとえば，第 2 言語 (L2) 学習者が書い た文書に対する自動誤り訂正研究において，書き手の 母語を考慮することで訂正の質が向上することが指摘 されており [1], NLIにより書き手の母語を自動的に 認識することができれば，より質の高いフィードバッ クを学習者に与えられるようになる. また [2] では， NLIにおける機械学習モデルを解釈することで, 既存 の SLA 研究で得られた知見に新たな証拠を与えたり，新たな仮説を提唱したりできるとしている. そして NLI は，文書の書き手の属性を推定するタスクである 著者プロファイリングの一種としても捉えることが でき，犯罪捜査における活用も期待される [3]. 日本語学習者の数は年々増加傾向にあり [4], さらに 2019 年度から特定技能制度が開始されたことで, 日本語 をL2とする人は今後も増加していくと考えられる。 したがって，これまで L2 英語を中心にして行われて きた NLI 研究を L2 日本語に拡張することは重要で ある.

本稿は, L2 としての日本語で書かれた文書（以下 L2 日本語文書）に対して初めて NLIを行ったもので ある. また, 既存の NLI 研究で有効とされていた特徴 に加えて, 日本語特有の特徴として文字種を新たに提案する。これらの特徴を用いて L2 日本語文書の NLI を行った結果を報告する。 さらに，[2]の手法を参考 に, 線形サポートベクトルマシン (SVM) の重みベク トルを用いて, 中国語母語話者の過剩使用表現につい て分析する。

## 2 関連研究

NLI 研究の先駆けは, Koppel らによる研究 [5] であ る. 彼らは, 機能語, スペルミスなどの誤用, 文字 Ngram と品詞 (POS) Ngram を特徴として, 5 つの言語 をそれぞれ母語とする人によって書かれた文書に対し て線形SVM で分類を行なった結果, 最高で $80.2 \%$ の 正解率 (accuracy) が得られたとしている.これを契機 として，どのような特徴や分類器を用いることで NLI の識別性能を高められるかという研究が進むことにな る. 2013 年には， 11 の言語をそれぞれ母語とする人 によって書かれた文書に対する分類正解率を競う競技会が行われた。その競技会の報告論文 [6] では, 単語, POS や文字の Ngram が特徵として多く採用され, SVM が分類器として多く採用されたことが報告され ている.

以上の研究はすべて L2 英語を対象にした NLI で あった。そこで，英語に対して有効性が確認された NLI の手法が他の言語でも有効なのかという観点か ら，英語以外の言語を対象とした NLI 研究が 2011 年以降盛んに行われてきた $[7,8,9,10,11,12,13]$.

一方で，日本語に目を向けてみると，与えられた日本語文書が母語話者によって書かれたものかどうかを 機械学習手法を用いて識別する研究 [14] はあったと しても，日本語を対象にした NLI 研究は管見の限り存在しない.

## 3 手法

本節では, 本稿で用いたコーパスとその処理方法, そして特徴べクトルを作成する際に着目した文体特徴 と文書を分類するときに用いた分類器を述べる.

## 3.1 コーパスとその処理

本稿では, 日本語学習者コーパスとして『多言語母語の日本語学習者横断コーパス (I-JAS)』[15]を使用

した。I-JAS には, 中国語（中）, 英語（英）, フラン ス語 (仏), ドイツ語 (独), ハンガリー語 (洪), イン ドネシア語（尼）, 韓国語 (韓), ロシア語（露)，ス ペイン語 (西), タイ語 (泰), トルコ語 (土), ベト ナム語（越）の計 12 言語をそれぞれ母語とする日本語学習者によって産出されたデータが収録されてい る.今回は I-JAS に含まれるデータのうち，2 種類の コマ割り漫画を見てそのストーリーをそれぞれ描写す るストーリーライティング課題で産出された文書を用 い，2 種類の漫画からそれぞれ産出された 2 つの文書 を各学習者ごとに結合させたものを 1 文書として扱っ た. 中国語, 英語, 韓国語以外の 9 言語の学習者デー タは母語ごとにそれぞれ 50 件あるので，それらをす べて用いた。一方で, 中国語, 英語, 韓国語母語話者 のデータは収録数がそれぞれ 50 件を超えていたため， なるべく前述の 9 言語の学習者全体の日本語習熟度分布と一致するようにそれぞれ 50 件選択した1). つま り, 各母語話者ごとに 50 文書, 計 600 文書を用意し た。これらの文書に対して, 日本語自然言語処理ライ ブラリ GiNZA[16] を用いて形態素解析と依存構造解析を行なった。

## 3.2 文体特徵

各文書の特徴ベクトルを作成する際に着目した文体特徴とその説明ないし例を示す. 括弧内の英文字 は, 以下で用いる略称である. なお, 以下で用いる 「1-Ngram」とは，ある言語要素の 1 gram から Ngram までのすべてを指す.

(1) 形態素の基本形 (Lemma) 1-Ngram : 句読点や記号 なども含める。 [例]、二人 (2gram)

(2) 文字 (CHAR) 1-Ngram : 句読点や記号なども含め る. [例] !」と (3gram)

(3) 助詞と助動詞の基本形 (FW) 1-Ngram: 英語の機能語に対応する特徴. 品詞情報の第 1 階層が「助詞」または「助動詞」である形態素の基本形. [例]にられる (2gram)

(4) 品詞 (POS) 1-Ngram: 最深階層までの品詞情報. [例] 名詞-固有名詞-人名-名 (1gram)

(5) 依存関係のラベル (DEP) : Universal Dependencies のラベル. [例] nmod

(6) 依存関係のラベルと 2 つの Lemma の 3 つ組 (DEPL) : 直接の依存関係がある 2 つの Lemma と 両者間の依存関係のラベル。［例] case(犬, は)

(7) 依存関係のラベルと 2 つの POS の3つ組 (DEPP) :特徴 (6) での Lemma をその POS で置き換えたも の. [例] nsubj(動詞-一般, 代名詞)

(8) 文字種 (CType) : 漢字，ひらがな，カタカナそれ ぞれの頻度. アルフアベットやアラビア数字, 記号などはカウントしない.

特徴 (1) から特徴 (7) までは NLI 研究ですでに広く使用されている特徴である [17]. 本稿では, 特徴 (1) か ら特徴 (4) までの $\mathrm{N}$ として 2 から 6 までの 5 通りを考慮する。それらに加えて本稿では，日本語文書におい て特有な, NLI の特徴として (8) の文字種を新たに提案する. 文字種を特徴として用いる理論的根拠は, 漢字圏の日本語学習者は漢語を多く使用する傾向にある ことがSLA 研究においてしばしば指摘されているこ とによる [18]. 今回は集計のしやすさから，漢語，和語, 外来語の代わりとして, 漢字, ひらがな, カタカ ナの頻度をそれぞれ集計した．以上の特徵らの出現頻度ベクトルを $l 2$ ノルムで正規化したものを, 各文書 の特徴ベクトルとした。

## 3.3 分類器

これまでの NLI 研究では分類器として SVM がょく 選択される傾向にある [6]. しかし，SVM よりもロジ スティック回帰 (LR) の方が正解率が高いという報告 [19] や，NLI と類似のタスクである著者推定や著者プ ロファイリングの研究のうち日本語文書を対象にした ものでは，SVM よりもランダムフォレスト (RF) の方 が有効であるといった報告 $[20,21]$ もある。そのため 本稿では, 解釈のしやすさも考慮して, 線形 SVM, LR, RF 計 3 種類の分類器の性能を比較することにし た.SVMとLRは $10 \times 10$ の入れ子式交差検証を行 い，内部の交差検証ではグリッドサーチによりハイ パーパラメータ $C$ を決定した。また $\mathrm{RF}$ は，決定木の 本数を 1000 本に固定して, 10 交差検証を行った. そ して， 10 交差検証で得られる 10 個の正解率の平均値 を最終的な正解率とした。

## 4 実験

## 4.1 各特徵および 3 種類の分類器の比較

本項では, 3.2 項で挙げた特徴にそれぞれ着目して 特徴ベクトルを作成し，線形 SVM，LR，RFをそれぞ
表 1

れ用いて分類した場合の分類正解率を調査する．表 1 にその結果を記し, 各特徴ごとに 1 番正解率が良かっ た部分を太文字で表示している。

表 1 より, 各特徴の有効性については, CHAR 1-Ngram が最も有効で, Lemma 1-Ngram, DEPL, POS 1-Ngram, DEPP, FW 1-Ngram, DEP, CType の特徴 が順に続いていることが分かる. 今回新しく提案した 文字種は, 単独ではほとんど識別能力が無かった. ま た, 分類器間で分類正解率を比較してみると, 線形 SVM の分類正解率が最も高く, 次いで LR, 最後に RF というおおむねの傾向を読み取ることができる. そこで, 次項以降の実験では, 1 番正解率の高かった 線形SVM のみを分類器として用いることにする.

## 4.2 特徵を組み合わせたときの分類正解率

本項では, 3.2 項の特徴を組み合わせて特徴べクト ルを作成したときに, 分類正解率がどう変化するのか表 2 特徴を組み合わせたときの分類正解率 (\%)

表 3 文字種がある場合と無い場合での正解率 (\%) の比較

を検証する．本項の実験では， 4.1 項の実験結果を鑑 みて, Lemma 1-5gram, CHAR 1-4gram, FW 1-5gram, POS 1-5gram, DEP, DEPL, DEPP, CType の計 8 種類の特徴を組み合わせることを考える。すべての特徴 を使わない場合を除いて,これら 8 種類の特徴をそれ ぞれ使うか使わないかのすべての場合 $\left(2^{8}-1=255\right.$通り）で特徴ベクトルを作成し, 分類正解率を測定し た. 表 2 がその結果であるが，紙幅の関係上, 4.1 項 の実験で正解率が最も高かった CHAR 1-4gram をべー スラインとして, CHAR 1-4gram を特徴として用いた ときの正解率 $71.5 \%$ よりも高かった 7 つの組み合わせ のみを掲載している。

表 2 から, 最高で $72.0 \%$ の正解率を達成できたこ とが分かる。また, CHAR 1-4gram と CType がベース ラインよりも正解率が高かった 7 つの組み合わせす べてに出現しており, 次いで DEPL と DEPPが 5 回, Lemma 1-5gram と DEP が 3 回出現し, FW 1-5gram と POS 1-4gram は 1 回も組み合わせの中に出現しなかっ たことも分かる．注目すべきなのは，単独ではほとん ど識別能力が無かった文字種 (CType) が表 2 ではすべ ての組み合わせに出現しており，したがって文字種は 他の特徴と組み合わせたときに分類正解率を高める力 があると示唆される点である. 実際に，文字種以外の 特徴を表 2 の通りに固定して文字種がある場合と無い 場合とで正解率を比較したところ, 表 3 に示すよう に, 最大で $1.3 \%$ 正解率が上昇していることが分かる.文字種特徴を他の特徴と組み合わせたときに正解率

$
\begin{aligned}
& \text { 中 英 仏 独 洪 尼 韓 露 西泰 } \quad \text { 土 越 } \\
& \text { 漢字 ■ひらがな ■カタカナ }
\end{aligned}
$

図 1 各母語話者ごとの各文字種の相対頻度

が上昇した現象に対して, 特徴の多様性の観点から の説明が 1 つ考えられよう. Malmasi と Cahill は [22] で, 異なる性質の特徴を組み合わせることで正解率が 上昇することを指摘している. 今回用いた特徴の性質 を考えてみると, 文字種以外の特徴は言語要素らの 高々 1 文内でのミクロな関係を捉える特徴であるのに 対して, 文字種特徴は文書全体にわたるマクロな情報 を捉える特徴であり, 両者は相補的な関係を成してい ると言える。また, 図 1 は今回用いた全 600 文書にお ける各母語話者ごとの各文字種の相対頻度を示したも のであるが，各文字種の相対頻度は各母語話者ごとに 若干偏りがあることが分かる. そのため, 文字種の情報だけでは母語を識別するための十分な情報とは言え ないため単独ではほとんど識別能力が無かったが，文字種特徴で捉えたマクロな情報が文字 1-4gram などの 特徴で捉えたミクロな情報を補い，結果として正解率 が上昇したと推察される。

## 4.3 中国語母語話者の過剰使用表現

Malmasi と Dras は [2] で, 線形 SVM の重みべクト ルに着目することで各母語話者の過剩使用ないし過少使用の現象を捉えられ，そこから既存のSLA 研究で 得られた知見に新たな証拠を与えたり，新たな仮説を 提唱したりできるとしている。紙幅の関係上, 本稿で は中国語母語話者の過剩使用のみに焦点を絞ってその 様子を捉えることにする。

表 4 は，Lemma 1-5gram を特徴としたとき， 10 交差検証で生じた 10 個の SVM から中国語母語話者に 対応する 10 本の重みベクトルを取りその平均ベクト ルを計算し, 平均ベクトルの要素值が大きい上位 12 個の部分に対応する具体的な特徴を記したものであ る.まず表 4 のうちのおよそ半分が， 3 人称代名詞「彼」の過剩使用に関連するものである。石川は [23] で日本語母語話者と比較したときの中国語母語話者に よる 3 人称代名詞の過剩使用を指摘しているが，他の 母語話者と比較したときにも中国語母語話者による 3 人称代名詞の過剩使用が示唆される結果となった。ま た, 時間表現「とき」「その時、も他の母語話者と比較したときに中国語母語話者が過剩使用している表現 として挙げられる. その要因として, 望月ら [24] で 挙げられている“当 (dang) + [文] +时 (shi)” (〜と き)の他に, “这时 (zheshi)”“此时 (cishi)” (この時/ その時)2)という中国語における表現も影響している のではないかと推測される.ただし，「時」という表現自体は中国語を母語とする学習者に限らず，学習者全体で過剩使用される表現であるという見解もあるし $[26,27]$, 加えて韓国語母語話者やタイ語母語話者に 対しても表 4 と同様の表を描いたところ，20 位付近 に「その時」という特徴が存在していたため, この点 については更なる調査が必要であると考えられる。

## 5 おわりに

本稿では, 日本語学習者コーパス I-JAS を用いて初 めて L2 日本語文書に対する NLIを行い，また日本語特有の特徴として新たに文字種を提案した。その結果, 文字種を他の特徴と組み合わせて用いることで分類正解率の向上が確認され, 最高で $72.0 \%$ の正解率で 12 の言語をそれぞれ母語とする人によって書かれた 文書を分類することができた。また，SVM の重みべ クトルを用いて中国語母語話者の過剩使用表現につい て分析を行った. 今回は解釈のしやすさを考慮して分類器を選択したが，今後の課題の 1 つとして, アンサ ンブル学習 [28] などの手法を用いて分類正解率をよ り高めることが挙げられる.

## 参考文献

[1]Alla Rozovskaya and Dan Roth. Algorithm selection and model adaptation for ESL correction tasks. In Proceedings of the 49th Annual Meeting of the Association for Computa-

2）この表現からの影響について [24] では明示的に議論されては いないものの, 中国語母語話者による中国語での産出でこの表現が使用されているのが，[24]における例文 (17)b で観察され る.また,「とき」「その時」という表現が中国語母語話者に過剰使用される要因については, [25] も参照のこと.
tional Linguistics: Human Language Technologies, pp. 924933, 2011.

[2]Shervin Malmasi and Mark Dras. Language transfer hypotheses with linear SVM weights. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1385-1390, 2014.

[3]財津亘. 犯罪捜査のためのテキストマイニングー文章の 指紋を探り，サイバー犯罪に挑む計量的文体分析の手法一. 共立出版, 2019. 金明哲（監修）

[4]文化庁国語課. 令和元年度国内の日本語教育の概要, 2019. https://www.bunka.go.jp/tokei_hakusho_ shuppan/tokeichosa/nihongokyoiku_jittai/r01/pdf/ 92394101_01.pdf（2020 年 12 月 25 日閲覧）.

[5]Moshe Koppel, Jonathan Schler, and Kfir Zigdon. Determining an author's native language by mining a text for errors. In Proceedings of the Eleventh ACM SIGKDD International Conference on Knowledge Discovery in Data Mining, pp. 624-628, 2005.

[6]Joel Tetreault, Daniel Blanchard, and Aoife Cahill. A report on the first native language identification shared task. In Proceedings of the Eighth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 48-57, 2013.

[7]Felix Golcher and Marc Reznicek. Stylometry and the interplay of topic and L1 in the different annotation layers in the FALKO corpus. In Proceedings of Quantitative Investigations in Theoretical Linguistics 4, pp. 29-34, 2011.

[8]Shervin Malmasi and Mark Dras. Chinese native language identification. In Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics, pp. 95-99, 2014.

[9]Shervin Malmasi and Mark Dras. Arabic native language identification. In Proceedings of the EMNLP 2014 Workshop on Arabic Natural Language Processing, pp. 180-186, 2014.

[10]Shervin Malmasi and Mark Dras. Finnish native language identification. In Proceedings of the Australasian Language Technology Association Workshop 2014, pp. 139-144, 2014.

[11]Shervin Malmasi, Mark Dras, and Irina Temnikova. Norwegian native language identification. In Proceedings of the International Conference Recent Advances in Natural Language Processing, pp. 404-412, 2015.

[12]Iria del Río Gayo, Marcos Zampieri, and Shervin Malmasi. A Portuguese native language identification dataset. In Proceedings of the Thirteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 291-296, 2018.

[13]Nikita Remnev. Native language identification for Russian. In 2019 International Conference on Data Mining Workshops, pp. 1138-1144, 2019.

[14]吉見毅彦, 小谷克則, 九津見毅, 佐田いち子. 単語対応付 けに基づく日本語学習者による作文の自動識別. 情報処理学会論文誌, Vol. 49, No. 12, pp. 4039-4043, 2008.

[15]迫田久美子, 石川慎一郎, 李在鎬（編）.日本語学習者 コーパス I-JAS 入門一研究・教育にどう使うか一. くろ しお出版, 2020.

[16]松田寛. GiNZA - Universal Dependencies による実用的日本語解析. 自然言語処理, Vol. 27, No. 3, pp. 695-701, 2020.

[17]Shervin Malmasi. Native language identification: explorations and applications. PhD thesis, Macquarie University,
2016.

[18]迫田久美子. 改訂版 日本語教育に生かす第二言語習得研究. アルク, 2020.

[19]Sze-Meng Jojo Wong and Mark Dras. Exploiting parse structures for native language identification. In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, pp. 1600-1610, 2011.

[20]金明哲, 村上征勝. ランダムフォレスト法による文章の書 き手の同定. 統計数理, Vol. 55, No. 2, pp. 255-268, 2007.

[21]財津亘, 金明哲. ランダムフォレストによる著者の性別推定一犯罪者プロファイリング実現に向けた検討一. 情報知識学会誌, Vol. 27, No. 3, pp. 261-274, 2017.

[22]Shervin Malmasi and Aoife Cahill. Measuring feature diversity in native language identification. In Proceedings of the Tenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 49-55, 2015.

[23]石川慎一郎. 多様な外国語学習者の言語使用特性一中国人英語/日本語学習者の過剩・過小使用語彙一. 第 2 回学習者コーパスワークショップ予稿集, pp. 57-68, 2017.

[24]望月圭子, 申亜敏, 小柳昇. 日本語 - 英語 - 中国語双方向学習者コーパスにみられるテンス・アスペクトの習得.日本語・日本学研究, No. 10, pp. 137-152, 2020.

[25]王芯芯. 日本語上級レベル学習者の接続表現の使用状況に 関する調査一中国語母語話者のストーリーテリングテス トを中心に一. ポリグロシア, Vol. 17, pp. 117-128, 2009.

[26] 小西円. 日本語学習者と母語話者の産出語彙の相違一 I-JAS の異なるタスクを用いた比較一. 国立国語研究所論集, Vol. 13, pp. 79-106, 2017.

[27]小口悠紀子. 談話における出来事の生起と意外性をいか に表すか一中級学習者と日本語母語話者の語りの比較.日本語/日本語教育研究, Vol. 8, pp. 215-230, 2017.

[28]Shervin Malmasi and Mark Dras. Native language identification with classifier stacking and ensembles. Computational Linguistics, Vol. 44, No. 3, pp. 403-446, 2018.