# 文法誤り訂正モデルのエラー分析に基づく 疑似データ生成の効果検証

土肥康輔 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{doi.kosuke.de8, sudoh, s-nakamura\}@is.naist.jp

## 1 はじめに

文法誤り訂正 (Grammatical Error Correction; GEC) は，テキスト中の文法的誤りを自動的に訂正するタ スクである。近年では，訂正を誤りが含まれる文か ら誤りが含まれない文への翻訳とみなし，ニューラ ル機械翻訳に基づくアプローチで取り組むことが主流となっている.ニューラル機械翻訳に基づくアプ ローチでは，モデルの訓練に大規模なパラレルデー タが必要となるが，機械翻訳で利用可能なデータ量 と比べて，GECで利用可能なデータ量は少量であ る.そこで，GECではモデルの訓練に疑似データを 用いることで，モデルの性能を向上させるというこ とが行われている $[1,2,3]$.

本研究では, 現状の GEC モデルのエラー分析に 基づき，訂正性能が悪い誤りカテゴリに関する疑似誤りを訓練データに追加することで，モデルの 訂正性能が向上するかを検証する，具体的には， Omelianchuk ら [4] と Grundkiewiczy ら [3] のモデル1) のエラー分析から訂正性能が悪いと判明した接続詞誤りに着目し, 訓練に用いる学習者データにおける 誤りパターンを考慮した疑似誤りを生成する．GEC では，大規模な単言語コーパスに疑似誤りを生成し たデータで事前学習したモデルを，少量の学習者 データで fine-tune することが一般的であるが，本研究では fine-tune に用いる学習者データに疑似誤りを 生成する。

実験では，疑似誤りを追加する割合を適切に設定 すれば，疑似誤りを含む学習者データで fine-tune を 行った後，さらに疑似誤りを含まない学習者データ で fine-tune することで，接続詞誤りの $\mathrm{F}_{0.5}$ スコアが 上昇することを確認した。また， 1 回目の fine-tune のデータには疑似誤りを追加せず，2 回目のデータ


に疑似誤りを追加する場合でも，同様に生成する疑似誤りの割合を適切にコントロールすれば， $\mathrm{F}_{0.5}$ ス コアが上昇する可能性があることが示された.

## 2 関連研究

疑似データの生成方法としては，逆翻訳ベースの 手法や，誤りが含まれない文に疑似誤りを直接生成 する手法が提案されている。

逆翻訳を用いた疑似データ生成は，ニューラル機械翻訳の文脈で Sennrich ら [5] によって提案された. [5] は，原言語と目的言語の入出力を入れ替えたモ デルに目的言語の単言語コーパスを入力して疑似対訳コーパスを得る。これを GECに応用すると，誤 りが含まれない文から誤りが含まれる文を生成する ようなモデルを訓練し，そのモデルに誤りが含まれ ない文を入力することで，誤りが含まれる文を得る ことができる. Xie ら [6] はこの逆翻訳を拡張し，モ デルのデコード時にノイズを加えることによって， より多くの誤りを含む文を生成できるようにした.佐藤ら [7] は，学習済みの逆翻訳モデルを特定の母語の学習者によって書かれた文で fine-tune すること で，母語の影響を考慮した疑似誤りを生成する手法 を提案している。

疑似誤りを直接生成する手法は，Zhao ら [8] に よって提案された。この手法では，誤りが含まれな い文に「置換・挿入・削除・入れ替え」の操作を行 うことで誤りが含まれる文を生成する。 しかし， [8] の手法では，人が犯さないような誤りを生成してし まう可能性があることが指摘されている. そこで，学習者の誤り傾向を考慮して疑似誤りを生成すると いうことが行われている $[2,9]$.

また，fine-tune によって特定のドメインに頑健な GEC モデルを作成する研究も存在する. Nădejde ら [10] は，書き手の母語情報と習熟度情報が付与さ れた学習者コーパスを用い，一般的な GEC モデル

を 12 の母語，5つの習熟度レベルに適応させる研究を行った. [10]では, 非公開の Cambridge Learner Corpus が用いられたが，佐藤ら [7] は一般公開され ている母語情報付きの学習者コーパスでモデルを fine-tune することで，3つの母語に適応させる試み を行っている。

従来研究では全誤りカテゴリの疑似誤りを生成し たデータを事前学習で用いていたのに対して, 本研究では，特定の誤りカテゴリに関する疑似誤りを加 えたデータでモデルを fine-tune することで，その誤 りカテゴリの訂正性能を向上させることを目指す.

## 3 疑似データ生成手法

疑似データの生成には，特定の誤りカテゴリに関 する誤りを選択的に生成するために，疑似誤りを直接生成する手法を用いる. 対象の誤りカテゴリは， [3][4] のモデルのエラー分析で訂正性能が低かっ た接続詞である. 対象となる接続詞は, \{and, but, or, so\}の 4 種類とし，学習者が犯す接続詞の誤りパ ターンを考慮するために，ERRANT[11]によって分類される「不足 (Missing) ・置換 (Replacement) - 余剩 (Unnecessary)」の 3 種類の誤りタイプごとに疑似誤りの生成方法を設定する. 本研究では，学習者 データに疑似誤りを生成するため，疑似誤りの生成元の文にすでに誤りが含まれている場合がある。も ともと存在する誤りを改変することによる影響を最小限に抑えるために，接続詞誤りがもともと含まれ ている文は，疑似誤りの生成対象から除外する.

接続詞が用いられている文は, 確率 $P$ で疑似誤り の生成対象とする。その文に含まれている接続詞の 削除または別の接続詞への置換の操作を行うこと で，それぞれ不足と置換の疑似誤りを生成する。訓練データの誤り分布分析に基づき2)，70\%の確率で 不足誤り，30\%の確率で置換誤りを生成し，置換後 の接続詞を選択するパラメータ prepl|orig は以下の ように設定することとした.

$
\begin{aligned}
& \left(p_{\text {but } \mid \text { and }}, p_{\text {or } \mid \text { and }}, p_{\text {so } \mid \text { and }}\right)=(0.30,0.60,0.10) \\
& \left(p_{\text {and } \mid \text { but }}, p_{\text {or } \mid \text { but }}, p_{\text {so } \mid \text { but }}\right)=(0.94,0.01,0.05) \\
& \left(p_{\text {and } \mid \text { or }}, p_{\text {but } \mid \text { or }}, p_{\text {so } \mid \text { or }}\right)=(0.99,0.01,0.00) \\
& \left(p_{\text {and } \mid \text { so }}, p_{\text {but } \mid \text { so }}, p_{\text {or } \mid \text { so }}\right)=(0.99,0.01,0.00)
\end{aligned}
$

なお，1文に複数の接続詞が含まれている場合は， ランダムに選択されたひとつの接続詞が操作の対象 となる.

2）詳細は付録 A に掲載する.接続詞が用いられていない文に対しては， $0.38 P$ の確率でランダムな位置に接続詞を挿入すること で余剰の疑似誤りを生成する．挿入する接続詞の選択は，不足・置換誤りのときと同様に訓練データの 誤り分布を反映して ( $\left.p_{\text {and } \mid \phi}, p_{\text {but } \mid \phi}, p_{\text {or } \mid \phi}, p_{s o \mid \phi}\right)=$ $(0.65,0.25,0.03,0.07)$ とした.

## 4 実験

## 4.1 データセット

実験に用いるデータは，4.2 節で後述する [4] の モデル構築に用いられたものに合わせた. 事前訓練データには，PIEコーパスに疑似エラーを生成した 900 万文 [12]を用いた. 訓練には，BEA2019 Shared Task on Grammatical Error Correction で配布された Lang-8[13], NUCLE[14], Write \& Improve + LOCNESS (W\&I+L) train[15] と, CLC-FCE Dataset[16] を用いた. Lang-8 と NUCLE は, [4]でのサイズに合 わせるためにサンプリングして使用した. データの 98\%を訓練データ，2\%を開発データとした。

評価データには，W\&I+L dev，CoNLL-2013[17]， CoNLL-2014[18]，FCE test[19]を用いた.

## 4.2 モデル

GEC モデルには, Omelianchuk ら [4] のモデル3)を 用いた. [4] は，入力トークンをターゲットの訂正 に変換するトークンレベルの変換を新たにデザィ ンし，GECを系列ラベリング問題として扱ってい る. モデルには，BERT 系の事前学習済みモデルの エンコーダーが用いられているが，本実験では，[4] で best single model であった XLNet を用いた. ハイ パーパラメータは, [4] の設定に準じた.

訓練は，疑似データによる事前学習（Stage1）と，学習者データによる 2 回の fine-tune から成る. 1 回目の fine-tune (Stage2) では学習者データのうち誤り を含む文のみが用いられ，2 回目の fine-tune (Stage3) では誤りを含む文と含まない文の両方が用いられ る. 各データセットのサイズと，それらが訓練のど の段階で用いられたかを表 1 に示す.

## 4.3 実験設定

3 節で述べた疑似データ生成手法を用い，Stage2 および Stage3 で用いるデータに疑似誤りを生成し た. 実験は，Stage2 のみで疑似データを用いる設

3) https:/github.com/grammarly/gector
表 1 訓練に使用したデータセット

表 2 モデルの構築に用いたデータの疑似誤り生成確率

 &  \\

Stage2_10 & $10 \%$ & - \\
Stage2_30 & $30 \%$ & - \\
Stage2_50 & $50 \%$ & - \\
Stage3_05 & - & $5 \%$ \\
Stage3_10 & - & $10 \%$ \\
Stage3_30 & - & $30 \%$ \\
Stage3_50 & - & $50 \%$ \\

定と, Stage3 のみで疑似データを用いる設定の 2 種類を行った. Stage2 での疑似誤り生成確率は, $P=(0.5,0.3,0.1)$, Stage3 では $P=(0.5,0.3,0.1,0.05)$ とした. ベースラインには，疑似誤りを含まない データで 2 回の fine-tune を行ったモデルを用意し た.構築したモデルの一覧とその構築のために用 いたデータの関係を表 2 に示す. モデルの性能は， ERRANT により算出される $\mathrm{F}_{0.5}$ スコアにより評価 した. W\&I+L dev, CoNLL-2013, CoNLL-2014, FCE testのそれぞれに対し，訂正全体と接続詞訂正の $\mathrm{F}_{0.5}$ スコアを算出した.

## 4.4 実験結果

実験結果を表 3 に示す. Stage3 後の接続詞訂正の $\mathrm{F}_{0.5}$ スコアを比較すると，疑似データを導入するこ とで，接続詞訂正の性能が向上する場合と悪化する 場合の両方があることがわかる。 また, CoNLL-2013 における接続詞訂正で最も高いスコア（28.41）を達成した Stage2_50 が，W\&I+L dev ではベースライン よりスコアが悪化（26.79 19.23）しているように，接続詞訂正の性能がすべての評価セットでべースラ インより向上しているモデルは見られなかった. こ れらの結果から, 訂正対象のデータに応じて疑似誤 り生成確率を適切に設定すれば，fine-tune に用いる データに疑似誤りを導入する手法がモデルの訂正性能向上に効果的であることが示唆される. Stage3 で疑似誤りを導入する場合は，比較的小さい疑似誤り生成確率 ( W\&I+L と CoNLL-2013 : $P=0.05$, CoNLL-2014 と FCE test $: P=0.1 ＼mathrm{~ を 設 定 し た と き ~}$ に接続詞訂正の $\mathrm{F}_{0.5}$ スコアがベースラインから上昇
しているのに対し，Stage2 で疑似誤りを導入する場合は， $P=0.3$ または $P=0.5$ のように大きめの生成確率を設定したときにスコアの上昇幅が大きくなっ ている.

## 4.4.1 疑似データ導入タイミング

各評価セットにおいて，接続詞訂正の $\mathrm{F}_{0.5}$ スコ アが Stage3 後に最も高くなっているのは， W\&I+L devを除いて, Stage2 で疑似誤りを導入したモデ ルであった. CoNLL-2013 と CoNLL-2014において は, Stage2_50 のスコア $(28.41,54.69)$ が最も高く, FCE test では Stage2_30 のスコア（21.28）が最も高 い. Stage2_30は，W\&I+L dev の接続詞訂正におい ても，Stage3_05に次ぐ2 番目に高いスコアを達成し ている. Stage3 で疑似誤りを導入したモデルにも， ベースラインと比較して訂正性能が向上したものが 存在するが，スコアの上昇幅は Stage2 で疑似誤り を導入したモデルよりも小さくなっている. 各評価 セットにおけるスコアの上昇幅の最大値を，疑似誤 りの導入タイミングで比較した結果を表 4 に示す. これらの結果から，疑似誤りを含む学習者データで fine-tune を行った後, さらに疑似誤りを含まない学習者データで fine-tune するほうが，対象の誤りカテ ゴリに対する訂正性能が大きく改善する可能性があ ることが示唆される ${ }^{4)}$.

## 4.4.2 疑似データ導入の効果と影響

表 3 より, Stage2 で疑似データを導入すると， Stage 2 終了時点の接続詞訂正の $\mathrm{F}_{0.5}$ スコアはベース ラインより低下することがわかる. このスコア変化 は, Precisionが低下する一方で, Recallが上昇するこ とによって引き起こされている。疑似誤り導入後の 接続詞訂正の Precision と Recall の值を表 5 に示す.疑似データを含まない学習者データで fine-tune した ときは（S2_base）, Precision が Recall より高くなっ ているのに対して，疑似データを導入すると Recall のほうが Precision より高くなっている. Stage3 に疑似誤りを導入した場合でも，疑似誤りの生成確率が 高くなるにつれて Precision が低下する一方で Recall が上昇する傾向がみられる. fine-tune に用いるデー タへの疑似誤り導入は Recall 向上に効果があり, 2 回の fine-tune のうち 1 回目の段階で Recall を高めて おくことが，最終的な接続詞訂正性能の向上に寄与

4）訂正全体の～$F_{0.5}$ スコアへの影響を考慮していないことに注意が必要である. 疑似データ導入による影響は 4.4.2節で述べ з.
表 $3 \quad \mathrm{~F}_{0.5}$ スコアによる訂正性能の比較. Overall は訂正全体，CONJ は接続詞訂正を表す.

 & 46.84 & 28.06 & 43.19 & 19.74 & 55.87 & 28.57 & 52.20 & 21.93 \\
& & & & & & & & \\
Stage2_10 & 45.90 & 13.36 & 42.32 & 10.42 & 55.57 & 21.21 & 52.11 & 14.15 \\
Stage2_30 & 45.50 & 9.08 & 42.45 & 11.36 & 53.74 & 17.72 & 51.61 & 13.83 \\
Stage2_50 & 43.35 & 7.86 & 40.91 & 9.09 & 53.68 & 14.51 & 51.20 & 9.84 \\

Baseline & 50.73 & 26.79 & 43.17 & 20.83 & 56.59 & 35.71 & $\mathbf{5 3 . 3 5}$ & 0.00 \\
& & & & & & & & \\
Stage2_10 & 51.02 & 25.57 & 43.18 & 20.83 & $\mathbf{5 7 . 0 2}$ & 38.46 & 53.15 & 11.63 \\
Stage2_30 & $\mathbf{5 1 . 6 5}$ & 29.26 & 43.59 & 19.23 & 56.16 & 40.00 & 52.96 & $\mathbf{2 1 . 2 8}$ \\
Stage2_50 & 50.76 & 19.23 & $\mathbf{4 3 . 7 0}$ & $\mathbf{2 8 . 4 1}$ & 56.03 & $\mathbf{5 4 . 6 9}$ & $\mathbf{5 3 . 3 5}$ & 17.44 \\
& & & & & & & & \\
Stage3_05 & 50.86 & $\mathbf{3 0 . 4 9}$ & 43.27 & 27.17 & 56.55 & 31.25 & 52.92 & 15.31 \\
Stage3_10 & 50.89 & 25.74 & 43.09 & 20.16 & 56.47 & 44.64 & 52.81 & 16.23 \\
Stage3_30 & 50.19 & 17.01 & 43.19 & 12.93 & 55.94 & 23.39 & 52.83 & 14.00 \\
Stage3_50 & 49.47 & 9.62 & 42.24 & 7.89 & 55.53 & 16.98 & 51.82 & 10.56 \\

表 4 疑似誤り導入タイミングによる

表 5 接続詞訂正の Precision と Recall の值. Stage2_XX は Stage2 終了後, Stage3_XX は Stage3 終了後の値である. W\&I+L dev CoNLL-2013 CoNLL-2014 FCE test

している可能性が考えられる.

また，CoNLL-2014における Stage2_50 や FCE test における Stage2_30のように，接続詞訂正の性能が ベースラインより向上しているにも関わらず，訂正全体の性能が悪化している場合も存在する.これ は，ある誤りカテゴリの疑似誤りを生成すること が，別の誤りカテゴリに関するモデルの学習に影響 を与えていることを示唆している。本実験では，接続詞の余剰誤りを生成する手法が問題となった可能性がある. 余剰誤りを生成する対象の文は，接続詞誤りが含まれていないことは保証されているが，そ れ以外の誤りの有無は確認していなかった. その文
のランダムな位置に接続詞が挿入されることで，も ともと存在していた誤りが変質してしまったことが 考えられる。

## 5 おわりに

本研究では，現状の GEC モデルで訂正性能が低 い接続詞誤りに着目し, fine-tune に用いる学習者 データに疑似誤りを追加することで，モデルの接続詞誤りの訂正性能が向上するかを検証した．実験の 結果，生成する疑似誤りの割合を適切に設定すれ ば，fine-tune に用いる学習者データに疑似誤りを追加することで接続詞誤りの $\mathrm{F}_{0.5}$ スコアが向上するこ とがわかった.

本研究では接続詞誤りについてのみ実験を行った ので，別の誤りカテゴリにおいても本手法が効果的 であるかを今後検証する必要がある．また，学習者 データにもともと存在する誤りに影響を与えないよ うな疑似データ生成手法の検討も必要である。例え ば，誤りが存在する区間には疑似誤りを生成しない ように制御する方法や，gold reference の訂正を適用後の文法的に正しい文に対して疑似誤りを生成する 方法などが考えられる。疑似誤りを fine-tune データ に導入することでモデルの訂正性能が向上できるこ とが確認されれば，特定のドメインや学習者集団の 特徴への適応が容易になることが期待される。

## 謝辞

本研究の一部は JSPS 科研費 JP17H06101 の助成を 受けたものである.

## 参考文献

[1] Shun Kiyono, Jun Suzuki, Masato Mita, Tomoya Mizumoto, and Kentaro Inui. An empirical study of incorporating pseudo data into grammatical error correction. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 1236-1242, 2019.

[2] Yo Joong Choe, Jiyeon Ham, Kyubyong Park, and Yeoil Yoon. A neural grammatical error correction system built on better pre-training and sequential transfer learning. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 213-227, 2019.

[3] Roman Grundkiewiczy, Marcin Junczys-Dowmuntz, and Kenneth Heafield. Neural grammatical error correction systems with unsupervised pre-training on synthetic data. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 252-263, 2019.

[4] Kostiantyn Omelianchuk, Vitaliy Atrasevych, Artem Chernodub, and Oleksandr Skurzhanskyi. GECToR grammatical error correction: Tag, not rewrite. In Proceedings of the Fifteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 163-170, 2020.

[5] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, 2016.

[6] Ziang Xie, Guillaume Genthial, Stanley Xie, Andrew Y. $\mathrm{Ng}$, and Dan Jurafsky. Noising and denoising natural language: Diverse backtranslation for grammar correction. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 619-628, 2018.

[7] 佐藤義貴, 和田崇史, 渡辺太郎, 松本裕治. 英語学習者 の母語を考慮した文法誤り訂正のための擬似データ 生成. 研究報告自然言語処理 (NL), Vol. 2020-NL-246, No. 5, pp. 1-5, 2020.

[8] Wei Zhao, Liang Wang, Kewei Shen, Ruoyu Jia, and Jingming Liu. Improving grammatical error correction via pre-training a copy-augmented architecture with unlabeled data. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 156-165, 2019.

[9] Yujin Takahashi, Satoru Katsumata, and Mamoru Komachi. Grammatical error correction using pseudo learner corpus considering learner's error tendency. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 27-32, 2020.

[10] Maria Nădejde and Joel Tetreault. Personalizing grammatical error correction: Adaptation to proficiency level and L1. In Proceedings of the 5th Workshop on Noisy User-generated Text (W-NUT 2019), pp. 27-33, 2019.

[11] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 793-805, 2017.

[12] Abhijeet Awasthi, Sunita Sarawagi, Rasna Goyal, Sabyasachi Ghosh, and Vihari Piratla. Parallel iterative edit models for local sequence transduction. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 4260-4270, 2019.

[13] Tomoya Mizumoto, Mamoru Komachi, Masaaki Nagata, and Yuji Matsumoto. Mining revision log of language learning SNS for automated Japanese error correction of second language learners. In Proceedings of 5th International Joint Conference on Natural Language Processing, pp. 147-155, 2011.

[14] Daniel Dahlmeier, Hwee Tou Ng, and Siew Mei Wu. Building a large annotated corpus of learner English: The NUS corpus of learner English. In Proceedings of the Eighth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 22-31, 2013.

[15] Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 shared task on grammatical error correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 52-75, 2019.

[16] Diane Nicholls. The Cambridge learner corpus - error coding and analysis for lexicography and ELT. In Proceedings of the Corpus Linguistics 2003 conference, Vol. 16, pp. 572-581, 2003.

[17] Hwee Tou Ng, Siew Mei Wu, Yuanbin Wu, Christian Hadiwinoto, and Joel Tetreault. The CoNLL-2013 shared task on grammatical error correction. In Proceedings of the Seventeenth Conference on Computational Natural Language Learning: Shared Task, pp. 1-12, 2013.

[18] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL-2014 shared task on grammatical error correction. In Proceedings of the Eighteenth Conference on Computational Natural Language Learning: Shared Task, pp. 1-14, 2014.

[19] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A new dataset and method for automatically grading ESOL texts. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 180-189, 2011.

## A 訓練データの接続詞誤り分布

訓練データ中で接続詞が用いられている文の数（470,068）に表 6 の余剰誤りの割合をかけた值と，訓練データ中で接続詞が用いられていない文の数（723,983）に不足・置換誤りの割合の和をかけた值の比から，接続詞が用いられていな い文に対する疑似誤り生成確率 0.38 を得た. また，不足誤りと置換誤りの比 $7: 3$ も表 6 から得た. 余剩誤り生成のため に挿入する接続詞の割合と，置換誤り生成のための置換後の接続詞の割合は，それぞれ表 7，表 8 から得た.

} \\

## B 事例分析

疑似データを用いたことによるモデル出力の変化を表 9 に示す. 不足誤りと置換誤りについては， and と or が関わる 誤りにおいて疑似誤りを用いたモデルで改善が見られた。しかし，余剩誤りについては，あまり改善が見られなかった.改善が見られた誤りは，疑似データ生成の確率パラメータが大きく設定されているものである．多数の疑似誤りが生成 された誤りの訂正性能が高まる傾向は，[2] で報告されている結果と一致する．また，ベースラインでは正しく訂正でき ていたが疑似データを用いたモデルでは訂正に失敗した例，不必要な訂正をしてしまった例を表 10 に示す.


 土肥康輔 須藤克仁 中村哲 奈良先端科学技術大学院大学 \{doi.kosuke.de8, sudoh, s-nakamura\}@is.naist.jp  