# ニューラル文法誤り訂正のための 多様な規則を用いる人工誤り生成

古山翔太 ${ }^{1,2}$ 高村大也 ${ }^{1,2}$ 岡崎直観 1,2
1 東京工業大学 2 産業技術総合研究所
shota.koyama[at]nlp.c.titech.ac.jp, takamura.hiroya[at]aist.go.jp,
okazaki[at]c.titech.ac.jp

## 1 はじめに

文法誤り訂正は，与えられた文書から綴りの間違 いや，単語の誤用などの文法的な誤りを見つけ，正 しい表現へと修正する技術である。言語学習者支援 や文書校正への応用が期待されており，自然言語処理の重要な課題のひとつである.

文法誤り訂正では，誤り注釈付きの学習者コーパ スを教師データとして，ニューラルネットワークの モデルを学習する手法が主流である [1]. さらに，人工誤り生成による人工誤りデータを用いてニュー ラルネットワークのモデルを事前学習したのちに，学習者コーパスを用いて再学習（ファインチューニ ング）を行うアプローチの有効性が報告されてい る [2]. そのため, 事前学習に用いる学習データを 生成するための人工誤り生成手法の改善は, ニュー ラル文法誤り訂正における重要な研究課題である.

人工誤り生成は，文法誤り訂正固有のデータ拡張手法であり，単語を置き換える規則や文法誤りを生成する手法を用い，文法的な文に誤りを導入するこ とで，人工誤りデータを構築する。 ニューラル文法誤り訂正のための人工誤り生成には，機械翻訳によ る誤り生成と, 誤り生成規則による誤り生成があ る. 機械翻訳による誤り生成は, 系列変換モデルを 用いて誤りデータを作成する手法であり，逆翻訳 を用いる手法 $[3,4,5]$ や，折り返し翻訳を用いる手法 $[2,6]$, 初級 ・上級翻訳器を用いる手法 [7] が提案 されている。一方，規則による誤り生成では，各規則は特定の種類の誤りのみしか生成できず，文法力 テゴリごとに異なる規則を準備する必要がある.こ のため, 英語文法誤り訂正においては, 誤りの種類 ごとに様々な誤り生成規則が提案されている.

英語を対象とした人工誤り生成において，誤り生成規則は，機能語誤り，語形変化誤り，表記体系の誤り，単語選択の誤り，語順誤りの生成に関するも のに大別できる.

機能語誤りは, 例えば“I went for Tokyo.” の for（訂正は to）のような，前置詞や代名詞などの機能語の 用法に関する誤りである。機能語誤りの生成手法と して，冠詞を置き換える手法 [8] や，学習者の誤り 傾向を反映し, 冠詞や前置詞の誤りを生成する手法 $[9,10]$ などが提案されている.

語形変化誤りは，例えば “I goed to Tokyo.” の goed （訂正は went）のような，内容語の語形変化におけ る誤りである。語形変化誤りの生成手法として，不可算名詞の数に関する誤りを生成する手法 [11] や,品詞解析の結果に基づき名詞数や動詞変化の誤りを 生成する手法 [12] などが提案されている.

表記体系の誤りは，例えば“I want to Tokyo.”の want（訂正はwent）のような綴りの誤りや，句読法，複合語，分かち書き，縮約，大小文字の規則に関す る誤りである。表記体系の誤り生成手法として，文中のコンマを削除する手法 [13] や，経り誤り訂正器を逆適用する手法 [14]が提案されている.

単語選択の誤りは，例えば“I lost my flight.” の lost （訂正は missed）のような類義語の誤用や，接辞が 異なる語を用いる誤りである．単語選択の誤り生成手法として, 品詞解析の結果に基づき接辞に関する 誤りを生成する手法が提案されている [15].

語順誤りは，例えば“I my flight missed.” の my flight の位置（missed の後ろが正しい）のように，文中の語や句の位置に関する誤りである。語順誤りの 生成手法として，隣り合う単語を入れ替える手法が 提案されている $[16,14]$.

以上のように，人工誤り生成のための規則による 誤り生成手法は数多く存在している。しかし，いず れの手法も，特定の種類か，あるいは少数の誤り生成規則を適用して人工誤り生成を行っている。この

ため，これらの手法で生成されるデータは，多様な 種類の誤りを含む実際の文書と比較して, 非常に限 られた種類の誤りのみを含む.このような手法で生成される誤りデータを用いて訂正モデルを学習する 場合，人工誤り生成が対応していない種類の誤りに 対しては，誤り訂正の性能向上が期待できない.

本研究では，英文中の様々な文法誤りに対して誤 り生成規則を設計し，それらを組み合わせて多様な 誤り文を生成できる人工誤り生成の枠組みを提案す る. 提案手法では, 複数の誤り生成規則を文ごとに 異なる確率で適用することで，多様な誤り文を生成 する. 生成された誤りデータで文法誤り訂正モデル を事前学習し, さらに学習者コーパスで再学習する 実験を行う。提案手法の誤り生成規則や適用確率は すべて人手で調整しているが，この方法で生成した 誤りデータを用いて事前学習を行ったモデルは，事前学習を行わないべースラインよりも高い訂正性能 を示した. 特に，CoNLL-14 タスクのテストデータ では, 最高性能を達成した. さらに, 特定の誤り種類に関する誤り生成規則を人工誤り生成から取り除 くことによる影響を評価し，多様な誤り生成規則を 用いる人工誤り生成の有効性を検証する。

## 2 手法

提案手法では，単言語コーパスの各文に対して複数の誤り生成規則を順番に，かつ独立に適用する。単言語コーパスの各文には，SpaCy v2.3 ${ }^{1)}$ を用いて トークナイズを施し, 品詞タグ，係り受け解析タ グ，見出し語，固有表現のIOB タグと種類を，単語 ごとに付与しておく. 誤り生成規則は単語ごとに適用され，ある誤り生成規則が，ある語に対して誤り 生成可能であるかは, その語やその周辺の語に付与 された情報から判定される. 各誤り生成規則は, 固有のベータ分布を保持しており, 文ごとにしきい值 をサンプルする．誤り生成規則は，誤りを生成可能 な単語ごとに，一様分布から值をサンプルし，その 值がしきい値を超えた場合に誤りを生成する。この 仕組みのため, 文ごとに異なる割合で誤りが生成さ れ，多様な誤り文を得ることができる。 入力文に対 してすべての誤り生成規則を適用した文を誤り文，入力文を修正文とし，誤りデータを生成する.

誤り生成規則は，計 188 種類を作成した。このう ち, 154 種類が機能語誤りに， 5 種類が語形変化誤 りに， 19 種類が表記体系誤りに， 6 種類が語順誤


表 2 単言語コーパス

表 3 評価コーパス

りに， 2 種類が単語選択誤りに関する誤り生成規則 である. その他, 記号や頻度の高い機能語の削除 を行う誤り生成規則と，マスクトークン予測のた めの規則がある．誤り生成規則の多くは，条件に 合う単語を削除したり，置き換えたりするもので ある．例えば，前置詞 than に関する誤り生成規則 は, 前置詞の than に対して確率 0.2 で削除操作を行 い，またそれぞれ確率 $0.4,0.2,0.1,0.1$ で than を to, from, over, beyond に置き換える。単語を挿入する誤 り生成規則もあり，例えば，冠詞を挿入する誤り生成規則では，文頭，あるいはある単語間の位置にお いて, 左の単語が存在しないか, あるいは左の単語 の Penn Treebank 品詞タグが，VB, VBD, VBG, VBN, VBP, VBZ, IN のいずれかであり，かつ右の単語の Penn Treebank 品詞タグが, NN, NNS, JJ, JJN, JJS のい ずれかである場合に，a, an, the, this, that, these, those を，それぞれ $0.3,0.3,0.3,0.025,0.025,0.025,0.025$ の 確率でサンプルし，挿入する。人工誤り生成に用い るソースコードは，GitHub 上で公開した2)，その他 の誤り生成規則の詳細はそちらを参照してほしい。

## 3 実験

再学習に用いる学習者コーパスの種類と規模を表 1 に示す。学習者コーパスの入手は，BEA-19 Shared Task ${ }^{3}$ の規定に従う. Lang-8 コーパスは，誤り文と 修正文が同一な事例を除いた文のみを学習に用い， Lang-8 コーパス以外のコーパスは, 学習時に標本数を 3 倍にする．評価に用いるコーパスの種類と規模，評価尺度を表 3 に示す. 事前学習に用いる単言語コーパスの種類と規模を表 2 に示す. 表 2 中の

表 4 誤り訂正実験の結果と既存手法との比較

 &  &  &  \\

コーパスは，WMT19のニュースタスクのもの4)を 用いる。誤り生成は, 各エポックごとに行う. すべ てのデータは，記号の正規化などの前処理が施され たのち，BPE-dropout [24]が施される. dropout 確率 は，誤り文で 0.1 ，修正文で 0 とする.

ニューラル文法誤り訂正には，Transformer Big [25] モデルを用いる. 実装は fairseq v0.10.1 5) を用 いる. 生成は, 幅 12 のビーム探索で行い, スコア は長さ正規化をする. 実験結果は， 5 モデルの平均值と，アンサンブル，RoBERTa Large を用いるリス コア [26] によるものを報告する.

## 4 結果

実験結果を表 4 に示す. ベースラインでは, 学習者コーパスを用いて 50 エポック訓練する. 事前学習では，単言語コーパスに誤り生成を施した誤り データを用いて 20 エポック訓練する. 再学習では，学習者コーパスを用いて 30 エポック訓練する. ド メイン適応は，再学習を行ったのちに，評価データ とドメインの近い訓練データで追加の学習を行うこ とである. ドメイン適応では, 事前学習済みモデル を学習者コーパスすべてで 5 エポック訓練し, さら に，ドメインが同じ学習者コーパスのみを用いて 20 エポック訓練する．ドメインが同じ学習者コーパス は，BEA-19 valid/test に対しては，W\&I train，CoNLL


表 5 誤り生成規則の有無が性能に与える影響の比較

13/14 は NUCLE，FCE valid/test は FCE train である.

ベースラインと比較すると，提案手法による人工誤りデータを用いて事前学習し，再学習するモデル の性能がすべての評価データセットで高くなってお り，多様な規則を用いる人工誤り生成が有効である ことがわかる. アンサンブル，リスコアはともに性能向上に大きく寄与している．事前学習済みモデル のスコアは，ベースラインのそれに迫る結果となっ ているが，アンサンブルやリスコアによる性能向上 は小さい。これは，事前学習済みモデルが，ベース ラインモデルと比較して，良い言語モデル的性質を 持っており，アンサンブルやリスコアによる恩恵を 受けにくいためだと考えられる. ドメイン適応によ る性能向上は，句読法の規約などの，評価データ間 で異なっている特徴に適応する効果によると考えら れる. NUCLEコーパスは CoNLL-14 タスク [21] の 訓練データセットであるが，CoNLL-14 データセッ トへのドメイン適応の効果は見られなかった。

誤り生成において，特定のカテゴリの誤り生成規則のみを用いる場合と，特定のカテゴリの誤り生成規則を除く場合の性能の変化をカテゴリごとに調べ るために，誤り生成規則の 5 カテゴリについて， 1 つのみを用いるか，1 つを除く 800 万文で，事前学習を 10 エポック行い, 再学習, アンサンブル，リス コアを行った結果を表 5 にまとめた. 1 カテゴリの 規則のみを用いる場合は, ベースラインと同程度か それ以下となる。これは, 事前学習に用いるデータ での誤りの種類が多様でない場合には，規則による 誤り生成が有効ではない可能性を示している．1 力 テゴリの規則のみを取り除く場合の性能は，すべて の規則を用いる場合と比較して，性能が大きくは変

図 1 事前学習データのエポック数・ステップ数による BEA-19 valid データセット上での性能変化

わらない。これは事前学習に用いるデータにおける 誤りの偏りが小さいことが有効であることを支持し ている．また，評価データによっては，特定の誤り カテゴリがない方がスコアが高くなる．この原因を 調べるためには，各誤り生成規則がスコアに与える 影響を評価する方法を検討する必要がある。

逆翻訳を用いる人工誤り生成手法では，事前学習 に用いるデータを大きくするとモデルの訂正性能 が向上することが確認されている [5]. 図 1 の青線「エポック数を 10 に固定」は，事前学習に用いる単言語コーパスの文数を 400 万文， 800 万文，1,600 万文，3,200万文に変化させたとき，エポック数を 10 回に固定することで，総ステップ数が単言語コーパ スの文数に比例する条件で事前学習を行い，再学習，アンサンブル，リスコアし，BEA-19 valid デー タセット上で評価した結果である。実験結果から，既存の報告と同様に，事前学習に用いるデータの規模が性能向上に寄与することがわかる.

しかし，この実験設定では，訂正性能の向上は単言語コーパスの規模の増加によるものか，事前学習 の総ステップ数の増加によるものかの区別がつか ない。そこで，単言語コーパスの規模を大きくして も学習の総ステップ数がおおよそ一定になるよう に，エポック数を調整した条件で実験を行った. 図 1 の赤線「総ステップ数が一定」は，事前学習に用 いる単言語コーパスの文数を 400 万文， 800 万文, 1,600 万文，3,200 万文と変化させたとき，エポック 数をそれぞれ 40, 20, 10, 5 回に設定することで，総 ステップ数が同程度になる条件で事前学習を行った 結果である. 実験結果から，総ステップ数を揃えた 場合，単言語コーパスが比較的小規模（400万文や 800 万文）の場合も，高い性能を示すことがわかる. これは，事前学習に用いる誤りデータでは，同じ文 に対してもエポックごとに異なる誤りを生成させて いるためだと考えられる．また，このことは，単言語コーパスの規模が小さな言語に対しても，適切な

図 2 従来手法との BEA-19 test データセットでの ERRANT 誤り種類ごとの性能比較

誤り生成規則を設計すれば，高性能なモデルを学習 できる可能性を示している.

従来の規則による誤り生成手法と, 提案手法を比較するために，表 4 の BEA-19 test データセットで の, ERRANT [27] 誤り種類の一部に対しての訂正性能の比較を図 2 に示す. 正書法の誤り (ORTH) や綴 り誤り (SPELL) では，提案手法は従来手法よりも 高い性能を示している。これは，提案手法の表記体系の誤りの生成が有効であることを示している. Choe らの手法 [12] と提案手法は，ドメイン適応を 行っているが，句読法の誤り (PUNCT) の性能が高 い。これは，句読法はドメインごとに規約が異なる ためだと考えられる。冠詞誤り (DET) や，前置詞誤 り (PREP), 代名詞誤り (PRON) などの機能語誤りで は，規則による誤り生成を行う従来手法との単純な 比較は難しい. 機能語誤りのように訂正に前後の文脈を要する誤りの生成においては，規則による誤り 生成は機械翻訳による誤り生成と比較して質が劣る と考えられる。その検証は，今後の課題である。

## 5 おわりに

本研究では，多様な誤りに対して誤り生成規則を 定義し，それらを組み合わせた人工誤り生成の枠組 みを提案した。実験を通して，多様な規則を用いる 誤り生成は，ニューラル文法誤り訂正の事前学習の ためのデータ拡張手法として効果的であることが 示された. さらに，誤り生成規則の多様性は，文法誤り訂正の事前学習の効果を向上させることがわ かった. また，人工誤りデータの生成に用いる単言語コーパスが小規模な場合でも，条件によっては高性能な訂正モデルを学習できる可能性も判明した.

謝辞 本研究成果は，「産総研・東工大実社会 ビッグデータ活用オープンイノベーションラボラ トリ」により得られたものです.

## 参考文献

[1] Marcin Junczys-Dowmunt, Roman Grundkiewicz, Shubha Guha, and Kenneth Heafield. Approaching neural grammatical error correction as a low-resource machine translation task. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 595-606, 2018.

[2] Jared Lichtarge, Chris Alberti, Shankar Kumar, Noam Shazeer, Niki Parmar, and Simon Tong. Corpora generation for grammatical error correction. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3291-3301, 2019.

[3] Marek Rei, Mariano Felice, Zheng Yuan, and Ted Briscoe. Artificial error generation with machine translation and syntactic patterns. In Proceedings of the 12th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 287-292, 2017.

[4] Tao Ge, Furu Wei, and Ming Zhou. Fluency boost learning and inference for neural grammatical error correction. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1055-1065, 2018.

[5] Shun Kiyono, Jun Suzuki, Masato Mita, Tomoya Mizumoto, and Kentaro Inui. An empirical study of incorporating pseudo data into grammatical error correction. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 1236-1242, 2019.

[6] Jared Lichtarge, Chris Alberti, and Shankar Kumar. Data weighted training strategies for grammatical error correction. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 634646, 2020.

[7] Wangchunshu Zhou, Tao Ge, Chang Mu, Ke Xu, Furu Wei, and Ming Zhou. Improving grammatical error correction with machine translation pairs. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 318-328, 2020.

[8] Emi Izumi, Kiyotaka Uchimoto, Toyomi Saiga, Thepchai Supnithi, and Hitoshi Isahara. Automatic error detection in the Japanese learners' English spoken data. In The Companion Volume to the Proceedings of 41st Annual Meeting of the Association for Computational Linguistics, pp. 145-148, 2003.

[9] Alla Rozovskaya and Dan Roth. Training paradigms for correcting errors in grammar and usage. In Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 154-162, 2010.

[10] Alla Rozovskaya and Dan Roth. Generating confusion sets for context-sensitive error correction. In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 961-970, 2010.

[11] Chris Brockett, William B. Dolan, and Michael Gamon. Correcting ESL errors using phrasal SMT techniques. In Proceedings of the 21 st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 249-256, 2006.

[12] Yo Joong Choe, Jiyeon Ham, Kyubyong Park, and Yeoil Yoon. A neural grammatical error correction system built on better pretraining and sequential transfer learning. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 213-227, 2019.

[13] Simon Flachs, Ophélie Lacroix, and Anders Søgaard. Noisy channel for low resource grammatical error correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 191-196, 2019.

[14] Roman Grundkiewicz, Marcin Junczys-Dowmunt, and Kenneth Heafield. Neural grammatical error correction systems with unsupervised pre-training on synthetic data. In Proceedings of the
Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 252-263, 2019.

[15] Shuyao Xu, Jiehao Zhang, Jin Chen, and Long Qin. Erroneous data generation for grammatical error correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 149-158, 2019.

[16] Jonas Sjöbergh and Ola Knutsson. Faking errors to avoid making errors: Very weakly supervised learning for error detection in writing. 2005.

[17] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A new dataset and method for automatically grading ESOL texts. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 180-189, 2011.

[18] Daniel Dahlmeier, Hwee Tou Ng, and Siew Mei Wu. Building a large annotated corpus of learner English: The NUS corpus of learner English. In Proceedings of the Eighth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 22-31, 2013.

[19] Tomoya Mizumoto, Yuta Hayashibe, Mamoru Komachi, Masaaki Nagata, and Yuji Matsumoto. The effect of learner corpus size in grammatical error correction of ESL writings. In Proceedings of COLING 2012: Posters, pp. 863-872, 2012.

[20] Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 shared task on grammatical error correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 52-75, 2019.

[21] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL2014 shared task on grammatical error correction. In Proceedings of the Eighteenth Conference on Computational Natural Language Learning: Shared Task, pp. 1-14, 2014.

[22] Courtney Napoles, Keisuke Sakaguchi, and Joel Tetreault. JFLEG: A fluency corpus and benchmark for grammatical error correction. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 229-234, 2017.

[23] Kostiantyn Omelianchuk, Vitaliy Atrasevych, Artem Chernodub, and Oleksandr Skurzhanskyi. GECToR - grammatical error correction: Tag, not rewrite. In Proceedings of the Fifteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 163-170, 2020.

[24] Ivan Provilkov, Dmitrii Emelianenko, and Elena Voita. BPEdropout: Simple and effective subword regularization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1882-1892, 2020.

[25] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008, 2017.

[26] Julian Salazar, Davis Liang, Toan Q. Nguyen, and Katrin Kirchhoff. Masked language model scoring. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2699-2712, 2020.

[27] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 793-805, 2017 .
表 6 誤り訂正実験の結果と既存手法との比較

 \\

図 3 事前学習データのエ ポック数・ステップ数によ る CoNLL-14 test データセッ 卜上での性能変化

図4 事前学習データのエ ポック数・ステップ数によ る FCE test データセット上 での性能変化

単言語コーパスの文数

図 5 事前学習データのエ ポック数・ステップ数によ る JFLEG test データセット 上での性能変化

dropout 確率

図 6 BPE-dropout $の$ dropout 率による BEA-19 valid デー タセット上での性能変化

## A 実験結果の詳細

表 4 のより詳細な結果を表 6 に示す。再学習を 行った場合，ベースラインより特に再現率が高くな る. 多様な人工誤り生成を行った誤りデータでの事前学習が，多様な誤りの訂正性能に寄与することが 確認できる. ドメイン適応は，評価データ間の規約 の差異を埋め，再現率を向上させる。

表 5 の詳細な結果を表 7 に示す.

図 1 と同じ実験を BEA-19 valid データセット以外 で行った結果を図 $3,4,5$ に示す. 他のデータセット でも図 1 と同様の結果が確認できる.

BPE-dropout の dropout 確率を変化させたときの ベースラインモデルの BEA-19 valid データセットで の性能変化を図 6 に示す.表 7 誤り生成規則の有無が性能に与える影響の比較

事前学習 (人工誤り・1 カテゴリのみ) +再学習 +機能語誤り $\quad \begin{array}{lllllll}59.05 & 32.65 & 50.83 & 73.29 & 43.44 & 64.44\end{array}$ +活用誤り $\quad \begin{array}{lllllllll} & 58.49 & 32.13 & 50.25 & 71.69 & 44.64 & 63.94\end{array}$ +表記体系誤り $\quad \begin{array}{lllllll}60.30 & 33.39 & 51.93 & 73.15 & 43.81 & 64.50\end{array}$ +单語選択誤り $\quad \begin{array}{lllllll}58.80 & 33.05 & 50.87 & 70.45 & 44.37 & 63.04\end{array}$ +語順誤り $\quad \begin{array}{llllll}57.80 & 32.48 & 50.00 & 68.90 & 44.76 & 62.19\end{array}$事前学習（人工誤り・1 カテゴリ除く）+再学習 -機能語誤り $\quad \begin{array}{lllllll} & 58.95 & 37.42 & 52.87 & 71.79 & 47.74 & 65.22\end{array}$ -活用誤り $\quad \begin{array}{llllllll}59.36 & 37.05 & 52.98 & 69.55 & 48.28 & 63.92\end{array}$ $\begin{array}{llllllll}\text {-表記体系誤り } & 60.10 & 34.61 & 52.38 & 74.79 & 44.74 & 65.93\end{array}$ -単語選択誤り $\quad \begin{array}{lllllll}61.03 & 35.45 & 53.33 & 74.21 & 45.78 & 66.01\end{array}$ $\begin{array}{lllllll}\text {-語順誤り } & 61.13 & 34.00 & 52.72 & 75.45 & 45.16 & 66.54\end{array}$事前学習+再学習 6 
 古山翔太 ${ }^{1,2}$ 高村大也 ${ }^{1,2}$ 岡崎直観 1,2 1 東京工業大学 2 産業技術総合研究所 shota.koyama[at]nlp.c.titech.ac.jp, takamura.hiroya[at]aist.go.jp, okazaki[at]c.titech.ac.jp  