# Exploring Methods for Generating Feedback Comments for Writing Learning

塙 一晃 ${ }^{\dagger, \dagger \dagger}$
## 1 はじめに

本稿では, EMNLP2021 に採択された表題の論文 (Hanawa et al. 2021) について解説する. 詳細な内容については次節以降で述べるが，まずはじめに説明したいのは，本研究はあるタスクにおける手法の研究でありながら, 自然言語処理分野における手法研究の “典型的なストーリー” からは逸脱しているということである。ここでいう典型的なストーリーとは，ある新規手法を提案し，その手法の何らかの優位性（典型的にはあるタスクにおける精度）を示すというものである。本研究の内容は英語学習者のための解説文生成タスク（以下，単に「解説文生成タスク」と記す）における三つの自然な既存の手法を比較し，その振る舞いを分析したものである.

そのようなストーリーになった背景には次のような経緯がある。まず，重要な前提として，解説文生成タスクという分野における生成手法の知見はほとんど皆無である. 最近, 解説文生成タスクのためのデータセット (Nagata 2019) が作られたが, 生成手法に関する研究は本研究以前にはほとんど報告されていない，そのような状況においては，まず自然な既存手法でどの程度解けるのかを調べるのが定石であろう。一方で，単に既存手法の精度を調べるだけでは，（著名な国際会議に採択される程度に）十分な知見は含まれていないことが多いと思われる。筆者も当初は既存手法の振る舞いを調べるのはあくまで予備調査にすぎず，その上で何らかの新規手法を提案するというストーリーを想定していた。しかし，既存手法の精度を調べたところで想定とは大きく異なる結果が得られた。そこでそのような振る舞いの原因を調査し，その内容を報告することにした。このようなストーリーの論文は，一見しただけでは既存手法の精度を報告しているだけで，あたかも新規性が無いように見えるかもしれない。しかし，既存手法の非直感的な振る舞いやその原因を報告することは解説文生成タスク，ひいては自然言語処理分野に対して十分な貢献があると信じ，その内容を論文としてまとめるに至った.


†東北大学

## 2 解説文生成タスクとはどのようなタスクか

本節では本研究で取り組んだ解説文生成タスクがどのようなタスクなのか, どのような手法が初手として“自然”なのかを述べる.

解説文生成とは，与えられた文章に対してライティングに関するヒントや説明を生成する夕スクのことである。例えば，次の文の下線部に対して，

(1) 対象文 :*We discussed about it.

解説文：discuss は他動詞ですので、前置詞 about は必要ありません。 のような解説文を生成するタスクである.

このタスクは形式的には生成問題でありながら, 同時に「複数の事例が同じ誤りクラスに属している」という多クラス分類のような性質をもつ。例として次の二文を考える。

(2) 対象文:*We reached to the station.

解説文：reach は他動詞ですので、前置詞 to は必要ありません。

(3) 対象文: *I reached to New York.

解説文：reach は他動詞です。目的語の前に前置詞は必要ありません。

これらの例はいずれも同じ種類の誤りである。また，二つの解説文は表層的には異なるが，内容的には同様の指摘をしており互いに可換である。このような性質を考慮すると検索手法（以下, Retrieval）が一つ目の自然な手法として挙げられる。詳細は原論文に譲るが Retrieval では入力文を文べクトルにエンコードし，それらの余弦類似度が最も大きいものを訓練データから検索する。

しかし, Retrieval は柔軟性に欠ける。例えば次の解説文を考える。

(4) 対象文:*I approach to the goal.

解説文：approach は他動詞です。目的語の前に前置詞は必要ありません。

例 (4) と例 (3) は「他動詞と前置詞の併用」という同じ種類の誤りと分類するのが自然であろう. しかし, 例 (4) の解説文では “reach” ではなく“approach” が使われており, 例 (3)の誤りに対してそのまま出力すると正しくない解説文となる。そこでより柔軟な手法として Encoder-Decoder を用いた生成手法（以下， Simple Generation）が挙げられる。例 (4) からもわかる通り解説文中には入力文中の単語（この例では “approach”）が用いられることも多い. そこで入力文からのコピー機構を備えた Encoder-Decoder として pointer-generator network (See et al. 2017) を採用した。

三つ目の自然な手法としては検索した事例を編集する Retrieve-and-Edit (Hashimoto et al. 2018) が挙げられる。検索した事例を編集することができれば前述のような例 (3) の誤りに対して例 (4) の解説文を検索してしまった場合でも “approach”を “reach”に書き換えることで正しい解説文となる。 さらに解説文を一から生成する Simple Generation よりも，いくつかの単語

表 1 各生成手法の正解率

を編集するだけの Retrieve-and-edit の方が解きやすい形式になっていると考えられる.

まとめると, 本研究では Retrieval, Simple Generation, Retrieve-and-Edit の三つの手法を比較する。また性能は前述の理由から Retrieval $<$ Simple Generation $<$ Retrieve-and-Edit の順になると予想できる。しかし実験を行ったところ，興味深いことに予想とは異なる結果が得られた. 実験結果の詳細については次節で述べる.

## 3 各手法の性能値

実験には二つのデータセットを用いた。一つは前置詞に関する解説文のみを含んたもので， もう一つは一般の解説文も含んたものである。それぞれのテスト事例を人手で正しいかどうか判断し, 評価としてその正解率を用いた。

結果は表 1 の通りとなった。予想に反して Retrieve-and-Edit の性能がいずれのデータセットでも低くなっていることがわかる．特に Retrieval はいずれのデータセットでも Retrieve-andEditよりも高い性能となっている。すなわち Retrieve-and-edit は Retrieval の結果をそのまま出力すれば正しい解説文であるようなケースにおいて，編集をすることで正しくない解説文に書き換えてしまうことが多いのである。また, Simple Generation は前置詞解説文のみを含むデータセットでは最高性能であるのに対し，一般の解説文を含むデータセットでは最低性能となった.これも直感に反する結果である. これらの予想に反する結果が起こる原因についての考察を次節で述べる.

## 4 予想に反する結果の原因

## 4.1 なぜ Retrieve-and-Edit の性能は低いのか

Retrieve-and-Edit の出力結果を分析すると, 不必要な編集をしてしまう現象が数多く確認できた。訓練時に，検索された解説文と目的の解説文が同一内容であっても，表層が異なると，不必要な編集が学習される。言い換えれば，不要な編集は，解説文における表層バリエーションの多さに起因するといえる。次の例を考える。

(5) 対象文: *I agree with that smoking should be banned.

解説文：動詞 agree は that 節を目的語にとりうる動詞なので、目的語の前に前置詞 with は不要です。

(6) 対象文：*I agree with that this method is good.

解説文：動詞 agree が同意する内容が節で書かれている場合は前置詞 with は不要です。 この二つの解説文は，同じ文法規則についての解説であるが表層は大きく異なる．解説文は自然言語で記述されるため，このような表層的なバリエーションは避けられない。例 (5) に対して例 (6) が検索された場合には，そのまま出力すれば十分であるにも関わらず，例 (5)のように書き換えるように訓練が行われる。このように適切な編集方法の学習が妨げられることにより，推論時にも正しい解説文に対しても不要な編集を行ってしまい Retrieve-and-Edit の性能の低下につながったと考えられる。

## 4.2 なぜ Simple Generation の性能順はデータセットによって異なるのか

Simple Generation の生成結果を分析すると, 前置詞解説文と一般解説文では異なる振る舞いが見られた．前者では訓練データと表層的に非常に類似した解説文を生成することが多い。一方, 後者では, 複数の解説内容を融合したような生成結果が頻繁に観測された例えば，次のような解説文が生成された。

(7) 対象文 :* ... this activity is will not disturb their ...

解説文：*主語に合わせて動詞を適切な形で用いましょう。be 動詞は必要か確認しましょう。

一文目は主語と動詞の一致についての解説, 二文目は be 動詞と一般動詞の併記に関する解説である。このような解説文は基本的には正しい解説文となることはないため性能の低下につながる．解説内容の種類数が相対的に多い一般解説文では異なる種類の誤りを区別することが難しく, 例 (7)のように異なる種類の解説文が混ざってしまうことが多くなる．相対的に種類が少ない前置詞解説文では, 誤りの種類を区別しやすく, このような現象は起こりにくい. これらのことに起因して前置詞解説文では高い性能であったのに対し，一般解説文では低い性能になってしまったと考えられる.

## 5 おわりに

本研究は解説文生成手法の探求の第一歩目である. 冒頭でも述べた通り本来は予備実験のつもりで行った既存手法の調査が本研究であり, 解説文生成手法の研究は始まったばかりなのである. 本研究で得られた知見を一つの土台として, より良い解説文生成方法の探求を今後も続けていく所存である.

## 参考文献

Hanawa, K., Nagata, R., and Inui, K. (2021). "Exploring Methods for Generating Feedback Comments for Writing Learning." In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 9719-9730, Online and Punta Cana, Dominican Republic. Association for Computational Linguistics.

Hashimoto, T. B., Guu, K., Oren, Y., and Liang, P. S. (2018). "A Retrieve-and-Edit Framework for Predicting Structured Outputs.” In Bengio, S., Wallach, H., Larochelle, H., Grauman, K., Cesa-Bianchi, N., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems 31, pp. 10052-10062.

Nagata, R. (2019). "Toward a Task of Feedback Comment Generation for Writing Learning." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3206-3215.

See, A., Liu, P. J., and Manning, C. D. (2017). "Get To The Point: Summarization with PointerGenerator Networks." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 1073-1083.

## 略歴

塙一晃: 理化学研究所革新知能統合研究センター 自然言語理解チームテクニカルスタッフ. 2019 年東北大学大学院情報科学研究科博士前期課程修了.同年より現職. 2020 年東北大学大学院情報科学研究科博士後期課程に進学.自然言語処理に関する研究に従事.