# 英語初学者エッセイの議論マイニングコーパスの作成と分析

川原田将之† 平尾努§内田涉†永田昌明 §
†株式会社 NTT ドコモ $\S_{\text {NTT }}$ Nミュニケーション科学基礎研究所
\{masayuki.kawarada.vw, uchidaw\}@nttdocomo.com
\{tsutomu.hirao.kp, masaaki.nagata.et\}@hco.ntt.co.jp

## 概要

議論マイニングとは，筆者の主張や根拠を特定 し，それらの論理構造を明らかにするタスクで ある。学生の書いたエッセイを対象とした議論 マイニングのコーパスとしては，Persuasive Essay Corpus (PEC) [1]が存在する。しかし，PEC は，留学生や英語を母国語とした高校生が書いたエッセイを 基に作成されており，英語を外国語として学び始め た学習者 (初学者) が書く英文とは，記述されている 英語の習熟度に差が存在する. 本稿では，初学者が 書いたエッセイに対して，PEC と同様のアノテー ションを行い，新たに議論マイニングコーパスを作成した. 複数名で作成したコーパスに対して一致率 を算出し，PEC との比較分析を行った結果を報告 する。

## 1 はじめに

英語を外国語として学ぶ者にとって，論理構造が 明確な英文が書けることは，重要なスキルの一つで ある．学習者が書いた英文に対して，自動で論理構造の明確さに対する採点や修正箇所のフィードバッ クを行うようなシステムがあれば，英語学習に役立 てることができ，有用である。このようなシステム を実現するためには，学習者が書いた英文を解析 し，論理構造を明らかにする必要がある。

議論マイニングとは，筆者の主張や根拠を特定 し，それらの論理構造を明らかにするタスクであ る. 教育分野における議論マイニングのコーパス としては, Persuasive Essay Corpus (PEC) [1]が存在す る．PEC の英文は，留学生や英語を母国語とした高校生によって書かれたものであり，英語を外国語と して学習する中学生や高校生が書くような英文は含 まれていない. PECにおけるアノテーションのガイ ドラインも，意味上の段落であるパラグラフに分け て書かれているエッセイを前提としている。一方で，初学者が書くエッセイは，パラグラフを 意識して書かれていないといった特徴が存在する。 このような特徵を持つ文書を対象にした議論マイニ ングの研究は少なく [2], 英語の習熟度が高い筆者 が書いたエッセイと比較する研究は，今まで行われ てこなかった.

そこで本稿では，PEC 作成におけるアノテーショ ンガイドラインを用いて，初学者が書いたエッセイ の議論マイニングコーパスを作成し，PEC との比較分析を行った結果を報告する．複数名で作成した 議論マイニングコーパスに対して，アノテーション 一致率を算出したところ，PEC と比較して，一致率 は著しく低下した。一致率を上げるためのアノテー ション方法の改善に向けて詳細な分析を行った. ご く少数のエッセイにおいては，筆者が意識してパラ グラフを設けて作成されており，そのようなエッセ イに限れば，アノテーション一致率は比較的高く,初学者によるエッセイに対するアノテーション方法 の変更の方向性が示唆された。

## 2 関連研究

議論マイニングに関する研究は，ニュース記事を 対象としたもの [3] や生物学の論文を対象としたも の $[4,5]$ など，様々な分野で行われている．教育分野における議論マイニングのコーパスを作成した 研究としては，Stab ら [6] の研究がある. 彼らは, エッセイ投稿用の web サイトから収集した 90 エッ セイに対して，Component と呼ばれる筆者の主張が 含まれる部分の抽出を行った後，Component 同士の 関係を表す Relation の抽出を行っている. これに引 き続き，Stab [1] らは，Stab ら [6] のアノテーション 方法に修正を加えた方法で，PECを作成した．PEC には，80 のテストデータと 322 の学習データが含ま れており，テストデータに対してアノテーション一致率を計算している。

本研究では, Stab [1] らの研究を基に初学者のエッ

セイに対する議論マイニングコーパスを作成する.

## 3 議論マイニングコーパスの作成

先行研究 [1] との比較を行うために，初学者の書 いたエッセイに対して，同じ方法でアノテーション された，議論マイニングコーパスの作成行う.

## 3.1 エッセイの作成

エッセイの作成を行うために，筆者によって意見 が分かれるような 250 のトピックを用意した. 初学者1)に，これらのトピックから. 100 語から 150 語程度のエッセイを作成してもらった。各トピックに 対して，10 エッセイを作成し2)，合計で 2,500 エッ セイを作成した. 指定語数が 100 語から 150 語と短 く，依頼を行う際に，パラグラフに分けて書くよう に指示はしていないため，パラグラフ区切りが含ま れているエッセイは 102 例のみであった.

作成した 2,500 エッセイから，ランダムに 100 エッセイを抽出し, これらのエッセイに対してアノ テーション作業を行った. 抽出した 100 エッセイの 中でパラグラフが存在しているものは 5 例だった.

抽出したエッセイの統計情報と PEC の統計情報 を比較したものを付録 $\mathrm{A}$ の表 3 に示す.

## 3.2 アノテーション方法

Stab ら [1] のアノテーション方法では，3 段階に 分けてアノテーションが行われる。 まず，アノテー タにトピックとエッセイを渡し，エッセイに書か れている内容を把握してもらう，次に，筆者の主張が含まれる要素である Component の抽出を行う. Component は, MajorClaim, Claim, Premise の 3 種類 が存在し, Component の抽出は，文よりも小さい 単位でで行われるため，抽出する境界の決定も必要である. Component の抽出は, MajorClaim, Claim, Premise の順に行う. 最後に, 抽出した Component 同士の関係を表す Relation の抽出を行う．Relation は，互いに同じ立場の関係にある Support と対立し た立場の関係にある Attack が存在する.

Stab ら [1] の方法では，エッセイにパラグラフが 存在することを前提に，各パラグラフ内で相対的に Component と Relation の抽出を行っている。一方で，初学者のエッセイでは，パラグラフが存在しない場

1）本研究で初学者とは，TOEIC ® Listening \& Reading Test で 500 点以下の点数かつ，英語を母国語としない者とした.

2）ただし， 1 人の初学者が同一のトピックについて複数の エッセイを書くことがないように調整した。合が多く，エッセイ全体を見ながら抽出を行う必要 がある.

## 3.3 アノテーション作業

アノテーション作業は. 英語を母国語とする 3 名のアノテータで行った. まず， 3 名には，先行研究 [1] のアノテーションガイドライン3)を用いて, アノテーション方法の習得をしてもらった. その 後，各アノテータは，それぞれ 100 エッセイに対し てアノテーションを行った.

今回作成したエッセイは，PEC と比べて，エッセ イ作成者の英語の習熟度が高くないため，アノテー タが理解できない場合や，そもそもトピックに対応 した主張が含まれていない場合が想定される.これ らに対応するため，アノテータには，どこまでの作業ができるのかを判断してもらい，作業を完了でき なかった場合は，その理由を記述してもらった。

表 1 に作成したエッセイに対して行ったアノ テーションの例を示す. また，作成した議論マイニ ングコーパスについて，各アノテータが抽出した Component の数と付与した Relation の数, 作業不可 と判断されたエッセイの数を付録 $\mathrm{A}$ の表 4 に示す.

## 4 アノテーション一致率の算出方法

アノテータが可能だと判断した作業について の一致率を算出した後, Stab ら [1] と同様の方法 で,Component の一致率と Relation の一致率をそれぞ れ算出する.

## 4.1 作業判断についての一致率

本研究では，先行研究 [1] とは異なり，アノテー タが作業不可と判断することも可能である. 各エッ セイに対して，3名のアノテータが作業可能と判断したか $(t=1)$, または, 作業不可と判断したか $(t=0)$ を Fleiss [7]の $\kappa$ を用いて，アノテーション一致率を計算する。

## 4.2 Component $の 一$ 致率

まず，文単位でアノテーション一致率を計算す る.この方法では，アノテータ間で Component を 抽出する境界が異なっていたとしても，抽出した Component が同一の種類であれば，一致していると 評価される. 文単位のアノテーション一致率の計


図1作成したエッセイに対して行った，Component（左）とRelation(右)のアノテーションの例

表 1 Component(上)と Relation(下)の抽出に関する先行研究 [1] と本研究のアノテーション一致率の比較. OA は, Observed Agreement を表す. MC，C，P，S，A は，それぞ れ, MajorClaim, Claim, Premise, Support, Attackを表す.

算には，観察された一致度 (Observed Agreement) と Fleiss [7]の $\kappa$ を用いた. 観察された一致度は，単純 に全体の中で 3 名の作業者の一致した割合を測る指標であり，кは，観察された一致度から偶然の一致 を除いた時の一致率を測る指標である。

次に, Component の境界も考慮した評価を行うた めに, Krippendorff $[8,9]$ の $\alpha_{U}$ の算出を行う.この 算出方法では，各エッセイを単語に分割し, ${ }^{4}$ エッセ イ全体を単語列と見なした上で，アノテータが抽出 した Component の境界とその種類の一致率を計算す る. そして, 算出した各エッセイの一致率の平均値 を取ることでアノテーション一致率とする。

## 4.3 Relation の一致率

先行研究 [1] に従い, Componentを含んだ 2 文間の Relation の一致率を算出する．あるパラグラフ内に 含まれる文の総数を $n$ とすると，パラブラフ内の文 はそれぞれ， $s_{1}, \ldots, s_{n}$ と表され，その中の任意のぺ アは， $p=\left(s_{i}, s_{j}\right)$ と表される. ここで, $0 \leq i, j \leq n$ かつ $i \neq j$ である. 全エッセイに含まれるぺアの 総数 $N$ うち，アノテータ間で Relation の種類が一致している割合からアノテーション一致率を計算 する. ただし，パラグラフの区切りが存在しない


表 23 名のアノテータが各作業段階において, 作業不可と判断したエッセイの数. MC，C，P は，それぞれ， MajorClaim, Claim，Premiseを表す。

エッセイでは， $n$ はそのエッセイに含まれる文の数 と一致する. アノテーション一致率には, Observed Agreement と Fleiss [7]の $\kappa を$ 用いた.

## 5 分析結果

3 名のアノテータによるアノテーション一致率 を算出するため，1 人でも作業が不可と判断した エッセイは除外した. アノテーションが完了した 81 エッセイに対して，前節の方法でアノテーション 一致率を算出し, 先行研究 [1] との比較結果を示す.

## 5.1 作業不可と判断されたエッセイに対す る分析

100 エッセイのうち，除外されたエッセイは， 19 エッセイであり，3 人のアノテータ全員が作業不可 と判断したエッセイは存在しなかった. アノテータ 3 名の作業判断についての一致率を計算したとこ ろ， $\kappa=0.087$ が得られた. また，除外した 19 エッ セイのうち，13エッセイは，アノテータ B のみが作業不可と判断したエッセイであったため，アノテー タ A とアノテータ C の一致率を算出したところ, $\kappa=0.2647$ であった. これらの結果を見ると, 作業判断についての一致率は低く, 作業判断はアノテー タによって異なることがわかる。

次に，除外されたエッセイがどの作業段階で作業不可と判断されたのかについて考察する. アノテー ション作業において，Relation を抽出する段階で作業不可と判断された例は存在しなかった. これは, Component の抽出の際には，他の Component との対
応を考えながら行う必要があるため, Component の 抽出ができれば，Relation の抽出も行えるからだと 考えられる。3名のアノテータが各作業段階におい て, 作業不可と判断したエッセイの数を表 2 に示 す. MajorClaim の抽出を行う段階で，作業不可判断 されたエッセイは，10 例であった. 作業不可と判断 した理由としては，「トピックに対応した主張が含 まれていない」や「エッセイ自体が不明瞭で主張が 理解できない」が多かった. また, Premise の抽出 において，10 例が作業不可と判断されていた. その 理由としては，「Premise に該当する箇所がエッセイ 中に存在しない」がほとんどであった。これは，初学者のエッセイは, 主張を書くことができたとして も，それらの因果関係が読者に伝わりづらい英文で あるためだと考えられる。

## 5.2 アノテーション一致率に関する分析

Component と Relation のそれぞれにおいて，先行研究と本研究のアノテーション一致率を比較した ものを表 1 に示す.まず，Component について見 てみると， $\kappa ， \alpha_{U}$ の值は，MajorClaim で $\kappa=0.530 ，$ $\alpha=0.497$ であった. MajorClaim の一致率が比較的高くなった理由としては，一般的に MajorClaim は文書の最初と最後に出てくる場合が多く, エッセイ作成者の意図が分かりづらくても，文の位置からある 程度は予測できるからだと考えられる. 先行研究で は, Premiseの一致率は $\kappa, \alpha_{U}$ 共に高いが, 本研究で は低く, $\kappa=0.247$ と $\alpha_{U}=0.497$ だった. これは, 初学者のエッセイには, 接続詞の誤りが多く含まれ,主張と理由の判別が難しいためだと考えられる.

次に，Relation について比較を行う. Support に ついての $\kappa$ の值は, $\kappa=0.350$ であり, 先行研究と 比べると高くないものの, ある程度の一致率が得 られた。一方で，Attackについての一致率は低く， $\kappa=0.072$ であった. この理由として，初学者のエッ セイは主張の立場がわかりづらく，アノテータが判別するのが難しかったためだと考えられる.

## 5.3 パラグラフの影響に関する分析

パラグラフの有無がアノテーション一致率に与え る影響について調べるために，これらを 2 つの群に 分けた後, Component の一致率を比較する. 比較に は， $\alpha_{U}$ を用いた. パラグラフが存在するエッセイ と存在しないエッセイに対して $\alpha_{U}$ を比較したもの を図 2 に示す. MajorClaim, Claim, Premiseの全

図 2 パラグラフが存在するエッセイ (w/ paragraph) と存在しないエッセイ (w/o paragraph) に対する $\alpha_{U}$ の比較

てにおいて，パラグラフがある場合の方がエッセイ のアノテーション一致率が高いことがわかる。これ は，パラグラフが存在することにより，エッセイ作成者が意図した，意味上の区切りをアノテータが理解しやすくなるためであると考えられる．特に，本研究のような短いエッセイの場合, MajorClaim の含 まれるパラグラフは 1 文であることが多く，パラグ ラフがないものに比べて作業が容易であったと考え られる。ただし，パラグラフが存在するエッセイと 存在しないエッセイの間には，サンプル数に大きな 偏りがあるため，同程度のサンプル数における比較 は，今後の課題である.

これらの結果から, 初学者のアノテーション作業 を行う際には，パラグラフに分割可能かを判断する 作業を追加するなど，作業工程の検討を行う必要が あると考えられる。

## 6 おわりに

本研究では，初学者が書いたエッセイに対して，議論マイニングのアノテーションを行った. 複数の アノテータで作成した議論マイニングコーパスにつ いて，アノテーション一致率を算出したところ，先行研究 [1] よりも一致率が低い結果が得られた. そ こで， パラグラフの区切りが存在するエッセイと存在しないエッセイについて，アノテーション一致率 の比較を行ったところ，パラグラフが存在するエッ セイの方が一致率が高い結果が得られた. 今後は, アノテーション作業におけるパラグラフの影響につ いて，より詳細な分析を行った後，初学者のエッセ イに対するアノテーション方法の検討を行いたい.

## 参考文献

[1] Christian Stab and Iryna Gurevych. Parsing argumentation structures in persuasive essays. Computational Linguistics, Vol. 43, No. 3, pp. 619-659, September 2017.

[2] Jan Wira Gotama Putra, Simone Teufel, and Takenobu Tokunaga. Parsing argumentative structure in Englishas-foreign-language essays. In Proceedings of the 16th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 97-109, Online, April 2021. Association for Computational Linguistics.

[3] Khalid Al-Khatib, Henning Wachsmuth, Johannes Kiesel, Matthias Hagen, and Benno Stein. A news editorial corpus for mining argumentation strategies. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 3433-3443, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[4] Nancy Green. Towards creation of a corpus for argumentation mining the biomedical genetics research literature. In Proceedings of the First Workshop on Argumentation Mining, pp. 11-18, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[5] Nancy Green. Identifying argumentation schemes in genetics research articles. In Proceedings of the 2nd Workshop on Argumentation Mining, pp. 12-21, Denver, CO, June 2015. Association for Computational Linguistics.

[6] Christian Stab and Iryna Gurevych. Annotating argument components and relations in persuasive essays. In Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics: Technical Papers, pp. 1501-1510, Dublin, Ireland, August 2014. Dublin City University and Association for Computational Linguistics.

[7] J.L. Fleiss, et al. Measuring nominal scale agreement among many raters. Psychological Bulletin, Vol. 76, No. 5, pp. 378-382, 1971.

[8] Klaus Krippendorff. Content Analysis: An Introduction to Its Methodology (second edition). Sage Publications, 2004.

[9] Klaus Krippendorff. Computing krippendorff's alphareliability. 2011.

## A データ作成時の統計情報

表 3 先行研究 [1] と本研究でアノテーションを行うエッ セイの統計情報の比較. 括弧内の值は, パラグラフが存在した 5 例のエッセイのみの平均値を表す.

表 4 各アノテータか抽出した Component の数と Relation の数，および，作業不可と判断したエッセイの数 (作業不可の数).
 川原田将之† 平尾努§内田涉†永田昌明 § †株式会社 NTT ドコモ $\S_{\text {NTT }}$ Nミュニケーション科学基礎研究所 \{masayuki.kawarada.vw, uchidaw\}@nttdocomo.com \{tsutomu.hirao.kp, masaaki.nagata.et\}@hco.ntt.co.jp  