# 論述への説明性の高いフィードバック提示に向けた コーパスの試作

内藤昭一 ${ }^{1,2}$ 澤田慎太郎 ${ }^{3}$ 中川智皓 3 井之上直也 ${ }^{2,4}$ 乾健太郎 5,2
1 株式会社リコー 2 理化学研究所 3 大阪府立大学
${ }^{4}$ Stony Brook University ${ }^{5}$ 東北大学
shohichi.naitoh@jp.ricoh.com \{szb03072@edu,chihiro@me\}.osakafu-u.ac.jp
naoya. inoue. lab@gmail.com inui@ecei.tohoku.ac.jp

## 1 はじめに

批判的思考力の育成は国家の最重要課題の一つ となっている．従来は人手によるフィードバックに 頼っていたが，我々はこれを自動化することを目指 している。これにより，人的負荷，生徒の自主学習 ができるようになることが期待される.

批判的思考力の育成では, 学習者の論述に対して 論理構造の観点からのフィードバックを与える. 例 えば，説得力を高めるために何に言及すれば良い か，立論に噛み合った反論になっているか，論理の 飛躍がないか，といったものである.このような フィードバックを提示する際には，フィードバック だけでなく，その根拠を同時に提示することが効果的だと考えられる。すなわち，システムが学習者の 論述構造をどのように解釈し，どの部分が弱いと捉 えたのかという判断の過程をともに提示するという ことである．例えば，図 1 のディベートでは，否定側の反論は，肯定側の論理を突くというよりは，単 に論題を否定しているだけである.こうした状況に 対して，「あなたの反論は肯定側の論理を突いてい ません」とフィードバックするだけでなく，(1)そ の論理構造を提示した上で，(2)「家で勉強する習慣 のない生徒の成績が下がる」ことが肯定側の立論を 攻撃できていないということを指摘し，さらに (3)肯定側の主張「自由に使える時間が増える」に対す るデメリットに言及すれば論述を改善できる，とい うことをセットでフィードバックするほうが学習効果が高いと考えられる.

こうしたフィードバックを行うモデルの構築・評価には，論述とその論述構造，及びそれに対する フィードバックを重層的に付与したコーパスが必要 である．2 節で詳述するが，先行研究では，こうし論題: 宿題を廃止すべきか?

肯定側の立論 否定側の反論

宿題を廃止すべきだ。なぜなら、自由に使える時間が増えるからだ 空いた時間で部活やボランティア、㖩味など人生を上以充䒠させる活動ができるようになる。

宿題を廃止すると、学校で習った ことを復習する機会がなくなる。家で勉強する習慣のない生徒は 成績が下がることにつながる

## 否定側の反論 へのフィードバック

立論の「自由時間が増える」という主張に対する直接的な反論がないので、自由時間が増えることによるデメリットに言及すると、より良いでしょう。

## フィードバックの根拠

図 1 論述へのフィードバックとその根拠の提示

たフィードバックを実現するためのデータセットは 存在していない。そこで我々は，一論題について複数の論述を収集し，そこにフィードバックとその根拠となる論述構造を重層的に付与したコーパスを構築することを目指している。

本論文はその最初のステップとして，コーパスの 設計方針について論じ，一つの論題に対する試作的 アノテーションを行った結果を通して，課題と次の ステップについて論じる。また，低コスト・短時間 で他の論題へ横展開していくため，クラウドソーシ ングによる論述構造のアノテーション品質について 検証する。

## 論述構造

## 主張 (Claim)

However, what students will do during free time
is just playing games and chatting using SNS in
most cases or just sleeping as they said.

前提 (Premise)

It is because human is lazy in nature. Doing hard thing is usually difficult. Then, many students will not study at home.

## フィードバック

改善点 (Suggestion)

ゲームをしたり、チャットをしたりすることがい

かに悪いことか、を説明できるとよりよいです

良い点 (Good point)

人間は元来急けてしまう性質があるという 分析はよかったです

図 2 論述構造とフィードバックの重層的なアノテーション

## 2 関連研究

論述の評価に関する一般的な研究として，エッセ イスコアリングがある. [1,2] は，エッセイに対し $\tau$, Organization や Argument Strength など特定の観点のスコアをアノテートし，スコアを予測するモデ ルを提案している. [3] は, 評価の観点を包括的に 調査し， 15 個の観点についてスコアをアノテートし たコーパスを作成している. [4] は Persuasive Essay Corpus に対して, [5] は ICLE に対して, 複数の観点 のスコアをアノテートしている。特に，[4] はエッ セイ全体ではなく, 論述要素という詳細な単位を対象としている. これらの研究は, 特定の観点の評価 が定量的に分かる点で優れているが，なぜ改善が必要か，どのように改善すれば良いかを伝えるという 点では自然文によるフィードバックの方が適してい ると考える. そのため, 本研究ではフィードバック の提示に焦点を当てる.

論述にフィードバックを与える研究として，ユー ザが作成した論述に対して反論を与える研究 $[6,7]$ が存在する. 反論を論理の弱い点への指摘と捉えれ ば，一種のフィードバックと考えることができる. [6] は，論述が含む詭弁の種類と反論をアノテート したデータセットを作成し, Sequence-to-Sequence モ デルによる反論の生成を検証している. [7] は，論述の集合から反論を検索するアプローチをとって いる. 同じ論点に対して反対のスタンスをとる論述 を反論とし, 単語の類似度と非類似度から反論とし ての適切さをスコアリングするモデルを提案して いる. しかし, これらの研究では, 論述構造を捉え た上で反論の生成，検索が実現できているわけでは ない.

論述構造を活かしたフィードバックを与える研究
としては，主張を裏付ける前提の不足を指摘する研究が存在する $[8,9]$. これらの研究では論述構造を 解析し，主張を支持する前提の数が不足している場合に，前提の追加を促すフィードバックを行う．本研究では, 説得力を高めるためにはどのような内容 の前提に言及すべきかという，より内容に踏み込ん だフィードバックの実現を目指す.

## 3 論述文の収集

本研究では，論述構造に基づくフィードバックを 提示するため, 図 2 に示すように，ディベートにお ける反論に対して論述構造とフィードバックを重層的に付与したコーパスを構築する. 本節では，まず 付与の対象とする論述文について説明する. 4 節, 5 節では, 論述構造・フィードバックのアノテー ションの仕様および試験的なアノテーション結果に ついてそれぞれ報告する。

## 3.1 対象とする論述文

論述文の種類: ディベートにおける反論を付与対象とする. 反論を述べるためには，まず相手の 論理構造を理解し，これに対してどこに反論をする のが効果的かを見極めた上で，さらに説得力のある 反論を構築していく能力が要求される. こうした対話的な議論の練習は批判的思考力の育成のための恰好の題材となっており [10], 計算機によるフィード バックができるようになることで，幅広い応用が可能になると考えられる.なお，一般的にディベート は複数のチームがある論題について応酬を繰り返す 形であるが，本研究では，図 1 のように肯定側と否定側の 2 チームに分かれ, 肯定側の立論に対して直接反論している反論を対象とする. また，ディベー 卜は一般的に口頭で行われるが，本研究では初めか

ら書き言葉で書かれた論述を対象とする. 音声認識誤りの問題を切り分けて考えるためである.

論題あたりのデータ量: 図1のような論述構造に基づくフィードバックの自動化を実現するため には，論述構造を正確に解析する必要がある.この ためには，論題に典型的に出現する反論の論述構造 をカバーするコーパスをつくることが望ましい. 既存の論述構造付きのコーパスでは，より多くの論題 をカバーする方針が取られているため，ひとつの論題あたりの論述数が少ない傾向にある. しかしなが ら，これでは論題に頻出する典型的な論述のパタン を補足するのは難しいと考えられる。

そこで本研究では，ひとつの論題あたり，数百件規模の論述を収集する。一つの論題について考える と, 頻出する反論のパターンはある程度絞ることが できるはずである．例えば，宿題を廃止すべきとい う論題においては，図 1 のような議論のほか，肯定側の立論:「強制することで勉強が嫌いになる」-否定側の反論:「マネジメントスキルが身につく」や，肯定側の立論:「教員の負担を減らす」-否定側の反論「生徒がどれほど授業を理解したかわからない」 といったパタンが頻出すると考えられる。

もちろん，一つの論題に関して重点的にデータを 収集する分，他の論題へ横展開するためのコストは 他のコーパスに比べて高い. しかし, 実際の利用 シーンを考えてみると，いくつかの論題について コーパスを構築できれば直ちに応用が可能な場面は 多いと考えられる. 例えば，高等学校の授業での利用を考えると，5つの論題があれば十分に利用価值 があるかもしれない. クラスごとに論題が異なって いる必要はなく，またこれを毎年変更する必要もな いからである. また，フィードバックモデルの利用 が広がっていくと，新たな論述文が自動的に集まっ てきてフィードバックモデルの精度が上がるという エコシステムを形成できる可能性も出てくる.

## 3.2 データ収集

3.1 節で述べた基本方針に適するものとして，一般社団法人パーラメンタリーディベート人財育成協会1) (PDA) が提案する即興型パーラメンタリーディ ベート [10] がある. PDA のパーラメンタリーディ ベートは，肯定側 3 名と否定側 3 名に分かれ，与え られた論題に対して英語で議論をする. 各スピーカ ごとに話すべき内容の大枠が決まっており，立論や


表 1 論述要素のタイプ

反論，再構築といったパートが設けられている.

論題 “Homework should be abolished” について 5 つ の論点の立論を用意し，PDAに所属するスタッ フ, Amazon Mechanical Turk のワーカより, それぞ れの立論に対して 100 件ずつ反論を集めた (詳細は 付録 A. 2 に記載). 内訳は PDA スタッフが 250 件, Amazon Mechanical Turk のワーカが 250 件で，合計 で 500 件となる.

## 4 論述構造のアノテーション

## 4.1 アノテーションスキーム

既存の代表的なスキーム $[11,12,13]$ は，節を論述要素の最小単位とし, 論述要素のタイプ (主張や 前提など) と要素間の関係 (支持や攻撃など)をア) テートしている。しかし，フィードバックを与える という目的に対して，このような粒度の細かい論述構造が必須かは自明でない. 論述構造のアノテー ションはコストが高いため，より簡略化したスキー ムで十分なのであれば，そちらの方が望ましい。そ こで，本研究では既存のスキームを簡略化したもの をべースとし，実際に付与されたフィードバックを 踏まえ，必要に応じて詳細化していく方針をとる。

論述要素の単位は文とし，それぞれの論述要素に 対して表 1 に示すタイプを付与する．厳密には前提 の中にも，前提に対する前提という階層構造が存在 する. しかし, 本研究ではそのような場合でも，ひ とつの前提としてまとめて捉える.また, 反論内部 の要素間の関係については支持のみをアノテートす る. すなわち, 攻撃の関係が現れるのは，立論と反論の間だけとなる。

## 4.2 アノテーションの方法

別の論題へ横展開をするにあたり，クラウドソー シングを利用することで，低コスト・短時間で拡張 できるのが望ましい，そこで，論述構造に関して， クラウドソーシングを利用した場合の論述構造のア ノテーション品質を検証する。
表 2 フィードバックのカテゴリと実例

 &  \\

4.1 節で述べた論述構造のスキームに従い，収集 した 500 件のデータ (表 3) に対してアノテーション を実施する. アノテーションのインターフェースは 付録 A. 1 に記載している. クラウドソーシングのプ ラットフォームには Amazon Mechanical Turk を使用 する. アノテーションの報酬は 1 件当たり 25 セン トとする．また，アノテーションの信頼度を高める ため， 1 件当たり 5 人のワーカを割り当てる.

## 4.3 評価方法

アノテーション品質の評価は，クラウドソーシン グで論述構造のアノテーションを試みた先行研究 [14]に則る形で行う. 具体的には，ワーカーによる アノテーションを MACE[15] で集約した結果と専門家によるアノテーションの結果の一致率を算出す る. ただし, 先行研究では論述要素の境界をワー カーに選択させるタスク設定のため，境界のオー バーラップを考慮した一致率 Krippendorff's $\alpha_{U}$ を採用している. 本研究では論述要素の境界は文単位で 固定のため，Krippendorff's $\alpha$ を採用する。

## 4.4 結果

ランダムに選択した 30 件の反論について Krippendorf's $\alpha$ を算出したところ，0.40 という結果となった. 先行研究 [14] では Krippendorff's $\alpha_{U}$ が 0.41-0.52であり，単純な比較はできないが迫る結果 となっている. しかし，クラウドソーシングだけで 完結できるほどの品質にはなく, その点は今後の課題である.

## 5 フィードバックのアノテーション

## 5.1 アノテーションスキーム

論述構造をアノテートした上で，主張と前提の各組み合わせに対して，良い点と改善点を付与する。
その際，どこに対するフィードバックなのかを明示 するため，フィードバックを論述要素，あるいは要素間の関係に紐づける (図 2).

## 5.2 結果

46 件の反論に対して，PDA に所属するディベー トの専門家が与えたフィードバックを分析し，カテ ゴリに分類したものを表 2 に示す. 反論ならではの 観点としては，立論との関連性についてのフィード バックが見受けられた。また，具体例を用いた説明 がされているかという観点があった. 即興型ディ ベートでは事前準備ができないため，ある事実を裏付ける根拠に言及することが難しい. そのため，す くなくとも個人の体験に基づいた主張なのかという 観点が重視されているのだと考えられる.

今後，より多くのフィードバックを分析すること で，詳細なカテゴリを定義できる可能性がある．実際のフィードバックを十分にカバーし, かつ詳細な カテゴリ分けができれば，フィードバックを提示す る問題をカテゴリの分類とテンプレートをべースと した生成問題として解くという方針も考えられる.

## 6 おわりに

本論文は，フィードバックとその根拠を同時に提示できるシステムの実現に向け，最初のステップと してコーパスの設計方針について論じた。また，低 コスト・短時間で他の論題へ横展開していくため, クラウドソーシングによる論述構造のアノテーショ ン品質について検証を行った。

## 謝辞

本研究を進めるにあたり，有益な助言をいただき ました理化学研究所の Paul Reisert 氏に感謝申し上 げます。

## 参考文献

[1] Isaac Persing, Alan Davis, and Vincent Ng. Modeling organization in student essays. In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, 2010.

[2] Isaac Persing and Vincent Ng. Modeling argument strength in student essays. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), 2015.

[3] Henning Wachsmuth, Nona Naderi, Yufang Hou, Yonatan Bilu, Vinodkumar Prabhakaran, Tim Alberdingk Thijm, Graeme Hirst, and Benno Stein. Computational argumentation quality assessment in natural language. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, 2017.

[4] Winston Carlile, Nishant Gurrapadi, Zixuan Ke, and Vincent Ng. Give me more feedback: Annotating argument persuasiveness and related attributes in student essays. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2018.

[5] Zixuan Ke, Hrishikesh Inamdar, Hui Lin, and Vincent Ng. Give me more feedback II: Annotating thesis strength and related attributes in student essays. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019.

[6] Paul Reisert, Benjamin Heinzerling, Naoya Inoue, Shun Kiyono, and Kentaro Inui. Riposte! A Large Corpus of Counter-Arguments. arXiv e-prints, p. arXiv:1910.03246, October 2019.

[7] Henning Wachsmuth, Shahbaz Syed, and Benno Stein. Retrieval of the best counterargument without prior topic knowledge. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2018.

[8] Makiko Ida, Gaku Morio, Kosui Iwasa, Tomoyuki Tatsumi, Takaki Yasui, and Katsuhide Fujita. Can you give me a reason?: Argument-inducing online forum by argument mining. WWW '19, p. 3545-3549. Association for Computing Machinery, 2019.

[9] Joonsuk Park and Claire Cardie. A corpus of eRulemaking user comments for measuring evaluability of arguments. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[10] 中川智皓, 山内克哉, 新谷篤彦. パーラメンタリー ディベート（即興型英語ディベート）における議論 の整理と評価の一考察. システム制御情報学会論文誌, Vol. 32, No. 12, pp. 446-454, 2019.

[11] Christian Stab and Iryna Gurevych. Annotating argument components and relations in persuasive essays. In Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics: Technical Papers, 2014.

[12] Andreas Peldszus and Manfred Stede. An annotated corpus of argumentative microtexts. In Argumentation and Reasoned Action: Proceedings of the 1st European Con- ference on Argumentation, Lisbon 2015 / Vol. 2, 2016.

[13] Christian Stab and Iryna Gurevych. Parsing argumentation structures in persuasive essays. Computational Linguistics, Vol. 43, No. 3, pp. 619-659, September 2017.

[14] Tristan Miller, Maria Sukhareva, and Iryna Gurevych. A streamlined method for sourcing discourse-level argumentation annotations from the crowd. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 2019.

[15] Dirk Hovy, Taylor Berg-Kirkpatrick, Ashish Vaswani, and Eduard Hovy. Learning whom to trust with MACE. In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2013.

## A 付録

## A. 1 アノテーションのインターフェース

クラウドソーシングにより，論述構造をアノテー

ションする際に用いたインターフェースを図 3 に 示す.

Topic: Homework should be abolished.

Original argument

At ileast they have more tre time than adulth

: statements that express agreement or disagreement with a topic

: central reason given in support of the debaters stance (In general, there is one claim, at most two claims per speech

: additional reasons that underpin the plausibility of the claim

Example

personal experiences, hypothetical situations, statistics, and references in newspapers, etc

図 3 アノテーションの UI

## A. 2 収集データの詳細

収集したデータに関して，立論の論点と件数の内訳を表 3 に示す.

表 3 論題 “Homework should be abolished” について収集し

た反論の件数


 内藤昭一 ${ }^{1,2}$ 澤田慎太郎 ${ }^{3}$ 中川智皓 3 井之上直也 ${ }^{2,4}$ 乾健太郎 5,2 1 株式会社リコー 2 理化学研究所 3 大阪府立大学 ${ }^{4}$ Stony Brook University ${ }^{5}$ 東北大学 shohichi.naitoh@jp.ricoh.com \{szb03072@edu,chihiro@me\}.osakafu-u.ac.jp naoya. inoue. lab@gmail.com inui@ecei.tohoku.ac.jp  