# 人間とシステムの議論に基づく NLP タスクの問題に対する予測

金子正弘 ${ }^{1}$ Graham Neubig ${ }^{2}$ 岡崎 直観 ${ }^{1}$
1 東京工業大学 ${ }^{2}$ Carnegie Mellon University
masahiro.kaneko@nlp.c.titech.ac.jp gneubig@cs.cmu.edu
okazaki@c.titech.ac.jp

## 概要

人間は共通の問題に取り組む際、対話による議論 を通じてお互いに考えの説明、同意や反論を行い問題解決を目指す。同様に、タスクを解く際にシステ ムと人間との間で議論ができるようになると、シス テムの性能改善や信頼性向上につながる。既存研究 では相互に意見を述べるのではなく、システムが一方的に人間に予測の説明をする、または人間が一方的に予測について質問をすることしかできない。本研究では対話によりタスクの予測結果を議論する データセットを作成し、議論可能なシステムを構築 する。実験により、提案システムが有益な議論がで きること、問題に関する議論を通じてシステムの性能改善につながることを示した。

## 1 はじめに

深層学習システムは様々なタスクで高性能を達成 することが判明し、実用化が加速しているが、その 予測理由を人間に分かるように説明することは不得意である。問題解決のために人間がシステムの力を 引き出そうとするには、データや内部状態、出力傾向などを分析する必要があり、深層学習に精通した 専門家でないと難しい。この問題に対処するため、人間の情報伝達に用いられる基本的な道具である 自然言語を介して、直感的にシステムの力を引き出 し、問題解決を目指す研究が進められている。

これまでに、システムの予測理由を自然言語で人間に説明する手法が提案されている $[1,2,3,4]$ 。こ れは従来のデータや内部状態、出力傾向などを分析 する方法と比較して、システムについて人間が直感的に把握できる。しかし、説明生成の研究では人間 が追加の説明を求めたり、特定の説明を要求するこ とを想定していないため、解釈性や実用上が乏しい ことが指摘されている [5]。

Slack ら [5] は対話形式で人間がシステムに予測理

図1 NLIにおける人間とシステムの議論の例。

由やタスクについて質問することができるシステム を提案した。対話できるトピックは事前に決められ ているが、説明生成とは異なり人間からシステムに 対して特定の説明を要求できる。一方で、人間同士 で問題解決を行う場合は、人間が一方的に説明した り質問するのではなく、互いに説明や質問を行い、議論しながら課題解決を行う。互いに意見を述べ議論することは考えを洗練させることにつながり、問題解決にとって重要であるが、既存手法では人間と システムの相互の情報伝達や議論を実現できない。

本研究では、図 1 のようにモデルが人間と対話形式で予測について議論するシステムを提案する。こ れにより、人間とシステムの両方が予測の説明や不明点の質問などを行い、考えを洗練させ問題解決を 行うことが可能になる。前提文と仮説文の関係が含意、矛盾と中立のいずれであるかを予測する自然言語推論（Natural Language Inference; NLI）タスクにお いて GPT-3 [3] による実験を行った。人間と議論す るシステムを学習するために、NLI の問題に対して 人間が予測を行い、その結果について人間同士が議論するデータを作成した。定量評価と人手評価の結
果、作成したデータを few-shot に用いたシステムは 作成したデータを用いないシステムと比較して、有益な議論を行えることが分かった。さらに、問題に 対する議論の情報をシステムに与えることで、議論 の情報が与えられていないシステムと比較して、性能が多くの場合で改善することを示した。

## 2 関連研究

Slack ら [6] はローン、糖尿病、再犯予測の 3 つ のタスクにおいて対話により説明する TalkToModel を提案した。ユーザは TalkToModel と予測の説明、 データの変更、エラー分析、対話履歴の参照と実験設定の説明の 5 つのカテゴリに関して対話すること ができる。これらのカテゴリに関連した対話をする ようにアノテータに指示することで、TalkToModel を学習・評価するデータを作成している。一方で、 カテゴリはインタビューやデータに基づいて決定さ れたのではなく、著者らが主観的に定義している。 そのため、自由形式で対話する本研究とは異なり、人間が実際に必要とするシステムの会話に基づかな い可能性がある。さらに、人間とシステムの両者が 意見や質問を述べる両方向の対話による相互理解を 目指す本研究とは異なり、システムが人間の質問に 答えるような一方向な対話のみを対象としている。

Lakkaraju ら [5] は、既存の AI システムの説明の 有用性や今後の説明のあり方について、AI 以外の専門家のニーズを把握するために、医療や健康管理、政策立案の専門家らにインタビューを行った。その 結果、AI システムを用いて意思決定を行う際は人間 の同僚と仕事をするように対話形式で考えを説明で きることを好むことを明らかにした。さらに、これ らの専門家らは対話形式の説明を行うことでシステ ムにも説明責任を果たすことを望んでいることも分 かった。そのため、対話を用いて人間とシステムが 議論することは相互理解のために有望かつ有益であ ると考えられる。

## 3 実験

議論可能なシステムを学習するために、ラベルの 予測が異なる人間同士が NLI の問題について議論す るデータを作成する。NLP タスクの問題に対して人間同士が質の高い議論を行うには、タスクに対する 知識を持つアノテータが各問題に対して複数ターン の対話を行わなければならず、データ収集のコスト が高い。そのため、事前学習モデルに対してプロン
プトを適用した few-shot[3] 言語生成により議論を行 うシステム構築することで、学習データ作成のコス トを抑える。

## 3.1 データ作成

議論能力の評価と few-shot のプロンプトに用いる ための議論データは、NLPにおいて一般的なベンチ マークデータである Stanford NLI （SNLI）[7] に対 して作成する。自然言語処理の研究に関する知識を 持つ 4 人にアノテータを依頼した。まず、SNLI の 開発データから 100 問をサンプリングし、アノテー タに前提文と仮説文を提示し、ラベルを予測しても らった。その後、ラベルが異なったアノテータ同士 が対となり、問題について個人情報と不適切な発話 を含まないように注意しつつ、ラベルが一致するま で自由形式で議論し、最終的なラベルを決定する。 SNLI の開発データには、5つのラベルが付与されて おり、これらのラベルの多数決により正解ラベルを 決めている。5つのラベルが異なっている問題を対象とする方が、議論を行うためのアノテータ間でラ ベルが異なるデータを効率的に収集できると考えら れる。そのため、5つ中 3 つが同一のラベルになっ ている問題からアノテーションのための問題をサ ンプルした。そして、各発話に対して最終的なラべ ルの根拠と「なる」「ならない」「無関係」のラベル を付与する。例えば、図 1 であれば、「どちらも人 が椅子に座っているが、性別が指定されていないの で中立です」は根拠となり、「どちらも人が椅子に 座っているので含意です」は根拠とならず、「はい」 は無関係となる。これらのラベルは few-shot 学習の 際に用いないが、システムの議論能力を自動評価す るために用いる。

このアノテーション作業では、39 問に対して議論 データを収集した。そのうち、10 問を few-shot のた めのプロンプトとして使い、29 問を評価に用いた。 1 つ問題に対して平均で 8.9 発話、最短で 3 発話、最長で 13 発話の議論が行われていた。ラベルの根拠と「なる」「ならない」「無関係」のラベルの数は 評価データにおいてそれぞれ、 $34,35,14$ であった。

## 3.2 システム

実験に用いるシステムは zero-shot、few-shot 事例と few-shot 事例十議論の 3 つである。zero-shot で はタスク説明のみ、few-shot 事例ではタスク説明と 事例（前提文、仮説文とラベル）、few-shot 事例十議

タスク説明 Please select the label whether the premise and hypothesis are entailment, contradiction, or neutral. Premise: A woman in black pants is looking at her Premise: A woman in black pants is looking at her cellphone. Hypothesis: a woman is looking at her phone Label: entailment Discussion: Human1: It is entailment, because a woman is looking at her phone in both sentences. Human2: Is the phone in the hypothesis is necessarily a cellphone? It could be a landline phone. Human1: People rarely look at a landline phone, that's why I think it is the same cellphone. Human2: I think it is also true that it is better to consider the general cases. Otherwise, it would be neutral in many cases. Human1: I think so too. So it is entailment, right?

Premise: A woman in a teal apron prepares a meal at a restaurant. Hypothesis: A woman prepare a lunch in restaurant Label:

図 2 事例数が 1 問の時のプロンプト例。

論ではタスク説明と事例に加えて事例のラベルに 関する人間の議論がそれぞれプロンプトとして与 えられる。これらのプロンプトに続けて解きたい問題を連結し、入力としてシステムに与えることで推論を行う。それぞれのプロンプトの例を図 2 に示 した。プロンプトに使われる事例は few-shot 事例と few-shot 事例十議論で共通であり、全ての問題で同一のものを使用する。どのシステムもパラメータを 更新する学習は行わない。事前学習済み言語モデル として GPT-3 [3] (text-davinci-003 ${ }^{11}$ )を用いる。

## 3.3 システムの議論能力の評価方法

システムが議論能力を有しているかを調べるた めに、自動評価と人手評価を行い、各システムを 比較する。自動評価では、作成した議論データの 各発話が正解ラベルの根拠となるかならないかの アノテーションを用いる。正解ラベルの根拠とな らない発話よりも根拠となる発話をシステムが 生成しやすければ、システムは正解を導く正しい 議論を行えると見なせる。そこで、根拠となる発話とならない発話に対するシステムの平均の尤度を計算し、比較する。議論の尤度を計算するた め、入力の問題と対象となる議論の発話までを連結し、対象発話に関する尤度を計算する。この時、問題の Label には対立している 2 つのラベルを与 える。例えば、議論の 2 番目の発話が対象の場合 "Premise: A nun is taking a picture outside. Hypothesis: A nun is taking a selfie. Label: neutral or entailment Discussion: Human1: I think it is entailment, because the nun is taking a picture, so it might be a selfie. Human2:

Since it is outside, it is conceivable that the nun is taking some scenery." が問題として与えられ、太字部分の 尤度が計算される。


表 1 正解ラベルの根拠となる発話とならない発話の 尤度。

人手評価では、ラベル予測が異なる人間とシステ ムが議論を行い、最終的なラベル付け結果と SNLI データに付与されているラベルとの一致率により、 システムが人間と有益な議論を行えることを示す。 その際、システムのラベルが誤りで人間のラベルが 正しかった時に人間の意見を受諾する能力と、人間 のラベルが誤りでシステムのラベルが正しかった時 に人間の意見に反論する能力の 2 点を評価する。

SNLI において 5 人中 3 人が正解ラベルを付与し たデータから 10 問データをサンプルし、3つのシ ステムと人間が合計 30 回の議論を行った。その際、 システムのラベルが正しければ人間はシステムのラ ベルを変更させるような敵対的な議論を行い、シス テムのラベルが誤っていた場合は正解ラベルに誘導 する議論を人間が行う。

システムと議論を行うために、図 2 で示したプロ ンプトと問題を与えて各システムがラベルを予測 した後に、人間の議論に関する発話を追加でシステ ムに入力する。追加の入力では人間の発話の先頭に は Human: を付与し、末尾には次がシステムの発話 であることが分かるように System: を付与した。そ して、システムとの議論を促すため、人間の最初の 発話の冒頭に “Let’s discuss it more.”を挿入した。具体的には、議論を行う最初のプロンプトは “Human: Let's discuss it more. I think neutral, because there may be a kitchen in the barn. System: "のようになる。人間が 最終的なラベルを決定して議論が収束する、または 説得できないと思うまで議論を続けた。

## 3.4 議論能力の評価結果

表 1 は、zero-shot、few-shot 事例、few-shot 事例十議論それぞれの最終的なラベルの根拠となる発話 とならない発話の尤度を示している。zero-shot と few-shot 事例では根拠になるかならないかで龙度は ほとんど変わらない。一方で、few-shot 事例十議論 は根拠となる発話が根拠とならない発話と比較し て尤度が高い。このことから、作成した議論データ を用いることで、より正解の根拠となる議論がで きるようになることがわかる。さらに、zero-shot と
表 2 人間の意見に対するシステムの受諾と反論能力の 評価。

前提文: A man looking over a bicycle's rear wheel in the maintenance garage with various tools visible in the background.

仮説文: A man waits outside a garage.

Few-shot事例

Label: Contradiction

Human: Let's discuss it more. Is not it neutral?

Because looking over a bicycle's rear wheel does not

necessarily mean he is waiting.

System: That's true. The premise and hypothesis are neutral.

Few-shot事例 + 議論

Label: Contradiction

Human: Let's discuss it more. Is not it neutral?

Because looking over a bicycle's rear wheel does not necessarily mean he is waiting.

System: Yes, you are right. The premise is describing that the man is actively working while the hypothesis is describing a passive state. Therefore, the label should be contradiction.

Human: He is just looking over a bicycle's rear wheel, why is he considered to be actively working?

System: Looking over a bicycle's rear wheel suggests that he is inspecting the wheel, possibly to repair or replace it. That is an active process, and thus is considered as actively working.

図 3 few-shot 事例と few-shot 事例十議論の人間に対する 反論の例。

few-shot 事例と比較して、few-shot 事例十議論の方が 尤度が高いため、議論を few-shot で学ぶことで議論能力を高めることができる。

表 2 は、受諾能力と反論能力それぞれを評価する 設定における、議論によって決まったラベルの正解率を表している。さらに、人間とシステムが議論し た結果辿りついた最終ラベルと、議論をしていない 時の予測ラベルそれぞれの正解率を示している。実験の結果、どのシステムでも受諾は全て成功して いる。反論に関しては zero-shot と few-shot と比較し て、few-shot 事例十議論はうまく反論できている。 さらに、few-shot が zero-shot と同じような反論能力 となっており、システムのラベル予測の性能が議論能力に必ずしも直結しない可能性がある。受諾と比較すると、システムは人間に対して反論することが 苦手な傾向があるため、悪意を持って予測を操作す る人間に注意する必要がある。そして、正解率では few-shot 事例十議論が最も性能改善していることか ら、提案データを使うことで性能改善につながるよ うな議論が人間との間で行えることが分かる。

図 3 は、few-shot 事例と few-shot 事例十議論が人間と議論した時の例である。これはシステムが予測 した矛盾（Contradiction）が正解であるため、シス表 3 SNLI と $\operatorname{ANLI}(\mathrm{R} 1, \mathrm{R} 2, \mathrm{R} 3)$ の評価データにおけるシ ステムの性能。

テムは反論する必要がある。few-shot 事例は反論す ることなく人間のラベルをそのまま受諾し予測を変更している。一方で、few-shot 事例十議論は人間に 対して男性の状態の違いを説明することで正しい反論が行っていることが分かる。

## 3.5 NLI タスクでの性能への影響

これまでの実験結果から、人間とシステムの議論 が性能改善に有益であることがわかった。そのた め、議論もプロンプトとして与える few-shot 事例+議論は、プロンプトの議論により NLI の問題に対し て深い理解ができ性能が改善すると考えられる。そ こで、zero-shot、few-shot 事例、few-shot 事例＋議論 それぞれの NLIにおける性能を比較する。ここで はプロンプトの “Label:” の後に予測されたラベルを 予測とし、人間とシステムの議論などは行わない。 NLI の性能評価では SNLI に加えて、Adversarial NLI (ANLI) [8] も用いる。ANLI では NLI システムに対 して反復的に敵対的なアノテーションを行うことで データを作成しており、システムにとって解くこと が難しい問題で構成されている。反復回数の違いで R1、R2、R3の 3 つのデータがあり、それぞれの評価データを使って評価を行う。

表 3 は SNLI と ANLI の評価データにおける各シ ステムの正解率を表している。SNLI では few-shot 事例＋議論は性能が few-shot 事例に負けているが、 ANLI の 3 つのデータセットでは性能が最も良いこ とが分かる。これは、SNLI と比較して ANLI は難し いデータであり、議論による問題への詳細な理解が 性能改善に寄与したからであると考えられる。

## 4 おわりに

NLI タスクの予測について議論するデータを作成 し、人間と議論可能なシステムの構築と評価を行っ た。作成した議論データを用いて学習したモデル は、性能改善につながるような有益な議論を人間と 行えることが分かった。さらに、NLIにおいて特に 難しい問題に対するシステムの性能改善に向けて、議論データが寄与することも明らかにした。

## 謝辞

本研究成果は、国立研究開発法人情報通信研究機

構（NICT）の委託研究「自動翻訳の精度向上のため

のマルチモーダル情報の外部制御可能なモデリング

の研究開発」(課題 225）により得られたものです。

## 参考文献

[1] Wang Ling, Dani Yogatama, Chris Dyer, and Phil Blunsom. Program induction by rationale generation: Learning to solve and explain algebraic word problems. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 158-167, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[2] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J Liu, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, No. 140, pp. 1-67, 2020.

[3] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 18771901, 2020.

[4] Sarah Wiegreffe, Jack Hessel, Swabha Swayamdipta, Mark Riedl, and Yejin Choi. Reframing Human-AI collaboration for generating Free-Text explanations. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 632-658, Seattle, United States, July 2022. Association for Computational Linguistics.

[5] Dylan Slack, Satyapriya Krishna, Himabindu Lakkaraju, and Sameer Singh. Talktomodel: Explaining machine learning models with interactive natural language conversations. 2022.

[6] Joseph Chee Chang, Saleema Amershi, and Ece Kamar. Revolt: Collaborative crowdsourcing for labeling machine learning datasets. In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, CHI '17, pp. 2334-2346, New York, NY, USA, May 2017. Association for Computing Machinery.

[7] Samuel R Bowman, Gabor Angeli, Christopher Potts, and Christopher D Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[8] Yixin Nie, Adina Williams, Emily Dinan, Mohit Bansal, Jason Weston, and Douwe Kiela. Adversarial NLI: A new benchmark for natural language understanding. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4885-4901, On-
 金子正弘 ${ }^{1}$ Graham Neubig ${ }^{2}$ 岡崎 直観 ${ }^{1}$ 1 東京工業大学 ${ }^{2}$ Carnegie Mellon University masahiro.kaneko@nlp.c.titech.ac.jp gneubig@cs.cmu.edu okazaki@c.titech.ac.jp  