# Follow-up 質問による矛盾応答収集の提案

佐藤志貴 1 赤間怜奈 1,2 鈴木潤 1,2 乾健太郎 1,2
1 東北大学 2 理化学研究所
\{shiki.sato.d1, akama, jun. suzuki, kentaro.inui\}@tohoku.ac.jp

## 概要

対話応答生成システムによる矛盾応答の抑制を考 えるうえで，矛盾応答データの不足がボトルネック となっている. データ不足の原因に，矛盾の発生が 入力に依存した低頻度なものであるために効率的な 収集が困難であることが挙げられる。本研究では，矛盾応答を誘発する発話として Follow-up 質問に注目し，自動収集した Follow-up 質問を用いた矛盾応答収集の効率化を試みる。提案法により矛盾応答を 効率的に収集できることを確認したうえで，実際に 矛盾応答を大規模収集する. 収集した矛盾応答デー タの有用性を，矛盾検出器の精度改善を例に示す。

## 1 はじめに

近年のニューラル応答生成システム $[1,2,3]$ (シ ステムと呼ぶ）は流暢性は高いが，意味的に不適切 な応答を生成する場合があることが広く知られて いる [1]. 特に図 1 の $r_{2}$ のように過去の自身の発話 と矛盾する応答（矛盾応答と呼ぶ）の生成は，一度 でも発生すればシステムが内容を理解した対話をし ていないという致命的な悪印象をユーザに与える深刻な問題である [4]. 矛盾応答の抑制は，ユーザと 信頼関係を構築し共生していく対話システムの実現 を目指すうえで中心的な課題の一つといえる.

先行研究で一定の効果が報告されている矛盾応答の抑制手法として, 矛盾検出器による矛盾応答候補の除去 $[5,4]$, 対照学習 $[6,7]$ がある. これらの手法では, 品質の高い矛盾応答データをいかに多く獲得できるかが性能の良し悪しを決める大きな要因 となっている. しかし, 現状は品質の高い矛盾応答 データの効率的な収集方法が確立されているとは 言い難い. 特に，矛盾の発生が直前の相手発話（入力と呼ぶ）に依存することが示唆されている $[4,8]$ ものの，どのような大力に対し矛盾が発生する傾向 にあるか十分研究されていない. 実際に，これまで の矛盾応答データの収集は，人手により作成した矛

図 $1 \mathrm{FQ}$ を用いた矛盾応答収集方法の概要.

盾応答に限られている [4]. 人手による矛盾応答は,実際のシステムの矛盾応答とは性質が異なる可能性 が高く，大規模な作成が難しいなどの弱点もある.本研究では，システムがどのような入力に対し矛盾応答を生成しやすいかを考慮したシステムの矛盾応答の効率的な収集を考える. 具体的な取り組みと して，(1) 先行研究と本研究の分析に基づき，過去の 発話に含まれる情報に関連する質問, Follow-up 質問（Follow-up Question (FQ) と呼ぶ）が矛盾応答を 誘発しやすいという仮説を立てたうえで，FQの自動収集方法を提案する.(2) 自動収集した FQが矛盾 を誘発する傾向にあることを確認した後，(3) FQを 用いて図 1 の方法によりシステムの矛盾応答を大規模収集する. ${ }^{1)}(4)$ さらに，構築したデータセットの 有用性を，矛盾検出器の精度改善を例に示す。

## 2 なぜ $F Q$ に注目するか

本研究では，矛盾を誘発する発話として Follow-up 質問に注目する. FQ は「対話相手が過去の発話で 提示した任意の情報 $i$ に関連する質問」とする. 例 えば，図 1 の橙色の質問は直前の相手発話の情報に 対する $\mathrm{FQ}$ である．FQに注目する理由は二つある。

第一に，システムの矛盾応答は対話中の既出情報 を再度言及する際に生じやすいことが知られてい る $[4,8]$. こうした状況は，既出情報に関連する質問


図 $2 \mathrm{DbRM}$ と IbBRでの $C$ に対する処理. $\mathrm{A}, \mathrm{B}$ は話者.

である $\mathrm{FQ} へ の$ 応答時に生じやすいと考えられる。

第二に，Nie ら [4] が小規模に収集したシステムの 矛盾応答 382 個から無作為抽出した 50 個を分析し たところ， $42 \%$ の矛盾応答が相手の $\mathrm{FQ}$ に対する応答だった. 矛盾応答を誘発した相手発話の種類の分布は $\mathrm{FQ}$ のみに偏ったロングテールとなったため, $\mathrm{FQ}$ は矛盾を引き出す代表的な発話といえる.

システムは $\mathrm{FQ}$ のみに対し矛盾応答を生成するわ

できるわけではない. しかし, 代表的な入力に注目 し知見を蓄えることは第一歩として重要と考える。

## $3 F Q$ の自動収集

本研究では, $\mathrm{FQ}$ に対するシステム応答から矛盾応答を効率的に収集することを考える. 先行研究 [9] では教師あり学習により $\mathrm{FQ}$ を検出する方法 が提案されたが，教師あり学習では検出可能な $\mathrm{FQ}$ が学習データに依存するという問題がある. 本研究 では，学習を要さない $\mathrm{FQ}$ の自動収集方法を考える。

## 3.1 アイデア：応答生成システムの利用

$\mathrm{FQ}$ は過去の発話の情報 $i$ に関する質問であり， $i$ に対し質問 $q$ が $\mathrm{FQ}$ か判定するには, $i$ と $q$ の関連性 を適切に捉える必要がある. ここで，近年の大規模 ニューラル応答生成システムは入力との関連性が高 い応答を生成可能であり [2], 発話間の関連性を適切に捉えることができると考えられる．以上から，大規模ニューラル応答生成システムにより $i$ と $q$ の 関連性が強いと推測された場合， $q$ が $i$ に対する $\mathrm{FQ}$ である可能性は高いと考えられる。

## $3.2 \mathrm{FQ$ 収集のための指標}

ニューラル応答生成システムを用いて $q$ と $i$ の関連性を自動評価する指標を提案し，その値が高い $q$ を FQとして収集する. $q$ と $i$ の関連性を評価す る指標として，異なる考え方に基づき，Decrease in probability by ReMoving information (DbRM) と Increase in probability by BRinging information closer (IbBR) $の$ 2 種類を提案する. 以下， $u_{i}$ のうち情報は疑問文以外に含まれると考え， $i$ は $u_{i}$ の疑問文以外の文， $q$ は $u_{q}$ の疑問文とする.また，隣接発話間距離を 1 とし た $u_{i}$ と $u_{q}$ の発話間距離を $n$ とし, $n$ 発話前の $i$ に対 する $\mathrm{FQ}$ を $\mathrm{FQ}_{-n}, n$ 発話前の $i$ に対する $q$ の DbRM とIbBRをそれぞれ $\mathrm{DbRM}_{-n}, \mathrm{IbBR}_{-n}$ とする.

DbRM． $q$ が $i$ に関連する場合，図 2 (a) のよう に $u_{q}$ 以前の対話の全発話 $C \ni u_{i}$ から $i$ を除去 ${ }^{2}$ した $C-i$ に対する $u_{q}$ の生成確率は, $P\left(u_{q} \mid C\right)$ より低い と考えられる。そのため，ニューラル応答生成シス テムで $P\left(u_{q} \mid C\right)$ と $P\left(u_{q} \mid C-i\right)$ を計算したとき，次の 值は高くなると考えられる:

$
\operatorname{DbRM}(i, q, C)=\log \frac{P\left(u_{q} \mid C\right)}{P\left(u_{q} \mid C-i\right)}
$

IbBR. $q$ が $i$ に関連する場合，図 2 (b)のように $u_{q}$ と $u_{i}$ が挟む発話系列 $C^{\prime}$ を除去した $C-C^{\prime}$ に対 する $u_{q}$ の生成確率は, $P\left(u_{q} \mid C\right)$ より高いと考えられ る.そのため，次の值は高くなると考えられる：

$
\operatorname{IbBR}(i, q, C)=\log \frac{P\left(u_{q} \mid C-C^{\prime}\right)}{P\left(u_{q} \mid C\right)}
$

DbRM と IbBRによる FQ 収集. DbRM と IbBR は算出においてそれぞれ制限がある。DbRM につい $\tau,|C|$ をニューラル応答生成システムに入力可能 なトークン数に抑えるために $C$ の冒頭部分を省略す るとき, $i$ も省略されるほど $n$ が大きいと,$C-i=C$ となり値が計算できない. IbBR について， $C^{\prime} \neq \emptyset$ を前提とした指標であるため $n=1$ の場合は計算 できない. そこで本研究では, $\mathrm{FQ}_{-1}$ は DbRM が, $\mathrm{FQ}_{-n}(n>1)$ は IbBR が高い質問を収集する。

## 3.3 DbRM と IbBR の算出結果の定性分析

表 1 に，4節の検証にて前述の方法により DbRM が計算された質問の例を示す. ${ }^{3)}$ DbRM および IbBR の上位下位の例を観察したところ，同表のように指標の値が高い/低い例では $u_{i}$ 中の情報との関連性が 高い/低い質問が $u_{q}$ に含まれる傾向を確認した．以上から，前述の方法により $\mathrm{FQ}$ を定の精度で自動収集できると考えられる.ここで，本研究の目的は

2）疑問文以外を除去し，空なら $u_{i}$ を “_SILENCE_-”に置換.

3）両指標の分布を付録 A に，IbBR の例を付録 B に示す.
表 $1 \mathrm{DbRM}_{-1}$ 計算例. I の $u_{q}$ 太字部は $u_{i}$ 太字部に関係. I. DbRM $_{-1}$ が高い質問の例 $\left(\mathrm{DbRM}_{-1}=53.6\right)$

 \\

矛盾応答の効率的な収集であり，収集した質問がシ ステムの矛盾を誘発するかが重要となる。そのた め, FQ 自動収集自体の精度算出は行わない.

## 4 矛盾応答収集方法の効果検証

自動収集した $\mathrm{FQ}$ に対し，実際にシステムが矛盾応答を生成しやすい傾向にあるかを検証する．具体的には，まず DbRM や IbBR が高い $\left(i, q, C \ni u_{i}\right)$ の 三つ組（入力対話と呼ぶ）を収集する。次に，入力対話に対するシステムの応答を収集する. 最後に， システム応答が入力対話との矛盾を含むかを確認し ていき，矛盾応答が生成される頻度を求める. 無作為抽出した入力対話についても同様の頻度を求め比較することで，DbRM やIbBR が高い入力対話にお いて矛盾応答の発生頻度が高くなるかを確認する。

## 4.1 検証における設定

入力対話の収集. 対話コーパスから最終発話 が質問（ $q$ とする）を含むような $n$ 発話以上の発話系列を切り出し作成した集合 (入力対話集合と 呼ぶ）のうち，DbRM かIbBRが高いものを収集す る. $n=1, n>1$ 両方の場合の検証をするため, $\mathrm{DbRM}_{-1}, \mathrm{IbBR}_{-3}$ それぞれ上位 100 個の入力対話を 収集する. また，入力対話集合から無作為に 100 個表 2 入力対話と矛盾応答の生成頻度の関係.

取り出したものを比較対象とする. 入力対話集合 は, Multi-Session Chat [10]（MSC と呼ぶ）から作成 する. $\mathrm{FQ}_{-1}, \mathrm{FQ}_{-3}$ 収集のための入力対話集合の対話数はぞれぞれ $59,234 ， 44,041$ となった. DbRM と IbBR は，高性能であり応答生成システムの性能評価 [11] にも使われる Blender-1B [1] により算出する.

システム応答の収集. $u_{q}$ に対する応答生成に は，近年の高性能な大規模ニューラル応答生成シス テムである DialoGPT-Medium [2] (DG), PLATO-2 [12] (P2), Blender-3B (B3), PLATO-XL [13] (PX) を用い る. 各入力対話に対し, 4 個の応答生成用システム により 2 個ずつ ${ }^{4}$ 計 8 個の応答を生成させる.

矛盾頻度の計算. 各入力対話に対する 8 個の応答が入力対話と矛盾するかを人手で確認する．シス テム応答 1 個あたり 5 人のクラウドワーカー5) が矛盾の有無を 5 段階評価し， 3 人以上が矛盾を含むと 判断した場合6)矛盾応答とする. 8 個のシステム応答のうち 1 個以上が矛盾応答と判定された場合，そ の入力対話は矛盾を誘発したとみなす.

## 4.2 検証結果

表 2 に，収集した入力対話のうち，矛盾応答を誘発したものの数を示す. 同表より, $\mathrm{FQ}_{-1}, \mathrm{FQ}_{-3}$ い ずれについても，無作為抽出した入力対話に比べ， DbRM や IbBR が高い入力対話に対して応答を生成 させたときに矛盾応答の生成頻度が高くなった. 入力対話を無作為抽出した場合も一定の割合の質問 が矛盾応答を誘発した理由として，入力対話の収集元のMSC では，一つの話題に対し深堀りした議論 をする傾向にあるため，コーパス中の質問に占める FQ の割合が比較的高いことが考えられる。

## 5 データセットの構築

前節より，DbRM や IbBR が高い入力対話に対し システムが高頻度で矛盾応答を生成することを確認 した.これら入力対話に対しシステムに生成させた

4） $\mathrm{p}=0.5$ の top-p sampling を 100 回実施し，尤度上位 2 候補 を抽出する。

5) https://www.mturk.com/

6）評価基準は 1 が「明らかに矛盾」，5が「明らかに無矛盾」 で，1と2は矛盾，4と 5 は無矛盾とした. コストを考慮し て, $u_{i}$ 以降の発話と応答の矛盾についてのみ評価する。
表 3 構築したデータセットの統計情報.

応答から，人手評価により矛盾応答を検出すること で，システムの矛盾応答を大規模収集する。

## 5.1 収集設定

入力対話集合の作成元となる対話コーパスは 4 節と同様に MSC を用いる. 収集に使う入力対話は $\mathrm{FQ}_{-1}$ および $\mathrm{FQ}_{-3}$ とし, 大力対話集合から $\mathrm{DbRM}_{-1}$, $\mathrm{IbBR}_{-3}$ が高い上位 500 個ずつの入力対話をデータ セット構築に用いる. DbRM，IbBR の計算とシステ ム応答の収集は 4 節と同じ設定を用いる. ${ }^{7)}$ 各シス テム応答に対し 3 人のクラウドワーカーによって 4 節と同様の人手評価を行い, 1 人以上が矛盾, かつ 1 人以下が無矛盾と判断した応答を矛盾応答として 収集する. また， 3 人のクラウドワーカー全員が無矛盾と評価した応答は無矛盾応答として収集する。

## 5.2 収集結果

表 3 に，構築したデータセットの統計情報を示 す. 実際にシステムが生成した矛盾応答を収集した ものとしては最大規模のデータセットとなる. 付録 Cにデータセットの例を示す.

## 6 実験：データセットの活用例

矛盾応答の抑制における本データセットの有用性 を示す. 例として, 本データセットを用いた追加学習による矛盾検出器の精度の改善を試みる。

## 6.1 実験設定

学習する矛盾検出器. Nie ら [4] が構築した矛盾検出器を, 本データセットにより追加学習す る. ${ }^{8)} \mathrm{Nie}$ らは既存の対話コーパス中の対話に続く矛盾応答を人間に書かせ収集したうえで，与えられた 2 つの発話同士が矛盾するかの 2 值分類を行うよう RoBERTa [14]をファインチューニングした. 実際に システムが生成する矛盾応答を検出する際には，本 データセットのようにシステムの矛盾応答も学習に 用いることで性能が向上すると考えられる.


表 4 ターゲットシステムごとの矛盾応答検出の正解率.括弧内の数字は評価におけるシステム応答の数.

データセット分割. 本データセットを入力対話 によって学習データセット，テストデータセットに $8: 2$ で分割する. 本データセットには各入力対話に 対し最大 4 種類のシステムの応答が存在する. そこ で， 4 個のうち 3 個のシステムの学習データセット 中の応答を学習データとしたとき, 残りの 1 個のシ ステム（ターゲットシステムと呼ぶ）のテストデー タセット中の各応答9) が矛盾を含むかどうかの 2 值分類を矛盾検出器に行わせる. ターゲットシステム を変えて，これを 4 回実施する．そのため，矛盾分類器は未知の入力対話に対する未知のシステムの応答に含まれる矛盾を検出する必要がある.

## 6.2 実験結果

表 4 に, 矛盾検出器による 2 值分類の正解率を示 す. 追加学習前の矛盾検出器について, Nie ら [4] は 人間が作成した矛盾応答を 2 値分類させた際の正解率が $93.2 \%$ と報告したが，同表より実際にシステム が生成した矛盾応答については正解率が $60 \%$ に満 たない場合があることがわかる. 一方, 本研究で構築したデータセットを用いた追加学習によって, 未知の入力対話や未知のシステムの応答についても 2 値分類の正解率が向上した.

## 7 おわりに

本研究では，矛盾応答生成の抑制において必要な 矛盾応答の効率的な収集に取り組んだ. 特に， $\mathrm{FQ}$ がシステムの矛盾を引き出す代表的な発話であると いう分析から，自動収集した $\mathrm{FQ}$ を用いた矛盾応答 の収集を提案した. 提案法で効率的に矛盾応答を収集できることを確認したうえで， $\mathrm{FQ}$ に対するシス テムの矛盾応答を大規模収集し, 矛盾検出器の性能向上を例にデータセットの有用性を示した.

今後の課題として, データセットのさらなる大規模化が挙げられる. また, 本研究の分析により $\mathrm{FQ}$ が矛盾応答を引き出す代表的な発話であることがわ かったものの, FQ 以外の多様な発話に対するシス テムの矛盾応答の収集にも取り組む予定である.


## 謝辞

本研究は，JSPS 科研費 JP22K17943, JP21J22383， JST ムーンショット型研究開発事業 JPMJMS2011 (fundamental research) の助成を受けて実施されたも のです.また，本研究の遂行にあたり多大なご助言，ご協力を賜りました Tohoku NLP グループの皆様に感謝申し上げます。

## 参考文献

[1] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric M. Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an open-domain chatbot. In Proceedings of the 16th conference of the european chapter of the association for computational linguistics: Main volume (EACL), pp. 300-325, 2021.

[2] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and Bill Dolan. DIALOGPT : Large-scale generative pre-training for conversational response generation. In Proceedings of the 58th annual meeting of the association for computational linguistics (ACL): System demonstrations, pp. 270-278, 2020.

[3] Daniel Adiwardana, Minh-Thang Luong, David R. So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, and Quoc V. Le. Towards a human-like open-domain chatbot. In arXiv preprint arXiv:2001.09977, 2020.

[4] Yixin Nie, Mary Williamson, Mohit Bansal, Douwe Kiela, and Jason Weston. I like fish, especially dolphins: Addressing Contradictions in Dialogue Modeling. In Proceedings of the 59th annual meeting of the association for computational linguistics (ACL), pp. 1699-1713, 2020.

[5] Sean Welleck, Jason Weston, Arthur Szlam, and Kyunghyun Cho. Dialogue natural language inference. In Proceedings of the 57th annual meeting of the association for computational linguistics (ACL), pp. 37313741, 2019.

[6] Margaret Li, Stephen Roller, Ilia Kulikov, Sean Welleck, YLan Boureau, Kyunghyun Cho, and Jason Weston. Don' t say that! Making inconsistent dialogue unlikely with unlikelihood training. In Proceedings of the 58th annual meeting of the association for computational linguistics (ACL), pp. 4715-4728, 2020.

[7] Weizhao Li, Junsheng Kong, Ben Liao, and Yi Cai. Mitigating Contradictions in Dialogue Based on Contrastive Learning. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 2781-2788, 2022.

[8] Zekang Li, Jinchao Zhang, Zhengcong Fei, Yang Feng, and Jie Zhou. Addressing Inquiries about History: An Efficient and Practical Framework for Evaluating Opendomain Chatbot Consistency. In Findings of the joint conference of the 59th annual meeting of the association for computational linguistics and the 11th in- ternational joint conference on natural language processing (ACL-IJCNLP), pp. 1057-1067, 2021.

[9] Souvik Kundu, Qian Lin, and Hwee Tou Ng. Learning to Identify Follow-Up Questions in Conversational Question Answering. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 959-968, 2020.

[10] Jing Xu, Arthur Szlam, and Jason Weston. Beyond Goldfish Memory: Long-Term Open-Domain Conversation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5180-5197, 2022.

[11] Maxime De Bruyn, Ehsan Lotfi, Jeska Buhmann, and Walter Daelemans. Open-Domain Dialog Evaluation Using Follow-Ups Likelihood. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 496-504, 2022.

[12] Siqi Bao, Huang He, Fan Wang, Hua Wu, Haifeng Wang, Wenquan Wu, Zhen Guo, Zhibin Liu, and Xinchao Xu. PLATO-2: Towards Building an Open-Domain Chatbot via Curriculum Learning. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 2513-2525, 2021.

[13] Siqi Bao, Huang He, Fan Wang, Hua Wu, Haifeng Wang, Wenquan Wu, Zhihua Wu, Zhen Guo, Hua Lu, Xinxian Huang, Xin Tian, Xinchao Xu, Yingzhan Lin, and Zheng-Yu Niu. PLATO-XL: Exploring the Large-scale Pre-training of Dialogue Generation. In Findings of the Association for Computational Linguistics: AACLIJCNLP 2022, pp. 107-118, 2022.

[14] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. In arXiv preprint arXiv:1907.11692, 2019.

[15] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-Art Natural Language Processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, 2020.

表 $5 \mathrm{IbBR}_{-3}$ が高い質問の例 $\left(\mathrm{IbBR}_{-3}=43.2\right) . u_{i}$ 太字部 に関する質問が $u_{q}$ 太字部でされている.

## A DbRM と IbBR の分布

4 節にて算出した，MSC の入力対話集合に含まれ る $u_{q}$ の $\mathrm{DbRM}_{-1}$ および $\mathrm{IbBR}_{-3}$ の分布を図 3 および 図 4 にそれぞれ示す。

## B 自動収集された $F Q$ の例

表 5 に，4 節の検証にて収集された， $\mathrm{IbBR}_{-3}$ が高 い質問の例を示す。

## C データセットの例

表 6 に，本研究で構築したデータセットの入力対話およびシステムが生成した矛盾応答の例を示す.

図 4 MSC における $\mathrm{IbBR}_{-3}$ の分布.

表 6 データセット中の $\mathrm{FQ}_{-1}, \mathrm{FQ}_{-3}$ およびそれに対する システム矛盾応答の例. $u_{i}$ 太字部への $u_{q}$ 太字部の質問に 対し, システムが応答 $r$ 太字部にて矛盾を生成している.

I. FQ-1 に対する矛盾応答の例.

話者発話

A: My allergies have been acting up like crazy the past couple days. I think there's a cat nearby.

B: How do you know its a cat and not a different animal you are allergic to?

A: I'm not sure. I've never had allergies before.

A: I read an article yesterday on the history of the Premier League that was very interesting. Did you know that it has been around for almost 30 years?

B: I did not. I had no idea it had such a history. I guess if you think about it, 30 years ago is only the 1990's now!

A: Yeah, that's hard to believe! I wonder what the oldest soccer team is.

B: I would have to guess it would be one in Europe, but I'm curious as well. Did the history show get you interested in watching some games?

A: Not really. I just like watching soccer. I like the game. I don't care about the history.

## D 矛盾検出器の学習詳細

6 節の矛盾検出器の学習において, エポック数は 10，学習率は $1.0 \times 10^{-5}$ ，バッチサイズは 64 ，重み 減衰係数は 0.01，他の值は Hugging Face[15] で設定 されている初期値を用いた。
 佐藤志貴 1 赤間怜奈 1,2 鈴木潤 1,2 乾健太郎 1,2 1 東北大学 2 理化学研究所 \{shiki.sato.d1, akama, jun. suzuki, kentaro.inui\}@tohoku.ac.jp  