# タスク指向対話システムの方策学習への Decision Transformer の適用

戸田隆道 1 森村哲郎 2 阿部拳之 ${ }^{2}$
1 株式会社 AI Shift 2 株式会社サイバーエージェント
\{toda_takamichi, morimura_tetsuro,abe_kenshi\}@cyberagent.co.jp

## 概要

パイプライン型のタスク指向対話システムにおいて, 行動決定を行う Policy モジュールは設計が非常に複雑でコストがかかる. シミュレーターを用いてオンライン強化学習で方策を学習させる取り組みもあるが, 学習のためのシミュレーターの実装など多くの課題が残されている. 我々は Policy モジュールの方策の学習にシミュレーターを必要としないオフライン強化学習の手法である Decision Transformerを適用する. 本稿では Decision Transformerを方策の学習に適用する際の報酬設計について, MultiWOZ 2.1 のデータセットを使い, 学習時と推論時両方で評価を行う。

## 1 はじめに

パイプライン型のタスク指向対話システムにおけるモジュールの一つである行動決定を行う Policy モジュールは, 現在の対話状態に基づいてシステムが次に行う対話行動を決定する働きをする. Policy モージュールの方策 (以下方策) の設計は対話のストーリーを設計することと同義と言え, 非常に多くの工数がかかる. そのため工数をかけずデータから方策を設計するために, 近年強化学習を使った試みが多くなされている [1][2].

一般的な強化学習 (オンライン強化学習) ではエー ジェントは環境との相互作用によって学習を進める. 対話方策の学習においては, 人間が直接学習に関わるのは困難であるため,多くの場合対話シミュレータを使って学習を行っている. しかしシミュレータは複雑な人間の行動を反映させる必要があるため,シミュレータを作ること自体に多大な工数がかかってしまうという問題を抱えている. 加えて, シミュレータに欠陥があると適切でない学習が行われてしまう恐れもある. そこで, 我々はシミュレータ
を使わないオフライン強化学習 [3] である Decision Transformer[4] を方策の学習に適用する. オフライン強化学習には弊社で運用している AI Messenger Chatbot $^{1)}$ のようなチャットボットと有人チャットを組み合わせた対話システムにおいて, 実環境で溜まったデータをそのまま学習に使うことができるといった利点もある.

オンライン,オフライン問わず強化学習には報酬の設計という共通の課題がある. Decision Transformer はそれに加え，推論時にも報酬をモデルに与える必要がある. [4] で実験されていた Atari などの環境はゲームのスコアなどから現在の状態に対する報酬が容易に定義できるが, 対話においては現在の状態がタスク達成に対してどの程度良いかを定義することは困難である. 本研究では学習時と推論時の報酬の与え方のパターンを試した結果を共有する。

本研究の貢献は以下の 2 点である。

・タスク指向対話の方策の学習に Decision Transformer を初めて適用した

・方策の学習と推論における Decision Transformer への報酬の与え方の検証を行なった

## 2 関連研究

本研究に関わる重要な手法に [4] で提案された Decision Transformer がある. 一般的な強化学習は, 環境においてエージェントが試行錯誤することで方策を改善するが, オフライン強化学習手法の一種である Decision Transformer は, 事前に用意されたデータセットからの学習だけで, 実環境と作用せずに良い方策を獲得することを目的としている. オフライン強化学習は実環境での失敗が許容できないドメインや試行錯誤のコストが高いドメインでの活用が期待されている. Decision Transformer はモデルのアーキ

テクチャに GPT をベースとしており, 非マルコフ性の問題,つまり将来が現在の状態だけでなく履歴全体に依存してしまう問題を Transformer の Attention の仕組みで効率よく解くことができるといわれている.

方策の学習に Transformerアーキテクチャを利用する手法として [5] が挙げられる. こちらは異なるドメイン間の転移を行う継続的な強化学習を行う際の状態表現として事前に学習された RoBERTaをベースとして利用しているが, 本研究では状態はバイナリベクトルで離散的に扱う。

その他対話に特化した方策の学習方法として [1] が挙げられる.こちらは逆強化学習 [6] に基づいて, より人間の対話に近くなるような報酬関数を求める手法となっている. オンライン強化学習の手法であり, 学習には対話シミュレーターが必要になる点が本稿で扱う Decision Transformer と異なっているが,将来的には Decision Transformer で学習済みのモデルをオンラインに適用する際などに組み合わせることが考えられる。

## 3 実験

## 3.1 比較手法

Decision Transformer は, 時刻 $t$ の状態 $s_{t}$, とった行動 $a_{t}$, 得られた報酬 $r_{t}$ の 3 種類の情報をべクトル化して連結したものを 1 トークンとして, 次の行動 $a_{t+1}$ を予測するように学習する. 学習時は行動軌跡が全て入力され, mini-batch 内で長さの異なるものは padding される. 本研究では Decision Transformer の入力の一つである報酬の与え方の検証を行う.ここで報酬は即時的に与えられる即時報酬と, 将来的に得られる即時報酬の累積値 (return-to-go) の 2 種類に分けられる. return-to-go は式 1 のように定義される.

$
\widehat{R}_{t}=\sum_{t^{\prime}=t}^{T} r_{t^{\prime}}
$

ここで $T$ は対話における全ターン数, $r_{t^{\prime}}$ は $t^{\prime}$ ター ン目の即時報酬を示している. 状態 $s_{t}$, 行動 $a_{t}$ と共に return-to-go $\widehat{R}_{t}$ がモデルに与えられる. 具体的には，各ターン $t$ でモデルは式 2 で定義される行動軌跡 $\tau_{t}$ を入力として受け取り，行動 $a_{t}$ を出力する.

$
\tau_{t}=\left(\widehat{R}_{1}, s_{1}, a_{1}, \widehat{R}_{2}, s_{2}, a_{2}, \ldots, \widehat{R}_{t}, s_{t}\right)
$

ここで注目すべきは，軌跡 $\tau$ に即時報酬ではなく, 今後得られる即時報酬の累積値 return-to-go を用いていることである，この操作により，Decision Transformer は直近の報酬だけでなく，未来の報酬も考慮して，行動を選択できるようになる。そのため，推論時に大きい所望の return-to-go を設定すれば，長期的に報酬を大きくするような行動を選択することが期待される。本稿では以下より return-to-go を報酬と呼び, 学習時の報酬を学習時報酬，推論時の報酬を推論時報酬と定義する。これらを踏まえて，検証する報酬の与え方を以下に示す。

## 1. baseline

対話中は学習時報酬を与えず,対話が成功した時のみ大きな正の学習時報酬を与える.これは一般的な強化学習でよく使われる報酬パターンで, 今回は対話成功時は 40 を与えるように設定する. 推論時報酬は常に 0 とする。

## 2. constant -1

対話中は常に小さな負の学習時報酬を与え, 対話が成功した時のみ大きな正の学習時報酬を与える. 常に負の学習時報酬が与えられるため, できるだけ早く目的を達成させるような学習がされることを期待している. 今回は対話中は-1, 対話成功時は 40 をとえるように設定する. 推論時報酬は常に-1 とする.

## 3. linear

対話開始時の学習時報酬を 0 , 完了時の学習時報酬を 40 とし, 中間の対話は線形増加させる. 例えば 5 ターンで完了する対話の場合は $0,10,20$, 30, 40 と増加する. 尚, 小数になった場合は整数に丸め込む. 推論時報酬について, 1. baseline や 2. constant -1 は一定の報酬を与えればよかったが, 本手法は推論時報酬が変動するため, 何ター ン目に最大となるかを決める必要がある. 著者が知る限りでは, 終了ターンがわからない状態での推論時報酬の設計が行われている先行研究は無いため $1,2,4,8,16$ の範囲で探索する.

## 4. quadratic

考え方としては 3. linear と同様であるが,こちらは二次関数的に学習時報酬を増加させる. 例えば 5 ターンで完了する対話の場合は $0,6,15$, 26, 40 と増加する. 3. linear と同様, 推論報酬の最大値を何ターン目に設定するかを $1,2,4,8,16$ の範囲で探索する。
5. $\log$
考え方としては 3. linear と同様であるが,こちらは底を 2 とする対数関数的に学習時報酬を増加させる. 例えば 5 ターンで完了する対話の場合は $0,17,27,34,40$ と増加する. 3. linear と同様, 推論報酬の最大值を何ターン目に設定するかを $1,2,4,8,16$ の範囲で探索する.

これらの手法に加え,シミュレータを用いない他の方策の学習手法として模倣学習 (Behavior Cloning,以下 $\mathrm{BC})$ を比較する. BC は状態をバイナリで表現したベクトルから行動をバイナリで表現したベクトルを予測する 2 層の全結合ニューラルネットワークで構成される。

## 3.2 評価方法

評価には MultiWOZ 2.1[7] を利用する。こちらは旅行サポートサービスを行う店員と顧客とのタスク指向対話コーパスの MultiWOZ[8] のアノテーションミスを修正したり適切で無い対話を除外した，より質の良いタスク指向対話コーパスである. 実験には，夕スク指向対話システムの研究開発向けツールキットの ConvLab2[9][10]を用いる. ConvLab2 は NLU(Natural Language Understanding)[11][12] や DST(Dialogue State Tracking)[13] などの Policy 以外のパイプライン型のタスク指向対話システムのモジュールや Agenda ベースのユーザーシミュレータ [14] などを提供している.

パイプライン型のタスク指向対話システムは Policy, NLU, DST, に加えて NLG (Natural Language Generation)[15] の4つのモジュールを組み合わせて構成される. 本研究では方策の評価を行うために, 残りのモジュールは以下に固定した.

## - NLU

BERTによる埋め込み表現から発話文中の各単語が表す意図をクラス分類する JointBERT[16]

## - DST

NLU が推定したスロットを用いて人手で作成されたルールに従って対話状態を更新する Rule DST

## - NLG

発話テンプレート文の集合から, 方策が予測した行動に合うものを選択する Template NLG

評価指標は方策学習の先行研究 [1][5] で利用されており,ConvLab2 でも利用可能な以下の 2 指標を利用する.

## - Success Rate

対話の成功率で, ConvLab-2 では”ユーザー要求がすべて満たされ, かつ予約されたエンティティが制約を満たしている割合”と定義されている. 高いほどユーザーの満足する対話を行うことができていると言える.

## - Average Turn

成功した対話の平均ターン数. 小さいほど効率よく対話を行なっていると言える。

システムの評価時には, 異なる 5 種類のランダムシードで 100 対話をシミュレーションし, その平均スコアを用いる。

## 3.3 結果

報酬の与え方の比較の実験結果を表 1 に示す. linear, quadratic, $\log$ は推論時の最大報酬設定ターン (Maximum Reward Setting Turn, 以下 MRST) も分けて評価する. 尚, MultiWoZ 2.1 の学習データの Average Turn は 6.728 であった.

表 1 報酬の与え方の比較

## 4 考察

## 4.1 実験結果について

baseline や constant -1 といった成功した時にのみ報酬を与える手法より, linear や quandratic, $\log$ といった, 対話の完了に向けて徐々に報酬が増加する手法の方が Success Rate は高いことがわかった. 徐々に報酬が増加する手法の中では linear, $\log$ が比較的 Success Rate が高く, 推論時の報酬の与え方は MRST が 4 の時が最も高くなった. この結果は対話の序盤に高い報酬を与えた方がよいことを示していると考えている. ただし $\mathrm{MRST}=1$ や MRST $=2$ など, 極端に短い場合はわずかに Success Rate が下がってしまう. これは最低限必要な対話ターン数が関係していると想定され, ドメインによって理想的な MRST を調整する必要があると考えている.

Average Turn に関しては各手法の間で大きな差は見られなかったが, 若干 MRST が小さい方が小さくなる傾向が見られた. これは, 推論時に与える報酬が対話完了の目標ターンに影響を与えているのではないかと考えた。

適切な報酬設計を行えた場合は $\mathrm{BC}$ よりも良い精度を得ていることから, 単純にデータにある行動を模倣するのではなく, データにある行動からより適切な行動を学習できているといえる. 逆に報酬設計が適切でないと BC と比べて大きく精度が落ちることから, 報酬設計が方策の学習に重要な影響をあたえることがわかる.

## 4.2 今後の展望

今回推論時の報酬は事前に定義された関数に従って与えたが, ユーザー側の肯定的な発言や予約などのスロット抽出完了フラグなどの対話内容に応じて動的に変化する報酬の与え方も考えられる. また才フライン強化学習の強みとしてオンライン強化学習と組み合わせることができることが挙げられるので, [1] のようなオンライン強化学習手法と組み合わせることで更なる精度向上が期待できる。

方策学習に関するテーマとして今回扱わなかったものの一つに, 異なるドメイン間の転移学習がある. NLU や NLG のように GPT や BERT などの一般的な文章で学習した事前学習モデルを使った手法を適用しづらく, また強化学習の転移学習自体が容易では無いとも言われている [17]. MultiWOZ 2.1 は
レストラン予約やタクシー配車など複数のドメインを含んでいるので,この部分を分離して学習し,オフライン強化学習での転移学習, または少量データでのドメイン適用といった方向性での研究も検討している.

MultiWOZ 2.1 は人間同士の対話なので非常に質が高く,ほぼ 100\%の割合で完了しているといえる.しかし実際の対話プロダクトでは途中でユーザーが離脱してしまうなど対話が失敗してしまうケースも考えられる。そこでシミュレーター同士で対話させることで, 擬似的に失敗した対話を生成し, 学習デー タに一定割合で混ぜて精度変化を比較する実験を行なった. 擬似的に生成した失敗した対話を混ぜることで精度が低下することがわかったが, 失敗した対話に対する報酬設計に関して，明確な答えを得ることができなかったので,この部分に関して掘り下げて研究することも検討している。 尚, 実験結果は Appendix A に記載する.

## 5 おわりに

本稿では, パイプライン型のタスク指向対話システムにおけるモジュールの一つである方策の学習に, オフライン強化学習手法の Decision Transformer を適用し, 報酬設計の検証を MultiWOZ 2.1 のデータセットを用いて行なった. 学習時は対話の完了に向けて徐々に増加するように報酬を与え，推論時は 4 ターン目に最大の報酬を設定すると最も Success Rateが高くなった.

今後の取り組みとして，より動的な報酬の与え方やオンライン強化学習との組み合わせ, ドメイン間の転移などを検討している. 加えて, 実際の対話を想定して失敗した対話をデータに混ぜた場合の評価も行なったが, 混合比率が上がるにつれて精度が低下することがわかったが, 失敗した対話に対する報酬設計をどのようにすれば良いかがまだわかっていないので,この点に関しても研究を続ける。

## 謝辞

本論文の作成にあたりご協力頂きました, 株式会社 AI Shift の友松祐太氏, 杉山雅和氏, 東佑樹氏, 二宮大空氏, 下山翔氏, 株式会社サイバーエージェントの邊土名朝飛氏にこの場を借りて厚く御礼申し上げます.

## 参考文献

[1] Ziming Li, Sungjin Lee, Baolin Peng, Jinchao Li, Julia Kiseleva, Maarten de Rijke, Shahin Shayandeh, and Jianfeng Gao. Guided dialog policy learning without adversarial learning in the loop. Findings of EMNLP 2020, 2020.

[2] Pei-Hao Su, Pawe 1 Budzianowski, Stefan Ultes, Milica Gašić, and Steve Young. Sample-efficient actor-critic reinforcement learning with supervised data for dialogue management. In Proceedings of the 18th Annual SIGdial Meeting on Discourse and Dialogue, pp. 147157, Saarbrücken, Germany, August 2017. Association for Computational Linguistics.

[3] Sergey Levine, Aviral Kumar, G. Tucker, and Justin Fu. Offline reinforcement learning: Tutorial, review, and perspectives on open problems. ArXiv, Vol. abs/2005.01643, , 2020.

[4] Lili Chen, Kevin Lu, Aravind Rajeswaran, Kimin Lee, Aditya Grover, Michael Laskin, Pieter Abbeel, Aravind Srinivas, and Igor Mordatch. Decision transformer: Reinforcement learning via sequence modeling. arXiv preprint arXiv:2106.01345, 2021

[5] Christian Geishauser, Carel van Niekerk, Hsien-chin Lin, Nurul Lubis, Michael Heck, Shutong Feng, and Milica Gašić. Dynamic dialogue policy for continual reinforcement learning. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 266284, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[6] Brian D Ziebart, Andrew L Maas, J Andrew Bagnell, Anind K Dey, et al. Maximum entropy inverse reinforcement learning. In Aaai, Vol. 8, pp. 1433-1438. Chicago, IL, USA, 2008.

[7] Mihail Eric, Rahul Goel, Shachi Paul, Abhishek Sethi, Sanchit Agarwal, Shuyang Gao, Adarsh Kumar, Anuj Goyal, Peter Ku, and Dilek Hakkani-Tur. MultiWOZ 2.1: A consolidated multi-domain dialogue dataset with state corrections and state tracking baselines. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 422-428, Marseille, France, May 2020. European Language Resources Association.

[8] Pawe 1 Budzianowski, Tsung-Hsien Wen, Bo-Hsiang Tseng, Iñigo Casanueva, Stefan Ultes, Osman Ramadan, and Milica Gašić. MultiWOZ - a large-scale multidomain Wizard-of-Oz dataset for task-oriented dialogue modelling. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 5016-5026, Brussels, Belgium, October-November
2018. Association for Computational Linguistics.

[9] Qi Zhu, Zheng Zhang, Yan Fang, Xiang Li, Ryuichi Takanobu, Jinchao Li, Baolin Peng, Jianfeng Gao, Xiaoyan Zhu, and Minlie Huang. Convlab-2: An open-source toolkit for building, evaluating, and diagnosing dialogue systems. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020.

[10] Jiexi Liu, Ryuichi Takanobu, Jiaxin Wen, Dazhen Wan, Hongguang Li, Weiran Nie, Cheng Li, Wei Peng, and Minlie Huang. Robustness testing of language understanding in task-oriented dialog. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics, 2021.

[11] François Mairesse, Milica Gasic, Filip Jurcicek, Simon Keizer, Blaise Thomson, Kai Yu, and Steve Young. Spoken language understanding from unaligned data using discriminative classification models. In 2009 IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 4749-4752. IEEE, 2009.

[12] Stefan Ultes, Lina M. Rojas Barahona, Pei-Hao Su, David Vandyke, Dongho Kim, Iñigo Casanueva, Pawe 1 Budzianowski, Nikola Mrkšić, Tsung-Hsien Wen, Milica Gasic, and Steve Young. PyDial: A Multi-domain Statistical Dialogue System Toolkit. In Proceedings of ACL 2017, System Demonstrations, pp. 73-78, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[13] Chien-Sheng Wu, Andrea Madotto, Ehsan Hosseini-Asl, Caiming Xiong, Richard Socher, and Pascale Fung. Transferable multi-domain state generator for task-oriented dialogue systems. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Association for Computational Linguistics, 2019.

[14] Jost Schatzmann, Blaise Thomson, Karl Weilhammer, Hui Ye, and Steve Young. Agenda-based user simulation for bootstrapping a POMDP dialogue system. In Human Language Technologies 2007: The Conference of the North American Chapter of the Association for Computational Linguistics; Companion Volume, Short Papers, pp. 149-152, Rochester, New York, April 2007. Association for Computational Linguistics.

[15] Tsung-Hsien Wen, Milica Gašić, Nikola Mrkšić, Pei-Hao Su, David Vandyke, and Steve Young. Semantically conditioned LSTM-based natural language generation for spoken dialogue systems. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1711-1721, Lisbon, Portugal, September 2015. Association for Computational Linguistics

[16] Wen Wang Qian Chen, Zhu Zhuo. Bert for joint intent classification and slot filling. ArXiv, Vol. abs/1902.10909, , 2019 .

[17] Matthew E. Taylor and Peter Stone. Transfer learning for reinforcement learning domains: A survey. J. Mach. Learn. Res., Vol. 10, p. 1633-1685, dec 2009.

## A 失敗対話を加えた実験

失敗した対話に対しても報酬を設計する必要があるので, 報酬の与え方の比較の実験で最も Success Rate が高く, Average Turn が小さかった linear, MRST=4をRSO 100\%を current best とし,その current bestをベースに以下の 6 パターンを試した.

1. const

常に-1 の報酬を与え, 対話終了 (破綻) 時に-40の報酬を与える

2. low

-40 から 0 まで線形増加させる

3. middle

-80 から-40 まで線形増加させる

## 4. high

-120 から -80 まで線形増加させる

## 5. steep low

-80 から 0 まで, 2 . low より傾斜をつけて線形増加させる

6. steep middle

-120 から-40まで, 3. middle より傾斜をつけて線形増加させる

7. steep high

-160 から-80まで, 4 . high より傾斜をつけて線形増加させる

シミュレーターの Policy モジュールは ConvLab2 で提供されている MLEを利用し, 元のデータと 3:1 の割合で混ぜる RSO(Ratio of simulator and original data) $25 \%$, 元のデータと $1: 1$ の割合で混ぜる RSO $50 \%$, 元のデータと $1: 3$ の割合で混ぜる RSO 75\%の 3 パターンを試した. 結果を表 2 に示す.

## A. 1 考察

失敗対話を加える割合を増やすほど Success Rate も Average Turn も悪化することがわかった. Success Rate は steep middle が比較的よい結果を得られたが RSO25\%の際は low が最もよい結果となった. 一方 Average Turn に関しては何が効果的だったのかわからなかった. この結果に関しては今後検証を進めていきたいと考えている.表 2 失敗対話を加えた実験


# 視覚情報を用いたタスク指向型対話における 人間の応答に対する間違い指摘の検討

大島遼祐 ${ }^{1}$ 品川政太朗 2 綱島秀樹 3 森島繁生 4
1 早稲田大学 先進理工学部 2 奈良先端科学技術大学院大学 先端科学技術研究科
${ }^{3}$ 早稲田大学 先進理工学研究科 4 早稲田大学 理工学術院総合研究所
ryosukeoshima@fuji.waseda.jp sei.shinagawa@is.naist.jp
h.tsunashima@asagi.waseda.jp shigeo@waseda.jp

## 概要

視覚を持つ対話システムが実世界応用される際，対話相手である人間のミスが原因でタスクが失敗する場合があり，システムには失敗を避けるために人間を支援することが求められる。そこで本研究では，視覚情報を用いたタスク指向型対話の一つである Guess What?!での人間を支援する方法として，人間の応答ミスを指摘するという問題設定を新たに考える. 人間が応答に間違えたデータの収集・分析を行い，間違い指摘モデルの正確性向上への有効的な学習方法と入力の検証を行った. 実験の結果から,人工的なデータセットによる事前学習と, 応答時刻・質問タイプを加えるという二つが間違い指摘の正確性向上に部分的に寄与する事が分かった. ${ }^{1)}$

## 1 はじめに

近年，テキスト情報だけでなく，視覚情報も考慮してチャット形式の対話行うタスクである Visual Dialogue の研究が盛んである [1-4]. 特に, Guess What?! [2]（図 1）は二人で協力して行うゲームとなっており，一方 (Oracle) が参照している画像内の物体 (以下，正解物体) を，もう一方 (Questioner) が質問応答を繰り返すことにより推測するという，タスク指向型対話になっている.

Guess What?!を始めとして, 現状の多くの視覚情報を用いた対話タスクでは，一方の質問に対するもう一方の応答は，質問への応答として常に正しい事が前提になっている [4-7]. しかし, 現実の対話では，Oracle 側を担当する人間やモデルが間違えた回答をしてしまう場合も考慮する必要がある。

そこで，本研究では Questioner を対話エージェン
発表した内容と同一の内容を一部含みます.

Questioner

1. Is it a donut?

2. Is it coated with green?

3. A complete donut?

図 1 Guess What?!ゲームの一例. 正解物体は水色枠に囲われている.この例では，2番目の応答が間違いである。

トが，Oracleを人間が担当する場面を考え，人間がエージェントの質問に対する応答を間違えた場合に，エージェントがミスを指摘するといった新しい問題を提案する. 既存研究 [8] でも本研究と同じく,対話相手の応答が間違える場合の重要性を指摘しているが，こちらは対話相手がタスクを失敗させようと非協力的にわざと不適切に応答している状況下で，非協力的であることに気づくという問題設定である. 本研究は，対話相手が協力的にも関わらず応答に間違えてしまう状況を想定し，実際に間違いの応答を指摘するという点で異なる。

人間の応答ミスの指摘は，いつ指摘するかという視点から大きく 3 つに分けられると考えられる.

1. 対話中に人間の応答ミスに気づき指摘する. 応答ミスによりタスクが失敗の方向に向かっていたが，エージェントがミスに気づき指摘する.

2. 物体の推測に失敗してしまった後に，人間の応答のミスに気づき指摘する. 失敗で終わらせずそこから復帰して，物体の推測を成功させようというものである.

3. 物体の推測に失敗してしまった後に，人間から正解物体をエージェントが教えられ，それに基づいて人間の応答のミスに気づき指摘する。

本研究では，対話相手である人間の応答の間違いを指摘できるようになるための第一歩として， 3 番の問題設定を考える。この問題設定は，最も容易であるが，次に全く同じようなタスク指向型対話を行った際に先ほどの教訓を活かして, 自分の応答により注意を払うことができるようになり，人間の応答ミスによるタスク失敗の数を減らせるようになることが期待できると考える。

本研究では，人間の応答ミスの指摘モデルに望ましい性質とは何か検証するため, まず人間が応答にミスをしたデータの収集と分析を行い，続いてその分析に基づいて，収集したデータから得られる知見の有効性を実験により検証する。なお，間違い指摘の問題設定において学習データが少ないという問題があるため，少ないデータでミスの指摘をより可能にする人工的なデータセットによる事前学習方法を提案し，その有効性についても併せて検証する.

## 2 人間の応答ミスの収集と分析

Guess What?!データセット [2] には人間同士による対話ゲームの結果が収録されている (約 15 万対話, 82 万個の質問応答ペア, 6.6 万個の画像).また, Questioner が正解物体の予測に成功したもの「status $=$ Success $\lrcorner$, 失敗したもの「status $=$ Failure $\lrcorner$, 途中で諦めたのもの「status = Incomplete」の 3 つのラベル付けされている.

## 2.1 応答ミスの含まれるデータの収集

本研究では，実際に人間が Guess What?!ゲームにおいて応答に間違えたデータを集めた (以下，手動データセット). 具体的には「status = Failure」のラベル付けがされたデータセットから 2,300 対話をランダムにサンプリングし，人間の応答にミスがないか手動でチェックすることで構築した. 構築の際，正解物体の大きさが小さすぎるもの，同一の対話に応答ミスが 3 つ以上含まれるものは除外した. ミスが 3 つ以上のものを除外したのは，人間 (Oracle) が最初から適当に答えている可能性が高いと判断したた

図 2 応答時刻と応答ミスの関係性のヒストグラム. 横軸の数値は正規化されている.

表 1 時刻と応答ミスの関係

めである. その結果， 365 対話からなる応答に間違いが含まれる手動データセットを構築することができた.

## 2.2 応答ミスの含まれるデータの分析

まず，本研究では人間の応答ミスの特徴を見るために，手動データセットに関して分析を行った.具体的にはデータ収集の際，時刻によって応答を間違える頻度が異なる印象を受けたため，応答時刻と応答ミスの関係性の分析（2.2.1 項）を行った. また [9,10]において, Oralce モデルが質問タイプによって応答の正答率が異なることが言及されてるため，質問タイプと応答ミスの関係性（2.2.2 項）についても分析を行った.

## 2.2.1 応答時刻と応答ミスの関係性

図 2 亿応答時刻と応答の間違いの関係性のグラフを示す. 図 2 の横軸は，以下の計算に基づいて正規化されている.

$
\text { 横軸 }=\frac{\text { 応答時刻 }}{\text { 対話の長さ }}
$

図 2 より，人間の応答ミスは対話の後半部分にいくにつれ，多くなっていることがわかる．また，表 1 に最終時刻に応答ミスをしている数と，最終時刻以外に応答ミスをしている数を表す。表 1 から，人間は最終時刻の応答を間違えやすい傾向にあることがわかる. 図 2 と表 1 のような結果が得られたのは,対話が後半になるほど，細かく物体を識別し正解物体を当てるために，より複雑な質問（例："Is it the man left side from the man wearing a red hat?") が多くなるためであると考えられる.

## 2.2.2 質問タイプと応答ミスの関係性

図 3 各質問タイプにおける間違いの割合. S-category は，Super-category タイプのことを表す.

図 3 に質問タイプと応答ミスの関係性のグラフを示す。質問タイプのラベル付けは, [9,10] に倣い, キーワードマッチング方式2)で行った。質問はそれぞれ, Object (“is it a car?”), Spatial (“on the right side half?"), Color ("is it white?"), Action ("are they wearing jeans?”), Size(“a small one?”), Super-category ("is the object an electronic?"), Texture ("is it made of metal?"), Shape ("is it a round container?") , Others $の 9$ 種類に分類されている。ここで，括弧内は各質問タイプの例文である. 図 3 からわかるように, 人間は Spatial, Color, Action, Size のいずれかに分類される質問に対して，間違えやすいことがわかった. 以上の分析から，Guess What?!における人間の応答は，応答時刻と質問タイプによって間違えやすい傾向が異なることがわかった.

## 3 実験

本研究では，2種類の実験を行った. 1 つ目は，手動データセットの大きさが小規模である問題点に対し，提案する事前学習方法が有効か検証する実験 （以下，実験 1）である．2つ目は間違い指摘をより正確に行うには何の入力が重要かを検証する実験 （以下，実験 2）である．2 章で得られた人間の応答の間違いの傾向が，どのように間違い指摘モデルの精度向上に寄与するか検証した。

比較モデル本実験は，学習方法とモデルの入力を検証する実験のため，実験 1 と実験 2 における比較モデルとして，図 4 のような非常にシンプルなモデルを構築した. 具体的には, Guess What?! [2] で提案された Oracle モデルに, 間違い指摘のための分類ヘッドを追加し，モデルの出力に対し閾値を 0.5 と

2）対象の単語が含まれる場合に，特定の質問タイプに分類する方式. “left'が含まれている質問は Spatial に分類される.

図 4 比較モデルの概要図

表 2 各データセットの利用方法

して，応答が\{間違っているか，合っているか\}を 2 值分類 3 )する.

データセット手動データセットが小規模である問題点に対し，「staus = Success」のラベル付けされたデータセットを用いて，新しく人エデータセットを構築した。具体的には，人間の応答の「Yes」 と「No」をランダムに反転することで，人工的に間違いのある応答を作りだし，約 11 万対話の規模のデータセットとした.

本実験では上記の人工データセットに加え, Guess What?!データセット [2], 手動データセットを含めた 3 種類のデータセットを用いた. これらデータセットの利用方法を表 2 に示す. Guess What?!，人エデータセットは事前学習に，手動データセットは，fine-tuning 時と評価に用いた. 手動データセットは，訓練時と同じ画像で構成される seen データセットと異なる画像で構成される unseen データセットに分割した. さらに， seen データセットに関しては fine-tuning 用と評価用に分割した. unseen データセットは全て評価に用いた。ここで，評価時に用いた seen, unseen データセットは共に，対話テキストに関しては未知のものである.

本手法では，あえて対話履歴をモデルの入力として加えていない。この理由は，人工データセットに生じる不自然な対話の流れ（付録 A）をモデルが学習することを避けるためであり，本研究における提案手法の一つである人工データセットを用いる上でのモデルへの制約だといえる.

評価指標間違い指摘の分類性能の評価には， $\mathrm{F}$值を用いた（再現率，適合率は付録 Dを参照).この評価指標を用いたのは，人間は応答ミスをあまりせず，テストデータセットは正例数が負例数よりも少ない不均衡データセットであるためである.

## 3.1 各実験の詳細

実験 1 人間が応答で間違えたデータが少ないという問題に対処するため，人工データセットによる事前学習の有効性の検証実験を行った. 具体的には，1) 手動データセットのみの学習方法，2) Guess What?!データセットを用いて Oracle モデルとして学習した後に, 手動データセットによる分類へッドの学習 (転移学習) を行う学習方法，3) 人工デー タセットで事前学習し手動データセットを用いて fine-tuning する学習方法の 3 つを比較した.

ここで，人間は応答ミスをあまりしないため，手動データセットは正例の数が負例の数よりも少ない不均衡データセットになっている. したがって, fine-tuning 用の手動データセットは，正例と負例の数が等しくなるようにオーバーサンプリングした.

実験 22 章の分析結果が人間の応答ミスに対する指摘の正確性を向上に繋がるかを検証した. 具体的には，応答時刻と質問タイプをそれぞれ新しく入力に加えるモデル（付録 C）を構築し，各モデルの間違い指摘性能を比較する. その際 fine-tuning 時に用いるサンプルは，各質問タイプの数が同じになるようにオーバーサンプリングした.

## 4 実験結果

実験 1 の結果を表 3 に示す. 人工データセットで事前学習する方法が最も良い $\mathrm{F}$ 値が得られ, 有効的な学習方法であることがわかる.

実験 2 の結果を表 4 に示す. モデルの構造が事前学習段階から異なるため, 事前学習のみの結果も記載している. 次に，応答時刻を入力に追加したモデルにおける，最終時刻の応答とそれ以外の応答での比較の結果を表 5 に示す.

表 4 から， seen においては追加する入力がないモ表 3 各学習方法における間違い指摘の $\mathrm{F}$ 値比較

表 5 最終時刻の応答と最終時刻以外における応答のモデルの $\mathrm{F}$ 值比較

デルが一番良く，unseen においては応答時刻，質問タイプのどちらを加えても良い結果となった。また, 表 5 より, unseenに対して, 最終時刻以外の応答に対する $\mathrm{F}$ 值を下げることなく, 最終時刻の応答に対する $\mathrm{F}$ 值を上げることができた。

これらの結果から, seen は既知の画像であるため，視覚情報を上手く捉えることができ，新しい入力がかえってモデルに不必要な複雑さを与えてしまい，F 值が下がったと考えられる。 unseen では視覚情報を上手く捉えることができず，質問タイプが良いヒントになったと考えられる。また，応答時刻に関してもデータの分布をただ学習するのではなく，良いヒントとしてモデルが利用できていることが示唆される。

## 5 おわりに

本研究では, Guess What?!における人間の応答に含まれる間違いの指摘において，人工データセットによる事前学習が有効であること，応答時刻・質問タイプの追加入力がモデルの精度向上に部分的に貢献することが示唆された. 本研究は Guess What?!という限られたドメインにおける間違い指摘のみを扱ったため, 今後の展望として, 本研究で得られた知見を他の種類の視覚情報を用いたタスク指向型対話に対しても検証することを考えている.

## 謝辞

本研究は JSPS 科研費 (19H04137，21H05054, 21K17806) の助成を受けたものです.

## 参考文献

[1] Abhishek Das, Satwik Kottur, Khushi Gupta, Avi Singh, Deshraj Yadav, José M.F. Moura, Devi Parikh, and Dhruv Batra. Visual dialog. In CVPR, 2017.

[2] Harm de Vries, Florian Strub, Sarath Chandar, Olivier Pietquin, Hugo Larochelle, and Aaron Courville. Guesswhat?! visual object discovery through multi-modal dialogue. In CVPR, 2017.

[3] Satwik Kottur, Seungwhan Moon, Alborz Geramifard, and Babak Damavandi. Simmc 2.0: A task-oriented dia$\log$ dataset for immersive multimodal conversations. In EMNLP, 2021.

[4] Abhishek Das, Satwik Kottur, Stefan Lee José M. F. Moura, and Dhruv Batra. Learning cooperative visual dialog agents with deep reinforcement learning. In ICCV, 2017.

[5] Abhishek Das, Satwik Kottur, José M.F. Moura, Stefan Lee, and Dhruv Batra. Learning cooperative visual dialog agents with deep reinforcement learning. In ICCV, 2017.

[6] Tao Tu, Qing Ping, Govind Thattai, Gokhan Tur, and Prem Natarajan. Learning better visual dialog agents with pretrained visual-linguistic representation. In CVPR, 2021.

[7] Shoya Matsumori, Kosuke Shingyouchi, Yuki Abe, Yosuke Fukuchi, Komei Sugiura, and Michita Imai. Unified questioner transformer for descriptive question generation in goal-oriented visual dialogue. In ICCV, 2021.

[8] "Anthony Sicilia, Tristan Maidment, Pat Healy, and Malihe Alikhani". Modeling non-cooperative dialogue: Theoretical and empirical insights. arXiv preprint arXiv:2207.07255, 2022.

[9] Alberto Testoni, Claudio Greco, Tobias Bianchi, Mauricio Mazuecos, Agata Marcante, Luciana Benotti, and Raffaella Bernardi. They are not all alike: Answering different spatial questions requires different grounding strategies. In SpLU, 2020.

[10] Ravi Shekhar, Aashish Venkatesh, Tim Baumgärtner, Elia Bruni, Barbara Plank, Raffaella Bernardi, and Raquel Fernández. Beyond task success: A closer look at jointly learning to see, ask, and guesswhat. In NAACL, 2019.

## A 対話の流れが不自然になる例

図 5 人工データセットにおける対話の流れが不自然になる例. 1 番目の応答が反転により間違いとなっている.

図 5 は，時刻 1 で「食べ物」であることが確定しているのにも関わらず，時刻 2 で「Is it a plate?」と聞くような不自然な対話の流れになっている. 実際の対話の場合，「Is it a banana?」などといった食べ物に関する質問が続くはずである.

## B 不均衡データにおける評価指標

正例（陽性）の割合が少ないテストデータにおいて, 正解率（= 正解数 / サンプル数）は適切に評価できない. 理由は，モデルが単純にサンプル数の多い負例を予測するように学習すれば，全く正例を予測できないにも関わらず，高い正解率を誇る良いモデルとして評価されてしまうためである。そこで，不均衡データにおける評価指標の一つとして再現率・適合率により定義される $\mathrm{F}$ 值がある．真陽性 (陽性ラベルを正しく陽性と予測)，真陰性（陰性ラベルを正しく陰性と予測), 偽陽性（陰性ラベルを誤って陽性と予測), 偽陰性（陽性ラベルを誤って陰性と予測）として，再現率・適合率は以下で計算される.

$
\begin{aligned}
& \text { 再現率 }=\frac{\text { 真陽性数 }}{\text { 真陽性数 }+ \text { 偽陰性数 }} \\
& \text { 適合率 }=\frac{\text { 真陽性数 }}{\text { 真陽性数 }+ \text { 偽陽性数 }}
\end{aligned}
$

正例（陽性）の割合が少ないテストデータにおいて，モデルが単純に「正例」と多く予測するように学習すれば再現率は高く適合率は低くなり, 反対に 「負例」と多く予測するように学習すれば適合率は高くなり再現率は低くなる.このようなモデルを適切に低く評価するために, 再現率と適合値の調和平均を取った F 值がある。

$
F \text { 值 }=2 \times \frac{\text { 適合率 } \times \text { 再現率 }}{\text { 適合率 }+ \text { 再現率 }}
$

## ） 実験 2 における追加入力モデル

実験 2 で用いた，質問タイプと応答時刻を新しく入力として加えたモデルの概要図を，図 6,7 にそれぞれ示す.

図 6 質問タイプを入力に新しく加えたモデル

図 7 応答時刻を入力に新しく加えたモデル

## D 実験結果の補足

実験 1，2 の再現率・適合率の結果をそれぞれ表 6,7 に示す.

表 6 各学習方法における, 間違い指摘の精度比較

表 7 モデルの追加入力の $\mathrm{F}$ 值結果

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 対話システムのための対話状況を制約とした応答変換の検討

千葉祐弥 ${ }^{1}$ 東中竜一郎 ${ }^{2}$
${ }^{1}$ NTTコミュニケーション科学基礎研究所 2 名古屋大学大学院情報学研究科
yuuya.chiba.ax@hco.ntt.co.jp higashinakadi.nagoya-u.ac.jp

## 概要

我々はこれまで，対話状況に応じて対話戦略を適応する対話システムの実現を目標として，日常会話を対象とした対話状況の推定と状況ごとの対話の分析を行ってきた. 本研究では，日常会話のように多様に変化する状況の中で，状況に合わせて応答を切り替えるための応答変換手法を検討する．本稿では，検討手法による応答の変換例を示すとともに，応答変換モデルのエンコーダ出力とデコーダ出力を可視化することで，ネットワークがある程度適切に対話相手との関係を捉えて応答生成できていることを示す. 最後に人間による応答の評価を行い，検討手法の性能と改善点について議論する.

## 1 はじめに

スマートスピーカやパーソナルアシスタントのような，日常的に使われる対話システムが一般的になるつつある。このようなシステムが人間どうしの日常会話に自然に参与できるようになるためには，単に自然な応答ができるだけではなく，対話の目的やシステム自身を含む対話参与者間の関係を正確に理解し，状況に合わせて応答を調整できる必要がある.

我々はこれまで，日本語日常会話コーパス (CEJC) [1]に含まれる対話を分析し, 日常会話が対話の目的や対話のやり方に相当する 7 つの因子の組み合わせによって説明でき，かつ状況ごとにそれらの因子の重みが異なることを示した [2]. 図 1 は CEJC に含まれる対話場面の例である。分析では，特に対話形式や対話相手との関係が対話に大きな影響を与えることが示唆された。例えば，家族との雑談においては物語的な会話が多く行われ，同僚や上司との会議においては丁寧さの度合いが高く問題解決を指向した対話が行われる傾向がある. したがって，対話システムは，これらの対話状況を考慮した応答生成を行うことで，より自然にユーザの会話に参与できる

対話形式: 雑談場所: 自宅活動: 食事対話参与者の関係: 家族

対話形式: 用談相談場所: 施設その他活動: 社会参加対話参与者の関係: 社会関係図 1 日本語日常会話コーパスにおける対話場面の例。写真は公開のためマスキングしたものである.

## ようになると考えられる。

状況に合わせた対話制御に関しては，これまでも様々に検討されてきた。例えば，対話システムライブコンペティションでは 2019 年よりシチュエー ショントラックが開催され，設定された状況の中で適切な対話を行う対話システムが様々に構築されている [3]. Utami and Bickmore [4] は，恋人同士のような親密な間柄に特有の会話現象を考慮した会話が可能なカウンセリング対話システムを構築している. また，対話相手との物理的距離を認識し，適切な距離を保つように調整するシステム [5] や，周囲の環境について対話を行う車載機器用音声対話システム [6]，与えられたシーンに関する受け答えが可能な対話システム $[7,8,9]$ なども検討されている. しかしながら，これらの研究はあらかじめ指定された特定の状況下でシステムが動作することを想定しており, 日常会話のように多様に変化する状況の中で，適切に応答を調整する対話システムに関してはほとんど検討されてこなかった。

本稿では，何らかの方法で決定されたシステム発話文を，指定された対話の状況に適した発話文へと変換する応答変換手法を検討する.この手法により，発話生成のたびに応答変換を行うことで，逐次変化する対話の状況に合わせた応答が可能となる.近年，文献 $[10,11,12]$ などを筆頭に，大規模対話モデルの応答の流暢性と自然性が飛躍的に向上している.したがって，大規模に学習された対話モデルを
対話状況を表すラベルを付与した対話データで適応することで，流暢性と自然性が高く，かつ状況に依存した応答が生成できるようになると期待される。

## 2 日本語日常会話コーパス (CEJC)

実験データとして，日本語日常会話コーパス (CEJC) [1]を実験に用いる. CEJC は, 日常生活の中における様々な活動とともに起こる自然な会話を収録したコーパスである.

音声データは個別の話者が装着した ICレコーダ (Sony ICD-SX734) と場面中央に置かれた IC レコー ダ (Sony ICD-SX1000) によって収録されている.また, 屋外や移動シーンに関しては Panasonic HX-A500 によって撮影された映像，その他のシーンに関しては全天球型カメラ (Kodak PIXPRO SP360 4K) と 2 台の GoPro Hero3+で撮影された映像が含まれている.全ての対話データには書き起こし文が付属しており, 形態素情報や話者ラベル, 発話時間などが詳細にアノテーションされている。加えて，各対話デー 夕には，対話形式，対話が行われた場所，対話とともに行われている活動，対話参与者の関係といった対話状況を表すラベルも付与されている. 本稿の応答変換では, 書き起こし文と, それに付随する対話状況ラベル，会話や話者の属性を記したメタ情報を用いる.

コーパスには 152 時間の対話データが収録されており, 全体で 1,462 名の話者による 427 対話が含まれる. 発話とトークンの総数は約 40 万発話, 約 184 万トークンである.

## 3 状況を制約とした応答変換

## 3.1 問題設定

本研究の目的は, 所与のシステム応答発話を，指定した状況に適した応答発話へと変換するモデルを学習することである. そこで，本稿では対話状況ラベルと応答発話文から抽出された内容語を入力として, 応答発話文を出力するように応答変換モデルを学習する. これによって, 入力発話文の内容を極力維持したうえで，状況によって異なる部分のみを変化させるように学習されたモデルが構築されることを期待する。また，指定する対話状況は特に対話への影響が大きい対話形式と対話参与者間の関係である. 対話形式に関しては，対話に対して付与された 3 種類のラベルを用いる。すなわち，会議会合，用表 1 話者関係行例の例 (会話 ID: T009_020)

談相談，雑談である．対話参与者間の関係には，話者からみた受け手との関係 (e.g.,「親」や「子」など)を用いる.

応答変換モデルへの入力は下記の通りである.

[状況 $] s_{i}[\mathrm{SEP}] r_{i}$ [応答 $] c_{1}^{i}[\mathrm{SEP}] c_{2}^{i}[\mathrm{SEP}] \cdots[\mathrm{SEP}] c_{n}^{i}$

ここで， $s_{i}$ は $i$ 番目の発話に付与された対話形式であり， $r_{i}$ は $i$ 番目の発話における，話者から見た受け手との関係である. $s_{i}$ と $r_{i}$ は自然言語によって表現される. $\boldsymbol{c}^{i}=\left(c_{1}^{i}, c_{2}^{i}, \cdots, c_{n}^{i}\right)$ は, 発話から抽出された内容語の系列である. [状況] や [応答], [SEP] は，状況や内容語の区切りを示す特殊トークンである. 例えば，友人同士の用談相談の「ちょっと寒くなってきた」という発話からは，“状況] 用談相談 $[\mathrm{SEP}]$ 友人知人 [応答] ちょっと $[\mathrm{SEP}]$ 寒い $[\mathrm{SEP}]$ なる $[\mathrm{SEP}]$ くる”という入力が構築される. 出力は元の発話と同一である. 学習時には, CEJC から抽出された自然発話を用いる。

## 3.2 話者間の関係の認定

対話参与者の関係に関しては，CEJC には情報提供者を中心にした各話者への関係だけが与えられている。そこで，会話・話者のメタ情報のうち，会話の説明や，年齢，職業に基づいて対話参与者間の関係を認定した. この方法で，一部の同僚間の上下関係などを除き，全ての対話参与者間の関係を概ね一意に定めることができる．表 1 に会話 ID T009_020 の対話における対話参与者間の関係の行列を示す.

また，CEJC に収録された対話は多人数対話が多く含まれるため，必ずしも発話の受け手が明確ではない. そこで，本稿では当該発話の次に発話権を取得した話者を発話の受け手とみなした. 表 2 に対話例と話者間の関係を示す. 表中太字で示したように一部の発話で認定された関係に誤りがあるが，概ね正しい受け手が認定できていることがわかる.
表 2 実験に用いる対話の例 (会話 ID: T019_005b).太字は認定された受け手が誤っている発話を示す.

 \\

## 4 実験条件

## 4.1 実験データ

実験データは, 文献 $[2,13]$ と同様の基準で学習セット，開発セット，テストセットに分割した. すなわち，状況のラベルの分布がそれぞれのセットで可能な限り近くなるように分割した. 対話数は，それぞれ 299 対話， 84 対話， 44 対話であった. それぞれの対話から発話文を抽出し, 学習に用いた. 各発話は UniDic ${ }^{1)}$ を辞書とした $\mathrm{MeCab}^{2}$ を用いて分割し, 名詞, 代名詞, 形状詞, 副詞, 感動詞, 動詞, 形容詞と解析された単語の原形を内容語とした。

内容語が 3 つ未満の発話と, トークン長が 50 を越える発話は除外した. 受け手との関係に関しては，学習データ中の出現頻度が $N$ 回未満の関係と,「本人」となる発話を除外した.ここで， $N=1,000$ とした. そのうえで，各関係の出現頻度が概ね 1 万発話となるようにアップサンプリングした.

## 4.2 大規模対話モデルの学習

本稿では NTT が公開する大規模対話モデル [10] のうち，事前学習モデルをベースのモデルとして用いた. 学習時のバッチサイズは 64 であった.損失関数は Cross Entropy 損失とし, 最適化手法は Adafactor とした. 学習率は 1e-04, warmup steps は 500 とした. また, 最大エポック数は 1,000 と設定し，開発セットに対する損失が最少となるモデル

2) https://taku910.github.io/mecab/表 3 関係のラベルによる変換結果の例 (入力発話文：「たぶん世界で一番安い」)

を選択した. モデルのファインチューニングには fairseq [14] を用いた. 生成時には $k=50$ とした top- $k$ サンプリングを行い，ビーム幅は 80 とした.

## 4.3 人手評価

生成したサンプルに関して人間による評価を行った. テストセットのうち，内容語の個数が 3 以上 8 未満となるものからランダムに 100 文選択し, 対話相手との関係のみ変化させて応答を変換した. 変換には，出現頻度上位 10 位までの関係を用いた。この時, 言い直しなどで同じ内容語が 2 回以上出現するサンプルや，内容語の長さが 1 のものは除外した.

実験では，5人のワーカが評価を行った. 5 人のワーカは，「適切性: システムが関係を反映した応答ができているか」と「自然性: 日本語としての自然性」に関して，5 段階 (1: 全くそう思わない，5: とてもそう思う)で評価した。

## 5 実験結果

## 5.1 生成例

学習されたモデルによる応答変換の例を表 3 に示す. 入力発話文は「たぶん世界で一番安い」であり，抽出された内容語は「たぶん」，「世界」，「一番」，「安い」であった。また，対話形式については用談相談を指定した．表より，この例では，応答変換モデルは入力発話文の内容を維持しつつ受け手との関係によって異なる応答を生成していることがわかる. 特に受け手が上司や部下，親子の場合は語尾に違いが見られ，それぞれ適切な丁寧さの発話が生成できている。一方で，店員と客の関係を表す， サービス提供者と受領者の間では同じ発話が生成されている。これは，データの中に床屋など，店員もカジュアルな発話を行う対話が含まれている影響であると考えられる。
表 4 関係ごとの評価値の平均スコア (5 段階). 太字は 4 以上，斜体は 3 以下のスコアを示す.

図 2 主成分分析によるエンコーダ出力の可視化結果. 凡例は話者から見た受け手との関係を示す。

## 5.2 エンコーダ・デコーダ出力の分析

エンコーダとデコーダが関係の違いをどのように捉えているかを調査した. テストセットからランダムに選択された 500 文に対して，頻度上位 10 位までの関係を用いて応答を変換した. 各発話から， エンコーダとデコーダの隠れ層の出力を取り出し,可視化した. エンコーダに関しては, 最終層の出力を系列に対して平均した. ベースモデルの隠れ層の次元数は 1,920 次元であるため, 抽出される表現べクトルも 1,920 次元である. 一方で，デコーダに関しては，最終層の出力についてまずビームに対して平均をとり，さらに系列に対して平均をとることで 1,920 次元の表現ベクトルを抽出した. また, 内容語が共通の発話間で平均をとり，それを減算することで発話内容の影響を除外した. その後，それぞれの表現ベクトル集合に対して主成分分析を行い，2 次元に圧縮した.

エンコーダ・デコーダの出力の可視化結果を図 2 , 3 に示す. それぞれの図において，関係によって分布が分かれていることが見て取れる. 特に，家族と仕事関係者・上司はほぼ同軸上の反対の領域に分布しており，親しみの違いがある程度捉えられていることが示唆される。一方で, 図 2 と図 3 を比較すると, エンコーダ出力では差のあった親や子，夫婦や同級生などはデコーダ出力では重なっており，これらの関係においては発話の表層的な表現にあまり差がないことが示唆される. また，友人知人と同僚はその他の関係と直行しており，家族や上下関係のある間柄とは異なった発話表現が得られている可能性が示唆される。

図 3 主成分分析によるデコーダ出力の可視化結果. 凡例は話者から見た受け手との関係を示す.

## 5.3 人手評価の結果

表 4 に評価の結果を示す. 表中の数值は関係ごとの評価値の平均である. 5 人のワーカの全体の平均值は，適切性が 3.70，自然性が 3.19 であった.

適切性に関しては，仕事関係者と上司が特に低かった. これらの関係は図 3 上で親しみを表すと考えられる軸上に存在する。 そのため，モデルは受け手との親しさの違いを捉えてはいるものの, 丁寧さや敬語の表出は十分にできていないことが示唆される. 自然性に関しては友人知人や上司において特に低かった. 友人知人への発話ではカジュアルな発話に現れやすいフィラーの断片が不自然な箇所で出現しやすく，上司への発話では「です」や「っすか」 といった語尾の接続が不自然になりやすかった.

評価者からは，自然性と適切性を切り分けて評価するのは難しいといった指摘があり, 自然性の改善が適切性の評価の向上にも貢献すると考えられる.

## 6 おわりに

本研究では，対話状況に合わせた応答生成が可能な対話システムの構築を目指し，特に対話形式と対話相手との関係を制約とした応答変換モデルを学習した. 実験では，モデルの変換例を示すとともに， エンコーダ出力とデコーダ出力を可視化することで，モデルが指定した状況の違いを捉えていることを示した. 人手による評価実験では，ある程度状況に適した応答ができていることが示唆されたが，自然性については課題が残った。

今後は，発話スタイル変換 $[15,16]$ などの技術を駆使することで，応答の自然性の向上を目指す.

## 謝辞

本研究は科研費（JP19H05692）の助成を受けたものである. また，日本語日常会話コーパスの利用を承諾いただいた国立国語研究所に感謝する。

## 参考文献

[1] Hanae Koiso, Yasuharu Den, Yuriko Iseki, Wakako Kashino, Yoshiko Kawabata, Ken'ya Nishikawa, Yayoi Tanaka, and Yasuyuki Usuda. Construction of the corpus of everyday Japanese conversation: An interim report. In Proc. LREC, pp. 4259-4264, 2018.

[2] Yuya Chiba and Ryuichiro Higashinaka. Analyzing variations of everyday Japanese conversations based on semantic labels of functional expressions. ACM Transactions on Asian and Low-Resource Language Information Processing, 2022.

[3] 吉川克正, 川本稔己, 山崎天, 水本智也, 小林滉河, 大萩雅也, 佐藤敏紀. シチュエーションに合わせたシナリオ誘導と HyperCLOVA を利用した応答生成によるハイブリッド対話システム. 人工知能学会研究会資料言語・音声理解と対話処理研究会 (第 96 回), pp. 124-129, 2022.

[4] Dina Utami and Timothy Bickmore. Collaborative user responses in multiparty interaction with a couples counselor robot. In Proc. HRI, pp. 294-303, 2019.

[5] Dan Bohus, Sean Andrist, and Eric Horvitz. A study in scene shaping: Adjusting F-formations in the wild. In Proc. AAAI Fall Symposium, pp. 1-7, 2017.

[6] Teruhisa Misu. Situated reference resolution using visual saliency and crowdsourcing-based priors for a spoken dialog system within vehicles. Computer Speech \& Language, Vol. 48, pp. 1-14, 2018.

[7] Huda Alamri, Vincent Cartillier, Abhishek Das, et al. Audio visual scene-aware dialog. In Proc. CVPR, pp. 75587567, 2019.

[8] Shachi Kumar, Eda Okur, Saurav Sahay, Jonathan Huang, and Lama Nachman. Leveraging topics and audio features with multimodal attention for audio visual scene-aware dialog. arXiv preprint arXiv:1912.10131, 2019.

[9] Xudong Lin, Gedas Bertasius, Jue Wang, Shih-Fu Chang, Devi Parikh, and Lorenzo Torresani. Vx2Text: End-toend learning of video-based text generation from multimodal inputs. arXiv preprint arXiv:2101.12059, pp. 114, 2021.

[10] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of Transformer-based Japanese chit-chat systems. In Proc. SLT, 4-1-17-TLP, 2023.

[11] Kurt Shuster, Jing Xu, Mojtaba Komeili, Da Ju, Eric Michael Smith, Stephen Roller, Megan Ung, Moya Chen, Kushal Arora, Joshua Lane, et al. Blenderbot 3: a deployed conversational agent that continually learns to responsibly engage. arXiv preprint arXiv:2208.03188, 2022.

[12] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Sub- biah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Proc. NeurIPS, Vol. 33, pp. 1877-1901, 2020.

[13] Yuya Chiba and Ryuichiro Higashinaka. Dialogue situation recognition for everyday conversation using multimodal information. In Proc. INTERSPEECH, pp. 241245, 2021.

[14] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. Fairseq: A fast, extensible toolkit for sequence modeling. arXiv preprint arXiv:1904.01038, 2019.

[15] Di Jin, Zhijing Jin, Zhiting Hu, Olga Vechtomova, and Rada Mihalcea. Deep learning for text style transfer: A survey. Computational Linguistics, Vol. 48, No. 1, pp. 155-205, 2022.

[16] Atsumoto Ohashi and Ryuichiro Higashinaka. Adaptive natural language generation for task-oriented dialogue via reinforcement learning. In Proc. COLING, pp. 242-252, 2022 .


# Monadic Chat :
## テキスト補完 API で文脈を保持するためのフレームワーク

\author{
長谷部陽一郎 \\ 同志社大学 \\ yhasebe@mail.doshisha.ac.jp
}

## 概要

関数型プログラミングにおけるモナドの概念を応用することで既存のテキスト補完 API に文脈情報を保持する仕組みを加え，対話形式で利用するための方法を提案する．対話の各ターンがアキュムレータ ーとリデューサーを備えたモナド的再帰構造を持つようプログラムを実装することで，異なる目的のアプリケーションをテンプレートを差し替えるだけで実現できる。これを示す実例として Monadic Chat を開発した. OpenAI による GPT-3 ベースのテキスト補完 API を利用するプログラムであり，インタラクティブなアプリケーションをユーザー自身で定義することができる．その設計は，対話／談話に関する認知言語学上のモデルとも親和性が高い.

## 1 はじめに

2020 年に OpenAI が GPT-3 を公開して以降, ユー ザーからの入力に対して自然言語テキストでレスポンスを返す，いわゆる AI システムが多くの注目を集めている.また 2022 年後半に発表された ChatGPT はチャット形式で文脈を保持した対話が可能であり [1], 今後こうした汎用 AI システムが様々な領域で活用されることが期待されている.

OpenAI は GPT-3 をベースにした言語モデルの API サービスを提供しているが，対話の文脈を保持する仕組みは含まれていない. したがって, ChatGPT のような仕組みや，それに類するアプリケーションを構築するためには OpenAI が提供するテキスト補完（text completion）API を用いて独自のロジックを組み立てる必要がある。そこで関数型プログラミングにおけるモナドの概念を応用したコマンドライ

ン・ツール Monadic Chatを開発した。

本ツールでは，関数型プログラミングにおけるモナドの概念を用いて，グローバルな変数や外部のストレージに文脈情報を格納することなく，逐次的な対話によって文脈を作り出して次々と後の処理に引き渡すことができる。また，対話の目的，性質，前提などを定型のテンプレートに記述することで，様々な対話アプリケーションをわずかの工数でユー ザーが自ら作ることができる.1)

以下では 2 節で Monadic Chat 基本的な内容を示す. 3 節では自然言語による談話をモナド的再帰構造としてモデル化することの意義と利点について考察する. 4 節では本ツールによる再帰的な対話処理の流肮とテンプレートの仕様について述べる. 最後に 5 節で全体のまとめを行う。

## 2 Monadic Chat について

## 2.1 言語モデルの指定と API アクセス

Monadic Chat は OpenAIによる GPT-3 以降のモデルにテキスト補完 APIを通じてアクセスする仕様になっている.2 ${ }^{2}$ 具体的には現時点で利用できる最大の汎用モデル davinci - text-003を使用することになる. OpenAI は特定の目的に特化した様々なモデルを提供しているが(プログラムコード作成用モデル，音声入力テキスト修正用モデルなど），それらを用いることはできない. 本ツールではテンプレートに必要事項を記述することで機能を実現するが，テンプレートには自然言語による指示と JSON 形式の才ブジェクトを含める必要があり，これらを正しく解釈し適切なデータを返すことができるモデルが必要となる. なお, OpenAI の各種 API の使用は有料であ

2) 現時点では OpenAI のテキスト補完 API を用いる以外の選択肢はないが, 同様のレベルで汎用的かつ高性能なモデルが利用可能であれば，それらに対応することは十分可能である.

り，アカウントを作成してアクセス・トークンを取得する必要がある.

## 2.2 プログラムの入手と使用

Monadic Chat は Ruby で作成されている. ${ }^{3)}$ Ruby のバージョン2.6.0 以上が利用可能な環境であれば， gem install monadic_chat というコマンドでインストールすることができる.

インストール後は monadic コマンドでプログラムを起動する. 初回起動時に OpenAI のアクセスト ークンを入力することが求められる。問題なく API にアクセスできることが確認されると，それ以降はアクセストークンを明示的に入力する必要はない.

本ツールのソースコードやその他の情報は https://github.com/yohasebe/monadic_chat で公開している.

## 2.3 利用できるテンプレート

Monadic Chat ではテンプレートを記述することで，様々な対話アプリケーションを作成できるが，サンプルとして1) Chat（一般的対話），2）Translate （文章の翻訳），3） Novel（物語の段階的生成）, 4) Code (プログラムコードの作成) という 4 つのテンプレートを提供している. いずれの場合でも，ユ ーザーからのテキスト入力に対して, GPT-3 が何らかの返答を示す. その際, これまでのやりとりで扱われた内容が文脈として機能する。

なお，コマンドライン上のインタラクティブな対話形式で実行することが基本であるが，あらかじめ用意したプロンプトのリストを読み込ませて連続処理することも可能である.)

## 3 モナドとしての談話構造

## 3.1 認知言語学の談話モデル

テキスト補完 API を利用して文脈を伴った対話を実現するに際しては 2 つの方針が考えられる. 1 つは，特定の目的一例えば自然言語による質疑応答一に最適化しながらシステムを実装する方針である.

これには，構造よりも機能に主眼をおいて個々のアプリケーションの設計をシンプルに保ち, 使用リソ

一スを最低限にできる利点がある。もう 1 つは，自然言語による談話に参与する話者と聞き手の中でどのような認知プロセスが生じているかについて，理論言語学的モデルを参考にするという方針である.

Monadic Chat の開発にあたっては後者を採用した.

認知言語学の主要な研究者の一人である Ronald Langacker は, リアルタイムで進行する談話展開を 「現在時談話空間（current discourse space, CDS）の更新」という観点から図 1 のような構造を持つものとして記述・分析している $[3,4]$.

図 1 : 現在時談話空間 (CDS)

Langacker は[5]で示された考え方を受けて，言語の構造を「CDS を更新するための指示書」として捉えるアプローチを可能性として提案する (“we might think of linguistic structures (of whatever size) as instructions to modify the current discourse space in particular ways" p.151) [3]. 1 つつの発話事象 (usage event）では，そのような指示書の内容に応じて CDS が更新される。また, 発話事象の中に含まれる話し手, 聞き手, 話題の事物といった要素はもちろん,文脈や共有知識といった要素を含む対象世界の全体が後続する発話事象に引き継がれていく.

あくまで数多ある理論言語学上のモデルの 1 つであるが, 認知言語学の理論的研究の中で多くの実例と共に示されてきた CDS に基づく談話モデルには，一定の認知的・言語的根拠がみとめられる[4]. また, CDS に基づくモデルは関数型プログラミングにおけるモナドの概念ときわめて親和性が高い[6]. これらのことは，談話の参与者，文脈，前提知識といったものを一種の「環境」と捉え，それを逐次的に引き回す構造にある種の普遍性があることを示唆する。

(1) ユーザーからのテキスト入カがテンプレート内に記載された JSON の input プロパティに挿入される.

(5) 入力側と同じ構造の JSON を含んだテンプレートが返却される。その内部からユー ザーのテキスト入カに対する返答を取り出す.

図 2 : Monadic Chat による処理の流れ

そこで本ツールでは対話・談話をモナド的な構造として設計することを選択した.5

## 3.2 モナドについて

関数型プログラミングにおけるモナドはしばしば 「環境に包まれた值」というメタファーで説明される[2].ここで「環境」をボックスで表記するなら， モナドとしての性質を持つためには次の操作が可能であることが求められる[8].

(1) unit $:: \mathrm{a} \rightarrow \mathrm{a}$

(2) $\operatorname{map}::(\mathrm{a} \rightarrow \mathrm{b}) \rightarrow(\mathrm{a} \rightarrow \mathrm{b})$

(3) join :: $\mathrm{a} \rightarrow \mathrm{a}$

(1)の unit は対象となる值 a を環境に包む働きをする。(2)は值 $\mathrm{a}$ から値 $\mathrm{b}$ を得るという手続きを，環境を伴った值を扱う手続きに変換する.(3)の join は二重になった環境を平坦化する。こうした一連の条件を満たしたモナドは，環境として与えられた構造を保持・更新しながら連続的・逐次的に処理を実行できるという特徴を持つ $[9,10,11]$.

(1)から(3)における a やb といった値を「ユーザー からの問いかけ」や「問いかけに対する返答」と考えるならば，「環境」はプロンプトに書き込まれた文脈，前提，対話上の設定といった諸々の要素を総合したものと言うことができる. Monadic Chat では，
^{5)}$ Monadic Chat は関数型プログラミングにおけるモナドの考え方を用いて設計されているが，現時点ではモナド則（monad laws）を厳密な意味で満たしているわけではない[2].
}

このような発想にもとづき，文脈を伴った対話の形式でGPT-3 の言語モデルを利用できるようにすることを目指した. ${ }^{6}$

## 4 再帰構造としての対話

## 4.1 処理の流れ

Monadic Chat による処理の流れを図 2 に示す。本ツールのモナド的構造は, ユーザーによる問いかけ, GPT-3 による返答，そして「環境」としてのテンプレートによって構成される. (1)は值を環境に包む処理（unit）であり, (2)と(3)は問いかけに対する返答を得る手続きに環境を伴わせる処理（map）である.こうした一連の手続きによって最終的に目指すのは，同じ一連の手続きに対する入力となることのできるテンプレートを得るという再帰的プロセスである. また，その際には一連の処理の結果を「文脈」として受け渡せるようにしなくてはならない。ただし，結果として得るテンプレートを履歴としてそれ自身に埋め込むと, 次々に履歴の階層が増すことになるため, 何らかの平坦化 (join) をかける必要がある.

(4)では，実現したいアプリケーションの性質に応じて，ユーザーの入力值と GPT-3 からの返答，もしくはその両方をアキュムレーターに書き足していく. このアキュムレーターこそが「文脈」を保持する要素となる，当然ながら対話のターンが積み重なるに

6) 処理に必要となるリソースの観点からするとモナド的な構造は必ずしも効率的なものではない. 環境（あるいは世界）の引き回しにおいてこの問題が生じ得ることは [7]でも指摘されている.

Make sure the following requirements are all fulfilled:
- set the prompt to the "prompt" property
- create your response to the prompt in accordance with the "conversation_history" and set it to "response"
- create a new pair consisting of the prompt and the newly created response and insert the pair after all the existing pairs in the "conversation_history"
- if the prompt is in a language other than the current value of "language", set the name of the prompt

language to "language" and make sure that "response" is in that language
- make your response in the same language as the prompt
- analyze the topic of the prompt and insert it at the end of the value list of the "topics" property
- program code in the response must be embedded in a code block in the markdown text (4)

Wrap the JSON obiect with "<JSON>\n" and "\n</JSON>" (5)

図 3 : テンプレートの例 (template_chat.mdより，一部省略）

つれて，アキュムレーター内の要素数は増大する。

しかし, 実際の言語運用において談話の最初の要素から最後の要素までが完全に同じ形で参与者の記憶に留まっているとは限らない。古い文脈情報は久落したり, 要点だけにまとめられたり, 何らかの要因によって書き換えられたりする。こうした現実的な傾向を反映させるため, Monadic Chat では, Ruby のコードを記述してリデューサーの機能を定義することを可能にしている. 標準では, 先入先出し (FIFO) のキュー構造として指定件数のデータのみが保持される設定になっているが，一定のターンが終了するたびに古い情報をテキスト要約 API を用いて圧縮するということも可能である[12]. 実際のところ, これらに一部対応するとみられる認知プロセスは，認知言語学の領域でも議論されてきた[13,14,15].

## 4.2 テンプレートの構造

Monadic Chat のテンプレートの例と基本的な構造を図 3 に示す. 本ツールではユーザからの問いかけのテキストをテンプレートに埋め込み，これをプロンプトとして GPT-3 のテキスト補完 API に送信する.ここで重要なことは，テンプレートの中には文脈情報を含んだ JSON データと共に，この JSON の内容を書き換えるという自己参照的な指示が記載されていることである. Monadic Chat のシステムはこうして得られた JSON に適宜処理を加えた上で元のテンプレート中の JSON と差し替えることで，文脈の更新と設定の維持を同時に実現している.

## 5 まとめと展望

本稿では関数型プログラミングにおけるモナドの概念を応用して，GPT-3 を用いたテキスト補完 API を文脈情報を保持しながら対話的に用いる方法を提案した。また, 実例としてのプログラム Monadic Chat とその設計を紹介した。またその背後にある認知言語学的な考え方についても論じた.

OpenAI の GPT-3 や ChatGPT に代表される汎用的で高性能な言語モデルや対話システムの登場は，自然言語処理の領域にとどまらず，理論言語学の観点からも興味深い. Monadic Chat のようなツールには,擬似的とはいえ対話や談話の構造に自ら関与して実験的試みを行うプラットフォームとしての利点もあると思われる。

## 謝辞

本研究は JSPS 科研費 $18 \mathrm{~K} 00670$ の助成を受けた研究の一部として遂行されたものです.

## 参考文献

[1] OpenAI ChatGPT: Optimizing language models for dialogue, 2022.

https://openai.com/blog/chatgpt/ (Retrieved January 11, 2023)

[2] Hutton, Graham. Programming in Haskell. Cambridge: Cambridge University Press, 2nd Edition, 2016.

[3] Langacker, Ronald W. Discourse in Cognitive Grammar. Cognitive Linguistics 12(2), 2001.

[4] Langacker, Ronald W. Cognitive Grammar: A Basic Introduction. Oxford: Oxford University Press, 2008.

[5] Harder, Peter. Functional Semantics: A Theory of Meaning, Structure and Tense in English. Berlin: Mouton de Gruyter, 1996.

[6] Hasebe, Yoichiro. An Integrated Approach to Discourse Connectives as Grammatical Constructions. PhD dissertation, Kyoto University, 2021.

[7] 田中久美子.『記号と再帰 : 記号論の形式・プログラムの必然』東京 : 東京大学出版会, 2010

[8] Petricek, Tomas. What we talk about when we talk about monads. The Art, Science, and Engineering of Programming 2(3), 2018.

https://programming-journal.org/2018/2/12/

(Retrieved January 11, 2023)

[9] Wadler, Philip. Monads for functional programming. In Rogardt Heldal, Carsten Kehler Holst, and Philip Wadler, eds., Advanced Functional Programming, pp. 24-52. Dordrecht: Springer, 1995.

[10] Wadler, Philip. Comprehending Monads. Mathematical Structures in Computer Science 2(4), pp. 32-39, 2005.

[11] Parsec: Direct style monadic parser combinators for the real world. Microsoft Research, 2021.

https://www.microsoft.com/en-us/research/ wp - content/uploads/2016/02/parsec - paper letter.pdf (Retrieved January 11, 2023)

[12] OpenAI. API Reference, 2023. https://beta.openai.com/docs/api - reference (Retrieved January 11, 2023)

[13] Chafe, Wallace L. Discourse, Consciousness, and Time: The Flow and Displacement of Conscious Experience in Speaking and Writing. Chicago: University of Chicago Press, 1994.

[14] Fauconnier, Gilles and Mark Turner. Compression and global insight. Cognitive Linguistics 11(3-4), pp. 283-304, 2000.

[15] Bybee, Joan L. From Usage to Grammar: The Mind's Response to Repetition. Language 82(4), pp.711-733, 2006

## A 付録

※ 網掛部は談話世界を構築するためにテンプレートの中で初期値として与えているテキストであることを示す. テンプレートの実例（Chat）は図 3 を参照.

## Chat
- User: Can I ask something? / GPT: Sure.
- User: What is the best place to visit in Texas? / GPT: I would recommend visiting the San Antonio River Walk. It's a great spot for sightseeing, shopping, and dining. Plus, it's a great way to experience the culture of Texas!
- User: What do people say about the place? / GPT: People generally have positive things to say about the San Antonio River Walk. It's a great place to visit and explore, and many people enjoy the atmosphere and culture of the area.
- User: How can I go there from Kansai, Japan? / GPT: The best way to get to the San Antonio River Walk from Kansai, Japan is to fly. There are direct flights from Kansai International Airport to San Antonio International Airport, which is about a 15-minute drive from the River Walk.

## Translate
- Original and translated texts follow. /原文と翻訳文が続きます. / JA

・ワタシは猫なんですけどね. / I'm a cat, you know. / EN
- 名前はまだないんですよ. / I don't have a name yet. / EN
- 誰か良い名前をつけてくれませんかね. / Can someone give me a good name? / EN

## Novel

USER:
- The preface to the novel is presented.
- Tom woke up to the sound of pouring rain.
- He decided to call his old friend first time in many years.
- The voice of the person who spoke back from the other end was an unfamiliar one.

GPT:
- What follows is the story that GPT-3 tells. It is guaranteed that this will be an incredibly realistic and interesting novel.
- Tom stirred in his bed, the sound of the rain pounding against the window panes waking him from his slumber. He opened his eyes, blinking away the sleepiness that had been clinging to him. He could feel the coolness of the rain seeping through the window, and he shivered slightly. He got out of bed and walked to the window, looking out at the grey sky and the sheets of rain cascading down. He smiled to himself, feeling a sense of peace wash over him as he watched the rain.
- Tom felt a wave of nostalgia wash over him as he watched the rain. He thought of his old friend, whom he hadn't spoken to in many years. He was suddenly filled with a desire to reconnect with his old friend, and he decided to call him. He grabbed his phone and dialed the number, his heart pounding in anticipation. After a few rings, his friend picked up and they began to talk, catching up on all the years they had lost.
- Tom was startled to hear an unfamiliar voice on the other end of the line. He had been expecting to hear his old friend's voice, but instead it was someone else. He was about to hang up, but then he heard the voice introduce himself as his friend's son. Tom was surprised, but he was also filled with joy to know that his old friend had a family. They talked for a while, and Tom felt a sense of connection with this stranger that he had never expected.

## Code

- User: I have a request for you. / GPT: Sure. What is that?

- User: Write a command line app that shows the current global IP in Ruby. / GPT: Sure. Here is a command line app written in Ruby that shows the current global IP:

$
\text { require 'socket' }
$

def get_global_ip

Socket.ip_address_list.detect $\{\mid$ intf $\mid$

intf.ipv4_private? $==$ false

\}.ip_address

end

puts get_global_ip

- User: Make the code capable of showing the approximate geographical location from the IP. / GPT: Sure. Here is an updated version of the command line app written in Ruby that shows the approximate geographical location based on the current global IP:

- User: Add a usage example and a sample output to this code. / GPT: Sure. Here is an example of how to use the command line app written in Ruby that shows the approximate geographical location based on the current global IP:

\# Usage example

ip $=$ get_global_ip

puts get_geo_location(ip)

\# Sample output

[37.8267, -122.4233]


# テキスト情報の表現を利用した文献グラフの表現学習

片桐脩那 井田 龍希 三輪誠 佐々木裕
豊田工業大学
\{sd19027, sd22401, makoto-miwa,yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

本研究では，論文の文献情報を表す文献グラフを対象に，高品質な文献グラフの表現の構築に向けて，大規模事前学習モデルから得られるテキストの表現とグラフ埋め込み手法・グラフニューラルネットワークを用いたリンク予測手法の利用可能性を調査する. 文献グラフでは題目や要旨などのテキスト情報や著者・掲載雑誌などの情報など様々な情報が引用関係や共通する著者などで繋がっている．実験では，ACL Anthology に含まれる文献情報を対象に， リンク予測タスクを用いて評価を行い，大規模事前学習モデルから得られる表現のグラフ埋め込み手法への有効性を示した。

## 1 はじめに

膨大な論文の中から，探したい・関連のある論文を見つけ出すには，検索クエリの工夫や著者や引用関係などの様々な視点からの文献調査が必要である. 従来のキーワード型の検索システムでは，クエリに一致する論文しか検索できないため，検索のみで見つけられる論文は限定的である。特に，近年は出版される論文が日々爆発的に増大しており，大量の論文から関連する情報に辿り着くための手段への需要が増大している.

従来の機械学習では，テキストやメディア情報,人物や属性などの様々な種類の情報を表現し，統一的に扱うことは難しかったが，深層表現学習によりに統一的に扱うことが可能となってきている. さらに, BERT (Bidirectional Encoder Representations from Transformers) [1] に代表される自己教師あり学習により，様々な種類の情報における事前学習モデルが提案されており，高品質な表現を学習の初期から利用することができる。このような深層表現学習・自己教師あり学習を背景に，へテロな情報をノード， それらの関係をエッジとしたグラフを構築し，グラフ上での自己教師あり学習により，グラフ上での
ノード間の関係を考慮しながらグラフ情報の埋め込み表現を獲得するへテロなグラフ埋め込み手法の研究が盛んに行われている [2].

論文の文献情報の中の題目や要旨をノード，引用関係などをエッジとした文献グラフにグラフ埋め込み手法を適用し，グラフ上のあるノードからそれに関連するノードを予測するリンク予測を用いることで，様々なへテロな情報を対象とした柔軟な検索システムを構築する研究が行われている $[3,4]$. この研究では，大規模事前学習を用いたモデルは利用できておらず，このへテロな情報に対する有用性は評価できていない．また，グラフのノード間の表現においては，グラフ埋め込みだけではなく，グラフニューラルネットワーク (Graph Neural Networks; GNNs) [5] を用いたリンク予測手法 [6, 7] など，より深い構造を利用した表現に関する研究も行われているが，このような手法も評価されていない．その他にも引用関係や共著者などを対象としたグラフ表現学習の研究も盛んに行われている [2] が，文献情報の限られた要素を対象としているものがほとんどである。

このようなことから，本研究では，文献情報に含まれる様々な要素とその関係をグラフ構造として表現し，グラフの埋め込みを獲得する際の，大規模事前学習モデルによるテキストの表現とグラフ埋め込み手法・GNN を用いたリンク予測手法の利用可能性について調査を行う，具体的には，文献情報である題目や要旨などのテキスト情報に事前学習モデルによる表現を利用し，リンク予測における性能向上を図る。また，グラフ埋め込み手法，GNNを用いたリンク予測手法それぞれを用いて，リンク予測での性能の評価を行い，それぞれの手法の利点・問題点について調査を行う. 本研究の貢献は次の通りである.

・グラフ埋め込み手法, GNNを用いたリンク予測手法の文献グラフでのリンク予測性能の評価.

・文献グラフにおけるテキストノードの大規模事前学習モデルによる初期化によるリンク予測性能の改善.

## 2 関連研究

## 2.1 文献情報のベクトル表現による検索シ ステム

論文の文献情報中の様々な要素を考慮して，埋め込みを行い，検索に利用する研究が行われている $[3,4]$. これらの研究では, 著者・題目・要旨・出版年・引用情報を対象に，LINE (Large-scale Information Network Embedding) [8] 及び TransE [9] に基づいて文献情報のベクトル表現を獲得し, 関連する論文要素の検索を行う手法を提案している。この手法では， テキスト情報である題目・要旨は独立した句の集合として表現している.

## 2.2 グラフ埋め込み

グラフ埋め込みでは，グラフ構造を始点ノード $h$,終点ノード $t$ とそれらのノード間のエッジの関係 $r$ を用いたトリプル $(h, r, t)$ の集合で表すのが一般的であり，それらの関係を表現できるように $h, r, t$ の埋め込み表現とその関係を表すパラメタを学習する. グラフ埋め込みの代表的な手法に TransE [9] がある. TransE は，トリプルの要素 $h, r, t$ の埋め込み表現のみで，トリプルの関係を表現する手法である. 式(1)のように，始点ノード $h$ のベクトルを関係 $r$ のベクトルで平行移動させた表現ベクトル $\boldsymbol{h}+\boldsymbol{r}$ と終点ノードのべクトル $\boldsymbol{t}$ が一致するように $h, r, t$ の埋め込み表現を更新する。

$
h+r \approx t
$

この手法により，ノードや関係の埋め込み表現を獲得できるとともに，あるノードにある関係で関連した別のノードを予測するリンク予測が可能となる.

## 2.3GNNによるリンク予測

グラフ構造を表現する GNN（[5,10]など）を利用したリンク予測の研究が盛んに行われている $[6,7]$. ここでは，本研究で採用するリンク予測タスクにおいて高い性能を挙げている Graph Inductive Learning (GraIL) [7] について説明する。 GraIL はトリプルの 2 つのノードとその周辺を含むサブグラフからトリプルのスコアを計算する. GraIL はサブグラフの抽出， ノードの対象ペアに対する相対位置のラベル付け，
GNN によるスコア計算の 3 ステップでリンク予測を行う．まず，トリプルの始点・終点の両方のノー ドと一定以下のホップ数で繋がっているノードのみを含むサブグラフを抽出する。次に，ノードのラべル付けではノードに（始点ノードからの距離，終点ノードからの距離）というラベルをつける．始点・終点ノードのラベルは $(0,1)$ と $(1,0)$ というラベルになる. 最後に，ラベル付けをしたサブグラフについて，ノードをラベル表現で初期化し，GNNによるノード表現を学習し，スコア計算をする。サブグラフの全てのノードに対応する GNN のノード表現を平均したサブグラフ全体の表現 $\boldsymbol{h}_{G_{(h, t, r)}}$, 始点・終点ノードの GNN の表現 $\boldsymbol{h}_{h}, \boldsymbol{h}_{t}$, 関係の埋め込み表現 $\boldsymbol{e}_{r}$ を結合した表現に重みをかけて，式 (2)のように，トリプルのスコアを計算し，正解のトリプルが他のトリプルのスコアよりも高くなるように学習を行う.

$
\operatorname{score}(h, r, t)=\boldsymbol{W}^{\boldsymbol{T}}\left[\boldsymbol{h}_{G_{(h, t, r)}} \oplus \boldsymbol{h}_{h} \oplus \boldsymbol{h}_{t} \oplus \boldsymbol{e}_{r}\right]
$

GraIL の GNNでは，R-GCN [11] に着想を得て，エッジの種類ごとに異なるパラメタを利用し，エッジに対する注意機構を利用してノード情報を集約している.

## 3 文献グラフの表現学習

本研究では，高品質な文献グラフの表現の獲得に向けて，文献情報を文献グラフとしてトリプルを用いて表現し，SciBERT [12] を用いた大規模事前学習モデルによるテキスト情報の埋め込みの影響と， TransE と GraIL それぞれの表現学習手法の比較を行う。本研究の流れを図 1 に示す。

事前学習の影響については，TransEを対象に，初期表現にランダムな表現を用いた場合と題目や要旨などのテキストに大規模事前学習モデル SciBERT を用いた埋め込みを行った場合を比較する。 TransE の初期表現において，題目や要旨などのテキストノードについて埋め込みを用いることで，ノードがテキスト情報と論文間の関係の両方を考慮した表現を獲得できると考えられる。

GraIL については GNN によるスコア計算の際に TransE で学習したノード表現をノードの初期表現としてラベル表現に結合して学習を行う. GraILによるニューラルネットワークで表現を学習することで，周囲のノードの情報をより考慮した表現を学習できると期待される。さらに，ノード表現に TransE

図 1 文献グラフの作成と表現学習の流れ

で学習したノード表現を用いることで，TransE のみによる表現学習に比べて，各ノードにおいてその周囲のノードの情報をより考慮した表現が獲得できると考えられる。

## 3.1 文献グラフの作成

まず，文献グラフを作成し，題目・要旨ノードを BERT で初期化する (図 1(1)). 文献データの中で用いる文献情報には，題目，要旨，著者，掲載誌などがある. 文献情報の中には，テキストカテゴリ（題目や要旨など）とそれ以外の非テキストカテゴリがある。テキストカテゴリに対して，初期表現を用いる際は，SciBERT [12]を用いたテキスト情報の埋め込みを行う。これにより，テキストカテゴリのノー ドがテキスト情報と論文間の関係の両方を考慮した表現を獲得できると期待される.

## 3.2 グラフ埋め込み

図 1 の (2) のように 3.1 節で作成したトリプルに対して TransEを用いてべクトル表現を学習する。 TransE の学習により, 各ノードが意味のある情報を持つようなノード表現を獲得できる.

## 3.3GNN によるリンク予測

GraILを用いた表現学習の手順は, 図 1 の（3)の通りである．まず，サブグラフの抽出を行う．各トリプルの $h$ と $t$ を対象ノードとする. 図 1 で，ノードに $h$ と $t$ と書かれているものが対象ノードである. サブグラフは対象ノードのいずれかから $k$ ホップ以内にあり，かつ，対象ノード間のパス上にあるノー ドとその間のエッジで構成する。次に，サブグラフ
のノードのラベル付けを行う．最後に，TransEで学習したノード表現をラベル表現に追加して，GNN に入力し, 2.3 節のスコア関数に基づいて GNN の学習を行う。

## 4 実験設定

データセットには ACL Anthology [13] に掲載されている 71,567 件の論文とその文献情報を使用した. 引用情報は ACL Anthology に含まれないため, Semantic Scholar Academic Graph API [14]を用いて取得した. APIには，時間による回数制限があるため,制限を超えないように時間を空けながらアクセスした. また，取得した文献情報は BiBTEX 形式となっていたため，JSON形式に変換を行った.

本研究では簡単のため，ワークショップの論文を除いた過去 5 年の論文とその文献情報 (16,916 件) を使用して文献グラフを作成した。データの統計を付録 A に示す. 文献 ID ・題目・要旨・著者・年・掲載雑誌のノードを持ち，文献 ID のノードと文献情報のノード間に辺を張るスター型の文献グラフを作成した。また，引用関係にある文献 ID のノード間にも辺を張った。

文献 IDのノードと著者の関係にあるノードを予測するリンク予測で評価した。 5 回以上掲載されている著者とその著者が執筆した文献 ID のトリプルから開発用データ 10,000 件と評価用データ 5,000 件を用意した。また，開発用データと評価用データに存在する全てのノードが訓練データに存在するトランスダクティブな設定とした.

評価指標には，[7] で使用されている Hit@N を用いた。評価データの各トリプルに対して終点ノード

をランダムにサンプリングした不正解のトリプルを 49 個用意する. そして，正解のトリプルの順位が上位 $\mathrm{N}$ 位以内に正解があれば 1 ，なければ 0 として全評価用データで平均した指標である。ただし，終点ノードのサンプリングの際のノードタイプは正解のトリプルと同一のもの使用した.

本実験では，提案手法で述べたそれぞれの条件での結果を得るための， 3 種類のモデルを用意した.各モデルの説明は以下の通りである.
- TransE 初期表現にランダムな表現を用いて， TransE で学習するモデル．学習したノード表現は 768 次元である.
- TransE+BERT テキストカテゴリ（要旨と題目） について，SciBERTによる埋め込みを初期表現に用いたものを用いて，TransEで学習するモデル. 学習したノード表現は 768 次元である.

・GralL サブグラフを 3 ホップ抽出して，サブグラフのノードの表現に TransE+BERT で学習した表現を追加して学習するモデル. グラフ構造がスター型となっているため，サブグラフとして抽出されるノード数を考慮して，3 ホップでサブグラフ抽出を行う．サブグラフ抽出時の， サブグラフの平均ノード数は 4.33 個となった.

## 5 結果

4 節の各モデルの評価を表 1 に示す. 参考として，最も良いリンク予測性能が得られた TransE+BERT のモデルについて，ノード表現の近い文献を表示した結果を付録 B に示す。

## 5.1 TransE と TransE+BERT の比較

まず，TransE と TransE+BERT のモデルを比較する. TransE+BERT のモデルでは，TransE のモデルに比べて，Hit@Nが高い値となった. TransE+BERT のモデルが高い性能を示せた理由として，題目と要旨の情報をもとにした高品質なノード表現を初期表現に使えたためであると考えられる。また，学習速度に関しても TransE+BERT のモデルでは，TransE のモデルに比べて半分以下のエポック数で学習を終えることが可能であった.

このことから，テキストカテゴリのノードの初期表現に大規模事前学習モデルによる埋め込みを用いることは性能と学習速度の両方において有効であるとわかった。表 1 各モデルの著者の正解率

## 5.2 TransE+BERT と GralL の比較

次に，TransE+BERT と GraIL のモデルを比較する. GraIL のモデルでは, TransE のモデルに比べて, Hit@Nが低い值となった. GraIL のモデルが低い性能となった理由としてサブグラフの構造が考えられる。今回はグラフをスター型で構築したため，対象ノード間のパスを構成するのに最低必要なホップ数が大きくなってしまったと考えらえる。また. GraIL は対象ノードの間に現れるノードしか対象にしないため，文献の周囲の情報を利用できなかったのではないかと考えられる。さらに，出版年などノード間に頻出して現れるノードも悪影響を及ぼしている可能性もある. これらのサブグラフの構築方法の調査は今後の課題である.

## 6 おわりに

本研究では, 文献グラフの高品質な埋め込み表現の獲得のために，大規模事前学習モデルによるテキスト情報の埋め込み，グラフの埋め込み手法，グラフニューラルネットワークを用いたリンク予測手法の利用可能性について，文献グラフ上でのリンク予測を対象に評価を行った. 実験の結果，グラフの埋め込み手法の初期表現に大規模事前学習モデルによるテキスト情報の埋め込みを利用した TransE+BERT のモデルが最も良い性能を示した. これより，グラフ埋め込みにおける大規模事前学習モデルの有効性を示した。

今後の課題として, 入力とするサブグラフの構造やリンク予測手法を変更した場合の性能への影響を検証する。また，高品質な文献グラフの表現を構築できた際には，柔軟に検索が可能な検索システムの構築などに繋げていきたい.

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けたものです.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Weihua Hu, Matthias Fey, Marinka Zitnik, Yuxiao Dong, Hongyu Ren, Bowen Liu, Michele Catasta, and Jure Leskovec. Open graph benchmark: Datasets for machine learning on graphs. Advances in neural information processing systems, Vol. 33, pp. 22118-22133, 2020.

[3] Takuma Yoneda, Koki Mori, Makoto Miwa, and Yutaka Sasaki. Bib2vec: Embedding-based search system for bibliographic information. In Proceedings of the Software Demonstrations of the 15th Conference of the European Chapter of the Association for Computational Linguistics. Association for Computational Linguistics, 2017.

[4] 米田拓真, 三輪誠, 佐々木裕. 文献情報の多様な要素を考慮したべクトル表現獲得. 言語処理学会第 24 回年次大会発表論文集, pp. 996-998. 言語処理学会, 2018.

[5] Franco Scarselli, Marco Gori, Ah Chung Tsoi, Markus Hagenbuchner, and Gabriele Monfardini. The graph neural network model. IEEE transactions on neural networks, Vol. 20, No. 1, pp. 61-80, 2008.

[6] Muhan Zhang and Yixin Chen. Link prediction based on graph neural networks. In S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 31, pp. 5171-5181. Curran Associates, Inc., 2018.

[7] Komal K. Teru, Etienne G. Denis, and William L. Hamilton. Inductive relation prediction by subgraph reasoning. In Proceedings of the 37th International Conference on Machine Learning, ICML'20. JMLR.org, 2020.

[8] Jian Tang, Meng Qu, Mingzhe Wang, Ming Zhang, Jun Yan, and Qiaozhu Mei. LINE: large-scale information network embedding. In WWW, pp. 1067-1077, 2015.

[9] Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. In Advances in Neural Information Processing Systems, pp. 27872795. Curran Associates, Inc., 2013.

[10] Thomas N Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. ICLR, 2017.

[11] Michael Schlichtkrull, Thomas N. Kipf, Peter Bloem, Rianne van den Berg, Ivan Titov, and Max Welling. Mod- eling relational data with graph convolutional networks. In Aldo Gangemi, Roberto Navigli, Maria-Esther Vidal, Pascal Hitzler, Raphaël Troncy, Laura Hollink, Anna Tordai, and Mehwish Alam, editors, The Semantic Web, pp. 593-607, Cham, 2018. Springer International Publishing.

[12] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). Association for Computational Linguistics, 2019.

[13] ACL anthology. https://aclanthology.org/ (2023 年 1 月 11 日アクセス).

[14] Semantic scholar academic graph api. https://www.semanticscholar.org/product/api (2023 年 1 月 11 日アクセス)。

## A データセットの統計

実験に用いたデータ数の統計を表 2 , トリプル数の統計を表 3 に示す. 表 3 の文献 ID と文献 ID 以外のトリプル数は双方向の場合の数である.

表 3 トリプルの統計

文献 ID と要旨 29,542

文献 ID と著者 137,780

文献 ID と年 33,832

文献 ID と掲載誌 33,740

文献 ID と文献 ID 246,801

## Bノード表現の評価の例

TransE+BERT のノード表現について，対象文献 ID に対して近傍の文献 ID 上位 5 件を出した例を表 4 に示す.

表 4 対象文献 ID の近傍の文献 ID の例 (最初の文献 ID は対象を示す)


# Entity Position Matters - Towards Improving a Generative End-to-End Relation Extraction Model

Shanshan Liu Yuji Matsumoto
Center for Advanced Intelligence Project, RIKEN
\{shanshan.liu yuji.matsumoto $\} @$ riken.jp
}

\begin{abstract}
In order to improve the performance of the generative end-to-end relation extraction method for the material synthesis procedure extraction task, we added direct entity position information to the existing generative model during decoding, and explored whether the utilization of position information is effective in the situation after the output space changes. Experimental results show that when the output space is equipped with the absolute positions of the input tokens, the improvement is limited with the pretrained language model (PLM) that uses absolute position embeddings, while the PLM using relative position embeddings can be significantly improved.
\end{abstract
## 1 Introduction

With the rise of generative methods, end-to-end relation extraction (RE) has become a topic of increasing interest in recent years $[1,2,3,4]$. The task requires identifying entities and capturing relations between pairs of entities. Most generative methods do not provide the location of entities in the text, and often treat mentions that appear at different locations in the text but have the same content equally $[1,2,3]$.

In some applications, the position of an entity in the original text is very critical and cannot be neglected. Position information can help us distinguish between two mentions with the same content but in different places. It can also inform us about the role of entities in more complex structured information. For example, in the material synthesis procedure extraction task, two "heating" operations that occur at different places in the procedure should have distinct effects. Their duration and temperature can be quite different. It would be confusing if the model only outputs text triplets (head entity, tail entity, relation type) without knowing the exact positions of the entities, such as (heating, 2h, condition_of) and (heating, 1h, condition_of).

One generative model that meets the need for entity locations for such tasks is the BartNER model [5]. This model generates entity information by setting the output spaces to the types of the entity and the positions of input tokens. With the practical output formats for relation-level information, the model is capable to do end-to-end RE [6].

Generative pretrained language models (PLMs) like BART [7] or T5 [8], have taken into account the position information of input text. Thus, the generative model gives acceptable performance even if the target output changes from tokens (i.e. predicting the most appropriate token from the whole vocabulary) to position indexes (i.e. predicting the position of the most suitable token in the original text).

We are interested in the following question: Does the change of the output space put forward higher requirements for the learning of position information by the generative model? In order to explore this problem, based on BartNER, we added a feature of decoded entity offsets before doing classification to enhance position information. We conducted experiments using models with BART and T5 as PLMs.

Experimental results showed that the added feature only slightly improved the model using BART, but significantly improved the model using T5. On tasks that require absolute position information, the added feature has a positive impact on models that utilize relative position embeddings. The small effect on BART indicates that BART has mastered absolute position well, and strengthening position information would not be a helpful way to boost it.

Our contributions:
- Increasing the impact of entity position information by adding position features to the BartNER model,

Figure 1 Example of the target output under our definition.

improves the effect of end-to-end relation extraction.
- We found that pretrained language models using absolute position embeddings outperform those using relative position embeddings in the task of directly generating token indexes instead of token text.
- The pretrained language model using absolute position embeddings is recommended for tasks that require entity offset.

## 2 Methods

## 2.1 Task formulation

In this work, the end-to-end RE task can be formulated as generating a sequence of entity spans and relation spans given input text. First, we assign specific indexes to tokens in the input text, entity types, and relation types following BartNER's scheme [5]. Given an input text containing $n$ tokens, the $i_{-}$th token will be assigned with index $i$. If we have $m$ types of entities and $k$ types of relations, the range of indexes of the entity types is $(n, n+m]$, and the range of indexes of the relation types will be $(n+m, n+m+k]$. Then we let the model generate all entity spans represented by assigned indexes. The entity span is in the form of [first subtoken, last subtoken, Entity type]. After that, we let the model generates all relation spans in the form of [first subtoken of Head entity, first subtoken of Tail entity, Relation type]. The order of spans is determined by the appearance order of entities in the text when generating entities or by the appearance order of the head entities when generating relations (See Fig. 1).

## 2.2 BartNER

BartNER model uses Encoder-Decoder of the generative PLM as a basis to make the index probability dis- tribution $P_{t}$ at time $t$ given input $X$, generated indexes $\hat{Y}_{<t}=\left[\hat{y}_{1}, \ldots, \hat{y}_{t-1}\right]$, and labels of entity and relation $Z$ as follows:

$
\begin{gathered}
H^{e}=\operatorname{Encoder}(X) \\
E^{e}=\operatorname{TokenEmbed}(X) \\
\hat{H}^{e}=\operatorname{MLP}\left(H^{e}\right) \\
\bar{H}^{e}=\alpha * \hat{H}^{e}+(1-\alpha) * E^{e} \\
h_{t}^{d}=\operatorname{Decoder}\left(H^{e} ; \hat{Y}_{<t}\right) \\
Z^{d}=\operatorname{TokenEmbed}(Z) \\
P_{t}=\operatorname{Softmax}\left(\left[\bar{H}^{e} \otimes h_{t}^{d} ; Z^{d} \otimes h_{t}^{d}\right]\right)
\end{gathered}
$

where TokenEmbed is the token embeddings used in PLM; $\hat{Y}_{<t}$ should be indexes of input tokens or indexes of entity/relation types; $\alpha$ is a hyper-parameter set as 0.5 in this work; $[\cdot ; \cdot]$ means concatenation of vectors.

## 2.3 Position Feature

According to the index scheme used in decoding, the original algorithm may be viewed as a generation process where the output space is changed to the absolute position of the concatenated text of the input tokens and all entity types. We intuitively consider that the embeddings of generated indexes can help introduce absolute position information that has not been complicatedly encoded by PLM. We therefore refer to this embeddings as a position feature. Given that only entity position information is generated in the end-to-end RE task, this feature actually only provides entity position information.

To incorporate this feature into the decoding process, we change the algorithm in the following way:

$
h_{t}^{p}=\operatorname{PositionFeature}\left(\hat{y}_{t-1}\right)
$

$
\begin{gathered}
\bar{h}_{t}^{d}=\operatorname{Linear}\left(\left[h_{t}^{d}: h_{t}^{p}\right]\right) \\
P_{t}=\operatorname{Softmax}\left(\left[\bar{H}^{e} \otimes \bar{h}_{t}^{d} ; Z^{d} \otimes \bar{h}_{t}^{d}\right]\right)
\end{gathered}
$

where PositionFeature is the learnable embeddings to embed the $\hat{y}_{t-1}$ into a 32-dim vector.

## 3 Experiments

## 3.1 Dataset

To confirm the effectiveness of the additional position information on the traditional sentence-level task, we choose CoNLL04[9], a news domain dataset consists of four types of entities and five types of relations. Data split is conducted in accordance with previous works. The dataset statistics are shown in Table 1.

In order to provide a task in which the entities offsets must be extracted, we chose Procedure dataset ${ }^{1)}$, a dataset contains 576 thermoelectric material papers annotated by experts. All procedure information is structured into five types of entities and seven types of relations. The data are randomly split with a ratio of training:validation:test $=8: 1: 1$. It should be noted that we take the sequence of sentences extracted from the full text of the chemical paper by a text block extractor as input. To adapt to practical applications, after the text block containing procedure information has been automatically extracted, an end-to-end relation extractor is used to obtain specific entity- and relation-level information.

## 3.2 Evaluation

Following other end-to-end RE tasks[2], we report precision (Pre), recall (Rec) and micro-F1 scores (F1). The prediction of an entity is correct only when the type and offset match the golden entity. If the type and offset of the two entities and the relation type match the golden relation, the prediction is correct. All relations are directed. We report the average score after 3 runs of each setting.

## 3.3 Experiment Setup

We use a rewritten version of the BartNER model developed by Yan's group [5] based on their public code ${ }^{2)}$. On the Procedure dataset, we performed experiments utilizing BART-large (facebook/bart-large) [7] and T5-base

1) The annotation results will be made public.

2) https://github.com/yhcc/BARTNER (google/t5-v1_1-base) [8] as the PLMs in our method. As the model using T5 cannot converge to a small loss, we only estimated the effect of applying BART-large on the CoNLL04 dataset. We compare our method with the SOTA models on CoNLL04, the REBEL[2].

## 4 Results

The experiment results are shown in Table 2 and Table 3. Even if we only use a trivial approach to bring entity offset information into the generation process, the position feature still gives us a slight improvement. However, this improvement varies by PLMs and tasks. The gap (7.67\% RE F1) between our method and the SOTA model on the CoNLL04 reminds us there is still a lot of room for improvement, but not from the absolute position aspect.

## 4.1 Entity Position Matters

The improvement after adding the decoded position information indicates that after the output space is changed to absolute positions, the requirements for the ability to utilize position information of the generative model are higher.

Taking advantage of the absolute position embeddings, the BART-based model is less affected and only slightly improved $(0.27 \%$ RE F1 on Procedure dataset; $0.32 \%$ RE F1 on CoNLL04). This means that BART has learned absolute position information well, so simply providing similar information is somewhat redundant.

On procedure extraction, adding the position feature improves the Precision, but makes the Recall salient decrease( $-2.52 \%$ NER Recall, $-0.83 \%$ RE Recall). The count of predicted spans (both entities and relations) also decreases. We think this is related to the procedure extraction task itself. The text to be processed by RE is long (hundreds of tokens), the number of entities and the number of relations in a piece of text are large (including one or more synthesis procedures, and a synthesis procedure consists of several processes and related materials, operating conditions). When the model uses the added position feature to better fit the training data but the semantic representation ability does not improve simultaneously, it will tend to predict lesser spans while processing unseen data.

CoNLL04 has fewer data and most inputs are short. There are many difficult relation cases that require knowledge to make correct predictions. Therefore, the generalization ability in RE is not significantly affected, only

& Types & Inst & Rel & Inst & Rel & Inst & Rel \\

CoNLL04 & 4 & 5 & 922 & 1290 & 231 & 343 & 288 & 422 \\

Table 1 Dataset statistics.

Table 3 Results on CoNLL04 dataset.

the number of predictions in entity recognition is reduced, bringing lower NER Recall.

The absolute improvement of 1.71 points on REF1 when using T5-base demonstrates the importance of position information.

## 4.2 Position embeddings Matters

From Table 2 we can see that BART-large (RE F1: $65.34 \%$ ) outperforms T5-base (RE F1: 61.98\%) a lot. That's quite interesting because both BART and T5 achieve promising results on so many tasks, there should not be that huge difference in their capability. In addition to the language model sizes (BART-large is twice the size of the T5base), we speculate that this large discrepancy is caused by their different position embedding schemes.

Although both have their strengths and weaknesses in text-to-text tasks, relative position encoding appears to be a bit incompetent when it comes to tasks that output absolute positions. The lack of learning about the absolute position makes the T5-based model significantly improved on every indicator after corporated with the position feature.

## 4.3 Training Problem using T5-base

An interesting finding is that for large pretrained models with an encoder-decoder structure, BART can adapt to the output space we defined, but $\mathrm{T} 5$ cannot cope with changed settings. It is hard to get a relatively small loss value after we changed the PLM to T5-base. We tried several combinations of hyperparameters (changed the learning rate and increased the training epoch, etc.) to get the reported results on the Procedure dataset, and failed the training on CoNLL04 (NER F1: 28.69\%; RE F1: $15.44 \%$ ). Up to the present, we still have not found an appropriate training hyperparameter setting that allows the model to converge stably and effectively. The performance of $\mathrm{T} 5$, which we barely achieved, is lagging behind the BART results.

The training problem of the T5-based we met emphasizes that the information we hope the model to learn should compatible with the output space. Or we can design a better output space to fully exploit the potential of the PLMs.

## 5 Conclusion

In this work, we explore two generative PLMs when the output space is position indexes instead of text by introducing absolute position information. Results show that BART performs better due to its absolute position embeddings, and adding entity offset information does not have a significant impact. However, there is still a distance from the advanced model. T5, a model using relative position embeddings can benefit from added position feature, but there are still cases of low recall or difficult training. We recommend considering the task output space when picking a PLM, or transforming the output format to fit the model.

## References

[1] Martin Josifoski, Nicola De Cao, Maxime Peyrard, and Robert West. Genie: generative information extraction. arXiv preprint arXiv:2112.08340, 2021.

[2] Pere-Lluís Huguet Cabot and Roberto Navigli. REBEL: Relation extraction by end-to-end language generation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 2370-2381, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[3] Chenguang Wang, Xiao Liu, Zui Chen, Haoyun Hong, Jie Tang, and Dawn Song. DeepStruct: Pretraining of language models for structure prediction. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 803-823, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[4] Tianyu Liu, Yuchen Jiang, Nicholas Monath, Ryan Cotterell, and Mrinmaya Sachan. Autoregressive structured prediction with language models, 2022.

[5] Hang Yan, Tao Gui, Junqi Dai, Qipeng Guo, Zheng Zhang, and Xipeng Qiu. A unified generative framework for various ner subtasks. arXiv preprint arXiv:2106.01223, 2021.

[6] Liu Shanshan, Ishigaki Tatsuya, Uehara Yui, Takamura Hiroya, and Matsumoto Yuji. Generate it. a simple method for end-to-end relation extraction. 2023.

[7] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. CoRR, Vol. abs/1910.13461, , 2019.

[8] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. CoRR, Vol. abs/1910.10683, , 2019.

[9] Dan Roth and Wen-tau Yih. A linear programming formulation for global inference in natural language tasks. In Proceedings of the Eighth Conference on Computational Natural Language Learning (CoNLL-2004) at HLT-NAACL 2004, pp. 1-8, Boston, Massachusetts, USA, May 6 - May 7 2004. Association for Computational Linguistics.


# Improving Evidence Detection with Domain-specific Implicit Reasonings

Keshav Singh ${ }^{\dagger} \quad$ Naoya Inoue $^{\ddagger, *} \quad$ Paul Reisert ${ }^{\star} \quad$ Farjana Sultana Mim $^{\dagger} \quad$ Shoichi Naito $^{\dagger, \diamond, *}$
Camélia Guerraoui $^{\dagger} \quad$ Wenzhi Wang ${ }^{\dagger, *} \quad$ Kentaro Inui ${ }^{\dagger, *}$
†Tohoku University ‡JAIST *RIKEN "Beyond Reason ${ }^{\star}$ Ricoh Company, Ltd.
\{singh.keshav.t4, mim.farjana.sultana.t3, naito.shoichi.t1\}@dc.tohoku.ac.jp
\{wang.wenzhi.r7, guerraoui.camelia.kenza.q4 \}@dc.tohoku.ac.jp
beyond.reason.sp@gmail.com naoya-i@jaist.ac.jp kentaro.inui@tohoku.ac.jp

## Abstract

Identifying relevant pieces of evidence for a given claim has recently gained significant attention in argument mining due to its downstream use in applications like factchecking, argument search, etc. While current approaches rely on supervised training of large language models for classifying candidate evidence as acceptable or not for a given claim, they don't generalize well on newer topics for which little to no training data is available. To overcome this issue, in this work, we simultaneously explore the effectiveness of closed-domain approach and leveraging domain-specific implicit reasonings for evidence detection task. Our experimental findings suggest that performance gain in the identification of acceptable evidence for a claim can be further improved even with a small amount of domain-specific implicit reasonings.

## 1 Introduction

Evidence detection [1] is a sub-task in argument mining that has become an essential component in building natural language systems capable of arguing, debating, and fact checking [13, 9, 2, 10, 17]. Shown in Figure 1, evidence detection refers to the task of identifying evidential statements (i.e., statements of fact, judgement, or testimony) from a set of candidate evidence that support a given claim (i.e., a debatable belief or opinion).

Towards automatically identifying acceptable evidence, recent approaches have relied on pretrained large language models (LLMs) as a default choice because of their outstanding performance in a wide range of NLP tasks [8, 6], including evidence detection $[14,12,5]$. While most of
Input

## Claim :

We should ban performance enhancing drugs (PEDs).

## Candidate Evidences:
- Doping can ultimately damage your health.
- IARC classifies androgenic steroids as "Probably carcinogenic to humans".
- FDA does not approve ibuprofen for babies under 6 months due to risk of liver damage.

Output: Acceptable evidence

IARC classifies androgenic steroids as "Probably carcinogenic to humans"

Figure 1: Overview of the evidence detection task we address in this work. Given a claim and a list of candidate evidence, the goal is to identify an acceptable piece of evidence for the given claim.

these approaches use supervised learning (i.e., incorporating labeled data for training) and rely on the better generalization ability of LLMs [3, 21], they struggle to produce good results for new topics in which there is little to no training data available. In other words, the quality of their topic generalisation is not adequate $[18,19]$. In order to overcome this challenge, in this work, we propose a closed-domain approach towards evidence detection task. ${ }^{1)}$ Specifically, we follow previous works and take a supervised approach, but instead of directly adopting LLMs for domain-general evidence detection (i.e., train-

1) In this work, the terms domain and topic share the same meaning, and both refer to the topic of the argument being analyzed.

Figure 2: Our proposed framework for the evidence detection task. For a given claim $(c)$ and candidate evidence ( $e$ ), first the implicit reasoning component extracts relevant implicit reasoning (ir). Later, BERT takes $(c),(e)$ and $(i r)$ as inputs to compute final hidden state of [CLS] token that is fed to a fully-connected feed-forward layer for evidence classification.

ing model on arguments from all topics at once), we train the model on arguments (claim-evidence pairs) belonging to a specific domain along with relevant implicit reasonings (statements that explicitly state the reasoning link between a given claim and evidence) as an input feature. We hypothesize that (i) since LLMs are pre-trained on a large amount of generic text, using a closed-domain approach can assist it to acquire relevant domain-specific knowledge, and (ii) leveraging implicit reasonings belonging to that domain can to be an effective signal for models in establishing the logical link between a given claim and correct evidence candidate [16]. In summary, the contributions of our work are as follows:
- We explore the applicability of a closed-domain approach and domain-specific implicit reasonings towards the evidence detection task and to the best of our knowledge, we are the first to explore this approach.
- We experiment and find that large language models (BERT) trained with domain-specific implicit reasonings in a closed-domain setting performs better than when trained without them.

## 2 Our Approach

## 2.1 Overview

Given a topic, claim, and candidate evidence as input, our framework estimates the likelihood of the claim being supported by that candidate evidence. As described in Section 1, we take a closed-domain approach (i.e., we train and test one topic at a time) and simultaneously leverage domain-specific implicit reasonings that are extracted via the implicit reasoning component (See Section 2.2). The complete overview of our evidence detection framework is shown in Figure 2.

Our framework first extracts implicit reasonings (via implicit reasoning component) that link a given claim to an evidence piece, and later leverages the acquired implicit reasoning to estimate the score. We assume that for a given claim and a piece of evidence, there can be several possible variants of implicit reasoning for one given claim-evidence pair.

## 2.2 Implicit Reasoning Component

Given a claim and a piece of evidence, our goal is to extract relevant implicit reasonings that link the claim with that evidence piece. Ideally, we can find plausible implicit reasonings for correct claim-evidence pieces, but we cannot for wrong pieces. Instead, for wrong claim-evidence pieces, we find non-reasonable implicit reasonings that would be less convincing and irrelevant.

Let $\mathscr{D}=\left.\{\left(c_{i}, p_{i}, r_{i}\right)\right.\}_{i=1}^{n}$ be a database of implicit reasoning annotated arguments, where $c_{i}, p_{i}, r_{i}$ are claim, premise and implicit reasoning linking $c_{i}$ with $p_{i}$, respectively ${ }^{2)}$. Given a query argument, i.e., claim $(c)$ and candidate evidence $(e)$ to be analyzed, we extract relevant implicit reasonings linking $c$ with $e$ via similarity search on $\mathscr{D}$. Specifically, we retrieve the top- $m$ most

2) In this work, the utilized source datasets $\mathscr{D}$ of implicit reasonings consists of premise instead of evidence. For more details, refer to $[7,15]$

Table 1: Statistics of Evidence data. Here, A and U refer to the number of acceptable and unacceptable evidences for a given topic.

similar arguments in $\mathscr{D}$ to the given query argument in terms of claim and a candidate evidence piece and then extract implicit reasonings from these similar arguments. We define the similarity between arguments as follows: $\operatorname{sim}\left(\langle c, e\rangle,\left.\langle c_{i}, p_{i}\right.\rangle\right)=\operatorname{sim}\left(c, c_{i}\right) \cdot \operatorname{sim}\left(e, p_{i}\right)$. In our experiments, we use Sentence-BERT [11], a BERT [3] based embedding model shown to outperform other state-of-theart sentence embeddings methods, to compute the textual embeddings of arguments and calculate semantic similarity between them via cosine-similarity.

## 3 Experiments

## 3.1 Source Data

Domain-specific Implicit Reasoning Data As our source of domain-specific implicit reasonings, we utilize the IRAC dataset (Implicit Reasoning in Arguments via Causality) [15], which consists of a wide variety of arguments annotated with multiple implicit reasonings. Overall, the dataset consists of 6 distinct topics covering over 950 arguments that are annotated with 2,600 implicit reasonings. For our experiments, we utilize all 6 topics.

Domain-general Implicit Reasoning Data In order to evaluate the effectiveness of our proposed domainspecific approach, for comparison, we utilize a domaingeneral corpus of implicit reasonings. Specifically, we rely on the Argument Reasoning Comprehension dataset (ARC) [7], which consists of 1,970 implicit reasoning annotated arguments covering over 172 topics ${ }^{3}$. Each instance in the dataset consists of (i) topic, (ii) claim, (iii)

3) In the original paper, Habernal et al. [7] refers to implicit reasonings as warrants. premise, (iv) correct implicit reasoning, and (v) incorrect implicit reasoning. For our experiments, we utilize only the correct implicit reasonings.

Evidence Data Instead of creating a dataset of claim and evidence pairs from nothing, we utilize the IBMEvidence dataset [4]. Each instance in IBM-Evidence dataset consists of (i) topic (ii) claim and (iii) a piece of candidate evidence, where each candidate evidence is annotated with a score (0-1) indicating its acceptability as evidence for a given claim.

The reason for the selection of this dataset for our experiments is twofold: (i) IBM-Evidence dataset offers $100 \%$ coverage of topics present in IRAC dataset. This enables us to adequately test our approach of leveraging domainspecific implicit reasonings for evidence detection task. (ii) IBM-Evidence dataset consists of evidences extracted from Wikipedia articles rather than crowdworkers or experts, hence closely representing real-world evidences. For our experiments, in addition to restricting on 6 topics, we perform an essential pre-processing step and label all candidate evidences as acceptable (score $\geq 0.6$ ) and unacceptable (score $\leq 0.4$ ) in order to classify them. In total, we are left with 1,030 instances of claim-evidence pairs covering 6 distinct topics as shown in Table 1.

## 3.2 Task Setting

In order to empirically validate the usefulness of utilizing domain-specific implicit reasonings for evidence detection task, we formulate the task in a binary classification setting, where, given a claim (C), a candidate evidence (E) and an implicit reasoning (I), the task is to classify the candidate evidence as acceptable or unacceptable for the given claim.

## 3.3 Models and Setup

We investigate four different models: (i) a strong baseline model, fine-tuned to classify candidate evidence as acceptable or not, purely based on claim and candidate evidence as input. For this purpose, we select pre-trained BERT model [3], namely BERT $_{\text {base }}$, which has been shown to outperform the previously established state-ofthe-art on similar tasks $[12,20,18]$. (ii) \& (iii) Two separate models to additionally consider the implicit reasonings available via domain-specific or domain-general resource, namely BERT $_{\text {in }}$, and BERT $_{\text {out }}$ respectively. (iv) Addi-

Table 2: Results of our two baseline models (Random and BERT base ) and two implicit reasoning based fine-tuned models $\left(\right.$ BERT $_{\text {in }}$ and BERT $\left._{\text {out }}\right)$ in closed-domain setting.

tionally, we consider a random baseline that predicts the most frequent class label as observed in the training data.

## 3.4 Evaluation Measures

We conduct the fine-tuning experiments for each topic separately and use 70:15:15 splits for training, validation and testing. Since the data for each topic is small (as shown in Table 1), we employ 5 -fold cross-validation and average the results. To account for random initialisation of the models, we repeat the experiments with multiple random seeds and report macro-averaged accuracy, precision, recall, and F1 score. In order to address the problem of class imbalance, we calculate class weights to influence the classification of labels during fine-tuning.

## 4 Results

We evaluate the fine-tuned models for evidence detection on the test set for each topic separately. Note that the results reported consider a single implicit reasoning as input along with claim and candidate evidence. We additionally experimented with multiple implicit reasonings as additional input features but found similar results. As shown in Table 2, all BERT-based models beat the random baseline on all topics, except Ban whaling, where their performance is marginally higher. BERT in $_{\text {in }}$ outperforms BERT $_{\text {out }}$ in all topics except Ban whaling and Compulsory voting. Overall, BERT base $^{\text {outperforms random baseline }}$ and achieves higher performance than our implicit reasoning fused models for half of the topics, namely Compulsory voting, Ban whaling and Capital punishment. Our proposed model using domain-specific implicit reasonings i.e., $\mathbf{B E R T}_{\text {in }}$ achieved higher performance for only two topics.

## 4.1 Analysis

Contrary to our expectation, BERT base achieved better accuracy than both implicit reasoning fused models on majority of the topics. To better understand this, we analyzed the topic overlap between arguments from ARC and IBM-Evidence dataset and found that arguments on topics Abolish zoos, Ban whaling, Capital Punishment and School Uniform were absent in ARC. This explain why BERT out $^{\text {B }}$ performance decreased for these topics. We additionally did manual analysis of implicit reasonings extracted for BERT $_{\text {in }}$ by randomly sampling 20 instances across all topics and found that only $40 \%$ of the extracted domainspecific implicit reasonings were relevant to a given evidence. However, for topics School Uniform and Abolish zoos they were indeed helpful in finding acceptable evidence.

## 5 Conclusion and Future Work

In this paper, we explored a closed-domain approach and exploited domain-specific implicit reasonings for the task of evidence detection. Our experiments showed that closed domain approach is beneficial for training largelanguage models and when leveraging implicit reasonings their performance can improve, given relevant reasonings are available. We hypothesize that reducing the effect of class imbalance with class weights is not sufficient and this might be a possible reason for low performance on topics with severe class imbalance. In our future work, we will focus on utilizing generation models for automatically generating implicit reasonings that can be leveraged for evidence detection task. Simultaneously, we will explore methods for addressing the class imbalance problem.

## Acknowledgement

This work was supported by JSPS KAKENHI Grant Number 22H00524.

## References

[1] Ehud Aharoni, Anatoly Polnarov, Tamar Lavee, Daniel Hershcovich, Ran Levy, Ruty Rinott, Dan Gutfreund, and Noam Slonim. A benchmark dataset for automatic detection of claims and evidence in the context of controversial topics. In Proceedings of the First Workshop on Argumentation Mining, pages 64-68, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[2] Tariq Alhindi, Savvas Petridis, and Smaranda Muresan. Where is your evidence: Improving fact-checking by justification modeling. In Proceedings of the first workshop on fact extraction and verification (FEVER), pages 85-90, 2018.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[4] Liat Ein-Dor, Eyal Shnarch, Lena Dankin, Alon Halfon, Benjamin Sznajder, Ariel Gera, Carlos Alzate, Martin Gleize, Leshem Choshen, Yufang Hou, et al. Corpus wide argument mining-a working solution. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 34, pages 7683-7691, 2020.

[5] Mohamed Elaraby and Diane Litman. Self-trained pretrained language models for evidence detection. In Proceedings of the 8th Workshop on Argument Mining, pages 142-147, 2021.

[6] Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A Smith. Don't stop pretraining: adapt language models to domains and tasks. arXiv preprint arXiv:2004.10964, 2020.

[7] Ivan Habernal, Henning Wachsmuth, Iryna Gurevych, and Benno Stein. The argument reasoning comprehension task: Identification and reconstruction of implicit warrants. arXiv preprint arXiv:1708.01425, 2017.

[8] Jeremy Howard and Sebastian Ruder. Universal language model fine-tuning for text classification. arXiv preprint arXiv:1801.06146, 2018

[9] Marco Lippi and Paolo Torroni. Argumentation mining: State of the art and emerging trends. ACM Transactions on Internet Technology (TOIT), 16(2):1-25, 2016.

[10] Anastasios Lytos, Thomas Lagkas, Panagiotis Sarigiannidis, and Kalina Bontcheva. The evolution of argumentation mining: From models to social media and emerging tools. Information Processing \& Management, 56(6):102055, 2019.

[11] Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, 112019.

[12] Nils Reimers, Benjamin Schiller, Tilman Beck, Johannes Daxenberger, Christian Stab, and Iryna Gurevych. Classification and clustering of arguments with contextualized word embeddings. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 567-578, Florence, Italy, July 2019. Association for Computational Linguistics.

[13] Ruty Rinott, Lena Dankin, Carlos Alzate Perez, Mitesh M. Khapra, Ehud Aharoni, and Noam Slonim. Show me your evidence - an automatic method for context dependent evidence detection. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pages 440-450, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[14] Eyal Shnarch, Carlos Alzate, Lena Dankin, Martin Gleize, Yufang
Hou, Leshem Choshen, Ranit Aharonov, and Noam Slonim. Will it blend? blending weak and strong labeled data in a neural network for argumentation mining. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 599-605, 2018.

[15] Keshav Singh, Naoya Inoue, Farjana Sultana Mim, Shoichi Naito, and Kentaro Inui. IRAC: A domain-specific annotated corpus of implicit reasoning in arguments. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pages 4674-4683, Marseille, France, June 2022. European Language Resources Association.

[16] Keshav Singh, Paul Reisert, Naoya Inoue, Pride Kavumba, and Kentaro Inui. Improving evidence detection by leveraging warrants. In Proceedings of the Second Workshop on Fact Extraction and VERification (FEVER), pages 57-62, Hong Kong, China, November 2019. Association for Computational Linguistics.

[17] Noam Slonim, Yonatan Bilu, Carlos Alzate, Roy Bar-Haim, Ben Bogin, Francesca Bonin, Leshem Choshen, Edo Cohen-Karlik, Lena Dankin, Lilach Edelstein, et al. An autonomous debating system. Nature, 591(7850):379-384, 2021.

[18] Chris Stahlhut. Interactive evidence detection: train state-of-theart model out-of-domain or simple model interactively? In Proceedings of the Second Workshop on Fact Extraction and VERification (FEVER), pages 79-89, 2019.

[19] Yu Sun, Shuohuan Wang, Yukun Li, Shikun Feng, Xuyi Chen, Han Zhang, Xin Tian, Danxiang Zhu, Hao Tian, and Hua Wu. Ernie: Enhanced representation through knowledge integration. arXiv preprint arXiv:1904.09223, 2019.

[20] James Thorne, Andreas Vlachos, Oana Cocarascu, Christos Christodoulopoulos, and Arpit Mittal. The fact extraction and VERification (FEVER) shared task. In Proceedings of the First Workshop on Fact Extraction and VERification (FEVER), pages 1-9, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[21] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R Salakhutdinov, and Quoc V Le. Xlnet: Generalized autoregressive pretraining for language understanding. Advances in neural information processing systems, 32, 2019.