# Transformer による hallucination error の事後修正

森脇恵太 ${ }^{1}$ 大野瞬 ${ }^{1}$ 杉山弘晃 ${ }^{2}$ 酒造正樹 1 前田英作 ${ }^{1}$
1 東京電機大学システムデザイン工学部
${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
\{18aj128, 18aj031\}@ms.dendai.ac.jp
h.sugi@ieee.org \{shuzo, maeda.e\}@mail.dendai.ac.jp

## 概要

大規模対話コーパスで学習された End-to-End 対話モ デルは非常に自然な文章を生成できることが知ら れている。一方，文生成時に与えた外部知識と異な る内容を持つ発話文を生成してしまう, hallucination error(以降，HE)が課題となっている. そこで本研究 では，HEを含むデータを疑似的に作成し，BART や transformer などのニューラルモデルを用いて， HE の事後修正 (postfix)を試みた。旅行対話タスクにお ける自動発話生成において発生した HE の中で重要性が高く，且つ，比較的扱いが容易であると考えら れる，3つの情報源 (アクセス，営業時間，料金)を 対象に検討を行った. その結果, transformerでは実際にニューラル生成モデルで生成した $\mathrm{HE}$ を含む文章 52 件中 29 件を修正した。

## 1 はじめに

GPT-3（Generative Pre-trained Transformer-3）[1] ど 大規模ニューラル文章生成モデルの研究が進み，可読性が高く且つ自然な文章が生成できるようになり つつある。 それによって，雑談対話のように非目的指向型の対話も実現可能になった。しかし，こうし たニューラル生成モデルによる文章生成では，生成 した文章が事実と異なる HE が発生するという問題 が指摘されている [2]. 例えば，「新宿三丁目駅から 徒歩 5 分」という事実があるのにも関わらず，生成 モデルが「新宿駅から徒歩 5 分」など誤った文章を 生成することがある. この HE の問題に対し, 文章生成モデルと TruthfulQAを用いた検証が行われてい るが，モデルの規模が大きくなるほど事実と異なる 生成を行う傾向がある [3].

文章要約の対象となる原文と要約文のいずれか 人工的に書き換えることで HE を含む疑似不整合例 を作成し，これを学習データとして用いることで postfix モデルを構築する．具体例として，要約文中 のエンティティを書き換えることにより作成した 疑似不整合例を BART (Bidirectional Auto-Regressive Transformer）[4]を用いて修正する [5]. また, 要約文 の代名詞や数字の入れ替え，要約文中にある単語を 追加，削除することで疑似不整合例を作成し，スパ ン選択ヘッドを追加した BERT(Bidirectional Encoder Representations from Transformers )[6] を用いて HE の 検出と修正の両方を行う手法も提案されている [7].本論文では，HE を検出し修正する機構 [8] のう ち，HEを修正する postfix モデルの検証を行った.旅行対話タスクにおける生成発話において発生した $\mathrm{HE}$ の中で重要性が高く, 且つ, 比較的 HE の修正を 学習するためのデータセットの作成が容易であると 考えられる，3つの情報源 (アクセス，営業時間，料金)を対象に検討を行う。

知識源を参考に記述された文章にあるエンティ ティの書き換える手法と知識源とは無関係の文を 追加する手法のそれぞれを用いて HE を含むデータ を作成し，BART や trandformers を finetune すること で postfix モデルを構築した。また，旅行対話データ で finetune した大規模雑談対話モデル [9] を利用し， HE を含むデータセットで学習した postfix モデルが どの程度事実と異なる内容を正しく書き換えられる かを評価した。

## 2 データセット

## 2.1 データの収集

クラウドソーシングを利用して収集した観光地情報 に基づく旅行代理店対話コーパス [10] を対象にして 実験を行った。このコーパスは旅行代理店における 客と店員の対話ログで構成されており，12 種類の知識情報を有する 600 箇所の観光地がある．店員の発話文は知識源にある内容を参考に記述されており，

図 $1 \mathrm{HE}$ 修正データの作成手順

表 1 知識カテゴリごとの書き換え対象エンティティ

12 種類の知識源のうちどの知識源を参考にしたか が明記されている。

## 2.2 事後修正のための学習用データセット

知識源に数値や固有名詞がある場合ニューラル生成 モデルが HEを起こしやすいという傾向に基づき， コーパスにある 12 種類の知識源のうち，営業時間， アクセス，料金のいずれかを参考に記述された店員 の発話文と知識源のペアを抽出した. 収集した発話文と知識源のペアは営業時間が 468 件，アクセスが 1,600 件，料金が 224 件と知識カテゴリで数が異な るだけでなく，最も多いアクセス情報で約 1,600 件 と数が少ないため，一つの発話文と知識源のぺアを テンプレートとして複数のデータを疑似的に作成す ることで，各知識カテゴリごとに 40,000 件の発話文 と知識源のペアを作成した。

抽出した発話文と知識源のペアに存在する同一の エンティティを書き換えることで疑似整合例を作成 し，疑似整合例の発話文にあるいずれかのエンティ ティを書き換えることで疑似不整合例を作成した [8]. 表 1 に示すように，書き換え対象となるエン ティティは知識源に割り当てられているカテゴリに よって異なる. 図 1 に示すように疑似整合例と疑似不整合例を組み合わせることで，HE を含む発話文 とその HE を修正した発話文で構成される HE 修正 データを作成した. postfix モデルは HE を含む発話

付与対象:[18時からですね。], [年中無休で営業しています。]

引用対象候補から一つ選択

図 2 無関係な発話を含むデータの作成手順

文と参考にした知識源を入力として受け付け， $\mathrm{HE}$ を修正した発話文を出力するように学習する。これ により, postfix モデルは知識源に則していないエン ティティを書き換える。

## 2.3 無関係な発話を含むデータの追加

ニューラル生成モデルは事実と無関係な文章を生成する場合がある。これを考慮し、エンティティの 書き換えだけでなく，無関係な発話を含んだデータ を作成した。データを追加することで事実と不整合 な文を削除し、HEを修正することを期待した.こ のデータセットは 2.2 で作成した HE 修正学習デー タセットに 40,000 件の無関係な発話を含むデータ を追加したものである. エンティティの書き換えを 行って集めた 90,000 件の HE 修正データから二つの 異なる発話文を抽出した後に，抽出した一方の発話文を句読点で分解し，分解したうちの一つの文をも う一方の発話文に加えることで無関係な発話を含む データを作成した。無関係な発話を含むデータの作成手順と具体例を図 2 に示す.

## 2.4 評価用データの収集

HE 修正学習データセットはルールベースで作成さ れており，同じデータを拡張することで件数を増や しているためデータに偏りが存在する. これを考慮 し, 作成した HE 修正学習データセット以外で評価用のデータを収集した。評価用データはニューラル 生成モデルからの出力データ（ニューラル生成デー タセット）と人の手で作成した知識源と発話文のぺ アで構成される評価用データ（handmade データセッ ト）の二種類を作成した.

ニューラル生成データセットはニューラル生成モ
表 2 各種データセットの件数と概要

デルから出力された $\mathrm{HE}$ を含む生成文と文章生成に 用いた知識源で構成される. データセットを作成す るために，旅行対話データで fine-tuning したニュー ラル生成モデルを用いて発話文を生成し，人の目で HE を含むかどうかを判定した。

handmade データセットの一部は表 1 の書き換え 対象を踏まえて，知識源と $\mathrm{HE}$ を含む発話文を作成 した. これは $\mathrm{HE}$ 修正データがルールベースの書き 換えで作成されたことを考慮している。また，表 1 の書き換え対象とは異なるデータを加えている。こ れは，モデルのロバスト性を評価する意図がある。

handmade データセットは作成時にターゲットと なる教師データを加えているが，ニューラル生成 データセットにはターゲットとなる教師データは存在しない.

## 3 実験

## 3.1 実験設定

事前学習済みの Transformer，BARTを今回作成した $\mathrm{HE}$ 修正学習データセットでファインチューニング することで postfix モデルを構築した. 事前学習済み モデルとして NTTコミュニケーション科学基礎研究所が公開している japanese-dualog-transformers ${ }^{1)}$,黒橋研究室が公開している BART 日本語 Pretrained モデル $[11]^{2)}$ を使用した. それぞれのパラメータ数 は japanese-dialog-transformers は 1.6B, BART は 0.12B である. HE 修正学習データセットは 2.3 で作成した 無関係な発話を含むデータセット (add_unrelated) と 含まないデータセット（baseline）の 2 種類を用意し た.また, ニューラル生成データセットと handmade データセットを用いて、それぞれのモデルを評価し た. 学習, 評価に使用したデータセットの件数を表 2 に示す.

モデルの学習，評価にはシーケンスモデリング ツールキットである fairseq ${ }^{3)}$ 利用した。

1) https://github.com/nttcslab/japanese-dialog-transformers

2) https://nlp.ist.i.kyoto-u.ac.jp/?BART 日本語 Pretrained モデル

3) https://github.com/pytorch/fairseq

表 4 handmade データセットによる評価結果

モデルへの入力は知識源と HE を含む発話文を セパレーショントークン（[SEP]）で繋げたもので ある。しかし，事前学習済みの BART ではこのトー クンに対応していない。これを回避するために Fusion-in-Decoder[12] BART に実装し，知識源と 修正対象を入力した.

## 3.2 評価指標

修正結果の評価指標として，修正結果の内容が知識源の内容と一致しているかを一手において評価した Faithfulness[13] と BLEU-4 score[14] を用いた. モデ ルの生成文に知識源と無関係な文，または知識源と 矛盾した文のいずれかが一つも含まれない場合、モ デルは HE を修正したと判定する.

モデルの出力を得るために fairseq の Command-line Toolsを利用し， beam sizeを 10 に設定した。これに より一つの入力に対して 10 個の出力候補を得られ る. Faithfulness では, 10 個の出力候補の中に一つで も HE を修正したと判定されるものがあればその入力を修正できたとして評価している.

## 3.3 結果・考察

表 3, 4 より, BLEU-4 score と Faithfulness の結果が比例するとは限らないことが分かる。 入力に用いた発話文とターゲットが似ているため BLEU-4 score が高 くなりやすいと考えられる。この結果は，BLEU-4 score では数値が異なるといった単純な $\mathrm{HE}$ を正し く評価することができないことを示唆している. BART と transformer で結果に大きな差がでたのはパ ラメータ数と事前学習に用いたデータセットの差に よるものだと考えられる。

評価用データを用いて得られたいくつかの出力例
表 5 transformer におけるデータセットごとの出力例

 &  &  &  \\

を表 5 に示す. HE 修正データの書き換え対象であ るエンティティに着目すると，一部のデータでは正 しく書き換えられていない．特に知識源に出現する エンティティ順序と発話文に出現するエンティティ の順序が異なる場合，postfix モデルは正しく書き換 え出来ていない. モデルは"大人"と"500 円"のよう なエンティティの関連付けが出来ていないと言え る. また，知識源に出現するエンティティの順序と モデルの出力に出現するエンティティの順序が同じ であることから，エンティティが出現する順序に注目して対象となるエンティティの書き換えを行って いると考えられる。

baseline では発話文にあるエンティティのみ書き 換えるのに対し， add_unrelated では発話文にある一文を削除して出力する傾向が見られた．モデルは入力にある発話文の一部を削除することを学習したと 考えられる。しかし，無関係な一文に限らず知識源 に則っている一文についても削除するものもある. これらから，発話文の削除とエンティティの書き換 えを行うことで知識源との整合性を取るように学習 したと考えられる. 発話文の削除は無関係な一文に 関わらず，知識源と矛盾，または含意の一文にも行 うことで生成文全体が知識源に則るように文章を生成すると考えられる。

## 4 おわりに

本研究では，特定のエンティティのみを書き換えた データ，無関係な発話を追加したデータなどで構成 される $\mathrm{HE}$ 修正学習データセットを用いて，知識源
を使用する文章生成における HE を修正する postfix モデルの学習を行った.

学習データとは独立に用意したデータセットによ り評価実験を行い，学習時に使用する HE 修正デー タを変えることで HE 修正データに沿ってモデルの 挙動が変化することを示した。また，HE 修正学習 データセットと似たデータがあるにも関わらず HE を修正できない例も存在した.. 今後は, HE 修正学習データセットの基となるデータの収集，書き換え ルールなど作成手法の拡張が必要である。また，拡張した結果モデルの出力が変化し, HE の修正に貢献したかを手法ごとに検証すべきである.

## 謝辞

本研究は JSPS 新学術研究 JP19H05693 の助成を受 けた。

## 参考文献

[1] Tom B Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. arXiv preprint arXiv:2005.14165, 2020.

[2] Ashish Agarwal Clara Fannjiang David Sussillo Katherine Lee, Orhan Firat. Hallucinations in neural machine translation. Accepted in Workshop of Interpretability and Robustness in Audio, Speech, and Language, 2018.

[3] Stephanie Lin, Jacob Hilton, and Owain Evans. Truthfulqa: Measuring how models mimic human falsehoods. arXiv preprint arXiv:2109.07958, 2021.

[4] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan

Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Ves Stoyanov, and Luke Zettlemoyer. Bart: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. arXiv preprint arXiv:1910.13461, 2019.

[5] Meng Cao, Yue Dong, Jiapeng Wu, and Jackie Chi Kit Cheung. Factual error correction for abstractive summarization models. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6251-6258, Online, November 2020. Association for Computational Linguistics.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018

[7] Wojciech Kryściński, Bryan McCann, Caiming Xiong, and Richard Socher. Evaluating the factual consistency of abstractive text summarization. arXiv preprint arXiv:1910.12840, 2019.

[8] 大野瞬, 森脇恵太, 杉山弘晃, 酒造正樹, 前田英作. 分類モデル bert による不整合生成文の検出について. "言語処理学会第 28 回年次大会", 2022(発表予定).

[9] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems, 2021.

[10] 金田龍平, 芳賀大地, 杉山弘晃, 酒造正樹, 前田英作.知識源と一対多関係を有する対話コーパスによる発話生成. 言語処理学会第 28 回年次大会, 2022(発表予定).

[11] 田中佑, 村脇有吾, 河原大輔, 黒橋禎夫. 日本語 wikipedia の編集履歴に基づく入力誤りデータセッ トと訂正システムの改良. 言語処理学会第 27 回年次大会, 2021.

[12] Gautier Izacard and Edouard Grave. Leveraging passage retrieval with generative models for open domain question answering, 2020.

[13] Ankur P Parikh, Xuezhi Wang, Sebastian Gehrmann, Manaal Faruqui, Bhuwan Dhingra, Diyi Yang, and Dipanjan Das. Totto: A controlled table-to-text generation dataset. arXiv preprint arXiv:2004.14373, 2020.

[14] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.
 森脇恵太 ${ }^{1}$ 大野瞬 ${ }^{1}$ 杉山弘晃 ${ }^{2}$ 酒造正樹 1 前田英作 ${ }^{1}$ 1 東京電機大学システムデザイン工学部 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所 \{18aj128, 18aj031\}@ms.dendai.ac.jp h.sugi@ieee.org \{shuzo, maeda.e\}@mail.dendai.ac.jp  