# 記事に忠実ではない訓練事例も活用した 見出し生成モデルの忠実性の改善法

植木滉一郎 平岡達也 岡崎直観
東京工業大学
\{koichiro.ueki@nlp., tatsuya.hiraoka@nlp., okazaki@\}c.titech.ac.jp

## 概要

見出し生成において忠実性の改善は重要な課題で ある．従来研究 [1] では，訓練データ中で忠実性が 低い見出しを取り除くアプローチが提案されたが，見出し生成モデルの学習に用いる訓練事例数が減 るため，生成される見出しの品質が低下するという 問題があった. 本稿では，マスク付き言語モデルを 用いて忠実性の低い訓練事例を忠実性の高い事例 に書き換える手法，タグにより見出しの忠実性を制御する手法を提案する. 自動評価と人手評価の結果 から，提案手法は既存手法と同程度の忠実性を保ち ながら品質の高い見出しを生成できることを報告 する.

## 1 はじめに

近年の言語生成モデルの発展により，見出し生成 （記事に対して見出しを作文する）タスクの性能が 向上し，人間が作成した見出しに近い品質の見出し を自動で生成できるようになった。しかし，自動見出し生成は記事内容から逸脱した見出しを生成す ることがある，という問題が報告されている $[2,3]$. そのため, 見出し生成モデルの忠実性の改善を目指 した研究が進められている $[4,5,6,7]$.

松丸ら [1] は，記事に忠実ではない見出しが訓練 データの約 4 割に含まれていると指摘し，それが生成モデルの忠実性を低下させる要因になっている と報告した. 忠実でない見出しを訓練データから取 り除くことで，モデルの忠実性を向上させた. さら に，訓練事例の不足を補うため，自己学習を用いて 擬似訓練データを作成した。

ところが，日本語データの実験において，自己学習で獲得した擬似訓練データはモデルの忠実性を改善するものの，参照見出し文との ROUGE スコアを 低下させた. これは，訓練事例の見出しの中で，記事から逸脱している箇所は単語や句などの限られた 範囲であるにもかかわらず，ゼロから擬似見出しを 生成したことに起因する．そこで，記事から逸脱し た見出しを破棄するのではなく，積極的に活用しな がら見出しの忠実性と ROUGE スコアの両方を改善 する手法を検討したい.

本稿では，マスク付き言語モデルを用いた訓練 データの書き換え手法（図 1 中央）と，タグを用い てモデルの忠実性を制御する手法（図1右）を提案 する．前者は，見出しの中で記事から逸脱している 箇所の単語や句をマスク付き言語モデルで書き換 え，擬似訓練データとする．後者は，訓練データに は一切変更を加えず，モデルへの入力の先頭に忠実性の度合いを示すタグを付与し，見出し生成モデル を学習する。自動評価と人手評価の結果から，提案手法は既存手法と同程度の忠実性を維持しつつ，品質の高い見出しを生成できることが分かった.

## 2 提案手法

本研究の目標は, 見出し生成モデルの ROUGE 值 と忠実性を改善することである，具体的には，松丸 ら [1] の手法をべースとし，より多くの訓練データ を見出し生成モデルの学習に活用する手法を提案す る. 本稿では，部分編集による擬似見出し生成と， タグによる制御の二つの手法を提案する。

## 2.1 含意関係認識器

本研究では，記事に対する見出しの忠害性の判定 を，記事と見出しの含意関係認識として扱う [1].含意関係認識器を用いて，訓練データ Dを忠実な 見出し $\mathscr{D}^{\text {fai }}$ と，忠実ではない見出し $D^{\text {hal }}$ のグルー プに分ける。含意関係認識器 $E$ は, $N$ 単語から構成 される記事 $X=\left(x_{1}, x_{2}, \cdots, x_{N}\right)$ と， $M$ 単語から構成 される見出し $Y=\left(y_{1}, y_{2}, \cdots, y_{M}\right)$ の組を大力とし,記事 $X$ が見出し $Y$ を含意する確率 $E(X, Y)$ を予測す

$(X, Y) \in \mathscr{D}^{\text {hal }}$

2.見出し生成モデルを学習

$\left.\langle\mathrm{HAL}>+\right.$ 記事 $X \rightarrow \longrightarrow \begin{array}{c}\text { モデル }\end{array} \rightarrow$ 見出し $Y$

図 1 (左) 含意関係認識による訓練事例の忠実性判定 (中央) マスク付き言語モデルを用いた訓練データの書き換え (右) タグ制御による見出し生成

図 2 マスク付き言語モデルを用いた擬似見出し生成

る. $E(X, Y)$ が閾值 $\alpha$ 以上の事例を $\mathscr{D}^{\text {fai } に ， ~} \alpha$ 未満 の事例を $\mathscr{D}^{\text {hal }}$ に入る（図 1 左).

## 2.2 部分修正による擬似見出し生成

マスク付き言語モデルで忠実ではない見出しを 書き換え，忠実な擬似見出しを生成する（図 2）。ま ず，見出しの中で記事に忠実ではない部分の検出を 行う．式 1 のように，記事と忠実ではない見出しの 組 $(X, Y) \in \mathscr{D}^{\text {hal }}$ に対し，見出し $Y$ に含まれるトーク ンのうち，記事 $X$ に出現しないものを，忠実ではな い部分と見なし，<MASK>トークンに置き換える.

$
\tilde{y}_{i}= \begin{cases}y_{i} & \left(\text { if } y_{i} \in X\right) \\ <\text { MASK> } & \text { (otherwise) }\end{cases}
$

続いて，忠実ではなかった部分の穴埋めを行う.式 2 のように，マスク付き言語モデル BERT [8] を 用いて，マスクされた見出しから疑似見出しを生成 する．具体的には，記事とマスクされた見出しを BERT に入力し，<MASK>トークンを予測することで，擬似見出し $Y^{\prime}$ を生成する。

$
Y^{\prime}=\operatorname{BERT}\left(X,\left[\tilde{y}_{1}, \tilde{y}_{2}, \cdots, \tilde{y}_{M}\right]\right)
$

このようにして，全ての $(X, Y) \in \mathscr{D}^{\text {hal }}$ 対して，見出しの書き換え $Y \longrightarrow Y^{\prime}$ を行い，擬似訓練データ $\left(X, Y^{\prime}\right) \in \mathscr{D}^{\mathrm{pse}}$ を構築する. 最終的に，忠実な訓練 データ $\mathscr{D}^{\mathrm{fai}}$ と擬似訓練データ $\mathscr{D}^{\mathrm{pse}}$ を用い，見出し 生成モデルを学習する。
BERT モデルは，忠実な事例 $(X, Y) \in \mathscr{D}^{\text {fai }}$ の記事 と見出しを連結して入力し，見出し部分のトークン の一部をマスクトークンに置換し，元のトークンを 予測するタスクでファインチューニングする.

## 2.3 タグ制御モデル

訓練データの見出しには忠実性の高いスタイル と低いスタイルがあることを明示し，タグ制御に より見出し生成の忠実性を制御するモデルを提案する（図 1 右)。生成を制御する既存手法 $[9,10]$ と同様に，訓練データの入力に忠実性を表す特殊トークンを連結する．具体的には，忠実な訓練事例 $(X, Y) \in \mathscr{D}^{\text {fai }}$ の記事 $X$ の冒頭に特殊トーク ン<FAI>を，忠実ではない訓練事例 $(X, Y) \in \mathscr{D}^{\text {hal }}$ の 記事 $X$ の冒頭に特殊トークン<HAL>を追加する.

$\mathscr{D}^{\text {fai }}$ と $\mathscr{D}^{\text {hal }}$ は人手で作成された事例であるため,忠実度には差があるものの見出しの品質は高い. そ こで，見出しの忠実度に応じた特殊トークンを訓練事例に付与し，見出し生成モデルを学習すること で，訓練データの量を落とすことなく，忠実な見出 しと忠実ではない見出しを書き分けられるようにな ることが期待される。このようにして学習した見出 し生成モデルで忠実な見出しを生成するには，見出 しを生成したい記事の冒頭に特殊トークン<FAI>を 追加し，見出しを生成させればよい。

## 3 実験

## 3.1 実験設定

日本語の見出し生成タスクで実験する. 訓練 データとして，Japanese News Corpus (JNC) ${ }^{1)}$ を用い る. JNC は，朝日新聞の記事冒頭 3 文と紙面見出 しの組から構成される約 180 万事例を収録して いる. また，評価用データセットとして，JApanese MUlti-Length Headline Corpus (JAMUL) を利用する。

1) https://cl.asahi.com/api_data/jnc-jamul.html
表 1 JAMULデータセットでの評価 (手法左のマークは図 3 に対応)

JAMUL は朝日新聞デジタルで配信された 1,524 件の 記事全文と紙面見出し，10，13，26 文字以内の各種媒体向け見出しが付与されたデータセットである.本研究では紙面見出しを評価に用いる. トークン化 には SentencePiece [11]を使用した。

日本語の事前学習済み BERT モデル2)を用いて，含意関係認識器を構築した．具体的には，松丸らが JNC のデータから作成した含意関係認識データセッ トから，5,033 件の訓練事例でファインチューニン グを行った。1,678 件の評価データにおける正解率 は $83.9 \%$ であった.この含意関係認識器を用いて，見出し生成の訓練事例を分類したところ，844,526 件 (全体の $48.9 \%$ ) が忠実な事例と判定された.

提案手法の比較対象として，訓練データ全体で学習したモデル（全事例），松丸ら [1] の既存手法に 従って忠実な事例のみで見出し生成モデルを学習し たもの（忠実のみ），自己学習で擬似見出しを追加 してモデルを学習したもの（忠実十自己学習）を用 いる. 見出し生成モデルとして Transformer[12]を採用し, fairseq ${ }^{3}$ で実装した.

自動評価手法として, full-length F1 ROUGE 値を 用いる. また，ROUGE では生成された見出しの忠実性を評価できないため $[13,14]$, モデルが生成し た見出しに対して，含意関係認識器（2.1 節）が含意 と予測する割合（含意率）[1]を報告する。

人手評価では，忠実性（記事が見出しを含意する か), 重要度 (見出しは記事の重要な内容を含んでい るか)，理解しやすさ（見出しは理解しやすいか）と いう 3 つの観点を用いた。「忠実性」は「はい」「い いえ」「判定不能」の 3 段階評価を行い，「はい」の 割合いを報告する。「重要度」，「理解しやすさ」は， “5”を最も良いとする 5 段階評価を行い，その平均值を報告する. JAMUL のデータからランダムにサ ンプルした 100 事例に対し，各モデルで見出しを生表 2 生成した擬似見出しの評価

成し，一人の被験者に評価を依頼した。

## 3.2 実験結果

表 1 に実験結果を示す. 表中の R-1, R-2, R-L はそ れぞれ，ROUGE-1, ROUGE-2, ROUGE-Lを表す.両方の提案手法とも，忠実十自己学習と同程度の含意率を達成しつつ，より高い ROUGE スコアが得られ た. また，タグ制御モデルはシンプルな手法である にもかかわらず，ROUGE スコアと含意率で安定し た性能を示し，ROUGE-L 値では全事例を学習事例 に用いた場合と同程度の性能を達成した。これは，提案手法が忠実性の問題に対処しつつ，より多くの 訓練事例を有効に活用できたためと考えられる.

表 1 の人手評価によると，忠実性に関してはタグ 制御モデル，重要度に関しては全事例を学習に用い るモデル，理解しやすさではタグ制御モデルが最も 良い評価を得た。このように，タグ制御モデルは自動評価と人手評価の両方において良好な評価を得 た. 一方，部分修正モデルは人手評価による評価が 芳しくなかった．部分修正モデルが生成する擬似見出しを確認してみると，壳長な繰り返し表現を含む ことが多いことが判明した.これは，見出し中の複数のマスクトークンを予測するときに，重複した単語が予測されてしまうことがあり，結果的に重複を 含む不自然な見出しがモデルの訓練データに用いら れ，その性質を引き継いだ見出し生成モデルが学習 されてしまったことが原因と考えられる。

2) https://github.com/yoheikikuta/bert-japanese

3) https://github.com/pytorch/fairseq

図 3 見出しの被覆度と忠実性に関する分析

## 4 分析

## 4.1 生成された擬似見出しの分析

マスク付き言語モデルによって生成された擬似見出しの忠実性と，書き換え前の見出しとの一致度，生成された見出しの冗長さを評価することで，擬似見出しの品質を分析する. 同様に, 既存手法 [1] で ある忠実十自己学習によって生成された擬似見出 しも分析する. 擬似見出しの忠実性の評価には含意率を用いる. また，元の見出しと擬似見出しの一致度を測定するため，元の見出しと擬似見出しの間の ROUGE-1 F1 值を算出する. さらに，式 3 で擬似見出しの壳長さを求め，その平均値を報告する.

$
\text { 冗長さ }:=\frac{\text { 見出し内に複数回出現する単語の数 }}{\text { 見出しの長さ (単語数) }}
$

表 2 より，忠実十自己学習による擬似見出しが高 い忠実性を示すことが分かる．部分修正による擬似見出し生成は，元の見出しの一部を書き換えるだけ の手法であるが，忠害ではなかった見出しの 7 割を 忠実なものへ書き換えることに成功した.

また，書き換え前の見出しと書き換え後の見出し の間で ROUGE-1 スコアを測定した結果から，部分修正により生成された疑似見出しは，元の見出しか らの変更が少ないことが分かる．これは，忠実では ない訓練データのうち，利用できる箇所はできるだ け利用するという本研究の狙いが達成できているこ とを示している．㔯長さに関しては，部分編集によ る擬似見出しが最も冗長であった.

## 4.2 提案手法による忠実性の向上

見出し生成では被覆度（見出しを構成する単語の うち，記事に含まれるものの割合）[15] の高い見出
し，つまり記事からの抽出に近い見出しを生成する という手法でも，忠実な見出しを生成できると言わ れている。ところが，被覆度を単に高めるだけの手法は，言い換えや流暢さといった抽象型見出し生成 の長所を打ち消してしまう．そのため，被覆度を高 めることを狙わずに，忠実性を向上させることが望 ましい。

Ladhak ら [16] は，忠実性を向上させる手法の有効性を評価する際に，被覆度の影響を取り除くべきと 主張した。そこで，被覆度の影響を排除するため， モデル間で生成する見出しの被覆度を揃え，忠実性 を比較する. 生成する見出しの被覆度を制御できる 見出し生成モデル（被覆度制御モデル）を学習し，被覆度と忠実性の関係を図 3 に曲線で描画した (モ デルの詳細は付録 A に記載した)。この分析におい て，見出しの忠害性は含意率で測定している.

図3 に各手法の見出しの被覆度と含意率をプロッ トすることで，手法の忠実性を有効に向上させたか を評価できる。 図 3 の曲線は，見出しの被覆度の制御のみで達成できる忠実性を示しており，この曲線 よりも上に位置する手法は，被覆度を高める以外の 面で，忠実性を向上させていると評価できる．この 分析によると, 本研究で提案した両方の手法は, 曲線よりも上側に位置し, 全事例で学習したモデルと 同程度の被覆度で，より高い忠実性を達成している ことが分かる．従って，提案手法は見出し生成の忠実性を安易に向上させているのではなく，有効な手法であることが示された.

## 5 おわりに

本稿では，日本語の見出し生成において，忠実性 と ROUGE スコアの両方を改善させる手法を提案し た. 本研究では, 既存研究で破棄されていた忠実で はない見出しを活用することで，見出し生成モデル の性能向上を目指した。具体的には，見出しの部分的な修正による擬似見出し生成手法と，タグ制御に よる見出し生成の制御手法を提案した.

日本語の見出し生成タスクでの実験から，両方の 提案手法は既存手法と同程度の含意率で，より参照見出しに近い見出しを生成できることが分かった. また，人手評価から，タグ制御による見出し生成モ デルが忠実性，重要度，理解しやすさにおいてバラ ンスの取れた手法であることが示された。さらに，提案手法は見出しの被覆度を単に高めるのではな く, 見出しの忠実性を向上させることを確認した.

## 6 謝辞

本研究成果は, 国立研究開発法人情報通信研究機

構（NICT）の委託研究「自動翻訳の精度向上のため のマルチモーダル情報の外部制御可能なモデリング の研究開発」により得られたものです.

## 参考文献

[1] Kazuki Matsumaru, Sho Takase, and Naoaki Okazaki. Improving truthfulness of headline generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1335-1346, Online, July 2020. Association for Computational Linguistics.

[2] Ziqiang Cao, Furu Wei, Wenjie Li, and Sujian Li. Faithful to the original: Fact aware neural abstractive summarization. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 32, 2018.

[3] Joshua Maynez, Shashi Narayan, Bernd Bohnet, and Ryan McDonald. On faithfulness and factuality in abstractive summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1906-1919, Online, July 2020. Association for Computational Linguistics.

[4] Tanya Goyal and Greg Durrett. Annotating and modeling fine-grained factuality in summarization. arXiv preprint arXiv:2104.04302, 2021.

[5] Zheng Zhao, Shay B. Cohen, and Bonnie Webber. Reducing quantity hallucinations in abstractive summarization. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 2237-2249, Online, November 2020. Association for Computational Linguistics.

[6] Sihao Chen, Fan Zhang, Kazoo Sone, and Dan Roth. Improving faithfulness in abstractive summarization with contrast candidate generation and selection. arXiv preprint arXiv:2104.09061, 2021.

[7] Yuning Mao, Xiang Ren, Heng Ji, and Jiawei Han. Constrained abstractive summarization: Preserving factual consistency with constrained generation. arXiv preprint arXiv:2010.12723, 2020.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[9] Jessica Ficler and Yoav Goldberg. Controlling linguistic style aspects in neural language generation. In Proceedings of the Workshop on Stylistic Variation, pp. 94-104, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[10] Katja Filippova. Controlled hallucinations: Learning to generate faithfully from noisy data. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 864-870, Online, November 2020. Association for
Computational Linguistics.

[11] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[13] Wojciech Kryscinski, Nitish Shirish Keskar, Bryan McCann, Caiming Xiong, and Richard Socher. Neural text summarization: A critical evaluation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 540-551, Hong Kong, China, November 2019. Association for Computational Linguistics.

[14] Alexander R Fabbri, Wojciech Kryściński, Bryan McCann, Caiming Xiong, Richard Socher, and Dragomir Radev. Summeval: Re-evaluating summarization evaluation. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 391-409, 2021.

[15] Max Grusky, Mor Naaman, and Yoav Artzi. Newsroom: A dataset of 1.3 million summaries with diverse extractive strategies. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 708-719, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[16] Faisal Ladhak, Esin Durmus, He He, Claire Cardie, and Kathleen McKeown. Faithful or extractive? on mitigating the faithfulness-abstractiveness trade-off in abstractive summarization. arXiv preprint arXiv:2108.13684, 2021.

## A＼cjkstart被覆度制御モデル

ここでは， 4.2 節で使用した被覆度制御モデルに ついて説明する。

Ladhak ら [16] にならい, 生成する見出しの被覆度を制御できるモデル (被覆度制御モデル) を学習す る.この被覆度制御モデルを使用し, 被覆度と忠実性の関係を曲線で描く，具体的には，2.3 節と同様 に，制御タグによって異なる被覆度の見出しを生成 し，そこから被覆度と忠実性の関係を推定する。

訓練事例を 4 つのグループに分割する (Q1～Q4 とする). 表 3 は，分割したグループ内での被覆度の 平均を示す. Q1 が最も高く, Q2,Q3,Q4 となるにつ れて平均の被覆度が低くなる。

それぞれのグループに属する事例の記事の冒頭 に，対応する制御タグ (<Q1> <Q4>) を付与する. タ グを付与したデータで見出し生成モデルを学習す る. 生成時には，生成したい見出しの被覆度を，入力の記事に付与するタグで制御できると期待する.

各制御タグを用いて見出しを生成した結果を表 3 に示す. <Q4>タグで生成した見出しは被覆度が最も 低く，<Q1>タグで生成した見出しは最も高い。これ より，タグによる被覆度の制御ができているとわか る. また，<Q1>タグで被覆度の高い見出しを生成す ることで，高い忠実性を達成できることもわかる。 ROUGE 值に関しては，被覆度の制御だけでは，全事例を学習に用いるモデルやタグ制御モデルほどの 高い值は達成できていない。

<Q1> <Q4>の生成結果から，忠実性と被覆度の関係を推定したものが 4.2 節の図 3 となる.
 植木滉一郎 平岡達也 岡崎直観 東京工業大学 \{koichiro.ueki@nlp., tatsuya.hiraoka@nlp., okazaki@\}c.titech.ac.jp  