# 事前学習済み Transformerを用いた Data-to-text における入力順序の影響分析

矢野祐貴須藤克仁 中村哲
奈良先端科学技術大学院大学
\{yano.yuki.ytø, sudoh, s-nakamura\}@is.naist.jp

## 1 はじめに

Data-to-text は構造化データを入力として非構造化データである自然言語文を生成するタスクであ る [1]. 具体的に，構造化データは表や知識グラフ などの様々な形式で与えられ，出力はこれらの入力 を説明あるいは要約する自然言語文である。また,構造化データはいずれの形式においてもレコードの 集合として定式化する事ができる.

近年では，ニューラルネットワークを用いた モデルが高い性能を発揮しており, 特に，知識グ ラフを入力形式とするデータセットにおいては， Transformer [2] の事前学習済みモデルである T5 [3] を用いた研究が state-of-the-art の精度を達成し, 強力なベースラインとなっている $[4,5]$. 一方で，ス コアボードの表のような複雑な表形式の構造化デー タを入力とするデータセットにおいては，レコード の順序やそのコンテンツのプランニングおよび選択 が生成の精度に大きく寄与することが示され，注目 を集めている [6].

これまでの知識グラフを入力形式とする T5を用 いた研究では，知識グラフを線形化によってコンテ ンツの系列として入力する. ここで構造化データを 構成するレコードの順序は考慮されておらず，文献 [6] のような順序のプランニングも行われず，頒布されたデータセットにおける順序がそのまま利用 されている．そこで本研究では， $\mathrm{T} 5$ を用いた知識 グラフを扱う Data-to-text モデルに対し, 入力レコー ドの順序が生成文に及ぼす影響を調査する。

実験では，Data-to-text で標準的に用いられる 知識グラフとその説明文のデータセットである WebNLG [7] を用いて，T5を用いた最初の Data-totext モデル [4] に対し, 学習用およびテスト用デー タのレコードを「そのままの順序」／「シャッフル した順序」の 2 パターンで Fine-tuning および生成を行う。それぞれのパターンの生成結果を BLEU [8] などの自動評価指標で評価し，レコード順序による 生成文への影響を分析する。また，生成結果の入力 レコード数ごとの BLEU 值を比較し，その傾向につ いて考察する。評価実験の結果，レコード順序をそ のままで Fine-tuning したモデルに，レコード順序 をシャッフルしたテストデータで生成すると，そ のままの順序で生成した結果よりも，BLEU 値が低下することが分かった. 対して，レコードの順序 をシャッフルして Fine-tuning すると，既知ドメイ ンのテストデータの BLEU 值が向上することが分 かった．また，レコード数ごとの解析では，順序の シャッフルによって，少ないレコード数の入力に対 して，BLEU 值が向上することが分かった。これら の評価実験の結果を通して，T5を用いたべースラ インに対しても，入力順序のプランニングが必要で あることが分かった.

## 2 関連研究

近年複数の Data-to-text のデータセットで，Textto-text transfer Transformer (T5) が state-of-the-art の精度を達成している $[4,5]$. T5 自体は，言語生成タス ク（機械翻訳や自動要約，質問応答生成など）を Text-to-text のフレームワークで解く Transformer [2] を用いたアーキテクチャであり，Colossal Clean Crawled Corpus (C4) で事前学習したモデルを下流夕 スクである各言語生成タスクに適応することで高い 精度を示している。

文献 [4] は，Data-to-textを T5 の下流タスクとして 解くための手法を調査している．構造化データを線形化しコンテンツの系列とした入力で Fine-tuning す るだけで，従来の語彙化やその解除，レコードごと の素性の設計などの作業を必要としない，完全な End-to-end で Data-to-text を解くことができる．結果 として, WebNLG, MultiWoz, ToTToの 3 つのデータ

\begin{abstract}
Amdavad ni Gufa location Gujarat Amdavad ni Gufa location Ahmedabad Amdavad ni Gufa country India India leaderName Narendra Modi
\end{abstract}

Amdavad ni Gufa location Ahmedabad India leaderName Narendra Modi Amdavad ni Gufa country India Amdavad ni Gufa location Gujarat

図 1 レコードのシャッフルと線形化

セットで state-of-the-art の精度を達成した。

また，この調査結果を踏まえて文献 [5] では， WebNLG などのグラフを入力形式とするデータに対 して，明示的にグラフ構造を与えることでさらなる 性能向上が出来ることを示した. 具体的には，線形化の際に各コンテンツの先頭に<Head>, <Relation>, <Tail>といったグラフを示すための特殊トークンを 挿入して Fine-tuningを行う.

これらの T5による精度向上が報告されている データセットの特徴として，参照文が入力レコード のほぼすべての情報について言及している点が挙げ られる。一方で，スコアボードの表のような複雑な 表データを入力とする場合，参照文で言及されない レコードが多くなるため, 生成内容の取捨選択を含 むプランニングが有効であるとされている [6].

本研究は，ほぼすべての入力情報への言及が必要 な WebNLG データにおける，レコードの入力順序 の影響を明らかにするものである.

## 3 実験

実験では，事前学習済み Transformer である T5を 用いた Data-to-text モデルに対しても，入力レコード の順序のプランニングが必要であるかを検証する。具体的には， 入力の構造化データを図 1 に示すよう に，レコードを構成するコンテンツはそのままで，順序をシャッフルしてから線形化を行い，T5 モデ ルへの入力とする. Fine-tuning 時の学習データと,生成時のテストデータに対して, 以下の 3 つの組み 合わせで実験を行う.

・もとのレコード順序で Fine-tuning したモデル を，もとのレコード順序で生成 (def-def)

・もとのレコード順序で Fine-tuning したモデ ルを，シャッフルしたレコード順序で生成 (def-shuf)
・シャッフルしたレコード順序で Fine-tuning した モデルを，シャッフルしたレコード順序で生成 (shuf-shuf)

ここで，もとのレコード順序とは，データセット の配布ファイルに記述されているそのままのレコー ド順序である．多くの場合，その整列について明記 されていないが，例えば図 1 の左上のように，主語 でソートされていたり，目的語が “India” のレコー ド次は，主語が “India” のレコードであるなど，人為的な整列が見受けられる。

実験の結果に対して，def-def をべースラインと し, def-shuf と比較することで，モデルがデータセッ トの順序を学習しているかどうかを検証する。ま た, shuf-shuf と比較することで，人為的な整列を崩 した入力を $\mathrm{T} 5$ モデルが学習できるかどうかを検証 する．今回の実験では，shuf-shuf の Fine-tuning 時の レコードのシャッフルは，データの読み込み時に 一度のみ行い, エポックごとのシャッフルは行わ ない.

## 3.1 データセット

実験には WebNLG [7] データセットを用いる. WebNLG は, DBpedia1)から抽出された Resource Description Framework トリプル（主語，述語，目的語の 3 つ組）の集合で表現される知識グラフと，ク ラウドソーシングによって収集された対応する知識 グラフの説明文から構成されている。学習, 開発お よびテストデータはそれぞれ，18,102 対，2,268 対， 4,928 対に分かれており，さらにテストデータは，学習，開発データに含まれている既知ドメインのデー タ（2,495 対）と含まれない未知ドメインのデータ (2,433 対）に分けられている.

1) DBpedia: https://wiki.dbpedia.org/
表 1 自動評価結果. 太字は同一事前学習モデルに対するスコアの最大值を示す.

} & \multirow[b]{2}{*}{ Testset } & \multicolumn{5}{|c|}{ 既知ドメイン } & \multicolumn{5}{|c|}{ 末知ドメイン } \\

## 3.2 実験設定

先行研究 $[3,4]$ に倣い, バッチサイズを 512 , 学習率を 0.001 として，学習データによる Fine-tuning を 行う．最適化には Adafactor [9]を使用する．T5 モデ ルの語彙は，SentencePiece [10] を用いてテキストを WordPiece トークン $[11,12]$ ヘエンコードし, 語彙 サイズは 3 万 2 千としている. 事前学習された $\mathrm{T} 5$ モデルのパラメータ数は，60万（T5-Small），220万 （T5-Base）および 770 万（T5-Large）の 3 種類を使用 する.

評価には，開発データに対して BLEU 値が最も高 いエポックのモデルパラメータを用いて，テスト データに対する生成を行った結果で比較する。ま た，学習は開発データに対する BLEU の最大値が 3 回更新されなかったエポックで早期終了する. 自動評価指標には，言語生成で用いられる，BLEU, NIST, METEOR, ROUGE-L, CIDEr を使用する.

## 3.3 実験結果

実験結果を表 1 に示す. まず，既知ドメインの結果について，モデルのすべてのパラメータサイズ， すべての自動評価指標で, shuf-shuf が def-def の結果を上回っている. 反対に，モデルのすべてのパラ メータサイズ，すべての自動評価指標で，def-shuf が def-def の結果を下回っている.

次に，未知ドメインの結果について，モデルのパ ラメータサイズが T5-Small および T5-Base の場合, def-def もしくは def-shuf の結果が shuf-shuf の結果を 上回っている. 一方, モデルのパラメータサイズが T5-Large の場合には， METEOR 以外の評価指標で， shuf-shuf の生成結果が def-def および def-shuf を上回っている.

全体の結果として，既知ドメインで最も良い精度を達成したのは，モデルのパラメータサイズ T5-Base に対する shuf-shuf の生成結果であり，未知 ドメインで最も良い性能を示したのは，モデルのパ ラメータサイズ T5-Large に対する shuf-shuf の生成結果である。これらのことから，レコード順序を シャッフルして Fine-tuning することが生成文の精度向上に効果的であることが分かる.

## 3.4 考察

前節で示した結果について，既知ドメインの結果 では，シャッフルした順序で Fine-tuning することに より，順序に依存せず，各ドメインごとの汎化した 文生成を行う能力を得ることが出来たといえる.

未知ドメインの場合では，モデルのパラメータサ イズ T5-Small と T5-Base で各指標の向上が見られな かったが，これは学習したドメイン外の知識につ いて，このパラメータサイズでは，事前学習およ び Fine-tuning 時に獲得することが出来ていなかっ たといえる. そのため，もともとの人為的な順序で Fine-tuning した def-def が，生成時にもその人為的な 順序を手がかりとして生成した結果，shuf-shuf より も高い精度を示したと考えられる。

一方で，モデルのパラメータサイズ T5-Large で は，METEOR を除いて shuf-shuf が高い精度を達成 している。これは T5-small および T5-Base とは反対 に，パラメータサイズの大きい T5-Large では，事前学習および Fine-tuning の時点で未知ドメインへの 表現能力を獲得したため, 既知ドメインと同様に， シャッフルすることで順序に依存しない汎化した文生成が出来たと考えられる。
表 2 レコード数 $(n)$ ごとの BLEU 值

## 3.4.1 レコード数ごとの比較

各生成文を入力レコード数ごとに分け，個別に BLEU を計算した。表 2 に，その計算した BLEU 值 を示す。また，学習用データおよびテストデータの レコード数ごとの件数と, その平均レコード数を 表 3 に示す.

既知ドメインのレコード数 $n \leq 5$ のデータに対し て，すべての設定において，shuf-shuf は def-def あ るいは def-shuf よりも高い精度を示す傾向がみられ た. 一方で, 既知ドメインのレコード数 $n=6,7$ で は，def-def および def-shuf に対する shuf-shuf の有効性は陽に見られなかった.このことから，シャッフ ルして学習するだけでは, 学習データの平均値の倍以上のレコード数をもつ入力に対しての表現方法 を獲得することが出来ず，未知ドメインにおける T5-Small や T5-Base と同様に，もとの順序情報が生成の手助けをしたことで def-def の生成が高い精度 を示したと考えられる。

未知ドメインのレコード数 $2 \leq n \leq 4$ では，表 1 の未知ドメインの結果に対する考察と同様の事が 言える. しかし, レコード数 $n=1$ では, T5-Small および T5-Base においても shuf-shuf が高い精度を示 している.この結果から，もとのレコード順序で
Fine-tuning することは，単一レコードに対する文生成の精度を犠牲にした上で複数レコードを持つ入力を学習していると考えられる. 反対に，レコード 数 $n=5$ では, T5-Large においても shuf-shuf による 精度向上が見られない. 加えてレコード数 $n=4$ に ついても， $1 \leq n \leq 3$ の精度向上に比べて低い.これ らは，学習データの平均レコード数 $n=2.97$ を中心 にシャッフルによる汎化性能を獲得したため，既知 ドメインのレコード数 $n=6,7$ と同様に，レコード 数をもつ入力に対してはレコードの順序情報が文生成に大きく影響していると考える.

実験全体を通した結果から，レコード順序を シャッフルして入力することがデータ拡張になって いるとも考えられ，今後さらに検証が必要である。

## 4 おわりに

本稿では，T5を用いた Data-to-text モデルに対し，入力レコードの順序が生成文に及ぼす影響について 検証した。自動評価指標による評価実験を通じて， T5 モデルが Fine-tuning 時にレコード順序も同時に 学習することを確認し，モデルのパラメータサイズ が十分大きい場合，レコード順序をシャッフルして Fine-tuning すると生成文の精度が向上することを確認した. 今後は, Fine-tuning 時にエポックごとでレ コード順序をシャッフルした場合の T5 モデルの挙動の検証や，T5 モデルおよび知識グラフを入力形式とする場合の適切な順序のプランニング手法の考案などをしていきたい。

## 謝辞

本稿の研究は，株式会社ウェザーマップの助成を 受けた。

## 参考文献

[1] Ehud Reiter and Robert Dale. Building Natural Language Generation Systems. Cambridge University Press, 2000.

[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proc. of NIPS 2017, pp. 5998-6008, 2017.

[3] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[4] Mihir Kale and Abhinav Rastogi. Text-to-text pre-training for data-to-text tasks. In Proc. of INLG 2020, pp. 97-102, 2020.

[5] Leonardo F. R. Ribeiro, Martin Schmitt, Hinrich Schütze, and Iryna Gurevych. Investigating pretrained language models for graph-to-text generation. arXiv:2007.08426, 2020.

[6] Ratish Puduppully, Li Dong, and Mirella Lapata. Datato-text generation with content selection and planning. In Proc. of AAAI 2019, pp. 6908-6915, 2019.

[7] Claire Gardent, Anastasia Shimorina, Shashi Narayan, and Laura Perez-Beltrachini. The WebNLG challenge: Generating text from RDF data. In Proc. of INLG 2017, pp. 124-133, 2017.

[8] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proc. of ACL 2002, pp. 311-318, 2002.

[9] Noam Shazeer and Mitchell Stern. Adafactor: Adaptive learning rates with sublinear memory cost. In Proc. of ICML 2018, Vol. 80, pp. 4603-4611, 2018.

[10] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proc. of EMNLP 2018, pp. 66-71, 2018.

[11] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proc. of ACL 2016, pp. 1715-1725, 2016.

[12] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proc. of ACL 2018, pp. 66-75, 2018.


# QA Lab-Polilnfo-3 における質問と答弁の対応付け

小川泰弘
名古屋大学
yasuhiro@is.nagoya-u.ac.jp
秋葉友良
豊橋技術科学大学
}

木村 泰知

小樽商科大学

渋木 英潔
国立情報学研究所
}

kimura@res.otaru-uc.ac.jp

横手 健一

日立製作所

石下円香
国立情報学研究所

## 1 はじめに

近年，政治にまつわるフェイクニュースが社会的 な問題とされてきている. 2016 年のアメリカ大統領選挙の頃から，信憑性の低い情報がソーシャルメ ディアを介して拡散され，民意の形成に偏りを生じ させることが懸念されている. また，政治家の発言自体も信憑性や根拠に欠ける場合があり，それらの 発言に対するファクトチェックも求められている.

また日本においても，新型コロナウイルスへの対策について，国会や地方議会で検討され，その内容 が報道されるが，取り上げられる内容は限られてい る.そのため,「○○について議論していない」の ような事実に反する批判が起きたりする。

こうした状況を踏まえ，政治に関わる自然言語処理研究が注目されてきており, EuroParl Corpus[1] や UK Hansard Corpus ${ }^{1}$ などが，言語資源として利用さ れている. しかしながら，日本語を対象とした研究 データが少ないことに加えて，議会における議員の 発言を対象とした研究や，議会における政策形成の ための議論を対象とした研究は進んでいない.

これらの問題を解決することを目指して，我々 は評価型ワークショップ $\mathrm{NTCIR}^{2}$ において QA Lab-PoliInfo を実施してきた. 2018 年から 2019 年に は，NTCIR-14 QA Lab-PoliInfoを，2019 年から 2020 年にかけては，NTCIR-15 QA Lab-PoliInfo-2を開催し た. 2021 年から始まる NTCIR-16においても，引き 続き QA Lab-PoliInfo-3 を提案している.

QA Lab-PoliInfo-3 においては, Question Answering, Budget Argument Mining, Fact Verification, QA Alignment の四つのサブタスクをを提案しているが，本稿においては，会議録中の質問と答弁を対応付ける

QA Alignment について紹介する.

本稿では，まず第 2 節で NTCIR における QA Lab タスクの背景について述べた上で，第 3 節で QA Alignment の提案理由を述べる. 第 4 節以降では, QA Alignment のデータフォーマット，参加者のタス ク，正解データの作成方法，評価方法について，そ れぞれ述べる。第 8 節は，本稿のまとめである.

## 2 QA Lab-Polilnfo タスク

QA Lab-PoliInfo は，政治情報を対象としたサブ タスクを質問応答の枠組みで捉えたものとして， NTCIR-14 において開催した。地方議会会議録コー パス [2]を対象に，議会発言における議員の意見や その根拠，立場などを抽出し，議論の構造を明確に して，関係性などを理解しやすいように整理して提示することを最終的な目標としている。

NTCIR-14 においては, Segmentation, Summarization, Classification の三つのサブタスクを実施した. Segmentation は，要約して引用された議会中の発言 に対して，会議録の引用元の範囲を特定することを 目指したサブタスクである. Summarization は，会議録中の特定の範囲から，発言者の意図が誤解され ないように指定された文字数の範囲内で要約文を 生成するサブタスクである. Classification は，議会 における発言に，政治課題に対する意見が含まれる か，意見に対する事実検証可能な根拠が示されてい るかを分類するサブタスクである．QA Lab-PoliInfo タスクには，15 組のチームが参加した [3][4].

NTCIR14 QA Lab-PoliInfo の成果と問題点を踏ま えて，NTCIR-15 においては，QA Lab-PoliInfo-2 とし $\tau$, 当初は Stance Classification, Dialog Summarization, Entity Linking の三つのサブタスクを実施し，追加 で Topic Detection のサブタスクを実施した. Stance Classification は，各議案に対する議員の発言から，

その所属会派の議案への賛否を推定するサブタスク である. Dialog Summarization は，一括質問一括答弁 の形式の会議録の内容を, 質問と答弁の対応を考慮 して要約するサブタスクである. Entity Linking は，会議録中の発言から，表記摇れや瞹昧性の問題を解決しながら，法律名を抽出するサブタスクである。 Topic Detection は，会議録から質疑応答のトピック を抽出するものである. QA Lab-PoliInfo-2 の本テス トには， 14 組のチームが参加した [5].

我々は，これまでの成果と問題点を踏まえ， NTCIR-16 において QA Lab-PoliInfo-3 を提案して いる.これは, Question Answering, Budget Argument Mining, Fact Verification, QA Alignment の四つのサ ブタスクを含んでいる. Question Answering は, 会議録の質問の要約が与えられたとき，対応する答弁の 要約を生成するサブタスクである. Budget Argument Mining は，予算項目や金額が与えられたときに，会議録中からそれについて議論している部分を抽出す るとともに，その内容の議論ラベル（決定事項，例示，事実など）を判定するサブタスクである．Fact Verification は，要約と会議録が与えられたとき，そ の要約の内容が本当に会議録中に存在するかを判定 し，存在する場合はその範囲を特定するサブタスク である. QA Alignment は一括質問一括答弁の形式に おける質問と答弁を対応付けるものであり，本稿に おいて説明する。

## 3 QA Alignment $の$ 提案理由

本節では，QA Alignment の前提となるDialog Summarization と Topic Detection について述べた後, QA Alignment の提案理由を述べる.

## 3.1 Dialog Summarization

政治家の発言の信憑性を判断するためには，政治課題に関する議論がどのように行われているのか 知る必要があり，議論をしている相手の発言や文脈 を考慮しなければならない. 政治課題に関する議論 は議会において行われており, 議会会議録として質問や答弁が残されている. しかしながら，議会会議録は発言を書き起こした文書であり，まとめられて おらず読みづらいという問題がある. 特に，東京都議会をはじめとする多くの地方議会では，一問一答形式ではなく，一括質問一括答弁形式がとられてお り, 質問と答弁が離れた位置に存在する。また, 質問に対して，知事だけでなく，総務部長や教育長の
ような他の出席者が答弁する場合がある.

そうした問題点を解消し，「議員の質問」と「知事側の答弁」という対話構造を考慮しながら要約する ことを目標とした, Dialog Summarization のサブタス クを QA Lab-PoliInfo-2 では実施した.

## 3.2 Topic Detection

議会においては様々なテーマについて議論され るが，そのすべてが報道される訳ではない，そのた め，実際には議会で扱われているのにもかかわら ず，議論されてないといった批判が起きることがあ る. 例えば昨年は，「野党は新型コロナについて議論せず，云々」といったデマが流れたが，これも一種のフェイクニュースと言える。

そうした問題を解決するために，議会においてど のようなトピックが扱われたのかを検出する Topic Detection のサブタスクを，QA Lab-PoliInfo-2 では追加で実施した。このタスクはパイロットタスクとい う位置付けであり，トピックの定義についてはタス クオーガナイザ側で定義せず，参加者それぞれが考 えるものとした. 特にトピックの粒度は大きな課題 である。このタスクでは，令和 2 年度東京都議会会議録からのトピック抽出を実施したが，ほとんどの 質疑応答は，「新型コロナ」に関連するものである. そのため，トピックを単に「新型コロナ」とするだ けでは不充分であり，その中に含まれるサブトピッ クの検出も必要になる. その場合, 最も基本となる サブトピックの粒度は何かという点が問題になる. それに対して，ここでは一つの質疑応答には一つの 基本トピックが含まれると考える。一つの質疑応答 に複数のトピックが含まれる場合は例外とする。

その際に問題となるのは，何をもって一つの質疑応答と定義するかである.ここで注目するのは，会議録の答弁の冒頭において頻出する「○点のご質問 にお答えいたします。」という定型表現である。東京都議会会議録において，知事以外の答弁者が複数 の質問に回答する場合，冒頭でこの発言をすること が多い. すなわち，答弁者が質問の個数を認識した 上で回答していると言える。

## 3.3 QA Alignment

以上のように，Dialog Summarization および Topic Detection のサブタスクにおいては，一括質問一括答弁形式の構造を解析し, 質問と答弁を対応付ける前処理が必要になると考えられる。しかし，実際に
表 1 会議録の形式 (JSON 形式のキー)

は，タスクの参加者は質問と答弁を対応付けをする ことなく，各タスクに取り組んだ。

その理由としては, end-to-end な手法が現在の主流であること，対応付けをしなくてもそれなりの性能が得られたこと, 対応付けの正解が与えられてい ないことが考えられる. しかし最後に関しては，夕 スク参加者からの指摘で，東京都議会の「本会議 ネットリポート3)」の存在が判明した.これは都議会会議録とは別に公開されており，その中で質問と 答弁が対応付けられている．そこで今回は，この ネットリポートを正解とし，質問と答弁を対応付け を自動的に実行するタスクを提案する.

## 4 データ形式

表 1 は，過去の QA Lab-PoliInfo および QA LabPoliInfo-2において，都議会会議録のデータとして提供した JSON 形式のデータの形式である. 今回の正解データは，表 1 のデータに，以下の三つのキーを 追加したものである.

QuestionerID: 質問および答弁が，どの質問者に関 するものかを示す. 一括質問一括答弁形式のた め，ある議員が質問した場合，その議員の発言 とそれに対するすべての答弁で同じ值になる。

QorA：值は $\mathrm{Q}, \mathrm{A}, \mathrm{O}$ であり，発言者が質問者か，答弁者か，それ以外 (議長など) かをそれぞれ示 す. 発言内容は問わない。

QAID: 值は非負整数. 対応する質問と答弁に同じ 值を付与する．なお，0 は特別な值であり，質問でも答弁でもない発言を示す.

QAIDが 0 になるのは，以下のような場合である.

まず，答弁者の冒頭にある「○点のご質問にお答 えいたします。」などの発言. これは，特定の質問 に対応する答弁ではなく，対応する質問がないた め，QAID の值を 0 とする。なお，こうした発言は ネットリポートには掲載されていない。

3) https://www.gikai.metro.tokyo.jp/netreport/次に，質問者の発言に，質問でないものが含まれ る場合．例えば，以下のような発言がある。

なお、売電を目的とする大規模な天然ガス発電所の新規建設に当たっては、… 都は土地の提供程度にとどめておくべきであると、この場で 申し上げておきます。

これは意見を述べているだけであり，対応する答弁 は存在しない。なお，ネットリポートでは，こうし た発言は質問のタグが付かずに掲載されている.

## 5 参加者のタスク

テストデータにおいては，上記のキーのうち， QAID 以外はすべてタスクオーガナイザ側から提供 する。これは，今回新規に追加した QuestionerID お よび QorA の值については，発言者の役職などの情報から容易に特定でき，本タスクの本質ではないた めである．よって，参加者のタスクは一括質問一括答弁を適切に分割し，対応付けをすることである。

タスクとしては，質問数が少なく，答弁者も一人 であれば比較的容易であるが，質問数が多くなり， さらに答弁者の人数も多くなると難易度が上がる.東京都議会では，代表質問と一般質問があり，代表質問は一般質問よりも多くの質問がなされる.

実際の対応付けの例を表 2 に示す.これは，平成 23 年第 2 回定例会での山下太郎議員の代表質問への 対応付けの例である. 山下議員の質問は 42 個あり, それに対応する答弁者は知事を含め全部で 12 人で あった. QAID は，各答弁者がどの質問に回答した のかを示している. 表 2 から分かる通り，答弁は必 ずしも連続する質問に対応する訳ではない．特に知事の答弁は飛び飛びの質問に対応する傾向がある.

## 6 正解データの作成

正解データは，タスクオーガナイザ側で，都議会会議録のデータとネットリポートのデータを突合す ることで作成した. 基本的には，ネットリポートの 内容は会議録の発言を並び替えただけであるため，突合は容易であった．ただし，会議録の答弁の冒頭 に「次に、○○についてでございますが」という発言がある場合，ネットリポートでは「次に、の部分が削除されていた. また，一部に全角半角の相違 がみられた．そのため，単純な完全一致で対応する 発言が見つからない場合，ルーズなマッチにより対
表 2 質問と答弁の対応付け

表 4 表 3 をalignment に変換した結果

表 3 対応付けの正解と出力結果の例

応付けを実施した。なお，第 4 節で述べたように，「○点のご質問にお答えいたします。」といったネッ トリポートで省かれている発言や，対応する答弁が ない質問については，QAIDを 0 とした。

## 7 評価方法

タスクの評価には文献 [6] などで提案される単語

して説明する。

表 3 は 19 文からなる質疑応答がどのように対応 しているかを示した例であり，QAID の值で対応付 けが示されている。ここで，正解データと評価対象 となるシステム出力では，異なる対応付けを行って いる. 正解データでは質問は 4 個であり，例えば文 1, 2, 3 で一つの質問を形成し，それに対応する答弁 が文 $12,13,14$ であることを示している。一方，シ ステム出力では，質問は 5 個であり，正解データ
の最初の質問が二つに分割されている. システム 出力を正解データと比較するために alignment を以下のように考える。例えば，システム出力の文 1,2 の 2 文と文 12,13 の 2 文が対応しているが，この 場合, alignment としては，1-12, 2-12, 1-13, 2-13で,合計 4 個 $(2 \times 2)$ あると考える. 正解データの最初 の質問は， 3 文と 3 文が対応しているので，計 9 個 の alignment ができる. 表 3 の対応付けから変換で きる alignment をすべて示したものが表 4 である. alignment に変換することにより，正解データとシス テム出力で異なる QAID が付与された場合にも対処可能となる．実際，表 3 の例では，正解データの文 10, 19 の QAID が 4 であるのに対して，システム出力では 5 であるが，表 4 に示す alignment では同じ 10-19として検出されている.

この alignment を元に適合率，再現率，F 值を計算 し, 評価に用いる。この例では, 適合率 $78.5 \%(11 / 14)$,再現率 $64.7 \%(11 / 17), \mathrm{F}$ 值 $71.0 \%$ となる.

## 8 おわりに

本稿では，NTCIR-16において提案している QA Lab-PoliInfo-3 におけるQA Alignment タスクの概要及び，データセット，評価方法について述べた.

QA Lab-PoliInfo-3 が採用された場合は，2021 年 7 月にデータのリリースを行い, 予備テスト (Dry Run)，本テスト (Formal Run)を実施後，2022 年 6 月 に本会議を開催する予定である。公式サイトでは， リーダーボードを用いて参加者の結果を随時掲載す るだけでなく，TOチームによる実行プログラムな どを公開していく予定である.

## 参考文献

[1] Philipp Koehn. Europarl: A parallel corpus for statistical machine translation. In MT summit, Vol. 5, pp. 79-86. Citeseer, 2005.

[2] Yasutomo Kimura, Keiichi Takamaru, Takuma Tanaka, Akio Kobayashi, Hiroki Sakaji, Yuzu Uchida, Hokuto Ototake, and Shigeru Masuyama. Creating Japanese political corpus from local assembly minutes of 47 prefectures. In Proceedings of the 12th Workshop on Asian Language Resources (ALR12), pp. 78-85, 2016.

[3] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Kotaro Sakamoto, Madoka Ishioroshi, Teruko Mitamura, Noriko Kando, Tatsunori Mori, Harumichi Yuasa, Satoshi Sekine, and Kentaro Inui. Final report of the NTCIR-14 QA Lab-PoliInfo task. In NII Testbeds and Community for Information Access Research - 14th International Conference, NTCIR 2019, Tokyo, Japan, June 10-13, 2019, Revised Selected Papers, pp. 122135,2019

[4] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Kotaro Sakamoto, Madoka Ishioroshi, Teruko Mitamura, Noriko Kando, Tatsunori Mori, Harumichi Yuasa, Satoshi Sekine, and Kentaro Inui. Overview of the NTCIR-14 QA Lab-PoliInfo task. In Proceedings of the 14th NTCIR Conference, 2019.

[5] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mitamura, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, Kenji Araki, Satoshi Sekine, and Noriko Kando. Overview of the NTCIR-15 QA Lab-PoliInfo-2 task. Proceedings of The 15th NTCIR Conference, 2020.

[6] Rada Mihalcea and Ted Pedersen. An evaluation exercise for word alignment. In Proceedings of the HLT-NAACL 2003 Workshop on Building and using parallel texts: data driven machine translation and beyond, pp. 1-10, 2003.


# トピック文生成による教師なし意見要約

磯沼 ${ }^{1}$ 森 純一郎 ${ }^{1}$ ボレガラダヌシカ ${ }^{2}$ 坂田 一郎 ${ }^{1}$
1 東京大学 2 リヴァプール大学
\{isonuma, isakata\}@ipr-ctr.t.u-tokyo.ac.jp
mori@mi.u-tokyo.ac.jp danushka@liverpool.ac.uk

## 1 はじめに

近年、 $\mathrm{EC}$ 上の商品レビューや SNS 投稿の急激な 増加により、それらに含まれる意見を集約し、知見 として利用する取り組みが注目されている。こうし た意見文書の要約では、抽出型要約よりも言い換え や一般化を交える生成型要約がより有効なことが知 られているが $[1,2]$ 、既存の生成型要約手法はほぼ 全て教師ありアプローチであり、大量の参照要約の 用意が困難な意見文書への適用方法が課題となって いる。こうした経緯から、近年意見文書に対する教師なし生成型要約が着目されている $[3,4,5]$ 。

教師なしアプローチでは、要約の潜在表現を参照要約なしにいかに獲得するかが鍵となるが、本研究 では多様な詳細度合いを持つトピックを捉えるこ とで要約文を生成する。例えば図 1 に示したあるレ ビューの要約は、「料理」、「サービス」、「場所」の 各トピックについて詳述し、最後は「全体」につい て述べている。このように、要約は多様なトピック で構成され、あるトピックは詳述され、他のトピッ クは簡潔に記述されていることが観察される。そこ で本研究では、文書から木構造上のトピックを推定 し、根からは全体的な、葉に近づくにつれより詳細 なトピックに関する要約文（トピック文）を生成す る。トピック文から、要約として相応しいトピック と詳細度合いを持つ文を選択することで、意見文書 の要約が教師なしに得られることを示す。抽出型要約においては、トピック [6,7] やその木構造 $[8,9]$ の 有効性が従来研究で示されているが、本研究はそれ らの教師なし生成型要約への応用を提案する。

トピック文生成の文脈では、Wang らは文書中の 文の潜在分布を混合ガウス分布で表現すると、その 構成要素である各単峰ガウス分布がトピック文の潜在分布として機能することを明らかにした [10]。一方、本研究のように多様な詳細度合いを持つトピッ ク文を生成するためには、文の詳細度合いを潜在空

図 1 本研究の概要。右側はあるレストランレビューの人手要約であり、各文が木構造上の各トピックに対応する ことがわかる。トピック文の潜在分布の分散は葉に近づ くほど小さくなり、より具体的なトピックに対応する。

間上でモデル化する必要があり、その方法は明らか でない。そこで本研究では、トピック文の潜在表現 をガウス分布で表現する際に、子の分布の分散が親 よりも小さくなるようにモデルを構築することで、葉に近づくにつれより詳細な文を生成する（図 1)。単語の潜在分布としてガウス分布を用いる Gaussian word embedding では、「犬」のような具体的な単語 は、「動物」といった一般的な単語よりも小さい分散を持つことが示されている [11]。文においても同様に、具体的な文は意味の分散が小さいため、その 潜在分布は分散が小さいと考えられる。子の分布の 分散を親よりも小さくするために、本研究では再帰的混合ガウス分布（再帰的 GMM）を文書中の文の 潜在表現の事前分布として導入する。再帰的 GMM は、木構造上の各トピックに対応するガウス分布で 構成され、子の事前分布に親の事後分布を設定して 構築される。これにより、根の潜在分布の分散は大 きく、葉に近づくにつれ分散は小さくなる。評価実験では、提案法の要約性能が既存の教師な し生成型要約手法と競合することを確認した。ま た、トピック文の詳細度合いはその潜在分布の分散 の大きさに依存し、葉に近づくほど分散が小さく、 より具体的な文が生成されることを示した。

図 2 提案法概要。文書の文の事前分布に再帰的 GMM を、それを構成するガウス分布をトピック文の事前分布に設定。

## 2 提案法

本節では、文書からトピック文を生成し、要約を 得る方法を説明する。提案法の概要を図 2 に示す。

## 2.1 文書の生成過程

提案法では以下の文書の生成過程を仮定する。各文書インデックス $d \in\{1, \ldots, D\}$ について:

文書 $d$ の各文インデックス $s \in\left.\{1, \ldots, S_{d}\right.\}$ について:

1. 文のトピック $z_{s} \in\{1,11,12, \ldots, K\}$ をサンプル:

$
z_{s} \sim \operatorname{Mult}(\boldsymbol{\theta})
$

2. 文の潜在表現 $x_{s} \in \mathbb{R}^{H}$ をサンプル:

$
\boldsymbol{x}_{s} \mid z_{s} \sim \prod_{k=1}^{K} p\left(\boldsymbol{x}_{s} \mid z_{s}=k\right)^{\delta\left(z_{s}=k\right)}
$

3. 尤度が最大となる文 $\boldsymbol{w}_{s}=\left(w_{s}^{1}, \ldots, w_{s}^{N_{s}}\right)$ を得る。

$
\boldsymbol{w}_{s} \mid \boldsymbol{x}_{s}=\arg \max _{\boldsymbol{w}_{s}} p\left(\boldsymbol{w}_{s} \mid \boldsymbol{x}_{s}\right)
$

ただし、 $p\left(\boldsymbol{w}_{s} \mid \boldsymbol{x}_{s}\right)=\prod_{n=1}^{N_{s}} p\left(w_{s}^{n} \mid \boldsymbol{w}_{s}^{<n}, \boldsymbol{x}_{s}\right)$ は RNN で得 る。トピック分布は木構造上に定義され、その事前分布を一様分布に設定する $: \theta_{k}=K^{-1}$ 。文書中の文 の事前分布として再帰的 GMM を設定し (2)、各要素はトピック文の事前分布 $p\left(\boldsymbol{x}_{s} \mid z_{s}=k\right)$ に対応する：

$
\begin{aligned}
p\left(\boldsymbol{x}_{\boldsymbol{s}} \mid z_{s}=1\right) & =N\left(\boldsymbol{x}_{s} \mid \boldsymbol{\mu}_{0}, \boldsymbol{\Sigma}_{0}\right) \\
p\left(\boldsymbol{x}_{\boldsymbol{s}} \mid z_{s}=k\right) & =q\left(\boldsymbol{x}_{\boldsymbol{s}} \mid z_{s}=\operatorname{par}(k)\right) \\
& =N\left(\boldsymbol{x}_{s} \mid \hat{\boldsymbol{\mu}}_{d, \operatorname{par}(k)}, \hat{\boldsymbol{\Sigma}}_{d, \operatorname{par}(k)}\right)(k \neq 1)
\end{aligned}
$

ただし、 $\operatorname{par}(k)$ はトピック $k$ の親を示す。 $q\left(\boldsymbol{x}_{\boldsymbol{s}} \mid z_{s}=\right.$ $\operatorname{par}(k))$ は親トピック文の推定事後分布であり、子 トピック文の事前分布として設定される。

この時、文書の尤度とその対数の変分下限は、そ れぞれ下記式で表される：

$
\begin{aligned}
p\left(\boldsymbol{W}_{1: S_{d}}\right)= & \prod_{s=1}^{S_{d}}\left.\{\int p\left(\boldsymbol{w}_{s} \mid \boldsymbol{x}_{s}\right) p\left(\boldsymbol{x}_{s} \mid z_{s}\right) p\left(z_{s}\right) d \boldsymbol{x}_{s} d z_{s}\right.\} \\
L_{d} & =\sum_{s=1}^{S_{d}}\left.\{\mathbf{E}_{q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right)}\left[\log p\left(\boldsymbol{w}_{s} \mid \boldsymbol{x}_{s}\right)\right]-\mathrm{D}_{\mathrm{KL}}\left[q\left(z_{s} \mid \boldsymbol{w}_{s}\right) \mid p\left(z_{s}\right)\right]\right.\} \\
& -\sum_{k=1}^{K} \sum_{s=1}^{S_{d}}\left.\{\hat{\theta}_{s, k} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right) \mid p\left(\boldsymbol{x}_{s} \mid z_{s}=k\right)\right]\right.\}
\end{aligned}
$

ただし $q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right)=N\left(\boldsymbol{x}_{s} \mid \hat{\boldsymbol{\mu}}_{s}, \hat{\boldsymbol{\Sigma}}_{s}\right)$ は文 $s$ の潜在表現の事後分布で、 $\operatorname{RNN} f_{\mu}, f_{\Sigma}$ により推定される。 $\hat{\theta}_{s, k}=q\left(z_{s}=k \mid \boldsymbol{w}_{s}\right)$ はトピック分布の事後分布であ り、本研究では木構造ニューラルトピックモデル （TSNTM [12]）により推定する（A. 1 節にて詳述）。

## 2.2 トピック文の生成

トピック文の潜在表現の事後分布を式 (8) で与え、 $\sum_{s=1}^{S_{d}} \mathbf{E}_{q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right) q\left(z_{s} \mid \boldsymbol{w}_{s}\right)}\left[\log q\left(\boldsymbol{x}_{s} \mid z_{s}\right)\right]$ を最大化するパラ メータを EMアルゴリズムのＭ ステップで得る：

$
\begin{aligned}
& q\left(\boldsymbol{x}_{s} \mid z_{s}\right)=\prod_{k=1}^{K} N\left(\boldsymbol{x}_{s} \mid \hat{\boldsymbol{\mu}}_{d, k}, \hat{\boldsymbol{\Sigma}}_{d, k}\right) \delta\left(z_{s}=k\right) \\
& \hat{\boldsymbol{\mu}}_{d, k}=\frac{\sum_{s=1}^{S_{d}} \hat{\theta}_{s, k} \mathbf{E}_{q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right)}\left[\boldsymbol{x}_{s}\right]}{\sum_{s=1}^{S_{d}} \hat{\theta}_{s, k}}=\frac{\sum_{s=1}^{S_{d}} \hat{\theta}_{s, k} \hat{\boldsymbol{\mu}}_{s}}{\sum_{s=1}^{S_{d}} \hat{\theta}_{s, k}} \\
& \hat{\boldsymbol{\Sigma}}_{d, k}=\frac{\sum_{s=1}^{S_{d}} \hat{\theta}_{s, k} \mathbf{E}_{q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right)}\left[\left(\boldsymbol{x}_{s}-\hat{\boldsymbol{\mu}}_{d, k}\right)\left(\boldsymbol{x}_{s}-\hat{\boldsymbol{\mu}}_{d, k}\right)^{\top}\right]}{\sum_{s=1}^{S_{d}} \hat{\theta}_{s, k}} \\
&=\frac{\sum_{s=1}^{S_{d}} \hat{\theta}_{s, k}\left.\{\hat{\boldsymbol{\Sigma}}_{s}+\left(\hat{\boldsymbol{\mu}}_{s}-\hat{\boldsymbol{\mu}}_{d, k}\right)\left(\hat{\boldsymbol{\mu}}_{s}-\hat{\boldsymbol{\mu}}_{d, k}\right)^{\top}\right.\}}{\sum_{s=1}^{S_{d}} \hat{\theta}_{s, k}}
\end{aligned}
$

これらトピック文の事後分布の平均から、各文書毎 にトピック文を生成する : $\hat{w}_{d, k} \sim \operatorname{RNN}\left(\hat{\mu}_{d, k}\right)$ 。既存研究 [4] と同様に、潜在分布の平均を用いることで、各トピックの要約文が得られることを期待する。
表 1 評価データセットにおける各モデルの ROUGE（F1）値（\%)。

## 2.3 Gaussian Word Embedding との関連

こうして得られたトピック文が、上位トピック ほどより一般的な内容になることを Gaussian Word Embedding との関連を交えて説明する。親子関係に あるトピック文の事後分布間の KL ダイバージェン ス（KLD）は、式 (7) に示した変分下限の $\boldsymbol{x}_{s}$ に関す る項によって上から抑えられる（A.2 節にて証明）。

$
\begin{aligned}
& \sum_{s=1}^{S_{d}} \hat{\theta}_{s, k} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right) \mid p\left(\boldsymbol{x}_{s} \mid z_{s}=k\right)\right] \\
& \geq \sum_{s=1}^{S_{d}} \hat{\theta}_{s, k} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{x}_{s} \mid z_{s}=k\right) \mid p\left(\boldsymbol{x}_{s} \mid z_{s}=k\right)\right] \\
&= \sum_{s=1}^{S_{d}} \hat{\theta}_{s, k} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{x}_{s} \mid z_{s}=k\right) \mid q\left(\boldsymbol{x}_{s} \mid z_{s}=p a r(k)\right)\right]
\end{aligned}
$

一方、Gaussian word embedding では、単語のタク ソノミー上において、親と子の潜在分布間の KLD を最小化することで、「動物」といった一般的な単語の分散は大きく、「犬」や「猫」などの具体的な単語の分散は小さくなることが報告されている [11]。 これは「動物」は「犬」を指すことも「猫」を指す こともあり、意味の分散が大きいと説明できる。本研究も同様に、変分下限の最大化により、親子の潜在分布間の KLD の上界が最小化され、親トピック 文の分散は大きく、子トピック文の分散が小さくな る。これも例えば、“I love this restaurant." など全体的 な内容に関する文は、「料理」を指すことも「サービ ス」を指すこともあり、意味の分散が大きくなると 説明できる。したがって、上位トピックほど潜在分布の分散が大きく、より一般的な文が生成される。

## 2.4 トピック文の抽出

最後に、生成されたトピック文から要約に適切な 文を抽出する。既存研究 [3] では、要約候補と入力文書間の ROUGE 值は、参照要約との ROUGE 値と 高い相関があり、参照要約が存在しない状況下での 要約候補評価に有用なことが報告されている。この 知見をもとに、入力文書との ROUGE-1 (F1)を最大化するトピック文集合をビーム探索で選択する。

参照要約: The food here is fantastic, easily the best sub sandwiches in the Arizona area. The shop is local and family run, so I definitely choose it over a lot of the large national chains that are all around town. The staff are extremely friendly and will always go above and beyond in creating a delicious sandwich for you. You will not be let down by the great food that they make here!

図 3 レストランレビューから生成された要約例。

## 3 実験

## 3.1 実験設定

本実験では、Yelp と Amazon のレビューとそれを 人手で要約した評価用データ $[3,4]$ を用いて、複数文書要約生成タスクにおける性能評価を行っ た。ベースラインには、各文書の先頭の文を抽出す るMulti-Lead-1 に加え、教師なし抽出型手法である LexRank [13] と Opinosis [14]、及び教師なし生成型手法の MeanSum [3] と Copycat [4] を用いた。エンコー ダ・デコーダには GRU-RNN を用い、木構造は 3 階層で固定され、それぞれの親トピックは 4 つの子ト ピックを持つ。詳細な設定は A. 3 節にて補足する。

## 3.2 要約生成の性能評価

表 1 に、評価データにおける ROUGE 値を示す。太字はモデルの内最大値を、下線は最大値との差が approximate randomization test において統計的に有意 とは言えない $(p<0.05)$ ことを示す。いずれのデー タセットにおいても、ほぼ全ての評価指標におい て、提案法は MeanSum を上回り、最新の教師なし 要約モデルである Copycat に対しては競合する性能 が得られた。図 1 に示したレビューについて、実際 に生成された要約を図 3 に示す。参照要約は「料理」「サービス」、「場所」について述べており、実

図 4 主成分分析により 2 次元空間において表したトピック文の潜在分布。各点は潜在分布の平均を示しており、それぞ れの円は平均からのマハラノビス距離が等しい座標群を示す。

表 2 トピック文の平均類似度（高いほど類似）。

表 3 トピック文の詳細度合い（高いほど詳細）。

際に得られた要約においても同様のトピックについ て述べていることが分かる。また、参照要約の最後 の文は、結論として料理の美味しさに関して述べて いるが、提案法も同様に根トピックから料理の美味 しさに関する内容のトピック文を生成している。

## 3.3 トピック文と木構造の定量分析

得られたトピック文と木構造について、以下 $2 \supset$ の観点から、定量的な分析を行った。

親子間類似度 親子関係にあるトピック文は類似 するトピックについて述べていることが望ましい。 この特性を確認するために、親子ぺアと非親子ペア のトピック文の類似度を、semantic textual similarity タスク [15] で最高精度を達成している ALBERT [16] を用いて評価した。表 2 に示すように、親子関係に あるトピック文は、親子でないトピック文のペアよ り類似していることが確認された。

階層毎の詳細度合い 提案法では、階層が深くな るにつれ、トピック文の内容がより具体的になるこ とを期待している。この特性を検証するために、文 の詳細度合い推定タスク [17] にて ALBERTを学習 し、各階層のトピック文の詳細度合いを計測した。表 3 に示すように、階層が深いほど詳細度合いは高 く、上位トピックからは一般的な、下位トピックか らは詳細な内容の文が生成される傾向を確認した。表 4 各階層における分散共分散行列の行列式の対数。

## 3.4 トピック文の潜在分布の分析

図 4 に、あるレストランレビューに関するトピッ ク文の潜在分布について、その主成分べクトル空間 を可視化した。仮説通り子トピック文の潜在分布は 親のトピック文の分布に近い位置にあり、親子関係 にあるトピック文が類似したトピックを持つもの と考えられる。また表 4 に示すように、各階層にお ける分散共分散行列の行列式の対数は、階層が深く なるにつれ小さくなることが確認された。したがっ て、葉に近づくにつれ潜在分布の分散が小さくな り、具体的な文が生成されることがわかる。

## 4 おわりに

本研究では、文書から木構造上のトピックを推定 し、トピック毎に要約文を生成することで、意見文書の要約が教師なしに得られることを示した。評価実験において、提案法の性能は最新の教師なし生成型要約手法と競合することを確認した。また、根の 文の潜在分布は分散が大きく一般的な文が生成され る一方、葉に近づくにつれ分散が小さくなり具体的 な文が生成されるといった特性を確認した。これは 単語の潜在表現にガウス分布を用いた Gaussian word embedding にて報告された特性と類似しており、要約のみならず、質問応答や対話生成などの文の詳細度合いを考慮する他タスクにも有用な知見である。

謝辞 本研究は、JST ACT-X JPMJAX1904、JST CREST JPMJCR1513 及び JSPS 特別研究員奨励費 20J10726 の支援を受けたものである。

## 参考文献

[1]Giuseppe Carenini, Jackie Chi Kit Cheung, and Adam Pauls. Multi-document summarization of evaluative text. Сотриtational Intelligence, 29(4):545-576, 2013.

[2]Shima Gerani, Yashar Mehdad, Giuseppe Carenini, Raymond T Ng, and Bita Nejat. Abstractive summarization of product reviews using discourse structure. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pages 1602-1613, 2014.

[3]Eric Chu and Peter Liu. Meansum: A neural model for unsupervised multi-document abstractive summarization. In Proceedings of the 36th International Conference on Machine Learning, pages 1223-1232, 2019.

[4]Arthur Bražinskas, Mirella Lapata, and Ivan Titov. Unsupervised opinion summarization as copycat-review generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 5151-5169, 2020.

[5]Reinald Kim Amplayo and Mirella Lapata. Unsupervised opinion summarization with noising and denoising. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 1934-1945, 2020.

[6]Ivan Titov and Ryan McDonald. A joint model of text and aspect ratings for sentiment summarization. In Proceedings of the 46th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pages 308-316, 2008.

[7]Stefanos Angelidis and Mirella Lapata. Summarizing opinions: Aspect extraction meets sentiment prediction and they are both weakly supervised. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 3675-3686, 2018.

[8]Asli Celikyilmaz and Dilek Hakkani-Tur. A hybrid hierarchical model for multi-document summarization. In Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics, pages 815-824, 2010.

[9]Asli Celikyilmaz and Dilek Hakkani-Tur. Discovery of topically coherent sentences for extractive summarization. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pages 491-499, 2011.

[10]Wenlin Wang, Zhe Gan, Hongteng Xu, Ruiyi Zhang, Guoyin Wang, Dinghan Shen, Changyou Chen, and Lawrence Carin. Topic-guided variational auto-encoder for text generation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 166-177, 2019.

[11]Luke Vilnis and Andrew McCallum. Word representations via gaussian embedding. In Proceedings of the 3rd International Conference on Learning Representations, 2015.

[12]Masaru Isonuma, Junichiro Mori, Danushka Bollegala, and Ichiro Sakata. Tree-structured neural topic model. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 800-806, 2020.

[13]Günes Erkan and Dragomir R Radev. Lexpagerank: Prestige in multi-document text summarization. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pages 365-371, 2004.
[14]Kavita Ganesan, ChengXiang Zhai, and Jiawei Han. Opinosis: a graph-based approach to abstractive summarization of highly redundant opinions. In Proceedings of the 23 rd International Conference on Computational Linguistics, pages 340-348, 2010.

[15]Daniel Cer, Mona Diab, Eneko Agirre, Iñigo Lopez-Gazpio, and Lucia Specia. Semeval-2017 task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. In Proceedings of the 11th International Workshop on Semantic Evaluation, pages 1-14, 2017.

[16]Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations. In Proceedings of the 7th International Conference on Learning Representations, 2019.

[17]Annie Louis and Ani Nenkova. Automatic identification of general and specific sentences by leveraging discourse annotations. In Proceedings of 5th International Joint Conference on Natural Language Processing, pages 605-613, 2011.

[18]John Paisley, Chong Wang, David M Blei, and Michael I Jordan. Nested hierarchical dirichlet processes. IEEE Transactions on Pattern Analysis and Machine Intelligence, 37(2):256-270, 2014.

[19]David Alvarez-Melis and Tommi S Jaakkola. Tree-structured decoding with doubly-recurrent neural networks. In Proceedings of the 5th International Conference on Learning Representations, 2017.

[20]Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. CoRR, arXiv:1412.6980v9, 2014.

## A 付録

## A. 1 木構造上のトピック分布の推定

本研究では、勾配降下法により学習可能な木構造ニュー ラルトピックモデル（TSNTM [12]）を用いることで、文 の木構造上のトピック分布を推定する。

前置きとして、木構造トピックモデルの一つである hierarchical Dirichlet process [18] は、各文に関する木構造上 のパス分布 $\boldsymbol{\pi}_{s}$ と階層分布 $\boldsymbol{\phi}_{s}$ を下記式でモデル化する。

$
\begin{aligned}
& v_{s, k} \sim \operatorname{Beta}(1, \gamma), \pi_{s, k}=\pi_{s, p a r}(k) v_{s, k} \prod_{j \in \operatorname{Sib}(k)}\left(1-v_{s, j}\right) \\
& \eta_{s, k} \sim \operatorname{Beta}(\alpha, \beta), \phi_{s, k}=\eta_{s, k} \prod_{j \in \operatorname{Anc}(k)}\left(1-\eta_{s, j}\right) \\
& \theta_{s, k}=\pi_{s, k} \cdot \phi_{s, k}
\end{aligned}
$

ここで、 $\operatorname{Sib}(k)$ 及び $\operatorname{Anc}(k)$ はそれぞれトピック $k$ の前の 兄弟のトピック集合及び祖先のトピック集合を指す。 $\pi_{s, k}$ は文 $s$ が根トピックからトピック $k$ を通るパスを選択す る確率を示す。一方、 $\phi_{s, k}$ は当該パス上で文 $s$ がトピック $k$ の祖先のトピック $j \in \operatorname{Anc}(k)$ を選択せず、トピック $k$ を選択する確率を示す。文 $s$ がトピック $k$ を選択する確率 $\theta_{s, k}$ はこれら 2 つの確率の積で表される。

一 方、TSNTM は、 doubly-recurrent neural networks (DRNN[19])を用いて文の潜在表現 $\boldsymbol{y}_{s}=\operatorname{RNN}\left(\boldsymbol{w}_{s}\right)$ をパ ス分布 $\boldsymbol{\pi}_{s}$ 及び階層分布 $\boldsymbol{\phi}_{s}$ に変換する。DRNN は親子と 兄弟間の 2 つの RNN デコーダで構成され、トピック $k$ の 中間層は式 (15) で表される。この中間層から得られた棒折比率 $\boldsymbol{v}_{s}$ で式 12 を置き換え、パス分布を得る。

$
\begin{aligned}
\boldsymbol{h}_{k} & =\tanh \left(\boldsymbol{W}_{p} \boldsymbol{h}_{\text {par }(k)}+\boldsymbol{W}_{s} \boldsymbol{h}_{k-1}\right) \\
v_{s, k} & =\operatorname{sigmoid}\left(\boldsymbol{h}_{k}^{\top} \boldsymbol{y}_{s}\right)
\end{aligned}
$

ただし $\boldsymbol{h}_{\operatorname{par}(k)}$ 及び $\boldsymbol{h}_{k-1}$ はそれぞれトピック $k$ の親とそ の前の兄弟である。同様に、階層分布もまた DRNNによ り棒折比率 $\boldsymbol{\eta}_{s}$ を算出して得られる。

## A. 2 式 (11) の導出

命題 $q\left(\boldsymbol{x}_{s} \mid z_{s}\right)$ が式 (8)、(9)、(10) により与えられる時、式 (17) が成り立つ:

$
\begin{aligned}
& \sum_{s} \hat{\theta}_{s, k} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right) \mid p\left(\boldsymbol{x}_{s} \mid z_{s}=k\right)\right]- \\
& \sum_{s} \hat{\theta}_{s, k} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{x}_{s} \mid z_{s}=k\right) \mid p\left(\boldsymbol{x}_{s} \mid z_{s}=k\right)\right] \geq 0
\end{aligned}
$

証明 式 (17) の第 1 項は以下のように展開できる。

$\sum_{s} \hat{\theta}_{s, k} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right) \mid p\left(\boldsymbol{x}_{s} \mid z_{s}=k\right)\right]$

$=\sum_{s} \hat{\theta}_{s, k} \mathrm{D}_{\mathrm{KL}}\left[N\left(\hat{\boldsymbol{\mu}}_{s}, \hat{\boldsymbol{\Sigma}}_{s}\right) \mid N\left(\hat{\boldsymbol{\mu}}_{d, p a r(k)}, \hat{\boldsymbol{\Sigma}}_{d, p a r(k)}\right)\right]$

$=\frac{1}{2} \sum_{s} \hat{\theta}_{s, k}\left.\{\log \left|\hat{\boldsymbol{\Sigma}}_{d, p a r(k)}\right|-\log \left|\hat{\boldsymbol{\Sigma}}_{s}\right|+\operatorname{Tr}\left[\hat{\boldsymbol{\Sigma}}_{d, p a r(k)}^{-1} \hat{\boldsymbol{\Sigma}}_{s}\right]\right.$

$\left.+\left(\hat{\mu}_{s}-\hat{\mu}_{d, p a r(k)}\right)^{\top} \hat{\Sigma}_{d, p a r(k)}^{-1}\left(\hat{\mu}_{s}-\hat{\mu}_{d, p a r(k)}\right)-d\right.\}$

$=\frac{1}{2} \sum_{s} \hat{\theta}_{s, k}\left.\{C_{d, p a r(k)}-\log \left|\hat{\boldsymbol{\Sigma}}_{s}\right|+\operatorname{Tr}\left[\hat{\boldsymbol{\Sigma}}_{d, p a r(k)}^{-1} \hat{\boldsymbol{\Sigma}}_{s}\right]\right.$

$\left.+\operatorname{Tr}\left[\hat{\boldsymbol{\Sigma}}_{d, p a r(k)}^{-1} \hat{\boldsymbol{\mu}}_{s} \hat{\boldsymbol{\mu}}_{s}^{\top}\right]-2 \hat{\boldsymbol{\mu}}_{d, p a r(k)}^{\top} \hat{\boldsymbol{\Sigma}}_{d, p a r(k)}^{-1} \hat{\boldsymbol{\mu}}_{d, k}\right.\}$

ただし、式 (9) から $\sum_{s} \hat{\theta}_{s, k} \hat{\mu}_{d, k}=\sum_{s} \hat{\theta}_{s, k} \hat{\mu}_{s}$ を用いた。

第 2 項についても同様に、以下のように展開できる。

$
\begin{aligned}
& \sum_{s} \hat{\theta}_{s, k} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{x}_{s} \mid z_{s}=k\right) \mid p\left(\boldsymbol{x}_{s} \mid z_{s}=k\right)\right] \\
= & \frac{1}{2} \sum_{s} \hat{\theta}_{s, k}\left.\{C_{d, p a r(k)}-\log \left|\hat{\boldsymbol{\Sigma}}_{d, k}\right|+\operatorname{Tr}\left[\hat{\boldsymbol{\Sigma}}_{d, p a r(k)}^{-1} \hat{\boldsymbol{\Sigma}}_{d, k}\right]\right. \\
& \left.+\operatorname{Tr}\left[\hat{\boldsymbol{\Sigma}}_{d, p a r(k)}^{-1} \hat{\boldsymbol{\mu}}_{d, k} \hat{\boldsymbol{\mu}}_{d, k}^{\top}\right]-2 \hat{\boldsymbol{\mu}}_{d, p a r(k)}^{\top} \hat{\boldsymbol{\Sigma}}_{d, p a r(k)}^{-1} \hat{\boldsymbol{\mu}}_{d, k}\right.\}
\end{aligned}
$

表 5 データセット中のレビュー文書/要約の件数。

したがって、式 (17)は以下のように整理される。

$
\begin{aligned}
& \sum_{s} \hat{\theta}_{s, k} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right) \mid p\left(\boldsymbol{x}_{s} \mid z_{s}=k\right)\right] \\
& -\sum_{s} \hat{\theta}_{s, k} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{x}_{s} \mid z_{s}=k\right) \mid p\left(\boldsymbol{x}_{s} \mid z_{s}=k\right)\right] \\
= & \frac{1}{2} \sum_{s} \hat{\theta}_{s, k}\left.\{-\log \left|\hat{\boldsymbol{\Sigma}}_{s}\right|+\log \left|\hat{\boldsymbol{\Sigma}}_{d, k}\right|\right. \\
& \left.+\operatorname{Tr}\left[\hat{\boldsymbol{\Sigma}}_{d, p a r(k)}^{-1}\left(\hat{\boldsymbol{\Sigma}}_{s}+\hat{\boldsymbol{\mu}}_{s} \hat{\boldsymbol{\mu}}_{s}^{\top}-\hat{\boldsymbol{\Sigma}}_{d, k}-\hat{\boldsymbol{\mu}}_{d, k} \hat{\boldsymbol{\mu}}_{d, k}^{\top}\right)\right]\right.\} \\
= & \frac{1}{2} \sum_{s} \hat{\theta}_{s, k}\left.\{-\log \left|\hat{\boldsymbol{\Sigma}}_{s}\right|+\log \left|\hat{\boldsymbol{\Sigma}}_{d, k}\right|\right.\}
\end{aligned}
$

ただし、式 (10)より $\sum_{s} \hat{\theta}_{s, k}\left.\{\hat{\boldsymbol{\Sigma}}_{s}+\hat{\boldsymbol{\mu}}_{s} \hat{\boldsymbol{\mu}}_{s}^{\top}\right.\}=\sum_{s} \hat{\theta}_{s, k}\left.\{\hat{\boldsymbol{\Sigma}}_{d, k}+\right.$ $\left.\hat{\boldsymbol{\mu}}_{d, k} \hat{\boldsymbol{\mu}}_{d, k}^{\top}\right.\}$ を用いた。すなわち、与式はエントロピーの 重み付け和の大小比較に帰着される。ここで一般に、 $-\int q_{1}(\boldsymbol{x}) \log q_{2}(\boldsymbol{x}) d \boldsymbol{x} \geq-\int q_{1}(\boldsymbol{x}) \log q_{1}(\boldsymbol{x}) d \boldsymbol{x}$ が成立するこ とから、式 (21) が成り立つ。

$
\begin{aligned}
& \sum_{s} \hat{\theta}_{s, k}\left.\{-\int q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right) \log q\left(\boldsymbol{x}_{s} \mid z_{s}=k\right) d \boldsymbol{x}_{s}\right.\} \\
& \geq \sum_{s} \hat{\theta}_{s, k}\left.\{-\int q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right) \log q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right) d \boldsymbol{x}_{s}\right.\}
\end{aligned}
$

右辺はガウス分布のエントロピーの重み付け和である ことから、以下のように書ける。

$
\begin{aligned}
& \sum_{s} \hat{\theta}_{s, k}\left.\{-\int q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right) \log q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right) d \boldsymbol{x}_{s}\right.\} \\
= & \frac{1}{2} \sum_{s} \hat{\theta}_{s, k}\left.\{\log \left|\hat{\boldsymbol{\Sigma}}_{s}\right|+d \log 2 \pi+d\right.\}
\end{aligned}
$

一方、左辺は以下のように展開できる。

$
\begin{aligned}
& \sum_{s} \hat{\theta}_{s, k}\left.\{-\int q\left(\boldsymbol{x}_{s} \mid z_{s}=k\right) \log q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right) d \boldsymbol{x}_{s}\right.\} \\
= & \frac{1}{2} \sum_{s} \hat{\theta}_{s, k}\left.\{\log \left|\hat{\boldsymbol{\Sigma}}_{d, k}\right|+d \log 2 \pi\right. \\
& \left.+\mathrm{E}_{\boldsymbol{q}\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right)}\left[\left(\boldsymbol{x}_{s}-\hat{\boldsymbol{\mu}}_{d, k}\right)^{\top} \hat{\boldsymbol{\Sigma}}_{d, k}^{-1}\left(\boldsymbol{x}_{s}-\hat{\boldsymbol{\mu}}_{d, k}\right)\right]\right.\}
\end{aligned}
$

よって、式 (23) の最後の項は以下のように整理できる。

$
\begin{aligned}
& \sum_{s} \hat{\theta}_{s, k}\left.\{\mathrm{E}_{q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right)}\left[\left(\boldsymbol{x}_{s}-\hat{\boldsymbol{\mu}}_{d, k}\right)^{\top} \hat{\boldsymbol{\Sigma}}_{d, k}^{-1}\left(\boldsymbol{x}_{s}-\hat{\boldsymbol{\mu}}_{d, k}\right)\right]\right.\} \\
= & \sum_{s} \hat{\theta}_{s, k}\left.\{\mathrm{E}_{q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right)}\left[\operatorname{Tr}\left(\hat{\boldsymbol{\Sigma}}_{d, k}^{-1}\left(\boldsymbol{x}_{s}-\hat{\boldsymbol{\mu}}_{d, k}\right)\left(\boldsymbol{x}_{s}-\hat{\boldsymbol{\mu}}_{d, k}\right)^{\top}\right)\right]\right.\} \\
= & \operatorname{Tr}\left[\hat{\boldsymbol{\Sigma}}_{d, k}^{-1} \sum_{s} \hat{\theta}_{s, k}\left.\{\mathrm{E}_{q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right)}\left[\left(\boldsymbol{x}_{s}-\hat{\boldsymbol{\mu}}_{d, k}\right)\left(\boldsymbol{x}_{s}-\hat{\boldsymbol{\mu}}_{d, k}\right)^{\top}\right]\right.\}\right] \\
= & \operatorname{Tr}\left[\hat{\boldsymbol{\Sigma}}_{d, k}^{-1} \sum_{s} \hat{\theta}_{s, k} \hat{\boldsymbol{\Sigma}}_{d, k}\right] \\
= & \sum_{s} \hat{\theta}_{s, k} d
\end{aligned}
$

したがって、式 (21)、(22)、(23)、(24)を整理すると、 $\sum_{s} \hat{\theta}_{s, k}\left.\{\log \left|\hat{\boldsymbol{\Sigma}}_{d, k}\right|\right.\} \geq \sum_{s} \hat{\theta}_{s, k}\left.\{\log \left|\hat{\boldsymbol{\Sigma}}_{s}\right|\right.\}$ が成り立ち、命題が 成立することが示された。

## A. 3 実験設定詳細

データセット中の文書及び要約の件数を表 5 に示す。参照要約は Amazon Mechanical Turk にて、各製品につい て 8 件のレビューの要約を依頼し作成された $[3,4]$ 。八イ パーパラメータは検証データにおける性能をもとに決定 され、単語の潜在表現、隠れ層及び文の潜在表現の次元数 はそれぞれ 200、400 及び 32である。勾配降下法は Adam [20]を用い、学習率は $10^{-3}$ でバッチサイズは 4 である。


# 指定語句を確実に含む見出し生成

山田康輔 1,2 人見雄太 ${ }^{2}$ 田森秀明 2 岡崎 直観 3 乾 健太郎 4,5
1 名古屋大学 2 株式会社朝日新聞社 3 東京工業大学 4 東北大学 5 理化学研究所
yamada.kosuke@c.mbox.nagoya-u.ac.jp, processor.su2300@gmail.com,
tamori-h@asahi.com, okazaki@c.titech.ac.jp, inui@ecei.tohoku.ac.jp

## 1 はじめに

Rush ら [1] の研究以降，生成型要約モデルによる 新聞記事の見出し生成が広く行われている。近年で は，指定語句の挿入など，生成される見出しの制御 に関する研究も盛んである. たとえば，Fan ら [2] は Convolutional Seq2Seq [3] を利用し，エンコーダに入力する記事の直前に指定語句を示す 1 トークンを插入することで，指定語句を含んだ見出しを生成する よう制御した。また， He ら [4] は BART [5] を利用 し, Fan らの手法の拡張として記事の直前に指定語句と“”を挿入することで，複数トークンの語句指定を可能にした. 加えて，生成結果への指定語句の 出現率を高めるために学習時に指定語句を一定の確率でドロップアウトさせている。

しかし，これらの手法は生成された見出しが指定語句を含む確率を高めることは可能だが，指定語句 を含む見出しが必ず生成されるとは限らない. 記事 を広告として用いるネイティブ広告向けの見出し生成では，見出しに指定語句を必ず含めなければなら ないケースがあり，実応用では指定語句が確実に含 まれるような見出し制御が必要となる.

そこで本研究では，指定語句を確害に含む見出 しを生成する手法として，Dual Outward Generation mechanism (DOG) を提案する. DOG は見出しを生成する際に，文頭から文末へ生成するのではなく，指定語句から文頭および文末に向かって双方向に見出しを生成することで，指定語句を必ず含む見出し 生成を実現する。表 1 に Fan ら [2] と He ら [4] の従来モデル1および DOG を用い，語句を指定したとき の見出し生成例を示す. また，図 1 に記事中の単語 1,2,3-gram を指定したとき，指定された語句が生成結果に含まれた割合 (指定語句出現率)を示す.

実験には日本語の新聞記事-見出しぺアのコーパ

表 1: 従来モデルと DOG で語句を指定した見出し生成例 - 新聞記事: 刈谷市の伊勢湾岸自動車道のパーキングエ リア「刈谷ハイウェイオアシス」の観覧車に、シース ルーゴンドラが登場した。天井を除くイスや壁、床面が 透明で、足元に広がる景色を 360 度楽しめる。観覧車は 高さ 60 メートルで、 1 周約 12 分。

## -人手で作成された見出し:

透明ゴンドラ登場 刈谷ハイウェイオアシスの観覧車

$\cdot$指定語句が「360度楽しめる」の生成結果:

DOG: 360 度楽しめる観覧車 刈谷ハイウェイオアシス

He: 風に誘われ、 360 度楽しむ 刈谷ハイウェイオアシス

Fan: 360 度の観覧車、シースルーゴンドラ登場 刈谷ハ イウェイオアシス

・指定語句が「透明ゴンドラ登場」の生成結果:

DOG: 観覧車、透明ゴンドラ登場 刈谷ハイウェイオア シス

He: 観覧車にシースルーゴンドラ 刈谷

Fan: 透明な景色、 360 度 刈谷ハイウェイオアシス

図 1: 記事中の単語の 1,2,3-gram を指定語句としたときの 各モデルの生成結果の指定語句出現率

ス Japanese News Corpus (JNC) [7] の 2019 年版を利用 し，指定語句出現率と自動要約の評価指標として代表的な ROUGE [8] にて提案手法を評価した. 提案手法は指定語句出現率 $100 \%$ を達成し，ROUGE の F 值も従来手法と同等なスコアを達成した。

## 2 提案手法

本研究では，指定語句を確実に含む見出し生成手法を提案する。具体的には，指定語句を $W\left(=y_{h: t}\right)^{2}$

$2 y_{h}$ と $y_{t}$ はそれぞれ指定語句の先頭トークンと末尾トークン を示し， $y_{h: t}$ はトークン列 $y_{h} \ldots y_{t}$ を意味する.

(a) DOG w/ dual-independent decoder

(b) DOG w/ single decoder

図 2: Dual Outward Generation mechanism (DOG) の概要図。青枠が Transformer のエンコーダ，緑枠がデコーダ，橙枠が生成機構を示す. エンコーダからデコーダへの矢印は，エンコードされた隠れ状態をデコーダの注意機構で参照している ことを指す。また，点線の矢印は，見出しの生成順序を示す.

として，見出し $Y\left(=y_{0: h-1}, W, y_{t+1: J+1}\right)$ を生成する場合，指定語句の 1 つの前のトークン $y_{h-1}$ から文頭 トークン $y_{0}$ への生成と指定語句の 1 つ後のトーク ン $y_{t+1}$ から文末トークン $y_{J+1} へ の$ の生成を同時に行 うことで実現する。提案モデルは Transformer [6] 型 の Seq2Seq モデルを基本とする.

## 2.1 Transformer

Transformer [6] は注意機構をベースとしたエン コーダ-デコーダモデルである. エンコーダは自己注意機構と 2 層のフィードフォワードネットワーク (FNN) からなる Transformer Encoder 層を複数層積み 上げることで構成され，デコーダは自己注意機構，注意機構，2 層の FFN からなる Transformer Decoder 層を複数層積み上げることで構成される。これらの 入力は単語埋め込み層と位置エンコーディング層に よって生成される記事と見出しの各単語の埋め込み を利用する. また，デコーダの出力から線形変換層 と Softmax 層を通すことで見出しの各単語を生成す る. 本研究では，これら 2 層を合わせて生成機構と 定義する。

## 2.2 Dual Outward Generation mechanism

指定語句を確実に含む見出し生成するDual Outward Generation mechanism (DOG) は指定語句から 文頭へ向けた前向きの生成と文末へ向けた後ろ向 きの生成を行うため, 生成機構を 2 つ持つ構造とな る.この構造の場合，前向きの生成機構と後ろ向き の生成機構で独立に生成するか，あるいは前向きと 後ろ向きの生成機構で生成過程を共有しつつ生成す るかの大きく 2 つのアイデアが考えられる.

## 2.2.1 各生成機構で独立に生成するモデル

前向きと後ろ向きの生成機構で独立に生成する モデルは，前向きと後ろ向きのトークン列を個別に 入力する必要があり，各生成機構に対応する 2 つの デコーダを持つ. 見出し生成の各ステップでは，前向きのデコーダに指定語句と前向きの生成トーク ン列，後ろ向きのデコーダに指定語句と後ろ向きの 生成トークン列を入力し，それぞれ独立に単語を生成する. 本モデルを DOG w/ dual-independent decoder と定義し，図 2 (a) に概要を示す。また，記事のトー クン列 $X$ ，見出しのトークン列 $Y\left(=y_{0: J+1}\right)$ ，指定語句のトークン列 $W\left(=y_{h: t}\right)$ ，指定語句から文頭まで の見出しのトークン列 $\overleftarrow{Y}\left(=y_{0: h-1}\right)$ ，指定語句から文末までの見出しのトークン列 $\vec{Y}\left(=y_{t+1: J+1}\right), \overleftarrow{Y}$ の長 さ $L_{\overleftarrow{Y}}=h, \vec{Y}$ の長さ $L_{\vec{Y}}=J-t+1$ とし, 式 1 のよ うに定式化される.

$
\begin{aligned}
P(\overleftarrow{Y} \mid X, W) & =\prod_{j=1}^{L_{\overleftarrow{Y}}} P\left(y_{h-j} \mid y_{h-j+1: t}, X\right) \\
P(\vec{Y} \mid X, W) & =\prod_{j=1}^{L_{\widehat{Y}}} P\left(y_{t+j} \mid y_{h: t+j-1}, X\right)
\end{aligned}
$

本モデルのデコーダの位置エンコーディング層に 入力するトークン位置は，前向きでは指定語句の末尾を 0 としたときの距離の値，後ろ向きでは指定語句の先頭を 0 としたときの距離の値としている.

学習時には, 前向きと後ろ向きの見出しを分けて 学習させるため，見出しを分割する必要がある. ${ }^{3}$ そ こで，学習させる見出し中で無作為に 1 トークン を指定し，その位置を基準として見出しの分割を 行う.

3 2.2.2 節のモデルも同様の処理が必要である.

## 2.2.2 生成機構間で生成過程を共有するモデル

2.2.1 節のモデルでは，前向きと後ろ向きでそれ ぞれ独立に生成しているため, 見出し生成中の各ス テップにおいて互いの生成機構が生成したトークン を考慮しておらず，前向きと後ろ向きで似たトーク ン列が生成される可能性がある. そこで，DOG の 生成機構間で生成過程を共有するモデルを考える。具体的には，見出し生成中の各ステップにおいて，前向きの生成トークン列，指定語句のトークン列，後ろ向きの生成トークン列を連結して 1 つのトーク ン列にまとめて入力とする。ここではデコーダを 2 つ持つモデルと 1 つ持つモデルを検討する. デコー ダが 2 つのモデルを DOG w/ dual decoder，デコーダ が 1 つのモデルを DOG w/ single decoder と定義し, DOG w/ single decoder の概要を図 2 (b) に示す. ま た, 式 1 と同様の記号を用いて, 式 2 のように定式化される.

$
P(\overleftarrow{Y}, \vec{Y} \mid X, W)=\prod_{j=1}^{L_{\max }} P\left(y_{h-j}, y_{t+j} \mid y_{h-j+1: t+j-1}, X\right)
$

$L_{\text {max }}=\max \left(L_{\overleftarrow{Y}}, L_{\vec{Y}}\right)$ とし, $y_{<0}$ と $y_{>J}$ はトークン列長を揃えるための特殊トークン “<pad>”とする.

本モデルのデコーダの位置エンコーディング層に 入力するトークン位置は, 中央から生成していくた め，指定語句の中央を 0 とし，それより前向きは中央からの距離を負にした値, 後ろ向きは中央からの 距離の值としている.

また，本モデルの学習時には，デコーダの自己注意機構で使用するマスク方法に工夫を必要とする。通常の Transformer は文頭から文末に向けて見出し を生成するため, デコーダの自己注意機構にて入力時点以降の単語を参照しないために図 3 (a) に示す Causal Maskを活用している。しかし，DOGでは入力時点以降の単語を参照しないだけではなく, 入力時点以前の単語も参照しないようにする必要が ある.このため, 図 3 (b) に示す Dual Outward Causal Mask (DOC Mask)を利用している。また，本モデル は学習時の分割した見出しを前向きと後ろ向きで長 さを揃える必要があることに注意する。

## 3 実験

## 3.1 実験設定

提案手法と従来手法を比較するために日本語の 新聞記事から見出しを生成するためのコーパスで

(a) Causal Mask

(b) DOC Mask

図 3: Causal Mask (左) とDOC Mask (右) の概要図. 白色の セルがマスクする箇所を示す．DOC Mask は学習時に $y_{3}$ を指定したときを示す。

ある Japanese News Corpus (JNC) [7] の 2019 年版を利用した. JNC には 1,932,399 件の記事-見出しぺアが 存在し, 本研究ではこれらを学習セット, 開発セッ ト，テストセットとして 98:1:1 の比率で無作為に 分割した. テキストの形態素解析には ipadic"を用 いた MeCab [9] を使用し, Byte Pair Encoding (BPE) ${ }^{5}$ [10] によるサブワード化を行っている.

指定語句は人手で作成された見出し中の内容語と し，評価指標には ROUGE-1, ROUGE-2, ROUGE-L の 適合率, 再現率, およびその調和平均である $\mathrm{F}$ 値を 利用した. ROUGEによる評価する際には，人手で 作成された見出しと生成された見出しから指定語句を除去している。これは従来手法では指定語句が 必ず含まれた見出しになるとは限らず，本研究の提案手法では必ず指定語句が含まれた見出しとなっ ているため，指定語句を除去しなければ提案手法が 有利な評価となってしまうためである。また，生成結果の長さを分析するために, 生成された見出し数 $n$, 生成した見出しの長さを $l_{i}$, 人手で作成された見出しの長さを len として Average Length Error (ALE) (= $\frac{1}{n} \sum_{i=1}^{n} l_{i}-$ len) を算出する.

比較する手法は Transformer をべースモデルとし た Fan ら [2] の手法と He ら [4] の手法とする. Fan らは記事の前に 1トークンのみの指定語句を挿入， $\mathrm{He}$ らは記事の前に複数トークンの指定語句と“"を 挿入し，学習時に指定語句を一定の確率でドロップ アウトさせている. これらの手法の学習時の指定語句は人手で作成された見出しから抽出している. He らの手法の学習時の指定語句は 3-gram までとする.

 &  &  &  \\

He et al. (2020) [4] (Transformer Ver.) & 95.9 & $52.7 / 49.3 / 49.4$ & $26.5 / 24.8 / 24.8$ & $43.5 / 40.0 / 40.6$ & -1.2 & 72 \\

DOG w/ dual decoder & $\mathbf{1 0 0 . 0}$ & $\mathbf{6 0 . 3 / 4 7 . 5 / 5 1 . 5}$ & $32.9 / 25.8 / 27.9$ & $50.9 / 40.1 / 43.6$ & -5.0 & 106 \\
DOG w/ single decoder & $\mathbf{1 0 0 . 0}$ & $59.3 / 47.9 / 51.4$ & $31.9 / 25.6 / 27.5$ & $50.0 / 40.2 / 43.3$ & -4.6 & 80 \\

表 3: DOG w/ single decoder における生成例

} \\

## 3.2 実験結果

表 2 に従来手法および提案手法の指定語句出現率 (SR), ROUGE-1，ROUGE-2, ROUGE-L $の$ 適合率,再現率, $\mathrm{F}$ 值，ALE，パラメータ数 (params)を示す.表 2 から従来手法が $95 \%$ 前後の指定語句出現率な のに対し，提案手法はモデルサイズを大きく変えず に 100\%出現させることに成功している. また, 各 ROUGE の再現率は従来手法の方が高いが，適合率 は提案手法の方が高くなっており， $\mathrm{F}$ 値では同等の スコアとなっている.ここで，提案手法で ROUGE の再現率が低いのは，ALEの値が小さいことから 生成結果が全体的に短い傾向があるためであると 考えられる. 以上の結果から，指定語句を $100 \%$ 含 めた見出しを生成した上で，モデルサイズおよび ROUGE の $\mathrm{F}$ 值が同等である提案手法は, 実応用上 においても有用であることが確認できる.

## 3.3 提案手法による見出し生成例

表 3 に DOG w/ single decoder による見出し生成例 を示す. たとえば，「桜といわしのパフェ」や「6月末まで」のような商品名や日付情報を指定した結果, これらの語句に合わせて自然な見出しが生成で きており，また，記事中に存在しない「目からウ口 コのおいしさ」のようなフレーズを指定しても自然 な生成ができていることが確認できる。このような 商品名や日付情報, フレーズの語句は忠実性が求め られるため，指定語句を確害に出現させる提案手法 は実応用の観点で需要が高い．たとえば，プレスリ
リースを元にした記事や，ネイティブ広告の記事へ の見出し付与として活用が期待される.

しかし，DOG は両方向同時に生成するため，「泳 ぐ」を指定した生成例のように指定語句の前後どち らにも出現しうる単語を両方向共に生成させてし まったり，「展示」を指定した生成例のように文頭 と文末のどちらにも出現しやすいと判断された単語 のときに，両方向とも早い段階で生成を止める可能性があり，課題が残る。

## 4 まとめと今後の展望

本研究では，指定語句を確実に含んだ見出しを 生成するために，指定語句から文頭および文末に 向かって見出しを生成する Dual Outward Generation mechanisum (DOG) を提案した. JNC を用いて DOG を評価したところ，従来手法では不可能だった指定語句出現率 100\%の見出し生成を可能にし，その上 で ROUGE の F 值にて同等のスコアを達成した.

実験では日本語の見出し生成を行ったが，DOG は多言語の見出し生成や機械翻訳などの他タスク にも応用可能だと考えている. DOG はモデルのデ コーダ側の機構を変更したが，エンコーダ側で指定語句の位置情報などを取り込むことでスコアが改善 されると考えている．また，ビームサーチなどの動的計画法による生成もスコアの改善が期待される.

## 謝辞

本研究は, 東京工業大学のスパコン TSUBAME3.0 を用いて行った。

## 参考文献

[1] Alexander M. Rush, Sumit Chopra, and Jason Weston. A neural attention model for abstractive sentence summarization. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (ACL'15), pp. 379-389, 2015.

[2] Angela Fan, David Grangier, and Michael Auli. Controllable abstractive summarization. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation (WNMT'18), pp. 45-54, 2018.

[3] Jonas Gehring, Michael Auli, David Grangier, Denis Yarats, and Yann N Dauphin. Convolutional sequence to sequence learning. In Proceedings of the 34th International Conference on Machine Learning (ICML'17), pp. 1243-1252, 2017

[4] Junxian He, Wojciech Kryściński, Bryan McCann, Nazneen Rajani, and Caiming Xiong. CTRLsum: Towards generic controllable text summarization. arXiv preprint arXiv:2012.04281, 2020.

[5] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL'20), pp. 7871-7880, 2020.

[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems (NeurlIPS'17), pp. 5998-6008, 2017

[7] Yuta Hitomi, Yuya Taguchi, Hideaki Tamori, Ko Kikuta, Jiro Nishitoba, Naoaki Okazaki, Kentaro Inui, and Manabu Okumura. A large-scale multi-length headline corpus for analyzing length-constrained headline generation model evaluation. In Proceedings of the 12th International Conference on Natural Language Generation (INLG'19), pp. 333-343, 2019.

[8] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out (WAS'04), pp. 74-81, 2004.

[9] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing (ACL'04), pp. 230-237, 2004.

[10] Philip Gage. A new algorithm for data compression. $C$ Users Journal, Vol. 12, No. 2, pp. 23-38, 1994.


# Hie-BART : 階層型 BART による文書要約

秋山 和輝 1 二宮 崇 ${ }^{1}$
1 愛媛大学大学院理工学研究科 電子情報工学専攻,
2 同志社大学 理工学部 情報システムデザイン学科
 }^{1}\left.\{}.$ k_akiyama@ai., ninomiya@\}cs.ehime-u.ac.jp, ${ }^{2}$ aktamura@mail.doshisha.ac.jp

## 1 はじめに

近年，高い精度を報告している生成型の自動要約 モデルは，ニューラルネットワークに基づくニュー ラル要約モデルであり，その多くが事前学習を導入 している。これまで自動要約タスク用に拡張された 事前学習モデルとして，BERTSUM モデル [1]が提案 されている。また，複数タスクで利用することので きる汎用的な事前学習モデルとして，T5 モデル [2] や BART モデル [3] が提案されている. 既存の事前学習モデルの中でも，BART モデルは高い精度での 自動要約を可能にしている。しかし，BART モデル は要約生成時に文書の階層構造をとらえる構造には なっていない。

一方，ニューラル要約モデル同様，系列変換モデ ルが適用されることが多いニューラル機械翻訳で は, 入力テキストの情報を「フレーズと単語」や「単語と文字」といった複数の粒度で捉えることで，翻訳精度の改善を実現している. Transformer[4] に基 づくニューラル機械翻訳モデルでは，入力テキスト を複数の粒度（単語やフレーズ）に分解し，それぞ れの粒度を Multi-head Self-Attention Networks (SANs) の各ヘッドに割り当てることで，単語とフレー ズの関係を考慮する Multi-Granularity Self-Attention (MG-SA)[5] を組み込むことで，翻訳精度を向上させ ている.このモデルでは，MG-SAにより，単語間だ けでなく単語とフレーズ間の相互作用を組み込むこ とが可能となる.

そこで，本研究では，MG-SA の概念を BART モ デルに適用し，文と単語の階層的な関係を考慮し た要約を可能とする手法として，Hierarchical-BART (Hie-BART) を提案する. 具体的には, 入力文書を単語レベルと文レベルの情報に分割し，BART におけ る Encoderの SANS 層では，単語レベルの関連を計算 するだけではなく，一部のへッドにおいて文レベル
の関連を計算する。そして，単語レベルと文レベル のマルチヘッドの出力を結合させることで，単語レ ベルと文レベルの双方を考慮した要約生成を行う。

提案モデルの評価は, CNN/DailyMail データセッ 卜[6]を用いた自動要約タスクで行った. 既存の 生成型自動要約モデルと比較した結果，提案モ デルは非階層型の既存の BART モデルに比べて ROUGE-L[7] の F 值が 0.23 ポイント上回ることを確認した.

## 2 関連研究

## 2.1 BART

BART モデル [3] は, Transformer モデル [4] の構造 をべースとした，汎用的な事前学習モデルである。事前学習の手法として，Token Masking，Sentence Permutation, Document Rotation, Token Deletion, Text Infilling の 5 つの手法を提案している. この 5 つの 手法のうち, Sentence Permutation と Text Infilling を 組み合わせたものが最高精度となっており, 最終的な評価時に使用されている. Sentence Permutation は，文書内の文の場所をランダムに交換した文書を 元の文書に復元する事前学習法である. Text Infilling は，複数の単語列を一つのマスクトークンに置き換 えたり，文中にマスクトークンを挿入したりした文書を，元の文書に復元する事前学習法である。

## 2.2 Multi-Granularity Self-Attention (MG-SA)

MG-SA [5] は，入力テキストを複数の粒度の要素 （単語とフレーズ）に分け，各粒度の要素を SANs の 各へッドに割り当てることで異なる粒度の情報を捉 える方法である。この手法ではまず，次のように， SANS の入力 $H$ からフレーズレベルの情報を表す行列 $H_{g}$ を生成する.

$
H_{g}=F_{h}(H)
$

ここで， $F_{h}($.$) は h$ 番目のヘッドに対するフレー ズレベルの入力を生成する関数である. 具体的に は, $F_{h}($.$) は，単語レベルのベクトルに対して Max$ Pooling を適用することでフレーズレベルのベクト ルを生成する。

この生成されたフレーズレベル入力を用いて， SANs を次のように実行する。

$
\begin{aligned}
Q^{h}, K^{h}, V^{h} & =H W_{Q}^{h}, H_{g} W_{K}^{h}, H_{g} W_{V}^{h} \\
O^{h} & =\mathbf{A T T}\left(Q^{h}, K^{h}\right) V^{h}
\end{aligned}
$

ここで, $Q^{h} \in \mathbf{R}^{n \times d_{h}}, K^{h} \in \mathbf{R}^{p \times d_{h}}, V^{h} \in \mathbf{R}^{p \times d_{h}}$, $W_{Q}^{h}, W_{K}^{h}, W_{V}^{h} \in \mathbf{R}^{d \times d_{h}}$ であり, $d$ は隠れ層の次元数, $d_{h}$ は各へッドの次元数, $n$ は単語レベルのベク トルの次元数, $p$ はフレーズレベルのベクトルの 次元数である.また, $\mathbf{A T T}(\mathbf{X}, \mathbf{Y})$ は $\mathrm{X}$ と $\mathrm{Y}$ のアテン ション重みを算出する関数である。この演算によ り，SANs における各へッドの出力 $O^{h}$ が生成され る. その後, 全てのヘッドの出力を結合させたもの が，入力 $H$ に対する MG-SA の出力となる.

$
\operatorname{MG-SA}(\mathbf{H})=\left[O^{1}, \ldots, O^{N}\right] \text {, }
$

各ヘッドの出力 $O^{h}$ は，単語間の情報を含んでいる ものや，単語とフレーズ間の情報を含んでいるもの がある. したがって，MG-SAを使うことで，単語間 の関連性に加えて, 単語間とフレーズ間の関連性を 捉えることができる.

図 1 Hie-BART のモデル図

## 3 提案手法

Hie-BART（Hierarchical-BART）モデルでは，エン コーダは，通常の BART モデルが備えている単語同士の関連性を捉える単語レベルの Multi-head Self-Attention Networks （SANs）に加えて，文と単語間の関連性を捉える文レべルのSANs を備えている。 Hie-BART の概要図を図 1 に示す.

エンコーダでは，入力テキストをEmbedding 層に 通した後, SANs での計算時に単語レベルと文レべ ルに分割して計算する。ここで，各文を区別するた めに，入力テキスト中の各文の先頭には $[B O S]$ トー クンを付与している. 文レベルの SANs では, Create Sentence Level Vector 層で単語レベルの入力から文レ ベルの入力を作成した後, アテンションの計算を行 う. 各へッドでアテンションの計算が終了したら，単語及び文レベルの出力を結合したものを，次層の Feed Forward 層への入力とする.

## 3.1 Create Sentence Level Vector 層

Create Sentence Level Vector 層の動作例を図 2 に示 す. 図 2 において, $E_{w_{i j}}$ 及び $E_{[B O S]}$ は単語 $w_{i j}(i$番目の文中の $j$ 番目の単語）及び $[B O S]$ トークンの 埋め込みべクトルである． $E_{S_{i}}$ は. 単語レベルの埋 め込みべクトルから生成された文 $s_{i}$ ( $i$ 番目の文) の文レベルの埋め込みベクトルである.

Create Sentence Level Vector 層では，単語レベルの 埋め込みべクトルから Average Pooling により文レべ ルの埋め込みべクトルを生成する. 具体的には, 単語系列 $W=\left(w_{1}, \ldots, w_{N}\right)$ （各 $w_{i}$ は単語）が入力とし て与えられた場合，まず，単語系列 $W$ を文分割し，文系列 $S=\left(s_{1}, \ldots, s_{M}\right)$ （各 $s_{i}$ は文）を得る.ここで， $N$ は総単語数， $M$ は総文数を示す. そして,$S$ の各要素（各文）に対して，次のように Average Pooling を適用する。

$
g_{m}=\operatorname{AVG}\left(s_{m}\right)
$

ここで，AVG(・)は Average Poolingを実行する関数である。これにより，各文に対する埋め込み ベクトル $G=\left(g_{1}, \ldots, g_{M}\right)$ を生成する. 実際には, $W$ と $S$ の各要素は埋め込みべクトルとなる.例えば，図 2 において， $E_{S_{1}}$ を生成する場合は, $\left[E_{[B O S]}, E_{w_{11}}, E_{w_{12}}, E_{w_{13}}\right]$ に対して Average Pooling を 適用する。

以上のように生成された $G$ を文レベルの SANs の 入力とする.

図 2 Create Sentence Level Vector 層の動作例

図 3 Concatenate 層の動作例 (ヘッド数が 6 の場合)

## 3.2 Concatenate 層

Concatenate 層では，単語レベル SANs と文レベル の SANs の出力を結合させる. Concatenate 層では,次のような単語レベル SANS と文レベルの SANS 層の 出力が入力となる.

$
\begin{aligned}
& \operatorname{MG-SANS}(\mathbf{W})=\left[O_{w}^{1}, \ldots, O_{w}^{H}\right]=O_{w}^{A L L} \\
& \operatorname{MG-SANs}(\mathbf{G})=\left[O_{s}^{1}, \ldots, O_{s}^{H}\right]=O_{s}^{A L L}
\end{aligned}
$

$O_{w}^{A L L}$ は単語レベルの SANs の出力であり, $O_{w}^{i}$ は単語レベルの SANS のヘッド $i$ の出力である。一方で, $O_{s}^{A L L}$ は文レベルの SANs の出力であり, $O_{s}^{i}$ は文レ ベルの SANS のヘッド $i$ の出力である. ここで， $H$ は SANs のヘッド数を示す. Concatenate 層では，この 単語及び文レベルの SANs の出力結果を次のように 結合させる.

$
\begin{aligned}
& \operatorname{CONCAT}\left(O_{w}^{A L L}, O_{s}^{A L L}, h\right) \\
= & {\left[O_{w}^{1}, \ldots, O_{w}^{h}, O_{s}^{h+1}, \ldots, O_{s}^{H}\right] }
\end{aligned}
$

ここで， $h$ は結合点である. $H$ 個の Multi-head の内， 1 から $h$ までのへッドを単語レベルの出力とし, $h+1$ から $H$ までのへッドを文レベルの出力として 結合する。

Hie-BART 内の Concatenate 層の動作例を図 3 に示 す. 図 3 は，Multi-head のヘッド数が 6 で，結合点 $h$ が 4 の場合の動作を示している。単語レベルの SANS の出力である $\left[O_{w}^{1}, \ldots, O_{w}^{6}\right]$ と, 文レベルの SANs の 出力である $\left[O_{s}^{1}, \ldots, O_{s}^{6}\right]$ が結合点 $h=4$ で結合された $\left[O_{w}^{1}, O_{w}^{2}, O_{w}^{3}, O_{w}^{4}, O_{s}^{5}, O_{s}^{6}\right]$ が Concatenate 層の出力と なる。

以上のように生成された Concatenate 層の出力を 次層の Feed Forward 層への入力とする.

## 4 実験

## 4.1 データセット

データセットは，英文ニュース記事の要約コーパ スである CNN/DailyMail データセット ${ }^{1)}$ [6] を使用 した. このデータセットは，学習データが 287,226 対，開発データが 13,368 対，テストデータが 11,490 対で構成されている. また，要約元文書は平均 781 トークン，要約文は平均 56 トークンである。デー タの前処理はトークン化は CNN/DailyMail ダウン ロードページ1)の通りに行い，BPE の使用などは fairseqによる前処理に基づいて行った2).

表 2 単語レベルと文レベルのヘッド数の割合による 性能比較（開発データでの性能）

## 4.2 実験設定

Hie-BART モデルの実装は, fairseq による BART モデルのコードを基に改良することで実装した. また，事前学習済みのモデルは fairseq のモデル “bart.large”2)を使用した. BARTを fine-tuning する際 は，勾配累積のハイパーパラメータ update-freqを 10，最大エポック数 max-epochを 6 , 総学習ステッ プ数を 23,916とした. また，提案手法 Hie-BART の ハイパーパラメータは, Multi-head のへッド数を 16, 単語レベルと文レベルの SANs における出力の 結合ヘッド数の割合を “単語:文 $=14: 2$ ” とした. 結合ヘッド数の割合のハイパーパラメータは開発デー タで調整した。表 2 に示す通り，開発データにおい て最も性能がよかった割合を採用している。このハ イパーパラメータに関しては, 5 章にて考察する. その他のハイパーパラメータは fairseqによる設定2) を用いた。

## 4.3 結果

実験結果を表 1 に示す。ここでは, CNN/DailyMail のテストデータによる結果を示している. 評価指標 として, ROUGE-1, ROUGE-2, ROUGE-L $の \mathrm{~F}$ 値 [7] とそれらの平均値を用いた. ROUGE スコアの算出 には， files2rouge ${ }^{3}$ を利用した。実験では，提案手法 の Hie-BART モデルを，非階層の通常の BART モデ ルに加えて, LEAD-3[8], BertSumExtAbs[1], T5[2] と比較した. ベースラインの BART モデルとして,我々の計算機環境で再現した BART モデルの結果 （BART (ours)）に加えて, Lewis ら [3] で報告されて

いる結果も示している.

表 1 より，提案手法 Hie-BART は ROUGE-1/2/L の F 値において，Lewis らが報告している BART の性能から平均約 0.1 ポイント改善していることが分か る.また，我々が再現した BARTからは，平均約 0.2 ポイント改善していることが分かる. これらの結果 より，提案手法が有効であることを確認できた.

## 5 考察

提案手法は, Concatenate 層で単語レベルと文レべ ルのへッドの出力を特定の割合で結合する。この割合の変化で提案手法の性能がどう変わるかを考察す る. 表 2 に，結合時の単語レベルと文レベルのへッ ドの割合を変えた時の提案手法の開発データにおけ る性能を示す. ヘッド数の割合はハイパーパラメー タとして手動で調節しており, 表 2 の最左列に示さ れている. 最左列が “単語:文 $=x: y$ ” の場合，単語レ ベルのへッド数が $\mathrm{x}$, 文レベルのへッド数が $\mathrm{y}$ を意味する.

表 2 より，“単語:文 $=14: 2$ ” の場合が ROUGE-1/2/L スコアの平均が最大になっていることが分かる. ま た, 単語レベルに比べて文レベルのへッド数の割合が少ない方が，ROUGE スコアが高くなる傾向に あることが分かる. ただし，文レベルのへッド数 が 0 ，つまり通常の非階層の BARTによる精度は， Hie-BART よりも性能が低い。また，単語レベルの ヘッド数を 8 以下に減らしていく方向は, 精度の改善が見られなかったので表 2 には掲載していない。

## 6 おわりに

本研究では，BART におけるエンコーダの SelfAttention 層を単語レベルと文レベルに分割し計算することで，単語と文間の関係性を考慮する Hie-BART を提案した. BARTを階層化すること により, CNN/DailyMail データセットにおいて， ROUGE-L の F 值が 0.23 ポイント改善することを確認した. 今後は, 単語間や単語と文間の情報に加 え，文同士の関係を取り入れる手法に拡張予定であ る.また, Xsum データセットなどの CNN/DailyMail データセット以外のデータセットで提案モデルの有効性を検証予定である.

## 参考文献

[1] Yang Liu and Mirella Lapata. Text summarization with pretrained encoders. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and
the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3730-3740, Hong Kong, China, November 2019. Association for Computational Linguistics.

[2] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[3] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880. Association for Computational Linguistics, July 2020.

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008. Curran Associates, Inc., 2017.

[5] Jie Hao, Xing Wang, Shuming Shi, Jinfeng Zhang, and Zhaopeng Tu. Multi-granularity self-attention for neural machine translation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 887-897, Hong Kong, China, November 2019. Association for Computational Linguistics.

[6] Karl Moritz Hermann, Tomas Kocisky, Edward Grefenstette, Lasse Espeholt, Will Kay, Mustafa Suleyman, and Phil Blunsom. Teaching machines to read and comprehend. In Advances in neural information processing systems, $\mathrm{pp}$. 1693-1701, 2015.

[7] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[8] Ramesh Nallapati, Feifei Zhai, and Bowen Zhou. SummaRuNNer: A recurrent neural network based sequence model for extractive. In Proceedings of In Association for the Advancement of Artificial Intelligence, 2017.


# 非自己回帰モデルを用いた日本語見出し生成の検討

野崎 樹文 ${ }^{1,2 *}$ 近藤雅芳 1 内山 達也 ${ }^{1}$
LINE 株式会社 1
京都大学 工学部情報学科 ${ }^{2}$
\{nozaki.jumon, masayoshi.kondo, tatsuya.uchiyama\}@linecorp.com

## 1 はじめに

スマートフォンの普及と共にインターネットメ ディアの影響力は益々大きくなりつつある。拡大 し続けるインターネットメディア上での効率的な プラットフォーム運営を目的として、掲載記事の 自動編集機能のひとつに見出し生成技術がある $[1,2,3,4]$ 。見出し生成とは、記事本文を入力し見出 しを出力する技術で、要約タスクとして扱われる。従来、ニューラルネットを用いた見出し生成で は、エンコーダ・デコーダモデルを用いて目的の出力系列を逐次的に生成することが一般的であった。 このようなモデルは自己回帰モデルと呼ばれ、モデ ル推論時の時間計算量が出力系列長に比例するた め、生成に遅延が生じる欠点がある。

近年、このような問題を解決するアプローチとし て、機械翻訳の分野において、出力系列を並列に生成する非自己回帰モデルの研究が活発に進められて いる $[5,6,7,8,9]$ 。非自己回帰モデルは、出力トーク ン間の依存関係を捉えにくく現状では性能面で従来 のモデルに及ばないものの、出力系列のトークンを 並列に出力するため、時間計算量が出力系列長に依存せず、高速な生成を実現できる利点がある。

本研究では、見出し生成技術の高度化を目的とし て、非自己回帰モデルを用いた日本語見出し生成の 検証を行う。具体的には、ニュース記事と見出し のペアから構成されるデータセットに対して、非自己回帰モデルである Conditional Masked Language Model [10]を用いる。また、機械翻訳等の分野にお いて、非自己回帰モデルの性能向上が報告されてい るいくつかの有効な手法 $[11,12,13]$ の適用も検証す る。さらに、近年、記事を掲載するメディアのレイ アウトや表示デバイスのサイズに合わせて、生成す

る見出しの出力長に制限を課す技術の研究が積極的 に進められている $[14,15]$ ことから、本研究では非自己回帰モデルの出力長の制御を試みる。具体的に は、CMLMが推論時に出力系列長を予め予測するこ とに着目し、その出力系列長を目的の文字数に定め ることで正確に出力長を制御する方法を検証する。

## 2 事前準備

## 2.1 問題設定

見出し生成タスクは、 $S$ 個のトークンで構成され る文 $X=\left.\{x_{i}\right.\}_{i=1}^{S}$ を大力として与えられた時、 $T$ 個の トークン $(T<S)$ で構成される尤もらしい見出し $Y=\left.\{y_{i}\right.\}_{i=1}^{T}$ を出力するモデルを得ることを目的とす る。本研究では、日本語のデータセットを用いる。

## 2.2 非自己回帰モデル

入力文 $X$ が与えられた時に見出し $Y$ を生成する 自己回帰モデル $P_{A R}(Y \mid X)$ は、これまでに生成され たトークン列 $y_{<t}$ の条件付き確率の積として以下の ようにモデル化される。

$
P_{A R}(Y \mid X)=\prod_{t=1}^{T} P\left(y_{t} \mid y_{<t}, X\right)
$

一方、非自己回帰モデル $P_{N A R}(Y \mid X)$ は、生成トーク ン間の依存関係が無く、その出力系列の生成確率を 入力系列のみに依存する条件付き独立の確率の積と して以下のようにモデル化される。

$
P_{N A R}(Y \mid X)=P_{L}(T \mid X) \cdot \prod_{t=1}^{T} P\left(y_{t} \mid X\right)
$

$P_{L}$ は出力系列長 $T$ を予測する確率関数で、モデル の学習過程で同時に学習される。非自己回帰モデル は、トークンを並列に生成することで生成の高速化 が期待できる。一方、トークン間の依存関係が陽に モデル化されないため、自己回帰モデルと同様の学習枠組みでは性能が低くなることが知られている。

## 2.3 Conditional Masked Langage Model

Ghazvininejad ら [10] は、前述の課題に対するア プローチとして、Conditional Masked Langage Model (CMLM) という非自己回帰モデルを提案した。モデ ルの学習時は、正解出力系列をランダムにマスクし た系列を入力とし、マスクに入るトークンを予測す る。一方で、推論時は $P_{L}$ を用いて予測した系列長 のマスクトークンからはじめ、予測尤度の高いトー クンとマスクトークンを置き換える操作を予め定 められた復号ステップ数だけ繰り返すことによって 生成を行う。この時、各復号ステップで埋めるマス クトークン数は、一定になる様にする。

## 2.4 検証技術

本研究では、非自己回帰モデルを用いた見出し生成に加え、以下の 4 つの手法の検証も行う。

i) 知識蒸留: Sequence-level knowledge distillation [11] は、訓練データの正解ラベルを自己回帰モデルの推論結果で置き換え、そのデータを非自己回帰モデル の訓練データとして用いるという、知識蒸留の手法 のひとつである。これにより、multimodality problem [5] が緩和され、学習が安定する効果がある。

ii) 縮約操作: 非自己回帰モデルの生成結果には同一 トークンの連続が含まれやすいことが知られてお

り、これに対し Lee ら [12] は連続した同一トークン の重複を排除する手法を提案した。本研究ではこの 手法を縮約操作と呼び、検証に用いる。

iii) 語彙分割: 語彙サイズを大きくすることで、各 トークンが独立に生成されるという非自己回帰型モ デルの仮定の欠点を補う効果があり、精度が向上す るという報告がある [13]。本研究では、語彙として 文字単位を用いた場合と SentencePiece [16] 用いた場合との精度を比較する。また SentencePiece の語彙 サイズを大きくした時の精度の変化を調べる。

iv) 出力系列長の制御: 非自己回帰モデルの出力系列長に制限を課すことを目的として、CMLM の推論時 の初期マスクトークンの数を目的の系列長にするこ とで、陽に出力長を制御する方法を検証する。

## 3 実験設定

## 3.1 データセット

本研究では 2 つのデータセットを用いる。ひと つは、インターネットメディアから独自に収集し
た日本語の Webニュース記事で構成されたデータ セット (以下、日本語 Web ニュースデータセット) 1)である。このデータセットは、記事と見出しのぺ アで構成される。実験の際には訓練データと類似 するデータが開発データやテストデータに含まれ ないようにするため、記事取得時刻順に訓練、開発、テストデータとなる様に分割した。もうひとつ は、livedoor ニュースコーパス2)である。このデー タセットはテストセットとしてのみ利用する。トー クナイズは、文字単位または SentencePiece3)を用い る。その他のデータセットの詳細は、付録.A に記載 する。

## 3.2 実装の詳細

非自己回帰モデルとして CMLMを用いる。自己回帰モデルには Transformer [17] を用いる。両モデ ルのエンコーダとデコーダの層数はそれぞれ 1 層 ずつ4)とし、知識蒸留用の教師モデルの Transformer はそれぞれ 3 層ずつとした。推論速度の比較には、 バッチサイズを 1 とし、それぞれの実験で 5 回ずつ 計測をした平均値を用いた。語彙サイズは、文字単位については訓練データ内で 5 回以上出現する 3392 種とし、SentencePiece については 8000 とした。実

細は、付録.Bに示す。

## 3.3 評価方法

本研究では、以下の 3 つの評価指標を用いる。

ROUGE: 見出しの品質評価を目的に、F1 ベースの ROUGE スコアを用いる。出力系列と正解見出しに 対して MeCab [18] よる分かち書きをしてから計算 を行う。

Repetition Rate (RR): 非自己回帰モデルの出力系列 に対する同一トークンの連続の多さを測る指標と して、Repetition Rate (RR) を以下のように定義し用 いる。

$
R R=\frac{1}{n} \sum_{i=0}^{n} \frac{r_{i}}{t_{i}-1}
$

$t_{i}$ は出力系列のトークンの数、 $r_{i}$ は出力系列内の

1）会員制サイト等を除く、自由閲覧可能なメディアから収集・構築した。非公開のものである。

2) https://www. rondhuit.com/download.html

3) https://github.com/google/sentencepiece

4）データセットサイズが小規模であったため、大きいモデル サイズでは学習が安定しなかった。また、 1 層で比較検証す るには十分な性能が出たため、本研究では 1 層とした。

5) https://github.com/pytorch/fairseq

表 1: 日本語 Webニュースデータセットを用いた性能比較。b は推論時のビーム幅、k は CMLM の復号ステップ数を示 す。また、**は、CMLMにおける知識蒸留の教師モデルを示す。速度は、日本語 Webニュース記事データセットに対す るビーム幅 5 の Transformer の生成速度を基準として、各モデルの生成速度の倍率を示している。

トークン単位の bigram の内、同一トークンで構成さ れるものの数である。

文長の分散値: 文字長制御の効果検証を目的に、高瀬ら [19] に倣い、以下の指標を用いる。

$
\operatorname{var}=\frac{1}{n} \sum_{i=0}^{n}\left|l_{i}-l e n\right|^{2}
$

var は、モデルの出力系列長に対する正解系列長と の分散を表す指標で、 $n$ はデータの数、 $l_{i}$ は生成結果の見出しの長さ、len は正解見出しの長さを表す。

## 3.4 出力系列長の制御方法

本研究では、モデルの出力系列長の制御方法とし て、以下の 4 つの方法を検証する。この検証では、 トークナイズに文字単位を用いる。

打ち切り: 目的の文字数よりも長い系列を生成した 場合に目的の文字数で打ち切り、以降の文字を切り 捨てる。

固定長: Rush ら [1] の提案した自己回帰モデルに対 する出力長制御手法で、目的の文字数まで終端記号 を出力しないことで強制的に目的の文字数までの出力系列を生成する。

制御コード：人見ら [20] の提案した自己回帰モデ ルに対する出力長制御手法で、目的の文字数を表す 制御コードを入力に加える。本研究では、制御コー ドとして 6〜69 文字を表す 64 種類を用いる。

固定長初期化: 我々は、CMLM の推論時の初期マス クトークンの系列長を目的の文字数に定め、陽に出力長を制御する。学習時には、誤差関数から長さ予測に関する項を除いて CMLM の学習を行う。また、人見らの方法と同様に入力に目的系列長を表す制御 コードを加えた。

## 4 実験結果

## 4.1 自己回帰モデル vs. 非自己回帰モデル

まず、自己回帰モデルの Transformer と非自己回帰モデルの CMLM との性能比較を表 1 に示す。 CMLM は、復号ステップ数 $k$ が増えるにつれて ROUGE スコアが大きく改善した。また、縮約操作、知識蒸留、subword の利用といった個々の操作を適用した場合それぞれで ROUGE スコアが改善した。 さらに、これら 3 つの操作全てを適用した場合、個々の操作だけの場合よりも大きくROUGE スコア が改善し、生成速度も約 3 倍程度高速であった。一方で、性能面で依然として自己回帰モデルに及んで いない課題は残る。繰り返し生成の問題について は、非自己回帰モデルは自己回帰モデルと比較して RR の値が大きく、同一トークンの連続した生成が 多いことが分かる。これに対して、縮約操作を適用 することで繰り返し生成の問題が回避され、RRが 0 となるだけでなく、ROUGE スコアも 1 ポイント以上向上した。

表 2 に livedoorニュースコーパスに対して生成 された見出しのサンプルを示す。CMLM の復号ス テップ数が大きくなると、文字の繰り返し生成が低減している。さらに、CMLMに3つの操作をそれぞ れ適用していくと、生成された見出しの可読性が向上していくことが確認できる。また、正解見出しと

表 2: livedoorニュースコーパスを用いて生成された見出しのサンプル。サンプルの正解見出しと各モデルにより生成さ れた見出しをそれぞれ示す。トークナイズには、文字単位を用いた。

図 1: subword の語彙サイズを変更した場合の CMLM と Transformer のそれぞれの精度を示す (実線)。縦軸は 3 つ の ROUGE 值 (R-1, R-2, R-L) の幾何平均値を、横軸は語彙サイズを示す。また、破線はトークナイズに文字単位 ( size:3392)を適用した場合の精度を示している。データ セットは、日本語 Webニュースデータを用いた。本実験 の詳細なスコアは、付録.C に記載。

各モデルの生成見出しの差異が大きい要因として、学習時とテスト時で異なるデータセットを用いたこ とが考えられる。

## 4.2 語彙と性能の関係

次に、図 1 に語彙分割の方法と性能との関係を示 す。subword の語彙数が、自己回帰モデルでは 4,000 の時に、非自己回帰モデルでは 8,000 の時に、それ ぞれ最も性能が高かった。また、トークナイズに文字単位と subword を用いた場合で比較すると、非自己回帰モデルの方が自己回帰モデルよりも性能の 向上幅が大きかった。一方で、自己回帰モデルと 非自己回帰モデルで共に、subword の語彙サイズが 16,000 以上になると性能が低下した。これは、今回用いたデータセットのサイズが比較的小さく、大き な語彙サイズによる学習が安定しなかったことが要因であると考えられる。

表 3: 出力系列長の制御を適用した場合の性能を示す。 データセットは、日本語 Webニュースデータセットを用 いた。トークナイズは、文字単位を用いた。

## 4.3 出力系列長の制御

最後に、表 3 に、各モデルに出力系列長の制御の 手法を適用した場合の性能を示す。自己回帰モデル では、全ての制御方法において正解系列長との分散 の値は小さくなる一方、性能の低下が確認された。 それに対して、非自己回帰モデルでは、目的文字数以降の文字を打ち切る方法では性能が低下したが、初期化トークンを目的文字数に固定する方法では正確に長さ制御を行いつつ性能が向上した。これは、目的の文字数を正確に出力していることに加え、損失関数から長さ予測に関する項が取り除かれること で学習が安定したことが理由として考えられる。

## 5 おわりに

本研究では、非自己回帰モデルを用いた見出し生成を行い、自己回帰モデルとの性能比較を行った。 また、機械翻訳等で用いられている、非自己回帰モ デルの性能向上を目的としたいくつかの手法につ いて、日本語見出し生成タスクでも同様の有効性を 確かめた。さらに、非自己回帰モデルによる生成時 に、生成長を予め与える簡易な方法で性能を向上さ せながら正確に出力長を制御できることを示した。一方で、未だ自己回帰モデルの生成する見出しとの 品質差は大きい。今後は、非自己回帰モデルの精度 をより高めていくために大規模な事前学習済み言語 モデル $[21,22,23,24]$ などの利用を検討予定である。

## 参考文献

[1]Alexander M Rush, Sumit Chopra, and Jason Weston. A neural attention model for abstractive sentence summarization. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 379-389, 2015.

[2]Kazuma Murao, Ken Kobayashi, Hayato Kobayashi, Taichi Yatsuka, Takeshi Masuyama, Tatsuru Higurashi, and Yoshimune Tabuchi. A case study on neural headline generation for editing support. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Industry Papers), pp. 73-82, 2019.

[3] 人見雄太, 田口雄哉, 田森秀明, 岡崎直観, 乾健太郎. 小規模リソースにおける生成型要約のためのスタイル転移. 言語処理学会第 26 回年次大会, 2020.

[4]小林健, 小林隼人, 村尾一真, 増山毅司. 複数エンコーダ を用いたヤフートピックス見出し候補生成. 言語処理学会第 26 回年次大会, 2018.

[5]Jiatao Gu, James Bradbury, Caiming Xiong, Victor OK Li, and Richard Socher. Non-autoregressive neural machine translation. In International Conference on Learning Representations, 2018

[6]Jiatao Gu, Changhan Wang, and Junbo Zhao. Levenshtein transformer. In Advances in Neural Information Processing Systems, pp. 11181-11191, 2019.

[7]中村朝陽, 鶴岡慶雅. 非自己回帰的な生成と事前学習を 用いた機械翻訳への試み. 言語処理学会第 26 回年次大会, 2020 .

[8]安井豪, 鶴岡慶雅, 永田昌明. モデルに基づくマスキン グを行う非自己回帰的ニューラル機械翻訳. 言語処理学会第 26 回年次大会, 2020.

[9]朱中元, Jason Lee, Kyunghyun Cho, 中山英樹. 潜在変数 の精緻化による非自己回帰型ニューラル機械翻訳. 言語処理学会第 26 回年次大会, 2020.

[10]Marjan Ghazvininejad, Omer Levy, Yinhan Liu, and Luke Zettlemoyer. Mask-predict: Parallel decoding of conditional masked language models. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 6114-6123, 2019.

[11]Yoon Kim and Alexander M Rush. Sequence-level knowledge distillation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1317-1327, 2016.

[12]Jason Lee, Elman Mansimov, and Kyunghyun Cho. Deterministic non-autoregressive neural sequence modeling by iterative refinement. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1173-1182, 2018

[13]Hirofumi Inaguma, Yosuke Higuchi, Kevin Duh, Tatsuya Kawahara, and Shinji Watanabe. Orthros: Nonautoregressive end-to-end speech translation with dualdecoder. arXiv preprint arXiv:2010.13047, 2020.

[14]Angela Fan, David Grangier, and Michael Auli. Controllable abstractive summarization. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 45-54, 2018.
[15]Yuta Kikuchi, Graham Neubig, Ryohei Sasano, Hiroya Takamura, and Manabu Okumura. Controlling output length in neural encoder-decoders. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1328-1338, 2016.

[16]Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[17]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[18]Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to japanese morphological analysis. In Proceedings of the 2004 conference on empirical methods in natural language processing, pp. 230-237, 2004.

[19]Sho Takase and Naoaki Okazaki. Positional encoding to control output sequence length. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3999-4004, 2019.

[20]Yuta Hitomi, Yuya Taguchi, Hideaki Tamori, Ko Kikuta, Jiro Nishitoba, Naoaki Okazaki, Kentaro Inui, and Manabu Okumura. A large-scale multi-length headline corpus for analyzing length-constrained headline generation model evaluation. In Proceedings of the 12th International Conference on Natural Language Generation, pp. 333-343, 2019.

[21]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, 2019.

[22]Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-tosequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, 2020.

[23]Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[24]Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. 2020.

## A データセットの詳細

日本語 Web ニュース記事データセット: データサ イズについては、それぞれ、訓練データが 5 万以上、開発が 4,908、テストが 4,887 サンプルとなって いる。

livedoor ニュースコーパス゚ ${ }^{6}$ : サンプル数は 6,928 と なっている。本研究には、テストセットにのみ用い ている。

## B 実験設定の詳細

モデル訓練時の設定は、dropout 率を 0.3、学習率を 0.0005、warm-up steps を 10000、weight decay を 0.01 と設定した。学習ステップ数は最大で 50 万と した。バッチサイズは、バッチ内トークン数が最大 8000 となるように動的に構成するようにした。モ デル学習時の入出力については、最大入力長と最大出力長をそれぞれ 128 語、 69 語として学習を行う。一方で、推論時には最大出力長を 200 語として生成 を行った。その他のパラメータ設定は、Vaswani ら [17] の Transformer (base model) と同様のものを用い ている。

実験環境には、NVIDIA Telsa V100 GPUを 1 枚利用した。また、CPU は Intel Xeon Silver 4114 CPU $(2.20 \mathrm{GHz})$ を 2 個使用し、RAM は $24 \mathrm{~GB}$ とした。

## C 語彙と性能の関係の詳細

表 4: 語彙サイズを変更した場合の CMLM と Trans former の各 ROUGE スコアを示す。char は文字単位 (size:3392)を示す。また、表記の $4 \mathrm{k}, 8 \mathrm{k}, 16 \mathrm{k}, 32 \mathrm{k}$ は、 それぞれ subword の語彙サイズを示す。

6) https://www. rondhuit.com/download.html


# テキスト変換モデルに基づく 様々な制約を用いたインタラクティブ要約

柴田 知秀 $\dagger$ 山田 悠右 $\ddagger$ 小林 隼人 $\dagger$ 田口 拓明 $\dagger$ 奥村 学
†ヤフー株式会社 ‡東京工業大学
\{tomshiba, hakobaya, htaguchi\}@yahoo-corp.jp
\{yuyamada@lr.,oku@\}pi.titech.ac.jp

## 1 はじめに

Encoder-decoder モデル [1,2] や事前学習モデル $[3,4]$ などの深層学習の進展により、テキスト自動要約の技術が進歩している。自動要約手法の精度を 向上させる余地がある一方で [5]、そもそも要約の 正解には様々な観点が考えられる場合も多いことか ら、ユーザからのフィードバックをもとに要約を生成・改良させる研究が進められている [6,7]。本論文ではユーザが制約を与えてインタラクティブに要約を行う設定 (Mao らの研究) [6] に焦点をあてる。

制約付き要約が必要となる場面を、Yahoo!ニュー ス・トピックスを例として説明する。Yahoo!ニュー ス・トピックスでは、日々のニュース記事の中から 重要なニュースを選択し、要点を押さえた短い見出 しを編集者の手により作成している。そこでは、見出しの候補を自動生成し編集者に提示することに よって、編集支援を行っている [8]。この発展とし て、自動生成された見出しに対して、編集者が含め たいキーワードやフレーズを制約として与えると、 その条件を満たす見出しが生成されれば、さらなる 編集支援を行えると考えられる。

先に述べた Mao らの研究 [6] やその他の制約付き 生成の研究 $[9,10]$ ではキーワードやフレーズなど、入力文書に依らず同一の制約のタイプを想定してい る。しかし、制約のタイプは文書によって異なるの が自然である。例えば求める要約が抽出型であれば 制約として文であることが望ましく、また、抽象型 であればキーワードやフレーズであることが望まし い。また、Mao らの研究では制約を一回与えるのみ であるが、数回与えながら徐々に要約を改善してい くのが自然な設定である。

そこで本研究では様々なタイプの制約を与える インタラクティブ要約の手法を提案する。提案手法
の概要を図 1 に示す。本研究は自動処理の精度を向上させるという設定ではなく、入力の文書に対して ユーザ (編集者) が生成したい要約が頭にあり、それ をもとに制約を与えて要約を改善する、というイン タラクティブな要約をシミュレートする設定とな る。まず、制約なしで生成した要約がユーザに提示 され、ユーザは制約を与える。この例ではキーワー ド制約として「新しい」という単語を与え、システ ムはこの制約のもとに要約を生成する。さらにフ レーズ制約として「気象庁」を与える、という具合 にインタラクティブに要約を生成していく。制約付 きの学習・評価セットを構築するのはコストが高い ことから、Маoらの研究と同じく、正解要約に含ま れていてシステム出力には含まれていないキーワー ドやフレーズを疑似的に制約とみなす。

また、Mao らは制約を満たす生成を得るモデル [11] をデコード時に用いているが、このモデルでは 様々なタイプの制約に対応することができない。そ こで本論文ではテキスト変換モデルを用い、制約の 単位にかかわらず、制約を入力側に入れることによ り制約付き生成を実現する。本研究ではテキスト変換モデルとして T5 [3] を用いる。

標準的に用いられている評価セットを用いて、イ ンタラクティブ要約がどのように実現されるかを検証した。

## 2 提案手法

## 2.1 枠組み

まず、入力文書 $(s r c)$ と正解要約 $(t g t)$ が与えられ、制約なしのベースモデル $M_{\text {base }}$ を学習する。このモ デル $M_{\text {base }}$ を使って生成された要約を pred とする。制約 $C$ は tgt にあって、pred に存在しないものを抽出する。

火山灰の量は? 気象庁が24日から新しい降灰予報
スタート
$\cdots$
火山灰も広い範囲にわたって私たちの生活に大き
な被害を与えます。
気象打は、3月24日から新しい降灰予報を順次ス
タートさせます。
これまでの降灰予報をバージョンアップさせたこ
の予報は、一体どのようなものなのでしょうか。

制約なし生成

火山灰の量は? 気象庁 (0.17)

$
\text { キーワード制約: 新しい }
$

制約あり生成 (1)

火山灰の量は? 新しい降灰予報 (0.44)

制約あり生成 (2)

火山灰の量は? 気象庁新予報 (0.23)

$
\text { キーワード制約: 降灰 }
$

制約あり生成 (3)

気象庁、24日から新しい降灰予報 (0.57)

 \\

図 1 提案手法の概要 (括弧内の数字は ROUGE2 F の值を示す)

図 2 様々なタイプの制約(下線が引かれた制約はランダムに選ばれたものを示す)

## 2.2 様々なタイプの制約

制約として、入力によらず単一の制約のタイプを 与えるというよりは様々なタイプの制約を与えるの が自然である。本研究では制約のタイプとして文、 フレーズ、キーワードを考える。

文 tghに含まれていて、predに含まれない文を 制約として抽出したいが、入力中のある文がその まま tgt に含まれているとは限らないので、抽出型要約における正解文抽出の方法 [12,13] を拡張し、 pred と連結すると ROUGE F 值が高くなるような入力中の文を制約として抽出する。

キーワード 文単位で制約を考えると、特に抽象型要約の場合、不要な部分が含まれてしまう可能性が高い。そこで、キーワード単位での制約を考 え、tgtに含まれ、predには含まれないものを制約 とする。

制約の候補を抽出する対象として 2 種類の問題設定を考える。1つは $s r c$ のみで、これはキーワード を入力文書から抜き出す形で設定することを想定す る(この設定を $\operatorname{src}$ と呼ぶ)。もう 1 つの設定として、 $t g t$ も加えることを考え、これは入力文書には含ま れていない言い換え表現などをキーワードを含める
ことができる(この設定を $s r c+t g t$ と呼ぶ)。

フレーズ キーワードよりも少し大きな単位とし てフレーズを考える。要約に含むべきフレーズとし て固有表現が多いことから、本研究では固有表現の みを対象とする。キーワードと同様に、tgt に含ま れ、predには含まれないものを制約とする。

ある文書について制約のタイプが複数抽出され る場合、どの制約のタイプが最善であるかは分から ないので、ランダムに制約のタイプを選ぶ。また、 ある制約について複数ある場合はその中からラン ダムに一つ選ぶ。図 2 に制約の例を示す。一つ目の 例では文・フレーズ・キーワード制約が得られてお り、ここからランダムに選んだ結果、キーワード制約が選ばれ、 3 つのキーワードのうちからランダム に「大統領」が選ばれている。二つ目の例では文制約とキーワード制約が抽出されており、フレーズ制約は条件に合致するものがない。

## 2.3 テキスト変換モデルの利用

テキスト変換モデルを利用することにより、制約 がどのような単位であっても入力に制約を加えるだ けで、制約付き生成を実現することができる。制約 なしのベースモデル $M_{\text {base }}$ でシステム出力 $p r e d$ を

図 3 制約付きデータの構築とインタラクティブ生成の方法 (test は valid と同様の方法で構築)

生成することを以下のフォーマットで表現する。

summarize: $s r c \rightarrow$ pred

制約ありモデル $M_{C} 、 i$ 回目のシステム出力を pred $_{i}$ とすると、 $M_{C}$ で pred $_{i}$ を生成する場合、制約を入力の先頭に追加し、

## C summarize: $s r c \rightarrow$ pred $_{i$}

とする。制約 $C$ は「(制約タイプ) constraint: (制約文字列)」とする。制約タイプは sentence、phrase、 keyword のいずれかをとり、制約のタイプを区別す るために付与している。図 2 の 1 つ目の例の入力は 以下のようになる。

keyword constraint: 大統領 summarize: トランプ 氏に.. $\rightarrow$..

インタラクティブに生成を繰り返し行うので、2 回目以降の生成では過去の制約も満たすょうに、以下のように過去の制約も入力に加える $\left(C_{i}\right.$ は $i$ 回目 の制約を表わす)。

## $C_{1 C_{2}$.. $C_{i}$ summarize: $s r c \rightarrow$ pred $_{i}$}

## 2.4 制約付きデータの構築とインタラク ティブ生成

制約付き評価セットの構築ならびにインタラク ティブ生成を図 3 に示す。まず、 $\operatorname{train}$ の src と tgt を 使ってベースモデル $M_{\text {base }}$ を学習し、valid の pred を生成する。そして、pred と tgt を比較し、2.2 節で 述べた方法で制約を抽出する。

制約ありモデルを学習するために、trainについて も制約を付与する必要があるので、trainを $N$ 分割 し1)、N-1 個で制約なしモデルを学習し、残りに対 して pred を生成し、同様に制約を抽出する。そして これを $N$ 回繰り返すことにより、train のすべてに対 して制約を得る。次に、train の制約付き src と tgt

から制約ありモデル $M_{C}$ を学習する。学習したモデ ルを用いて valid に対して pred $_{1}$ を生成し、インタ ラクション 1 回目の生成 pred $_{1}$ を得る。次に、 pred 1 と tgt から次の制約 $C_{2}$ を得て、 $C_{2}$ と $s r c$ に対して $M_{C}$ を適用することにより、2 回目の生成 pred $_{2}$ を得 る。このようにして、インタラクティブな生成を実現することができる。

## 3 実験

## 3.1 実験設定

自動要約で標準的に用いられている英語の評価 セット 3 つ (CNN/DM [14, 1], XSum [15], Reddit [16]) と、日本語のものとして Yahoo!ニュースのトピック ス記事のデータセット (Topics [8]) を用いた。表 1 に 各評価セットの統計データを示す。

CNN/DM は抽出度が高く、XSum と Reddit は抽出度が低いデータセットであり、抽出度によってどの ようにシステムの振舞いが異なるかを実証する。

評価尺度は標準的に用いられている ROUGE-1,2,L の $\mathrm{F}$ 值 [17] を用いた。評価の基本単位として英語 の場合は単語を、日本語の場合は文字を用いた。ま た、インタラクションの回数を 3 とした。

事前学習モデルとして、英語の場合は $\mathrm{T} 5^{2}$ を、日本語の場合は $\mathrm{mT5}[18]^{3}$ を用いた。モデルサイズは どちらも base を利用した。実装は Hugging Face 社 が提供する transformers $の$ seq2seq を使った4)。

キーワード制約の抽出において、英語では TextRank $[19,20]^{5}$ を用い、日本語では形態素解析器 JUMAN $\left.^{6}\right)$ で単語に分割し、TFIDF が上位のものを キーワードとした。フレーズ制約の抽出において Spacyを用いて固有表現解析を行った。

## 3.2 実験結果 $\cdot$ 考察

制約を用いないベースラインと、制約として文、 フレーズ、キーワードのうちの一つのみを採用した

 & $\underset{(\operatorname{src})}{\mathrm{K}} \quad \underset{(\mathrm{src}+\operatorname{tgt})}{\mathrm{K}}$ & R-1 & R-2 & R-L & R-1 & R-2 & R-L & R-1 & R-2 & R-L & R-1 & $\mathrm{R}-2$ & R-L \\

表 2 実験結果 (制約の S, P, K はそれぞれ文、フレーズ、キーワードを示す)

} & \multirow[b]{2}{*}{1} & \multirow{2}{*}{} & \multirow{2}{*}{ \\
0.572
} & \multirow{2}{*}{ \\
0.726
} & \multirow{2}{*}{  } & \multirow{2}{*}{ \\
0.930
} & \multicolumn{2}{|c|}{ (src) $\quad \stackrel{\text { なし }}{(\mathrm{src}+\operatorname{tgt})}$} & \multirow{2}{*}{} & & \multicolumn{2}{|c|}{} & \multicolumn{2}{|c|}{$\underset{(\operatorname{src})(\operatorname{src}+\operatorname{tgt})}{\mathrm{K}} \quad \mathrm{K}$} \\

表 3 制約が抽出された割合 (「なし」はどのタイプの制約も抽出されな かったことを、2 カラム目の「1,2,3」はインタクラションの回数を示す)

表 4 出力が制約を満たした割合

場合、全てを採用した場合、ならびに、フレーズと キーワード制約については抽出の対象として $s r c$ の みと $s r c+t g t$ の場合 (2.2 節参照) を比較した。表 2 に実験結果を示す。

CNN/DM は抽出度が高い評価セットであるので、文制約のみを用いた場合が最も精度が高く、また、 XSum は src に含まれないフレーズが多いことから フレーズ制約 $(s r c+t g t)$ のみを用いた場合が最も精度が高かったが、おおまかな傾向としてはすべての 制約を用いた場合が精度が高く、様々な制約を用い ることの有効性を示すことができている。

Reddit の P(src), K(src) ならびに Topics の P(src) は 制約を用いないべースラインよりも低くなってし まっている。この原因を明らかにするために、valid セットにおいてそれぞれの制約が抽出された割合を 表 3 に示す。Reddit の P(src),K(src)と Topics の P(src) は他に比べて制約が抽出された割合が低いことがわ

くのキーワード・フレーズが要約に使用されている ことに起因する。

表 4 にシステム出力が与えた制約を満たした割合 を示す7）。インタラクションが進むにつれて、制約

7）文制約の場合、制約が満たされたかどうかを判断するのが
を満たすのが次第に難しくなっていることがわか る。また、Reddit は他の評価セットに比べて制約を 満たした割合が低い。これは難しい評価セットであ ることと、制約が抽出された割合が他の評価セット に比べて低い (表 3 参照)ことに起因する。

以下の例では Topics 評価セットにおいて、制約付 き出力が制約「夏」を満たしておらず、制約なし出力と同じ出力となってしまっている。この問題に対 しては N-best を生成し、制約を満たす出力を採用す ることによって対処することが考えられる。

tgt:梅雨の熱中症 真夏並みに注意

pred:熱中症の季節到来気をつけたい落とし穴

キーワード制約: 夏

制約付き pred: 熱中症の季節到来気をつけたい落とし穴

## 4 おわりに

本論文ではテキスト変換モデルに基づき、文・フ レーズ・キーワードの様々な制約を用いてインタラ クティブに要約を行う手法を提案した。今後の課題 としてはキーワードやフレーズを削除する制約の導入や出力長の制約を加えることなどがあげられる。

難しいので、フレーズ制約とキーワード制約についてのみ算出した。

## 参考文献

[1] Ramesh Nallapati, Bowen Zhou, Cicero dos Santos, Caglar Gulcehre, and Bing Xiang. Abstractive text summarization using sequence-to-sequence RNNs and beyond. In Proceedings of SIGNLL2016, pp. 280-290, 2016.

[2] Abigail See, Peter J. Liu, and Christopher D. Manning. Get to the point: Summarization with pointer-generator networks. In Proceedings of ACL2017, pp. 1073-1083, 2017.

[3] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[4] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of ACL2020, pp. 7871-7880, 2020.

[5] Dandan Huang, Leyang Cui, Sen Yang, Guangsheng Bao, Kun Wang, Jun Xie, and Yue Zhang. What have we achieved on text summarization? In Proceedings of EMNLP2020, pp. 446-469, 2020.

[6] Yuning Mao, Xiang Ren, Heng Ji, and Jiawei Han. Constrained abstractive summarization: Preserving factual consistency with constrained generation, 2020.

[7] Nisan Stiennon, Long Ouyang, Jeff Wu, Daniel M. Ziegler, Ryan Lowe, Chelsea Voss, Alec Radford, Dario Amodei, and Paul Christiano. Learning to summarize from human feedback. CoRR, Vol. abs/2009.01325, , 2020.

[8] Kazuma Murao, Ken Kobayashi, Hayato Kobayashi, Taichi Yatsuka, Takeshi Masuyama, Tatsuru Higurashi, and Yoshimune Tabuchi. A case study on neural headline generation for editing support. In Proceedings of NAACL2019 (Industry Papers), pp. 73-82, 2019.

[9] Zi-Yi Dou, Pengfei Liu, Hiroaki Hayashi, Zhengbao Jiang, and Graham Neubig. GSum: A general framework for guided neural abstractive summarization, 2020.

[10] Itsumi Saito, Kyosuke Nishida, Kosuke Nishida, and Junji Tomita. Abstractive summarization with combination of pre-trained sequence-to-sequence and saliency models, 2020.

[11] Matt Post and David Vilar. Fast lexically constrained decoding with dynamic beam allocation for neural machine translation. In Proceedings of NAACL2018, pp. 13141324, 2018.

[12] Ramesh Nallapati, Feifei Zhai, and Bowen Zhou. Summarunner: A recurrent neural network based sequence model for extractive summarization of documents. In Satinder P. Singh and Shaul Markovitch, editors, Proceedings of AAAI2017, pp. 3075-3081, 2017.

[13] Yang Liu and Mirella Lapata. Text summarization with pretrained encoders. In Proceedings of EMNLPIJCNLP2019, pp. 3730-3740, 2019.

[14] Karl Moritz Hermann, Tomas Kocisky, Edward Grefenstette, Lasse Espeholt, Will Kay, Mustafa Suleyman, and
Phil Blunsom. Teaching machines to read and comprehend. In C. Cortes, N. Lawrence, D. Lee, M. Sugiyama, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 28, pp. 1693-1701. Curran Associates, Inc., 2015.

[15] Shashi Narayan, Shay B. Cohen, and Mirella Lapata. Don't give me the details, just the summary! topic-aware convolutional neural networks for extreme summarization. In Proceedings of EMNLP2018, pp. 1797-1807, 2018.

[16] Byeongchang Kim, Hyunwoo Kim, and Gunhee Kim. Abstractive summarization of Reddit posts with multi-level memory networks. In Proceedings of NAACL2019, pp. 2519-2531, 2019.

[17] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, 2004.

[18] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A massively multilingual pre-trained textto-text transformer, 2020.

[19] Rada Mihalcea and Paul Tarau. TextRank: Bringing order into text. In Proceedings of EMNLP2004, pp. 404-411, 2004.

[20] Federico Barrios, Federico López, Luis Argerich, and Rosa Wachenchauzer. Variations of the similarity function of textrank for automated summarization. CoRR, Vol. abs/1602.03606, , 2016.

## 付録

図 4 各インタラクションでの精度 (Topics)

図 4 に評価セット Topics における各インタラク ションでの精度 (R2)を示す。全般的な傾向として、最初の上がり幅が最も大きく、ゆるやかに向上して いくことがわかる。