# トピック文生成による教師なし意見要約

磯沼 ${ }^{1}$ 森 純一郎 ${ }^{1}$ ボレガラダヌシカ ${ }^{2}$ 坂田 一郎 ${ }^{1}$
1 東京大学 2 リヴァプール大学
\{isonuma, isakata\}@ipr-ctr.t.u-tokyo.ac.jp
mori@mi.u-tokyo.ac.jp danushka@liverpool.ac.uk

## 1 はじめに

近年、 $\mathrm{EC}$ 上の商品レビューや SNS 投稿の急激な 増加により、それらに含まれる意見を集約し、知見 として利用する取り組みが注目されている。こうし た意見文書の要約では、抽出型要約よりも言い換え や一般化を交える生成型要約がより有効なことが知 られているが $[1,2]$ 、既存の生成型要約手法はほぼ 全て教師ありアプローチであり、大量の参照要約の 用意が困難な意見文書への適用方法が課題となって いる。こうした経緯から、近年意見文書に対する教師なし生成型要約が着目されている $[3,4,5]$ 。

教師なしアプローチでは、要約の潜在表現を参照要約なしにいかに獲得するかが鍵となるが、本研究 では多様な詳細度合いを持つトピックを捉えるこ とで要約文を生成する。例えば図 1 に示したあるレ ビューの要約は、「料理」、「サービス」、「場所」の 各トピックについて詳述し、最後は「全体」につい て述べている。このように、要約は多様なトピック で構成され、あるトピックは詳述され、他のトピッ クは簡潔に記述されていることが観察される。そこ で本研究では、文書から木構造上のトピックを推定 し、根からは全体的な、葉に近づくにつれより詳細 なトピックに関する要約文（トピック文）を生成す る。トピック文から、要約として相応しいトピック と詳細度合いを持つ文を選択することで、意見文書 の要約が教師なしに得られることを示す。抽出型要約においては、トピック [6,7] やその木構造 $[8,9]$ の 有効性が従来研究で示されているが、本研究はそれ らの教師なし生成型要約への応用を提案する。

トピック文生成の文脈では、Wang らは文書中の 文の潜在分布を混合ガウス分布で表現すると、その 構成要素である各単峰ガウス分布がトピック文の潜在分布として機能することを明らかにした [10]。一方、本研究のように多様な詳細度合いを持つトピッ ク文を生成するためには、文の詳細度合いを潜在空

図 1 本研究の概要。右側はあるレストランレビューの人手要約であり、各文が木構造上の各トピックに対応する ことがわかる。トピック文の潜在分布の分散は葉に近づ くほど小さくなり、より具体的なトピックに対応する。

間上でモデル化する必要があり、その方法は明らか でない。そこで本研究では、トピック文の潜在表現 をガウス分布で表現する際に、子の分布の分散が親 よりも小さくなるようにモデルを構築することで、葉に近づくにつれより詳細な文を生成する（図 1)。単語の潜在分布としてガウス分布を用いる Gaussian word embedding では、「犬」のような具体的な単語 は、「動物」といった一般的な単語よりも小さい分散を持つことが示されている [11]。文においても同様に、具体的な文は意味の分散が小さいため、その 潜在分布は分散が小さいと考えられる。子の分布の 分散を親よりも小さくするために、本研究では再帰的混合ガウス分布（再帰的 GMM）を文書中の文の 潜在表現の事前分布として導入する。再帰的 GMM は、木構造上の各トピックに対応するガウス分布で 構成され、子の事前分布に親の事後分布を設定して 構築される。これにより、根の潜在分布の分散は大 きく、葉に近づくにつれ分散は小さくなる。評価実験では、提案法の要約性能が既存の教師な し生成型要約手法と競合することを確認した。ま た、トピック文の詳細度合いはその潜在分布の分散 の大きさに依存し、葉に近づくほど分散が小さく、 より具体的な文が生成されることを示した。

図 2 提案法概要。文書の文の事前分布に再帰的 GMM を、それを構成するガウス分布をトピック文の事前分布に設定。

## 2 提案法

本節では、文書からトピック文を生成し、要約を 得る方法を説明する。提案法の概要を図 2 に示す。

## 2.1 文書の生成過程

提案法では以下の文書の生成過程を仮定する。各文書インデックス $d \in\{1, \ldots, D\}$ について:

文書 $d$ の各文インデックス $s \in\left.\{1, \ldots, S_{d}\right.\}$ について:

1. 文のトピック $z_{s} \in\{1,11,12, \ldots, K\}$ をサンプル:

$
z_{s} \sim \operatorname{Mult}(\boldsymbol{\theta})
$

2. 文の潜在表現 $x_{s} \in \mathbb{R}^{H}$ をサンプル:

$
\boldsymbol{x}_{s} \mid z_{s} \sim \prod_{k=1}^{K} p\left(\boldsymbol{x}_{s} \mid z_{s}=k\right)^{\delta\left(z_{s}=k\right)}
$

3. 尤度が最大となる文 $\boldsymbol{w}_{s}=\left(w_{s}^{1}, \ldots, w_{s}^{N_{s}}\right)$ を得る。

$
\boldsymbol{w}_{s} \mid \boldsymbol{x}_{s}=\arg \max _{\boldsymbol{w}_{s}} p\left(\boldsymbol{w}_{s} \mid \boldsymbol{x}_{s}\right)
$

ただし、 $p\left(\boldsymbol{w}_{s} \mid \boldsymbol{x}_{s}\right)=\prod_{n=1}^{N_{s}} p\left(w_{s}^{n} \mid \boldsymbol{w}_{s}^{<n}, \boldsymbol{x}_{s}\right)$ は RNN で得 る。トピック分布は木構造上に定義され、その事前分布を一様分布に設定する $: \theta_{k}=K^{-1}$ 。文書中の文 の事前分布として再帰的 GMM を設定し (2)、各要素はトピック文の事前分布 $p\left(\boldsymbol{x}_{s} \mid z_{s}=k\right)$ に対応する：

$
\begin{aligned}
p\left(\boldsymbol{x}_{\boldsymbol{s}} \mid z_{s}=1\right) & =N\left(\boldsymbol{x}_{s} \mid \boldsymbol{\mu}_{0}, \boldsymbol{\Sigma}_{0}\right) \\
p\left(\boldsymbol{x}_{\boldsymbol{s}} \mid z_{s}=k\right) & =q\left(\boldsymbol{x}_{\boldsymbol{s}} \mid z_{s}=\operatorname{par}(k)\right) \\
& =N\left(\boldsymbol{x}_{s} \mid \hat{\boldsymbol{\mu}}_{d, \operatorname{par}(k)}, \hat{\boldsymbol{\Sigma}}_{d, \operatorname{par}(k)}\right)(k \neq 1)
\end{aligned}
$

ただし、 $\operatorname{par}(k)$ はトピック $k$ の親を示す。 $q\left(\boldsymbol{x}_{\boldsymbol{s}} \mid z_{s}=\right.$ $\operatorname{par}(k))$ は親トピック文の推定事後分布であり、子 トピック文の事前分布として設定される。

この時、文書の尤度とその対数の変分下限は、そ れぞれ下記式で表される：

$
\begin{aligned}
p\left(\boldsymbol{W}_{1: S_{d}}\right)= & \prod_{s=1}^{S_{d}}\left.\{\int p\left(\boldsymbol{w}_{s} \mid \boldsymbol{x}_{s}\right) p\left(\boldsymbol{x}_{s} \mid z_{s}\right) p\left(z_{s}\right) d \boldsymbol{x}_{s} d z_{s}\right.\} \\
L_{d} & =\sum_{s=1}^{S_{d}}\left.\{\mathbf{E}_{q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right)}\left[\log p\left(\boldsymbol{w}_{s} \mid \boldsymbol{x}_{s}\right)\right]-\mathrm{D}_{\mathrm{KL}}\left[q\left(z_{s} \mid \boldsymbol{w}_{s}\right) \mid p\left(z_{s}\right)\right]\right.\} \\
& -\sum_{k=1}^{K} \sum_{s=1}^{S_{d}}\left.\{\hat{\theta}_{s, k} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right) \mid p\left(\boldsymbol{x}_{s} \mid z_{s}=k\right)\right]\right.\}
\end{aligned}
$

ただし $q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right)=N\left(\boldsymbol{x}_{s} \mid \hat{\boldsymbol{\mu}}_{s}, \hat{\boldsymbol{\Sigma}}_{s}\right)$ は文 $s$ の潜在表現の事後分布で、 $\operatorname{RNN} f_{\mu}, f_{\Sigma}$ により推定される。 $\hat{\theta}_{s, k}=q\left(z_{s}=k \mid \boldsymbol{w}_{s}\right)$ はトピック分布の事後分布であ り、本研究では木構造ニューラルトピックモデル （TSNTM [12]）により推定する（A. 1 節にて詳述）。

## 2.2 トピック文の生成

トピック文の潜在表現の事後分布を式 (8) で与え、 $\sum_{s=1}^{S_{d}} \mathbf{E}_{q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right) q\left(z_{s} \mid \boldsymbol{w}_{s}\right)}\left[\log q\left(\boldsymbol{x}_{s} \mid z_{s}\right)\right]$ を最大化するパラ メータを EMアルゴリズムのＭ ステップで得る：

$
\begin{aligned}
& q\left(\boldsymbol{x}_{s} \mid z_{s}\right)=\prod_{k=1}^{K} N\left(\boldsymbol{x}_{s} \mid \hat{\boldsymbol{\mu}}_{d, k}, \hat{\boldsymbol{\Sigma}}_{d, k}\right) \delta\left(z_{s}=k\right) \\
& \hat{\boldsymbol{\mu}}_{d, k}=\frac{\sum_{s=1}^{S_{d}} \hat{\theta}_{s, k} \mathbf{E}_{q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right)}\left[\boldsymbol{x}_{s}\right]}{\sum_{s=1}^{S_{d}} \hat{\theta}_{s, k}}=\frac{\sum_{s=1}^{S_{d}} \hat{\theta}_{s, k} \hat{\boldsymbol{\mu}}_{s}}{\sum_{s=1}^{S_{d}} \hat{\theta}_{s, k}} \\
& \hat{\boldsymbol{\Sigma}}_{d, k}=\frac{\sum_{s=1}^{S_{d}} \hat{\theta}_{s, k} \mathbf{E}_{q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right)}\left[\left(\boldsymbol{x}_{s}-\hat{\boldsymbol{\mu}}_{d, k}\right)\left(\boldsymbol{x}_{s}-\hat{\boldsymbol{\mu}}_{d, k}\right)^{\top}\right]}{\sum_{s=1}^{S_{d}} \hat{\theta}_{s, k}} \\
&=\frac{\sum_{s=1}^{S_{d}} \hat{\theta}_{s, k}\left.\{\hat{\boldsymbol{\Sigma}}_{s}+\left(\hat{\boldsymbol{\mu}}_{s}-\hat{\boldsymbol{\mu}}_{d, k}\right)\left(\hat{\boldsymbol{\mu}}_{s}-\hat{\boldsymbol{\mu}}_{d, k}\right)^{\top}\right.\}}{\sum_{s=1}^{S_{d}} \hat{\theta}_{s, k}}
\end{aligned}
$

これらトピック文の事後分布の平均から、各文書毎 にトピック文を生成する : $\hat{w}_{d, k} \sim \operatorname{RNN}\left(\hat{\mu}_{d, k}\right)$ 。既存研究 [4] と同様に、潜在分布の平均を用いることで、各トピックの要約文が得られることを期待する。
表 1 評価データセットにおける各モデルの ROUGE（F1）値（\%)。

## 2.3 Gaussian Word Embedding との関連

こうして得られたトピック文が、上位トピック ほどより一般的な内容になることを Gaussian Word Embedding との関連を交えて説明する。親子関係に あるトピック文の事後分布間の KL ダイバージェン ス（KLD）は、式 (7) に示した変分下限の $\boldsymbol{x}_{s}$ に関す る項によって上から抑えられる（A.2 節にて証明）。

$
\begin{aligned}
& \sum_{s=1}^{S_{d}} \hat{\theta}_{s, k} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right) \mid p\left(\boldsymbol{x}_{s} \mid z_{s}=k\right)\right] \\
& \geq \sum_{s=1}^{S_{d}} \hat{\theta}_{s, k} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{x}_{s} \mid z_{s}=k\right) \mid p\left(\boldsymbol{x}_{s} \mid z_{s}=k\right)\right] \\
&= \sum_{s=1}^{S_{d}} \hat{\theta}_{s, k} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{x}_{s} \mid z_{s}=k\right) \mid q\left(\boldsymbol{x}_{s} \mid z_{s}=p a r(k)\right)\right]
\end{aligned}
$

一方、Gaussian word embedding では、単語のタク ソノミー上において、親と子の潜在分布間の KLD を最小化することで、「動物」といった一般的な単語の分散は大きく、「犬」や「猫」などの具体的な単語の分散は小さくなることが報告されている [11]。 これは「動物」は「犬」を指すことも「猫」を指す こともあり、意味の分散が大きいと説明できる。本研究も同様に、変分下限の最大化により、親子の潜在分布間の KLD の上界が最小化され、親トピック 文の分散は大きく、子トピック文の分散が小さくな る。これも例えば、“I love this restaurant." など全体的 な内容に関する文は、「料理」を指すことも「サービ ス」を指すこともあり、意味の分散が大きくなると 説明できる。したがって、上位トピックほど潜在分布の分散が大きく、より一般的な文が生成される。

## 2.4 トピック文の抽出

最後に、生成されたトピック文から要約に適切な 文を抽出する。既存研究 [3] では、要約候補と入力文書間の ROUGE 值は、参照要約との ROUGE 値と 高い相関があり、参照要約が存在しない状況下での 要約候補評価に有用なことが報告されている。この 知見をもとに、入力文書との ROUGE-1 (F1)を最大化するトピック文集合をビーム探索で選択する。

参照要約: The food here is fantastic, easily the best sub sandwiches in the Arizona area. The shop is local and family run, so I definitely choose it over a lot of the large national chains that are all around town. The staff are extremely friendly and will always go above and beyond in creating a delicious sandwich for you. You will not be let down by the great food that they make here!

図 3 レストランレビューから生成された要約例。

## 3 実験

## 3.1 実験設定

本実験では、Yelp と Amazon のレビューとそれを 人手で要約した評価用データ $[3,4]$ を用いて、複数文書要約生成タスクにおける性能評価を行っ た。ベースラインには、各文書の先頭の文を抽出す るMulti-Lead-1 に加え、教師なし抽出型手法である LexRank [13] と Opinosis [14]、及び教師なし生成型手法の MeanSum [3] と Copycat [4] を用いた。エンコー ダ・デコーダには GRU-RNN を用い、木構造は 3 階層で固定され、それぞれの親トピックは 4 つの子ト ピックを持つ。詳細な設定は A. 3 節にて補足する。

## 3.2 要約生成の性能評価

表 1 に、評価データにおける ROUGE 値を示す。太字はモデルの内最大値を、下線は最大値との差が approximate randomization test において統計的に有意 とは言えない $(p<0.05)$ ことを示す。いずれのデー タセットにおいても、ほぼ全ての評価指標におい て、提案法は MeanSum を上回り、最新の教師なし 要約モデルである Copycat に対しては競合する性能 が得られた。図 1 に示したレビューについて、実際 に生成された要約を図 3 に示す。参照要約は「料理」「サービス」、「場所」について述べており、実

図 4 主成分分析により 2 次元空間において表したトピック文の潜在分布。各点は潜在分布の平均を示しており、それぞ れの円は平均からのマハラノビス距離が等しい座標群を示す。

表 2 トピック文の平均類似度（高いほど類似）。

表 3 トピック文の詳細度合い（高いほど詳細）。

際に得られた要約においても同様のトピックについ て述べていることが分かる。また、参照要約の最後 の文は、結論として料理の美味しさに関して述べて いるが、提案法も同様に根トピックから料理の美味 しさに関する内容のトピック文を生成している。

## 3.3 トピック文と木構造の定量分析

得られたトピック文と木構造について、以下 $2 \supset$ の観点から、定量的な分析を行った。

親子間類似度 親子関係にあるトピック文は類似 するトピックについて述べていることが望ましい。 この特性を確認するために、親子ぺアと非親子ペア のトピック文の類似度を、semantic textual similarity タスク [15] で最高精度を達成している ALBERT [16] を用いて評価した。表 2 に示すように、親子関係に あるトピック文は、親子でないトピック文のペアよ り類似していることが確認された。

階層毎の詳細度合い 提案法では、階層が深くな るにつれ、トピック文の内容がより具体的になるこ とを期待している。この特性を検証するために、文 の詳細度合い推定タスク [17] にて ALBERTを学習 し、各階層のトピック文の詳細度合いを計測した。表 3 に示すように、階層が深いほど詳細度合いは高 く、上位トピックからは一般的な、下位トピックか らは詳細な内容の文が生成される傾向を確認した。表 4 各階層における分散共分散行列の行列式の対数。

## 3.4 トピック文の潜在分布の分析

図 4 に、あるレストランレビューに関するトピッ ク文の潜在分布について、その主成分べクトル空間 を可視化した。仮説通り子トピック文の潜在分布は 親のトピック文の分布に近い位置にあり、親子関係 にあるトピック文が類似したトピックを持つもの と考えられる。また表 4 に示すように、各階層にお ける分散共分散行列の行列式の対数は、階層が深く なるにつれ小さくなることが確認された。したがっ て、葉に近づくにつれ潜在分布の分散が小さくな り、具体的な文が生成されることがわかる。

## 4 おわりに

本研究では、文書から木構造上のトピックを推定 し、トピック毎に要約文を生成することで、意見文書の要約が教師なしに得られることを示した。評価実験において、提案法の性能は最新の教師なし生成型要約手法と競合することを確認した。また、根の 文の潜在分布は分散が大きく一般的な文が生成され る一方、葉に近づくにつれ分散が小さくなり具体的 な文が生成されるといった特性を確認した。これは 単語の潜在表現にガウス分布を用いた Gaussian word embedding にて報告された特性と類似しており、要約のみならず、質問応答や対話生成などの文の詳細度合いを考慮する他タスクにも有用な知見である。

謝辞 本研究は、JST ACT-X JPMJAX1904、JST CREST JPMJCR1513 及び JSPS 特別研究員奨励費 20J10726 の支援を受けたものである。

## 参考文献

[1]Giuseppe Carenini, Jackie Chi Kit Cheung, and Adam Pauls. Multi-document summarization of evaluative text. Сотриtational Intelligence, 29(4):545-576, 2013.

[2]Shima Gerani, Yashar Mehdad, Giuseppe Carenini, Raymond T Ng, and Bita Nejat. Abstractive summarization of product reviews using discourse structure. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pages 1602-1613, 2014.

[3]Eric Chu and Peter Liu. Meansum: A neural model for unsupervised multi-document abstractive summarization. In Proceedings of the 36th International Conference on Machine Learning, pages 1223-1232, 2019.

[4]Arthur Bražinskas, Mirella Lapata, and Ivan Titov. Unsupervised opinion summarization as copycat-review generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 5151-5169, 2020.

[5]Reinald Kim Amplayo and Mirella Lapata. Unsupervised opinion summarization with noising and denoising. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 1934-1945, 2020.

[6]Ivan Titov and Ryan McDonald. A joint model of text and aspect ratings for sentiment summarization. In Proceedings of the 46th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pages 308-316, 2008.

[7]Stefanos Angelidis and Mirella Lapata. Summarizing opinions: Aspect extraction meets sentiment prediction and they are both weakly supervised. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 3675-3686, 2018.

[8]Asli Celikyilmaz and Dilek Hakkani-Tur. A hybrid hierarchical model for multi-document summarization. In Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics, pages 815-824, 2010.

[9]Asli Celikyilmaz and Dilek Hakkani-Tur. Discovery of topically coherent sentences for extractive summarization. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pages 491-499, 2011.

[10]Wenlin Wang, Zhe Gan, Hongteng Xu, Ruiyi Zhang, Guoyin Wang, Dinghan Shen, Changyou Chen, and Lawrence Carin. Topic-guided variational auto-encoder for text generation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 166-177, 2019.

[11]Luke Vilnis and Andrew McCallum. Word representations via gaussian embedding. In Proceedings of the 3rd International Conference on Learning Representations, 2015.

[12]Masaru Isonuma, Junichiro Mori, Danushka Bollegala, and Ichiro Sakata. Tree-structured neural topic model. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 800-806, 2020.

[13]Günes Erkan and Dragomir R Radev. Lexpagerank: Prestige in multi-document text summarization. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pages 365-371, 2004.
[14]Kavita Ganesan, ChengXiang Zhai, and Jiawei Han. Opinosis: a graph-based approach to abstractive summarization of highly redundant opinions. In Proceedings of the 23 rd International Conference on Computational Linguistics, pages 340-348, 2010.

[15]Daniel Cer, Mona Diab, Eneko Agirre, Iñigo Lopez-Gazpio, and Lucia Specia. Semeval-2017 task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. In Proceedings of the 11th International Workshop on Semantic Evaluation, pages 1-14, 2017.

[16]Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations. In Proceedings of the 7th International Conference on Learning Representations, 2019.

[17]Annie Louis and Ani Nenkova. Automatic identification of general and specific sentences by leveraging discourse annotations. In Proceedings of 5th International Joint Conference on Natural Language Processing, pages 605-613, 2011.

[18]John Paisley, Chong Wang, David M Blei, and Michael I Jordan. Nested hierarchical dirichlet processes. IEEE Transactions on Pattern Analysis and Machine Intelligence, 37(2):256-270, 2014.

[19]David Alvarez-Melis and Tommi S Jaakkola. Tree-structured decoding with doubly-recurrent neural networks. In Proceedings of the 5th International Conference on Learning Representations, 2017.

[20]Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. CoRR, arXiv:1412.6980v9, 2014.

## A 付録

## A. 1 木構造上のトピック分布の推定

本研究では、勾配降下法により学習可能な木構造ニュー ラルトピックモデル（TSNTM [12]）を用いることで、文 の木構造上のトピック分布を推定する。

前置きとして、木構造トピックモデルの一つである hierarchical Dirichlet process [18] は、各文に関する木構造上 のパス分布 $\boldsymbol{\pi}_{s}$ と階層分布 $\boldsymbol{\phi}_{s}$ を下記式でモデル化する。

$
\begin{aligned}
& v_{s, k} \sim \operatorname{Beta}(1, \gamma), \pi_{s, k}=\pi_{s, p a r}(k) v_{s, k} \prod_{j \in \operatorname{Sib}(k)}\left(1-v_{s, j}\right) \\
& \eta_{s, k} \sim \operatorname{Beta}(\alpha, \beta), \phi_{s, k}=\eta_{s, k} \prod_{j \in \operatorname{Anc}(k)}\left(1-\eta_{s, j}\right) \\
& \theta_{s, k}=\pi_{s, k} \cdot \phi_{s, k}
\end{aligned}
$

ここで、 $\operatorname{Sib}(k)$ 及び $\operatorname{Anc}(k)$ はそれぞれトピック $k$ の前の 兄弟のトピック集合及び祖先のトピック集合を指す。 $\pi_{s, k}$ は文 $s$ が根トピックからトピック $k$ を通るパスを選択す る確率を示す。一方、 $\phi_{s, k}$ は当該パス上で文 $s$ がトピック $k$ の祖先のトピック $j \in \operatorname{Anc}(k)$ を選択せず、トピック $k$ を選択する確率を示す。文 $s$ がトピック $k$ を選択する確率 $\theta_{s, k}$ はこれら 2 つの確率の積で表される。

一 方、TSNTM は、 doubly-recurrent neural networks (DRNN[19])を用いて文の潜在表現 $\boldsymbol{y}_{s}=\operatorname{RNN}\left(\boldsymbol{w}_{s}\right)$ をパ ス分布 $\boldsymbol{\pi}_{s}$ 及び階層分布 $\boldsymbol{\phi}_{s}$ に変換する。DRNN は親子と 兄弟間の 2 つの RNN デコーダで構成され、トピック $k$ の 中間層は式 (15) で表される。この中間層から得られた棒折比率 $\boldsymbol{v}_{s}$ で式 12 を置き換え、パス分布を得る。

$
\begin{aligned}
\boldsymbol{h}_{k} & =\tanh \left(\boldsymbol{W}_{p} \boldsymbol{h}_{\text {par }(k)}+\boldsymbol{W}_{s} \boldsymbol{h}_{k-1}\right) \\
v_{s, k} & =\operatorname{sigmoid}\left(\boldsymbol{h}_{k}^{\top} \boldsymbol{y}_{s}\right)
\end{aligned}
$

ただし $\boldsymbol{h}_{\operatorname{par}(k)}$ 及び $\boldsymbol{h}_{k-1}$ はそれぞれトピック $k$ の親とそ の前の兄弟である。同様に、階層分布もまた DRNNによ り棒折比率 $\boldsymbol{\eta}_{s}$ を算出して得られる。

## A. 2 式 (11) の導出

命題 $q\left(\boldsymbol{x}_{s} \mid z_{s}\right)$ が式 (8)、(9)、(10) により与えられる時、式 (17) が成り立つ:

$
\begin{aligned}
& \sum_{s} \hat{\theta}_{s, k} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right) \mid p\left(\boldsymbol{x}_{s} \mid z_{s}=k\right)\right]- \\
& \sum_{s} \hat{\theta}_{s, k} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{x}_{s} \mid z_{s}=k\right) \mid p\left(\boldsymbol{x}_{s} \mid z_{s}=k\right)\right] \geq 0
\end{aligned}
$

証明 式 (17) の第 1 項は以下のように展開できる。

$\sum_{s} \hat{\theta}_{s, k} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right) \mid p\left(\boldsymbol{x}_{s} \mid z_{s}=k\right)\right]$

$=\sum_{s} \hat{\theta}_{s, k} \mathrm{D}_{\mathrm{KL}}\left[N\left(\hat{\boldsymbol{\mu}}_{s}, \hat{\boldsymbol{\Sigma}}_{s}\right) \mid N\left(\hat{\boldsymbol{\mu}}_{d, p a r(k)}, \hat{\boldsymbol{\Sigma}}_{d, p a r(k)}\right)\right]$

$=\frac{1}{2} \sum_{s} \hat{\theta}_{s, k}\left.\{\log \left|\hat{\boldsymbol{\Sigma}}_{d, p a r(k)}\right|-\log \left|\hat{\boldsymbol{\Sigma}}_{s}\right|+\operatorname{Tr}\left[\hat{\boldsymbol{\Sigma}}_{d, p a r(k)}^{-1} \hat{\boldsymbol{\Sigma}}_{s}\right]\right.$

$\left.+\left(\hat{\mu}_{s}-\hat{\mu}_{d, p a r(k)}\right)^{\top} \hat{\Sigma}_{d, p a r(k)}^{-1}\left(\hat{\mu}_{s}-\hat{\mu}_{d, p a r(k)}\right)-d\right.\}$

$=\frac{1}{2} \sum_{s} \hat{\theta}_{s, k}\left.\{C_{d, p a r(k)}-\log \left|\hat{\boldsymbol{\Sigma}}_{s}\right|+\operatorname{Tr}\left[\hat{\boldsymbol{\Sigma}}_{d, p a r(k)}^{-1} \hat{\boldsymbol{\Sigma}}_{s}\right]\right.$

$\left.+\operatorname{Tr}\left[\hat{\boldsymbol{\Sigma}}_{d, p a r(k)}^{-1} \hat{\boldsymbol{\mu}}_{s} \hat{\boldsymbol{\mu}}_{s}^{\top}\right]-2 \hat{\boldsymbol{\mu}}_{d, p a r(k)}^{\top} \hat{\boldsymbol{\Sigma}}_{d, p a r(k)}^{-1} \hat{\boldsymbol{\mu}}_{d, k}\right.\}$

ただし、式 (9) から $\sum_{s} \hat{\theta}_{s, k} \hat{\mu}_{d, k}=\sum_{s} \hat{\theta}_{s, k} \hat{\mu}_{s}$ を用いた。

第 2 項についても同様に、以下のように展開できる。

$
\begin{aligned}
& \sum_{s} \hat{\theta}_{s, k} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{x}_{s} \mid z_{s}=k\right) \mid p\left(\boldsymbol{x}_{s} \mid z_{s}=k\right)\right] \\
= & \frac{1}{2} \sum_{s} \hat{\theta}_{s, k}\left.\{C_{d, p a r(k)}-\log \left|\hat{\boldsymbol{\Sigma}}_{d, k}\right|+\operatorname{Tr}\left[\hat{\boldsymbol{\Sigma}}_{d, p a r(k)}^{-1} \hat{\boldsymbol{\Sigma}}_{d, k}\right]\right. \\
& \left.+\operatorname{Tr}\left[\hat{\boldsymbol{\Sigma}}_{d, p a r(k)}^{-1} \hat{\boldsymbol{\mu}}_{d, k} \hat{\boldsymbol{\mu}}_{d, k}^{\top}\right]-2 \hat{\boldsymbol{\mu}}_{d, p a r(k)}^{\top} \hat{\boldsymbol{\Sigma}}_{d, p a r(k)}^{-1} \hat{\boldsymbol{\mu}}_{d, k}\right.\}
\end{aligned}
$

表 5 データセット中のレビュー文書/要約の件数。

したがって、式 (17)は以下のように整理される。

$
\begin{aligned}
& \sum_{s} \hat{\theta}_{s, k} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right) \mid p\left(\boldsymbol{x}_{s} \mid z_{s}=k\right)\right] \\
& -\sum_{s} \hat{\theta}_{s, k} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{x}_{s} \mid z_{s}=k\right) \mid p\left(\boldsymbol{x}_{s} \mid z_{s}=k\right)\right] \\
= & \frac{1}{2} \sum_{s} \hat{\theta}_{s, k}\left.\{-\log \left|\hat{\boldsymbol{\Sigma}}_{s}\right|+\log \left|\hat{\boldsymbol{\Sigma}}_{d, k}\right|\right. \\
& \left.+\operatorname{Tr}\left[\hat{\boldsymbol{\Sigma}}_{d, p a r(k)}^{-1}\left(\hat{\boldsymbol{\Sigma}}_{s}+\hat{\boldsymbol{\mu}}_{s} \hat{\boldsymbol{\mu}}_{s}^{\top}-\hat{\boldsymbol{\Sigma}}_{d, k}-\hat{\boldsymbol{\mu}}_{d, k} \hat{\boldsymbol{\mu}}_{d, k}^{\top}\right)\right]\right.\} \\
= & \frac{1}{2} \sum_{s} \hat{\theta}_{s, k}\left.\{-\log \left|\hat{\boldsymbol{\Sigma}}_{s}\right|+\log \left|\hat{\boldsymbol{\Sigma}}_{d, k}\right|\right.\}
\end{aligned}
$

ただし、式 (10)より $\sum_{s} \hat{\theta}_{s, k}\left.\{\hat{\boldsymbol{\Sigma}}_{s}+\hat{\boldsymbol{\mu}}_{s} \hat{\boldsymbol{\mu}}_{s}^{\top}\right.\}=\sum_{s} \hat{\theta}_{s, k}\left.\{\hat{\boldsymbol{\Sigma}}_{d, k}+\right.$ $\left.\hat{\boldsymbol{\mu}}_{d, k} \hat{\boldsymbol{\mu}}_{d, k}^{\top}\right.\}$ を用いた。すなわち、与式はエントロピーの 重み付け和の大小比較に帰着される。ここで一般に、 $-\int q_{1}(\boldsymbol{x}) \log q_{2}(\boldsymbol{x}) d \boldsymbol{x} \geq-\int q_{1}(\boldsymbol{x}) \log q_{1}(\boldsymbol{x}) d \boldsymbol{x}$ が成立するこ とから、式 (21) が成り立つ。

$
\begin{aligned}
& \sum_{s} \hat{\theta}_{s, k}\left.\{-\int q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right) \log q\left(\boldsymbol{x}_{s} \mid z_{s}=k\right) d \boldsymbol{x}_{s}\right.\} \\
& \geq \sum_{s} \hat{\theta}_{s, k}\left.\{-\int q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right) \log q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right) d \boldsymbol{x}_{s}\right.\}
\end{aligned}
$

右辺はガウス分布のエントロピーの重み付け和である ことから、以下のように書ける。

$
\begin{aligned}
& \sum_{s} \hat{\theta}_{s, k}\left.\{-\int q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right) \log q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right) d \boldsymbol{x}_{s}\right.\} \\
= & \frac{1}{2} \sum_{s} \hat{\theta}_{s, k}\left.\{\log \left|\hat{\boldsymbol{\Sigma}}_{s}\right|+d \log 2 \pi+d\right.\}
\end{aligned}
$

一方、左辺は以下のように展開できる。

$
\begin{aligned}
& \sum_{s} \hat{\theta}_{s, k}\left.\{-\int q\left(\boldsymbol{x}_{s} \mid z_{s}=k\right) \log q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right) d \boldsymbol{x}_{s}\right.\} \\
= & \frac{1}{2} \sum_{s} \hat{\theta}_{s, k}\left.\{\log \left|\hat{\boldsymbol{\Sigma}}_{d, k}\right|+d \log 2 \pi\right. \\
& \left.+\mathrm{E}_{\boldsymbol{q}\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right)}\left[\left(\boldsymbol{x}_{s}-\hat{\boldsymbol{\mu}}_{d, k}\right)^{\top} \hat{\boldsymbol{\Sigma}}_{d, k}^{-1}\left(\boldsymbol{x}_{s}-\hat{\boldsymbol{\mu}}_{d, k}\right)\right]\right.\}
\end{aligned}
$

よって、式 (23) の最後の項は以下のように整理できる。

$
\begin{aligned}
& \sum_{s} \hat{\theta}_{s, k}\left.\{\mathrm{E}_{q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right)}\left[\left(\boldsymbol{x}_{s}-\hat{\boldsymbol{\mu}}_{d, k}\right)^{\top} \hat{\boldsymbol{\Sigma}}_{d, k}^{-1}\left(\boldsymbol{x}_{s}-\hat{\boldsymbol{\mu}}_{d, k}\right)\right]\right.\} \\
= & \sum_{s} \hat{\theta}_{s, k}\left.\{\mathrm{E}_{q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right)}\left[\operatorname{Tr}\left(\hat{\boldsymbol{\Sigma}}_{d, k}^{-1}\left(\boldsymbol{x}_{s}-\hat{\boldsymbol{\mu}}_{d, k}\right)\left(\boldsymbol{x}_{s}-\hat{\boldsymbol{\mu}}_{d, k}\right)^{\top}\right)\right]\right.\} \\
= & \operatorname{Tr}\left[\hat{\boldsymbol{\Sigma}}_{d, k}^{-1} \sum_{s} \hat{\theta}_{s, k}\left.\{\mathrm{E}_{q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right)}\left[\left(\boldsymbol{x}_{s}-\hat{\boldsymbol{\mu}}_{d, k}\right)\left(\boldsymbol{x}_{s}-\hat{\boldsymbol{\mu}}_{d, k}\right)^{\top}\right]\right.\}\right] \\
= & \operatorname{Tr}\left[\hat{\boldsymbol{\Sigma}}_{d, k}^{-1} \sum_{s} \hat{\theta}_{s, k} \hat{\boldsymbol{\Sigma}}_{d, k}\right] \\
= & \sum_{s} \hat{\theta}_{s, k} d
\end{aligned}
$

したがって、式 (21)、(22)、(23)、(24)を整理すると、 $\sum_{s} \hat{\theta}_{s, k}\left.\{\log \left|\hat{\boldsymbol{\Sigma}}_{d, k}\right|\right.\} \geq \sum_{s} \hat{\theta}_{s, k}\left.\{\log \left|\hat{\boldsymbol{\Sigma}}_{s}\right|\right.\}$ が成り立ち、命題が 成立することが示された。

## A. 3 実験設定詳細

データセット中の文書及び要約の件数を表 5 に示す。参照要約は Amazon Mechanical Turk にて、各製品につい て 8 件のレビューの要約を依頼し作成された $[3,4]$ 。八イ パーパラメータは検証データにおける性能をもとに決定 され、単語の潜在表現、隠れ層及び文の潜在表現の次元数 はそれぞれ 200、400 及び 32である。勾配降下法は Adam [20]を用い、学習率は $10^{-3}$ でバッチサイズは 4 である。


# 指定語句を確実に含む見出し生成

山田康輔 1,2 人見雄太 ${ }^{2}$ 田森秀明 2 岡崎 直観 3 乾 健太郎 4,5
1 名古屋大学 2 株式会社朝日新聞社 3 東京工業大学 4 東北大学 5 理化学研究所
yamada.kosuke@c.mbox.nagoya-u.ac.jp, processor.su2300@gmail.com,
tamori-h@asahi.com, okazaki@c.titech.ac.jp, inui@ecei.tohoku.ac.jp

## 1 はじめに

Rush ら [1] の研究以降，生成型要約モデルによる 新聞記事の見出し生成が広く行われている。近年で は，指定語句の挿入など，生成される見出しの制御 に関する研究も盛んである. たとえば，Fan ら [2] は Convolutional Seq2Seq [3] を利用し，エンコーダに入力する記事の直前に指定語句を示す 1 トークンを插入することで，指定語句を含んだ見出しを生成する よう制御した。また， He ら [4] は BART [5] を利用 し, Fan らの手法の拡張として記事の直前に指定語句と“”を挿入することで，複数トークンの語句指定を可能にした. 加えて，生成結果への指定語句の 出現率を高めるために学習時に指定語句を一定の確率でドロップアウトさせている。

しかし，これらの手法は生成された見出しが指定語句を含む確率を高めることは可能だが，指定語句 を含む見出しが必ず生成されるとは限らない. 記事 を広告として用いるネイティブ広告向けの見出し生成では，見出しに指定語句を必ず含めなければなら ないケースがあり，実応用では指定語句が確実に含 まれるような見出し制御が必要となる.

そこで本研究では，指定語句を確害に含む見出 しを生成する手法として，Dual Outward Generation mechanism (DOG) を提案する. DOG は見出しを生成する際に，文頭から文末へ生成するのではなく，指定語句から文頭および文末に向かって双方向に見出しを生成することで，指定語句を必ず含む見出し 生成を実現する。表 1 に Fan ら [2] と He ら [4] の従来モデル1および DOG を用い，語句を指定したとき の見出し生成例を示す. また，図 1 に記事中の単語 1,2,3-gram を指定したとき，指定された語句が生成結果に含まれた割合 (指定語句出現率)を示す.

実験には日本語の新聞記事-見出しぺアのコーパ

表 1: 従来モデルと DOG で語句を指定した見出し生成例 - 新聞記事: 刈谷市の伊勢湾岸自動車道のパーキングエ リア「刈谷ハイウェイオアシス」の観覧車に、シース ルーゴンドラが登場した。天井を除くイスや壁、床面が 透明で、足元に広がる景色を 360 度楽しめる。観覧車は 高さ 60 メートルで、 1 周約 12 分。

## -人手で作成された見出し:

透明ゴンドラ登場 刈谷ハイウェイオアシスの観覧車

$\cdot$指定語句が「360度楽しめる」の生成結果:

DOG: 360 度楽しめる観覧車 刈谷ハイウェイオアシス

He: 風に誘われ、 360 度楽しむ 刈谷ハイウェイオアシス

Fan: 360 度の観覧車、シースルーゴンドラ登場 刈谷ハ イウェイオアシス

・指定語句が「透明ゴンドラ登場」の生成結果:

DOG: 観覧車、透明ゴンドラ登場 刈谷ハイウェイオア シス

He: 観覧車にシースルーゴンドラ 刈谷

Fan: 透明な景色、 360 度 刈谷ハイウェイオアシス

図 1: 記事中の単語の 1,2,3-gram を指定語句としたときの 各モデルの生成結果の指定語句出現率

ス Japanese News Corpus (JNC) [7] の 2019 年版を利用 し，指定語句出現率と自動要約の評価指標として代表的な ROUGE [8] にて提案手法を評価した. 提案手法は指定語句出現率 $100 \%$ を達成し，ROUGE の F 值も従来手法と同等なスコアを達成した。

## 2 提案手法

本研究では，指定語句を確実に含む見出し生成手法を提案する。具体的には，指定語句を $W\left(=y_{h: t}\right)^{2}$

$2 y_{h}$ と $y_{t}$ はそれぞれ指定語句の先頭トークンと末尾トークン を示し， $y_{h: t}$ はトークン列 $y_{h} \ldots y_{t}$ を意味する.

(a) DOG w/ dual-independent decoder

(b) DOG w/ single decoder

図 2: Dual Outward Generation mechanism (DOG) の概要図。青枠が Transformer のエンコーダ，緑枠がデコーダ，橙枠が生成機構を示す. エンコーダからデコーダへの矢印は，エンコードされた隠れ状態をデコーダの注意機構で参照している ことを指す。また，点線の矢印は，見出しの生成順序を示す.

として，見出し $Y\left(=y_{0: h-1}, W, y_{t+1: J+1}\right)$ を生成する場合，指定語句の 1 つの前のトークン $y_{h-1}$ から文頭 トークン $y_{0}$ への生成と指定語句の 1 つ後のトーク ン $y_{t+1}$ から文末トークン $y_{J+1} へ の$ の生成を同時に行 うことで実現する。提案モデルは Transformer [6] 型 の Seq2Seq モデルを基本とする.

## 2.1 Transformer

Transformer [6] は注意機構をベースとしたエン コーダ-デコーダモデルである. エンコーダは自己注意機構と 2 層のフィードフォワードネットワーク (FNN) からなる Transformer Encoder 層を複数層積み 上げることで構成され，デコーダは自己注意機構，注意機構，2 層の FFN からなる Transformer Decoder 層を複数層積み上げることで構成される。これらの 入力は単語埋め込み層と位置エンコーディング層に よって生成される記事と見出しの各単語の埋め込み を利用する. また，デコーダの出力から線形変換層 と Softmax 層を通すことで見出しの各単語を生成す る. 本研究では，これら 2 層を合わせて生成機構と 定義する。

## 2.2 Dual Outward Generation mechanism

指定語句を確実に含む見出し生成するDual Outward Generation mechanism (DOG) は指定語句から 文頭へ向けた前向きの生成と文末へ向けた後ろ向 きの生成を行うため, 生成機構を 2 つ持つ構造とな る.この構造の場合，前向きの生成機構と後ろ向き の生成機構で独立に生成するか，あるいは前向きと 後ろ向きの生成機構で生成過程を共有しつつ生成す るかの大きく 2 つのアイデアが考えられる.

## 2.2.1 各生成機構で独立に生成するモデル

前向きと後ろ向きの生成機構で独立に生成する モデルは，前向きと後ろ向きのトークン列を個別に 入力する必要があり，各生成機構に対応する 2 つの デコーダを持つ. 見出し生成の各ステップでは，前向きのデコーダに指定語句と前向きの生成トーク ン列，後ろ向きのデコーダに指定語句と後ろ向きの 生成トークン列を入力し，それぞれ独立に単語を生成する. 本モデルを DOG w/ dual-independent decoder と定義し，図 2 (a) に概要を示す。また，記事のトー クン列 $X$ ，見出しのトークン列 $Y\left(=y_{0: J+1}\right)$ ，指定語句のトークン列 $W\left(=y_{h: t}\right)$ ，指定語句から文頭まで の見出しのトークン列 $\overleftarrow{Y}\left(=y_{0: h-1}\right)$ ，指定語句から文末までの見出しのトークン列 $\vec{Y}\left(=y_{t+1: J+1}\right), \overleftarrow{Y}$ の長 さ $L_{\overleftarrow{Y}}=h, \vec{Y}$ の長さ $L_{\vec{Y}}=J-t+1$ とし, 式 1 のよ うに定式化される.

$
\begin{aligned}
P(\overleftarrow{Y} \mid X, W) & =\prod_{j=1}^{L_{\overleftarrow{Y}}} P\left(y_{h-j} \mid y_{h-j+1: t}, X\right) \\
P(\vec{Y} \mid X, W) & =\prod_{j=1}^{L_{\widehat{Y}}} P\left(y_{t+j} \mid y_{h: t+j-1}, X\right)
\end{aligned}
$

本モデルのデコーダの位置エンコーディング層に 入力するトークン位置は，前向きでは指定語句の末尾を 0 としたときの距離の値，後ろ向きでは指定語句の先頭を 0 としたときの距離の値としている.

学習時には, 前向きと後ろ向きの見出しを分けて 学習させるため，見出しを分割する必要がある. ${ }^{3}$ そ こで，学習させる見出し中で無作為に 1 トークン を指定し，その位置を基準として見出しの分割を 行う.

3 2.2.2 節のモデルも同様の処理が必要である.

## 2.2.2 生成機構間で生成過程を共有するモデル

2.2.1 節のモデルでは，前向きと後ろ向きでそれ ぞれ独立に生成しているため, 見出し生成中の各ス テップにおいて互いの生成機構が生成したトークン を考慮しておらず，前向きと後ろ向きで似たトーク ン列が生成される可能性がある. そこで，DOG の 生成機構間で生成過程を共有するモデルを考える。具体的には，見出し生成中の各ステップにおいて，前向きの生成トークン列，指定語句のトークン列，後ろ向きの生成トークン列を連結して 1 つのトーク ン列にまとめて入力とする。ここではデコーダを 2 つ持つモデルと 1 つ持つモデルを検討する. デコー ダが 2 つのモデルを DOG w/ dual decoder，デコーダ が 1 つのモデルを DOG w/ single decoder と定義し, DOG w/ single decoder の概要を図 2 (b) に示す. ま た, 式 1 と同様の記号を用いて, 式 2 のように定式化される.

$
P(\overleftarrow{Y}, \vec{Y} \mid X, W)=\prod_{j=1}^{L_{\max }} P\left(y_{h-j}, y_{t+j} \mid y_{h-j+1: t+j-1}, X\right)
$

$L_{\text {max }}=\max \left(L_{\overleftarrow{Y}}, L_{\vec{Y}}\right)$ とし, $y_{<0}$ と $y_{>J}$ はトークン列長を揃えるための特殊トークン “<pad>”とする.

本モデルのデコーダの位置エンコーディング層に 入力するトークン位置は, 中央から生成していくた め，指定語句の中央を 0 とし，それより前向きは中央からの距離を負にした値, 後ろ向きは中央からの 距離の值としている.

また，本モデルの学習時には，デコーダの自己注意機構で使用するマスク方法に工夫を必要とする。通常の Transformer は文頭から文末に向けて見出し を生成するため, デコーダの自己注意機構にて入力時点以降の単語を参照しないために図 3 (a) に示す Causal Maskを活用している。しかし，DOGでは入力時点以降の単語を参照しないだけではなく, 入力時点以前の単語も参照しないようにする必要が ある.このため, 図 3 (b) に示す Dual Outward Causal Mask (DOC Mask)を利用している。また，本モデル は学習時の分割した見出しを前向きと後ろ向きで長 さを揃える必要があることに注意する。

## 3 実験

## 3.1 実験設定

提案手法と従来手法を比較するために日本語の 新聞記事から見出しを生成するためのコーパスで

(a) Causal Mask

(b) DOC Mask

図 3: Causal Mask (左) とDOC Mask (右) の概要図. 白色の セルがマスクする箇所を示す．DOC Mask は学習時に $y_{3}$ を指定したときを示す。

ある Japanese News Corpus (JNC) [7] の 2019 年版を利用した. JNC には 1,932,399 件の記事-見出しぺアが 存在し, 本研究ではこれらを学習セット, 開発セッ ト，テストセットとして 98:1:1 の比率で無作為に 分割した. テキストの形態素解析には ipadic"を用 いた MeCab [9] を使用し, Byte Pair Encoding (BPE) ${ }^{5}$ [10] によるサブワード化を行っている.

指定語句は人手で作成された見出し中の内容語と し，評価指標には ROUGE-1, ROUGE-2, ROUGE-L の 適合率, 再現率, およびその調和平均である $\mathrm{F}$ 値を 利用した. ROUGEによる評価する際には，人手で 作成された見出しと生成された見出しから指定語句を除去している。これは従来手法では指定語句が 必ず含まれた見出しになるとは限らず，本研究の提案手法では必ず指定語句が含まれた見出しとなっ ているため，指定語句を除去しなければ提案手法が 有利な評価となってしまうためである。また，生成結果の長さを分析するために, 生成された見出し数 $n$, 生成した見出しの長さを $l_{i}$, 人手で作成された見出しの長さを len として Average Length Error (ALE) (= $\frac{1}{n} \sum_{i=1}^{n} l_{i}-$ len) を算出する.

比較する手法は Transformer をべースモデルとし た Fan ら [2] の手法と He ら [4] の手法とする. Fan らは記事の前に 1トークンのみの指定語句を挿入， $\mathrm{He}$ らは記事の前に複数トークンの指定語句と“"を 挿入し，学習時に指定語句を一定の確率でドロップ アウトさせている. これらの手法の学習時の指定語句は人手で作成された見出しから抽出している. He らの手法の学習時の指定語句は 3-gram までとする.

 &  &  &  \\

He et al. (2020) [4] (Transformer Ver.) & 95.9 & $52.7 / 49.3 / 49.4$ & $26.5 / 24.8 / 24.8$ & $43.5 / 40.0 / 40.6$ & -1.2 & 72 \\

DOG w/ dual decoder & $\mathbf{1 0 0 . 0}$ & $\mathbf{6 0 . 3 / 4 7 . 5 / 5 1 . 5}$ & $32.9 / 25.8 / 27.9$ & $50.9 / 40.1 / 43.6$ & -5.0 & 106 \\
DOG w/ single decoder & $\mathbf{1 0 0 . 0}$ & $59.3 / 47.9 / 51.4$ & $31.9 / 25.6 / 27.5$ & $50.0 / 40.2 / 43.3$ & -4.6 & 80 \\

表 3: DOG w/ single decoder における生成例

} \\

## 3.2 実験結果

表 2 に従来手法および提案手法の指定語句出現率 (SR), ROUGE-1，ROUGE-2, ROUGE-L $の$ 適合率,再現率, $\mathrm{F}$ 值，ALE，パラメータ数 (params)を示す.表 2 から従来手法が $95 \%$ 前後の指定語句出現率な のに対し，提案手法はモデルサイズを大きく変えず に 100\%出現させることに成功している. また, 各 ROUGE の再現率は従来手法の方が高いが，適合率 は提案手法の方が高くなっており， $\mathrm{F}$ 値では同等の スコアとなっている.ここで，提案手法で ROUGE の再現率が低いのは，ALEの値が小さいことから 生成結果が全体的に短い傾向があるためであると 考えられる. 以上の結果から，指定語句を $100 \%$ 含 めた見出しを生成した上で，モデルサイズおよび ROUGE の $\mathrm{F}$ 值が同等である提案手法は, 実応用上 においても有用であることが確認できる.

## 3.3 提案手法による見出し生成例

表 3 に DOG w/ single decoder による見出し生成例 を示す. たとえば，「桜といわしのパフェ」や「6月末まで」のような商品名や日付情報を指定した結果, これらの語句に合わせて自然な見出しが生成で きており，また，記事中に存在しない「目からウ口 コのおいしさ」のようなフレーズを指定しても自然 な生成ができていることが確認できる。このような 商品名や日付情報, フレーズの語句は忠実性が求め られるため，指定語句を確害に出現させる提案手法 は実応用の観点で需要が高い．たとえば，プレスリ
リースを元にした記事や，ネイティブ広告の記事へ の見出し付与として活用が期待される.

しかし，DOG は両方向同時に生成するため，「泳 ぐ」を指定した生成例のように指定語句の前後どち らにも出現しうる単語を両方向共に生成させてし まったり，「展示」を指定した生成例のように文頭 と文末のどちらにも出現しやすいと判断された単語 のときに，両方向とも早い段階で生成を止める可能性があり，課題が残る。

## 4 まとめと今後の展望

本研究では，指定語句を確実に含んだ見出しを 生成するために，指定語句から文頭および文末に 向かって見出しを生成する Dual Outward Generation mechanisum (DOG) を提案した. JNC を用いて DOG を評価したところ，従来手法では不可能だった指定語句出現率 100\%の見出し生成を可能にし，その上 で ROUGE の F 值にて同等のスコアを達成した.

実験では日本語の見出し生成を行ったが，DOG は多言語の見出し生成や機械翻訳などの他タスク にも応用可能だと考えている. DOG はモデルのデ コーダ側の機構を変更したが，エンコーダ側で指定語句の位置情報などを取り込むことでスコアが改善 されると考えている．また，ビームサーチなどの動的計画法による生成もスコアの改善が期待される.

## 謝辞

本研究は, 東京工業大学のスパコン TSUBAME3.0 を用いて行った。

## 参考文献

[1] Alexander M. Rush, Sumit Chopra, and Jason Weston. A neural attention model for abstractive sentence summarization. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (ACL'15), pp. 379-389, 2015.

[2] Angela Fan, David Grangier, and Michael Auli. Controllable abstractive summarization. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation (WNMT'18), pp. 45-54, 2018.

[3] Jonas Gehring, Michael Auli, David Grangier, Denis Yarats, and Yann N Dauphin. Convolutional sequence to sequence learning. In Proceedings of the 34th International Conference on Machine Learning (ICML'17), pp. 1243-1252, 2017

[4] Junxian He, Wojciech Kryściński, Bryan McCann, Nazneen Rajani, and Caiming Xiong. CTRLsum: Towards generic controllable text summarization. arXiv preprint arXiv:2012.04281, 2020.

[5] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL'20), pp. 7871-7880, 2020.

[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems (NeurlIPS'17), pp. 5998-6008, 2017

[7] Yuta Hitomi, Yuya Taguchi, Hideaki Tamori, Ko Kikuta, Jiro Nishitoba, Naoaki Okazaki, Kentaro Inui, and Manabu Okumura. A large-scale multi-length headline corpus for analyzing length-constrained headline generation model evaluation. In Proceedings of the 12th International Conference on Natural Language Generation (INLG'19), pp. 333-343, 2019.

[8] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out (WAS'04), pp. 74-81, 2004.

[9] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing (ACL'04), pp. 230-237, 2004.

[10] Philip Gage. A new algorithm for data compression. $C$ Users Journal, Vol. 12, No. 2, pp. 23-38, 1994.


# Hie-BART : 階層型 BART による文書要約

秋山 和輝 1 二宮 崇 ${ }^{1}$
1 愛媛大学大学院理工学研究科 電子情報工学専攻,
2 同志社大学 理工学部 情報システムデザイン学科
 }^{1}\left.\{}.$ k_akiyama@ai., ninomiya@\}cs.ehime-u.ac.jp, ${ }^{2}$ aktamura@mail.doshisha.ac.jp

## 1 はじめに

近年，高い精度を報告している生成型の自動要約 モデルは，ニューラルネットワークに基づくニュー ラル要約モデルであり，その多くが事前学習を導入 している。これまで自動要約タスク用に拡張された 事前学習モデルとして，BERTSUM モデル [1]が提案 されている。また，複数タスクで利用することので きる汎用的な事前学習モデルとして，T5 モデル [2] や BART モデル [3] が提案されている. 既存の事前学習モデルの中でも，BART モデルは高い精度での 自動要約を可能にしている。しかし，BART モデル は要約生成時に文書の階層構造をとらえる構造には なっていない。

一方，ニューラル要約モデル同様，系列変換モデ ルが適用されることが多いニューラル機械翻訳で は, 入力テキストの情報を「フレーズと単語」や「単語と文字」といった複数の粒度で捉えることで，翻訳精度の改善を実現している. Transformer[4] に基 づくニューラル機械翻訳モデルでは，入力テキスト を複数の粒度（単語やフレーズ）に分解し，それぞ れの粒度を Multi-head Self-Attention Networks (SANs) の各ヘッドに割り当てることで，単語とフレー ズの関係を考慮する Multi-Granularity Self-Attention (MG-SA)[5] を組み込むことで，翻訳精度を向上させ ている.このモデルでは，MG-SAにより，単語間だ けでなく単語とフレーズ間の相互作用を組み込むこ とが可能となる.

そこで，本研究では，MG-SA の概念を BART モ デルに適用し，文と単語の階層的な関係を考慮し た要約を可能とする手法として，Hierarchical-BART (Hie-BART) を提案する. 具体的には, 入力文書を単語レベルと文レベルの情報に分割し，BART におけ る Encoderの SANS 層では，単語レベルの関連を計算 するだけではなく，一部のへッドにおいて文レベル
の関連を計算する。そして，単語レベルと文レベル のマルチヘッドの出力を結合させることで，単語レ ベルと文レベルの双方を考慮した要約生成を行う。

提案モデルの評価は, CNN/DailyMail データセッ 卜[6]を用いた自動要約タスクで行った. 既存の 生成型自動要約モデルと比較した結果，提案モ デルは非階層型の既存の BART モデルに比べて ROUGE-L[7] の F 值が 0.23 ポイント上回ることを確認した.

## 2 関連研究

## 2.1 BART

BART モデル [3] は, Transformer モデル [4] の構造 をべースとした，汎用的な事前学習モデルである。事前学習の手法として，Token Masking，Sentence Permutation, Document Rotation, Token Deletion, Text Infilling の 5 つの手法を提案している. この 5 つの 手法のうち, Sentence Permutation と Text Infilling を 組み合わせたものが最高精度となっており, 最終的な評価時に使用されている. Sentence Permutation は，文書内の文の場所をランダムに交換した文書を 元の文書に復元する事前学習法である. Text Infilling は，複数の単語列を一つのマスクトークンに置き換 えたり，文中にマスクトークンを挿入したりした文書を，元の文書に復元する事前学習法である。

## 2.2 Multi-Granularity Self-Attention (MG-SA)

MG-SA [5] は，入力テキストを複数の粒度の要素 （単語とフレーズ）に分け，各粒度の要素を SANs の 各へッドに割り当てることで異なる粒度の情報を捉 える方法である。この手法ではまず，次のように， SANS の入力 $H$ からフレーズレベルの情報を表す行列 $H_{g}$ を生成する.

$
H_{g}=F_{h}(H)
$

ここで， $F_{h}($.$) は h$ 番目のヘッドに対するフレー ズレベルの入力を生成する関数である. 具体的に は, $F_{h}($.$) は，単語レベルのベクトルに対して Max$ Pooling を適用することでフレーズレベルのベクト ルを生成する。

この生成されたフレーズレベル入力を用いて， SANs を次のように実行する。

$
\begin{aligned}
Q^{h}, K^{h}, V^{h} & =H W_{Q}^{h}, H_{g} W_{K}^{h}, H_{g} W_{V}^{h} \\
O^{h} & =\mathbf{A T T}\left(Q^{h}, K^{h}\right) V^{h}
\end{aligned}
$

ここで, $Q^{h} \in \mathbf{R}^{n \times d_{h}}, K^{h} \in \mathbf{R}^{p \times d_{h}}, V^{h} \in \mathbf{R}^{p \times d_{h}}$, $W_{Q}^{h}, W_{K}^{h}, W_{V}^{h} \in \mathbf{R}^{d \times d_{h}}$ であり, $d$ は隠れ層の次元数, $d_{h}$ は各へッドの次元数, $n$ は単語レベルのベク トルの次元数, $p$ はフレーズレベルのベクトルの 次元数である.また, $\mathbf{A T T}(\mathbf{X}, \mathbf{Y})$ は $\mathrm{X}$ と $\mathrm{Y}$ のアテン ション重みを算出する関数である。この演算によ り，SANs における各へッドの出力 $O^{h}$ が生成され る. その後, 全てのヘッドの出力を結合させたもの が，入力 $H$ に対する MG-SA の出力となる.

$
\operatorname{MG-SA}(\mathbf{H})=\left[O^{1}, \ldots, O^{N}\right] \text {, }
$

各ヘッドの出力 $O^{h}$ は，単語間の情報を含んでいる ものや，単語とフレーズ間の情報を含んでいるもの がある. したがって，MG-SAを使うことで，単語間 の関連性に加えて, 単語間とフレーズ間の関連性を 捉えることができる.

図 1 Hie-BART のモデル図

## 3 提案手法

Hie-BART（Hierarchical-BART）モデルでは，エン コーダは，通常の BART モデルが備えている単語同士の関連性を捉える単語レベルの Multi-head Self-Attention Networks （SANs）に加えて，文と単語間の関連性を捉える文レべルのSANs を備えている。 Hie-BART の概要図を図 1 に示す.

エンコーダでは，入力テキストをEmbedding 層に 通した後, SANs での計算時に単語レベルと文レべ ルに分割して計算する。ここで，各文を区別するた めに，入力テキスト中の各文の先頭には $[B O S]$ トー クンを付与している. 文レベルの SANs では, Create Sentence Level Vector 層で単語レベルの入力から文レ ベルの入力を作成した後, アテンションの計算を行 う. 各へッドでアテンションの計算が終了したら，単語及び文レベルの出力を結合したものを，次層の Feed Forward 層への入力とする.

## 3.1 Create Sentence Level Vector 層

Create Sentence Level Vector 層の動作例を図 2 に示 す. 図 2 において, $E_{w_{i j}}$ 及び $E_{[B O S]}$ は単語 $w_{i j}(i$番目の文中の $j$ 番目の単語）及び $[B O S]$ トークンの 埋め込みべクトルである． $E_{S_{i}}$ は. 単語レベルの埋 め込みべクトルから生成された文 $s_{i}$ ( $i$ 番目の文) の文レベルの埋め込みベクトルである.

Create Sentence Level Vector 層では，単語レベルの 埋め込みべクトルから Average Pooling により文レべ ルの埋め込みべクトルを生成する. 具体的には, 単語系列 $W=\left(w_{1}, \ldots, w_{N}\right)$ （各 $w_{i}$ は単語）が入力とし て与えられた場合，まず，単語系列 $W$ を文分割し，文系列 $S=\left(s_{1}, \ldots, s_{M}\right)$ （各 $s_{i}$ は文）を得る.ここで， $N$ は総単語数， $M$ は総文数を示す. そして,$S$ の各要素（各文）に対して，次のように Average Pooling を適用する。

$
g_{m}=\operatorname{AVG}\left(s_{m}\right)
$

ここで，AVG(・)は Average Poolingを実行する関数である。これにより，各文に対する埋め込み ベクトル $G=\left(g_{1}, \ldots, g_{M}\right)$ を生成する. 実際には, $W$ と $S$ の各要素は埋め込みべクトルとなる.例えば，図 2 において， $E_{S_{1}}$ を生成する場合は, $\left[E_{[B O S]}, E_{w_{11}}, E_{w_{12}}, E_{w_{13}}\right]$ に対して Average Pooling を 適用する。

以上のように生成された $G$ を文レベルの SANs の 入力とする.

図 2 Create Sentence Level Vector 層の動作例

図 3 Concatenate 層の動作例 (ヘッド数が 6 の場合)

## 3.2 Concatenate 層

Concatenate 層では，単語レベル SANs と文レベル の SANs の出力を結合させる. Concatenate 層では,次のような単語レベル SANS と文レベルの SANS 層の 出力が入力となる.

$
\begin{aligned}
& \operatorname{MG-SANS}(\mathbf{W})=\left[O_{w}^{1}, \ldots, O_{w}^{H}\right]=O_{w}^{A L L} \\
& \operatorname{MG-SANs}(\mathbf{G})=\left[O_{s}^{1}, \ldots, O_{s}^{H}\right]=O_{s}^{A L L}
\end{aligned}
$

$O_{w}^{A L L}$ は単語レベルの SANs の出力であり, $O_{w}^{i}$ は単語レベルの SANS のヘッド $i$ の出力である。一方で, $O_{s}^{A L L}$ は文レベルの SANs の出力であり, $O_{s}^{i}$ は文レ ベルの SANS のヘッド $i$ の出力である. ここで， $H$ は SANs のヘッド数を示す. Concatenate 層では，この 単語及び文レベルの SANs の出力結果を次のように 結合させる.

$
\begin{aligned}
& \operatorname{CONCAT}\left(O_{w}^{A L L}, O_{s}^{A L L}, h\right) \\
= & {\left[O_{w}^{1}, \ldots, O_{w}^{h}, O_{s}^{h+1}, \ldots, O_{s}^{H}\right] }
\end{aligned}
$

ここで， $h$ は結合点である. $H$ 個の Multi-head の内， 1 から $h$ までのへッドを単語レベルの出力とし, $h+1$ から $H$ までのへッドを文レベルの出力として 結合する。

Hie-BART 内の Concatenate 層の動作例を図 3 に示 す. 図 3 は，Multi-head のヘッド数が 6 で，結合点 $h$ が 4 の場合の動作を示している。単語レベルの SANS の出力である $\left[O_{w}^{1}, \ldots, O_{w}^{6}\right]$ と, 文レベルの SANs の 出力である $\left[O_{s}^{1}, \ldots, O_{s}^{6}\right]$ が結合点 $h=4$ で結合された $\left[O_{w}^{1}, O_{w}^{2}, O_{w}^{3}, O_{w}^{4}, O_{s}^{5}, O_{s}^{6}\right]$ が Concatenate 層の出力と なる。

以上のように生成された Concatenate 層の出力を 次層の Feed Forward 層への入力とする.

## 4 実験

## 4.1 データセット

データセットは，英文ニュース記事の要約コーパ スである CNN/DailyMail データセット ${ }^{1)}$ [6] を使用 した. このデータセットは，学習データが 287,226 対，開発データが 13,368 対，テストデータが 11,490 対で構成されている. また，要約元文書は平均 781 トークン，要約文は平均 56 トークンである。デー タの前処理はトークン化は CNN/DailyMail ダウン ロードページ1)の通りに行い，BPE の使用などは fairseqによる前処理に基づいて行った2).

表 2 単語レベルと文レベルのヘッド数の割合による 性能比較（開発データでの性能）

## 4.2 実験設定

Hie-BART モデルの実装は, fairseq による BART モデルのコードを基に改良することで実装した. また，事前学習済みのモデルは fairseq のモデル “bart.large”2)を使用した. BARTを fine-tuning する際 は，勾配累積のハイパーパラメータ update-freqを 10，最大エポック数 max-epochを 6 , 総学習ステッ プ数を 23,916とした. また，提案手法 Hie-BART の ハイパーパラメータは, Multi-head のへッド数を 16, 単語レベルと文レベルの SANs における出力の 結合ヘッド数の割合を “単語:文 $=14: 2$ ” とした. 結合ヘッド数の割合のハイパーパラメータは開発デー タで調整した。表 2 に示す通り，開発データにおい て最も性能がよかった割合を採用している。このハ イパーパラメータに関しては, 5 章にて考察する. その他のハイパーパラメータは fairseqによる設定2) を用いた。

## 4.3 結果

実験結果を表 1 に示す。ここでは, CNN/DailyMail のテストデータによる結果を示している. 評価指標 として, ROUGE-1, ROUGE-2, ROUGE-L $の \mathrm{~F}$ 値 [7] とそれらの平均値を用いた. ROUGE スコアの算出 には， files2rouge ${ }^{3}$ を利用した。実験では，提案手法 の Hie-BART モデルを，非階層の通常の BART モデ ルに加えて, LEAD-3[8], BertSumExtAbs[1], T5[2] と比較した. ベースラインの BART モデルとして,我々の計算機環境で再現した BART モデルの結果 （BART (ours)）に加えて, Lewis ら [3] で報告されて

いる結果も示している.

表 1 より，提案手法 Hie-BART は ROUGE-1/2/L の F 値において，Lewis らが報告している BART の性能から平均約 0.1 ポイント改善していることが分か る.また，我々が再現した BARTからは，平均約 0.2 ポイント改善していることが分かる. これらの結果 より，提案手法が有効であることを確認できた.

## 5 考察

提案手法は, Concatenate 層で単語レベルと文レべ ルのへッドの出力を特定の割合で結合する。この割合の変化で提案手法の性能がどう変わるかを考察す る. 表 2 に，結合時の単語レベルと文レベルのへッ ドの割合を変えた時の提案手法の開発データにおけ る性能を示す. ヘッド数の割合はハイパーパラメー タとして手動で調節しており, 表 2 の最左列に示さ れている. 最左列が “単語:文 $=x: y$ ” の場合，単語レ ベルのへッド数が $\mathrm{x}$, 文レベルのへッド数が $\mathrm{y}$ を意味する.

表 2 より，“単語:文 $=14: 2$ ” の場合が ROUGE-1/2/L スコアの平均が最大になっていることが分かる. ま た, 単語レベルに比べて文レベルのへッド数の割合が少ない方が，ROUGE スコアが高くなる傾向に あることが分かる. ただし，文レベルのへッド数 が 0 ，つまり通常の非階層の BARTによる精度は， Hie-BART よりも性能が低い。また，単語レベルの ヘッド数を 8 以下に減らしていく方向は, 精度の改善が見られなかったので表 2 には掲載していない。

## 6 おわりに

本研究では，BART におけるエンコーダの SelfAttention 層を単語レベルと文レベルに分割し計算することで，単語と文間の関係性を考慮する Hie-BART を提案した. BARTを階層化すること により, CNN/DailyMail データセットにおいて， ROUGE-L の F 值が 0.23 ポイント改善することを確認した. 今後は, 単語間や単語と文間の情報に加 え，文同士の関係を取り入れる手法に拡張予定であ る.また, Xsum データセットなどの CNN/DailyMail データセット以外のデータセットで提案モデルの有効性を検証予定である.

## 参考文献

[1] Yang Liu and Mirella Lapata. Text summarization with pretrained encoders. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and
the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3730-3740, Hong Kong, China, November 2019. Association for Computational Linguistics.

[2] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[3] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880. Association for Computational Linguistics, July 2020.

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008. Curran Associates, Inc., 2017.

[5] Jie Hao, Xing Wang, Shuming Shi, Jinfeng Zhang, and Zhaopeng Tu. Multi-granularity self-attention for neural machine translation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 887-897, Hong Kong, China, November 2019. Association for Computational Linguistics.

[6] Karl Moritz Hermann, Tomas Kocisky, Edward Grefenstette, Lasse Espeholt, Will Kay, Mustafa Suleyman, and Phil Blunsom. Teaching machines to read and comprehend. In Advances in neural information processing systems, $\mathrm{pp}$. 1693-1701, 2015.

[7] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[8] Ramesh Nallapati, Feifei Zhai, and Bowen Zhou. SummaRuNNer: A recurrent neural network based sequence model for extractive. In Proceedings of In Association for the Advancement of Artificial Intelligence, 2017.


# 非自己回帰モデルを用いた日本語見出し生成の検討

野崎 樹文 ${ }^{1,2 *}$ 近藤雅芳 1 内山 達也 ${ }^{1}$
LINE 株式会社 1
京都大学 工学部情報学科 ${ }^{2}$
\{nozaki.jumon, masayoshi.kondo, tatsuya.uchiyama\}@linecorp.com

## 1 はじめに

スマートフォンの普及と共にインターネットメ ディアの影響力は益々大きくなりつつある。拡大 し続けるインターネットメディア上での効率的な プラットフォーム運営を目的として、掲載記事の 自動編集機能のひとつに見出し生成技術がある $[1,2,3,4]$ 。見出し生成とは、記事本文を入力し見出 しを出力する技術で、要約タスクとして扱われる。従来、ニューラルネットを用いた見出し生成で は、エンコーダ・デコーダモデルを用いて目的の出力系列を逐次的に生成することが一般的であった。 このようなモデルは自己回帰モデルと呼ばれ、モデ ル推論時の時間計算量が出力系列長に比例するた め、生成に遅延が生じる欠点がある。

近年、このような問題を解決するアプローチとし て、機械翻訳の分野において、出力系列を並列に生成する非自己回帰モデルの研究が活発に進められて いる $[5,6,7,8,9]$ 。非自己回帰モデルは、出力トーク ン間の依存関係を捉えにくく現状では性能面で従来 のモデルに及ばないものの、出力系列のトークンを 並列に出力するため、時間計算量が出力系列長に依存せず、高速な生成を実現できる利点がある。

本研究では、見出し生成技術の高度化を目的とし て、非自己回帰モデルを用いた日本語見出し生成の 検証を行う。具体的には、ニュース記事と見出し のペアから構成されるデータセットに対して、非自己回帰モデルである Conditional Masked Language Model [10]を用いる。また、機械翻訳等の分野にお いて、非自己回帰モデルの性能向上が報告されてい るいくつかの有効な手法 $[11,12,13]$ の適用も検証す る。さらに、近年、記事を掲載するメディアのレイ アウトや表示デバイスのサイズに合わせて、生成す

る見出しの出力長に制限を課す技術の研究が積極的 に進められている $[14,15]$ ことから、本研究では非自己回帰モデルの出力長の制御を試みる。具体的に は、CMLMが推論時に出力系列長を予め予測するこ とに着目し、その出力系列長を目的の文字数に定め ることで正確に出力長を制御する方法を検証する。

## 2 事前準備

## 2.1 問題設定

見出し生成タスクは、 $S$ 個のトークンで構成され る文 $X=\left.\{x_{i}\right.\}_{i=1}^{S}$ を大力として与えられた時、 $T$ 個の トークン $(T<S)$ で構成される尤もらしい見出し $Y=\left.\{y_{i}\right.\}_{i=1}^{T}$ を出力するモデルを得ることを目的とす る。本研究では、日本語のデータセットを用いる。

## 2.2 非自己回帰モデル

入力文 $X$ が与えられた時に見出し $Y$ を生成する 自己回帰モデル $P_{A R}(Y \mid X)$ は、これまでに生成され たトークン列 $y_{<t}$ の条件付き確率の積として以下の ようにモデル化される。

$
P_{A R}(Y \mid X)=\prod_{t=1}^{T} P\left(y_{t} \mid y_{<t}, X\right)
$

一方、非自己回帰モデル $P_{N A R}(Y \mid X)$ は、生成トーク ン間の依存関係が無く、その出力系列の生成確率を 入力系列のみに依存する条件付き独立の確率の積と して以下のようにモデル化される。

$
P_{N A R}(Y \mid X)=P_{L}(T \mid X) \cdot \prod_{t=1}^{T} P\left(y_{t} \mid X\right)
$

$P_{L}$ は出力系列長 $T$ を予測する確率関数で、モデル の学習過程で同時に学習される。非自己回帰モデル は、トークンを並列に生成することで生成の高速化 が期待できる。一方、トークン間の依存関係が陽に モデル化されないため、自己回帰モデルと同様の学習枠組みでは性能が低くなることが知られている。

## 2.3 Conditional Masked Langage Model

Ghazvininejad ら [10] は、前述の課題に対するア プローチとして、Conditional Masked Langage Model (CMLM) という非自己回帰モデルを提案した。モデ ルの学習時は、正解出力系列をランダムにマスクし た系列を入力とし、マスクに入るトークンを予測す る。一方で、推論時は $P_{L}$ を用いて予測した系列長 のマスクトークンからはじめ、予測尤度の高いトー クンとマスクトークンを置き換える操作を予め定 められた復号ステップ数だけ繰り返すことによって 生成を行う。この時、各復号ステップで埋めるマス クトークン数は、一定になる様にする。

## 2.4 検証技術

本研究では、非自己回帰モデルを用いた見出し生成に加え、以下の 4 つの手法の検証も行う。

i) 知識蒸留: Sequence-level knowledge distillation [11] は、訓練データの正解ラベルを自己回帰モデルの推論結果で置き換え、そのデータを非自己回帰モデル の訓練データとして用いるという、知識蒸留の手法 のひとつである。これにより、multimodality problem [5] が緩和され、学習が安定する効果がある。

ii) 縮約操作: 非自己回帰モデルの生成結果には同一 トークンの連続が含まれやすいことが知られてお

り、これに対し Lee ら [12] は連続した同一トークン の重複を排除する手法を提案した。本研究ではこの 手法を縮約操作と呼び、検証に用いる。

iii) 語彙分割: 語彙サイズを大きくすることで、各 トークンが独立に生成されるという非自己回帰型モ デルの仮定の欠点を補う効果があり、精度が向上す るという報告がある [13]。本研究では、語彙として 文字単位を用いた場合と SentencePiece [16] 用いた場合との精度を比較する。また SentencePiece の語彙 サイズを大きくした時の精度の変化を調べる。

iv) 出力系列長の制御: 非自己回帰モデルの出力系列長に制限を課すことを目的として、CMLM の推論時 の初期マスクトークンの数を目的の系列長にするこ とで、陽に出力長を制御する方法を検証する。

## 3 実験設定

## 3.1 データセット

本研究では 2 つのデータセットを用いる。ひと つは、インターネットメディアから独自に収集し
た日本語の Webニュース記事で構成されたデータ セット (以下、日本語 Web ニュースデータセット) 1)である。このデータセットは、記事と見出しのぺ アで構成される。実験の際には訓練データと類似 するデータが開発データやテストデータに含まれ ないようにするため、記事取得時刻順に訓練、開発、テストデータとなる様に分割した。もうひとつ は、livedoor ニュースコーパス2)である。このデー タセットはテストセットとしてのみ利用する。トー クナイズは、文字単位または SentencePiece3)を用い る。その他のデータセットの詳細は、付録.A に記載 する。

## 3.2 実装の詳細

非自己回帰モデルとして CMLMを用いる。自己回帰モデルには Transformer [17] を用いる。両モデ ルのエンコーダとデコーダの層数はそれぞれ 1 層 ずつ4)とし、知識蒸留用の教師モデルの Transformer はそれぞれ 3 層ずつとした。推論速度の比較には、 バッチサイズを 1 とし、それぞれの実験で 5 回ずつ 計測をした平均値を用いた。語彙サイズは、文字単位については訓練データ内で 5 回以上出現する 3392 種とし、SentencePiece については 8000 とした。実

細は、付録.Bに示す。

## 3.3 評価方法

本研究では、以下の 3 つの評価指標を用いる。

ROUGE: 見出しの品質評価を目的に、F1 ベースの ROUGE スコアを用いる。出力系列と正解見出しに 対して MeCab [18] よる分かち書きをしてから計算 を行う。

Repetition Rate (RR): 非自己回帰モデルの出力系列 に対する同一トークンの連続の多さを測る指標と して、Repetition Rate (RR) を以下のように定義し用 いる。

$
R R=\frac{1}{n} \sum_{i=0}^{n} \frac{r_{i}}{t_{i}-1}
$

$t_{i}$ は出力系列のトークンの数、 $r_{i}$ は出力系列内の

1）会員制サイト等を除く、自由閲覧可能なメディアから収集・構築した。非公開のものである。

2) https://www. rondhuit.com/download.html

3) https://github.com/google/sentencepiece

4）データセットサイズが小規模であったため、大きいモデル サイズでは学習が安定しなかった。また、 1 層で比較検証す るには十分な性能が出たため、本研究では 1 層とした。

5) https://github.com/pytorch/fairseq

表 1: 日本語 Webニュースデータセットを用いた性能比較。b は推論時のビーム幅、k は CMLM の復号ステップ数を示 す。また、**は、CMLMにおける知識蒸留の教師モデルを示す。速度は、日本語 Webニュース記事データセットに対す るビーム幅 5 の Transformer の生成速度を基準として、各モデルの生成速度の倍率を示している。

トークン単位の bigram の内、同一トークンで構成さ れるものの数である。

文長の分散値: 文字長制御の効果検証を目的に、高瀬ら [19] に倣い、以下の指標を用いる。

$
\operatorname{var}=\frac{1}{n} \sum_{i=0}^{n}\left|l_{i}-l e n\right|^{2}
$

var は、モデルの出力系列長に対する正解系列長と の分散を表す指標で、 $n$ はデータの数、 $l_{i}$ は生成結果の見出しの長さ、len は正解見出しの長さを表す。

## 3.4 出力系列長の制御方法

本研究では、モデルの出力系列長の制御方法とし て、以下の 4 つの方法を検証する。この検証では、 トークナイズに文字単位を用いる。

打ち切り: 目的の文字数よりも長い系列を生成した 場合に目的の文字数で打ち切り、以降の文字を切り 捨てる。

固定長: Rush ら [1] の提案した自己回帰モデルに対 する出力長制御手法で、目的の文字数まで終端記号 を出力しないことで強制的に目的の文字数までの出力系列を生成する。

制御コード：人見ら [20] の提案した自己回帰モデ ルに対する出力長制御手法で、目的の文字数を表す 制御コードを入力に加える。本研究では、制御コー ドとして 6〜69 文字を表す 64 種類を用いる。

固定長初期化: 我々は、CMLM の推論時の初期マス クトークンの系列長を目的の文字数に定め、陽に出力長を制御する。学習時には、誤差関数から長さ予測に関する項を除いて CMLM の学習を行う。また、人見らの方法と同様に入力に目的系列長を表す制御 コードを加えた。

## 4 実験結果

## 4.1 自己回帰モデル vs. 非自己回帰モデル

まず、自己回帰モデルの Transformer と非自己回帰モデルの CMLM との性能比較を表 1 に示す。 CMLM は、復号ステップ数 $k$ が増えるにつれて ROUGE スコアが大きく改善した。また、縮約操作、知識蒸留、subword の利用といった個々の操作を適用した場合それぞれで ROUGE スコアが改善した。 さらに、これら 3 つの操作全てを適用した場合、個々の操作だけの場合よりも大きくROUGE スコア が改善し、生成速度も約 3 倍程度高速であった。一方で、性能面で依然として自己回帰モデルに及んで いない課題は残る。繰り返し生成の問題について は、非自己回帰モデルは自己回帰モデルと比較して RR の値が大きく、同一トークンの連続した生成が 多いことが分かる。これに対して、縮約操作を適用 することで繰り返し生成の問題が回避され、RRが 0 となるだけでなく、ROUGE スコアも 1 ポイント以上向上した。

表 2 に livedoorニュースコーパスに対して生成 された見出しのサンプルを示す。CMLM の復号ス テップ数が大きくなると、文字の繰り返し生成が低減している。さらに、CMLMに3つの操作をそれぞ れ適用していくと、生成された見出しの可読性が向上していくことが確認できる。また、正解見出しと

表 2: livedoorニュースコーパスを用いて生成された見出しのサンプル。サンプルの正解見出しと各モデルにより生成さ れた見出しをそれぞれ示す。トークナイズには、文字単位を用いた。

図 1: subword の語彙サイズを変更した場合の CMLM と Transformer のそれぞれの精度を示す (実線)。縦軸は 3 つ の ROUGE 值 (R-1, R-2, R-L) の幾何平均値を、横軸は語彙サイズを示す。また、破線はトークナイズに文字単位 ( size:3392)を適用した場合の精度を示している。データ セットは、日本語 Webニュースデータを用いた。本実験 の詳細なスコアは、付録.C に記載。

各モデルの生成見出しの差異が大きい要因として、学習時とテスト時で異なるデータセットを用いたこ とが考えられる。

## 4.2 語彙と性能の関係

次に、図 1 に語彙分割の方法と性能との関係を示 す。subword の語彙数が、自己回帰モデルでは 4,000 の時に、非自己回帰モデルでは 8,000 の時に、それ ぞれ最も性能が高かった。また、トークナイズに文字単位と subword を用いた場合で比較すると、非自己回帰モデルの方が自己回帰モデルよりも性能の 向上幅が大きかった。一方で、自己回帰モデルと 非自己回帰モデルで共に、subword の語彙サイズが 16,000 以上になると性能が低下した。これは、今回用いたデータセットのサイズが比較的小さく、大き な語彙サイズによる学習が安定しなかったことが要因であると考えられる。

表 3: 出力系列長の制御を適用した場合の性能を示す。 データセットは、日本語 Webニュースデータセットを用 いた。トークナイズは、文字単位を用いた。

## 4.3 出力系列長の制御

最後に、表 3 に、各モデルに出力系列長の制御の 手法を適用した場合の性能を示す。自己回帰モデル では、全ての制御方法において正解系列長との分散 の値は小さくなる一方、性能の低下が確認された。 それに対して、非自己回帰モデルでは、目的文字数以降の文字を打ち切る方法では性能が低下したが、初期化トークンを目的文字数に固定する方法では正確に長さ制御を行いつつ性能が向上した。これは、目的の文字数を正確に出力していることに加え、損失関数から長さ予測に関する項が取り除かれること で学習が安定したことが理由として考えられる。

## 5 おわりに

本研究では、非自己回帰モデルを用いた見出し生成を行い、自己回帰モデルとの性能比較を行った。 また、機械翻訳等で用いられている、非自己回帰モ デルの性能向上を目的としたいくつかの手法につ いて、日本語見出し生成タスクでも同様の有効性を 確かめた。さらに、非自己回帰モデルによる生成時 に、生成長を予め与える簡易な方法で性能を向上さ せながら正確に出力長を制御できることを示した。一方で、未だ自己回帰モデルの生成する見出しとの 品質差は大きい。今後は、非自己回帰モデルの精度 をより高めていくために大規模な事前学習済み言語 モデル $[21,22,23,24]$ などの利用を検討予定である。

## 参考文献

[1]Alexander M Rush, Sumit Chopra, and Jason Weston. A neural attention model for abstractive sentence summarization. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 379-389, 2015.

[2]Kazuma Murao, Ken Kobayashi, Hayato Kobayashi, Taichi Yatsuka, Takeshi Masuyama, Tatsuru Higurashi, and Yoshimune Tabuchi. A case study on neural headline generation for editing support. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Industry Papers), pp. 73-82, 2019.

[3] 人見雄太, 田口雄哉, 田森秀明, 岡崎直観, 乾健太郎. 小規模リソースにおける生成型要約のためのスタイル転移. 言語処理学会第 26 回年次大会, 2020.

[4]小林健, 小林隼人, 村尾一真, 増山毅司. 複数エンコーダ を用いたヤフートピックス見出し候補生成. 言語処理学会第 26 回年次大会, 2018.

[5]Jiatao Gu, James Bradbury, Caiming Xiong, Victor OK Li, and Richard Socher. Non-autoregressive neural machine translation. In International Conference on Learning Representations, 2018

[6]Jiatao Gu, Changhan Wang, and Junbo Zhao. Levenshtein transformer. In Advances in Neural Information Processing Systems, pp. 11181-11191, 2019.

[7]中村朝陽, 鶴岡慶雅. 非自己回帰的な生成と事前学習を 用いた機械翻訳への試み. 言語処理学会第 26 回年次大会, 2020 .

[8]安井豪, 鶴岡慶雅, 永田昌明. モデルに基づくマスキン グを行う非自己回帰的ニューラル機械翻訳. 言語処理学会第 26 回年次大会, 2020.

[9]朱中元, Jason Lee, Kyunghyun Cho, 中山英樹. 潜在変数 の精緻化による非自己回帰型ニューラル機械翻訳. 言語処理学会第 26 回年次大会, 2020.

[10]Marjan Ghazvininejad, Omer Levy, Yinhan Liu, and Luke Zettlemoyer. Mask-predict: Parallel decoding of conditional masked language models. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 6114-6123, 2019.

[11]Yoon Kim and Alexander M Rush. Sequence-level knowledge distillation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1317-1327, 2016.

[12]Jason Lee, Elman Mansimov, and Kyunghyun Cho. Deterministic non-autoregressive neural sequence modeling by iterative refinement. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1173-1182, 2018

[13]Hirofumi Inaguma, Yosuke Higuchi, Kevin Duh, Tatsuya Kawahara, and Shinji Watanabe. Orthros: Nonautoregressive end-to-end speech translation with dualdecoder. arXiv preprint arXiv:2010.13047, 2020.

[14]Angela Fan, David Grangier, and Michael Auli. Controllable abstractive summarization. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 45-54, 2018.
[15]Yuta Kikuchi, Graham Neubig, Ryohei Sasano, Hiroya Takamura, and Manabu Okumura. Controlling output length in neural encoder-decoders. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1328-1338, 2016.

[16]Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[17]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[18]Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to japanese morphological analysis. In Proceedings of the 2004 conference on empirical methods in natural language processing, pp. 230-237, 2004.

[19]Sho Takase and Naoaki Okazaki. Positional encoding to control output sequence length. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3999-4004, 2019.

[20]Yuta Hitomi, Yuya Taguchi, Hideaki Tamori, Ko Kikuta, Jiro Nishitoba, Naoaki Okazaki, Kentaro Inui, and Manabu Okumura. A large-scale multi-length headline corpus for analyzing length-constrained headline generation model evaluation. In Proceedings of the 12th International Conference on Natural Language Generation, pp. 333-343, 2019.

[21]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, 2019.

[22]Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-tosequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, 2020.

[23]Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[24]Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. 2020.

## A データセットの詳細

日本語 Web ニュース記事データセット: データサ イズについては、それぞれ、訓練データが 5 万以上、開発が 4,908、テストが 4,887 サンプルとなって いる。

livedoor ニュースコーパス゚ ${ }^{6}$ : サンプル数は 6,928 と なっている。本研究には、テストセットにのみ用い ている。

## B 実験設定の詳細

モデル訓練時の設定は、dropout 率を 0.3、学習率を 0.0005、warm-up steps を 10000、weight decay を 0.01 と設定した。学習ステップ数は最大で 50 万と した。バッチサイズは、バッチ内トークン数が最大 8000 となるように動的に構成するようにした。モ デル学習時の入出力については、最大入力長と最大出力長をそれぞれ 128 語、 69 語として学習を行う。一方で、推論時には最大出力長を 200 語として生成 を行った。その他のパラメータ設定は、Vaswani ら [17] の Transformer (base model) と同様のものを用い ている。

実験環境には、NVIDIA Telsa V100 GPUを 1 枚利用した。また、CPU は Intel Xeon Silver 4114 CPU $(2.20 \mathrm{GHz})$ を 2 個使用し、RAM は $24 \mathrm{~GB}$ とした。

## C 語彙と性能の関係の詳細

表 4: 語彙サイズを変更した場合の CMLM と Trans former の各 ROUGE スコアを示す。char は文字単位 (size:3392)を示す。また、表記の $4 \mathrm{k}, 8 \mathrm{k}, 16 \mathrm{k}, 32 \mathrm{k}$ は、 それぞれ subword の語彙サイズを示す。

6) https://www. rondhuit.com/download.html


# テキスト変換モデルに基づく 様々な制約を用いたインタラクティブ要約

柴田 知秀 $\dagger$ 山田 悠右 $\ddagger$ 小林 隼人 $\dagger$ 田口 拓明 $\dagger$ 奥村 学
†ヤフー株式会社 ‡東京工業大学
\{tomshiba, hakobaya, htaguchi\}@yahoo-corp.jp
\{yuyamada@lr.,oku@\}pi.titech.ac.jp

## 1 はじめに

Encoder-decoder モデル [1,2] や事前学習モデル $[3,4]$ などの深層学習の進展により、テキスト自動要約の技術が進歩している。自動要約手法の精度を 向上させる余地がある一方で [5]、そもそも要約の 正解には様々な観点が考えられる場合も多いことか ら、ユーザからのフィードバックをもとに要約を生成・改良させる研究が進められている [6,7]。本論文ではユーザが制約を与えてインタラクティブに要約を行う設定 (Mao らの研究) [6] に焦点をあてる。

制約付き要約が必要となる場面を、Yahoo!ニュー ス・トピックスを例として説明する。Yahoo!ニュー ス・トピックスでは、日々のニュース記事の中から 重要なニュースを選択し、要点を押さえた短い見出 しを編集者の手により作成している。そこでは、見出しの候補を自動生成し編集者に提示することに よって、編集支援を行っている [8]。この発展とし て、自動生成された見出しに対して、編集者が含め たいキーワードやフレーズを制約として与えると、 その条件を満たす見出しが生成されれば、さらなる 編集支援を行えると考えられる。

先に述べた Mao らの研究 [6] やその他の制約付き 生成の研究 $[9,10]$ ではキーワードやフレーズなど、入力文書に依らず同一の制約のタイプを想定してい る。しかし、制約のタイプは文書によって異なるの が自然である。例えば求める要約が抽出型であれば 制約として文であることが望ましく、また、抽象型 であればキーワードやフレーズであることが望まし い。また、Mao らの研究では制約を一回与えるのみ であるが、数回与えながら徐々に要約を改善してい くのが自然な設定である。

そこで本研究では様々なタイプの制約を与える インタラクティブ要約の手法を提案する。提案手法
の概要を図 1 に示す。本研究は自動処理の精度を向上させるという設定ではなく、入力の文書に対して ユーザ (編集者) が生成したい要約が頭にあり、それ をもとに制約を与えて要約を改善する、というイン タラクティブな要約をシミュレートする設定とな る。まず、制約なしで生成した要約がユーザに提示 され、ユーザは制約を与える。この例ではキーワー ド制約として「新しい」という単語を与え、システ ムはこの制約のもとに要約を生成する。さらにフ レーズ制約として「気象庁」を与える、という具合 にインタラクティブに要約を生成していく。制約付 きの学習・評価セットを構築するのはコストが高い ことから、Маoらの研究と同じく、正解要約に含ま れていてシステム出力には含まれていないキーワー ドやフレーズを疑似的に制約とみなす。

また、Mao らは制約を満たす生成を得るモデル [11] をデコード時に用いているが、このモデルでは 様々なタイプの制約に対応することができない。そ こで本論文ではテキスト変換モデルを用い、制約の 単位にかかわらず、制約を入力側に入れることによ り制約付き生成を実現する。本研究ではテキスト変換モデルとして T5 [3] を用いる。

標準的に用いられている評価セットを用いて、イ ンタラクティブ要約がどのように実現されるかを検証した。

## 2 提案手法

## 2.1 枠組み

まず、入力文書 $(s r c)$ と正解要約 $(t g t)$ が与えられ、制約なしのベースモデル $M_{\text {base }}$ を学習する。このモ デル $M_{\text {base }}$ を使って生成された要約を pred とする。制約 $C$ は tgt にあって、pred に存在しないものを抽出する。

火山灰の量は? 気象庁が24日から新しい降灰予報
スタート
$\cdots$
火山灰も広い範囲にわたって私たちの生活に大き
な被害を与えます。
気象打は、3月24日から新しい降灰予報を順次ス
タートさせます。
これまでの降灰予報をバージョンアップさせたこ
の予報は、一体どのようなものなのでしょうか。

制約なし生成

火山灰の量は? 気象庁 (0.17)

$
\text { キーワード制約: 新しい }
$

制約あり生成 (1)

火山灰の量は? 新しい降灰予報 (0.44)

制約あり生成 (2)

火山灰の量は? 気象庁新予報 (0.23)

$
\text { キーワード制約: 降灰 }
$

制約あり生成 (3)

気象庁、24日から新しい降灰予報 (0.57)

 \\

図 1 提案手法の概要 (括弧内の数字は ROUGE2 F の值を示す)

図 2 様々なタイプの制約(下線が引かれた制約はランダムに選ばれたものを示す)

## 2.2 様々なタイプの制約

制約として、入力によらず単一の制約のタイプを 与えるというよりは様々なタイプの制約を与えるの が自然である。本研究では制約のタイプとして文、 フレーズ、キーワードを考える。

文 tghに含まれていて、predに含まれない文を 制約として抽出したいが、入力中のある文がその まま tgt に含まれているとは限らないので、抽出型要約における正解文抽出の方法 [12,13] を拡張し、 pred と連結すると ROUGE F 值が高くなるような入力中の文を制約として抽出する。

キーワード 文単位で制約を考えると、特に抽象型要約の場合、不要な部分が含まれてしまう可能性が高い。そこで、キーワード単位での制約を考 え、tgtに含まれ、predには含まれないものを制約 とする。

制約の候補を抽出する対象として 2 種類の問題設定を考える。1つは $s r c$ のみで、これはキーワード を入力文書から抜き出す形で設定することを想定す る(この設定を $\operatorname{src}$ と呼ぶ)。もう 1 つの設定として、 $t g t$ も加えることを考え、これは入力文書には含ま れていない言い換え表現などをキーワードを含める
ことができる(この設定を $s r c+t g t$ と呼ぶ)。

フレーズ キーワードよりも少し大きな単位とし てフレーズを考える。要約に含むべきフレーズとし て固有表現が多いことから、本研究では固有表現の みを対象とする。キーワードと同様に、tgt に含ま れ、predには含まれないものを制約とする。

ある文書について制約のタイプが複数抽出され る場合、どの制約のタイプが最善であるかは分から ないので、ランダムに制約のタイプを選ぶ。また、 ある制約について複数ある場合はその中からラン ダムに一つ選ぶ。図 2 に制約の例を示す。一つ目の 例では文・フレーズ・キーワード制約が得られてお り、ここからランダムに選んだ結果、キーワード制約が選ばれ、 3 つのキーワードのうちからランダム に「大統領」が選ばれている。二つ目の例では文制約とキーワード制約が抽出されており、フレーズ制約は条件に合致するものがない。

## 2.3 テキスト変換モデルの利用

テキスト変換モデルを利用することにより、制約 がどのような単位であっても入力に制約を加えるだ けで、制約付き生成を実現することができる。制約 なしのベースモデル $M_{\text {base }}$ でシステム出力 $p r e d$ を

図 3 制約付きデータの構築とインタラクティブ生成の方法 (test は valid と同様の方法で構築)

生成することを以下のフォーマットで表現する。

summarize: $s r c \rightarrow$ pred

制約ありモデル $M_{C} 、 i$ 回目のシステム出力を pred $_{i}$ とすると、 $M_{C}$ で pred $_{i}$ を生成する場合、制約を入力の先頭に追加し、

## C summarize: $s r c \rightarrow$ pred $_{i$}

とする。制約 $C$ は「(制約タイプ) constraint: (制約文字列)」とする。制約タイプは sentence、phrase、 keyword のいずれかをとり、制約のタイプを区別す るために付与している。図 2 の 1 つ目の例の入力は 以下のようになる。

keyword constraint: 大統領 summarize: トランプ 氏に.. $\rightarrow$..

インタラクティブに生成を繰り返し行うので、2 回目以降の生成では過去の制約も満たすょうに、以下のように過去の制約も入力に加える $\left(C_{i}\right.$ は $i$ 回目 の制約を表わす)。

## $C_{1 C_{2}$.. $C_{i}$ summarize: $s r c \rightarrow$ pred $_{i}$}

## 2.4 制約付きデータの構築とインタラク ティブ生成

制約付き評価セットの構築ならびにインタラク ティブ生成を図 3 に示す。まず、 $\operatorname{train}$ の src と tgt を 使ってベースモデル $M_{\text {base }}$ を学習し、valid の pred を生成する。そして、pred と tgt を比較し、2.2 節で 述べた方法で制約を抽出する。

制約ありモデルを学習するために、trainについて も制約を付与する必要があるので、trainを $N$ 分割 し1)、N-1 個で制約なしモデルを学習し、残りに対 して pred を生成し、同様に制約を抽出する。そして これを $N$ 回繰り返すことにより、train のすべてに対 して制約を得る。次に、train の制約付き src と tgt

から制約ありモデル $M_{C}$ を学習する。学習したモデ ルを用いて valid に対して pred $_{1}$ を生成し、インタ ラクション 1 回目の生成 pred $_{1}$ を得る。次に、 pred 1 と tgt から次の制約 $C_{2}$ を得て、 $C_{2}$ と $s r c$ に対して $M_{C}$ を適用することにより、2 回目の生成 pred $_{2}$ を得 る。このようにして、インタラクティブな生成を実現することができる。

## 3 実験

## 3.1 実験設定

自動要約で標準的に用いられている英語の評価 セット 3 つ (CNN/DM [14, 1], XSum [15], Reddit [16]) と、日本語のものとして Yahoo!ニュースのトピック ス記事のデータセット (Topics [8]) を用いた。表 1 に 各評価セットの統計データを示す。

CNN/DM は抽出度が高く、XSum と Reddit は抽出度が低いデータセットであり、抽出度によってどの ようにシステムの振舞いが異なるかを実証する。

評価尺度は標準的に用いられている ROUGE-1,2,L の $\mathrm{F}$ 值 [17] を用いた。評価の基本単位として英語 の場合は単語を、日本語の場合は文字を用いた。ま た、インタラクションの回数を 3 とした。

事前学習モデルとして、英語の場合は $\mathrm{T} 5^{2}$ を、日本語の場合は $\mathrm{mT5}[18]^{3}$ を用いた。モデルサイズは どちらも base を利用した。実装は Hugging Face 社 が提供する transformers $の$ seq2seq を使った4)。

キーワード制約の抽出において、英語では TextRank $[19,20]^{5}$ を用い、日本語では形態素解析器 JUMAN $\left.^{6}\right)$ で単語に分割し、TFIDF が上位のものを キーワードとした。フレーズ制約の抽出において Spacyを用いて固有表現解析を行った。

## 3.2 実験結果 $\cdot$ 考察

制約を用いないベースラインと、制約として文、 フレーズ、キーワードのうちの一つのみを採用した

 & $\underset{(\operatorname{src})}{\mathrm{K}} \quad \underset{(\mathrm{src}+\operatorname{tgt})}{\mathrm{K}}$ & R-1 & R-2 & R-L & R-1 & R-2 & R-L & R-1 & R-2 & R-L & R-1 & $\mathrm{R}-2$ & R-L \\

表 2 実験結果 (制約の S, P, K はそれぞれ文、フレーズ、キーワードを示す)

} & \multirow[b]{2}{*}{1} & \multirow{2}{*}{} & \multirow{2}{*}{ \\
0.572
} & \multirow{2}{*}{ \\
0.726
} & \multirow{2}{*}{  } & \multirow{2}{*}{ \\
0.930
} & \multicolumn{2}{|c|}{ (src) $\quad \stackrel{\text { なし }}{(\mathrm{src}+\operatorname{tgt})}$} & \multirow{2}{*}{} & & \multicolumn{2}{|c|}{} & \multicolumn{2}{|c|}{$\underset{(\operatorname{src})(\operatorname{src}+\operatorname{tgt})}{\mathrm{K}} \quad \mathrm{K}$} \\

表 3 制約が抽出された割合 (「なし」はどのタイプの制約も抽出されな かったことを、2 カラム目の「1,2,3」はインタクラションの回数を示す)

表 4 出力が制約を満たした割合

場合、全てを採用した場合、ならびに、フレーズと キーワード制約については抽出の対象として $s r c$ の みと $s r c+t g t$ の場合 (2.2 節参照) を比較した。表 2 に実験結果を示す。

CNN/DM は抽出度が高い評価セットであるので、文制約のみを用いた場合が最も精度が高く、また、 XSum は src に含まれないフレーズが多いことから フレーズ制約 $(s r c+t g t)$ のみを用いた場合が最も精度が高かったが、おおまかな傾向としてはすべての 制約を用いた場合が精度が高く、様々な制約を用い ることの有効性を示すことができている。

Reddit の P(src), K(src) ならびに Topics の P(src) は 制約を用いないべースラインよりも低くなってし まっている。この原因を明らかにするために、valid セットにおいてそれぞれの制約が抽出された割合を 表 3 に示す。Reddit の P(src),K(src)と Topics の P(src) は他に比べて制約が抽出された割合が低いことがわ

くのキーワード・フレーズが要約に使用されている ことに起因する。

表 4 にシステム出力が与えた制約を満たした割合 を示す7）。インタラクションが進むにつれて、制約

7）文制約の場合、制約が満たされたかどうかを判断するのが
を満たすのが次第に難しくなっていることがわか る。また、Reddit は他の評価セットに比べて制約を 満たした割合が低い。これは難しい評価セットであ ることと、制約が抽出された割合が他の評価セット に比べて低い (表 3 参照)ことに起因する。

以下の例では Topics 評価セットにおいて、制約付 き出力が制約「夏」を満たしておらず、制約なし出力と同じ出力となってしまっている。この問題に対 しては N-best を生成し、制約を満たす出力を採用す ることによって対処することが考えられる。

tgt:梅雨の熱中症 真夏並みに注意

pred:熱中症の季節到来気をつけたい落とし穴

キーワード制約: 夏

制約付き pred: 熱中症の季節到来気をつけたい落とし穴

## 4 おわりに

本論文ではテキスト変換モデルに基づき、文・フ レーズ・キーワードの様々な制約を用いてインタラ クティブに要約を行う手法を提案した。今後の課題 としてはキーワードやフレーズを削除する制約の導入や出力長の制約を加えることなどがあげられる。

難しいので、フレーズ制約とキーワード制約についてのみ算出した。

## 参考文献

[1] Ramesh Nallapati, Bowen Zhou, Cicero dos Santos, Caglar Gulcehre, and Bing Xiang. Abstractive text summarization using sequence-to-sequence RNNs and beyond. In Proceedings of SIGNLL2016, pp. 280-290, 2016.

[2] Abigail See, Peter J. Liu, and Christopher D. Manning. Get to the point: Summarization with pointer-generator networks. In Proceedings of ACL2017, pp. 1073-1083, 2017.

[3] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[4] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of ACL2020, pp. 7871-7880, 2020.

[5] Dandan Huang, Leyang Cui, Sen Yang, Guangsheng Bao, Kun Wang, Jun Xie, and Yue Zhang. What have we achieved on text summarization? In Proceedings of EMNLP2020, pp. 446-469, 2020.

[6] Yuning Mao, Xiang Ren, Heng Ji, and Jiawei Han. Constrained abstractive summarization: Preserving factual consistency with constrained generation, 2020.

[7] Nisan Stiennon, Long Ouyang, Jeff Wu, Daniel M. Ziegler, Ryan Lowe, Chelsea Voss, Alec Radford, Dario Amodei, and Paul Christiano. Learning to summarize from human feedback. CoRR, Vol. abs/2009.01325, , 2020.

[8] Kazuma Murao, Ken Kobayashi, Hayato Kobayashi, Taichi Yatsuka, Takeshi Masuyama, Tatsuru Higurashi, and Yoshimune Tabuchi. A case study on neural headline generation for editing support. In Proceedings of NAACL2019 (Industry Papers), pp. 73-82, 2019.

[9] Zi-Yi Dou, Pengfei Liu, Hiroaki Hayashi, Zhengbao Jiang, and Graham Neubig. GSum: A general framework for guided neural abstractive summarization, 2020.

[10] Itsumi Saito, Kyosuke Nishida, Kosuke Nishida, and Junji Tomita. Abstractive summarization with combination of pre-trained sequence-to-sequence and saliency models, 2020.

[11] Matt Post and David Vilar. Fast lexically constrained decoding with dynamic beam allocation for neural machine translation. In Proceedings of NAACL2018, pp. 13141324, 2018.

[12] Ramesh Nallapati, Feifei Zhai, and Bowen Zhou. Summarunner: A recurrent neural network based sequence model for extractive summarization of documents. In Satinder P. Singh and Shaul Markovitch, editors, Proceedings of AAAI2017, pp. 3075-3081, 2017.

[13] Yang Liu and Mirella Lapata. Text summarization with pretrained encoders. In Proceedings of EMNLPIJCNLP2019, pp. 3730-3740, 2019.

[14] Karl Moritz Hermann, Tomas Kocisky, Edward Grefenstette, Lasse Espeholt, Will Kay, Mustafa Suleyman, and
Phil Blunsom. Teaching machines to read and comprehend. In C. Cortes, N. Lawrence, D. Lee, M. Sugiyama, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 28, pp. 1693-1701. Curran Associates, Inc., 2015.

[15] Shashi Narayan, Shay B. Cohen, and Mirella Lapata. Don't give me the details, just the summary! topic-aware convolutional neural networks for extreme summarization. In Proceedings of EMNLP2018, pp. 1797-1807, 2018.

[16] Byeongchang Kim, Hyunwoo Kim, and Gunhee Kim. Abstractive summarization of Reddit posts with multi-level memory networks. In Proceedings of NAACL2019, pp. 2519-2531, 2019.

[17] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, 2004.

[18] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A massively multilingual pre-trained textto-text transformer, 2020.

[19] Rada Mihalcea and Paul Tarau. TextRank: Bringing order into text. In Proceedings of EMNLP2004, pp. 404-411, 2004.

[20] Federico Barrios, Federico López, Luis Argerich, and Rosa Wachenchauzer. Variations of the similarity function of textrank for automated summarization. CoRR, Vol. abs/1602.03606, , 2016.

## 付録

図 4 各インタラクションでの精度 (Topics)

図 4 に評価セット Topics における各インタラク ションでの精度 (R2)を示す。全般的な傾向として、最初の上がり幅が最も大きく、ゆるやかに向上して いくことがわかる。


# 話者情報を認識した対話要約

楢木悠士
早稲田大学基幹理工学部情報理工学科
} yuji.1277@akane.waseda.jp
## 1 導入

自動対話要約は対話文書から話者の意図を客観的に捉え，正確かつ簡潔な要約を生成することを目的としたタスクである。実世界におけるアプリケー ションへの応用などの需要が増加している. 例え ば，顧客サービスセンターや病院ではそのやりとり を要約できれば有用であると考えられる.しかし，対話要約のための高品質なデータセットは公開さ れていなかったため, 対話要約の研究は未だ少な い. 特に深層学習のための適切で十分に大きい公開データセットは SAMSum[1] の登場までなかった ため，対話に特化された深層学習の研究は非常に少 ない. 本研究では対話特有の話者情報に焦点を当 て，Transformer[2] を基にしたモデルのための対話 に特化したアーキテクチャを提案する。はじめに，話者交代情報を含んだ Turn Embedding と話者識別情報を含んだ Speaker Embedding を提案する。そして， それらの Embedding を一部の次元に限定する Partial Turn Embedding と Partial Speaker Embedding を提案す る. 実験の結果, Partial Turn/Speaker Embedding は文書要約における最新のべースラインと比較して, 収束性と生成要約の ROUGE スコアの向上を示した.

## 2 関連研究

文書要約の代表的な手法をいくつか紹介 する. Pointer-Generator[3] は RNNをべースにし た Sequence-to-Sequence(Seq2Seq) モデルである. Pointer-Generator は以前から課題であった辞書に 含まれない単語に対応できない Out-of-Vocabulary 問題や，RNNによる自然言語生成で頻繁に引き 起こされる文字列の無意味な反復を解決した. Pointer-Generator 以降は Transformerを基にした手法 が登場してきた. 文書要約は長文の意味を捉える 必要があるタスクであり，入力シーケンスの遠い 位置の関係を捉えることができる Transformer は 要約に適していると考えられる. Liu らは事前学

\author{
酒井哲也 \\ 早稲田大学基幹理工学部情報理工学科 \\ tetsuyasakai@acm.org
}

習を行う BERTを文章要約に応用した BERTSum, BERTSumAbs を提案した [4]. BERTSum は事前学習可能なエンコーダーを用いて抽出型要約を可能に した. BERTSumAbs は BERTSum のエンコーダーと Transformerを基にしたデコーダーを用いることで，抽象型要約を可能にした. ただし，BERTSum で事前学習できるパラメータはエンコーダーに限られ る. Zhang らが提案した PEGASUS は Gap Sentences Generation(GSG) と呼ばれる事前学習手法を用いた 抽象型要約手法である [5]. 通常の BERT の事前学習に用いられる Masked Language Model では，入力文章の一部のトークンをマスクし，そのマスク箇所 を予測する手法である。一方，GSG では入力文章 の一部の文をマスクし，マスクされた文全体を予測 する.この手法により，デコーダーも事前学習がで き，文生成に特化した学習が可能となった。

次に，対話要約のデータセットとそれらを用い た研究をいくつか紹介する．Goo らはRNNを用 いて対話における発言の役割を副次的に学習する 抽象型要約モデルを提案した [6]. Goo らの使用し た AMI 会議コーパス [7] は発言に役割がアノテー ションされたデータセットであり，要約文が短い ことが特徴的である. Yuan らは対話のドメインを 副次的に学習する Pointer-Generatorを基にした抽象型要約モデル SPNet を提案した [8]. ここで用いた MultiWOZ-2.0[9] は対話のドメインがアノテーショ ンされた対話コーパスであり，対話要約のための データセットではない，そこで Yuan らはクラウド ソーシングにより構築した要約を用いた. 最後に， Gliwa らは深層学習に十分な大きさの高品質な対話要約データセットが公開されていないという課題を 解決するために SAMSum を公開した [1]. SAMSum は言語学者によって人手で構築されたデータセット であり，世間話や会議の手配などあらゆる日常的な 会話で構成されている.

BERTSum や PEGASUS などの Transformer を基に したモデルの入力には，入力文から生成されるい

図 1 SAMSum の対話文と要約の例

くつかの種類の Embedding の和を用いる. 一般的 に BERT に用いられる Embedding には 3 種類ある。入力文の各トークンを表す Token Embedding，入力文の 2 種類の区分を表す Segment Embedding，入力文の位置を表す Position Embedding がある. Token Embedding と Position Embedding は自然言語処理の 主なタスクにおいて共通する手法で生成される。し かし, Segment Embedding の生成に用いられる入力文の 2 つの区分はタスクによって様々である. 質問応答タスクにおいては質問とパラグラフで分け られ，BERTSum では奇数番目の文と偶数番目の文 で Embedding を分けている. タスクによっては区分がなく, Segment Embedding を用いない場合も多 い.チャットボットにおける返答選定タスクにおい ては，対話と返答で異なる Segment Embedding を用 いる. 以上 3 種類の Embedding に加えて，Gu らは Speaker Embedding を追加で加算することで，返答選定タスクの性能の向上をもたらした [10]. Gu ら の提案した Speaker Embedding は Segment Embedding と同様の構造を持ち，話者交代ごとに 2 つの区分を 入れ替える Embedding である。

## 3 話者情報を与える Embedding

## 3.1 データ前処理

本研究では，モデルの学習に十分な量の高品質なデータを持つSAMSumを用いて学習を行う。 SAMSum の対話文と要約の例を図 1 に示す. 本研究 では，対話特有の特徴を捉えるため， Gu らの用い た特殊トークンを参考に 3 つの特殊トークン挿入し た. 特殊トークンの名称と挿入箇所の対応を表 1 に 示す. さらに，それら 3 種類の特殊トークンを挿入 した入力例を図 2 に示す。表 1 特殊トークン名と挿入箇所

図 2 前処理前と前処理後の対話例

## 3.2 Turn/Speaker Embedding

本研究では対話要約モデルとして最先端の文書要約モデルである PEGASUS を用いる. PEGASUS は Transformer を基にしたモデルであり，入力に は対話文から得られる Token Embedding と Position Embedding を用いる。それらに加えて， Gu らの BERTへの入力に話者情報を Embedding に加える というアイデアを基に，我々は話者情報を含ん だ追加の Embedding 2 種類提案する. 話者交代情報を示す Turn Embedding と話者識別情報を示 す Speaker Embedding である．ただし， Gu らの提案 した Speaker Embedding と我々が提案する Speaker Embedding は異なる。

Turn Embedding は Gu らの提案した Speaker Embedding と同様の方法で構成されるもので，2つ の Embedding を持ち，話者が入れ替わるごとに Embedding を入れ替える。それに対して，我々の提案する Speaker Embedding は，話者ごとに Embedding を変更する. Speaker Embedding が持つ Embedding の種類は SAMSum に含まれる対話の最大話者数に 対して十分に大きい 15 種類とした. 構造上の欠点 として, Embedding が十分に学習されるかどうかは 学習データに含まれる話者数の分布に依存する. 学習データに $n$ 人の対話が含まれなければ， $n$ 番目の Embedding は学習されないことになる.

本研究では話者交代情報または話者識別情報 を包含した追加の Embedding を提案し，PEGASUS に適応させた時の影響を実験的に分析した. し たがって，モデルの入力に用いる Embedding は

 & $\mathrm{E}_{\mathrm{Tom}}$ & $\mathrm{E}_{[\mathrm{SAYS}]}$ & $\mathrm{E}_{\text {Hello }}$ & $\mathrm{E}_{[\mathrm{EOU}]}$ & $\mathrm{E}_{\text {[EOT] }}$ & $\mathrm{E}_{\text {Ana }}$ & $\mathrm{E}_{[\text {SAYS] }}$ & $\mathrm{E}_{\mathrm{Hi}}$ & $\mathrm{E}_{[\mathrm{EOU}]}$ & $\mathrm{E}_{\text {[EOT] }}$ &  & $\mathrm{E}_{[\mathrm{SAYS}]}$ & $E_{\text {What's }}$ & $\mathrm{E}_{\text {up? }}$ & $\mathrm{E}_{[\mathrm{EOU}]}$ & $\mathrm{E}_{[\mathrm{EOT}]}$ \\

図 3 入力表現のアーキテクチャ

Token Embedding と Position Embedding に加え, Turn Embedding または Speaker Embedding の 3 つの和で ある. 入力表現のアーキテクチャを図 3 に示す.

## 3.3 Position Embedding $の$ 次元方向の情報量

本研究では，モデルに入力する Embedding に追加 の Embedding を用いることで話者情報をモデルに認識させる. 我々は Embedding の効果を最大化するた め, Embedding の次元方向の工夫を行った.

実験に用いる 3 種類の Embedding のうち, 入力 シーケンスの位置情報を表す Position Embedding に は Sinusoidal Positional Embedding[2] を用いる.これ は固定のパラメータを持つ Embedding であり，式 1， 2 によって定義される. ただし, pos はシーケンス 上の位置， $i$ は次元を表す. $\operatorname{dim}$ はモデルに入力する Embedding の次元数を表す.

$
\begin{aligned}
& P E_{(p o s, i)}=\sin \left(p o s / 10000^{2 i / d i m}\right) \\
& P E_{(p o s, i+\operatorname{dim} / 2)}=\cos \left(\operatorname{pos} / 10000^{2 i / d i m}\right)
\end{aligned}
$

縦軸をシーケンスの位置，横軸を次元として，式 1，2 の定義によるパラメータをヒートマップで図 4 に表す. 図 4 から視覚的に色の変化の小さい箇所を 捉えることができる. シーケンス上の位置 (縦軸) の 違いによる值の変化が小さい. すなわち，Position Embedding の一部の次元に含まれる情報量は小さい と言える. さらに，提案手法の Embedding は話者交代情報または話者識別情報をモデルに認識させるも のであり，大きな次元数は必要ないと考えられる.我々は Position Embedding の情報量の小さい部分に 限定して Turn/Speaker Embedding を加算することで，話者情報を効果的に認識させることができると考え る.このように，全体の Embedding の次元数に対し て小さい次元数の Turn/Speaker Embedding を Partial Turn/Speaker Embedding と呼ぶ.

本研究では最大シーケンス長を 512, Embedding

図 4 Sinusoidal Positional Embedding 9 パラメータのヒートマップ

図 5 Partial Turn/Speaker Embedding のアーキテクチャ

の次元数を 1024 としているため，我々は 385～512 次元と 897 1024 次元を Position Embedding の情報量の小さい部分と考え, 合計 256 次元の Turn/Speaker Embedding を構成する. 本研究の設定を例に，Partial Turn/Speaker Embedding のアーキテクチャを図 5 に 示す. 本研究では PEGASUS に図 5 に示した方式で Partial Turn/Speaker Embedding を追加し，その影響を 実験的に分析する。

## 4 実験手法

機械学習フレームワークとしては PyTorch[11] と HuggingFace Transformers[12]を，対話要約タスク のデータセットとして SAMSum[1]を使用した.要約モデルは PEGASUS[5] を用いて学習を行っ た. ベースラインの手法では HuggingFace[12] の 公開するXSum[13]による事前学習済みの重み を初期パラメータとし，SAMSumを用いてファ

図 6 Validation Loss の変遷

インチューニングを行った. 提案手法として 4 種類の実験を行った. ベースラインに対して Turn/Speaker Embedding を用いる場合の 2 手法と Partial Turn/Speaker Embedding を用いる場合の 2 手法 を検証した. Position Embedding よりも Turn/Speaker Embedding の影響を大きくするため，提案手法に用 いる追加の Embedding は 10 倍のスケーリングをし た. 評価指標には ROUGE[14] を用いた. さらに有意性の検証にランダム化 Tukey HSD 検定 [15] を用 いた.

## 5 結果・考察

ベースラインと 4 種類の提案手法に対する Validation Loss の変遷と ROUGE スコアの比較を 行う.

ベースラインと提案手法 4 種類の Validation Loss の変遷を図 6 に示す. Turn/Speaker Embedding を用 いたときにはべースラインが辿り着いたような解 に収束できていないことが見て取れる。しかし， Partial Turn/Speaker Embedding を用いた場合には同程度まで損失を下げつつ，収束性が向上しているこ とがわかる.

ベースラインと提案手法 4 種類のテストデータに おける ROUGE-1 と ROUGE-2 に加えて, ROUGE-L のスコアを表 2 に示す. 全体の Embedding と同様の 次元数を持つ Turn/Speaker Embedding を用いた場合 ではいずれの ROUGE スコアも大幅に下がってし まった. しかし, Partial Turn/Speaker Embedding を用 いた手法では ROUGE スコアの向上が見られた.

さらに ROUGE スコアが向上した Partial Turn/Speaker Embedding を用いた手法に関して， ROUGE-2 のスコアに対してランダム化 Tukey HSD 検定 (サンプルサイズ $n=819$, 試行回数 $B=5000$ ) を行い，それぞれの手法がベースラインと有意表 2 テストデータにおける ROUGE スコア

差を持つか検証を行った. その結果，ベースライ ンと Partial Turn Embedding を用いた手法による生成要約の ROUGE-2 の平均に有意差が認められた ( $p=0.011)$. さらに，ベースラインと Partial Speaker Embedding を用いた手法による生成要約の ROUGE-2 の平均にも有意差が認められた $(p=0.0046)$.

## 6 結論・今後の課題

本研究では対話要約において話者交代情報また は話者識別情報を含んだ Embedding を追加するこ とによる効果を実験的に分析した. Embedding の 次元を一部に限定して加算する Partial Turn/Speaker Embeddingを用いることでモデルの収束性が向上し，すべての ROUGE スコアの向上も確認さ れた. さらに, ベースラインと Partial Turn/Speaker Embedding を用いた手法の結果には，ランダム化 Tukey HSD 検定により ROUGE-2 において有意差が 認められた。

今後の課題としては生成要約の人手評価や自動質問生成・自動質問応答システムを応用した QAGS[16] による評価を実施し，意味上の性能の違 いを分析していきたい．また，追加の Embedding の 初期化手法，スケーリングの設定をより細かく分析 し，最良のパラメータを探索していきたい。さら に，話者情報を Embedding に包含させる手法は要約 タスクに限らず，対話をドメインとするあらゆる夕 スクに応用できると考えられる。対話ドメインに限 らず，ドメイン特有の情報を追加の Embedding の形式で与えることが可能かもしれない。同様の手法を 対話ドメインの別のタスクや特殊なドメインのタス クに応用した場合の効果の分析もしていきたい.

## 参考文献

[1] Bogdan Gliwa, Iwona Mochol, Maciej Biesek, and Aleksander Wawer. SAMSum corpus: A human-annotated dialogue dataset for abstractive summarization. In Proceedings of the 2nd Workshop on New Frontiers in Summarization, 2019.

[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin.

Attention is all you need. In Advances in Neural Information Processing Systems, 2017.

[3] Abigail See, Peter J. Liu, and Christopher D. Manning. Get to the point: Summarization with pointer-generator networks. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2017.

[4] Yang Liu and Mirella Lapata. Text summarization with pretrained encoders. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), 2019.

[5] Jingqing Zhang, Yao Zhao, Mohammad Saleh, and Peter Liu. PEGASUS: Pre-training with extracted gap-sentences for abstractive summarization. In Proceedings of the 37th International Conference on Machine Learning, 2020.

[6] C. Goo and Y. Chen. Abstractive dialogue summarization with sentence-gated modeling optimized by dialogue acts. In 2018 IEEE Spoken Language Technology Workshop (SLT), 2018.

[7] Jean Carletta, Simone Ashby, Sebastien Bourban, Mike Flynn, Mael Guillemot, Thomas Hain, Jaroslav Kadlec, Vasilis Karaiskos, Wessel Kraaij, Melissa Kronenthal, Guillaume Lathoud, Mike Lincoln, Agnes Lisowska, Iain McCowan, Wilfried Post, Dennis Reidsma, and Pierre Wellner. The ami meeting corpus: A preannouncement. In Proceedings of the Second International Conference on Machine Learning for Multimodal Interaction, 2005.

[8] Lin Yuan and Zhou Yu. Abstractive dialog summarization with semantic scaffolds, 2020. https: //openreview. net/forum?id= B1eibJrtwr.

[9] Paweł Budzianowski, Tsung-Hsien Wen, Bo-Hsiang Tseng, Iñigo Casanueva, Stefan Ultes, Osman Ramadan, and Milica Gašić. MultiWOZ - a large-scale multi-domain Wizard-of-Oz dataset for taskoriented dialogue modelling. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, 2018.

[10] Jia-Chen Gu, Tianda Li, Quan Liu, Zhen-Hua Ling, Zhiming Su, Si Wei, and Xiaodan Zhu. Speaker-aware bert for multi-turn response selection in retrieval-based chatbots. In Proceedings of the 29th ACM International Conference on Information and Knowledge Management, 2020.

[11] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison, Andreas Kopf, Edward Yang, Zachary DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai, and Soumith Chintala. Pytorch: An imperative style, high-performance deep learning library. In Advances in Neural Information Processing Systems, 2019.

[12] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, 2020.

[13] Shashi Narayan, Shay B. Cohen, and Mirella Lapata. Don't give me the details, just the summary! topic-aware convolutional neural networks for extreme summarization. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, 2018.

[14] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, 2004.

[15] Benjamin Carterette. Multiple testing in statistical analysis of systems-based information retrieval experiments. ACM Transactions on Information Systems - TOIS, Vol. 30, No. 1, pp. 1-34,
2012.

[16] Alex Wang, Kyunghyun Cho, and Mike Lewis. Asking and answering questions to evaluate the factual consistency of summaries. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020.


# 過去情報の内容選択を取り入れた スポーツダイジェストの自動生成

加藤舜介
東京工業大学 情報理工学院
kato.s.aw@m.titech.ac.jp

## 1 はじめに

スポーツダイジェストは，スポーツの試合が行わ れた後に，記者によって書かれる試合の総評であ る. スポーツダイジェストには，試合に出場した チーム・選手の活躍や直近の調子の良し悪し，試合 の勝敗結果によるシーズン成績の変動などの記述 が含まれており，実際に試合を見ることができなく ても，それを読むと試合の結果や展開がわかるよう に書かれている。またスポーツの試合には，様々な チームや選手のプレイデータが記録される. プレイ データに含まれる内容は，例えばサッカーやバス ケットボールでは得点数やアシスト数，野球では安打数や投球数などが挙げられる. 本研究は，このよ うなプレイデータからスポーツダイジェストを自動 で生成することを目的とする.

既存のダイジェスト生成モデルでは，入力データ の内容選択を行う層を組み込んでいるが，そのほと んどが当日の試合情報のみから内容選択をおこなう ため，連勝や連敗，直近の試合の平均記録などの過去の記録を踏まえた出力ができない，そこで本研究 は，過去の試合情報も含めて内容選択をおこなうこ とにより，チームや選手の過去の記録を踏まえたダ イジェストが生成可能なモデルを提案する。また，内容選択と文章生成を別々に学習することによって 内容選択をより重視したモデルの学習方法を提案 する。

本研究の貢献は以下の 2 点である.
- 内容選択層を取り入れた Transformer ベースの 既存モデルに対し, 損失関数の重みづけや学習済みエンコーダのファインチューニングによる デコーダの学習をおこなうことで，既存のモデ ルより精度が向上することを確認した。

・過去情報を含むデータセットを作成し，既存の モデルに過去情報の内容選択層を取り入れたモ

\author{
徳永 健伸 \\ 東京工業大学 情報理工学院 \\ take@c.titech.ac.jp
}

表 1 ダイジェストを構成する文の種類

デルを学習することで，過去情報も含めたダイ ジェストを生成できることを確認した。

## 2 関連研究

Wiseman らは，Data-to-Text タスクのためのデータ として ROTOWIRE を作成した [1]. このデータセッ トは，NBA の試合におけるチーム・選手のプレイ データと，記者によって書かれたダイジェストの組 が集められたものであり，近年のスポーツダイジェ ストにおける Data-to-Text の研究で広く使われてい る.また，Data-to-Text タスクのための自動評価指標 も提案している. ROTOWIRE を用いた研究として， Puduppully らは，入力データの内容選択をおこない， どのデータをどの順序で出力するかの計画を学習 するエンコーダ・デコーダモデルを提案した [2]. Iso らは，重要な入力データを選択・追跡して文章生成に用いるという，人間のダイジェストを書く 過程を模倣したモデルを提案した [3]. Gong らは， Transformer モデルのエンコーダに入力データの内容選択をおこなう層を追加したモデルを提案した [4].

ROTOWIRE からランダムに 100 試合分のダイ ジェストを抽出し，それらを構成する文の種類を調 べたところ，表 1 のようになった. 過去情報が必要 な文には，直近の選手の平均得点の記録や，チーム の連勝記録が記述されている文などがある．既存の モデルは，入力に過去情報を用いないため，全体の $12.5 \%$ の文を生成できない. 本研究は，入力にチー ムの過去情報を加えることで，チームの直近の勝敗記録に関する出力ができるモデルを目指す.

図 1 Gong らのモデル [4]

## 3 提案手法

## 3.1 先行研究モデルの学習方法の変更

Gong らは, 従来の Transformer モデル [5] に入力データの内容選択をおこなう層 (CS Layer) を 追加したモデルを提案した (図1). ただし，入力 $r_{1}, r_{2}, \ldots, r_{n}$ はトークン列に変換されたプレイデー タである. これらの入力はエンコーダでプレイデー タベクトルに変換される. プレイデータベクトル は，デコーダの入力として使われることに加え，内容選択層の入力としても使われる. 内容選択層で は，あるプレイデータをダイジェストに出力するか しないかの 2 值分類をおこなう. これにより，モデ ルは入力に含まれる複数のプレイデータの中から 重要なデータを選択し, ダイジェストに出力する. このモデルのパラメタ $\theta_{m}$ は式 (1) のように定義さ れる。

$
\theta_{m}=\arg \min \left(L_{c s}+L_{s g}\right)
$

ただし, $L_{c s}$ は内容選択の損失関数, $L_{s g}$ は文章生成 の損失関数である. 本研究は，この損失関数に変更 を加えた次の 2 つの学習方法を提案する。

-WT モデル：内容選択・文章生成の損失関数に 重みづけをおこなう。

$
\theta_{m}=\arg \min \left((1-w) * L_{c s}+w * L_{s g}\right)
$

ただし $w$ はハイパーパラメタである.これによ り，内容選択をどの程度重視するかによる，モ デルの出力への影響を調べることができる.

・FT モデル：内容選択層の学習を事前におこなっ たエンコーダを用いて，ファインチューニング によるデコーダの学習をおこなう.

$
\begin{aligned}
& \theta_{e}=\arg \min \left(L_{c s}\right) \\
& \theta_{m}=\arg \min \left((1-w) * L_{c s}+w * L_{s g}\right)
\end{aligned}
$

図 2 提案モデル

ただし $w$ はハイパーパラメタ， $\theta_{e}$ はエンコー ダのパラメタである. 内容選択の損失関数 $L_{c s}$ を最小化する $\theta_{e}$ を初期値として(式 (3)), 重み づけした損失関数 $(1-w) * L_{c s}+w * L_{s g}$ を最小化する $\theta_{m}$ を学習する (式 (4)). これにより，エ ンコーダを独立して学習することで，内容選択 が正確に学習されることが期待できる.

## 3.2 過去情報内容選択層の追加

Gong らのモデルは, 入力に試合当日のプレイデー タしか用いないため，過去のプレイデータを踏まえ たダイジェストの出力ができない. 本研究は, 入力 にチームの過去の勝敗記録を加えることで，チーム の連勝や連敗，直近の勝敗記録などの出力ができる モデルを提案する.

-PAST-int モデル：1つの内容選択層で当日・過去の入力データから同時に内容選択をおこ なう. 式 (2)を用いたモデル (PAST-int-WT) と 式 (3), 式 (4)を用いたモデル (PAST-int-FT) を学習する.

-PAST-sep モデル：過去情報内容選択層 (Past CS Layer) を追加し，当日情報を CS Layer，過去情報を Past CS Layer で内容選択をおこなう (図 2). ただし $p_{1}, \ldots, p_{n}^{\prime}$ は過去情報の入力である. パ ラメタの学習は式 (5), 式 (6), 式 (7)+ (8)の3つ を考える。

$
\begin{aligned}
\theta_{m}= & \arg \min \left(( 1 - w ) * \left(\left(1-w_{p}\right) * L_{c s n}\right.\right. \\
& \left.\left.+w_{p} * L_{c s p}\right)+w * L_{s g}\right) \\
\theta_{m}= & \arg \min \left((1-w) * L_{c s}+w * L_{s g}\right) \\
\theta_{e}= & \arg \min \left(L_{c s}\right) \\
\theta_{m}= & \arg \min \left((1-w) * L_{c s}+w * L_{s g}\right)
\end{aligned}
$

ただし $w, w_{p}$ はハイパーパラメタ， $\theta_{m}$ はモデル
全体のパラメタ， $\theta_{e}$ はエンコーダのパラメタで あり, $L_{c s n}$ は図 2 における CS Layer の損失関数, $L_{c s p}$ は Past CS Layer の損失関数, $L_{c s}$ は CS Layer と Past CS Layer の損失を連結した損失関数であ る. 式 (5) は CS Layer, Past CS Layer の内容選択の重みづけをおこなうモデル (PAST-sep-WT) である. 式 (6) は CS Layer と PAST CS Layer の 損失を連結したモデル (PAST-sep-CONCAT) で あり，PAST-sep-WTにおける重みを自動で学習 することが期待できる. 式 (7)+ (8) はファイン チューニングモデル (PAST-sep-FT) であり，考 え方はFTと同じである.

## 4 評価実験

## 4.1 データセット

評価実験には Wiseman らの ROTOWIRE [1] を使用 した.このデータセットの学習・検証・テストデー 夕数は，それぞれ $3,398 ， 727 ， 728$ である. 入力の プレイデータに対する内容選択のラベルは Gong ら と同じものを使用した.

元の ROTOWIRE はデータセットが時系列で分割されておらず，また同じプレイデータに対し て2つのダイジェストが割り当てられている場合がある. そこで過去情報を用いたモデルには， ROTOWIRE から重複しているデータを削除し，全 データを時系列でソートして再分割したデータセッ ト (ROTOWIRE-re)を使用した. これにより学習・検証・テストデータ数はそれぞれ $3,205 ， 309 ， 308$ と なった. 入力には試合当日のプレイデータに加え,直近 5 試合分のチームの勝敗記録を過去情報として 使用した. 過去情報に対する内容選択のラベルづけ は，100 試合分のダイジェストを調べたことにより 作成した以下のルールでおこなった.
- 直近で 3 連勝 (3 連敗) 以上していた場合，それ らの勝敗記録を選択する。

例 : 過去 5 試合の結果が勝・勝・勝・負・負の 場合，勝を選択し，負を選択しない。
- 直近 5 試合中 4 試合以上勝ち (負け)の場合，そ れらの勝敗記録を選択する。

例：過去 5 試合の結果が負・負・勝・負・負の 場合，負を選択し，勝を選択しない。

## 4.2 評価指標

モデルの評価には，出力文の評価をおこなう BLEU [6] に加え, Wiseman らの提案した 3 つの評価指標を用いた. この指標は, 出力文が入力データの 内容を正しく反映できているかを評価する。
- Relation Generation (RG): 出力文から (entity, value) の関係を抽出し，抽出された関係の数と，それ らの関係が入力データに対して正しいかどうか を評価する (Precision). ただし entity はチーム 名や選手名などの動作の主体, value は得点数 やアシスト数などの記録である.
- Content Selection (CS) : 出力文とリファレンスか ら (entity, value) の関係を抽出し, 出力文から抽出された関係のリファレンスから抽出された関係に対する Precision，Recall で評価する。
- Content Ordering (CO) : 出力文とリファレンス から (entity, value) の関係を抽出し，それらの 間の正規化 Damerau-Levenshtein 距離 [7] で評価 する。

これらの指標は当日情報に関する評価をおこなう ため，過去情報に関する評価はできない. そこで過去情報を用いたモデルについては，自動評価に加え て以下の手順で人手評価をおこなった.

1. 学習データからランダムに 100 試合分のダイ ジェストを抽出し，過去情報を含む文集合 $P^{+}$ と含まない文集合 $P^{-}$に分ける.
2. $P^{+}$または $P^{-}$に含まれる単語 $v$ に対してスコア $p(v)$ を以下の式で与える.

$
p(v)=\frac{C^{+}(v)}{\left|P^{+}\right|}-\frac{C^{-}(v)}{\left|P^{-}\right|}
$

ここで $, C^{+}(v), C^{-}(v)$ はそれぞれ $P^{+}, P^{-}$中の $v$ の頻度を表わす。

3. 各モデルの出力について出力中単語のスコア $p(\cdot)$ の総和を計算し, スコアが上位 30 件の出力 について過去情報に言及している部分が正しい かどうかを人手で確認し, 正解率を計算する。

## 4.3 モデルの詳細

全てのモデルは Gong らと同じパラメ夕数を持つ Transformer ベースのモデルである. WT，FT の損失関数のハイパーパラメタは $w=0.25,0.5,0.75$ とし, PAST-int, PAST-sep の損失関数のハイパーパラメタ は $w=0.25, w_{p}=0.25,0.5,0.75$ とした. 各モデルは
表 2 学習方法を変更したモデルの自動評価

表 3 既存モデルと FT の内容選択層の評価

 & & \\
 & $\mathbf{1 . 4 8}$ & 2.00 \\
 & 3.61 & $\mathbf{2 . 9 4}$ \\

10 回学習をおこない，その平均スコアを計算した.

## 4.4 実験結果

表 2 に WT と FT の結果を示す. WT において $w=0.5$ としたものが Gong らのモデルに相当する が， $w=0.25$ とすると若干の性能向上が見られる. これらの中では $\mathrm{FT}(w=0.5)$ のスコアが一番高い.

Gong らのモデルと $\mathrm{FT}(w=0.5)$ における内容選択層の評価結果を表 3 に示す. FT の内容選択層の Recall が高く，選択したプレイデータを出力した数 も Gong らのモデルに比べて多い. FTの方が内容選択層で多くのプレイデータを選択したことで，入力 にないプレイデータを出力することが少なくなり， スコアが高くなったと考えられる。

表 4 に過去情報を追加したモデルの実験結果 を示す。比較のために，過去情報を追加していな い ROTOWIRE-re で学習した Gong らのモデルの結

表 4 過去情報を追加したモデルの自動評価

表 5 過去情報を含む文の数と情報の正しさ

表 6 過去情報を含む文数の比較

果も示している. 当日情報に関する自動評価で は Gong らのモデルのスコアが高い一方，BLEU は PAST-int-FT のスコアが一番高い結果となった.表 5 に過去情報を追加したモデルにおける，過去情報に関する人手評価の結果を示す. Gong らのモ デルは過去情報を入力していないため，過去情報 への言及をランダムに出力していることになる. PAST-sep-CONCAT, PAST-sep-FT が他のモデルと比較すると正しい過去情報を出力している数と正解率 が高い結果となった。

表 6 に，過去情報の出力の正解率が一番高かった PAST-sep-FT の出力を 30 試合抽出し, 過去に言及し ている割合についてリファレンスと比較したとき の結果を示す.この表を見ると, PAST-sep-FT はリ ファレンスに比べて過去に言及している割合が高 く，リファレンスにはない過去情報を出力している ことがわかる.

## 5 おわりに

本研究ではスポーツダイジェストの自動生成につ いて，既存モデルの学習方法の変更による精度改善 と，過去情報を含めたダイジェストが生成可能なモ デルを提案した. 既存モデルの損失関数の重みづけ やファインチューニングをおこなうことで精度が向上することと，過去情報内容選択層を追加すること で正しい過去情報に言及するようになることを示 した.

## 参考文献

[1] Sam Wiseman, Stuart M. Shieber, and Alexander M. Rush. Challenges in data-to-document generation. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2253-2263, 2017.

[2] Ratish Puduppully, Li Dong, and Mirella Lapata. Datato-text generation with content selection and planning. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, pp. 6908-6915, 2019.

[3] Hayate Iso, Yui Uehara, Tatsuya Ishigaki, Hiroshi Noji, Eiji Aramaki, Ichiro Kobayashi, Yusuke Miyao, Naoaki Okazaki, and Hiroya Takamura. Learning to select, track, and generate for data-to-text. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2102-2113, 2019.

[4] Li Gong, Josep Crego, and Jean Senellart. Enhanced transformer model for data-to-text generation. In Proceedings of the 3rd Workshop on Neural Generation and Translation (WNGT 2019), pp. 148-156, 2019.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In 31st Conference on Neural Information Processing Systems (NIPS 2017), 2017.

[6] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 311-318, 2002.

[7] Eric Brill and Robert C. Moore. An improved error model for noisy channel spelling correction. In Proceedings of the 38th Annual Meeting on Association for Computational Linguistics, pp. 286-293, 2000.


# プロンプトに基づく俳句生成モデルの生成内容評価

佐藤 汰亮 ${ }^{1}$ 菊地 正弥 ${ }^{1}$ 大竹 孝樹 1 今野 颯人 1 Ana Brassard ${ }^{2,1}$
大内 啓樹 2 乾 健太郎 ${ }^{1,2}$
1 東北大学 2 理化学研究所
\{tasuku.sato.p6, seiya.kikuchi.t3\}@dc.tohoku.ac.jp
\{takaki, ryuto, inui\}@ecei.tohoku.ac.jp
\{ana.brassard, hiroki.ouchi\}@riken.jp

## 1 はじめに

翻訳や対話応答生成などの文生成タスクは, sequence-to-sequence framework [1] (seq2seq) などの ニューラルネットワークによって大きな進歩を遂げ た.これらのタスクで生成される文（翻訳文，対話応答文など）は，入力する言語や内容に依存するも のの，韻律や文字数といった言語の形式は比較的自由である。一方で，定型詩や歌詞は事前に決められ た文字数や韻律などの制約に従って作成されるとい う特徵をもつ。そのため，これらのテキストの自動生成においては，モデルは事前に決められた制約を 満たすような文を生成する必要がある $[2,3]$.

本研究では，こういった制約のあるテキスト生成のタスクとして，俳句の自動生成に取り組む. 俳句とは, 上の句, 中の句, 下の句で構成された, 定型詩の 1 つである. 俳句は以下の 3 つの表層的な制約を満たしている必要がある.
- 5 拍， 7 拍， 5 拍の合計 17 拍で構成されている

・1つの季語が含まれている

・切れ字が含まれている1)

制約のあるテキスト生成として俳句を選んだ理由 は，その評価のしやすさにある。俳句は現在でも多 くの人に親しまれている詩形式の 1 つであり， 1 つ の句の長さが短く, 切れ字や季語は判別が容易であ るといった，生成結果の評価に際して都合のよい性質を持っている. 我々は，表層的な制約を満たし つつ，句全体の意味が理解できる俳句の生成を目指す.

俳句の自動生成に関する既存の取り組みで は $[4,5,6]$, 生成された俳句が表層的な制約を満たし ているかについて評価が行われてきた。しかしなが

ら，生成された俳句が表層的な制約を満たしつつ，意味の理解できるものであるかについては十分に検討されていない．俳句のように表層的な制約を持つ 詩の生成は，表層的な制約を満たすことに加え，意味を理解できる事が重要である [3]. 例えば，「春の 夜 朝日輝く通りけり」という俳句は，上述の表層的な制約をすべて満たしているが，「夜に朝日が輝 く」という意味の解釈が難しく，1つのまとまりの ある句として理解・解釈ができないため，良い俳句 とは言えない.

本研究では，俳句を自動生成するモデルを構築 し，モデルによって生成された俳句が，表層的な制約を満たしつつ句全体の意味が理解できるものと なっているかを調査する。また，生成された俳句の 内容に踏み込んだ考察をすることで，俳句生成への 理解を深める。

## 2 関連研究

これまで，ルールベースやニューラルネットワー クによって俳句を自動生成する研究がいくつか行わ れてきた.ルールベースによる俳句生成として土佐 ら [4]が挙げられる。土佐らは，データベースを活用し，ルールによって俳句を生成するモデルを構築 した.

ニューラルネットワークを用いた俳句生成には，太田ら [5] や米田ら [6] の研究がある。 太田ら [5] は, キーワードを入力として俳句を生成する seq 2 seq モ デルを提案した. 太田らは, 学習時に拍数や季節の 素性を明示的に組み込む事で，俳句の表層的な制約 を満たす俳句が生成されることを実現している。一方，米田ら [6] が行った俳句生成では，文生成モデ ルによって俳句を生成し，モチーフ画像に適合した 俳句を選択することで画像と俳句を結びつけた. 米田らは，「生成した俳句がどの程度訓練データと類
表 13 つのプロンプトの具体例

似しているか」という観点から，モデルの生成した 俳句が表層的な制約を満たしているかの検証を行っ ている。

我々は，モデルによって生成された俳句につい て, 表層的な制約を満たしているかという観点に加 えて, 句全体の意味が理解できるかという観点につ いても定量的に評価を行う.

## 3 入出力設定

本研究では，生成タスクで一般的に用いられてい る seq2seqを用いて俳句生成を行う. 我々は，モデ ルによって生成される俳句をある程度制御するた め，エンコーダーに俳句の元となるテキストを与 え，与えたテキストを元にデコーダーによって俳句 を自動生成する方法をとる。この方法には具体的 に，(1)キーワードを入力として与え，キーワードを 含んだ俳句を作成する方法と，(2) 上の句を入力と して与え，それに続く中の句，下の句を作成する方法の 2 通りがあると考えられる。これらを踏まえ，俳句生成モデルの入出力として 3 つのプロンプトを 定義した.
- 入力 : 俳句文頭の $N$ 文字，出力：続きの俳句
- 入力 : キーワード $M$ 個, 出力: キーワードを 盛り込んだ俳句
- 入力 : 文頭の $\mathrm{N}$ 文字とキーワード $M$ 個, 出力：キーワードを盛り込んだ続きの俳句本稿で使用した学習データには, 俳句の区切れ（上・中・下）の情報は含まれていないため，厳密に上の 句を切り出すことができない. そこで，文頭の $N$ 文字を上の句と仮定してモデルの入力とする. モデル の入力は, 「キーワード」,「先頭 $N$ 文字」の順に, こ れらを [SEP] トークンで連結した文字列とする。具体例を表 1 亿示す.

## 4 実験設定

## 4.1 データセット

訓練及び評価に使用するデータとして，プロの詩人の作品や，コンテストにおける受賞作など，一定表 2 俳句生成モデルの構成

の評価を得た俳句を集約した web データベースか らデータをクローリングし，俳句データセットを作成した. 参照した webデータベースは以下の 4 つ である. (1)一茶の俳句データベース (一茶俳句全集 V1.30) ${ }^{2}$ ，(2) 松山市立子規念博物館正岡子規俳句 $^{3)}$ ，(3) 俳句例句データベース4)，(4) 現代俳句デー タベース5).

3 節で説明した入出力のデータを作成するため に，収集した俳句に対し，キーワードと文頭 $N$ 文字 を抽出する前処理を行った. 俳句の文頭 $N$ 文字は,人間が作成した 100 句の上の句の文字数をカウント して得られた離散分布に基づいてサンプリングし た. サイトから俳句をスクレイピングした際に季語 を取得できた俳句に関しては，季語をキーワードと して使用した。また，俳句を Mecab[7] で単語分割 し, 名詞と判定された単語もキーワードとして使用 した. ただし, 平仮名のみで構成された単語は除外 した. $M$ は $1 \leq M \leq 3$ の整数值とした. トークナイ ズは文字分割を採用した。

以上の前処理を行い，最終的なデータセットの 規模は，訓練データが約 386 万インスタンス，開発 データが約 15 万インスタンスとなった.

## 4.2 モデル

俳句生成を行う seq2seq モデルのアーキテクチャ は米田ら [6] と同様にLSTMを採用した. 実装は fairseq[8]を使用した. モデルの更新回数は開発デー タを用いて決定した. モデルの詳細は表 2 に示す. seq2seq モデルは, 同じ語句を繰り返し生成して

表 3 生成俳句と重複度スコア

しまうことがある [10]. このような繰り返し生成を フィルタリングするため，生成された俳句における 単語分割での異なり語彙率と，文字分割での異なり 語彙率の平均值を重複度スコア $S_{d u p l} \in[0,1]$ とし て定義した。ここで，異なり語彙率とは，異なり語数を総語数で割ったものである。重複度スコアは，同じ語句の繰り返しが多いほど低下する. 生成され た俳句と重複度スコアの具体例を表 3 亿示す. 開発 データを用いて生成された俳句を元に閾値を 0.7 に 設定し，重複度スコアが閾値を下回った俳句は出力候補から除外した。

ビーム幅 10 のビームサーチによって生成された 俳句のうち，重複度スコアが閾値を上回った俳句か らランダムに 1 つ選び，モデルの出力とした. ここ で重複度スコアが最も高い俳句ではなく，ランダム に俳句を選択している理由は，重複度スコアが同じ 語句の繰り返し生成を抑制するために導入したス コアであり，俳句の内容の質を反映したスコアでは ないためである. 条件を満たす俳句が存在しない場合，重複度スコアが最も高い俳句を出力した.

3 節で述べたように，モデルの入力としてキー ワードが与えられる場合がある。このような入力に 対しては，入力されたキーワードを盛り込んだ俳句 を出力することが望まれるため，指定したキーワー ドが出力結果に含まれているかを検証した. 開発 データのうち，キーワードを入力として与えている データを用いて俳句を生成したところ，97\% の俳句 で指定した全てのキーワードが含まれていることを 確認した。

## 4.3 評価方法

1 句につき 3 人のアノテーターが評価を行う. 各質問には回答の選択肢が 2 つ用意されており，3 人のうち 2 人が選択した選択肢をその俳句の評価 として採用する. また，各質問において，3人のア ノテーター間の一致率を fleiss kappa を用いて計算 する.表 4 表層的な制約の評価

人手評価は俳句の表層的な制約と俳句の内容，2 つの観点に対して行う．表層的な制約に関しては，以下の 3 点を評価する.

・5，7，5 の 17 音の制約を満たしているか

・季語を含んでいるか

・切れ字を含んでいるか

内容に関しては，以下の 2 点を評価する。

・モデルの生成した俳句が意味を理解・解釈でき る俳句となっているか

・(アノテーターが) 人が作成した俳句とモデル の生成結果，どちらの俳句を好むか

内容に関する 2 点目の評価項目については，(A)人 が作成した俳句，(B) (A) の俳句から抽出したキー ワードと先頭 $N$ 文字を入力としてモデルが生成し た俳句，の2つを提示することで評価を行った. 評価時にはどちらがモデルの生成かは分からない状態にした。また，俳句の良し悪しを客観的に判断す ることは難しいため，「どちらの俳句が良い俳句か」 ではなく「どちらの俳句が好きか」という質問を採用した.

人手評価用データは，開発データを元に生成した 俳句からランダムに 50 句サンプリングすることで 作成した。

## 5 評価

## 5.1 表層的な制約の評価

表 4 に結果を示す. 拍数の制約は $82 \%$ の割合で 満たしており，アノテーター間での一致率は 0.639 だった. この評価では「5/7/5を満たしているか」と いう問い方をしたため，字余り，字足らずの俳句に おいてアノテーター間の不一致が見られた。この様 な字足らず，字余りを許容すると，拍数の制約を満 たしている俳句の割合はより大きくなると考えら れる。

季語は $96 \%$ の割合で含まれており，季語を含めな ければいけないという制約を学習できていることが わかった。
表 5 内容の評価

 \\

切れ字を含む確率は $32 \%$ \%゙った．切れ字を含む ことを俳句の制約と考えるか否かは諸説あり，切れ 字を含まない俳句も数多く存在する．実際，本研究 で使用した訓練データ中にも切れ字を含まない俳句が見受けられる.ここから，切れ字のように，訓練データ中の俳句が必ず満たしているわけではな い制約は，暗黙的に学習することが難しいと考えら れる。

## 5.2 内容の評価

表 5 に結果を示す. fleiss kappa の値から，2つの 質問はアノテーター間でも判断が分かれる観点で あったと考えられる. 人の作成した俳句よりもモデ ルが生成した俳句が好きだと回答した人は $42 \%$ で あった。また，意味を理解・解釈できる俳句は $74 \%$ であった. 理解，解釈できないと判断された生成俳句を確認すると, 同じ単語が繰り返し出現している ものが散見された. ここから，人が理解・解釈でき る俳句を生成するためには, 同じ単語の繰り返し生成を抑制するための工夫を行うべきであると考えら れる。

## 6 生成例・考察

表 6 に，俳句生成モデルが実際に生成した俳句を 示す. 俳句に求められる表層的な制約を満たしつ つ，内容を理解・解釈できる俳句が生成されている ことがわかる.

表 7 に，俳句の表層的な制約は満たしているもの の，その内容の理解が難しい例を示す.

1 行目は, 同じ単語を繰り返し生成してしまって いる例である.このような生成は seq 2 seq によくみ られる現象である。

2 行目は，常識を欠いた表現を生成している例で ある．常識を考えると，「膝に手をさしいれる」と表 7 内容の理解・解釈が難しい生成例入力

いう表現には違和感がある。しかし，「手をさしい れる」が「風邪によって関節のリンパ節が痛くな る」ことを表現していると考えると，風邪が自分の 体を蝕んでいる様子を巧みに表現した俳句と見なす こともできる. 俳句は書き手の表現力が要求される と同時に，読み手の想像力によっても作品の価値が 高まる。よって，俳句生成時に常識を考慮していな いことが俳句の質の悪化につながっているとは一概 に言い切れない.

3 行目は単語の意味を理解できずに生成している 例である。これは，「スマホ」のように，学習データ に含まれていない単語は，正しく生成結果に盛り込 めないことや，俳句を文字分割して学習させている ため，単語レベルの情報をモデルに組み込むことが できていないことが原因と考えられる.

## 7 おわりに

本論文では，制約のあるテキスト生成として俳句生成に取り組んだ. プロンプトに基づく俳句生成モ デルを構築し，その生成結果を表層的な制約，内容 の 2 観点から人手評価した. とくに，「表層的な制約を満たす一方で，まとまりのある句として内容 が理解できる俳句か？」という点に注目し，大部分 の生成結果が表層的な制約を満たしている一方で， $74 \%$ がその内容も理解・解釈できるものとなってい ることを明らかにした。

今後の研究としては, 繰り返し生成への対処，創作支援システムへの応用などが考えられる. 特に,創作支援システムとして応用するために，入力形式 の充実化に取り組みたい. また，俳句生成モデルが 実際に創作支援ツールとして有効なのかを検証する ための人手評価を行いたい.

謝辞本研究は JSPS 科研費 JP19H04425 の助成を 受けたものである.

## 参考文献

[1]Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequence learning with neural networks. In Zoubin Ghahramani, Max Welling, Corinna Cortes, Neil D. Lawrence, and Kilian Q. Weinberger, editors, NeurIPS, pp. 3104-3112, 2014.

[2]Xingxing Zhang and Mirella Lapata. Chinese poetry generation with recurrent neural networks. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 670-680, Doha, Qatar, October 2014. Association for Computational Linguistics.

[3]Piji Li, Haisong Zhang, Xiaojiang Liu, and Shuming Shi. Rigid formats controlled text generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 742-751, Online, July 2020. Association for Computational Linguistics.

[4]Naoko Tosa, Hideto Obara, and Michihiko Minoh. Hitch haiku: An interactive supporting system for composing haiku poem. In Scott M. Stevens and Shirley J. Saldamarco, editors, Entertainment Computing - ICEC 2008, pp. 209-216, Berlin, Heidelberg, 2009. Springer Berlin Heidelberg.

[5]瑶子太田, 裕之進藤, 裕治松本. 深層学習を用いた俳句 の自動生成. Technical Report 1, 奈良先端科学技術大学院大学, 奈良先端科学技術大学院大学, 奈良先端科学技術大学院大学, may 2018.

[6]Koki YONEDA, Soichiro YOKOYAMA, Tomohisa YAMASHITA, and Hidenori KAWAMURA. Development of automatic haiku generator using lstm. Proceedings of the Annual Conference of JSAI, Vol. 2018, pp. 1B2OS11b011B2OS11b01, 2018

[7]Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to japanese morphological analysis. In $E M N L P$, pp. 230-237, 2004.

[8]Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In NAACL, pp. 48-53, 2019.

[9]Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, ICLR, 2015.

[10]Ari Holtzman, Jan Buys, Maxwell Forbes, and Yejin Choi. The curious case of neural text degeneration. CoRR, Vol. abs/1904.09751, , 2019.