# 事前学習モデルを用いた少量データに対する日本語抽象型要約

勝又智
株式会社レトリバ
satoru.katsumata@retrieva.jp

## 1 はじめに

近年，自動要約の技術として，Encoder-Decoder を用いた抽象型要約が盛んに研究されている $[1,2,3,4,5,6,7]$. この Encoder-Decoder モデルを用 いた抽象型要約の特徴として，学習に大量のデータ が必要となることが知られている.

事前学習モデルを使用することで，少量の要約 データでも高い精度が得られることがいくつか の研究で報告されている. 例えば Dong ら [8] は， Gigaword [1] と呼ばれる英語要約データセットの学習データ $10 \mathrm{~K}$ 使用した場合，事前学習を行わない モデルでは ROUGE-L が 10.42 ポイントのところを，事前学習したモデルを用いることで 30.56 ポイント となることを示した。しかしながら，日本語の抽象型要約については事前学習モデルの有効性は調べら れていない. そこで本研究は，日本語抽象型要約夕 スクについて，事前学習モデルを用いることで．学習データが大量に必要となる問題の緩和につながる か調査を行った. 具体的には, UniLM [8], JASS [9], multilingual T5 [10] と呼ばれる，3つの事前学習モデ ルを用いて調査を行い，モデル毎の比較を行った.

日本語要約研究では，新聞に関する要約データ， Webニュースに関する要約データが使用されている $[11,2,3]$. しかしながら，実世界ではニュース記事以外の分野についても要約を行いたいという需要が 存在する. そこで本研究は, wikiHow ${ }^{1)}$ という様々 な分野に関するハウツーが記載された Web サイト から要約データを作成し，ニュース記事以外に対す る抽象型要約についても調査した。

少量データに対する事前学習モデルを用いた抽象型要約実験として, 本研究では Livedoor News と wikiHow データに対して抽象型要約を行っている.特に, Livedoor News については学習データとして $10 \mathrm{~K}$ 使用した場合と $1 \mathrm{~K}$ 使用した場合を比較し，事前学習モデルの少量データに対する精度を調査し

1) https://www.wikihow.jp
た. 実験結果から，数千件の学習データを用いた日本語抽象型要約において，事前学習モデルは有効で あることがわかった. また，データセットによって 事前学習モデルの振る舞いが変わる場合が存在する ことがわかった.

本研究の貢献は以下の 2 つである.

1. 様々な事前学習モデルを用いて，学習データが 少量の際の日本語抽象型要約を実験，分析し，事前学習モデルの有効性を確認した。

2. wikiHowを用いて日本語要約データセットを 作成，公開 2$)$ した.このデータセットは既存の ニュース要約データセットと比べて抽象度が高 いことを確認した.

## 2 関連研究

現在，日本語の要約研究は様々な問題設定で行 われている。具体的には，新聞記事に対して，適切 な長さの見出しを生成するといった設定 [2], Web ニュース記事に対して，3 行の要約を生成する設定 [11]，議会の議事録から対話構造を考慮した要約を 生成する設定 [12] などが存在している。このよう に，出力の構造を考慮する問題設定が多く研究さ れている。一方で, 本研究では, 抽象型要約の学習 データが大量に必要となる問題に対して取り組む。

現在, 日本語要約研究では主に 2 種類のデータ セットが存在している。一つが，新聞記事から作成 した要約データである. Japanese News Corpus (JNC) [2] は新聞記事の先頭 3 文と対応する見出しの対 になっており, JApanese MUlti-Length Summarization Corpus（JAMUL）や JAMUL2020 [3] は 1 記事に対し て複数の要約が紐づいているデータセットである. もう一つが Livedoor News から作成した 3 行要約 データセット [11]である.これは Livedoor News が 記事と対応する 3 行の要約が紐づいて公開されて いることを利用して作成したデータセットである.

表 1 事前学習モデル

これらのデータセットは全てニュース記事に関す るデータセットである. 一方で，英語で記述された 要約データはニュース記事 $[1,13]$, 特許 [14], 電子 メール [15] など，様々な分野で存在する. その中 の一つに, wikiHow $\left.{ }^{3}\right)$ という様々な分野に関する八 ウツーが記載された Web サイトから作成した要約 データ [16] が存在する. このデータはニュース記事 で作成したデータセットと異なり，様々な分野につ いて抽象度の高い要約データという特徵を持つこと が報告されている. 本研究では，この英語 wikiHow のデータセットを参考に，新たに日本語版 wikiHow から要約データセットを作成した. wikiHow は様々 なトピックに関して記述されており，ニュース記事 とは記事と要約，どちらも傾向が異なると考えられ る.このデータセットを利用してニュース記事以外 での抽象型要約の振る舞いを調査する。

## 3 事前学習モデルを用いた要約

本研究は抽出型要約について，いくつかの事前学習モデルを用いて実験した. 表 1 に本研究で使用す る事前学習モデルをまとめている.

## 3.1 UniLM

Dong ら [8] は BERT [17] の事前学習をより拡張し た手法 (Unified pre-trained Language Model; UniLM) をいくつか提案した. その中の一つに Sequence-toSequence Language Model（seq2seq LM）が存在する.概要図を図 1 に示す. BERT は入力トークンの一部 を [MASK] に置換し，置換前の単語を推定するよう に事前学習を行う (Masked Language Model; MLM). この時, BERT は注意機構を双方向に用いている.一方で seq2seq LM は図のように， 入力記事側は双方向なのだが, 出力要約側は出力するものより以前 のトークンのみに注意機構が張られる. この機構を 使用することで要約などの系列変換が学習できるこ とを報告している.

本研究では日本語データで学習された BERTを 元に, 次の fine-tuning と推論を行っている. 抽出

図 1 UniLM seq2seq LM の概要図

型要約の学習を行う際は, 要約側の一部の単語を [MASK] に置換し，seq2seq LM を用いて元の単語を 当てるように学習を行う. 推論時には入力記事を原言語側に与え，要約側の入力として [MASK] を用意 し, 出力の終了記号 [EOS] が出るまで推論を行う.

## 3.2 JASS

JASS (JApanese-specific Sequence to Sequence) [9] は，MASS（MAsked Sequence to Sequence）[4]を日本語向けに拡張した目的関数を用いて Transformer [18] を事前学習したモデルである. MASS は大量の単言語データの各文中の単語をランダムにマスクトー クンに置換し，このマスクトークンを Decoderを用 いて推定するように事前学習されている。一方で， JASS はこのマスクトークンの置換区間として, 文節単位で置換し，元の単語を推定する事前学習を 行っている. さらに，入力文を文節単位でシャッ フルし, 元の語順を Decoder で推定する事前学習も 行っている. 本研究ではこの JASS モデルに対して,要約データで fine-tuning および推論を行った.

## 3.3 multilingual $\mathrm{T 5$}

Raffel ら [5] は事前学習 Encoder-Decoder として Text-to-Text Transfer Transformer（T5）を作成した.こ のモデルは，単言語コーパスの各文中の単語をラン ダムにマスクトークンに置換し, 元の単語を当てる ように Transformerを事前学習している. Xue ら [10] は様々な言語の単言語コーパスで T5 と同様の事前学習を行い，モデルを作成した (multilingual variant of T5; mT5). 本研究ではこの $\mathrm{mT5}$ に対して, 要約 データを用いて fine-tuning，推論を行った.

## 4 日本語 wikiHow 要約データセット

本研究では Koupaee and Wang [16] と同様の手法で wikiHow から日本語要約データセットを作成した.

図 2 wikiHow から要約データを作成する例

日本語 wikiHow は全 19 カテゴリについて, 各ペー ジが構造化して記述されている. 具体的には, ペー ジ内にいくつかの大段落が存在しており, この中に 小段落として記事と対応した見出しが存在してい る. 本研究ではこの組み合わせを利用して要約デー タを作成した。

具体例を図 2 に示す.この図のように，記事と要約はそれぞれ各小段落内の記事と見出しを繋げたも のとして利用している. 見出しとして 手を洗う’, 'マスクの状態を確認する' とあれば作成する要約は '手を洗う。マスクの状態を確認する。'となる。こ のようにして，2020 年 6 月時点で取得できた全ての ページから要約データを作成した。

作成したデータセットの統計を表 2 に示す. 英語 wikiHow データセットは数十万件の記事が含まれて いるが，日本語 wikiHow データセットは数千件しか 含まれていない.

また，Livedoor News の要約データセットと要約 の抽象度合いの観点で比較した. 抽象度合いは記事側には存在せず，要約側のみに存在する単語 n-gram の割合で計測している. 比較の結果, Livedoor News データと比べると wikiHow データの方が要約側に しか存在しない n-gram が多く, より抽象度が高い データセットであることがわかった. n-gram の割合 について，詳細な値は付録 A に記載した。

作成した wikiHow データセットの特徴として, 要約側に同一の表現が複数回出現することを確認し た. Livedoor News 5,066 件中, $32.1 \%$ 件の要約側で 同一の 3-gram が複数回存在していたが, wikiHow に は $62.2 \%$ 同一の 3-gram が存在していた.このよう に, wikiHow データセットは既存のデータセットと は要約の記述スタイルが異なることがわかる.

## 5 実験

本研究では，事前学習モデルを用いて wikiHow データと Livedoor News の 1K，10K データに対して 入力が 1 記事の抽象型要約実験を行った.

## 5.1 実験設定

wikiHow については, 得られたデータを 5 等分し， 3:1:1 の割合で学習, 開発, テストデータとした. そ のため，学習データ，開発データ，テストデータは それぞれは 3,040 件，1,013 件，1,013 件である。ま た, Livedoor News については，公開されている分割 4 )を元に学習, 開発，テストデータを用意した. ただし，2020 年時点で取得できたデータのみを使用しているため, 開発データとテストデータはそれ ぞれ 886 件， 871 件である. 学習データについては 取得できたデータからランダムに $1 \mathrm{~K}$ または $10 \mathrm{~K}$ 抽出している. 評価については出力分かち書きから空白を取り除いた後, $\mathrm{MeCab}^{5)}$ で分割し, ROUGE-1 (R-1)，2（R-2)，L（R-L）のF 值を測定している. UniLM として, 日本語データで学習された BERT $^{6)}$ に対して，seq2seq LM を用いた fine-tuning を 行っだ ${ }^{7)}$. 単語分割は MeCab と WordPiece [19] を用 いている. JASS は日英の単言語データで学習さ れたモデル8)に対して要約の fine-tuning を行った.単語分割は Juman++ [20] と SentencePiece [21]を, fine-tuning と推論には OpenNMT [22]を使用してい る. $\mathrm{mT5}$ は他のモデルと同程度のパラメータ数の モデル9)に対して要約の fine-tuning を行った. 単語分割は SentencePiece を使用し, fine-tuning と推論は

表 3 日本語抽象型要約実験結果

Mesh Tensorflow [23] を使用している。また，比較と して事前学習なしの手法を 2 つ, 実験した. 1 つが LEAD-3 と呼ばれる, 記事から最初の 3 文を要約と して使用する手法で，もう 1 つが Pointer-Generator [6] と呼ばれる Encoder-Decoder を用いた手法であ る. Pointer-Generator は OpenNMT の実装を使用，単語分割は $\mathrm{MeCab}$ を用いている.

mT5，LEAD-3 以外のモデルは推論時に 3-gram の 繰り返しの削除（Trigram Block）[7]を行っており，全てのモデルはビーム幅は 4 で実験している. 上記 4 モデルのハイパーパラメータの詳細は付録 B に記載している.

## 5.2 実験結果

実験結果を表 3 に示す. 各評価指標において最も 高いスコアを太字にしている．全ての実験設定にお いて，UniLM を用いた手法が最も良い結果であっ た. また，学習データが数千件の設定では，事前学習なしの手法より事前学習を行っている手法の方が 良いことがわかる。

Livedoor News については UniLM に次いで mT5 の精度が高く,これら 2 つのモデルは LEAD-3, Pointer-Generator よりもどの評価指標においても優 れている結果となった. 一方で JASS は LEAD-3 と 同程度または低い精度であり, 特に $10 \mathrm{~K}$ の場合に おいて，ROUGE-2について Pointer-Generator と同程度の精度であることがわかる. wikiHow においては Livedoor News の場合と異なり, JASS の方が mT5 よ り高い精度であることがわかる.

## 6 分析と考察

要約実験結果から，mT5 が wikiHow に対して精度が低いことがわかる。調査の結果，mT5 のテス トデータ全体に対して $88.3 \%$ \%いて同一の文 の繰り返しが発生していた. 実際の出力例は付録 の C に示す。一方で，Livedoor News 1K に対しては mT5 は 10.0 \%繰り返している. UniLM は wikiHow，
Livedoor News 1K のどちらも $0.1 \%$ 繰り返していた. このように， mT5を用いた場合，文単位での繰り返 しが発生しやすく，データセットによって繰り返し 度合いが大きく変わっていることがわかる. この理由の 1 つとして, mT5 は推論時に Trigram Block を 行っていないからだと考えられる。また, wikiHow については，4 章で述べたように，要約側に同一の 表現が複数回現れることを確認している。そのた め, wikiHow で学習することにより，同一の表現を 出力するように学習していき，推論時にもそのよう な出力をする傾向にあると考えられる。

事前学習を行ったモデルと行っていないモデルの 定性的な比較を行う. Pointer-Generator $の$ wikiHow に対する出力は平均単語数が 12.6 で, 平均語彙は 8.9 であった. 一方で, UniLM の出力は平均単語数 が 26.2 で平均語彙が 18.6 となり, 2 倍以上の長さ,語彙であった. この結果と ROUGE スコアから，事前学習を行うことでより入力記事を説明している 要約が生成できていると考えられる. これは, 学習 データが数千件の状況で事前学習を行わなかった場合は学習が安定せず，単純な要約しか学習できない 一方で，事前学習を行うことで，学習が安定し，よ り複雑な要約も可能になると考えられる。

## 7 おわりに

本研究では，学習データが数千，数万件の日本語抽象型要約タスクにおいて，事前学習モデルの有効性を調査した．また，既存のニュース記事の分野とは異なる，ハウツーが記述されたデータから 要約データ日本語 wikiHow を作成，公開した. この 日本語 wikiHow および Livedoor News について，学習データが数千件の場合, 事前学習モデルである UniLM を用いることで，事前学習なしのモデルと比 べて大きく精度が向上することを確認した. 今後は 別の分野に関する要約データセットの作成, 事前学習モデルを元に要約精度を改善する手法の研究に取 り組みたい。

## 参考文献

[1]Alexander M. Rush, Sumit Chopra, and Jason Weston. A neural attention model for abstractive sentence summarization. In Proc. of EMNLP, pp. 379-389. Association for Computational Linguistics, 2015.

[2]Yuta Hitomi, Yuya Taguchi, Hideaki Tamori, Ko Kikuta, Jiro Nishitoba, Naoaki Okazaki, Kentaro Inui, and Manabu Okumura. A large-scale multi-length headline corpus for analyzing length-constrained headline generation model evaluation. In Proc. of the 12th International Conference on Natural Language Generation, pp. 333-343. Association for Computational Linguistics, 2019.

[3] 人見雄太, 田口雄哉, 田森秀明, 岡崎直観, 乾健太郎. 小規模リソースにおける生成型要約のためのスタイル転移. 言語処理学会第 26 回年次大会, pp. 929-932, 2020.

[4]Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, and Tie-Yan Liu. Mass: Masked sequence to sequence pre-training for language generation. In International Conference on Machine Learning, pp. 5926-5936, 2019.

[5]Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[6]Abigail See, Peter J. Liu, and Christopher D. Manning. Get to the point: Summarization with pointer-generator networks. In Proc. of ACL, pp. 1073-1083. Association for Computational Linguistics, 2017.

[7]Romain Paulus, Caiming Xiong, and R. Socher. A deep reinforced model for abstractive summarization. ArXiv, Vol. abs/1705.04304, , 2018

[8]Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou, and Hsiao-Wuen Hon. Unified language model pre-training for natural language understanding and generation. In $\mathrm{H}$. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Proc. of NeurIPS, Vol. 32, pp. 13063-13075. Curran Associates, Inc., 2019.

[9]Zhuoyuan Mao, Fabien Cromieres, Raj Dabre, Haiyue Song, and Sadao Kurohashi. JASS: Japanese-specific sequence to sequence pre-training for neural machine translation. In Proc. of LREC, pp. 3683-3691. European Language Resources Association, 2020.

[10]Linting Xue, Noah Constant, A. Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, A. Barua, and Colin Raffel. mT5: A massively multilingual pre-trained text-to-text transformer. ArXiv, Vol. abs/2010.11934, , 2020.

[11]小平知範, 小町守. TL;DR 3 行要約に着目したニュー ラル文書要約 (データ工学). 電子情報通信学会技術研究報告 $=$ IEICE technical report : 信学技報, Vol. 117, No. 212, pp. 193-198, 2017.

[12]木村泰知, 渋木英潔, 高丸圭一, 秋葉友良, 石下円香, 内田ゆず, 小川泰弘, 乙武北斗, 佐々木稔, 三田村照子, 横手健一, 吉岡真治, 神門典子. NTCIR-15 QA Lab-PoliInfo2 のタスク設計. 言語処理学会第 26 回年次大会, pp. 625-628, 2020.

[13]Karl Moritz Hermann, Tomas Kocisky, Edward Grefenstette,
Lasse Espeholt, Will Kay, Mustafa Suleyman, and Phil Blunsom. Teaching machines to read and comprehend. In C. Cortes, N. Lawrence, D. Lee, M. Sugiyama, and R. Garnett, editors, Proc. of NeurIPS, Vol. 28, pp. 1693-1701. Curran Associates, Inc., 2015.

[14]Eva Sharma, Chen Li, and Lu Wang. BIGPATENT: A largescale dataset for abstractive and coherent summarization. In Proc. of ACL, pp. 2204-2213. Association for Computational Linguistics, 2019.

[15]Rui Zhang and Joel Tetreault. This email could save your life: Introducing the task of email subject line generation. In Proc. of ACL, pp. 446-456. Association for Computational Linguistics, 2019.

[16]M. Koupaee and William Yang Wang. Wikihow: A large scale text summarization dataset. ArXiv, Vol. abs/1810.09305, , 2018.

[17]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. of NAACL-HLT, pp. 4171-4186. Association for Computational Linguistics, 2019.

[18]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Proc. of NeurIPS, Vol. 30, pp. $5998-$ 6008. Curran Associates, Inc., 2017.

[19]Mike Schuster and Kaisuke Nakajima. Japanese and korean voice search. In 2012 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 5149-5152. IEEE, 2012.

[20]Hajime Morita, Daisuke Kawahara, and Sadao Kurohashi. Morphological analysis for unsegmented languages using recurrent neural network language model. In Proc. of EMNLP, pp. 2292-2297. Association for Computational Linguistics, 2015.

[21]Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proc. of EMNLP, pp. 66-71. Association for Computational Linguistics, 2018.

[22]Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart, and Alexander Rush. OpenNMT: Open-source toolkit for neural machine translation. In Proc. of ACL, pp. 67-72. Association for Computational Linguistics, 2017.

[23]Noam Shazeer, Youlong Cheng, Niki Parmar, Dustin Tran, Ashish Vaswani, Penporn Koanantakool, Peter Hawkins, HyoukJoong Lee, Mingsheng Hong, Cliff Young, Ryan Sepassi, and Blake Hechtman. Mesh-TensorFlow: Deep learning for supercomputers. In Proc. of NeurIPS, 2018.

## A 要約側のみに存在する n-gram 統計

単語 n-gram の割合を表 4 に示す.なお，ここでの単語は MeCab の解析結果の形態素を指している。この表 から, wikiHow の方が要約側にしか含まれない n-gram が多く, Livedoor News と比べて抽象度の高いデータ セットであることがわかる.

表 4 事前学習モデル

## B 詳細な実験設定

UniLM，JASS，mT5，Pointer-Generator について詳細な実験設定を表 5 に示す.

## C 出力例

wikiHow に対する UniLM，JASS，mT5，Pointer-Generator の出力例を表 6 に示す.

表 6 wikiHow に対する出力例

 \\


# 談話構造制約付きパーソナライズド抽出型要約

高津 弘明 $^{1}$ 安藤 涼太 $^{2}$ 本田 裕 $^{3}$ 松山 洋一 $1 \quad$ 小林哲則 ${ }^{1}$
1 早稲田大学 2 内外切抜通信社 $\quad 3$ 本田技研工業
takatsu@pcl.cs.waseda.ac.jp ando@naigaipc.co.jp hiroshi_01_honda@jp.honda
matsuyama@pcl.cs.waseda.ac.jp koba@waseda.jp

## 1 はじめに

ユーザのプロフィールに基づいてニュース記事の 文に対する興味度を推定する手法および，興味度と 談話構造に基づいて文を抽出し，ユーザごとにパー ソナライズした要約を生成する手法を提案する。

人々がテキストの必要な情報に効率的にアクセ スすることを手助けする技術としてテキスト自動要約技術がある．要約は，特定のユーザに特化した 要約か否かで, generic な要約と user-focused な要約 に分類される [1]. generic な要約は，特定のユーザ を想定せず，テキストの重要な情報を抽出して作成 された要約を表すのに対し， user-focused な要約は，重要な情報だけでなく，ユーザの興味や好みも考慮して作成された要約を表す。これまでに, generic な要約を生成する手法が数多く検討されてきたが，興味や嗜好が多様化している現代社会において， user-focused な要約の需要が高まっている [2].

generic な要約, user-focused な要約を問わず，要約 が満たすべき性質として一貫性がある。一貫性の高 い要約とは原文書の談話構造や論理構造を保持し た要約を表す. generic な要約の研究では, 談話構造 を考慮した要約生成手法が提案されている $[3,4,5]$.一方，user-focused な要約生成手法の多くは，ユーザ の特徴を考慮して計算されたスコアに基づいて文を ランキングし，その上位の文を抽出して要約とする ものである $[6,7,8]$. そのため, 従来の user-focused な要約生成手法では，一貫性の低い要約が生成され る可能性が高い. そこで，本研究では，談話構造に 基づく一貫性を保持したまま，ユーザの属性に応じ て興味がありそうな文を抽出し，ユーザごとにパー ソナライズした要約を生成する手法を提案する.

アプリケーションとしてニュースを伝える音声対話システム（以下，ニュース対話システム）[9]を想定する。このシステムは，要約に基づく主計画と補足説明のための副計画から構成されるシナリオに基 づいて会話を進行させる。ユーザが受け身で聴いて いる限りにおいては主計画の内容を伝えることにな る. 主計画生成問題を以下のように定式化する。

話題が異なる $|D|$ 個の文書から各文書の談話構造を制約としてユーザが興味のありそうな文を 抽出し，その内容を音声で $T$ 秒以内に伝える。

提案手法では，文の内容に対する興味度は，アン ケートから得られるユーザのプロフィール情報と BERT [10] の単語埋め込み表現に基づいて推定する.要約は, 最大要約長 $T$ (秒) と文書の談話構造を制約として，推定した興味度の和が最大となるように 整数計画問題を解き，文を抽出することで生成す る. 談話構造とユーザのプロフィールおよび文と話題に対する興味度が付与されたニュース記事コーパ ス [11]を用いて，提案手法の有効性を評価する。

本稿の構成は次の通りである． 2 章で関連研究に ついて述べる. 3 章でニュース記事の文と話題に対 する興味度を推定するモデルについて説明する． 4 章で推定した興味度に基づいて文を抽出する手法に ついて説明する. 5 章で提案手法の有効性を評価す る. 6 章でまとめと今後の展望について述べる.

## 2 関連研究

要約手法は大きく extractive な手法と abstractive な 手法に分類される [12]. extractive な手法では, 文書中の文や単語を抽出することで要約を生成する。代表的な手法として，グラフベースの手法 $[13,14]$ や 整数計画問題による手法 $[3,4]$, ニューラルネット ワークによる手法 $[15,16]$ などがある. abstractive な 手法では，文書中に出現しない表現も用いながら文章をより簡潔な表現に言い換えることで要約を生成 する. 代表的な手法として，アテンションやコピー

図1 興味度推定モデル：BERT_PA_BiGRU_GNN

図 2 Personalized Sentence Encoder
メカニズムを用いた手法 $[17,18]$ や強化学習を導入した手法 $[19,20]$ などがある. また, extractive と abstractive の両方の手法を取り入れたハイブリッド な手法 $[21,22]$ も提案されている. user-focused な要約を生成する研究でも abstractive な手法が最近提案 されてきているが $[23,24]$, 以下に示す研究を含め,従来手法の多くは extractive な手法である.

user-focused な要約の研究では，タスクに応じて 様々な観点でユーザの特徴がモデル化されている。情報検索タスクでは，ユーザの特徴をクエリで捉 え，そのクエリを反映した要約を生成することで パーソナライズが試みられている [25, 26, 27, 28].学習支援タスクでは, 学習者の年齢, 学習の目的や 興味のある項目を記した自己記述などを用いて，学習者ごとにパーソナライズした要約を生成する手法が提案されている $[29,30,31]$. レビュー要約タス クでは，ユーザが入力したクエリの履歴や閲覧した 商品の履歴, プロフィールテキスト, ユーザが過去 に投稿したレビューなどを用いて，ユーザの興味や 好みに合わせた要約を生成する手法が提案されて いる [32, 33, 23]. ニュース記事を含むウェブコンテ ンツの要約のパーソナライズを目指した研究では, ニュースのキーワードに対する興味やソーシャルタ ギングデータ，要約中の文に対するクリック情報な どを用いて，ユーザごとにパーソナライズした要約 を生成する手法が提案されている [6,7, 8, 34, 35].

談話構造を考慮した generic な要約の研究として は次のような研究がある. Marcu は, 修辞構造理論 [36] に基づいて構築した Elementary Discourse Unit （EDU）を最小の談話単位とする修辞構造木に従っ て EDU をランキングし，ランキング上位の EDUを 抽出して要約とする手法を提案した [37]. 平尾ら は，修辞構造木を談話依存構造木へ変換する方法を 提案し，整数計画問題に基づく談話依存構造木の刈
り込みによって要約を生成する手法を提案した [3].菊池らは，文間の依存構造と単語間の依存構造の両方を考慮して，整数計画問題に基づいて重要文抽出 と文圧縮を同時に行う手法を提案した [4].

近年，自然言語処理の分野では，ラベルなしの膨大なテキストデータを使用して事前学習した言語モ デルを下流タスクでファインチューニングするア プローチが注目されており [38], 要約タスクにおい ても事前学習の有効性が確認されている $[5,39,40]$. Liu らは，文書のエンコーディングに BERT [10]を使用し，入力の各文の先頭に [CLS] トークンを付与す ることで文ごとの特徴量を獲得し，各 [CLS] トーク ンに対応するエンコーダの最上位層の出力ベクトル にシグモイドを適用することで抽出する文か否かを 推定する手法を提案した [39]. Xu らは，Liu らの手法を拡張し，RST の句構造を変換して得られた依存構造を制約として文書をエンコーディングし，EDU を抽出する手法を提案した [5]. Zhang らは，文書中 の重要文を mask して復元するように学習した事前学習モデルが，他の事前学習モデルよりも要約タス クにおいて高い性能を示すことを確認した [40].

## 3 興味度推定モデル

ユーザのプロフィール情報（年齢や職種・業種, ニュースのジャンルに対する興味度，趣味など [11]） に基づいてニュース記事全体の話題に対する興味度 と各文に対する興味度を推定するモデルを提案す る. 提案モデルの概略図を図 1 に示す. タイトルに 対する興味度を記事全体の話題に対する興味度とし て，1 文目の前にタイトルを入力する. Personalized Sentence Encoder（図 2) では，文の単語系列を BERT [10]に与え，得られた単語埋め込み表現系列に対し てプロフィール特徴量をクエリとして, personalized attention [41] を計算する. さらに，補助情報として，
文書内文位置，文書内段落位置，段落内文位置，談話依存構造木における深さを与える。次に，得られ た文べクトルを双方向の GRU [42] に与え，前後の文 の情報を考慮した後, Graph Neural Netowork (GNN) [43] により，タイトルをルートノードとした文間の 依存構造に基づく情報の伝搬を行う，最後に，談話構造を反映した文べクトルを sigmoid を活性化関数 とする出力層に与え, 各文について興味があるか否 かを推定する。

## 4 興味文抽出モデル

話題が異なる $|D|$ 個の文書からユーザが興味のあ りそうな文を抽出し, 音声で $T$ 秒以内に伝える要約問題を考える。要約の要件として，ユーザにとって 興味がある内容であること，冗長でないこと，内容 が一貫していることが挙げられる。 そこで，要約問題を，文間の依存構造を制約とし，文に対する興味度の高さと文間の類似度の低さのバランスで目的関数を定義した整数計画問題として定式化する.

$
\max . \quad \sum_{d \in D} \sum_{i<j \in S_{d}} b_{d i} b_{d j}\left(1-r_{d i j}\right) y_{d i j}
$

s.t.

$
\begin{aligned}
& \forall d, i, j: \quad x_{d i} \in\{0,1\}, \quad y_{d i j} \in\{0,1\} \\
& \sum_{d \in D} \sum_{i \in S_{d}} t_{d i} x_{d i} \leq T \\
& \forall d<d^{\prime}:-L \leq \sum_{i \in S_{d}} x_{d i}-\sum_{i \in S_{d^{\prime}}} x_{d^{\prime} i} \leq L \\
& \forall d, i: \quad j=f_{d}(i), \quad x_{d i} \leq x_{d j} \\
& \forall d, c, i \in C_{d c}: \sum_{j \in C_{d c}} x_{d j}=\left|C_{d c}\right| \times x_{d i} \\
& \forall d, i, j: \quad y_{d i j}-x_{d i} \leq 0 \\
& \forall d, i, j: y_{d i j}-x_{d j} \leq 0 \\
& \forall d, i, j: \quad x_{d i}+x_{d j}-y_{d i j} \leq 1
\end{aligned}
$

変数の定義を表 1 に示す. ここで，文書 $d$ の $i$ 番目の文を文 $d i$ と表現する.$b_{d i}$ は，興味度推定モデ ルで推定した文 $d i$ に対する興味度の值である. $r_{d i j}$ は, 文 $d i$ と文 $d j$ の内容語の Bag-of-Words のコサイ ン類似度である。

式 2 は，要約の発話時間を $T$ 秒以下とする制約で ある。式 3 は，抽出する文の数の文書間での偏りを $L$ 文以下に抑える制約である. 式 4 は，ある文 $d i$ を 含める場合，談話依存構造木における親ノードの文 $d j$ も含めなければならないとする制約である. 式 5 は，チャンク中のある文 $d i$ を含める場合，同チャン クに含まれる他の文も含めなければならないとする表 1 変数の定義

制約である.チャンクとは，親ノード文を理解する ために欠かせない情報が子ノード文に書かれている 場合，これらをまとめて提示すべきであることを表 した文の集合である. 式 6 から式 8 は, 文 $d i$ と文 $d j$ が選ばれた際に $y_{d i j}=1$ とするための制約である。

文書間での最大許容偏り文数 $L$ は, 最大要約長 $T$ と, 要約対象の文書の数 $|D|$, 一文書あたりの平均発話時間 $\bar{t}$ に基づいて以下の式で求める.

$
\begin{aligned}
L & =\left.\lfloor\frac{\bar{N}}{\sqrt{|D|}}+0.5\right.\rfloor \\
\bar{N} & =\frac{T}{\bar{t} \times|D|}
\end{aligned}
$

$\bar{N}$ は 1 記事から抽出が期待される文の数を表し，そ の値を文書数の平方根で割り，四捨五入した值を $L$ とする.

## 5 実験

ニュース記事に対して談話構造と興味度を付与し たデータセット [11]を使用した. このデータセット は，文を談話単位として，15 文から 25 文のニュー ス記事 1200 個に対して，ウェブニュースのクリッ ピングの専門家が「係り先」「談話関係」「チャンク」 を付与した談話構造のデータと, 同じ 1200 記事に 対して，クラウドソーシングで 1 人あたり 6 記事, 1 記事あたり 11 人以上となるように配分して，合計 2507 人にプロフィールアンケートと, ニュース 記事の話題と文について 6 段階の興味度（6:とても 興味がある，5:興味がある，4:どちらかといえば興味がある，3:どちらかといえば興味がない，2:興味 がない，1:まったく興味がない）を回答させたデー タからなる. 本研究では, 6 記事の回答時間が 6 分以上 20 分以下で，年齢が 20 代 50 代，職種と業種 が「その他」ではなく, 低頻度の職種でない被験者 1154 人のデータを使用した.

## 5.1 興味度推定性能の評価

BERT の事前学習モデルとして，情報通信研究機構が公開しているモデルを用いた1). 使用した BERT モデルは，日本語 Wikipedia の全記事に対し て, Juman 辞書を用いた $\mathrm{MeCab}^{2}$ [44] により形態素解析を行ったテキストを入力として，語彙数が 10 万語からなる BERT $_{\text {BASE }}[10]$ を学習したモデルであ る. 興味度データのうち，3 点以下のものを興味な し (ラベル“"0)，4 点以上のものを興味あり（ラベ ル“1”) としてモデルの学習を行った. 評価は, ユー ザ単位でデータを 10 分割にして交差検定を行っ た. 比較手法として, 提案モデルから personalized attentionを除いたモデル（BERT_BiGRU_GNN）と， GNN を除いたモデル（BERT_PA_BiGRU）と比較し た。なお，BERT_BiGRU_GNNでは，BERTの [CLS] トークンの最上位層の出力を BiGRUに与えている. それぞれのモデルについて, 10 分割交差検定 で Accuracy を計算した結果を表 2 に示す. 表では 「話題」（タイトルに対応するラベル）と「文」に分 けて結果を示している. BERT_BiGRU_GNNよりも BERT_PA_BiGRU_GNN の方が Accuracy が高いこと から，ユーザのプロフィールを考慮することの有効性が確認できた。さらに，BERT_PA_BiGRUよりも BERT_PA_BiGRU_GNN の方が Accuracy が高いこと から，文間の依存構造を考慮することの有効性が確認できた.

## 5.2 興味文抽出性能の評価

文に対する興味度に基づいてユーザごとにジャン ルの異なる 6 個のニュース記事を要約し，その内容 を規定時間内に音声で伝える状況を考える. 原文の 表記で文を発話するものとし，ニュース記事の各文 を AITalk 4.1 (のぞみ $)^{3}$ )で音声合成した. 合成音声 ファイルの再生時間に，文間の間（ま）1 秒，文書間の間（ま） 3 秒を加えた値を $t_{d i}$ とした. 整数計画問題は分枝切除法 $[45,46]$ で解いた ${ }^{4)}$. 評価尺度

図 3 最大要約長 $T$ を変化させたときの $\mathrm{EoIT}_{1}$ と $\mathrm{EoIT}_{2}$

には，情報伝達効率 $\mathrm{EoIT}_{\beta}$ [47] を用いた. $\mathrm{EoIT}_{\beta}$ は，要約が 4 点以上の文を含めることができた割合（被覆率）を $C, 3$ 点以下の文を除外できた割合（除外率）を $E$ としたとき，重み付き $\mathrm{F}$ 值 [48] に基づき，以下の式で計算する。

$
\operatorname{EoIT}_{\beta}=\frac{\left(1+\beta^{2}\right) \times C \times E}{\beta^{2} \times C+E}
$

$\beta=2$ のとき除外率を被覆率の 2 倍重視することを 意味する。

最大要約長 $T$ を 180 秒から 540 秒まで 30 秒刻 みで変化させたときの要約の $\mathrm{EoIT}_{1}$ と $\mathrm{EoIT}_{2}$ を 図 3 に示す. $\operatorname{EoIT}_{\beta}$ (予測値) は，興味度として BERT_PA_BiGRU_GNN の 10 分割交差検定の予測値 を用いたときの性能を表す. $\operatorname{EoIT}_{\beta}$ （理想値）は，興味度としてデータセットの正解値を用いたときの 性能を表す。各曲線は被覆率と除外率のバランス が最も取れた時刻で最大となっている. EoIT (理 $^{2}$想值）は $T=450$ のとき 0.595, EoIT $_{1}$ （予測値）は $T=420$ のとき 0.526, EoIT $_{2}$ （理想値）は $T=270$ の とき $0.630, \mathrm{EoIT}_{2}$ (予測値) は $T=270$ のとき 0.577 で最大となった. 全時刻での $\mathrm{EoIT}_{1}$ と $\mathrm{EoIT}_{2}$ の理想値と予測値の差は平均で $6 \%$ 程度であった。

## 6 おわりに

ユーザのプロフィールに基づいてニュース記事の 文に対する興味度を推定する手法および，興味度と 談話構造に基づいて文を抽出し，ユーザごとにパー ソナライズした要約を生成する手法を提案した.

今後は，対話履歴を用いて適応的にパーソナライ ズした要約を生成する手法について検討する。

謝辞本研究は，JST START（JPMJST1912）の支援 を受けたものである.

## 参考文献

[1]Inderjeet Mani and Eric Bloedorn. Machine learning of generic and userfocused summarization. In Proceedings of the 15th National / 10th Conference on Artificial Intelligence / Innovative Applications of Artificial Intelligence, pp. 820-826, 1998.

[2]Maya Sappelli, Dung Manh Chu, Bahadir Cambel, David Graus, and Philippe Bressers. SMART journalism: Personalizing, summarizing, and recommending financial economic news. The Algorithmic Personalization and News (APEN18) Workshop at ICWSM, Vol. 18, No. 5, pp. 1-3, 2018.

[3]Tsutomu Hirao, Masaaki Nishino, Yasuhisa Yoshida, Jun Suzuki, Norihito Yasuda, and Masaaki Nagata. Summarizing a document by trimming the discourse tree. IEEE/ACM Transactions on Audio, Speech and Language Processing, Vol. 23, No. 11, pp. 2081-2092, 2015.

[4]Yuta Kikuchi, Tsutomu Hirao, Hiroya Takamura, Manabu Okumura, and Masaaki Nagata. Single document summarization based on nested tree structure. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 315-320, 2014.

[5]Jiacheng Xu, Zhe Gan, Yu Cheng, and Jingjing Liu. Discourse-aware neural extractive text summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5021-5031, 2020.

[6]Alberto Díaz and Pablo Gervás. User-model based personalized summarization. Information Processing and Management, Vol. 43, No. 6, pp. $1715-1734,2007$

[7]Rui Yan, Jian-Yun Nie, and Xiaoming Li. Summarize what you are interested in: An optimization framework for interactive personalized summarization. In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, pp. 1342-1351, 2011.

[8]Po Hu, Donghong Ji, Chong Teng, and Yujing Guo. Context-enhanced personalized social summarization. In Proceedings of the 24th International Conference on Computational Linguistics, pp. 1223-1238, 2012.

[9]高津弘明, 福岡維新, 藤江真也, 林良彦, 小林哲則. 意図性の異なる多様な情報行動を可能とする音声対話システム. 人工知能学会論文誌, Vol. 33, No. 1, pp. 1-24, 2018.

[10]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019

[11]高津弘明, 安藤涼太, 本田裕, 松山洋一, 小林哲則. ニュース記事に対 する談話構造と興味度のアノテーション〜ニュース対話システムの パーソナライズに向けて〜. 言語処理学会第 27 回年次大会 発表論文集, 2021.

[12]Vipul Dalal and Latesh Malik. A survey of extractive and abstractive text summarization techniques. In Proceedings of the 6th International Conference on Emerging Trends in Engineering and Technology, pp. 109-110, 2013.

[13]Güneş Erkan and Dragomir R. Radev. LexRank: Graph-based lexical centrality as salience in text summarization. Journal of Artificial Intelligence Research, Vol. 22, No. 1, pp. 457-479, 2004

[14]Rada Mihalcea and Paul Tarau. TextRank: Bringing order into texts. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 404-411, 2004

[15]Ramesh Nallapati, Feifei Zhai, and Bowen Zhou. SummaRuNNer: A recurrent neural network based sequence model for extractive summarization of documents. In Proceedings of the 31th AAAI Conference on Artificial Intelligence, pp. 3075-3081, 2017.

[16]Jiacheng Xu and Greg Durrett. Neural extractive text summarization with syntactic compression. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3292-3303, 2019

[17]Abigail See, Peter J. Liu, and Christopher D. Manning. Get to the point: Summarization with pointer-generator networks. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 10731083, 2017.

[18]Arman Cohan, Franck Dernoncourt, Doo Soon Kim, Trung Bui, Seokhwan Kim, Walter Chang, and Nazli Goharian. A discourse-aware attention model for abstractive summarization of long documents. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 615-621, 2018.

[19]Romain Paulus, Caiming Xiong, and Richard Socher. A deep reinforced model for abstractive summarization. In Proceedings of the 6th International Conference on Learning Representations, pp. 1-13, 2018.

[20]Ramakanth Pasunuru and Mohit Bansal. Multi-reward reinforced summarization with saliency and entailment. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 646-653, 2018.

[21]Yen-Chun Chen and Mohit Bansal. Fast abstractive summarization with reinforce-selected sentence rewriting. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 675-686, 2018.

[22]Wan-Ting Hsu, Chieh-Kai Lin, Ming-Ying Lee, Kerui Min, Jing Tang, and Min Sun. A unified model for extractive and abstractive summarization Association for Computational Linguistics, pp. 132-141, 2018.

[23]Junjie Li, Haoran Li, and Chengqing Zong. Towards personalized review summarization via user-aware sequence network. In Proceedings of the 33rd AAAI Conference on Artificial Intelligence, pp. 6690-6697, 2019

[24]Yu-Hsiu Chen, Pin-Yu Chen, Hong-Han Shuai, and Wen-Chih Peng. TemPEST: Soft template-based personalized EDM subject generation through collaborative summarization. In Proceedings of the 34th Association for the Advancement of Artificial Intelligence, pp. 7538-7545, 2020.

[25]Anastasios Tombros and Mark Sanderson. Advantages of query biased summaries in information retrieval. In Proceedings of the 21st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 2-10, 1998.

[26]Changhu Wang, Feng Jing, Lei Zhang, and Hong-Jiang Zhang. Learning query-biased web page summarization. In Proceedings of the 16th ACM Conference on Conference on Information and Knowledge Management, $\mathrm{pp}$. $555-562,2007$

[27]Sun Park, Byung Rae Cha, and JangWoo Kwon. Personalized document summarization using pseudo relevance feedback and semantic feature. IETE Journal of Research, Vol. 58, No. 2, pp. 155-165, 2012.

[28]Jennifer Williams, Sharon Tam, and Wade Shen. Finding good enough: A task-based evaluation of query biased summarization for cross language information retrieval. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 657-669, 2014

[29]Róbert Móro and Mária Bieliková. Personalized text summarization based on important terms identification. In Proceedings of the 23rd International Workshop on Database and Expert Sytems Applications, pp. 131-135, 2012.

[30]Guangbing Yang, Dunwei Wen, Kinshuk, Nian-Shing Chen, and Erkki Sutinen. Personalized text content summarizer for mobile learning: An automatic text summarization system with relevance based language model. In Proceedings of the 2012 IEEE Fourth International Conference on Technology for Education, pp. 90-97, 2012.

[31]Uriel Ramírez, Yasmín Hernández, and Alicia Martínez. Towards personalized summaries in spanish based on learning styles theory. Research in Computing Science, Vol. 148, No. 5, pp. 115-123, 2019.

[32]Zehra Kavasoğlu and Şule Gündüz Öğüdücü. Personalized summarization of customer reviews based on user's browsing history. International Journal on Computer Science and Information Systems, Vol. 8, No. 2, pp. 147-158, 2013

[33]Mickaël Poussevin, Vincent Guigue, and Patrick Gallinari. Extended recommendation framework: Generating the text of a user review as a personalized summary. In Proceedings of the 2nd Workshop on New Trends on Content-Based Recommender Systems co-located with 9th ACM Conference on Recommender Systems, pp. 34-41, 2015.

[34]Chandan Kumar, Prasad Pingali, and Vasudeva Varma. Generating personalized summaries using publicly available web documents. In Proceedings of the 2008 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology, pp. 103-106, 2008

[35]Xindong Wu, Fei Xie, Gongqing Wu, and Wei Ding. Personalized news filtering and summarization on the web. In Proceedings of the 2011 IEEE 23 rd International Conference on Tools with Artificial Intelligence, pp. 414 $421,2011$.

[36]William C. Mann and Sandra A. Thompson. Rethorical structure theory: Toward a functional theory of text organization. Text, Vol. 8, No. 3, pp. 243-281, 1988

[37]Daniel Marcu. Improving summarization through rhetorical parsing tuning. In Proceedings of the 6th Workshop on Very Large Corpora, pp. 206-215, 1998.

[38]XiPeng Qiu, TianXiang Sun, YiGe Xu, YunFan Shao, Ning Dai, and XuanJing Huang. Pre-trained models for natural language processing: A survey. 2020.

[39]Yang Liu and Mirella Lapata. Text summarization with pretrained encoders. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3730-3740, 2019.

[40]Jingqing Zhang, Yao Zhao, Mohammad Saleh, and Peter J. Liu. PEGASUS: Pre-training with extracted gap-sentences for abstractive summarization. In Proceedings of the 37th International Conference on Machine Learning, pp. 11328-11339, 2020.

[41]Chuhan Wu, Fangzhao Wu, Mingxiao An, Jianqiang Huang, Yongfeng Huang, and Xing Xie. NPA: Neural news recommendation with personalized attention. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery \& Data Mining, pp. 2576-2584, 2019.

[42]Kyunghyun Cho, Bart van Merriënboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using RNN encoder-decoder for statistical machine translation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1724-1734, 2014.

[43]Filippo Maria Bianchi, Daniele Grattarola, Lorenzo Livi, and Cesare Alippi. Graph neural networks with convolutional ARMA filters. arXiv:1901.01343v6, pp. 1-15, 2020.

[44]Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, 2004

[45]John E. Mitchell. Branch-and-cut algorithms for combinatorial optimization problems. Handbook of Applied Optimization, pp. 65-77, 2002.

[46]Manfred Padberg and Giovanni Rinaldi. A branch-and-cut algorithm for the resolution of large-scale symmetric traveling salesman problems. SIAM Review, Vol. 33, No. 1, pp. 60-100, 1991

[47]Hiroaki Takatsu, Mayu Okuda, Yoichi Matsuyama, Hiroshi Honda, Shinya Fujie, and Tetsunori Kobayashi. Personalized extractive summarization for a news dialogue system. In Proceedings of the 8th IEEE Spoken Language Technology Workshop, 2021.

[48]Nancy Chinchor. MUC-4 evaluation metrics. In Proceedings of the 4th conference on Message understanding, pp. 22-29, 1992.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# Analysis of Biden's Victory Speech

Reiji Miura ${ }^{\dagger} \quad$ Sumiyo Nishiguchi ${ }^{\ddagger}$
Department of Economics, Faculty of Commerce, Otaru University of Commerce ${ }^{\dagger}$
Center for Language Studies, Otaru university of Commerce
reiji.01101114@gmail.com ${ }^{\dagger} \quad$ nishiguchi@res. otaru-uc. ac. jp

## 1 Introduction

We listened to the US President-Elect Joe Biden's speech and analyzed its characteristics.

President-elect Joe Biden emphasized unity in his first address to the nation since securing the White House on November 7th, 2020. He gave a victory speech in Wilmington, Del., where he called on Democrats and Republicans to stop demonizing one another and find a way to compromise. He made a speech using a total of 1818 words.

## 2 Speech Content

Biden got a lot of votes. He has won with the most votes ever cast for a presidential ticket in the history of America. At first, he spoke about his wife, Jill. He said that Jill was going to make a great first lady. He is so proud of her. He had a lot of repetitive expressions in speech.

He used the phrase "the battle to" six times. It briefly describes what he wants to do for America.

He said he was looking ahead. He used "ahead to an America" five times. It shows the potential of America. He may be emphasizing the words by repeating the same words.

The content of his speech is about a spouse, transgender, corona measures, turning point of America and possibility of America.

We thought that his repetitive expression made it easier to understand the important points of the speech and what he wanted to emphasize.

## 3 Frequency of Word Usage

As above, he made a speech using a total of 1818 words. We have summarized the words that appeared frequently in speech in a table. The following graph Table 1 shows the 10 most frequently used words.

 \\

Table 1 The 10 most frequently used words at Biden's victory speech.

From this result, it was found that articles and conjunctions are frequently used. He used "and" a lot, so we can see that he has a lot of opinions. Also, because he uses "our" frequently, which suggests inclusion and thoughts about the people and colleagues.

Next, let's examine the frequency of use of nouns only. The result is the following graph. It shows the 10 most frequently used words.

 \\

Table 2 The 10 most frequently used nouns in Biden's victory speech

From this result, many words about America and people are used. In other words, these frequent nouns display that the priorities of the country and the people in his speech.

## 4 Repetitive Expressions

As mentioned earlier, Biden used repetitive expressions. The first one is "the battle to". He said "America has called upon us to marshal the forces of decency, the forces of fairness. To marshal the forces of science and the forces of hope in the battles. The battle to control the virus, the battle to build prosperity, the battle to secure your family's health care. The battle to achieve racial justice and root out systemic racism in this country. And the battle to save our planet by getting climate under control." in speech. "The battle to" is used 6 times in the text. From this, the audience may infer a strong will to solve the problems of coronavirus and racial discrimination, which are the current problems in the United States.

Next is "ahead to an America". He said "We're always looking ahead. Ahead to an America that is freer and more just. Ahead to an America that creates jobs with dignity and respect. Ahead to an America that cures diseases like cancer and
Alzheimer's. Ahead to an America that never leaves anyone behind. Ahead to an America that never gives up, never gives in, this great nation." In speech. "ahead to an America" is used 5 times and sounded to be the gist or the conclusion of this speech. Biden concisely expresses what he wants to do by using repetitive expressions. The word "an" added in front of the "America" makes it more impressive.

## 5 Conclusion

Listening to Biden's speech, we found that he used a lot of repetitive expressions. The content is emphasized by repeated expressions. We analyzed the word frequencies. The result showed that "the battle to" was used six times to briefly describe the future directions. "Ahead to an America" appeared five times, which showed the potential of America.

## References

1. Bird, Steven, Ewan Klein, and Edward Loper (2009) Natural Language Processing with Python: Analyzing Text with the Natural Language Toolkit

O'Reilly, Sebastopol, CA.

2. Nishiguchi, Sumiyo (2020) "The Semantics of Reduplication" Shin Handai Eibungakkai Sosho 2: Eigogaku no Fukamari, Eigogaku karano Hirogari, Eihosha, Tokyo.

3. Scott, Mike and Christopher Tribble (2006) Textual Patterns:

Key Words And Corpus Analysis in Language Education, John Benjamins, Amsterdam.

4. The New York Times (2020) "Read Joe Biden's President-Elect Acceptance Speech:

Full Transcript,"

https://www.nytimes.com/article/biden-speechtranscript.html

5. CNN Politics (2020) "President-elect Joe Biden Seeks to Unite Nation with Victory Speech"
https://edition.cnn.com/2020/11/07/politics/bid en-victory-speech-2020-election/index.html 6. The Washington Post, "Joe Biden's Victory Speech, Annotated"

https://www.washingtonpost.com/politics/2020

/11/07/annotated-biden-victory-speech/


# 共参照情報を活用した映画のあらすじ要約生成

川原田将之 $\dagger$ 長谷川駿 $\dagger$ 上垣外英剛 $\dagger$ 高村大也 $\dagger$ 奥村学 $\dagger$
$\dagger$ 東京工業大学 $\S$ 産業技術総合研究所
\{kawarada@lr., hasegawa.s@lr., kamigaito@lr., takamura@, oku@\}pi.titech.ac.jp

## 1 はじめに

インターネット上の映画情報サイトでは，様々な 映画のあらすじを読むことができる。その中には映画内容を詳細に記した長文のあらすじも多く存在す る.しかし，読者には必要最低限の情報が含まれた 簡潔なあらすじを読みたいという需要も大きい。そ こで，本研究では，映画内容が詳細に記載されたあ らすじを自動要約し, 簡潔なあらすじを作成する単一文書要約手法の研究を行う。一般的な文書要約の アプローチには大きく分けて抽出型と生成型が存在 する。しかし，映画のあらすじでは，1文であって も人物に関して詳細な記述がされている場合があ り，文を抽出単位とした抽出型要約では冗長になる ことが予想される。 そのため, 本研究では映画のあ らすじ要約を生成型文書要約として定式化する.

我々が調査したところ，映画をドメインとする要約用データセットは存在していなかった。 そこで まず，映画情報サイトである IMDb (Internet Movie Database $)^{1}$ からデータの収集を行い，映画全体のス トーリーが詳細に書かれたあらすじと，それに対応 した要約文書であるあらすじ要約がぺアとなった映画要約データセットを構築した。

映画のあらすじには，文書要約の研究で広く用い られているニュース記事と比べて，人称代名詞が多用されるという特徴がある。しかし, 現在の生成型要約モデルではそれらを十分に考慮できているとは 言えない。そこで，我々は入力文書のエンコード時 に共参照情報を明示的に活用した要約手法を提案す る.また，本研究で作成した映画要約データセット は，CNN/Daily Mail(以下 CNN/DM) データセット [1] などのニュース記事要約用データセットと比べると 小規模である。そのため，本研究では，ドメインの 異なる大規模な要約データセットでモデル全体の事前学習を行った後，映画要約データセットを用いて fine-tuning を行う.

1) https://www.imdb.com/評価実験において，共参照情報を明示的に活用す る提案手法，そしてドメインの異なる大規模なデー タセットを用いた事前学習による性能向上が，自動評価指標に関し確認された。

## 2 関連研究

単一文書要約に関する研究は幅広く行われている $[2,3]$ が，小説や映画などの物語を対象とした研究 は少ない $[4,5]$.

ニューラルネットワークによる生成型要約は,文書を入力，要約を出力とした Encoder-Decoder モデルをべースとして行われる [6]. 近年で は，BERT (Bidirectional Encoder Representations from Transformers) に代表される事前学習済みエンコーダ $[7,8]$ を文書要約タスクに適応学習する研究が行わ れている。Liu ら [9] は，BERTを用いて文書全体を エンコードした後，Transformer[10] でデコードする ことにより，事前学習済みのエンコーダを使った生成型文書要約を行った。

$\mathrm{Xu}$ ら [11] は，予め文書の談話構造と共参照関係 を表すグラフを作成しておき，BERT から得られた 隠れ状態を Graph Convolution Networks (GCN)[12] で 更にエンコードすることにより，EDU 単位で抽出型要約を行っている．Xu らの研究は，文書の共参照関係を取り入れたモデルであり本研究と近いが，本研究は生成型要約であることから，同じ手法でモデ ルに共参照情報を組み込むことが出来ない。また，用いるデータセットのドメインも異なっている.

## 3 映画要約データセット

映画のあらすじ要約を行うにあたり，映画ドメイ ンの要約データセットの構築をした後，作成した データセットの分析を行う.

## 3.1 データセットの作成

映画データの収集先として映画情報サイトである IMDb を選択した，IMDb は，映画情報をユーザー
表 1 映画要約データセットと CNN/DM データセットの比較

が自由に投稿できるようになっており，ネタバレを 含まず簡潔に書かれた Plot Summaries と映画全体の 内容が詳細に書かれた Plot Synopses の 2 種類のあら すじを投稿することができる.

まず，IMDb が公開している映画の固有 ID リ スト2)に記載されている作品を元に映画データ を収集した. 次に，収集した映画データの中で Plot Synopses にテキストが存在しない作品やPlot Summaries の文書長が Plot Synopses の文書長を上回っている作品を削除し3)，最終的に 27,414 作品 のデータを取得した. そして，作品単位でデータ の分割を行った後, Plot Synopsis をあらすじ, Plot Summaries をあらすじ要約としてデータセットを構築した。

## 3.2 データセットの分析

文書数，入力文書長，出力文書長，人称代名詞 が文書に占める割合のそれぞれについて，映画要約データセットと CNN/DM データセットで比較を 行ったもの先を表 1 に示す. 入力文書長, 出力文書長，人称代名詞が文書に占める割合の值は，全デー タの平均値である.

投稿の規定上, Plot Summaries は複数投稿できる のに対して，Plot Synopsis は 1 作品につき 1 つしか 投稿出来ないため，1つのあらすじに対して複数の あらすじ要約が存在するデータセットとなってい る. train/valid/test セットのそれぞれについて，あら すじは 21,931/2,743/2,740 データであるのに対して, あらすじ要約は $43,281 / 5,461 / 5,529$ データとなって おり, 1 作品あたり平均して約 2 種類のあらすじ要約が存在していることを意味する.

また，各あらすじ文書中に存在する単語の中で 人称代名詞の割合は $7.17 \%$ であった. これは，CNN データセットに含まれる割合よりも 40\%程度高く， DM データセットよりも $30 \%$ 程度高い値である。

2) https://www.imdb.com/interfaces/

3）テキストが存在していても記号のみの場合などは削除した.

4）単語分割には Stanford CoreNLP 3.8.0を用いた.

## 4 提案手法

先行研究 [9]をべースに，共参照情報を明示的に 活用できるよう改良を加えた生成型要約モデルを図 1 に示す. 本手法ではまず，あらすじに対する共参照解析 [13] を行い，共参照グラフ（4.1 節で後述）を 作成する．その上で，あらすじを BERTでエンコー ドした後，グラフエンコーダを用いて共参照グラフ に基づき隠れ状態を更新する。最後に Transformer でデコードを行うことであらすじ要約を生成する。

## 4.1 共参照グラフ

共参照解析とは，文書内で言及されている名詞句等の表現対が同一の対象を指しているか否かを判別 する処理のことである.

共参照関係にある表現は，1 単語から成る表現だ けではなく, 人物名など複数単語から成る表現も存在する。また，BERTの入力はサブワードに分割さ れている必要があり, 1 単語の表現であっても複数 のサブワードから構成されている場合がある.

これらを扱うため，トークン分割後のある表現 $s=\left.\{s_{1}, s_{2}, \ldots, s_{M}\right.\}$ の中で, 最初と最後のサブワー ドである $s_{1}, s_{M}$ をその表現を代表するサブワード $s_{\text {start }}, s_{\text {end }}$ とする ${ }^{5)}$. そして, 同一対象を示す各表現に対して， $s_{\text {start }}, s_{\text {end }}$ 同士をそれぞれ独立して連結する. 最後に，各サブワードに self-loop エッジを 追加することで，サブワードをノードとする共参照 グラフを作成した.

## 4.2 BERT を使ったエンコード

先行研究に従い，前処理として入力テキストをサ ブワードに分割し, 入力の最初に [CLS] ラベル, 各文の最後に $[\mathrm{SEP}]$ ラベルを追加する．その上で，入力 $\mathbf{x}=\left.\{x_{1}, \ldots, x_{n}\right.\}$ は次式によってエンコードされ,隠孔状態 $\mathbf{h}=\left.\{\mathbf{h}_{1}, \ldots, \mathbf{h}_{n}\right.\} \in \mathbb{R}^{d \times n}$ を得る：

$
\left.\{\mathbf{h}_{1}, \ldots, \mathbf{h}_{n}\right.\}=\operatorname{BERT}\left(\left.\{x_{1}, \ldots, x_{n}\right.\}\right) .
$

ここで，dは隠れ状態の次元を表している。
}, s_{\text {end }}\right)=\left(s_{1}, s_{1}\right)$ とする.
}

図 1 共参照情報を活用した生成型要約モデル

## 4.3 グラフエンコーダ

$L$ 層のグラフエンコーダを用いて, BERTから出力 された隠れ状態 $\mathbf{h}$ の更新を行う. $l$ 層目のグラフエ ンコーダの出力を $\mathbf{h}^{(l+1)}=\left.\{\mathbf{h}_{1}^{(l+1)}, \ldots, \mathbf{h}_{n}^{(l+1)}\right.\} \in \mathbb{R}^{d \times n}$ と表すと, $\mathbf{h}_{i}^{(l)}$ から $\mathbf{h}_{i}^{(l+1)}$ への更新は次のように行 われる。

まず，共参照グラフで繋がっているサブワー ド間で情報の交換を行うため，Gated Graph Neural Networks (以下 GGNN)[14] により $\mathbf{h}_{i}^{(l)}$ を $\mathbf{u}_{i}^{(l+1)}$ に変換する。 $\mathbf{u}_{i}^{(l+1)}$ は次の式で計算される：

$
\begin{aligned}
\mathbf{m}_{i}^{(l+1)} & =\sum_{j \in \mathcal{N}(i)} \mathbf{W}^{(l)} \mathbf{h}_{j}^{(l)} \\
\mathbf{u}_{i}^{(l+1)} & =\operatorname{GRU}^{(l)}\left(\mathbf{m}_{i}^{(l+1)}, \mathbf{h}_{i}^{(l)}\right)
\end{aligned}
$

ここで， $\mathcal{N}(i)$ は共参照グラフにおいて $i$ 番目のサブ ワードとエッジで繋がったサブワードの集合であ る. $\mathbf{W}^{(l)} \in \mathbb{R}^{d \times d}$ は $l$ 層目の学習パラメータである. $\mathbf{h}_{i}^{(l+1)}$ は $\mathbf{u}_{i}^{(l+1)}$ と $\mathbf{h}_{i}^{(l)}$ を用い次式で更新される：

$
\mathbf{h}_{i}^{(l+1)}=\operatorname{LayerNorm}\left(\mathbf{h}_{i}^{(l)}+\operatorname{ReLU}\left(\mathbf{u}_{i}^{(l+1)}\right)\right) \text {. }
$

$\mathbf{h}^{(1)}$ には BERT の出力 $\mathbf{h}$ を用い，最終的に $L$ 層目 から $\mathbf{h}^{(L+1)}$ が出力される.

## 4.4 デコーダ

先行研究 [9] と同様に，デコーダにはランダムに 初期化された Transformer[10]を用いる. グラフエン コーダにより出力された隠れ状態 $\mathbf{h}^{(L+1)}$ を使ってあ らすじ要約の生成を行う。

## 4.5 CNN/DM データセットによる事前学習

3.1 節で作成した映画要約データセットは, CNN/DM データセットに比べて規模が小さい. そ
のため，未学習であるグラフエンコーダやデコーダ を含むモデルを映画要約データセットのみで学習す ることは困難である。

そこで，CNN/DMデータセットを用いてグラフエ ンコーダやデコーダを含むモデル全体を事前学習し た後，映画要約データセットによる fine-tuning を行 う. fine-tuning の際には，モデル全体の学習率を低 くすることで事前学習の情報を保ちつつ学習する。

## 5 実験

提案手法の要約性能を評価するため, 先行研究モ デルである BERTSUMABS[9]をベースラインに自動評価による比較実験を行う。

## 5.1 実験設定

先行研究の実装6)を基に実験を行った. GGNN の 実装には，PyTorch geometric ${ }^{7}$ を用いた。実験に必要 なハイパーパラメータは, 基本的にデフォルト值を 用いた. ただし，グラフエンコーダは $L=2$, ドロ ップアウト率 $=0.2$ とした.

CNN/DM 事前学習+映画データ: 事前学習では, BERT の学習率を 0.002, warming-up ステップを 20,000 とし, グラフエンコーダとデコーダの学習率 を 0.2, warming-up ステップを 10,000 とした. 学習 は 200,000 ステップ行い，CNN/DM データセットの 開発データで Perprexity が最も小さいステップの重 みを選択した。そして，選択した重みから更に映画要約データセットで fine-tuning を行う. fine-tuning では，BERT，グラフエンコーダ，デコーダの全てで 学習率を 0.002 , warming-up ステップを 20,000 とし

6) https://github.com/nlpyang/PreSumm

7) https://github.com/rusty1s/pytorch_geometric
表 2 自動評価結果

た上で 50,000 ステップの学習を行った.

映画データのみ：CNN/DM 事前学習の効果を確認 するため, 映画データのみでも学習を行う. 先行研究に従い BERT の学習率を 0.002, warming-up ス テップを 20,000 とした. また, グラフエンコーダ とデコーダの学習率を 0.2, warming-up ステップは 10,000 とした. 学習は 50,000 ステップを行った.

## 5.2 実験結果

先行研究同様, ROUGE-1, -2, -L (R-1, R-2, R-L) [15] による自動評価結果を表 2 に示す. 表には異な る初期値から学習した 3 モデルの平均値を記し, 太字はベースラインに対する差が有意 $(p=0.05)$ であ ることを表す。

映画データのみで学習した場合をみると, ベー スラインと比べて，提案手法は ROUGE スコアが それぞれ $0.27,0.21,0.27$ 改善しており, 共参照情報 によって要約性能が向上したことがわかる。次に， CNN/DM で事前学習を行った場合と映画データの みで学習した場合を比較する. ベースライン同士 の比較で ROUGE スコアがそれぞれ $1.80,0.97,1.28$改善しており, 事前学習の効果は大きいことがわ かる. CNN/DM で事前学習を行った場合において ベースラインと提案手法を比較すると，ROUGE ス コアで $0.20,0.05,0.20$ 改善しており, ROUGE-1 と ROUGE-L では有意な差があった. 事前学習を行っ た場合でも共参照情報は要約性能の向上に寄与して いることがわかる. また，提案手法モデルで共参照 グラフを用いず， self-loop エッジのみをグラフエン コーダに入力するとべースラインよりも悪化した. これは, ベースラインよりもグラフエンコーダ部分 における未学習のパラメータが増加することで，学習が困難になるためであると考えられる。

更に, ベースラインと提案手法の出力例を図 2 に示す. 各モデルの出力の中で，あらすじと対応

図 2 ベースラインと提案手法の出力例

している箇所を青字で示してある。あらすじでは “decide to conceal” の主語は “Harry's relatives” であ るが，ベースラインでは “Harry's parents” となって いる.これは，あらすじの中で直前に "his parents, lily and James Potter” に関する記述があり，一般的に “parents”と “relative” は近い表現であるため，モデ ル側が上手く区別できていないからであると考え られる。一方，提案手法では “his relatives” と正し く出力出来ている.これは, 近い表現であったして も，共参照情報によって人物の区別が容易になった と考えることができる.

## 6 まとめ

本研究では，映画のあらすじ要約を生成型文書要約として行った. 映画ドメインの要約用データセッ 卜を作成し，共参照情報を考慮した生成型要約手法を提案した. ROUGE スコアに基づく評価実験の 結果，提案手法が従来手法を上回り，ROUGE-1 と ROUGE-L では有意に上回っていた. また, 出力文書を比較すると提案手法では人物に関する記述で真実性の改善が見られた。今後は，人手による評価も 交えて提案手法の有効性を確かめたい。

## 参考文献

[1] Karl Moritz Hermann, Tomas Kocisky, Edward Grefenstette, Lasse Espeholt, Will Kay, Mustafa Suleyman, and Phil Blunsom. Teaching machines to read and comprehend. In NIPS, 2015.

[2] Abigail See, Peter J. Liu, and Christopher D. Manning. Get to the point: Summarization with pointer-generator networks. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1073-1083, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[3] Jiwei Tan, Xiaojun Wan, and Jianguo Xiao. Abstractive document summarization with a graph-based attentional neural model. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1171-1181, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[4] Rada Mihalcea and Hakan Ceylan. Explorations in automatic book summarization. In Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL), pp. 380-389, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[5] Anna Kazantseva and Stan Szpakowicz. Summarizing short stories. Computational Linguistics, Vol. 36, No. 1, pp. 71-109, 2010.

[6] Ramesh Nallapati, Bowen Zhou, Cicero dos Santos, Çağlar Guçehre, and Bing Xiang. Abstractive text summarization using sequence-to-sequence RNNs and beyond. In Proceedings of The 20th SIGNLL Conference on Computational Natural Language Learning, pp. 280-290, Berlin, Germany, August 2016. Association for Computational Linguistics.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. CoRR, Vol. abs/1907.11692, , 2019.

[9] Yang Liu and Mirella Lapata. Text summarization with pretrained encoders. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3730-3740, Hong Kong, China, November 2019. Association for Computational Linguistics.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon,
U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008. Curran Associates, Inc., 2017.

[11] Jiacheng Xu, Zhe Gan, Yu Cheng, and Jingjing Liu. Discourse-aware neural extractive text summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5021-5031, Online, July 2020. Association for Computational Linguistics.

[12] Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. CoRR, Vol. abs/1609.02907, , 2016.

[13] Kenton Lee, Luheng He, Mike Lewis, and Luke Zettlemoyer. End-to-end neural coreference resolution. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 188-197, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[14] Yujia Li, Daniel Tarlow, Marc Brockschmidt, and Richard Zemel. Gated graph sequence neural networks, 2015. cite arxiv:1511.05493Comment: Published as a conference paper in ICLR 2016.

[15] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.


# 抽出型要約の書き換えによる要約生成

高塚雅人
早稲田大学 理工学術院
}

小林哲則
早稲田大学 理工学術院
}

林良彦

早稲田大学 理工学術院

takatsuka@pcl.cs.waseda.ac.jp
## 1 はじめに

自動要約の手法は大きく抽出型要約と生成型要約の二つに分けられるが，近年，その二つの手法を 組み合わせた手法 [1][2][3][4] も多く提案されてい る. 抽出型と生成型を組み合わせた既存手法の多く は，抽出型要約モデルを使って原文書の重要な文を 抜き出し，それらを生成型要約モデルに入力してパ ラフレーズや文圧縮を行う．これらの手法では，原文書中の文と人が書いた参照要約文のペアを作成 し, 生成型要約モデルにそのぺアの書き換えを学習 させるが，どのようなぺアをどのようにして抽出し 学習に用いるかが問題となる. 既存手法 [1][2][3][4] では, 人が作成した参照要約の各文に対して, 最も ROUGE-L が高い文をぺアとして抽出しているが，表 1 の上部に示すように，対応付けが適切でないぺ アが抽出されてしまう場合が多く存在し，このよう な場合，適切な書き換えを学習することは困難で ある。

そこで本研究では，参照要約の各文とこれに対応 する原文書中の各文 (以下，ソース文) に対して編集距離を用いた対応付けにより学習データとして抽出 するペアを制限すること，および，学習する生成型要約モデルを単に抽出型要約に対する後処理として 用いることを提案する. 前者により対応する文がな い要約文や高い抽象化を行った要約文を排除し，抽出型要約を書き換えることによる要約生成の精度を 向上させることを狙う. また，後者のシステム構成 とすることで, 抽出型要約の問題点である高い冗長性や代名詞的な共参照の欠損などを後処理によって 修正する。

今回，我々が作成するソース文-要約文のペアは，編集距離の意味で類似性が高いぺアに限定している ため, 通常の機械翻訳のようにソース文-要約文のぺ アを source-target ペアとして用いると，入力を盲目的にコピーした出力が得られることがある. Dong表 1 ソース文-要約文ペアの例

既存研究 [1]: ROUGE-L Recall: 0.273

ソース文:We reveal how to get the enviable physiques of the stars.

要約文:Her super-sculpted arms are envy of women the world over.

提案手法: 正規化した編集距離: 0.857

ソース文:His performances in such a role, however, have been somewhat mixed.

要約文:Midfielder 's previous performances in defense have been mixed.

ら [5] は Simplification Task において同様の問題を指摘し，complex-simple な文のペアを source-target ペア として暗示的に編集を学習するより，編集操作の系列を target として用いて明示的に編集を学習するこ とで精度が向上したと報告した。本研究では，Dong らの手法を基として，明示的な編集操作の系列を学習する抽出型要約書き換えモデルを提案する。

代表的な要約のデータセットとして, CNN DailyMail のデータセット [6] を使用して実験を行っ た. 我々の提案手法である抽出型要約に対する後処理を行うことで，後処理を行わない場合より高い ROUGE スコアと人間による評価が得られたことを 確認した。

## 2 関連研究

抽出型と生成型を組み合わせた要約生成手法は 多くの既存研究 [1][2][3][4] が存在する. Chen ら [1] は, 抽出型要約モデルと生成型要約モデルを個別 に学習した後に, 生成型要約モデルで書き換えた 文の ROUGE スコアを報酬として抽出型要約モデ ルを強化学習する手法を提案した. Bae ら [4] は, Chen ら [1] の手法では抽出型要約の精度が先頭の 三文を抜き出すべースラインより劣っていること と，文レベルの ROUGE の最適化が必ずしも要約全体の ROUGE の最適化に繋がらないことを指摘し， BERT[7]を利用した抽出型要約モデルと，要約全体

の ROUGE を最適化するような強化学習の枠組みを 提案した. 本研究は, 既存研究 [1][2][3][4] のように ソース文-要約文のペアを全て学習に用いるのでは なく，うまく対応付けが出来ていないぺアや高い抽象化を行っているぺアをフィルタリングし，データ セットから排除する。

抽出型要約の後処理として，文圧縮や共参照のエ ラーの修正などを行うことは古くから研究されてい る. Mendes ら [8] は，各文に対して文圧縮を施した CNN DailyMail データセットとオラクルサマリーの セットを作成し，それらを用いて文の抽出と文圧縮 を学習するモデルを提案した. Antunes ら [9] は, 共参照解決器を用いて, 抽出型要約内の共参照関係の エラーの修正を行い，17 個の文のスコアリング手法 と 4 つの抽出型要約システムを用いてその影響を 調査した. Antunes らは，共参照のエラーの修正に よって要約の一貫性, 流暢さ, 可読性を向上させる ことができたと報告した. 本研究では, 既存研究の ように，文圧縮や共参照のエラーの修正をそれぞれ 単体で扱うのではなく, 抽出型要約に対する後処理 をソース文と参照要約文のペアからデータドリブン に学習を行う。

## 3 提案手法

本研究では，編集距離に基づくソース文-要約文間の対応づけとフィルタリングによるデータセット 構築と, 明示的な編集操作を学習する抽出型要約の 書き換えモデルを提案する。

$\mathrm{N}$ 文からなる原文書を $D=\left[d_{1}, \ldots, d_{N}\right]$ とし，原文書の $\mathrm{i}$ 番目の文を単語系列 $d_{i}=\left[w_{1}, \ldots, w_{K}\right]$ で表 す. また，人が作成した $\mathrm{M}$ 文からなる参照要約を $S=\left[s_{1}, \ldots, s_{M}\right]$ とし，ソース文-要約文間の編集操作 の系列を $\left[z_{1}, \ldots, z_{L}\right]$ とおく。

## 3.1 データセット構築

既存研究 [1][2][4] では ROUGE-Lを用いてソース 文-要約文間の対応付けを行い，生成型要約モデル を学習している. 本研究では，ソース文を書き換え ることによって生成することが難しい要約文や，高 い抽象化を行っているソース文-要約文ペアをフィ ルタリングするために, ROUGE-L ではなく, 二つ の文間の編集度合いを測ることができる編集距離を 用いる. 本研究では, 以下の式で各要約文 $s_{t}$ に対す
るソース文 $d_{j_{t}}$ を選ぶ.

$
j_{t}=\operatorname{argmin}_{i}\left(\frac{\operatorname{lev}\left(d_{i}, s_{t}\right)}{\left|d_{i}\right|}\right)
$

$\operatorname{lev}\left(d_{i}, s_{t}\right)$ は $\left(d_{i}, s_{t}\right)$ 間の編集距離を, $\left|d_{i}\right|$ はソース 文 $d_{i}$ の単語数を表す. その後, 正規化した編集距離 が閾値以下のぺアのみをデータセットに加える。閾值はデータからいくつかの候補を設定し，ベースラ インモデルの精度で決定をした。

## 3.2 提案モデル

本研究で提案するモデルを図 1 に示す. このモデ ルは, Dong ら [5] のモデルを基に，作成したソー ス文-要約文のペア間の明示的な編集操作を学習 する. Dong ら [5] が提案したモデルは, 入力テキ ストからある単語 $\mathrm{w}$ に対する編集操作を予測す る programmer と, programmer が過去に予測した編集操作によって部分的に編集された文を入力と し, programmer の予測を補助する interpreter からな る. 本研究で提案するモデルも Dong らのモデル と同様に programmer と interpreter から構成される が，Transformer[10] ベースのモデルを programmer と interpreterに用いる点が異なる.

本研究では編集操作として $[\mathrm{ADD}(\mathrm{W}), \mathrm{KEEP}$, DEL]を定義する. $\operatorname{ADD}(\mathrm{W})$ は単語 $\mathrm{W}$ を追加, KEEP は現在の単語を保持, DEL は現在の単語を削除する 操作である. 作成したソース文-要約文ペアに対し て編集操作の系列を生成し, モデルに学習させる. また，各ぺアに対する編集操作の系列を一意にする ために，KEEP，DELの前に $\mathrm{ADD}(\mathrm{W})$ が来るという 制約を加える。

## 3.2.1 programmer

programmer には, 事前学習済みの encoder decoder model の BART[11]を用いる. BART は Transformer[10] ベースのアーキテクチャを採用 しており, 生成型要約において高い精度を報告して いる. 提案モデルは, 推論時に抽出型要約を一文 づつ書き換えていくので，過去の文に対してどの ような編集を行ったかを知る必要がある。そこで， encoder には原文書に加えて，要約の先行文脈を入力する. 要約の先行文脈について詳しくは 4.2 で述 べる. また, encoder は入力された原文書と要約の 先行文脈をそのままでは見分けることができないた め, encoderの入力ベクトルには, PositionalEncoding に加えて，各文の役割を伝える SentenceID ゙ククトル

図 1 提案モデルの概要図: 青字は書き換え対象のソース文を，赤字は要約の先行文脈を示す.

を追加する．SentenceID は，書き換え対象のソース 文，書き換え対象以外の本文，要約の先行文脈の三 つからなる. 入力テキストの $\mathrm{i}$ 番目の単語ベクトル を $e_{i}$ とすると,encoderへの入力べクトル $x_{i}^{e}$ は以下 のように計算される.

$
x_{i}^{e}=e_{i}+\text { PositionalEncoding }(i)+\text { SentenceID }(i)
$

PositionalEncoding と SentenceID はそれぞれ学習中に 更新される. また encoder の出力 $h^{e}$ は以下のように 計算される.

$
h^{e}=\operatorname{Trans}_{l}^{e}\left(h_{l-1}^{e}\right)
$

$\operatorname{Trans}_{l}^{e}$ は1層目の Transformer 層， $h_{l-1}^{e}$ は 1-1 層目の Transformer 層の出力を示す.

時刻 $\mathrm{t}$ において，書き換えを行うソース文の $k_{t}$ 番目の単語 $w_{k_{t}}$ に対する編集操作 $z_{t}$ を予測する場合, decoder には単語系列 $w_{1: k_{t}}$ を入力する. i 番目の単語べクトルを $e_{i}$ とすると, decoderへの入力ベクト ル $x_{i}^{d}$ は以下のように計算される.

$
x_{i}^{d}=e_{i}+\text { PositionalEncoding }(i)
$

また decoder の出力 $h^{d}$ は以下のように計算される.

$
h^{d}=\operatorname{Trans}_{l}^{d}\left(h_{l-1}^{d}, h^{e}\right)
$

$\operatorname{Trans}_{l}^{d}$ は 1 層目の Transformer 層, $h_{l-1}^{d}$ は 1-1 層目の Transformer 層の出力, $h^{e}$ は encoder の出力を示す.

## 3.2.2 interpreter

interpreter は，decoder と全く同じアーキテクチャ を用いて，decoder と重みを共有する。時刻 $\mathrm{t}$ におい て，過去にモデルが出力した編集操作系列 $z_{1: t-1}$ に 従って，ソース文を部分的に編集した単語列 $y_{1: j_{t-1}}$ を interpreterに入力する. interpreter は, decoderと 同一の構造なので， interpreter の出力 $h^{i n t}$ は，式 4, 5 を用いて計算される.最終的な編集操作のラベルの確率分布 $P_{\text {edit }}$ は以下のように計算される.

$
P_{\text {edit }}=\operatorname{softmax}\left(W_{\text {out }}\left(\operatorname{relu}\left(W_{d} h_{k_{t}}^{d}+W_{\text {int }} h_{j_{t-1}}^{\text {int }}\right)\right)\right)
$

$W_{\text {out }}, W_{d}, W_{\text {int }}$ は学習パラメータ, $h_{k_{t}}^{d}$ は $k_{t}$ 番目の 単語に対する decoder の出力, $h_{j_{t-1}}^{i n t}$ は $j_{t-1}$ 番目の単語に対する interpreter の出力である。 $k_{t}, j_{t-1}$ はそれ ぞれ過去に出力した編集操作系列 $z_{1: t-1}$ から決定さ れる． $P_{\text {edit }}$ の次元数は，BART の語彙数 $V$ に対し て，KEEP と DEL のラベルを加えた $V+2$ となる.

## 4 実験

## 4.1 データセット

本研究では，ニュース記事の要約のデータセッ トである CNN DailyMail (CNN-DM) のデータセッ ト [6] を用いる。CNN-DM データセットのニュー ス記事と参照要約をそれぞれ文分割し，3.1の 手法を用いてソース文-要約文のペアを作成し た. 作成した $1,070,203$ ペアのうち, 正規化した 編集距離の閾値が 0.95 以下のペアのみを採用 し，それぞれ学習/validation/テストデータとして， 240,918/14,814/11,806 ペアを作成した. その後，各 ペアに対して編集操作系列を生成した.

## 4.2 実験設定

本研究では，抽出型要約を入力として書き換え を行う要約生成実験と人手による評価を行った. なお，書き換え処理単体での機能を確認するため， ソース文-要約文ペアのテストデータを用いた事前実験を行っている．その詳細については，付録 A. 1 に示す。

抽出型要約を入力として書き換えを行う要約生成実験では， 4.1 で作成したデータセットを用いて
提案モデルを学習させ，推論時には，抽出型要約を 先頭から一文ずつ書き換えた. 学習時に，参照要約 の $\mathrm{j}$ 番目の文を生成する際は， $\mathrm{j}-1$ 番目までの文を 要約の先行文脈として使用し, 推論時には, 過去に 書き換えた要約文を先行文脈として使用した。ま た, 抽出型要約として, lead3 と matchsum[12]を実験に用いた. ベースラインモデルとして，提案モデ ル (programmerのみ)において, 編集操作系列ではな く，要約文を target に用いたモデルを使用した. 評価指標として ROUGE-1，ROUGE-2，ROUGE-Lを使用した. 詳しい学習条件は付録 A. 2 に示す.

また，抽出型要約とモデルが書き換えた要約を比較した人手による評価を行った. 評価基準として要約の冗長性，理解のしやすさ，全体的な評価の三つ を設定した. 冗長性は, 要約内に同じ表現の繰り返 しゃ，無駄な情報が含まれていないかを表す. 理解 のしやすさは，要約のみを読んだ際に要約が読みや すく，要約の内容を簡単に理解できるかを表す。全体的な評価では，上記の二つの観点を踏まえて，要約として好ましいかどうかを表す. CNN-DM のテ ストデータから，ランダムに 100 サンプル選び，ど ちらの要約の方が冗長性が少ないか/理解しやすい か/要約として好ましいかを評価した．また，各指標について，どちらの要約も同じくらい良い/悪い 場合は fair を選択する. 実験は Amazon MTurk 上で 行い，各サンプルについて 5 人のワーカーが評価を 行った. 各ワーカーはまず参照要約を読み, ニュー スの概要を理解したうえで，各要約を読み，評価を 行った.

## 4.3 結果・考察

## 4.3.1 抽出型要約の書き換えを行う要約生成実験

抽出型要約の書き換えを行った実験結果を表 2 に 示す. 表2 の R-1，R-2，R-LはROUGE-1，ROUGE-2, ROUGE-Lを示す. lead3 は，記事の先頭三文を抜き 出した抽出型要約の結果, matchsum (ours) は Zhong ら [12] が提案したモデルを再現した場合の結果を 示す. lead3+提案モデル， matchsum+ベースライン， matchsum+提案モデルは, それぞれ抽出型要約をモ デルに入力した場合の結果を示す. 表 2 に示すよう に, matchsum+提案モデルが最も高い ROUGE スコ アとなり，提案モデルで抽出型要約を書き換えるこ とで精度が向上することがわかった. また, lead3 を提案モデルに入力した際もスコアが向上してお表 2 抽出型要約の書き換え実験結果

表 3 人手による評価実験結果

り，提案モデルは，抽出型モデルに依存しないこと が分かる. ベースラインモデルと比較すると，提案 モデルは，特に ROUGE-2 が高くなった. 要約の生成例は，付録の表 4 に示す.

## 4.3.2 要約の人手評価

要約の人手評価結果を表 3 に示す。抽出型要約 (matchsum) と，それを提案モデルで書き換えた要約 を評価に使用した．表の数值は，各評価指標におい $\tau$, matchsum, matchsum+提案モデル, fair の選択肢 を選んだ人数を表す。表 3 から分かるように，全 ての指標で，提案モデルを用いて抽出型要約を書き 換えた要約が高いスコアとなり, 抽出型要約を書き 換えることで，要約の冗長性が減り，より理解しゃ すくなり，要約としての全体の評価が向上すること が分かる．特に，㔯長性の観点でよりスコアが向上 した。表 3 の**は，有意水準 $1 \%$ で，*は，有意水準 $5 \%$ で有意差があることを示す.

## 5 おわりに

本研究では，抽出型と生成型要約を組み合わせた 手法として，編集距離に基づくソース文-要約文間 の対応付けとフィルタリングを行い，抽出型要約の 後処理を学習することを提案した. また，作成した ソース文-要約文間の明示的な編集操作を学習する モデルを提案した. 自動評価と人手による評価の両方において，提案したモデルによって抽出型要約を 後処理することの有効性を確認した. 今後の方針と して，事実関係のミスなどの観点で，生成型要約 と提案手法の要約の比較を行っていきたい。また， Martin ら [13] の研究のように, 出力をコントロール できるような手法も検討していきたい.

## 参考文献

[1]Yen Chun Chen and Mohit Bansal. Fast abstractive summarization with reinforce-selected sentence rewriting. In $A C L$ 2018, pp. 675-686, 2018.

[2]Edward Moroshko, Guy Feigenblat, Haggai Roitman, and David Konopnicki. An editorial network for enhanced document summarization. In Proceedings of the 2nd Workshop on New Frontiers in Summarization, pp. 57-63, 2019.

[3]Liqiang Xiao, Lu Wang, Hao He, and Yaohui Jin. Copy or Rewrite: Hybrid Summarization with Hierarchical Reinforcement Learning. AAAI 2020, pp. 9306-9313, 2020.

[4]Sanghwan Bae, Taeuk Kim, Jihoon Kim, and Sang goo Lee. Summary level training of sentence rewriting for abstractive summarization. In Proceedings of the 2nd Workshop on New Frontiers in Summarization, pp. 10-20, 2019.

[5]Yue Dong, Zichao Li, Mehdi Rezagholizadeh, and Jackie Chi Kit Cheung. EditNTS: An neural programmer-interpreter model for sentence simplification through explicit editing. In ACL 2019, pp. 3393-3402, 2019.

[6]Karl Moritz Hermann, Tomáš Kočiský, Edward Grefenstette, Lasse Espeholt, Will Kay, Mustafa Suleyman, and Phil Blunsom. Teaching machines to read and comprehend. In $A d$ vances in Neural Information Processing Systems, pp. 16931701, 2015.

[7]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL 2019, pp. 4171-4186, 2019.

[8]Afonso Mendes, Shashi Narayan, Sebastião Miranda, Zita Marinho, André F.T. Martins, and Shay B. Cohen. Jointly extracting and compressing documents with summary state representations. In NAACL 2019, pp. 3955-3966, 2019.

[9]Jamilson Antunes, Rafael Dueire Lins, Rinaldo Lima, Hilário Oliveira, Marcelo Riss, and Steven J Simske. Automatic cohesive summarization with pronominal anaphora resolution. Computer Speech and Language, pp. 141-164, 2018.

[10]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[11]Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-tosequence pre-training for natural language generation, translation, and comprehension. In ACL 2020, pp. 7871-7880, 2020.

[12]Ming Zhong, Pengfei Liu, Yiran Chen, Danqing Wang, Xipeng Qiu, and Xuanjing Huang. Extractive summarization as text matching. In ACL 2020, pp. 6197-6208, 2020.

[13]Louis Martin, Éric Villemonte de la Clergerie, Benoît Sagot, and Antoine Bordes. Controllable sentence simplification. In LREC 2020, pp. 4689-4698, 2020.

[14]Chin-Yew Lin. Rouge: A package for auto- matic evaluation of summaries. In Text summarization branches out: ACL workshop, 2004.

[15]Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing Statistical Machine Trans- lation for Text Simplification. Transactions of the Association for Computational Linguistics, pp. 401-415, 2016.
表 4 要約の生成例: 赤文字は，モデルが削除した部分，青文字は，モデルが追加した部分，マゼンタは，モデルが置換 した部分を表す。

 \\

## A 付録

## A. 1 ソース文-要約文ペアの書き換え実験

ソース文-要約文ペアの書き換え実験では，ソース文-要約文ペアのテストデータを用いて，書き換え単体 の精度を実験した. ソース文をモデルが書き換えた文と，ソース文とぺアになっている要約文間で自動評価を行った. encoder に入力する要約の先行文脈は学習時と同じ設定とした. 評価指標として, ROUGE-1, ROUGE-2, ROUGE-L[14] と SARI スコア [15] を使用した.

ソース文-要約文ペアの書き換え実験の結果を表 5 に示す. source は，編集前のソース文の結果を示し， ベースラインは，提案モデル (programmer のみ) において，編集操作系列ではなく要約文を target に用いた 場合の結果を示す.また表 5 の\% unc. は，無編集の割合を示し，R-1，R-2，R-L は ROUGE-1，ROUGE-2， ROUGE-L を示す. 表 5 から，ベースライン，提案モデル共に書き換えによって，ROUGE スコアが向上して いることがわかる．また，ベースラインと提案モデルの ROUGE スコアに大きな差はなかったが，SARI スコ アでは， 1.69 ポイントと大きく提案モデルが低い結果となった. これは，提案モデルがベースラインと比べ て，単語の削除の予測精度が悪く，DEL のスコアが低くなったからである．また，ベースライン，提案モデ ルの無編集の割合は，ソース文-要約文間の無編集の割合よりも高くなった.

表 5 ソース文-要約文ペアの書き換え実験結果

## A. 2 学習条件

事前学習済みモデルとして BART-large[11] を用いた。初期学習率は 6e-05とし， 500 step の warmup の後,最終的に 20000 step 学習させた. 訓練時には Label Smoothing を導入し， $\varepsilon=0.1$ に設定した. バッチサイズは 16 に設定した. 最適化関数には Adam を用いた.


# BERT モデルを用いた障害レポートに対する重要箇所抽出

本間 広樹 1 小町 守 1 真鍋 章 ${ }^{2}$ 谷本 恒野 2
1 東京都立大学 2 富士電機株式会社
homma-hiroki@ed.tmu.ac.jp, komachi@tmu.ac.jp
\{manabe-akira, tanimoto-kouya\}@fujielectric.com

## 1 はじめに

世の中はあらゆる機器にあふれている。これらの 機器が不具合を起こすたびに，保全担当員によって 障害レポートが作成される。日々作成されている障害レポートから自動で重要な部分を抽出すること は，保全担当員による異常箇所の特定と対処や，設備運用者による適切な設備運転対応，コールセンタ オペレータによる迅速・適切な顧客対応に役立つ と考えられる。障害レポートは主に，状況，要因及 び措置の 3 種類の内容から構成される文章である。 レポート内の各文は，前述の 3 種類とその他の内の どれか，あるいは複数に分類できる。本研究では 分類済みの 3 種類の文章である, 状況，要因及び措置から，それぞれ重要部分を抽出することを目的と する.

近年ニューラルネットワークを用いた大規模な モデルの研究が盛んに行われ，様々な自然言語処理 タスクで高い精度を出している. しかし, 本研究で 扱うデータは数百件程度と規模が非常に小さく，大規模なモデルを一から学習するのは困難である．そ こで，本研究では，小規模なデータに対する有効性 が確認されている事前学習モデルに着目し，障害レ ポートを対象とする重要部分抽出タスクに対する有効性を検証する。

さらに，本研究では質問応答形式によるマルチ タスク学習手法を提案する. 抽出元文章には状況,要因及び措置の 3 種類のソースがあるが，提案手法 では，既存の質問応答形式の fine-tuning 手法を流用 し，抽出元文章，ソース及び重要箇所をそれぞれ， コンテキスト，質問及び解答としてモデルに入力 し，全ソースを併せて学習を行う。これによってモ デルがソースの違いを認識し，より高い精度の抽出 ができるようになることが期待できる点や，既存の fine-tuning 手法を用いるため，低コストで実装でき
る点が利点として挙げられる。

また，複数ソースが存在する場合の学習方法につ いて考えると，各ソースで抽出モデルを学習する か，全ソースを併せた抽出モデルを学習するかの 2 通りが存在する。しかし，それぞれの方法には次の ような問題が存在する．各ソースで抽出モデルを作成する場合には，モデルが増える問題や，別ソース に含まれる有用な情報を学習できなくなる問題が考 えられる。また，全ソースを併せて抽出モデルを学習する場合には，あるソースの抽出精度が，別ソー スに含まれる情報によって低下する可能性が考えら れる.ここで，「事前学習モデルを用いて抽出する 際に，複数ソースデータを同一モデルに学習するマ ルチタスク学習がどの程度有用か」という疑問が生 じる。そこで，本研究では，「異なるソースのデー タでマルチタスク学習を行う際の有効性は，ソース 間類似度に依存する」という仮説を立て，マルチタ スク学習の有効性とソース間類似度の関係性を検証 する。

## 2 関連研究

## 2.1 事前学習モデル

近年，事前学習モデルが様々な自然言語処理夕 スクで最先端の性能を達成している。これは，大規模なニューラル言語表現モデルを事前学習し，下流タスクごとにそのモデルに出力層を追加して fine-tuning することで，幅広いタスクを高い精度で 解くことができるというものである.

特に，2019 年に Devlin らによって考案された Bidirectional Encoder Representations from Transformers (BERT) [1] というアーキテクチャが当時様々なタス クで最先端の性能を達成し，広く使われている。こ のモデルは Transformer [2]を双方向に接続すること で構成されている. Transformer [2] は従来の一般的

 &  &  & エルボの経年劣化 &  & ゲートパルブを交換 \\

図1障害レポートに対するアノテーション例

図 2 質問応答形式による fine-tuning のモデル なニューラルモデルで使われる畳み込みニューラル ネットワークや再帰ニューラルネットワークを用い ず，注意機構のみで構成されたモデルである.

Devlin らの研究 [1] は英語を用いて行われている が，日本語版の事前学習済み BERT モデルもいくつ かの機関から公開されている. 本研究では事前学習 モデルを提供する Hugging Face の Transformers ${ }^{1)}$ を通して簡易に利用可能である，日本語の Wikipedia のデータを用いて学習された, 東北大学が公開して いるモデル2）を用いる.

## 2.2 重要箇所の抽出タスク

本研究と類似した形式の，障害レポートからの 重要箇所抽出タスクを行っている研究に，EncoderDecoder モデルを用いて系列ラベリング問題とし て解いている先行研究 [3] が存在する. この先行研究では事前学習モデルを用いず，Long short-term memory (LSTM) を用いている。このモデルをべース ラインとして事前学習モデルの有効性を評価する。

また, この重要箇所抽出タスクは, 出力の形式 が文や文章ではなくその一部という違いはあるも

のの，抽出型要約タスクと類似している。抽出型要約はドキュメント内の重要な文を識別するこ とによって行われており，最近ではニューラルモ デルを用いて文分類の問題として解かれている. SUMMARUNNER [4] はニューラルモデルを用いた初期の抽出型要約システムであり，エンコーダには 再帰ニューラルネットワークを用いている。また， BANDITSUM [5] はドキュメントを context，要約文選択を action とした contextual bandit 問題として解いて いる。そして，SWAP-NET [6] はドキュメント内の 際立った文とキーワードの両方を異なるエンコーダ で探し，文とキーワードを各デコードステップで選択するスイッチ機構によりそれらを組み合わせて抽出要約を形成するシステムである。 さらに，事前学習モデルを用いた要約タスクの研究も行われてお り，その有効性が確認されている [7]. これらの研究は英語を対象としているが，本研究ではより小規模な，日本語の障害情報レポートに対する事前学習 モデルの有効性を確認する。

## 3 障害情報レポートの重要箇所抽出

## 3.1 タスク設定

本研究で用いるデータは， 1 件の障害レポートか ら人手で抽出された，状況，原因及び措置の 3 文章 に対してそれぞれ重要箇所を 1 箇所以上手動抽出し たものである。重要箇所のアノテーション例を図 1 に示す。本研究は，状況，原因及び措置の 3 種類の 文章からそれぞれ重要箇所を自動で抽出することを 目的とする。

## 3.2 手法

## ベースライン: LSTMを用いた文圧縮 ベース ラインとして小平らによる関連文章を考慮した LSTM による文圧縮手法 [3] を用いる。この手法は， Filippova らの手法 [8] を元にしており，LSTM を用

いて文圧縮を系列ラベリングタスクとして解いてい る. さらに，3 種類の文章を同時に別々のエンコー ダに入力し, それらの出力を連結し, 次元数を揃え るための線形変換を行い，種類ごとのデコーダに入力する操作を行っている. この操作により複数の文章全体を考慮した重要箇所の抜き出しに取り組んで いる.

提案手法: 日本語 BERTを用いた文圧縮 本研究 では日本語データで事前学習済みの言語表現モ デルである日本語 BERT に対して質問応答形式の fine-tuning を行うことで文章抽出モデルを作成する. この時，抽出を行う文章の種類をモデルに理解させ るために，状況，原因及び措置のラベルを質問とし て入力する. 質問応答形式の fine-tuning のモデルを 図 2 に示す. 文章の種類のラベルを入力すること で，複数種類によるマルチタスク学習の性能の向上 を図る。実装にはTransformers に含まれるスクリ プト，run_qa.pyを用いる.

## 4 実験

## 4.1 データ

本研究では，富士電機（株）が保有する設備保全 の障害レポート 194 件に対して， 3.1 節で説明した アノテーションを付与したものを使用する。また，元データに含まれる，人名，企業名及び場所はそれ ぞれ MAN，COMPANY 及びPLACE にマスキングを施し ている.

## 4.2 実験設定

比較手法として以下 2 つの手法を用いる.

-小平ら [3] の手法 (MultiLSTM)

・質問応答形式で日本語 BERT を fine-tuning する 提案手法 (BERT-QA)

各手法のハイパーパラメータの設定は以下の通り である.

MultiLSTM ドロップアウト率を 0.4，学習率を 0.001，勾配クリッピングを 6 に設定する. その他の ハイパーパラメータの設定は先行研究 [3] に従う.

BERT-QA 事前学習済みモデルとして, 東北大学が公開している日本語 BERT の内, whole word masking を適用して学習させているモデル3)を用い る. 学習率を 0.005 ，バッチサイズを 12 ，エポック
 whole-word-masking表 1 各モデルの適合率，再現率及び $\mathrm{F}_{2}$ スコア

数を 10 ，保存ステップを 10 に設定し，最良のモデ ルを開発セットによって選択する。各文章の種類の ラベルとして，状況，原因及び措置の 1 単語をその まま用いる。その他のハイパーパラメータの設定は 先行研究 [1] に従う.

また，どちらの手法においてもデータを 5 等分に 分割し，そのうち 3 つを併せたものを学習セット， 1つを開発セット，残りの 1 つを評価セットとして 用いる形で， 5 分割交差検証を行う。さらに，この タスクはユーザに重要箇所をなるべく多く提示する ことが重要なため, 評価手法には適合率に 2 倍の重 みを付ける評価尺度である $\mathrm{F}_{2}$ スコアを用いる。

## 4.3 先行研究との性能比較

表 1 に各モデルの適合率，再現率及び $\mathrm{F}_{2}$ スコア を示す. 提案手法である BERT-QA が先行研究の結果を大幅に改善していることが見て取れる.このこ とより，数百件程度の極めて小規模なデータを用い た重要箇所抽出タスクにおいても事前学習モデルが 有用であることが分かる.

## 4.4 ソース間類似度とマルチタスク学習

マルチタスク学習の有効性を調べるために，ま ず，ソース間類似度を計測する。計測には本実験 と同様の日本語 BERT を用い, 文の先頭に挿入す る [CLS]トークンの最終隠れ状態（図 2 の入力から Type 及び [SEP] トークンを除いた場合のC）を文べ クトルとして利用する。ここで，文章から重要箇所 を抽出するタスクにおけるソース間類似度を捉える ために，重要箇所の文べクトルから元の文章の文べ クトルを引いたべクトルを事例ごとの抽出べクトル として定義する。

表 2 に全事例の抽出べクトルのソースごとの平均をコサイン類似度により比較した結果を示す. 状況-原因及び原因-措置の対は比較的類似度が高く,状況-措置の対の類似度が低くなっていることが確認できる.

次に，学習データの種類を制限する実験を行う. 3 種類のソースが存在し, その内 1 種類あるいは 2 種類のソースのデータを利用してモデルを学習し，

表 3 各モデルのソース毎の $\mathrm{F}_{2}$ スコア

表 4 各モデルの出力結果の比較

 & を要します。 &  \\

合計 6 種類のモデルを新たに作成する.

表 3 にソースの種類を絞って学習した場合の結果を示す. 各列が利用した学習データ, 各行が評価 データのソースを示している．学習データが「すべ て」であるのは先行研究との比較実験で使用したモ デルと同一のものである. 基本的には少ないソース で個別にモデルを学習したほうが抽出精度が高いこ とが見て取れる。

ここで表 2 に示すソース間類似度に着目し，単一 ソースで学習した場合に対して2ソースでマルチタ スク学習した場合を比較する．類似度が高かった原因と措置及び状況と原因はそれぞれ-0.074 と-0.059 及び+0. 013 と-0.042 ポイントの差があり, その平均 は-0.041 ポイントである。それに対し，類似度が低 かった状況と措置は-0.025と-0.009 ポイントの差で あり，その平均は-0.017 ポイントであり，ソース間類似度が高い場合よりも良い結果となっている.つ まり，質問応答形式を用いた抽出タスクを行う場合，BERT モデルを用いて算出したソース間類似度 が高いほどマルチタスク学習の効果が高くなるわけ ではないことが言える.

## 4.5 ケーススタディ

表 4 に各モデルの出力結果を示す4). 抽出元文章内の赤いゴシック体の箇所は重要箇所の参照であ る. 例 1 は抽出にある程度成功している例である。 どちらのモデルに対しても抽出元文章が短い場合は 精度が高くなる傾向が見受けられた. 例 2 の各モデ ルの出力を比較すると, MultiLSTM の出力が非文に

なっているのに対し, BERT-QA の出力は参照の範井を大きく逸脱しているものの，意味が通る出力に なっていることが分かる. この BERT-QA の出力が MultiLSTM に比べて流暢であるという傾向は全体を 通して見られた。また，例 3 において，MultiLSTM は重要箇所が存在しないと判断している.これは学習データに含まれる類似する事例が少ないことが 原因の 1 つとして考えられ，MultiLSTM では全体を 通して散見された。それに対して BERT-QA は正し く出力できており, MultiLSTM に比べてデータセッ トが小規模な場合の抽出にも有効であると考えら れる。

また，BERT-QAにおける出力を分析すると，抽出元の長い文章全てを重要箇所として判定してし まっている誤りがいくつか存在した。これに関して は，重要箇所の最大系列長をヒューリスティックに 決定し，上位の出力候補から条件を満たすものを選択することでさらなる精度の向上を図ることが可能 と考えられる。

## 5 おわりに

本研究では BERT モデルに対する質問応答形式の fine-tuning を利用した重要箇所抽出抽出手法を提案 した. この手法では既存の実装を用いて容易に抽出型要約を行うことができ，LSTMを用いた既存手法 に比べて $\mathrm{F}_{2}$ スコアで 0.26 ポイントと大幅に精度が 向上することを示した. さらに，ソース間類似度に 着目したマルチタスク学習の有効性を分析し, デー タが少ない場合，ソース間類似度が高いほどマルチ タスク学習の効果が高くなるとは一概に言えないこ とを発見した。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL 2019, pp. 4171-4186, 2019.

[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS 2017, pp. 5998-6008. 2017.

[3] 小平知範, 宮崎亮輔, 小町守. 障害情報レポートに対す る同時関連文章圧縮. 言語処理学会年次大会 2017, pp. 186-189, 2017.

[4] Ramesh Nallapati, Feifei Zhai, and Bowen Zhou. Summarunner: A recurrent neural network based sequence model for extractive summarization of documents. In Satinder P. Singh and Shaul Markovitch, editors, AAAI 2017, pp. 3075-3081, 2017.

[5] Yue Dong, Yikang Shen, Eric Crawford, Herke van Hoof, and Jackie Chi Kit Cheung. BanditSum: Extractive summarization as a contextual bandit. In EMNLP 2018, pp. 3739-3748, 2018.

[6] Aishwarya Jadhav and Vaibhav Rajan. Extractive summarization with SWAP-NET: Sentences and words from alternating pointer networks. In ACL 2018, pp. 142-151, 2018.

[7] Yang Liu and Mirella Lapata. Text summarization with pretrained encoders. In EMNLP-IJCNLP 2019, pp. 37303740, 2019.

[8] Katja Filippova, Enrique Alfonseca, Carlos A. Colmenares, Lukasz Kaiser, and Oriol Vinyals. Sentence compression by deletion with LSTMs. In EMNLP 2015, pp. 360-368, 2015.


# 言語特徴量導入によるソーシャルスキルレベル推定の性能向上

佐賀健志
奈良先端科学技術大学院大学
saga.takeshi.sn0@is.naist.jp
岩坂英巳
奈良県立医科大学精神医学講座
iwasaka@heartland.or.jp

## 1 はじめに

ソーシャルスキルは他者とのコミュニケーションに おいて重要な要素のひとつである。通常、私たちは幼少期にこれらのスキルを習得するが、自閉症スペクト ラム症候群（ASD）や統合失調症などの影響で大人に なってから困難に直面する人もいる [1]。ほとんどの 日常生活はいくつかのソーシャルスキルの複合的な応用を必要とするため、そのようなスキルがなければ日常生活は非常に難しいものとなる。

この難しさを軽減する方法のひとつとして、ソー シャルスキルトレーニング（SST）がある。Bellack ら によるとSST は「条件付き反射療法」と「相互抑制に よる心理療法」、「社会的学習理論」に基づいており、様々な分野で広く使用されてきた $[2,3,4,5,6]$ 。また、 SST は特定の疾患だけを対象としているわけではない ため、精神疾患を抱える人だけではなく、ソーシャル スキルに悩みを抱える健常者でもソーシャルスキル レベル向上の効果が期待できる点も特徴のひとつで ある。

SST は一般的な手法になりつつあるが、効果的な SST を行えるようになるまでのトレーニングのハード ルの高さなどの理由によりセラピストの数が不足して いるため、受けたいと思った人がすぐには受けられな いのが現状である [7]。この状況を改善するために、先行研究においてSST 自動化が提案されてきた。

一般的な SST は「苦手スキルの明確化」「練習スキ ルの選択」「いい例と悪い例を見る」「ロールプレイ」「評価」「フィードバック」の順で行われる。SST の 効果を最大化するためには「苦手スキルの明確化」 が特に重要である。人対人のSSTにおいてこの段階 は口頭のコミュニケーションにおいて行われるが、現状の自動対話エージェントでの実現はまだまだ難田中宏季

奈良先端科学技術大学院大学

hiroki-tan@is.naist.jp

中村哲

奈良先端科学技術大学院大学

s-nakamura@is.naist.jp

しい。そのため著者らは先行研究において、マルチ モーダル特徴量を入力として解釈性の高い線形回帰を 用いてきた $[8,9]$ 。本稿では既存手法に言語特徵量と して BERT 埋込類似性（単語間-内容語間-文間）、 Word2Vec 埋込類似性（単語間-内容語間-文間）、 フィラー・代名詞・接続詞割合、隣接文間内容語一致割合を加え、特徴量選択を行うことでソーシャルスキ ルレベル推定性能の向上を目指す。

## 2 先行研究

先行研究において、誰でもSSTを利用できるような 環境実現を目指し、いくつかの仮想エージェントによ る自動化が提案されている。

Tanaka らは仮想エージェントによるマルチモー ダル対話システムを使用して、SST の自動化を試み た [10]。彼らの研究では、ユーザのスピーキングスキ ル向上を目的に設定し、スピーキングレベルを測定す るための評価指標としてスピーキングスキルスコアを 用いている。このスコアは経験豊富な数人のセラピス トによってつけられた点数の平均值で、ユーザのソー シャルスキルレベルの推定モデルを学習させる際の正解ラベルとして用いられた。しかし、このスコアはセ ラピストの主観に基づいているため、個人のバイアス がかかっている可能性を含んでいる。

Voleti らは Social Skills Performance Assessment (SSPA) タスクにおいて撮影された動画から書き 起こされたテキストのみを用いて、SSPA スコアを相関係数 0.752 で予測できることを示した [11]。しか し、使用したデータの SSPA スコアは 1 人のアノテー タの主観に基づいているため、Tanaka らの場合と同様 の問題を含む可能性が存在する。

これらの問題を解決するために本研究ではセラピス トの主観に依存しない評価指標、対人応答性尺度に基

づいてモデルの学習・性能評価を行った。

## 3 対人応答性尺度 (SRS-2)

対人応答性尺度（SRS-2）は、65 項目の質問で構成 される評価指標である。SRS-2 は元々、自閉症スペク トラム障害（ASD）を潜在的に抱えている人を評価す るために設計されたが、統合失調症などの精神疾患を 区別することもできることが報告されている [12]。ま た、健康な人々を対象とした実験においても被験者の ASD 傾向を判別できることが確認されているため、本尺度は信頼性の高い総合的評価指標として使用でき ると期待される。他者評定版と自己評定版が存在する が、本研究では自己評定版を使用した。

本研究では、SRS-2 の「総合スコア」とその治療下位尺度である「社会的コミュニケーション（65 項目の うち 22 項目)」を学習時の目的変数として利用した。 SRS-2 の総合スコアには、純粋なコミュニケーション スキルだけではなく生活スタイルなどに関する項目も 含まれるため、ユーザのソーシャルコミュニケーショ ンスキルをより明確に示している社会的コミュニケー ションスコアも使用することとした。

社会的コミュニケーションスコアと総合スコアは、相関係数 0.92 と高い相関であった。その一方で、先行研究で使用されていたセラピストの主観評価値 であるスピーキングスコアとの相関係数は、それぞ れ-0. 19 と-0.29 という弱い負の相関であった [13]。ま た、SRS-2 は ASD 傾向を評価する目的で開発された ため、SRS スコアが高い人ほどソーシャルスキルレべ ルは低いことを意味する点に注意が必要である。

## 4 マルチモーダル特徵量

ソーシャルスキルは発言内容だけではなく表情や声 の抑揚などの複合的な要素によって構成されているた め、本研究では機械学習モデルへの入力としてマルチ モーダル特徴量を使用する。基本的な特徵量は先行研究の特徴量セットをべースとし、言語特徵量を新しい ものに入れ替えた。

## 4.1 音声・画像特徴量

先行研究と同様に、28 項目の音声特徴量と 26 項目 の画像特徴量を使用している [9]。28 項目の音声特徴量は類似タスクである自動面接評価システムに使用さ れていたものを応用したものである $[14]^{11}$ 。

表 1 言語特徴量

## 4.2 言語特徵量

先行研究の入力特徴量において、音声特徴量 ・画像特徴量の数に比べて言語特徴量の数が少なかったた め、予測に必要な言語情報を十分に抽出できていない 可能性があった [9]。その問題を解決するため、アル ツハイマー病の検出に使用されていた言語特徴量を参考に表 1 に示した特徴量を導入した [15]。元論文では Word2 Vec 埋め込みに基づいた隣接発話間コサイン類似度の平均・最大・最小値を特徴量の一部として用い ていたが、本研究では埋め込みを BERT 由来のもの に、発話間類似度を文間・単語間 - 内容語間類似度に 拡張している。

具体的な特徴量の算出方法は以下の通りである。実装にあたり BERT 埋込の算出には Transformers ライブ ラリの Whole-word-masking で事前学習された日本語 BERT モデルを使用し、Word2 Vec 埋込算出には chiVe を使用している $[16,17,18]$ 。

## 4.2.1 BERT word、 w2v word

まず、BERTと Word2Vecによって各単語に対する 埋込ベクトル（単語レベル埋込）を算出する。その 後、隣接単語間でコサイン類似度を計算する。それら 類似度を発話テキスト全体の総単語数で平均すること でこれらの特徴量は算出された。

## 4.2.2 BERT_cont、w2v_cont

まず、BERTと Word2Vecによって各内容語に対す る埋込ベクトル（内容語レベル埋込）を算出する。事前学習済み BERTでは、前処理で入力文が Subword に 分割されるため、そのままでは内容語と BERT 埋込べ クトルとの対応が取れない。そのため、形態素解析
器 Sudachi で分かち書きされた単語と BERT-tokenizer で分割された sub-word で文字レベル一致度を算出し、内容語に対して 0.25 を超えたものを内容語 BERT 埋込ベクトルとして使用した [19]。そして、隣接内容語間でコサイン類似度を計算し、それらを発話テキスト 全体の総内容語数で平均することでこれらの特徴量は 算出された。

## 4.2.3 BERT_sent、w2v_sent

単語レベル埋込の隣接単語間コサイン類似度を算出後、各文に含まれる総単語数で平均をとる（文レベル 類似度)。それら文レベル類似度を発話テキスト全体 の総文数で平均することでこれらの特徴量は算出さ れた。

## 4.2.4 Conj\%、Filler\%、Pronoun\%

まず、Sudachi によって文を単語に分割した後、原型に戻す。その後、発話テキスト全体における総単語数に対する接続詞・フィラー・代名詞の割合を算出す ることでこれら特徴量は得られた。

## 4.2.5 Neighbor_cont

まず、Sudachiによって文を単語に分割した後、原型に戻す。その後、隣接文間での内容語の一致割合を 算出することでこれら特徴量は算出された。

## 5 実験

## 5.1 学習データ

学習データには、先行研究によって得られた日本語 の 1 分間スピーキングビデオを使用した [13]。まず、被験者はノートパソコンの画面を介して MMDAgent (http://www.mmdagent.jp/) で作成された仮想エー ジェントに対して、最近あったうれしかった出来事に ついて 1 分間話す。被験者が話している間、被験者の 顔の映像と声が記録され、後日、アノテータによっ てテキストに書き起こされた。1分間の発話終了後、 SRS 質問紙を用いて、被験者の生活スタイルやコミュ ニケーションスタイルなどについて記入してもらっ た。以上のような手順によって 27 人の健康な被験者 のデータセットは作成された。うち 1 名のデータにて 特徴量抽出における外れ値が確認されたため、それを 除外した 26 名のデータを今回は使用している。

## 5.2 相関分析

まず、各特徵量と SRS との間の関連性を調べるた めに相関分析を行った。その結果を表 2 に示す。こ こでSRS は総合スコア、Com は社会的コミュニケー ションスコアを示している。いずれの特徴量におい ても、SRS スコアとの有意な相関は見られていない ( $>>0.05$ )。

単語レベルの BERT_word や内容語レベルの BERT_cont、Filler\%で比較的高い正の相関が確認でき る。その一方で単語レべルの $\mathrm{w} 2 \mathrm{v} \_$word は比較的強い 負の相関を示しており、BERTを用いた特徴量とは異 なる言語的特徴を取得している可能性が示唆される結果となった。

## 5.3 特徵量選択

一般に線形回帰のような単純な機械学習モデルに対 して特徴量選択を行うことで推定精度が向上するこ とが知られている。本研究でもそれに倣い、各特徴量と SRS スコアの Pearson 相関係数に基づいた Filter Method によって特徴量選択を行った後、線形回帰で SRS スコア予測を試みた。先行研究において 10 個の 特徴量で線形回帰を行っていたため、それに倣い本研究では上位 10 個の特徴量選択を行うこととした [10]。提案手法に対する特徴量選択によって選ばれた特徴量 を表 4 に示す。また、特徵量選択を行う場合と行わな かった場合の特徴量セットを用いた線形回帰による予測結果を表 3 に示す。ここでRMSE は真値と予測値 のずれを表す二乗平均平方根誤差、Correl は Pearson 相関係数を示している。比較のために従来手法に対し て同様の操作を行った場合の結果も示している [9]。

表 4 特徴量選択結果（上位 10 個）

特徴量選択をしなかった場合、いずれの指標におい ても性能が低下する結果となった。その一方で特徴量選択を行った場合、総合スコア予測において性能が向上し、今回試した全ての手法の中で最も高い相関と低 いRMSE を達成した。参考までに特徴量選択後の提案手法で SRS 総合スコアを予測した場合の真值と予測值の散布図を図 1 に示す。

## 6 考察

相関分析において Filler\%が比較的高い正の相関を 示しており、ソーシャルスキルと関連している特徴量 である可能性が示された。先行研究のスピーキングス コア予測でもフィラーは重要特徴量として挙げられて おり、今回の結果によって SRS スコア予測でも同様 のことが言えることがわかった [10]。

表 3 において相関係数が向上していることから、特徵量選択が推定性能の向上に大きく寄与していること が確認できる。特に、SRS 総合スコア予測においては 提案手法に対して特徴量選択を行った場合が最も高い 相関係数となっており、有効性が示唆されている。一方で、社会的コミュニケーションスコア予測に関して は、提案手法に特徴量選択をおこなった場合よりも既存手法に対して特徴量選択を行った場合のほうが有効

図 1 提案手法による総合スコア予測 $(\mathrm{r}: 0.76)$

であることが確認された。

表 4 に示されている上位 10 個の選択された特徴量 を比較すると、社会的コミュニケーションスコア予測 を行った場合にのみ、言語特徴量の BERT_cont が現 れていることが確認できる。このことから全体のスコ ア予測には言語的内容が重要ではない可能性が示さ れた。

## 7 おわりに

本研究では既存手法に新たな特徴量を追加し、特徴量選択を行うことで SRS スコア推定性能向上を実現 した。また、特徴量選択の結果、ソーシャルスキルレ ベル推定において重要特徴量となりうる候補が挙げら れた。今後は実例と照らし合わせながらより詳細な分析を行う必要がある。

## 8 謝辞

本研究は、CREST 戦略的創造研究推進事業 (JPMJCR19A5) および JSPS 科研費 (JP17H06101 およ び JP18K11437) の支援を受けて行われたものである。

## 参考文献

[1]Children and Adults with AttentionDeficit/Hyperactivity Disorder. Relationships \& social skills. Accessed August 15, 2020.

[2]A. Salter. Conditioned reflex therapy. Creative Age Press, 1949.

[3]J. Wolpe. Psychotherapy by reciprocal inhibition. Stanford University Press, 1958.

[4]A. Bandura. Principles of behavior modification. Holt, Rinehart and Winston, 1969.

[5]Kim T. Mueser and Alan S. Bellack. Social skills training: Alive and well? Journal of Mental Health, pp. 549-552, 2007.

[6]A. S. Bellack, K. T. Mueser, S. Gingerich, and J. Agresta. Social Skills Training for Schizophrenia: A Step-by-Step Guide. Guilford Press, 2 edition, 2004.

[7]一般社団法人 SST 普及協会. 認定講師. Accessed October $5,2020$.

[8]T. Saga, H. Tanaka, H. Iwasaka, and S. Nakamura. Objective prediction of social skills level for automated social skills training using audio and text information. In ICMI ' 20 Companion: Companion Publication of the 2020 International Conference on Multimodal Interaction, pp. 467-471. Association for Computing Machinery, New York, NY, United States, 2020.

[9]佐賀健志, 田中宏季, 岩坂英巳, 中村哲. マルチモーダル 情報を用いたソーシャルスキルの客観的推定. HCG シン ポジウム $2020, p p$. A-7-2. 電子情報通信学会, 2020.

[10]Hiroki Tanaka, Hideki Negoro, Hidemi Iwasaka, and Satoshi Nakamura. Embodied conversational agents for multimodal automated social skills training in people with autism spectrum disorders. PLOS ONE, Vol. 12, No. 8, pp. 1-15, 08 2017.

[11]R.Voleti, S.Woolridge, J.M.Liss, M.Milanovic, C.R.Bowie, and V.Berisha. Objective assessment of social skills using automated language analysis for identification of schizophrenia and bipolar disorder. In Proceedings of INTERSPEECH2O19, pp. 1433-1437, 2019.

[12]MD John N. Constantino and PhD Christian P. Gruber. Social Responsiveness Scale, Second Edition (SRS-2)Back. Western Psychological Services, 2012

[13]H. Tanaka, H. Iwasaka, H. Negoro, and S. Nakamura. Analysis of conversational listening skills toward agent-based social skills training. Journal on Multimodal User Interfaces, Vol. 14, No. 1, pp. 73-82, Mar 2020.

[14]I. Naim, M. I. Tanveer, D. Gildea, and M. E. Hoque. Automated analysis and prediction of job interview performance. IEEE Transactions on Affective Computing, Vol. 9, No. 2, pp. 191-204, April 2018.

[15]A.Balagopalan, B.Eyre, F.Rudzicz, and J.Novikova. To bert or not to bert: Comparing speech and language-based approaches for alzheimers disease detection. In Proceedings of INTERSPEECH2020, pp. 2167-2171, 2020.

[16]Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, R'emi Louf, Morgan Funtowicz, and Jamie Brew. Huggingface's transformers: State-of-the-art natural lan- guage processing, 2019.

[17]真鍋陽俊, 岡照晃, 海川祥毅, 高岡一馬, 内田佳孝, 浅原正幸. 複数粒度の分割結果に基づく日本語単語分散表現. 言語処理学会第 25 回年次大会 (NLP2019), pp. NLP2019-P8-5. 言語処理学会, 2019.

[18]河村宗一郎, 久本空海, 真鍋陽俊, 高岡一馬, 内田佳孝, 岡照晃,浅原正幸. chive 2.0: Sudachi とnwjc を用いた実用的な日本語単語ベクトルの実現へ向けて. 言語処理学会第 26 回年次大会 (NLP2020), pp. NLP2020-P6-16. 言語処理学会, 2020.

[19]K. Takaoka, S. Hisamoto, N. Kawahara, M. Sakamoto, Y. Uchida, and Y. Matsumoto. Sudachi: a japanese tokenizer for business. In Nicoletta Calzolari (Conference chair), Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi, Koiti Hasida, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Asuncion Moreno, Jan Odijk, Stelios Piperidis, and Takenobu Tokunaga, editors, Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Paris, France, may 2018. European Language Resources Association (ELRA).

## A 付録：使用した特徵量一覧

表 A. 1 に使用した特徴量一覧を示す。

表 A. 1 使用した特徵量（上から音声・画像）


# 語りに傾聴を示す応答の表出されやすさの推定

伊藤滉一朗 $\dagger 1$ 村田匡輝 $\dagger 2$ 大野誠寛 $\dagger 3$ 松原茂樹 $\dagger 4$
$\dagger 1$ 名古屋大学大学院情報学研究科 $\dagger 2$ 豊田工業高等専門学校
$\dagger 3$ 東京電機大学未来科学部 $\dagger 4$ 名古屋大学情報連携推進本部
ito.koichiro@a.mbox.nagoya-u.ac.jp murata@toyota-ct.ac.jp
ohno@mail.dendai.ac.jp matubara@nagoya-u.jp

## 1 はじめに

語ることは人間の基本的な欲求である. 語る行為 は, 聞き手がいて初めて成立する. 日本では, 独居高齢者の増加など社会の個人化が進み $[1,2]$, 聞き 手不在の生活シーンが増加している. 人が語れる機会を増やすことは現代社会の重要な課題である.こ れに対し，コミュニケーションロボットやスマート スピーカーなどが語りを聞く役割を担うことが考 えられる。これらが聞き手として認められるには,「語りを傾聴していることを話し手に伝達する機能」 を備える必要がある。このための明示的な手段は語 りに応答することである. 以降では, 傾聴を示す目的で語りに応答する発話を傾聴応答と呼ぶ.

適切なタイミングでの傾聴応答の表出は, 話し手 の語る意欲を促進する効果が期待できるが, 不適切 なタイミングでの表出は逆効果になりうる. そのた め, 傾聴応答の表出では, その表出タイミングが重要となる. 本論文では, 適切なタイミングでの傾聴応答の自動生成の実現に向けて, あるタイミングが 傾聴応答の生成にどの程度適するかを推定する手法 を提案する. 本研究では, この適切さを表す指標と して, 傾聴応答の表出率を定義し, これを予測する. あるタイミングでの傾聴応答の表出率は, そのタイ ミングで傾聴応答を表出した聞き手の割合とする.

提案手法は，語りの音響情報とテキスト情報を用 いて, 傾聴応答の表出率を予測する. 具体的には, これらの情報を transformer ベースの手法 [3] でエン コードし, エンコード結果を 1 次元に変換して表出率を算出する．提案手法の予測性能の評価のため に, 表出率の予測実験を行ったところ, 語りの音響情報とテキスト情報の両方を予測に使用する提案手法が有効であることを確認した。

図 1 語りと傾聴応答の例

## 2 傾聴応答

傾聴応答は, 話し手の語りに傾聴を伝える応答で あり, 話し手の語る意欲を促進する効果が期待でき る. 図 1 に語りと傾恥応答の例を示す.

## 2.1 傾聴応答の表出率

本研究では, あるタイミングが傾聴応答の生成に どの程度適するかを表す指標として, 傾聴応答の表出率を定義し，これを予測する。 あるタイミングで の傾聴応答の表出率は, そのタイミングで傾聴応答 を表出した聞き手の割合とする．表出率が高いタイ ミングほど，そのタイミングで応答を表出した聞き 手が多いことを意味する．本論文では，傾聴応答の 表出率の予測手法を提案する.

## 2.2 表出率の利用

傾聴応答の生成タイミングに関する従来研究 $[4,5,6,7,8,9]$ では, タイミング毎に, 傾聴応答の生成に適するか否かの二値分類を経て, 生成に適する タイミングを検出してきた. 本研究では, 従来研究 とは異なり, 傾聴応答の表出率を予測する. 従来研究における, 応答生成に適したタイミングか否かの 二值分類は, 行動の選択といえる。一方, 本研究で 行う表出率の予測は，あるタイミングでの状況の予測といえる. 本研究では, 予測された表出率は, 適

図 2 応答タイミング (上部) とテキスト情報 (下部) の例

表 1 応答タイミングを表現するタグ

$<\mathbf{E}_{\mathbf{B}}>\mid$ 文節終端の対象の応答タイミング

$<\mathbf{E}_{\mathbf{P}}>$ ポーズ継続地点の対象の応答タイミング

$<\mathbf{T}_{\mathbf{B}}>\quad$ 文節終端の過去の応答タイミング

$<\mathbf{T}_{\mathbf{P}}>$ ポーズ継続地点の過去の応答タイミング

切な応答生成タイミングの判断に利用されることを 想定する. 表出率を利用した適切な応答生成タイミ ングの判断方法には, 様々な選択肢があると考えら れる. 最も単純な例としては, 表出率がある閾値を 超えた際に応答を生成する方法が挙げられる. この 方法では, 閾値の設定次第で, 応答システムの積極性を表現することも可能である.

表出率の予測は, 従来の二值の予測に比べ, より 細かい粒度での明確な值の予測である. そのため,表出率を予測するシステムは, 二値の予測を行う従来のシステムと比べ, 移植性が高く, 他の要素と組 み合わせやすい。例えば，ユーザの個性や，応答シ ステムとユーザの関係性といった, 表出率以外の要素と組み合わせて, 適切な応答生成タイミングの判断をすることも比較的容易と考えられる。

## 3 傾聴応答の表出率の予測手法

## 3.1 表出率の予測タイミング

提案手法では，応答は語りの言語的境界の直後で 発話されやすいことを踏まえて, (a) 語りの文節終端, (b) 語りの文節終端から $200 \mathrm{~ms}$ ポーズが継続し た点，の二つを傾聴応答の表出率を予測するタイミ ング (以下, 応答タイミング) とする。具体的には, (a) は語りの文節における最終形態素の発話終端時刻である。(b) は, 語りにおいてポーズが継続する 場合にも応答が発話されやすいことを踏まえた応答 タイミングである. 図 2 の上部に，応答タイミング の例を示す.「/」は文節終端を表す. t1 t6の 6 個の 応答タイミングのうち, t4 のみ上記の (b) に該当し, それ以外の 5 個の応答タイミングは (a)に該当する.

図 3 提案モデルの概略

## 3.2 使用する特徵量

提案手法は，語りの音響情報とテキスト情報か ら，表出率を予測する．音響情報としては，対象の 応答タイミング直前のフレームの系列を用いる。フ レーム単位の特徴量には, MFCC の下位 12 次元と ピッチとパワー，及びそれらの $\Delta$ と $\Delta \Delta$ を用いる.

テキスト情報としては，対象の応答タイミング直前のトークンの系列を用いる．トークンは，語りの サブワードと応答タイミングを表現する 4 種のタグ （表 1）から構成される. トークン単位の特徵量に は，トークンの埋め込み表現を用いる。テキスト情報の例を図 2 の下部に示す.この例では，テキスト 情報として, 対象の応答タイミング直前の 3 文節に 含まれるトークンの系列を用いている.

} & \multirow{2}{*}{ 話し手の語り } & \multicolumn{10}{|c|}{ 聞き手の傾聴応答の有無 } & \multirow{2}{*}{ 表出率 } \\

表 2 傾聴応答の表出率の正解値の算出例

図 4 傾聴応答の表出率の正解值の出現割合

## 3.3 表出率の予測モデル

提案モデルの概略を図 3 に示す.ただし， $\mathrm{f}_{\mathrm{i}} \in\left[\mathrm{f}_{1}, \mathrm{f}_{2}, \cdots\right]$ はフレームを, tok $_{\mathrm{j}} \in\left[\right.$ tok $_{1}$, tok $\left._{2}, \cdots\right]$ はトークンを表す。はじめに，音声分析ツールを使用して, 対象の応答タイミング直前のフレーム系列から，音響情報の特徴量行列を抽出する。一方，対象の応答タイミング直前のトークン系列をトー クン埋め込み層に入力して, テキスト情報の特徴量行列を得る. 次に, これら特徴量行列に対して, positional encoding の加算と, 線形変換, ReLU 関数 を適用したのち， 1 層の transformer encoder [3] によ る変換を行う. その後, 変換後の行列に対して, 要素ごとに平均値をとり，音響情報とテキスト情報そ れぞれのエンコード結果であるベクトルを得る. 最後に, これら二つのベクトルを連結させたのち, 線形変換と sigmoid 関数を適用し, 0 以上 1 以下の 1 次元の值に変換することで，表出率を得る.

## 4 傾聴応答の表出率の予測実験

## 4.1 実験データ

## 4.1.1 傾聴応答データ

本実験では，村田らの傾聴応答データ [10]を用い る. 傾聴応答データにおける傾聴応答は, 複数の作業者が録音された語りを聞きながら，それぞれ応答 することで収集されており, 静的な一つの語りに対 して，複数の聞き手の傾聴応答が存在する．録音さ れた語りとして，30 名の高齢者による合計約 8 時間
40 分の語りが収録されているナラティブコーパス JELiCo [11]を使用している.

## 4.1.2 傾聴応答データにおける表出率

本実験では，傾聴応答データの一部である 10 人 の聞き手の傾聴応答 131,616 個を用いた。このデー タ中の応答タイミングに対する傾聴応答の表出率の 正解値は，そのタイミングで応答した聞き手の割合 とした。まず，CaboCha [12]を用いて語りの文節境界を検出したのち，応答タイミングを特定した。次 に，応答の発話開始時刻を，語り中の最も近い応答 タイミングに対応付けた. 最後に, 対応付けの結果 に基づき，傾聴応答の表出率の正解値を算出した。

表 2 に傾聴応答の表出率の正解値の算出例を示 す.この例の語りと応答タイミングは, 図 2 のもの と同一である．L1～L10は 10 人の聞き手を表し，、 は聞き手が応答をしたことを意味する。例えば，応答タイミング $\mathrm{t} 2$ では, L6 と L9 の 2 人が応答して いるので，表出率は $2 / 10=0.2$ となる．実験で用い るデータには， 40,647 個の応答タイミングが存在し た. 図 4 に語りに存在する 40,647 個の応答タイミン グにおける表出率の正解値の出現割合を示す.

## 4.2 実験概要

実験データを学習データ, 開発データ, テスト データに分割した。それぞれ, 23,846 個，8,588 個， 8,213 個の応答タイミングが含まれている。

音響の特徵量抽出には Praat [13] を使用した。フ レームシフトを $10 \mathrm{~ms}$ とし，対象の応答タイミング から遡って 25 フレーム（応答タイミングの直前
表 3 各予測手法における評価指標の値

$250 \mathrm{~ms}$ ）の特徵量を用いた。また，MFCC について は，窓幅を $25 \mathrm{~ms}$ とした。テキスト情報については，対象の応答タイミング直前の 3 文節の語りに含まれ るトークン系列を使用した。語りのサブワードへの 分割は, MeCab [14] (UniDic Ver. 2.1.2) で形態素解析 したのち， subword-nmt $[15]^{1)}$ にり実施した。サブ ワードの埋め込みの初期値には, 日本語 Wikipedia コーパスを用いて GloVe [16] により事前学習した埋 め込み表現を利用した。トークンに対する埋め込み の次元数は 300 とした.

モデルの学習では, バッチサイズを 256 , 学習率を $2 \mathrm{e}-4$, エポック数を 20 とした。損失関数には MSE (Mean Squared Error) Loss を，最適化手法には Adam [17] を用いた. 開発データにおいて損失が最小と なったモデルをテストデータに適用して, その性能 を評価した。補足として，モデルのハイパーパラ メータと実装に用いたライブラリの詳細を，付録 A に記載しておく。

## 4.3 評価方法

本実験では，テストデータ中の全応答タイミン グから算出される RMSE (Root Mean Squared Error) により, 表出率の予測性能を評価する。これを RMSE(all) と表記する。さらに，表出率の正解値ご とにもRMSE を算出し，これも評価指標とする．表出率の正解值 $c$ に対する $\operatorname{RMSE}$ を $\operatorname{RMSE}(c)$ と表記 する. 補足として, $\operatorname{RMSE}(\mathrm{all})$ と $\operatorname{RMSE}(c)$ の計算式 を付録 Bに記載しておく。

提案手法に加え，以下の三つの手法を実装した。

・ random: 学習データにおける表出率の出現分布 に従ってランダムに表出率を予測する手法

・ proposed (P): 音響 (Prosody) 情報のみを使用し て表出率を予測する手法

・ proposed (T): テキスト (Text) 情報のみを使用し て表出率を予測する手法

random の評価指標の值は, テストデータに対す る 1000 回の試行から得られる評価指標を平均す

ることで算出した. proposed $(\mathrm{P})$ と proposed $(\mathrm{T})$ は, それぞれ，表出率を出力する機構（図 3 の linear + sigmoid）に，音響情報のみを入力する手法と，テキ スト情報のみを入力する手法である。

## 4.4 実験結果

各予測手法に対する評価指標の値を表 3 に示す.提案手法と random を比較すると, 提案手法が全て の評価指標で random を上回っており, 提案手法が ランダムな予測よりも有効であることを確認でき た. proposed $(\mathrm{P})$ と proposed (T) についても, 同様の 結果が得られた。このことは，音響情報とテキスト 情報がいずれも表出率の予測に寄与することを示し ている。一方, 提案手法と proposed (P) 及び proposed (T) を比較すると, 提案手法が全 12 個の評価指標の うち 9 個で最良の結果を示しており，音響情報とテ キスト情報の両方を使用して表出率を予測すること の有効性を確認できた。また，分析の結果，提案手法は, 正解の表出率が高いほど予測値も高くなる傾向にあることも確認した。付録 $\mathrm{C}$ に実験結果の補足 を記載しておく．付録の図 5 に提案手法の予測傾向 を, 図 6 に提案手法による予測例も記載しておく.

## 5 まとめ

本論文では, 傾聴応答の自動生成に向けた, 傾聴応答の表出率の予測手法を提案した. 提案手法は,語りの音響情報とテキスト情報を transformer ベー スの手法でエンコードし, エンコード結果を 1 次元 に変換して表出率を算出する. 表出率の予測実験に よって，音響情報とテキスト情報の両方を使用する 提案手法の有効性を確認した. 今後は傾聴応答の種類を考慮した表出率の予測に取り組んでいきたい。

## 謝辞

高齢者のナラティブデータは, 奈良先端科学技術大学院大学ソーシャル・コンピューティング研究室 から提供いただいた. 本研究は, 一部, 科学研究費補助金 挑戦的研究（萌芽）（No. 18K19811）により 実施したものである.

## 参考文献

[1]総務省統計局. 平成 27 年国勢調査世帯構造等基本集計結果の概要.

[2]国立社会保障 - 人口問題研究所. 日本の世帯数の将来推計（全国推計）平成 30 年推計.

[3]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, $Ł$ ukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008, 2017.

[4]Hiroaki Noguchi and Yasuharu Den. Prosody-based Detection of the Context of Backchannel Responses. In Proceedings of the 5th International Conference on Spoken Language Processing (ICSLP-1998), pp. 8570-8573, 1998.

[5]Nicola Cathcart, Jean Carletta, and Ewan Klein. A Shallow Model for Backchannel Continuers in Spoken Dialogue. In Proceedings of the 10th Conference on European Chapter of the Association for Computational Linguistics (EACL-2003), pp. 51-58, 2003.

[6]Shinya Fujie, Kenta Fukushima, and Tetsunori Kobayashi. A Conversation Robot with Back-Channel Feedback Function Based on Linguistic and Nonlinguistic Information. In Proceedings of the 2nd International Conference on Autonomous Robots and Agents (ICARA-2004), pp. 379-384, 2004.

[7]Norihide Kitaoka, Masashi Takeuchi, Ryota Nishimura, and Seiji Nakagawa. Response Timing Detection Using Prosodic and Linguistic Information for Human-friendly Spoken Dia$\log$ Systems. Journal of Japanese Society for Artificial Intelligence, Vol. 20, No. 3, pp. 220-228, 2005.

[8]Yuki Kamiya, Tomohiro Ohno, and Shigeki Matsubara. Coherent Back-Channel Feedback Tagging of In-Car Spoken Dialogue Corpus. In Proceedings of the 11th Annual SIGdial Meeting on Discourse and Dialogue (SIGDIAL-2010), pp. 205-208, 2010

[9]Takashi Yamaguchi, Koji Inoue, Koichiro Yoshino, Katsuya Takanashi, Nigel G. Ward, and Tatsuya Kawahara. Analysis and Prediction of Morphological Patterns of Backchannels for Attentive Listening Agents. In Proceedings of the 7th International Workshop on Spoken Dialogue Systems (IWSDS2016), pp. 1-12, 2016.

[10]村田匡輝, 大野誠寛, 松原茂樹. 語りの傾聴を話し手 に示す応答発話の収集. 電気学会論文誌 C, Vol. 138, No. 5, pp. 637-638, 2018.

[11]Eiji Aramaki. Japanese Elder' s Language Index Corpus v2, 2016. https://doi.org/10.6084/m9. figshare. 2082706.v1.

[12]Taku Kudo and Yuji Matsumoto. Japanese Dependency Analysis using Cascaded Chunking. In Proceedings of the 6th Conference on Natural Language Learning (COLING-2002), pp. 63-69, 2002.

[13]Paul Boersma and David Weenink. Praat: Doing Phonetics by Computer (version 5.1.05), 2009. http: //www. praat. org/.

[14]Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proceedings of the 9th Conference on Empirical Methods in Natural Language Processing (EMNLP-2004), pp. 230-237, 2004.
[15]Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural Machine Translation of Rare Words with Subword Units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL-2016), pp. 1715-1725, 2016.

[16]Jeffrey Pennington, Richard Socher, and Christopher Manning. GloVe: Global Vectors for Word Representation. In Proceedings of the 19th Conference on Empirical Methods in Natural Language Processing (EMNLP-2014), pp. 15321543, 2014.

[17]Diederik P.Kingma and Jimmy Lei Ba. Adam: A Method for Stochastic Optimization, 2014. http://arxiv.org/abs/ 1412.6980.

## Aモモ゙ルのハイパーパラメータと実装に用いたライブラリ

3.2 節で述べたとおり, 音響の特徴量は 42 次元 (MFCC の下位 12 次元とピッチとパワー, 及びそれらの $\Delta$ と $\Delta \Delta$ ) である. 4.2 節で述べたとおり, テキストの特徴量は 300 次元である. 表 4 に, proposed $(\mathrm{P})$, proposed (T) 及び提案手法における transformer encoder [3] の入出力の次元数 $\left(d_{\text {model }}\right)$, multi-head attention のヘッド数 （h）を示す. position-wise feedforward network の中間層の次元数 $\left(d_{\mathrm{ff}}\right)$ は， $d_{\text {model }}$ の 4 倍とした.これらのハ イパーパラメータの值は, 開発データを用いて定めた. モデルの実装には, pytorch ${ }^{2}$ を用いた. transformer encoder は, pytorch のnn.TransformerEncoder とnn.TransformerEncoderLayer で実装した.

## B 評価指標

$\operatorname{RMSE}(\mathrm{all})$ と $\operatorname{RMSE}(c)$ は，以下の式によって計算される。ただし， $p(t)$ と $c(t)$ はそれぞれ，応答タイミン グ $t$ における表出率の予測值と正解値を表し， $S_{\mathrm{all}}$ はテストデータにおける全応答タイミングを表し， $S_{c}$ は テストデータにおける表出率の正解値が $c$ であるような応答タイミングの集合を表す.

$
\operatorname{RMSE}(\text { all })=\sqrt{\frac{1}{\left|S_{\mathrm{all}}\right|} \sum_{t \in S_{\mathrm{all}}}(p(t)-c(t))^{2}} \quad \operatorname{RMSE}(c)=\sqrt{\frac{1}{\left|S_{c}\right|} \sum_{t \in S_{c}}(p(t)-c(t))^{2}}
$

## C 実験結果の補足

図 5 に，提案手法による傾聴応答の表出率の予測傾向を示す.この図は, 表出率の正解値が高いほど予測值も高くなる傾向を示している。この結果から, 提案手法は, 傾聴応答の表出率の高さに対応した応答タイ ミングの特徴をうまく捉えられているといえる. 最後に，提案手法による表出率の予測例を図 6 に示す.

表 4 各予測手法における transformer encoder の

図 5 提案手法による傾聴応答の表出率の予測傾向

図 6 提案手法による傾聴応答の表出率の予測例

2) https://pytorch.org/docs/stable/index.html