# 共参照情報を活用した映画のあらすじ要約生成

川原田将之 $\dagger$ 長谷川駿 $\dagger$ 上垣外英剛 $\dagger$ 高村大也 $\dagger$ 奥村学 $\dagger$
$\dagger$ 東京工業大学 $\S$ 産業技術総合研究所
\{kawarada@lr., hasegawa.s@lr., kamigaito@lr., takamura@, oku@\}pi.titech.ac.jp

## 1 はじめに

インターネット上の映画情報サイトでは，様々な 映画のあらすじを読むことができる。その中には映画内容を詳細に記した長文のあらすじも多く存在す る.しかし，読者には必要最低限の情報が含まれた 簡潔なあらすじを読みたいという需要も大きい。そ こで，本研究では，映画内容が詳細に記載されたあ らすじを自動要約し, 簡潔なあらすじを作成する単一文書要約手法の研究を行う。一般的な文書要約の アプローチには大きく分けて抽出型と生成型が存在 する。しかし，映画のあらすじでは，1文であって も人物に関して詳細な記述がされている場合があ り，文を抽出単位とした抽出型要約では冗長になる ことが予想される。 そのため, 本研究では映画のあ らすじ要約を生成型文書要約として定式化する.

我々が調査したところ，映画をドメインとする要約用データセットは存在していなかった。 そこで まず，映画情報サイトである IMDb (Internet Movie Database $)^{1}$ からデータの収集を行い，映画全体のス トーリーが詳細に書かれたあらすじと，それに対応 した要約文書であるあらすじ要約がぺアとなった映画要約データセットを構築した。

映画のあらすじには，文書要約の研究で広く用い られているニュース記事と比べて，人称代名詞が多用されるという特徴がある。しかし, 現在の生成型要約モデルではそれらを十分に考慮できているとは 言えない。そこで，我々は入力文書のエンコード時 に共参照情報を明示的に活用した要約手法を提案す る.また，本研究で作成した映画要約データセット は，CNN/Daily Mail(以下 CNN/DM) データセット [1] などのニュース記事要約用データセットと比べると 小規模である。そのため，本研究では，ドメインの 異なる大規模な要約データセットでモデル全体の事前学習を行った後，映画要約データセットを用いて fine-tuning を行う.

1) https://www.imdb.com/評価実験において，共参照情報を明示的に活用す る提案手法，そしてドメインの異なる大規模なデー タセットを用いた事前学習による性能向上が，自動評価指標に関し確認された。

## 2 関連研究

単一文書要約に関する研究は幅広く行われている $[2,3]$ が，小説や映画などの物語を対象とした研究 は少ない $[4,5]$.

ニューラルネットワークによる生成型要約は,文書を入力，要約を出力とした Encoder-Decoder モデルをべースとして行われる [6]. 近年で は，BERT (Bidirectional Encoder Representations from Transformers) に代表される事前学習済みエンコーダ $[7,8]$ を文書要約タスクに適応学習する研究が行わ れている。Liu ら [9] は，BERTを用いて文書全体を エンコードした後，Transformer[10] でデコードする ことにより，事前学習済みのエンコーダを使った生成型文書要約を行った。

$\mathrm{Xu}$ ら [11] は，予め文書の談話構造と共参照関係 を表すグラフを作成しておき，BERT から得られた 隠れ状態を Graph Convolution Networks (GCN)[12] で 更にエンコードすることにより，EDU 単位で抽出型要約を行っている．Xu らの研究は，文書の共参照関係を取り入れたモデルであり本研究と近いが，本研究は生成型要約であることから，同じ手法でモデ ルに共参照情報を組み込むことが出来ない。また，用いるデータセットのドメインも異なっている.

## 3 映画要約データセット

映画のあらすじ要約を行うにあたり，映画ドメイ ンの要約データセットの構築をした後，作成した データセットの分析を行う.

## 3.1 データセットの作成

映画データの収集先として映画情報サイトである IMDb を選択した，IMDb は，映画情報をユーザー
表 1 映画要約データセットと CNN/DM データセットの比較

が自由に投稿できるようになっており，ネタバレを 含まず簡潔に書かれた Plot Summaries と映画全体の 内容が詳細に書かれた Plot Synopses の 2 種類のあら すじを投稿することができる.

まず，IMDb が公開している映画の固有 ID リ スト2)に記載されている作品を元に映画データ を収集した. 次に，収集した映画データの中で Plot Synopses にテキストが存在しない作品やPlot Summaries の文書長が Plot Synopses の文書長を上回っている作品を削除し3)，最終的に 27,414 作品 のデータを取得した. そして，作品単位でデータ の分割を行った後, Plot Synopsis をあらすじ, Plot Summaries をあらすじ要約としてデータセットを構築した。

## 3.2 データセットの分析

文書数，入力文書長，出力文書長，人称代名詞 が文書に占める割合のそれぞれについて，映画要約データセットと CNN/DM データセットで比較を 行ったもの先を表 1 に示す. 入力文書長, 出力文書長，人称代名詞が文書に占める割合の值は，全デー タの平均値である.

投稿の規定上, Plot Summaries は複数投稿できる のに対して，Plot Synopsis は 1 作品につき 1 つしか 投稿出来ないため，1つのあらすじに対して複数の あらすじ要約が存在するデータセットとなってい る. train/valid/test セットのそれぞれについて，あら すじは 21,931/2,743/2,740 データであるのに対して, あらすじ要約は $43,281 / 5,461 / 5,529$ データとなって おり, 1 作品あたり平均して約 2 種類のあらすじ要約が存在していることを意味する.

また，各あらすじ文書中に存在する単語の中で 人称代名詞の割合は $7.17 \%$ であった. これは，CNN データセットに含まれる割合よりも 40\%程度高く， DM データセットよりも $30 \%$ 程度高い値である。

2) https://www.imdb.com/interfaces/

3）テキストが存在していても記号のみの場合などは削除した.

4）単語分割には Stanford CoreNLP 3.8.0を用いた.

## 4 提案手法

先行研究 [9]をべースに，共参照情報を明示的に 活用できるよう改良を加えた生成型要約モデルを図 1 に示す. 本手法ではまず，あらすじに対する共参照解析 [13] を行い，共参照グラフ（4.1 節で後述）を 作成する．その上で，あらすじを BERTでエンコー ドした後，グラフエンコーダを用いて共参照グラフ に基づき隠れ状態を更新する。最後に Transformer でデコードを行うことであらすじ要約を生成する。

## 4.1 共参照グラフ

共参照解析とは，文書内で言及されている名詞句等の表現対が同一の対象を指しているか否かを判別 する処理のことである.

共参照関係にある表現は，1 単語から成る表現だ けではなく, 人物名など複数単語から成る表現も存在する。また，BERTの入力はサブワードに分割さ れている必要があり, 1 単語の表現であっても複数 のサブワードから構成されている場合がある.

これらを扱うため，トークン分割後のある表現 $s=\left.\{s_{1}, s_{2}, \ldots, s_{M}\right.\}$ の中で, 最初と最後のサブワー ドである $s_{1}, s_{M}$ をその表現を代表するサブワード $s_{\text {start }}, s_{\text {end }}$ とする ${ }^{5)}$. そして, 同一対象を示す各表現に対して， $s_{\text {start }}, s_{\text {end }}$ 同士をそれぞれ独立して連結する. 最後に，各サブワードに self-loop エッジを 追加することで，サブワードをノードとする共参照 グラフを作成した.

## 4.2 BERT を使ったエンコード

先行研究に従い，前処理として入力テキストをサ ブワードに分割し, 入力の最初に [CLS] ラベル, 各文の最後に $[\mathrm{SEP}]$ ラベルを追加する．その上で，入力 $\mathbf{x}=\left.\{x_{1}, \ldots, x_{n}\right.\}$ は次式によってエンコードされ,隠孔状態 $\mathbf{h}=\left.\{\mathbf{h}_{1}, \ldots, \mathbf{h}_{n}\right.\} \in \mathbb{R}^{d \times n}$ を得る：

$
\left.\{\mathbf{h}_{1}, \ldots, \mathbf{h}_{n}\right.\}=\operatorname{BERT}\left(\left.\{x_{1}, \ldots, x_{n}\right.\}\right) .
$

ここで，dは隠れ状態の次元を表している。
}, s_{\text {end }}\right)=\left(s_{1}, s_{1}\right)$ とする.
}

図 1 共参照情報を活用した生成型要約モデル

## 4.3 グラフエンコーダ

$L$ 層のグラフエンコーダを用いて, BERTから出力 された隠れ状態 $\mathbf{h}$ の更新を行う. $l$ 層目のグラフエ ンコーダの出力を $\mathbf{h}^{(l+1)}=\left.\{\mathbf{h}_{1}^{(l+1)}, \ldots, \mathbf{h}_{n}^{(l+1)}\right.\} \in \mathbb{R}^{d \times n}$ と表すと, $\mathbf{h}_{i}^{(l)}$ から $\mathbf{h}_{i}^{(l+1)}$ への更新は次のように行 われる。

まず，共参照グラフで繋がっているサブワー ド間で情報の交換を行うため，Gated Graph Neural Networks (以下 GGNN)[14] により $\mathbf{h}_{i}^{(l)}$ を $\mathbf{u}_{i}^{(l+1)}$ に変換する。 $\mathbf{u}_{i}^{(l+1)}$ は次の式で計算される：

$
\begin{aligned}
\mathbf{m}_{i}^{(l+1)} & =\sum_{j \in \mathcal{N}(i)} \mathbf{W}^{(l)} \mathbf{h}_{j}^{(l)} \\
\mathbf{u}_{i}^{(l+1)} & =\operatorname{GRU}^{(l)}\left(\mathbf{m}_{i}^{(l+1)}, \mathbf{h}_{i}^{(l)}\right)
\end{aligned}
$

ここで， $\mathcal{N}(i)$ は共参照グラフにおいて $i$ 番目のサブ ワードとエッジで繋がったサブワードの集合であ る. $\mathbf{W}^{(l)} \in \mathbb{R}^{d \times d}$ は $l$ 層目の学習パラメータである. $\mathbf{h}_{i}^{(l+1)}$ は $\mathbf{u}_{i}^{(l+1)}$ と $\mathbf{h}_{i}^{(l)}$ を用い次式で更新される：

$
\mathbf{h}_{i}^{(l+1)}=\operatorname{LayerNorm}\left(\mathbf{h}_{i}^{(l)}+\operatorname{ReLU}\left(\mathbf{u}_{i}^{(l+1)}\right)\right) \text {. }
$

$\mathbf{h}^{(1)}$ には BERT の出力 $\mathbf{h}$ を用い，最終的に $L$ 層目 から $\mathbf{h}^{(L+1)}$ が出力される.

## 4.4 デコーダ

先行研究 [9] と同様に，デコーダにはランダムに 初期化された Transformer[10]を用いる. グラフエン コーダにより出力された隠れ状態 $\mathbf{h}^{(L+1)}$ を使ってあ らすじ要約の生成を行う。

## 4.5 CNN/DM データセットによる事前学習

3.1 節で作成した映画要約データセットは, CNN/DM データセットに比べて規模が小さい. そ
のため，未学習であるグラフエンコーダやデコーダ を含むモデルを映画要約データセットのみで学習す ることは困難である。

そこで，CNN/DMデータセットを用いてグラフエ ンコーダやデコーダを含むモデル全体を事前学習し た後，映画要約データセットによる fine-tuning を行 う. fine-tuning の際には，モデル全体の学習率を低 くすることで事前学習の情報を保ちつつ学習する。

## 5 実験

提案手法の要約性能を評価するため, 先行研究モ デルである BERTSUMABS[9]をベースラインに自動評価による比較実験を行う。

## 5.1 実験設定

先行研究の実装6)を基に実験を行った. GGNN の 実装には，PyTorch geometric ${ }^{7}$ を用いた。実験に必要 なハイパーパラメータは, 基本的にデフォルト值を 用いた. ただし，グラフエンコーダは $L=2$, ドロ ップアウト率 $=0.2$ とした.

CNN/DM 事前学習+映画データ: 事前学習では, BERT の学習率を 0.002, warming-up ステップを 20,000 とし, グラフエンコーダとデコーダの学習率 を 0.2, warming-up ステップを 10,000 とした. 学習 は 200,000 ステップ行い，CNN/DM データセットの 開発データで Perprexity が最も小さいステップの重 みを選択した。そして，選択した重みから更に映画要約データセットで fine-tuning を行う. fine-tuning では，BERT，グラフエンコーダ，デコーダの全てで 学習率を 0.002 , warming-up ステップを 20,000 とし

6) https://github.com/nlpyang/PreSumm

7) https://github.com/rusty1s/pytorch_geometric
表 2 自動評価結果

た上で 50,000 ステップの学習を行った.

映画データのみ：CNN/DM 事前学習の効果を確認 するため, 映画データのみでも学習を行う. 先行研究に従い BERT の学習率を 0.002, warming-up ス テップを 20,000 とした. また, グラフエンコーダ とデコーダの学習率を 0.2, warming-up ステップは 10,000 とした. 学習は 50,000 ステップを行った.

## 5.2 実験結果

先行研究同様, ROUGE-1, -2, -L (R-1, R-2, R-L) [15] による自動評価結果を表 2 に示す. 表には異な る初期値から学習した 3 モデルの平均値を記し, 太字はベースラインに対する差が有意 $(p=0.05)$ であ ることを表す。

映画データのみで学習した場合をみると, ベー スラインと比べて，提案手法は ROUGE スコアが それぞれ $0.27,0.21,0.27$ 改善しており, 共参照情報 によって要約性能が向上したことがわかる。次に， CNN/DM で事前学習を行った場合と映画データの みで学習した場合を比較する. ベースライン同士 の比較で ROUGE スコアがそれぞれ $1.80,0.97,1.28$改善しており, 事前学習の効果は大きいことがわ かる. CNN/DM で事前学習を行った場合において ベースラインと提案手法を比較すると，ROUGE ス コアで $0.20,0.05,0.20$ 改善しており, ROUGE-1 と ROUGE-L では有意な差があった. 事前学習を行っ た場合でも共参照情報は要約性能の向上に寄与して いることがわかる. また，提案手法モデルで共参照 グラフを用いず， self-loop エッジのみをグラフエン コーダに入力するとべースラインよりも悪化した. これは, ベースラインよりもグラフエンコーダ部分 における未学習のパラメータが増加することで，学習が困難になるためであると考えられる。

更に, ベースラインと提案手法の出力例を図 2 に示す. 各モデルの出力の中で，あらすじと対応

図 2 ベースラインと提案手法の出力例

している箇所を青字で示してある。あらすじでは “decide to conceal” の主語は “Harry's relatives” であ るが，ベースラインでは “Harry's parents” となって いる.これは，あらすじの中で直前に "his parents, lily and James Potter” に関する記述があり，一般的に “parents”と “relative” は近い表現であるため，モデ ル側が上手く区別できていないからであると考え られる。一方，提案手法では “his relatives” と正し く出力出来ている.これは, 近い表現であったして も，共参照情報によって人物の区別が容易になった と考えることができる.

## 6 まとめ

本研究では，映画のあらすじ要約を生成型文書要約として行った. 映画ドメインの要約用データセッ 卜を作成し，共参照情報を考慮した生成型要約手法を提案した. ROUGE スコアに基づく評価実験の 結果，提案手法が従来手法を上回り，ROUGE-1 と ROUGE-L では有意に上回っていた. また, 出力文書を比較すると提案手法では人物に関する記述で真実性の改善が見られた。今後は，人手による評価も 交えて提案手法の有効性を確かめたい。

## 参考文献

[1] Karl Moritz Hermann, Tomas Kocisky, Edward Grefenstette, Lasse Espeholt, Will Kay, Mustafa Suleyman, and Phil Blunsom. Teaching machines to read and comprehend. In NIPS, 2015.

[2] Abigail See, Peter J. Liu, and Christopher D. Manning. Get to the point: Summarization with pointer-generator networks. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1073-1083, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[3] Jiwei Tan, Xiaojun Wan, and Jianguo Xiao. Abstractive document summarization with a graph-based attentional neural model. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1171-1181, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[4] Rada Mihalcea and Hakan Ceylan. Explorations in automatic book summarization. In Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL), pp. 380-389, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[5] Anna Kazantseva and Stan Szpakowicz. Summarizing short stories. Computational Linguistics, Vol. 36, No. 1, pp. 71-109, 2010.

[6] Ramesh Nallapati, Bowen Zhou, Cicero dos Santos, Çağlar Guçehre, and Bing Xiang. Abstractive text summarization using sequence-to-sequence RNNs and beyond. In Proceedings of The 20th SIGNLL Conference on Computational Natural Language Learning, pp. 280-290, Berlin, Germany, August 2016. Association for Computational Linguistics.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. CoRR, Vol. abs/1907.11692, , 2019.

[9] Yang Liu and Mirella Lapata. Text summarization with pretrained encoders. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3730-3740, Hong Kong, China, November 2019. Association for Computational Linguistics.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon,
U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008. Curran Associates, Inc., 2017.

[11] Jiacheng Xu, Zhe Gan, Yu Cheng, and Jingjing Liu. Discourse-aware neural extractive text summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5021-5031, Online, July 2020. Association for Computational Linguistics.

[12] Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. CoRR, Vol. abs/1609.02907, , 2016.

[13] Kenton Lee, Luheng He, Mike Lewis, and Luke Zettlemoyer. End-to-end neural coreference resolution. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 188-197, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[14] Yujia Li, Daniel Tarlow, Marc Brockschmidt, and Richard Zemel. Gated graph sequence neural networks, 2015. cite arxiv:1511.05493Comment: Published as a conference paper in ICLR 2016.

[15] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.


# 抽出型要約の書き換えによる要約生成

高塚雅人
早稲田大学 理工学術院
}

小林哲則
早稲田大学 理工学術院
}

林良彦

早稲田大学 理工学術院

takatsuka@pcl.cs.waseda.ac.jp
## 1 はじめに

自動要約の手法は大きく抽出型要約と生成型要約の二つに分けられるが，近年，その二つの手法を 組み合わせた手法 [1][2][3][4] も多く提案されてい る. 抽出型と生成型を組み合わせた既存手法の多く は，抽出型要約モデルを使って原文書の重要な文を 抜き出し，それらを生成型要約モデルに入力してパ ラフレーズや文圧縮を行う．これらの手法では，原文書中の文と人が書いた参照要約文のペアを作成 し, 生成型要約モデルにそのぺアの書き換えを学習 させるが，どのようなぺアをどのようにして抽出し 学習に用いるかが問題となる. 既存手法 [1][2][3][4] では, 人が作成した参照要約の各文に対して, 最も ROUGE-L が高い文をぺアとして抽出しているが，表 1 の上部に示すように，対応付けが適切でないぺ アが抽出されてしまう場合が多く存在し，このよう な場合，適切な書き換えを学習することは困難で ある。

そこで本研究では，参照要約の各文とこれに対応 する原文書中の各文 (以下，ソース文) に対して編集距離を用いた対応付けにより学習データとして抽出 するペアを制限すること，および，学習する生成型要約モデルを単に抽出型要約に対する後処理として 用いることを提案する. 前者により対応する文がな い要約文や高い抽象化を行った要約文を排除し，抽出型要約を書き換えることによる要約生成の精度を 向上させることを狙う. また，後者のシステム構成 とすることで, 抽出型要約の問題点である高い冗長性や代名詞的な共参照の欠損などを後処理によって 修正する。

今回，我々が作成するソース文-要約文のペアは，編集距離の意味で類似性が高いぺアに限定している ため, 通常の機械翻訳のようにソース文-要約文のぺ アを source-target ペアとして用いると，入力を盲目的にコピーした出力が得られることがある. Dong表 1 ソース文-要約文ペアの例

既存研究 [1]: ROUGE-L Recall: 0.273

ソース文:We reveal how to get the enviable physiques of the stars.

要約文:Her super-sculpted arms are envy of women the world over.

提案手法: 正規化した編集距離: 0.857

ソース文:His performances in such a role, however, have been somewhat mixed.

要約文:Midfielder 's previous performances in defense have been mixed.

ら [5] は Simplification Task において同様の問題を指摘し，complex-simple な文のペアを source-target ペア として暗示的に編集を学習するより，編集操作の系列を target として用いて明示的に編集を学習するこ とで精度が向上したと報告した。本研究では，Dong らの手法を基として，明示的な編集操作の系列を学習する抽出型要約書き換えモデルを提案する。

代表的な要約のデータセットとして, CNN DailyMail のデータセット [6] を使用して実験を行っ た. 我々の提案手法である抽出型要約に対する後処理を行うことで，後処理を行わない場合より高い ROUGE スコアと人間による評価が得られたことを 確認した。

## 2 関連研究

抽出型と生成型を組み合わせた要約生成手法は 多くの既存研究 [1][2][3][4] が存在する. Chen ら [1] は, 抽出型要約モデルと生成型要約モデルを個別 に学習した後に, 生成型要約モデルで書き換えた 文の ROUGE スコアを報酬として抽出型要約モデ ルを強化学習する手法を提案した. Bae ら [4] は, Chen ら [1] の手法では抽出型要約の精度が先頭の 三文を抜き出すべースラインより劣っていること と，文レベルの ROUGE の最適化が必ずしも要約全体の ROUGE の最適化に繋がらないことを指摘し， BERT[7]を利用した抽出型要約モデルと，要約全体

の ROUGE を最適化するような強化学習の枠組みを 提案した. 本研究は, 既存研究 [1][2][3][4] のように ソース文-要約文のペアを全て学習に用いるのでは なく，うまく対応付けが出来ていないぺアや高い抽象化を行っているぺアをフィルタリングし，データ セットから排除する。

抽出型要約の後処理として，文圧縮や共参照のエ ラーの修正などを行うことは古くから研究されてい る. Mendes ら [8] は，各文に対して文圧縮を施した CNN DailyMail データセットとオラクルサマリーの セットを作成し，それらを用いて文の抽出と文圧縮 を学習するモデルを提案した. Antunes ら [9] は, 共参照解決器を用いて, 抽出型要約内の共参照関係の エラーの修正を行い，17 個の文のスコアリング手法 と 4 つの抽出型要約システムを用いてその影響を 調査した. Antunes らは，共参照のエラーの修正に よって要約の一貫性, 流暢さ, 可読性を向上させる ことができたと報告した. 本研究では, 既存研究の ように，文圧縮や共参照のエラーの修正をそれぞれ 単体で扱うのではなく, 抽出型要約に対する後処理 をソース文と参照要約文のペアからデータドリブン に学習を行う。

## 3 提案手法

本研究では，編集距離に基づくソース文-要約文間の対応づけとフィルタリングによるデータセット 構築と, 明示的な編集操作を学習する抽出型要約の 書き換えモデルを提案する。

$\mathrm{N}$ 文からなる原文書を $D=\left[d_{1}, \ldots, d_{N}\right]$ とし，原文書の $\mathrm{i}$ 番目の文を単語系列 $d_{i}=\left[w_{1}, \ldots, w_{K}\right]$ で表 す. また，人が作成した $\mathrm{M}$ 文からなる参照要約を $S=\left[s_{1}, \ldots, s_{M}\right]$ とし，ソース文-要約文間の編集操作 の系列を $\left[z_{1}, \ldots, z_{L}\right]$ とおく。

## 3.1 データセット構築

既存研究 [1][2][4] では ROUGE-Lを用いてソース 文-要約文間の対応付けを行い，生成型要約モデル を学習している. 本研究では，ソース文を書き換え ることによって生成することが難しい要約文や，高 い抽象化を行っているソース文-要約文ペアをフィ ルタリングするために, ROUGE-L ではなく, 二つ の文間の編集度合いを測ることができる編集距離を 用いる. 本研究では, 以下の式で各要約文 $s_{t}$ に対す
るソース文 $d_{j_{t}}$ を選ぶ.

$
j_{t}=\operatorname{argmin}_{i}\left(\frac{\operatorname{lev}\left(d_{i}, s_{t}\right)}{\left|d_{i}\right|}\right)
$

$\operatorname{lev}\left(d_{i}, s_{t}\right)$ は $\left(d_{i}, s_{t}\right)$ 間の編集距離を, $\left|d_{i}\right|$ はソース 文 $d_{i}$ の単語数を表す. その後, 正規化した編集距離 が閾値以下のぺアのみをデータセットに加える。閾值はデータからいくつかの候補を設定し，ベースラ インモデルの精度で決定をした。

## 3.2 提案モデル

本研究で提案するモデルを図 1 に示す. このモデ ルは, Dong ら [5] のモデルを基に，作成したソー ス文-要約文のペア間の明示的な編集操作を学習 する. Dong ら [5] が提案したモデルは, 入力テキ ストからある単語 $\mathrm{w}$ に対する編集操作を予測す る programmer と, programmer が過去に予測した編集操作によって部分的に編集された文を入力と し, programmer の予測を補助する interpreter からな る. 本研究で提案するモデルも Dong らのモデル と同様に programmer と interpreter から構成される が，Transformer[10] ベースのモデルを programmer と interpreterに用いる点が異なる.

本研究では編集操作として $[\mathrm{ADD}(\mathrm{W}), \mathrm{KEEP}$, DEL]を定義する. $\operatorname{ADD}(\mathrm{W})$ は単語 $\mathrm{W}$ を追加, KEEP は現在の単語を保持, DEL は現在の単語を削除する 操作である. 作成したソース文-要約文ペアに対し て編集操作の系列を生成し, モデルに学習させる. また，各ぺアに対する編集操作の系列を一意にする ために，KEEP，DELの前に $\mathrm{ADD}(\mathrm{W})$ が来るという 制約を加える。

## 3.2.1 programmer

programmer には, 事前学習済みの encoder decoder model の BART[11]を用いる. BART は Transformer[10] ベースのアーキテクチャを採用 しており, 生成型要約において高い精度を報告して いる. 提案モデルは, 推論時に抽出型要約を一文 づつ書き換えていくので，過去の文に対してどの ような編集を行ったかを知る必要がある。そこで， encoder には原文書に加えて，要約の先行文脈を入力する. 要約の先行文脈について詳しくは 4.2 で述 べる. また, encoder は入力された原文書と要約の 先行文脈をそのままでは見分けることができないた め, encoderの入力ベクトルには, PositionalEncoding に加えて，各文の役割を伝える SentenceID ゙ククトル

図 1 提案モデルの概要図: 青字は書き換え対象のソース文を，赤字は要約の先行文脈を示す.

を追加する．SentenceID は，書き換え対象のソース 文，書き換え対象以外の本文，要約の先行文脈の三 つからなる. 入力テキストの $\mathrm{i}$ 番目の単語ベクトル を $e_{i}$ とすると,encoderへの入力べクトル $x_{i}^{e}$ は以下 のように計算される.

$
x_{i}^{e}=e_{i}+\text { PositionalEncoding }(i)+\text { SentenceID }(i)
$

PositionalEncoding と SentenceID はそれぞれ学習中に 更新される. また encoder の出力 $h^{e}$ は以下のように 計算される.

$
h^{e}=\operatorname{Trans}_{l}^{e}\left(h_{l-1}^{e}\right)
$

$\operatorname{Trans}_{l}^{e}$ は1層目の Transformer 層， $h_{l-1}^{e}$ は 1-1 層目の Transformer 層の出力を示す.

時刻 $\mathrm{t}$ において，書き換えを行うソース文の $k_{t}$ 番目の単語 $w_{k_{t}}$ に対する編集操作 $z_{t}$ を予測する場合, decoder には単語系列 $w_{1: k_{t}}$ を入力する. i 番目の単語べクトルを $e_{i}$ とすると, decoderへの入力ベクト ル $x_{i}^{d}$ は以下のように計算される.

$
x_{i}^{d}=e_{i}+\text { PositionalEncoding }(i)
$

また decoder の出力 $h^{d}$ は以下のように計算される.

$
h^{d}=\operatorname{Trans}_{l}^{d}\left(h_{l-1}^{d}, h^{e}\right)
$

$\operatorname{Trans}_{l}^{d}$ は 1 層目の Transformer 層, $h_{l-1}^{d}$ は 1-1 層目の Transformer 層の出力, $h^{e}$ は encoder の出力を示す.

## 3.2.2 interpreter

interpreter は，decoder と全く同じアーキテクチャ を用いて，decoder と重みを共有する。時刻 $\mathrm{t}$ におい て，過去にモデルが出力した編集操作系列 $z_{1: t-1}$ に 従って，ソース文を部分的に編集した単語列 $y_{1: j_{t-1}}$ を interpreterに入力する. interpreter は, decoderと 同一の構造なので， interpreter の出力 $h^{i n t}$ は，式 4, 5 を用いて計算される.最終的な編集操作のラベルの確率分布 $P_{\text {edit }}$ は以下のように計算される.

$
P_{\text {edit }}=\operatorname{softmax}\left(W_{\text {out }}\left(\operatorname{relu}\left(W_{d} h_{k_{t}}^{d}+W_{\text {int }} h_{j_{t-1}}^{\text {int }}\right)\right)\right)
$

$W_{\text {out }}, W_{d}, W_{\text {int }}$ は学習パラメータ, $h_{k_{t}}^{d}$ は $k_{t}$ 番目の 単語に対する decoder の出力, $h_{j_{t-1}}^{i n t}$ は $j_{t-1}$ 番目の単語に対する interpreter の出力である。 $k_{t}, j_{t-1}$ はそれ ぞれ過去に出力した編集操作系列 $z_{1: t-1}$ から決定さ れる． $P_{\text {edit }}$ の次元数は，BART の語彙数 $V$ に対し て，KEEP と DEL のラベルを加えた $V+2$ となる.

## 4 実験

## 4.1 データセット

本研究では，ニュース記事の要約のデータセッ トである CNN DailyMail (CNN-DM) のデータセッ ト [6] を用いる。CNN-DM データセットのニュー ス記事と参照要約をそれぞれ文分割し，3.1の 手法を用いてソース文-要約文のペアを作成し た. 作成した $1,070,203$ ペアのうち, 正規化した 編集距離の閾値が 0.95 以下のペアのみを採用 し，それぞれ学習/validation/テストデータとして， 240,918/14,814/11,806 ペアを作成した. その後，各 ペアに対して編集操作系列を生成した.

## 4.2 実験設定

本研究では，抽出型要約を入力として書き換え を行う要約生成実験と人手による評価を行った. なお，書き換え処理単体での機能を確認するため， ソース文-要約文ペアのテストデータを用いた事前実験を行っている．その詳細については，付録 A. 1 に示す。

抽出型要約を入力として書き換えを行う要約生成実験では， 4.1 で作成したデータセットを用いて
提案モデルを学習させ，推論時には，抽出型要約を 先頭から一文ずつ書き換えた. 学習時に，参照要約 の $\mathrm{j}$ 番目の文を生成する際は， $\mathrm{j}-1$ 番目までの文を 要約の先行文脈として使用し, 推論時には, 過去に 書き換えた要約文を先行文脈として使用した。ま た, 抽出型要約として, lead3 と matchsum[12]を実験に用いた. ベースラインモデルとして，提案モデ ル (programmerのみ)において, 編集操作系列ではな く，要約文を target に用いたモデルを使用した. 評価指標として ROUGE-1，ROUGE-2，ROUGE-Lを使用した. 詳しい学習条件は付録 A. 2 に示す.

また，抽出型要約とモデルが書き換えた要約を比較した人手による評価を行った. 評価基準として要約の冗長性，理解のしやすさ，全体的な評価の三つ を設定した. 冗長性は, 要約内に同じ表現の繰り返 しゃ，無駄な情報が含まれていないかを表す. 理解 のしやすさは，要約のみを読んだ際に要約が読みや すく，要約の内容を簡単に理解できるかを表す。全体的な評価では，上記の二つの観点を踏まえて，要約として好ましいかどうかを表す. CNN-DM のテ ストデータから，ランダムに 100 サンプル選び，ど ちらの要約の方が冗長性が少ないか/理解しやすい か/要約として好ましいかを評価した．また，各指標について，どちらの要約も同じくらい良い/悪い 場合は fair を選択する. 実験は Amazon MTurk 上で 行い，各サンプルについて 5 人のワーカーが評価を 行った. 各ワーカーはまず参照要約を読み, ニュー スの概要を理解したうえで，各要約を読み，評価を 行った.

## 4.3 結果・考察

## 4.3.1 抽出型要約の書き換えを行う要約生成実験

抽出型要約の書き換えを行った実験結果を表 2 に 示す. 表2 の R-1，R-2，R-LはROUGE-1，ROUGE-2, ROUGE-Lを示す. lead3 は，記事の先頭三文を抜き 出した抽出型要約の結果, matchsum (ours) は Zhong ら [12] が提案したモデルを再現した場合の結果を 示す. lead3+提案モデル， matchsum+ベースライン， matchsum+提案モデルは, それぞれ抽出型要約をモ デルに入力した場合の結果を示す. 表 2 に示すよう に, matchsum+提案モデルが最も高い ROUGE スコ アとなり，提案モデルで抽出型要約を書き換えるこ とで精度が向上することがわかった. また, lead3 を提案モデルに入力した際もスコアが向上してお表 2 抽出型要約の書き換え実験結果

表 3 人手による評価実験結果

り，提案モデルは，抽出型モデルに依存しないこと が分かる. ベースラインモデルと比較すると，提案 モデルは，特に ROUGE-2 が高くなった. 要約の生成例は，付録の表 4 に示す.

## 4.3.2 要約の人手評価

要約の人手評価結果を表 3 に示す。抽出型要約 (matchsum) と，それを提案モデルで書き換えた要約 を評価に使用した．表の数值は，各評価指標におい $\tau$, matchsum, matchsum+提案モデル, fair の選択肢 を選んだ人数を表す。表 3 から分かるように，全 ての指標で，提案モデルを用いて抽出型要約を書き 換えた要約が高いスコアとなり, 抽出型要約を書き 換えることで，要約の冗長性が減り，より理解しゃ すくなり，要約としての全体の評価が向上すること が分かる．特に，㔯長性の観点でよりスコアが向上 した。表 3 の**は，有意水準 $1 \%$ で，*は，有意水準 $5 \%$ で有意差があることを示す.

## 5 おわりに

本研究では，抽出型と生成型要約を組み合わせた 手法として，編集距離に基づくソース文-要約文間 の対応付けとフィルタリングを行い，抽出型要約の 後処理を学習することを提案した. また，作成した ソース文-要約文間の明示的な編集操作を学習する モデルを提案した. 自動評価と人手による評価の両方において，提案したモデルによって抽出型要約を 後処理することの有効性を確認した. 今後の方針と して，事実関係のミスなどの観点で，生成型要約 と提案手法の要約の比較を行っていきたい。また， Martin ら [13] の研究のように, 出力をコントロール できるような手法も検討していきたい.

## 参考文献

[1]Yen Chun Chen and Mohit Bansal. Fast abstractive summarization with reinforce-selected sentence rewriting. In $A C L$ 2018, pp. 675-686, 2018.

[2]Edward Moroshko, Guy Feigenblat, Haggai Roitman, and David Konopnicki. An editorial network for enhanced document summarization. In Proceedings of the 2nd Workshop on New Frontiers in Summarization, pp. 57-63, 2019.

[3]Liqiang Xiao, Lu Wang, Hao He, and Yaohui Jin. Copy or Rewrite: Hybrid Summarization with Hierarchical Reinforcement Learning. AAAI 2020, pp. 9306-9313, 2020.

[4]Sanghwan Bae, Taeuk Kim, Jihoon Kim, and Sang goo Lee. Summary level training of sentence rewriting for abstractive summarization. In Proceedings of the 2nd Workshop on New Frontiers in Summarization, pp. 10-20, 2019.

[5]Yue Dong, Zichao Li, Mehdi Rezagholizadeh, and Jackie Chi Kit Cheung. EditNTS: An neural programmer-interpreter model for sentence simplification through explicit editing. In ACL 2019, pp. 3393-3402, 2019.

[6]Karl Moritz Hermann, Tomáš Kočiský, Edward Grefenstette, Lasse Espeholt, Will Kay, Mustafa Suleyman, and Phil Blunsom. Teaching machines to read and comprehend. In $A d$ vances in Neural Information Processing Systems, pp. 16931701, 2015.

[7]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL 2019, pp. 4171-4186, 2019.

[8]Afonso Mendes, Shashi Narayan, Sebastião Miranda, Zita Marinho, André F.T. Martins, and Shay B. Cohen. Jointly extracting and compressing documents with summary state representations. In NAACL 2019, pp. 3955-3966, 2019.

[9]Jamilson Antunes, Rafael Dueire Lins, Rinaldo Lima, Hilário Oliveira, Marcelo Riss, and Steven J Simske. Automatic cohesive summarization with pronominal anaphora resolution. Computer Speech and Language, pp. 141-164, 2018.

[10]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[11]Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-tosequence pre-training for natural language generation, translation, and comprehension. In ACL 2020, pp. 7871-7880, 2020.

[12]Ming Zhong, Pengfei Liu, Yiran Chen, Danqing Wang, Xipeng Qiu, and Xuanjing Huang. Extractive summarization as text matching. In ACL 2020, pp. 6197-6208, 2020.

[13]Louis Martin, Éric Villemonte de la Clergerie, Benoît Sagot, and Antoine Bordes. Controllable sentence simplification. In LREC 2020, pp. 4689-4698, 2020.

[14]Chin-Yew Lin. Rouge: A package for auto- matic evaluation of summaries. In Text summarization branches out: ACL workshop, 2004.

[15]Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing Statistical Machine Trans- lation for Text Simplification. Transactions of the Association for Computational Linguistics, pp. 401-415, 2016.
表 4 要約の生成例: 赤文字は，モデルが削除した部分，青文字は，モデルが追加した部分，マゼンタは，モデルが置換 した部分を表す。

 \\

## A 付録

## A. 1 ソース文-要約文ペアの書き換え実験

ソース文-要約文ペアの書き換え実験では，ソース文-要約文ペアのテストデータを用いて，書き換え単体 の精度を実験した. ソース文をモデルが書き換えた文と，ソース文とぺアになっている要約文間で自動評価を行った. encoder に入力する要約の先行文脈は学習時と同じ設定とした. 評価指標として, ROUGE-1, ROUGE-2, ROUGE-L[14] と SARI スコア [15] を使用した.

ソース文-要約文ペアの書き換え実験の結果を表 5 に示す. source は，編集前のソース文の結果を示し， ベースラインは，提案モデル (programmer のみ) において，編集操作系列ではなく要約文を target に用いた 場合の結果を示す.また表 5 の\% unc. は，無編集の割合を示し，R-1，R-2，R-L は ROUGE-1，ROUGE-2， ROUGE-L を示す. 表 5 から，ベースライン，提案モデル共に書き換えによって，ROUGE スコアが向上して いることがわかる．また，ベースラインと提案モデルの ROUGE スコアに大きな差はなかったが，SARI スコ アでは， 1.69 ポイントと大きく提案モデルが低い結果となった. これは，提案モデルがベースラインと比べ て，単語の削除の予測精度が悪く，DEL のスコアが低くなったからである．また，ベースライン，提案モデ ルの無編集の割合は，ソース文-要約文間の無編集の割合よりも高くなった.

表 5 ソース文-要約文ペアの書き換え実験結果

## A. 2 学習条件

事前学習済みモデルとして BART-large[11] を用いた。初期学習率は 6e-05とし， 500 step の warmup の後,最終的に 20000 step 学習させた. 訓練時には Label Smoothing を導入し， $\varepsilon=0.1$ に設定した. バッチサイズは 16 に設定した. 最適化関数には Adam を用いた.


# BERT モデルを用いた障害レポートに対する重要箇所抽出

本間 広樹 1 小町 守 1 真鍋 章 ${ }^{2}$ 谷本 恒野 2
1 東京都立大学 2 富士電機株式会社
homma-hiroki@ed.tmu.ac.jp, komachi@tmu.ac.jp
\{manabe-akira, tanimoto-kouya\}@fujielectric.com

## 1 はじめに

世の中はあらゆる機器にあふれている。これらの 機器が不具合を起こすたびに，保全担当員によって 障害レポートが作成される。日々作成されている障害レポートから自動で重要な部分を抽出すること は，保全担当員による異常箇所の特定と対処や，設備運用者による適切な設備運転対応，コールセンタ オペレータによる迅速・適切な顧客対応に役立つ と考えられる。障害レポートは主に，状況，要因及 び措置の 3 種類の内容から構成される文章である。 レポート内の各文は，前述の 3 種類とその他の内の どれか，あるいは複数に分類できる。本研究では 分類済みの 3 種類の文章である, 状況，要因及び措置から，それぞれ重要部分を抽出することを目的と する.

近年ニューラルネットワークを用いた大規模な モデルの研究が盛んに行われ，様々な自然言語処理 タスクで高い精度を出している. しかし, 本研究で 扱うデータは数百件程度と規模が非常に小さく，大規模なモデルを一から学習するのは困難である．そ こで，本研究では，小規模なデータに対する有効性 が確認されている事前学習モデルに着目し，障害レ ポートを対象とする重要部分抽出タスクに対する有効性を検証する。

さらに，本研究では質問応答形式によるマルチ タスク学習手法を提案する. 抽出元文章には状況,要因及び措置の 3 種類のソースがあるが，提案手法 では，既存の質問応答形式の fine-tuning 手法を流用 し，抽出元文章，ソース及び重要箇所をそれぞれ， コンテキスト，質問及び解答としてモデルに入力 し，全ソースを併せて学習を行う。これによってモ デルがソースの違いを認識し，より高い精度の抽出 ができるようになることが期待できる点や，既存の fine-tuning 手法を用いるため，低コストで実装でき
る点が利点として挙げられる。

また，複数ソースが存在する場合の学習方法につ いて考えると，各ソースで抽出モデルを学習する か，全ソースを併せた抽出モデルを学習するかの 2 通りが存在する。しかし，それぞれの方法には次の ような問題が存在する．各ソースで抽出モデルを作成する場合には，モデルが増える問題や，別ソース に含まれる有用な情報を学習できなくなる問題が考 えられる。また，全ソースを併せて抽出モデルを学習する場合には，あるソースの抽出精度が，別ソー スに含まれる情報によって低下する可能性が考えら れる.ここで，「事前学習モデルを用いて抽出する 際に，複数ソースデータを同一モデルに学習するマ ルチタスク学習がどの程度有用か」という疑問が生 じる。そこで，本研究では，「異なるソースのデー タでマルチタスク学習を行う際の有効性は，ソース 間類似度に依存する」という仮説を立て，マルチタ スク学習の有効性とソース間類似度の関係性を検証 する。

## 2 関連研究

## 2.1 事前学習モデル

近年，事前学習モデルが様々な自然言語処理夕 スクで最先端の性能を達成している。これは，大規模なニューラル言語表現モデルを事前学習し，下流タスクごとにそのモデルに出力層を追加して fine-tuning することで，幅広いタスクを高い精度で 解くことができるというものである.

特に，2019 年に Devlin らによって考案された Bidirectional Encoder Representations from Transformers (BERT) [1] というアーキテクチャが当時様々なタス クで最先端の性能を達成し，広く使われている。こ のモデルは Transformer [2]を双方向に接続すること で構成されている. Transformer [2] は従来の一般的

 &  &  & エルボの経年劣化 &  & ゲートパルブを交換 \\

図1障害レポートに対するアノテーション例

図 2 質問応答形式による fine-tuning のモデル なニューラルモデルで使われる畳み込みニューラル ネットワークや再帰ニューラルネットワークを用い ず，注意機構のみで構成されたモデルである.

Devlin らの研究 [1] は英語を用いて行われている が，日本語版の事前学習済み BERT モデルもいくつ かの機関から公開されている. 本研究では事前学習 モデルを提供する Hugging Face の Transformers ${ }^{1)}$ を通して簡易に利用可能である，日本語の Wikipedia のデータを用いて学習された, 東北大学が公開して いるモデル2）を用いる.

## 2.2 重要箇所の抽出タスク

本研究と類似した形式の，障害レポートからの 重要箇所抽出タスクを行っている研究に，EncoderDecoder モデルを用いて系列ラベリング問題とし て解いている先行研究 [3] が存在する. この先行研究では事前学習モデルを用いず，Long short-term memory (LSTM) を用いている。このモデルをべース ラインとして事前学習モデルの有効性を評価する。

また, この重要箇所抽出タスクは, 出力の形式 が文や文章ではなくその一部という違いはあるも

のの，抽出型要約タスクと類似している。抽出型要約はドキュメント内の重要な文を識別するこ とによって行われており，最近ではニューラルモ デルを用いて文分類の問題として解かれている. SUMMARUNNER [4] はニューラルモデルを用いた初期の抽出型要約システムであり，エンコーダには 再帰ニューラルネットワークを用いている。また， BANDITSUM [5] はドキュメントを context，要約文選択を action とした contextual bandit 問題として解いて いる。そして，SWAP-NET [6] はドキュメント内の 際立った文とキーワードの両方を異なるエンコーダ で探し，文とキーワードを各デコードステップで選択するスイッチ機構によりそれらを組み合わせて抽出要約を形成するシステムである。 さらに，事前学習モデルを用いた要約タスクの研究も行われてお り，その有効性が確認されている [7]. これらの研究は英語を対象としているが，本研究ではより小規模な，日本語の障害情報レポートに対する事前学習 モデルの有効性を確認する。

## 3 障害情報レポートの重要箇所抽出

## 3.1 タスク設定

本研究で用いるデータは， 1 件の障害レポートか ら人手で抽出された，状況，原因及び措置の 3 文章 に対してそれぞれ重要箇所を 1 箇所以上手動抽出し たものである。重要箇所のアノテーション例を図 1 に示す。本研究は，状況，原因及び措置の 3 種類の 文章からそれぞれ重要箇所を自動で抽出することを 目的とする。

## 3.2 手法

## ベースライン: LSTMを用いた文圧縮 ベース ラインとして小平らによる関連文章を考慮した LSTM による文圧縮手法 [3] を用いる。この手法は， Filippova らの手法 [8] を元にしており，LSTM を用

いて文圧縮を系列ラベリングタスクとして解いてい る. さらに，3 種類の文章を同時に別々のエンコー ダに入力し, それらの出力を連結し, 次元数を揃え るための線形変換を行い，種類ごとのデコーダに入力する操作を行っている. この操作により複数の文章全体を考慮した重要箇所の抜き出しに取り組んで いる.

提案手法: 日本語 BERTを用いた文圧縮 本研究 では日本語データで事前学習済みの言語表現モ デルである日本語 BERT に対して質問応答形式の fine-tuning を行うことで文章抽出モデルを作成する. この時，抽出を行う文章の種類をモデルに理解させ るために，状況，原因及び措置のラベルを質問とし て入力する. 質問応答形式の fine-tuning のモデルを 図 2 に示す. 文章の種類のラベルを入力すること で，複数種類によるマルチタスク学習の性能の向上 を図る。実装にはTransformers に含まれるスクリ プト，run_qa.pyを用いる.

## 4 実験

## 4.1 データ

本研究では，富士電機（株）が保有する設備保全 の障害レポート 194 件に対して， 3.1 節で説明した アノテーションを付与したものを使用する。また，元データに含まれる，人名，企業名及び場所はそれ ぞれ MAN，COMPANY 及びPLACE にマスキングを施し ている.

## 4.2 実験設定

比較手法として以下 2 つの手法を用いる.

-小平ら [3] の手法 (MultiLSTM)

・質問応答形式で日本語 BERT を fine-tuning する 提案手法 (BERT-QA)

各手法のハイパーパラメータの設定は以下の通り である.

MultiLSTM ドロップアウト率を 0.4，学習率を 0.001，勾配クリッピングを 6 に設定する. その他の ハイパーパラメータの設定は先行研究 [3] に従う.

BERT-QA 事前学習済みモデルとして, 東北大学が公開している日本語 BERT の内, whole word masking を適用して学習させているモデル3)を用い る. 学習率を 0.005 ，バッチサイズを 12 ，エポック
 whole-word-masking表 1 各モデルの適合率，再現率及び $\mathrm{F}_{2}$ スコア

数を 10 ，保存ステップを 10 に設定し，最良のモデ ルを開発セットによって選択する。各文章の種類の ラベルとして，状況，原因及び措置の 1 単語をその まま用いる。その他のハイパーパラメータの設定は 先行研究 [1] に従う.

また，どちらの手法においてもデータを 5 等分に 分割し，そのうち 3 つを併せたものを学習セット， 1つを開発セット，残りの 1 つを評価セットとして 用いる形で， 5 分割交差検証を行う。さらに，この タスクはユーザに重要箇所をなるべく多く提示する ことが重要なため, 評価手法には適合率に 2 倍の重 みを付ける評価尺度である $\mathrm{F}_{2}$ スコアを用いる。

## 4.3 先行研究との性能比較

表 1 に各モデルの適合率，再現率及び $\mathrm{F}_{2}$ スコア を示す. 提案手法である BERT-QA が先行研究の結果を大幅に改善していることが見て取れる.このこ とより，数百件程度の極めて小規模なデータを用い た重要箇所抽出タスクにおいても事前学習モデルが 有用であることが分かる.

## 4.4 ソース間類似度とマルチタスク学習

マルチタスク学習の有効性を調べるために，ま ず，ソース間類似度を計測する。計測には本実験 と同様の日本語 BERT を用い, 文の先頭に挿入す る [CLS]トークンの最終隠れ状態（図 2 の入力から Type 及び [SEP] トークンを除いた場合のC）を文べ クトルとして利用する。ここで，文章から重要箇所 を抽出するタスクにおけるソース間類似度を捉える ために，重要箇所の文べクトルから元の文章の文べ クトルを引いたべクトルを事例ごとの抽出べクトル として定義する。

表 2 に全事例の抽出べクトルのソースごとの平均をコサイン類似度により比較した結果を示す. 状況-原因及び原因-措置の対は比較的類似度が高く,状況-措置の対の類似度が低くなっていることが確認できる.

次に，学習データの種類を制限する実験を行う. 3 種類のソースが存在し, その内 1 種類あるいは 2 種類のソースのデータを利用してモデルを学習し，

表 3 各モデルのソース毎の $\mathrm{F}_{2}$ スコア

表 4 各モデルの出力結果の比較

 & を要します。 &  \\

合計 6 種類のモデルを新たに作成する.

表 3 にソースの種類を絞って学習した場合の結果を示す. 各列が利用した学習データ, 各行が評価 データのソースを示している．学習データが「すべ て」であるのは先行研究との比較実験で使用したモ デルと同一のものである. 基本的には少ないソース で個別にモデルを学習したほうが抽出精度が高いこ とが見て取れる。

ここで表 2 に示すソース間類似度に着目し，単一 ソースで学習した場合に対して2ソースでマルチタ スク学習した場合を比較する．類似度が高かった原因と措置及び状況と原因はそれぞれ-0.074 と-0.059 及び+0. 013 と-0.042 ポイントの差があり, その平均 は-0.041 ポイントである。それに対し，類似度が低 かった状況と措置は-0.025と-0.009 ポイントの差で あり，その平均は-0.017 ポイントであり，ソース間類似度が高い場合よりも良い結果となっている.つ まり，質問応答形式を用いた抽出タスクを行う場合，BERT モデルを用いて算出したソース間類似度 が高いほどマルチタスク学習の効果が高くなるわけ ではないことが言える.

## 4.5 ケーススタディ

表 4 に各モデルの出力結果を示す4). 抽出元文章内の赤いゴシック体の箇所は重要箇所の参照であ る. 例 1 は抽出にある程度成功している例である。 どちらのモデルに対しても抽出元文章が短い場合は 精度が高くなる傾向が見受けられた. 例 2 の各モデ ルの出力を比較すると, MultiLSTM の出力が非文に

なっているのに対し, BERT-QA の出力は参照の範井を大きく逸脱しているものの，意味が通る出力に なっていることが分かる. この BERT-QA の出力が MultiLSTM に比べて流暢であるという傾向は全体を 通して見られた。また，例 3 において，MultiLSTM は重要箇所が存在しないと判断している.これは学習データに含まれる類似する事例が少ないことが 原因の 1 つとして考えられ，MultiLSTM では全体を 通して散見された。それに対して BERT-QA は正し く出力できており, MultiLSTM に比べてデータセッ トが小規模な場合の抽出にも有効であると考えら れる。

また，BERT-QAにおける出力を分析すると，抽出元の長い文章全てを重要箇所として判定してし まっている誤りがいくつか存在した。これに関して は，重要箇所の最大系列長をヒューリスティックに 決定し，上位の出力候補から条件を満たすものを選択することでさらなる精度の向上を図ることが可能 と考えられる。

## 5 おわりに

本研究では BERT モデルに対する質問応答形式の fine-tuning を利用した重要箇所抽出抽出手法を提案 した. この手法では既存の実装を用いて容易に抽出型要約を行うことができ，LSTMを用いた既存手法 に比べて $\mathrm{F}_{2}$ スコアで 0.26 ポイントと大幅に精度が 向上することを示した. さらに，ソース間類似度に 着目したマルチタスク学習の有効性を分析し, デー タが少ない場合，ソース間類似度が高いほどマルチ タスク学習の効果が高くなるとは一概に言えないこ とを発見した。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL 2019, pp. 4171-4186, 2019.

[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS 2017, pp. 5998-6008. 2017.

[3] 小平知範, 宮崎亮輔, 小町守. 障害情報レポートに対す る同時関連文章圧縮. 言語処理学会年次大会 2017, pp. 186-189, 2017.

[4] Ramesh Nallapati, Feifei Zhai, and Bowen Zhou. Summarunner: A recurrent neural network based sequence model for extractive summarization of documents. In Satinder P. Singh and Shaul Markovitch, editors, AAAI 2017, pp. 3075-3081, 2017.

[5] Yue Dong, Yikang Shen, Eric Crawford, Herke van Hoof, and Jackie Chi Kit Cheung. BanditSum: Extractive summarization as a contextual bandit. In EMNLP 2018, pp. 3739-3748, 2018.

[6] Aishwarya Jadhav and Vaibhav Rajan. Extractive summarization with SWAP-NET: Sentences and words from alternating pointer networks. In ACL 2018, pp. 142-151, 2018.

[7] Yang Liu and Mirella Lapata. Text summarization with pretrained encoders. In EMNLP-IJCNLP 2019, pp. 37303740, 2019.

[8] Katja Filippova, Enrique Alfonseca, Carlos A. Colmenares, Lukasz Kaiser, and Oriol Vinyals. Sentence compression by deletion with LSTMs. In EMNLP 2015, pp. 360-368, 2015.


# 言語特徴量導入によるソーシャルスキルレベル推定の性能向上

佐賀健志
奈良先端科学技術大学院大学
saga.takeshi.sn0@is.naist.jp
岩坂英巳
奈良県立医科大学精神医学講座
iwasaka@heartland.or.jp

## 1 はじめに

ソーシャルスキルは他者とのコミュニケーションに おいて重要な要素のひとつである。通常、私たちは幼少期にこれらのスキルを習得するが、自閉症スペクト ラム症候群（ASD）や統合失調症などの影響で大人に なってから困難に直面する人もいる [1]。ほとんどの 日常生活はいくつかのソーシャルスキルの複合的な応用を必要とするため、そのようなスキルがなければ日常生活は非常に難しいものとなる。

この難しさを軽減する方法のひとつとして、ソー シャルスキルトレーニング（SST）がある。Bellack ら によるとSST は「条件付き反射療法」と「相互抑制に よる心理療法」、「社会的学習理論」に基づいており、様々な分野で広く使用されてきた $[2,3,4,5,6]$ 。また、 SST は特定の疾患だけを対象としているわけではない ため、精神疾患を抱える人だけではなく、ソーシャル スキルに悩みを抱える健常者でもソーシャルスキル レベル向上の効果が期待できる点も特徴のひとつで ある。

SST は一般的な手法になりつつあるが、効果的な SST を行えるようになるまでのトレーニングのハード ルの高さなどの理由によりセラピストの数が不足して いるため、受けたいと思った人がすぐには受けられな いのが現状である [7]。この状況を改善するために、先行研究においてSST 自動化が提案されてきた。

一般的な SST は「苦手スキルの明確化」「練習スキ ルの選択」「いい例と悪い例を見る」「ロールプレイ」「評価」「フィードバック」の順で行われる。SST の 効果を最大化するためには「苦手スキルの明確化」 が特に重要である。人対人のSSTにおいてこの段階 は口頭のコミュニケーションにおいて行われるが、現状の自動対話エージェントでの実現はまだまだ難田中宏季

奈良先端科学技術大学院大学

hiroki-tan@is.naist.jp

中村哲

奈良先端科学技術大学院大学

s-nakamura@is.naist.jp

しい。そのため著者らは先行研究において、マルチ モーダル特徴量を入力として解釈性の高い線形回帰を 用いてきた $[8,9]$ 。本稿では既存手法に言語特徵量と して BERT 埋込類似性（単語間-内容語間-文間）、 Word2Vec 埋込類似性（単語間-内容語間-文間）、 フィラー・代名詞・接続詞割合、隣接文間内容語一致割合を加え、特徴量選択を行うことでソーシャルスキ ルレベル推定性能の向上を目指す。

## 2 先行研究

先行研究において、誰でもSSTを利用できるような 環境実現を目指し、いくつかの仮想エージェントによ る自動化が提案されている。

Tanaka らは仮想エージェントによるマルチモー ダル対話システムを使用して、SST の自動化を試み た [10]。彼らの研究では、ユーザのスピーキングスキ ル向上を目的に設定し、スピーキングレベルを測定す るための評価指標としてスピーキングスキルスコアを 用いている。このスコアは経験豊富な数人のセラピス トによってつけられた点数の平均值で、ユーザのソー シャルスキルレベルの推定モデルを学習させる際の正解ラベルとして用いられた。しかし、このスコアはセ ラピストの主観に基づいているため、個人のバイアス がかかっている可能性を含んでいる。

Voleti らは Social Skills Performance Assessment (SSPA) タスクにおいて撮影された動画から書き 起こされたテキストのみを用いて、SSPA スコアを相関係数 0.752 で予測できることを示した [11]。しか し、使用したデータの SSPA スコアは 1 人のアノテー タの主観に基づいているため、Tanaka らの場合と同様 の問題を含む可能性が存在する。

これらの問題を解決するために本研究ではセラピス トの主観に依存しない評価指標、対人応答性尺度に基

づいてモデルの学習・性能評価を行った。

## 3 対人応答性尺度 (SRS-2)

対人応答性尺度（SRS-2）は、65 項目の質問で構成 される評価指標である。SRS-2 は元々、自閉症スペク トラム障害（ASD）を潜在的に抱えている人を評価す るために設計されたが、統合失調症などの精神疾患を 区別することもできることが報告されている [12]。ま た、健康な人々を対象とした実験においても被験者の ASD 傾向を判別できることが確認されているため、本尺度は信頼性の高い総合的評価指標として使用でき ると期待される。他者評定版と自己評定版が存在する が、本研究では自己評定版を使用した。

本研究では、SRS-2 の「総合スコア」とその治療下位尺度である「社会的コミュニケーション（65 項目の うち 22 項目)」を学習時の目的変数として利用した。 SRS-2 の総合スコアには、純粋なコミュニケーション スキルだけではなく生活スタイルなどに関する項目も 含まれるため、ユーザのソーシャルコミュニケーショ ンスキルをより明確に示している社会的コミュニケー ションスコアも使用することとした。

社会的コミュニケーションスコアと総合スコアは、相関係数 0.92 と高い相関であった。その一方で、先行研究で使用されていたセラピストの主観評価値 であるスピーキングスコアとの相関係数は、それぞ れ-0. 19 と-0.29 という弱い負の相関であった [13]。ま た、SRS-2 は ASD 傾向を評価する目的で開発された ため、SRS スコアが高い人ほどソーシャルスキルレべ ルは低いことを意味する点に注意が必要である。

## 4 マルチモーダル特徵量

ソーシャルスキルは発言内容だけではなく表情や声 の抑揚などの複合的な要素によって構成されているた め、本研究では機械学習モデルへの入力としてマルチ モーダル特徴量を使用する。基本的な特徵量は先行研究の特徴量セットをべースとし、言語特徵量を新しい ものに入れ替えた。

## 4.1 音声・画像特徴量

先行研究と同様に、28 項目の音声特徴量と 26 項目 の画像特徴量を使用している [9]。28 項目の音声特徴量は類似タスクである自動面接評価システムに使用さ れていたものを応用したものである $[14]^{11}$ 。

表 1 言語特徴量

## 4.2 言語特徵量

先行研究の入力特徴量において、音声特徴量 ・画像特徴量の数に比べて言語特徴量の数が少なかったた め、予測に必要な言語情報を十分に抽出できていない 可能性があった [9]。その問題を解決するため、アル ツハイマー病の検出に使用されていた言語特徴量を参考に表 1 に示した特徴量を導入した [15]。元論文では Word2 Vec 埋め込みに基づいた隣接発話間コサイン類似度の平均・最大・最小値を特徴量の一部として用い ていたが、本研究では埋め込みを BERT 由来のもの に、発話間類似度を文間・単語間 - 内容語間類似度に 拡張している。

具体的な特徴量の算出方法は以下の通りである。実装にあたり BERT 埋込の算出には Transformers ライブ ラリの Whole-word-masking で事前学習された日本語 BERT モデルを使用し、Word2 Vec 埋込算出には chiVe を使用している $[16,17,18]$ 。

## 4.2.1 BERT word、 w2v word

まず、BERTと Word2Vecによって各単語に対する 埋込ベクトル（単語レベル埋込）を算出する。その 後、隣接単語間でコサイン類似度を計算する。それら 類似度を発話テキスト全体の総単語数で平均すること でこれらの特徴量は算出された。

## 4.2.2 BERT_cont、w2v_cont

まず、BERTと Word2Vecによって各内容語に対す る埋込ベクトル（内容語レベル埋込）を算出する。事前学習済み BERTでは、前処理で入力文が Subword に 分割されるため、そのままでは内容語と BERT 埋込べ クトルとの対応が取れない。そのため、形態素解析
器 Sudachi で分かち書きされた単語と BERT-tokenizer で分割された sub-word で文字レベル一致度を算出し、内容語に対して 0.25 を超えたものを内容語 BERT 埋込ベクトルとして使用した [19]。そして、隣接内容語間でコサイン類似度を計算し、それらを発話テキスト 全体の総内容語数で平均することでこれらの特徴量は 算出された。

## 4.2.3 BERT_sent、w2v_sent

単語レベル埋込の隣接単語間コサイン類似度を算出後、各文に含まれる総単語数で平均をとる（文レベル 類似度)。それら文レベル類似度を発話テキスト全体 の総文数で平均することでこれらの特徴量は算出さ れた。

## 4.2.4 Conj\%、Filler\%、Pronoun\%

まず、Sudachi によって文を単語に分割した後、原型に戻す。その後、発話テキスト全体における総単語数に対する接続詞・フィラー・代名詞の割合を算出す ることでこれら特徴量は得られた。

## 4.2.5 Neighbor_cont

まず、Sudachiによって文を単語に分割した後、原型に戻す。その後、隣接文間での内容語の一致割合を 算出することでこれら特徴量は算出された。

## 5 実験

## 5.1 学習データ

学習データには、先行研究によって得られた日本語 の 1 分間スピーキングビデオを使用した [13]。まず、被験者はノートパソコンの画面を介して MMDAgent (http://www.mmdagent.jp/) で作成された仮想エー ジェントに対して、最近あったうれしかった出来事に ついて 1 分間話す。被験者が話している間、被験者の 顔の映像と声が記録され、後日、アノテータによっ てテキストに書き起こされた。1分間の発話終了後、 SRS 質問紙を用いて、被験者の生活スタイルやコミュ ニケーションスタイルなどについて記入してもらっ た。以上のような手順によって 27 人の健康な被験者 のデータセットは作成された。うち 1 名のデータにて 特徴量抽出における外れ値が確認されたため、それを 除外した 26 名のデータを今回は使用している。

## 5.2 相関分析

まず、各特徵量と SRS との間の関連性を調べるた めに相関分析を行った。その結果を表 2 に示す。こ こでSRS は総合スコア、Com は社会的コミュニケー ションスコアを示している。いずれの特徴量におい ても、SRS スコアとの有意な相関は見られていない ( $>>0.05$ )。

単語レベルの BERT_word や内容語レベルの BERT_cont、Filler\%で比較的高い正の相関が確認でき る。その一方で単語レべルの $\mathrm{w} 2 \mathrm{v} \_$word は比較的強い 負の相関を示しており、BERTを用いた特徴量とは異 なる言語的特徴を取得している可能性が示唆される結果となった。

## 5.3 特徵量選択

一般に線形回帰のような単純な機械学習モデルに対 して特徴量選択を行うことで推定精度が向上するこ とが知られている。本研究でもそれに倣い、各特徴量と SRS スコアの Pearson 相関係数に基づいた Filter Method によって特徴量選択を行った後、線形回帰で SRS スコア予測を試みた。先行研究において 10 個の 特徴量で線形回帰を行っていたため、それに倣い本研究では上位 10 個の特徴量選択を行うこととした [10]。提案手法に対する特徴量選択によって選ばれた特徴量 を表 4 に示す。また、特徵量選択を行う場合と行わな かった場合の特徴量セットを用いた線形回帰による予測結果を表 3 に示す。ここでRMSE は真値と予測値 のずれを表す二乗平均平方根誤差、Correl は Pearson 相関係数を示している。比較のために従来手法に対し て同様の操作を行った場合の結果も示している [9]。

表 4 特徴量選択結果（上位 10 個）

特徴量選択をしなかった場合、いずれの指標におい ても性能が低下する結果となった。その一方で特徴量選択を行った場合、総合スコア予測において性能が向上し、今回試した全ての手法の中で最も高い相関と低 いRMSE を達成した。参考までに特徴量選択後の提案手法で SRS 総合スコアを予測した場合の真值と予測值の散布図を図 1 に示す。

## 6 考察

相関分析において Filler\%が比較的高い正の相関を 示しており、ソーシャルスキルと関連している特徴量 である可能性が示された。先行研究のスピーキングス コア予測でもフィラーは重要特徴量として挙げられて おり、今回の結果によって SRS スコア予測でも同様 のことが言えることがわかった [10]。

表 3 において相関係数が向上していることから、特徵量選択が推定性能の向上に大きく寄与していること が確認できる。特に、SRS 総合スコア予測においては 提案手法に対して特徴量選択を行った場合が最も高い 相関係数となっており、有効性が示唆されている。一方で、社会的コミュニケーションスコア予測に関して は、提案手法に特徴量選択をおこなった場合よりも既存手法に対して特徴量選択を行った場合のほうが有効

図 1 提案手法による総合スコア予測 $(\mathrm{r}: 0.76)$

であることが確認された。

表 4 に示されている上位 10 個の選択された特徴量 を比較すると、社会的コミュニケーションスコア予測 を行った場合にのみ、言語特徴量の BERT_cont が現 れていることが確認できる。このことから全体のスコ ア予測には言語的内容が重要ではない可能性が示さ れた。

## 7 おわりに

本研究では既存手法に新たな特徴量を追加し、特徴量選択を行うことで SRS スコア推定性能向上を実現 した。また、特徴量選択の結果、ソーシャルスキルレ ベル推定において重要特徴量となりうる候補が挙げら れた。今後は実例と照らし合わせながらより詳細な分析を行う必要がある。

## 8 謝辞

本研究は、CREST 戦略的創造研究推進事業 (JPMJCR19A5) および JSPS 科研費 (JP17H06101 およ び JP18K11437) の支援を受けて行われたものである。

## 参考文献

[1]Children and Adults with AttentionDeficit/Hyperactivity Disorder. Relationships \& social skills. Accessed August 15, 2020.

[2]A. Salter. Conditioned reflex therapy. Creative Age Press, 1949.

[3]J. Wolpe. Psychotherapy by reciprocal inhibition. Stanford University Press, 1958.

[4]A. Bandura. Principles of behavior modification. Holt, Rinehart and Winston, 1969.

[5]Kim T. Mueser and Alan S. Bellack. Social skills training: Alive and well? Journal of Mental Health, pp. 549-552, 2007.

[6]A. S. Bellack, K. T. Mueser, S. Gingerich, and J. Agresta. Social Skills Training for Schizophrenia: A Step-by-Step Guide. Guilford Press, 2 edition, 2004.

[7]一般社団法人 SST 普及協会. 認定講師. Accessed October $5,2020$.

[8]T. Saga, H. Tanaka, H. Iwasaka, and S. Nakamura. Objective prediction of social skills level for automated social skills training using audio and text information. In ICMI ' 20 Companion: Companion Publication of the 2020 International Conference on Multimodal Interaction, pp. 467-471. Association for Computing Machinery, New York, NY, United States, 2020.

[9]佐賀健志, 田中宏季, 岩坂英巳, 中村哲. マルチモーダル 情報を用いたソーシャルスキルの客観的推定. HCG シン ポジウム $2020, p p$. A-7-2. 電子情報通信学会, 2020.

[10]Hiroki Tanaka, Hideki Negoro, Hidemi Iwasaka, and Satoshi Nakamura. Embodied conversational agents for multimodal automated social skills training in people with autism spectrum disorders. PLOS ONE, Vol. 12, No. 8, pp. 1-15, 08 2017.

[11]R.Voleti, S.Woolridge, J.M.Liss, M.Milanovic, C.R.Bowie, and V.Berisha. Objective assessment of social skills using automated language analysis for identification of schizophrenia and bipolar disorder. In Proceedings of INTERSPEECH2O19, pp. 1433-1437, 2019.

[12]MD John N. Constantino and PhD Christian P. Gruber. Social Responsiveness Scale, Second Edition (SRS-2)Back. Western Psychological Services, 2012

[13]H. Tanaka, H. Iwasaka, H. Negoro, and S. Nakamura. Analysis of conversational listening skills toward agent-based social skills training. Journal on Multimodal User Interfaces, Vol. 14, No. 1, pp. 73-82, Mar 2020.

[14]I. Naim, M. I. Tanveer, D. Gildea, and M. E. Hoque. Automated analysis and prediction of job interview performance. IEEE Transactions on Affective Computing, Vol. 9, No. 2, pp. 191-204, April 2018.

[15]A.Balagopalan, B.Eyre, F.Rudzicz, and J.Novikova. To bert or not to bert: Comparing speech and language-based approaches for alzheimers disease detection. In Proceedings of INTERSPEECH2020, pp. 2167-2171, 2020.

[16]Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, R'emi Louf, Morgan Funtowicz, and Jamie Brew. Huggingface's transformers: State-of-the-art natural lan- guage processing, 2019.

[17]真鍋陽俊, 岡照晃, 海川祥毅, 高岡一馬, 内田佳孝, 浅原正幸. 複数粒度の分割結果に基づく日本語単語分散表現. 言語処理学会第 25 回年次大会 (NLP2019), pp. NLP2019-P8-5. 言語処理学会, 2019.

[18]河村宗一郎, 久本空海, 真鍋陽俊, 高岡一馬, 内田佳孝, 岡照晃,浅原正幸. chive 2.0: Sudachi とnwjc を用いた実用的な日本語単語ベクトルの実現へ向けて. 言語処理学会第 26 回年次大会 (NLP2020), pp. NLP2020-P6-16. 言語処理学会, 2020.

[19]K. Takaoka, S. Hisamoto, N. Kawahara, M. Sakamoto, Y. Uchida, and Y. Matsumoto. Sudachi: a japanese tokenizer for business. In Nicoletta Calzolari (Conference chair), Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi, Koiti Hasida, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Asuncion Moreno, Jan Odijk, Stelios Piperidis, and Takenobu Tokunaga, editors, Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Paris, France, may 2018. European Language Resources Association (ELRA).

## A 付録：使用した特徵量一覧

表 A. 1 に使用した特徴量一覧を示す。

表 A. 1 使用した特徵量（上から音声・画像）


# 語りに傾聴を示す応答の表出されやすさの推定

伊藤滉一朗 $\dagger 1$ 村田匡輝 $\dagger 2$ 大野誠寛 $\dagger 3$ 松原茂樹 $\dagger 4$
$\dagger 1$ 名古屋大学大学院情報学研究科 $\dagger 2$ 豊田工業高等専門学校
$\dagger 3$ 東京電機大学未来科学部 $\dagger 4$ 名古屋大学情報連携推進本部
ito.koichiro@a.mbox.nagoya-u.ac.jp murata@toyota-ct.ac.jp
ohno@mail.dendai.ac.jp matubara@nagoya-u.jp

## 1 はじめに

語ることは人間の基本的な欲求である. 語る行為 は, 聞き手がいて初めて成立する. 日本では, 独居高齢者の増加など社会の個人化が進み $[1,2]$, 聞き 手不在の生活シーンが増加している. 人が語れる機会を増やすことは現代社会の重要な課題である.こ れに対し，コミュニケーションロボットやスマート スピーカーなどが語りを聞く役割を担うことが考 えられる。これらが聞き手として認められるには,「語りを傾聴していることを話し手に伝達する機能」 を備える必要がある。このための明示的な手段は語 りに応答することである. 以降では, 傾聴を示す目的で語りに応答する発話を傾聴応答と呼ぶ.

適切なタイミングでの傾聴応答の表出は, 話し手 の語る意欲を促進する効果が期待できるが, 不適切 なタイミングでの表出は逆効果になりうる. そのた め, 傾聴応答の表出では, その表出タイミングが重要となる. 本論文では, 適切なタイミングでの傾聴応答の自動生成の実現に向けて, あるタイミングが 傾聴応答の生成にどの程度適するかを推定する手法 を提案する. 本研究では, この適切さを表す指標と して, 傾聴応答の表出率を定義し, これを予測する. あるタイミングでの傾聴応答の表出率は, そのタイ ミングで傾聴応答を表出した聞き手の割合とする.

提案手法は，語りの音響情報とテキスト情報を用 いて, 傾聴応答の表出率を予測する. 具体的には, これらの情報を transformer ベースの手法 [3] でエン コードし, エンコード結果を 1 次元に変換して表出率を算出する．提案手法の予測性能の評価のため に, 表出率の予測実験を行ったところ, 語りの音響情報とテキスト情報の両方を予測に使用する提案手法が有効であることを確認した。

図 1 語りと傾聴応答の例

## 2 傾聴応答

傾聴応答は, 話し手の語りに傾聴を伝える応答で あり, 話し手の語る意欲を促進する効果が期待でき る. 図 1 に語りと傾恥応答の例を示す.

## 2.1 傾聴応答の表出率

本研究では, あるタイミングが傾聴応答の生成に どの程度適するかを表す指標として, 傾聴応答の表出率を定義し，これを予測する。 あるタイミングで の傾聴応答の表出率は, そのタイミングで傾聴応答 を表出した聞き手の割合とする．表出率が高いタイ ミングほど，そのタイミングで応答を表出した聞き 手が多いことを意味する．本論文では，傾聴応答の 表出率の予測手法を提案する.

## 2.2 表出率の利用

傾聴応答の生成タイミングに関する従来研究 $[4,5,6,7,8,9]$ では, タイミング毎に, 傾聴応答の生成に適するか否かの二値分類を経て, 生成に適する タイミングを検出してきた. 本研究では, 従来研究 とは異なり, 傾聴応答の表出率を予測する. 従来研究における, 応答生成に適したタイミングか否かの 二值分類は, 行動の選択といえる。一方, 本研究で 行う表出率の予測は，あるタイミングでの状況の予測といえる. 本研究では, 予測された表出率は, 適

図 2 応答タイミング (上部) とテキスト情報 (下部) の例

表 1 応答タイミングを表現するタグ

$<\mathbf{E}_{\mathbf{B}}>\mid$ 文節終端の対象の応答タイミング

$<\mathbf{E}_{\mathbf{P}}>$ ポーズ継続地点の対象の応答タイミング

$<\mathbf{T}_{\mathbf{B}}>\quad$ 文節終端の過去の応答タイミング

$<\mathbf{T}_{\mathbf{P}}>$ ポーズ継続地点の過去の応答タイミング

切な応答生成タイミングの判断に利用されることを 想定する. 表出率を利用した適切な応答生成タイミ ングの判断方法には, 様々な選択肢があると考えら れる. 最も単純な例としては, 表出率がある閾値を 超えた際に応答を生成する方法が挙げられる. この 方法では, 閾値の設定次第で, 応答システムの積極性を表現することも可能である.

表出率の予測は, 従来の二值の予測に比べ, より 細かい粒度での明確な值の予測である. そのため,表出率を予測するシステムは, 二値の予測を行う従来のシステムと比べ, 移植性が高く, 他の要素と組 み合わせやすい。例えば，ユーザの個性や，応答シ ステムとユーザの関係性といった, 表出率以外の要素と組み合わせて, 適切な応答生成タイミングの判断をすることも比較的容易と考えられる。

## 3 傾聴応答の表出率の予測手法

## 3.1 表出率の予測タイミング

提案手法では，応答は語りの言語的境界の直後で 発話されやすいことを踏まえて, (a) 語りの文節終端, (b) 語りの文節終端から $200 \mathrm{~ms}$ ポーズが継続し た点，の二つを傾聴応答の表出率を予測するタイミ ング (以下, 応答タイミング) とする。具体的には, (a) は語りの文節における最終形態素の発話終端時刻である。(b) は, 語りにおいてポーズが継続する 場合にも応答が発話されやすいことを踏まえた応答 タイミングである. 図 2 の上部に，応答タイミング の例を示す.「/」は文節終端を表す. t1 t6の 6 個の 応答タイミングのうち, t4 のみ上記の (b) に該当し, それ以外の 5 個の応答タイミングは (a)に該当する.

図 3 提案モデルの概略

## 3.2 使用する特徵量

提案手法は，語りの音響情報とテキスト情報か ら，表出率を予測する．音響情報としては，対象の 応答タイミング直前のフレームの系列を用いる。フ レーム単位の特徴量には, MFCC の下位 12 次元と ピッチとパワー，及びそれらの $\Delta$ と $\Delta \Delta$ を用いる.

テキスト情報としては，対象の応答タイミング直前のトークンの系列を用いる．トークンは，語りの サブワードと応答タイミングを表現する 4 種のタグ （表 1）から構成される. トークン単位の特徵量に は，トークンの埋め込み表現を用いる。テキスト情報の例を図 2 の下部に示す.この例では，テキスト 情報として, 対象の応答タイミング直前の 3 文節に 含まれるトークンの系列を用いている.

} & \multirow{2}{*}{ 話し手の語り } & \multicolumn{10}{|c|}{ 聞き手の傾聴応答の有無 } & \multirow{2}{*}{ 表出率 } \\

表 2 傾聴応答の表出率の正解値の算出例

図 4 傾聴応答の表出率の正解值の出現割合

## 3.3 表出率の予測モデル

提案モデルの概略を図 3 に示す.ただし， $\mathrm{f}_{\mathrm{i}} \in\left[\mathrm{f}_{1}, \mathrm{f}_{2}, \cdots\right]$ はフレームを, tok $_{\mathrm{j}} \in\left[\right.$ tok $_{1}$, tok $\left._{2}, \cdots\right]$ はトークンを表す。はじめに，音声分析ツールを使用して, 対象の応答タイミング直前のフレーム系列から，音響情報の特徴量行列を抽出する。一方，対象の応答タイミング直前のトークン系列をトー クン埋め込み層に入力して, テキスト情報の特徴量行列を得る. 次に, これら特徴量行列に対して, positional encoding の加算と, 線形変換, ReLU 関数 を適用したのち， 1 層の transformer encoder [3] によ る変換を行う. その後, 変換後の行列に対して, 要素ごとに平均値をとり，音響情報とテキスト情報そ れぞれのエンコード結果であるベクトルを得る. 最後に, これら二つのベクトルを連結させたのち, 線形変換と sigmoid 関数を適用し, 0 以上 1 以下の 1 次元の值に変換することで，表出率を得る.

## 4 傾聴応答の表出率の予測実験

## 4.1 実験データ

## 4.1.1 傾聴応答データ

本実験では，村田らの傾聴応答データ [10]を用い る. 傾聴応答データにおける傾聴応答は, 複数の作業者が録音された語りを聞きながら，それぞれ応答 することで収集されており, 静的な一つの語りに対 して，複数の聞き手の傾聴応答が存在する．録音さ れた語りとして，30 名の高齢者による合計約 8 時間
40 分の語りが収録されているナラティブコーパス JELiCo [11]を使用している.

## 4.1.2 傾聴応答データにおける表出率

本実験では，傾聴応答データの一部である 10 人 の聞き手の傾聴応答 131,616 個を用いた。このデー タ中の応答タイミングに対する傾聴応答の表出率の 正解値は，そのタイミングで応答した聞き手の割合 とした。まず，CaboCha [12]を用いて語りの文節境界を検出したのち，応答タイミングを特定した。次 に，応答の発話開始時刻を，語り中の最も近い応答 タイミングに対応付けた. 最後に, 対応付けの結果 に基づき，傾聴応答の表出率の正解値を算出した。

表 2 に傾聴応答の表出率の正解値の算出例を示 す.この例の語りと応答タイミングは, 図 2 のもの と同一である．L1～L10は 10 人の聞き手を表し，、 は聞き手が応答をしたことを意味する。例えば，応答タイミング $\mathrm{t} 2$ では, L6 と L9 の 2 人が応答して いるので，表出率は $2 / 10=0.2$ となる．実験で用い るデータには， 40,647 個の応答タイミングが存在し た. 図 4 に語りに存在する 40,647 個の応答タイミン グにおける表出率の正解値の出現割合を示す.

## 4.2 実験概要

実験データを学習データ, 開発データ, テスト データに分割した。それぞれ, 23,846 個，8,588 個， 8,213 個の応答タイミングが含まれている。

音響の特徵量抽出には Praat [13] を使用した。フ レームシフトを $10 \mathrm{~ms}$ とし，対象の応答タイミング から遡って 25 フレーム（応答タイミングの直前
表 3 各予測手法における評価指標の値

$250 \mathrm{~ms}$ ）の特徵量を用いた。また，MFCC について は，窓幅を $25 \mathrm{~ms}$ とした。テキスト情報については，対象の応答タイミング直前の 3 文節の語りに含まれ るトークン系列を使用した。語りのサブワードへの 分割は, MeCab [14] (UniDic Ver. 2.1.2) で形態素解析 したのち， subword-nmt $[15]^{1)}$ にり実施した。サブ ワードの埋め込みの初期値には, 日本語 Wikipedia コーパスを用いて GloVe [16] により事前学習した埋 め込み表現を利用した。トークンに対する埋め込み の次元数は 300 とした.

モデルの学習では, バッチサイズを 256 , 学習率を $2 \mathrm{e}-4$, エポック数を 20 とした。損失関数には MSE (Mean Squared Error) Loss を，最適化手法には Adam [17] を用いた. 開発データにおいて損失が最小と なったモデルをテストデータに適用して, その性能 を評価した。補足として，モデルのハイパーパラ メータと実装に用いたライブラリの詳細を，付録 A に記載しておく。

## 4.3 評価方法

本実験では，テストデータ中の全応答タイミン グから算出される RMSE (Root Mean Squared Error) により, 表出率の予測性能を評価する。これを RMSE(all) と表記する。さらに，表出率の正解値ご とにもRMSE を算出し，これも評価指標とする．表出率の正解值 $c$ に対する $\operatorname{RMSE}$ を $\operatorname{RMSE}(c)$ と表記 する. 補足として, $\operatorname{RMSE}(\mathrm{all})$ と $\operatorname{RMSE}(c)$ の計算式 を付録 Bに記載しておく。

提案手法に加え，以下の三つの手法を実装した。

・ random: 学習データにおける表出率の出現分布 に従ってランダムに表出率を予測する手法

・ proposed (P): 音響 (Prosody) 情報のみを使用し て表出率を予測する手法

・ proposed (T): テキスト (Text) 情報のみを使用し て表出率を予測する手法

random の評価指標の值は, テストデータに対す る 1000 回の試行から得られる評価指標を平均す

ることで算出した. proposed $(\mathrm{P})$ と proposed $(\mathrm{T})$ は, それぞれ，表出率を出力する機構（図 3 の linear + sigmoid）に，音響情報のみを入力する手法と，テキ スト情報のみを入力する手法である。

## 4.4 実験結果

各予測手法に対する評価指標の値を表 3 に示す.提案手法と random を比較すると, 提案手法が全て の評価指標で random を上回っており, 提案手法が ランダムな予測よりも有効であることを確認でき た. proposed $(\mathrm{P})$ と proposed (T) についても, 同様の 結果が得られた。このことは，音響情報とテキスト 情報がいずれも表出率の予測に寄与することを示し ている。一方, 提案手法と proposed (P) 及び proposed (T) を比較すると, 提案手法が全 12 個の評価指標の うち 9 個で最良の結果を示しており，音響情報とテ キスト情報の両方を使用して表出率を予測すること の有効性を確認できた。また，分析の結果，提案手法は, 正解の表出率が高いほど予測値も高くなる傾向にあることも確認した。付録 $\mathrm{C}$ に実験結果の補足 を記載しておく．付録の図 5 に提案手法の予測傾向 を, 図 6 に提案手法による予測例も記載しておく.

## 5 まとめ

本論文では, 傾聴応答の自動生成に向けた, 傾聴応答の表出率の予測手法を提案した. 提案手法は,語りの音響情報とテキスト情報を transformer ベー スの手法でエンコードし, エンコード結果を 1 次元 に変換して表出率を算出する. 表出率の予測実験に よって，音響情報とテキスト情報の両方を使用する 提案手法の有効性を確認した. 今後は傾聴応答の種類を考慮した表出率の予測に取り組んでいきたい。

## 謝辞

高齢者のナラティブデータは, 奈良先端科学技術大学院大学ソーシャル・コンピューティング研究室 から提供いただいた. 本研究は, 一部, 科学研究費補助金 挑戦的研究（萌芽）（No. 18K19811）により 実施したものである.

## 参考文献

[1]総務省統計局. 平成 27 年国勢調査世帯構造等基本集計結果の概要.

[2]国立社会保障 - 人口問題研究所. 日本の世帯数の将来推計（全国推計）平成 30 年推計.

[3]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, $Ł$ ukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008, 2017.

[4]Hiroaki Noguchi and Yasuharu Den. Prosody-based Detection of the Context of Backchannel Responses. In Proceedings of the 5th International Conference on Spoken Language Processing (ICSLP-1998), pp. 8570-8573, 1998.

[5]Nicola Cathcart, Jean Carletta, and Ewan Klein. A Shallow Model for Backchannel Continuers in Spoken Dialogue. In Proceedings of the 10th Conference on European Chapter of the Association for Computational Linguistics (EACL-2003), pp. 51-58, 2003.

[6]Shinya Fujie, Kenta Fukushima, and Tetsunori Kobayashi. A Conversation Robot with Back-Channel Feedback Function Based on Linguistic and Nonlinguistic Information. In Proceedings of the 2nd International Conference on Autonomous Robots and Agents (ICARA-2004), pp. 379-384, 2004.

[7]Norihide Kitaoka, Masashi Takeuchi, Ryota Nishimura, and Seiji Nakagawa. Response Timing Detection Using Prosodic and Linguistic Information for Human-friendly Spoken Dia$\log$ Systems. Journal of Japanese Society for Artificial Intelligence, Vol. 20, No. 3, pp. 220-228, 2005.

[8]Yuki Kamiya, Tomohiro Ohno, and Shigeki Matsubara. Coherent Back-Channel Feedback Tagging of In-Car Spoken Dialogue Corpus. In Proceedings of the 11th Annual SIGdial Meeting on Discourse and Dialogue (SIGDIAL-2010), pp. 205-208, 2010

[9]Takashi Yamaguchi, Koji Inoue, Koichiro Yoshino, Katsuya Takanashi, Nigel G. Ward, and Tatsuya Kawahara. Analysis and Prediction of Morphological Patterns of Backchannels for Attentive Listening Agents. In Proceedings of the 7th International Workshop on Spoken Dialogue Systems (IWSDS2016), pp. 1-12, 2016.

[10]村田匡輝, 大野誠寛, 松原茂樹. 語りの傾聴を話し手 に示す応答発話の収集. 電気学会論文誌 C, Vol. 138, No. 5, pp. 637-638, 2018.

[11]Eiji Aramaki. Japanese Elder' s Language Index Corpus v2, 2016. https://doi.org/10.6084/m9. figshare. 2082706.v1.

[12]Taku Kudo and Yuji Matsumoto. Japanese Dependency Analysis using Cascaded Chunking. In Proceedings of the 6th Conference on Natural Language Learning (COLING-2002), pp. 63-69, 2002.

[13]Paul Boersma and David Weenink. Praat: Doing Phonetics by Computer (version 5.1.05), 2009. http: //www. praat. org/.

[14]Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proceedings of the 9th Conference on Empirical Methods in Natural Language Processing (EMNLP-2004), pp. 230-237, 2004.
[15]Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural Machine Translation of Rare Words with Subword Units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL-2016), pp. 1715-1725, 2016.

[16]Jeffrey Pennington, Richard Socher, and Christopher Manning. GloVe: Global Vectors for Word Representation. In Proceedings of the 19th Conference on Empirical Methods in Natural Language Processing (EMNLP-2014), pp. 15321543, 2014.

[17]Diederik P.Kingma and Jimmy Lei Ba. Adam: A Method for Stochastic Optimization, 2014. http://arxiv.org/abs/ 1412.6980.

## Aモモ゙ルのハイパーパラメータと実装に用いたライブラリ

3.2 節で述べたとおり, 音響の特徴量は 42 次元 (MFCC の下位 12 次元とピッチとパワー, 及びそれらの $\Delta$ と $\Delta \Delta$ ) である. 4.2 節で述べたとおり, テキストの特徴量は 300 次元である. 表 4 に, proposed $(\mathrm{P})$, proposed (T) 及び提案手法における transformer encoder [3] の入出力の次元数 $\left(d_{\text {model }}\right)$, multi-head attention のヘッド数 （h）を示す. position-wise feedforward network の中間層の次元数 $\left(d_{\mathrm{ff}}\right)$ は， $d_{\text {model }}$ の 4 倍とした.これらのハ イパーパラメータの值は, 開発データを用いて定めた. モデルの実装には, pytorch ${ }^{2}$ を用いた. transformer encoder は, pytorch のnn.TransformerEncoder とnn.TransformerEncoderLayer で実装した.

## B 評価指標

$\operatorname{RMSE}(\mathrm{all})$ と $\operatorname{RMSE}(c)$ は，以下の式によって計算される。ただし， $p(t)$ と $c(t)$ はそれぞれ，応答タイミン グ $t$ における表出率の予測值と正解値を表し， $S_{\mathrm{all}}$ はテストデータにおける全応答タイミングを表し， $S_{c}$ は テストデータにおける表出率の正解値が $c$ であるような応答タイミングの集合を表す.

$
\operatorname{RMSE}(\text { all })=\sqrt{\frac{1}{\left|S_{\mathrm{all}}\right|} \sum_{t \in S_{\mathrm{all}}}(p(t)-c(t))^{2}} \quad \operatorname{RMSE}(c)=\sqrt{\frac{1}{\left|S_{c}\right|} \sum_{t \in S_{c}}(p(t)-c(t))^{2}}
$

## C 実験結果の補足

図 5 に，提案手法による傾聴応答の表出率の予測傾向を示す.この図は, 表出率の正解値が高いほど予測值も高くなる傾向を示している。この結果から, 提案手法は, 傾聴応答の表出率の高さに対応した応答タイ ミングの特徴をうまく捉えられているといえる. 最後に，提案手法による表出率の予測例を図 6 に示す.

表 4 各予測手法における transformer encoder の

図 5 提案手法による傾聴応答の表出率の予測傾向

図 6 提案手法による傾聴応答の表出率の予測例

2) https://pytorch.org/docs/stable/index.html


# Transformer に基づく英日翻訳器からの 単語アラインメント抽出手法の比較

古澤智博松崎拓也
東京理科大学 理学部第一部 応用数学科
1417092@ed.tus.ac.jp matuzaki@rs.tus.ac.jp

## 1 はじめに

単語アラインメントとは、対訳文ペアにおいて、意味の上で対応している単語を繋いだものである。単語アラインメントの一例を図 1 に示す。エンコー ダ・デコーダモデルに基づくニューラル機械翻訳で は、モデルの内部に単語アラインメントを明示的に 持たない方式が一般的である。近年、ニューラル機械翻訳と同時に単語アラインメントを付与する手法が、盛んに研究されている $[1,2]$ 。この理由とし て、翻訳モデルのブラックボックス化が起き、翻訳過程の可視化が望まれている点 [3]、また応用面で は、強調表示などの原文に対するテキスト修飾を訳文の対応する部分に付加する目的 [4] などがあげら れる。特に、翻訳モデルとして現在広く使われてい る Transformer モデルについて、単語アラインメン 卜抽出手法の提案が複数なされている $[2,4,5,6]$ 。本研究では、これまで英仏翻訳、英独翻訳などに 対して評価結果が報告されている Transformerに基 づく単語アラインメント抽出手法を、英日翻訳に適用し、得られる結果を分析する。実験の結果から、
- Saliency に基づくTransformer からの単語アライ ンメント抽出 [6] では記号類に誤りが多い
- 相対的に、GIZA++ では前置詞 $\rightarrow$ 助詞ペアに誤 りが多い

という観察が得られた。

## 2 Transformer に基づく単語アライ ンメント抽出手法

Transformer [7] は、ニューラルネットワークによ るエンコーダ・デコーダモデルの一種である。エン コーダの最初の処理として、単語 ID が埋め込みべ クトルに変換される。その後、複数の自己注意機構 を経たのち、出力ボキャブラリの全単語についての 確率分布が出力される。以上の過程は、全体として

Require: $I=$ 入力長, $J=$ 出力長, $\left[M_{i j}\right]=$ Saliency の 行列

Ensure: $\left[X_{i j}\right]=$ 単語アラインメントの行列

$X_{i j} \leftarrow$ false $(i=1, \ldots, I, \quad j=1, \ldots, J)$

for $i=1, \ldots, I$ do

$t \leftarrow \max \left(M_{i 1}, \ldots, M_{i J}\right)$

for $j=1 \ldots J$ do

if $M_{i j}>t \alpha$ then

$X_{i j} \leftarrow$ true

for $j=1, \ldots, J$ do

$t \leftarrow \max \left(M_{1 j}, \ldots M_{I j}\right)$

for $i=1, \ldots, I$ do

if $M_{i j}<t \beta$ then

$X_{i j} \leftarrow$ false

図 2 単語アラインメントを取得するアルゴリズム

微分可能である。

Ding ら [6] は、Transformer の内部機構が微分可能 である点を利用し、入力の各単語が出力の各単語に 与える影響を微分係数の大きさとして数値化し、単語アラインメントを取得する手法を提案した。具体的には、まず入力の単語埋め込みの各成分につい て、デコーダが出力する各単語の確率の勾配の大き さを計算する。次に、ある出力単語の選択における 各入力単語の寄与（Saliency）を表す量を、先ほど 得た成分についての勾配をもとに計算する。以上 により、(入力単語数) $\times$ (出力単語数) の Saliency の行列を得る。Ding らは、Saliency を表す尺度とし て、勾配ベクトルのノルムを用いているが、この尺度の選択には検討の余地があるため、後述する実験 によって英日翻訳に適した尺度を比較検討した。ま た、Ding らの実装に含まれる SmoothGrad [8] も加え て実装した。SmoothGrad は、入力を多数複製して ノイズを加えたものそれぞれについて勾配を調べる
表 1 Saliency の尺度を変えたときの精度（ $F_{1} ）$

表 2 言語対別の AER の違い

表 3 品詞別の precision $/$ recall $/ F_{1}$ の違い (KFTT)

表 $4 \alpha$ と $\beta$ を変化させたときの精度 $\left(F_{1}\right)$

ことで、精度を向上させる手法である。

Saliency の行列から単語アラインメントを取得する手法として、Ding らは各出力単語に対し て Saliency が最大の入力単語を選んだ後に growdiagonal heuristic [9] により補正する方法を用いてい る。一方、本論文では図 2 に示す方法を用いた。ア ルゴリズム中のパラメータ $\alpha$ および $\beta$ は、後述する 実験によって最適値を探索した。

図 2 に示すアルゴリズムの要約は、次の通りであ る。まず、入力側の各単語から見て、相対的に高い Saliency を持つすべての出力単語との間にエッジを 張る。次に、出力側の各単語から見て、相対的に低 いSaliency を持つすべての入力単語との間のエッジ を（あれば）削除する。最後に残ったエッジの集ま りを単語アラインメントとする。

## 3 実験に使用する英日デー夕

訓練・評価データとする英日の対訳コーパスとし て、京都フリー翻訳タスクデータ（KFTT）[10] と Asian Scientific Paper Excerpt Corpus（ASPEC）[11] を使用した。KFTT は Wikipedia の京都に関係する記事から作成された英日対訳コーパスである。ASPEC は学術論文の要旨から作成された英日対訳コーパス である。KFTT は約 44 万文、ASPEC は約 300 万文の 対訳文から成る。KFTT の評価データ（1235 文）に は、人手で単語アラインメントが付与されている。

## 4 実験設定

Transformer の実装として、fairseq [12] に含まれる ものを用い、これを改造することで実験を行った。 KFTT の正解の単語アラインメントと比較する際 は、Transformer がコーパス内の目的言語文そのもの を出力したとみなし、コーパス内の対訳文に対して 単語アラインメントを付与した。ASPEC を用いた 実験では、正解の単語アラインメントデータが存在 しないため、入力文に対してモデルが出力した目的言語文との間の単語アラインメントを抽出し、分析した。また、Transformer の訓練と単語アラインメ ントの抽出は、KFTT と ASPEC それぞれで独立に 行った。

トークナイズには、SentencePiece [13] を用いた。原言語・目的言語で共通の語彙集合を用い、語彙サ イズは、16000とした。語彙集合の生成は、KFTT と ASPEC それぞれで独立に行った。

SmoothGrad の分散とサンプル数は、評価データ上 でチューニングを行い、それぞれ 1.0 と 50 とした。

KFTT について、品詞別の単語アラインメント の精度を測定する際、品詞の自動判定に英文には
表 5 誤って付いた単語アラインメントの品詞別分類

 &  & 機能語 & 記号類 & 数詞 \\

$\mathrm{spaCy}^{1)}$ を、和文には $\mathrm{KyTea}^{2}$ を用いた。Transformer から抽出した単語アラインメントは、SentencePiece によるサブトークンの間のアラインメントとして得 られる。これを KFTT の単語単位の正解アラインメ ントと比較する際、KFTT の各単語対と一文字ずつ でも重なるサブトークン対にアラインメントが付い ていれば、その単語対にはアラインメントが付いて いるとみなした。

また、比較対象として、代表的な統計的単語アラ インメント抽出手法である GIZA++ [14] を用いた。 GIZA++ による単語アラインメントの推定には、 KFTT に含まれる対訳文約 44 万文のみを用いた。

## 5 実験項目

## $5.1 \alpha$ と $\beta$ 関する実験

KFTT に対して、図 2 の手続きのパラメータ $\alpha$ お よび $\beta$ の值を変化させて、Saliency による単語アラ インメントを出力した。ここでは、Saliency の尺度 として、成分の絶対值の平均を用いた。

表 4 に、そのときの単語アラインメント精度（ $F_{1}$ スコア）を示す。結果から $\alpha=0.9 、 \beta=0.4$ の時が 最も精度が高いことが分かる。以降の実験ではこの 值を用いた。

## 5.2 Saliency を表す尺度に関する実験

Saliency を表す尺度については、Transformer から 自動微分により各入力単語に対し得られる 512 次元 の勾配ベクトルを、SmoothGrad の複製により $512 \times$ 50 の勾配行列にしたものに対して、成分の絶対值の 平均、成分のフロベニウスノルム、成分の絶対値の

最大值、成分の平均の絶対值の 4 つを比較した。成分の平均の絶対值は、Ding らの実験で使用された基準と実質的に同等である。

表 1 に、Saliency の尺度を変えたときの KFTT での 単語アラインメント精度の比較を示す。SmoothGrad の有無にかかわらず、成分の絶対值の平均が最も 精度が高いことが分かる。また、SmoothGrad を用 いた場合、成分の絶対值の平均以外については精度が低下していることが分かる。以降の実験では 成分の絶対值の平均を Saliency の尺度として用い、 SmoothGrad を併用した。

## 5.3 単語アラインメント精度

GIZA++ 及び Saliency による単語アラインメント を、KFTT の人手による正解アラインメントと比較 し、品詞別に precision/recall $/ F_{1}$ を計算したものを表 3 に示す。ただし、得られた単語アラインメントが 多く付いた上位の品詞対についてのみ示す。また、表中の「句読点」は、括弧などを含む広義の句読点 である。表より、GIZA++ は前置詞 $\rightarrow$ 助詞の精度が 相対的に低く、Saliency に基づく手法では句読点 $\rightarrow$補助記号の精度が相対的に低いことがわかる。

また、Ding らの実験結果との比較を、表 2 に示す。表中の数值は Alignment Error Rate (AER) であり、值 が小さいほど精度が高いことを表す。Ding らの実験結果と同様に、GIZA++ の精度が Saliency に基づ く手法を上回っていることが分かる。

## 5.4 ASPEC を用いた実験

ASPEC に対して、Saliency による単語アラインメ ントを出力し、英文の文字数が 80 から 90 のもの 69 文、および 270 から 290 のもの 62 文の計 131 文に 対して単語アラインメントの誤りの分析を行った。

図 3 Saliencyに基づく手法からの単語アラインメントの例

図 4 GIZA++による単語アラインメントの例

表 5 に誤った単語アラインメントの数を、表 6 に 本来付くべきところが付いていない単語アラインメ ントの数を、品詞別に集計したものを示す。表中の 「単語一部」とは、SentencePiece によって形態素よ り細かく分割されたサブワードを意味する。KFTT を用いた実験結果と同様、Saliency に基づく手法は 記号類に弱いことが分かる。また、出力側の和文の 記号類に対して誤ったアラインメントが付きやすい ことが分かる。

## 6 考察

Saliency に基づく単語アラインメント抽出手法に ついて、Ding らの英独、英仏、英羅翻訳での実験で は、SmoothGrad の使用によって AERを半分近く減少させていた。しかし、本研究では、SmoothGradに よる効果は大きくなかった。

また、品詞別の評価において、Saliencyによる単語アラインメントでは、記号類に多く誤りが発生す ることが確認された。特に、文末のピリオドと句点 の対にアラインメントが付かない例が多く見られ た。その例を、図 3 に示す。これは、出力側の文末 の句点に対する確率は、Transformerにおいて入力側 の文末のピリオドに強く依存しているわけではない ことを示している。一方、GIZA++ の出力では、前置詞 $\rightarrow$ 助詞のアラインメントが付かない誤りが相対的に多く確認された。その例を、図 4 に示す。図中の上の例では、「about」 $\rightarrow$ 「ほど」にアラインメ ントが付いていないことが分かる。これは、英語の 前置詞と日本語の助詞の間には、単純な一対一では ない意味的な対応があり、GIZA++ の統計モデルで はこの関係を適切に学習できなかったためだと考え られる。同一のデータで訓練した Transformer から はより正確な前置詞 $\rightarrow$ 助詞のアラインメントが得 られていることは、Transformer の能力の一端を示し ていると言える。

## 7 おわりに

本研究では、これまで英仏翻訳、英独翻訳などに 対して評価結果が報告されている Transformerに基 づく単語アラインメント抽出手法を英日翻訳に適用 し、得られる結果を分析した。品詞別の単語アライ ンメント精度を比較することで、全体としての精度 の比較では分からない手法別の結果の違いが確認で きた。今後の課題として、他の単語アラインメント 抽出手法も含めた精度の比較および日英翻訳の場合 の評価が挙げられる。

## 参考文献

[1] Xintong Li, Guanlin Li, Lemao Liu, Max Meng, and Shuming Shi. On the word alignment from neural machine translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1293-1303, 2019.

[2] Thomas Zenkel, Joern Wuebker, and John DeNero. Endto-end neural word alignment outperforms GIZA++. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1605-1617, 2020.

[3] Yanzhuo Ding, Yang Liu, Huanbo Luan, and Maosong Sun. Visualizing and understanding neural machine translation. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1150-1159, 2017.

[4] Thomas Zenkel, Joern Wuebker, and John DeNero. Adding interpretable attention to neural translation models improves word alignment. CoRR, Vol. abs/1901.11359, , 2019.

[5] Yun Chen, Yang Liu, Guanhua Chen, Xin Jiang, and Qun Liu. Accurate word alignment induction from neural machine translation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 566-576, 2020.

[6] Shuoyang Ding, Hainan Xu, and Philipp Koehn. Saliencydriven word alignment interpretation for neural machine translation. In Proceedings of the Fourth Conference on Machine Translation (Volume 1: Research Papers), pp. 1-12, 2019.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In $A d$ vances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008, 2017.

[8] Daniel Smilkov, Nikhil Thorat, Been Kim, Fernanda B. Viégas, and Martin Wattenberg. Smoothgrad: removing noise by adding noise. CoRR, Vol. abs/1706.03825, , 2017.

[9] Philipp Koehn, A. Axelrod, Alexandra Birch, Chris Callison-Burch, M. Osborne, and David Talbot. Edinburgh system description for the 2005 iwslt speech translation evaluation. In IWSLT, 2005.

[10] Graham Neubig. The Kyoto free translation task. http://www.phontron.com/kftt, 2011.

[11] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, 2016.

[12] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[13] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, 2018.

[14] Franz Josef Och and Hermann Ney. A systematic comparison of various statistical alignment models. Computational Linguistics, Vol. 29, No. 1, pp. 19-51, 2003.


# An Investigation of Sentiment Recognition with Error Prone Multimodal Language Sequences

Wei Yang and Jun Ogata
Artificial Intelligence Research Center, National Institute
of Advanced Industrial Science and Technology (AIST)
wei.yang@aist.go.jp; jun.ogata@aist.go.jp
}

\begin{abstract}
In this work, we propose to investigate the sentiment recognition accuracy using unaligned multimodal language sequences including error prone textual modality. For that, we firstly construct an ASR system using a publicly available corpus based on Transformer architecture that relying on self-attention mechanism. Then, for automatically creating the textual data for an existing audio dataset, we perform speech-to-text on the audio part of a multimodal dataset. Finally, we perform sentiment recognition experiments with multi-modality language sequences including the textual features that extracted based on automatically created error prone textual data instead of utilizing manually created transcripts. We estimate that the word error rate (WER) of our ASR system is $4.87 \%$ in the case of SentencePiece based subword segmentation applied for the textual data in training process. We obtain the best accuracy of sentiment recognition experiments conducted on error prone multimodal language sequences with $70 \%$.
\end{abstract
## 1 Introduction

Emotion and sentiment recognition is crucial as an application of artificial intelligence (AI) in human-computer interaction $(\mathrm{HCI})$, and it has become an overlapping research between psychology and computer science (CS). But as we know, it is difficult to understand human language by AI, especially through only one behavior (unimodality) as human language is complicated due to human's dynamic multi-modality nature during face-toface communication. In other words, it is always dynamic and variable language sequences including verbal behavior (natural language/textual modality) and nonverbal behaviors (acoustic modality and visual modality). On the basis of experience, more exact intentions should be more easier to capture by considering natural language and nonverbal cues at the same time (multimodality/multimodal).

The crucial process of emotion and sentiment recognition should be helpful by the use of multimodal data driven recognition engine using state-of-the-art AI techniques. Thus, for both training process and evaluating how reliable a multimodal engine is, creating large-scale labelled multimodal datasets in different languages on all domains is essential and extremely important. Some research institutions have consumed a lot of time and effort to construct publicly available dataset, such as CMU-MOSI [20], CMU-MOSEI [1] and IEMOCAP [3]. We should give many thanks to these works. But we also have to notice that manually constructing multimodal dataset in different modalities is time consuming and cost. It is also difficult to apply one system on all scenarios in real life. Consequently, as an application of emotion or sentiment recognition for addressing real world problems with real time-series data becomes a challenge in research and development in artificial intelligence field.

From the previous work, we can see that much effort also has been made to modelling sentiment or emotion recognition from multiple modalities $[15,17]$. In this work, we focus on the "Multimodal Transformer (MulT)" model [15] that used for emotion and sentiment analysis using multimodal datasets. The main advantage of "MulT" is that it can address "unaligned" problem for the time-series (sequences) data in different modalities, as well as the problem of long-range dependencies across modalities by using crossmodal attention mechanism ("repeated reinforce one modality's features with the features from the other modalities" [15]) to adapt streams from one modality to another. Actually, "MulT" is an extended end-to-end model based on standard Transformer architecture [16]. "MulT" can allow us to obtain state-of-the-art results in emotion and sentiment recognition field for several benchmarks. We refer the read to [15] and [16] for a more detail explanation of the overall architecture of "MulT" and the standard Transformer network. In our work, we only use CMU-MOSI as the multimodal dataset for sentiment recognition experiments.

In this paper, we construct an ASR system based on a standard Transformer architecture with a freely available dataset. We then perform speech-to-text experiments
relying on the pre-trained ASR systems for a publicly available multimodal language dataset. Finally, we extract textual features in word embeddings from those automated transcriptions combine with acoustic and visual features to perform sentiment recognition experiments. We obtain a best recognition accuracy with $70 \%$ by utilizing this kind of error prone multimodal language sequences in three modalities. We also compare the result with the accuracy of using only two modalities (acoustic and visual modalities, without textual modality). Three modalities, in spite of containing error prone textual features, still allow us to obtain much better results.

## 2 Sentiment Recognition with Error Prone Multimodal Dataset

## 2.1 Construction of ASR System

Some researchers have tried to work on speech representation learning approach for speech emotion recognition (SER) task through the use of automatic speech recognition (ASR) system [2,19]. Different from these works, in our work, we directly use ASR system to automatically convert audio to text (transcripts) so as to obtain a multimodal language dataset that containing three modalities: language/textual modality, acoustic modality and visual modality. In speech recognition task, recurrent sequence-to-sequence (seq2seq) model using encoder-decoder network have achieved significant word error rate (WER) by introducing different techniques [21]. There also exist several open tookits that used for speech recognition task, for instance, Kaldi [13] and ESPnet [18]. In our experiments, we construct a Pytorch implementation of ASR system refer to ESPnet using a standard Transformer architecture. We do not apply speed perturbation [8] and CMVN (Cepsturm Mean and Variance Normalization) for experimental data preparation and feature extraction, but apply "SpecAugment" [11] for data argument.

In our experiments, we use Transformer architecture to train our ASR models. Thus, for position representations, we use absolute position encodings in selfattention mechanism that introduced in [16]. As using subword information has already become crucial to the improvement of the tasks in natural language processing (NLP), such as machine translation (MT) or the task we are doing here, speech recognition. Some previous work shows that using "subword" is an effective way for addressing unseen word or rare word issues, alleviating the open vocabulary problems [14], so as to obtain a stronger neural machine translation (NMT) system. Thus, we perform subword segmentation to further segment words into "subword" units for preparing the textual data used for training ASR systems.

In our experiments, we apply two different subword

 & Textual data for ASR \\

Table 1: Examples of word/subword based segmentation for the same text from our experimental dataset.

implementations on the textual data. One is "BPE" subword segmentation which means the segmenter relied on byte-pair-encoding (BPE) compression algorithm [5]. Another one is "SentencePiece (sp)" subword segmentation. "SentencePiece (sp)" supports two segmentation algorithms: "BPE" and "unigram language model" [9], here, for the case of "SentencePiece (sp)" we use "unigram language model". Table 1 shows the examples of word/subword segmentation results for the same text from our experimental dataset.

Textual data (transcripts) are automatically created using our Transformer based ASR systems as described above based on "BPE" and "SentencePiece (sp)" respectively. We evaluate and compare the WER of the ASR systems for both test set including in ASR construction experiments and the audio data with their manual transcripts from an existing multimodal dataset (CMUMOSI). We then choose to use the transcripts of the audio dataset that created from the better ASR system with lower WER as the third modality information act on multimodal sentiment recognition. The textual features (word embeddings) will be extracted afterwards for preparing the final experimental data used in sentiment recognition experiments.

## 2.2 Using Error Prone Multimodal Language Sequences in Sentiment Recognition

We propose three protocols to perform sentiment recognition experiments with multi-modality language sequences using "MulT". We compare these three protocols with each other, also with the results given in [15]. The first protocol (aligned) is that we train the sentiment recognition model based on our error prone multimodal language sequences are aligned to the same length. The second protocol (unaligned) is as follows. The length of the textual sequences is the same as the length obtained in the first protocol, but we keep the original length of the audio and visual features without any word-segmented alignment. The third protocol (unaligned but language only) is that we train the sentiment recognition model
using only the textual features that reinforced by audio and visual features.

## 3 Experiments

## 3.1 ASR and Sentiment Recognition Experimental Datasets

The English dataset used in our ASR system construction is a publicly available ASR corpus: LibriSpeech [10]. LibriSpeech is a publicly available ASR corpus $^{1}$ for speech recognition based on public domain audio books in English. We train Transformer based ASR models on the LibriSpeech corpus with 960 hours (train-960) of speech samples at $16 \mathrm{kHz}$, whose contains three subsets (train-clean-100, train-clean-360 and train-other-500). We evaluate our ASR systems with "test-clean" dataset.

For our sentiment recognition experiments, we use the processed CMU-MOSI experimental datase ${ }^{2}$ which consisting multimodal features (language (L), audio (A) and vision (V)) for 2,199 short monologue video clips. The multimodal features are extracted from the textual, acoustic and visual multimodal dataset using Glove word embeddings (glove.840B.300d) [12], COVAREP [4] and Facet [6] respectively.

## 3.2 ASR System Construction and Speechto-text Tasks

We train our ASR systems for 72 hours on 4GPUs. We average the last 8,10 and 20 saved models for decoding the test set and report the best one. The input acoustic features are 40-dimensional filter banks. In the training stage, we used Adam optimizer [7] with $\beta_{1}=0.9$, $\beta_{2}=0.98, \varepsilon=10^{-9}$ and varied the learning rate over the course of training. We used warmup_step $=12000$, we set the residual dropout with 0.1 . Number of blocks for encoder is 12 and number of blocks for decoder is 6 . The model dimension d_model $=320$ and the number of head is set with 4. The feed-forwad inner dimension is 1280 . We use "GLU (Gated Linear Unit)" as the active function type in our experiments. The textual data of "train-960" dataset is used to learn a language model using Transformer as well. The pre-trained language model is also used in final prediction.

As the evaluation results shown in Table 2. Subword size used in our experiments for "sp" and "BPE" are 5,000 and 32,000 respectively. Vocabulary size are 5,000 and 31,398 obtained from subword segmentation results correspondingly. Our pre-trained Transformer based ASR systems allow us to obtain $4.87 \%$
^{1}$ http://www.openslr.org/12

 }^{2}$ http://immortal.multicomp.cs.cmu.edu/raw_ datasets/processed_data/cmu-mosi/seq_length_50/

and $5.25 \%$ in WER on LibriSpeech's "test-clean" dataset based on "SentencePiece (sp)" and "BPE" subword segmentation respectively. Meanwhile, we obtain $52.23 \%$ and $64.59 \%$ on the CMU-MOSI audio dataset, the reference is the original manual transcripts (textual data) in CMU-MOSI dataset. "SentencePiece (sp)" based subword segmentation obtain $12.36 \%$ improvement in WER over "BPE" subword segmentation on CMU-MOSI dataset while $0.38 \%$ relative improvement on the "testclean" of LibriSpeech. The high scores in WER for CMU-MOSI dataset probably due to differences in domains and speaking styles.

Table 3 shows the samples of speech-to-test experiment results for CMU-MOSI dataset. We can see that some audio samples (e.g., id: OtBXNcAL_IE_18) cannot be recognized successfully using our ASR system (empty), maybe they are too short or so rapid to difficult to recognized. Some of the results do not match the reference because there contains "smacking lips" like stress information in the original manual transcripts (e.g., id: tmZoasNr4rU_10). There also exist some cases that ASR based transcripts are much more longer than their original manual transcripts in the dataset, and the ASR based transcripts are more reasonable according to their corresponding audio samples (e.g., id: 2WGyTLYerpo_44).

## 3.3 Construction of Multimodal Sentiment Recognition Systems

We perform the experiments with "aligned" and "unaligned" protocols almost the same as described in [15]. The hyperparameters of "MulT" use here are also the same as used in [15]. The only difference is that instead of using the extracted textual features given in the original CMU-MOSI processed experimental dataset, we replace them with our textual features. They are also extracted using the same "glove.840B.300d", but based on our automatically created error prone textual data (transcripts). Table 4 shows the evaluation results for the three protocols given in Sec. 2.2. Because of the error prone textual data, as expected, we did not obtain the same results in all evaluation metrics in comparison with the results obtained in [15]. But we compare the results with each other, we found that our results are on the contrary to the results obtained based on the original CMUMOSI multimodal language sequences with manual textual data. In our experiments, "unaligned" has better results in comparison with "aligned" protocol. Meanwhile, reinforcing language (L) features with audio (A) and visual (V) features allow us to obtain the best result. This is to say, Multimodal Transformer with crossmodal attention module are so efficient for addressing the problems of long term dependencies across modalities, especially for "unaligned", even "error prone" nature for multimodal language sequences. We also perform the

 & Model &  & Subword segmentation & WER (\%) \\

\cline { 3 - 5 } & & \multirow{2}{*}{ CMU-MOSI } & BPE & 5.25 \\
\cline { 3 - 5 } & & & BPE & 64.59 \\

Table 2: Evaluation results of speech-to-text experiments based on our Transformer ASR systems for both "test-clean" LibriSpeech test set and CMU-MOSI data. The scores in WER for two different subword segmentation strategies is given on the last column. The number in boldface shows the better results.

 \\
\cline { 2 - 3 } & Manual & shes beautiful (it should be about 167 words in total) \\

Table 3: Examples of speech-to-test experiment results for CMU-MOSI dataset. Here the subword segmentation strategy used is "SentencePiece" (after "SentencePiece" model decoding).

 & 19.2 & 57.8 & 57.5 & 1.359 & 0.208 \\

Table 4: Results for the "MulT" model based multimodal sentiment experiments on CMU-MOSI with our error prone aligned and unaligned multimodal language sequences. As the evaluation metrics, expect MAE is the lower the better, others are the higher the better. $A c c_{7}$ : 7class accuracy, $A c c_{2}$ : binary accuracy, Corr: correlation of model's prediction with human, MAE: mean absolute error of the score.

experiments only with acoustic and visual modalities using "MulT". From the results, we can see that textual features is extremely important in sentiment recognition, in spite of these textual data are error prone and not perfect.

## 4 Conclusion

In this paper, we investigated that as an application of emotion or sentiment recognition for solving real life problems, in other words, if we prefer to do some in- dividual projects, how about the sentiment recognition accuracy that perform with error prone multimodal language sequences in multiple modalities. We assume that we only have acoustic and visual data modalities, for having a multimodal dataset including textual modality, we tried to create textual data using an pre-trained ASR system. The results show that three-modality language sequences combine with a robust multimodal emotion or sentiment recognition system can allow us to obtain a better classification result in comparison with using only two modalities, in spite of the textual features in the language aspect suffers from the low quality of automated transcriptions. From our results, we also can conclude that textual modality is definitely an essential and important information provides us to understand human's behaviors and intents more exactly.

## 5 Acknowledgements

Part of this work was supported by Council for Science, Technology and Innovation, "Cross-ministerial Strategic Innovation Promotion Program (SIP), Big-data and AI-enabled Cyberspace Technologies”. (Funding agency: NEDO)

## References

[1] AmirAli Bagher Zadeh, Paul Pu Liang, Soujanya Poria, Erik Cambria, and Louis-Philippe Morency. Multimodal language analysis in the wild: CMUMOSEI dataset and interpretable dynamic fusion graph. In Proceedings of the 56th Annual Meet-
ing of the Association for Computational Linguistics (Volume 1: Long Papers), pages 2236-2246, 2018.

[2] Yonatan Belinkov and James Glass. Analyzing hidden representations in end-to-end automatic speech recognition systems. 2017.

[3] Carlos Busso, Murtaza Bulut, Chi-Chun Lee, Abe Kazemzadeh, Emily Mower, Samuel Kim, Jeannette N. Chang, Sungbok Lee, and Shrikanth S. Narayanan. IEMOCAP: interactive emotional dyadic motion capture database. Language Resources and Evaluation, 42(4):335-359, 2008.

[4] G. Degottex, John Kane, Thomas Drugman, T. Raitio, and Stefan Scherer. COVAREP-a collaborative voice analysis repository for speech technologies. 2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP2014), pages 960-964, 2014.

[5] Philip Gage. A new algorithm for data compression. C Users J., 12(2):23-28, 1994.

[6] iMotions. Facial expression analysis. 2017.

[7] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. 2014. URL http://arxiv.org/abs/1412.6980.

[8] Tom Ko, Vijayaditya Peddinti, Daniel Povey, and Sanjeev Khudanpur. Audio augmentation for speech recognition. In INTERSPEECH, 2015.

[9] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. 2018.

[10] Vassil Panayotov, Guoguo Chen, Daniel Povey, and Sanjeev Khudanpur. Librispeech: An ASR corpus based on public domain audio books. In 2015 IEEE international Conference on Acoustics, Speech and Signal Processing (ICASSP2015), pages 5206-5210, 2015.

[11] Daniel S. Park, William Chan, Yu Zhang, ChungCheng Chiu, Barret Zoph, Ekin D. Cubuk, and Quoc V. Le. Specaugment: A simple data augmentation method for automatic speech recognition. Proc. Interspeech 2019, pages 2613-2617, 2019.

[12] Jeffrey Pennington, Richard Socher, and Christopher Manning. GloVe: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 1532-1543, 2014.
[13] Daniel Povey, Arnab Ghoshal, Gilles Boulianne, Lukas Burget, Ondrej Glembek, Nagendra Goel, Mirko Hannemann, Petr Motlicek, Yanmin Qian, Petr Schwarz, Jan Silovsky, Georg Stemmer, and Karel Vesely. The Kaldi speech recognition toolkit. In IEEE 2011 Workshop on Automatic Speech Recognition and Understanding, 2011.

[14] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 17151725, Berlin, Germany, 2016.

[15] Yao-Hung Hubert Tsai, Shaojie Bai, Paul Pu Liang, J. Zico Kolter, Louis-Philippe Morency, and Ruslan Salakhutdinov. Multimodal transformer for unaligned multimodal language sequences. 2019.

[16] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS'17 Proceedings of the 31 st International Conference on Neural Information Processing Systems, pages 6000-6010, Long Beach, CA, USA, 2017.

[17] Yansen Wang, Ying Shen, Zhun Liu, Paul Pu Liang, Amir Zadeh, and Louis-Philippe Morency. Words can shift: Dynamically adjusting word representations using nonverbal behaviors. 2018.

[18] Shinji Watanabe, Takaaki Hori, Shigeki Karita, Tomoki Hayashi, Jiro Nishitoba, Yuya Unno, Nelson Enrique Yalta Soplin, Jahn Heymann, Matthew Wiesner, Nanxin Chen, Adithya Renduchintala, and Tsubasa Ochiai. Espnet: End-to-end speech processing toolkit. In Proceedings of Interspeech, pages 2207-2211, 2018.

[19] Sung-Lin Yeh, Yun-Shao Lin, and Chi-Chun Lee. Speech Representation Learning for Emotion Recognition Using End-to-End ASR with Factorized Adaptation. In Proc. Interspeech 2020, pages 536-540, 2020.

[20] Amir Zadeh, Rowan Zellers, Eli Pincus, and LouisPhilippe Morency. MOSI: Multimodal corpus of sentiment intensity and subjectivity analysis in online opinion videos. IEEE Intelligent Systems 31.6 (2016): 82-88, 2016.

[21] Yu Zhang, William Chan, and Navdeep Jaitly. Very deep convolutional networks for end-to-end speech recognition. 2016.


# End-to-End 音声翻訳のためのデータ拡張の検討

高木景矢
豊橋技術科学大学
takagi.keiya.sk@tut.jp
}

秋葉友良
豊橋技術科学大学
akiba.tomoyoshi.tk@tut.jp
}

塚田元
豊橋技術科学大学
tsukada.hajime.hl@tut.jp

## 1 はじめに

音声翻訳とはソース言語の音声をターゲット言語 のテキストに翻訳するタスクである.このタスクを 実現させるために, 先行研究では音声認識モデルと 機械翻訳モデルを連結させたカスケードモデルや，単一のモデルで直接翻訳する End-to-End モデルが採用されている [1]. End-to-End 音声翻訳モデルは, 誤 り伝搬の軽減と低遅延化のために近年注目されてい る.しかし, End-to-End 音声翻訳において, ソース 音声とターゲット文の大規模なぺアデータが必要に なることが問題として挙げられる. そこで, 近年,音声合成精度が人間の発話に近くなっている [2]こ とから対訳データのソーステキストから音声合成 を使用して疑似ペアデータを作成しデータ拡張を する研究が行われている $[3,4]$. これらの研究では,非公開データを使用していたり, 英語講演音声翻訳 コーパスに対してドメイン外の MT データを用いた データ拡張をし, 性能をあげるために音声翻訳デー タで fine-tuning を行っている. 最近, MuST-C と呼 ばれる英語講演音声翻訳コーパスが公開された [5]. これは以前からある英語講演音声翻訳コーパスで ある IWSLT18 [6] よりもサイズが大きく, 品質が良 いとされている. 本論文では, IWSLT18 の音声翻訳 コーパスと MuST-C の対訳データから End-to-End 音声合成モデルで作成した合成音声-ターゲットテキ ストの拡張データを用いて End-to-End 音声翻訳モデ ルを学習することの有効性を調査する。

また, 我々は, 音声認識タスクで単一話者の音声合成を用いたデータ拡張において, 通常用いられる 音声特徵量よりも DNN-HMM (Deep Neural Network Hidden Markov model) のボトルネック特徴量を用い ることで音声認識精度が改善されることを示し た [7]. 音声認識・翻訳はともに sequence-to-sequence の問題であることから, 我々の以前の研究が音声翻訳に応用可能かも調査する.

## 2 End-to-End 音声翻訳と End-to-End 音声合成

End-to-End 音声翻訳とはソース音声系列とター ゲットテキスト系列の組を学習データとし, その変換を直接学習する手法である. 従来の音声認識モデ ルと機械翻訳モデルを連結させるカスケード方式よ りもモデルがシンプルで, 誤り伝搬の軽減と低遅延化のために近年注目されている. End-to-End 音声翻訳は Berard ら [1] が最初に可能性を示した.

End-to-End 音声合成とは, 文字系列とその音声 の組を学習データとし, その変換を直接学習する 手法である. 近年の End-to-End 音声合成研究では,人間の発話に近い精度を達成している [2]. 本研究では Tacotron2 [8] を用いて合成音声を作成する. Tacotron2 はテキストからメルスペクトログラムを 生成するエンコーダデコーダモデルである.メルス ペクトログラムから音声波形に変換する機構はボ コーダと呼ばれ, 本研究では WaveGlow [9]を使用す る. WaveGlow は Glow [10] と WaveNet [11]の見識か ら開発されたもので, 自己回帰を必要とせず高速で 効率的かつ高品質の合成音声を出力する.

## 3 提案手法

提案するデータ拡張法は我々の以前の研究 [7] を音声翻訳に応用したものである. 初期の音声翻訳データに追加のテキスト-テキスト対訳データの ソーステキストを音声合成し, 音声翻訳用の音声テキスト対訳データで拡張する.

End-to-End 音声翻訳では通常, log-mel フィルタバ ンク特徴量などの音響特徴量が入力として用いら れるが, 音声に近い特徵量では多様な情報を含んで おり, 多数の話者の学習データが必要になる. そこ で, 提案手法では音声とその書き起こしのペアデー タで事前学習した DNN-HMM 音響モデルの DNN か ら抽出したボトルネック特徴量を End-to-End 音声翻訳の入力特徴量とすることで単一話者の音声合成に よるデータ拡張で音声翻訳性能を改善する (図 1).

図 1 提案手法の概略図

図 2 ボトルネック特徴量抽出器の概略図

ボトルネック特徴量の合成には, 図 2 のように DNN-HMM の出力に近く比較的ノード数の少ない 層を用いる．音素の事後確率は話者に依存しないの で，DNN-HMM の中間特徴量は話者に依存しない表現として有用であると考える. DNN-HMM の学習は 従来の手法と同様で, GMM-HMM (Gaussian Mixture Model Hidden Markov model) を使用してフレームご とに HMM の状態をアライメントし，その HMM の 状態を予測するようにDNNを学習する。

データ拡張では，機械翻訳のソーステキストデー タから単一話者の音声合成モデルを用いてテキスト と対応する音声を合成する. 合成した音声に対し,
ペアデータで学習しておいた DNN-HMM を用いて フレームごとにボトルネック特徴量を抽出する．抽出したボトルネック特徴量と元のターゲットテキス 卜を対にして疑似ぺアデータを作成する。元のペア データに疑似ペアデータを加え End-to-End 音声翻訳 モデルを学習する。

## 4 実験

音響特徴量と提案するボトルネック特徵量を用い て End-to-End 音声翻訳モデルを学習しその翻訳精度 を比較する。

## 4.1 データセット

本実験では，コーパスとして IWSLT18 と MuST-C を使用した。翻訳タスクとしては英語-ドイツ語を 選択した. IWSLT18 コーパスは 271 時間分の英語講演音声とその書き起こし， ドイツ語の翻訳が含ま れている. 先行研究 [12] に倣い, アライメント品質の低い発話を削除し約 $137 \mathrm{k}$ の発話を使用した. MuST-C は英語講演音声とその書き起こしとドイツ 語やフランス語を含む 8 言語の翻訳が含まれるコー パスである.そのうち， ドイツ語翻訳のある 408 時間分のデータを使用した. 実験では，IWSLT18を 初期ペアデータとし, データ拡張用テキストデー タとしては，MuST-Cのテキストを使用した。ただ し, MuST-Cについては 40 単語以内のものを使用し
表 1 音声翻訳データの統計情報

た。開発セットには IWSLT18 の $\operatorname{dev} 2010$ を使用し， テストセットには tst2010，tst2013，tst2014，tst2015 と MuST-C のテストセット tst-COMMON, tst-HE を 用いた.

## 4.2 データの前処理

まず，テストセットに含まれる講演と学習データ に含まれる講演が重複しないように学習データを 削除した。また，学習データと開発セットについて は 3000 フレームを超えるものや，400 文字を超える 発話は削除した. 各データの最終的な情報を表 1 に 示す.

テキストデータについてはトークナイズと小文字化は Moses ${ }^{1)}$ のスクリプトを用いて行った. 句読点 などの非発話記号は削除し，文字レベルのボキャブ ラリを使用した。

## 4.3 ボトルネック特徵量抽出

ボトルネック特徵量を合成する DNN-HMM を学習するために Kaldi [13] を用いた. 学習データは初期データである IWSLT18を用いた。入力は 40 次元の MFCC と 100 次元の i-vector で出力は HMM の 共有状態 (6056 次元) として学習を行った. 出力に 近く比較的次元の少ない層の出力 (レシピでいう と prefinal-xent $の$ batchnor 層) をボトルネック特徴量 (256 次元) として合成した。

## 4.4 データ拡張

疑似ペアデータを作成するために単一話者の音声合成には Tacotron2 [8] と WaveGlow [9]を用いた. モ デルは，公開されているモデルを使用した ${ }^{2)}$ 。これ

らのモデルは，単一女性話者によって収録された 24 時間程度の英語音声コーパスである LJSpeech を学習データとしている.

## 4.5 End-to-End 音声翻訳

ESPnet $^{31}$ [14] のレシピに倣い音声データの特徴量抽出を行った。従来使用される音響特徴量として窓幅 $25 \mathrm{~ms}$, フレームシフト $10 \mathrm{~ms}$ で 80 次元の log-mel フィルタバンク特徴量と 3 次元の pitch 情報を得た。 また, この特徵量は学習データの平均と標準偏差で 平均化した。簡単のために学習データセットを次の ように表記する。

## IWSLT18

発話速度を $0.9 ， 1.0 ， 1.1$ 倍にしデータを拡張した IWSLT18 のソース音声とターゲットテキストのペア データ.

## TTS_MuST-C

MuST-C のターゲットテキストと対応するソーステ キストの合成音声の疑似ペアデータ。

## RAW_MuST-C

性能の上限を調査するための MuST-C のソース音声 とターゲットテキストのペアデータ.

これらのデータの組み合わせで実験を行った。

モデルアーキテクチャは ESPnet に従ったもので 注意機構を有する VGG-like のモデルである. エン コーダに 4 層の CNN と 1024 次元, 5 層の BiLSTM, デコーダに 1024 次元, 2 層の LSTM が採用されてい る. バッチサイズは 16 でオプティマイザは adadelta を使用し, 15 Epochの学習を行い，開発セットで最 も Accuracy が良かったモデルを最終的なモデルと して選択した。

## 4.6 実験結果

音声翻訳結果を表 2 , 図 3 に示す。図 3 は表 2 を各コーパスのテストセットについて平均した 数値をグラフ化したもので，左が fbank+pitch を入力特徵量とする音声翻訳結果で, 右が BNF を入力特徵量とする音声翻訳結果である. 評価指標に は Moses の multi-bleu-detok.perl スクリプトを用いた case insensitive BLEUを使用した.

まず，TTS によるデータ拡張の効果を見るため に, IWSLT18 と IWSLT18+TTS_MuST-C $の$ 行を比較 する. どちらの特徴量を用いた場合でも，データ拡

3) https://github.com/espnet/espnet

図 3 fbank+pitch を入力特徵量する IWSLT18 と MuST-C のテストセットの音声翻訳結果の平均値 (左), BNF を入力特徵量する IWSLT18 と MuST-C のテストセットの音声翻訳結果の平均値 (右)

張 (+TTS_MuST-C) によって音声翻訳精度が改善さ れていることがわかり, シングルスピーカーTTS で データ拡張する効果が確認できた。次に，その効果 を合成ではない実際の音声との対訳でのデータ拡張 (IWSLT18+RAW_MuST-C) と比較してみる.MuST-C テストデータでは音声合成データ (TTS_MuST-C) は 実際の音声 (RAW_MuST-C) の性能には至っていな いが，IWSLT テストデータでは同等の効果が得られ ている. 拡張データと評価データに同じコーパスを 使った場合 (MuST-C テストデータ) に対し，それぞ れが異なるコーパスとなる IWSLT テストデータで は，音声合成でも実音声と同じような効果となった 可能性がある。

次に，2つの特徵量 fbank+pitch と BNF の効果を 比較する. 学習データのサイズが小規模な場合 (IWSLT18 の行) を比較すると, BNF の方が高い翻訳性能となった。一方, 学習データのサイズが増えた 場合 (+TTS_MuST-C および+RAW_MuST-C の行)を 比較すると, fbank+pitch の方が翻訳性能が高い.こ の理由として, BNF は音素表現に近い特徴量を持つ がゆえに多様性が小さいため, データリソースが少 ない場合は翻訳モデルの学習に有利であったと考え られる。データリソースが増えると, 多様性の大き い特徵量 (fbank+pitch) でも学習が改善され, 音声の表現能力の差から性能が逆転した可能性がある.

## 5 結論

本論文では，英語講演音声翻訳コーパスである IWSLT18 を初期データとして, MuST-C のソーステ キストの音声合成とターゲットテキストで作成した 疑似ペアデータを用いてデータ拡張を行った。その 結果，翻訳性能が大幅に上昇することを確認した。 IWSLT18 のテストセットに関しては，実際の音声と の対訳データで拡張した場合と同等の効果が得ら れた。

また，以前の研究で有用であったボトルネック特徵量を音声翻訳に応用した。学習データのサイズが 小さい場合は従来の音響特徴量を用いるよりも提案手法が翻訳性能を上回ることを示した。

今後の課題としては複数話者の音声合成モデルを 用いたデータ拡張実験との比較と, End-to-End 音声翻訳モデルを Transformer ベースのモデルにするこ とが挙げられる。

## 謝辞

本研究は JSPS 科研費 19K11980 および 18H01062 の助成を受けた。

## 参考文献

[1] Alexandre Bérard, Olivier Pietquin, Christophe Servan, and Laurent Besacier. Listen and translate: A proof of concept for end-to-end speech-to-text translation. arXiv preprint arXiv:1612.01744, 2016.

[2] Jonathan Shen, Ruoming Pang, Ron J Weiss, Mike Schuster, Navdeep Jaitly, Zongheng Yang, Zhifeng Chen, Yu Zhang, Yuxuan Wang, Rj Skerrv-Ryan, et al. Natural TTS synthesis by conditioning wavenet on mel spectrogram predictions. In 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 4779-4783. IEEE, 2018 .

[3] Ye Jia, Melvin Johnson, Wolfgang Macherey, Ron J Weiss, Yuan Cao, Chung-Cheng Chiu, Naveen Ari, Stella Laurenzo, and Yonghui Wu. Leveraging weakly supervised data to improve end-to-end speech-to-text translation. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 7180-7184. IEEE, 2019.

[4] Juan Pino, Liezl Puzon, Jiatao Gu, Xutai Ma, Arya D McCarthy, and Deepak Gopinath. Harnessing indirect training data for end-to-end automatic speech translation: Tricks of the trade. arXiv, pp. arXiv1909, 2019.

[5] Mattia A. Di Gangi, Roldano Cattoni, Luisa Bentivogli, Matteo Negri, and Marco Turchi. MuSTC: a Multilingual Speech Translation Corpus. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2012-2017, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] Jan Niehues, Ronaldo Cattoni, Sebastian Stuker, Mauro Cettolo, Marco Turchi, and Marcello Federico. The IWSLT 2018 evaluation campaign. In Proceedings of IWSLT, 2018.

[7] 高木景矢, 秋葉友良, 塚田元. ボトルネック特徵量の合成に基づく音声認識のためのデータ 拡張の検討. 日本音響学会 2020 年春季研究発表会 (ASJ), 32020.

[8] Jonathan Shen, et al. Natural TTS synthesis by conditioning wavenet on mel spectrogram predictions.
CoRR, Vol. abs/1712.05884, , 2017.

[9] Ryan Prenger, et al. Waveglow: A flow-based generative network for speech synthesis. CoRR, Vol. abs/1811.00002, , 2018.

[10] Durk P Kingma and Prafulla Dhariwal. Glow: Generative flow with invertible $1 \mathrm{x} 1$ convolutions. In Advances in neural information processing systems, pp. 10215-10224, 2018.

[11] Aaron van den Oord, Sander Dieleman, Heiga Zen, Karen Simonyan, Oriol Vinyals, Alex Graves, Nal Kalchbrenner, Andrew Senior, and Koray Kavukcuoglu. Wavenet: A generative model for raw audio. arXiv preprint arXiv:1609.03499, 2016.

[12] Hirofumi Inaguma, Kevin Duh, Tatsuya Kawahara, and Shinji Watanabe. Multilingual end-to-end speech translation. In 2019 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU), pp. 570-577. IEEE, 2019.

[13] Daniel Povey, et al. The kaldi speech recognition toolkit. In In IEEE 2011 workshop, 2011.

[14] Shinji Watanabe, et al. Espnet: End-to-end speech processing toolkit. CoRR, Vol. abs/1804.00015, , 2018 .