# 深刻な誤訳の識別に向けた分類型翻訳評価データセットの構築

須藤克仁 ${ }^{1,2}$ 高橋洸丞 ${ }^{1}$ 中村哲 ${ }^{1}$
1 奈良先端科学技術大学院大学 2 科学技術振興機構さきがけ
\{sudoh, takahashi.kosuke.th0, s-nakamura\}@is.naist.jp

## 1 はじめに

ニューラル機械翻訳 (NMT) 技術の進展によって,機械翻訳の平均的な訳質は従前と比較して大きく向上 した. NMT の訳は流暢性に優れることが特徴である が，その一方で重要語句の訳抜けや誤訳が問題視され ている.これはかつての統計的機械翻訳 (SMT) によ る「見るからに機械翻訳」という読みづらくぎこちな い文ではなく，一見して問題がないような文が機械翻訳の結果として得られるようになったが故に, 翻訳の 評価において内容の過不足や文意の正確性により注意 を払わねばならないことの現れともいえる。

機械翻訳評価の事実上の標準である BLEU[1] は n-gram 精度と簡潔ペナルティによって訳語の表層的 な正確性とカバレージを粗く見積もる指標であり，訳文の文意の正確性の評価にはほど遠い。他方，分散表現を用いることで表層一致によらない翻訳評価の手法 として BERT Regressor [2], BERTScore [3], MoverScore [4], BLEURT [5] 等が提案され, 人手評価と高い相関 があることが示されている. 現在の翻訳人手評価の主流は直接評価 (Direct Assessment; DA) [6] と呼ばれる 標準化された単一の人手評価値である. DA の予測を 回帰として解くアプローチは上記 BERT Regressor や BLEURT でも用いられており, 人手評価を自動評価 で再現するという観点では理にかなった方法である.

しかしながら, DA は 1 次元の評価指標であって，様々な誤訳を含む翻訳結果を評価するには不十分であ る. 例えば，「私は 1 万円支払った」という参照訳に 対して，(1)「私は 1 万円支払わなかった」，(2)「支払 い円 1 万した」，(3)「彼は財布を拾った」はいずれも 誤訳であることは確かだが，DA の枠組みでどう異な る評価値を付するかの判断は容易でない。また，(1) は一見して多くの訳語は正しいものの文意としては大 きく異なり，実用上深刻な誤訳といえる.こうした誤訳の識別は自動評価にとっては難しい課題である.

本研究では，「訳文の文意が読み取れるか」「訳文の 文意が参照訳と比較し誤解を招かないか」の二点に着目した分類型の翻訳評価を目指す.複数の視点によ る翻訳評価はかつて広く利用されていた 5 段階の流暢さ (Fluency) と忠実さ (Adequacy) に基づく人手評価 [7] や，NTCIR PatentMT の人手評価 [8] で採用された 5 段階の忠実さと受容度 (Acceptability), 多数の観点 を用いた評価指標である多次元評価 (Multidimentional Quality Metrics; MQM) [9] 等がある. 忠実さは文意の 伝達量に基づいており, 誤訳の影響を測るような定義となっていない，受容度は忠実さの評価が 5 で あった訳文についてのみ文法的な正しさや流暢さ を分類するものであり，深刻な誤訳を識別するには 適さない. 多数の観点は評価の詳細化のために有益 であるが，人手評価が煩雑になりやすい．また，本研究と独立に，Popović は同様の方針により解釈性 (Comprehensibility) と忠実さ (Adequacy) に影響を与え る語句を Major と Minor の二段階で分類する人手評価 アノテーションを実施している $[10,11]$. 語句単位で の評価アノテーションは誤り要因の同定に繋がり有益 であるものの，忠実さの面で語句単位の誤りが文意に 与える影響は明示的に考慮されていない. 本研究では 語句単位ではなく文単位での人手評価・自動評価を目的とし, 文意解釈性, 文意正確性 ${ }^{1)}$ に基づく文単位で の分類型翻訳評価を提案する。提案する評価方法で は，まず文意が読み取れるかを文意解釈性として評価 し，その読み取った文意が正しいかどうかを参照文と の比較によって文意正確性として評価する。

本稿では，上記の観点に基づく評価基準とそれに基 づく翻訳評価データセットの構築について述べ，この データセットを用いた自動評価実験の結果を示す.

## 2 分類型翻訳評価基準

提案する評価基準は流暢さ・忠実さと類似するが， それらがすべて段階的な設計となっていたのに対し，文意正確性については誤訳の分類のために段階的でな い分類型の設計を行った．以下，詳細を述べる。

1）過去の 5 段階評価に基づく「忠実さ」との混同を避けるため 本稿では異なる用語を用いる.

 \\

 \\

## 2.1 文意解釈性

表 1 に文意解釈性の評価基準を示す．従来の流暢さ の基準 [7] では最低の 1 が理解不能 (Incomprehensible) である他は流暢性のみが着目され，ARPA における機械翻訳評価 [12] で検討された解釈性の観点は考慮さ れていなかった. 本研究では流暢性と解釈性を一つの 基準で表現するため，(1) 表記や文法，言語表現の問題が訳文の解釈を不可能にしている場合 (F)，(2) 解釈 が不可能ではないが容易とは言い難い場合 (D), (3) 解釈が容易である場合 (B, A, および $\mathrm{S})$ の大きく 3 つに 分け，(3) については流暢性や文法適格性の影響の違 いで 3 段階，の 5 段階の基準とした.

## 2.2 文意正確性

表 2 に文意正確性の評価基準を示す. 従来の忠実さ の基準 [7] は意味内容がどの程度伝達されたか，とい う量的な尺度であったのに対して, 本研究では誤訳の 深刻さによる伝達内容の誤解リスクを評価基準の中心 とし，(1)そもそも内容が解釈できない場合 (N)，(2)誤訳により誤解を招き得る場合 $(\mathrm{O}, \mathrm{C}$, および $\mathrm{F})$ ，(3)表 3 人手評価におけるアノテータ間一致度 (Kappa 係数

( $\kappa$ およびラベル一致率 $(r))$

誤解の心配がない，もしくは軽微な場合 ( $\mathrm{B}, \mathrm{A}$, および S) の大きく3つに分け，(2) については誤訳のタイプ の違いで 3 種類, (3) については誤解を招く程度の違 いで 3 段階, の計 7 種類の基準とした.

## 3 評価データセットの構築と分析

文意解釈性と文意正確性に基づき作成した機械翻訳 の人手評価データセットについて詳細を述べる.

## 3.1 人手評価

本評価データセットは，WMT 2015 から WMT 2017 までの評価尺度 (Metrics) タスクのデータ（訳文・参照訳合計 9,280 文対，いずれも英語）を利用し，文意解积性と文意正確性のアノテーションを人手で付した ものである. アノテーションは英語への翻訳業務の経験を持つ 3 名のアノテータが独立に, 英語の訳文と参照訳のみを見る形で行った. Popović は原文との比較評価を行ったが，参照訳の品質に影響を受けない一方 で両言語に堪能な評価者を要し言語拡張性に劣る点が 問題といえる。

## 3.2 評価データセットの分析

構築した評価データセットをアノテータ一致度と DA スコアとの関係の二点で分析した.

## 3.2.1 アノテータ間一致度

表 3 にアノテータ間一致度を Kappa 係数 ( $\kappa$ ) とラべ ル一致率 $(r)$ で示す。一致度は十分高いとは言い難い が，過去の WMT 人手評価データ $[13,14]$ と同等程度 である. A-B や B-C で文意解釈性の一致度は文意正確性よりも低くなっているが，これはアノテータ B が $\mathrm{A}$ や より文意解釈性の評価が厳しかったこと（詳細 は付録の表 10-11参照）によるものと考えられる.

## 3.2.2 文意解釈性・文意正確性と DA スコアの関係

人手評価のラベルと DA スコアとの関係を各ラベル に対応する翻訳結果の DA スコアの平均と標準偏差で
表 4 評価ラベルに対する平均 DA スコア（文意解釈性）

表 5 評価ラベルに対する平均 DA スコア（文意正確性）

表したものを表 4, 5 に示す. 各ラベルに対応するDA スコア範囲はアノテータ間で若干異なるものの，おお まかな順序はほぼ同じになっていることが分かる．特 に順序尺度に近い設計となっている文意解釈性の各ラ ベルと文意正確性の $\mathrm{B}, \mathrm{A}, \mathrm{S}$ については DA スコアで もその優劣と一致する結果が得られている。

また，順序尺度となっていない文意正確性の $\mathrm{N}, \mathrm{O}$, $\mathrm{C}, \mathrm{F}$ の各ラベルについては, 無関係な内容を表す O が 最もDA スコアが低く, その次に理解不能な訳文を表 す Nが低くなっており， C や F は誤解を招くリスクが 高い深刻な誤訳でありながら DA スコアが O やNよ り平均的には高くなっている. DA スコアという一次元の尺度でこうした異なる種類の誤訳を識別すること には限界があり，読めない誤訳，読めるが全く無関係 な内容の誤訳，内容は一見類似しているが誤解を招く ような誤訳，文意の伝達にはあまり影響を与えないよ うな誤訳，を識別するためには，本研究のような複数 の評価観点と分類型の評価の導入が重要である.

## 4 自動評価実験

本研究で提案する分類型機械翻訳評価を自動化でき るかを検証するため，評価データセットをもとに以下 の自動評価実験を行った.

## 4.1 データ

評価データセットのうち WMT 2017 のデータに相当する 3,920 文対 (7 言語から英語への翻訳データが 言語対ごとに 560 文対）をテストセットとして利用表 6 自動評価実験での評価ラベル統計（文意解釈性）

表 7 自動評価実験での評価ラベル統計（文意正確性）

し, 残りのデータからランダムに選んだ 536 文対を開発セット，その残りの 4,824 文対を学習セットとして 利用した. 評価データセットには 3 名の異なるアノ テータによるラベルが付されているため，本実験では 以下のヒューリスティクスに基づいて単一のラベルを 選択して利用した。

・2名以上の付与したラベルが一致していればそれ を用いる

・ラベルの一致がなければ，最も悪い評価ラベルを 利用する. ラベルの順序は文意解釈性では $\mathrm{F}<\mathrm{C}$ $<\mathrm{B}<\mathrm{A}<\mathrm{S}$, 文意正確性では $\mathrm{C}<\mathrm{F}<\mathrm{N}<\mathrm{O}<\mathrm{B}$ $<\mathrm{A}<\mathrm{S}$ とする.

表 6,7 に学習・開発・テストセットにおける評価ラべ ルの統計を示す.

## 4.2 実験設定

本研究の自動評価は機械翻訳結果と参照訳を入力と し評価ラベルを予測する分類問題として定式化され る. 本実験では予測モデルは文意解釈性と文意正確性 で独立に学習した。

予測モデルの実装には HuggingFace Transformers ${ }^{2}$ と学習済みの RoBERTa モデル (roberta-large) [15] を利用し，RoBERTaの [CLS]トークンに対する最終層のベクトルを入力とする全結合層 1 層を用いた分類 モデルを構築し，交差エントロピーを損失関数として 学習を行った. ここで，表 6,7 でも明らかなようにラ

表 8 文意解釈性予測の混同行列. 全体の正解率は 0.578 .

表 9 文意正確性予測の混同行列. 全体の正解率は 0.600 .

ベル数には大きく偏りがあるため, 学習セット中のラ ベル数に反比例する重み $c$ を損失関数に付加した.

$
w_{c}=\sqrt{\frac{\max _{c^{\prime} \in \mathscr{C}} \operatorname{count}_{c^{\prime}}}{\operatorname{count}_{c}}}
$

ここで $\mathscr{C}$ はラベルの集合を， count $_{c}$ はラベル $c$ の学習データ中の出現回数を表す。

学習時には Adam [16] 利用し, 初期学習率 1e-5 で 30 エポックのミニバッチ学習を行った. ミニバッ チサイズは $(4,8,16)$, 追加全結合層のドロップアウト 率は $(0.1,0.3,0.5,0.75)$ を比較し，開発セットにおけ る分類精度が最も高くなるものを選択し，文意解釈性予測モデルはミニバッチサイズ 4 , ドロップアウト率 0.75 , 文意正確性予測モデルはミニバッチサイズ 8 , ドロップアウト率 0.5 を使用した.

## 4.3 結果

表 8,9 に文意解釈性, 文意正確性に対する予測の混同行列をそれぞれ示す.

文意解釈性の予測では，テストセットに対する分類精度は 0.578 であり, 学習セット, 開発セットに対す る分類精度はそれぞれ $0.999,0.647$ であった. 表 8 か ら分かるように，誤分類の多くは隣接するクラスに対 するもので，離れたクラス $(\mathrm{F} \rightarrow\{\mathrm{A}, \mathrm{S}\}, \mathrm{D} \rightarrow \mathrm{S}, \mathrm{A} \rightarrow$ $\mathrm{F}$, および $\mathrm{S} \rightarrow\{\mathrm{F}, \mathrm{D}\})$ へ 誤分類率は $0.43 \%$ と低い水準であった. 付録の表 12 には文意解釈性予測の適合率・再現率・F 值を示している。

文意正確性の予測では，テストセットに対する分類精度は 0.600 であり, 学習セット，開発セットに対す
る分類精度はそれぞれ $0.998,0.632$ であった. 出現回数の少なかったラベル (O および $\mathrm{C})$ の予測は重み付き 学習を行ったものの芳しくなく, これらの予測精度の 向上には誤訳例を学習データにより多く含めることが 必要であることが示唆される. 表 9 からはラベル $\mathrm{S}$ と 予測されたものの多く $(93.5 \%)$ は $\mathrm{S}$ または A とラベル 付けされた良い翻訳結果であることが分かり，一定の 有効性が認められる．しかしながら，F と B の間の混同，特に $\mathrm{F}$ のものを $\mathrm{B}$ と予測してしまう割合がかな り高いことから，より精緻な識別を可能にする手法や モデルが必要であると言える。付録の表 13 には文意正確性予測の適合率・再現率・F 値を示している.

## 5 おわりに

本稿では，機械翻訳による深刻な誤訳に着目した分類型翻訳評価に向けての本研究のアプローチを示し， それに基づく文意解釈性と文意正確性の評価基準，評価データセットの構築について述べ，また自動評価実験の結果を示した.

評価データセットは WMT の評価尺度タスクのデー 夕に対して人手で文意解釈性と文意正確性のラベルを 付与する形で構築した. 評価データセットの分析によ り, 従来用いられてきた DA スコアに基づく人手評価 は内容の矛盾等の深刻な誤りを含むような訳文よりも 無関係な訳文や理解不能な訳文を低く評価しており，深刻な誤訳の識別には十分でないことが明らかになっ た.また，本データセットを利用した自動評価実験で は，文意解釈性・文意正確性ともおよそ $60 \%$ の分類精度で評価ラベルの予測ができることを示した. 本デー タセットは別途 Web サイド年で公開予定である.

今後は WMT の評価尺度タスク以外のデータに対し ても同様の人手評価を行った評価データセットの構築 を予定している。また，ラベルの偏りへの対応として のデータ拡張，特に誤訳例の拡張が重要な課題と言え る. Popović のような語句単位の評価と本研究の文単位の評価の関係も精緻な評価や自動誤り箇所検出のた めに有用である。さらに，本研究で提案する分類型翻訳評価を NMT 学習時の目的関数に反映させ，深刻な 誤訳の生じにくいNMT の実現を目指したい.

## 謝辞

本研究は JST さきがけ (JPMJPR1856) の支援を受け たものである.

## 参考文献

[1] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a Method for Automatic Evaluation of Machine Translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[2] 嶋中宏希, 梶原智之, 小町守. 事前学習された文の分散表現を用いた機械翻訳の自動評価. 自然言語処理, Vol. 26, No. 3, pp. 613-634, 2019.

[3] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. BERTScore: Evaluating Text Generation with BERT. In International Conference on Learning Representations, 2020.

[4] Wei Zhao, Maxime Peyrard, Fei Liu, Yang Gao, Christian M. Meyer, and Steffen Eger. MoverScore: Text Generation Evaluating with Contextualized Embeddings and Earth Mover Distance. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 563-578, Hong Kong, China, November 2019. Association for Computational Linguistics.

[5] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning Robust Metrics for Text Generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7881-7892, Online, July 2020. Association for Computational Linguistics.

[6] Yvette Graham, Timothy Baldwin, Meghan Dowling, Maria Eskevich, Teresa Lynn, and Lamia Tounsi. Is all that Glitters in Machine Translation Quality Estimation really Gold? In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 3124-3134, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[7] LDC. Linguistic Data Annotation Specification: Assessment of Fluency and Adequacy in Translations Revision 1.5, January 25, 2005 . Technical report, Linguistic Data Consortium, 2005.

[8] Isao Goto, Bin Lu, Ka Po Chow, Eiichiro Sumita, and Benjamin Tsou. Overview of the Patent Machine Translation Task at the NTCIR-9 Workshop. In Proceedings of NTCIR-9 Workshop Meeting, pp. 559-578, 122011.

[9] Arle Richard Lommel, Aljoscha Burchardt, and Hans Uszkoreit. Multidimensional Quality Metrics (MQM): A Framework for Declaring and Describing Translation Quality Metrics. Tradumàtica: tecnologies de la traducció, No. 12, pp. 455-463, 122014.

[10] Maja Popović. Relations between comprehensibility and adequacy errors in machine translation output. In Proceedings of the 24th Conference on Computational Natural Language Learning, pp. 256-264, Online, November 2020. Association for Computational Linguistics.

[11] Maja Popović. Informative Manual Evaluation of Machine Translation Output. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 5059-5069, Barcelona, Spain (Online), December 2020.
International Committee on Computational Linguistics.

[12] John S. White, Theresa A. O'Connell, and Francis E. O'Mara. The ARPA MT Evaluation Methodologies: Evolution, Lessons, and Future Approaches. In Proceedings of the First Conference of the Association for Machine Translation in the Americas, Columbia, Maryland, USA, October 5-8 1994.

[13] Chris Callison-Burch, Cameron Fordyce, Philipp Koehn, Christof Monz, and Josh Schroeder. (Meta-) Evaluation of Machine Translation. In Proceedings of the Second Workshop on Statistical Machine Translation, pp. 136158, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[14] Michael Denkowski and Alon Lavie. Choosing the Right Evaluation for Machine Translation: an Examination of Annotator and Automatic Metric Performance on Human Judgment Tasks . In Proceedings of the Ninth Biennial Conference of AMTA 2010, 2010.

[15] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint 1907:11692, 2019.

[16] Diederik P. Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In Proceedings of the Third International Conference on Learning Representations, 2015.

## A 人手評価分析

表 10， 11 は本稿で述べた評価データセットにおい て各アノテータが付した文意解釈性および文意正確性 ラベルの分布を示している.

表 10 各アノテータのラベル分布（文意解釈性）

表 11 各アノテータのラベル分布（文意正確性）

## B 自動評価

表 12，13 は文意解釈性および文意正確性の自動評価実験における，ラベル予測の適合率・再現率・F 值 を示している.

表 12 文意解釈性予測の適合率，再現率， $\mathrm{F}$ 值

表 13 文意正確性予測の適合率，再現率， $\mathrm{F}$ 値


# ニューラル日英翻訳における適切な出力文数の推定

伊藤均 衣川和克 美野秀弥 後藤功雄 山田一郎
}

$\mathrm{NHK}$

\{itou.h-ce, kinugawa.k-jg, mino.h-gq, goto.i-es, yamada.i-hy \} @ nhk.or.jp
## 1 はじめに

NHK で放送される英語ニュース用の原稿は，日本語ニュース用の原稿を基に人手で翻訳・編集し制作 している. 我々はこの英語ニュース用の原稿制作を 支援するためのツールとして日英機械翻訳の研究を 進めている.

NHK のニュース原稿は, 日本語ニュース用と英語 ニュース用で異なる特徴を有する。日本語ニュース 用の原稿は一文が長いことが特徴であるのに対し，英語ニュース用の原稿は一文を短く区切る特徴があ る.

これまでに我々は，この特徴の異なりを考慮した 日英機械翻訳システム実現のため, 人手で指定した 文数に翻訳結果を制御する手法を提案した [1].

本稿では, 日英機械翻訳処理における日本語一文 に対する適切な英語出力文数の推定手法と, 出力文数推定から制御までの一連の処理について提案する.本手法は推定モデルと制御モデルの 2 つのモデルを 用いる。日本語一文に対する翻訳結果が，推定モデ ルが適切であると予想した文数で出力されるよう制御モデルで出力を制御し，所望の翻訳結果を得る.実験結果から，提案手法は出力文数を推定・制御し ない従来の日英ニューラル機械翻訳モデルの出力と 比較して，人手による翻訳結果の文数との一致率が 高いことを確認した。

## 2 出力文数の推定・制御タスク

本稿は，機械翻訳における出力文数を以下の $2 \supset$ の処理によって推定，制御する.

（a）日本語各文をいくつの英文で翻訳するべきかを 推定する.

（b）指定した文数で翻訳するよう、機械翻訳の出力 を制御する。

我々はこれまで，（b）の課題に対する手法を提案して
いる [1]. 本稿では (a)の課題に取り組み, (b)の課題 も含む枠組み全体についても評価する。

関連研究として, 目的言語における読者の語学力 に併せて翻訳文の読解難易度を制御することを目的 とした NMT の手法 [2] や，翻訳品質の向上を目的 として NMT の訓練データ中の長文を分割する手法 [3] があるが，これらは訳文の文数を制御する手法 ではない.

## 3 提案手法

提案手法は推定モデルと制御モデルの二つのモデ ルを用いて適切な文数へ翻訳結果を制御する。具体的には，以下の手順で処理を進める。

（1）日本語各文に対する適切な出力英文数を推定 する推定モデルと，指定した文数で翻訳結果 を出力する制御モデルを，ニューラル機械翻訳モデルを利用し学習する。

（2）推定モデルに翻訳したい日本語一文を入力し,適切な出力英文数を推定する。

（3）制御モデルに (2)の推定結果を入力し, 指定し た文数で日英翻訳する.

本研究では，更なる推定性能向上のため制御モデ ルへ文数を入力する前に推定モデルの出力を補正す る前処理を追加することも想定しており，上記のよ うな 2 段階の処理を導入している。

本節ではこのために必要な出力文数の推定手法と。 この推定結果を利用した出力文数制御手法について 説明する。

## 3.1 適切な出力文数の推定

日本語各文に対する適切な出力英文数を推定する ため，日本語一文を入力するとその日本語を日英翻訳する際に適切な英文数を表すタグを出力する推定 モデルを構築する。

 \\

表 1. 推定モデルの学習データへのタグの付与例

まず，日本語一文に対する翻訳英文のぺアを用意 する.これは, 日本語一文に対応する英文は必ずし も一文ずつではなく, 一対多のデータである. 次に, この一対多のデータの各出力の最初の英文の文頭に, その対訳英文が何文であるかを表すタグ(文数タグ) を付与し, 日本語一文とこの文数タグ付き対訳英文 とのぺアを推定モデルの学習データとしてニューラ ル機械翻訳モデルを学習する。

表 1. に推定モデルの学習に用いる学習データの 例を示す.こちらの例では, 日本語一文に対して英語 3 文の対訳データであるため, ターゲット言語文 の冒頭に”〈3〉”と, 英文数の情報を示す文数タグを 付与している. 文数タグは, 出力文数が一文であれ ば” 〈1〉”， 2 文であれば” 22$\rangle$, 翻訳英文中の 数值と区別するために” く〉 内の数字で文数情報を 与える.

この学習データから構築したモデルのシステムに 任意の日本語一文を入力すると, 翻訳結果の先頭に 文数タグが出力される. このタグの示す文数を推定 モデルにおける適切な英文数の推定結果とし, 後述 する制御モデルの入力に用いる.

## 3.2 出力文数の制御

我々はこれまでに, 日本語一文と共に適切な出力英文数を同時に指定することで，指定した文数で日英翻訳結果を出力する制御モデルを提案した[1]. こ の制御モデルでは手動での出力文数指定も可能であ るが，上述の推定モデルの出力によって得られた適切な出力文数を引用することで自動的に出力文数を 制御することが可能となる.

制御モデルでは, 日英対訳データの学習データに

 \\

表 2. 制御モデルの学習データへのタグの付与例

おいて，文数タグを入力である日本語各文の文頭に 配置する (表 2). 学習データ作成時にターゲット言語の出力文数を数え, ソース言語の冒頭に文数タグ として付与する。

この学習データをニューラル機械翻訳モデルに与 えて学習することにより, 翻訳文数の制御モデルを 構築する。

この制御モデルを用いて翻訳結果を出力する際に は，翻訳したい日本語各文の冒頭に，推定モデルに よって得られた文数タグを付与し，制御モデルへ入力することで最終的な翻訳結果を取得する.

## 4 実験

## 4. 1 実験条件

NHK の日本語ニュースを人手により英訳し, 約 10 万文対の実験データを構築した。このうち学習デー 夕，開発データにはそれぞれ約 96,000 文対，5,000 文対を用いた。評価データには日本語文 772 文を用意し, 評価データのみ翻訳者 2 名(翻訳者 $\mathrm{A}$, 翻訳者 B とする)がそれぞれ日英翻訳したマルチリファレ ンスデータとした.

学習モデルは NMT ツールキット” Sockeye [4]" を使用した。パラメータについては表 3 の項目につ いて表記の値に変更し, その他のパラメータについ てはデフォルト値を使用した. 出カユニット単位の 決定には Byte Pair Encoding [5] でサブワードに 分割した。

推定モデル・制御モデルの学習にはそれぞれ学習 データの出力英文数を文数タグとして用い, 出力英文数はサブワード” .”の数とした.

 & 0.2 \\

表 4. 出力文数の一致率の比較

表 3. Sockeye で用いたパラメータ

図 1. 入力単語数ごとの人手翻訳英文数の占有率

## 4.2 翻訳手法

4.1 節の条件下で推定モデルを学習した上で, 以下の翻訳手法から得られる翻訳結果を比較した.

（a）Baseline：上記のデータを用いて学習データ をそのまま使用し学習、翻訳したもの

（b）Tag：制御モデルにおいて評価データの出力英文数を入力の文数タグとして与えて翻訳し たもの。それぞれ制作者 A の出力文数を用い たものを Tag (refA), 制作者 B の出力文数を 用いたものを $\mathrm{Tag}(\mathrm{refB})$ とする. (c) Assume_Tag：推定モデルによって推定した出力文数を制御モデルの入力の文数タグとして 与えて翻訳したもの.

## 4.3 実験結果

## 4.3.1 出力文数の一致率の比較

まず，評価データの日本語各文に対する出力英文数と評価データの英文数との一致率を比較した（表

英文数と一致していれば一致とみなして算出したも

表 5. BLEU 値の比較

のを指す。文数を制御せずに翻訳した場合 (Baseline) と比較して, 推定モデルを用いた手法の 一致率が $81,8 \%$ から $87.0 \%$ に向上し, 学習データに出力文数を明示的に与えることの効果を観測すること が出来た. また, 推定モデルと制御モデルの両方を 用いた手法(Assume_Tag)でも 87.0\%の一致率を得た.制御モデルだけに着目すると, 評価データの出力文数を文数タグとして与えた場合も推定モデルの推定結果を文数タグとして与えた場合も, 文献[1]で示 したように制御モデルによる一致率の低下なく文数 を制御することが出来た。 Tag (refA)の一致率は $97.8 \%$, Tag (refB) は $99.1 \%$ と, 出力文数を指定すれ ば,ほぼその通りの文数で翻訳できることが分かる.

出力文数の推定タスクの難しさを調べるために，入力文長と出力文数との関係を調査した. 図 1 に翻訳者 A の翻訳結果における, 入力文の単語数ごとの 出力文数の占有率のグラフを示す. こちらのグラフ は各入力文を入力単語数で 10 単語単位に分類した 際の人手翻訳英文数の占有率を示している. グラフ から, 日本語一文に対する入力単語数と人手翻訳英文数には一定の相関があるが，重なりのある部分も 多く，難しいことが分かる.

また, 評価データにおける翻訳者 2 者の平均英文数は翻訳者 $\mathrm{A}$ が 1.73 文, 翻訳者 $\mathrm{B}$ が 1.47 文で, 両者の文数一致率は $65.8 \%$ と両者の一致度は高くはな かった. 推定プロセスを経ることで文数一致率が向上していることから入力文の内容と翻訳英文数との 間には何らかの相関があると推測できるが，更なる 推定性能向上のため翻訳結果を複数文に分割する要因の分析については今後の課題とする.

## 4.3.2 翻訳性能の比較

次に, 各手法の BLEU 值について比較した (表 5). $\mathrm{BLEU}$ 值は翻訳者 $\mathrm{A}$ ・ B 両者の翻訳結果をマルチリフ
アレンスとして測定した。推定モデルの結果を反映 させた手法(Assume_Tag)では Baseline と比較して BLEU 値の低下が観測された. 人手翻訳時の出力文数 を与えて翻訳した手法(Tag_refA， Tag_refB)では Baseline と比較して BLEU 值が向上していることか ら, 出力文数の一致率と BLEU スコアには相関があ ることが分かる.

一方で, 出力文数を制御出来たとしても BLEU ス コアの改善には繋がらなかった. これは出力文数が 一致することとリファレンスとの翻訳表現が一致す ることは同義ではないためと考察する. 文数推定モ デルにより文数一致率が向上したことから，人手翻訳において適切な出力文数は一定の基準に従って定 まることは推測出来るが，翻訳表現については翻訳者ごとに個性があり, 出力文数が一致したとしても 出力結果は必ずしも一致しない. 更なる原稿制作支援のため，今後入力文の情報が翻訳時に各文にどの ように分割されるか分析を進めたい。

## 5 おわりに

本稿では，NHK のニュースを対象とした日英翻訳 において, 日本語一文に対する翻訳として適切な英文数を推定し，推定結果に基づいた文数で翻訳する ためのニューラル機械翻訳モデルを提案した．提案手法は適切な文数を推定する推定モデルと, 指定し た文数で翻訳する制御モデルの 2 つのモデルで構成 され，推定・制御を経由しない従来の機械翻訳モデ ルの出力と比較して人手翻訳結果の出力文数との一致率を $6.4 \%$ 向上させることが出来た. 今後は更なる 翻訳性能と制作支援効果向上に向けた手法を検討す る。

## 参考文献

1. ニューラル機械翻訳における出力文数の制御. 伊藤ほか: 人工知能学会, 2020

2. Controlling Text Complexity in Neural Machine Translation. S. Agrawal et al. : EMNLP, 2019

3. Automatic Long Sentence Segmentation for Neural Machine Translation. S.Kuang et al. : ICCPOL, 2016

4. Sockeye: A Toolkit for Neural Machine Translation. F. Hieber et al. : arxiv, 2017

5. Neural Machine Translation of Rare Words with Subword Units. R. Sennrich et al. : ACL, 2016.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# Positional Encoding への摂動付与による長さ制御を用いた 非自己回帰型機械翻訳のための知識蒸留

岡佑依 須藤 克仁 中村哲
奈良先端科学技術大学院大学
\{oka.yui.ov2, sudoh, s-nakamura\}@is.naist.jp

## 1 はじめに

近年, ニューラルネットを用いた機械翻訳（NMT） の手法が多く考案されている。これらの手法におい て，注視機構を用いた自己回帰型エンコーダ・デ コーダモデルは自然性があり高い精度の翻訳結果を 残している. 特に，Transformer[1] は Self-Attention, Multi-Head Attention, Positional Encoding という独自 の機構を利用して，高い精度の翻訳結果を残した。我々の研究 [2] では，高瀬ら [3] が提案した長さ制約付き Positional Encoding を機械翻訳に適用し，摄動 を加えることによって翻訳精度を改善した. さらに 通常の Transformer と比べ長く出力することを可能 とした. また，推論時に与えられる長さが参照訳の 長さと一致する場合，大きく翻訳精度を改善した。

非自己回帰型エンコーダ・デコーダモデルは，自己回帰型モデルと比べ高速な翻訳を可能とするが，翻訳精度は低く, 通常の自己回帰型モデルと比べて さらに短い文を生成する傾向にある。

本研究では，長さ制約つき Positional Encoding へ の摂動を用いて知識蒸留をすることで非自己回帰型モデルの翻訳精度の改善を試みた。さらに，既存の非自己回帰型モデルの一つである Levenshtein Transformer[4] に長さ制約付き Positional Encoding へ の摂動を適用することで長い文を生成し，訳抜けを 改善することを試みた。

## 2 関連研究

## 2.1 Positional Encoding による出力長制御

Positional Encoding（以下，PE）は, Transformer の エンコーダ・デコーダ両者において各埋め込み表現 に対し，その位置に対応した絶対的な値を足し合わ せることで位置情報を与える役割を持つ. その時足 し合わせる値は正弦関数と余弦関数の式で表され
る. トークンの位置を pos, 埋め込み表現の次元数 を $d$ とすると $i$ 番目の次元の埋め込み表現に足し合 わせる $P E$ は以下のようになる. このとき，偶数次元は正弦関数，奇数次元は余弦関数で定義される.

$
\begin{gathered}
P E_{(p o s, 2 i)}=\sin \left(\frac{p o s}{10000^{\frac{2 i}{d}}}\right) \\
P E_{(p o s, 2 i+1)}=\cos \left(\frac{p o s}{10000^{\frac{2 i}{d}}}\right)
\end{gathered}
$

高瀬ら [3] はデコーダ側の PE の式に所望の出力長 の値を組み込んだ。これにより，文生成時に所望の 出力長までの残りのトークン数を考慮することが可能である。提案された式は終端までの比率に応じた LRPE (length-ratio positional encoding), 終端までの差 に応じた LDPE (length-difference positional encoding) の 2 種類がある，例えば LDPE は以下のように表さ れる。

$
\begin{gathered}
L D P E_{(p o s, l e n, 2 i)}=\sin \left(\frac{\text { len }-p o s}{10000^{\frac{2 i}{d}}}\right) \\
L D P E_{(p o s, l e n, 2 i+1)}=\cos \left(\frac{\text { len }-p o s}{10000^{\frac{2 i}{d}}}\right)
\end{gathered}
$

len は所望の出力長を表す. LRPE，LDPE の值は ベースラインの Transformer の PE と同じように各埋 め込み表現に足し合わせる。また，エンコーダ側に はベースラインの Transformer と同様の PE の式が適用される。

## 2.2 長さ制約付き Positional Encoding への 摂動

機械翻訳において，LRPE，LDPE を用いると，出力長制御性と引き換えに翻訳精度が大きく落ちる ことがわかっている.これを改善するため，長さ 制約付き PEへの摄動 (Perturbation into Length-aware Positional Encoding)を，我々は[2]で提案した. LDPE に摂動を与える場合，以下の式で定義される。
$\operatorname{perLDPE_{(pos,len,2i)}}=\sin \left(\frac{\text { len }- \text { pos }+ \text { perturbation }}{10000^{\frac{2 i}{d}}}\right)$

$\operatorname{perLDPE_{(pos,len,2i+1)}}=\cos \left(\frac{\text { len }- \text { pos }+ \text { perturbation }}{10000^{\frac{2 i}{d}}}\right)$

摄動 perturbation は学習時，ある特定の整数の範囲から一様分布に基づいて選択され, 文単位ごと に足し合わされる. 我々は [2] において，摄動範囲 $[-2,2], \quad[-4,4]$ の負の値も含める範囲で実験を行っ た. さらに，大規模言語モデル BERTを用いて推論時の出力長の予測を行うことで翻訳精度を改善し た. また，参照訳と同じ長さを LDPE，LRPE に入力 するとき，翻訳精度は大きく改善することが明らか になっている.

## 2.3 Levenshtein Transformer

非自己回帰型ニューラル機械翻訳モデル (以下， NAT) は，各ステップの出力トークンを次のステッ プの入力に利用する自己回帰 (autoregression) に基 づいて翻訳するモデル (以下，AT) とは異なり，自己回帰を用いず文内のトークンを並列に予測する プロセスを繰り返して翻訳を行う [5].これによっ て並列計算が可能になり, 非常に高速な翻訳を実現する. Jiatao Gu ら [4] が提案した，NAT モデルの 一つである Levenshtein Transformer は，空トークン <PLH>を插入する (placeholder) 機構，空トークンに 単語を挿入する (insert) 機構，不必要なトークンを削除する (deletion) 機構の 3 つのデコーダを持つ. デ コーダでは全て Position Embedding が用いられてお り, 各 embedding はエンコーダ, デコーダで共有さ れる. 翻訳時に，これら 3 つの処理を繰り返し行う ことで高速かつ Transformer に近い翻訳文生成を可能にした.

## 2.4 知識蒸留

上述した NAT モデルは高速な翻訳を実現するが，翻訳精度は AT と比べ大きく劣る.これを改善する ため，NAT モデルを訓練する際，既存の AT モデル を用いて知識蒸留した訓練データを用いる。この 時，AT モデルは教師モデル (通常，Transformer が用 いられる)，NAT モデルは生徒モデルとなる。これ によって，高品質な AT モデルの出力を NAT モデル に模倣させることが可能であり，NAT モデルの翻訳精度は教師モデルである AT モデルに依存する [6].

## 3 提案手法

Levenshtein Transformer

提案手法

図 1 Levenshtein Transformer と提案手法の比較

通常の知識蒸留を用いた Levenshtein Transformer と提案手法の流れを図 1 に示す。

## 3.1 長さ制約つき Positional Encoding への 摂動を用いた知識蒸留

本研究では，この知識蒸留で教師モデルとして用 いる Transformerに長さ制約付き $\mathrm{PEへの}$ 摂動を適用 することで，生徒モデルである NAT モデルの翻訳精度を改善する手法を提案する．知識蒸留における 訓練データの翻訳時において出力すべき長さが既知 (正解参照訳長が存在する) であるため，翻訳時に 長さ制約付き $\mathrm{PE}$ に入力する長さは参照訳の長さを 入力する. これにより教師モデルである AT モデル が出力する翻訳文の精度を改善することで，生徒モ デルである NAT モデルの翻訳精度の改善が期待さ れる。

## 3.2 長さ制約つき Positional Encoding への 摂動を用いた Levenshtein Transformer

さらに, Levenshtein Transformer の空トークン <PLH>を插入する機構 (placeholder) に長さ制約付

る機構は placeholder のみであることから，挿入機構 (insert), 削除機構 (deletion) には通常の position embedding を適用した.また, エンコーダ側も position embedding を適用した. 先行研究では $[-2,2]$ のように負の值も PEへの摂動範囲に加えるが，本研究では $[0,2]$ のように正の値のみを摂動範囲と して適用する。これは，モデルができるだけ長い 文を生成するように学習するためである。また， Levenshtein Transformer ではエンコーダ・デコーダ間 の embedding を共有して学習するが，提案手法では 共有しないとする。 そして翻訳時では, [2] と同様,学習済み言語モデルで予測した長さを入力する場合 と, [7] と同様に，原言語文の長さを入力する場合を 検証する。

## 4 実験

## 4.1 実験設定

提案手法による知識蒸留と Levenshtein Transformer の性能を調べることを目的とし，実験を行っ た. 本研究では，英日・英独翻訳をタスクとし た. データセットには，英日翻訳には対訳コーパ ス ASPEC[8], 英独翻訳には WMT14[9] を用いた. ASPEC は 1,783,817 文対の学習データ，1,790 文対の 開発データ，1,812 文対のテストデータからなり, 今回学習には 100 万文対の学習データである train-1.txt のみを使用した. 英語及び日本語の入出力はサブ ワードとし, Sentencepiece[10]を使いトークナイズ を行った. このとき, 語彙サイズは 16,000 とし, 言語間で共有した. WMT14 は, Stanford NLP group ${ }^{1)}$ で配布された前処理済みのデータセットを用いた。学習データは 440 万文対で構成され, 各文は 50 語以内で構成される. 開発データには 3,000 文対で構成 される newstest2013, テストデータには 2,737 文対で 構成される newstest2014を用いた. トークナイズ方法は ASPEC と同様であり, 語彙サイズのみ 32,000 とした。実装には fairseq[11]を用いた。 ハイパーパ ラメータは全てにおいて2)と同じにした。

本研究ではlen に出力文のトークン長を与え る.このトークン長は Sentencepiece でトークナイ ズされたときのものである. 教師モデルのベー スラインには, sinusoidal Positional Encoding を用い た base Trasnformer を, 生徒モデルのベースライン には, Position Embedding を全デコーダに適用した Levenshtein Transformerを用いた. 提案手法では，知識蒸留に用いる教師モデル Transformer に適用する 長さ制約付きPEはLDPEを用い, 学習時に与える摂動範囲は英日翻訳の時 $[-4,4]$, 英独翻訳の時 $[-6,6]$ とした. また, 生徒モデル Levenshtein Transformer に 適用する長さ制約付き PE は LDPE を用い，学習時 に与える摄動範囲は $[0,2]$ のみとした.

翻訳時，英日翻訳では [2] と同様に，BERT[12]の エンコーダーの最後の層にある $[\mathrm{CLS}]$ ベクトルの出力を回帰問題として出力長を予測した. 英独翻訳で は [7] と同様に原言語文長の長さをLDPE の入力と した. さらに，両方の翻訳において参照訳の長さを 入れた場合も比較した.

表 1 知識蒸留の教師モデルとして用いた AT モデルの比

表 2 日英対訳コーパス ASPEC における NAT モデルの

翻訳文の評価手法には機械翻訳の自動評価として 一般的な BLEU[13] とサブワード単位の Length ratio を用い，sacreBLEU[14] で計算した。また，知識蒸留の教師モデルの評価にも [6] と同様，BLEUを用 いる.

## 4.2 実験結果

表 1 に知識蒸留の教師モデルとして用いた AT モ デルの学習データの翻訳精度を示す. 提案手法の知識蒸留法が既存手法よりも文単位の知識蒸留におい て優れていることがわかる.

表 2, 表 3 に各コーパスにおける生徒モデルの 翻訳精度を示す.太文字はベースラインである Levenshtein Transformer より BLEU が向上したもの，下線部は参照訳長が既知の時，すなわち正解長を入力した時 Levenshtein Transformer より BLEU が向上 したものを示す.

英日翻訳では，提案手法である知識蒸留を用いた 場合，全ての生徒モデルにおいて翻訳精度が改善し た. 通常の Levenshtein Transformer で比べると， 0.3 ポイントの BLEU 値の改善が見られた. さらに，提案する知識蒸留法を用いない場合でも，提案手法で ある Levenshtein TransformerにLDPEへの摄動を適用した時，翻訳精度は改善することがわかった. 参照訳長を用いた場合, 0.6 ポイントの BLEU 値の改善 (34.6) が見られ, 入力長によっては最大 0.6 ポイ ントの BLEU 值の改善が見込めることがわかった. さらに，学習済みモデルで長さを予測し入力するこ とで LR が上がったことも BLEU 值の改善に繋がっ

たことがわかる. しかしながら, 全ての生徒モデル において，BLEU 值は教師モデルとして用いた AT モデルである通常の Transformer に劣る結果となっ た。また，BERTによる長さ予測の精度は，参照訳長との平均トークン誤差が 3.0, トークン誤差分散 が 19.92 であった. 原言語文長と参照訳長との平均 トークン誤差は 6.54 , トークン誤差分散は 72.45 で あった。これは，英日翻訳では，原言語文長ではな く，BERTによって予測された長さの方が参照訳長 に近いことを示している。

英独翻訳では，英日翻訳のような結果は見られな かった. 提案手法である知識蒸留を用いると，同じ Levenshtein Transformer においても BLEU の向上は 見られなかった. さらに，提案する NAT モデルに おいて，原言語文長を用いた場合，BLEU は下がっ た.しかしながら，提案するNAT モデルに参照訳長を用いた時，通常の Transformer より 0.9 ポイント BLEU 值の改善する (31.0)ことがわかった.

## 4.3 摂動範囲による翻訳精度の推移

提案した NAT モデルの摂動範囲を変えることで，翻訳精度が改善するのかを英日・英独翻訳それぞれ で検証した。知識蒸留に用いた教師モデルは表 1 の ベースライン Transformer，実験設定は 4.1 と同じで ある。検証した摄動範囲は $[0,2]$ に加え， $[0,4],[0,6]$ である。表 4 に，実験結果を示す. 英日・英独翻訳両方において，摂動範囲が大きくなるにつれて， Length ratio が下がっていることがわかった. 英日翻訳において，摂動範囲 $[0,6]$ の時，摄動範囲 $[0,2]$ を用いた時と比べて 0.1 の BLEU の改善が見られた が，それ以外で改善は見られなかった. また，英独翻訳では摄動範囲を大きくしてもべースラインの Levenshtein Transformer と比べ翻訳精度の改善は見 られなかった。

## 4.4 考察

実験結果より，提案した知識蒸留は英日翻訳にお ける生徒モデルの翻訳結果の向上に有効であると考 えられる。また，生徒モデルである NAT モデルに 長さ制約付き $\mathrm{PE} へ の$ 摂動を用いた提案手法におい て，参照訳長を用いた場合より BERT による予測長 を用いた場合において翻訳精度が下がった原因は 長さ予測の精度にあると考えられる。これは BP の 値を見比べたとき，参照訳長を用いた場合 BP の値 が大きく変化していることからもわかる．英独翻訳 では提案した知識蒸留と NAT モデル両方において 有効性は見られなかった。しかしながら，提案した NAT モデルに参照訳長を入力した時，翻訳精度は大 きく改善することから，入力する長さを改善するこ とで翻訳精度が改善すると考えられる。

## 5 おわりに

留に用いる教師モデル，そして生徒モデルである Levenshtein Transformerへ適用することを提案した.結果として，最大 0.3 ポイントの BLEU 値の向上が 見られた。英日翻訳において。提案した知識蒸留と NAT モデルは有効であることがわかった. 英独翻訳では出力長予測精度の影響で改善が見られず，よ り高精度な出力長予測が今後の検討課題である.

## 謝辞

本研究の一部は JSPS 科研費 JP17H06101 の助成を 受けたものである.

## 参考文献

[1]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. CoRR, Vol. abs/1706.03762, , 2017.

[2]Yui Oka, Katsuki Chousa, Katsuhito Sudoh, and Satoshi Nakamura. Incorporating noisy length constraints into transformer with length-aware positional encodings. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3580-3585, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[3]Sho Takase and Naoaki Okazaki. Positional encoding to control output sequence length. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3999-4004, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4]Jiatao Gu, Changhan Wang, and Junbo Zhao. Levenshtein transformer. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32, pp. 1118111191. Curran Associates, Inc., 2019.

[5]Jiatao Gu, James Bradbury, Caiming Xiong, Victor O.K. $\mathrm{Li}$, and Richard Socher. Non-autoregressive neural machine translation. In International Conference on Learning Representations, 2018.

[6]Chunting Zhou, Jiatao Gu, and Graham Neubig. Understanding knowledge distillation in non-autoregressive machine translation. In International Conference on Learning Representations, 2020.

[7]Surafel Melaku Lakew, Mattia Di Gangi, and Marcello Federico. Controlling the Output Length of Neural Machine Translation. In Proceedings of the 16th International Workshop on Spoken Language Translation (IWSLT 2019), October 2019.

[8]Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. Aspec: Asian scientific paper excerpt corpus. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Marko Grobelnik, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia, may 2016. European Language Resources Association (ELRA).

[9]Ondrej Bojar, Christian Buck, Christian Federmann, Barry Haddow, Philipp Koehn, Johannes Leveling, Christof Monz, Pavel Pecina, Matt Post, Herve Saint-Amand, Radu Soricut, Lucia Specia, and Aleš Tamchyna. Findings of the 2014 workshop on statistical machine translation. In Proceedings of the Ninth Workshop on Statistical Machine Translation, pp. 12-58, Baltimore, Maryland, USA, June 2014. Association for Computational Linguistics.

[10]Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[11]Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[12]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. CoRR, Vol. abs/1810.04805, , 2018.

[13]Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[14]Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics.


# ニューラル機械翻訳のためのアテンション確率のスムージング とゲーティング学習

張 潚廙
愛媛大学
zhang@ai.cs.ehime-u.ac.jp
二宮崇
愛媛大学
ninomiya@cs.ehime-u.ac.jp
}

田村 晃裕
同志社大学
aktamura@mail.doshisha.ac.jp

## 1 はじめに

近年、人工知能の発展とともに、自然言語処理分野においてもニューラルネットワーク (Neural Network) に基づく手法が主流になっており、特に機械翻訳のタスクにおいてはニューラルネットワー クを用いた機械翻訳 (ニューラル機械翻訳) が高い 精度と自然な翻訳を実現することから大きく注目を集めている。ニューラル機械翻訳モデルとし て、LSTM (Long-Short Term Memory)を用いた回帰型 ニューラルネットワーク (Recurrent Neural Network; RNN) に基づくエンコーダー・デコーダーモデル が提案され [1]、さらにアテンション機構 (Attention Mechanism)[2] によって翻訳精度が大きく改善され た。Transformer[3] は、回帰的構造を持たずアテン ション機構だけから構成されるエンコーダー・デ コーダーモデルであり、言語間アテンションに加 え、原言語文や目的言語文における各単語間のアテ ンション (自己アテンション)を計算することを特徵とする。回帰的構造を持たない代わりに位置エン コーディングを埋め込むことで、単語の位置情報や 前後関係を捉えている。また、マルチヘッドをアテ ンション機構に導入しており、中間表現ベクトルを 各ヘッドに分割し、各ヘッドにおいてアテンション を計算することにより様々な文の特徴を捉えること を可能としている。

Transformer は、非常に高い翻訳精度を実現する ことから、現在も多くの翻訳モデルのベースと なっており、時系列をより強い関係で結びっけ る Monotonic Attention[4] や、異なるアテンションマ スクを導入した Mixed Multi-Head Self Attention[5]、 Highway Transformer[6]、Capsule Networks[7]、Multi-
Hop Attention[8] などが提案されている。また、アテ ンションに関する解析では、アテンションの確率計算は単なる重みの計算ではないという報告がなされ ている [9]。Transformer およびこれらの Transformer に基づく手法のいずれも、そのアテンション計算は ソフトマックス関数を使った関連性計算を行ってお り、計算結果はある単語に対する文中の各単語との 関連性を表す離散的な確率分布になっている。ソフ トマックス関数はその性質から一つや二つの単語 だけにきわめて高いピークの確率を与えることが 多いが、そのため、単語確率分布におけるデータス パースネスや過学習の問題が混在している可能性が ある。

そこで、本論文ではアテンションの関連性計算に 対してスムージング (Smoothing)を適用し、その確率値を調整する手法を提案する。具体的には、ラべ ルスムージング手法 [10] を用いたアテンションス ムージング (Attention Smoothing) と、スムージング のパラメータをモデルに学習させるゲートスムージ ング (Gate Smoothing)を提案する。WAT の ASPEC 英日翻訳タスクにおいて実験を行い、アテンション スムージングによって BLEU(\%) 值が+0.74 向上し、 ゲートスムージングによって BLEU(\%) 值が+0.99 向上することを確認した。

## 2 Transformer

Transformer は近年ニューラル機械翻訳で最もよく 使われるエンコーダー・デコーダーモデルの一種で ある。原言語の文をエンコーダーに入力し、エン コーダからは大力に対する中間表現が出力される。 デコーダーには、エンコーダーの中間表現および現時点までの訳文を入力し、それらを組み合わせて次

の時刻の単語を生成する。長さ $S$ の原言語の文を $X=\left.\{x_{1}, x_{2}, \cdots, x_{S}\right.\}$ とし、長さ $T$ の目的言語の文を $Y=\left.\{y_{1}, y_{2}, \cdots, y_{T}\right.\}$ とすると、生成の過程は以下の 式で表せる。

$
P\left(y_{t} \mid y_{<t}, X\right)=\mathbb{M}\left(y_{<t}, X\right)
$

ただし、Мはモデルを表す。モデルは時刻ごとに次 の単語を生成する確率を算出する。

Transformer のエンコーダーおよびデコーダーは、 それぞれスタックされた 6つのレイヤーから構成さ れる。エンコーダー側のレイヤーは自己アテンショ ン層とフィードフォワード層で構成され、デコー ダー側のレイヤーは自己アテンション層と言語間 アテンション層、フィードフォワード層で構成さ れる。

アテンションの計算について説明する。入力をク エリー $q$ 、キー $k$ 、バリュー $v$ とする。クエリーと キーで単語間の関連度を計算し、それを重みとして バリューの重み付き平均値を計算する。計算過程は 以下の式で表せる。

$
\begin{aligned}
\text { score } & =\mathbf{W}^{q}(q) \cdot \mathbf{W}^{k}(k)^{\top} \\
a & =\operatorname{softmax}(\text { score }) \\
o_{i} & =\sum_{j=1}^{V} a_{i j} \mathbf{W}_{j \cdot}^{v}(v)
\end{aligned}
$

ただし、 $W^{(q)} \in \mathbb{R}^{Q \times d}, W^{(k)} \in \mathbb{R}^{K \times d}, W^{(v)} \in \mathbb{R}^{V \times d}, a \in$ $\mathbb{R}^{Q \times K}, o_{i} \in \mathbb{R}^{d} 、 d$ は隠れ層の次元数、 $Q, K, V$ は クエリー、キー、バリューの長さを表し、 $i \in$ $\{1,2, \cdots, Q\}, j \in\{1,2, \cdots, K\}$ かつ $K=V$ を満たして いる。 $\operatorname{softmax}(\cdot)$ はスコアを正規化するための活性化関数であるソフトマックス関数である。ソフト マックスの計算結果は $\sum_{j=0}^{V} a_{i j}=1(\forall i)$ という制約が 課せられる。

自己アテンションでは、クエリー、キー、バリュー はそれぞれ前の層からの出力となる。前の層からの 出力は、エンコーダー側では原言語の中間表現であ り、デコーダー側では目的言語の中間表現である。言語間アテンションでは、クエリーはデコーダー側 の前の層の出力、キーとバリューはエンコーダー側 の最終レイヤーの出力になる。

自己アテンションと並んで Transformer において 重要な部分はマルチヘッドアテンションである。 マルチヘッドの場合は、次元数をへッド数で割り、 ヘッドごとにアテンションの計算を行う。マルチ ヘッドアテンションは自己アテンションや言語間ア テンションに適用される。

## 3 提案手法

従来のマルチヘッドアテンションは単語間の関連性 $a$ を計算するためにソフトマックス関数を 使い $a_{i j} \in(0,1)$ s.t. $\sum_{j=0}^{V} a_{i j}=1(\forall i)$ という制約の 下で単語間の関連性を表す。ソフトマックス関数 で正規化する際には指数関数が適用されるため、関連の高い単語に対する値がより顕著になるよ うな確率值が算出される。その結果、一つや二つ の単語にだけきわめて高い確率が割り振られる $\left(\max _{j}\left[a_{i j}\right] \gg a_{i k}(k \neq j, \forall i)\right)$ ため、アテンション確率においても過学習の問題が混在している可能性が 高い。そこで、本研究ではアテンションで単語間の 関連性を算出する際にスムージングを行う手法を提案する。

## 3.1 アテンションスムージング

分類モデルの学習時に損失を計算する際、正解ラ ベルのみに基づいて損失を計算すると過学習を起こ してしまう可能性がある。ラベルスムージングは、 そのような過学習を抑えるための手法であり、正解 ラベルに対する確率を一定率低くし、正解ラベル以外のラベルに対する確率を一定率高めることで、ラ ベル確率分布を滑らかにする。

本研究では、ラベルスムージングの手法をアテン ションの算出時に適用するアテンションスムージン グを提案する。アテンションスムージングは、ラベ ルスムージングに倣い、アテンションの計算による 単語間関連度を表す確率分布を滑らかにする。具体的には、次式のように、アテンションの確率分布に 対して、最も高い確率を一定率 $(s)$ 低くし、その他 の確率を一定率 $(1 / s)$ 高める方法である。

$
\begin{gathered}
\hat{a}_{i j}=\left.\{\begin{array}{cc}
a_{i j} \cdot s & j=\underset{j}{\arg \max }\left[a_{i j}\right] \\
a_{i j} \cdot \frac{1}{s} & j \neq \underset{j}{\arg \max }\left[a_{i j}\right]
\end{array}\right. \\
o_{i}=\sum_{j=1}^{V} \hat{a}_{i j} \mathbf{W}_{j}^{v} \cdot(v)
\end{gathered}
$

ただし、 $s \in \mathbb{R}$ はスムージングの強さを制御するハ イパーパラメータであり、 $0<s \leq 1$ を満たしてい る。 $s$ をさくするほど、過度なピークの情報を抑 えてアテンションの単語確率分布を滑らかにする。 $s=1$ の場合、アテンションスムージングを用いな い従来手法と同等になる。
表 1 実験結果

## 3.2 ゲートスムージング

アテンションスムージングでは、スムージングの 強さを表すハイパーパラメータ $s$ を人手で調整す る必要がある。本研究では、ゲーティングの仕組み を取り入れて、スムージングの強さもパラメータと して学習するゲートアテンションを提案する。ゲー トアテンションを数式で表現すると以下の通りと なる。

$
\begin{aligned}
\text { score }_{s} & =\mathbf{W}^{s q}(q) \cdot \mathbf{W}^{s k}(k)^{\top} \\
\hat{s} & =\gamma \cdot \sigma\left(\text { score }_{s}\right) \\
\hat{a} & =a \odot \hat{s} \\
o_{i} & =\sum_{j=1}^{V} \hat{a}_{i j} \mathbf{W}_{j}^{v}(v)
\end{aligned}
$

ただし、 $\mathbf{W}^{s q} \in \mathbb{R}^{Q \times d}, \mathbf{W}^{s k} \in \mathbb{R}^{K \times d}, \hat{s} \in \mathbb{R}^{Q \times K}$ であ り、式 8 がスムージングの強さを表すパラメータを 算出する部分である。 $\sigma(\cdot)$ は大力の要素ごとにシグ モイド関数を適用する関数、 $\gamma \in \mathbb{R}$ はスムージング の値域を調整するハイパーパラメータである。

る。このようにすることで、スムージングの強さ $\hat{s}$ を訓練データからモデルで学習させることがで きる。

## 4 実験

本実験では、Vaswani ら [3] の Transformerをべー スラインにして提案手法の有効性を検証する。

## 4.1 実験データ

本実験では、WAT の ASPEC 英日翻訳タスクの訓練データセットの一部である train1.txt $(1,000,000$文対）を訓練データとして用いた。英日両方におい て文長が 50 以下のデータだけを用いて学習した。用いた訓練データ数は 907,356 文対であった。検証データとテストデータは ASPEC 英日翻訳タスク の検証データセットとテストデータセットを使っ た。検証データとテストデータは、それぞれ 1,790文対と 1,812 文対であった。英語文の形態素解析は WAT の手順にしたがい、日本語文の形態素解析は $\mathrm{KyTea}^{1)}$ を使った。

訓練データ $1,000,000$ 文対において出現頻度が 3 以下の単語は語彙辞書には登録せず、辞書に登録 されていない単語は特殊トークン<UNK>に置き換 えた。

## 4.2 モデル設定

提案モデルのパラメータはベースラインモデ ル2)にあわせた。エンコーダーとデコーダーの レイヤー数は 6、ドロップアウトの確率は 0.1、 ウォーミングアップステップ数は 4,000 、バッチ サイズは 200、エポック数は 20 とした。オプティ マイザーは Adam を用い、学習パラメーターは $\alpha=0.001, \beta_{1}=0.9, \beta_{2}=0.98, \epsilon=1 e-9$ 、学習率減衰 は 0.0001 に設定した。アテンションスムージング では $s=0.9 、$ ゲートアテンションでは $\gamma=2$ とした。

## 4.3 実験結果

実験結果を表 1 に示す。表 1 より、ベースライン モデルと比較して、アテンションスムージングで

BLEU(\%) の性能向上が確認できた。

ただし、ゲートスムージングはレイヤーごとに新 しいパラメータが追加されており、ベースラインモ デルよりもパラメータ数が増えている。その影響を 排除して、ゲートスムージングの効果を確認するた めダミーパラメータモデルを用意した。ダミーパラ メータモデルは下記の計算式に従ってアテンショ ンの計算を行うモデルであり、ベースラインモデル のパラメータ数を単純に増やしたモデルとなって いる。

$
\begin{aligned}
\operatorname{score}_{s} & =\mathbf{W}^{s q}(q) \cdot \mathbf{W}^{s k}(k)^{\top} \\
\hat{s} & =\operatorname{softmax}\left(\operatorname{score}_{s}\right) \\
\hat{a}_{i j} & =\left(a_{i j}+\hat{s}_{i j}\right) / 2 \\
o_{i} & =\sum_{j=1}^{V} \hat{a}_{i j} \mathbf{W}_{j \cdot}^{v}(v)
\end{aligned}
$

ここで、式 12 と式 13 がゲートスムージングモデル との差分となる。ゲートスムージングでの式 8 が式 12 に対応している。式 13 では $a$ と $\hat{s}$ を要素ごとに

1) http://www.phontron.com/kytea/index-ja.html

2) https://github.com/jadore801120/attention-is-all-you-needpytorch/tree/master/transformer

足して 2で割る。表 1 より、ゲートスムージングは ダミーパラメータモデルよりも性能が高いことがわ かる.この結果から、パラメータ数にかかわらず、式 8、9 の効果（ゲートスムージングの効果）が確認できた。

## 4.4 ゲートスムージングの効果

ゲートスムージングにおいて学習された スムージングに関するゲート值の実例を表 2 に示す。表 2 は、"By deciding strategy, industrygovernment-university should unitarily promote."とい う入力文に対して、ピリオド “.”との関連性を 計算した際に、エンコーダー側の最終レイヤー で算出された $a_{j}$ と $\hat{s}_{j}$ である。表 2 より、関連性 の強い $a_{3}$ (strategy に対する関連) や $a_{5}$ (industrygovernment-university に対する関連) に対し、低め の $\hat{s}_{3}=0.93, \hat{s}_{5}=0.95$ が与えられ、関連性の弱い $a_{7}, a_{8}, a_{9}$ に対し、 $\hat{s}_{7}=1.00, \hat{s}_{8}=0.98, \hat{s}_{9}=0.98$ とい う高い値が与えられた。このことから全体的な分布 を滑らかにする方向に学習していることが確認で きた。

## 5 おわりに

本研究では、アテンションでの関連性計算におい て数単語にきわめて高い確率が与えられるという現象を緩和するため、アテンションスムージングとい う手法を提案した。アテンションスムージングでは 人手でスムージングのパラメータを決める必要があ るが、このスムージングのパラメータをモデルに学習させる手法としてゲートスムージングを提案し た。WAT の ASPEC 英日翻訳タスクで提案手法の有効性を確認した。

今後の課題として、スムージングの関数を変える など、より良い形で関連性を調整できる式を作り たい。

## 謝辞

本研究成果は, 国立研究開発法人情報通信研究機構の委託研究により得られたものである. また，本研究の一部は JSPS 科研費 20K19864 の助成を受けた ものである.ここに謝意を表する.

## 参考文献

[1] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequence learning with neural networks. Proceedings of the 27th International Conference on Neural Information Processing Systems, 2014.

[2] Dzmitry Bahdanau, KyungHyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. ICLR 2015, 2016.

[3] Ashish Vaswani, Noam Shazeer, and Niki Parmar et.al. Attention is all you need. 31st Conference on Neural Information Processing Systems, 2017.

[4] Yingzhu Zhao, Chongjia Ni, and Cheung-Chi Leung et.al. Cross attention with monotonic alignment for speech transformer. INTERSPEECH 2020, 2020.

[5] Hongyi Cui, Shohei Iida, Po-Hsuan Hung1, Takehito Utsuro1, and Masaaki Nagata. Mixed multi-head selfattention for neural machine translation. Proceedings of the 3rd Workshop on Neural Generation and Translation.

[6] Yekun Chai, Shuo Jin, and Xinwen Hou. Highway transformer: Self-gating enhanced self-attentive networks. $A C L$ 2020, 2020.

[7] Shuhao GU and Yang FENG. Improving multi-head attention with capsule networks. NLPCC 2019, 2019.

[8] Shohei Iida, Ryuichiro Kimura, and Hongyi Cui et.al. Attention over heads: A multi-hop attention for neural machine translation. ACL 2019, 2019.

[9] Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, and Kentaro Inui. Attention is not only a weight: Analyzing transformers with vector norms. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, p. 7057-7075, 2020.

[10] C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens, and Z. Wojna. Rethinking the inception architecture for computer vision. pp. 2818-2826, 2016.


# 同期注意制約を与えた依存構造に基づく Transformer NMT

出口祥之 ${ }^{1}$ 田村 晃裕 ${ }^{2}$ 二宮崇 ${ }^{1}$
1 愛媛大学 2 同志社大学
${ }^{1}$ \{deguchi@ai., ninomiya@\}cs.ehime-u.ac.jp ${ }^{2}$ aktamura@mail.doshisha.ac.jp

## 1 はじめに

近年，機械翻訳の分野において，Transformer ニューラル機械翻訳 (Neural Machine Translation; NMT）モデル（以下 Transformer NMT） [1]が従来の 回帰型ニューラルネットワークや畳み込みニューラ ルネットワークベースモデルの翻訳性能を上回り，注目を浴びている。特に，Transformer NMT の特徴 の一つである自己注意は注意重みと呼ばれる確率分布行列を計算することで文内における単語間の関連 の強さを捉えることができ，ここに依存構造を組み 込むことで翻訳性能をさらに改善するモデルも提案 されている $[2,3,4]$.

これまで，統計的機械翻訳では原言語文と目的言語文間の同期文法や同期依存文法を考慮することで 翻訳性能を改善してきた $[5,6]$. 同期文法及び同期依存文法は，2 言語で定義される文法であり，2 言語 の文構造を同時に生成する文法である。NMT では， この同期依存文法から着想を得た同期注意制約 [7] が提案されている. 同期注意制約では, Transformer NMT の原言語側の自己注意と目的言語側の自己注意の間で言語間注意を通した注意の整合性を保つよ うに各注意が学習される。 しかし, Transformer NMT の自己注意の一部では依存構造を捉える場合がある という実験結果が報告されているものの [8], 同期注意制約を用いる従来手法は，自己注意と言語間注意の整合性を保証するだけであり，必ずしも依存構造を捉える自己注意が学習されるとは限らない。

そこで本稿では，原言語文と目的言語文の依存構造をそれぞれエンコーダとデコーダの自己注意で捉 える Transformer NMT [2] に同期注意制約を組み込 むことで，言語間で対応をもたせた依存構造に基づ くNMTを提案する。また，従来の同期注意制約で は制約を付与する際に別途注意の重みを計算する必要があったが，本稿では，モデルの順伝播時に得ら れる計算結果を利用することで注意の重みを別途

図 1: 依存構造とアライメント関係の例

求める必要のない手法を提案する. 図 1 は対訳文に おけるアライメント及び各文の依存構造の例を表 している。提案モデルでは, 図 1 において, “you” の親が “speak”であり，“you”が “du”に，“speak”が “Kannst” に対応している時，“du”の親が “Kannst”と なるように学習する。

提案モデルと従来モデルの翻訳性能を BLEU [9] を用いた評価により比較したところ，WAT Asian Scientific Paper Excerpt Corpus（ASPEC）日英翻訳夕 スクで最大 +0.36 ポイントの性能改善を確認した.

## 2 Transformer NMT

Transformer NMT [1] は, 入力された原言語文 $X=\left(x_{1}, x_{2}, \ldots, x_{I}\right)$ を符号化する Transformer エン コーダ（以下エンコーダ）と，エンコーダの出力を 受け取り目的言語文 $Y=\left(y_{1}, y_{2}, \ldots, y_{J}\right), \forall y_{j} \in \mathscr{V}$ に 復号する Transformer デコーダ（以下デコーダ）を 組み合わせたエンコーダ・デコーダモデルである. ただし， V は出力語彙集合である.

エンコーダ及びデコーダはそれぞれ $N_{e n c}$ 層のエ ンコーダ層, $N_{d e c}$ 層のデコーダ層から成る. 各エン コーダ層及びデコーダ層は複数のサブレイヤから成 り, 全てのサブレイヤの出力には残差接続と層正規化が適用される．エンコーダ層は下層より順に自己注意層，順伝播層から構成され，デコーダ層は下層 より順に自己注意層，言語間注意層，順伝播層から 構成される。
自己注意や言語間注意は, 複数ヘッド注意 $\operatorname{Attn}(Q, K, V)$ により, $d_{e m b}$ 次元の単語埋め込み空間 から $H$ 個の $d_{k}\left(=\frac{d_{e m b}}{H}\right)$ 次元のヘッド（部分空間）に 射影し，各へッドごとに次式のように注意を計算 する。

$
\begin{aligned}
& \operatorname{Attn}(Q, K, V)=\left[M_{1} ; M_{2} ; \ldots ; M_{H}\right] W^{M}, \\
& M_{h}=A_{h} V_{h}, A_{h}=\operatorname{softmax}_{\mathrm{r}}\left(\frac{Q_{h} K_{h}^{\top}}{\sqrt{d_{k}}}\right), \\
& Q_{h}=Q W_{h}^{Q}, K_{h}=K W_{h}^{K}, V_{h}=V W_{h}^{V} .
\end{aligned}
$

なお, softmax ${ }_{\mathrm{r}}()$ は行列に対して行毎に softmax 関数 を適用する関数である. 複数へッド注意の入力 $Q$, $K, V$ は，それぞれパラメータ行列 $W_{h}^{Q}, W_{h}^{K}, W_{h}^{V} \in$ $\mathbb{R}^{d_{e m b} \times d_{k}}$ によって， $Q_{h}, K_{h}, V_{h}(1 \leq h \leq H)$ に射影 される. ここで, 注意重み行列 $A_{h}$ の各要素の値 は $Q$ の各単語と $K$ の各単語の間の関連の強さを 示している。続いて，注意重み行列 $A_{h}$ に $V_{h}$ を掛 けることで $Q_{h}$ に対応する表現を $V_{h}$ から荷重和 の形で得られる. その後, 全ヘッドの $M_{h}$ （すな わち, $\left.M_{1}, M_{2}, \ldots, M_{H}\right)$ を結合し, パラメータ行列 $W^{M} \in \mathbb{R}^{d_{e m b} \times d_{e m b}}$ によって $d_{e m b}$ 次元の単語埋め込 み空間に射影する。

なお，自己注意では，入力の $Q, K, V$ はいずれ も前のサブレイヤの出力であり, 原言語文, 目的言語文それぞれにおいて文中の全ての単語との関連の 強さを計算する. デコーダ側のみで用いられる言語間注意では, 入力 $Q$ は前のサブレイヤの出力, $K$, $V$ はどちらもエンコーダの最終層の出力であり, 目的言語文の各単語と原言語文との関連の強さを計算 する. ただし，翻訳時に目的言語文の各単語は自己回帰的に生成されるため，デコーダ側の自己注意は 各単語の後方の単語を指さないようマスクをかけて 訓練する。

最後に，デコーダの最終層の出力を $|\mathscr{V}|$ 次元の空間に線形変換し, 各単語毎に softmax 関数を適用することで, 目的言語文の生成確率 $\operatorname{Pr}(Y \mid X)=\prod_{j=1}^{J} p\left(y_{j} \in \mathscr{V} \mid y_{<j}, X\right)$ を計算する.

## 3 提案手法

本稿で提案するモデルは，原言語側と目的言語側 の自己注意でそれぞれの文の依存構造を捉え，それ らを同期注意制約によって対応付ける.

また，従来の同期注意制約の手法の問題点とし て，制約を付与する際に逆向きの言語間注意（原言語文から目的言語文への注意）を追加で計算する必

(b) 依存構造

図 2: 依存構造と DBSA の例

要があった. 本稿では Transformer NMT の順伝播計算時の注意重みを保持することで，追加の計算なし で逆向きの言語間注意を得る手法を提案する.

依存構造に基づいた自己注意 はじめに，依存構造に基づいた自己注意 (dependency-based selfattention; DBSA） [2]について説明する. DBSAを用 いた Transformer NMT（以下 Transformer+DBSA）は, モデルの翻訳の損失に加え, 以下のような依存構造解析の損失 $\mathscr{L}_{d e p}$ を制約として付与する.

$
\begin{aligned}
\mathscr{L}_{\text {dep }}= & -\sum_{i=1}^{I} \log \operatorname{Pr}\left(\operatorname{head}\left(x_{i}\right) \mid X\right) \\
& -\sum_{j=1}^{J} \log \operatorname{Pr}\left(\operatorname{head}\left(y_{j}\right) \mid Y\right) .
\end{aligned}
$

ただし, head() は引数に与えた単語の親を返す関数 である. DBSA は，エンコーダまたはデコーダの第 $l_{d e p}$ 層目の自己注意において, 複数ヘッドのうち 1 つのへッドで依存構造を捉える。依存構造を捉える ヘッドの $Q_{h}, K_{h}, V_{h}$ をそれぞれ $Q_{d e p}, K_{d e p}, V_{d e p}$ とすると， 2 単語間の依存関係を示す注意重み行列 $A_{\text {dep }}$ は以下のようなパラメータ行列 $U \in \mathbb{R}^{d_{k} \times d_{k}}$ を 用いたbi-affine 変換 [10] によって得られる.

$
A_{d e p}=\operatorname{softmax}_{\mathrm{r}}\left(\frac{Q_{d e p} U K_{d e p}^{\top}}{\sqrt{d_{k}}}\right) .
$

$A_{d e p}$ において, $A_{d e p}[t, q]$ は単語 $q$ が単語 $t$ の親で ある確率を示す.

$
A_{d e p}[t, q]=\operatorname{Pr}(q=\operatorname{head}(t) \mid S) .
$

ここで，S は原言語文または目的言語文である. た だし，親が ROOT となる単語 $t_{\text {ROOT }}$ は自身を指すよう に設定する $\left(\operatorname{head}\left(t_{\text {ROOT }}\right)=t_{\text {ROOT }}\right)$. 次に， $M_{\text {dep }}$ は依存関係に基づいた注意重み $A_{d e p}$ と $V_{d e p}$ を掛け合わ せることで得られる.

$
M_{\text {dep }}=A_{d e p} V_{\text {dep }} .
$

最後に, $M_{\text {dep }}$ を他のヘッドと結合し, 通常の自己注意と同様にして $d_{e m b}$ 次元の埋め込み空間に射影 する。

$
\operatorname{Attn}^{\left(l_{d e p}\right)}=\left[M_{d e p} ; M_{1} ; \ldots ; M_{H-1}\right] W^{M}
$

ここで, $\operatorname{Attn}^{\left(l_{\text {dep }}\right)}$ は第 $l_{\text {dep }}$ 層目の自己注意を表す. なお，デコーダ側の DBSA については，通常の自己注意と同様に後方の単語を指さないようマスクを かけて訓練し，親が後方に存在する単語に対しては 制約を与えない. 図 2 に依存構造と注意重み行列 $A_{d e p}, A_{d e p}$ の教師データの例を示す. 図 2aでは,色の濃い要素ほど高い値を示している.

DBSA は，現在 NMT で広く用いられているサブ ワード単位 $[11,12]$ にも拡張されている. ある単語 が複数のサブワードに分割された場合，その単語を 構成する各サブワードの親は隣接する後方のサブ ワードとし，単語の終端となるサブワードの親はそ の単語の親に設定する. また，親となる単語が複数 のサブワードに分割されている場合，親は先頭のサ ブワードとする.

同期注意制約 続いて，Transformer NMT で原言語文の文構造と目的言語文の文構造の対応を捉える 同期注意制約 [7] について説明する. 同期注意制約 を与えた Transformer NMT は翻訳の損失に加え，原言語側の自己注意で捉えた文構造と目的言語側の 自己注意で捉えた文構造の整合性を保つための損失 $\mathscr{L}_{\text {sync }}$ を制約として付与する. $\mathscr{L}_{\text {sync }}$ は, 言語間注意によって，原言語側のエンコーダ自己注意を目的言語側の確率空間に変換し, デコーダ自己注意と の差を計算することで得られる. 目的言語側の空間 に変換されたエンコーダ自己注意を $D^{\text {pseudo }}$ とする と，以下の式によって $D^{\text {pseudo }}$ が求められる.

$
D^{\text {pseudo }}=\vec{C} E \overleftarrow{C}
$

ただし， $E$ と $D$ はそれぞれエンコーダ及びデコー ダの $l_{n}$ 層目の自己注意の注意重み行列 $A_{h}$ であり, $\vec{C} ， \overleftarrow{C}$ はそれぞれ，以下のような式で求められる順方向（目的言語側から原言語側へ）の言語間注意と 逆方向（原言語側から目的言語側へ）の言語間注意
である.

$
\begin{aligned}
\vec{C} & =\operatorname{softmax}_{\mathrm{r}}\left(\frac{Q_{h} K_{h}^{\top}}{\sqrt{d_{k}}}\right) \\
\overleftarrow{C} & =\operatorname{softmax}_{\mathrm{r}}\left(\frac{\left(Q_{h} K_{h}^{\top}\right)^{\top}}{\sqrt{d_{k}}}\right)=\operatorname{softmax}_{\mathrm{r}}\left(\frac{K_{h} Q_{h}^{\top}}{\sqrt{d_{k}}}\right)
\end{aligned}
$

なお， $Q_{h}$ と $K_{h}$ はデコーダの第 $l_{\text {sync }}$ 層の言語間注意の入力である．次に，デコーダ自己注意は各単語 における後方の単語をマスクして訓練するため，同様に $D^{\text {pseudo }}$ に対しても後方の単語を指さないよう マスクをかけて softmax 関数を適用する。

$
D^{\prime}=\operatorname{softmax}_{\mathrm{r}}\left(\operatorname{mask}\left(D^{\text {pseudo }}\right)\right)
$

ただし， mask は各単語における後方の単語をマス クする関数である. 最後に， $D^{\prime}$ と $D$ の最小自乗誤差を計算することで $\mathscr{L}_{\text {sync }}$ を得る.

$
\mathscr{L}_{\text {sync }}=\sum_{t, q}\left(D_{t, q}^{\prime}-D_{t, q}\right)^{2} .
$

図 3 に同期注意制約の例を示す. 図 3 に示すよう に，エンコーダ自己注意 $E$ は言語間注意 $\vec{C}, \overleftarrow{C}$ に よって目的言語側の確率空間に変換される. 制約の 損失はデコーダ自己注意 $D$ と求めた $D^{\prime}$ との差で表 される.

提案モデル 本稿で提案するモデルは Transformer+DBSA に同期注意制約を付与することで，原言語文の依存構造と目的言語文の依存構造の対応を もたせる. 提案モデルは次式のような目的関数 $\mathscr{L}$ を最小化することにより学習する。

$
\mathscr{L}=\mathscr{L}_{t}+\lambda_{\text {dep }} \mathscr{L}_{\text {dep }}+\lambda_{\text {sync }} \mathscr{L}_{\text {sync }} .
$

なお, $\lambda_{\text {dep }}, \lambda_{\text {sync }}>0$ はそれぞれ損失関数において $\mathscr{L}_{\text {dep }}, \mathscr{L}_{\text {sync }}$ が影響する度合いを調整するハイパー パラメータである。ここで，同期注意制約に用いる 原言語側と目的言語側の自己注意は第 $l_{d e p}$ 層目, す なわち,$l_{n}=l_{\text {dep }}$ とする.

また，従来の同期注意制約では，式 11 のように， $\mathscr{L}_{\text {sync }}$ を求める際に逆向き言語間注意 $\overleftarrow{C}$ を計算する 必要があった。本稿では，逆方向言語間注意を順方向言語間注意の転置，すなわち， $\overleftarrow{C}=\vec{C}^{\top}$ とするこ とで，Transformer のモデル順伝播計算時の注意重み を保持するだけで制約を算出できるようにする。

## 4 実験

実験設定 本実験では，提案手法の有効性を確認 するため，提案手法を適用したモデルと従来モデ ルとの翻訳性能を比較する. Transformer モデルに

逆方向言語間注意: $\overleftarrow{C}$

図 3: 同期注意制約の計算例

は base [1] モデルを使用した. モデルの詳細なハイ パーパラメータは付録に記載した。

翻訳性能の評価実験は，ASPEC[13] 日英翻訳タス クを用いた。訓練データは上位 150 万を抽出して用 いた。単語分割器は，日本語文には KyTea [14] を，英語文には Moses トークナイザを用いた。単語分割 した後は訓練データから学習したバイトペア符号化 (Byte Pair Encoding; BPE）[11] によりサブワード分割を行い，BPE の語彙数は原言語側と目的言語側で 独立してそれぞれ 16,000 に設定した．DBSA の教師 データは依存構造解析器の出力結果を用い, 英語に は Stanza [15] を，日本語には EDA [16] を使用した。 ただし，解析器は訓練時の教師データ作成のための みに使用し，翻訳時には使用していない。その他，詳細なデータ前処理は付録に記載した。

目的関数の $\mathscr{L}_{t}$ はラベル平滑化交差エントロピー を用いた。各損失を考慮する度合いを調整するハイ パーパラメータは $\lambda_{d e p}=0.5, \quad \lambda_{\text {sync }}=10.0$ とした.同期注意制約を与える層 $l_{\text {dep }}$ は Transformer base モ デルの第 1 層目とし， $D^{\prime}$ を求める際に必要な言語間注意の層 $l_{\text {sync }}$ は第 5 層目とした. モデルのパラ メータ更新回数は 100,000 回とした. 翻訳文の生成 にはビーム探索を用い，ビーム幅は 4 とした.

実験結果実験結果を表 1 に示す。表中の SyncAttn は同期注意制約を表す.表より，DBSA と SyncAttn を組み合わせることで，従来の DBSA，表 1: 実験結果 (BLEU(\%))

SyncAttn 単体で用いたモデルよりそれぞれ +0.27 , $+0.36 \mathrm{BLEU}(\%)$ の性能改善を確認した.

## 5 おわりに

本稿では，Transformer NMT の自己注意において，原言語文と目的言語文の依存構造を捉えさせ，言語間でそれらの対応をもたせるモデルを提案した. ま た，従来の対応付けでは注意の重みを別途計算する 必要があったが，提案手法では順伝播時の計算結果 を保持しておくだけで制約が計算できる. 提案モデ ルを用いることで，ASPEC 日英翻訳タスクにおい て, 従来モデルよりも最大 $+0.36 \mathrm{BLEU}(\%)$ の性能改善が確認された. 今後は, 他の言語対についても提案手法の有効性を確認したい.

## 謝辞

本研究成果は, 国立研究開発法人情報通信研究機構の委託研究により得られたものである. また，本研究の一部は JSPS 科研費 20K19864 の助成を受けた ものである.ここに謝意を表する.

## 参考文献

[1]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems 30, pp. 5998-6008. 2017.

[2]Hiroyuki Deguchi, Akihiro Tamura, and Takashi Ninomiya. Dependency-based self-attention for transformer NMT. In Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2019), pp. 239-246, Varna, Bulgaria, September 2019. INCOMA Ltd.

[3]Xing Wang, Zhaopeng Tu, Longyue Wang, and Shuming Shi. Self-attention with structural position representations. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP$I J C N L P)$, pp. 1403-1409, Hong Kong, China, November 2019. Association for Computational Linguistics.

[4]Emanuele Bugliarello and Naoaki Okazaki. Enhancing machine translation with dependency-aware self-attention. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1618-1627, Online, July 2020. Association for Computational Linguistics.

[5]Hongfei Jiang, Muyun Yang, Tiejun Zhao, Sheng Li, and Bo Wang. A statistical machine translation model based on a synthetic synchronous grammar. In Proceedings of the ACL-IJCNLP 2009 Conference Short Papers, pp. 125-128, Suntec, Singapore, August 2009. Association for Computational Linguistics.

[6]Yuan Ding and Martha Palmer. Machine translation using probabilistic synchronous dependency insertion grammars. In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics (ACL'05), pp. 541-548, Ann Arbor, Michigan, June 2005. Association for Computational Linguistics.

[7]出口祥之, 田村晃裕, 二宮崇. 同期注意制約を与えた transformerによるニューラル機械翻訳. 言語処理学会第 26 回年次大会 発表論文集, pp. 1459-1462, 2020.

[8]Elena Voita, David Talbot, Fedor Moiseev, Rico Sennrich, and Ivan Titov. Analyzing multi-head self-attention: Specialized heads do the heavy lifting, the rest can be pruned. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5797-5808, Florence, Italy, July 2019. Association for Computational Linguistics.

[9]Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[10]Timothy Dozat and Christopher D. Manning. Deep biaffine attention for neural dependency parsing. In 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings, 2017.

[11]Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[12]Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[13]Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 22042208, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[14]Graham Neubig and Shinsuke Mori. Word-based partial annotation for efficient corpus construction. In Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC'10), Valletta, Malta, May 2010. European Language Resources Association (ELRA).

[15]Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A python natural language processing toolkit for many human languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 101-108, Online, July 2020. Association for Computational Linguistics.

[16]Daniel Flannery, Yusuke Miayo, Graham Neubig, and Shinsuke Mori. Training dependency parsers from partially annotated corpora. In Proceedings of 5th International Joint Conference on Natural Language Processing, pp. 776-784, Chiang Mai, Thailand, November 2011. Asian Federation of Natural Language Processing.

[17]Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Łukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, Jeffrey Dean. Google's neural machine translation system: Bridging the gap between human and machine translation. CoRR, Vol. abs/1609.08144, , 2016.

## A データセット

表 2: 実験データ（ASPEC 日英）の対訳文対数

前処理 英語文の単語分割は，aggressive hyphen splitting オプションを付けた Moses トークナイ ザを使用した。また，訓練データに対しては

規化を行った. 訓練データには，サブワード分割す る前の原言語文と目的言語文のトークン数がともに 100 以下の対訳文対を用い，トークン数の比が 2 を 超える対訳文対を除外した.

## B ハイパーパラメータ

表 3: Transformer モデルのハイパーパラメータ

^{1)}$ https://github.com/moses-smt/mosesdecoder/blob/ master/scripts/tokenizer/normalize-punctuation. perl
}


# A Span Extraction Approach for Dialog State Tracking: A Case Study in Hotel Booking Application

Hongjie Shi
Megagon Labs, Tokyo, Japan, Recruit Co., Ltd.
shi.hongjie@megagon.ai

## 1 Introduction

Traditional dialog state tracking is often formulated as a classification problem, where the dialog state is predicted as a distribution over a closed set of possible slot values within an ontology [1]. By doing so, the tracked dialog state which is a summary of current conversation, can be directly used for backend database querying or API calls in dialog system applications [2]. For example, a virtual assistant that helps users to book hotels, may fill a slot price_range with three possible values - high / low / intermediate defined by the query parameters of the backend hotel database. However, this classification approach of dialog state tracking may have two main disadvantages. First, the system will not be able to handle any unseen values beyond the predefined value set. While building a classifier that covers all possible values will result in impractical annotation and training cost. Second, we see that many modern designed databases [3] and search engine API can take direct natural language input as the search query. A predefined value set will limit the user query space and cause the matched results lack of variety.

To overcome these limitations, in this paper we explore the possibility of a span-extraction approach for the dialog state tracking, where the values are no longer constrained in a predefined set, but can be any string form as appeared in the dialog. The application of this approach is illustrated in Figure 1. We formulated our task as a multiclass multi-span extraction problem, with a goal to identify all contiguous spans along with its slot type from current user utterance. In this paper, we performed a particular case study on hotel booking domain, and set up 12 slot types that cover most common hotel requirement categories. In our system, the extracted spans (or the slot values) are then used as input search queries for different backend systems. The contribution of this paper is to initiate a new case study on this span-extraction dialog state tracking, and propose a simple BERT based approach for multi-slot multi-span extraction.

Figure 1: An example of span-extraction based dialog state tracking for hotel booking dialog system.

## 2 Related work

Free-form dialog state tracking Considering the limitation of traditional predefined slot values setup, freeform dialog state tracking that allow slots to be filled with any string value, have emerged in recent years. In one task track of DSTC 8 [2], the authors set up a problem to fill slots like depart_date with any string value derived from conversation. Others like [4] proposed to use dynamic vocabularies to track possible values beyond the predefined set. However these problems or approaches are still limited in narrow ranges of slot value form, for example the value is usually either a specific named entity
(movie name, restaurant name), or in a very specific format (date, time). In contrast, our problem considers a more wide range of possible value forms and span lengths, including adjectives, verbs, short phrases or even sentences.

Span extraction based approach The span extraction based approaches for dialog state tracking tasks have also been proposed recently. In the paper [1] the authors utilized a question answering (QA) model to predict slot value by directly pointing to the value span within the conversation. However the conventional QA model they used can not be directly applied to our multi-span extraction task, because the model output is restricted to a single answer span. On the other hand, multi-span QA models that capture multiple answer spans have also been proposed recently. In the paper [5] the author applied a sentence selection approach to identify all sentence-level spans, and in another paper [6] the authors casted the multi-span task as a sequence tagging problem. Our method resembles the latter approach, and we further extend the model with multi-label classification, as to extract spans for different slot types at the same time.

## 3 Dataset

The dialog corpus (Japanese) we used in this paper are the same corpus as our previous paper [7]. The data are collected between pairs of crowd workers who played travel agent and user roles respectively. The data contains 879 dialogs with 24963 agent and 11792 user utterances in total.

Annotation The span annotations are done for each user utterance in three steps:

1. Identify all span ranges for each user utterance.

2. Label each continuous span with one of the 12 slot types.

3. Label each span with Negation flag if the span represents a negation.

The length of span is determined so that each span has minimal string length that can be used as an independent hotel search query. The 12 slot types represent the common categories of the user requirement for the hotels, as shown in the y-axis label in Figure 2.
Count of annotated spans for each slot type

## Figure 2: Distribution of annotated spans over 12 slot types.

Negation flag The Negation flag is used for a negative match in the database and it can be overlapped with any other of the 12 slot types. For example in the following utterance:

I don't like a room that is too cluttered.

あまりごみごみした部屋は好みではありません。

The span "too cluttered" is labeled with the slot type Room and the Negation flag simultaneously. In this paper we treat the Negation flag as one of the class along with 12 slot types, so that our problem can be framed as a multilabel classification.

Span statistics There are 12244 spans (including Negation) annotated among 6898 user utterances with average 1.8 spans for each utterance. The average span length is 5.3 characters with the shortest contains 1 and the longest contains 43 characters. The slot distribution of spans is shown in Figure 2.

## 4 Experiments

## 4.1 Models

The BERT based pre-training fine-tuning approach has achieved great success in almost all types of natural language processing tasks. In our experiment we also chose BERT as our start point. We incorporated BERT with a token classification head on top (a linear layer on top of the hidden states output), so that the model outputs a series of token-wise labels. This BERT architecture is
also used for other sequence labeling tasks such as Named-Entity-Recognition [8]. One modification we have done to the model is that we replace the output softmax to the binary sigmoid, so that each token can be associated with any number of labels. By doing so, we can train the Negation as one class along with the 12 slot types, and also do not need to add a dummy 'Outside/None' class for any non-span tokens.

Pre-training We compared two pre-trained BERT in our experiment. The first model is the one published in paper [9], which is pre-trained with Japanese wikipedia containing 18 million sentences. We call this model the general model. The second one is an in-domain model pretrained with 20 million sentences of hotel reviews extracted from hotel booking site jalan.net. The pretraining details are described in paper [10]. Both models have $32 \mathrm{k}$ vocabulary built with Juman $++^{\mathrm{i}}$ as the Japanese tokenizer and BPE as the subwork tokenizer. And both use 12 layers configuration as the original BERT-base configuration.

## 4.2 Experimental Setup

We split all user utterances into the training, validation and test dataset with portions of $70 \%, 15 \%$ and $15 \%$ respectively, where the training set contains 8254 user utterances and the valid / test set contains 1769 user utterances. The validation dataset is used for tuning the learning rate during training: the initial learning rate is set 0.00005 and if the loss for the validation dataset increased compared to the previous epoch, the learning rate is decayed by a rate of 0.7 . The total training epochs is 7 and batch size is 32. For the model implementation, we use the transformers package from Hugging Face ${ }^{\mathrm{ii}}$. We also apply the binary sigmoid instead of softmax in the output layer for multi-label output, and correspondingly modify the loss function to binary cross entropy.

Metrics The F-score used for evaluation is calculated token-wisely as following: If we represent the spans in a $n$-token sentence using a vector $\boldsymbol{y}=\left(y_{1}, y_{2}, \ldots, y_{n}\right)$, where $y_{k}$ is a binary digit with value of 1 if the $k$-th token is in the span, 0 otherwise. Then the F1 score is

derived from harmonic mean of precision and recall as:

$
\text { Precision }=\frac{\boldsymbol{y} \cdot \widehat{\boldsymbol{y}}}{\sum_{k=1}^{n} \hat{y}_{k}}, \text { Recall }=\frac{\boldsymbol{y} \cdot \widehat{\boldsymbol{y}}}{\sum_{k=1}^{n} y_{k}}
$

where $\boldsymbol{y}$ is the true label and $\hat{\boldsymbol{y}}$ is the output of the model. To reduce the impact of the class imbalance, in evaluation we use the global average over all samples ignoring slot types (also known as micro-averaged F1).

## 5 Results

One clear conclusion from the result shown in Table 1 is that the in-domain BERT model outperforms the general model as large as almost $10 \%$, and this improvement is most significant in Recall. If we look at the detail score for each slot type (Figure 3), a trend can be noticed is that the slot types with less training data, the more performance improvement is gained. This is not a surprising result because intuitively in-domain pretraining can help downstream fine tuning tasks with prior in-domain knowledge, and this effect is more dominant when the number of training instances is limited. This is also a general observation reported in many other tasks such as [11] and [12]. One complete example of dialog with its model output can be found in Appendix Table 3.

Table 1: Overview of performance comparison

## 5.1 Error Analysis

In Table 2 we listed some typical error outputs from both models. From these examples, we can see that the indomain model is relatively better at capturing unseen domain-specific named entity (example \#1) and identifying indirect expression of negation (example \#2). On the other hand the error output tends to be overlong (example \#3) or with wrong slot types (example \#4). One possible reason is that the likely overfitting to the domain may cause the model too sensitive to certain phrases. And also, the ambiguous interpretation of slot types may cause

Figure 3: Comparison of accuracy for each slot type and Negation. Model details are described in Sect 4.1.

Table 2: Examples of error outputs (errors shown as red underlined).

 & Food: &  \\

a fluctuation in the annotation, such as the word "place" in example \#4 can be both interpreted as hotel and location. However for using as a search query, these errors seem to be minor because the impact on the search result will be limited.

Example \#5 exposes one limitation of our method, that is we do not include any dialog context in the model input. In this example, the user utterance is actually a response to the agent question "Where are you planning to come from?", and therefore should not be interpreted as the location of the hotel. One way to take the dialog context into account is to concatenate previous utterances to the input with additional segment embedding [8]. We include this improvement in our future work.

## 6 Conclusion

In this paper we studied a new span-extraction based dialog state tracking task, and proposed a BERT-based approach for multi-slot multi-span extraction. The proposed method allows a slot to take any form of value as it is mentioned within the conversation, and therefore provides a more dynamic dialog state for querying the backend systems. While in this paper we only focused on the extraction from current user utterance, we plan to expand the model to multiple turns, including reference resolution and slot value update, with a better integration of dialog context.

## Acknowledgements

We would like to thank Prof. Yuki Arase, Mai Aoki (IRALT) and other Megagon team members for their useful discussions and feedback.

## References

[1] Shuyang Gao, et al., "Dialog State Tracking: A Neural Reading Comprehension Approach," Proceedings of the 20th Annual SIGdial Meeting on Discourse and Dialogue, 2019.

[2] Abhinav Rastogi, et al., "Towards scalable multidomain conversational agents: The schema-guided dialogue dataset," Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 34. No. 05, 2020.

[3] Yuliang Li, et al., "Subjective Databases," Proceedings of the VLDB Endowment, 12(11), 2019.

[4] Rahul Goel, et al., "Hyst: A hybrid approach for flexible and accurate dialogue state tracking," Proc. Interspeech 2019, pp. 1458-1462, 2019.

[5] Ming Zhu, et al., "Question Answering with Long Multiple-Span Answers," Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: Findings, 2020.

[6] Elad Segal, et al., "A Simple and Effective Model for Answering Multi-span Questions," arXiv preprint arXiv:1909.13375, 2019.

[7] Hongjie Shi, "A Sequence-to-sequence Approach for Numerical Slot-filling Dialog Systems," Proceedings of the 21th Annual Meeting of the Special Interest Group on Discourse and Dialogue, 2020.

[8] Jacob Devlin, et al., "Bert: Pre-training of deep bidirectional transformers for language understanding," arXiv preprint arXiv:1810.04805, 2018 .

[9] 柴田知秀, 河原大輔, and 黒橋禎夫, "BERT に よる日本語構文解析の精度向上," 言語処理学会 第25 回年次大会発表論女集, 2019.

[10] 林部祐太, "知識の整理のための根拠付き自然文間含意関係コーパスの構築," 言語処理学会第 26 回年次大会発表論文集, 2020.
[11] Takeshi Sakaki, et al., "BERT Pre-trained model Trained on Large-scale Japanese Social Media Corpus," https://github.com/hottolink/hottoSNSbert, 2019.

[12] Chi Sun, et al., "How to fine-tune bert for text classification?," China National Conference on Chinese Computational Linguistics. Springer, Cham, 2019.

[13] 林部祐太, "要約付き宿検索対話コーパス," 言語処理学会第 27 回年次大会発表論文集, 2021.

## Appendix

Table 3: An example of complete dialog and its corresponding model output. Here we are using the dialog collected in [13]. The slot values appeared in Agent utterances are not extracted by current model (future work).

 & \\


# 動的な環境における基盤化タスク設計の試み

宇田川拓真 ${ }^{1}$ 相澤彰子 ${ }^{1,2}$
1 東京大学 2 国立情報学研究所
\{takuma_udagawa, aizawa\}@nii.ac.jp

## 1 はじめに

自然言語対話における基盤化とは, 話者間で共通理解（共通基盤）を形成・修正・維持する一連のプ ロセスを指し, 人間の高度なコミュニケーションの 重要な側面と考えられている [3]. 特に状況が絶えず 変化する現実世界においては, 新たに共通基盤を形成するだけでなく, 状況の変化に応じて共通基盤を 適切に更新し, 維持する能力が欠かせない.

しかし, 既存の対話タスクの多くは画像などの静的な情報を扱うものに限られており,動的な環境に おける共通基盤の形成・維持が十分に考慮されてい ない. 本研究では, 既存の基盤化タスク (OneCommon コーパス）[10]を時系列的に拡張し, 動的な環境に おける基盤化を評価する新たなタスク設計を行う。

このタスク設計に基づき,クラウドソーシングを 用いて 5,617 対話を含む大規模なデータセットを新 たに構築した. データセットの分析の結果, 提案タス クでは複雑な時空間表現を用いた基盤化が必要であ ること,また人間同士では過去の時点での共通基盤 を利用してより正確かつ効率的に共通基盤の更新・維持ができていることが確認された。

最後に, 深層学習に基づく対話モデルを実装し, 提案タスクによる評価・分析を行った. その結果, 既存 モデルは色・大きさ・位置などの空間的情報は（比較的）利用できているが, 動作・時制などの時間的情報はまだうまく扱えていないことが示唆された.

以上の考察を通じて提案タスクの有用性を検証 し, 今後の課題について論ずる.

## 2 タスク設計

## 2.1 背景：協調的参照タスク

基盤化の能力を定量的・客観的に評価するために， OneCommon [10] では物体の共通認識を形成する協調的参照タスクを提案している。このタスクでは話者 $\mathrm{A}$ ・ $\mathrm{B}$ とエンティティの集合 $E=\left.\{e_{1}, e_{2}, \ldots, e_{m}\right.\}$ が 存在し, 話者はそれぞれ $E$ の観測 $o b s_{A}(E) \cdot o b s_{B}(E)$ を持つとする. 話者同士は自然言語対話を通じて自由に情報を交換することができ, 最終的にそれぞれ 観測中のエンティティを一つ選択する. 基盤化を通 じて同じエンティティを選択できた場合のみタスク は成功とし, 異なるエンティティを選択した場合は 失敗となる. 付録 $\mathrm{A}$ に実際の対話例を示す.

OneCommon ではさらに各エンティティ $e_{i} \in E$ の 属性を連続値で表現することで複雑な曖昧性・不確実性の解消を要請している.また, 話者同士の観測が 異なる部分観測性 $\left(o b s_{A}(E) \neq o b s_{B}(E)\right)$ を導入す ることで誤解・部分的な理解が生じやすくなってお り, 理解の修正が要請されている.

しかし,このタスクでは話者の観測およびエン ティティ属性の時間変化は想定されておらず,多様 な状況変化に応じた共通基盤の更新・維持は要請さ れない. また, 共通基盤の維持能力の定量的 - 客観的 な評価指標が存在しないという問題がある.

## 2.2 協調的参照タスクの時系列的拡張

これらの問題を解決するために, 本研究では各 エンティティ $e_{i} \in E$ の属性が時間変化し, 各時刻 $t \in\left[t_{0}, \infty\right)$ において話者 $\mathrm{A} \cdot \mathrm{B}$ は $E$ の観測 $o b s_{A}(E, t) \cdot$ $o b s_{B}(E, t)$ を持つとする. また, 話者同士は複数の時刻 $t_{1}, t_{2}, \ldots \in\left(t_{0}, \infty\right)$ において協調的参照を行い, 時刻 $t_{k}(k \in \mathbb{N})$ において失敗した時点でタスクは終了す るものとする.これにより, 共通基盤を正確に維持す る能力を協調的参照の成功時間長 $k-1$ により定量的・客観的に評価できるようになる。

本研究ではこの定式化に基づいて OneCommon を 時系列的に拡張する. 具体的には, 各エンティティ $e_{i} \in E$ の二次元平面上の位置を各時刻間 $\left[t_{k-1}, t_{k}\right)$ で 変化（移動）させる. 移動の軌跡は図 2 に示すよう に二次べジェ曲線で記述し, 距離パラメーター $r_{i, 1}$, $r_{i, 2}$ および角度パラメーター $\Delta \theta_{i}$ は一様分布からサ

B: I see a small light grey dot, that moves very quickly. It ends to the right of three larger, darker dots.

A: $i$ think that one moves off my view. do you have two medium sized dark dots on top of one another at the start, with the upper one being a bit smaller and off to the left? they both move down and to the right

B: Yes, I think so. But the one that started off on the left moves very slowly? And another lighter grey one ends up almost in between them?

A: yes can you pick the slower moving one?

A and B select: $\square$

A: do you still see the same one?

B: Nope, it barely squeaked out of view. But a larger black ball comes towards the left into view. Do you see it? It probably crosses underneath our old one.

A: yes

A and B select:

図 1 提案タスクの対話例. エンティティは時刻 $t_{1} \cdot t_{2}$ での位置, 軌跡は $\left[t_{0}, t_{1}\right) \cdot\left[t_{1}, t_{2}\right)$ での移動を示している.

ンプリングする. また, $\theta_{i, 0}$ はランダムに初期化し, 移動後に $\theta_{i, k} \leftarrow \theta_{i, k-1}+\Delta \theta_{i}$ に基づいて更新する.これ によって多様かつ一貫性のある動的変化を導入でき るだけでなく,テスト時には任意の状況・観測の変化を再現し, 検証することが可能になる。

図 2 エンティティ $e_{i}$ の $\left[t_{k-1}, t_{k}\right)$ 間の移動の軌跡.

また, エンティティの属性だけでなく話者の視点 も随意に変化させることができる. 本研究では各時刻 $t_{k}$ の直後に話者の視点をランダムに平行移動さ せることで, 観測の重複部分も変化させている.

図 1 にクラウドソーシングを用いて収集した提案 タスクの対話例を示す. なお, 対話収集時は時刻の上限を $t_{5}$ （最大の成功時間長を 5）としている.

## 2.3 関連研究との比較

提案タスクと既存の代表的な対話タスク（データ セット）との比較を表 1 にまとめる。

まず, 基盤化に焦点を当てた対話タスクとして $[4,6,10,5,13]$ などが挙げられる.これらはタスク成功率により共通基盤の形成能力を直接的に評価でき るが, 全て静的な情報を扱うものに限られている.

基盤化を直接評価・分析するには不向きだが, 動的な情報を扱う対話タスクも近年現れている. 例 えば AVSD[1] は動画に基づく対話を集めているが，対話中に新たな情報が追加されるなどの情報の更新がないため, 共通基盤の更新は要請されない. 逆に Minecraft Dialog[8], SIMMC [7] などの仮想空間上の 対話タスクでは（視点変化などを通じて）情報の更新は行われるが, 仮想空間自体は自発的に変化せず 静的なものと考えられている. [9] は唯一動的な環境 および情報の更新を扱っているが, 非タスク指向か つ不特定話者の対話であるため, 基盤化の評価・分析は非常に難しいと考えられる。

## 3 データセット

本研究では Amazon Mechanical Turkを利用し, 大規模かつ高品質な英語の対話データを収集した.
表 1 既存の代表的なデータセットとの比較.

## 3.1 定量的分析

データセット全体の統計値を表 2 に示す.

OneCommon と比較すると, 提案タスクでは協調的参照を複数回繰り返しているため対話中の発話数が多くなっており,より長く一貫した対話が必要 となっている. 平均的な発話長は若干短くなってい るが,これは $t_{2}$ 以降に複雑な表現が “same again?” などのように省略されやすいからであり1), 図1の ように長く複雑な発話も多数見受けられた. また, OneCommon を拡張した設定であるため, 語彙的には シンプルかつ重複が多いことが確認できた. ${ }^{2)}$

時刻 $t_{1}$ での協調的参照の成功率も高く, 人間同士 では正確に共通理解を形成できていることが分か る.また, 時刻 $t_{2}$ 以降ではそれ以前の共通基盤を利用 して,成功率をさらに高めることができている.3)

## 3.2 定性的分析

図 1 に例示されるように, 人間同士ではエンティ ティの動作 ( “moves very quickly”, "come towards the

1）例えば 5 トークン以下の短い発話の割合は提案タスクで $33.8 \%$ となっており, OneCommon の約二倍多くなっている。

2）頻出語（10 回以上出現する語彙）に限ると, 重複は $53.0 \%$ と さらに高くなっている.

3）一部のクラウドワーカーはより高い水準でタスクを解いて おり,成功時間長・成功率の上限はより高くなると思われる。 left") や特定の時点での位置 (“started off on the left”, “ends to the right”) などの時空間表現を用いて共通基盤を形成している.また, 時刻 $t_{2}$ 以降ではそれ 以前の共通基盤 ("still see the same one?”, “crosses underneath our old one”）を利用していることが確認 できる.さらに環境の連続性および部分観測性によ り “a bit”, “almost”, “probably”など曖昧性・不確実性のニュアンスが伴いやすいことも確認できる.

特に動作の表現に着目すると, 移動の軌跡が連続値で記述されているため（図 2）語用論的推論を要 する表現が現れやすくなっている. 例えば図 3 に示 すように “straight down” と言った時に正確な垂直 を指していなかったり,多様な移動の軌跡が “right (and) then up”と同一の表現で表されていたりする. また, 付録 Bに示すように複数のエンティティの動作の関係性も同様に（語用論的に）表現されている. このように提案タスクでは必要な語彙はシンプルで ありながら, 字義通りではなく語用論的推論を用い た高度な言語理解・生成が必要となっている。

straight down

right (and) then up図 3 語用論的な動作の表現.

## 4 実験

最後に,ベースラインモデルを用いた実験を行う.
表 3 実験結果.（データ分割含め）異なる乱数種を用いて各実験を 5 回繰り返した.

} & $76.4 \pm 1.7$ & $77.1 \pm 0.3$ & $62.5 \pm 1.7$ & $75.4 \pm 1.3$ & $1.94 \pm 0.09$ \\

## 4.1 評価

モデルの共通基盤の認識能力の評価には, 人間同士の対話・観測からどのエンティティが各時刻 $t_{k}$ で 選択されたかを予測するターゲット選択タスクを用 いる. 選択時の観測エンティティの数は 7 つに制約 されているため,これは単純な分類問題として正解率で評価できる. 検証・テスト用データには成功時間長が 2 以上のランダムな対話を 500 ずつ用意する.

また, 各モデル同士で提案タスク全体を解かせる ことで共通基盤の形成・維持能力を評価する. 具体的には 2,000 の未知の環境で同じモデル同士を対話 させ,成功率・成功時間長によって評価を行う。

## 4.2 モデル

本研究では [11]を基にシンプルな深層学習対話モ デルを実装する. 具体的には対話トークンを GRU[2] で埋め込み, 観測をエンティティレベルの埋め込み 表現に変換する（付録 C）. 発話生成時にはエンティ ティの表現をアテンションスコアで重み付けし, 時刻 $t_{k}$ でのエンティティの選択にはスコアが最大の ものを選択する. また, 各モジュールは OneCommon コーパスを用いて事前学習を行なった.4)

このモデルをべースラインとして, どの素性が利用されているかを確認するために, エンティティの 表現から色・大きさ・位置属性のアブレーションを 行う. また, 観測の最終フレームのみを入力とするこ とで時間変化の情報のアブレーションも行う.

## 4.3 結果

実験結果を表 3 に示す.なお,ターゲット選択の人間性能は 3 名のアノテーターで確認を行なった.

まず, ターゲット選択ではベースラインの正解率 は比較的高く, 既存モデルはある程度対話中の共通基盤を正しく認識できていると考えられる. また, ア

ブレーションの結果からエンティティの色・大き さ・位置・時間変化全てが正解率に寄与しているこ とが分かる.なお, 時刻 $t_{k}(k \geq 2)$ での選択を予測す る際には前時刻 $t_{k-1}$ での選択の正解を入力としてい るため, $t_{2}$ 以降の正解率は若干高くなっている.5)

全体タスクでは $t_{1}$ での成功率が最も低く, 動的な 環境で共通基盤を新たに形成するのは難しいと考え られる. $t_{2}$ 以降の成功率は比較的高くなっているが，実際には前時刻での選択を繰り返してしまうケース が多く, 前時刻の選択エンティティが共有されなく なった場合の成功率に大きな向上は見られなかっ た. ${ }^{6 ）}$ よって, 共通基盤をそのまま保持することはで きるが変更することはまだ難しいと予想される. ま た, 時間変化の情報を利用しない場合に成功率は一貫して向上しており, 既存モデルは動的な情報を利用して基盤化を行えていないことが示唆された。

最後に, 全ての評価指標において人間の性能とは 大きな乘離があり, 提案タスクが改善の余地のある 難しいタスクであることが示された.

## 5 終わりに

本研究では動的な環境において物体の共通認識を 維持する新たな対話タスクを設計し, 人間とベース ラインモデルの基盤化の評価・分析を行なった.

将来的に対話システムの応用範囲が広がりより 実世界に近い問題を扱うようになるほど, 状況の変化に応じて共通基盤を適切に更新・維持できること は重大な要件になると考えられる. 今後は参照表現 [11] や時空間表現 [12] のアノテーションなどを通じ てより詳細な分析を可能にしつつ, 動画処理の手法 も組み合わせてより汎用性の高い対話モデルの分析・改善を行う.これらの研究を通じて, 基盤化の観点からより高度な対話モデルを追究していきたい。

5）人間のアノテーターには前時刻での正解は与えていない

6）むしろベースライン以外では成功率が下がっていた. なお,人間同士ではこの状況でも $6 \%$ 以上の成功率向上が見られた.

## 参考文献

[1]Huda Alamri, Vincent Cartillier, Abhishek Das, Jue Wang, Anoop Cherian, Irfan Essa, Dhruv Batra, Tim K Marks, Chiori Hori, Peter Anderson, et al. 2019. Audio visual sceneaware dialog. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 7558-7567.

[2]Kyunghyun Cho, Bart van Merrienboer, Dzmitry Bahdanau, and Yoshua Bengio. 2014. On the properties of neural machine translation: Encoder-decoder approaches. In Proceedings of SSST-8, Eighth Workshop on Syntax, Semantics and Structure in Statistical Translation, pages 103-111. Association for Computational Linguistics.

[3]Herbert H Clark. 1996. Using language. Cambridge university press.

[4]Harm De Vries, Florian Strub, Sarath Chandar, Olivier Pietquin, Hugo Larochelle, and Aaron Courville. 2017. Guesswhat?! visual object discovery through multi-modal dialogue. In Proc. of CVPR.

[5]Rui Fang, Malcolm Doering, and Joyce Y. Chai. 2015. Embodied collaborative referring expression generation in situated human-robot interaction. In Proceedings of the Tenth Annual ACM/IEEE International Conference on Human-Robot Interaction, HRI '15, pages 271-278, New York, NY, USA. ACM.

[6]Janosch Haber, Tim Baumgärtner, Ece Takmaz, Lieke Gelderloos, Elia Bruni, and Raquel Fernández. 2019. The PhotoBook dataset: Building common ground through visually-grounded dialogue. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 1895-1910, Florence, Italy. Association for Computational Linguistics.

[7]Seungwhan Moon, Satwik Kottur, Paul Crook, Ankita De, Shivani Poddar, Theodore Levin, David Whitney, Daniel Difranco, Ahmad Beirami, Eunjoon Cho, Rajen Subba, and Alborz Geramifard. 2020. Situated and interactive multimodal conversations. In Proceedings of the 28th International Conference on Computational Linguistics, pages 1103-1121, Barcelona, Spain (Online). International Committee on Computational Linguistics.

[8]Anjali Narayan-Chen, Prashant Jayannavar, and Julia Hockenmaier. 2019. Collaborative dialogue in Minecraft. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 5405-5415, Florence, Italy. Association for Computational Linguistics.

[9]Ramakanth Pasunuru and Mohit Bansal. 2018. Game-based video-context dialogue. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 125-136, Brussels, Belgium. Association for Computational Linguistics.

[10]Takuma Udagawa and Akiko Aizawa. 2019. A natural language corpus of common grounding under continuous and partially-observable context. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 33, pages 71207127.

[11]Takuma Udagawa and Akiko Aizawa. 2020. An annotated corpus of reference resolution for interpreting common grounding. In Proceedings of the AAAI Conference on Arti- ficial Intelligence, volume 34, pages 9081-9089.

[12]Takuma Udagawa, Takato Yamazaki, and Akiko Aizawa. 2020. A linguistic analysis of visually grounded dialogues based on spatial expressions. In Findings of the Association for Computational Linguistics: EMNLP 2020, pages 750765, Online. Association for Computational Linguistics.

[13]Sina Zarrieß, Julian Hough, Casey Kennington, Ramesh Manuvinakurike, David DeVault, Raquel Fernández, and David Schlangen. 2016. PentoRef: A corpus of spoken references in task-oriented dialogues. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pages 125-131, Portorož, Slovenia. European Language Resources Association (ELRA).

## A OneCommon コーパス

A: I see three in a line going up and to the right. The middle one is the largest and darkest

B: I don't see that. I have one large, medium gray dot that's under a small, darker gray dot

A: Is the larger dot slightly to the left B: yes, slightly, let's choose the larger one A and B select: $\square$

図 4 OneCommonコーパスの対話例

図 4 に示すように, OneCommon ではエンティティ および話者 $\mathrm{A} \cdot \mathrm{B}$ は二次元平面上に位置しており， $\mathrm{A} \cdot \mathrm{B}$ はそれぞれ自分の周囲の一定の半径以内のエ ンティティのみ観測できる.この状況で, 自然言語対話による基盤化を通じて同一の・共有されているエ ンティティを一つ選択しなければならない.

## B複数エンティティの動作

toward each other

cross in front

follow (behind)図 5 複数エンティティの動作の表現.

エンティティの動作はランダムに生成している
ため, 話者はそれらのインタラクション（相互作用） を特徴的な時空間関係に見立てて表現していると考 えられる.よって, 図 5 の他にも pass by, move along withのように多様かつ語用論的な複数エンティティ の動作表現が多数見受けられた.

## C エンティティの埋め込み表現

図 6 エンティティの埋め込み表現の生成手法.

時刻間 $\left[t_{k-1}, t_{k}\right)$ の観測アニメーションからエン ティティの埋め込み表現を得る手法を図 6 に示す.

まず, 各時刻での観測フレームから空間的エン コーダーを用いて空間的素性とメタ素性の二つを 生成する. 空間的素性は [11] と同様にその時刻での エンティティの属性（色・大きさ・位置）等を多層 パーセプトロン（MLP）で埋め込む. なお, フレーム 中に存在しない場合はデフォルトの值 $(0,0)$ を観測上の位置とする. メタ素性はエンティティのメタ情報（フレーム中に存在するか, 前時刻 $t_{k-1}$ に存在し たか, 前時刻 $t_{k-1}$ で選択したか等）を二值トークン として表現し, MLPを用いて埋め込み表現に変換す る. 各時刻（観測フレーム）でのエンティティの表現は空間的素性とメタ素性の和とする.

続いて, 各観測フレームにおけるエンティティ表現を時間的エンコーダー（GRU）で埋め込み, 最終時刻での状態をエンティティの最終表現とする.


# 積極傾聴におけるあいづちのタイミングの予測

福野将人狩野芳伸
静岡大学総合科学技術研究科情報学専攻
mfukuno@kabolab.net
kano@inf.shizuoka.ac.jp

## 1 はじめに

ユーザと対話することを目的としたシステムを対話システムといい、その中でもユーザの話に適切に あいづちを打つなどして話を聞くことに特化した対話システムを傾聴システムという。

本研究ではユーザに楽しんで話してもらうことの できる積極傾聴システムを作ることを目指して、ま ずはあいづちのタイミングを予測することのできる 分類器の制作を試みる。またその過程でその学習・評価に適したコーパスも制作する。

## 2 背景

傾聴システムには入院患者や高齢者の話し相手と なること[1]や、ユーザの話したい、話を聞いてもら いたいといった欲求を満たすこと [2]が期待されて いる。

このようなシステムでは、話し手であるユーザの 発話を聞き手であるシステムが積極的に引き出し、 ユーザにできるだけ楽しんで話してもらう必要があ ると考えた。本研究ではそのような積極的な傾聴の ことを積極傾聴と呼びたい。

## 2.1 先行研究

我々は SVM を用いて以前にも同様の研究に取り 組んだが、この際には積極傾聴ではない普通の対話 を収録したコーパスである千葉大学 3 人会話コーパ ス[3]を用いてデータセットを制作し、システムの学習・評価を行っていた[4]。しかし本来積極傾聴を行 うシステムを作るなら、その学習には積極傾聴を収録したコーパスを用いることが望ましい。

類似の先行研究としては遠隔操作のアンドロイド を用いて積極傾聴を行わせ、その対話音声を元に間休止単位ごとであいづちを行うかどうか予測したも のがある[5]。本研究では生身の人間同士の対話を 収録したことに加えて、音響的な特徴量に加えて言語的な特徴量も用いることでさらに自然な予測を行 うことを目指した。

## 3 手法

まず積極傾聴の対話を収録したコーパスを制作し、 それを元にあいづちのタイミングを予測することの できる分類器の制作を試みる。

## 3.1 コーパスの制作手法

対話音声の収録 収録のために 2 人の実験協力者 を得た。2 人には対話収録のために設置した防音室 に入って対面に着席し、それぞれに指向性のへッド セットマイクを着用して対話を行ってもらった。

2 人のうちの片方には相手にできるだけ楽しんで 話してもらうような積極傾聴を行うように指示した。

1 対話あたりの収録時間は当初は自然に対話が終了するまでとしていたが、この手法では実験協力者 からどこで話を終えれば良いのか分からないという 声が出た。そこで途中からは収録時間が 10 分を超 えたところで側にいる収録担当者(音声をモニタす る役目で対話には参加しない)が静かに立ち上がり、対話の終了を促すことにした。

対話は合計で 30 分 38 秒収録した。

収録音声の書き起こし・アノテーション 収録し た音声のうち 18 分 44 秒についてアノテーションツ ール ELAN[6]を用いて書き起こし、アノテーション を行った。

付与するタグは千葉大学 3 人会話コーパスを元に 先行研究[7][8]の内容を取り込んだもので、その一覧 は付録に掲載した。

形態素ごとの Forced Alignment 音声と書き起 こしテキストからだけでは、発話途中の任意の時刻 にどの形態素まで発話されているかが分からない。 あいづちは対話相手の発話の途中で起こることもあ るから、後の学習のために音声認識エンジン Julius[9][10]を用いて Forced Alignment を行い、発話中の各形態素の開始・終了時刻を別途求めることに した。

Forced Alignment は対象の発話ごとにそれ専用の 言語モデルを作ることで行った。

1. 対話音声を各発話(各アノテーションの区間) で分割する

2. アノテーションから転記タグを除去し、 kuromoji で形態素単位に分割する

3.よみがなタグの内容を各形態素と対応させ、各形態素のよみがなを調べる

4. Julius を用いて各形態素のよみがなを音素列 に変換する

5. 各形態素と音素列を元に Julius の言語モデル を生成する
6. 1 の手順で分割した音声ファイルに対し、 5 の 手順で生成した言語モデルを用いて Julius で Forced Alignment を実行する

Forced Alignment $の$ 精度は、千葉大学 3 人会話コ 一パスの音声の 1 つ(chiba0132-A.wav)に含まれる 2 語以上の発話を用いて評価したところ RMSE で 0.105 秒だった。

## 3.2 対話システムの制作手法

まずコーパスを元にデータセットの生成を行い、次にそのデータセットを用いてあいづちタイミング 予測モデルの学習・評価を行った。

データセットの作成 本研究で収録したコーパ スと、それに加えて事前学習用に千葉大学 3 人会話 コーパスを用いてデータセットを作成した。
- 特徴量の計算手法 コーパスから 1 話者の音声を抽出し、2048 フレームごとの窓区間に分割する

A) 図 1 に表すように、窓区間ごとの音声波形にプリエンファシスフィル タ・ハミング窓を適用後、17 次元の $\mathrm{MFCC}($ メル周波数ケプストラム係数)を計算し、それぞれ直前の 128 区間ぶんの MFCC を音響的特徴量と する

B) 図 2 に表すように、形態素ごとの Forced Alignment 結果をもとにその 区間までに発話された形態素を 10 個求め、その単語埋め込み(100 次元)を言語的特徵量とする
- ラベルの計算手法

特徵量の計算に使った話者の話し相手 $\mathrm{i}$ の音声を抽出し、2048 フレームごとの窓区間 に分割する。

分割後の各区間とその前後の 100 ミリ秒以内にあいづちを含むあらゆる発話の開始が あれば正、それ以外に負のラベルを付与す る。

## 直近の音声波形

2048フレーム

64空区間

(2.972秒)

MFCC

## 17次元

## 入力(音響的特徴量)

## inputA

(inputA)

図 1 音響的特徴量の計算手法

直近の形態素

100次元

入力(言語的特徴量)

## input

(input T)

図 2 言語的特徴量の計算手法
$ 千葉大学 3 人会話コーパスの場合は相手が 2 人い るのでそれぞれに計算する
}

MFCC の計算には内製の音響解析器 nyankyo を用 いた。単語埋め込みについては学習済み Word2 Vec モ デルである日本語 Wikipedia エンティティベクト ル[11]を用いて取得した。

またデータセットの作成後、全ての特徴量につい て標準正規分布に従うよう標準化を行い、その後デ ータセットのおよそ 9 割(バッチサイズで割り切れ る数に微調整した量)を学習用、残りを評価用に分割 した。さらに学習用については正例を 21 倍にオー バーサンプリングし、正例と負例がおおよそ同数に なるようにした。

モデルの作成 今回用いたモデルを図 3 に示す。 LSTM と MLP から成る多層構造のニューラルネッ トワークであり、その構造は以下のようなものであ る。

1.【inputA/inputT】事前に計算した音響的特徴量ならびに言語的特徴量

2.【 【stmA/lstmT】1 の出力を many to one 型の LSTM に入力する

3.【merge】音響的特徴量・言語的特徴量それぞ れで計算した 2 の出力を結合する

4.【dense1】3 の出力を全結合層に入力する

5.【dense2】4 の出力を全結合層に入力する

6.【output】出力層

また各層の設定は表 1 に示す通りである。

図 3 LSTM+MLP モデル表 1 モデル各層の設定

学習にあたっては、まず千葉大学 3 人会話コーパ スを用いて事前学習を行い、次に本研究で収録した コーパスを用いて本学習を行った。モデルの作成や 学習には Deeplearning4Jを用いた。

またコーパスとは別に、本研究で収録した音声の 1 つについて 4 人の協力者からアンケートを取り、 あいづちを打つべきタイミング全てに印をつけても らった。この結果平均しておよそ 13 秒に 1 回のぺ ースであいづちが打たれることがわかったので、そ れを参考に手作業でモデルのチューニングを行った。

## 4 評価

## 4.1 統計的評価

データセットから評価用に分割したおよそ 1 割を 用いて、Accuracy、F1 などを求めた。千葉大学 3 人会話コーパスを用いた評価結果を表 2 に、本研究で 収録したコーパスを用いた評価結果を表 3 に示す。
本学習の効果を検討するため、評価は本学習に本研究で収録したコーパスを用いた場合と用いなかつ た場合とでそれぞれ別々に行った。また入力に言語的特徴量を用いた効果を検討するため、モデルから 言語的特徴量の部分を除いて音響的特徴量のみを用 いた場合の結果も求めた。

表 2 千葉大学 3 人会話コーパスを用いた 統計的評価の結果

 &  &  \\

表 3 本研究で収録したコーパスを用いた 統計的評価の結果

 &  &  \\

ただ、これらの評価値は 2048 フレーム(0.046 秒) ごとに正しく予測できたかで評価されているが、あ いづちを打つタイミングには前後に多少のズレが許容できると考えられる。また 3.2 項でチューニング に使ったアンケートでは回答に相当の個人差があっ た。このことからあいら゙ちには実際打たれるタイミ ングよりも、打てるけれども打たないタイミングが 多くあり、その選択に明確な正解というものは無い とも考えられる。

そこで別途アンケートで人的評価を行うことにし た。

## 4.2 人的評価

本研究で収録した対話音声のうち、音声には問題 のない軽微な収録ミス(映像の録画トラブル)が原因 で学習にも評価にも用いなかった 1 分 42 秒ぶんを 用いてあいづちのタイミング予測を行い、その自然 さをアンケートで 5 人の協力者に評価してもらった。結果を表 4 に示す。表 4 人的評価の結果

 &  &  \\

アンケートの手法としては、対象となる音声の波形上に予測されたあいづちのタイミングが表示され るようなアンケート専用の Web サイトを作成し、そ れらのタイミングについて 1(全く自然でない)から 5 (とても自然)の間で 5 段階評価してもらった。

なお 3.2 項で書いたように今回制作したモデルは 13 秒に 1 回ほどあいづちを打つようにチューニング したが、アンケートへの回答後、協力者全員があい づちの頻度が低くもっと打つべきだとコメントした。

したがって頻度をより高く調整することで評価も より高いものにできる可能性がある。

図 4 人的評価に用いた予測結果

人的評価に用いた音声の波形とあいづちタイミン グの予測結果を図 4 に示す。青い縦線の瞬間が予測 されたタイミングを表しており、主に各発話の間の 短い無音区間があいづちのタイミングと予測されて いることがわかる。

## 5 おわりに

本研究では積極傾聴システム制作のための第一歩 としてあいづちのタイミングを予測することのでき る分類器の制作を試みた。したがって入力特徵量と しては既に録音・書き起こし済みのテキストを用い たが、今後はリアルタイムの実音声を入力として、音声認識と特徴量の漸次計算を行いながらあいづち のタイミングの予測を行うような積極傾聴システム に発展させたいと考えている。

またあいづちはそのタイミングに加えて、感動系応答詞、オウム返し、共同補完などの種類の使い分 けも重要である。今回収録したコーパスではそれら の種類についてもアノテーションを行っているので、 これを元にあいづちのタイミング予測に加えて種類 の分類も行えるようにしたい。コーパス自体をさら に拡充させ公開することも予定している。

## 参考文献

1. 北野浩章. 応答やあいづちに用いられる照応的な「そう」について:談話データにみる自然な対話の特徵. 京都大学言語学研究. 2000, no. 19, p. 79-94.

https://ci.nii.ac.jp/naid/120001712102, (参照 2019-01-31).

2. 目黒豊美, 東中竜一郎, 堂坂浩二, 南泰浩.聞き役対話の分析および分析に基づいた対話制御部の構築. 情報処理学会論文誌. 2012, vol. 53, no. 12, p. 2787-2801.

http://ci.nii.ac.jp/naid/110009493426/ja/, (参照 2020-03-20).

3. DEN, Y. A scientific approach to conversational informatics : Description, analysis, and modeling of human conversation. Conversational Informatics : An Engineering Approach. 2007. https://ci.nii.ac.jp/naid/10020493675, (参照 2019-02-06).

4. 福野将人, 狩野芳伸. 音響的特徴を用いた応答の使分け・挿入行う 傾聴対話システムの 試作. SIG-SLUD. 2018, vol. B5, no. 02, p. 9293.原康平，井上昂治，高梨克也，河原達也.“相槌・フィラー予測とのマルチタスク学習に よる円滑なターンテイキング". 第80回全国大会講演論文集. 2018, p. 409-410.

6. Han Sloetjes, Peter Wittenburg. Annotation by Category: ELAN and ISO DCR. 2008. http://www.lrecconf.org/proceedings/lrec2008/pdf/208_paper.pd $\mathrm{f}$, (参照 2021-01-13).

7. Sakishita Masahito, Kishimoto Taishiro, Takinami Akiho, Eguchi Yoko, Kano Yoshinobu. Large-Scale Dialog Corpus Towards Automatic Mental Disease Diagnosis . Springer Verlag, 2020. http://www.scopus.com/inward/record.url?scp=8 5070566443\&partnerID=8YFLogxK

8. Den Yasuharu, Koiso Hanae, Takanashi Katsuya, Yoshida Nao. "Annotation of response tokens and their triggering expressions in
Japanese multi-party conversations." LREC. 2012, p. 1332-1337.

9. Lee Akinobu, Kawahara Tatsuya, Shikano Kiyohiro. Julius---an open source real-time large vocabulary recognition engine. 2001.

10. 李晃伸. Julius を用いた音声認識インタフェ ースの作成. ヒューマンインタフェース学会基礎講座 第三回, 2009. 2009, p. 2-8.

https://ci.nii.ac.jp/naid/20000503286/, (参照 2019-01-31).

11.鈴木正敏，松田耕史，関根聡，岡崎直観乾健太郎. Wikipedia 記事に対する拡張固有表現ラベルの多重付与. 言語処理学会 第22回年次大会 (NLP 2016). 2016.

https://www.anlp.jp/proceedings/annual_meeting /2016/pdf_dir/A5-2.pdf.

## A 付録

 \\


# Chatbot System for Open Ended Topics Based on Multiple Response Generation Methods

Anna Maria Hadjiev
Graduate School of Information Science and
Technology, Hokkaido University
Sapporo, Japan
hadjiev@wisc.edu
}

Kenji Araki
Faculty of Information Science and Technology,
Hokkaido University
Sapporo, Japan
araki@ist.hokudai.ac.jp
}

\begin{abstract}
This paper presents a chatbot intended for open-ended conversations in which the user is free to chat about any topic. The chatbot contains four separate methods of generating responses, three rule based and one based on deep learning. Based on the characteristics of the user input, the system chooses the best of the four methods to produce a response. Evaluations on the system's ability to have satisfying conversations with the user were conducted by five participants. The results support that, in the context of free conversations, a chatbot benefits in its ability to hold satisfying conversations by having multiple response generation methods built in.
\end{abstract
## Key Words

Chatbot, rule base, deep learning, genetic algorithm, inductive learning

## 1. Introduction

Nowadays, chatbots are commonly seen for tasks whose interactions are constrained within set themes, like scheduling meetings and finding a restaurant. However, it is rare to see chatbots used for more open ended tasks such as casual conversation. The reason for this is because chatbots struggle when they are used for tasks where the system has to be able to handle a wider variety of possible inputs. One key technique chatbots use for response generation is following rules predetermined by the developers in the form of "if the user inputs $x$, then the system outputs $y$," in which $\mathrm{x}$ and $\mathrm{y}$ are both specific, predefined text. This technique fails when the user inputs something that cannot be matched with a rule, and with an unpredictable task like casual conversation, it is impossible to prepare enough rules to cover every input [1].

Unlike the rule based method, chatbots which rely on deep learning techniques to generate responses are able to provide a response for any input. However, compared to outputs of rule based chatbots, responses generated by deep learning techniques are less predictable and carry a tendency to produce nonsensical or inappropriate responses [2]. For the task of creating a chatbot which can handle a wide variety of inputs, it would be beneficial to incorporate the flexibility of deep learning methods as well as the accuracy of rule based methods.

In this paper, we develop a chatbot system which uses three separate rule based methods as well as a deep learning method. For each input, one of the four methods is selected to generate a response. We define the best response to be one which can best help provide a satisfying conversation, measured by an average score measured across a few factors.

## 2. Outline of System

As mentioned in the previous section, we implement four different methods of generating
responses, three of which are based upon rules and one which is based on deep learning. Based on the user input, the system determines which method would produce the optimal response and generates a response based on that decision (see Figure 1). The four different methods are simple rule base, GA-IL [3], Deep Learning [2] and ELIZA [5].

Figure 1. Flowchart showing the system's process of generating a response to an input

## 2.1 Simple rule base method

For the simple rule base method of response generation, we rely on rules that we predetermined and hard coded into the system. If the user input matches any of the rules we put in, then the matched rule is followed to generate a response.

Table 1: Examples of rules used to respond

 &  \\

Of the four main methods implemented in this system, the rule based method is expected to produce the best results and thus, whenever possible, this method is used over the three others. Unfortunately, this method is not flexible and most input cannot be matched to any of the written rules - when an input cannot be handled by this method, we move onto the next potential method.

## 2.2 Inductive Learning with Genetic Algorithm (GA-IL)

For this method, the system also relies on pre existing rules to determine the output - however, a key difference is that these rules are learned as the system observes interactions between itself and the user. The algorithm used to generate these rules is based on a method of the same name, GA-IL (Araki et al., 2006) [3], which has produced positive results when applied in casual conversation.

The algorithm works by finding similar patterns between pairs of an input sentence and its reply, and generating new rules to use based on this information. An example of this process is given below in Figure 2.

1. Pairs of a sentence and its response

a. 'Do you like tennis?' : 'Yes I like it.'

b. 'Do you like cats?' : 'Yes I like them.'

2. Rules generated from 1 :

Do you like @ 1 : Yes I like @ 1

tennis : it , cats : them

Figure 2. Example of rule acquisition using GA-IL

With the GA-IL method, the system begins with no rules - thus, it requires to be run alongside a different response generation method until it populates enough rules to trigger. Because it starts with zero rules, there would not be enough rules for GA-IL to be used if we do not pretrain it to have rules from the beginning. Thus, we used a dataset provided by a chatbot challenge called DBDC3 [4] which contains conversational data between participants and chatbots, annotated for
correctness. Going into the experiment, the GA-IL system contained 289 rules generated using the $\mathrm{DBDC} 3$ dataset.

## 2.3 Deep Learning

The third method we incorporated into our system is deep learning. For this method, we used RNNs (recurrent neural networks), specifically a dual LSTM neural network to create a generative-based model [2]. This means that the system generates original text unlike rule based methods which are more focused on choosing from a set of predetermined text. We chose this implementation because this method has been shown to produce models which are able to learn semantically and syntactically meaningful representations of sentences [2].

For the dataset we used the Cornell Movie Dialogs Corpus, which contains 220,579 exchanges taken between 10,292 pairs of movie characters, and our model was developed using Tensorflow.

Figure 3. Model and training parameters

This method is less predictable than the previous rule based methods, however it is able to handle any input by the user. Thus, we use this method whenever the user input does not match a rule and is a question. In the case where the user input does not match a rule and is not a question, the next method ELIZA is used because it performs extremely well against non-inquiring inputs and can handle any input.

## 2.4 ELIZA

One rule-based chatbot implementation which is able to successfully handle almost any input is a well known program created by Joseph Weizenbaum at the MIT Artificial Intelligence Library called ELIZA [5]. This program takes the user input and responds by directing the user to expand upon what they said, in a sense creating an illusion of a conversation.

User: How are you?

ELIZA: Why do you ask?

User: Because I am interested

ELIZA: Is that the real reason?

Figure 4. Example of chat via ELIZA

Although this method is highly flexible and can handle most inputs, because ELIZA is unable to provide its own thoughts and only the user meaningfully contributes to the conversation, chatting with ELIZA does not make for a very satisfying conversation. Especially in the case that the user asks a question, ELIZA is unable to give a satisfying response. Thus, we put this method behind rule based and GA-IL.

## 3 Experiments for evaluation

For our experiment, we recruited five participants: four males and one female, all in their early twenties who are currently working in the I.T. industry and whose native language is English. We had the participants chat for 30 turns with a system consisting of only the deep learning method, a system consisting of GA-IL and ELIZA (ELIZA set to run only when GA-IL could not), and finally our complete system. After chatting with each system, the participants were asked to score their experience based on a few different factors intended to measure how satisfying their conversations were: correctness, likeability, originality, and engagingness.

For the evaluations, we presented the four factors in a semantic differential scale. The semantic differential scale, which presents a rating in the form of a description and its antonym on the other side of the scale, is an effective way to have participants give ratings in evaluations.

Figure 5. Semantic differential scales that the participants used for evaluations

## 4.2 Evaluation results

The participants conversed with out chatbots for 30 turns each, and the results of their evaluations of the chatbots are given below in tables 2, 3 and 4 for a chatbot using only the deep learning method, a chatbot using GA-IL combined with ELIZA and out complete system, respectively.

Table 2. Evaluations on deep learning chatbot

Table 3. Evaluations on GA-IL + ELIZA chatbot

Table 4. Evaluations on chatbot of all 4 methods

Table 5. Average ratings given by participants A, $\mathrm{B}, \mathrm{C}, \mathrm{D}$ and $\mathrm{E}$ for each chatbot

 & -0.30 & 0.50 & 0.00 & 0.50 & -0.50 & 0.04 \\

## 5. Conclusion

Looking at the results of our experiment, we were able to show that chatbots intended for satisfying casual conversations benefit from containing multiple response generation methods to choose from depending on the user input. The results were thanks to the methods combining strengths in a way as well as making up for each other's weaknesses, especially in a context like casual conversations which involve unpredictable interactions.

Running a chatbot based on predetermined rules of what exactly to respond given certain inputs makes for the best results - however, in our experiment these rule based methods were unable to be used frequently due to the lack of rules. In the future we hope to address this in ways such as expanding upon the set of rules we hard coded into the system. As for the GA-IL method, we hope to pretrain the system more on conversational data so that more rules are saved. Furthermore, in the future we are open to incorporating additional response generation methods on top of the four we already have.

## References

[1] Maali Mnasri, "Recent advances in conversation; NLP: Towards the standardization of Chatbot building," Mar. 21 2019. arXiv:1903.09025v1 [cs.CL]

[2] K. Cho, B. van Merrienboer, C. Gulcehre, D. Bahdanau, F. Bougares, H. Schwenk, Y. Bengio, "Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation," Sep. 3 2014. arXiv: $1406.1078 \mathrm{v} 3$ [cs.CL]

[3] Kenji Araki, Michitomo Kuroda, "Generality of spoken dialogue system using SEGA-IL for different languages." Proceedings of the IASTED International Conference on COMPUTATIONAL INTELLIGENCE, pp.70-75, San Francisco, CA, U.S.A., 2006.

[4] R. Higashinaka, K. Funakoshi, Y. Tsunomori, T. Takahashi, N. Kaji, DBDC3, GitHub, https://dbd-challenge.github.io/dbdc3/dat asets.html

[5] J. Weizenbaum, ELIZA - A computer program for the study of natural language communication between man and machine. Communications of the ACM, 9(1), pp.295-300, 1966.