# システム訳文のみを用いた自動評価との比較による 機械翻訳自動評価の分析

高橋 洸丞 ${ }^{1}$ 須藤 克仁 ${ }^{1,2}$ 中村哲 1
1 奈良先端科学技術大学院大学 2 科学技術振興機構さきがけ
\{takahashi.kosuke.th0, sudoh, s-nakamura $\}$ is.naist.jp

## 1 はじめに

機械翻訳システムの翻訳能力は年々向上してお り,それに伴い自動評価への需要も高まっている. そ して，近年の自動評価の研究も単語やサブワードの 意味の近さを評価基準とすることで, WMT metrics task $[1,2,3]$ にて評価性能の向上が報告されている.現在主流となっているのは大規模な事前学習モデル である BERT [4] により参照訳文とシステム訳文を 符号化したべクトルを用いて評価値を算出するもの である [5,6]. また我々は入力文を追加で利用し人手評価との相関をさらに改善できることを示した [7].

我々の研究 [7] を通じて,これらの手法は品質の低 いシステム訳文では品質の高いものよりも人手評価 との相関が低くなることが明らかになっている.こ こで主に用いられる自動評価実験用のコーパスに着目してみると, WMT metrics task $[1,2,3]$ で提供され る人手評価は, DA (Direct Assessment) [8] と呼ばれる 0～100 の評価値を標準化した実数値を取る. DA ス コアは対応する参照訳文に対してシステム訳文の意味的な正確性, また流暢性を共に考慮して一文ずつ スコアが与えられている。ここで翻訳誤りには否定関係が逆になっていたり, 副詞や形容詞の係り受け による意味の違いなど多種の誤りがあり, 実用的な 運用の際には重大な誤解を生むリスクのある誤訳に 低い評価值を付けるべきである.しかしながら，DA スコアは 1 次元の実数値のみでスコアリングされて いるため, 文中にどのような翻訳誤りが含まれるの かを直接判別することはできない.

このような背景を踏まえて, 須藤 [9] は, システム 訳文の解釈性と正確性をそれぞれレベル分けする ように人手評価データを新たに構築した.しかし， BERT regressor [5] のモデルを利用した分類評価実験 では, 実務翻訳の立場上許されてはいけないクラス とその他のクラスでの誤分類が見られ, 依然として低品質なシステム訳文の評価が難しいことが示唆さ れる。

須藤 [9] はコーパス面から, 意味の違いに敏感な評価手法へのアプローチをしたが，そもそも現在主流 の評価モデルはどれほど参照訳文とシステム訳文の 意味の違いを識別できるのだろうか. 翻訳の評価は 大きく分けると, 意味の正確性と流暢性という二つ の基準で行われるはずである. 自動評価ではシステ ム訳文と参照訳文を利用して両者を評価している.本研究では, 参照訳文を用いずシステム訳文のみを 入力とする自動評価，すなわち流暢性は評価できて も意味の正確性は評価し得ない方法との比較を通じ て，どれだけ意味の正確性を評価できているのかを 検証する。

## 2 評価モデル

評価モデルは, 全て事前学習済みの大規模言語 モデルと一層の全結合層から構成される (図 1). シ ステム訳文のみを入力とするモデルは図 1(a) に示 す通りで, システム訳文 (翻訳文:hyp)を “[CLS] hyp [SEP]”という形式で入力し, 最終層の [CLS]トーク ンに相当するベクトルを文ベクトルとみなして, 最終的に全結合層で回帰問題として評価值を計算す る. BERT regressor や BLEURT は, 図 1(b) の構造を 取り, 翻訳文と参照訳文を [SEP] トークンで区切り， “[CLS] hyp [SEP] ref [SEP]”という形で二文をま とめて入力する。

また我々が提案したモデル [7] は図 1(c)のよう に, 翻訳文と参照訳文の入力だけでなく, 翻訳文と 原言語文をまとめた入力を追加している。これら 三つのモデルを以降それぞれ "hyp only", "hyp+ref", “hyp+src/hyp+ref" と記述する。

どのモデルも平均二乗誤差 (Mean Squared Error: MSE) を損失関数とし, 誤差逆伝播法により最後の全結合層と符号器の両方のパラメータを更新する.

(a) システム訳文の み (hyp only)

(b) システム訳文+参照訳文 (hyp+ref)

(c) システム訳文+原言語文はステ ム訳文+参照訳文 (hyp+src/hyp+ref)

図 1 入力別のモデル図

## 3 実験

本研究では, システム訳文のみを入力とした意味的な正しさを考慮しない評価モデルにより,どの程度 DA スコアを予測し, 人手評価との相関が得られ るのかを，参照訳文や原言語文を用いた評価手法と 比較して検証した。

## 3.1 実験設定

評価実験は WMT17 metrics taskコーパスの all-en で行った. 含まれる言語対は, チェコ語 (cs)-英語 (en), ドイツ語 (de)-英語 (en), フィンランド語 (fi)-英語 (en), ラトビア語 (lv)-英語 (en), ルーマニア語 (ro)英語 (en), ロシア語 (ru)-英語 (En), トルコ語 (tr)-英語 (en), 中国語 (zh)-英語 (en) の 8 言語対である. その 中でもWMT15, 16 に相当し重複を除いた 5344 文の 内, 534 文を開発用, 残りの 4810 文を訓練用とした.評価テストは WMT17 に相当する 3920 文に対して 行った.

使用した事前学習済み符号化モデルは RoBERTa [10], 合成データで事前学習した BLEURT [6], XLM-RoBERTa [11] である. 実装は全て HuggingFace Transformers ${ }^{1)}$ で行い, RoBERTa は roberta-large, XLMRoBERTa は xlm-roberta-large を使用した. BLEURT のモデルは BLEURT-large-warmedup を pytorch 用に 変換した後に HuggingFace Transformers 9 BERT 用 のクラスで読み込み使用した. RoBERTa と BLEURT モデルは英語のコーパスのみで事前学習されたモ ノリンガルモデルなので, hyp+src/hyp+ref にはマル チリンガルモデルである XLM-RoBERTa で実験を 行った. また参考実験として, システム訳文と原言

語文 (hyp+src)を入力としたモデルでの評価実験も XLM-RoBERTa で行った. そして評価性能の比較対象として, 文レベルでスコアを計算した BLEU (sacre BLEU [12]) と BERTscore [13] でも評価実験を行った.学習時の最適化は Adam [14] で, ミニバッチ学習 を最大 10 エポック行った. 各エポック毎に訓練デー タと開発データはシャッフルし, 開発データのロス 値が下がらない場合に学習率を $\frac{1}{\sqrt{2}}$ 倍した. その他の ハイパーパラメータは以下の組み合わせの中で, 開発データにおいて人手評価とのピアソンの相関係数值が最も高くなるモデルを評価テストに使用した. またそれぞれの試行毎の初期化によって結果が変動 するので, 試行回数もハイパーパラメータとみなし ている.

・初期学習率 : $\{9 \mathrm{e}-6,6 \mathrm{e}-6,3 \mathrm{e}-6\}$

・ミニバッチサイズ : $\{4,8\}$
- 学習エポック数 : $\{1, \ldots, 10\}$
- 最終結合層のドロップアウト率: $\{0.1,0.2,0.3\}$
- 試行回数 : $\{1, \ldots, 10\}$

本研究の評価実験では, モデルの評価値と人手評価とのピアソンの積率相関係数とケンドールの順位相関係数で評価性能を測る. どちらの相関係数値も $-1.0 \sim 1.0$ の值を取り, 1.0 に近い程モデルの評価性能が高いことを示す.

## 3.2 実験結果

表 1,2 に各モデルの評価値と人手評価とのピア ソンの相関係数,ケンドールの相関係数を示す. ど の hyp only のモデルも hyp+ref には及ばないが, ピ アソンの相関係数が 0.6 を上回り,ケンドールの相関係数が 0.45 前後であった. また全ての hyp only が

図 2 DA スコアの区間ごとのピアソンの相関係数の関係 (各区間表記の下の数値は区間内のサンプル数を示す)

図 3 RoBERTa hyp only による評価予測值と DA スコアの散布図
BLEU を超えておりこのコーパスにおいては BLEU などの字句ベースの評価指標より,システム訳文の 流暢性にのみ焦点を当てた評価の方が高い相関を示 した.

また, 表 3 に hyp+ref の hyp only と比較した際の相関係数の上昇率を示す. hyp+ref は hyp only と比較す ると,どの事前学習モデルにおいても, ピアソンの相関係数で約 1.25 倍, ケンドールの相関係数が約 1.3 倍となり, 現在主流な評価モデルは流暢性だけでな く意味の評価がある程度可能だとわかる。

## 3.3 分析および考察

我々の先行研究 [7] で, hyp+ref の評価モデルは品質の低い翻訳文に対して評価性能が下がることが わかっているが, hyp only ではどうなるのだろうか. DA スコアを 0.5 ずつの一定区間に分けてピアソン の相関係数値を見ることで分析を行った (図 2). そ の結果, hyp only は $[-2.0,-1.5),[1.0,1.5)$ の二区間で hyp+ref より評価性能が下がっていることが分かる. それぞれの区域での RoBERTa hyp only の評価予測値 とDA スコアの関係を散布図として, 図 3 に示す.こ の図から, hyp only では低品質な翻訳文で評価値を DA スコアよりも高く予測しているものが多く見受 けられ, 高品質なものでは評価予測値が低く出てし まっていることがわかる. 流暢性のみに着目すると,流暢だが意味的な誤りを含む文や, 流暢かつ意味も 正しい文を上手く評価できないことが示唆される. したがって,システム訳文が参照訳文にほぼ等しい 時や重大な誤訳を含むとき, 流暢性ではなく意味の 正確性を考慮した評価が必要であると考えられる。

現状の hyp+ref 評価モデルでは, 高品質なシステム 訳に対して意味の等価性を識別できているが, 中品質, とりわけ低品質な翻訳文において参照訳文との 意味の違いを正しく識別できていないと考察でき る. 一方で hyp+src/hyp+ref 評価モデルは, 低品質なシ ステム訳文に対して hyp+ref や hyp only より良い評価性能を記録した。

ケンドールの相関係数値についても同様の結果で あったため付録への記載に留める (図 4).

## 4 おわりに

本研究では, システム訳文のみを入力とした流暢性だけを評価するモデルと, 現在主流の正解文を用 いる評価モデルを比較することで, 現在主流のモデ ルの評価能力を分析した. 分析結果から, 現在主流 の hyp+ref モデルは意味の評価がある程度可能では あるが, 低品質な翻訳文の評価に適さないことがわ かった. hyp+src/hyp+ref についても, hyp+ref よりは 低品質な翻訳文に対しても評価性能が高いが, 決し て十分な評価能力ではないため, より意味の違いに 敏感な手法が求められる. また, BLEUを自動評価指標として使用するよりも, システム訳文のみを利用 した手法が人手評価と高い相関を示したことから，特定のデータセットにおける人手評価との相関の高 さが意味の正しさの評価における優位性を必ずしも 示さないことが明らかになった.

## 5 謝辞

本研究は JST さきがけ (JPMJPR1856) の支援を受 けたものである.
表 1 各モデルの WMT17 metrics taskコーパス (all-en)におけるピアソンの相関係数値

表 2 各モデルの WMT17 metrics taskコーパス (all-en)におけるケンドールの相関係数値

表 3 hyp only と比較したときの hyp+ref の相関係数值の上昇率 (\%)

## 参考文献

[1]Ondřej Bojar, Yvette Graham, and Amir Kamran. Results of the WMT17 metrics shared task. In Proceedings of the Second Conference on Machine Translation, pp. 489-513, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[2]Qingsong Ma, Ondřej Bojar, and Yvette Graham. Results of the WMT18 Metrics Shared Task: Both characters and embeddings achieve good performance. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, pp. 671-688, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[3]Qingsong Ma, Johnny Wei, Ondřej Bojar, and Yvette Graham. Results of the WMT19 metrics shared task: Segmentlevel and strong MT systems pose big challenges. In Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 62-90, Florence, Italy, August 2019. Association for Computational Linguistics.

[4]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5]嶋中宏希, 梶原智之, 小町守. 事前学習された文の分散表現を用いた機械翻訳の自動評価. 第 26 巻, pp. 613-634, 92019.

[6]Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning robust metrics for text generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7881-7892, Online, July 2020. Association for Computational Linguistics.

[7]Kosuke Takahashi, Katsuhito Sudoh, and Satoshi Nakamura. Automatic machine translation evaluation using source language inputs and cross-lingual language model. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3553-3558, Online, July 2020. Association for Computational Linguistics.

[8]Yvette Graham, Timothy Baldwin, and Nitika Mathur. Accurate Evaluation of Segment-level Machine Translation Metrics. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1183-1191, Denver, Colorado, May-June 2015. Association for Computational Linguistics.

[9]須藤克仁, 高橋洸丞, 中村哲. 深刻な誤訳の識別に向け た分類型翻訳評価データセットの構築. 言語処理学会第 27 回年次大会, 2021.

[10]Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[11]Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán,
Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[12]Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[13]Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[14]Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In the Third International Conference on Learning Representations, 2015.

図 4 DAスコアの区間ごとのケンドールの相関係数の関係（各区間表記の下の数値は区間内のサンプル数を示す）


# 相対的意味論に基づく統計機械翻訳における翻訳確率

中村勇太
鳥取大学工学部
m19j4033b@edu.tottori-u.ac.jp
}

村上仁一
鳥取大学工学部
murakami@tottori-u.ac.jp

## 1 はじめに

機械翻訳において様々な手法が提案されている。しか し，それらの手法で得られる出力が異なる場合が多い。

そこで，異なる機械翻訳手法によって得られた複数の 出力 (候補文) から, 最尤の出力を選択する手法である “相対的意味論に基づく統計機械翻訳 (RSMT)”が提案されて いる.この手法を用いることで，各手法の出力から最尤 の出力を得られる.

RSMT では出力を選択するために，学習文対の日本語側 $(A)$, 学習文対の英語側 $(B)$, 入力文 $(C)$, 候補文 $(D)$ につ いて類似度及び翻訳確率を計算する．類似度は同一言語 の文章 $(A$ と $C$ または， $B$ と $D)$ がどれだけ類似しているか を示す。翻訳確率は $C$ が $D$ に翻訳される確率を示す。な お，類似度及び翻訳確率には様々な計算方法が存在する。

本稿の目的は, RSMT で用いる翻訳確率の計算方法と して最適な方法を調査することである. 5 つ翻訳確率の 計算方法を用いてRSMT を動作させ結果を比較する。こ の実験によって，最適な翻訳確率の計算方法を調査する。

## 2 Neural Machine Translation(NMT)

本論では，候補文を得るために “Neural Machine Translation(NMT)”を用いる. 本章で NMT の概要を述べる。

## 2.1 NMT の概要

NMT とはニューラルネットワークを用いて機械翻訳を 行う手法である. 2 言語コーパス等を用いて Attention モ デルと呼ばれる異言語間の単語の対応を学習し, それを 元に入力文の翻訳を行う.

## 2.2 NMT の学習における乱数の影響

今回の実験では，NMT の一種である Open-NMT を用い る. Open-NMT は，学習で乱数を用いている. よって同一のコーパスで学習を行なっても，翻訳結果が異なるモ デルが生成される。本論では Open-NMT のモデルを複数生成し, 同一の入力文を翻訳することで，RSMT の候補文 を獲得する。

## 2.3 Open-NMT $の N$-best 出力

Open-NMT は第 $n$ 候補まで, 複数の出力文を出力でき る. また，一般的に第 1 候補が最も優れている. しかし,第 2 候補以降に優れた出力が存在することも考えられる.本論では RSMT を用いることで，第 1 候補より優れた出力文が選択可能か調查する。

## 3 相対的意味論に基づく統計機械翻訳 (RSMT) $)_{\text {[6] }$}

“相対的意味論に基づく統計機械翻訳”では異なる機械翻訳手法によって得られた複数の出力 (候補文) から，最尤の出力を選択する．そのために，学習文対の日本語側 $(A)$, 学習文対の英語側 $(B)$, 入力文 $(C)$, 候補文 $(D)$ につ いて類似度及び翻訳確率を計算する。出力を選択する手順を示す。

## 3.1 選択の手順

手順 1 学習文対の日本語文と入力文の類似度を計算学習文対の日本語文と入力文の類似度を計算する。計算された値を $\operatorname{sim}_{A C}$ とする.

$\operatorname{sim}_{A C}$ の計算式を式 (1) に示す.

$
\operatorname{sim}_{A C}=\frac{\operatorname{count}(\text { Match })}{\operatorname{count}\left(A_{\text {all }}\right)} \times \frac{\operatorname{count}(\text { Match })}{\operatorname{count}\left(C_{\text {all }}\right)}
$

count(Match) : 学習文対の日本語文と入力文において共通している単語の総数

$\operatorname{count}\left(A_{\text {all }}\right)$ : 学習文対の日本語文の単語の総数 $\operatorname{count}\left(C_{\text {all }}\right)$ : 入力文の単語の総数

手順 2 学習文対の英語文と各候補文の類似度を計算学習文対の英語文と各候補文の類似度を計算する。計

算された值を $\operatorname{sim}_{B D}$ とする.

$\operatorname{sim}_{B D}$ の計算式を式 (2) に示す.

$
\operatorname{sim}_{B D}=\frac{\operatorname{count}(\text { Match })}{\operatorname{count}\left(B_{\text {all }}\right)} \times \frac{\operatorname{count}(\text { Match })}{\operatorname{count}\left(D_{\text {all }}\right)}
$

$\operatorname{count}($ Match) : 学習文対の英語文と候補文において共通 している単語の総数

$\operatorname{count}\left(B_{\text {all }}\right)$ : 学習文対の英語文の単語の総数 $\operatorname{count}\left(D_{\text {all }}\right)$ : 候補文の単語の総数

手順 3 入力文と候補文に類似した学習文対を抜粋入力文と各候補文に類似した学習文対を一定数抜粋す る. 抜粋された学習文対の集まりを $D B$ とする。

各候補文について式 (3) の数値が高い順に抜粋する。

$
\operatorname{sim}_{A C} \times \operatorname{sim}_{B D}
$

手順 $4 D B$ 内の学習文対の翻訳確率を計算

$D B$ 内の学習文対の翻訳確率を計算する. 計算された値 を $\operatorname{trans}_{A B}$ とする

ここで用いる式は第 4 章で説明する。

手順 5 入力文から各候補文への翻訳確率を計算

入力文から各候補文への翻訳確率を計算する。計算さ

れた値を trans $_{C D}$ とする.

ここで用いる式は手順 4 と同様である.

手順 6 出力文の決定

計算された值を用いて出力文を決定する.

式 (4) の值が最も高い候補文を, 出力文とする.

RSMT の流れ図を図 1 に示す.

図 1 RSMT の流れ図

## 4 翻訳確率の計算方法

実験で用いる翻訳確率の計算方法を説明する。なお 実際の計算では，2 つの単語の連なりを 1 つの単語と見 なす.

## 4.1 自己相互情報量 (PMI)[2]

自己相互情報量とは，2つの事象の間の関連度合いを測 る尺度である. 日英単語の共起をこの尺度に当てはめる ことで翻訳確率として用いる。計算式を式 (5) に示す.

$
\sum_{j=1}^{M} \log _{2} \sum_{i=1}^{N} \frac{\operatorname{count}\left(J_{j}, E_{i}\right)}{\operatorname{count}\left(J_{j}\right) \operatorname{count}\left(E_{i}\right)}
$
$\operatorname{count}($ ) : 学習文対中での登場回数 $J_{j}$ : 入力文中 $j$ 番目の単語 $E_{i}$ : 候補文中 $i$ 番目の単語 $M$ : 入力文の単語数 $N:$ 候補文の単語数

## 4.2 Joint Probability(Joint) ${ _{[5]}$}

Joint Probability とは，交差エントロピーを拡張した翻訳確率の計算方法である。計算式を式 (6) に示す.

$
\begin{aligned}
& \sum_{j=1}^{M} \sum_{i=1}^{N} \frac{\operatorname{count}\left(J_{j}, E_{i}\right)}{\operatorname{count}\left(J_{\text {all }}\right) \operatorname{count}\left(E_{\text {all }}\right)} \\
& \times \log _{2} \frac{\operatorname{count}\left(J_{j}, E_{i}\right)}{\operatorname{count}\left(J_{j}\right) \operatorname{count}\left(E_{i}\right)}
\end{aligned}
$

$\operatorname{count}\left(J_{\text {all }}\right)$ : 全学習文対における日本語単語の総数 $\operatorname{count}\left(E_{\text {all }}\right)$ : 全学習文対における英語単語の総数

## 4.3 Jaccard 係数 (Jaccard) [3]

Jaccard 係数とは 2 つの集合がどれだけ類似しているか を表す係数である。入力文と候補文を「文を構成する単語の集合」とみなすことで，Jaccard 係数を翻訳確率とし て用いる。計算式を式 (7) に示す.

$
\sum_{j=1}^{M} \log _{2} \sum_{i=1}^{N} \frac{\operatorname{count}\left(J_{j}, E_{i}\right)}{\operatorname{count}\left(J_{j}\right)+\operatorname{count}\left(E_{i}\right)-\operatorname{count}\left(J_{j}, E_{i}\right)}
$

## 4.4 Dice 係数 (Dice) [4]

Dice 係数とは Jaccard 係数と同じく，2 つの集合がどれ だけ類似しているかを表す係数である。計算式を式 (8) に 示す.

$
\sum_{j=1}^{M} \log _{2} \sum_{i=1}^{N} \frac{2 \operatorname{count}\left(J_{j}, E_{i}\right)}{\operatorname{count}\left(J_{j}\right)+\operatorname{count}\left(E_{i}\right)}
$

## 4.5 Simpson 係数 (Simpson) ${ _{[1]}$}

Simpson 係数とは Jaccard 係数と同じく, 2 つの集合が どれだけ類似しているかを表す係数である. Simpson 係数
は，「片方の集合がもう片方の集合の真部分集合である 時，類似度が最大になる」という特徴がある．計算式を 式 (9) に示す.

$
\sum_{j=1}^{M} \log _{2} \sum_{i=1}^{N} \frac{\operatorname{count}\left(J_{j}, E_{i}\right)}{\min \left(\operatorname{count}\left(J_{j}\right), \operatorname{count}\left(E_{i}\right)\right)}
$

## 5 Open-NMT の第 1 候補を用いる 実験

## 5.1 実験目的と方法

本章では, Open-NMT の第 1 候補を, RSNT の候補文と して実験を行う． 5 つの翻訳確率計算方法で RSMT を動作させ，翻訳精度を調査する．翻訳精度の調査は自動評価及び人手評価で行う.

## 5.2 実験に使用するデータ

本研究では, 実験に電子辞書などの例文より抽出した 単文コーパス [7] を使用する。

RSMT の候補文は Open-NMT の第 1 候補を用いる. ま た，使用する Open-NMT のモデル数は 32 個である. よっ て候補文は，入力文 1 文につき 32 文存在する. 使用する データの内訳を表 1 に示す.

表 1 実験データの内訳

## 5.3 実験結果

## 5.3.1 自動評価の結果

自動評価の結果を表 2 に示す。

表 2 自動評価の調査結果 (1000 文)

表 2 によると，多くの評価指標において PMI が最も優 れた結果を示す.

## 5.3.2 人手評価の結果

100 文を対象に，人手評価を行った結果を表 3 に示す. また，人手評価の評価基準を示す.

○: 入力文の意味と合致かつ文法の誤りがない $\triangle$ : 入力文の意味と部分的に合致

x : 入力文の意味と合致していない

表 3 人手評価結果 $(100$ 文

表 3 によると, Joint が他の手法と比較して性能が劣る. また，Joint 以外の手法間に大きな差はない。表 4 から表 6 に人手評価の例を示す.
表 4 人手評価の例 1

表 5 人手評価の例 2

 \\

表 6 人手評価の例 3

## 6 Open-NMT の第 8 候補までを用い る実験

## 6.1 実験目的と方法

ここでは, Open-NMT の第 8 候補までを RSMT の候補文として用いて実験を行う．候補文となる基準を引き下 げることで, Open-NMT のモデルを複数生成するよりも 容易に，多くの候補文を得ることができる。ここでは， 5 章の実験との比較のために，候補文の数を揃える。

## 6.2 実験に使用するデータ

実験に使用するデータは表 1 と同様である. 使用する Open-NMT のモデル数は 4 つである. よって候補文は，入力文 1 文につき 32 文存在する.

## 6.3 実験結果

## 6.3.1 自動評価の結果

自動評価の結果を表 7 に示す。

表 7 自動評価の調査結果 (1000 文)

表 7 によると, PMI と Dice が優れた結果を示す.

## 6.3.2 人手評価の結果

100 文を対象に，人手評価を行った結果を表 8 に示す.

表 8 人手評価結果 $(100$

表 3 と表 8 を比較すると, PMI, Jaccard, Dice 以外の手法は○が減少している. 特に, Joint の減少数は顕著であ
る.一方で，PMI, Jaccard は $\bigcirc$ が増加している。また， の数は PMI が最多である。このことから，PMI を用いる ことで，第 1 候補以外の優れた出力文を選択できること が分かる.

表 9 から表 11 に人手評価の例を示す.

表 10 人手評価の例 2

表 11 人手評価の例 3

 \\

## 7 実験のまとめ

本章では第 5 章と第 6 章の結果から判明した事項を述 べる. 最後に総評として, 本論で述べた 5 つの翻訳確率 の計算方法から，RSMT で用いる最適な方法を決定する。

## 7.15 章のまとめ

5 章の実験では, 翻訳確率の各計算方法の性能を比較す るための実験を行った. その結果, Joint は他 4 つの計算方法より性能が若干劣ることが分かった。また，Joint 以外の計算方法間に性能差はほぼなかった。

## 7.26 章のまとめ

6 章の実験では, 候補文に用いる Open-NMT の出力の順位を引き下げることで，第 1 候補以外の優れた候補文を 選択できるか調査した。その結果, PMI 以外の計算方法 は一様に性能が低下した。しかし, PMI は他 4 つと異な り性能が向上した。

## 7.3 総評

総評すると, 5 章の実験で Joint 以外の計算方法にはほ ぼ差がなく, 6 章の実験で PMI が第 1 候補以外の優れた 候補文を選択できることが判明した。よって，RSMT で 用いる翻訳確率の計算方法は, PMI が最も適している.

## 8 考察

## 8.1 Ōpen-NMT の第 1 候補と RSMT の性能比較

RSMT の性能を評価するために Open-NMT の第 1 候補 と性能を比較した。また，人手評価の結果から RSMT が 誤った出力をする原因を考察した。実験に使用するデー タは第 6 章と同様とする．比較のために用いる RSMT の 結果は, 人手評価で最も○が多かった第 6 章の PMI の結果とする.

## 8.1.1 比較結果

Open-NMT の 1best と RSMT の，自動評価と人手評価の 結果をそれぞれ表 12 と表 13 に示す.

表 12 自動評価結果 (1000 文)

表 12 自動評価結果 $(1000$ 文)

表 13 人手評価結果 (100 文)

表 12 によると, RSMT の方が BLEU 以外の指標におい て優れた結果を示した. また, 人手評価も RSMT の方が 優れた結果を示した。人手評価の例を表 14 から表 16 に 示す.また，RSMT が誤った候補文を選んだ原因を考察 する.

表 14 人手評価の例 1

表 16 人手評価の例 3

表 14 では, 前置詞の使い分けがRSMT によって改善 された。しかし, 表 15 では, RSMT は所有格が誤ってい る.これは日本語と英語の所有格の明記の差異が原因で,誤っている候補文の類似度が正しい候補文より高くなっ ている.

表 16 では入力文及び RSMT の出力文が，学習文対「6月 30 日号付け財務諸表の写しをお送り申し上げます。」“It is a pleasure to send you the enclosed copy of our June 30 Financial Statements ." との類似度が高かったことが原因で出力され た.

RSMT はこの例のように，ある学習文対と極度に類似 した候補文を選択する場合が多い。また計算方法の都合,学習文対及び候補文の単語数が多いほど, 翻訳確率が高 くなるため, 単語数が多い候補文が選択されやすい。こ れらが誤りの原因となる可能性がある.

## 8.1.2 単語数の多さが原因である誤りの解決法

この節では，8.1.1の例における誤りの原因を解決する 方法を提案する。

解決方法の 1 つは, 文の単語数によって正規化を行う ことである. 正規化を行うことで，単語数が多いほど選択されやすい問題を解決できる

## 8.2 過剰生成を含む候補文

NMT の出力文の特徵の1つとして「過剰生成」がある. これは表 17 に示すように，同じ単語が複数回, 出力に現 れることを指す. 過剩生成は NMT の出力数を増やすほ ど, 現れる傾向がある. 多くの場合, RSMT は過剩生成を 含む候補文を選択しないことが望ましい。

表 17 過剰生成を含む出力の例

しかし 6 章の実験において，過剩生成を含む候補文が 選択される入力文が増加した。また，それが人手評価で ×とする理由になった数を表 18 に示す.

表 18 過剩生成が理由で人手評価×とした数

それぞれの手法で過剩生成が精度低下の原因となった 入力が存在する。その中でも, Joint と Simpson は過剩生成が精度低下の原因として多かったことを表 18 が示して いる.

## 8.3 類似度の計算方法

本論では, 翻訳確率の計算方法の調査を行った。しか し7.1 節で示したように, RSMT の誤りの理由の 1 つとし て類似度の計算方法が挙げられる。また， RSMT におい て類似度の計算方法も翻訳確率と同様に，様々な方法が 考えられる. 今後の研究では, 類似度の計算方法につい ても調査が必要である.

## 8.4 出力文の決定に用いる計算式

本論では, 出力文の決定の時に式 (4)を用いた。しか し, この時に用いる式によって結果が変化する. 今回用 いたパラメータは 4 種類あるので，それぞれのパラメー 久の使用または不使用の組み合わせだけでも 16 通りの 計算式が考えられる. また， 7.1 節の問題を解决するなら ば，翻訳確率に重みを付与することも考えられる。

今後の研究では，式 (4)を用いた時以上の性能を得られ る式を調査する。

## 9 おわりに

相対的意味論に基づく統計機械翻訳 (RSMT) に最適な 翻訳確率の計算方法の調査を目的として，5つの計算方法 を用いた翻訳結果を比較した。実験により，自己相互情報量 (PMI) が他の計算方法とほぼ同等の性能であると分 かった. さらに PMI は, Open-NMT の第 1 候補以外の優 れた候補文を選択できることが分かった。

よって, 今回述べた計算方法の中では, PMI が RSMT で用いるのに最も適している.

## 参考文献

[1] Bollegala, D., Matsuo, Y., Ishizuka, M. A web search engine-based approach to measure semantic similarity between words. IEEE Trans. on Knowl. and Data Eng., Vol. 23, No. 7, pp. 977-990, 2011.

[2] Church, K. , Hanks, P. Word association norms, mutual information, and lexicography. Computational Linguistics, Vol. 16, No. 1, pp. 22-29, 1990.

[3] Salton, G. , McGill, M. Introduction to modern information retrieval. 自然言語処理学会第 25 回年次大会, 1983.

[4] Smadja, F. , , McKeown, K. R. ,, Hatzivassiloglou, V. Translating collocations for bilingual lexicons: a statistical approach. Comput. Linguist. , Vol. 22, No. 1, pp. 1-38, 1996.

[5] 松本大輝, 村上仁一. 翻訳における分野依存性を軽減 する言語モデルの調査. 自然言語処理学会第 25 回年次大会, 2019.

[6] 村上仁一. 相対的意味論と機械翻訳の応用. 自然言語処理学会第 27 回年次大会, 2021.

[7] 村上仁一, 藤波進. 日本語と英語の対訳文対の収集と 著作権の考察. 第一回コーパス日本語学ワークショッ プ, 2012.


# 変分質問回答ペア生成による質問応答モデルの 汎化性能と頑健性の向上

篠田一聡†菅原朔
$\dagger$ 東京大学大学院情報理工学系研究科 $\ddagger$ 国立情報学研究所
shinoda@is.s.u-tokyo.ac.jp \{saku,aizawa\}@nii.ac.jp

## 1 はじめに

文章を読解して質問に答えるシステムを作るた めに機械読解の研究が盛んに行われている $[1,2,3]$. そのためにはニューラルネットを訓練するための 大量の質問回答ペアが必要であるが，その作成には 膨大な人手コストを要する。そこでコスト削減のた め，自動で質問回答ぺアを生成してデータ拡張を行 う研究が注目を集めている $[4,5,6]$.

一方で質問応答モデルが訓練データと違う分布の 分布外 (out-of-distribution; OOD) データセットには汎化しないこと [7] や質問応答モデルが頑健ではない 困難なテストデータが存在すること $[8,9,10]$ も実用上問題である. データ拡張を適切に行えばモデルの 過学習を回避してこれらの問題を解決できる可能性 がある $[10,8]$ が，質問回答ペア生成の既存研究では このような特性はあまり注目されて来なかった。

本研究では，データ拡張によって訓練データの質問回答ペアの多様性を向上することで，質問応答モ デルの汎化性能と頑健性の向上を目指す. 訓練デー タの多様性を向上するために, 多様な質問回答ペア を生成する「変分質問回答ペア生成モデル」を提案 する. 評価用データセットには分布内テストデータ に加えて，分布外テストデータと困難なテストデー タを用いて汎化性能と頑健性を評価する. 本研究の 貢献は以下の 3 点である.

・変分質問回答ペア生成モデルを提案し，既存の モデルに比べて質問回答ペアの多様性を大幅に 向上させた. このモデルを用いて合成データ セットを作成した.

・作成した合成データセットでデータ拡張を行っ た結果，分布内テストデータにおいて既存の 質問回答ペア生成手法に比肩する結果が得ら れた。

・ターゲットの分布がモデルにとって未知である
にも関わらず，提案手法は分布外テストデータ への汎化性能と困難なテストデータへの頑健性 の向上に寄与することがわかった.

## 2 変分質問回答ペア生成モデル

条件付き変分自己符号化器を拡張することで，多様な質問回答ぺアを単一の文章から生成可能な深層生成モデルを提案する. SQuAD [1] などの人が作成 した質問応答データセットでは，一つの文章 $c$ に複数の回答 $a$ が存在し, 文章と回答のぺアに対して複数の質問 $q$ が作成されうることから，回答と質問を それぞれ異なる潜在空間に埋め込むことが妥当であ ると考えられる。従って，2つの互いに独立な連続潜在変数 $z$ と $y$ を導入し, 回答と質問を多様化する 役割をそれぞれに持たせる．以下の章ではモデルの 詳細について説明する。

## 2.1 目的関数

提案モデルは確率的潜在変数を含むため，対数周辺尤度を直接計算することができない. その代わり にその変分下限を最大化することで訓練ができる. しかし, 変分自己符号化器の変分下限を最大化する と KL 項の值が 0 に収束して復号化器の出力が潜在変数によらず一定になってしまう posterior collapse 問題が起こることが知られている [11]. 提案モデル でもその現象が確認されたため，この問題を回避す るために Burgess ら [12] によって提案された KL 項 の値を明示的に制御する手法を用いる。よって，提案モデルの目的関数 $\mathscr{L}$ は以下のようになる.

$
\begin{aligned}
& \mathscr{L}=\mathbb{E}_{q_{\phi}(z, y \mid q, a, c)}\left[\log p_{\theta}(q \mid y, a, c)+\log p_{\theta}(a \mid z, c)\right] \\
& -\left|D_{\mathrm{KL}}\left(q_{\phi}(z \mid a, c)|| p_{\theta}(z \mid c)\right)-C_{a}\right| \\
& -\left|D_{\mathrm{KL}}\left(q_{\phi}(y \mid q, c)|| p_{\theta}(y \mid c)\right)-C_{q}\right|
\end{aligned}
$

$\theta$ は復号化器の, $\phi$ は符号化器のパラメータであ, $D_{\mathrm{KL}}$ は KL ダイバージェンス, $C_{a}, C_{q} \geq 0$ は KL 項

図 1 提案モデルの全体像. 各構成要素の入力と出力が矢印とともに示されている.

の值を制御するためのハイパーパラメータである.

## 2.2 モデル構造

モデルの全体像を図 1 に示す. 以下各構成要素に ついて説明する。

## 2.2.1 Embedding and Contextual Embedding Layer

文章/質問/回答中の各単語の埋め込みベクトル と文字レベル埋め込みベクトルを結合し，異なる BiLSTM に入力する. 双方向の LSTM の最終時刻の 隠れ状態べクトルを連結したものを $h \in \mathbb{R}^{2 d}$, 各時刻の隠れ状態べクトルを連結したものを $H \in \mathbb{R}^{L \times 2 d}$ とする. 図 1 ではこれらがどの入力から得られたも のかを示すために右肩に添字を付した． $L$ は系列の 長さで $d$ は隠れ状態べクトルの次元数である.

## 2.2.2 Prior and Posterior Distributions

潜在変数の事前確率と事後確率は分散共分散行列 は対角行列の多変量正規分布に従うと仮定する. 潜在変数 $z$ と $y$ の事前確率と事後確率の平均と分散の 対数は $h^{C}, h^{Q}, h^{A}$ を線形層に入力して得られる. そ の後に，サンプリングされた $z$ と $y$ はそれぞれ回答抽出モデルと質問生成モデルに入力する.

## 2.2.3 Answer Extraction Model

ここでは回答抽出を 2 ステップの自己回帰的な復号とみなして, 回答の確率を $p(a \mid c)=$ $p\left(c_{\text {start }} \mid c\right) p\left(c_{\text {end }} \mid c_{\text {start }}, c\right)$ のようにして求める. 回答抽出モデルには，潜在変数 $z$ を線形層に入力して 得られる出力を初期状態の隠れ状態べクトルとする ように pointer network を拡張したものを用いる.こ
の拡張によって潜在変数 $z$ から回答 $a$ への写像を学習することが可能になる． $H^{C}$ を attention スコアの 計算に用いる。

## 2.2.4 Answer-aware Context Encoder

回答の位置を考慮した文章についての情報を得 るために，さらに BiLSTM を用いる． $H^{C}$ に回答の 始点と終点の one-hot ゙クトルを連結したものを BiLSTM に入力し，各時刻の双方向の隠れ状態べク トルを連結して $H^{C A} \in \mathbb{R}^{L \times 2 d}$ を出力として得る.

## 2.2.5 Question Generation Model

潜在変数 $y$ と $H^{C A}$ を元に質問を生成する. 質問生成モデルには LSTM 復号化器と注意機構，コピー 機構 [13] を用いて質問中の単語を先頭から順に予測 する.ここでも $y$ を線形層に入力して得られる出力 を復号化器の初期状態の隠れ状態べクトルとする拡張を行う。 $H^{C A}$ は注意機構とコピー機構で用いる。

## 3 実験・結果

## 3.1 データセット

データセットには Wikipedia の文章からクラウド ワーカーが作成した約 10 万の質問回答ペアからな る SQuAD v1.1 [1]を用いる. SQuAD はテストデー タが公開されていないため，質問生成の先行研究 でよく用いられる SQuAD-Du [14]を用いる. デー タのサイズは訓練データが 70,484 ，検証データが 10,570 ，テストデータが 11,877 である.

## 3.2 回答抽出

提案モデルが抽出した回答と SQuAD-Du の回答 の一致度に加えて，抽出された回答の多様性を検証 するために，提案モデルで各文章から 50 の回答を ランダムに抽出した． $C_{a}$ は様々な値を検証したが，紙幅の関係で限られた値の結果のみ報告する。

評価指標 回答同士の一致度の評価には Proportional Overlap (Prop.) と Exact Match (Exact) を用いた [5]. それぞれの指標について Precision と Recall を 計算して多対多の評価に用いる。多様性の評価には 抽出された回答から重複を省いた後の総数を Dist ス コアとして定義して用いた。

ベースライン 固有表現抽出 (NER) と, BiLSTM$\mathrm{CRF}$ で回答抽出を学習している HarestingQG (HarQG) [5] をべースラインに用いた.

表 1 テストデータにおける回答抽出の結果.

表 2 テストデータにおける質問生成の結果.

結果 表 1 に結果を示す. $C_{a}$ を適切な値に設定 することで，先述の posterior collapse 問題を回避し て多様性を向上しつつより高い再現度を達成し た. SQuAD-Duよりも多様性が向上しているため, Precision の低さは必ずしも抽出された回答の質が低 いことを意味しないと考える。

## 3.3 質問生成

参照質問の再現度と生成された質問の多様性を評価するために，文章と回答を入力としてランダムに 50 の質問を生成させた.

評価指標 再現度の評価には BLEU-1 (B1) / Meteor (ME) / ROUGE-L (RL) の Recall (-R), 多様性の評価 には Dist-1 (D1) / Ent-4 (E4) / Self-BLEU-4 (SB4)を用 いた.

ベースライン SemanticQG (SemQG) [6] をベース ラインとして用いる. 提案手法と公平な比較をする ために, Diverse Beam search で復号を行い，スコア の高い 50 の質問文を各入力について生成した.

結果 表 2 に結果を示す. 提案モデルは既存手法 に比べて多様な質問を生成できている。 また，提案手法の B1/ME/RL の Recall が SemQG のビーム幅 10 の時のスコア 48.59/24.86/46.66 と同等であることか ら，各入力につき少なくとも 1 つはべースラインに 匹敵するスコアの質問を提案モデルが生成できてい ることが分かる. $C_{q}$ が 0 の時に SB4 が 100 に近い
ということは各入力に対してほとんど同じ質問ばか り生成しており, posterior collapse 問題が起きている が， $C_{q}$ を適切な值に設定することでそれを回避で きている。

## 3.4 合成データセットの構築

以上の結果から，複数の設定で構築したモデルで 生成すればより多様なデータが得られると考えら れる。 そこで $\left(C_{a}, C_{q}\right)=(5,5),(5,20),(20,20)$ の 3 つ の設定でモデルを構築し, 訓練データ中の各文章 からそれぞれランダムに 50 の質問回答ペアを生成 した. 得られた合成データセットをそれぞれ $D_{5,5}$, $\mathscr{D}_{5,20}, \mathscr{D}_{20,20}$ とおく. 人手評価（付録 B）によると これらは質の低いデータを含むため，回答が長すぎ るもの，質問が短すぎるか長すぎるもの，疑問詞を 含まないものを省き，質問文中の n-gram の繰り返 しを削除した．以下では基本的にこれら 3 つのデー タセットを混合したものをデータ拡張に用いる.

## 3.5 質問応答

質問回答ペア生成の既存研究に従って BERT-base [15] を質問応答モデルとして使う。 ハイパーパラ メータは元論文に準拠する。データ拡張を行う際は 合成データセットで 1 エポック学習した後にオリジ ナルの訓練データで 2 エポック学習する． $83.2,3.3$ と同様 HarQG と SemQG をべースラインに用いる.

## 3.5.1 半教師あり質問応答

質問回答ペア生成によるデータ拡張（半教師あり 質問応答）の評価を行う. 表 4 に半教師あり質問応答の結果を示す. 提案手法は SemQG に匹敵する精度向上を達成した. BERT-base よりパラメータ数の 多い BERT-large についても同様の実験を行ったが, いずれの手法でも精度向上は見られなかった.

提案した各合成データセットが精度にどれくらい 寄与しているかについて分析するために検証データ でアブレーションを行った. その結果，3つのうち どの合成データセットを除いても EM / F1 スコアが 0.3 / 0.1 0.3 ポイント 減少した. 詳しい結果は付録 Aに載せる. よっていずれの合成データセットも精度向上に寄与していることが分かる。

## 3.5 .2 分布外データセットへの汎化

既存研究において質問応答モデルは分布外データ セットに対してうまく汎化できないことがわかって

表 3 質問応答モデルの汎化性能と頑健性の評価

表 4 半教師あり学習

いる $[7,16]$. ここでは提案手法が分布外データセッ トへの汎化性能を向上するかを評価する．評価用 データセットには NewsQA [2], TriviaQA [3], Natural Questions (NQ) [17]を用いる。NQについては Sen ら [16] に倣って長い回答から短い回答を抽出するタス クに再定式化した。参考としてそれぞれのテスト データと同じ分布の訓練データ（Target）で質問応答モデルを訓練した時の精度も報告する.

表 3 の左に結果を示す. 提案手法は TriviaQA で は最も高い精度を達成し，NQでは SemQG に匹敵 する精度となった. NewsQA ではほとんど向上は見 られなかった. Wikipedia 以外のニュース記事等の 文章を活用することが必要だと考えられる.

## 3.5.3 困難なテストデータへの頑健性

3 種類の困難なテストデータを用いて質問応答モ デルの頑健性を評価する.
- 質問のパラフレーズ [8]: SQuAD の質問のパラ フレーズ（non-Adv）と本来の回答と似ている 回答の近くの単語を使って敵対的に作成したパ ラフレーズ（Adv）の2つのテストデータ

・難しい質問 [9]: SQuAD の検証データを単純な ヒューリスティクスで分割して得られる簡単 な質問（Easy）と難しい質問（Hard）のサブ セット

・一貫性を要する質問 [10]: SQuAD の質問回答ぺ アを含意する質問回答ペアからなるテストセッ

## 卜 (Implications)

結果表 3 の右に結果を示す. non-Adv, Adv, Hard, Implications のすべての困難なテストデータにおい て提案手法がもっとも頑健性の向上に寄与すること がわかった. また表 4 で SemQG と提案手法は同等 の精度であったが，表 3 によると SemQG は Easy の みで精度を向上させている一方で，提案手法は Easy と Hard 双方で精度を向上させる効果があることが 分かる. SemQG はより SQuAD に近い質問を生成す ることを目的としている [6] ことから，合成データ セットの質の向上よりも多様性の向上の方がより頑健性の向上に寄与する可能性が示唆される.

## 4 おわりに

本研究では多様な質問回答ペアを生成可能なモ デルを提案し，合成データセットを構築した. こ れを用いた半教師あり学習において既存手法と匹敵する精度を達成した。そして提案手法は分布外 データセットへの汎化性能だけでなく困難なテス トデータへの頑健性の向上に寄与することがわ かった. 質問応答のための質問回答ペア生成の研究 $[5,6,18,19,20]$ の中ではこのような結果を報告して いる研究は本研究が初であり，質問回答ペアの多様性の向上がもたらす効果について新しい知見が得ら れた。さらに提案したデータ拡張手法は多様性の向上のみを目的としており，既存手法 $[10,8]$ とは異な りターゲット分布を意識したデータ拡張手法ではな いことも注目すべきである．実応用においてモデル が答えることが困難な質問を訓練時に事前に知って おくことは困難なため，訓練時にターゲット分布が 未知なままそれらへの汎化性能を向上させることは 重要である．BERT-large のようなパラメータ数の多 いモデルへのデータ拡張手法の考案は今後の課題と したい.

## 参考文献

[1]Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pages 23832392. Association for Computational Linguistics, 2016.

[2]Adam Trischler, Tong Wang, Xingdi Yuan, Justin Harris, Alessandro Sordoni, Philip Bachman, and Kaheer Suleman. Newsqa: A machine comprehension dataset. In Proceedings of the 2nd Workshop on Representation Learning for NLP, pages 191-200. Association for Computational Linguistics, 2017.

[3]Mandar Joshi, Eunsol Choi, Daniel S. Weld, and Luke Zettlemoyer. Triviaqa: A large scale distantly supervised challenge dataset for reading comprehension. CoRR, abs/1705.03551, 2017.

[4]Zhilin Yang, Junjie Hu, Ruslan Salakhutdinov, and William Cohen. Semi-supervised qa with generative domain-adaptive nets. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1040-1050. Association for Computational Linguistics, 2017.

[5]Xinya Du and Claire Cardie. Harvesting paragraph-level question-answer pairs from wikipedia. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1907-1917. Association for Computational Linguistics, 2018.

[6]Shiyue Zhang and Mohit Bansal. Addressing semantic drift in question generation for semi-supervised question answering. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pages 2495-2509, Hong Kong, China, November 2019. Association for Computational Linguistics.

[7]Alon Talmor and Jonathan Berant. MultiQA: An empirical investigation of generalization and transfer in reading comprehension. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 49114921, Florence, Italy, July 2019. Association for Computational Linguistics.

[8]Wee Chung Gan and Hwee Tou Ng. Improving the robustness of question answering systems to question paraphrasing. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, July 2019.

[9]Saku Sugawara, Kentaro Inui, Satoshi Sekine, and Akiko Aizawa. What makes reading comprehension questions easier? In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 4208-4219, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[10]Marco Tulio Ribeiro, Carlos Guestrin, and Sameer Singh. Are red roses red? evaluating consistency of question-answering models. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 6174-6184, Florence, Italy, July 2019. Association for Computational Linguistics.

[11]Samuel R. Bowman, Luke Vilnis, Oriol Vinyals, Andrew Dai,
Rafal Jozefowicz, and Samy Bengio. Generating sentences from a continuous space. In Proceedings of The 20th SIGNLL Conference on Computational Natural Language Learning, pages 10-21, Berlin, Germany, August 2016. Association for Computational Linguistics.

[12]Christopher P. Burgess, Irina Higgins, Arka Pal, Loic Matthey, Nick Watters, Guillaume Desjardins, and Alexander Lerchner. Understanding disentangling in $\beta$-VAE. arXiv e-prints, page arXiv:1804.03599, Apr 2018.

[13]Abigail See, Peter J. Liu, and Christopher D. Manning. Get to the point: Summarization with pointer-generator networks. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1073-1083. Association for Computational Linguistics, 2017.

[14]Xinya Du, Junru Shao, and Claire Cardie. Learning to ask: Neural question generation for reading comprehension. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1342-1352. Association for Computational Linguistics, 2017.

[15]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[16]Priyanka Sen and Amir Saffari. What do models learn from question answering datasets? In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 2429-2438, Online, November 2020. Association for Computational Linguistics.

[17]Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Matthew Kelcey, Jacob Devlin, Kenton Lee, Kristina N. Toutanova, Llion Jones, Ming-Wei Chang, Andrew Dai, Jakob Uszkoreit, Quoc Le, and Slav Petrov. Natural questions: a benchmark for question answering research. Transactions of the Association of Computational Linguistics, 2019.

[18]Chris Alberti, Daniel Andor, Emily Pitler, Jacob Devlin, and Michael Collins. Synthetic QA Corpora Generation with Roundtrip Consistency. arXiv e-prints, page arXiv:1906.05416, Jun 2019

[19]Bang Liu, Haojie Wei, Di Niu, Haolan Chen, and Yancheng He. Asking questions the human way: Scalable questionanswer generation from text corpus. In Proceedings of The Web Conference 2020, WWW' 20, page 2032-2043, New York, NY, USA, 2020. Association for Computing Machinery.

[20]Dong Bok Lee, Seanie Lee, Woo Tae Jeong, Donghwan Kim, and Sung Ju Hwang. Generating diverse and consistent QA pairs from contexts with information-maximizing hierarchical conditional VAEs. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 208-224, Online, July 2020. Association for Computational Linguistics.

## A アブレーション

表 5 にアブレーション結果を示す.

表 5 検証データでのアブレーション

## B 人手評価

表 6 に人手評価の結果を示す. ベースラインに SemQG を用いた. Amazon Mechanical Turk (AMT) を 用いて SQuAD は 100 ，その他は 200 ずつ質問回答 ペアを評価した. 項目は質問が文法的におかしくな くて意味がわかるかどうか，質問が文章と関連して いるかどうか，回答が質問に対する回答として正し いかどうか [19], 回答が文章のメイントピックに関連しているかどうかの 4 つである.

表 6 質問回答ペアの人手評価


# ニューラル機械翻訳のためのアテンション確率のスムージング とゲーティング学習

張 潚廙
愛媛大学
zhang@ai.cs.ehime-u.ac.jp
二宮崇
愛媛大学
ninomiya@cs.ehime-u.ac.jp
}

田村 晃裕
同志社大学
aktamura@mail.doshisha.ac.jp

## 1 はじめに

近年、人工知能の発展とともに、自然言語処理分野においてもニューラルネットワーク (Neural Network) に基づく手法が主流になっており、特に機械翻訳のタスクにおいてはニューラルネットワー クを用いた機械翻訳 (ニューラル機械翻訳) が高い 精度と自然な翻訳を実現することから大きく注目を集めている。ニューラル機械翻訳モデルとし て、LSTM (Long-Short Term Memory)を用いた回帰型 ニューラルネットワーク (Recurrent Neural Network; RNN) に基づくエンコーダー・デコーダーモデル が提案され [1]、さらにアテンション機構 (Attention Mechanism)[2] によって翻訳精度が大きく改善され た。Transformer[3] は、回帰的構造を持たずアテン ション機構だけから構成されるエンコーダー・デ コーダーモデルであり、言語間アテンションに加 え、原言語文や目的言語文における各単語間のアテ ンション (自己アテンション)を計算することを特徵とする。回帰的構造を持たない代わりに位置エン コーディングを埋め込むことで、単語の位置情報や 前後関係を捉えている。また、マルチヘッドをアテ ンション機構に導入しており、中間表現ベクトルを 各ヘッドに分割し、各ヘッドにおいてアテンション を計算することにより様々な文の特徴を捉えること を可能としている。

Transformer は、非常に高い翻訳精度を実現する ことから、現在も多くの翻訳モデルのベースと なっており、時系列をより強い関係で結びっけ る Monotonic Attention[4] や、異なるアテンションマ スクを導入した Mixed Multi-Head Self Attention[5]、 Highway Transformer[6]、Capsule Networks[7]、Multi-
Hop Attention[8] などが提案されている。また、アテ ンションに関する解析では、アテンションの確率計算は単なる重みの計算ではないという報告がなされ ている [9]。Transformer およびこれらの Transformer に基づく手法のいずれも、そのアテンション計算は ソフトマックス関数を使った関連性計算を行ってお り、計算結果はある単語に対する文中の各単語との 関連性を表す離散的な確率分布になっている。ソフ トマックス関数はその性質から一つや二つの単語 だけにきわめて高いピークの確率を与えることが 多いが、そのため、単語確率分布におけるデータス パースネスや過学習の問題が混在している可能性が ある。

そこで、本論文ではアテンションの関連性計算に 対してスムージング (Smoothing)を適用し、その確率値を調整する手法を提案する。具体的には、ラべ ルスムージング手法 [10] を用いたアテンションス ムージング (Attention Smoothing) と、スムージング のパラメータをモデルに学習させるゲートスムージ ング (Gate Smoothing)を提案する。WAT の ASPEC 英日翻訳タスクにおいて実験を行い、アテンション スムージングによって BLEU(\%) 值が+0.74 向上し、 ゲートスムージングによって BLEU(\%) 值が+0.99 向上することを確認した。

## 2 Transformer

Transformer は近年ニューラル機械翻訳で最もよく 使われるエンコーダー・デコーダーモデルの一種で ある。原言語の文をエンコーダーに入力し、エン コーダからは大力に対する中間表現が出力される。 デコーダーには、エンコーダーの中間表現および現時点までの訳文を入力し、それらを組み合わせて次

の時刻の単語を生成する。長さ $S$ の原言語の文を $X=\left.\{x_{1}, x_{2}, \cdots, x_{S}\right.\}$ とし、長さ $T$ の目的言語の文を $Y=\left.\{y_{1}, y_{2}, \cdots, y_{T}\right.\}$ とすると、生成の過程は以下の 式で表せる。

$
P\left(y_{t} \mid y_{<t}, X\right)=\mathbb{M}\left(y_{<t}, X\right)
$

ただし、Мはモデルを表す。モデルは時刻ごとに次 の単語を生成する確率を算出する。

Transformer のエンコーダーおよびデコーダーは、 それぞれスタックされた 6つのレイヤーから構成さ れる。エンコーダー側のレイヤーは自己アテンショ ン層とフィードフォワード層で構成され、デコー ダー側のレイヤーは自己アテンション層と言語間 アテンション層、フィードフォワード層で構成さ れる。

アテンションの計算について説明する。入力をク エリー $q$ 、キー $k$ 、バリュー $v$ とする。クエリーと キーで単語間の関連度を計算し、それを重みとして バリューの重み付き平均値を計算する。計算過程は 以下の式で表せる。

$
\begin{aligned}
\text { score } & =\mathbf{W}^{q}(q) \cdot \mathbf{W}^{k}(k)^{\top} \\
a & =\operatorname{softmax}(\text { score }) \\
o_{i} & =\sum_{j=1}^{V} a_{i j} \mathbf{W}_{j \cdot}^{v}(v)
\end{aligned}
$

ただし、 $W^{(q)} \in \mathbb{R}^{Q \times d}, W^{(k)} \in \mathbb{R}^{K \times d}, W^{(v)} \in \mathbb{R}^{V \times d}, a \in$ $\mathbb{R}^{Q \times K}, o_{i} \in \mathbb{R}^{d} 、 d$ は隠れ層の次元数、 $Q, K, V$ は クエリー、キー、バリューの長さを表し、 $i \in$ $\{1,2, \cdots, Q\}, j \in\{1,2, \cdots, K\}$ かつ $K=V$ を満たして いる。 $\operatorname{softmax}(\cdot)$ はスコアを正規化するための活性化関数であるソフトマックス関数である。ソフト マックスの計算結果は $\sum_{j=0}^{V} a_{i j}=1(\forall i)$ という制約が 課せられる。

自己アテンションでは、クエリー、キー、バリュー はそれぞれ前の層からの出力となる。前の層からの 出力は、エンコーダー側では原言語の中間表現であ り、デコーダー側では目的言語の中間表現である。言語間アテンションでは、クエリーはデコーダー側 の前の層の出力、キーとバリューはエンコーダー側 の最終レイヤーの出力になる。

自己アテンションと並んで Transformer において 重要な部分はマルチヘッドアテンションである。 マルチヘッドの場合は、次元数をへッド数で割り、 ヘッドごとにアテンションの計算を行う。マルチ ヘッドアテンションは自己アテンションや言語間ア テンションに適用される。

## 3 提案手法

従来のマルチヘッドアテンションは単語間の関連性 $a$ を計算するためにソフトマックス関数を 使い $a_{i j} \in(0,1)$ s.t. $\sum_{j=0}^{V} a_{i j}=1(\forall i)$ という制約の 下で単語間の関連性を表す。ソフトマックス関数 で正規化する際には指数関数が適用されるため、関連の高い単語に対する値がより顕著になるよ うな確率值が算出される。その結果、一つや二つ の単語にだけきわめて高い確率が割り振られる $\left(\max _{j}\left[a_{i j}\right] \gg a_{i k}(k \neq j, \forall i)\right)$ ため、アテンション確率においても過学習の問題が混在している可能性が 高い。そこで、本研究ではアテンションで単語間の 関連性を算出する際にスムージングを行う手法を提案する。

## 3.1 アテンションスムージング

分類モデルの学習時に損失を計算する際、正解ラ ベルのみに基づいて損失を計算すると過学習を起こ してしまう可能性がある。ラベルスムージングは、 そのような過学習を抑えるための手法であり、正解 ラベルに対する確率を一定率低くし、正解ラベル以外のラベルに対する確率を一定率高めることで、ラ ベル確率分布を滑らかにする。

本研究では、ラベルスムージングの手法をアテン ションの算出時に適用するアテンションスムージン グを提案する。アテンションスムージングは、ラベ ルスムージングに倣い、アテンションの計算による 単語間関連度を表す確率分布を滑らかにする。具体的には、次式のように、アテンションの確率分布に 対して、最も高い確率を一定率 $(s)$ 低くし、その他 の確率を一定率 $(1 / s)$ 高める方法である。

$
\begin{gathered}
\hat{a}_{i j}=\left.\{\begin{array}{cc}
a_{i j} \cdot s & j=\underset{j}{\arg \max }\left[a_{i j}\right] \\
a_{i j} \cdot \frac{1}{s} & j \neq \underset{j}{\arg \max }\left[a_{i j}\right]
\end{array}\right. \\
o_{i}=\sum_{j=1}^{V} \hat{a}_{i j} \mathbf{W}_{j}^{v} \cdot(v)
\end{gathered}
$

ただし、 $s \in \mathbb{R}$ はスムージングの強さを制御するハ イパーパラメータであり、 $0<s \leq 1$ を満たしてい る。 $s$ をさくするほど、過度なピークの情報を抑 えてアテンションの単語確率分布を滑らかにする。 $s=1$ の場合、アテンションスムージングを用いな い従来手法と同等になる。
表 1 実験結果

## 3.2 ゲートスムージング

アテンションスムージングでは、スムージングの 強さを表すハイパーパラメータ $s$ を人手で調整す る必要がある。本研究では、ゲーティングの仕組み を取り入れて、スムージングの強さもパラメータと して学習するゲートアテンションを提案する。ゲー トアテンションを数式で表現すると以下の通りと なる。

$
\begin{aligned}
\text { score }_{s} & =\mathbf{W}^{s q}(q) \cdot \mathbf{W}^{s k}(k)^{\top} \\
\hat{s} & =\gamma \cdot \sigma\left(\text { score }_{s}\right) \\
\hat{a} & =a \odot \hat{s} \\
o_{i} & =\sum_{j=1}^{V} \hat{a}_{i j} \mathbf{W}_{j}^{v}(v)
\end{aligned}
$

ただし、 $\mathbf{W}^{s q} \in \mathbb{R}^{Q \times d}, \mathbf{W}^{s k} \in \mathbb{R}^{K \times d}, \hat{s} \in \mathbb{R}^{Q \times K}$ であ り、式 8 がスムージングの強さを表すパラメータを 算出する部分である。 $\sigma(\cdot)$ は大力の要素ごとにシグ モイド関数を適用する関数、 $\gamma \in \mathbb{R}$ はスムージング の値域を調整するハイパーパラメータである。

る。このようにすることで、スムージングの強さ $\hat{s}$ を訓練データからモデルで学習させることがで きる。

## 4 実験

本実験では、Vaswani ら [3] の Transformerをべー スラインにして提案手法の有効性を検証する。

## 4.1 実験データ

本実験では、WAT の ASPEC 英日翻訳タスクの訓練データセットの一部である train1.txt $(1,000,000$文対）を訓練データとして用いた。英日両方におい て文長が 50 以下のデータだけを用いて学習した。用いた訓練データ数は 907,356 文対であった。検証データとテストデータは ASPEC 英日翻訳タスク の検証データセットとテストデータセットを使っ た。検証データとテストデータは、それぞれ 1,790文対と 1,812 文対であった。英語文の形態素解析は WAT の手順にしたがい、日本語文の形態素解析は $\mathrm{KyTea}^{1)}$ を使った。

訓練データ $1,000,000$ 文対において出現頻度が 3 以下の単語は語彙辞書には登録せず、辞書に登録 されていない単語は特殊トークン<UNK>に置き換 えた。

## 4.2 モデル設定

提案モデルのパラメータはベースラインモデ ル2)にあわせた。エンコーダーとデコーダーの レイヤー数は 6、ドロップアウトの確率は 0.1、 ウォーミングアップステップ数は 4,000 、バッチ サイズは 200、エポック数は 20 とした。オプティ マイザーは Adam を用い、学習パラメーターは $\alpha=0.001, \beta_{1}=0.9, \beta_{2}=0.98, \epsilon=1 e-9$ 、学習率減衰 は 0.0001 に設定した。アテンションスムージング では $s=0.9 、$ ゲートアテンションでは $\gamma=2$ とした。

## 4.3 実験結果

実験結果を表 1 に示す。表 1 より、ベースライン モデルと比較して、アテンションスムージングで

BLEU(\%) の性能向上が確認できた。

ただし、ゲートスムージングはレイヤーごとに新 しいパラメータが追加されており、ベースラインモ デルよりもパラメータ数が増えている。その影響を 排除して、ゲートスムージングの効果を確認するた めダミーパラメータモデルを用意した。ダミーパラ メータモデルは下記の計算式に従ってアテンショ ンの計算を行うモデルであり、ベースラインモデル のパラメータ数を単純に増やしたモデルとなって いる。

$
\begin{aligned}
\operatorname{score}_{s} & =\mathbf{W}^{s q}(q) \cdot \mathbf{W}^{s k}(k)^{\top} \\
\hat{s} & =\operatorname{softmax}\left(\operatorname{score}_{s}\right) \\
\hat{a}_{i j} & =\left(a_{i j}+\hat{s}_{i j}\right) / 2 \\
o_{i} & =\sum_{j=1}^{V} \hat{a}_{i j} \mathbf{W}_{j \cdot}^{v}(v)
\end{aligned}
$

ここで、式 12 と式 13 がゲートスムージングモデル との差分となる。ゲートスムージングでの式 8 が式 12 に対応している。式 13 では $a$ と $\hat{s}$ を要素ごとに

1) http://www.phontron.com/kytea/index-ja.html

2) https://github.com/jadore801120/attention-is-all-you-needpytorch/tree/master/transformer

足して 2で割る。表 1 より、ゲートスムージングは ダミーパラメータモデルよりも性能が高いことがわ かる.この結果から、パラメータ数にかかわらず、式 8、9 の効果（ゲートスムージングの効果）が確認できた。

## 4.4 ゲートスムージングの効果

ゲートスムージングにおいて学習された スムージングに関するゲート值の実例を表 2 に示す。表 2 は、"By deciding strategy, industrygovernment-university should unitarily promote."とい う入力文に対して、ピリオド “.”との関連性を 計算した際に、エンコーダー側の最終レイヤー で算出された $a_{j}$ と $\hat{s}_{j}$ である。表 2 より、関連性 の強い $a_{3}$ (strategy に対する関連) や $a_{5}$ (industrygovernment-university に対する関連) に対し、低め の $\hat{s}_{3}=0.93, \hat{s}_{5}=0.95$ が与えられ、関連性の弱い $a_{7}, a_{8}, a_{9}$ に対し、 $\hat{s}_{7}=1.00, \hat{s}_{8}=0.98, \hat{s}_{9}=0.98$ とい う高い値が与えられた。このことから全体的な分布 を滑らかにする方向に学習していることが確認で きた。

## 5 おわりに

本研究では、アテンションでの関連性計算におい て数単語にきわめて高い確率が与えられるという現象を緩和するため、アテンションスムージングとい う手法を提案した。アテンションスムージングでは 人手でスムージングのパラメータを決める必要があ るが、このスムージングのパラメータをモデルに学習させる手法としてゲートスムージングを提案し た。WAT の ASPEC 英日翻訳タスクで提案手法の有効性を確認した。

今後の課題として、スムージングの関数を変える など、より良い形で関連性を調整できる式を作り たい。

## 謝辞

本研究成果は, 国立研究開発法人情報通信研究機構の委託研究により得られたものである. また，本研究の一部は JSPS 科研費 20K19864 の助成を受けた ものである.ここに謝意を表する.

## 参考文献

[1] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequence learning with neural networks. Proceedings of the 27th International Conference on Neural Information Processing Systems, 2014.

[2] Dzmitry Bahdanau, KyungHyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. ICLR 2015, 2016.

[3] Ashish Vaswani, Noam Shazeer, and Niki Parmar et.al. Attention is all you need. 31st Conference on Neural Information Processing Systems, 2017.

[4] Yingzhu Zhao, Chongjia Ni, and Cheung-Chi Leung et.al. Cross attention with monotonic alignment for speech transformer. INTERSPEECH 2020, 2020.

[5] Hongyi Cui, Shohei Iida, Po-Hsuan Hung1, Takehito Utsuro1, and Masaaki Nagata. Mixed multi-head selfattention for neural machine translation. Proceedings of the 3rd Workshop on Neural Generation and Translation.

[6] Yekun Chai, Shuo Jin, and Xinwen Hou. Highway transformer: Self-gating enhanced self-attentive networks. $A C L$ 2020, 2020.

[7] Shuhao GU and Yang FENG. Improving multi-head attention with capsule networks. NLPCC 2019, 2019.

[8] Shohei Iida, Ryuichiro Kimura, and Hongyi Cui et.al. Attention over heads: A multi-hop attention for neural machine translation. ACL 2019, 2019.

[9] Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, and Kentaro Inui. Attention is not only a weight: Analyzing transformers with vector norms. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, p. 7057-7075, 2020.

[10] C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens, and Z. Wojna. Rethinking the inception architecture for computer vision. pp. 2818-2826, 2016.


# Positional Encoding への摂動付与による長さ制御を用いた 非自己回帰型機械翻訳のための知識蒸留

岡佑依 須藤 克仁 中村哲
奈良先端科学技術大学院大学
\{oka.yui.ov2, sudoh, s-nakamura\}@is.naist.jp

## 1 はじめに

近年, ニューラルネットを用いた機械翻訳（NMT） の手法が多く考案されている。これらの手法におい て，注視機構を用いた自己回帰型エンコーダ・デ コーダモデルは自然性があり高い精度の翻訳結果を 残している. 特に，Transformer[1] は Self-Attention, Multi-Head Attention, Positional Encoding という独自 の機構を利用して，高い精度の翻訳結果を残した。我々の研究 [2] では，高瀬ら [3] が提案した長さ制約付き Positional Encoding を機械翻訳に適用し，摄動 を加えることによって翻訳精度を改善した. さらに 通常の Transformer と比べ長く出力することを可能 とした. また，推論時に与えられる長さが参照訳の 長さと一致する場合，大きく翻訳精度を改善した。

非自己回帰型エンコーダ・デコーダモデルは，自己回帰型モデルと比べ高速な翻訳を可能とするが，翻訳精度は低く, 通常の自己回帰型モデルと比べて さらに短い文を生成する傾向にある。

本研究では，長さ制約つき Positional Encoding へ の摂動を用いて知識蒸留をすることで非自己回帰型モデルの翻訳精度の改善を試みた。さらに，既存の非自己回帰型モデルの一つである Levenshtein Transformer[4] に長さ制約付き Positional Encoding へ の摂動を適用することで長い文を生成し，訳抜けを 改善することを試みた。

## 2 関連研究

## 2.1 Positional Encoding による出力長制御

Positional Encoding（以下，PE）は, Transformer の エンコーダ・デコーダ両者において各埋め込み表現 に対し，その位置に対応した絶対的な値を足し合わ せることで位置情報を与える役割を持つ. その時足 し合わせる値は正弦関数と余弦関数の式で表され
る. トークンの位置を pos, 埋め込み表現の次元数 を $d$ とすると $i$ 番目の次元の埋め込み表現に足し合 わせる $P E$ は以下のようになる. このとき，偶数次元は正弦関数，奇数次元は余弦関数で定義される.

$
\begin{gathered}
P E_{(p o s, 2 i)}=\sin \left(\frac{p o s}{10000^{\frac{2 i}{d}}}\right) \\
P E_{(p o s, 2 i+1)}=\cos \left(\frac{p o s}{10000^{\frac{2 i}{d}}}\right)
\end{gathered}
$

高瀬ら [3] はデコーダ側の PE の式に所望の出力長 の値を組み込んだ。これにより，文生成時に所望の 出力長までの残りのトークン数を考慮することが可能である。提案された式は終端までの比率に応じた LRPE (length-ratio positional encoding), 終端までの差 に応じた LDPE (length-difference positional encoding) の 2 種類がある，例えば LDPE は以下のように表さ れる。

$
\begin{gathered}
L D P E_{(p o s, l e n, 2 i)}=\sin \left(\frac{\text { len }-p o s}{10000^{\frac{2 i}{d}}}\right) \\
L D P E_{(p o s, l e n, 2 i+1)}=\cos \left(\frac{\text { len }-p o s}{10000^{\frac{2 i}{d}}}\right)
\end{gathered}
$

len は所望の出力長を表す. LRPE，LDPE の值は ベースラインの Transformer の PE と同じように各埋 め込み表現に足し合わせる。また，エンコーダ側に はベースラインの Transformer と同様の PE の式が適用される。

## 2.2 長さ制約付き Positional Encoding への 摂動

機械翻訳において，LRPE，LDPE を用いると，出力長制御性と引き換えに翻訳精度が大きく落ちる ことがわかっている.これを改善するため，長さ 制約付き PEへの摄動 (Perturbation into Length-aware Positional Encoding)を，我々は[2]で提案した. LDPE に摂動を与える場合，以下の式で定義される。
$\operatorname{perLDPE_{(pos,len,2i)}}=\sin \left(\frac{\text { len }- \text { pos }+ \text { perturbation }}{10000^{\frac{2 i}{d}}}\right)$

$\operatorname{perLDPE_{(pos,len,2i+1)}}=\cos \left(\frac{\text { len }- \text { pos }+ \text { perturbation }}{10000^{\frac{2 i}{d}}}\right)$

摄動 perturbation は学習時，ある特定の整数の範囲から一様分布に基づいて選択され, 文単位ごと に足し合わされる. 我々は [2] において，摄動範囲 $[-2,2], \quad[-4,4]$ の負の値も含める範囲で実験を行っ た. さらに，大規模言語モデル BERTを用いて推論時の出力長の予測を行うことで翻訳精度を改善し た. また，参照訳と同じ長さを LDPE，LRPE に入力 するとき，翻訳精度は大きく改善することが明らか になっている.

## 2.3 Levenshtein Transformer

非自己回帰型ニューラル機械翻訳モデル (以下， NAT) は，各ステップの出力トークンを次のステッ プの入力に利用する自己回帰 (autoregression) に基 づいて翻訳するモデル (以下，AT) とは異なり，自己回帰を用いず文内のトークンを並列に予測する プロセスを繰り返して翻訳を行う [5].これによっ て並列計算が可能になり, 非常に高速な翻訳を実現する. Jiatao Gu ら [4] が提案した，NAT モデルの 一つである Levenshtein Transformer は，空トークン <PLH>を插入する (placeholder) 機構，空トークンに 単語を挿入する (insert) 機構，不必要なトークンを削除する (deletion) 機構の 3 つのデコーダを持つ. デ コーダでは全て Position Embedding が用いられてお り, 各 embedding はエンコーダ, デコーダで共有さ れる. 翻訳時に，これら 3 つの処理を繰り返し行う ことで高速かつ Transformer に近い翻訳文生成を可能にした.

## 2.4 知識蒸留

上述した NAT モデルは高速な翻訳を実現するが，翻訳精度は AT と比べ大きく劣る.これを改善する ため，NAT モデルを訓練する際，既存の AT モデル を用いて知識蒸留した訓練データを用いる。この 時，AT モデルは教師モデル (通常，Transformer が用 いられる)，NAT モデルは生徒モデルとなる。これ によって，高品質な AT モデルの出力を NAT モデル に模倣させることが可能であり，NAT モデルの翻訳精度は教師モデルである AT モデルに依存する [6].

## 3 提案手法

Levenshtein Transformer

提案手法

図 1 Levenshtein Transformer と提案手法の比較

通常の知識蒸留を用いた Levenshtein Transformer と提案手法の流れを図 1 に示す。

## 3.1 長さ制約つき Positional Encoding への 摂動を用いた知識蒸留

本研究では，この知識蒸留で教師モデルとして用 いる Transformerに長さ制約付き $\mathrm{PEへの}$ 摂動を適用 することで，生徒モデルである NAT モデルの翻訳精度を改善する手法を提案する．知識蒸留における 訓練データの翻訳時において出力すべき長さが既知 (正解参照訳長が存在する) であるため，翻訳時に 長さ制約付き $\mathrm{PE}$ に入力する長さは参照訳の長さを 入力する. これにより教師モデルである AT モデル が出力する翻訳文の精度を改善することで，生徒モ デルである NAT モデルの翻訳精度の改善が期待さ れる。

## 3.2 長さ制約つき Positional Encoding への 摂動を用いた Levenshtein Transformer

さらに, Levenshtein Transformer の空トークン <PLH>を插入する機構 (placeholder) に長さ制約付

る機構は placeholder のみであることから，挿入機構 (insert), 削除機構 (deletion) には通常の position embedding を適用した.また, エンコーダ側も position embedding を適用した. 先行研究では $[-2,2]$ のように負の值も PEへの摂動範囲に加えるが，本研究では $[0,2]$ のように正の値のみを摂動範囲と して適用する。これは，モデルができるだけ長い 文を生成するように学習するためである。また， Levenshtein Transformer ではエンコーダ・デコーダ間 の embedding を共有して学習するが，提案手法では 共有しないとする。 そして翻訳時では, [2] と同様,学習済み言語モデルで予測した長さを入力する場合 と, [7] と同様に，原言語文の長さを入力する場合を 検証する。

## 4 実験

## 4.1 実験設定

提案手法による知識蒸留と Levenshtein Transformer の性能を調べることを目的とし，実験を行っ た. 本研究では，英日・英独翻訳をタスクとし た. データセットには，英日翻訳には対訳コーパ ス ASPEC[8], 英独翻訳には WMT14[9] を用いた. ASPEC は 1,783,817 文対の学習データ，1,790 文対の 開発データ，1,812 文対のテストデータからなり, 今回学習には 100 万文対の学習データである train-1.txt のみを使用した. 英語及び日本語の入出力はサブ ワードとし, Sentencepiece[10]を使いトークナイズ を行った. このとき, 語彙サイズは 16,000 とし, 言語間で共有した. WMT14 は, Stanford NLP group ${ }^{1)}$ で配布された前処理済みのデータセットを用いた。学習データは 440 万文対で構成され, 各文は 50 語以内で構成される. 開発データには 3,000 文対で構成 される newstest2013, テストデータには 2,737 文対で 構成される newstest2014を用いた. トークナイズ方法は ASPEC と同様であり, 語彙サイズのみ 32,000 とした。実装には fairseq[11]を用いた。 ハイパーパ ラメータは全てにおいて2)と同じにした。

本研究ではlen に出力文のトークン長を与え る.このトークン長は Sentencepiece でトークナイ ズされたときのものである. 教師モデルのベー スラインには, sinusoidal Positional Encoding を用い た base Trasnformer を, 生徒モデルのベースライン には, Position Embedding を全デコーダに適用した Levenshtein Transformerを用いた. 提案手法では，知識蒸留に用いる教師モデル Transformer に適用する 長さ制約付きPEはLDPEを用い, 学習時に与える摂動範囲は英日翻訳の時 $[-4,4]$, 英独翻訳の時 $[-6,6]$ とした. また, 生徒モデル Levenshtein Transformer に 適用する長さ制約付き PE は LDPE を用い，学習時 に与える摄動範囲は $[0,2]$ のみとした.

翻訳時，英日翻訳では [2] と同様に，BERT[12]の エンコーダーの最後の層にある $[\mathrm{CLS}]$ ベクトルの出力を回帰問題として出力長を予測した. 英独翻訳で は [7] と同様に原言語文長の長さをLDPE の入力と した. さらに，両方の翻訳において参照訳の長さを 入れた場合も比較した.

表 1 知識蒸留の教師モデルとして用いた AT モデルの比

表 2 日英対訳コーパス ASPEC における NAT モデルの

翻訳文の評価手法には機械翻訳の自動評価として 一般的な BLEU[13] とサブワード単位の Length ratio を用い，sacreBLEU[14] で計算した。また，知識蒸留の教師モデルの評価にも [6] と同様，BLEUを用 いる.

## 4.2 実験結果

表 1 に知識蒸留の教師モデルとして用いた AT モ デルの学習データの翻訳精度を示す. 提案手法の知識蒸留法が既存手法よりも文単位の知識蒸留におい て優れていることがわかる.

表 2, 表 3 に各コーパスにおける生徒モデルの 翻訳精度を示す.太文字はベースラインである Levenshtein Transformer より BLEU が向上したもの，下線部は参照訳長が既知の時，すなわち正解長を入力した時 Levenshtein Transformer より BLEU が向上 したものを示す.

英日翻訳では，提案手法である知識蒸留を用いた 場合，全ての生徒モデルにおいて翻訳精度が改善し た. 通常の Levenshtein Transformer で比べると， 0.3 ポイントの BLEU 値の改善が見られた. さらに，提案する知識蒸留法を用いない場合でも，提案手法で ある Levenshtein TransformerにLDPEへの摄動を適用した時，翻訳精度は改善することがわかった. 参照訳長を用いた場合, 0.6 ポイントの BLEU 値の改善 (34.6) が見られ, 入力長によっては最大 0.6 ポイ ントの BLEU 值の改善が見込めることがわかった. さらに，学習済みモデルで長さを予測し入力するこ とで LR が上がったことも BLEU 值の改善に繋がっ

たことがわかる. しかしながら, 全ての生徒モデル において，BLEU 值は教師モデルとして用いた AT モデルである通常の Transformer に劣る結果となっ た。また，BERTによる長さ予測の精度は，参照訳長との平均トークン誤差が 3.0, トークン誤差分散 が 19.92 であった. 原言語文長と参照訳長との平均 トークン誤差は 6.54 , トークン誤差分散は 72.45 で あった。これは，英日翻訳では，原言語文長ではな く，BERTによって予測された長さの方が参照訳長 に近いことを示している。

英独翻訳では，英日翻訳のような結果は見られな かった. 提案手法である知識蒸留を用いると，同じ Levenshtein Transformer においても BLEU の向上は 見られなかった. さらに，提案する NAT モデルに おいて，原言語文長を用いた場合，BLEU は下がっ た.しかしながら，提案するNAT モデルに参照訳長を用いた時，通常の Transformer より 0.9 ポイント BLEU 值の改善する (31.0)ことがわかった.

## 4.3 摂動範囲による翻訳精度の推移

提案した NAT モデルの摂動範囲を変えることで，翻訳精度が改善するのかを英日・英独翻訳それぞれ で検証した。知識蒸留に用いた教師モデルは表 1 の ベースライン Transformer，実験設定は 4.1 と同じで ある。検証した摄動範囲は $[0,2]$ に加え， $[0,4],[0,6]$ である。表 4 に，実験結果を示す. 英日・英独翻訳両方において，摂動範囲が大きくなるにつれて， Length ratio が下がっていることがわかった. 英日翻訳において，摂動範囲 $[0,6]$ の時，摄動範囲 $[0,2]$ を用いた時と比べて 0.1 の BLEU の改善が見られた が，それ以外で改善は見られなかった. また，英独翻訳では摄動範囲を大きくしてもべースラインの Levenshtein Transformer と比べ翻訳精度の改善は見 られなかった。

## 4.4 考察

実験結果より，提案した知識蒸留は英日翻訳にお ける生徒モデルの翻訳結果の向上に有効であると考 えられる。また，生徒モデルである NAT モデルに 長さ制約付き $\mathrm{PE} へ の$ 摂動を用いた提案手法におい て，参照訳長を用いた場合より BERT による予測長 を用いた場合において翻訳精度が下がった原因は 長さ予測の精度にあると考えられる。これは BP の 値を見比べたとき，参照訳長を用いた場合 BP の値 が大きく変化していることからもわかる．英独翻訳 では提案した知識蒸留と NAT モデル両方において 有効性は見られなかった。しかしながら，提案した NAT モデルに参照訳長を入力した時，翻訳精度は大 きく改善することから，入力する長さを改善するこ とで翻訳精度が改善すると考えられる。

## 5 おわりに

留に用いる教師モデル，そして生徒モデルである Levenshtein Transformerへ適用することを提案した.結果として，最大 0.3 ポイントの BLEU 値の向上が 見られた。英日翻訳において。提案した知識蒸留と NAT モデルは有効であることがわかった. 英独翻訳では出力長予測精度の影響で改善が見られず，よ り高精度な出力長予測が今後の検討課題である.

## 謝辞

本研究の一部は JSPS 科研費 JP17H06101 の助成を 受けたものである.

## 参考文献

[1]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. CoRR, Vol. abs/1706.03762, , 2017.

[2]Yui Oka, Katsuki Chousa, Katsuhito Sudoh, and Satoshi Nakamura. Incorporating noisy length constraints into transformer with length-aware positional encodings. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3580-3585, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[3]Sho Takase and Naoaki Okazaki. Positional encoding to control output sequence length. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3999-4004, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4]Jiatao Gu, Changhan Wang, and Junbo Zhao. Levenshtein transformer. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32, pp. 1118111191. Curran Associates, Inc., 2019.

[5]Jiatao Gu, James Bradbury, Caiming Xiong, Victor O.K. $\mathrm{Li}$, and Richard Socher. Non-autoregressive neural machine translation. In International Conference on Learning Representations, 2018.

[6]Chunting Zhou, Jiatao Gu, and Graham Neubig. Understanding knowledge distillation in non-autoregressive machine translation. In International Conference on Learning Representations, 2020.

[7]Surafel Melaku Lakew, Mattia Di Gangi, and Marcello Federico. Controlling the Output Length of Neural Machine Translation. In Proceedings of the 16th International Workshop on Spoken Language Translation (IWSLT 2019), October 2019.

[8]Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. Aspec: Asian scientific paper excerpt corpus. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Marko Grobelnik, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia, may 2016. European Language Resources Association (ELRA).

[9]Ondrej Bojar, Christian Buck, Christian Federmann, Barry Haddow, Philipp Koehn, Johannes Leveling, Christof Monz, Pavel Pecina, Matt Post, Herve Saint-Amand, Radu Soricut, Lucia Specia, and Aleš Tamchyna. Findings of the 2014 workshop on statistical machine translation. In Proceedings of the Ninth Workshop on Statistical Machine Translation, pp. 12-58, Baltimore, Maryland, USA, June 2014. Association for Computational Linguistics.

[10]Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[11]Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[12]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. CoRR, Vol. abs/1810.04805, , 2018.

[13]Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[14]Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics.


# ニューラル日英翻訳における適切な出力文数の推定

伊藤均 衣川和克 美野秀弥 後藤功雄 山田一郎
}

$\mathrm{NHK}$

\{itou.h-ce, kinugawa.k-jg, mino.h-gq, goto.i-es, yamada.i-hy \} @ nhk.or.jp
## 1 はじめに

NHK で放送される英語ニュース用の原稿は，日本語ニュース用の原稿を基に人手で翻訳・編集し制作 している. 我々はこの英語ニュース用の原稿制作を 支援するためのツールとして日英機械翻訳の研究を 進めている.

NHK のニュース原稿は, 日本語ニュース用と英語 ニュース用で異なる特徴を有する。日本語ニュース 用の原稿は一文が長いことが特徴であるのに対し，英語ニュース用の原稿は一文を短く区切る特徴があ る.

これまでに我々は，この特徴の異なりを考慮した 日英機械翻訳システム実現のため, 人手で指定した 文数に翻訳結果を制御する手法を提案した [1].

本稿では, 日英機械翻訳処理における日本語一文 に対する適切な英語出力文数の推定手法と, 出力文数推定から制御までの一連の処理について提案する.本手法は推定モデルと制御モデルの 2 つのモデルを 用いる。日本語一文に対する翻訳結果が，推定モデ ルが適切であると予想した文数で出力されるよう制御モデルで出力を制御し，所望の翻訳結果を得る.実験結果から，提案手法は出力文数を推定・制御し ない従来の日英ニューラル機械翻訳モデルの出力と 比較して，人手による翻訳結果の文数との一致率が 高いことを確認した。

## 2 出力文数の推定・制御タスク

本稿は，機械翻訳における出力文数を以下の $2 \supset$ の処理によって推定，制御する.

（a）日本語各文をいくつの英文で翻訳するべきかを 推定する.

（b）指定した文数で翻訳するよう、機械翻訳の出力 を制御する。

我々はこれまで，（b）の課題に対する手法を提案して
いる [1]. 本稿では (a)の課題に取り組み, (b)の課題 も含む枠組み全体についても評価する。

関連研究として, 目的言語における読者の語学力 に併せて翻訳文の読解難易度を制御することを目的 とした NMT の手法 [2] や，翻訳品質の向上を目的 として NMT の訓練データ中の長文を分割する手法 [3] があるが，これらは訳文の文数を制御する手法 ではない.

## 3 提案手法

提案手法は推定モデルと制御モデルの二つのモデ ルを用いて適切な文数へ翻訳結果を制御する。具体的には，以下の手順で処理を進める。

（1）日本語各文に対する適切な出力英文数を推定 する推定モデルと，指定した文数で翻訳結果 を出力する制御モデルを，ニューラル機械翻訳モデルを利用し学習する。

（2）推定モデルに翻訳したい日本語一文を入力し,適切な出力英文数を推定する。

（3）制御モデルに (2)の推定結果を入力し, 指定し た文数で日英翻訳する.

本研究では，更なる推定性能向上のため制御モデ ルへ文数を入力する前に推定モデルの出力を補正す る前処理を追加することも想定しており，上記のよ うな 2 段階の処理を導入している。

本節ではこのために必要な出力文数の推定手法と。 この推定結果を利用した出力文数制御手法について 説明する。

## 3.1 適切な出力文数の推定

日本語各文に対する適切な出力英文数を推定する ため，日本語一文を入力するとその日本語を日英翻訳する際に適切な英文数を表すタグを出力する推定 モデルを構築する。

 \\

表 1. 推定モデルの学習データへのタグの付与例

まず，日本語一文に対する翻訳英文のぺアを用意 する.これは, 日本語一文に対応する英文は必ずし も一文ずつではなく, 一対多のデータである. 次に, この一対多のデータの各出力の最初の英文の文頭に, その対訳英文が何文であるかを表すタグ(文数タグ) を付与し, 日本語一文とこの文数タグ付き対訳英文 とのぺアを推定モデルの学習データとしてニューラ ル機械翻訳モデルを学習する。

表 1. に推定モデルの学習に用いる学習データの 例を示す.こちらの例では, 日本語一文に対して英語 3 文の対訳データであるため, ターゲット言語文 の冒頭に”〈3〉”と, 英文数の情報を示す文数タグを 付与している. 文数タグは, 出力文数が一文であれ ば” 〈1〉”， 2 文であれば” 22$\rangle$, 翻訳英文中の 数值と区別するために” く〉 内の数字で文数情報を 与える.

この学習データから構築したモデルのシステムに 任意の日本語一文を入力すると, 翻訳結果の先頭に 文数タグが出力される. このタグの示す文数を推定 モデルにおける適切な英文数の推定結果とし, 後述 する制御モデルの入力に用いる.

## 3.2 出力文数の制御

我々はこれまでに, 日本語一文と共に適切な出力英文数を同時に指定することで，指定した文数で日英翻訳結果を出力する制御モデルを提案した[1]. こ の制御モデルでは手動での出力文数指定も可能であ るが，上述の推定モデルの出力によって得られた適切な出力文数を引用することで自動的に出力文数を 制御することが可能となる.

制御モデルでは, 日英対訳データの学習データに

 \\

表 2. 制御モデルの学習データへのタグの付与例

おいて，文数タグを入力である日本語各文の文頭に 配置する (表 2). 学習データ作成時にターゲット言語の出力文数を数え, ソース言語の冒頭に文数タグ として付与する。

この学習データをニューラル機械翻訳モデルに与 えて学習することにより, 翻訳文数の制御モデルを 構築する。

この制御モデルを用いて翻訳結果を出力する際に は，翻訳したい日本語各文の冒頭に，推定モデルに よって得られた文数タグを付与し，制御モデルへ入力することで最終的な翻訳結果を取得する.

## 4 実験

## 4. 1 実験条件

NHK の日本語ニュースを人手により英訳し, 約 10 万文対の実験データを構築した。このうち学習デー 夕，開発データにはそれぞれ約 96,000 文対，5,000 文対を用いた。評価データには日本語文 772 文を用意し, 評価データのみ翻訳者 2 名(翻訳者 $\mathrm{A}$, 翻訳者 B とする)がそれぞれ日英翻訳したマルチリファレ ンスデータとした.

学習モデルは NMT ツールキット” Sockeye [4]" を使用した。パラメータについては表 3 の項目につ いて表記の値に変更し, その他のパラメータについ てはデフォルト値を使用した. 出カユニット単位の 決定には Byte Pair Encoding [5] でサブワードに 分割した。

推定モデル・制御モデルの学習にはそれぞれ学習 データの出力英文数を文数タグとして用い, 出力英文数はサブワード” .”の数とした.

 & 0.2 \\

表 4. 出力文数の一致率の比較

表 3. Sockeye で用いたパラメータ

図 1. 入力単語数ごとの人手翻訳英文数の占有率

## 4.2 翻訳手法

4.1 節の条件下で推定モデルを学習した上で, 以下の翻訳手法から得られる翻訳結果を比較した.

（a）Baseline：上記のデータを用いて学習データ をそのまま使用し学習、翻訳したもの

（b）Tag：制御モデルにおいて評価データの出力英文数を入力の文数タグとして与えて翻訳し たもの。それぞれ制作者 A の出力文数を用い たものを Tag (refA), 制作者 B の出力文数を 用いたものを $\mathrm{Tag}(\mathrm{refB})$ とする. (c) Assume_Tag：推定モデルによって推定した出力文数を制御モデルの入力の文数タグとして 与えて翻訳したもの.

## 4.3 実験結果

## 4.3.1 出力文数の一致率の比較

まず，評価データの日本語各文に対する出力英文数と評価データの英文数との一致率を比較した（表

英文数と一致していれば一致とみなして算出したも

表 5. BLEU 値の比較

のを指す。文数を制御せずに翻訳した場合 (Baseline) と比較して, 推定モデルを用いた手法の 一致率が $81,8 \%$ から $87.0 \%$ に向上し, 学習データに出力文数を明示的に与えることの効果を観測すること が出来た. また, 推定モデルと制御モデルの両方を 用いた手法(Assume_Tag)でも 87.0\%の一致率を得た.制御モデルだけに着目すると, 評価データの出力文数を文数タグとして与えた場合も推定モデルの推定結果を文数タグとして与えた場合も, 文献[1]で示 したように制御モデルによる一致率の低下なく文数 を制御することが出来た。 Tag (refA)の一致率は $97.8 \%$, Tag (refB) は $99.1 \%$ と, 出力文数を指定すれ ば,ほぼその通りの文数で翻訳できることが分かる.

出力文数の推定タスクの難しさを調べるために，入力文長と出力文数との関係を調査した. 図 1 に翻訳者 A の翻訳結果における, 入力文の単語数ごとの 出力文数の占有率のグラフを示す. こちらのグラフ は各入力文を入力単語数で 10 単語単位に分類した 際の人手翻訳英文数の占有率を示している. グラフ から, 日本語一文に対する入力単語数と人手翻訳英文数には一定の相関があるが，重なりのある部分も 多く，難しいことが分かる.

また, 評価データにおける翻訳者 2 者の平均英文数は翻訳者 $\mathrm{A}$ が 1.73 文, 翻訳者 $\mathrm{B}$ が 1.47 文で, 両者の文数一致率は $65.8 \%$ と両者の一致度は高くはな かった. 推定プロセスを経ることで文数一致率が向上していることから入力文の内容と翻訳英文数との 間には何らかの相関があると推測できるが，更なる 推定性能向上のため翻訳結果を複数文に分割する要因の分析については今後の課題とする.

## 4.3.2 翻訳性能の比較

次に, 各手法の BLEU 值について比較した (表 5). $\mathrm{BLEU}$ 值は翻訳者 $\mathrm{A}$ ・ B 両者の翻訳結果をマルチリフ
アレンスとして測定した。推定モデルの結果を反映 させた手法(Assume_Tag)では Baseline と比較して BLEU 値の低下が観測された. 人手翻訳時の出力文数 を与えて翻訳した手法(Tag_refA， Tag_refB)では Baseline と比較して BLEU 值が向上していることか ら, 出力文数の一致率と BLEU スコアには相関があ ることが分かる.

一方で, 出力文数を制御出来たとしても BLEU ス コアの改善には繋がらなかった. これは出力文数が 一致することとリファレンスとの翻訳表現が一致す ることは同義ではないためと考察する. 文数推定モ デルにより文数一致率が向上したことから，人手翻訳において適切な出力文数は一定の基準に従って定 まることは推測出来るが，翻訳表現については翻訳者ごとに個性があり, 出力文数が一致したとしても 出力結果は必ずしも一致しない. 更なる原稿制作支援のため，今後入力文の情報が翻訳時に各文にどの ように分割されるか分析を進めたい。

## 5 おわりに

本稿では，NHK のニュースを対象とした日英翻訳 において, 日本語一文に対する翻訳として適切な英文数を推定し，推定結果に基づいた文数で翻訳する ためのニューラル機械翻訳モデルを提案した．提案手法は適切な文数を推定する推定モデルと, 指定し た文数で翻訳する制御モデルの 2 つのモデルで構成 され，推定・制御を経由しない従来の機械翻訳モデ ルの出力と比較して人手翻訳結果の出力文数との一致率を $6.4 \%$ 向上させることが出来た. 今後は更なる 翻訳性能と制作支援効果向上に向けた手法を検討す る。

## 参考文献

1. ニューラル機械翻訳における出力文数の制御. 伊藤ほか: 人工知能学会, 2020

2. Controlling Text Complexity in Neural Machine Translation. S. Agrawal et al. : EMNLP, 2019

3. Automatic Long Sentence Segmentation for Neural Machine Translation. S.Kuang et al. : ICCPOL, 2016

4. Sockeye: A Toolkit for Neural Machine Translation. F. Hieber et al. : arxiv, 2017

5. Neural Machine Translation of Rare Words with Subword Units. R. Sennrich et al. : ACL, 2016.


# 深刻な誤訳の識別に向けた分類型翻訳評価データセットの構築

須藤克仁 ${ }^{1,2}$ 高橋洸丞 ${ }^{1}$ 中村哲 ${ }^{1}$
1 奈良先端科学技術大学院大学 2 科学技術振興機構さきがけ
\{sudoh, takahashi.kosuke.th0, s-nakamura\}@is.naist.jp

## 1 はじめに

ニューラル機械翻訳 (NMT) 技術の進展によって,機械翻訳の平均的な訳質は従前と比較して大きく向上 した. NMT の訳は流暢性に優れることが特徴である が，その一方で重要語句の訳抜けや誤訳が問題視され ている.これはかつての統計的機械翻訳 (SMT) によ る「見るからに機械翻訳」という読みづらくぎこちな い文ではなく，一見して問題がないような文が機械翻訳の結果として得られるようになったが故に, 翻訳の 評価において内容の過不足や文意の正確性により注意 を払わねばならないことの現れともいえる。

機械翻訳評価の事実上の標準である BLEU[1] は n-gram 精度と簡潔ペナルティによって訳語の表層的 な正確性とカバレージを粗く見積もる指標であり，訳文の文意の正確性の評価にはほど遠い。他方，分散表現を用いることで表層一致によらない翻訳評価の手法 として BERT Regressor [2], BERTScore [3], MoverScore [4], BLEURT [5] 等が提案され, 人手評価と高い相関 があることが示されている. 現在の翻訳人手評価の主流は直接評価 (Direct Assessment; DA) [6] と呼ばれる 標準化された単一の人手評価値である. DA の予測を 回帰として解くアプローチは上記 BERT Regressor や BLEURT でも用いられており, 人手評価を自動評価 で再現するという観点では理にかなった方法である.

しかしながら, DA は 1 次元の評価指標であって，様々な誤訳を含む翻訳結果を評価するには不十分であ る. 例えば，「私は 1 万円支払った」という参照訳に 対して，(1)「私は 1 万円支払わなかった」，(2)「支払 い円 1 万した」，(3)「彼は財布を拾った」はいずれも 誤訳であることは確かだが，DA の枠組みでどう異な る評価値を付するかの判断は容易でない。また，(1) は一見して多くの訳語は正しいものの文意としては大 きく異なり，実用上深刻な誤訳といえる.こうした誤訳の識別は自動評価にとっては難しい課題である.

本研究では，「訳文の文意が読み取れるか」「訳文の 文意が参照訳と比較し誤解を招かないか」の二点に着目した分類型の翻訳評価を目指す.複数の視点によ る翻訳評価はかつて広く利用されていた 5 段階の流暢さ (Fluency) と忠実さ (Adequacy) に基づく人手評価 [7] や，NTCIR PatentMT の人手評価 [8] で採用された 5 段階の忠実さと受容度 (Acceptability), 多数の観点 を用いた評価指標である多次元評価 (Multidimentional Quality Metrics; MQM) [9] 等がある. 忠実さは文意の 伝達量に基づいており, 誤訳の影響を測るような定義となっていない，受容度は忠実さの評価が 5 で あった訳文についてのみ文法的な正しさや流暢さ を分類するものであり，深刻な誤訳を識別するには 適さない. 多数の観点は評価の詳細化のために有益 であるが，人手評価が煩雑になりやすい．また，本研究と独立に，Popović は同様の方針により解釈性 (Comprehensibility) と忠実さ (Adequacy) に影響を与え る語句を Major と Minor の二段階で分類する人手評価 アノテーションを実施している $[10,11]$. 語句単位で の評価アノテーションは誤り要因の同定に繋がり有益 であるものの，忠実さの面で語句単位の誤りが文意に 与える影響は明示的に考慮されていない. 本研究では 語句単位ではなく文単位での人手評価・自動評価を目的とし, 文意解釈性, 文意正確性 ${ }^{1)}$ に基づく文単位で の分類型翻訳評価を提案する。提案する評価方法で は，まず文意が読み取れるかを文意解釈性として評価 し，その読み取った文意が正しいかどうかを参照文と の比較によって文意正確性として評価する。

本稿では，上記の観点に基づく評価基準とそれに基 づく翻訳評価データセットの構築について述べ，この データセットを用いた自動評価実験の結果を示す.

## 2 分類型翻訳評価基準

提案する評価基準は流暢さ・忠実さと類似するが， それらがすべて段階的な設計となっていたのに対し，文意正確性については誤訳の分類のために段階的でな い分類型の設計を行った．以下，詳細を述べる。

1）過去の 5 段階評価に基づく「忠実さ」との混同を避けるため 本稿では異なる用語を用いる.

 \\

 \\

## 2.1 文意解釈性

表 1 に文意解釈性の評価基準を示す．従来の流暢さ の基準 [7] では最低の 1 が理解不能 (Incomprehensible) である他は流暢性のみが着目され，ARPA における機械翻訳評価 [12] で検討された解釈性の観点は考慮さ れていなかった. 本研究では流暢性と解釈性を一つの 基準で表現するため，(1) 表記や文法，言語表現の問題が訳文の解釈を不可能にしている場合 (F)，(2) 解釈 が不可能ではないが容易とは言い難い場合 (D), (3) 解釈が容易である場合 (B, A, および $\mathrm{S})$ の大きく 3 つに 分け，(3) については流暢性や文法適格性の影響の違 いで 3 段階，の 5 段階の基準とした.

## 2.2 文意正確性

表 2 に文意正確性の評価基準を示す. 従来の忠実さ の基準 [7] は意味内容がどの程度伝達されたか，とい う量的な尺度であったのに対して, 本研究では誤訳の 深刻さによる伝達内容の誤解リスクを評価基準の中心 とし，(1)そもそも内容が解釈できない場合 (N)，(2)誤訳により誤解を招き得る場合 $(\mathrm{O}, \mathrm{C}$, および $\mathrm{F})$ ，(3)表 3 人手評価におけるアノテータ間一致度 (Kappa 係数

( $\kappa$ およびラベル一致率 $(r))$

誤解の心配がない，もしくは軽微な場合 ( $\mathrm{B}, \mathrm{A}$, および S) の大きく3つに分け，(2) については誤訳のタイプ の違いで 3 種類, (3) については誤解を招く程度の違 いで 3 段階, の計 7 種類の基準とした.

## 3 評価データセットの構築と分析

文意解釈性と文意正確性に基づき作成した機械翻訳 の人手評価データセットについて詳細を述べる.

## 3.1 人手評価

本評価データセットは，WMT 2015 から WMT 2017 までの評価尺度 (Metrics) タスクのデータ（訳文・参照訳合計 9,280 文対，いずれも英語）を利用し，文意解积性と文意正確性のアノテーションを人手で付した ものである. アノテーションは英語への翻訳業務の経験を持つ 3 名のアノテータが独立に, 英語の訳文と参照訳のみを見る形で行った. Popović は原文との比較評価を行ったが，参照訳の品質に影響を受けない一方 で両言語に堪能な評価者を要し言語拡張性に劣る点が 問題といえる。

## 3.2 評価データセットの分析

構築した評価データセットをアノテータ一致度と DA スコアとの関係の二点で分析した.

## 3.2.1 アノテータ間一致度

表 3 にアノテータ間一致度を Kappa 係数 ( $\kappa$ ) とラべ ル一致率 $(r)$ で示す。一致度は十分高いとは言い難い が，過去の WMT 人手評価データ $[13,14]$ と同等程度 である. A-B や B-C で文意解釈性の一致度は文意正確性よりも低くなっているが，これはアノテータ B が $\mathrm{A}$ や より文意解釈性の評価が厳しかったこと（詳細 は付録の表 10-11参照）によるものと考えられる.

## 3.2.2 文意解釈性・文意正確性と DA スコアの関係

人手評価のラベルと DA スコアとの関係を各ラベル に対応する翻訳結果の DA スコアの平均と標準偏差で
表 4 評価ラベルに対する平均 DA スコア（文意解釈性）

表 5 評価ラベルに対する平均 DA スコア（文意正確性）

表したものを表 4, 5 に示す. 各ラベルに対応するDA スコア範囲はアノテータ間で若干異なるものの，おお まかな順序はほぼ同じになっていることが分かる．特 に順序尺度に近い設計となっている文意解釈性の各ラ ベルと文意正確性の $\mathrm{B}, \mathrm{A}, \mathrm{S}$ については DA スコアで もその優劣と一致する結果が得られている。

また，順序尺度となっていない文意正確性の $\mathrm{N}, \mathrm{O}$, $\mathrm{C}, \mathrm{F}$ の各ラベルについては, 無関係な内容を表す O が 最もDA スコアが低く, その次に理解不能な訳文を表 す Nが低くなっており， C や F は誤解を招くリスクが 高い深刻な誤訳でありながら DA スコアが O やNよ り平均的には高くなっている. DA スコアという一次元の尺度でこうした異なる種類の誤訳を識別すること には限界があり，読めない誤訳，読めるが全く無関係 な内容の誤訳，内容は一見類似しているが誤解を招く ような誤訳，文意の伝達にはあまり影響を与えないよ うな誤訳，を識別するためには，本研究のような複数 の評価観点と分類型の評価の導入が重要である.

## 4 自動評価実験

本研究で提案する分類型機械翻訳評価を自動化でき るかを検証するため，評価データセットをもとに以下 の自動評価実験を行った.

## 4.1 データ

評価データセットのうち WMT 2017 のデータに相当する 3,920 文対 (7 言語から英語への翻訳データが 言語対ごとに 560 文対）をテストセットとして利用表 6 自動評価実験での評価ラベル統計（文意解釈性）

表 7 自動評価実験での評価ラベル統計（文意正確性）

し, 残りのデータからランダムに選んだ 536 文対を開発セット，その残りの 4,824 文対を学習セットとして 利用した. 評価データセットには 3 名の異なるアノ テータによるラベルが付されているため，本実験では 以下のヒューリスティクスに基づいて単一のラベルを 選択して利用した。

・2名以上の付与したラベルが一致していればそれ を用いる

・ラベルの一致がなければ，最も悪い評価ラベルを 利用する. ラベルの順序は文意解釈性では $\mathrm{F}<\mathrm{C}$ $<\mathrm{B}<\mathrm{A}<\mathrm{S}$, 文意正確性では $\mathrm{C}<\mathrm{F}<\mathrm{N}<\mathrm{O}<\mathrm{B}$ $<\mathrm{A}<\mathrm{S}$ とする.

表 6,7 に学習・開発・テストセットにおける評価ラべ ルの統計を示す.

## 4.2 実験設定

本研究の自動評価は機械翻訳結果と参照訳を入力と し評価ラベルを予測する分類問題として定式化され る. 本実験では予測モデルは文意解釈性と文意正確性 で独立に学習した。

予測モデルの実装には HuggingFace Transformers ${ }^{2}$ と学習済みの RoBERTa モデル (roberta-large) [15] を利用し，RoBERTaの [CLS]トークンに対する最終層のベクトルを入力とする全結合層 1 層を用いた分類 モデルを構築し，交差エントロピーを損失関数として 学習を行った. ここで，表 6,7 でも明らかなようにラ

表 8 文意解釈性予測の混同行列. 全体の正解率は 0.578 .

表 9 文意正確性予測の混同行列. 全体の正解率は 0.600 .

ベル数には大きく偏りがあるため, 学習セット中のラ ベル数に反比例する重み $c$ を損失関数に付加した.

$
w_{c}=\sqrt{\frac{\max _{c^{\prime} \in \mathscr{C}} \operatorname{count}_{c^{\prime}}}{\operatorname{count}_{c}}}
$

ここで $\mathscr{C}$ はラベルの集合を， count $_{c}$ はラベル $c$ の学習データ中の出現回数を表す。

学習時には Adam [16] 利用し, 初期学習率 1e-5 で 30 エポックのミニバッチ学習を行った. ミニバッ チサイズは $(4,8,16)$, 追加全結合層のドロップアウト 率は $(0.1,0.3,0.5,0.75)$ を比較し，開発セットにおけ る分類精度が最も高くなるものを選択し，文意解釈性予測モデルはミニバッチサイズ 4 , ドロップアウト率 0.75 , 文意正確性予測モデルはミニバッチサイズ 8 , ドロップアウト率 0.5 を使用した.

## 4.3 結果

表 8,9 に文意解釈性, 文意正確性に対する予測の混同行列をそれぞれ示す.

文意解釈性の予測では，テストセットに対する分類精度は 0.578 であり, 学習セット, 開発セットに対す る分類精度はそれぞれ $0.999,0.647$ であった. 表 8 か ら分かるように，誤分類の多くは隣接するクラスに対 するもので，離れたクラス $(\mathrm{F} \rightarrow\{\mathrm{A}, \mathrm{S}\}, \mathrm{D} \rightarrow \mathrm{S}, \mathrm{A} \rightarrow$ $\mathrm{F}$, および $\mathrm{S} \rightarrow\{\mathrm{F}, \mathrm{D}\})$ へ 誤分類率は $0.43 \%$ と低い水準であった. 付録の表 12 には文意解釈性予測の適合率・再現率・F 值を示している。

文意正確性の予測では，テストセットに対する分類精度は 0.600 であり, 学習セット，開発セットに対す
る分類精度はそれぞれ $0.998,0.632$ であった. 出現回数の少なかったラベル (O および $\mathrm{C})$ の予測は重み付き 学習を行ったものの芳しくなく, これらの予測精度の 向上には誤訳例を学習データにより多く含めることが 必要であることが示唆される. 表 9 からはラベル $\mathrm{S}$ と 予測されたものの多く $(93.5 \%)$ は $\mathrm{S}$ または A とラベル 付けされた良い翻訳結果であることが分かり，一定の 有効性が認められる．しかしながら，F と B の間の混同，特に $\mathrm{F}$ のものを $\mathrm{B}$ と予測してしまう割合がかな り高いことから，より精緻な識別を可能にする手法や モデルが必要であると言える。付録の表 13 には文意正確性予測の適合率・再現率・F 値を示している.

## 5 おわりに

本稿では，機械翻訳による深刻な誤訳に着目した分類型翻訳評価に向けての本研究のアプローチを示し， それに基づく文意解釈性と文意正確性の評価基準，評価データセットの構築について述べ，また自動評価実験の結果を示した.

評価データセットは WMT の評価尺度タスクのデー 夕に対して人手で文意解釈性と文意正確性のラベルを 付与する形で構築した. 評価データセットの分析によ り, 従来用いられてきた DA スコアに基づく人手評価 は内容の矛盾等の深刻な誤りを含むような訳文よりも 無関係な訳文や理解不能な訳文を低く評価しており，深刻な誤訳の識別には十分でないことが明らかになっ た.また，本データセットを利用した自動評価実験で は，文意解釈性・文意正確性ともおよそ $60 \%$ の分類精度で評価ラベルの予測ができることを示した. 本デー タセットは別途 Web サイド年で公開予定である.

今後は WMT の評価尺度タスク以外のデータに対し ても同様の人手評価を行った評価データセットの構築 を予定している。また，ラベルの偏りへの対応として のデータ拡張，特に誤訳例の拡張が重要な課題と言え る. Popović のような語句単位の評価と本研究の文単位の評価の関係も精緻な評価や自動誤り箇所検出のた めに有用である。さらに，本研究で提案する分類型翻訳評価を NMT 学習時の目的関数に反映させ，深刻な 誤訳の生じにくいNMT の実現を目指したい.

## 謝辞

本研究は JST さきがけ (JPMJPR1856) の支援を受け たものである.

## 参考文献

[1] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a Method for Automatic Evaluation of Machine Translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[2] 嶋中宏希, 梶原智之, 小町守. 事前学習された文の分散表現を用いた機械翻訳の自動評価. 自然言語処理, Vol. 26, No. 3, pp. 613-634, 2019.

[3] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. BERTScore: Evaluating Text Generation with BERT. In International Conference on Learning Representations, 2020.

[4] Wei Zhao, Maxime Peyrard, Fei Liu, Yang Gao, Christian M. Meyer, and Steffen Eger. MoverScore: Text Generation Evaluating with Contextualized Embeddings and Earth Mover Distance. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 563-578, Hong Kong, China, November 2019. Association for Computational Linguistics.

[5] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning Robust Metrics for Text Generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7881-7892, Online, July 2020. Association for Computational Linguistics.

[6] Yvette Graham, Timothy Baldwin, Meghan Dowling, Maria Eskevich, Teresa Lynn, and Lamia Tounsi. Is all that Glitters in Machine Translation Quality Estimation really Gold? In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 3124-3134, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[7] LDC. Linguistic Data Annotation Specification: Assessment of Fluency and Adequacy in Translations Revision 1.5, January 25, 2005 . Technical report, Linguistic Data Consortium, 2005.

[8] Isao Goto, Bin Lu, Ka Po Chow, Eiichiro Sumita, and Benjamin Tsou. Overview of the Patent Machine Translation Task at the NTCIR-9 Workshop. In Proceedings of NTCIR-9 Workshop Meeting, pp. 559-578, 122011.

[9] Arle Richard Lommel, Aljoscha Burchardt, and Hans Uszkoreit. Multidimensional Quality Metrics (MQM): A Framework for Declaring and Describing Translation Quality Metrics. Tradumàtica: tecnologies de la traducció, No. 12, pp. 455-463, 122014.

[10] Maja Popović. Relations between comprehensibility and adequacy errors in machine translation output. In Proceedings of the 24th Conference on Computational Natural Language Learning, pp. 256-264, Online, November 2020. Association for Computational Linguistics.

[11] Maja Popović. Informative Manual Evaluation of Machine Translation Output. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 5059-5069, Barcelona, Spain (Online), December 2020.
International Committee on Computational Linguistics.

[12] John S. White, Theresa A. O'Connell, and Francis E. O'Mara. The ARPA MT Evaluation Methodologies: Evolution, Lessons, and Future Approaches. In Proceedings of the First Conference of the Association for Machine Translation in the Americas, Columbia, Maryland, USA, October 5-8 1994.

[13] Chris Callison-Burch, Cameron Fordyce, Philipp Koehn, Christof Monz, and Josh Schroeder. (Meta-) Evaluation of Machine Translation. In Proceedings of the Second Workshop on Statistical Machine Translation, pp. 136158, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[14] Michael Denkowski and Alon Lavie. Choosing the Right Evaluation for Machine Translation: an Examination of Annotator and Automatic Metric Performance on Human Judgment Tasks . In Proceedings of the Ninth Biennial Conference of AMTA 2010, 2010.

[15] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint 1907:11692, 2019.

[16] Diederik P. Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In Proceedings of the Third International Conference on Learning Representations, 2015.

## A 人手評価分析

表 10， 11 は本稿で述べた評価データセットにおい て各アノテータが付した文意解釈性および文意正確性 ラベルの分布を示している.

表 10 各アノテータのラベル分布（文意解釈性）

表 11 各アノテータのラベル分布（文意正確性）

## B 自動評価

表 12，13 は文意解釈性および文意正確性の自動評価実験における，ラベル予測の適合率・再現率・F 值 を示している.

表 12 文意解釈性予測の適合率，再現率， $\mathrm{F}$ 值

表 13 文意正確性予測の適合率，再現率， $\mathrm{F}$ 値


# A Span Extraction Approach for Dialog State Tracking: A Case Study in Hotel Booking Application

Hongjie Shi
Megagon Labs, Tokyo, Japan, Recruit Co., Ltd.
shi.hongjie@megagon.ai

## 1 Introduction

Traditional dialog state tracking is often formulated as a classification problem, where the dialog state is predicted as a distribution over a closed set of possible slot values within an ontology [1]. By doing so, the tracked dialog state which is a summary of current conversation, can be directly used for backend database querying or API calls in dialog system applications [2]. For example, a virtual assistant that helps users to book hotels, may fill a slot price_range with three possible values - high / low / intermediate defined by the query parameters of the backend hotel database. However, this classification approach of dialog state tracking may have two main disadvantages. First, the system will not be able to handle any unseen values beyond the predefined value set. While building a classifier that covers all possible values will result in impractical annotation and training cost. Second, we see that many modern designed databases [3] and search engine API can take direct natural language input as the search query. A predefined value set will limit the user query space and cause the matched results lack of variety.

To overcome these limitations, in this paper we explore the possibility of a span-extraction approach for the dialog state tracking, where the values are no longer constrained in a predefined set, but can be any string form as appeared in the dialog. The application of this approach is illustrated in Figure 1. We formulated our task as a multiclass multi-span extraction problem, with a goal to identify all contiguous spans along with its slot type from current user utterance. In this paper, we performed a particular case study on hotel booking domain, and set up 12 slot types that cover most common hotel requirement categories. In our system, the extracted spans (or the slot values) are then used as input search queries for different backend systems. The contribution of this paper is to initiate a new case study on this span-extraction dialog state tracking, and propose a simple BERT based approach for multi-slot multi-span extraction.

Figure 1: An example of span-extraction based dialog state tracking for hotel booking dialog system.

## 2 Related work

Free-form dialog state tracking Considering the limitation of traditional predefined slot values setup, freeform dialog state tracking that allow slots to be filled with any string value, have emerged in recent years. In one task track of DSTC 8 [2], the authors set up a problem to fill slots like depart_date with any string value derived from conversation. Others like [4] proposed to use dynamic vocabularies to track possible values beyond the predefined set. However these problems or approaches are still limited in narrow ranges of slot value form, for example the value is usually either a specific named entity
(movie name, restaurant name), or in a very specific format (date, time). In contrast, our problem considers a more wide range of possible value forms and span lengths, including adjectives, verbs, short phrases or even sentences.

Span extraction based approach The span extraction based approaches for dialog state tracking tasks have also been proposed recently. In the paper [1] the authors utilized a question answering (QA) model to predict slot value by directly pointing to the value span within the conversation. However the conventional QA model they used can not be directly applied to our multi-span extraction task, because the model output is restricted to a single answer span. On the other hand, multi-span QA models that capture multiple answer spans have also been proposed recently. In the paper [5] the author applied a sentence selection approach to identify all sentence-level spans, and in another paper [6] the authors casted the multi-span task as a sequence tagging problem. Our method resembles the latter approach, and we further extend the model with multi-label classification, as to extract spans for different slot types at the same time.

## 3 Dataset

The dialog corpus (Japanese) we used in this paper are the same corpus as our previous paper [7]. The data are collected between pairs of crowd workers who played travel agent and user roles respectively. The data contains 879 dialogs with 24963 agent and 11792 user utterances in total.

Annotation The span annotations are done for each user utterance in three steps:

1. Identify all span ranges for each user utterance.

2. Label each continuous span with one of the 12 slot types.

3. Label each span with Negation flag if the span represents a negation.

The length of span is determined so that each span has minimal string length that can be used as an independent hotel search query. The 12 slot types represent the common categories of the user requirement for the hotels, as shown in the y-axis label in Figure 2.
Count of annotated spans for each slot type

## Figure 2: Distribution of annotated spans over 12 slot types.

Negation flag The Negation flag is used for a negative match in the database and it can be overlapped with any other of the 12 slot types. For example in the following utterance:

I don't like a room that is too cluttered.

あまりごみごみした部屋は好みではありません。

The span "too cluttered" is labeled with the slot type Room and the Negation flag simultaneously. In this paper we treat the Negation flag as one of the class along with 12 slot types, so that our problem can be framed as a multilabel classification.

Span statistics There are 12244 spans (including Negation) annotated among 6898 user utterances with average 1.8 spans for each utterance. The average span length is 5.3 characters with the shortest contains 1 and the longest contains 43 characters. The slot distribution of spans is shown in Figure 2.

## 4 Experiments

## 4.1 Models

The BERT based pre-training fine-tuning approach has achieved great success in almost all types of natural language processing tasks. In our experiment we also chose BERT as our start point. We incorporated BERT with a token classification head on top (a linear layer on top of the hidden states output), so that the model outputs a series of token-wise labels. This BERT architecture is
also used for other sequence labeling tasks such as Named-Entity-Recognition [8]. One modification we have done to the model is that we replace the output softmax to the binary sigmoid, so that each token can be associated with any number of labels. By doing so, we can train the Negation as one class along with the 12 slot types, and also do not need to add a dummy 'Outside/None' class for any non-span tokens.

Pre-training We compared two pre-trained BERT in our experiment. The first model is the one published in paper [9], which is pre-trained with Japanese wikipedia containing 18 million sentences. We call this model the general model. The second one is an in-domain model pretrained with 20 million sentences of hotel reviews extracted from hotel booking site jalan.net. The pretraining details are described in paper [10]. Both models have $32 \mathrm{k}$ vocabulary built with Juman $++^{\mathrm{i}}$ as the Japanese tokenizer and BPE as the subwork tokenizer. And both use 12 layers configuration as the original BERT-base configuration.

## 4.2 Experimental Setup

We split all user utterances into the training, validation and test dataset with portions of $70 \%, 15 \%$ and $15 \%$ respectively, where the training set contains 8254 user utterances and the valid / test set contains 1769 user utterances. The validation dataset is used for tuning the learning rate during training: the initial learning rate is set 0.00005 and if the loss for the validation dataset increased compared to the previous epoch, the learning rate is decayed by a rate of 0.7 . The total training epochs is 7 and batch size is 32. For the model implementation, we use the transformers package from Hugging Face ${ }^{\mathrm{ii}}$. We also apply the binary sigmoid instead of softmax in the output layer for multi-label output, and correspondingly modify the loss function to binary cross entropy.

Metrics The F-score used for evaluation is calculated token-wisely as following: If we represent the spans in a $n$-token sentence using a vector $\boldsymbol{y}=\left(y_{1}, y_{2}, \ldots, y_{n}\right)$, where $y_{k}$ is a binary digit with value of 1 if the $k$-th token is in the span, 0 otherwise. Then the F1 score is

derived from harmonic mean of precision and recall as:

$
\text { Precision }=\frac{\boldsymbol{y} \cdot \widehat{\boldsymbol{y}}}{\sum_{k=1}^{n} \hat{y}_{k}}, \text { Recall }=\frac{\boldsymbol{y} \cdot \widehat{\boldsymbol{y}}}{\sum_{k=1}^{n} y_{k}}
$

where $\boldsymbol{y}$ is the true label and $\hat{\boldsymbol{y}}$ is the output of the model. To reduce the impact of the class imbalance, in evaluation we use the global average over all samples ignoring slot types (also known as micro-averaged F1).

## 5 Results

One clear conclusion from the result shown in Table 1 is that the in-domain BERT model outperforms the general model as large as almost $10 \%$, and this improvement is most significant in Recall. If we look at the detail score for each slot type (Figure 3), a trend can be noticed is that the slot types with less training data, the more performance improvement is gained. This is not a surprising result because intuitively in-domain pretraining can help downstream fine tuning tasks with prior in-domain knowledge, and this effect is more dominant when the number of training instances is limited. This is also a general observation reported in many other tasks such as [11] and [12]. One complete example of dialog with its model output can be found in Appendix Table 3.

Table 1: Overview of performance comparison

## 5.1 Error Analysis

In Table 2 we listed some typical error outputs from both models. From these examples, we can see that the indomain model is relatively better at capturing unseen domain-specific named entity (example \#1) and identifying indirect expression of negation (example \#2). On the other hand the error output tends to be overlong (example \#3) or with wrong slot types (example \#4). One possible reason is that the likely overfitting to the domain may cause the model too sensitive to certain phrases. And also, the ambiguous interpretation of slot types may cause

Figure 3: Comparison of accuracy for each slot type and Negation. Model details are described in Sect 4.1.

Table 2: Examples of error outputs (errors shown as red underlined).

 & Food: &  \\

a fluctuation in the annotation, such as the word "place" in example \#4 can be both interpreted as hotel and location. However for using as a search query, these errors seem to be minor because the impact on the search result will be limited.

Example \#5 exposes one limitation of our method, that is we do not include any dialog context in the model input. In this example, the user utterance is actually a response to the agent question "Where are you planning to come from?", and therefore should not be interpreted as the location of the hotel. One way to take the dialog context into account is to concatenate previous utterances to the input with additional segment embedding [8]. We include this improvement in our future work.

## 6 Conclusion

In this paper we studied a new span-extraction based dialog state tracking task, and proposed a BERT-based approach for multi-slot multi-span extraction. The proposed method allows a slot to take any form of value as it is mentioned within the conversation, and therefore provides a more dynamic dialog state for querying the backend systems. While in this paper we only focused on the extraction from current user utterance, we plan to expand the model to multiple turns, including reference resolution and slot value update, with a better integration of dialog context.

## Acknowledgements

We would like to thank Prof. Yuki Arase, Mai Aoki (IRALT) and other Megagon team members for their useful discussions and feedback.

## References

[1] Shuyang Gao, et al., "Dialog State Tracking: A Neural Reading Comprehension Approach," Proceedings of the 20th Annual SIGdial Meeting on Discourse and Dialogue, 2019.

[2] Abhinav Rastogi, et al., "Towards scalable multidomain conversational agents: The schema-guided dialogue dataset," Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 34. No. 05, 2020.

[3] Yuliang Li, et al., "Subjective Databases," Proceedings of the VLDB Endowment, 12(11), 2019.

[4] Rahul Goel, et al., "Hyst: A hybrid approach for flexible and accurate dialogue state tracking," Proc. Interspeech 2019, pp. 1458-1462, 2019.

[5] Ming Zhu, et al., "Question Answering with Long Multiple-Span Answers," Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: Findings, 2020.

[6] Elad Segal, et al., "A Simple and Effective Model for Answering Multi-span Questions," arXiv preprint arXiv:1909.13375, 2019.

[7] Hongjie Shi, "A Sequence-to-sequence Approach for Numerical Slot-filling Dialog Systems," Proceedings of the 21th Annual Meeting of the Special Interest Group on Discourse and Dialogue, 2020.

[8] Jacob Devlin, et al., "Bert: Pre-training of deep bidirectional transformers for language understanding," arXiv preprint arXiv:1810.04805, 2018 .

[9] 柴田知秀, 河原大輔, and 黒橋禎夫, "BERT に よる日本語構文解析の精度向上," 言語処理学会 第25 回年次大会発表論女集, 2019.

[10] 林部祐太, "知識の整理のための根拠付き自然文間含意関係コーパスの構築," 言語処理学会第 26 回年次大会発表論文集, 2020.
[11] Takeshi Sakaki, et al., "BERT Pre-trained model Trained on Large-scale Japanese Social Media Corpus," https://github.com/hottolink/hottoSNSbert, 2019.

[12] Chi Sun, et al., "How to fine-tune bert for text classification?," China National Conference on Chinese Computational Linguistics. Springer, Cham, 2019.

[13] 林部祐太, "要約付き宿検索対話コーパス," 言語処理学会第 27 回年次大会発表論文集, 2021.

## Appendix

Table 3: An example of complete dialog and its corresponding model output. Here we are using the dialog collected in [13]. The slot values appeared in Agent utterances are not extracted by current model (future work).

 & \\


# 提示候補とクエリの差分を用いた チャットボットの新規問い合わせ抽出手法

戸田隆道
株式会社 AI Shift
toda_takamichi@cyberagent.co.jp
友松祐太
株式会社 AI Shift
tomomatsu_yuta@cyberagent.co.jp
杉山雅和
株式会社 AI Shift
sugiyama_masakazu@cyberagent.co.jp

## 1 背景

近年カスタマーサポートの分野においてチャット ボットによるサポートが注目を集めており、メール にはない返信のリアルタイム性や電話と比べた際の 気軽さから、現在多くの企業で導入されている。加 えて、これまで人間のカスタマーサポートオペレー ターが対応していた問い合わせをチャットボットに よる自動応答で代替することで、人手の工数を削減 することが期待されている。一方で、チャットボッ 卜自体を運用するためのメンテンナンス作業に人手 を掛ける必要があるという課題がある。

メンテナンス作業の中でも特に人手を掛ける必要 があるのは回答候補の再設計である。これは回答ま でたどり着けず、途中で離脱してしまったユーザー のクエリを、正しい回答に紐付ける作業である。大 きく分けて既存の回答に紐付ける場合と、新規に回答を作成して紐付ける場合の 2 通りのパターンが存在する。我々はこれまでに前者に関して、作業を効率化するために発話のクラスタリングを行う手法の 分析 [1]・提案 [2] やその実装 [3], [4]、完全自動化の ための分析 [5] などを行ってきた。今回の研究では 後者の新規に回答を作成して紐付ける場合に関し て、効率化の手法を提案する。加えて実際のカスタ マーサポートで利用されているチャットボットのロ グに適用して評価する。

## 2 関連研究

以前我々は回答候補の再設計の効率化として発話 のクラスタリングを行う手法の提案 [2] を提案した。 この手法は対話ログのクラスタリングを行い、類似 する問い合わせをまとめる。加えて重要度スコアを計算し、まとめられた問い合わせの中で代表的なも のを抽出する。これにより作成の手間が大幅に減る ことに加え、問い合わせのボリュームゾーンもわか るので、頻出する問い合わせから優先度をつけて回答ペアの作成に取り組むことができるようになった [3]。だが、これらの手法では新規に回答を作成して 紐付ける場合は考慮されていない。

用意された回答の中に無い問い合わせを作成する 手法として中西らの研究 [6] がある。この手法は文章間の類似度を算出し、類似度が高い文章間の質問 を入れ替えることで回答のない質問を作成してい る。加えて単語べクトルの $\cos$ 類似度や BLEU スコ アを用いてその問題の難易度も算出している。

チャットボットが対話の中で未知の話題について ユーザーに問いかける手法として Reshmi らの研究 [7] がある。この手法は対話の中でチャットボット が自発的に未知語に対してユーザーに質問をしてボ キャブラリーを増やしていく。

## 3 提案手法

今回我々が提案する新規回答の作成効率化の手法は、ユーザーの問い合わせ履歴から新規回答を作 るべき問い合わせを抽出し、グループ化して提示す る。この手法は大きく4つの手順で実行される。

1. 回答提示に失敗している問い合わせを抽出

2. 提示回答との単語の差分を抽出

3. 抽出された差分単語がキーワードである問い合 わせを抽出

4. キーワードとその係り受けの ROOT でグルーピ ング

以下より各手順の詳細について説明する。

## 3.1 回答提示に失敗している問い合わせの 抽出

チャットボットに問い合わせを行うと、チャット ボットは回答候補の中から問い合わせに近いと思 われる候補を 1 つないし複数提示する。ユーザーに 「提示された回答では抱える問題を解決できない」 と判断された場合、ユーザーは別の文言で再検索す るか対話から離脱することが想定される。

我々の提供するチャットボットプロダクト AI Messenger ${ }^{1)}$ ではこの部分のフィードバックを適切に とるために、提示候補に加えて「この中にはない」 という候補を提示している。本手法ではこの「この 中にはない」を選択された問い合わせを回答提示に 失敗している問い合わせとして抽出する。

## 3.2 提示回答との単語の差分の抽出

前節の手順で抽出された回答提示に失敗している 問い合わせについて、実環境で利用されたログを分析すると、正しく回答を提示出来ていたのではない かと思われるログがある。以下に、ある決済系サー ビスで抽出された例を表 1 に示す。尚、一部の単語 はデータ取り扱いの都合上マスキングしている。

表 1 問い合わせ $\mathbf{Q}$ に対して正解と思われる提示回答 $\mathbf{A}$

このようなログが溜まってしまう原因として、特 に困りごとの無いユーザーがテスト的にチャット ボットを使ったことが考えられるが、今回の手法で はこういったデータは除外したい。

そこで提示候補全てと問い合わせを単語分割した 上で名詞と動詞の終止形に絞り、単語の差分を考え る。問い合わせに含まれる単語が全て提示候補に含 まれている場合は上記で示したような、「この中に はない」を選択されたが、正しく回答を提示出来て いたものとして除外されることを期待する。

## 3.3 抽出された差分単語がキーワードであ る問い合わせの抽出

これまでの手順で、正確に回答提示に失敗してい る問い合わせを抽出することができた。今回の手順

1) https://www.ai-messenger.jp/
ではこの問い合わせからキーワードを抽出する。 キーワード抽出には $\mathrm{GiNZA}^{2)}$ を用いた係り受け解析を利用する。

我々がこれまで多くのカスタマーサポートのデー タを分析した経験上、ユーザーの問い合わせは主語名詞にかかっている格助詞で以下の 3 パターンに分類されると考えている。

・「XXができない」のようなガ格系円キーワードは、格助詞の「が」がかかってい る XX

・「○○を $\triangle \triangle$ したい」のようなラ格系 キーワードは、格助詞の「を」がかかって いる $\bigcirc \bigcirc$

・「口ロにうえしたい」のようなニ格系

いる $\square \square$

このパターンで抽出されたキーワードが、前手順 で抽出された問い合わせと提示回答の単語の差分 (問い合わせに含まれるが提示回答に含まれない) と 一致する問い合わせを抽出する。

## 3.4 キーワードとその係り受けの ROOT で グルーピング

前手順で抽出されたキーワードと、その問い合わ せ文章の ROOT をキーフレーズとして、抽出され た問い合わせ群をグルーピングする。例えば「住所 の番地が表示されない」という問い合わせに関して は、格助詞「が」が掛かっている主語名詞の「番地」 がキーワードとなり、ROOT の「表示」と合わせて 「番地-表示」がキーフレーズとなる。

図 1 キーフレーズ抽出の例

キーフレーズでグルーピングされた問い合わせ郡 を、新規に回答を作成するための候補として運用者 に提示する。これにより、回答候補の再設計の作業 の効率が向上することが期待できる。

## 4 評価

我々の運用するチャットボットプロダクト、AI Messenger で実際に使用されたカスタマーサポート 向け用例ベースチャットボットのログデータに提案手法を適用する。ログデータは発話日時、発話種別

(ユーザーかチャットボットか)、発話内容、及び対話のユニーク IDをもっており、対象は決済系のド メインとオークションサイト系のドメインで、2020 年 10 月 1 日から 1 週間分の対話になる。

## 4.1 前処理

発話が 7 文字以上、 20 文字未満のものに絞った。文字数が少なすぎる場合は、単語のみで問い合せさ れている場合が多い。逆に文字数が多すぎる場合 は、メールの文章のような長文かつ複数の文章が問 い合わせられている場合が多い。これらはこれまで のチャットボット運用で得た知見で、どちらも係 り受け解析ができないため提案手法適用前に除外 する。

## 4.2 結果

提案手法を用いて抽出した結果を以下に示す。

## 4.2.1 決済系ドメイン

集計情報
- 対話数: 26952

・抽出キーフレーズ数: 39
- 抽出発話数: 92

図 2 決済系ドメインの抽出キーフレーズ数 (数が多いた め上位 5 件のみ)

抽出発話例 (キーフレーズ: いつ-使える)

・くサービス名>はいつ使えますか

・いつまでくサービス名>使えない？

・<サービス名>はいつ使えるか？

抽出発話例 (キーフレーズ: どこ-ある)

・ログイン画面はどこにありますか

・<機能名>ボタンはどこにありますか

## 4.2.2 オークションサイト系ドメイン

集計情報
- 対話数: 7150

・抽出キーフレーズ数: 5

$\cdot$抽出発話数: 15

図3オークションサイト系ドメインの抽出キーフレー ズ数

抽出発話例 (キーフレーズ: 番地-表示)

・番地が表示されない

・落札者の番地が表示されていない

・落札者情報に番地が表示されていない

## 5 考察

抽出発話を見てみると、例えばオークションサイ ト系ドメインの「番地-表示」をキーフレーズとす るグループなど、適切なものが抽出できているよう に見光、概ね提案手法はうまく働いていると思われ る。 3.3 節で分類された格助詞による分類だが、こ れらはさらに文章の構成要素から「○○は何です か？」のような質問系や「XX ができない」のよう な不可能系など、より詳細なカテゴリに分類できる ため、本手法の発展として、より詳細なグルーピン グを行えることが期待できる。

## 5.1 抽出割合について

抽出率は $0.14 \sim 0.20 \%$ となっている。この値は チャットボットの運用を継続するに従って下がって いくと予想できる。今回適用した 2 つのドメインは 1 年以上継続してチャットボットを運用していたた め、回答が十分に成熟しており、新規に回答を作成 すべき問い合わせが少なかったのではないかと考え られる。

## 5.2 突発的な問い合わせの増加について

決済系ドメインの「いつ-使える」をキーフレーズ とするグループだが、こちらは、発話例文中にある サービスが、ちょうどログの期間中障害で停止して いたため、このような問い合わせが多く来ていたよ うだった。このように、障害や特定の期間のイベン トの影響で、普段されない問い合わせが突発的に増 えることが予想できる。

## 5.3 場所を聞く疑問詞

決済系ドメインの「どこ-ある」をキーフレーズと するグループだが、これらはサービスの UI に難点 がある場合に多く問い合わせられるのではないかと 考えられる。今回の例では件数が少ないが、同じも のに関して多くの問い合わせがある場合にUIを完全するなど、カスタマーサポートだけでなく、サー ビスの改善にも活用出来るのではないかと期待で きる。

## 6 おわりに

本稿では、チャットボットのメンテンナンス作業 を効率化するため、メンテナンス作業の中でも特に 人手をかける必要があるのは回答候補の再設計のう ち、新規に回答を作成して紐付ける場合に関して、効率化の手法を提案した。加えて実際のカスタマー サポートで利用されているチャットボットのログに 適用した。

概ね良い結果を得られたが、運用時間経過に伴う 抽出割合の変化や突発的な問い合わせの増加など、 ログの期間やドメインの種類などより詳細な分析が 必要だと思われる。またキーフレーズが「どこ-あ る」のグループは UI 変更などのサービス改善にも 役立つことが期待できる。

今後は、我々の運用システム [3], [4]への実装も視野に入れてより詳細な分析を続けたい。

## 参考文献

[1] 戸田隆道, 黒岩稜, 杉山雅和, 友松祐太. チャットボッ 卜運用における対話クラスタリング. 言語・音声理解 と対話処理研究会, No. 2, pp. 91-92, 2019.

[2] 戸田隆道, 杉山雅和, 友松祐太. チャットボット運用に おける新規問い合わせ候補の抽出. 言語処理学会第 26 回年次大会 発表論文集, 2020.

[3] 戸田隆道, 杉山雅和, 友松祐太. チャットボット運用効率化のための新規問い合わせ候補抽出システム. 人工知能学会 第 34 回全国大会 発表論文集, 2020.
[4] 友松祐太, 戸田隆道, 杉山雅和. Ai チャットボットの ためのチューニング支援システム. 言語・音声理解と 対話処理研究会, No. 2, pp. 30-32, 2020.

[5] 戸田隆道, 杉山雅和, 友松祐太. 自動質問応答における 連続発話からの類義クエリ抽出. 言語・音声理解と対話処理研究会, No. 2, pp. 91-95, 2020.

[6] 中西真央, 小林哲則, 林良彦. 答えのないことを答える machine reading comprehension. 言語処理学会第 24 回年次大会 発表論文集, 2018 .

[7] S RESHMI and KANNAN BALAKRISHNAN. Implementation of an inquisitive chatbot for database supported knowledge bases. SADHANA, Vol. 41, No. 10, pp. 11731178,2016