# 単語埋め込みの決定的縮約

仲村祐希 1 鈴木潤 1,2 高橋諒 1,2 乾健太郎 1,2
1 東北大学 2 理化学研究所
yuki.nakamura.r1@dc.tohoku.ac.jp,
\{jun.suzuki, ryo.t, inui\}@ecei.tohoku.ac.jp

## 1 はじめに

自然言語処理分野の多くのタスクで，深層学習に よる方法論が成功を収めている。自然言語処理タス クで主に処理対象となる文章を深層学習により処理 する場合，文字や単語などの離散的な記号を連続的 な数值に変換する必要がある. その橋渡しとして用 いられるのが単語埋め込みの技術である. つまり,深層学習に基づく自然言語処理において単語埋め込 みは，必要不可欠な要素技術に位置付けられる。ま た，それ故に単語埋め込みの機能拡張や性能向上は 様々な方法論に寄与する波及効果の高い研究成果に なることが期待できる。

単語埋め込みの改善の代表的な研究トピックとし て，必要記憶容量の削減に関する研究がこれまで多 く取り組まれてきた $[1,2,3,4,5,6,7]$. これは, 語彙数が大きい場合に，単語埋め込みを保持するため に必要な記憶容量が比較的大きくなるため, 結果と して深層学習のモデルの中でも非常に大きな容量を 占めることがしばしばおこることに起因する．単語埋め込みの必要記憶容量削減には, 似た単語には似 たべクトルが割り当てられているという性質を利用 して，似ている単語間で効果的にパラメータを共有 する方法論が現在主流である $[2,4,5]$. その代表的 な方法論として，単語埋め込みを離散符号とコード ブックに分解し記憶容量を削減する手法が知られて いる. さらに，この離散符号と基底ベクトルを深層学習により同時学習する手法が提案されており, 高 い圧縮率を達成している. これらの方法論は記憶容量の削減の観点では成功しているが, 学習時の最適化関数は局所解があることやサンプリングを必要と することなどの複数の要因により, 完全に同じデー タ, 同じ手順を用いたとしても, 得られる離散符号 が毎回異なるという性質を持つ.

そこで，本研究では離散符号を決定的アルゴリズ ムにより獲得する方法を提案し，その性能を検証す
る. 元の単語埋め込み行列の特徴を保持したまま離散符号を獲得することで，似た単語には似た離散符号が割り当てられるように獲得する。この方法で獲得できる離散符号は乱数によらず決定的に求まり,再現性の面で優れている。また，この方法によって 獲得する離散符号に適した効果的な基底べクトルの 合成方法も合わせて提案する。

## 2 関連研究

単語埋め込み行列を離散符号とコードブックに分解し記憶容量を削減する手法について様々な研究 がされてきている. Shu らは Gumbel-softmax トリッ クを用いることで，離散符号とコードブックを深層学習を用いて同時学習する手法を提案した [2]. ま た, Tissier らは単語埋め込み行列の記憶容量の削減 と演算の高速化を目指し，オートエンコーダで単語埋め込み行列をバイナリベクトルにエンコードする 手法を提案した [4]. さらに，Kim らは下流タスク の各単語の重要度に応じて, 離散符号長を合わせて 学習することで効率よく記憶容量を削減する手法を 提案した [5]. これらの既存研究は, 深層学習べー スで離散符号を獲得するため離散符号は乱数のシー ドによって異なる. 本研究での提案法は，決定的ア ルゴリズムで乱数のシードによらず，一意に定まる 離散符号を獲得するという点でこれらの手法とは異 なる。

## 3 提案手法

提案手法は離散符号の獲得（3.1 節）とコードブッ クの学習（3.2 節）の二つの処理で構成される。離散符号を決定的に獲得するためのアイデアは，1 次元 $K$ 平均法の最適解は一意に定まり，かつ，動的計画法により多項式時間で求まる [8]，という特徴を離散符号の獲得に利用することである. すなわち，(1)単語埋め込み行列をある 1 次元で切り出し, (2) 1 次元 $K$ 平均法により各単語のクラス番号としての離

散符号を獲得する。(1)を異なる次元で $M$ 回繰り返 すことで，各単語に対して $M$ 個の離散符号を得る.

また，単語埋め込みは冗長性が多く，全ての次元 を使うのは記憶容量を削減する上で効率が悪い. そ こで，主成分分析を用いて単語埋め込み行列の次元削減も合わせて活用する. 最終的に，主成分分析で 削減した行列の各列ベクトルに対して 1 次元 $K$ 平均法を繰り返し適用し離散符号を獲得する。主成分分析も決定的な処理であるため， 1 次元 $K$ 平均法と合 わせて一意に定まる離散符号が得られる。

## 3.1 離散符号の獲得：アルゴリズム

離散符号を獲得するアルゴリズムを Algorithm 1 に示す. まず，記憶容量の削減対象の単語埋め込み 行列を $\boldsymbol{E} \in \mathbb{R}^{|V| \times H}$ とする. 前述の通り, まず単語埋め込み行列 $\boldsymbol{E}$ の平均が 0 , 分散が 1 になるように 規格化し (Normalization), $\bar{E}$ を得る. その後， $\bar{E}$ に 対して主成分分析 (PCA) を適用し主成分得点の行列 $\tilde{\boldsymbol{E}} \in \mathbb{R}^{|V| \times M}$ を得る. この行列 $\tilde{\boldsymbol{E}}$ の各列べクトルを 対象に 1 次元 $K$ 平均法 (1dKmeans) を適用し列べク トルに含まれる $|V|$ 個の要素 (スカラー値) のクラス タリングを行う．また，この処理を $M$ 個の列べク トルに対して先頭から順番に実行する。このとき，各 1 次元 $K$ 平均法で得られたクラス番号を単語に 割り振られた離散符号とみなすことができる。よっ $\tau$, 最終的には各 1 次元 $K$ 平均法で $i$ 番目の要素に 割り振られた $M$ 個のクラス番号を並べたものを $i$ 番目の単語に割り振られた離散符号とする。つまり，次元削減後の次元数を $M$ ，クラスタの数を $K$ とする と離散符号は $\boldsymbol{C} \in\{1,2, \ldots, K\}^{|V| \times M}$ と表現できる.

この手法は，各単語埋め込みを順序を保持したま

ま格子点上に埋め込み直していると考えることがで きる。そのため，十分に元の特徵を保持したまま離散符号化することができ，獲得した離散符号には，似たような単語には似たような離散符号が割り当て られていることが期待できる.

## 3.2 コードブックの定義と学習

獲得した離散符号に対して，元の単語埋め込み行列を再現するようにコードブックを学習する．本手法で獲得した離散符号には各次元毎に順序関係 が埋め込まれていると考え，コードブックとして 基底べクトルに離散符号に対応した重みをつけた ものを用いる．具体的には，ある単語 $w$ について 離散符号 $\boldsymbol{C}(w)=\left[C_{1}(w), C_{2}(w), \ldots, C_{M}(w)\right]\left(C_{i}(w) \in\right.$ $\{1,2, \ldots, K\})$ が与えられているとき，単語埋め込み の近似行列 $\boldsymbol{E}^{\prime} \in \mathbb{R}^{|V| \times H}$ を基底ベクトル $\boldsymbol{A} \in \mathbb{R}^{M \times H}$ と離散符号に対応する重み $\alpha \in \mathbb{R}^{M \times K}$ を用いて次の ように計算する。

$
\boldsymbol{E}^{\prime}(w)=\sum_{i=1}^{M} \alpha_{i, c_{i}(w)} \boldsymbol{A}_{\boldsymbol{i}}
$

この単語埋め込み近似行列と記憶容量削減対象の 単語埋め込み行列の誤差が小さくなるように学習を 行う。具体的には，基底ベクトル $\boldsymbol{A}$ と重み $\alpha$ のパラ メータを以下の誤差関数 $L$ が最小となるように学習 する。

$
L=\frac{1}{|V|} \sum_{w \in V}\left.\|\boldsymbol{E}(w)-\boldsymbol{E}^{\prime}(w)\right.\|^{2}
$

## 4 実験

本研究では，単語埋め込みの内的評価にあたる 単語類推タスク (Analogy)，単語類似性判定タスク (Similarity)，文穴埋めタスク (SentComp)の 3 つと，外的評価にあたる機械翻訳タスクを用いて実験を 行った. 実験では各タスクで一般的に用いられる評価指標の值とデータ圧縮比のトレードオフの観点で 提案法を評価した. データ圧縮比は記憶容量削減前 と記憶容量削減後の記憶容量の比である。なお，記

図 1 データ圧縮比に対する単語埋め込み評価タスクの 各評価指標の値の変化. 評価指標は Analogy と SentComp は正答率，Similarity はスピアマンの順位相関係数である。 Code の結果はコサイン類似度で評価しているため中心化 を行った結果を報告する。

憶容量は理論的に計算を行った。また，比較対象の ベースラインには Shu ら [2] の手法を用いた.

## 4.1 離散符号の獲得とコードブックの学習

提案法，および，比較手法である Shu らの方法で は離散符号を獲得するために，あらかじめ単語埋め 込み行列を用意しておく必要がある. 単語埋め込 みの評価タスクでは学習済み単語埋め込みである GloVe，機械翻訳タスクでは学習した深層学習モデ ルの埋め込み層のパラメータを記憶容量削減対象 として用いた. コードブックの学習は, 学習率は 0.0001，バッチ数は 256,1000 エポックで Adam を 用いてパラメータの更新を行った.また，コード ブックの学習の安定性のために基底べクトルの重み の初期値には離散符号を獲得したときのクラスの重心を用いた。

## 4.2 単語埋め込みの評価タスク

このタスクでは単語埋め込み行列から獲得した離散符号が単語埋め込み行列の情報を含んでいるかど うか調べるために, 単語類推タスク, 単語類似性判定タスク，文穴埋めタスクの実験を行った. 実験に は語彙数 400000, 300 次元の学習済み単語埋め込み の GloVe.6B.300d を用いた。

データセット： 単語類似性判定タスクでは 9つ $[9,10,11,12,13,14,15,16]$, 単語類推タスクでは 3 つ [17,18], 文穴埋めタスクでは 1 つ [17] のデータ セットを用いて実験を行った。

実験結果： 実験の結果を図 1 , 表 2 に示す. Code は離散符号のみ，Real はコードブックを使って単語埋め込みを再構築した際の結果を示している。ま表 2 単語埋め込み評価タスクにおける評価指標の値を落 とさずに達成できるデータ圧縮比. acc は正答率， $\rho$ はス ピアマンの順位相関係数，ratio はデータ圧縮比を表す.

た，実際に獲得した離散符号を表 1 に示す.まず，全体の実験結果として提案法の Code がデータ圧縮比を上げたときの評価指標の低下が小さく良い結果 が得られている. 提案法の Code と Realを比較した ときに Code の方が良い結果が得られているのは，離散符号の方がコードブックに対して占めている記憶容量が大きく情報量が大きいためだと考えられ る. 次に，Shu らの Code の Analogy が低い理由は,離散符号がどの基底べクトルを使用するかしか表現しておらず，コードの足し引きに意味がないため である。一方で，提案法の離散符号には順序関係が 存在するため Analogy で良い結果が得られている. これらのことから，提案手法により得られる離散符号には元の単語埋め込み行列の情報が十分に含 まれていることが確認された。また，提案手法が SentComp と Analogy でべースラインよりも高い結果が得られている理由について，似た単語に似た離散符号を割り当てたことにより正則化の効果が得ら れるためだと考えられる.

解の安定性： 既存手法の安定性を調べるため に，Shu らの手法を用いてデータ圧縮比を固定して 複数回単語埋め込み行列の記憶容量の削減を行い 評価を行った. 実験はデータ圧縮比 11 倍でコード ブックを使って単語埋め込み行列を再構築したもの を用いた．Shu らの手法で測定した評価指標の最大値と最小値の差は，Analogy では 1.29, SentComp で は 1.82, Similarity では 0.2 であった. 具体的な測定結果は付録 $\mathrm{A}$ に示す.このように深層学習べースに よる記憶容量の削減は乱数のシードによって結果が 大きく変化してしまう。一方で提案手法の離散符号 を用いた場合，乱数のシード值によらず得られる離散符号は決定的であるため結果の変化はない. よっ て離散符号の個数 $M$ と離散符号の種類数 $K$ を決め てしまえば，離散符号が決定的に獲得できるという 提案手法の特徵は大きな利点である.

図 2 データ圧縮比に対する BLEU スコアの変化.

## 4.3 機械翻訳タスク

ニューラルネットワークの埋め込み層に対して本手法の記憶容量の削減が有効であるかを確認するた めに，機械翻訳モデルの埋め込み層のパラメータに 対して記憶容量の削減を行い, データ圧縮比と翻訳精度の関係を調査した。

データセット： WMT 2016 英独翻訳タスク のデータセットを利用した. 検証データは newstest2013，テストデータは newstest2014を用いた. Byte pair encoding [19] を適用し, 語彙数は英語で 35856 語，独語で 35456 語となった.

実験設定： 機械翻訳モデルとして Transformer に基づくモデル [20] と，LSTM のエンコーダ部分を 双方向にしたモデル [21]を用いた. 基本的な学習設定は Ott ら [22] に従う. 詳細なハイパーパラメタは 付録 $\mathrm{C}$ を参照されたい．ただし，モデルのエンコー ダとデコーダのそれぞれの埋め込み層のパラメータ のデータ圧縮比を測定するため語彙の共有は行わ なかった. 各モデルの学習後に, 提案法および Shu らの手法によって埋め込み層の記憶容量の削減を 行った.

翻訳結果の出力にはビーム幅 10 のビーム探索 を用いた。評価指標としてテストデータに対する sacreBLEU [23] を報告する。

実験結果： 実験の結果を図 2，表 3 に示す。ま ず，LSTM の結果についてエンコーダ，デコーダ共 に提案手法の方がデータ圧縮比を上げても BLEU ス コアの低下が抑えられていることがわかる. 特にデ コーダについては BLEU スコアをほぼ落とさずに $(24.3 \rightarrow 24.1)$ 記憶容量を 199 分の 1 にすることがで きた. 次に, Transformer の結果についても同様に提案手法の方がデータ圧縮比を上げても BLEU スコ表 3 機械翻訳タスクにおけるスコアを落とさずに達成で きる圧縮比

アの低下が抑えられていることがわかる．LSTM と Transformer では LSTM の方がより記憶容量を削減 できることが確認された。

今回用いた LSTM の総パラメータ数は約 2.4 億, Transformer の総パラメータ数は約 2.9 億であり，各埋め込み層のパラメータの占める割合は LSTM では 約 15\%，Transformerでは約 13\% である．そのため，埋め込み層の記憶容量削減後でもモデルの必要記憶容量は依然として大きい．そこで，モデルのさらな る記憶容量の削減手法として 8-bit 量子化などがあ り，併用して適用することでさらにモデル全体の記憶容量を削減することが期待できる。

解の安定性： 提案手法と Shu らの手法を用い て, 複数回データ圧縮比 13 倍で記憶容量を削減し BLEU スコアの変化を測定した. 実験結果としてス コアの最大值と最小値の差は Shu らの手法は 0.7,提案手法は 0.1 であり, 提案手法の方が安定性が高 かった. しかし, データ圧縮比を上げると提案手法 でもスコアが変動し，安定性の低下が見られた。な お，具体的な実験結果は付録 B に示す.

## 5 おわりに

1 次元 $K$ 平均法および主成分分析を組み合わせた 決定的アルゴリズムによる単語埋め込みに対する離散符号の獲得手法を提案した。また，得られた離散符号に適した効果的な基底べクトルの合成方法も合 わせて提案した. 本手法は，既存の手法と比較し離散符号を乱数のシードによらず決定的に獲得するこ とができるため, 再現性に優れている. 実験では本手法で獲得した離散符号には単語埋め込み行列の 情報が十分に含まれていることを実験で明らかに した.

## 謝辞

本研究の一部は，JSPS 科研費 JP19H04162，及び JSPS 科研費 JP18J20936 の助成を受けたものです.

## 参考文献

[1] Jun Suzuki and Masaaki Nagata. Learning compact neural word embeddings by parameter space sharing. In Subbarao Kambhampati, editor, Proceedings of the Twenty-Fifth International Joint Conference on Artificial Intelligence, IJCAI 2016, New York, NY, USA, 9-15 July 2016, pp. 2046-2052. IJCAI/AAAI Press, 2016.

[2] Raphael Shu and Hideki Nakayama. Compressing word embeddings via deep compositional code learning. In International Conference on Learning Representations, 2018.

[3] Shota Sasaki, Jun Suzuki, and Kentaro Inui. Subword-based Compact Reconstruction of Word Embeddings. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3498-3508, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Julien Tissier, Christophe Gravier, and Amaury Habrard. NearLossless Binarization of Word Embeddings. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, No. 01, pp. 7104-7111, jul 2019.

[5] Yeachan Kim, Kang-Min Kim, and SangKeun Lee. Adaptive Compression of Word Embeddings. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3950-3959, Stroudsburg, PA, USA, 2020. Association for Computational Linguistics.

[6] Sho Takase and Sosuke Kobayashi. All word embeddings from one embedding. In Hugo Larochelle, Marc'Aurelio Ranzato, Raia Hadsell, Maria-Florina Balcan, and Hsuan-Tien Lin, editors, Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual, 2020.

[7] Aliakbar Panahi, Seyran Saeedi, and Tom Arodz. word2ket: Spaceefficient word embeddings inspired by quantum entanglement. In International Conference on Learning Representations, 2020.

[8] Allan Grønlund, Kasper Green Larsen, Alexander Mathiasen, Jesper Sindahl Nielsen, Stefan Schneider, and Mingzhou Song. Fast Exact k-Means, k-Medians and Bregman Divergence Clustering in 1D. pp. 1-16, 2017.

[9] G. Miller and W. Charles. Contextual correlates of semantic similarity. Language and Cognitive Processes, Vol. 6, pp. 1-28, 1991.

[10] Herbert Rubenstein and John B. Goodenough. Contextual correlates of synonymy. Communications of the ACM, Vol. 8, pp. 627-633, 1965.

[11] Eneko Agirre, Enrique Alfonseca, Keith Hall, Jana Kravalova, Marius Paşca, and Aitor Soroa. A study on similarity and relatedness using distributional and WordNet-based approaches. In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 19-27, Boulder, Colorado, June 2009. Association for Computational Linguistics.

[12] Elia Bruni, Nam-Khanh Tran, and M. Baroni. Multimodal distributional semantics. Journal of Artificial Intelligence Research, Vol. 49, pp. 1-47, 2014.

[13] Kira Radinsky, Eugene Agichtein, Evgeniy Gabrilovich, and Shaul Markovitch. A word at a time: Computing word relatedness using temporal semantic analysis. New York, NY, USA, 2011. Association for Computing Machinery.

[14] Eric Huang, Richard Socher, Christopher Manning, and Andrew $\mathrm{Ng}$. Improving word representations via global context and multiple word prototypes. In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 873-882, Jeju Island, Korea, July 2012. Association for Computational Linguistics.

[15] Thang Luong, Richard Socher, and Christopher Manning. Better word representations with recursive neural networks for morphology. In Proceedings of the Seventeenth Conference on Computa- tional Natural Language Learning, pp. 104-113, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[16] Felix Hill, Roi Reichart, and Anna Korhonen. SimLex-999: Evaluating semantic models with (genuine) similarity estimation. Computational Linguistics, Vol. 41, No. 4, pp. 665-695, December 2015.

[17] Tomás Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In Yoshua Bengio and Yann LeCun, editors, 1st International Conference on Learning Representations, ICLR 2013, Scottsdale, Arizona, USA, May 2-4, 2013, Workshop Track Proceedings, 2013.

[18] Tomas Mikolov, Wen-tau Yih, and Geoffrey Zweig. Linguistic regularities in continuous space word representations. In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 746-751, Atlanta, Georgia, June 2013. Association for Computational Linguistics.

[19] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[20] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008. Curran Associates, Inc., 2017.

[21] Thang Luong, Hieu Pham, and Christopher D. Manning. Effective approaches to attention-based neural machine translation. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[22] Myle Ott, Sergey Edunov, David Grangier, and Michael Auli. Scaling neural machine translation. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 1-9, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[23] Matt Post. A call for clarity in reporting BLEU scores. In Ondrej Bojar, Rajen Chatterjee, Christian Federmann, Mark Fishel, Yvette Graham, Barry Haddow, Matthias Huck, Antonio Jimeno-Yepes, Philipp Koehn, Christof Monz, Matteo Negri, Aurélie Névéol, Mariana L. Neves, Matt Post, Lucia Specia, Marco Turchi, and Karin Verspoor, editors, Proceedings of the Third Conference on Machine Translation: Research Papers, WMT 2018, Belgium, Brussels, October 31 - November 1, 2018, pp. 186-191. Association for Computational Linguistics, 2018.

## A単語埋め込み評価タスクの安定性評価の実験結果

表 4 単語埋め込み評価タスクをランダムシードで複数回実験したときの評価指標の値の変化.

## B機械翻訳タスクの安定性評価の実験結果

## C 機械翻訳タスクの学習設定

学習率は Transformer は 0.0005 , LSTM は 0.001 とした. LSTM と Transformer 両方のモデルにドロップ率 0.3 のドロップアウトを適用した. GPU 4 台で分散学習を行い，GPU 1 台のバッチサイズは Transformer は 64, LSTM は 1 とした.また，パラメータの更新は Transformer は 10000 回，LSTM は 150000 回行った. LSTM に は勾配のクリップを 1.0 に設定した。また，最終的に得られたパラメータの直近 10 エポックのチェックポイ ントの平均をとった值を最終的なパラメータとして用いた。


# 階層コード表現を用いた上位下位関係の識別

水木栄
東京工業大学情報理工学院
sakae.mizuki@nlp.c.titech.ac.jp
}

岡崎直観
東京工業大学情報理工学院
okazaki@c.titech.ac.jp

## 1 はじめに

単語間の上位下位関係を表す語彙知識は，含意関係認識 [1] やテキスト生成 [2] など幅広いタスクで用 いられる。また, 多数の上位下位関係を階層構造に 集約すると，タクソノミを構築できる [3]. こうし た中で上位下位関係識別は, タクソノミの自動構築 を実現する基礎技術として位置付けられている [4].

タクソノミ構築を志向して上位下位識別タスクを 解くうえでは, 識別精度だけでなく, 推論結果が推移性や反対称性を満たすことが重要である [4]. 前者は単語分散表現と語彙知識を併用できる Semantic Specialization が, 後者は順序関係を定義可能な Order Embeddings が有望であるが, 両者を兼ね備えた手法 は提案されていない。

本研究では学習ずみ単語分散表現を階層性のある コード表現に変換して, 単語ぺアの上位下位関係ら しさを計量する方法を提案する. 提案手法により得 られた階層コードの例を, 付録 $\mathrm{A}$ の表 4 に示す.こ れにより, Semantic Specialization の長所である単語分散表現の活用と, Order Embeddings の長所である 推移性 ・ 反対称性の両立を志向する. また WordNet から得られる語彙知識を用いて学習することによ り，上位下位関係識別タスクにおいて既存手法を上回る性能が実現できることを報告する. 本研究の貢献は次の 3 点である. 分散表現を，階層性を備えた コード表現に変換する手法の提案. コード表現を用 いて, 単語ぺアの上位下位関係の程度を計量する手法の提案. 提案手法の上位下位関係識別タスクへの 有効性を，実験的に示したこと。

## 2 既存研究

上位下位関係識別とは, 与えられた単語ぺア, た とえば (animal,dog) が上位下位関係か否かを識別す るタスクである. 本研究の設定は, WordNet のよう な汎用的かつ大規模な語彙資源から得られる知識 を訓練データとする表現学習である. 獲得した表現
を直接用いて上位下位関係を推論する，同様の設定に従う既存研究は, Semantic Specialization, Order Embeddings の 2 つである. また, 本研究の提案手法 と関連性が深いのはコード学習の手法である.

Semantic Specialization とは, 語彙資源から得られ る単語間の意味関係を単語分散表現に反映する手法 の総称である. その長所は, 文脈類似性に基づく意味的類似度と, 語彙資源に基づく詳細な意味関係の 両方を獲得できることである．特に上位下位関係の 場合は, 分散表現のノルム長さにより意味階層を, コサイン類似度により関係の強さを表現する方法が 提案されている [5]. Vulic ら [6] はこの表現方法に 則 り, 上位下位 - 同義 - 対義関係の語彙知識を反映 した単語分散表現を得る手法を提案し，上位下位関係識別タスクで最高精度を報告している。

Order Embeddings[7] とは, 順序関係を定義可能な 表現形式または空間による埋め込み表現の総称であ る. その長所は, 順序集合の定義により推移性 ${ }^{1)}$ お よび反対称性 ${ }^{2}$ という，タクソノミが一般に有する 性質がおのずと満たされることである．既存研究で は確率分布 [8] や超直方体 [9] などを用いる手法が 提案されている.

コード学習とは, 連続空間上のベクトルを $\mathrm{M}$ 進 $\mathrm{N}$桁の離散ベクトルに変換する手法である.この手法 の長所は，連続空間上の類似性を維持したまま離散空間上でコンパクトな表現を得ることである．既存研究では, モデル圧縮 [10] やクラスタリング [11] に 応用されている。一方で, 本研究が目指す階層性を 備えたコードを学習する手法は提案されていない。

## 3 提案手法

## 3.1 階層コードおよび上位下位関係の定義

本論文の階層コードの定義は $\mathrm{M}$ 進 $\mathrm{N}$ 桁, ただし ひとたび 0 が出現したら後続桁はすべて 0 となる離

図 1 変換器のアーキテクチャ. 角丸は変数, 直角は関数, 点線は誤差逆伝搬なしを表す. 記号は数式に準拠

散ベクトルである.たとえば $[3,1,0,0]$ は階層コー ドである. 深さ $\mathrm{N} \cdot$ 最大幅 $\mathrm{M}$ の木構造は, 幅優先符号化により階層コードに変換できる. ここから直感的にわかるように，階層コードを用いて上位下位関係を定義できる. すなわちa) 上位より下位のほう が非ゼロ桁数が多く, かつ b) 非ゼロ桁の值がすべて 一致する関係であると定義すればよい. たとえば $([3,1,0,0],[3,1,7,0])$ は上位下位関係である.

## 3.2 変換器（エンコーダ）

変換器 (エンコーダ) は, 単語分散表現 $\boldsymbol{v}$ を 進 $\mathrm{N}$ 桁の階層コード $\boldsymbol{C}$ の確率分布 $P(\boldsymbol{C})$ に変換 する関数である. LSTM による再帰的計算および Gumbel-Softmax Trick [12] による擬似サンプリング を用いて, 下位桁が上位桁の值に依存するような関数をモデリングする. アーキテクチャの模式図を図 1 に掲載する。

$d$ 桁目の階層コードを表す確率変数を $C_{d}$ とする.階層コードの定義 3.1 より $C_{d}$ の条件付分布は

$
\begin{aligned}
& P\left(C_{d}=a \mid C_{<d}\right) \\
& =1\{a=0\} P\left(C_{d-1}=0 \mid C_{<d-1}\right) \\
& +P\left(C_{d}=a \mid C_{d-1} \neq 0, C_{<d}\right) P\left(C_{d-1} \neq 0 \mid C_{<d-1}\right)
\end{aligned}
$

と表される.つまりゼロを出力する確率は桁が 進むにつれて単調増加する. そこでLSTMを用 いて, $d-1$ 桁目がゼロでない場合の条件付確率 $P\left(C_{d} \mid C_{d-1} \neq 0, C_{<d}\right)$ のカテゴリカル分布パラメータ $\pi_{d}^{\prime}$ をモデリングする.

$
\begin{aligned}
\boldsymbol{\pi}_{d}^{\prime} & =\operatorname{Softmax}\left(\operatorname{Linear}\left(\boldsymbol{h}_{d}\right)\right) \\
\boldsymbol{h}_{d} & =\operatorname{LSTM}\left(\left[\boldsymbol{v} ; \operatorname{Linear}\left(\hat{\boldsymbol{c}}_{d-1}\right)\right], \boldsymbol{h}_{d-1}\right)
\end{aligned}
$

ここで $\boldsymbol{v}$ は単語分散表現, ; はベクトルの連結, Linear は線形変換層を表す.

$\hat{\boldsymbol{c}}_{d-1}$ は, $d-1$ 栓目の值の one-hot vectorを連続近似したものである. 訓練時は Gumbel-Softmax Trick

（式中 GS）による擬似サンプリング（ただし誤差逆伝搬はしない：式中 detach), 推論時はカテゴリカル 分布パラメータをパススルーで与える.

$
\hat{\boldsymbol{c}}_{d-1}= \begin{cases}\operatorname{detach}\left(\mathrm{GS}\left(\boldsymbol{\pi}_{d-1}\right)\right) & \text { 訓練時 } \\ \boldsymbol{\pi}_{d-1} & \text { 推論時 }\end{cases}
$

最後に, 式 1 に従って $\pi_{d}^{\prime}$ を補正し, 条件付確率 $P\left(C_{d} \mid C_{<d}\right)=\pi_{d}$ を求める.

$
\begin{aligned}
\pi_{d, 0} & =\pi_{d-1,0}+\left(1-\pi_{d-1,0}\right) \pi_{d, 0}^{\prime} \\
\pi_{d,>0} & =\frac{\left(1-\pi_{d, 0}\right)}{\left(1-\pi_{d, 0}^{\prime}\right)} \pi_{d,>0}^{\prime}
\end{aligned}
$

## 3.3 上位下位関係の計量

上位下位関係の計量は, 単語分散表現ぺア $\left(v^{s}, v^{t}\right)$ を変換した階層コード $\left(\boldsymbol{C}^{s}, \boldsymbol{C}^{t}\right)$ を用いる。ふたつの 階層コードを比較すると, その結果はかならず, 包含・一致・その他のいずれかになる．上位下位関係 の定義 3.1 より, 判定関数 RELATION は Algortithm 1 として実装できる. したがって上位下位関係にあ る確率 $P(s \prec t)$ は, 判定関数が包含 $(=1)$ を返す期待值となる。同様に，非上位下位関係の確率 $P(s \nprec t)$ は，判定関数がその他 $(=-1)$ を返す期待值となる.

$
\begin{aligned}
& P(s \prec t)=\underset{P\left(\boldsymbol{C}^{s}\right), P\left(\boldsymbol{C}^{t}\right)}{\mathbb{E}}\left[\operatorname{RELATION}\left(\boldsymbol{C}^{s}, \boldsymbol{C}^{t}\right)=1\right] \\
& P(s \nprec t)=\underset{P\left(\boldsymbol{C}^{s}\right), P\left(\boldsymbol{C}^{t}\right)}{\mathbb{E}}\left[\operatorname{RELATION}\left(\boldsymbol{C}^{s}, \boldsymbol{C}^{t}\right)=-1\right]
\end{aligned}
$

ただし実際には全桁の同時分布の期待值は扱えない ため，式 4 の擬似サンプルで近似的に計算する.

## 3.4 目的関数

変換器（エンコーダ）を最適化する際の目的関数 は, 上位下位関係の識別, 再構築損失, 非ゼロ桁数

と分散表現の相互情報量の重み付き和とする. 原理的には上位下位関係の識別のみを最適化すればよい が，再構築損失および相互情報量を補助的に併用す ることで，コードの分散を促す $[10,11]$.

$
L=L_{h}+\alpha L_{\text {reconst }}+\beta L_{\mathrm{mi}}
$

上位下位関係の識別に対する目的関数 $L_{h}$ は，ク ロスエントロピー誤差として定義する。

$
L_{h}=\sum_{s_{i}, t_{i}, y_{i} \in \mathbb{H}^{+} \cup H_{-}^{-}} y_{i} P(s \prec t)+\left(1-y_{i}\right) P(s \nprec t)
$

ただし $\mathbb{H}^{+}=\left(s_{i}, t_{i}, y_{i}=1\right)$ は, 語彙知識に含まれる 上位下位語ぺアである. また $\mathbb{H}^{-}=\left(s_{i}, t_{i}, y_{i}=0\right)$ は, $\mathbb{H}^{+}$から機械的に生成した非上位下位語ペアである (3.5 節で述べる).

再構築損失に対する目的関数 $L_{\text {reconst }}$ は, 階層コー ドから再構築した分散表現と, オリジナルの分散表現との L2 誤差として定義する。

$
\begin{gathered}
L_{\text {reconst }}=\sum_{i \in \mathbb{V}}\left.\|\hat{\boldsymbol{v}}_{i}-\boldsymbol{v}_{i}\right.\| \\
\hat{\boldsymbol{v}}=\frac{\|\boldsymbol{v}\|}{\left.\|\hat{\boldsymbol{v}}^{\prime}\right.\|} \hat{\boldsymbol{v}}^{\prime}, \hat{\boldsymbol{v}}^{\prime}=\sum_{d=0}^{N-1} \sum_{a=0}^{M-1} \hat{c}_{d, a} \boldsymbol{e}_{d, a}
\end{gathered}
$

ただし $\mathbb{V}$ は，単語分散表現の語彙である. また $\boldsymbol{e}_{d, a}$ は, $d$ 桁目の值 $a$ に割り当てた基底ベクトルである.基底ベクトルは他のモデルパラメータと同様に, 訓練時に最適化する.

非ゼロ行数と分散表現の相互情報量に対する目的関数 $L_{\mathrm{mi}}$ は, 階層コードから求まる非ゼロ桁数と,単語分散表現との相互情報量として定義する。

$
L_{\mathrm{mi}}=-\mathrm{I}(S ; V), S=\text { length }(\hat{\boldsymbol{C}})
$

ただし length(.) は, 非ゼロ桁数を返す関数である.

## 3.5 非上位下位語ペア（負例）の生成

語彙知識から得られるのは上位下位語ぺアのみで ある、そこで順序反転および乱択を用いて，個別の 上位下位語ペアから 5 つの非上位下位語ペアを生成 する. 順序反転は単語順序の交換, 乱択は片方の単語をランダムサンプリングした単語と交換する操作である. 乱択は, $30 \%$ の確率で分散表現の最近傍 100 語から, $70 \%$ の確率で全語彙からサンプリング する. 非上位下位語ペアの生成例を表 1 に示す.

## 4 実験

先行研究 $[5,6]$ に倣い, 分類タスク 3 種類: BLESS-hyponymy, WBLESS, BIBLESS および, ラン表 1 非上位下位語ペアの生成

キングタスク 1 種類: HyperLex を用いて提案手法を 評価する。これらの 4 つのタスク詳細および評価方法を付録 $\mathrm{B}$ に掲載した。また，提案手法のモデルの 学習における詳細な実験設定を付録 $\mathrm{C}$ に掲載した。

表 2 に，提案手法の性能および先行研究との比較 を示す. 提案手法は, 分類タスクにおいて高い性能 を示し, 特に BLESS-hyponymy および BIBLESS で は先行研究の最高精度をそれぞれ 1.4 ポイントおよ び 0.6 ポイント上回った. Nguyen ら [5] は本研究と よく似た語彙知識（WordNet から抽出した上位下位関係）を実験に用いているが，彼らの手法をべース ラインとすると，提案手法は 5 から 7 ポイントの性能改善を示している.また Vulic ら [6] の実験は上位下位に加えて同義・対義関係も利用しているが,提案手法は彼らと同程度あるいは 1 から 2 ポイント の性能改善を示している. これらの結果は, 語彙知識の量が同等ならば，提案手法は語彙知識を活用す る効率が高いことを示唆している.

一方，ランキングタスク（HyperLex）では提案手法は先行研究の最高精度を 10 ポイント以上下回っ た. この要因としては, 最適化に用いる目的関数 の影響が考えられる。提案手法は上位下位関係識別のクロスエントロピー誤差を最小化するため,正例は 1 , 負例は 0 に近づけようとする。一方で Athiwaratkun ら [8] やVulic らの手法ではヒンジ損失 を最小化するため, マージン以下の誤差は許容され る.また Vulic らの実験は, 前述のとおり同義・対義関係も用いることに留意が必要である.

## 5 考察

## 5.1 分類タスクの誤り分析

WBLESS およびBIBLESS の負例は，同位・全体—部分など様々な意味関係の単語ぺアから構成され ている。意味関係ごとに評価した性能を，表 3 に示 す. 提案手法は, 全体一部分関係および部分一全体関係の正解率が相対的に低いことがわかる. すなわ ち提案手法は (fox,mouth) や (radio,wire) のような単
表 2 提案手法の性能および先行研究との比較. 提案手法は 5 回の試行による平均および標準偏差（カッコ内の数値）を 報告.太字は先行研究の精度を上回る事例.

 & 0.86 & - & 0.512 \\

図 2 ランキングタスクの意味関係ごとの順位分布. 順位は全サンプル数で正規化. 意味関係のカッコ内の数值は上位語・下位語間のホップ数を表す

表 3 分類タスクの意味関係ごとの性能（正解率）

語ペアを，上位下位関係と誤認しやすいのである. なお WBLESS の部分一全体関係は精度が高いこと から，全体語を部分語よりも意味階層の上位だと捉 える（=非ゼロ桁数を少なくする）ことはできてい るが, 誤って同一のコードを割り当ててていること が示唆される. この要因としては, 非上位下位語ぺ アの生成で全体一部分関係が出現しにくいことが考 えられる. 乱択により生成される単語ぺアは無関係 または意味的類似性が高いかのいずれかだが，全体—部分関係は必ずしもこれらに当てはまらない.

## 5.2 ランキングタスクの誤り分析

HyperLex の単語ペアは（xBLESS と同様に）様々 な意味関係の単語ぺアから構成されている. 意味関係ごとにランキング順位の分布を可視化した結果 を，図 2 に示す. 提案手法は，上位一下位・同義 $\cdot$下位一上位については, 平均的には正しい順序付け
ができているが，しばしば正解よりもばらつきが大 きいことがわかる. また対義関係については，上位下位らしさを過大評価していることがわかる.この 要因としては, 分類タスクの誤り分析と同様に, 非上位下位語ペアの生成で対義関係が出現しにくいこ とが考えられる. Vulic らの実験のように，対義関係を明示的な負例に用いることで，性能改善の余地 があるかもしれない.

## 6 まとめ

本研究では，単語分散表現を階層コード表現に変換して，コードを比較して単語ぺアの上位下位関係 らしさを計量する手法を提案した。また提案手法は 上位下位関係の分類タスクで既存手法を上回る性能 であることを報告した。また誤り分析からは全体—部分関係および対義関係の誤差が大きいことがわ かった。これらは手法そのものよりも, 非上位下位語ペアの与え方が要因になっている可能性がある. したがって, 提案手法をさらに多様なデータセット および語彙知識を用いて評価していきたい.

謝辞 本研究は JSPS 科研費 $19 \mathrm{H} 01118$ の助成を受 けた。

## 参考文献

[1] Ido Dagan, Dan Roth, Mark Sammons, and Fabio Massimo Zanzotto. Recognizing Textual Entailment: Models and

Applications. Synthesis Lectures on Human Language Technologies. Morgan \& Claypool Publishers, 2013.

[2] Or Biran and Kathleen R. McKeown. Classifying taxonomic relations between pairs of wikipedia articles. In Proceedings of the 6th International Joint Conference on Natural Language Processing, pp. 788-794, 2013.

[3] Georgeta Bordea, Els Lefever, and Paul Buitelaar. Semeval-2016 task 13: Taxonomy extraction evaluation (TExEval-2). In Proceedings of the 10th International Workshop on Semantic Evaluation, pp. 1081-1091, 2016.

[4] José Camacho-Collados. Why we have switched from building full-fledged taxonomies to simply detecting hypernymy relations. CoRR, Vol. abs/1703.04178, , 2017.

[5] Kim Anh Nguyen, Maximilian Köper, Sabine Schulte im Walde, and Ngoc Thang Vu. Hierarchical embeddings for hypernymy detection and directionality. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 233-243, 2017.

[6] Ivan Vulic and Nikola Mrksic. Specialising word vectors for lexical entailment. In Marilyn A. Walker, Heng Ji, and Amanda Stent, editors, Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1134-1145, 2018.

[7] Ivan Vendrov, Ryan Kiros, Sanja Fidler, and Raquel Urtasun. Order-embeddings of images and language. In Yoshua Bengio and Yann LeCun, editors, 4th International Conference on Learning Representations, ICLR 2016, San Juan, Puerto Rico, May 2-4, 2016, Conference Track Proceedings, 2016.

[8] Ben Athiwaratkun and Andrew Gordon Wilson. Hierarchical density order embeddings. In Proceedings of the 6th International Conference on Learning Representations, 2018.

[9] Xiang Li, Luke Vilnis, Dongxu Zhang, Michael Boratko, and Andrew McCallum. Smoothing the geometry of probabilistic box embeddings. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net, 2019.

[10] Raphael Shu and Hideki Nakayama. Compressing word embeddings via deep compositional code learning. In Proceedings of the 6th International Conference on Learning Representations, 2018.

[11] Weihua Hu, Takeru Miyato, Seiya Tokui, Eiichi Matsumoto, and Masashi Sugiyama. Learning discrete representations via information maximizing self-augmented training. In Proceedings of the 34th International Conference on Machine Learning, pp. 1558-1567, 2017.

[12] Chris J. Maddison, Andriy Mnih, and Yee Whye Teh. The concrete distribution: A continuous relaxation of discrete random variables. In Proceedings of the 5th International Conference on Learning Representations, 2017.

[13] Maximilian Nickel and Douwe Kiela. Poincaré embeddings for learning hierarchical representations. In $A d$ vances in Neural Information Processing Systems 30, pp. 6338-6347, 2017.

[14] Sarthak Dash, Md. Faisal Mahbub Chowdhury, Alfio Gliozzo, Nandana Mihindukulasooriya, and Nicolas Rodolfo Fauceglia. Hypernym detection using strict partial order networks. In Proceedings of the 34th AAAI Conference on Artificial Intelligence, pp. 7626-7633.

[15] Douwe Kiela, Laura Rimell, Ivan Vulic, and Stephen Clark. Exploiting image generality for lexical entailment detection. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing of the Asian Federation of Natural Language Processing, pp. 119-124, 2015.

[16] Julie Weeds, Daoud Clarke, Jeremy Reffin, David J. Weir, and Bill Keller. Learning to distinguish hypernyms and co-hyponyms. In COLING 2014, 25th International Conference on Computational Linguistics, Proceedings of the Conference: Technical Papers, pp. 2249-2259, 2014.

[17] Ivan Vulic, Daniela Gerz, Douwe Kiela, Felix Hill, and Anna Korhonen. Hyperlex: A large-scale evaluation of graded lexical entailment. Computational Linguistics, Vol. 43, No. 4, 2017.

[18] Tomas Mikolov, Edouard Grave, Piotr Bojanowski, Christian Puhrsch, and Armand Joulin. Advances in pre-training distributed word representations. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation, 2018.

[19] Pierre Foret, Ariel Kleiner, Hossein Mobahi, and Behnam Neyshabur. Sharpness-aware minimization for efficiently improving generalization. CoRR, Vol. abs/2010.01412, , 2020 .
表 4 提案手法により得られた階層コード 単語階層コード

## A 階層コードの実例

提案手法により得られた階層コードの一部を，表 4 に示す. 提案手法を用いると，任意の単語分散表現を階層コードに変換して，上位下位関係を推論で きるようになる。実際に単語ぺアの上位下位関係を 推論する際には各枌の条件付確率 $P\left(C_{d} \mid C_{<d}\right)$ を用い る（3.3 節を参照）のだが，ここではわかりやすさ のために $\operatorname{argmax}$ を取って離散化したものを示して いる.

## B 分類タスクおよび評価方法

分類タスクは, BLESS-hyponymy [15], WBLESS [16], BIBLESS の 3 種類を用いる. BLESShyponymy は上位下位語ぺアのうちどちらが上位語 かの 2 值分類, WBLESS は上位下位関係・その他の 2 值分類, BIBLESS は上位下位関係・下位上位関係・ その他の 3 值分類の精度を評価する. 推論は, 式 6 で定義した上位下位関係にある確率 $P(s \prec t)$ を用い て行う. BLESS-hyponymy は $P(s \prec t)$ と $P(t<s)$ の 大きい方を採択, WBLESS は $P(s<t)$ をしきい値と 比較, BIBLESS は最初に $\max \{P(s \prec t), P(t<s)\}$ を しきい值と比較してから, $P(s<t)$ と $P(t<s)$ の大 きい方を採択する。しきい值は validation data に最適化する。また validation/test split は, [5] と同様に, データセットからそれぞれ $2 \%, 98 \%$ を乱択する. 評価指標は test data の accuracy である. validation/test split を 1,000 回実施して平均値を報告する.

ランキングタスクは, HyperLex [17] を用いる. 与 えられた単語ぺアを上位下位関係らしさの高い順に 順序付けして, アノテータが付与した順序との一致度を評価するタスクである. 推論は $P(s<t)$ の値が 大きい順に順序付けする．評価指標はスピアマンの 順位相関である。

## C 提案手法の学習

階層コードへの変換器（エンコーダ）を訓練す るための語彙知識および単語分散表現は, 先行研究 [5] に倣って, WordNet から抽出した上位下位関係および，事前学習ずみ fastText モデルを用いる.

上位下位関係は, WordNet 上で直接・間接の"is-a"関係にあるすべてのレンマのぺアを抽出する。その うえで，評価タスクのデータセット（xBLESS およ び HyperLex）と重複するぺアを削除する.サンプル 数は，名詞ペアが $2,158,824$ 件，動詞ペアが 162,706 件となった。

事前学習ずみ fastText モデルは, Mikolov ら [18] が 配布するサブワード情報付きモデル3)を用いる．次元数は 300 , 語彙数は 100 万である.レンマから単語分散表現への変換は，大文字・小文字を区別す る.また"dog_food"のようにレンマが複数の単語か らなる場合は，全単語の算術平均を取る。

目的関数の最適化は，ミニバッチによる確率勾配法を用いる． $L_{h}$ のミニバッチサンプル数は, 正例 200 件・負例 1,000 件である. $L_{\text {reconst }} L_{\mathrm{mi}}$ のミニバッ チサンプル数は, 1,000 件である. 最適化アルゴ リズムは Sharpness-aware Minimization Optimizer [19] を用いる. 式 7 で示した目的関数の重み付き和は $\alpha=5.0, \beta=0.05$ とする. 階層コードの容量は, 8 進 16 桁とする.


# Neural Machine Translation with Semantically Relevant Image Regions

Yuting Zhao ${ }^{1}$, Mamoru Komachi ${ }^{1}$, Tomoyuki Kajiwara ${ }^{2}$, Chenhui Chu ${ }^{3}$
${ }^{1}$ Tokyo Metropolitan University
${ }^{2}$ Ehime University
${ }^{3}$ Kyoto University
zhao-yuting@ed.tmu.ac.jp, komachi@tmu.ac.jp
kajiwara@cs.ehime-u.ac.jp, chu@i.kyoto-u.ac.jp

## 1 Introduction

Neural machine translation (NMT) [1] has achieved near human-level performance. However, there remain numerous situations where textual context alone is insufficient for correct translation, such as in the presence of ambiguous words and grammatical gender. Many studies [2] have increasingly focused on incorporating multimodal contents, particularly images, to improve translations. Researchers in this field have established a task called multimodal machine translation (MMT), which translates sentences paired with images into a target language.

Subsequent studies [3, 4] have started utilizing a global visual feature extracted from an entire image to initialize encoder/decoder recurrent neural network (RNN) hidden states to contextualize language representations. However, the effect of the image cannot be fully exerted because the visual features of an entire image are complex and nonspecific. To effectively use an image, some studies [5] use spatially convoluted features extracted from a convolutional neural network (CNN). Because these equally sized features are nonsemantic, the role of visual modality provides only dispensable help to the translation. [6] reported that MMT models disregard visual features because the quality of the image features or the manner in which they are integrated into the model is not satisfactory.

Consequently, current studies [7] have incorporated richer local visual features such as regional features. These studies mainly rely on object detection to automatically extract visual objects in an image. Although regional features containing semantic information can assist in generating better translations, a method to focus on only the image regions that are semantically relevant to the source words during translation has yet to be determined [8].
In this paper, we propose a model for multimodal neural machine translation (MNMT) that employs word-region alignment (WRA), called MNMT-WRA. This model is designed to focus on semantically relevant image regions during translation. We propose to generate soft/hard/entity WRA based on cosine/argmax similarity between source words and visual concepts and manual alignment of Flickr30k Entities [9]. While encoding, textual and visual modalities are represented in three aspects by leveraging WRA: (1) associating image regions with respective source words; (2) associating source words with respective image regions; and (3) crossly associating.

The main contributions of this study are as follows: (1) We propose WRA to guide the model to translate certain words based on certain image regions. (2) The proposed MNMT-WRA model outperforms competitive baselines. (3) The analysis demonstrates that MNMT-WRA utilizes visual information effectively by relating semantically relevant textual and visual information.

## 2 Proposed Model

## 2.1 WRA: Word-Region Alignment

As shown in Figure 1, we propose to create WRA. For regions, we follow [10] in detecting image regions denoted by bounding boxes on the figure. In particular, each bounding box is detected along with a visual concept consisting of an attribute class followed by an object class instead of only the object class. We take these visual concepts to represent the image regions. We set each image labeled with 36 visual concepts of image regions, which are spaceseparated phrases. For words, we lowercase and tokenize the source English sentences via the Moses toolkit ${ }^{1)}$

Figure 1 The WRA. (a): Soft alignment (SA). (b/c): Hard alignment (HA). (d): Entity alignment (EA).

## 2.1.1 Soft Alignment (SA) of Word-Region

The SA is filled with the cosine similarity between words and regions. We convert the words and concepts into subword units using the byte pair encoding (BPE) model [11]. Then we utilize fastText [12] to learn embeddings. So as to calculate a cosine similarity matrix of the word-region alignment as a SA.

## 2.1.2 Hard Alignment (HA) of Word-Region

The HA is based on the SA, which is a binary matrix filled with 1 in the position where the words and concepts are most similar and 0 in the remaining positions. We generate the HA from two directions: when aligning the most similar concept to a word, we use argmax function by row (rowmax). When aligning the most similar word to a concept, we employ argmax function by column (colmax).

## 2.1.3 Entity Alignment (EA) of Word-Region

The EA is based on Flickr30k Entities, which is a binary matrix filled with 1 in the position where the words correspond to their ground-truth regions and 0 in the remaining positions. Because the Flickr30k Entities provide a manually annotated correspondence between English entities and image regions, we use the EA as reference.

## 2.2 Representations with WRA

As shown in Figure 2 the textual encoder is a bidirectional RNN and the visual encoder is a object detection method [10]. All words are denoted as $\mathrm{H}$ and all regions are denoted as R. We represent textual annotation of $n$ words as $\mathrm{A}^{\mathrm{txt}}$ and visual annotation of 36 regions as $\mathrm{A}^{\mathrm{img}}$ by leveraging WRA. For $A^{t x t}$, the aligned region feature $R_{\text {align }}$ is calculated by the $\mathrm{SA}\left(\mathrm{A}_{\text {soft }}\right)$, HA ( $\left.\mathrm{A}_{\text {hard,rowmax/colmax }}\right)$, and $\mathrm{EA}\left(\mathrm{A}_{\text {entity }}\right)$ as follows.

$
\begin{aligned}
\mathrm{A}^{\mathrm{txt}} & =\operatorname{CONCAT}\left(\mathrm{H}, \mathrm{R}_{\text {align }}\right) \\
\mathrm{R}_{\text {align }}^{\text {soft }} & =\frac{\mathrm{A}_{\text {soft }} \cdot \mathrm{R}}{|\mathrm{R}|} \\
\mathrm{R}_{\text {align }}^{\text {hard }} & =\mathrm{A}_{\text {hard,rowmax }} \cdot \mathrm{R} \\
\mathrm{R}_{\text {align }}^{\text {entity }} & =\mathrm{A}_{\text {entity }} \cdot \mathrm{R}
\end{aligned}
$

Similarly, $\mathrm{A}^{\mathrm{img}}$ is computed as follows:

$
\begin{aligned}
\mathrm{A}^{\mathrm{img}} & =\operatorname{CONCAT}\left(\mathrm{R}, \mathrm{H}_{\text {align }}\right) \\
\mathrm{H}_{\text {align }}^{\text {soft }} & =\frac{\mathrm{A}_{\text {soft }}^{\mathrm{T}} \cdot \mathrm{H}}{|\mathrm{H}|} \\
\mathrm{H}_{\text {align }}^{\text {hard }} & =\mathrm{A}_{\text {hard,colmax }}^{\mathrm{T}} \cdot \mathrm{H} \\
\mathrm{H}_{\text {align }}^{\mathrm{entity}} & =\mathrm{A}_{\text {entity }}^{\mathrm{T}} \cdot \mathrm{H}
\end{aligned}
$

## 2.3 Decoder

As shown in Figure 2, the decoder comprises double attentions and a deepGRU consisted of three cells [13].

## 2.3.1 Double Attentions

At time step $t$, the textual context vector $\mathbf{z}_{\mathbf{t}}$ is generated upon a hidden state proposal $\mathbf{s}_{\mathbf{t}}^{(\mathbf{1})}$ computed by function $\mathrm{f}_{\mathrm{gru}_{1}}\left(y_{t-1}, \mathbf{s}_{\mathbf{t}-\mathbf{1}}\right)$ in GRU (1) [13] and textual annotation $\mathbf{a}_{\mathbf{i}}^{\mathrm{txt}}$ in $\mathrm{A}^{\mathrm{txt}}$ as follows.

$
\begin{aligned}
e_{t, i}^{\mathrm{text}} & =\left(V^{\mathrm{text}}\right)^{\mathrm{T}} \tanh \left(U^{\mathrm{text}} \mathbf{s}_{\mathbf{t}}^{(\mathbf{1})}+W^{\mathrm{text}} \mathbf{a}_{\mathbf{i}}^{\mathrm{txt}}\right), \\
\alpha_{t, i}^{\mathrm{text}} & =\operatorname{softmax}\left(e_{t, i}^{\mathrm{text}}\right) \\
\mathbf{z}_{\mathbf{t}} & =\sum_{i=1}^{n} \alpha_{t, i}^{\mathrm{text}} \mathbf{a}_{\mathbf{i}}^{\mathrm{txt}}
\end{aligned}
$

where $V^{\text {text }}, U^{\text {text }}, W^{\text {text }}$ are training parameters; $e_{t, i}^{\text {text }}$ is attention energy; $\alpha_{t, i}^{\text {text }}$ is attention weight matrix.

Figure 2 The proposed MNMT-WRA.

The visual context vector $\mathbf{c}_{\mathbf{t}}$ is generated similarly.

$
\begin{aligned}
e_{t, j}^{\mathrm{img}} & =\left(V^{\mathrm{img}}\right)^{\mathrm{T}} \tanh \left(U^{\mathrm{img}} \mathbf{s}_{\mathbf{t}}^{(\mathbf{1})}+W^{\mathrm{img}} \mathbf{a}_{\mathbf{j}}^{\mathbf{i m g}}\right), \\
\alpha_{t, j}^{\mathrm{img}} & =\operatorname{softmax}\left(e_{t, j}^{\mathrm{img}}\right) \\
\mathbf{c}_{\mathbf{t}} & =\sum_{j=1}^{36} \alpha_{t, j}^{\mathrm{img}} \mathbf{a}_{\mathbf{j}}^{\mathrm{img}}
\end{aligned}
$

where $V^{\mathrm{img}}, U^{\mathrm{img}}, W^{\mathrm{img}}$ are training parameters; $e_{t, j}^{\mathrm{img}}$ is attention energy; $\alpha_{t, j}^{\mathrm{img}}$ is attention weight matrix.

## 2.3.2 DeepGRU

The hidden state $\mathbf{s}_{t}$ is computed in GRU (3) [13]:

$
\begin{aligned}
\mathbf{s}_{t} & =\mathrm{f}_{\mathrm{gru}_{3}}\left(\left[\mathbf{c}_{t}, y_{t-1}\right], \mathbf{s}_{t}^{(\mathbf{2})}\right) \\
\mathbf{s}_{t}^{(\mathbf{2})} & =\mathrm{f}_{\mathrm{gru}_{2}}\left(\mathbf{z}_{t}, \mathbf{s}_{t}^{(\mathbf{1})}\right)
\end{aligned}
$

There is a textual GRU block and a visual GRU block [14] designed as below. The function $\mathrm{f}_{\text {ght }}$ is following [15].

$
\begin{aligned}
\mathbf{b}_{t}^{\mathbf{v}} & =\mathrm{f}_{\text {ght }}\left(W_{\mathrm{b}}^{\mathrm{v}} \mathbf{s}_{t}\right) \\
\mathbf{b}_{t}^{\mathbf{t}} & =\mathrm{f}_{\mathrm{ght}}\left(W_{\mathrm{b}}^{\mathrm{t}} \mathbf{s}_{t}^{(2)}\right) \\
y_{t} \sim p_{t} & =\operatorname{softmax}\left(W_{\mathrm{proj}}^{\mathrm{t}} \mathbf{b}_{t}^{\mathbf{t}}+W_{\mathrm{proj}}^{\mathrm{v}} \mathbf{b}_{t}^{\mathbf{v}}\right),
\end{aligned}
$

where $W_{\mathrm{b}}^{\mathrm{v}}, W_{\mathrm{b}}^{\mathrm{t}}, W_{\text {proj }}^{\mathrm{t}}, W_{\text {proj }}^{\mathrm{v}}$ are training parameters.

## 3 Experiments

## 3.1 Dataset

We experimented on English $\rightarrow$ German $(\mathrm{En} \rightarrow \mathrm{De})$ and English $\rightarrow$ French $(\mathrm{En} \rightarrow \mathrm{Fr})$ tasks using Multi30k [16]. The dataset contains 29k train images and 1,014 valid images. We used three test sets to evaluate our models: Flickr test2016 and Flickr test2017 contain 1,000 pairs; and ambiguous MSCOCO [17] contains 461 pairs.

## 3.2 Settings

For baselines, we trained an NMT model [18] with the textual part of Multi30k; we trained an MNMT model [14] with 2,048-dim global visual features by ResNet-50 [19]; and we augmented [14] into a region-attentive MNMT (RAMNMT) model following [8] with 2,048-dim regional visual features extracted by [10].

For MNMT-WRA, it was implemented by three methods: associating regions with respective words (I); associating words with respective regions ( $\mathrm{T}$ ); crossly associating (C). The SA and HA were integrated in each method as two settings. The EA was integrated in the best method as a reference setting. Trainable parameters and dimensions are shown in the Appendix A.

Associating regions with respective words (I). We represented the visual annotation $A^{\mathrm{img}}$ by fusing $\mathrm{R}$ with the aligned textual features $\mathrm{H}_{\text {align }}$ and the textual annotation $\mathrm{A}^{\mathrm{txt}}$ using textual input representation $\mathrm{H}$ directly. Based on equation (2), the settings were (1) MNMT-WRA (I+SA) and (2) MNMT-WRA (I+HA).

Associating words with respective regions ( $T$ ). We represented textual annotation $\mathrm{A}^{\text {txt }}$ by fusing $\mathrm{H}$ with the aligned region features $R_{\text {align }}$ and the visual annotation $A^{\mathrm{img}}$ using visual input representation $\mathrm{R}$ directly. Based on equation (1), the settings were (1) MNMT-WRA (T+SA) and (2) MNMT-WRA (T+HA).

Crossly associating (C). We cross represented textual annotation $\mathrm{A}^{\mathrm{txt}}$ and visual annotation $\mathrm{A}^{\mathrm{img}}$. Based on equations (1) and (2), the settings were (1) MNMT-WRA (C+SA) and (2) MNMT-WRA (C+HA).

Table $1 \dagger, \ddagger$ and $*$ indicate that the result is significantly better than NMT, MNMT and RAMNMT, respectively.

Figure 3 A good translation example of MNMT-WRA (I+HA) for $\mathrm{En} \rightarrow \mathrm{Fr}$ task.

Reference setting. The reference setting was MNMT-WRA (I+EA). Because the train and valid images from Flickr30k Entities were assigned to Flickr test2016 images only, we reported only the results of test2016.

## 3.3 Evaluation

We evaluated the translation quality according to the token level BLEU (B) [20] and METEOR (M) [21] metrics, and reported the average over three runs. We reported the statistical significance with bootstrap resampling [22] using the merger of three test results. We reported the result only if the p-value was less than 0.05 .

## 4 Results

As shown in Table 1, the results of MNMT-WRA (I+HA/SA) outperform all the baselines on all test sets of $\mathrm{En} \rightarrow$ De and $\mathrm{En} \rightarrow$ Fr tasks, and the MNMT-WRA (I+HA) achieved the best performance of all. In contrast, the poor performance of MNMT-WRA (T/C) might be because of the weakened role of text and emphasized role of the image.

## 5 Analysis

We randomly investigated 50 examples from the $\mathrm{En} \rightarrow \mathrm{Fr}$ task of test2016 to do human evaluation. In this investigation, $16 \%$ of the examples is that the performance of the MNMT-WRA (I+HA) is better than the RAMNMT, and the $84 \%$ is that the performance of the two is comparable.

We show an example of MNMT-WRA (I+HA) in Figure 3 to do quality analysis. In the case, our model correctly translates "backyard" to a compound noun of "arrièrecour," which is comprised of an adverb and a noun. But the RAMNMT mistranslates it to "cour," which means "yard" in English. Through visualization, we find that the textattention and image-attention focus on the features that are semantically relevant at that time step. It shows that translation quality improvement is due to the simultaneous attentions of semantically relevant region and word.

## 6 Conclusion

We presented a novel model, MNMT-WRA, that simultaneously considers semantically relevant textual and visual features during translation. Experimental results show that MNMT-WRA outperformed baselines. We also performed a human evaluation and qualitative analysis to demonstrate the specific improvements resulting from semantically relevant image regions. In the future, we plan to train supervised attention mechanisms to learn more reliable alignments, rather than external alignment.

## Acknowledgments

This work was supported by Grant-in-Aid for Young Scientists \#19K20343, JSPS.

## References

[1] Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to sequence learning with neural networks. In NIPS, pages 3104-3112, 2014.

[2] Loïc Barrault, Fethi Bougares, Lucia Specia, Chiraag Lala, Desmond Elliott, and Stella Frank. Findings of the third shared task on multimodal machine translation. In WMT, pages 304-323, 2018.

[3] Haoyuan Gao, Junhua Mao, Jie Zhou, Zhiheng Huang, Lei Wang, and Wei Xu. Are you talking to a machine? dataset and methods for multilingual image question answering. In NIPS, pages 2296-2304, 2015.

[4] Po-Yao Huang, Frederick Liu, Sz-Rung Shiang, Jean Oh, and Chris Dyer. Attention-based multimodal neural machine translation. In WMT, pages 639-645, 2016.

[5] Ozan Caglayan, Loïc Barrault, and Fethi Bougares. Multimodal attention for neural machine translation. CoRR, 2016.

[6] Ozan Caglayan, Pranava Madhyastha, Lucia Specia, and Loïc Barrault. Probing the need for visual context in multimodal machine translation. In NAACL, pages 4159-4170, 2019.

[7] Pengcheng Yang, Boxing Chen, Pei Zhang, and $\mathrm{Xu}$ Sun. Visual agreement regularized training for multi-modal machine translation. In $A A A I$, pages 9418-9425, 2020.

[8] Yuting Zhao, Mamoru Komachi, Tomoyuki Kajiwara, and Chenhui Chu. Double attention-based multimodal neural machine translation with semantic image regions. In EAMT, pages 105-114, 2020.

[9] Bryan A. Plummer, Liwei Wang, Christopher M. Cervantes, Juan C. Caicedo, Julia Hockenmaier, and Svetlana Lazebnik. Flickr30k entities: Collecting region-to-phrase correspondences for richer imageto-sentence models. IJCV, pages 74-93, 2017.

[10] Peter Anderson, Xiaodong He, Chris Buehler, Damien Teney, Mark Johnson, Stephen Gould, and Lei Zhang. Bottom-up and top-down attention for image captioning and visual question answering. In CVPR, pages 6077-6086, 2018.

[11] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In $A C L$, pages 1715-1725, 2016.

[12] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. TACL, 5:135-146, 2017.

[13] Jean-Benoit Delbrouck and Stéphane Dupont. Bringing back simplicity and lightliness into neural image captioning. CoRR, 2018.

[14] Jean-Benoit Delbrouck and Stéphane Dupont. UMONS submission for WMT18 multimodal translation task. In WMT, pages 643-647, 2018.

[15] D. Teney, P. Anderson, X. He, and A. v. d. Hengel. Tips and tricks for visual question answering: Learnings from the 2017 challenge. In CVPR, pages 4223-4232, 2018.

[16] Desmond Elliott, Stella Frank, Khalil Sima' an, and Lucia Specia. Multi30k: Multilingual EnglishGerman image descriptions. In $V L$, pages 70-74, 2016.

[17] Desmond Elliott, Stella Frank, Loïc Barrault, Fethi Bougares, and Lucia Specia. Findings of the second shared task on multimodal machine translation and multilingual image description. In $W M T$, pages 215-233, 2017.

[18] Ozan Caglayan, Mercedes García-Martínez, Adrien Bardet, Walid Aransa, Fethi Bougares, and Loïc Barrault. Nmtpy: A flexible toolkit for advanced neural machine translation systems. Prague Bull. Math. Linguistics, 109:15-28, 2017.

[19] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In $C V P R$, pages 770-778, 2016.

[20] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. BLEU: a method for automatic evaluation of machine translation. In $A C L$, pages 311-318, 2002.

[21] Michael Denkowski and Alon Lavie. Meteor universal: Language specific translation evaluation for any target language. In WMT, pages 376-380, 2014.

[22] Philipp Koehn. Statistical significance tests for machine translation evaluation. In $E M N L P$, pages 388-395, 2004.

[23] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In ICLR, pages $1-15,2015$.

## A Experimental Parameters

We ensured that the parameters in MNMT-WRA were consistent with those in the baselines. We set the encoder and decoder hidden state to 256 -dim; word embedding to 128 -dim; batch size to 32 ; beam size to 12 ; text dropout to 0.3 ; image region dropout to 0.5 ; and dropout of source RNN hidden states $H$ and both blocks $\mathbf{b}_{\mathbf{t}}^{\mathbf{t}}$ and $\mathbf{b}_{\mathbf{t}}^{\mathbf{v}}$ to 0.5 . We trained the model using stochastic gradient descent with ADAM [23] and a learning rate of 0.0004. We stopped training when the METEOR score did not improve for 10 evaluations on the validation set, where the maximum epoch num was set to 100 .

For MNMT-WRA (I+SA/HA/EA): Between the two settings, the textual annotation $\mathrm{A}^{\mathrm{txt}}$ was 512-dim, which was consistent with $H$. Further, the visual annotation $A^{\text {img }}$ was 4,096-dim by a concatenation of $R$ and $H_{\text {align }}$, where $R$ was 2,048-dim and $\mathrm{H}_{\text {align }}$ was 2,048-dim by a linear transformation from 512-dim.

For MNMT-WRA (T+SA/HA): Between the two settings, the visual annotation $\mathrm{A}^{\mathrm{img}}$ was 2,048-dim, which was consistent with $\mathrm{R}$. The textual annotation $\mathrm{A}^{\mathrm{txt}}$ was 2,560-dim by a concatenation of $\mathrm{H}$ and $\mathrm{R}_{\text {align }}$, where $\mathrm{H}$ was 512-dim and $\mathrm{R}_{\text {align }}$ was 2,048-dim. The sum of the dimensions of the textual and visual annotations was consistent with that of the former method.

For MNMT-WRA (C+SA/HA): Between the two settings, the textual annotation $\mathrm{A}^{\mathrm{txt}}$ was 2,560-dim by a concatenation of 512-dim H and 2,048-dim $\mathrm{R}_{\text {align }}$, and the visual annotation $\mathrm{A}^{\mathrm{img}}$ was 2,560-dim by a concatenation of 2,048-dim R and 512-dim $\mathrm{H}_{\mathrm{align}}$. We ensured that the dimensions of the textual and visual annotation were consistent.


# 文脈文アノテーションによる ドキュメント機械翻訳の精度向上に関する研究

安本 玄樹 須藤 克仁 中村 哲
奈良先端科学技術大学院大学
\{yasumoto.genki.ye1, sudoh,s-nakamura\}@is.naist.jp

## 1 はじめに

ニューラル機械翻訳の台頭により，機械翻訳の精度は高まってきており，文単位の翻訳においては人間とほとんど同等のレベルであるという報告もある [1].しかしながら，ドキュメント単位での翻訳にお いては人間翻訳が上回っていると報告されている [2].これは前後文の文脈や文章全体の話題を考慮し た翻訳が，現在のニューラル機械翻訳では困難であ ることを意味する．以上の背景から，文脈を利用し てニューラル機械翻訳の精度を高める研究が近年盛 んに行われており，周辺文の情報を活用するモデル $[3,4]$ やドキュメント全体を参照して文脈情報を利用するモデル $[5,6]$ などが提案されている.

周辺文の情報を利用する場合，その中に翻訳に必要な情報が含まれていれば翻訳をより良いものにで きると考えられるが，含まれていない場合は文脈を 活用することはできず，却ってノイズとなってしま うこともある。一方でドキュメント全体を参照する 場合，必要な情報を特定の文や単語に絞ることが難 しいという問題が生じる。

このような問題を解消するために，周辺文の文脈 を用いるモデルでは，使用する文脈文を選択するこ とで [7]，ドキュメント全体の文脈を用いるモデル では，アテンションをスパースに当てることで [6],精度を向上させている．結局のところ，文脈情報を 必要なときに必要なだけ利用することができれば， これらの問題は解消されるはずである.

そこで本研究では，文脈文をアノテーションで作成し，必要だと思われる文脈情報を活用できた場合，ドキュメント機械翻訳モデルが十分な精度を出 すことができるのかを検証する。翻訳の言語対とし ては，日英を選択した。これは日英翻訳において，日本語の省略がよく問題になるため，それを補う形 でアノテーションを行うことを想定したためであ
る.なお，作成したアノテーションデータは公開予定である1)

## 2 文脈文アノテーション

各ドキュメントに対して以下の 2 種類の文脈文ア ノテーションを行う.

・ドキュメントから文脈として最適であると考え られる文を 1 文抜き出す場合

・ドキュメントから文脈として最適であると考え られる文をアノテータが書き出す場合

アノテーションを行う際は，原言語のドキュメン トのみを参照し，目的言語のドキュメントは参照し ないこととする. アノテーションに関する作業は全 て筆者が行った．文脈文アノテーションの詳細は次 に示す通りである。

## 2.1 文脈文を 1 文抜き出す場合

ドキュメントが与えられたとき，それぞれの文を 翻訳するのに必要だと思われる文脈をドキュメント の中の他の文から選択して文脈文とする．文脈を必要としないと判断した場合は，空文を表す “_blank” トークンを文脈文の代わりとする。このアノテー ションを施した例を表 1 に示す.

## 2.2 文脈文を 1 文書き出す場合

文脈文を書き出す場合は，ドキュメントの情報か ら自由に文脈文を作成することができる。このアノ テーションを施した例を表 2 に示す。文脈文を 1 文抜き出す場合（表 1）と比較して，1文目の文脈文 が異なっていることがわかる。これは 1 文目を翻訳時に主語の情報が必要になると考え，主語に相当す る情報を書き出したことによる。このように，状況 に応じて必要な情報を文脈文として書き出す。文脈

表 1 選択した文脈例（一部抜粋）

表 2 書き出した文脈例（一部抜粋）

が不要な場合は，同様に“_blank”トークンを文脈文 の代わりとする.

## 3 実験

## 3.1 データ

本実験では，OpenSubtitles2018 [8] の日英対訳を用 いる。翻訳は日本語から英語へと行う. 全てのデー タを作品 IDごとに分けた後, train, dev, test に分割し た. 分割は dev, test において，それぞれの文数が $50 \mathrm{k}$以上になるように，作品をランダムにサンプリング し, 残ったものを train セットとした. 分割後のド キュメント数，文数については表 3 の通りである。

トークナイズには sentencepiece [9] を用い，語彙サ イズは日本語，英語ともに $30 \mathrm{k}$ とした ${ }^{2)}$. 特殊トー クンである，“_blank”などは 30k の語彙に含まない.

## 3.2 モデル

実験に使用するモデルは, Dual Encoder Transformer [10] および CADec [4] とする.

## 3.2.1 Dual Encoder Transformer

Li ら [10] の提案した Dual Encoder Transformer は 2 種類あり, Decoder の内部で目的言語と文脈文の アテンションを利用するもの（inside-context）と， Decoder の外部で原言語文と文脈文のアテンショ ンをとり，それを Decoderに入力するというもの （outside-context）である．実装は Li ら [10]のものを

2）日本語の character coverage は 0.9995 , 英語の character coverage は 1 とした。用い，ハイパーパラメータはデフォルト値を利用し $た^{3)}$.

## 3.2.2 CADec (Context-Aware Decoder)

CADec (Context-Aware Decoder) では，一度文脈文，原言語をそれぞれ Transformerに入力して原言語お よび目的言語側の embedding を得る. そして CADec にそれらを入力して文脈情報を汲み取るモデルと なっている．著者による公開実装を利用し4），八イ パーパラメータもデフォルトの設定に従った.

## 3.3 学習

これらのモデルはどちらも Transformer [11]をべー スとしており，2 段階で学習される。最初にそれぞ れベースとなる Transformerを文脈なしの状態で学習し，その Transformerをべースとして文脈を処理 する部分を含めた全体の学習を行う。ベースとな る Transformerの学習は，全ての train データを利用 して行った。学習の際, train, dev データそれぞれ に“_blank”トークンを 1 組ずつ追加し，“_blank”が “_blank”と対応していることも学習させる。

2 段階目の学習は, 文脈文と原言語を入力として 行う. Dual Encoder Transformer には，直前の文を文脈文として与え，CADec には，翻訳する文の直前に 述べられている文を最大 3 文まで文脈文として与 える。ドキュメントの最初の文を翻訳する時のみ， “_blank”トークンを文脈文とした。この 2 段階目の 学習にも，全ての trainデータを用いた。

## 3.4 文脈文アノテーション

文脈文アノテーションは test セットのみに対して 行う. OpenSubtitles の日英対訳の中には，アライメ

表 4 実験結果（全ての test データ：全 70 ドキュメント／51033 文）

}} & \multicolumn{4}{|c|}{ "なし } & \multicolumn{4}{|c|}{ 周辺文 } \\

ントが十分にとれていないものも多いため，CADec のベース Transformerを用いて一度 test セットの各ド キュメントを翻訳し，BLEU [12]を閾値としてスコ ア 20 以上のドキュメントのみをアノテーション対象とした. 今回の実験では，3つのドキュメントに 対して文脈文アノテーションを行った．各ドキュメ ントの文数は表 6 の通りである.

## 3.5 実験結果

BLEU，BERTScore [13]を評価指標として用いる. BLEU を測定する際のトークナイザは， mosestokenizer を利用し ${ }^{5)}$ ，BLEU の実装は multi-bleu.perl を 利用した ${ }^{6)}$. BERTScore は，著者の公開実装を利用 し7), fine-tuning は行わず, rescaling をした結果を示 す. 基本的なモデルの性能を示すため，アノテー ションした文脈文を用いずに， test セットを翻訳し た結果を表 4 に示す. アノテーションしたドキュメ ントを用いた場合と直前の文脈を用いた場合の結果 を表 5 に示す. BLEU，BERTScore 共に百分率表示 とする.

## 3.6 分析および考察

BLEU や BERTScore で評価した結果については,有意な差は見て取れず，モデルによる明らかな性能

5) https://github.com/luismsgomes/mosestokenizer

6) https://github.com/OpenNMT/OpenNMT-py/ blob/master/tools/multi-bleu.perl

7) https://github.com/Tiiiger/bert_score
の違いは認められなかった。実際の翻訳例を表 7 に 示す.

翻訳が改善している例では，文脈文にある“ヤツ ら” と言う表現をもとに，主語が “They” と正しく 翻訳されている。ただしこの翻訳例において, Dual Encoder Transformer の訳出に変化は見られなかった. このように，文脈文は十分だと考えられる場合で あっても，上手く訳出されない例は他にも見受けら れた。

翻訳に変化が見られない例について述べる. 目的言語の “they” にあたる “鹿” という単語は，選択し た文脈文，書き出した文脈文共に含まれていたが，翻訳では “I”と，誤って訳出されてしまっている.翻訳に変化を与えることができなかった理由とし ては，

・学習時に文脈文を参照して翻訳を行わなければ ならないケースが割合として少なく，文脈文を 翻訳に利用する学習ができていない可能性

・原言語を参照するよりも，目的言語の言語モデ ルに強く依存した翻訳になっている可能性

が考えられる．前者に関しては，OpenSubtitles の日英対訳ドキュメント自体がデータとして不十分，も しくはクリーニングが必要であることが示唆され る. 後者に関しては, train に使用したデータ量が多 いほど，翻訳を行う時に原言語の情報を利用するこ とが報告されている [14]. 文脈を活かしきれなかっ たともいえる.

翻訳が悪くなった例では，アノテーション時にド キュメントを誤読しており，書き出した文脈文の“私たち”という表現を受けて“We”と誤って訳出さ

れてしまっている. OpenSubtitles は字幕データであ るが，映像を含まないテキストのみのデータである ため, 日本語の曖昧性によって多少の誤読が発生し 得る.その影響を受けた例といえる。書き出した文脈文を“私は” と修正したところ，主語は正しく“I” と翻訳された。この他にも，“_blank”を文脈文とし たときに，訳抜けが発生してしまった例などがあっ た. 文脈文が翻訳に悪い影響を与えてしまった理由 としては,

・アノテーションした文脈文はドキュメント内で 使用されている日本語と分布が異なるため，言語分布が異なる入力を与えると翻訳に悪影響を 及ぼす可能性

が考えられる. 特に“_blank”トークンに関しては， これに当てはまる.

その他の翻訳例は付録とした。翻訳例を見る限

り，CADec の方が文脈に即した翻訳を行うことが 多かった. これは学習時に CADec は最大 3 文の文脈を用いており，その中で推論に必要なものが含 まれていた割合が高いと考えられる. Dual Encoder Transformer は直前の 1 文のみを文脈として学習させ たため，その文脈から推論する例が CADec と比較 して少なく, 学習が不十分だった可能性が残る. 学習データに関する，より詳細な分析が必要である.

## 4 おわりに

本研究では，アノテーションした文脈文を利用し て，翻訳結果が改善されるのかを検証した．結果と しては，アノテーションした文脈文をテスト時に利用しても，翻訳結果が十分に改善されることはな かった. その理由として学習時の工夫（データク リーニングやデータ量の増大，“blank”トークンの 扱い方など）が必要とされる可能性が示唆された.

今回のアノテーションでは，目的言語のドキュメ ントを参照しなかったが，参照しても良いという条件下で，より質の良いアノテーションデータを作成 してみること，学習データに対してもアノテーショ ンデータを作成し，モデルの学習が十分に行われる ことを保証することは今後の課題としたい。

## 5 謝辞

本研究の一部は JSPS 科研費 JP17H06101 の助成を 受けたものである.表 7 文脈文の変化による機械翻訳出力の違い

## 翻訳が改善している例

 & I'm here to drink. \\

注 1 : 文脈によって出力に変化がある場合のみ，モデル 名十文脈文の種類を記し，出力に変化がなかった場合は， モデル名のみの記載としている

注 2 : CADec の周辺文は 3 文全て，Dual Encoder Transformer の周辺文は最後の 1 文となる

## 参考文献

[1]Hany Hassan, Anthony Aue, Chang Chen, Vishal Chowdhary, Jonathan Clark, Christian Federmann, Xuedong Huang, Marcin Junczys-Dowmunt, William Lewis, Mu Li, Shujie Liu, Tie-Yan Liu, Renqian Luo, Arul Menezes, Tao Qin, Frank Seide, Xu Tan, Fei Tian, Lijun Wu, Shuangzhi Wu, Yingce Xia, Dongdong Zhang, Zhirui Zhang, and Ming Zhou. Achieving human parity on automatic chinese to english news translation, 2018.

[2]Samuel Läubli, Rico Sennrich, and Martin Volk. Has machine translation achieved human parity? a case for document-level evaluation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4791-4796, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[3]Lesly Miculicich, Dhananjay Ram, Nikolaos Pappas, and James Henderson. Document-level neural machine translation with hierarchical attention networks. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2947-2954, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[4]Elena Voita, Rico Sennrich, and Ivan Titov. When a good translation is wrong in context: Context-aware machine translation improves on deixis, ellipsis, and lexical cohesion. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1198-1212, Florence, Italy, July 2019. Association for Computational Linguistics.

[5]Sameen Maruf and Gholamreza Haffari. Document context neural machine translation with memory networks. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1275-1284, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[6]Sameen Maruf, André F. T. Martins, and Gholamreza Haffari. Selective attention for context-aware neural machine translation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3092-3102, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7]Ryuichiro Kimura, Shohei Iida, Hongyi Cui, Po-Hsuan Hung, Takehito Utsuro, and Masaaki Nagata. Selecting informative context sentence by forced back-translation. In Proceedings of Machine Translation Summit XVII Volume 1: Research Track, pp. 162-171, Dublin, Ireland, August 2019. European Association for Machine Translation.

[8]Pierre Lison, Jörg Tiedemann, and Milen Kouylekov. OpenSubtitles2018: Statistical rescoring of sentence alignments in large, noisy parallel corpora. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[9]Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Process- ing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[10]Bei Li, Hui Liu, Ziyang Wang, Yufan Jiang, Tong Xiao, Jingbo Zhu, Tongran Liu, and changliang li. Does multiencoder help? a case study on context-aware neural machine translation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3512-3518. Association for Computational Linguistics, July 2020.

[11]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008. Curran Associates, Inc., 2017.

[12]Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[13]Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with BERT. CoRR, Vol. abs/1904.09675, , 2019.

[14]Elena Voita, Rico Sennrich, and Ivan Titov. Analyzing the source and target contributions to predictions in neural machine translation. arXiv preprint arXiv:2010.10907, 2020.

## 付録

表 8 文脈文の変化による機械翻訳出力の違い

 \\

注 1 : 文脈によって出力に変化がある場合のみ，モデル名十文脈文の種類を記し，出力に変化がなかった場合は，モデル名のみの記載としている

注 2：CADec の周辺文は 3 文全て, Dual Encoder Transformer の周辺文は最後の 1 文となる


# 教師なし同期的句構造を用いた機械翻訳

原田慎太朗 渡辺太郎
奈良先端科学技術大学院大学 先端科学技術研究科
\{harada.shintaro.hk4, taro\}@is.naist.jp

## 1 はじめに

近年、ニューラルネットワークを用いた機械翻訳 モデルは、高い翻訳性能を達成している。しかし、例えば仏英や独英などの構文的に近い言語間と比較 して、例えば日英や韓英などの構文的に遠い言語間 の翻訳性能はあまり高くない [1].これに対し、統計的機械翻訳では原言語文と目的言語文間の同期文法を考慮することで翻訳性能を改善してきた [2].同期文法は二言語間の複雑な関係を表現し、統語論的な句構造を取り入れることで、より言語学的に正確な翻訳を可能にする [3].

これをニューラル機械翻訳に適用することで、構文的に遠い言語間の翻訳性能の向上が期待できる. しかし、構文情報を人手で与えるのは非常にコスト がかかり、多言語に適用するは難しい．この問題に 対処するため、構文距離 [4] を利用して自己注意機構から教師なしに句構造を導出する方法と、導出し た句構造を同期するための方法を提案する. 提案手法と先行研究の翻訳性能を BLEU[5] を用いて比較し たところ、IWSLT14 独英翻訳では 0.54 ポイントの 向上、ASPEC 日英翻訳では 0.51 ポイントの向上を 確認した. 句構造解析の性能については Unlabeled $\mathrm{F}$值 で評価し、同期的句構造が構文解析に対しても有用であることを示した. また、同期的句構造が単語 アライメントを正しく修正することを確認した。

## 2 関連研究

機械翻訳において様々なニューラルネットワー クモデルが提案されているが、翻訳精度および 学習効率の面から自己注意機構をべースとした Transformer[6] がよく用いられる. 構文情報を機械翻訳に用いる既存研究 [7] では、人手またはツール で作成された構文情報をモデルに組み込むことで、高い翻訳性能を報告している. しかし、テキストに 対して構文情報を付与したデータを作成するには非常にコストがかかるため多言語への適用が難しい.
また、機械翻訳における Out-Of-Vocablary 問題への 対処のために、サブワードが必要である [8]. しか し、構文解析ツールがサブワードに対応していると は限らないため、構文情報を機械翻訳モデルに組み 込むことは容易ではない。

近年、言語モデリング用いて間接的に句構造解析 を学習する手法が提案されている $[4,9,10]$. これら で報告されている構文構造は、教師なしにも関わら ず人間のアノテーションに近い. また、言語モデリ ングの応用である機械翻訳からでも翻訳性能を劣化 させずに高品質な構文木が導出できることが報告さ れており、機械翻訳が言語モデリングよりも構文情報の導出に優れていることを示している [11]. しか し、単言語の構造しか考慮していないため、教師な しに導出した構文情報は必ずしも機械翻訳の精度向上に貢献しない.

## 3 教師なし句構造に対する同期制約

本稿では、教師なしに導出した句構造構造を明示的に利用する機械翻訳手法を提案する。提案内容 は、(1) 構文距離 [4] を利用して自己注意機構 [6] か ら句構造を導出する方法、(2) 導出した原言語と目的言語の句構造情報を同期させる方法の 2 つである.

## 3.1 教師なし句構造導出

句構文構造の表現方法として構文距離 [4] がある.構文距離は隣接する単語間の句切れの程度を示す実数値であり、先行研究では RNN 言語モデルの注意機構を用いて構文距離を導出している。本稿では、 このアイデアを機械翻訳において高い性能を達成す る Transformer の自己注意機構 [6] に応用することで 教師なしに句構造を導出する. Transformer は複数の 自己注意機構層から構成されており、自己注意の重 みは以下の式で表される。

$
a_{i}^{t}=\operatorname{softmax}\left(\frac{q_{i} k_{t}^{\top}}{\sqrt{\delta_{\text {head }}}}\right)
$

ここで、 $q=h W_{q}, k=h W_{k}$ であり、 $h$ はある隠れ層 のベクトル、 $W_{q}$ と $W_{k}$ はパラメータである. また、 $\delta_{\text {head }}=\delta_{h} / N_{\text {head }}$ であり、 $\delta_{h}$ は隠れ層のベクトルの 次元数、 $N_{\text {head }}$ は隠れ層のべクトルの分割数である. $t$ は現在注目している単語位置、 $i$ はその他の単語位置を示す. $i$ 番目の単語の構文距離は以下の式で表 される.

$
d_{i}=\operatorname{ReLU}\left(W\left[\begin{array}{c}
k_{i-N} \\
k_{i-N+1} \\
\cdots \\
k_{i}
\end{array}\right]+b\right)
$

ここで、 $W, b$ はパラメータ、 $k$ は自己注意機構内の 潜在表現、 $N$ は構文距離を計算する際に参照する過去の単語数を示す. 次に句構造をモデル化するため に構文距離を以下の式で確率値に変換する.

$
\alpha_{j}^{t}=\frac{\operatorname{hardtanh}\left(\left(d_{t}-d_{j}\right) \cdot \tau\right)+1}{2}
$

ここで、 $\operatorname{hardtanh}(x)=\max (-1, \min (1, x)) 、 \tau$ は構文距離の差に対する感度を制御する温度パラメータで ある. 句構造のモデル化は以下の式で表現される.

$
g_{i}^{t}=P\left(l_{t} \leq i\right)=\prod_{j=i+1}^{t-1} \alpha_{j}^{t}
$

ここで、 $l_{t}$ は句構造の切れ目の位置を示す変数であ る. 句構造モデルを自己注意機構に組み込むこと で、同階層内だけで自己注意が係るよう、以下の式 で制約をかける。

$
\tilde{a}_{i}^{t}=\frac{g_{i}^{t} \cdot a_{i}^{t}}{\sum_{i} g_{i}^{t} \cdot a_{i}^{t}}
$

しかし、句構造を自己注意機構に組み込むだけでは 局所的な制約が強すぎるため、大局的な情報を参照 できないという問題がある、そこで、下層で参照し た情報を上層でも参照できるよう、以下の式で上層 に上がるにつれて局所的制約を緩和させる。

$
\hat{g}_{i}^{t,(l)}=g_{i}^{t,(l-1)}+\left(1-g_{i}^{t,(l-1)}\right) \cdot g_{i}^{t,(l)}
$

## 3.2 句構造に対する同期制約

原言語側と目的言語側の自己注意の整合性を保つ ための制約として同期注意制約 [12] がある. 先行研究では、機械翻訳に同期注意制約を課すことで翻訳性能を向上させている. この手法は同期文法から着想を得ており、同期文法は構文的に遠い言語間の統計的機械翻訳において有用であることが知られてい る [2]. 本研究では句構造を表現する構文距離を同期させる事により、構文的に遠い言語間でのニュー ラル機械翻訳の向上が期待できると考えた。この同期制約は原言語側と目的言語側の構文距離を最小二乗誤差 (Mean Squared Error; MSE) を用いて実現で き、以下の式で表される.

$
\mathcal{L}_{\text {sync }}=\frac{1}{L} \sum_{l}^{L} \sum_{i}\left(d_{i}^{(l)}-\tilde{d}_{i}^{(l)}\right)^{2}
$

ここで、 $d^{(l)}$ は目的言語側 $l$ 層目の構文距離であり、 $\tilde{d}^{(l)}$ は原言語側 $l$ 層目の構文距離 $s^{(l)}$ を目的言語側 $l$層目の構文距離 $d^{(l)}$ へ写像したものである. $L$ は 提案手法である句構造導出層の数である.

構文構造における重要な要素は、構文距離から導出される階層的位置関係である。しかし、MSEでは 正確な距離当て問題に帰着してしまうため、階層的位置関係が無視され、モデルに過剩なペナルティを 与えてしまう，そこで、階層的位置関係を考慮する Rank 誤差 [13] を利用する。構文距離に適用すると 以下の式で表される。

$\mathcal{L}_{\text {sync }}=\frac{1}{L} \sum_{l}^{L} \sum_{i, j>i} \operatorname{ReLU}\left(1-\operatorname{sign}\left(d_{i}^{(l)}-d_{j}^{(l)}\right)\left(\tilde{d}_{i}^{(l)}-\tilde{d}_{j}^{(l)}\right)\right)$

ここで、 $\operatorname{sing}(x)$ は符号関数である。写像した目的言語側 $l$ 層目の構文距離 $\tilde{d}^{(l)}$ は以下の式より求める.

$
\tilde{d}^{(l)}=C^{(l)} s^{(l)}
$

ただし、 $C \in \mathbb{R}^{m \times n}$ は原言語と目的言語の隠れ表現 の関連度を表す言語間注意であり、 $n$ は原言語側の 入力長、 $m$ は目的言語側の入力長である. 言語間注意 $C$ は、以下の式で計算される.

$
C^{(l)}=\operatorname{softmax}\left(\frac{Q^{(l)} K^{(l) \top}}{\sqrt{\delta_{\text {head }}}}\right)
$

ここで、 $Q=\left(q_{1}, q_{2}, \ldots, q_{m}\right) \in \mathbb{R}^{m \times \delta_{\text {head }}} \quad$ と $K=$ $\left(k_{1}, k_{2}, \ldots, k_{n}\right) \in \mathbb{R}^{n \times \delta_{\text {head }}}$ はそれぞれ、原言語側 と目的言語側の隠れ表現である．以上より、全体的 な目的関数は次の通りである.

$
\mathcal{L}=\mathcal{L}_{\text {trans }}+\lambda \mathcal{L}_{\text {sync }}
$

ここで、 $\mathcal{L}_{\text {trans }}$ は機械翻訳における目的関数であ る。また、入は $\mathcal{L}_{\text {sync }}$ を考慮する度合いを制御する ハイパーパラメータである.

## 4 実験

## 4.1 モデル

本稿で用いる全てのモデルは Seq2Seq フレーム ワークである Fairseq[14]を用いて実装した。ベース

ラインには Fairseq で提供されている Transformer を 用いた. 機械翻訳における同期的句構造の有効性を 確認するため、先行研究である同期注意制約モデル [12] とも比較する.

## 4.2 データセット

翻訳性能の評価実験は, IWSLT14 独英翻訳タス ク，ASPEC 日英翻訳を用いた. IWSLT14独英翻訳 の実験データは、英語、独語ともに Mosesdecoder を用いて単語分割した後、結合した訓練データか ら学習した BPE (Byte Pair Encoding)[15] によりサブ ワード単位に分割した. BPE の語彙数は 37,000 とし た. ASPEC 日英翻訳の実験データは、WAT のべー スラインシステムの構築方法1）を参考に，英語に は Mosesdecoder、日本語にはKyTeaを用いた。訓練 データは train-1.txt と train-2.txt から上位 150 万を抽出して用いた. 単語分割した後、結合した訓練データから学習した BPE によりサブワード単位 に分割した. BPE の語彙数は 16,000 とした.

構文解析の評価実験は、IWSLT14 独英翻訳を用 いた. BPE によるサブワード単位への分割は行 わない. ベースラインとなる構文木は Stanford Parser ${ }^{2}$ を用いて作成した。

## 4.3 実装詳細

モデルのハイパーパラメータにおいて、IWSLT14 は Fairseq の transformer_iwslt_de_en、ASPEC は同期注意制約 [12] を参考にした. また、同期的句構造 の導出には、 $N=5 、 \tau=0.1 、 \lambda=0.05$ を用いた. 翻訳文の生成にはビーム探索を用い、ビーム幅は 4、文長正則化パラメータは 0.6 とした. 句構造の導出 にはデコーダ 2 層までの平均構文距離を用いた. し かし、機械翻訳モデルごとに生成される翻訳文は異 なるため、正解文をデコーダ側に直接入力すること で、他のモデルと比較可能な構文木を獲得する. 単語アライメントの導出には、FastAlign[16] と $\mathrm{F}$ 值 を比較して最も良い 4 層目の言語間注意を用いた。

## 4.4 機械翻訳の結果

表 1 に実験結果を示す.モデルの翻訳性能は BLEUを用いて評価した. A.sync は同期注意制約 [12]、P. は句構造、P.sync は同期的句構造を用いた

表 1 機械翻訳性能の比較

表 2 構文解析性能の比較

モデルを示す．最も高い BLEU スコアは太字で示 す. 表 1 より、提案手法の同期的句構造を加味して Transformerを訓練することにより，IWSLT14 の独英翻訳実験では 0.54 ポイント、ASPEC の日英翻訳で は 0.51 ポイントの上昇が確認できた. また、同期注意制約のモデルと比較しても、全ての翻訳実験で BLEU が向上しており、機械翻訳における同期的句構造の有効性が確認できる。特に Rank 損失による 句構造の同期制約を用いたモデルが一番高い BLEU を達成しており、同期的句構造の学習にも階層的位置関係が重要であることが確認できる。しかし、日英翻訳において MSE 損失を用いた場合、BLEU が ベースラインよりも低下することが確認できた. 理由としては、日本語と英語の句構造が大きく異な り、句構造を全く同じ距離で同期することが難しい ためと考えられる。

## 4.5 句構造解析の結果

表 2 に実験結果を示す. 句構造解析性能は評価ス クリプトである Evalb3）を用いて評価した。表 2 よ り、提案手法の結果が先行研究で報告されている 結果を大きく下回った. これは多層モデルである Transformer と構文距離の相性によるものであり、句構造導出層を下層に限定する必要性を示唆してい る.また、構文解析性能は向上しているにも関わら ず BLEU は向上していないことから、構文情報は必 ずしも機械翻訳性能に貢献しないことが分かる.

3) https://nlp.cs.nyu.edu/evalb/

Stanford

PRPN

P.sync

Rank

図 1 句構造構文木の比較

図 2 Transformerによる単語アライメント

図 1 に Stanford Parser、先行研究および提案手法で 得られた句構造の一部を示す. 図 1 から分かるよう に、Stanford Parser と先行研究の構文木はある程度似 ているが、提案手法で得られた構文木とは大きく異 なる。しかし、どの構文木もある程度の名詞句を一塊りとして捉えているという特徴が読み取れる。こ れは、同期的句構造も意味をある程度塊として捉え ることを示している.

## 4.6 単語アライメントの定性評価

それぞれ図 2 と 3 に、Transformer と同期的句構造を用いた Transformer の単語アライメントを示す。 ただし、先行研究 [17] のように双方向モデルでア ライメントを導出していないことに注意されたい。図 2 と 3 を比較すると、Transformer は”töte”を正し く"kill”にアライメントが取れているが、提案手法 では正しくアライメントが取れている。また、提案

図 3 同期的句構造による単語アライメント

手法では、"außenstehende"が正しく”outside" と訳さ れ、その周辺にアライメントが取れている。これ は、同期的句構造が単語アライメントに対しても有効であることを示している.

## 5 おわりに

本稿では、教師なしに句構造を導出する方法、お よび導出した句構造文法を同期することで機械翻訳性能を向上する手法を提案した。評価実験の結果、提案手法は機械翻訳を通じて適切な句構造情報を導出して同期させることで機械翻訳の性能および説明性を向上できることを示した．今後は、単語アライ メントを定量的に評価することで注意機構と構文情報の関係性をより詳細に分析し、機械翻訳の性能お よび説明性のさらなる向上を目指す。また、他の言語間における提案手法の有効性を調査する。

## 参考文献

[1]Melvin Johnson, Mike Schuster, Quoc V. Le, Maxim Krikun, Yonghui Wu, Zhifeng Chen, Nikhil Thorat, Fernanda Viégas, Martin Wattenberg, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's multilingual neural machine translation system: Enabling zero-shot translation. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 339351, 2017.

[2]David Chiang. Hierarchical phrase-based translation. Computational Linguistics, Vol. 33, No. 2, pp. 201-228, 2007.

[3]Fai Wong, Dong-Cheng Hu, Yu-Hang Mao, Ming-Chui Dong, and Yi-Ping Li. Machine translation based on constraint-based synchronous grammar. In Second International Joint Conference on Natural Language Processing: Full Papers, 2005.

[4]Yikang Shen, Zhouhan Lin, Chin-Wei Huang, and Aaron Courville. Neural language modeling by jointly learning syntax and lexicon. In Proceedings of the International Conference on Learning Representations, 2017.

[5]Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311318, Philadelphia, Pennsylvania, USA, 2002. Association for Computational Linguistics.

[6]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[7]Hiroyuki Deguchi, Akihiro Tamura, and Takashi Ninomiya. Dependency-based self-attention for transformer NMT. In Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2019), pp. 239-246, Varna, Bulgaria, 2019. INCOMA Ltd.

[8]Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, 2016. Association for Computational Linguistics.

[9]Yikang Shen, Shawn Tan, Alessandro Sordoni, and Aaron Courville. Ordered neurons: Integrating tree structures into recurrent neural networks. In International Conference on Learning Representations, 2019.

[10]Yau-Shian Wang, Hung-Yi Lee, and Yun-Nung Chen. Tree transformer: Integrating tree structures into self-attention. arXiv preprint arXiv:1909.06639, 2019.

[11]Phu Mon Htut, Kyunghyun Cho, and Samuel R Bowman. Inducing constituency trees through neural machine translation. arXiv preprint arXiv:1909.10056, 2019.

[12]二宮崇出口 祥之. 同期注意制約を与えた transformer によるニューラル機械翻訳. 言語処理学会 第 26 回年次大会 発表論文集, pp. 1459-1462, 2020.

[13]Yikang Shen, Zhouhan Lin, Athul Paul Jacob, Alessandro Sordoni, Aaron Courville, and Yoshua Bengio. Straight to the tree: Constituency parsing with neural syntactic distance. In Proceedings of the 56th Annual Meeting of the Associa- tion for Computational Linguistics (Volume 1: Long Papers), pp. 1171-1180, Melbourne, Australia, 2018. Association for Computational Linguistics.

[14]Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, 2019. Association for Computational Linguistics.

[15]Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, 2016. Association for Computational Linguistics.

[16]Chris Dyer, Victor Chahuneau, and Noah A. Smith. A simple, fast, and effective reparameterization of IBM model 2. In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 644-648, Atlanta, Georgia, 2013. Association for Computational Linguistics.

[17]Sarthak Garg, Stephan Peitz, Udhyakumar Nallasamy, and Matthias Paulik. Jointly learning to align and translate with transformer models. In Conference on Empirical Methods in Natural Language Processing (EMNLP), Hong Kong, 2019.


# End-to-End Speech Translation with Cross-lingual Transfer Learning

Shuichiro Shimizu ${ }^{1} \quad$ Chenhui Chu $^{1} \quad$ Sheng Li $^{2} \quad$ Sadao Kurohashi ${ }^{1}$
${ }^{1}$ Kyoto University, Kyoto, Japan
${ }^{2}$ National Institute of Information and Communications Technology, Kyoto, Japan
\{sshimizu, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp
sheng.li@nict.go.jp

## 1 Introduction

Speech Translation (ST) is the task of translating input speech into translated text [1]. There are mainly two approaches for this task: cascaded approach, where Automatic Speech Recognition (ASR) and Machine Translation (MT) are chained together, and end-to-end approach, where a single sequence-to-sequence model directly translates between audio signals and target text.

Cascaded approach has a problem of error propagation: possible errors produced by ASR are input to MT without any fix. On the other hand, end-to-end approach does not produce such kind of ASR errors, because the target text is directly produced. Therefore, end-to-end approach is becoming more popular in recent days.

However, end-to-end approach still has a problem of data scarcity. It is not easy to collect ST datasets, because they require triplets of source speech, source transcript, and target translation. To address the problem of data scarcity, previous studies have tried to use information from other languages. One of the existing models is the joint multilingual model, where a single model is used to process multiple languages [2, 3, 4] (Figure 1, left). Unfortunately, this joint model only improves performance on high-resource language pairs (Table 2). We hypothesize that this is because of 1) the difference in data size for each language and 2) pushing too many tasks on a single model. These problems are thoroughly examined in the field of multilingual MT $[5,6,7]$.

In the meantime, transfer learning for ST using ASR has recently been explored $[8,9]$. They show that ASR pre-training on a high resource language can improve lowresource ST performance (Figure 1, right). Another direction of improving ASR using ST has also been explored [10]. Their studies are based on the assumption that both

Figure 1 Existing methods for multilingual ST. Left: joint model. Right: ST with ASR pre-training.

ASR and ST can be viewed as what is called a speechto-text task, and one can improve the other by transfer learning.

However, ST is a more complicated task than ASR, because it requires more abstract representations to perform translation. There is a study that shows the complexity of ST encoder [11]. On the decoder side, some studies have tried to use MT decoder to initialize ST decoder [4, 12]. These studies are showing improvements, but the task difference between ASR encoder and ST encoder, and between MT decoder and ST decoder leaves room for further improvements.

To address the above problems, we propose cross-lingual transfer learning for end-to-end ST, where we transfer parameters of ST models from one language pair to another. At most three languages are involved during training, and transfer of information is performed on the same task. This can solve the problem of too many tasks on a single model, and also the task difference between ASR/MT and ST. Our method shows improvement up to $2.28 \mathrm{BLEU}$, and is effective for both high-resource and low-resource language settings.

Figure 2 Overview of a speech-to-text task.

## 2 Preliminary

End-to-end ST is one kind of speech-to-text tasks (ASR/ST). Figure 2 shows an overview of the task.

In a speech-to-text task, we have a pair of source speech and target text, denoted as $\mathcal{S}=\{(\boldsymbol{x}, \boldsymbol{y})\} . \quad \boldsymbol{x}$ and $\boldsymbol{y}$ are from the same language if the task is ASR, and different if the task is ST. Here, $\boldsymbol{x}=\left(x_{1}, \ldots, x_{T}\right)$ is a sequence of acoustic signals per utterance, and $\boldsymbol{y}=\left(y_{1}, \ldots y_{N}\right)$ is a sequence of characters per utterance. Each utterance mostly corresponds to one sentence, but can be two or more sentences.

First, we extract speech features (i.e., filterbank) from audio signals and get a sequence of frames. Fourier transform, Mel-scale conversion, log conversion are sequentially applied to the frames, which becomes a set of $d$ dimensional vectors called $d$-dimensional $\log$ Mel filterbank.

Then we input the vector into the encoder of a sequence to sequence architecture. Here we use Transformer [13]. We apply positional encoding to the input vectors, which are fed into the encoder. Each encoder layer has a selfattention layer and a feed-forward layer with addition \& normalization layers. On the decoder side, embedded vectors are calculated and positional encoding is applied as well. Each decoder layer has a masked self-attention layer, a cross-attention layer and a feed-forward layer with addition \& normalization layers. After decoder layers, we have a linear layer and a softmax layer. The model is updated using cross-entropy loss:

$
L=-\log P(\boldsymbol{y} \mid \boldsymbol{x})
$

Figure 3 Proposed method. ST with ST pre-training and ASR encoder pre-training.

## 3 Cross-lingual Transfer for ST

The overview of our method is described in Figure 3. We use 3 speech-text pairs, $\mathcal{S}_{1}=\left.\{\left(\boldsymbol{x}_{1}, \boldsymbol{y}_{1}\right)\right.\}, \mathcal{S}_{2}=\left.\{\left(\boldsymbol{x}_{2}, \boldsymbol{y}_{2}\right)\right.\}$, and $\mathcal{S}_{3}=\left.\{\left(\boldsymbol{x}_{3}, \boldsymbol{y}_{3}\right)\right.\}$. Source speech $\boldsymbol{x}_{1}, \boldsymbol{x}_{2}$, and $\boldsymbol{x}_{3}$ are from different languages, and target text $\boldsymbol{y}_{1}, \boldsymbol{y}_{2}$, and $\boldsymbol{y}_{3}$ are all English. There is no overlap between $\boldsymbol{y}_{1}, \boldsymbol{y}_{2}$, and $\boldsymbol{y}_{3}$.

Stage 1: ASR pre-training First, we trained an ASR model using $\delta_{1}=\left.\{\left(\boldsymbol{x}_{1}, \boldsymbol{y}_{1}\right)\right.\}$ (En-En in Figure 3) to initialize ST encoder, following previous work $[3,8]$.

Stage 2: ST pre-training Secondly, we trained ST on one language pair using $\mathcal{S}_{2}=\left.\{\left(\boldsymbol{x}_{2}, \boldsymbol{y}_{2}\right)\right.\}$ (Zh-En in Figure 3). We call the source language $\boldsymbol{x}_{2}$ as the "second language." As for encoder initialization, all self-attention layers, feed forward layers, and addition \& normalization layers are shared with the ASR encoder at stage 1.

Stage 3: ST fine-tuning Finally, using the ST encoder and decoder as initialization, we trained ST on another language pair using $\delta_{3}=\left.\{\left(\boldsymbol{x}_{3}, \boldsymbol{y}_{3}\right)\right.\}$ (Ja-En in Figure 3). We call the source language $\boldsymbol{x}_{3}$ as the "third language." As for initialization, all of the encoder layers, the decoder layers, the linear layer, and the softmax layer are shared with those at stage 2.

## 4 Experiments

## 4.1 Dataset

We used CoVoST2 [2], a large-scale multilingual ST corpus which covers translations from 21 languages to English and from English to 15 languages. We used the former part of 21 languages to English, and chose 13 languages in addition to English (Table 1) following previous work [3]. We can see that English, French, Germany, and Spanish are high-resource languages, while others are low-resource ones.

## 4.2 Pre-processing

We extracted 80-dimensional log Mel filterbank features with frames of $25 \mathrm{~ms}$ length and $10 \mathrm{~ms}$ stride. Utterance level cepstral mean variance normalization (CMVN) was applied to the feature. SpecAugment [14] with LB policy was applied to avoid overfitting. SentencePiece [15] was used to make character vocabulary for each language.

## 4.3 Model training

We used the fairseq S2T [3] toolkit for the experiments. We used Transformer with 6 encoder layers and 12 decoder layers where the hidden dimension size is 256 and the number of attention heads is 4. Label smoothing was applied when computing the cross-entropy loss.

Stage 1: ASR pre-training First, we conducted English ASR pre-training, because English is the highest resource language in this corpus. We used the adam optimizer with an inverse square root learning rate scheduler. We linearly increased the learning rate from 0 to 0.001 until 10,000 updates. Thereafter we decayed the learning rate proportional to the number of updates. We stopped training after 100,000 updates and averaged the parameters over the last 10 epochs.

Stage 2: ST pre-training Secondly, we loaded the parameters from the ASR encoder at stage 1, and trained ST on a language pair $\mathcal{S}_{2}=\left.\{\left(\boldsymbol{x}_{2}, \boldsymbol{y}_{2}\right)\right.\}$. As source (second) languages $\boldsymbol{x}_{2}$, we chose French and Chinese. We chose French because it is the highest resource language pair, and Chinese because it is the highest one other than European languages. Again, we used the adam optimizer with an inverse square root learning rate scheduler, this time the learning rate was increased to 0.002 and then decayed. We stopped training after we had seen no improvement in terms of development set loss over 10 epochs, and used the best epoch for evaluation.

Stage 3: ST fine-tuning Finally, we loaded all the parameters at stage 2, and trained ST on another language pair $\mathcal{S}_{3}=\left.\{\left(\boldsymbol{x}_{3}, \boldsymbol{y}_{3}\right)\right.\}$. The vocabulary was also shared with the second language. The optimizer and the learning rate scheduling was the same as stage 2 . The model was trained for the same epochs as stage 2 and the last checkpoint was used for evaluation.

## 4.4 Decoding and Evaluation

For decoding, beam search was used with beam size 5 . BLUE score was calculated with sacreBLEU [16].

## 4.5 Results

Table 2 shows the BLEU scores for test sets. The first row is our baseline, which is ST with ASR encoder pre-training. The second and third rows show the results of our proposed method. Cross-lingual Fr denotes our proposed method where the second language is French, and cross-lingual Zh is a Chinese one. These are based on our experiments, and the last two rows are from a previous study [3]. They show that the joint model improves the results compared to bilingual one in Fr, De, Es, and Zh, but in other languages the performance is degrading.

In our experiments, the scores of either of our methods outperformed the baseline scores in languages other than Chinese. For example, in Spanish-English ST, our crosslingual Fr is better than bilingual one by 2.28 BLEU.

We conjecture that the linguistic similarity between the second language and the third language is important in our method. For example, when the second language is French, Ja-En ST BLEU score is 0.24 , which is lower than the bilingual one. However, when the second language is Chinese, it improves to 0.94 . French and Japanese have little in common in terms of vocabulary and grammar, but Chinese and Japanese have similar vocabularies.

## 4.6 Case Analysis

Table 3 shows an example from De-En, which is a highresource language pair, and Ja-En ST, which is a lowresource one.

In De-En ST, cross-lingual Fr produced the best translation. Bilingual one could not correctly predict the position of From the earth. Cross-lingual Zh could predict the position correctly, but it is Of the earth, not From the earth. We

Table 2 BLEU scores for test set. *Encoder initialized with English ASR. †Wang et al., 2020 [3]. *Trained jointly on 21 languages with temperature based sampling $(T=2)$.

Table 3 Example sentences from the test set of De-En and Ja-En ST. Transcription and Reference are given in the dataset, and others were predicted during decoding. Colored words are referred to in Section 4.6 and the same color corresponds to the same meaning. ${ }^{*}$ Encoder initialized with English ASR.

can also see that cross-lingual Fr predicted sees correctly, but others were like looking from or look like.

In Ja-En ST, the sentence from the bilingual baseline is not grammatically correct. On the other hand, the sentence produced by our method is more natural English, although the meaning of it is far from the original one. Cross-lingual $\mathrm{Zh}$ is better than cross-lingual $\mathrm{Fr}$ in that it correctly predicts Father. We can say that our method is effective for both high-resource settings and low-resource settings.

## 5 Conclusion and Future Work

We proposed end-to-end ST with cross-lingual transfer learning, which is effective for both low-resource and high-resource settings, especially when the knowledge is transferred from a linguistically similar language. In the future, we will explore the joint model considering linguistic similarity. We will also explore which layer of the encoder/decoder at stage 2 has effective information to transfer.

## Acknowledgments

This work was supported by Grant-in-Aid for Young Scientists \#19K20343, JSPS.

## References

[1] Matthias Sperber and Matthias Paulik. Speech translation and the end-to-end promise: Taking stock of where we are. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 74097421, Online, July 2020. Association for Computational Linguistics.

[2] Changhan Wang, Anne Wu, and Juan Pino. CoVoST2 and Massively Multilingual Speech-to-Text Translation. arXiv preprint arXiv:2007.10310v3.

[3] Changhan Wang, Yun Tang, Xutai Ma, Anne Wu, Dmytro Okhonko, and Juan Pino. fairseq S2T: Fast Speech-to-Text Modeling with fairseq. In Proceedings of the 2020 Conference of the Asian Chapter of the Association for Computational Linguistics (AACL): System Demonstrations, 2020.

[4] Hirofumi Inaguma, Kevin Duh, Tatsuya Kawahara, and Shinji Watanabe. Multilingual end-to-end speech translation. In 2019 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU), pp. 570-577. IEEE, 2019.

[5] Ankur Bapna, Colin Andrew Cherry, Dmitry (Dima) Lepikhin, George Foster, Maxim Krikun, Melvin Johnson, Mia Chen, Naveen Ari, Orhan Firat, Wolfgang Macherey, Yonghui Wu, Yuan Cao, and Zhifeng Chen. Massively multilingual neural machine translation in the wild: Findings and challenges. arXiv:1907.05019, 2019.

[6] Roee Aharoni, Melvin Johnson, and Orhan Firat. Massively multilingual neural machine translation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3874-3884, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7] Raj Dabre, Chenhui Chu, and Anoop Kunchukuttan. A survey of multilingual neural machine translation. ACM Comput. Surv., Vol. 53, No. 5, September 2020.

[8] Sameer Bansal, Herman Kamper, Karen Livescu, Adam Lopez, and Sharon Goldwater. Pre-training on high-resource speech recognition improves low-resource speech-to-text translation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 5868, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[9] Mihaela C Stoian, Sameer Bansal, and Sharon Goldwater. Analyzing asr pretraining for low-resource speech-totext translation. In ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 7909-7913. IEEE, 2020.

[10] Changhan Wang, Juan Pino, and Jiatao Gu. Improving cross-lingual transfer learning for end-to-end speech recognition with speech translation. arXiv preprint arXiv:2006.05474, 2020.

[11] Chengyi Wang, Yu Wu, Shujie Liu, Ming Zhou, and Zhenglu Yang. Curriculum pre-training for end-to-end speech translation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3728-3738, 2020.

[12] A. Bérard, L. Besacier, A. C. Kocabiyikoglu, and O. Pietquin. End-to-end automatic speech translation of audiobooks. In 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 6224-6228, 2018.

[13] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[14] Daniel S. Park, William Chan, Yu Zhang, Chung-Cheng Chiu, Barret Zoph, Ekin D. Cubuk, and Quoc V. Le. SpecAugment: A Simple Data Augmentation Method for Automatic Speech Recognition. In Proc. Interspeech 2019, pp. 2613-2617, 2019.

[15] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[16] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.


# 同時機械翻訳のための 文脈を考慮したセグメントコーパス

中林 明子

東京大学大学院総合文化研究科 akinkbys@phiz.c.u-tokyo.ac.jp
## 1 はじめに

発話を音声認識によってテキスト化し、文の完了 を待たずに翻訳を開始する、同時機械翻訳を検討し ている. 特に講演などにおいては一文が長くなる傾向があり、文の完了を待たずに翻訳を開始すること が期待される。しかし一般的な翻訳システムでは一文が入力されることを前提としているため、翻訳の 単位が小さくなれば、適切な翻訳は困難となる。こ のような同時機械翻訳のタスクにおいては、発話か らの遅延を抑えると同時に、翻訳精度を維持するこ とが求められる。

同時通訳者は、同時性を保ちつつ適切な通訳を行 うため、Salami Technique と呼ばれる手法を用いて いる。一文を複数のセグメントに分割し、セグメン 卜単位で前から順に処理する. その際、再構成、簡素化、省略することで自然な訳出を実現する [1].

同時機械翻訳においても、入力をセグメントに分割し、セグメント単位に翻訳する方式が研究の初期 から検討されている. しかしこの手法は、ニューラ ル機械翻訳の枠組みにおいて以下の課題がある.

(1) セグメント単位の翻訳は、それまでの文脈が反映されず、発話の中で適切なものとならない. (2)一般的な文単位のパラレルコーパス（以下、文コー パス）から、セグメント単位での適切な翻訳を学習 することは限界がある．あわせて、同時機械翻訳に おける大きな課題として、(3) 同時通訳コーパス資源が限られているため、学習に用いられる文コーパ スは翻訳コーパスであり、同時機械翻訳にとって最適な語順となっていないことがある。

本論文では、これらの問題に対応するために、す でに現れたセグメントを文脈とみなして、これを参照してより適切な通訳結果を出力するようなセグメ ント単位のコーパス（以下、セグメントコーパス） を作成し、それを利用して、文コーパスで学習した

\author{
加藤 恒昭 \\ 東京大学大学院総合文化研究科 \\ kato@boz.c.u-tokyo.ac.jp
}

翻訳モデルのチューニングを行うことを提案する。

以下、関連研究を紹介した後、セグメントコーパ スとその作成について述べ、実験結果を報告する.実験の結果、単純なセグメント単位の翻訳に比べ て、BLUE スコアが大きく向上した. また翻訳結果 より、前方のセグメントを参照した翻訳が可能であ ることを確認した。

## 2 関連研究

1 節で述べた (1)の問題に対して、Gu, et al. [2] は 強化学習により、翻訳システムの READ/WRITEを 制御することで対応した. その後、(2) に対応する ため、文ではなく prefix 単位で学習する Wait- $k$ [3] が提案されたが、適切なセグメント分割は考慮され ず、常に一定の遅延で出力するため、特に語順が異 なる言語間では自然な翻訳を出力できていない [4].遅延の policy をより柔軟に学習する方法 [5] [6] や、文コーパスを分割してセグメントコーパスを作成す る方法 [7] も提案されているが、これらは翻訳コー パスに基づいて行われる.

本提案は、入力文をセグメントに分割し、セグメ ント単位で翻訳を行うという基本的な枠組みに従う が、(1)(2) の問題に加えて (3) の問題を視野に入れ、同時通訳者の用いる手法を参考に同時翻訳結果と して望ましいセグメントコーパスを作成する．翻訳 コーパスから同時機械翻訳向けのコーパスを作成 する提案として [8] [9] があるが、セグメントを扱う ニューラル機械翻訳の枠組みの中での活用は述べら れていない.コーパスの作成において、文単位の翻訳コーパスで学習したべースラインの翻訳モデル （以下、ベースモデル）を利用するという提案も独自のものである.

## 3 文脈を考慮したセグメントコー パス

以下の対からなるセグメントコーパスを構築し た. 入力言語側は、一文をセグメントに分割し、す でに現れたセグメントを文脈とみなして文脈記号で 接続する. 出力言語側は、分割されたセグメントに 同時通訳者の用いる手法を参考にして必要な情報を 付加し、これをべースモデルで翻訳した結果を用い る. 前方のセグメントを参照して、必要な情報を追加するよう学習することを期待している。

## 3.1 セグメント

本論文では、一文を翻訳する単位となるセグメン トに分割し、セグメントごとに翻訳を行うことを想定する．セグメントをどこで分割すべきかについて は、様々な研究がなされてきた [10] [11] が、本論文 では、セグメント長の最大値を 6 単語とし、その範囲で、最も大きい構成要素の境界でセグメントを分割した. 本論文では、このようなセグメント分割が 同時通訳者が行っているものであるかは議論しな いが、構成要素の単位をセグメントとすることは妥当な仮定であると考えている. また、このようなセ グメント分割には、漸進的パージングが必要となる が、本論文ではこれが可能であると仮定している.

## 3.2 同時通訳者の手法

同時通訳者は、特に語順が大きく異なるような言語対では、セグメント単位の翻訳をより自然な出力 とするため、様々な工夫を行う. よく見られる手法 の一つとして、以下のような繰り返しがある。な お、“”はセグメントの分割位置を示す.

名詞句 (NP) の繰り返し：
- 原文 : So being a Russian girl / of fairly strong being able to drink liquor very strongly,

・通訳：ロシア人の女性ですけれども/非常にお 酒が強い人なので

動詞の繰り返し：
- 原文：thus producing a sound / from the chanter.

・通訳：そして今度また音を出します/チャン ターから出すんですね

（同時通訳データベース（SIDB）[12]より）

同時機械翻訳においても、第一の例の二つ目のセ
グメントを訳出する際は、前方の名詞句（NP）を繰 り返すことでより自然な翻訳となる。これを可能と するために前方のセグメントを参照し、名詞句の繰 り返しを学習できるよう、コーパスを作成する。

## 3.3 文脈を考慮したセグメントコーパスの 構築

以下の手順で文脈を考慮したセグメントコーパス を構築した。

1. 入力言語の Training データをセグメントに分割 する。
- 入力言語 : they explained the technology / of the dna analysis .

2. 入力言語のセグメントが前置詞 “of” で始まる 場合、それが修飾する前方の名詞句（NP）を付加する.
- 入力言語：they explained the technology / the technology of the dna analysis .

3. Step1-2 のセグメントをベースモデルで翻訳し、対訳ぺアを作成する。

$\cdot$出力言語：技術について解説した/dna 解析の技術

4. 入力言語のセグメントに、一文を一つの単位と してすでに現れたセグメントを付加し、間に文脈符号（_BREAK_）を付与する.
- 入力言語 : they explained the technology / they explained the technology _BREAK_ of the dna analysis .

$\cdot$出力言語：技術について解説した/dna解析の技術

5. Step3 の結果のうち、翻訳結果に同じ単語が 3 回以上現れるぺアは誤訳である可能性が高いた め、コーパスから削除する。
- 入力言語 : at present,

・出力言語：現在, 現在では, 現在である

Step2では 3.2 節に示した同時通訳者の名詞句の繰 り返しを取り入れている. Step4 は、機械翻訳にお いて文脈情報を付与する手法の一つ [13] である.

## 4 実験

文コーパスで学習したべースモデルに対して、文脈を考慮したセグメントコーパスを用いてチュー ニングを行った．同時通訳者の手法に見られるよう に、前方のセグメントの情報が用いた出力が可能で
表 1 データセット

表 2 実験結果

あるかを確認した。

## 4.1 モデル

PyTorch ベースの OpenNMT ${ }^{1}$ を使用して英日翻訳 モデルを構築した. 6 層の Transformer のモデルで、

ド数は 8 とした. ドロップアウトは 0.1 、バッチサ イズは 4,096 とした. 英語と日本語の入力には BPE [14]を適用し、英語と日本語の語彙は共有した. 語彙数は 40,543 であった. 最適化アルゴリズムには Adam を使用した. 次節のコーパスを用いてべース モデルを構築した. このべースモデルを 3.3 節のと おり作成した、文脈を考慮したセグメントコーパス でチューニングした.

## 4.2 データ

データセットとして、ASPECコーパス [15]を利用 した. データセットの概要は表 1 のとおりである. チューニングに使用するセグメントコーパスの データは、ベースモデルで使用した Training データ と同等のボリュームとなるよう、ベースモデルで使用した Training データより抽出した.

## 4.3 実験結果

定量評価には ASPECコーパスの評価セットを利用し、指標として $\mathrm{BLEU}^{2}$ を使用した. セグメント 単位の翻訳では、それぞれの翻訳結果を一文ごとに 結合し、参照翻訳と比較した. その結果を表 2 に 示す.

1 節で論じているように、ASPEC コーパスの参照翻訳は必ずしも本提案が目指す結果ではない，その 位置付けからすると、本評価は、ベースモデルをセ グメント単位で翻訳した場合と比較して、句や節な どの比較的狭いスパンでより適切な結果が得られて いるかに着目していることになる. より大きな構造 のレベルで同時通訳結果としてより適切となってい るか否かの評価は今後の課題である。

モデルに対して、文単位の評価セットとセグメン ト単位の評価セットで評価を行った. ベースモデ ルは、セグメントコーパスでチューニングする前の 翻訳モデルを指す. セグメントは 3.3 節の Step $1+3+5$ を実施したコーパスでチューニングしたモデル、セ グメント+NP は Step1+2+3+5 を実施したコーパスで チューニングしたモデル、セグメント+NP+文脈は、本論文の提案である Step $1+2+3+4+5$ を実施したコー パスでチューニングしたモデルを指す.このモデル では、セグメント単位の評価セットにも文脈を付与 している.

ベースモデルはセグメント単位の評価で大きく劣 る. 単純なセグメントコーパスによるチューニング でも、セグメント単位の評価は大きく改善するが、今回提案するコーパスによってさらなる向上が見ら れている.

## 5 考察

実際の翻訳例を表 3 に示す. 翻訳例 1 において、 セグメント “of 100 hours” は「100 時間の連続走行」 と翻訳されており、同時通訳者の手法で見られるよ うに、それが修飾する前方の名詞句を参照し、これ を繰り返して翻訳することができている。翻訳例 2 も同様に、前置詞 “of” で始まるセグメントは、前方の名詞句を参照し、これを繰り返して翻訳して いる.

本論文では 3.3 節の Step2 において名詞句の付与 だけを行ったが、 3.2 節の動詞の反復を含めるなど、 これをより一般化することで、より受け手にとって 負担のない翻訳を出力できるようになることが期待 される。例えば翻訳例 2 において、セグメント“to explain the basic concept (本来は in order to explain the basic concept)" の翻訳と直前のセグメントの翻訳を 見ると、セグメント間の関係が見えづらいが、前方 のセグメントの動詞を参照してこれを繰り返すこと で、より自然な翻訳を出力できるようになる。

翻訳例 1

 \\

& 反射と屈折の 問題, 平面 境界における 円筒 波, 次に取り上げた, 基本 概 \\
ベースモデル & 念を説明した \\

& げた, 基本概念を説明した

## 6 まとめ

本論文では、入力文をセグメントに分割し、セグ メント単位で翻訳を行うという基本的な枠組みのも と、すでに現れたセグメントを文脈とみなして、こ れを参照してより適切な通訳結果を出力するような セグメント単位コーパスを作成し、これを利用して 翻訳モデルのチューニングを行うことで、同時機械翻訳の精度向上を図った. チューニングを行うこと で、ベースモデルにおけるセグメント単位の翻訳に 比べて、BLUE スコアが大きく向上した. また翻訳結果より、前方のセグメントを参照した翻訳が行わ れていることを確認した。

今後の取り組みとして、セグメント間の接続方法 を検討したい。現在はセグメントごとに翻訳された 結果を接続しているが、例えば翻訳例 1 の最初と 2 つ目のセグメントの翻訳結果において、2つ目のセ グメントの翻訳時に前方のセグメントの翻訳結果を 考慮し「1.0t コイル〈は〉連続走行に成功した」の ように〈は〉を挿入することができれば、より自然 な翻訳を得ることができると考える。

## 参考文献

[1] Roderick Jones. Conference interpreting explained. Routledge., 1998.

[2] Jiatao Gu, Graham Neubig, Kyunghyun Cho, and Victor O.K. Li. Learning to translate in real-time with neural machine translation. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 1053-1062, Valencia, Spain, April 2017.

[3] Mingbo Ma, Liang Huang, Hao Xiong, Renjie Zheng,
Kaibo Liu, Baigong Zheng, Chuanqiang Zhang, Zhongjun He, Hairong Liu, Xing Li, Hua Wu, and Haifeng Wang. STACL: Simultaneous translation with implicit anticipation and controllable latency using prefix-to-prefix framework. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3025-3036, Florence, Italy, July 2019.

[4] Hao Xiong, Ruiqing Zhang, Chuanqiang Zhang, Zhongjun $\mathrm{He}$, Hua Wu, and Haifeng Wang. Dutongchuan: Contextaware translation model for simultaneous interpreting. CoRR, Vol. abs/1907.12984, , 2019.

[5] Naveen Arivazhagan, Colin Cherry, Wolfgang Macherey, Chung-Cheng Chiu, Semih Yavuz, Ruoming Pang, Wei Li, and Colin Raffel. Monotonic infinite lookback attention for simultaneous machine translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1313-1323, Florence, Italy, July 2019.

[6] Baigong Zheng, Renjie Zheng, Mingbo Ma, and Liang Huang. Simultaneous translation with flexible policy via restricted imitation learning. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5816-5822, Florence, Italy, July 2019.

[7] Jan Niehues, Ngoc-Quan Pham, Thanh-Le Ha, Matthias Sperber, and Alex Waibel. Low-latency neural speech translation. In Proceedings of Interspeech, 2018, pp. 12931297, 2018.

[8] He He, Alvin Grissom II, John Morgan, Jordan BoydGraber, and Hal Daumé III. Syntax-based rewriting for simultaneous machine translation. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 55-64, Lisbon, Portugal, September 2015.

[9] 二又航介, 須藤克仁, 中村哲. 英日同時通訳システム のための疑似同時通訳コーパス 自動生成手法の提案. 言語処理学会第 26 回年次大会, 2020.

[10] Hideki Kashioka, Takehiko Maruyama, and Hideki Tanaka. Building a parallel corpus for monologue with clause alignment. In Proceedings of the Ninth Machine

Translation Summit, pp. 216-223, 2003.

[11] Yusuke Oda, Graham Neubig, Sakriani Sakti, Tomoki Toda, and Satoshi Nakamura. Optimizing segmentation strategies for simultaneous speech translation. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 551-556, Baltimore, Maryland, June 2014.

[12] Shigeki Matsubara, Akira Takagi, Nobuo Kawaguchi, and Yasuyoshi Inagaki. Bilingual spoken monologue corpus for simultaneous machine interpretation research. In Proceedings of the Third International Conference on Language Resources and Evaluation (LREC'02), Las Palmas, Canary Islands - Spain, May 2002.

[13] Jörg Tiedemann and Yves Scherrer. Neural machine translation with extended context. In Proceedings of the Third Workshop on Discourse in Machine Translation, pp. 8292, Copenhagen, Denmark, September 2017.

[14] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016.

[15] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 2204-2208, Portorož, Slovenia, May 2016.