# 構文ラベル予測による同時ニューラル機械翻訳

加納保昌 1 須藤克仁 1,2 中村哲 1,2
1 奈良先端科学技術大学院
2 理化学研究所 革新知能統合研究センター AIP
\{kano. yasumasa.kw4, sudoh, s-nakamura\}@is.naist.jp

## 概要

同時翻訳は、話し手が話し終わる前に翻訳を開始 するタスクであり、いつ翻訳を開始するかが重要で ある。しかし、英語と日本語のように語順が異なる 言語ペアのニューラル機械翻訳では、そのタイミン グ判断は未だ難しい。そこで、構文ラベル予測モデ ルと、そのラベルを利用した簡単な判断ルールを 提案する。これらにより、既存手法では難しかっ た翻訳の構文や出力タイミングの制御もしやすく なった。英日同時通訳の実験で、提案手法は精度と 遅延のトレードオフにおいて、ベースラインを上回った。

## 1 はじめに

表 1 英語 (SVO) から日本語 (SOV) への翻訳

同時翻訳は、話し手が話し終わる前に翻訳を始め るタスクである。文の後半を見ずに翻訳を始めなけ ればいけないので、文全体を見て行う通常の翻訳 (フルセンテンス翻訳) より難しい。同時翻訳では、 いつ翻訳を始めるのかというタイミングを決めるこ とが重要である。そのタイミングの遅延と翻訳精度 にはトレードオフがあり、できるだけ遅延を抑える 必要がある。

よく使われる同時機械翻訳モデルの一つに wait-k

込まれるのを待ったのちに、翻訳を開始する。しか し、このような単純な手法では日英などの、長距離 の単語の並べ替えが必要となる言語対の同時翻訳は 難しい。

表 1 に示されている通り、単純に前から訳すだけ の順送り翻訳は不自然になりがちである。“bought a pen”という部分は、“ペンを買った”というように 訳される方が自然である。ここでは、“bought” の後 の目的語を待つ必要がある。この例文では、“I”が 並べ替えを必要としない最後の単語であり、ここが 自然に翻訳をすることができるセグメントの境で ある。

このような並べ替えの問題を解決するため、部分入力文の次にくる構文ラベルの予測とそれに基づく シンプルなルールによってセグメンテーションを行 い、チャンクベースで翻訳をする手法を提案する。

これによって、既存手法では困難だった翻訳出力 の構文とタイミングの制御をしやすくした。そし て、英日同時翻訳の実験の結果、ベースラインを精度と遅延のトレードオフにおいて上回った。

## 2 関連研究

ニューラル同時機械翻訳においては、wait-kよ りも翻訳タイミングを柔軟に決められるように、遅延をロス関数に組み込む手法が提案されてきた $[2,3,4]$ 。しかし、学習済みモデルを用いて最適な セグメント境界を BERT [5] による予測モデルで見 つけ、チャンクごとに翻訳していく Meaningful Unit (MU)[6] という手法も提案され、これらを上回った。

統計的機械翻訳においては、構文情報を用いる手法として、小田ら [7] が、各セグメントの右辺と左辺の構文要素ラベルを予測することで、不完全な文 を漸進的に構文解析する手法を提案した。彼らは、予測された構成要素とセグメント内の単語を連結 し、その結果を tree2string の機械翻訳に入力した。 そして、翻訳結果のどこに構成要素が現れるかに よって、さらに入力トークンを待つか、翻訳を出力 するかを決めた。本研究はこの手法をニューラル機械翻訳に展開し、よりシンプルにしたものである。

 &  \\

図 1 ICLP から予測されたラベルとルールに基づいて境界が検出されると、NMT（翻訳モデル）は翻訳を開始する。前 の翻訳（図では赤色）は次の翻訳のプレフィックスとして使われる。図では簡単のため EOS は省略されている。

 & You &  &  &  &  &  &  & . \\

表 2 最小セグメント長が 1 の ICLP の結果例。

## 3 提案手法

図 1 は提案手法の全体図である。まず、文のプレ フィックスから次の構文要素ラベルを予測する。そ して、そのラベルを用いたルールによってそこがセ グメント境界だと判断された場合には、そのチャン クを翻訳する。

## 3.1 チャンクベースの同時翻訳

標準的なニューラル機械翻訳は次の式で表さ れる。

$
p_{\text {full }}(Y \mid X)=\prod_{t=1}^{|Y|} P\left(y_{t} \mid X, y_{<t}\right)
$

$X=x_{1}, x_{2}, \ldots, x_{n}$ は $n$ トークンからなる入力文で、 $Y=y_{1}, y_{2}, \ldots, y_{m}$ は $m$ トークンからなる予測された 翻訳文である。

チャンクベースの同時翻訳でも、上記のモデルを 通常の対訳文ペアで学習する。しかし、推論時には 以下の処理を行う。

チャンク系列 $\boldsymbol{X}^{i-1}=X_{1}, X_{2}, \ldots, X_{i-1}$ をチャンク系列 $\widetilde{\boldsymbol{Y}}^{i-1}=\widetilde{Y}_{1}, \widetilde{Y}_{2}, \ldots, \widetilde{Y}_{i-1}$ に翻訳したとする。次に $X_{i}$ から $\widetilde{Y}_{i}$ へ翻訳する際には、過去の全ての $X_{1}^{i}$ を含 めて、頭から翻訳し直すが、 $\widetilde{Y}^{i-1}$ に forced decoding を適用する。プレフィックス $\widetilde{Y}^{i}$ の確率は以下の式 で表され、第一項は (1) 式のフルセンテンスの翻訳
と同様に計算される。

$
\begin{aligned}
& p_{\text {prefix }}\left(\widetilde{\boldsymbol{Y}}^{i} \mid \boldsymbol{X}^{i}\right)= \\
& \quad p_{\text {full }}\left(\widetilde{\boldsymbol{Y}}^{i-1} \mid \boldsymbol{X}^{i}\right) \times p_{\text {chunk }}\left(\widetilde{Y}_{i} \mid \boldsymbol{X}^{i}, \widetilde{\boldsymbol{Y}}^{i-1}\right) .
\end{aligned}
$

第二項は、 $\widetilde{Y}_{i}=y_{1}^{i}, y_{2}^{i}, \ldots, y_{\left|\widetilde{Y}_{i}\right|}^{i}$ として、以下のように 分解される。

$
p_{\text {chunk }}\left(\widetilde{Y}_{i} \mid \boldsymbol{X}^{i}, \widetilde{\boldsymbol{Y}}^{i-1}\right)=\prod_{t=1}^{\left|\widetilde{Y}_{i}\right|} P\left(y_{t}^{i} \mid \boldsymbol{X}^{i}, \widetilde{\boldsymbol{Y}}^{i-1}, y_{<t}^{i}\right) .
$

チャンクベースのデコーディングは、チャンクごと に Encoderをリフレッシュする。チャンクは複数単語で構成されることが多いため、新しい単語が入っ てくるたびに Encoder をリフレッシュする漸進的な Transformer[1] よりも効率的である。

## 3.2 構文ラベル予測

現在の時間ステップにおいて、文のプレフィック スの後に来る構文構成ラベルを予測する。この処理 を ICLP (Incremental Constituent Label Prediction) と呼 ぶ。ここで、次の構文ラベルとは、木の先行順にお いて文のプレフィックスの次に来る構成要素である と定義する。しかし、ある統語要素の次には通常多数の統語要素が出現し得るため、このままでは予測 が難しい。そこで提案手法では、一つ先の単語を見 て、その単語から始まる構文要素のラベルを予測す ることとする。入力系列 $W=\left[w_{1}, w_{2}, \ldots, w_{|W|}\right]$ にお いて、部分単語系列 $w_{i}$ から構文ラベル $c_{i}$ を予測す

る式は以下で表される。

$
c_{i}=\underset{c^{\prime} \in C}{\operatorname{argmax}} p\left(c^{\prime} \mid w_{\leq i}\right),
$

C は構文ラベル集合である。

## 3.3 セグメンテーションルール

表 2 はセグメンテーションの例を示す。我々は一 つの基本ルールと二つの補助ルールを提案する。

・S と VP の直前で区切る。

・前のラベルが $\mathrm{S}$ または VP であれば区切らない。

・チャンクが最小セグメント長より小さければ区切らない。

SVO 型から SOV 型へと翻訳する際には、原言語の 主語と動詞の間では問題なく区切れるが、動詞と目的語の間では並べ替えが発生するため、区切るべき ではない。よって第一のルールとして、VPの前で 区切ることとした。Table 3 のように、“( S ( VP “) )” の形で現れることも多いので、 $\mathrm{S}$ もルールに追加 した。

表 2 の“can save”のように、VP が連続する場合 は、“can”と“save”で分けるのは適切ではないため、 2つ目のルールを設けた。

また、精度と遅延をコントロールするため、三つ 目のルールとして、最小セグメント長を推論時のハ イパーパラメータとして与えた。

## 4 実験

提案手法の遅延と精度のトレードオフ、そして翻訳タイミングの制御を既存手法と比べるため、英日同時翻訳の実験を行った。

## 4.1 データと前処理

英日対訳データとして WMT2020 の約 1790 万文で学習し、IWSLT2017 の約 22.3 万文でファイン チューニングを行った。IWSLT の dev2010、tst2011、 tst2012、 tst2013 からなる 5312 文のペアを開発デー タに使用し、IWSLT の dev2021 の 1442 文でモデル を評価した。

英語は Moses [8] で、日本語は MeCab [9] で単語分割した。BPEでサブワード分割し、語彙サイズは英日共有で 1.6 万とした。ICLP は Penn Treebank 3 を用 いて学習し、その $1 \%$ 開発データとした。そして、 NAIST-NTT TED Talk Treebank で評価した。

## 4.2 モデル設定

全ての翻訳モデルは fairseq [10] の Transformer-base [11]をベースに実装され、IWSLT2021 のベースモデ

はセグメント境界である確率の閾値を、固定長区切 りではセグメント長を、ICLP では最小セグメント 長を変えることによって遅延を制御した。值の範囲 などの詳細は付録に記述する。

ICLP は 2 種類実装し、比較した。一つは 2 層の 単方向 LSTM [14] に全結合層を加えたもので、エン ベディングと隠れ層は 512 次元とし、入力は Moses でトークナイズし、BPE[15] で語彙 16K のサブワー ドに分割した。もう一つは、BERTを用いたもので、 Huggingface transformers[16] $の$ bert-base-uncased を 用いて、それに付随するトークナイザを用いた。こ れらに、文のプレフィックスを入力し、構文ラベル を予測した。

一つ先の単語を見ることで精度の向上が見ら れ、LSTM と BERT の差は小さかった。詳細は付録参照、

## 4.3 評価

simuleval [17] を用い、精度は BLEU [18] で、遅延 の大きさは Average Lagging (AL) [1] で測った。AL は以下の式で表される。

$
A L_{g}(X, Y)=\frac{1}{\tau_{g}(|X|)} \sum_{t=1}^{\tau_{g}(|X|)} g(t)-\frac{t-1}{\gamma} .
$

$g(t)$ は、非減少関数で、 $t$ 番目の目的言語単語を 出力するために読む原言語の単語数を示す。 $\tau_{g}(|X|)$ は原言語文全体を読み終えた時のデコードステップ である。最後の原言語トークンを読み込んだ直後に 予測される $\tau_{g}(|X|)$ 番目のターゲットトークンまで の遅延をカウントする。 $\gamma$ は $|Y| /|X|$ である。

## 4.4 結果

図 2 は遅延パラメータを変化させたときの BLEU と AL の関係を示す。提案手法は、ベースラインの 左上にあり、遅延と精度のトレードオフで上回っ た。VPにS を加えることによって、境界の数が増 え、点が左側に移動し、遅延を抑えた。wait-kのよ うに単純なモデルとその他では大きな差があった。 その一方、固定長区切りのチャンクデコーディン グは単純だが、wait-kよりも精度が提案手法に近

図 2 BLEU と AL の散布図。MU1 と MU2 はそれぞれ境界予測に 1 つまたは 2 つ先の単語を用いた MU。fixed は ワブワード、または単語単位で固定長に区切って翻訳し たモデル。

図 3 Length Ratio と AL の散布図。

かった。

## 5 分析

## 5.1 セグメント長分布

図 3 に機械翻訳と参照訳の長さ比である length ratio と AL の関係を示す。Wait-k は遅延ごとにモデ ルを学習するので不安定であるが、それ以外のモデ ルに関しては、Ratio は AL が小さく遅延が小さいほ ど、大きくなっている。ALが小さいということは、平均セグメント長が短いということであり、その場合には、想定された長さより長いセグメント翻訳が 出力されているということがわかる。

図 4,5 は AL が 7.2 に近い時のテストセットにお ける原言語のセグメント長分布を示す。長さは各セ グメントに含まれるサブワード数である。ICLP に 比べると、MUは、より広い分布を持ち、多くのセ グメントが 2 トークンから構成されている。このよ うな短いセグメントは、周囲のコンテクストが使え

図41つ先の単語を利用した MU のセグメント長分布 $(\mathrm{AL}=7.26, \mathrm{BLEU}=16.53)$

図 5 ICLP のセグメント長分布 $(\mathrm{AL}=7.23, \mathrm{BLEU}=17.22)$

ず、上記のように長めに翻訳されることが原因で、 MU の BLEU の低下につながったと考えられる。

## 5.2 遅延制御

図 4,5 で示されているように、提案手法の方が分布の広がりが狭く、より翻訳タイミングの間隔が安定している。

最小セグメント長というハイパーパラメータに よってどのようなタイミングで翻訳がされるかとい うことが予測しやすくなることに加え、構文ラベル のルールによって、出力がどのような構文になるか もある程度制御できるようになる。本稿で提案した ルールでは、フルセンテンスの翻訳に近づけること を目指した。しかし、それよりも遅延を小さくした い場合でも、NP の前でも区切るというルールを加 えるだけで、表 1 のような順送りだが内容を理解で きる翻訳を出力することもできる。実際の出力例を 付録に記載する。

## 6 おわりに

本稿では、構文ラベル予測モデルとそれに基づく ルールを使った同時翻訳を提案した。翻訳出力の制御もしやすくなり、ベースラインを精度と遅延のト レードオフで上回った。今後は、このようなルール を自動で発見して、他の言語対にも適用することが 期待される。

## 謝辞

本研究の一部は JSPS 科研費 JP21H05054 と JP21H03500 の助成を受けたものである。

## 参考文献

[1] Mingbo Ma, Liang Huang, Hao Xiong, Renjie Zheng, Kaibo Liu, Baigong Zheng, Chuanqiang Zhang, Zhongjun $\mathrm{He}$, Hairong Liu, Xing Li, Hua Wu, and Haifeng Wang. STACL: Simultaneous translation with implicit anticipation and controllable latency using prefix-to-prefix framework. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 30253036, Florence, Italy, July 2019. Association for Computational Linguistics.

[2] Colin Raffel, Minh-Thang Luong, Peter J Liu, Ron J Weiss, and Douglas Eck. Online and lineartime attention by enforcing monotonic alignments. In Proceedings of the 34th International Conference on Machine LearningVolume 70, pp. 2837-2846, 2017.

[3] Naveen Arivazhagan, Colin Cherry, Wolfgang Macherey, Chung-Cheng Chiu, Semih Yavuz, Ruoming Pang, Wei Li, and Colin Raffel. Monotonic infinite lookback attention for simultaneous machine translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1313-1323, Florence, Italy, July 2019. Association for Computational Linguistics.

[4] Xutai Ma, Juan Pino, James Cross, Liezl Puzon, and Jiatao Gu. Monotonic multihead attention. In ICLR 2020, 2020.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] Ruiqing Zhang, Chuanqiang Zhang, Zhongjun He, Hua Wu, and Haifeng Wang. Learning adaptive segmentation policy for simultaneous translation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2280-2289, Online, November 2020. Association for Computational Linguistics.

[7] Yusuke Oda, Graham Neubig, Sakriani Sakti, Tomoki Toda, and Satoshi Nakamura. Syntax-based simultaneous translation through prediction of unseen syntactic constituents. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 198207, Beijing, China, July 2015. Association for Computational Linguistics.

[8] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[9] Taku Kudo. Mecab : Yet another part-of-speech and morphological analyzer., 2005 . http://mecab. sourceforge.net/.

[10] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszko-reit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and andillia Polosukhin. Attention is all you need. CoRR, p. Vol.abs/1706.03762, 2017.

[12] How to reproduce the result of wmt14 en-de on transformer base model?, 2018. https://github.com/pytorch/ fairseq/issues/346.

[13] An example of english to japaneses simultaneous translation system, 2021. https://github.com/pytorch/ fairseq/blob/master/examples/simultaneous_ translation/docs/enja-waitk.md.

[14] Sepp Hochreiter, J “ urgenSchmidhuber. Long shortterm memory. Neural Computation, 1997.

[15] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[16] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[17] Changhan Wang Jiatao Gu Juan Pino Xutai Ma, Mohammad Javad Dousti. Simuleval: An evaluation toolkit for simultaneous translation. In Proceedings of the EMNLP, 2020.

[18] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

## A 付録

## A. 1 翻訳モデルのハイパーパラメータ

## wait-k

$\mathrm{k}$ の範囲は、 $[2,4,6, \ldots, 30]$

MU

ハイパーパラメータ $\mathrm{p}$ はセグメント境界であ る確率の閾値を表す。p の範囲は、 $\mathrm{p}$ are [0.5, $0.1,0.15, \ldots, 0.95],[0.99,0.991,0.992, \ldots, 0.999]$, and [0.9991, 0.9992,..., 0.9999]。境界予測の際には、1 つ、または 2 つ先のトークンを利用した。

## Fixed-size Segmentation

これは入力系列を固定長で区切ってチャンクデ コーディングを行う。セグメントサイズを表 すハイパーパラメータ $\mathrm{f}$ の範囲は、単語単位で は、 $[2,4,6, \ldots, 30]$ 、サブワード単位では、 $[4,8$, $12, \ldots, 60]$ とした。

ICLP

ハイパーパラメータは、セグメントを構成する 最小単語数 $\mathrm{m}$ で、その範囲は、 $[1,2,3, \ldots, 29]$ 。。

Wait-k は $\mathrm{k}$ トークン待った後は、一つの単語の入力後、必ず一つの単語を出力しなければならないた め、 greedy decodingを行った。それ以外のモデルは、 beam search をビーム幅 4 で行った。

## A. 2 ルールの違いによる実際の出力例

原文 I /like / delicious food.

ラベル / VP/NP/NN / .

翻訳私は/好きです/美味しい食べ物.

表 3 VP+NPで区切った結果

原文 I / like delicious food.

ラベル / VP / NP / NN / .

翻訳私は/美味しい食べ物が好きです。

表 4 VPのみで区切った結果

## A. 3 ICLP モデルの比較

表 51 つ先の単語を用いた BERT ベースの ICLP

表 61 つ先の単語を用いた LSTM ゙ーースの ICLP

表 7 先の単語を用いない BERT ベースの ICLP

図 6 LSTM ベースと BERT ベースの ICLP の英日同時翻訳比較
 加納保昌 1 須藤克仁 1,2 中村哲 1,2 1 奈良先端科学技術大学院 2 理化学研究所 革新知能統合研究センター AIP \{kano. yasumasa.kw4, sudoh, s-nakamura\}@is.naist.jp  