# Average Token Delay: 同時翻訳の遅延評価尺度

加納保昌 須藤克仁 中村哲
奈良先端科学技術大学院大学
$\{$ kano.yasumasa.kw4, sudoh, s-nakamura\}@is.naist.jp

## 概要

同時翻訳は、話し手が話し終わる前に翻訳を開始 するタスクである。大きな遅延を許容すれば、翻訳 の質を向上させやすいが、会話など即時性が求めら れる場合には、翻訳の質をできるだけ下げずに遅延 を抑える必要がある。この遅延を測る既存の指標 は、翻訳の出力開始時に着目し、出力の終了時を十分に考慮していなかった。しかし、ある部分の翻訳 の出力終了が遅れると、次の部分の翻訳の出力開始 を遅らせることにもつながり、即時性が失われる。 そこで、本稿では、翻訳の終了時に着目した新しい 遅延評価尺度である Average Token Delay (ATD) を提案する。同時機械翻訳の実験を行い、既存の遅延評価尺度と比較して、より様々な訳出タイミングの決 め方の評価に適していることを確かめた。

## 1 はじめに

同時翻訳とは、話し手が話し終わる前に翻訳を 始めるタスクである。図 1 は、二種類の基本的な 同時機械翻訳戦略による入出力過程をステップご とに示したものである。SRC と TGT はそれぞれ、入出力の 1 トークンを示す。wait-k [1] は、最初に $k$ トークン待って、その後は 1 トークン入力を待 ち、1トークン 翻訳を出力するというのを繰り返 す。chunk-k は、 $k$ トークン待って $k$ トークン出力 するというのを繰り返す。近年の同時機械翻訳モデ ルの翻訳の遅延評価には Average Lagging (AL) [1] が 用いられてきた。これは、各翻訳単語の出力に必要 となる入力単語の数をもとに計算される。図 2 は、入出力を同時に、かつ 1 トークンの入出力を同じ時間で実行できると仮定した wait-k と chunk-k の訳出 タイミングを示している。ここでは簡略化のために 計算時間を省略している。この図からわかる通り、 wait-k と chunk-k は、この仮定の下では入出力のタ イミングが完全に一致する。よって、これらの遅延 は同一になるはずである。しかし、実際にこれら

図 1 step ごとの wait-3 と chunk-3

Wait-3

SRC SRC SRC / SRC / SRC / SRC / SRC / TGT / TGT / TGT / TGT / TGT TGT TGT

## Chunk-3

SRC SRC SRC / SRC SRC SRC / SRC TGT TGT TGT / TGT TGT TGT / TGT

$\begin{array}{llllllllll}1 & 2 & 3 & 4 & 5 & 6 & 7 & 7 & 8 & 9\end{array}$

図 2 time-synchronous な wait-3 $\succ$ chunk-3

の ALを実際に計算すると、wait-kの ALは、 $\frac{15}{5}=3$, chunk-k の AL は $\frac{13}{7} \approx 1.857$ で、chunk-k の方が大幅 に遅延が小さいと評価される。このように、チャン ク翻訳が長くなるほど、AL は遅延を小さく評価す る傾向がある。しかし、実際には、前のチャンクの 翻訳が出力し終わらないと次の翻訳が出力できない ため、チャンク翻訳の長さは遅延につながる。そこ で、本稿では、出力翻訳の終わるタイミングに着目 した遅延尺度である Average Token Delay (ATD) ${ }^{1}$ を 提案する。同時機械翻訳の実験を行い、複数のモデ ルを ALと ATD で比較し、ATD は wait-k のみでな く、チャンクベースのモデルの遅延もより適切に測 れることが分かった。

## 2 関連研究

これまで AL 以外にも、いくつかの遅延尺度が提案されてきた。Consecutive Wait (CW) [2] は文の局所的な遅延を評価する。Average Proportion (AP) [3] は 文全体の遅延を評価するが、入出力のタイミング決定戦略が同じでも、文の長さによって、遅延の値が

大きくことなってしまうという問題があった。AL は、理想的なタイミングとのズレをもとに計算する ことによって、その問題を改善した。ALは以下の 式で定義され、

$
\begin{gathered}
A L_{g}(\boldsymbol{x}, \boldsymbol{y})=\frac{1}{\tau_{g}(|\boldsymbol{x}|)} \sum_{\tau=1}^{\tau_{g}(|x|)}\left(g(\tau)-\frac{\tau-1}{r}\right) . \\
\tau_{g}(|\boldsymbol{x}|)=\min \{\tau|g(\tau)=| \boldsymbol{x} \mid\}
\end{gathered}
$

$g(\tau)$ は単調増加関数で、 $\tau$ 番目の出力単語を出力す るために読んだ入力単語の数を表す。 $\tau_{g}(|x|)$ は、最後の入力単語を読み終わった直後に出力した翻訳単語のインデックスを表す。 $\mathrm{r}$ は $|\boldsymbol{y}| /|\boldsymbol{x}|$ で定義される。

## 3 提案尺度

図 3 Step ごとの speech-to-speech 同時機械翻訳の例

本稿では、Average Token Delay という新しい指標 を提案する。まずは、 speech-to-speech の翻訳におい て説明し、それを speech-to-text、text-to-textへの同時翻訳へと一般化する。

## 3.1 speech-to-speech の同時翻訳

図 3 は音声同時翻訳の音声や処理の継続長を考慮 した処理時間を模式的に示したものである。白い部分は、固定長の音声セグメントを示し、青い部分は 入力を待つか出力するかの決定する時間を示し、オ レンジの部分は、翻訳デコード時間を示す。ステッ プ 1 から翻訳が始まり、ステップ8で翻訳を終え、 ステップ 8 における同じ色の点 (黒、赤、白) の時間差の平均として ATD は計算される。

大力文 $x$ と出力文 $y$ がそれぞれ、 $x=x^{1}, x^{2}, \ldots, x^{C}$ と $\boldsymbol{y}=\boldsymbol{y}^{1}, \boldsymbol{y}^{2}, \ldots, \boldsymbol{y}^{C}$ というチャンクに区切られると する。それぞれのチャンクは、さらにサブセグメン トに分かれる。テキストの場合は単語または文字が サブセグメントとなる。音声の場合は、 0.3 秒で 1 単語の発話があると仮定し、チャンクを 0.3 秒の長 さのサブセグメントに分割し、余りも 1 つのサブセ グメントとする。その結果、入力文と出力文はそれ ぞれ $\boldsymbol{x}=x_{1}, \ldots, x_{|\boldsymbol{x}|}, \boldsymbol{y}=y_{1}, \ldots, y_{|\boldsymbol{y}|}$ というサブセグメ ントの系列として表せる。ATD は以下の式で定義 される。

$
\operatorname{ATD}(\boldsymbol{x}, \boldsymbol{y})=\frac{1}{|\boldsymbol{y}|} \sum_{t=1}^{|\boldsymbol{y}|}\left(T\left(y_{t}\right)-T\left(x_{S(t)}\right)\right)
$

ここで、

$
\begin{gathered}
S=t-\max \left(L_{a c c}\left(\boldsymbol{y}^{c(t)-1}\right)-L_{a c c}\left(\boldsymbol{x}^{c(t)-1}\right), 0\right) \\
s(t)= \begin{cases}S & S \leq L_{a c c}\left(\boldsymbol{x}^{c(t)}\right) \\
L_{a c c}\left(\boldsymbol{x}^{c(t)}\right) & \text { otherwise }\end{cases}
\end{gathered}
$

とする。 $L_{a c c}\left(\boldsymbol{x}^{c}\right)$ は $\mathrm{c}$ 番目のチャンクまでの累積長であり、 $\sum_{j=1}^{c}\left|\boldsymbol{x}^{j}\right|$ と表せる。 $c(t)$ は $y_{t}$ の属する チャンク番号 $c$ を表し、 $L_{a c c}\left(\boldsymbol{x}^{0}\right)=0 、 L_{a c c}\left(\boldsymbol{y}^{0}\right)=0$ とする。

$T(\cdot)$ はそれぞれのサブセグメントの終わるタイミ ングを示し、図3で色のついた点である。ATD は、出力サブセグメント $y_{t}$ と対応する入力サブセグメ ント $y_{s(t)}$ の時間差の平均として計算される。入出力のサブセグメントの対応は、特に語順の大きく異 なる言語ついにおいては意味的に必ずしも正しくな

図 4 speech-to-text 同時翻訳の遅延測定概略図

図 5 text-to-text 同時翻訳 の遅延測定概略図

図 6 non-computation aware text-to-text 同時翻訳 の遅延測定概略図
いが、遅延の計算においては $\mathrm{AL}$ と同様に、このよ うに単純化している。

表 1 は、(4) 式の max の中の例を表す。 $L_{a c c}\left(\boldsymbol{y}^{c(5)-1}\right)-L_{a c c}\left(\boldsymbol{x}^{c(5)-1}\right)=0 \leq 0$ の時は、 $y_{5}$ は $x_{5}$ に対応する。 $L_{a c c}\left(\boldsymbol{y}^{c(5)-1}\right)-L_{a c c}\left(\boldsymbol{x}^{c(5)-1}\right)=1>0$ の時は、 1 チャンク前までの部分翻訳が 1 チャ ンク前までの部分入力より 1 トークン長いため、 $S=5-1=4$ により、 $y_{5}$ は $x_{4}$ に対応する。このよう に、ATDでは前のチャンク翻訳の終了が遅くなると 遅延が増える。

表 2 は、(5) 式の例を表す。 $S=3 \leq L_{a c c}\left(\boldsymbol{x}^{c(3)}\right)$ の 時は、 $y_{3}$ は $x_{3}$ に対応する。 $S=4>L_{a c c}\left(\boldsymbol{x}^{c(4)}\right)$ の時 は、 $x_{4}$ が存在せず、最後の入力トークン $x_{3}$ に対応 する翻訳が長めに出力していると捉える。そこで、 $L_{a c c}\left(\boldsymbol{x}^{c(4)}\right)=3$ により、 $y_{4}$ は $x_{3}$ に対応する。

## $3.2\{$ speech,text $\$-to-text $の$ 同時翻訳}

図 4 は speech-to-textへの同時翻訳を表している。字幕のように、テキストは同時に複数の単語を出力 できるため、テキストのサブセグメント (単語) の 長さは無視している。図 5 は text-to-text 同時翻訳を 示している。この場合、入力のテキストは基本的に streaming ASR(自動音声認識) の結果として受け取る ため、黄色の入力サブセグメントの長さは、ASR の 処理時間となる。

## 3.3 Non-computation-aware ATD

コンピュータの性能や実装効率に依存せずに、同時翻訳モデルの遅延を図ることがある。そのよう な場合には、図 $3,4,5$, のオレンジ、青、黄色の部分を除去し、音声セグメントの長さのみを残して、 ATD の遅延を計算する。しかし、このままでは、 text-to-text の翻訳では、遅延が常に 0 になってしま

う。そこで、図 6 に示される通り、 $\mathrm{CW}$ や AP のよ うに入出力の単語がそれぞれ $1 \mathrm{step}$ の時間を使うと して、ATDを計算する。また、ATD は、図 2 で示さ れるように、モデルが入出力を並列に行うことがで きると仮定して計算される。

## 4 シミュレーション

ATD による遅延計測の特性を示すためのシミュ レーションの結果を以下に示す。

図 $7 \mathrm{AL}$ にる遅延測定

## 4.1 wait-k と chunk-k の比較

長さ 10 トークンの入力文を wait-k と chunk-k で、長さ 10 トークンの文へ翻訳する際に、 $\mathrm{k}$ を 1 から 10 まで変化させて比較した。図 7,8 がその結果を 示す。図 7 は 1 節で述べられたように、chunk-k と wait-k の AL に大きな差が出てしまうことを示して いる。その一方で、ATD は図 8 で示されている通 り、 chunk-k と wait-kが一致している。また、ALで は、wait-9 と wait-10 は遅延の大きさが近いにも関わ らず、ギャップが生まれてしまっている。付録にさ らに大きな図を示す。このように、ATD は、wait-k のような 1 トークン読んで 1 トークン出力するとい うのを繰り返すモデルでも、複数トークンを一度に 出力するチャンクベースのモデルでも、より適切な 結果が得られると考えられる。

## 4.2 翻訳例

図 9 はチャンクベースの 3 つの異なるモデルに よる同時翻訳例である。モデル 1 は入力文全体を 待ってから、翻訳を始めているため、最も遅延が大 きく、翻訳の質は高い。モデル 2 は、「I」の直後に 区切って翻訳を始めているため、モデル 1 より遅延 が小さいが、その分翻訳の質は落ちる。モデル 3 は モデル 2 に似ているが、チャンク翻訳の出力長が長 く、その分翻訳の質が落ちている。

AL は、モデル 3 とモデル 2 の間に急激な差があ り、モデル 3 が最も遅延が少ないと評価している

## Model 1

ATD:5.4, AL:5.0, Quality: 1st

I bought a pen . /

12 私 はペンを買った。

## Model 2

ATD:3.4, AL:1.1, Quality: 2nd

I/ bought a pen. /

Model 3

ATD:4.1, AL:0.8, Quality: 3rd

I/ bought a pen . /

私でございます。/ペンを買った。

$\begin{array}{lllllllllll}1 & 2 & 3 & 4 & 5 & 6 & 7 & 8 & 9 & 10 & 11\end{array}$

図 9 翻訳例

が、これはこれまで述べてきた通り、直感に反して いる。その一方で、ATD は出力長の遅延を考慮して いるため、翻訳が終わるのが遅いモデル 3 よりモデ ル 2 の方が遅延が小さいと評価することができて いる。

## 5 実験

遅延尺度の効果を確かめるため、text-to-text の英独同時機械翻訳の実験を行い、ALと ATD を比較 した。

## 5.1 データ

IWSLT evaluation campaign のデータを用いた。 WMT 2014 training set (450万文) をトレーニングデー タとし、IWSLT 2017 training set (20.6万文)をファイ ンチューニングのデータとして用いた。 $\operatorname{dev2010,}$ tst2010, tst2011 and tst2012 (合計 5,589 文) を開発デー タとし、tst2015 (1,080 文) で評価した。

加納ら [4]に従った実験設定で、wait- $k$ [1], Meaningful Unit (MU) [5], Incremental Constitute Label Prediction (ICLP) [6], そして Prefix Alignment (PA) [4] のモデル を比較した。翻訳の質と遅延の評価には、SimulEval を用いた。

## 5.2 結果

図 10,11 はその実験結果を示す。図 10 の AL に比 べると、図 11 の ATD は各モデルの遅延の違いを より明確に示している。MU と ICLP は ATD におい て、遅延と精度のトレードオフが低下している。こ の原因は、図 12 の AL が小さい範囲で length ratio が 1.0 を超えているところにも現れている。ALが小

図 $10 \mathrm{AL}$ による遅延測定

図 11 ATD による遅延測定

図 12 Length ratio と $\mathrm{AL}$

さい部分では、翻訳が参照文に比べて長めに出力さ れてしまい、図 9 のモデル 3 と同様の現象が起こっ ている。MUは、ATDが大きくなっても、必ずしも BLEU [7] が向上していない。これは、本来より長 く翻訳が出力されたことによって ATD が大きくな ると同時に、翻訳の質も下がってしまったからで ある。

## 6 おわりに

同時機械翻訳における新しい遅延尺度を提案し た。出力翻訳長を考慮した ATD は、ALではうまく 測れないチャンクベースのモデルにも対応した。今後は、タイミング情報のみならず、入出力単語の意味の対応関係も考慮していくことが重要である。

## 謝辞

本研究の一部は科研費 $21 \mathrm{H} 05054$ の助成を受けた

ものである。

## 参考文献

[1] Mingbo Ma, Liang Huang, Hao Xiong, Renjie Zheng, Kaibo Liu, Baigong Zheng, Chuanqiang Zhang, Zhongjun He, Hairong Liu, Xing Li, Hua Wu, and Haifeng Wang. STACL: Simultaneous translation with implicit anticipation and controllable latency using prefix-to-prefix framework. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3025-3036, Florence, Italy, July 2019. Association for Computational Linguistics.

[2] Jiatao Gu, Graham Neubig, Kyunghyun Cho, and Victor O.K. Li. Learning to translate in real-time with neural machine translation. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 1053-1062, Valencia, Spain, April 2017. Association for Computational Linguistics

[3] Kyunghyun Cho and Masha Esipova. Can neural machine translation do simultaneous translation? arXiv preprint arXiv:1606.02012., 2016.

[4] Yasumasa Kano, Katsuhito Sudoh, and Satoshi Nakamura. Simultaneous neural machine translation with prefix alignment. In Proceedings of the 19th International Conference on Spoken Language Translation (IWSLT 2022), pp. 22-31, Dublin, Ireland (in-person and online), May 2022. Association for Computational Linguistics.

[5] Ruiqing Zhang, Chuanqiang Zhang, Zhongjun He, Hua $\mathrm{Wu}$, and Haifeng Wang. Learning adaptive segmentation policy for simultaneous translation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2280-2289, Online, November 2020. Association for Computational Linguistics.

[6] Yasumasa Kano, Katsuhito Sudoh, and Satoshi Nakamura. Simultaneous neural machine translation with constituent label prediction. In Proceedings of the Sixth Conference on Machine Translation, pp. 1124-1134, Online, November 2021. Association for Computational Linguistics.

[7] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

## A 付録

## A. 1 シミュレーション

図 $13 \mathrm{AL}$ にる遅延測定

図 14 ATDによる遅延測定

長さ 40 トークンの入力文を wait-k と chunk-kで、長さ 40 トークンの文へ翻訳する際に、 $\mathrm{k}$ を 1 から 40 まで変化させて比較した。本文の 10 トークンの 場合に比べ、より chunk-k と wait-k のギャップが大 きくなっている。
 加納保昌 須藤克仁 中村哲 奈良先端科学技術大学院大学 $\{$ kano.yasumasa.kw4, sudoh, s-nakamura\}@is.naist.jp  