# 同時機械翻訳のための 文脈を考慮したセグメントコーパス

中林 明子

東京大学大学院総合文化研究科 akinkbys@phiz.c.u-tokyo.ac.jp
## 1 はじめに

発話を音声認識によってテキスト化し、文の完了 を待たずに翻訳を開始する、同時機械翻訳を検討し ている. 特に講演などにおいては一文が長くなる傾向があり、文の完了を待たずに翻訳を開始すること が期待される。しかし一般的な翻訳システムでは一文が入力されることを前提としているため、翻訳の 単位が小さくなれば、適切な翻訳は困難となる。こ のような同時機械翻訳のタスクにおいては、発話か らの遅延を抑えると同時に、翻訳精度を維持するこ とが求められる。

同時通訳者は、同時性を保ちつつ適切な通訳を行 うため、Salami Technique と呼ばれる手法を用いて いる。一文を複数のセグメントに分割し、セグメン 卜単位で前から順に処理する. その際、再構成、簡素化、省略することで自然な訳出を実現する [1].

同時機械翻訳においても、入力をセグメントに分割し、セグメント単位に翻訳する方式が研究の初期 から検討されている. しかしこの手法は、ニューラ ル機械翻訳の枠組みにおいて以下の課題がある.

(1) セグメント単位の翻訳は、それまでの文脈が反映されず、発話の中で適切なものとならない. (2)一般的な文単位のパラレルコーパス（以下、文コー パス）から、セグメント単位での適切な翻訳を学習 することは限界がある．あわせて、同時機械翻訳に おける大きな課題として、(3) 同時通訳コーパス資源が限られているため、学習に用いられる文コーパ スは翻訳コーパスであり、同時機械翻訳にとって最適な語順となっていないことがある。

本論文では、これらの問題に対応するために、す でに現れたセグメントを文脈とみなして、これを参照してより適切な通訳結果を出力するようなセグメ ント単位のコーパス（以下、セグメントコーパス） を作成し、それを利用して、文コーパスで学習した

\author{
加藤 恒昭 \\ 東京大学大学院総合文化研究科 \\ kato@boz.c.u-tokyo.ac.jp
}

翻訳モデルのチューニングを行うことを提案する。

以下、関連研究を紹介した後、セグメントコーパ スとその作成について述べ、実験結果を報告する.実験の結果、単純なセグメント単位の翻訳に比べ て、BLUE スコアが大きく向上した. また翻訳結果 より、前方のセグメントを参照した翻訳が可能であ ることを確認した。

## 2 関連研究

1 節で述べた (1)の問題に対して、Gu, et al. [2] は 強化学習により、翻訳システムの READ/WRITEを 制御することで対応した. その後、(2) に対応する ため、文ではなく prefix 単位で学習する Wait- $k$ [3] が提案されたが、適切なセグメント分割は考慮され ず、常に一定の遅延で出力するため、特に語順が異 なる言語間では自然な翻訳を出力できていない [4].遅延の policy をより柔軟に学習する方法 [5] [6] や、文コーパスを分割してセグメントコーパスを作成す る方法 [7] も提案されているが、これらは翻訳コー パスに基づいて行われる.

本提案は、入力文をセグメントに分割し、セグメ ント単位で翻訳を行うという基本的な枠組みに従う が、(1)(2) の問題に加えて (3) の問題を視野に入れ、同時通訳者の用いる手法を参考に同時翻訳結果と して望ましいセグメントコーパスを作成する．翻訳 コーパスから同時機械翻訳向けのコーパスを作成 する提案として [8] [9] があるが、セグメントを扱う ニューラル機械翻訳の枠組みの中での活用は述べら れていない.コーパスの作成において、文単位の翻訳コーパスで学習したべースラインの翻訳モデル （以下、ベースモデル）を利用するという提案も独自のものである.

## 3 文脈を考慮したセグメントコー パス

以下の対からなるセグメントコーパスを構築し た. 入力言語側は、一文をセグメントに分割し、す でに現れたセグメントを文脈とみなして文脈記号で 接続する. 出力言語側は、分割されたセグメントに 同時通訳者の用いる手法を参考にして必要な情報を 付加し、これをべースモデルで翻訳した結果を用い る. 前方のセグメントを参照して、必要な情報を追加するよう学習することを期待している。

## 3.1 セグメント

本論文では、一文を翻訳する単位となるセグメン トに分割し、セグメントごとに翻訳を行うことを想定する．セグメントをどこで分割すべきかについて は、様々な研究がなされてきた [10] [11] が、本論文 では、セグメント長の最大値を 6 単語とし、その範囲で、最も大きい構成要素の境界でセグメントを分割した. 本論文では、このようなセグメント分割が 同時通訳者が行っているものであるかは議論しな いが、構成要素の単位をセグメントとすることは妥当な仮定であると考えている. また、このようなセ グメント分割には、漸進的パージングが必要となる が、本論文ではこれが可能であると仮定している.

## 3.2 同時通訳者の手法

同時通訳者は、特に語順が大きく異なるような言語対では、セグメント単位の翻訳をより自然な出力 とするため、様々な工夫を行う. よく見られる手法 の一つとして、以下のような繰り返しがある。な お、“”はセグメントの分割位置を示す.

名詞句 (NP) の繰り返し：
- 原文 : So being a Russian girl / of fairly strong being able to drink liquor very strongly,

・通訳：ロシア人の女性ですけれども/非常にお 酒が強い人なので

動詞の繰り返し：
- 原文：thus producing a sound / from the chanter.

・通訳：そして今度また音を出します/チャン ターから出すんですね

（同時通訳データベース（SIDB）[12]より）

同時機械翻訳においても、第一の例の二つ目のセ
グメントを訳出する際は、前方の名詞句（NP）を繰 り返すことでより自然な翻訳となる。これを可能と するために前方のセグメントを参照し、名詞句の繰 り返しを学習できるよう、コーパスを作成する。

## 3.3 文脈を考慮したセグメントコーパスの 構築

以下の手順で文脈を考慮したセグメントコーパス を構築した。

1. 入力言語の Training データをセグメントに分割 する。
- 入力言語 : they explained the technology / of the dna analysis .

2. 入力言語のセグメントが前置詞 “of” で始まる 場合、それが修飾する前方の名詞句（NP）を付加する.
- 入力言語：they explained the technology / the technology of the dna analysis .

3. Step1-2 のセグメントをベースモデルで翻訳し、対訳ぺアを作成する。

$\cdot$出力言語：技術について解説した/dna 解析の技術

4. 入力言語のセグメントに、一文を一つの単位と してすでに現れたセグメントを付加し、間に文脈符号（_BREAK_）を付与する.
- 入力言語 : they explained the technology / they explained the technology _BREAK_ of the dna analysis .

$\cdot$出力言語：技術について解説した/dna解析の技術

5. Step3 の結果のうち、翻訳結果に同じ単語が 3 回以上現れるぺアは誤訳である可能性が高いた め、コーパスから削除する。
- 入力言語 : at present,

・出力言語：現在, 現在では, 現在である

Step2では 3.2 節に示した同時通訳者の名詞句の繰 り返しを取り入れている. Step4 は、機械翻訳にお いて文脈情報を付与する手法の一つ [13] である.

## 4 実験

文コーパスで学習したべースモデルに対して、文脈を考慮したセグメントコーパスを用いてチュー ニングを行った．同時通訳者の手法に見られるよう に、前方のセグメントの情報が用いた出力が可能で
表 1 データセット

表 2 実験結果

あるかを確認した。

## 4.1 モデル

PyTorch ベースの OpenNMT ${ }^{1}$ を使用して英日翻訳 モデルを構築した. 6 層の Transformer のモデルで、

ド数は 8 とした. ドロップアウトは 0.1 、バッチサ イズは 4,096 とした. 英語と日本語の入力には BPE [14]を適用し、英語と日本語の語彙は共有した. 語彙数は 40,543 であった. 最適化アルゴリズムには Adam を使用した. 次節のコーパスを用いてべース モデルを構築した. このべースモデルを 3.3 節のと おり作成した、文脈を考慮したセグメントコーパス でチューニングした.

## 4.2 データ

データセットとして、ASPECコーパス [15]を利用 した. データセットの概要は表 1 のとおりである. チューニングに使用するセグメントコーパスの データは、ベースモデルで使用した Training データ と同等のボリュームとなるよう、ベースモデルで使用した Training データより抽出した.

## 4.3 実験結果

定量評価には ASPECコーパスの評価セットを利用し、指標として $\mathrm{BLEU}^{2}$ を使用した. セグメント 単位の翻訳では、それぞれの翻訳結果を一文ごとに 結合し、参照翻訳と比較した. その結果を表 2 に 示す.

1 節で論じているように、ASPEC コーパスの参照翻訳は必ずしも本提案が目指す結果ではない，その 位置付けからすると、本評価は、ベースモデルをセ グメント単位で翻訳した場合と比較して、句や節な どの比較的狭いスパンでより適切な結果が得られて いるかに着目していることになる. より大きな構造 のレベルで同時通訳結果としてより適切となってい るか否かの評価は今後の課題である。

モデルに対して、文単位の評価セットとセグメン ト単位の評価セットで評価を行った. ベースモデ ルは、セグメントコーパスでチューニングする前の 翻訳モデルを指す. セグメントは 3.3 節の Step $1+3+5$ を実施したコーパスでチューニングしたモデル、セ グメント+NP は Step1+2+3+5 を実施したコーパスで チューニングしたモデル、セグメント+NP+文脈は、本論文の提案である Step $1+2+3+4+5$ を実施したコー パスでチューニングしたモデルを指す.このモデル では、セグメント単位の評価セットにも文脈を付与 している.

ベースモデルはセグメント単位の評価で大きく劣 る. 単純なセグメントコーパスによるチューニング でも、セグメント単位の評価は大きく改善するが、今回提案するコーパスによってさらなる向上が見ら れている.

## 5 考察

実際の翻訳例を表 3 に示す. 翻訳例 1 において、 セグメント “of 100 hours” は「100 時間の連続走行」 と翻訳されており、同時通訳者の手法で見られるよ うに、それが修飾する前方の名詞句を参照し、これ を繰り返して翻訳することができている。翻訳例 2 も同様に、前置詞 “of” で始まるセグメントは、前方の名詞句を参照し、これを繰り返して翻訳して いる.

本論文では 3.3 節の Step2 において名詞句の付与 だけを行ったが、 3.2 節の動詞の反復を含めるなど、 これをより一般化することで、より受け手にとって 負担のない翻訳を出力できるようになることが期待 される。例えば翻訳例 2 において、セグメント“to explain the basic concept (本来は in order to explain the basic concept)" の翻訳と直前のセグメントの翻訳を 見ると、セグメント間の関係が見えづらいが、前方 のセグメントの動詞を参照してこれを繰り返すこと で、より自然な翻訳を出力できるようになる。

翻訳例 1

 \\

& 反射と屈折の 問題, 平面 境界における 円筒 波, 次に取り上げた, 基本 概 \\
ベースモデル & 念を説明した \\

& げた, 基本概念を説明した

## 6 まとめ

本論文では、入力文をセグメントに分割し、セグ メント単位で翻訳を行うという基本的な枠組みのも と、すでに現れたセグメントを文脈とみなして、こ れを参照してより適切な通訳結果を出力するような セグメント単位コーパスを作成し、これを利用して 翻訳モデルのチューニングを行うことで、同時機械翻訳の精度向上を図った. チューニングを行うこと で、ベースモデルにおけるセグメント単位の翻訳に 比べて、BLUE スコアが大きく向上した. また翻訳結果より、前方のセグメントを参照した翻訳が行わ れていることを確認した。

今後の取り組みとして、セグメント間の接続方法 を検討したい。現在はセグメントごとに翻訳された 結果を接続しているが、例えば翻訳例 1 の最初と 2 つ目のセグメントの翻訳結果において、2つ目のセ グメントの翻訳時に前方のセグメントの翻訳結果を 考慮し「1.0t コイル〈は〉連続走行に成功した」の ように〈は〉を挿入することができれば、より自然 な翻訳を得ることができると考える。

## 参考文献

[1] Roderick Jones. Conference interpreting explained. Routledge., 1998.

[2] Jiatao Gu, Graham Neubig, Kyunghyun Cho, and Victor O.K. Li. Learning to translate in real-time with neural machine translation. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 1053-1062, Valencia, Spain, April 2017.

[3] Mingbo Ma, Liang Huang, Hao Xiong, Renjie Zheng,
Kaibo Liu, Baigong Zheng, Chuanqiang Zhang, Zhongjun He, Hairong Liu, Xing Li, Hua Wu, and Haifeng Wang. STACL: Simultaneous translation with implicit anticipation and controllable latency using prefix-to-prefix framework. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3025-3036, Florence, Italy, July 2019.

[4] Hao Xiong, Ruiqing Zhang, Chuanqiang Zhang, Zhongjun $\mathrm{He}$, Hua Wu, and Haifeng Wang. Dutongchuan: Contextaware translation model for simultaneous interpreting. CoRR, Vol. abs/1907.12984, , 2019.

[5] Naveen Arivazhagan, Colin Cherry, Wolfgang Macherey, Chung-Cheng Chiu, Semih Yavuz, Ruoming Pang, Wei Li, and Colin Raffel. Monotonic infinite lookback attention for simultaneous machine translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1313-1323, Florence, Italy, July 2019.

[6] Baigong Zheng, Renjie Zheng, Mingbo Ma, and Liang Huang. Simultaneous translation with flexible policy via restricted imitation learning. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5816-5822, Florence, Italy, July 2019.

[7] Jan Niehues, Ngoc-Quan Pham, Thanh-Le Ha, Matthias Sperber, and Alex Waibel. Low-latency neural speech translation. In Proceedings of Interspeech, 2018, pp. 12931297, 2018.

[8] He He, Alvin Grissom II, John Morgan, Jordan BoydGraber, and Hal Daumé III. Syntax-based rewriting for simultaneous machine translation. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 55-64, Lisbon, Portugal, September 2015.

[9] 二又航介, 須藤克仁, 中村哲. 英日同時通訳システム のための疑似同時通訳コーパス 自動生成手法の提案. 言語処理学会第 26 回年次大会, 2020.

[10] Hideki Kashioka, Takehiko Maruyama, and Hideki Tanaka. Building a parallel corpus for monologue with clause alignment. In Proceedings of the Ninth Machine

Translation Summit, pp. 216-223, 2003.

[11] Yusuke Oda, Graham Neubig, Sakriani Sakti, Tomoki Toda, and Satoshi Nakamura. Optimizing segmentation strategies for simultaneous speech translation. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 551-556, Baltimore, Maryland, June 2014.

[12] Shigeki Matsubara, Akira Takagi, Nobuo Kawaguchi, and Yasuyoshi Inagaki. Bilingual spoken monologue corpus for simultaneous machine interpretation research. In Proceedings of the Third International Conference on Language Resources and Evaluation (LREC'02), Las Palmas, Canary Islands - Spain, May 2002.

[13] Jörg Tiedemann and Yves Scherrer. Neural machine translation with extended context. In Proceedings of the Third Workshop on Discourse in Machine Translation, pp. 8292, Copenhagen, Denmark, September 2017.

[14] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016.

[15] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 2204-2208, Portorož, Slovenia, May 2016.
 中林 明子  東京大学大学院総合文化研究科 akinkbys@phiz.c.u-tokyo.ac.jp 