# 文単位の Nbest 候補制約に基づく文書翻訳

駒田 啓伍 ${ }^{1}$ 森下睦 2 鈴木潤 1
1 東北大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
keigo.komada.r6@dc. tohoku.ac.jp

## 概要

現在の機械翻訳モデルは主に 1 文から 1 文への翻訳を対象としており, 単文に対しては高い精度を達成できるものの，文書全体としての表現の一貫性な どに関しては課題が残っている。 また従来の文書翻訳手法は, 文書から文書への長い系列変換を行うこ とによる翻訳精度低下など実用上の問題が残ってい た. 本研究では, この問題を軽減するために, 単文翻訳モデルと文書翻訳モデルの両方を活用する手法 を提案する. 具体的には，単文翻訳モデルが出力し た翻訳候補をもとに，文書翻訳モデルによって適切 な翻訳文の組合せを求め文書翻訳を実現する. 実験 により，従来の文書翻訳手法と比較して提案手法は 高い文書翻訳精度が得られることが示せた.

## 1 はじめに

機械翻訳技術の進展により，機械翻訳による翻訳品質は実用レベルに達し, 既に商用システムとして 一般にも広く使われている。これにより，機械翻訳 の研究が完結したかというと, 必ずしもそうではな い. 一文単位の翻訳 (以下「単文翻訳」と略記), 特 にデータが集めやすいドメインの文章の翻訳に関し ては十分に実用レベルと言えるが，例えば文章全体 を翻訳する際などに表現やスタイルが一貫した翻訳結果を得ることは, 現状の機械翻訳技術でも容易で はない. 実際に，機械翻訳の研究コミュニティにお いても，文書単位で一貫性のある翻訳（以下「文書翻訳」と略記）の実現は，喫緊に取り組むべき課題 として認識されている.

一貫性のある文書翻訳結果を得たい場合，安直に は文書全体を一文とみなして処理すれば，原理的に は単文翻訳モデルでも翻訳することはできる.しか しこういった方法は一般的には現実的ではない. そ れは，現在広く用いられている Transformer モデル によるニューラル翻訳は，本質的に文長が長くなる と性能が急激に悪くなる性質を持つからである [1].
また，別観点の問題として，高い翻訳品質を達成す るには多くのデータを必要とすることが一般的であ る.しかし, 文書単位の対訳データは, 文単位の対訳データに比べてそれほど多くない. これらの現状 から，現在の文単位のニューラル翻訳をそのまま文書翻訳に転用しても，良い結果が得られない。

これらの背景から，本稿では文書翻訳の性能向上 を目標に新たな方法を提案する。具体的には，従来用いられてきた Transformer ベースの単文翻訳モデ ルに対して, 少量の文書対訳データを用いて追加学習1)を行うことで，データ量の問題に対応する。ま た，単文翻訳モデルが生成する複数の翻訳候補を文書翻訳時の制約と考え，文単位の制約付き生成をす ることで長文を生成する際の翻訳品質の劣化を防 ぎ文書単位の翻訳を獲得する。実験では，chat 及び news 文書に対して実験を行い，単文翻訳で各文を独立に翻訳した結果を並べる形式で文書を翻訳するよ りも，BLEU スコアの意味で高い翻訳精度を達成し たことを報告する。

## 2 文書翻訳

機械翻訳システムの翻訳結果を文書全体で評価し た時，整合性や一貫性の観点で人間に及ばない場合 が多いことが知られている [2].これは，一般的な ニューラル機械翻訳モデルが 1 文から 1 文への翻訳 を対象としているため，文書全体で見た際に表現や スタイルの一貫性が欠如しがちなことが主な要因と して挙げられる.

この問題を解決するために，翻訳時に前後の文 (文脈)を考慮する文書翻訳の手法がいくつか提案 されている. 例えば，Tiedemann\&Scherrer ら [3] は，入力文と出力文に 1 つ前の文を結合し，2文ずつモ デルに入力することで文脈を考慮する手法を提案し た.また，Junczys-Dowmunt [4] はこれを拡張し，文書全体を入出力とするモデルを提案した. これらの 手法は，シンプルかつ効果的であることが検証され

1）本稿では fine-tuning を「追加学習」と表記する

図 1 文書翻訳のアルゴリズムの概略図 $(N=10$ の場合)

ているものの，現在の Transformer モデルは文長が 長くなるにつれ計算量が大幅に増加し，翻訳精度が 低下する欠点 [1] が指摘されており，実用上の問題 が残っている。

本研究の提案法は, 従来法の課題である翻訳時の 計算量を抑えつつ文書全体を考慮した翻訳を実現す る方法となる．次節以降では，提案手法の詳細を説明する。

## 3 提案法

本研究では，通常の 1 文から 1 文へ翻訳を行うモ デル (単文翻訳モデル) と，文書全体を入力し文書全体を出力するモデル (文書翻訳モデル) の両方を活用 することを考える．具体的には，単一ドメインの対訳コーパスで追加学習した単文翻訳モデルで文書中 の各文を独立に翻訳し翻訳候補を得た上で，それら を文書単位の対訳コーパスで追加学習した文書翻訳 モデルの生成制約とする．単文翻訳モデルを単一ド メインに特化させるように追加学習したことで，ド メイン不明の入力文に対してもその文のドメインと 一致する単文翻訳モデルが存在していれば，よい翻訳を出力できるようになることを期待している.こ れにより，文書翻訳モデルは新たに文を生成するの ではなく，単文翻訳モデルで得られた翻訳文をもと に文書全体として適切な文の組合せを求めることと なる.

以下に本手法の詳細な生成手順を述べる。 図 1 の ように単一ドメインの対訳コーパスで追加学習した 単文翻訳モデルを複数個，文書翻訳モデルを 1 つ用意した。以下において $i$ は処理対象の単文が文書内 において $i$ 番目であることを表す。

1. 候補文を生成 入力文書内の $i$ 番目の文を翻訳し て，各単文翻訳モデルから $N$ 個ずつ候補文を 出力させる.

2. 候補文書を生成 前の $(i-1)$ 番目ループで残った表 1 追加学習用及び評価用データの統計量.

候補文書の末尾に候補文を結合する。この操作 を全ての候補文書と候補文の組合せに対して 行って新たな候補文書とする。 $i=0$ の時は，前 のループで残った候補文書は空集合とする。

3. 候補文書を評価入力文書の全体を参照しなが ら，文書翻訳モデルで候補文書を評価する

4. beam search 評価して得られた尤度をもとに，候補文書から $N$ 個だけ選択して次のループに 残す. 1 に戻ってループする.

ループ終了 全ての文に対して操作が終了したら, $N$ 個の候補文書のうち最も尤度が高かったもの を提案法の出力とする。

beam search によって Nbest 候補制約を与えたの は，制約しない場合はと生成した文書数が，文数に 対して指数関数的に増加して，生成した文書の評価 をするのに極めて長い計算時間を必要するからで ある.

## 4 実験

データ 追加学習用および評価用データとして,文書単位の情報をもつ chat および news ドメインの 対訳コーパスを用意した，表 1 にそれらの文書数お よび文数を示す. chatドメインの対訳コーパスとし てBPersona-chat[5]を用いた。同様に, news ドメイン の対訳コーパスとして WMT-2020ニュース翻訳タス クの開発/評価セット (newsdev2020, newstest2020) [6] を使用した. BPersona-chat は文書の単位でランダム に一部を評価用として切り出し，残りを追加学習用 とした。また，news ドメインは newsdev2020を追加学習用, newstest2020を評価用とした.

モデル単文翻訳の事前学習済み翻訳モデルとし て，WMT-2022で好成績を得た NT5 チームが学習し た Transformer [7] ゙ーースの翻訳モデル [8]を用いた.以下，この事前学習済みモデルをベースモデルと呼 ぶ. 次に，このベースモデルから独立に 4 つの翻訳 モデルを追加学習により獲得した.
表 2 文書翻訳モデル DocMT (news\&chat) と単文翻訳モデ ル SentMT (news\&chat) の文書翻訳結果を sacrebleu で評価 した際の BLEU スコア

表 3 文書翻訳モデル DocMT (news\&chat) で単文翻訳と同 じ翻訳をした場合との BLEU スコア

1. DocMT (news\&chat)：news 及び chat ドメイン両方の文書対訳コーパスを使って追加学習をし た文書翻訳モデル

2. SentMT(news\&chat): news 及び chat ドメイン 両方の文書対訳コーパスから文書情報を取り除 き文単位の追加学習をした単文翻訳モデル

3. SentMT(news): news ドメインの文書対訳コー パスから文書情報を取り除き文単位の追加学習 をした単文翻訳モデル

4. SentMT(chat)：chat ドメインの文書対訳コーパ スから文書情報を取り除き文単位の追加学習を した単文翻訳モデル

文書翻訳モデルは Junczys-Dowmunt [4] の手法を参考に，文書中の各文を結合し学習した. 提案法の説明で述べたように，SentMT (chat) と SentMT (news) は，候補の生成のために利用する。また，DocMT が 主たる文書翻訳モデルである. 前記 SentMT (chat) と SentMT(news) モデルが生成した候補を制約とし て文書翻訳をおこなう．SentMT (news\&chat) は，提案法 DocMT (news\&chat) と比較して文書単位で学習 したか文単位で学習したかの違いだけのモデルにな る。なお翻訳モデルの学習には fairseq ツールキッ 卜 [9] を使用した. また，文書翻訳を実行するため に fairseq ツールキットを活用しつつ制約付き翻訳用のコードを独自に作成した.

評価指標本実験の評価は，WMT-2020 の標準評価ツールである sacrebleu [10] を用いて BLEU スコ ア [11]にて実施した.表 4 提案法の候補文を生成するために用いた，ドメイン ごとに追加学習した単文翻訳モデルの BLEU スコア

## 4.1 実験結果

表 2 に主たる実験結果を示す. Ja-En の chat 評価 データに対する翻訳結果を除いて，提案法の BLEU スコアの方が高いという結果になった。この結果か ら，提案法である文書翻訳は，単文翻訳モデルが文書内の文を一文ずつ翻訳して結合する方法（ベース ライン）により文書を翻訳するよりも，概ね良好な 結果が得られることがわかった。

表 3 に，DocMT(news\&chat) に対して単文翻訳 から得た候補を用いずに，通常の単文翻訳と 同様に翻訳した際の結果を示す。また，表 2 の DocMT (news\&chat) および SentMT (news\&chat) からの BLEU スコアの差分を示す. 差分が全てマイナス の値になっているのは，DocMT (news\&chat) で単文翻訳と同じ翻訳をすると，ベースラインである SentMT (news\&chat) よりもさらにスコアが悪くなる ことを示している.この結果から，提案法で導入し た単文翻訳の候補を制約として文書翻訳に利用する ことの有効性が示された. 使うモデルが完全に同じ でも，制約を入れるか入れないかでこのような大き な違いが見られた理由は，文書翻訳の場合は，翻訳文の文長が単文翻訳に比べて長くなることが要因と 考えられる．例えば，学習データに現れない文長の 翻訳をするとき，極端に翻訳品質が悪くなることが 知られている $[12,13]$. また，モデル学習時と翻訳時の状況のずれいわゆる exposure bias に起因する要因もあると考えられる $[14,1]$.

## 4.2 分析/考察

単一のドメインの学習結果 表 4 に，提案法であ る DocMT の候補を生成した単文翻訳 SentMT (chat) と SentMT (news) の 1 ベスト翻訳の性能を示す. chat 評価データを SentMT (chat) にて翻訳する場合，あ るいは，news 評価データを SentMT (news) にて評価 する場合のようにモデルと評価データのドメイン が一致するときは高いスコアが得られた. 反対にモ デルと評価データのドメインが一致しない場合は
表 5 候補文のドメインの内訳と，単文翻訳モデルが候補文を生成した段階での候補文の順位（0 位から）につい ての各種統計量（chatドメインの対訳コーパスにおける 場合）

BLEU スコアが大幅に悪くなった. もう一点着目す べきこととして, 表 3 の DocMT (news\&chat) の結果 は，評価データとモデルのドメインが一致している 場合の結果よりもわずかに良い結果となっている. この結果から, DocMT (news\&chat) は与えられた候補 の中からより良い翻訳候補を選択できたことが示唆 される.

モデルの選択結果の統計量 提案法が実際に出力した文書を構成した候補文に注目して，単文モ デルが生成した候補文のドメインの内訳，モデル が候補文を生成した段階での候補文の尤度による 順位に関するいくつかの統計量の 2 つについて,表 5 に chat ドメインの文書を提案法が翻訳した場合，表 6 に news ドメインの文書を提案法が翻訳し た場合を示す ${ }^{2}$. 選択された候補文の内訳に注目 すると, chatドメインのデータを翻訳した場合は SentMT (news) 由来の候補文があまり混在しなかっ たのに対して, news ドメインのデータを翻訳した場合は SentMT (chat) 由来の候補文が $30 \%$ 以上も混在 していた。選択した候補文の順位について，共通す る傾向としてどちらも順位の高い（0に近い側）候補を選択したことが分かった. 平均は news ドメイ ンの文書を翻訳した場合の方が低かった。また翻訳 する文書と候補文のドメインが異なる場合は，選択 された候補文の順位の標準偏差は大きくなる傾向が 見られた.

翻訳結果の一貫性の定性評価 図 2 に提案法に よる実際の chat 文書翻訳結果を示す.この出力の 中にはSentMT (news) の候補文が含まれているが， その候補文でも chat ドメインのようにくだけた 印象の語彙が使われているのが分かった。一方で SentMT (news) に限らず，SentMT (chat) の候補文の 一部であってもです・ます調の部分があり，正解

2）選択された候補文の尤度による順位に関する分布や，文書内で何文目なのかという位置についての情報の詳細は付録の 表 7, 9,10,11,12を参照表 6 候補文のドメインの内訳と，単文翻訳モデルが候補文を生成した段階での候補文の順位（0位から）について の各種統計量 (news ドメインの対訳コーパスにおける 場合）

 \\

図 2 提案法による Chat 文書の En-Ja 翻訳結果

データのような表現が他の SentMT (chat) の候補文 に存在していたがそれを選択していなかった。ま た，誤訳も見られた。このように，提案法によって スコアが向上したが，まだ改善すべき点は残ってい ることが分かった.

## 5 おわりに

本研究では，単文翻訳モデルが出力した翻訳候補 をもとに，文書翻訳モデルによって適切な翻訳文 の組合せを求め，文書翻訳を実現する手法を提案 した. 結果として chat及び news ドメインの対訳 コーパスに対してこの提案法は，単文翻訳の結果を 結合して文書を構成する手法よりも自動評価におい てより高いスコアを得ることができた。しかし実際 の出力を見ると，文書内での口調・語尾の使用の統一は完全になされているわけではなく，誤訳も確認 された。

簡単に準備できて，それなりに品質の高いデータ が今回用いた chat と news データしかなかったため 2 種類のデータのみで実験を行ったが，より広範な 性能を評価するためには，評価データを増やす必要 がある. 今後，文書翻訳の性能を高めるために，こ れらの評価データおよび追加学習用のデータを構築 していきたいと考えている.

## 謝辞

本研究は JST ムーンショット型研究開発事業 JPMJMS2011 (fundamental research) の助成を受けて 実施されたものである.

## 参考文献

[1] Marc'Aurelio Ranzato, Sumit Chopra, Michael Auli, and Wojciech Zaremba. Sequence level training with recurrent neural networks. In 4th International Conference on Learning Representations, ICLR 2016.

[2] Samuel Läubli, Rico Sennrich, and Martin Volk. Has machine translation achieved human parity? a case for document-level evaluation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 47914796, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[3] Jörg Tiedemann and Yves Scherrer. Neural machine translation with extended context. In Proceedings of the Third Workshop on Discourse in Machine Translation, pp. 82-92, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[4] Marcin Junczys-Dowmunt. Microsoft translator at WMT 2019: Towards large-scale document-level neural machine translation. In Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 225-233, Florence, Italy, August 2019. Association for Computational Linguistics.

[5] Yunmeng Li, Jun Suzuki, Makoto Morishita, Kaori Abe, Ryoko Tokuhisa, Ana Brassard, and Kentaro Inui. Chat translation error detection for assisting cross-lingual communications. In Proceedings of the 3rd Workshop on Evaluation and Comparison of NLP Systems, pp. 88-95, Online, November 2022. Association for Computational Linguistics.

[6] Loïc Barrault, Magdalena Biesialska, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Matthias Huck, Eric Joanis, Tom Kocmi, Philipp Koehn, Chi-kiu Lo, Nikola Ljubešić, Christof Monz, Makoto Morishita, Masaaki Nagata, Toshiaki Nakazawa, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2020 conference on machine translation (WMT20). In Proceedings of the Fifth Conference on Machine Translation, pp. 1-55, Online, November 2020. Association for Computational Linguistics.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, Vol. 30, 2017.

[8] Makoto Morishita, Keito Kudo, Yui Oka, Katsuki Chousa, Shun Kiyono, Sho Takase, and Jun Suzuki. Nt5 at wmt 2022 general translation task. In Proceedings of the Seventh Conference on Machine Translation, pp. 318-325, Abu Dhabi, December 2022. Association for Computational Linguistics.

[9] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[10] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.
[11] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[12] Masato Neishi and Naoki Yoshinaga. On the relation between position information and sentence length in neural machine translation. In Proceedings of the 23rd Conference on Computational Natural Language Learning (CoNLL), pp. 328-338, Hong Kong, China, November 2019. Association for Computational Linguistics.

[13] Shun Kiyono, Sosuke Kobayashi, Jun Suzuki, and Kentaro Inui. SHAPE: Shifted absolute position embedding for transformers. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3309-3321, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[14] Wen Zhang, Yang Feng, Fandong Meng, Di You, and Qun Liu. Bridging the gap between training and inference for neural machine translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4334 4343, Florence, Italy, July 2019. Association for Computational Linguistics.
表 7 SentMT(chat)が chat ドメインの対訳コーパスにおい て En-Ja 翻訳する際に出力した各順位の候補文が選択され た回数と, 文書内で何文目に選択されたかという位置に 関する各種統計量

} & \multicolumn{4}{|c|}{ 文書内での位置 } \\

表 8 SentMT(chat) が chat ドメインの対訳コーパスにおい て Ja-En 翻訳する際に出力した各順位の候補文が選択され た回数と, 文書内で何文目に選択されたかという位置に 関する各種統計量

表 9 SentMT(chat) が news ドメインの対訳コーパスにお いて En-Ja 翻訳する際に出力した各順位の候補文が選択さ れた回数と, 文書内で何文目に選択されたかという位置 に関する各種統計量

表 10 SentMT(news) が news ドメインの対訳コーパスに おいて En-Ja 翻訳する際に出力した各順位の候補文が選択 された回数と，文書内で何文目に選択されたかという位置に関する各種統計量

表 11 SentMT(chat)が news ドメインの対訳コーパスにお いて Ja-En 翻訳する際に出力した各順位の候補文が選択さ れた回数と, 文書内で何文目に選択されたかという位置 に関する各種統計量

} & \multicolumn{4}{|c|}{ 文書内での位置 } \\

表 12 SentMT(news) が news ドメインの対訳コーパスに おいて Ja-En 翻訳する際に出力した各順位の候補文が選択 された回数と，文書内で何文目に選択されたかという位置に関する各種統計量


 駒田 啓伍 ${ }^{1}$ 森下睦 2 鈴木潤 1 1 東北大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所 keigo.komada.r6@dc. tohoku.ac.jp  