# 特許機械翻訳の課題解決に向けた機械翻訳技術解説

今村 賢治 $\dagger$. 越前谷 博 $^{\dagger+} \cdot$ 江原 暉将 ${ }^{+\dagger}$ - 後藤 功雄 ${ }^{+\dagger \dagger}$.

中澤 敏明 $+t+t+t+t \cdot$ 二宮 崇 $+t+t+t+t+$ 王 向莉 $+t+t+t+t+t$
}

本解説論文では，特許を対象とした機械翻訳における種々の課題に対する関連技術 の解説を行う．特許に対する機械翻訳は実用的にも学術的にも長い歴史を持つが， ニューラル機械翻訳の登場で新たな段階に進んできたと言える。 そうした動向を踏 まえ，訳抜け・過剩訳への対策，用語訳の統一，長文対策，低リソース言語対対策，評価，翻訳の高速化・省メモリ化，の６項目に分けて近年の関連技術を紹介し，今後の方向性を論じる。

キーワード：ニューラル機械翻訳，特許翻訳
## A Survey of Machine Translation Technologies for Machine Translation on Patent Documents

\author{
Kenji Imamura $^{\dagger}$, Hiroshi Echizen- Ya $^{\dagger \dagger}$, Terumasa Ehara ${ }^{\dagger \dagger}$, Isao Goto ${ }^{\dagger \dagger \dagger \dagger}$, \\ Katsuhito Sudoh ${ }^{\dagger \dagger \dagger \dagger}$, Satoshi Sonoh ${ }^{\dagger \dagger \dagger \dagger \dagger}$, Takashi Tsunakawa ${ }^{\dagger \dagger \dagger \dagger \dagger \dagger}$,

This survey paper reviews machine translation technologies for patent documents. Patent machine translation has been studied for a long time and has evolved by recent neural machine translation. This paper focuses on the following issues with future directions: under- and over translation, consistent technical term translation, long sentence translation, low-resource language pairs, evaluation, efficiency in speed and memory.

Key Words: Neural Machine Translation, Patent Translation
^{1}$ 開発，提供しており，EPOでは Google との連携による機械翻訳サービス2を提供している。JPOでも長年にわたり機械翻訳が活用されており，統計的機械翻訳，NMTへの技術トレンドの変化に合わせた調査事業が継続的に実施され3，またそうした新しい機械翻訳技術の導入による特許情報プラットフォームの機能改善が進められている.

一方の学術研究においては, 特許が公開の文書であること, また国際出願のために同一の出願内容が複数言語に翻訳された形で存在することを背景に、コーパスベース機械翻訳の研究用リソースとして広く使われてきた経緯がある。特に日本語では 2000 年代の統計的機械翻訳 (SMT)技術の伸長期に百万文規模の大規模な機械翻訳研究用対訳コーパスが広く利用できなかったこともあり, 2008 年の NTCIR-7 PATMT (Fujii et al. 2008) 以降， NTCIR-8 (Fujii et al. 2010), NTCIR-9 (Goto et al. 2011), NTCIR-10 (Goto et al. 2013) で利用された日英, 日中対訳コーパスは多くの機械翻訳研究で活用された。近年では特許庁が提供する，アジア言語翻訳ワークショップ (Workshop on Asian Translation) の共通タスクで利用されている JPO Patent Corpus ${ }^{4}$ ，また，高度言語情報融合 (ALAGIN) フォーラムから提供されているJPO・NICT 対訳コーパス 5 が存在する。こうした研究用リソースの存在は特許機械翻訳の研究開発に非常に有益であると言えるが，NTCIR 以後の日本の機械翻訳研究でよく用いられた論文抄録の対訳コーパス ASPEC (Nakazawa et al. 2016), 多くの機械翻訳研究においてべンチマークとして用いられる WMT
^{5}$ https://alaginrc.nict.go.jp/jpo-outline.html
}

News Task データ (Akhbardeh et al. 2021) と比べて, 特許のデータを扱う機械翻訳研究の発表は少なくなってきていることは否定できない.こうした背景から, 本解説論文では実用的な特許機械翻訳に向けた諸課題に着目し，それらに関係する現在の技術をNMT を中心に概観する。 そして, 特許機械翻訳とその他の一般的機械翻訳の現状の課題の類似点と相違点, 現状の到達点と実用とのギャップ, また今後の方向性について論じる.

## 1.2 本解説論文で扱う特許機械翻訳の課題

上述の通り，本解説論文では特許機械翻訳において特徵的と考えられる以下の諸課題に着目し, それぞれの課題に関係する研究を示した上で技術の現状と将来について論じる.

訳抜け・過剰訳への対策（2 節） NMT において顕著な問題としてよく挙げられるのが，入力文中の情報が訳出されない「訳抜け」，同じ内容を繰り返し出力してしまう「過剰訳」である。それ以前の統計的機械翻訳においてはあまり問題視されていなかった点でもあり，近年様々な対策が試みられている。

用語訳の統一（3 節） 特許のような技術文書においては, 同一の事物や概念を表す用語は翻訳においても統一して同一の用語で訳出しなければならないが，機械翻訳では言葉の多義性とのトレードオフがありしばしば異なる訳語を選択してしまうという深刻な問題が生じることがある．NMTでは厳密な訳語の指定は翻訳処理の柔軟性を損なう懸念もあり，工夫が必要である.

長文対策（4 節） 特許文書では請求項を代表に長文による記述が多用される。長文の翻訳は，入力文の解析や訳語の選択, 訳文の構成について膨大な候補の中からの選択を余儀なくされ，探索誤りが生じやすい。特に NMT においては訳抜け・過剩訳の問題が重なることがあり重要な課題であるが，実際に長文に焦点を当てた研究はあまり多くない.

低リソース言語対対策（5 節） 英語を中心とする代表的な言語については大規模な対訳コーパス・単言語コーパスの蓄積が進みコーパスベース機械翻訳が有効に機能する状況となりつつあるが，今後の成長が予想される東南アジア諸国等における現地語文書については依然としてコーパスが不足しており翻訳が難しい。近年の機械翻訳研究でも非常に重視されている課題でもある.

評価（6 節） 機械翻訳の精度が向上したことにより, 機械翻訳の品質評価の重要性がより増していると言える。従来の表層的な自動評価手法の限界は広く知られるようになり，評価手法の研究が再び盛んになってきている。また, 人手評価についても方法が変化しつつある。特許庁が独自に機械翻訳評価のマニュアルを公開している等の背景もあり, 特許機械翻訳の評価は注目に値する。

翻訳高速化・省メモリ化（7 節） 国際出願特許の審査, 技術動向の調査等, 特許文献に対する言語横断情報アクセスの重要性は飛躍的に増大してきており，日々大量の特許文書・技
術文書の翻訳が求められる状況である。そうした中で計算効率は非常に重要な要因であり，大規模化が続くNMT モデルをそのまま実用に供することは容易ではない. モデルや計算の工夫による様々な対策が試みられている.

## 2 訳抜け・過剰訳への対策

機械翻訳において訳抜けや過剩訳は非常に深刻な問題である。NMT 以前の機械翻訳においては, 語・句・構文構造等の要素を対訳知識を利用して置換することで翻訳を行っていたため,入力文をすべて置換する過程で大きく訳抜けや過剰訳が生じることはさほど多くなかったという面もあり特別な注目を集めることは少なかった. しかし，通常 NMT ではそのような明示的な置換を行わないことから，入力文中で訳出されない要素や複数回訳出される要素が現れないことの保証が困難である。

こうした問題への対策として, これまでに様々な研究が行われている。 それらを大きく分類すると, 次のように分けられる。(1) NMT 内のネットワーク構造でのモデル化, (2) 訳抜けを表すスコアとの組み合わせ, (3) 低頻度語・未知語・曖昧性が高い訳語の対策, (4) 出力長制御, (5) 強化学習によるパラメータ最適化の補正, (6) 繰り返しの抑制, (7) 訓練データのノイズ対策，(8) NMT の動作分析．以下，それぞれ内容を説明する.

## 2.1 NMT 内のネットワーク構造でのモデル化

NMT のネットワーク構造を統計的機械翻訳 (SMT) のカバレッジベクトル (Koehn 2010) を参考にして一部変更することで訳抜け・過剩訳を減らす試みである。翻訳時に各入力トークンに対応するアテンション確率を蓄積していき，それらの值をアテンション確率の計算に利用する (Tu et al. 2016). アテンション確率を蓄積するのではなく， 入力トークン列に対応する分散表現の系列を用意し，その各分散表現を 1 トークンの出力毎に RNNで更新する。この更新の際にアテンション確率 (Tu et al. 2016; Mi et al. 2016) やデコーダのステート (Meng et al. 2016) を入力する。この分散表現の系列をアテンション確率の計算に利用する。この分散表現の更新でRNN の代わりに忘却処理と追加処理を用いる手法もある (Meng et al. 2018). また, 各入力トークンに対応する分散表現を 2 つ用意し，それぞれ翻訳済みを表すものと未翻訳を表すものとして用いる手法もある (Zheng et al. 2018). さらにこれらの翻訳済みと未翻訳の区別をカプセルネットワークで表すものもある (Zheng et al. 2019).

## 2.2 訳抜けを表すスコアとの組み合わせ

NMT が生成する出力候補に対して, アテンションの確率や逆翻訳の生成確率で出力スコアを補正するものである. 各入力単語に対して各出力でのアテンション確率を蓄積した場合に蓄積
值が少ない入力単語は訳出不足の可能性が高いため, 蓄積值が小さい場合にペナルティを加えて補正する (Wu et al. 2016; Li et al. 2018). 出力候補を入力して原言語文を強制出力させた際の生成確率である逆翻訳の生成確率は, 出力候補に不足がある場合に値が小さくなることが期待されるため，この値が小さいときにペナルティを加えて補正する (Li and Jurafsky 2016; Tu et al. 2017; Goto and Tanaka 2017).たたしし, Tu et al. (2017) は逆翻訳の生成確率を出力候補からではなく，入力文の情報も含まれているデコーダの分散表現の系列から計算している.

## 2.3 低頻度語・未知語・曖昧性が高い訳語の対策

未知語, 低頻度語の生成確率は高くなりにくく訳抜けしやすいため, 低頻度語をサブワードに分割することで，各トークンの頻度を増やし， さらに未知語もサブワードの組み合わせによりある程度扱えるようにする手法がある (Sennrich et al. 2016b; Kudo 2018). この手法は, コー パスに含まれる語彙数が大きくても，NMT で扱う必要があるトークンの種類数を減らすことができ，現在広く用いられている。低頻度語対策，未知語対策は訳抜け対策にも効果があると考えられる。詳しくは低頻度語対策，未知語対策の節を参照されたい。

専門用語対策として対訳辞書を利用する方法がある。この方法を利用して，専門用語を変数に置き換えて翻訳し, 出力中の変数を辞書の目的言語表現に置換することで訳抜けの減少が確認されている (Kimura et al. 2017).

対訳辞書で訳語の候補が複数あり, 訳語選択での曖昧性が高い（すなわち訳語のエントロピー が高い）原言語単語（高エントロピー語）の訳語に着目し，2 段階で翻訳する手法がある (Zhao et al. 2019b)，訓練データにおいて，高エントロピー語の訳語を原言語単語6に置き換えて，1 段階目の翻訳では高エントロピー語はそのまま現言語単語を出力する，2 段階目で，1 段階目の出力を用いて，最終的な出力を得る。なお， 2 段階ではなく通常出力と原言語単語に置き換えた出力をマルチタスク学習する方法の記載もある.

## 2.4 出力長制御

出力長を制御して不適切に短い出力を避ける取り組みがある。出力長が正解訳に比べて大幅に短い場合は訳抜けしている可能性が高い。このような出力にならないようにすることで, 結果として訳抜けの低減が期待できる。次の手法が提案されている. 長さバイアスに対する改善としてスコアを出力長で正規化する (Jean et al. 2015). SMT の特徴量の 1 つである出力長に応じたスコアを追加する (He et al. 2016; Murray and Chiang 2018). 出力長が長すぎる時に出力長に基づくスコア追加を抑制するために，原言語文長 $|y|$ と目的言語文長 $|x|$ の比の平均 $r$ を用いてスコアを $\min \{|y|, r|x|\}$ とする (Huang et al. 2017). 出力長を予測するモデルを学習し, 予測


した出力長に応じたスコアを追加する (Yang et al. 2018). 翻訳の学習に加えて出力長の予測もマルチタスクで学習する (Yang et al. 2020). これによって翻訳の改善が得られ, さらに, 予測した出力長で長さの正規化を行う，出力長を予測するモデルを学習し，予測した出力長を用いて， Transformer の位置エンコーディングを制御することで出力長を制御する手法 (Takase and Okazaki 2019)により，翻訳の出力長を制御する (Oka et al. 2020).

## 2.5 強化学習によるパラメータ最適化の補正

NMT モデルによる生成文にノイズ（繰り返しや訳抜け）が含まれる場合にペナルティ（負の報酬）を与える強化学習手法が提案されている (Shirai et al. 2021). この手法では, 参照訳に対してノイズを付加した擬似的なノイズ付き参照訳データを作成し, このデータから，ノイズの混入を判別する識別器を学習する。得られた識別器を強化学習の報酬として用いることで，， イズの生成を抑制する学習を行っている。通常のNMT と比べて，学習時に違いがあり，翻訳時はパラメータの値以外は同じである.

## 2.6 繰り返しの抑制

前記の強化学習によるパラメータ最適化の補正による繰り返し抑制の研究がある (Shirai et al. 2021).

目的言語単語列に依存構造を表す開閉括弧を挿入することで，未知語を表す “UNK”の繰り返しの減少が確認されている (Nguyen Le et al. 2017).

エンコーダ・デコーダモデルで出力系列に出現する各単語の頻度の上限を予測し, 出力中の頻度が上限に達したら，その後はその単語を出力しないようにデコーダの出力スコアを補正する手法がある (Suzuki and Nagata 2017)，要約タスクでの評価を行なっているが，機械翻訳にも応用可能である.

## 2.7 訓練データのノイズ対策

訓練データでの訳抜けの影響を緩和する対策である (後藤他 2020). 訓練データの対訳文に訳抜けがあるとそれを学習してしまい，訳抜けの原因になる。この学習データのノイズを検出して，訳抜けしている部分と訳抜けしていない部分の区別を表すラベル系列も各トークンの特徵量 (Sennrich and Haddow 2016) として用いることでこれらを区別して学習し，翻訳時には入力文に訳抜けしていないことを表すラベル系列を特徴量として付与することで，訳抜けしていない部分から学習した結果を主に用いて出力を生成する.

## 2.8 NMT の動作分析

訳抜け・過剰訳の直接的な対策ではないが, その原因の調査には, NMT の動作の分析が有用である. NMTの動作に対して可視化や分析が行われている. RNN ゙ースのエンコーダ・デ
今村, 越前谷, 江原, 後藤, 須藤, 園尾, 綱川, 中澤, 二宮, 王特許機械翻訳の課題解決に向けた機械翻訳技術解説

コーダモデルで，EOSトークンの確率が出力単語数に依存する特定のユニットの出力に基づいていることが示されている (Shi et al. 2016). アテンション機構を持つエンコーダ・デコーダモデルでの各原言語単語および各目的言語単語の履歴からの影響の強さが可視化され, 各出力単語が入力文単語と目的言語単語履歴のどこからの影響を大きく受けているかを調べることができる (Ding et al. 2017).

## 2.9 特許機械翻訳と訳抜け・過剰訳

特許機械翻訳においては専門用語・新語が現れやすく, それらはしばしば低頻度語・未知語として訳抜けを誘発したり，逆にその他の箇所の過剰訳を生じる原因となることがある。また， 1.1 節で挙げた特許翻訳の対訳コーパスはパテントファミリから収集され，自動文対応付けによって得られたものであるため, 厳密には文単位の対訳としては不適なものが含まれることもある。そうした状況において上に挙げた種々の対策の有効性について体系的に調査された研究は見当たらないが，NMT の実用に向けた重要な課題と言える.

## 3 用語訳の統一

自然言語では，同一の物事を複数の異なる表現で表すことができる。一方で，論文などの説明的文章では，一つの物事に対して統一した一つの表現を用いて表すことで無用な誤解を防ぐことが一般的である。またテキスト検索時においても, 同じ物事に対して異なる表現が混在した場合，それらの表記摇れに対応しない限り網羅的な検索が困難になってしまうなど，用語訳の統一を行わなければテキストの機械的処理に支障をきたすことがある.

従来の機械翻訳モデルは入力テキストを文単位で訳出しており，入力テキストにおいて同一の意味に対して統一した表現が用いられていたとしても同じ訳出がされる保証はない．例えば， “apple”は “りんご”, “リンゴ”, あるいは “林檎”のいずれにも訳される可能性があり，同じ文書で混在させるのは基本的に望ましくないが，文単位で訳出する機械翻訳システムは複数の訳を混在させる可能性がある。また，機械翻訳モデルのトレーニングに用いられる翻訳性能の自動評価尺度である BLEU 等は訳語の一貫性を直接評価していないため，それらの尺度を用いて開発を行っても訳語を統一させるような学習は期待できない. アジア言語翻訳ワークショップ (Workshop on Asian Translation) においては 2021 年から, 出力文中で用いるべき語彙を制限した訳文生成を行う制約つき翻訳タスグが開催されており，語彙の制約を満たした出力文の割合を一貫性の評価尺度とした性能評価が行われている。

本節では機械翻訳において訳語を統一させる種々の手法について，NMT による近年の研究
^{7}$ https://sites.google.com/view/restricted-translation-task/
}

を中心に，SMTにおける関連研究にもいくつか触れながら説明する．主に，用語集を用いて訳出結果に反映させる方法と, 用語集を用いずに翻訳履歴や文脈を考慮する方法の二つが挙げられ，以下それぞれの方法について概要を述べる。

## 3.1 用語集や語彙制約の導入による訳語の統一

訳語を統一する必要のある語彙に対して既定の訳語を定めた対訳辞書あるいは用語集を導入することで，機械翻訳の過程で対訳辞書を適用したり，訳出文を後編集したりすることにより訳語が統一されることが期待される。訳出文の後編集は，例えば“リンゴ”を既定訳とする場合に訳出文中の “りんご”や “林檎”を “リンゴ”に置換するといった処理を指し，用いる機械翻訳システムに依らず適用ができる一方で，語の曖昧性から生じる誤った置換が生じるおそれや，そもそも訳出すべき語が抜けたり誤って訳された場合に対応できないことなどの課題に対処する必要が生じる.

ルールベース機械翻訳においては語を訳出する部分で対訳辞書を適用することができるが,現在主流となっているNMT では訳文中の語彙生成に相当する部分も含めた翻訳器全体を対訳コーパスから学習しており，訳文生成時に特定の辞書を直接参照するようなモデルは組み込まれていない.このため, 対訳辞書を考慮した訳文生成を行う方法 (Arthur et al. 2016) や, 訳文生成時に語彙制約を課した探索を行う方法 (Hokamp and Liu 2017; Post and Vilar 2018; Hu et al. 2019a, 2019b), 翻訳器の学習に用いる対訳コーパスを対訳辞書により編集する方法 (Dinu et al. 2019; Song et al. 2019; Chen et al. 2020) が考えられている.

## 3.1.1 対訳用語集による後編集

後編集 (Post-Editing) とは, 機械翻訳によって得られた訳出文をさらに修正することで翻訳品質を改善する手法である。人手による後編集については，国際標準規格である ISO 18587:2017 によって規定されており, そのうちのフル・ポストエディット (Full Machine Translation PostEditing) においては分野や翻訳依頼者が定める特定の用語集に応じて一貫性のある訳語を用いることも要件として含まれている。また，一貫性のある用語集を整備するための規格として，国際的に用いられている TBX (TermBase eXchange, ISO 30042) や AAMT（アジア太平洋機械翻訳協会）により策定されたシンプルな用語集形式 UTX (山本 2019) がある. これらにおいては，同じものを表す複数の用語候補の中で使用すべき用語や使用を避けるべき用語の情報を付加できるように設計されている.

用語集を用いて後編集による訳語の統一を自動的に行う場合，機械翻訳の入力文に用語集の用語があり，かつ出力文にその用語の訳語として“使用を避けるべき用語”が現れていれば，それを“使用すべき用語”に置換することで訳語が統一される。ただし，入力文に現れる用語に曖昧性がある場合は，適切な曖昧性解消がなされていることが前提となる．また，出力文の中
今村, 越前谷, 江原, 後藤, 須藤, 園尾, 綱川, 中澤, 二宮, 王特許機械翻訳の課題解決に向けた機械翻訳技術解説

に用語集にある語が現れない場合は, 置換すべき箇所を特定する, または訳出されていないなら適切に訳を変更する必要が生じる。 さらに, 用語の変化形への対応など文法的な処理を別途行わなければならない.

## 3.1.2対訳辞書を考慮した訳文生成

SMT における初期のモデルである IBM Model の実装 GIZA++においてはオプションとして対訳辞書を入力できたが, これは単語の共起頻度の反復計算において対訳辞書の用語対の出現を条件とするような制約をかけるものであり，必ずしも訳語の統一が期待できるものではなかった. その後, フレーズベース SMT においては対訳コーパスやフレーズテーブルに用語対を追加する手法 (Bouamor et al. 2012)のほか, Okuma et al. (2007) は入力文中の低頻度な固有名詞を同じカテゴリの高頻度な固有名詞に予め置換した上で翻訳し, 出力文中で訳出されたその固有名詞の訳語をもとの低頻度な固有名詞の訳語に置換する手法を提案している. Tan et al. (2015) は外部辞書の導入方法として, 学習用対訳コーパスに追加する方法と訳文生成時に辞書項目を用いるよう強制する方法を比較し議論している.

NMT において外部辞書を考慮した訳文生成を行うモデルとして, Arthur et al. (2016) は出力層に語彙モデルを結合することで低頻度語の誤訳を低減する手法を提案している．入力文 $F=f_{1}^{|F|}$ に対して出力文の $i$ 番目の語が $e_{i}$ となる確率 $p_{m}\left(e_{i} \mid F, e_{1}^{i-1}\right)$ は以下の式で表される.

$
p_{m}\left(e_{i} \mid F, e_{1}^{i-1}\right)=\operatorname{softmax}\left(W_{s} \boldsymbol{\eta}_{i}+\boldsymbol{b}_{s}\right),
$

ただし， $W_{s}, \boldsymbol{b}_{s}$ はそれぞれ重み行列，バイアスベクトル， $\boldsymbol{\eta}_{i}$ は固定長のベクトルとする．用いる対訳辞書を, 原言語の語 $f$ に対して目標言語の語 $e$ に訳される翻訳確率 $p_{l}(e \mid f)$ の形で表し,入力文 $F=f_{1}, \ldots, f_{|F|}$ に対して以下のような翻訳確率の行列を求める.

$
L_{F}=\left[\begin{array}{ccc}
p_{l}\left(e=1 \mid f_{1}\right) & \cdots & p_{l}\left(e=1 \mid f_{|F|}\right) \\
\vdots & \ddots & \vdots \\
p_{l}\left(e=\left|V_{e}\right| \mid f_{1}\right) & \cdots & p_{l}\left(e=\left|V_{e}\right| \mid f_{|F|}\right)
\end{array}\right]
$

Arthur et al. (2016) の bias モデルでは, アテンションから得られたアラインメント確率 $\boldsymbol{a}$ を用いて, 単語の出力確率にバイアスの値として $L_{F}$ と $\boldsymbol{a}_{\boldsymbol{i}}$ の積を加えることで, 外部辞書に存在する訳語の確率値を上げるような学習を行う.

$
p_{b}\left(e_{i} \mid F, e_{1}^{i-1}\right)=\operatorname{softmax}\left(W_{s} \boldsymbol{\eta}_{i}+\boldsymbol{b}_{s}+\log \left(L_{F} \boldsymbol{a}_{i}+\epsilon\right)\right)
$

## 3.1.3語彙制約つき探索による用語の統一

語彙制約とは，特定の単語列の集合 $V$ について出力を制御するための制約であり，Vに含ま

れる語彙を出力に含むことが可能な場合に，出力に $V$ を含むように制御する制約を正の語彙制約，Vを含まないように制御する制約を負の語彙制約と呼ぶ。機械翻訳における用語の統一の観点からみると, 機械翻訳の入力文に対訳用語集の用語が現れた場合，その用語に対応する出力側の言語の用語を必ず含むような正の語彙制約を出力の探索時に適用することとなる.

この手法は後編集による方法と比較して, 出力する語彙に応じて出力文全体の最適化が期待されるという利点がある。一方で，語彙制約によって探索が制限されることによる訳質の低下が生じる可能性がある。また，入力側の用語に曖昧性がある場合，意図していない語彙制約を課すことで誤訳を生じさせるおそれがある。

図 1 に Hokamp and Liu (2017) で示されている英独機械翻訳においてデコーディング時に語彙制約を課した場合の例を示す。上段の四角で囲まれた部分が出力における 2 つの語彙制約で，入力文に応じて出力に含めるべき単語（トークン）の列を示している．格子状の枠はビーム探索時の $k$-best のスタックを表しており，各スタックに入る仮説は色付きの横長の四角で示されている．通常のデコーディングでは入力文の各トークンに対して左から右にスタックを埋めていくのに対し，語彙制約を課す場合には上下方向にもスタックを用意し，語彙制約が 1 トークン満たされた時点で上方向にも仮説を生成する。図 1 中の “Start” は語彙制約中の用語の出力が開始されたことを示し，そこから用語の出力が終わるまでは強制的にその用語のトークンを順に出力する仮説を生成していく，最終的に最上段にある仮説が語彙制約をすべて満たした仮

Input: Rights protection should begin before their departure .

図 1 語彙制約を課したデコーディングの例（Hokamp and Liu (2017)より引用）

図 2 Transformer エンコーダ層への語彙制約の埋め込み（Chen et al. (2020) より引用)

説であることになり，その中で最もスコアの高い訳文を出力することとなる.

この手法では語彙制約の出力トークン数に比例して計算量が増加する. Post and Vilar (2018) はこの問題を軽減するため，語彙制約のトークン数だけ上下方向にスタックを並べる代わりに， ビーム幅を固定してその中で語彙制約を満たしたトークン数ごとの領域を動的に割り当てる Dynamic Beam Allocation (DBA) 方式を提案し, 語彙制約のトークン数に比例しない計算量で探索できることを示した. また, Hu et al. (2019a) はDBA の手続き的な手法をべクトル化した手法に置き換えることで GPUによる高速な演算を可能にし, さらに語彙制約にトライ構造を用いることで効率化を図っている.

## 3.1.4 データ拡張によるソフトな語彙制約

語彙制約の適用方法として，前節のように探索時に強制的に出力を制御する手法のほか，訓練データに語彙制約を適用することで間接的に訳語を統一させるデータ拡張手法が提案されており，前者のハードな語彙制約に対してソフトな語彙制約とも呼ばれる。探索時に語彙制約を適用する場合と比較して, 語彙制約が常に優先して適用される保証はないが, 曖昧な語の誤訳の問題に頑健である利点，および探索の計算量増大がない利点がある.

Song et al. (2019) は訓練データの語彙を対訳辞書により事前に目標言語の語句に置き換えて学習させる手法を, Dinu et al. (2019) は置き換える場合と元の語句に付加する場合でそれぞれ学習する手法をそれぞれ提案している. Chen et al. (2020) はデータを直接置き換える代わりに Transformer のエンコーダ層への入力時に語彙制約を埋め込む手法を提案している. 図 2 では,入力文 “Das teilte die Gewerkschaft mit.” の訳文に “announced”（発表した）と “union”（組合） という 2 つの語を用いることを指定するため， 入力文の後ろに語彙制約を表すトークンを追加するとともに，位置およびセグメントの埋め达みのための特定のインデックスを与えている.

## 3.2 文脈を考慮した訳出

従来の機械翻訳システムにおいて訳語の統一がなされない原因の一つは， 入力テキストの各
文を独立に翻訳するためである．翻訳時に前後の文あるいは入力テキスト全体の文脈を考慮に入れることで，入力テキスト全体を考慮して統一した訳語が出力されることが期待できる.

SMT においても訳語を統一することにより精度が向上する可能性が示唆されており (Carpuat 2009; Carpuat and Simard 2012), 訳語を統一する手法も研究されている (Gong et al. 2011; Xiao et al. 2012; Hardmeier et al. 2012; Hasler et al. 2014).

NMT において文脈を考慮に入れる方法は，入出力する文対にその直前の数文を直接付加する方法 (Tiedemann and Scherrer 2017)のほか，過去の訳出語をキャッシュに置く方法 (Tu et al. 2018), 入力側で文脈を扱うエンコーダを追加する方法 (Jean et al. 2017; Zhang et al. 2018b), およびその他の方法に大別される (Lopes et al. 2020).

Tu et al. (2018) は,キャッシュに過去に訳出した語を読み込んで後に続く文の翻訳において参照するモデルを提案した. 図 3 (a) は標準的な NMT において, 一つ前の出力トークン $y_{t-1}$,入力トークン $\mathbf{s}_{t}$, およびアテンションによる文脈ベクトル $\mathbf{c}_{t}$ が与えられたときに次の出力トー クン $y_{t}$ を求める部分を示している。提案モデルでは (b) のようにこれまでの翻訳履歴を保持したキャッシュを用意し，翻訳中のトークンの文脈 $\mathbf{c}_{t}$ をキーとする値を読み出して入力トークン $\mathbf{s}_{t}$ と結合することにより, これまでの翻訳履歴を考慮に入れた訳出を行う.

文書レベルの文脈を入力とするエンコーダを追加した Zhang et al. (2018b) のモデルにおいては，文脈エンコーダの出力は翻訳用のエンコーダ及びデコーダーの両方にアテンションを用いて導入されている. Voita et al. (2018) は文脈と原言語側の両エンコーダでパラメーターを共有し, 両エンコーダの出力はゲート機構により統合するモデルを提案した. ほかに階層的アテンションネットワーク (HAN) による統合手法 (Miculicich et al. 2018), 入力文に対して関連する文のみに着目するための選択的アテンションによる統合手法 (Maruf et al. 2019) が提案され

(a) Standard NMT

(b) NMT augmented with a continuous cache

図 3 翻訳履歴を保持するキャッシュを用いた翻訳モデル（Tu et al. (2018)より引用）

ている. Morishita et al. (2021) は文脈として考慮する文の選択にミニバッチ法を用いる手法を提案し, 英日翻訳の実験において訳出される語彙が参照訳のものに修正される例を示している.

## 3.3 特許機械翻訳と用語訳の統一

特許文書では厳格な用語定義が求められ，原文で用語が統一されているものが機械翻訳を介することで用語の摇れを生じてしまうことは大きな問題である。特許機械翻訳を対象に本節で挙げたような手法の有効性を示した研究は知られておらず，今後実用的な検証が求められる.

## 4 長文対策

Koehn and Knowles (2017)によって指摘されている現在の NMT における 6 つの課題の一つに長文問題がある。機械翻訳における長文問題とは，1文あたりの語数が大きい文（長文）を翻訳する際に翻訳精度が著しく劣化する問題である．特許文書は特に長文からなることを特徴の一つとしており，実用的な特許機械翻訳の実現のために長文の高精度な翻訳が必要とされている. SMT から NMTへの翻訳方式の変化により長文の翻訳への対策は変化してきており，近年は NMT の特性に合わせた様々な手法が提案されている。本節ではそれらの手法について，(1) アテンション機構, (2) 文分割による手法, (3) NMT モデルの構造的特徴（依存構造や位置情報，自己アテンションなど），の大きく 3 つに分けて説明する.

(1) はエンコーダ・デコーダにおける内部状態間の関係性を計算する機構である。(2)は, 文構造等の特徴を用いて文全体を分割し，分割された個々の部分文を翻訳することで長文の精度劣化の問題を解決する手法である。(3) は, NMTのモデルを改良することで, 長文に対応する手法である. アテンションそのものが長文に対応する手法となっているが, さらに自己アテンションに依存構造を導入する手法や, 自己アテンションに被覆率を導入する手法, 位置情報を改良する手法などが提案されており，長文における性能劣化を抑えている.

## 4.1 アテンション機構

単純な RNN エンコーダ・デコーダモデル (Kalchbrenner and Blunsom 2013; Cho et al. 2014) では，勾配消失や長距離依存の問題があり，高い精度を実現することは難しい。これらの問題を解決するために, RNN のユニットとして LSTM ユニット (Hochreiter and Schmidhuber 1997) や GRU ユニット (Cho et al. 2014) を導入することが提案され (Sutskever et al. 2014; Luong et al. 2015b), さらに言語間アテンションを導入することでこれらの問題は大きく改善された (Bahdanau et al. 2014; Luong et al. 2015a).

言語間アテンションは, 現在のデコーダの内部状態に対し，エンコーダの各内部状態との関連性（重み付け）を計算し, エンコーダ内部状態の加重平均をデコーダの出力計算に用いる手法

である。アテンションを用いることにより，計算グラフ上で遠い位置関係にある単語間の関連性を直接計算することができるようになる. Luong et al. (2015a)および Bahdanau et al. (2014) の報告では，アテンションがついていない LSTM エンコーダ・デコーダモデルは文長が長くなるにつれ性能 (BLEU) が低下していくが，アテンション付きLSTM エンコーダ・デコーダモデルは性能が低下することなく長文に対しても高い性能を維持出来ていることが示されている.基本的に NMT ではアテンションを導入することによって長文の問題はおおよそ解決されていると考えられているが，言語の構造が大きく異なる言語間での翻訳や, 特許翻訳のようにさらに長い文の翻訳ではその影響は明らかではない。

## 4.2 文分割

長文問題を解決する方法として，長文を複数の短い文や句に分割し，それぞれを翻訳してつなげる方法が考えられる。

Pouget-Abadie et al. (2014)は，部分トークンの翻訳に対する確信度を定義し，可能な部分トークン列の組み合わせに対して, 整数線形計画法を用いることで, 信頼度最大となる文分割を選ぶ分割法を提案している。信頼度は順方向（原言語から目的言語）の翻訳確率と逆方向（目的言語から原言語）の翻訳確率を用いて定義している。翻訳確率は NMT モデルにより与えられる.この手法により信頼度の高い文分割が得られるが, 全ての可能な部分トークン列に対する翻訳を行う必要があるということと, 部分トークン列の並び替えを行っていないという問題点がある. アテンションが使われていないRNN エンコーダ・デコーダモデル (Cho et al. 2014) は長文に対し翻訳精度 (BLEU) が著しく低下するが，提案する文分割法では翻訳精度の低下が起きていない.

Tien and Thi Minh (2019) は，訓練コーパスにおける長文（長さ 30 トークン以上）の文ペアから, 句アライメント $(\mathrm{GIZA}++)$ によって確率の高い句ぺアを抽出し，それらを訓練コーパスに追加する手法を提案している。通常の長文翻訳の学習に加えて, 長文から抽出された句から句への翻訳をあわせて学習するため, 長文翻訳の学習においても対応すべき句から句へ翻訳が誘引されるように学習が進むことが期待される.

Kuang and Xiong (2016)は，原言語文を句に分割し，句の順番を入れ替えることで長文の翻訳を行う手法を提案している。まず，パラレルコーパスに対して単語アライメント (GIZA++) を適用し, 原言語側と目的言語側で連続する単語列が対応する場合に，それらを句ぺアとして，句アライメント付きのパラレルコーパスを作成する，作成したパラレルコーパスから，句の分割点を予測する識別機を学習する。また，同様に対応する句順が正順か逆順か判別する識別機を学習し, 原言語側の句順確率モデルを作成する. 句の分割確率と正順となる句順確率の最も高い句分割と句順入れ替えを選択することで文分割と文結合を同時に解決している．中英機械翻訳においては，アテンション付き双方向 LSTM でも長文に対しBLEU が顕著に低下している

が, 彼らの手法では BLEU がやや下がるものの概ね精度を維持できている．また，SMT は長文に対して頑健であることも示されている。

Goh and Sumita (2011) は, ルールベース手法により長文を分割し, 確率モデルに従って分割された節を結合する手法を提案した，提案手法では，まず，形態素解析を行い，形態素解析結果に対する複数のルールにより長文を分割する。文全体の翻訳確率は，分割された各節に対する翻訳確率の積と文全体に対する言語モデルにより与えられる。つまり，分割された各節の並び替えは主に言語モデルにより決定されることになる。

Sudoh et al. (2010)は，入力文に対して構文解析を行うことで単文（文というカテゴリの句） に分割し，それぞれを翻訳し，再結合することで長文の翻訳を行っている．分割されて生じる各単文は関係節や that 節などの埋め込まれた句も含まれるため，文全体の中に再帰的に埋め込まれた文が存在することになる．Sudoh et al.は，各単文を非終端記号に変換することで，文全体を単文の集合に分割し，各単文を翻訳している。非終端記号も翻訳されているため，目的言語においてそれらの非終端記号を手がかりに文全体を自動的に再構成することができる。学習のために, 単文の対訳コーパスを作る必要があり, 単文のためのアライメントアルゴリズムも提案している.

## 4.3 NMT モデルの構造的特徵を利用する手法

この節では文分割以外の手法として，NMT の構造的特徴を利用した長文対策の手法を紹介する.

Deguchi et al. (2019) や Bugliarello and Okazaki (2020) は, 依存構造解析を用いて Transformer モデルを改良する手法を提案している。 Transformerの自己アテンション層は，あるトークンからあるトークンへの係り受け関係を計算しているとみなすことができ，依存構造解析結果を教師信号として自己アテンションの教師付き学習を行うことで翻訳精度が向上する. Bugliarello and Okazaki は，長文に対する提案手法の影響を調査しており，長文に対して高い翻訳精度 (BLEU) を実現することが報告されている。長文に対しては，長距離依存関係を翻訳モデルの学習中に捉えることが難しいことが考えられるが，依存構造解析結果を自己アテンションの教師信号として陽に与えることで，長距離依存の問題が緩和されていると考えられる.

Tu et al. (2016)は，NMT における訳抜け・過剩訳への対策として，言語間アテンションを利用したカバレッジモデルを提案している（2.1 節を参照のこと）．原言語文の各トークン毎に今までかけられたアテンションの重みの累計を保持しておき，原言語文の全てのトークンのアテンション重みの累計が予測される fertilityに達するように制約を与える。アテンション付き LSTM は長文に対し性能が劣化するが，カバレッジモデルにより性能劣化が緩和されている.

Transformer では正弦波に基づく絶対位置エンコーディングが用いられているが，訓練デー 夕に出現しなかった文長に対する翻訳精度が大きく低下することが報告されている (Neishi and

(a) ASPEC English-to-Japanese

(b) WMT2014 English-to-German

Figure 3: BLEU scores on test data split by the sentence length (no training data in the gray-colored area).

絶対位置エンコーディングによる Transformer ... Transformer $(\times)$

相対位置エンコーディングによる Transformer ... Rel-Transformer $(\diamond)$

RNN 位置エンコーディングによる Transformer ... RNN-Transformer $(\nabla)$

相対-RNN 位置エンコーディングによる Transformer ...RR-Transformer $(\triangle)$

(Neishi and Yoshinaga (2019) より引用)

図 4 相対位置エンコーディングと RNN 位置エンコーディングによる長文対策の効果

Yoshinaga 2019). 絶対位置エンコーディングを用いない手法として, Shaw et al. (2018) は自己アテンションにおける単語間の相対位置に基づく位置エンコーディングを提案しており, Neishi and Yoshinaga (2019) はRNN を用いた位置エンコーディングを提案している. 図 4 は, 絶対位置エンコーディング, 相対位置エンコーディング, RNN 位置エンコーディングによる Transformer の翻訳精度を示している。図の灰色の領域は訓練データに出現しない文長を示しており，絶対位置エンコーディングを用いた Transformer では大きく性能が低下していることがわかる。一方, Shaw et al. (2018)による相対位置エンコーディングの手法や, Neishi and Yoshinaga (2019) による RNN 位置エンコーディングの手法では，絶対位置エンコーディングほどの大きな性能低下は生じていないことがわかる。

## 4.4 特許機械翻訳と長文対策

特許文書では解釈の曖昧性を生じないよう，適切に内容を特定できるように複雑な構文構造を持つ長文がしばしば利用される。特に請求項においては権利化の対象を特定するために多くの語句や節で修飾された 200 語を超えるような名詞句が用いられることも少なくない. 一方で，上に挙げた研究でもそこまで極端な長文の翻訳は考慮されていないのが実情である。特に長文に着目していない現在主流の研究においては，学習の効率化のために数十語を超えるような文は学習から除外されたり，評価用のデー夕にも目立って長文が含まれないため，特許機械翻訳で想定されるような長文についての検証は十分に行われていない. 今後の特許機械翻訳への応
今村, 越前谷, 江原, 後藤, 須藤, 園尾, 綱川, 中澤, 二宮, 王特許機械翻訳の課題解決に向けた機械翻訳技術解説

用に向け，請求項のような極端な事例も含んだ評価・検証が今後求められる.

## 5 低リソース言語対対策

言語 $\mathrm{X}$ から言語 $\mathrm{Y}$ の翻訳システム（本節ではこのような翻訳システムを $\mathrm{X} \rightarrow \mathrm{Y}$ と略記する）を構築したい場合，SMT や NMT では X と Y との間の対訳コーパスを用いて訓練するのが一般的である。訓練データのサイズが小さい場合を低リソース言語対と呼び, その中で訓練データが全くない場合はゼロリソース言語対と呼ぶ. 低リソース言語対に対する翻訳システムは高リソース言語対に対するシステムに比較して翻訳性能が劣化する。そのための対策として, さまざなものが提案されている，以下の節では，まず低リソースのデータ量について説明し, その後順次これらの対策について説明する． 5.2 節では，間に第 3 の言語 Z（中間言語あるいはピボット言語と呼ぶ）を挟んで $\mathrm{X} \rightarrow \mathrm{Z}$ および $\mathrm{Z} \rightarrow \mathrm{Y}$ を高リソースとする． 5.3 節では， $\mathrm{X}$ または Yの単言語コーパスから疑似的な 2 言語コーパスを作成して訓練データを拡張する. 5.4 節では，高リソース言語対で事前訓練を行い低リソース言語対でファインチューニングを行う。 5.5 節では，多対多の翻訳システムの一部として低リソース言語対を含める． 5.6 節では，一般公開された事前訓練モデルをファインチューニングする.

## 5.1 低リソースと判断されるデータ量

どの程度の訓練データのサイズであれば低リソース言語対となるのであろうか. Koehn and

精度（BLEU で計測）がどのように変化するかを調査した。訓練データの英語側の語数が 1,200 万語までの場合は SMT の BLEU 値が NMT のそれを上回っており，2,400 万語より多い訓練データを用いた場合は逆転する. 1 文の平均語数を 20 語と仮定すると 60 万文対と 120 万文対の間で SMT と NMT の BLEU が逆転する. Trieu et al. (2017)は, 同様の調査を日本語 $\rightarrow$ 英語で行っている。600万語程度では SMT の方が BLEU が高かった. Sennrich and Zhang (2019) は, NMTのハイパーパラメータやシステム構成を低リソース言語対に最適に調整することで 10 万語程度の訓練データでも NMT の方が BLEU が高くできることを示した. Duh et al. (2020) は，2.4万文対を用いた同様の実験でNMT は SMT と同じくらいの BLEU にできることを示した. ただし調整を慎重に行わないと BLEUが下がると指摘している. これらの研究から数万文から数十万文（数十万語から数百万語）以下を低リソース言語対と見なすことにする.

## 5.2 カスケード方式

$\mathrm{X} \rightarrow \mathrm{Y}$ を構築したい場合, $\mathrm{X} \rightarrow \mathrm{Y}$ が低リソース言語対である場合でも他の言語 $\mathrm{Z}$ を間にはさむことで $\mathrm{X} \rightarrow \mathrm{Z}$ および $\mathrm{Z} \rightarrow \mathrm{Y}$ は高リソース言語対とできる場合がある. 例えば，英語や中国
語を言語 Z とすることが考えられる。このような方式を中間言語方式またはピボット方式と呼び，言語 Z を中間言語またはピボット言語と呼ぶ. ピボット方式の最も単純な方法として X $\rightarrow$ $\mathrm{Z}$ の後に $\mathrm{Z} \rightarrow \mathrm{Y}$ を直列につなぎ $\mathrm{X} \rightarrow \mathrm{Y}$ を得るカスケード方式がある. Costa-jussà et al. (2018)

ン語は 41.38 であった.

カスケード方式は, いくつかの工夫が提案されている (Cheng et al. 2016, 2017; Chen et al. 2017; Kim et al. 2019b). Cheng et al. (2016)は，カスケードモデルの目的言語を原言語と同一にしたオートエンコーダモデルを導入して $\mathrm{X} \rightarrow \mathrm{Y}$ と $\mathrm{Y} \rightarrow \mathrm{X}$ を同時訓練した. その際, 評価関数として原言語から目的原語への尤度, 目的原語から原言語への尤度, 原言語のオートエンコー ダの尤度, 目的原語のオートエンコーダの尤度の 4 項を設定した. Cheng et al. (2017) は, カスケードモデルのパラメータを原言語 $\mathrm{X}$ から中間言語 $\mathrm{Z}$, 中間言語 Z から目的言語 $\mathrm{Y}$ で独立ではなく，X，Z，Yの三者に関係する交差項を加えて訓練した. 交差項としては， X $\rightarrow \mathrm{Z}$ と Z $\rightarrow \mathrm{Y}$ における Z の埋め込みべクトルの近さを用いるものと， $\mathrm{X} \rightarrow \mathrm{Y}$ の少量の 2 言語コーパスに対する評価値を用いるものを使用し, 後者の BLEUが高かった. Chen et al. (2017) は, ゼロリソー ス言語対 $(\mathrm{X}, \mathrm{Y})$ に対して双方の言語と高リソースを有するピボット言語 Z がある場合を想定して teacher-student 方式を適用した，彼らの方法では， $\mathrm{Z} \rightarrow \mathrm{Y}$ を親システム (teacher)として， X と Z の 2 言語コーパスを利用して子システム (student)である X $\rightarrow \mathrm{Y}$ を構築する. Kim et al. (2019b) は, ピボット方式の翻訳システムで転移学習（5.4 節参照）の新しいアーキテクチャを 3 種類提案した. Step-wise 事前学習方式, ピボットアダプ夕追加方式, Cross-lingual encoder 方式である. Step-wise 事前学習と Cross-lingual encoderを組み合わせた方式が BLEU が高かった.

## 5.3 データ拡張と操作

$\mathrm{X} \rightarrow \mathrm{Y}$ の 2 言語対訳コーパスが低リソースであっても，X 単独あるいは $\mathrm{Y}$ 単独の単言語コー パスとしては高リソースな場合がある。そのような単言語コーパスを操作してデータ拡張する手法が種々に提案されている.

逆翻訳 (back-translation) は，目的言語側が高リソースな単言語コーパスを，何らかの翻訳システムで原言語側に翻訳して合成データ (synthetic data)を作り，対訳コーパスに加えることで訓練データのサイズを拡張する (Sennrich et al. 2016a). さまざまなコーパスサイズで逆翻訳を利用した場合の比較が Poncelas et al. (2018)にある.

逆翻訳の工夫も提案されている (Imamura et al. 2018; Edunov et al. 2018; Imankulova et al. 2017, 2019; Zhou et al. 2019a; Chaudhary et al. 2019; Niu et al. 2019; Currey and Heafield 2019).

よって多様な翻訳を出力し, 合成データのべスト多様性を増やした. Imankulova et al. (2017)

は，逆翻訳時に低品質で翻訳された文を除外することで訓練データの質を向上させた. さらに Imankulova et al. (2019) は, in-domain に加えて out-of-domain の大規模なデータを利用して, BLEUを 3.7 ポイント上昇させた。逆翻訳を行う場合，そのための翻訳システムとして何を用いるかが問題となるが，Zhou et al. (2019a) は，辞書を用いた単語から単語への翻訳を利用する手法を提案した. Chaudhary et al. (2019) は，大規模なノイズのある対訳コーパスをフィルタリングすることでノイズ除去を行った。その結果，厳しくフィルタリングしたほうが BLEUが高かった. Niu et al. (2019) は, 双方向翻訳システム（X $\rightarrow \mathrm{Y}$ および $\mathrm{Y} \rightarrow \mathrm{X})$ を対象として, ， イズのある対訳コーパスあるいは逆翻訳された合成 2 言語コーパスを再構成する手法に工夫を加えた. Currey and Heafield (2019) は，カスケード方式（5.2 参照）において，多対多の NMT を用いてピボット言語のデータを逆翻訳して訓練データを拡張した。

逆翻訳を利用すると，双方向翻訳システムを同時訓練することができる．He et al. (2016) は, 双方向同時訓練において少量の 2 言語コーパスと両言語の単言語コーパスを利用した. Ahmadnia and Dorr (2019) は， ゼロリソース設定で， $\mathrm{X} \rightarrow \mathrm{Y}$ と $\mathrm{Y} \rightarrow \mathrm{X}$ の 2 つのシステムを同時訓練する次の手法を適用した。1) 単言語コーパスから得られる言語モデルのスコアを陽に用いる, 2) n ベスト出力を用いてパラメータを修正する，3) 単言語の文の翻訳結果を評価し，評価値の高い文を選択して訓練データに加える。

原言語側と目的言語側の単言語コーパスを用いて，逆翻訳を反復適用することで翻訳精度を徐々に向上させる方法もある (Lakew et al. 2017; Lample et al. 2018; Hoang et al. 2018b). Lakew et al. (2017) は，多対多の翻訳システムを原言語と目的言語の単言語コーパスを利用して訓練・翻訳・再訓練を繰り返すことで逐次改良した。 5 回繰り返すことで 1 回目と比較して BLEU が 5 ないし 6 ポイント向上できた. Lample et al. (2018)は, 反復適用をすることで初期の訓練デー タがゼロの翻訳システム（ゼロリソース NMT）を構築した. Hoang et al. (2018b) は, 少量の 2 言語コーパスと逆翻訳の反復適用によって BLEUを向上させた.

逆翻訳以外にも，デー夕拡張や操作を行って合成デー夕の規模と多様性を増やす方法がある.

Currey et al. (2017)は，対訳コーパスに，原言語側もしくは目的言語側の単言語コーパスを単にコピーして加えることで翻訳性能の向上を図った。この方法は，原言語・目的言語で文字種が同じ言語対で効果がある．固有名詞など，変換が不要な単語が多く含まれるためである．目的言語側の単言語コーパスをコピーして加えたときの効果の方が大きい. Fadaee et al. (2017) は，対訳コーパス中の高頻度の語を意味的に類似する低頻度の語で入れ替えて合成コーパスを作った. このことで低頻度の語を含むコーパスを増やすことができ，翻訳のための文脈を拡張できる.

## 5.4 転移学習

低リソースな $\mathrm{X} \rightarrow \mathrm{Y}$ を構築する前に高リソースな $\mathrm{Z} \rightarrow \mathrm{Y}$ を構築し，その後 $\mathrm{X} \rightarrow \mathrm{Y}$ をファイ

ンチューニングする転移学習 (transfer learning)の手法がさまざま提案されている (Zoph et al. 2016; Kocmi and Bojar 2018; Dabre et al. 2019; Bapna and Firat 2019; Beloucif et al. 2019).

Zoph et al. (2016) は，高リソースな Z $\rightarrow \mathrm{Y}$ で事前訓練して親モデルとし，引き続き低リソー スな複数の $\mathrm{X}_{\mathrm{i}} \rightarrow \mathrm{Y}$ でファインチューニングして子モデルを構築した。具体的にはフランス語 $\rightarrow$ 英語の親モデルから \{八ウサ語, トルコ語, ウズベク語, ウルドゥ語 $\} \rightarrow$ 英語の子モデルを作った. Kocmi and Bojar (2018) は，多対 1 に加えて， 1 対多あるいは 2 対 2 の NMT を対象にした転移学習を提案した。これは，親モデルと子モデルの目的言語側が異なるまたは原言語側も目的言語側も異なる転移学習である. Dabre et al. (2019)は, 3 段階の転移学習を行った. まず高リソースな英語 $\rightarrow \mathrm{X}$ で事前訓練を行う。次に低リソースな複数の英語 $\rightarrow \mathrm{Y}_{\mathrm{k}}(\mathrm{k}=1, \ldots, \mathrm{N})$ を加えてファインチューニング 1 を行う。最後に対象言語の英語 $\rightarrow Y_{j}$ を用いて再度ファインチューニング 2 を行う. Bapna and Firat (2019) は, Transformer モデルにアダプ夕を導入して,多対多の NMT を全言語対で訓練し，対象となる低リソース言語対でアダプ夕部分をファインチューニングした. Beloucif et al. (2019)は, 転移学習において, 以下の 3 種類の言語学的正則化を導入した損失関数を利用した. 1) 入力と出力の単語単位での文長の差, 2) 入力と出力の句読点の個数の差, 3 ) 入力と出力の単語の頻度分布の差 (Kullback-Leibler 距離を利用).

転移学習時のデータ操作についての工夫もある (Zoph et al. 2016; Murthy et al. 2019; Song et al. 2020). Zoph et al. (2016) は, フランス語 $\rightarrow$ 英語の親モデルから \{八ウサ語, トルコ語, ウズベク語, ウルドゥ語 $\} \rightarrow$ 英語の子モデルを作るシステムにおいて, 低リソース言語の単語はフランス語の単語にランダムに対応させ初期値とした。その後は通常の訓練で調整し， 4 な

$\{$ ベンガル語, グジャラート語, マラーティー語, マラヤーラム語, タミル語 $\} \rightarrow$ ヒンディ語を子モデルとする転移学習において英語を事前並べ替えした方が多くの場合 BLEU が向上することを示した. Song et al. (2020)は, 親モデルを教師なしで訓練するような転移学習において,訓練データのフィルタリングを行った。加えて日本語 $\rightarrow$ 英語を子モデルとし, 中国語 $\rightarrow$ フランス語を親モデルとする場合，中国漢字を日本漢字に転写している.

$\mathrm{Y} \rightarrow$ 英語で親モデルを訓練し， $\mathrm{X} \rightarrow$ 英語で子モデルを訓練する場合， $\mathrm{X}$ と $\mathrm{Y}$ が言語的に近い方が有利である (Nguyen and Chiang 2017; Xia et al. 2019). Nguyen and Chiang (2017)は, X と Y が言語的に近いと共通する語またはサブワードが多くあるため，親モデルの訓練には，かならずしも高リソースが必要でないことを示した. Xia et al. (2019)は, Xがベラルーシ語, Y がロシア語の場合, 転移学習により 7 ポイント BLEUを向上させた.

## 5.5 多言語モデル

低リソース言語対を多対多の翻訳システムの中で実現することで，高リソースな言語対の影響を受けて低リソース言語対に対する翻訳精度も向上できる可能性がある.
$\mathrm{N}$ 言語 $\times \mathrm{M}$ 言語の多対多 NMT を単純に実現するには $\mathrm{N} \times \mathrm{M}$ 個のアテンション機構が必要であるが，Firat et al. (2016a)は，それを共通の1つのアテンション機構で実現した. Firat et al. (2016b)は, この手法をゼロリソース言語対に適用した. Johnson et al. (2017) は, 多対多 NMT を 1 対 1 のNMT と同じアーキテクチャで実現した. つまりアテンション機構に加えてエンコー ダとデコーダも多言語で共通化している。言語の選択は，原言語の文に特殊なトークンである翻訳先言語名を付加することで所望の言語での出力を得る. Gu et al. (2018)は, 多対 1 の NMT において，単語埋め込み表現を用いて，異なる原言語表現を語彙レベルの普遍表現にし, Mixture of Language Expert (MoLE) と呼ばれる機構を用いて異なる原言語表現を文レベルの普遍表現にした。

多言語モデルにおいては, 言語対によってデータ量に多宣が生じ, それに従って精度が変化する. Arivazhagan et al. (2019)は, 103 言語間の多対多 NMT を総数 250 億文対から訓練し, デー 夕量に対する BLEU 值を調査した。言語対毎に訓練デー夕量が異なり，高リソース言語対では 20 億文対, 低リソース言語対では 3 万 5 千文対である. 各言語対に対して同量の訓練データとなるようオーバーサンプリングすることによって低リソース言語対での BLEUを向上できた.

多言語モデルを構成する場合，言語の組み合わせによっても性能が変化する. Aharoni et al. (2019) は, 非常に低リソースな複数の言語対（X $\rightarrow$ 英語と英語 $\rightarrow \mathrm{X}$ ）を 1 対多, 多対 1 , 多対多で訓練した場合を比較した， $\mathrm{X} \rightarrow$ 英語では多対多の BLEU が高く, 英語 $\rightarrow \mathrm{X}$ では 1 対多の BLEU が高った. Aharoni et al. (2019)は, Arivazhagan et al. (2019) と同様の実験を, 高リソー ス言語対の訓練データを 100 万文対に制限して実施した。この実験設定では, 多対多（X $\rightarrow$ 英語と英語 $\rightarrow \mathrm{X}$ ）より多対 $1 （ \mathrm{X} \rightarrow$ 英語）および 1 対多（英語 $\rightarrow \mathrm{X} ）$ の BLEUが高った. Sachan and Neubig (2018)は， 1 対多の NMT において共通化するデコーダのパラメータを制限することの良否を調査した。複数の目的言語間の距離が近い場合は，多くのパラメータを共通化した方が BLEUが高く, 遠い場合は少ないパラメータを共通化した方が BLEUが高かった. Mueller et al. (2020) は, 対象言語 X から英語への NMT を多対 1 の NMT で実現するときの最適な補助言語の組み合わせについて検討した．彼らの実験では，補助言語の数を多くしすぎると BLEU が低下し，X と言語的に近い言語を選ぶことの良否はまちまちであった. Tan et al. (2019)は,多対 1 あるいは 1 対多の NMT において対象言語に近い補助言語を用いる有効性を検討した.言語間の近さは，語族をベースとしたものと，言語名を表す特殊なトークンの単語埋め込みべクトルの近さをべースにしたものを比較した，その結果，後者の有効性がより大きかった． He et al. (2019) は，言語をノードとし，翻訳方向を考慮した言語対をエッジとした有向グラフである言語グラフ (language graph)を導入して補助言語を選択した.

## 5.6 事前訓練モデル

近年, 大規模な単言語コーパスで学習した事前訓練モデルが開発され, さまざまなタスクで
効果を上げている，機械翻訳でも，事前訓練モデルを対訳コーパスでファインチューニングすることで，低リソースの弱点をカバーし，従来の翻訳品質を大幅に上回る精度を出せるようになっている.

事前訓練モデルとして BERT (Devlin et al. 2019) を使用する場合, これは Transformer エンコーダなので，NMTのエンコーダー部分を置換または補完する形で使用する (Imamura and Sumita 2019; Clinchant et al. 2019; Zhu et al. 2020). そのため, 英語用の BERT を使った NMT では，原言語が英語となり，目的言語が低リソース言語となる． Imamura and Sumita (2019)は

いずれも BLEU スコアが上昇することを確認した.

事前訓練モデルとして多言語エンコーダ・デコーダモデル（たとえば mBART; (Liu et al. 2020)）を用いると, 原言語・目的言語ともに，多言語モデルがサポートした言語すべてを使用することができ， 5.5 節の多言語モデルと， 5.4 節の転移学習を組み合わせたような効果が得られる。

Workshop on Asian Translation (Nakazawa et al. 2021)の NICT-SAP 共通タスクでは, 英語とヒンディー語, タイ語, マレー語, インドネシア語への翻訳が実験されており, mBART モデルをファインチューニングしたシステムが翻訳品質上位を占めていた (Susanto et al. 2021; Imamura and Sumita 2021)。 また, Workshop on Technologies for MT of Low Resource Languages (Ortega et al. 2021) というワークショップも開催されており, さまざまな事前訓練モデルの利用が提案されている.

## 5.7 特許機械翻訳における低リソース言語対策

特許機械翻訳ではこれまで主要国の知的財産庁で構成される IP58におけるデータを中心に研究が進められてきた経緯があり，これら主要国の言語間に対しては各庁や WIPO で機械翻訳の導入も進んでいる。一方で, その他各国の言語については特許文書のみならず各種技術文書の対訳コーパスは十分に整備されていないのが実情であり，今後国際的な連携によるデータの拡充が求められている。日本における特許文書の翻訳の場合を考察すると，日本語と低リソー スとなる言語として東南アジアの言語（タイ語, ベトナム語など）が挙げられる. WAT2020, WAT2021において東南アジアの言語と英語との翻訳について研究されている (Nakazawa et al. 2020, 2021). 今後, 日本語を含むアジア諸言語についての低リソース言語対対策の研究が進むことが望まれる.

今村, 越前谷, 江原, 後藤, 須藤, 園尾, 綱川, 中澤, 二宮, 王特許機械翻訳の課題解決に向けた機械翻訳技術解説

## 6 評価

ある機械翻訳システムや機械翻訳結果が満足のいく品質水準にあるかどうかは実用上最も重要な問題である. 出来上がったシステムの評価をすることの重要性もさることながら, 機械翻訳システムの開発においては評価とシステム改善を繰り返し行うことが必要であることから,特に機械翻訳の発展著しい 2000 年代以降は機械翻訳の評価についての研究も数多く行われている。本節では機械翻訳の評価に関する代表的な方法について概説し, 特許翻訳における課題との関係について述べる.

## 6.1 人手評価

人間による評価（人手評価）は, 本来多数の正解訳が許容される翻訳の問題において非常に重要な役割を持つ. 人手評価が適切に実施されることにより, ある機械翻訳結果の品質がいかほどであるか, 他の機械翻訳結果と比較して優れているか, どういう点で誤りがあるのか, 等,様々な観点で機械翻訳を捉えることが可能となる. さらに人手評価は, 後述する自動評価による評価結果が信頼に足るものであるかどうかを評価する9 ${ }^{9}$ ありファレンスでもあるため，機械翻訳技術や自動評価技術の進展の重要な基盤と考えることができる.

## 6.1.1 段階評価による人手評価

機械翻訳における人手評価では, 1990 年代に始まった米国 ARPA の機械翻訳プロジェクトの評価尺度である忠実さ (adequacy) と流暢さ (fluency) がその後長く利用されていた (White et al. 1994). 忠実さは原文や参照訳との比較で本来訳出すべき重要な内容をどの程度訳文が反映しているかを，流暢さは訳文がどの程度自然かつ流暢なことばになっているかを，それぞれ 5 段階で評価するものである。特許翻訳の共通タスク NTCIR-7 PATMT (Fujii et al. 2008) ではこれらの人手評価が用いられた. 後の NTCIR-9 及び NTCIR-10 PatentMT (Goto et al. 2011, 2013) では流暢さに変わって容認性 (acceptability) が採用された，容認性は，忠実さで測られる重要な情報がすべて訳出されている訳文について, 文法的な正しさ, 読みやすさ, 流暢さ等で 5 段階にしたものであり，必要な内容は含まれているがそれが自然で伝わりやすいことばとして訳出されているかに注目したものである。特許という事実の伝達を目的とした文書の翻訳においてはまず内容が漏らさず含まれていることが必要条件と言えるため，特許翻訳の実用を反映した人手評価の仕組みと言える.

## 6.1.2 相対評価から直接評価へ

こうした段階評価の方法は評価者間の一致度が十分でないことや, 機械翻訳の精度向上とと


もにシステム間の差が測りづらくなってきたことが指摘されるようになった. 機械翻訳研究における各種共通タスクを亜引している国際会議 WMT では機械翻訳の共通タスクと並行して機械翻訳評価手法の共通タスクを実施しているが，2000 年代後半からは異なるシステムの翻訳結果を比較して行う順位による相対評価が中心となった (Callison-Burch et al. 2007). 一方で相対評価では絶対的な翻訳の良し悪しが分からないという面もあり，2010 年代半ばからは直接評価 （Direct Assessment; 以下 DA）と呼ばれる連続的な数値評価が行われるようになった (Graham et al. 2017). DA では 0 から 100 の整数で訳文の評価を行い，評価値の標準化を施すことで評価者間の違いを調整して利用している.

## 6.1.3より詳細な品質評価に向けた動き

さらに近年では NMT による翻訳精度の向上を受け, DA での訳質の識別も容易でなくなりつつあり，人手評価方法の見直しが議論されている。2021 年のWMT ではより詳細かつ系統的な翻訳品質評価尺度である多元品質評価尺度（Multidimentional Quality Metrics; 以下 MQM) ${ }^{10}$ (Lommel et al. 2014) に基づく人手評価が採用された (Freitag et al. 2021b). MQM では機械翻訳の誤りに対し，その誤りが様々な誤訳の類型のどれに当たるもので，誤りの程度が「なし (None)」「軽度 (Minor)」「重度 (Major)」「深刻 (Critical)」のどれに当たるものかを分類して重み付けし点数付けする. Freitag et al. (2021a)では MQM を利用した大規模な機械翻訳評価を行い，その分析を通じて人手翻訳と機械翻訳の違い，翻訳の人手評価における問題について論じている．MQM はそれ以前から存在した人手翻訳を含む翻訳評価の仕組みである LISA QA Model や TAUS DQF に基づいて設計されたものであり，日本では日本翻訳連盟 (JTF) が策定した JTF 翻訳品質評価ガイドライン (日本翻訳連盟 2018) で類似した翻訳品質評価の設計が行われている。つまり，機械翻訳は人手翻訳と同様の厳しさをもって評価されるべきである，という時代が到来したと考えてよいだろう.

## 6.2 自動評価

自動評価は機械翻訳の評価を計算機が自動的に行う技術である。典型的な自動評価は, 機械翻訳結果を参照訳と比較し，その「近さ」を定量化した評価値として返すというものであるが，近年では参照訳のみならず原文をも入力として活用する手法が提案される等大きな変化が始まっている。本稿では代表的な手法を中心に紹介する.

## 6.2.1表層ベース自動評価

自動評価の初期に用いられていたのは, 音声認識の評価で現在も利用されている単語誤り率 (Word Error Rate; WER) である. WER は機械翻訳結果と参照訳の表層情報のみを利用した,
 / / / \mathrm{www}$.qt21.eu/mqm-definition/definition-2015-06-16.html
}
単語列の編集距離に基づく非常に直感的な「近さ」の尺度と言える。しかしながら, 音声認識と異なり機械翻訳の場合は語順の変化が許容される場合が多く，参照訳の特定の語順に強く制約される WER は評価尺度としては厳しすぎると見ることもできる。そのため，語順の情報を無視し，機械翻訳結果と参照訳それぞれを単語の集合とみなし，集合間の単語の一致率を用いた位置独立単語誤り率 (Position-independent Word Error Rate; PER) が利用されることもあった (Tillmann et al. 1997).

そうした中，2001 年に提案されたのが BLEU (BiLingual Evaluation Understudy) (Papineni et al. 2002) である. BLEU は単語 n-gram 単位での機械翻訳結果と参照訳の一致率を利用することで，WERほど語順に強く左右されることもなく，ある程度の単語の繋がりを考慮することを可能にした。その後約 20 年にわたり機械翻訳の自動評価のデファクトスタンダードの位置を占めている．当時は米国 NIST が機械翻訳の大規模な研究プロジェクトを実施しており，BLEU もそのプロジェクトにおける機械翻訳の自動評価尺度として提案されたものである。すぐ後に BLEU を改変した尺度である NIST (Doddington 2002)も提案されている。WER はもとより， BLEU や NIST は単語の表層形のみで訳語の正誤判定をするものであり, 活用形の違いや同義語への置換に対して過剰にペナルティをかけてしまう. METEOR (Banerjee and Lavie 2005) はステミングや WordNet の同義語辞書を利用することで柔軟な評価を可能にしており，現在でも良く使われている。一方で，単語を単位とする自動評価においては単語分割を評価に際して行う必要があり, 日本語や中国語等分かち書きが行われない言語においては, 単語分割の方法により結果が大きく変わってしまうという問題があった。chrF (Popović 2015) は文字 n-gram のF スコアを用いて評価を行うことでそうした問題の解消を狙ったものである。 さらに単語 n-gram も用いた拡張版が chrF++ (Popović 2017) で, 人手評価との相関が改善することが示されている.

BLEU のように決まった長さの単語列の単位に分解するのではなく単語列全体としての正しさに注目したのが翻訳誤り率 (Translation Error Rate ${ }^{11}$; TER) (Snover et al. 2006) である. TER は WER と同様の編集距離を利用しつつも, 連続する部分単語列がまとまって移動するシフトという編集を許可することによって直感的な編集誤りの計算を行っている. IMPACT (Echizen-ya and Araki 2007) は最長一致部分単語列に着目して句や節といったまとまった部分単語列を抽出することで評価の改善を狙ったものであり, RIBES (Isozaki et al. 2010)は単語列の順位相関を利用して大域的な語順の誤りに敏感な評価を狙ったものである.

## 6.2.2 モデルベース自動評価

2010 年代に入り word2vec (Mikolov et al. 2013) をはじめとする分散表現の利用が盛んになったことで，これまで表層に強く依存してきた機械翻訳評価に大きな変化が訪れた. 特に 2010 年

代後半以降の文の分散表現に関する研究の進展により, 自動評価の性能も飛躍的に向上してきている。ここでは，翻訳評価のデータを使ったファインチューニングを要さない汎用性の高い手法と，翻訳評価のデータを用いたファインチューニングにより機械翻訳評価に特化した手法の二つに分けて概説する。

ファインチューニングなし翻訳評価のデータによらない方法として, 文の意味的類似度によって翻訳に求められる意味的等価性を測る尺度が用いられている. WE_WPI (Echizen'ya et al. 2019）は単語埋め达みの最適輸送を用いて文書の意味的類似度を測る Word Mover's Distance (Kusner et al. 2015) に単語アライメントに基づいて語順の制約を加えることで翻訳の自動評価を行っている．BERTScore (Zhang et al. 2020) は自然言語処理分野で広く活用されている BERT (Bidirectional Encoder Representations from Transformers) (Devlin et al. 2019)を用いて二つの文をそれぞれサブワードベクトルの集合として表現し，サブワードベクトル間の余弦 (cosine) を類似度として用いて文の類似度を近似計算する. MoverScore (Zhao et al. 2019a) は最適輸送を利用した BERTScore の拡張である。これらの方法は大規模なテキストで事前学習された BERT にのみ依存するため, 機械翻訳評価に限らず，幅広い分野の文の類似度尺度として利用できるという利点があるが，機械翻訳評価における性能においては次に挙げる手法よりもやや劣ることが多い.

ファインチューニングあり翻訳評価のデータを正解として評価モデルをファインチューニングすることで, 翻訳評価に特化した高性能なモデルが得られることが知られている。特に WMT におけるDA スコアの回帰問題と考え，翻訳文と参照訳の組を入力とし，DA スコアを出力として学習する手法がこの数年数多く発表されている. RUSE (Shimanaka et al. 2018) は文の分散表現を用いた機械翻訳評価の端緒となった手法であり，BERT 以前に提案されていた InferSent， Quick-Thought, Universal Sentence Encoderを利用したものである．RUSE における文の分散表現を BERT によるものに置き換えたのが BERT Regressor (嶋中他 2019) であり, RUSEより高い人手評価との相関を示している。 BLEURT (Sellam et al. 2020) は評価以外の補助タスクを用いた事前学習を行うことで汎用性を向上させた. C-SPEC (Takahashi et al. 2022), COMET (Rei et al. 2020) は回帰モデルの入力に原言語の入力文を加え, 言語横断モデルに基づく文埋め込みにより翻訳文と参照訳の意味的類似性のみならず翻訳文と原文の意味的類似性を考慮することを目指したものである。これらの手法は人手評価との相関が高くなる一方で, 学習データが必要になること，また性能がその学習データの特徴に左右されることが問題とも言える.

## 6.3 特許機械翻訳と翻訳評価

上記の評価は翻訳の正しさという面に着目し, 各翻訳文, もしくは文の集合としての文章の翻訳に対して，その優劣を問うものである。一方で, 特許関連の実務において, こうした翻訳の評価における優劣が実用上の有効性と直結するとは限らない。そこで実用上の有効性を評価するこ

とを目的とした外的評価 (extrinsic evaluation) が行われることがある. NTCIR-7 PATMT (Fujii et al. 2008) では特許における言語横断情報検索での応用を想定し, 英語の検索クエリを日本語に機械翻訳して日本語の特許文書の検索を行う，という外的評価が行われた。後年の NTCIR-9 及び NTCIR-10 PatentMT (Goto et al. 2011, 2013) では, 特許審査評価 (Patent Examination Evaluation) と呼ばれるより実務に近いシーンを想定した外的評価が実施された。実際の特許出願審査で拒絶の審決が行われた出願を対象として，拒絶理由として用いられた既存発明の特許文書を機械翻訳し，それによって本来の審決と同様に拒絶の判定をするための情報が得られるかどうかを，特許審査実務の経験者が 6 段階で判定するというものであった.

一方で, 特許庁でも機械翻訳を広く活用していることから機械翻訳の評価方法について長年検討・調査を行っており，2014 年には「特許文献機械翻訳の品質評価手順」と題した評価マニュアル (特許庁 2014)を公開している. この評価手順の特徴としては, 従来の人手評価で利用されていた忠実さや流暢さによる絶対評価に加え, 特許機械翻訳の評価において重視される重要技術用語の訳質についての評価が考慮されていることが挙げられる。また，機械翻訳の誤りフィー ドバックを目的としたチェックリストについても言及されており，これは先に述べた MQM や JTF 翻訳品質評価ガイドラインと類似した誤り項目ごとのチェックが考慮されている。 さらに,本マニュアルで挙げられた忠実さの設計では, 評価の対象を重要情報と呼び，技術的要素とその相互関係を表す名詞句や述語等に注目することが明示されている。この忠実さの尺度は, アジア言語翻訳ワークショップ (Workshop on Asian Translation; WAT) の共通タスクにおいて JPO Adequacy として 2015 年の第 2 回から人手評価に利用されている (Nakazawa et al. 2015).

以上述べた通り, 特許機械翻訳の実用的な評価と, 学術界で広く利用されている様々な評価手法の間には少なからぬ乘離がある。特に機械翻訳研究で広く用いられている自動評価ではすべての情報を同等に扱う傾向が強く，どういう点が所与の翻訳タスクで重要であるか，という観点が具体的に考慮されることはほとんどない. 最近研究が盛んになっている評価用データでファインチューニングを行うモデルベース自動評価であれば，特許を対象とした中規模の翻訳評価データを利用することで評価の性能が向上する可能性はあると考えられる．しかしながら，入力文に対して文平均での評価スコアを付するというような朹組みは機械的に扱うのには便利な反面, 人に向けての誤りのフィードバックや分析には不便な面がある. 昨今の MQM に基づく人手評価のように, 専門家による詳細な評価アノテーションの特許翻訳領域での拡大と, デー 夕の蓄積とそれに基づく技術の改良が今後の重要な課題と言えよう.

## 7 翻訳の高速化・省メモリ化

本節では，翻訳システムの使いやすさに影響する，翻訳実行時における速度向上，省メモリ技術について説明する. 特許機械翻訳では膨大な特許文書を対象にモデルの学習や翻訳の実行

を高速に行うことが求められ，一方で政府機関である知的財産庁での利用やサービスの提供にあたっては費用対効果が問われる面もあるため, 実用にあたっての処理の効率化は非常に重要な課題である.

本節における技術分類を表 1 に示す。本節で述べる技術は，モデルに関するもの，訓練・テスト時の処理，実装に関するものに細分して説明するが，複数の項目の組み合わせで動くものもあり，この分類は便宜上のものである。近年，超大規模事前訓練モデルの訓練，および利用時の速度向上やメモリ削減も注目されて来ているが（たとえば(Li et al. 2021)），本節は中～小規模モデル利用時の高速化やメモリ削減がテーマである.

本節では, 翻訳モデルとして, Transformer (Vaswani et al. 2017)（図 5）を前提として説明するが, 多くの技術は再帰ニューラルネット (RNN) ベースの翻訳器 (Sutskever et al. 2014; Bahdanau et al. 2014)にも適用可能である. Transformer 特有の技術に関しては明記する.

翻訳実行時の性能は, ハードウェアやソフトウェアの実装方法に依存する. 本節では, 現在最も普及している Intel 社の CPU, NVIDIA 社の GPU を前提とするが，バージョンによって利用可能な命令七ットが異なるので, 適用可否はハードウェア依存であることは注意が必要である. また, Workshop on Neural Generation and Translation (Birch et al. 2018; Hayashi et al. 2019; Heafield et al. 2020) では共通タスクとして, Efficient MT Trackが実施されており, 共通のデー 夕，および環境を用いて，翻訳速度，使用メモリの比較を行っている。参照していただきたい.

表 1 翻訳の高速化, 省メモリ化のまとめ。○は効果あり, ×は効果なし， $\triangle$ は他の技術と組み合わせることにより効果ありを表す.
今村, 越前谷, 江原, 後藤, 須藤, 園尾, 綱川, 中澤, 二宮, 王特許機械翻訳の課題解決に向けた機械翻訳技術解説

図 5 Transformer の構成

## 7.1 モデル関連技術

## 7.1.1 小規模モデル

モデルのパラメータ数を削減することで，省メモリ・高速化する．削減方法には，

・ 深層モデルのレイヤー数を減らす方法

・ 分散表現の次元数（Transformer の場合，モデル幅とフィードフォワードネットワークの隠れ次元数）を削減する方法

がある.

モデルのパラメータ削減による高速化は，翻訳品質とトレードオフであり，パラメータ数を減少させると，一般的には高速化される代わりに翻訳品質は低下する。この問題は，知識蒸留 (Hinton et al. 2015; Kim and Rush 2016) を併用することにより緩和させることができるため,第 7.2 .1 節で再度議論する.

## 7.1.2 サブワード

2.3 節で述べたサブワード化 (Schuster and Nakajima 2012; Wu et al. 2016) は，低頻度語を高頻度なサブワードの列に分割することによって，未知語や低頻度語を翻訳可能にする技術である. 現在, サブワード化方法として, 頻度に基づくバイトペア符号化 (byte-pair encoding; BPE) (Sennrich et al. 2016b) と，文の unigram 確率を最大化するように分割する SentencePiece (Kudo 2018; Kudo and Richardson 2018) が多く使われているが，どちらも語彙数を制御できるのが特
徴である。語彙数は通常, 数千から数万で設定される場合が多い.

単語埋达テーブル（図 5 の $\mathrm{E} 1$ および D1）とデコーダ出力層の線形変換行列（同 D7）が語彙に依存するパラメータであるが，これは全体のかなりの部分を占める。そのため，サブワードの語彙数を削減することは，メモリ使用量の削減に有効である．たとえば，Transformer の基本モデル (Vaswani et al. 2017) の場合，原言語，目的言語ともに語彙が 64,000 語だとすると，モデルパラメータは約 1.4 億個になるが，8,000 語にすると 6 千万個以下に減少する.

また，デコーダの出力層で行われる SoftMax 操作（図 5 の D8）は，語彙数に依存した時間がかかるため, 語彙数削減は高速化にも寄与する.

最適な語彙数は，実験的に設定する場合が多いが，近年，翻訳品質を最高にするサブワード化方法も提案されている (Xu et al. 2021).

## 7.1.3 パラメータ共有

NMT はさまざまな機能を持つサブネットワークの組み合わせで構成されているので, 同じ機能を持つサブネットのパラメータを共有することで，モデルを小さくし，メモリ使用量を削減する方法も使われる。なお，パラメータ共有は処理を削減するわけではないので，高速化にはほとんど効果がない.

Universal Transformer (Dehghani et al. 2018; Dabre and Fujita 2019) は, Transformer のレイヤー（図 5 の E5 および D6）を繰り返し適用する方法で，翻訳時の使用メモリを削減できる.

原言語と目的言語の語彙を共通化すると, エンコーダとデコーダの単語埋込テーブルを共有することができる。ヨーロッパ言語間のように使用文字が共通な場合には効果が高い。また, デコーダの単語埋込テーブル（図 5 のD1）と，デコーダ出力層の線形変換行列（同 D7）は, 基本的に逆変換操作であるので, 両者を共有しても精度的な劣化は少なく, 共有されることが多い (tied vocabulary と呼ばれる (Nguyen and Chiang 2018)).

## 7.1.4 自己アテンション機構の置き換え

Transformer のデコーダは, 前方から 1 単語ずつ生成する自己回帰型 (autoregressive) を使っている. 一方, Transformer は, 自己アテンション (self-attention) 機構を使って, 処理中の単語の周辺文脈を考慮している，自己回帰処理中は，それまでに生成したすべての単語の分散表現を混合するため, デコーディングの後半になるほど処理量が増大する，そのため, 高速な自己アテンション機構がいくつか提案されている.

Marian 翻訳システム (Junczys-Dowmunt et al. 2018b, 2018a) は, Transformer デコーダの自己アテンション機構を直前状態のみに依存する機構に置き換えることで高速化した. Simpler Simple Recurrent Unit (SSRU)(Kim et al. 2019a; Lei et al. 2018)は, LSTM などと同じ RNN ユニットの一種であるが，忘却ゲートを適応型指数平均に置き換え，さらにリセットゲートを
省略することで処理を単純化している．基本的に RNN ユニットなので，直前状態のみ保持していれば，現在の状態を更新できるため，自己回帰型デコーダの計算量が一定となる．Average Attention Network (AAN) (Zhang et al. 2018a) も直前状態のみに依存させることができるため, デコーダの高速化に寄与する.

同様に, 自己アテンション機構を置き換えた高速化モデルには, Reformer (Kitaev et al. 2020), Linformer (Wang et al. 2020) などがある.

## 7.1.5 非自己回帰デコーダ

デコーダの処理で, 1 単語ずつ生成する方式 (Vaswani et al. 2017) を自己回帰型と呼ぶのに対して，Transformerの並列性を利用して，全単語を 1 ステップで生成する方式を非自己回帰デコーディング (non-autoregressive decoding) (Gu et al. 2017; Lee et al. 2018; Ghazvininejad et al. 2019) と呼ぶ。ただし，1 ステップでは十分な精度が出ないため, 非自己回帰デコーディングを繰り返し適用する場合が多い.

非自己回帰デコーディングは，提案レベルでは高速な翻訳が可能であると報告されているが，自己回帰型に比べ翻訳品質が劣るため, 実用的にはまだ使われていない.

なお, 自己回帰型でも，1 ステップで 2 トークンを同時生成することで若干高速化が可能である (Zhou et al. 2019b; Imamura and Sumita 2020).

## 7.2 訓練・テスト時の技術

## 7.2 .1 知識蒸留

知識蒸留 (Knowledge distillation) (Hinton et al. 2015; Kim and Rush 2016) は, teacher-student approach とも呼ばれ, 教師モデルが持つ知識を生徒モデルに反映させる技術である. 知識蒸留自体は, 高速化や省メモリ効果はないが, 教師と生徒のモデルが分離されており, 生徒側に 7.1.1 節で述べた小規模モデルを利用できるため，結果的に高速化・省メモリに寄与できる。

NMT に適用可能な知識蒸留方式は 2 種類知られている。単語レベル知識蒸留 (Hinton et al. 2015）は，マルチクラス分類用の技術を機械翻訳に適用したもので，教師モデルの最終層（デコーダの出力単語分布）を模倣するように生徒モデルを学習する. 分布を模倣させるため, 教師モデルと生徒モデルの目的言語語彙は一致している必要がある.

それに対して，系列レベル（文レベル）知識蒸留 (Kim and Rush 2016) は, 原言語のコーパスを教師モデルで目的言語に翻訳し，原言語を対にした疑似コーパスで生徒モデルを学習する。目的言語の多様性が少なくなるため, 小さなモデルでも教師モデルに近い精度で翻訳可能となる。機械翻訳で使用される知識蒸留は，ほとんどが系列レベル知識蒸留である。

知識蒸留では, 教師モデルの翻訳品質が生徒モデルの品質に影響するため, モデルアンサンブルなど, できるだけ高品質な教師モデルを用いることが多い (Kim et al. 2019a).
今村 (2021) は, 日英翻訳を対象に, 知識蒸留を適用した場合の小規模モデルの高速化効果を調査した。その結果，以下の知見を得ている.
- 高速化の観点からは, 分散表現の次元数を削減するより, 深層モデルレイヤー数を削減した方が効果的である。

・ エンコーダのレイヤー数を削減するより，デコーダのレイヤー数を削減した方が，翻訳品質を劣化させずに高速化できる (Kasai et al. 2021).

## 7.2 .2 ビーム幅, 貪欲探索

翻訳時の高速化に効果的なのは，ビーム探索時（図 59D9）のビーム幅を小さくして探索空間を縮小することである。一般的には翻訳品質は悪化するが，知識蒸留で構築したモデルの場合, 比較的狭いビーム幅でも翻訳品質を落とさず翻訳できる (今村 2021).

幅 1 のビーム探索は, 貪欲探索と呼ばれているが, 探索中の翻訳仮説（ビーム中の候補）同士を比較する必要がなくなるので，デコーダ出力層の SoftMax 操作（図 5 の D8）を省略することができる (Hoang et al. 2018a)。つまり，デコーダが出力する logitのうち，最大の要素を選択すればよい.

## 7.2.3 動的語彙選択（CPU 用）

GPU を使わずに翻訳する際にボトルネックとなる部分は，デコーダ出力における SoftMax 操作（図 5 の D8）と出力単語分布からの Top-K 選択操作である. SoftMax は全要素の総和を含んでいるため, CPUで実行すると基本的には要素数ステップの計算を行わなければならない 12 . Top-K 選択も同様である. 階層的 SoftMax (Morin and Bengio 2005) などを使って, SoftMax 自体を高速化する方法もあるが，翻訳テスト時に限ると，SoftMaxが適用されるデコーダの語彙サイズを減少させることで，速度を向上させることができる．

Shi and Knight (2017)は, 単語アライメントに基づく語彙選択を行った. 手順は以下のとお.

(1) Moses (Koehn et al. 2007) などのツールキットを用いて, 原言語と目的言語の単語翻訳確率テーブル $P(e \mid f)$ を作成する. ただし, $f$ は原言語の単語, $e$ は目的言語の単語である.

(2) 原言語の各単語 $f$ に対して，翻訳確率の高いトップ $M$ 個の目的言語単語 $\left.\{e_{1}, \ldots, e_{M}\right.\}$ を抽出してハッシュテーブルに格納・保存しておく.

（3）翻訳テストの際には，原文（または原言語のミニバッチ）が与えられたら，すべての原言語単語をキーとしてハッシュテーブルを参照し, 対応する目的言語の単語集合 $V_{n e w}$ を得る.


（4）デコーダの出力層の線形変換行列（図 5 のD7）を， $V_{\text {new }}$ のみに縮小する（またはマスクする）。

この方法には，いくつかバリエーションがある. Junczys-Dowmunt et al. (2018b) は, 原言語の 1 単語ごとに目的言語 100 語 $(M=100)$ を選択する他に, 対訳コーパス全体を通した高頻度語 100 語を加えた. Senellart et al. (2018)は, 原言語 1 単語に対して目的言語の単語を選択するだけでなく, bigram, trigramに対しても選択するように拡張し, 語彙サイズを抑えつつ, カバレッジを上げるようにした，動的語彙選択は，カバレッジが十分な場合，翻訳品質を変えずに高速化できる.

## 7.2 .4 ミニバッチ構成法

ミニバッチは，ニューラルネットの処理単位で，機械翻訳では，長さの異なる複数の原文を 1 つにテンソルにパックしたものである. 原文（単語列）は可変長であるので，最大長のものに合わせてテンソルを用意し，そこに単語 ID を挿入している．余った部分には「詰圽」トークン (<PAD>) のID を入れることで，エンコーダの出力から無視できるようにしている.

機械翻訳の利用環境にも影響されるが, 文書翻訳のように, 複数の文を順不同で翻訳できる場合, 同じ長さの原文を集めてミニバッチを構成すると, <PAD>トークン数が最小になり, 文書全体のテンソルサイズが小さくなる。また，長さが似たような原文は，翻訳文も長さが近くなることが多いので, デコーダの自己回帰数も減少させることができ, 全体の処理速度が向上する.

## 7.3 実装

本稿では, 便宜上 GPU 用, CPU 用という分類をしたが, GPU や CPU も製造会社やバージョンによってアーキテクチャが異なっており，使用可能なハードウェア毎に実装方針を変えるべき部分である。

## 7.3.1 半精度浮動小数点（GPU 用）

半精度浮動小数点数は, IEEE 754-2019 で標準化された, 浮動小数点数の表現形式である. 符号 1 ビット, 指数部 5 ビット, 仮数部 10 ビットの計 16 ビットで表現するため, FP16とも呼ばれる. $\pm 65504$ (正規化数の場合) の浮動小数点数を表現できる. 仮数部の精度は 10 進数でいうと約 3 桁である.

単精度浮動小数点数 (FP32) に比べるとメモリ使用量が半分になり, さらにハードウェア （NVIDIA P100 GPU など）がサポートしている場合，数倍の速度で計算が可能となるのが利点である。ただし, 指数部が 5 ビットしかないため, 勾配計算時や対数確率に指数関数を適用する際など，オーバーフローを起こすことがある (Micikevicius et al. 2018). これを避けるためには， ユーザプログラム内でスケールを管理し，計算中にオーバーフローを発見した時点でテン

ソル全体の值を小さくするなどの対処が必要となる (Ott et al. 2018).

もう一つの 16 ビットの浮動小数点表現法は, bfloat16（brain 浮動小数点）と呼ばれるものである（Google 社が開発し，自社の Tensor Processing Unit (TPU) に実装) (Wang and Kanwar 2019). これは, 符号 1 ビット, 指数部 8 ビット, 仮数部 7 ビットを持つ. 指数部が単精度浮動小数点と同じく 8 ビットあるので，ニューラルネットの勾配計算時にオーバーフローすることがほとんどなく，ユーザプログラム内では単精度浮動小数点と同様に扱うことができる。たたし, bfloat16 は 2021 年 9 月現在は IEEEの規格ではないので, サポートされているハードウェアは多くない.

なお, bfloat16 は, 仮数部の精度が十進数で 2 桁程度となるが, 機械翻訳では最終的に, 語彙集合から出力する単語を適切に選択できればよいので (Och 2005), この程度でも十分に実用になる。

## 7.3.2 8 ビット整数量子化 (CPU 用)

Transformer は, LSTM (long-short term memory) のような再帰ユニットを用いた NMT に比べ, 行列の乗算, 加算処理が多く含まれている。したがって, これを高速化できれば, 全体の翻訳速度も向上する (Bhandare et al. 2019).

8 ビット整数量子化（INT8 量子化）は，FP32で表現された数値を，0２55または $-127 \sim+127$ で表現する. Klein et al. (2020)の実装では，以下のように行列の列ごとに異なるスケールで量子化を行っている.

$
\begin{aligned}
s_{i} & =\max _{j}\left|W_{i, j}\right| \\
W_{i, j}^{Q} & =\left.\lfloor\frac{127}{s_{i}} W_{i, j}\right.\rfloor
\end{aligned}
$

ただし, $W$ は量子化前の行列 $\left(W_{i, j}\right.$ はその $j$ 行 $i$ 列の要素 $), W^{Q}$ は量子化後の行列 $\left(W_{i, j}^{Q}\right.$ はその要素),$s_{i}$ はスケールである.

INT8 量子化行列は, 行列の乗算だけに適用される。他のテンソル操作, 特にレイヤー正規化については, 平均と分散を算出するために，操作の内部に除算，二乗，平方根演算を含んでおり, 精度が落ちたテンソルでの演算には向いていない. そのため, 行列乗算以外の演算は, 通常 FP32で行われる.

INT8 量子化を行った行列の乗算操作のフローを図 6 に示す. 入力の 2 つのテンソルを INT 8 量子化して, 量子化行列乗算操作を行い, 量子化を解除する. 通常, 入力の一つはモデルパラメータであるので, 事前に量子化しておくことができる.

図 6 の量子化行列乗算は, Intel 社の一部の CPU でサポートされている AVX-512 (advanced vector extentions) 命令セットや, VNNI (vectorized neural network instructions) 命令セットで
今村, 越前谷, 江原, 後藤, 須藤, 園尾, 綱川, 中澤, 二宮, 王特許機械翻訳の課題解決に向けた機械翻訳技術解説

図 6 INT8 量子化を使ったときの行列乗算のフロー (Bhandare et al. 2019)

要素計算を並列に実行できる．量子化やその解除のための計算が増加するが，乗算操作が高速に実行できるため十分に速くなる.

量子化モデルの訓練は通常, FP32 浮動小数点（または FP16）で行い, その後, 必要部分たけ INT8 に量子化して保存する，ただし，モデルを量子化すると，パラメータが若干最適値からずれるため，量子化した状態で数エポックだけ追加訓練して，モデルを適応させた方がよい (Klein et al. 2020; Bogoychev et al. 2020).

INT8 量子化は, 主に CPU 用の実装技術であるが, 近年は GPUでもサポートされつつある.

## 7.3.3 $\mathrm{C / \mathrm{C}++$ 実装, メモリ確保・解放}

高速かつ省メモリな実装を目指すには， $\mathrm{C}$ 言語または $\mathrm{C}++$ 言語による実装を行うのが効果的である. Pythonのようなインタープリタ言語にくらべ，ガーベージコレクションを行わないので，実行時の遅延がない，ガーベージコレクションを行わないということは，メモリ管理を自分で行う必要があるということだが，これは省メモリという観点でのメリットになるほかに，高速化という観点でもメリットとなる。プログラム実行時に時間がかかる作業の一つは，メモリ確保と解放なので，これを最小限に抑えるように実装することで，処理が高速化される．

なお，メモリ確保・解放は，インタープリタ言語でも行われることなので, Pythonでも，作業用テンソルを明示的に確保して，翻訳中はそれを再利用するように実装すれば，速度は向上する.

## 7.3.4 デコーダ計算結果のキャッシュ (1):レイヤー出力

一般的な Transformer デコーダでは, 自己回帰型の生成方式を採用しているが, 時刻 $t$ の生成単語 $y_{t}$ を決定するために，それまでのすべての生成履歴を利用している。これはレイヤーレべ

ルでも同様で, デコーダのレイヤー $\ell$ が出力する時刻 $t$ の分散表現 $h_{t}^{\ell}$ は, 以下のように, 1 層前のレイヤー出力のすべての履歴から計算される。

$
h_{t}^{\ell}=\operatorname{DecoderLayer~}^{\ell}\left(\boldsymbol{h}_{1 \ldots t}^{\ell-1}, \boldsymbol{h}_{e n c}\right) \text {. }
$

ただし, DecoderLayer ${ }^{\ell}(\cdot)$ はデコーダのレイヤー $\ell$ の操作, $\boldsymbol{h}_{1 \ldots t}^{\ell-1}$ はレイヤー $(\ell-1)$ の時刻 1 から $t$ までの全出力, $\boldsymbol{h}_{e n c}$ はエンコーダ出力である. このうち, 時刻 $t-1$ までの分散表現 $\boldsymbol{h}_{1 \ldots t-1}^{\ell-1}$ は, 時刻 $t$ 以前に計算済なので, これを保存しておけば，テンソルの結合操作で入力が構成でき，自己回帰処理中に再計算する必要がない.

## 7.3.5 デコーダ計算結果のキャッシュ $(2)$ : マルチヘッドアテンション

Transformer デコーダでは, 自己アテンション機構とエンコーダアテンション機構の 2 か所でマルチヘッドアテンションが使われている. マルチヘッドアテンションでは, 複数のヘッド各々のアテンションを算出し，最後にそれらを連結する構成をとっている。（図 7)

1 つのアテンションは, 入力である Query $(Q)$, Key $(K)$, Value $(V)$ の三つ組をそれぞれ線形変換してからアテンション計算を行う.

$
\operatorname{head}_{i}=\operatorname{Attention}\left(Q W^{Q}, K W^{K}, V W^{V}\right)
$

ただし, Attention($\cdot$)は図 7 のスケーリングされた内積アテンション計算関数, $\operatorname{head}_{i}$ は 1 つのヘッドのアテンション, $W^{Q}, W^{K}, W^{V}$ は変換行列である.したがって， $Q, K, V$ が他のレイヤーや他の時刻と同じであれば，線形変換を省略することができる.

自己アテンション機構では,

図 7 Transformer のマルチヘッドアテンション (Vaswani et al. 2017)
今村, 越前谷, 江原, 後藤, 須藤, 園尾, 綱川, 中澤, 二宮, 王特許機械翻訳の課題解決に向けた機械翻訳技術解説

$
\begin{aligned}
Q & =Q_{t} \\
K & =Q_{1 \ldots t} \\
V & =Q_{1 \ldots t}
\end{aligned}
$

ただし, $t$ は現在処理中の時刻， $Q_{t}$ は時刻 $t$ の Query， $Q_{1 \ldots t}$ は時刻 $t$ までの Query の履歴をすべて結合したものである。 $t$ 以前の Query は既知であるので， $Q_{1 \ldots t-1} W^{K}$ と $Q_{1 \ldots t-1} W^{V}$ は以前に計算したものを再利用することができる (Klein et al. 2020).

エンコーダアテンション機構では， $K$ および $V$ はエンコーダ出力であるので，すべての時刻， すべてのデコーダ層において同じである。したがって，KW $K W^{K}, V W^{V}$ は一度計算したものを再利用すればよい。(Klein et al. 2020; Hu et al. 2020)

## 7.4 翻訳コストの可視化

Workshop on Neural Generation and Translation ${ }^{13}$ (Birch et al. 2018; Hayashi et al. 2019; Heafield et al. 2020)では, Efficient MT という共通タスクを実施し，さまざまな組織の機械翻訳システムを，翻訳速度とメモリ・ディスク使用量という観点から比較を行っている。このワー クショップでは, 異なるシステムの翻訳コストを比較するために, Amazon 社のクラウドサー ビス AWS (Amazon Web Service) 上の仮想マシンで翻訳システムを実行している.

各参加者は, 自分のシステムを仮想化ソフトウェアDocker のイメージとして提出し, 主催者が AWS で翻訳時間，メモリ使用量を測定する。仮想マシンには GPU あり・なしなど，いくつかの種類があり，比較条件によって使用する仮想マシンを変えている．たとえば， 2020 年の共通タスクのうち，GPUトラックでは，g4dn.xlarge という仮想マシンが使われた. これは，GPU として NVIDIA T4 (16GB RAM) が1つ, CPU としてXeon Platium 8259CL のうち 2 物理コアを使用する。マルチコア CPUトラックでは，c5.metal が使われた。これは，Xeon Platium 8259CL の 48 物理コア (Vector Neural Network Instructions をサポート), 192GBメインメモリの仮想マシンである.

AWS は使用時間に対して料金が決まっているので, 異なる環境（仮想マシン）で動作するシステム同士でも料金という基準でコスト比較が可能となる. ちなみに, 2019 年は, 最も翻訳品質のよかったシステムは GPUベースだったのに対し， 1 ドルあたりの翻訳語数が最も多い（すなわちコストパフォーマンスがよい) システムは CPUベースのものだった (Hayashi et al. 2019). 2020 年はどちらも GPUベースのシステムだった ${ }^{14}$ (Heafield et al. 2020).


## 8 おわりに

本論文では, 訳抜け・過剰訳への対策, 用語訳の統一, 長文対策, 低リソース言語対対策, 評価, 翻訳速度・省メモリ対策の 6 つの観点で特許機械翻訳の課題解決に寄与することが期待される諸技術について解説した. 多くの課題は現在のニューラル機械翻訳の研究・開発において注目を集めているものであるが，実際に特許を対象として検証が行われた研究は極めて少ないと言わざるを得ない.これは現在の機械翻訳の研究がWMTニュースタスクのような代表的べンチマークデータによる実験を中心に議論されることが多いという面と, 特定の言語対やタスクに着目した共通タスクがWMT, WAT, IWSLT 等多く存在する一方で特許を対象とするタスクの存在感が小さく，またタスク間の知見の共有が十分でないという面が影響していると考えられる。本解説論文で紹介した様々な技術の大部分が特許に着目したものではないことからも分かる通り, 特許機械翻訳で特に重視される課題に対処するための技術の種は数多く存在しており，今後はそれらを更に発展させ，特許機械翻訳における実用化が求められている状況と言えよう。逆に，特許文書は機械翻訳や自然言語処理の研究において決して特殊な外れ値ではなく, 産業上重要な応用先であるとともに，自然言語処理の基本的な課題を多く内包する，重要な課題であると言える。本論文が今後の特許機械翻訳技術のさらなる発展と実用化に寄与することを期待したい.

## 謝 辞

本解説論文に関する技術動向調査は, アジア太平洋機械翻訳協会 (AAMT) と日本特許情報機構 (Japio) が運営する AAMT/Japio 特許翻訳研究会の支援により実施されたものである. 関係各機関のご協力に感謝する.

## 参考文献

Aharoni, R., Johnson, M., and Firat, O. (2019). "Massively Multilingual Neural Machine Translation." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3874-3884, Minneapolis, Minnesota. Association for Computational Linguistics.

Ahmadnia, B. and Dorr, B. (2019). "Bilingual Low-Resource Neural Machine Translation with Round-Tripping: The Case of Persian-Spanish." In Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2019), pp. 18-24, Varna,

Bulgaria. INCOMA Ltd.

Akhbardeh, F., Arkhangorodsky, A., Biesialska, M., Bojar, O., Chatterjee, R., Chaudhary, V., Costa-jussa, M. R., España-Bonet, C., Fan, A., Federmann, C., Freitag, M., Graham, Y., Grundkiewicz, R., Haddow, B., Harter, L., Heafield, K., Homan, C., Huck, M., AmponsahKaakyire, K., Kasai, J., Khashabi, D., Knight, K., Kocmi, T., Koehn, P., Lourie, N., Monz, C., Morishita, M., Nagata, M., Nagesh, A., Nakazawa, T., Negri, M., Pal, S., Tapo, A. A., Turchi, M., Vydrin, V., and Zampieri, M. (2021). "Findings of the 2021 Conference on Machine Translation (WMT21)." In Proceedings of the 6th Conference on Machine Translation, pp. 1-88, Online. Association for Computational Linguistics.

Arivazhagan, N., Bapna, A., Firat, O., Lepikhin, D., Johnson, M., Krikun, M., Chen, M. X., Cao, Y., Foster, G., Cherry, C., Macherey, W., Chen, Z., and Wu, Y. (2019). "Massively Multilingual Neural Machine Translation in the Wild: Findings and Challenges." arXiv preprint arXiv:1907.05019.

Arthur, P., Neubig, G., and Nakamura, S. (2016). "Incorporating Discrete Translation Lexicons into Neural Machine Translation." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1557-1567, Austin, Texas. Association for Computational Linguistics.

Bahdanau, D., Cho, K., and Bengio, Y. (2014). "Neural Machine Translation by Jointly Learning to Align and Translate." arXiv preprint arXiv:1409.0473.

Banerjee, S. and Lavie, A. (2005). "METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments." In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72, Ann Arbor, Michigan. Association for Computational Linguistics.

Bapna, A. and Firat, O. (2019). "Simple, Scalable Adaptation for Neural Machine Translation." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 1538-1548, Hong Kong, China. Association for Computational Linguistics.

Beloucif, M., Gonzalez, A. V., Bollmann, M., and Søgaard, A. (2019). "Naive Regularizers for Low-Resource Neural Machine Translation." In Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2019), pp. 102-111, Varna, Bulgaria. INCOMA Ltd.

Bhandare, A., Sripathi, V., Karkada, D., Menon, V., Choi, S., Datta, K., and Saletore, V. (2019). "Efficient 8-Bit Quantization of Transformer Neural Machine Language Translation Model." arXiv preprint arXiv:1906.00532.

Birch, A., Finch, A., Luong, M.-T., Neubig, G., and Oda, Y. (2018). "Findings of the Second Workshop on Neural Machine Translation and Generation." In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 1-10, Melbourne, Australia. Association for Computational Linguistics.

Bogoychev, N., Grundkiewicz, R., Aji, A. F., Behnke, M., Heafield, K., Kashyap, S., Farsarakis, E.-I., and Chudyk, M. (2020). "Edinburgh's Submissions to the 2020 Machine Translation Efficiency Task." In Proceedings of the 4th Workshop on Neural Generation and Translation, pp. 218-224, Online. Association for Computational Linguistics.

Bouamor, D., Semmar, N., and Zweigenbaum, P. (2012). "Identifying Bilingual Multi-Word Expressions for Statistical Machine Translation." In Proceedings of the 8th International Conference on Language Resources and Evaluation (LREC'12), pp. 674-679, Istanbul, Turkey. European Language Resources Association (ELRA).

Bugliarello, E. and Okazaki, N. (2020). "Enhancing Machine Translation with Dependency-Aware Self-Attention." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1618-1627, Online. Association for Computational Linguistics.

Callison-Burch, C., Fordyce, C., Koehn, P., Monz, C., and Schroeder, J. (2007). "(Meta-) Evaluation of Machine Translation." In Proceedings of the 2nd Workshop on Statistical Machine Translation, pp. 136-158, Prague, Czech Republic. Association for Computational Linguistics.

Carpuat, M. (2009). "One Translation Per Discourse." In Proceedings of the Workshop on Semantic Evaluations: Recent Achievements and Future Directions (SEW-2009), pp. 19-27, Boulder, Colorado. Association for Computational Linguistics.

Carpuat, M. and Simard, M. (2012). "The Trouble with SMT Consistency." In Proceedings of the 7th Workshop on Statistical Machine Translation, pp. 442-449, Montréal, Canada. Association for Computational Linguistics.

Chaudhary, V., Tang, Y., Guzmán, F., Schwenk, H., and Koehn, P. (2019). "Low-Resource Corpus Filtering Using Multilingual Sentence Embeddings." In Proceedings of the 4 th Conference on Machine Translation (Volume 3: Shared Task Papers, Day 2), pp. 261-266, Florence, Italy. Association for Computational Linguistics.

Chen, G., Chen, Y., Wang, Y., and Li, V. O. (2020). "Lexical-Constraint-Aware Neural Machine Translation via Data Augmentation." In Bessiere, C. (Ed.), Proceedings of the 29th International Joint Conference on Artificial Intelligence, IJCAI-20, pp. 3587-3593. International Joint Conferences on Artificial Intelligence Organization. Main track.

Chen, Y., Liu, Y., Cheng, Y., and Li, V. O. (2017). "A Teacher-Student Framework for Zero-

Resource Neural Machine Translation." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1925-1935, Vancouver, Canada. Association for Computational Linguistics.

Cheng, Y., Xu, W., He, Z., He, W., Wu, H., Sun, M., and Liu, Y. (2016). "Semi-Supervised Learning for Neural Machine Translation." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1965-1974, Berlin, Germany. Association for Computational Linguistics.

Cheng, Y., Yang, Q., Liu, Y., Sun, M., and Xu, W. (2017). "Joint Training for Pivot-based Neural Machine Translation." In Proceedings of the 26th International Joint Conference on Artificial Intelligence, IJCAI-17, pp. 3974-3980.

Cho, K., van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., and Bengio, Y. (2014). "Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1724-1734, Doha, Qatar. Association for Computational Linguistics.

Clinchant, S., Jung, K. W., and Nikoulina, V. (2019). "On the use of BERT for Neural Machine Translation." In Proceedings of the 3rd Workshop on Neural Generation and Translation, pp. 108-117, Hong Kong. Association for Computational Linguistics.

Costa-jussà, M. R., Casas, N., and Melero, M. (2018). "English-Catalan Neural Machine Translation in the Biomedical Domain through the Cascade Approach." arXiv preprint arXiv:1803.07139.

Currey, A. and Heafield, K. (2019). "Zero-Resource Neural Machine Translation with Monolingual Pivot Data." In Proceedings of the 3rd Workshop on Neural Generation and Translation, pp. 99-107, Hong Kong. Association for Computational Linguistics.

Currey, A., Miceli Barone, A. V., and Heafield, K. (2017). "Copied Monolingual Data Improves Low-Resource Neural Machine Translation." In Proceedings of the 2nd Conference on Machine Translation, pp. 148-156, Copenhagen, Denmark. Association for Computational Linguistics.

Dabre, R. and Fujita, A. (2019). "Recurrent Stacking of Layers for Compact Neural Machine Translation Models." In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, pp. 6292-6299.

Dabre, R., Fujita, A., and Chu, C. (2019). "Exploiting Multilingualism through Multistage Fine-Tuning for Low-Resource Neural Machine Translation." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International

Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 1410-1416, Hong Kong, China. Association for Computational Linguistics.

Deguchi, H., Tamura, A., and Ninomiya, T. (2019). "Dependency-Based Self-Attention for Transformer NMT." In Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2019), pp. 239-246, Varna, Bulgaria. INCOMA Ltd.

Dehghani, M., Gouws, S., Vinyals, O., Uszkoreit, J., and Kaiser, L. (2018). "Universal Transformers." arXiv preprint arXiv:1807.03819.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

Ding, Y., Liu, Y., Luan, H., and Sun, M. (2017). "Visualizing and Understanding Neural Machine Translation." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1150-1159, Vancouver, Canada. Association for Computational Linguistics.

Dinu, G., Mathur, P., Federico, M., and Al-Onaizan, Y. (2019). "Training Neural Machine Translation to Apply Terminology Constraints." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3063-3068, Florence, Italy. Association for Computational Linguistics.

Doddington, G. (2002). "Automatic Evaluation of Machine Translation Quality Using N-Gram Co-Occurrence Statistics." In Proceedings of the 2nd International Conference on Human Language Technology Research, HLT '02, pp. 138-145, San Francisco, CA, USA. Morgan Kaufmann Publishers Inc.

Duh, K., McNamee, P., Post, M., and Thompson, B. (2020). "Benchmarking Neural and Statistical Machine Translation on Low-Resource African Languages." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 2667-2675, Marseille, France. European Language Resources Association.

Echizen-ya, H. and Araki, K. (2007). "Automatic Evaluation of Machine Translation Based on Recursive Acquisition of an Intuitive Common Parts Continuum." In Proceedings of Machine Translation Summit XI: Papers, Copenhagen, Denmark.

Echizen'ya, H., Araki, K., and Hovy, E. (2019). "Word Embedding-Based Automatic MT Evaluation Metric using Word Position Information." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human
今村, 越前谷, 江原, 後藤, 須藤, 園尾，綱川，中澤，二宮，王特許機械翻訳の課題解決に向けた機械翻訳技術解説

Language Technologies, Volume 1 (Long and Short Papers), pp. 1874-1883, Minneapolis, Minnesota. Association for Computational Linguistics.

Edunov, S., Ott, M., Auli, M., and Grangier, D. (2018). "Understanding Back-Translation at Scale." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 489-500, Brussels, Belgium. Association for Computational Linguistics.

Fadaee, M., Bisazza, A., and Monz, C. (2017). "Data Augmentation for Low-Resource Neural Machine Translation." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 567-573, Vancouver, Canada. Association for Computational Linguistics.

Firat, O., Cho, K., and Bengio, Y. (2016a). "Multi-Way, Multilingual Neural Machine Translation with a Shared Attention Mechanism." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 866-875, San Diego, California. Association for Computational Linguistics.

Firat, O., Sankaran, B., Al-onaizan, Y., Yarman Vural, F. T., and Cho, K. (2016b). "ZeroResource Translation with Multi-Lingual Neural Machine Translation." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 268-277, Austin, Texas. Association for Computational Linguistics.

Freitag, M., Foster, G., Grangier, D., Ratnakar, V., Tan, Q., and Macherey, W. (2021a). "Experts, Errors, and Context: A Large-Scale Study of Human Evaluation for Machine Translation." Transactions of the Association for Computational Linguistics, 9, pp. 1460-1474.

Freitag, M., Rei, R., Mathur, N., Lo, C.-k., Stewart, C., Foster, G., Lavie, A., and Bojar, O. (2021b). "Results of the WMT21 Metrics Shared Task: Evaluating Metrics with Expertbased Human Evaluations on TED and News Domain." In Proceedings of the 6th Conference on Machine Translation, pp. 733-774, Online. Association for Computational Linguistics.

Fujii, A., Utiyama, M., Yamamoto, M., and Utsuro, T. (2008). "Overview of the Patent Translation Task at the NTCIR-7 Workshop." In Proceedings of NTCIR-7 Workshop Meeting, pp. 389-400.

Fujii, A., Utiyama, M., Yamamoto, M., Utsuro, T., Ehara, T., Echizen-ya, H., and Shimohata, S. (2010). "Overview of the Patent Translation Task at the NTCIR-8 Workshop." In Proceedings of NTCIR-8 Workshop Meeting, pp. 371-376.

Ghazvininejad, M., Levy, O., Liu, Y., and Zettlemoyer, L. (2019). "Mask-Predict: Parallel Decoding of Conditional Masked Language Models." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 6112-6121, Hong Kong,

China. Association for Computational Linguistics.

Goh, C.-L. and Sumita, E. (2011). "Splitting Long Input Sentences for Phrase-based Statistical Machine Translation." In Proceedings of the 17th Annual Meeting for the Association for Natural Language Processing, pp. 802-805.

Gong, Z., Zhang, M., and Zhou, G. (2011). "Cache-based Document-level Statistical Machine Translation." In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, pp. 909-919, Edinburgh, Scotland, UK. Association for Computational Linguistics.

Goto, I., Chow, K. P., Bin, L., Sumita, E., and Tsou, B. K. (2013). "Overview of the Patent Machine Translation Task at the NTCIR-10 Workshop." In Proceedings of the 10th NTCIR Conference, pp. 260-286.

Goto, I., Lu, B., Chow, K. P., Sumita, E., and Tsou, B. K. (2011). "Overview of the Patent Machine Translation Task at the NTCIR-9 Workshop." In Proceedings of NTCIR-9 Workshop Meeting, pp. 559-578.

後藤功雄, 美野秀弥, 山田一郎 (2020). 訳抜けを含む訓練データと訳抜けのない出力とのギャップを埋めるニューラル機械翻訳. 言語処理学会第 26 回年次大会発表論文集, pp. 1412-1415. [I. Goto et al. (2020). Neural Machine Translation Bridging the Gap between Training Data with Missing Translations and Output without Missing Translations. Proceedings of the 26th Annual Meeting for the Association for Natural Language Processing, pp. 1412-1415.].

Goto, I. and Tanaka, H. (2017). "Detecting Untranslated Content for Neural Machine Translation." In Proceedings of the 1st Workshop on Neural Machine Translation, pp. 47-55, Vancouver. Association for Computational Linguistics.

Graham, Y., Baldwin, T., Moffat, A., and Zobel, J. (2017). "Can Machine Translation Systems Be Evaluated by the Crowd Alone." Natural Language Engineering, 23 (1), pp. 3-30.

Gu, J., Bradbury, J., Xiong, C., Li, V. O. K., and Socher, R. (2017). "Non-Autoregressive Neural Machine Translation." arXiv preprint arXiv:1711.02281.

Gu, J., Hassan, H., Devlin, J., and Li, V. O. (2018). "Universal Neural Machine Translation for Extremely Low Resource Languages." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 344-354, New Orleans, Louisiana. Association for Computational Linguistics.

Hardmeier, C., Nivre, J., and Tiedemann, J. (2012). "Document-Wide Decoding for PhraseBased Statistical Machine Translation." In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language
今村, 越前谷, 江原, 後藤, 須藤, 園尾，綱川，中澤，二宮，王特許機械翻訳の課題解決に向けた機械翻訳技術解説

Learning, pp. 1179-1190, Jeju Island, Korea. Association for Computational Linguistics.

Hasler, E., Blunsom, P., Koehn, P., and Haddow, B. (2014). "Dynamic Topic Adaptation for Phrase-based MT." In Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics, pp. 328-337, Gothenburg, Sweden. Association for Computational Linguistics.

Hayashi, H., Oda, Y., Birch, A., Konstas, I., Finch, A., Luong, M.-T., Neubig, G., and Sudoh, K. (2019). "Findings of the Third Workshop on Neural Generation and Translation." In Proceedings of the 3rd Workshop on Neural Generation and Translation, pp. 1-14, Hong Kong. Association for Computational Linguistics.

He, D., Xia, Y., Qin, T., Wang, L., Yu, N., Liu, T.-Y., and Ma, W.-Y. (2016). "Dual Learning for Machine Translation." In Lee, D., Sugiyama, M., Luxburg, U., Guyon, I., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems, Vol. 29. Curran Associates, Inc.

He, T., Chen, J., Tan, X., and Qin, T. (2019). "Language Graph Distillation for Low-Resource Machine Translation." arXiv preprint arXiv:1908.06258.

He, W., He, Z., Wu, H., and Wang, H. (2016). "Improved Neural Machine Translation with SMT Features." In Proceedings of the AAAI Conference on Artificial Intelligence.

Heafield, K., Hayashi, H., Oda, Y., Konstas, I., Finch, A., Neubig, G., Li, X., and Birch, A. (2020). "Findings of the Fourth Workshop on Neural Generation and Translation." In Proceedings of the 4th Workshop on Neural Generation and Translation, pp. 1-9, Online. Association for Computational Linguistics.

Hinton, G., Vinyals, O., and Dean, J. (2015). "Distilling the Knowledge in a Neural Network." arXiv preprint arXiv:1503.02531.

Hoang, H., Dwojak, T., Krislauks, R., Torregrosa, D., and Heafield, K. (2018a). "Fast Neural Machine Translation Implementation." In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 116-121, Melbourne, Australia. Association for Computational Linguistics.

Hoang, V. C. D., Koehn, P., Haffari, G., and Cohn, T. (2018b). "Iterative Back-Translation for Neural Machine Translation." In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 18-24, Melbourne, Australia. Association for Computational Linguistics.

Hochreiter, S. and Schmidhuber, J. (1997). "Long Short-Term Memory." Neural Computation, 9, pp. 1735-1780.

Hokamp, C. and Liu, Q. (2017). "Lexically Constrained Decoding for Sequence Generation

Using Grid Beam Search." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1535-1546, Vancouver, Canada. Association for Computational Linguistics.

Hu, C., Li, B., Li, Y., Lin, Y., Li, Y., Wang, C., Xiao, T., and Zhu, J. (2020). "The NiuTrans System for WNGT 2020 Efficiency Task." In Proceedings of the 4th Workshop on Neural Generation and Translation, pp. 204-210, Online. Association for Computational Linguistics.

Hu, J. E., Khayrallah, H., Culkin, R., Xia, P., Chen, T., Post, M., and Van Durme, B. (2019a). "Improved Lexically Constrained Decoding for Translation and Monolingual Rewriting." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 839-850, Minneapolis, Minnesota. Association for Computational Linguistics.

Hu, J. E., Rudinger, R., Post, M., and Van Durme, B. (2019b). "PARABANK: Monolingual Bitext Generation and Sentential Paraphrasing via Lexically-Constrained Neural Machine Translation." Proceedings of the AAAI Conference on Artificial Intelligence, 33 (01), pp. 6521-6528.

Huang, L., Zhao, K., and Ma, M. (2017). "When to Finish? Optimal Beam Search for Neural Text Generation (modulo beam size)." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2134-2139, Copenhagen, Denmark. Association for Computational Linguistics.

今村賢治 (2021). 知識蒸留によるニューラル機械翻訳の高速化検討. 言語処理学会第 27 回年次大会発表論文集, pp. 123-127, 北九州国際会議場. 付録: https://sites.google.com/site/ kenjiimamurahome/home 参照, [K. Imamura (2021). A Study of Speed-up in Neural Machine Translation Combined with Knowledge Distillation. Proceedings of the 26th Annual Meeting for the Association for Natural Language Processing, pp. 123-127. Appendix: https:// sites.google.com/site/kenjiimamurahome/home].

Imamura, K., Fujita, A., and Sumita, E. (2018). "Enhancement of Encoder and Attention Using Target Monolingual Corpora in Neural Machine Translation." In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 55-63, Melbourne, Australia. Association for Computational Linguistics.

Imamura, K. and Sumita, E. (2019). "Recycling a Pre-trained BERT Encoder for Neural Machine Translation." In Proceedings of the 3rd Workshop on Neural Generation and Translation, pp. 23-31, Hong Kong. Association for Computational Linguistics.

Imamura, K. and Sumita, E. (2020). "Transformer-based Double-token Bidirectional Autoregressive Decoding in Neural Machine Translation." In Proceedings of the 7th Workshop on Asian
今村, 越前谷, 江原, 後藤, 須藤, 園尾，綱川，中澤，二宮，王特許機械翻訳の課題解決に向けた機械翻訳技術解説

Translation, pp. 50-57, Suzhou, China. Association for Computational Linguistics.

Imamura, K. and Sumita, E. (2021). "NICT-2 Translation System at WAT-2021: Applying a Pretrained Multilingual Encoder-Decoder Model to Low-resource Language Pairs." In Proceedings of the 8th Workshop on Asian Translation (WAT2021), pp. 90-95, Online. Association for Computational Linguistics.

Imankulova, A., Dabre, R., Fujita, A., and Imamura, K. (2019). "Exploiting Out-of-Domain Parallel Data through Multilingual Transfer Learning for Low-Resource Neural Machine Translation." In Proceedings of Machine Translation Summit XVII: Research Track, pp. 128-139, Dublin, Ireland. European Association for Machine Translation.

Imankulova, A., Sato, T., and Komachi, M. (2017). "Improving Low-Resource Neural Machine Translation with Filtered Pseudo-Parallel Corpus." In Proceedings of the 4th Workshop on Asian Translation (WAT2017), pp. 70-78, Taipei, Taiwan. Asian Federation of Natural Language Processing.

Isozaki, H., Hirao, T., Duh, K., Sudoh, K., and Tsukada, H. (2010). "Automatic Evaluation of Translation Quality for Distant Language Pairs." In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 944-952, Cambridge, MA. Association for Computational Linguistics.

Jean, S., Firat, O., Cho, K., Memisevic, R., and Bengio, Y. (2015). "Montreal Neural Machine Translation Systems for WMT'15." In Proceedings of the 10th Workshop on Statistical Machine Translation, pp. 134-140, Lisbon, Portugal. Association for Computational Linguistics.

Jean, S., Lauly, S., Firat, O., and Cho, K. (2017). "Does Neural Machine Translation Benefit from Larger Context?" arXiv preprint arXiv:1704.05135.

Johnson, M., Schuster, M., Le, Q. V., Krikun, M., Wu, Y., Chen, Z., Thorat, N., Viégas, F., Wattenberg, M., Corrado, G., Hughes, M., and Dean, J. (2017). "Google's Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation." Transactions of the Association for Computational Linguistics, 5, pp. 339-351.

Junczys-Dowmunt, M., Grundkiewicz, R., Dwojak, T., Hoang, H., Heafield, K., Neckermann, T., Seide, F., Germann, U., Aji, A. F., Bogoychev, N., Martins, A. F. T., and Birch, A. (2018a). "Marian: Fast Neural Machine Translation in C++." In Proceedings of ACL 2018, System Demonstrations, pp. 116-121, Melbourne, Australia. Association for Computational Linguistics.

Junczys-Dowmunt, M., Heafield, K., Hoang, H., Grundkiewicz, R., and Aue, A. (2018b). "Marian: Cost-effective High-Quality Neural Machine Translation in C++." In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 129-135, Melbourne,

Australia. Association for Computational Linguistics.

Kalchbrenner, N. and Blunsom, P. (2013). "Recurrent Continuous Translation Models." In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1700-1709, Seattle, Washington, USA. Association for Computational Linguistics.

Kasai, J., Pappas, N., Peng, H., Cross, J., and Smith, N. A. (2021). "Deep Encoder, Shallow Decoder: Reevaluating Non-autoregressive Machine Translation." arXiv preprint arXiv:2006.10369.

Kim, Y. and Rush, A. M. (2016). "Sequence-Level Knowledge Distillation." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1317-1327, Austin, Texas. Association for Computational Linguistics.

Kim, Y. J., Junczys-Dowmunt, M., Hassan, H., Fikri Aji, A., Heafield, K., Grundkiewicz, R., and Bogoychev, N. (2019a). "From Research to Production and Back: Ludicrously Fast Neural Machine Translation." In Proceedings of the 3rd Workshop on Neural Generation and Translation, pp. 280-288, Hong Kong. Association for Computational Linguistics.

Kim, Y., Petrov, P., Petrushkov, P., Khadivi, S., and Ney, H. (2019b). "Pivot-based Transfer Learning for Neural Machine Translation between Non-English Languages." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 866-876, Hong Kong, China. Association for Computational Linguistics.

Kimura, R., Long, Z., Utsuro, T., Mitsuhashi, T., and Yamamoto, M. (2017). "Effect on Reducing Untranslated Content by Neural Machine Translation with a Large Vocabulary of Technical Terms." In Proceedings of Proceedings of the 7th Workshop on Patent and Scientific Literature Translation.

Kitaev, N., Kaiser, Ł., and Levskaya, A. (2020). "Reformer: The Efficient Transformer." arXiv preprint arXiv:2001.04451.

Klein, G., Zhang, D., Chouteau, C., Crego, J., and Senellart, J. (2020). "Efficient and HighQuality Neural Machine Translation with OpenNMT." In Proceedings of the 4th Workshop on Neural Generation and Translation, pp. 211-217, Online. Association for Computational Linguistics.

Kocmi, T. and Bojar, O. (2018). "Trivial Transfer Learning for Low-Resource Neural Machine Translation." In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 244-252, Brussels, Belgium. Association for Computational Linguistics.

Koehn, P. (2010). Statistical Machine Translation (1st edition). Cambridge University Press, USA.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constantin, A., and Herbst, E. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic. Association for Computational Linguistics.

Koehn, P. and Knowles, R. (2017). "Six Challenges for Neural Machine Translation." In Proceedings of the 1st Workshop on Neural Machine Translation, pp. 28-39, Vancouver. Association for Computational Linguistics.

Kuang, S. and Xiong, D. (2016). "Automatic Long Sentence Segmentation for Neural Machine Translation." In NLPCC/ICCPOL, pp. 162-174.

Kudo, T. (2018). "Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia. Association for Computational Linguistics.

Kudo, T. and Richardson, J. (2018). "SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium. Association for Computational Linguistics.

Kusner, M., Sun, Y., Kolkin, N., and Weinberger, K. (2015). "From Word Embeddings To Document Distances." In Bach, F. and Blei, D. (Eds.), Proceedings of the 32nd International Conference on Machine Learning, Vol. 37 of Proceedings of Machine Learning Research, pp. 957-966, Lille, France. PMLR.

Lakew, S. M., Lotito, Q. F., Negri, M., Turchi, M., and Federico, M. (2017). "Improving ZeroShot Translation of Low-Resource Languages." In Proceedings of the 14th Conference on Spoken Language Translation (IWSLT 2017), pp. 113-119. Tokyo, Japan.

Lample, G., Ott, M., Conneau, A., Denoyer, L., and Ranzato, M. (2018). "Phrase-Based \& Neural Unsupervised Machine Translation." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 5039-5049, Brussels, Belgium. Association for Computational Linguistics.

Lee, J., Mansimov, E., and Cho, K. (2018). "Deterministic Non-Autoregressive Neural Sequence Modeling by Iterative Refinement." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1173-1182, Brussels, Belgium. Association for Computational Linguistics.

Lei, T., Zhang, Y., Wang, S. I., Dai, H., and Artzi, Y. (2018). "Simple Recurrent Units for Highly Parallelizable Recurrence." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4470-4481, Brussels, Belgium. Association for Computational Linguistics.

Li, J. and Jurafsky, D. (2016). "Mutual Information and Diverse Decoding Improve Neural Machine Translation." arXiv preprint arXiv:1601.00372.

Li, X., Wang, C., Tang, Y., Tran, C., Tang, Y., Pino, J., Baevski, A., Conneau, A., and Auli, M. (2021). "Multilingual Speech Translation from Efficient Finetuning of Pretrained Models." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 827-838, Online. Association for Computational Linguistics.

Li, Y., Xiao, T., Li, Y., Wang, Q., Xu, C., and Zhu, J. (2018). "A Simple and Effective Approach to Coverage-Aware Neural Machine Translation." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 292-297, Melbourne, Australia. Association for Computational Linguistics.

Liu, Y., Gu, J., Goyal, N., Li, X., Edunov, S., Ghazvininejad, M., Lewis, M., and Zettlemoyer, L. (2020). "Multilingual Denoising Pre-training for Neural Machine Translation." Transactions of the Association for Computational Linguistics, 8, pp. 726-742.

Lommel, A., Uszkoreit, H., and Burchardt, A. (2014). "Multidimensional Quality Metrics (MQM): A Framework for Declaring and Describing Translation Quality Metrics." Revista Tradumàtica: tecnologies de la traducció, 12, pp. 455-463.

Lopes, A., Farajian, M. A., Bawden, R., Zhang, M., and Martins, A. F. T. (2020). "Documentlevel Neural MT: A Systematic Comparison." In Proceedings of the 22nd Annual Conference of the European Association for Machine Translation, pp. 225-234, Lisboa, Portugal. European Association for Machine Translation.

Luong, T., Pham, H., and Manning, C. D. (2015a). "Effective Approaches to Attention-based Neural Machine Translation." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421, Lisbon, Portugal. Association for Computational Linguistics.

Luong, T., Sutskever, I., Le, Q., Vinyals, O., and Zaremba, W. (2015b). "Addressing the Rare Word Problem in Neural Machine Translation." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 11-19, Beijing, China. Association for Computational Linguistics.

Maruf, S., Martins, A. F. T., and Haffari, G. (2019). "Selective Attention for Context-aware Neural Machine Translation." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3092-3102, Minneapolis, Minnesota. Association for Computational Linguistics.

Meng, F., Lu, Z., Li, H., and Liu, Q. (2016). "Interactive Attention for Neural Machine Translation." In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 2174-2185, Osaka, Japan. The COLING 2016 Organizing Committee.

Meng, F., Tu, Z., Cheng, Y., Wu, H., Zhai, J., Yang, Y., and Wang, D. (2018). "Neural Machine Translation with Key-Value Memory-Augmented Attention." In Proceedings of IJCAI, pp. 2574-2580.

Mi, H., Sankaran, B., Wang, Z., and Ittycheriah, A. (2016). "Coverage Embedding Models for Neural Machine Translation." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 955-960, Austin, Texas. Association for Computational Linguistics.

Micikevicius, P., Narang, S., Alben, J., Diamos, G. F., Elsen, E., García, D., Ginsburg, B., Houston, M., Kuchaiev, O., Venkatesh, G., and Wu, H. (2018). "Mixed Precision Training." In 6th International Conference on Learning Representations, ICLR 2018, Vancouver, BC, Canada, April 30-May 3, 2018, Conference Track Proceedings. OpenReview.net.

Miculicich, L., Ram, D., Pappas, N., and Henderson, J. (2018). "Document-Level Neural Machine Translation with Hierarchical Attention Networks." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2947-2954, Brussels, Belgium. Association for Computational Linguistics.

Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013). "Efficient Estimation of Word Representations in Vector Space." arXiv preprint arXiv:1301.3781.

Morin, F. and Bengio, Y. (2005). "Hierarchical Probabilistic Neural Network Language Model." In Proceedings of AISTATS 2005, pp. 246-252.

Morishita, M., Suzuki, J., Iwata, T., and Nagata, M. (2021). "Context-aware Neural Machine Translation with Mini-batch Embedding." In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 2513-2521, Online. Association for Computational Linguistics.

Mueller, A., Nicolai, G., McCarthy, A. D., Lewis, D., Wu, W., and Yarowsky, D. (2020). "An Analysis of Massively Multilingual Neural Machine Translation for Low-Resource

Languages." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 3710-3718, Marseille, France. European Language Resources Association.

Murray, K. and Chiang, D. (2018). "Correcting Length Bias in Neural Machine Translation." In Proceedings of the 3rd Conference on Machine Translation: Research Papers, pp. 212-223, Brussels, Belgium. Association for Computational Linguistics.

Murthy, R., Kunchukuttan, A., and Bhattacharyya, P. (2019). "Addressing word-order Divergence in Multilingual Neural Machine Translation for extremely Low Resource Languages." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3868-3873, Minneapolis, Minnesota. Association for Computational Linguistics.

Nakazawa, T., Mino, H., Goto, I., Neubig, G., Kurohashi, S., and Sumita, E. (2015). "Overview of the 2nd Workshop on Asian Translation." In Proceedings of the 2nd Workshop on Asian Translation (WAT2015), pp. 1-28, Kyoto, Japan. Workshop on Asian Translation.

Nakazawa, T., Nakayama, H., Ding, C., Dabre, R., Higashiyama, S., Mino, H., Goto, I., Pa Pa, W., Kunchukuttan, A., Parida, S., Bojar, O., and Kurohashi, S. (2020). "Overview of the 7th Workshop on Asian Translation." In Proceedings of the 7th Workshop on Asian Translation, pp. 1-44, Suzhou, China. Association for Computational Linguistics.

Nakazawa, T., Nakayama, H., Goto, I., Mino, H., Ding, C., Dabre, R., Kunchukuttan, A., Higashiyama, S., Manabe, H., Pa, W. P., Parida, S., Bojar, O., Chu, C., Eriguchi, A., Abe, K., Oda, Y., Sudoh, K., Kurohashi, S., and Bhattacharyya, P. (Eds.) (2021). Proceedings of the 8th Workshop on Asian Translation (WAT2021), Online. Association for Computational Linguistics.

Nakazawa, T., Yaguchi, M., Uchimoto, K., Utiyama, M., Sumita, E., Kurohashi, S., and Isahara, H. (2016). "ASPEC: Asian Scientific Paper Excerpt Corpus." In Chair), N. C. C., Choukri, K., Declerck, T., Grobelnik, M., Maegaard, B., Mariani, J., Moreno, A., Odijk, J., and Piperidis, S. (Eds.), Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia. European Language Resources Association (ELRA).

Neishi, M. and Yoshinaga, N. (2019). "On the Relation between Position Information and Sentence Length in Neural Machine Translation." In Proceedings of the 23rd Conference on Computational Natural Language Learning (CoNLL), pp. 328-338, Hong Kong, China. Association for Computational Linguistics.

Nguyen, T. and Chiang, D. (2018). "Improving Lexical Choice in Neural Machine Translation." In Proceedings of the 2018 Conference of the North American Chapter of the Association
今村，越前谷，江原，後藤，須藤，園尾，綱川，中澤，二宮，王特許機械翻訳の課題解決に向けた機械翻訳技術解説

for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 334-343, New Orleans, Louisiana. Association for Computational Linguistics.

Nguyen, T. Q. and Chiang, D. (2017). "Transfer Learning across Low-Resource, Related Languages for Neural Machine Translation." In Proceedings of the 8th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 296-301, Taipei, Taiwan. Asian Federation of Natural Language Processing.

Nguyen Le, A., Martinez, A., Yoshimoto, A., and Matsumoto, Y. (2017). "Improving Sequence to Sequence Neural Machine Translation by Utilizing Syntactic Dependency Information." In Proceedings of the 8th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 21-29, Taipei, Taiwan. Asian Federation of Natural Language Processing.

日本翻訳連盟 (2018). JTF 翻訳品質評価ガイドライン第 1 版. 一般社団法人日本翻訳連盟. https://www.jtf.jp/pdf/jtf_translation_quality_guidelines_v1.pdf, [Japan Translation Federation (2018). Translation Quality Guideline v1. Japan Translation Federation. https://www.jtf.jp/pdf/jtf_translation_quality_guidelines_v1.pdf].

Niu, X., Xu, W., and Carpuat, M. (2019). "Bi-Directional Differentiable Input Reconstruction for Low-Resource Neural Machine Translation." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 442-448, Minneapolis, Minnesota. Association for Computational Linguistics.

Och, F. J. (2005). "Statistical Machine Translation: Foundations and Recent Advances." Tutorial at MT Summit 2005. https://aclanthology .org/attachments/2005.mtsummittutorials.1.Presentation.pdf.

Oka, Y., Chousa, K., Sudoh, K., and Nakamura, S. (2020). "Incorporating Noisy Length Constraints into Transformer with Length-aware Positional Encodings." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3580-3585, Barcelona, Spain (Online). International Committee on Computational Linguistics.

Okuma, H., Yamamoto, H., and Sumita, E. (2007). "Introducing Translation Dictionary into Phrase-based SMT." In Proceedings of Machine Translation Summit XI: Papers, Copenhagen, Denmark.

Ortega, J., Ojha, A. K., Kann, K., and Liu, C.-H. (Eds.) (2021). Proceedings of the 4 th Workshop on Technologies for MT of Low Resource Languages (LoResMT2021), Virtual. Association for Machine Translation in the Americas.

Ott, M., Edunov, S., Grangier, D., and Auli, M. (2018). "Scaling Neural Machine Translation."

In Proceedings of the 3rd Conference on Machine Translation: Research Papers, pp. 1-9, Brussels, Belgium. Association for Computational Linguistics.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "Bleu: A Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA. Association for Computational Linguistics.

Poncelas, A., Shterionov, D., Way, A., de Buy Wenniger, G. M., and Passban, P. (2018). "Investigating Backtranslation in Neural Machine Translation." In Proceedings of the 21st Annual Conference of the European Association for Machine Translation, pp. 249-258.

Popović, M. (2015). "chrF: Character n-gram F-score for Automatic MT Evaluation." In Proceedings of the 10th Workshop on Statistical Machine Translation, pp. 392-395, Lisbon, Portugal. Association for Computational Linguistics.

Popović, M. (2017). "chrF++: Words Helping Character n-grams." In Proceedings of the 2nd Conference on Machine Translation, pp. 612-618, Copenhagen, Denmark. Association for Computational Linguistics.

Post, M. and Vilar, D. (2018). "Fast Lexically Constrained Decoding with Dynamic Beam Allocation for Neural Machine Translation." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1314-1324, New Orleans, Louisiana. Association for Computational Linguistics.

Pouget-Abadie, J., Bahdanau, D., van Merriënboer, B., Cho, K., and Bengio, Y. (2014). "Overcoming the Curse of Sentence Length for Neural Machine Translation using Automatic Segmentation." In Proceedings of SSST-8, 8th Workshop on Syntax, Semantics and Structure in Statistical Translation, pp. 78-85, Doha, Qatar. Association for Computational Linguistics.

Rei, R., Stewart, C., Farinha, A. C., and Lavie, A. (2020). "COMET: A Neural Framework for MT Evaluation." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2685-2702, Online. Association for Computational Linguistics.

Sachan, D. and Neubig, G. (2018). "Parameter Sharing Methods for Multilingual Self-Attentional Translation Models." In Proceedings of the 3rd Conference on Machine Translation: Research Papers, pp. 261-271, Brussels, Belgium. Association for Computational Linguistics.

Schuster, M. and Nakajima, K. (2012). "Japanese and Korean Voice Search." In ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 5149-5152.

Sellam, T., Pu, A., Chung, H. W., Gehrmann, S., Tan, Q., Freitag, M., Das, D., and Parikh,
今村, 越前谷, 江原, 後藤, 須藤, 園尾，綱川，中澤，二宮，王特許機械翻訳の課題解決に向けた機械翻訳技術解説

A. (2020). "Learning to Evaluate Translation Beyond English: BLEURT Submissions to the WMT Metrics 2020 Shared Task." In Proceedings of the 5th Conference on Machine Translation, pp. 921-927, Online. Association for Computational Linguistics.

Senellart, J., Zhang, D., Wang, B., Klein, G., Ramatchandirin, J.-P., Crego, J., and Rush, A. (2018). "OpenNMT System Description for WNMT 2018: 800 words/sec on a single-core CPU." In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 122-128, Melbourne, Australia. Association for Computational Linguistics.

Sennrich, R. and Haddow, B. (2016). "Linguistic Input Features Improve Neural Machine Translation." In Proceedings of the 1st Conference on Machine Translation: Volume 1, Research Papers, pp. 83-91, Berlin, Germany. Association for Computational Linguistics.

Sennrich, R., Haddow, B., and Birch, A. (2016a). "Improving Neural Machine Translation Models with Monolingual Data." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, Berlin, Germany. Association for Computational Linguistics.

Sennrich, R., Haddow, B., and Birch, A. (2016b). "Neural Machine Translation of Rare Words with Subword Units." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany. Association for Computational Linguistics.

Sennrich, R. and Zhang, B. (2019). "Revisiting Low-Resource Neural Machine Translation: A Case Study." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 211-221, Florence, Italy. Association for Computational Linguistics.

Shaw, P., Uszkoreit, J., and Vaswani, A. (2018). "Self-Attention with Relative Position Representations." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 464-468, New Orleans, Louisiana. Association for Computational Linguistics.

Shi, X. and Knight, K. (2017). "Speeding Up Neural Machine Translation Decoding by Shrinking Run-time Vocabulary." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 574-579, Vancouver, Canada. Association for Computational Linguistics.

Shi, X., Knight, K., and Yuret, D. (2016). "Why Neural Translations are the Right Length." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2278-2282, Austin, Texas. Association for Computational Linguistics.

Shimanaka, H., Kajiwara, T., and Komachi, M. (2018). "RUSE: Regressor Using Sentence Embeddings for Automatic Machine Translation Evaluation." In Proceedings of the 3rd

Conference on Machine Translation: Shared Task Papers, pp. 751-758, Belgium, Brussels. Association for Computational Linguistics.

嶋中宏希, 梶原智之，小町守 (2019). 事前学習された文の分散表現を用いた機械翻訳の自動評価.自然言語処理, 26 (3), pp. 613-634. [H. Shimanaka et al. (2019). Metric for Automatic Machine Translation Evaluation based on Pre-trained Sentence Embeddings. Journal of Natural Language Processing, 26 (3), pp. 613-634.].

Shirai, K., Hashimoto, K., Eriguchi, A., Ninomiya, T., and Mori, S. (2021). "Neural Text Generation with Artificial Negative Examples to Address Repeating and Dropping Errors." Journal of Natural Language Processing, 28 (3), pp. 751-777.

Snover, M., Dorr, B., Schwartz, R., Micciulla, L., and Makhoul, J. (2006). "A Study of Translation Edit Rate with Targeted Human Annotation." In Proceedings of the 7th Conference of the Association for Machine Translation in the Americas: Technical Papers, pp. 223-231, Cambridge, Massachusetts, USA. Association for Machine Translation in the Americas.

Song, H., Dabre, R., Mao, Z., Cheng, F., Kurohashi, S., and Sumita, E. (2020). "Pre-training via Leveraging Assisting Languages for Neural Machine Translation." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 279-285, Online. Association for Computational Linguistics.

Song, K., Zhang, Y., Yu, H., Luo, W., Wang, K., and Zhang, M. (2019). "Code-Switching for Enhancing NMT with Pre-Specified Translation." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 449-459, Minneapolis, Minnesota. Association for Computational Linguistics.

Sudoh, K., Duh, K., Tsukada, H., Hirao, T., and Nagata, M. (2010). "Divide and Translate: Improving Long Distance Reordering in Statistical Machine Translation." In Proceedings of the Joint 5th Workshop on Statistical Machine Translation and MetricsMATR, pp. 418-427, Uppsala, Sweden. Association for Computational Linguistics.

Susanto, R. H., Wang, D., Yadav, S., Jain, M., and Htun, O. (2021). "Rakuten's Participation in WAT 2021: Examining the Effectiveness of Pre-trained Models for Multilingual and Multimodal Machine Translation." In Proceedings of the 8th Workshop on Asian Translation (WAT2021), pp. 96-105, Online. Association for Computational Linguistics.

Sutskever, I., Vinyals, O., and Le, Q. V. (2014). "Sequence to Sequence Learning with Neural Networks." In Proceedings of Advances in Neural Information Processing Systems 27 (NIPS 2014), pp. 3104-3112.

Suzuki, J. and Nagata, M. (2017). "Cutting-off Redundant Repeating Generations for Neural
今村, 越前谷, 江原, 後藤, 須藤, 園尾，綱川，中澤，二宮，王特許機械翻訳の課題解決に向けた機械翻訳技術解説

Abstractive Summarization." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 291-297, Valencia, Spain. Association for Computational Linguistics.

Takahashi, K., Sudoh, K., and Nakamura, S. (2022). "Automatic Machine Translation Evaluation using a Source and Reference Sentence with a Cross-lingual Language Model." Journal of Natural Language Processing, 29 (1), pp. 3-22.

Takase, S. and Okazaki, N. (2019). "Positional Encoding to Control Output Sequence Length." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3999-4004, Minneapolis, Minnesota. Association for Computational Linguistics.

Tan, L., van Genabith, J., and Bond, F. (2015). "Passive and Pervasive Use of Bilingual Dictionary in Statistical Machine Translation." In Proceedings of the 4th Workshop on Hybrid Approaches to Translation (HyTra), pp. 30-34, Beijing. Association for Computational Linguistics.

Tan, X., Chen, J., He, D., Xia, Y., Qin, T., and Liu, T.-Y. (2019). "Multilingual Neural Machine Translation with Language Clustering." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 963-973, Hong Kong, China. Association for Computational Linguistics.

Tiedemann, J. and Scherrer, Y. (2017). "Neural Machine Translation with Extended Context." In Proceedings of the 3rd Workshop on Discourse in Machine Translation, pp. 82-92, Copenhagen, Denmark. Association for Computational Linguistics.

Tien, H. N. and Thi Minh, H. N. (2019). "Long Sentence Preprocessing in Neural Machine Translation." In 2019 IEEE-RIVF International Conference on Computing and Communication Technologies (RIVF), pp. 1-6.

Tillmann, C., Vogel, S., Ney, H., Zubiaga, A., and Sawaf, H. (1997). "Accelerated DP Based Search for Statistical Translation." In Proceedings of the 5th European Conference on Speech Communication and Technology (Eurospeech 1997), pp. 2667-2670.

特許庁 (2014). 特許文献機械翻訳の品質評価手順 Ver 1.0. 特許庁情報技術統括室. https://www.jpo.go.jp/system/laws/sesaku/kikaihonyaku/document/tokkyohonyaku_ hyouka/01.pdf, [Japanese Patent Office (2014). Tokkyo Bunken Kikaihonyaku no Hinshitsu Hyoka Tejun Ver 1.0. Joho Kikaku Tokatsu Shitsu, Japanese Patent Office. https://www.jpo.go.jp/system/laws/sesaku/kikaihonyaku/document/ tokkyohonyaku_hyouka/01.pdf].

Trieu, H. L., Tran, D.-V., and Nguyen, L. M. (2017). "Investigating Phrase-Based and NeuralBased Machine Translation on Low-Resource Settings." In Proceedings of the 31st Pacific Asia Conference on Language, Information and Computation, pp. 384-391. The National University (Phillippines).

Tu, Z., Liu, Y., Shang, L., Liu, X., and Li, H. (2017). "Neural Machine Translation with Reconstruction." In Proceedings of AAAI Conference on Artificial Intelligence, pp. 3097-3103.

Tu, Z., Liu, Y., Shi, S., and Zhang, T. (2018). "Learning to Remember Translation History with a Continuous Cache." Transactions of the Association for Computational Linguistics, 6, pp. 407-420.

Tu, Z., Lu, Z., Liu, Y., Liu, X., and Li, H. (2016). "Modeling Coverage for Neural Machine Translation." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 76-85, Berlin, Germany. Association for Computational Linguistics.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., and Polosukhin, I. (2017). "Attention Is All You Need." arXiv preprint arXiv:1706.03762.

Voita, E., Serdyukov, P., Sennrich, R., and Titov, I. (2018). "Context-Aware Neural Machine Translation Learns Anaphora Resolution." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1264-1274, Melbourne, Australia. Association for Computational Linguistics.

Wang, S. and Kanwar, P. (2019). "BFloat16: The Secret to High Performance on Cloud TPUs." https://cloud.google.com/blog/products/ai-machine-learning/ bfloat16-the-secret-to-high-performance-on-cloud-tpus, Published: 2019-08-24.

Wang, S., Li, B. Z., Khabsa, M., Fang, H., and Ma, H. (2020). "Linformer: Self-Attention with Linear Complexity." arXiv preprint arXiv:2006.04768.

White, J. S., O'Connell, T. A., and O'Mara, F. E. (1994). "The ARPA MT Evaluation Methodologies: Evolution, Lessons, and Future Approaches." In Proceedings of the 1st Conference of the Association for Machine Translation in the Americas, pp. 193-205, Columbia, Maryland, USA.

Wu, Y., Schuster, M., Chen, Z., Le, Q. V., Norouzi, M., Macherey, W., Krikun, M., Cao, Y., et al. (2016). "Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation." arXiv preprint arXiv:1609.08144.

Xia, M., Kong, X., Anastasopoulos, A., and Neubig, G. (2019). "Generalized Data Augmentation for Low-Resource Translation." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5786-5796, Florence, Italy. Association for

Computational Linguistics.

Xiao, X., Xiong, D., Zhang, M., Liu, Q., and Lin, S. (2012). "A Topic Similarity Model for Hierarchical Phrase-based Translation." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 750-758, Jeju Island, Korea. Association for Computational Linguistics.

Xu, J., Zhou, H., Gan, C., Zheng, Z., and Li, L. (2021). "Vocabulary Learning via Optimal Transport for Neural Machine Translation." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 7361-7373, Online. Association for Computational Linguistics.

山本ゆうじ (2019). シンプルな用語集形式 UTX一—ニューラル機械翻訳時代の用語管理の意義. 情報の科学と技術, 69 (9), pp. 415-420. [Y. Yamamoto (2019). UTX, a Simple Glossary Format-The Importance of Term Management in the Era of Neural Machine Translation. The Journal of Information Science and Technology Association, 69 (9), pp. 415-420.].

Yang, Y., Huang, L., and Ma, M. (2018). "Breaking the Beam Search Curse: A Study of (Re)Scoring Methods and Stopping Criteria for Neural Machine Translation." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 3054-3059, Brussels, Belgium. Association for Computational Linguistics.

Yang, Z., Gao, Y., Wang, W., and Ney, H. (2020). "Predicting and Using Target Length in Neural Machine Translation." In Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing, pp. 389-395, Suzhou, China. Association for Computational Linguistics.

Zhang, B., Xiong, D., and Su, J. (2018a). "Accelerating Neural Transformer via an Average Attention Network." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1789-1798, Melbourne, Australia. Association for Computational Linguistics.

Zhang, J., Luan, H., Sun, M., Zhai, F., Xu, J., Zhang, M., and Liu, Y. (2018b). "Improving the Transformer Translation Model with Document-Level Context." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 533-542, Brussels, Belgium. Association for Computational Linguistics.

Zhang, T., Kishore, V., Wu, F., Weinberger, K. Q., and Artzi, Y. (2020). "BERTScore: Evaluating Text Generation with BERT." In International Conference on Learning Representations.

Zhao, W., Peyrard, M., Liu, F., Gao, Y., Meyer, C. M., and Eger, S. (2019a). "MoverScore: Text

Generation Evaluating with Contextualized Embeddings and Earth Mover Distance." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 563-578, Hong Kong, China. Association for Computational Linguistics.

Zhao, Y., Zhang, J., Zong, C., He, Z., and Wu, H. (2019b). "Addressing the Under-Translation Problem from the Entropy Perspective." In Proceedings of the AAAI Conference on Artificial Intelligence, pp. 451-458.

Zheng, Z., Huang, S., Tu, Z., Dai, X.-Y., and Chen, J. (2019). "Dynamic Past and Future for Neural Machine Translation." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 931-941, Hong Kong, China. Association for Computational Linguistics.

Zheng, Z., Zhou, H., Huang, S., Mou, L., Dai, X., Chen, J., and Tu, Z. (2018). "Modeling Past and Future for Neural Machine Translation." Transactions of the Association for Computational Linguistics, 6, pp. 145-157.

Zhou, C., Ma, X., Hu, J., and Neubig, G. (2019a). "Handling Syntactic Divergence in Lowresource Machine Translation." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 1388-1394, Hong Kong, China. Association for Computational Linguistics.

Zhou, L., Zhang, J., Zong, C., and Yu, H. (2019b). "Sequence Generation: From Both Sides to the Middle." In Proceedings of the 28th International Joint Conference on Artificial Intelligence, IJCAI-19, pp. 5471-5477. International Joint Conferences on Artificial Intelligence Organization.

Zhu, J., Xia, Y., Wu, L., He, D., Qin, T., Zhou, W., Li, H., and Liu, T. (2020). "Incorporating BERT into Neural Machine Translation." In International Conference on Learning Representations.

Zoph, B., Yuret, D., May, J., and Knight, K. (2016). "Transfer Learning for Low-Resource Neural Machine Translation." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1568-1575, Austin, Texas. Association for Computational Linguistics.

## 略歴

今村賢治：国立研究開発法人情報通信研究機構主任研究員, および株式会社

ATR-Trek. 奈良先端科学技術大学院大学博士（工学）２２015 年より AAMT/ Japio 特許翻訳研究会委員.

越前谷博: 北海学園大学大学院工学研究科教授. 北海道大学博士 (工学). 2008 年よりAAMT/Japio 特許翻訳研究会委員.

江原暉将: 江原自然言語処理研究室代表. 東京工業大学博士 (工学). 2003 年より AAMT/Japio 特許翻訳研究会委員.

後藤功雄 : NHK 放送技術研究所主任研究員. 京都大学博士 (情報学). 2012 年よりAAMT/Japio 特許翻訳研究会委員.

須藤克仁: 奈良先端科学技術大学院大学准教授. 京都大学博士 (情報学). 2012 年より AAMT/Japio 特許翻訳研究会委員, 2016 年より同副委員長.

園尾聡：東芝デジタルソリューションズ株式会社参事．九州工業大学博士 (工学). 2014 年より AAMT/Japio 特許翻訳研究会オブザーバー.

綱川隆司: 静岡大学学術院情報学領域講師. 東京大学博士 (情報理工学). 2004 年より AAMT/Japio 特許翻訳研究会オブザーバー, 2009 年より同委員. 2022 年より同副委員長.

中澤敏明: 東京大学大学院情報理工学系研究科特任研究員. 京都大学博士 (情報学)。2016 年より AAMT/Japio 特許翻訳研究会委員.

二宮崇: 愛媛大学大学院理工学研究科教授. 東京大学博士 (理学). 2008 年よりAAMT/Japio 特許翻訳研究会委員.

王向莉：株式会社ディープランゲージ Founder. 新潟大学博士 (工学). 2009 ２011 年 AAMT/Japio 特許翻訳研究会委員. 2011 年より AAMT/Japio 特許翻訳研究会オブザーバー.

$(2022$ 年 5 月 2 日 $\quad$ 受付 $)$
$(2022$ 年 6 月 20 日 $\quad$ 採録)