# 目的言語文の固有表現タグ付与に基づく Transformer ニューラル機械翻訳

南端 尚樹，
田村 晃裕,
同志社大学 理工学部
\{cguc1041@mail4, aktamura@mail, tsukato@mail\}.doshisha.ac.jp

## 概要

本研究では，目的言語文の固有表現（NE）をタグ の付与により考慮する Transformer に基づくニュー ラル機械翻訳（NMT）モデルを提案する．目的言語文の NEを考慮する従来の NMT は，原言語と目的言語間で対応付いた $\mathrm{NE}$ 部分を，NE の種類を表す 記号に置き換えて翻訳を行う。そのため，原言語側 と対応付かない目的言語文の NE は考慮できない。 また，NE の構成単語を原言語文の翻訳で考慮でき ない. そこで本研究では, 目的言語文内の $\mathrm{NE}$ の前後に NE の種類と開始/終了情報を含むタグを追加 して翻訳を行う，Transformer NMT モデルを提案す る. WMT2014 の英語とドイツ語間のニュース翻訳 タスクにおいて提案モデルを評価した結果，目的言語文の NE を考慮しないべースラインの NMT に比 べて，英独翻訳では最大 0.09 ポイント，独英翻訳で は最大 0.35 ポイント BLUEが向上した.

## 1 はじめに

NLP では古くから機械翻訳の研究が行われてお り，近年では，NMT の研究が盛んである。NMT の 性能改善を目指す研究の流れの一つとして, 原言語文や目的言語文中の単語の品詞や文構造といった 言語学的素性を活用する試みが行われている。 その 中で，言語学的素性として，人名や地名，組織名と いった特定の表現を表す NE に着目し，NEを活用 するNMT の研究が行われている $[2,3,4,9]$.

$\mathrm{NE}$ を活用する従来の NMT モデルのほとんどは，原言語文に対する NEの認識（NER）結果を用いる. $\mathrm{NE}$ には複合語が多く存在するため, 原言語文の $\mathrm{NE}$情報を NMT に与えることで原言語文中の単語の チャンク情報を翻訳時に活用できる。 また，多義語 に対する NER は翻訳時の語義曖昧性を減らす効果 があるという報告もある [9]. しかし，これらの従来モデルは目的言語文の NE を活用していない.

目的言語文の NE を考慮する NMT モデルは， $\mathrm{Li}$ ら [2]により提案されている. この従来モデルは，原言語文と目的言語文の双方で NER を行い，原言語と目的言語間で対応付いた $\mathrm{NE}$ 部分を，その $\mathrm{NE}$ の種類を表す記号 $(\mathrm{NE} \text { 種別記号 })^{1)}$ で置き換えた文 をNMT で翻訳する。そのため，原言語文と目的言語文の両方の $\mathrm{NE}$ タガーが必要である. そして，原言語と目的言語間で対応付いた NEしか活用できな いため，原言語側と種類や粒度が異なる目的言語文 の $\mathrm{NE}$ の情報は失われる。また， $\mathrm{NE}$ 部分は記号に 置き換わってしまうため, NE の構成単語を考慮し て原言語文を翻訳できない。

そこで本研究では，目的言語文中の $\mathrm{NE}$ の前後に， NE の種類と開始／終了情報を含むタグを付与して 翻訳を行う，Transformer NMT モデルを提案する。提案モデルでは，原言語と目的言語間で NER 結果 の対応付けを行わずに，目的言語の NER の結果に のみ基づいて目的言語文の NE を活用する。そのた め，原言語と目的言語で $\mathrm{NE}$ の種類や粒度が異なっ ていても，NER で認識された全ての NEを考慮でき る. さらに，提案モデルでは目的言語文内の単語を 削除しないため，NE の構成単語を考慮した翻訳が 可能である.

WMT2014 の英語とドイツ語間のニュース翻訳タ スクにおいて提案モデルを評価した結果，目的言語文の NE を考慮しないべースライン NMT に比べて，英独翻訳では最大 0.09 ポイント，独英翻訳では最大 0.35 ポイント BLUE が向上した.

## 2 従来モデル

本節では，目的言語文の $\mathrm{NE}$ 考慮する従来の NMT モデル [2]を説明する。従来モデルは，原言語

1）数値・時間表現を表す「 $\mathrm{N} / \mathrm{T}\lrcorner$ ，地名を表す「 $\mathrm{LOC}\lrcorner ， 人$ 名を 表す「PER」の 3 種類の NE 種別記号を使用している.

と目的言語間で対応付いた NEを NE 種別記号で置 き換えた文を翻訳する文翻訳機と，NEを独立に翻訳する $\mathrm{NE}$ 翻訳機で構成される。文翻訳機と $\mathrm{NE}$ 翻訳機は，それぞれ，単語レベルと文字レベルの RNN に基づくNMT[1]を用いている.

学習時には，教師データである対訳文の原言語文及び目的言語文に対して NERを行い，認識された $\mathrm{NE}$ 原言語と目的言語間で自動で対応付ける. そ して，対応付いた NEを $\mathrm{NE}$ 種別記号で置き換えた 対訳文を文翻訳機の教師データ，対応付いた NE の 対を $\mathrm{NE}$ 翻訳機の教師データとして使用する.

推論時には，原言語文に対して NERを行い，認識された NEを NE 種別記号に置き換えた文を文翻訳機で翻訳する。また，認識された $\mathrm{NE}$ を $\mathrm{NE}$ 翻訳 で翻訳する. そして, 文翻訳機の結果と $\mathrm{NE}$ 翻訳機 の結果を統合することで目的言語文を生成する.

この従来モデルには大きく 2 つ問題点がある. 1 つ目は，考慮できる NEが限られることである。従来モデルは，原言語と目的言語間で対応付いた $\mathrm{NE}$ しか活用できないため，原言語側と種類や粒度 が異なる目的言語文の NE の情報は失われてしま う.また，原言語の NE タガーが用意できない場合，目的言語の NE タガーが用意できたとしても目的言語の NE を活用することはできない。2つ目は，NE 部分を NE 種別記号に置き換えてしまうため，文翻訳機では NE の構成単語を考慮した翻訳を行えない ことである. 翻訳する際の手がかりから $\mathrm{NE}$ の構成単語の情報が失われるので，特に NE を正しく認識 できなかった場合， $\mathrm{NE}$ 種別記号に置き換えること で翻訳性能が悪化する可能性がある。

## 3 提案モデル

本研究では，目的言語文中の $\mathrm{NE}$ の前後に，NE の 種類と開始／終了情報を含む NE タグを付与して翻訳を行う，Transformer NMT モデルを提案する。図 1 亿提案モデルの概要を示す.

提案モデルでは，学習時に，教師データである対訳文の目的言語文に対して NER を行い，目的言語文内の $\mathrm{NE}$ を特定する. そして, 特定した $\mathrm{NE}$ の前 に「<NE 種別>」，後に「</NE 種別>」という $\mathrm{NE}$ タ グを付与する. 図 1 では, 「Patric Fresacher」という $\mathrm{NE}$ の前後に，種別が人名である $\mathrm{NE}$ の開始と終了を 表す「<PER>」と「</PER>」がそれぞれ付与されて いる.この NE タグを付与した目的言語文を用いて Transformer NMT[10] を学習する。 推論時は, 学習し

## 学習時

However, Director Patrick

Fresacher seems to have little trust in the text.
Dabei scheint Regisseur Patrick Fresacher dem Text wenig zu vertrauen

Dabei scheint Regisseur <PER> Patrick Fresacher $\langle/ P E R>$ dem Text wenig zu vertrauen

Transformer

## 推論時

図 1 提案モデルの概要図

た Transformer NMT で原言語文を翻訳する。その結果，生成された文に NE タグが含まれている場合は， NE タグを削除した文を目的言語文として出力する。

提案モデルで原言語側の $\mathrm{NE}$ を活用する際は，学習時に，対訳文中の原言語文にも目的言語文と同様 に NE タグを付与し，原言語文と目的言語文共に NE タグが付与された対訳文対から Transformer NMT を 学習する。推論時には，原言語文に対して NERを 行い NE タグを付与してから，学習した Transformer NMT で翻訳を行う。そして，生成した文に NE タグ が含まれている場合には，NE タグを削除した文を 目的言語文とする.

このように，提案モデルでは原言語の NER に依 らず，目的言語のNER で識別された全てのNEを考慮できる。また提案モデルでは，元々の目的言語文 の情報に NE の情報が追加される（NE の構成単語 の情報が失わない）ため，NER の認識誤りによる悪影響を抑えることができると考えられる。

## 4 実験

## 4.1 実験設定

本実験では，提案モデルの有効性を WMT2014 の 英語とドイツ語間のニュース翻訳タスク2)において

表 1 教師データ中の NE の統計量

} & $27.06 \%$ & $34.80 \%$ \\

検証する。提案モデルのベースとする Transformer NMT は，Fairseq[6] の Transformer Base を使用した. この $\mathrm{NE}$ を考慮しないベースモデルと，ベースモデ ルで原言語のNEのみを考慮するモデル，目的言語の $\mathrm{NE}$ みを考慮するモデル，原言語と目的言語の両言語の $\mathrm{NE}$ 考慮するモデルの 4 つのモデ ルの性能を評価し，比較する。翻訳性能の評価指標は BLEU（\%）を用いる。ハイパーパラメータは Vaswani ら [10] の設定に従った. 英語文とドイツ語文は BPE でサブワード分割した。語彙は両言語で 共有し語彙サイズは 40,000 とした。また学習は，開発データに対する性能が 5 エポック連続で向上しな くなったら終了させた.

NE タガーは Stanza[7] を使用した. 英語の NER モ デルは CoNLL-2003 のデータから学習したモデル， ドイツ語の NER モデルは GermEval 2014 のデータか ら学習したモデルを使用した. 各モデルが認識する $\mathrm{NE}$ は，「LOC（地名全般）」，「ORG（企業，団体，組織など)」，「PER（架空の人物も含む人名）」，「MISC （その他の固有表現）」の 4 種類である. 表 1 に，本実験で使用する教師データにおいて NE タガーで認識された NE の統計量を示す。表 1 より，認識した NE の数は英語の方がドイツ語よりも多いことが分 かる.

## 4.2 実験結果

実験結果を表 2 に示す。表 2 より，英独翻訳と独英翻訳の両方で，NE を考慮しないモデルと原言語文の $\mathrm{NE}$ のみを考慮するモデルのどちらに対して も，目的言語文の NE を考慮することで BLEU が改善できることが分かった. また，原言語と目的言語 の両言語の NE を考慮したモデルの方が，目的言語 の NE のみを考慮したモデルよりも BLEU が高く なった。この結果から，目的言語の NE の情報と原表 2 英独 / 独英翻訳性能

表 $3 \mathrm{NE}$ の有無別翻訳性能

言語の NE の情報を組み合わせることで翻訳性能を より改善できることが分かった。

## 5 考察

## 5.1 評価データでの NE の有無による違い

評価データの参照文に対して NER を行い，評価 データを NE を含む文と含まない文に分け，それぞ れに対する翻訳性能を調べた。結果を表 3 に示す。

評価の結果，NEを含まない文に対しては，目的言語の $\mathrm{NE}$ 考慮することにより，独英翻訳では BLEU は改善したが英独翻訳では BLEU は低下し た. 一方，NEを含む文に対しては，英独翻訳と独英翻訳の両方で，提案モデルはベースラインモデル と同等もしくは高い BLEU となった.このことか ら，提案モデルは狙い通り NE を含む文に対して有効であることが確認できた．しかし一方で，NEを 含まない文に対しては悪影響を及ぼす場合があるこ とが分かった。

## 5.2 NE の再現率

NE に対する翻訳性能を調べるために，各モデル が生成した目的言語文に対して，参照文で出現して
表 4 NE の再現率

表 5 英語 NE タガーとして OntoNotes モデル使用時の独英翻訳性能

いる NE の再現率を調査した．再現率を計算する際 は，参照文の NE の文字列がモデルの出力文に含ま れている場合に再現できたとみなした. 結果を表 4 に示す. 表 4 では, $\mathrm{NE}$ を構成するサブワード数毎 の再現率も示す.

表 4 より，NE 全体の再現率について，英独翻訳 においては目的言語文の NEを考慮することで再現率が改善したことが分かる。一方，独英翻訳におい ては，原言語文の $\mathrm{NE}$ のみを考慮したモデルと比較 すると目的言語文の NEを考慮することで再現率が 低下した. NE を構成するサブワード数毎の再現率 をみると，1 つのサブワードで構成される NE に関 しては，全ての設定で，目的言語の $\mathrm{NE}$ を活用する ことにより再現率が同等あるいは改善している. そ して，構成するサブワード数が増えるほど再現率自体が低下し，また，目的言語の $\mathrm{NE}$ を考慮すること で悪化しやすくなる傾向があった. これらのことか ら，提案モデルは，一つのサブワードで構成される $\mathrm{NE}$ の翻訳には有効であることが確認できた。

## 5.3 使用する NER モデルの影響

本節では，提案モデルの有効性が，使用する $\mathrm{NE}$ タガーによりどのように変化するかを考察する。具体的には, 英語の NE タガーとして, OntoNotes コーパスから学習した Stanza の NER モデルを使用した際の提案モデルの独英翻訳性能を評価す る. OntoNotes モデルは, CoNLL03 モデルが認識 する「LOC $\lrcorner, 「 \mathrm{ORG}\lrcorner ， 「 \mathrm{PER}\lrcorner$ に加えて，数を表す 「CARDINAL」や日付表現を表す「DATE」など，合計 18 種類の $\mathrm{NE}$ を認識する. 本実験の教師デー タに対して認識された $\mathrm{NE}$ 部分の総サブワード数 は 14,310,222, NE を含む文数は 2,532,606であり, CoNLL03 モデルと比較して認識された NE の割合は 大きくなった.

評価結果を表 5 に示す. 表 5 より，英語の $\mathrm{NE}$ タ ガーとして OntoNotes モデルを使用した場合でも，目的言語文の $\mathrm{NE}$ 考慮する有効性を確認できた。 このことから，提案モデルは NER で使用する NE の種類によらず，翻訳性能の改善に効果があるこ とが分かった. ただし, OntoNotes モデルに変更す ることで認識された $\mathrm{NE}$ の割合は増えたにもかか わらず，原言語の $\mathrm{NE}$ 考慮した場合においては CoNLL03 モデルを使用した場合の方が有効であっ た. 使用する $\mathrm{NE}$ タガーと提案モデルの有効性の関係に関するより詳細な調査は今後行っていきたい.

## 6 おわりに

本研究では，目的言語文の NE の情報をタグの付与により考慮する Transformer に基づく NMT モデル を提案した．WMT2014 の英独／独英ニュース翻訳 タスクにおいて，提案モデルにより翻訳性能が改善 できることを確認した．また，実験結果を分析する ことで，提案モデルは，一つのサブワードで構成さ れる $\mathrm{NE}$ の翻訳に有効であることを確認した. 今後 は複数のサブワードで構成される NE に対しても有効なモデルに改良していきたい.

## 参考文献

[1] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. In Proceedings of the 3rd International Conference on Learning Representations, 2015.

[2] Xiaoqing Li, Jinghui Yan, Jiajun Zhang, and Chengqing Zong. Neural name translation improves neural machine translation. In Proceedings of the 14th China Workshop on Machine Translation, pp. 93-100. Springer, 2018.

[3] Zhongwei Li, Xuancong Wang, Ai Ti Aw, Eng Siong Chng, and Haizhou Li. Named-entity tagging and domain adaptation for better customized translation. In Proceedings of the Seventh Named Entities Workshop, pp. 41-46, 2018.

[4] Maciej Modrzejewski, Miriam Exel, Bianka Buschbeck, Thanh-Le Ha, and Alexander Waibel. Incorporating external annotation to improve named entity translation in NMT. In Proceedings of the 22nd Annual Conference of the European Association for Machine Translation, pp. $45-51,2020$.

[5] Graham Neubig, Zi-Yi Dou, Junjie Hu, Paul Michel, Danish Pruthi, and Xinyi Wang. compare-mt: A tool for holistic comparison of language generation systems. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 35-41, 2019.

[6] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, 2019.

[7] Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A python natural language processing toolkit for many human languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 101-108, 2020.

[8] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, 2016.

[9] Arata Ugawa, Akihiro Tamura, Takashi Ninomiya, Hiroya Takamura, and Manabu Okumura. Neural machine translation incorporating named entity. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 3240-3250, 2018.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.
 南端 尚樹， 田村 晃裕, 同志社大学 理工学部 \{cguc1041@mail4, aktamura@mail, tsukato@mail\}.doshisha.ac.jp  