# 翻訳精度に基づく固有名詞の翻訳手法の研究

高井公一 ${ }^{\dagger}$ 服部元 ${ }^{\ddagger}$ 米山暁夫 $\ddagger$ 安田圭志 $\dagger$ 須藤克仁 $\dagger$ 中村哲 $\dagger$
†奈良先端科学技術大学院大学
‡株式会社 KDDI 総合研究所
takai.koichi.tc1@is.naist.jp, \{ge-hattori, yoneyama\}@kddi-research.jp
ke-yasuda@dsc.naist.jp, \{sudoh, s-nakamura\}@is.naist.jp

## 1 はじめに

近年における音声言語処理の技術の発展に伴い,機械翻訳を介した言語間音声コミュニケーション は旅行者にとって現実的なものとなりつつある。ま た，観光者が訪れるスポット，ランドマーク，飲食店などの固有名詞が多く存在し，そのカバレージが 翻訳システムの精度に影響を及ぼすことが分かって いる.この固有名詞の課題の対処として，クラスと 言われる単語のグループを用いた手法や，サブワー ドモデルなど研究されてきたが，実用では，固有名詞対訳辞書の作成コストと, 固有名詞クラスのアノ テーションのコストの問題が課題である.

本論文では，まず，クラス言語モデルに必要なア ノテーションの課題を解決し, 固有名詞クラス定義 を自動推定する手法を提案する。ここでは，日英対訳コーパスから自動翻訳指標を用いて，最適な固有名詞クラス定義を決定する。次に，機械翻訳の実験検証として, 入力文の固有名詞クラスの推定結果 により，固有名詞を正確に訳せるクラス言語モデ ルに基づく機械翻訳と，サブワードに基づく機械翻訳を使い分けることで，訳質が向上することを JParaCrawl の日英対訳コーパスを用いた実験で確認 する.

## 2 関連研究

固有名詞に着目した機械翻訳のアプローチは大別 して2つに分けられる. 1 つ目は，サブワードモデ ルのアプローチで，学習コーパスの単語をサブワー ドもしくは文字単位に細かく分割し，未知語となる 語彙を減らす手法 [1-4]である．2つ目は，未知語を 既知語に置き換え，既知語を含む文でニューラル機械翻訳（Neural Machine Translation：NMT）を行い，翻訳結果から置き換えた単語を戻す手法 [5] である。 サブワードを使用する手法は，未知語となる固有名詞が含まれていても文全体の訳は崩すことなく，流暢に翻訳できる。しかしながら，この手法では固有名詞自体の訳語が翻訳結果に出力されない問題 や，同表記の固有名詞の訳語など多義性の問題か ら，翻訳の適切さとしての課題が残る。

次に，既知語への置き換え手法は，未知語を事前学習したクラスの中から選択し, 指定したクラスの 別の固有名詞の既知語に置き換えて処理する。既知語は翻訳モデルの学習コーパスの中から選択する ため，学習量が十分なことから，文全体の訳も崩れ ず適切に翻訳できる. そして, 未知語である固有名詞の翻訳に関しては，人手で対訳辞書を作成するた め，正確に翻訳することができる．ここで，クラス 言語モデルの利用は，音声認識の分野で，未知語の 問題を解決するために用いられてきた [6-9]. この 考えは，単語クラス付き対訳辞書を用いる手法など により，コーパスベースの機械翻訳にも取り入れら れている [10-13]. しかしながら，その多くは人手 によりアノテーションされた学習データを用いて，教師あり学習を行う方法で，学習コーパスを用意す る必要がある点で課題が残る。

## 3 提案手法

本研究では，正確な固有名詞の翻訳が行える既知語への置き換え手法を用いる。まず，人手によるア ノテーションを行わなくとも固有表現認識 (Named Entity Recognition:NER) モデルの学習が行える手法 を提案する．従来研究と同様に，教師あり学習の手法を用いるが，固有名詞のクラス定義をするための 学習データを自動構築する。また比較的簡単な原言語と目的言語の対訳辞書の作成は人手で行い，翻訳 モデルに多数存在する固有名詞クラスから自動推定 する仕組みを構築する。 さらに学習した NER モデ ルにより，NMT モデルを切り替え，訳質を向上す る手法を提案する.

図 1 提案手法の処理概要

図 1 に示す通り，提案手法は，データ構築処理部，固有名詞クラス定義の推定モデル学習，および モデル切り替え処理部からなる. データ構築処理部 は，日英対訳コーパスから，自動翻訳指標を活用し て，最適な固有名詞クラス定義を決定する。作成し た推定モデルのデータから，固有名詞クラス定義の 推定モデルを学習する. そしてモデル切り替え処理部は，実際に翻訳処理する際の仕組みを想定し， SentencePiece モデルと既知語への置き換えモデルの 切り替えを NER モデルで分岐する。学習データは， モデル切り替え処理部にある翻訳モデルの学習や適応は行わず，固有名詞クラス定義推定モデルの学習 にのみ活用する。これらの 3 つの処理の詳細を説明 する。

## 3.1 データ構築

図 2 に，データ構築の処理手順を示す。日英対訳 コーパスをベースに，日本語と英語の両言語に固有名詞が含まれる文を抽出する，次に，複数存在する 固有名詞クラスの中から最も翻訳性能が高くなるク ラスを，翻訳の自動評価により決定して，学習デー タを作成する. 固有名詞クラス定義の自動付与の手順を以下に記す。

1. 固有名詞クラス定義のうち一つを選択し，既知語置き換えモデルに固有名詞を登録する。

2. 選定した 1000 文の原言語文から，上記の 1 の 辞書で，既知語置き換えモデルで翻訳する。
3. 1 で登録した固有名詞を辞書から取り除く.

4. 上記の 1 から 3 をすべての固有名詞クラスに対 して行う.

そして，上記の手順で得られた固有名詞クラスごと の翻訳結果に対して自動評価を行う。目的言語文を

図 2 データ構築処理

参照訳として，次式により最適な固有名詞クラス

$
\hat{c}=S_{B L E U}\left(T_{R E F}, T_{M T}^{c}\right)
$

$C ， T_{R E F}, T_{M T}^{c}$ ，はそれぞれ，固有名詞クラスの集合，対訳コーパス中の目的言語文，固有名詞クラ ス定義 $C$ としたときの翻訳結果である. $S_{B L E U}$ は, $T_{R E F}, T_{M T}^{c}$ の自動評価指標 BLEU スコア [14] で次式により計算する.

$
B L E U=B P_{B L E U} \times \exp \left(\frac{1}{N} \sum_{n=1}^{N} \log (P n)\right)
$

ここで, $N=4, B P_{B L E U}$ は翻訳文が参照文と比較して短い場合に用いるぺナルティ係数である. $B P_{B L E U}$ は翻訳文の単語数を $c$, 正解文の単語数を $r$ とし，以下の式で計算される.

$
B P_{B L E U}= \begin{cases}1 & (c>r) \\ e^{1-\frac{r}{c}} & (c \leq r)\end{cases}
$

このようにして対訳コーパスの原言語文に対して， $\hat{c}$ を付与することができる.

## 3.2 固有名詞のクラス推定モデル

前節の学習データから，固有名詞クラスを付与す る NER モデルを学習する。NER モデルは指定した 単語に対して，単語自身の表層標記情報や周囲の単語列の情報を用いて，固有名詞クラスを推定する手法が研究されてきた．そして，固有名詞のクラス定義は翻訳エンジンごとに定義されており，詳細な ものでは形態素情報が用いられている. 本研究の NER モデルでは，入力文に含まれる各単語をそれぞ れ $N+1$ カテゴリ（翻訳システムによって定義され

1）固有名詞クラスの選択により訳語が変化する原言語文に限 る

るクラス数 $N$ と，それ以外のクラス）に分類する形 で学習する. NER モデルに関しては, 従来研究の手法をいくつか用いて検証する。

## 3.3 モデル切り替え処理

実際の翻訳実行には，固有名詞を正確に翻訳する ために，既知語への置き換えモデルと SentencePiece モデルを切り替えて，ハイブリッド処理を行う. 図 1 の (3) にある，原言語文を NER 推定し，推定結果 により処理を分岐する．推定結果が固有名詞クラス の場合は，既知語への置き換えモデルを用いる. 固有名詞と推定した固有名詞クラスを辞書に登録し，同クラスの代表単語と置き換えて文全体を翻訳す る.そして，翻訳結果の代表単語を登録した固有名詞に戻して訳語を得る。一方，推定結果が固有名詞 クラス以外の場合は, SentencePiece モデルで文全体 を翻訳し，訳語を得る。

## 4 実験

本実験では日英機械翻訳を対象に，提案手法の有効性を確認する。また手法の有効性の確認のため, ハイブリッド手法としない個々のモデルで比較評価 する. 全評価データを SentencePiece モデルに入力 した場合をべースラインとする。 そして既知語への 置き換え手法の比較として，評価データの固有名詞 の存在を既知として，固有名詞クラスを人手で付与 したもので検証した.

## 4.1 実験条件

既知語への置き換えモデルは，国立研究開発法人情報通信研究機構のみんなの自動翻訳@ $\mathrm{TexTra}^{2}$ )を 使用した. Transformer モデルのニューラル機械翻訳 で固有名詞のクラスを選択し，辞書登録機能があ る. そして SentencePiece モデルは，JParaCrawl の日英対訳コーパスの学習済みモデル ${ }^{3}$ を使用した。

NER モデルの学習手法は，3つの手法を検証し た. 1 つ目は，BiLSTM-CRF $[15,16]$ で，推定対処の 単語を, 前方向と後方向からそれぞれ単語列を順列処理する手法である．2つ目は， $\mathrm{GRN}^{4}$ [17] で，分散表現化 [18] した単語を入力することで分類する.分散表現の取り組みは，テキスト分類 $[19,20]$ にも


表 1 ハイパーパラメータ

表 2 固有名詞クラス定義と学習データ数

応用された手法である．3つ目は，BERT-NER [21] で，マルチレイヤーTramsformer [22] である. 近年 の研究で, BERT モデルをべースした研究が活発で, NER タスクの研究もなされている [23]. 本研究で は，事前学習されたモデルをべースに，構築した コーパスを用いて FineTuning して適応する. そし て BiLSTM-CRF と GRNでは, 前述の 1000 文の学習 コーパスを用いて学習を行った. BERT-NER は，事前学習された 12 層, 隠れ層次元数 768 のモデル5）を 用い，前述の 1000 文の学習コーパスで FineTuning して学習させた. 表 2 に, 本研究の実験で使用し た NER モデルのハイパーパラメータを示す. 学習 コーパスはオープンデータの JParaCrawl の日英対訳 コーパスを使用した. 1000 万文の JParaCrawl の日英対訳コーパスから，日本語と英語の両言語に固有名詞が含まれる文を抽出し，さらにその中から，自動算出した訳語の精度 [24] の高い 1000 文を選定し て，学習コーパスとした. 固有名詞クラス定義の種類は，評価データの旅行ドメインで利用する 14 ク ラスを用い，最終的に得られた固有名詞クラス定義 と学習データ数を表 2 に示す. データセットの中で 出現割合が最も多いクラスは日本人の姓で，最も少 ないクラスはキャラクター名であった.

## 4.2 評価方法

NER モデルの性能を 3 つの指標で評価する. 1 つ 目が既知語置換率，2つ目が固有名詞正解率，そし て3つ目が BLEUによる自動評価である. NER モ

表 3 固有名詞クラス推定と BLEU 評価

 &  & BLEU \\

(ベースライン) & & & \\
BiLSTM-CRF & 24.29 & 89.86 & 37.40 \\
GRN & 45.71 & 91.30 & 35.22 \\
BERT-NER & $\mathbf{9 4 . 2 9}$ & $\mathbf{9 8 . 5 5}$ & $\mathbf{3 7 . 5 5}$ \\

デルは対象単語のクラス推定を，15 クラス（固有名詞クラス 14 と, 固有名詞でないクラス）から推定 し，固有名詞クラスと推定した場合は既知語への置 き換えモデルを用いて翻訳する。既知語置換率は，固有名詞クラスを推定できた率である。 次に，辞書登録した場合の固有名詞の翻訳の正確さの指標とし $\tau$ ，固有名詞正解率を算出する．最後に，固有名詞 の翻訳を含めた文全体の翻訳の評価として，自動評価指標の BLEU 評価を行う. NER 推定結果が自動翻訳全体に及ぼす影響を. 人手で作成した目的言語文の訳語を用いて評価比較する。

評価の対訳データは，独自に収集した，岐阜タク シーでの翻訳社会実証データの 2379 文の中から，両言語に固有名詞が含まれる 261 文を選定し, そこ から評価データとして 69 文をランダムに抽出した.固有名詞辞書のデータ作成は，翻訳者が人手で作成 し，複数のクラス定義を付与し，最終的に 285 件を エントリーした.

## 4.3 実験結果

表 3 は，固有名詞に人手でアノテーション付与す る手法, ベースラインの SentencePiece モデル，およ び提案手法の NER モデルによるハイブリッド手法 の比較評価結果である． 2 列目に既知語置換率， 3 列目に固有名詞正解率， 4 列目に BLEU スコアを記述した。既知語への置換手法は, 全ての条件におい て，基盤となる NMT と対訳辞書のエントリーは同 じで，クラスの付与方法のみが異なる. 表 3 から，人手付与の手法は，アノテーションのコストは必要になるが，固有名詞正解率が $100 \%$ と全て正確に 翻訳ができて，BLEU スコアも最も高い数值であっ た. 次に，固有名詞のアノテーション情報のない SentencePiece モデルは, 固有名詞正解率が $89.86 \%$ で，BLEU スコアが $35.73 \%$ と高精度であった。この 場合は自動で固有名詞判定は行わないが，翻訳結果 から事後分析し, 固有名詞正解率を算出した. 固有名詞正解率が高い理由は，評価データには「日本」 や「岐阜」など比較的収集しやすい用語があり，評価データの一部が，学習データの JParaCrawl に含ま れていたと考えられる。付録の表 4 に評価結果の一部を示す。一方で，人手付与と比較すると，固有名詞正解率と BLEU スコアが低く，評価データの固有名詞が $10 \%$ 近くが訳せていない. 提案手法では， BiLSTM-CRF と GRN は，既知語置換率は低かった が，固有名詞正解率がベースラインより軽微改善 できた。最も評価結果が良かったものは BERT-NER で，既知語置換率が $94.29 \%$ と非常に高い検出率と なった. そして固有名詞正解率が $98.55 \%$ と高精度 で, SentencePiece モデルと比べて大きく改善し, ア ノテーションコストが必要な人手付与に近い精度が 得られた. さらに BLEU スコアについても，人手付与には劣るが，SentencePiece モデルよりも高い訳質 が得られた. 自動構築した NER モデルによるハイ ブリッド手法は，アノテーションコストなしに，人手付与の手法に近い性能と言える.

## 5 まとめ

本論文では，クラスベースの翻訳システムへの利用を目的とし，固有名詞クラスを自動的に付与する 方法を提案した. 本手法は，対訳コーパスと翻訳シ ステムとを用いて，学習データを構築し，次に構築 したデータから NER モデルによる固有名詞クラス 推定モデルを学習した。評価実験では，このモデル から自動的にテストセットの固有名詞を推定し，推定した固有名詞クラスをニューラル機械翻訳の辞書 に登録し，得られた翻訳結果を自動評価した．実験結果によると，提案手法による固有名詞クラス推定 の既知語置換率が $94.29 \%$ で，自動評価評価も人手の アノテーションに迫るスコアで，高精度な結果が得 られた。これらの結果から，提案手法は，人手によ る学習データの作成なしに，クラスベース翻訳シス テムの固有名詞辞書拡張を可能にしたと言える.今後の検討課題として，コーパスサイズを増やして固有名詞クラス推定の精度を改善する予定である.

## 6 謝辞

本研究は，総務省「グローバルコミュニケーショ ン計画の推進 -多言語音声翻訳技術の研究開発及び 社会実証- I. 多言語音声翻訳技術の研究開発」の一環で収集したデータにより実施したものです。

## 参考文献

[1] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), p. 1715-1725, 2016.

[2] Z. Chen Q.V. Le M. Norouzi W.Macherey M. Krikun Y. Cao Q. Gao K. Macherey J.Klingner A. Shah M. Johnson X. Liu L. Kaiser S.Gouws Y. Kato T. Kudo H. Kazawa K. Stevens G.Kurian N. Patil W. Wang C. Young J. Smith J. Riesa A. Rudnick O. Vinyals G. Corrado M. Hughes Y. Wu, M. Schuster and J.Dean. Google' s neural machine translation system:bridging the gap between human and machinetranslation, 2016.[Online; accessed 28-December-2017]. http://www.pluto.ai.kyutech.ac.jp/NLP/.

[3] Minh-Thang Luong and Christopher D. Manning. Achieving open vocabulary neural machine translation with hybridword-character models. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), p. 1054-1063, 2016.

[4] M.R. Costa-Juss'a and J.A.R. Fonollosa. Characterbased neural machine translation. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), p. 357-361, 2016.

[5] Xiaoqing Li, Jiajun Zhang, and Chengqing Zong. Towards zero unknown word in neural machine translation. In Proceedings of the 25th Annual Meeting of the International Joint Conferences on Artificial Intelligence (IJCAI), p. 2852-2858, 2016.

[6] Issam Bazzi and James R. Glass. Modeling out-ofvocabulary words for robust speech recognition. In ICSLP, 2000.

[7] Hiroaki K. Genichiro K. Yoshihiko O. Yoshinori S. Yamamoto, $\mathrm{H}$. Out-of-vocabulary word recognition with a hierarchical language model using multiple markov model. In IEICE D-II 87(2), pp. 2104-2111, 2004.

[8] Shuntaro I. Yoshinori S. Yamamoto, H. Multi-class composite n-gram based on connection. In ICASSP, p. 533-536, 1999.

[9] Welly NAPTALI, Masatoshi TSUCHIYA, and Seiichi NAKAGAWA. Class based n-gram language model for new words using out-of-vocabulary similarity. In IEICE, p. 2308-2317, 2012.

[10] Masatsugu Tonoike, Mitsuhiro Kida, Toshihiro Takagi, Yasuhiro Sasaki, Takehito Utsuro, and Satoshi Sato. Translation estimation for technical terms using corpus collected from the web. In newblock In: Proceedings of the Pacific Association for Computational Linguistics, pp. 325-331, 2005.

[11] Keiji Yasuda, Panikos Heracleous, Akio Ishikawa, Masayuki Hashimoto, Kazunori Matsumoto, and Fumiaki Sugaya. Building a location dependent dictionary for speech translation systems. In CICLING, 2017.

[12] Xuezhe Ma and Eduard Hovy. End-to-end sequence labeling via bi-directional lstm-cnns-crf. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), p. 1064-1074, 2016.
[13] Sebastien Jean, Kyunghyun Cho, Yoshua Bengio, and Roland Memisevic. Onusing very large target vocabulary for neuralmachine translation. In 28th NIPS, p. 1-10, 2014.

[14] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), 2002.

[15] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In $N A A C L-H L T$, p. 260-270, 2016.

[16] Matthew Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In NAACLHLT, p. 2227-2237, 2018.

[17] G. Dingy J. Louz Y. Zhangx H. Cheny, Z. Linz and B. Karlssonz. Grn: Gated relation network to enhance convolutional neural network for named entity recognition. 2019.

[18] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. Distributed representations of words and phrases and their compositionality. In Advances in Neural Information Processing Systems 26. Curran Associates, 2013.

[19] Yoon Kim. Convolutional neural networks for sentence classification. In $E M N L P$, p. 1746-1751, 2014.

[20] Nal Kalchbrenner, Edward Grefenstette, and Phil Blunsom. Convolutional neural networks for modeling sentences. In COLING, p. 655-665, 2014.

[21] Mikhail Arkhipov, Maria Trofimova, Yuri Kuratov, and Alexey Sorokin. Tuning multilingual transformers for named entity recognition on slavic languages. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), p. 89-93, 2019.

[22] Noam S. Niki P. Jakob U. Llion J. Aidan N G. Łukasz K. Ashish, V. and P. Illia. bidirectional transformers for language understanding. In In Advances in neural information processing systems, p. 5998-6008, 2017.

[23] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. bidirectional transformers for language understanding. In arXiv preprint arXiv:1810.04805, 2018.

[24] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. Jparacrawl: A large scale web-based english-japanese parallel corpus. In Proceedings of the 12th Conference on Language Resources and Evaluation(LREC 2020), p. 3603-3609, 2020.

## A 付録

表 4 例：評価文と翻訳結果

原言語文：あと二三分で一夜城に着きます

原言語文 : 川のこちらが犬山市です。

原言語文：何回か行きました。朴葉味噌か肉の料理がおいしかった。


 高井公一 ${ }^{\dagger}$ 服部元 ${ }^{\ddagger}$ 米山暁夫 $\ddagger$ 安田圭志 $\dagger$ 須藤克仁 $\dagger$ 中村哲 $\dagger$ †奈良先端科学技術大学院大学 ‡株式会社 KDDI 総合研究所 takai.koichi.tc1@is.naist.jp, \{ge-hattori, yoneyama\}@kddi-research.jp ke-yasuda@dsc.naist.jp, \{sudoh, s-nakamura\}@is.naist.jp  