# 日英翻訳を対象としたイディオム表現の評価指標の提案

廣瀨惟歩 1 渡辺太郎 ${ }^{1}$
1 奈良先端科学技術大学院大学 自然言語処理学研究室
\{hirose.yuiho.ia8, taro\}@is.naist.jp

## 概要

ニューラル機械翻訳（NMT）の課題の一つして， イディオムなどの非構成的な表現の翻訳が挙げられ る. NMT システムは原文を単語単位で解釈して翻訳するため，非構成的な意味を有するイディオム表現に対しては誤訳が度々生じる。また，既存の自動評価指標は局所的な評価ができず，イディオム表現 の翻訳性能の評価には適さないという問題点があ る. 本研究では, 日本語と英語を対象に，イディオ 么表現の翻訳性能の評価に適した新たな自動評価指標を提案する。具体的には，目的言語側でイディオ ム表現を検出し，その個数と原言語側のイディオム 表現の個数とを比較して, 翻訳モデルの性能を評価 する. 実験の結果，BLEU や BERTScore でのスコア の高さと，全体の出力訳含まれる正しいイディオ ム表現の割合は翻訳モデルによって傾向が異なるこ とが判明した。

## 1 はじめに

Transformer[1] などのニューラル機械翻訳（NMT） システムにとって，複合語表現（MWE）の翻訳は 現状の課題の一つである. MWE の中でも，イディ オム表現は非構成的な意味を持ち, 構成される単語 からは意味を推測できない場合が多い表現である。 NMT システムは翻訳対象となる文章の意味が構成的であることを前提として翻訳を行うため，イディ オム表現を文字通りに解釈する傾向にある。その結果，イディオム表現を直訳もしくは省略する翻訳エ ラーが多々発生する。

また，イディオム表現の翻訳の評価に適した自動評価指標が存在しないことも課題の一つとして挙げ られる．BLEU[2]を始めとするグローバル評価指標 は，翻訳文の全体を考慮するものであり，局所的な 評価ができないため，イディオム表現の翻訳性能の 評価には適さない. イディオム表現の翻訳結果を自動的かつ定量的に評価するには, 既存のグローバル評価指標とは別に，翻訳文の特定の箇所に絞った専用の評価指標が必要とされる.

イディオム表現に対する自動評価指標の先行研究として, Shao ら [3] は英語と中国語のペアを対象 に，イディオム表現を直訳した際に生じるであろう 単語を登録したリストを活用する方法を提案した。具体的には, 翻訳モデルが出力した翻訳文のうち, このリストに登録された単語を含むものの割合を評価スコアとしている. しかし, この手法には, 対応 する単語を逐一手動でリストに登録しなければなら ないという欠点が存在する.

本研究では，日英翻訳を対象とした，イディオム 表現の翻訳性能を評価するための新たな自動評価指標を提案する. 具体的には，イディオム検出器に よって出力訳のイディオム表現を自動的に抽出し，出力訳と参照訳に含まれるイディオム表現の割合の 類似度で翻訳モデルを評価する。

イディオム検出器の構築，並びに既存の翻訳モデ ルでの日英翻訳に対する評価実験の結果，BLEU と BERTScore のスコアが最大である翻訳モデルと，提案手法での評価スコアが最大である翻訳モデルが異 なると判明した.この結果は, BLUE や BERTScore といったグローバル自動評価指標では, 機械翻訳の 出力訳に含まれるイディオム表現を正しく認識でき ないことを示していると言える。

## 2 関連研究

イディオム表現の翻訳結果を BLEU などのグロー バル評価指標で評価した研究は, Fadaee ら [4]によ るものを始め, 数多く存在する. Fadaee らの研究で は，イディオム表現に特化したデータセットの機械翻訳結果の BLEU スコアが，イディオム表現を含ま ない標準データセットの機械翻訳結果よりも低下し たことが示されている.

イディオム表現の自動評価指標に関する先行研究には, Zaninello ら [5] によるものが挙げられる. Zaninello らは英語とイタリア語のペアを対象に，

MEW に対する参照訳と出力訳を文字単位で考慮し，双方のレーベンシュタイン距離を算出して，データ セット全体の評価スコアを得る手法を考案した。

他にも，Shao ら [3] は英語と中国語のぺアを対象 に，イディオム表現に対する自動評価指標として，独自で構築したブラックリストを用いた評価方法を 提案した. このリストには，対象となるイディオム 表現を直訳した際に生じると思われる単語が登録さ れる。そして，イディオム表現を含む文章を機械翻訳モデルに翻訳させ，出力された全ての文字列のう ち，リストに登録された単語を含むものの割合を評価スコアとしている.

Shao らの手法では手作業でこのブラックリスト を構築しているが，Christos ら [6] はこの研究をもと に，自動アルゴリズムを活用して故意にイディオム 表現の直訳エラーを起こし，それによって得られた 単語を自動的にリストに登録する手法を提案した。

## 3 提案手法

本研究では，イディオム表現の自動検出器を作成 し，それぞれの出力訳および参照訳の文中からイ ディオム表現を自動的に抽出して, 全体の出力訳の うち, 参照訳と同様のイディオム表現がどれほど含 まれているかによって翻訳モデルの性能を評価する 指標を提案する.

## 3.1 イディオム表現の自動検出

初めに，出力訳に含まれるイディオム表現の候補 が実際に比喻的な意味であるのか，あるいは文字通 りの意味であるのかを判別するためのイディオム 検出器を作成する. 自動検出器を作成するには，イ ディオム表現を含む例文を用意し，各文のイディオ ム表現の位置をアノテーションした上で学習を行 う必要がある. 本研究ではイディオム表現を含む例文のリストとして, Wiktionary のイディオムカテゴ リ1)を活用した. このカテゴリには 7990 種類の英語のイディオム表現が掲載されており，その内 5519 種類のイディオム表現には用例も掲載されている.

これらの用例を抽出し, 各英文の単語に BIO/BIEO タグ形式でイディオム表現の位置をアノテーション したデータセットを用いて，BERT[7]の系列ラベリ ングモデルでタグの推論を行い，イディオム表現の 自動検出器を作成した.


表 1 検出実験時のデータセットの内訳

## 3.2 評価手法

機械翻訳モデルの出力訳を $\hat{y}$ ，参照訳を $y$ とした とき，それぞれの訳文から抽出されたイディオム表現の個数（ $f(y)$ と定義）をもとに適合率，再現率， F1 スコアを計算する。すなわち，出力訳と参照訳 のそれぞれの訳文に含まれるイディオム表現の数が 同等であれば，それらは一致しているという仮定を 置き，その上で対象となる翻訳モデルがどれほどイ ディオム表現を出力できるかを見てその性能を評価 する。この仮定を置いた理由は，イディオム表現が 検出されたとしても，該当する出力訳と参照訳で単語列が完全に一致することは稀であると判断したた めである. 訳文の総数を $n$ とすると，提案手法の適合率 (Pre.)，再現率（Rec.）はそれぞれ (1)，(2) 式の ように表される.

$
\begin{aligned}
\text { Pre. } & =\frac{\sum_{i=1}^{n} \min \left(f\left(\hat{y}_{i}\right), f\left(y_{i}\right)\right)}{\sum_{i=1}^{n} f\left(y_{i}\right)} \\
\text { Rec. } & =\frac{\sum_{i=1}^{n} \min \left(f\left(\hat{y}_{i}\right), f\left(y_{i}\right)\right)}{\sum_{i=1}^{n} f\left(\hat{y}_{i}\right)}
\end{aligned}
$

## 4 実験

## 4.1 イディオム表現の検出

イディオム検出器の train 及び test データセット は，上述した Wiktionary のイディオムカテゴリに掲載された用例を抽出して構築した。具体的には，抽出によって得られた 12,851 文の英文を 9:1 の割合で train と test データセットに分け, 双方のデータセッ トに対して, OpenSubtitle2016コーパスから抽出し たイディオム表現のない英文を追加した. イディオ ム検出器の学習, 評価に用いたデータセットの内訳 を表 1 に示す.

英文中のイディオム表現をモデルに認識させるた め, 英文の各単語に $\mathrm{B}, \mathrm{I}, \mathrm{O}$, もしくは（BIEO 方式の 場合）Eのタグを割り当て，train データを用いてモ デルに文中のイディオム表現のタグ及びスパンを学
表 2 イディオム検出の各スコア

図1タグを割り当てた例文

習させた. 具体的には，イディオム表現の始めの単語には Bを，それ以降のイディオム表現を構成する 単語には Iを，イディオム表現の終わりの単語には $\mathrm{E}$ を，それ以外の単語には $\mathrm{O}$ を割り当てた. 英文に タグを割り当てた例を図 1 に示す.

なお，学習モデルは BERT モデル [7] の一種であ る Bert-base-multilingual-cased を使用した。学習時の 設定は BIO/BIEO タグともに max_seq_length $=128$ と した.

## 4.2 イディオム表現の翻訳

イディオム表現の翻訳に用いるデータセットの 構築には, OpenSubtitle2016コーパス [8]を活用し た. OpenSubtitle2016 は映画や TV 番組の字幕を収集したコーパスであり, 英日データセットでは約 2,083,600 の対訳文が収録されている。このコーパ スを本研究に用いた理由は，イディオム表現は基本的にカジュアルな会話や文章で用いられるもので あり，字幕や小説に特化したコーパスであれば，イ ディオム表現が文中に出現する頻度が高いと判断し たためである.

このコーパスからイディオム表現を含む英文を 抽出するため, Wiktionary のイディオムカテゴリに 掲載されたイディオム表現のうち，例文が付属し た 5519 種類のイディオム表現を抽出し, それらと 動詞の態を適宜変更したものを併せてイディオム 辞書とした（例えば break the ice というイディオム があれば, broke the ice, breaking the ice, 及び broken the ice をリストに追加した).この辞書を用いて抽出を行った結果，イディオム表現の候補を含む英文 が 306,720 文得られた.これを 8:1:1 の割合で分け， 245,376 文を train データに，30,672 文を $\operatorname{dev}$ 及び test データに割り当てた。 これらのデータセットを基に，beam-searchを用 いた Fairseq, sampling を用いた Fairseq, Huggingface を活用して日英データセットで fine-tuning を行った T5-Base モデルの 3 つで学習を行い, test データセッ トで日英翻訳を実施した。その上で，各翻訳結果に 対して BLEU, BERTScore, 提案手法の 3 つのスコ アを計測し。異なる翻訳モデルに対して提案手法に よる評価スコアがどのような傾向を示すのかを確認 した。なお, Fairseq と T5-Base の学習時の設定は双方ともに学習率 $7 \mathrm{e}-4$, epoch 数 30 , 最大トークン数 6000 とし，翻訳時の設定は beam-width $=5$ とした.

## 5 結果

## 5.1 イディオム検出器の評価

検出モデルの評価は，BIO タグ方式と BIEO タグ 方式それぞれに対し，Tag-base と Span-base の両方 で行った. イディオム表現の検出モデルによる予測結果の各スコアを表 2 に示す.

表 2 の Tag-base で，Pre. はモデルが予測した B， I，Eタグのうち実際に正解である割合， Rec. は test データセット内の $\mathrm{B}, \mathrm{I}, \mathrm{E}$ タグのうちモデルが正し く予測できた割合を示す. Span-baseでは，Pre. はモ デルが予測したスパンのうち正解と完全一致する割合，Rec. は test データセット内のスパンのうちモデ ルが予測したスパンと完全一致する割合を示す.

表 2 を見ると，BIO タグ方式のスコアが $\mathrm{BIEO}$ タ グ方式のスコアを全体的に上回っており，正解率に 関しては双方ともに 96\%以上を記録していることが 分かる。一方で，Span-base における再現率は最高 でも $64 \%$ に留まっており, test データセットのうち 6 割ほどのイディオム表現のスパンしか検出できな かったことが窥える。

## 5.2 翻訳結果の評価

beam-search もしくは sampling を用いた Fairseq，並 びに T5-Base モデルに対する BLEU，BERTScore，提案手法のスコアを表 3 に示す. BIO と BIEO の項は，翻訳モデルの出力訳に対して BIO もしくは BIEO 夕
表 3 イディオム翻訳の評価結果

図 2 タグ予測の例

グで学習したイディオム検出器でイディオム表現の 抽出を実行し，抽出されたイディオム表現をもとに 提案手法での評価を行った結果を表す。

表 3 の提案手法の項目を見ると，BIO 及び BIEO ともに全ての翻訳モデルの適合率が低く，イディオ ム表現が含まれる英文を翻訳モデルがさほど出力 できなかったことが窺える．T5-Base に関しては， BLEU と提案手法の適合率の双方で低い結果が出て いる。一方で翻訳モデルごとの評価スコアを見る と, BLEU, BERTScore ともに beam-search を利用し た Fairseq が最大であるのに対し，提案手法でのス コア算出法では，sampling を利用した Fairseq が最も 高いスコアを出している。

## 6 分析

## 6.1 イディオム表現の検出

作成したイディオム検出器の性能を測る実験にお いて, 検出器の予測結果を見ると, 図 2 のように, イディオム表現の途中に目的語などが入る場合には タグを正しく推測できないケースが多く見られた。 このような長大かつ語彙的変化を受けているイディ オム表現を正確に検出させるためには，目的語の異 なるイディオム表現のデータを充実させ, 検出器の 学習の段階でイディオム表現のパターンを認識させ る必要があると思われる。

また，実際にはイディオム表現でない箇所を検出器が誤検出したケースも多々見られた。一方で，実際にはイディオム表現であるにも拘らず，データ セットの構築段階でアノテーションされていなかっ たものを検出できていた場合も少数ながらあった。

図 3 翻訳モデルの出力訳の例

## 6.2 イディオム表現の翻訳

イディオム表現の翻訳に関する実験において，各翻訳モデルの翻訳結果の一例を図 3 に示す.ここ で，原言語側の日本語文は「あなたは短気を起こ すべきじゃなかった」，目的言語側の英文は「You shouldn't have lost your temper」であり，含まれるイ ディオム表現は lost your temper である. 表 3 に示さ れている通り，sampling を用いた Fairseq は参照訳と ほぼ同様のイディオム表現を出力できている.

## 7 結論と今後の課題

本研究では，イディオム表現の機械翻訳という分野を対象に，全体の出力訳のうち，参照訳と同様の イディオム表現を含む割合をスコアとする評価指標 を提案した。実験の結果，BLEU や BERTScore での スコアが比較的高い翻訳モデルでも，イディオム表現を含む文章を出力するのは困難であることが判明 した.

今後の課題として，イディオム表現の検出に関し ては，語彙的変化を受けるイディオム表現や，途中 に長い目的語を取るイディオム表現を正確に検出す る方法を探る必要がある.

また，提案手法の評価指標についても，他の翻訳 モデルに対して同様の実験を行い，イディオム表現 に対する出力訳の傾向や，提案手法と既存の評価指標との相関関係を確認する必要がある，加えて，本研究では参照訳と出力訳に含まれるイディオム表現 は一致しているという仮定を置いたが，将来的には BERT のベクトル表現を活用し, 双方の距離の近さ を見る必要もある.

## 謝辞

本研究は JSPS 科研費 JP21H05054 の助成を受けた

ものである.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. 2017. https: //arxiv.org/abs/1706. 03762.

[2] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Annual Meeting of the Association for Computational Linguistics, 2002.

[3] Yutong Shao, Rico Sennrich, Bonnie Webber, and Federico Fancellu. Evaluating machine translation performance on Chinese idioms with a blacklist method. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[4] Fadaee Marzieh, Bisazza Arianna, and Monz Christof. Examining the tip of the iceberg: A data set for idiom translation. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[5] Andrea Zaninello and Alexandra Birch. Multiword expression aware neural machine translation. In Proceedings of the Twelfth Language Resources and Evaluation Conference, 2020.

[6] Christos Baziotis, Prashant Mathur, and Eva Hasler. Automatic evaluation and analysis of idioms in neural machine translation. 2022. https://arxiv.org/abs/2210.04545.

[7] Devlin Jacob, Chang Ming-Wei, Kenton Lee, and Toutanova Kristina. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 2019.

[8] Pierre Lison and Jörg Tiedemann. OpenSubtitles2016: Extracting large parallel corpora from movie and TV subtitles. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), 2016.
 廣瀨惟歩 1 渡辺太郎 ${ }^{1}$ 1 奈良先端科学技術大学院大学 自然言語処理学研究室 \{hirose.yuiho.ia8, taro\}@is.naist.jp  