# ニューラル分類器の予測の解釈に基づく 翻訳が難しい表現の検出

坂口 典三 村脇 有吾 Chenhui Chu 黒橋 禎夫
京都大学大学院情報学研究科
\{n-sakaguchi, murawaki, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 概要

修辞技法に代表されるような文化圏に特有な表現 は近年のニューラル翻訳モデルでも正しく翻訳する のが難しく, 原言語側で検出し，前編集することが 翻訳精度向上のための有望な方法であると考えられ る. そこで本研究では，日本語において翻訳が難し い表現を翻訳前に検出することを試みる。具体的に は，翻訳が難しい表現は母語話者が書いたテキスト に特徴的であるという仮説を立て，日本語テキスト が機械翻訳されたものかそうでないかを予測する ニューラル分類器を訓練し, 分類器の予測に寄与し た表現を翻訳が難しい表現として検出する. 実験に より，仮説の妥当性を裏付けるとともに，提案手法 が翻訳が難しい表現を検出できることを確認した。

## 1 はじめに

異なる言語間には語彙や文法だけでなく，その言語が用いられている文化圏に起因する文化差が表出することがある．例えば日本では「このお店は美味しい」という表現は一般的に用いられているが， Honna [1] によると英語圏では一般的に "restaurant" を “delicious”で形容することはない. この差異はメ トニミーにおける指示対象の対応関係が日本と英語圏で異なっていることに起因しており，さらには それぞれの文化によって生み出された差異だと言 える。

近年ニューラル言語モデルの登場により，機械翻訳は急速な進化を遂げ，従来訳すのが難しかった慣用句などは正しく訳される場合が増えている..し かし, 現在最も一般的に用いられている翻訳サービ スである DeepL ${ }^{11}$ でも「このお店は美味しい.」を “This restaurant is delicious”と訳してしまう。この例 が示すように，依然として機械翻訳では正しく翻訳

 \\

表 1 前編集による訳文の変化. 上段が原文で下段は下線部が前編集されている.

することが難しい文化差が存在する。コミュニケー ションにおける機械翻訳の実利用を考えたとき，こ のような文化差を乗り越えるためには，原言語側も しくは目的言語側で適応を行うという方向性が有望 であると考えられる．例えば，翻訳が難しい原言語側の表現が翻訳前に検出できれば，その部分を原言語側で翻訳しやすい表現に変えることで翻訳精度の 向上が期待できる (表 1 ).

本研究ではニューラル分類器の予測の解釈に基 づいて，翻訳が難しい表現を検出する手法を提案す る. 提案手法の概略を図 1 に示す. 日英翻訳を想定 したとき, 反対方向の英日翻訳器を用いることで,機械翻訳によって生成された日本語テキストを準備 する。そして，日本語母語話者が書いた日本語テキ スト (以下，日本語の原文)をこの訳文 (日本語)テキ ストと対照する．キーとなる仮説は，翻訳が難しい 表現は日本語の原文に特徵的であるというものであ る. そこで，まずこの 2 種類のテキストを識別する ニューラル分類器を訓練し, 次に, 分類器の予測に 対する入力テキスト中の特定の部分の寄与を明らか にする手法（以下，説明手法）を用いて日本語の原文という分類器の予測に最も寄与した部分を翻訳が 難しい表現として検出する.

上記の仮説を検証するために，分類器のスコアと 日英翻訳の精度の関係を調べたところ，分類器がよ り機械翻訳らしくないと予測した文ほど実際に翻訳精度が低かった。また，提案手法によって検出され た表現を人手で分析したところ，翻訳が難しい表現 を見つけられていることを確認した。

図 1 提案手法の概略

## 2 提案手法

本節では図 1 の下段において説明手法を用いる際 に行う工夫を本研究の提案手法として紹介する.

## 2.1 Continuously Relaxed Contextual Decomposition

提案手法は，翻訳が難しい表現の検出のために ニューラル分類器の説明手法を用いる. 分類器の説明手法は，分類器の予測に対して入力データ中のど の部分が強く貢献したかを明らかにする. 提案手法 のベースとなる contextual decomposition (CD) [2] は，分類器のスコアを入力テキスト中の任意のフレーズ による寄与とその他の部分による寄与に分解する. Murdoch ら [2] は CD LSTM [3] 分類器に適用した が，その後 Jin ら [4] がこの手法を BERT [5] に拡張 している. 本研究では BERT を用いる.

$\mathrm{CD}$ は, 分類器 $y=f(x)$ が $y=g_{L}\left(g_{L-1}\left(\ldots g_{1}(x)\right)\right)$ のように操作の再帰的適用で表せることに着目し，各操作 $g(x)$ に対して, $g^{\mathrm{CD}}(x)=(\beta(x), \gamma(x))$ (ただ し $\beta(x)+\gamma(x)=g(x))$ となるような近似的な分解を 定義する. ここで， $\beta$ は注目する入力内のフレーズ の寄与分， $\gamma$ を残りの寄与分である. 入力埋め込み 層に対して，トークン $t_{i}$ が注目するフレーズに含 まれるなら $\left(\beta\left(e_{i}\right)=e_{i}, \gamma\left(e_{i}\right)=0\right)$, 含まれないなら $\left(\beta\left(e_{i}\right)=0, \gamma\left(e_{i}\right)=e_{i}\right)$ とし, 分解操作を再帰的に適用すると，出力の予測スコア $y$ の分解が得られる.

$\mathrm{CD}$ を利用するには入力テキスト中で注目するフ レーズを決める必要があるが，トークン列長が $n$ の 入力テキスト $T=t_{1}, \cdots, t_{n}$ の全てのトークンの組合

図 $2 \mathrm{CRCD}$ の概略

せ (ただし不連続性を許容) を考慮するには $2^{n}$ 通り の CD の計算が必要となる.これは一定以上の長さ の文では計算量の観点から現実的ではない.

そこで $T$ の全てのトークンについて，注目するか 否かの離散値ではなく，0から 1 の連続值 (region)に 連続緩和する手法 Continuously Relaxed Contextual Decomposition (CRCD) を提案する。 CRCD の概略を 図 2 に示す. CRCD は，分解操作が適用されたネッ トワーク $g_{L}^{\mathrm{CD}}\left(g_{L-1}^{\mathrm{CD}}\left(\ldots g_{1}^{\mathrm{CD}}(x)\right)\right)$ も微分可能であるこ とに着目し，予測スコアの $\beta$ を最大化するような region を逆伝播を使った繰り返し計算により探索す る. 最後に 0 と 1 に離散化することで， region が 1 となっているトークン列を入力テキスト中で最もそ の分類らしい表現として検出する.

## 2.2 ニューラルモデル+BoW

分類器は単純に分類損失最小化を目指すだけであ り，日本語の原文と訳文 (日本語) のドメインの違い

図 $3+\mathrm{BoW}$ の概略

といった本質的ではない手がかりを使ってしまう危険性がある．この問題を緩和するために，単語レべ ルの手がかりに頼る非力な bag-of-words (BoW) 分類器を補助的に用いる手法 (+BoW) を提案する.

図 3 に手法の概略を示す。まず bag-of-words を用 いた分類器を単体で訓練する。次に BERT を訓練 するが，ここで先に訓練していた BoW 分類器が出力するロジットを利用する。訓練用のテキストを 入力した際の BERT が出力するロジットを $l_{\mathrm{BERT}}$, BoW 分類器が出力するロジット $l_{\mathrm{BoW}}$ とする. この 時 BERT の学習に用いる損失関数 loss は以下のよう に計算する。

$
\text { loss }=\mathrm{H}\left(\operatorname{expit}\left(\left(l_{\mathrm{BERT}}+l_{\mathrm{BoW}}\right) / 2\right), R\right)
$

ここで H は交差エントロピー誤差，expit はロジス

された損失関数を用いて BERT のパラメータのみを 更新する. BoW 分類器が単語レベルの手がかりに 基づくロジット $l_{\mathrm{BoW}}$ を提供するため，単語レベル の手がかりだけで分類できるテキストに対しては， BERT のパラメータはあまり更新されない。単語レ ベルの手がかりだけでは分類できなようなテキスト が入力された時，BERT のパラメータは大きく更新 される。こうして，BERT が単語レベルよりも深い 手がかりに注力するように誘導する。

## 3 実験

本節ではデータセットを構築し，そのデータセッ トを用いて分類器を訓練する。さらに検出方法の前提となる仮説を検証した上で，実際に翻訳が難しい 表現が検出できるか確認する。

## 3.1 データセット構築

データとして，日本語の原文，英語の原文，英語 から機械翻訳された訳文 (日本語) が必要となる。こ の訳文生成のためには英日翻訳モデルも訓練しなけ ればならない.

まず Wikipedia の本文から日英テキストを抽出し た. ただし，複数の言語版が存在する一般名詞を扱 うぺージのみを使用した。これはテキスト中に登場 する単語に日本語版のページにしか登場しないよ うな固有名詞が存在すると，分類器がそれに強く影響される恐れがあるからである。一般名詞の抽出に は森羅プロジェクト ${ }^{2}$ の成果を利用した. 森羅プロ ジェクトは Wikipedia 日本語版のタイトルに拡張固有表現を付与しており，階層ラベル 0 が一般名詞を 表している。 さらに各ページに記載されている他言語版へのリンク数が 35 以上となっているぺージを 抽出した。こうして抽出した英語版ページと日本語版ページの本文を文単位に分割し，1,073,431 万文の 英文と 648,507 万文の日本語文が得られた.

次に英日翻訳モデルを訓練した．Morishita ら [6] が公開している事前学習モデルを WikiMatrix [7] の 日英対訳データを用いて追加学習した。学習用デー タとして 479,315 文，テスト用データとして 1,000 文 の対訳データを用いた。訓練時のハイパーパラメー タは Morishita らの論文に基づく.

訓練したモデルを SacreBLEU [8] で精度を評価す ると 21.82 となった. 同じテストデータで DeepL の 英日翻訳精度を評価すると SacreBLEU は 16.75 であ り，訓練したモデルの精度が上回った。追加学習に より Wikipedia の文体にモデルが特化したためであ ると考えられる．このモデルを用いて英文を翻訳 することで，原文とあわせて $1,721,938$ 文の日本語 データが得られた.このデータ内の各文に対して は，機械翻訳で生成された文か日本語の原文かを示 すラベルが付されている。

また，後述の分析のために日英翻訳モデルを英日翻訳モデルと同じ設定で訓練した。上述のテス トデータで評価したところ，SacreBLEU は 27.76 と なった.

## 3.2 分類器の訓練

3.1 節で構築した日本語データを用いて日本語の 原文か訳文か予測する分類器を訓練した。1,000 文

をテストデータとして抽出し，残りのデータを訓練用データとして用いた. 分類器のモデルとして BERTと BoWを用いた.

BERT としては NICT が公開している事前学習モ デル ${ }^{3}$ を使用した。 また, BoW モデルは線形層 2 層 から構成されたニューラルネットを使用し, 入力文中の単語は BERT の埋め込み層を複製してべクトル 化した。単体での BERTとは別に, BERTを+BoW を用いて訓練した。

各モデルのテストデータにおける分類精度を表 2 に示す. BoW 以外のモデルはほとんど同じ精度と なった. BERT+BoW 設定で訓練した BERTを単体 で用いても精度が下がらなかったことから，データ セット内の文には単語レべルを超える手がかりが十分に存在していると推測できる.

## 3.3 分類結果と翻訳精度の相関

翻訳が難しい表現は日本語の原文に特異的に出現 し，英日翻訳によって生成された訳文には含まれて いないという仮説を検証した．もし仮説が妥当であ れば，分類器が判断した日本語の原文らしさと日英翻訳精度には負の相関があることが期待される。

3.1 節で機械翻訳モデルのテストに用いた WikiMatrix の対訳データから日本語文 1,000 文を選 んで単体で訓練した BERT に入力し，分類スコアを 計算した. ここでの分類スコアとは, 分類器が出力 する 2 つのロジットの差をとったものであり，分類スコアが大きいほど日本語の原文である可能性 が高いことを示す. さらに 3.1 節で訓練した機械翻訳モデルで日英翻訳を行い，文単位で翻訳精度を 計算した. 文単位の翻訳精度の評価指標としては SentBLEU [9] と BLEURT [10]を用いた.

翻訳精度と分類スコアの散布図を表 A. 1 に示す.翻訳精度と分類スコアのピアソンの積率相関係数を 計算すると, SentBLEUで -0.24 , BLEURT で -0.45 となった. SentBLEU は文ごとの n-gram を計算する ため，意味的に正しい翻訳文でも不当に低い値を計算することがあり，散布図に示すように多くの文が 0 に近い値をとった. BLEURT は従来の評価指標よ りも人間の評価に近いとされており，こちらではよ り強い負の相関が見られた. この結果は仮説を裏付 け, 分類器にとっての日本語の原文らしさが日英翻訳を困難にすることを示唆する。

表 2 分類器のモデルの精度. BERT は BERT 単体で訓練 した精度，BERT(+BoW) は+BoW を用いて訓練した BERT モデルを単体で評価した精度，BERT+BoW は+BoW を 用いて訓練した BERT のロジットとと BoW のロジット を+BoW と同じ手法で組み合わせて計算した精度を示す.

## 3.4 表現の検出結果の分析

3.3 節の結果から，学習済みの分類器には翻訳が 難しい表現に関する情報が含まれていることがわ かった. そこで説明手法を用いて文中のどの部分が 翻訳が難しい表現なのか検出することを試みた。

まず+BoW の有効性が示された例を表 A. 1 に示 す. BERTのみの結果では「成敗」や「禁令」のよ うな日本語の原文というドメインに特有の語彙が検出されているが，このような表現は機械翻訳で生成 されることが稀な単語であり，翻訳が難しい表現で はない. それに対して BERT+BoWではある程度そ れらの表現に注目しないようになっていることがわ かる.

次に，検出された表現で実際に機械翻訳が適切 でない翻訳を生成した例を表 A. 2 に示す.「いい年 になった」や「端から見ると」などの表現が検出さ れた.これらの表現の DeepLによる訳文を見ると， "reached a good age" $や$ "from the out side" という不自然な訳になっており，実際に翻訳が難しい表現であ ることが確認できる. ただし，検出されたフレーズ が実際に不自然な翻訳をされているかを自動的に評価する方法が確立されておらず，検出結果の定量的評価が課題として残されている.

## 4 おわりに

本研究では機械では正しく翻訳することが難しい 表現は日本語母語話者が書いた日本語テキストに特異的に出現し，機械翻訳によって生成されたテキス トには含まれていないという仮説を検証した. さら に, 分類器の説明手法によっていくつかの翻訳が難 しい表現を検出した. また， bag-of-words 分類器を 補助的に用いることで，分類器に単語レべル以上の 手がかりに着目させる手法を提案し，その有効性を 確認した. 今後の課題としては，提案手法の定量的評価方法と前編集の方法の確立が挙げられる.

## 謝辞

本研究は一部 JSPS 科研費 $21 K 12029$ の助成を受 けた.

## 参考文献

[1] Nobuyuki Honna. That restaurant is delicious. [japan]. Asian Englishes, Vol. 13, No. 2, pp. 64-65, 2010.

[2] W. James Murdoch, Peter J. Liu, and Bin Yu. Beyond word importance: Contextual decomposition to extract interactions from LSTMs. In Proceedings of 6th International Conference on Learning Representations, ICLR 2018, 2018.

[3] Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[4] Xisen Jin, Zhongyu Wei, Junyi Du, Xiangyang Xue, and Xiang Ren. Towards hierarchical importance attribution: Explaining compositional semantics for neural sequence models. In International Conference on Learning Representations, 2020.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 36033609, Marseille, France, May 2020. European Language Resources Association.

[7] Holger Schwenk, Vishrav Chaudhary, Shuo Sun, Hongyu Gong, and Francisco Guzmán. WikiMatrix: Mining $135 \mathrm{M}$ parallel sentences in 1620 language pairs from Wikipedia. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 1351-1361, Online, April 2021. Association for Computational Linguistics.

[8] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[9] Ondřej Bojar, Yvette Graham, and Amir Kamran. Results of the WMT17 metrics shared task. In Proceedings of the Second Conference on Machine Translation, pp. 489-513, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[10] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning robust metrics for text generation. In Proceedings of the 58th Annual Meeting of the Asso- ciation for Computational Linguistics, pp. 7881-7892, Online, July 2020. Association for Computational Linguistics.

図 A. 1 翻訳精度と分類スコアの散布図

 \\

表 A. 1 +BoW の有効性を示す例. 下線部は検出された箇所を示している.

 \\

表 A. 2 翻訳が難しい表現が検出できた例。下線部は上段では検出された箇所を示しており下段では対応する訳を示して いる.


# Understanding Why Polysemous Words Translate Poorly from a Calibration Analysis Perspective

Yucong $\mathrm{Wu}^{1} \quad$ Yusuke Miyao $^{1}$
${ }^{1}$ The University of Tokyo
wu-yucong725@g.ecc.u-tokyo.ac.jp yusuke@is.s.u-tokyo.ac.jp
}

\begin{abstract}
Neural machine translation models have difficulty in translating polysemous words accurately. We hypothesize that this is because the translation models have calibration errors, i.e., the models give too low probabilities to rare senses and too high probabilities to frequent senses. To test this hypothesis, we propose a calibration analysis framework that observes how calibration errors change under different setups. Calibration errors of models' predictions are measured in terms of sense frequency and part of speech. The results indicate that machine translation models are underconfident in less frequent translations and overconfident in more frequent ones.
\end{abstract
## 1 Introduction

Language learners often feel confused about certain usages of a word or phrase. Especially for those words with multiple meanings, it's hard to grasp the exact meaning or explanation for the whole sentence. Even though they refer to a dictionary, simple and abstract definitions sometimes make them feel more confused about the meaning of polysemous words. Resorting to machine translation unconditionally would not be a good choice [1].

In this paper, we perform calibration analysis on translation probability of polysemous words. Calibration analysis aims to figure out how and when we can trust and accept the translations produced by neural machine translation models. Calibration errors measure the difference between confidence score and prediction accuracy, and is a trustworthiness evaluation in high-stakes tasks like self-driving and medical diagnosis [2]. A model is called calibrated only when its prediction confidence matches its accuracy. Figure 1 shows two translations produced by a calibrated model given the English sentence. We could accept the

Figure 1: Two translations produced by a calibrated model. The numbers indicate the confidence score for the highlighted token

first sentence as the translation of 'edge' because its confidence is high. For the same reason, we should abandon the second because of the low confidence given by the calibrated model. Language learners can accept translations of the calibrated translation model based on its confidence.

We create a dataset containing polysemous words and their acceptable translation set to support our calibration analysis. We use accuracy-confidence plots to show the calibration errors of models on varied confidence bins. We also compare the tendencies of confidence distributions under different setups including sense frequencies and parts of speech. Our results show that machine translation models are underconfident in less frequent translations but overconfident in more frequent translations, which responses the question in the title.

## 2 Background

Calibration analysis has been applied to neural networks and machine translation models to help us know when the prediction could be trusted better. Guo et al. [3] observed that modern neural networks suffer from overconfidence about their predictions, and the lack of regularization might be a possible reason. Wang et al. [4] found that neural machine translation is not only overconfident in high-confidence predictions but also underconfident in low-confidence predictions. Kumar et al. [5] claimed that calibration helped improve interpretability, but the end-of-
sentence token is severely overconfident, causing translation to end quickly. Post-hoc calibration strategies including temperature scaling [6] and histogram binning [7] have been proposed to mitigate calibration errors produced by machine translation models.

DiBiMT [8] is an existing polysemous translation dataset. It evaluates whether different senses of polysemous words can be translated correctly. However, the previous polysemous translation dataset suffers from insufficient number of sentences and simple structures as we describe in Section 3.

Expected calibration error (ECE) is a popular metric to evaluate the extent of calibration errors of a model's prediction [9]. The confidence axis [0,1] is divided into bins with equal sizes, i.e., $B=\left.\{X_{1}, \cdots, X_{|B|}\right.\} . X$ is the set of all predictions. ECE is calculated among $|B|$ bins by using the weighted average of absolute differences between accuracy $\operatorname{Acc}(X)$ and confidence $\operatorname{Con} f(X)$.

$
E C E=\sum_{i=1}^{|B|} \frac{\left|X_{i}\right|}{|X|}\left|\operatorname{Conf}\left(X_{i}\right)-\operatorname{Acc}\left(X_{i}\right)\right|
$

$\operatorname{Con} f(X)$ is defined as the average of all prediction probabilities (Eq. 2), where $\Phi(x)$ is the prediction probability on the sample $x$ from the bin $X$. $\operatorname{Acc}(X)$ is defined as the ratio of correct predictions (Eq. 3), where $\hat{y}(x)$ indicates the prediction given by the model and $\square()$ is the indicator function:

$
\begin{aligned}
\operatorname{Conf}(X) & =\frac{1}{|X|} \sum_{x \in X} \Phi(x) \\
\operatorname{Acc}(X) & =\frac{1}{|X|} \sum_{x \in X} \square(\hat{y}(x)=y)
\end{aligned}
$

## 3 Method

In this research, we investigate the translation quality of polysemous words using calibration error analysis. We collect a translation corpus containing polysemous words to support our calibration analysis. All of our corpora are obtained or transformed from Projekt Deutscher Wortschatz [10] Corpora English and WordNet [11] example sentences. We create a dataset with two thousand sentences containing polysemous words from the collected corpora. Our dataset consists of triples $(s, l, \mathscr{G})$, where $s$ is a source sentence, $l$ is a dictionary form (lemma) of a target polysemous word, and $\mathscr{G}$ is a set of acceptable translations

Table 1: Statistics of translation datasets containing polysemous words

for $l$. An example is:

("I'm a little on edge right now.", edge, $\{$ 緊張 $\}$ )

Table 1 compares the major statistics of our created dataset with DiBiMT. It shows that our dataset provides a larger number of sentences for each polysemous word, and the average length indicates our dataset contains sentences with more complicated structures.

Calibration analysis is to observe how ECE and translation accuracy would change in different groups of polysemous words. The groups are divided based on sense frequencies or POS tags. ECE is used to measure the extent of calibration errors for translation probability of polysemous words. $S$ represents the source sentence, $X$ for the polysemous word, $Y=Y_{1} \cdots Y_{N}$ for the translation sequence. $M(S, X, Y)$ indicates the index set in $Y$ corresponding to $X$. The translation probability $\Phi(X, Y)$ of polysemous word is defined below:

$
\Phi(X, Y)=\prod_{t \in M(S, X, Y)} P\left(Y_{t} \mid X, Y_{<t}\right)
$

We run M2M100 [12] translation models on our dataset using its initial setup. $\operatorname{Con} f(X)$ can be calculated by substituting $\Phi(x)$ in Eq. 2 with Eq. 4. $|B|$ is set to 10 . A translation is correct if and only if the corresponding translation of lemma is in $\mathscr{G}$.

## 4 Experiment

## 4.1 Analysis on Sense Frequency

We divide all senses into Most Frequent Sense (MFS), Frequent Senses (FS+), and Less Frequent Sense (LFS) based on their prior distribution in the corpus. MFS indicates the sense with the largest frequency, FS+ represents those senses in a descending order whose frequencies are cumulatively greater than $70 \%$, and other senses are called LFS.

Figure 2 demonstrates the calibration errors within MFS, FS+, and LFS groups, respectively. We discover that the

Figure 2: Accuracy-confidence plot for MFS, FS+, and LFS. The $\mathrm{X}$ axis shows confidence bins and the $\mathrm{Y}$ axis shows accuracy. Black bars indicate the minimum of accuracy and confidence, and red bars represent the difference between confidence and accuracy. The $45^{\circ}$ lines represent perfect calibration, i.e., accuracy matches confidence exactly. Under/over confidence depends on whether the red bar is above/below the line.

Table 2: ECE and accuracy for different sense frequencies

model is underconfident in low-confidence bins and overconfident in high-confidence bins when considering MFS samples only. The calibration of models changes slightly in FS+. In the highest confidence bin, it becomes underconfident. It shows well-calibrated in near high-confidence bins but still under-confident in low-confidence bins.

Comparing LFS with MFS and FS+, we find that the borderline between underconfident and overconfident bins moves to the left side of the axis from the 9th bin to the 7 th. The difference between accuracy and confidence within each bin, i.e., the area of red bars, also declines. Despite its low accuracy, it demonstrates that the model is much more calibrated in less frequent sense sample sets.

Table 2 exhibits ECE and translation accuracy when only MFS, FS+, and LFS are used, as well as the mix of MFS and FS+. We can see the marginal decrease in ECE and accuracy in the LFS set. Although the accuracy decreases in LFS, the lower ECE shows that the model is much more calibrated in less frequent sense samples. It would be misleading if the machine translation model shows high confidence scores in low-accurate predictions. Comparing FS+ to MFS, we can also observe a slight decrease in ECE and accuracy. Less frequent sense would reduce translation accuracy and lower expected calibration errors.

Figure 3 shows the confidence distribution of correct

Figure 3: Kernel density estimation (KDE) curves of confidence distributions in LFS, MFS, and FS+. The wider the horizontal line is, the larger the distribution density is. $($ Gaussian Kernel, bandwidth $=12$ )

translations. We extracted all correct translations and group these translations into LFS, MFS, and FS+ according to their sense frequencies to draw this figure. Observing the distribution of LFS, there is a peak on low confidence bins of the KDE curve. Low confidence for most predictions indicates that models are uncertain about their decision even though it is correct. The current LFS group consists of all the samples we concern about, i.e., rare senses of polysemous words. The peak on low confidence bins indicates that the model is inclined to put too low probabilities on these tokens. This conclusion gives an available response toward the question in the title.

MFS shows different tendencies than LFS and FS+. Its peak is in the upper of the confidence axis and MFS puts less weight on the low confidence bin. The distribution

Figure 4: Accuracy-confidence plot for adjectives, nouns, and verbs.

Table 3: ECE and accuracy for different POS

shows that models are confident about their translations of the most frequent sense. The reason is thought to be that models have seen sufficient numbers of MFS samples during training, and learned the pattern for collocation of MFS and other words, and hence uncertainty like LFS and FS+ disappears. The KDE curves of MFS, FS+, and LFS differ in shapes. LFS and FS+ are similarly bowlingshaped, whereas MFS is like a spindle.

## 4.2 Analysis on Part of Speech

Figure 4 illustrates calibration errors for adjectives, nouns, and verbs. All three major POS are underconfident in low-confidence bins but differ a little in highconfidence bins. Nouns and verbs are overconfident in high-confidence bins, while adjectives are underconfident in high-confidence bins. Verbs have higher accuracy in low-confidence bins than nouns. Adjectives are underconfident among all confidence bins.

Table 3 shows that noun senses have the smallest ECE, and adjectives have the largest. Adjectives have the lowest accuracy, but nouns have the highest accuracy.

Figure 5 analyzes the confidence distribution of correct translations for nouns, verbs, and adjectives. If a lemma has two senses with different POS, it will be much easier for models to discriminate its sense and translate it into correct expressions. Because nouns are the largest senses, there are plenty of lemmas having both noun and other POS senses. Therefore, the density would focus on and above

Figure 5: KDE curves for nouns, verbs, and adjectives. $($ Gaussian kernel, bandwidth $=12)$

the middle bins and the KDE curve of the noun distribution looks like bell-shaped distribution. Verbs and adjectives have similar spindle-shapes in confidence distribution, i.e., the lower confidence bins have a higher frequency density whereas higher confidence bins have a lower density.

## 5 Conclusion

We created a machine translation test set containing polysemous words based on Projekt Deutscher Wortschatz and WordNet. We applied calibration analysis to the quality of polysemous word translation to investigate why polysemous words translate poorly. The proposed framework contains a comprehensive analysis on sense frequency and POS. Our analysis on sense frequency provides an effective perspective to show how the calibration errors of models change as sense frequency decreases. We also discover that nouns, verbs, and adjectives differ in confidence distribution shapes. Correct translations in LFS tend to report relatively low confidence, and this could response to the question in the title.

## References

[1]Frederick Liu, Han Lu, and Graham Neubig. Handling homographs in neural machine translation. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pages 1336-1345, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[2]Holger Caesar, Varun Bankiti, Alex H. Lang, Sourabh Vora, Venice Erin Liong, Qiang Xu, Anush Krishnan, Yu Pan, Giancarlo Baldan, and Oscar Beijbom. nuscenes: A multimodal dataset for autonomous driving, 2019.

[3]Chuan Guo, Geoff Pleiss, Yu Sun, and Kilian Q. Weinberger. On calibration of modern neural networks. In Proceedings of the 34th International Conference on Machine Learning - Volume 70, ICML'17, page 1321-1330. JMLR.org, 2017.

[4]Shuo Wang, Zhaopeng Tu, Shuming Shi, and Yang Liu. On the inference calibration of neural machine translation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 3070-3079, Online, July 2020. Association for Computational Linguistics.

[5]Aviral Kumar and Sunita Sarawagi. Calibration of encoder decoder models for neural machine translation. CoRR, abs/1903.00802, 2019.

[6]PLATT J. C. Probabilistic outputs for support vector machines and comparisons to regularized likelihood methods. Advances in Large Margin Classifiers, 1999.

[7]Bianca Zadrozny and Charles Elkan. Obtaining calibrated probability estimates from decision trees and naive bayesian classifiers. In Proceedings of the Eighteenth International Conference on Machine Learning, ICML '01, page 609-616, San Francisco, CA, USA, 2001. Morgan Kaufmann Publishers Inc.

[8]Niccolò Campolungo, Federico Martelli, Francesco Saina, and Roberto Navigli. DiBiMT: A novel benchmark for measuring Word Sense Disambiguation biases in Machine Translation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 4331-4352, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[9]Mahdi Pakdaman Naeini, Gregory F. Cooper, and Milos Hauskrecht. Obtaining well calibrated probabilities using bayesian binning. In Proceedings of the Twenty-Ninth AAAI Conference on Artificial Intelligence, AAAI'15, page 2901-2907. AAAI Press, 2015.

[10]Uwe Quasthoff. Projekt deutscher wortschatz. In Gerhard Heyer and Christian Wolff, editors, Linguistik und neue Medien. Proc. 10. Jahrestagung der Gesellschaft für Linguistische Datenverarbeitung., Wiesbaden, 1998. Deutscher Universitätsverlag.

[11]George A. Miller. WordNet: A lexical database for English. In Human Language Technology: Proceedings of a Workshop held at Plainsboro, New Jersey, March 8-11, 1994, 1994.

[12]Angela Fan, Shruti Bhosale, Holger Schwenk, Zhiyi Ma, Ahmed El-Kishky, Siddharth Goyal, Mandeep Baines, Onur Celebi, Guillaume Wenzek, Vishrav Chaudhary, Naman Goyal, Tom Birch, Vitaliy Liptchinsky, Sergey Edunov, Edouard Grave, Michael Auli, and Armand Joulin. Beyond english-centric multilingual machine translation. J. Mach. Learn. Res., 22(1), jul 2022.


# 双方向翻訳モデルの相互学習による 対訳語彙の教師なし獲得過程の調査

谷川玩磨秋葉友良塚田元
豊橋技術科学大学
\{tanigawa.takuma.fu, akiba.tomoyoshi.tk, tsukada.hajime.hl\}@tut.jp

## 概要

本稿では，データ拡張手法である Iterative Backtranslation（IBT）を用いたドメイン適応による単言語資源からの知識獲得について調査を行った. 我々 の先行研究では，2 言語の単言語コーパスに分かれ て出現する互いに翻訳関係にある語のぺア (対訳語彙) であっても，IBTを繰り返すことで次第に対訳 として翻訳できるようになることを明らかにした。今回の実験では，それらの対訳語彙について，詳し い獲得の過程や条件について掘り下げを行った. そ の結果，対訳語彙の獲得には，単言語データでの対訳語彙の出現回数が関係していることが明らかにな るとともに，対訳語彙が出現する文中の文脈が関係 していることが示唆された.

## 1 はじめに

ニューラル機械翻訳（NMT）の翻訳精度には学習 データに使用する対訳コーパスの量と質が大きく関 わっている. しかし, 特定のドメインでは十分な量 の対訳コーパスを用意することが困難であるとい う問題がある。 そこで，比較的収集が容易な単言語 コーパスを用いる手法が提案されている。そのよう な手法の一つとしてデータ拡張手法である Iterative Back-translation(IBT)[1][2][3][4] を用いたドメイン適応が知られている. IBT は，翻訳対象言語対の 2 つ の単言語コーパスを相互に逆翻訳とモデルの更新を 繰り返し行うことで，疑似対訳データと翻訳モデル の質を向上させることができる.

我々の先行研究 [5] では IBT による単言語コーパ スからの知識獲得の過程を，2 言語の単言語コーパ スのみに出現する互いに翻訳関係にある語のペア (対訳語彙) の獲得を調べることによって調査した. その結果，対訳語彙は IBT の反復を繰り返すごとに 獲得していき，最終的には獲得可能な 6 割以上の対訳語彙を獲得できていることがわかった.しかし，対訳語彙の詳しい獲得過程や獲得条件などについ ては明らかにはできていなかった。そのため本稿で は，対訳語彙の獲得についてさらなる掘り下げを 行った. 具体的には，単言語データでの対訳語彙の 出現頻度が対訳語彙獲得率に与える影響, 対訳語彙 ごとの IBT の逆翻訳結果上での獲得率，獲得できな かった対訳語彙について調査を行った。その結果,対訳語彙の獲得過程については，テストデータで獲得できていた対訳語彙の約 7 割が，IBT の 1 回目の 逆翻訳時点でどちらかの翻訳方向で少なくとも 1 箇所で翻訳結果に出力できている事がわかった。ま た，単言語コーパスのどこかで 1 度でも翻訳に成功 すれば，その後の反復で次第に他の箇所でも翻訳が 成功するようになり，対訳語彙獲得につながること が観察された。 さらに，獲得の条件については，単言語データ上での出現回数が重要であることがわ かった。加えて，対訳語彙の獲得には語の出現する 文脈が大きく関係していることも示唆された.

## 2 Iterative Back-translation(IBT)

Iterative Back-translation(IBT) によるドメイン適応手法の手順を説明する．ここで，Xと $\mathrm{Y}$ はそれぞれ の言語を示し，言語 $\mathrm{X}$ から Y の翻訳を X-Y，Y から $\mathrm{X} へ$ の翻訳を $\mathrm{X}-\mathrm{Y}$ と記す。

1. ドメイン外の対訳コーパス $\mathrm{C}_{\mathrm{X}}^{\text {out }}$ と $\mathrm{C}_{\mathrm{Y}}^{\text {out }}$ を用い $\tau$, Model $_{\mathrm{X}-\mathrm{Y}} 0$ と Model $_{\mathrm{Y}-\mathrm{X}} 0$ を学習する.

2. i 初期化して以下を反復する。

2.1 ドメイン内単言語コーパス $\mathrm{C}_{\mathrm{Y}}^{\mathrm{in}}$ Model $_{\mathrm{Y}-\mathrm{X}} \mathrm{C}$ により翻訳し，疑似対訳コー パス ( $\mathrm{C}_{\mathrm{X}}^{\text {in }}, \mathrm{C}_{\mathrm{Y}}^{\text {in }}$ ) を作成する. 疑似対訳コー パスと $\left(\mathrm{C}_{\mathrm{X}}^{\text {out }}, \mathrm{C}_{\mathrm{Y}}^{\text {out }}\right.$ )を結合した学習データ を用いて， Model ${ }_{X-Y}$ から Fine-tuning を行 い Model $_{\mathrm{X}-\mathrm{Y}}(\mathrm{i}+1)$ を学習する.

2.2 ドメイン内単言語コーパス $\mathrm{C}_{\mathrm{X}}^{\mathrm{in}}$

図 1 Iterative Back-translation の手順

Model $_{\mathrm{X}-\mathrm{Y}} \mathrm{i}$ により翻訳し，疑似対訳コー パス ( $\left.\mathrm{C}_{\mathrm{Y}}^{\text {in }}, \mathrm{C}_{\mathrm{X}}^{\mathrm{in}}\right)$ を作成する. 疑似対訳コー

を用いて， Model $\mathrm{Y}_{\mathrm{X} \text { X }}$ から Fine-tuning を行 い $\operatorname{Model}_{\mathrm{Y}-\mathrm{X}}(\mathrm{i}+1)$ を学習する.

## $2.3 \mathrm{i \leftarrow \mathrm{i}+1$}

IBT により対訳語彙が獲得される原理は，次のよ うに説明できる. 言語 $X$ の語 $x$ と $Y$ の語 $y$ が対訳語彙 $(x, y)$ であったとする. IBT の初期の翻訳モデル Model $_{X-Y} 0$ では $X$ の単言語コーパスに出現する $x$ を $y$ に翻訳する事はできないはずである。しかし，逆翻訳によって生成される擬似対訳には，X言語側 には単言語コーパスの $x$ を含む文そのままが， $Y$ 言語側には $(y$ は出現しないとしても)“ $x$ のコンテキ ストの翻訳”( $\approx$ “ $y$ のコンテキスト”)を含む文が得ら れる. この擬似対訳を使って Model $_{Y-X} 1$ を学習す ると,$y$ および“ $y$ のコンテキスト”は， $x$ および “ $x$ のコンテキスト”に翻訳される可能性が出てくる. IBT の反復を繰り返すにつれて，次第に $(x, y)$ を含 む擬似対訳が生成される確率も上昇し, 最終的に対訳語彙が獲得されると考えられる。

## 3 調査手法

ドメイン内知識の獲得の過程を確認するために，本実験では対訳語彙の獲得を調査した。言語 $\mathrm{X}$ と言語 $\mathrm{Y}$ の対訳語彙獲得を調査するために行った手順は 以下のとおりである.表 1 種類ごとの対訳語彙の例

1. ドメイン内の学習データに存在する単語とドメ イン外の学習データに存在する単語について, それぞれのドメインの学習データから単語を列挙することで調べる。それによりテストデータ 中のドメイン内にのみ存在する単語を特定し， そのようにして特定した単語の集合を $\mathrm{D}_{\mathrm{X}}$ と $\mathrm{D}_{\mathrm{Y}}$ とする.

2. 単語アライメントツール (Moses[6] 付属の GIZA++)を用いて言語 $\mathrm{X}$ と言語 $\mathrm{Y}$ のテストデー タ間の単語アライメントを作成する。そのアラ イメントの単語対応がともに $\mathrm{D}_{\mathrm{X}} ， \mathrm{D}_{\mathrm{Y}}$ に含まれ ているもの $\mathrm{T}=\left.\{\left(\mathrm{w}_{\mathrm{X}}, \mathrm{w}_{\mathrm{Y}}\right) \mid \mathrm{w}_{\mathrm{X}} \in \mathrm{D}_{\mathrm{X}}, \mathrm{w}_{\mathrm{Y}} \in \mathrm{D}_{\mathrm{Y}}\right.\}$ を 対訳語彙とする。

3. IBT の翻訳モデルによってテストデータの翻訳 を行い， $\mathrm{T}$ の対訳語彙の入力側の単語 $\mathrm{w}_{\mathrm{X}} \in \mathrm{D}_{\mathrm{X}}$ それぞれに対して，翻訳結果に対応した単語 $\mathrm{w}_{\mathrm{Y}} \in \mathrm{D}_{\mathrm{Y}}$ が出力されていれば，その対訳語彙が 獲得できているとする。

4. モデルごとの対訳語彙の獲得を比較するため に，全テストデータの対訳語彙の入力延べ数に 対する対訳語彙を獲得できた割合を対訳語彙獲得率と定義する。

## 4 実験

先行研究の BPE での実験結果をもとにさらなる 対訳語彙の調査を行った. まず，対訳語彙について 幾つかの種類に区別を行い，それぞれの種類ごとの 対訳語彙の獲得について調査を行った. 区別した種類として，対訳語彙のペアがそれぞれ同じ単語であ る「自明」，対訳語彙のペアが自明な語以外で翻字 の関係にある「カタカナ」, 日本語側の対訳語彙が すべて漢字である「漢字」，以上のどれにも当ては まらない「その他」の 4 種類に区別した. 種類ごと の対訳語彙の例を表 1 に示す. 以降の分析は，「そ の他」を除く前者 3 種類について行った。
表 2 モデルごとの逆翻訳できた対訳語彙の割合の一例

図 2 学習データでの出現回数ごとの対訳語彙獲得率

表 3 誤った翻訳の一例

## 4.1 学習データ中での出現回数

対訳語彙が単言語データ中に出現する回数が対訳語彙獲得率にどのように影響するかを調べるため に, 対訳語彙の出現回数ごとの対訳語彙獲得率調べ た. 英日方向でのそれぞれの種類と出現回数ごとの 対訳語彙の獲得率についての結果を図 2 に示す. 出現回数が多い場合「自明」が最も高く,「カタカナ」 と「漢字」の対訳語彙が同じくらいの結果となっ た.また「「カタカナ」と「自明」は学習データ中で の出現回数が少ない対訳語彙でも獲得されていた. これはこの 2 種類は対訳語彙のペアが翻字の関係で あることが関係していて，自明な語の場合は特にサ ブワード化の影響を大きく受けているからだと考え られる。

図 3 Modeliごとの初めて翻訳結果に出力できた対訳語彙の割合

## 4.2 対訳語彙の獲得過程

対訳語彙の獲得の過程について詳しく調査を行 うために，単言語コーパスの逆翻訳結果を観察し， IBT の Model i がどの程度対訳語彙のソース側を ターゲット側に翻訳できているかの割合 (翻訳率)を 調査した. 調査の対象とする対訳語彙については, サブワードの影響を受けづらい「漢字」について，人手でチェックを行ったもののみを対象とした. 獲得過程の結果の一例を表 2 に示す.

対訳語彙の「増幅器」と「amplifier」の例から見 て取れるように，翻訳率は IBT を繰り返すごとに上昇していた。そのため，対訳語彙はある時点で急に 獲得されるというわけではなく, 反復を繰り返すこ とによって徐々に獲得されていくということが分か る。一方，対訳語彙の「同軸」と「coaxial」の場合 は，Mode18 までほとんど割合が上昇することはな かった. 実際，この対訳語彙はテストデータ上でも 獲得に失敗している。

英日，日英の両方向でのテストデータで獲得する ことができていた対訳語彙について，それが始め て逆翻訳結果に出現した Model i 調べた. 結果を 図 3 に示す.この結果から, 約 7 割の対訳語彙は Model 1 から疑似対訳コーパス上に出現しているな ど，多くの対訳語彙は早い段階から獲得が進んでい

図 4 英独実験での対訳語彙獲得率

表 4 英独実験で獲得できた対訳語彙の例

ることが分かる.

## 4.3 獲得できなかった対訳語彙の調査

獲得できていない対訳語彙について注目して調査 を行った. 具体的には, 獲得できなかった対訳語彙 が本来翻訳される単語の代わりに何を翻訳している のかについて調べた。結果の一例を表 3 に示す.

ほとんどの獲得できなかった対訳語彙において，本来翻訳されるべき正しい単語の代わりに違う単語が学習されていた。表の対訳語彙の「coaxial」は 「同軸」と翻訳される代わりに「光ファイバ」と翻訳されることが多かった. これは「光ファイバ」と 「同軸」が出現するような文の文脈が近く，なおか つ「光ファイバ」のほうが学習データ中での出現頻度が高いため, 間違えて学習されてしまったと考え られる。これらの調査結果から, 語の出現する文中 の文脈が対訳語彙の獲得に大きく影響していること が示唆された。

一方，対訳語彙の「血友病」の場合は，「血友」を サブワード分割した「血」と「友」の訳語である 「blood」と「friend」に翻訳されていた. 本来の対訳「hemophilia」とも他の語とも文脈に基づく結び付け に失敗したと考えられる。

図 5 英独実験での BLEU

## 4.4 英独翻訳での対訳語彙獲得の調査

異なる言語間での対訳語彙の獲得を確認するため に，英語とドイツ語間での IBT によるドメイン適応実験を行った. データセットには WMT14 データ セットを使用して，News Commentaryコーパスから Europarl コーパスへのドメイン適応実験を行った. Europarl コーパスは単言語コーパスとして使用する ために，全文を半分に分割して英語には前半部分を 使用，ドイツ語には後半部分を使用した. テスト データには WMT06，07，08 の Europarl の test デー タを合わせた対訳 6000 文を使用した。実験条件に ついては先行研究と同様して行った. 対訳語彙獲得率の結果を図 4，BLEU を図 5 に示す. 獲得された 対訳語彙を表 4 に示す. 実験結果より，日本語英語間での実験と同様に対訳語彙を獲得できるというこ とが確認できた.

## 5 結論

本稿では，IBT による対訳語彙の獲得の過程と条件について詳しく調査を行った. IBT の対訳語彙の 獲得の過程については，IBT の反復を重ねるごとに 徐々に逆翻訳結果に対訳語彙が出現するようにな り，その疑似対訳コーパスを学習することで獲得し ていることが分かった。獲得条件については，対訳語彙が単言語コーパス上に出現する回数が，特に漢字の対訳語彙の場合は多いほど獲得には有利である ことが示された．また，対訳語彙の獲得には文脈が 大きく関係しているということが示唆された。

## 謝辞

本研究は JSPS 科研費 $18 \mathrm{H} 01062$ の助成を受けた.

## 参考文献

[1] Vu Cong Duy Hoang, Philipp Koehn, Gholamreza Haffari, and Trevor Cohn. Iterative back-translation for neural machine translation. In Proceedings of the 2nd workshop on neural machine translation and generation, pp. 1824, 2018.

[2] Zhirui Zhang, Shujie Liu, Mu Li, Ming Zhou, and Enhong Chen. Joint training for neural machine translation models with monolingual data. In Proceedings of the AAAI Conference on Artificial Intelligence, pp. 555-562, 2018.

[3] 森田知熙, 秋葉友良, 塚田元. 双方向の逆翻訳を利用し たニューラル機械翻訳の教師なし適応の検討. 情報処理学会研究報告 2018-NL-238 (第 5 回自然言語処理シ ンポジウム), pp. 1-5, 2018.

[4] 森田知熙, 秋葉友良, 塚田元. ニューラル機械翻訳の 反復的逆翻訳に基づくデータ拡張のための混成サン プリング手法. 電子情報通信学会論文誌, Vol. J106-D, No. 04, Apr. 2023. (to appear).

[5] 谷川玩磨, 秋葉友良, 塚田元. Iterative Back-translation は対訳語彙を獲得できるか? 言語処理学会, 第 28 回年次大会, pp. 354-359, 2022.

[6] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, 2007.


# 日英翻訳を対象としたイディオム表現の評価指標の提案

廣瀨惟歩 1 渡辺太郎 ${ }^{1}$
1 奈良先端科学技術大学院大学 自然言語処理学研究室
\{hirose.yuiho.ia8, taro\}@is.naist.jp

## 概要

ニューラル機械翻訳（NMT）の課題の一つして， イディオムなどの非構成的な表現の翻訳が挙げられ る. NMT システムは原文を単語単位で解釈して翻訳するため，非構成的な意味を有するイディオム表現に対しては誤訳が度々生じる。また，既存の自動評価指標は局所的な評価ができず，イディオム表現 の翻訳性能の評価には適さないという問題点があ る. 本研究では, 日本語と英語を対象に，イディオ 么表現の翻訳性能の評価に適した新たな自動評価指標を提案する。具体的には，目的言語側でイディオ ム表現を検出し，その個数と原言語側のイディオム 表現の個数とを比較して, 翻訳モデルの性能を評価 する. 実験の結果，BLEU や BERTScore でのスコア の高さと，全体の出力訳含まれる正しいイディオ ム表現の割合は翻訳モデルによって傾向が異なるこ とが判明した。

## 1 はじめに

Transformer[1] などのニューラル機械翻訳（NMT） システムにとって，複合語表現（MWE）の翻訳は 現状の課題の一つである. MWE の中でも，イディ オム表現は非構成的な意味を持ち, 構成される単語 からは意味を推測できない場合が多い表現である。 NMT システムは翻訳対象となる文章の意味が構成的であることを前提として翻訳を行うため，イディ オム表現を文字通りに解釈する傾向にある。その結果，イディオム表現を直訳もしくは省略する翻訳エ ラーが多々発生する。

また，イディオム表現の翻訳の評価に適した自動評価指標が存在しないことも課題の一つとして挙げ られる．BLEU[2]を始めとするグローバル評価指標 は，翻訳文の全体を考慮するものであり，局所的な 評価ができないため，イディオム表現の翻訳性能の 評価には適さない. イディオム表現の翻訳結果を自動的かつ定量的に評価するには, 既存のグローバル評価指標とは別に，翻訳文の特定の箇所に絞った専用の評価指標が必要とされる.

イディオム表現に対する自動評価指標の先行研究として, Shao ら [3] は英語と中国語のペアを対象 に，イディオム表現を直訳した際に生じるであろう 単語を登録したリストを活用する方法を提案した。具体的には, 翻訳モデルが出力した翻訳文のうち, このリストに登録された単語を含むものの割合を評価スコアとしている. しかし, この手法には, 対応 する単語を逐一手動でリストに登録しなければなら ないという欠点が存在する.

本研究では，日英翻訳を対象とした，イディオム 表現の翻訳性能を評価するための新たな自動評価指標を提案する. 具体的には，イディオム検出器に よって出力訳のイディオム表現を自動的に抽出し，出力訳と参照訳に含まれるイディオム表現の割合の 類似度で翻訳モデルを評価する。

イディオム検出器の構築，並びに既存の翻訳モデ ルでの日英翻訳に対する評価実験の結果，BLEU と BERTScore のスコアが最大である翻訳モデルと，提案手法での評価スコアが最大である翻訳モデルが異 なると判明した.この結果は, BLUE や BERTScore といったグローバル自動評価指標では, 機械翻訳の 出力訳に含まれるイディオム表現を正しく認識でき ないことを示していると言える。

## 2 関連研究

イディオム表現の翻訳結果を BLEU などのグロー バル評価指標で評価した研究は, Fadaee ら [4]によ るものを始め, 数多く存在する. Fadaee らの研究で は，イディオム表現に特化したデータセットの機械翻訳結果の BLEU スコアが，イディオム表現を含ま ない標準データセットの機械翻訳結果よりも低下し たことが示されている.

イディオム表現の自動評価指標に関する先行研究には, Zaninello ら [5] によるものが挙げられる. Zaninello らは英語とイタリア語のペアを対象に，

MEW に対する参照訳と出力訳を文字単位で考慮し，双方のレーベンシュタイン距離を算出して，データ セット全体の評価スコアを得る手法を考案した。

他にも，Shao ら [3] は英語と中国語のぺアを対象 に，イディオム表現に対する自動評価指標として，独自で構築したブラックリストを用いた評価方法を 提案した. このリストには，対象となるイディオム 表現を直訳した際に生じると思われる単語が登録さ れる。そして，イディオム表現を含む文章を機械翻訳モデルに翻訳させ，出力された全ての文字列のう ち，リストに登録された単語を含むものの割合を評価スコアとしている.

Shao らの手法では手作業でこのブラックリスト を構築しているが，Christos ら [6] はこの研究をもと に，自動アルゴリズムを活用して故意にイディオム 表現の直訳エラーを起こし，それによって得られた 単語を自動的にリストに登録する手法を提案した。

## 3 提案手法

本研究では，イディオム表現の自動検出器を作成 し，それぞれの出力訳および参照訳の文中からイ ディオム表現を自動的に抽出して, 全体の出力訳の うち, 参照訳と同様のイディオム表現がどれほど含 まれているかによって翻訳モデルの性能を評価する 指標を提案する.

## 3.1 イディオム表現の自動検出

初めに，出力訳に含まれるイディオム表現の候補 が実際に比喻的な意味であるのか，あるいは文字通 りの意味であるのかを判別するためのイディオム 検出器を作成する. 自動検出器を作成するには，イ ディオム表現を含む例文を用意し，各文のイディオ ム表現の位置をアノテーションした上で学習を行 う必要がある. 本研究ではイディオム表現を含む例文のリストとして, Wiktionary のイディオムカテゴ リ1)を活用した. このカテゴリには 7990 種類の英語のイディオム表現が掲載されており，その内 5519 種類のイディオム表現には用例も掲載されている.

これらの用例を抽出し, 各英文の単語に BIO/BIEO タグ形式でイディオム表現の位置をアノテーション したデータセットを用いて，BERT[7]の系列ラベリ ングモデルでタグの推論を行い，イディオム表現の 自動検出器を作成した.

表 1 検出実験時のデータセットの内訳

## 3.2 評価手法

機械翻訳モデルの出力訳を $\hat{y}$ ，参照訳を $y$ とした とき，それぞれの訳文から抽出されたイディオム表現の個数（ $f(y)$ と定義）をもとに適合率，再現率， F1 スコアを計算する。すなわち，出力訳と参照訳 のそれぞれの訳文に含まれるイディオム表現の数が 同等であれば，それらは一致しているという仮定を 置き，その上で対象となる翻訳モデルがどれほどイ ディオム表現を出力できるかを見てその性能を評価 する。この仮定を置いた理由は，イディオム表現が 検出されたとしても，該当する出力訳と参照訳で単語列が完全に一致することは稀であると判断したた めである. 訳文の総数を $n$ とすると，提案手法の適合率 (Pre.)，再現率（Rec.）はそれぞれ (1)，(2) 式の ように表される.

$
\begin{aligned}
\text { Pre. } & =\frac{\sum_{i=1}^{n} \min \left(f\left(\hat{y}_{i}\right), f\left(y_{i}\right)\right)}{\sum_{i=1}^{n} f\left(y_{i}\right)} \\
\text { Rec. } & =\frac{\sum_{i=1}^{n} \min \left(f\left(\hat{y}_{i}\right), f\left(y_{i}\right)\right)}{\sum_{i=1}^{n} f\left(\hat{y}_{i}\right)}
\end{aligned}
$

## 4 実験

## 4.1 イディオム表現の検出

イディオム検出器の train 及び test データセット は，上述した Wiktionary のイディオムカテゴリに掲載された用例を抽出して構築した。具体的には，抽出によって得られた 12,851 文の英文を 9:1 の割合で train と test データセットに分け, 双方のデータセッ トに対して, OpenSubtitle2016コーパスから抽出し たイディオム表現のない英文を追加した. イディオ ム検出器の学習, 評価に用いたデータセットの内訳 を表 1 に示す.

英文中のイディオム表現をモデルに認識させるた め, 英文の各単語に $\mathrm{B}, \mathrm{I}, \mathrm{O}$, もしくは（BIEO 方式の 場合）Eのタグを割り当て，train データを用いてモ デルに文中のイディオム表現のタグ及びスパンを学
表 2 イディオム検出の各スコア

図1タグを割り当てた例文

習させた. 具体的には，イディオム表現の始めの単語には Bを，それ以降のイディオム表現を構成する 単語には Iを，イディオム表現の終わりの単語には $\mathrm{E}$ を，それ以外の単語には $\mathrm{O}$ を割り当てた. 英文に タグを割り当てた例を図 1 に示す.

なお，学習モデルは BERT モデル [7] の一種であ る Bert-base-multilingual-cased を使用した。学習時の 設定は BIO/BIEO タグともに max_seq_length $=128$ と した.

## 4.2 イディオム表現の翻訳

イディオム表現の翻訳に用いるデータセットの 構築には, OpenSubtitle2016コーパス [8]を活用し た. OpenSubtitle2016 は映画や TV 番組の字幕を収集したコーパスであり, 英日データセットでは約 2,083,600 の対訳文が収録されている。このコーパ スを本研究に用いた理由は，イディオム表現は基本的にカジュアルな会話や文章で用いられるもので あり，字幕や小説に特化したコーパスであれば，イ ディオム表現が文中に出現する頻度が高いと判断し たためである.

このコーパスからイディオム表現を含む英文を 抽出するため, Wiktionary のイディオムカテゴリに 掲載されたイディオム表現のうち，例文が付属し た 5519 種類のイディオム表現を抽出し, それらと 動詞の態を適宜変更したものを併せてイディオム 辞書とした（例えば break the ice というイディオム があれば, broke the ice, breaking the ice, 及び broken the ice をリストに追加した).この辞書を用いて抽出を行った結果，イディオム表現の候補を含む英文 が 306,720 文得られた.これを 8:1:1 の割合で分け， 245,376 文を train データに，30,672 文を $\operatorname{dev}$ 及び test データに割り当てた。 これらのデータセットを基に，beam-searchを用 いた Fairseq, sampling を用いた Fairseq, Huggingface を活用して日英データセットで fine-tuning を行った T5-Base モデルの 3 つで学習を行い, test データセッ トで日英翻訳を実施した。その上で，各翻訳結果に 対して BLEU, BERTScore, 提案手法の 3 つのスコ アを計測し。異なる翻訳モデルに対して提案手法に よる評価スコアがどのような傾向を示すのかを確認 した。なお, Fairseq と T5-Base の学習時の設定は双方ともに学習率 $7 \mathrm{e}-4$, epoch 数 30 , 最大トークン数 6000 とし，翻訳時の設定は beam-width $=5$ とした.

## 5 結果

## 5.1 イディオム検出器の評価

検出モデルの評価は，BIO タグ方式と BIEO タグ 方式それぞれに対し，Tag-base と Span-base の両方 で行った. イディオム表現の検出モデルによる予測結果の各スコアを表 2 に示す.

表 2 の Tag-base で，Pre. はモデルが予測した B， I，Eタグのうち実際に正解である割合， Rec. は test データセット内の $\mathrm{B}, \mathrm{I}, \mathrm{E}$ タグのうちモデルが正し く予測できた割合を示す. Span-baseでは，Pre. はモ デルが予測したスパンのうち正解と完全一致する割合，Rec. は test データセット内のスパンのうちモデ ルが予測したスパンと完全一致する割合を示す.

表 2 を見ると，BIO タグ方式のスコアが $\mathrm{BIEO}$ タ グ方式のスコアを全体的に上回っており，正解率に 関しては双方ともに 96\%以上を記録していることが 分かる。一方で，Span-base における再現率は最高 でも $64 \%$ に留まっており, test データセットのうち 6 割ほどのイディオム表現のスパンしか検出できな かったことが窥える。

## 5.2 翻訳結果の評価

beam-search もしくは sampling を用いた Fairseq，並 びに T5-Base モデルに対する BLEU，BERTScore，提案手法のスコアを表 3 に示す. BIO と BIEO の項は，翻訳モデルの出力訳に対して BIO もしくは BIEO 夕
表 3 イディオム翻訳の評価結果

図 2 タグ予測の例

グで学習したイディオム検出器でイディオム表現の 抽出を実行し，抽出されたイディオム表現をもとに 提案手法での評価を行った結果を表す。

表 3 の提案手法の項目を見ると，BIO 及び BIEO ともに全ての翻訳モデルの適合率が低く，イディオ ム表現が含まれる英文を翻訳モデルがさほど出力 できなかったことが窺える．T5-Base に関しては， BLEU と提案手法の適合率の双方で低い結果が出て いる。一方で翻訳モデルごとの評価スコアを見る と, BLEU, BERTScore ともに beam-search を利用し た Fairseq が最大であるのに対し，提案手法でのス コア算出法では，sampling を利用した Fairseq が最も 高いスコアを出している。

## 6 分析

## 6.1 イディオム表現の検出

作成したイディオム検出器の性能を測る実験にお いて, 検出器の予測結果を見ると, 図 2 のように, イディオム表現の途中に目的語などが入る場合には タグを正しく推測できないケースが多く見られた。 このような長大かつ語彙的変化を受けているイディ オム表現を正確に検出させるためには，目的語の異 なるイディオム表現のデータを充実させ, 検出器の 学習の段階でイディオム表現のパターンを認識させ る必要があると思われる。

また，実際にはイディオム表現でない箇所を検出器が誤検出したケースも多々見られた。一方で，実際にはイディオム表現であるにも拘らず，データ セットの構築段階でアノテーションされていなかっ たものを検出できていた場合も少数ながらあった。

図 3 翻訳モデルの出力訳の例

## 6.2 イディオム表現の翻訳

イディオム表現の翻訳に関する実験において，各翻訳モデルの翻訳結果の一例を図 3 に示す.ここ で，原言語側の日本語文は「あなたは短気を起こ すべきじゃなかった」，目的言語側の英文は「You shouldn't have lost your temper」であり，含まれるイ ディオム表現は lost your temper である. 表 3 に示さ れている通り，sampling を用いた Fairseq は参照訳と ほぼ同様のイディオム表現を出力できている.

## 7 結論と今後の課題

本研究では，イディオム表現の機械翻訳という分野を対象に，全体の出力訳のうち，参照訳と同様の イディオム表現を含む割合をスコアとする評価指標 を提案した。実験の結果，BLEU や BERTScore での スコアが比較的高い翻訳モデルでも，イディオム表現を含む文章を出力するのは困難であることが判明 した.

今後の課題として，イディオム表現の検出に関し ては，語彙的変化を受けるイディオム表現や，途中 に長い目的語を取るイディオム表現を正確に検出す る方法を探る必要がある.

また，提案手法の評価指標についても，他の翻訳 モデルに対して同様の実験を行い，イディオム表現 に対する出力訳の傾向や，提案手法と既存の評価指標との相関関係を確認する必要がある，加えて，本研究では参照訳と出力訳に含まれるイディオム表現 は一致しているという仮定を置いたが，将来的には BERT のベクトル表現を活用し, 双方の距離の近さ を見る必要もある.

## 謝辞

本研究は JSPS 科研費 JP21H05054 の助成を受けた

ものである.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. 2017. https: //arxiv.org/abs/1706. 03762.

[2] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Annual Meeting of the Association for Computational Linguistics, 2002.

[3] Yutong Shao, Rico Sennrich, Bonnie Webber, and Federico Fancellu. Evaluating machine translation performance on Chinese idioms with a blacklist method. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[4] Fadaee Marzieh, Bisazza Arianna, and Monz Christof. Examining the tip of the iceberg: A data set for idiom translation. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[5] Andrea Zaninello and Alexandra Birch. Multiword expression aware neural machine translation. In Proceedings of the Twelfth Language Resources and Evaluation Conference, 2020.

[6] Christos Baziotis, Prashant Mathur, and Eva Hasler. Automatic evaluation and analysis of idioms in neural machine translation. 2022. https://arxiv.org/abs/2210.04545.

[7] Devlin Jacob, Chang Ming-Wei, Kenton Lee, and Toutanova Kristina. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 2019.

[8] Pierre Lison and Jörg Tiedemann. OpenSubtitles2016: Extracting large parallel corpora from movie and TV subtitles. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), 2016.


# ニューラル機械翻訳における Iterative Back-Translation を利用した コンパラブルコーパスの活用

山本 優紀 秋葉 友良 塚田 元
豊橋技術科学大学
\{yamamoto.yuki.pr, akiba.tomoyoshi.tk, tsukada.hajime.hl\}@tut.jp

## 概要

ニューラル機械翻訳 (NMT) の学習に用いる対訳 コーパスの構築法として, 文書単位で対応付けられ た 2 つの言語のコーパス (コンパラブルコーパス) から、対応付けられる文ペアを自動的に抽出する 手法が広く採用されている. しかし, 文単位で意味 が対応するものは少なく,多くの文は抽出されず捨 てられてしまう. 本研究では、対訳コーパスとし て抽出されなかった文を含めて,コンパラブルコー パス全体を NMT の学習に活用する手法を提案す る. 評価実験により, コンパラブルコーパスでデータ 拡張を行うことや, コンパラブル性の利用, Iterative Back-Translation の活用によって翻訳モデルの性能が 向上することを確認した.

## 1 はじめに

機械翻訳の分野では, 深層学習の発達により, ニューラルネットワークを用いるニューラル機械翻訳 (Neural Machine Translation:NMT) が, 従来手法の統計的機械翻訳よりも高い性能を示しており, 様々な 研究が行われている. NMT では, ニューラルネット ワークで構築した翻訳モデルを, 翻訳元の言語 (原言語) の文と,その訳の言語 (目的言語) の文のぺアにし た対訳コーパスを用いて学習を行う. NMT は, 対訳 コーパスから翻訳に関わる様々な知識を学習するた め, 対訳コーパスの質や量が NMT モデルの翻訳性能 に大きく影響する.しかし, 大規模な対訳コーパスを 人手で作成することは困難という問題点がある.

この問題の解決策として, 既存の日本語と英語の 翻訳テキストから対訳コーパスを構築する手法が提案されている.[1]これは, 新聞などの文書単位で対応付けつけられた 2 つの言語コーパス (コンパラブ ルコーパス) から, 対応付けられる文ぺアを自動的
に抽出することで対訳コーパスを構築する方法で ある. しかし,コンパラブルコーパスの中で文単位 で意味が対応するものは少なく,多くの文は抽出さ れずに捨てられてしまう. 実際, 本論文で使用した PatentMT の調査では 1 つの文書から平均約 $27.1 \%$ の文しか抽出されていなかった.

本研究では, 対訳コーパスとして抽出されなかっ た文を含めて,コンパラブルコーパス全体を NMT の 学習に活用する手法を提案する. データ拡張手法と して, 逆翻訳 (Back-Translation:BT)[2] や, その拡張手法である Iterative Back-Translation (IBT)[3][4][5] を利用することで，より効果的なデータ拡張手法を探す. さらに, 上記の手法をコンパラブルコーパスのコン パラブル性を活用して行い, その効果を調べる.

## 2 提案手法

## 2.1 コンパラブルコーパスの再現

本研究では, 対訳コーパスの抽出元であるコン パラブルコーパスを翻訳モデル学習に活用するこ とを目的とする. しかし, 実験で用いる NTCIR-10 PatentMT[6] のコンパラブルコーパスを直接入手す ることができなかったため, 以下の方法で対訳コー パスからコンパラブルコーパスを再現した.
1. $C=\{\}$ と初期化する.

2. 対訳コーパス $P$ の各文ペア $(x, y) \in P$ について 以下を繰り返す。

$2.1 x$ と $y$ の抽出元の文書である $D_{x}$ と $D_{y}$ を特定する。

2.2 特定した $D_{x}$ と $D_{y}$ を文書ペア $\left(D_{x}, D_{y}\right)$ と し, $C$ に $C \leftarrow C \bigcup\left.\{\left(D_{x}, D_{y}\right)\right.\}$ と追加する.

最終的にコンパラブルコーパス $C=$ $\bigcup_{(x, y) \in P}\left.\{\left(D_{x}, D_{y}\right)\right.\}$ が得られる.

## 2.2 データ拡張手法

節 2.1 で構築したコンパラブルコーパスを利用 して, データ拡張を行う. 本研究では, 4 つの手法で データ拡張実験を行い, 比較を行うことで, より効果的なコンパラブルコーパスの活用方法を模索する.

## 2.2.1 Back-Translation

逆翻訳手法 (Back-Translation:BT) は, Sennrich ら [2] の提案した手法である. BT の流れを図 1 に示す. 図 1 では, 言語 $X$ から言語 $Y$ の翻訳モデルの構築 を考えている. はじめに, 対訳コーパスを利用して $Y \rightarrow X$ 方向の翻訳モデル Model $_{Y \rightarrow X} 0$ を作成する.次に,このモデルを用いて, 単言語コーパス $C_{Y}$ mono からサンプリングして得たサブセット $\hat{C}_{Y}$ mono を 逆翻訳し, 翻訳結果 $\hat{C}_{X}^{\prime}$ mono を得る. 翻訳結果と元 の単言語コーパスを組み合わせて疑似対訳コーパ ス ( $\hat{C}_{X}^{\prime}$ mono, $\hat{C}_{Y}$ mono $)$ を構築する. 構築した疑似対訳コーパスと対訳コーパスを混合し, 言語 $X$ から 言語 $Y$ の翻訳モデル Model $_{X \rightarrow Y} 1$ を学習する. 以上 が BT の流れである. 本研究では, 構築したコンパ ラブルコーパス $C=\bigcup_{(x, y) \in P}\left.\{\left(D_{x}, D_{y}\right)\right.\}$ の Y 言語側 $C_{Y}=\bigcup_{(x, y) \in P}\left.\{D_{y}\right.\}$ を単言語コーパスとすることで BTを利用する。

図 1 Back Translation

## 2.2.2 Iterative Back-Translation

Iterative Back-Translation(IBT) は, 原言語の単言語 コーパスと目的言語の単言語コーパスを用いて, BT を双方向かつ反復的に繰り返す手法である. IBT の 流れを図 2 に示す. 図では, 言語 $X$ と言語 $Y$ におけ る IBT の流れを示している. IBT は以下のようにし てモデルを学習する。

1. 対訳コーパスを用いて, $X \rightarrow Y, Y \rightarrow X$ の各方向 の翻訳モデル Model $_{X \rightarrow Y} 0$, Model $_{Y \rightarrow X} 0$ を学習 し, $i \leftarrow 0$ に初期化する.

2. 以下の手順で Model $_{X \rightarrow Y} i$ を更新する.

2.1 Model $_{Y \rightarrow X} i$ で単言語コーパス $C_{Y}$ mono からサンプリングして得たサブセッ ト $\hat{C}_{Y}$ mono を翻訳し, 疑似対訳コーパス ( $\hat{C}_{X}^{\prime}$ mono, $\hat{C}_{Y}$ mono) を得る.

2.2疑似対訳コーパス ( $\hat{C}_{X}^{\prime}$ mono, $\hat{C}_{Y}$ mono) と対訳コーパス $\left(C_{X}, C_{Y}\right)$ を結合し, $\operatorname{Model}_{X \rightarrow Y} i$ を fine-tuning し, $\operatorname{Model}_{X \rightarrow Y}(i+1)$ を学習 する。

3. ステップ 2 と同様に Model $_{Y \rightarrow X} i$ を更新する.
4. $i \leftarrow i+1$ としてステップ 2 に戻る.

本研究では, BT と同じように, 構築したコンパラブ ルコーパスを, 単言語コーパスとすることでIBT を 利用する。

図 2 Iterative Back-Translation
表 1 実験に使用したコーパスサイズ

## 2.2.3コンパラブル性を利用した IBT

コンパラブル性を利用した IBT では, 構築したコ ンパラブルコーパスが文書単位で対応付けられてい ることを利用して, IBT に利用する両言語の単言語 コーパスをコンパラブルになるように選択する方法 である. 具体的には, IBT のステップ 2.1 および 3.1 で 単言語コーパスから $\hat{C}_{X}$ mono および $\hat{C}_{Y}$ mono をサン プリングする際, $\hat{C}_{X}$ mono と $\hat{C}_{Y}$ mono が互いにコン パラブルになるように選ぶ. すなわち, 指定されたサ ンプリングサイズを満たすように最小限のコンパラ ブルコーパスのサブセット $C_{s u b}=\left.\{\left(D_{X}, D_{Y}\right)\right.\} \subset C$ をサンプリングして, $\hat{C}_{X}$ mono $\subseteq \cup_{\left(D_{X}, D_{Y}\right) \in C_{\text {sub }}}\left.\{D_{X}\right.\}$ および $\hat{C}_{Y}$ mono $\subseteq \cup_{\left(D_{X}, D_{Y}\right) \in C_{\text {sub }}}\left.\{D_{Y}\right.\}$ のように単言語コーパスを選択する。

## 3 評価実験

## 3.1 データセット

本研究では, 使用する大規模なコーパスとして 特許機械翻訳テストコレクションである NTCIR 10 PatentMT[6] を使用した. PatentMT は特許文書から文 を抽出することで構築されている対訳コーパスであ る. PatentMT の対訳コーパスから, 2.1 節の方法でコ ンパラブルコーパスを構築した. このとき,数式を含 む文や長い文を除いた. 使用した対訳コーパスと構築したコンパラブルコーパスのサイズを表 1 に示す.

また, PatentMT の対訳コーパスと構築したコンパ ラブルコーパスの関係を調査した. コンパラブル コーパスの全文書は 66,414 文書である. このうちの 20,485 文書は, 文書内の $10 \%$ 以下の文しか対訳コー パスとして抽出されていないことがわかった. また,構築したコンパラブルコーパスを利用することで，約 67\%の文を新しく学習に使用することができるこ とがわかった.表 2 コンパラブルコーパスの効果確認実験の結果

} & \multicolumn{2}{|c|}{ BLEU(dev/test) } \\

## 3.2 データセットの前処理

前処理として英語文, 日本語文ともに NFKC 正規化を行った. また, 英語文は Moses[7] に付属する トークナイザーと truecaser でトークナイズ大文字小文字の表記を統一した. 学習前の事前処理として, SentencePiece[8] で語彙サイズを 16,000 でサブワー ド化を行った.

## 3.3 ニューラル機械翻訳のパラメータ

NMT システムには Fairseq[9] の Transformer を使用した. エンコーダー及びデコーダは Transformer を 6 層とした. 学習率は 5e-4 とし, Warmup は 4000 ス テップ, dropout は 0.1 としている. 損失関数は, ラべ ル平滑化クロスエントロピーを使用した. 最適化関数は Adam を利用し, パラメータである $\beta_{1}$ を $0.9, \beta_{2}$ を 0.98 に設定した。

## 3.4 コンパラブルコーパスの効果

今回構築したコンパラブルコーパスの効果を確認 するための実験を行った. PatentMT の対訳コーパス のみで学習した翻訳モデルと,コンパラブルコーパ スを利用してデータ拡張を行った翻訳モデルを比較 する。

ベースラインは, PatentMT の対訳コーパスのみで 学習したものを利用した. コンパラブルコーパスを 利用した翻訳モデルは, ベースラインに加え, 全ての コンパラブルコーパスを利用したものと,対訳コー パスと同サイズである $3,186,254$ 文をコンパラブル コーパスから抽出したものの 2 つで実験を行った. ベースラインを利用してそれぞれ BTを行い, デー 夕拡張して学習を行った. ベースラインは 20epoch, コンパラブルコーパスを利用した翻訳モデルはどち らも 10epoch の学習を行った. 評価尺度は BLEU[10] を用いる。また, NTCIR-10 のベスト翻訳モデルとも 比較を行った。

コンパラブルコーパスの効果確認の実験結果を表
表 3 翻訳モデルの BLEU

} & \multicolumn{3}{|c|}{} & \multicolumn{3}{|c|}{} \\

2 に示す. なお, 表 2 のサイズは, 左が対訳コーパス の使用文数, 右が単言語コーパスの使用文数となっ ている.

コンパラブルコーパスを利用した 2 つの結果が ベースラインを上回ったことから，これまで利用さ れていなかったコンパラブルコーパスを活用するこ との有効性を示している. また, NTCIR-10 のベスト 翻訳モデルと BLEU を比較すると, BLEU を大きく 上回っており, 本実験で作成された翻訳モデルは十分な性能があるといえる.

## 3.5 データ拡張手法の比較

節 2.2 で説明した BT, IBT, コンパラブル性を利用 したIBT の 3 つの手法で実験を行い, データ拡張手法の比較を行った. データ拡張は学習データのサイ ズが少ないほど効果が見られるため, 学習に使用す るデータ数を減らして実験を行った. ベースライン は対訳コーパスを 10 万文使用して学習を行った. 提案手法である 3 つのデータ拡張手法では, ベースラ インに加え, 10 万文ずつコンパラブルコーパスから サンプリングし, データ拡張を行い, モデルを更新し た. モデルの更新後, 新たに 10 万文をコンパラブル コーパスからサンプリングし, 対訳コーパスと混合 してデータ拡張を行う. これを繰り返すことで, モデ ルの更新を進める. モデルの更新は 3 手法とも 5 回行った. 比較は, 開発データで最も高い BLEU スコア のモデルで比較を行った.

データ拡張手法の比較を行うために, BT, IBT, コ ンパラブル性を利用した IBT の 3 つの手法を行っ た. 実験の翻訳モデルの学習結果を, 表 3 に示す. な お, 表 3 の学習データサイズは, 左が対訳コーパスの 使用文数, 右が単言語コーパスの使用文数となって いる. なお, 太字になっている BLEU スコアが, 開発
データで最も高い BLEUを示した Model である.英日方向における各手法の BLEU を比較すると， コンパラブル性を利用した IBT が最も性能が高く,続いて IBT の性能が高い. 日英方向における各手法 の BLEU を比較すると, 英日と同じく,コンパラブル 性を利用した IBT が最も性能が高く, 続いて IBT の 性能が高い. IBT は, BT と比較して, BLEU が高いこ とが確認できる. コンパラブル性を利用した IBT は， コンパラブル性を利用していない BT や IBT と比較 して, BLEUが高いことが確認できる.

## 4 結論

対訳コーパスをとして抽出されなかった文を含め たコンパラブルコーパスを利用してデータ拡張を行 うことで, 翻訳モデルの性能が向上し, これまで利用 されていなかったコンパラブルコーパスを活用する ことの有効性を確認した. また, コンパラブルコーパ スの活用方法として, IBT を利用することの有効性 と, 利用する単言語コーパスにコンパラブル性を持 たせることの効果を確認することができた.

## 謝辞

本研究は JSPS 科研費 $18 \mathrm{H} 01062$ の助成を受けた.

## 参考文献

[1] 内山将夫. 対訳データの効率的な構築方法. 情報通信研究機構季報 Vol.58, pp. 37-43, 2012.

[2] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, 2016.

[3] Vu Cong Duy Hoang, Phiilpp Koehn, Gholamreza Haffari, and Trevor Cohn. Iterative back-translation for neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 18-24, 2018.

[4] Zhirui Zhang, Shujie Liu, Mu Li, Ming Zhou, and Enhong Chen. Joint training for neural machine translation models with monolingual data. In Proceedings of the AAAI Conference on Artificial Intelligence, pp. 555562, 2018.

[5] 森田知熙, 秋葉友良, 塚田元. 双方向の逆翻訳を利用 したニューラル機械翻訳の教師なし適応の検討. 情報処理学会研究報告 2018-NL-238 (第 5 回自然言語処理シンポジウム), pp. 1-5, 2018.

[6] Isao Goto, Ka Po Chow, Bin Lu, Eiichiro Sumita, and Benjamin K. Tsou. Overview of the patent machine translation task at the NTCIR-10 workshop. Proceedings of the 10th NTCIR Conference, pp. 260-286, 2013.

[7] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ond`rej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, 2007.

[8] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[9] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[10] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: A method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.


# 日本語の大規模 Twitter データからみる 新型コロナワクチン接種に関する人々の関心の推移

武富有香 ${ }^{1}$ 須田永遠 ${ }^{1}$ 中山悠理 ${ }^{2}$ 宇野毅明 ${ }^{1}$ 橋本隆子 ${ }^{3}$

豊田正史 ${ }^{4}$ 吉永直樹 ${ }^{4}$ 喜連川優 ${ }^{4,5}$ Luis E C Rocha ${ }^{6,7}$ 小林亮太 ${ }^{2,8}$

国立情報学研究所 情報学プリンシプル研究系 ${ }^{1}$ 東京大学大学院 新領域創成科学研究科 ${ }^{2}$

千葉商科大学 商経学部 ${ }^{3}$ 東京大学 生産技術研究所 ${ }^{4}$ 国立情報学研究所 ${ }^{5}$

ゲント大学 経済学部 ${ }^{6}$ ゲント大学 物理・宇宙物理学部 ${ }^{7}$ 東京大学 数理・情報教育研究センター 8

yuka_takedomi@nii.ac.jp sudatowa@nii.ac.jp3645588575@edu.k.u-tokyo.ac.jp uno@nii.jp

takako@cuc.ac.jp toyoda@tkl.iis.u-tokyo.ac.jp ynaga@iis.u-tokyo.ac.jp

kitsure@tkl.iis.u-tokyo.ac.jp luis.rocha@ugent.be r-koba@edu.k.u-tokyo.ac.jp
## 概要

日本での新型コロナワクチン接種は，安全性・有効性に対する不安や接種に関する政策への不満があ ったにもかかわらず，欧米諸国と比べて迅速に進ん だ。短期間で高い接種率に達する過程における人々 の考えや関心を知ることは，公衆衛生上の重要な問題である.

本研究では 2021 年 1 月から 10 月につぶやかれた 「ワクチン」という語を含む日本語の全ツイートを 分析した.トピックモデルを用いてツイートを 15 の トピックに分類し，意味解釈を行うことにより 4 つ の話題（個人的事柄, ニュース, 政治, 陰謀論とユ 一モア）に整理した. そしてテキスト情報を考慮に 入れた時系列分析を行った結果, 6 月の職域接種の 開始を境に，政策，有効性，関連ニュースなどのワ クチンに関する社会的トピックのツイートの割合が 減り, 接種の予定や報告, 自身の副反応などの個人的事柄に関するツイートの割合が増えたことが明ら かになった.

## 1 はじめに

日本における新型コロナワクチンの接種開始は,欧米諸国と比べると 2 ケ月以上も遅れた. しかしな がら，国民の間にワクチンに対する多くの不安や不満があったにもかかわらず，日本におけるワクチン 接種は世界の中でも速く進み, 医療従事者への接種開始からわずか 8 ケ月ほどでワクチン接種率は $72 \%$ (世界 229 力国中 14 位) に達した.この接種期間中 に，人々のワクチンについての興味・関心はどのよ うに変化したのだろうか.
ワクチンについての人々の考え方を調べることは，公衆衛生における重要な課題の 1 つであり，これま では主にアンケートによって調査されてきた。しか し，大規模なアンケートを繰り返し実施することに は非常にコストがかかる。質問項目の設定によって 結果が大きく変わりうることや，被験者が控えめに 回答する傾向が多いことなどの問題点も指摘されて いる.一方, 人々の興味や関心を推しはかるために, ソーシャルメディアのデータを分析する研究も行わ れるようになってきた. ソーシャルメディア上の活動が現実の人々の興味や関心を反映することも先行研究によって示されている[1].

本研究では, Twitterでつぶやかれた長期間にわた る日本語の大規模データを分析することで，ワクチ ン接種期間前後にわたる人々の興味や関心の変化を 調査した. Twitter や Reddit などのソーシャルメディ アを用いて新型コロナワクチン接種に関する人々の 意見を調査する先行研究は存在するが，主に接種期間の初期のみを分析対象としているため, ワクチン 接種後の人々の意見や関心の長期的な動向をみるこ とはできていない[2][3]. ひとつの国におけるワクチ ン接種期間の全ツイートデータを網羅的に分析した 研究としては，本研究が最初のものである.

なお. 本予稿で発表する内容は論文[4]に基づくも のである。解析や結果の詳細に興味を持った読者は 当論文を参照されたい.

## 2 方法

## 2. 1 データについて

本研究のデータセットは NTT データにより提供

された, 2021 年 1 月 1 日から 10 月 31 までに投稿さ れた「ワクチン」を含む全ての日本語ツイートを扱 った.この期間は日本におけるワクチン先行接種が 開始される（2021 年 2 月 17 日）前の時期から, 東京オリンピック・パラリンピックの時期（2021 年 7 月から 9 月）を経て，日本国民のワクチン接種率が 70\%に達する（2021 年 10 月 25 日）までの期間を含 んでいる. データについてはツイートのテキスト情報, 投稿時間, オリジナルのツイートかリツイート かの情報を併せて取得した。

## 2.2 データ処理

まず, ツイートからテキスト情報を抽出し, 絵文字を除去した. 次に, 形態素解析エンジン MeCabを 使用して品詞ごとに分割し，ストップワード（「こ れ」「それ」「する」など）を除去した. 最後に，

一人称代名詞（「僕」「おれ」など）などのほぼ同義の語を一つの語（「私」）に統合した.

## 2. 3 トピックモデル

次に，LDA (Latent Dirichlet Allocation) [5]モデルを 用いてツイートのトピック (話題)の推定を行った.解析にあたっては, 出現頻度が極端に低い語, 寸な わち, その語の出現するツイート数が 1000 (全ツイ 一トの $0.0004 \%$ に相当する）に満たない語, および 「ワクチン」と「接種」という出現頻度が極端に高 い語は除去した. 加えて, botツイートを人手によっ て特定し, 除去した. 手順としては, LDA によって 分類を行い, その結果に bot ツイートのクラスタが 出てこなくなるまで，それを繰り返した．トピック 数を決めるにあたっては, 人間にとっての解釈しや すさを示すとされる Coherence スコア $C_{V}$ [6] を計算し, 最も高いスコアが得られたトピック数 15 を 採用した.

## 2. 4 分割時系列解析

最後に, 主要なイベント (東京オリンピックの開幕や職域接種の開始）がツイートの話題に与える影響を評価するために，分割時系列解析（Interrupted Time Series Regression) [7]を行った. 詳細については [4]を参照のこと。

## 3 結果

2021 年 1 月から 10 月までの「ワクチン」を含む 総ツイート数は 114,357,691 であった. 本研究では引用ツイート， すなわちコメント付きリツイート

$(5,765,735 / 114,357,691$,全体の $5.0 \%$ ) と言及ツイー 卜 $(8,416,245 / 114,357,691$,全体の $7.4 \%$ ）は数が少な いため除外し, コメント無しリツイート $(75,984,321 / 114,357,691$,全体の $66.4 \%$ ) とオリジナ ルのツイート $(24,191,390 / 114,357,691$,全体の $21.2 \%)$ のうち後者に着目して分析を行った結果を示す.

## 3.1 ツイートのクラスタリングと話題

データを収集した 10 ケ月におけるツイート群の 話題推移を調べるため, トピックモデル (LDA) を 用いて, 15 個のトピックに分類を行なった. 各トピ ックからランダムに抽出したツイート群を実際に読 み精査することにより意味解釈を行い，15 のトピッ クに「接種会場からの実況」,「ワクチンの有効性」,「ワクチン政策に関する雑談」などの名前をつけた. これらを 4 つの主要なテーマ (1. 個人的事柄, 2 . 二 ユース, 3. 政治, 4. 陰謀論とユーモア）に整理した （表 1）.

表 1 ワクチン関連ツイートの 15 トピック

トピック分析を行った結果, 最もツイート数が多 かったテーマは「個人的な事柄」であり, 全体のお よそ $50 \%$ 占めた. このテーマの中には，接種に対 する個人の考え方（1.1）や，いつ接種を受けるかと いうスケジュールに関する話題 (1.2)，「いま会場 で並んでいる」「いま打った」など接種体験の実況的な報告 (1.3) , 接種の体験を日記のように記すも の (1.4)，接種の痛みや発熱などの副反応について の報告（1.5）, ワクチン接種にあたって発熱時に服用する薬や経口補水液などの備えについて記すもの （1.6）が存在した.

2 番目に多かったテーマは「ニュース」である. モデルナやファイザー, アストラゼネカなどのワク チン開発について, 臨床試験が行われたことや使用認可が下りたことについての日本国内や世界のニュ 一ス (2.1), mRNA ワクチンが新型コロナウィルス に対しても有効であることや，アストラゼネカ製ワ クチンで血栓などの重大な副作用が起きる可能性や,接種が始まった国で副作用による死者が出たことな ど，ワクチンの有効性についてのニュース（2.2）, ワクチン接種の空き状況や予約の仕方などに関する 話題 (2.3) が存在した.

3 番目に多かったテーマは「政治」である。日本 の接種開始が他国より遅れをとっていることへの不満や, 国民にワクチンが行き渡らない状態で東京オ リンピックが開催されることなど, 政治に対する意見 (3.1), マスコミが不安を煽っている・マスコミ の情報が信じられないといったマスメディアの報道 に対する意見 (3.3)，ワクチン担当大臣に就任した 河野太郎大臣に言及するなど, ワクチン政策の雑談 （3.4）がこのテーマに含まれる.

最も少なかったテーマは「陰謀論とユーモア」で ある. 「コロナワクチンの目的は世界の人口を減ら すためのものである」といったような人口抑制に関 する陰謀論 (4.1)，「コロナワクチンは人々を $5 \mathrm{G} に$接続するための策略である」など身体への影響に関寸る陰謀論（4.2）に加え，いわゆるインターネット ミーム (4.3) が存在した. ただし「ワクチンで $5 \mathrm{G} に$接続できるなんてわくわくする!」というような陰謀論を呆談として愉しんでいるツイートが 4.2 に含
まれるなど，いわゆる陰謀論とみなされるような主張を書いているツイートばかりではない. これらの ツイートを含めた「陰謀論」のツイートは 7\%にすぎ なかった. 4.3 のクラスタには, ワクチンを 2 回打っ ことを「ワクワクチンチン」と称したツイートが多数を占め, 流行語のような様相をみせた。

## 3.2 各テーマの時間変化

つぎに，各テーマのツイート割合の時間変化を調 べた(図 1). 2021 年 1 月当初は, 個人的事柄 (30\%), ニュース $(30 \%)$, 政治 $(25 \%)$, 陰謀論とユーモア (15\%) というように，4 つのテーマにツイートは分散していた. しかし, 6 月以降には接種後の体調や 副反応など個人的事柄に関するツイートが急増し, 10 月には「ワクチン」を含むツイート全体の $70 \% を$占めるに至った.この結果は, 6 月以降に Twitter ユ 一ザの興味・関心が個人的事柄に関する話題に集中 したことを示唆する.

図 1. 各テーマのツイート割合の時間変化

## 3.3 社会的イベントと関心の推移

最後に，4つの社会的イベント (A. 医療従事者の 接種開始 $: 2$ 月, B. 高齢者の接種開始 $: 4$ 月, C. 職域接種開始 : 6 月, D. 東京オリンピック：7月）が ツイートされる話題に与える影響を中断時系列分析 [5]を用いて分析した.この結果，C.職域接種，D.東京オリンピックの 2 つのイベントがツイートの話題 に影響を与えることがわかった. 特に, 職域接種が
開始された 2021 年 6 月 21 日以降に個人的事柄に関 するツイートの割合が急速に増加することが確認さ れた（図 2）。この結果は，多くの Twitter ユーザが ワクチン接種を受けることが可能となった職域接種開始以降に, Twitter ユーザの興味・関心が個人的事柄に集中したことを示唆している。

図 2. 職域接種開始前後における各テーマの ツイート割合の時間変化

## 4 結論

本研究では, 2021 年 1 月から 10 月までのワク チン接種期間中につぶやかれた「ワクチン」という 語を含む日本語の全ツイートを分析した. トピック モデルを用いてツイートを 15 のトピックに分類 し，各トピックの意味解釈を行うことにより，4つ の話題 (個人的事柄, ニュース, 政治, 陰謀論とユ 一モア）に整理した。 2021 年 1 月当初，ツイート は 4 つのテーマに分散していたが，6月以降にはユ 一ザの興味・関心が個人的事柄に関する話題に集中 した. さらに中断時系列分析を行った結果, 2021 年 6 月の職域接種を境に，ワクチン政策，ワクチン 関連ニュースなど社会的な話題に関するツイートの 割合が減り, 接種の予定や報告, 自身の副反応など 個人的事柄に関するツイートの割合が増えたことを 発見した.

## 謝辞

本研究は, 内閣府 Covid-19 AI・シミュレーション プロジェクトの一環として実施され, 科学技術振興機構 (JST) JPMJPR1925, JPMJCR1401, 科学研究費助成事業 基盤研究(A) 19H0113，21H04571，基盤研究(B) $21 \mathrm{H} 03559,22 \mathrm{H} 03695$, 基盤研究(C) $18 \mathrm{~K} 11560$, 22K12285, 二国間交流事業協同研究 JPJSBP 1202022 01, 日本医療健康開発機構 JP21wm0525004による支援を受けて行われました。

## 参考文献

[1] Kwak H. et al., (2010). "What is Twitter, a social network or a news media?", WWW '10, pp.591-600.

[2] Lyu JC, Han EL, Luli GK.,(2011). "COVID-19 vaccine-related discussion on Twitter: Topic modeling and sentiment analysis.", JMed Internet Res 23(6):e24435.

[3] Wu W, Lyu H, Luo J., (2021). "Characterizing discourse about COVID-19 vaccines: A Reddit version of the pandemic story.", Health Data Science 1-11.

[4] Kobayashi R, Takedomi Y, Nakayama Y, Suda T et. al., (2022). "Evolution of Public Opinion on COVID-19 Vaccination in Japan: Large-Scale Twitter Data Analysis.", J Med Internet Res 24: e41928.

[5] Blei DM, Ng AY, Jordan MI., (2003). "Latent dirichlet allocation.", J Mach Learn Res 3: pp. 993- 1022.

[6] Röder M, Both A, Hinneburg A., (2015). "Exploring the Space of Topic Coherence Measures.", In WSDM' 15, pp. 399-408.

[7] Bernal JL, Cummins S, Gasparrini A., (2017). "Interrupted time series regression for the evaluation of public health interventions: a tutorial.", Int J Epidemiol 46: pp. 348-355.


# サプライザルを利用した日本語の流暢性フィルタリングの試み

田村鴻希土井惟成西田直人 Junjie Chen 谷中瞳
東京大学
tamura-k@tkl.iis.u-tokyo.ac.jp doi@cl.rcast.u-tokyo.ac.jp
nawta@g.ecc.u-tokyo.ac.jp \{christopher, hyanaka\}@is.s.u-tokyo.ac.jp

## 概要

機械翻訳の分野では、Web サイトから大量の対訳 を自動収集し、対訳コーパスを作成する技術につい て研究が進められている。しかし、自動収集した対訳コーパスには不適切な対訳が多く含まれることが あり、不適切な対訳は対訳コーパスを用いて学習し た機械翻訳モデルの品質に影響を与えうる。このよ うな問題を解決するため、近年では、対訳コーパス から不適切な対訳を取り除く手法に関する研究が進 められている。ここで、不適切な対訳の一つとして 流暢性の低い対訳が考えられる。本研究では、単語 や文のサプライザルが読みやすさを決める主要因で あるとするサプライザル理論に基づき，サプライザ ルが流暢性と相関するという仮説を立て、その検証 を行う。実験では、サプライザルが流暢性と相関す るという有意な証拠は得られなかった。

## 1 はじめに

現在の機械翻訳では、対訳コーパスを利用して教師ありの手法で学習する、ニューラル機械翻訳（以下、NMT）[1]が主流である。NMT モデルの学習に は大規模な対訳コーパスが必要であり、これを作成 するために Web サイトから大量の対訳を自動収集 して対訳コーパスを作成する研究が行われている $[2,3]$ 。しかし、自動収集した対訳コーパスには不適切な対訳が多く含まれてしまうという問題がある。 NMT モデルは、学習時の対訳コーパスの質と量に 大きな影響を受ける傾向があり、不適切な対訳を含 む文を学習に用いると翻訳精度が低くなることが 知られている [4]。このような問題を解決するため、近年では、対訳コーパスから不適切な対訳を取り除 く手法に関する研究が進められている [5]。

不適切な対訳の例として、流暢性の低い文を含む 対訳が挙げられる。一般社団法人日本翻訳連盟の
JTF 翻訳品質評価ガイドライン [6] では、翻訳に含ま れるエラーの度合いで評価指標の基準を定めた JTF 翻訳品質評価モデルを提供している。「流暢さ」11) は $\mathrm{JTF}$ 翻訳品質評価モデルのエラー・カテゴリーの一 つであり、「あるテキストが形式として整っている かの程度」と定義されている。流暢性が低い対訳を NMT モデルの学習に用いると翻訳の品質や精度に 影響を与える可能性があるため、対訳コーパスから 流暢性の低い文を取り除く手法が求められる。本研究では、流暢性の低い和文を取り除く手法と して、文の読み時間との相関が指摘されている、サ プライザル理論に基づくサプライザル $[7,8,9]$ の利用を検討する。サプライザルは、対象の単語に対し て、その文脈における負の対数確率により、文の処理に関する負荷をモデル化した指標である。このサ プライザルが流暢性と相関するという仮説を立て、流暢性が多岐にわたる和文を収集し、サプライザル の高低から流暢性の傾向を分析した。

実験は、機械的評価による実験と、人手評価によ る実験から構成される。前者では、英文と和文のサ プライザルの分布を分析する。また、これらのサプ ライザルが他の言語的なパラメータと相関関係を持 つか分析する。後者では、英文と和文のサプライザ ルの差に基づいて作成したデータセットの文の流暢性を複数の作業者が人手で評価し、サプライザルと 流暢性が相関関係を持つか分析する。

## 2 関連研究

サプライザルは、心理言語学での活用だけでな く、対話の容認性評価 [10]、小論文の自動採点 [11]英作文のレベル判定 [12]、Code-Switching の判定 [13] など自然言語処理の応用タスクの評価指標としても 用いられている。既存研究を踏まえて、本研究では サプライザルを対訳コーパスの流暢性フィルタリン

グの指標として適用できるか分析を行う。

流暢性を自動評価する試みは今までにも行われ ている $[14,15]$ が、サプライザルとの相関を分析す る既存研究は存在しない。本研究と近い研究として は、サプライザルとの相関が報告されている読み時間を自然言語生成の文評価に用いるもの [16] が存在 するが、人手での流暢性評価との相関を示すもので はない。

## 3 実験用データセット

## 3.1 日英対訳コーパス

本研究で利用する対訳コーパスとして、 JParaCrawl[3] の English-Japanese training set (v3.0) [17] （以下，JParaCrawl v3.0）を採用する。この理由とし て、JParaCrawl v3.0 は、和文と英文の掲載元 Web サ イトのドメインが併記されていることや、和文と英文のアライメントの精度が十分高いと考えられるこ とが挙げられる。

## 3.2 ドメインによる整理

本研究では、英語圏のドメインの Web サイトに記載されている英文は、ネイティブによって書かれて おり、流暢性は十分に高い、また、その英文に紐付 いている和文は、必ずしも流暢性が高いとは言えな い、という仮説のもと、英文が英語圈のドメインの Web サイトに掲載されている対訳を収集した。具体的には、英文が掲載されていた Web サイトのトップ ドメインが、主な英語圏の国別コードトップレベル ドメイン等である対訳を抽出した。対象とした国別 コードトップレベルドメインと、その内訳は付録の 表 7 に示す。なお、英文と和文が重複している対訳 は削除し、1つの対訳とした。この結果、128,602 対訳のデータセット（以下、本データセット）を作成 した。

## 3.3 サプライザルの計算

サプライザルとは，単語や文のサプライザル（ $-\log ($ 単語や文| 先行文脈)）が読みやすさを決め る主要な要因であるとするサプライザル理論におい て用いられている指標である $[7,8]$.

本データセットの和文と英文を対象に、各文 のサプライザルを算出した。サプライザルは、 Kuribayashi et al.[18] のコード2)により、トークンご

2) https://github.com/kuribayashi4/surprisal_reading_

図 1 和文と英文のサプライザルの分布

とのサプライザルを算出し、その総和を指標として 用いた。なお、和文のサプライザルの計算モデルに は Japanese LSTM LM、英文のサプライザルの計算 モデルには English Transformer-sm LM を用いた3)。

## 4 実験 1: 機械的評価による実験

実験 1 ではサプライザルが言語的なパラメータと どのような相関を持つか機械的に分析する。

## 4.1 サプライザルの分布

和文と英文のサプライザルの分布を図 1 に示す。 また、和文と英文のサプライザルに対して $\mathrm{t}$ 検定を 行ったところ、和文サプライザルの平均値の方が大 きい（p 值は 0.001 未満）ことがわかった。このこと から、和文と英文では、サプライザルの分布が異な るといえる。

## 4.2 サプライザルと言語的パラメータの 相関

本研究では、言語的パラメータとして、和文 と英文の一致度を対象に分析するため、日英機械翻訳モデルによる和文の英訳文と参考訳 (英文の原文）の BLEU スコア [19] と、日英の分散表現のコサイン類似度（以下、USE スコア）を用い た。日英機械翻訳モデルは、opus-mt-ja-en ${ }^{4)}$ を使用した。また、テキストの分散表現の算出には TensorFlow の Embedding メソッド5)を使用し、分散表現のモデルには TensorFlow の universal-sentenceencoder-multilingual ${ }^{6}$ を使用した。あわせて、サプラ イザルの算出時の日英のトークン数を比較の対象と

表 1 サプライザル、トークン、言語的パラメータ間の相関係数（ $\mathrm{p}$ 值はいずれも 0.001 未満）

した。

言語的パラメータとの相関分析の結果を、表 1 に 示す。なお、 $\mathrm{p}$ 値はいずれも 0.001 未満であった。 まず、和文と英文のサプライザルは、トークン数に 強く相関することがわかる。一方で、和文と英文 の一致度に関連すると考えられる、BLEU スコアと USE スコアはいずれも、和文と英文のサプライザル との相関は認められなかった。ただし、BLEUスコ アとUSE スコアは互いに一定程度の相関が認めら れることから、文の一致度の尺度としては十分に機能していると考えられる。このことから、機械的評価からは、和文と英文のサプライザルは文の一致度 とは相関しないことが考えられる。

## 5 実験 2: 人手評価による実験

実験 2 では、本データセットを対象に、サプライ ザルの傾向が異なる 3 種類のデータセットを作成 し、それぞれに含まれる和文の流暢性を人手で評価 し、その傾向の差異について分析する。

## 5.1 流暢性評価データセットの作成

まず、和文と英文のサプライザルの傾向の差異を 踏まえ、下記のとおりサプライザルの順位の差に基 づく 3 種類のデータセットをそれぞれ 100 文対ずつ 作成した。なお、順位はサプライザルが高いほど小 さい值をとる。

・(英文サプライザル順位-和文サプライザル順位) の値が低い 100 文対（en_high）

・(和文サプライザル順位-英文サプライザル順位) の値が低い 100 文対（ja_high）

・両サプライザルの順位差が小さい順に並べた 100 文対（sim）

ただし、en_high と ja_high については、翻訳のエ ラーによる外れ値の影響を軽減するため、サプライ ザル順位差の上位 $5 \%$ を除外した残りのデータから それぞれ上位 100 文対を選んだ。これらの各 100 文対を対象に、(1) 対訳エラーの判定と (2) 流暢性評価を行った。具体的には、それぞれの文対に対して表 2 流暢性の評価基準

3 人の作業者を割り当て、(1)-(2)を文対ごとに手作業で実施した. 作業者は、いずれも日本語を母語と する情報系の大学院生であり、作業時間は合計 10.8 時間（一人当たり平均 3.6 時間）だった。以下では、 それぞれの作業手順の詳細を述べる。

(1) 対訳エラーの判定 各作業者は、各データセッ トの文対に対して、実際に対訳として成立している か否かを判定する。流暢性によらず翻訳エラーを含 む文対は、対訳データセットの流暢性を評価する際 にノイズとなるため、それぞれのエラータイプを分類したうえで流暢性評価の対象から外す。

以下に、本研究で用いたエラータイプの分類と、各エラーの内容を記述する。

・アライメントエラー：全く別の文が割り当てら れている場合

・テキスト抽出エラー：途中で文が切れていた り、複数の文が混ざっている場合

・翻訳エラー：誤訳の程度が非常に大きい場合
- 英文過多: 英文の各要素に対応する和文の要素 が著しく欠けている場合
- 和文過多 : 和文の各要素に対応する英文の要素 が著しく欠けている場合

なお、翻訳エラーの基準には、特許庁の機械翻訳 に関する調査報告書「特許文献機械翻訳の品質評価手法に関する調査」(平成 25 年度 $)^{7)}$ の「内容の伝達 レベルの評価」を使用し、 5 段階評価のうち 2 以下 （2はいくつかの重要情報が正確に伝達されている、 1 は文意がわからない、もしくは正確に伝達されて いる重要情報はほとんどない) であると作業者が判断したものを翻訳エラーとしている。

7) https://www.jpo.go.jp/system/laws/sesaku/ kikaihonyaku/document/kikai_honyaku/h25_01.pdf
表 3 流暢性評価データセットの各作業者がエラー判定した文対の数の平均

表 4 作業者間の流暢性評価の一致度（Cohen’s Kappa）

表 5 作業者間の流暢性評価に対する Kruskal-Wallis 検定

(2) 流暢性の判定 (1)の手順で除外しなかった文対を対象に、それぞれの和文の流暢性を判定する。流暢性評価の基準は、表 2 に示すとおり、長我部ら による「流暢性の評価基準」[20]を利用した。なお、表 2 の各評価に対応する、全作業者の評価が一致し た例文を、付録の表 8 に記載する。

## 5.2 流暢性人手評価の統計情報

流暢性評価データセットで各作業者がエラー判定 した文対の数の平均と、その内訳を表 3 に示す。表 3 から、英文のサプライザルが高い文対では英文か らの翻訳抜けが多く、また和文のサプライザルが高 い文対では和訳に余分な情報が入りやすい傾向がみ られる。これは、表 1 から読み取れるサプライザル とトークン数との相関を裏付ける結果である。流暢性評価データセットでの、作業者間の流暢性評価の Cohen's Kappa[21] による一致度を表 4 に示 す。なお、エラー判定の場合も含めて一致度を計算 するため、対訳エラーと判定された文対は評価ラべ ルを 0 として一致度を計算した。また、流暢性評価 の差の大きさを考慮するため、各文対の評価の差を それぞれ二乗して重みづけした [22]。

表 4 に示した一致度をみると、作業者 2 の一致度 が低く、作業結果が一貫していないと考えられる。 したがって、本研究での流暢性評価では作業者 1 お よび作業者 3 の結果のみを用いる。

## 5.3 サプライザルと流暢性人手評価の相関

作業者 1 と作業者 3 の、各データセットでそれぞ れエラーと判定しなかった文対への流暢性評価に対 する Kruskal-Wallis 検定 [23] の結果、および文対へ の平均評価值をそれぞれ表 5 と表 6 に示す。表 5 か表 6 各作業者がそれぞれエラー判定しなかった文対での 平均評価値

らは、有意水準 5\%の下で、作業者 1 の結果では有意に各データセットの評価値の分布に差があるとい える。しかし、作業者 3 の結果では帰無仮説を棄却 できず、作業者によってサプライザルと流暢性の主観評価の関係にはばらつきがあることが考えられ る。ただし、現在の $\mathrm{p}$ 値がデータ数の少なさに依存 する可能性を注記する。また、平均評価値からは、評価値の分布に差があるとすればどちらの作業者の 場合も和文のサプライザルが高いデータセットでの 評価値の低さに原因を求められる。

本実験の結果からはサプライザルと流暢性の相関関係は定かにはならなかった。サプライザルと流暢性評価の相関関係の個人間のばらつきは、流暢性の 判断基準として（サプライザルと相関する）読解時間に重点を置いているかにばらつきがあることを示 しており、流暢性評価の基準は個人差が大きいこと を示唆している。この結果、および一致度の低い作業者の存在は、より個人差の少ない流暢性評価の基準、もしくは評価手法の必要性を示唆している。ま た、現在の手法において精度の高い結果を得るため には多人数、およびより多い文対での実験が必要と いえる。

## 6 おわりに

本研究では、サプライザルが流暢性と相関すると いう仮説を立て、機械的評価と人手評価の 2 種類の 実験で検証を行った。実験の結果、サプライザルが 流暢性の低い和文を取り除くためのパラメータとし て有意であることは確認できなかった。今後の課題 としては、人手評価の作業者を増やし、評価する文対の数を増やすこと、また、流暢性やエラー判定の 作業者間での判定基準をより詳細に定めることに よって作業者間での評価基準のぶれやその影響を 減らし、より信頼性の高い統計とすることが挙げら れる。

## 謝辞

本研究は JSPS 科研費 JP20K19868 の助成を受けた ものです.

## 参考文献

[1] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequence learning with neural networks. In Proceedings of the 27th International Conference on Neural Information Processing Systems - Volume 2, NIPS'14, pp. 3104-3112, Cambridge, MA, USA, 2014. MIT Press.

[2] Miquel Esplà, Mikel Forcada, Gema Ramírez-Sánchez, and Hieu Hoang. ParaCrawl: Web-scale parallel corpora for the languages of the EU. In Proceedings of Machine Translation Summit XVII: Translator, Project and User Tracks, pp. 118-119, Dublin, Ireland, August 2019. European Association for Machine Translation.

[3] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 36033609, Marseille, France, May 2020. European Language Resources Association.

[4] Huda Khayrallah and Philipp Koehn. On the impact of various types of noise on neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 74-83, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[5] Philipp Koehn, Vishrav Chaudhary, Ahmed El-Kishky, Naman Goyal, Peng-Jen Chen, and Francisco Guzmán. Findings of the WMT 2020 shared task on parallel corpus filtering and alignment. In Proceedings of the Fifth Conference on Machine Translation, November 2020.

[6] 一般社団法人日本翻訳連盟. JTF 翻訳品質評価ガイ ドライン. 2018.

[7] John Hale. A probabilistic Earley parser as a psycholinguistic model. In Second Meeting of the North American Chapter of the Association for Computational Linguistics, 2001.

[8] Roger Levy. Expectation-based syntactic comprehension. Cognition, Vol. 106, No. 3, p. 1126-1177, 2008.

[9] Irene Fernandez Monsalve, Stefan L. Frank, and Gabriella Vigliocco. Lexical surprisal as a general predictor of reading time. In Proceedings of the 13th Conference of the European Chapter of the Association for Computational Linguistics, pp. 398-408, Avignon, France, April 2012. Association for Computational Linguistics.

[10] Investigating perception of spoken dialogue acceptability through surprisal. In Hanseok Ko and John H. L. Hansen, editors, Proceedings of Interspeech 2022, pp. 45064510. ISCA, September 2022.

[11] Gaurav Kharkwal and Smaranda Muresan. Surprisal as a predictor of essay quality. In Proceedings of the Ninth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 54-60, Baltimore, Maryland, June 2014. Association for Computational Linguis- tics.

[12] 正頼林, 遼平笹野, 大也高村, 学奥村. 誤り傾向と文の 容認性に着目した英作文のレベル判定. 第 226 回情報処理学会自然言語処理研究会, No. 7, pp. 1-7, 2016.

[13] Jesús Calvillo, Le Fang, Jeremy Cole, and David Reitter. Surprisal Predicts Code-Switching in Chinese-English Bilingual Text. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4029-4039, Online, January 2020. Association for Computational Linguistics.

[14] Takehiko Yoshimi, Katsunori Kotani, Takeshi Kutsumi, Ichiko Sata, and Hitoshi Isahara. Automatic evaluation of the fluency of english-to-japanese machine translation using word alignment. 2010.

[15] Katharina Kann, Sascha Rothe, and Katja Filippova. Sentence-Level Fluency Evaluation: References Help, But Can Be Spared! In Proceedings of the 22nd Conference on Computational Natural Language Learning, pp. 313-323, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[16] Sina Zarrieß, Sebastian Loth, and David Schlangen. Reading Times Predict the Quality of Generated Text Above and Beyond Human Ratings. In Proceedings of the 15th European Workshop on Natural Language Generation (ENLG), pp. 38-47, Brighton, UK, September 2015. Association for Computational Linguistics.

[17] Makoto Morishita, Katsuki Chousa, Jun Suzuki, and Masaaki Nagata. JParaCrawl v3.0: A large-scale EnglishJapanese parallel corpus. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 6704-6710, Marseille, France, June 2022. European Language Resources Association.

[18] Tatsuki Kuribayashi, Yohei Oseki, Takumi Ito, Ryo Yoshida, Masayuki Asahara, and Kentaro Inui. Lower perplexity is not always human-like. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 5203-5217, Online, August 2021. Association for Computational Linguistics.

[19] Kishore Papineni, Salim Roukos, Todd Ward, and Wei jing Zhu. Bleu: a method for automatic evaluation of machine translation. pp. 311-318, 2002

[20] 長我部恭行, 甲斐優人, 石井奏人, 荻野天翔, 黒澤道希, 小町守. 機械翻訳に対する文間文脈を考慮した評価と分析. pp. 1703-1706, 32019.

[21] Jacob Cohen. A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement, Vol. 20, No. 1, pp. 37-46, April 1960. Publisher: SAGE Publications Inc.

[22] Jacob Cohen. Weighted kappa: Nominal scale agreement with provision for scaled disagreement or partial credit. Psychological Bulletin, Vol. 70, No. 4, pp. 213-220, October 1968

[23] William H. Kruskal and W. Allen Wallis. Use of ranks in one-criterion variance analysis. Journal of the American Statistical Association, Vol. 47, No. 260, pp. 583-621, 1952 .

## A JParaCrawl の前処理

JParaCrawl v3.0 は非常に大規模なコーパスであるため、前処理として、下記の条件を元に対訳のフィルタ リングを行った。フィルタリングの結果、約 2574 万文対から，約 985 万文対（約 $38.3 \% ）$ が得られた。

・英文がピリオドで終わっている.

・和文が句点で終わっている。

・和文に全角又は半角スペースを含まない.

・対訳のスコアが 0.7 以上.

## B ドメインの内訳

イタリア、フランスは英語を公用語としていないが、話者数の多さを考慮して含めている。

## C流暢性の評価点数ごとの例文

表 8 流暢性の評価点数ごとの例文 (JParaCrawl v3.0より引用)

評価 例文

5 京丹後市は条例で国際交流の推進をうたっており、国際的な視野を持つ人材の育成を目指している。

4 調査では、大手プラットフォームひとつで 157 万 6,600 人の労働者が供給過剰であることがわかっている。

3 プレートは、全体の保護面全体に影響の分布を保証するドロップワイヤーシステムに参加しています。 プロフェッショナルラーニングコミュニティ内では、各学年レベルとコンテンツ領域が共同学習チーム (CLT)

2

として協力し、研究、スキル、専門的な開発、ツール、リソース、およびさまざまなサポートスタッフ

(強力な教育コーチチームやさまざまな特別教育の専門家とサービスプロバイダーの-私たちの目標を果たすために: すべての子供が意味のある、本物の方法ですべての必要なスキルを習得することを保証すること。

1 米国の研究では、女性の最大 $50 \%$ が生涯に尿路感染症を起万人になると示されています。


# JMedRoBERTa: 日本語の医学論文にもとづいた 事前学習済み言語モデルの構築と評価

杉本 海人 1,3 壹岐 太一 $2,3 *$ 知田 悠生 ${ }^{1,3}$ 金沢 輝一 3 相澤 彰子 1,3
1 東京大学大学院 2 総合研究大学院大学
3 国立情報学研究所
}

\{kaito_sugimoto, iki, chida, tkana, aizawa\}@nii.ac.jp
## 概要

英語圈において，医学論文で事前学習を行った言語モデルが，医療ドメインの様々なタスクで有効で あることが示されている。日本語では診療記録で事前学習を行った UTH-BERT [1] が公開されているも のの，医学論文を用いたものは存在しない. そこで 本研究では, 日本語の医学論文で事前学習した言語 モデルである JMedRoBERTaを提案する。評価実験 の結果, JMedRoBERTa は医療ドメインタスクにお いて UTH-BERT と同等またはより高い性能を発揮 するほか，一般ドメインタスクにおいても比較的高 い精度を示すことを確認した．また，複数トークナ イザの比較から，トークナイザの差によりモデルが 得意とするタスクが異なる傾向が示唆された.

## 1 はじめに

近年，医療ドメインに特化した事前学習済み言語モデルを構築する研究が盛んである. 英語圈で は，医学論文データベース PubMed ${ }^{1)}$ や診療記録デー タベース MIMIC-III [2] にもとづき, BioBERT [3], ClinicalBERT [4], BlueBERT [5], PubMedBERT [6] な どのモデルが提案されている.こうしたモデルは，医学用語の自動抽出 [7] や表記摇孔解消 [8], 医学論文の検索 [9] など，幅広いタスクに応用されている。 また，日本語のモデルとしては，診療記録を用いて 事前学習を行った UTH-BERT [1] が存在する.

診療記録が患者情報の記録に主眼を置くのに 対し, 医学論文は基礎研究から症例報告まで幅広 い内容を扱うのが特徴である。したがって, 医学論文で事前学習を行うことにより, 診療記録から は得られない知識を獲得できる可能性がある。ま た, 英語のモデルの研究では, 医学論文で事前学習

1) https://pubmed.ncbi.nlm.nih.gov/
された PubMedBERT が診療記録で事前学習された ClinicalBERT よりも下流タスクでの性能が高い例が 見られる [6,7]. こうした背景から，日本語の医学論文を用いたモデルの事前学習が有益だと考える.

本研究では約 $1.8 \mathrm{~GB}$ （約 1,100 万文）の日本語の 医学論文データを用いて RoBERTa [10] のフルスク ラッチ学習を行う．モデルのトークナイザに関して は，分かち書きを前処理として行う場合と行わない 場合の双方を試す. 学習したモデルを 4 つの医療ド メインタスク（2つが医学論文に関するもの，2つ が診療記録に関するもの)，および JGLUE [11] に含 まれる5つの一般ドメインタスクで評価する.

評価実験の結果，提案モデルが医学論文に関する タスクで UTH-BERT よりも高いスコアを示したほ か，診療記録に関するタスクでも UTH-BERT に並 ぶスコアを示した. また，分かち書きを行わないモ デルは行うモデルよりも概ね高いスコアを示した が，一部のタスクにおいては逆の結果が見られた. さらに，複数の一般ドメインタスクにおいて，提案 モデルは一般ドメインの言語モデルに匹敵するスコ アを示した. 提案モデルを我々は JMedRoBERTa と 名付け，付録 A に示したリンクで公開している.

## 2 JMedRoBERTa の構築

## 2.1 フルスクラッチ学習・追加学習

あるドメインに特化した言語モデルを作成したい 場合，既存の一般ドメインの言語モデルに追加で事前学習を行う流儀と，フルスクラッチで事前学習を 行う流儀の 2 種類が知られている $[12,13,14]$. 膨大 な医学用語を含む医療ドメインにおいては，フルス クラッチ学習モデルである PubMedBERT [6] が追加学習モデルである BioBERT [3] に比べて多くの医学用語を語彙に含み，複数の医療ドメインのタスクで

示し，そうでない場合は，トークナイザによって分割された後のトークン群を示す. なお，[UNK] は対応するトークン が存在しないことを表し，\#\#⿲前のトークンと結合して単語をなすことを表す。

 &  \\

より高い性能を発揮している.この結果を踏まえ,本研究でもフルスクラッチ学習を行う.

## 2.2 学習用データ

本研究では，大規模な日本語の医学論文データを 用いる．各データには論文の抄録（アブストラク ト）のテキストのほか，その論文が属する分野や索引語（キーワード）等のラベルが付与されている.一部のデータは論文の本文のテキストを含む。それ らのうち, JMedRoBERTa の事前学習には抄録およ び本文のテキストを用いる。また，その他のデータ は評価タスクに使用する。詳細は付録 B に示す.

モデルの事前学習で用いるテキストのサイズは,合計で約 $1.8 \mathrm{~GB}$ （約 1,100 万文）である. なお，テ キストは事前に半角文字を全角文字に正規化する。

## 2.3 トークナイザの訓練

英語と異なり日本語では単語間の空白文字が存在 しないため，トークナイザの構築において，分かち 書きを前処理として行うべきか否かが焦点の一つと なる.この違いは, モデルの下流タスクの性能へも 一定の影響を与えることが確認されている $[15,16]$.本研究では，分かち書きを行うトークナイザとし て万病 WordPiece トークナイザを，分かち書きを 行わないトークナイザとして SentencePiece トー クナイザを訓練する. 両者ともに語彙数は 30,000 とする. 万病 WordPiece トークナイザは, $\left.\mathrm{MeCab}^{2}\right)$ を用いて入力文を単語列に分かち書きした後, WordPiece [17] によりサブワード化を行うものであ る. MeCab の辞書選択においては，通常用いられ る ipadic に加えて，大規模な病名辞書である万病辞書 [18] を使う。これにより, 病名が分かち書き の時点で複数の単語列に分割されることを防ぐ.

一方, SentencePiece トークナイザは, SentencePiece [19]（Unigram モデル）により, 文から直接サブワー ド化を行うものである. 出現頻度の高い文字列はひ とかたまりのトークンとして処理されるため，医学論文において頻度の高い医学用語は, 分割されずに 1トークンとして扱われることが期待される.

表 1 はトークナイザの訓練によって得られた JMedRoBERTa の語彙を, 日本語 Wikipedia で事前学習された東北大 BERT $^{3}$ )，および日本語の診療記録 で事前学習された UTH-BERT の語彙と比較したも のである. JMedRoBERTaが多様な医学用語を語彙 に含むことを裏付けている。

## 2.4 モデルの事前学習

Liu ら [10] は，Next Sentence Prediction タスクの削除やマスク位置の動的な変更などにより BERT [20] の事前学習がさらに効果的になることを指摘し, 改良された BERT 型言語モデルを RoBERTa と名付け た. 本研究では RoBERTa の事前学習手法を採用す る. 2.3 節で挙げた 2 種類のトークナイザそれぞれ に関してモデルの事前学習を行い，「万病 WordPiece モデル」「SentencePiece モデル」を作成する. 訓練設定の詳細は付録 C に記載する。

## 3 医療ドメインタスクによる評価

## 3.1 タスク・データセットの概要

医学論文の分野分類 抄録テキストから分野を予測するタスクである。2.2 節で示した学習用データ のうち事前学習に用いていないものから，分野が 1 つだけラベル付けされた医学論文のデータをラン ダムに 100,000 件抽出し, $8: 1: 1$ で訓練用・バリデー

3) https://huggingface.co/cl-tohoku/ bert-base-japanese-whole-word-masking
表 2 医療ドメインタスクにおける評価結果. 各モデルのスコアは，異なるランダムシードを用いた 5 回の実験結果の平均値である。太字は全モデルにおける最も高いスコア，下線は2種類の JMedRoBERTaのうちより高いスコアを示す。

 &  \\

ション用・テスト用とする．訓練におけるラベルの 種類数は 111 である.

医学論文の索引語への副標目の付与 論文に付与 された索引語に対して副標目 (サブヘディング)4)を 付与するタスクである. 論文の抄録と索引語のペア を入力し，適切な副標目を候補の中から複数予測す るマルチラベル分類として定式化する. データ作成 の詳細は付録 D に示す. なお，予測候補の副標目は 訓練用データに出現する 26 語とする。

診療記録の固有表現抽出 NTCIR-11 MedNLP-2 [21]の Task 1 を用いた評価を行う.このタスクで は，入力である診療記録から病状および時間表現を 抽出する．訓練データ，テストデータにおける診療記録の数はそれぞれ 102 件，49 件である。

診療記録への病名コード付与 NTCIR-12 MedNLPDoc [22] の Task 1 を用いた評価を行う. このタスクでは，診療記録から対応する複数の ICD-10 病名コード5)を予測する。訓練データ，テス トデータにおける診療記録の数はそれぞれ 200 件, 78 件である．なお，テストデータは 3 人のアノテー タによって病名コードが付与されており，3人全員 が付与したコードのみを含むデータは SURE，これ に加えて 2 人以上が付与したコードも含むデータは MAJOR，これに加えて誰か 1 人が付与したコード も含むデータは POSSIBLE と名づけられている.

4）副標目とはある索引語がどのような文脈で使われているか を示す副次的なキーワードである．例えば「精神障害」とい う索引語に対し「薬物療法」という副標目を加えて検索する ことで，薬物を用いた精神障害の治療法に関する文献のみを 調べることができる.

5) https://www.cdc.gov/nchs/icd/icd10.htm

## 3.2 実験設定

医学論文の分野分類と診療記録の固有表現抽出の 2つのタスクは，それぞれ通常の分類問題，系列ラ ベリング問題として処理する.

副標目付与タスクは一度に各ラベルの有無を二値分類するマルチラベル分類として扱う. 評価の際, macro-F1 はテストデータにおいて出現しない副標目 を無視して 20 副標目を対象に算出する.

病名コード付与タスクは，診療記録と病名の類似度学習を行うことで解く. 詳細は付録 Eに示す. 評価の際は，シェアードタスクに倣い本研究でも，予測と正解ラベルのコードが完全に一致する場合に 正解とみなす LV4 (Exact match)，コードの前 3 文字 が一致する場合に正解とみなす LV3 (Rough match), コードの大分類が一致する場合に正解とみなす LV0 (Category match)の 3 種類でそれぞれ評価を行う.

## 3.3 結果

表 2 に結果を示す。医学論文に関する 2 つのタス クにおいては, JMedRoBERTaの 2つのモデルが東北大 BERT や UTH-BERT よりも高いスコアを示して いる。さらに，診療記録の固有表現抽出においては 万病 WordPiece モデルが，診療記録への病名コード 付与においては SentencePiece モデルが UTH-BERT に匹敵するスコアを示している。これらから，医学論文を用いた事前学習が医療ドメインの幅広いタス クにおいて有効であることが示唆される.

JMedRoBERTaの 2つのモデルの間では, 固有表現
表 3 JGLUE の dev セットにおける評価結果. JMedRoBERTa のスコアは，異なるランダムシードを用いた 3 回の実験結果の平均值である. JMedRoBERTa 以外のモデルのスコアは, JGLUE の GitHub リポジトリに掲載された base モデルの値 である. 下線は 2 種類の JMedRoBERTaのうちより高いスコアを示す。

 &  \\

抽出を除いて SentencePiece モデルが万病 WordPiece モデルよりも高いスコアを示している。これは，分 かち書きを行わないSentencePiece モデルは日本語 の単語境界を越えたトークンを語彙に多く含み ${ }^{6}$,同一の文書をより少ないトークン数で表現できるこ とが影響している可能性がある。一方で，固有表現抽出に関しては, 固有表現のアノテーションが単語境界に従って行われる場合が多く，分かち書きを行 う万病 WordPiece モデルに有利だと考えられる.

## 4 一般ドメインタスクによる評価

## 4.1 タスク・データセットの概要

日本語言語理解ベンチマーク JGLUE [11] に含 まれる，以下の 5 つのデータセットを用いる： MARC-ja（ネガポジ分類による感情分析タスク）, JSTS（意味的類似度計算タスク）, JNLI（自然言語推論タスク), JSQuAD（抽出型機械読解タスク）, JCommonsenseQA（常識推論を要求する選択肢型機械読解タスク).

## 4.2 実験設定

JGLUE の GitHub リポジトリ7)に公開されている データ（v1.1）をもとに実験を行う. データ内のテ キストは事前に全角文字に正規化する。

## 4.3 結果

表 3 に結果を示す. JSTS や JNLI において， JMedRoBERTa は一般ドメインで事前学習を行った 他の言語モデルに匹敵する高いスコアを出してい

6）例えば「可能性が示唆された」や「有意差は認められな かった」といったフレーズが語彙に含まれている.

7) https://github.com/yahoojapan/JGLUE

8）例えば JNLIにおける majority baseline は 0.553 であり， JMedRoBERTa のスコアはそれよりも十分に高い.言語理解において特に基本的なタスクであり，ドメ インにかかわらず学習可能であることを示唆してい る. 一方で MARC-ja において，JMedRoBERTa は予測を全て positive と返した場合のスコア（0.855）に なっており, 分類そのものに失敗している. また, JCommonsenseQA においても一般ドメインの言語モ デルに比べるとスコアを大きく下げている.これら は医学論文に記述されない日本語の性質や常識を問 うものであるため，自然な結果である。

JSQuAD については, 万病 WordPiece モデルに 限って見ると, JMedRoBERTa は他の言語モデルに 匹敵するスコアを出している。すなわち，JSQuAD は一般ドメインでの読解評価を目指して構築された データセットであるが，特定のドメインで事前学習 されたモデルでも容易に解けることを意味する. ${ }^{9)}$

## 5 まとめ

本稿では, 日本語の医学論文にもとづく事前学習済み言語モデル JMedRoBERTa の構築と評価につ いて述べた. 医療言語処理の様々な領域において JMedRoBERTa が広く活用されることを期待する.

今後の方向性として，医学論文の引用関係を事前学習で用いた BioLinkBERT [23] や, 医学オントロ ジーの知識を事前学習で用いた DRAGON [24] のよ うなモデルを日本語でも作成することが挙げられ る.また，言語モデルのフルスクラッチ学習には大量の計算リソースが必要になるのが課題である. そ こで，計算コストを抑えつつ，モデルを追加学習よ りも効果的にドメイン特化させる exBERT [25] のよ うなアプローチを日本語で試すことも考えられる。

9） SentencePiece モデルは万病 WordPiece モデルに比べてスコ アを大きく落としている.これは， 3.3 節の固有表現抽出夕 スクにおいて SentencePiece モデルがスコアを落とした原因 と同様，トークンの区切りと解答のスパンの開始終了位置が 一致しないことによるものである. なお，JGLUE の著者ら も XLM-RoBERTa に対して同様の報告をしている.

## 謝辞

本研究は, JST の AIP 日独仏 AI 研究 (課題番号 JPMJCR20G9）および学際大規模情報基盤共同利用・共同研究拠点 (JHPCN)（課題番号：jh221004)の 支援を受けた. 本研究成果の一部は，データ活用社会創成プラットフォーム $\mathrm{mdx}$ を利用して得られた.

## 参考文献

[1] Yoshimasa Kawazoe, Daisaku Shibata, Emiko Shinohara, Eiji Aramaki, and Kazuhiko Ohe. A clinical specific BERT developed using a huge Japanese clinical text corpus. PLOS ONE, Vol. 16, No. 11, pp. 1-11, 112021.

[2] Alistair EW Johnson, Tom J Pollard, Lu Shen, Li-wei H Lehman, Mengling Feng, Mohammad Ghassemi, Benjamin Moody, Peter Szolovits, Leo Anthony Celi, and Roger G Mark. MIMIC-III, a freely accessible critical care database. Scientific data, Vol. 3, No. 1, pp. 1-9, 2016

[3] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. BioBERT: a pre-trained biomedical language representation model for biomedical text mining. Bioinform., Vol. 36, No. 4, pp. 1234-1240, 2020.

[4] Emily Alsentzer, John Murphy, William Boag, Wei-Hung Weng, Di Jindi, Tristan Naumann, and Matthew McDermott. Publicly available clinical BERT embeddings. In Proceedings of the 2nd Clinical Natural Language Processing Workshop, pp. 72-78, Minneapolis, Minnesota, USA, June 2019.

[5] Yifan Peng, Shankai Yan, and Zhiyong Lu. Transfer learning in biomedical natural language processing: An evaluation of BERT and ELMo on ten benchmarking datasets. In Proceedings of the 18th BioNLP Workshop and Shared Task, pp. 58-65, Florence, Italy, August 2019.

[6] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. Domain-specific language model pretraining for biomedical natural language processing. ACM Trans. Comput. Heal., Vol. 3, No. 1, pp. 2:1-2:23, 2022.

[7] Yongwei Zhang, Rui Cheng, Lu Luo, Haifeng Gao, Shanshan Jiang, and Bin Dong. SRCB at the NTCIR-16 RealMedNLP Task. In NTCIR-16, 2022.

[8] Shogo Ujiie, Hayate Iso, and Eiji Aramaki. Biomedical entity linking with contrastive context matching. CoRR, Vol. abs/2106.07583, , 2021.

[9] 吉井瑞貴, 竹下昌志, ジェプカ・ラファウ, 荒木健治.論文の構造とタイトルを独立して考慮した医学論文検索モデルの提案. ことば工学研究会: 人工知能学会第 2 種研究会ことば工学研究会資料, Vol. 67, pp. 1-8, 122021.

[10] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. CoRR, Vol. abs/1907.11692, , 2019.
[11] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In LREC 2022, pp. 2957-2966, Marseille, France, June 2022.

[12]壹岐太一, 金沢輝一,相澤彰子. 学術分野に特化した 事前学習済み日本語言語モデルの構築. 第 139 回情報基礎とアクセス技術研究発表会, 2020.

[13] Masahiro Suzuki, Hiroki Sakaji, Masanori Hirano, and Kiyoshi Izumi. Construction and Validation of a PreTraining and Additional Pre-Training Financial Language Model. In SIG-FIN 28, pp. 132-137, 2022.

[14] Keisuke Miyazaki, Hiroaki Yamada, and Takenobu Tokunaga. Cross-domain analysis on Japanese legal pretrained language models. In AACL-IJCNLP 2022 (Findings), pp. 274-281, Online only, November 2022.

[15] 築地俊平, 新納浩幸. Tokenizer の違いによる日本語 BERT モデルの性能評価. 言語処理学会第 27 回年次大会, 2021.

[16] 井上誠一, Nguyen Tung, 中町礼文, 李聖哲, 佐藤敏紀.日本語 GPT を用いたトークナイザの影響の調査. 言語処理学会第 28 回年次大会, 2022.

[17] Mike Schuster and Kaisuke Nakajima. Japanese and Korean voice search. In ICASSP 2012, pp. 5149-5152, 2012.

[18] Kaoru Ito, Hiroyuki Nagai, Taro Okahisa, Shoko Wakamiya, Tomohide Iwao, and Eiji Aramaki. J-MeDic: A Japanese disease name dictionary based on real clinical usage. In LREC 2018, Miyazaki, Japan, May 2018.

[19] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In EMNLP 2018: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018.

[20] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT 2019, pp. 4171-4186, June 2019.

[21] Eiji Aramaki, Mizuki Morita, Yoshinobu Kano, and Tomoko Ohkuma. Overview of the NTCIR-11 mednlp2 task. In NTCIR-11, 2014.

[22] Eiji Aramaki, Mizuki Morita, Yoshinobu Kano, and Tomoko Ohkuma. Overview of the NTCIR-12 mednlpdoc task. In NTCIR-12, 2016.

[23] Michihiro Yasunaga, Jure Leskovec, and Percy Liang. LinkBERT: Pretraining language models with document links. In ACL 2022, pp. 8003-8016, Dublin, Ireland, May 2022.

[24] Michihiro Yasunaga, Antoine Bosselut, Hongyu Ren, Xikun Zhang, Christopher D. Manning, Percy Liang, and Jure Leskovec. Deep bidirectional language-knowledge graph pretraining. In NeurIPS 2022, 2022.

[25] Wen Tai, H. T. Kung, Xin Dong, Marcus Comiter, and Chang-Fu Kuo. exBERT: Extending pre-trained models with domain-specific vocabulary under constrained training resources. In EMNLP 2020 (Findings), pp. 14331439, Online, November 2020.

[26] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In ICLR 2015, 2015.

## A モデルの公開リンク

本研究で作成した事前学習済みモデルは以下のリンク で公開されており, Hugging Faceの Transformers ライブラ リを経由して呼び出すことができる。

・万病 WordPiece モデル（語彙数 $30,000 ）$ :

https://huggingface.co/alabnii/ jmedroberta-base-manbyo-wordpiece
- SentencePiece モデル（語彙数 30,000 ）：

https://huggingface.co/alabnii/ jmedroberta-base-sentencepiece

なお，本文では言及しなかったが，本研究ではモデル の語彙数の影響を調査するため，他の条件を揃えて語彙数 50,000 のモデルも並行して構築し, 評価した. これら は以下のリンクで公開されている。

・万病 WordPiece モデル（語彙数 50,000）：

https://huggingface.co/alabnii/ jmedroberta-base-manbyo-wordpiece-vocab50000
- SentencePiece モデル（語彙数 50,000 ）:

https://huggingface.co/alabnii/ jmedroberta-base-sentencepiece-vocab50000

ただし，語彙数の差によるタスク性能への影響は（トー クナイザの差による影響と比べると）ごくわずかであり，語彙数の多いモデルの方がどのタスクでも性能が高い, または低いというような一貫した影響は見られなかった。

## B 学習用データの詳細

本研究では，JST から提供を受けた 2 種類の非公開デー タを学習に用いる.

1 つは，論文の抄録のみを含むデータである．このデー タから，JST 分類コードが「医学」に該当するデータ10)の 和文抄録のみ抽出する．その上で，データをランダムに 8:1:1 に分割し, それぞれ train, validation, test セットとす る. train セットはトークナイザの訓練用，およびモデル の事前学習の訓練用とし, validation セットはモデルの事前学習のバリデーション用とする. test セットはモデルの 評価データセットの構築にのみ使う. もう 1 つは，論文 の抄録に加えて本文を含むデータである.このデータか ら，同様に医学論文データの和文抄録・本文のみ抽出し,全てトークナイザおよびモデルの訓練に使う.

モデルの事前学習で用いるテキストのサイズは，前者 が約 1.6GB（約 1,000 万文），後者が約 $0.2 \mathrm{~GB}$ (約 140 万文) である.

## C 事前学習の訓練詳細

## C. 1 ハイパーパラメータ

表 4 に，JMedRoBERTa の事前学習におけるハイパーパ ラメータ一覧を示す.

10）https://jdream3.com/service/science/life.htmlの「大分類：医学 (L0700)」を参照.表 4 ハイパーパラメータの一覧

## C. 2 その他の訓練のエ夫

万病 WordPiece モデルにおいては，事前学習のマスク穴埋めタスクの際に，1つの単語に対応する複数のサブワー ドは全てマスクする Whole Word Masking を採用する。ま た, 学習の高速化のため, 単精度浮動小数点数 (FP32) と 半精度浮動小数点数（FP16）を組み合わせた自動混合精度（Automatic Mixed Precision：AMP）演算を導入する。

## D 副標目付与タスクのデータ作成

## 詳細

はじめに 2.2 節で示した論文データのうち事前学習に用 いていないものから，（抄録，索引語，副標目集合）の組 を抽出する（副標目集合は空でもよい）。次に，このまま では副標目集合が空の事例数が多いため，全ての索引語 について副標目集合が空の抄録を取り除く．最後に，索引語のカテゴリでフィルタリングを行い医学に特に関係 する索引語を含む組だけを残す。このようにして得られ る 359,434 件の組を，抄録が分割をまたがないという条件 のもと，6:2:2 で訓練用・バリデーション用・テスト用に 分割する.

## E病名コード付与タスクの訓練詳細

まず，訓練データのラベルである病名コードを標準病名マスター11）を用いて病名に変換し，（診療記録，病名） の組を作成する。そして，同一の組に含まれる診療記録 と病名の埋め込みの距離が近くなるよう対照学習を行う。 なお，埋め込みは各モデルの [CLS]トークンに対応する 最終出力層から得る.また，対照学習における負例は，訓練バッチ内の異なる 2 つの組から 1 つずつ取得した診療記録と病名のペア (in-batch negatives) とする.

推論時は，入力の診療記録に対して最も埋め込みの近 い病名を順に出力し，標準病名マスターを用いて病名 コードに変換する（最終的に異なる 10 個の病名コードを 予測とする．