# 言語横断検索とリランキングを用いる翻訳メモリ利用型 NMT

田村拓也 ${ }^{1}$ 王小天 ${ }^{1}$ 宇津呂武仁 ${ }^{1}$ 永田昌明 2
1 筑波大学大学院 システム情報工学研究群 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所

## 概要

Hossain らが提案した retrieve-edit-rerank [1] は，翻訳や要約において (1) 外部情報から類似事例を検索 し，(2)ニューラルモデルにより出力文候補を生成， (3) 予め定義したリランキングスコアによって最良 の出力文を自動選択する枠組みである。本論文で は，この枠組みにおいて (1) LaBSE や mSBERT を用 いて生成した言語に依らない文埋め込みに基づいて 類似訳文を言語横断検索する手法と (3) 文長に対す る正規化を行ったより良いリランキング手法を提案 し，有意に翻訳精度の向上を達成した.

## 1 はじめに

近年，高品質な対訳文の集合である翻訳メモリを NMT に組み込む研究が多くなされている. Bult é ら [2] [3] は翻訳メモリを NMT に組み込むことで翻訳精度を向上させる NFR モデルを提案した. この モデルは, 編集距離や sent2vec [4] に基づいて翻訳メ モリの原言語文集合から類似文を検索し，類似訳文 を入力原言語文と連結して NMT モデルへの入力と する. このモデルは，NMT モデルへの入力を前処理するだけで良いため，モデルのアーキテクチャを 変更せずに翻訳メモリを組み込むことができる。ゆ えに，既存のあらゆる NMT モデルとの互換性が高 く，実装面での移植性も高い。一方で，この手法で は対訳の揃った翻訳メモリを対象に検索せねばなら ず，目的言語文のみで構成された大規模単言語コー パス (単言語翻訳メモリ)だけでは活用できない。ま た, 入力文長の制約から，これらの手法で利用可能 な類似訳文の数は高々数文に限られるため，有益な 類似訳文がいくら得られたとしてもそれら全てを活用することはできない.

この制約を克服するため，Cai ら [5] は目的言語の 単言語翻訳メモリを利用する手法を提案した.ここ では，Transformer Encoder に基づく検索モデルを提案し, MIPS (Maximum Inner Product Search) によって 類似訳文検索を行う．ただし，検索モデルと翻訳モ
デルは同時に訓練される必要があるため独自のアー キテクチャを必要とし，NFR の利点である既存の NMT モデルへの互換性が大幅に低下する。

また, Hossain ら [1] は, 多数の類似文を活用す る手法として retrieve-edit-rerank の枠組みを提案し た. 彼らは，(1) 複数の相異なる類似文を検索して， (2) 異なる複数の出力文候補を生成し，(3) 対数尤度 に基づいてリランキングを行う手法を提案した。本論文では，この retrieve-edit-rerankの枠組みを踏襲 し, 中でも (1) および (3) に着目して研究を行った. (1) では，言語に依らない文埋め込みを生成する事前学習済みモデル mSBERT・LaBSE を用いて目的言語文集合を対象に言語横断検索を行う手法を提案 し，(3) リランキングフェーズでは，文長に対する正規化を行ったより良いランキング手法を提案する。

提案法の評価にあたり, ASPEC [6] 英日コーパス, および，EU Bookshop Corpus [7] の英仏コーパスを 利用した。その結果，文埋め込みに基づく検索手法 を用いた場合は，編集距離で検索する場合に対して 有意に BLEU を向上させた．また，異なる類似訳文 を用いて生成された異なる出力文候補のリランキン グにおいても提案法は既存手法を大幅に上回った.

## 2 類似訳文検索 (Retrieve)

## 2.1 翻訳メモリからの類似文検索

翻訳メモリ (TM) は，あらかじめ人手で翻訳さ れた高品質な対訳文の集合である。過去には， Computer-Aided Translation (CAT) など，人手翻訳を 補助するツールとして活用され，近年ではニューラ ル機械翻訳（NMT）へ組み込むことが研究されてい る。翻訳メモリを用いると，翻訳したい原言語文が 既に翻訳に格納された文である場合に，その訳文に 置き換えるだけで誤りなく翻訳することができる. また，完全に一致した文が存在せずとも類似度があ る程度高ければ，その訳文は翻訳時に参考になる可能性がある。ここで，入力原言語文に類似した原言語文を「類似文」，それに類似した目的言語文を「類

図 1: Retrieve-Edit-Rerank における推論の枠組み

似訳文」と定義する。このとき，原言語文と類似し た目的言語文を直接検索することができれば，類似訳文の情報源として原言語-目的言語間の対訳文の 揃っている翻訳メモリだけでなく，目的言語文のみ で構成された単言語翻訳メモリが利用できる。以後，本論文では，翻訳メモリを原言語文 $s$ と目的言語文 $t$ のペアの集合とし， $S_{\text {para }}$ を入力原言語文の 集合， $T_{\text {para }}$ を目的言語文の集合とする．また，目的言語の単言語翻訳メモリを $T_{\text {mono }}$ と表記する.

## 2.2 編集距離に基づく類似度尺度

編集距離は，1 文字の挿入，削除，置換によって 元の文字列を別の文字列に変換するために必要な最小の操作回数と定義される. 本論文では, Bult é ら の手法に倣って，Vanallemeersch らの [8] の類似度を 採用した。

$
\operatorname{sim}(x, y)=1-\frac{\Delta_{e d}(x, y)}{\max \left(|x|_{c},|y|_{c}\right)}
$

ここで, $\Delta_{e d}(x, y)$ は $x$ と $y$ の間の編集距離を， $|x|_{c}$ は $x$ の文字数を表す.また，編集距離は同じ言語文 のみでしか計算できないことから，類似文検索を行 う場合の検索対象は $S_{\text {para }}$ に限られる。そのため,検索された類似原言語文の訳文を類似訳文とする。

また，編集距離による類似文検索を行う場合に は総当たりで類似度を算出し比較する必要がある ため，大規模な翻訳メモリに対する計算コストが 著しく大きい. そこで Bult é ら [2] は, Python ライ ブラリ SetSimilaritySearch ${ }^{1)}$ が提供する類似度尺度 containment $_{\text {max }}$ を用いて検索された類似文候補集合に対して編集距離を算出する手法を採用した ( $s s s+e d)$.

1) https://github.com/ardate/SetSimilaritySearch

## 2.3 文埋め込みに基づく類似度尺度

本節では，文埋め込みに基づく文の類似度尺度 について述べる. 文埋め込みは文を高次元の実数 ベクトルに写像したもので，文書分類や感情分析，対訳文検索に用いられる．以後，文 $x$ を文埋 め込みへ変換したものを $E(x)$ と表記する。本論文 では，文埋め込み生成モデルとして，Multilingual Sentence-BERT ${ }^{23)}$ [9] [10]，および，LaBSE [11]を利用した. Multilingual SBERT は, NLI データセット で訓練しSTS タスクで高い精度を達成した英語版 SBERTを知識蒸留により多言語化したもので，言語 に依らない文埋め込みを生成できる。LaBSE は，対訳文を用いて対照学習された多言語文埋め込み生成 モデルであり，対訳文検索を行う BUCC タスクで高 い精度を達成した。ここで，2文 $x$ と $y$ の間の類似度 $\operatorname{sim}$ を以下のように定義する。

$
\operatorname{sim}(x, y)=\frac{E(x) \cdot E(y)}{|E(x)||E(y)|}
$

本論文では，入力原言語文 $s$ を文埋め込み生成モ デルにより変換して得られた文埋め込み $E(s)$ をク エリとして， $T_{\text {para }} \cup T_{\text {mono }}$ を対象にベクトルの近傍探索を行い, $k$ 文の類似訳文 $t_{1}^{\prime}, t_{2}^{\prime}, \ldots, t_{k}^{\prime}$ を抽出し た。なお，ベクトルの近傍探索には FAISS [12]を利用した.

## 3 翻訳モデルによる生成 (Edit)

2) https://github.com/UKPLab/sentence-transformers

3）本論文の実装では mSBERT の事前学習済みモデルとして, paraphrase-multilingual-mpnet-base-v2 を利用した.

## 3.1 翻訳モデルの訓練

翻訳モデルの訓練では Blut é ら [2] [3] と同様の 手順で実施した. 具体的には，まず入力原言語文 $s$ をクエリとして，編集距離または文埋め込みによっ て翻訳メモリ内から $k_{t}$ 文の類似訳文 $t_{1}^{\prime}, \ldots, t_{k_{t}}^{\prime}$ を検索する. その後, NFR モデルと同様に特殊トークン “<sep>”を挟んで $s$ と $t_{i}^{\prime}$ を連結し，翻訳モデルへの 入力とする.

## 3.2 翻訳モデルの推論

モデルの推論手順を図 1 亿示す.まず，入力原言語文 $s$ をエリとし, 訓練時と同様の手順で $k_{p}$ 文 の類似訳文 $t_{1}^{\prime}, t_{2}^{\prime}, \ldots, t_{k_{p}}^{\prime}$ を検索する。次に，翻訳モ デルを用いて $k_{p}$ 回のデコーディングを行い $k_{p}$ 文の 出力文 $o_{i}$ とデコーダの出力確率 $p_{M T}$ に基づくリラ ンキングスコア $Q_{i}$ を得る. このリランキングスコ アについては，4節にて詳説する。

## 4 出力文のリランキング (Rerank)

最後のフェーズでは，生成フェーズで得られたリ ランキングスコア $Q_{i}$ を最大化するような $i=i$ を選択し, 最終的な出力文 $o_{i^{*}}$ とする. ここで, 本論文 では 2 通りのリランキングスコアを検討した. 1 つ 目は Hossain ら [1] と同様の手法で, 対数尤度に基づ くスコアである.

$
Q_{i}^{(\text {Hossain })}=\log _{2} p_{M T}\left(o_{i} \mid s, t_{i}^{\prime}\right)
$

2つ目は，文長による正規化を行った平均対数尤度に基づくランキング手法である. ここで，出力文 $o_{i}$ の文長として，サブワード化された出力を一度復元してから単語数をカウントすることとし, 以下で は $\left|\operatorname{deSW}\left(o_{i}\right)\right|$ と表記する.

$
Q_{i}^{\text {(proposed) }}=\frac{\log _{2} p_{M T}\left(o_{i} \mid s, t_{i}^{\prime}\right)}{\left|\operatorname{deSW}\left(o_{i}\right)\right|}
$

## 5 実験

## 5.1 データセット

本論文では，提案法の評価のためにアジア学術論文英日コーパス ASPEC [6], 欧州の諸機関からの出版物を元に作成された EU Bookshop Corpus [7] (以後 EUBC と表記) のうち英仏コーパスを利用し，翻訳方向はそれぞれ英日・英仏とした. 翻訳モデルの訓練文には，各コーパスからランダムサンプリングさ れた 10 万文対のみ利用し，残りについては単言語翻訳メモリとした。表 1 に，データセットの詳細な 文数を示す。また，和文に対しては $\left.\mathrm{MeCab}^{4}\right)$ を，英文・仏文に対しては Moses tokenizer ${ }^{5)}$ を用いてトー クナイズしたのち，Byte Pair Encoding (BPE) ${ }^{6)}$ [13] を用いて，操作数 32,000 でサブワードに分解した.

## 5.2 実験設定

類似訳文の検索では, 編集距離 (sss+ed), mSBERT, LaBSE の 3 通りを比較した.このうち, sss+ed は同言語間でしか類似訳文を検索できないため，検索対象は訓練文の原言語文 10 万文に限られる。一方で， mSBERT，LaBSE は目的言語文を直接言語横断検索 できるため検索対象は ASPEC で 200 万文，EUBC で 842 万文となる。訓練時には，類似文検索を行わ ない通常の手法（検索なし）と，最大 4 文の類似訳文を利用する手法 (top1～top4) を比較した. 推論時 には，類似文を利用しない手法（類似文なし），才 リジナルの NFR と同様の上位 1 文の類似訳文のみ

ランキングする手法，提案法である $Q^{\text {(proposed) }}$ に基 づく手法を比較した.このうち sss+ed を一つ目の ベースラインとし，各検索手法において $Q^{\text {(Hossain) }}$基づいてリランキングする手法を二つ目のベース ラインとする。また，リランキングによる翻訳精度向上の上限を評価するため，各出力文候補の中で Sentence-BLEU が最も高い文を選択するオラクルに ついても評価した．実験にあたっては PyTorch 実装 の Transformer モデルを採用した. エンコーダとデ コーダは各 6 層とし, 隠れ次元は 512 次元, $\mathrm{FF}$ 層の 次元は 2048 次元，マルチヘッド数は 8 とした.ま た，バッチサイズは 96 文，ウォームアップ 6,000 ス テップのもとで 30 エポックの訓練を行い，開発文 の BLEU が最も高いエポックにおけるテスト文の BLEUを採用した.

表 2: 各リランキング手法における翻訳モデルの実験結果 (訓練時に利用する類似訳文数は $k_{t}=2$.「検索なし」は類似訳文を利用しない vanilla Transformer の結果を，「 $\left.k_{p}=1\right.\rfloor$ は NFR と同様に最も類似度の高い類似訳文を利用した場合

による結果を示す。†は「 $k_{p}=1$ (ベースライン 1 )」に対する有意差 $(\mathrm{p}<0.05)$ を, ${ }^{\ddagger}$ は $Q^{\text {(Hossain) }}$ (ベースライン 2 )」に 対する有意差 ( $\mathrm{p}<0.05$ )を示す.)

表 3: 各検索手法における実験結果 (「類似訳文なし」類似訳文を利用しない vanilla Transformerを，sss+ed は NFR と同様に編集距離に基づく手法を示す.†は

す. )

 &  &  \\

(ベースライン 1) & 2 & 26.2 & 19.5 \\
& 3 & 26.1 & 18.3 \\
& 4 & 25.7 & 16.4 \\

& 2 & 26.5 & 20.8 \\
& 3 & 26.4 & 19.9 \\
& 4 & 26.2 & 19.0 \\

& 2 & $\mathbf{2 7 . 1}^{\dagger}$ & $\mathbf{2 1 . 0 ^ { \dagger }}$ \\
& 3 & 26.5 & 20.4 \\
& 4 & 26.3 & 19.3

## 6 実験結果

各検索手法を用いて類似訳文を検索し，翻訳も デルを訓練した場合の結果を表 3 に示す. ただし，訓練時に利用する類似訳文数を $k_{t}=1,2,3,4$ とし,推論時に利用する類似訳文数を $k_{p}=1$ とした. 類似文検索を行わない場合は, ASPEC・EUBC それ ぞれ 26.2 ポイント・ 20.2 ポイントであったのに対 し, sss+ed ではそれぞれ最大 $26.4 \cdot 20.2$ ポイントと 有意な BLEU の向上は見られなかった. 一方で， mSBERT ではそれぞれ最大 26.5 ポイント・ 20.8 ポイ ントと有意差はないものの BLEU が向上したものが 多く, LaBSE では最大 27.1 ポイント・ 21.0 ポイント と sss+ed に対して有意に高い BLEUが得られた. 特 に， mSBERT，LaBSE ともに上位 2 文を利用する場合に最も高い BLEU が得られ，上位 3 文以上を利用 すると逆に精度が低下することが確認できる.

次に, retrieve-edit-rerank の枠組みに倣ってリラン キングを行った場合の結果を表 2 に示す。まず， $Q^{\text {(Hossain) }}$ によるリランキング手法に着目すると，い ずれも有意な BLEU の向上は得られなかった. 特 に，EUBC において mSBERT やLaBSE を利用する 場合有意に BLEU が低下する。一方で， $Q^{\text {(proposed) }}$ によるリランキング手法では, sss+ed では有意な BLEU 向上が得られないものの, mSBERT やLaBSE を利用する場合は多くの事例で有意に BLEU が向上 した.また, Sentence-BLEU が最大の文を取り出す るオラクルはリランキングの上限値を示している が, sss+ed は mSBERT やLaBSE に比べ低く, さら なる改善の余地が小さいことを示唆する.

## 7 おわりに

本論文では, retrieve-edit-rerank の枠組みのもと で，文埋め込みによる類似訳文の言語横断検索の活用と，文長に対する正規化を行ったより良いランキ ング手法を提案した. 先行研究で利用された編集距離による類似訳文の検索手法よりも， mSBERT や LaBSE といった言語に依存しない文埋め込み生成モ デルを用いたべクトルの近傍探索による検索が翻訳精度の向上に貢献することを示した. また，複数の 相異なる類似訳文を利用して複数の訳文候補を生成 しリランキングによって最良訳自動選択を行う際， サブワード化を復元した文の長さに対する正規化を 行うことにより大幅な翻訳精度の向上を達成した。

## 参考文献

[1] N. Hossain, M. Ghazvininejad, and L. Zettlemoyer. Simple and effective retrieve-edit-rerank text generation. In Proc. 58th ACL, pp. 2532-2538, 2020.

[2] B. Bulté and A. Tezcan. Neural fuzzy repair: Integrating fuzzy matches into neural machine translation. In Proc. 57th ACL, pp. 1800-1809, 2019.

[3] A. Tezcan, B. Bulté, and B. Vanroy. Towards a better integration of fuzzy matches in neural machine translation through data augmentation. Informatics, Vol. 8, No. 1, 2021.

[4] M. Pagliardini, P. Gupta, and M. Jaggi. Unsupervised learning of sentence embeddings using compositional $n$ gram features. In Proc NAACL HLT 2018, pp. 528-540, 2018.

[5] D. Cai, Y. Wang, H. Li, W. Lam, and L. Liu. Neural machine translation with monolingual translation memory. In Proc. 59th ACL and 11th IJCNLP, pp. 7307-7318, 2021.

[6] T. Nakazawa, M. Yaguchi, K. Uchimoto, M. Utiyama, E. Sumita, S. Kurohashi, and H. Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proc. 10th LREC'16, pp. 2204-2208, 2016.

[7] R. Skadiňš, J. Tiedemann, R. Rozis, and D. Deksne. Billions of parallel words for free: Building and using the EU bookshop corpus. In Proc. 9th LREC, pp. 1850-1855, 2014.

[8] T. Vanallemeersch and V. Vandeghinste. Assessing linguistically aware fuzzy matching in translation memories. In Proc. 18th EAMT, pp. 153-160, 2015.

[9] N. Reimers and I. Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proc EMNLP-IJCNLP 2019, pp. 3982-3992, 2019.

[10] N. Reimers and I. Gurevych. Making monolingual sentence embeddings multilingual using knowledge distillation. In Proc. 16th EMNLP, pp. 4512-4525, 2020.

[11] F. Feng, Y. Yang, D. Cer, N. Arivazhagan, and W. Wang. Language-agnostic BERT sentence embedding. In Proc. 60th ACL, pp. 878-891, 2022.

[12] J. Johnson, M. Douze, and H. Jégou. Billion-scale similarity search with gpus. CoRR, Vol. abs/1702.08734, , 2017.

[13] R. Sennrich, B. Haddow, and A. Birch. Neural machine translation of rare words with subword units. In Proc. 54th ACL, pp. 1715-1725, 2016.

## A リランキング時に用いる類似訳文数 $k_{p$ の影響}

(a) $\operatorname{ASPEC}(\mathrm{En} \rightarrow \mathrm{Ja})$

(b) $\mathrm{EBCU}(\mathrm{En} \rightarrow \mathrm{Fr})$

図 2: リランキング時に用いる類似訳文数 $k_{p}$ を変化させた際のリランキング後の BLEU

## B 具体例

表 4 亿，ASPEC を用いた評価実験の結果の具体例を示す。この事例は，マウスの小腸におけるグルコース の吸収について述べた文である。表内の「類似訳文」には各検索手法とリランキング手法によって得られた 最も良い類似訳文を示し，「出力文」には翻訳モデルによる出力結果を示す。その文に対する Sentence-BLEU をそれぞれ算出した，sssted によって検索された類似訳文纪着目すると，まず top1 の類似訳文は生物分野の

情報は少ない。一方で，LaBSE によって検索された類似訳文に着目すると，top1の類似訳文でも「グルコー

表 4: ASPEC を用いた評価実験の結果の具体例

} \\


# Improving Example-based Machine Translation by Analogy Using Parse Trees

Yifei Zhou Yves Lepage
早稲田大学大学院情報生産システム研究科
yifei.zhou@ruri.waseda.jp, yves.lepage@waseda.jp
}

\begin{abstract}
We investigate an approach to example-based machine translation (EBMT) implemented by analogy in a lowresource scenario. This analogical approach requires analogies between sentences in the source language contained in the knowledge database. We use sentence analogies extracted by parse trees to improve the overall quality of translation. We demonstrate that our method is more effective by comparing the translation quality to other baseline systems. Our method surpasses the results of a recurrent neural network (RNN) model and a phrasebased statistical machine translation (PB-SMT) system and even achieves comparable results to those of a Transformer model, without the need for a large-scale training model.
\end{abstract
## 1 Introduction

Distinguished from other techniques, EBMT is a method of machine translation in that translations take place by example. It employs a case-based reasoning strategy, where translations are generated by giving a set of sentences in the source language and other example sentences contained in the knowledge database.

Analogy is a way to implement reasoning. An analogical equation $A: B:: C: D$ expresses a relationship between four objects that pronounces as the following: $A$ is to $B$ as $C$ is to $D$. Analogy has the ability to reason so that we can interpret words or sentences that we are not familiar with.

An EBMT system by analogy has been proposed in [1, 2], which is called Beth. This system requires analogies between sentences to perform case-based reasoning. The existing technique ( $\lg ^{1)}$ [3]) extracts sentence analogies only on the formal level. In this work, we propose to extract

analogies at the syntactic level by using parse trees and use them in an EBMT system by analogy. Such analogies are shown to bring improvement.

## 2 Related Work

## 2.1 Types of Analogy

Analogy is usually categorized as formal analogy and semantic analogy. For formal analogy, we do not consider the meaning of the terms or the syntax of the sentences. We only care about the surface form of the strings, such as characters or words. Take (1) as an example.

$
\text { I talk to him. : } \begin{aligned}
& \text { I talked } \\
& \text { to him. }
\end{aligned}:: \text { I go to school. : x }
$

On the level of form, the solution of (1) is: $x=I$ goed to school. On that level, the only changes allowed are between characters. Whether the sentence is grammatically correct or makes sense is not taken into account.

In contrast to formal analogies, semantic analogies take into account the meaning encapsulated in the words or sentences. Thus, on the semantic level, the solution to (1) is $x=I$ went to school. Here, the meaning attached to the strings is taken into account.

## 2.2 EBMT by Analogy

Formula (2) defines bilingual analogies between sentences in two languages, which are used by the EBMT system by analogy in [1]. $A: B:: C: D$ denotes a monolingual analogy in the source language and $A^{\prime}: B^{\prime}:: C^{\prime}: D^{\prime}$ is its corresponding translation in the target language.

$
\begin{array}{ccccccc}
A & : & B & :: & C & : & D \\
\uparrow & & \uparrow & & \uparrow & & \downarrow \\
A^{\prime} & : & B^{\prime} & :: & C^{\prime} & : & D^{\prime}
\end{array}
$

Suppose that we want to get the translation $D^{\prime}$ of $D$. During the reasoning process, the Beth system retrieves three (problem, solution) cases $\left(A, A^{\prime}\right),\left(B, B^{\prime}\right),\left(C, C^{\prime}\right)$ in which " $A$ is to $B$ as $C$ is to problem $D$ ". The solution of the analogical equation " $A$ ' is to $B^{\prime}$ as $C^{\prime}$ is to $x$ ", $x=D^{\prime}$, is the translation of $D$. It is clear from the above that the quality of analogies between sentences extracted from the corpus is critical for EBMT by analogy.

## 3 Analogy on the Level of Syntax

In this work, we propose to extract analogy at the syntactic level. Figure 1 shows an example of an analogy between sentences that happens on the level of syntax. There is no obvious interpretation to enforce analogy on both the level of form and meaning attached to these sentences. However, we can observe that there is an analogy on the level of syntax by considering their syntactic representations. These sentences form an analogy at the syntactic level when looking at their parse trees ${ }^{2}$ : from personal pronoun (PRP) to proper noun (NNP).

## 3.1 Tree Representation

To make the syntax of a sentence distinct, we first use dependency representation to discern essential information. All of the sentences contained in the corpus are converted into their dependency parse trees using the Universal Dependency parsers provided by spaCy ${ }^{3}$ library. A sentence $S$ is then represented by a feature vector $\overrightarrow{T_{S}}$ by counting the number of occurrences for all the branches found in its parse tree $T_{S}$. See Formula (3).

$
\overrightarrow{T_{A}}=\left(\begin{array}{c}
\left|T_{A}\right|_{V B D \rightarrow P R P} \\
\left|T_{A}\right|_{V B D \rightarrow N N P} \\
\vdots \\
\left|T_{A}\right|_{V B D \rightarrow .}
\end{array}\right)
$

## 3.2 Ratios between Trees

In Formula (4), the ratio between two sentences $A$ and $B$ is defined as the difference between their vectors of syntactic features derived from their parse trees $T_{A}$ and $T_{B}$. To extract analogies at the syntactic level, we check the conformity of an analogy $\quad A: B:: C: D$. Formula (5)

defines it. By doing this, we are able to extract sentence analogies from the corpus.

$A: B \triangleq \overrightarrow{T_{A}}-\overrightarrow{T_{B}}=\left(\begin{array}{c}\left|T_{A}\right|_{V B D \rightarrow P R P}-\left|T_{B}\right|_{V B D \rightarrow P R P} \\ \left|T_{A}\right|_{V B D \rightarrow N N P}-\left|T_{B}\right|_{V B D \rightarrow N N P} \\ \vdots \\ \left|T_{A}\right|_{V B D \rightarrow .}-\left|T_{B}\right|_{V B D \rightarrow .}\end{array}\right)$

$
A: B:: C: D \quad \stackrel{\Delta}{\Longleftrightarrow} \overrightarrow{T_{A}}-\overrightarrow{T_{B}}=\overrightarrow{T_{C}}-\overrightarrow{T_{D}}
$

## 3.3 Analogical Cluster

In [4], an analogical cluster is defined as a set of pairs of sentences with exactly the same ratio, as shown in Formula (6). With analogical cluster, we can measure how regular the transformations between sentences are. In particular, we use the nlg package to extract analogical clusters between sentences, at the level of syntax.

$
\begin{aligned}
A_{1} & : B_{1} \\
A_{2} & : B_{2} \\
& \vdots \\
A_{n} & : B_{n}
\end{aligned} \stackrel{\Delta}{\Longleftrightarrow} \forall(i, j) \in\{1, \ldots, n\}^{2}, A_{i}: B_{i}:: A_{j}: B_{j}
$

## 4 Experiments

## 4.1 Datasets

We use the English-French language pair from the Tatoeba ${ }^{4)}$ corpus and we perform translations from French to English. To simulate the low-resource setting, we use only 114,151 sentence pairs and randomly divide the entire data into three sets: training set ( $90 \%$ ), validation set ( $9 \%$ ), and test set (1\%). Some statistics are shown in Table 1. The sentences contained in the corpus are very short, with an average of 7 words per sentence.

## 4.2 Metrics

We evaluate the translation quality automatically by comparing the output of the translation with the reference sentence in the test set. We apply four different metrics as follows.

4) https://tatoeba.org/

Figure 1 Analogy between sentences on the level of syntax using dependency representation

Table 1 Statistics on the data set used

BLEU (BiLingual Evaluation Understudy) [5] evaluates the similarity between the translated sentence and the reference sentence. It has a scale of 0 to 100 . The similarity between the two sentences increases with increasing BLEU scores. We use the implementation of SacreBLEU ${ }^{5)}$ in [6].

CHRF (Character $n$-gram F-score) [7] uses character $n$ gram F-score to automatically assess the result of machine translation. CHRF score is between 0 and 100. The quality of the translation will be better if it is higher.

TER (Translation Error Rate) counts the number of edit operations required to convert the translated sentence into the reference one. We report TER scores between 0 and 100. The lower the number, the better.

The Levenshtein Edit Distance ${ }^{6)}$ [8] counts the minimal number of three different edit operations (insertions, deletions and substitutions) between a translation result and a reference. Similarly, the lower, the better.

## 4.3 Baselines

We assess the performance of the EBMT system by analogy by comparing the translation results to those of other systems. Here, we give a brief overview of the NMT and PB-SMT systems used for experimentation.

We utilize the OpenNMT ${ }^{7)}$ toolkit [9] to build our NMT systems. We experiment with RNN [10] models and Transformer [11] models. Bidirectional RNN is used as an encoder to design the RNN system and both the encoder and the decoder are 6 layers in size. Also, we use a 4layer Transformer and follow the set-up recommendations in [11] to construct the Transformer system. The early stopping criteria are used for both RNN and Transformer

5) https://github.com/mjpost/sacrebleu

6) https://github.com/roy-ht/editdistance

7) https://opennmt.net/ models. These above-mentioned NMT systems are trained from scratch on the same training set that simulates a lowresource scenario.

Our PB-SMT system is constructed using the Moses ${ }^{8)}$ toolkit [12]. We train a 3-gram language model with KenLM ${ }^{9)}$ [13] and smooth it with modified Kneser-Ney smoothing [14]. GIZA++ ${ }^{10)}$ included in Moses is applied as an alignment tool to generate bilingual phrase tables. Similar to NMT systems, the PB-SMT system is built using sentences from our training set and does not rely on any external data.

## 4.4 Using Analogies at the Level of Syntax in Example-Based Machine Translation by Analogy

We examine whether analogical clusters extracted by syntactic information indeed increase the quality of machine translation by conducting experiments with the EBMT system by analogy proposed in [1]. The core idea of EBMT is that translation is carried out by comparing a given target sentence with the existing cases in the knowledge database. Analogies are used to perform the reasoning process in Beth (See Section 2.2). It is also possible to compile analogical clusters into the Beth system in advance. With the help of this retrieval knowledge, we can accelerate the selection of the most similar cases.

Particularly, we first conduct experiments with the original Beth without using any analogical clusters. Then, we extract analogical clusters on two levels: (1) considering characters (char) only, (2) combining characters and parse trees (char $\cap$ tree) together. We can eliminate some ana-

Table 2 Translation results of different systems on the test set $(\mathrm{fr} \rightarrow \mathrm{en})$

logical clusters that are only character transformations by extracting them from the intersection of on the levels of characters and parse trees. We expect that involving linguistic information, such as parse trees, will improve case reliability. Notice that, we only keep the first 3,000 analogical clusters with the largest number of ratios due to the distribution of the number of analogical clusters with the same size.

## 4.5 Translation Quality

Table 2 displays the results that we obtained with all the different systems mentioned above. The translation quality of the original Beth is already reasonable, with a BLEU score of 44.61. This BLEU score far outperforms RNN's 33.96 and PB-SMT's 39.96. It is worth mentioning that because this EBMT system requires no linguistic knowledge, it can be applied to any language pair. Furthermore, by adding analogies both on the level of syntax and form, we achieve a BLEU score of 53.55 in the EBMT system by analogy. The Transformer model has a BLEU score similar to our proposed method, but it has a lower TER and edit distance, implying a smaller gap between the translated sentence and the reference sentence.

## 4.6 Model Size vs. Translation Quality

We also discuss the trade-off between model size and translation quality. We compute the number of parameters that are trainable in RNN and Transformer models. We calculate the size of the KenLM language model and generated phrase tables for the PB-SMT system. For the original Beth system, there is no need for extra data. In the experiments involving analogical clusters in advance as retrieval knowledge, we count the size of analogy clusters extracted from different levels.

As shown in Figure 2, although the performance of a Transformer model slightly exceeds our proposal, the model size of a base Transformer is already 511 Mb. From this perspective, we can say that our EBMT by analogy is a lightweight approach that is more effective for low-resource machine translation.

Figure 2 Model size and BLEU scores for different systems

## 5 Conclusion

In this work, we worked on an approach to extract analogies between sentences at the syntactic level by using parse trees. We were able to extract sentence analogies both on the level of form and the level of syntax. We showed that using analogies at the syntactic level has a positive impact on the translation quality of an EBMT system by analogy. By contrasting the translation results with existing baselines, our approach outperformed an RNN model and a PB-SMT system by showing higher BLEU scores in a low-resource scenario. Although we got similar evaluation results to those of a Transformer model, our approach still has advantages in model size since we do not need pre-training of a large model.

## References

[1] Yves Lepage and Jean Lieber. Case-based translation: First steps from a knowledge-light approach based on analogy to a knowledge-intensive one. In Case-Based Reasoning Research and Development - 26th International Conference, ICCBR 2018, Proceedings, pp. 563-579. Springer Verlag, 2018.

[2] Yves Lepage and Jean Lieber. An approach to case-based reasoning based on local enrichment of the case base. In Case-Based Reasoning Research and Development - 27th International Conference, ICCBR 2019, Proceedings, pp. 235-250. Springer Verlag, 2019.

[3] Rashel Fam and Yves Lepage. Tools for the production of analogical grids and a resource of n-gram analogical grids in 11 languages. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, 2018. European Language Resources Association (ELRA).

[4] Yves Lepage and Chooi Ling Goh. Towards automatic acquisition of linguistic features. In Proceedings of the 17th Nordic Conference of Computational Linguistics (NODALIDA 2009), pp. 118-125, Odense, Denmark, 2009. Northern European Association for Language Technology (NEALT).

[5] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, 2002. Association for Computational Linguistics.

[6] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, 2018. Association for Computational Linguistics.

[7] Maja Popović. chrF: character n-gram F-score for automatic MT evaluation. In Proceedings of the Tenth Workshop on Statistical Machine Translation, pp. 392-395, Lisbon, Portugal, 2015. Association for Computational Linguistics.

[8] V.I. Levenshtein. Binary codes capable of correcting deletions, insertions and reversals. Soviet Physics-doklady, Vol. 10, No. 8, pp. 707-710, February 1966.

[9] Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart, and Alexander Rush. OpenNMT: Open-source toolkit for neural machine translation. In Proceedings of ACL 2017, System Demonstrations, pp. 67-72, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[10] Thang Luong, Hieu Pham, and Christopher D. Manning. Effective approaches to attention-based neural machine translation. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[12] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[13] Kenneth Heafield, Ivan Pouzyrevsky, Jonathan H. Clark, and Philipp Koehn. Scalable modified Kneser-Ney language model estimation. In Proceedings of ACL 2013, pp. 690-696, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[14] R. Kneser and H. Ney. Improved backing-off for m-gram language modeling. In 1995 International Conference on Acoustics, Speech, and Signal Processing, Vol. 1, pp. 181-184 vol.1, 1995.


# 訓練データ中の頻度バイアスを解消する前処理の提案

神戸隆志 ${ }^{1}$ 鈴木潤 1,2 乾健太郎 1,2
1 東北大学 2 理化学研究所
takashi.kambe.r8@dc. tohoku.ac.jp
\{jun.suzuki,kentaro.inui\}@tohoku.ac.jp

## 概要

訓練データ中の単語頻度の偏りは，深層ニューラ ルネットワークに基づく自然言語処理の性能に悪影響を及ぼすことが知られている．そのため，頻度の 偏りによる影響を解消しようとする試みが報告され ている. 本研究では，その取り組みの一つとして，文の前処理の段階で高頻度語の頻度を減らし, 訓練 データ中の頻度分布を均一に近づけ，頻度バイアス を解消する手法を提案する．本稿では，提案法の有効性を機械翻訳タスクにて検証する。具体的には，提案法により前処理を施した訓練データを用いて構築した翻訳モデルと, 従来通りの訓練データで構築 した翻訳モデルの翻訳性能を比較する。

## 1 はじめに

深層ニューラルネットワークに基づく自然言語処理では，文を単語などの何かしらの基準で分割し， その分割単位に基づいて処理を行う. 近年は，文を 分割する単位として，サブワードを用いることが主流である. 本稿では，議論を簡単にするために，単語やサブワードなど，どのような基準で分割された かによらず分割後の各要素をトークンと表記する. いずれの場合も文を構成するトークンは少数の高頻度トークンと多数と低頻度トークンから構成される という特徵がある．これは，サブワードなどを用い たとしても，程度の差はあれどいわゆる Zipf の法則 に概ね従う分布になるためである。このトークン頻度の偏り（以下，頻度バイアスと表記）が自然言語処理のモデルに影響を与え，様々なタスクの精度が 低下する現象が報告されている [1]. また，この頻度バイアスの悪影響を緩和することで自然言語処理タスクの性能向上を目指す研究が報告されてい る $[1,2,3]$.

本研究は, これらの先行研究と同様に, 頻度バイ アスを緩和する方法を考案することを目的とする。
ただし，従来の方法とは違い，利便性が高く扱いや すい方法の確立を目指す. その観点から，文の前処理の段階で高頻度トークンの頻度を減らし, 訓練 データ中のトークン頻度分布をできるだけ均一に近 づける方法を提案する．より具体的には，訓練デー タ中の高頻度トークンを複数の新しいトークンに 分類し, 高頻度トークンの出現頻度を均す操作を行 う. 前処理により偏りを解消することができれば， モデルの訓練方法の変更などを必要としないため,基本的にあらゆる自然言語処理タスクで利用可能と いう利点となる。

本研究では，機械翻訳のデータを用いた実験によ り提案法の有効性を検証する。具体的には，提案す る前処理を用いて頻度バイアスを軽減した場合に，従来法に相当する頻度バイアスの軽減をしない場合 と比較して性能が向上するかを実験的に確かめる。

## 2 関連研究

## 2.1 サブワード分割

サブワードは単語よりも小さな単位で文を表現 する単位であり，近年の自然言語処理において広く 用いられている単位である. サブワードを使用する 利点として，語彙数を自由に設計して固定すること ができる点や，未知単語をサブワードの組み合わせ として表現できるといった点が挙げられる. 自然言語処理におけるサブワードの構築方法として Byte Pair Encoding (BPE) [4] や Unigram Language Model [5] などが挙げられる.しかし，いずれの方法において も，高頻度単語はそのままサブワードとして語彙に 含められ，低頻度単語はより小さなサブワードの組 み合わせとして表現されやすいという傾向がある. この傾向から，サブワード単位の語彙も単語単位の 語彙と同様に，高頻度サブワードと低頻度サブワー ドに偏る.

図 14.1 節で使用する英文データに対して BPE を 32,000 回適用した場合のトークン頻度分布

## 2.2 頻度バイアス

近年の自然言語処理は，単語やサブワードなどの トークンを埋め込み表現と呼ばれるべクトルとして 表現し，そのべクトルを処理していく手法が一般的 である. 埋め込み表現の特徴として，似た意味の単語には近いべクトルが割り当てられることが期待さ れるが，前述の頻度バイアスにより意味ではなく頻度を反映するような埋め込み表現が構築されてしま うことが報告されている $[1,2]$. 具体的には，高頻度語同士が近くなるように，また低頻度語同士が近 くなるような埋め込み表現が学習され，たとえ意味 の近い単語であっても頻度の違いにより埋め込み 表現が遠ざかる現象が起こってしまう．この埋め込 み表現における現象は様々な自然言語処理のタス クの精度を低下させることが報告されており，頻度 バイアスを解消しようとする試みが研究されてい る $[1,2,3]$.

## 3 頻度バイアスを軽減する前処理

2.2 節の頻度バイアスによる問題は，訓練データ に出現するトークンの頻度が偏っていることに起因 する問題である。そこで本研究では，図 1 の様な訓練データ中の偏ったトークン頻度分布に対して，で きる限り均一な頻度分布に近づける前処理を実施し た上でモデルを学習する方法を考案する．提案する 前処理では，高頻度トークンを複数のトークンに分類して均一な頻度分布に近づける。提案法は, 高頻度トークンを一定のルールに従って分類し頻度を均一に近づけることから分類ルールと呼ぶ．以下，分類ルールの詳細を説明する。

## 3.1 基本的な着想

英語における高頻度トークンである“the”を例 にすると，分類ルールでは訓練データ中の “the”を "the0", "the1", "the2",... といった複数のトークンに置 き換えることで “the” の頻度を減少させる．しかし 無作為に訓練データ中の “the”を複数のトークンに 分割すると，全く同じ文に対するトークン列でも異 なるものになる可能性がある．よって，何かしらの 基準に基づいて分類を行う必要がある．そこで本研究では，分類するトークンを中心とする trigram を 基準に分類する．まず，訓練データ中の最も頻度が 大きいトークンを取得し，そのトークンを中心とす る trigram を全て列挙する。次に列挙した trigram の 中で最も頻度が大きい trigram の中心の高頻度トー クンをその trigram に対応するトークンとして分類 する。例えば “on the other” という trigram が “the”を 中心とする最も高頻度な trigram だった場合，訓練 データ中の “on the other”として出現する “the”は "the 0 " に置き換え，“the" とは異なるトークンとして 扱う。ここで，分類ルールは頻度分布をできるだけ 均一に近づけることを目的としているため，極端な 低頻度 trigram に対応した低頻度トークンを生成し てしまうことは望ましくない，そこで，出現頻度に 閾値を設定し，新たに分類したトークンがその閾値 を下回るような分類は行わないこととする。また，複数の trigram に対して 1 回の分類を行うことも可能とし，例えば “on the basis”, “in the case” として出現する “the”を “the1” として分類するといった操作 を許容し，新たに生成されるトークンの頻度が閾值 を下回らないようにする。図 2 に分類ルールによっ て高頻度トークンが複数のトークンに分類される例 を示す。

## 3.2 アルゴリズム

以上の分類の考え方を踏まえ，具体的な処理手順 は以下の通りである。

1. 出現頻度の大きいトークンの出現頻度を減らし 頻度分布を均一に近づけるため，訓練データ中 の最も高頻度なトークンを取得する。
2. 1 で取得したトークンを中心とする訓練データ 中の trigram を列挙し, trigram の出現頻度が大 きい順にソートする。

3. 頻度の大きい trigram から順に頻度を足し合わ せていき，設定した間値を超えた時点で，それ

図 2 英語における高頻度トークンである“the”を分類す る様子: 一回目の分類では, “the”を中心とする trigram の うち最も高頻度である “on the other” の “the”を “the 0 ”と して分類する。 二回目の分類では “on the basis” の “the”を “the1”として分類しようと試みるが，その場合 “the1” の出現頻度が間値以下になってしまうため，次点で高頻度な “in the case" も使用して分類することで "the1” の出現頻度 が閾値以上になる様にする。

らの trigram の中心に出現するトークンは新た なトークンとして分類する.

4.1-3を目的の語彙数になるまで繰り返す.

上記の 1-3 の手順によって新たに分類されたトー クンが 1 種類増えるため，分類ルールを 1 回適用す ることで語彙数が 1 だけ増える．従って，分類ル一 ル適用後の訓練データの語彙数は，分類ルール適用前の訓練データ中の語彙数と分類ルールの適用回数 を足し合わせた値となる。分類ルールの適用回数は 自由に設定できるため, 目的とする語彙数に調整す ることが可能である.

## 4 実験

本研究では，機械翻訳タスクを用いて分類ルール の効果の検証する. ベースラインとして BPE [4] で サブワード分割を行った訓練データを用意し，その データに対して分類ルールを適用する場合としな い場合の 2 種類の訓練データを作成する. それらの データを用いて翻訳の学習を行い，翻訳精度を比較 することで分類ルールの効果を検証する。

## 4.1 実験設定

データ： $\quad$ WMT20221)の英日翻訳データに対して 参照文不要の COMET [6] を適用し, 計算されたス コアの上位 1,500,000 文対を訓練データとして使用
した，評価データは，WMT2020 および WMT2021 のニュース翻訳タスクの評価データを使用し た. 以下，WMT2020 の評価データを newstest20， WMT2021 の評価データを newstest21と表記する.

トークン分割方法：サブワード構築のため の BPE のマージ回数は，16,000 回または 32,000 回とする. 本稿では，マージ回数 16,000 の BPE を $\mathrm{BPE}(m=16 k)$ ，マージ回数 32,000 の BPE を $\mathrm{BPE}(m=32 k)$ と表記する。分類ルールは，BPE を 16,000 回適用した入力側のデータに対して 8,000 回 または 16,000 回を適用した。また分類ルールにお ける最低頻度の閾値は 800 とした。これによって，出現頻度が 800 より小さくなるトークンは新たに 生成されないことに注意されたい。本稿では，BPE を 16,000 回適用した後に分類ルールを 8,000 回適用したものを $\operatorname{BPE}(m=16 k)+\operatorname{CRULE}(c=8 k)$ ，BPE を 16,000 回適用した後に分類ルールを 16,000 回適用し たものを $\operatorname{BPE}(m=16 k)+\operatorname{CRULE}(c=16 k)$ と表記する.

翻訳モデル： 翻訳モデルには，現在最もよく用 いられるモデルである Transformer [7] を採用した. また，その実装は，fairseq [8] を用いた。

評価指標： 翻訳結果の評価には，機械翻訳の評価指標として広く用いられる BLEU スコアを用い た。BLEU スコアの計算には，sacreBLUE [9] を使用 した.

## 4.2 分類ルールによる頻度分布の変化

分類ルールによる頻度分布の変化を図 3 に示す. ここで，縦軸は対数スケールの出現頻度であること に注意されたい，図 3 から，分類ルールによって高頻度トークンが複数の低頻度トークンに分割される ことで，より均一な頻度分布に近づいているいこと が確認できる。ただし，分類ルール適用後も高頻度 のまま残ってしまうトークンが存在する。これは，分類に使用した trigram が既に高頻度である場合に，現状の trigram に基づく分類ルールではこれ以上分割して頻度を減らすことができないためである.

図 4 は，BPEを 32,000 回適用した訓練データの トークン頻度分布と，BPEを 16,000 回適用し，更に 分類ルールを 16,000 回適用した訓練データのトー クン頻度分布を比較したものである．分類ルールを 適用することで，BPE を継続して適用するより均一 な分布に近くなっていることが確認できた。

図 3 分類ルール適用によるトークン頻度分布の変化 (上：英語，下：日本語)

表 1 日英翻訳における BLEU スコア

表 2 英日翻訳における BLEU スコア

## 4.3 機械翻訳の翻訳品質

表 1 に日英翻訳における BLEU スコアを示す。同様に，表 2 に英日翻訳における BLEU スコアを示す.日英翻訳では, newstest20 においては BPE(マージ 回数 16,000$)$ の設定が最も優れており, newstest21 においては分類ルールを 8,000 回適用した設定 が最も優れている結果となった. 英日翻訳では, newstest20 においては，BPE(マージ回数 16,000), BPE(マージ回数 32,000$)$ ，分類ルール 16,000 回の

図 4 BPE と分類ルールで語彙数を統一した場合の比較 (上：英語，下：日本語)

設定が最も優れており, newstest21においては BPE(マージ回数 16,000 ) の設定が最も優れていた. しかし，いずれの設定においても，最も優れている 設定とそれ以外の設定における BLEU スコアの差は 小さい。このことから，提案法である分類ルールを 適用することによって普遍的に翻訳精度が向上する という結果は得られなかった。

## 5 おわりに

本研究では, 前処理の段階で高頻度トークンの頻度を均すことで頻度バイアスを解消する手法を提案した. 実験では，分類ルールによって訓練データ 中のトークン頻度分布が均一に近づくことが確認 できた。また，機械翻訳タスクにおける一部の評価 データにおいて提案法が優れていることが確認でき たが，提案法による普遍的な翻訳精度の向上を確認 することはできなかった. 今後の展望として，分類 ルールを用いて学習した翻訳モデルの埋め込み層の 観察など，翻訳精度以外の観点からも分類ルールの 効果を検証する必要があると考えている。

## 謝辞

本研究は，JST ムーンショット型研究開発事業 JPMJMS2011 (fundamental research) の助成を受けて 実施されたものである.

## 参考文献

[1] Chengyue Gong, Tao Qin, Di He, Liwei Wang, Xu Tan, and Tie Yan Liu. Frage: Frequency-agnostic word representation. Advances in Neural Information Processing Systems, Vol. 2018-Decem, pp. 1334-1345, 2018.

[2] Jun Gao, Di He, Xu Tan, Tao Qin, Liwei Wang, and Tie Yan Liu. Representation degeneration problem in training natural language generation models. In 7th International Conference on Learning Representations, ICLR 2019, 2019.

[3] Sangwon Yu, Jongyoon Song, Heeseung Kim, Seong-Min Lee, Woo-Jong Ryu, and Sungroh Yoon. Rare Tokens Degenerate All Tokens: Improving Neural Text Generation via Adaptive Gradient Gating for Rare Token Embeddings. In ArXiv, pp. 29-45, 2022.

[4] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In 54th Annual Meeting of the Association for Computational Linguistics, ACL 2016 - Long Papers, Vol. 3, pp. 1715-1725. Association for Computational Linguistics (ACL), 2016.

[5] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In ACL 2018 - 56th Annual Meeting of the Association for Computational Linguistics, Proceedings of the Conference (Long Papers), Vol. 1, pp. 66-75. Association for Computational Linguistics (ACL), 2018.

[6] Ricardo Rei, Craig Stewart, Ana C. Farinha, and Alon Lavie. COMET: A Neural Framework for MT Evaluation. EMNLP 2020 - 2020 Conference on Empirical Methods in Natural Language Processing, Proceedings of the Conference, pp. 2685-2702, 2020.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, Vol. 2017-Decem, pp. 5999-6009, 2017.

[8] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. Fairseq: A fast, extensible toolkit for sequence modeling. NAACL HLT 2019 - 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies Proceedings of the Demonstrations Session, pp. 4853, 2019.

[9] Matt Post. A Call for Clarity in Reporting BLEU Scores. In WMT 2018 - 3rd Conference on Machine Translation, Proceedings of the Conference, Vol. 1, pp. 186-191. Association for Computational Linguistics (ACL), 2018.


# マルチヘッドニューラル N-gram による自己注意機構の代替

Mengsay Loem 高瀬 翔* 金子正弘岡崎 直観
東京工業大学情報理工学院
\{mengsay.loem, masahiro.kaneko\}[at]nlp.c.titech.ac.jp,
sho.takase[at]linecorp.com, okazaki[at]c.titech.ac.jp

## 概要

Transformer の優れた性能は，入力系列内の全ての トークン間の依存関係を考慮する自己注意によるも のであると考えられている。しかし，全ての依存関係を考慮する必要があるかは疑問が残る. 本研究で は，全トークン間の依存関係を考えるのではなく，各トークンの周辺のトークンのみを用いたニューラ ル N-gram モデルに着目し，マルチヘッド機構によ る改良を施したマルチヘッドニューラル N-gram モ デル（multiNN）を提案する。系列変換タスクの実験を通して，提案手法は Transformer に匹敵する性能を示すことを報告する．また，様々な分析の結果 から，マルチヘッドニューラル N-gram は自己注意 とは異なる優位性があり，両者を組み合せることに より，Transformerを上回る性能を達成することも報告する.

## 1 はじめに

Vaswani ら [1] が Transformerを提案して以来, Transformerとその亜種のアーキテクチャは，機械翻訳, 自動要約, 画像認識, 音声認識などの様々な夕 スクに適用されてきた $[1,2,3,4]$. Transformer の主要なモジュールは自己注意（Self-attention）である.自己注意は，系列の各位置の入力を処理する際，全 ての位置間の依存関係に基づいて出力を計算する。具体的には, 入力系列の特徴表現 $x_{1}, \ldots, x_{L}$ が与えら れたとき，位置 $t$ における出力は $x_{t}$ と $x_{1}, \ldots, x_{L}$ 間の 注意重みによる重み付き和により計算される. 例え ば， 入力文 we focus on neighbor tokens に対し，on の 第 1 層の出力を計算するとき, 図 1 (a) のように他の 全ての位置の入力を用いる.

しかし，各位置において全ての入力との依存関係 を考慮する必要があるのだろうか？ 実際，自己注意は処理しているトークンの周辺のトークンのみに

(a) 自己注意

(b) 局所注意 $(\mathrm{N}=3)$

図 1 自己注意と局所注意の違い。自己注意はすべての入力の特徴表現を用いて次の層の特徴表現を計算するが，局所注意は周辺 $N$ 個（この図では $N=3 ）$ の特徴表現のみ を用いる。

図 2 WMT 英独データセットの検証データにおける各層 の自己注意の重み分布を処理している位置からの相対位置でプロットしたもの. WMT データセットで学習した 6 層の Transformer のエンコーダ側を使用した。

大きな注意重みを割り当てる傾向があることが経験的に知られている。例として，図 2 に機械翻訳タス クで用いられる系列変換モデルのエンコーダ側の 各層の自己注意の注意重み分布を示した。この図か ら, 着目している位置の周辺の数トークンに大きな 重みが割り当てられていることが分かる．また，近年の研究では，自己注意で行われる入力間の依存関係の計算において，処理している位置の周囲の $N$ 個 のトークンのみに制限した局所注意の成功が報告さ

(a) エンコーダ側のmultiNN

（b）デコーダ側のmultiNN図 3 エンコーダ側とデコーダ側におけるマルチヘッド ニューラル N-gram のアーキテクチャ

れている [5, 6]. 図 1 (b) に, $N=3$ の場合の局所注意の例を示した。

ある位置の周辺の入力に着目する手法として， N-gram ベースのモデルがよく用いられている. Sun ら [7] は，残差結合 [8] などの最新の手法を導入す ることにより，ニューラル N-gram 言語モデル [9] の性能を著しく向上させた．Sun らの手法は，従来のニューラル N-gram モデルより優れているが， Transformer を上回ることはできなかった. それで は，N-gram ベースのアプローチで自己注意よりも 優れた性能を示すモデルを作ることは本当に不可能 なのであろうか?

本研究では，Transformer [1] の自己注意で用いら れているマルチヘッド機構を導入することにより， ニューラル N-gram モデル [7] を改良する手法を提案する。この改良手法をマルチヘッドニューラル $\mathrm{N}$-gram (multiNN: Multi-head Neural N-gram) と呼ぶ. この改良手法の性能を調べるため，Transformer の自己注意を提案手法の multiNNに置き換え，既存の Transformer との性能比較を行う。機械翻訳 (4 節),自動要約（付録 $\mathrm{A}$ ），音声認識（付録 B）を含む様々 な系列変換タスクにおいて実験を行ったところ，提案手法の multiNN は自己注意と同等かそれ以上の性能を達成することが示された。また，multiNNに関 する分析を通して，既存の Transformer の代替とな るアーキテクチャを模索するために有用な知見が得 られた（5 節）。

## 2 マルチヘッド自己注意

マルチヘッド自己注意は，広く使われている Transformer のコア・モジュールである. マルチヘッ ド自己注意は，入力系列の全体に対する注意関数で 入力間の依存関係を捉える。また，マルチヘッド自己注意は，単一の注意関数を用いるのではなく，異 なる線形写像で変換された入力の特徴表現に対し,複数の注意関数を適用する．具体的には，長さ $L$ の $D$ 次元の入力の特徴表現の列を $x_{1}, \ldots, x_{L} \in \mathbb{R}^{D}$ に対 し， $K$ 個のへッドからなる注意機構は位置 $t$ におけ る出力 $z_{t} \in \mathbb{R}^{D}$ を次式で計算する（[$\cdot$; $\cdot$] はベクトル の連結， $k \in\{1, \ldots, K\}$ である).

$
\begin{aligned}
z_{t} & =\left[h_{t}^{(1)} ; \ldots ; h_{t}^{(K)}\right] W \\
h_{t}^{(k)} & =\sum_{i=1}^{L} \alpha_{t i}^{(k)} x_{i}^{(k)} \\
x_{i}^{(k)} & =x_{i} W_{v}^{(k)}
\end{aligned}
$

ここで, $W \in \mathbb{R}^{K d \times D}, W_{v}^{(k)} \in \mathbb{R}^{D \times d}$ は線形写像の重 み行列である ( $d$ は各へッドに写像された特徴表現 $x_{i}^{(k)}$ の次元数であり, 通常は $d=D / K$ である). また, ヘッド $k$ における注意重み $\alpha_{t i}^{(k)} \in \mathbb{R}$ は入力 の位置 $t$ と $i$ の間のスケーリングされた内積である [1]. 式 (2)は, 線形写像された入力表現 $x_{1}^{(k)}, \ldots, x_{L}^{(k)}$ に対し, 注意関数を適用して各へッドの出力 $h_{t}^{(k)}$ を計算する。そして，式 (1) で，全ヘッドの出力 $h_{t}^{(1)}, \ldots, h_{t}^{(K)}$ を連結し, 線形写像 $W$ を適用するこ とにより，マルチヘッド自己注意の出力 $z_{t}$ を得る.

## 3 マルチヘッドニューラル N-gram

本研究では，ニューラル N-gram 言語モデルの アーキテクチャを踏襲しつつ，Transformer のマルチ ヘッド自己注意と同様にマルチヘッド機構を導入 し，ニューラル N-gram モデルを改良する．マルチ ヘッドニューラル N-gram（multiNN）は，入力系列 の各位置において，その位置のトークンの特徴表現 とその周囲の $N$ 個のトークンの特徴表現を連結し たものを入力として受け取る。連結された特徴表現 は, 図 3 のように複数の線形写像を独立に適用す る. 具体的には， $D$ 次元の特徵表現 $x_{1}, \ldots, x_{L}$ の系列 が与えられた際，エンコーダ側で $K$ 個のへッドを持 $\supset$ multiNN は，位置 $t$ の出力の特徴表現 $z_{t}$ を，以下

の式で計算する.

$
\begin{aligned}
z_{t} & =\left[h_{t}^{(1)} ; \ldots ; h_{t}^{(K)}\right] W \\
h_{t}^{(k)} & =\operatorname{ReLU}\left(\left[x_{t-n+1}^{(k)} ; \ldots ; x_{t+n-1}^{(k)}\right] W^{(k)}\right) \\
x_{t}^{(k)} & =x_{t} W_{x}^{(k)}
\end{aligned}
$

ここで, $W \in \mathbb{R}^{K d \times D}, W^{(k)} \in \mathbb{R}^{(2 n-1) d \times D}$ と $W_{x}^{(k)} \in$ $\mathbb{R}^{D \times d}$ は線形写像の重み行列である. multiNN の各 ヘッド $k$ で使われる入力表現は, 式 (6) の異なる重 み行列 $W_{x}^{(k)}$ で線形写像される. 式 (5) で $n$ 個の周辺の入力表現を連結し, 線形写像 $W^{(k)}$ と活性化関数 ReLUを適用することで各へッドにおける位置 $t$ の出力 $h_{t}^{(k)}$ を計算する. 最後に, 式 (4) で全 $K$ 個の ヘッドの出力 $h_{t}^{(1)}, \ldots, h_{t}^{(K)}$ を連結し, 線形写像 $W$ を施すことで，位置 $t$ における multiNN の出力 $z_{t}$ を 計算する.

multiNN では $n$ トークン以上離れた距離にある依存関係を考慮することができない。この弱点を緩和 するため, 入力系列を各ヘッド $k$ に写像した後の全特徴表現に最大值プーリングを適用し, グローバル な特徴表現

$
x_{\text {global }}^{(k)}=\max \left(x_{1}^{(k)}, \ldots, x_{L}^{(k)}\right)
$

を計算したのち，式 (5)を次式で置き換える選択肢 も検討する.

$
h_{t}^{(k)}=\operatorname{ReLU}\left(\left[x_{t-n+1}^{(k)} ; \ldots ; x_{t+n-1}^{(k)} ; x_{\text {global }}^{(k)}\right] W^{(k)}\right)
$

このとき, 重み行列 $W^{(k)}$ のサイズを $W^{(k)} \in \mathbb{R}^{2 n d \times D}$ に変更する。

なお，系列変換モデルのデコーダ側に multiNNを 採用するときは，マスク付き自己注意のアイディア と同様に, 着目している位置 $t$ の左側の特徴表現 $x_{t-n+1}^{(k)}, \ldots, x_{t}^{(k)}$ のみを用いることとし, 右側（将来） の特徴表現は参照しないこととする。

## 4 実験

## 4.1 設定

multiNN の性能を評価するために，WMT の英語—ドイツ語と IWSLT ドイツ語—英語の 2 つの機械翻訳ベンチマークで実験を行った．WMT では， Vaswani ら [1] の実験と同様に 450 万文のペアを含 む WMT データセットを使用した. 検証セットとテ ストセットとして, newstest2013 と newstest2014を それぞれ使用した. IWSLT では, Cettolo ら [10] と 同様に， 16 万文ぺアが含まれるデータセットを使用した. 各データセットの語彙の構築には，ソー表 1 機械翻訳タスクの BLEU スコア

表 2 WMT の検証セットにおけるベースライン手法の性能および multiNN モデルのアブレーション結果

ス側とターゲット側で語彙を共有する Byte Pairing Encoding [11]を用いた. 語彙のサイズは WMT で 32K，IWSLT で 10K に設定した. ベースライン手法 として, Transformer-base [1]を採用し，マルチヘッ ド自己注意を multiNN に置き換えた場合の性能を比較した。また，その他のベースライン手法として，提案手法の multiNN と同様に周囲の $N$ 表現のみを 使用した局所注意 $[5,6]$ とも性能の比較を行った.

## 4.2 結果

機械翻訳タスクの結果を表 1 に示した. 各手法 のランダムシードを変化させ，3回の実行結果の平均スコアと分散を報告した. WMT と IWSL の両方 のデータセットでは， multiNN が自己注意と同等の BLEU スコアを達成した.この結果から, multiNN は，すべての入力表現の位置依存関係を考慮するこ となく, 注意機構に基づく手法と同等の性能が達成する能力があることが推測される. この結果は, multiNN は単純なアーキテクチャを採用し，扱える 文脈の範囲を近傍のトークンに限定したにも関わら ず，注意機構に匹敵する能力を有することを示唆し ている。また， multiNN は両方のデータセットで局所注意を 0.40 ポイント以上上回る性能を示した.

## 5 分析

## 5.1 各構成要素の貢献

ここでは，ニューラル N-gram ベースのモデルに 関する知見を得るために， multiNN における各構成要素の貢献度合いを調査した. この実験では, 全て

のモデルがほぼ同じパラメータ数になるようにし て，モデル間の性能を比較した。

まず，マルチヘッド機構の効果について議論した い. 表 2 の「multiNN」と「-マルチヘッド」の比較から分かるように，マルチヘッド機構を用いない N-gram モデルでは, BLEU スコアが 0.67 ポイントも 低下した。このことから，ニューラル N-gram ベー スの手法の性能向上において，本稿で提案したマル チヘッド機構が効果的であることが示唆される.

続いて，エンコーダ側のグローバル特徴表現の効果について議論したい. 表 $2 「$ multiNN」と「-グ ローバル」の比較から, multiNN からグローバル特徵表現を取り除くと，モデルの性能は低下するもの の，その低下は僅かであった．したがって，グロー バル特徴表現も multiNN モデルの性能向上に貢献し ているものの，マルチヘッド機構の方がより効果が 大きいと推察される.

## 5.2 multiNN と自己注意との組合せ

Sun ら [7] はニューラルNグラムモデルと自己注意を組み合わせた場合の実験結果を報告していた。本稿でもそれに倣い，multiNN と自己注意を組合せ たモデルでの実験結果を報告する． multiNN と自己注意は，入力間の異なる種類の依存関係を捉えると 考えられるため，エンコーダとデコーダの両方で性能の向上が期待できる. 本研究では，各層で両者を 組み合わせた場合と, エンコーダ側およびデコーダ 側で両者を切り替えて用いた場合の二種類の実験を 行った.

図 4 に，自己注意を持つ 6 層の Transformer の下位 の層から，自己注意をグローバル特徴表現を用いな い multiNN に置き換えたときの，WMT データセッ トの検証セットにおける性能を示した. 図 4 に示す ように，下位から 3 層までに multiNNを用いるこ とにより，既存の Transformer に比べて BLEU スコ アを最大 0.50 ポイント改善できることが分かった. ところが，この改善効果は multiNn をさらに上の層 まで置き換えてしまうと，減少してしまった.この 結果から，Transformer の下位の層において狭い文脈 に着目するように誘導することが重要であると考え られる。

WMT の検証セットにおいて，エンコーダ側とデ コーダ側で multiNN と自己注意を切り替えた場合の 実験結果を表 3 に示した. デコーダ側の自己注意を multiNN に置き換えると，元々の Transformer よりも

図 4 multiNn と自己注意の層別組合わせ.

表 3 エンコーダ側とデコーダ側における multiNN と自己注意の組合せ

高い性能を示すことが分かった。一方で，エンコー タ側の自己注意を multiNNに置き換えると，元々の Transformer よりもわずかに性能が低下する．以上の 結果から，この機械翻訳タスクにおいてはエンコー ダ側で長距離の依存を考慮できるようにしておき， デコーダ側では短距離の依存関係を考慮するように 誘導する方が有利であることが示唆される。このよ うに，multiNNは自己注意とは異なる効果を持って おり，これらを併用することでタスクの性能を改善 できる可能性がある。

## 6 おわりに

本研究では，入力の全体ではなく周辺の特徴表現 のみを用いたニューラル N-gram ベースモデルが自己注意の代替になり得るかという問いを探求した。 その問いを検証するため，ニューラル $\mathrm{N}$-gram モデ ルを改良し，マルチヘッド機構を導入した multiNN を提案した。文脈の範囲を高々前後 $n$ トークンに 限定したにも関わらず，系列変換タスクにおいて， multiNN が自己注意や局所注意などの既存手法と同等かそれ以上の性能を示すことを実証した。また， multiNN と自己注意を組み合わせることより，既存 の Transformer を上回る性能を発揮し得ることも報告した. 今後の課題として，深いモデルや事前学習 での性能を検証することで，multiNN のスケーラビ リティを評価することを予定する。
謝辞 本研究成果は，国立研究開発法人情報通信研究機構 (NICT) の委託研究「自動翻訳の精度向上 のためのマルチモーダル情報の外部制御可能なモデ リングの研究開発」(課題 225）により得られたもの です.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, 2017 .

[2] Sho Takase and Naoaki Okazaki. Positional encoding to control output sequence length. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 3999-4004, 2019

[3] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth $16 x 16$ words: Transformers for image recognition at scale. In International Conference on Learning Representations, 2021.

[4] Linhao Dong, Shuang Xu, and Bo Xu. Speech-transformer: A no-recurrence sequence-to-sequence model for speech recognition. In 2018 IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 58845888, 2018.

[5] Rewon Child, Scott Gray, Alec Radford, and Ilya Sutskever. Generating long sequences with sparse transformers. CoRR, Vol. abs/1904.10509, , 2019.

[6] Iz Beltagy, Matthew E. Peters, and Arman Cohan. Longformer: The long-document transformer. CoRR, Vol. abs/2004.05150, , 2020.

[7] Simeng Sun and Mohit Iyyer. Revisiting simple neural probabilistic language models. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5181-5188, Online, 2021.

[8] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 770-778, 2016.

[9] Yoshua Bengio, Réjean Ducharme, Pascal Vincent, and Christian Janvin. A neural probabilistic language model. Journal of Machine Learning Research, Vol. 3, p. 1137-1155, 2003.

[10] Mauro Cettolo, Jan Niehues, Sebastian Stüker, Luisa Bentivogli, and Marcello Federico. Report on the 11th IWSLT evaluation campaign. In Proceedings of the 11th International Workshop on Spoken Language Translation: Evaluation Campaign, pp. 2-17, 2014.

[11] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Asso- ciation for Computational Linguistics, pp. 1715-1725, 2016.

[12] Alexander M. Rush, Sumit Chopra, and Jason Weston. A neural attention model for abstractive sentence summarization. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 379-389, 2015.

[13] Abigail See, Peter J. Liu, and Christopher D. Manning. Get to the point: Summarization with pointer-generator networks. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 1073-1083, 2017.

[14] Vassil Panayotov, Guoguo Chen, Daniel Povey, and Sanjeev Khudanpur. Librispeech: An asr corpus based on public domain audio books. In 2015 IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 5206-5210, 2015.

[15] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.
表 4 見出し生成タスクにおける ROUGE-1, 2, L（R-1, R-2, R-L）の F1 スコア

表 5 文書要約タスクにおける ROUGE-1, 2, L（R-1, R-2, R-L）のF1スコア

## A 自動要約タスクの実験

本研究では，見出し生成と文書要約の二つの自動要約タスクについても実験を行った. 見出し生成は 文レベルの自動要約タスクであり，ニュース記事の 先頭の文から対応する見出しを生成するタスクで ある。このタスクの実験では， Gigaword データセッ

ト [12] 使用した。文書要約タスクは，文書レベル の要約タスクであり，モデルは原文書から複数の文 からなる要約を生成する. このタスクの実験では, CNN/DailyMail データセット [13] を用いた。また，両タスクにおいて，ソース側とターゲット側で語彙 を共有した Byte Pairing Encoding [11]（語彙サイズは 32K）を用いた. モデルのサイズは機械翻訳の実験 と同等になるように設定した。

見出し生成タスクと文書要約タスクの結果を表 4 と表 5 に示す. 見出し生成タスク，文書要約タスク のいずれにおいても， multiNN は自己注意に匹敵す る性能を示した. また, 局所注意と比較すると，提案手法の multiNN は大幅な性能向上を達成した.こ れらの知見は，機械翻訳タスクにおけるものと同様 である.

## B 音声認識タスクの実験

テキストの系列変換タスクの他に，LibriSpeech データセット [14]を用い，自動音声認識タスクの 実験を行った. LibriSpeechには，約 960 時間に及ぶ オーディオブックの音声が収録されている. この データセットには，話者の単語誤り率に基づき，ク リーンとその他の 2 種類のデータプールが存在す る. 実験では，両方のプールを使用した. デコーダ 側の語彙は SentencePiece [15] を用い，語彙サイズは表 6 LibraSpeech の検証セットにおける単語の誤り率

表 7 LibraSpeechのテストセットにおける単語の誤り率

10Kとした.

LibriSpeech データセットの検証セットとテスト セットにおける自動音声認識タスクにおける単語の 誤り率を表 6 と表 7 に示した。提案手法の multiNN は，ほぼ同じモデルサイズで自己注意と同程度の性能を発揮した. また， multiNN の単語誤り率は局所注意よりも 1 ポイント以上の低かった.この実験結果も，機械翻訳タスクと自動要約タスクの実験結果 と整合している.


# 自然言語生成タスクの自動評価指標のためのドメイン外検出

伊藤拓海 $^{1}$ 森下睦 ${ }^{2}$ 鈴木潤 1
1 東北大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
t-ito@tohoku.ac.jp makoto.morishita.gr@hco.ntt.co.jp jun.suzuki@tohoku.ac.jp

## 概要

自然言語生成タスクの評価指標として，ニューラ ルベースの評価指標が急速に発展している. しか し，これらの評価指標は，学習を伴う指標であり，評価するデータが評価指標の学習データのドメイン 外の場合，誤ったスコアを付与する可能性がある.本稿では，機械翻訳のための参照なし評価指標であ る COMET-QE に対して，1クラス分類器を評価指標 に適用することで，ドメイン外検出をする方法を提案する. さらに，1 クラス分類器の分類精度向上を 目指し, 特徴量空間においてドメイン内とドメイン 外のデータ点を分離できるように, 評価指標の学習時に距離学習を適用した. 実験の結果，既存手法で あるモンテカルロドロップアウトを用いた手法を上回るドメイン外検出能力を達成した.

## 1 はじめに

機械翻訳や要約生成などの自然言語生成 (NLG) タスクにおいて, NLG モデルの評価方法の研究が 注目されている。その評価方法は，人手評価と自動評価に大きく分類される. 人手評価は，人がモデル の性能を評価する方法であり，多くのタスクにおい てゴールドスタンダードとされている. しかしなが ら，人手評価は一般に時間的・金銭的なコストが高 く, 再現性の観点でも課題がある. そのため, 代替手法として時間的・金銭的なコストが低く再現性も 高い自動評価指標が用いられる。さらに，自動評価指標は参照あり評価指標と参照なし評価指標に大き く分類することができる。「参照」とは，各 NLG タ スクの評価事例に対して人が作成した解答例とな るテキストである．参照あり手法とは，参照テキス トとシステムが生成したテキストを比べることで 評価をする手法である。一方，参照なし評価指標と は参照テキストを使用しない評価方法である. つま り，参照なし評価指標は，評価事例として NLG モ デルへの入力データとモデルの出力があれば適用可能である．新たなドメインの評価事例などに対し て，より低コストでNLG モデルを評価できる可能性を秘めており，評価のスケールアップが期待され ている. 以前は，参照あり手法に比べて，評価性能 が劣っているとされていたが，近年参照あり手法と 競争的な評価性能を達成する手法がいくつか提案さ れてきている [1]. ${ }^{1)}$ また，参照なし評価指標は NLG モデルの評価だけでなく，NLG モデルの推論時のリ ランキングなどにも使用されるなど，その応用範囲 も広い [2].

こうした参照なし評価指標の発展の背景には, ニューラルベースの教師あり評価指標の発展があ る.2)特に，人が付与した品質評価スコアを教師に， BERT などの言語モデルをべースとした回帰モデル を学習する手法がよく提案されている [3]. しかし， こうした学習が伴う手法では, 機械学習一般の課題 であるが，学習データ中に評価事例の類似事例がな い場合に，その評価事例の評価性能（或いは評価の 信頼性）が低くなるという課題がある。実際，機械翻訳の多くの評価指標が，ドメインに対して頑健で ないことが報告されている [4]. さらに，学習済み のモデルだけが配布されることが多々あり，モデル の学習に使用したデータの詳細が評価指標の利用者 からは特定できない場合も少なくない. 評価指標の 使用方法を誤ったり，本来使用すべきではないデー タに対して使用すると，NLG モデルの開発の失敗 に繋がることや，誤った研究の結論を導く可能性が ある.

本稿では，評価指標に対して評価するデータが学習データに含まれるドメインかどうかを検出する （ドメイン外検出と呼ぶ）機能を組み込むことを目指す。参照なし評価指標は学習データ外のドメイン のデータに対して適用するされる可能性が高いた め, 本稿では参照なし評価指標に焦点を当てる. 評

1）NLG の評価指標は一般に，人手評価と相関（人手相関）が 高いものほど高性能な指標とされている.

2）ニューラルベースの NLG 評価指標は参照あり評価指標に おいても主流となっている.
価指標としての性能を維持したままドメイン外検出 を実現することができれば，より公平で正確な NLG モデルの評価につながる. さらに，ドメイン外検出 は評価指標の解釈性 [5] の向上にも貢献しうる.

## 2 関連研究

COMET [3] とは，機械翻訳タスクのための評価指標のフレームワークであり ${ }^{3}$ ，参照ありと参照 なしの両方のバージョンを提供している（参照な しを COMET-QE [1] と呼ぶ).ここでは, COMET$\mathrm{QE}[1]$ について説明する. 参照なし手法は, 原文 $s$ と, NLG システムの出力文 $h$ を COMET-QE の 入力とする. COMET-QE のモデル構造は，まず， XLM-RoBERTa [6] などの多言語マスク言語モデルに よって原文と NLG システムの出力文から特徴量べ クトル $\boldsymbol{x}$ を得て，それをフィードフォワード層 $f(\cdot)$ に入力し, 評価スコアを出力する. 特徴量べクトル $x$ は以下のように計算される.

$
\begin{aligned}
\mathbf{s} & =\operatorname{XLM}-\operatorname{RoBERTa}(s) \\
\mathbf{h} & =\operatorname{XLM}-\operatorname{RoBERTa}(h) \\
\mathbf{x} & =[\mathbf{h} ; \mathbf{s} ; \mathbf{h} \odot \mathbf{s} ; \mathbf{h}-\mathbf{s}]
\end{aligned}
$

人が付与するスコアを $q$ ，バッチサイズを $n$ とする と，損失関数 $L$ は以下のように計算される。

$
L=\frac{1}{n} \sum_{i=1}^{n}\left(f\left(\mathbf{x}_{i}\right)-q_{i}\right)^{2}
$

本研究と類似し, NLG 評価指標に対して, 信頼性スコアを出力する取り組みが既になされてい る $[7,8]$. ドメイン以外にも, 学習データや参照テキ ストのノイズなども不確定性の要因となり得る. 例 えば, Glushkova ら [7] は, モンテカルロドロップア ウト (MCD) とディープアンサンブルの 2 つの不確実性推定手法を, COMET に適用している. MCD と は，推論時にもドロップアウトを適用し，複数回推論を行い，スコア集合 $Q=\left.\{q_{1}, q_{2}, \ldots, q_{i}\right.\}$ を求める. ガウス分布を仮定し, スコア集合 $Q$ から, 平均と標準偏差を推定する.この平均を新たなスコアとし，標準偏差を信頼性スコアとする. ディープアンサン ブルは，複数のモデルを用意し，スコア集合を得る 方法である. MCD やディープアンサンブルでは，推論に時間を要するという課題がある. Zerva ら [8] は，平均と標準偏差を直接出力するように COMET を学習する手法を提案している。なお, これらの論文は，主に参照ありの設定で実験を行なっている。

3) https://github.com/Unbabel/COMET

## 3 提案手法: 学習ドメイン外検出

本研究の目標は, 評価指標としての性能を維持し たまま，ドメイン外検出を行うことである。本研究 では, 評価指標の学習データを正クラス, 学習デー タ以外のドメインのデータを負クラスと呼ぶ.

## 3.1 1 クラス分類

ドメイン外検出のため 1 クラス分類器を適用す る. 1 クラス分類タスクとは正クラスかどうかを分類するタスクであるが，多クラス分類タスクとは異 なり, 学習時には正クラスのみのデータを使用し,推論時に正クラスか負クラスかを分類する. 本実験 では, 正クラスのインスタンスの COMET-QE の特徴量ベクトルを1クラス分類タスクの学習データとす る.つまり, COMET-QE の学習データを $D_{\text {in-domain }}$ とすると, 1 クラス分類器の学習データ $D_{\text {OneClass }}$ は $D_{\text {OneClass }}=\left.\{\mathbf{x}_{i} \mid\left(s_{i}, h_{i}\right) \in D_{\text {in-domain }}\right.\}$ となる. ま た, この手法は評価指標の学習後に, 1クラス分類器 の学習が可能であり, ドメイン外検出器を搭載する ことは, 評価指標の性能には影響を与えない。なお，本稿では, 1 クラス分類のアルゴリズムとして, 高次元に対応した Empirical-Cumulative-distribution-based Outlier Detection (ECOD) [9] を使用する。

## 3.2 Triplet Margin Loss

本実験では，既存研究 [10]を参考に，1クラス分類の精度向上を目指し, COMET-QE の学習時に距離学習を組み込み，特徴量埋め込みの空間において 正クラスのデータ点を近づけ，正クラスと負クラ スの距離を大きくする. 本研究では, Triplet Margin Loss を使用する。なお，今回は負クラスのデータ点同士が近付くようには学習する必要がないため, ア ンカーには正クラスのサンプルだけを使用する。ま た，ミニバッチ内で作成できる全ての組み合わせを 考慮する。つまり，アンカーを $a$ ，正クラスのイン スタンスを $p$ ，負クラスのインスタンスを $n$ ，ミニ バッチ内での組み合わせの数を $c$ とすると, Triplet Margin Loss は以下のように計算される.

$
L_{\text {triplet }}=\frac{1}{c} \sum_{i}^{c} \max \left.\{d\left(a_{i}, p_{i}\right)-d\left(a_{i}, n_{i}\right)+\text { margin, } 0\right.\}
$

なお， $d$ はインスタンスの特徴量ベクトルの間の L2 距離である.

## 4 実験

第 3 節の手法の有効性を検証する．評価指標とし ての性能を落とすことなく, ドメイン外検出するこ とを目指す。

## 4.1 モデル設定

本実験では，以下の４つの設定を比較する.
- MCD: COMET-QE に対して, MCD を適用 [7].
- OneClass: COMET-QE を学習し，その後 1 ク ラス分類器を学習. 人手相関の観点では, COMET-QE に一致する.
- Margin(.05): COMET-QE の学習時に Triplet Margin Loss を margin 0.05 で学習し，その後 1 クラ ス分類器を学習.
- Margin(.1): COMET-QE の学習時に Triplet Margin Loss を margin 0.1 で学習し, その後 1 クラス分類器を学習.

本研究では, $\mathrm{MCD}$ の推論回数は 100 回に設定し, ドロップアウト率は 0.1 とした。また，本実験では，式 2 と Triplet Margin Loss を重み付けることなく線形に組み合わせた. ハイパーパラメータ等の詳細 な設定は付録 A に示す. なお，第 2 節で紹介した， ディープアンサンブルや Zerva ら [8] の手法も比較可能な手法であるが，今後の課題とする。

## 4.2 学習/評価データセットと評価方法

学習データ. WMT 2022 Metrics Shared Task (WMT22)の学習データとして配布されている newstest2020と newstest2021の MQM データを使用 する. ${ }^{4}$ この $\mathrm{MQM}$ データには，英語-ドイツ語，中国語-英語，英語-ロシア語の 3 つの言語対が含まれ ている。なお，言語対によってスコアを付与した組織が異なり，スコアのレンジが異なる.5)本実験で は，前処理として MQM スコアを正規化してから学習に使用した。また，Triplet Margin Loss で使用する 負クラスのデータは ParaCrawl [11] から，言語対ご とに正クラスと負クラスのサンプルサイズが同数に なるようにサンプリングした．MQM データの 1 割

4) WMT22 では, Direct Assessments (DA) data という WMT の News translation task での人手評価のスコアも評価指標の学習 データとして配布されている. 先行研究 [1] などでは, DA data で事前学習したのち，MQM data で微調整をするという 戦略をとっているが，本実験では DA data は使用しない.

5）英語-ドイツ語と中国語-英語はスコアのレンジは $[-25,0]$ である。一方で，英語-ロシア語はスコアのレンジは $[-\inf (-400), 100]$ である.表 1 英語-ドイツ語の人手相関。值はセグメントレベル のケンドールの順位相関係数.

} \\

表 2 英語-ロシア語の人手相関。值はセグメントレベル のケンドールの順位相関係数.

} \\

表 3 中国語-英語の人手相関. 值はセグメントレベルの ケンドールの順位相関係数.

} \\

を開発データに使用し，残りの9 割を COMET-QE の学習に使用した。

評価データ． WMT21の TedTalks のデータセッ ト [4] と WMT22 の評価用データセット [12]を使用する. どちらのデータも MQM でアノテーショ ンされたデータであり，英語-ドイツ語，中国語-英語，英語-ロシア語の 3 つの言語対を含む. なお， WMT22には news, conversational, e-commerce, social の 4 つのドメインが含まれている. 本実験では, WMT22 の news を正クラスのドメイン, TedTalks と conversational, e-commerce, social の4つを負クラス のドメインとする.

評価方法. 評価指標の性能評価は，MQM スコ アとの相関を報告する. ${ }^{6)}$ ドメイン外検出の評価に は AUROC を使用する。

## 4.3 実験結果

表 $1,2,3$ に各データセットの人手相関（ケンドー ルの順位相関係数7)）の結果を示す. “mixed”とは，

6）相関の計算には https://github.com/google-research/ mt-metrics-eval を使用した。相関の計算時には人手翻訳は 含めていない。

7） ケンドールの順位相関係数は，セグメントレベルの MQM データセットの評価の際に使用される指標である。
表 4 AUROC. 正クラスのデータはwmt22-news.

wmt22 の 4つのドメインを全て混合させた設定であ る.なお，表の conv.と ecはそれぞれ， conversational と e-commerce の略記である。表 4 には AUROC の結果を示す. 付録 B にシステムレベルの評価結果と ケンドールの順位相関係数以外の相関の結果を示 す.なお, OneClassの人手相関は COMET-QE と一致する.

人手相関に関して, news と news 以外のドメイ ンを比較すると, news 以外のドメインでは相関 が弱くなっていることがわかる. 例えば，表 1 の 英語-ドイツ語では, COMET-QE（OneClass）は人手相関が wmt22-news では 0.330 であるのに対して， wmt22-conversation では，0.134である. 今回の実験結果からは, news 以外のドメインのテストデータが ドメイン以外の問題で難易度が高くなっている可能性も捨てきれない. しかし，少なくとも，ドメイン によっては相関が低い場合があることがわかる.

表 4 より，MCD ではほとんどの言語対・データ セットで AUROC が 0.5 前後であり，ドメイン外検出ができていないことがわかる. いくつかの設定で は， 0.5 を下回っている (表の赤字). 特に， $\mathrm{MCD}$ は 中国語-英語の wmt22-conversation, wmt22-social に対 し, AUROC が 0.233，0.193 と低い值になっている. つまり，これらのデータセットでは， MCD では正 のクラス wmt22-news の方が標準偏差の値が大きく なっていることを意味する.

一方, OneClass は一貫して，MCD を超えるドメ イン外検出性能を達成しており, COMET-QE の特徵量ベクトルにドメインの情報が含まれていることが 示唆される. 特に，どの言語対でも conversation の ドメインに対しては AUROC の値が 0.8 を超えてい る. conversation は特に人手相関が弱いドメインで あり，1クラス分類を適用することで，評価指標の 評価性能が悪いドメインを検出できていることが示唆される。

また，Triplet Margin Loss を適用すると，一貫し て AUROC の値が向上していることがわかる. しか し，ドメイン外検出の精度は向上したが，ほとんど
のデータセットで人手相関が弱くなっている. 特 に, OneClass と比較すると, Margin が 0.1 の時に大 きく相関が下がっている。また，正クラスである wmt22-news においても，一貫して相関が弱くなっ ている。距離学習を組み込むことで，特徴量空間に おいて正クラスと負クラスのデータ点を分けること はできたものの，評価指標の評価性能自体に悪影響 を与えてしまっていることが示唆される. 別の距離学習アルゴリズムを使用したり, 距離学習時に使用 する負クラスのサンプルの選択方法を工夫したり，学習戦略やハイパーパラメータの微調整したりする ことによって改善する可能性があると考えている. それらの検証は今後の課題である.

## 5 おわりに

本研究はドメイン外検出の機能を NLG 評価指標 に適用することを目指したものである. 本実験で は，参照なし評価指標に焦点をあて，1クラス分類器を参照なし評価指標に組み込むことを検証した。 また，距離学習である Triplet Margin Loss を用いて，評価指標の特徵量空間において，学習ドメインとそ れ以外のドメインのデータ点の距離を離すことを試 みた. その結果, 先行研究である $\mathrm{MCD}$ と比較して, 1クラス分類器を用いた手法が評価指標としての性能に影響を与えることなく，ドメイン外検出ができ ていることがわかった. また, Triplet Margin Loss を 用いることで，ドメイン外検出の精度は向上した が，評価性能が低下してしまった. 特に，正クラス のドメインに対しても人手相関が弱くなってしまっ ている.

本稿では，参照なし評価指標を対象としたが，本稿の手法は参照あり評価指標にも適用可能であり,今後の課題である. ドメイン外検出に焦点を当てた が，学習ドメイン外でも高性能な評価指標の実現の ため，分布外一般化 [13] も，今後の研究の重要な方向性の一つである. NLG 分野において，高性能で頑健な自動評価指標の開発は重要な研究課題であり,今後更なる研究の推進を期待する.

## 謝辞

本研究は JSPS 科研費 JP21J14152, JST ムーン ショット型研究開発事業 JPMJMS2011 (fundamental research) の助成を受けて実施されたものである.

## 参考文献

[1] Ricardo Rei, Ana C Farinha, Chrysoula Zerva, Daan van Stigt, Craig Stewart, Pedro Ramos, Taisiya Glushkova, André F. T. Martins, and Alon Lavie. Are References Really Needed? Unbabel-IST 2021 Submission for the Metrics Shared Task. In Proceedings of the Sixth Conference on Machine Translation, pp. 1030-1040, Online, November 2021. Association for Computational Linguistics.

[2] Patrick Fernandes, António Farinhas, Ricardo Rei, José De Souza, Perez Ogayo, Graham Neubig, and Andre Martins. Quality-Aware Decoding for Neural Machine Translation. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1396-1412, Seattle, United States, July 2022. Association for Computational Linguistics.

[3] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. COMET: A Neural Framework for MT Evaluation. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing, pp. 26852702, Online, November 2020. Association for Computational Linguistics.

[4] Markus Freitag, Ricardo Rei, Nitika Mathur, Chi-kiu Lo, Craig Stewart, George Foster, Alon Lavie, and Ondřej Bojar. Results of the WMT21 Metrics Shared Task: Evaluating Metrics with Expert-based Human Evaluations on TED and News Domain. In Proceedings of the Sixth Conference on Machine Translation, pp. 733-774, Online, November 2021. Association for Computational Linguistics.

[5] Christoph Leiter, Piyawat Lertvittayakumjorn, Marina Fomicheva, Wei Zhao, Yang Gao, and Steffen Eger. Towards Explainable Evaluation Metrics for Natural Language Generation, 2022.

[6] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised Cross-lingual Representation Learning at Scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[7] Taisiya Glushkova, Chrysoula Zerva, Ricardo Rei, and André F. T. Martins. Uncertainty-Aware Machine Translation Evaluation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 39203938, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[8] Chrysoula Zerva, Taisiya Glushkova, Ricardo Rei, and André F. T. Martins. Disentangling Uncertainty in Ma- chine Translation Evaluation. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing. arXiv, 2022.

[9] Zheng Li, Yue Zhao, Xiyang Hu, Nicola Botta, Cezar Ionescu, and George Chen. ECOD: Unsupervised Outlier Detection Using Empirical Cumulative Distribution Functions. IEEE Transactions on Knowledge and Data Engineering, pp. 1-1, 2022.

[10] Wenxuan Zhou, Fangyu Liu, and Muhao Chen. Contrastive Out-of-Distribution Detection for Pretrained Transformers. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 1100-1111, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[11] Marta Bañón, Pinzhen Chen, Barry Haddow, Kenneth Heafield, Hieu Hoang, Miquel Esplà-Gomis, Mikel L. Forcada, Amir Kamran, Faheem Kirefu, Philipp Koehn, Sergio Ortiz Rojas, Leopoldo Pla Sempere, Gema RamírezSánchez, Elsa Sarrías, Marek Strelec, Brian Thompson, William Waites, Dion Wiggins, and Jaume Zaragoza. ParaCrawl: Web-Scale Acquisition of Parallel Corpora. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4555-4567, Online, July 2020. Association for Computational Linguistics.

[12] Tom Kocmi, Rachel Bawden, Ond $\AA^{\mathrm{TM}}{ }^{\mathrm{e}}$ ej Bojar, Anton Dvorkovich, Christian Federmann, Mark Fishel, Thamme Gowda, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Rebecca Knowles, Philipp Koehn, Christof Monz, Makoto Morishita, Masaaki Nagata, Toshiaki Nakazawa, Michal Nov $\tilde{A}_{i} k$, Martin Popel, MajaPopoviÄ $\ddagger$, Mariya Shmatova. Findings of the 2022 Conference on Machine Translation (WMT22). In Proceedings of the Seventh Conference on Machine Translation, pp. 1-45, Abu Dhabi, December 2022. Association for Computational Linguistics.

[13] Zheyan Shen, Jiashuo Liu, Yue He, Xingxuan Zhang, Renzhe Xu, Han Yu, and Peng Cui. Towards Out-OfDistribution Generalization: A Survey, 2021.

## A 実験設定

表 5 COMET-QE のハイパーパラメータ

表 5 に COMET-QE の学習時のパラメータを示す.本実験では，Triplet Margin Lossを使用した際も同様 の設定を用いた. 毎エポック後にモデルを保存し，開発データに対するケンドールの順位相関係数が最 も高かったチェックポイントのモデルを評価に使用 した。なお，ケンドールの順位相関係数に対して， Early Stopping を行った.

## B 実験結果

表 6 英語-ドイツ語のセグメントレベルのピアソンの相関係数.

} \\

表 7 英語-ロシア語のセグメントレベルのピアソンの相関係数.

} \\

表 8 中国語-英語のセグメントレベルのピアソンの相関係数.

} \\

表 $6,7,8$ に各言語対のセグメントレベルのピア ソンの相関係数の結果を，表 $9,10,11$ に各言語対表 9 英語-ドイツ語のセグメントレベルのスピアマンの 順位相関係数。

} \\

表 10 英語-ロシア語のセグメントレベルのスピアマンの 順位相関係数。

} \\

表 11 中国語-英語のセグメントレベルのスピアマンの順位相関係数.

} \\

表 12 システムレベルのピアソンの相関係数.

 &  &  &  &  &  \\

のセグメントレベルのスピアマンの順位相関係数 の結果を示す. また，表 12 にシステムレベルのピ アソンの相関係数を示す. システムレベルについて は，ピアソンの相関係数の值のみを報告するが，こ れは WMT22でも同様にシステムレベルではピアソ ン相関係数が報告されている。なお，システムレべ ルでは，WMT22の全体の結果と TedTalks の結果の みを示す.


# 計算資源が限られた複数組織での出力選択による協働の検討

伊藤郁海 ${ }^{1}$ 伊藤拓海 ${ }^{1,2}$ 鈴木潤 1,3 乾健太郎 1,3
1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 理化学研究所
ikumi.ito.p8@dc.tohoku.ac.jp \{t-ito,jun.suzuki,kentaro.inui\}@tohoku.ac.jp

## 概要

潤沢な計算資源を持たない組織一つでは，高性能 な大規模ニューラルモデルの開発は困難である. 本稿では，そのような組織がそれぞれ開発したモデル を集結させて組み合わせた場合の性能は, 潤沢な計算資源を使い一箇所で訓練されたモデルの性能に匹敵するのかどうか検証する．実験では，独立に訓練 された少訓練データかつ小サイズの小モデル群と,多訓練データかつ大サイズの単独大モデルの英日翻訳の性能比較を行った. 実験の結果，小モデル群が 生成する複数の出力の中から適切な出力を選択した 場合, 小モデル単体と比較して 10 倍の訓練データ 量かつ 3 倍のモデルサイズの大モデルの能力に匹敵 する性能を達成した。

## 1 はじめに

近年，自然言語処理分野において大規模ニューラ ルモデルが様々なタスクで高い性能を達成してい る. その背景には，より多くの訓練データを用い て，より大きなモデルを訓練することで，モデルの 性能がべき乗則に従って向上し続けることが期待で きるという実験的知見がある [1]. 今後も高性能モ デルの実現を目的とした訓練データやモデルサイズ のさらなる大規模化が進む可能性は十分考えられ る.こうした大規模モデルの開発には多くの計算資源が必須となるため，潤沢な計算資源を持つ一部の 企業や研究機関 (大組織) のみがモデル開発を行っ ているというのが実情である. しかし，大学の研究室など計算資源が潤沢ではない組織（小組織）が高性能なモデルの開発に関与できないという状況は望 ましくない [2]. 限られた計算資源を最大限に活用 する方法を模索し, より広く多くの研究者や開発者 がモデルの性能向上において競争力を持つことは重要である.

では，どのようにすれば計算資源で劣る組織が性能の高いモデルを開発することができるだろうか.本稿では，計算資源で劣る複数の小組織が力を合わ せた場合に，大組織が作るモデルに匹敵する性能を 達成できるかどうかを検証する．具体的には，独立 に訓練された少訓練データかつ小サイズの小モデル 群と多訓練データかつ大サイズの単独大モデルの性能比較を行う. 本稿では，小モデル群の活用方法と して，各小モデルの出力の中から最適であると推定 される出力を小モデル群全体の出力として採用する という戦略をとる。訓練済みモデルを多数集め，そ れらのモデルの出力の中から最適であると推定され る出力を選択するという戦略は，各モデルの訓練は 独立に行うことができるという点で有用である. モ デルの訓練を独立に実行できることには二つの利点がある。一つ目は，訓練データの共有が不要な点 である。これによりプライバシー保護が必要な組織 （例: 医療機関，金融機関など）が持つデータを活用 できる。二つ目は，他の組織の開発やモデル共有後 の工程に対する考慮が不要な点である．個々の組織 は，既存のモデル開発ノウハウをそれぞれの状況に 合わせて自由に適用することができる.

本稿では，英日翻訳タスクを題材として小組織群 と大組織間の比較を行った. 模擬実験としての簡易化のために，以下の制約のもとに実験を行った.

・各小組織は，大組織用の訓練データを等分割し たものの一部を訓練データとして用いる.

$\cdot$訓練，推論の独立性は保った上で，小組織間で 同一の実験設定を用いる.

実験の結果，複数の小モデルの出力集合に対して，参照なし評価指標を用いた出力選択を行ったとこ ろ，大モデル（小モデル単体と比較して 10 倍の訓練データ量かつ 3 倍のモデルサイズ）の性能に匹敵 する結果となった。

## 2 関連研究

計算資源が限られている場合でも，高精度なモデ ルを構築するため，さまざまな研究が行われてい

る. 例えば，モデル性能を保ちながら効果的な訓練 データを選択することで，訓練データ量の削減を試 みた研究がある $[2,3]$. また，量子化などによりパ ラメータサイズを削減した上でモデルを訓練すると いう方法も提案されている [4, 5].

他にも，本研究と類似した取り組みとして，独立 した複数の計算機の協働による分散的なモデル訓練方法も研究されている. 例えば，連合学習は，モデ ルの訓練データが分散して存在する場合に，それぞ れの場所で独立にモデルの訓練を行った後，各モデ ルの更新情報を集約することにより，全体として一 つの大きなモデルを訓練する手法である [6]. また，訓練の独立性を保ちながら複数モデルの合成を繰り 返し，性能向上を試みる新たな事前訓練手法も提案 されている [7].

また，本研究と同様に，複数のモデルを推論時に 用いることで良い出力を得る方法も研究されてい る. 例えば，アンサンブル [8] は，複数のモデルの 予測確率を共有し, その平均から最終的な出力を得 る手法である. そのため, 複数の組織間でアンサン ブルを適用するためには事前にモデルの辞書を共有 することが必要である.

モデルの推論時ではく，推論後の出力集合をリラ ンキングやその集合から最も良い出力を選択すると いう方法も研究されている [9].

## 3 タスク定義

本稿では，モデルの訓練に使用するデータ量とモ デルサイズを制御することにより，使える計算資源 が少ない小組織と，豊富な計算資源を使える大組織 を再現する．本実験の概要を図 1 に示す.小組織の総数を $n$ とし，大組織，小組織が使用す る訓練データをそれぞれ $D, d_{i}(1 \leq i \leq n)$ とすると，本実験における $D$ と $d_{i}$ の関係は以下のように表さ れる1).

$
D=d_{1} \cup d_{2} \cup \ldots \cup d_{n}, \quad d_{i} \cap d_{j}=\emptyset(i \neq j)
$

また，大組織，小組織が使用するモデルをそれぞ れ $M, m_{i}$ とすると，モデルサイズに関して， $M>m$ が成り立つ. 実験にて使用する具体的なデータセッ トおよびモデルは， 4.2 節， 4.1 節にて述べる.

大組織は，訓練データ $D$ を用いてモデル $M$ の訓練を行い，評価データ $X$ に対する出力を評価指標

1）組織間において共通の訓練データが存在し，かつ訓練デー タの一部のみが各組織独自のデータであるような状況も想定 され得るが，本実験の対象外とする。

図 1 実験設定の概要

$\operatorname{Eval}(\cdot)$ により評価する．大組織のモデルのスコアは 次の式で表される.

$
\text { score }_{\text {Large }}=\frac{1}{|X|} \sum_{n=1}^{|X|} \underset{x_{n} \in X}{\operatorname{Eval}\left(M\left(x_{n}\right)\right)}
$

各小組織は，訓練データ $d_{i}$ を用いてモデル $m_{i}$ の訓練を独立に行う. その後, 評価データ $x_{j} \in X(1 \leq j \leq|X|)$ に対する小モデルたちの候補文集合 $Y_{j}$ を得る.

$
Y_{j}=\left.\{y_{1}=m_{1}\left(x_{j}\right), y_{2}=m_{2}\left(x_{j}\right), \ldots, y_{i}=m_{i}\left(x_{j}\right)\right.\}
$

出力選択関数を $f_{\mathrm{sel}}(\cdot)$ とすると, 評価文 $x_{j}$ に対し て最終的な出力 $h_{j}$ は以下のようになる.

$
h_{j}=\underset{y \in Y_{j}}{\arg \max } f_{\mathrm{sel}}(y)
$

評価データ $X$ に対する小モデル群のスコアは次の 式で表される.

$
\text { score }_{\text {small }}=\frac{1}{|X|} \sum_{n=1}^{|X|} \operatorname{Eval}\left(h_{n}\right)
$

実験にて使用する具体的な Eval および $f_{\text {sel }}$ は, 4.3 節にて述べる.

なるかどうかを検証する。

## 4 実験

本稿では，英日翻訳タスクにて実験を行う。

## 4.1 モデル

翻訳モデルとして, Transformer [10]を使用した. モデルパラメータが約 100M のモデルを小組織が扱 う小モデル，約 $300 \mathrm{M}$ のモデルを大組織が扱う大モ デルとみなした.

## 4.2 訓練用/評価用データセット

訓練データとしてJParaCrawlv3.0 [11]（約 25M）を 使用した. 小モデルは，25M の訓練データを等分割 したもの2)の一部を用いてモデルの訓練を行う．大 モデルは，25M の訓練データを全て用いてモデルの 訓練を行う。また，評価用データとして WMT2022 の newstest2022 [12]を使用した. サブワード分割器 およびモデルの辞書の作成は，分割前の全訓練デー 夕をもとに行い，小組織，大組織含め全モデルで 同一のものを使用した.また、評価指標として， COMET[13] ${ }^{3)}$ と BLEURT $[14,15]^{4)}$, sacreBLEU [16] を使用する。

## 4.3 出力選択方法

本実験では，式 4 の出力選択関数 $f_{\mathrm{sel}}(\cdot)$ として,参照あり評価指標である COMET と参照なし評価指標である COMETKIWI [17] ${ }^{5}$ を使用する。参照あ り手法は評価時に参照テキストを使用し出力選択 をしているため，実際の設定では使用することが できない。また，COMET は評価指標として使用し たものと同じモデルを使用した. つまり，COMET による出力選択はオラクル設定である。一方で， COMETKIWI は出力選択時に，翻訳モデルへの原文 と翻訳モデルの出力のみが必要であり，現実の設定 でも利用可能な方法である. ${ }^{6)}$

## 4.4 比較設定

本稿では，以下の設定の翻訳性能を比較する。

・Small : 小モデル. それぞれ小モデル群の平均値（Mean），最大値（Max），最小値（Min）を報告する.
- Large : 大モデル単体.

-Est：小モデルの候補文集合から COMETKIWI で最大スコアとなる翻訳文を選択する方法.

2）本実験では，分割においてドメインやトークン数など各 データ集合の性質に関する考慮は行わない。

3) https://unbabel-experimental-models.s3.amazonaws. com/comet/wmt22/wmt22-comet-da.tar.gz（11月 22 日時点 で公開されていたモデル)

4) https://storage.googleapis.com/bleurt-oss-21/ BLEURT-20.zip

5) https://unbabel-experimental-models.s3.amazonaws. com/comet/wmt22/wmt22-cometkiwi-da.tar.gz（11 月 23 日時点で公開されていたモデル)

6） wmt22-comet-da の訓練データは，2017 年から 2020 年の WMT News Translation Task における人手評価データである. また, wmt22-cometkiwi-da の訓練データは, wmt22-comet-da の訓練データと MLQE-PE データ [18] である.表 1 訓練データを 10 等分割した場合の結果（newstest2022)

-PostCosE：小モデルの候補文集合に含まれる各文を単語分散表現を用いてべクトル化し，他の 文とのコサイン類似度が最も高い翻訳文を選択 する方法 [9]. 単語分散表現は，fastText[19] に より，JParaCrawlv3.0 の日本語データを用いて 作成.

・MaxRef : 小モデルの候補文集合から COMET で 最大スコアとなる翻訳文を選択する方法.

個々の小モデルのハイパーパラメータ等の設定は全 て揃えて実験を行った。なお，ハイパーパラメータ 等の詳細な設定は付録 $\mathrm{A}$ に示す.

## 4.5 実験結果・考察

表 1 に，訓練データを 10 等分割し，小モデルが 10 個存在する状態における WMT2022 の newstest2022 に対する各手法の評価結果を示す. 7$)$

Small は，いずれもLarge に劣る性能を示し た. ${ }^{8)}$ Est は, COMET と BLEURT において Large を 超える性能を示し，MaxRef は全ての評価指標にお いて Large を超える性能を示した。これらの結果よ り，モデルを複数用意した上で，それぞれの出力の 中から最適な選択ができた場合，個々のモデルの性能から大きな性能向上が期待できる．また，Est と MaxRef の性能差は COMET と COMETKIWI の性能差でもある.

他方，PostCosE は Est と比較して小さな性能向上 に留まった。その要因として，それぞれの手法の出力選択戦略の違いが考えられる. PostCosE は，モデ ル群の中央值的な出力を採用する手法である．この 手法は，モデル群の中で及第点となる性能を持つモ デルが多数派となるような状況において有効である

7) WMT2022 の newsdev2022, WMT2020 の newsdev2020 に対 する評価も行い，結果を付録 Cに示した。

8）付録 B に，全訓練データで訓練した Small モデルの性能と 10 分割データで訓練した Large モデルの性能を示す. Large が Smallを超える性能を示した要因は，訓練データの量とモ デルサイズの両方の影響であると示唆される..

と考えられる. 一方で, Est は, モデル群の中で最良と推定される出力を採用する手法である. この手法は，モデル群の中で性能の低いモデルが多数派で あっても，高性能なモデルが一つでも存在すればそ のモデルの出力が選択される. 訓練データが全く異 なるなど，本実験のように各モデルの性能にばらつ きが生じる得る状況の場合は，Est の方が PostCosE よりも好相性であることが示唆される.

## 4.6 発展：アンサンブル

使用できるモデルが複数ある場合に，それらのモ デルを活用する方法の一つとして推論時のアンサン ブル [8] が挙げられる. しかし，一般的なアンサン ブルではモデル間でモデルの辞書を共有する必要が ある。本稿では各小モデルが独立に訓練される場面 を想定しているため，アンサンブルは比較設定に含 まなかった. しかしながら，実験前に全ての小組織間で調整を行い，アンサンブルの実施が可能な場合 は有効な手法である．そこで，本章では追加でアン サンブルを含む実験を行い，その結果を報告する。 なお，章 4.5 とは異なり，訓練データを 4 等分割し,小モデルが 4 個存在する状態にて実験する.

表 2 に，WMT2022 の newstest2022 に対する各手法の評価結果を示す. Small-*のハイフン以下はモ デルのIDを示す. また, $0+1$ は Small-0と Small-1 をアンサンブルした場合の結果である。***(4), ***(15) は出力選択の対象となるモデル数の違いを 示す.つまり, Est(4) は Small-0から Small-3 の 4 モデル、Est(15) は Small-0から Small-0+1+2+3 ま での 15 モデルで候補文集合を得て出力選択を行っ た設定である.

全ての評価指標において, Est(4)よりも Est(15), MaxRef(4)よりもMaxRef(15) の方が高い性能を示 した。これは，モデルアンサンブルを適用すること で，候補文集合内により良い出力を得られたことを 意味する。

また，アンサンブルに参加するモデル内に，性能 が低いモデルが含まれる場合は，性能が向上しな い場合もあることがわかった. 4 つの小モデル単体 の性能に着目すると，Small-2 の COMET が他のモ デルと比較して低く, Small-2がアンサンブルに関 わる場合の COMET の値に注目すると，Small-2 が 参加しない場合の方が高い性能を示している（例：

Small-0+1:0.7919, Small-0+1+2:0.7898).

## 5 おわりに

本稿では，独立に訓練された少訓練データかつ小 サイズの小モデル群は，多訓練データかつ大サイズ の単独大モデルと同等の性能を達成できるのか，と いう研究課題の検証を英日翻訳の性能比較により 行った. 複数の小モデルの出力集合に対して，参照 なし評価指標を用いた出力選択を行った場合の性能 は，大モデルの性能に匹敵することを示した．本実験結果は，計算資源の制約により単独組織が構築で きるモデルの性能に限界があったとしても，複数の 組織が協働することで，潤沢な計算資源を持つ単独組織が作成する大規模モデルに匹敵する性能を達成 できる可能性があることを示唆するものである.

候補文集合から出力選択を行う戦略においては,出力選択器の性能が鍵となるため, 出力選択器のさ らなる性能向上が望まれる，今後の展望として，翻訳タスク以外でも実験を行うことを計画している。 また，GPT-3 [20]のような汎用言語モデルによる複数タスクの性能比較においても本実験と同様の結果 が得られるのかも検証する予定である。本実験では 各小組織の訓練データが全て異なる設定を用いた が，訓練データの一部を共有するなど，より現実に 即した設定での実験を検討する。

## 謝辞

本研究は，JST ムーンショット型研究開発事業 JPMJMS2011（fundamental research), JSPS 科研費 JP21J14152 の助成を受けて実施されたものです.ま た，本研究を進めるにあたり，有益な助言を頂きま した東北大学 乾 - 坂口 ・徳久研究室の仲村祐希氏 へ感謝いたします.

## 参考文献

[1] Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling Laws for Neural Language Models, 2020.

[2] 鈴木潤, 全炳河, 賀沢秀人. ニューラル言語モデルの効率的 な学習に向けた代表データ集合の獲得. 言語処理学会第 28 回年次大会, 2022.

[3] Tongzhou Wang, Jun-Yan Zhu, Antonio Torralba, and Alexei A. Efros. Dataset Distillation, 2018 .

[4] Itay Hubara, Matthieu Courbariaux, Daniel Soudry, Ran El-Yaniv, and Yoshua Bengio. Quantized Neural Networks: Training Neural Networks with Low Precision Weights and Activations. J. Mach. Learn. Res., Vol. 18, No. 1, p. 6869-6898, jan 2017.

[5] Ron Banner, Itay Hubara, Elad Hoffer, and Daniel Soudry. Scalable Methods for 8-Bit Training of Neural Networks. In Proceedings of the 32nd International Conference on Neural Information Processing Systems, NIPS'18, p. 5151-5159, Red Hook, NY, USA, 2018. Curran Associates Inc.

[6] Brendan McMahan, Eider Moore, Daniel Ramage, Seth Hampson, and Blaise Aguera y Arcas. Communication-Efficient Learning of Deep Networks from Decentralized Data. In Aarti Singh and Jerry Zhu, editors, Proceedings of the 20th International Conference on Artificial Intelligence and Statistics, Vol. 54 of Proceedings of Machine Learning Research, pp. 1273-1282. PMLR, 2017.

[7] Margaret Li, Suchin Gururangan, Tim Dettmers, Mike Lewis, Tim Althoff, Noah A. Smith, and Luke Zettlemoyer. Branch-TrainMerge: Embarrassingly Parallel Training of Expert Language Models, 2022.

[8] Lior Rokach. Ensemble-based classifiers. Artificial intelligence review, Vol. 33, No. 1, pp. 1-39, 2010.

[9] Hayato Kobayashi. Frustratingly Easy Model Ensemble for Abstractive Summarization. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4165-4176, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[11] Makoto Morishita, Katsuki Chousa, Jun Suzuki, and Masaaki Nagata. JParaCrawl v3.0: A Large-scale English-Japanese Parallel Corpus. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 6704-6710, Marseille, France, June 2022. European Language Resources Association.

[12] Tom Kocmi, Rachel Bawden, Ondrej Bojar, Anton Dvorkovich, Christian Federmann, Mark Fishel, Thamme Gowda, Yvette Graham, Roman Grundkiewicz, Barry Haddow, et al. Findings of the 2022 Conference on Machine Translation (WMT22).
[13] Ricardo Rei, José GC de Souza, Duarte Alves, Chrysoula Zerva, Ana C Farinha, Taisiya Glushkova, Alon Lavie, Luisa Coheur, and André FT Martins. COMET-22: Unbabel-IST 2022 Submission for the Metrics Shared Task. In Proceedings of the Seventh Conference on Machine Translation, Abu Dhabi. Association for Computational Linguistics, 2022.

[14] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning Robust Metrics for Text Generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7881-7892, Online, July 2020. Association for Computational Linguistics.

[15] Amy Pu, Hyung Won Chung, Ankur Parikh, Sebastian Gehrmann, and Thibault Sellam. Learning Compact Metrics for MT. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 751-762, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[16] Matt Post. A Call for Clarity in Reporting BLEU Scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[17] Ricardo Rei, Marcos Treviso, Nuno M Guerreiro, Chrysoula Zerva, Ana C Farinha, Christine Maroti, José GC de Souza, Taisiya Glushkova, Duarte M Alves, Alon Lavie, et al. CometKiwi: ISTUnbabel 2022 Submission for the Quality Estimation Shared Task. arXiv preprint arXiv:2209.06243, 2022

[18] Marina Fomicheva, Shuo Sun, Erick Fonseca, Chrysoula Zerva, Frédéric Blain, Vishrav Chaudhary, Francisco Guzmán, Nina Lopatina, Lucia Specia, and André F. T. Martins. MLQE-PE: A Multilingual Quality Estimation and Post-Editing Dataset. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 4963-4974, Marseille, France, June 2022. European Language Resources Association.

[19] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching Word Vectors with Subword Information. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 135-146, 2017

[20] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020

[21] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

## A 実験設定の詳細

翻訳モデルの構築には fairseq [21]を使用した。 どのモデルでも共通して，最適化手法には Adam, Label-Smoothing は $\epsilon_{l s}=0.1$, Warmup Steps は更新回数の三分の一とした。また，推論時のビーム探索幅 は 5 とした. 付録 $\mathrm{B}$ で使用する $2 \mathrm{~B}$ モデルは，大モ デルのアーキテクチャに対して、隠れ層と順伝播層 の次元増やしたモデルである。表 3 ，表 4 ，表 5 に Small，Large，2Bでのハイパーパラメータで異なる 設定を示す.

表 3 Small モデルのハイパーパラメーターの一覧.

表 4 Large モデルのハイパーパラメーターの一覧.

## B データ量とモデルサイズの影響

表 6 に訓練データ量とモデルサイズを変化させ

25M の訓練データで訓練したモデルの性能を示す. ***-div10 は，25M の訓練データを 10 分割したも のの一部を用いて訓練したモデルの性能を示す。ま た，比較対象として新たに $2 \mathrm{~B}$ のモデルを加えた. ${ }^{9)}$ ***-div10 と***-full の比較より，訓練データ量 の違い (***-div10:2.5M，***-full:25M) がモデル の性能に影響していることがわかる. Small-div10

9） Large の性能を超えられなかったため，今回の訓練データ に対しては訓練がうまくいかなかった.
と Large-div10 の比較より, モデルサイズの違い （Small：100M，Large：300M）もモデルの性能に影響していることが示唆される. Est（Small）と Est （Large）の比較より，出力選択は個々のモデルの性能が向上した場合でも有効であることがわかる.

表 6 訓練データ量とモデルサイズを変化させた場合の各評価指標の值 (newstest2022)

## C 10 分割設定における性能評価

表 1 の実験と同様の実験を, newsdev2022と newsdev2020を評価データとして行った. 表 7 に newsdev2022 に対する結果を，表 8 に newsdev2020 に対する結果を示す.いずれの評価データにおいて も，全ての評価指標で Est が Large を上回ることは なかった. しかし, Est と Small の比較から出力選択が性能向上に寄与していることがわかる.

表 7 訓練データを 10 等分割した場合の各評価指標の値 (newsdev2022)

表 8 訓練データを 10 等分割した場合の各評価指標の値 (newsdev2020)


# ExDistilBERT：辞書拡張できる モデル蒸留によるドメインに特化した言語モデル

高 鵬挙 ${ }^{1}$ 山崎 智弘 $^{1}$ 伊藤 雅弘 $^{1}$
1 株式会社東芝 研究開発センター
知能化システム研究所 アナリティクスA I ラボラトリー
\{pengju1.gao, tomohiro2.yamasaki, masahiro20.ito\}@toshiba.co.jp

## 概要

本論文は小規模コーパスでもドメインに特化でき る ExDistilBERTを提案する。蒸留手法において，独自の手法で専門用語を辞書氾追加し, 一般用語と専門用語を独立して計算可能な損失関数を導入し，二種類の語彙や文脈知識を同時に学習できる。

蒸留手法で課題となっている過学習氾る知識忘却の問題を回避できることを実験により確認し，特殊ドメインにおいて, ExDistilBERT は教師モデルの 性能を大幅に超えるだけでなく，軽量化もできた。

## 1 はじめに

近年，大規模コーパスを用いて学習された大規模言語モデルが注目を集めている。

BERT[1]を代表として，自然言語処理 (NLP) 領域 での様々なタスクで，良い性能を達成している。汎化性能が高いと Fine-tuning の訓練コストが低くで きる一方、BERT は Base サイズモデルでも一億を 超えるパラメータを持つため，それを実装するため には膨大な計算リソースが必要である. 様々な場面 で応用するため，モデルの軽量化が要求される。さ らに小規模コーパスで Fine-tuningする場合, 事前学習した知識を忘れて，過学習しやすいことも課題に なる。

金融，インフラ，法律，化学などの様々な分野で は，一般文書にはない専門用語が大量に含まれてい る. 一般文書を使って学習した言語モデルをそれら の分野に応用する場合, 未知語として扱うことや，既知の短い単語の組み合わせに分割することが多 い. 日本語では, 後者の場合が多く, 長い専門用語 がより小さい断片に分割されて，元の意味を保持で きなくなることや，分割によって処理量が増えるな どの恐れがある.
モデル軽量化において，よく使われている手法には知識蒸留 (Knowledge Distillation)[2], 枝刈り (Pruning), 量子化 (Quantization) など [3] が存在する が，元モデルの性能を超えることができない，そ こで我々は, モデル蒸留手法纪辞書拡張機能を 追加し, 教師モデルの知識を学習すると同時に, スムーズに新たな単語を追加することができる ExDistilBERTを提案する. すなわちモデル軽量化と 特殊ドメインへの適応性を両立できる。

結果として, ExDistilBERT は特殊ドメインの性能 が教師モデルより向上することを示す. 同時に，学習速度や推論時間も改善し, 過学習問題も回避でき ることを示す。

## 2 関連研究

本節は本研究と関連性の強い事前学習言語モデ ル, モデル蒸留, 辞書抎張の研究について説明する. BERT[1] は, Transformer[4] ユニットによって構成 される. BERT は Masked Language Model (MLM) と Next Sentence Prediction(NSP) を使って，大規模コー パス用いた教師なしの事前学習法として提案され， NLP の様々なタスクにおいて小規模な教師データ を用いた Fine-tuning によって，非常に良い性能を示 した.

モデル軽量化においてょく使われる知識蒸留 (Knowledge Distillation)[2] では学生モデルが教師 モデルの出力分布を近似するよう学習させる。 NLP 領域では，蒸留手法を用いた軽量版 BERT の DistilBERT[5] がよく使われている. 新納 [6] らは DistilBERTを用いて，ドメインに特化したモデルを 構築したが, Fine-tuning しないと, 教師モデルを超 える性能を取得することが難しいことがわかった。自然言語処理技術を特殊ドメインで活用する ニーズの高まりから，様々な分野に特化した言語モ

デルの研究がある. 英語において, 生物ドメイン のコーパスを使って，特化した BERTを訓練した BioBERT[7], 科学文章から専門用語を抽出し, 科学 ドメインに特化した SciBERT[8], 生物医学に関する データベース PubMed を使って, 生物医学ドメイン に特化した PubMedBERT[9] などが存在する. 日本語においても, 医学分野 [10], 金融分野 [11], 法律分野 [12] などでドメインに特化した BERT が汎用日本語 BERT を超える性能を示した. ただし， ゼロか ら BERTを事前学習するには，大規模コーパスと計算リソースが必要となる. さらにより特化したドメ インにに合致する，大規模コーパスを用意できない 問題も存在する.

## 3 提案手法

本研究では，辞書拡張できるモデル蒸留の手法 ExDistilBERT を提案し，モデルを軽量化すると同時 に，事前に大規模コーパスで訓練した汎用モデルで 課題となっていた特殊ドメインの適応性を解決す る. 提案手法は, 大規模汎用モデルを追加学習し,辞書拡張する従来手法と比べて，小規模コーパスを 用いた条件で，過学習の恐れを低減することを確認 する。

本論文は追加した単語を新単語と呼ぶ，教師 モデル辞書に含んでいる単語を一般用語と呼ぶ。 ExDistilBERT の概念図を図 1 に示す. 新単語と一般用語を分けて, エンベディングや損失関数など処理 を行うことで，新単語の知識と教師モデルの知識を 同時に学習できる.

## 3.1 エンベディングと単語マスク

図 1 の token embedding において, 拡張した辞書 で，センテンスを分割し，単語をエンベディング する.

一般的にモデル蒸留は教師モデルと学生モデルの 辞書を同じものにする必要があるが，辞書拡張のた め, 教師モデルに入力不可の新単語が存在する. 図 1 の token masking において, 教師モデルと学生モデ ルに対する，新単語と一般用語を分けて，特殊なマ スク手段を設計した。

## 新単語のマスク

・教師モデルの辞書には新単語が含んでいないた め，全部マスクして，モデルに入力する.

・学生モデルの辞書には新単語が含んでいるた め，確率 $P(0<P \leqq 1)$ でマスクされる $P=1$ の時, 学生モデルの大力も新単語が全部マ スクされるため，教師モデルの入力と同じになる. もし追加した単語の数が非常に多い場合, $P$ で学生 モデルの入力にマスクされた単語の比率を制御でき る. 新単語の範囲情報 $\mathbf{M}_{\text {newtoken }}$ はマスクベクター の形で損失関数の計算を利用する.

一般用語のマスク 新単語以外の部分において, BERT の MLM タスクと同じく, ランダムで単語の マスクと入れ替えを行う．入り替えの単語は教師モ デルの辞書からピックアップしたものである.

## 3.2 損失関数計算

本節は新単語と一般用語を分けて，損失関数を計算する仕組みを説明する。

図 1 の右半分，二つの入力を教師モデル $(\mathrm{t})$ と学生モデル (s) に入力し, 最後レイヤの隠れ状態べク ター Hidden state, $H_{t, s}$ と単語予測の Logits, $L_{t, s}$ を 取得する. 教師モデルの知識を学習するため, 一般用語の範囲 (selected position) だけに類似度などを計算する。範囲を設定は以下の式 1,2 で行っている.

$
\begin{aligned}
H_{t, s}^{\prime} & =\left.\{H_{t, s}(i) \mid \mathbf{M}_{\text {newtoken }}(i)=0\right.\} \\
L_{t, s}^{\prime} & =\left.\{L_{t, s}(i) \mid \mathbf{M}_{\text {newtoken }}(i)=0\right.\}
\end{aligned}
$

以下の三つの尺度, Cosine 類似度, 式 3 ; カル バック・ライブラー情報量, 式 4 ; MSE 損失 (Mean squared error), 式 5, を用いて，損失関数を計算し，教師モデルの知識を学習させる.

$
\begin{gathered}
\mathscr{L}_{\text {Cosine }}\left(H_{t}^{\prime}, H_{s}^{\prime}\right)=\frac{H_{t}^{\prime} \cdot H_{s}^{\prime}}{\left.\|H_{s}^{\prime}\right.\|\left.\|H_{t}^{\prime}\right.\|} \\
\mathscr{L}_{\mathrm{KL}}\left(L_{t}^{\prime}, L_{s}^{\prime}\right)=\sum_{i} L_{t}^{\prime}(i) \log \frac{L_{t}^{\prime}(i)}{L_{s}^{\prime}(i)} \\
\mathscr{L}_{M S E}\left(L_{t}^{\prime}, L_{s}^{\prime}\right)=\frac{1}{n} \sum_{i=1}^{n}\left(L_{t}^{\prime}(i)-L_{s}^{\prime}(i)\right)^{2}
\end{gathered}
$

次は, BERT と同じく, 学生モデルの Logits $L_{s}$ とラベル $L_{\text {label }}$ を用いて，マスクされた単語を推測 する損失関数 $\mathscr{L}_{M L M}$ を計算する。

最終的な損失関数は，式 6 で以上の各損失の重み 付き和を計算することで取得する。

$
\begin{array}{r}
\mathscr{L}_{\text {final }}=\alpha \mathscr{L}_{\text {Cosine }}+\beta \mathscr{L}_{\mathrm{KL}}+\gamma \mathscr{L}_{M S E}+\delta \mathscr{L}_{M L M}, \\
\quad \text { where } \alpha, \beta, \gamma \geq 0,(\alpha, \beta, \gamma) \neq(0,0,0), \delta>0
\end{array}
$

このような仕組みで，一般用語を学習する同時 に, 専門用語の知識を学習ことで, ドメインに特化 した言語モデルを構築する。

図 1 ExDistilBERT の概念図

表 1 新単語長さ分布と単語例 (新単語数 2000 の場合)長さ 数 単語例

2368 本件, 客様, 発送, 本日, 切替, 用紙, 客先, 取替,取付, 異音, 送出, 新品

3681 不具合, 不適合, 可能性, 再起動, 本事象, 再現性, 設定値, 一時的, 確認後

4648 機体交換, 動作確認, 客様対応, 長期使用, 動作不良, 自動停止, 不具合品

5+ 314 添付ファイル, 不具合現象, 作業管理者, 事象発生時, 点検・修理, 調査結果報告

## 4 評価実験

本節は本研究のデータ設定, 実験設定と結果につ いて説明する.

## 4.1 学習データと評価データ

モデル蒸留と辞書拡張コーパスは東芝社内のイン フラドメインのテキスト文書データ (約 170 万文)を 用いた. 追加した単語の自動抽出は専門用語自動抽出システム [13][14] を使用した. 教師モデルに存在 せずかつ出現頻度高いの単語をピックアップした.新単語長さ分布と単語例は表 1 で示す.

イベント抽出データセットとして長文主体の文書 Data $_{A}$ と短文主体の文書 Data $_{B}$ の 2 種類を用意 して，蒸留したモデルのエンベディング能力を評価 する．イベント抽出タスクは，ドキュメント文書か ら，「配管に亀裂」や「水位が低下」のように原因や 結果となりうる表現を抽出するタスクである. トラ ブル表現を正確に抽出するには，インフラドメイン の文脈を理解することができる言語モデルを構築す ることが重要と考えられる．データセットのセンテ ンス長さと規模を表 2 で示す. 抽出性能は完全一致表 2 データセットのセンテンス長さと規模

表 3 各モデルハイパーパラメータ設定

の $\mathrm{F}$ 值と主要部一致 (イベント末尾 5 形態素のいず れかが重複する [15]) の F 值で評価している。

## 4.2 実験設定

本論文のモデル学習設定について説明する. 本研究のベースラインモデルと ExDistilBERT の教師 モデルは，東北大学乾・鈴木研究室によって作成・公開された BERT モデル bert-base-japanese-v2[16] を使っている. 追加した単語の数は 2000 個であ り, HuggingFace's Transformers[17] の上に, PyTorch の実装を構築した. 従来の手法と比較するため， ExDistilBERT と同じコーパスを用いて，BERT モデ ルから蒸留したBERT_distillation, 同じ辞書で拡張 した BERT_addtoken のモデルも学習した. 各モデル のハイパーパラメータ設定は表 3 に示す.

訓練環境はRTX6000一枚で行う. ExDistilBERTと BERT_distillation において, $\alpha=3, \beta=1, \gamma=0.2, \delta=1$ の設定をした.

## 4.3 評価結果

MLM タスク可視化, 単語エンベディング能力,計算リソースにおいて，評価を行った.
表 4 MLM タスク出力の可視化 (推測された単語 Top5)

表 5 イベント抽出タスクにおいて，モデル評価結果

 & .599 & .859 & .619 & .868 \\
DistilBERT_Namco[19] & .528 & .758 & .580 & .820 \\

## 4.3.1 Masked Language Model(MLM) の可視化

ベースライン BERT モデルと比べて ExDistilBERT がドメインに特化した文脈理解能力を獲得してい るかを確認するため，MLM タスクの出力を可視化した. [MASK] トークンの推測結果として得ら れた Top5 の単語を表 4 に示す. 表 4 に示す通り， DistilBERT の方が動作確認や納期や試験といったイ ンフラドメインでよく使われる専門用語を優先的に 推測できた.

## 4.3.2単語のエンベディング性能評価

本節では，単語エンベディングの性能評価を提案手法と既存手法で比較する. 4.2 節説明したべース ライン BERT モデル, ExDistilBERT, BERT_distillation と BERT_addtoken を含めて，既存の汎用蒸留モデル の DistilBERT_Laboro[18] と DistilBERT_Namco[19] も 追加し評価を行った. 評価した結果は表 5 で示す. ベースライン BERT や単純なモデル蒸留手法 BERT_distillationと比べて，辞書拡張した ExDistilBERT と BERT_addtoken, Data CD Data $_{B}$ において 性能向上した. 専門用語の拡張効果が確認できた. Data $_{A}$ において ExDistilBERT は BERT_addtoken の 性能を超えて，ベースライン BERT より完全一致の $\mathrm{F}$ 值 5 ポイント以上を向上した. BERT 丸ごとで学習して辞書拡張のは，パラメータ数が大規模であ る. 相対的に小さい規模のコーパスで追加学習する とき，過学習して，元の知識を忘れてしまい，性能表 6 各モデルの学習時間, 推論時間とパラメータ数

モデル学習時間 推論時間 パラメータ数

劣化の恐れがあることから，学習ハイパーパラメー タの最適化という課題を残っている. Data にお いて，ExDistilBERT は BERT_addtoken を超えていな い. 短い文に対して，性能劣化の影響が少ないと推測された. BERT_distillation はできるだけベースラ インの BERT に近づくのが学習目標となっており, ベースライン BERT と大体同じレベル性能を取得し た. 二つ公開された DistilBERT は，性能劣化の恐れ がある. 両者は今回のインフラドメインのコーパス ではなく，一般的な日本語コーパスでモデル蒸留し たもので，教師モデルからの知識勉強が不足の可能性が高いと推測された。

## 4.3.3計算リソース

4.2 節のモデル学習時間と評価実験において 推論時間，パラメータ数を表 6 に示す. ExDistilBERT について，学習時間は従来の蒸留手法 BERT_addtokenと同じレベルであるが，BERTを辞書拡張 BERT_addtoken より 4 倍の学習速度になっ た. 推論時間も BERT_addtokenより約 $23 \%$ 减少し た. パラメータ数は BERT_addtoken より約 $37 \%$ 減少 した. ExDistilBERT の方が計算リソースの観点から も優れていることが確認できた。

## 5 おわりに

本論文は小規模コーパスでもドメインに特化する ExDistilBERT を提案した. 辞書拡張できるモデル蒸留の手法より，一般用語の知識はモデル蒸留によっ て教師モデルから継承すると同時に、専門用語に対 して知識を学習できた。特殊ドメインの性能が教師 モデルと比べて大幅に向上した. 小規模コーパスで BERT を追加学習する場合，元の知識を失う過学習 の問題も回避できて，BERT の追加学習より安定の 学習結果を得ることができた。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[2] Geoffrey Hinton, Oriol Vinyals, Jeff Dean, et al. Distilling the knowledge in a neural network. arXiv preprint arXiv:1503.02531, Vol. 2, No. 7, 2015.

[3] 康平山本, 素子橘, 蔵人前野. ディープラーニングの モデル軽量化技術. Oki テクニカルレビュー, Vol. 86, No. 1, pp. 24-27, 052019.

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, 2017.

[5] Victor Sanh, L Debut, J Chaumond, and T Wolf. Distilbert, a distilled version of bert: Smaller, faster, cheaper and lighter. arxiv 2019. arXiv preprint arXiv:1910.01108, 2019.

[6] 新納浩幸, 白静, 曹鋭, 馬ブン. Fine-tuning による領域に特化した distilbert モデルの構築. 人工知能学会全国大会論文集第 34 回 (2020), pp. 1E3GS9021E3GS902. 一般社団法人 人工知能学会, 2020

[7] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. Biobert: a pre-trained biomedical language representation model for biomedical text mining. Bioinformatics, Vol. 36, No. 4, pp. 1234-1240, 2020.

[8] Iz Beltagy, Kyle Lo, and Arman Cohan. Scibert: A pretrained language model for scientific text. arXiv preprint arXiv:1903.10676, 2019.

[9] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. Domain-specific language model pretraining for biomedical natural language processing. ACM Transactions on Computing for Healthcare (HEALTH), Vol. 3, No. 1, pp. 1-23, 2021.

[10] Yoshimasa Kawazoe, Daisaku Shibata, Emiko Shinohara, Eiji Aramaki, and Kazuhiko Ohe. A clinical specific bert developed using a huge japanese clinical text corpus. Plos one, Vol. 16, No. 11, p. e0259763, 2021.

[11] 鈴木雅弘, 坂地泰紀, 平野正徳, 和泉潔. 金融文書を 用いた事前学習言語モデルの構築と検証. 人工知能学会第二種研究会資料, Vol. 2021, No. FIN-027, p. 05, 2021.

[12] 宮崎桂輔, 菅原祐太, 山田寛章, 徳永健伸. 日本語法律分野文書に特化した bert の構築. 第 28 回年次大会発表論文集 (2022 年 3 月), 2022.

[13] 専門用語自動抽出システム (配布). http://www. forest.eis.ynu.ac.jp/Forest/ja/ term-extraction.html.

[14] 中川裕志, 湯本紘彰, 森辰則. 出現頻度と連接頻度に 基づく専門用語抽出. 自然言語処理, Vol. 10, No. 1, pp. 27-45, 2003.

[15] 伊藤雅弘, 山崎智弘. アノテーション漏れ推定を用い たエンティティ抽出. 第 27 回年次大会 発表論文集
(2021 年 3 月), 2021.

[16] Tohoku NLP Group. Pretrained japanese bert models. https://github.com/cl-tohoku/bert-japanese.

[17] Hugging Face team. State-of-the-art machine learning for pytorch, tensorflow, and jax. https://github.com/ huggingface/transformers.

[18] 株 式 会 社 Laboro.AI. Laboro distilbert. https://laboro.ai/activity/column/engineer/ laboro-distilbert.

[19] バンダイナムコ研究所技術開発本部. Wikipedia 日本語版全文を学習した distilbert モデ ル. https://github.com/BandaiNamcoResearchInc/ DistilBERT-base-jp.