# JParaCrawl における分割学習の提案

村上仁一 1
1 鳥取大学工学部 murakami@tottori-u.ac.jp

## 概要

JParaCrawl は，約 3000 万文を超える日英対訳デー タである [1]. 規模が非常に大きいため，一般の GPU を利用しても，VRAM の容量が足りないため， NMT の学習が困難である。 そこで，本研究では， データを分割して学習することで，一般の GPUを 利用しても，学習可能な方法を考案した. 実験の 結果, この学習方法が有効に動作することが示さ れた.

## 1 はじめに

JParaCrawl は，約 3000 万文を超える日英対訳デー タである。そのため，一般の GPUを利用しても， VRAM の容量が足りないため, NMT の学習が困難 である。そこで，学習済みの MNT のモデルが提供 されている。そして，テスト文のドメインアダプ テーションをすることで，ある程度高い精度の翻訳 が可能である. しかし，この場合，NMT のモデル の構造が，固定されてしまい，多様性に欠ける．基本的には，JParaCrawl を直接学習できることが，好 ましい.

本論文では，一般の GPU を使って，JParaCrawlを 直接学習できる方法を提案する. この方法は，以下 の仮説に基づいている。

1. テスト文に類似した，ある程度の対訳データが 存在する。

2. 大量の対訳データを分割して，テスト文に対す るアダプテーションをおこなう.

以上を考慮して，JParaCrawl を一般の GPUを使っ て直接学習する方法を提案する。

## 2 NMT の学習における仮説

1. 要素合成法の問題

文の翻訳において，単語単位に正確に翻訳し ても，文全体からみると不可解な翻訳にある.以下が良い例である.例彼女は我を通した She passed me この問題を避けるには，文全体を考慮して翻訳する必要がある．逆に言えば，大量の対訳文 があっても，単語単位に翻訳される。そのため 翻訳精度が低下する原因になる. ${ }^{1)}$

2. 単文翻訳

文の基本要素は単文である．複文は単文に分割することが可能である.

3. NMT の追加学習

NMT の学習は, 一度学習を止めて, パラメー タを保存し，再び学習をすることが可能であ る. この再学習するとき，元の学習データと同一である必要は，ない.

4. LSTM

LSTM は，勾配を緩和することで，勾配消失問題を緩和している。これは，一種の Low Pass Filter と見なせる。また，パラメータのスムー ジングとも見なせる. そのため, 不必要なパラ メータでも小さな値を維持していることが多 い.なお，提案方法では，学習速度を低下させ るパラメータを利用する（4f 節）。

以上の事柄を考慮して，大量の学習データがある ときの学習方法を以下に述べる。提案方法は，分割学習と呼べる方法である.

## 3 提案方法

翻訳する文（テスト文）は単文とする。そして，以下の対訳データを準備する。

・JParaCrawl のコーパスを分割する。これを $J P A R A_{1}, J P A R A_{2}, J^{\prime} A R A_{3}, \ldots$ とする.

・対訳単文のコーパスを Simple とする

分割学習を，以下にしめす。基本的には， JParaCrawl のコーパスを分割して，個々で学習 を行う.

1. Simpleを学習

2. Simpleを学習

4. Simple を学習

5. Jpara 2 を学習

6. Simpleを学習
7. Jpara $_{3}$ を学習

8 .

9.

提案方法は，上記の分割学習を，さらに尤度が収束するまで繰り返す.

## 4 実験

実験に利用したデータを以下に示す.

1. JParaCrawl V3.0[1]

ただし，以下の条件を加えた.

・日本文において文末が”。

・”英文において文末が”.,

-日英同一の対訳文は，1 文にまとめる. (sort および uniqを取る。)

使用した対訳文は約 1600 万文になった.

2. 対訳単文

電子辞書などから抽出した，単文. 動詞が 1 つの文．約 16 万文 [2].

3. テスト文

単文 10000 文

4. 学習条件

(a) 分割数

JParaCrawl を 16 分割

(b) 分割学習の回数

分割学習を 10 回

(c) 利用した NMT

Open-NMT

（d）個々の学習の繰り返し回数 5000step（例 Jpara を学習する回数)

(e) vocabulary size

GPU の memory の制限 (12G) に由来し て，10万単語とした。

(f) 学習パラメータ

提案方法は，大量の対訳コーパスを分割 して学習する. そのため，各分割したコー パスにおいて未知語が存在する. したがっ て，通常の学習より収束を遅くする必要が ある。そこで，以下のパラメータにする。
- learning-rate: 0.9
- pos-ffn-activation-fn: gelu その他のパラメータは default とする。

5. 形態素

・日本語は mecabで形態素解析をおこ なった。

$\cdot$英語は，文末の”."および文中の”,"は，前後に空白を加え 1 単語とした.

6. ベースライン

比較実験のため，JParaCrawl を利用しなくて，対訳単文 16 万文だけを学習した実験をべース ラインとする。

## 5 実験結果

## 5.1 自動評価

自動評価による実験結果を表 1 に示す. 評価文は 10000 文である.

表 1 自動評価

以上の結果より，自動評価において，提案手法の 有効性が見られた。

## 5.2 人手評価

提案手法とベースラインの対比較評価を行った.対象は約 100 文である．評価者は4名である．結果 の平均を表 2 に示す.

表 2 対比較評価（人手）

提案手法 > ベースライン $45.2 \%$

提案手法くベースライン $7.4 \%$

提案手法 $=$ ベースライン $47.3 \%$

以上の結果より，人手評価においても，提案手法 の有効性が見られた。

## 5.3 出力例

翻訳例を表 3 に示す. 表中のベースはベースライ ンを意味する。
表 3 翻訳例

入力 $\mid$ 信号が青より赤に変わった。

提案 The signal turned green to red.

ベース The light turned red to red than green.

提案 I was <unk> in a train accident .

ベース I was robbed in the train accident.

参照 I was stranded as a result of the train accident.

入力 彼女は我を通した。

提案 She <unk> herself .

ベース She has come.

提案 The cure for AIDS is not yet known.

ベース The fundamental method of AIDS is not yet known.

新人賞を獲得した。

提案 The new actress won a new award with the <unk> performance.

ベース The new actress won <unk> performance in <unk> performance .

参照 That starlet put everything she had into her part and won the prize for new talent

入力 12 号線環状部は一九九二年に着工 る。来年十二脂開業を予定してい

提案 The 12 lines are scheduled to start in 1992 , and in December, we plan to open our business

ベース The <unk> line is scheduled to begin operation in 1970 , in 1954 .

参照 Construction on the subway line began in 1992 , and the line is scheduled to be put into operation in December next year .

## 6 考察

## 6.1 自動評価と人手評価

人手評価では，自動評価と大きな差が出た.これ は，自動評価では，文の一部を評価しているのに対 し，人手評価では，文全体を評価することで，差が 出ていると考えている. 今後，文全体を評価する自動評価方法を考えていく必要がある.この方法の 1つは，参照文との一致率 [3] を見る方法と考えて いる.

## 6.2 GPU の VRAM と NHT の vocabulary size と未知語

NMT の vocabulary size と GPU の VRAM 量は，ほ ぼ比例の関係にある。実験に使用した GPU は 12G である.そのため今回の実験では, vocabulary size を 100000 にせざるを得なかった. そのため, 出力文において<UNK>が，多く出力される.

この問題点を避けるために，形態素を SentencePiece[4] に変更する方法がある. SentencePiece では，固有名詞を文字に分割するため，未知語は出力されない. しかし，分割することの 問題もでる。簡易実験を行ったところ，“知床”を “knownledge floor” と翻訳された. そして全体の翻訳精度が低下した. sentence pieseを利用するときには 学習パラメータの再調査が必要である.

## 6.3 学習パラメータ

今回の実験では，学習速度を低下させるために，以下のパラメータを用いた。
- learning-rate: 0.9
- pos-ffn-activation-fn: gelu

他にも，多くのパラメータがある. これらを追求 して行きたい.

## 6.4 google 翻訳との比較

現在 web 上の google 翻訳が利用可能である. 提案手法と google 翻訳を比較した. テスト文は約 100 文である．評価者は 4 名の対比較試験である．結果 を表 4 に示す.

結果として，提案手法は， google 翻訳には，まだ 追いついていない. この最大の原因は, 未知語の存在である。例を以下に上げる.

表 5 google 翻訳との比較

入力 $\quad$ 信長勢は再び京へ上った。

提案 The <unk> went to Kyoto again .

google Nobunaga's army went up to Kyoto again .

参照 Nobunaga's army went up to Kyoto again .
語彙数 100000 では，入力文において未知語が存在する。この例では， “信長 勢” が未知語になる。 そのため, 出力文に未知語が出力される. そのた め, google 翻訳が良いと判断される。このような例 が非常に多い.

## 6.5 大量の対訳データを学習する方法

大量の対訳データを学習する方法は，本論文で述 べた分割学習を用いる方法以外にも，以下の方法が ある.

1. fine tuning

この方法は，一般的な方法である。大量の VRAM を持つ GPU で， 1 度 JParaCrawl の対訳 データを学習して，base モデルとする。このモ デルに対して，翻訳対象の分野の対訳データに fine turning する．ただし，この方法は，NMTの モデルが，base モデルに依存する．そのため拡張性に欠ける欠点がある。

2. 類似文

翻訳対象の文に類似した文を JParaCrawl から 抽出し, この対訳文を学習データに加える. こ の方法は，テスト文が異なると，再度 NMT を 学習する必要がある.

これらの方法は，一長一短ある。データベースの 種類や量やテストデータの依存する. 今後，最適な 方法を調査したい，なお予備実験では，類似文の追加が最も良い翻訳性能を得ている.

## 7 おわりに

JParaCrawl は，約 3000 万文を超える日英対訳デー タである. 規模が非常に大きいため, NMT の学習 が困難である．そこで，本研究では，JParaCrawl を 分割して，個々に学習する方法を提案した。個々に 学習した場合, GPU のメモリが少なくでも計算可能 である. 実験の結果，この方法が有効に動作するこ とが示された. そして，特に人手の評価に大きな有効性が得られた。

ただし提案方法には，未知語において大きな問題点がある. また，多くの拡張方法がある。これらを 追求していきたい.

## 謝辞

人手評価に参加した以下の方々に感謝します.

矢野 貴大, 本田 涼太, 三木 謙志, 名村 太一, 丸山京祐

## 参考文献

[1] 森下他. Jparacrawl v3.0: 大規模日英対訳コーパス. 言語処理学会第 28 回年次大会, 2022.

[2] 村上仁一, 藤波進. 日本語と英語の対訳文対の収集と 著作権の考察. 第一回コーパス日本語学ワークショッ プ, pp. 119-130, 2012.

［3] 村上仁一. 機械翻訳における文一致率による評価. 人工知能学会全国大会論文集 第 27 回, 2013.

[4] John Richardson Taku Kudo. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. EMNLP2018, 2018.


# Improving Example-based Machine Translation by Analogy Using Parse Trees

Yifei Zhou Yves Lepage
早稲田大学大学院情報生産システム研究科
yifei.zhou@ruri.waseda.jp, yves.lepage@waseda.jp
}

\begin{abstract}
We investigate an approach to example-based machine translation (EBMT) implemented by analogy in a lowresource scenario. This analogical approach requires analogies between sentences in the source language contained in the knowledge database. We use sentence analogies extracted by parse trees to improve the overall quality of translation. We demonstrate that our method is more effective by comparing the translation quality to other baseline systems. Our method surpasses the results of a recurrent neural network (RNN) model and a phrasebased statistical machine translation (PB-SMT) system and even achieves comparable results to those of a Transformer model, without the need for a large-scale training model.
\end{abstract
## 1 Introduction

Distinguished from other techniques, EBMT is a method of machine translation in that translations take place by example. It employs a case-based reasoning strategy, where translations are generated by giving a set of sentences in the source language and other example sentences contained in the knowledge database.

Analogy is a way to implement reasoning. An analogical equation $A: B:: C: D$ expresses a relationship between four objects that pronounces as the following: $A$ is to $B$ as $C$ is to $D$. Analogy has the ability to reason so that we can interpret words or sentences that we are not familiar with.

An EBMT system by analogy has been proposed in [1, 2], which is called Beth. This system requires analogies between sentences to perform case-based reasoning. The existing technique ( $\lg ^{1)}$ [3]) extracts sentence analogies only on the formal level. In this work, we propose to extract

analogies at the syntactic level by using parse trees and use them in an EBMT system by analogy. Such analogies are shown to bring improvement.

## 2 Related Work

## 2.1 Types of Analogy

Analogy is usually categorized as formal analogy and semantic analogy. For formal analogy, we do not consider the meaning of the terms or the syntax of the sentences. We only care about the surface form of the strings, such as characters or words. Take (1) as an example.

$
\text { I talk to him. : } \begin{aligned}
& \text { I talked } \\
& \text { to him. }
\end{aligned}:: \text { I go to school. : x }
$

On the level of form, the solution of (1) is: $x=I$ goed to school. On that level, the only changes allowed are between characters. Whether the sentence is grammatically correct or makes sense is not taken into account.

In contrast to formal analogies, semantic analogies take into account the meaning encapsulated in the words or sentences. Thus, on the semantic level, the solution to (1) is $x=I$ went to school. Here, the meaning attached to the strings is taken into account.

## 2.2 EBMT by Analogy

Formula (2) defines bilingual analogies between sentences in two languages, which are used by the EBMT system by analogy in [1]. $A: B:: C: D$ denotes a monolingual analogy in the source language and $A^{\prime}: B^{\prime}:: C^{\prime}: D^{\prime}$ is its corresponding translation in the target language.

$
\begin{array}{ccccccc}
A & : & B & :: & C & : & D \\
\uparrow & & \uparrow & & \uparrow & & \downarrow \\
A^{\prime} & : & B^{\prime} & :: & C^{\prime} & : & D^{\prime}
\end{array}
$

Suppose that we want to get the translation $D^{\prime}$ of $D$. During the reasoning process, the Beth system retrieves three (problem, solution) cases $\left(A, A^{\prime}\right),\left(B, B^{\prime}\right),\left(C, C^{\prime}\right)$ in which " $A$ is to $B$ as $C$ is to problem $D$ ". The solution of the analogical equation " $A$ ' is to $B^{\prime}$ as $C^{\prime}$ is to $x$ ", $x=D^{\prime}$, is the translation of $D$. It is clear from the above that the quality of analogies between sentences extracted from the corpus is critical for EBMT by analogy.

## 3 Analogy on the Level of Syntax

In this work, we propose to extract analogy at the syntactic level. Figure 1 shows an example of an analogy between sentences that happens on the level of syntax. There is no obvious interpretation to enforce analogy on both the level of form and meaning attached to these sentences. However, we can observe that there is an analogy on the level of syntax by considering their syntactic representations. These sentences form an analogy at the syntactic level when looking at their parse trees ${ }^{2}$ : from personal pronoun (PRP) to proper noun (NNP).

## 3.1 Tree Representation

To make the syntax of a sentence distinct, we first use dependency representation to discern essential information. All of the sentences contained in the corpus are converted into their dependency parse trees using the Universal Dependency parsers provided by spaCy ${ }^{3}$ library. A sentence $S$ is then represented by a feature vector $\overrightarrow{T_{S}}$ by counting the number of occurrences for all the branches found in its parse tree $T_{S}$. See Formula (3).

$
\overrightarrow{T_{A}}=\left(\begin{array}{c}
\left|T_{A}\right|_{V B D \rightarrow P R P} \\
\left|T_{A}\right|_{V B D \rightarrow N N P} \\
\vdots \\
\left|T_{A}\right|_{V B D \rightarrow .}
\end{array}\right)
$

## 3.2 Ratios between Trees

In Formula (4), the ratio between two sentences $A$ and $B$ is defined as the difference between their vectors of syntactic features derived from their parse trees $T_{A}$ and $T_{B}$. To extract analogies at the syntactic level, we check the conformity of an analogy $\quad A: B:: C: D$. Formula (5)

defines it. By doing this, we are able to extract sentence analogies from the corpus.

$A: B \triangleq \overrightarrow{T_{A}}-\overrightarrow{T_{B}}=\left(\begin{array}{c}\left|T_{A}\right|_{V B D \rightarrow P R P}-\left|T_{B}\right|_{V B D \rightarrow P R P} \\ \left|T_{A}\right|_{V B D \rightarrow N N P}-\left|T_{B}\right|_{V B D \rightarrow N N P} \\ \vdots \\ \left|T_{A}\right|_{V B D \rightarrow .}-\left|T_{B}\right|_{V B D \rightarrow .}\end{array}\right)$

$
A: B:: C: D \quad \stackrel{\Delta}{\Longleftrightarrow} \overrightarrow{T_{A}}-\overrightarrow{T_{B}}=\overrightarrow{T_{C}}-\overrightarrow{T_{D}}
$

## 3.3 Analogical Cluster

In [4], an analogical cluster is defined as a set of pairs of sentences with exactly the same ratio, as shown in Formula (6). With analogical cluster, we can measure how regular the transformations between sentences are. In particular, we use the nlg package to extract analogical clusters between sentences, at the level of syntax.

$
\begin{aligned}
A_{1} & : B_{1} \\
A_{2} & : B_{2} \\
& \vdots \\
A_{n} & : B_{n}
\end{aligned} \stackrel{\Delta}{\Longleftrightarrow} \forall(i, j) \in\{1, \ldots, n\}^{2}, A_{i}: B_{i}:: A_{j}: B_{j}
$

## 4 Experiments

## 4.1 Datasets

We use the English-French language pair from the Tatoeba ${ }^{4)}$ corpus and we perform translations from French to English. To simulate the low-resource setting, we use only 114,151 sentence pairs and randomly divide the entire data into three sets: training set ( $90 \%$ ), validation set ( $9 \%$ ), and test set (1\%). Some statistics are shown in Table 1. The sentences contained in the corpus are very short, with an average of 7 words per sentence.

## 4.2 Metrics

We evaluate the translation quality automatically by comparing the output of the translation with the reference sentence in the test set. We apply four different metrics as follows.

4) https://tatoeba.org/

Figure 1 Analogy between sentences on the level of syntax using dependency representation

Table 1 Statistics on the data set used

BLEU (BiLingual Evaluation Understudy) [5] evaluates the similarity between the translated sentence and the reference sentence. It has a scale of 0 to 100 . The similarity between the two sentences increases with increasing BLEU scores. We use the implementation of SacreBLEU ${ }^{5)}$ in [6].

CHRF (Character $n$-gram F-score) [7] uses character $n$ gram F-score to automatically assess the result of machine translation. CHRF score is between 0 and 100. The quality of the translation will be better if it is higher.

TER (Translation Error Rate) counts the number of edit operations required to convert the translated sentence into the reference one. We report TER scores between 0 and 100. The lower the number, the better.

The Levenshtein Edit Distance ${ }^{6)}$ [8] counts the minimal number of three different edit operations (insertions, deletions and substitutions) between a translation result and a reference. Similarly, the lower, the better.

## 4.3 Baselines

We assess the performance of the EBMT system by analogy by comparing the translation results to those of other systems. Here, we give a brief overview of the NMT and PB-SMT systems used for experimentation.

We utilize the OpenNMT ${ }^{7)}$ toolkit [9] to build our NMT systems. We experiment with RNN [10] models and Transformer [11] models. Bidirectional RNN is used as an encoder to design the RNN system and both the encoder and the decoder are 6 layers in size. Also, we use a 4layer Transformer and follow the set-up recommendations in [11] to construct the Transformer system. The early stopping criteria are used for both RNN and Transformer

5) https://github.com/mjpost/sacrebleu

6) https://github.com/roy-ht/editdistance

7) https://opennmt.net/ models. These above-mentioned NMT systems are trained from scratch on the same training set that simulates a lowresource scenario.

Our PB-SMT system is constructed using the Moses ${ }^{8)}$ toolkit [12]. We train a 3-gram language model with KenLM ${ }^{9)}$ [13] and smooth it with modified Kneser-Ney smoothing [14]. GIZA++ ${ }^{10)}$ included in Moses is applied as an alignment tool to generate bilingual phrase tables. Similar to NMT systems, the PB-SMT system is built using sentences from our training set and does not rely on any external data.

## 4.4 Using Analogies at the Level of Syntax in Example-Based Machine Translation by Analogy

We examine whether analogical clusters extracted by syntactic information indeed increase the quality of machine translation by conducting experiments with the EBMT system by analogy proposed in [1]. The core idea of EBMT is that translation is carried out by comparing a given target sentence with the existing cases in the knowledge database. Analogies are used to perform the reasoning process in Beth (See Section 2.2). It is also possible to compile analogical clusters into the Beth system in advance. With the help of this retrieval knowledge, we can accelerate the selection of the most similar cases.

Particularly, we first conduct experiments with the original Beth without using any analogical clusters. Then, we extract analogical clusters on two levels: (1) considering characters (char) only, (2) combining characters and parse trees (char $\cap$ tree) together. We can eliminate some ana-

Table 2 Translation results of different systems on the test set $(\mathrm{fr} \rightarrow \mathrm{en})$

logical clusters that are only character transformations by extracting them from the intersection of on the levels of characters and parse trees. We expect that involving linguistic information, such as parse trees, will improve case reliability. Notice that, we only keep the first 3,000 analogical clusters with the largest number of ratios due to the distribution of the number of analogical clusters with the same size.

## 4.5 Translation Quality

Table 2 displays the results that we obtained with all the different systems mentioned above. The translation quality of the original Beth is already reasonable, with a BLEU score of 44.61. This BLEU score far outperforms RNN's 33.96 and PB-SMT's 39.96. It is worth mentioning that because this EBMT system requires no linguistic knowledge, it can be applied to any language pair. Furthermore, by adding analogies both on the level of syntax and form, we achieve a BLEU score of 53.55 in the EBMT system by analogy. The Transformer model has a BLEU score similar to our proposed method, but it has a lower TER and edit distance, implying a smaller gap between the translated sentence and the reference sentence.

## 4.6 Model Size vs. Translation Quality

We also discuss the trade-off between model size and translation quality. We compute the number of parameters that are trainable in RNN and Transformer models. We calculate the size of the KenLM language model and generated phrase tables for the PB-SMT system. For the original Beth system, there is no need for extra data. In the experiments involving analogical clusters in advance as retrieval knowledge, we count the size of analogy clusters extracted from different levels.

As shown in Figure 2, although the performance of a Transformer model slightly exceeds our proposal, the model size of a base Transformer is already 511 Mb. From this perspective, we can say that our EBMT by analogy is a lightweight approach that is more effective for low-resource machine translation.

Figure 2 Model size and BLEU scores for different systems

## 5 Conclusion

In this work, we worked on an approach to extract analogies between sentences at the syntactic level by using parse trees. We were able to extract sentence analogies both on the level of form and the level of syntax. We showed that using analogies at the syntactic level has a positive impact on the translation quality of an EBMT system by analogy. By contrasting the translation results with existing baselines, our approach outperformed an RNN model and a PB-SMT system by showing higher BLEU scores in a low-resource scenario. Although we got similar evaluation results to those of a Transformer model, our approach still has advantages in model size since we do not need pre-training of a large model.

## References

[1] Yves Lepage and Jean Lieber. Case-based translation: First steps from a knowledge-light approach based on analogy to a knowledge-intensive one. In Case-Based Reasoning Research and Development - 26th International Conference, ICCBR 2018, Proceedings, pp. 563-579. Springer Verlag, 2018.

[2] Yves Lepage and Jean Lieber. An approach to case-based reasoning based on local enrichment of the case base. In Case-Based Reasoning Research and Development - 27th International Conference, ICCBR 2019, Proceedings, pp. 235-250. Springer Verlag, 2019.

[3] Rashel Fam and Yves Lepage. Tools for the production of analogical grids and a resource of n-gram analogical grids in 11 languages. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, 2018. European Language Resources Association (ELRA).

[4] Yves Lepage and Chooi Ling Goh. Towards automatic acquisition of linguistic features. In Proceedings of the 17th Nordic Conference of Computational Linguistics (NODALIDA 2009), pp. 118-125, Odense, Denmark, 2009. Northern European Association for Language Technology (NEALT).

[5] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, 2002. Association for Computational Linguistics.

[6] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, 2018. Association for Computational Linguistics.

[7] Maja Popović. chrF: character n-gram F-score for automatic MT evaluation. In Proceedings of the Tenth Workshop on Statistical Machine Translation, pp. 392-395, Lisbon, Portugal, 2015. Association for Computational Linguistics.

[8] V.I. Levenshtein. Binary codes capable of correcting deletions, insertions and reversals. Soviet Physics-doklady, Vol. 10, No. 8, pp. 707-710, February 1966.

[9] Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart, and Alexander Rush. OpenNMT: Open-source toolkit for neural machine translation. In Proceedings of ACL 2017, System Demonstrations, pp. 67-72, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[10] Thang Luong, Hieu Pham, and Christopher D. Manning. Effective approaches to attention-based neural machine translation. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[12] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[13] Kenneth Heafield, Ivan Pouzyrevsky, Jonathan H. Clark, and Philipp Koehn. Scalable modified Kneser-Ney language model estimation. In Proceedings of ACL 2013, pp. 690-696, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[14] R. Kneser and H. Ney. Improved backing-off for m-gram language modeling. In 1995 International Conference on Acoustics, Speech, and Signal Processing, Vol. 1, pp. 181-184 vol.1, 1995.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 言語横断検索とリランキングを用いる翻訳メモリ利用型 NMT

田村拓也 ${ }^{1}$ 王小天 ${ }^{1}$ 宇津呂武仁 ${ }^{1}$ 永田昌明 2
1 筑波大学大学院 システム情報工学研究群 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所

## 概要

Hossain らが提案した retrieve-edit-rerank [1] は，翻訳や要約において (1) 外部情報から類似事例を検索 し，(2)ニューラルモデルにより出力文候補を生成， (3) 予め定義したリランキングスコアによって最良 の出力文を自動選択する枠組みである。本論文で は，この枠組みにおいて (1) LaBSE や mSBERT を用 いて生成した言語に依らない文埋め込みに基づいて 類似訳文を言語横断検索する手法と (3) 文長に対す る正規化を行ったより良いリランキング手法を提案 し，有意に翻訳精度の向上を達成した.

## 1 はじめに

近年，高品質な対訳文の集合である翻訳メモリを NMT に組み込む研究が多くなされている. Bult é ら [2] [3] は翻訳メモリを NMT に組み込むことで翻訳精度を向上させる NFR モデルを提案した. この モデルは, 編集距離や sent2vec [4] に基づいて翻訳メ モリの原言語文集合から類似文を検索し，類似訳文 を入力原言語文と連結して NMT モデルへの入力と する. このモデルは，NMT モデルへの入力を前処理するだけで良いため，モデルのアーキテクチャを 変更せずに翻訳メモリを組み込むことができる。ゆ えに，既存のあらゆる NMT モデルとの互換性が高 く，実装面での移植性も高い。一方で，この手法で は対訳の揃った翻訳メモリを対象に検索せねばなら ず，目的言語文のみで構成された大規模単言語コー パス (単言語翻訳メモリ)だけでは活用できない。ま た, 入力文長の制約から，これらの手法で利用可能 な類似訳文の数は高々数文に限られるため，有益な 類似訳文がいくら得られたとしてもそれら全てを活用することはできない.

この制約を克服するため，Cai ら [5] は目的言語の 単言語翻訳メモリを利用する手法を提案した.ここ では，Transformer Encoder に基づく検索モデルを提案し, MIPS (Maximum Inner Product Search) によって 類似訳文検索を行う．ただし，検索モデルと翻訳モ
デルは同時に訓練される必要があるため独自のアー キテクチャを必要とし，NFR の利点である既存の NMT モデルへの互換性が大幅に低下する。

また, Hossain ら [1] は, 多数の類似文を活用す る手法として retrieve-edit-rerank の枠組みを提案し た. 彼らは，(1) 複数の相異なる類似文を検索して， (2) 異なる複数の出力文候補を生成し，(3) 対数尤度 に基づいてリランキングを行う手法を提案した。本論文では，この retrieve-edit-rerankの枠組みを踏襲 し, 中でも (1) および (3) に着目して研究を行った. (1) では，言語に依らない文埋め込みを生成する事前学習済みモデル mSBERT・LaBSE を用いて目的言語文集合を対象に言語横断検索を行う手法を提案 し，(3) リランキングフェーズでは，文長に対する正規化を行ったより良いランキング手法を提案する。

提案法の評価にあたり, ASPEC [6] 英日コーパス, および，EU Bookshop Corpus [7] の英仏コーパスを 利用した。その結果，文埋め込みに基づく検索手法 を用いた場合は，編集距離で検索する場合に対して 有意に BLEU を向上させた．また，異なる類似訳文 を用いて生成された異なる出力文候補のリランキン グにおいても提案法は既存手法を大幅に上回った.

## 2 類似訳文検索 (Retrieve)

## 2.1 翻訳メモリからの類似文検索

翻訳メモリ (TM) は，あらかじめ人手で翻訳さ れた高品質な対訳文の集合である。過去には， Computer-Aided Translation (CAT) など，人手翻訳を 補助するツールとして活用され，近年ではニューラ ル機械翻訳（NMT）へ組み込むことが研究されてい る。翻訳メモリを用いると，翻訳したい原言語文が 既に翻訳に格納された文である場合に，その訳文に 置き換えるだけで誤りなく翻訳することができる. また，完全に一致した文が存在せずとも類似度があ る程度高ければ，その訳文は翻訳時に参考になる可能性がある。ここで，入力原言語文に類似した原言語文を「類似文」，それに類似した目的言語文を「類

図 1: Retrieve-Edit-Rerank における推論の枠組み

似訳文」と定義する。このとき，原言語文と類似し た目的言語文を直接検索することができれば，類似訳文の情報源として原言語-目的言語間の対訳文の 揃っている翻訳メモリだけでなく，目的言語文のみ で構成された単言語翻訳メモリが利用できる。以後，本論文では，翻訳メモリを原言語文 $s$ と目的言語文 $t$ のペアの集合とし， $S_{\text {para }}$ を入力原言語文の 集合， $T_{\text {para }}$ を目的言語文の集合とする．また，目的言語の単言語翻訳メモリを $T_{\text {mono }}$ と表記する.

## 2.2 編集距離に基づく類似度尺度

編集距離は，1 文字の挿入，削除，置換によって 元の文字列を別の文字列に変換するために必要な最小の操作回数と定義される. 本論文では, Bult é ら の手法に倣って，Vanallemeersch らの [8] の類似度を 採用した。

$
\operatorname{sim}(x, y)=1-\frac{\Delta_{e d}(x, y)}{\max \left(|x|_{c},|y|_{c}\right)}
$

ここで, $\Delta_{e d}(x, y)$ は $x$ と $y$ の間の編集距離を， $|x|_{c}$ は $x$ の文字数を表す.また，編集距離は同じ言語文 のみでしか計算できないことから，類似文検索を行 う場合の検索対象は $S_{\text {para }}$ に限られる。そのため,検索された類似原言語文の訳文を類似訳文とする。

また，編集距離による類似文検索を行う場合に は総当たりで類似度を算出し比較する必要がある ため，大規模な翻訳メモリに対する計算コストが 著しく大きい. そこで Bult é ら [2] は, Python ライ ブラリ SetSimilaritySearch ${ }^{1)}$ が提供する類似度尺度 containment $_{\text {max }}$ を用いて検索された類似文候補集合に対して編集距離を算出する手法を採用した ( $s s s+e d)$.

1) https://github.com/ardate/SetSimilaritySearch

## 2.3 文埋め込みに基づく類似度尺度

本節では，文埋め込みに基づく文の類似度尺度 について述べる. 文埋め込みは文を高次元の実数 ベクトルに写像したもので，文書分類や感情分析，対訳文検索に用いられる．以後，文 $x$ を文埋 め込みへ変換したものを $E(x)$ と表記する。本論文 では，文埋め込み生成モデルとして，Multilingual Sentence-BERT ${ }^{23)}$ [9] [10]，および，LaBSE [11]を利用した. Multilingual SBERT は, NLI データセット で訓練しSTS タスクで高い精度を達成した英語版 SBERTを知識蒸留により多言語化したもので，言語 に依らない文埋め込みを生成できる。LaBSE は，対訳文を用いて対照学習された多言語文埋め込み生成 モデルであり，対訳文検索を行う BUCC タスクで高 い精度を達成した。ここで，2文 $x$ と $y$ の間の類似度 $\operatorname{sim}$ を以下のように定義する。

$
\operatorname{sim}(x, y)=\frac{E(x) \cdot E(y)}{|E(x)||E(y)|}
$

本論文では，入力原言語文 $s$ を文埋め込み生成モ デルにより変換して得られた文埋め込み $E(s)$ をク エリとして， $T_{\text {para }} \cup T_{\text {mono }}$ を対象にベクトルの近傍探索を行い, $k$ 文の類似訳文 $t_{1}^{\prime}, t_{2}^{\prime}, \ldots, t_{k}^{\prime}$ を抽出し た。なお，ベクトルの近傍探索には FAISS [12]を利用した.

## 3 翻訳モデルによる生成 (Edit)

2) https://github.com/UKPLab/sentence-transformers

3）本論文の実装では mSBERT の事前学習済みモデルとして, paraphrase-multilingual-mpnet-base-v2 を利用した.

## 3.1 翻訳モデルの訓練

翻訳モデルの訓練では Blut é ら [2] [3] と同様の 手順で実施した. 具体的には，まず入力原言語文 $s$ をクエリとして，編集距離または文埋め込みによっ て翻訳メモリ内から $k_{t}$ 文の類似訳文 $t_{1}^{\prime}, \ldots, t_{k_{t}}^{\prime}$ を検索する. その後, NFR モデルと同様に特殊トークン “<sep>”を挟んで $s$ と $t_{i}^{\prime}$ を連結し，翻訳モデルへの 入力とする.

## 3.2 翻訳モデルの推論

モデルの推論手順を図 1 亿示す.まず，入力原言語文 $s$ をエリとし, 訓練時と同様の手順で $k_{p}$ 文 の類似訳文 $t_{1}^{\prime}, t_{2}^{\prime}, \ldots, t_{k_{p}}^{\prime}$ を検索する。次に，翻訳モ デルを用いて $k_{p}$ 回のデコーディングを行い $k_{p}$ 文の 出力文 $o_{i}$ とデコーダの出力確率 $p_{M T}$ に基づくリラ ンキングスコア $Q_{i}$ を得る. このリランキングスコ アについては，4節にて詳説する。

## 4 出力文のリランキング (Rerank)

最後のフェーズでは，生成フェーズで得られたリ ランキングスコア $Q_{i}$ を最大化するような $i=i$ を選択し, 最終的な出力文 $o_{i^{*}}$ とする. ここで, 本論文 では 2 通りのリランキングスコアを検討した. 1 つ 目は Hossain ら [1] と同様の手法で, 対数尤度に基づ くスコアである.

$
Q_{i}^{(\text {Hossain })}=\log _{2} p_{M T}\left(o_{i} \mid s, t_{i}^{\prime}\right)
$

2つ目は，文長による正規化を行った平均対数尤度に基づくランキング手法である. ここで，出力文 $o_{i}$ の文長として，サブワード化された出力を一度復元してから単語数をカウントすることとし, 以下で は $\left|\operatorname{deSW}\left(o_{i}\right)\right|$ と表記する.

$
Q_{i}^{\text {(proposed) }}=\frac{\log _{2} p_{M T}\left(o_{i} \mid s, t_{i}^{\prime}\right)}{\left|\operatorname{deSW}\left(o_{i}\right)\right|}
$

## 5 実験

## 5.1 データセット

本論文では，提案法の評価のためにアジア学術論文英日コーパス ASPEC [6], 欧州の諸機関からの出版物を元に作成された EU Bookshop Corpus [7] (以後 EUBC と表記) のうち英仏コーパスを利用し，翻訳方向はそれぞれ英日・英仏とした. 翻訳モデルの訓練文には，各コーパスからランダムサンプリングさ れた 10 万文対のみ利用し，残りについては単言語翻訳メモリとした。表 1 に，データセットの詳細な 文数を示す。また，和文に対しては $\left.\mathrm{MeCab}^{4}\right)$ を，英文・仏文に対しては Moses tokenizer ${ }^{5)}$ を用いてトー クナイズしたのち，Byte Pair Encoding (BPE) ${ }^{6)}$ [13] を用いて，操作数 32,000 でサブワードに分解した.

## 5.2 実験設定

類似訳文の検索では, 編集距離 (sss+ed), mSBERT, LaBSE の 3 通りを比較した.このうち, sss+ed は同言語間でしか類似訳文を検索できないため，検索対象は訓練文の原言語文 10 万文に限られる。一方で， mSBERT，LaBSE は目的言語文を直接言語横断検索 できるため検索対象は ASPEC で 200 万文，EUBC で 842 万文となる。訓練時には，類似文検索を行わ ない通常の手法（検索なし）と，最大 4 文の類似訳文を利用する手法 (top1～top4) を比較した. 推論時 には，類似文を利用しない手法（類似文なし），才 リジナルの NFR と同様の上位 1 文の類似訳文のみ

ランキングする手法，提案法である $Q^{\text {(proposed) }}$ に基 づく手法を比較した.このうち sss+ed を一つ目の ベースラインとし，各検索手法において $Q^{\text {(Hossain) }}$基づいてリランキングする手法を二つ目のベース ラインとする。また，リランキングによる翻訳精度向上の上限を評価するため，各出力文候補の中で Sentence-BLEU が最も高い文を選択するオラクルに ついても評価した．実験にあたっては PyTorch 実装 の Transformer モデルを採用した. エンコーダとデ コーダは各 6 層とし, 隠れ次元は 512 次元, $\mathrm{FF}$ 層の 次元は 2048 次元，マルチヘッド数は 8 とした.ま た，バッチサイズは 96 文，ウォームアップ 6,000 ス テップのもとで 30 エポックの訓練を行い，開発文 の BLEU が最も高いエポックにおけるテスト文の BLEUを採用した.

表 2: 各リランキング手法における翻訳モデルの実験結果 (訓練時に利用する類似訳文数は $k_{t}=2$.「検索なし」は類似訳文を利用しない vanilla Transformer の結果を，「 $\left.k_{p}=1\right.\rfloor$ は NFR と同様に最も類似度の高い類似訳文を利用した場合

による結果を示す。†は「 $k_{p}=1$ (ベースライン 1 )」に対する有意差 $(\mathrm{p}<0.05)$ を, ${ }^{\ddagger}$ は $Q^{\text {(Hossain) }}$ (ベースライン 2 )」に 対する有意差 ( $\mathrm{p}<0.05$ )を示す.)

表 3: 各検索手法における実験結果 (「類似訳文なし」類似訳文を利用しない vanilla Transformerを，sss+ed は NFR と同様に編集距離に基づく手法を示す.†は

す. )

 &  &  \\

(ベースライン 1) & 2 & 26.2 & 19.5 \\
& 3 & 26.1 & 18.3 \\
& 4 & 25.7 & 16.4 \\

& 2 & 26.5 & 20.8 \\
& 3 & 26.4 & 19.9 \\
& 4 & 26.2 & 19.0 \\

& 2 & $\mathbf{2 7 . 1}^{\dagger}$ & $\mathbf{2 1 . 0 ^ { \dagger }}$ \\
& 3 & 26.5 & 20.4 \\
& 4 & 26.3 & 19.3

## 6 実験結果

各検索手法を用いて類似訳文を検索し，翻訳も デルを訓練した場合の結果を表 3 に示す. ただし，訓練時に利用する類似訳文数を $k_{t}=1,2,3,4$ とし,推論時に利用する類似訳文数を $k_{p}=1$ とした. 類似文検索を行わない場合は, ASPEC・EUBC それ ぞれ 26.2 ポイント・ 20.2 ポイントであったのに対 し, sss+ed ではそれぞれ最大 $26.4 \cdot 20.2$ ポイントと 有意な BLEU の向上は見られなかった. 一方で， mSBERT ではそれぞれ最大 26.5 ポイント・ 20.8 ポイ ントと有意差はないものの BLEU が向上したものが 多く, LaBSE では最大 27.1 ポイント・ 21.0 ポイント と sss+ed に対して有意に高い BLEUが得られた. 特 に， mSBERT，LaBSE ともに上位 2 文を利用する場合に最も高い BLEU が得られ，上位 3 文以上を利用 すると逆に精度が低下することが確認できる.

次に, retrieve-edit-rerank の枠組みに倣ってリラン キングを行った場合の結果を表 2 に示す。まず， $Q^{\text {(Hossain) }}$ によるリランキング手法に着目すると，い ずれも有意な BLEU の向上は得られなかった. 特 に，EUBC において mSBERT やLaBSE を利用する 場合有意に BLEU が低下する。一方で， $Q^{\text {(proposed) }}$ によるリランキング手法では, sss+ed では有意な BLEU 向上が得られないものの, mSBERT やLaBSE を利用する場合は多くの事例で有意に BLEU が向上 した.また, Sentence-BLEU が最大の文を取り出す るオラクルはリランキングの上限値を示している が, sss+ed は mSBERT やLaBSE に比べ低く, さら なる改善の余地が小さいことを示唆する.

## 7 おわりに

本論文では, retrieve-edit-rerank の枠組みのもと で，文埋め込みによる類似訳文の言語横断検索の活用と，文長に対する正規化を行ったより良いランキ ング手法を提案した. 先行研究で利用された編集距離による類似訳文の検索手法よりも， mSBERT や LaBSE といった言語に依存しない文埋め込み生成モ デルを用いたべクトルの近傍探索による検索が翻訳精度の向上に貢献することを示した. また，複数の 相異なる類似訳文を利用して複数の訳文候補を生成 しリランキングによって最良訳自動選択を行う際， サブワード化を復元した文の長さに対する正規化を 行うことにより大幅な翻訳精度の向上を達成した。

## 参考文献

[1] N. Hossain, M. Ghazvininejad, and L. Zettlemoyer. Simple and effective retrieve-edit-rerank text generation. In Proc. 58th ACL, pp. 2532-2538, 2020.

[2] B. Bulté and A. Tezcan. Neural fuzzy repair: Integrating fuzzy matches into neural machine translation. In Proc. 57th ACL, pp. 1800-1809, 2019.

[3] A. Tezcan, B. Bulté, and B. Vanroy. Towards a better integration of fuzzy matches in neural machine translation through data augmentation. Informatics, Vol. 8, No. 1, 2021.

[4] M. Pagliardini, P. Gupta, and M. Jaggi. Unsupervised learning of sentence embeddings using compositional $n$ gram features. In Proc NAACL HLT 2018, pp. 528-540, 2018.

[5] D. Cai, Y. Wang, H. Li, W. Lam, and L. Liu. Neural machine translation with monolingual translation memory. In Proc. 59th ACL and 11th IJCNLP, pp. 7307-7318, 2021.

[6] T. Nakazawa, M. Yaguchi, K. Uchimoto, M. Utiyama, E. Sumita, S. Kurohashi, and H. Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proc. 10th LREC'16, pp. 2204-2208, 2016.

[7] R. Skadiňš, J. Tiedemann, R. Rozis, and D. Deksne. Billions of parallel words for free: Building and using the EU bookshop corpus. In Proc. 9th LREC, pp. 1850-1855, 2014.

[8] T. Vanallemeersch and V. Vandeghinste. Assessing linguistically aware fuzzy matching in translation memories. In Proc. 18th EAMT, pp. 153-160, 2015.

[9] N. Reimers and I. Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proc EMNLP-IJCNLP 2019, pp. 3982-3992, 2019.

[10] N. Reimers and I. Gurevych. Making monolingual sentence embeddings multilingual using knowledge distillation. In Proc. 16th EMNLP, pp. 4512-4525, 2020.

[11] F. Feng, Y. Yang, D. Cer, N. Arivazhagan, and W. Wang. Language-agnostic BERT sentence embedding. In Proc. 60th ACL, pp. 878-891, 2022.

[12] J. Johnson, M. Douze, and H. Jégou. Billion-scale similarity search with gpus. CoRR, Vol. abs/1702.08734, , 2017.

[13] R. Sennrich, B. Haddow, and A. Birch. Neural machine translation of rare words with subword units. In Proc. 54th ACL, pp. 1715-1725, 2016.

## A リランキング時に用いる類似訳文数 $k_{p$ の影響}

(a) $\operatorname{ASPEC}(\mathrm{En} \rightarrow \mathrm{Ja})$

(b) $\mathrm{EBCU}(\mathrm{En} \rightarrow \mathrm{Fr})$

図 2: リランキング時に用いる類似訳文数 $k_{p}$ を変化させた際のリランキング後の BLEU

## B 具体例

表 4 亿，ASPEC を用いた評価実験の結果の具体例を示す。この事例は，マウスの小腸におけるグルコース の吸収について述べた文である。表内の「類似訳文」には各検索手法とリランキング手法によって得られた 最も良い類似訳文を示し，「出力文」には翻訳モデルによる出力結果を示す。その文に対する Sentence-BLEU をそれぞれ算出した，sssted によって検索された類似訳文纪着目すると，まず top1 の類似訳文は生物分野の

情報は少ない。一方で，LaBSE によって検索された類似訳文に着目すると，top1の類似訳文でも「グルコー

表 4: ASPEC を用いた評価実験の結果の具体例

} \\


# マルチヘッドニューラル N-gram による自己注意機構の代替

Mengsay Loem 高瀬 翔* 金子正弘岡崎 直観
東京工業大学情報理工学院
\{mengsay.loem, masahiro.kaneko\}[at]nlp.c.titech.ac.jp,
sho.takase[at]linecorp.com, okazaki[at]c.titech.ac.jp

## 概要

Transformer の優れた性能は，入力系列内の全ての トークン間の依存関係を考慮する自己注意によるも のであると考えられている。しかし，全ての依存関係を考慮する必要があるかは疑問が残る. 本研究で は，全トークン間の依存関係を考えるのではなく，各トークンの周辺のトークンのみを用いたニューラ ル N-gram モデルに着目し，マルチヘッド機構によ る改良を施したマルチヘッドニューラル N-gram モ デル（multiNN）を提案する。系列変換タスクの実験を通して，提案手法は Transformer に匹敵する性能を示すことを報告する．また，様々な分析の結果 から，マルチヘッドニューラル N-gram は自己注意 とは異なる優位性があり，両者を組み合せることに より，Transformerを上回る性能を達成することも報告する.

## 1 はじめに

Vaswani ら [1] が Transformerを提案して以来, Transformerとその亜種のアーキテクチャは，機械翻訳, 自動要約, 画像認識, 音声認識などの様々な夕 スクに適用されてきた $[1,2,3,4]$. Transformer の主要なモジュールは自己注意（Self-attention）である.自己注意は，系列の各位置の入力を処理する際，全 ての位置間の依存関係に基づいて出力を計算する。具体的には, 入力系列の特徴表現 $x_{1}, \ldots, x_{L}$ が与えら れたとき，位置 $t$ における出力は $x_{t}$ と $x_{1}, \ldots, x_{L}$ 間の 注意重みによる重み付き和により計算される. 例え ば， 入力文 we focus on neighbor tokens に対し，on の 第 1 層の出力を計算するとき, 図 1 (a) のように他の 全ての位置の入力を用いる.

しかし，各位置において全ての入力との依存関係 を考慮する必要があるのだろうか？ 実際，自己注意は処理しているトークンの周辺のトークンのみに

(a) 自己注意

(b) 局所注意 $(\mathrm{N}=3)$

図 1 自己注意と局所注意の違い。自己注意はすべての入力の特徴表現を用いて次の層の特徴表現を計算するが，局所注意は周辺 $N$ 個（この図では $N=3 ）$ の特徴表現のみ を用いる。

図 2 WMT 英独データセットの検証データにおける各層 の自己注意の重み分布を処理している位置からの相対位置でプロットしたもの. WMT データセットで学習した 6 層の Transformer のエンコーダ側を使用した。

大きな注意重みを割り当てる傾向があることが経験的に知られている。例として，図 2 に機械翻訳タス クで用いられる系列変換モデルのエンコーダ側の 各層の自己注意の注意重み分布を示した。この図か ら, 着目している位置の周辺の数トークンに大きな 重みが割り当てられていることが分かる．また，近年の研究では，自己注意で行われる入力間の依存関係の計算において，処理している位置の周囲の $N$ 個 のトークンのみに制限した局所注意の成功が報告さ

(a) エンコーダ側のmultiNN

（b）デコーダ側のmultiNN図 3 エンコーダ側とデコーダ側におけるマルチヘッド ニューラル N-gram のアーキテクチャ

れている [5, 6]. 図 1 (b) に, $N=3$ の場合の局所注意の例を示した。

ある位置の周辺の入力に着目する手法として， N-gram ベースのモデルがよく用いられている. Sun ら [7] は，残差結合 [8] などの最新の手法を導入す ることにより，ニューラル N-gram 言語モデル [9] の性能を著しく向上させた．Sun らの手法は，従来のニューラル N-gram モデルより優れているが， Transformer を上回ることはできなかった. それで は，N-gram ベースのアプローチで自己注意よりも 優れた性能を示すモデルを作ることは本当に不可能 なのであろうか?

本研究では，Transformer [1] の自己注意で用いら れているマルチヘッド機構を導入することにより， ニューラル N-gram モデル [7] を改良する手法を提案する。この改良手法をマルチヘッドニューラル $\mathrm{N}$-gram (multiNN: Multi-head Neural N-gram) と呼ぶ. この改良手法の性能を調べるため，Transformer の自己注意を提案手法の multiNNに置き換え，既存の Transformer との性能比較を行う。機械翻訳 (4 節),自動要約（付録 $\mathrm{A}$ ），音声認識（付録 B）を含む様々 な系列変換タスクにおいて実験を行ったところ，提案手法の multiNN は自己注意と同等かそれ以上の性能を達成することが示された。また，multiNNに関 する分析を通して，既存の Transformer の代替とな るアーキテクチャを模索するために有用な知見が得 られた（5 節）。

## 2 マルチヘッド自己注意

マルチヘッド自己注意は，広く使われている Transformer のコア・モジュールである. マルチヘッ ド自己注意は，入力系列の全体に対する注意関数で 入力間の依存関係を捉える。また，マルチヘッド自己注意は，単一の注意関数を用いるのではなく，異 なる線形写像で変換された入力の特徴表現に対し,複数の注意関数を適用する．具体的には，長さ $L$ の $D$ 次元の入力の特徴表現の列を $x_{1}, \ldots, x_{L} \in \mathbb{R}^{D}$ に対 し， $K$ 個のへッドからなる注意機構は位置 $t$ におけ る出力 $z_{t} \in \mathbb{R}^{D}$ を次式で計算する（[$\cdot$; $\cdot$] はベクトル の連結， $k \in\{1, \ldots, K\}$ である).

$
\begin{aligned}
z_{t} & =\left[h_{t}^{(1)} ; \ldots ; h_{t}^{(K)}\right] W \\
h_{t}^{(k)} & =\sum_{i=1}^{L} \alpha_{t i}^{(k)} x_{i}^{(k)} \\
x_{i}^{(k)} & =x_{i} W_{v}^{(k)}
\end{aligned}
$

ここで, $W \in \mathbb{R}^{K d \times D}, W_{v}^{(k)} \in \mathbb{R}^{D \times d}$ は線形写像の重 み行列である ( $d$ は各へッドに写像された特徴表現 $x_{i}^{(k)}$ の次元数であり, 通常は $d=D / K$ である). また, ヘッド $k$ における注意重み $\alpha_{t i}^{(k)} \in \mathbb{R}$ は入力 の位置 $t$ と $i$ の間のスケーリングされた内積である [1]. 式 (2)は, 線形写像された入力表現 $x_{1}^{(k)}, \ldots, x_{L}^{(k)}$ に対し, 注意関数を適用して各へッドの出力 $h_{t}^{(k)}$ を計算する。そして，式 (1) で，全ヘッドの出力 $h_{t}^{(1)}, \ldots, h_{t}^{(K)}$ を連結し, 線形写像 $W$ を適用するこ とにより，マルチヘッド自己注意の出力 $z_{t}$ を得る.

## 3 マルチヘッドニューラル N-gram

本研究では，ニューラル N-gram 言語モデルの アーキテクチャを踏襲しつつ，Transformer のマルチ ヘッド自己注意と同様にマルチヘッド機構を導入 し，ニューラル N-gram モデルを改良する．マルチ ヘッドニューラル N-gram（multiNN）は，入力系列 の各位置において，その位置のトークンの特徴表現 とその周囲の $N$ 個のトークンの特徴表現を連結し たものを入力として受け取る。連結された特徴表現 は, 図 3 のように複数の線形写像を独立に適用す る. 具体的には， $D$ 次元の特徵表現 $x_{1}, \ldots, x_{L}$ の系列 が与えられた際，エンコーダ側で $K$ 個のへッドを持 $\supset$ multiNN は，位置 $t$ の出力の特徴表現 $z_{t}$ を，以下

の式で計算する.

$
\begin{aligned}
z_{t} & =\left[h_{t}^{(1)} ; \ldots ; h_{t}^{(K)}\right] W \\
h_{t}^{(k)} & =\operatorname{ReLU}\left(\left[x_{t-n+1}^{(k)} ; \ldots ; x_{t+n-1}^{(k)}\right] W^{(k)}\right) \\
x_{t}^{(k)} & =x_{t} W_{x}^{(k)}
\end{aligned}
$

ここで, $W \in \mathbb{R}^{K d \times D}, W^{(k)} \in \mathbb{R}^{(2 n-1) d \times D}$ と $W_{x}^{(k)} \in$ $\mathbb{R}^{D \times d}$ は線形写像の重み行列である. multiNN の各 ヘッド $k$ で使われる入力表現は, 式 (6) の異なる重 み行列 $W_{x}^{(k)}$ で線形写像される. 式 (5) で $n$ 個の周辺の入力表現を連結し, 線形写像 $W^{(k)}$ と活性化関数 ReLUを適用することで各へッドにおける位置 $t$ の出力 $h_{t}^{(k)}$ を計算する. 最後に, 式 (4) で全 $K$ 個の ヘッドの出力 $h_{t}^{(1)}, \ldots, h_{t}^{(K)}$ を連結し, 線形写像 $W$ を施すことで，位置 $t$ における multiNN の出力 $z_{t}$ を 計算する.

multiNN では $n$ トークン以上離れた距離にある依存関係を考慮することができない。この弱点を緩和 するため, 入力系列を各ヘッド $k$ に写像した後の全特徴表現に最大值プーリングを適用し, グローバル な特徴表現

$
x_{\text {global }}^{(k)}=\max \left(x_{1}^{(k)}, \ldots, x_{L}^{(k)}\right)
$

を計算したのち，式 (5)を次式で置き換える選択肢 も検討する.

$
h_{t}^{(k)}=\operatorname{ReLU}\left(\left[x_{t-n+1}^{(k)} ; \ldots ; x_{t+n-1}^{(k)} ; x_{\text {global }}^{(k)}\right] W^{(k)}\right)
$

このとき, 重み行列 $W^{(k)}$ のサイズを $W^{(k)} \in \mathbb{R}^{2 n d \times D}$ に変更する。

なお，系列変換モデルのデコーダ側に multiNNを 採用するときは，マスク付き自己注意のアイディア と同様に, 着目している位置 $t$ の左側の特徴表現 $x_{t-n+1}^{(k)}, \ldots, x_{t}^{(k)}$ のみを用いることとし, 右側（将来） の特徴表現は参照しないこととする。

## 4 実験

## 4.1 設定

multiNN の性能を評価するために，WMT の英語—ドイツ語と IWSLT ドイツ語—英語の 2 つの機械翻訳ベンチマークで実験を行った．WMT では， Vaswani ら [1] の実験と同様に 450 万文のペアを含 む WMT データセットを使用した. 検証セットとテ ストセットとして, newstest2013 と newstest2014を それぞれ使用した. IWSLT では, Cettolo ら [10] と 同様に， 16 万文ぺアが含まれるデータセットを使用した. 各データセットの語彙の構築には，ソー表 1 機械翻訳タスクの BLEU スコア

表 2 WMT の検証セットにおけるベースライン手法の性能および multiNN モデルのアブレーション結果

ス側とターゲット側で語彙を共有する Byte Pairing Encoding [11]を用いた. 語彙のサイズは WMT で 32K，IWSLT で 10K に設定した. ベースライン手法 として, Transformer-base [1]を採用し，マルチヘッ ド自己注意を multiNN に置き換えた場合の性能を比較した。また，その他のベースライン手法として，提案手法の multiNN と同様に周囲の $N$ 表現のみを 使用した局所注意 $[5,6]$ とも性能の比較を行った.

## 4.2 結果

機械翻訳タスクの結果を表 1 に示した. 各手法 のランダムシードを変化させ，3回の実行結果の平均スコアと分散を報告した. WMT と IWSL の両方 のデータセットでは， multiNN が自己注意と同等の BLEU スコアを達成した.この結果から, multiNN は，すべての入力表現の位置依存関係を考慮するこ となく, 注意機構に基づく手法と同等の性能が達成する能力があることが推測される. この結果は, multiNN は単純なアーキテクチャを採用し，扱える 文脈の範囲を近傍のトークンに限定したにも関わら ず，注意機構に匹敵する能力を有することを示唆し ている。また， multiNN は両方のデータセットで局所注意を 0.40 ポイント以上上回る性能を示した.

## 5 分析

## 5.1 各構成要素の貢献

ここでは，ニューラル N-gram ベースのモデルに 関する知見を得るために， multiNN における各構成要素の貢献度合いを調査した. この実験では, 全て

のモデルがほぼ同じパラメータ数になるようにし て，モデル間の性能を比較した。

まず，マルチヘッド機構の効果について議論した い. 表 2 の「multiNN」と「-マルチヘッド」の比較から分かるように，マルチヘッド機構を用いない N-gram モデルでは, BLEU スコアが 0.67 ポイントも 低下した。このことから，ニューラル N-gram ベー スの手法の性能向上において，本稿で提案したマル チヘッド機構が効果的であることが示唆される.

続いて，エンコーダ側のグローバル特徴表現の効果について議論したい. 表 $2 「$ multiNN」と「-グ ローバル」の比較から, multiNN からグローバル特徵表現を取り除くと，モデルの性能は低下するもの の，その低下は僅かであった．したがって，グロー バル特徴表現も multiNN モデルの性能向上に貢献し ているものの，マルチヘッド機構の方がより効果が 大きいと推察される.

## 5.2 multiNN と自己注意との組合せ

Sun ら [7] はニューラルNグラムモデルと自己注意を組み合わせた場合の実験結果を報告していた。本稿でもそれに倣い，multiNN と自己注意を組合せ たモデルでの実験結果を報告する． multiNN と自己注意は，入力間の異なる種類の依存関係を捉えると 考えられるため，エンコーダとデコーダの両方で性能の向上が期待できる. 本研究では，各層で両者を 組み合わせた場合と, エンコーダ側およびデコーダ 側で両者を切り替えて用いた場合の二種類の実験を 行った.

図 4 に，自己注意を持つ 6 層の Transformer の下位 の層から，自己注意をグローバル特徴表現を用いな い multiNN に置き換えたときの，WMT データセッ トの検証セットにおける性能を示した. 図 4 に示す ように，下位から 3 層までに multiNNを用いるこ とにより，既存の Transformer に比べて BLEU スコ アを最大 0.50 ポイント改善できることが分かった. ところが，この改善効果は multiNn をさらに上の層 まで置き換えてしまうと，減少してしまった.この 結果から，Transformer の下位の層において狭い文脈 に着目するように誘導することが重要であると考え られる。

WMT の検証セットにおいて，エンコーダ側とデ コーダ側で multiNN と自己注意を切り替えた場合の 実験結果を表 3 に示した. デコーダ側の自己注意を multiNN に置き換えると，元々の Transformer よりも

図 4 multiNn と自己注意の層別組合わせ.

表 3 エンコーダ側とデコーダ側における multiNN と自己注意の組合せ

高い性能を示すことが分かった。一方で，エンコー タ側の自己注意を multiNNに置き換えると，元々の Transformer よりもわずかに性能が低下する．以上の 結果から，この機械翻訳タスクにおいてはエンコー ダ側で長距離の依存を考慮できるようにしておき， デコーダ側では短距離の依存関係を考慮するように 誘導する方が有利であることが示唆される。このよ うに，multiNNは自己注意とは異なる効果を持って おり，これらを併用することでタスクの性能を改善 できる可能性がある。

## 6 おわりに

本研究では，入力の全体ではなく周辺の特徴表現 のみを用いたニューラル N-gram ベースモデルが自己注意の代替になり得るかという問いを探求した。 その問いを検証するため，ニューラル $\mathrm{N}$-gram モデ ルを改良し，マルチヘッド機構を導入した multiNN を提案した。文脈の範囲を高々前後 $n$ トークンに 限定したにも関わらず，系列変換タスクにおいて， multiNN が自己注意や局所注意などの既存手法と同等かそれ以上の性能を示すことを実証した。また， multiNN と自己注意を組み合わせることより，既存 の Transformer を上回る性能を発揮し得ることも報告した. 今後の課題として，深いモデルや事前学習 での性能を検証することで，multiNN のスケーラビ リティを評価することを予定する。
謝辞 本研究成果は，国立研究開発法人情報通信研究機構 (NICT) の委託研究「自動翻訳の精度向上 のためのマルチモーダル情報の外部制御可能なモデ リングの研究開発」(課題 225）により得られたもの です.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, 2017 .

[2] Sho Takase and Naoaki Okazaki. Positional encoding to control output sequence length. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 3999-4004, 2019

[3] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth $16 x 16$ words: Transformers for image recognition at scale. In International Conference on Learning Representations, 2021.

[4] Linhao Dong, Shuang Xu, and Bo Xu. Speech-transformer: A no-recurrence sequence-to-sequence model for speech recognition. In 2018 IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 58845888, 2018.

[5] Rewon Child, Scott Gray, Alec Radford, and Ilya Sutskever. Generating long sequences with sparse transformers. CoRR, Vol. abs/1904.10509, , 2019.

[6] Iz Beltagy, Matthew E. Peters, and Arman Cohan. Longformer: The long-document transformer. CoRR, Vol. abs/2004.05150, , 2020.

[7] Simeng Sun and Mohit Iyyer. Revisiting simple neural probabilistic language models. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5181-5188, Online, 2021.

[8] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 770-778, 2016.

[9] Yoshua Bengio, Réjean Ducharme, Pascal Vincent, and Christian Janvin. A neural probabilistic language model. Journal of Machine Learning Research, Vol. 3, p. 1137-1155, 2003.

[10] Mauro Cettolo, Jan Niehues, Sebastian Stüker, Luisa Bentivogli, and Marcello Federico. Report on the 11th IWSLT evaluation campaign. In Proceedings of the 11th International Workshop on Spoken Language Translation: Evaluation Campaign, pp. 2-17, 2014.

[11] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Asso- ciation for Computational Linguistics, pp. 1715-1725, 2016.

[12] Alexander M. Rush, Sumit Chopra, and Jason Weston. A neural attention model for abstractive sentence summarization. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 379-389, 2015.

[13] Abigail See, Peter J. Liu, and Christopher D. Manning. Get to the point: Summarization with pointer-generator networks. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 1073-1083, 2017.

[14] Vassil Panayotov, Guoguo Chen, Daniel Povey, and Sanjeev Khudanpur. Librispeech: An asr corpus based on public domain audio books. In 2015 IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 5206-5210, 2015.

[15] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.
表 4 見出し生成タスクにおける ROUGE-1, 2, L（R-1, R-2, R-L）の F1 スコア

表 5 文書要約タスクにおける ROUGE-1, 2, L（R-1, R-2, R-L）のF1スコア

## A 自動要約タスクの実験

本研究では，見出し生成と文書要約の二つの自動要約タスクについても実験を行った. 見出し生成は 文レベルの自動要約タスクであり，ニュース記事の 先頭の文から対応する見出しを生成するタスクで ある。このタスクの実験では， Gigaword データセッ

ト [12] 使用した。文書要約タスクは，文書レベル の要約タスクであり，モデルは原文書から複数の文 からなる要約を生成する. このタスクの実験では, CNN/DailyMail データセット [13] を用いた。また，両タスクにおいて，ソース側とターゲット側で語彙 を共有した Byte Pairing Encoding [11]（語彙サイズは 32K）を用いた. モデルのサイズは機械翻訳の実験 と同等になるように設定した。

見出し生成タスクと文書要約タスクの結果を表 4 と表 5 に示す. 見出し生成タスク，文書要約タスク のいずれにおいても， multiNN は自己注意に匹敵す る性能を示した. また, 局所注意と比較すると，提案手法の multiNN は大幅な性能向上を達成した.こ れらの知見は，機械翻訳タスクにおけるものと同様 である.

## B 音声認識タスクの実験

テキストの系列変換タスクの他に，LibriSpeech データセット [14]を用い，自動音声認識タスクの 実験を行った. LibriSpeechには，約 960 時間に及ぶ オーディオブックの音声が収録されている. この データセットには，話者の単語誤り率に基づき，ク リーンとその他の 2 種類のデータプールが存在す る. 実験では，両方のプールを使用した. デコーダ 側の語彙は SentencePiece [15] を用い，語彙サイズは表 6 LibraSpeech の検証セットにおける単語の誤り率

表 7 LibraSpeechのテストセットにおける単語の誤り率

10Kとした.

LibriSpeech データセットの検証セットとテスト セットにおける自動音声認識タスクにおける単語の 誤り率を表 6 と表 7 に示した。提案手法の multiNN は，ほぼ同じモデルサイズで自己注意と同程度の性能を発揮した. また， multiNN の単語誤り率は局所注意よりも 1 ポイント以上の低かった.この実験結果も，機械翻訳タスクと自動要約タスクの実験結果 と整合している.


# 訓練データ中の頻度バイアスを解消する前処理の提案

神戸隆志 ${ }^{1}$ 鈴木潤 1,2 乾健太郎 1,2
1 東北大学 2 理化学研究所
takashi.kambe.r8@dc. tohoku.ac.jp
\{jun.suzuki,kentaro.inui\}@tohoku.ac.jp

## 概要

訓練データ中の単語頻度の偏りは，深層ニューラ ルネットワークに基づく自然言語処理の性能に悪影響を及ぼすことが知られている．そのため，頻度の 偏りによる影響を解消しようとする試みが報告され ている. 本研究では，その取り組みの一つとして，文の前処理の段階で高頻度語の頻度を減らし, 訓練 データ中の頻度分布を均一に近づけ，頻度バイアス を解消する手法を提案する．本稿では，提案法の有効性を機械翻訳タスクにて検証する。具体的には，提案法により前処理を施した訓練データを用いて構築した翻訳モデルと, 従来通りの訓練データで構築 した翻訳モデルの翻訳性能を比較する。

## 1 はじめに

深層ニューラルネットワークに基づく自然言語処理では，文を単語などの何かしらの基準で分割し， その分割単位に基づいて処理を行う. 近年は，文を 分割する単位として，サブワードを用いることが主流である. 本稿では，議論を簡単にするために，単語やサブワードなど，どのような基準で分割された かによらず分割後の各要素をトークンと表記する. いずれの場合も文を構成するトークンは少数の高頻度トークンと多数と低頻度トークンから構成される という特徵がある．これは，サブワードなどを用い たとしても，程度の差はあれどいわゆる Zipf の法則 に概ね従う分布になるためである。このトークン頻度の偏り（以下，頻度バイアスと表記）が自然言語処理のモデルに影響を与え，様々なタスクの精度が 低下する現象が報告されている [1]. また，この頻度バイアスの悪影響を緩和することで自然言語処理タスクの性能向上を目指す研究が報告されてい る $[1,2,3]$.

本研究は, これらの先行研究と同様に, 頻度バイ アスを緩和する方法を考案することを目的とする。
ただし，従来の方法とは違い，利便性が高く扱いや すい方法の確立を目指す. その観点から，文の前処理の段階で高頻度トークンの頻度を減らし, 訓練 データ中のトークン頻度分布をできるだけ均一に近 づける方法を提案する．より具体的には，訓練デー タ中の高頻度トークンを複数の新しいトークンに 分類し, 高頻度トークンの出現頻度を均す操作を行 う. 前処理により偏りを解消することができれば， モデルの訓練方法の変更などを必要としないため,基本的にあらゆる自然言語処理タスクで利用可能と いう利点となる。

本研究では，機械翻訳のデータを用いた実験によ り提案法の有効性を検証する。具体的には，提案す る前処理を用いて頻度バイアスを軽減した場合に，従来法に相当する頻度バイアスの軽減をしない場合 と比較して性能が向上するかを実験的に確かめる。

## 2 関連研究

## 2.1 サブワード分割

サブワードは単語よりも小さな単位で文を表現 する単位であり，近年の自然言語処理において広く 用いられている単位である. サブワードを使用する 利点として，語彙数を自由に設計して固定すること ができる点や，未知単語をサブワードの組み合わせ として表現できるといった点が挙げられる. 自然言語処理におけるサブワードの構築方法として Byte Pair Encoding (BPE) [4] や Unigram Language Model [5] などが挙げられる.しかし，いずれの方法において も，高頻度単語はそのままサブワードとして語彙に 含められ，低頻度単語はより小さなサブワードの組 み合わせとして表現されやすいという傾向がある. この傾向から，サブワード単位の語彙も単語単位の 語彙と同様に，高頻度サブワードと低頻度サブワー ドに偏る.

図 14.1 節で使用する英文データに対して BPE を 32,000 回適用した場合のトークン頻度分布

## 2.2 頻度バイアス

近年の自然言語処理は，単語やサブワードなどの トークンを埋め込み表現と呼ばれるべクトルとして 表現し，そのべクトルを処理していく手法が一般的 である. 埋め込み表現の特徴として，似た意味の単語には近いべクトルが割り当てられることが期待さ れるが，前述の頻度バイアスにより意味ではなく頻度を反映するような埋め込み表現が構築されてしま うことが報告されている $[1,2]$. 具体的には，高頻度語同士が近くなるように，また低頻度語同士が近 くなるような埋め込み表現が学習され，たとえ意味 の近い単語であっても頻度の違いにより埋め込み 表現が遠ざかる現象が起こってしまう．この埋め込 み表現における現象は様々な自然言語処理のタス クの精度を低下させることが報告されており，頻度 バイアスを解消しようとする試みが研究されてい る $[1,2,3]$.

## 3 頻度バイアスを軽減する前処理

2.2 節の頻度バイアスによる問題は，訓練データ に出現するトークンの頻度が偏っていることに起因 する問題である。そこで本研究では，図 1 の様な訓練データ中の偏ったトークン頻度分布に対して，で きる限り均一な頻度分布に近づける前処理を実施し た上でモデルを学習する方法を考案する．提案する 前処理では，高頻度トークンを複数のトークンに分類して均一な頻度分布に近づける。提案法は, 高頻度トークンを一定のルールに従って分類し頻度を均一に近づけることから分類ルールと呼ぶ．以下，分類ルールの詳細を説明する。

## 3.1 基本的な着想

英語における高頻度トークンである“the”を例 にすると，分類ルールでは訓練データ中の “the”を "the0", "the1", "the2",... といった複数のトークンに置 き換えることで “the” の頻度を減少させる．しかし 無作為に訓練データ中の “the”を複数のトークンに 分割すると，全く同じ文に対するトークン列でも異 なるものになる可能性がある．よって，何かしらの 基準に基づいて分類を行う必要がある．そこで本研究では，分類するトークンを中心とする trigram を 基準に分類する．まず，訓練データ中の最も頻度が 大きいトークンを取得し，そのトークンを中心とす る trigram を全て列挙する。次に列挙した trigram の 中で最も頻度が大きい trigram の中心の高頻度トー クンをその trigram に対応するトークンとして分類 する。例えば “on the other” という trigram が “the”を 中心とする最も高頻度な trigram だった場合，訓練 データ中の “on the other”として出現する “the”は "the 0 " に置き換え，“the" とは異なるトークンとして 扱う。ここで，分類ルールは頻度分布をできるだけ 均一に近づけることを目的としているため，極端な 低頻度 trigram に対応した低頻度トークンを生成し てしまうことは望ましくない，そこで，出現頻度に 閾値を設定し，新たに分類したトークンがその閾値 を下回るような分類は行わないこととする。また，複数の trigram に対して 1 回の分類を行うことも可能とし，例えば “on the basis”, “in the case” として出現する “the”を “the1” として分類するといった操作 を許容し，新たに生成されるトークンの頻度が閾值 を下回らないようにする。図 2 に分類ルールによっ て高頻度トークンが複数のトークンに分類される例 を示す。

## 3.2 アルゴリズム

以上の分類の考え方を踏まえ，具体的な処理手順 は以下の通りである。

1. 出現頻度の大きいトークンの出現頻度を減らし 頻度分布を均一に近づけるため，訓練データ中 の最も高頻度なトークンを取得する。
2. 1 で取得したトークンを中心とする訓練データ 中の trigram を列挙し, trigram の出現頻度が大 きい順にソートする。

3. 頻度の大きい trigram から順に頻度を足し合わ せていき，設定した間値を超えた時点で，それ

図 2 英語における高頻度トークンである“the”を分類す る様子: 一回目の分類では, “the”を中心とする trigram の うち最も高頻度である “on the other” の “the”を “the 0 ”と して分類する。 二回目の分類では “on the basis” の “the”を “the1”として分類しようと試みるが，その場合 “the1” の出現頻度が間値以下になってしまうため，次点で高頻度な “in the case" も使用して分類することで "the1” の出現頻度 が閾値以上になる様にする。

らの trigram の中心に出現するトークンは新た なトークンとして分類する.

4.1-3を目的の語彙数になるまで繰り返す.

上記の 1-3 の手順によって新たに分類されたトー クンが 1 種類増えるため，分類ルールを 1 回適用す ることで語彙数が 1 だけ増える．従って，分類ル一 ル適用後の訓練データの語彙数は，分類ルール適用前の訓練データ中の語彙数と分類ルールの適用回数 を足し合わせた値となる。分類ルールの適用回数は 自由に設定できるため, 目的とする語彙数に調整す ることが可能である.

## 4 実験

本研究では，機械翻訳タスクを用いて分類ルール の効果の検証する. ベースラインとして BPE [4] で サブワード分割を行った訓練データを用意し，その データに対して分類ルールを適用する場合としな い場合の 2 種類の訓練データを作成する. それらの データを用いて翻訳の学習を行い，翻訳精度を比較 することで分類ルールの効果を検証する。

## 4.1 実験設定

データ： $\quad$ WMT20221)の英日翻訳データに対して 参照文不要の COMET [6] を適用し, 計算されたス コアの上位 1,500,000 文対を訓練データとして使用
した，評価データは，WMT2020 および WMT2021 のニュース翻訳タスクの評価データを使用し た. 以下，WMT2020 の評価データを newstest20， WMT2021 の評価データを newstest21と表記する.

トークン分割方法：サブワード構築のため の BPE のマージ回数は，16,000 回または 32,000 回とする. 本稿では，マージ回数 16,000 の BPE を $\mathrm{BPE}(m=16 k)$ ，マージ回数 32,000 の BPE を $\mathrm{BPE}(m=32 k)$ と表記する。分類ルールは，BPE を 16,000 回適用した入力側のデータに対して 8,000 回 または 16,000 回を適用した。また分類ルールにお ける最低頻度の閾値は 800 とした。これによって，出現頻度が 800 より小さくなるトークンは新たに 生成されないことに注意されたい。本稿では，BPE を 16,000 回適用した後に分類ルールを 8,000 回適用したものを $\operatorname{BPE}(m=16 k)+\operatorname{CRULE}(c=8 k)$ ，BPE を 16,000 回適用した後に分類ルールを 16,000 回適用し たものを $\operatorname{BPE}(m=16 k)+\operatorname{CRULE}(c=16 k)$ と表記する.

翻訳モデル： 翻訳モデルには，現在最もよく用 いられるモデルである Transformer [7] を採用した. また，その実装は，fairseq [8] を用いた。

評価指標： 翻訳結果の評価には，機械翻訳の評価指標として広く用いられる BLEU スコアを用い た。BLEU スコアの計算には，sacreBLUE [9] を使用 した.

## 4.2 分類ルールによる頻度分布の変化

分類ルールによる頻度分布の変化を図 3 に示す. ここで，縦軸は対数スケールの出現頻度であること に注意されたい，図 3 から，分類ルールによって高頻度トークンが複数の低頻度トークンに分割される ことで，より均一な頻度分布に近づいているいこと が確認できる。ただし，分類ルール適用後も高頻度 のまま残ってしまうトークンが存在する。これは，分類に使用した trigram が既に高頻度である場合に，現状の trigram に基づく分類ルールではこれ以上分割して頻度を減らすことができないためである.

図 4 は，BPEを 32,000 回適用した訓練データの トークン頻度分布と，BPEを 16,000 回適用し，更に 分類ルールを 16,000 回適用した訓練データのトー クン頻度分布を比較したものである．分類ルールを 適用することで，BPE を継続して適用するより均一 な分布に近くなっていることが確認できた。

図 3 分類ルール適用によるトークン頻度分布の変化 (上：英語，下：日本語)

表 1 日英翻訳における BLEU スコア

表 2 英日翻訳における BLEU スコア

## 4.3 機械翻訳の翻訳品質

表 1 に日英翻訳における BLEU スコアを示す。同様に，表 2 に英日翻訳における BLEU スコアを示す.日英翻訳では, newstest20 においては BPE(マージ 回数 16,000$)$ の設定が最も優れており, newstest21 においては分類ルールを 8,000 回適用した設定 が最も優れている結果となった. 英日翻訳では, newstest20 においては，BPE(マージ回数 16,000), BPE(マージ回数 32,000$)$ ，分類ルール 16,000 回の

図 4 BPE と分類ルールで語彙数を統一した場合の比較 (上：英語，下：日本語)

設定が最も優れており, newstest21においては BPE(マージ回数 16,000 ) の設定が最も優れていた. しかし，いずれの設定においても，最も優れている 設定とそれ以外の設定における BLEU スコアの差は 小さい。このことから，提案法である分類ルールを 適用することによって普遍的に翻訳精度が向上する という結果は得られなかった。

## 5 おわりに

本研究では, 前処理の段階で高頻度トークンの頻度を均すことで頻度バイアスを解消する手法を提案した. 実験では，分類ルールによって訓練データ 中のトークン頻度分布が均一に近づくことが確認 できた。また，機械翻訳タスクにおける一部の評価 データにおいて提案法が優れていることが確認でき たが，提案法による普遍的な翻訳精度の向上を確認 することはできなかった. 今後の展望として，分類 ルールを用いて学習した翻訳モデルの埋め込み層の 観察など，翻訳精度以外の観点からも分類ルールの 効果を検証する必要があると考えている。

## 謝辞

本研究は，JST ムーンショット型研究開発事業 JPMJMS2011 (fundamental research) の助成を受けて 実施されたものである.

## 参考文献

[1] Chengyue Gong, Tao Qin, Di He, Liwei Wang, Xu Tan, and Tie Yan Liu. Frage: Frequency-agnostic word representation. Advances in Neural Information Processing Systems, Vol. 2018-Decem, pp. 1334-1345, 2018.

[2] Jun Gao, Di He, Xu Tan, Tao Qin, Liwei Wang, and Tie Yan Liu. Representation degeneration problem in training natural language generation models. In 7th International Conference on Learning Representations, ICLR 2019, 2019.

[3] Sangwon Yu, Jongyoon Song, Heeseung Kim, Seong-Min Lee, Woo-Jong Ryu, and Sungroh Yoon. Rare Tokens Degenerate All Tokens: Improving Neural Text Generation via Adaptive Gradient Gating for Rare Token Embeddings. In ArXiv, pp. 29-45, 2022.

[4] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In 54th Annual Meeting of the Association for Computational Linguistics, ACL 2016 - Long Papers, Vol. 3, pp. 1715-1725. Association for Computational Linguistics (ACL), 2016.

[5] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In ACL 2018 - 56th Annual Meeting of the Association for Computational Linguistics, Proceedings of the Conference (Long Papers), Vol. 1, pp. 66-75. Association for Computational Linguistics (ACL), 2018.

[6] Ricardo Rei, Craig Stewart, Ana C. Farinha, and Alon Lavie. COMET: A Neural Framework for MT Evaluation. EMNLP 2020 - 2020 Conference on Empirical Methods in Natural Language Processing, Proceedings of the Conference, pp. 2685-2702, 2020.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, Vol. 2017-Decem, pp. 5999-6009, 2017.

[8] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. Fairseq: A fast, extensible toolkit for sequence modeling. NAACL HLT 2019 - 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies Proceedings of the Demonstrations Session, pp. 4853, 2019.

[9] Matt Post. A Call for Clarity in Reporting BLEU Scores. In WMT 2018 - 3rd Conference on Machine Translation, Proceedings of the Conference, Vol. 1, pp. 186-191. Association for Computational Linguistics (ACL), 2018.


# 自然言語生成タスクの自動評価指標のためのドメイン外検出

伊藤拓海 $^{1}$ 森下睦 ${ }^{2}$ 鈴木潤 1
1 東北大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
t-ito@tohoku.ac.jp makoto.morishita.gr@hco.ntt.co.jp jun.suzuki@tohoku.ac.jp

## 概要

自然言語生成タスクの評価指標として，ニューラ ルベースの評価指標が急速に発展している. しか し，これらの評価指標は，学習を伴う指標であり，評価するデータが評価指標の学習データのドメイン 外の場合，誤ったスコアを付与する可能性がある.本稿では，機械翻訳のための参照なし評価指標であ る COMET-QE に対して，1クラス分類器を評価指標 に適用することで，ドメイン外検出をする方法を提案する. さらに，1 クラス分類器の分類精度向上を 目指し, 特徴量空間においてドメイン内とドメイン 外のデータ点を分離できるように, 評価指標の学習時に距離学習を適用した. 実験の結果，既存手法で あるモンテカルロドロップアウトを用いた手法を上回るドメイン外検出能力を達成した.

## 1 はじめに

機械翻訳や要約生成などの自然言語生成 (NLG) タスクにおいて, NLG モデルの評価方法の研究が 注目されている。その評価方法は，人手評価と自動評価に大きく分類される. 人手評価は，人がモデル の性能を評価する方法であり，多くのタスクにおい てゴールドスタンダードとされている. しかしなが ら，人手評価は一般に時間的・金銭的なコストが高 く, 再現性の観点でも課題がある. そのため, 代替手法として時間的・金銭的なコストが低く再現性も 高い自動評価指標が用いられる。さらに，自動評価指標は参照あり評価指標と参照なし評価指標に大き く分類することができる。「参照」とは，各 NLG タ スクの評価事例に対して人が作成した解答例とな るテキストである．参照あり手法とは，参照テキス トとシステムが生成したテキストを比べることで 評価をする手法である。一方，参照なし評価指標と は参照テキストを使用しない評価方法である. つま り，参照なし評価指標は，評価事例として NLG モ デルへの入力データとモデルの出力があれば適用可能である．新たなドメインの評価事例などに対し て，より低コストでNLG モデルを評価できる可能性を秘めており，評価のスケールアップが期待され ている. 以前は，参照あり手法に比べて，評価性能 が劣っているとされていたが，近年参照あり手法と 競争的な評価性能を達成する手法がいくつか提案さ れてきている [1]. ${ }^{1)}$ また，参照なし評価指標は NLG モデルの評価だけでなく，NLG モデルの推論時のリ ランキングなどにも使用されるなど，その応用範囲 も広い [2].

こうした参照なし評価指標の発展の背景には, ニューラルベースの教師あり評価指標の発展があ る.2)特に，人が付与した品質評価スコアを教師に， BERT などの言語モデルをべースとした回帰モデル を学習する手法がよく提案されている [3]. しかし， こうした学習が伴う手法では, 機械学習一般の課題 であるが，学習データ中に評価事例の類似事例がな い場合に，その評価事例の評価性能（或いは評価の 信頼性）が低くなるという課題がある。実際，機械翻訳の多くの評価指標が，ドメインに対して頑健で ないことが報告されている [4]. さらに，学習済み のモデルだけが配布されることが多々あり，モデル の学習に使用したデータの詳細が評価指標の利用者 からは特定できない場合も少なくない. 評価指標の 使用方法を誤ったり，本来使用すべきではないデー タに対して使用すると，NLG モデルの開発の失敗 に繋がることや，誤った研究の結論を導く可能性が ある.

本稿では，評価指標に対して評価するデータが学習データに含まれるドメインかどうかを検出する （ドメイン外検出と呼ぶ）機能を組み込むことを目指す。参照なし評価指標は学習データ外のドメイン のデータに対して適用するされる可能性が高いた め, 本稿では参照なし評価指標に焦点を当てる. 評

1）NLG の評価指標は一般に，人手評価と相関（人手相関）が 高いものほど高性能な指標とされている.

2）ニューラルベースの NLG 評価指標は参照あり評価指標に おいても主流となっている.
価指標としての性能を維持したままドメイン外検出 を実現することができれば，より公平で正確な NLG モデルの評価につながる. さらに，ドメイン外検出 は評価指標の解釈性 [5] の向上にも貢献しうる.

## 2 関連研究

COMET [3] とは，機械翻訳タスクのための評価指標のフレームワークであり ${ }^{3}$ ，参照ありと参照 なしの両方のバージョンを提供している（参照な しを COMET-QE [1] と呼ぶ).ここでは, COMET$\mathrm{QE}[1]$ について説明する. 参照なし手法は, 原文 $s$ と, NLG システムの出力文 $h$ を COMET-QE の 入力とする. COMET-QE のモデル構造は，まず， XLM-RoBERTa [6] などの多言語マスク言語モデルに よって原文と NLG システムの出力文から特徴量べ クトル $\boldsymbol{x}$ を得て，それをフィードフォワード層 $f(\cdot)$ に入力し, 評価スコアを出力する. 特徴量べクトル $x$ は以下のように計算される.

$
\begin{aligned}
\mathbf{s} & =\operatorname{XLM}-\operatorname{RoBERTa}(s) \\
\mathbf{h} & =\operatorname{XLM}-\operatorname{RoBERTa}(h) \\
\mathbf{x} & =[\mathbf{h} ; \mathbf{s} ; \mathbf{h} \odot \mathbf{s} ; \mathbf{h}-\mathbf{s}]
\end{aligned}
$

人が付与するスコアを $q$ ，バッチサイズを $n$ とする と，損失関数 $L$ は以下のように計算される。

$
L=\frac{1}{n} \sum_{i=1}^{n}\left(f\left(\mathbf{x}_{i}\right)-q_{i}\right)^{2}
$

本研究と類似し, NLG 評価指標に対して, 信頼性スコアを出力する取り組みが既になされてい る $[7,8]$. ドメイン以外にも, 学習データや参照テキ ストのノイズなども不確定性の要因となり得る. 例 えば, Glushkova ら [7] は, モンテカルロドロップア ウト (MCD) とディープアンサンブルの 2 つの不確実性推定手法を, COMET に適用している. MCD と は，推論時にもドロップアウトを適用し，複数回推論を行い，スコア集合 $Q=\left.\{q_{1}, q_{2}, \ldots, q_{i}\right.\}$ を求める. ガウス分布を仮定し, スコア集合 $Q$ から, 平均と標準偏差を推定する.この平均を新たなスコアとし，標準偏差を信頼性スコアとする. ディープアンサン ブルは，複数のモデルを用意し，スコア集合を得る 方法である. MCD やディープアンサンブルでは，推論に時間を要するという課題がある. Zerva ら [8] は，平均と標準偏差を直接出力するように COMET を学習する手法を提案している。なお, これらの論文は，主に参照ありの設定で実験を行なっている。

3) https://github.com/Unbabel/COMET

## 3 提案手法: 学習ドメイン外検出

本研究の目標は, 評価指標としての性能を維持し たまま，ドメイン外検出を行うことである。本研究 では, 評価指標の学習データを正クラス, 学習デー タ以外のドメインのデータを負クラスと呼ぶ.

## 3.1 1 クラス分類

ドメイン外検出のため 1 クラス分類器を適用す る. 1 クラス分類タスクとは正クラスかどうかを分類するタスクであるが，多クラス分類タスクとは異 なり, 学習時には正クラスのみのデータを使用し,推論時に正クラスか負クラスかを分類する. 本実験 では, 正クラスのインスタンスの COMET-QE の特徴量ベクトルを1クラス分類タスクの学習データとす る.つまり, COMET-QE の学習データを $D_{\text {in-domain }}$ とすると, 1 クラス分類器の学習データ $D_{\text {OneClass }}$ は $D_{\text {OneClass }}=\left.\{\mathbf{x}_{i} \mid\left(s_{i}, h_{i}\right) \in D_{\text {in-domain }}\right.\}$ となる. ま た, この手法は評価指標の学習後に, 1クラス分類器 の学習が可能であり, ドメイン外検出器を搭載する ことは, 評価指標の性能には影響を与えない。なお，本稿では, 1 クラス分類のアルゴリズムとして, 高次元に対応した Empirical-Cumulative-distribution-based Outlier Detection (ECOD) [9] を使用する。

## 3.2 Triplet Margin Loss

本実験では，既存研究 [10]を参考に，1クラス分類の精度向上を目指し, COMET-QE の学習時に距離学習を組み込み，特徴量埋め込みの空間において 正クラスのデータ点を近づけ，正クラスと負クラ スの距離を大きくする. 本研究では, Triplet Margin Loss を使用する。なお，今回は負クラスのデータ点同士が近付くようには学習する必要がないため, ア ンカーには正クラスのサンプルだけを使用する。ま た，ミニバッチ内で作成できる全ての組み合わせを 考慮する。つまり，アンカーを $a$ ，正クラスのイン スタンスを $p$ ，負クラスのインスタンスを $n$ ，ミニ バッチ内での組み合わせの数を $c$ とすると, Triplet Margin Loss は以下のように計算される.

$
L_{\text {triplet }}=\frac{1}{c} \sum_{i}^{c} \max \left.\{d\left(a_{i}, p_{i}\right)-d\left(a_{i}, n_{i}\right)+\text { margin, } 0\right.\}
$

なお， $d$ はインスタンスの特徴量ベクトルの間の L2 距離である.

## 4 実験

第 3 節の手法の有効性を検証する．評価指標とし ての性能を落とすことなく, ドメイン外検出するこ とを目指す。

## 4.1 モデル設定

本実験では，以下の４つの設定を比較する.
- MCD: COMET-QE に対して, MCD を適用 [7].
- OneClass: COMET-QE を学習し，その後 1 ク ラス分類器を学習. 人手相関の観点では, COMET-QE に一致する.
- Margin(.05): COMET-QE の学習時に Triplet Margin Loss を margin 0.05 で学習し，その後 1 クラ ス分類器を学習.
- Margin(.1): COMET-QE の学習時に Triplet Margin Loss を margin 0.1 で学習し, その後 1 クラス分類器を学習.

本研究では, $\mathrm{MCD}$ の推論回数は 100 回に設定し, ドロップアウト率は 0.1 とした。また，本実験では，式 2 と Triplet Margin Loss を重み付けることなく線形に組み合わせた. ハイパーパラメータ等の詳細 な設定は付録 A に示す. なお，第 2 節で紹介した， ディープアンサンブルや Zerva ら [8] の手法も比較可能な手法であるが，今後の課題とする。

## 4.2 学習/評価データセットと評価方法

学習データ. WMT 2022 Metrics Shared Task (WMT22)の学習データとして配布されている newstest2020と newstest2021の MQM データを使用 する. ${ }^{4}$ この $\mathrm{MQM}$ データには，英語-ドイツ語，中国語-英語，英語-ロシア語の 3 つの言語対が含まれ ている。なお，言語対によってスコアを付与した組織が異なり，スコアのレンジが異なる.5)本実験で は，前処理として MQM スコアを正規化してから学習に使用した。また，Triplet Margin Loss で使用する 負クラスのデータは ParaCrawl [11] から，言語対ご とに正クラスと負クラスのサンプルサイズが同数に なるようにサンプリングした．MQM データの 1 割

4) WMT22 では, Direct Assessments (DA) data という WMT の News translation task での人手評価のスコアも評価指標の学習 データとして配布されている. 先行研究 [1] などでは, DA data で事前学習したのち，MQM data で微調整をするという 戦略をとっているが，本実験では DA data は使用しない.

5）英語-ドイツ語と中国語-英語はスコアのレンジは $[-25,0]$ である。一方で，英語-ロシア語はスコアのレンジは $[-\inf (-400), 100]$ である.表 1 英語-ドイツ語の人手相関。值はセグメントレベル のケンドールの順位相関係数.

} \\

表 2 英語-ロシア語の人手相関。值はセグメントレベル のケンドールの順位相関係数.

} \\

表 3 中国語-英語の人手相関. 值はセグメントレベルの ケンドールの順位相関係数.

} \\

を開発データに使用し，残りの9 割を COMET-QE の学習に使用した。

評価データ． WMT21の TedTalks のデータセッ ト [4] と WMT22 の評価用データセット [12]を使用する. どちらのデータも MQM でアノテーショ ンされたデータであり，英語-ドイツ語，中国語-英語，英語-ロシア語の 3 つの言語対を含む. なお， WMT22には news, conversational, e-commerce, social の 4 つのドメインが含まれている. 本実験では, WMT22 の news を正クラスのドメイン, TedTalks と conversational, e-commerce, social の4つを負クラス のドメインとする.

評価方法. 評価指標の性能評価は，MQM スコ アとの相関を報告する. ${ }^{6)}$ ドメイン外検出の評価に は AUROC を使用する。

## 4.3 実験結果

表 $1,2,3$ に各データセットの人手相関（ケンドー ルの順位相関係数7)）の結果を示す. “mixed”とは，

6）相関の計算には https://github.com/google-research/ mt-metrics-eval を使用した。相関の計算時には人手翻訳は 含めていない。

7） ケンドールの順位相関係数は，セグメントレベルの MQM データセットの評価の際に使用される指標である。
表 4 AUROC. 正クラスのデータはwmt22-news.

wmt22 の 4つのドメインを全て混合させた設定であ る.なお，表の conv.と ecはそれぞれ， conversational と e-commerce の略記である。表 4 には AUROC の結果を示す. 付録 B にシステムレベルの評価結果と ケンドールの順位相関係数以外の相関の結果を示 す.なお, OneClassの人手相関は COMET-QE と一致する.

人手相関に関して, news と news 以外のドメイ ンを比較すると, news 以外のドメインでは相関 が弱くなっていることがわかる. 例えば，表 1 の 英語-ドイツ語では, COMET-QE（OneClass）は人手相関が wmt22-news では 0.330 であるのに対して， wmt22-conversation では，0.134である. 今回の実験結果からは, news 以外のドメインのテストデータが ドメイン以外の問題で難易度が高くなっている可能性も捨てきれない. しかし，少なくとも，ドメイン によっては相関が低い場合があることがわかる.

表 4 より，MCD ではほとんどの言語対・データ セットで AUROC が 0.5 前後であり，ドメイン外検出ができていないことがわかる. いくつかの設定で は， 0.5 を下回っている (表の赤字). 特に， $\mathrm{MCD}$ は 中国語-英語の wmt22-conversation, wmt22-social に対 し, AUROC が 0.233，0.193 と低い值になっている. つまり，これらのデータセットでは， MCD では正 のクラス wmt22-news の方が標準偏差の値が大きく なっていることを意味する.

一方, OneClass は一貫して，MCD を超えるドメ イン外検出性能を達成しており, COMET-QE の特徵量ベクトルにドメインの情報が含まれていることが 示唆される. 特に，どの言語対でも conversation の ドメインに対しては AUROC の値が 0.8 を超えてい る. conversation は特に人手相関が弱いドメインで あり，1クラス分類を適用することで，評価指標の 評価性能が悪いドメインを検出できていることが示唆される。

また，Triplet Margin Loss を適用すると，一貫し て AUROC の値が向上していることがわかる. しか し，ドメイン外検出の精度は向上したが，ほとんど
のデータセットで人手相関が弱くなっている. 特 に, OneClass と比較すると, Margin が 0.1 の時に大 きく相関が下がっている。また，正クラスである wmt22-news においても，一貫して相関が弱くなっ ている。距離学習を組み込むことで，特徴量空間に おいて正クラスと負クラスのデータ点を分けること はできたものの，評価指標の評価性能自体に悪影響 を与えてしまっていることが示唆される. 別の距離学習アルゴリズムを使用したり, 距離学習時に使用 する負クラスのサンプルの選択方法を工夫したり，学習戦略やハイパーパラメータの微調整したりする ことによって改善する可能性があると考えている. それらの検証は今後の課題である.

## 5 おわりに

本研究はドメイン外検出の機能を NLG 評価指標 に適用することを目指したものである. 本実験で は，参照なし評価指標に焦点をあて，1クラス分類器を参照なし評価指標に組み込むことを検証した。 また，距離学習である Triplet Margin Loss を用いて，評価指標の特徵量空間において，学習ドメインとそ れ以外のドメインのデータ点の距離を離すことを試 みた. その結果, 先行研究である $\mathrm{MCD}$ と比較して, 1クラス分類器を用いた手法が評価指標としての性能に影響を与えることなく，ドメイン外検出ができ ていることがわかった. また, Triplet Margin Loss を 用いることで，ドメイン外検出の精度は向上した が，評価性能が低下してしまった. 特に，正クラス のドメインに対しても人手相関が弱くなってしまっ ている.

本稿では，参照なし評価指標を対象としたが，本稿の手法は参照あり評価指標にも適用可能であり,今後の課題である. ドメイン外検出に焦点を当てた が，学習ドメイン外でも高性能な評価指標の実現の ため，分布外一般化 [13] も，今後の研究の重要な方向性の一つである. NLG 分野において，高性能で頑健な自動評価指標の開発は重要な研究課題であり,今後更なる研究の推進を期待する.

## 謝辞

本研究は JSPS 科研費 JP21J14152, JST ムーン ショット型研究開発事業 JPMJMS2011 (fundamental research) の助成を受けて実施されたものである.

## 参考文献

[1] Ricardo Rei, Ana C Farinha, Chrysoula Zerva, Daan van Stigt, Craig Stewart, Pedro Ramos, Taisiya Glushkova, André F. T. Martins, and Alon Lavie. Are References Really Needed? Unbabel-IST 2021 Submission for the Metrics Shared Task. In Proceedings of the Sixth Conference on Machine Translation, pp. 1030-1040, Online, November 2021. Association for Computational Linguistics.

[2] Patrick Fernandes, António Farinhas, Ricardo Rei, José De Souza, Perez Ogayo, Graham Neubig, and Andre Martins. Quality-Aware Decoding for Neural Machine Translation. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1396-1412, Seattle, United States, July 2022. Association for Computational Linguistics.

[3] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. COMET: A Neural Framework for MT Evaluation. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing, pp. 26852702, Online, November 2020. Association for Computational Linguistics.

[4] Markus Freitag, Ricardo Rei, Nitika Mathur, Chi-kiu Lo, Craig Stewart, George Foster, Alon Lavie, and Ondřej Bojar. Results of the WMT21 Metrics Shared Task: Evaluating Metrics with Expert-based Human Evaluations on TED and News Domain. In Proceedings of the Sixth Conference on Machine Translation, pp. 733-774, Online, November 2021. Association for Computational Linguistics.

[5] Christoph Leiter, Piyawat Lertvittayakumjorn, Marina Fomicheva, Wei Zhao, Yang Gao, and Steffen Eger. Towards Explainable Evaluation Metrics for Natural Language Generation, 2022.

[6] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised Cross-lingual Representation Learning at Scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[7] Taisiya Glushkova, Chrysoula Zerva, Ricardo Rei, and André F. T. Martins. Uncertainty-Aware Machine Translation Evaluation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 39203938, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[8] Chrysoula Zerva, Taisiya Glushkova, Ricardo Rei, and André F. T. Martins. Disentangling Uncertainty in Ma- chine Translation Evaluation. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing. arXiv, 2022.

[9] Zheng Li, Yue Zhao, Xiyang Hu, Nicola Botta, Cezar Ionescu, and George Chen. ECOD: Unsupervised Outlier Detection Using Empirical Cumulative Distribution Functions. IEEE Transactions on Knowledge and Data Engineering, pp. 1-1, 2022.

[10] Wenxuan Zhou, Fangyu Liu, and Muhao Chen. Contrastive Out-of-Distribution Detection for Pretrained Transformers. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 1100-1111, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[11] Marta Bañón, Pinzhen Chen, Barry Haddow, Kenneth Heafield, Hieu Hoang, Miquel Esplà-Gomis, Mikel L. Forcada, Amir Kamran, Faheem Kirefu, Philipp Koehn, Sergio Ortiz Rojas, Leopoldo Pla Sempere, Gema RamírezSánchez, Elsa Sarrías, Marek Strelec, Brian Thompson, William Waites, Dion Wiggins, and Jaume Zaragoza. ParaCrawl: Web-Scale Acquisition of Parallel Corpora. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4555-4567, Online, July 2020. Association for Computational Linguistics.

[12] Tom Kocmi, Rachel Bawden, Ond $\AA^{\mathrm{TM}}{ }^{\mathrm{e}}$ ej Bojar, Anton Dvorkovich, Christian Federmann, Mark Fishel, Thamme Gowda, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Rebecca Knowles, Philipp Koehn, Christof Monz, Makoto Morishita, Masaaki Nagata, Toshiaki Nakazawa, Michal Nov $\tilde{A}_{i} k$, Martin Popel, MajaPopoviÄ $\ddagger$, Mariya Shmatova. Findings of the 2022 Conference on Machine Translation (WMT22). In Proceedings of the Seventh Conference on Machine Translation, pp. 1-45, Abu Dhabi, December 2022. Association for Computational Linguistics.

[13] Zheyan Shen, Jiashuo Liu, Yue He, Xingxuan Zhang, Renzhe Xu, Han Yu, and Peng Cui. Towards Out-OfDistribution Generalization: A Survey, 2021.

## A 実験設定

表 5 COMET-QE のハイパーパラメータ

表 5 に COMET-QE の学習時のパラメータを示す.本実験では，Triplet Margin Lossを使用した際も同様 の設定を用いた. 毎エポック後にモデルを保存し，開発データに対するケンドールの順位相関係数が最 も高かったチェックポイントのモデルを評価に使用 した。なお，ケンドールの順位相関係数に対して， Early Stopping を行った.

## B 実験結果

表 6 英語-ドイツ語のセグメントレベルのピアソンの相関係数.

} \\

表 7 英語-ロシア語のセグメントレベルのピアソンの相関係数.

} \\

表 8 中国語-英語のセグメントレベルのピアソンの相関係数.

} \\

表 $6,7,8$ に各言語対のセグメントレベルのピア ソンの相関係数の結果を，表 $9,10,11$ に各言語対表 9 英語-ドイツ語のセグメントレベルのスピアマンの 順位相関係数。

} \\

表 10 英語-ロシア語のセグメントレベルのスピアマンの 順位相関係数。

} \\

表 11 中国語-英語のセグメントレベルのスピアマンの順位相関係数.

} \\

表 12 システムレベルのピアソンの相関係数.

 &  &  &  &  &  \\

のセグメントレベルのスピアマンの順位相関係数 の結果を示す. また，表 12 にシステムレベルのピ アソンの相関係数を示す. システムレベルについて は，ピアソンの相関係数の值のみを報告するが，こ れは WMT22でも同様にシステムレベルではピアソ ン相関係数が報告されている。なお，システムレべ ルでは，WMT22の全体の結果と TedTalks の結果の みを示す.


# サプライザルを利用した日本語の流暢性フィルタリングの試み

田村鴻希土井惟成西田直人 Junjie Chen 谷中瞳
東京大学
tamura-k@tkl.iis.u-tokyo.ac.jp doi@cl.rcast.u-tokyo.ac.jp
nawta@g.ecc.u-tokyo.ac.jp \{christopher, hyanaka\}@is.s.u-tokyo.ac.jp

## 概要

機械翻訳の分野では、Web サイトから大量の対訳 を自動収集し、対訳コーパスを作成する技術につい て研究が進められている。しかし、自動収集した対訳コーパスには不適切な対訳が多く含まれることが あり、不適切な対訳は対訳コーパスを用いて学習し た機械翻訳モデルの品質に影響を与えうる。このよ うな問題を解決するため、近年では、対訳コーパス から不適切な対訳を取り除く手法に関する研究が進 められている。ここで、不適切な対訳の一つとして 流暢性の低い対訳が考えられる。本研究では、単語 や文のサプライザルが読みやすさを決める主要因で あるとするサプライザル理論に基づき，サプライザ ルが流暢性と相関するという仮説を立て、その検証 を行う。実験では、サプライザルが流暢性と相関す るという有意な証拠は得られなかった。

## 1 はじめに

現在の機械翻訳では、対訳コーパスを利用して教師ありの手法で学習する、ニューラル機械翻訳（以下、NMT）[1]が主流である。NMT モデルの学習に は大規模な対訳コーパスが必要であり、これを作成 するために Web サイトから大量の対訳を自動収集 して対訳コーパスを作成する研究が行われている $[2,3]$ 。しかし、自動収集した対訳コーパスには不適切な対訳が多く含まれてしまうという問題がある。 NMT モデルは、学習時の対訳コーパスの質と量に 大きな影響を受ける傾向があり、不適切な対訳を含 む文を学習に用いると翻訳精度が低くなることが 知られている [4]。このような問題を解決するため、近年では、対訳コーパスから不適切な対訳を取り除 く手法に関する研究が進められている [5]。

不適切な対訳の例として、流暢性の低い文を含む 対訳が挙げられる。一般社団法人日本翻訳連盟の
JTF 翻訳品質評価ガイドライン [6] では、翻訳に含ま れるエラーの度合いで評価指標の基準を定めた JTF 翻訳品質評価モデルを提供している。「流暢さ」11) は $\mathrm{JTF}$ 翻訳品質評価モデルのエラー・カテゴリーの一 つであり、「あるテキストが形式として整っている かの程度」と定義されている。流暢性が低い対訳を NMT モデルの学習に用いると翻訳の品質や精度に 影響を与える可能性があるため、対訳コーパスから 流暢性の低い文を取り除く手法が求められる。本研究では、流暢性の低い和文を取り除く手法と して、文の読み時間との相関が指摘されている、サ プライザル理論に基づくサプライザル $[7,8,9]$ の利用を検討する。サプライザルは、対象の単語に対し て、その文脈における負の対数確率により、文の処理に関する負荷をモデル化した指標である。このサ プライザルが流暢性と相関するという仮説を立て、流暢性が多岐にわたる和文を収集し、サプライザル の高低から流暢性の傾向を分析した。

実験は、機械的評価による実験と、人手評価によ る実験から構成される。前者では、英文と和文のサ プライザルの分布を分析する。また、これらのサプ ライザルが他の言語的なパラメータと相関関係を持 つか分析する。後者では、英文と和文のサプライザ ルの差に基づいて作成したデータセットの文の流暢性を複数の作業者が人手で評価し、サプライザルと 流暢性が相関関係を持つか分析する。

## 2 関連研究

サプライザルは、心理言語学での活用だけでな く、対話の容認性評価 [10]、小論文の自動採点 [11]英作文のレベル判定 [12]、Code-Switching の判定 [13] など自然言語処理の応用タスクの評価指標としても 用いられている。既存研究を踏まえて、本研究では サプライザルを対訳コーパスの流暢性フィルタリン

グの指標として適用できるか分析を行う。

流暢性を自動評価する試みは今までにも行われ ている $[14,15]$ が、サプライザルとの相関を分析す る既存研究は存在しない。本研究と近い研究として は、サプライザルとの相関が報告されている読み時間を自然言語生成の文評価に用いるもの [16] が存在 するが、人手での流暢性評価との相関を示すもので はない。

## 3 実験用データセット

## 3.1 日英対訳コーパス

本研究で利用する対訳コーパスとして、 JParaCrawl[3] の English-Japanese training set (v3.0) [17] （以下，JParaCrawl v3.0）を採用する。この理由とし て、JParaCrawl v3.0 は、和文と英文の掲載元 Web サ イトのドメインが併記されていることや、和文と英文のアライメントの精度が十分高いと考えられるこ とが挙げられる。

## 3.2 ドメインによる整理

本研究では、英語圏のドメインの Web サイトに記載されている英文は、ネイティブによって書かれて おり、流暢性は十分に高い、また、その英文に紐付 いている和文は、必ずしも流暢性が高いとは言えな い、という仮説のもと、英文が英語圈のドメインの Web サイトに掲載されている対訳を収集した。具体的には、英文が掲載されていた Web サイトのトップ ドメインが、主な英語圏の国別コードトップレベル ドメイン等である対訳を抽出した。対象とした国別 コードトップレベルドメインと、その内訳は付録の 表 7 に示す。なお、英文と和文が重複している対訳 は削除し、1つの対訳とした。この結果、128,602 対訳のデータセット（以下、本データセット）を作成 した。

## 3.3 サプライザルの計算

サプライザルとは，単語や文のサプライザル（ $-\log ($ 単語や文| 先行文脈)）が読みやすさを決め る主要な要因であるとするサプライザル理論におい て用いられている指標である $[7,8]$.

本データセットの和文と英文を対象に、各文 のサプライザルを算出した。サプライザルは、 Kuribayashi et al.[18] のコード2)により、トークンご

2) https://github.com/kuribayashi4/surprisal_reading_

図 1 和文と英文のサプライザルの分布

とのサプライザルを算出し、その総和を指標として 用いた。なお、和文のサプライザルの計算モデルに は Japanese LSTM LM、英文のサプライザルの計算 モデルには English Transformer-sm LM を用いた3)。

## 4 実験 1: 機械的評価による実験

実験 1 ではサプライザルが言語的なパラメータと どのような相関を持つか機械的に分析する。

## 4.1 サプライザルの分布

和文と英文のサプライザルの分布を図 1 に示す。 また、和文と英文のサプライザルに対して $\mathrm{t}$ 検定を 行ったところ、和文サプライザルの平均値の方が大 きい（p 值は 0.001 未満）ことがわかった。このこと から、和文と英文では、サプライザルの分布が異な るといえる。

## 4.2 サプライザルと言語的パラメータの 相関

本研究では、言語的パラメータとして、和文 と英文の一致度を対象に分析するため、日英機械翻訳モデルによる和文の英訳文と参考訳 (英文の原文）の BLEU スコア [19] と、日英の分散表現のコサイン類似度（以下、USE スコア）を用い た。日英機械翻訳モデルは、opus-mt-ja-en ${ }^{4)}$ を使用した。また、テキストの分散表現の算出には TensorFlow の Embedding メソッド5)を使用し、分散表現のモデルには TensorFlow の universal-sentenceencoder-multilingual ${ }^{6}$ を使用した。あわせて、サプラ イザルの算出時の日英のトークン数を比較の対象と

表 1 サプライザル、トークン、言語的パラメータ間の相関係数（ $\mathrm{p}$ 值はいずれも 0.001 未満）

した。

言語的パラメータとの相関分析の結果を、表 1 に 示す。なお、 $\mathrm{p}$ 値はいずれも 0.001 未満であった。 まず、和文と英文のサプライザルは、トークン数に 強く相関することがわかる。一方で、和文と英文 の一致度に関連すると考えられる、BLEU スコアと USE スコアはいずれも、和文と英文のサプライザル との相関は認められなかった。ただし、BLEUスコ アとUSE スコアは互いに一定程度の相関が認めら れることから、文の一致度の尺度としては十分に機能していると考えられる。このことから、機械的評価からは、和文と英文のサプライザルは文の一致度 とは相関しないことが考えられる。

## 5 実験 2: 人手評価による実験

実験 2 では、本データセットを対象に、サプライ ザルの傾向が異なる 3 種類のデータセットを作成 し、それぞれに含まれる和文の流暢性を人手で評価 し、その傾向の差異について分析する。

## 5.1 流暢性評価データセットの作成

まず、和文と英文のサプライザルの傾向の差異を 踏まえ、下記のとおりサプライザルの順位の差に基 づく 3 種類のデータセットをそれぞれ 100 文対ずつ 作成した。なお、順位はサプライザルが高いほど小 さい值をとる。

・(英文サプライザル順位-和文サプライザル順位) の値が低い 100 文対（en_high）

・(和文サプライザル順位-英文サプライザル順位) の値が低い 100 文対（ja_high）

・両サプライザルの順位差が小さい順に並べた 100 文対（sim）

ただし、en_high と ja_high については、翻訳のエ ラーによる外れ値の影響を軽減するため、サプライ ザル順位差の上位 $5 \%$ を除外した残りのデータから それぞれ上位 100 文対を選んだ。これらの各 100 文対を対象に、(1) 対訳エラーの判定と (2) 流暢性評価を行った。具体的には、それぞれの文対に対して表 2 流暢性の評価基準

3 人の作業者を割り当て、(1)-(2)を文対ごとに手作業で実施した. 作業者は、いずれも日本語を母語と する情報系の大学院生であり、作業時間は合計 10.8 時間（一人当たり平均 3.6 時間）だった。以下では、 それぞれの作業手順の詳細を述べる。

(1) 対訳エラーの判定 各作業者は、各データセッ トの文対に対して、実際に対訳として成立している か否かを判定する。流暢性によらず翻訳エラーを含 む文対は、対訳データセットの流暢性を評価する際 にノイズとなるため、それぞれのエラータイプを分類したうえで流暢性評価の対象から外す。

以下に、本研究で用いたエラータイプの分類と、各エラーの内容を記述する。

・アライメントエラー：全く別の文が割り当てら れている場合

・テキスト抽出エラー：途中で文が切れていた り、複数の文が混ざっている場合

・翻訳エラー：誤訳の程度が非常に大きい場合
- 英文過多: 英文の各要素に対応する和文の要素 が著しく欠けている場合
- 和文過多 : 和文の各要素に対応する英文の要素 が著しく欠けている場合

なお、翻訳エラーの基準には、特許庁の機械翻訳 に関する調査報告書「特許文献機械翻訳の品質評価手法に関する調査」(平成 25 年度 $)^{7)}$ の「内容の伝達 レベルの評価」を使用し、 5 段階評価のうち 2 以下 （2はいくつかの重要情報が正確に伝達されている、 1 は文意がわからない、もしくは正確に伝達されて いる重要情報はほとんどない) であると作業者が判断したものを翻訳エラーとしている。

7) https://www.jpo.go.jp/system/laws/sesaku/ kikaihonyaku/document/kikai_honyaku/h25_01.pdf
表 3 流暢性評価データセットの各作業者がエラー判定した文対の数の平均

表 4 作業者間の流暢性評価の一致度（Cohen’s Kappa）

表 5 作業者間の流暢性評価に対する Kruskal-Wallis 検定

(2) 流暢性の判定 (1)の手順で除外しなかった文対を対象に、それぞれの和文の流暢性を判定する。流暢性評価の基準は、表 2 に示すとおり、長我部ら による「流暢性の評価基準」[20]を利用した。なお、表 2 の各評価に対応する、全作業者の評価が一致し た例文を、付録の表 8 に記載する。

## 5.2 流暢性人手評価の統計情報

流暢性評価データセットで各作業者がエラー判定 した文対の数の平均と、その内訳を表 3 に示す。表 3 から、英文のサプライザルが高い文対では英文か らの翻訳抜けが多く、また和文のサプライザルが高 い文対では和訳に余分な情報が入りやすい傾向がみ られる。これは、表 1 から読み取れるサプライザル とトークン数との相関を裏付ける結果である。流暢性評価データセットでの、作業者間の流暢性評価の Cohen's Kappa[21] による一致度を表 4 に示 す。なお、エラー判定の場合も含めて一致度を計算 するため、対訳エラーと判定された文対は評価ラべ ルを 0 として一致度を計算した。また、流暢性評価 の差の大きさを考慮するため、各文対の評価の差を それぞれ二乗して重みづけした [22]。

表 4 に示した一致度をみると、作業者 2 の一致度 が低く、作業結果が一貫していないと考えられる。 したがって、本研究での流暢性評価では作業者 1 お よび作業者 3 の結果のみを用いる。

## 5.3 サプライザルと流暢性人手評価の相関

作業者 1 と作業者 3 の、各データセットでそれぞ れエラーと判定しなかった文対への流暢性評価に対 する Kruskal-Wallis 検定 [23] の結果、および文対へ の平均評価值をそれぞれ表 5 と表 6 に示す。表 5 か表 6 各作業者がそれぞれエラー判定しなかった文対での 平均評価値

らは、有意水準 5\%の下で、作業者 1 の結果では有意に各データセットの評価値の分布に差があるとい える。しかし、作業者 3 の結果では帰無仮説を棄却 できず、作業者によってサプライザルと流暢性の主観評価の関係にはばらつきがあることが考えられ る。ただし、現在の $\mathrm{p}$ 値がデータ数の少なさに依存 する可能性を注記する。また、平均評価値からは、評価値の分布に差があるとすればどちらの作業者の 場合も和文のサプライザルが高いデータセットでの 評価値の低さに原因を求められる。

本実験の結果からはサプライザルと流暢性の相関関係は定かにはならなかった。サプライザルと流暢性評価の相関関係の個人間のばらつきは、流暢性の 判断基準として（サプライザルと相関する）読解時間に重点を置いているかにばらつきがあることを示 しており、流暢性評価の基準は個人差が大きいこと を示唆している。この結果、および一致度の低い作業者の存在は、より個人差の少ない流暢性評価の基準、もしくは評価手法の必要性を示唆している。ま た、現在の手法において精度の高い結果を得るため には多人数、およびより多い文対での実験が必要と いえる。

## 6 おわりに

本研究では、サプライザルが流暢性と相関すると いう仮説を立て、機械的評価と人手評価の 2 種類の 実験で検証を行った。実験の結果、サプライザルが 流暢性の低い和文を取り除くためのパラメータとし て有意であることは確認できなかった。今後の課題 としては、人手評価の作業者を増やし、評価する文対の数を増やすこと、また、流暢性やエラー判定の 作業者間での判定基準をより詳細に定めることに よって作業者間での評価基準のぶれやその影響を 減らし、より信頼性の高い統計とすることが挙げら れる。

## 謝辞

本研究は JSPS 科研費 JP20K19868 の助成を受けた ものです.

## 参考文献

[1] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequence learning with neural networks. In Proceedings of the 27th International Conference on Neural Information Processing Systems - Volume 2, NIPS'14, pp. 3104-3112, Cambridge, MA, USA, 2014. MIT Press.

[2] Miquel Esplà, Mikel Forcada, Gema Ramírez-Sánchez, and Hieu Hoang. ParaCrawl: Web-scale parallel corpora for the languages of the EU. In Proceedings of Machine Translation Summit XVII: Translator, Project and User Tracks, pp. 118-119, Dublin, Ireland, August 2019. European Association for Machine Translation.

[3] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 36033609, Marseille, France, May 2020. European Language Resources Association.

[4] Huda Khayrallah and Philipp Koehn. On the impact of various types of noise on neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 74-83, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[5] Philipp Koehn, Vishrav Chaudhary, Ahmed El-Kishky, Naman Goyal, Peng-Jen Chen, and Francisco Guzmán. Findings of the WMT 2020 shared task on parallel corpus filtering and alignment. In Proceedings of the Fifth Conference on Machine Translation, November 2020.

[6] 一般社団法人日本翻訳連盟. JTF 翻訳品質評価ガイ ドライン. 2018.

[7] John Hale. A probabilistic Earley parser as a psycholinguistic model. In Second Meeting of the North American Chapter of the Association for Computational Linguistics, 2001.

[8] Roger Levy. Expectation-based syntactic comprehension. Cognition, Vol. 106, No. 3, p. 1126-1177, 2008.

[9] Irene Fernandez Monsalve, Stefan L. Frank, and Gabriella Vigliocco. Lexical surprisal as a general predictor of reading time. In Proceedings of the 13th Conference of the European Chapter of the Association for Computational Linguistics, pp. 398-408, Avignon, France, April 2012. Association for Computational Linguistics.

[10] Investigating perception of spoken dialogue acceptability through surprisal. In Hanseok Ko and John H. L. Hansen, editors, Proceedings of Interspeech 2022, pp. 45064510. ISCA, September 2022.

[11] Gaurav Kharkwal and Smaranda Muresan. Surprisal as a predictor of essay quality. In Proceedings of the Ninth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 54-60, Baltimore, Maryland, June 2014. Association for Computational Linguis- tics.

[12] 正頼林, 遼平笹野, 大也高村, 学奥村. 誤り傾向と文の 容認性に着目した英作文のレベル判定. 第 226 回情報処理学会自然言語処理研究会, No. 7, pp. 1-7, 2016.

[13] Jesús Calvillo, Le Fang, Jeremy Cole, and David Reitter. Surprisal Predicts Code-Switching in Chinese-English Bilingual Text. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4029-4039, Online, January 2020. Association for Computational Linguistics.

[14] Takehiko Yoshimi, Katsunori Kotani, Takeshi Kutsumi, Ichiko Sata, and Hitoshi Isahara. Automatic evaluation of the fluency of english-to-japanese machine translation using word alignment. 2010.

[15] Katharina Kann, Sascha Rothe, and Katja Filippova. Sentence-Level Fluency Evaluation: References Help, But Can Be Spared! In Proceedings of the 22nd Conference on Computational Natural Language Learning, pp. 313-323, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[16] Sina Zarrieß, Sebastian Loth, and David Schlangen. Reading Times Predict the Quality of Generated Text Above and Beyond Human Ratings. In Proceedings of the 15th European Workshop on Natural Language Generation (ENLG), pp. 38-47, Brighton, UK, September 2015. Association for Computational Linguistics.

[17] Makoto Morishita, Katsuki Chousa, Jun Suzuki, and Masaaki Nagata. JParaCrawl v3.0: A large-scale EnglishJapanese parallel corpus. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 6704-6710, Marseille, France, June 2022. European Language Resources Association.

[18] Tatsuki Kuribayashi, Yohei Oseki, Takumi Ito, Ryo Yoshida, Masayuki Asahara, and Kentaro Inui. Lower perplexity is not always human-like. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 5203-5217, Online, August 2021. Association for Computational Linguistics.

[19] Kishore Papineni, Salim Roukos, Todd Ward, and Wei jing Zhu. Bleu: a method for automatic evaluation of machine translation. pp. 311-318, 2002

[20] 長我部恭行, 甲斐優人, 石井奏人, 荻野天翔, 黒澤道希, 小町守. 機械翻訳に対する文間文脈を考慮した評価と分析. pp. 1703-1706, 32019.

[21] Jacob Cohen. A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement, Vol. 20, No. 1, pp. 37-46, April 1960. Publisher: SAGE Publications Inc.

[22] Jacob Cohen. Weighted kappa: Nominal scale agreement with provision for scaled disagreement or partial credit. Psychological Bulletin, Vol. 70, No. 4, pp. 213-220, October 1968

[23] William H. Kruskal and W. Allen Wallis. Use of ranks in one-criterion variance analysis. Journal of the American Statistical Association, Vol. 47, No. 260, pp. 583-621, 1952 .

## A JParaCrawl の前処理

JParaCrawl v3.0 は非常に大規模なコーパスであるため、前処理として、下記の条件を元に対訳のフィルタ リングを行った。フィルタリングの結果、約 2574 万文対から，約 985 万文対（約 $38.3 \% ）$ が得られた。

・英文がピリオドで終わっている.

・和文が句点で終わっている。

・和文に全角又は半角スペースを含まない.

・対訳のスコアが 0.7 以上.

## B ドメインの内訳

イタリア、フランスは英語を公用語としていないが、話者数の多さを考慮して含めている。

## C流暢性の評価点数ごとの例文

表 8 流暢性の評価点数ごとの例文 (JParaCrawl v3.0より引用)

評価 例文

5 京丹後市は条例で国際交流の推進をうたっており、国際的な視野を持つ人材の育成を目指している。

4 調査では、大手プラットフォームひとつで 157 万 6,600 人の労働者が供給過剰であることがわかっている。

3 プレートは、全体の保護面全体に影響の分布を保証するドロップワイヤーシステムに参加しています。 プロフェッショナルラーニングコミュニティ内では、各学年レベルとコンテンツ領域が共同学習チーム (CLT)

2

として協力し、研究、スキル、専門的な開発、ツール、リソース、およびさまざまなサポートスタッフ

(強力な教育コーチチームやさまざまな特別教育の専門家とサービスプロバイダーの-私たちの目標を果たすために: すべての子供が意味のある、本物の方法ですべての必要なスキルを習得することを保証すること。

1 米国の研究では、女性の最大 $50 \%$ が生涯に尿路感染症を起万人になると示されています。