# JParaCrawl における分割学習の提案

村上仁一 1
1 鳥取大学工学部 murakami@tottori-u.ac.jp

## 概要

JParaCrawl は，約 3000 万文を超える日英対訳デー タである [1]. 規模が非常に大きいため，一般の GPU を利用しても，VRAM の容量が足りないため， NMT の学習が困難である。 そこで，本研究では， データを分割して学習することで，一般の GPUを利用しても，学習可能な方法を考案した. 実験の結果, この学習方法が有効に動作することが示された.

## 1 はじめに

JParaCrawl は，約 3000 万文を超える日英対訳デー タである。そのため，一般の GPUを利用しても， VRAM の容量が足りないため, NMT の学習が困難である。そこで，学習済みの MNT のモデルが提供されている。そして，テスト文のドメインアダプテーションをすることで，ある程度高い精度の翻訳が可能である. しかし，この場合，NMT のモデルの構造が，固定されてしまい，多様性に欠ける．基本的には，JParaCrawl を直接学習できることが，好ましい.

本論文では，一般の GPU を使って，JParaCrawlを直接学習できる方法を提案する. この方法は，以下の仮説に基づいている。

1. テスト文に類似した，ある程度の対訳データが存在する。

2. 大量の対訳データを分割して，テスト文に対するアダプテーションをおこなう.

以上を考慮して，JParaCrawl を一般の GPUを使って直接学習する方法を提案する。

## 2 NMT の学習における仮説

1. 要素合成法の問題

文の翻訳において，単語単位に正確に翻訳しても，文全体からみると不可解な翻訳にある.以下が良い例である.例彼女は我を通した She passed me この問題を避けるには，文全体を考慮して翻訳する必要がある．逆に言えば，大量の対訳文があっても，単語単位に翻訳される。そのため翻訳精度が低下する原因になる. ${ }^{1)}$

2. 単文翻訳

文の基本要素は単文である．複文は単文に分割することが可能である.

3. NMT の追加学習

NMT の学習は, 一度学習を止めて, パラメー タを保存し，再び学習をすることが可能である. この再学習するとき，元の学習データと同一である必要は，ない.

4. LSTM

LSTM は，勾配を緩和することで，勾配消失問題を緩和している。これは，一種の Low Pass Filter と見なせる。また，パラメータのスムー ジングとも見なせる. そのため, 不必要なパラメータでも小さな値を維持していることが多い.なお，提案方法では，学習速度を低下させるパラメータを利用する（4f 節）。

以上の事柄を考慮して，大量の学習データがあるときの学習方法を以下に述べる。提案方法は，分割学習と呼べる方法である.

## 3 提案方法

翻訳する文（テスト文）は単文とする。そして，以下の対訳データを準備する。

・JParaCrawl のコーパスを分割する。これを $J P A R A_{1}, J P A R A_{2}, J^{\prime} A R A_{3}, \ldots$ とする.

・対訳単文のコーパスを Simple とする

分割学習を，以下にしめす。基本的には， JParaCrawl のコーパスを分割して，個々で学習を行う.

1. Simpleを学習

2. Simpleを学習

4. Simple を学習

5. Jpara 2 を学習

6. Simpleを学習
7. Jpara $_{3}$ を学習

8 .

9.

提案方法は，上記の分割学習を，さらに尤度が収束するまで繰り返す.

## 4 実験

実験に利用したデータを以下に示す.

1. JParaCrawl V3.0[1]

ただし，以下の条件を加えた.

・日本文において文末が”。

・”英文において文末が”.,

-日英同一の対訳文は，1 文にまとめる. (sort および uniqを取る。)

使用した対訳文は約 1600 万文になった.

2. 対訳単文

電子辞書などから抽出した，単文. 動詞が 1 つの文．約 16 万文 [2].

3. テスト文

単文 10000 文

4. 学習条件

(a) 分割数

JParaCrawl を 16 分割

(b) 分割学習の回数

分割学習を 10 回

(c) 利用した NMT

Open-NMT

（d）個々の学習の繰り返し回数 5000step（例 Jpara を学習する回数)

(e) vocabulary size

GPU の memory の制限 (12G) に由来して，10万単語とした。

(f) 学習パラメータ

提案方法は，大量の対訳コーパスを分割して学習する. そのため，各分割したコー パスにおいて未知語が存在する. したがって，通常の学習より収束を遅くする必要がある。そこで，以下のパラメータにする。
- learning-rate: 0.9
- pos-ffn-activation-fn: gelu その他のパラメータは default とする。

5. 形態素

・日本語は mecabで形態素解析をおこなった。

$\cdot$英語は，文末の”."および文中の”,"は，前後に空白を加え 1 単語とした.

6. ベースライン

比較実験のため，JParaCrawl を利用しなくて，対訳単文 16 万文だけを学習した実験をべースラインとする。

## 5 実験結果

## 5.1 自動評価

自動評価による実験結果を表 1 に示す. 評価文は 10000 文である.

表 1 自動評価

以上の結果より，自動評価において，提案手法の有効性が見られた。

## 5.2 人手評価

提案手法とベースラインの対比較評価を行った.対象は約 100 文である．評価者は4名である．結果の平均を表 2 に示す.

表 2 対比較評価（人手）

提案手法 > ベースライン $45.2 \%$

提案手法くベースライン $7.4 \%$

提案手法 $=$ ベースライン $47.3 \%$

以上の結果より，人手評価においても，提案手法の有効性が見られた。

## 5.3 出力例

翻訳例を表 3 に示す. 表中のベースはベースラインを意味する。
表 3 翻訳例

入力 $\mid$ 信号が青より赤に変わった。

提案 The signal turned green to red.

ベース The light turned red to red than green.

提案 I was <unk> in a train accident .

ベース I was robbed in the train accident.

参照 I was stranded as a result of the train accident.

入力彼女は我を通した。

提案 She <unk> herself .

ベース She has come.

提案 The cure for AIDS is not yet known.

ベース The fundamental method of AIDS is not yet known.

新人賞を獲得した。

提案 The new actress won a new award with the <unk> performance.

ベース The new actress won <unk> performance in <unk> performance .

参照 That starlet put everything she had into her part and won the prize for new talent

入力 12 号線環状部は一九九二年に着工る。来年十二脂開業を予定してい

提案 The 12 lines are scheduled to start in 1992 , and in December, we plan to open our business

ベース The <unk> line is scheduled to begin operation in 1970 , in 1954 .

参照 Construction on the subway line began in 1992 , and the line is scheduled to be put into operation in December next year .

## 6 考察

## 6.1 自動評価と人手評価

人手評価では，自動評価と大きな差が出た.これは，自動評価では，文の一部を評価しているのに対し，人手評価では，文全体を評価することで，差が出ていると考えている. 今後，文全体を評価する自動評価方法を考えていく必要がある.この方法の 1つは，参照文との一致率 [3] を見る方法と考えている.

## 6.2 GPU の VRAM と NHT の vocabulary size と未知語

NMT の vocabulary size と GPU の VRAM 量は，ほぼ比例の関係にある。実験に使用した GPU は 12G である.そのため今回の実験では, vocabulary size を 100000 にせざるを得なかった. そのため, 出力文において<UNK>が，多く出力される.

この問題点を避けるために，形態素を SentencePiece[4] に変更する方法がある. SentencePiece では，固有名詞を文字に分割するため，未知語は出力されない. しかし，分割することの問題もでる。簡易実験を行ったところ，“知床”を “knownledge floor” と翻訳された. そして全体の翻訳精度が低下した. sentence pieseを利用するときには学習パラメータの再調査が必要である.

## 6.3 学習パラメータ

今回の実験では，学習速度を低下させるために，以下のパラメータを用いた。
- learning-rate: 0.9
- pos-ffn-activation-fn: gelu

他にも，多くのパラメータがある. これらを追求して行きたい.

## 6.4 google 翻訳との比較

現在 web 上の google 翻訳が利用可能である. 提案手法と google 翻訳を比較した. テスト文は約 100 文である．評価者は 4 名の対比較試験である．結果を表 4 に示す.

結果として，提案手法は， google 翻訳には，まだ追いついていない. この最大の原因は, 未知語の存在である。例を以下に上げる.

表 5 google 翻訳との比較

入力 $\quad$ 信長勢は再び京へ上った。

提案 The <unk> went to Kyoto again .

google Nobunaga's army went up to Kyoto again .

参照 Nobunaga's army went up to Kyoto again .
語彙数 100000 では，入力文において未知語が存在する。この例では， “信長勢” が未知語になる。 そのため, 出力文に未知語が出力される. そのため, google 翻訳が良いと判断される。このような例が非常に多い.

## 6.5 大量の対訳データを学習する方法

大量の対訳データを学習する方法は，本論文で述べた分割学習を用いる方法以外にも，以下の方法がある.

1. fine tuning

この方法は，一般的な方法である。大量の VRAM を持つ GPU で， 1 度 JParaCrawl の対訳データを学習して，base モデルとする。このモデルに対して，翻訳対象の分野の対訳データに fine turning する．ただし，この方法は，NMTのモデルが，base モデルに依存する．そのため拡張性に欠ける欠点がある。

2. 類似文

翻訳対象の文に類似した文を JParaCrawl から抽出し, この対訳文を学習データに加える. この方法は，テスト文が異なると，再度 NMT を学習する必要がある.

これらの方法は，一長一短ある。データベースの種類や量やテストデータの依存する. 今後，最適な方法を調査したい，なお予備実験では，類似文の追加が最も良い翻訳性能を得ている.

## 7 おわりに

JParaCrawl は，約 3000 万文を超える日英対訳デー タである. 規模が非常に大きいため, NMT の学習が困難である．そこで，本研究では，JParaCrawl を分割して，個々に学習する方法を提案した。個々に学習した場合, GPU のメモリが少なくでも計算可能である. 実験の結果，この方法が有効に動作することが示された. そして，特に人手の評価に大きな有効性が得られた。

ただし提案方法には，未知語において大きな問題点がある. また，多くの拡張方法がある。これらを追求していきたい.

## 謝辞

人手評価に参加した以下の方々に感謝します.

矢野貴大, 本田涼太, 三木謙志, 名村太一, 丸山京祐

## 参考文献

[1] 森下他. Jparacrawl v3.0: 大規模日英対訳コーパス. 言語処理学会第 28 回年次大会, 2022.

[2] 村上仁一, 藤波進. 日本語と英語の対訳文対の収集と著作権の考察. 第一回コーパス日本語学ワークショップ, pp. 119-130, 2012.

［3] 村上仁一. 機械翻訳における文一致率による評価. 人工知能学会全国大会論文集第 27 回, 2013.

[4] John Richardson Taku Kudo. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. EMNLP2018, 2018.


# Improving Example-based Machine Translation by Analogy Using Parse Trees

Yifei Zhou Yves Lepage
早稲田大学大学院情報生産システム研究科
yifei.zhou@ruri.waseda.jp, yves.lepage@waseda.jp
}

\begin{abstract}
We investigate an approach to example-based machine translation (EBMT) implemented by analogy in a lowresource scenario. This analogical approach requires analogies between sentences in the source language contained in the knowledge database. We use sentence analogies extracted by parse trees to improve the overall quality of translation. We demonstrate that our method is more effective by comparing the translation quality to other baseline systems. Our method surpasses the results of a recurrent neural network (RNN) model and a phrasebased statistical machine translation (PB-SMT) system and even achieves comparable results to those of a Transformer model, without the need for a large-scale training model.
\end{abstract
## 1 Introduction

Distinguished from other techniques, EBMT is a method of machine translation in that translations take place by example. It employs a case-based reasoning strategy, where translations are generated by giving a set of sentences in the source language and other example sentences contained in the knowledge database.

Analogy is a way to implement reasoning. An analogical equation $A: B:: C: D$ expresses a relationship between four objects that pronounces as the following: $A$ is to $B$ as $C$ is to $D$. Analogy has the ability to reason so that we can interpret words or sentences that we are not familiar with.

An EBMT system by analogy has been proposed in [1, 2], which is called Beth. This system requires analogies between sentences to perform case-based reasoning. The existing technique ( $\lg ^{1)}$ [3]) extracts sentence analogies only on the formal level. In this work, we propose to extract

analogies at the syntactic level by using parse trees and use them in an EBMT system by analogy. Such analogies are shown to bring improvement.

## 2 Related Work

## 2.1 Types of Analogy

Analogy is usually categorized as formal analogy and semantic analogy. For formal analogy, we do not consider the meaning of the terms or the syntax of the sentences. We only care about the surface form of the strings, such as characters or words. Take (1) as an example.

$
\text { I talk to him. : } \begin{aligned}
& \text { I talked } \\
& \text { to him. }
\end{aligned}:: \text { I go to school. : x }
$

On the level of form, the solution of (1) is: $x=I$ goed to school. On that level, the only changes allowed are between characters. Whether the sentence is grammatically correct or makes sense is not taken into account.

In contrast to formal analogies, semantic analogies take into account the meaning encapsulated in the words or sentences. Thus, on the semantic level, the solution to (1) is $x=I$ went to school. Here, the meaning attached to the strings is taken into account.

## 2.2 EBMT by Analogy

Formula (2) defines bilingual analogies between sentences in two languages, which are used by the EBMT system by analogy in [1]. $A: B:: C: D$ denotes a monolingual analogy in the source language and $A^{\prime}: B^{\prime}:: C^{\prime}: D^{\prime}$ is its corresponding translation in the target language.

$
\begin{array}{ccccccc}
A & : & B & :: & C & : & D \\
\uparrow & & \uparrow & & \uparrow & & \downarrow \\
A^{\prime} & : & B^{\prime} & :: & C^{\prime} & : & D^{\prime}
\end{array}
$

Suppose that we want to get the translation $D^{\prime}$ of $D$. During the reasoning process, the Beth system retrieves three (problem, solution) cases $\left(A, A^{\prime}\right),\left(B, B^{\prime}\right),\left(C, C^{\prime}\right)$ in which " $A$ is to $B$ as $C$ is to problem $D$ ". The solution of the analogical equation " $A$ ' is to $B^{\prime}$ as $C^{\prime}$ is to $x$ ", $x=D^{\prime}$, is the translation of $D$. It is clear from the above that the quality of analogies between sentences extracted from the corpus is critical for EBMT by analogy.

## 3 Analogy on the Level of Syntax

In this work, we propose to extract analogy at the syntactic level. Figure 1 shows an example of an analogy between sentences that happens on the level of syntax. There is no obvious interpretation to enforce analogy on both the level of form and meaning attached to these sentences. However, we can observe that there is an analogy on the level of syntax by considering their syntactic representations. These sentences form an analogy at the syntactic level when looking at their parse trees ${ }^{2}$ : from personal pronoun (PRP) to proper noun (NNP).

## 3.1 Tree Representation

To make the syntax of a sentence distinct, we first use dependency representation to discern essential information. All of the sentences contained in the corpus are converted into their dependency parse trees using the Universal Dependency parsers provided by spaCy ${ }^{3}$ library. A sentence $S$ is then represented by a feature vector $\overrightarrow{T_{S}}$ by counting the number of occurrences for all the branches found in its parse tree $T_{S}$. See Formula (3).

$
\overrightarrow{T_{A}}=\left(\begin{array}{c}
\left|T_{A}\right|_{V B D \rightarrow P R P} \\
\left|T_{A}\right|_{V B D \rightarrow N N P} \\
\vdots \\
\left|T_{A}\right|_{V B D \rightarrow .}
\end{array}\right)
$

## 3.2 Ratios between Trees

In Formula (4), the ratio between two sentences $A$ and $B$ is defined as the difference between their vectors of syntactic features derived from their parse trees $T_{A}$ and $T_{B}$. To extract analogies at the syntactic level, we check the conformity of an analogy $\quad A: B:: C: D$. Formula (5)

defines it. By doing this, we are able to extract sentence analogies from the corpus.

$A: B \triangleq \overrightarrow{T_{A}}-\overrightarrow{T_{B}}=\left(\begin{array}{c}\left|T_{A}\right|_{V B D \rightarrow P R P}-\left|T_{B}\right|_{V B D \rightarrow P R P} \\ \left|T_{A}\right|_{V B D \rightarrow N N P}-\left|T_{B}\right|_{V B D \rightarrow N N P} \\ \vdots \\ \left|T_{A}\right|_{V B D \rightarrow .}-\left|T_{B}\right|_{V B D \rightarrow .}\end{array}\right)$

$
A: B:: C: D \quad \stackrel{\Delta}{\Longleftrightarrow} \overrightarrow{T_{A}}-\overrightarrow{T_{B}}=\overrightarrow{T_{C}}-\overrightarrow{T_{D}}
$

## 3.3 Analogical Cluster

In [4], an analogical cluster is defined as a set of pairs of sentences with exactly the same ratio, as shown in Formula (6). With analogical cluster, we can measure how regular the transformations between sentences are. In particular, we use the nlg package to extract analogical clusters between sentences, at the level of syntax.

$
\begin{aligned}
A_{1} & : B_{1} \\
A_{2} & : B_{2} \\
& \vdots \\
A_{n} & : B_{n}
\end{aligned} \stackrel{\Delta}{\Longleftrightarrow} \forall(i, j) \in\{1, \ldots, n\}^{2}, A_{i}: B_{i}:: A_{j}: B_{j}
$

## 4 Experiments

## 4.1 Datasets

We use the English-French language pair from the Tatoeba ${ }^{4)}$ corpus and we perform translations from French to English. To simulate the low-resource setting, we use only 114,151 sentence pairs and randomly divide the entire data into three sets: training set ( $90 \%$ ), validation set ( $9 \%$ ), and test set (1\%). Some statistics are shown in Table 1. The sentences contained in the corpus are very short, with an average of 7 words per sentence.

## 4.2 Metrics

We evaluate the translation quality automatically by comparing the output of the translation with the reference sentence in the test set. We apply four different metrics as follows.

4) https://tatoeba.org/

Figure 1 Analogy between sentences on the level of syntax using dependency representation

Table 1 Statistics on the data set used

BLEU (BiLingual Evaluation Understudy) [5] evaluates the similarity between the translated sentence and the reference sentence. It has a scale of 0 to 100 . The similarity between the two sentences increases with increasing BLEU scores. We use the implementation of SacreBLEU ${ }^{5)}$ in [6].

CHRF (Character $n$-gram F-score) [7] uses character $n$ gram F-score to automatically assess the result of machine translation. CHRF score is between 0 and 100. The quality of the translation will be better if it is higher.

TER (Translation Error Rate) counts the number of edit operations required to convert the translated sentence into the reference one. We report TER scores between 0 and 100. The lower the number, the better.

The Levenshtein Edit Distance ${ }^{6)}$ [8] counts the minimal number of three different edit operations (insertions, deletions and substitutions) between a translation result and a reference. Similarly, the lower, the better.

## 4.3 Baselines

We assess the performance of the EBMT system by analogy by comparing the translation results to those of other systems. Here, we give a brief overview of the NMT and PB-SMT systems used for experimentation.

We utilize the OpenNMT ${ }^{7)}$ toolkit [9] to build our NMT systems. We experiment with RNN [10] models and Transformer [11] models. Bidirectional RNN is used as an encoder to design the RNN system and both the encoder and the decoder are 6 layers in size. Also, we use a 4layer Transformer and follow the set-up recommendations in [11] to construct the Transformer system. The early stopping criteria are used for both RNN and Transformer

5) https://github.com/mjpost/sacrebleu

6) https://github.com/roy-ht/editdistance

7) https://opennmt.net/ models. These above-mentioned NMT systems are trained from scratch on the same training set that simulates a lowresource scenario.

Our PB-SMT system is constructed using the Moses ${ }^{8)}$ toolkit [12]. We train a 3-gram language model with KenLM ${ }^{9)}$ [13] and smooth it with modified Kneser-Ney smoothing [14]. GIZA++ ${ }^{10)}$ included in Moses is applied as an alignment tool to generate bilingual phrase tables. Similar to NMT systems, the PB-SMT system is built using sentences from our training set and does not rely on any external data.

## 4.4 Using Analogies at the Level of Syntax in Example-Based Machine Translation by Analogy

We examine whether analogical clusters extracted by syntactic information indeed increase the quality of machine translation by conducting experiments with the EBMT system by analogy proposed in [1]. The core idea of EBMT is that translation is carried out by comparing a given target sentence with the existing cases in the knowledge database. Analogies are used to perform the reasoning process in Beth (See Section 2.2). It is also possible to compile analogical clusters into the Beth system in advance. With the help of this retrieval knowledge, we can accelerate the selection of the most similar cases.

Particularly, we first conduct experiments with the original Beth without using any analogical clusters. Then, we extract analogical clusters on two levels: (1) considering characters (char) only, (2) combining characters and parse trees (char $\cap$ tree) together. We can eliminate some ana-

Table 2 Translation results of different systems on the test set $(\mathrm{fr} \rightarrow \mathrm{en})$

logical clusters that are only character transformations by extracting them from the intersection of on the levels of characters and parse trees. We expect that involving linguistic information, such as parse trees, will improve case reliability. Notice that, we only keep the first 3,000 analogical clusters with the largest number of ratios due to the distribution of the number of analogical clusters with the same size.

## 4.5 Translation Quality

Table 2 displays the results that we obtained with all the different systems mentioned above. The translation quality of the original Beth is already reasonable, with a BLEU score of 44.61. This BLEU score far outperforms RNN's 33.96 and PB-SMT's 39.96. It is worth mentioning that because this EBMT system requires no linguistic knowledge, it can be applied to any language pair. Furthermore, by adding analogies both on the level of syntax and form, we achieve a BLEU score of 53.55 in the EBMT system by analogy. The Transformer model has a BLEU score similar to our proposed method, but it has a lower TER and edit distance, implying a smaller gap between the translated sentence and the reference sentence.

## 4.6 Model Size vs. Translation Quality

We also discuss the trade-off between model size and translation quality. We compute the number of parameters that are trainable in RNN and Transformer models. We calculate the size of the KenLM language model and generated phrase tables for the PB-SMT system. For the original Beth system, there is no need for extra data. In the experiments involving analogical clusters in advance as retrieval knowledge, we count the size of analogy clusters extracted from different levels.

As shown in Figure 2, although the performance of a Transformer model slightly exceeds our proposal, the model size of a base Transformer is already 511 Mb. From this perspective, we can say that our EBMT by analogy is a lightweight approach that is more effective for low-resource machine translation.

Figure 2 Model size and BLEU scores for different systems

## 5 Conclusion

In this work, we worked on an approach to extract analogies between sentences at the syntactic level by using parse trees. We were able to extract sentence analogies both on the level of form and the level of syntax. We showed that using analogies at the syntactic level has a positive impact on the translation quality of an EBMT system by analogy. By contrasting the translation results with existing baselines, our approach outperformed an RNN model and a PB-SMT system by showing higher BLEU scores in a low-resource scenario. Although we got similar evaluation results to those of a Transformer model, our approach still has advantages in model size since we do not need pre-training of a large model.

## References

[1] Yves Lepage and Jean Lieber. Case-based translation: First steps from a knowledge-light approach based on analogy to a knowledge-intensive one. In Case-Based Reasoning Research and Development - 26th International Conference, ICCBR 2018, Proceedings, pp. 563-579. Springer Verlag, 2018.

[2] Yves Lepage and Jean Lieber. An approach to case-based reasoning based on local enrichment of the case base. In Case-Based Reasoning Research and Development - 27th International Conference, ICCBR 2019, Proceedings, pp. 235-250. Springer Verlag, 2019.

[3] Rashel Fam and Yves Lepage. Tools for the production of analogical grids and a resource of n-gram analogical grids in 11 languages. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, 2018. European Language Resources Association (ELRA).

[4] Yves Lepage and Chooi Ling Goh. Towards automatic acquisition of linguistic features. In Proceedings of the 17th Nordic Conference of Computational Linguistics (NODALIDA 2009), pp. 118-125, Odense, Denmark, 2009. Northern European Association for Language Technology (NEALT).

[5] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, 2002. Association for Computational Linguistics.

[6] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, 2018. Association for Computational Linguistics.

[7] Maja Popović. chrF: character n-gram F-score for automatic MT evaluation. In Proceedings of the Tenth Workshop on Statistical Machine Translation, pp. 392-395, Lisbon, Portugal, 2015. Association for Computational Linguistics.

[8] V.I. Levenshtein. Binary codes capable of correcting deletions, insertions and reversals. Soviet Physics-doklady, Vol. 10, No. 8, pp. 707-710, February 1966.

[9] Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart, and Alexander Rush. OpenNMT: Open-source toolkit for neural machine translation. In Proceedings of ACL 2017, System Demonstrations, pp. 67-72, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[10] Thang Luong, Hieu Pham, and Christopher D. Manning. Effective approaches to attention-based neural machine translation. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[12] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[13] Kenneth Heafield, Ivan Pouzyrevsky, Jonathan H. Clark, and Philipp Koehn. Scalable modified Kneser-Ney language model estimation. In Proceedings of ACL 2013, pp. 690-696, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[14] R. Kneser and H. Ney. Improved backing-off for m-gram language modeling. In 1995 International Conference on Acoustics, Speech, and Signal Processing, Vol. 1, pp. 181-184 vol.1, 1995.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 言語横断検索とリランキングを用いる翻訳メモリ利用型 NMT

田村拓也 ${ }^{1}$ 王小天 ${ }^{1}$ 宇津呂武仁 ${ }^{1}$ 永田昌明 2
1 筑波大学大学院 システム情報工学研究群 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所

## 概要

Hossain らが提案した retrieve-edit-rerank [1] は，翻訳や要約において (1) 外部情報から類似事例を検索し，(2)ニューラルモデルにより出力文候補を生成， (3) 予め定義したリランキングスコアによって最良の出力文を自動選択する枠組みである。本論文では，この枠組みにおいて (1) LaBSE や mSBERT を用いて生成した言語に依らない文埋め込みに基づいて類似訳文を言語横断検索する手法と (3) 文長に対する正規化を行ったより良いリランキング手法を提案し，有意に翻訳精度の向上を達成した.

## 1 はじめに

近年，高品質な対訳文の集合である翻訳メモリを NMT に組み込む研究が多くなされている. Bult é ら [2] [3] は翻訳メモリを NMT に組み込むことで翻訳精度を向上させる NFR モデルを提案した. このモデルは, 編集距離や sent2vec [4] に基づいて翻訳メモリの原言語文集合から類似文を検索し，類似訳文を入力原言語文と連結して NMT モデルへの入力とする. このモデルは，NMT モデルへの入力を前処理するだけで良いため，モデルのアーキテクチャを変更せずに翻訳メモリを組み込むことができる。ゆえに，既存のあらゆる NMT モデルとの互換性が高く，実装面での移植性も高い。一方で，この手法では対訳の揃った翻訳メモリを対象に検索せねばならず，目的言語文のみで構成された大規模単言語コー パス (単言語翻訳メモリ)だけでは活用できない。また, 入力文長の制約から，これらの手法で利用可能な類似訳文の数は高々数文に限られるため，有益な類似訳文がいくら得られたとしてもそれら全てを活用することはできない.

この制約を克服するため，Cai ら [5] は目的言語の単言語翻訳メモリを利用する手法を提案した.ここでは，Transformer Encoder に基づく検索モデルを提案し, MIPS (Maximum Inner Product Search) によって類似訳文検索を行う．ただし，検索モデルと翻訳モ
デルは同時に訓練される必要があるため独自のアー キテクチャを必要とし，NFR の利点である既存の NMT モデルへの互換性が大幅に低下する。

また, Hossain ら [1] は, 多数の類似文を活用する手法として retrieve-edit-rerank の枠組みを提案した. 彼らは，(1) 複数の相異なる類似文を検索して， (2) 異なる複数の出力文候補を生成し，(3) 対数尤度に基づいてリランキングを行う手法を提案した。本論文では，この retrieve-edit-rerankの枠組みを踏襲し, 中でも (1) および (3) に着目して研究を行った. (1) では，言語に依らない文埋め込みを生成する事前学習済みモデル mSBERT・LaBSE を用いて目的言語文集合を対象に言語横断検索を行う手法を提案し，(3) リランキングフェーズでは，文長に対する正規化を行ったより良いランキング手法を提案する。

提案法の評価にあたり, ASPEC [6] 英日コーパス, および，EU Bookshop Corpus [7] の英仏コーパスを利用した。その結果，文埋め込みに基づく検索手法を用いた場合は，編集距離で検索する場合に対して有意に BLEU を向上させた．また，異なる類似訳文を用いて生成された異なる出力文候補のリランキングにおいても提案法は既存手法を大幅に上回った.

## 2 類似訳文検索 (Retrieve)

## 2.1 翻訳メモリからの類似文検索

翻訳メモリ (TM) は，あらかじめ人手で翻訳された高品質な対訳文の集合である。過去には， Computer-Aided Translation (CAT) など，人手翻訳を補助するツールとして活用され，近年ではニューラル機械翻訳（NMT）へ組み込むことが研究されている。翻訳メモリを用いると，翻訳したい原言語文が既に翻訳に格納された文である場合に，その訳文に置き換えるだけで誤りなく翻訳することができる. また，完全に一致した文が存在せずとも類似度がある程度高ければ，その訳文は翻訳時に参考になる可能性がある。ここで，入力原言語文に類似した原言語文を「類似文」，それに類似した目的言語文を「類

図 1: Retrieve-Edit-Rerank における推論の枠組み

似訳文」と定義する。このとき，原言語文と類似した目的言語文を直接検索することができれば，類似訳文の情報源として原言語-目的言語間の対訳文の揃っている翻訳メモリだけでなく，目的言語文のみで構成された単言語翻訳メモリが利用できる。以後，本論文では，翻訳メモリを原言語文 $s$ と目的言語文 $t$ のペアの集合とし， $S_{\text {para }}$ を入力原言語文の集合， $T_{\text {para }}$ を目的言語文の集合とする．また，目的言語の単言語翻訳メモリを $T_{\text {mono }}$ と表記する.

## 2.2 編集距離に基づく類似度尺度

編集距離は，1 文字の挿入，削除，置換によって元の文字列を別の文字列に変換するために必要な最小の操作回数と定義される. 本論文では, Bult é らの手法に倣って，Vanallemeersch らの [8] の類似度を採用した。

$
\operatorname{sim}(x, y)=1-\frac{\Delta_{e d}(x, y)}{\max \left(|x|_{c},|y|_{c}\right)}
$

ここで, $\Delta_{e d}(x, y)$ は $x$ と $y$ の間の編集距離を， $|x|_{c}$ は $x$ の文字数を表す.また，編集距離は同じ言語文のみでしか計算できないことから，類似文検索を行う場合の検索対象は $S_{\text {para }}$ に限られる。そのため,検索された類似原言語文の訳文を類似訳文とする。

また，編集距離による類似文検索を行う場合には総当たりで類似度を算出し比較する必要があるため，大規模な翻訳メモリに対する計算コストが著しく大きい. そこで Bult é ら [2] は, Python ライブラリ SetSimilaritySearch ${ }^{1)}$ が提供する類似度尺度 containment $_{\text {max }}$ を用いて検索された類似文候補集合に対して編集距離を算出する手法を採用した ( $s s s+e d)$.

1) https://github.com/ardate/SetSimilaritySearch

## 2.3 文埋め込みに基づく類似度尺度

本節では，文埋め込みに基づく文の類似度尺度について述べる. 文埋め込みは文を高次元の実数ベクトルに写像したもので，文書分類や感情分析，対訳文検索に用いられる．以後，文 $x$ を文埋め込みへ変換したものを $E(x)$ と表記する。本論文では，文埋め込み生成モデルとして，Multilingual Sentence-BERT ${ }^{23)}$ [9] [10]，および，LaBSE [11]を利用した. Multilingual SBERT は, NLI データセットで訓練しSTS タスクで高い精度を達成した英語版 SBERTを知識蒸留により多言語化したもので，言語に依らない文埋め込みを生成できる。LaBSE は，対訳文を用いて対照学習された多言語文埋め込み生成モデルであり，対訳文検索を行う BUCC タスクで高い精度を達成した。ここで，2文 $x$ と $y$ の間の類似度 $\operatorname{sim}$ を以下のように定義する。

$
\operatorname{sim}(x, y)=\frac{E(x) \cdot E(y)}{|E(x)||E(y)|}
$

本論文では，入力原言語文 $s$ を文埋め込み生成モデルにより変換して得られた文埋め込み $E(s)$ をクエリとして， $T_{\text {para }} \cup T_{\text {mono }}$ を対象にベクトルの近傍探索を行い, $k$ 文の類似訳文 $t_{1}^{\prime}, t_{2}^{\prime}, \ldots, t_{k}^{\prime}$ を抽出した。なお，ベクトルの近傍探索には FAISS [12]を利用した.

## 3 翻訳モデルによる生成 (Edit)

2) https://github.com/UKPLab/sentence-transformers

3）本論文の実装では mSBERT の事前学習済みモデルとして, paraphrase-multilingual-mpnet-base-v2 を利用した.

## 3.1 翻訳モデルの訓練

翻訳モデルの訓練では Blut é ら [2] [3] と同様の手順で実施した. 具体的には，まず入力原言語文 $s$ をクエリとして，編集距離または文埋め込みによって翻訳メモリ内から $k_{t}$ 文の類似訳文 $t_{1}^{\prime}, \ldots, t_{k_{t}}^{\prime}$ を検索する. その後, NFR モデルと同様に特殊トークン “<sep>”を挟んで $s$ と $t_{i}^{\prime}$ を連結し，翻訳モデルへの入力とする.

## 3.2 翻訳モデルの推論

モデルの推論手順を図 1 亿示す.まず，入力原言語文 $s$ をエリとし, 訓練時と同様の手順で $k_{p}$ 文の類似訳文 $t_{1}^{\prime}, t_{2}^{\prime}, \ldots, t_{k_{p}}^{\prime}$ を検索する。次に，翻訳モデルを用いて $k_{p}$ 回のデコーディングを行い $k_{p}$ 文の出力文 $o_{i}$ とデコーダの出力確率 $p_{M T}$ に基づくリランキングスコア $Q_{i}$ を得る. このリランキングスコアについては，4節にて詳説する。

## 4 出力文のリランキング (Rerank)

最後のフェーズでは，生成フェーズで得られたリランキングスコア $Q_{i}$ を最大化するような $i=i$ を選択し, 最終的な出力文 $o_{i^{*}}$ とする. ここで, 本論文では 2 通りのリランキングスコアを検討した. 1 つ目は Hossain ら [1] と同様の手法で, 対数尤度に基づくスコアである.

$
Q_{i}^{(\text {Hossain })}=\log _{2} p_{M T}\left(o_{i} \mid s, t_{i}^{\prime}\right)
$

2つ目は，文長による正規化を行った平均対数尤度に基づくランキング手法である. ここで，出力文 $o_{i}$ の文長として，サブワード化された出力を一度復元してから単語数をカウントすることとし, 以下では $\left|\operatorname{deSW}\left(o_{i}\right)\right|$ と表記する.

$
Q_{i}^{\text {(proposed) }}=\frac{\log _{2} p_{M T}\left(o_{i} \mid s, t_{i}^{\prime}\right)}{\left|\operatorname{deSW}\left(o_{i}\right)\right|}
$

## 5 実験

## 5.1 データセット

本論文では，提案法の評価のためにアジア学術論文英日コーパス ASPEC [6], 欧州の諸機関からの出版物を元に作成された EU Bookshop Corpus [7] (以後 EUBC と表記) のうち英仏コーパスを利用し，翻訳方向はそれぞれ英日・英仏とした. 翻訳モデルの訓練文には，各コーパスからランダムサンプリングされた 10 万文対のみ利用し，残りについては単言語翻訳メモリとした。表 1 に，データセットの詳細な文数を示す。また，和文に対しては $\left.\mathrm{MeCab}^{4}\right)$ を，英文・仏文に対しては Moses tokenizer ${ }^{5)}$ を用いてトー クナイズしたのち，Byte Pair Encoding (BPE) ${ }^{6)}$ [13] を用いて，操作数 32,000 でサブワードに分解した.

## 5.2 実験設定

類似訳文の検索では, 編集距離 (sss+ed), mSBERT, LaBSE の 3 通りを比較した.このうち, sss+ed は同言語間でしか類似訳文を検索できないため，検索対象は訓練文の原言語文 10 万文に限られる。一方で， mSBERT，LaBSE は目的言語文を直接言語横断検索できるため検索対象は ASPEC で 200 万文，EUBC で 842 万文となる。訓練時には，類似文検索を行わない通常の手法（検索なし）と，最大 4 文の類似訳文を利用する手法 (top1～top4) を比較した. 推論時には，類似文を利用しない手法（類似文なし），才リジナルの NFR と同様の上位 1 文の類似訳文のみ

ランキングする手法，提案法である $Q^{\text {(proposed) }}$ に基づく手法を比較した.このうち sss+ed を一つ目のベースラインとし，各検索手法において $Q^{\text {(Hossain) }}$基づいてリランキングする手法を二つ目のベースラインとする。また，リランキングによる翻訳精度向上の上限を評価するため，各出力文候補の中で Sentence-BLEU が最も高い文を選択するオラクルについても評価した．実験にあたっては PyTorch 実装の Transformer モデルを採用した. エンコーダとデコーダは各 6 層とし, 隠れ次元は 512 次元, $\mathrm{FF}$ 層の次元は 2048 次元，マルチヘッド数は 8 とした.また，バッチサイズは 96 文，ウォームアップ 6,000 ステップのもとで 30 エポックの訓練を行い，開発文の BLEU が最も高いエポックにおけるテスト文の BLEUを採用した.

表 2: 各リランキング手法における翻訳モデルの実験結果 (訓練時に利用する類似訳文数は $k_{t}=2$.「検索なし」は類似訳文を利用しない vanilla Transformer の結果を，「 $\left.k_{p}=1\right.\rfloor$ は NFR と同様に最も類似度の高い類似訳文を利用した場合

による結果を示す。†は「 $k_{p}=1$ (ベースライン 1 )」に対する有意差 $(\mathrm{p}<0.05)$ を, ${ }^{\ddagger}$ は $Q^{\text {(Hossain) }}$ (ベースライン 2 )」に対する有意差 ( $\mathrm{p}<0.05$ )を示す.)

表 3: 各検索手法における実験結果 (「類似訳文なし」類似訳文を利用しない vanilla Transformerを，sss+ed は NFR と同様に編集距離に基づく手法を示す.†は

す. )

 &  &  \\

(ベースライン 1) & 2 & 26.2 & 19.5 \\
& 3 & 26.1 & 18.3 \\
& 4 & 25.7 & 16.4 \\

& 2 & 26.5 & 20.8 \\
& 3 & 26.4 & 19.9 \\
& 4 & 26.2 & 19.0 \\

& 2 & $\mathbf{2 7 . 1}^{\dagger}$ & $\mathbf{2 1 . 0 ^ { \dagger }}$ \\
& 3 & 26.5 & 20.4 \\
& 4 & 26.3 & 19.3

## 6 実験結果

各検索手法を用いて類似訳文を検索し，翻訳もデルを訓練した場合の結果を表 3 に示す. ただし，訓練時に利用する類似訳文数を $k_{t}=1,2,3,4$ とし,推論時に利用する類似訳文数を $k_{p}=1$ とした. 類似文検索を行わない場合は, ASPEC・EUBC それぞれ 26.2 ポイント・ 20.2 ポイントであったのに対し, sss+ed ではそれぞれ最大 $26.4 \cdot 20.2$ ポイントと有意な BLEU の向上は見られなかった. 一方で， mSBERT ではそれぞれ最大 26.5 ポイント・ 20.8 ポイントと有意差はないものの BLEU が向上したものが多く, LaBSE では最大 27.1 ポイント・ 21.0 ポイントと sss+ed に対して有意に高い BLEUが得られた. 特に， mSBERT，LaBSE ともに上位 2 文を利用する場合に最も高い BLEU が得られ，上位 3 文以上を利用すると逆に精度が低下することが確認できる.

次に, retrieve-edit-rerank の枠組みに倣ってリランキングを行った場合の結果を表 2 に示す。まず， $Q^{\text {(Hossain) }}$ によるリランキング手法に着目すると，いずれも有意な BLEU の向上は得られなかった. 特に，EUBC において mSBERT やLaBSE を利用する場合有意に BLEU が低下する。一方で， $Q^{\text {(proposed) }}$ によるリランキング手法では, sss+ed では有意な BLEU 向上が得られないものの, mSBERT やLaBSE を利用する場合は多くの事例で有意に BLEU が向上した.また, Sentence-BLEU が最大の文を取り出するオラクルはリランキングの上限値を示しているが, sss+ed は mSBERT やLaBSE に比べ低く, さらなる改善の余地が小さいことを示唆する.

## 7 おわりに

本論文では, retrieve-edit-rerank の枠組みのもとで，文埋め込みによる類似訳文の言語横断検索の活用と，文長に対する正規化を行ったより良いランキング手法を提案した. 先行研究で利用された編集距離による類似訳文の検索手法よりも， mSBERT や LaBSE といった言語に依存しない文埋め込み生成モデルを用いたべクトルの近傍探索による検索が翻訳精度の向上に貢献することを示した. また，複数の相異なる類似訳文を利用して複数の訳文候補を生成しリランキングによって最良訳自動選択を行う際， サブワード化を復元した文の長さに対する正規化を行うことにより大幅な翻訳精度の向上を達成した。

## 参考文献

[1] N. Hossain, M. Ghazvininejad, and L. Zettlemoyer. Simple and effective retrieve-edit-rerank text generation. In Proc. 58th ACL, pp. 2532-2538, 2020.

[2] B. Bulté and A. Tezcan. Neural fuzzy repair: Integrating fuzzy matches into neural machine translation. In Proc. 57th ACL, pp. 1800-1809, 2019.

[3] A. Tezcan, B. Bulté, and B. Vanroy. Towards a better integration of fuzzy matches in neural machine translation through data augmentation. Informatics, Vol. 8, No. 1, 2021.

[4] M. Pagliardini, P. Gupta, and M. Jaggi. Unsupervised learning of sentence embeddings using compositional $n$ gram features. In Proc NAACL HLT 2018, pp. 528-540, 2018.

[5] D. Cai, Y. Wang, H. Li, W. Lam, and L. Liu. Neural machine translation with monolingual translation memory. In Proc. 59th ACL and 11th IJCNLP, pp. 7307-7318, 2021.

[6] T. Nakazawa, M. Yaguchi, K. Uchimoto, M. Utiyama, E. Sumita, S. Kurohashi, and H. Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proc. 10th LREC'16, pp. 2204-2208, 2016.

[7] R. Skadiňš, J. Tiedemann, R. Rozis, and D. Deksne. Billions of parallel words for free: Building and using the EU bookshop corpus. In Proc. 9th LREC, pp. 1850-1855, 2014.

[8] T. Vanallemeersch and V. Vandeghinste. Assessing linguistically aware fuzzy matching in translation memories. In Proc. 18th EAMT, pp. 153-160, 2015.

[9] N. Reimers and I. Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proc EMNLP-IJCNLP 2019, pp. 3982-3992, 2019.

[10] N. Reimers and I. Gurevych. Making monolingual sentence embeddings multilingual using knowledge distillation. In Proc. 16th EMNLP, pp. 4512-4525, 2020.

[11] F. Feng, Y. Yang, D. Cer, N. Arivazhagan, and W. Wang. Language-agnostic BERT sentence embedding. In Proc. 60th ACL, pp. 878-891, 2022.

[12] J. Johnson, M. Douze, and H. Jégou. Billion-scale similarity search with gpus. CoRR, Vol. abs/1702.08734, , 2017.

[13] R. Sennrich, B. Haddow, and A. Birch. Neural machine translation of rare words with subword units. In Proc. 54th ACL, pp. 1715-1725, 2016.

## A リランキング時に用いる類似訳文数 $k_{p$ の影響}

(a) $\operatorname{ASPEC}(\mathrm{En} \rightarrow \mathrm{Ja})$

(b) $\mathrm{EBCU}(\mathrm{En} \rightarrow \mathrm{Fr})$

図 2: リランキング時に用いる類似訳文数 $k_{p}$ を変化させた際のリランキング後の BLEU

## B 具体例

表 4 亿，ASPEC を用いた評価実験の結果の具体例を示す。この事例は，マウスの小腸におけるグルコースの吸収について述べた文である。表内の「類似訳文」には各検索手法とリランキング手法によって得られた最も良い類似訳文を示し，「出力文」には翻訳モデルによる出力結果を示す。その文に対する Sentence-BLEU をそれぞれ算出した，sssted によって検索された類似訳文纪着目すると，まず top1 の類似訳文は生物分野の

情報は少ない。一方で，LaBSE によって検索された類似訳文に着目すると，top1の類似訳文でも「グルコー

表 4: ASPEC を用いた評価実験の結果の具体例

} \\


# マルチヘッドニューラル N-gram による自己注意機構の代替

Mengsay Loem 高瀬 翔* 金子正弘岡崎 直観
東京工業大学情報理工学院
\{mengsay.loem, masahiro.kaneko\}[at]nlp.c.titech.ac.jp,
sho.takase[at]linecorp.com, okazaki[at]c.titech.ac.jp

## 概要

Transformer の優れた性能は，入力系列内の全てのトークン間の依存関係を考慮する自己注意によるものであると考えられている。しかし，全ての依存関係を考慮する必要があるかは疑問が残る. 本研究では，全トークン間の依存関係を考えるのではなく，各トークンの周辺のトークンのみを用いたニューラル N-gram モデルに着目し，マルチヘッド機構による改良を施したマルチヘッドニューラル N-gram モデル（multiNN）を提案する。系列変換タスクの実験を通して，提案手法は Transformer に匹敵する性能を示すことを報告する．また，様々な分析の結果から，マルチヘッドニューラル N-gram は自己注意とは異なる優位性があり，両者を組み合せることにより，Transformerを上回る性能を達成することも報告する.

## 1 はじめに

Vaswani ら [1] が Transformerを提案して以来, Transformerとその亜種のアーキテクチャは，機械翻訳, 自動要約, 画像認識, 音声認識などの様々な夕スクに適用されてきた $[1,2,3,4]$. Transformer の主要なモジュールは自己注意（Self-attention）である.自己注意は，系列の各位置の入力を処理する際，全ての位置間の依存関係に基づいて出力を計算する。具体的には, 入力系列の特徴表現 $x_{1}, \ldots, x_{L}$ が与えられたとき，位置 $t$ における出力は $x_{t}$ と $x_{1}, \ldots, x_{L}$ 間の注意重みによる重み付き和により計算される. 例えば， 入力文 we focus on neighbor tokens に対し，on の第 1 層の出力を計算するとき, 図 1 (a) のように他の全ての位置の入力を用いる.

しかし，各位置において全ての入力との依存関係を考慮する必要があるのだろうか？ 実際，自己注意は処理しているトークンの周辺のトークンのみに

(a) 自己注意

(b) 局所注意 $(\mathrm{N}=3)$

図 1 自己注意と局所注意の違い。自己注意はすべての入力の特徴表現を用いて次の層の特徴表現を計算するが，局所注意は周辺 $N$ 個（この図では $N=3 ）$ の特徴表現のみを用いる。

図 2 WMT 英独データセットの検証データにおける各層の自己注意の重み分布を処理している位置からの相対位置でプロットしたもの. WMT データセットで学習した 6 層の Transformer のエンコーダ側を使用した。

大きな注意重みを割り当てる傾向があることが経験的に知られている。例として，図 2 に機械翻訳タスクで用いられる系列変換モデルのエンコーダ側の各層の自己注意の注意重み分布を示した。この図から, 着目している位置の周辺の数トークンに大きな重みが割り当てられていることが分かる．また，近年の研究では，自己注意で行われる入力間の依存関係の計算において，処理している位置の周囲の $N$ 個のトークンのみに制限した局所注意の成功が報告さ

(a) エンコーダ側のmultiNN

（b）デコーダ側のmultiNN図 3 エンコーダ側とデコーダ側におけるマルチヘッドニューラル N-gram のアーキテクチャ

れている [5, 6]. 図 1 (b) に, $N=3$ の場合の局所注意の例を示した。

ある位置の周辺の入力に着目する手法として， N-gram ベースのモデルがよく用いられている. Sun ら [7] は，残差結合 [8] などの最新の手法を導入することにより，ニューラル N-gram 言語モデル [9] の性能を著しく向上させた．Sun らの手法は，従来のニューラル N-gram モデルより優れているが， Transformer を上回ることはできなかった. それでは，N-gram ベースのアプローチで自己注意よりも優れた性能を示すモデルを作ることは本当に不可能なのであろうか?

本研究では，Transformer [1] の自己注意で用いられているマルチヘッド機構を導入することにより， ニューラル N-gram モデル [7] を改良する手法を提案する。この改良手法をマルチヘッドニューラル $\mathrm{N}$-gram (multiNN: Multi-head Neural N-gram) と呼ぶ. この改良手法の性能を調べるため，Transformer の自己注意を提案手法の multiNNに置き換え，既存の Transformer との性能比較を行う。機械翻訳 (4 節),自動要約（付録 $\mathrm{A}$ ），音声認識（付録 B）を含む様々な系列変換タスクにおいて実験を行ったところ，提案手法の multiNN は自己注意と同等かそれ以上の性能を達成することが示された。また，multiNNに関する分析を通して，既存の Transformer の代替となるアーキテクチャを模索するために有用な知見が得られた（5 節）。

## 2 マルチヘッド自己注意

マルチヘッド自己注意は，広く使われている Transformer のコア・モジュールである. マルチヘッド自己注意は，入力系列の全体に対する注意関数で入力間の依存関係を捉える。また，マルチヘッド自己注意は，単一の注意関数を用いるのではなく，異なる線形写像で変換された入力の特徴表現に対し,複数の注意関数を適用する．具体的には，長さ $L$ の $D$ 次元の入力の特徴表現の列を $x_{1}, \ldots, x_{L} \in \mathbb{R}^{D}$ に対し， $K$ 個のへッドからなる注意機構は位置 $t$ における出力 $z_{t} \in \mathbb{R}^{D}$ を次式で計算する（[$\cdot$; $\cdot$] はベクトルの連結， $k \in\{1, \ldots, K\}$ である).

$
\begin{aligned}
z_{t} & =\left[h_{t}^{(1)} ; \ldots ; h_{t}^{(K)}\right] W \\
h_{t}^{(k)} & =\sum_{i=1}^{L} \alpha_{t i}^{(k)} x_{i}^{(k)} \\
x_{i}^{(k)} & =x_{i} W_{v}^{(k)}
\end{aligned}
$

ここで, $W \in \mathbb{R}^{K d \times D}, W_{v}^{(k)} \in \mathbb{R}^{D \times d}$ は線形写像の重み行列である ( $d$ は各へッドに写像された特徴表現 $x_{i}^{(k)}$ の次元数であり, 通常は $d=D / K$ である). また, ヘッド $k$ における注意重み $\alpha_{t i}^{(k)} \in \mathbb{R}$ は入力の位置 $t$ と $i$ の間のスケーリングされた内積である [1]. 式 (2)は, 線形写像された入力表現 $x_{1}^{(k)}, \ldots, x_{L}^{(k)}$ に対し, 注意関数を適用して各へッドの出力 $h_{t}^{(k)}$ を計算する。そして，式 (1) で，全ヘッドの出力 $h_{t}^{(1)}, \ldots, h_{t}^{(K)}$ を連結し, 線形写像 $W$ を適用することにより，マルチヘッド自己注意の出力 $z_{t}$ を得る.

## 3 マルチヘッドニューラル N-gram

本研究では，ニューラル N-gram 言語モデルのアーキテクチャを踏襲しつつ，Transformer のマルチヘッド自己注意と同様にマルチヘッド機構を導入し，ニューラル N-gram モデルを改良する．マルチヘッドニューラル N-gram（multiNN）は，入力系列の各位置において，その位置のトークンの特徴表現とその周囲の $N$ 個のトークンの特徴表現を連結したものを入力として受け取る。連結された特徴表現は, 図 3 のように複数の線形写像を独立に適用する. 具体的には， $D$ 次元の特徵表現 $x_{1}, \ldots, x_{L}$ の系列が与えられた際，エンコーダ側で $K$ 個のへッドを持 $\supset$ multiNN は，位置 $t$ の出力の特徴表現 $z_{t}$ を，以下

の式で計算する.

$
\begin{aligned}
z_{t} & =\left[h_{t}^{(1)} ; \ldots ; h_{t}^{(K)}\right] W \\
h_{t}^{(k)} & =\operatorname{ReLU}\left(\left[x_{t-n+1}^{(k)} ; \ldots ; x_{t+n-1}^{(k)}\right] W^{(k)}\right) \\
x_{t}^{(k)} & =x_{t} W_{x}^{(k)}
\end{aligned}
$

ここで, $W \in \mathbb{R}^{K d \times D}, W^{(k)} \in \mathbb{R}^{(2 n-1) d \times D}$ と $W_{x}^{(k)} \in$ $\mathbb{R}^{D \times d}$ は線形写像の重み行列である. multiNN の各ヘッド $k$ で使われる入力表現は, 式 (6) の異なる重み行列 $W_{x}^{(k)}$ で線形写像される. 式 (5) で $n$ 個の周辺の入力表現を連結し, 線形写像 $W^{(k)}$ と活性化関数 ReLUを適用することで各へッドにおける位置 $t$ の出力 $h_{t}^{(k)}$ を計算する. 最後に, 式 (4) で全 $K$ 個のヘッドの出力 $h_{t}^{(1)}, \ldots, h_{t}^{(K)}$ を連結し, 線形写像 $W$ を施すことで，位置 $t$ における multiNN の出力 $z_{t}$ を計算する.

multiNN では $n$ トークン以上離れた距離にある依存関係を考慮することができない。この弱点を緩和するため, 入力系列を各ヘッド $k$ に写像した後の全特徴表現に最大值プーリングを適用し, グローバルな特徴表現

$
x_{\text {global }}^{(k)}=\max \left(x_{1}^{(k)}, \ldots, x_{L}^{(k)}\right)
$

を計算したのち，式 (5)を次式で置き換える選択肢も検討する.

$
h_{t}^{(k)}=\operatorname{ReLU}\left(\left[x_{t-n+1}^{(k)} ; \ldots ; x_{t+n-1}^{(k)} ; x_{\text {global }}^{(k)}\right] W^{(k)}\right)
$

このとき, 重み行列 $W^{(k)}$ のサイズを $W^{(k)} \in \mathbb{R}^{2 n d \times D}$ に変更する。

なお，系列変換モデルのデコーダ側に multiNNを採用するときは，マスク付き自己注意のアイディアと同様に, 着目している位置 $t$ の左側の特徴表現 $x_{t-n+1}^{(k)}, \ldots, x_{t}^{(k)}$ のみを用いることとし, 右側（将来） の特徴表現は参照しないこととする。

## 4 実験

## 4.1 設定

multiNN の性能を評価するために，WMT の英語—ドイツ語と IWSLT ドイツ語—英語の 2 つの機械翻訳ベンチマークで実験を行った．WMT では， Vaswani ら [1] の実験と同様に 450 万文のペアを含む WMT データセットを使用した. 検証セットとテストセットとして, newstest2013 と newstest2014をそれぞれ使用した. IWSLT では, Cettolo ら [10] と同様に， 16 万文ぺアが含まれるデータセットを使用した. 各データセットの語彙の構築には，ソー表 1 機械翻訳タスクの BLEU スコア

表 2 WMT の検証セットにおけるベースライン手法の性能および multiNN モデルのアブレーション結果

ス側とターゲット側で語彙を共有する Byte Pairing Encoding [11]を用いた. 語彙のサイズは WMT で 32K，IWSLT で 10K に設定した. ベースライン手法として, Transformer-base [1]を採用し，マルチヘッド自己注意を multiNN に置き換えた場合の性能を比較した。また，その他のベースライン手法として，提案手法の multiNN と同様に周囲の $N$ 表現のみを使用した局所注意 $[5,6]$ とも性能の比較を行った.

## 4.2 結果

機械翻訳タスクの結果を表 1 に示した. 各手法のランダムシードを変化させ，3回の実行結果の平均スコアと分散を報告した. WMT と IWSL の両方のデータセットでは， multiNN が自己注意と同等の BLEU スコアを達成した.この結果から, multiNN は，すべての入力表現の位置依存関係を考慮することなく, 注意機構に基づく手法と同等の性能が達成する能力があることが推測される. この結果は, multiNN は単純なアーキテクチャを採用し，扱える文脈の範囲を近傍のトークンに限定したにも関わらず，注意機構に匹敵する能力を有することを示唆している。また， multiNN は両方のデータセットで局所注意を 0.40 ポイント以上上回る性能を示した.

## 5 分析

## 5.1 各構成要素の貢献

ここでは，ニューラル N-gram ベースのモデルに関する知見を得るために， multiNN における各構成要素の貢献度合いを調査した. この実験では, 全て

のモデルがほぼ同じパラメータ数になるようにして，モデル間の性能を比較した。

まず，マルチヘッド機構の効果について議論したい. 表 2 の「multiNN」と「-マルチヘッド」の比較から分かるように，マルチヘッド機構を用いない N-gram モデルでは, BLEU スコアが 0.67 ポイントも低下した。このことから，ニューラル N-gram ベー スの手法の性能向上において，本稿で提案したマルチヘッド機構が効果的であることが示唆される.

続いて，エンコーダ側のグローバル特徴表現の効果について議論したい. 表 $2 「$ multiNN」と「-グローバル」の比較から, multiNN からグローバル特徵表現を取り除くと，モデルの性能は低下するものの，その低下は僅かであった．したがって，グロー バル特徴表現も multiNN モデルの性能向上に貢献しているものの，マルチヘッド機構の方がより効果が大きいと推察される.

## 5.2 multiNN と自己注意との組合せ

Sun ら [7] はニューラルNグラムモデルと自己注意を組み合わせた場合の実験結果を報告していた。本稿でもそれに倣い，multiNN と自己注意を組合せたモデルでの実験結果を報告する． multiNN と自己注意は，入力間の異なる種類の依存関係を捉えると考えられるため，エンコーダとデコーダの両方で性能の向上が期待できる. 本研究では，各層で両者を組み合わせた場合と, エンコーダ側およびデコーダ側で両者を切り替えて用いた場合の二種類の実験を行った.

図 4 に，自己注意を持つ 6 層の Transformer の下位の層から，自己注意をグローバル特徴表現を用いない multiNN に置き換えたときの，WMT データセットの検証セットにおける性能を示した. 図 4 に示すように，下位から 3 層までに multiNNを用いることにより，既存の Transformer に比べて BLEU スコアを最大 0.50 ポイント改善できることが分かった. ところが，この改善効果は multiNn をさらに上の層まで置き換えてしまうと，減少してしまった.この結果から，Transformer の下位の層において狭い文脈に着目するように誘導することが重要であると考えられる。

WMT の検証セットにおいて，エンコーダ側とデコーダ側で multiNN と自己注意を切り替えた場合の実験結果を表 3 に示した. デコーダ側の自己注意を multiNN に置き換えると，元々の Transformer よりも

図 4 multiNn と自己注意の層別組合わせ.

表 3 エンコーダ側とデコーダ側における multiNN と自己注意の組合せ

高い性能を示すことが分かった。一方で，エンコー タ側の自己注意を multiNNに置き換えると，元々の Transformer よりもわずかに性能が低下する．以上の結果から，この機械翻訳タスクにおいてはエンコー ダ側で長距離の依存を考慮できるようにしておき， デコーダ側では短距離の依存関係を考慮するように誘導する方が有利であることが示唆される。このように，multiNNは自己注意とは異なる効果を持っており，これらを併用することでタスクの性能を改善できる可能性がある。

## 6 おわりに

本研究では，入力の全体ではなく周辺の特徴表現のみを用いたニューラル N-gram ベースモデルが自己注意の代替になり得るかという問いを探求した。 その問いを検証するため，ニューラル $\mathrm{N}$-gram モデルを改良し，マルチヘッド機構を導入した multiNN を提案した。文脈の範囲を高々前後 $n$ トークンに限定したにも関わらず，系列変換タスクにおいて， multiNN が自己注意や局所注意などの既存手法と同等かそれ以上の性能を示すことを実証した。また， multiNN と自己注意を組み合わせることより，既存の Transformer を上回る性能を発揮し得ることも報告した. 今後の課題として，深いモデルや事前学習での性能を検証することで，multiNN のスケーラビリティを評価することを予定する。
謝辞本研究成果は，国立研究開発法人情報通信研究機構 (NICT) の委託研究「自動翻訳の精度向上のためのマルチモーダル情報の外部制御可能なモデリングの研究開発」(課題 225）により得られたものです.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, 2017 .

[2] Sho Takase and Naoaki Okazaki. Positional encoding to control output sequence length. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 3999-4004, 2019

[3] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth $16 x 16$ words: Transformers for image recognition at scale. In International Conference on Learning Representations, 2021.

[4] Linhao Dong, Shuang Xu, and Bo Xu. Speech-transformer: A no-recurrence sequence-to-sequence model for speech recognition. In 2018 IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 58845888, 2018.

[5] Rewon Child, Scott Gray, Alec Radford, and Ilya Sutskever. Generating long sequences with sparse transformers. CoRR, Vol. abs/1904.10509, , 2019.

[6] Iz Beltagy, Matthew E. Peters, and Arman Cohan. Longformer: The long-document transformer. CoRR, Vol. abs/2004.05150, , 2020.

[7] Simeng Sun and Mohit Iyyer. Revisiting simple neural probabilistic language models. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5181-5188, Online, 2021.

[8] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 770-778, 2016.

[9] Yoshua Bengio, Réjean Ducharme, Pascal Vincent, and Christian Janvin. A neural probabilistic language model. Journal of Machine Learning Research, Vol. 3, p. 1137-1155, 2003.

[10] Mauro Cettolo, Jan Niehues, Sebastian Stüker, Luisa Bentivogli, and Marcello Federico. Report on the 11th IWSLT evaluation campaign. In Proceedings of the 11th International Workshop on Spoken Language Translation: Evaluation Campaign, pp. 2-17, 2014.

[11] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Asso- ciation for Computational Linguistics, pp. 1715-1725, 2016.

[12] Alexander M. Rush, Sumit Chopra, and Jason Weston. A neural attention model for abstractive sentence summarization. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 379-389, 2015.

[13] Abigail See, Peter J. Liu, and Christopher D. Manning. Get to the point: Summarization with pointer-generator networks. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 1073-1083, 2017.

[14] Vassil Panayotov, Guoguo Chen, Daniel Povey, and Sanjeev Khudanpur. Librispeech: An asr corpus based on public domain audio books. In 2015 IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 5206-5210, 2015.

[15] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.
表 4 見出し生成タスクにおける ROUGE-1, 2, L（R-1, R-2, R-L）の F1 スコア

表 5 文書要約タスクにおける ROUGE-1, 2, L（R-1, R-2, R-L）のF1スコア

## A 自動要約タスクの実験

本研究では，見出し生成と文書要約の二つの自動要約タスクについても実験を行った. 見出し生成は文レベルの自動要約タスクであり，ニュース記事の先頭の文から対応する見出しを生成するタスクである。このタスクの実験では， Gigaword データセッ

ト [12] 使用した。文書要約タスクは，文書レベルの要約タスクであり，モデルは原文書から複数の文からなる要約を生成する. このタスクの実験では, CNN/DailyMail データセット [13] を用いた。また，両タスクにおいて，ソース側とターゲット側で語彙を共有した Byte Pairing Encoding [11]（語彙サイズは 32K）を用いた. モデルのサイズは機械翻訳の実験と同等になるように設定した。

見出し生成タスクと文書要約タスクの結果を表 4 と表 5 に示す. 見出し生成タスク，文書要約タスクのいずれにおいても， multiNN は自己注意に匹敵する性能を示した. また, 局所注意と比較すると，提案手法の multiNN は大幅な性能向上を達成した.これらの知見は，機械翻訳タスクにおけるものと同様である.

## B 音声認識タスクの実験

テキストの系列変換タスクの他に，LibriSpeech データセット [14]を用い，自動音声認識タスクの実験を行った. LibriSpeechには，約 960 時間に及ぶオーディオブックの音声が収録されている. このデータセットには，話者の単語誤り率に基づき，クリーンとその他の 2 種類のデータプールが存在する. 実験では，両方のプールを使用した. デコーダ側の語彙は SentencePiece [15] を用い，語彙サイズは表 6 LibraSpeech の検証セットにおける単語の誤り率

表 7 LibraSpeechのテストセットにおける単語の誤り率

10Kとした.

LibriSpeech データセットの検証セットとテストセットにおける自動音声認識タスクにおける単語の誤り率を表 6 と表 7 に示した。提案手法の multiNN は，ほぼ同じモデルサイズで自己注意と同程度の性能を発揮した. また， multiNN の単語誤り率は局所注意よりも 1 ポイント以上の低かった.この実験結果も，機械翻訳タスクと自動要約タスクの実験結果と整合している.


# 訓練データ中の頻度バイアスを解消する前処理の提案

神戸隆志 ${ }^{1}$ 鈴木潤 1,2 乾健太郎 1,2
1 東北大学 2 理化学研究所
takashi.kambe.r8@dc. tohoku.ac.jp
\{jun.suzuki,kentaro.inui\}@tohoku.ac.jp

## 概要

訓練データ中の単語頻度の偏りは，深層ニューラルネットワークに基づく自然言語処理の性能に悪影響を及ぼすことが知られている．そのため，頻度の偏りによる影響を解消しようとする試みが報告されている. 本研究では，その取り組みの一つとして，文の前処理の段階で高頻度語の頻度を減らし, 訓練データ中の頻度分布を均一に近づけ，頻度バイアスを解消する手法を提案する．本稿では，提案法の有効性を機械翻訳タスクにて検証する。具体的には，提案法により前処理を施した訓練データを用いて構築した翻訳モデルと, 従来通りの訓練データで構築した翻訳モデルの翻訳性能を比較する。

## 1 はじめに

深層ニューラルネットワークに基づく自然言語処理では，文を単語などの何かしらの基準で分割し， その分割単位に基づいて処理を行う. 近年は，文を分割する単位として，サブワードを用いることが主流である. 本稿では，議論を簡単にするために，単語やサブワードなど，どのような基準で分割されたかによらず分割後の各要素をトークンと表記する. いずれの場合も文を構成するトークンは少数の高頻度トークンと多数と低頻度トークンから構成されるという特徵がある．これは，サブワードなどを用いたとしても，程度の差はあれどいわゆる Zipf の法則に概ね従う分布になるためである。このトークン頻度の偏り（以下，頻度バイアスと表記）が自然言語処理のモデルに影響を与え，様々なタスクの精度が低下する現象が報告されている [1]. また，この頻度バイアスの悪影響を緩和することで自然言語処理タスクの性能向上を目指す研究が報告されている $[1,2,3]$.

本研究は, これらの先行研究と同様に, 頻度バイアスを緩和する方法を考案することを目的とする。
ただし，従来の方法とは違い，利便性が高く扱いやすい方法の確立を目指す. その観点から，文の前処理の段階で高頻度トークンの頻度を減らし, 訓練データ中のトークン頻度分布をできるだけ均一に近づける方法を提案する．より具体的には，訓練デー タ中の高頻度トークンを複数の新しいトークンに分類し, 高頻度トークンの出現頻度を均す操作を行う. 前処理により偏りを解消することができれば， モデルの訓練方法の変更などを必要としないため,基本的にあらゆる自然言語処理タスクで利用可能という利点となる。

本研究では，機械翻訳のデータを用いた実験により提案法の有効性を検証する。具体的には，提案する前処理を用いて頻度バイアスを軽減した場合に，従来法に相当する頻度バイアスの軽減をしない場合と比較して性能が向上するかを実験的に確かめる。

## 2 関連研究

## 2.1 サブワード分割

サブワードは単語よりも小さな単位で文を表現する単位であり，近年の自然言語処理において広く用いられている単位である. サブワードを使用する利点として，語彙数を自由に設計して固定することができる点や，未知単語をサブワードの組み合わせとして表現できるといった点が挙げられる. 自然言語処理におけるサブワードの構築方法として Byte Pair Encoding (BPE) [4] や Unigram Language Model [5] などが挙げられる.しかし，いずれの方法においても，高頻度単語はそのままサブワードとして語彙に含められ，低頻度単語はより小さなサブワードの組み合わせとして表現されやすいという傾向がある. この傾向から，サブワード単位の語彙も単語単位の語彙と同様に，高頻度サブワードと低頻度サブワー ドに偏る.

図 14.1 節で使用する英文データに対して BPE を 32,000 回適用した場合のトークン頻度分布

## 2.2 頻度バイアス

近年の自然言語処理は，単語やサブワードなどのトークンを埋め込み表現と呼ばれるべクトルとして表現し，そのべクトルを処理していく手法が一般的である. 埋め込み表現の特徴として，似た意味の単語には近いべクトルが割り当てられることが期待されるが，前述の頻度バイアスにより意味ではなく頻度を反映するような埋め込み表現が構築されてしまうことが報告されている $[1,2]$. 具体的には，高頻度語同士が近くなるように，また低頻度語同士が近くなるような埋め込み表現が学習され，たとえ意味の近い単語であっても頻度の違いにより埋め込み表現が遠ざかる現象が起こってしまう．この埋め込み表現における現象は様々な自然言語処理のタスクの精度を低下させることが報告されており，頻度バイアスを解消しようとする試みが研究されている $[1,2,3]$.

## 3 頻度バイアスを軽減する前処理

2.2 節の頻度バイアスによる問題は，訓練データに出現するトークンの頻度が偏っていることに起因する問題である。そこで本研究では，図 1 の様な訓練データ中の偏ったトークン頻度分布に対して，できる限り均一な頻度分布に近づける前処理を実施した上でモデルを学習する方法を考案する．提案する前処理では，高頻度トークンを複数のトークンに分類して均一な頻度分布に近づける。提案法は, 高頻度トークンを一定のルールに従って分類し頻度を均一に近づけることから分類ルールと呼ぶ．以下，分類ルールの詳細を説明する。

## 3.1 基本的な着想

英語における高頻度トークンである“the”を例にすると，分類ルールでは訓練データ中の “the”を "the0", "the1", "the2",... といった複数のトークンに置き換えることで “the” の頻度を減少させる．しかし無作為に訓練データ中の “the”を複数のトークンに分割すると，全く同じ文に対するトークン列でも異なるものになる可能性がある．よって，何かしらの基準に基づいて分類を行う必要がある．そこで本研究では，分類するトークンを中心とする trigram を基準に分類する．まず，訓練データ中の最も頻度が大きいトークンを取得し，そのトークンを中心とする trigram を全て列挙する。次に列挙した trigram の中で最も頻度が大きい trigram の中心の高頻度トー クンをその trigram に対応するトークンとして分類する。例えば “on the other” という trigram が “the”を中心とする最も高頻度な trigram だった場合，訓練データ中の “on the other”として出現する “the”は "the 0 " に置き換え，“the" とは異なるトークンとして扱う。ここで，分類ルールは頻度分布をできるだけ均一に近づけることを目的としているため，極端な低頻度 trigram に対応した低頻度トークンを生成してしまうことは望ましくない，そこで，出現頻度に閾値を設定し，新たに分類したトークンがその閾値を下回るような分類は行わないこととする。また，複数の trigram に対して 1 回の分類を行うことも可能とし，例えば “on the basis”, “in the case” として出現する “the”を “the1” として分類するといった操作を許容し，新たに生成されるトークンの頻度が閾值を下回らないようにする。図 2 に分類ルールによって高頻度トークンが複数のトークンに分類される例を示す。

## 3.2 アルゴリズム

以上の分類の考え方を踏まえ，具体的な処理手順は以下の通りである。

1. 出現頻度の大きいトークンの出現頻度を減らし頻度分布を均一に近づけるため，訓練データ中の最も高頻度なトークンを取得する。
2. 1 で取得したトークンを中心とする訓練データ中の trigram を列挙し, trigram の出現頻度が大きい順にソートする。

3. 頻度の大きい trigram から順に頻度を足し合わせていき，設定した間値を超えた時点で，それ

図 2 英語における高頻度トークンである“the”を分類する様子: 一回目の分類では, “the”を中心とする trigram のうち最も高頻度である “on the other” の “the”を “the 0 ”として分類する。 二回目の分類では “on the basis” の “the”を “the1”として分類しようと試みるが，その場合 “the1” の出現頻度が間値以下になってしまうため，次点で高頻度な “in the case" も使用して分類することで "the1” の出現頻度が閾値以上になる様にする。

らの trigram の中心に出現するトークンは新たなトークンとして分類する.

4.1-3を目的の語彙数になるまで繰り返す.

上記の 1-3 の手順によって新たに分類されたトー クンが 1 種類増えるため，分類ルールを 1 回適用することで語彙数が 1 だけ増える．従って，分類ル一ル適用後の訓練データの語彙数は，分類ルール適用前の訓練データ中の語彙数と分類ルールの適用回数を足し合わせた値となる。分類ルールの適用回数は自由に設定できるため, 目的とする語彙数に調整することが可能である.

## 4 実験

本研究では，機械翻訳タスクを用いて分類ルールの効果の検証する. ベースラインとして BPE [4] でサブワード分割を行った訓練データを用意し，そのデータに対して分類ルールを適用する場合としない場合の 2 種類の訓練データを作成する. それらのデータを用いて翻訳の学習を行い，翻訳精度を比較することで分類ルールの効果を検証する。

## 4.1 実験設定

データ： $\quad$ WMT20221)の英日翻訳データに対して参照文不要の COMET [6] を適用し, 計算されたスコアの上位 1,500,000 文対を訓練データとして使用
した，評価データは，WMT2020 および WMT2021 のニュース翻訳タスクの評価データを使用した. 以下，WMT2020 の評価データを newstest20， WMT2021 の評価データを newstest21と表記する.

トークン分割方法：サブワード構築のための BPE のマージ回数は，16,000 回または 32,000 回とする. 本稿では，マージ回数 16,000 の BPE を $\mathrm{BPE}(m=16 k)$ ，マージ回数 32,000 の BPE を $\mathrm{BPE}(m=32 k)$ と表記する。分類ルールは，BPE を 16,000 回適用した入力側のデータに対して 8,000 回または 16,000 回を適用した。また分類ルールにおける最低頻度の閾値は 800 とした。これによって，出現頻度が 800 より小さくなるトークンは新たに生成されないことに注意されたい。本稿では，BPE を 16,000 回適用した後に分類ルールを 8,000 回適用したものを $\operatorname{BPE}(m=16 k)+\operatorname{CRULE}(c=8 k)$ ，BPE を 16,000 回適用した後に分類ルールを 16,000 回適用したものを $\operatorname{BPE}(m=16 k)+\operatorname{CRULE}(c=16 k)$ と表記する.

翻訳モデル： 翻訳モデルには，現在最もよく用いられるモデルである Transformer [7] を採用した. また，その実装は，fairseq [8] を用いた。

評価指標： 翻訳結果の評価には，機械翻訳の評価指標として広く用いられる BLEU スコアを用いた。BLEU スコアの計算には，sacreBLUE [9] を使用した.

## 4.2 分類ルールによる頻度分布の変化

分類ルールによる頻度分布の変化を図 3 に示す. ここで，縦軸は対数スケールの出現頻度であることに注意されたい，図 3 から，分類ルールによって高頻度トークンが複数の低頻度トークンに分割されることで，より均一な頻度分布に近づいているいことが確認できる。ただし，分類ルール適用後も高頻度のまま残ってしまうトークンが存在する。これは，分類に使用した trigram が既に高頻度である場合に，現状の trigram に基づく分類ルールではこれ以上分割して頻度を減らすことができないためである.

図 4 は，BPEを 32,000 回適用した訓練データのトークン頻度分布と，BPEを 16,000 回適用し，更に分類ルールを 16,000 回適用した訓練データのトー クン頻度分布を比較したものである．分類ルールを適用することで，BPE を継続して適用するより均一な分布に近くなっていることが確認できた。

図 3 分類ルール適用によるトークン頻度分布の変化 (上：英語，下：日本語)

表 1 日英翻訳における BLEU スコア

表 2 英日翻訳における BLEU スコア

## 4.3 機械翻訳の翻訳品質

表 1 に日英翻訳における BLEU スコアを示す。同様に，表 2 に英日翻訳における BLEU スコアを示す.日英翻訳では, newstest20 においては BPE(マージ回数 16,000$)$ の設定が最も優れており, newstest21 においては分類ルールを 8,000 回適用した設定が最も優れている結果となった. 英日翻訳では, newstest20 においては，BPE(マージ回数 16,000), BPE(マージ回数 32,000$)$ ，分類ルール 16,000 回の

図 4 BPE と分類ルールで語彙数を統一した場合の比較 (上：英語，下：日本語)

設定が最も優れており, newstest21においては BPE(マージ回数 16,000 ) の設定が最も優れていた. しかし，いずれの設定においても，最も優れている設定とそれ以外の設定における BLEU スコアの差は小さい。このことから，提案法である分類ルールを適用することによって普遍的に翻訳精度が向上するという結果は得られなかった。

## 5 おわりに

本研究では, 前処理の段階で高頻度トークンの頻度を均すことで頻度バイアスを解消する手法を提案した. 実験では，分類ルールによって訓練データ中のトークン頻度分布が均一に近づくことが確認できた。また，機械翻訳タスクにおける一部の評価データにおいて提案法が優れていることが確認できたが，提案法による普遍的な翻訳精度の向上を確認することはできなかった. 今後の展望として，分類ルールを用いて学習した翻訳モデルの埋め込み層の観察など，翻訳精度以外の観点からも分類ルールの効果を検証する必要があると考えている。

## 謝辞

本研究は，JST ムーンショット型研究開発事業 JPMJMS2011 (fundamental research) の助成を受けて実施されたものである.

## 参考文献

[1] Chengyue Gong, Tao Qin, Di He, Liwei Wang, Xu Tan, and Tie Yan Liu. Frage: Frequency-agnostic word representation. Advances in Neural Information Processing Systems, Vol. 2018-Decem, pp. 1334-1345, 2018.

[2] Jun Gao, Di He, Xu Tan, Tao Qin, Liwei Wang, and Tie Yan Liu. Representation degeneration problem in training natural language generation models. In 7th International Conference on Learning Representations, ICLR 2019, 2019.

[3] Sangwon Yu, Jongyoon Song, Heeseung Kim, Seong-Min Lee, Woo-Jong Ryu, and Sungroh Yoon. Rare Tokens Degenerate All Tokens: Improving Neural Text Generation via Adaptive Gradient Gating for Rare Token Embeddings. In ArXiv, pp. 29-45, 2022.

[4] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In 54th Annual Meeting of the Association for Computational Linguistics, ACL 2016 - Long Papers, Vol. 3, pp. 1715-1725. Association for Computational Linguistics (ACL), 2016.

[5] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In ACL 2018 - 56th Annual Meeting of the Association for Computational Linguistics, Proceedings of the Conference (Long Papers), Vol. 1, pp. 66-75. Association for Computational Linguistics (ACL), 2018.

[6] Ricardo Rei, Craig Stewart, Ana C. Farinha, and Alon Lavie. COMET: A Neural Framework for MT Evaluation. EMNLP 2020 - 2020 Conference on Empirical Methods in Natural Language Processing, Proceedings of the Conference, pp. 2685-2702, 2020.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, Vol. 2017-Decem, pp. 5999-6009, 2017.

[8] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. Fairseq: A fast, extensible toolkit for sequence modeling. NAACL HLT 2019 - 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies Proceedings of the Demonstrations Session, pp. 4853, 2019.

[9] Matt Post. A Call for Clarity in Reporting BLEU Scores. In WMT 2018 - 3rd Conference on Machine Translation, Proceedings of the Conference, Vol. 1, pp. 186-191. Association for Computational Linguistics (ACL), 2018.


# 自然言語生成タスクの自動評価指標のためのドメイン外検出

伊藤拓海 $^{1}$ 森下睦 ${ }^{2}$ 鈴木潤 1
1 東北大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
t-ito@tohoku.ac.jp makoto.morishita.gr@hco.ntt.co.jp jun.suzuki@tohoku.ac.jp

## 概要

自然言語生成タスクの評価指標として，ニューラルベースの評価指標が急速に発展している. しかし，これらの評価指標は，学習を伴う指標であり，評価するデータが評価指標の学習データのドメイン外の場合，誤ったスコアを付与する可能性がある.本稿では，機械翻訳のための参照なし評価指標である COMET-QE に対して，1クラス分類器を評価指標に適用することで，ドメイン外検出をする方法を提案する. さらに，1 クラス分類器の分類精度向上を目指し, 特徴量空間においてドメイン内とドメイン外のデータ点を分離できるように, 評価指標の学習時に距離学習を適用した. 実験の結果，既存手法であるモンテカルロドロップアウトを用いた手法を上回るドメイン外検出能力を達成した.

## 1 はじめに

機械翻訳や要約生成などの自然言語生成 (NLG) タスクにおいて, NLG モデルの評価方法の研究が注目されている。その評価方法は，人手評価と自動評価に大きく分類される. 人手評価は，人がモデルの性能を評価する方法であり，多くのタスクにおいてゴールドスタンダードとされている. しかしながら，人手評価は一般に時間的・金銭的なコストが高く, 再現性の観点でも課題がある. そのため, 代替手法として時間的・金銭的なコストが低く再現性も高い自動評価指標が用いられる。さらに，自動評価指標は参照あり評価指標と参照なし評価指標に大きく分類することができる。「参照」とは，各 NLG タスクの評価事例に対して人が作成した解答例となるテキストである．参照あり手法とは，参照テキストとシステムが生成したテキストを比べることで評価をする手法である。一方，参照なし評価指標とは参照テキストを使用しない評価方法である. つまり，参照なし評価指標は，評価事例として NLG モデルへの入力データとモデルの出力があれば適用可能である．新たなドメインの評価事例などに対して，より低コストでNLG モデルを評価できる可能性を秘めており，評価のスケールアップが期待されている. 以前は，参照あり手法に比べて，評価性能が劣っているとされていたが，近年参照あり手法と競争的な評価性能を達成する手法がいくつか提案されてきている [1]. ${ }^{1)}$ また，参照なし評価指標は NLG モデルの評価だけでなく，NLG モデルの推論時のリランキングなどにも使用されるなど，その応用範囲も広い [2].

こうした参照なし評価指標の発展の背景には, ニューラルベースの教師あり評価指標の発展がある.2)特に，人が付与した品質評価スコアを教師に， BERT などの言語モデルをべースとした回帰モデルを学習する手法がよく提案されている [3]. しかし， こうした学習が伴う手法では, 機械学習一般の課題であるが，学習データ中に評価事例の類似事例がない場合に，その評価事例の評価性能（或いは評価の信頼性）が低くなるという課題がある。実際，機械翻訳の多くの評価指標が，ドメインに対して頑健でないことが報告されている [4]. さらに，学習済みのモデルだけが配布されることが多々あり，モデルの学習に使用したデータの詳細が評価指標の利用者からは特定できない場合も少なくない. 評価指標の使用方法を誤ったり，本来使用すべきではないデー タに対して使用すると，NLG モデルの開発の失敗に繋がることや，誤った研究の結論を導く可能性がある.

本稿では，評価指標に対して評価するデータが学習データに含まれるドメインかどうかを検出する （ドメイン外検出と呼ぶ）機能を組み込むことを目指す。参照なし評価指標は学習データ外のドメインのデータに対して適用するされる可能性が高いため, 本稿では参照なし評価指標に焦点を当てる. 評

1）NLG の評価指標は一般に，人手評価と相関（人手相関）が高いものほど高性能な指標とされている.

2）ニューラルベースの NLG 評価指標は参照あり評価指標においても主流となっている.
価指標としての性能を維持したままドメイン外検出を実現することができれば，より公平で正確な NLG モデルの評価につながる. さらに，ドメイン外検出は評価指標の解釈性 [5] の向上にも貢献しうる.

## 2 関連研究

COMET [3] とは，機械翻訳タスクのための評価指標のフレームワークであり ${ }^{3}$ ，参照ありと参照なしの両方のバージョンを提供している（参照なしを COMET-QE [1] と呼ぶ).ここでは, COMET$\mathrm{QE}[1]$ について説明する. 参照なし手法は, 原文 $s$ と, NLG システムの出力文 $h$ を COMET-QE の入力とする. COMET-QE のモデル構造は，まず， XLM-RoBERTa [6] などの多言語マスク言語モデルによって原文と NLG システムの出力文から特徴量べクトル $\boldsymbol{x}$ を得て，それをフィードフォワード層 $f(\cdot)$ に入力し, 評価スコアを出力する. 特徴量べクトル $x$ は以下のように計算される.

$
\begin{aligned}
\mathbf{s} & =\operatorname{XLM}-\operatorname{RoBERTa}(s) \\
\mathbf{h} & =\operatorname{XLM}-\operatorname{RoBERTa}(h) \\
\mathbf{x} & =[\mathbf{h} ; \mathbf{s} ; \mathbf{h} \odot \mathbf{s} ; \mathbf{h}-\mathbf{s}]
\end{aligned}
$

人が付与するスコアを $q$ ，バッチサイズを $n$ とすると，損失関数 $L$ は以下のように計算される。

$
L=\frac{1}{n} \sum_{i=1}^{n}\left(f\left(\mathbf{x}_{i}\right)-q_{i}\right)^{2}
$

本研究と類似し, NLG 評価指標に対して, 信頼性スコアを出力する取り組みが既になされている $[7,8]$. ドメイン以外にも, 学習データや参照テキストのノイズなども不確定性の要因となり得る. 例えば, Glushkova ら [7] は, モンテカルロドロップアウト (MCD) とディープアンサンブルの 2 つの不確実性推定手法を, COMET に適用している. MCD とは，推論時にもドロップアウトを適用し，複数回推論を行い，スコア集合 $Q=\left.\{q_{1}, q_{2}, \ldots, q_{i}\right.\}$ を求める. ガウス分布を仮定し, スコア集合 $Q$ から, 平均と標準偏差を推定する.この平均を新たなスコアとし，標準偏差を信頼性スコアとする. ディープアンサンブルは，複数のモデルを用意し，スコア集合を得る方法である. MCD やディープアンサンブルでは，推論に時間を要するという課題がある. Zerva ら [8] は，平均と標準偏差を直接出力するように COMET を学習する手法を提案している。なお, これらの論文は，主に参照ありの設定で実験を行なっている。

3) https://github.com/Unbabel/COMET

## 3 提案手法: 学習ドメイン外検出

本研究の目標は, 評価指標としての性能を維持したまま，ドメイン外検出を行うことである。本研究では, 評価指標の学習データを正クラス, 学習デー タ以外のドメインのデータを負クラスと呼ぶ.

## 3.1 1 クラス分類

ドメイン外検出のため 1 クラス分類器を適用する. 1 クラス分類タスクとは正クラスかどうかを分類するタスクであるが，多クラス分類タスクとは異なり, 学習時には正クラスのみのデータを使用し,推論時に正クラスか負クラスかを分類する. 本実験では, 正クラスのインスタンスの COMET-QE の特徴量ベクトルを1クラス分類タスクの学習データとする.つまり, COMET-QE の学習データを $D_{\text {in-domain }}$ とすると, 1 クラス分類器の学習データ $D_{\text {OneClass }}$ は $D_{\text {OneClass }}=\left.\{\mathbf{x}_{i} \mid\left(s_{i}, h_{i}\right) \in D_{\text {in-domain }}\right.\}$ となる. また, この手法は評価指標の学習後に, 1クラス分類器の学習が可能であり, ドメイン外検出器を搭載することは, 評価指標の性能には影響を与えない。なお，本稿では, 1 クラス分類のアルゴリズムとして, 高次元に対応した Empirical-Cumulative-distribution-based Outlier Detection (ECOD) [9] を使用する。

## 3.2 Triplet Margin Loss

本実験では，既存研究 [10]を参考に，1クラス分類の精度向上を目指し, COMET-QE の学習時に距離学習を組み込み，特徴量埋め込みの空間において正クラスのデータ点を近づけ，正クラスと負クラスの距離を大きくする. 本研究では, Triplet Margin Loss を使用する。なお，今回は負クラスのデータ点同士が近付くようには学習する必要がないため, アンカーには正クラスのサンプルだけを使用する。また，ミニバッチ内で作成できる全ての組み合わせを考慮する。つまり，アンカーを $a$ ，正クラスのインスタンスを $p$ ，負クラスのインスタンスを $n$ ，ミニバッチ内での組み合わせの数を $c$ とすると, Triplet Margin Loss は以下のように計算される.

$
L_{\text {triplet }}=\frac{1}{c} \sum_{i}^{c} \max \left.\{d\left(a_{i}, p_{i}\right)-d\left(a_{i}, n_{i}\right)+\text { margin, } 0\right.\}
$

なお， $d$ はインスタンスの特徴量ベクトルの間の L2 距離である.

## 4 実験

第 3 節の手法の有効性を検証する．評価指標としての性能を落とすことなく, ドメイン外検出することを目指す。

## 4.1 モデル設定

本実験では，以下の４つの設定を比較する.
- MCD: COMET-QE に対して, MCD を適用 [7].
- OneClass: COMET-QE を学習し，その後 1 クラス分類器を学習. 人手相関の観点では, COMET-QE に一致する.
- Margin(.05): COMET-QE の学習時に Triplet Margin Loss を margin 0.05 で学習し，その後 1 クラス分類器を学習.
- Margin(.1): COMET-QE の学習時に Triplet Margin Loss を margin 0.1 で学習し, その後 1 クラス分類器を学習.

本研究では, $\mathrm{MCD}$ の推論回数は 100 回に設定し, ドロップアウト率は 0.1 とした。また，本実験では，式 2 と Triplet Margin Loss を重み付けることなく線形に組み合わせた. ハイパーパラメータ等の詳細な設定は付録 A に示す. なお，第 2 節で紹介した， ディープアンサンブルや Zerva ら [8] の手法も比較可能な手法であるが，今後の課題とする。

## 4.2 学習/評価データセットと評価方法

学習データ. WMT 2022 Metrics Shared Task (WMT22)の学習データとして配布されている newstest2020と newstest2021の MQM データを使用する. ${ }^{4}$ この $\mathrm{MQM}$ データには，英語-ドイツ語，中国語-英語，英語-ロシア語の 3 つの言語対が含まれている。なお，言語対によってスコアを付与した組織が異なり，スコアのレンジが異なる.5)本実験では，前処理として MQM スコアを正規化してから学習に使用した。また，Triplet Margin Loss で使用する負クラスのデータは ParaCrawl [11] から，言語対ごとに正クラスと負クラスのサンプルサイズが同数になるようにサンプリングした．MQM データの 1 割

4) WMT22 では, Direct Assessments (DA) data という WMT の News translation task での人手評価のスコアも評価指標の学習データとして配布されている. 先行研究 [1] などでは, DA data で事前学習したのち，MQM data で微調整をするという戦略をとっているが，本実験では DA data は使用しない.

5）英語-ドイツ語と中国語-英語はスコアのレンジは $[-25,0]$ である。一方で，英語-ロシア語はスコアのレンジは $[-\inf (-400), 100]$ である.表 1 英語-ドイツ語の人手相関。值はセグメントレベルのケンドールの順位相関係数.

} \\

表 2 英語-ロシア語の人手相関。值はセグメントレベルのケンドールの順位相関係数.

} \\

表 3 中国語-英語の人手相関. 值はセグメントレベルのケンドールの順位相関係数.

} \\

を開発データに使用し，残りの9 割を COMET-QE の学習に使用した。

評価データ． WMT21の TedTalks のデータセット [4] と WMT22 の評価用データセット [12]を使用する. どちらのデータも MQM でアノテーションされたデータであり，英語-ドイツ語，中国語-英語，英語-ロシア語の 3 つの言語対を含む. なお， WMT22には news, conversational, e-commerce, social の 4 つのドメインが含まれている. 本実験では, WMT22 の news を正クラスのドメイン, TedTalks と conversational, e-commerce, social の4つを負クラスのドメインとする.

評価方法. 評価指標の性能評価は，MQM スコアとの相関を報告する. ${ }^{6)}$ ドメイン外検出の評価には AUROC を使用する。

## 4.3 実験結果

表 $1,2,3$ に各データセットの人手相関（ケンドー ルの順位相関係数7)）の結果を示す. “mixed”とは，

6）相関の計算には https://github.com/google-research/ mt-metrics-eval を使用した。相関の計算時には人手翻訳は含めていない。

7） ケンドールの順位相関係数は，セグメントレベルの MQM データセットの評価の際に使用される指標である。
表 4 AUROC. 正クラスのデータはwmt22-news.

wmt22 の 4つのドメインを全て混合させた設定である.なお，表の conv.と ecはそれぞれ， conversational と e-commerce の略記である。表 4 には AUROC の結果を示す. 付録 B にシステムレベルの評価結果とケンドールの順位相関係数以外の相関の結果を示す.なお, OneClassの人手相関は COMET-QE と一致する.

人手相関に関して, news と news 以外のドメインを比較すると, news 以外のドメインでは相関が弱くなっていることがわかる. 例えば，表 1 の英語-ドイツ語では, COMET-QE（OneClass）は人手相関が wmt22-news では 0.330 であるのに対して， wmt22-conversation では，0.134である. 今回の実験結果からは, news 以外のドメインのテストデータがドメイン以外の問題で難易度が高くなっている可能性も捨てきれない. しかし，少なくとも，ドメインによっては相関が低い場合があることがわかる.

表 4 より，MCD ではほとんどの言語対・データセットで AUROC が 0.5 前後であり，ドメイン外検出ができていないことがわかる. いくつかの設定では， 0.5 を下回っている (表の赤字). 特に， $\mathrm{MCD}$ は中国語-英語の wmt22-conversation, wmt22-social に対し, AUROC が 0.233，0.193 と低い值になっている. つまり，これらのデータセットでは， MCD では正のクラス wmt22-news の方が標準偏差の値が大きくなっていることを意味する.

一方, OneClass は一貫して，MCD を超えるドメイン外検出性能を達成しており, COMET-QE の特徵量ベクトルにドメインの情報が含まれていることが示唆される. 特に，どの言語対でも conversation のドメインに対しては AUROC の値が 0.8 を超えている. conversation は特に人手相関が弱いドメインであり，1クラス分類を適用することで，評価指標の評価性能が悪いドメインを検出できていることが示唆される。

また，Triplet Margin Loss を適用すると，一貫して AUROC の値が向上していることがわかる. しかし，ドメイン外検出の精度は向上したが，ほとんど
のデータセットで人手相関が弱くなっている. 特に, OneClass と比較すると, Margin が 0.1 の時に大きく相関が下がっている。また，正クラスである wmt22-news においても，一貫して相関が弱くなっている。距離学習を組み込むことで，特徴量空間において正クラスと負クラスのデータ点を分けることはできたものの，評価指標の評価性能自体に悪影響を与えてしまっていることが示唆される. 別の距離学習アルゴリズムを使用したり, 距離学習時に使用する負クラスのサンプルの選択方法を工夫したり，学習戦略やハイパーパラメータの微調整したりすることによって改善する可能性があると考えている. それらの検証は今後の課題である.

## 5 おわりに

本研究はドメイン外検出の機能を NLG 評価指標に適用することを目指したものである. 本実験では，参照なし評価指標に焦点をあて，1クラス分類器を参照なし評価指標に組み込むことを検証した。 また，距離学習である Triplet Margin Loss を用いて，評価指標の特徵量空間において，学習ドメインとそれ以外のドメインのデータ点の距離を離すことを試みた. その結果, 先行研究である $\mathrm{MCD}$ と比較して, 1クラス分類器を用いた手法が評価指標としての性能に影響を与えることなく，ドメイン外検出ができていることがわかった. また, Triplet Margin Loss を用いることで，ドメイン外検出の精度は向上したが，評価性能が低下してしまった. 特に，正クラスのドメインに対しても人手相関が弱くなってしまっている.

本稿では，参照なし評価指標を対象としたが，本稿の手法は参照あり評価指標にも適用可能であり,今後の課題である. ドメイン外検出に焦点を当てたが，学習ドメイン外でも高性能な評価指標の実現のため，分布外一般化 [13] も，今後の研究の重要な方向性の一つである. NLG 分野において，高性能で頑健な自動評価指標の開発は重要な研究課題であり,今後更なる研究の推進を期待する.

## 謝辞

本研究は JSPS 科研費 JP21J14152, JST ムーンショット型研究開発事業 JPMJMS2011 (fundamental research) の助成を受けて実施されたものである.

## 参考文献

[1] Ricardo Rei, Ana C Farinha, Chrysoula Zerva, Daan van Stigt, Craig Stewart, Pedro Ramos, Taisiya Glushkova, André F. T. Martins, and Alon Lavie. Are References Really Needed? Unbabel-IST 2021 Submission for the Metrics Shared Task. In Proceedings of the Sixth Conference on Machine Translation, pp. 1030-1040, Online, November 2021. Association for Computational Linguistics.

[2] Patrick Fernandes, António Farinhas, Ricardo Rei, José De Souza, Perez Ogayo, Graham Neubig, and Andre Martins. Quality-Aware Decoding for Neural Machine Translation. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1396-1412, Seattle, United States, July 2022. Association for Computational Linguistics.

[3] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. COMET: A Neural Framework for MT Evaluation. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing, pp. 26852702, Online, November 2020. Association for Computational Linguistics.

[4] Markus Freitag, Ricardo Rei, Nitika Mathur, Chi-kiu Lo, Craig Stewart, George Foster, Alon Lavie, and Ondřej Bojar. Results of the WMT21 Metrics Shared Task: Evaluating Metrics with Expert-based Human Evaluations on TED and News Domain. In Proceedings of the Sixth Conference on Machine Translation, pp. 733-774, Online, November 2021. Association for Computational Linguistics.

[5] Christoph Leiter, Piyawat Lertvittayakumjorn, Marina Fomicheva, Wei Zhao, Yang Gao, and Steffen Eger. Towards Explainable Evaluation Metrics for Natural Language Generation, 2022.

[6] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised Cross-lingual Representation Learning at Scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[7] Taisiya Glushkova, Chrysoula Zerva, Ricardo Rei, and André F. T. Martins. Uncertainty-Aware Machine Translation Evaluation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 39203938, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[8] Chrysoula Zerva, Taisiya Glushkova, Ricardo Rei, and André F. T. Martins. Disentangling Uncertainty in Ma- chine Translation Evaluation. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing. arXiv, 2022.

[9] Zheng Li, Yue Zhao, Xiyang Hu, Nicola Botta, Cezar Ionescu, and George Chen. ECOD: Unsupervised Outlier Detection Using Empirical Cumulative Distribution Functions. IEEE Transactions on Knowledge and Data Engineering, pp. 1-1, 2022.

[10] Wenxuan Zhou, Fangyu Liu, and Muhao Chen. Contrastive Out-of-Distribution Detection for Pretrained Transformers. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 1100-1111, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[11] Marta Bañón, Pinzhen Chen, Barry Haddow, Kenneth Heafield, Hieu Hoang, Miquel Esplà-Gomis, Mikel L. Forcada, Amir Kamran, Faheem Kirefu, Philipp Koehn, Sergio Ortiz Rojas, Leopoldo Pla Sempere, Gema RamírezSánchez, Elsa Sarrías, Marek Strelec, Brian Thompson, William Waites, Dion Wiggins, and Jaume Zaragoza. ParaCrawl: Web-Scale Acquisition of Parallel Corpora. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4555-4567, Online, July 2020. Association for Computational Linguistics.

[12] Tom Kocmi, Rachel Bawden, Ond $\AA^{\mathrm{TM}}{ }^{\mathrm{e}}$ ej Bojar, Anton Dvorkovich, Christian Federmann, Mark Fishel, Thamme Gowda, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Rebecca Knowles, Philipp Koehn, Christof Monz, Makoto Morishita, Masaaki Nagata, Toshiaki Nakazawa, Michal Nov $\tilde{A}_{i} k$, Martin Popel, MajaPopoviÄ $\ddagger$, Mariya Shmatova. Findings of the 2022 Conference on Machine Translation (WMT22). In Proceedings of the Seventh Conference on Machine Translation, pp. 1-45, Abu Dhabi, December 2022. Association for Computational Linguistics.

[13] Zheyan Shen, Jiashuo Liu, Yue He, Xingxuan Zhang, Renzhe Xu, Han Yu, and Peng Cui. Towards Out-OfDistribution Generalization: A Survey, 2021.

## A 実験設定

表 5 COMET-QE のハイパーパラメータ

表 5 に COMET-QE の学習時のパラメータを示す.本実験では，Triplet Margin Lossを使用した際も同様の設定を用いた. 毎エポック後にモデルを保存し，開発データに対するケンドールの順位相関係数が最も高かったチェックポイントのモデルを評価に使用した。なお，ケンドールの順位相関係数に対して， Early Stopping を行った.

## B 実験結果

表 6 英語-ドイツ語のセグメントレベルのピアソンの相関係数.

} \\

表 7 英語-ロシア語のセグメントレベルのピアソンの相関係数.

} \\

表 8 中国語-英語のセグメントレベルのピアソンの相関係数.

} \\

表 $6,7,8$ に各言語対のセグメントレベルのピアソンの相関係数の結果を，表 $9,10,11$ に各言語対表 9 英語-ドイツ語のセグメントレベルのスピアマンの順位相関係数。

} \\

表 10 英語-ロシア語のセグメントレベルのスピアマンの順位相関係数。

} \\

表 11 中国語-英語のセグメントレベルのスピアマンの順位相関係数.

} \\

表 12 システムレベルのピアソンの相関係数.

 &  &  &  &  &  \\

のセグメントレベルのスピアマンの順位相関係数の結果を示す. また，表 12 にシステムレベルのピアソンの相関係数を示す. システムレベルについては，ピアソンの相関係数の值のみを報告するが，これは WMT22でも同様にシステムレベルではピアソン相関係数が報告されている。なお，システムレべルでは，WMT22の全体の結果と TedTalks の結果のみを示す.


# サプライザルを利用した日本語の流暢性フィルタリングの試み

田村鴻希土井惟成西田直人 Junjie Chen 谷中瞳
東京大学
tamura-k@tkl.iis.u-tokyo.ac.jp doi@cl.rcast.u-tokyo.ac.jp
nawta@g.ecc.u-tokyo.ac.jp \{christopher, hyanaka\}@is.s.u-tokyo.ac.jp

## 概要

機械翻訳の分野では、Web サイトから大量の対訳を自動収集し、対訳コーパスを作成する技術について研究が進められている。しかし、自動収集した対訳コーパスには不適切な対訳が多く含まれることがあり、不適切な対訳は対訳コーパスを用いて学習した機械翻訳モデルの品質に影響を与えうる。このような問題を解決するため、近年では、対訳コーパスから不適切な対訳を取り除く手法に関する研究が進められている。ここで、不適切な対訳の一つとして流暢性の低い対訳が考えられる。本研究では、単語や文のサプライザルが読みやすさを決める主要因であるとするサプライザル理論に基づき，サプライザルが流暢性と相関するという仮説を立て、その検証を行う。実験では、サプライザルが流暢性と相関するという有意な証拠は得られなかった。

## 1 はじめに

現在の機械翻訳では、対訳コーパスを利用して教師ありの手法で学習する、ニューラル機械翻訳（以下、NMT）[1]が主流である。NMT モデルの学習には大規模な対訳コーパスが必要であり、これを作成するために Web サイトから大量の対訳を自動収集して対訳コーパスを作成する研究が行われている $[2,3]$ 。しかし、自動収集した対訳コーパスには不適切な対訳が多く含まれてしまうという問題がある。 NMT モデルは、学習時の対訳コーパスの質と量に大きな影響を受ける傾向があり、不適切な対訳を含む文を学習に用いると翻訳精度が低くなることが知られている [4]。このような問題を解決するため、近年では、対訳コーパスから不適切な対訳を取り除く手法に関する研究が進められている [5]。

不適切な対訳の例として、流暢性の低い文を含む対訳が挙げられる。一般社団法人日本翻訳連盟の
JTF 翻訳品質評価ガイドライン [6] では、翻訳に含まれるエラーの度合いで評価指標の基準を定めた JTF 翻訳品質評価モデルを提供している。「流暢さ」11) は $\mathrm{JTF}$ 翻訳品質評価モデルのエラー・カテゴリーの一つであり、「あるテキストが形式として整っているかの程度」と定義されている。流暢性が低い対訳を NMT モデルの学習に用いると翻訳の品質や精度に影響を与える可能性があるため、対訳コーパスから流暢性の低い文を取り除く手法が求められる。本研究では、流暢性の低い和文を取り除く手法として、文の読み時間との相関が指摘されている、サプライザル理論に基づくサプライザル $[7,8,9]$ の利用を検討する。サプライザルは、対象の単語に対して、その文脈における負の対数確率により、文の処理に関する負荷をモデル化した指標である。このサプライザルが流暢性と相関するという仮説を立て、流暢性が多岐にわたる和文を収集し、サプライザルの高低から流暢性の傾向を分析した。

実験は、機械的評価による実験と、人手評価による実験から構成される。前者では、英文と和文のサプライザルの分布を分析する。また、これらのサプライザルが他の言語的なパラメータと相関関係を持つか分析する。後者では、英文と和文のサプライザルの差に基づいて作成したデータセットの文の流暢性を複数の作業者が人手で評価し、サプライザルと流暢性が相関関係を持つか分析する。

## 2 関連研究

サプライザルは、心理言語学での活用だけでなく、対話の容認性評価 [10]、小論文の自動採点 [11]英作文のレベル判定 [12]、Code-Switching の判定 [13] など自然言語処理の応用タスクの評価指標としても用いられている。既存研究を踏まえて、本研究ではサプライザルを対訳コーパスの流暢性フィルタリン

グの指標として適用できるか分析を行う。

流暢性を自動評価する試みは今までにも行われている $[14,15]$ が、サプライザルとの相関を分析する既存研究は存在しない。本研究と近い研究としては、サプライザルとの相関が報告されている読み時間を自然言語生成の文評価に用いるもの [16] が存在するが、人手での流暢性評価との相関を示すものではない。

## 3 実験用データセット

## 3.1 日英対訳コーパス

本研究で利用する対訳コーパスとして、 JParaCrawl[3] の English-Japanese training set (v3.0) [17] （以下，JParaCrawl v3.0）を採用する。この理由として、JParaCrawl v3.0 は、和文と英文の掲載元 Web サイトのドメインが併記されていることや、和文と英文のアライメントの精度が十分高いと考えられることが挙げられる。

## 3.2 ドメインによる整理

本研究では、英語圏のドメインの Web サイトに記載されている英文は、ネイティブによって書かれており、流暢性は十分に高い、また、その英文に紐付いている和文は、必ずしも流暢性が高いとは言えない、という仮説のもと、英文が英語圈のドメインの Web サイトに掲載されている対訳を収集した。具体的には、英文が掲載されていた Web サイトのトップドメインが、主な英語圏の国別コードトップレベルドメイン等である対訳を抽出した。対象とした国別コードトップレベルドメインと、その内訳は付録の表 7 に示す。なお、英文と和文が重複している対訳は削除し、1つの対訳とした。この結果、128,602 対訳のデータセット（以下、本データセット）を作成した。

## 3.3 サプライザルの計算

サプライザルとは，単語や文のサプライザル（ $-\log ($ 単語や文| 先行文脈)）が読みやすさを決める主要な要因であるとするサプライザル理論において用いられている指標である $[7,8]$.

本データセットの和文と英文を対象に、各文のサプライザルを算出した。サプライザルは、 Kuribayashi et al.[18] のコード2)により、トークンご

2) https://github.com/kuribayashi4/surprisal_reading_

図 1 和文と英文のサプライザルの分布

とのサプライザルを算出し、その総和を指標として用いた。なお、和文のサプライザルの計算モデルには Japanese LSTM LM、英文のサプライザルの計算モデルには English Transformer-sm LM を用いた3)。

## 4 実験 1: 機械的評価による実験

実験 1 ではサプライザルが言語的なパラメータとどのような相関を持つか機械的に分析する。

## 4.1 サプライザルの分布

和文と英文のサプライザルの分布を図 1 に示す。 また、和文と英文のサプライザルに対して $\mathrm{t}$ 検定を行ったところ、和文サプライザルの平均値の方が大きい（p 值は 0.001 未満）ことがわかった。このことから、和文と英文では、サプライザルの分布が異なるといえる。

## 4.2 サプライザルと言語的パラメータの 相関

本研究では、言語的パラメータとして、和文と英文の一致度を対象に分析するため、日英機械翻訳モデルによる和文の英訳文と参考訳 (英文の原文）の BLEU スコア [19] と、日英の分散表現のコサイン類似度（以下、USE スコア）を用いた。日英機械翻訳モデルは、opus-mt-ja-en ${ }^{4)}$ を使用した。また、テキストの分散表現の算出には TensorFlow の Embedding メソッド5)を使用し、分散表現のモデルには TensorFlow の universal-sentenceencoder-multilingual ${ }^{6}$ を使用した。あわせて、サプライザルの算出時の日英のトークン数を比較の対象と

表 1 サプライザル、トークン、言語的パラメータ間の相関係数（ $\mathrm{p}$ 值はいずれも 0.001 未満）

した。

言語的パラメータとの相関分析の結果を、表 1 に示す。なお、 $\mathrm{p}$ 値はいずれも 0.001 未満であった。 まず、和文と英文のサプライザルは、トークン数に強く相関することがわかる。一方で、和文と英文の一致度に関連すると考えられる、BLEU スコアと USE スコアはいずれも、和文と英文のサプライザルとの相関は認められなかった。ただし、BLEUスコアとUSE スコアは互いに一定程度の相関が認められることから、文の一致度の尺度としては十分に機能していると考えられる。このことから、機械的評価からは、和文と英文のサプライザルは文の一致度とは相関しないことが考えられる。

## 5 実験 2: 人手評価による実験

実験 2 では、本データセットを対象に、サプライザルの傾向が異なる 3 種類のデータセットを作成し、それぞれに含まれる和文の流暢性を人手で評価し、その傾向の差異について分析する。

## 5.1 流暢性評価データセットの作成

まず、和文と英文のサプライザルの傾向の差異を踏まえ、下記のとおりサプライザルの順位の差に基づく 3 種類のデータセットをそれぞれ 100 文対ずつ作成した。なお、順位はサプライザルが高いほど小さい值をとる。

・(英文サプライザル順位-和文サプライザル順位) の値が低い 100 文対（en_high）

・(和文サプライザル順位-英文サプライザル順位) の値が低い 100 文対（ja_high）

・両サプライザルの順位差が小さい順に並べた 100 文対（sim）

ただし、en_high と ja_high については、翻訳のエラーによる外れ値の影響を軽減するため、サプライザル順位差の上位 $5 \%$ を除外した残りのデータからそれぞれ上位 100 文対を選んだ。これらの各 100 文対を対象に、(1) 対訳エラーの判定と (2) 流暢性評価を行った。具体的には、それぞれの文対に対して表 2 流暢性の評価基準

3 人の作業者を割り当て、(1)-(2)を文対ごとに手作業で実施した. 作業者は、いずれも日本語を母語とする情報系の大学院生であり、作業時間は合計 10.8 時間（一人当たり平均 3.6 時間）だった。以下では、 それぞれの作業手順の詳細を述べる。

(1) 対訳エラーの判定各作業者は、各データセットの文対に対して、実際に対訳として成立しているか否かを判定する。流暢性によらず翻訳エラーを含む文対は、対訳データセットの流暢性を評価する際にノイズとなるため、それぞれのエラータイプを分類したうえで流暢性評価の対象から外す。

以下に、本研究で用いたエラータイプの分類と、各エラーの内容を記述する。

・アライメントエラー：全く別の文が割り当てられている場合

・テキスト抽出エラー：途中で文が切れていたり、複数の文が混ざっている場合

・翻訳エラー：誤訳の程度が非常に大きい場合
- 英文過多: 英文の各要素に対応する和文の要素が著しく欠けている場合
- 和文過多 : 和文の各要素に対応する英文の要素が著しく欠けている場合

なお、翻訳エラーの基準には、特許庁の機械翻訳に関する調査報告書「特許文献機械翻訳の品質評価手法に関する調査」(平成 25 年度 $)^{7)}$ の「内容の伝達レベルの評価」を使用し、 5 段階評価のうち 2 以下 （2はいくつかの重要情報が正確に伝達されている、 1 は文意がわからない、もしくは正確に伝達されている重要情報はほとんどない) であると作業者が判断したものを翻訳エラーとしている。

7) https://www.jpo.go.jp/system/laws/sesaku/ kikaihonyaku/document/kikai_honyaku/h25_01.pdf
表 3 流暢性評価データセットの各作業者がエラー判定した文対の数の平均

表 4 作業者間の流暢性評価の一致度（Cohen’s Kappa）

表 5 作業者間の流暢性評価に対する Kruskal-Wallis 検定

(2) 流暢性の判定 (1)の手順で除外しなかった文対を対象に、それぞれの和文の流暢性を判定する。流暢性評価の基準は、表 2 に示すとおり、長我部らによる「流暢性の評価基準」[20]を利用した。なお、表 2 の各評価に対応する、全作業者の評価が一致した例文を、付録の表 8 に記載する。

## 5.2 流暢性人手評価の統計情報

流暢性評価データセットで各作業者がエラー判定した文対の数の平均と、その内訳を表 3 に示す。表 3 から、英文のサプライザルが高い文対では英文からの翻訳抜けが多く、また和文のサプライザルが高い文対では和訳に余分な情報が入りやすい傾向がみられる。これは、表 1 から読み取れるサプライザルとトークン数との相関を裏付ける結果である。流暢性評価データセットでの、作業者間の流暢性評価の Cohen's Kappa[21] による一致度を表 4 に示す。なお、エラー判定の場合も含めて一致度を計算するため、対訳エラーと判定された文対は評価ラべルを 0 として一致度を計算した。また、流暢性評価の差の大きさを考慮するため、各文対の評価の差をそれぞれ二乗して重みづけした [22]。

表 4 に示した一致度をみると、作業者 2 の一致度が低く、作業結果が一貫していないと考えられる。 したがって、本研究での流暢性評価では作業者 1 および作業者 3 の結果のみを用いる。

## 5.3 サプライザルと流暢性人手評価の相関

作業者 1 と作業者 3 の、各データセットでそれぞれエラーと判定しなかった文対への流暢性評価に対する Kruskal-Wallis 検定 [23] の結果、および文対への平均評価值をそれぞれ表 5 と表 6 に示す。表 5 か表 6 各作業者がそれぞれエラー判定しなかった文対での平均評価値

らは、有意水準 5\%の下で、作業者 1 の結果では有意に各データセットの評価値の分布に差があるといえる。しかし、作業者 3 の結果では帰無仮説を棄却できず、作業者によってサプライザルと流暢性の主観評価の関係にはばらつきがあることが考えられる。ただし、現在の $\mathrm{p}$ 値がデータ数の少なさに依存する可能性を注記する。また、平均評価値からは、評価値の分布に差があるとすればどちらの作業者の場合も和文のサプライザルが高いデータセットでの評価値の低さに原因を求められる。

本実験の結果からはサプライザルと流暢性の相関関係は定かにはならなかった。サプライザルと流暢性評価の相関関係の個人間のばらつきは、流暢性の判断基準として（サプライザルと相関する）読解時間に重点を置いているかにばらつきがあることを示しており、流暢性評価の基準は個人差が大きいことを示唆している。この結果、および一致度の低い作業者の存在は、より個人差の少ない流暢性評価の基準、もしくは評価手法の必要性を示唆している。また、現在の手法において精度の高い結果を得るためには多人数、およびより多い文対での実験が必要といえる。

## 6 おわりに

本研究では、サプライザルが流暢性と相関するという仮説を立て、機械的評価と人手評価の 2 種類の実験で検証を行った。実験の結果、サプライザルが流暢性の低い和文を取り除くためのパラメータとして有意であることは確認できなかった。今後の課題としては、人手評価の作業者を増やし、評価する文対の数を増やすこと、また、流暢性やエラー判定の作業者間での判定基準をより詳細に定めることによって作業者間での評価基準のぶれやその影響を減らし、より信頼性の高い統計とすることが挙げられる。

## 謝辞

本研究は JSPS 科研費 JP20K19868 の助成を受けたものです.

## 参考文献

[1] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequence learning with neural networks. In Proceedings of the 27th International Conference on Neural Information Processing Systems - Volume 2, NIPS'14, pp. 3104-3112, Cambridge, MA, USA, 2014. MIT Press.

[2] Miquel Esplà, Mikel Forcada, Gema Ramírez-Sánchez, and Hieu Hoang. ParaCrawl: Web-scale parallel corpora for the languages of the EU. In Proceedings of Machine Translation Summit XVII: Translator, Project and User Tracks, pp. 118-119, Dublin, Ireland, August 2019. European Association for Machine Translation.

[3] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 36033609, Marseille, France, May 2020. European Language Resources Association.

[4] Huda Khayrallah and Philipp Koehn. On the impact of various types of noise on neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 74-83, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[5] Philipp Koehn, Vishrav Chaudhary, Ahmed El-Kishky, Naman Goyal, Peng-Jen Chen, and Francisco Guzmán. Findings of the WMT 2020 shared task on parallel corpus filtering and alignment. In Proceedings of the Fifth Conference on Machine Translation, November 2020.

[6] 一般社団法人日本翻訳連盟. JTF 翻訳品質評価ガイドライン. 2018.

[7] John Hale. A probabilistic Earley parser as a psycholinguistic model. In Second Meeting of the North American Chapter of the Association for Computational Linguistics, 2001.

[8] Roger Levy. Expectation-based syntactic comprehension. Cognition, Vol. 106, No. 3, p. 1126-1177, 2008.

[9] Irene Fernandez Monsalve, Stefan L. Frank, and Gabriella Vigliocco. Lexical surprisal as a general predictor of reading time. In Proceedings of the 13th Conference of the European Chapter of the Association for Computational Linguistics, pp. 398-408, Avignon, France, April 2012. Association for Computational Linguistics.

[10] Investigating perception of spoken dialogue acceptability through surprisal. In Hanseok Ko and John H. L. Hansen, editors, Proceedings of Interspeech 2022, pp. 45064510. ISCA, September 2022.

[11] Gaurav Kharkwal and Smaranda Muresan. Surprisal as a predictor of essay quality. In Proceedings of the Ninth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 54-60, Baltimore, Maryland, June 2014. Association for Computational Linguis- tics.

[12] 正頼林, 遼平笹野, 大也高村, 学奥村. 誤り傾向と文の容認性に着目した英作文のレベル判定. 第 226 回情報処理学会自然言語処理研究会, No. 7, pp. 1-7, 2016.

[13] Jesús Calvillo, Le Fang, Jeremy Cole, and David Reitter. Surprisal Predicts Code-Switching in Chinese-English Bilingual Text. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4029-4039, Online, January 2020. Association for Computational Linguistics.

[14] Takehiko Yoshimi, Katsunori Kotani, Takeshi Kutsumi, Ichiko Sata, and Hitoshi Isahara. Automatic evaluation of the fluency of english-to-japanese machine translation using word alignment. 2010.

[15] Katharina Kann, Sascha Rothe, and Katja Filippova. Sentence-Level Fluency Evaluation: References Help, But Can Be Spared! In Proceedings of the 22nd Conference on Computational Natural Language Learning, pp. 313-323, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[16] Sina Zarrieß, Sebastian Loth, and David Schlangen. Reading Times Predict the Quality of Generated Text Above and Beyond Human Ratings. In Proceedings of the 15th European Workshop on Natural Language Generation (ENLG), pp. 38-47, Brighton, UK, September 2015. Association for Computational Linguistics.

[17] Makoto Morishita, Katsuki Chousa, Jun Suzuki, and Masaaki Nagata. JParaCrawl v3.0: A large-scale EnglishJapanese parallel corpus. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 6704-6710, Marseille, France, June 2022. European Language Resources Association.

[18] Tatsuki Kuribayashi, Yohei Oseki, Takumi Ito, Ryo Yoshida, Masayuki Asahara, and Kentaro Inui. Lower perplexity is not always human-like. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 5203-5217, Online, August 2021. Association for Computational Linguistics.

[19] Kishore Papineni, Salim Roukos, Todd Ward, and Wei jing Zhu. Bleu: a method for automatic evaluation of machine translation. pp. 311-318, 2002

[20] 長我部恭行, 甲斐優人, 石井奏人, 荻野天翔, 黒澤道希, 小町守. 機械翻訳に対する文間文脈を考慮した評価と分析. pp. 1703-1706, 32019.

[21] Jacob Cohen. A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement, Vol. 20, No. 1, pp. 37-46, April 1960. Publisher: SAGE Publications Inc.

[22] Jacob Cohen. Weighted kappa: Nominal scale agreement with provision for scaled disagreement or partial credit. Psychological Bulletin, Vol. 70, No. 4, pp. 213-220, October 1968

[23] William H. Kruskal and W. Allen Wallis. Use of ranks in one-criterion variance analysis. Journal of the American Statistical Association, Vol. 47, No. 260, pp. 583-621, 1952 .

## A JParaCrawl の前処理

JParaCrawl v3.0 は非常に大規模なコーパスであるため、前処理として、下記の条件を元に対訳のフィルタリングを行った。フィルタリングの結果、約 2574 万文対から，約 985 万文対（約 $38.3 \% ）$ が得られた。

・英文がピリオドで終わっている.

・和文が句点で終わっている。

・和文に全角又は半角スペースを含まない.

・対訳のスコアが 0.7 以上.

## B ドメインの内訳

イタリア、フランスは英語を公用語としていないが、話者数の多さを考慮して含めている。

## C流暢性の評価点数ごとの例文

表 8 流暢性の評価点数ごとの例文 (JParaCrawl v3.0より引用)

評価例文

5 京丹後市は条例で国際交流の推進をうたっており、国際的な視野を持つ人材の育成を目指している。

4 調査では、大手プラットフォームひとつで 157 万 6,600 人の労働者が供給過剰であることがわかっている。

3 プレートは、全体の保護面全体に影響の分布を保証するドロップワイヤーシステムに参加しています。 プロフェッショナルラーニングコミュニティ内では、各学年レベルとコンテンツ領域が共同学習チーム (CLT)

2

として協力し、研究、スキル、専門的な開発、ツール、リソース、およびさまざまなサポートスタッフ

(強力な教育コーチチームやさまざまな特別教育の専門家とサービスプロバイダーの-私たちの目標を果たすために: すべての子供が意味のある、本物の方法ですべての必要なスキルを習得することを保証すること。

1 米国の研究では、女性の最大 $50 \%$ が生涯に尿路感染症を起万人になると示されています。


# 異言語間対話を支援する日英雑談対話誤訳検出

李云蒙 1 鈴木潤 1,3 森下睦 2 阿部香央莉 1
徳久良子 ${ }^{1}$ ブラサール・アナ ${ }^{3,1}$ 乾健太郎 1,3
1 東北大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所 ${ }^{3}$ 理化学研究所
li.yunmeng.r1@dc. tohoku.ac.jp

## 概要

本論文では，現在の機械翻訳手法の限界に起因する誤訳を検出し，異言語間対話を支援するシステムの開発について述べる. システムのベースラインとして誤訳検出器を学習し, またこの評価のために,複数ターンの雑談をもとに構成された日英雑談対話対訳コーパス「BPersona-chat」[1]に対し，機械翻訳文を利用した低品質な翻訳および各翻訳に対するクラウドソーシングによる品質評価を加え，コーパスを再構築した. 結果として, ベースライン検出器は簡単な誤訳を検出することができた。このべースラインを基盤とし，より複雑な異言語間対話における誤訳検出器の構築を目指す.

## 1 はじめに

国際化の進展に伴い，異言語間対話の必要性が高まっている. しかし, 現在の機械翻訳技術は,系統だった文書の翻訳では確かな性能を発揮するが $[2,3,4]$, 対話翻訳に適しているとは言い難い $[5,6,7,8]$. 機械翻訳システムで誤訳が生成された場合，ユーザーはその誤訳を識別できず，混乱や誤解を招く可能性がある. 本研究では，このような誤訳を検出し，その発生をユーザーに通知することで，潜在的な誤解を低減する異言語間対話支援システムの開発を目指す.このシステムの核心として，本論文では，異言語間対話翻訳の誤訳を検出する誤訳検出タスクの提案およびベースラインとして BERTを用いた誤訳検出器の作成を行った. 本誤訳検出タスクの説明図を図 1 に示す. この誤訳検出では，異言語間対話において機械翻訳モデルが誤訳文または文脈との関連性が薄い翻訳文を生成した場合, 誤訳検出器がユーザーに誤訳の可能性があるという警告を知らせる。この警告メッセージによって，A 言語側（説明図の日本語側）のユーザーはより機械翻訳が翻訳しやすい形にテキストを修正する

図1 機械翻訳を介した異言語間対話における誤訳検出夕スクの概略図. 検出器は翻訳 $j a_{2}$ の正確さ一一貫性の評価を行う。

ことが可能である。また， B言語側（説明図の英語側）のユーザーも，不適切または文脈にそぐわない単語や文章が翻訳エラーである可能性が高いことを認知できる.

検出した誤訳を評価するために，我々は既存の雑談対訳コーパス「BPersona-chat $」$ [1] に加え，新たに比較的低品質な機械翻訳文およびクラウドソーシングでラベル付けした翻訳の品質ラベル（正訳または誤訳）を加えたデータセットを作成した。実験では，異なる言語間の雑談対話の翻訳が正しいか誤りであるかを分類する誤訳検出器を学習し (図 1), その性能を作成したデータセットで評価した. 本論文の主な貢献は（1）異言語間対話誤訳検出タスクの提案（2）BPersona-chatコーパスの再構築（3）異言語間対話支援システムを開発するためのべースライン誤訳検出器の提供の三つである.

## 2 誤訳検出タスクの定義

本研究で扱う「異言語間対話における誤訳検出夕スク」を定義する。まず，本研究では「異言語間対話」を異なる言語での雑談対話と定義する。したがって，「異言語間対話における誤訳検出タスク」とは，機械翻訳システムを介した異なる言語での対話において，発話（応答）が翻訳システムによって正しく翻訳されたかどうかを予測するタスクとする。本タスクでは，入力として異言語間対話中の文脈

 &  &  &  \\

表 1 原文に対して三つの翻訳文と人間による評価を付加した BPersona-chat の例.

情報（例えば，直前の相手の発話，相手の発話の翻訳，応答，応答の翻訳など）を受け取り，出力として応答の翻訳が誤りであるかどうかを出力する誤訳検出器を構築し，それを用いて誤訳判定を行うことを想定する。図 1 に，日本語・英語対話における英語応答の日本語訳を評価する例を示す．機械翻訳システムによって, 日本語話者の最初の発話 $j a_{1}$ が $e n_{1}$ に翻訳され, 英語話者の応答 $e n_{2}$ が $j a_{2}$ に翻訳される.このとき, 誤訳検出器は直前の話者の発話, その翻訳と応答 $\left(j a_{1}, e n_{1}, e n_{2}\right)$ を参照し, $e n_{2}$ の翻訳 $j a_{2}$ が正確かつ一貫しているかどうかを予測する. この例では，検出器は「I agree（賛成です）」という応答に対する「ありがとう」という翻訳が誤訳であると評価している。 検出器はこのように, 会話者に関係なく，各発話の翻訳が行われるたびに，翻訳文を評価して誤訳の有無を検出するものと想定する

## 3 関連研究

翻訳品質推定タスク Wikipedia の記事や Amazon のレビューなど，主に人間の書いた文章を対象とした品質評価タスク $[9,10]$ と比較して，我々の翻訳品質評価タスクは翻訳文を対象とするという点で新しいタスク設定となる. その上, 本タスクでは, 対話翻訳の誤訳を検出しするため，対話で用いる口語文の文脈を理解する必要がある.

並列対話コーパス日英対話コーパスとして，商談シーンを収録した Business Scene Dialog [11] がある.しかし，我々のタスクではより日常的なシーンでの対話支援を目的としている. 我々は他言語の並列対話コーパスの構築方法を参考に，タスクに相応しい日英雑談対話コーパスを構築した. ここでは，英独対話コーパス BConTrasT [7] と英中対話コーパス BMELD [8] の構築を参照した. 英独対話コーパス BConTrasT は, WMT2020 対話翻訳タスクの主催者が英語対話コーパス Taskmaster-1 [12] をドイツ語
に翻訳して作成したコーパスである。また，英中対話コーパス BMELD も同様に，MELD [13] という英語対話コーパスを中国語に翻訳して作成したコーパスである.

これらの並列対話コーパスを参考に，我々は雑談対話が含まれる英語対話コーパス Persona-chat [14] と日本語対話コーパス JPersona-chat [15] を元になるデータセットとして採用し，日英雑談対話対訳コー パス BPersona-chat を構築した [1]. 品質を保証するため，クラウドワーカーに依頼して Persona-chat 中にある不自然な話題転換や誤解などが含まれていて一貫性がない対話をフィルタリングし，プロの翻訳家の手で翻訳を付与した.

本研究では、提案タスクを評価するため，一度構築した BPersona-chat に新たな翻訳とアノテーションを付与し、評価用データセットとして再構築した.

## 4 評価用データセット

本タスクの評価用データセットにするため, BPersona-chat に新たな翻訳文を追加した. さらに，翻訳が対話翻訳として許容できるかについて評価し，データセットを再構築した. 詳細は以下の通りである.

## 4.1 対話データの人間による翻訳

BPersona-chat を構築する際，Persona-chat の合計 2, 940 の発話から上位 200 件の発話と, JPersona-chat の合計 2,740 の発話から上位 250 件の発話を抽出し，それぞれの対象言語に翻訳した1）。翻訳者には，翻訳の正確さと対話としての一貫性の双方に配慮してもらった. その結果， 450 の対話（5,680の発話） とその翻訳を得ることができた [1]. BPersona-chat を再構築する際，上記のデータも人間による翻訳として活用した.

図 2 人間による翻訳，モデル A の翻訳，モデル B の翻訳それぞれにおけるアノテーション後の正訳と誤訳の割合.

## 4.2 対話データの機械翻訳

誤訳検出タスクを解く検出器のベースラインを構築するため，BPersona-chat における専門家の翻訳に加え，主に負例として利用することを念頭に機械翻訳で生成した翻訳結果を用意した。機械翻訳結果を得るために，2 種類の機械翻訳モデルを用意した. その 1 つは, OpenSubtitles2018 [16] によって学習した Transformer ベースのニューラル機械翻訳（NMT） であり，これをモデル $\mathrm{A}$ と呼ぶ. モデル $\mathrm{A}$ の出力を BPersona-chat で評価すると，BLEU の値 [17] は 4.9 となった2)。なお，モデル A の BLEU 值が比較的低い原因は, OpenSubtitles2018 と BPersona-chat のドメインが違うことによるものと考えられる.しかし， データセットを構築するためにあえて低品質の翻訳結果が必要であったため，これは望ましい結果である。次に，より良い機械翻訳文を生成するため，公開されている機械翻訳 API（DeepL API）を使用した.これをモデル B と呼ぶ. BPersona-chatをモデル B で評価すると BLEU スコアは 26.4 となった.

## 4.3 翻訳の人間による評価

人間の翻訳および機械翻訳モデル $\mathrm{A}, \mathrm{B}$ が生成した翻訳候補に対し, 誤訳検出タスクにおける翻訳品質ラベルを付与した。なお，この判定は，英語と日本語の両方に堪能なクラウドワーカーを集めて実施した. 図 2 に示す結果から，モデル A の翻訳の $89.58 \%$ ，モデル B の翻訳の $30.25 \%$ ，人間の翻訳の $10.51 \%$ が誤訳と評価された ${ }^{3}$.

発話に付与された翻訳が全て正しくない場合，誤訳検出タスクにおいて参照する文脈として使用することは難しい。したがって，人間による翻訳，モデル $\mathrm{A}$ の翻訳，モデル $\mathrm{B}$ の翻訳の全てが誤っている 159 件の発話は評価データとして用いないことと

2） NMT モデル A の学習は付録 A を参照.

3）クラウドソーシングの詳細については付録 C を参照.

表 2 マジョリティクラス分類器，マイノリティクラス分類器，および誤訳検出器の精度.

表 3 BPersona-chatにおける誤訳検出器の $\mathrm{F}$ 值，適合率と再現率.

した。最終的には，英語発話 2,674 件に対して日本語訳 8,022 件が得られ，そのうち 3,406 件が誤訳，残りの 4,616 件が正訳であった．また，日本語発話 2,397 件に対して英語訳 7, 190 件が得られ，3,096 件が誤訳，4,094 件が正訳となった。これらをまとめて BPersona-chat コーパスを再構築した ${ }^{4)}$. 表 1 は BPersona-chat のサンプルである.

## 5 ベースライン誤訳検出器

誤訳検出器のベースラインとして, BERT に基づく二值分類モデル $[18,19]$ を学習・評価した ${ }^{5)}$. 英語発話 $e n_{2}$ の日本語翻訳 $j a_{2}$ の誤訳判定をする場合，分類モデルの入力は “ $j a_{1}$ [SEP]en $n_{1}$ [SEP]en $n_{2}$ [SEP] $j a_{2}$ ”とした. 同様に, 日本語発話 $j a_{2}$ の翻訳 $e n_{2}$ の誤訳判定をする場合,

BERT の元実験と同様，分類結果に SoftMax 関数を適用して予測値を計算した。

分類モデルの学習には OpenSubtitles2018 データセット約 100 万の発話を用いた．参照訳を正例，低品質翻訳モデル A による出力を（4.2 節）で擬似的な負例とし, HuggingFace ${ }^{7)}$ が提供する多言語 BERT モデルを再学習して，英語から日本語，日本語から英語両方向の誤訳検出器を構築した。

## 6 実験

本節では，異言語間対話訳における誤訳検出器の試行と評価結果を報告する。

英 $\rightarrow$ 日

表 4 BPersona-chat に対する誤訳検出器の混同行列（行ヘッダが人間による評価, 列ヘッダが検出器による予測).

## 6.1 評価指標

マジョリティクラスとマイノリティクラス分類器誤訳検出器の予測が偶然正解したものではないことを確認するために，マジョリティクラス分類器，マイノリティクラス分類器，そして誤訳検出器の精度を計算した。

$\mathrm{F}$ 値, 適合率と再現率誤訳検出器の性能は $\mathrm{F}$ 値 （F）によって評価した。また，適合率（Pre）と再現率（Rec）も合わせて計算した.このとき真値（T） を誤訳ラベルが付いた事例，正例（P）を検出器が誤訳と判定した事例とした。

混同行列誤訳検出器の性能を評価するため，翻訳が人間，NMT モデル A，NMT モデル B のいずれによって翻訳されたかに応じて混同行列を示す.

## 6.2 結果

誤訳検出器は異言語間対話中の誤訳をある程度分類することができることがわかった. 表 2 に示す精度から, 誤訳検出器はマジョリティクラスとマイノリティクラス分類器と比較して高い性能を得た。この結果は，検出器は片方の結果のみを偏って出力しているわけではないということを示している。さらに，表 3 に示す $\mathrm{F}$ 值，適合率，再現率によると，誤訳検出器は BPersona-chat の誤訳をそれなりの精度で識別することが可能であった.

しかし，表 4 に翻訳の種類に応じた混同行列より，検出器は高品質なモデル B で生成された翻訳をうまく識別することはできなかった。．検出器はモデル B で生成された誤訳の半分以上を正訳として判断した。うまく判別できなかった理由として，誤訳検出器が, 低品質なモデル A で生成された負例で学習を行なっていることが挙げられる。誤訳検出器と従来の BLEU 計算による評価を比較するため，BPersona-chat 中の誤訳文に対する sentence-BLEU スコア $[20]^{8)}$ を計算した. sentenceBLEU を計算する際，正訳ラベルがついた翻訳文を参照訳とした。その結果，誤訳ラベルがついた例のうち，誤訳検出器によって誤訳と判断され，かつ sentence-BLEU スコアも 60 以下となった翻訳文は日本語誤訳の $78.83 \%$, 英語誤訳の $76.75 \%$ となった. なお，誤訳ラベルがついた例のうち，誤訳検出器では正しく誤訳と判断されたが sentence-BLEU スコアが 60 以上となる翻訳文は，日本語誤訳の $2.14 \%$,英語誤訳の $21.83 \%$ となった。結果として, 誤訳検出器は正しい翻訳（参照訳）の有無に依存せず， sentence-BLEU スコアを基準として誤訳を判別したときの精度の 70〜 80\%程度に匹敵すると判明した. また，特に英語訳文を判定する際，ベースライン誤訳検出器は sentence-BLEU スコアが高い，すなわち表層的には正訳と類似している誤訳文も検出可能であることを示唆する結果が得られた. このように， ここに提案する誤訳検出器は，BLEU のような指標では判別できない誤訳を判別できる可能性が高く， この結果は誤訳検出器が異言語間対話の支援システムとして活用できる可能性を示している.

## 7 まとめ

本論文では，異言語間でのコミュニケーションを支援するために，異言語間対話における誤訳検出夕スクを提案した。本研究における評価のために，複数ターンの雑談をもとに構成された日英対訳コー パスに，比較的低品質な機械翻訳文およびクラウドソーシングによる翻訳の品質（正訳または誤訳）の分類を付与した評価用データセットを構築した。また，誤訳を検出する誤訳検出器を学習し，異言語対話における誤訳の検出を支援するシステムのベースラインを構築した．更に，上記の評価用データセットを用いてベースラインを評価した。

今後，異言語間対話支援システムの向上に向けて，より詳細に誤訳の可能性を示す機能の実現を目指している。発展として，翻訳に含まれる具体的な誤りを特定できるように，二值分類を複数ラベルに改良することを考えている。また，発話候補を参考情報として提供し，ユーザーに発話の修正を促すことも検討したい.

## 謝辞

本研究は JST 科学技術イノベーション創出に向けた大学フェローシップ創設事業 JPMJFS2102, JST CREST Grant Number JPMJCR20D2，JST ムーンショット型研究開発事業 JPMJMS2011，JSPS 科研費 JP20J21694 の支援を受けたものである.

BPersona-chat の配布を許可いただいた Personachat [14] の開発者様と JPersona-chat [15] の開発者様に深く感謝申し上げます。

Amazon Mechanical Turk  においてクラウドワーカーとしてご協力いただいた皆様へ，深く感謝を申し上げます。

本研究を進めるにあたり，頻繁に議論に参加していただいた東北大学 Tohoku NLP グループの皆様へ感謝いたします。

## 参考文献

[1] Yunmeng Li, Jun Suzuki, Makoto Morishita, Kaori Abe, Ryoko Tokuhisa, Brassard Ana, and Inui Kentaro. Bpersona-chat: A coherence-filtered english-japanese dialogue corpus. In Proceedings of NLP2022, pp. E7-3, 2022.

[2] Loïc Barrault, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Mark Fishel, Yvette Graham, Barry Haddow, Matthias Huck, Philipp Koehn, Shervin Malmasi, Christof Monz, Mathias Müller, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2019 conference on machine translation (WMT19). In Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 1-61, 2019.

[3] Loïc Barrault, Magdalena Biesialska, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Matthias Huck, Eric Joanis, Tom Kocmi, Philipp Koehn, Chi-kiu Lo, dow, Matthias Huck, Eric Joanis, Tom Kocmi, Philipp Koehn, Chi-kiu Lo, aki Nakazawa, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2020 conference on machine translation (WMT20). In Proceedings of the Fifth Conference on Machine Translation, pp. 1-55, 2020

[4] Toshiaki Nakazawa, Nobushige Doi, Shohei Higashiyama, Chenchen Ding, Raj Dabre, Hideya Mino, Isao Goto, Win Pa Pa, Anoop Kunchukuttan, Yusuke Oda, Shantipriya Parida, Ondřej Bojar, and Sadao Kurohashi. Overview of the 6th workshop on Asian translation. In Proceedings of the 6th Workshop on Asian Translation, pp. 1-35, 2019

[5] Samuel Läubli, Rico Sennrich, and Martin Volk. Has machine translation achieved human parity? a case for document-level evaluation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4791-4796, 2018.

[6] Antonio Toral, Sheila Castilho, Ke Hu, and Andy Way. Attaining the unattainable? reassessing claims of human parity in neural machine translation. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 113-123, 2018 .

[7] M. Amin Farajian, António V. Lopes, André F. T. Martins, Sameen Maruf, and Gholamreza Haffari. Findings of the WMT 2020 shared task on chat translation. In Proceedings of the Fifth Conference on Machine Translation, pp. 65-75, 2020.

[8] Yunlong Liang, Fandong Meng, Yufeng Chen, Jinan Xu, and Jie Zhou. Modeling bilingual conversational characteristics for neural chat translation, 2021.

[9] Lucia Specia, Frédéric Blain, Marina Fomicheva, Erick Fonseca, Vishrav Chaudhary, Francisco Guzmán, and André F. T. Martins. Findings of the WMT 2020 shared task on quality estimation. In Proceedings of the Fifth Conference on Machine Translation, pp. 743-764, 2020.

[10] Erick Fonseca, Lisa Yankovskaya, André F. T. Martins, Mark Fishel, and Christian Federmann. Findings of the WMT 2019 shared tasks on quality estimation. In Proceedings of the Fourth Conference on Machine Translation (Volume 3: Shared Task Papers, Day 2), pp. 1-10, 2019.

[11] Matīss Rikters, Ryokan Ri, Tong Li, and Toshiaki Nakazawa. Designing the business conversation corpus. In Proceedings of the 6th Workshop on Asian Translation, pp. 54-61, Hong Kong, China, November 2019. Association for Computational Linguistics.

[12] Bill Byrne, Karthik Krishnamoorthi, Chinnadhurai Sankar, Arvind Neelakantan, Daniel Duckworth, Semih Yavuz, Ben Goodrich, Amit Dubey, Andy Cedilnik, and Kyu-Young Kim. Taskmaster-1: Toward a realistic and diverse dialog dataset, 2019.

[13] Soujanya Poria, Devamanyu Hazarika, Navonil Majumder, Gautam Naik, Erik Cambria, and Rada Mihalcea. Meld: A multimodal multi-party dataset for emotion recognition in conversations, 2019.
[14] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too?, 2018

[15] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems, 2021.

[16] Pierre Lison, Jörg Tiedemann, and Milen Kouylekov. OpenSubtitles2018 Statistical rescoring of sentence alignments in large, noisy parallel corpora. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), pp. 1742-1748, 2018

[17] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Lin guistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[18] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[19] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clemen Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-ofthe-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System ence on Empirical Methods in $\mathrm{Nat}$
Demonstrations, pp. $38-45,2020$.

[20] Steven Bird, Ewan Klein, and Edward Loper. Natural language processing with Python: analyzing text with the natural language toolkit. O'Reilly Media, Inc.", 2009.

[21] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Advances in Neural Information Processing Systems 31 (NIPS 2017), pp. 5998-6008, 2017

[22] Jörg Tiedemann and Yves Scherrer. Neural machine translation with extended context. In Proceedings of the Third Workshop on Discourse in Machine Translation, pp. 82-92, 2017

[23] Diederik Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of the 3rd International Conference on Learning Representations (ICLR 2015), 2015

[24] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research, Vol. 15, No. 56, pp. 1929-1958, 2014

[25] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jon Shlens, and Zbigniew Wojna. Rethinking the Inception Architecture for Computer Vision. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016), pp. 2818-2826, 2016

[26] Myle Ott, Sergey Edunov, David Grangier, and Michael Auli. Scaling Neural Machine Translation. In Proceedings of the Third Conference on Machine Translation (WMT 2018), pp. 1-9, 2018.

[27] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's neural machine translation system Bridging the gap between human and machine translation. CoRR, Vol. abs/1609.08144, , 2016.

[28] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, 2019.

[29] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine transla tion of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

表 5 NMT モデル A 学習のハイパーパラメータ一覧

表 6 分類モデル学習のハイパーパラメータ一覧

## A 翻訳モデルの学習設定

ニューラル機械翻訳モデル $\mathrm{A}$ を学習する際，まずは BPE [29] でコーパスをトークナイズしてサブワードにする. 語彙の大きさは 32,000 とした. 文脈を考慮するために，2つの入力文を与えて 2 つ連続して出力する 2-to-2 Transformer-based NMT モデル A [22] を学習した. 表 5 にハイパーパラメータの一覧を示している.

## B 分類モデルの学習設定

分類モデルの学習について説明する. 表 6 にハイパー パラメータの一覧を示している.

## C クラウドソーシング関連設定

## C. 1 Persona-chat のフィルタリング

Amazon Mechanical Turk (https://requester.mturk. $\mathrm{com} /$ ）のクラウドワーカーに，Persona-chat の一貫性がない対話をフィルタリングするよう依頼した. 以下に当てはまる場合，「一貫性がない」対話であると定義した.
- questions being ignored;
- the presence of unnatural topic changes;
- one is not addressing what the other said;
- responses seeming out of order;
- or being hard to follow in general.

ワーカーには，誤字脱字などの細かいことは気にせず，大まかな流れを把握するよう指示した。

フルラウンドでは, Persona-chat から 1,500 の対話を選択した. クラウドワーカーは，予選を経て選ばれた．各クラウドワーカーは対話 5 件を評価し，各対話は異なるワーカー 10 人によって評価された. 選ばれた 200 対話はワーカー 10 人のうち，少なくとも七人が正しいかつ一貫していると評価した対話となった.

## C. 2 対話に対する翻訳の評価

クラウドワークス (https://crowdworks.jp/）のクラウドワーカーに，BPersona-chatの人間による翻訳と機械翻訳を低品質か高品質かラベル付けしてもらうタスクを行った. クラウドワーカーの資格は，日本語はネイティブレベル，英語はビジネス・アカデミックレベルに到達できるレベルとなっている。このタスクでは，以下の場合に「低品質である」と定義した.
- the translation is incorrect;
- parts of the source chat are lost;
- there are serious grammatical or spelling errors that interfere with understanding;
- the person's speaking style changes from the past utterance;
- the translation is meaningless or incomprehensible;
- or the translation is terrible in general.

ワーカーは，対話全体が含まれるファイルを一つ一つ確認し，各発話を評価することができた。

ワーカーによって，クラウドワーカーは二週間でファイル 50 個から 300 個程度を評価した。このタスクは事前に予選を行い，予選を通過したワーカーのみ本選（実際の作業）に参加可能とした.