# Improving Medical Relation Extraction with Distantly Supervised Pre-training

Zhen Wan Fei Cheng Zhuoyuan Mao Qianying Liu Haiyue Song Sadao Kurohashi
Kyoto University
\{ZhenWan, zhuoyuanmao, ying, song\}nlp.ist.i.kyoto-u.ac.jp
\{feicheng, kuro\}i.kyoto-u.ac.jp
}

\begin{abstract}
Relation extraction (RE) is used to populate knowledge bases that are important to many applications. Traditional RE task largely relies on the sufficiency of labeled training data, but for medical domain relation extraction, it is costly and time-consuming to construct large labeled training data. Meanwhile, there are many available unlabeled medical corpora. To utilize both the abundance of raw corpora and the accuracy of annotated datasets, we propose a two-stage framework to pre-train models on an intermediate task for improving the target RE task performance. In the first stage, we also introduce a distant supervision based method to construct the training data for the intermediate task. The empirical results suggest the proposal significantly improve the target RE task.
\end{abstract
## 1 Introduction

Relation extraction is the task of extracting semantic relationships from a text. Such a relationship occurs between one or more entities of a certain type (eg: person, organization) and belongs to a particular semantic category (eg: date of birth, employed by). Consider the sentence "Joe Biden in the president of America" in figure 1. Here, the relation "president of" connects the subject entity "Joe Biden" to the object entity "America". Relation extraction has many applications in information extraction, creating or extending knowledge bases, automatically annotating structured information found in text and recently, in evaluating the factual consistency of abstractive text summarization. With the recent advance of deep learning, neural relation extraction (NRE) models (Baldini Soares et al [1];Zeng et al [2];Zhang et al [3]; Chen et al [4]) have achieved the latest state-of-the-art results and some of them are even comparable with human performance on several public RE benchmarks.

Figure 1 An example for relation extraction to identify relationship between entites mentioned in the text.

However, The success of NRE models on current RE benchmarks largely relies on the sufficiency of training data, but manual annotation is costly and time-consuming in specific domain, such as medical relation extraction. In this case, the insufficient amount of training data may be the reason that hinders the good results of relation extraction tasks. Meanwhile, although The labeling of medical datasets is a complex problem, there are many available unlabeled medical texts. The existence of such rich raw corpora makes us wonder: Can we utilize large raw corpora to improve RE on annotated datasets ?

In this article, we propose a two-stage fine-tuning framework for solving this question. In the first stage, we pretrain models on an intermediate task with weak supervision extracted from large raw corpora, and then in the second stage, we can further fine-tune the output trained models on the original annotated dataset, which is our target relation extraction task. Through such a framework, we can both take advantage of the abundant data brought by distant supervision (DS) and maintain the accuracy brought by manual annotation data.

The idea of a pre-training and fine-tuning framework has been a new trend in the relation extraction field (Peng et al [5], Robert Ormandi et al [6]). The recent work Contrastive Pre-training (CP) by Peng et al [5] has confirmed the effectiveness of the pre-training stage to improve the final target relation extraction task. In their work, they first generate a dataset from Wikipedia data by distant supervi-
sion and use this constructed dataset as a pre-training step. Given a triplet in the knowledge base (KB) containing a particular entity pair and their corresponding relation type, any sentence from the raw text sharing the same two entity pairs at the same time will be extracted and labeled the corresponding relation type as shown in figure 2. As for the second fine-tuning stage, Peng et al [5] further fine-tune the model on various target datasets to figure out whether the pre-training step can improve the final performance of the relation extraction task on each dataset.

There are two limitations of their framework. 1) The intermediate pre-training data extracted from wikipedia has a different domain from multiple target datasets. This inconsistency between two stages may lead to unreliable influence on the target task. 2) KBs are not always available in a specific domain, such as the medical domain. Instead of relying on an existing $\mathrm{KB}$, we propose to induce a triplet set from the target manual annotated dataset so that we can generate a distantly supervised dataset for pre-training. In this way, we can ensure consistency between the two steps and avoid the lack of available KBs in the medical domain. In the section 3, we will introduce the details to construct the distantly supervised dataset, and to use two state-of-the-art (SOTA) distant supervision approaches in the pre-training stage. Then in section 4 , we will implement experiments to figure out whether the pre-training stage can improve the final target relation extraction task.

Figure 2 A distant supervision example, from the triplet in the $\mathrm{KB}$, we can align entity pairs with relation to the text to construct a labeled instance.

Generally, we summarize our contributions as follows:
- We introduce a two-stage framework by leveraging the intermediate task in the first stage to improve the target relation extraction task in the second stage.
- We construct intermediate medical RE dataset distantly supervised by the triplets derived from the manual target data, which can serve various future applications.

## 2 Related Work

With awareness of the existing DS noise, Surdeanu et al [7]introduces the multi-instance learning (MIL) framework to distantly supervised relation extraction (DSRE) by dividing training instances into several bags and using bags as new data units. Regarding the strategy for selecting instances inside the bag, the soft attention mechanism proposed by Lin et al [8] is widely used for its better performance than the hard selection method. The ability to form accurate representations from noisy data makes the MIL framework soon become a paradigm of following-up works.

More recently, Chen et al [9] argues that the longstanding MIL framework can not effectively utilize abundant instances inside MIL bags, they propose a novel contrastive instance learning (CIL) method to boost the distantly supervised relation extraction (DSRE) model performances under the MIL framework. In detail, they regard the initial MIL framework as the bag encoder, which provides relatively accurate representations for different relational triples. Then they develop contrastive instance learning (CIL) to utilize each instance in an unsupervised manner: In short, the goal of their CIL is that the instances sharing the same relational triples (i.e.positive pairs) ought to be close in the semantic space, while the representations of instances with different relational triples (i.e.negative pairs) should be far away. They achieve dramatic improvement on various benchmarks, but as it is a MIL-based method, the reliability of MIL strategy and the noise in DS data still constrain the RE task performance.

In order to reduce the influence of noise labeling in the DS part, another recent work CP [5] has removed the MIL loss in their pre-training stage on DS data, the objective function only focuses on contrastive learning loss to avoid the noise labeling. Their final results on target fine-tuning datasets confirm the effectiveness of the contrastive learning loss in pre-training step.

## 3 Proposed Method

In this section, we first present an overview of our proposed approach in Section 3.1 and then detail our approach in Section 3.2, 3.3.

Table 1 Statistics of i2b2 2010VA, \# Rel denotes the number of relation types. \# Train, \# Dev, \# Test denote the number of instances in train, dev and test.

## 3.1 Overview

The traditional supervised relation extraction task is based on a human-annotated dataset. However, with the large corpora as external knowledge, the task now starts from an annotated dataset, then extracts proper sentences from raw corpora by distant supervision, and uses this generated dataset as a pre-training step to improve the relation extraction task on the original annotated dataset. We show the overview of our proposal in the figure 3.

## 3.2 External Datasets Construction

i2b2 2010VA shared task collection consists of 170 documents for training and 256 documents for testing, which is the subset of the original dataset [10]. The dataset was collected from three different hospitals and was annotated by medical practitioners for eight types of relations between problems and treatments.

This is our final target dataset, and to construct a knowledge base for distant supervision, normally, we can randomly select two entities from the i2b2 2010VA dataset and combine them with their labeled relation type to generate a triplet. However, this random strategy may involve too many entity pairs, including cross sentence pairs whose relation types are hard to confirm. To make the task more realistic, we will focus on each sentence. First, extract all entities in the particular sentence, and if any two of them are labeled a relation type, they will generate a triplet with a particular relation. Otherwise, they will still generate a triplet but labeled NA (no relation)

Normally, we can randomly select two entities from the annotated dataset and combine them with their labeled relation type to generate a triplet. However, this random strategy may involve too many entity pairs, including cross sentence pairs whose relation types are hard to confirm. To make the task more realistic, we will focus on each sentence. First, extract all entities in the particular sentence, and if any two of them are labeled a relation type, they will generate a triplet with a particular relation. Other-

Table 2 Statistics of DS dataset from MIMIC-III, \# Triplets denotes the number of triplets in the KB generated from i2b2 2010VA, and NA denoted no-relation triplets.

wise, they will still generate a triplet but labeled NA (no relation). For example,

After constructing the knowledge base, we can extract valuable sentences from raw text based on each triplet in the KB. The strategy here is a standard distant supervision method as in Introduction. To balance the number of sentences extracted by each triplet, we also add an upper bound to the number of extracted sentences. As i2b2 2010VA is a medical domain dataset, for the purpose of consistency, we then choose MIMIC-III ( 'Medical Information Mart for Intensive Care' ) as the raw text to extract sentences.

MIMIC-III is a large, single-center database comprising information relating to patients admitted to critical care units at a large tertiary care hospital. Data includes vital signs, medications, laboratory measurements, observations and notes charted by care providers, fluid balance, procedure codes, diagnostic codes, imaging reports, hospital length of stay, survival data, and more. The database supports applications including academic and industrial research, quality improvement initiatives, and higher education coursework.

## 3.3 Two-Stage Framework

Pre-training Stage The goal of the pre-training step is both to utilize extracted sentences from large raw corpora and to avoid noise in the distant supervision method. We leverage two introduced SOTA contrastive learning methods (CIL, CP) to solve the first-stage distant supervision pre-training. CIL use bag-level information to construct postive and negative pairs for contrastive learning, and $\mathrm{CP}$ instead focuses on relation-level information to construct positive and negative pairs.

Fine-tuning Stage After the pre-training step, the output model will be regarded as the input model in the final fine-tuning (FT) step, here we treated the relation extraction task as a sentence classification by replacing two named entities in the sentence with predefined tags (e.g., @GENE\$, @DRUG\$) (Lee et al [11]). For example, we used “@CHEMICAL\$ protected against the RTI76-induced inhibition of @GENE\$ binding.” to replace

Figure 3 Overview of our proposed approach.

the original sentence "Citalopram protected against the RTI-76-induced inhibition of SERT binding." in which "citalopram" and "SERT" has a chemicalgene relation. The only difference is that the input model will be a pretrained language model for traditional relation extraction such as BERT, and the input model is the output model from the pre-training step for this task.

## 4 Experiment

## 4.1 Baselines

Our task is to improve the RE on i2b2 2010VA dataset, and the fundamental baseline is to directly fine-tune (FT) language models on i2b2 2010VA without the pre-training step. At the same time, we choose two introduced SOTA methods, CIL [9] + FT and CP [5] + FT to utilize the pretraining step best. As for the experiment settings of CIL + FT and CP + FT, we follow the default hyper-parameters in their papers. The implementation of $\mathrm{CP}$ can be found on their website ${ }^{1)}$, and we also receive the codes for CIL from its author via email.

We use both Bert-base-uncased [12] and the SOTA medical domain BlueBert [13] as the pre-trained language model to better evaluate the performance.

## 4.2 Results

We summarize the model performances of directly finetuning and two-step models in the Table 3. From the results, we can observe that: (1) For both bert-base-uncased and the SOTA BlueBert, with the external pre-training step, both CIL and CP improve the final performance. (2) The

Table 3 Overall results.

SOTA BlueBert can obviously improve the medical relation extraction task. (3) Compared with the CIL method, $\mathrm{CP}$ achieves a better result on final evaluation, we assume that as CIL is a MIL based framework, its MIL loss may include more noise generated from distant supervision, which somehow leads to a worse result in the final fine-tuning.

## 5 Conclusion

We introduce a two-stage framework to improve the traditional medical relation extraction. Experiment results show that through this framework, we can benefit both from the abundance of training data by distant supervision and the accuracy of the human-annotated dataset. We also propose a method to generate a distantly supervised dataset from raw corpora based on the annotated dataset without relying on an exisiting $\mathrm{KB}$, which we can use for future purposes.

## References

[1] Livio Baldini Soares, Nicholas FitzGerald, Jeffrey Ling, and Tom Kwiatkowski. Matching the blanks: Distributional similarity for relation learning. In Proceedings of
the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2895-2905, Florence, Italy, July 2019. Association for Computational Linguistics.

[2] Daojian Zeng, Haoran Zhang, and Qianying Liu. Copymtl: Copy mechanism for joint extraction of entities and relations with multi-task learning. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 9507-9514, Apr. 2020.

[3] Ranran Haoran Zhang, Qianying Liu, Aysa Xuemo Fan, Heng Ji, Daojian Zeng, Fei Cheng, Daisuke Kawahara, and Sadao Kurohashi. Minimize exposure bias of seq2seq models in joint entity and relation extraction, 2020

[4] Zexuan Zhong and Danqi Chen. A frustratingly easy approach for entity and relation extraction. In North American Association for Computational Linguistics (NAACL), 2021.

[5] Hao Peng, Tianyu Gao, Xu Han, Yankai Lin, Peng Li, Zhiyuan Liu, Maosong Sun, and Jie Zhou. Learning from context or names? an empirical study on neural relation extraction, 2020.

[6] Róbert Ormándi, Mohammad Saleh, Erin Winter, and Vinay Rao. Webred: Effective pretraining and finetuning for relation extraction on the web. CoRR, Vol. abs/2102.09681, , 2021.

[7] Mihai Surdeanu, Julie Tibshirani, Ramesh Nallapati, and Christopher D. Manning. Multi-instance multi-label learning for relation extraction. In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, pp. 455-465, Jeju Island, Korea, July 2012. Association for Computational Linguistics.

[8] Yankai Lin, Shiqi Shen, Zhiyuan Liu, Huanbo Luan, and Maosong Sun. Neural relation extraction with selective attention over instances. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2124-2133, Berlin, Germany, August 2016. Association for Computational Linguistics.

[9] Tao Chen, Haizhou Shi, Siliang Tang, Zhigang Chen, Fei Wu, and Yueting Zhuang. CIL: Contrastive instance learning framework for distantly supervised relation extraction. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 6191-6200, Online, August 2021. Association for Computational Linguistics.

[10] Özlem Uzuner, Brett R South, Shuying Shen, and Scott L DuVall. 2010 i2b2/VA challenge on concepts, assertions, and relations in clinical text. Journal of the American Medical Informatics Association, Vol. 18, No. 5, pp. 552-556, 062011.

[11] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. Biobert: a pre-trained biomedical language representation model for biomedical text mining, 2019

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] Yifan Peng, Shankai Yan, and Zhiyong Lu. Transfer learning in biomedical natural language processing: An evaluation of bert and elmo on ten benchmarking datasets, 2019.


# 多言語機械翻訳への言語類型論特徴の導入

平野 颯大内 啓樹渡辺 太郎
奈良先端科学技術大学院大学 先端科学技術研究科
\{hirano.hayate.hc2, hiroki.ouchi, taro\}@is.naist.jp

## 概要

本研究は多言語機械翻訳モデルの推論に対する説明性向上を目的として，言語類型論特徴をモデルに 導入する方法を提案する。言語類型論は，各言語が 共通してもつ特徴を探る言語学の一分野であり, 研究の蓄積はデータベースにまとめられている. 原言語文に言語類型論データベースから獲得した言語特徵を導入し, IWSLT17 の多言語翻訳データセット上 で学習を行うことで，導入した言語特徴の寄与を明 らかにした。

## 1 はじめに

近年のニューラル機械翻訳モデルは主にエンコー ダ・デコーダの構成を取る。すなわち，原言語文の 各単語をべクトル空間に埋め込み，中間表現にエン コード，目的言語の文にデコードするようにモデル を構成する。

多言語機械翻訳の目標の 1 つは，全言語の単語を 同一の空間に埋め込むことにより，2 言語間におけ る機械翻訳モデルと同程度のパラメータ数のみで 高い翻訳性能を発揮するモデルを構成することで ある。すべての翻訳方向に対して同一のパラメータ を学習することで，言語相互の知識を転移でき，2 言語間における機械翻訳モデルを上回る性能が得 られることが報告されている $[1,2]$. それだけでな く，学習時に見られなかった言語対に対する翻訳， zero-shot 翻訳が可能となることが示されている.

ここで，以上の有望な性質が言語の特性にどの程度影響されるのかは明らかにされていない. 本研究 は目的言語を示すタグを原言語文に挿入すること で，多言語機械翻訳を可能にした Johnson et al. [2] に 着想を得て, 本研究は(1) 言語特性を擬似的に再現 するようなタグの挿入方法を提案し（3.1 節)，翻訳性能に悪影響を及ぼさないことを確認し; (2) 言語類型論データベースから得られた表現をタグに導入し
（3.2 節)，導入した言語特徴の寄与を明らかにした。

## 2 関連研究

多言語機械翻訳のモデル設定は，翻訳言語間にお けるパラメータの共有度合いによって分類できる。 Firat et al. [3] は浅いパラメータ共有モデル，すなわ ち言語ごとに個別の単語埋め込み，エンコーダおよ びデコーダを持ち，全言語に対して共通した注意機構を持つモデルを提案した. このようなモデル構成 は，2 言語間の機械翻訳モデルと同様に言語に固有 のエンコーダ，デコーダを持ち，後述する深いパラ メータ共有モデルと比べ各言語に対して翻訳性能を 向上させることが容易である．しかしながら，モデ ルの構成上多数のモデルパラメータを持たざるを得 ず，翻訳方向の増加に耐えうる構成でないことが課題である. Ha et al. [4] や Johnson et al. [2] は, 全て の翻訳方向に対してパラメータを共有する深いパラ メータ共有モデルを提案し，2 言語間における機械翻訳モデルと同等のパラメータ数で多言語機械翻訳 を実現した。ここで，50を超える言語を対象とした 研究 [5] も進められているが，翻訳言語対の数に対 して性能の向上が小さいことなど，翻訳データとモ デルの関係について更なる調査が必要である。

言語類型論では言語の横断的な調査を行うこと で，それらが類似性を持つことがあるのはなぜか，類似性はどの程度一般化が可能かを研究する．言語現象は construction および strategy という 2 軸で分析 される [6]. construction は，特定の意味もしくは機能を表現するために利用される任意の言語の形態統語構造のことを指す. strategy は特定の形態統語構造の実現方法のことであり，言語横断的に有効 な方法で形式的に定義される. 例えば，指示対象 のカテゴリを叙述する方策として predicate nominal construction が定義できる. 英語では copura strategy が用いられ，copura は言語横断的に有効な定義が与 えられている. 言語類型論研究の蓄積として，各
strategy と各言語での実現値はデータベースの形で 整理が進んでいる. 本研究では，データベースで整理されている各言語における strategy の実現値のこ とを言語特徴と呼ぶ.

## 3 提案手法

## 3.1 タグによる擬似的な言語特徴の導入

Johnson et al.[2] は，目的言語に対応するタグを原言語文に挿入した.

<2de> How are you? -> Wie geht's?

上記の例は英語からスペイン語への翻訳を表してお り，ドイツ語への翻訳であることを意味する<2de> がタグに当たる．この<2de>タグは，同時に学習を 行っている他の言語, 例えばスペイン語と共通した 言語特徴を持っていないという仮定を置く．実際に ドイツ語では SOV 語順を取りうるが，スペイン語 は取らず，「SOV 語順を取る」という状態を学習し うると仮定できる. このような仮定のもとで, 同時 に学習を行う他の言語と共通する特徴を表現するタ グを挿入する．例えば，英語 $\rightarrow$ ドイツ語 $(\mathrm{en} \rightarrow \mathrm{de})$,英語 $\rightarrow$ スペイン語 (en $\rightarrow$ es $)$, 英語 $\rightarrow$ フランス語 $（ \mathrm{en} \rightarrow \mathrm{fr}$ ) の 3 方向での多言語翻訳を行う場合，以下 のようなタグを挿入する. <2de> <de-es> <de-fr> How are you? -> Wie geht's? <2es> <de-es> <es-fr> How are you? -> ¿Cómo estás? <2fr> <es-fr> <de-fr> How are you? -> Ça va? この設定において, 英語 $\rightarrow$ ドイツ語の翻訳方向に 関して，<2de>タグは他の翻訳方向には見られない ものであり, 対象とする翻訳言語のうち特定の言語 にのみ出現する特徴をシミュレートするタグであ る.これとは別に<de-es>および<de-fr>タグはそれ ぞれ英語 $\rightarrow$ スペイン語, 英語 $\rightarrow$ フランス語の翻訳方向にも挿入されているタグであり, 複数の言語 で同一の特徴をシミュレートするタグである. す なわち，前述の仮説の上で<2de>は「SOV 語順を取 る」という状態を学習でき，<de-es>はドイツ語およ びスペイン語にあり，フランス語に無い特徴，例え ば「主格・対格型の格標識を用いる」という状態を 学習しうると考えることができる.このシミュレー ションでは, Johnson et al., [2] と同様に原言語文に夕 グを挿入する方法でも，各タグが他の翻訳方向にも 挿入されているために，翻訳方向の決定という観点 では曖昧なものになる.

## 3.2 タグへの言語特徵の導入

本節では, 多言語機械翻訳モデルに言語特徴を導入する方法を説明する． 3.1 節と同様にタグを用い る点は同じであるが，

<base> How are you? -> Wie geht's?

上記の例のようにすべての翻訳方向に対して同じ タグ（ここでは<base>）を挿入する。そして，この ベースとなるタグに対して言語類型論データベース から導出されたべクトル表現を組み込む．このべク トル表現の各要素は言語特徴に対応し, 例えば英語 を例に取ると主要語順がSVO であることに対応す る要素が 1 となり, 主要語順が SOV であることに 対応する要素は-1 となるような対応が付けられてい る.また，言語類型論データベースには久損値が存在し，そのような要素は 0 と対応づけられる. 実際 に埋め込み表現としてモデルに入力されるべクトル は以下の式 (1) で計算される.

$
\boldsymbol{t}_{t y p}=\boldsymbol{v}_{\text {tgt }}^{\mathrm{T}} W+\boldsymbol{t}_{\text {base }}
$

埋め込みべクトルの次元数を $h$, 言語類型論データ ベースから導出されるべクトルの次元数を $t$ とす る. $v_{t g t} \in \mathbb{R}^{t}$ は目的言語の言語特徴の組に対応する ベクトル表現であり， $\boldsymbol{t}_{\text {base }} \in \mathbb{R}^{h}$ は<base>タグに対応する埋め込みべクトル,$W \in \mathbb{R}^{t \times h}$ は学習パラメー タであり, $\boldsymbol{t}_{t y p} \in \mathbb{R}^{h}$ が目的言語の言語特徴が導入さ れたタグのべクトルである.

## 4 実験および考察

## 4.1 実験設定

実験には，系列モデリングのフレームワークであ る fairseq [7]を利用し， Vaswani et al. [8] における base の設定に対応する Transformerを用いた。

翻訳モデルの学習および，評価はすべて IWSLT 17 多言語翻訳データセット1)のイタリア語 (it), 英語 (en), オランダ語 (nl), ルーマニア語 (ro) が 含まれる対訳文上で行った. データセットに含ま れる文数を表 1 に示す. 4 言語すべてに共通して SentencePiece [9] によるサブワードへの分割を行い，語彙数は 8,000 とした. モデルのハイパーパラメー タの設定は Vaswani et al. [8] の base の設定に準拠し ているが，パラメータのドロップアウトは 0.3 とし，

1) https://sites.google.com/site/iwsltevaluation2017/ TED-tasks
表 1 IWSLT17多言語翻訳データセットの対訳文数

学習はステップ数を決めるのではなく早期終了を実施した。 3 エポック連続で検証データでの損失が下 がらなかった場合に学習を打ち切った。翻訳の生成時にはビーム幅 5 のビームサーチを用いた。

本研究では，以下のような設定で実験を行った。

ThreeDirections は，英語 $\rightarrow\{$ イタリア語，オランダ 語, ルーマニア語\}の 3 方向で学習し, 同一の方向で 翻訳モデルの評価を行うものである. SixDirections は英語 $\{$ イタリリ語，オランダ語，ルーマニア語 $\}$ の 6 方向で学習し，イタリア語 $\rightarrow$ オランダ語のよ うに学習時に見られなかった zero-shot 翻訳方向につ いて評価を行う設定である。また，擬似的な言語特徵を検証するために<2de><de-xx><de-yy>の全ての タグを挿入する設定を Tsim とし，言語を特定する タグく2de>を省いたものを TsimNoTarget と呼ぶ. 比較のために行う, Johnson et al. [2] と同様のタグ，す なわちく2de>を挿入する設定は Target と呼ぶ。.以上 の 3 設定で示したタグはいずれもドイツ語への翻訳 の場合であり，xx および yy は同時に学習を行うド イツ語以外の言語を表す. Tsim および TsimNoTarget は，いずれも言語特徴のシミュレーションを意図 する点で共通しているが，TsimNoTarget は，特定の 言語のみに対応する特徴を学習できない状況での 実験設定である。また，<base>タグへの言語特徴 の導入実験は Typ-insert と呼ぶ. Typ-insert におい て言語類型論データベースからのベクトル表現の 導出には lang2vec [10] の wals_syntax 要素を利用し た. wals_syntax 要素は, データベース World Atlas of Language Structures [11] から導出されたものであり,含まれる言語特徴は 103 種類である. 実験の精度評価はすべて BLEU で報告した.

## 4.2 実験結果

表 2 は ThreeDirections の実験結果を示したもの である. 3 言語すべてにおいて TsimNoTarget で最も 高い翻訳性能が得られた。 3.1 節で述べたように，表 2 ThreeDirections の実験結果

表 3 SixDirections の実験結果

Target と比較して Tsim および TsimNoTarget で挿入 されるタグは，翻訳方向の決定という観点からは 不利な設定であるため，これは直感に反する。ま た，表 3 に SixDirections の実験結果を示す. en $\rightarrow \mathrm{xx}$ もしくは $\mathrm{xx} \rightarrow \mathrm{en}$ と英語が含まれる翻訳方向は学習時に与えたものと同じ翻訳方向（supervised）であ り，参考值として載せている. zero-shot，supervised のどちらにおいても Tsim, TsimNoTargetが Target と 比較して高い翻訳性能を示した。表 2 および，表 3 の結果は，言語特徴をモデルに導入することで翻訳性能を向上することができる可能性を示してい る.ここで，表 3 から zero-shot 翻訳方向の性能が supervised 翻訳方向と比較して大きく劣ることが見 て取れる。 BLEUにおける 1-gram の一致率を確認し た結果，Supervised 翻訳方向では参照訳との 1-gram 一致率は平均で $60.7 \%$ であったのに比べ， zero-shot 翻訳方向では平均で $35.7 \%$ と低いことがわかった. ここで，文字 n-gram ベースの言語判別ツールであ る langdetect ${ }^{2}$ を利用して，本来の目的言語とは異な る単語をどれだけ出力してしまったかを検証した結果を表 4 に示す.この結果は，本研究と同様のデー タセットで実験を行っている Wu et al. [12] の結果と 同様であり，zero-shot 翻訳方向でも Supervised 方向 に匹敵するような翻訳性能を得るためには学習に用

2) https://github.com/Mimino666/langdetect
表 4 翻訳方向の誤り割合 $(\%)$

いる翻訳データセットのサイズが重要な要素である と考える。

最後に， 3.2 節で説明した類型論特徴の導入実験 の結果を表 5 に示した. 言語特徵を導入した場合で も, Johnson et al.[2] のものと同等の翻訳性能が得ら れた.

## 5 おわりに

本研究は，言語に内在する共通性を探る言語学の 一分野である言語類型論にて蓄積されたデータを多言語機械翻訳モデルに導入する方法を示した. 言語特徴をモデルに導入することで，説明性だけでなく 翻訳性能を向上させうる可能性を示した. 今後は, モデルが言語特徴を推論により効果的に利用できる 表現力の高い導入方法を検討したい.

## 謝辞

本研究は JSPS 科研費 JP20K23325 の助成を受けた ものである.

## 参考文献

[1] Barret Zoph and Kevin Knight. Multi-source neural translation. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 30-34, San Diego, California, June 2016. Association for Computational Linguistics.

[2] Melvin Johnson, Mike Schuster, Quoc V. Le, Maxim Krikun, Yonghui Wu, Zhifeng Chen, Nikhil Thorat, Fernanda Viégas, Martin Wattenberg, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google' s Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 339-351, 102017.
[3] Orhan Firat, Kyunghyun Cho, and Yoshua Bengio. Multiway, multilingual neural machine translation with a shared attention mechanism. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 866-875, San Diego, California, June 2016. Association for Computational Linguistics.

[4] Thanh-Le Ha, Jan Niehues, and Alex Waibel. Toward multilingual neural machine translation with universal encoder and decoder. In Proceedings of the 13th International Workshop on Spoken Language Translation, pp. 1-7, 2016.

[5] Roee Aharoni, Melvin Johnson, and Orhan Firat. Massively multilingual neural machine translation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3874-3884, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] William Croft, Dawn Nordquist, Katherine Looney, and Michael Regan. Linguistic typology meets universal dependencies. In TLT, pp. 63-75, 2017.

[7] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[8] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[9] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[10] Patrick Littell, David R. Mortensen, Ke Lin, Katherine Kairis, Carlisle Turner, and Lori Levin. URIEL and lang2vec: Representing languages as typological, geographical, and phylogenetic vectors. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 8-14, Valencia, Spain, April 2017. Association for Computational Linguistics.

[11] Matthew S. Dryer and Martin Haspelmath, editors. WALS Online. Max Planck Institute for Evolutionary Anthropology, Leipzig, 2013.

[12] Liwei Wu, Shanbo Cheng, Mingxuan Wang, and Lei Li. Language tags matter for zero-shot neural machine translation. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 3001-3007, Online, August 2021. Association for Computational Linguistics.


# タタール語におけるサブワード単位の言語識別を加味した キリル文字からラテン文字への翻字システムの開発

坂井優介＊田口 智大＊渡辺 太郎
奈良先端科学技術大学院大学
\{sakai.yusuke.sr9, taguchi.chihiro.td0, taro\}@is.naist.jp

## 概要

現代のタタール語におけるキリル文字からラテン 文字への翻字は困難を極める．タタール語はロシア 語との単語内でのコードスイッチングが含まれてい る影響で，単純な翻字規則だけではタタール語の翻字を行うことはできない。またタタール語は低資源言語であり，特にラテン文字で書かれたタタール語 の文章の入手は極めて困難であるため，深層学習な どの統計的手法の適用は現実的ではない.

本研究では，タタール語におけるサブワードレベ ルの言語識別に基づいた翻字システムを提案する。 サブワードごとにタタール語かロシア語かを判別す る言語識別器を用意し, それに基づき特定された言語に応じて該当する翻字規則を適用することで翻字 を行う. 提案手法では既存のタタール語の翻字シス テムより高い精度で翻字が行えることを示した。

## 1 はじめに

現代のタタール語にはキリル文字とラテン文字の 2 種類の正書法が存在している。 タタール語由来の 単語のみで構成された文の場合, 簡単な翻字規則に 従って相互に書き換え可能であるが，現代のタター ル語には大量のロシア語の借用語が含まれており，文中でロシア語のフレーズ等に切り替わることがあ るため，単純なタタール語の翻字規則のみでは正し く翻字することはできない1).よってタタール語と ロシア語の単語にはそれぞれ異なる翻字規則を適用 しなければならないが，ロシア語の単語にタタール 語の接尾辞が付いている場合等において単語内で コードスイッチング（intra-word CS）が発生するた めトークンごと或いは形態素ごとに言語を特定する 必要があり, 形態素解析等が必要となる. また現代

のタタール語のテキストにはすでにロシア語の借用語が大量に含まれており，言語識別器等を作成する ための純粋なタタール語のテキストを得ることは容易ではない．以上の理由からタタール語におけるキ リル文字からラテン文字への翻字は困難を極める。

既存のタタール語の翻字システムはタタール語の みの翻字規則を適用しているか [1]，ロシア語の借用語のための膨大なルールベースに基づいて対処して いる [2].このため，5 節の実験結果でも述べている ように，前者のタイプの翻字システムではロシア語 の単語をサポートしていないため翻字精度が低い。 また，後者のタイプではルールベースによりロシア 語由来の単語についても翻字が行えるため翻字精度 が高いが，依然としてある程度のロシア語由来の単語を正しく翻字できていない．よって厳密なルール ベースの手法では全ての単語に対して逐次的・網羅的にルールを追加するための継続的な更新が必要で あり，明らかに非現実的で非効率的である。

本研究ではタタール語におけるキリル文字からラ テン文字へのシンプルで高精度な自動翻字システム を提案する。具体的にはタタール語とロシア語のそ れぞれについて単純な翻字規則を用意し，文中の各 サブワードに対してタタール語かロシア語か判別す るための言語識別器を学習し, 各サブワードに対し て識別された言語の翻字規則を適用することを繰り 返すことでキリル文字からラテン文字に翻字する。

その結果，本研究の提案手法は既存手法より高い 翻字精度を達成した. また，提案手法はタタール語 の翻字規則のみを用いた場合より高い精度を示して いることから提案手法がロシア語の形態素をある程度正しく予測し，翻字できることを示している。

## 1.1 タタール語でのコードスイッチング

タタール語におけるコードスイッチングの例とし て (1) にラテン文字での翻字と訳文を示す。下線部 の класс (klass「学級, 学年」) はロシア語からの借
用語であり，ロシア語の音韻で発音されるため，ロ シア語の翻字規則が必要となる. また, ロシア語か らの借用語にタタール語の接尾辞が付くこともあ り，単語内でのコードスイッチング（intra-word CS） が発生するため, この例ではタタール語の位置指定 の接尾辞 -та（-ta「〜で」）が付いている.

(1)Безнең класста кызлар сигезенчедән эчә башлаган иде.

translit.: Bezneñ klassta qızlar sigezençedän eçä başlağan ide.

“私たちのクラスでは，女子は八年生から飲み 始めていた。

## 2 関連研究

## 2.1 コードスイッチング (CS)

$\mathrm{CS}$ は口語的な言語現象であり CS がテキストに記録されることはほとんどないため, リソース不足が 大きな難点となっている. 文献 [3] に出版時点での 利用可能な CS データセットを列挙している. デー タセットの入手の容易さと整備済みのタスク等の 観点からヒンディー語-英語 $[4,5]$, スペイン語-英語 [6,7], アラビア語の方言（アーンミーヤ）から 現代標準アラビア語 [8] が CS の研究のトレンドと なっている. intra-word CS の翻字研究はドイツ語トルコ語，スペイン語-ウイチョル語 [9]，オランダ 語-リンブルフ語 [10], トルコ語-英語 [11] が存在し ており,これらの手法は本研究と同様のアプローチ をとっている. 本研究の手法との違いは Mager ら [9] は単語分割と言語識別に SegRNN [12]を採用し ていること, Nguyen ら [10] は形態素ごとの分割に Morfessor [13] を採用していることである. しかし サブワードごとの言語識別と翻字を組み合わせた本研究のタスクは行われていない。

## 2.2 タタール語の翻字

現時点でタタール語のキリル文字からラテン文字への翻字には以下のサービスが利用できる. The Tatar Transcription Tool（TTT）[1] は Mari Web Project の一環としてウィーン大学がオンラインで公開し ている翻字サービスである. speak.tatar ${ }^{2}$ は匿名で開発された翻字サービスである. Aylandirow [2] はタ タール語についての膨大なルールベースを基に翻字 を行うシステムであり，タタール語由来の単語だけ でなくロシア語由来の単語も広くカバーしている。

## 3 提案手法

タタール語の翻字は単語を跨いだ翻字規則が無い ため単語ごとに処理を行う3).

はじめに，タタール語には intra-word CS が含まれ ていることを考慮し，各サブワードに対してロシア 語かタタール語のどちらかを判別する言語識別器を 作成する. 言語識別器を作成するためにタタール語 とロシア語の 2 つの単言語コーパスを用意した. 現代のタタール語のテキストには CS を含まない純粋 なタタール語のテキストは存在しない4)。そのため 言語識別器の学習にはタタール語のテキスト内のロ シア語の形態素のノイズを避ける目的でロシア語の 借用語を含まない 1912 年に翻訳されたタタール語 のコーラン5）（19,691 語，重複あり）とエジプトの 宗教財産（Awqaf）省が翻訳したロシア語版コーラ ン6）（21,256 語，重複あり）を採用した。

言語識別器の学習プロセスは以下の通りであ る. まずデータセット内の単語を Byte Pair Encoding （BPE）[14] で文をサブワードに分割する．BPE は SentencePiece [15] 等のサブワード手法とは異なり，短いサブワード列の結合によって長いサブワードを 形成していく性質から，全サブワードの集合に文字単位のサブワードが含まれており，全ての文をサブ ワード化できるので，OOV 問題を解決できる [16].今回のケースでは学習用の単言語データが乏しい ため，BPE を採用して OOV 問題を回避した。また ロシア語とタタール語の判別をしやすくするため,「長いサブワードはよりその言語の特徴を捉えたサ ブワードとなっている」という仮説のもと，BPE の アルゴリズムで結合できなくなるまでサブワードの 結合操作を繰り返した. 得られたサブワードを基に fastText $^{7)}$ [17]を用いてサブワードごとの埋め込み表現を得る. 得られたサブワードの埋め込み表現に言語ラベルを付与し, fastText [17] で提供されている教師あり分類器 [18] で言語識別器を作成する ${ }^{8)}$.

3）ソースコード: https://github.com/naist-nlp/tatar_transliteration. デモンストレーションサイト: https://yusuke1997.com/tatar.

4）今回用意した評価用データセットには 8,466 語のうち 1,009 語に少なくとも 1 つのロシア語の形態素が含まれていた.

5） https://cdn.jsdelivr.net/gh/fawazahmed0/quran-api@1/editions/tatyakubibnnugman.json

6) https://cdn.jsdelivr.net/gh/fawazahmed0/quranapi@1/editions/rus-ministryofawqaf.json

7) https://github.com/facebookresearch/fastText

8） ハイパーパラメータとして次元数 16 , 文字 n-gram の最小值 は 2，最大值は 4 である。損失関数には Hierarchical softmax を 用いた. なおハイパーパラメータ等の設定は次の記事を参考 にした. https://fasttext.cc/blog/2017/10/02/blog-post.html

表 1 検証用データ 700 文中，重複なし 5,261 語における 翻字精度の比較結果

作成した言語識別器を用いて各サブワードの言語 ラベルを予測する。ここで隣接する同じ言語ラベル のサブワードは可能な限り結合してょり長いサブ ワードにする．例えば 2 つの連続したサブワードの 言語ラベルが両方ともタタール語である場合，それ らは結合され，1つのタタール語の言語ラベルが付与される. 最後にそれぞれのサブワードは予測され た言語ラベルの翻字規則に基づいてラテン文字へと 変換され，1つの単語にまとめられて出力される.

なお Mager ら [9] とは異なり本研究は深層学習に よるアプローチを行っていない. Mager ら [9]のタ スクがマルチラベリングなのに対して，本研究にお ける言語識別タスクは低リソースの訓練データを用 いた二值分類器であり，このタスクの達成のために 深層学習の使用は高コストと判断したためである.

## 4 実験設定

性能評価のために Corpus of Written Tatar [19] から ランダムに抽出した 700 文9)を手動でラテン文字 のタタール語に翻字し, ネイティブスピーカーが チェックしたものを検証用データとして用意した.

また，コーパス内のロシア語の形態素がタグ付け されるように，キリル文字のテキストにアノテー ションを施した. その結果, 検証用データにはロ シア語の形態素が含まれる単語が 1,009 語（重複あ り)，intra-word CS が含まれる単語が 598 語（重複 あり）含まれていた。評価指標は単語内の各文字 に対して BLEU と LCS (Longest Common Sequence) F-measure，さらに単語全体の翻字精度 (ACC) ${ }^{10}$ を 用いた。また単語として誤翻字した単語数も計測し た. LCS F-measure と ACC の計算は Chen ら [20] を 基にしている. 実験では提案手法（tt-ru hybrid）だ けでなく，タタール語のみの翻字規則のみを用いた 評価（tt-based）も行った. また既存手法との比較に

表 2 tt-based と tt-ru hybrid の誤翻字した単語数の比較 (重複なし)。 $V(T)$ は tt-based で誤翻字した単語の集合， $V(H)$ は tt-ru hybrid で誤翻字したの集合， $V(T) \cap V(H)$ は 両方とも誤翻字した単語の集合， $V(T) \backslash V(H)$ は tt-based のみ誤翻字した単語の集合， $V(H) \backslash V(T)$ は tt-ru hybrid の み誤翻字した単語の集合である。

表 3 ロシア語の単語と intra-word CS の単語における正 しく翻字できた単語数の比較. ru words は検証用データ内 のロシア語 1,009 語のうち，正しく翻字できた数と割合. CS words は 605 語のうち正しく翻字できた数と割合.

speak.tatar，TTT，Aylandirowを用いた.

## 5 実験結果

表 1 に示した実験結果より，提案手法の $\mathrm{tt}-\mathrm{ru}$ hybrid が全ての評価指標において既存手法よりも高 い精度となっている. ロシア語の翻字規則をサポー トしていない手法（特に speak.tatar，TTT）とロシア 語の翻字規則をサポートしている手法（Aylandirow， $\mathrm{tt}$-ru hybrid）の間には評価値に差があり，特に BLEU スコアでは 0.1 ポイントの差があることがわかる. なおタタール語のみの翻字規則で作成した tt-based は同じタタール語のみの翻字規則をサポートした 2 つ翻字手法（speak.tatar，TTT）より全体的に高いス コアであった理由は 6 節で説明する. また同じロシ ア語の翻字規則をサポートした Aylandirow と比較す ると tt-ru hybrid は BLEU で 0.01，ACC は 0.002 ポイ ント上回り, LCS F-score は同等であった. さらに誤翻字した単語数を比較すると Aylandirow は 526 語な のに対して tt-ru hybrid は 332 語と大幅に改善した。

## 6 分析

tt-based はロシア語の翻字規則を適用していない のにも関わらず，タタール語のみの翻字規則をサ ポートした他の 2 つの手法より高いスコアである. これは，既存手法が現在のタタール語の翻字規則

 &  \\

表 4 tt-ru hybrid が翻字に成功した例と失敗した例. 下線部の単語はロシア語の借用語における誤翻字の単語である. 上 の文は tt-ru hybrid が下線付きの単語を正しく翻字できているのに対して，下の文は $\mathrm{tt}$-ru hybrid が下線の付いた単語を誤翻字し，tt-based が正しく翻字できた例である。なお，各手法における出力例の比較は補足の表 6 に示しておく．

（2013Latin）に従っていないことに起因している11）.例えば тәнкыйть（批判）という単語では，2013Latin では tänqit と訳されるべきところ，TTT では tänqit’ と訳される。実際，ラテン語の正書法を規定する機関が事実上存在していないため，インターネット上 では様々な綴り方が見受けられる．従って，tt-based の高いスコアは正書法の一貫性に起因している。ま た，この点を考慮すると， tt-based と tt-ru hybrid の 間でスコアが向上したことは，ロシア語の借用語の 翻字に対応するためにサブワード単位で言語識別を 行ったことが成功していることを意味している.

表 2 に tt-based と tt-ru hybrid について翻字ミスと なった単語数を示している．表 2 から tt-based で観測された誤りの単語のうち 336 語が tt-ru hybrid で 正しく翻字されたことがわかる. 表 4 に tt-ru hybrid と tt-based を比較した際に tt-ru hybrid が翻字に成功 した例と失敗した例を載せる。表 4 の上段の文中 の закон と совет について, tt-based では zaqon と sowet に変換されて誤りとなっているが，tt-ru hybrid では zakon と sovet となり翻字に成功している。これ らの単語はロシア語からの借用語であるため，言語 をうまく識別できていることがわかる．しかし，表 2 に示したように， tt-based で正しく翻字できていた 116 単語については, tt-ru hybrid ではむしろ誤った 翻字が行われていた. 表 4 の下段では，tt-ru hybrid では下線部の soklanıp が正しく翻字できていない一方で，tt-based では soqlanıp と正しい翻字結果になっ ている。これは，言語識別器が該当箇所のサブワー ドをロシア語として誤認識したためにロシア語の翻字規則が適用されたことが原因となっている.

Aylandirow の LCS F-score は提案手法と同程度に 高いスコアであるが，これは Aylandirow がロシア語 の借用語のうち頻出するものをルールに記述して

11）本研究で用いた正書法は 2013 年に制定された最新かつ主流の正書法である（補足 A. 1 参照）。
いるためである。しかしこの手法は言語識別自体は 行っていないため，全ての単語についてのルールを 記述することはできない以上，カバレージ問題がつ きまとう。例えば，Aylandirow ではロシア語の借用語である такси (taksi) がルールに含まれていない ことで，taqsiへ誤翻字されることが確認された。

表 3 にロシア語との CS 単語に関する翻字性能の 比較を示す. 表 3 よりロシア語の形態素を含む単語 については，tt-ru hybrid が既存手法より良い精度で 翻字できたことが確認できる ${ }^{12)}$ ．特にロシア語の形態素に対して tt-ru hybrid は $78.1 \%$ ， tt-based は $46.7 \%$ であることから，ロシア語を含む単語の翻字精度の 向上が認められる．タタール語の中にロシア語の CS が恣意的に含まれることを考慮すると，ルール ベースのシステムは数多く存在する未知のロシア語 に対して柔軟な翻字を行うことができないが，言語識別器を用いた提案手法はどのロシア語の単語に対 しても安定した性能を発揮することが期待できる.

## 7 まとめ

本研究ではタタール語におけるキリル文字からラ テン文字への新しい翻字手法を提案した。ロシア語 の借用語にはタタール語とは異なる翻字規則を適用 されていることや intra-word CS が頻繁に起こってい ることを考慮して提案手法ではサブワードごとに言語識別を行い，識別された言語ごとの翻字規則を適用して翻字を行った結果，既存の翻字サービスより 優れた精度で翻字が行えた。本研究は言語情報に依存していないシンプルなアーキテクチャを採用して おり，構文解析やPOS タグ付けなどの詳細な解析を 必要としないため，intra-word CS が存在する他の低 リソース言語にも適用できる可能性がある。

12） speak.tatar がロシア語の単語に対して最も良いスコアを出 しているが，これは単に翻字規則がロシア語の単語に対して うまく機能するように設計されているからであり，対象的に タタール語の単語に対する精度は低いことが表 1 よりわかる。

## 参考文献

[1] Jeremy Bradley. Tatar transcription tool, 2014. Available at: https://www.univie.ac.at/maridict/site-2014 [retrieved 28 March 2021].

[2] Dinar Korbanov. Aylandirow, n.d. Available at: http://aylandirow.tmf.org.ru [retrieved 29 March 2021].

[3] N. Jose, B. R. Chakravarthi, S. Suryawanshi, E. Sherly, and J. P. McCrae. A survey of current datasets for code-switching research. In 2020 6th International Conference on Advanced Computing and Communication Systems (ICACCS), pp. 136-141, 2020.

[4] Abhishek Srivastava, Kalika Bali, and Monojit Choudhury. Understanding script-mixing: A case study of Hindi-English bilingual Twitter users. In Proceedings of the The 4th Workshop on Computational Approaches to Code Switching, pp.36-44, Marseille, France, May 2020. European Language Resources Association.

[5] Pranaydeep Singh and Els Lefever. Sentiment analysis for Hinglish code-mixed tweets by means of cross-lingual word embeddings. In Proceedings of the The 4th Workshop on Computational Approaches to Code Switching, pp. 45-51, Marseille, France, May 2020. European Language Resources Association.

[6] Elena Alvarez-Mellado. An annotated corpus of emerging anglicisms in Spanish newspaper headlines. In Proceedings of the The 4th Workshop on Computational Approaches to Code Switching, pp. 1-8, Marseille, France, May 2020. European Language Resources Association.

[7] Daniel Claeser, Samantha Kent, and Dennis Felske. Multilingual named entity recognition on Spanish-English code-switched tweets using support vector machines. In Proceedings of the Third Workshop on Computational Approaches to Linguistic Code-Switching, pp. 132-137, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[8] Injy Hamed, Moritz Zhu, Mohamed Elmahdy, Slim Abdennadher, and Ngoc Thang Vu. Code-switching language modeling with bilingual word embeddings: A case study for egyptian arabicenglish, 2019.

[9] Manuel Mager, Özlem Çetinoglu, and Katharina Kann. Subwordlevel language identification for intra-word code-switching. CoRR, Vol. abs/1904.01989, , 2019.

[10] Dong Nguyen and Leonie Cornips. Automatic detection of intraword code-switching. In Proceedings of the 14th SIGMORPHON Workshop on Computational Research in Phonetics, Phonology, and Morphology, pp. 82-86, Berlin, Germany, August 2016. Association for Computational Linguistics.

[11] Zeynep Yirmibeşoğlu and Gülşen Eryiğit. Detecting codeswitching between Turkish-English language pair. In Proceedings of the 2018 EMNLP Workshop W-NUT: The 4th Workshop on Noisy User-generated Text, pp. 110-115, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[12] Liang Lu, Lingpeng Kong, Chris Dyer, Noah A. Smith, and Steve Renals. Segmental recurrent neural networks for end-to-end speech recognition. In Proceedings of Interspeech 2016, Interspeech, pp. 385-389. International Speech Communication Association, September 2016. Interspeech 2016 ; Conference date: 08-09-2016 Through 12-09-2016.

[13] Mathias Creutz and Krista Lagus. Morfessor in the morpho challenge. In PASCAL Challenge Workshop on Unsupervised segmentation of words into morphemes, 2006.

[14] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[15] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neu- ral text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[16] Tamali Banerjee and Pushpak Bhattacharyya. Meaningless yet meaningful: Morphology grounded subword-level NMT. In Proceedings of the Second Workshop on Subword/Character LEvel Models, pp. 55-60, New Orleans, June 2018. Association for Computational Linguistics.

[17] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 135-146, 2017.

[18] Armand Joulin, Edouard Grave, Piotr Bojanowski, and Tomas Mikolov. Bag of tricks for efficient text classification. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 427-431, Valencia, Spain, April 2017. Association for Computational Linguistics.

[19] Mansur R. Saykhunov, R. R. Khusainov, T. I. Ibragimov, J. Luutonen, I. F. Salimzyanov, G. Y. Shaydullina, and A. M. Khusainova. Corpus of written tatar, 2019. Available at: http://www.corpus.tatar [retrieved 28 March 2021].

[20] Nancy Chen, Rafael E. Banchs, Min Zhang, Xiangyu Duan, and Haizhou Li. Report of NEWS 2018 named entity transliteration shared task. In Proceedings of the Seventh Named Entities Workshop, pp. 55-73, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[21] David M. Eberhard, Gary F. Simons, and Charles D. Fennig, editors. Ethnologue. SIL International, Dallas, Texas, 24th edition, 2021. Available at: http://www.ethnologue.com [retrieved 12 March 2021].

[22] Guzel A. Izmailova, Irina V. Korovina, and Elzara V. Gafiyatova. A study on tatar-russian code switching (based on instagram posts). The Journal of Social Sciences Research, Vol. Special Issue. 1, pp. 187-191, 2018.

[23] National Council of the Republic of Tatarstan. O восстановлении татарского алфавита на основе латинской графики [on the restoration of the tatar alphabet based on the latin script], September 1999. Available at: http://docs.cntd.ru/document/917005056 [retrieved 28 March 2021].

[24] Boris Yeltsin. О языках народов Российской Федерации [on the languages of nations in the russian federation], 2020. First published in 1991, last amended in 2020. Available at: http://pravo.gov.ru.

[25] National Council of the Republic of Tatarstan. Об использовании татарского языка как государственного языка Республики Татарстан [on the use of the tatar language as the national language of the republic of tatarstan], January 2013. Available at: http://docs.cntd.ru/document/463300868 [retrieved April 26, 2021].

[26] Aynur Akhatovich Timerkhanov and Gulshat Rafailevna Safiullina. Tatarça-inglizçä, inglizçä-tatarça süzlek: Tatar-English, English-Tatar dictionary. G. Ibragimov Institute of Language, Literature and Art, Kazan, 2019.

## A タタール語の言語学的な背景

タタール語（ISO 639-1 Code: tt）は，トゥルク語族キプチャク語群に属する言語で，主にロシア国内のタタールスタン 共和国で話されている。話者数は約 500 万人と推定されている [21]. 一般的には語順は SOV の形をとるが，スクランブ リングを伴う自由な語順を許容している。膠着語であり，格標示や動詞の屈折などは接尾辞によって導かれる。接尾辞 は母音の後方性あるいは前方性が一貫して保たれる母音調和規則に従う，現代のタタール語は，ロシア語との言語接触 の影響により，ロシア語の借用語を多く含んでいる。話者の多くはロシア語とのバイリンガルで，都市部に住む若い世代はタタール語よりもロシア語の方が得意な傾向にある。このようなバイリンガリズムは，特に口語での頻繁なコード スイッチング（CS）を引き起こしている[22].

## A. 1 タタール語の正書法

現代のタタール語の正書法は，ロシア語の正書法の文字に 6 つの拡張キリル文字を加えたものが主流である.キリ ル文字のタタール語はロシア語圈に住むタタール人が主使用しており, トルコやフィンランドなど他の地域に住む タタール人はラテン文字を使用している。1928 年まではタタール語はアラビア文字で書かれていたが，1920 年代から 30 年代にかけてソビエト連邦で行われたラテン語化計画に伴い，タタール語にラテン文字の正書法であるヤンガリフ （yañalif）が導入された. その後，1939 年に政治的な理由によってヤニャリフはキリル文字に変更され，現在のタタール スタン共和国で公式に使用されるに至る。しかしり連崩壊後，ラテン文字正書法の復活を求める運動が再燃したため, 1999 年にタタールスタン共和国法により新しいラテン語文字正書法が採用された [23]. しかしながら，2002 年にロシア 連邦法に「ロシアのすべての民族言語はキリル文字で書かなければならない」という新たな項目が追加されたことによ り, この法律の効力はすぐに失ってしまった [24]. 現在のタタール語のラテン文字アルファベット（2013Latin）はテュ ルク語共通アルファベットをベースとしており，2013 年にタタールスタン共和国法で正式に採用され，タタール人の ディアスポラコミュニティで使用されている [25]. 本稿で使用するラテンアルファベットは 2013Latin とし，キリル文字 からラテン文字への変換の詳細な翻字規則は文献 [26] 亿記載されている。また表 5 にも簡易的な対応表を示す.

表 5 タタール語におけるキリル文字とラテン文字の対応表. NA (not applicable) は対応する文字が存在しないことを意味 している。「一」はその文字が翻字において無視されることを意味している。

表 6 各手法の翻字結果の例. 上段 2 行はキリル文字で書かれた原文と翻字されたラテン文字のタタール語. 中段 3 行は 先行研究の手法，下段はタタール語のみの翻字規則を適用した $\mathrm{tt}$-based と提案手法の $\mathrm{tt}$-ru hybrid の翻字結果である.


# Neural Machine Translation における相対的意味論による訳文選択

村上 仁一
鳥取大学工学部
murakami@tottori-u.ac.jp

## 概要

現在，機械翻訳においては，Neural Machine Translation（以後 NMT）が盛んに研究されている. しか し，まだ，人手による翻訳性能には及ばない.

本論文では，機械翻訳における大きな問題点とし て，要素合成法の問題をしめす。次に，要素合成法 の問題点からみた，NMT の問題点を示す。また，相対的意味論の原理について述べる. そして. この原理に従って，NMT の訳文を選択する“相対的意味論 に基づく統計機械翻訳 (RSMT)” の概要について述 べる. 最後に，RSMT の翻訳性能について述べる。

## 1 はじめに

現在，機械翻訳においては，NMT が盛んに研究されて いる。そして，翻訳性能も高い。しかし，まだ，人手によ る翻訳性能には及ばない。

本論文では，始めに，機械翻訳における大きな問題点 として, 要素合成法の問題をしめす. 要素合成法の問題 とは，個々の単語を翻訳して文を組み合わせても，翻訳品質は高くならないことである。この問題は，機械翻訳 の研究者の間では，認知はされてきたが，大きく取り上 げられることは少なかった.

次に，要素合成法の問題点からみた，NMT の問題点 を示す. NMT は，基本的には翻訳精度が高い。しかし，要素合成法の問題点からみた場合, 問題を含むモデルに なっている.

次に，相対的意味論の原理について述べる.この原理 とは “A が B ならば $\mathrm{C}$ は D” と考える意味論である. 基本的には，類推推論である。そして，ABCD は文である.

次に，この原理に基づいた，“相対的意味論に基づく統計機械翻訳 ( 以後 RSMT), の概要について述べる. この翻訳方法は，複数の NMT からの出力を，相対的意味論の原則に従って訳文選択をする方式である。相対的意味論の 原則に沿うことで，要素合成法の問題点を軽減できる。

最後に，実験に基づいて RSMT の翻訳性能について述 べる.この実験の結果 RSMT はNMT と比較して, 翻訳性能が大きく向上していることを示す.

## 2 翻訳における要素合成法の問題

## 2.1 要素合成法の問題

池原 [1] らの主張する “要素合成法の問題”を以下に示 す.この問題は，影響の大小はあるが，すべての翻訳シ ステムに存在する。

1. 文を翻訳するとき，個々の単語を翻訳しても，文の 意味としては，間違った翻訳になることが多い。

2. つまり，個々の単語を翻訳して文を組み合わせても，翻訳性能は低い。

3. 翻訳性能を向上させるには，文全体の意味を考慮し て翻訳する必要がある。

以下の例文は，要素合成法の問題点を示す典型的な例 である.

・入力文彼女は我を通した。

$\cdot$出力文（翻訳文） She passed me.
- 参照文 She had her own way .

一般的に“通す”は “pass”と “我”は”"me”と訳すことが 多い。しかし，文全体の意味を考えると，明らかに間違っ た訳出になる。

## 2.2 NMT と要素合成法の問題

NMT は，構造的にみると，元言語の単語から目的言語 の単語に変換している. 従来のルールベース翻訳におけ るピボット翻訳や単語に基づく統計翻訳に，類似してい る.1) そのため, 要素合成法の問題を内在している。そこ でNMT の翻訳性能を向上されるために，NMT における 要素合成法の問題を緩和する方法を組み合わせる．具体的には，文全体を考慮した翻訳方法を NMT に組み込むこ とである.

## 3 要素合成法の問題を緩和する方法

文全体を考慮した翻訳方法を，NMT に組み込むため の，要素を以下に述べる。

## 3.1 相対的意味論に基づく翻訳

相対的意味論とは，“Aが Bならば $\mathrm{C}$ は $\mathrm{D}$ ”と考える方法である。類推推論に近い。これを日英翻訳に適用した ときの基本的な概念を述べる.

・Aが B ならば C はDになる.

・ただし A,B,C,D は文

$\mathrm{A}$ 対訳学習文の日本文

B対訳学習文の英文

C入力日本文

1） 個人的には，この構成で，高い翻訳精度を得ていることに，驚きすら感じる。

D出力英文（翻訳文）

-A と Cは日本語において類似

-A と B は日英翻訳と英日翻訳において類似

・B とDは英語において類似

・C とD は日英翻訳と英日翻訳において類似

以下に例を述べる。

A私は林檎が好きだ

BI like an apple

Cショウジョウハエは林檎が好きだ

DFruit flies like an apple

この例では，以下のように解釈する。

1. “私は林檎が好きだ”と“ショウジョウ八エは林檎が 好きだ”は類似している。

2. “私は林檎が好きだ”に対する “I like an apple”の翻訳確率は高い.

3. “ショウジョウハエは林檎が好きだ”に対する “Fruit flies like an apple"の翻訳確率は高い.

4. "I like an apple" と "Fruit flies like an apple" は類似して いる.

5. 以上 4 点を考慮して，“ショウジョウ八エは林檎が好 きだ”を入力文としたとき，"Fruit flies like an apple" が翻訳文になる. “Fruit flies like apple”（ショウジョ ウハエはリンゴが欲しい？）とは訳さない。

## 3.2 NMT と相対的意味論

NMT を，相対的意味論的に考えると，"A"と"B”が複数 ある場合の"C"と"D” の関係として捕らえることが可能 である。NMT における対訳学習文の日本文は”A”で英文 は”B”に相当する。 入力文は”C"で，D は出力文（翻訳文） である．例を以下に示す．対訳学習文を 2 文とする。

$A_{1}$ 彼は山にいった.

$B_{1}$ He went to mountain

$A_{2}$ 彼女は海にいった

$B_{2}$ She went to sea

C彼は海にいった

$D$ He went to sea

この例では以下のように考える。

“彼は山にいった. ”と“He went to mountain”, と“彼女は 海にいった”と “She went to sea”が，存在するから，“彼は 海にいった”は “He went to sea”と翻訳できる。

この考え方は，NMTにおいて，複数の対訳学習文から，

和策

NMT は，複数の対訳学習文から，出力文（翻訳文）を 得ていると考えることができる。これは，翻訳文は，多く の対訳学習文から類推される単語で構成されていると考 えることができる．これが，NMT における要素合成法の 問題を引き起こす。そこで，この問題を軽減させるため に，翻訳文は，学習文中に類似文があると仮定する．こ れにより, 要素合成法の問題を低減できる. 以下に，そ の方法を述べる。

1. NMT と乱数

NMT は EM 推定法である。そして，勾配問題を解決するためと，局所的な最適化を防ぐために，乱数 を利用している．そのため，乱数の初期値によって，翻訳結果が異なる。しかし，NMT の翻訳確率が高い出力文は，基本的には，翻訳精度が高い。

2. 相対的意味論を用いた訳文選択

複数の翻訳文から，相対的意味論を用いて，最終的な出力文（翻訳文）を選択する。相対的意味論は， “A が B ならば C はD”と表現できる. ここで， C と $\mathrm{A}$ の類似度と, $\mathrm{C}$ と の翻訳確率と, $\mathrm{D}$ と $\mathrm{B}$ 類似度と，A と B の翻訳確率を組み合わせて，最適な訳文を選択をする.

## 4 提案する RSMT のフローチャート

本章では，3.3 節の考察に基づいて，RSMT を提案する。提案手法の基本的な考え方は，相対的意味論（A が B な らば C はD）の構造を，可能な限りNMT に保持する．以下に RSMT の具体的なフローチャートを示す. 基本的に は，訳文生成と訳文選択の 2 つに別れる.

1. 訳文生成

(a) 複数の NMT による訳文出力 $D_{a}$

NMT は局所的な最適化を防ぐために，乱数を 利用している. そのため, 乱数の初期値によっ て，翻訳結果が異なる。そこで，類似文を複数定義して，複数の NMTを学習する。そして，複数の翻訳文を得る。

(b) NMT における N-best 出力 $D_{b}$

NMT は，複数の訳文を出力できる．そして，最もよい翻訳文は，常に最上位にくるとは，限 らない。そこで 1 つの NMT において N-best の 出力を得る.

2. 訳文選択

訳文選択は 4 つの段階を得て行う。

(a) 単語の一致率を利用した類似度による選択 $D_{c}$上記の入力文と出力文 (C と D) において, 対訳学習文の日本文と英文（A と B）との類似度 を計算する。この類似度は，大量の対訳学習文 を計算するため，単語の一致度で計算する（??節参照)。つまり (Cと A) および (D と B)の単語 の類似度で計算する。そして，枝刈りをして，出力文を選出する.この過程において，1出力文ごとに A が B ならば C はD の構成を得る.

この選択は， A と C の類似確率および B と D の類似確率を利用して，出力文を選択している ことを意味する。

(b) NMT の翻訳確率を利用した選択 $D_{d}$上記の出力文 $D_{c}$ から， NMT の翻訳確率を用 いて訳文選択をおこなう。この選択は， Cと D の翻訳確率を利用して，出力文を選択している ことを意味する。

(c) word2vec を利用した類似度による選択 $D_{e}$上記の出力文 $D_{d}$ において, Word $2 \mathrm{vec}$ の類似度を用いて訳文選択をおこなう．具体的には， (Cと A) および (D と B) の類似度を word2vec を 利用して，枝狩りをおこなう（??節参照）。この 選択は，A と C の類似確率および B と D の類似確率を利用して，出力文を選択していることを 意味する。

(d) PMI による翻訳確率による選択 $D_{f}$

NMT は非線形推定であるため, 翻訳確率にお いて異常値を出力することがある．そこで，線形性を保持した翻訳確率を用いて，訳文選択を

おこなう。具体的には，(C と A)および (D と B) の翻訳確率を単語の翻訳確率の PMIを利用し て，枝狩りをおこなう（??節参照）。これが最終的な翻訳の尤度となる。

## 5 翻訳実験

## 5.1 実験条件

提案した RSMT の翻訳実験を行った. 比較のために， NMT の出力と比較した．実験条件を以下に示す．

表 1 実験データ

使用した NMT は, OpenNMT Ver2.1.2である.その他の 学習パラメータは, defaultを利用した。

## 5.2 実験結果

評価は，人手評価および自動評価で，ともに 100 文で 行った.

人手評価は，提案手法 (RSMT) と OpenNMT(NMT) で対比較試験を行った. 評価者は 8 名（学生）である. この結果を以下に示す。

表 2 人手評価 100 文

なお，出力文が一致する文 $(R S M T=N M T)$ は 16 文存在 する。

評価は， RSMT $\approx$ NMT の文においてバラツキが見られ る.しかし, 合計値を見ると, RSMT > NMT が 229 件 NMT $>$ RSMT が 169 件となった．また，被験者全員 (8名) は，100 文において，RSMT >= NMT となることを示し た. よって，RSMT の有効性が示された.

自動評価の値を以下に示す.

表 3 自動評価 100 文

これらの結果から，提案方法が NMT と比較すると，優 れていることがわかる.

## 5.3 RSMT の出力例

以下に RSMT の具体的な出力例を示す. C は入力文で， $\mathrm{D}$ は出力文（翻訳文）である。A は類似した対訳学習文 （日本文）で，B は類似した対訳学習文（英文）である。D および Cの下添字は， $N$-bestを意味する。
- $D_{x-r e f}$ 参照訳
- $D_{x}$ におけるカッコ内の数字最終的な数値（word2vec を利用した類似度 $\times$ PMI による翻訳確率)
- $D_{x}$ における (NMT) NMT の出力 $C_{1}$ 信号が青より赤に変わった。

$D_{1 \text { ref }}$ The signal changed from green to red .

$D_{1}$ The signal changed from green to red .(11.693840)

$A_{1}$ 信号が青から赤にぱっと変わった。

$B_{1}$ The traffic light jumped from green to red.

$D_{1}$ The traffic light turned red than blue . (NMT)

$D_{2}$ The signal turned red to red . (10.177000)

$A_{2}$ 信号が青から赤にぱっと変わった。

$B_{2}$ The traffic light jumped from green to red .

$D_{2}$ The signal turned red to red . (NMT)

一般的には，“より” “ “than”と訳される。そのた

め, 通常の NMT では “than” と訳される.これが要素合成法の問題である. しかし, RSMTでは, 正解文 “The signal changed from green to red” が得られた. なお，入力文を“信号が青から赤に変わった。”と すると，通常のNMTでも正解が得られる。

$C_{2}$ 私は電車事故で足留めを食った。

$D_{2 r e f} \mathrm{I}$ was stranded as a result of the train accident

$D_{1}$ I was stranded in the train accident . (-2.946399)

$A_{1}$ 今朝、私は電車の事故で学校に遅刻した。

$A_{1} \mathrm{I}$ was late for school this morning due to a train accident.

$D_{1}$ I was horse-collared in the train accident . (NMT)

$D_{2}$ I was injured in a train accident . (-4.559319)

$A_{2}$ 今朝、私は電車の事故で学校に遅刻した。

$B_{2} \mathrm{I}$ was late for school this morning due to a train accident.

$D_{2} \mathrm{I}$ was gloating in the train accident. (NMT)

“足留めを食う”は，慣用句表現である。この例で は，RSMT は正確に翻訳できている。

$C_{3}$ 私は酒で頭がぼんやりしてしまった。

$D_{3 r e f}$ The spirits muddled my brain .

$D_{1}$ My mind became foggy with drink

$A_{1}$ 睡眠薬のせいで頭がぼんやりしている。

$B_{1}$ My mind is foggy with sleeping tablets .

$D_{1}$ My head was muddled with drink . (NMT)

この例文は，NMT が RSMT よりも，翻訳精度が高

いと判断した例である. 具体的には， $R S M T=N M T$

と判断した人が 2 名であり， $R S M T<N M T$ と判断し

た人が 6 名であった. なお，両者の差は，わずかで ある．ネイティブの評価では，結果が異なるかもし れない.

この例に示されるように， $R S M T<N M T$ と判断 した文は，どちらも翻訳精度が高い。しかし，わず かの差で $R S M T<N M T$ と判断している.

$C_{4}$ 彼はバイクを木にぶつけた。

$D_{4 r e f}$ He hit his bike against a tree .

$D_{1} \mathrm{He}$ crashed his motorcycle into a tree .

$A_{1}$ 彼は車をガードレールにぶつけた。

$B_{1}$ He crashed his car into the guardrail .

$D_{1} \mathrm{He}$ crashed his motorbike into a tree .(NMT)

この例文は，NMT と RSMT の翻訳精度が，ほど同

程度と判断した例である。この例文の差は，アメリ

カ英語とイギリス英語の優先順位に依存すると思わ れる。

なお， $N M T=R S M T$ と判断した例文は，両者とも 翻訳精度が低い文も含まれる。これは，RSMT は，
複数の NMT の翻訳文から，翻訳選択を行っているた めと判断している.

## 6 考察

## 6.1 翻訳支援

提案した RSMT の特徴を，翻訳支援の立場から挙げる。 1. 修正の容易性

RSMT は，“Aが B ならば C は D” の形で出力する.

したがって $C$ の翻訳 $D$ に近い対訳学習文 $A$ と $B$ が 表示される．そのため， $C$ が誤った翻訳 $D$ が出力さ れても， $A$ と $B$ および $C$ と $D$ を見比べることによっ て，容易に人手で修正が可能である。この特徴は翻訳支援と言える. 例を以下に示す.

C彼女は我を通した。

DShe had his own way .

A彼は我を通した。

BHe had his own way.

正解文は “She had her own way” である.この例文

では人手で容易に “his”を“her”に書き換えることが できる.
2. $N$-BEST

RSMT では 1 位候補が間違っていても，2 位候補 が正しい場合が多い. 例を以下に示す.

Cぶらんこが摇れている。

$D_{1}$ The swing is flicking.

$A_{1}$ 炎が摇れている。

$B_{1}$ The flame is flickering .

$D_{2}$ The swing is swining .

$A_{2}$ ハンモックが摇れていた。

$B_{2}$ The hammock was swinging .

この例では正解が第 2 候補にある。そして，対訳

学習文 $\mathrm{A}$ とを見ることによって，容易に人手で修正可能である.

## 6.2 類似度および翻訳確率の計算式

類似度や翻訳確率は，様々な計算方法がある．最初の 文の類似度は，単語の一致率を利用した。文の類似度は，類似度の計算には，線形性を考えて word2vec における 1hot の式を利用している. 文の翻訳確率は，線形性を考慮して，PMIを利用している。今後，より翻訳精度を向上 させるために，様々な計算式を調査して行きたい.

## 6.3 類似研究

類似研究としては，類推に基づく翻訳や，検索がある.特に早稲田大学の Lepage 氏のグループがある. これらの 研究は, 基本的には”A が B ならば C は D”の推論を利用 している.これらの研究の違いを以下に述べる.

1. 類推

自然言語処理の中で”A が B ならば C は D”の形式 で，考えていくのは，多分類推 (analogy) の研究が，最初であろう.この形式は, 多分相当古い. Lepage は，論文 [6] で. 類推を”A が B ならば C は D” の形 でまとめた. そして，様々な類推の思考実験を行っ ている.

2. 翻訳

論文 [7] は，類推関係に基づいた用例翻訳を提案 している.この論文では，“A が B ならば C は D”の構造を利用している。しかし，この論文では，文を 分解して，分解した要素に対して，類推して翻訳を 行っている。そのため，かなりパターン翻訳に近い 形になっている。この方法は，要素合成法の問題 2.1 を含むため，翻訳品質が低下することが多い，本論文では，文を分割しなくて，類推をおこなう。これ により，要素合成法の問題をかなり低減できる。ま た，本研究では，訳文選択の形式を取っている。

## 7 まとめ

本論文では，機械翻訳における大きな問題点として，要素合成法の問題を示した. そして，要素合成法の問題点 からみた，NMT の問題点を示した. この問題点を軽減す るために，相対的意味論の原理に従って，NMT の訳文を 選択する “相対的意味論に基づく統計機械翻訳 (RSMT)” を提案した. 実験結果から，提案した RSMT の翻訳性能 は，NMT を超えることを示した．なお．提案方法は，入力文に類似した対訳学習文を出力する。これは，翻訳支援において特に有効であると考えている.

## 謝辞

英文評価には，以下 8 名の学生と，英語教師の尾崎か おる氏の協力を得ました. 感謝いたします. (竹本 祐基,新田 玲輔, 本田 涼太, 矢野 貴大, 斎藤 永, 浅井 奏人, 森 唯人, 柳原 弘哉)

## 参考文献

[1] 池原悟. 非線形言語モデルによる自然言語処理. 岩波書店, 2009

[2] Yasutsugu MORIMOTO Hiroyuki Kaji, Yuuko Kida. Learning translations from biligual text. COLING-92, pp. 672-676, 1992.

[3] Hiroshi UCHIDA. Atlas fujitsu machine translation system. MT Summit 87, pp. 129-134, 1987.

[4] Margaret King. Machine Translation Today : the State of the Art. Edinburgh University Press, 1984.

[5] Kazunori MURAKI. Pivot: Two-phase machine translation system. MT-summit 1987, pp. 81-83, 1987.

[6] Yves Lepage. Analogy and formal languages. Theoretical Computer Science, 2002.

[7] 他木村 竜矢. 類推用例翻訳における文長ごとの翻訳品質の評価. 言語処理学会第 20 回年次大会, pp. 836-839, 2014.


# ニューラル機械翻訳のための 日本語の膠着語的性質を考慮したマルチタスク学習

西田悠人 秋葉友良 塚田元
豊橋技術科学大学
\{nishida.yuto.ec, akiba.tomoyoshi.tk, tsukada.hajime.hl\}@tut.jp

## 概要

ステミングタスクを補助タスクとしたマルチタス ク学習 (MTL) モデルが膠着語に属する言語のニュー ラル機械翻訳に有効であるという報告があるが，膠着語である日本語の翻訳にも有効であるかは明らか ではない。そこで，本研究では日本語-英語および 日本語-中国語の双方向翻訳においてステミングを 基本としたタスクを補助タスクとした MTL モデル の性能の評価を行った。実験結果より，ステミング タスクを補助タスクとした MTL モデルの有効性は 限定的であることと，ステミングタスクと英語文/中国語文をソースとした日本語ステム列生成タスクの 両方を補助タスクとした MTL モデルは有効である ことを示した.

## 1 はじめに

膠着語に属する言語は morphologically-rich (形態学的に複雑) であり, それらの言語の翻訳は，特に 学習データが少ない場合に，ニューラル機械翻訳 (NMT) モデルにとって依然として困難なタスクであ ることが知られている [1]. Pan ら [1] はこの問題を 解決するために，トルコ語-英語およびウイグル語中国語の双方向翻訳において，膠着語 (トルコ語, ウイグル語) のステミングタスクを補助タスクとし たマルチタスク学習 (MTL) モデルを提案し，翻訳性能が向上することを示した。しかし，他の言語対 (膠着語-非膠着語の対) において同様の手法が有効 であるかは明らかではない.

本研究では，ケーススタディとして，膠着語のな かでも日本語に着目する. 日本語-英語および日本語-中国語の双方向翻訳を対象として，ステミング タスクを補助タスクとした MTL モデルの性能を評価することで，Pan ら [1]の手法が日本語の翻訳にお いても有効であるかを検証する。また，その他のス
テミングを基本としたタスクについても検討し，よ り有効な補助タスクを探究する。

実験結果より，(1) Pan ら [1] の提案した手法に相当する日本語ステミングタスク $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ を補助タスク とした MTL モデルの有効性が限定的であることを 示し，(2) $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ と新たに提案した英語文/中国語文を ソースとした日本語ステム列生成タスク $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ の両方を補助タスクとした MTL モデルによって翻訳性能が向上することを示し，(3) 翻訳タスクと補助タ スクの混合比を調整することで (2) のモデルに更な る性能改善がみられることを示唆した。

## 2 関連研究

NMT にマルチタスク学習を導入するための様々 な手法が提案されている。翻訳以外の補助タスクを 用いて主タスク (翻訳タスク) の性能向上を図る研究として, Luong ら [2] はドイツ語・英語のオート エンコーダと独英翻訳のマルチタスク学習を提案 し, Currey ら [3] は英語の句構造解析と英語を原言語とした翻訳 (英露翻訳など) のマルチタスク学習 を提案した。あるいは，主タスクと補助タスクを区別せず，複数の翻訳タスクを共同で学習し，その相乗効果によって翻訳性能の向上を図る研究もある. Johnson ら [4] は単一のモデルによる多言語翻訳に よって低資源言語の翻訳性能が向上することを報告 した.

膠着語を対象とした NMT の研究も多くある. Ataman ら [5] は教師なしの形態学的セグメンテー ションモデルによってトルコ語の語彙削減を行うこ とで，土英翻訳の性能が向上することを報告した. Pan ら [6] は膠着語の語幹と接辞に別の処理を施す サブワード分割手法を提案し，土英翻訳およびウイ グル語-中国語翻訳の性能向上を示した。

## 3 日本語の膠着語的性質を考慮した マルチタスク学習

## 3.1 マルチタスク学習

タスクごとに固有のタグを各ソース文の先頭に加 える方法 [4] により, 単一の seq2seq モデルでマル チタスク学習を行う．これにより，標準的な NMT アーキテクチャに変更を加えることなく，マルチタ スク学習を行うことができる. 本研究では，主タス ク (翻訳タスク)であることを示すタグ<MT>と補助タ スクであることを示すタグ<ST>を導入する。本研究 における MTL モデルの概念図を図 1 に示す.

図 1 MTL モデルの概念図

## 3.2 補助タスク

日本語の膠着語的性質を考慮した補助タスクと して, Pan ら [1] が提案した補助タスクに相当する $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ と，新たに提案した $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ の 2つを導入する. $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ は日本語文を入力として，対応する日本語ス テム列を生成するタスクであり, $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ は英語文/中国語文を入力として，入力に対する日本語訳文に対応する日本語ステム列を生成するタスクである。な お, 日本語の文節は典型的には 1 つの自立語に 0 個以上の付属語が膠着することで形成されるため, 本研究では日本語文の自立語のみを抽出して原形化す ることで得られるトークン列を日本語ステム列と定義した。

日本語-英語の双方向翻訳を対象とした際の主夕 スクである日英翻訳，英日翻訳と補助タスクである $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}, \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ の訓練データの例を表 1 に示す.

表 1 タスク毎の訓練データの例 (上：ソース文，下：ターゲット文)

} & <MT> 実験 によってこの 結果 が 検証 された。 \\

## 4 評価実験

## 4.1 データセット

対訳データとして，KFTT [7] の京都関連文書対訳 コーパス全文対 (440,288 文対), IWSLT2017 [8] の英日対訳コーパス全文対 (223,108 文対), Asian Scientific Paper Excerpt Corpus (ASPEC) [9] から ASPEC-JE100k (ASPEC-JE の train1 データの先頭 100,000 文対), ASPEC-JC100k (ASPEC-JC の train データの先頭 100,000 文対)を用いる. 開発データおよびテスト データには，それぞれのコーパスの開発/テスト データを用いた。なお，IWSLT2017では開発データ

タの日本語文は MeCab [10] によるトークナイズ を行った. MeCab の辞書には IPA 辞書を用いた.英語文は Moses [11] tokenizerによるトークナイズ， Moses truecaserによる truecasingを行った. 中国語文は jieba [12]によるトークナイズを行った.

補助タスクの訓練データは，対訳データから作成 した. $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ と $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ の訓練データのターゲット文 は対訳データの日本語文に対して自立語抽出と語 の原形化を行うことで作成できる。自立語抽出は， MeCabによって文の各形態素の品詞を解析し, 自立語に相当する品詞に該当する形態素以外を除去する ことで行った。なお，自立語に相当する品詞は (1)名詞-動詞非自立的, 名詞-接尾, 名詞-非自立, 名詞特殊を除くすべての名詞，(2) 連体詞，(3) 動詞-自立, (4) 形容詞-自立, (5) 副詞, (6) 接続詞, (7) 感動詞, (8) フィラーとした. 品詞の分類は IPA 品詞体系 [13] に基づく，語の原形化は, 各形態素を MeCab によって得た原形に置換することで行った.

## 4.2 実験条件

モデルの語彙は，対訳データの英語文/中国語文 と日本語文を結合したうえで作成した。語彙サイズ はソース，ターゲットともに同一とし，KFTT では 100,000，その他では 50,000 とした.

翻訳モデルおよび MTL モデルはオープンソース の NMT ツールキット OpenNMT [14] の Python 実装 である OpenNMT-py によって構築した。

モデルの翻訳性能の評価指標には BLEU [15] を用 いた. モデルの訓練で得たチェックポイントから翻訳方向ごとに開発データの BLEU が最も高いものを 選択し，そのチェックポイントにおけるテストデー

タの BLEUをそのモデルの性能とした.

## 4.3 ステミングを基本とした補助タスクを 用いた実験

本節では，ステミングを基本としたタスクを補助 タスクとした MTL モデルの有効性を評価するため に，次に示す 4 つのモデルについて訓練および評価 を行った。

bi-MT 補助タスクを用いない双方向翻訳モデル. これがベースラインモデルとなる.

$\mathbf{b i}-\mathbf{M T}+\mathbf{S T}_{\mathbf{j} \rightarrow \mathbf{j}} \quad \mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ を補助タスクとした MTL モ デル．Pan ら [1] の提案したモデルに相当する. $\mathbf{b i}-\mathbf{M T}+\mathbf{S T}_{\mathbf{f} \rightarrow \mathbf{j}}$ 新たに提案した $\mathbf{S T}_{\mathrm{f} \rightarrow \mathrm{j}}$ を補助タスク としたMTL モデル.

$\mathbf{b i}-\mathbf{M T}+\mathbf{S T}_{\mathbf{j} \rightarrow \mathbf{j}} \& \mathbf{S} \mathbf{T}_{\mathbf{f} \rightarrow \mathbf{j}} \quad \mathbf{S T}_{\mathrm{j} \rightarrow \mathrm{j}}$ と $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ の両方を補助 タスクとした MTL モデル.

MTL モデルの訓練に用いるミニバッチは，各ミ ニバッチに占める日英 (日中) 翻訳タスク，英日 (中日) 翻訳タスク，補助タスクのデータの割合が等し くなるように構成した. すなわち，各ミニバッチの 全体 (主タスク＋補助タスク) は，ミニバッチの主タ スクの 1.5 倍となる. また，対訳データとともに用 いる補助タスクのデータはその対訳データから作成 し，外部データは使用しなかった.

各モデルの各翻訳方向の BLEU ( $\mathrm{Ja}-\mathrm{En} / \mathrm{Zh}$ お び En/Zh-Ja) とその算術平均 BLEU (Ave.) を表 2 に 示す.

表 2 より, bi-MT+ $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ と bi-MT+ $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ の平均 BLEU は，IWSLT2017 ではベースライン性能を下回 り，その他ではベースライン性能を上回った。ま た, 各翻訳方向でみると，約半数のケースでベース ライン性能を下回っていることが確認できる.

対照的に, bi-MT $+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ はベースラインに 対して一貫して平均 BLEU が向上し，その向上幅は 一貫して bi-MT $+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ および bi-MT+ $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ より大き い。また，各翻訳方向でみても，ASPEC-JC100k の Ja-Zh を除いて BLEU が向上したことが分かる.

以上より，日本語-英語および日本語-中国語の双方向翻訳において, Pan ら [1] の提案した補助タス ク $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ と新たに提案した補助タスク $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ は単独 では有効性が限定的であることと，両方を組み合わ せて用いた MTL モデル bi-MT $+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ は有効 であることが示された.

## 4.4 恒等写像タスクとの比較実験

Luong ら [2] は独英翻訳において，ドイツ語文と 英語文の恒等写像タスクを補助タスクとした MTL モデルが有効であることを示した．そこで，本研究 でも日本語文と英語文/中国語文の恒等写像タスク を補助タスクIMとして導入する ${ }^{1)}$.

Luong ら [2] は翻訳タスクと補助タスクの混合比 を $1: 0.05$ としたとき，MTL モデルの翻訳性能が最 も高いことを報告している. 本研究でも同様の条件 で実験を行うために，訓練に用いる各ミニバッチ の全体が，ミニバッチの主タスクの 1.05 倍となる ようにミニバッチを構成し, MTL モデル bi-MT+IM (1.05x)を訓練した. 各訓練データにおけるモデルの BLEU を表 2 に示す.

表 2 より, bi-MT+IM (1.05x) は一貫して平均 BLEU がべースラインを上回っていることが確認できる。 このことより，IMを補助タスクに用いることは本研究の実験条件においても有効であることが示され た. しかし, bi-MT+ $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ の平均 BLEU と比較すると，一貫して bi-MT+IM (1.05x) の平均 BLEU のほうが低く, bi-MT $+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ のほうがより有効性が高いことが分かる.

## 4.5 タスク混合比による性能変化

Luong ら [2] は独英翻訳と恒等写像の MTL モデル において，タスク全体に占める恒等写像タスクの割合が高いときにモデルの翻訳性能が低下することを 報告している．そのため，前節までのモデルにおい ても，タスク混合比を調整することで性能が改善す る可能性がある.

そこで, 本節では ASPEC-JE100k と ASPEC-JC100k を対象として, bi-MT+ST $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}, \quad$ bi-MT+ST $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$, bi$\mathrm{MT}+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ について, タスク混合比を変 えて実験を行い，タスク混合比の調整による性能向上を図る。

4.3 節では，ミニバッチを構成する主タスクと補助タスクの比を $10: 5$ としたが，本節では $10: 4$, $10: 3,10: 2,10: 1$ について実験を行った. 各開発データに対する各翻訳方向の算術平均 BLEU が

1）ただし, Luong ら [2] は恒等写像タスクの訓練データとし て外部の単言語資源を用いているのに対して，本研究では外部の単言語資源を用いずに，恒等写像タスクの訓練データを 対訳コーパスから作成するという点で異なる. また, 本研究 とは異なり, Luong ら [2] は MTL モデルとして，複数のエン コーダおよび複数のデコーダから構成されるものを用いてい る.
表 2 ステミングを基本としたタスクまたは恒等写像タスクを補助タスクとして用いた MTL モデルの BLEU

最も高いモデルを $10: 5$ の場合も含めた 5 つの モデルから選択することで，最良のタスク混合比を選択した。実験の結果，ASPEC-JE100k の bi$\mathrm{MT}+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ では $10: 1$ が, bi-MT+ST $\mathrm{f}_{\mathrm{f} \rightarrow \mathrm{j}}$ では $10: 2$ が, bi-MT $+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ では $10: 4$ が, ASPEC-JC100k の bi-MT+ST $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ では $10: 4$ が, bi-MT+ST $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ では $10: 4$ が, bi-MT $+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ では $10: 2$ が最良の混合比 であることが分かった。最良の混合比におけるモ デルの (テストデータに対する) BLEUを 4.3 節で実験した $10: 5$ の場合のモデルの BLEUとともに表 3 に示す.なお，表中の $\mathrm{E} / \mathrm{Z}$ は En/Zh の略記であり， $\Delta \mathrm{Ave}$. は各モデルの平均 BLEU とべースラインモデ ルの平均 BLEU の差を示す。また，各混合比におけ る BLEU については付録 A. 1 に示す.

表 3 より, ASPEC-JE100k の bi-MT+ST $\mathrm{S}_{\mathrm{j} \rightarrow \mathrm{j}}$ を除い て，タスク混合比を調整したモデルの平均 BLEU が 4.3 節のモデルの平均 BLEU を上回っており，タス ク混合比を調整することで MTL モデルの性能が向上することが示唆された. また，最良のタスク混合比のモデル同士で比較した場合でも， 4.3 節の結果 と同様に, bi-MT $+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ よりも, bi-MT $+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ の平均 BLEU のほうが高いという傾向がみられた.

## 5 おわりに

本研究では, 膠着語のニューラル機械翻訳のケー ススタディとして, 日本語-英語および日本語-中国語の双方向翻訳を対象とし, (1) Pan ら [1] の提案し たモデルが日本語の翻訳においても有効であるかど うかの検証，(2) そのほかのステミングを基本とし たタスクの提案，(3) 前項のタスクを補助タスクと した MTL モデルの有効性の評価，(4) MTL モデルの タスク混合比の調整を行った。

実験の結果から，日本語-英語および日本語-中国語の双方向翻訳においては，Pan ら [1] の提案した 補助タスクに相当するタスク $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ を補助タスク とした MTL モデル bi-MT $+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ の有効性は限定的 であることが示され， $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ と新たに提案した英語文/中国語文をソースとした日本語ステム列生成夕 スク $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ の両方を補助タスクとした MTL モデル $\mathrm{bi}-\mathrm{MT}+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ はベースラインに対する一貫し た各翻訳方向の平均 BLEU の改善をもたらすことが 示された. また, bi-MT+ST $\mathrm{Sij}_{\mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ は恒等写像夕 スクを補助タスクとした MTL モデルより翻訳性能 が高いことも実験により確かめた. さらに，双方向翻訳タスクと補助タスクの混合比を調整することに よって前述のモデルの性能が更に向上することが示唆された。

今後の課題として，本研究で提案したモデルが他 の言語対でも有効であるかの調査や，Pan ら [6] の提案したサブワード分割手法の導入，より翻訳性能を 向上させる補助タスクの探究, bi-MT $+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ の補助タスクに外部の単言語資源を利用できるよう に逆翻訳 [16] を用いることが挙げられる。

## 謝辞

本研究は JSPS 科研費 19K11980 および $18 \mathrm{H} 01062$ の助成を受けた。

## 参考文献

[1] Yirong Pan, Xiao Li, Yating Yang, and Rui Dong. Multitask neural model for agglutinative language translation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 103-110, Online, July 2020. Association for Computational Linguistics.

[2] Minh-Thang Luong, Quoc V. Le, Ilya Sutskever, Oriol Vinyals, and Lukasz Kaiser. Multi-task sequence to sequence learning. arXiv preprint arXiv:1511.06114, 2016.

[3] Anna Currey and Kenneth Heafield. Incorporating source syntax into transformer-based neural machine translation. In Proceedings of the Fourth Conference on Machine Translation (Volume 1: Research Papers), pp. 24-33, Florence, Italy, August 2019. Association for Computational Linguistics.

[4] Melvin Johnson, Mike Schuster, Quoc V. Le, Maxim Krikun, Yonghui Wu, Zhifeng Chen, Nikhil Thorat, Fernanda Viégas, Martin Wattenberg, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's multilingual neural machine translation system: Enabling zero-shot translation. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 339-351, 2017.

[5] Duygu Ataman, Matteo Negri, Marco Turchi, and Marcello Federico. Linguistically motivated vocabulary reduction for neural machine translation from turkish to english. The Prague Bulletin of Mathematical Linguistics, Vol. 108, pp. 331-342, 2017.

[6] Yirong Pan, Xiao Li, Yating Yang, and Rui Dong. Morphological word segmentation on agglutinative languages for neural machine translation. arXiv preprint arXiv:2001.01589, 2020.

[7] Graham Neubig. The Kyoto free translation task. http: //www. phontron. com/kftt, 2011.

[8] Mauro Cettolo, Marcello Federico, Luisa Bentivogli, Niehues Jan, Stüker Sebastian, Sudoh Katsuitho, Yoshino Koichiro, and Federmann Christian. Overview of the IWSLT 2017 evaluation campaign. In International Workshop on Spoken Language Translation, pp. 2-14, 2017.

[9] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. Aspec: Asian scientific paper excerpt corpus. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Marko Grobelnik, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia, may 2016. European Language Resources Association (ELRA).

[10] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[11] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris
Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[12] Sun Junyi. jieba. https://github.com/fxsjy/jieba. Accessed: 2021-12-25.

[13] 形態素解析ツールの品詞体系. https:// www. unixuser.org/ euske/doc/postag/\#chasen. Accessed: 2021-12-24.

[14] Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart, and Alexander Rush. OpenNMT: Open-source toolkit for neural machine translation. In Proceedings of ACL 2017, System Demonstrations, pp. 67-72, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[15] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[16] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, Berlin, Germany, August 2016. Association for Computational Linguistics.

## A 付録

## A. 1 各混合比における MTL モデルの翻訳性能

4.5 節で実験した各混合比における MTL モデルの翻訳性能 (BLEU) を表 4 に示す.


# 被服分野における独和機械翻訳の出力結果に関する考察

大塚敬義
目白大学短期大学部ビジネス社会学科
t. oot suka@mej i ro.ac.jp

## 概要

著者は約 30 年来，ドイツ語学習者の一人である。同時に独和翻訳 (ドイツ語から日本語への翻訳) を 計算機で行う独和機械翻訳の動向にも注目している 2019 年秋頃の時点おいては，独和機械翻訳のツール として最も良質なツールは「Google 翻訳」であった .

しかし 2020 年頃に入るとドイツのケルンに在る DeepL 社が提供する機械翻訳サービス「DeepL」の ほうが， Google 翻訳よりも訳出結果が自然で精度が 高いと論じる記事が目立つようになった．また Google 翻訳自体も 2022 年 1 月現在では 2021 年 1 月時点と比べ, 訳出結果に変化が生じている.よって DeepL, Google 独和翻訳を対象とし，独和翻訳の訳出結果において具体的にどういった差異が生じてい るのかを被服分野のドイツ語例文により検証する．

## 1 序論

Google が提供する自動翻訳サービス「Google 翻訳」は，世界を代表する主要言語である英語を含め 多言語に対応しており，非英語どうしにおける翻訳 にも対応している. 英語は支配的言語であるから，英語 対 非英語における翻訳のように，翻訳元ある いは翻訳先のいずれか一方に英語を含む場合の翻訳需要は旺盛である.よって当然ながら英語を扱う機械翻訳は , 翻訳元および翻訳先の両方が非英語であ る場合に比べ改良発展のペースが速い[9].

Google 翻訳の和英訳出内容は自動翻訳特有のぎ こちない文章であったが，2016 年 11 月を境に，筋 の通った文章へと変化したことがアグラワルらによ つて指摘されている[1].また DeepL の訳出結果が Google 翻訳に比べ, 正確さの面では劣るとも不自然 さの少なさや流暢さにおいてときに Google 翻訳を 凌ぐという指摘が 2020 年頃から目立つようになっ た $[7,8]$.

光こで非英語であるドイツ語を題材とする機械翻訳の精度は 2022 年 1 月現在どのようであるかを独和翻訳の場合について検証する．

イツ語の文法を中心に扱う学習書[2]や，ビジネスで 使用するドイツ語の例文を収録した文献[3-5]に掲載 された比較的平易な文章を題材とした . これらの例文は，文中で用いる語彙が特定のジャンルに依存し ないので，翻訳ツールの辞書中に特殊な専門用語の 登録がないという事態を回避し得た。

そこで著者は,Google 翻訳や DeepL の語彙がおお よ光どの程度幅広いのかを検証すべく，比較的珍し いジャンルである被服・服飾のウェブサイトから抽出したドイツ語例文の訳出結果を考察する.

## 2 方法

本稿では試みとして，旧東ドイツ軍向けに製造さ れた官給品衣類の余剩品を販売する商用ウエブサイ ト上に掲載されているドイツ語文[12]を素材とする．機械翻訳ツールとして Google 社が提供する $\ulcorner$ Google 翻訳」および DeepL 社が提供する「DeepL」 を用いる．またサンプルのドイツ語文いくつかを選択することにおいて，政治的意図等は皆無である．

## 3 結果

例文を抽出し，機械翻訳に入力，実行した結果を 示す.図 1 に原文のドイツ語を，図 2 に Google 翻訳 による訳出結果を，図 3 に DeepL による訳出結果を 示す.また例文が表す内容を読者に一層明確に伝え る目的で，前述の商用ウエブサイトに掲載された商品の原図[12]を図 4 および図 5 に示す.

Eine NVA Uniform Jacke für Offiziere der Landstreitkräfte, Neuwertig mit Zustand 1A. Weiß paspelierte metallene Kragenspiegel gehören zum Lieferumfang dazu. Die Jacke besteht aus hochwertigem Kammgarn (Gabardine), und ist an den Ärmeln und am Kragen weiß paspeliert.

Oben können Sie aus den verfügbaren Größen auswählen!

Schulterstücke gehören nicht dazu, den gewünschten Dienstgrad bitte beim Zubehör auswählen und mitbestellen! Die Kragenspiegel liegen lose bei. Bilder sind beispielhaft!

Auf Wunsch vernähen wir Zubehör wie

Kragenspiegel, Ärmelbänder und Stoffabzeichen auf der Jacke. Bitte buchen Sie dafür für jeden Artikel je einmal den "Service - Annähen von Abzeichen" mit dazu!

Das gewünschte Zubehör bitte extra mit dazu bestellen.

图 1 原文のドイツ語文章

陸軍の将校のための NVA ユニフォームジャケッ 卜。コンディション 1A の新品同樣。白いパイプの 金属カラータブが含まれています。ジャケットは高品質の梳毛系 (ギャバジン) でできており、袖と襟 は白で配管されています。

上記のサイズからお選びいただけます！

ショルダーピースは付属していませんので、アク セサリーの中からご希望のランクをお選びいただ

き、ご注文ください! カラータブは緩く含まれてい ます。

写真は模範的です!

ご要望に応じて、襟タブ、袖バンド、生地バッジ などのアクセサリーをジャケットに縫い付けること ができます。「サービス-バッジの縫製」をアイテ ムごとに 1 回予約してください!

必要な付属品は別途ご注文ください。

図 2 Google 翻訳による訳出結果陸戦隊将校用のNA 制服ジャケット、状態 1Aで新品同樣。ホワイトパイピングのメタルカラーパッチ が付属します。ジャケットは上質なウーステッド (ギャバジン) を使用し、袖と襟に白いパイピング を施しています。

上の写真は、用意されたサイズから選ぶことがで きます

肩章は付属していませんので、付属品でご希望の ランクを選んでご注文ください襟のパッチは緩く 同封されています。

写真は模範的なものです

ご要望に応じて、襟章、袖章、布製バッジなどの アクセサリーをジャケットに縫い付けることも可能 です。サービスーワッペン縫い付け」を 1 点につき 1 回予約してください

ご希望の付属品を別途ご注文ください。

图 3 DeepL による訳出結果

図 4 図 1 で紹介された商品の原図(全体像) [12]

图 5 図 1 で紹介された商品の原图(襟回り) [12]

地上軍将校用の国家人民軍制服上衣，状態 1A の 新品同栐。白くパイプ状に刺紴された金属製の襟章 (えりしょう)が襟元に付属します。上衣は上質な 梳毛系 (单もうし，ギャバジン) で出来ており、袖 (乥で)と襟（えり) に白いパイプ状の刺繡が施さ れています。

上記のサイズからお選びいただけます。

肩章（けんしょう）は付属しておりませんので、

付属品の項目からご希望の階級をお選びの上、ご注文ください。襟章は緩めに付いています。

写真はみほんです。

ご要望に応じて、上衣に襟章, 袖章 (乥でしょう)、

布バッジなどの付属品を縫い付けます。オプション で「サービス〜徽章（きしょう）の縫い付け〜」を 商品ごとに 1 回お申し込みください。

ご希望の付属品は別途ご注文ください。

## 図 6 著者による人手での訳出

## 4 考察

Google 翻訳や DeepL による訳出結果について，読解上の違和感がある表現を次の 2 つに分類した。

- 分類 $\mathrm{A}$ : 訳出の誤りを含むことが明確あるいは 大きな誤解を招く表現

- 分類 B：誤りではないか理解しづらい，あるい は曖昧な表現

著者は市販の独和辞典[6]やオンラインで公開さ れている独和・和独辞典 $[13]$ も参考にし, 作成した和訳文を図 6 に示す.なお著者は被服学の専門家で はないので, 訳出結果に多少の稚拙さを含む点はご 容赦願いたい．

分類 $A$ については, DeepL が改良され 2021 年時点でDeepLにおいて発生した=誤訳が2022 年現在で1 件解消されていたことが分かった. 図 1 の第 5 段落中の文節 $「$ auf der Jacke」 (英 on the jacket) の係り)先が構文上 , 複数の解釈を許すことに由来する問題 である . 具体的には当該文節の係り先が動詞「vernähen」(縫い付ける) または名詞「Zubehör」 (アクセサリー/付属品) のいずれかに係るのがよ り適切かという判定である。

もし前者の判定であれば訳出を「ジャケットに〜縫い付ける」とすべきであり，後者の判定であれば 「ジャケットのアクセサリー」となる.一般的なド イツ語話者の人間ならば文脈上, この係り先を前者 である動詞「vernähen」と判定し，「ジャケットに (中略) 縫い付ける」とするであろう．前年 2021 年 1 月の時点でGoogle 翻訳では当該文節の係り先を 正確に動詞「vernähen」と判定できていたが，これ に対して同時点の DeepLでは係り先を名詞

「Zubehör」(アクセサリー) と誤って判定し，「ジ ヤケットの襟パッチや袖バンド、布バッジなどのア クセサリー」と誤訳していた。

なお 2022 年 1 月現在では, 図 1 の第 1 段落中の文 $\ulcorner$ Die Jacke (中略) ist an den Ärmeln und am Kragen weiß paspeliert.」(図 6: 袖（龸で）と襟（えり）に 白いパイプ状の刺紼が施されています) の訳出結果 をみると，Google 翻訳による「白で配管されていま す」よりもDeepLによる「白いパイピングを施して います.」のほうが自然で優れている．「配管され ています」では被服分野でなく土木や建築といった 分野向けの表現になっている.

分類 B については, 単語「Kragenspiegel」 (クラ 一ゲンシュピーゲル，Kragen + Spiegel，「襟章」[6]) の訳出結果がこれに相当する.前年 2021 年の時点で Google 翻訳は「カラータブ」と訳出し,DeepLは「カ ラーミラー」 (英単語で記述すれば collar mirror) と訳出していた.お光らく被服学の専門用語である 「襟章」に相当する語句が両ツールの辞書データ中 に存在しなかったため，「襟」を意味する「Kragen」 を苦肉の策として英語の「collar」を充当し，さらに これを外来語扱いでカタカナ表記の「カラー」とし

たのであろう . 単語「Spiegel」 (襟章) は多義語で あり，ドイツ語話者は日常用語で「鏡」の意で用い ているから，同樣の理屈で「ミラー」となったと推測できる.ニれが本稿執筆時点の 2022 年 1 月現在で は Google 翻訳は第 3 段落で「カラータブ」と，第 5 段落で「襟タブ」と訳出し,DeepL は第 3 段落で「襟 タブ」と, 第 5 段落で正確に「襟章」と訳出した。 よって両翻訳ツールとも前年時点に比べかなり分か りやすい用語を出力するように仕樣が改良された。

ただし同一単語「Kragenspigel」の訳出結果は, 両 ツールとも当該単語の所在段落により表記に摇れが 生じている点が気にかかる.

第 3 段落中の単語 $「$ Schulterstücke $\lrcorner($ 肩章)は Google 翻訳が「ショルダーピース」という曖昧なカタカナ 表記による訳出にとどまったが，DeepL は的確に「肩章」と訳出した . また同段落中の単語「Dienstgrad」

(軍隊内部の「階級」の意) は, 両翻訳ツールとも 「ランク」のように外来語扱いの英語として訳出し た.「ランク」という語句を読んで，「階級」(少尉, 中尉など）という概念を発想できる人はお艺ら く少数派であろう．

以上のように Google 翻訳, DeepLともに訳出結果が年々改良されてきている. 両者の具体的な訳出結果も本稿に併記してツール間の結果比較も行えた。

両ツールとも時々刻々と訳出結果の品質が向上し ているので, 訳出結果の定期的観測を続けたい。今後の展望として，被服・服飾といったジャンルの ほか, 料理・製菓など他のジャンルからも例文を抽出して機械翻訳における訳出結果考察の分類数も増 やし，より精密な分析を行いたい。

## 参考文献

[1] アジェイ・アグラワル, ジョシュア・ガンズ， アヴィ・ゴールドファーブ：『ログーグル翻訳ロが急激によくなっている理由 人工知能による予測能力 が劇的に改善中』,週刊東洋経済オンライン(2019)， [ https://t oyokei zai . net/arti cl es/- /270409 ( cited 22- Nov- 2019) ] .

[2]佐々木庸一：『新 英語から入るドイツ語』,郁文堂 (2005)
[3] 石居龍一：『ビジネスドイツ語レター＆Eメ 一ルの書き方と例文 Deut sche Geschäftsbri ef e und E-Nail I s für Japaner』, 春風社 (2013)

[4] マルコ・ラインデル 著, 久保川尚子 訳：『手紙・メールのドイツ語』，三修社 (2013)

[5] トーマス・シュタール, 倉田勇治 著: 『Eメー ルのドイツ語 E-Nails auf Deut sch』,白水社(2012). [6] 濱川祥枝, 信岡資生 : 『クラウン独和辞典』第 5 版，三省堂 (2014) .

[7] 川口穣：『グーグル超えで話題「DeepL 翻訳」 の実力はいかに？キング牧師の演説で検証』， AERA dot. ,

[ ht t ps://dot . asahi . com/aer a/2020072100026. ht m I (cited 10- Dec- 2020) ]

[8] 川口穣 : 『DeepL 翻訳 TOEI C950 点レベル匹敵 も「人間ではあり得ないミス」が起こる理由』， AERA dot. ,

[ ht t ps: //dot . asahi . com/aer a/2020072100060. ht m I (cited 10-Dec- 2020) ] .

[9] 大塚敬義：『Googl e 翻訳の出力結果に関する考察』, 総合人文科学，第 2 号, pp. 1- 5 (2019).

[ 10] Enzo und Laur ent Ber r af at o 著: 『DI E UN FORMEN DER DEUTSCHEN KRI EGSMARI NE 1935-1945』, ZEUGHAUS VERLAG (2010)

[11] 大塚敬義: 『各種の独和機械翻訳の出力結果に 関する考察』総合人文科学, 第 3 号 ,pp. 1-8(2020) .

[12] Na- uni for men. de - NA- Shop

[ https://uww. nva- uni for men. de/

( ci ted 15- Jan- 2021) ] .

[13] Wadoku - 和独辞典 - wadoku. de

[ ht t ps: //umw. wadoku. de/ ( ci t ed 15- Jan- 2021) ] .


# 翻訳の品質評価に基づく動的な混成サンプリングによる NMT の双方向反復逆翻訳手法の改善

森田知熙 秋葉友良 塚田元
豊橋技術科学大学
\{morita.tomohiro.al,akiba.tomoyoshi.tk, tsukada.hajime.hl\}@tut.jp

## 概要

本稿では，ニューラル機械翻訳における Iterative Back-Translation(IBT) を用いたドメイン適応手法の ための新しいサンプリング手法を提案する．従来の IBT では，各段階の翻訳モデルの性能によらず，単言語コーパスのサンプリング手法は一様であった.本手法では，疑似原文の品質評価に基づき動的に逆翻訳時のサンプリング手法を決定する手法を提案す る. WMT14 ドメインから TED ドメインへの英独,独英方向のドメイン適応実験の結果, 従来のサンプ リング手法による IBT に比べ，最大で独英方向で は 0.80 , 独英方向では 0.74 ポイント BLEU が向上 した.

## 1 はじめに

近年の機械翻訳研究は, ニューラル機械翻訳 (NMT) が主流となっている．NMT モデルの翻訳性能は，対訳コーパスのサイズと質に大きく影響を受 けるが，対訳コーパスの収集，構築は困難であり，対訳コーパスが存在しないドメインの NMT モデル の学習も難しい。一方で，対訳になっていない単言語コーパスは構築が容易である．そのため，単言語 コーパスを用いて NMT モデルの翻訳性能を向上さ せる手法が提案されている. Sennrich ら [1] は目的言語側の単言語コーパスを逆翻訳して擬似対訳コー パスを生成し，これを既存の対訳コーパスと組み合 わせて学習を行う手法を提案した。

Hoang ら [2], Zhang[3] らは, この手法を拡張し,原言語，目的言語の両方の単言語コーパスを用い て，両言語間で繰り返し逆翻訳による擬似対訳コー パスの生成と NMT モデルの学習を行う Iterative Back-Translation(IBT) を提案した. 藤澤ら [4], Jin ら [5], 森田ら [6] はこの手法をドメイン適応手法とし て用い，有効性を示している。本研究では，IBTを用いたドメイン適応において，各文ごとに動的にサンプリング手法を変更すること で，最終的な NMT モデルの性能向上を図る．具体的には，疑似原文の品質評価に基づくサンプリング 手法の決定を行うことでより翻訳モデルの性能に即 した有用な疑似原文を生成する手法を提案する。

WMT14 ドメインから TED ドメインへのドメイン 適応において，英独，独英方向の実験を行った結果，品質評価に基づく手法は，ベースラインモデル から最大で 0.80 ポイント BLEU が向上した.

## 2 関連研究

単言語コーパスを活用した半教師あり学習手法と して，Sennrich ら [1] は目的言語側の単言語コーパ スを逆翻訳し，疑似原文を生成することで擬似対訳 コーパスを作る手法を提案した，今村ら [7],Edunov ら [8] はこの手法を発展させ，逆翻訳時にランダム サンプリングを用いることで疑似原文の多様性が 増加し，最終的な翻訳モデルの性能が向上すること を報告した. Hoang ら [2] や Zhang[3] らは，Sennrich ら [1] の手法を両方向に繰り返し用いる Iterative Back-Translation(IBT) を提案した. 藤澤ら [4], Jin ら [5], 森田ら [6] はこの手法をドメイン適応手法とし て用い，その有効性を評価した。森田ら [9] は，IBT におけるモデルの更新時に Fine-Tuning を活用する 実験を行い，Fine-Tuning により各方向の翻訳モデル の性能を有効活用できることを示した．疑似原文 の品質を向上させる本研究同様のアプローチとし て, Wei ら [10] は Domain-Repaired モデルを IBT に 組み込むことで，疑似原文のノイズを除去し，品質を向上させる手法を提案した．Dou ら [11] は， IBT において, Round-trip BLEU(R-BLEU) や Sentence BERT(S-BERT) で得た各文の分散表現のコサイン類似度により擬似対訳コーパスのフィルタリングと 学習時の重み付けを行う手法を提案した.この手

図 1 Iterative Back-Translation の流れ

法は, 本研究と同様に疑似原文の品質評価により, スコアリングと学習時の重み付けを行っているが， サンプリング手法そのもの検討は行われておらず， コーパスの多様性を増す手法の検討は行われてい ない.

## 3 Iterative Back-Translation

IBT では, 図 1 のように対訳コーパス $\left(C_{X}^{\text {out }}, C_{Y}^{\text {out }}\right)$ と対訳でない単言語コーパス $C_{X}^{i n}, C_{Y}^{i n}$ を用い, 反復的に逆翻訳と学習を行う. 原言語を $X$ ，目的言語を $\mathrm{Y}$ とする。また，Xから Yへの翻訳を X-Y とし， $\mathrm{X}$ から Xへの翻訳を Y-Xとする。IBT の流れを以下に 示す.

1 対訳コーパス $\left(C_{X}^{\text {out }}, C_{Y}^{\text {out }}\right)$ から両方向の翻訳モ デル $\left(\right.$ Model $_{X-Y} 0$, Model $\left._{Y-X} 0\right)$ を学習する.

2 以下の手順で Model $_{X-Y}(i)$ を更新する.

2.1 Model $_{Y-X} i$ で単言語コーパス $C_{Y}^{i n}$ を翻訳 し，疑似対訳コーパス $\left(C_{X}^{i n^{\prime}}, C_{Y}^{i n}\right)$ を得る。

2.2 疑似対訳コーパス $\left(C_{X}^{i n^{\prime}}, C_{Y}^{i n}\right)$ と対訳コーパ ス $\left(C_{X}^{\text {out }}, C_{Y}^{\text {out }}\right)$ を結合し, $\operatorname{Model}_{X-Y}(i)$ から fine-tuning し, $\operatorname{Model}_{X-Y}(i+1)$ を学習する.

3 以下の手順で Model $_{Y-X} i$ を更新する.
3.1 Model $_{X-Y} i$ で単言語コーパス $C_{X}^{i n}$ を翻訳 し，疑似対訳コーパス $\left(C_{Y}^{i n^{\prime}}, C_{X}^{i n}\right)$ を得る.

3.2 疑似対訳コーパス $\left(C_{Y}^{i n^{\prime}}, C_{X}^{i n}\right)$ と対訳コーパ ス $\left(C_{Y}^{\text {out }}, C_{X}^{\text {out }}\right)$ を混合し, Model ${ }_{Y-X} i$ から fine-tuning し $\operatorname{Model}_{Y-X}(i+1)$ を学習する.

$4 \mathrm{i} \leftarrow \mathrm{i}+1$ としてステップ 2 に戻る.

## 4 提案法

## 4.1 動的混成サンプリング

Ednov[8] らの研究結果から，逆翻訳器が正しく単言語コーパスを翻訳できる場合はランダムサンプ リングによる逆翻訳が有効に働き，そうでない場合 にはビームサーチが有効に働くことが予想できる。提案手法では，疑似原文の品質を評価することによ り，動的に単言語コーパスのサンプリング手法を決定する。疑似原文は，もとの単言語コーパスと異な る言語であるため，そのままでは品質評価が困難で ある。そのため，IBT の各段階で翻訳モデルが生成 した疑似原文を，反対方向の翻訳モデルで再度翻訳 （往復翻訳）する。往復翻訳された文は，元々の単言語コーパスと同一の言語の文になるため，BLEU や文の分散表現を用いた品質評価が可能となる.

品質評価のために，まずは全ての単言語コーパス をビームサーチにより逆翻訳し，同様に往復翻訳を 行う。次に，往復翻訳文品質評価尺度によるスコリ ングを行い，スコアが予め定めたしきい値を超えた 文は，ランダムサンプリングに翻訳した文に置き換 える。

本手法の概略図を図 2 に示す. 本手法を用いて $\operatorname{Model}_{X-Y}(n), \operatorname{Model}_{Y-X}(n)$ から $\operatorname{Model}_{X-Y}(n+1)$ を 学習する場合の流れは以下のようになる.

1 Model $_{Y-X} i$ で単言語コーパス $C_{Y}^{i n}$ を゙゙ームサー チにより翻訳し，逆翻訳文 $C_{X}^{i n^{\prime}}$ を得る。

2 Model $_{X-Y} i$ で逆翻訳文 $C_{X}^{i n^{\prime}}$ をビームサーチに より翻訳し，往復翻訳文 $C_{Y}^{i n^{\prime \prime}}$ を得る。

3 単言語コーパス $C_{Y}^{i n}$ を参照訳として往復翻訳文 $C_{Y}^{i{ }^{i n}}$ " の翻訳品質評価スコアを文ごとに算出し,各文のスコアとする.

4 スコアがしきい値 $\alpha$ より高い文を, Model $_{Y-X} i$ で単言語コーパス $C_{Y}^{i n}$ をランダムサンプリング により翻訳した文で置き換え，疑似原文 $\hat{C}_{X}^{i n}$ を 得る.

5 単言語コーパス $C_{Y}^{i n}$ と最終的な疑似原文 $\hat{C}_{X}^{i n} を$

図 2 動的混成サンプリングの流れ

擬似対訳コーパスとし， $\operatorname{Model}_{X-Y}(n+1)$ を学習する。

$\operatorname{Model}_{Y-X}(n+1)$ も同様の手順により学習可能で ある.

本手法では，サンプリング手法を決定するために 各文をスコアリングするための品質評価尺度が必要となる. 本研究では，往復翻訳文の品質評価に R-BLEU と S-BERT により抽出した文の分散表現の コサイン類似度を用いた。それぞれの詳細を以下に 示す.

## 4.1.1 Round-Trip BLEU(R-BLEU)

BLEU[12] は，機械翻訳モデルの性能評価に広く 使われている評価尺度であり，参照訳と翻訳モデル が生成した文の単語の一致数をもとに算出される。本手法では, 元々の単言語コーパスと, 往復翻訳文 の BLEU を疑似原文のスコアとする。

## 4.1.2 Sentence BERT(S-BERT)

BERT[13] とは，大規模な単言語コーパスにより 学習された汎用な言語表現モデルである.また， BERT をファインチューニングし，文の分散表現の 獲得に特化させた S-BERT[14] が提案されている.本手法では，S-BERT により元々の単言語コーパス と往復翻訳文それぞれの文の分散表現を獲得し，そ れらのコサイン類似度を疑似原文のスコアとして用 いる.

## 5 実験

## 5.1 データセット

本実験では，ドメイン外対訳コーパスとして WMT14コーパスを，ドメイン内単言語コーパスと して TED-talks を使用した. 翻訳タスクは，英語-ド イツ語とドイツ語-英語の双方向とした.
TED コーパスは，約 15 万文を半分に分割し，先頭の 7 万文を英語，後ろの 7 万文をドイツ語の単言語コーパスとみなすことで 2 言語間で単言語コーパ スが対訳とならないようにした。

前処理として，すべてのデータに対しNFKC 正規化し，Moses[15] の truecaserにより表記の統一を 行った. また, Moses tokenizer により単語分割し, Sentence Piece[16] によりサブワード化を行った. Sentence Piece のモデルの学習には，ドメイン外対訳 コーパスとドメイン内単言語コーパスを結合したも のを用いた。

## 5.2 実験設定

翻訳システムは，OpenNMT-py[17] の Transformer を使用した．エンコーダ，デコーダ共に 6 層，隠れ 層の次元を 512 とした. 各モデルの性能評価には BLEU を用いた．学習ステップは，10 エポック分と なるように設定し，各エポックごとにチェックポイ ントを保存した. 開発データに対する BLEU が最も 高いチェックポイントのモデルをテストデータでの 性能評価と単言語コーパスの逆翻訳に使用した.

S-BERT は，Sentence Transformers[14]を使用し，事前学習済みのモデルは"all-MiniLM-L6-v2"を使用し た. 動的混成サンプリングのしきい值は，R-BLEU を用いたモデルでは $0.65 ， S$-BERT を用いたモデル では 0.95 とした. これらの値は，いくつかのしきい 值を設定して実験をおこなかった中で，開発データ に対する BLEU が最も高くなるものを使用した。

提案手法の効果を評価するために，以下の手法で 性能を比較した。

ベストサンプリング 通常の beam searchにより IBT を行う。

ランダムサンプリングIBT における単言語コーパ スの逆翻訳時に random sampling により文を生成し逆翻訳を行う.
表 1 各モデルの IBT における BLEU の最大値

TED

図 3 独英翻訳モデルの各ステップにおける動的混成サン プリングのランダムサンプリングの割合

混成サンプリング [9] 単言語コーパスを事前に分割し，上記の二つの方法を組み合わせて疑似対訳コーパスを作成する．今回の実験では，単言語コーパスを予め 5:5, 9:1, 7:3 の割合で分割 し，片方をべストサンプリング，他方をランダ ムサンプリングで逆翻訳する。なお，IBT の各 ステップで単言語コーパスの分割の仕方を変更 する。

動的混成サンプリング 提案手法により疑似原文の 品質を評価し，文単位で動的にサンプリング手法を変更する．品質評価尺度として，R-BELU， S-BERT の 2 つの尺度を用い，それぞれのスコ アがしきい值を超えた文をランダムサンプリン グで逆翻訳する。それ以外の文は，ベストサン プリングで逆翻訳された文をそのまま学習に用 いる.

## 5.3 実験結果

表 1 に各手法で Model 9 までIBT を行った中で， TED の開発データに対する BLEU が最も高かった モデルのテストデータに対する BLEUを示す．混成
サンプリングではベストサンプリングによる IBT を 行ったべースラインから翻訳性能の改善は見られ なかった。また，混成サンプリングの結果を比較す ると，ベストサンプリングとランダムサンプリング の割合が 5:5 のモデルが最も BLEU が低く，両方向 でベストサンプリングを下回っているのに対し，混合割合が 9:1 のモデルでは英独方向ではベースライ ンを +0.17 上回っている．このことから，本データ セットではベストサンプリングが有効であると考 えられる。一方で，動的混成サンプリングを用い たモデルは， R-BLEU, S-BERT 共に BLEU が向上し， ベースラインから英独方向では最大で +0.80 , 独英方向では +0.74 ポイント BLEU が向上した.これは，翻訳モデルが高品質な翻訳を行うことができる単言語コーパスに関してはランダムサンプリングが有効 であり，逆に正しい翻訳を学習できていない単言語 コーパスにはベストサンプリングによる逆翻訳が 適しているという予想と一致する。また，R-BLEU， S-BERT のどちらを使用した場合もベースラインか ら翻訳性能は向上しているが，それぞれの品質評価尺度での文ごとのスコアの傾向は必ずしも一致して いるとは限らないため，2つのスコアを組み合わせ ることでより翻訳精度が向上する可能性がある. 図 3 は，動的混成サンプリングの各ステップにおける サンプリング手法の割合の推移を表している．学習 が進むにつれ，ランダムサンプリングの割合が増加 していることから，提案手法が IBT における翻訳モ デルの性能の変化を活用できていることがわかる.

## 6 結論

本研究では，IBTによるドメイン適応手法の性能 を改善するために，往復翻訳による品質評価に基づ いたサンプリング手法を提案した. 実験の結果，動的混成サンプリングを用いた 2 つのモデルは共にベ ストサンプリングによる IBT を行ったベースライン を上回った. 従来の手法である混成サンプリングで は，翻訳性能が向上しなかったため，本手法は，ラ ンダムサンプリングを用いた従来の手法では性能改善が難しいドメインでも有効に働くことことが確認 できた. 今後の課題としては，現状の動的混成サン プリングは人手によりしきい値を定める必要がある ため，パラメータの探索の必要がないサンプリング 手法を検討したい.

謝辞本研究は JSPS 科研費 $19 K 11980$ および 18H01062 の助成を受けた。

## 参考文献

[1] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8696, Berlin, Germany, August 2016. Association for Computational Linguistics.

[2] Vu Cong Duy Hoang, Philipp Koehn, Gholamreza Haffari, and Trevor Cohn. Iterative back-translation for neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 18-24, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[3] Zhirui Zhang, Shujie Liu, Mu Li, Ming Zhou, and Enhong Chen. Joint training for neural machine translation models with monolingual data. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 32, No. 1, Apr. 2018.

[4] 藤澤兼太, 秋葉友良, 塚田元. ニューラル機械翻訳におけ る双方向反復的教師なし適応の改善. 言語処理学会 第 26 回年次大会 発表論文集, pp. 744-747. Association for Natural Language Processing, March 2020.

[5] Di Jin, Zhijing Jin, Joey Tianyi Zhou, and Peter Szolovits. A simple baseline to semi-supervised domain adaptation for machine translation, 2020

[6] 森田知熙, 秋葉友良, 塚田元. 双方向の逆翻訳を利用した ニューラル機械翻訳の教師なし適応の検討. 言語処理学会 第 25 回年次大会 発表論文集, pp. 1451-1454. Information Processing Society of Japan, March 2019.

[7] 今村賢治, 藤田篤, 隅田英一郎. サンプリング生成に基づく 複数逆翻訳を用いたニューラル機械翻訳. 人工知能学会論文誌, Vol. 35, No. 3, pp. A-JA9_1-9, 2020.

[8] Sergey Edunov, Myle Ott, Michael Auli, and David Grangier. Understanding back-translation at scale. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 489-500, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[9] 森田知熙, 秋葉友良, 塚田元. Fine-tuninng と混成的な逆翻訳サンプリングに基づく $\mathrm{nmt}$ の双方向反復的教師なし 適応の改善. 言語処理学会 第 27 回年次大会発表論文集, pp. 1669-1674. Information Processing Society of Japan, March 2021.

[10] Hao-Ran Wei, Zhirui Zhang, Boxing Chen, and Weihua Luo. Iterative domain-repaired back-translation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5884-5893, Online, November 2020. Association for Computational Linguistics.

[11] Zi-Yi Dou, Antonios Anastasopoulos, and Graham Neubig. Dynamic data selection and weighting for iterative back-translation. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5894-5904, Online, November 2020. Association for Computational Linguistics.

[12] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[14] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language
Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.

[15] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris CallisonBurch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[16] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[17] Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart, and Alexander Rush. OpenNMT: Open-source toolkit for neural machine translation. In Proceedings of ACL 2017, System Demonstrations, pp. 67-72, Vancouver, Canada, July 2017. Association for Computational Linguistics.

## A 付録

動的混成サンプリングの各ステップにおける英独方向のサンプリング手法の割合の推移を以下に 示す。

図 4 英独翻訳モデルの各ステップにおける動的混成サン プリングのランダムサンプリングの割合