# バイリンガルサブワード分割のための EM アルゴリズム

松井 大樹 1 二宮崇 ${ }^{2}$ 田村 晃裕 ${ }^{3}$
1 愛媛大学 2 愛媛大学大学院理工学研究科 3 同志社大学
matsui@ai.cs.ehime-u.ac.jp
ninomiya@cs.ehime-u.ac.jp
aktamura@mail.doshisha.ac.jp

## 概要

本論文ではニューラル機械翻訳のための EM アル ゴリズムを用いたバイリンガルサブワード分割法を 提案する。機械翻訳记おける一般的なサブワード分割では対訳関係を考慮せずに各言語ごとにサブワー ド分割を学習するため，機械翻訳タスクに適したサ ブワード分割になるとは限らない. 本研究は対訳 コーパスを用い，原言語文と目的言語文の対訳関係 を考慮したサブワード分割のための EMアルゴリズ ムを提案する。提案手法は対訳情報を用いるため， より機械翻訳タスクに適したサブワードが得られる と考えられる. 従来法と提案手法を用いて翻訳性能 を比較したところ，WAT ASPEC 英日・日英タスク において, Transformer NMT モデルの性能が最大で 0.6 ポイント改善した.

## 1 はじめに

ニューラル機械翻訳（Neural Machine Translation,以下 NMT） [1,2,3]では，予め指定した語彙氾基づ いて計算を行うため, 翻訳時の原言語文に低頻度語 や未知語が表れると翻訳性能が低下する。このよう な語彙の問題に対処するため, バイトペア符号化 (Byte Pair Encoding, 以下 BPE)（Sennrich et al. 2016) [4] やユニグラム言語モデル（Kudo 2018） [5] など によるサブワード分割が現在広く用いられている。 BPE によるサブワード分割は事前トークナイズを要 すのに対し，SentencePiece（Kudo 2018）[6] による ユニグラム言語モデルは生文からサブワード列に直接分割するため, 日本語や中国語といった分かち書 きされていない言語においても形態素解析器を必要 としない.

しかしながら，これらの分割法は対訳関係を考慮せず，各言語ごとにサブワード分割を学習する ため，機械翻訳タスクに適したサブワード分割に
なるとは限らない。例として，日英翻訳において， “nonextended”と“延長されなかった”という対訳対 があるとする。この場合，“nonextended” は “no next end ed" などよりも “non extend ed" のほうが優れた 分割であり，“延長されなかった”は“延長 され なかった”などよりも“延長 されな かった” のほうが優れた分割である。これは NMT が各サブ ワードの対訳関係 “non”と“されな”, “extend”と“延長”, “ed”と“かった”を対応付けて学習できるた めである。これらの問題を解決するために，対訳関係を考慮したバイリンガルサブワード分割 $[7,8]$ が 提案されている. しかし, 出口ら [7] のバイリンガ ルサブワード分割は原言語サブワード列と目的言語 サブワード列のトークン長をそろえるものであり， トークン長が近いとはいえ各トークンがアライメン 卜関係にあるとは必ずしも言えない. Hiraoka ら [8] のバイリンガルサブワード分割は NMT モデルとサ ブワード分割モデルが一体化しており，利用する場合には同時に NMT モデルの学習が必要となり, サ ブワード分割および機械翻訳モデルの学習に大きな コストを要する。

本論文では，対訳情報からサブワード列を得る新 たなサブワード分割法を提案する. 提案手法は，分 かち書きされない言語を含む翻訳性能を改善するた め, SentencePiece によるユニグラム言語モデル分割 に基づいたサブワード列を得る. バイリンガルサブ ワード分割のための確率モデルを新た淀義し, 原言語のサブワードと目的言語のサブワードが対とな る確率を EMアルゴリズムを用いて求める。具体的 に，提案手法は，ユニグラム言語モデルによって得 られる原言語文と目的言語文それぞれの分割候補の 組み合わせを求め, 各対のサブワードのアライメン 卜関係を取得し, ユニグラム言語モデルによる生起確率とアライメント確率を掛け合わせ，確率が最も 大きくなるサブワード列対を選択する。提案手法を
用いることで，原言語文と目的言語文のトークンの 対訳関係が整うことになり，言語間でトークンが 1 対 1 に対応付けされやすくなる。 そのため，従来の サブワード分割法より NMT に適した分割が得られ ることが期待される.

本手法は原言語文と目的言語文の対訳アライメン 卜関係を利用して分割するため，対訳コーパスが与 えられる訓練時には問題は起きないが，原言語文し か与えられない翻訳時にはそのままではサブワード 分割ができない. そこで提案手法では，EMアルゴ リズムによって求められたアライメント確率の周辺化を行い，ユニグラム言語モデルによる生起確率 と各原言語文サブワードの周辺確率を掛け合わせ，確率が最も大きくなるサブワード分割候補を選択 する.

WAT Asian Scientific Paper Excerpt Corpus (以下, ASPEC）[9] 英日・日英タスクにおいて，従来法 と提案手法を用いた翻訳性能を比較したところ， Transformer NMT モデルの性能が改善した.

## 2 従来法

本節では提案手法の基礎となるユニグラム言語モ デルに基づいたサブワード分割法（Kudo 2018）につ いて説明する. ユニグラム言語モデルでは，各サブ ワードが独立に生起すると仮定し，サブワード列の 生起確率 $P_{\mathrm{U}}(\boldsymbol{x})$ を次式により表す.

$
\begin{aligned}
& P_{\mathrm{U}}(\boldsymbol{x})=\prod_{i=1}^{I} P\left(x_{i}\right) \\
& \forall i \quad x_{i} \in V, \quad \sum_{x \in V} P(x)=1
\end{aligned}
$

ただし， $\boldsymbol{x}=\left(x_{1}, x_{2}, \ldots, x_{I}\right)$ はサブワード列であり， $V$ は語彙集合（サブワード辞書）である．各サブワー ドの生起確率 $P\left(x_{i}\right)$ は EM アルゴリズムによって周辺尤度 $L_{l m}$ を最大化することにより推定される.

$
\begin{aligned}
L_{l m} & =\sum_{s=1}^{|D|} \log \left(P\left(X_{S}\right)\right) \\
& =\sum_{s=1}^{|D|} \log \left(\sum_{\boldsymbol{x} \in S\left(X_{S}\right)} P_{\mathrm{U}}(\boldsymbol{x})\right)
\end{aligned}
$

ただし， $D$ は対訳コーパスであり， $X_{s}$ は $D$ の中の $s$番目の原言語文または目的言語文であり， $S\left(X_{S}\right)$ は $X_{S}$ の分割候補集合である.

生起確率が最大となるサブワード列（最尤解）は次式によって得られる。

$
\boldsymbol{x}^{*}=\underset{\boldsymbol{x} \in S(X)}{\arg \max } P_{\mathrm{U}}(\boldsymbol{x})
$

ただし， $X$ は原言語文または目的言語文である。ま た， $k$-best 分割候補も $X$ に対するユニグラム言語モ デルによって計算される確率 $P_{\mathrm{U}}(\boldsymbol{x})$ に基づいて得る ことが出来る．ただし，サブワード列の生起確率は 各サブワードの尤度の積の形で表されるため，系列長の短い（トークン数の少ない）サブワード列が高 い確率を持つ傾向がある.

SentencePiece におけるユニグラム言語モデルを用 いたサブワード分割は生文から直接学習できるた め, 日本語や中国語といった分かち書きされない言語においても単語分割器や形態素解析器を必要とせ ずに分割できるという特徴がある.

## 3 提案手法

本節では，提案手法となるバイリンガルサブワー ド分割のための EM アルゴリズムについて説明す る. まず，サブワード文対の確率モデルの定義を与 え，その後，EMアルゴリズムによるパラメータ更新式の導出，対訳コーパスのサブワード分割を行う 手法，翻訳時のサブワード分割を行う手法について 説明する．提案手法は NMT モデルや訓練法を修正 する必要はなく，従来のサブワード分割法を置き換 えるだけで適用可能である。

確率モデルは，ユニグラム言語モデルが出力する サブワード列の生起確率と原言語サブワードと目的言語サブワードのアライメント確率の積で与えられ る. ただし，各原言語サブワード列と目的言語サブ ワード列及びそれらのアライメントは明示的に与え られておらず，隠れ状態となっている。 そのため，潜在変数付き確率モデルの学習として有名な EMア ルゴリズムを用いて，アライメント確率を学習す る. 次に, 最も確率の高いサブワード列のアライメ ントを選択することで，訓練コーパスのサブワード 分割を行う。

NMT の訓練時には対訳コーパスを利用できるが，翻訳時には対訳文が存在しない。そこで，原言語側 サブワードのみを参照する周辺確率を求めること で，原言語文のサブワード分割を行う。

## 3.1 提案手法の確率モデル

原言語文 $X$ と目的言語文 $Y$ が与えられたとき，提案手法における確率モデルを次のように定義する.

$
\begin{aligned}
P(X, Y) & =\sum_{\boldsymbol{x} \in S(X)} \sum_{\boldsymbol{y} \in S(Y)} P_{\mathrm{M}}(\boldsymbol{x}, \boldsymbol{y}) \\
& \approx \sum_{k=1}^{K} \sum_{l=1}^{L} P_{\mathrm{M}}\left(\boldsymbol{x}^{(k)}, \boldsymbol{y}^{(l)}\right)
\end{aligned}
$

ただし， $X$ に対するサブワード分割候補 $S(X)$ のう ち, サブワード生起確率 $P_{\mathrm{U}}(\boldsymbol{x})$ が高い top- $K$ 個をそ れぞれ $\boldsymbol{x}^{(1)}, \ldots, \boldsymbol{x}^{(k)}, \ldots, \boldsymbol{x}^{(K)}, Y$ に対するサブワード 分割候補 $S(Y)$ のうち, サブワード生起確率 $P_{\mathrm{U}}(\boldsymbol{y})$ が高い top- $L$ 個をそれぞれ $\boldsymbol{y}^{(1)}, \ldots, \boldsymbol{y}^{(l)}, \ldots, \boldsymbol{y}^{(L)}$ とす る.また， $P_{\mathrm{M}}$ は原言語文のサブワード列 $\boldsymbol{x}$ と目的言語文のサブワード列 $\boldsymbol{y}$ に対する確率モデルであ り，次式で定義する.

$
P_{\mathrm{M}}(\boldsymbol{x}, \boldsymbol{y})=P_{\mathrm{U}}(\boldsymbol{x}) P_{\mathrm{U}}(\boldsymbol{y}) \prod_{u, v \in A(\boldsymbol{x}, \boldsymbol{y})} \alpha_{u v}
$

ただし, $A(\boldsymbol{x}, \boldsymbol{y})$ は原言語のサブワード列 $\boldsymbol{x}$ と目的言語のサブワード列 $\boldsymbol{y}$ の間のアライメントを返す関数 であり，アライメントは対応するサブワード対の集合とする. また， $\alpha_{u v}$ は原言語側サブワード $u$ と目的言語側サブワード $v$ が対応する確率である.

## 3.2 アライメント確率 $\alpha_{u v$ の算出}

ユニグラム言語モデル $P_{\mathrm{U}}$ とアライメントを返す 関数 $A$ は所与のものとして，EM アルゴリズムを用 いてアライメント確率 $\alpha_{u v}$ を求める.

$
\begin{gathered}
P_{\mathrm{M}}^{\mathrm{old}}(\boldsymbol{x}, \boldsymbol{y})=P_{\mathrm{U}}(\boldsymbol{x}) P_{\mathrm{U}}(\boldsymbol{y}) \prod_{u, v \in A(\boldsymbol{x}, \boldsymbol{y})} \alpha_{u v}^{\mathrm{old}} \\
P_{\mathrm{M}}^{\mathrm{new}}(\boldsymbol{x}, \boldsymbol{y})=P_{\mathrm{U}}(\boldsymbol{x}) P_{\mathrm{U}}(\boldsymbol{y}) \prod_{u, v \in A(\boldsymbol{x}, \boldsymbol{y})} \alpha_{u v}^{\text {new }} \\
Q=\sum_{n} \sum_{k} \sum_{l}\left(\frac{P_{\mathrm{M}}^{\mathrm{old}}\left(\boldsymbol{x}_{n}^{(k)}, \boldsymbol{y}_{n}^{(l)}\right) \log P_{\mathrm{M}}^{\mathrm{new}}\left(\boldsymbol{x}_{n}^{(k)}, \boldsymbol{y}_{n}^{(l)}\right)}{\sum_{k^{\prime}} \sum_{l^{\prime}} P_{\mathrm{M}}^{\mathrm{old}}\left(\boldsymbol{x}_{n}^{\left(k^{\prime}\right)}, \boldsymbol{y}_{n}^{\left(l^{\prime}\right)}\right)}\right)
\end{gathered}
$

$\alpha_{u v}^{\text {new }}$ に関して $\mathrm{Q}$ 関数を最大化することにより， $\alpha_{u v}^{\text {new }}$ の更新式を得る.

$
\begin{gathered}
\alpha_{u v}^{\text {new }}=\frac{\sum_{n} \sum_{k} \sum_{l} E_{n k l u v}}{\sum_{u^{\prime \prime}} \sum_{v^{\prime \prime}} \sum_{n} \sum_{k} \sum_{l} E_{n k l u^{\prime \prime} v^{\prime \prime}}} \\
E_{n k l u v}=\frac{P_{\mathrm{M}}^{\mathrm{old}}\left(\boldsymbol{x}_{n}^{(k)}, \boldsymbol{y}_{n}^{(l)}\right)}{\sum_{k^{\prime}} \sum_{l^{\prime}} P_{\mathrm{M}}^{\mathrm{old}}\left(\boldsymbol{x}_{n}^{\left(k^{\prime}\right)}, \boldsymbol{y}_{n}^{\left(l^{\prime}\right)}\right)} C_{n k l u v}
\end{gathered}
$

ただし， $C_{n k l u v}$ は， $n$ 番目の文対における原言語の サブワード列 $\boldsymbol{x}_{n}^{(k)}$ と目的言語のサブワード列 $\boldsymbol{y}_{n}^{(l)}$ に 対し，サブワード $u$ と $v$ がアライメント関係となっ ている回数である.

## 3.3 訓練データのサブワード分割

訓練データ $D$ の各文対 $X, Y$ に対して，次式に 従ってサブワード列 $\boldsymbol{x}^{(\hat{k})}, \boldsymbol{y}^{(\hat{\imath})}$ を求め, サブワード 文対として採用する。

$
\hat{k}, \hat{l}=\underset{k, l}{\arg \max } P_{\mathrm{M}}\left(\boldsymbol{x}^{(k)}, \boldsymbol{y}^{(l)}\right)
$

## 3.4 翻訳時のサブワード分割

翻訳時におけるサブワード分割では，アライメン ト確率を目的言語側サブワードで周辺化することに よって原言語側サブワードの確率を求める. テスト データの各文 $X$ に対して，次式に従ってサブワード 列 $\boldsymbol{x}^{(\hat{k})}$ を求め，サブワード文として採用する.

$
\begin{gathered}
\alpha_{u}^{\prime}=\sum_{v \in V_{\text {target }}} \alpha_{u v} \\
\hat{k}=\underset{k}{\arg \max } P_{\mathrm{M}^{\prime}}\left(\boldsymbol{x}^{(k)}\right) \\
P_{\mathrm{M}^{\prime}}(\boldsymbol{x})=P_{\mathrm{U}}(\boldsymbol{x}) \prod_{u \in \boldsymbol{x}} \alpha_{u}^{\prime}
\end{gathered}
$

ただし， $V_{\text {target }}$ は目的言語側のサブワード集合で ある.

## 4 実験

## 4.1 実験設定

提案手法と従来法 (ユニグラム言語モデル) の翻訳性能を比較した. ユニグラム言語モデ ルによるサブワード列候補集合を得るために， SentencePiece ${ }^{1)}$ 利用した. 原言語側サブワード と目的言語側サブワードのアライメントを得 るために， fast_align ${ }^{2)}[10]$ を利用した．NMT には Fairseq [11] 使用し, Transformer base (Vaswani et al. 2017）[12] モデルを利用した。翻訳性能を評価する ために，sacreBLEUを利用した。 sacreBLEU [13] の 日本語のトークナイズには ja-mecab [14] を，英語の トークナイズには $13 \mathrm{a}$ を利用した.

## 4.2 データセットとハイパーパラメータ

データセットには WAT ASPEC 英日・日英翻訳タ スク3)を用いた．NMT の訓練には訓練データのう ち，100万文対 (train-1.txt) を利用した. 開発データ


表 1 ASPEC 英-日における翻訳性能の比較（BLEU（\%)）

 &  \\

表 2 提案手法の良い例

とテストデータのデータ数はそれぞれ $1,790,1,812$文対であった. ユニグラム言語モデルの学習は，原言語側と目的言語側で独立して行い，辞書サイズは どちらも 16,000に設定した. 候補数は原言語側と目的言語側それぞれユニグラム言語モデルによるサブ ワード生起確率が高い上位 10 通り（top- $k=$ top- $l=10 ）$ とした. すべての Transformer base モデルにおいて， パラメータの最適化には adam（Kingma and Ba 2014） [15]，学習率は 1e-4，バッチサイズは 128 とし，そ の他のパラメータは Fairseq のデフォルトのままと した. 学習は 30 エポックで終了させ，各エポック のモデルのうち，開発データ上で最も性能のよかっ たものを利用してテストデータの翻訳を行った. 実験はランダムシードを変えて 2 度行い，その平均を 実験結果とした.

## 4.3 実験結果

実験結果の BLEU [16] スコアを表 1 に示す。表 1 から分かる通り，バイリンガルサブワード分割は英日，日英翻訳の両言語方向において，ユニグラム言語モデルより性能が改善されている．バイリンガル サブワード分割を用いることでユニグラム言語モ デルに対し，英日・日英翻訳においてそれぞれ 0.4， 0.6BLEU ポイントの性能改善が確認された.

## 4.4 考察

提案手法によるサブワード分割について考察す る. バイリンガルサブワード分割を用いることで良 く翻訳できた例を表 2 に示す。提案手法は従来手法 よりも原言語サブワードが出力結果に対応するよ うに分割されていることから，正確に翻訳できたと

 &  \\

表 3 提案手法の悪い例

考えられる，バイリンガルサブワード分割を用いる ことで悪くなった例を表 3 に示す. 提案手法は従来手法よりも細かく分割されており，“express”と“急行”，“way”と “路”を関連付けるよう学習している ことから，“express way”を “急行路”と不正確に翻訳したと考えられる。

## 5 まとめ

本論文では，確率モデルと EM アルゴリズムを用 いたニューラル機械翻訳のための新たなサブワード 分割法を提案した。アライメント確率を導入したバ イリンガルサブワード分割のための確率モデルの 定義を与え，そのアライメント確率を求める EM ア ルゴリズムを導出した．訓練コーパスに対するサブ ワード分割は，提案する確率モデルを用いて，最も 確率の高いサブワード列対を選択することで実現し た。翻訳時には，目的言語側のサブワード列が得ら れないため直接提案モデルを適用することはできな いが，アライメント確率を周辺化することで，原言語側だけで定義される確率モデルを与えた．実験の 結果，WAT ASPEC 英日・日英翻訳タスクにおいて， Transformer NMT モデルの性能が改善し，提案手法 の有効性を確認した。

今後の課題として，条件付き確率を導入すること でアライメントの方向性を考慮した確率モデルに拡張することや，英日以外の言語対での実験等が挙げ られる。

## 謝辞

本研究は国立研究開発法人情報通信研究機構の委託研究（課題番号：225）による助成および JSPS 科研費 JP21K12031による助成を受けたものです.

## 参考文献

[1] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequence learning with neural networks, 2014.

[2] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate, 2014.

[3] Thang Luong, Hieu Pham, and Christopher D. Manning. Effective approaches to attention-based neural machine translation. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[4] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[5] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[6] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[7] 出口祥之, 内山将夫, 田村晃裕, 二宮崇, 隅田英一郎. ニューラル機械翻訳のためのバイリンガルな サブワード分割. 自然言語処理, Vol. 28 , No. 2, pp. 632-650, 2021.

[8] Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and Naoaki Okazaki. Joint optimization of tokenization and downstream model. In Findings of the Association for Computational Linguistics: ACLIJCNLP 2021, pp. 244-255, Online, August 2021. Association for Computational Linguistics.

[9] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 2204-2208, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[10] Chris Dyer, Victor Chahuneau, and Noah A. Smith. A simple, fast, and effective reparameterization of IBM model 2.
In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 644-648, Atlanta, Georgia, June 2013. Association for Computational Linguistics.

[11] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[12] Sufeng Duan and Hai Zhao. Attention is all you need for Chinese word segmentation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 3862-3872, Online, November 2020. Association for Computational Linguistics.

[13] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[14] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the $\mathbf{2 0 0 4}$ Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[15] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization, 2014.

[16] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.
 松井 大樹 1 二宮崇 ${ }^{2}$ 田村 晃裕 ${ }^{3}$ 1 愛媛大学 2 愛媛大学大学院理工学研究科 3 同志社大学 matsui@ai.cs.ehime-u.ac.jp ninomiya@cs.ehime-u.ac.jp aktamura@mail.doshisha.ac.jp  