# 知識グラフ埋め込みの PU 学習

垣渕太成 $* 1$ 林克彦 $\dagger 2$ 駒谷和範 $\$ 1$
1 大阪大学 産業科学研究所
2 群馬大学 社会情報学部

## 1 はじめに

知識グラフは，事実（Fact）を集積した巨大なデータセットであり, Fact は, Entity $e$ とその間の Relation $r$ の三つ組 (Triple) 形式 $\left(e_{i}, r_{k}, e_{j}\right)$ で表現される.ここで前者の Entity は Subject，後者は Object と呼ばれる。知識グラフの多くは Fact の欠損を含み，これを自動予測する知識グラフ補完は実用上重要なタスクである。そして，知識グラフ埋め込みはこのタスクに対する有効なアプローチの一つと考えられている。埋め込みの学習は Logistic 損失や Cross Entropy（CE）損失に基づいて，Fact とそれ以外の Triple を分類するように行うのが一般的である.

知識グラフでは Fact 以外の Triple の正負が不明であるため，知識グラフ埋め込みの学習を行うには負例をどう定義するかが重要となる. 既存の学習法では，Factの Subject あるいは Object を別の Entity に入れ替えた Tripleを負例として定義する方法がよく用いられている. しかし, この負例の定義が正確である保証はなく，潜在的な Factを負例として扱ってしまう危険が常に伴う．また，Factの近傍のみを学習対象とするため，局所的で偏った学習を行う問題も指摘できる．分野ではモデルの性能を Fact 近傍のランキングで評価することが主流であるため，これらの問題は顕在化してこなかったが，本来，知識グラフ補完の性能を評価するには与えられた Triple が Fact か否かを判定する分類評価が適切である。

そこで，本稿ではまず，従来の学習法によるモデルの分類性能を再調査する. 図 1 は Kinship データセットに対する既存モデルの性能を PR（Precision and Recall）曲線で示しており，この結果は, Precision が早期に下がって，分類性能が極めて低いことを示している。これは負例が正例と判定される割合が高いことに起因するもので, この結果から, 従来の学

図 1 Kinship データセットの Fact から 3 割を除いて, CE 損失による既存の埋め込み学習（RESCAL モデルを使用） を行い，除いた Fact に対して PR 曲線を計算した。

習法における負例の定義を根本的に見直す必要性があると結論付けられる。

よって, 本稿では, PU (Positive and Unlabeled)学習の知見を用いた知識グラフ埋め込みの新たな学習法を提案する. PU 学習では, 正例以外全て Unlabeled であるデータセットに一部正例が含まれていると仮定した上で正と負への二値分類を行うため，明示的な負例を定義する必要がない．本稿では知識グラフ埋め込みの代表的なモデルである RESCAL を用い，Alternating Least Square（ALS）による最適化法を定式化した. これを既存手法と比較したところ，分類精度の大きな向上が見られた.

## 2 関連研究

## 2.1 知識グラフ埋め込みの学習

初期には二乗誤差損失を用いて ALS で最適化する手法 [1] が提案されたが，これには Unlabeled なデータを全て負例として扱うという欠点がある.現在, 事前知識 [2] や敵対学習 [3] によって Fact 近傍で負例の可能性が高い Triple をサンプリングし, Logistic 損失や $\mathrm{CE}$ 損失に基づいて学習を行う方法が一般的となっている。しかし，任意の知識グラフ

に対して正確な負例を定義する方法は自明でない.

## 2.2 PU 学習

PU 学習 [4] は, 正例と Unlabeled で構成されるデータセットに対して, Unlabeled に一部正例が含まれている状況を仮定し，正負の二値分類を行うもので，土地被覆分類 [5] など，負例の抽出が難しい状況で利用されている. 文献 [6] は正負のラベルの誤りを考慮した上での学習に取り組んでいる。正例に誤りはないが，負例のデータに正クラスが誤って混在している状況は PU 学習の仮定と等しい. 文献 [7] は，行列分解における PU 学習に取り組んでおり,本研究はそのテンソル分解への拡張とも言える.

## 3 知識グラフ埋め込みの PU 学習

## 3.1 記法

ベクトル，行列，テンソルをそれぞれ小文字の太文字 $\boldsymbol{a}$, 大文字の太文字 $\boldsymbol{A}$, カリグラフィック体 $\mathcal{A}$ で表す. 行列 $\boldsymbol{A}$ の $\mathrm{i}$ 番目の行ベクトルを $\boldsymbol{a}_{i}^{T}$, 行列の各要素を $a_{i j}$, テンソルの各要素を $x_{i j k}$ で表す. $X_{[i::]}, X_{[: j:]}, X_{[:: k]}$ はそれぞれテンソル $1,2,3$ 次元の $i, j, k$ 番目のスライスを表す. また $\operatorname{vec}(\boldsymbol{A})$ は行列 $\boldsymbol{A}$ のベクトル表示 $\left(a_{11}, \ldots, a_{1 n}, \ldots, a_{m 1}, \ldots, a_{m n}\right)^{T}$ である. 行列のフロベニウスノルムを $\|\cdot\|_{F}, \otimes$ はクロネッカー積, $x_{n}$ はテンソルの $n$ モード積を表す.

## 3.2 従来法

知識グラフ埋め込みでは Fact の分布を近似する潜在的な特徴表現の獲得を目指す、以下では, Fact の集合を $\mathcal{F}$, Entity の集合を $\mathcal{E}$ ，Relation の集合を $\mathcal{R}$ で表す.このとき，知識グラフは二値のテンソル $X \in\{0,1\}^{|\mathcal{E}| \times|\mathcal{R}| \times|\mathcal{E}|}$ の形で表現でき, 各要素 $x_{i j k}$ は $\left(e_{i}, r_{k}, e_{j}\right) \in \mathcal{F}$ なら 1 , そうでなければ 0 をる.

RESCAL モデルでは Entity $e_{i}$ を $d$ 次元の縦ベクトル $\boldsymbol{e}_{i}$, Relation $r_{k}$ を $d \times d$ 次元の行列 $\boldsymbol{R}_{k} \in \mathbb{R}^{d \times d}$ で表現し，隣接行列 $X_{[:: k]}$ を以下のように近似する.

$
\chi_{[\because k]} \approx \boldsymbol{E} \boldsymbol{R}_{k} \boldsymbol{E}^{T}(k=1,2, \ldots,|\mathcal{R}|) .
$

Triple に対するスコア関数は以下となる.

$
\theta_{i j k}=\boldsymbol{e}_{i}^{T} \boldsymbol{R}_{k} \boldsymbol{e}_{j}
$

他にも様々なモデルが提案されているが，RESCAL は表現力が完全であり [8], 現在でも標準的なモデルとして使用されている [9].一般的な知識グラフ埋め込みでは，スコア関数に対する損失を $\ell\left(\theta_{i j k}, x_{i j k}\right)$ として目的関数は以下のように定義される.

$L=\sum_{\left(e_{i}, r_{k}, e_{j}\right) \in \mathcal{F}} \ell\left(\theta_{i j k}, 1\right)+\sum_{\left(e_{i}, r_{k}, e_{j}\right) \in \mathcal{D}^{-}} \ell\left(\theta_{i j k}, 0\right)$

where

$\mathcal{D}^{-}=\left.\{\left(e_{i^{\prime}}, r_{k}, e_{j}\right) \mid e_{i^{\prime}} \in \mathcal{E} \wedge e_{i^{\prime}} \neq e_{i} \wedge\left(e_{i}, r_{k}, e_{j}\right) \in \mathcal{F}\right.\}$

$\cup\left.\{\left(e_{i}, r_{k}, e_{j^{\prime}}\right) \mid e_{j^{\prime}} \in \mathcal{E} \wedge e_{j^{\prime}} \neq e_{j} \wedge\left(e_{i}, r_{k}, e_{j}\right) \in \mathcal{F}\right.\}$.

$\mathcal{D}^{-}$は学習で負に分類される Triple の集合である.これは正例以外の定義可能な Triple 全てを含むわけではなく, $\operatorname{Fact}\left(e_{i}, r_{k}, e_{j}\right)$ に対して, $\left(e_{i}, r_{k}, ?\right),\left(?, r_{k}, e_{j}\right)$ となるものだけが含まれる.

## 3.3 知識グラフ埋め込みの PU 定式化

$\mathrm{PU}$ 学習 $[6,7]$ の知見を用いて, 知識グラフ埋め込みの新たな学習法を定式化する．知識グラフに本来存在する Fact数から $\rho$ の割合でランダムに欠損が起こると仮定する。 すなわち $\rho$ は，真の Fact の集合を $\hat{\mathcal{F}}$, 現在の集積されている Fact の集合を $\mathcal{F}$ として $\rho=1-|\mathcal{F}| /|\hat{\mathcal{F}}|$ と定義される. $\hat{\mathcal{F}}$ に基づいて損失関数 $\ell$ で分類した場合の損失を近似するような損失関数 $\tilde{\ell}$ 定義し, 目的関数は以下のように修正できる.

$
\begin{aligned}
& L=\sum_{\left(e_{i}, r_{k}, e_{j}\right) \in \mathcal{F}} \tilde{\ell}\left(\theta_{i j k}, 1\right)+\sum_{\left(e_{i}, r_{k}, e_{j}\right) \notin \mathcal{F}} \tilde{\ell}\left(\theta_{i j k}, 0\right) \\
& \text { where }\left.\{\begin{array}{c}
\tilde{\ell}\left(\theta_{i j k}, 1\right)=\frac{\ell\left(\theta_{i j k}, 1\right)-\rho \ell\left(\theta_{i j k}, 0\right)}{1-\rho} \\
\tilde{\ell}\left(\theta_{i j k}, 0\right)=\ell\left(\theta_{i j k}, 0\right)
\end{array}\right.
\end{aligned}
$

知識グラフ $\hat{\mathcal{F}}$ に対応するテンソルが $\hat{X} ， その$ 要素を $\hat{x}_{i j k}$ とすると, 損失について以下の等式が成り立つ.

$
\mathbb{E}\left[\tilde{\ell}\left(\theta_{i j k}, x_{i j k}\right)\right]=\mathbb{E}\left[\ell\left(\theta_{i j k}, \hat{x}_{i j k}\right)\right]
$

知識グラフにおいて $\rho$ の値は不明だが， ハイパーパラメータとして与えた $\rho$ が実際に Fact の欠損している割合と等しい時，欠損を含まない知識グラフを学習した場合の損失に近似できる。

## 3.4 ALS による最適化

本研究では, 損失 $\ell$ に二乗誤差 $\left(x_{i j k}-\theta_{i j k}\right)^{2}$ を採用し，ALSによる最適化を行う。このとき，

$
\tilde{\ell}\left(\theta_{i j k}, 1\right)=\left(\theta_{i j k}-\frac{1}{1-\rho}\right)^{2}-\frac{\rho}{(1-\rho)^{2}}
$

と書ける。第二項目は定数項であるから，

$\operatorname{argmin} L=\operatorname{argmin}\left[\sum_{x_{i j k}=1}\left(\theta_{i j k}-\frac{1}{1-\rho}\right)^{2}+\sum_{x_{i j k}=0} \theta_{i j k}^{2}\right]$

図 2 AUC-PR と $\rho$ の関係 (Kinship).

が成立する. よって，要素が 0 と $1 /(1-\rho)$ のテンソル分解の問題に帰着する. 以下では，この二値のテンソル $X^{\prime}$ を $X^{\prime}:=1 /(1-\rho) X$ と定義する.

ALS は行列・テンソル分解において使用されるアルゴリズムであり，分解する行列の片方を固定した上でもう一方の行列をコスト関数の偏微分が 0 になるよう更新し，これを交互に繰り返す.

本研究では RESCAL モデルを使用した. 正則化項を加えたコスト関数と ALS 更新式を以下に示す.

$
L=\frac{1}{2} \sum_{k}\left.\|X_{[:: k]}^{\prime}-\boldsymbol{E} \boldsymbol{R}_{k} \boldsymbol{E}^{T}\right.\|_{F}^{2}+\lambda\left(\|\boldsymbol{E}\|_{F}^{2}+\sum_{k}\left.\|\boldsymbol{R}_{k}\right.\|_{F}^{2}\right)
$

更新式

$
\begin{aligned}
& \boldsymbol{E} \leftarrow\left[\sum_{k} \mathcal{X}_{[:: k]}^{\prime} \boldsymbol{E}_{k}+\mathcal{X}_{[\because: k]}^{\prime T} \boldsymbol{E}_{k}^{T}\right]\left[\sum_{k} \boldsymbol{B}_{k}+\boldsymbol{C}_{k}+\lambda \boldsymbol{I}\right]^{-1} \\
& \quad \text { where } \boldsymbol{B}_{k}=\boldsymbol{R}_{k} \boldsymbol{E}^{T} \boldsymbol{E} \boldsymbol{R}_{k}^{T}, \boldsymbol{C}_{k}=\boldsymbol{R}_{k}^{T} \boldsymbol{E}^{T} \boldsymbol{E} \boldsymbol{R}_{k} \\
& \boldsymbol{R}_{k} \leftarrow\left(\boldsymbol{Z}^{T} \boldsymbol{Z}+\lambda \boldsymbol{I}\right)^{-1} \boldsymbol{Z}_{\operatorname{vec}}\left(\mathcal{X}_{[\because k]}^{\prime}\right)
\end{aligned}
$

where $\boldsymbol{Z}=\boldsymbol{E} \otimes \boldsymbol{E}$.

ALS を用いる利点として，大規模な知識グラフへの対応が挙げられる. 文献 [10] では，知識グラフのスパース性を利用し 300 万の Entity，40の Relation，および 7000 万の Fact で構成される知識グラフの埋め込みに成功している。

## 4 実験

## 4.1 分類精度の評価

3 節で提案した PU 学習に基づく定式化を実験的に検証する. 使用したデータセットは Kinship と

図 3 AUC-PR と $\rho$ の関係 (UMLS).

UMLS で，共に Fact が全て集積されておりそれ以外の Triple は全て負例である性質を持つ [11].

データセットから Fact をランダムに一定割合 $\{0.1,0.3,0.5,0.7\}$ 除き残りを学習に与え，それ以外の全 Triple に対し分類精度をテストする．検証の目的は以下の三つである.

1. PU 学習により分類精度は向上するか.
2. $\rho$ と除いた正例の割合の関係. 両者が等しい時に分類精度が最も高くなるか.

3. 従来法との比較.

目的 1,2 の検証のため，ハイパーパラメータ $\rho$ ごとに AUC-PR の值を調べた（図 2,3）。ここで，次元数 100 , 正則化項 $\lambda=0.0001$ で固定し 10 分割交差検証を行った. Factを除いた割合によらず， $\rho>0.0$ の適当な值で $\rho=0.0$ （PUなし）と比較して分類精度が向上している。一方, 理論的には除いた正例の割合に対し $\rho$ が等しい場合（図赤点）で AUC が最も高くなることが予想されるが，そのような傾向は得られなかった。一般的な分類問題と異なり知識グラフ埋め込みでは潜在的な特徴表現を通じて各 Triple のスコアが相互に影響を及ぼすため，理論通りの学習が行われてない可能性があり，知識グラフ埋め込みにより適した PU 学習の定式化は今後の課題である.

続いて従来法と提案手法を比較する。従来法にはRESCAL モデル，目的関数に式 (1)，損失関数に Sigmoid Cross Entoropyを用いて SGD （Stochastic Gradient Descent）で最適化を行った。 ハイパーパラメータは次元数 $d \in\{30,50,100\}$,学習率は $\eta \in\{0.005,0.003,0.001\}$ から Grid Search を行った. Epochは 50 で固定したが，モデル
表 1 AUC-PR の手法ごとの比較 (Kinship).

表 2 AUC-PRの手法ごとの比較（UMLS）.

は，学習データ以外の一部 Factを対象として Epoch ごとにランキングによる評価を行い，最も精度が高いものを使用した. 実装はhttps: //github.com/ibalazevic/TuckERにRESCAL を加えた1). 実験結果を表 1,2 に示す. どの設定でも提案手法が従来法より優れた分類精度を示した。

## 4.2 学習範囲による影響の分析

表 1,2 では従来法と比較して PUなしの ALS $(\rho=0.0)$ も高い分類精度を示している. 全 Tripleを学習する ALS に対し, 従来法は Fact と負例の一部のみ学習している. この違いが分類に与える影響を調査するため, 従来法が学習において負に分類する範囲を Negative Area，学習を行わない範囲を Unlearned Area として，それぞれの分類精度を AUC-PR で評価した (図 4) ${ }^{2)}$. 二つの領域における正例と負例の比率を合わせるため, Unlearned Area で負例をランダムにサンプリングしテストした．従来法では，限られた範囲の学習によって Triple 全体における Fact の補完が可能であるとされてきたが，Unlearned Area ではほとんど分類ができていない. ALS での分類精度はこれと比較して高い。これは ALS が Unlearned Area の学習を行っているので直感的だが, それでも値が高くないのは, これらの Triple は近傍に正例を持たないため学習が困難だからだと考えられる。 また Negative Area でも ALS の方が分類精度が高く, Unlearned Area の学習が特徴表現を通じ Fact の補完に重要な情報を与えていると考えられる。

図 4 目的関数式 (1) が負例として学習する Triple (Negative Area）と学習をしない Triple (Unlearned Area) を分け, AUC-PR で評価. 左は(1) に基づく従来法, RESCAL-ALS $(\rho=0.0)$ による学習.

図 5 Factを 0.8 除いた Kinship における正例負例のスコアの分布. PU なし $\rho=0.0$ (左) と PU あり $\rho=0.3$ (右).

## 4.3 PU 学習が与える影響の分析

PU 学習なしの ALS に対して PU ありの ALS が高い分類精度を示しており，特に正例を除いた割合が高い時その差が大きい. PU の影響を調査するため,正例を 0.8 の割合除いて，学習に与えてない正例と負例のスコアの分布を $\rho=0.0$ と $\rho=0.3$ で比較した (図 5 $)^{3)} \cdot \rho=0.0$ では Fact 以外を全て負に分類するためスコアが非常に低い値に密集しており正例と負例のスコアに差を持たせることができておらず分類精度が低い（AUC-PR=0.075），一方 $\rho=0.3$ ではスコアの密集が防がれ正例と負例のスコアに差が生まれており，分類精度が向上している（AUC-PR=0.378）。

## 4.4 実験まとめ

従来法は学習範囲が局所的という問題があり，分類精度が非常に低いのに対し，ALS はこの問題を回避している。また PU 学習を用いることで ALS による埋め込みの分類精度が向上した. 一方 PU 学習の理論に適合しない結果もあり，より知識グラフに適した PU 定式化は今後の課題である.

3）引き続き次元数 100 , 正則化項 $\lambda=0.0001$ を使用.

## 参考文献

[1] Maximilian Nickel, Volker Tresp, and Hans-Peter Kriegel. A three-way model for collective learning on multirelational data. In Proceedings of the 28th International Conference on International Conference on Machine Learning, ICML'11, p. 809-816, Madison, WI, USA, 2011. Omnipress.

[2] Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. In C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26, pp. 2787-2795. Curran Associates, Inc., 2013.

[3] Zhiqing Sun, Zhi-Hong Deng, Jian-Yun Nie, and Jian Tang. Rotate: Knowledge graph embedding by relational rotation in complex space. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net, 2019.

[4] Charles Elkan and Keith Noto. Learning classifiers from only positive and unlabeled data. In Proceedings of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD ’08, p. 213-220, New York, 2008. Association for Computing Machinery.

[5] Qinghua Guo Wenkai Li and Charles Elkan. A positive and unlabeled learning algorithm for one-class classification of remote-sensing data. IEEE Transactions on Geoscience and Remote Sensing, Vol. 49, No. 2, pp. 717-725, 2011.

[6] Nagarajan Natarajan, Inderjit S Dhillon, Pradeep K Ravikumar, and Ambuj Tewari. Learning with noisy labels. In C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems 26, pp. 1196-1204. Curran Associates, Inc., 2013.

[7] Cho-Jui Hsieh, Nagarajan Natarajan, and Inderjit $S$ Dhillon. Pu learning for matrix completion. In Proceedings of the 32nd International Conference on International Conference on Machine Learning - Volume 37, ICML'15, p. 2445-2453. JMLR.org, 2015.

[8] Yanjie Wang, Rainer Gemulla, and Hui Li. On multirelational link prediction with bilinear models. In Sheila A. McIlraith and Kilian Q. Weinberger, editors, Proceedings of the Thirty-Second AAAI Conference on Artificial Intelligence, (AAAI-18), the 30th innovative Applications of Artificial Intelligence (IAAI-18), and the 8th AAAI Symposium on Educational Advances in Artificial Intelligence (EAAI-18), New Orleans, Louisiana, USA, February 2-7, 2018, pp. 4227-4234. AAAI Press, 2018.

[9] Daniel Ruffinelli, Samuel Broscheit, and Rainer Gemulla. You CAN teach an old dog new tricks! on training knowledge graph embeddings. In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net, 2020.

[10] Maximilian Nickel, Volker Tresp, and Hans-Peter Kriegel. Factorizing yago: Scalable machine learning for linked data. In Proceedings of the 21st International Conference on World Wide Web, WWW '12, p. 271-280, New York,
NY, USA, 2012. Association for Computing Machinery.

[11] Théo Trouillon, Christopher R. Dance, Johannes Welbl, Sebastian Riedel, Éric Gaussier, and Guillaume Bouchard. Knowledge graph completion via complex tensor factorization. CoRR, Vol. abs/1702.06879, , 2017.


# 単語の重要度に応じてパラメタ数可変な単語分散表現の学習

露木浩章 小川哲司哲則林良彦
早稲田大学理工学術院
tsuyuki@pcl.cs.waseda.ac.jp

## 1 はじめに

本研究では単語分散表現の圧縮を目的として，単語の重要度に応じてパラメタ数を可変とするゲート機構を提案しその有効性を評価する。

ニューラルネットワークを用いた自然言語処理モデルにおいて，単語ベクトルは単語の意味を表す特徵量の役割を果たす。しかし，モデルの精度向上のために単語ベクトルの次元サイズや語彙サイズを大きくすると，必要メモリ量が膨大となりモバイル端末上での処理が困難である．メモリコストの問題を解決しモバイル端末上で実行できれば，データの送受信コストやユーザデータの情報漏洩リスクを低減できる. また既存研究より，単語ベクトルのパラメタ冗長性を排除することは，必要メモリ量の削減だけでなく，過学習の抑制に基づくモデルの精度向上にも寄与することが分かっている [1].

単語ベクトルのパラメタ数が膨大な場合，出現回数が少ない統計的に信頼性の低い単語を<unk>に置換する前処理が用いられる。しかし，感情分析における感情語のようにタスクにおいて重要な役割を持つ単語 (重要語) を置換するとモデルの精度低下につながる。例えば，IMDB コーパス [2]を用いた感情分析の予備実験では出現回数が 2 回以下の語を<unk>に置換すると，置換しない場合と比べて感情語が 1098 個減り，0.9 ポイント識別精度が低下した. 本研究では，識別に寄与する重要語に多くのパラメタを割り振り，寄与しない非重用語には少ないパラメタを割り振ることで，モデルの精度を落とすことなく単語べクトルのパラメタ数を削減する手法を提案する。

パラメタ数の少ない単語同士は似たべクトルになりやすいため，提案法は感情語を<unk>に置換せずに残したまま，感情分析に寄与しない非重要語を <unk>に置換する機能を果たす. 実験の結果，提案法はモデルの精度を落とすことなく従来法を上回る圧縮率を達成した。また，感情分析タスクで学習すると長いコードが割り当てられた語彙の中に感情語が多く存在することを確認した。

## 2 関連研究

単語ベクトルに要するメモリ量を削減する手法は語彙サイズを減らす手法と単語あたりの必要メモリ量を減らす手法の 2 つに大別できる。

語彙サイズを減らす手法として Byte Pair Encoding (BPE) [3] が存在する。 BPE は目的コーパスにおける出現回数に応じてサブワード分割する．BPE は OOV 問題を解決でき，語彙サイズも低減できる強力な手法だが，文中に含まれるトークン数が増加することから，文べクトルを構成する際に用いられる LSTM や Self-attention Network における計算量や必要メモリ量が増大しやすい。

単語あたりの単語ベクトルに要するメモリ量を削減する手法として量子化を用いた重み共有法が用いられる．全単語間で共有されるパラメタの内，入力単語に適切なパラメタを選択する離散値のコードを学習する. Neural Compressor (NC) [4] は最大值 K の自然数からなる長さ $\mathrm{M}$ のコードに基づき， $\mathrm{M} \times \mathrm{K}$ のコードブック ( Decoder) から M 個の基底ベクトルを抜き出し，その和によって単語べクトルを再構成する手法である．各単語に割り当てられた離散値コー ドに要する bit 数が小さくなり，単語ベクトルの高い圧縮率を達成した． Near-loss-Binarization (Bin) [5] では離散値コードをバイナリ化し，さらに高い圧縮率を達成した．NCと Binではいくつかのコーパスで元の単語ベクトルよりも圧縮語の単語ベクトルの方がタスクの精度が高くなることが報告されている。これは単語間で重みを共有することで低頻度語の学習が容易になったためであると考えられる。本研究と同様にバイナリコードの長さを単語ごとに可変とする手法として AdaComp [6] が存在する. AdaComp では $(32,16,6,4)$ のように長さの異なるバ

図 1 可変長コードを学習するニューラルネットワークの図. 点線は gumbel softmax と Sign 関数の計算を表す.

イナリコードを扱う AutoEncoderを 4 つ用意し，単語ごとに使用する AutoEncoder を選択する手法である.しかし，異なるコード長を持つ単語間で異なるコードブック (Decoder) が用いられることから，NC やBin で重要とされている重み共有が一部行われていない。また，コード長の種類を増やすと学習パラメタ数が増大し過学習しやすくなる. 本研究では異なるコード長を持つ単語間でも同じコードブックを使用することで，重み共有を実現する。また，学習パラメタ数を増やさずにコード長の種類を増やす事が可能なためより細かいコード長の調整が可能である.

## 3 提案法

本節では，本研究で提案する手法について述べる。提案法は学習済みの単語ベクトル GloVe [7] からバイナリコードを得る AutoEncoder の機構 ( 3.1 節) と, 入力単語ベクトルに応じて選択された長さ以上の要素をバイナリコードから削除するゲート機構 ( 3.2 節) からなる.

## 3.1 バイナリコードの学習

バイナリ制約のある AutoEncoder を使用する。学習済み単語ベクトルを入力とする AutoEncoderを学習した後，得られた中間特徵量を入力単語ベクトルのバイナリベクトル，Decoderを単語間で重み共有されるコードブックとして用いる. $x \in \mathbb{R}^{d}$ を入力単語ベクトル,$m$ をバイナリコードの最大コード長とするとき単語べクトルを以下のように再構成する.

$
\hat{x}=W_{\text {dec }}\left(\Phi\left(W_{\text {enc }} x+b_{\text {enc }}\right) \circ g\right)+b_{\text {dec }}
$

$W_{e n c} \in \mathbb{R}^{d \times m} と W_{d e c} \in \mathbb{R}^{m \times d}, b_{e n c}, b_{d e c}$ は Encoder と Decoder の学習パラメタである. 関数 $\phi(\cdot)$
と $g$ は Encoder の出力をバイナリ化する関数とコー ド長を可変とするゲート機構である．関数 $\phi(\cdot)$ として以下の式 2 を用いる.

$
\Phi\left(h_{i}\right)=\operatorname{ReLU}\left(\operatorname{Sign}\left(h_{i}\right)\right)= \begin{cases}+1 & \left(x_{i} \geq 0\right) \\ 0 & \text { otherwise }\end{cases}
$

関数 $\phi(\cdot)$ は 1 と 0 からなるバイナリコードを出力するが関数 $\operatorname{sign}(\cdot)$ の微分値は 0 になるため誤差逆伝播法による学習ができない．そこで上位から伝搬してきた微分値をそのまま下位の層に伝搬する Straight-Through Estimator (STE) [8] を適用する.

## 3.2 コード長を可変とするゲート機構

単語ベクトルを Encoderを通してバイナリコードに変換した後， 入力単語に適切な長さまでバイナリコードを消去するゲート機構 $g$ を適用する.

$
g=\operatorname{cumsum}(\alpha)=\sum_{i \leq m}^{m} \alpha_{i}
$

$\alpha$ はある 1 つの要素のみ 1 で他の要素が 0 な one-hot ベクトルであり, $\operatorname{cumsum}(\cdot)$ は累積和の関数である. $\alpha$ において 1 がたつ要素の要素番号がその単語のコード長を表している. 微分可能な形で one-hot べクトルを学習するために Gumbel Softmax [9]を用いて， $\alpha$ を以下のように計算する.

$
\begin{aligned}
\alpha_{i} & =\operatorname{softmax}_{\tau}\left(\log \beta_{i}+G_{i}\right) \\
& =\frac{\exp \left(\left(\log \beta_{i}+G_{i}\right) / \tau\right)}{\sum_{j=1}^{m} \exp \left(\left(\log \beta_{j}+G_{j}\right) / \tau\right)}
\end{aligned}
$

式 4 の $G_{i}$ は Gumbel 分布 $-\log (-\log ($ Uniform $[0,1]))$ からサンプリングされるノイズであり， $\tau$ は温度パラメタである． $\beta$ は単語べクトルを入力とする 2 層のニューラルネットワーク $\mathrm{f}(\cdot)$ によって計算する.

$
\beta=\mathrm{f}(x)=\operatorname{softplus}\left(W \tanh \left(W^{\prime} x+b^{\prime}\right)+b\right)
$

$W \in \mathbb{R}^{d \times d}$ と $W^{\prime} \in \mathbb{R}^{d \times d}, b, b^{\prime}$ は学習パラメタである．実験では $\tau=0.1$ とした。

## 3.3 目的関数

単語ごとにバイナリコードの長さを可変とするモデルの学習によって，目的タスクにおける重要語には長いコードを，非重用語には短いコードを割り当てる。このとき，コーパスによってはすべての単語のコード長が最大長に収束するおそれがあるため， コード長に関する制約項を加えた。目的タスクにおける学習の目的関数を以下の式 6 に示す.

$
L=L_{\text {task }}+\lambda_{2} \frac{1}{m} \sum_{i=0}^{m} g_{i}
$
表 1 各タスクに用いたコーパスのサイズ.

式 6 の第一項 $L_{\text {task }}$ は各タスクにおける目的関数である. 第二項はコード長に関する制約項である． $\lambda_{2}$ は定数であり，実験では 0.0001 とした.

先行研究 [6] から事前学習の導入によって目的夕スクにおけるモデル精度が向上することが明らかになっている. 本研究では再構成誤差に基づく事前学習をした後に目的タスクにパラメタを適応させた。事前学習の目的関数を以下の式 7 に示す.

$
L_{\text {pre }}=\frac{1}{m} \sum_{i=0}^{m}\left(x_{i}-\hat{x_{i}}\right)^{2}+\frac{\lambda_{1}}{2}\left.\|W_{\text {dec }} W_{e n c}-I\right.\|^{2}
$

$\lambda_{1}$ は定数であり，実験では 0.01 とした. 式 7 の第一項は入力単語ベクトルの再構成誤差, 第二項はバイナリコードの各要素が異なる観点の情報を Encode し, 浱性を減らすような正則化項である. 事前学習のとき $W_{\text {dec }}$ と $W_{\text {enc }}$ は同じパラメタとなるようパラメタを共有した．また，事前学習時はモデルからゲート機構を取り除いた。

## 4 実験

## 4.1 実験設定

再構成誤差による事前学習と目的タスクにおける fine-tuning の 2 ステップの学習を行った. コードの最大長 $m$ は 32，64，128の 3 種を比較した。異なるコード長に設定された 4 つの AutoEncoder を用いる AdaComp [6] については $(\mathbf{1 2 8}, 64,32,16),(\mathbf{6 4}, 32,16,8)$, $(\mathbf{3 2}, 16,8,4)$ の 3 種を比較手法とした.

コードの事前学習 300 次元の単語ベクトル GloVe ${ }^{1)}$ を使用した. 目的タスクにおける fine-tuning を前提としていない手法と公平な比較を行うため，実験では目的タスクに fine-tuning した GloVeを学習済みの単語ベクトルとして用いた。学習には Adam を使用し学習率は 0.001 , バッチサイズは 64 とした.

タスク適応したコードの学習評価に用いたタスクを表 1 に示す. 学習には GloVe 中に存在する語彙のみを使用した. 学習の高速化のため DBpedia [12]

は単語ベクトルの平均を，それ以下のタスクでは 2 層からなる LSTM の各タイムステップ出力の平均を文ベクトルとした，LSTM のユニット数は 450，識別層として 1 層のニューラルネットワークを使用した. 学習には Adam を使用し学習率は DBpedia のみ 0.0001，それ以外のタスクには 0.001 を用いた，バッチサイズは 64 とした.

## 4.2 実験結果

最大バイナリコード長を変えて実験したときの識別精度と圧縮率を表 2 に示す. 表 2 より, DBpedia 以外のタスクにおいタスクで圧縮前の単語ベクトル GloVe finetuneよりも圧縮語の単語ベクトルの方がタスクの識別精度が高い。同様の結果は先行研究 $[4,5,6]$ でも報告されており, 強い正則化による効果だと考察されている.コードブック (Decoder) の重み共有により低頻度語の学習が簡単になった点，識別タスクにおいて区別する必要のない単語 (Tom と Mary 等) がバイナリ化によってより近いベクトルとなり後段の LSTM の学習が容易になった点が理由として考えられる. DBpedia は多くの学習データを用いた学習が行えるため, 正則化が必要なかったと考えられる. 小規模コーパスにおけるモデルの学習において過学習を防ぐ正則化は重要であり，単語ごとにコード長を可変とする提案法はこの正則化の効果をタスクの非重要語に対してより強めるものである.

コード長を可変とする手法 (AdaComp，Ours) はコード長固定の手法 Bin よりも高い精度を示した.特に提案法は AdaComp よりも精度が高く, 圧縮率も高くなった. 次の 2 つの点から精度が向上したと考えられる.1つ目はより多様なコード長を選択できる点である. AdaComp はコード長ごとに AutoEncoderを用意するために，コード長の種類を増やすとパラメタが増えて学習が難しくなる．提案法はパラメ夕数はそのままに最大コード長と同じ数だけコード長の種類を用意できるため，より細かく冗長性を排除できる. 2 つ目は重み共有により学習が容易になった点である．異なるコード長を持つ単語間での重み共有により低頻度語学習の効率化が精度向上につながったと考えられる. DBpedia コーパスにおいて，コード長を可変とする提案法は Bin と比較して圧縮率が大きく向上した。語彙サイズが大きいコーパスほど，多くの非重要語が出現するためより多くのパラメタを消去できためである.
表 2 各タスクにおけるバイナリコードを用いる手法の実験結果.

図 2 各コード長が割り当てられた語彙と感情語の平均出現回数.

## 5 コード長の分析

提案法を学習した結果得られたバイナリコードについて，2つの分析をした. 提案モデルの学習には SST5コーパスを用いた.

コード長と語彙の出現回数各コード長が割り当てられた語彙と感情語について，SST5コーパスにおける出現回数の平均を図 2 に示す. 感情語は感情語辞書 [13]に含まれている語のうち SST5 コーパスに出現した語を使用した. 図 2 より, 出現回数の多い語には長いコードが割り当てられる傾向があるが, 出現回数の多い語がコード長 14 や 20 から 24 あたりに特に多く存在していることがわかった. 個々のバイナリコードを見ると"the"や"on"のように文の感情極性に依存しないが出現回数の多い語がコー ド長 14 や 20 から 24 に多く存在していた. 対して, コード長ごとの感情語の平均出現回数の違いに傾向は確認できなかった。

図 3 各コード長が割り当てられた語彙のうち，感情語の比率.

コード長と感情語の比率各コード長が割り当てられた語彙のうち，その語が感情語である比率を図 3 に示す. 長いコードほど感情語の比率が高くいことがわかった. 提案法によって感情語のようなタスクにおける重要語に長いコードが割り当てられる。

## 6 おわりに

本研究では単語分散表現の圧縮を目的として，単語ごとのパラメタ数を可変とするゲート機構を提案した. 提案法はモデルの精度を落とすことなく従来法を上回る圧縮率を達成した。感情分析タスクにおいて感情語に多くのパラメタ (長いコード) が割り当てられていたことから，提案するゲート機構の導入によって，期待通りにタスクにおける重要語に多くのパラメタを割り振られ非重要語には少ないパラメタを割り振られることが分かった.

## 参考文献

[1] Maximilian Lam. Word2bits - quantized word vectors. arXiv:1803.05651v3, 2018

[2] Andrew L. Maas, Raymond E. Daly, Peter T. Pham, Dan Huang, Andrew Y. Ng, and Christopher Potts. Learning word vectors for sentiment analysis. In $A C L, 2011$.

[3] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In $A C L, 2016$.

[4] Raphael Shu and Hideki Nakayama. Compressing word embeddings via deep compositional code learning. In ICLR, 2018.

[5] Julien Tissier, Christophe Gravier, and Amaury Habrard. Near-lossless binarization ofword embeddings. In $A A A I$, 2019.

[6] Yeachan Kim, Kang-Min Kim, and SangKeun Lee. Adaptive compression ofword embeddings yeachan. In $A C L$, 2020.

[7] Jeffrey Pennington, Richard Socher, and Christopher Manning. Glove: Global vectors for word rep- resentation. In EMNLP, 2014.

[8] Geoffrey E. Hinton. Neural networks for machine learning.coursera, video lectures. 2013.

[9] Eric Jang, Shixiang Gu, and Ben Poole. Categorical reparameterization with gumbel-softmax. In ICLR, 2017.

[10] Richard Socher, Alex Perelygin, Jean Y. Wu, Jason Chuang, Christopher D. Manning, Andrew Y. Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. In EMNLP, 2013.

[11] Ellen M Voorhees and Dawn M Tice. The trec-8 question answering track evaluation. In TREC, 1999.

[12] Xiang Zhang, Junbo Zhao, and Yann LeCun. Characterlevel convolutional networks for text classification. In NIPS, 2015.

[13] Minqing Hu and Bing Liu. Mining and summarizing customer reviews. In $K D D, 2004$.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 極座標を用いた階層構造埋め込み

岩本蘭
慶應義塾大学
r.iwamoto@keio.jp
}

小比田涼介
日本アイ・ビー・エム株式会社 東京基礎研究所
kohi@ibm.com

## 1 はじめに

実世界の階層構造を表現することは自然言語処理の多くのタスクにとって重要である $[1,2]$. 近年単語の階層構造を埋め込んだ分散表現の研究が活発に行われ $[3,4]$ ，その中でも双曲空間を用いた分散表現が話題になった $[5,6,7]$. 双曲空間は体積が原点からの距離に応じて指数関数的に広がるため低次元で階層構造を表現するのに適している. しかし双曲埋め込みを用いる際には応用タスクのモデルも双曲空間で動作するように変更する必要があり [8], ユークリッド空間で学習された多くの手法を活用することが難しい [9]. そこで我々は汎用性の高いユークリッド空間で分散表現を学習する。

本稿では極座標を用いて単語を図 1 のように低次元のユークリッド空間に埋め込む Polar Embedding について述べる. Polar Embedding では単語の抽象度を半径 (原点からの距離) で，類似度を角度で表現する。極座標の特徵を活かしながら角度を最適化するために Welsch 損失 [10] と Stein Variational Gradient Descent (SVGD) [11]を用いる. WordNet の link prediction タスクで性能評価を行い, Polar Embedding は低次元ユークリッド空間で学習された既存の分散表現より高精度を達成し, 双曲空間の分散表現と同等の性能を達成した。

## 2 Polar Embedding

Polar Embedding では極座標の半径と角度を用いて単語を表現する．本節ではまず極座標での単語べクトルの定義について述べ，その後角度の最適化について述べる。

ユークリッドノルムを $\|\cdot\|$, 半径を $r_{\text {max }} \in \mathbb{R}$ とする. 単語 $w$ は $n$ 次元の開球 $\mathscr{W}^{n}=\left.\{\mathbf{w} \in \mathbb{R}^{n} \mid\|\mathbf{w}\|<\right.$ $\left.r_{\max }\right.\}$ 内の極座標べクトル $\mathbf{w}=\left(r, \theta, \varphi^{1}, \varphi^{2}, \ldots, \varphi^{n-2}\right)$ で表現される. ここで $r \in\left(0, r_{\max }\right), \theta \in[0,2 \pi), \varphi^{k} \in$ $(0, \pi), k=1,2, \ldots, n-2$ である. 例えば， 3 次元極座標での角度は図 2 のように表される。

図 1: Polar Embedding の概要. 半径を用いて単語の抽象度を，角度を用いて類似度を表現する。

## 2.1 半径

半径 $r$ は単語の抽象度を表す. 一般的には具体的な単語のほうが抽象的な単語よりも多いため, 具体的な単語を空間の中心から離れた場所に配置することで空間を効率的に使う．例えば，“bulldog”や “wooden chair" より “mammal" や“furniture” のほうが抽象度が高いため $r$ を小さく設定する. 半径 $r$ は頻度情報などを用いて定めることができる. 本論文では $r$ は学習せず，WordNet 内のエッジや，その単語と上位下位ぺアとなる単語の多さから求める.

## 2.2 角度

角度 $\left(\theta, \varphi^{k}\right)$ は単語の類似度を表す. 既存の分散表現と同様に，類似した意味を持つ語同士は近く， そうでない語は遠くなるように角度を学習する。極座標は図 3 のように角度の範囲が制限されているため, $r=1$ とすると, $\theta$ は円周上で， $\varphi^{k}$ は半円上で最適化される。

2 つの単語 $w_{i}, w_{j}$ があるとき, $\theta$ は図 3 の左図のように $[0,2 \pi)$ の円周上を動く. $\theta_{w_{i}}$ と $\theta_{w_{j}}$ の距離は円周上の短いほうの弧とし，以下のように定義する。

$
d\left(\theta_{w_{i}}, \theta_{w_{j}}\right)=\min \left(2 \pi-\left|\theta_{w_{i}}-\theta_{w_{j}}\right|,\left|\theta_{w_{i}}-\theta_{w_{j}}\right|\right)
$

角度 $\varphi^{k} \in(0, \pi)$ は図 3 の右図のように半円上を動き, $\varphi_{w_{i}}^{k}$ と $\varphi_{w_{j}}^{k}$ の距離は次式で表す.

$
d\left(\varphi_{w_{i}}^{k}, \varphi_{w_{j}}^{k}\right)=\left|\varphi_{w_{i}}^{k}-\varphi_{w_{j}}^{k}\right|, \forall k \in\{1, n-2\}
$

図 2: 3 次元極座標での角度の定義

意味が似ている単語ぺアの角度はそれぞれの次元において，上で定義した距離を小さくする方向に最適化される。極座標での角度の最適化には少し工夫を加える必要がある. 低次元ユークリッド空間の超球面，つまり小さな空間で角度を最適化する場合，単語が空間内の一部分に集中しすぎないよう補正を加え，限られた空間を効率的に使いたい，それを実現するための最適化手法を紹介する。

## 2.3 角度の最適化

本節では角度の最適化について述べる. デカルト座標と異なり，極座標の角度は次元ごとに値域が制限されている。一般的に用いられる二乗誤差関数 $y=x^{2}$ は, 図 4 の黒い線で示すように $x$ が大きいほど $y$ が大きくなり，すでに距離が十分離れている単語に対しても単語を遠ざける力が強い. そのため, negative sampling の際に単語が互いに遠ざかりすぎて角度が值域の端にたまってしまう，すなわち単語が極に集中する現象が生じる. 低次元空間を有効に使うためには，空間内に単語がばらけて分布するようにしたい。単語をばらけたままにしながら最適化を行うために, 図 4 の青い線で示す Welsch 損失 [10] と，単語の分布を超球面上での一様分布にする Stein Variational Gradient Descent (SVGD [11]) を用いる.

Welsch 損失 Welsch 損失 $\mathscr{L}_{w}(d)$ は図 4 の青線のように角度の勾配に制限があり， $d$ が大きいと勾配は小さくなる。そのため単語同士が似ていない，つまりすでに十分角度の差が大きい時には更新の値が小さくなる仕組みになっている.

Welsch 損失は次のように定義される.

$
\mathscr{L}_{w}(d)=\frac{c^{2}}{2}\left[1-\exp \left(-\frac{d^{2}}{2 c^{2}}\right)\right]
$

$d$ は式 1 で示した 2 つの単語のある次元の角度の差, $c$ はパラメータである. 勾配は次式で表される.

$
\frac{\partial \mathscr{L}_{w}(d)}{\partial d}=\frac{d}{2} \exp \left(-\frac{d^{2}}{2 c^{2}}\right)
$

図 4: Welsch 損失 (青) と二乗誤差関数 (黒) の概形 (左) と勾配 (右)

SVGD 低次元のユークリッド空間をより効率的に使う，つまり単語の類似関係を表現しつつ $(r=1$ としたときに) 超球面上に単語をばらつかせるためにSVGDを用いる。

SVGD では再生核ヒルベルト空間 $\mathscr{H}^{d}$ で理想分布 $p$ と現在の分布 $q$ の Kernelized Stein Discrepancy (KSD) $S(\cdot, \cdot)$ を次式のように定義し, KSD を最小化することによって KL divergence を最小化する。

$
\mathcal{S}(q, p)=\max _{\phi \in \mathscr{\mathscr { H } ^ { d }}}\left.\{\mathbb{E}_{x \sim q}\left[\mathscr{A}_{p} \phi(x)\right]\right.\}
$

ここで $A_{p} \phi(x)=\phi(x) \nabla_{x} \log p(x)+\nabla_{x} \phi(x)$ であり, 式 5 の最適解は次のように得られる。

$
\phi_{p}^{*}\left(x^{\prime}\right)=\mathbb{E}_{x \sim q}\left[\kappa\left(x, x^{\prime}\right) \nabla_{x} \log p\left(x^{\prime}\right)+\nabla_{x} \kappa\left(x, x^{\prime}\right)\right]
$

$\kappa: ~ X \times X \rightarrow \mathbb{R}$ は一定の条件を満たす正定值カーネルであり, 例えば $\mathrm{RBF}$ カーネル $\kappa\left(x, x^{\prime}\right)=$ $\exp \left(-\gamma\left.\|x-x^{\prime}\right.\|^{2}\right)$ が当てはまる. SVGD は Welsch loss を用いた訓練の試行回数ごとに行われる. 超球面上に単語が一様に分布するときのそれぞれの次元の角度分布 (理想分布) を数式で表すことは難しいので, Gaussian Mixture model (GMM) で近似した分布を理想分布として用いる。

## 3 実験

我々は WordNet の mammal/noun subtree [12]を用いて分散表現を学習した. Polar Embedding の定性的/定量的評価と，角度の最適化に用いた Welsch 損失と SVGD の効果について検証した。

## 3.1 データセット

mammal/noun subtree は WordNet のツリーから単語ペアを抽出したデータセットで，単語ペア $\left(w_{i}, w_{j}\right)$ の間にエッジが存在するとき， $w_{i}$ は $w_{j}$ の上位語である. mammal subtree には 6540 ペア, noun subtree には 743300 ペアが含まれる. 双曲空間の分散表現の定量評価として多く用いられる link prediction [5,13]

図 5: WordNet mammal subtree で学習した Polar embedding表 1: WordNet noun subtree での link prediction タスクの結果. (E) と $(\mathrm{H})$ はユークリッド空間と双曲空間を表す.

は， noun subtree の単語ペアの間にエッジが存在するかを予測することで，分散表現が単語間の階層構造をどの程度埋め込んでいるかを検証するタスクである.

まず mammal subtree で 2 次元の Polar Embedding を学習し定性的評価を行い，その後 noun subtree を用いて link predictionを行った.

## 3.2 実験設定

ここでは Polar Embedding の実験設定について述べる. Polar Embedding では半径 (抽象度) と角度 (類似度) は別々のパラメータで表されるため, 半径 $r$ を WordNet のエッジの深さから求め, 角度をエッジでつながった単語ぺアの集合から学習した。

半径の設定 WordNet $の \mathrm{mammal} /$ noun subtree $の$ データセット全体からエッジの深さを推定する $r^{g}$ と, 訓練データの単語ペアのみからエッジの深さを推定する $r^{e}$ を作成した. 単語 $w_{i}$ の半径 $r^{e}$ は, エッジの数 $e_{i}$ を用いて $r_{i}^{e}=1-z\left(\log \left(e_{i}+1\right)\right)$ と定義し, $r^{g}$ は階層中の子の数 $l_{i}$ とツリ一の最大高さ $h_{i}$ を用いて $r_{i}^{g}=1-z\left(h_{i}+\log \left(l_{i}+1\right)\right)$ と定義する. $z$ は正規化関数であり $, r^{e}, r^{g}$ とも 0,1 の範囲をとる.

直感的に表現すると, $r^{g}$ のほうがより多くの情報から半径を作成していて，ツリーの根の近くにあり多くの子を持つ単語の抽象度が高い. それに対して $r^{e}$ では多くの単語とつながっている単語の抽象度が高い. 実用的には $r$ は頻度情報など単語の抽象度を表す他の尺度でも代用することができる。

角度の学習角度を学習する際にはエッジでつながった語同士は positive sample, そうでない語のぺア
は negative sample とした. mammal subtree では 2 次元 (角度の次元は 1), noun subtree では既存研究に倣い 5 次元と 10 次元 (角度の次元は 4 または 9)の分散表現を学習した。

評価関数ある単語ぺアが上位下位関係にあるかどうかには，単語の抽象度と類似度の両方が関係すると仮定する．そこで，まず次のように類似度を評価する関数 $s_{a}$ と単語の抽象度 (半径) の差を評価する関数 $s_{r}$ の 2 つを用意した。

$
\begin{aligned}
s_{a}\left(w_{i}, w_{j}\right) & =\frac{f\left(w_{i}\right) \cdot f\left(w_{j}\right)}{\left.\|f\left(w_{i}\right)\right.\|\left.\|f\left(w_{j}\right)\right.\|} \\
s_{r}\left(w_{i}, w_{j}\right) & =\left|r_{i}-r_{j}\right|
\end{aligned}
$

$f$ は極座標からデカルト座標への変換 [14]を表す. ある単語ペアの間にエッジが存在するとき，2つの単語 $w_{i}$ と $w_{j}$ のなす角 (類似度) が一定以上小さく, 2 つの単語の半径の差 (抽象度の差) が一定以上大きいと仮定する. エッジが存在するかどうかの分類は $s_{a}$ と $s_{r}$ を組み合わせ， validation データを用いて決定した閾値 $\tau$ を用いて次式のように判定した。

$
s\left(w_{i}, w_{j}\right)= \begin{cases}1 & \text { if } s_{a}\left(w_{i}, w_{j}\right)>1-\tau s_{r}\left(w_{i}, w_{j}\right)^{2} \\ 0 & \text { otherwise }\end{cases}
$

## 4 結果と分析

## 4.1 Mammal Subtree

WordNet mammal subtree で 2 次元の Polar Embedding を学習した結果を図 5 に示す。単語は角度の偏りなく分布し, 様々な階層構造を見つけることができる。例えば, “cat”と “dog”は “carnivore”の下位語であり，

(a) 二乗誤差

(b) Welsch 損失

(c) Welsch 損失 + SVGD

図 6: WordNet noun subtree で学習した 5 次元分散表現の 2 次元部分

“carnivore”から見た扇形の中に存在する.さらに “dog” の下位語である “hunting dog” “terrier” との階層関係や “lion” と “wildcat” が “cat” の下位語であることが読み取れる。種の階層性も埋め込まれてお $り$ ，例えば "aquatic mammal" $\rightarrow$ "cetacean" $\rightarrow$ "seal", “dolphin”という関係性や "primate" $\rightarrow$ "monkey" $\rightarrow$ "gorilla”, “ape”といった関係性が読み取れる. 抽象度の差を考慮せず，類似度のみを考慮したい場合は既存の分散表現と同様に $\cos$ 類似度で単語間の関係を評価すればよく，Polar Embedding では用途に応じて類似度と抽象度を組み合わせることができる。

## 4.2 Noun Subtree

WordNet noun subtree での link prediction の結果を表 1 に示す. 性能評価として F1 スコアを用い，比較手法としてユークリッド空間の分散表現 (Order, Cone, Disk) とユークリッド距離を最小化する分散表現 (Simple) [13], 双曲空間の分散表現 (Poincaré, Cone, Disk) [4, 5, 13] を用いた.

5 次元の場合では Polar Embedding は $r^{g}, r^{e}$ どちらの場合でも既存手法より優れた性能を発揮している. また, 訓練に使用したエッジの割合が小さい時は，ユークリッド空間よりも双曲空間の分散表現とも同等の性能である. 10 次元の時には他のユー クリッド空間の分散表現と大きな差はないが同等の性能を達成している. これらの結果から, Polar Embedding は低次元 (5 次元) のユークリッド空間での性能は十分高いが，次元が増加した時の性能の伸び率の改善が今後の課題であることがわかる.

次に Welsch 損失と SVGD が角度の最適化に与えた影響を 5 次元の Polar Embedding を用いて分析した.まず $r$ と $\theta$ の 2 次元のみを図 6 に示す. 二乗誤表 2: Welsch 損失と SVGD の評価実験.

差 (図 6a)のみで学習した際は単語が左右に寄っているが, Welsch 損失 (図 6b)を用いると単語の分布が二乗誤差よりはばらけているのがわかる. Welsch 損失 $+\operatorname{SVGD}$ (図 6c)では円周上に一様に分布している.

定量評価を表 2 に示す. link prediction で訓練エッジ $10 \%, r=r^{g}$ の設定で行った実験では, Welsch 損失を用いた場合二乗誤差よりも性能が高く，SVGD と Welsch 損失を両方用いたほうがさらに高い F1 スコアを達成している。これらの結果から，低次元のユークリッド空間を有効に使うことが性能の向上に寄与していると考えられる。

## 5 結論

本論文では単語を極座標で表現する Polar embedding を提案した. 単語の抽象度を半径で，類似度を角度で表現することにより抽象度と類似度を分けて最適化し，極座標で角度をうまく最適化するために Welsch 損失と SVGDを用いた。単語が極周辺に集まりすぎる現象を防ぐことで低次元のユークリッド空間を有効に活用した提案法は， link prediction タスクで既存手法のユークリッド空間で作成された分散表現を上回る精度を達成した. 今後の展望として教師無し学習や高次元への拡張，半径の学習が挙げられる.

## 参考文献

[1]Oktie Hassanzadeh, Debarun Bhattacharjya, Mark Feblowitz, Kavitha Srinivas, Michael Perrone, Shirin Sohrabi, and Michael Katz. Answering binary causal questions through large-scale text mining: An evaluation using cause-effect pairs from human experts. In IJCAI, 2019.

[2]Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant. CommonsenseQA: A question answering challenge targeting commonsense knowledge. In $A C L$, page 4149-4158.

[3]Luke Vilnis and Andrew McCallum. Word Representations via Gaussian Embedding. In ICLR, 2015.

[4]Ivan Vendrov, Ryan Kiros, Sanja Fidler, and Raquel Urtasun. Order-Embeddings of Images and Language. In ICLR, 2016.

[5]Maximillian Nickel and Douwe Kiela. Poincaré Embeddings for Learning Hierarchical Representations. In NeurIPS, pages 6338-6347. 2017.

[6]Bhuwan Dhingra, Christopher Shallue, Mohammad Norouzi, Andrew Dai, and George Dahl. Embedding Text in Hyperbolic Spaces. In Proceedings of the Workshop on GraphBased Methods for Natural Language Processing, pages 5969, 2018.

[7]Alexandru Tifrea, Gary Becigneul, and Octavian-Eugen Ganea. Poincare Glove: Hyperbolic Word Embeddings. In ICLR, 2019.

[8]Octavian Ganea, Gary Becigneul, and Thomas Hofmann. Hyperbolic neural networks. In S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, editors, NeurIPS, pages 5345-5355. 2018.

[9]Lun Du, Zhicong Lu, Yun Wang, Guojie Song, Yiming Wang, and Wei Chen. Galaxy Network Embedding: A Hierarchical Community Structure Preserving Approach. In IJCAI, pages 2079-2085, 2018.

[10]John E. Dennis and Roy E. Welsch. Techniques for nonlinear least squares and robust regression. Communications in Statistics - Simulation and Computation, 7(4):345-359, 1978.

[11]Qiang Liu, Jason Lee, and Michael Jordan. A kernelized stein discrepancy for goodness-of-fit tests. In ICML, pages 276-284, 2016

[12]George A. Miller. WordNet: A Lexical Database for English. Coтmиn. ACM, 38(11):39-41, 1995.

[13]Octavian.-E. Ganea, Gary. Becigneul, and Thomas. Hofmann. Hyperbolic Entailment Cones for Learning Hierarchical Embeddings. In ICML, pages 1646-1655, 2018.

[14]LE Blumenson. A derivation of n-dimensional spherical coordinates. The American Mathematical Monthly, 67(1):6366, 1960


# 機械翻訳のためのチェックリスト

星野 翔
株式会社みらい翻訳 *
shhshn.shohoshino@gmail.com

## 1 はじめに

ニューラル機械翻訳（NMT）の進歩は翻訳精度の向上に必ずしも結びついていない。一般に NMT の出力は流暢性 fluency が高いが、正確性 adequacy に難があると言われており [1]、統計的機械翻訳 (SMT) の出力より正確性が悪化する場合すらある。 その原因のうちに、過剰生成 over-generation や過少生成 under-generation と呼ばれる現象がある。 NMT の出力には過不足があり、入力にない情報を過剰に出力したり、入力にある情報を欠落させることがある。SMT では、入力を組み替えて出力を構成していたため、これら現象は原理上発生しにくかった。

こうした膠着状態からの脱却を目指して、我々は新しいタスク「機械翻訳のためのチェックリスト」 を提案する。このタスクの目的は、参照訳を用いず、機械翻訳の入出力から文レべルの自明な誤りを検出することで、翻訳精度を底上げすることである。具体的には、NMT で数多く報告される過剩生成・過少生成を検出するが、誤訳 mistranslation は検出しない。このチェックリストには二通りの利用方法があり、1. NMT に適用することで最低限の質を担保できるし、2. 対訳データに適用することで対訳ノイズを発見できる。またブラックボックスの NMT を対象として、特定のアーキテクチャに依存しない。後者の利用方法のように対象システムが NMT でなくとも良い。出力のスコア化はチェックリストの対象外である。

従来、機械翻訳の誤り検出のタスクとしては、主に自動評価、誤り分析、品質推定 (QE) の三種類が用いられている。1. 自動評価は、出力と参照訳の近さをスコア化するタスクで、BLEU [2] が代表的な尺度である。2. 誤り分析 $[3,4,5]$ は、参照訳に基づき出力の誤りを分類するタスクで、スコア化を目的

としない点で提案手法に最も近い。3. $\mathrm{QE}[6,7]$ は、参照訳を用いず出力を評価するタスクで、文レベルでは HTER [8] に基づき出力の後編集に必要な回数をスコア化する。このように、従来研究とチェックリストは似て異なる目的を持つため、新しいタスクとして提案する。

## 2 提案手法

ここから我々によるチェックリストの実装案である、単語アライメントに基づくチェックリストを説明する。提案手法では、NMT の入出力の他に、単語アライメントが利用可能であると仮定する。単語アライメント利用の是非は後述するが、基本的に対訳データで単語アライメントを教師なし学習し、 force align によって予測する。単語はサブワード [9] またはバイト [10] でも良い。

つまり NMT の入力または対訳データの原言語文 （以下、入力）を $\mathcal{X}=\left[x_{1}, \ldots, x_{X} \mid X \in \mathbb{Z}\right] 、$ NMT の出力または対訳データの目的言語文 (以下、出力) を $\mathcal{Y}=\left[y_{1}, \ldots, y_{Y} \mid Y \in \mathbb{Z}\right]$ 、さらに入出力間の単語アライメントを $\mathcal{A}=\{(f, e) \mid 1 \leq f \leq X \wedge 1 \leq e \leq Y\}$ と定義する。提案手法には三つ組 $(\mathcal{X}, \mathcal{Y}, \mathcal{A})$ が与えられ、 0 または 1 を出力して終了する。文レベルで何らかの誤りを検出できれば 1 を出力し、誤りを全く検出できなければ 0 を出力する。

提案手法は、基本的な考え方として、なるべく再現率が高くなる検出方法を目指す。そうでなければチェックリストとしての信頼性を損うためである。 そこで具体的には、過剩生成・過少生成の検出を 1 .反復、2. 中断、3. 過剰生成、4. 過少生成の四つのサブタスクに細分化する。そして個々の性能を測定・改善することで、チェックリスト全体としての性能の向上を試みる。各サブタスクへの取り組み方を以下順に説明する。

## 2.1 反復

過剩生成の特殊ケースで、あるフレーズが繰り返し出力される現象を仮に反復 repetition と呼ぶ。反復は、入力に繰り返しが含まれない限り、出力に繰り返しが含まれるか否かで検出できる。1)

つまり入出力について、繰り返しが含まれる出力 $\mathcal{Y}^{\prime}=\left[y_{1}, \ldots, y_{i}, \ldots, y_{j}, y_{i}, \ldots, y_{j}, \ldots, y_{Y^{\prime}} \mid 1 \leq i, j \leq\right.$ $\left.Y^{\prime}\right]$ が空集合にならず、一方で繰り返しが含まれる入力 $\mathcal{X}^{\prime}=\left[x_{1}, \ldots, x_{k}, \ldots, x_{l}, x_{k}, \ldots, x_{l}, \ldots, x_{X^{\prime}} \mid 1 \leq\right.$ $\left.k, l \leq X^{\prime}\right]$ が空集合になり、同時に成り立たないものとする。このとき 1 を出力する。

## 2.2 中断

過少生成の特殊ケースで、入力のごく一部分に相当する情報しか出力されない現象を仮に中断 termination と呼ぶ。中断は、入出力の長さ比が極端に変化しない限り、入出力の長さ比に閾値を設けることで検出できる。2)

つまり入力の単語数 $X$ と出力の単語数 $Y$ を見比べて、長さ比の閾値 $r \in \mathbb{R}$ について $\frac{Y}{X} \leq r$ ならば中断とみなし 1 を、 $\frac{Y}{X}>r$ ならば 0 を出力する。間值 $r$ は提案手法のハイパーパラメータであり、本研究では事前実験で性能が良かった $r=0.5$ を用いる。

## 2.3 過剰生成と過少生成

入力に含まれない情報の出力を過剩生成、入力に含まれる情報の出力での欠落を過少生成と呼ぶ。例えば、湧き出しは過剩生成であり、訳抜けは過少生成である。過剩生成・過少生成の検出は難しいため、まず反復・中断を取り除く。その上で、信頼性の高い単語アライメントが利用可能であると仮定し、単語アライメントを用いて判定する。

## 2.3.1 過剩生成

過剰生成では、入力に含まれない出力情報の有無を単語アライメントで判定する。しかし、単語アライメントが null の単語を誤判定する可能性がある。例えば、英語の冠詞 the などストップワードが該当する。そこで安全幅 $n \in \mathbb{Z} を$ 設けて、前後 $n$ 単語を含むフレーズ全体が null かどうかで判定する。

1）OpenNMT [11] に似た機能が実装されているが、翻訳精度低下の恐れがある NMT ビーム探索中の検出ではなく、出力後の検出を目的としたい。

2）目的が異なるが、入出力の長さ比を用いて NMT ビーム探索を補正する手法 [12] が提案されている。
つまり $\mathcal{Y}^{\prime \prime}=\left[y_{1}, \ldots, y_{e}, \ldots, y_{Y^{\prime \prime}} \mid 1 \leq e \leq Y^{\prime \prime} \wedge\right.$ $\left.\left(f, e^{\prime}\right) \notin \mathcal{A} \wedge e-n \leq e^{\prime} \leq e+n\right]$ が空集合でなければ 1 を出力する。安全幅 $n$ も提案手法のハイパーパラメータであり、本研究では事前実験で性能が良かった $n=3$ を用いる。

## 2.3.2 過少生成

過少生成では、出力に含まれない入力情報の有無を単語アライメントで判定する。過少生成でも、過剩生成と同じく共通の安全幅 $n$ を用いて、前後 $n$ 単語を含むフレーズ全体が null かどうかで判定する。

つまり $\mathcal{X}^{\prime \prime}=\left[x_{1}, \ldots, x_{f}, \ldots, x_{X^{\prime \prime}} \mid 1 \leq f \leq X^{\prime \prime} \wedge\right.$ $\left.\left(f^{\prime}, e\right) \notin \mathcal{A} \wedge f-n \leq f^{\prime} \leq f+n\right]$ が空集合でなければ 1 を出力する。

## 2.4 単語アライメント利用の是非

このような利用に耐えうる信頼性の高い単語アライメントの入手は難しい。NMT で一般的なアテンションは単語アライメントではない。そのため NMT と単語アライメントをジョイントないしマルチタスクで学習する研究 $[13,14]$ がある。提案手法では、特定の手法に依存しないために、別途学習・予測された単語アライメントが与えられると仮定する。

こうしてチェックリストの準備が整ったため、実世界のデータを用いてその性能と有効性を明らかにする。

## 3 実験

## 3.1 実験設定

提案手法を NMT の出力および対訳データへそれぞれ適用し、チェックリストとしての利用に耐えうるか検証する。単語アライメントの信頼性の観点で、NMT の出力は対訳データより難易度が高くなると予想される。そのため、適用対象を 1 . 単語アライメントの学習に使用した対訳データ、2. その他の対訳データ、3. NMT の出力と三種別に細分化し有効性を検証する。提案手法の評価方法としては、性能の定量化が難しいため、人手で定性的に分析する。

NMT は、fairseq v0.10.2 [15] と英独翻訳モデル [16] を組み合わせて使用する。WMT2018 [17] のニュース分野で良い成績を収めた訓練済みの翻訳モデルが一般公開されており、再現実験が容易なため

 &  &  &  \\

中断 & 0 & 13 & 5 \\
過剰生成 & 35,472 & 14 & 3 \\
過少生成 & 38,034 & 18 & 2 \\
検出せず & $5,149,766$ & 2,958 & 2,988 \\

表 1 提案手法によるチェックリストの対象と実験結果

対象に選定する。もちろん他の機械翻訳システム・翻訳モデルでも構わない。単語アライメントは、fast_align [18] を使用して WMT2018 の学習データから教師なし学習する。性能向上のため、英独と独英の両方向で学習し、最後に grow-diag-final-and ヒューリスティックを使用して多対多 many-to-many の単語アライメントに仕上げる。学習データ以外については force align で予測し、同様の手順で多対多の単語アライメントを出力する。

実験データは、同じく WMT2018 の学習データ （以下 wmt18）と評価データ（以下 news18）に加えて、開発データとして WMT2012 [19] の評価データ （以下 news12）を使用する。データ作成方法など実験設定の詳細は付録 A で説明する。

## 3.2 実験結果

表 1 に、提案手法によるチェックリストの出力結果をデータ種別とサブタスク別に示す。四つのサブタスクの何れでも誤りを検出できなかった場合は 「検出せず」に分類した。提案手法は約 $1 \%$ のデータで文レベルの誤りを検出した。

まずデータ種別による違いとして、反復・中断の有無があった。本研究では NMT の出力である news18 に反復が発生しなかったが、対訳データ中に反復の対訳ノイズが存在していた wmt18 では検出に成功した。反対に、news18 では中断が発生したが、wmt18では検出できなかった。

次にサブタスクによる違いとして、wmt18 での反復・中断の少なさに対して、過剰生成・過少生成の多さが際立った。単語アライメントの利用により対訳ノイズの大半を過剩生成・過少出力に分類できた
ことが要因と考えられるが、一方でストップワードの誤検出も多く、過剩生成・過少生成をさらに細分化する必要性も示唆される。

図 1 に、対訳データでの実際の検出例を示す。例えば、wmt18 の反復では、文全体が繰り返されている明らかな対訳ノイズを検出できた。また news12 での中断では、英語入力に対して独語出力が不自然に短い対訳ノイズを検出できた。また wmt18 と news12 の両方で過剰生成・過少生成を検出できている。特に news12 の過少生成では、一見「Poland」を 「Pole」と訳せているが、「Polen」と訳すべきだったと考えられる。このように、提案手法の有効性を確認できたものの、チェックリストとしての性能にはまだまだ改善の余地がある。

## 3.3 議論

チェックリストの性能を地道に改善していくことで当初の目的である NMT の翻訳精度の底上げを実現できるだろうか。提案手法は単語アライメントが利用可能であるという強い前提を置いているが、この問題設定にいささか無理があるとも言える。仮に完璧な単語アライメントを利用できれば、NMT の自動評価は事実上完成するし、また NMT そのものを学習し直すことができるため、機械翻訳と同等以上に難しい部分問題を前提としている疑いがある。

このような疑問には以下のように応えたい。まず機械翻訳の評価そのものは人間にとっても難しい [20] が、単語アライメントを人手で作成するタスクの一致率は比較的高く、教師なし学習による機械化もある程度進んでいる。そのため、単語アライメン卜は機械翻訳やその評価より難易度が低い部分問題と言える。また実世界では、NMT の誤訳検出にも増して、NMT の信頼性に直結する過剩生成・過少生成の検出が喫緊の課題となっている。そのため我々は、過剩生成・過少生成の検出を目的とする単語アライメントの利用を妥当な落とし所と考える。

## 4 関連研究

機械翻訳の自動評価には、n-gram の適合率に基づくBLEU [2] や SacreBLEU [21] が広く用いられている。また順位相関係数に基づく Birch と Osborne [22] や Isozaki ら [23] の研究がある。単語アライメントに基づく手法としては、松尾ら [24] の研究がある。

機械翻訳の誤り分類では、人手分類のための Vilar

} & 独語出力 & Neue Bilder von DOFUS 2.0 ! Neue Bilder von DOFUS 2.0 ! \\

図 1 提案手法によるチェックリストの文レベル誤り検出例

ら [3] の研究がある。また自動的な誤り分類のため

の Popović ら [4] や Akabe ら [5] の研究がある。

機械翻訳における参照訳を用いない $\mathrm{QE}[6,7]$ には、単語レベルと文レベルの 2 つのタスクがあるが、文レベルでは HTER [8] を予測する。具体的な手法としては predictor-estimator に基づく POSTECH [25] などが用いられる [26]。参照訳を用いず評価する点において、我々のチェックリストも志は同じである。

NMT における誤り検出の取り組みとしては、訳抜けの検出に NMT のアテンション及び逆翻訳を利用する後藤と田中 $[27]$ の研究がある。さらに対訳データの訳抜けを NMT のアテンションや単語アライメントから検出し、反復回数を人手で検出する後藤ら $[28]$ の研究がある。

## 5 おわりに

本研究は機械翻訳のためのチェックリストという新しいタスクを考案し、その実装案として、単語アライメントに基づく手法を提案した。実世界での英独 NMT 翻訳モデルと対訳データを用いた実験で、提案手法のチェックリストとしての有効性を示した。提案手法の限界として、自明ではない誤訳を検出できず、また NMT への対処療法となっている欠点があり、今後の研究が待たれる。このチェックリストが有効活用されることで、将来的に NMT の翻訳精度が底上げされることを願う。

## 参考文献

[1] Philipp Koehn and Rebecca Knowles. Six challenges for neural machine translation. In Proceedings of the First Workshop on Neural Machine Translation, pp. 28-39, 2017.

[2] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-

Jing Zhu. BLEU: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[3] David Vilar, Jia Xu, Luis Fernando D'Haro, and Hermann Ney. Error analysis of statistical machine translation output. In Proceedings of the Fifth International Conference on Language Resources and Evaluation, pp. 697-702, 2006

[4] Maja Popović and Hermann Ney. Towards automatic error analysis of machine translation output. Computational Linguistics, Vol. 37, No. 4, pp. 657-688, 2011.

[5] Koichi Akabe, Graham Neubig, Sakriani Sakti, Tomoki Toda, and Satoshi Nakamura. Discriminative language models as a tool for machine translation error analysis. In Proceedings of the 25th International Conference on Computational Linguistics: Technical Papers, pp. 1124-1132, 2014.

[6] John Blatz, Erin Fitzgerald, George Foster, Simona Gandrabur, Cyril Goutte, Alex Kulesza, Alberto Sanchis, and Nicola Ueffing. Confidence estimation for machine translation. In Proceedings of the 20th International Conference on Computational Linguistics, pp. 315-321, 2004.

[7] Lucia Specia, Marco Turchi, Nicola Cancedda, Nello Cristianini, and Marc Dymetman. Estimating the sentencelevel quality of machine translation systems. In Proceedings of the 13th Annual conference of the European Association for Machine Translation, pp. 28-35, 2009.

[8] Matthew Snover, Bonnie Dorr, Richard Schwartz, Linnea Micciulla, and John Makhoul. A study of translation edit rate with targeted human annotation.

[9] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 1715-1725, 2016.

[10] Changhan Wang, Kyunghyun Cho, and Jiatao Gu. Neural machine translation with byte-level subwords. In Proceedings of the Thirty-Fourth AAAI Conference on Artificial Intelligence, pp. 9154-9160, 2020.

[11] Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart, and Alexander Rush. OpenNMT: Open-source toolkit for neural machine translation. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 67-72, 2017.

[12] Yilin Yang, Liang Huang, and Mingbo Ma. Breaking the beam search curse: A study of (re-)scoring methods and stopping criteria for neural machine translation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 3054-3059, 2018.

[13] Lemao Liu, Masao Utiyama, Andrew Finch, and Eiichiro Sumita. Neural machine translation with supervised attention. In Proceedings of the 26th International Conference on Computational Linguistics: Technical Papers, pp. 3093-3102, 2016.

[14] Sarthak Garg, Stephan Peitz, Udhyakumar Nallasamy, and Matthias Paulik. Jointly learning to align and translate with transformer models. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 4453-4462, 2019.

[15] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North
American Chapter of the Association for Computational Linguistics: Demonstrations, pp. 48-53, 2019.

[16] Sergey Edunov, Myle Ott, Michael Auli, and David Grangier. Understanding back-translation at scale. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 489-500, 2018.

[17] Ondřej Bojar, Christian Federmann, Mark Fishel, Yvette Graham, Barry Haddow, Philipp Koehn, and Christof Monz. Findings of the 2018 conference on machine translation (WMT18). In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, pp. 272-303, 2018.

[18] Chris Dyer, Victor Chahuneau, and Noah A. Smith. A simple, fast, and effective reparameterization of IBM model 2. In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. $644-648,2013$.

[19] Chris Callison-Burch, Philipp Koehn, Christof Monz, Matt Post, Radu Soricut, and Lucia Specia, editors. Proceedings of the Seventh Workshop on Statistical Machine Translation, 2012.

[20] Yvette Graham, Timothy Baldwin, Alistair Moffat, and Justin Zobel. Continuous measurement scales in human evaluation of machine translation. In Proceedings of the 7th Linguistic Annotation Workshop and Interoperability with Discourse, pp. 33-41, 2013.

[21] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, 2018.

[22] Alexandra Birch and Miles Osborne. LRscore for evaluating lexical and reordering quality in mt. In Proceedings of the Joint Fifth Workshop on Statistical Machine Translation and MetricsMATR, pp. 327-332, 2010.

[23] Hideki Isozaki, Tsutomu Hirao, Kevin Duh, Katsuhito Sudoh, and Hajime Tsukada. Automatic evaluation of translation quality for distant language pairs. In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 944-952, 2010.

[24] 松尾潤樹, 小町守, 須藤克仁. 単語分散表現を用いた単語アライメントによる日英機械翻訳の自動評価尺度. 情報処理学会研究報告, Vol. 2016-NL-229, No. 20, pp. 1-7, 2016.

[25] Hyun Kim, Jong-Hyeok Lee, and Seung-Hoon Na. Predictor-estimator using multilevel task learning with stack propagation for neural quality estimation. In Proceedings of the Second Conference on Machine Translation, pp. 562-568, 2017 .

[26] Fábio Kepler, Jonay Trénous, Marcos Treviso, Miguel Vera, and André F. T. Martins. OpenKiwi: An open source framework for quality estimation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 117-122, 2019.

[27] 後藤功雄, 田中英輝. ニューラル機械翻訳での訳抜けした内容の検出. 言語処理学会第 23 回年次大会発表論文集, pp. 1018-1021, 2017.

[28] 後藤功雄, 美野秀弥，山田一郎. 訳抜けを含む訓練データと訳抜けのない出力とのギャップを埋めるニューラル機械翻訳. 言語処理学会第 26 回年次大会発表論文集, pp. 1412-1415, 2020.

表 2 WMT2018英独ニュース翻訳での再現実験結果

## A 付録: 実験設定詳細

翻訳モデルとして、Facebook の公開データ3）を使用した。このデータにはアンサンブル用モデルと、翻訳結果修正用 source copy filtering モデルが含まれているが、このうち wmt18.model1.pt のみ使用した。前処理やハイパーパラメータは同梱の手順 wmt18.shに従った。

参考までに、表 2 に WMT2018 評価データでの SacreBLEU 值を報告する。我々の再現実験以外の值は、翻訳モデル [16] 著者らの報告結果4）を借用した。本研究は実験の都合でアンサンブルと source copy filtering を使用しなかったが、著者らの SacreBLEU 值 44.94 に対して 44.80 と、ほぼ同等の性能を再現できたと考える。

単語アライメントの学習では、fast_align の最新版5）を使用して、基本的にジョイントモデル用の手順 $\left.{ }^{6}\right)$ に従った。しかしながら事前実験でチェックリストへの悪影響があったため、サブワード（BPE）を使用しなかった。


# 低リソース「日本語対応手話-日本語」対訳コーパスによる 助詞挿入と語尾活用に注目したパイプライン手話翻訳

矢野 憲
電気通信大学
yanoken@uec.ac.jp
}

内海 彰
電気通信大学
utsumi@uec.ac.jp

## 1 はじめに

手話は手指動作と被手指動作 (NMS,non-manual signals)を同時に使う視覚言語で，音声言語にならぶ固有の文法を持った言語である [1][2][3][4][5]. 日本ではろう者同士, またはろう者と聴者の間で生まれ広がった日本手話 (Japanese Sign Language, JSL) のほか, 日本語と手話の語をほぼ一対一に対応させた日本語対応手話, その両者の中間的な表現等が使われるが，実際には日本手話と日本語対応手話との区別は曖昧であるとされる. 手話の特徴として, 話言葉における自立語同士の関係性を示す付属語に相当する語が手指動作に現れない傾向がある [1][2][6].例えば手話では質問・疑問を意味する終助詞「か」 などの例外を除いて, 話言葉の助詞に相当する語は表現されないことが多い. また日本語では動詞, 助動詞, 形容詞は語の働きの違いにより語尾が活用するが，手話では一般的にそのような語形の変化が見られないという特徴がある.このような言語的な違いに注目して日本語から手話への機械翻訳の既存研究 ([7],[8] 等) は存在するが, 手話から日本語への既存研究は存在しない. 従って, 本研究では助詞の挿入, 語尾活用に注目した日本語対応手話から日本語への機械翻訳の手法を提案した。

手話を話言葉へ翻訳するタスクでは，通常手話動画から連続する手話動作を認識し中間的な表現に変換後, その中間表現を話言葉に翻訳するという 2 段階で行われる [9][10][11][12].この中間表現は一般的に gloss（グロス）と呼ばれる. 手話を認識する問題はこれまでに Computer Vision の分野で活発に取り組まれてきたが, 本研究では特に手話認識後の gloss 系列から日本語へ翻訳するタスクに取り組み,少量の手話-日本語対訳データからでも精度の高い翻訳結果を得るパイプラインによる翻訳手法を提案

## した. 実験の結果, 提案手法の有効性を確認した。

## 2 対訳コーパス

## 2.1 日本語対応手話-日本語対訳コーパス

自動機械翻訳の目的で構築された大規模な日本手話または日本語対応手話と日本語の対訳コーパスは存在しない.このため, 本研究では筆者らが現在取り組んでいる共同研究で使用している対訳コーパスを用いた。本コーパスには手話の gloss による中間表現と対応する日本語対訳が 1086 件存在する. 本コーパスの内訳として手話の gloss に含まれる gloss 数が約 $7.5 \mathrm{~K}$, 語彙数が 655 , 語に分割後の日本語対訳に含まれる語数が約 $11 \mathrm{~K}$, 語彙数が $1.2 \mathrm{~K}$ である.本コーパスの特徴として, gloss は $g N(\mathrm{~N}$ は任意の数字列）のように記号表記されていることである. 本コーパスでは記号表記された gloss と対応する日本語は別に辞書として定義している.これは，一つの gloss が複数の日本語へ対応しているためである.参考までに，表 1 に対訳コーパスに含まれる対訳例, 表 2 に該当する gloss の辞書定義の例を示した。

なお， ドイツ手話 (DGS) やアメリカ手話 (ASL)の対訳コーパスでは, 辞書を用いずに gloss が意味する話言葉おける単語を大文字 (capital letters) で表現していることが多い [10],[6].

表 1 手話 gloss-日本語対訳例

表 2 gloss 辞書定義の例

## 2.2 日本語コーパス

本研究では, 手話と日本語との対訳コーパスの他に, 現代日本語書き言葉均衡コーパス (BCCWJ) から生成した擬似日本語対訳コーパスを用いた。これは対訳コーパスではサンプル数が十分でないために, データ駆動による深層学習を用いた機械翻訳手法を適用することが困難なためである. 本研究で用いた日本語対応手話-日本語対訳コーパスは, 会話における話言葉が中心であるため，そこに現れる文末のパターン ( か?,〜しました,〜ほしいです,〜 います,〜します,～希望する, 等) で BCCWJ コーパスの検索を行い該当する約 20 万の文を選択した。選択された日本語コーパスは助詞の挿入や, 語の語尾活用を行う機械学習モデルの教師データとして用いた. 詳細については 4 . モデルの学習で述べる.

## 3 翻訳手法

## 定義

$\mathscr{G}$ は長さ $\mathrm{N} の$ gloss 系列 $\mathscr{G}=\left(g_{1}, \ldots, g_{N}\right)$ を示し， $\delta$ は長さ $\mathrm{U}$ の日本語列 $\mathcal{S}=\left(w_{1}, \ldots, w_{U}\right)$ を示す. $\delta$ に対してさらに助詞, 語尾活用を示す 2 つの添字 $P P$ と $C$ を定義し, それぞれの添字の前の + と - で助詞の挿入, 語尾活用が適用されているか否かを示す. 例えば $\delta_{-P P-C}$ は助詞がなく, 語の活用形を基本形にした日本語列を示し, $\delta_{+P P+C}$ は助詞の挿入,語尾活用後の日本語列を示す.

## アルゴリズム

提案する gloss 系列から日本語への翻訳アルゴリズムを Algorithm 1 に以下に示した.

各 Step で行う処理を以下で説明する。
- Step 0: 統計的機械翻訳の手法を用いて gloss 系列を対応する日本語列へ変換する.
- Step 1: seq2seq 機械翻訳モデル (m1)を用いて Step 0 で得られた日本語列に対して助詞を挿入する.
- Step 2: seq2seq 機械翻訳モデル (m2)を用いて Step 1 で得られた日本語列に対して活用による語尾活用を行う。

-Step 3: Step 2 で得られた日本語列から助詞を削除する.
- Step 4: seq2seq 機械翻訳モデル (m3)を用いて Step 3 で得られた日本語列に対して助詞を插入

する.
- Step 5: Step 4 で得られた日本語列から語尾活用された語を基本形に変換する。

Step 1 では語の活用形を基本形にした日本語列への助詞の挿入に対して, Step 4 では語尾活用後の日本語列への助詞の挿入の違いがある. 表 3 に表 1 で示した例のパイプラインによる翻訳例を示す.

表 3 パイプラインによる翻訳例

## 4 モデルの学習

翻訳アルゴリズムで用いたモデルの学習方法について説明する.

## 4.1 統計的機械翻訳モデル

翻訳アルゴリズムの Step 0 には統計的機械翻訳 (SMT)[13] を用いた。学習は, 対訳コーパスを用いて行ったが, 目的言語である日本語は $\mathrm{MeCab}^{1}$ によよる形態素解析の結果から助詞を削除し, 語尾活用のある語については, 基本形に変換する前処理を行なった。目的言語の言語モデルとしては， 3-gramの Kneser-Ney smoothing を用いた。なお, 学習データに gloss 辞書の定義を追加の対訳データとして含めた. これはコーパスサイズが少ないため学習データに一度しか現れない gloss が多く存在するためである.

1) https://pypi.org/project/mecab-python3/

## 4.2 seq2seq 機械翻訳モデル

翻訳アルゴリズムの Step 1 における機械翻訳モデル (m1)には, Transformer[14]による seq2seq 翻訳モデル [15]を用いた。対訳コーパスは日本語コーパスに含まれる文から, 原言語, 目的言語を以下のようにして作成した。
- 原言語:原文の形態素解析の結果から助詞を削除し, 語尾活用のある語については, 基本形に変換

-目的言語:原文の形態素解析の結果から語尾活用のある語については，基本形に変換

これは単言語コーパスから $\delta_{-P P-C}$ から $\delta_{+P P-C} へ$翻訳する擬似的な対訳コーパスを生成することを意味する. seq2seq のハイパーパラメータについては,事前実験より以下のように定めた: encoder， decoder の embed サイズ:512, FFN のユニット数:2048, layer 数:6, attention head 数:8. また encoderの入力, decoder の出力には tied-embedding を使用した. Optimizerには Adam を使用し, 学習率は初期値 5e-4 で更新回数の逆平方根に基づき減衰させた。作成した対訳コー パスを 8:1:1 の割合で, train,dev,test データセットに分割し, devによる性能が一番高いパラメータで評価を行った。

翻訳アルゴリズムの Step 2 における機械翻訳モデル (m2), Step 4 における機械翻訳モデル (m3) は同様に Transformer ベースの se2seq を用いたが，擬似対訳コーパスの生成方法のみが異なる. 予備実験の結果から得られたパラメータと学習方法は機械翻訳モデル (m1) と同様であるため詳細は割愛する.

## 5 実験と結果

対訳コーパスからランダムに 10 個の対訳データをテストに選び, 残りを学習データとして, 統計的機械翻訳モデルを再学習したモデルで翻訳を行う実験を 100 回繰り返し，その結果得られた 1000 個の翻訳と，参照訳とで翻訳性能の評価を行った。なお, seq2seq 翻訳モデル $(\mathrm{m} 1, \mathrm{~m} 2, \mathrm{~m} 3)$ については，すべての実験で事前に学習済みのパラメータを使用し，ビームサイズ 5 でデコードを行なった.

比較するベースラインモデルとして以下の 4 つのモデルと, Yin et al. [12] が提案している end-to-end 手話機械翻訳モデル G2T (Gloss to Text) との比較実験を行った. Algorithm 1 で示した提案手法は
SMT+Iterative_seq2seqとした.

・naive: gloss 辞書を用いて, gloss を日本語へ置き換えることで翻訳を行うモデル．辞書に複数の日本語が定義されている場合, 一番最初の語を選択する。

-SMT: 統計的機械翻訳モデルで $\mathscr{G}$ から直接 $S_{+P P+C}$ へ翻訳を行うモデル.

-SMT+1step_seq2seq: Step 1, Step 2 の seq2seq 翻訳モデル $(\mathrm{m} 1, \mathrm{~m} 2)$ で行っている $\delta_{-P P-C}$ から $\mathcal{S}_{+P P+C}$ への翻訳を一つの seq 2 seq で翻訳を行い，逐次的に翻訳結果の更新を行わないモデル.

-SMT+2step_seq2seq: Step 0 から Step 2 までの処理を行い，逐次的に翻訳結果の更新を行わないモデル.

G2T[12] はドイツ手話またはアメリカ手話のサイズの大きい対訳コーパス [10],[6] を使用している為, 予備実験において日本語対応手話-日本語の対訳コーパスを用いて，ハイパーパラメータ検索を行い $\operatorname{dev}$ セットにおいて一番性能が良かった以下のパラメータを用いて実験を行った。 embed サイズ:256, FFN の embed サイズ:1024, layer 数:1, attention head 数:4 (encoder, decoder 共通)

性能評価は，BLEU1/2/3/4个[16], METEOR $\uparrow[17]$, WER(Word Error Rate)】を用いた. 結果を表 4 に示す. 結果より，gloss 辞書により単純に gloss を日本語へ置き換える翻訳手法では，文法的に正しい日本語にならず低い性能を示す. G2T の性能はいずれの指標においてもSMT の結果よりも低い值を示した. 手話言語の違いもあるが，低リソースの場合, seq2seq モデルでは SMT の性能を超えることが困難であることを示している. SMT と seq2seqによるパイプラインモデルでは, SMT の性能から大幅に性能を向上している。これは日本語コーパスから作成した擬似対訳コーパスで学習された seq2seq モデルが,手話翻訳における助詞の挿入, 語尾活用に非常に有効であることを示している. 更に表 5 に SMT とパイプライン翻訳モデルの BLEU3, BLEU4 スコア值による t-test 検定の結果を示した。

表 5 からパイプラインモデルが SMT よりも有意に性能が高いことがわかる. SMT+1step_seq2seq と SMT+2step_seq2seq とでは有意な差はなかったが，提案手法である SMT+Iteraive_seq2seq は BLEU3 において SMT+1step_seq2seq, SMT+2step_seq2seq 共
表 4 各モデルの翻訳性能の結果 (BLEU1/2/3/4个, METEOR $\uparrow, W E R \downarrow)$

表 5 SMT, SMT+1step_seq2seq, SMT+2step_seq2seq, SMT+Iterative_seq2seq の BLEU3, BLEU4 スコア值による t-test 検定の結果. 数値は $\mathrm{p}$-value を示す. *は $\mathrm{p}$-value が<0.05, **は $\mathrm{p}$-value が<0.01 を示す.

表 6 SMT+Iterative_seq2seqにより翻訳結果を得るまでに行ったループ処理の回数とその頻度

に，また BLEU4 については SMT+1step_seq2seq とで有意な差を認めた。このことから, 助詞の挿入と語尾活用の推測には相互依存性があり逐次的に双方を修正する SMT+Iteraive_seq2seq は翻訳精度を高める上で有効な手法であると判断できる. 次に，SMT+Iteraive_seq2seqによる翻訳が Algorithm 1 の何回目のループで収束したかを調査した. 結果を表 6 に示す. 表 6 より約 $72 \%$ の結果については， ループ処理の回数が 1 であったことを示す.これは Algorithm 1 の Step 1 の語尾活用前の日本語列に対する助詞の推定と最初のループ処理での Step 4 における語尾活用後の助詞の推定が同じであったことを示している. また約 $26 \%$ の結果については 2 回目のループ処理で結果が収束しており, これは語尾活用前の助詞の推定が最初の Step 4 における語尾活用後の助詞の推定で修正されたことを示している.ルー プ回数が 4 以上のものは, hallucination[18] エラーがあった場合で, その場合, 出力語列を切り詰めて出力するようにした.

付録の表 7 に各モデルが出力する翻訳例を表 8 に翻訳元となる gloss の辞書定義を示した. SMT, G2T
の翻訳には文法的な誤りを多く含むことが確認できる. $\delta_{+P P+C}(1), \delta_{+P P+C}(2)$ は SMT+Iteraive_seq 2 seq のループ処理における 1 回目，2 回目の翻訳結果である. $S_{+P P+C}(1)$ で見られる助詞挿入の誤りが $S_{+P P+C}(2)$ では修正されていることがわかる. なお,表 7 の最後の例のように助詞推定の曖昧性 (「で」 または「の」) が発生するケースもある.この対策として, 非手指動作 (NMS) を gloss の付属情報として用いることや，会話の文脈情報をモデルに組み込んで判断することが考えられるが，今後の課題としたい.

## 6 まとめ

本研究では, SMTにより少量の対訳コーパスを用いて gloss を対応する日本語へマッピングする翻訳モデルと大量の日本語コーパスから得られた擬似対訳データにより学習した助詞の挿入を行う seq 2 seq 翻訳モデルと語尾活用を行う seq $2 \mathrm{seq}$ 翻訳モデルをパイプラインで繋いだ手話から日本語への機械翻訳手法について提案した。実験結果より，SMTのみを用いた場合に比べ BLEU3/4による翻訳性能がそれぞれ+4.3/+4.9 向上することを確認した.

## 謝辞

本研究は, 電気通信大学とソフトバンク株式会社との「聴覚障害者と健聴者を繋ぐ相互コミュニケー ションシステムに関する研究開発」の支援により実施された。

## 参考文献

[1]岡典栄, 赤堀仁美. 日本手話のしくみ. 大修館書店, 2011 .

[2]松岡和美. 日本手話で学ぶ手話言語学の基礎. くろしお出版, 2015.

[3]Kazuyuki Kanda, Akira Ichikawa, Yuji Nagashima, Yushi Kato, Mina Terauchi, Daisuke Hara, and Masanobu Sato. Notation system and statistical analysis of NMS in JSL. In Revised Papers from the International Gesture Workshop on Gesture and Sign Languages in Human-Computer Interaction, p. 181-192. Springer-Verlag, 2001.

[4]Atsuko Koizumi, Hirohiko Sagawa, and Masaru Takeuchi. An Annotated Japanese Sign Language Corpus. In Proceedings of the Third International Conference on Language Resources and Evaluation, 2002.

[5]Mayumi Bono, Kouhei Kikuchi, Paul Cibulka, and Yutaka Osugi. A Colloquial Corpus of Japanese Sign Language: Linguistic Resources for Observing Sign Language Conversations. In Proceedings of the Ninth International Conference on Language Resources and Evaluation, pp. 1898-1904. European Language Resources Association, 2014.

[6]Clayton Valli, Ceil Lucas, Kristin J. Mulrooney, and Miako N.P. Rankin. Linguistics of American Sign Language. Gallaudet University Press, Washington, DC, 2011.

[7]松本忠博, 池田尚志. 日本語テキストから手話テキストへの機械翻訳の試み. 自然言語処理 / 言語処理学会編, Vol. 15, No. 1, pp. 23-51, 2008.

[8]Taro Miyazaki, Yusuke Morita, and Masanori Sano. Machine Translation from Spoken Language to Sign Language using Pre-trained Language Model as Encoder. In Proceedings of the LREC2020 9th Workshop on the Representation and Processing of Sign Languages: Sign Language Resources in the Service of the Language Community, Technological Challenges and Application Perspectives, pp. 139-144. European Language Resources Association, 2020.

[9]Mathieu De Coster, Mieke Van Herreweghe, and Joni Dambre. Sign language recognition with transformer networks. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 6018-6024. European Language Resources Association, May 2020.

[10]N. C. Camgöz, S. Hadfield, O. Koller, H. Ney, and R. Bowden. Neural Sign Language Translation. In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 7784-7793, 2018.

[11]N. C. Camgöz, O. Koller, S. Hadfield, and R. Bowden. Sign Language Transformers: Joint End-to-End Sign Language Recognition and Translation. In 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 1002010030, 2020.

[12]Kayo Yin and Jesse Read. Better Sign Language Translation with STMC-Transformer. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 5975-5989. International Committee on Computational Linguistics, December 2020.

[13]Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris CallisonBurch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open Source Toolkit for Statistical Machine Translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180,
Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[14]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All You Need. 2017.

[15]Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[16]Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318. Association for Computational Linguistics, July 2002.

[17]Satanjeev Banerjee and Alon Lavie. METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72. Association for Computational Linguistics, June 2005.

[18]Chaojun Wang and Rico Sennrich. On Exposure Bias, Hallucination and Domain Shift in Neural Machine Translation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3544-3552, Online, July 2020. Association for Computational Linguistics.

## 付録

表 7 gloss 辞書により $\mathscr{G}$ を日本語単語へ置き換える naive な手法, G2T[12], 統計的機械翻訳 (SMT) と提案手法 SMT+Iteraive_seq2seq による翻訳の例． $S_{-P P-C}$ は SMT による Step 0 の出力を示し， $S_{+P P+C}(1), S_{+P P+C}(2)$ はそれぞれ seq 2 seq モデル $(\mathrm{m} 1, \mathrm{~m} 2, \mathrm{~m} 3)$ により翻訳結果を 1,2 回更新した後の翻訳結果. いずれも更新回数 2 回で翻訳結果が収束している例.

表 8 表 7 で使われている gloss の辞書定義

g258 g27 g294 g307 g33 老人、おじいさん助成、支援、補助負担安い g4 登録

g860 住宅、宿

g87 自分、自己、自

g9 か、あなた


# 時事通信社ニュースの日英対訳コーパスの構築-第 3 報

田中英輝
NHK エンジニアリングシステム
hideki.tanaka@nes.or.jp
}

美野秀弥 伊藤均 後藤功雄 山田一郎 NHK 放送技術研究所

\{mino.h-gq, itou.h-ce, goto.i-es, yamada.i-hy\}@nhk.or.jp

中澤 敏明

東京大学

nakazawa@logos.t.u-tokyo.ac.jp

川上 貴之 大嶋 聖一 朝賀 英裕
時事通信社
\{kawakami, sohsima, asaka\}@jiji.co.jp

## 1 はじめに

著者らはニュースの日英機械翻訳の研究開発の基礎となる言語資源の構築のため, 時事通信社のニュース記事を利用した日英対訳コーパスの開発を進めている [1][2]. 時事通信社では, 日々日本語の記事を作成し, 内外の報道機関に記事を提供すると共に，その一部を英訳して同様に配信している。日々の業務で生み出される日英対応記事に文アラインメントを適用すると文単位の対訳コーパスを構築できる。しかし, 日英対応記事の数は日本語記事に比べてかなり少なく, 英訳時に内容が大きく編集されることから [1], 自動文アラインメントだけで現在の機械翻訳システムの学習に適した大規模コーパスを構築するのは困難である．そこで，文アラインメントに加えて，英訳を持たない日本語単独記事を翻訳者が翻訳する手法, 日英対応記事の日本語記事を英語に合わせて翻訳者が修正，翻訳する手法の 2 手法を加えてコーパスを開発している．以下では，過去 3 年で構築してきた 3 種類コーパスの概要を報告すると共に, 日英翻訳実験と調査によりその特徴を明らかにする。

## 2 コーパスの概要と諸元

時事通信社の翻訳は，内容の大きな編集を伴うことが多いが，編集と翻訳を高精度に実現する翻訳システムの実現は現時点では困難である。また，このようなシステムが実現できたとしても, 人が修正する下訳用途には使いにくいだろう。むしろ内容を忠実に翻訳するシステムの方が下訳にはふさわしいと考え，著者らはその実現のため，文単位で対応するコーパスを以下の 3 手法で構築した。

文アラインメントコーパス: Align 時事通信社の日英対応記事に文アラインメントアルゴリズム [3] を適用し文単位で対応する対訳コーパスを構築した. 本稿では文対応が 1 対 1 で，かつその類似度が 0.3 以上の文対を抽出して作成したコーパスを報告する1). 時事通信社では日本語記事の内容を大幅に編集して英語記事を作成するため, 文アラインメントされた文ぺアの情報には不均衡が生ずる. 実際,表 2 の文長の相関係数は 0.599 と他の 2 種類に比べると低い。また，対応付けされる文は記事の一部であり, 今回の抽出条件で $582 \mathrm{~K}$ の日英文対から抽出された文対は $240 \mathrm{~K}$ に留まった。一方, 構築コストは安価である。またコーパスの話題, 日英の表現スタイルは日英対応記事と一致する。本稿ではこのコーパスを “Align”あるいは“a”と略記する。

日英翻訳コーパス: Manual 日本語単独記事の一部を抽出し, 翻訳者に文ごとに翻訳してもらいコー パスを構築した。得られたコーパスの日英の情報は均衡しており, 実際, 文長の相関係数は 0.899 と高かった（表 2），記事の文数，キーワードリストを利用して，翻訳されにくい記事を除外しているが，日英対応記事より広い話題を含んでいると考えられる。翻訳にあたっては, 翻訳スタイルガイドを事前に作成して翻訳者に提供し, 時事通信社で使う用語, 翻訳スタイルにできるだけ準拠するようにした。作成コストは 3 手法の中で一番高い. 必要に応

1）本コーパスは昨年報告したコーパスと同じである [2]. 現在はさらに規模の大きなコーパスを構築している.
表 1 コーパス構築の 3 手法と特徴

表 2 コーパスの諸元

じて日本語 1 文を複数の英文で翻訳することを許容した結果，表 2 に示すように 1-1 から 1-5 の日英文対応が含まれ，この対応の 95\%が 1-1であった。本稿ではこのコーパスを “Manual” あるいは “m” と略記する。

日本語修正コーパス: Repair Align の情報の均衡性を高めるため, 日英対応記事の日本語記事を英語記事に合わせて翻訳者が修正，あるいは翻訳する手法でコーパスを作成した。得られた文長相関係数は Manual と同様 0.867 と高かった (表 2). Align 同様, コーパスの話題は日英対応記事と一致する. 英語 1 文に合うように日本語文を修正，翻訳する際，複数文にすることを許容したが，結果的に全て 1 対 1 の文対応となった (表 2). 日本語記事の修正, 翻訳時に固有名詞の調査が不要, 文や表現の再利用が可能などの利点があり, 作成コストは Align と Manual の間となった。本稿ではこのコーパスを “Repair” あるいは “ $\mathrm{r}$ ”と略記する．以上のコーパスの特徴を表 1 に，数値的な諸元を表 2 に示す.

## 3 日英翻訳実験と調査

2 節で報告した 3 種類のコーパスの効果を確認するため Sockeye toolkit[4] による実装の Transformer[5] を使った日英翻訳実験を行った。翻訳モデル学習の設定は以下の通りである。日英記事をそれぞれトー クナイズした後 ${ }^{2}$, 語彙サイズ $30 \mathrm{~K}$ の条件で日英同時 byte-pair encoding を実施した。学習はバッチサイズ 5,000トークン, 最大文長 90 トークン, 最大エ

2）日本語は KyTea[6], 英語は Moses toolkit を使った.表 3 実験データの文数

ポック数 30 , チェックポイント間隔 5,000 に設定した。また連続して 3 回チェックポイントでのパープレキシティ改善がなければ終了するようにした。その他はデフォールトの設定に従った。

自動評価には Bleu 値を使い, 同一学習デー夕から5つの初期值でモデルを作成し， 5 種類の翻訳結果の Bleu 値を平均を採用した。

実験に使ったコーパスの大きさを表 3 に示す. 実験用コーパスは見出しを含まない本文だけであり， Manual コーパスは, Align と Repairコーパスに合わせるため, 日英 1 対 1 の本文を抽出して作成した。 Align の開発, 評価デー夕は日英の対応が良い文対を翻訳者が選択して作成している.

## 3.1 学習デー夕追加効果

3 種類のコーパスの学習データを $10 \mathrm{~K}$ 文ずつ最大サイズまで増加してモデルを学習し, 評価デー夕の翻訳結果の Bleu 値を測定した (図 1). 評価デー夕と学習データの種類は同一である。 3 種類のコーパスとも学習データの増加と共に Bleu 値は上昇した。 どの Bleu もまだ飽和には達していないが Manual の Bleu の上昇幅は小さくなりつつある。

Align, Repair, Manual の Blue 值にはかなりの開きがある。同じ日英ニュースのコーパスではあるが，性質に何らかの違いがある可能性がある。そこで，その原因を探るため以下の実験を行った。

## 3.2 学習・評価デー夕種類の交差

Align, Manual, Repair の各 173K 文 (図 1 の赤線に相当）を使って学習した 3 種類の翻訳モデルで前記 3 種類の評価デー夕を翻訳し Bleuを測定した (図 2).グラフを観察すると，まず， Align と Repair の評価データに対する Manual のモデルの Bleu は

図 13 種類のコーパスの学習デー夕の追加効果

表 4 異なり語の Dice 係数

低い. 一方, Manual の評価デー夕に対する Align と Repair のモデルの Bleu は低い，以上の事実は Align と Repair コーパスの性質と Manual コーパスには何らかの違いが存在することを示唆している.

次に, Align と Repair の評価デー夕に対しては Repair のモデルが Align のモデルよりかなり大きな Bleuを達成したことが分かる. 両者の出典は日英対応記事だが, Repair コーパスは人手をかけて情報の均衡性を高めており，高いBleu 值はその効果の現れだと推察できる。

## 3.3 語彙の類似性と語の平均出現数の調査

Manual, Align, Repairの学習デー夕に含まれる語彙の類似性を調査した。それぞれのトークナイズされた学習データから（Repair のほぼ全数である） 195K 文を取り出し，異なり語の Dice 係数を計算した（表 4）。Dice 係数を見ると日英とも Align-Manual と Repair-Manual はほぼ同じだが, Align-Repair の Dice 係数はこれらより大きい. つまり Manual コー パスと Align, Repairコーパスには語の分布の差, すなわち話題の差があることが分かった。

図 23 種類のコーパスの交差評価

表 5 語の平均出現数

次に語の平均出現数（token-type ratio）を計算した (表 5). Manual の語の平均出現数は日英とも Align, Repair よりかなり小さく, データがより希薄であることが分かる.これは Manual コーパスは Align や Repairに比べて広い話題を扱っていることの証左とも言える. 図 1 で Repair コーパスに比べて Manual コーパスの Bleu が全領域で低く，また Manual コー パスではデータ追加の効果が現れにくいことが観察されたが，その理由の 1 つは Manual コーパスの語彙の希薄性にあると思われる。

## 3.4 Manual と Repair の主観評価

図 2 に示した Manual と Repair で作成したモデルを互いに交差評価した部分（図の右から $1,2,4,5$ 番目の棒グラフの領域，以後，評価領域と呼ぶ）の Bleu にはかなりの差が見られる。そこで，この領域について特許情報機構の 5 段階の内容伝達レベルによる主観評価を実施した [7] ${ }^{3}$ ． Repair の評価データからは 93 文，Manual の評価データからはは 94 文の評

3）翻訳に反映されている原文の重要情報の量を 5 段階に分類した評価基準で 1 が 20\%以下， 5 が 100\%となっている.

図 3 Manual とRepairコーパス翻訳結果の主観評価

価データを抽出し，全てを同一の２名の翻訳者で評価した。評価に当たっては誤りの一部を許容するようにした。例えば，時事通信社では日本語記事の日付を英語記事では曜日で翻訳する。現在の日英コー パスは基本的にこのような形になっているが，日付の曜日への正確な変換は今回の翻訳システムには望めない. また, 日本語記事には出現しない企業名の証券コードが英語記事には出現する, 日本語に出現しない記事の出典情報が英語記事の冒頭に “Tokyo, Sept. 18 (Jiji Press)”のように付与されることがあるといった問題も正しく対応できない4). 以上の現象は別処理, あるいはコーパスのクリーニングで対応すべき現象であり，今回の評価対象から外した。一方, Bleu の評価ではこのような差異も検出される.

評価の平均値を図 3 に示す。これを図 2 の評価領域と比較する。まず， Manual の評価データに対する性能は Bleu 值, 主観評価値とも Manual のモデルが高い. 次に，Repair の評価デー夕に着目すると， Bleu 值は Repair のモデルが Manual のモデルより圧倒的に高いが，主観評価スコアは両モデルでほぼ同等となった. 以上の傾向は 2 名の評価者とも同じであった. Repairの評価結果を観察したところ，主観評価で許容した誤りが Bleu で問題になったケースが見られた。具体例は割愛するが，本質的に扱えない現象を主観評価で許容したことがBleu 值と主観評価の差につながった可能性が高い. おそらく，実感的な性能は現在の Bleu 値ではなく, 主観評価値
に近いと考える。

## 4 おわりに

本稿では 3 種類のニュースの日英対訳コーパス構築の概要，および，それぞれの性質を翻訳実験，語彙調査, 翻訳結果の主観評価で調査した結果を報告した。ニュースの日英対訳コーパス構築は 2021 年度で一旦区切りとなる。今後は，コーパスのクリー ニングや改修を加えてより詳細な評価を実施する。 さらに，本コーパスを利用した [8] などの新たな研究へ軸足を移していく。

## 謝辞

本研究成果は，国立研究開発法人情報通信研究機構の委託研究により得られたものです.

## 参考文献

[1] 田中英輝, 美野秀弥, 後藤功雄, 山田一郎, 川上貴之, 大嶋聖一, 朝賀英裕. 時事通信社ニュースの日英均衡コーパスの構築-第 1 報. 言語処理学会第 25 回年次大会（NLP2019）発表論文集, 2019.

[2] 田中英輝, 美野秀弥, 後藤功雄, 山田一郎, 川上貴之, 大嶋聖一, 朝賀英裕. 時事通信社ニュースの日英対訳コーパスの構築-第 2 報. 言語処理学会第 26 回年次大会（NLP2020）発表論文集, 2020.

[3] Masao Utiyama and Hitoshi Isahara. A Japanese-English Patent Parallel Corpus. In MT Summit XI, pp. 474-482, 2007.

[4] Felix Hieber, Tobias Domhan, Michael Denkowski, David Vilar, Artem Sokolov, Ann Clifton, and Matt Post. The Sockeye Neural Machine Translation Toolkit at AMTA 2018. In Proceedings of the 13th Conference of the Association for Machine Translation in the Americas (Volume 1: Research Papers), pp. 200-207, 2018.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems 30, pp. 5998-6008. 2017.

[6] Graham Neubig, Yosuke Nakata, and Shinsuke Mori. Pointwise Prediction for Robust, Adaptable Japanese Morphological Analysis. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 529-533, 2011.

[7] 特許庁情報技術統括室. 特許文献機械翻訳の品質評価手順 Ver.1.0, 2014.

[8] 美野秀弥, 衣川和克, 伊藤均, 後藤功雄, 山田一郎, 田中英輝, 川上貴之, 大嶋聖一, 朝賀英裕. 単言語デー夕を用いた逆翻訳と順翻訳によるデータ拡張の効果の比較. 言語処理学会第 27 回年次大会（NLP2021）発表論文集, 2021.
4） Repair の英語記事には証券コードと出典が完全に記載されているが，Manual の英語記事には一部を除いてない.


# 多言語対訳サイトの特徴分析に基づく ウェブ上の対訳データのフィルタリング*

三好健悟 $\dagger$ Yizhen Wei ${ }^{\dagger}$ 田村拓也 ${ }^{\ddagger}$ 宇津呂 武仁 $\dagger$ 永田 昌明§
†筑波大学大学院 システム情報工学研究科・群 $¥$ 筑波大学理工学群 エ学システム学類
${ }^{\S}$ NTT コミュニケーション科学基礎研究所

## 1 はじめに

近年，機械翻訳分野においては，ウェブから対訳サイトを大量に収集し，対訳コーパスを作成する技術の研究が進められている $[3,1,5,6,10]$. しかし, 現時点において，ウェブを情報源として対訳コーパスを作成する技術の問題点として，収集される対訳サイト集合の中に，自動翻訳による対訳サイトが多く含まれる点が挙げられる．自動翻訳による対訳文対が多く含まれる対訳コーパスは，そのままでは機械翻訳モデルの訓練・評価データとしては適さない。そのため, 収集される対訳サイト集合のうち人手によって翻訳された対訳サイトのみを抽出することにより, ウェブから収集された対訳コーパスを高品質化する必要がある.

本論文では，ウェブから収集された日英対訳文対集合である JParaCrawl V2 を対象に，その中から人手翻訳による対訳サイトを自動抽出する手法を提案する。提案手法においては, 自動翻訳された対訳サイトに特有の現象として，(1) 自動翻訳によって生成された文の特性と，最新の言語モデル [2] に則った文の特性とを比較し, 文中における語彙の選択基準において両者の間に差異が見られる傾向があること, および， (2) 文中の一部の固有名詞等は異なるものの, 文中の他のフレーズが共有されるテンプレート文が多く含まれること, の二種類の現象に着目する. (1) の特徴に対しては，日本語文に対して，最新の言語モデルを用いて文中の単語の生成確率を予測し, 確率一位で予測された単語の含有率を用いるフィルタを適用することによつて，自動翻訳による対訳サイト 1 のうちの約 8 割を除
^{*}$ Filtering Parallel Sentences collected from the Web based on Analyzing Characteristics of Translated Web Sites

${ }^{\dagger}$ Kengo Miyoshi, Yizhen Wei, Takehito Utsuro, Graduate School of Systems and Information Engineering, University of Tsukuba

${ }^{\ddagger}$ Takuya Tamura, College of Engineering Systems, University of Tsukuba

${ }^{\S}$ Masaaki Nagata, NTT Communication Science Laboratories, NTT Corporation, Japan

1 実際には, 日本語側が統計的機械翻訳 (SMT) によって翻訳された対訳サイトである (3.2 節参照).
}

外できることを示す.一方，(2)の特徴に対しては，二文間の語の一致度を測る尺度である BLEU-1 [7] を用いたフィルタを適用して自動翻訳による対訳サイトを除外することにより，79\%の適合率および $88 \%$ の F 值で人手翻訳による対訳サイトを同定できることを示す. さらに，本論文では，(1)の特徵に対する言語モデルフィルタ, および, (2)の特徵に対する BLEU-1 フィルタを併用して，どちらかいずれかのフィルタによって自動翻訳による対訳サイトを除外するアプローチを用いることにより，結果的に，人手翻訳による対訳サイ卜の同定において 87 88\%前後の適合率・ $\mathrm{F}$ 值が達成できることを示す.

## 2 JParaCrawl V2: ウェブから収集 された日英対訳文対集合

本論文で高品質化の対象とする JParaCrawl V2 [6] は, ウェブ空間から日本語と英語の対訳文対を収集するシステムによって, NTT コミュニケーション科学基礎研究所が作成した対訳コーパスであり，一般に公開されている².JParaCrawl V2 の日英対訳データ収集過程 $[3,5,6]$ は，以下の四段階に分けられる.

(i) ウェブ空間に存在する大規模なドメイン集合のうち, 日本語ページおよび英語ページが含まれるドメインにおいて，各ページのテキストデータを収集する.

(ii) 収集されたドメインにおいて，対訳ページの候補と考えられる日本語ページと英語ページ間のペー ジ間対応付けを行う。

(iii) 日英間で対応付けられたページ対において，日英対訳辞書およびBleualign [9]を用いて文対応付けを行う。

(iv) 対応付けられた全ての文対集合に対して，言語モデルおよび句読点情報に基づいて不適切な対訳文
^{2}$ http://www.kecl.ntt.co.jp/icl/lirg/ jparacrawl/
}

図 1: URL の分布 (サイト数単位)

図 2: サイトごとの含有文数の分布 (サイト数単位)

対候補を除外するツール Bicleaner ${ }^{3} により ，$ 対訳文対候補のクリーニングを行う。

本論文では，上記のように収集された日英対訳データ集合に対して，集合内の重複文対排除を行うとともに，英語・日本語以外の言語の文を削除した ${ }^{4}$

## 3 データセット

本節では，JParaCrawl V2 内のサイト集合における URL，および，サイトごとの文数の分布に基づいて，自動翻訳によるサイトを識別・除外する手法の訓練・評価用サイト集合のデータセットを作成する.

## 3.1 サイト URL の分布

JParaCrawl V2 における URL の分布 (サイト数単位)を図 1 に示す. さらに，JParaCrawl V2 におけるサイトごとの含有文数 5 の分布 (サイト数単位) を図 2 に示す.ここで, サイトごとの含有文数別に，サイト集合を部分集合 $A(1 \sim 99$ 文対), $B(100 \sim 999$ 文対), $C(1,000 \sim 2,999$文対), $\mathrm{D}(3,000 \sim$ 文対) に分割する. そして, これらの部分集合別に，含有文数の文数単位の分布を求めた結果を図 3 に示す. ただし, サイト集合 D については，人手翻訳によるサイトの割合が高いことが分かつ
^{3}$ https://github.com/bitextor/bicleaner

4 言語識別においては, polyglot を用いた.

5各サイトから収集された文のうち，JParaCrawl V2 データセットに含まれる文の数.
}

図 3: サイト集合 $\mathrm{A} \cdot \mathrm{B} \cdot \mathrm{C} \cdot \mathrm{D}$ ごとの含有文数の分布 (文数単位)

ている“.jp”ドメインと, “.jp”ドメイン以外とに分けて分布を示す.

## 3.2 パラメータ調整用・評価用サイト集合

図 3 に示すように,「サイト集合 D の“.jp”ドメイン以外」の総文数がデータセット全体の約半数を占める. そこで，この「サイト集合Dの“.jp”ドメイン以外」中のサイト集合を母集団として，本論文の手法のパラメータ調整用として 100 サイトを無作為に選定し, 各サイトの人手翻訳・自動翻訳の別を分析した. その結果, 図 4(a) に示すように，人手翻訳によるサイトが 68 サイト，自動翻訳によるサイトが 32 サイトとなった。 そこで，本論文では，自動翻訳によるサイトを識別・除外する手法のパラメータ調整, および, 評価の対象を「サイト集合 D の“.jp”ドメイン以外」に設定する. そして, 上述のパラメータ調整用 100 サイトを用いてパラメータの調整を行う．また，パラメータ調整用 100 サイトとは別に, 評価用 100 サイトを無作為に選定し，本論文の手法を適用し評価を行う.

パラメータ調整用 100 サイトに対して, 翻訳方向別の人手翻訳・自動翻訳の分布, 英語文側の自動翻訳 - 英語母語サイト作成者・英語非母語サイト作成者の分布, および，日本語文側のSMT による自動翻訳・NMT による自動翻訳・人手によるページ作成の分布を図 4 に示す. このうち, 本論文では, 日本語言語モデルを用いる手法により, 自動翻訳によって生成された日本語ページを含むサイト (図 4(c) 中の NMT の 3+15 サイトおよび SMT の 7+5 サイトの合計 30 サイト)を除外することを目的としてパラメータの調整を行う (4 節参照). 同様に, BLEU-1フィルタを用いたテンプレー ト文の検出手法によって, 図 4(a)に示す「自動翻訳によるサイト」(32サイト)を排除することを目的として

(a) 翻訳方向別の人手翻訳・自動翻訳の分布

(b) 英語文側の自動翻訳・英語母語サイト作成者・英語非母語サイト作成者の分布

(c) 日本語文側の $\mathrm{SMT} \cdot \mathrm{NMT} \cdot$ 人手によるページ作成の分布

図 4: パラメータ調整用 100 サイトの分析結果

図 5: 「日本語言語モデルを用いたフィルタ」によって除外される自動翻訳文の例 (SMT による自動翻訳文. 対象： www.cots.com.cn)

パラメータの調整を行う (5 節参照).

## 4 言語モデルを用いたフィルタ

本論文では，言語モデルを用いたフィルタによって「自動翻訳による非流暢な文が多く出現するか否か」を識別し，非流暢な文を含むサイトを除外する ${ }^{6}$. 具体的には，日本語を含む多言語言語モデルとして，大規模な事前訓練済みニューラル言語モデルである Multilingual BERT (mBERT) [2] を用いて, GLTR [4]によって日本語文中の単語の予測確率の順位分布を求める ${ }^{78}$. そし

図 6: 英語言語モデル GPT-2 [8] による予測確率の順位の分布の文書単位・文単位間比較 (対象: 英語版 Wikipedia 中の 5 サンプルページ)

て，パラメータ調整用 100 サイトを用いたパラメータ最適化の結果として,「言語モデルによる予測確率が一位となる単語位置の割合の下限值 $55.0 \%$ 」満たす場合に，人手翻訳によるサイトであると判定する.
表 1: 「テンプレート文検出のための BLEU-1 フィル夕」によって検出されるテンプレート文 (自動翻訳文) の例 (対象: droidchart.com)

 &  \\

& 不可能の電池を搭載します。 \\
\cline { 2 - 3 } &  \\
\cline { 2 - 3 } &  \\

## 5 テンプレート文検出のための

## BLEU-1 フィルタ

本論文では，テンプレート文を検出するための BLEU1 [7] フィルタによって,「自動翻訳によるサイトにおいては，原言語文・目的言語文とも，文中の一部の固有名詞等は異なるものの, 文中の他のフレーズが共有されるテンプレート文が多く含まれる」という特徴を検出する、テンプレート文 (自動翻訳文) の典型例を表 1 に示す. BLEU-1フィルタにおいては, 日本語側サイト内から無作為に選定した 1,000 文に対して形態素解析 ${ }^{9}$ 行った後，任意の二文間の単語重複率を求め, パラメータ調整用 100 サイトを用いたパラメータ最適化の結果として, 「二文間の BLEU- $1 \leq 70$ となる二文の割合の下限値 $98.29 \%$ を満たす場合に，人手翻訳によるサイトであると判定する.

## 6 評価

4 節，および， 5 節で述べたフィルタ 10 を用いて評価用 100 サイトの評価を行った結果を図 7 に示す.このうち，日本語言語モデルを用いたフィルタによって実際に除外されたサイトの内訳 (図 8) からは, SMT によって自動翻訳された全 11 サイトのうち, 約 8 割の9サイトが除外できたことが分かる ${ }^{11}$.また, 図 7 の結果から，人手翻訳による対訳サイトの同定の性能は，BLEU-1 [7] を用いたフィルタを単独では 79\%の適合率および $88 \%$ の $\mathrm{F}$ 值であるのに対して，言語モデルフィルタ，および，BLEU-1フィルタの併用により $87 \sim 88 \%$ 前後の適合率・F 值が達成したことが分かる.

## 7 関連研究

ウェブから収集された対訳文対対集合から高品質な対訳文対集合を抽出する手法の関連研究として，Zhang
^{9}$ IPA 辞書版 MeCab  を用いた。

10 パラメータ調整用 100 サイトにおいて，人手翻訳によるサイト検出の再現率・適合率・ $\mathrm{F}$ 值がそれぞれ最大值付近となるように下限値等のパラメータを調整した。

 }^{11}$ NMT によって自動翻訳された全 12 サイトについては， 2 割弱の 2 サイトしか除外できていない.

図 7: 「人手翻訳によるサイト」の同定における再現率・適合率・ $\mathrm{F}$ 值

図 8: 「日本語言語モデルを用いたフィルタ」によつて除外されたサイトの内訳 (除外されなかった 10 件の NMT サイト，および，2 件の SMT サイトを含む)

ら [10] は, Wikipedia から収集された 104 言語の単言語コーパスを用いて事前訓練された mBERT [2] 等の言語モデルを用いた対訳文対フィルタ手法を提案し， 1) 英独 ParaCrawl (3,700 万文対) [1]，および，2) ウェブから独自に収集した日中対訳文対対集合 $(2,000$ 万文対) の高品質化を行っている. Zhang ら [10] が文対の特徴分析に基づいて高品質な対訳文対集合を収集するのに対して，本論文では，対訳サイトを単位とする特徴分析に基づいて高品質な対訳文集合を収集する点で大きく異なる. また, Zhang らの手法では, mBERT 等の言語モデルを訓練するために何種類かの言語資源を必要とする．例えば， mBERT を対訳文対フィルタタスクに適応する際の fine-tuning においては, 高品質な対訳文対集合が必要である ${ }^{12}$.したがって，人手を介して整備する必要のある対訳文対の規模の点において，本論文の手法の方が有利であると言える。

## 8 おわりに

本論文では，JParaCrawl V2 を対象として人手翻訳によるサイトを高性能に抽出することを目的として，言語モデルを用いたフィルタ，および，テンプレート文検出のための BLEU-1フィルタを提案し，一定以上の適合率・F 値が達成できることを示した。

## 参考文献

[1] M. Bañón, P. Chen, B. Haddow, K. Heafield, H. Hoang, M. Esplà-Gomis, M. Forcada, A. Kamran, F. Kirefu, P. Koehn, S. Ortiz Rojas, L. Pla Sempere, G. Ramírez-Sánchez, E. Sarrías, M. Strelec, B. Thompson, W. Waites, D. Wiggins, and J. Zaragoza. ParaCrawl: Web-scale acquisition of parallel corpora. In Proc. 58th ACL, pp. 4555-4567, 2020.

[2] J. Devlin, M. Chang, K. Lee, and K. Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. NAACLHLT, pp. 4171-4186, 2019.

[3] M. Esplà, M. Forcada, G. Ramírez-Sánchez, and H. Hoang. ParaCrawl: Web-scale parallel corpora for the languages of the EU. In Proc. MT Summit XVII Volume 2: Translator, Project and User Tracks, pp. 118-119, 2019.

[4] S. Gehrmann, H. Strobelt, and A. Rush. GLTR: Statistical detection and visualization of generated text. In Proc. 57th ACL, pp. 111-116, 2019.

[5] M. Morishita, J. Suzuki, and M. Nagata. JParaCrawl: A large scale Web-based JapaneseEnglish parallel corpus. In Proc. 12th LREC, pp. 3603-3609, 2020.

[6] 森下睦, 鈴木潤, 永田昌明. JParaCrawl：大規模 Web ベース日英対訳コーパス. 言語処理学会第 26 回年次大会論文集, pp. 469-472, 2020.

[7] K. Papineni, S. Roukos, T. Ward, and W.-J. Zhu. BLEU: a method for automatic evaluation of machine translation. In Proc. 40th ACL, pp. 311-318, 2002 .

[8] A. Radford, J. Wu, R. Child, D. Luan, D. Amodei, and I. Sutskever. Language models are unsupervised multitask learners. 2019.

[9] R. Sennrich and M. Volk. Iterative, MT-based sentence alignment of parallel texts. In Proc. 18th NODALIDA, pp. 175-182, 2011.

[10] B. Zhang, A. Nagesh, and K. Knight. Parallel corpus filtering via pre-trained language models. In Proc. 58th ACL, pp. 8545-8554, 2020.


# NMT の双方向反復的教師なし適応手法における 初期対訳コーパスサイズの影響と翻訳モデル獲得に関する調査

藤澤 兼太
豊橋技術科学大学
fujisawa.kenta.tv
atut.jp
}

秋葉 友良
豊橋技術科学大学
akiba.tomoyoshi.tk
atut.jp
}

塚田元
豊橋技術科学大学
tsukada.hajime.hl
atut.jp

## 1 序論

ニューラル機械翻訳 (Neural Machine Translation) モデルは，十分な量の対訳コーパスがあれば高い性能を達成できるため, 近年の機械翻訳に関する研究において広く用いられている。しかし，十分な量の対訳コーパスを用意することが困難な分野 (ドメイン) では，良質な翻訳モデルを学習することは難しく，機械翻訳研究における重要な課題となっている.

このような課題を解決するためのアプローチとして, 比較的構築が容易な単言語コーパスを用いた手法が多く提案されている。単言語コーパスを用いた代表的な手法として, Sennrich ら [1] が提案した Back-Translation(逆翻訳) アプローチが広く知られている.この手法は, 大規模な単言語コーパスを他ドメインの対訳コーパスで予め学習しておいた翻訳モデルにより翻訳し, その翻訳結果をソース側, 単言語コーパスをターゲット側とする当該ドメインの対訳を学習データに追加して, 高性能な逆方向の翻訳モデルを新たに学習するという手法である. 様々な拡張手法が提案されており, Hoang ら [2] や Zhang ら [3], 森田ら [4] は, 逆翻訳および翻訳モデルの学習を双方向かつ反復的に行うことで, 通常の逆翻訳手法よりも高い性能を示せることを報告している。以後, 本論文では森田らの手法を森田らに倣って 「双方向反復的教師なし適応手法」と呼ぶ.

双方向反復的教師なし適応手法は高い翻訳性能を達成できることが示されているが，その性質は十分に明らかになっていない。そこで本研究では，以下の点に関して実験及び分析を行い，この手法の性質をより明らかにすることを目的とする。

1. 初期対訳コーパスが小規模な場合の効果

2. 翻訳モデルの獲得に焦点を当てた評価

英日・日英翻訳を対象に実験を行い，BLEU[5] に
より評価した結果, 初期対訳コーパスのサイズが 2 万文の場合 (初期モデルでは英日は 1.41 , 日英は 2.92 の BLEU スコア) でも，ドメイン内単言語コー パス 150 万文を用いて手法を適用することで英日は 25.46(+24.05), 日英は 24.08(+21.15) まで BLEU スコアが向上した。また, 初期対訳コーパスのサイズが翻訳性能に与える影響を，単なる学習データサイズの効果とは分離して，評価・分析を行った，単語再現率を用いた評価から，単言語コーパスより新たに翻訳モデルを獲得できていることを確認した。

## 2 双方向反復的教師なし適応手法

図 1 に，2つの言語 $\mathrm{X} ， \mathrm{Y}$ 間の翻訳に関する双方向反復的教師なし適応手法の流れを示す. 図 1 において， $\mathrm{C}_{\mathrm{X}}^{\mathrm{in}}, \mathrm{C}_{\mathrm{Y}}^{\mathrm{in}}$ はそれぞれ言語 $\mathrm{X}, \mathrm{Y}$ のドメイン内単言語コーパスを示し, $\left(\mathrm{C}_{\mathrm{X}}^{\text {out }}, \mathrm{C}_{\mathrm{Y}}^{\text {out }}\right)$ はドメイン外対訳コーパスを示す。逆翻訳により生成されたコーパスを $\mathrm{C}^{\prime}$ と表記すると，単言語コーパス $\mathrm{C}_{\mathrm{X}}$ とその逆翻訳結果 $\mathrm{C}_{\mathrm{Y}}^{\prime}$ を組み合わせた疑似対訳コーパスは $\left(\mathrm{C}_{\mathrm{Y}}^{\prime}, \mathrm{C}_{\mathrm{X}}\right)$ のように表すことができる.

これらの表記方法に従い，双方向反復的教師なし適応手法の流れを以下に記述する。

1.ドメイン外対訳コーパス $\left(\mathrm{C}_{\mathrm{X}}^{\mathrm{out}}, \mathrm{C}_{\mathrm{Y}}^{\text {out }}\right)$ を用いて,初期モデルとなる Model $_{\mathrm{X} \rightarrow \mathrm{Y}} 0$, Model $_{\mathrm{Y} \rightarrow \mathrm{X}} 0$ を学習する。

2.性能が収束するまで以下を反復する。 $(\mathrm{i} \leftarrow 0)$

2.1.単言語コーパス $\mathrm{C}_{\mathrm{Y}}^{\mathrm{in}}$ を Model $_{\mathrm{Y} \rightarrow \mathrm{X}} \mathrm{i}$ により翻訳し，疑似対訳コーパス $\left(\mathrm{C}_{\mathrm{X}}^{\prime}{ }_{\mathrm{in}}{ }_{\mathrm{i}}, \mathrm{C}_{\mathrm{Y}}^{\mathrm{in}}\right)$ を得る.疑似対訳コーパスとドメイン外対訳コーパスを結合し，それを用いて逆方向のモデル Model $_{\mathrm{X} \rightarrow \mathrm{Y}}(\mathrm{i}+1)$ を学習する.

2.2.単言語コーパス $\mathrm{C}_{\mathrm{X}}^{\mathrm{in}}$ を Model $_{\mathrm{X} \rightarrow \mathrm{Y}} \mathrm{i}$ により翻訳し，疑似対訳コーパス $\left(\mathrm{C}_{\mathrm{Y}}^{\prime}{ }_{\mathrm{i}}{ }_{\mathrm{i}}, \mathrm{C}_{\mathrm{X}}^{\mathrm{in}}\right)$ を得る。疑似対訳コーパスとドメイン外対訳コーパ

図 1 双方向反復的教師なし適応手法の流れ

スを結合し，それを用いて逆方向のモデル Model $_{\mathrm{Y} \rightarrow \mathrm{X}}(\mathrm{i}+1)$ を学習する。

2.3.i $\leftarrow \mathrm{i}+1$

## 3 実験

## 3.1 実験条件

ドメイン外の対訳コーパスとして, Asian Scientific Paper Excerpt Corpus(ASPEC)[6] の英日対訳コーパスから 100 万文を用いる．対訳コーパスのサイズを縮小する際には，データ数が多いコーパスが少ないコーパスを常に包含するという条件を保つようにデータセットを作成する. ドメイン内の単言語コーパスとしては, NTCIR8-PATMT コーパスから英語, 日本語それぞれ 150 万文ずつ対訳にならないように抽出して用いる. バリデーションセットには NTCIR8-PATMT から 2000 対を，テストセットには同じくNTCIR8-PATMT から 899 対を用いる.

すべてのデータに対して NFKC 変換と小文字化を適用する. 英語データに対しては Moses tokenizer[7] を用いて事前分割したあと, Sentence Piece[8]によるサブワード化を行う. 日本語データに対しては事前分割せずに Sentence Piece によるサブワード化を行う. Sentence Piece は BPE ベースのものを使用し，分割する語彙の上限は 8000 とする. Sentence Piece表 1 NTCIR-8 PATMT 対訳コーパスのベースライン性能 (BLEU)

のモデルの学習には， ドメイン外の対訳コーパスとドメイン内の単言語コーパス双方の全データを用いる.

モデルは，エンコーダを 1 層の双方向 LSTM，デコーダを 1 層の単方向 LSTM としたものを使用し，隠れ状態の次元数は 500 とする. 最適化アルゴリズムには Adam を使用し，学習率を 0.001 とする。各モデルは 10 エポックずつ学習し, 1 エポックごとのチェックポイントの中から最も accuracy が高かったモデルを採用する. モデルの翻訳精度の評価には単語単位の BLEU[5] を用いる.

## 3.2 ベースライン

NTCIR-8 PATMT(ドメイン内) のオリジナルの対訳コーパスを用いて同様のモデル設計で学習を行い， それをベースラインとする．結果を表 1 に示す.

## 3.3 実験結果

表 2 に，双方向反復的教師なし適応手法を用いて学習した場合の Model 0, Model 1, Model 10 の BLEU スコアを示す. 初期対訳コーパスサイズが最も大規模な 100 万文 (1M) の場合, Model 10 では英日で 34.60(Model 0 と比べて+21.08), 日英で33.41(+15.15) という BLEU スコアを得た。対訳コーパスサイズを縮小していくと，BLEU スコアは低下していくが，手法による効果はほとんどのサイズで確認できた.対訳コーパスサイズが 2 万文の場合, Model 0 では英日が 1.41 , 日英が 2.93 とかなり低い值であるにも関わらず，Model 10 では英日が 25.46(+24.05), 日英が24.08(+21.15) という BLEU スコアを得た. 1 万文 (10K) の場合は反復学習による改善が小さく, Model 10 まで学習を行っても 20K 以上の結果と比べてかなり低い BLEU スコアとなった。

表 1 と比較すると, $1 \mathrm{M}$ の結果はドメイン内の対訳コーパスを 50 万文 (500K) 用いた結果と同等の数值である (34.60 vs. $34.97,33.41$ vs. 33.07). 3 万文 (30K) の場合は, 英日翻訳の性能はドメイン内の対訳コーパスを 10 万文 $(100 \mathrm{~K})$ 使用した結果に比べて
表 2 双方向反復的教師なし適応の効果

図 2 反復による BLEU スコアの推移 (英日翻訳)

0.87 劣っている (27.33 vs. 28.20$)$ が, 日英翻訳の性能は 0.56 優れている (26.70 vs. 26.14).

図 2 は, 反復学習によりどのように BLEU スコアが上昇していくかを示したグラフである。対訳コー パスサイズが $20 \mathrm{~K}$ 以上の場合は反復により BLEU が上昇していくことが確認できる.

以上の結果から, 双方向反復的教師なし適応手法は，対訳コーパスのサイズが小規模な場合においても Back-Traslation アプローチ [1](Model 1 に相当)を大きく上回る性能を達成できることがわかった.

表 2 に示した翻訳性能は，サイズの異なる初期対訳コーパスを加えて学習したモデルの比較を行っている. 例えば, $100 \mathrm{~K}$ の Model 10 は 100K の初期対訳コーパスと $1.5 \mathrm{M}$ の疑似対訳コーパスの合計 $1.6 \mathrm{M}$ の対訳コーパスを用いて学習しているのに対し， $1 \mathrm{M}$表 3 疑似対訳コーパスのみによる翻訳性能

の Model 10 は $1 \mathrm{M}$ の初期対訳コーパスと $1.5 \mathrm{M}$ の疑似対訳コーパスの合計 $2.5 \mathrm{M}$ の対訳コーパスで学習している。従って，学習データサイズの違いもスコアに反映されているため，純粋に初期対訳コーパスサイズの効果が比較できない。そこで， Model 10 を学習する際, 初期対訳コーパスを除いて学習し，学習データサイズを揃えて比較する評価も行った.

具体的には, 通常の双方向反復的教師なし適応手法により Model 9 まで学習を行った後，Model 10 を学習する際に疑似対訳コーパスのみで学習を行い, その翻訳性能を評価した。実験結果を表 3 に示す。初期対訳コーパスサイズが増えるに従い単調に翻訳性能が改善しており，初期対訳コーパスを増加する効果が確認できる。しかし，初期対訳コーパスサイズを 2 倍にしても BLEU の改善は+1 程度である。初期翻訳モデルのブートストラップに必要な初期コーパスサイズ (本研究では $20 \mathrm{~K}$ 以上) が確保できれば，初期コーパスのサイズはこの手法にとってそれほど重要な要因ではないことがわかる.

## 3.4 翻訳モデル獲得の分析

前節の BLEU による翻訳性能の総合的な評価に加え，翻訳モデルが初期モデルに含まれない語彙を適切に獲得できているかという視点から評価を行った。双方向反復的教師なし適応手法では，単言語コーパスを繰り返し用いることになるため，ソース側，ターゲット側ともども初期モデルにない単語を獲得できる。しかしながら獲得された単語間の翻訳モデルも獲得されるのか明らかではない。この疑問を明らかにするために単語再現率を用いた分析を行った。

## 3.4.1 単語再現率

本論文では正解文に含まれる単語がどの程度出力文に現れているかを単語再現率で評価する．単語再現率は式 1 によって計算される。
表 4 正解文データに含まれる各属性の単語数

Word_Recall $=\frac{\sum_{S \in \operatorname{Ref} s} \sum_{w \in g_{X}(S)} \operatorname{Count}_{\text {match }}(w)}{\sum_{w \in g_{X}(\operatorname{Ref} s)} \operatorname{Count}(w)}$

ここで， $S$ は正解文， Refs は正解文の集合， $w$ は単語, $\operatorname{Count}(w)$ は正解文に含まれる単語の個数, Count $_{\text {match }}$ (word) は正解文と対応する出力文の間で一致する単語の個数を示す. また, $g_{X}(W)$ は単語集合 $W$ からある属性 $X$ を有する単語だけを抽出する関数である. 考慮する属性 $X$ は次節で導入する. この式では, 各文ごとに単語再現数を計算した後に，それらの総和を正解文に含まれる全単語数で割り，平均を計算している。

## 3.4.2 分析方法と結果

テストデータの各正解文の各単語について，ドメイン外対訳コーパスに含まれるもの (“out”と表記), ドメイン内単言語コーパスにのみ含まれるもの (“in,not out”と表記), どちらにも含まれないもの (“neither”と表記) に分類し，これらを式 1 で考慮する属性 $X$ として単語再現率を計算する. 反復により初期モデルに含まれない単言語コーパスの単語の翻訳モデルが獲得されるのであれば, “in,not out”に関する単語再現率が上昇していくと考えられる.

本節では，初期モデルの対訳コーパスサイズが 5 万文の場合について実験を行った。テストデータの正解文に含まれる各属性の単語数を表 4 に示す. ここで，“full”は正解文データ全体を示す.

単語再現率による評価結果を図 3 と図 4 に示す. “out”の単語再現率は, “full”とほとんど同じように推移している.これは, “out”が“full”に含まれる単語をほぼすべて含んでいるためである. “in, not out” の推移をみると, グラフの形に差はあるものの英日，日英それぞれ反復により上昇していることがわかる. このことから, ドメイン内の単言語コーパスを繰り返し学習に用いることで，新たに単語翻訳モデルを獲得できていると考えられる．また，どのデータにも含まれていないはずの “neither”について

図 3 反復による単語再現率の推移 (英日翻訳)

図 4 反復による単語再現率の推移 (日英翻訳)

も反復による単語再現率の上昇がみられる。以上の結果から, 双方向かつ反復的な逆翻訳により新たに単語翻訳モデルを獲得でき，このことが性能向上に貢献していることがわかる.

## 4 結論

本論文ではまず，ドメイン外の対訳コーパスサイズが小規模な場合の双方向反復的教師なし適応手法の効果を検証した。実験の結果，対訳コーパスが 2 万文程度しかない場合でも，ドメイン内単言語コー パスが十分にあればドメイン内対訳コーパスが 10 万文存在する場合と同等の性能を達成することが確認できた。続いて，単語再現率という指標においても性能が向上していることを確認し，ドメイン内の単言語コーパスにしか含まれていない単語の翻訳モデルを単言語コーパスしか用いていないにもかかわらず獲得できていることを確認した。

## 謝辞

本研究は JSPS 科研費 $19 \mathrm{~K} 11980$ および 18H01062 の助成を受けた。

## 参考文献

[1] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of
the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, Berlin, Germany, August 2016. Association for Computational Linguistics.

[2] Vu Cong Duy Hoang, Philipp Koehn, Gholamreza Haffari, and Trevor Cohn. Iterative back-translation for neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 18-24, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[3] Zhirui Zhang, Shujie Liu, Mu Li, Ming Zhou, and Enhong Chen. Joint training for neural machine translation models with monolingual data. CoRR, Vol. abs/1803.00353, , 2018.

[4] 知熙森田, 友良秋葉, 元塚田. 双方向の逆翻訳を利用したニューラル機械翻訳の教師なし適応の検討. Technical Report 3, 豊橋技術科学大学, 豊橋技術科学大学, 豊橋技術科学大学, dec 2018.

[5] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp.311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[6] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 2204-2208, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[7] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[8] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.


# Non-Autoregressive Translation モデルにおける 事前並び替え適用手法の検討

瓦祐希
大阪大学大学院情報科学研究科
kawara.yuki@ist.osaka-u.ac.jp
}

Chenhui Chu
京都大学大学院情報学研究科
chu@i.kyoto-u.ac.jp
}

荒瀬 由紀

大阪大学大学院情報科学研究科

arase@ist.osaka-u.ac.jp
## 1 はじめに

統計的機械翻訳 (SMT) において、原言語と目的言語間の語順の相違は翻訳精度に大きな影響を与えることが知られている $[8]$ 。この問題を解決する手法として、翻訳器に入力する前に原言語文を目的言語文の語順に近づくように並び替える事前並び替え手法が提案されてきた $[8,4]$ 。特に英語・日本語間のように語順の大きく異なる言語対において、事前並び替えを行うことで SMT での翻訳精度は大きく改善した $[8,4]$ 。しかし、Autoregressive Translation (AT) では、事前並び替えを行なった文をそのまま入力として使用すると、事前並び替えを行わなかった文を入力として使用した場合と比較して翻訳精度が低下することが報告されている $[1,4,5]$ 。

近年では、推論時に翻訳文の全単語を一度に出力する Non-Autoregressive Translation (NAT) が提案され、盛んに研究されている $[2,12,10]$ 。NAT モデルによって翻訳にかかる速度は上昇した。しかし各単語を独立に出力するため、前に出力した単語を考慮した翻訳が出来ず、AT モデルと比較して翻訳精度が低下するという問題点がある。また NAT モデルで翻訳を行う際は、デコーダの入力としてエンコー ダの出力をそのままの順序で使用するため、語順の相違を考慮することが出来ない。

本研究では、NAT モデルにおける事前並び替えの効果的な適用手法の検討を行う。事前並び替えを行なった原言語文をエンコーダに入力する手法、エンコーダの出力を並び替える手法、エンコーダの入力で事前並び替えの情報を使用する方法で検証を行なった。ASPEC コーパス [9]を使用した英日翻訳実験の結果、NAT モデルでは AT モデルと異なり，事前並び替えを行なった文をそのままエンコーダに入力することで翻訳精度が向上することが明らかとなった。

## 2 関連研究

代表的な AT モデルである Transformer [13] は、 self-attentionを使用して翻訳を行うモデルである。 このモデルは推論の際に以前に出力した単語に基づいて次の単語の予測を行うため、デコード処理の並列化ができず、翻訳文の長さに比例した時間がかかる。そこで $\mathrm{Gu}$ ら [2] は翻訳文を一度に出力する NAT モデルを提案した。NAT モデルは AT モデルと比較すると翻訳速度が大幅に向上したが、各単語を独立に出力するため周辺の単語に基づいた翻訳が出来ず、翻訳精度が低下してしまうといった問題がある。特に英語・日本語のように語順の大きく異なる言語対の翻訳では、語順の考慮が困難である。

Shu ら [12] は潜在変数モデルによる NAT モデル (LaNMT) を提案した。目的言語文の不確かさを低次元の潜在変数によってことでモデリングし、その潜在変数に基づいて翻訳文の出力を行うことでより精度の高い翻訳を可能にしており、最高性能を達成した翻訳手法の一つである。しかし、エンコーダの出力をそのままの順序で使用してデコーダの入力として使用しているため、並び替えは考慮していない。本研究では LaNMT に対し、効果的に事前並び替えを適用する手法を検討する。

Ran ら [10] は、Transformerにより原言語文の語順を並び替えた隠れ変数を NAT のデコーダに入力することで翻訳精度が向上すると報告している。しかし本手法を LaNMT に直接適用することはできず、 また Transformerによる事前並び替えは、AT モデル

図 1 LaNMT モデルの全体図。

と同様、文の長さに比例した時間がかかるという課題がある。

## 3 LaNMT における事前並び替えの 適用

## 3.1 前提知識：LaNMT

LaNMT モデルの全体図を図 1 に載せる。LaNMT は大きく四つのサブモデルからなり、原言語文である $x$ から潜在変数 $z$ を予測するモデル、 $x$ と目的言語文 $y$ から $z$ を予測するモデル、 $z$ から目的言語文の長さ $l_{y}$ を予測するモデル、 $x 、 z 、 l_{y}$ から $y$ を予測するモデルである。学習は、以下の式 (1) で示される変分下限を最大化することを目的に学習を行う。

$\mathscr{L}(\omega, \phi, \theta)$

$
\begin{aligned}
& =\mathbb{E}_{z \sim q_{\phi}}\left[\sum_{i=1}^{|y|} \log p_{\theta}\left(y_{i} \mid x, z, l_{y}\right)+\log p_{\theta}\left(l_{y} \mid z\right)\right] \\
& \quad-\sum_{k=1}^{|x|} \operatorname{KL}\left[q_{\phi}\left(z_{k} \mid x, y\right) \| p_{\omega}\left(z_{k} \mid x\right)\right]
\end{aligned}
$

$\omega$ はエンコーダ側の、 $x$ が分かっている時の事前分布をモデル化するパラメータ、 $\phi$ はエンコーダ側の、 $x$ と $y$ が分かっている時の事後分布をモデル化するパラメータ、 $\theta$ はデコーダ側のパラメータを表す。事前分布、事後分布は予測された潜在変数 $z$ から linear 層によって計算される。推論時は $y$ は存在しないため、まず原言語文 $x$ から $z$ の計算を行い、 それをデコーダの入力として使用して翻訳文 $y^{\prime}$ の予測を行う。それから出力した $y^{\prime} を$ 使用して $z$ の再

図 2 Length-transform の例。この例では、エンコーダの出力は 6 単語、デコーダへの入力は 4 単語としている。

計算を行い、新たな翻訳文の出力を行う。これを決められた回数行い、最後の出力を最終的な翻訳文とする。

原言語文の長さと目的言語文の長さは異なることがあるため、デコーダの入力はエンコーダの出力から計算を行う必要がある。LaNMT では length-transform という機構によってエンコーダの出力からデコーダの入力を計算している。図 2 に例を示す。エンコーダの出力 $z$ からデコーダの入力 $z^{\prime}$ は、以下の式に従って各位置を基準に計算された重みを使用し $z$ の重み付き和によって計算される。

$
\begin{aligned}
z_{j}^{\prime} & =\sum_{k=1}^{|x|} w_{k}^{j} z_{k} \\
w_{k}^{j} & =\frac{\exp \left(a_{k}^{j}\right)}{\sum_{k^{\prime}=1}^{|x|} \exp \left(a_{k^{\prime}}^{j}\right)} \\
a_{k}^{j} & =-\frac{1}{2 \sigma^{2}}\left(k-\frac{|x|}{l_{y}} j\right)^{2}
\end{aligned}
$

$j$ はデコーダの入力のインデックス、 $k$ はエンコー ダの出力のインデックス、 $a_{k}^{j}$ はデコーダの入力に対するエンコーダの出力のアテンション、 $w_{k}^{j}$ はデコーダの大力に対するエンコーダの出力の重みを表す。各 $z^{\prime}$ に対する重みは式 (3) によってそれぞれの位置を中心とした正規分布によって計算される。

## 3.2 事前並び替えの適用

本研究では、(1) 事前並び替えを行なった原言語文をエンコーダに入力するシンプルな手法、(2) 潜在変数 $z$ を並び替える手法、(3) 事前並び替えのインデックスの position encoding を足し合わせる手法によって事前並び替えの利用の検証を行う。以降では (2) および (3) の手法について説明する。

(2) 潜在変数 $z$ を並び替える手法 LaNMTでは原言語文の潜在変数 $z$ の順番をそのまま使用している

表 1 英日対における翻訳結果。それぞれのモデルのベースラインと $p<0.05$ で有意差があり、精度が向上したものを $\uparrow$ で、精度が低下したものをしで示す。

表 2 英日対における翻訳結果。それぞれのモデルのベースラインと $p<0.05$ で有意差があり、精度が向上したものを个で、精度が低下したものをしで示す。“w/o knowledge distillation”と “w/ knowledge distillation”の行はそれぞれ knowledge distillation をせず訓練した結果と knowledge distillation して訓練した結果を表す。

が、そのままでは語順の相違を考慮することが出来ない。そこで潜在変数 $z$ の変換の際に以下の式 (4) に示すように並び替えた後のインデックスを使用することで語順の相違を考慮した翻訳が可能になると期待される。

$
z_{j}^{\prime}=\sum_{k=1}^{|x|} w_{k}^{j} z_{r_{k}}
$

$r_{k}$ は原言語文の $k$ 番目の単語の、並び替えた後のインデックスである。 $z_{k}$ を並び替えてから重み付き和を計算することで、対応した目的言語文の位置に近い $z_{r_{k}}$ の重みが大きくなり、並び替えた後の文における周辺単語をより考慮した $z^{\prime}$ が計算できる。

(3) 事前並び替えのインデックスの position encoding を足し合わせる手法ここでは事前並び替えを利用するため、事前並び替えのインデックスの position encoding を足し合わせる手法を設計する。 Kawara ら [5] は AT モデルにおいて事前並び替えのインデックスによる position encoding を足し合わせることで翻訳精度が向上したことを報告しているが、NAT モデルにおける効果は定かではない。NAT
モデルにおいて事前並び替えのインデックスによる position encoding を足し合わせることで、エンコー ダで語順を考慮した潜在変数の計算を行うことが可能になる。

## 4 翻訳実験

## 4.1 実験設定

ASPEC コーパス [9] を使用して英日翻訳実験を行なった。ASPECコーパスに含まれている訓練デー タは 300 万分、開発データは 1,790 文、テストデー タは 1,812 文である。翻訳器の学習には上位 200 万文のうち、原言語、目的言語がともに 3 単語以上 50 単語以下で、かつ単語数の比が 9 未満である約 180 万文を使用した。

英語文の単語分割および品詞タグ付けには Stanza1）を使用した。日本語の形態素解析は Juman 2) で行なった。

事前並び替え手法として BTG [8] を使用した。事前並び替えモデルは、訓練データのうち上位 50 万

文からランダムにサンプリングした 10 万文を使用して 20 イテレーションの訓練を行なった。単語クラスタ数は 256 に設定し、単語アライメントは MGIZA $^{3 ）}$ を使用して計算した。

事前並び替えの適用手法 (2) および (3) は Shu らによる LaNMT の公開モデル $\left.{ }^{4}\right)$ 上に実装した。訓練は 50000 ステップ行なった。分散表現の次元数および学習率は Shu らの設定に従った。また Shu らと同様、翻訳は 1 度 refinement した。翻訳結果において同じ単語が 2 回以上繰り返されている場合は 2 回目以降を除去した。

評価指標として BLEU [6] と RIBES [3] を使用した。有意差検定はブートストラップ法 [7] に従って行なった。

## 4.2 実験結果

実験結果を表 1 に示す。ここで Gold-standard は単語アライメントの計算をした後、アライメントの交差がなくなるように並び替えたものを指す。 AT モデルでは先行研究同様、事前並び替えをそのまま使用するとべースラインと比較して BLEU および RIBES が低下した (それぞれ -4.33 ポイント、 -2.53 ポイント)。一方、NAT モデルでは事前並び替えをそのまま使用するとベースラインと比較して BLEU が向上した (+1.87 ポイント)。Gold-standard を使用して学習を行なった翻訳実験では、AT モデルにおいても NAT モデルにおいても大幅に翻訳精度が向上した (AT モデルで BLEU が +9.31 ポイント、RIBES が +6.17 ポイント、NAT モデルで BLEU が +10.25 ポイント、RIBES が +6.84 ポイント)。これは、翻訳の学習において並び替えの情報が有用であることを示唆している。

zを並び替える方法では、Gold-standard の順に並び替える方法においても BTG の順に並び替える方法においてもべースラインより BLEU が低下した (Gold-standard で -6.43 ポイント、BTG で -8.65 ポイント)。また、position encoding に並び替えのインデックスを使用する方法でも BLEU は低下した (Gold-standard で -1.09 ポイント、BTG で -6.65 ポイント)。翻訳精度が低下した原因として、 $z$ を並び替えることで潜在変数同士の依存関係が崩れてしまったためであると考えられる。また、position encoding を足し合わせる手法では、 $z$ の変換では原言語文の

語順をそのまま使用しているため、並び替え後のインデックスが離れている潜在変数の重みが大きくなる場合があるためであると考えられる。

## 4.3 Knowledge Distillation に対する影響

NAT の訓練では、訓練データの参照訳をそのまま使用するのではなく、AT モデルで翻訳した出力を使用した訓練を行う Knowledge Distillation により、翻訳性能が大幅に向上することが知られている $[2,12]$ 。表 2 に、事前並び替えを適用した各モデルにおいて、Knowledge Distillationをし訓練を行なった結果を示す。ここで、BTGで AT モデルの訓練を行うとべースラインよりも精度が低下し結果として NAT モデルの訓練結果も低下すると考えられるため、Knowledge Distillation は全て Gold-standard な並び替えを行なった文によって AT モデルを訓練し翻訳したものを使用している。先行研究と異なり、 Gold-standard による Knowledge Distillation で訓練を行うと、全てのモデルで Knowledge Distillation しなかったものよりも精度が低下した。今回の実験では Byte Pair Encoding (BPE) [11]を適用しておらず未知語が出力されるため、その影響によって Knowledge Distillation による翻訳結果が低下してしまったと考えられる。Knowledge Distillation における BPE の有無の影響調査は今後の課題である。

## 5 結論

本研究では LaNMT モデルにおける事前並び替えの適用手法について調查を行なった。NAT モデルでは AT モデルの場合と異なり、事前並び替えを行なった文をそのまま入力することで翻訳精度が向上することが明らかとなった。一方、潜在変数を並び替える手法や事前並び替えのインデックスの position encoding を足し合わせる手法では翻訳精度が低下した。今後の課題として、よりうまく語順の情報を活用した NAT モデルの検討が挙げられる。

謝辞本研究は、日本電信電話株式会社コミュニケーション科学基礎研究所および科研費\#19K20343 の助成を受けたものである。

## 参考文献

[1] Jinhua Du and Andy Way. Pre-reordering for neural machine translation: Helpful or harmful? The Prague Bulletin of Mathematical Linguistics (PBML), Vol. 108, pp. 171-182, June 2017.

[2] Jiatao Gu, James Bradbury, Caiming Xiong, Victor O. K. Li, and Richard Socher. Non-autoregressive neural machine translation. In Proc. of the ICLR, Vancouver, Canada, Apr-May 2018

[3] Hideki Isozaki, Tsutomu Hirao, Kevin Duh, Katsuhito Sudoh, and Hajime Tsukada. Automatic evaluation of translation quality for distant language pairs. In Proc. of the EMNLP, pp. 944-952, Cambridge, USA, October 2010.

[4] Yuki Kawara, Chenhui Chu, and Yuki Arase. Recursive neural network based preordering for englishto-japanese machine translation. In Proc. of the $A C L-S R W$, pp. 21-27, July 2018.

[5] Yuki Kawara, Chenhui Chu, and Yuki Arase. Preordering encoding on transformer for translation. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2020.

[6] Papineni Kishore, Roukos Salim, Ward Todd, and Zhu Wei-Jing. BLEU: a method for automatic evaluation of machine translation. In Proc. of the ACL, pp. 311-318, Philadelphia, USA, July 2002.

[7] Philipp Koehn. Statistical significance tests for machine translation evaluation. In Proc. of the EMNLP, pp. 388-395, Barcelona, Spain, July 2004.

[8] Tetsuji Nakagawa. Efficient Top-Down BTG Parsing for Machine Translation Preordering. In Proc. of ACL-IJCNLP, pp. 208-218, Beijing, China, July 2015.

[9] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian Scientific Paper Excerpt Corpus. In Proc. of the LREC, pp. 2204-2208, Portorož, Slovenia, May 2016.

[10] Qiu Ran, Yankai Lin, Peng Li, and Jie Zhou. Guiding non-autoregressive neural machine translation decoding with reordering information. AAAI, February 2021.

[11] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proc. of the ACL, pp. 17151725, Berlin, Germany, 2016.

[12] Raphael Shu, Jason Lee, Hideki Nakayama, and Kyunghyun Cho. Latent-variable nonautoregressive neural machine translation with deterministic inference using a delta posterior. AAAI,
February 2020.

[13] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS, pp. 5998-6008. Long Beach, USA, December 2017.