# 文脈情報を考慮した高速な英日文アラインメント

福田りょう・, 帖佐 克己
- 奈良先端科学技術大学院大学 $`$ NTTコミュニケーション科学基礎研究所
fukuda.ryo.fo3@is.naist.jp katsuki.chousa.bg@hco.ntt.co.jp

## 概要

本論文では大規模対訳コーパスの作成に向けた高精度かつ高速な文アラインメント手法を提案する。従来手法では文外文脈およびトークン単位の情報を 予測時に考慮することで高精度な文アラインメント を実現していたが，予測時の計算量が大きいことか ら大規模なデータへの適用が難しかった. 本論文で は，両方の言語の文脈情報を考慮した文ベクトルを 用いて対訳文書間の全てのアラインメントを同時に 予測することで，小さい計算量で高精度な文アライ ンメントを獲得する手法を提案する。日英での新聞記事を用いた実験により，提案手法が予測速度を維持しながら高い精度でアラインメントを行えること を示した。

## 1 はじめに

文アラインメントは対訳となっている文書対から 対訳文対を自動で抽出するタスクである。抽出され た大量の対訳文対からなるデータセットは対訳コー パスといい，機械翻訳モデルを始めとした言語横断 モデルの学習に用いられる. 特に, 高精度なニュー ラル機械翻訳（Neural Machine Translation; NMT）モ デルの学習には高品質かつ大量の対訳文が不可欠で あることが知られている [1]. そのため，Webから クロールするなどして得られる大量の対訳文書対か ら高精度な対訳文アラインメントを高速に抽出でき る手法が必要とされている.

近年ではニューラルネットワークを用いたスコア リングに基づく文アラインメント手法が多数提案さ れている. Vecalign [2] は文ベクトルの類似度に基づ くスコアを用いてアラインメントを行う手法であ る. この手法は比較的高速に文対応付けを計算でき る一方で，精度が文べクトルに用いる多言語文埋め 込み表現の精度に大きく影響されるため，英語やド イツ語に比べて低資源な日本語を含む言語対では精度が大きく減少してしまう. SpanAlign [3] は言語横断スパン予測モデルとその予測時に得られるスコア を基にアラインメントを行う手法である。このスパ ン予測モデルは文脈情報および言語横断でのアテン ションを行うことが可能で，高精度な文アラインメ ントを抽出することができる。一方で，モデルに入力するトークン数が増えるに従って予測にかかる計算量が非常に大きくなってしまうため，大規模デー タに対して適用することが難しい。

本論文では, 先行研究の高速な予測速度を維持し ながら高精度な文アラインメントの予測を行う手法 を提案する。提案手法では，対訳文書の各文を事前学習済みの多言語モデルで文ベクトルにエンコード し，両方の言語の文脈情報を考慮した文ベクトルを 求め，その文べクトルに基づいて対訳文書間の任意 のアラインメント候補に対するスコアを一度に計算 する。これにより，高精度な文アラインメントが高速に自動抽出できることが期待される．日英新聞記事を用いた実験で，高速な既存手法と比べて提案手法が予測速度を維持しながら精度を $\mathrm{F}$ 値で $0.032 \mathrm{pts}$向上することを確認した.

## 2 先行研究

文アラインメント手法は文同士の類似度を計算す るスコア関数とその類似度に基づいてアラインメン 卜を求めるアルゴリズムの 2 つのステップに大きく 分解することができる. その内，スコア関数として は文脈情報を考慮しない手法 $[2,4,5,6,7]$ および文脈情報を考慮する手法 [3] が提案されている.

近年のスコア関数はニューラルネットワークに基 づく手法が主流となっている. Vecalign [2] と呼ばれ る手法は多言語文埋め込み表現の LASER [8] による 文ベクトルの類似度に基づいて再帰的な DP マッチ ングを行うことで，独仏間の文アラインメントで最高精度を達成している. また，計算量も小さいこと から世界で最も大きい対訳コーパスの 1 つである ParaCrawl コーパス [9] の作成にも利用されている.一方で，文埋め込みの精度に文アラインメントの精
度が大きく影響されてしまうため, 日英間では独仏間のような言語対と比べて精度が大幅に減少してし まうことが確認されている. SpanAlign [3] はある言語の文書中からもう一方の言語の文に対応する文の スパンの開始/終了位置を予測し, その予測から得ら れるスコアに基づいて ILPを行うことで文アライン メントを実現する.この言語横断スパン予測モデル は, 先行研究によって予測された文アラインメント の結果を学習データとして事前学習済み多言語言語 モデルから作成することができ，文脈情報の利用お よび言語横断でのアテンションを行うことで，日英間の文アラインメントにおいて最高精度を達成して いる。一方で，モデルに同時に入力することができ るトークン数の上限から，文書に含まれる文数が多 くなると sliding window という方法で文書の一部に 対する予測を組み合わせて文書全体に対する予測を 行う必要があるため, 予測の際の計算量が非常に大 きくなってしまう.

また，文アラインメントと似たタスクとして単語 アラインメントタスクがある.このタスクでは対訳文間の単語の対応関係を抽出する。このタスクで も言語横断スパン予測モデルに基づく手法 [10] が 複数の言語対で最高精度を達成している. さらに, Procopio ら [11] は，対訳文間のすべての単語べクト 几同士の直積から得られる類似度行列を用いてアラ インメントを抽出する手法を提案している。ここで 用いられる単語ベクトルはスパン予測モデルと同様 の方法で文脈情報および言語横断のアテンションに 基づいて計算される. これにより，スパン予測に基 づく手法と同等の精度をより高速に実現している.

## 3 提案手法

本論文では，先行研究の高速な予測速度を維持し ながら高精度な文アラインメントの予測を行うため に，高速かつ高精度にスコア関数を計算する手法を 提案する. 図 1 に示す提案手法は，まず対訳文書の 各文を事前学習済みの多言語モデルで同じ空間のべ クトル表現へと変換し（3.1.1 節），次に言語内およ び他言語の文脈情報を考慮した文 n-gram ベクトル を計算し（3.1.2 節），最後に対訳文書間の任意の文 アラインメントの候補に対するスコアを同時に計算 する (3.1.3 節). 提案手法は, 文べクトルへダウン サンプリング，およびスコアの同時計算により高速 な予測が可能である. 更に文脈情報を考慮したべク トルによる高精度な文アライメントが期待できる。

## 3.1 モデル

## 3.1.1 多言語モデルによる文ベクトル

異なる言語の文を同じ空間の埋め込み表現へと変換するために，本手法では LaBSE [12]を使用する. LaBSE は 109 言語以上に対応している多言語文埋め 込みモデルで，対訳文検索（bitext retrieval）では非常に高い精度を実現することが報告されている。

LaBSE を用いて文書 $E$ の文べクトル行列 $H^{e} \in$ $\mathbb{R}^{|E| \times d}$ を以下のように求める.

$
\begin{aligned}
H^{e} & =\left[\mathbf{h}_{1}^{e}, \mathbf{h}_{2}^{e}, \ldots, \mathbf{h}_{|E|}^{e}\right] \\
\mathbf{h}_{i}^{e} & =\operatorname{LaBSE}\left(e_{i}\right), 1 \leq i \leq|E|
\end{aligned}
$

$\mathbf{h}_{i}^{e}$ は $e_{i}$ に対応する文べクトルであり,$d$ は文べク トルの次元数である. 文書 $F$ の文ベクトル行列 $H^{f} \in \mathbb{R}^{|F| \times d}$ も同様に求める.

## 3.1.2 文脈横断の文 n-gram ベクトル

次に，言語内およびもう一方の言語の文脈情報を 考慮した文べクトルを，それぞれの文書の文べクト ルを結合して self attention [13] を計算することで求 める.

$
C_{1}^{e},{ }_{-}, C_{1}^{f}=\text { self_attn }\left(\left[H^{e} ; \mathbf{s} ; H^{f}\right]\right)
$

ここで，self_attn は $l$ 層の Transformer Encoder， s は2つの文書の区切りを表す学習可能パラメータ， $C_{1}^{e} \in \mathbb{R}^{|E| \times d}, C_{1}^{f} \in \mathbb{R}^{|F| \times d}$ はそれぞれ $H^{e}, H^{f}$ に対応 する Transformer Encoder の出力を表す．続いて，多対多の文対応を抽出するために，文べクトルを文 n-gram ゙ククトルに拡張する。

$
\begin{aligned}
C_{1: N}^{e} & =\left[C_{1}^{e} ; \ldots ; C_{N}^{e}\right] \\
C_{n}^{e} & =\text { max_pooling }_{n}\left(C^{e}\right), 1 \leq n \leq N
\end{aligned}
$

ここで， $N$ は文 n-gram の最大文数を表すハイ パーパラメータを, max_pooling $_{n}$ はカーネルサイ ズ $(n, 1)$, ストライド 1 の Max Pooling 層を表す. $C_{1: N}^{e} \in \mathbb{R}^{\left|E_{1: N}\right| \times d}$ は $C^{e}$ の文 n-gram への拡張である (ただし, $\left.\left|E_{1: N}\right|=\frac{N(2|E|-N+1)}{2}\right) . C^{f}$ の拡張 $C_{1: N}^{f}$ も 同様に計算する.

## 3.1.3 スコア計算

最後に，対訳文書間の任意のアラインメント候補 に対するスコア行列 $\hat{A} \in \mathbb{R}^{\left|E_{1: N}\right| \times\left|F_{1: N}\right|}$ を，文 n-gram ベクトル同士の直積を MLP 層 mlp に入力すること

図 1 提案手法の概要

で求める.

$
\hat{A}=\operatorname{mlp}\left(C_{1: N}^{e} \otimes C_{1: N}^{f}\right)
$

(6) 式は一度で全てのアライメント候補のスコア を計算できるため，スパン予測モデル [3] のスコア 計算と比べて非常に高速である.

## 3.2 損失関数

文アラインメントのためのスコア関数計算を，正解の文 n-gram 対応を表す行列 $A \in \mathbb{R}^{\left|E_{1: N}\right| \times\left|F_{1: N}\right|}$ を予測する問題としてモデルを学習する．ただし $A_{i j} \in\{0,1\}$ であり， $A_{i j}=1$ は $i$ に対応する文書 $E$ の文 n-gram と $j$ に対応する文書 $F$ の文 n-gram が 対応関係にあることを示す. モデルの学習時，損失関数として Binary Cross Entropy（3.2.1 節）または Softmax Cross Entropy（3.2.2 節）を用いた.

## 3.2.1 Binary Cross Entropy (BCE) loss

文 n-gram の対応を，二值分類タスクとして学習す る. 学習時の損失 $\mathscr{L}_{b c e}$ は予測されたスコア行列 $\hat{A}$ と, 正解の文 n-gram 対応 $A$ 間の交差エントロピー として (7) 式で定義される.

$
\begin{array}{r}
\mathscr{L}_{\text {bce }}=-\frac{1}{\left|E_{1: N}\right|\left|F_{1: N}\right|} \sum_{i=1}^{\left|E_{1: N}\right|} \sum_{j=1}^{\left|F_{1: N}\right|}\left.\{a_{i j} \log \sigma\left(\hat{a}_{i j}\right)\right. \\
\left.+\left(1-a_{i j}\right) \log \left(1-\sigma\left(\hat{a}_{i j}\right)\right)\right.\}
\end{array}
$

ここで， $\sigma$ はシグモイド関数であり，また $\sigma\left(\hat{a}_{i j}\right)(0 \leq$ $\left.\sigma\left(\hat{a}_{i j}\right) \leq 1\right)$ と $a_{i j} \in\{0,1\}$ はそれぞれ $\hat{A}$ と $A(i, j)$成分に対応する. $\mathscr{L}_{b c e}$ によって，モデルは多対多の 対応付けを直接的に学習できる. また $A$ の各行及び 各列に，値が 1 の要素は高々 1 つしか含まれないた め, DP や ILP といったアライメントアルゴリズム の適用が容易である。一方で， $N$ が大きいほど行列 がスパースになり，学習が難しくなる欠点がある.
モデルの予測時，(6) 式のスコアは $\hat{A}$ の各要素を シグモイド関数で正規化する.

## 3.2.2 Softmax Cross Entropy (SCE) loss

文n-gram の対応を, 多クラス分類タスクとして学習する。学習時の損失 $\mathscr{L}_{s c e}$ は [14] に従い, $E \rightarrow F$方向の対応付け損失 $\mathscr{L}_{E \rightarrow F}$ と $F \rightarrow E$ 方向の対応付 け損失 $\mathscr{L}_{F \rightarrow E}$ の平均で定義する.

$
\begin{gathered}
\mathscr{L}_{\text {sce }}=\left(\mathscr{L}_{E \rightarrow F}+\mathscr{L}_{F \rightarrow E}\right) / 2 \\
\mathscr{L}_{E \rightarrow F}=-\frac{1}{\left|E_{1: N}\right|} \sum_{i=1}^{\left|E_{1: N}\right|} \sum_{j=1}^{\left|F_{1: N}\right|} \\
\left.\{a_{i, j} \log \frac{e^{\left(\hat{a}_{i, j}-m\right)}}{e^{\left(\hat{a}_{i, j}-m\right)}+\sum_{c=1, c \neq j}^{\left|F_{1: N}\right|} e^{\hat{a}_{i, c}}}\right.\}
\end{gathered}
$

ここで， $m$ は正例と負例のスコアの分離を促進する ためのマージンである. $F \rightarrow E$ 方向の対応付け損失 $\mathscr{L}_{F \rightarrow E}$ も (9) 式と同様に計算する.

モデルの予測時，(6) 式のスコアは $\hat{A}$ に対して行方向と列方向にソフトマックス関数をかけて正規化 した値の平均を用いる.

絶対的な対応付けスコア予測を学習する $\mathscr{L}_{b c e}$ と は対照的に， $\mathscr{L}_{\text {sce }}$ では相対的な対応付けスコアの予測を学習するため, 学習が容易になることが期待で きる。

## 4 実験

提案手法の有効性を確認するため, 日本語と英語 の実際の新聞記事の対訳データを用いて文アライン メントの精度と速度の評価を行った.

学習および開発, 評価のデータには読売新聞の記事とその翻訳となっている The Japan News の記事を 使用した ${ }^{1)}$. 表 1 に各データの平均文数を示す. 学

1) https://database.yomiuri.co.jp/about/glossary/
表 1 データセットの平均文数

習データには，内山らの手法 [5] を用いて自動抽出 した対訳文書 2,989 本とその文書内の文アラインメ ントを擬似正解データとして用いた。これらのデー タは，2012 年に発行された日本語記事 317,491 本 と英語記事 3,878 本から抽出した. 開発および評価 データには，2013 年に発行された記事から人手でア ラインメントを行ったものをそれぞれ 15 本ずつ用 いた。評価には，文アラインメントの評価尺度とし て一般的に用いられている，文アラインメント単位 での $F_{1}$ スコアを用いた2).

ベースラインには, Vecalign [2] と SpanAlign [3] を 用いた. Vecalign での文アラインメントには著者実装3)を用いた。アラインメントに含まれる最大文数 は 8，文埋め込みべクトルを作成する際に結合する 最大文数は 10 とした. また，多言語文埋め込みに は LASER [8] を用いた. SpanAlign での文アライン メントについても著者実装4)を用いた。各種設定に 関しては論文の設定に準拠した。

提案手法に含まれるLaBSE は，事前学習済みモ デル゙)をパラメータを固定して用いた. Transformer Encoderは 1 層の encoder layer で構成し, multihead attention の head 数を 8，隠れ層の次元を 768， Feedforward 層の次元を 2048 とした. 文 n-gram の最大文数 $N=2$ とした. アラインメントアルゴリズム として整数計画法を適用し，ソルバには IBM ILOG CPLEX 12.8.0.0を用いた.

表 2 に，各手法における英日文アライメントの 精度と評価データの推論にかかった実行時間を示 す. 提案手法の中で，SCE loss を用いたモデルは BCE loss を用いたモデルより高い F1 スコアを得 た. 相対的なスコアの学習により，スパース性に よる学習の難しさが緩和されたことが示唆される. また Vecalign との比較では，提案手法による $0.32 \mathrm{pt}$ の F1 スコア向上が見られた. 文べクトル計算時の 文脈情報の利用や，ILP による非単調な文対応の 抽出が精度向上に寄与したと考えられる. 一方で，

2）次のスクリプトの strict スコアを使用した. https: //github.com/thompsonb/vecalign/blob/master/score.py

3) https://github.com/thompsonb/vecalign

4) https://github.com/nttcslab-nlp/spanalign

5) https://huggingface.co/sentence-transformers/LaBSE表 2 英日文アラインメントの精度と評価データの推論に かかった実行時間（秒)，および文べクトルの計算に文脈情報を用いない場合（w/o self_attn）の精度

SpanAlign との比較では, 提案手法が $0.48 \mathrm{pt}$ 下回っ た. SpanAlign はトークン単位の文脈情報を考慮す ることに対し，提案手法は文単位に圧縮された文脈情報を利用する。この文脈情報の粒度の違いが精度 の差に繋がったと考えられる。評価データの推論に かかる実行時間は，提案手法が SpanAlign の $1 / 4$ 程度であった ${ }^{6)}$ ．以上の比較から，提案手法は実用レ ベルの精度を維持しつつ, 既存手法と比べて高速に アライメントを行えると結論づける。

文脈情報の有効性を検証するため，提案手法か ら self_attnを除いたモデル（w/o self_attn）を作成した. アライメントの精度を表 2 の下部に示す. self_attnを除き，文ベクトルの計算に文脈情報を 用いないことで，大きく精度が低下した。このこと から，両方の言語の文脈情報が精度向上に作用した ことが示唆された。

## 5 まとめ

本研究では，大規模対訳コーパスの構築に向けた 文対応付けの高速化を検討した. 提案手法は，文単位に圧縮された文脈情報を活用することで，高精度 な既存手法である SpanAlign よりも高速な文対応付 けが行える。また実験では，提案手法が高速な既存手法である Vecalign と比べて高精度に文アライメン トを抽出できることを示した. 今後の課題として， スパース性の問題を解消して対応付け可能な最大文数を増やすことや，非連続な対応関係の抽出を可能 にすることなどが挙げられる。


## 参考文献

[1] Huda Khayrallah and Philipp Koehn. On the impact of various types of noise on neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 74-83, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[2] Brian Thompson and Philipp Koehn. Vecalign: Improved sentence alignment in linear time and space. In Proceedings of EMNLP-2019, pp. 1342-1348, 2019.

[3] Katsuki Chousa, Masaaki Nagata, and Masaaki Nishino. SpanAlign: Sentence alignment method based on cross-language span prediction and ILP. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 47504761, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[4] William A. Gale and Kenneth W. Church. A program for aligning sentences in bilingual corpora. Computational Linguistics, Vol. 19, No. 1, pp. 75-102, 1993.

[5] Masao Utiyama and Hitoshi Isahara. Reliable measures for aligning japanese-english news articles and sentences. In Proceedings of the ACL-2003, pp. 72-79, 2003.

[6] D. Varga, L. Németh, P. Halácsy, A. Kornai, V. Trón, and V. Nagy. Parallel corpora for medium density languages. In Proceedings of the RANLP-2005, pp. 590-596, 2005.

[7] Rico Sennrich and Martin Volk. Iterative, MT-based sentence alignment of parallel texts. In Proceedings of the 18th Nordic Conference of Computational Linguistics (NODALIDA 2011), pp. 175182, Riga, Latvia, May 2011. Northern European Association for Language Technology (NEALT).

[8] Mikel Artetxe and Holger Schwenk. Margin-based parallel corpus mining with multilingual sentence embeddings. In Proceedings of the ACL-2019, pp. 3197-3203, 2019.

[9] Marta Bañón, Pinzhen Chen, Barry Haddow, Kenneth Heafield, Hieu Hoang, Miquel Esplà-Gomis, Mikel L. Forcada, Amir Kamran, Faheem Kirefu,
Philipp Koehn, Sergio Ortiz Rojas, Leopoldo Pla Sempere, Gema Ramírez-Sánchez, Elsa Sarrías, Marek Strelec, Brian Thompson, William Waites, Dion Wiggins, and Jaume Zaragoza. ParaCrawl: Web-scale acquisition of parallel corpora. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4555-4567, Online, July 2020. Association for Computational Linguistics.

[10] Masaaki Nagata, Katsuki Chousa, and Masaaki Nishino. A supervised word alignment method based on cross-language span prediction using multilingual bert. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP 2020), Online, November 2020. Association for Computational Linguistics.

[11] Luigi Procopio, Edoardo Barba, Federico Martelli, and Roberto Navigli. Multimirror: Neural crosslingual word alignment for multilingual word sense disambiguation. In Zhi-Hua Zhou, editor, Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence, IJCAI-21, pp. 3915-3921. International Joint Conferences on Artificial Intelligence Organization, 8 2021. Main Track.

[12] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, and Wei Wang. Language-agnostic BERT sentence embedding. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 878-891, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[13] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the NIPS 2017, pp. 5998-6008, 2017.

[14] Yinfei Yang, Gustavo Hernandez Abrego, Steve Yuan, Mandy Guo, Qinlan Shen, Daniel Cer, YunHsuan Sung, Brian Strope, and Ray Kurzweil. Improving multilingual sentence embedding using bidirectional dual encoder with additive margin softmax. arXiv preprint arXiv:1902.08564, 2019.
 福田りょう・, 帖佐 克己 - 奈良先端科学技術大学院大学 $`$ NTTコミュニケーション科学基礎研究所 fukuda.ryo.fo3@is.naist.jp katsuki.chousa.bg@hco.ntt.co.jp  