# 制約抽出のための対訳コーパスを用いた 半教師ありクロスリンガル用語推定

澤田悠治 1 小田悠介 ${ }^{2,3}$
1 奈良先端科学技術大学院大学 情報科学領域
${ }^{2}$ LegalForce Research 3 東北大学データ駆動科学・AI 教育研究センター
sawada.yuya.sr7@is.naist.jp yusuke.oda@legalforce.co.jp

## 概要

機械翻訳では，専門用語や固有名詞に対しては曖昧性の少ない適切な翻訳が求められる. 推論時に単語選択を強制する手法が研究されているが，このと き与える語彙は人手によるため，強制する必要のあ る語彙を自動獲得する手法の開発が望まれる. 本研究では，機械翻訳モデルに与える制約を抽出するた めの用語推定モデルを考え，対訳コーパスの大量の ラベルなしデータと少量のシードデータを用いた 半教師あり固有表現認識モデルを提案する. ASPEC の日英翻訳データを日英の固有表現認識コーパス として使った評価害験により, 半教師ありモデルに よって英語の用語抽出精度が向上すること, 単語ア ライメントを素性に加えることでさらに精度が向上 することを確認した。

## 1 はじめに

機械翻訳の性能は，BLEU などの訳出全体の傾向 を測定する指標において向上し続けていることが知 られている [1]. 一方で，訳抜けや翻訳内容の曖昧 さといった，局所的な翻訳の制御に関する問題が依然として残っている. 特に，専門用語や固有名詞に 対しては曖昧性の少ない適切な翻訳が求められ, 特定語彙の翻訳内容を考慮した手法が提案されている $[2,3,4]$. これらの手法では, 特定の語彙を目的言語側の訳出時の制約として使用し, 制約に含まれる単語を必ず出力するようモデルが制御されている。し かし，制約として使用する語彙は予め人手で作成す る必要があり，翻訳言語対ごとの制約の作成は膨大 な人手コストを要するため現実的ではない。また，専門用語は日々追加されるため，人手による辞書の 使用にはメンテナンスのコストが必要となる.

そこで本研究では，機械翻訳モデルに与える制約
を自動的に抽出するための固有表現認識を応用し た用語推定モデルを提案する。従来法の固有表現認識モデルは教師あり学習の設定に基づいており，1 万から 10 万文程度の教師データを使用する。しか し，対訳コーパスは各言語で 100 万文程度の規模か らなり，既存の固有表現認識コーパスのように人手 で用語をアノテーションすることは困難である。本研究では，そのようなアノテーションを持たない対訳コーパスからの用語の抽出を想定し，少量の教師 データと固有表現誌識を組み合わせた半教師あり学習の枠組みを提案する。具体的には，単言語の固有表現認識モデルとして隠れマルコフモデル纪基づく 手法を使用し，単語アライメントの結果に基づいて モデルのラベル遷移を制限する機構を導入する. 科学技術論文の対訳コーパスである ASPEC[5] の日英翻訳データを用いた実験では，提案手法が両言語で 教師あり学習モデルと比較可能な精度で抽出可能で あることが分かった。

## 2 用語推定モデル

本研究で用いる手法の概要を図 1 亿示す. 本手法 は，原言語と目的言語それぞれの固有表現認識モデ ルと単語アライメントモデルの二つのモジュールで 構成されており，以下のステップに従って用語を推定する。

1. 初期パラメータの設定

2. 単言語の半教師あり固有表現認識モデルの学習

3. 固有表現認識モデル同士の単語アライメント

4. 単語アライメントを導入したモデルの再学習

固有表現認識モデル $[6,7]$ と単語アライメントモデ ル [8] はどちらも bigram の隠れマルコフモデル（以下HMM）による推定を行う．半教師あり固有表現認識モデル (ステップ 1,2 ) と単語アライメント機構 の導大（ステップ 3,4 ）についてそれぞれ説明する。

図 1 提案手法の概要図

## 2.1 半教師あり固有表現認識

半教師あり固有表現認識モデルとして用いる bigram HMM では，語数 $N$ からなる単語系列 $w_{1: N}$ とラベル系列 $z_{1: N}$ に対して，HMM の遷移確率 $\tau$ と 出現確率 $\omega$, 開始確率 $\psi$ をそれぞれ以下のように定義する.

$
\begin{aligned}
z_{i} \mid z_{i-1}=t, \tau^{(z)} & \sim \operatorname{Mult}\left(\tau^{(z)}\right) \\
w_{i} \mid z_{i}=t, \omega^{(z)} & \sim \operatorname{Mult}\left(\omega^{(z)}\right) \\
z_{1}=t, \psi^{(z)} & \sim \operatorname{Mult}\left(\psi^{(z)}\right)
\end{aligned}
$

ここで， $z_{i}$ と $w_{i}$ は各時点 $i(1 \leq i \leq N)$ のラベル と単語を表し, Mult( $\cdot$ は多項分布を表す. 本研究で は，HMM の潜在変数 $z_{i}$ を品詞と用語ラベル（BIO 方式）のタプルとし，用語と品詞がラベルづけされ たシードデータと品詞のみがラベルづけされた対訳コーパスから品詞と用語ラベルを同時に推定す る. 用語ラベルは数千文程度の規模であれば比較的容易に作成可能であり，品詞ラベルは Spacy ${ }^{1}$ や Sudachi[9] といった既存ツールから高精度に予測可能である. 各パラメータにはデータの特徴を反映さ せるために，事前分布をそれぞれ個別のアルゴリズ ムで設定した。まず，各単語がどの品詞となりうる かは用語かどうかを推定する手がかりになるため，品詞と用語ラベルのタプルの遷移確率と開始確率を シードデータ上の数え上げを元に設定する2). 出現確率については，対訳コーパス中の全ての語彙に対 して事前確率を求めるため，各単語でなりうる品詞 と用語ラベルのタプルに対して一様に確率を付与す る.モデルのパラメータはEMアルゴリズムで推定

1) https://spacy.io/

2） $\mathrm{O}$ ラベルから I ラベルへの遷移や $z_{0}$ で I ラベルとなるよう な無効なパターンはシードデータで出現しないため, これら のパターンが起きる確率は 0 になる。
し，事後分布による推論は Viterbi アルゴリズムを使用する.

## 2.2 単語アライメントを考慮した HMM

対訳文では，一方の言語で固有表現の意味に曖昧性があっても，片方の言語では意味ごとに異なる固有表現として明記される場合がある $[10,11]$. 例え ば“本（Ben）”は中国語で稀に外国人の名前を翻訳 する際に使用されるが，英語では人名である場合は “Ben”，それ以外の意味では別の単語が用いられる。本研究はこのような対訳文の用語の記述の違いを 利用し，単語アライメントを素性として使用する。 また，対訳文のアライメントでは，同じ品詞や同じ 用語ラベルであるかはアライメントの手がかりに なるため，単語系列と予測したラベル系列を組み合 わせた（単語，品詞，用語ラベル）の三つ組のタプ ルからなる系列を入力としてモデルを学習する．具体的には，語数 $N$ からなる原言語側のタプルの系列 $z_{1 \cdot N}^{s r c}$ と語数 $M$ からなる目的言語側のタプルの系列 $z_{1: M}^{t g t}$ から対応関係にあるぺア $\left(z_{i}^{s r c}(1 \leq i \leq N)\right.$, $z_{j}^{t g t}(1 \leq j \leq M)$ ) を予測し，以下の式よりアライメ ント行列 $\gamma_{i}(t)$ を作成する.

$
\forall i, t \gamma_{i}(t)= \begin{cases}1 & \text { if } \gamma_{i}(t)=z_{i}^{s r c} \\ 1 & \text { if } \gamma_{i}(t)=z_{j}^{t g t} \\ 0 & \text { otherwise }\end{cases}
$

ここで, $\gamma_{i}(t)=1$ は $\gamma_{i}(t)$ が単語ぺアの各単語で予測された用語ラベルであることを表す。単語アライ メントモデルは教師なしの単語アライメントツール である GIZA++ ${ }^{3)}$ を使用し，HMM の各パラメータは IBM Model 1 の lexical translation probability を初期化


表 1 WAT2021 Restricted Translation Task から作成した固有表現認識データセット

に使用した").

単語アライメントモデルから作成したアライメ ント行列を用いて，EM アルゴリズムにアライメン トの素性を導入する。アライメントの素性を考慮に 入れた EM アルゴリズムを Algorithm1 に示す. ここ で，品詞の集合を $T$ とすると， $t$ は品詞の集合 $T$ と 用語ラベルの集合の直積の要素 $(t \in T \times\{B, I, O\})$ で ある。 2.1 節と同様に，シードデータから取得した HMM の初期パラメータ $\tau, \omega, \psi$ に対して, 語数 $N$ で 構成された文 $w_{1: N}$ の前向き確率 $\alpha_{i}(t)$ と後向き確率 $\beta_{i}(t)$ を計算する（2-3 行目）。そして，それぞれの 確率に対してアライメント行列 $\gamma_{i}(t)$ とのアダマー ル積をとり，アライメントからなり得ない用語ラべ ルに対しての出現確率をゼロとした確率の近似值


$\hat{\alpha}_{i}(t) ， \hat{\beta}_{i}(t)$ を計算する（6-7 行目）.これらの近似值を元に事後確率を計算し，全ての文に対して実行 した事後確率の平均を次回のパラメータとして更新 する。

## 3 評価実験

## 3.1 データセット

本研究では，実際に対訳コーパスを使用した 制約抽出の評価を行うため，WAT2021 Restricted Translation Task[1] の評価データを使用した。本タス クでは，ASPECの用語や固有名詞に対する翻訳性能 の評価に焦点を当て，翻訳時の制約として用いる用語が各文でまとめられている。そこで，ASPEC の 用語リストが作成されている dev, devtest, testファ イルから固有表現認識データセットを作成し，それ ぞれシード，開発用，テスト用として使用する。作成したデータセットの基本情報を表 1 にまとめる.学習用データとして用いるラベルなしデータセット は ASPEC の train-1 ファイルのみを使用し， train-1, dev, devtest, test ファイルそれぞれに対して品詞情報 を付与した. 日本語の単語分割と品詞タグ付けは Sudachi ${ }^{5)}$ ，英語の単語分割と品詞タグ付けは Moses tokenizer')と Spacy をそれぞれ使用した.

## 3.2 評価方法

日英の全ての用語に対する始点と終点の一致につ いて，適合率・再現率及びそれらの調和平均（F 值） で評価する。シードのみを使用して学習した教師あ り HMM をベースラインとし，用語ラベルなしデー タ（train-1）を用いて学習した単言語モデル（アラ イメントなし）および両言語のアライメントを素性

5） 単語分割にはモード Aを使用した.

6) https://github.com/moses-smt/mosesdecoder/blob/ master/scripts/tokenizer/tokenizer.perl

表 2 WAT2021 Restricted Translation Taskによる実験結果

 \\
& \\
正解 & 高運動領域, テンソル, ベクトル, 偏極分解能 \\
ベースライン & $3 \mathrm{He}, 3 \mathrm{H}$, 高運動領域, $270 \mathrm{MeV}$, ベクトル偏極分解能, 全角度領域 \\
+ アライメント (再学習 2 回目) & $3 \mathrm{He}, 3 \mathrm{H}$, 高運動領域, $270 \mathrm{MeV}, 200 \mathrm{MeV}$, \\
& 標記反応のテンソル及びベクトル偏極分解能, 全角度領域 \\

表 3 提案手法による出力例

に加えたモデルと比較する。また, 初期の学習段階 では固有表現認識モデルの誤りからアライメントに も誤りが生じると考えられるため, 固有表現認識モ デルとアライメントの学習を交互に 2 回繰り返し,再学習した結果についても示す. ベースライン, 提案手法のどちらも開発データで最も高い $\mathrm{F}$ 値を示し た 4 エポック目のモデルを採用した.

## 3.3 実験結果

実験結果を表 2 に示す. 英語では，用語ラベルな しデータを加えて学習すると $\mathrm{F}$ 值が 3.7 ポイント， アライメントの素性を加えるとさらに 2.8 ポイント 増加した. ASPEC の日英翻訳データは日本語をピ ボットとして作成されており, 英語では表現を簡略化して訳される事例が存在する。例えば，“低侵襲で機能障害が非常に少ない”という文が英語では "simple and postoperative function can be maintained" $と$訳されており, 日本語と英語で文章のニュアンスが 異なる。また，“口腔癌患者”が “patients”と訳され るなど，一部の単語が省略されることで用語か一般的な記述かが曖昧になる事例も存在する. このよう な事例に対して，用語ラベルなしの学習データとア ライメントの素性を加えることで，各単語が用語か どうかの曖昧さが改善されたと考えられる. 日本語 を対象にした設定では，提案手法はベースラインを 上回らなかったものの, 英語と同様にアライメント の素性を加えることで $\mathrm{F}$ 値が 2.5 ポイント増加し,再現率についてはべースラインと比べて 1.6 ポイン
ト上回った.

実際に各モデルから出力された用語の例を表 3 に 示す. アライメントの素性を加えて再学習したモデ ルでは，“200MeV” や“全角度領域”のような制約以外の用語らしい単語列が抽出されている. ASPEC には WAT2021 Restricted Translation Task の制約リス トに入っていない用語があり，ベースラインでは制約リストに入った用語のみが抽出されるよう最適化 されている傾向が見られる. 提案手法は“標記反応 のテンソル及びベクトル偏極分解能” のように用語 の範囲同定には改善の余地があるものの, 用語らし い単語列を抽出する上ではベースラインより好まし い結果が得られたと考えられる。

## 4 まとめ

機械翻訳に与える語彙制約を自動抽出するための 用語推定モデルを提案した。具体的には，対訳コー パスを用いた半教師あり学習による固有表現認識の 枠組みと，HMMを用いた固有表現認識モデル上で 単語アライメントによりラベル遷移を制限する機構 を提案した. ASPEC 日英翻訳データを用いた実験 の結果，英語で教師あり学習による HMM を上回る 精度を示し, 日本語でも正解以外の用語と思われる 単語が制約として抽出される傾向が見られた. 今後 の課題としては, 用語の範囲同定の精度改善や既存 の制約リストの高品質化が挙げられる. 本論文で採用したモデルよりも高性能な手法の適用も考えられ [12][13], これらによる性能の改善にも取り組む.

## 参考文献

[1] Toshiaki Nakazawa, Hideki Nakayama, Chenchen Ding, Raj Dabre, Shohei Higashiyama, Hideya Mino, Isao Goto, Win $\mathrm{Pa} \mathrm{Pa}$, Anoop Kunchukuttan, Shantipriya Parida, Ondřej Bojar, Chenhui Chu, Akiko Eriguchi, Kaori Abe, Yusuke Oda, and Sadao Kurohashi. Overview of the 8th workshop on Asian translation. In Proceedings of the 8th Workshop on Asian Translation (WAT2021), pp. 1-45, 8 2021.

[2] Guanhua Chen, Yun Chen, Yong Wang, and Victor O.K. Li. Lexical-constraint-aware neural machine translation via data augmentation. In Proceedings of IJCAI 2020: Main track, pp. 3587-3593, 72020.

[3] Matt Post and David Vilar. Fast lexically constrained decoding with dynamic beam allocation for neural machine translation. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1314-1324, New Orleans, Louisiana, 62018.

[4] Katsuki Chousa and Makoto Morishita. Input augmentation improves constrained beam search for neural machine translation: NTT at WAT 2021. In Proceedings of the 8th Workshop on Asian Translation (WAT2021), pp. 53-61, 8 2021.

[5] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 2204-2208, 52016.

[6] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260-270, 62016.

[7] Jason P.C. Chiu and Eric Nichols. Named entity recognition with bidirectional LSTM-CNNs. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 357-370, 2016.

[8] Stephan Vogel, Hermann Ney, and Christoph Tillmann. $\mathrm{Hmm}$-based word alignment in statistical translation. In Proceedings of the 16th conference on Computational linguistics, 81996

[9] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: a Japanese tokenizer for business. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 52018.

[10] Mengqiu Wang, Wanxiang Che, and Christopher D. Manning. Joint word alignment and bilingual named entity recognition using dual decomposition. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 10731082, 82013.

[11] Wanxiang Che, Mengqiu Wang, Christopher D. Manning, and Ting Liu. Named entity recognition with bilingual constraints. In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 52-62, 62013.

[12] Ke M. Tran, Yonatan Bisk, Ashish Vaswani, Daniel Marcu, and Kevin Knight. Unsupervised neural hidden Markov models. In Proceedings of the Workshop on Structured Prediction for NLP, pp. 63-71, 112016.

[13] Ying Luo, Hai Zhao, and Junlang Zhan. Named entity recognition only from word embeddings. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8995-9005, 112020.
 澤田悠治 1 小田悠介 ${ }^{2,3}$ 1 奈良先端科学技術大学院大学 情報科学領域 ${ }^{2}$ LegalForce Research 3 東北大学データ駆動科学・AI 教育研究センター sawada.yuya.sr7@is.naist.jp yusuke.oda@legalforce.co.jp  