# 知識グラフ埋め込みを用いたニューラル機械翻訳における エンティティ表現の改良

坂井 優介
渡辺 太郎
奈良先端科学技術大学院大学
\{sakai.yusuke.sr9, taro\}@is.naist.jp
}

藤田 篤
情報通信研究機構
atsushi.fujita@nict.go.jp

## 1 はじめに

ニューラル機械翻訳の課題として，訓練データ中 に出現しない未知語（OOV）や訓練データに含まれ ていても出現頻度が低い低頻度語に対して翻訳品質 が低いことが挙げられる。この課題に対処するため に近年のニューラル機械翻訳ではサブワード化を行 うことで OOV 問題を解決している $[1,2,3,4]$. しか しサブワード化を行うことは単語の表層表現しか 着目しておらず，単語の意味表現を考慮して OOV 問題に対処しているとはいえない。一方, 知識グラ フ等の単言語資源は機械翻訳で用いられる対訳文 よりも豊富で入手しやすいことを活かし, 単言語資源を用いてニューラル機械翻訳の精度を向上させ る取り組みが存在している。その中でも本研究では 知識グラフを用いた手法について着目する. 知識グ ラフをニューラル機械翻訳に注入する手法である KG-NMT[5] を改良し, 知識グラフをニューラル機械翻訳に注入する際に，エンティティをタグに置き換 える手法と，エンティティをサブワードに分割にし た知識グラフをニューラル機械翻訳に注入する手法 の 2 種類提案する. WMT の newtest データセットに よる英独翻訳での実験の結果，提案手法ではベース ラインより BLEU スコアが高いことを確認できた。

## 2 関連研究

## 2.1 知識グラフ

知識グラフとはトリプレットと呼ばれる形で記述されており， $h$ をへッドエンティティ,$t$ をテー ルエンティティ,$r$ を $h$ と $t$ の関係としたとき, (奈良先端科学技術大学院大学, alias, NAIST) のように $(h, r, t)$ の順に記される. 知識グラフを用いたタス クとして $h$ と $r$ が与えられたとき $t$ を予測する知識 グラフ推論が存在しており, 知識グラフ埋め込み $[6,7]$ や強化学習 [8], グラフニューラルネットワー ク $[9,10]$ などによる知識グラフ推論手法が提案され ている.これらの手法は, 質問応答システム [11] や 推薦システム [12] などで広く利用されている.

## 2.2 知識グラフの機械翻訳への応用

知識グラフを用いたニューラル機械翻訳の取り組 みは主に知識グラフをデータ拡張に用いる手法と知識グラフを直接ニューラル機械翻訳に注入する手法 に大別できる。データ拡張に知識グラフを用いた研究として, Zhao ら [13] は訓練データ中のエンティ ティを知識グラフを用いて類似したエンティティに 置換することで訓練データを拡張した.

一方，知識グラフを直接ニューラル機械翻訳に注入する手法として，知識グラフ埋め込みを用いる手法 $[5,14]$ とニューラル機械翻訳と知識グラフ推論の 同時学習を行う手法 [15] が存在する. Moussalem ら [5] は KG-NMT を提案した。KG-NMT は知識グラフ 埋め込みを用いて，文章中に出現するエンティティ と知識グラフ中のエンティティが一致したものに対 して，Sennrichらの手法 [16] を用いて該当するエン ティティに，そのエンティティの知識グラフ埋め込 みを結合することで, 知識グラフ埋め込みの注入を 行った. KG-NMT は訓練データ中に出現しないエン ティティに対しても, 知識グラフ埋め込みを用いて いるため，エンティティ間の関係も含めて注入する ことができている.しかしこれらの手法では知識グ ラフ中のエンティティと訓練データ中のエンティ ティが一致した場合にのみしか有効ではない.

$D$ をニューラル機械翻訳の入力文の集合としたと き， $D$ に含まれるエンティティの集合を $V(D)$ と表 す. また知識グラフ $K$ を関係のインスタンス $(h, r, t)$ の集合としたとき, 知識グラフ $K$ 中のエンティティ の集合は $V(K)=\{h \mid(h, *, *) \in K\} \cup\{t \mid(*, *, t) \in K\}$ と なる.
he's gonna shack up at auberge du soleil.

NER

he's gonna shack up at auberge du soleil.

Replace to tag

図 1 KG-tag NMT の手続きの概要

このとき実際のエンティティは,$U$ をすべてのエ ンティティの集合としたとき，ニューラル機械翻訳 の訓練データにのみ含まれるエンティティの集合 $(V(D)-V(K))$, 知識グラフのみに含まれるエンティ ティの集合 $(V(K)-V(D))$, どちらにも出現するエン ティティの集合 $(V(D) \cap V(K))$, どちらにも出現し ないエンティティの集合 $(U-(V(D) \cup V(K)))$ の計 4 種類の集合が存在する. KG-NMT では $V(D) \cap V(K)$ の集合しか扱うことができなかった。また KG-NMT ではエンティティ単位で訓練データと知識グラフの 対応付けを行うため，サブワード化ができず，扱う 語彙が大きくなるという問題が生じる.

Zhao ら [15] はそれら 4 つのエンティティの集合 についてもニューラル機械翻訳へ活用するために， エンティティをサブワード化したあと, ニューラル 機械翻訳と知識グラフ推論の学習を同時に行った。 しかし Zhao らの手法はニューラル機械翻訳と知識 グラフ推論の学習を同時に行っているため, 新たな 言語対に対するモデルを学習する際, ニューラル機械翻訳モデルだけでなく, 知識グラフ埋め込みも 再度学習する必要がある. よって Zhao らの手法で $N$ 言語間の多言語機械翻訳を行おうとすると, 知識グラフ推論の学習を $N(N-1)$ 回行うことになる. そのため, Zhao らの手法は学習コストが高い上に ニューラル機械翻訳と知識グラフ推論モデルを組み 合わせることは容易ではない.

## 3 知識グラフ埋め込みを利用した ニューラル機械翻訳の改良

本研究では KG-NMT を発展させ, エンティティ をタグに置き換える手法と知識グラフ埋め込みの作成時にエンティティのサブワードに基づいて学習し he's gonna shack up at auberge du soleil.

subworded

he's gonna sh ack up at au ber ge du sole il .

図 2 Subworded KG-NMT の手続きの概要

た知識グラフ埋め込みをニューラル機械翻訳に注入 する手法の 2 種類を提案する.

## 3.1 KG-NMT におけるエンティティの抽象化

KG-NMT の問題を解決するために，本研究では KG-tag NMT を提案する. KG-tag NMT は未知語処理の手法である Back-off モデル $[18,19]$ を参考にし， データセット内の該当するエンティティに知識グ ラフに基づく埋め込みの情報を注入後, そのエン ティティを特殊タグに置き換える。具体的な手続 きの例を図 1 に示す. 図 1 のように知識グラフを 注入後, <entity>という特殊なタグに置き換える. KG-tag NMT では知識グラフ情報を注入後にサブ ワード化が行えるため, KG-NMT の課題である語彙数を削減できる. しかし KG-tag NMT では依然とし て $V(D) \cap V(K)$ 内のエンティティしか扱えない.

## 3.2 サブワードに基づく知識グラフ埋め 込み

サブワードに基づく知識グラフ埋め込みを行う ために Subworded KG-NMT を提案する. Subworded KG-NMT はすべてのエンティティを扱うために，知識グラフ内のエンティティ $V(K)$ のサブワード化を 行う.

サブワード化した知識グラフの埋め込み表現を作成する方法として Transformer [17] を使用する. 知識グラフ推論を seq 2 seq の枠組みで行い，作成され た埋め込み表現を知識グラフ埋め込みとする。エン ティティ $h, t$ を SentencePiece [4] を用いてサブワー ド化したあと, $h$ と $r$ が与えられた際に $t$ を推論す るタスクを， $h$ と $r$ を原言語の入力文として $t$ を目的言語の出力文を得るタスクとみなす．知識グラフ
表 1 BLEUによる各モデルの比較

$K$ が与えられた際の損失関数は式 (1) となる.

$
L\left(K ; \theta_{e}, \theta_{d}\right)=\sum_{(e, r, t) \in K} \log p\left(t \mid h, r ; \theta_{e}, \theta_{d}\right)
$

ここで， $\theta_{e}$ と $\theta_{d}$ はそれぞれエンコーダとデコーダ のパラメータである.

エンティティをサブワード化することにより，知識グラフ $K$ に含まれないエンティティに対しても 埋め込みを得ることができる．またニューラル機械翻訳と知識グラフ埋め込みのエンティティの対応付 けはサブワード単位で行う．Subworded KG-NMT の 具体的な手続きの例を図 2 に示す. 図 2 のようにサ ブワード化した知識グラフ埋め込みをニューラル機械翻訳に注入することで，エンティティ $D$ に対する 知識グラフの注入量を向上させる．知識グラフ埋め 込みの注入手法は KG-NMT [5] に倣う。

知識グラフ埋め込みをサブワード化する手法は Zhao らの手法 [15] と似ているが，Zhao らは知識グ ラフ推論とニューラル機械翻訳を同時に学習するこ とによって，知識グラフをニューラル機械翻訳に活用した。一方, Subworded KG-NMT では知識グラフ 推論とニューラル機械翻訳をそれぞれ独立して学習 している. Subworded KG-NMT はニューラル機械翻訳と知識グラフ推論を独立して学習するため, 新た な目標言語へのニューラル機械翻訳を学習する際 に，以前学習した知識グラフ埋め込みの再利用が可能となる。そのため $N$ 言語間の多言語機械翻訳を 行うときは Subworded KG-NMT では知識グラフの学習を $N$ 回行うだけでよい.この利点はZhao らの手法 [15] の欠点を補っている.

## 4 実験

## 4.1 実験設定

実験は英独翻訳を対象とし，訓練データとし て JRC-Acquis3.0と Europarl を用い, 検証用データ に WMT の newstest2011, テストデータに WMT の newstest2012 から 2018 までを用いた。知識グラフは 英語版の DBpedia [20]を用いた。また訓練データ
に WMT2017，検証用データに newstest2016，テスト データに newstest2017を用いることにより同一ドメ イン内での翻訳についても評価を行った。

Transformer の実装には fairseq ${ }^{1)}$ と OpenNMT-py ${ }^{2)}$ を用いた。またサブワード化には SentencePiece[4] 3) を用いた. SentencePieceの学習にはニューラル機械翻訳の訓練データを用いた。また知識グラフ中のエ ンティティに対するサブワード化と訓練データに 対するサブワード化は同じ SentencePiece のモデル を使用した。知識グラフ埋め込みは Transformer を 用いて作成した. NER は spaCy ${ }^{4)}$ を使用し, DBpedia 内のエンティティを辞書として用いた。

既存研究のベースラインとして Transformer [17] と KG-NMT [5] を用いた。なお KG-NMT についてサ ブワード化してしまうと, エンティティに知識グ ラフ情報を注入することができなくなるため，サ ブワード化は行わなかった。評価には SacreBLEU $[21]^{5)}$ を用いた。

## 4.2 実験結果

表 1 に実験結果を示す. 2 つの提案手法はすべ てのテストデータに対して KG-NMT より BLEU ス コアが向上している。これは KG-NMT では行えな かったサブワード化が提案手法では可能になったこ とより，未知語として処理される単語数が減少した ため BLEU スコアが上昇したと考えられる．KG-tag NMT では KG-NMT の手法を改良し，エンティティ をタグに置き換えることでサブワード化を行えるよ うにした。そのため, Transformer と同等の精度を保 ちつつ, $V(K) \cap V(D)$ エンティティについては知識 グラフを活用することができるため，BLEU スコア が向上したと考えられる。

一方 Subworded KG-NMT では，翻訳の訓練データ 中のエンティティ $V(D)$ と知識グラフ中のエンティ

表 2 テストセットのエンティティ $V(D)$ に対する

ティ $V(K)$ が完全に一致していなくてもサブワー ド単位で一致していれば知識グラフ埋め込み情報 を注入できる。そのためエンティティ $V(D)$ に対 して知識グラフを注入可能な範囲が拡大するので, KG-tag NMT よりも多くの知識グラフをニューラル 機械翻訳に注入することができる。このことから 全体としての知識グラフの注入量が向上した結果, Subworded KG-NMT の BLEU スコアが向上したと考 えられる。

## 4.3 エンティティの分析

提案手法と Transformer [17] の BLEU スコアを比較すると, KG-tag NMT ではスコアの向上は見られ るものの，知識グラフ埋め込みを注入したことによ り, むしろスコアが低下しているテストデータが存在している。そこで KG-tag NMT によってエンティ ティ $V(K)$ とエンティティ $V(D)$ の対応付けが行え たエンティティ $V(K) \cap V(D)$ の数を調べた. その結果を表 2 に示す. 表 2 よりエンティティ $V(K) \cap V(D)$ はエンティティ $V(D)$ の 1 2\%ほどしか存在して いないことがわかる。また既存手法の KG-NMT と Transformer を比較すると, $V(K) \cap V(D) / V(D)$ の割合によって BLEU スコアの差が大きくなる傾向があ る.これは KG-NMT がサブワード化を行うことに よって OOV 問題を解決するのではなく, 知識グラ フを用いて OOV 問題の解決を図っていることに起因している。そのため知識グラフの注入量と翻訳品質には相関があると考えられる。

## 5 Transformer による知識グラフ推論の精度

Transformer による知識グラフ推論の精度について 考察するための実験を行った。知識グラフ推論用 データセットに YAGO3-10 [22] を使用し，知識グラ フ推論の比較対象モデルを ConvKB [6] と ComplEx [7] とした. Transformerによる知識グラフ推論では表 3 知識グラフ推論精度の比較

エンティティのサブワード化の有無による比較も 行った。実験結果を表 3 に示す。

HITS@T はそれぞれ推論したエンティティのうち 上位 $T$ 番目以内に正解エンティティが含まれる割合 を示している。表 3 の結果より, seq2seq での知識 グラフ推論はエンティティをサブワード化しない場合，既存手法である ConvKB [6] や ComplEx [7] と同等の性能であることがわかった。またサブワード化 を行った場合でも，上位 10 位以内に正解エンティ ティが含まれる割合が 3 割ほどあり，サブワード化 を行っても知識グラフを学習できているといえる. そのため Transformerによる seq2seq での知識グラフ 推論は有効であるといえる。

知識グラフ推論の既存手法ではデータセット中に 含まれていない未知のエンティティを推論すること ができないが，サブワード化し， seq2seq で知識グラ フ推論を行った場合エンティティを生成するため,未知のエンティティを推論することができる利点が ある. そのため, 潜在的に $U-(V(D) \cup V(K))$ に対 しても知識グラフ情報を学習していると予測できる ので，今後その予測を検証していく。

## 6 まとめ

本研究ではニューラル機械翻訳の品質向上を目的 とし, OOV 問題に対処するために知識グラフを注入する手法を 2 種類提案した. 実験を行った結果，提案手法では BLEU スコアが既存手法よりも向上し ていることを確認した。また知識グラフの注入量に よって翻訳精度が変化するため, 単言語データであ る知識グラフの注入量を増やすことにより，翻訳精度が向上する可能性があることがわかった。さらに seq2seqによる知識グラフ推論の有用性も確認した. その結果, 未知のエンティティに対する推論可能性 をもちつつ, 既存手法と同等の精度で推論すること ができた，今後の課題として，多言語ニューラル機械翻訳への適用を予定している。

## 参考文献

[1] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[2] Minh-Thang Luong and Christopher D. Manning. Achieving open vocabulary neural machine translation with hybrid word-character models. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1054-1063, Berlin, Germany, August 2016.

[3] Junyoung Chung, Kyunghyun Cho, and Yoshua Bengio. A character-level decoder without explicit segmentation for neural machine translation. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1693-1703, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4] Taku Kudo and J. Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In $E M N L P, 2018$.

[5] Diego Moussallem, Axel-Cyrille Ngonga Ngomo, Paul Buitelaar, and Mihael Arcan. Utilizing knowledge graphs for neural machine translation augmentation. K-CAP '19, page 139-146, New York, NY, USA, 2019. Association for Computing Machinery.

[6] Dai Quoc Nguyen, Tu Dinh Nguyen, Dat Quoc Nguyen, and Dinh Phung. A novel embedding model for knowledge base completion based on convolutional neural network. In Proceedings of the 16th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pages 327-333, 2018.

[7] C. Demir and Axel-Cyrille Ngonga Ngomo. Convolutional complex knowledge graph embeddings. ArXiv, abs/2008.03130, 2020.

[8] Wenhan Xiong, Thien Hoang, and William Yang Wang. DeepPath: A reinforcement learning method for knowledge graph reasoning. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pages 564-573, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[9] Deepak Nathani, Jatin Chauhan, Charu Sharma, and Manohar Kaul. Learning attention-based embeddings for relation prediction in knowledge graphs. In Proceedings of the 57th Annual Meeting of the Association for Coтputational Linguistics. Association for Computational Linguistics, 2019.

[10] Rui Wang, Bicheng Li, Shengwei Hu, Wenqian Du, and Min Zhang. Knowledge graph embedding via graph attenuated attention networks. IEEE Access, PP:1-1, 122019.

[11] Antoine Bordes, Nicolas Usunier, Sumit Chopra, and Jason Weston. Large-scale simple question answering with memory networks. CoRR, abs/1506.02075, 2015.

[12] Fuzheng Zhang, Nicholas Jing Yuan, Defu Lian, Xing Xie, and Wei-Ying Ma. Collaborative knowledge base embedding for recommender systems. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD '16, page 353-362, New York, NY, USA, 2016. Association for Computing Machinery.

[13] Yang Zhao, Jiajun Zhang, Yu Zhou, and Chengqing Zong. Knowledge graphs enhanced neural machine translation. In Christian Bessiere, editor, Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, IJCAI-20, pages 4039-4045. International Joint Conferences on Artificial Intelligence Organization, 7 2020. Main track.

[14] Yu Lu, Jiajun Zhang, and Chengqing Zong. Exploiting knowledge graph in neural machine translation. In Jiajun Chen and Jiajun Zhang, editors, Machine Translation, pages 27-38, Singapore, 2019. Springer Singapore.

[15] Yang Zhao, Lu Xiang, Junnan Zhu, Jiajun Zhang, Yu Zhou, and Chengqing Zong. Knowledge graph enhanced neural machine translation via multi-task learning on sub-entity granularity. In Proceedings of the 28th International Conference on Computational Linguistics, pages 4495-4505, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[16] Rico Sennrich and Barry Haddow. Linguistic input features improve neural machine translation. In Proceedings of the First Conference on Machine Translation: Volume 1, Research Papers, pages 83-91, Berlin, Germany, August 2016. Association for Computational Linguistics.

[17] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the 31 st International Conference on Neural Information Processing Systems, NIPS'17, page 6000-6010, Red Hook, NY, USA, 2017. Curran Associates Inc.

[18] S. Jean, Kyunghyun Cho, R. Memisevic, and Yoshua Bengio. On using very large target vocabulary for neural machine translation. ArXiv, abs/1412.2007, 2015.

[19] Thang Luong, Ilya Sutskever, Quoc Le, Oriol Vinyals, and Wojciech Zaremba. Addressing the rare word problem in neural machine translation. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 11-19, Beijing, China, July 2015. Association for Computational Linguistics.

[20] Sören Auer, Christian Bizer, Georgi Kobilarov, Jens Lehmann, Richard Cyganiak, and Zachary Ives. Dbpedia: A nucleus for a web of open data. In The Semantic Web, pages 722-735, Berlin, Heidelberg, 2007. Springer Berlin Heidelberg.

[21] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pages 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[22] F. Mahdisoltani, J. Biega, and Fabian M. Suchanek. Yago3: A knowledge base from multilingual wikipedias. In CIDR, 2015 .
 坂井 優介 渡辺 太郎 奈良先端科学技術大学院大学 \{sakai.yusuke.sr9, taro\}@is.naist.jp }  藤田 篤 情報通信研究機構 atsushi.fujita@nict.go.jp  