# 読解問題における論理推論の一貫性評価

川畑 輝 1 菅原朔 2
1 奈良先端科学技術大学院大学 2 国立情報学研究所
kawabata.akira.kb3@is.naist.jp saku@nii.ac.jp

## 概要

複雑な論理推論に関する自然言語理解モデルの評価が信頼可能であるためには、予測結果の正しさだ けでなく、その予測のための妥当な推論根拠への理解も評価することが重要である。しかしこれまでの 自然言語理解タスクでは推論結果と推論根拠の一貫的な評価はなされてこなかった。そこで本稿では、既存の選択式の機械読解データセットに対して、そ の各選択肢が正答または誤答である理由を問う問題 を同じく選択式の機械読解データセットとして作成 することで、自然言語理解モデルの一貫的な理解評価に取り組んだ。両問題への人間正答率との比較か ら、現状の自然言語理解モデルには根拠に一貫的に 解答することが困難であることがわかった。また、推論タイプと特徵量寄与度の観点から根拠理解の難易度について分析し、寄与度の類似や推論の質的な 差異の難易度との関連性を明らかにした。

## 1 はじめに

自然言語理解モデルが人間のように信頼可能であ るためには、予測や生成の正しさだけではなく、そ の結果が論理的に妥当な根拠を踏まえたものである 必要がある。妥当な前提への理解が重要なタスクと して、近年では機械読解においてモデルの論理的推論能力を評価するデータセットが提案されている。 ReClor [1] は論理的推論を問うデータセットの代表例であり、GMAT、LSAT から収集された 4 択式の 機械読解データセットである。事前学習言語モデル $[2,3,4]$ の発展により人間と同程度の精度が報告さ れているなど、現状の自然言語理解モデルは論理的推論を理解する能力を有するように見える。

しかし既存研究はそうした事前学習言語モデルに 共通する弱点として、一貫的な予測の不得手を指摘 している $[5,6,7,8]$ 。具体的には、元の問題に否定 [8] や置換 [6] などの簡単な操作を施すことで、元の 問題と比べ精度が大きく低下したことが報告されて
いる。こうした研究から、言語理解能力評価におけ る一貫性検証の重要性が示唆されている。論理的推論は妥当な根拠への理解を前提として行 われるべきであるが、その規範的要請をモデルが満 たしているかどうかは自明ではない。それゆえ論理的推論能力の検証では、推論結果の正誤だけではな く、その根拠の理解も一貫的に評価するタスク設計 が望ましい。しかし一方で、そうした根拠はしばし ば問題中に明示されていないため、既存研究のよう に元の問題の簡単な変形を通して一貫性評価のため のデータセットを構築することはできない。そのた め、論理的推論の一貫性を検証するためには人手に よって元の質問に暗黙的に含まれる根拠を明示化 し、収集する必要がある。人手で推論根拠を収集し た研究も存在するが、それらは読解における論理的推論は対象としておらず、一貫性を評価できるタス ク設計にもなっていない $[9,10]$ 。

そこで本稿では論理的な推論に焦点を当てた一貫性評価データセット RULE (Rationale Understanding for Logical reasoning Evaluation) を構築し、論理的一貫性の評価実験を行なう。RULE は ReClor の問題 4,638 問のうち 600 問を対象に構築された、元の ReClor の問題の正誤根拠理解を問う 4 択機械読解 データセットである (図 1)。RULE に含まれる根拠理解問題は ReClor の問題の選択肢それぞれについ て作成され、その選択肢の正誤理由が正解選択肢、他の 3 つの選択肢の正誤理由が不正解選択肢となつ ている。600 問それぞれの選択肢について根拠理解問題を計 2,400 問作成し、後述する品質評価によっ て最終的に 1,406 問を得た。

実験では、システムの一貫的な論理推論理解の程度を評価するために ReClor で学習したべースライ ンモデルを RULEで評価した。その結果人間とモデ ルの精度には大きな乘離が見られた。さらに後続の 分析でモデルにとっての一貫的な根拠理解の難易度 に影響を及ぼす要素を調査したところ、特に誤答選択肢の根拠理解に改善の余地が大きく残されている

図 1 根拠理解問題の構築イメージ

ことが明らかになった。また、特徴量寄与分布と問題で問われる推論の質的な差異がモデルの根拠理解 と関連していることも示唆された。

## 2 関連研究

本研究と同じように自然言語処理モデルによる 推論の意味的な一貫性を変形問題で評価する試み はすでに存在する $[5,6,7,8]$ 。たとえば Elazar ら [6] は元の問題をパラフレーズしたデータセットを、 Ravichandar ら [8] は元の問題の否定推論箇所を編集 することでデータセットを構築し、それぞれの言語理解能力における一貫性を検証している。しかしこ れらの既存研究では論理的根拠に焦点を当てた一貫性の評価は行っていない。

他方で、根拠や説明データ自体についての 分析やタスク定義はすでに複数なされている [9, 11, 12, 13]。Aggarwal ら [9] は常識推論の QA デー タセット CommonsenseQA [14] に 4 つの選択肢の正誤理由をアノテートしたデータセット ECQAを構築 し、根拠生成と根拠検索タスクを定義した。Sun ら [13] は ECQA に含まれる根拠文を元の問題に連結し てモデルに解答させ、問題への解答に根拠文が果た す役割を分析した。これらの研究は根拠データに注目しているものの、本研究と異なり元の問題で獲得 された言語能力の一貫的な汎化能力を検証するため にタスクや分析が設計されているわけではない。

## 3 RULE: データセット構築

本研究では論理的推論の一貫的な根拠理解を評価 するデータセット RULEを構築した。RULEに含ま れる問題 (以降、根拠問題) は ReClor の訓練セット からランダムに選ばれた 600 問 (以降、主問題) から 作成され、同一の文脈文で各主問題の選択肢の正誤理由を問う。ReClor で学習したモデルを評価するた めに、根拠問題は主問題と同様に文脈文、質問文、 4 つの選択肢から構成される選択式の機械読解タス クとした。 3.1 節では選択肢 (根拠文) の収集方法を、 3.2 節では質問文の収集方法を説明する。

## 3.1 正答・誤答根拠の収集

参加者の選定 根拠文を収集するにあたって二段階の資格テストによって事前に参加者を選抜した。 まず一段階目の選抜として、応募者に ReClor の問題 10 問を解かせ、その正答率が 8 割以上の場合に 合格とした。次に二段階目の選抜として、応募者に ReClor の問題 1 問を提示し、その問題の各選択肢に ついて正誤根拠の執筆を課した。提出された根拠文 について著者らが (1)十分具体的であるか、(2) 問題 の意図と合致しているかという二つの基準で評価 し、最終的なタスク参加者を決定した。この資格テ ストは Amazon Mechanical Turkを通じて行われた。最終的な通過人数は 57 人である。

根拠執筆タスク 以上の資格テストを通過した参加者に根拠文の執筆タスクを依頼し、50 人が執筆タ スクに参加した。根拠文執筆タスクでは各回ごとに 参加者に ReClor の問題が 1 問、各選択肢の正誤と共 に提示され、参加者は各選択肢の正誤理由を執筆す る。今回の研究では ReClor 600 問に対して正誤根拠 を収集し、計 2,400 個の根拠文が集まった。

品質評価 低品質な根拠文を除くために、具体性 の観点から評価を行い選別した。具体的でない根拠文 (e.g., "Because this is not mentioned in the passage.") は 4 択問題の選択肢として機能しないだけでな く、問題に意図されている暗黙的な推論を明示化す るという RULE の趣旨から考えても望ましくない。 そのため資格テストを通過した参加者に、根拠執筆
者と評価者が重複しない形で評価タスクを依頼し た。評価タスクでは参加者は ReClor の問題 1 問と、 その問題の選択肢のどれかに対応する根拠文を提示 され、根拠文と対応する選択肢を答える。根拠文が 具体的でなければ選択肢との対応づけは困難である と考えられるため、この方法で具体性を伴った根拠文を選別した。その結果 1,860 個の根拠文と 475 個 の主問題が残った。なお、根拠問題の選択肢は 4 つ の根拠文から構成されるため具体性評価によって根拠文が 1 つでも除かれるとその主問題では根拠問題を構成できないが、根拠問題の数を確保するため に 4 つ中 3 つ通過した場合は残り 1 つの根拠文を “None of the above choices" に置き換えることで根拠問題を構成した。

## 3.2 質問文の生成

具体性評価テストに通過した根拠文それぞれ について、主問題の質問文と選択肢から、その選択肢の正誤の根拠を問う質問文（根拠質問文）を 生成した。生成には GPT-3 (text-davinci-003)を使用 し、主問題の選択肢と質問文を入力としてその選択肢の正誤理由を問う質問文を出力とするよう なプロンプトを用いた。また、根拠質問文に選択肢の正誤を反映させるために、正答選択肢と誤答選択肢で使用するプロンプトを分け、誤答の プロンプトには生成対象の根拠質問文に “not” な どの否定表現を入れることで誤りの理由を問う 根拠質問文を生成させた。生成例として、否定プ ロンプトを入力した GPT-3 に質問文 “What mistake does the argument commit in its reasoning?” と 選択肢 “It confuses probability and certainty.”を与えると、“What evidence is there that the argument does not commit the mistake of confusing probability and certainty?" という 根拠問題用の質問文が生成される。

品質評価 収集された根拠文と根拠質問文から根拠問題を構成した。人間の正答可能性が保証された 根拠問題を選別するために、最終的な品質評価とし て人間の正答率を測定した。資格テストを通過した 57 人に対して根拠問題の解答を依頼し、それぞれの 問題について 3 人分の解答結果を収集した。 3 人中 2 人以上が正解または 3 人全員が “None of the above choices”を選択した問題 1,406 問を解答可能な問題 とみなし、評価問題として採用した。

主問題として使用した ReClor の問題と RULE は、文脈文の数はどちらも 467、質問数はそれぞれ 467
と 1,406 、質問文の平均の長さ (単語数) はそれぞれ 13.4 と 29.6、選択肢の平均の長さは 21.5 と 16.7 で あった。ReClor と比べて RULE の質問文は平均的に 長いが、これは RULE の質問文が主問題の質問文と 選択肢の内容を含むためである。

## 4 評価実験

## 4.1 実験設定

評価には DeBERTa-V3-Large [4, 15] と GPT-3 (textdavinci-003) [16] を用いた。紙面の都合上、性能の高 かった GPT-3 の結果を報告する。両者の比較は付録 A に示す。モデルの根拠理解問題への一貫的な汎化能力を評価するため、評価データには今回作成した RULE 1,406 問と主問題 467 問の 2 種類を用いる。

## 4.2 実験結果

RULE における汎化性能 モデルの一貫的な論理的推論能力を評価するために ReClor で訓練したモ デルをRULE で評価した。モデルが根拠を正確に把握して主問題に正答しているのであれば、ReClor で の正答率と RULE での正答率に大きな差はないはず である。精度評価の結果を表 1 に示す。RULE 全体 での精度を見ると、ReClor での精度と乘離があるだ けでなく、下線を付した $\Delta=27.48$ から、ReClorにお いて人間に匹敵するほどの精度を記録できるモデル であっても、根拋理解を評価の考慮に入れると人間 の理解度とは未だ大きな開きがあることがわかる。

分析 1: 正答主問題における一貫性 ここでは正 しく答えられた主問題の根拠問題に精度評価の焦点 を当て、“正しく答えられた主問題の根拠問題には 同様に正しく答えられるべき”という要請をモデル が人間に比べどれほど満たしているか評価する。具体的には、モデルが正答した主問題それぞれの根拠問題 $N_{i}(i=1, \ldots, 467)$ 個のうちモデルまたは人間が 正答できた問題数 $C_{i}\left(C_{i} \leq N_{i}\right)$ の分布を算出するこ とで、正答した主問題における両者の根拠理解の程度を測る。集計された $C_{i}$ の分布は付録 B に示す。 GPT-3 と比べ、人間の方が各 $N_{i}$ についてより大き な $C_{i}$ の占める割合が多く、正答した主問題の根拠問題にも一貫して正答できるという結果となった。

分析 2: 正答・誤答の根拠と正答率 ここでは根拠問題への解答可能性と主問題の正誤関係との関連 を調查する。具体的には、根拠問題の正答率をその 主問題への解答結果（主問題正答・誤答）と主問題
表 1 根拠問題と主問題（ReClor、下部）における精度 (\%)。主問題への解答結果と作成元選択肢の正誤によって 分けて集計し、件数を括弧で示した。

における選択肢としての正誤（正答選択肢・誤答選択肢）という 2 つの条件で分けて集計した(表 1)。

表 1 を見ると、モデルは誤答選択肢の根拠問題に 弱いが、一方で正答選択肢の根拠問題では人間に肉薄するほど良い精度を記録していることがわかる。

誤答根拠問題への弱さに関しては、複数選択肢の 問題を多クラス分類として解くことに起因する個々 の選択肢の推論へのフィードバックの不十分さと、否定的な根拠推論という推論の複雑さが原因として 考えられる。正答選択肢に関しては、その根拠問題 を解くことと主問題の正答を答えることが類似して いるため、ReClor での学習が正答根拠問題にも有効 だったのだと考えられる。

分析 3: 推論タイプごとの精度比較 ここではモ デルの根拠理解に関する特徴を、問題で問われる推論の種類 (推論タイプ) の観点から定性的に分析す る。ReClor の問題で問われる推論には 17 の種類が あり、例えば “ Which one of the following would most seriously weaken the argument?” という質問文は、文脈文の主張を弱めるような選択肢を尋ねる Weaken という推論タイプに分類される。

ReClor と RULEでの推論タイプごとの精度を集計 したところ (付録 C)、全体的な傾向として、ReClor では推論タイプごとに精度に大きくばらつきが あるが、RULEに関しては比較的差は小さかった。 RULEでは全ての問題が一様に根拠を問う推論であ るという面があるため、推論タイプごとの差が顕著 には現れなかったのだと考えられる。また、より 暗黙的な推論への理解を求められる推論タイプほ
ど ReClor と RULE (正答選択肢) での精度差が顕著 であった。例えば文脈文の趣旨を問う Implication、 Conclusion/Main point、文脈文の主張の不備を指摘 する Weaken、Explain or Resolve では他の推論タイプ に比べ ReClor と RULE 間で精度差が大きい。考え られる理由として、これらの推論タイプの主問題で はモデルは文脈文に明示されていない情報を把握す る必要があるが、RULEではその暗黙的な推論が明示化されているため、回答が容易になったと思われ る。この結果は、提示された根拠文をモデルが問題 への理解形成に利用できている可能性を示唆する。

分析 4: 特徵量分布の差異比較 人間が正答選択肢の根拠問題を答える際には、主問題を答える際に 利用する情報と近い情報を文脈文に求めると考えら れる。この仮説がシステムにも当てはまるか調べる ため、DeBERTa の主問題予測時と正答根拠問題予測時の文脈文の寄与分布を Integrated Gradients [17] で 求め、両分布のコサイン距離を計算した。

同時に、今回は根拠理解の難易度と分布距離の関係を調べた。具体的には、モデルの根拠問題正答数 に基づいて主問題を EASY $(C / N \geq 2 / 3)$ 、MEDIUM $(2 / 3>C / N>1 / 3)$ 、HARD $(C / N \leq 1 / 3)$ の 3 セッ トに分け、それぞれの問題集合に含まれる主問題と 正答選択肢の寄与分布のコサイン距離を平均するこ とで、根拠理解の難しさとの関連を調査した。対象 サンプル数はそれぞれ 39、136、181 件である。

結果は EASY が 0.22、MEDIUM が 0.16、HARD が 0.11 であり、モデルが多くの根拠問題を解けている 主問題 (EASY) では、モデルがその正答根拠問題を 解く際に主問題を解く場合と比較的類似した情報を 利用していることがわかる。これは根拠問題への頑健さと、モデルが主問題と根拠問題で利用する特徴量の共通性が関係していることを示唆する。

## 5 結論

本稿では一貫的な根拠理解という観点から論理的推論能力の信頼性を評価するデータセット RULE を構築し、精度評価と分析を行った。実験の結果、 RULE における精度は人間と大きな乘離があるが、精度を下げている要因は誤答選択肢への低い頑健さ にあり、また、主問題と根拠問題間の特徵量寄与分布の類似性が根拠問題の正答率と関連しているとい う示唆が得られた。根拠理解への更なる分析、一貫性を改善するための具体的な方策等については今後 の課題としたい。

## 謝辞

本研究は JST さきがけ JPMJPR20C4 の支援を受け たものです。また、NAIST の渡辺太郎教授から貴重 なご意見をいただきました。感謝いたします。

## 参考文献

[1] Weihao Yu, Zihang Jiang, Yanfei Dong, and Jiashi Feng. ReClor: A reading comprehension dataset requiring logical reasoning. In International Conference on Learning Representations, 2020 .

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized BERT pretraining approach. arXv preprint 1907.11692, 2019.

[4] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. DeBERTa: Decoding-enhanced BERT with disentangled attention. arXiv preprint 2006.03654, 2020.

[5] Marco Tulio Ribeiro, Carlos Guestrin, and Sameer Singh. Are red roses red? evaluating consistency of questionanswering models. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 6174-6184, Florence, Italy, July 2019. Association for Computational Linguistics.

[6] Yanai Elazar, Nora Kassner, Shauli Ravfogel, Abhilasha Ravichander, Eduard Hovy, Hinrich Schütze, and Yoav Goldberg. Measuring and improving consistency in pretrained language models. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 10121031, 2021.

[7] Myeongjun Jang, Deuk Sin Kwon, and Thomas Lukasiewicz. BECEL: Benchmark for consistency evaluation of language models. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 3680-3696, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[8] Abhilasha Ravichander, Matt Gardner, and Ana Marasović. CONDAQA: A contrastive reading comprehension dataset for reasoning about negation. arXiv preprint 2211.00295, 2022.

[9] Shourya Aggarwal, Divyanshu Mandowara, Vishwajeet Agrawal, Dinesh Khandelwal, Parag Singla, and Dinesh Garg. Explanations for CommonsenseQA: New Dataset and Models. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natu- ral Language Processing (Volume 1: Long Papers), pp. 3050-3065, Online, August 2021. Association for Computational Linguistics.

[10] Swarnadeep Saha, Prateek Yadav, Lisa Bauer, and Mohit Bansal. ExplaGraphs: An explanation graph generation task for structured commonsense reasoning. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7716-7740, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[11] Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William Cohen, Ruslan Salakhutdinov, and Christopher D. Manning. HotpotQA: A dataset for diverse, explainable multi-hop question answering. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2369-2380, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[12] Naoya Inoue, Pontus Stenetorp, and Kentaro Inui. R4C: A benchmark for evaluating $\mathrm{RC}$ systems to get the right answer for the right reason. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6740-6750, Online, July 2020. Association for Computational Linguistics.

[13] Jiao Sun, Swabha Swayamdipta, Jonathan May, and Xuezhe Ma. Investigating the benefits of Free-Form rationales. arXiv preprint 2206.11083, 2022.

[14] Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant. CommonsenseQA: A question answering challenge targeting commonsense knowledge. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4149-4158, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[15] Pengcheng He, Jianfeng Gao, and Weizhu Chen. DeBERTaV3: Improving DeBERTa using ELECTRA-style pre-training with gradient-disentangled embedding sharing. arXiv preprint 2111.09543, 2021.

[16] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In $\mathrm{H}$. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[17] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic attribution for deep networks. In Proceedings of the 34th International Conference on Machine Learning - Volume 70, ICML'17, pp. 3319-3328. JMLR.org, August 2017.

## A DeBERTa と GPT-3 の比較

GPT-3 は 5-shot で、DeBERTa は根拠問題作成に利用した主問題 467 問を抜いた ReClor の train データ 4,171 件でファインチューニングした。DeBERTa は 10 epoch 学習させた中で ReClor の dev データ 500 件における accuracy が最も高い epoch のモデルを使用した。

表 2 DeBERTa と GPT-3 の精度比較 $(\%)$

## B 正答主問題への一貫性評価

表 3 根拠問題の正解数 (GPT-3) 亿応じた ReClor の問題数の分布 (\%) と件数 (括弧内)

表 4 根拠問題の正解数 (人間) そ応じた ReClor の問題数の分布 $(\%)$ と件数 (括弧内)

## C 推論タイプごとの精度比較

17 種類ある推論タイプのうち、サンプル数が 30 以上の推論タイプ ( 9 種類) のみを集計対象とした。

図 2 推論タイプごとの精度


# 摂動を加えた kNN 機械翻訳による多様な翻訳候補の生成

西田悠人 1 森下 睦 ${ }^{2}$ 上垣外 英剛 1 渡辺 太郎 1
1 奈良先端科学技術大学院大学, ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
nishida.yuto.nu8@is.naist.jp

## 概要

ニューラル機械翻訳システムの標準的な探索アル ゴリズムであるビームサーチには, 出力される複数 の翻訳候補がほとんど同一になってしまう多様性低下の問題が存在する. 本研究では, 翻訳候補の生成 に用例データからの近傍探索を用いることで通常は 翻訳候補に入らないようなトークンを考慮できる $\mathrm{kNN}$ 機械翻訳を応用し, 近傍探索時に摂動を与えて 探索範囲を確率的に拡大する手法を提案する．実験 の結果，提案法により，翻訳精度を維持しつつ翻訳候補の多様性を改善できること，摄動の大きさを調整することで多様性を制御できることを報告する。

## 1 はじめに

機械翻訳システムが多様かつ妥当な翻訳候補を出力することは，リランキング [1] や人手による後編集 [2] といった後段の処理によって翻訳精度の向上 が見込める点で重要である. しかし，ニューラル機械翻訳 (NMT) システムの標準的な探索アルゴリズ ムであるビームサーチには，出力される複数の候補文がほとんど同一になってしまう多様性低下の問題が存在することが知られている $[2,3,4]$. これに 対し, Vijayakumar ら [3] や Freitag ら [4] は翻訳候補 の多様化を促進するビームサーチの変種 (多様化デ コード手法)を提案している.

他方で，NMT システムの標準的な損失関数であ るクロスエントロピー損失を用いて訓練したモデル には，過剰修正 (overcorrection [5]) の問題が存在する ことが知られている。過剩修正とは，訓練データの 分布とは異なる分布の予測に対し, その予測が妥当 であっても出力確率を過剰に低く見積もってしまう 現象のことである. そのため, 前述の多様化デコー ド手法を標準的な NMT システムが出力する確率分布に適用するだけでは，妥当であるが出力確率が低 く翻訳候補に入りづらいトークンが存在し，多様性向上の効果が限定的になっている可能性がある.
したがって，多様化デコード手法の効果を最大化 するためには過剰修正に対処する必要があると考え られる. 本研究では，その手段として用例ベースの 機械翻訳手法の一種である $\mathrm{kNN}$ 機械翻訳 [6] に着目 する. $\mathrm{kNN}$ 機械翻訳は，デコード時に用例データか らの $\mathrm{k}$ 近傍探索によって多くの妥当なターゲット トークンを検索・抽出できるため，過剩修正の問題 に対処できることが Yang ら [7] によって示唆されて いる。しかし, $\mathrm{kNN}$ 機械翻訳の $\mathrm{k}$ 近傍探索では探索 の対象が制限されており，多様性を損ねてしまう。 そこで，我々は $\mathrm{kNN}$ 機械翻訳を応用し， $\mathrm{kNN}$ 機械翻訳における $\mathrm{k}$ 近傍探索時に摂動を加えることで トークンを探索する範囲を確率的に拡大する手法を 提案する (図 1). この手法と多様化デコード手法を 併用することで，翻訳性能を維持しつつ翻訳候補の 多様化が期待できる。

本稿では，ドメイン適応と一般ドメインで評価を 行い，両設定において，提案法によって翻訳性能を 維持しながら多様性が向上することを示した。ま た，本手法において，摂動の大きさを調整すること で多様性が制御できることも判明した.

## 2 関連研究

## 2.1 多様な翻訳候補の生成

ビームサーチによる翻訳候補の多様性低下の問題に対処するため, 出力される翻訳候補の多様化 を促進するビームサーチの変種が提案されている. Vijayakumar ら [3] はビーム間でのトークンの重複 にペナルティを設けたビームサーチである Diverse Beam Search (DBS) を提案した。また，Freitag ら [4] は同一の部分仮説を共有する候補の最大数を決める 手法を提案した。これらの手法はいずれも翻訳候補 の多様性向上を報告しているが，過剰修正に明示的 には対処しておらず，妥当であるが出力確率が低く 出力候補に入りづらいトークンが存在し, 多様性向上の効果が限定的になっている可能性がある.

(1) データストア作成とクェリによる問い合わせ

図 1 提案手法の概略図. 得られた $p_{\mathrm{kNN}}$ によってデコードを行う段階については先行研究と同様であるため省略した.

## $2.2 \mathrm{kNN$ 機械翻訳}

$\mathrm{kNN}$ 機械翻訳は以下に示す 2 ステップの方法で $\mathrm{k}$近傍探索のメカニズムを NMT モデルの推論に適用 する手法であり，大規模な事例データに直接アクセ スすることでよりよい推論を実現できる。

データストア構築NMT モデルに訓練データを 入力し, 訓練データ中の目的言語側のトークンを キー，対応する隠れ層の表現をバリューとしてデー タストアに保持する. 訓練データ $(\mathcal{S}, \mathscr{T})$ のソース文 $s \in \mathcal{S}$ ，ターゲット文 $t \in \mathscr{T}$ に対する時刻 $i$ の隠れ状

式 (1) で表される.

$
\mathscr{D}=\left.\{\left(f\left(s, t_{<i}\right), t_{i}\right), \forall t_{i} \in t \mid(s, t) \in(\mathcal{S}, \mathscr{T})\right.\}
$

デコーディング 入力文 $x$ に対する時刻 $i$ の隠れ 状態ベクトル $\mathbf{h}_{i}$ を出力トークン $y_{i}$ に対応するクエ リとして，データストアから $k$ 近傍 $\mathcal{N} \subset \mathscr{D}$ を抽出 する. クエリ $\mathbf{h}_{i}$ と $k$ 近傍点の距離から $k$ 近傍確率 $p_{\mathrm{kNN}}$ を式 (2)のように計算する。なお， $d(\cdot)$ は距離関数， $T$ は softmax 関数の温度パラメータである.

$
p_{\mathrm{kNN}}\left(y_{i} \mid x, y_{<i}\right) \propto \sum_{\left(\mathbf{k}_{j}, v_{j}\right) \in \mathcal{N}} \mathbb{1}_{y_{i}=v_{j}} \exp \left(\frac{-d\left(\mathbf{k}_{j}, \mathbf{h}_{i}\right)}{T}\right)
$

最後に， $y_{i}$ の出力確率を $k$ 近傍確率 $p_{\mathrm{kNN}}$ と NMT モ デルの出力確率 $p_{\mathrm{MT}}$ の線形補間により式 (3) のよう に計算する. ここで， $\lambda$ は $k$ 近傍確率の重みを決定 するハイパーパラメータである.

$p\left(y_{i} \mid x, y_{<i}\right)=\lambda p_{\mathrm{kNN}}\left(y_{i} \mid x, y_{<i}\right)+(1-\lambda) p_{\mathrm{MT}}\left(y_{i} \mid x, y_{<i}\right)$ $\mathrm{kNN}$ 機械翻訳はモデルを追加で学習することなく 翻訳精度を改善できることが報告されており，Yang ら [7] は $\mathrm{k}$ 近傍探索による過剰修正への対処が翻訳精度向上の理由であると示唆している．また， kNN 機械翻訳の変種として，翻訳性能を更に改善する手法 [8] や推論の遅さを克服する手法 $[9,10]$ が提案さ れている。その一方で， $\mathrm{kNN}$ 機械翻訳を多様性向上 のために活用する研究は行われていない.

## 3 提案法: kNN-Diversify Decoding

本研究では， $\mathrm{kNN}$ 機械翻訳と多様化デコード手法 の組み合わせ，および近傍探索時の探索範囲を確率的に拡げる手法を提案する. 手法の概略図を図 1 に 示す. この手法では, $\mathrm{k}$ 近傍探索によって, 通常で は出力確率の上位には含まれないが妥当なトークン の出力確率の向上が期待できる. さらに，その確率分布を多様化デコード手法を用いて幅広く探索す ることで妥当かつ多様な翻訳候補の生成を図る。ま た，従来の $\mathrm{kNN}$ 機械翻訳では $\mathrm{k}$ 近傍探索の範囲が制限されているという問題を解決し，さらに多様性を 向上させるために， $\mathrm{k}$ 近傍探索時に摂動を加えて探索の範囲を確率的に拡げる手法を 2 種類提案する.

## 3.1 クエリへのノイズ付加

$\mathrm{k}$ 近傍分布に摂動を与える最も単純な方法として $\mathrm{k}$ 近傍探索のクエリにノイズベクトルを加える手法 (図1の (2-ii))を導入する。この手法では，出力トー クン $y_{i}$ に対する中間表現 $\mathbf{h}_{i}$ にノイズベクトル $\mathbf{z}_{i}$ を 加えた $\mathbf{h}_{i}+\mathbf{z}_{i}$ をクエリとして $\mathrm{k}$ 近傍探索を行い $\mathrm{k}$ 近
傍 $\mathcal{N}^{\prime}$ を得る. その後，式2のように，得た $\mathcal{N}^{\prime}$ から $\mathrm{k}$ 近傍確率を計算する。ノイズベクトル $\mathbf{z}_{i}$ はノルム 1 のホワイトガウスノイズ $\mathbf{n}_{i}$ と平均 $m$, 分散 $s^{2}$ の正規分布に従う確率変数 $a_{i}$ の積, すなわち $\mathbf{z}_{i}=a_{i} \times \mathbf{n}_{i}$ として各時刻・各ビームで独立に生成する。 パラ メータ $m, s$ は以下の 2 つの方法を用いて決定する.

静的ノイズ 最も単純な方法として，ハイパーパ ラメータ $h_{m}, h_{s}$ を用いて $m=h_{m}, s=h_{s}$ とする静的 ノイズを導入する。この方法では，追加の推論コス 卜をほぼ必要とせずに $\mathrm{k}$ 近傍探索の範囲を確率的 に拡げられ, 翻訳候補の多様化が期待できる. し かし，ノイズの大きさを適切に決定するためには， データストアの分布の事前調査が必要である1).

適応的ノイズ データストアの分布の事前調査 を必要としない方法として，各時刻で予め $\mathrm{k}$ 近傍探索を行って得た分布を基にノイズの大きさ を決定する適応的ノイズを導入する。具体的に は, 通常の $\mathrm{k}$ 近傍探索を行い, $\mathrm{k}$ 近傍点までの距離の最大値 $d_{\max }$ と $\mathrm{k}$ 近傍点までの距離の標準偏差 $d_{\mathrm{std}}$ を得る. ハイパーパラメータ $h_{m}, h_{s}$ を用いて $m=h_{m} \times d_{\max }, s=h_{s} \times d_{\text {std }}$ とする. この方法では,各時刻における $\mathrm{k}$ 近傍分布に基づいてノイズの大き さを決定できるため, データストアの分布の事前調査は不要である. しかし, 各時刻で 2 回 $\mathrm{k}$ 近傍探索 を行うため，追加の推論コストが必要である.

## 3.2 乱択 $\mathrm{k$ 近傍}

前節の手法の欠点であったデータストアの分布の 事前調査または追加の推論コストを必要とせずに $\mathrm{k}$ 近傍探索の範囲を確率的に拡げる手法として，近傍点の一部をサンプリングする乱択 $\mathrm{k}$ 近傍 (図 1 の (2-iii)を導入する。具体的には， $h>1$ を満たす八 イパーパラメータ $h$ を用いて $\lfloor h \times k\rfloor$ 近傍を抽出し， $\lfloor h \times k\rfloor$ 個の近傍点から $k$ 個を一様ランダムにサン プリングすることで乱択 $\mathrm{k}$ 近傍 $\mathcal{N}^{\prime}$ を得る.この手法では，より多くの近傍点を探索範囲に含めること ができるため，翻訳候補の多様化が期待できる。ま た，データストアの分布を事前に調査する必要はな く, 各時刻ごとに 1 回のみ $\mathrm{k}$ 近傍探索を行うため,追加の推論コストも必要ない.
$ 機械翻訳を行い, その際に $\mathrm{k}$ 近傍点までの距離の平均・分散を取得した.

2） 他に Neucleus Sampling [11] の実験も行ったが，DBS と概 ね同様の結果であったため本稿では割愛する。

3） $N$ が偶数のときは中央順位の 2 文のうち文レベルの BLEU が高い文を選ぶ。

4) https://huggingface.co/bert-base-multilingual-cased
}

## 4 実験設定

## 4.1 データ・モデル・ハイパーパラメータ

実験は大別してドメイン適応の設定と一般ドメ インの設定の 2 つを行う. ドメイン適応の実験では 独英の Koran, IT, Medical, Law, Subtitles の 5 つのドメ インデータ $[12,13]$ を用いる. 一般ドメインの実験 では WMT'19独英翻訳のデータを用いる。両方の 実験において, データストアの構築およびテスト データの翻訳には, fairseq ライブラリ [14] で利用可能な WMT'19独英訓練済みモデル [15] を用いた. ビーム幅は 20 とし, 提案法のハイパーパラメータ は開発データで最も良いパラメータを選んだ. kNN 機械翻訳の詳細な設定については付録 A に記す。多様化デコード手法には DBS を用いた2)．DBS のグ ループ数は 20 とし, 多様性強度は 0.5 とした.

## 4.2 評価指標

翻訳性能 翻訳性能は，オラクル BLEU, Median BLEU，平均文長比によって評価する.オラクル BLEU（BLEU@N）は $N$-best 候補文で文レベルの BLEU [16] が最大の文をそれぞれ選定したときの BLEU であり，リランキングによる性能の上界に 相当する. 実験では BLEU@1 およびBLEU@20を 報告する。なお，BLEU@1 (1-best 訳に対するオラ クル BLEU) は通常の BLEU である. Median BLEU (MedBLEU) は $N$-best 候補文で文レベルの BLEU が 中央值である文3)をそれぞれ選定したときの BLEU であり, 全体の平均的な翻訳品質を示す. 平均文長比 (AveLen) は参照訳の文長に対する翻訳候補の文長の比の平均である.

多様性 翻訳候補の多様性の指標には BLEUbased discrepancy metric (DP) [17]を用いる。DP は，出力された候補文に含まれるユニークな $n$-gram の 多さを示す指標であり，DP が高いと多様性が高い ことを示す．指標の詳細は付録 Bに記す。

流暢性 翻訳候補の流暢性の指標には pseudolog-likelihood score (PLL) [18] を用いる. 実験では,翻訳候補全体の PLL の平均 (AvePLL) および,各 $N$-best 候補文の PLL の最大値/最小値の平均 （MaxPLL/MinPLL）を報告する。また，比較のため に参照訳の AvePLL も報告する. 指標の詳細は付録 B 記す．PLLを計算するための MLM モデルに は多言語 BERT ${ }^{4}$ [19] を使用した.

 & - &  & - & - &  & $-3.35_{ \pm 0.82}$ \\

表 2 一般ドメイン (WMT'19独英翻訳) の評価結果

 & - & - & -2.93 \\

## 5 実験結果

## 5.1 ドメイン適応

ドメイン間の平均をとった結果を表 1 に示す.各ドメインの結果は付録の表 5 に示す. 提案法の kNN+DBS は DBS に対して DP が向上した. kNN に比べて BLEU@20が低下したが, その減少幅は Baseline とDBS の差と同程度である.また，摂動 を加えることで $\mathrm{kNN+DBS}$ と比較して DP および BLEU@20 が改善した.なお，摄動の種類によって BLEU および DP に大きな差はなかった. kNN は Baseline と比較して若干 PLLが低いが，提案法では $\mathrm{kNN}$ と比較して PLL はほぼ毀損されず，参照訳の PLL と比べてもその差は小さい. 以上より，ドメイ ン適応の設定で提案法は翻訳精度と流暢性を低下さ せることなく翻訳候補の多様性を向上させられるこ とが示された.

## 5.2 一般ドメイン

評価結果を表 2 に示す. 提案法である $\mathrm{kNN}+\mathrm{DBS}$ を DBS と比較すると, DP と各種 BLEU が向上して おり，摂動を加えることで BLEU を維持したままさ らに DP が向上している。また，提案法の PLL は参照訳の PLL と比較して高く, Baseline と比較しても 低下していない。よって，一般ドメインにおいても 提案法によって翻訳精度と流暢性を維持しながら多様化の促進がみられた。

図 2 IT ドメインの乱択 $\mathrm{k}$ 近傍における，摄動の大きさ $h$ (横軸) と翻訳精度や多様性 (縦軸) への影響. $h=1$ のス コアは摂動無し，すなわち DBS+kNN の値である。

## 5.3 翻訳性能と多様性のトレードオフ

摂動の大きさによる翻訳精度や多様性への影響を 観察するため，IT ドメインの乱択 $\mathrm{k}$ 近傍における摂動の大きさとDP および BLEU の関係を図 2 に示す.図より，DP と各種 BLEU はトレードオフ関係にあ り，提案法は摂動の大きさを変化させることで多様性と翻訳精度を調整可能であることが示された。

## 6 おわりに

本研究では, $\mathrm{kNN}$ 機械翻訳の $\mathrm{k}$ 近傍探索時に摂動 を加えることで探索範囲を確率的に拡げる手法を 提案し, この手法によって翻訳精度と流暢性を維持 しつつ翻訳候補の多様化ができることを示した。ま た，提案法において摂動の大きさを変化させること で多様性と翻訳精度を調整できることを報告した。今後は, $\mathrm{kNN}$ 機械翻訳の推論速度を向上させる手法 の適用や，より多様性を向上させられる手法の検討 を行いたい。

## 謝辞

本研究は JSPS 科研費 JP21H05054，JP21K17801 の 助成を受けたものです.

## 参考文献

[1] Jiwei Li and Dan Jurafsky. Mutual information and diverse decoding improve neural machine translation. arXiv preprint arXiv:1601.00372, 2016.

[2] Kevin Gimpel, Dhruv Batra, Chris Dyer, and Gregory Shakhnarovich. A systematic exploration of diversity in machine translation. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 11001111, Seattle, Washington, USA, October 2013. Association for Computational Linguistics.

[3] Ashwin Vijayakumar, Michael Cogswell, Ramprasaath Selvaraju, Qing Sun, Stefan Lee, David Crandall, and Dhruv Batra. Diverse beam search for improved description of complex scenes. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 32, No. 1, Apr. 2018.

[4] Markus Freitag and Yaser Al-Onaizan. Beam search strategies for neural machine translation. In Proceedings of the First Workshop on Neural Machine Translation, pp. 56-60, Vancouver, August 2017. Association for Computational Linguistics.

[5] Wen Zhang, Yang Feng, Fandong Meng, Di You, and Qun Liu. Bridging the gap between training and inference for neural machine translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 43344343, Florence, Italy, July 2019. Association for Computational Linguistics.

[6] Urvashi Khandelwal, Angela Fan, Dan Jurafsky, Luke Zettlemoyer, and Mike Lewis. Nearest neighbor machine translation. In International Conference on Learning Representations, 2021.

[7] Zhixian Yang, Renliang Sun, and Xiaojun Wan. Nearest neighbor knowledge distillation for neural machine translation. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5546-5556, Seattle, United States, July 2022. Association for Computational Linguistics.

[8] Xin Zheng, Zhirui Zhang, Junliang Guo, Shujian Huang, Boxing Chen, Weihua Luo, and Jiajun Chen. Adaptive nearest neighbor machine translation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 368-374, Online, August 2021. Association for Computational Linguistics.

[9] Dexin Wang, Kai Fan, Boxing Chen, and Deyi Xiong. Efficient cluster-based $k$-nearest-neighbor machine translation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2175-2187, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[10] Yuxian Meng, Xiaoya Li, Xiayu Zheng, Fei Wu, Xiaofei Sun, Tianwei Zhang, and Jiwei Li. Fast nearest neighbor machine translation. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 555-565, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[11] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The curious case of neural text degeneration. In International Conference on Learning Representations, 2020.

[12] Philipp Koehn and Rebecca Knowles. Six challenges for neural machine translation. In Proceedings of the First Workshop on Neural Machine Translation, pp. 28-39, Vancouver, August 2017. Association for Computational Linguistics.
[13] Roee Aharoni and Yoav Goldberg. Unsupervised domain clusters in pretrained language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7747-7763, Online, July 2020. Association for Computational Linguistics.

[14] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[15] Nathan Ng, Kyra Yee, Alexei Baevski, Myle Ott, Michael Auli, and Sergey Edunov. Facebook FAIR's WMT19 news translation task submission. In Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 314-319, Florence, Italy, August 2019. Association for Computational Linguistics.

[16] Boxing Chen and Colin Cherry. A systematic comparison of smoothing techniques for sentence-level BLEU. In Proceedings of the Ninth Workshop on Statistical Machine Translation, pp. 362-367, Baltimore, Maryland, USA, June 2014. Association for Computational Linguistics.

[17] Raphael Shu, Hideki Nakayama, and Kyunghyun Cho. Generating diverse translations with sentence codes. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1823-1827, Florence, Italy, July 2019. Association for Computational Linguistics.

[18] Julian Salazar, Davis Liang, Toan Q. Nguyen, and Katrin Kirchhoff. Masked language model scoring. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2699-2712, Online, July 2020. Association for Computational Linguistics.

[19] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[20] Jeff Johnson, Matthijs Douze, and Hervé Jégou. Billion-scale similarity search with GPUs. IEEE Transactions on Big Data, Vol. 7, No. 3, pp. 535-547, 2019.

## A 実験設定の詳細

データストアの構築および近傍探索には FAISS [20] を 用いた. 近傍数 $k$ および $\mathrm{k}$ 近傍確率の温度 $T$, 補間係数 $\lambda$ は，ドメイン適応では Khandelwal ら [6] のパラメータを用 い，一般ドメインでは開発データで $k=\{16,32,64,128\}$, $T=\{10,100,1000\}, \lambda=\{0.1,0.2, \ldots, 0.9\}$ でグリッドサー チを行い，最良のパラメータを選んだ. 各手法で使用し たハイパーパラメータを表 3 に示す.

## B 評価指標の詳細

ソース文集合を $\mathcal{X}=\left.\{x_{1}, \ldots, x_{M}\right.\}$ ，ソース文 $x_{k}$ に対す る $N$-best 候補文集合を $\mathbf{B}_{k}=\left.\{\hat{y}_{k}^{1}, \ldots, \hat{y}_{k}^{N}\right.\}$ とする.

多様性の指標 DP はソース文集合 $X$ に対する $\mathrm{N}$-best 候補文集合を $\mathbb{N}=\left.\{\mathbf{H}_{1}, \ldots, \mathbf{H}_{N}\right.\} ; \mathbf{H}_{n}=\left.\{\hat{y}_{1}^{n}, \ldots, \hat{y}_{M}^{n}\right.\}$ としたと き，式 (4)のように計算される。なお, $\operatorname{BLEU}\left(\mathbf{H}, \mathbf{H}^{\prime}\right)$ は参照 $\mathbf{H}^{\prime}$ に対する仮説 $\mathbf{H}$ のコーパス単位の BLEU である.

$
\operatorname{DP}(\mathbb{H})=\frac{1}{N(N-1)} \sum_{\mathbf{H} \in \mathbb{H}} \sum_{\mathbf{H}^{\prime} \in \mathbb{H}, \mathbf{H}^{\prime} \neq \mathbf{H}} 1-\operatorname{BLEU}\left(\mathbf{H}, \mathbf{H}^{\prime}\right)
$

流暢性の指標 PLL は文 $y=\left(w_{1}, \ldots, w_{|y|}\right)$ に対して式 (5) のように計算される.ここで，式中の $y_{\backslash t}$ は時刻 $t$ のトー クン $w_{t}$ がマスクされた文であり， $P_{\mathrm{MLM}}\left(w_{t} \mid y_{\backslash t}\right)$ は MLM モデルがマスクされた文 $y_{\backslash t}$ から元のトークン $w_{t}$ を予測する確率である。また，MaxPLL，MinPLL，AvePLLは システム出力を $\mathbb{W}=\left.\{\mathbf{B}_{1}, \ldots, \mathbf{B}_{M}\right.\}$ とするとき，それぞれ 式 (6)，式 (7)，式 (8) のように定義される。

$
\operatorname{PLL}(y)=\sum_{t=1}^{|y|} \log P_{\mathrm{MLM}}\left(w_{t} \mid y_{\backslash t}\right)
$

$\operatorname{MaxPLL}(\mathbb{W})=\frac{1}{|\mathbb{W}|} \sum_{\mathbf{B} \in \mathbb{W}} \max _{\hat{y} \in \mathbf{B}}\left(\frac{1}{|\hat{y}|} \operatorname{PLL}(\hat{y})\right)$

$
\operatorname{MinPLL}(\mathbb{W})=\frac{1}{|\mathbb{W}|} \sum_{\mathbf{B} \in \mathbb{W}} \min _{\hat{y} \in \mathbf{B}}\left(\frac{1}{|\hat{y}|} \operatorname{PLL}(\hat{y})\right)
$

$
\operatorname{AvePLL}(\mathbb{W})=\frac{1}{|\mathbb{W}|} \sum_{\mathbf{B} \in \mathbb{W}}\left(\frac{1}{|\mathbf{B}|} \sum_{\hat{y} \in \mathbf{B}}\left(\frac{1}{|\hat{y}|} \operatorname{PLL}(\hat{y})\right)\right)
$

## C 推論コスト

ドメイン適応実験における各ドメインおよび一般ドメ イン (WMT) の推論の速さ (tokens/s) を表 4 に示す. 表中 の報告值は fairseq の出力ログに記載されている値であ る. 表より，提案法のうち DBS $+\mathrm{kNN}$ ，静的ノイズ，乱択 $\mathrm{k}$ 近傍では推論の速さが kNN と比較して若干低下する傾向があり，適応的ノイズでは推論速度の低下が顕著であ ることがわかる。

表 4 推論の速さ. 単位は tokens/s. 行ラベルは (1) Baseline, (2) DBS, (3) kNN, (4) DBS+kNN, (5) 適応的ノイズ, (6) 静的ノイズ，(7) 乱択 $\mathrm{k}$ 近傍である.

## D 各ドメインの結果

ドメイン適応設定の評価結果を表 5 に示す.

表 5 各ドメインの評価結果. 行ラベルの (1) (7) は 表 4 と同一，列ラベルは(1) DP，(2) BLEU@1，(3) BLEU@20，

(4) MedBLEU, (5) MaxPLL, (6) MinPLL, (7) MaxPLL である.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 文単位の Nbest 候補制約に基づく文書翻訳

駒田 啓伍 ${ }^{1}$ 森下睦 2 鈴木潤 1
1 東北大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
keigo.komada.r6@dc. tohoku.ac.jp

## 概要

現在の機械翻訳モデルは主に 1 文から 1 文への翻訳を対象としており, 単文に対しては高い精度を達成できるものの，文書全体としての表現の一貫性な どに関しては課題が残っている。 また従来の文書翻訳手法は, 文書から文書への長い系列変換を行うこ とによる翻訳精度低下など実用上の問題が残ってい た. 本研究では, この問題を軽減するために, 単文翻訳モデルと文書翻訳モデルの両方を活用する手法 を提案する. 具体的には，単文翻訳モデルが出力し た翻訳候補をもとに，文書翻訳モデルによって適切 な翻訳文の組合せを求め文書翻訳を実現する. 実験 により，従来の文書翻訳手法と比較して提案手法は 高い文書翻訳精度が得られることが示せた.

## 1 はじめに

機械翻訳技術の進展により，機械翻訳による翻訳品質は実用レベルに達し, 既に商用システムとして 一般にも広く使われている。これにより，機械翻訳 の研究が完結したかというと, 必ずしもそうではな い. 一文単位の翻訳 (以下「単文翻訳」と略記), 特 にデータが集めやすいドメインの文章の翻訳に関し ては十分に実用レベルと言えるが，例えば文章全体 を翻訳する際などに表現やスタイルが一貫した翻訳結果を得ることは, 現状の機械翻訳技術でも容易で はない. 実際に，機械翻訳の研究コミュニティにお いても，文書単位で一貫性のある翻訳（以下「文書翻訳」と略記）の実現は，喫緊に取り組むべき課題 として認識されている.

一貫性のある文書翻訳結果を得たい場合，安直に は文書全体を一文とみなして処理すれば，原理的に は単文翻訳モデルでも翻訳することはできる.しか しこういった方法は一般的には現実的ではない. そ れは，現在広く用いられている Transformer モデル によるニューラル翻訳は，本質的に文長が長くなる と性能が急激に悪くなる性質を持つからである [1].
また，別観点の問題として，高い翻訳品質を達成す るには多くのデータを必要とすることが一般的であ る.しかし, 文書単位の対訳データは, 文単位の対訳データに比べてそれほど多くない. これらの現状 から，現在の文単位のニューラル翻訳をそのまま文書翻訳に転用しても，良い結果が得られない。

これらの背景から，本稿では文書翻訳の性能向上 を目標に新たな方法を提案する。具体的には，従来用いられてきた Transformer ベースの単文翻訳モデ ルに対して, 少量の文書対訳データを用いて追加学習1)を行うことで，データ量の問題に対応する。ま た，単文翻訳モデルが生成する複数の翻訳候補を文書翻訳時の制約と考え，文単位の制約付き生成をす ることで長文を生成する際の翻訳品質の劣化を防 ぎ文書単位の翻訳を獲得する。実験では，chat 及び news 文書に対して実験を行い，単文翻訳で各文を独立に翻訳した結果を並べる形式で文書を翻訳するよ りも，BLEU スコアの意味で高い翻訳精度を達成し たことを報告する。

## 2 文書翻訳

機械翻訳システムの翻訳結果を文書全体で評価し た時，整合性や一貫性の観点で人間に及ばない場合 が多いことが知られている [2].これは，一般的な ニューラル機械翻訳モデルが 1 文から 1 文への翻訳 を対象としているため，文書全体で見た際に表現や スタイルの一貫性が欠如しがちなことが主な要因と して挙げられる.

この問題を解決するために，翻訳時に前後の文 (文脈)を考慮する文書翻訳の手法がいくつか提案 されている. 例えば，Tiedemann\&Scherrer ら [3] は，入力文と出力文に 1 つ前の文を結合し，2文ずつモ デルに入力することで文脈を考慮する手法を提案し た.また，Junczys-Dowmunt [4] はこれを拡張し，文書全体を入出力とするモデルを提案した. これらの 手法は，シンプルかつ効果的であることが検証され

1）本稿では fine-tuning を「追加学習」と表記する

図 1 文書翻訳のアルゴリズムの概略図 $(N=10$ の場合)

ているものの，現在の Transformer モデルは文長が 長くなるにつれ計算量が大幅に増加し，翻訳精度が 低下する欠点 [1] が指摘されており，実用上の問題 が残っている。

本研究の提案法は, 従来法の課題である翻訳時の 計算量を抑えつつ文書全体を考慮した翻訳を実現す る方法となる．次節以降では，提案手法の詳細を説明する。

## 3 提案法

本研究では，通常の 1 文から 1 文へ翻訳を行うモ デル (単文翻訳モデル) と，文書全体を入力し文書全体を出力するモデル (文書翻訳モデル) の両方を活用 することを考える．具体的には，単一ドメインの対訳コーパスで追加学習した単文翻訳モデルで文書中 の各文を独立に翻訳し翻訳候補を得た上で，それら を文書単位の対訳コーパスで追加学習した文書翻訳 モデルの生成制約とする．単文翻訳モデルを単一ド メインに特化させるように追加学習したことで，ド メイン不明の入力文に対してもその文のドメインと 一致する単文翻訳モデルが存在していれば，よい翻訳を出力できるようになることを期待している.こ れにより，文書翻訳モデルは新たに文を生成するの ではなく，単文翻訳モデルで得られた翻訳文をもと に文書全体として適切な文の組合せを求めることと なる.

以下に本手法の詳細な生成手順を述べる。 図 1 の ように単一ドメインの対訳コーパスで追加学習した 単文翻訳モデルを複数個，文書翻訳モデルを 1 つ用意した。以下において $i$ は処理対象の単文が文書内 において $i$ 番目であることを表す。

1. 候補文を生成 入力文書内の $i$ 番目の文を翻訳し て，各単文翻訳モデルから $N$ 個ずつ候補文を 出力させる.

2. 候補文書を生成 前の $(i-1)$ 番目ループで残った表 1 追加学習用及び評価用データの統計量.

候補文書の末尾に候補文を結合する。この操作 を全ての候補文書と候補文の組合せに対して 行って新たな候補文書とする。 $i=0$ の時は，前 のループで残った候補文書は空集合とする。

3. 候補文書を評価入力文書の全体を参照しなが ら，文書翻訳モデルで候補文書を評価する

4. beam search 評価して得られた尤度をもとに，候補文書から $N$ 個だけ選択して次のループに 残す. 1 に戻ってループする.

ループ終了 全ての文に対して操作が終了したら, $N$ 個の候補文書のうち最も尤度が高かったもの を提案法の出力とする。

beam search によって Nbest 候補制約を与えたの は，制約しない場合はと生成した文書数が，文数に 対して指数関数的に増加して，生成した文書の評価 をするのに極めて長い計算時間を必要するからで ある.

## 4 実験

データ 追加学習用および評価用データとして,文書単位の情報をもつ chat および news ドメインの 対訳コーパスを用意した，表 1 にそれらの文書数お よび文数を示す. chatドメインの対訳コーパスとし てBPersona-chat[5]を用いた。同様に, news ドメイン の対訳コーパスとして WMT-2020ニュース翻訳タス クの開発/評価セット (newsdev2020, newstest2020) [6] を使用した. BPersona-chat は文書の単位でランダム に一部を評価用として切り出し，残りを追加学習用 とした。また，news ドメインは newsdev2020を追加学習用, newstest2020を評価用とした.

モデル単文翻訳の事前学習済み翻訳モデルとし て，WMT-2022で好成績を得た NT5 チームが学習し た Transformer [7] ゙ーースの翻訳モデル [8]を用いた.以下，この事前学習済みモデルをベースモデルと呼 ぶ. 次に，このベースモデルから独立に 4 つの翻訳 モデルを追加学習により獲得した.
表 2 文書翻訳モデル DocMT (news\&chat) と単文翻訳モデ ル SentMT (news\&chat) の文書翻訳結果を sacrebleu で評価 した際の BLEU スコア

表 3 文書翻訳モデル DocMT (news\&chat) で単文翻訳と同 じ翻訳をした場合との BLEU スコア

1. DocMT (news\&chat)：news 及び chat ドメイン両方の文書対訳コーパスを使って追加学習をし た文書翻訳モデル

2. SentMT(news\&chat): news 及び chat ドメイン 両方の文書対訳コーパスから文書情報を取り除 き文単位の追加学習をした単文翻訳モデル

3. SentMT(news): news ドメインの文書対訳コー パスから文書情報を取り除き文単位の追加学習 をした単文翻訳モデル

4. SentMT(chat)：chat ドメインの文書対訳コーパ スから文書情報を取り除き文単位の追加学習を した単文翻訳モデル

文書翻訳モデルは Junczys-Dowmunt [4] の手法を参考に，文書中の各文を結合し学習した. 提案法の説明で述べたように，SentMT (chat) と SentMT (news) は，候補の生成のために利用する。また，DocMT が 主たる文書翻訳モデルである. 前記 SentMT (chat) と SentMT(news) モデルが生成した候補を制約とし て文書翻訳をおこなう．SentMT (news\&chat) は，提案法 DocMT (news\&chat) と比較して文書単位で学習 したか文単位で学習したかの違いだけのモデルにな る。なお翻訳モデルの学習には fairseq ツールキッ 卜 [9] を使用した. また，文書翻訳を実行するため に fairseq ツールキットを活用しつつ制約付き翻訳用のコードを独自に作成した.

評価指標本実験の評価は，WMT-2020 の標準評価ツールである sacrebleu [10] を用いて BLEU スコ ア [11]にて実施した.表 4 提案法の候補文を生成するために用いた，ドメイン ごとに追加学習した単文翻訳モデルの BLEU スコア

## 4.1 実験結果

表 2 に主たる実験結果を示す. Ja-En の chat 評価 データに対する翻訳結果を除いて，提案法の BLEU スコアの方が高いという結果になった。この結果か ら，提案法である文書翻訳は，単文翻訳モデルが文書内の文を一文ずつ翻訳して結合する方法（ベース ライン）により文書を翻訳するよりも，概ね良好な 結果が得られることがわかった。

表 3 に，DocMT(news\&chat) に対して単文翻訳 から得た候補を用いずに，通常の単文翻訳と 同様に翻訳した際の結果を示す。また，表 2 の DocMT (news\&chat) および SentMT (news\&chat) からの BLEU スコアの差分を示す. 差分が全てマイナス の値になっているのは，DocMT (news\&chat) で単文翻訳と同じ翻訳をすると，ベースラインである SentMT (news\&chat) よりもさらにスコアが悪くなる ことを示している.この結果から，提案法で導入し た単文翻訳の候補を制約として文書翻訳に利用する ことの有効性が示された. 使うモデルが完全に同じ でも，制約を入れるか入れないかでこのような大き な違いが見られた理由は，文書翻訳の場合は，翻訳文の文長が単文翻訳に比べて長くなることが要因と 考えられる．例えば，学習データに現れない文長の 翻訳をするとき，極端に翻訳品質が悪くなることが 知られている $[12,13]$. また，モデル学習時と翻訳時の状況のずれいわゆる exposure bias に起因する要因もあると考えられる $[14,1]$.

## 4.2 分析/考察

単一のドメインの学習結果 表 4 に，提案法であ る DocMT の候補を生成した単文翻訳 SentMT (chat) と SentMT (news) の 1 ベスト翻訳の性能を示す. chat 評価データを SentMT (chat) にて翻訳する場合，あ るいは，news 評価データを SentMT (news) にて評価 する場合のようにモデルと評価データのドメイン が一致するときは高いスコアが得られた. 反対にモ デルと評価データのドメインが一致しない場合は
表 5 候補文のドメインの内訳と，単文翻訳モデルが候補文を生成した段階での候補文の順位（0 位から）につい ての各種統計量（chatドメインの対訳コーパスにおける 場合）

BLEU スコアが大幅に悪くなった. もう一点着目す べきこととして, 表 3 の DocMT (news\&chat) の結果 は，評価データとモデルのドメインが一致している 場合の結果よりもわずかに良い結果となっている. この結果から, DocMT (news\&chat) は与えられた候補 の中からより良い翻訳候補を選択できたことが示唆 される.

モデルの選択結果の統計量 提案法が実際に出力した文書を構成した候補文に注目して，単文モ デルが生成した候補文のドメインの内訳，モデル が候補文を生成した段階での候補文の尤度による 順位に関するいくつかの統計量の 2 つについて,表 5 に chat ドメインの文書を提案法が翻訳した場合，表 6 に news ドメインの文書を提案法が翻訳し た場合を示す ${ }^{2}$. 選択された候補文の内訳に注目 すると, chatドメインのデータを翻訳した場合は SentMT (news) 由来の候補文があまり混在しなかっ たのに対して, news ドメインのデータを翻訳した場合は SentMT (chat) 由来の候補文が $30 \%$ 以上も混在 していた。選択した候補文の順位について，共通す る傾向としてどちらも順位の高い（0に近い側）候補を選択したことが分かった. 平均は news ドメイ ンの文書を翻訳した場合の方が低かった。また翻訳 する文書と候補文のドメインが異なる場合は，選択 された候補文の順位の標準偏差は大きくなる傾向が 見られた.

翻訳結果の一貫性の定性評価 図 2 に提案法に よる実際の chat 文書翻訳結果を示す.この出力の 中にはSentMT (news) の候補文が含まれているが， その候補文でも chat ドメインのようにくだけた 印象の語彙が使われているのが分かった。一方で SentMT (news) に限らず，SentMT (chat) の候補文の 一部であってもです・ます調の部分があり，正解

2）選択された候補文の尤度による順位に関する分布や，文書内で何文目なのかという位置についての情報の詳細は付録の 表 7, 9,10,11,12を参照表 6 候補文のドメインの内訳と，単文翻訳モデルが候補文を生成した段階での候補文の順位（0位から）について の各種統計量 (news ドメインの対訳コーパスにおける 場合）

 \\

図 2 提案法による Chat 文書の En-Ja 翻訳結果

データのような表現が他の SentMT (chat) の候補文 に存在していたがそれを選択していなかった。ま た，誤訳も見られた。このように，提案法によって スコアが向上したが，まだ改善すべき点は残ってい ることが分かった.

## 5 おわりに

本研究では，単文翻訳モデルが出力した翻訳候補 をもとに，文書翻訳モデルによって適切な翻訳文 の組合せを求め，文書翻訳を実現する手法を提案 した. 結果として chat及び news ドメインの対訳 コーパスに対してこの提案法は，単文翻訳の結果を 結合して文書を構成する手法よりも自動評価におい てより高いスコアを得ることができた。しかし実際 の出力を見ると，文書内での口調・語尾の使用の統一は完全になされているわけではなく，誤訳も確認 された。

簡単に準備できて，それなりに品質の高いデータ が今回用いた chat と news データしかなかったため 2 種類のデータのみで実験を行ったが，より広範な 性能を評価するためには，評価データを増やす必要 がある. 今後，文書翻訳の性能を高めるために，こ れらの評価データおよび追加学習用のデータを構築 していきたいと考えている.

## 謝辞

本研究は JST ムーンショット型研究開発事業 JPMJMS2011 (fundamental research) の助成を受けて 実施されたものである.

## 参考文献

[1] Marc'Aurelio Ranzato, Sumit Chopra, Michael Auli, and Wojciech Zaremba. Sequence level training with recurrent neural networks. In 4th International Conference on Learning Representations, ICLR 2016.

[2] Samuel Läubli, Rico Sennrich, and Martin Volk. Has machine translation achieved human parity? a case for document-level evaluation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 47914796, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[3] Jörg Tiedemann and Yves Scherrer. Neural machine translation with extended context. In Proceedings of the Third Workshop on Discourse in Machine Translation, pp. 82-92, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[4] Marcin Junczys-Dowmunt. Microsoft translator at WMT 2019: Towards large-scale document-level neural machine translation. In Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 225-233, Florence, Italy, August 2019. Association for Computational Linguistics.

[5] Yunmeng Li, Jun Suzuki, Makoto Morishita, Kaori Abe, Ryoko Tokuhisa, Ana Brassard, and Kentaro Inui. Chat translation error detection for assisting cross-lingual communications. In Proceedings of the 3rd Workshop on Evaluation and Comparison of NLP Systems, pp. 88-95, Online, November 2022. Association for Computational Linguistics.

[6] Loïc Barrault, Magdalena Biesialska, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Matthias Huck, Eric Joanis, Tom Kocmi, Philipp Koehn, Chi-kiu Lo, Nikola Ljubešić, Christof Monz, Makoto Morishita, Masaaki Nagata, Toshiaki Nakazawa, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2020 conference on machine translation (WMT20). In Proceedings of the Fifth Conference on Machine Translation, pp. 1-55, Online, November 2020. Association for Computational Linguistics.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, Vol. 30, 2017.

[8] Makoto Morishita, Keito Kudo, Yui Oka, Katsuki Chousa, Shun Kiyono, Sho Takase, and Jun Suzuki. Nt5 at wmt 2022 general translation task. In Proceedings of the Seventh Conference on Machine Translation, pp. 318-325, Abu Dhabi, December 2022. Association for Computational Linguistics.

[9] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[10] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.
[11] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[12] Masato Neishi and Naoki Yoshinaga. On the relation between position information and sentence length in neural machine translation. In Proceedings of the 23rd Conference on Computational Natural Language Learning (CoNLL), pp. 328-338, Hong Kong, China, November 2019. Association for Computational Linguistics.

[13] Shun Kiyono, Sosuke Kobayashi, Jun Suzuki, and Kentaro Inui. SHAPE: Shifted absolute position embedding for transformers. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3309-3321, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[14] Wen Zhang, Yang Feng, Fandong Meng, Di You, and Qun Liu. Bridging the gap between training and inference for neural machine translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4334 4343, Florence, Italy, July 2019. Association for Computational Linguistics.
表 7 SentMT(chat)が chat ドメインの対訳コーパスにおい て En-Ja 翻訳する際に出力した各順位の候補文が選択され た回数と, 文書内で何文目に選択されたかという位置に 関する各種統計量

表 8 SentMT(chat) が chat ドメインの対訳コーパスにおい て Ja-En 翻訳する際に出力した各順位の候補文が選択され た回数と, 文書内で何文目に選択されたかという位置に 関する各種統計量

表 9 SentMT(chat) が news ドメインの対訳コーパスにお いて En-Ja 翻訳する際に出力した各順位の候補文が選択さ れた回数と, 文書内で何文目に選択されたかという位置 に関する各種統計量

表 10 SentMT(news) が news ドメインの対訳コーパスに おいて En-Ja 翻訳する際に出力した各順位の候補文が選択 された回数と，文書内で何文目に選択されたかという位置に関する各種統計量

表 11 SentMT(chat)が news ドメインの対訳コーパスにお いて Ja-En 翻訳する際に出力した各順位の候補文が選択さ れた回数と, 文書内で何文目に選択されたかという位置 に関する各種統計量

表 12 SentMT(news) が news ドメインの対訳コーパスに おいて Ja-En 翻訳する際に出力した各順位の候補文が選択 された回数と，文書内で何文目に選択されたかという位置に関する各種統計量


# 近傍文検索を用いたサブセット kNN ニューラル機械翻訳

出口 祥之 ${ }^{1,2}$ 渡辺太郎 ${ }^{1}$ 松井 勇佑 ${ }^{3}$ 内山 将夫 ${ }^{2}$ 田中 英輝 ${ }^{2}$ 隅田 英一郎 ${ }^{2}$
1 奈良先端科学技術大学院大学 2 情報通信研究機構 3 東京大学
${ }^{1}$ \{deguchi.hiroyuki.db0, taro\}@is.naist.jp ${ }^{3}$ matsui@hal.t.u-tokyo.ac.jp
${ }^{2}$ \{mutiyama, hideki.tanaka, eiichiro.sumita\}@nict.go.jp

## 概要

kNN-MT [1] は，翻訳時に用例検索を組み込むこ とで，モデルを追加学習することなくニューラル機械翻訳（NMT）の精度を改善する。しかし，翻訳中 の各時刻で，対訳データの全目的言語トークンに対 して近傍探索を行うため, 翻訳速度が通常の NMT の 100〜1000 倍ほど遅くなるという問題点がある.本研究では検索対象を入力文の近傍事例に絞るこ とで kNN-MT の高速化を図る。また，ルックアップ テーブルを用いた効率的な距離計算により，さらな る高速化を目指す. 複数の翻訳実験を行ったとこ ろ, 従来法より最大で 1.6 BLEU ポイント精度が改善し, 最大 132.2 倍速度が改善することを確認した.

## 1 はじめに

Transformer [2] ニューラル機械翻訳（Neural Machine Translation; NMT）は, 従来の統計的手法より 翻訳精度と流暢性が高く, 注目を浴びている。近年，訓練データと異なるドメインの翻訳精度が低下 する課題に対処するため, Transformer NMT に用例検索の手法を組み込んだ kNN-MT [1] が提案されて いる． kNN-MT は，訓練済み NMT モデルの中間表現を用いて，データストアと呼ばれるキー・值メモ リに対訳データを格納し，翻訳中の各時刻で $k$ 近傍事例を探索する. これにより, モデルを追加学習す ることなく翻訳精度を改善できることが報告されて いる. しかし, 従来の kNN-MT では対訳データの目的言語側の全トークンを対象に近傍探索するため,翻訳速度が通常の Transformer NMT より 100〜1000 倍ほど遅くなるという問題点がある.

本研究では入力文の近傍事例のみに検索対象を 絞ることで kNN-MT の高速化を図る。また，ルック アップテーブルを用いて各事例との距離を効率的に 求めることで，さらなる高速化を目指す. WMT19 独英翻訳とドメイン適応翻訳実験を行い，提案法は従来法より翻訳精度が最大で $1.6 \mathrm{BLEU}$ ポイント,翻訳速度が最大で 132.2 倍改善することを確認した.

## 2 kNN-MT

データストア構築 一般的な NMT は，原言語文 $\boldsymbol{x}=\left(x_{1}, x_{2}, \ldots, x_{|x|}\right)^{\top} \in \mathscr{V}_{X}^{|\boldsymbol{x}|}$ が与えられたとき目的言語文 $\boldsymbol{y}=\left(y_{1}, y_{2}, \ldots, y_{|\boldsymbol{y}|}\right)^{\top} \in \mathscr{V}_{Y}^{|\boldsymbol{y}|}$ を先頭から順に 生成する. ただし， $|\boldsymbol{x}|,|\boldsymbol{y}|$ はそれぞれ文 $\boldsymbol{x}, \boldsymbol{y}$ の長 さ， $\mathscr{T}_{X}, \mathscr{T}_{Y}$ はそれぞれ入力語彙と出力語彙を表す.時刻 $t$ に出力されるトークン $y_{t}$ は，原言語文 $\boldsymbol{x}$ と 時刻 $t$ までに生成した目的言語トークン系列 $\boldsymbol{y}_{<t}$ か ら計算される確率 $p\left(y_{t} \mid \boldsymbol{x}, \boldsymbol{y}_{<t}\right)$ に基づき生成される. kNN-MT は，翻訳前に予め，データストアと呼ばれ る $D$ 次元ベクトルと語彙の組からなるキー・值メ モリ $\mu \subseteq \mathbb{R}^{D} \times \mathscr{V}_{Y}$ を構築する.キーは NMT モデル に teacher forcing 方式 [3] で対訳文対 $(\boldsymbol{x}, \boldsymbol{y})$ を入力し たときに得られるデコーダ最終層の中間表現，値は キーベクトルが得られたときに出力されるべき正解 の目的言語トークン $y_{t} \in \mathscr{T}_{Y}$ であり，以下のような 式で定義される.

$
M=\left.\{\left(f\left(\boldsymbol{x}, \boldsymbol{y}_{<t}\right), y_{t}\right)|(\boldsymbol{x}, \boldsymbol{y}) \in \mathscr{D}, 1 \leq t \leq| \boldsymbol{y} \mid\right.\} .
$

なお， $D$ は対訳データ， $f: \mathscr{V}_{X}^{|x|} \times \mathscr{V}_{Y}^{t-1} \rightarrow \mathbb{R}^{D}$ は原言語文と生成済みトークンからデコーダ最終層の $D$次元中間表現ベクトルを得るような NMT モデルを 表す関数とする。本研究では順伝播層への入力べク トルをキーとする.

翻訳時 出力トークン $y_{t} \in \mathscr{T}_{Y}$ の生成確率は $\mathrm{kNN}$確率とMT 確率の線形補間により計算される.

$
\begin{aligned}
& P\left(y_{t} \mid \boldsymbol{x}, \boldsymbol{y}_{<t}\right) \\
& =\lambda p_{\mathrm{kNN}}\left(y_{t} \mid \boldsymbol{x}, \boldsymbol{y}_{<t}\right)+(1-\lambda) p_{\mathrm{MT}}\left(y_{t} \mid \boldsymbol{x}, \boldsymbol{y}_{<t}\right),
\end{aligned}
$

なお，入はそれぞれの確率に対する重み付けのハイ パーパラメータである．時刻 $t$ におけるクエリべク トルを $f\left(\boldsymbol{x}, \boldsymbol{y}_{<t}\right)$, データストア $M$ に対する $k$ 近傍 の上位 $i$ 番目のキー・值をそれぞれ $\boldsymbol{k}_{i} \in \mathbb{R}^{D}, v_{i} \in \mathscr{T}_{Y}$

図 1 サブセット kNN-MT

とし， $を \mathrm{kNN}$ 確率の温度パラメータとすると， $p_{\mathrm{kNN}}$ は次式のように計算される.

$p_{\mathrm{kNN}}\left(y_{t} \mid \boldsymbol{x}, \boldsymbol{y}_{<t}\right) \propto \sum_{i=1}^{k} \mathbb{1}_{y_{t}=v_{i}} \exp \left(\frac{-\left.\|\boldsymbol{k}_{i}-f\left(\boldsymbol{x}, \boldsymbol{y}_{<t}\right)\right.\|_{2}^{2}}{\tau}\right)$,

## 3 提案法: サブセット kNN-MT

提案法（図 1）は入力文の情報を活用することで 翻訳開始時に探索対象を削減する（3.1 節）。また，翻訳中の各時刻で，絞り込んだ事例の中から上位 $k$近傍を求める際，効率的な計算手法を用いることで クエリとキーの間の距離を高速に求める（3.2 節）。

## 3.1 サブセット探索

文データストア構築 提案法では文データストア $\delta$ を構築して対訳データの原言語文の文べクトルを キー，目的言語文を值として格納する.

$
\mathcal{S}=\{(h(\boldsymbol{x}), \boldsymbol{y}) \mid(\boldsymbol{x}, \boldsymbol{y}) \in \mathscr{D}\},
$

ただし, $h: \mathscr{V}_{X}^{|x|} \rightarrow \mathbb{R}^{D^{\prime}}$ は原言語文の $D^{\prime}$ 次元文べク トルを得る文エンコーダモデルを表す関数とする。

翻訳時 翻訳開始時に，入力文の文ベクトルとの ユークリッド距離が近い $n$ 近傍文を文データストア $\delta$ から探索し, $n$ 近傍文集合 $\hat{\delta} \subset \mathcal{S}$ を得る. ここで， kNN-MT の検索対象を次式のように絞り込む.

$
\hat{M}=\left.\{\left(f\left(\boldsymbol{x}, \boldsymbol{y}_{<t}\right), y_{t}\right)|(h(\boldsymbol{x}), \boldsymbol{y}) \in \hat{\mathcal{S}}, 1 \leq t \leq| \boldsymbol{y} \mid\right.\},
$

なお， $\hat{M} \subset M$ は近傍文の事例に絞り込まれたデー タストアである．翻訳中は $\hat{M}$ から近傍探索する以外は従来法と同様である。すなわち，提案法は検索対象とする文を $|\mathscr{D}|$ 文から $n(\ll|D|)$ 文に事前に絞
り込み，その文に対し出力の $k$ 近傍を探索する.

## 3.2 ルックアップによる効率的な距離計算

直積量子化 データストアは対訳データ中の全目的言語トークンの中間表現を保持するため，メモリ 上に直接ロードすることは困難1) である. 本研究で は，従来の kNN-MT と同様に，直積量子化（Product Quantization; PQ）[4] と呼ばれるベクトル量子化手法を用いてデータストアを圧縮する。 $\mathrm{PQ}$ は $D$ 次元 ベクトルを $\frac{D}{M}$ 次元ずつ $M$ 個のサブベクトルに分割 し，それぞれのサブベクトルを量子化する．量子化 のためのコードブックは各 $\frac{D}{M}$ 次元部分空間で学習 され， $m$ 番目の空間のコードブック $\mathscr{C}^{m}$ は以下のよ うに表される.

$
\mathscr{C}^{m}=\left.\{\boldsymbol{c}_{1}^{m}, \ldots, \boldsymbol{c}_{L}^{m}\right.\}, \boldsymbol{c}_{l}^{m} \in \mathbb{R}^{\frac{D}{M}} .
$

なお, 本研究では各コードブックの大きさを $L=256$ に設定する. ベクトル $\boldsymbol{q} \in \mathbb{R}^{D}$ は以下のようにして コードベクトル $\bar{q}$ に量子化される.

$
\begin{aligned}
\overline{\boldsymbol{q}} & =\left[\bar{q}^{1}, \ldots, \bar{q}^{M}\right]^{\top} \in\{1, \ldots, L\}^{M}, \\
\bar{q}^{m} & =\underset{l}{\operatorname{argmin}}\left.\|\boldsymbol{q}^{m}-\boldsymbol{c}_{l}^{m}\right.\|_{2}^{2}, \boldsymbol{q}^{m} \in \mathbb{R}^{\frac{D}{M}} .
\end{aligned}
$

量子化コード上での距離計算 提案法では， $\mathrm{PQ}$ によって量子化されているサブセットデータスト ア $M_{n}$ に対して $k$ 近傍を探索する際，以下に示す Asymmetric Distance Computation (ADC) [4] を用いて 効率的にベクトル間距離を計算する。手法の概要を 図 2 に示す.

$\mathrm{ADC}$ は，クエリベクトル $\boldsymbol{q} \in \mathbb{R}^{D}$ と， $N$ 個の $M$ 次元キーベクトル $\overline{\mathscr{K}}=\left.\{\overline{\boldsymbol{k}}_{1}, \ldots, \overline{\boldsymbol{k}}_{N}\right.\}$ のそれぞれとの距

1） 4.1 節の実験では $862,648,422$ トークン分の 1024 次元ベク トルを使用する。このとき，データストア容量は約 $3.2 \mathrm{TiB}$ $\simeq 862,648,422$ トークン $\times 1024$ 次元 $\times 32$ bit float $/ 8 \mathrm{bit} / 1024^{4}$.

図 2 ルックアップテーブルを用いた近似距離計算

離を以下のようにして求める. まず，各部分空間 $m$ において, $\boldsymbol{q}^{m}$ とコード $\boldsymbol{c}_{l}^{m} \in \mathscr{C}^{m}$ との距離テーブル $\boldsymbol{A}^{m} \in \mathbb{R}^{L}$ を求める.

$
A_{l}^{m}=\left.\|\boldsymbol{q}^{m}-\boldsymbol{c}_{l}^{m}\right.\|_{2}^{2}
$

このとき, クエリと各キーとの距離 $d\left(\boldsymbol{q}, \overline{\boldsymbol{k}}_{i}\right)$ は次式 により求まる.

$
\begin{aligned}
& d\left(\boldsymbol{q}, \overline{\boldsymbol{k}}_{i}\right)=\sum_{m=1}^{M} d_{m}\left(\boldsymbol{q}^{m}, \overline{\boldsymbol{k}}_{i}^{m}\right), \\
& \text { where } d_{m}\left(\boldsymbol{q}^{m}, l\right)=A_{l}^{m}
\end{aligned}
$

ADC を用いるとキー集合 $\bar{K}$ を復号しないため，量子化された $\hat{M}$ から効率的に $k$ 近傍を探索できる.

## 4 実験

従来法と提案法の翻訳精度と翻訳速度を比較する ため，翻訳実験を行った。 翻訳精度は sacreBLEU [5] で評価した，全ての実験において，NVIDIA V100 GPU を 1 基使用した. NMT モデルには FAIRSEQ [6] の WMT19 独英訓練済み Transformer big モデルを用 いた. 翻訳時のビーム幅は 5 , 文長正規化パラメー タは 1.0 , バッチサイズは 12,000 トークンとした. $\mathrm{kNN}-\mathrm{MT}$ の探索近傍数は $k=16, \mathrm{kNN}$ 確率の温度は $\tau=100$ に設定した. 従来法の近傍探索と提案法の 近傍文探索には FAISS [7] を使用し, PQ のサブベク トル数は $M=64$ に設定した. 提案法のサブセット からの $k$ 近傍探索（ADC 含む）は PyTORCH で実装 した. 提案法で用いる文エンコーダには LaBSE [8] と Transformer NMT のエンコーダ最終層の中間表現 の平均 $\mathrm{AvgEnc}$ を使用し，性能を比較した。

## 4.1 WMT19 独英翻訳

翻訳速度と翻訳精度を WMT19 独英翻訳 (newstest2019; 2,000 文) で評価し, 従来法および先行研表 1 WMT19独英翻訳の精度と速度の比較. “ $h$ : ”は文エ

ンコーダモデルを示し，“-ADC”はルックアップテーブル を用いなかったときの結果を示す.

究の fast kNN-MT [9] と提案法の性能を比較した. データストアには WMT19独英翻訳の対訳データの サブワード化後の文長が 250 以下かつ対訳文の文長比が 1.5 以内のデータのみを用い，29,540,337 文か ら得られた 862,648,422 トークンから構築した. 近傍文探索による絞り込み数は $n=512$ とした.

実験結果を表 1 に示す。表より，kNN-MTを用い ることで，ベース MTより精度が 0.9 ポイント改善 するものの，速度は 326.1 倍遅くなる。一方，提案法（LaBSE）を用いることで，精度が低下すること なく kNN-MT より 111.8 倍翻訳速度が改善してい る.また, AvgEnc は kNN-MT より 0.2 ポイント精度が低下したが，追加のモデルを使用することなく 翻訳速度が 92.7 倍ほど改善している。表中の“ ADC” は距離計算に ADC を用いなかった場合を示 しており, LaBSE, AvgEnc ともに約 5 倍程度速度が 低下することが確認できる。

## 4.2 ドメイン適応翻訳

IT, Koran, Law, Medical, Subtitles の 5 つのドメイン の翻訳実験 $[10,11]$ を行った. NMT モデルには 4.1

ドメイン適応翻訳の精度（BLEU\%）と速度（トークン秒）の比較．太字は各ドメインにおける最高精度を表す。

表 3 Medical ドメインにおける実際の翻訳例。

 \\

節と同様のモデルを用いた. 本実験では，入力文の ドメインが未知のオープンドメイン設定を想定す るため，データストアの対訳データには 4.1 節で用 いたデータと各対象ドメインの対訳データを全て を結合したデータを用い，30,843,860 文から得られ た 895,891,420トークンを使用した。近傍文探索に よる絞り込み数は $n=256$ とした.

実験結果を表 2 に示す. 全てのドメインにおい て，kNN-MTを用いることで，ベース MT と比較し て翻訳精度は改善しているが，速度は約 200 倍以上遅くなっている。一方で，提案法を用いること で，従来法より最大で 132.2 倍翻訳速度が改善され ている. さらに，翻訳速度だけでなく，翻訳精度が kNN-MT よりも最大 1.6 ポイント改善している.

Medical ドメインにおける実際の翻訳例と近傍事例の検索結果をそれぞれ表 3,4 に示す. 提案法は “ $h$ : LaBSE” の結果を示している. 表 3 より, 提案法 では, Medical ドメインの定訳である “Filmtablette” $\rightarrow$ “ilm-coated tablet”を正しく翻訳できていること
が確認できる．このときの “大力文の上位 3 近傍文 (S-\{1,2,3\})”と，“それらの対訳文 (T-\{1,2,3\})”"表 4 に示す。表 4 より，検索対象であるサブセット内に “film-coated” が含まれている。提案法では近傍事例 のみからなるサブセットを探索することで，より適切な単語を訳出できるようになったと考えられる。

## 5 関連研究

用例を用いた機械翻訳手法は，類推に基づく機械翻訳 [12] によって提案され，NMT に対する拡張と して，編集距離に基づいて用例を検索する手法が提案されている $[13,14]$.

kNN-MT の速度を改善した fast kNN-MT [9] が提案されている. fast kNN-MT は入力文中の各語彙の 近傍事例とその単語アライメントをもとに検索対象 を絞り込む。機械翻訳以外では，言語モデルに近傍探索手法を用いた kNN-LM [15] や，kNN-LMを高速化した Efficient kNN-LM [16] が提案されている.

ベクトル近傍探索分野では Reconfigurable Inverted Index (Rii) [17] が提案されている. 従来の探索法は 全探索のみを想定しているが，Riiでは動的に作成 されるサブセットに対する探索を可能とする.

## 6 おわりに

本研究では，kNN-MT の翻訳速度を改善した. 提案法では，入力文の近傍探索により kNN-MT の検索対象を絞り込み，ルックアップテーブルを用いて効率的にベクトル間距離を計算する。複数の翻訳実験 の結果，提案法を用いることで kNN-MT より最大 1.6 BLEU ポイントの精度改善と, 最大 132.2 倍の速度改善を確認した. 今後は，機械翻訳以外のタスク への応用も検討していきたい.

## 謝辞

本研究の一部は JSPS 科研費 $22 \mathrm{~J} 11279$ の助成を受 けたものである。ここに謝意を表する。

## 参考文献

[1] Urvashi Khandelwal, Angela Fan, Dan Jurafsky, Luke Zettlemoyer, and Mike Lewis. Nearest neighbor machine translation. In International Conference on Learning Representations (ICLR), 2021.

[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I Guyon, U V Luxburg, S Bengio, H Wallach, R Fergus, S Vishwanathan, and R Garnett, editors, Advances in Neural Information Processing Systems 30, pp. 5998-6008. Curran Associates, Inc., 2017.

[3] Ronald J. Williams and David Zipser. A learning algorithm for continually running fully recurrent neural networks. Neural Computation, Vol. 1, No. 2, pp. 270-280, 1989.

[4] Herve Jégou, Matthijs Douze, and Cordelia Schmid. Product quantization for nearest neighbor search. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 33, No. 1, pp. 117-128, 2011.

[5] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[6] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7] Jeff Johnson, Matthijs Douze, and Hervé Jégou. Billionscale similarity search with GPUs. IEEE Transactions on Big Data, Vol. 7, No. 3, pp. 535-547, 2019.

[8] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, and Wei Wang. Language-agnostic BERT sentence embedding. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 878-891, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[9] Yuxian Meng, Xiaoya Li, Xiayu Zheng, Fei Wu, Xiaofei Sun, Tianwei Zhang, and Jiwei Li. Fast nearest neighbor machine translation. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 555-565, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[10] Philipp Koehn and Rebecca Knowles. Six challenges for neural machine translation. In Proceedings of the First Workshop on Neural Machine Translation, pp. 28-39, Vancouver, August 2017. Association for Computational Linguistics.

[11] Roee Aharoni and Yoav Goldberg. Unsupervised domain clusters in pretrained language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7747-7763, Online,
July 2020. Association for Computational Linguistics.

[12] Makoto Nagao. A framework of a mechanical translation between japanese and english by analogy principle. In Proc. of the International NATO Symposium on Artificial and Human Intelligence, pp. 173-180, 1984.

[13] Jingyi Zhang, Masao Utiyama, Eiichro Sumita, Graham Neubig, and Satoshi Nakamura. Guiding neural machine translation with retrieved translation pieces. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1325-1335, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[14] J Gu, Y Wang, K Cho, and V O K Li. Search engine guided neural machine translation. AAAI, 2018.

[15] Urvashi Khandelwal, Omer Levy, Dan Jurafsky, Luke Zettlemoyer, and Mike Lewis. Generalization through memorization: Nearest neighbor language models. In International Conference on Learning Representations, 2020 .

[16] Junxian He, Graham Neubig, and Taylor Berg-Kirkpatrick. Efficient nearest neighbor language models. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 5703-5714, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[17] Yusuke Matsui, Ryota Hinami, and Shin'ichi Satoh. Reconfigurable inverted index. In ACM International Conference on Multimedia (ACMMM), pp. 1715-1723, 2018.

[18] Tiezheng Ge, Kaiming He, Qifa Ke, and Jian Sun. Optimized product quantization. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 36, No. 4, pp. 744-755, 2014.

[19] Yu A Malkov and Dmitry A Yashunin. Efficient and robust approximate nearest neighbor search using hierarchical navigable small world graphs. IEEE transactions on pattern analysis and machine intelligence, Vol. 42, No. 4, pp. 824-836, 2018.

表 6 データストアのインデックス設定.

 &  & kNN-MT データストア \\

ベクトル回転 & Optimized PQ [18] & Optimized PQ [18] & - \\
次元削減 & - & - & PCA: 1024 次元 $\rightarrow$ 256 次元 \\
転置インデックス & 131,072 クラスタ & 32,768 クラスタ & - \\
探索クラスタ数 & 近傍 64 クラスタ & 近傍 64 クラスタ & - \\
粗量子化器 & HNSW Flat [19] (エッジ数: 32) & Flat & - \\

## A モデル，データセット

モデルとデータセットのURLを以下に示す.
- NMT モデル: https://dl.fbaipublicfiles.com/fairseq/models/wmt19.de-en.ffn8192.tar.gz

・ドメイン適応データ: https://github.com/roeeaharoni/unsupervised-domain-clusters

## B 実験に使用した計算機

実験に使用した計算機のスペックは以下の通りである.
- CPU: Intel(R) Xeon(R) Gold 6150 CPU @ 2.70GHz (18 コア× 2 基)
- Memory: 768 GB
- GPU: NVIDIA Tesla V100 (1 基使用)
- OS: CentOS 7.6

## C バッチサイズと翻訳速度

本文中の実験ではバッチサイズを 12,000 トークンに設定して速度を比較した。表 5 は，翻訳時のバッチサ イズについて，文書翻訳等を想定した 12,000 トークン（ $\mathrm{B}_{\infty} ）$ とリアルタイム翻訳等を想定した 1 文 $\left(\mathrm{B}_{1}\right)$ と したときの翻訳速度の比較を示す.

## D kNN インデックスの詳細

近傍探索インデックスの詳細な設定を表 6 に示す.


# ユーザ定義の翻訳ルールにより 語彙と構文が制御可能なニューラル機械翻訳

徐聖源 1 宮田玲 ${ }^{1}$ 佐藤理史 ${ }^{1}$
1 名古屋大学大学院工学研究科
seo.sung. won.e3@s.mail.nagoya-u.ac.jp

## 概要

ユーザが翻訳ルールを定義することで制御可能なニューラル機械翻訳 URNMT (User-defined Rule constrained Neural Machine Translation) を提案する。本システムはまず、翻訳ルールによって、語彙だけ でなく語順など構文に関する制約の情報を含めた未完成の翻訳（部分翻訳）を生成する。そして、その 部分翻訳を語彙制約付 NMT の一つである EDITOR に制約として与えることで、統制された翻訳を生成 する。EDITORには、部分翻訳を制約として効果的 に活用するための機能を追加した。擬似部分翻訳を 用いた自動評価により、提案手法が適切に部分翻訳 を活用して翻訳を生成できることを確認した。

## 1 はじめに

ニューラル機械翻訳 (neural machine translation; NMT）を制御する手法の一つとして語彙制約付 NMT の研究が行われている $[1,2,3,4]$ 。語彙制約付 NMT は、制約として与えた単語やフレーズを含む翻訳を 生成することができるが、出力文に合わせた語形変化が難しいことが指摘されている [4]。また、マ ニュアル等の産業文書の翻訳では、使用すべき語彙 だけでなく、語順などの構文的なパターンも特定の 形に統制したいという要求がある [5]。

Jon ら [4] は、Transformer [6] 学習時にレンマ化し た制約をソース文と共に学習データとすることで、基本形の制約を与えてもモデルが正しい表層形を選択できるようにした。この手法は、語形変化に柔軟 に対応できる形で語彙レベルで制約された翻訳を可能にするが、構文レベルの制御は対象としない。こ のほか、構文を制御して文を生成する研究 [7] もあ るが、翻訳タスクで語彙と構文を同時に制御する研究は不足している。

本研究では、ユーザが定義した翻訳ルールに従って NMT の出力を制御する URNMT (User-defined Rule constrained Neural Machine Translation) を提案す る。URNMT は、翻訳ルールを用いて翻訳できる部分だけ翻訳して、翻訳できない部分は原言語のまま 残した部分翻訳を生成する。その後、その部分翻訳 を語彙制約付 NMT に制約として与えることで翻訳 を完成させる。部分翻訳に語順や文型などの情報を 組み込むことができるため、語彙制約付 NMT の枠組みを用いながら構文的な制約も課すことができる 点が特徴である。

本稿では、現在日英翻訳を対象として開発中の URNMT の全体構成と各機構を説明する（2 節）。ま た、擬似的な部分翻訳を用いた実験により、提案手法が部分翻訳を制約として適切に活用できることを 示す (3 節)。

## 2 提案システム

URNMT は大きく、翻訳ルールを用いて部分翻訳 を生成する部分翻訳生成器と、部分翻訳を制約とし て用いる NMT で構成される（図 1)。

## 2.1 部分翻訳生成器

部分翻訳生成器は、事前に定義された翻訳ルール が適用できる部分だけ翻訳し、残りは原言語のまま 保持した、不完全な翻訳を生成する。具体的には まず、解析器を使用して入力文の情報を持つ構文木 (Source Tree)を構築する。続いて、辞書ルールに 従って、語句の訳し方に関する情報を Source Tree に追加する。最後に、Source Tree がどのような条件 を満たすときどのような翻訳を生成するか記述す る組み立てルールに従って、目標言語側の木 (Target Tree)を生成した上で、部分翻訳として出力する ${ }^{1)}$ 。

解析器 入力文を Stanza [8] を用いて構文解析し た結果に基づき、Source Tree を構築する。このと

1） Source Tree、Target Tree、辞書ルール、組み立てルールの例 は付録 A に示す。

図 1 提案システム URNMT の全体構成と翻訳例

き、Stanza で得られる情報の一部を削除し、翻訳 ルールの定義に必要な情報のみを残した。また、日本語の動詞の後ろに付く各種の機能表現の情報を翻訳時に用いるため、日本語文末解析器 Panzer [9] で 解析した情報を追加する。

辞書ルール 辞書ルールは、ルールの適用条件、変換方法、語句の属性、適用優先度で構成される。解析器が生成した Source Tree に対し、適用条件を満 たすノードが検索された場合、ルールで定義された 情報を追加する。追加する情報は、図 1 の「ダイア グコード $\rightarrow \mathrm{DTC}$ のような変換方法だけでなく、語句の属性（意味カテゴリなど）も含む 2 ）。Source Tree の各ノードには最大 1 つの辞書ルールが適用され る。複数のルールが適用可能な場合は、適用優先度 が最大のものを選ぶ。それでも 1 つに絞り込めない 場合は、適用条件のより複雑なルールを優先する。

組み立てルール 組み立てルールは、ルールの適用条件、Target Tree の組み立て方法、適用優先度か ら構成される。図 1 では、「Aして、Bする $\rightarrow \mathrm{A} \mid$ ing $\mathrm{B}\lrcorner$ のように簡略化して記述しているが、実際の組 み立てルールは、適用条件・組み立て方法ともに木構造で定義され、語彙だけでなく構文の変換方法も 柔軟に表現できる。組み立てルールの適用条件に完全にマッチする Source Tree 中の部分（ノード集合） に対して、組み立て方法を用いて Target Tree の部分木を生成し、上位ノードから順次 Target Treeを組み 立てる。ある Source Treeノードに対し、複数の組み 立てルール（適用条件）のルートノードが重なる場合は、適用優先度と適用条件の複雑度を考慮して、1 つに絞り込む。なお、ユーザが定義する比較的少数 の組み立てルールでは、Source Tree の全体をカバー できないため、ユーザ定義ルールとは別に、バック アップ用の基本ルールをあらかじめ定義してある。

2）辞書ルールで語句の属性を定義しておくことで、組み立て ルールの柔軟な定義が可能となる。

## 2.2 部分翻訳を制約として用いる NMT

語彙制約付 NMT の一つである EDITOR [3] を使用して、不完全な部分翻訳から完全な翻訳を生成す る。EDITOR は編集を繰り返すことで文を生成する モデルである。編集時は、与えられた制約を初期文 とした後、トークンを削除したり位置を変更したり する再配置操作、単語をどこにいくつ追加すべきか 予測して placeholder を挿入する placeholder 挿入操作、placeholderをトークンに変換するトークン予測操作を繰り返すことで翻訳を完成させる。

EDITOR に制約を与える方法には、制約の編集を 許容するソフトな制約設定と、制約の削除や複数の 制約間へのトークン挿入を禁止するハードな制約設定がある。提案システムでは、制約を厳密に守るこ とを重視するためハードな制約設定を用いるが、オ リジナルの EDITOR に準拠して単純な単語の羅列を 制約にしてしまうと、複数の制約はひと続きの固定表現として訳されてしまう。そこで、本研究では、未翻訳部分の情報を含んだ部分翻訳を制約として効果的に活用するため、EDITOR に以下の 3 つの機能 を追加した (図 1 の例も適宜参照されたい)。

1. placeholder を含む制約生成 部分翻訳中の未翻訳部分をあらかじめ placeholder に置き換えて、 EDITOR のデコード時の中間表現に合わせた制約 を生成する。このとき、未翻訳部分の文字列から、翻訳を完成するときに埋めるべきトークン (すな わち placeholder) の数を予測する。具体的には未翻訳部分をNMT 学習時と同じ方法でトークナイ ズして得られたトークン数を基準とする。なお、 EDITOR はトークンの追加や削除が可能であるた め、placeholder を最初に 1つ入れておき、あとは EDITOR に任せればよいとも考えられるが、経験的 な観察の結果から、適切な数の placeholderを最初か ら制約に含めることが有効であると判断した。

また、オリジナル EDITOR のハードな制約設定で は、制約に含まれる placeholder の編集も禁止されて しまうが、本システムではそれを許可した。

2. リランキング 上記で予測する placeholder の 数は、あくまで原文のトークン数に基づくもので、必ずしも適切な翻訳文に必要なトークン数と一致す るわけではない。この問題を解決するため、予測し た placeholder の数にノイズを与えて複数の制約を生成した後、それぞれの制約に対して EDITOR の出力 を生成する。その後、生成された複数の出力をリラ ンキングし、最も良いものを選ぶ。

placeholder の数は、予測値（未翻訳部分のトーク ン数）を中心に、 0 から 2 倍の範囲内でランダムで 決定し、 1 文ごとに 50 の制約を生成する。異なる制約が 50 個生成できない場合は、 0 から 2 倍の範囲を 超える placeholderを挿入する。

リランキング手法には、雑音のある通信路モデル に基づく手法 [10]を使用した。この手法は、順方向翻訳モデルの生成確率、逆方向翻訳モデルの生成確率、言語モデルの生成確率を線型結合して翻訳にス コアを付けた後、順位付けする。提案システムで は、順方向翻訳モデルとして EDITOR、逆方向翻訳 モデルとして逆方向 Transformer モデル、言語モデ ルとしてターゲット側 Transformer 言語モデルを使用する。

3. スキップ機能 オリジナルの EDITOR は制約 が与えられた時、トークンの再配置と placeholder 挿入を行った後、トークン予測を行う。そのため、制約に含まれる placeholder に対するトークン予測が 行われる前に、placeholder の削除や追加が行われる 可能性がある。最初に予測した placeholder の情報を なるべく生かすために、制約に placeholder が含まれ ている場合、再配置と placeholder 挿入の操作を初回 のみスキップしてトークン予測を先に行うように した。

## 3 疑似部分翻訳を用いた実験

2.2 節で提案した NMT が、部分翻訳を効果的に制約として活用できるのか、また追加した 3 つの機能 が有効であるかを評価した。評価では、実際の使用環境を再現して、開発データを用いてユーザが翻訳 ルールを定義した後、評価データを用いて翻訳ルー ルに基づき生成された部分翻訳を用いることが望ま しい。しかし、このような方法では大量かつ多様な データの準備が難しいため、その前段階として、参照文の一部を特殊トークンに置換することで自動生成した擬似部分翻訳を用いて NMT の評価を行った。

## 3.1 擬似部分翻訳の生成方法

翻訳ルールに基づいて組み立てられた部分翻訳 は、語句や節など文法的な単位の未翻訳部分を持 つ。なるべく実際の部分翻訳の形を模倣するため に、以下の手順で擬似部分翻訳を生成した。

1. 参照文を Stanza で係り受け解析する。

2. 係り受け解析木における、特定の依存関係3) に ある単語間のパスを分割することで、文を一定 のまとまりを持つ要素単位に分解する。

例) Using / the GTS / clear / the DTC

3. 制約に含める文要素をランダムで選ぶ。ある要素を制約に含める確率を $p$ とし、制約に含めな い要素はトークンに分割し、<tok>に置換する。実際の部分翻訳では、未翻訳部分は原言語トー クン列であるが、本実験では<tok>を未翻訳部分とみなす4)。

例) Using <tok> <tok> clear <tok> <tok>

部分翻訳を制約として用いる NMT は 2.2 節で説明した方法で<tok>の数を基準にランダムな数の placeholderを挿入した制約を複数生成し、使用する。

例) Using <plh> clear <plh> <plh> <plh>

## 3.2 実験方法

設定 部分翻訳の完成度合いに多様性を持たせる ために、 3.1 節の手順 3 における確率 $p$ は、 0 から 0.9 まで 0.1 間隔に合計 10 種類を試した。EDITOR は、ハードな制約設定に加えてソフトな制約も試 した。また、EDITORに追加した 3 つの機能の有効性を確かめるために、各機能を使わない設定で の実験も行った。なお、placeholderを使わない設定 では、くtok>を削除した疑似部分翻訳を用いた。リ ランキングを行わない設定では、ランダムな数の placeholder を含む制約を複数ではなく、1つのみ使用する。

データセット NTCIR-9 特許機械翻訳テストコレ クション [11] の英日、日英データを使用した。学習 データは約 320 万文、検証データは 914 文、テスト データは 2000 文を使用した。

3）本研究で対象とした依存関係：root, obj, nsubj, iobj, csubj, ccomp, xcomp, obl, nmod, parataxis, conj, cc, advcl

4）参照文におけるトークン数を既知のものとして利用してい るため、原文におけるトークン数から予測するよりも易しい タスクとなっている。

図 2 擬似部分翻訳を制約として与えた NMT の性能

モデルの学習 EDITOR の学習には教師モデルを 学習データで学習した後、学習データの参照文を教師モデルの出力に置き換えて学生モデルを学習する シーケンスレベル知識蒸留法 [12]を用いた。本実験 では、Transformer 教師モデルから EDITOR 学生モデ ルを学習した。

本実験では、日英方向を順方向としたとき、順方向 EDITOR モデル、知識蒸留のための順方向 Transformer モデル、リランキングのための逆方向 Transformer モデルとターゲット側 Transformer 言語 モデルの合計 4 つのモデルを学習した。学習設定の 詳細は付録 B に示す。

評価 翻訳出力に対して、SentencePiece [13] と NLTK detokenizer [14] によるデトークナイズを行っ た上で、SacreBLEU [15] により BLEUを計算した。

## 3.3 実験結果

図 2 に結果を示す。基本的には、参照文の要素が 制約に含まれる確率 $p$ が高くなるほど、文に対する 制約トークンの割合は大きくなる。図中の hard は、 ハードな制約設定の EDITORに 3 つの拡張機能を追加した、本研究の提案手法である。制約に含まれる 参照文の要素が増えるほど BLEUが安定的に上昇す るため、制約を効果的に活用できていることがわか る。ソフトな制約を使用した場合 (soft)も BLEU は 安定的に上昇しているが、制約が守られないことが 多くなるため、hard に比べると BLEUが低くなる。 hard w/o plhと soft w/o plhはそれぞれ、ハー ドな制約設定とソフトな制約設定で placeholderを 持たない部分翻訳を制約として与えた場合である。 placeholder が存在しないので、自動的にリランキン グとスキップ機能も適用対象外となり、オリジナル の EDITOR と同等の設定である。ハードな制約で
は、ひと続きの制約トークン間に新しいトークンの 挿入が禁止される。そのため、 $p$ が比較的小さい時、 すなわち複数の制約要素が文中で散在する条件下 で、placeholderを削除してしまうと、BLEUが大き く下がる。ソフトな制約では、生成の過程で新しい トークンの挿入も行われるので、このような問題は 生じないが、提案手法より一貫して BLEU が低い。

提案手法からリランキングの機能を除いた場合 (hard w/o rerank)は、 $p<0.8$ の区間で、提案手法 と比べて BLEUが低い。特に、 $p$ の値が低い区間、 すなわち制約が比較的短い場合では、提案手法と比 べ BLEUが大きく下回り、 $p=0.1$ のときは、制約な しの場合 $(p=0)$ よりも BLEU が低い。大部分の区間で提案手法はより高いBLEUを達成し、下がる区間なく安定的な上昇を見せるため、リランキング機能は有効であったと考えられる。

提案手法からスキップ機能を外した場合 (hard w/o skip)、BLEUが大きく下がる区間が存在 する。これは、2.2 節で紹介した placeholder の数が 勝手に変わってしまう現象によるものである。こ のような現象が起こる理由は、EDITOR モデルが placeholderを含む制約に対して再配置と placeholder 挿入操作を学習していないためだと考えられる。 EDIOTR モデルの学習の仕方自体を変える方法もあ るが、より簡便なスキップ機能の導入により、大き く性能を向上できている。

以上のように、提案手法が大部分の区間で最も高 いBLEU を達成したことから、追加した 3 つの機能 が有効であることを確認できた。

## 4 おわりに

本稿では、ユーザ定義の翻訳ルールによって翻訳を語彙的・構文的に制御できるシステム URNMT を提案した。URNMTは、翻訳ルールに基づく部分翻訳の生成器と、部分翻訳を制約とした NMT から 構成される。部分翻訳を効果的に活用するために、語彙制約付き NMT である EDITOR の機能を拡張し た。擬似部分翻訳を用いた実験から、部分翻訳が効果的に活用できること、追加した各機能が有効であ ることを確認した。

提案システムのプロトタイプはすでに完成してい るため、今後はユーザによる翻訳ルールの定義とそ れに基づき生成した部分翻訳を用いた評価実験を行 う予定である。また、ユーザによるシステム全体の 利用を通じたユーザビリティ評価も行う。

## 謝辞

本研究は、トヨタ自動車株式会社との共同研究の

枠組みで行われた。また、本研究の一部は、JSPS 科研費（課題番号：19H05660）および KDDI 財団調査研究助成の支援を受けた。

## 参考文献

[1] Matt Post and David Vilar. Fast lexically constrained decoding with dynamic beam allocation for neural machine translation. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1314-1324, New Orleans, Louisiana, USA, June 2018.

[2] Raymond Hendy Susanto, Shamil Chollampatt, and Liling Tan. Lexically constrained neural machine translation with Levenshtein Transformer. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3536-3543, Online, July 2020.

[3] Weijia Xu and Marine Carpuat. EDITOR: An edit-based transformer with repositioning for neural machine translation with soft lexical constraints. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 311-328, March 2021.

[4] Josef Jon, João Paulo Aires, Dusan Varis, and Ondřej Bojar. End-to-end lexically constrained machine translation for morphologically rich languages. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, pp. 4019-4033, Online, August 2021.

[5] Takahiro Makino, Rei Miyata, Seo Sungwon, and Satoshi Sato. Designing and building a Japanese controlled language for the automotive domain: Toward the development of a writing assistant tool. In Annette Klosa-Kückelhaus, Stefan Engelberg, Christine Möhrs, and Petra Storjohann, editors, Dictionaries and Society. Proceedings of the XX EURALEX International Congress, pp. 409-422. Mannheim, Germany, July 2022.

[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the 31st International Conference on Neural Information Processing Systems, pp. 6000-6010, Red Hook, New York, USA, December 2017.

[7] Ashutosh Kumar, Kabir Ahuja, Raghuram Vadapalli, and Partha Talukdar. Syntax-guided controlled generation of paraphrases. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 329-345, 2020.

[8] Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A Python natural language processing toolkit for many human languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 101-108, Online, July 2020.
[9] 佐野正裕, 佐藤理史, 宮田玲. 文末述語における機能表現検出と文間接続関係推定への応用. 言語処理学会 第 26 回年次大会 発表論文集, pp. 1483-1486,オン ライン, March 2020

[10] Kyra Yee, Yann Dauphin, and Michael Auli. Simple and effective noisy channel modeling for neural machine translation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 5696-5701, Hong Kong, China, November 2019.

[11] Isao Goto, Bin Lu, Ka Po Chow, Eiichiro Sumita, and Benjamin Tsou. Overview of the Patent Machine Translation Task at the NTCIR-9 Workshop. In Proceedings of NTCIR-9 Workshop Meeting, pp. 559-578, Tokyo, Japan, December 2011.

[12] Yoon Kim and Alexander M. Rush. Sequence-level knowledge distillation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1317-1327, Austin, Texas, USA, November 2016.

[13] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018.

[14] Steven Bird, Ewan Klein, and Edward Loper. Natural Language Processing with Python. O'Reilly Media Inc., 2009 .

[15] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation, pp. 186-191, Brussels, Belgium, October 2018.

[16] Taku Kudo and Yuji Matsumoto. Japanese dependency analysis using cascaded chunking. In Proceedings of the 6th Conference on Natural Language Learning, pp. 63-69, Stroudsburg, Pennsylvania, USA, 2002.

[17] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Demonstrations, pp. 48-53, Minneapolis, Minnesota, USA, June 2019.

## A 部分翻訳生成器の例

図 3 Source Tree の例

図 3 は Source Tree の例である。2つの節で構成さ れている、「使用する」という動詞がテ形で使われ ている、といった情報が保持されている。

図 4 辞書ルールの例

図 4 は辞書ルールの例である。この例は、Source Tree 中の「ダイアグコード」という要素に対して、「DTC」に変換する（変換方法）、「code」という属性 を持つ（語句の属性）、という情報を追加するルー ルである。

図 5 辞書ルールを適用した Source Tree の例

図 5 は、図 4 の辞書ルールを図 3 の Source Tree に 適用した例である。「ダイアグコード」のノードに、辞書ルールで定義した変換方法と語句の属性情報が 付加されている。

図 6 は組み立てルールの例である。この例は、「A して、Bする」という構文は「A|ing B」という構文 に変換することを定めている。図 6 の適用条件と 図 5 の Source Tree を比較すると、条件の全ての要素

図 6 組み立てルールの例

が Source Tree に含まれるため、この組み立てルー ルが適用される。適用条件と組み立て方法で同じ番号を持つノードは互いに繋がり、組み立て方法を Target Tree に足す位置を決定する。

図 7 Target Tree の例

図 7 は、複数の組み立てルールを用いて生成され た Target Tree の例である。「GTS を」や「消去する」 など翻訳ルールが定義されていない部分は、原文文字列のまま Target Tree に組み込まれている。Target Tree のルートノードに表示されている文が、Target Treeを組み立てて生成された部分翻訳である。

## B モデルの学習設定

学習データは日本語を MeCab [16]、英語を Stanza [8] でトークナイズした後、SentencePiece [13] でサブワード分割した。SentencePiece の語彙サイズ は日英共有で 16000 にした。

全てのモデルは fairseq [17] で学習しており、 Vaswani ら [6] の Transformer (base) の設定に従って いる。ドロップアウト率は 0.3 を使用した。

Transformer モデル [6] では、バッチサイズを 44000 とした。最大学習率は 0.0006 とし、検証データの BLEU をエポック毎に評価して、10 エポックの間改善が見られない場合、学習を終了した。

EDITOR モデル [3] では、バッチサイズを 64200 とした。最大学習率は 0.0005 とし、アップデート回数 30 万まで学習を行った。 10000 アップデート毎 に保存したチェックポイントの中で検証データの BLEU が最も高いものを選んだ。


# 対訳文のない言語対の NMT の検討
}

\author{
Bui Tuan Thanh 秋葉友良塚田元 \\ 豊橋技術科学大学大学院
}

\{bui.tuan.thanh.mg, akiba.tomoyoshi.tk, tsukada.hajime.hl\}@tut.jp

#
# 概要

ニューラル機械翻訳では高い性能を発揮するため に、大規模かつ品質が高い対訳コーパスが必要にな る。しかし、対訳コーパスのない言語対が数多くあ る。本稿では、日本語（日）とべトナム語（越）を 対訳文のない言語対として、中間語の英語を介した 英日と英越対訳データのみを用いて、日越と越日そ れぞれの翻訳モデルを学習する手法を提案する。提案手法は、英語との 2 つの対訳データを使用して、多様性のある日越擬似データを構築する。IWSLT の 対訳データを用いた実験により、提案手法は小規模 な対訳データで学習された教師あり翻訳モデルやピ ボット翻訳手法を上回ることを示した。ピボット翻訳手法と比較すると、日越方向の性能 (BLEU スコ ア) が+1.96、越日方向の性能が+1.75 向上した。

## 1 はじめに

近年、ニューラルネットワークを用いたニューラ ル機械翻訳 (Neural Machine Translation: NMT)[1,2] は 従来の統計的機械翻訳の性能を上回り、非常に高い 性能を実現している。ニューラル機械翻訳は、翻訳 の品質を飛躍的に向上させるために、大規模かつ品質が高い対訳コーパス (学習データ) が必要になる。 しかし、そのようなデータを入手するのは困難で、高いコストがかかる。少数言語対においては、利用 できる対訳コーパスが少数である低資源言語対の問題、さらには対訳データを利用できないという問題 がある。そのような問題に対応するために、低資源言語対の機械翻訳 $[3,4,5,6]$ 及び対訳データのない 言語対の機械翻訳の研究が行われている $[7,8,9]$ 。

対訳文のない言語対の翻訳モデルを学習する最 も単純な手法はピボット翻訳 [8] である。ピボット 翻訳は 2 つの翻訳モデルを利用するため、翻訳時間がかかり、エラー伝播の問題がある。Ren らは第
3 言語を介して低資源言語対の翻訳精度を上げる Triangular Architecture を提案し、その手法が対訳文 のない言語対にも応用する見込みがあることを主張 している。しかし、その応用の有効性を実験的に示 していない。また、単言語コーパスのみを利用し、翻訳モデルを学習する手法 $[10,11,12]$ がある。これ らの手法では、Sennrich ら [3] の逆翻訳で対訳デー タを構築する。 He ら [7] は逆翻訳がソース側の学習 データと評価データのギャップを生じることを示 し、順翻訳と逆翻訳で生成された擬似対訳データを 組み合わせて利用する手法を提案した。

本稿は、日越を対訳文のない言語対として、英日 と英越対訳データのみを用いて、日越と越日それぞ れの翻訳モデルを学習する手法を提案する。提案法 では英語との 2 つの対訳データを用いて、順翻訳と 逆翻訳で日越の複数の擬似データを構築し、それら の擬似データで翻訳モデルを学習する。実験結果か ら、この手法が有効であることを示す。

## 2 関連研究

## 2.1 ピボット翻訳

ビボット翻訳 [8] は、対訳文のない言語対の翻訳 システムを中間言語を介して構築する最も単純な手法である。中間言語とソース言語、中間言語とター ゲット言語との対訳データを用いる。この手法で は、(ソース言語 $\rightarrow$ 中間言語）翻訳モデルと（中間言語 $\rightarrow$ ターゲット言語）翻訳モデルを用いて、ソー ス言語の文をターゲット言語に翻訳する。2 段階で 翻訳を行うため、翻訳時間がかかる手法である。ま た、第 1 段回目の翻訳の失敗が、第 2 段回の翻訳は 誤った入力を翻訳するとこになり、エラーが増幅す る。これをエラー伝播と呼ぶ。

図 1 提案手法の仕組み

## 2.2 zero-shot 翻訳

Johnson ら [9] は、複数の言語対を用いて1つの翻訳モデルを学習することで、直接学習データのない 言語対も翻訳できることを示した。Johnson らの研究では 12 の言語対を用いた。この手法では、多く の言語対の対訳データが必要になる。本研究の実験 で、2つの対訳データのみを用いた zero-shot 翻訳は 有効ではなかった。

## 2.3 Triangular Architecture

Ren ら [6] は、豊富な対訳データをもつ中間言語 $\mathrm{Y}$ を介して、低資源言語対 X-Z の翻訳制度を上げるの に Triagular Architectureを提案した。X-Y 対訳データ を豊富な対訳データとする。Triagular Architecture で は、 $\mathrm{X} \rightarrow \mathrm{Z}$ 翻訳モデルの精度を上げるために、 $(\mathrm{X}, \mathrm{Y})$対訳データと $(\mathrm{Y}, \mathrm{Z})$ 対訳データを利用する。 $\mathrm{X} \rightarrow \mathrm{Z}$ 翻訳モデルを直接学習せずに、 $\mathrm{Z}$ を潜在変数 (latent variable）として $\mathrm{X} \rightarrow \mathrm{Y}$ 翻訳モデルを学習する。その 後、 $\mathrm{X} \rightarrow \mathrm{Y}$ 翻訳モデルの学習は低資源言語対 $(\mathrm{X}, \mathrm{Y})$ と $(\mathrm{Y}, \mathrm{Z})$ それぞれの翻訳モデルを学習することにな る。その 2 つのモデルの最適化を双方向 EM アルゴ リズムで行う。この手法は単言語のデータを用いる 逆翻訳と組み合わせることができる。Ren らは、対訳文のない言語対に応用する見込みがあることを主張しているが、実験的に有効性を示していない。本稿も中間言語を利用しているが、中間言語との対訳 データのみを用いて目的の言語対の擬似対訳データ
を構築する。

## 2.4 Data Diversification

Nguyen ら [5] は複数の順翻訳モデルと逆翻訳モデ ルを用いて、それらのモデルで生成された複数の擬似データとオリジナル学習データを統合し、新しい 学習データを構築する手法を提案した。Nguyen ら の研究によれば、同じモデルの数を用いる際、パラ メータの初期化をランダムに実行された複数のモデ ルはパラメータの初期化を固定した複数のモデル より性能が良くなった。この手法は English-Nepali、 Nepali-English、English-Sinhala、Sinhala-English など の低資源言語対に有効性があることが示されてい る。提案手法では、擬似データの作成に際して Data Diversification の考えを活用する。

## 3 提案手法

本稿では、対訳データのない日越言語対の翻訳 モデルを学習するために、英語を介した 2 つの対訳データのみを用いて日越の擬似データを構築す る手法を提案する。提案手法の仕組みを図 1 に示 す。ここでは、(en-1、vi) は英越の対訳コーパスで あり、(en-2、ja) は英日の対訳コーパスである。en-1 と en-2 は対になっている必要はない。

最初に、英越と英日の対訳コーパスから、複数の 英越翻訳モデル (en2vi）と英日翻訳モデル（en2ja) を学習する。ここでは、seed の値の変更により、各 のモデルのパラメータの初期値をランダムに設定す

る。この方法で、異なる翻訳モデルを学習すること ができる。

次に、学習できたモデルを用いて、擬似対訳コー パスを生成する。具体的には、英日コーパスの英語文（en-2）を英越翻訳モデル（en2vi）でベトナム語 に翻訳し、擬似対訳文（vi， ja）を構築する。同様 に、英越コーパスの英語文（en-1）を英日翻訳モデ ルで日本語に翻訳し、擬似対訳コーパス（vi、 ja'） を作成する。同じ文を異なる翻訳モデルで翻訳して 擬似対訳文を作ることで、多様性のある擬似データ を作ることができる。予備実験では順翻訳または逆翻訳の擬似データのみを用いるよりもそれらのコー パスを統合して学習したほうが性能が高かった。そ のため、本稿の提案手法はすべて擬似データを統合 して、最終モデルを学習する。

## 4 実験

## 4.1 対訳コーパス

本稿では、International Workshop on Sopken Language Translation (IWSLT) の英越対訳コーパス (IWSLT 2015)、英日対訳コーパス (IWSLT 2017) と日越対訳コーパス (IWSLT 2012)を用いる。英越 の言語対は tst2012を開発データとし、tst2013をテ ストデータとする。英日言語対に対しては、 $\operatorname{dev} 2010$ を開発データとし、tst2015をテストデータとして 利用する。日越言語対に対しては、dev2010を開発 データとし、tst2010をテストデータとして利用す る。各言語対の文数を表 1 に示す。

英語文は Moses キットでトークン化される。べ トナム語文を pyvi ライブラリの ViTokenizerを用い てトークン化した。日本語は Mecab[13] でトーク ン化した。また、英語文とベトナム語文は Moses の truecased を用いて処理した。各言語は Byte Pair Encoding (BPE) で 16000 のサブワードに分割した。

## 4.2 実験条件

fairseq[14]を用いてニューラル機械翻訳システム を構成した。すべてのニューラル機械翻訳モデル
は Transformer で学習した。学習の際は、すべての モデルを同じパイパーパラメータと学習エポック 数（=30）を用いて、学習率は $1 \times 10^{-8}$ 、ウォーム アップは 4000 ステップ、学習率減衰は逆平方根、 ラベル平滑化は $0.1 、$ ドロップアウトは 0.3 、重み減衰は 0.0001 、損失関数はラベル平滑化クロスエン トロピーとした。Adam の最適化アルゴリズムでは $\left(\beta_{1}=0.9, \beta_{2}=0.98\right)$ を使用した。

教師ありモデル：教師あり翻訳モデルを IWSLT の 日越対訳データで学習した。日越対訳データを 使用したのは本モデルのみである。以後のモデ ルは日越対訳データを使用していない。

zero-shot 翻訳: Johnson ら [9]の Many-to-Many 翻訳 モデルを用いて zero-shot 翻訳を行った。英日、日英、英越と越英という４つの翻訳を可能にす る1つの翻訳モデルを学習した。モデルを学習 する際、各バッチでその４つの対訳データの割合を 1:1:1:1 にした。

ピボット翻訳: ピボット翻訳は、英語を中間語と して、ソース文を英語に翻訳し、翻訳できた英語文をターゲット言語に翻訳する。たとえば、日越方向翻訳をする際、日本語文を日英翻訳モ デルを用いて英語に翻訳する、翻訳できた英語文を英越翻訳モデルでベトナム語に翻訳する。 ピボット翻訳に使用したモデルの性能を表 3 に 示す。

提案手法: $(e n 2 v i \times k+e n 2 j a \times k)$ は、それぞれ異な る $k \supset$ en2vi モデル及び異なる $k \supset$ en2ja モデルを用い、擬似対訳コーパスを生成する。 $k=3,4,5$ で実験を行った。提案手法の使用さ れていたモデルを表 4 に示す。

## 4.3 実験結果

実験結果を表 2 に示す。実験結果により、ピボッ 卜翻訳手法は日越両方向で教師ありモデルを上回っ た。日越と越日それぞれの zero-shot 翻訳はできな かった。その原因は少数の言語対で Many-to-Many 翻訳モデルを学習したと考える。擬似データを用 いたことで、日越翻訳性能と越日翻訳性能は向上 した。 $(e n 2 v i \times 1+e n 2 j a \times 1)$ はべースラインを比較 すると越日方向が +0.83 、日越方向が+ 1.01 向上 した。

複数の擬似対訳コーパスを導入すると、越日翻訳性能と日越翻訳性能はさらに改善した。越日翻訳性
能は 13.30 で、日越翻訳性能は 11.65 であった。し かし、en2vi モデルと en2ja モデルをそれぞれ 5 つ以上のモデルを使用すると、有効に働かなかった。

表 2 実験結果 (dev / test)

表 3 ピボット翻訳に使用したモデル $(\mathrm{dev} /$ test)

表 4

提案手法で使用したモデル (dev / test)

## 4.4 擬似データの多様性

実験結果から、擬似データの多様性により、日越 と越日それぞれの翻訳性能か向上したと考えられ る。しかし、多様性ではなく、学習データが増えた から、性能が改善した単に可能性もある。このこと を検証するために、 $(e n 2 v i \times 3+e n 2 j a \times 3)$ の実験を 用いて以下の 3 つのケースで、実験を行った。実験結果を表 5 に示す。

・ケース 1：3つの同じ翻訳モデルを使用する。 すなわち、これらのモデルで生成された擬似データ は全く同じとする。

・ケース $2 ： 3$ モデルの内、2つのモデルは 同じモデルである。

・ケース $3 ： 3$ つ異なる翻訳モデルを使用す る。これらのモデルで生成された擬似データは異な る。(提案手法)表 5 擬似データの多様性の有効性 (dev / test)

表５の結果により、全く同じ擬似対訳データを用 いることより異なる擬似データを使用した方がいい ことがわかる。以上の提案手法は多様な擬似データ を用いて en2vi モデルと en2ja モデルの翻訳性能を 改善することで、日越の擬似対訳コーパスの品質を 向上させることができた。

## 5 おわりに

本稿は、対訳文のない日越言語対の翻訳モデルを 学習するために、英日と英越対訳データのみを用い て、日越の擬似対訳データを生成する手法を提案し た。英語を介した 2 つの対訳コーパスで英越と英日 それぞれ複数の翻訳モデルを学習した。それらの翻訳モデルを用いて、順翻訳と逆翻訳を組み合わせ、日越の複数の擬似データを生成し、すべての擬似 データを統合して、日越と越日それぞれの翻訳モデ ルを学習した。実験では IWSLT の対訳データを用 いて提案手法を検証した。実験結果により、本稿の 提案手法は、小規模の対訳データで学習された教師 ありモデルおよびピボット翻訳手法を上回ること を示した。さらに、追加実験で、多様性のある擬似 データを用いることの有効性を示した。

今後は多様性のある擬似データを構成する手法を 用いて、日越の擬似データを生成する英越翻訳モデ ルと英日翻訳モデルの翻訳性能を改善する予定であ る。英越翻訳モデルと英日翻訳モデルの翻訳性能が 向上すれば、日越の擬似データの品質が改善でき、日越と越日それぞれの翻訳精度はさらに向上させら れると考えている。また、提案手法を適用し、他の 対訳データのない言語対の翻訳モデルの性能を改善 したいと考えている。

## 謝辞

本研究は JSPS 科研費 $18 \mathrm{H} 01062$ の助成を受けたも のです.

## 参考文献

[1] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequence learning with neural networks. In Proceedings of the 27th International Conference on Neural Infor-
mation Processing Systems - Volume 2, NIPS'14, p. 3104-3112, Cambridge, MA, USA, 2014. MIT Press.

[2] Thang Luong, Hieu Pham, and Christopher D. Manning. Effective approaches to attention-based neural machine translation. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[3] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4] Vu Cong Duy Hoang, Philipp Koehn, Gholamreza Haffari, and Trevor Cohn. Iterative back-translation for neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 18-24, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[5] Xuan-Phi Nguyen, Shafiq Joty, Wu Kui, and Ai Ti Aw. Data diversification: A simple strategy for neural machine translation. In Proceedings of the 34th International Conference on Neural Information Processing Systems, NIPS'20, Red Hook, NY, USA, 2020. Curran Associates Inc.

[6] Shuo Ren, Wenhu Chen, Shujie Liu, Mu Li, Ming Zhou, and Shuai Ma. Triangular architecture for rare language translation. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 56-65, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[7] Zhiwei He, Xing Wang, Rui Wang, Shuming Shi, and Zhaopeng Tu. Bridging the data gap between training and inference for unsupervised neural machine translation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics.

[8] DE GISPERT A. Catalan-english statistical machine translation without parallel corpus : Bridging through spanish. Proceedings of 5th International Conference on Language Resources and Evaluation (LREC), Genoa, Italy, 2006, pp. 65-68, 2006.

[9] Melvin Johnson, Mike Schuster, Quoc V. Le, Maxim Krikun, Yonghui Wu, Zhifeng Chen, Nikhil Thorat, Fernanda Viégas, Martin Wattenberg, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's multilingual neural machine translation system: Enabling zero-shot translation. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 339-351, 2017.

[10] Guillaume Lample, Alexis Conneau, Ludovic Denoyer, and Marc'Aurelio Ranzato. Unsupervised machine translation using monolingual corpora only. In International Conference on Learning Representations (ICLR), 2018.

[11] Zhen Yang, Wei Chen, Feng Wang, and Bo Xu. Unsupervised neural machine translation with weight sharing. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1:
Long Papers), pp. 46-55, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[12] Mikel Artetxe, Gorka Labaka, Eneko Agirre, and Kyunghyun Cho. Unsupervised neural machine translation. In Proceedings of the Sixth International Conference on Learning Representations, April 2018.

[13] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[14] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.


# 近傍事例を用いた対話における感情認識

石渡 太智 1,2 美野 秀弥 ${ }^{1}$ 後藤淳 ${ }^{1}$ 山田寛章 ${ }^{2}$ 徳永 健伸 ${ }^{2}$
${ }^{1}$ NHK 放送技術研究所 2 東京工業大学情報理工学院
\{ishiwatari.t-fa,mino.h-gq,goto.j-fw\}@nhk.or.jp \{yamada,take\}@c.titech.ac.jp

## 概要

ソーシャルメディアでの感情分析や感情的かつ 共感的な対話システムの構築を目的として対話 における各発話の感情認識 (Emotion Recognition in Conversations: ERC) が注目を集めている. ERCで は，発話の内容だけでなく，発話間の関係が話者の 感情に大きな影響を与えることが知られている. 従来手法の多くは，発話間の関係を抽出し，高い認識性能を達成した。このような手法は, 単体で高い認識性能を示すことが多いが，性質の異なるモデルを 組み合わせることでさらなる性能向上が期待でき る. 本研究は, 単体で高い性能を発揮するモデルが 出力する感情ラベルの確率分布と, 性質の異なる別 のモデルを用いて検索した近傍事例から作成した確率分布とを組み合わせる手法を提案する。評価実験 において，提案手法はERCにおける3つのベンチ マークデータセットのうち，2つのデータセットで ベースモデル単体の認識率を上回る性能を達成し た. また並べ替え検定において，提案手法はべース モデル単体に対して統計的に有意な結果を示した。

## 1 はじめに

ソーシャルメディアでの感情分析 [1] や感情的か つ共感的な対話システムの構築 [2] を目的として対話における各発話の感情認識 (Emotion Recognition in Conversations: ERC) が注目を集めている. 先行研究 として，再帰型ニューラルネットワークを用いて発話の内容を抽出する手法 [3] や, 事前学習済み BERT モデルを用いて発話の内容を抽出する手法 [4] が提案されている. ERCでは, 発話の内容だけでなく発話間の関係が話者の感情に大きな影響を与えること が知られているため [5], 近年では, 発話の内容だけ でなく発話間の関係も考慮する手法が提案されてい る $[6,7]$.

感情認識の問題設定では，単一のモデルでも高い 認識性能を示すことが多いが，異なるモデルの出力
を組み合わせることでさらなる性能向上が期待でき る. そこで本研究は，異なるモデルを用いて検索し た近傍事例から確率分布を作成し，ベースモデルに 組み合わせる手法を提案する。近傍事例を活用した 手法は，機械翻訳 $[8,9,10,11]$ や固有表現抽出 [12],文法誤り訂正 [13] などの幅広い問題設定で活用さ れ, 有効性が示されている. しかしながら，対話に おける感情認識では，近傍事例を応用した手法の有効性が示されていない.

そこで本研究は，性質の異なるモデルによって 検索した近傍事例から確率分布を作成し, ベース モデルの確率分布に足し合わせる手法を提案する. ベースモデルには，発話の内容だけでなく発話間 の関係も考慮することで高い認識性能を達成した DAG-ERC モデル [7]を用いる. 評価実験において， ERC における 3 つのベンチマークデータセットの うち，2つのデータセットでベースモデル単体の認識率を上回る性能を達成した. さらに，1 つのデー タセットで，並べ替え検定によって， ベースモデル 単体よりも統計的に有意な結果を得ることを確認 した.

## 2 提案手法

はじめに ERC の問題設定を示す．ERCでは，対話における各発話 $x_{1}, x_{2}, \cdots, x_{N}$ の, neutral, surprise, fear などの感情ラベル $y_{1}, y_{2}, \cdots, y_{N}$ を認識する.$N$ は 1 つの対話に現れる発話の数を示す.

提案手法は, ベースモデルによる確率分布作成 (2.1), 近傍事例の抽出 (2.2), 近傍事例による確率分布作成 (2.3), モデルの組み合わせ (2.4)の 4 つで構成される。詳細を次で説明する。提案手法の概要を 図 1 に示す. 本手法は，事前学習済みのモデルを使用し，推論フェーズのみで動作する。従って，新た な学習パラメータを必要としない.

図 1 提案手法の全体図. はじめにベースモデルによる感情ラベルの確率分布 $p_{\mathrm{dag}}$ を作成する. 次に, Query Encoder が 出力した特徴量ベクトルを用いて，データベースから近傍事例を検索する。得られた上位 $\mathrm{K}$ 個の近傍事例に付与された 感情ラベルの頻度に基づき確率分布 $p_{\mathrm{kNN}}$ を作成する. ベースモデルの確率分布 $p_{\mathrm{dag}}$ と近傍事例の確率分布 $p_{\mathrm{kNN}}$ を重み 係数 $\lambda$ を用いて足し合わせ，確率分布 $p$ を得る．最後に，最も確率の高い感情ラベルを出力する．Frozen はモデルのパ ラメータを固定した状態を示す.

## 2.1 ベースモデルによる確率分布作成

発話の内容だけでなく発話間の関係も考慮した DAG-ERC モデル [7]を用いて，確率分布を作成す る. DAG-ERC モデルは, RoBERTa-large モデル [14] を用いて対話における各発話の内容を考慮した特徴量ベクトルを抽出する. さらに，グラフニューラル ネットワーク $[15,16]$ を用いて自身の発話からの影響と他者の発話からの影響を考慮した特徴量ベクト ルを抽出する. 発話の内容を示す特徴量ベクトルと 発話間の影響を示す特徴量ベクトルを結合し，順伝播型ニューラルネットワークと Softmax 関数を用い て感情ラベルの確率分布を作成する. 得られた確率分布を $p_{\mathrm{dag}}\left(y_{n} \mid x_{1: n}\right)$ とする. 本手法では, 事前学習済みの DAG-ERC モデルを利用し，全てのパラメー タを固定する。なお，本論文ではべースモデルとし て DAG-ERC を用いるが，ERC タスクで事前に学習 した他のモデルも利用可能である.

## 2.2 近傍事例の抽出

ベースと異なるモデルを用いて，近傍事例を検索 する方法について述べる．まず，訓練データセット の各サンプルに対して，Query encoder モデルを用い て特徴量ベクトルを抽出する. 訓練データに付与 された感情ラベルも取り出し, 特徵量ベクトルと ラベルのペアを取得する. 作成した特徵量ベクト ルを Key，感情ラベルを Value として，Key-Value の
ペアからなるデータベースを作成する. Key の特徴量をh，Value のラベルを $v$ とする。本稿では Query encoder として，ERC の問題設定で事前にファイン チューニングを行った RoBERTa-large モデル1)を用 いる.

続いて, 評価対象の対話を入力し, 先ほどの Query encoder モデルを用いて，特徴量べクトルを取得す る. Query encoder モデルを用いて特徴量ベクトルを 導く関数を $f\left(x_{1: n}\right)$ とする. 取得した特徵量べクト ルを Query として，データベースに登録された特徴量ベクトルとの類似度を計算し，類似度の高い上位 $K$ 個の事例を，近傍事例として取得する。抽出し た近傍事例は, 特徵量ベクトル (Emb), 感情ラベル (Lab), Query との距離 (Dist) によって構成され, その 集合を $R^{n}=\left.\{\left(\mathbf{h}_{i}, v_{i}, d\left(\mathbf{h}_{i}, f\left(x_{1: n}\right)\right)\right), i \in\{1,2, \cdots, K\}\right.\}$ とする. $d(\cdot, \cdot)$ はユークリッド距離を用いる.

## 2.3 近傍事例による確率分布作成

検索した近傍事例を用いて確率分布を作成す る. 2.2 項で抽出した $K$ 個の近傍事例の, 感情ラ ベル $v_{i}$ と Query との距離 $d\left(\mathbf{h}_{i}, f\left(x_{1: n}\right)\right)$ を用いる. Khandelwal らの手法 [8] を参考に，ラベルと距離を 用いて確率分布を算出する式を下式で示す.

$
p_{\mathrm{kNN}}\left(y_{n} \mid x_{1: n}\right) \propto \sum_{\left(\mathbf{h}_{i}, v_{i}\right)} \mathbb{1}_{y_{n}=v_{i}} \exp \left(\frac{-d\left(\mathbf{h}_{i}, f\left(x_{1: n}\right)\right)}{T}\right)
$

$\mathbb{1}_{y_{n}=v_{i}}$ は, 近傍 $v_{i}$ が感情ラベル $y_{n}$ と同一である場合に 1 を返す指示関数である。 ハイパーパラメータ $T$ は温度を示す。

## 2.4 モデルの組み合わせ

2.1 項で作成したベースモデルによる確率分布 $p_{\mathrm{dag}}$ と, 2.3 項で作成した近傍事例による確率分布 $p_{\mathrm{kNN}}$ を組み合わせる。係数取り, ベースモデルの出力と近傍事例を組み合わせ た確率分布を作成する．式を下式に示す。

$
p\left(y_{n} \mid x_{1: n}\right)=\lambda p_{\mathrm{kNN}}\left(y_{n} \mid x_{1: n}\right)+(1-\lambda) p_{\mathrm{dag}}\left(y_{n} \mid x_{1: n}\right)
$

に, 作成した確率分布の中で, 最も確率の高い感情 ラベルを，推論結果として出力する。

## 3 実験

## 3.1 データセット

ERC における 3 つのベンチマークセットを用い て，提案手法の有効性を検証する，訓練データ，検証データ，テストデータの割合と評価方法を表 1 に 示す.また各セットにおける対話数と発話数，クラ ス数を示す.

MELD [17] は，複数の俳優が登場する Friends と いう TV ドラマの，一部シーンを切り取った映像 と音声の書き起こしからなるデータセットである. また，1つの対話に複数の話者が登場し, 各発話に は (neutral, happiness, surprise, sadness, anger, disgust, or fear) のうち 1 つが付与される.

IEMOCAP [18] は 2 人の話者が，1 対 1 の会話を 行う様子を収録した映像と音声の書き起こしから なるデータセットである. 各発話には, (happy, sad, neutral, angry, excited, or frustrated) のうち 1 つが付与 される.

EmoryNLP [19] はTV ドラマ Friendsから，一部 のシーンを切り取り収集したデータセットである。 MELD と比較してデータサイズとラベルの種類が異 なり, 各発話には (neural, sad, mad, scared, powerful, peaceful, or joyful)のうち 1 つが付与される.

## 3.2 評価指標

Shen らの手法 [7] で用いられた評価指標と同じ， Weighted-F1 值を全てのデータセットの評価に用い る.また，ノンパラメトリック検定の一つである並
べ替え検定を用いて，有意差を検定する。

## 3.3 その他の実験設定

その他の実験設定を示す. DAG-ERC は [7] で報告された学習パラメータを用いて, 事前に学習 した. また, Query encoder として用いる FinetunedRoBERTa は，学習率を $5 e-6$ に設定し，損失関数に Cross Entropy Loss を，最適化に RAdam optimizer [20] を用いて事前に学習した。

また, ベースモデルと Query encoder の特徴量ベ クトルの次元数を 1024 とし, 近傍事例の数 $K$ を 32 に，温度 $T$ は 1000 に設定した. ハイパーパラメー タである係数 $\lambda$ は $(0,0.25,0.5,0.75,1)$ の中から，検証データで最も Weighted-F1 値が高くなるものを選択した。近傍事例の検索は，faiss[21]を用いた. 全 ての実験結果は 5 回行い平均値を用いた. $512 G B$ メモリの AMD EPYC 7F52 CPU と， 40GB メモリの NVIDIA A100 の GPUを用いて実験を行った。

## 4 実験結果

## 4.1 比較実験

ベースモデル単体との比較結果を表 2 に 示す. ベースモデル単体の手法として, DAGERC[7] と Finetuned-RoBERTaを用いた. 提案手法の Query encoder として, DAG-ERC, Vanilla-RoBERTa, Finetuned-RoBERTa の 3 種類を比較した. 表 2 の avg, std, p-score は, それぞれ平均値, 標準偏差, DAG-ERC を基準にした $\mathrm{p}$ 値を示す.

表 2 の結果より, 3 つのベンチマークデータ セットの内，2つのデータセットでベースモデル 単体を上回る認識性能を達成した。また，MELD データセットにおいて, Finetuned-RoBERTaを Query encoder として用いた手法 (\#4) は, ベースモデルで ある DAG-ERC(\#0) に対して p-score が $5 \%$ を下回っ た. 以上より，提案手法が DAG-ERC に対して統計的に有意な差を示すことが確認できた。

次に, Query encoder の 3 種類を比較する. MELD データセットと IEMOCAP データセットにおいて， Finetuned-RoBERTaを用いた結果 (\#4) が DAG-ERC を用いた結果 (\#2)を上回った. 以上より，ベースモ デルと性質の異なるモデルを組み合わせる方法の有効性が確認できる.

一方で, EmoryNLP データセットでは, 提案手法 $(\# 2,3,4)$ の Weighted-F1 值が，DAG-ERC 単体を用い

 & テストデータ & 訓練データ &  & テストデータ & クラス数 & 評価方法 \\

表 1 MELD，IEMOCAP, EmoryNLP ベンチマークデータセットの割合と評価方法. 訓練データ，検証データ，テスト データにおける対話数と発話数，クラス数を示す.

表 2 MELD, IEMOCAP, EmoryNLP ベンチマークデータセットにおけるベースモデル単体との比較実験. avg, std, p-score は，それぞれ平均値，標準偏差，DAG-ERC を基準にした $\mathrm{p}$ 値を示す. ボールド体は最も性能が高い値を示す．各値は 5 回の実験による Weighted-F1 値の平均値を示す.

図 2 各ベンチマークデータセットにおける係数と Weighted-F1 値の関係. W-F1 は Weighted-F1 値を示す.

た結果 (\#0)に比べて，低い値を示した. これは係数 $\lambda$ として，0や 0.75 が選ばれたことが原因と考えら れる。係数 $\lambda=0$ の場合，近傍事例による確率分布 は利用されず，ベースモデル単体の出力がそのまま 利用される. そのため，性能に変化が生じなかっ た. また， $\lambda$ が大きい場合，近傍事例による確率分布に重きが置かれる. 関連する事例がデータベース に存在しない場合も, 近傍事例による確率分布に重 きが置かれてしまう，そのため，ロバスト性が失わ れ, 性能が落ちてしまった. 今後は, サンプル全体 で一つの係数 $\lambda$ を設定するのではなく, サンプルご

## 4.2 係数の分析

続いて，ハイパーパラメータである係数 $\lambda$ と 認識性能の関係を検証する。各ベンチマーク

$(0,0.25,0.5,0.75,1)$ と変化させた時に, Query encoder として Finetuned-RoBERTa を用いた提案手法の認識率がどのように変化するかを分析する．結果を図 2 に示す.

結果から，全てのデータセットでベースモデル単体 $(\lambda=0)$ が示す認識率を，上回る $\lambda$ が存在するこ とを確認できる．特に $\lambda$ が 0.25 や 0.5 のときに，高 い性能を発揮することがわかった。一方で， $\lambda$ が大 きい場合は，認識性能が極端に劣化することがわ かった。

## 5 おわりに

本稿は，対話における各発話の感情認識におい て，単体で高い性能を発揮するモデルをベースに，性質の異なるモデルを用いて検索した近傍事例か ら，感情ラベルの確率分布を作成し，ベースモデル に組み合わせる手法を提案した. 3 つのベンチマー クデータセットを用いて手法の有効性を確認したと ころ，2つのデータセットでベースモデルの認識率 を上回る性能を達成した。

今後の展望として, 温度 $T$ および係数 $\lambda$ を学習す ることを検討している。本稿では温度 $T$ は固定し，係数 $\lambda$ はハイパーパラメータとして選択した. 最適 な温度と係数はデータセットのサンプルによって異 なると考えられる．今後は，学習によって動的に変更する手法を検討する．また，近傍事例の数 $K$ も同様に変更できる手法を検討する。

## 謝辞

貴重なコメントや議論を頂いた NHK 放送技術研究所の山田一郎シニアリード，宮﨑太郎研究員,安田有希研究員，奥田あずみ研究員に感謝の意を 表す。

## 参考文献

[1] Ankush Chatterjee, Kedhar Nath Narahari, Meghana Joshi, and Puneet Agrawal. Semeval-2019 task 3: Emocontext contextual emotion detection in text. In Proceedings of the 13th international workshop on semantic evaluation, pp. 39-48, 2019.

[2] Navonil Majumder, Pengfei Hong, Shanshan Peng, Jiankun Lu, Deepanway Ghosal, Alexander Gelbukh, Rada Mihalcea, and Soujanya Poria. Mime: Mimicking emotions for empathetic response generation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), p. 8968-8979, 2020.

[3] Pengfei Liu, Xipeng Qiu, and Xuanjing Huang. Recurrent neural network for text classification with multi-task learning. In Proceedings of the Twenty-Fifth International Joint Conferences on Artificial Intelligence Organization (IJCAI-16), 2016.

[4] Linkai Luo and Yue Wang. Emotionx-hsu: Adopting pre-trained bert for emotion classification, 2019. https://arxiv.org/abs/1907.09669.

[5] Soujanya Poria, Navonil Majumder, Rada Mihalcea, and Eduard Hovy. Emotion recognition in conversation: Research challenges, datasets, and recent advances. IEEE Access, Vol. 7, No. 1, pp. 100943-100953, 2019.

[6] Deepanway Ghosal, Navonil Majumder, Soujanya Poria, Niyati Chhaya, and Alexander Gelbukh. Dialoguegen: A graph convolutional neural network for emotion recognition in conversation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), p. 154-164, 2019.

[7] Weizhou Shen, Siyue Wu, Yunyi Yang, and Xiaojun Quan. Directed acyclic graph network for conversational emotion recognition. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), p. 1551-1560, 2021.

[8] Urvashi Khandelwal, Angela Fan, Dan Jurafsky, Luke Zettlemoyer, and Mike Lewis. Nearest neighbor machine translation. In International Conference on Learning Representations, 2021.

[9] Xin Zheng, Zhirui Zhang, Junliang Guo, Shujian Huang, Boxing Chen, Weihua Luo, and Jiajun Chen. Adaptive nearest neighbor machine translation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), p. 368-374, 2021.

[10] Qingnan Jiang, Mingxuan Wang, Jun Cao, Shanbo Cheng, Shujian Huang, and Lei Li. Learning kernel-smoothed machine translation with retrieved examples. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, p. 7280-7290, 2021.

[11] Dexin Wang, Kai Fan, Boxing Chen, and Deyi Xiong.
Efficient cluster-based k-nearest-neighbor machine translation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), p. 2175-2187, 2022.

[12] Xinyu Wang, Yong Jiang, Nguyen Bach, Tao Wang, Zhongqiang Huang, Fei Huang, and Kewei Tu. Improving named entity recognition by external context retrieving and cooperative learning. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), p. 1800-1812, 2021.

[13] Masahiro Kaneko, Sho Takase, Ayana Niwa, and Naoaki Okazaki. Interpretability for language learners using example-based grammatical error correction. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 7176-7187, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[14] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019. https://arxiv.org/abs/1907.11692.

[15] Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Lio, and Yoshua Bengio. Graph attention networks. In Proceedings of the International Conference on Learning Representations, 2017.

[16] Michael Schlichtkrull, Thomas N Kipf, Peter Bloem, Rianne Van Den Berg, Ivan Titov, and Max Welling. Modeling relational data with graph convolutional networks. In European Semantic Web Conference Springer, pp. 593-607, 2018

[17] Soujanya Poria, Devamanyu Hazarika, Navonil Majumder, Gautam Naik, Erik Cambria, and Rada Mihalcea. Meld: A multimodal multi-party dataset for emotion recognition in conversations. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, p. 527-536, 2018.

[18] Carlos Busso, Murtaza Bulut, Chi-Chun Lee, Abe Kazemzadeh, Emily Mower, Samuel Kim, Jeannette N Chang, Sungbok Lee, and Shrikanth S Narayanan. Iemocap: Interactive emotional dyadic motion capture database. Language resources and evaluation, Vol. 42, No. 4, p. 335, 2008 .

[19] Sayyed M Zahiri and Jinho D Choi. Emotion detection on tv show transcripts with sequence-based convolutional neural networks. In Workshops at the Thirty-Second AAAI Conference on Artificial Intelligence, 2018.

[20] Liyuan Liu, Haoming Jiang, Pengcheng He, Weizhu Chen, Xiaodong Liu, Jianfeng Gao, and Jiawei Han. On the variance of the adaptive learning rate and beyond. In Proceedings of the International Conference on Learning Representations, 2019.

[21] Jeff Johnson, Matthijs Douze, and Hervé Jégou. Billionscale similarity search with GPUs. IEEE Transactions on Big Data, Vol. 7, No. 3, pp. 535-547, 2019.