# 異言語間対話を支援する日英雑談対話誤訳検出

李云蒙 1 鈴木潤 1,3 森下睦 2 阿部香央莉 1
徳久良子 ${ }^{1}$ ブラサール・アナ ${ }^{3,1}$ 乾健太郎 1,3
1 東北大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所 ${ }^{3}$ 理化学研究所
li.yunmeng.r1@dc. tohoku.ac.jp

## 概要

本論文では，現在の機械翻訳手法の限界に起因す る誤訳を検出し，異言語間対話を支援するシステム の開発について述べる. システムのベースラインと して誤訳検出器を学習し, またこの評価のために,複数ターンの雑談をもとに構成された日英雑談対話対訳コーパス「BPersona-chat」[1]に対し，機械翻訳文を利用した低品質な翻訳および各翻訳に対する クラウドソーシングによる品質評価を加え，コーパ スを再構築した. 結果として, ベースライン検出器 は簡単な誤訳を検出することができた。このべース ラインを基盤とし，より複雑な異言語間対話におけ る誤訳検出器の構築を目指す.

## 1 はじめに

国際化の進展に伴い，異言語間対話の必要性が 高まっている. しかし, 現在の機械翻訳技術は,系統だった文書の翻訳では確かな性能を発揮す るが $[2,3,4]$, 対話翻訳に適しているとは言い難 い $[5,6,7,8]$. 機械翻訳システムで誤訳が生成され た場合，ユーザーはその誤訳を識別できず，混乱や 誤解を招く可能性がある. 本研究では，このような 誤訳を検出し，その発生をユーザーに通知すること で，潜在的な誤解を低減する異言語間対話支援シス テムの開発を目指す.このシステムの核心として，本論文では，異言語間対話翻訳の誤訳を検出する 誤訳検出タスクの提案およびベースラインとして BERTを用いた誤訳検出器の作成を行った. 本誤訳検出タスクの説明図を図 1 に示す. この誤訳検出で は，異言語間対話において機械翻訳モデルが誤訳文 または文脈との関連性が薄い翻訳文を生成した場合, 誤訳検出器がユーザーに誤訳の可能性があると いう警告を知らせる。この警告メッセージによっ て，A 言語側（説明図の日本語側）のユーザーはよ り機械翻訳が翻訳しやすい形にテキストを修正する

図1 機械翻訳を介した異言語間対話における誤訳検出夕 スクの概略図. 検出器は翻訳 $j a_{2}$ の正確さ 一一貫性の評価を行う。

ことが可能である。また， B言語側（説明図の英語側）のユーザーも，不適切または文脈にそぐわない 単語や文章が翻訳エラーである可能性が高いことを 認知できる.

検出した誤訳を評価するために，我々は既存の雑談対訳コーパス「BPersona-chat $」$ [1] に加え，新た に比較的低品質な機械翻訳文およびクラウドソーシ ングでラベル付けした翻訳の品質ラベル（正訳また は誤訳）を加えたデータセットを作成した。実験で は，異なる言語間の雑談対話の翻訳が正しいか誤り であるかを分類する誤訳検出器を学習し (図 1), そ の性能を作成したデータセットで評価した. 本論文 の主な貢献は（1）異言語間対話誤訳検出タスクの 提案（2）BPersona-chatコーパスの再構築（3）異言語間対話支援システムを開発するためのべースライ ン誤訳検出器の提供の三つである.

## 2 誤訳検出タスクの定義

本研究で扱う「異言語間対話における誤訳検出夕 スク」を定義する。まず，本研究では「異言語間対話」を異なる言語での雑談対話と定義する。した がって，「異言語間対話における誤訳検出タスク」と は，機械翻訳システムを介した異なる言語での対話 において，発話（応答）が翻訳システムによって正 しく翻訳されたかどうかを予測するタスクとする。本タスクでは，入力として異言語間対話中の文脈

 &  &  &  \\

表 1 原文に対して三つの翻訳文と人間による評価を付加した BPersona-chat の例.

情報（例えば，直前の相手の発話，相手の発話の翻訳，応答，応答の翻訳など）を受け取り，出力とし て応答の翻訳が誤りであるかどうかを出力する誤訳検出器を構築し，それを用いて誤訳判定を行うこと を想定する。図 1 に，日本語・英語対話における 英語応答の日本語訳を評価する例を示す．機械翻訳 システムによって, 日本語話者の最初の発話 $j a_{1}$ が $e n_{1}$ に翻訳され, 英語話者の応答 $e n_{2}$ が $j a_{2}$ に翻訳さ れる.このとき, 誤訳検出器は直前の話者の発話, その翻訳と応答 $\left(j a_{1}, e n_{1}, e n_{2}\right)$ を参照し, $e n_{2}$ の翻訳 $j a_{2}$ が正確かつ一貫しているかどうかを予測する. この例では，検出器は「I agree（賛成です）」という 応答に対する「ありがとう」という翻訳が誤訳であ ると評価している。 検出器はこのように, 会話者に 関係なく，各発話の翻訳が行われるたびに，翻訳文 を評価して誤訳の有無を検出するものと想定する

## 3 関連研究

翻訳品質推定タスク Wikipedia の記事や Amazon のレビューなど，主に人間の書いた文章を対象とし た品質評価タスク $[9,10]$ と比較して，我々の翻訳品質評価タスクは翻訳文を対象とするという点で新し いタスク設定となる. その上, 本タスクでは, 対話翻訳の誤訳を検出しするため，対話で用いる口語文 の文脈を理解する必要がある.

並列対話コーパス 日英対話コーパスとして，商談シーンを収録した Business Scene Dialog [11] があ る.しかし，我々のタスクではより日常的なシーン での対話支援を目的としている. 我々は他言語の並列対話コーパスの構築方法を参考に，タスクに相応 しい日英雑談対話コーパスを構築した. ここでは，英独対話コーパス BConTrasT [7] と英中対話コーパ ス BMELD [8] の構築を参照した. 英独対話コーパ ス BConTrasT は, WMT2020 対話翻訳タスクの主催者が英語対話コーパス Taskmaster-1 [12] をドイツ語
に翻訳して作成したコーパスである。また，英中対話コーパス BMELD も同様に，MELD [13] という英語対話コーパスを中国語に翻訳して作成したコーパ スである.

これらの並列対話コーパスを参考に，我々は雑談対話が含まれる英語対話コーパス Persona-chat [14] と日本語対話コーパス JPersona-chat [15] を元になる データセットとして採用し，日英雑談対話対訳コー パス BPersona-chat を構築した [1]. 品質を保証する ため，クラウドワーカーに依頼して Persona-chat 中 にある不自然な話題転換や誤解などが含まれていて 一貫性がない対話をフィルタリングし，プロの翻訳家の手で翻訳を付与した.

本研究では、提案タスクを評価するため，一度構築した BPersona-chat に新たな翻訳とアノテーション を付与し、評価用データセットとして再構築した.

## 4 評価用データセット

本タスクの評価用データセットにするため, BPersona-chat に新たな翻訳文を追加した. さらに，翻訳が対話翻訳として許容できるかについて評価 し，データセットを再構築した. 詳細は以下の通り である.

## 4.1 対話データの人間による翻訳

BPersona-chat を構築する際，Persona-chat の合計 2, 940 の発話から上位 200 件の発話と, JPersona-chat の合計 2,740 の発話から上位 250 件の発話を抽出 し，それぞれの対象言語に翻訳した1）。翻訳者には，翻訳の正確さと対話としての一貫性の双方に配慮し てもらった. その結果， 450 の対話（5,680の発話） とその翻訳を得ることができた [1]. BPersona-chat を再構築する際，上記のデータも人間による翻訳と して活用した.


図 2 人間による翻訳，モデル A の翻訳，モデル B の翻訳 それぞれにおけるアノテーション後の正訳と誤訳の割合.

## 4.2 対話データの機械翻訳

誤訳検出タスクを解く検出器のベースラインを構築するため，BPersona-chat における専門家の翻訳に 加え，主に負例として利用することを念頭に機械翻訳で生成した翻訳結果を用意した。機械翻訳結果を 得るために，2 種類の機械翻訳モデルを用意した. その 1 つは, OpenSubtitles2018 [16] によって学習し た Transformer ベースのニューラル機械翻訳（NMT） であり，これをモデル $\mathrm{A}$ と呼ぶ. モデル $\mathrm{A}$ の出力を BPersona-chat で評価すると，BLEU の値 [17] は 4.9 となった2)。なお，モデル A の BLEU 值が比較的低 い原因は, OpenSubtitles2018 と BPersona-chat のドメ インが違うことによるものと考えられる.しかし， データセットを構築するためにあえて低品質の翻訳結果が必要であったため，これは望ましい結果であ る。次に，より良い機械翻訳文を生成するため，公開されている機械翻訳 API（DeepL API）を使用し た.これをモデル B と呼ぶ. BPersona-chatをモデル B で評価すると BLEU スコアは 26.4 となった.

## 4.3 翻訳の人間による評価

人間の翻訳および機械翻訳モデル $\mathrm{A}, \mathrm{B}$ が生成し た翻訳候補に対し, 誤訳検出タスクにおける翻訳品質ラベルを付与した。なお，この判定は，英語と日本語の両方に堪能なクラウドワーカーを集めて実施した. 図 2 に示す結果から，モデル A の翻訳の $89.58 \%$ ，モデル B の翻訳の $30.25 \%$ ，人間の翻訳の $10.51 \%$ が誤訳と評価された ${ }^{3}$.

発話に付与された翻訳が全て正しくない場合，誤訳検出タスクにおいて参照する文脈として使用す ることは難しい。したがって，人間による翻訳，モ デル $\mathrm{A}$ の翻訳，モデル $\mathrm{B}$ の翻訳の全てが誤ってい る 159 件の発話は評価データとして用いないことと

2） NMT モデル A の学習は付録 A を参照.

3）クラウドソーシングの詳細については付録 C を参照.

表 2 マジョリティクラス分類器，マイノリティクラス分類器，および誤訳検出器の精度.

表 3 BPersona-chatにおける誤訳検出器の $\mathrm{F}$ 值，適合率と 再現率.

した。最終的には，英語発話 2,674 件に対して日本語訳 8,022 件が得られ，そのうち 3,406 件が誤訳，残りの 4,616 件が正訳であった．また，日本語発話 2,397 件に対して英語訳 7, 190 件が得られ，3,096 件が誤訳，4,094 件が正訳となった。これらをまと めて BPersona-chat コーパスを再構築した ${ }^{4)}$. 表 1 は BPersona-chat のサンプルである.

## 5 ベースライン誤訳検出器

誤訳検出器のベースラインとして, BERT に基づく二值分類モデル $[18,19]$ を学習・評価した ${ }^{5)}$. 英語発話 $e n_{2}$ の日本語翻訳 $j a_{2}$ の 誤訳判定をする場合，分類モデルの入力は “ $j a_{1}$ [SEP]en $n_{1}$ [SEP]en $n_{2}$ [SEP] $j a_{2}$ ”とした. 同様に, 日本語発話 $j a_{2}$ の翻訳 $e n_{2}$ の誤訳判定をする場合,

BERT の元実験と同様，分類結果に SoftMax 関数を 適用して予測値を計算した。

分類モデルの学習には OpenSubtitles2018 データ セット約 100 万の発話を用いた．参照訳を正例，低品質翻訳モデル A による出力を（4.2 節）で擬似的 な負例とし, HuggingFace ${ }^{7)}$ が提供する多言語 BERT モデルを再学習して，英語から日本語，日本語から 英語両方向の誤訳検出器を構築した。

## 6 実験

本節では，異言語間対話訳における誤訳検出器の 試行と評価結果を報告する。


英 $\rightarrow$ 日

表 4 BPersona-chat に対する誤訳検出器の混同行列（行 ヘッダが人間による評価, 列ヘッダが検出器による予測).

## 6.1 評価指標

マジョリティクラスとマイノリティクラス分類器誤訳検出器の予測が偶然正解したものではないこと を確認するために，マジョリティクラス分類器，マ イノリティクラス分類器，そして誤訳検出器の精度 を計算した。

$\mathrm{F}$ 値, 適合率と再現率 誤訳検出器の性能は $\mathrm{F}$ 値 （F）によって評価した。また，適合率（Pre）と再現率（Rec）も合わせて計算した.このとき真値（T） を誤訳ラベルが付いた事例，正例（P）を検出器が 誤訳と判定した事例とした。

混同行列 誤訳検出器の性能を評価するため，翻訳が人間，NMT モデル A，NMT モデル B のいずれ によって翻訳されたかに応じて混同行列を示す.

## 6.2 結果

誤訳検出器は異言語間対話中の誤訳をある程度分類することができることがわかった. 表 2 に示す精度から, 誤訳検出器はマジョリティクラスとマイノ リティクラス分類器と比較して高い性能を得た。こ の結果は，検出器は片方の結果のみを偏って出力し ているわけではないということを示している。さら に，表 3 に示す $\mathrm{F}$ 值，適合率，再現率によると，誤訳検出器は BPersona-chat の誤訳をそれなりの精度 で識別することが可能であった.

しかし，表 4 に翻訳の種類に応じた混同行列よ り，検出器は高品質なモデル B で生成された翻訳を うまく識別することはできなかった。．検出器はモ デル B で生成された誤訳の半分以上を正訳として判断した。うまく判別できなかった理由として，誤訳検出器が, 低品質なモデル A で生成された負例で学習を行なっていることが挙げられる。誤訳検出器と従来の BLEU 計算による評価を 比較するため，BPersona-chat 中の誤訳文に対する sentence-BLEU スコア $[20]^{8)}$ を計算した. sentenceBLEU を計算する際，正訳ラベルがついた翻訳文を 参照訳とした。その結果，誤訳ラベルがついた例の うち，誤訳検出器によって誤訳と判断され，かつ sentence-BLEU スコアも 60 以下となった翻訳文は日本語誤訳の $78.83 \%$, 英語誤訳の $76.75 \%$ となった. なお，誤訳ラベルがついた例のうち，誤訳検出器 では正しく誤訳と判断されたが sentence-BLEU スコ アが 60 以上となる翻訳文は，日本語誤訳の $2.14 \%$,英語誤訳の $21.83 \%$ となった。結果として, 誤訳検出器は正しい翻訳（参照訳）の有無に依存せず， sentence-BLEU スコアを基準として誤訳を判別した ときの精度の 70〜 80\%程度に匹敵すると判明した. また，特に英語訳文を判定する際，ベースライン誤訳検出器は sentence-BLEU スコアが高い，すなわち 表層的には正訳と類似している誤訳文も検出可能で あることを示唆する結果が得られた. このように， ここに提案する誤訳検出器は，BLEU のような指標 では判別できない誤訳を判別できる可能性が高く， この結果は誤訳検出器が異言語間対話の支援システ ムとして活用できる可能性を示している.

## 7 まとめ

本論文では，異言語間でのコミュニケーションを 支援するために，異言語間対話における誤訳検出夕 スクを提案した。本研究における評価のために，複数ターンの雑談をもとに構成された日英対訳コー パスに，比較的低品質な機械翻訳文およびクラウド ソーシングによる翻訳の品質（正訳または誤訳）の 分類を付与した評価用データセットを構築した。ま た，誤訳を検出する誤訳検出器を学習し，異言語対話における誤訳の検出を支援するシステムのベース ラインを構築した．更に，上記の評価用データセッ トを用いてベースラインを評価した。

今後，異言語間対話支援システムの向上に向け て，より詳細に誤訳の可能性を示す機能の実現を目指している。発展として，翻訳に含まれる具体的な 誤りを特定できるように，二值分類を複数ラベルに 改良することを考えている。また，発話候補を参考情報として提供し，ユーザーに発話の修正を促すこ とも検討したい.


## 謝辞

本研究は JST 科学技術イノベーション創出に 向けた大学フェローシップ創設事業 JPMJFS2102, JST CREST Grant Number JPMJCR20D2，JST ムーン ショット型研究開発事業 JPMJMS2011，JSPS 科研費 JP20J21694 の支援を受けたものである.

BPersona-chat の配布を許可いただいた Personachat [14] の開発者様と JPersona-chat [15] の開発者様 に深く感謝申し上げます。

Amazon Mechanical Turk  に おいてクラウドワーカーとしてご協力いただいた皆様へ，深く感謝を申し上げます。

本研究を進めるにあたり，頻繁に議論に参加して いただいた東北大学 Tohoku NLP グループの皆様へ 感謝いたします。

## 参考文献

[1] Yunmeng Li, Jun Suzuki, Makoto Morishita, Kaori Abe, Ryoko Tokuhisa, Brassard Ana, and Inui Kentaro. Bpersona-chat: A coherence-filtered english-japanese dialogue corpus. In Proceedings of NLP2022, pp. E7-3, 2022.

[2] Loïc Barrault, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Mark Fishel, Yvette Graham, Barry Haddow, Matthias Huck, Philipp Koehn, Shervin Malmasi, Christof Monz, Mathias Müller, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2019 conference on machine translation (WMT19). In Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 1-61, 2019.

[3] Loïc Barrault, Magdalena Biesialska, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Matthias Huck, Eric Joanis, Tom Kocmi, Philipp Koehn, Chi-kiu Lo, dow, Matthias Huck, Eric Joanis, Tom Kocmi, Philipp Koehn, Chi-kiu Lo, aki Nakazawa, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2020 conference on machine translation (WMT20). In Proceedings of the Fifth Conference on Machine Translation, pp. 1-55, 2020

[4] Toshiaki Nakazawa, Nobushige Doi, Shohei Higashiyama, Chenchen Ding, Raj Dabre, Hideya Mino, Isao Goto, Win Pa Pa, Anoop Kunchukuttan, Yusuke Oda, Shantipriya Parida, Ondřej Bojar, and Sadao Kurohashi. Overview of the 6th workshop on Asian translation. In Proceedings of the 6th Workshop on Asian Translation, pp. 1-35, 2019

[5] Samuel Läubli, Rico Sennrich, and Martin Volk. Has machine translation achieved human parity? a case for document-level evaluation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4791-4796, 2018.

[6] Antonio Toral, Sheila Castilho, Ke Hu, and Andy Way. Attaining the unattainable? reassessing claims of human parity in neural machine translation. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 113-123, 2018 .

[7] M. Amin Farajian, António V. Lopes, André F. T. Martins, Sameen Maruf, and Gholamreza Haffari. Findings of the WMT 2020 shared task on chat translation. In Proceedings of the Fifth Conference on Machine Translation, pp. 65-75, 2020.

[8] Yunlong Liang, Fandong Meng, Yufeng Chen, Jinan Xu, and Jie Zhou. Modeling bilingual conversational characteristics for neural chat translation, 2021.

[9] Lucia Specia, Frédéric Blain, Marina Fomicheva, Erick Fonseca, Vishrav Chaudhary, Francisco Guzmán, and André F. T. Martins. Findings of the WMT 2020 shared task on quality estimation. In Proceedings of the Fifth Conference on Machine Translation, pp. 743-764, 2020.

[10] Erick Fonseca, Lisa Yankovskaya, André F. T. Martins, Mark Fishel, and Christian Federmann. Findings of the WMT 2019 shared tasks on quality estimation. In Proceedings of the Fourth Conference on Machine Translation (Volume 3: Shared Task Papers, Day 2), pp. 1-10, 2019.

[11] Matīss Rikters, Ryokan Ri, Tong Li, and Toshiaki Nakazawa. Designing the business conversation corpus. In Proceedings of the 6th Workshop on Asian Translation, pp. 54-61, Hong Kong, China, November 2019. Association for Computational Linguistics.

[12] Bill Byrne, Karthik Krishnamoorthi, Chinnadhurai Sankar, Arvind Neelakantan, Daniel Duckworth, Semih Yavuz, Ben Goodrich, Amit Dubey, Andy Cedilnik, and Kyu-Young Kim. Taskmaster-1: Toward a realistic and diverse dialog dataset, 2019.

[13] Soujanya Poria, Devamanyu Hazarika, Navonil Majumder, Gautam Naik, Erik Cambria, and Rada Mihalcea. Meld: A multimodal multi-party dataset for emotion recognition in conversations, 2019.
[14] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too?, 2018

[15] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems, 2021.

[16] Pierre Lison, Jörg Tiedemann, and Milen Kouylekov. OpenSubtitles2018 Statistical rescoring of sentence alignments in large, noisy parallel corpora. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), pp. 1742-1748, 2018

[17] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Lin guistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[18] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[19] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clemen Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-ofthe-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System ence on Empirical Methods in $\mathrm{Nat}$
Demonstrations, pp. $38-45,2020$.

[20] Steven Bird, Ewan Klein, and Edward Loper. Natural language processing with Python: analyzing text with the natural language toolkit. O'Reilly Media, Inc.", 2009.

[21] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Advances in Neural Information Processing Systems 31 (NIPS 2017), pp. 5998-6008, 2017

[22] Jörg Tiedemann and Yves Scherrer. Neural machine translation with extended context. In Proceedings of the Third Workshop on Discourse in Machine Translation, pp. 82-92, 2017

[23] Diederik Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of the 3rd International Conference on Learning Representations (ICLR 2015), 2015

[24] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research, Vol. 15, No. 56, pp. 1929-1958, 2014

[25] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jon Shlens, and Zbigniew Wojna. Rethinking the Inception Architecture for Computer Vision. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016), pp. 2818-2826, 2016

[26] Myle Ott, Sergey Edunov, David Grangier, and Michael Auli. Scaling Neural Machine Translation. In Proceedings of the Third Conference on Machine Translation (WMT 2018), pp. 1-9, 2018.

[27] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's neural machine translation system Bridging the gap between human and machine translation. CoRR, Vol. abs/1609.08144, , 2016.

[28] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, 2019.

[29] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine transla tion of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

表 5 NMT モデル A 学習のハイパーパラメータ一覧

表 6 分類モデル学習のハイパーパラメータ一覧

## A 翻訳モデルの学習設定

ニューラル機械翻訳モデル $\mathrm{A}$ を学習する際，まずは BPE [29] でコーパスをトークナイズしてサブワードにす る. 語彙の大きさは 32,000 とした. 文脈を考慮するため に，2つの入力文を与えて 2 つ連続して出力する 2-to-2 Transformer-based NMT モデル A [22] を学習した. 表 5 に ハイパーパラメータの一覧を示している.

## B 分類モデルの学習設定

分類モデルの学習について説明する. 表 6 にハイパー パラメータの一覧を示している.

## C クラウドソーシング関連設定

## C. 1 Persona-chat のフィルタリング

Amazon Mechanical Turk (https://requester.mturk. $\mathrm{com} /$ ）のクラウドワーカーに，Persona-chat の一貫性 がない対話をフィルタリングするよう依頼した. 以下に 当てはまる場合，「一貫性がない」対話であると定義した.
- questions being ignored;
- the presence of unnatural topic changes;
- one is not addressing what the other said;
- responses seeming out of order;
- or being hard to follow in general.

ワーカーには，誤字脱字などの細かいことは気にせず，大 まかな流れを把握するよう指示した。

フルラウンドでは, Persona-chat から 1,500 の対話を選択した. クラウドワーカーは，予選を経て選ばれた．各 クラウドワーカーは対話 5 件を評価し，各対話は異なる ワーカー 10 人によって評価された. 選ばれた 200 対話は ワーカー 10 人のうち，少なくとも七人が正しいかつ一貫 していると評価した対話となった.

## C. 2 対話に対する翻訳の評価

クラウドワークス (https://crowdworks.jp/）のクラウ ドワーカーに，BPersona-chatの人間による翻訳と機械翻訳を低品質か高品質かラベル付けしてもらうタスクを 行った. クラウドワーカーの資格は，日本語はネイティ ブレベル，英語はビジネス・アカデミックレベルに到達 できるレベルとなっている。このタスクでは，以下の場合に「低品質である」と定義した.
- the translation is incorrect;
- parts of the source chat are lost;
- there are serious grammatical or spelling errors that interfere with understanding;
- the person's speaking style changes from the past utterance;
- the translation is meaningless or incomprehensible;
- or the translation is terrible in general.

ワーカーは，対話全体が含まれるファイルを一つ一つ確認し，各発話を評価することができた。

ワーカーによって，クラウドワーカーは二週間でファ イル 50 個から 300 個程度を評価した。このタスクは事前 に予選を行い，予選を通過したワーカーのみ本選（実際 の作業）に参加可能とした.
 李云蒙 1 鈴木潤 1,3 森下睦 2 阿部香央莉 1 徳久良子 ${ }^{1}$ ブラサール・アナ ${ }^{3,1}$ 乾健太郎 1,3 1 東北大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所 ${ }^{3}$ 理化学研究所 li.yunmeng.r1@dc. tohoku.ac.jp  