# ニューラル機械翻訳における単語分割器のドメイン適応

榎本大晟 平澤寅庄 金輝燦 岡照晃 小町守
東京都立大学
\{enomoto-taisei, hirasawa-tosho, kim-hwichan\}@ed.tmu.ac.jp,
\{teruaki-oka, komachi\}@tmu.ac.jp

## 概要

fine-tuning（微調整）でin-domain にドメイン適応 をする際，一般的にモデルのみが対象であり，単語分割は general-domain で使用した単語分割器をその まま使用する. 既存研究では, タスクやモデルに適 した単語分割を行うことにより，モデルの性能が向上することが示されており，ドメインにおいても同様に general-domain $の$ 単語分割器が，in-domain にお いて最適とは限らないと考えられる。そこで本研究 では，機械翻訳タスクを対象とし，モデルと単語分割器の学習を同時に行う単語分割同時最適化を用い て, 単語分割器のドメイン適応を行うことで，翻訳精度の改善を試みる. 実験により，単語分割器のド メイン適応が in-domain データの翻訳性能の向上に 寄与することを示す.

## 1 はじめに

単語分割は自然言語処理タスクの精度に影響を与 える重要な処理である. これまでの研究から，モデ ルの性能が向上するような適切な単語分割はタスク やモデルの構造などによって異なることがわかって いる $[1,2,3,4,5]$. 近年では, タスクやモデルに応じ て単語分割を自動で最適化する手法が研究されてお り，その内の 1 つに平岡ら [6] による単語分割同時最適化手法がある. これは，タスクに用いるモデル と単語分割器を同時に End-to-End で学習する手法で ある. 平岡らは，機械翻訳タスクでの単語分割同時最適化の評価実験では in-domain データのみでモデ ルと単語分割器の学習を行い, 翻訳性能の向上を確認している ${ }^{1)}$.

一方，ドメインに特化した機械翻訳システムは高 い需要があるが，一般的に機械翻訳モデルの学習に

1）平岡らの機械翻訳タスクでの実験では，単語単位に分割し た後に単語分割同時最適化をおこなっているため，サブワー ド単位への分割を学習しているといえる. 本研究でも同様に サブワード単位への分割を学習する。 は大規模なコーパスが必要であるため，in-domain データのみを用いてモデルを作成することは困難である。この問題を解決するため，ドメイン適応では，大規模な general-domain データで事前学習 したモデルを，目的の in-domain データで微調整す る（図 1a)。ドメイン適応により，in-domain デー タが限定的であっても，高い翻訳性能のモデルを 学習できる.しかしながら一般的なドメイン適応 はタスクのモデルのみを微調整し，単語分割器は general-domain データのものを in-domain データに対 してそのまま使用する，前述の通り単語分割はモデ ルの性能に大きく関与するため, general-domain の 単語分割器が in-domain において最適とは限らない. そこで本稿では，平岡らの単語分割同時最適化を 用いて, 翻訳モデルと単語分割器の両方のドメイン 適応を行い，in-domain データにおける翻訳精度の 改善に取り組む（図 1b），提案手法はまず事前学習 の際に単語分割同時最適化を適用することで，事前学習に用いる general-domain データに適した単語分割器と翻訳モデルを獲得する。 その後, 翻訳モデル のみでなく単語分割器も in-domain データに適した ものにするために，微調整の際にも単語分割同時最適化を適用する。英日と英独の機械翻訳タスクにお ける実験を通して，単語分割器のドメイン適応が， in-domain の翻訳性能向上につながることを示す.

## 2 関連研究

## 2.1 サブワード分割

機械翻訳では，未知語の問題を解決するために，単語より小さい単位であるサブワードを扱うことが 一般的である。サブワード化を行う代表的な手法に ユニグラム言語モデル（ULM）に基づく分割 [7] が ある. ULM の語彙内のサブワード $w$ のユニグラム 確率 $p(w)$ は，EMアルゴリズムを用いて，与えられ た学習データをもとに求める. 文 $s$ を単語分割する

(a) 翻訳モデルのみ微調整を行う従来のドメイン適応.

(b) 翻訳モデルと単語分割器の同時ドメイン適応.

図 1: 機械翻訳タスクにおける翻訳モデルと単語分割器のドメイン適応.

際には，尤度（ユニグラム確率の積）が最大となる ようなサブワードの系列 $s^{\prime}=w_{1}, \ldots, w_{I}$ に変換する.平岡ら [6] はタスクの学習に用いるモデルに単語分割器を組み合わせ，End-to-End で同時に学習する 単語分割同時最適化手法を提案した. 単語分割器に は，ニューラルネットワークで構成された ULM で あるニューラルユニグラム言語モデル（NULM）を 用いている. 平岡らは，単語分割同時最適化により モデルの性能の向上を報告した. しかしながら，学習には in-domain データのみを使用しており，単語分割の学習にドメイン適応が有効であるかは明らか になっていない.

## 2.2 ドメイン適応

ニューラル機械翻訳におけるドメイン適応手法 は数多く提案されている. Freitag ら [8] は大規模 な対訳データで学習したモデルに対して小規模な in-domain データを用いて追加の学習を行う微調整 により, in-domain データでの翻訳性能の向上を報告した. Chu ら [9] は微調整時に general-domain デー タと目的の in-domain データを組み合わせたデータ を使用する混合微調整を提案した. いずれの研究で もドメイン適応によりモデルのパラメータのみを更新しており, 単語分割器のようなモデル以外の構成要素に対してドメイン適応は行っていない. 単語分割はモデルの性能に影響するため, 単語分割器のド メイン適応は in-domain データにおける性能の改善 につながると考える。

## 3 単語分割器のドメイン適応

本研究で単語分割器として用いる NULM と, 単語分割同時最適化手法を用いた単語分割器のドメイン 適応の手順を概説する. NULM の語彙 $V$ は，ULM やBPE [10] などを用いて初期化を行う. NULM で
は，語彙 $V$ 内のサブワード $w$ にいて，単語分散表現 $\boldsymbol{v}_{w}$ と多層パーセプトロン MLP(.)をもとにして ユニグラム確率 $p(w)$ を次のように計算する.

$
\begin{aligned}
d_{w} & =\operatorname{MLP}\left(\boldsymbol{v}_{w}\right) \\
p(w) & =\frac{\exp \left(d_{w}\right)}{\sum_{\hat{w} \in V} \exp \left(d_{\hat{w}}\right)}
\end{aligned}
$

NULM は後段タスクの損失に基づいてパラメータの 更新を行う.

本研究で行う単語分割器のドメイン適応とは, NULM のドメイン適応を指す. 本研究で提案する，単語分割同時最適化手法を用いた単語分割器のドメ イン適応の手順は以下の通りである。

1. general-domain データを用いてULMを学習 する.

2. general-domain データを用いて翻訳モデルと単語分割器を学習する. 単語分割器の語彙の初期化には 1 のULMを用いる。

3. in-domain データを用いて，2で得られた翻訳モ デルと単語分割器を微調整する。

図 $1 \mathrm{~b}$ は翻訳モデルと単語分割器の同時ドメイン適応の手順を図示したものである.

## 4 実験

## 4.1 実験設定

データセット 事前学習に用いる general-domain データには，英日翻訳では JParaCrawl v3.0 [11, 12],英独翻訳では ParaCrawl v9 [13] を使用した. これら はウェブをクローリングすることで作成された大規模な対訳コーパスである. それぞれ学習データと して，全対訳データから 800 万文対を抽出した. indomain データには, 英日翻訳では IWSLT2017 [14] と ASPEC [15], 英独翻訳では IWSLT2017 と EMEA [16]

を使用した. IWSLT は TED talks，ASPEC は科学技術論文, EMEA は医療機関の PDFドキュメントか ら作成された対訳コーパスである。コーパスのドメ インの違いによる単語分割器の性質や翻訳性能の 変化を確認するために，ASPEC の学習データ数は IWSLT（英日）の学習データ数と等しくなるように ダウンサンプリングを行った. 同様に, EMEA の学習データにもダウンサンプリングを行った. 先行研究 [6] に倣い，コーパスは日本語には MeCab [17] (IPA 辞書)，英語とドイツ語には Moses トークナイ ザ [18]を適用した後に，SentencePiece [19]を用いて ULM の学習を行う. 語彙サイズは 32,000 とした.

学習設定 機械翻訳モデルとして Transformer [20] （base）を使用した. 単語分割器のドメイン適応の 有効性を検証するために, 単語分割器の学習を行 わない設定と general-domain データのみで行う設定 と in-domain データのみで行う設定をべースライン として比較する. 事前学習では 20 エポックの学習 を行い，開発データセットにおいて損失值がもっと も低いモデルを使用した. 微調整では 20 エポック，事前学習なしのモデルでは 100 エポックの学習を行 い，開発データセットにおいて翻訳性能がもっとも 高いモデルを評価に使用した. 単語分割器の学習は ソース側言語とターゲット側言語で同時に行った.全ての設定でサブワード正則化 $[7,21]$ を用いて学習 を行った。評価には BLEU [22]を用いた. 報告する 全ての BLEU は 3 つのシードでの平均値である.

## 4.2 実験結果と考察

表 1 に各 in-domain データセットにおける BLEU スコアを示す. 実験結果より，すべてのデータセッ トにおいて，general-domain データでの事前学習か ら単語分割同時最適化を行い翻訳モデルのみでなく 単語分割器もドメイン適応を行うことで最高性能と なることが確認され，単語分割器のドメイン適応の 有効性が示された.

英独の IWSLT 以外のデータセットにおいて， in-domain データのみで単語分割同時最適化を行 う設定は，単語分割同時最適化を行わない設定の 翻訳性能を下回ることが確認された.このことか ら, in-domain データが小規模であるため, in-domain データのみでは単語分割器の学習が十分にできな い場合があると考えられる。これに対し，大規模な general-domain データでの事前学習から単語分割同時最適化を行うことは, 単語分割器の過学習や学習表 1: 各 in-domain データセットにおける各手法の BLEU スコア. 事前学習における “」”は翻訳モデルのドメ イン適応を行うことを意味する。単語分割最適化に おける“誩該当のデータで単語分割器の学習を 行うことを意味する。“-”は該当のデータでモデル 自体の学習を行わないことを意味する. General は general-domain データ, In は in-domain データを示す.

不足を回避することができると考えられる。そのた め, 単語分割器のドメイン適応を行った設定では, モデルや in-domain データに合った単語分割器を獲得でき，全てのデータセットにおいて安定して性能 が向上したと考えられる.

## 5 分析

## 5.1 単語分割器により翻訳が改善された例

単語分割器のドメイン適応を行うことで，単語分割がどのように変化し，結果として翻訳性能が向上 したかを分析する. 表 2 にモデルの事前学習を行う 設定における，単語分割同時最適化を行わない設定 （ULMによる単語分割）と，in-domain データのみで 行う設定と, general-domain データから行い単語分割器ごとドメイン適応を行う設定のそれぞれの単語分割と翻訳結果の例を示す。“.”は空白記号であ る. 以降では，それぞれの単語分割手法を，SP，In， Ours と記述する。“電子写真プロセス”と訳される “The electrophotographic process" という単語に着目す ると，SP とInでは “-The / _electro / pho / t / ographic / _process” と分割しているのに対し，Oursでは “-The / _electro / photo / graph / ic / _process” と分割している ことが確認される。 その結果，モデルによる該当箇所の翻訳は，SPでは未翻訳であり，Inでは “電気泳動法”という誤った訳が出力されているのに対し, Ours では “電子写真プロセス” と正しい翻訳が出力 されていることが確認される。このことから，単語分割器のドメイン適応を行うことにより, 希少単語 を妥当なサブワードに分割することが可能になり， その結果として翻訳性能が向上すると考えられる。
表 2: 単語分割器の学習を行わない設定 (SP), in-domain データのみで行う設定 (In), general-domain データから行い単語分割器のドメイン適応を行う設定（Ours）の単語分割と翻訳の結果.“...”は省略を意味する.

(a) 各手法で学習した単語分割器による単語分割.

(b) 各手法で学習した翻訳モデルによる翻訳結果. 各モデルの入力 は (a) の単語分割となる.

表 3: 英日翻訳において微調整によりユニグラム確率の増加率が大きいサブワード.

## 5.2 ドメイン適応後の単語分割器の変化

general-domain データにおいて事前学習を行った 単語分割器を in-domain データで微調整することに より，単語分割器がどのように変化するのかについ て分析を行う.

ユニグラム確率の増加率が大きいサブワード 表 3 に英日の in-domain データでの微調整後に，ユ ニグラム確率が大きく増加したサブワードを示 す2). IWSLT (英日) の日本語側では “TED” 3）のユ ニグラム確率の増加率が大きいことが確認された。 IWSLT は TED talks の字幕から作成されたコーパス であり，学習データ内では “TED”を含む文字列が約 900 回と頻出している. 同様に ASPEC の学習デー タ内には，“magnetic”のような “ic”を接尾辞とする 形容詞の単語が頻出しており, その結果, 英語側で は “ic”のユニグラム確率の増加率が増大した. これ らのことから, 単語分割器を in-domain データで微調整することにより，in-domain データにおいて重要な役割を持つサブワードのユニグラム確率を増大 させていることがわかった.

単語分割が変わった文の割合 表 4 に in-domain データの学習データにおいて，事前学習後の単語分割器と微調整後の単語分割器で単語分割が異なる 文の割合を示す. 英日では異なる単語分割となる文

2）英独については付録 $\mathrm{A}$ に掲載する.

3）ここで“-TED”ではなく“TED”である理由は，“-TED” が語彙に登録されていないためである.これは，語彙が JParaCrawl をもとに作成されており，JParaCrawl では “TED” が冒頭となる単語が少なく，“TED”が語中や末尾となる単語 が多いためである.表 4: in-domain データにおいて微調整により単語分割が変 わった文の割合 $(\%)$.

数は，IWSLT と比較して ASPEC の方が多いことが 確認された。これは IWSLT と比較して ASPEC の方 が JParaCrawl から離れたドメインデータである（付録 B）ため，微調整によって単語分割器がより変化 したのだと考えられる。同様に，英独では EMEA は IWSLT よりも異なる単語分割となる文数が多いこと が確認された. この結果は, in-domain データとし て使用するコーパスのドメインが特徴的であるほど (general-domain から遠いほど)，微調整により単語分割器が大きく変化することを示している.

また，微調整により単語分割が変わった文の割合 がもっとも高い EMEAであっても $6.68 \%$ と低い割合 であり，単語分割器を極端に大きく変化させていな いことがわかる.このことから, in-domain データ で単語分割器を微調整する際，最小限の調整で翻訳性能を向上させていると考えられる。

## 6 おわりに

本研究では，ドメイン適応を用いる機械翻訳への 単語分割同時最適化の拡張を提案した. 提案手法で は単語分割器を大規模な general-domain データで事前学習した後に，小規模な in-domain データで微調整する．実験結果より，提案手法が in-domain デー タの翻訳性能向上に寄与することが確認され，より 妥当な単語分割を行うことが可能であることが示唆 された。

今後は BERT の事前学習である MLM を行う際に 単語分割同時最適化を行い, 得られる単語分割器と 事前学習済み BERT をさまざまなタスクで微調整し た場合に，タスクの性能が向上するかを検証する。

## 参考文献

[1] Jia Xu, Jianfeng Gao, Kristina Toutanova, and Hermann Ney. Bayesian semi-supervised Chinese word segmentation for statistical machine translation. In Proceedings of the 22nd International Conference on Computational Linguistics (Coling 2008), pp. 1017-1024, Manchester, UK, August 2008. Coling 2008 Organizing Committee.

[2] Pi-Chuan Chang, Michel Galley, and Christopher D Manning. Optimizing chinese word segmentation for machine translation performance. In Proceedings of the third workshop on statistical machine translation, pp. 224-232, 2008.

[3] ThuyLinh Nguyen, Stephan Vogel, and Noah A. Smith. Nonparametric word segmentation for machine translation. In Proceedings of the 23rd International Conference on Computational Linguistics (Coling 2010), pp. 815-823, Beijing, China, August 2010. Coling 2010 Organizing Committee.

[4] Miguel Domingo, Mercedes Garcıa-Martınez, Alexandre Helle, Francisco Casacuberta, and Manuel Herranz. How much does tokenization affect neural machine translation?, 2018. arXiv:1812.08621.

[5] Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and Naoaki Okazaki. Optimizing word segmentation for downstream task. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 1341-1351, Online, November 2020. Association for Computational Linguistics.

[6] Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and Naoaki Okazaki. Joint optimization of tokenization and downstream model. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 244-255, Online, August 2021. Association for Computational Linguistics.

[7] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[8] Markus Freitag and Yaser Al-Onaizan. Fast domain adaptation for neural machine translation, 2016. arXiv:1612.06897.

[9] Chenhui Chu, Raj Dabre, and Sadao Kurohashi. An empirical comparison of domain adaptation methods for neural machine translation. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 385-391, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[10] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 17151725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[11] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 3603-3609, Marseille, France, May 2020. European Language Resources Association.

[12] Makoto Morishita, Katsuki Chousa, Jun Suzuki, and Masaaki Nagata. JParaCrawl v3.0: A large-scale English-Japanese parallel corpus. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 6704-6710, Marseille, France, June 2022. European Language Resources Association.

[13] Miquel Esplà, Mikel Forcada, Gema Ramírez-Sánchez, and Hieu Hoang. ParaCrawl: Web-scale parallel corpora for the languages of the EU. In Proceedings of Machine Translation Summit XVII: Translator, Project and User Tracks, pp. 118-119, Dublin, Ireland, August 2019. European Association for Machine Translation.
[14] Mauro Cettolo, Marcello Federico, Luisa Bentivogli, Jan Niehues, Sebastian Stüker, Katsuitho Sudoh, Koichiro Yoshino, and Christian Federmann. Overview of the IWSLT 2017 evaluation campaign. In Proceedings of the 14th International Workshop on Spoken Language Translation, pp. 2-14, 2017

[15] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 2204-2208, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[16] Jörg Tiedemann. Parallel data, tools and interfaces in OPUS. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Mehmet Ugur Dogan, Bente Maegaard, Joseph Mariani, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Eight International Conference on Language Resources and Evaluation (LREC'12), Istanbul, Turkey, may 2012. European Language Resources Association (ELRA).

[17] Taku Kudo. MeCab: Yet another part-of-speech and morphological analyzer, 2006. http://taku910. github.io/mecab/.

[18] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris CallisonBurch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[19] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[20] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[21] Ivan Provilkov, Dmitrii Emelianenko, and Elena Voita. BPEdropout: Simple and effective subword regularization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1882-1892, Online, July 2020. Association for Computational Linguistics.

[22] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics

[23] Roee Aharoni and Yoav Goldberg. Unsupervised domain clusters in pretrained language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7747-7763, Online, July 2020. Association for Computational Linguistics.

## 付録

## A 英独においてユニグラム確率の 増加率が大きいサブワード

表 5 に英独の in-domain データでの微調整後に， ユニグラム確率が大きく増加したサブワードを示 す. EMEA のドイツ語側では “kin” のユニグラム確率の増加率が大きいことが確認された. EMEA の 学習データ内では “pharmakokinetik” という医学分野特有の単語が約 1,500 回と頻出しており, この単語 は “pharmako / kin / etik” と分割されることが意味的 に妥当であると考えられる. また, “Interleukin” や “Hodgkin”のように“kin”で終わる医学系の単語も頻出している. これらのことから, EMEA のドイツ語側では “kin”が重要な役割を持つサブワードである と考えられる. 英語側では “ $\mathrm{g}$ ” のユニグラム確率の 増加率が大きいことが確認された. EMEA は医療ド メインであり, 薬品などの質量について記述した 文が多くある．そのため，質量の単位である “g”, “mg", “ng”などがコーパス内では頻出している.

これらのことから英日と同様に，英独において も in-domain データにおいて重要な役割を持つサブ ワードのユニグラム確率を増大させていることがわ かった.

表 5: 英独翻訳において微調整によりユニグラム確率の増加率が大きいサブワード.

## B コーパスのドメインの離れ具合

使用したコーパスのドメインの離れ具合につい て報告する. Aharoni ら [23] に倣い, 各コーパスの ソース側の文に対して，事前学習済み BERT の隠れ 層のベクトルを取得し, PCAを用いて 2 次元可視化 を行う. 図 2, 3 に各言語対に使用したコーパスの 2 次元可視化の結果を示す. 図 2 から IWSLT のデー タの多くが JParaCrawl のデータに重なっているのに 対し，ASPEC のデータの多くは JParaCrawl のデー タに重なっていないことが確認された。このこと から, IWSLT と比較して ASPEC の方が JParaCrawl から離れたドメインデータであると考えられる。同様に図 3 から, IWSLT と比較して EMEA の方が
ParaCrawl から離れたドメインデータであると考え られる。

図 2: PCAを用いた英日データセットの BERT 隠れ層の 2 次元可視化.

図 3: PCA を用いた英独データセットの BERT 隠れ層の 2 次元可視化.


# 質問応答を用いた翻訳評価における GPT-3 の利用

鈴木淳平 1 菅原朔 2 相澤彰子 1,2
1 東京大学 2 国立情報学研究所
junppppsuzuki@gmail.com \{saku,aizawa\}@nii.ac.jp

## 概要

機械翻訳の評価は、人手で行うとコストが高いた め、機械を用いて自動で行えることが望ましい。自動評価の一つに、質問応答の技術を利用して、参照訳に対して生成した質問に、機械翻訳結果を文脈と して用いて正しく回答できるかに着目する枠組み がある。本研究では、既存研究の精度の低い質問生成のステップを、GPT-3 few-shot 学習することで 改善できることを示す。また、回答比較のステップ も、既存研究では表層的な一致度のみ考慮していた が、GPT-3を用いて柔軟な比較を行うことで、人手評価との相関だけでなく、難しいとされている数字 や日付の翻訳ミスの評価も向上することを示す。

## 1 はじめに

機械翻訳の評価は、プロの翻訳家による人手評価 が最も正確に行えるが、時間的、金銭的なコストの 観点から機械によって自動で行えることが望まし い。人手の評価でも、機械による自動評価でも、与 えられた参照訳との比較で評価するのが一般的であ る。計算コストの低さから、最も標準的に使われる 自動評価手法は、BLEU [1] に代表される、参照訳と 機械翻訳結果の表層的な一致度を測る手法である。 これらの手法は、表層的には異なるが意味的には等 しい場合を見逃してしまう。

そこで近年は、BERT [2] 等の大規模言語モデルに よる分散表現を用いることで、表層によらず意味的な一致度を捉える自動評価手法が多く提案され ている (BERTScore [3]、BLEURT [4]、COMET [5])。 これらの手法は、プロの人手評価との相関が高いこ とが示されている $[6,7,8]$ 。一方、分散表現による 評価手法は、埋め込み空間において近くに位置する ことが原因で、固有名詞や数字等の深刻な誤訳を見逃してしまうことが報告されている $[7,9]$ 。

他方、機械による翻訳が原文の情報を十分に表現 できているなら、参照訳に対する質問を生成した場

図 1 MTEQA の評価の流れ。1. 参照訳から正解と対応す る質問を生成、2. 翻訳結果を文脈として用いて質問に回答、3. 参照訳での正解と翻訳結果の回答を比較。

合に、翻訳結果を文脈として用いても正しく回答で きるはずである。この仮説に基づいて、質問応答の 技術を用いて機械翻訳を評価する MTEQA (Machine Translation Evaluation with Question Answering) [10] が 提案されている。図 1 に評価過程を示す。まず参照訳内の重要な情報について質問と正解を生成し、そ れらに機械翻訳結果を文脈として用いて QA モデル に回答させ、最後に参照訳からの正解と翻訳結果か らの回答を比較することで評価する。この手法の利点としては、評価手順で使われた質問、正解、回答 を実際に見ることで、なぜその評価値になったかを 容易に知ることができる解釈性を持つ。しかし既存研究において、ある程度の人手評価との相関は示さ れていたが、質問生成の質が低く、回答比較の部分 も表層一致しか着目できていない。

そこで本研究では、質問生成の部分を正解の抽出 を含めて GPT-3 [11] で行うことで、適切な質問の 割合が増え、人手評価との相関が向上することを 示す。さらに、回答比較の部分も GPT-3を用いて、意味を考慮して柔軟に比較する (例: “ 15 ”に対して “ifteen”を正解にする)ことで人手評価との相関だけ でなく、上で挙げた分散表現による評価手法が苦手 とする誤訳への評価性能も向上することを示す。
表 1 GPT-3 による質問と正解の生成のためのプロンプト 内の具体例。

Context: The league narrowed the bids to three sites:

New Orleans' Mercedes-Benz Superdome, Miami's Sun Life Stadium, and the San Francisco Bay Area's Levi's Stadium. Q\&A:

Answer: Levi's Stadium

Question: What is located in the San Francisco Bay Area? Answer: New Orleans

Question: Where is Mercedes-Benz Superdome located? Answer: ...

## 2 MTEQA-GPT-3

MTEQA は、図 1 が示すように、質問生成、質問応答、回答比較の三つのステップからなる。

## 2.1 質問生成 (Question Generation; QG)

最初のステップでは、与えられた比較対象の参照訳から、重要な情報について質問と正解を生成す る。既存の MTEQA [10] では、まず参照訳に対して 品詞の系列ラベリングを行い、名詞等を回答候補と して抽出し、文脈と回答候補から質問を生成するよ うに訓練された T5 モデル [12] に入力する。

本研究では、より質問と回答が一貫しておりか つ文脈から回答可能な質問の割合を増やすために GPT-3 few-shot 学習した。表 1 に few-shot プロン プト内の具体的な例を示す。回答抽出と質問生成は 分けずに 1 つの参照訳を与元、固有名詞や数字等に ついて複数の回答と質問のペアを生成するように学習させた。ここで、質問生成の質が向上しているこ とを確かめるために、WMT21(Workshop on Statistical Machine Translation)[13] の中国語から英語への翻訳 タスクからランダムに 10 個参照訳を選んで、両者で 質問生成を行った。質問と正解が一貫しており、か つ生成元の参照訳から回答可能なものの個数を数え た。結果として、適切な質問と回答の割合が、既存 の $\mathrm{T} 5$ モデルが 0.603 (47 / 78 件)、提案手法の GPT-3 が 0.974 (38 / 39 件)であった。質問生成の質が改善 されたことが分かる。以降、“MTEQA-gpt3-qg-”で 始まる手法が提案手法である。

## 2.2 質問応答 (Question Answering; QA)

次に、2.1 節で生成された質問に、機械翻訳結果を 文脈として抽出型の機械読解モデルに回答させる。 MTEQA と提案手法共に、SQuAD-v1 [14] で訓練し た $\mathrm{T} 5$ モデルを用いる。テストデータでの F1 スコア表 2 GPT-3による柔軟な回答比較のためのプロンプト内 の具体例。

Context: It certainly paid off, since he played splendidly in a different role from normal, and was able to score 15 points. Question: In what role did he score 15 points?

Correct Answer: different role

Student's Answer: different

Output: Correct. In this context, "different" is accepted.

.....

Student's Answer: role

Output: Incorrect. The answer should include "different".

Student's Answer: unusual role

Output: Correct. In this context, "unusual" is accepted.

が 90.27 であった。

## 2.3 回答比較 (Answer Comparison; AC)

最後に、2.1 節で生成された正解と 2.2 節で抜き 出された回答との比較を行う。既存研究において は、完全一致 (EM)、単語レベルの F1 スコア (F1)、 BLEU、chrF [15]の4つが採用されていた。しかし これらは表層的な一致度によることから、正確に比較できないことが多い。例えば、正解が “December 29, 2019” の場合、“Dec 29th, 2019” よりも “November 29, 2019”の方が高得点となってしまう。

そこで本研究では、回答比較の段階でもGPT-3 を利用することで、意味的な一致度を考慮した柔軟な採点を実現する。2.1 節と同様に、GPT-3を回答比較用に few-shot 学習する。表 2 は実際のプロ ンプト内の具体例を示す。参照訳と質問に対して、 “Correct Answer”として正解を、“Student's Answer” として抜き出された回答を与え、“Output”に比較結果を出力させる。例えば表の三つ目の例では、正解が “different role” に対して、この文脈において は “unusual role”も正解であることを指示してい る。今回は、出力の最初が “Correct” であれば 1 点、 “Incorrect”であれば 0 点とした。実際に用いたプロ ンプトの詳細は付録 Bを参照。

## 3 メタ評価実験

本章では、自動評価手法のメタ評価を行う。自動評価手法の良さは通常、どれだけ人手評価との相関 が高いかという観点で行われる。 3.1 節で MQM と いう人手評価について、 3.2 節で比較のための既存手法について、 3.3 節で MQM との相関に関する実験について、3.4 節で評価の難しい誤訳に関する評価の実験について、 3.5 節でエラー分析を述べる。

## 3.1 人手評価

従来の WMT の翻訳タスクでは、人手評価として DA (Direct Assessment) [16] を用いてきた。しかし、 DA ではプロの翻訳家の訳が機械翻訳より低い順位 になったり、翻訳調と呼ばれる、翻訳特有の癖が ある訳の方が好まれてしまうなどの問題が指摘さ れ [8]、WMT21 [6] や WMT22 [7] では、相関すべき スコアとして MQM (Multidimentional Quality Metrics) が使われることになった。MQM では、プロの翻訳家が、参照訳と前後の文脈を見ながら、与えられた 翻訳の誤り全てに、深刻度とカテゴリーと共にアノ テートする減点方式で行う。本研究でも 3.3 節にお いて、MQM との相関に基づいて比較を行う。

## 3.2 Baselines

提案手法との比較のためのベースラインとし $\tau$ 、BLEU、chrF、BLEURT-20、COMET-22、MTEQA を用いる。BLEURT-20 と COMET-22 は、WTM21 と WMT22でそれぞれ最も良い自動評価手法のうちの 一つであった。付録 A にそれぞれの手法の詳細を記 す。また、BERTScore [3] と BLERUT-20は、翻訳の 自動評価手法であるが、回答の比較部分にも使える ため、これらも利用する。

## 3.3 人手評価と自動評価手法の相関

自動評価手法がどれくらい MQM スコアと相関 しているか評価する。評価には、WMT22 の Metrics Shared Taskを利用し、言語対は中国語から英語で ある。テストデータとして、1875 個の中国語の原文があり、それぞれに参照訳が 2 つ用意されてお り (reference A、 reference B)、18 種類のシステムの 翻訳結果が与えられる。システムレベルの相関を測定するので、各自動評価手法がつけたスコアの平均 をシステムごとのスコアとみなし、同様に計算さ れた MQM スコアとの相関係数を求める (Pearson、 Spearman)。参照訳が二つ存在するので、一方を参照訳として用いた場合は、もう一方は追加のシステ ムとみなして相関を計算する。

表 3 に結果を示す。太字の値は、その列におい て、他の任意の手法に統計的に上回られていないこ とを示す。4列全てにおいて最も相関が高かったの は、COMET-22 と MTEQA-gpt3-qg-gpt3-ac であった。 また、MTEQA 同士を同じ回答比較方法で比べる と (MTEQA-EM と MTEQA-gpt3-qg-EM など)、全て表 3 WMT22 Metrics Shared Task の中国語から英語への 翻訳での MQM スコアとのシステムレベルの相関。P Pearson、S はSpearman を表す。太字の値は、その列の任意の値に対して有意に低くない場合を示している。

の組み合わせにおいて、相関係数の值が向上してい る。つまり、2.2 節で示した質問生成の質の向上が、自動評価手法全体の改善に繋がっている。

さらに、MTEQA-gpt3-qg-gpt3-ac は MTEQA-gpt3qg-\{EM、F1、BLEU、chrF、bertscore、bleurt \}に対 し、相関係数の值が有意に向上している。GPT-3を 用いた回答比較は、表層一致や分散表現による比較 よりも正確に回答の比較が可能なことが示された。

## 3.4 数値・日付・固有名詞に着目した評価

本節では、自動評価手法にとって正しく評価する ことが難しい誤訳の評価性能を測定する。本研究で は、WMT22 の challenge sets subtask で提案された中国語から英語でのテストデータ [17]を用いる。各 データは、原文、参照訳、ある難しい現象に対して 正しい訳、誤訳を含んだ訳からなる。表 4 に具体例 を示す。Reference 内の “GDP”に対し、正しい訳で は "gross domestic product”、誤った訳では “GPP”と 訳されていて、自動評価手法は正しい訳により高 い点を与えることが求められる。今回は、 3 種類の 現象を扱う。Number は、数字に関する誤りが 355 個、D/T は日付に関する誤りが 140 個、NE は固有名詞や専門用語に関する誤りが 110 個含まれる。 メタ評価は、以下の式で表される Kendall's tau-like correlation [6] に従う。ここで、“Concordant”は、正 しい訳の方が正しくない訳よりも高い点数がついた 個数、“Discordant” はそうでない場合の個数である。
表 4 Challenge set $の$ 具体例。

 \\

$
\tau=\frac{\text { Concordant }- \text { Discordant }}{\text { Concordant }+ \text { Discordant }}
$

結果を表 5 に示す。Overall としては、BLEURT-20 と MTEQA-gpt3-qg-gpt3-ac が最も高い相関を示した。 COMET-22 は、人手評価との全体的な相関では高い 性能を示すが、今回の Challenge set では上記の 2 手法に及ばなかった。その他の手法では全て負の相関 となり、ランダムに点数をつけた場合よりも性能が 悪いという結果になった。

カテゴリ別に見ると、BLEURT-20 は D/T と NE に強く、MTEQA-gpt3-qg-gpt3-ac は Number に強い。 COMET-22 は Number や NE の誤りに弱く、分散表現ベースの自動評価手法が数字や固有名詞の誤りを 見逃してしまうという過去の研究の観察と一致する $[7,9]$ 。数字同士は Embedding 空間で近い位置に埋 め込まれるので、分散表現ベースの手法が見逃して しまうという説明が考えられる。

また、MTEQA-gpt3-qg-gpt3-ac はその他の MTEQA と比較して大幅に性能が向上しており、GPT-3によ る柔軟な回答比較が寄与していると考えられる。本 データセットでは、表 4 の具体例のように、表層的 には不正解訳内の誤訳の方が参照訳に近い場合が 多々ある。よって、EM、F1、BLEU、chrF等の表層ベースの手法はうまくいかないが、gpt3-acでは 意味的な一致度を考慮できるので正しく判定でき ていると考えられる。さらに、分散表現ベースの BERTScore と BLEURT よりも高い相関を示した。

## 3.5 エラー分析

3.4 節の実験で、MTEQA-gpt3-qg-gpt3-ac が評価に 失敗した例について原因を分析する。各カテゴリ について 30 個ずつランダムに選び、失敗の原因を Data (誤訳が含まれていない)、QG、QA、ACに分類 する。結果を表 6 に示す。全体では、誤訳の含まれ る箇所について質問ができていない QG のミスが最多であった。またカテゴリごとでは、Number では、表 5 Challenge set における Kendall's tau-like correlation。 Numer は数字、D/T は日時、NE は固有名詞に関する誤り。

表 6 Challenge set における MTEQA-gpt3-qg-gpt3-ac-all の エラー分析。Data はテストデータ、QG は質問生成、QA は質問回答、AC は回答比較のエラー。

AC のミスが多く、“54 million”に対して“54,000,000” を Incorrect と判定するようなミスが見られた。D/T と NE では $\mathrm{QG}$ のエラーが多いので、プロンプトを 工夫して質問数を増やすことで改善したい。

## 4 おわりに

本研究では、質問応答を利用した機械翻訳の評価手法である MTEQA の質問生成部分に GPT-3 を 用いることで、より質の高い質問と正解が生成で き、MQM スコアとの相関を改善させた。また、回答比較部分でも、GPT-3を用いて柔軟な採点を行う ことで、MQM スコアとの相関で BLEURT を超え、 COMET と同等の性能を記録した。さらに、評価す るのが難しい数字や日付等の誤訳をより正確に評価 できることを示した。一方、誤訳の部分について質問できていない故にミスを見逃すケースが多くあっ たので、質問数を増やして参照訳内の情報を網羅で きるようにしたい。また、回答比較においても、現状は Correct か Incorrect の二択で判定するが、より 柔軟に部分点を与えられるように改良をしたい。

## 謝辞

本研究は Google Research Grant の支援を受けたも のです。

## 参考文献

[1] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. BERTScore: Evaluating text generation with BERT. In International Conference on Learning Representations, 2020

[4] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning robust metrics for text generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7881-7892, Online, July 2020. Association for Computational Linguistics.

[5] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. COMET: A neural framework for MT evaluation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2685-2702, Online, November 2020. Association for Computational Linguistics.

[6] Markus Freitag, Ricardo Rei, Nitika Mathur, Chi-kiu Lo, Craig Stewart, George Foster, Alon Lavie, and Ondřej Bojar. Results of the WMT21 metrics shared task: Evaluating metrics with expertbased human evaluations on TED and news domain. In Proceedings of the Sixth Conference on Machine Translation, pp. 733-774, Online, November 2021. Association for Computational Linguistics.

[7] Markus Freitag, Ricardo Rei, Nitika Mathur, Chi kiu Lo, Craig Stewart, Eleftherios Avramidis, Tom Kocmi, George Foster, Alon Lavie, and André F. T. Martins. Results of WMT22 metrics shared task: Stop using BLEU - neural metrics are better and more robust. In Proceedings of the Seventh Conference on Machine Translation. Association for Computational Linguistics, 2022.

[8] Markus Freitag, George Foster, David Grangier, Viresh Ratnakar, Qijun Tan, and Wolfgang Macherey. Experts, errors, and context: A large-scale study of human evaluation for machine translation. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 1460-1474, 2021.

[9] Katsuhito Sudoh, Kosuke Takahashi, and Satoshi Nakamura. Is this translation error critical?: Classification-based human and automatic machine translation evaluation focusing on critical errors. In Proceedings of the Workshop on Human Evaluation of NLP Systems (HumEval), pp. 46-55, Online, April 2021. Association for Computational Linguistics.

[10] Mateusz Krubiński, Erfan Ghadery, Marie-Francine Moens, and Pavel Pecina. Just ask! evaluating machine translation by asking and answering questions. In Proceedings of the Sixth Conference on Machine Translation, pp. 495-506, Online, November 2021. Association for Computational Linguistics.

[11] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah,
Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020

[12] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[13] Farhad Akhbardeh, Arkady Arkhangorodsky, Magdalena Biesialska, Ondřej Bojar, Rajen Chatterjee, Vishrav Chaudhary, Marta R. Costa-jussa, Cristina España-Bonet, Angela Fan, Christian Federmann, Markus Freitag, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Leonie Harter, Kenneth Heafield, Christopher Homan, Matthias Huck, Kwabena Amponsah-Kaakyire, Jungo Kasai, Daniel Khashabi, Kevin Knight, Tom Kocmi, Philipp Koehn, Nicholas Lourie, Christof Monz, Makoto Morishita, Masaaki Nagata, Ajay Nagesh, Toshiaki Nakazawa, Matteo Negri, Santanu Pal, Allahsera Auguste Tapo, Marco Turchi, Valentin Vydrin, and Marcos Zampieri. Findings of the 2021 conference on machine translation (WMT21). In Proceedings of the Sixth Conference on Machine Translation, pp. 1-88, Online, November 2021. Association for Computational Linguistics.

[14] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, Austin, Texas, November 2016. Association for Computational Linguistics.

[15] Maja Popović. chrF: character n-gram F-score for automatic MT evaluation. In Proceedings of the Tenth Workshop on Statistical Machine Translation, pp. 392-395, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[16] Yvette Graham, Timothy Baldwin, Alistair Moffat, and Justin Zobel. Continuous measurement scales in human evaluation of machine translation. In Proceedings of the 7th Linguistic Annotation Workshop and Interoperability with Discourse, pp. 33-41, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[17] Xiaoyu Chen, Daimeng Wei, Hengchao Shang, Zongyao Li, Zhanglin Wu, Zhengzhe Yu, Ting Zhu, Mengli Zhu, Ning Xie, Lizhi Lei, Shimin Tao, Hao Yang, and Ying Qin. Exploring robustness of machine translation metrics: A study of twenty-eight automatic metrics in the WMT22 metric task. In Proceedings of the Seventh Conference on Machine Translation, 2022.

[18] Ondřej Bojar, Yvette Graham, and Amir Kamran. Results of the WMT17 metrics shared task. In Proceedings of the Second Conference on Machine Translation, pp. 489-513, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[19] Hyung Won Chung, Thibault Fevry, Henry Tsai, Melvin Johnson, and Sebastian Ruder. Rethinking embedding coupling in pre-trained language models. In International Conference on Learning Representations, 2021

[20] Ricardo Rei, José G. C. de Souza, Duarte Alves, Chrysoula Zerva, Ana C Farinha, Taisiya Glushkova, Alon Lavie, Luisa Coheur, , and André F. T. Martins. COMET-22: Unbabel-ist 2022 submission for the metrics shared task. In Proceedings of the Seventh Conference on Machine Translation, 2022.
表 7 回答比較のプロンプトの全例 1 。

Context: Herro missed 15 games in February and March due to an ankle injury, and the season began a long hiatus after his first game back against the Hornets on March 12th.

Question: What date did Herro's first game back

after the injury take place?

Correct Answer: March 12th

Student's Answer: March 12

Output: Correct. "March 12" is accepted.

Student's Answer: 12th

Output: Incorrect. The answer should include "March".

Student's Answer: April 12th

Output: Incorrect. In this context, the answer should be not "April" but "March".

## A Baseline 手法の詳細
- BLEU [1]は、機械翻訳と参照訳の間の n-gram precision と短い翻訳に対するぺナルティで計算される。3.4 節 では、一文単位での評価のためのスムージング処理 が加わった手法である SentBLEU [18]を用いる。
- chrF [15] は、機械翻訳と参照訳の間の文字レベルの n-gram precision である。

・BLEURT-20 [4] は、RemBERT [19] を機械翻訳と参照訳を入力としてDA スコアを予測するように、過去 の WMT のデータで訓練したものである。WMT21に おいて最高性能の自動評価手法のうちの一つである。

-COMET-22 [20]は、多言語モデルを用いて原文、機械翻訳、参照訳をそれぞれ埋め込み、それらのべクト ルの組み合わせから、DA スコアを予測するように訓練したものと、MQM スコアを予測するように訓練 したもののアンサンブルモデルである。WMT22に おいて最高性能の自動評価手法のうちの一つである。
- BERTScore[3] は、参照訳と機械翻訳のそれぞれの トークンに対する埋め込み表現を BERT を用いて計算し、参照訳内の各トークンに対して機械翻訳内で 最も似ているトークンのアラインメントをとること で計算する。

## B AC のプロンプト詳細

Answer Comparison 用のプロンプトには、日付、固有名詞、数字、形容詞、副詞の比較を学習させる例がそれぞ れ 3つずつ含まれる。表 7 は日付の例、表 8 は固有名詞 の例、表 9 は数字、形容詞、副詞の実際の例を示す。これ らは、GPT-3による質問生成でよく質問の対象になってい たことから選ばれた。表 8 回答比較のプロンプトの全例 2。

Context: The data shows that, up to now, Brazil ranks second in the world in terms of the number of confirmed cases and deaths behind the United States.

Question: Which country is first in the world in terms of the number of confirmed cases and deaths?

Correct Answer: United States

Student's Answer: the United States of America

Output: Correct. The student's answers has the same

meaning as the correct answer.

Student's Answer: UK

Output: Incorrect. In this context, the answer should be "United States".

Student's Answer: U.S.

Output: Correct. In this context, "U.S." is accepted.

表 9 回答比較のプロンプトの全例 3。

Context: It certainly paid off, since he played splendidly in a different role from normal, and was able to score 15 points. Question: How many points did the player score?

Correct Answer: 15 points

Student's Answer: 15

Output: Correct. In this context, "15" is accepted.

Student's Answer: 150 points

Output: Incorrect. In this context, "150" doesn't

have the same meaning as " 15 ".

Student's Answer: fifteen

Output: Correct. In this context, "fifteen" is accepted.

Question: In what role did he score 15 points?

Correct Answer: different role

Student's Answer: different

Output: Correct. In this context, "different" is accepted.

Student's Answer: role

Output: Incorrect. The answer should include "different".

Student's Answer: unusual role

Output: Correct. In this context, "unusual" is accepted.

Question: How did he play in a different role?

Correct Answer: splendidly

Student's Answer: excellently

Output: Correct. In this context, "excellently" is accepted.

Student's Answer: different

Output: Incorrect. In this context, "different" doesn't

have the same meaning as "splendidly".

Student's Answer: magnificently

Output: Correct. In this context, "magnificently" is accepted.


# バイリンガルサブワード分割のための EM アルゴリズム

松井 大樹 1 二宮崇 ${ }^{2}$ 田村 晃裕 ${ }^{3}$
1 愛媛大学 2 愛媛大学大学院理工学研究科 3 同志社大学
matsui@ai.cs.ehime-u.ac.jp
ninomiya@cs.ehime-u.ac.jp
aktamura@mail.doshisha.ac.jp

## 概要

本論文ではニューラル機械翻訳のための EM アル ゴリズムを用いたバイリンガルサブワード分割法を 提案する。機械翻訳记おける一般的なサブワード分割では対訳関係を考慮せずに各言語ごとにサブワー ド分割を学習するため，機械翻訳タスクに適したサ ブワード分割になるとは限らない. 本研究は対訳 コーパスを用い，原言語文と目的言語文の対訳関係 を考慮したサブワード分割のための EMアルゴリズ ムを提案する。提案手法は対訳情報を用いるため， より機械翻訳タスクに適したサブワードが得られる と考えられる. 従来法と提案手法を用いて翻訳性能 を比較したところ，WAT ASPEC 英日・日英タスク において, Transformer NMT モデルの性能が最大で 0.6 ポイント改善した.

## 1 はじめに

ニューラル機械翻訳（Neural Machine Translation,以下 NMT） [1,2,3]では，予め指定した語彙氾基づ いて計算を行うため, 翻訳時の原言語文に低頻度語 や未知語が表れると翻訳性能が低下する。このよう な語彙の問題に対処するため, バイトペア符号化 (Byte Pair Encoding, 以下 BPE)（Sennrich et al. 2016) [4] やユニグラム言語モデル（Kudo 2018） [5] など によるサブワード分割が現在広く用いられている。 BPE によるサブワード分割は事前トークナイズを要 すのに対し，SentencePiece（Kudo 2018）[6] による ユニグラム言語モデルは生文からサブワード列に直接分割するため, 日本語や中国語といった分かち書 きされていない言語においても形態素解析器を必要 としない.

しかしながら，これらの分割法は対訳関係を考慮せず，各言語ごとにサブワード分割を学習する ため，機械翻訳タスクに適したサブワード分割に
なるとは限らない。例として，日英翻訳において， “nonextended”と“延長されなかった”という対訳対 があるとする。この場合，“nonextended” は “no next end ed" などよりも “non extend ed" のほうが優れた 分割であり，“延長されなかった”は“延長 され なかった”などよりも“延長 されな かった” のほうが優れた分割である。これは NMT が各サブ ワードの対訳関係 “non”と“されな”, “extend”と“延長”, “ed”と“かった”を対応付けて学習できるた めである。これらの問題を解決するために，対訳関係を考慮したバイリンガルサブワード分割 $[7,8]$ が 提案されている. しかし, 出口ら [7] のバイリンガ ルサブワード分割は原言語サブワード列と目的言語 サブワード列のトークン長をそろえるものであり， トークン長が近いとはいえ各トークンがアライメン 卜関係にあるとは必ずしも言えない. Hiraoka ら [8] のバイリンガルサブワード分割は NMT モデルとサ ブワード分割モデルが一体化しており，利用する場合には同時に NMT モデルの学習が必要となり, サ ブワード分割および機械翻訳モデルの学習に大きな コストを要する。

本論文では，対訳情報からサブワード列を得る新 たなサブワード分割法を提案する. 提案手法は，分 かち書きされない言語を含む翻訳性能を改善するた め, SentencePiece によるユニグラム言語モデル分割 に基づいたサブワード列を得る. バイリンガルサブ ワード分割のための確率モデルを新た淀義し, 原言語のサブワードと目的言語のサブワードが対とな る確率を EMアルゴリズムを用いて求める。具体的 に，提案手法は，ユニグラム言語モデルによって得 られる原言語文と目的言語文それぞれの分割候補の 組み合わせを求め, 各対のサブワードのアライメン 卜関係を取得し, ユニグラム言語モデルによる生起確率とアライメント確率を掛け合わせ，確率が最も 大きくなるサブワード列対を選択する。提案手法を
用いることで，原言語文と目的言語文のトークンの 対訳関係が整うことになり，言語間でトークンが 1 対 1 に対応付けされやすくなる。 そのため，従来の サブワード分割法より NMT に適した分割が得られ ることが期待される.

本手法は原言語文と目的言語文の対訳アライメン 卜関係を利用して分割するため，対訳コーパスが与 えられる訓練時には問題は起きないが，原言語文し か与えられない翻訳時にはそのままではサブワード 分割ができない. そこで提案手法では，EMアルゴ リズムによって求められたアライメント確率の周辺化を行い，ユニグラム言語モデルによる生起確率 と各原言語文サブワードの周辺確率を掛け合わせ，確率が最も大きくなるサブワード分割候補を選択 する.

WAT Asian Scientific Paper Excerpt Corpus (以下, ASPEC）[9] 英日・日英タスクにおいて，従来法 と提案手法を用いた翻訳性能を比較したところ， Transformer NMT モデルの性能が改善した.

## 2 従来法

本節では提案手法の基礎となるユニグラム言語モ デルに基づいたサブワード分割法（Kudo 2018）につ いて説明する. ユニグラム言語モデルでは，各サブ ワードが独立に生起すると仮定し，サブワード列の 生起確率 $P_{\mathrm{U}}(\boldsymbol{x})$ を次式により表す.

$
\begin{aligned}
& P_{\mathrm{U}}(\boldsymbol{x})=\prod_{i=1}^{I} P\left(x_{i}\right) \\
& \forall i \quad x_{i} \in V, \quad \sum_{x \in V} P(x)=1
\end{aligned}
$

ただし， $\boldsymbol{x}=\left(x_{1}, x_{2}, \ldots, x_{I}\right)$ はサブワード列であり， $V$ は語彙集合（サブワード辞書）である．各サブワー ドの生起確率 $P\left(x_{i}\right)$ は EM アルゴリズムによって周辺尤度 $L_{l m}$ を最大化することにより推定される.

$
\begin{aligned}
L_{l m} & =\sum_{s=1}^{|D|} \log \left(P\left(X_{S}\right)\right) \\
& =\sum_{s=1}^{|D|} \log \left(\sum_{\boldsymbol{x} \in S\left(X_{S}\right)} P_{\mathrm{U}}(\boldsymbol{x})\right)
\end{aligned}
$

ただし， $D$ は対訳コーパスであり， $X_{s}$ は $D$ の中の $s$番目の原言語文または目的言語文であり， $S\left(X_{S}\right)$ は $X_{S}$ の分割候補集合である.

生起確率が最大となるサブワード列（最尤解）は次式によって得られる。

$
\boldsymbol{x}^{*}=\underset{\boldsymbol{x} \in S(X)}{\arg \max } P_{\mathrm{U}}(\boldsymbol{x})
$

ただし， $X$ は原言語文または目的言語文である。ま た， $k$-best 分割候補も $X$ に対するユニグラム言語モ デルによって計算される確率 $P_{\mathrm{U}}(\boldsymbol{x})$ に基づいて得る ことが出来る．ただし，サブワード列の生起確率は 各サブワードの尤度の積の形で表されるため，系列長の短い（トークン数の少ない）サブワード列が高 い確率を持つ傾向がある.

SentencePiece におけるユニグラム言語モデルを用 いたサブワード分割は生文から直接学習できるた め, 日本語や中国語といった分かち書きされない言語においても単語分割器や形態素解析器を必要とせ ずに分割できるという特徴がある.

## 3 提案手法

本節では，提案手法となるバイリンガルサブワー ド分割のための EM アルゴリズムについて説明す る. まず，サブワード文対の確率モデルの定義を与 え，その後，EMアルゴリズムによるパラメータ更新式の導出，対訳コーパスのサブワード分割を行う 手法，翻訳時のサブワード分割を行う手法について 説明する．提案手法は NMT モデルや訓練法を修正 する必要はなく，従来のサブワード分割法を置き換 えるだけで適用可能である。

確率モデルは，ユニグラム言語モデルが出力する サブワード列の生起確率と原言語サブワードと目的言語サブワードのアライメント確率の積で与えられ る. ただし，各原言語サブワード列と目的言語サブ ワード列及びそれらのアライメントは明示的に与え られておらず，隠れ状態となっている。 そのため，潜在変数付き確率モデルの学習として有名な EMア ルゴリズムを用いて，アライメント確率を学習す る. 次に, 最も確率の高いサブワード列のアライメ ントを選択することで，訓練コーパスのサブワード 分割を行う。

NMT の訓練時には対訳コーパスを利用できるが，翻訳時には対訳文が存在しない。そこで，原言語側 サブワードのみを参照する周辺確率を求めること で，原言語文のサブワード分割を行う。

## 3.1 提案手法の確率モデル

原言語文 $X$ と目的言語文 $Y$ が与えられたとき，提案手法における確率モデルを次のように定義する.

$
\begin{aligned}
P(X, Y) & =\sum_{\boldsymbol{x} \in S(X)} \sum_{\boldsymbol{y} \in S(Y)} P_{\mathrm{M}}(\boldsymbol{x}, \boldsymbol{y}) \\
& \approx \sum_{k=1}^{K} \sum_{l=1}^{L} P_{\mathrm{M}}\left(\boldsymbol{x}^{(k)}, \boldsymbol{y}^{(l)}\right)
\end{aligned}
$

ただし， $X$ に対するサブワード分割候補 $S(X)$ のう ち, サブワード生起確率 $P_{\mathrm{U}}(\boldsymbol{x})$ が高い top- $K$ 個をそ れぞれ $\boldsymbol{x}^{(1)}, \ldots, \boldsymbol{x}^{(k)}, \ldots, \boldsymbol{x}^{(K)}, Y$ に対するサブワード 分割候補 $S(Y)$ のうち, サブワード生起確率 $P_{\mathrm{U}}(\boldsymbol{y})$ が高い top- $L$ 個をそれぞれ $\boldsymbol{y}^{(1)}, \ldots, \boldsymbol{y}^{(l)}, \ldots, \boldsymbol{y}^{(L)}$ とす る.また， $P_{\mathrm{M}}$ は原言語文のサブワード列 $\boldsymbol{x}$ と目的言語文のサブワード列 $\boldsymbol{y}$ に対する確率モデルであ り，次式で定義する.

$
P_{\mathrm{M}}(\boldsymbol{x}, \boldsymbol{y})=P_{\mathrm{U}}(\boldsymbol{x}) P_{\mathrm{U}}(\boldsymbol{y}) \prod_{u, v \in A(\boldsymbol{x}, \boldsymbol{y})} \alpha_{u v}
$

ただし, $A(\boldsymbol{x}, \boldsymbol{y})$ は原言語のサブワード列 $\boldsymbol{x}$ と目的言語のサブワード列 $\boldsymbol{y}$ の間のアライメントを返す関数 であり，アライメントは対応するサブワード対の集合とする. また， $\alpha_{u v}$ は原言語側サブワード $u$ と目的言語側サブワード $v$ が対応する確率である.

## 3.2 アライメント確率 $\alpha_{u v$ の算出}

ユニグラム言語モデル $P_{\mathrm{U}}$ とアライメントを返す 関数 $A$ は所与のものとして，EM アルゴリズムを用 いてアライメント確率 $\alpha_{u v}$ を求める.

$
\begin{gathered}
P_{\mathrm{M}}^{\mathrm{old}}(\boldsymbol{x}, \boldsymbol{y})=P_{\mathrm{U}}(\boldsymbol{x}) P_{\mathrm{U}}(\boldsymbol{y}) \prod_{u, v \in A(\boldsymbol{x}, \boldsymbol{y})} \alpha_{u v}^{\mathrm{old}} \\
P_{\mathrm{M}}^{\mathrm{new}}(\boldsymbol{x}, \boldsymbol{y})=P_{\mathrm{U}}(\boldsymbol{x}) P_{\mathrm{U}}(\boldsymbol{y}) \prod_{u, v \in A(\boldsymbol{x}, \boldsymbol{y})} \alpha_{u v}^{\text {new }} \\
Q=\sum_{n} \sum_{k} \sum_{l}\left(\frac{P_{\mathrm{M}}^{\mathrm{old}}\left(\boldsymbol{x}_{n}^{(k)}, \boldsymbol{y}_{n}^{(l)}\right) \log P_{\mathrm{M}}^{\mathrm{new}}\left(\boldsymbol{x}_{n}^{(k)}, \boldsymbol{y}_{n}^{(l)}\right)}{\sum_{k^{\prime}} \sum_{l^{\prime}} P_{\mathrm{M}}^{\mathrm{old}}\left(\boldsymbol{x}_{n}^{\left(k^{\prime}\right)}, \boldsymbol{y}_{n}^{\left(l^{\prime}\right)}\right)}\right)
\end{gathered}
$

$\alpha_{u v}^{\text {new }}$ に関して $\mathrm{Q}$ 関数を最大化することにより， $\alpha_{u v}^{\text {new }}$ の更新式を得る.

$
\begin{gathered}
\alpha_{u v}^{\text {new }}=\frac{\sum_{n} \sum_{k} \sum_{l} E_{n k l u v}}{\sum_{u^{\prime \prime}} \sum_{v^{\prime \prime}} \sum_{n} \sum_{k} \sum_{l} E_{n k l u^{\prime \prime} v^{\prime \prime}}} \\
E_{n k l u v}=\frac{P_{\mathrm{M}}^{\mathrm{old}}\left(\boldsymbol{x}_{n}^{(k)}, \boldsymbol{y}_{n}^{(l)}\right)}{\sum_{k^{\prime}} \sum_{l^{\prime}} P_{\mathrm{M}}^{\mathrm{old}}\left(\boldsymbol{x}_{n}^{\left(k^{\prime}\right)}, \boldsymbol{y}_{n}^{\left(l^{\prime}\right)}\right)} C_{n k l u v}
\end{gathered}
$

ただし， $C_{n k l u v}$ は， $n$ 番目の文対における原言語の サブワード列 $\boldsymbol{x}_{n}^{(k)}$ と目的言語のサブワード列 $\boldsymbol{y}_{n}^{(l)}$ に 対し，サブワード $u$ と $v$ がアライメント関係となっ ている回数である.

## 3.3 訓練データのサブワード分割

訓練データ $D$ の各文対 $X, Y$ に対して，次式に 従ってサブワード列 $\boldsymbol{x}^{(\hat{k})}, \boldsymbol{y}^{(\hat{\imath})}$ を求め, サブワード 文対として採用する。

$
\hat{k}, \hat{l}=\underset{k, l}{\arg \max } P_{\mathrm{M}}\left(\boldsymbol{x}^{(k)}, \boldsymbol{y}^{(l)}\right)
$

## 3.4 翻訳時のサブワード分割

翻訳時におけるサブワード分割では，アライメン ト確率を目的言語側サブワードで周辺化することに よって原言語側サブワードの確率を求める. テスト データの各文 $X$ に対して，次式に従ってサブワード 列 $\boldsymbol{x}^{(\hat{k})}$ を求め，サブワード文として採用する.

$
\begin{gathered}
\alpha_{u}^{\prime}=\sum_{v \in V_{\text {target }}} \alpha_{u v} \\
\hat{k}=\underset{k}{\arg \max } P_{\mathrm{M}^{\prime}}\left(\boldsymbol{x}^{(k)}\right) \\
P_{\mathrm{M}^{\prime}}(\boldsymbol{x})=P_{\mathrm{U}}(\boldsymbol{x}) \prod_{u \in \boldsymbol{x}} \alpha_{u}^{\prime}
\end{gathered}
$

ただし， $V_{\text {target }}$ は目的言語側のサブワード集合で ある.

## 4 実験

## 4.1 実験設定

提案手法と従来法 (ユニグラム言語モデル) の翻訳性能を比較した. ユニグラム言語モデ ルによるサブワード列候補集合を得るために， SentencePiece ${ }^{1)}$ 利用した. 原言語側サブワード と目的言語側サブワードのアライメントを得 るために， fast_align ${ }^{2)}[10]$ を利用した．NMT には Fairseq [11] 使用し, Transformer base (Vaswani et al. 2017）[12] モデルを利用した。翻訳性能を評価する ために，sacreBLEUを利用した。 sacreBLEU [13] の 日本語のトークナイズには ja-mecab [14] を，英語の トークナイズには $13 \mathrm{a}$ を利用した.

## 4.2 データセットとハイパーパラメータ

データセットには WAT ASPEC 英日・日英翻訳タ スク3)を用いた．NMT の訓練には訓練データのう ち，100万文対 (train-1.txt) を利用した. 開発データ

表 1 ASPEC 英-日における翻訳性能の比較（BLEU（\%)）

 &  \\

表 2 提案手法の良い例

とテストデータのデータ数はそれぞれ $1,790,1,812$文対であった. ユニグラム言語モデルの学習は，原言語側と目的言語側で独立して行い，辞書サイズは どちらも 16,000に設定した. 候補数は原言語側と目的言語側それぞれユニグラム言語モデルによるサブ ワード生起確率が高い上位 10 通り（top- $k=$ top- $l=10 ）$ とした. すべての Transformer base モデルにおいて， パラメータの最適化には adam（Kingma and Ba 2014） [15]，学習率は 1e-4，バッチサイズは 128 とし，そ の他のパラメータは Fairseq のデフォルトのままと した. 学習は 30 エポックで終了させ，各エポック のモデルのうち，開発データ上で最も性能のよかっ たものを利用してテストデータの翻訳を行った. 実験はランダムシードを変えて 2 度行い，その平均を 実験結果とした.

## 4.3 実験結果

実験結果の BLEU [16] スコアを表 1 に示す。表 1 から分かる通り，バイリンガルサブワード分割は英日，日英翻訳の両言語方向において，ユニグラム言語モデルより性能が改善されている．バイリンガル サブワード分割を用いることでユニグラム言語モ デルに対し，英日・日英翻訳においてそれぞれ 0.4， 0.6BLEU ポイントの性能改善が確認された.

## 4.4 考察

提案手法によるサブワード分割について考察す る. バイリンガルサブワード分割を用いることで良 く翻訳できた例を表 2 に示す。提案手法は従来手法 よりも原言語サブワードが出力結果に対応するよ うに分割されていることから，正確に翻訳できたと

 &  \\

表 3 提案手法の悪い例

考えられる，バイリンガルサブワード分割を用いる ことで悪くなった例を表 3 に示す. 提案手法は従来手法よりも細かく分割されており，“express”と“急行”，“way”と “路”を関連付けるよう学習している ことから，“express way”を “急行路”と不正確に翻訳したと考えられる。

## 5 まとめ

本論文では，確率モデルと EM アルゴリズムを用 いたニューラル機械翻訳のための新たなサブワード 分割法を提案した。アライメント確率を導入したバ イリンガルサブワード分割のための確率モデルの 定義を与え，そのアライメント確率を求める EM ア ルゴリズムを導出した．訓練コーパスに対するサブ ワード分割は，提案する確率モデルを用いて，最も 確率の高いサブワード列対を選択することで実現し た。翻訳時には，目的言語側のサブワード列が得ら れないため直接提案モデルを適用することはできな いが，アライメント確率を周辺化することで，原言語側だけで定義される確率モデルを与えた．実験の 結果，WAT ASPEC 英日・日英翻訳タスクにおいて， Transformer NMT モデルの性能が改善し，提案手法 の有効性を確認した。

今後の課題として，条件付き確率を導入すること でアライメントの方向性を考慮した確率モデルに拡張することや，英日以外の言語対での実験等が挙げ られる。

## 謝辞

本研究は国立研究開発法人情報通信研究機構の委託研究（課題番号：225）による助成および JSPS 科研費 JP21K12031による助成を受けたものです.

## 参考文献

[1] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequence learning with neural networks, 2014.

[2] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate, 2014.

[3] Thang Luong, Hieu Pham, and Christopher D. Manning. Effective approaches to attention-based neural machine translation. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[4] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[5] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[6] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[7] 出口祥之, 内山将夫, 田村晃裕, 二宮崇, 隅田英一郎. ニューラル機械翻訳のためのバイリンガルな サブワード分割. 自然言語処理, Vol. 28 , No. 2, pp. 632-650, 2021.

[8] Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and Naoaki Okazaki. Joint optimization of tokenization and downstream model. In Findings of the Association for Computational Linguistics: ACLIJCNLP 2021, pp. 244-255, Online, August 2021. Association for Computational Linguistics.

[9] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 2204-2208, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[10] Chris Dyer, Victor Chahuneau, and Noah A. Smith. A simple, fast, and effective reparameterization of IBM model 2.
In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 644-648, Atlanta, Georgia, June 2013. Association for Computational Linguistics.

[11] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[12] Sufeng Duan and Hai Zhao. Attention is all you need for Chinese word segmentation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 3862-3872, Online, November 2020. Association for Computational Linguistics.

[13] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[14] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the $\mathbf{2 0 0 4}$ Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[15] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization, 2014.

[16] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.


# 多言語事前学習モデルのための
SentencePiece トークナイザーへのサブワード追加

今村賢治隅田英一郎
国立研究開発法人 情報通信研究機構
\{kenji.imamura, eiichiro.sumita\}@nict.go.jp

## 概要

多言語事前学習モデルは、トークナイザーが確定 した上で事前学習されているため、多言語事前学習 モデルを新規言語に拡張する際は、トークナイザー も同時に修正する必要がある。本稿では、多言語事前学習モデルを新規言語（本稿ではイヌイット語） に対応させるため、SentencePiece トークナイザーに 新規サブワードを追加する。我々の実験では、既存言語のサブワード分割を変更せずに、イヌイット語 のサブワード分割が可能となり、mBART-50 事前学習モデルを英語・イヌイット語翻訳に適用すること ができた。

## 1 はじめに

近年、さまざまな事前学習モデルがリリースされ ている。その中でも、mBERT [1], XLM-RoBERTa [2], mBART [3, 4], mT5 [5] などの多言語モデルは、複数 の言語を一つのモデルで学習されているため、言語横断分類や機械翻訳に有効である。しかし、これら の事前学習モデルは、語彙が事前学習時に決定され ている。事前学習モデル自体の語彙は、追加するだ けなら、単語埋込テーブルを拡張することで可能で ある [6]。しかし、一般的には、事前学習モデルは トークナイザー（とそのモデル）を確定した上で事前学習されているため、事前学習モデルの語彙を変更する場合、同時にトークナイザーも修正する必要 がある。

たとえ新規言語であっても、トークナイザーがサ ポートしている文字を使用する言語の場合は、(た とえ最適でないとしても）既存モデルが流用可能で ある。一方、トークナイザーがサポートしていない 文字が使われている言語の場合、未知語となってし まうため、何らかの対処が必要となる。

本稿では、多言語事前学習モデルのトークナイ
ザーに焦点を当てる。具体的には、mBART-50 [7] を 新規言語に対応させるため、SentencePiece トークナ イザー $[8,9]$ に新規サブワードを追加する。タス クは、国際会議 WMT-20 [10] のニュース翻訳タス クで対象となったイヌイット語・英語翻訳である。 mBART-50 も、それに付随する SentencePiece も、モ デルにはイヌイット語を含んでいない。

われわれの目標は、新規言語に事前学習モデルを 適用するために、既存言語のトークナイズ結果を極力変えないようにしながら、新規言語に対してサブ ワード化方法を提供することである。既存言語の解析結果を変えないことによって、事前学習モデルの 効果を最大限活用できる。

## 2 SentencePiece トークナイザー

SentencePiece は入力文字列をそのままサブワード 分割できるトークナイザーである（無損失符号化と 呼ばれている)。英語のように単語区切りがスペー ス文字によって明示されている言語と、日本語、中国語のように単語間に区切り文字がない言語を混在 して扱うことができるため、多言語事前学習モデル のトークナイザーとして採用されている。

SentencePiece は、バイトペア符号化 [11] などの サブワード方式もサポートしているが、本稿では、 mBART-50 で使用され、SentencePiece のデフォルト となっているユニグラムモデルについて考える。

## 2.1 解析方式/サブワード符号化

SentencePiece では、無損失符号化を実現するた め、前処理でスペースを特殊文字（デフォルトはユ ニコードの U+2581）に置換して単語区切りがない 文字列にしたのちに、以下の方法でサブワード列に 分割する（図 1）[12]。ちなみにこの方法は、日本語 の形態素解析方法（たとえば MeCab [13]）と同じで ある。
入力文字列: SentencePiece はは分解する。

図 1 SentencePiece ユニグラムモデルによるサブワード符号化の例。'บ'はスペース文字 $(U+0020)$ を表す。ラティスの各 サブワードの上の値はユニグラム対数尤度、赤線はビタビパスを表す。

1. 入力テキストとユニグラムモデル (形態素解析 における辞書相当）のサブワードを照合し、すべ てのサブワード候補を取得、ラティス構造に配置する。

2. ラティスに対してビタビ探索を行い、最も尤度 の高いパスを探索する。最尤パス上のサブワー ド列を出力する。

## 2.2 ユニグラムモデルの学習

ユニグラムモデルの学習は、隠れマルコフモデル (HMM) の教師なし学習 [12] を応用したものである。以下の手順で行う。基本的に、初期モデルのサブ ワードを削除することで所定の語彙サイズを得る方式であるので、最終モデルの語彙は、初期モデルの 語彙のサブセットとなる。

1. 訓練コーパスから初期モデルを作成する。

(a) 接尾辞配列 (suffix array) でコーパスの部分文字列を獲得し、サブワード候補とする。

(b) 各サブワードには、訓練コーパスの相対頻度を 尤度として付与する。

2. モデルの語彙が所定の語彙サイズになるまで、以下を繰り返す。

(a) EM アルゴリズムでモデルの尤度を更新する。 (2 回ループ)

i. Eステップ: コーパスの文を現モデルで解析し、前向き後ろ向きアルゴリズムで各サブ ワードの尤度を算出。

ii. Mステップ: コーパス全体でサブワードの尤度を集計し、モデルを更新。

(b) 低尤度のサブワードをモデルから削除する（た とえば全体の 20\%)

## 3 既存モデルヘのサブワード追加

新規言語が未知の文字を使用している場合、無損失符号化では、文全体が未知語になってしまい、事前学習モデルで扱うべき語彙がわからない。対策と して、文字をトークンとして扱う方法があるが、そ の方法ではトークン列が長くなり、翻訳などの下流 タスクには不利になる。本稿ではサブワードを使う ことで、語彙を適切に制限しつつ、トークン列の長 さも長くしすぎないようにする。

今回は、既存コーパスの解析結果を変更せずに、新規言語のみ適切にサブワード列に符号化するた め、既存モデルでは未知となる「文字」を含むサブ ワードだけを追加する。SentencePiece の追加学習と 通常のユニグラムモデル学習との差異は、以下の 2 点である（詳細は付録参照）。

1.(a)訓練コーパスから初期モデルを作成する際、既存モデルには含まれない文字から始まる部分文字列のみをサブワード候補とする。

2.(a)EM アルゴリズムでモデルの尤度を更新する際、 コーパスを既存モデルと追加モデルの統合語彙 で解析する。尤度の更新は追加モデルのみに対 して行い、既存モデルは更新しない。

## 4 イヌイット語翻訳実験

本稿では、WMT-20 [10] のニュース翻訳タスク で実施された英語 (En)・イヌイット語 (Iu) 翻訳で 評価する。イヌイット語の例を表 1 に示す。イヌ イット語は、ユニコードの「統合カナダ先住民音節 (U+1400 - U+167F)」で記述されている。

一方、本稿で対象としている mBART-50 の SentencePiece モデルは、100 言語のコーパスから学習され たサブワード 25 万語から成り立っているが、これ には統合カナダ先住民音節を含んでいない。そのた め、イヌイット語をこのモデルで解析すると、ほと んどが未知語となり、サブワード化されない1)。

1） SentencePiece は、未知文字が連続すると、それらをまとめ て1トークンとして出力する仕様となっている。そのため、 イヌイット語を解析すると、結果的にスペース区切りと同じ 出力となる。
表 1 英語・イヌイット語対訳文の例

 \\

## 4.1 実験設定

コーパス WMT-20 共有タスクで使用された対訳 コーパスは、訓練セットが約 131 万文、開発セット が 5,173 文、テストセットが 2,971 文である。

トークナイザー設定 本実験では、対訳コーパス のイヌイット語側約 131 万文から、追加サブワード $\{2000$ (2K), 4000 (4K), 8000 (8K)\}を学習する。

既存のユニグラムモデルは、spm_export_vocab コマンドでテキストモデルにして使用、2.1 節、 2.2 節を Python で実装し、3 節の変更を行った。な お、入力文字列の正規化（スペース置換を含む）は spm_normalize コマンドで行った。

ベースライン 本実験では、 3 種類のベースライ ンのトークナイズ法を設定する。
- mBART-50 分割モデル: mBART-50 付属の SentencePiece モデルをそのまま用いる場合。

・イヌイット文字分解: mBART-50 分割モデルで トークナイズ後、イヌイット文字を含む単語を 文字に分解する場合。

・共有語彙 $32 \mathrm{~K}$ モデル:対訳コーパスから新規に両者の共有語彙を SentencePiece で学習する場合。語彙サイズは 3 万 2 千語とする。

翻訳器/モデル 本稿では、翻訳器として FairSeq [14] を使用する。

ベースとした事前学習モデル mBART-50 はエン コーダー・デコーダー型のモデルであり、対訳コー パスでファインチューニングすると翻訳器として利用できる。mBART-50 自体は多言語モデルであるの で、 1 回のファインチューニングで、En $\rightarrow \mathrm{Iu}$ と Iu $\rightarrow$ En の双方向モデルを学習・使用する。

mBART-50 自体の新規言語への拡張は、単語埋込を拡張する[6] の方法を使用した。具体的には、 mBART-50 でイヌイット語翻訳を実現するため、エ ンコーダーおよびデコーダーの単語埋込を以下の 2 点に関して拡張する。

・mBART-50 は、原言語と目的言語に言語タグを付加して学習・翻訳を行っているので、イヌイット語の言語タグ (iu_CA)を単語埋込に追加する。 ・トークナイザーで追加したサブワードを単語埋込に追加する。

拡張部分はランダム初期化し、ファインチューニ ング時に他のパラメータとまとめて学習する。

なお、ベースラインとして、共有語彙 $32 \mathrm{~K}$ モデル でトークナイズした対訳コーパスだけを用いて学習 した、Transformer Big の双方向モデルを用いた。

学習/テスト ハイパーパラメータの詳細は付録 に示す。

## 4.2 トークナイズ結果

表 2 は、対訳テストセットのイヌイット語をトー クナイズした結果である。テストセット 1 文あたり のトークン数と、mBART-50 モデルの語彙（単語埋込）からみた未知語率を示す。すべてのトークナイ ザーにおいて、高い未知語率を示しているが、これ は mBART-50に語彙を追加することで低くすること ができる。表 2 の「未知語をなくすための追加語彙数」は、ゼロにするために追加する語彙数である。

ニューラルモデルでは、 1 文あたりのトークン数 が少ない方が解析や翻訳精度が高い場合が多いが、最も少ないのは mBART-50 分割モデルである。これ は、SentencePiece が未知文字に遭遇し、スペース区切りでトークナイズしたためで、全トークンの $40 \%$以上が未知語となる。もし、このトークナイザーで 翻訳モデルを学習しようとすると、150万語以上を 追加しなければならず、学習は非現実的である。

共有語彙 $32 \mathrm{~K}$ モデルも、 1 文あたりのトークン数 が少ないが、この語彙は mBART-50 事前学習モデル の語彙と異なるため、事前学習モデルに適用するた めには、 3 万 2 千語のうち、約 2 万 7 千語を追加し なければならない。

イヌイット語文字分割モデルは 141 語を追加する だけで良いが、1 文あたりのトークン数が 80 にな り、入出力が長くなる。

一方、本稿の方式は、 1 文あたりのトークン数は mBART-50 分割モデルや共有語彙 $32 \mathrm{~K}$ モデルより長 くなっているが、イヌイット文字分解の半分程度に することができた。本稿の提案方式は、追加語数を 制御しながら未知語をなくすことができる。

## 4.3 翻訳実験結果

次に翻訳実験の結果を表 3 に示す。ベースライン としては、Transformer Big モデル [15] を使用した。

 &  &  \\

& イヌイット文分解 & 80.0 & $85.1 \%$ & 141 \\
& 共有語彙 $32 \mathrm{~K}$ モデル & 22.0 & $82.7 \%$ & 26,657 \\

& 語彙追加 $4 \mathrm{~K}$ & 34.6 & $65.7 \%$ & 4,001 \\
& 語彙追加 $8 \mathrm{~K}$ & 31.8 & $62.8 \%$ & 8,001 \\

表 3 英語・イヌイット語間翻訳 BLEU スコア。

ボールド数値は、各翻訳方向での BLEU 最高値を表す。(+) は Transformer Big モデル（共有語彙 $32 \mathrm{~K}$ モデル）に比ベて有意に高く、(-) は有意に低いことを表す。(†)は mBART-50 モデル（イヌイット文字分解）に比べて有意に高いことを表す。

mBART-50 モデルは、追加埋込数の単語埋込を拡張 してからファインチューニングしている。未知語率 は単語埋込拡張後のテストセット未知語率である。 BLEU [16] の評価には sacreBLEU [17] を使用した。有意差検定はブートストラップ再サンプリングを用 い、危険率 $5 \%$ とした $(p<0.05)$ 。

まず、mBART-50 モデルを適用することにより、 Transformer Big モデルに比べて、En-Iu, Iu-En どちら も、BLEU スコアを有意に向上させることができた (mBART-50 分割モデルを除く)。mBART-50にはイ ヌイット語が含まれていないにもかかわらず、事前学習は有効であった。

mBART-50 翻訳モデル内の各トークナイザーに着目すると、mBART-50 分割モデルは、未知語率が高 く、意味のある翻訳はできなかった。共有語彙 $32 \mathrm{~K}$ の場合は、Transformer Big モデルより BLEU が向上 したが、イヌイット語文字分解よりは低かった。イ ヌイット語文字分解は、ベースライントークナイ ザーの中では、最も BLEU スコアが高かった。

イヌイット語文字分解と比較すると、我々のトー クナイザーでは En-Iu の語彙追加 $2 \mathrm{~K}$ 以外では BLEU スコアに有意な差はなかった。また、サブワード数 が少ない方が BLEU スコアが高い傾向は得られた。
これは、ファインチューニングがうまくトークナイ ザーの差を吸収したためと考えている。

まとめると、サブワード数による翻訳品質に対す る明確な優位性は得られなかったが、イヌイット語 をサブワード分割することで mBART-50 が翻訳に適用でき、事前学習モデルの効果が得られることを確認した。

## 5 まとめ

本稿では、多言語事前学習モデルを新規言語に対応させるため、SentencePiece トークナイザーに新規 のサブワードを追加した。提案方法は、既存のモデ ルを変更せずに、未知の文字を含むサブワードをそ の尤度とともに追加した。

実験はイヌイット語に対して行い、新規言語のサ ブワード分割が可能になることを確認した。サブ ワード数は制御可能である。また、イヌイット語翻訳に事前学習モデル mBART-50を適用し、多言語事前学習モデルを用いることで、新規言語でも BLEU スコアが向上することを確認した。

本稿の追加サブワード学習の実装は GitHub で公開している。2)

2) https://github.com/kenji-imamura/sentpiece_mimic

## 謝辞

本件は、総務省の「ICT 重点技術の研究開発プロ ジェクト (JPMI00316)」における「多言語翻訳技術 の高度化に関する研究開発」による委託を受けて実施した研究開発による成果です。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. arXiv e-Print, 1911.02116, 2020.

[3] Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, and Luke Zettlemoyer. Multilingual denoising pre-training for neural machine translation. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 726-742, 2020.

[4] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[5] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A massively multilingual pre-trained textto-text transformer. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 483-498, Online, June 2021. Association for Computational Linguistics.

[6] Zihan Wang, Karthikeyan K, Stephen Mayhew, and Dan Roth. Extending multilingual BERT to low-resource languages. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 2649-2656, Online, November 2020. Association for Computational Linguistics.

[7] Yuqing Tang, Chau Tran, Xian Li, Peng-Jen Chen, Naman Goyal, Vishrav Chaudhary, Jiatao Gu, and Angela Fan. Multilingual translation with extensible multilingual pretraining and finetuning. arXiv e-Print, 2008.00401, 2020.

[8] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the
2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[9] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[10] Loïc Barrault, Ondřej Bojar, Fethi Bougares, Rajen Chatterjee, Marta R. Costa-jussà, Christian Federmann, Mark Fishel, Alexander Fraser, Yvette Graham, Paco Guzman, Barry Haddow, Matthias Huck, Antonio Jimeno Yepes, Philipp Koehn, André Martins, Makoto Morishita, Christof Monz, Masaaki Nagata, Toshiaki Nakazawa, and Matteo Negri, editors. Proceedings of the Fifth Conference on Machine Translation, Online, November 2020. Association for Computational Linguistics.

[11] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[12] Christopher D. Manning and Hinrich Schütze. Foundations of Statistial Natural Language Processing. The MIT Press, 1999.

[13] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[14] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[15] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. CoRR, Vol. abs/1706.03762, , 2017.

[16] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[17] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

## A サブワード追加アルゴリズム

本稿のサブワード追加モデルの学習アルゴリズム をアルゴリズム 1 に示す。このアルゴリズムは元モ デル $M_{\text {org }}$ に含まれないサブワードを集めた追加モ デル $M$ を学習する。

・行 1 では、GenerateInitModeL 関数 (line 8 - 15) で初期モデルを作成する。初期モデルには、コー パス $C$ に含まれる部分文字列がサブワード候補 として含まれる。

SentencePiece の通常のユニグラムモデルの学習では、すべての部分文字列を対象としていた が、追加学習では、既存モデルには含まれない文字から始まる部分文字列のみをサブワード候補 とする。

・行 2 - 行 6 がメインループで、追加モデル の尤度だけを EM アルゴリズムで 2 回更新 （UPDATELIKELiHOOD 関数）する。なお、解析は既存モデルと追加モデルの統合語彙で行う。そし て、所定の語彙サイズになるまで低尤度のサブ ワードを削除する。本稿では尤度の下位 $20 \%$ 。表 4 学習/テスト時の設定一覧

削除した。

B ハイパーパラメータ

表 4 は、翻訳モデル学習 (ファインチューニング)時、およびテスト時のハイパーパラメータ設定の一覧である。トークナイザーによって訓練データの総 トークン数が変わるため、warmup は約 1 エポック で統一した。

なお、Transformer big モデル学習時の設定は、 $\mathrm{LR}=0.0004$ 、warmup=約 5 エポックにした以外は、 mBART-50 モデルファインチューニング時と同じで ある。


# GCP 同時通訳コーパスの構築

東山翔平 今村賢治 内山将夫 隅田英一郎
情報通信研究機構
}

\{shohei.higashiyama, kenji.imamura, mutiyama, eiichiro.sumita\}@nict.go.jp
## 概要

同時翻訳システムの学習・評価のための GCP 同時通訳コーパスを構築した．本コーパスは，日・英各 100 万単語以上の原発話テキストと英・日への順送りの訳文テキストからなり，原発話・訳文中の チャンク境界の情報と，訳文中の省略可能な表現の 情報を含む．本コーパスの構築方法と，チャンクと 省略の観点から行った分析について報告する。

## 1 はじめに

即時性の高い多言語コミュニケーションが求めら れる状況において，人間の通訳者による同時通訳の ように，原発話と同時並行的に翻訳を行う同時機械翻訳（同時翻訳） $[1,2]$ の実用化が期待されている.

同時通訳では，同時性の制約を克服するため，原発話をチャンクと呼ばれる意味的なまとまりに区切 りながら，前のチャンクから順に訳出を行う「順送 り」の方略が用いられる. 同時通訳と同様に遅延の 少ない同時翻訳を実現するには，順送り形式の対訳 を基に翻訳システムを構築することが必要となる。 そこで我々は，同時翻訳システムの学習・評価のた めの多言語の GCP 同時通訳コーパス ${ }^{1)}$ を構築してい る. 本稿では，そのうち日英・英日方向のコーパス について報告する。

既存の日英・英日の同時通訳コーパスには，主に 以下の三つがある。 Tohyama ら [4] は，模擬講演・対話とその同時通訳音声を収録し，CIAIR 同時通訳 データベース（SIDB）を構築した。松下ら [5] は，逐次または同時通訳付きの会見動画を書き起こ し，英日・日英通訳データベース（JNPC）を構築し た. Doi ら [6] は，既存の講演・会見音声を聴きなが らの模擬的な同時通訳を実施・収録し，NAIST-SIC （NSIC）を構築した。上記コーパスと本コーパスの 原言語データサイズ（時間数 $N_{\text {hour }}$ ，発話数 $N_{\text {utter }}$,単語数 $N_{\text {word }}$ ）を表 1 に示す.

1）GCP は「グローバルコミュニケーション計画」[3]を指す。表 1 同時通訳コーパスの原言語データサイズ

これら既存の同時通訳コーパスと比較すると，本 コーパスには主に次の特徴がある。(1) 音声を介さ ずにテキストを翻訳することで作成した対訳で，原発話テキストと順送りの訳文テキストの双方にチャ ンク境界を付与している。 (2) 日本語原発話 150 万単語，英語原発話 119 万単語からなり，テキスト量 での規模が大きい2)

以降， §2-\$4 にて，本コーパスの設計・構築方法 と，本コーパスの性質の分析について報告する.

## 2 コーパス設計方針

書き言葉の逐次翻訳と比べて，同時翻訳システム に求められる要件として以下が挙げられる。

1. 原発話のスタイルへの対処：非流暢でくだけた 話し言葉の表現に対して適切な翻訳を行う。

2. 訳文のスタイルの制御：同時通訳と同様の順送 りによる低遅延の訳出を行う。

3. 訳出する情報の制御：読み手・聞き手の負担削減と，読み上げ音声の出力時間削減のため，原発話中の冗長な表現や重要性の低い表現を除い た訳出を可能とする。

これらを満たすコーパスの構築方法として，原発話と同時通訳の音声を収録する方法が考えられる。 しかし，通常の同時通訳では作業負荷の大きさから 15〜20 分程度で通訳者が交替するのが一般的 [7] で あり，大規模な対訳テキストを確保するには多大な 時間や費用を要する．そこで本研究では，作業効率性を重視し，プロの同時通訳者により，原発話テキ

2）本コーパス及び JNPC の単語数計測には $\S 4$ で述べる方法を 用いた. SIDB の単語数は文献 [4] に記載の値から計算した.
表 2 日本語原発話データの内訳

表 3 英語原発話データの内訳

ストを目視しながら順送りの訳文テキストを作成す る方法を採用した。

要件 1 への対応として, 講演・会議音声の書き起 こしテキストやロ語調で作成された業務会話のシナ リオテキストを用いた. 要件 2 への対応として，順送りの訳文を作成し，原発話及び訳文中にチャンク 境界を付与した. 要件 3 への対応として，原発話の 内容全体を訳出した訳文と，重要性の低い内容を省 いた訳文との 2 段階の訳文を作成した。

本方法は，主に音声を介さない点と明示的な時間的制約がない点が通常の同時通訳と異なる. しか し，上述の要件を満たすことで，同時翻訳システム のためのコーパスとして機能すると想定している.

## 3 コーパス構築方法

## 3.1 原発話データ

作業データのドメインとして，講演，会議，業務会話を対象とした。日本語原発話テキストには，日本語話し言葉コーパス (CSJ) [8] の一部と, Business Scene Dialogue Corpus（BSD）[9], SIDB，JNPC の一部を使用した. 英語原発話テキストには，BSD， AMI Meeting Parallel Corpus (AMI) [10], IWSLT 2017 Evaluation Campaign データセット（TED）[11]の一部と，ウェブで公開されている英語講演動画を書き 起こしたテキスト（Web Presentation Video; WPV）を 使用した。使用した原発話データのサイズを表 2 及 び表 3 に示す（ $N_{\text {char }}$ は文字数を表す）。

## 3.2 作業体制・方法

2020～2022 年の間の延べ 11 か月の期間で，日英 または英日の同時通訳実務経験 2 年以上を有する通訳者（延べ 63 名）に，以下の作業を依頼した.表 4 原発話 U の訳文 $\mathrm{ST} 1, \mathrm{ST} 2$ と逐次翻訳文 CT の例

U 先日ご紹介した商品同様、 120 年未満の積立期間 だと、|途中解約した場合、|戻ってくるお金は 積立金の 0.8 倍になります。

ST1 Same as the product I introduced the other day, if the funding term is less than 20 years, , and if you cancel it before the full term, $80 \%$ of your funds will be returned.

ST2 Same as the product I introduced, if the funding term is less than 20 years, $\mid$ and if you cancel it before the full term, $\mid 80 \%$ will be returned.

CT If you cancel your plan before reaching the 20 year saving stage you'll be reimbursed only $80 \%$ of your saving, same as the product I showed you the other day.

1. 原発話テキストを，同時通訳において訳出の単位とする意味的なまとまり（チャンク）に分割 し，チャンク境界を挿入する。

2. チャンクごとに，原発話を目的言語へ訳した順送りの訳文テキスト ST1と ST2を作成する ${ }^{3}$ ).

・ST1 : 原発話の内容全体を訳出する.

-ST2 : 原発話の意図の理解に支障がないよ うな重要性の低い語句を省略し，原発話の 内容のうち概ね 60～80\%以上を訳出する。

3. 原発話チャンク境界と対応する各訳文中の位置 にチャンク境界を挿入する。

表 4 に，BSDja データの原発話 U と，通訳者によ り作成された同時翻訳文 ST1 及び ST2 の例を示す.原発話と各訳文に挿入されたチャンク境界を「|」, ST2 で省略された ST1 中の表現を波線で表した. 参考に BSD 原データに含まれている逐次翻訳文 CT も 示した.ST1 及びST2 では先頭から順にチャンク単位で訳出されているのに対し，CT では冒頭の「先日」が末尾で訳されるなど構造の違いが見られる.

## 4 コーパス分析

システムの学習・評価に使用する上で，本コーパ スがどのような性質・傾向を持つデータであるか, チャンク及び省略の観点から分析した.

原発話・訳文の単語数計測と, 本節の分析の前処理として，日本語形態素解析に unidic-cwj-3.1.04) [12] と MeCab ${ }^{5}$ [13] を使用し，英語品詞タグ付けに flair/upos-english-fast モデル6）を使用した.ま た，句読点・補助記号（と日本語では空白）を削除 し，日本語文において連続する「名詞-数詞」及び 「記号-文字」の各単語列を 1 単語にまとめ上げた。

3） 2021 年度は ST1 $\rightarrow \mathrm{ST} 2$ の手順，前年度は逆の手順で作成.

4) https://clrd.ninjal.ac.jp/unidic/back_number.html

5) https://taku910.github.io/mecab/

6) https://huggingface.co/flair/upos-english-fast
表 5 チャンク境界付き原発話データの統計情報

図 1 日本語原発話長ごとの平均チャンク長（内容語数）

図 2 英語原発話長ごとの平均チャンク長（単語数）

## 4.1 チャンク長の分布

原発話のチャンク分割の細かさ／粗さは，訳文の 構造の違いに影響するとともに，翻訳の遅延の大き さに直結する. そこで，原発話がどのような粒度で チャンクに分割されているかを分析した.

本分析には，システム評価セットを除いた表 5 の 原発話データ（上段：日，下段: 英）を使用した. 表 5 には, 原発話の件数 $N_{\text {utter }}$ と長さ $L_{\text {utter }}$, 通訳者が付与した原発話側チャンクの総数 $N_{\mathrm{chunk}}$ と長さ $L_{\mathrm{chunk}}$ を示した。発話長とチャンク長は，日本語では内容語数, 英語では単語数で測 $り$, 平均 $\pm$ 標準偏差 で示した. 発話長は, 日・英とも会話・会議（BSD， AMI）では短く, 講演では長く, また発話長が長い ドメインほど平均チャンク長も長い傾向がある. そこで，原発話長ごとのグループに分けて，グ ループ内の平均チャンク長を計測した．結果を図 4 及び図 2 亿示す7). 日・英の原発話とも，各ドメイ ン共通の傾向として, 発話長が長くなるにつれて平均チャンク長も増加するものの, 日本語ではチャン

7）発話数が 5 件以上ある発話長のみ対象とした. BSD は短い 発話が多く, BSDja では最大発話長 25, BSDen では 42 であっ た. 他のドメインの発話長 50 以上のデータはグラフから割愛 したが，50 以下と比べて特に傾向の変化は見られなかった.表 6 チャンク境界の作業者間一致率（日英 20 通訳者ぺ ア，英日 19 通訳者ペアの F1 値）

ク長 $6 \sim 8$ 前後，英語では $8 \sim 11$ 前後で概ね飽和し， それ以降は顕著な増減が見られない。チャンク分割作業では，作業記憶上の制約がある同時通訳の状況 を想定して境界を定める作業としたため，ある程度 の長さでチャンク長が飽和することは直感的な結果である。また，これらのチャンク長は通訳者によ る同時通訳の遅延の上限に相当すると考えられ，本 コーパスから構築したシステムで同時翻訳を行う際 も，同程度の遅延に収まると期待できる。

## 4.2 チャンク境界の一致率

本コーパスの一部の原発話 (日本語 2,755 発話,英語 3,160 発話）について，通訳者 3 名によるチャ ンク分割・訳文作成を害施した. これを，同一の原発話集合（50 発話以上）を作業した通訳者 2 名のぺ アごとのデータに分け，各ペアのチャンク境界の一致率を算出した ${ }^{8}$ ． ヘアアの一方の境界を正解とした 際の他方の境界についての F1 值を求め, 双方向的 な一致率の尺度として用いる.日英 20 ペア，英日 19 ペアについての F1 値を表 6 に左右方向に降順で 示した. 日英・英日合計 39 ペアのうち, 約 7 割の 28 ペアについては $\mathrm{F} 1$ 値 48\%以上となり，ペアの一人目から二人目の境界を見た場合と，その逆の場合 の両方向において，境界の概ね半数が被覆される状況と解釈できる。残り約 3 割のペアはそれを下回る 低い一致率であった。

$\mathrm{F} 1$ 値の高低と，言語方向，原データ，作業発話数 との関連は特に見られなかった ${ }^{9}$ ) 一方，表 6 で下線で示した F1 值は，日英，英日それぞれ作業者 ID 01，63を含むぺアに関するもので，両作業者は他の 作業者と異なる位置で分割する傾向が大きいことが 示唆され ${ }^{10)}$ ，ペアを構成する作業者の影響が大きい ことを確認した．コーパス中に非典型的な境界／非境界が混在していると，同時翻訳システムのチャン ク分割に関する安定性を損なうことが懸念されるた め，それらを検出し，学習時の影響を低減するよう

8）空白・句読点の前後に挿入された境界は同一とみなした。

9）原データ及び作業発話数の情報は付録 §A. 1 に記す.

10）詳細は付録 §A. 1 に示す。
表 7 日英翻訳の 2 段階訳に関する統計情報

表 8 英日翻訳の 2 段階訳に関する統計情報

な方法が有効である可能性がある.

## 4.3 省略の傾向

\$4.1 と同一の原発話データとその訳文データを用 いて, ST1 と ST2 の 2 段階の訳文の差について分析 を行った. 2 種類の訳文とそれらの差分に関する統計情報を表 7 及び表 8 に示す.

全発話（All）のうち，ST1 と ST2で文字列上の差分があった発話（Diff）は日英で約 48\%，英日で約 $41 \%$ あり，省略または他の何らかの編集が行われ ていることがわかる．差分なしの発話（NoDiff）で は発話あたり単語数 $N_{\text {word }} / N_{\text {utter }}$ が少なく, 省略の 余地が小さかったことが窥える. 実際，短い発話に 対して省略を行う必要性は低い. 差分ありの発話に 限ると，英日で $78 \%$ ，日英で $85 \%$ の圧縮率 CR（ST2 の単語数合計 $\div \mathrm{ST} 1$ の単語数合計）であり，システ ムによる省略処理を行う際の圧縮率の目安ともみな せる．作業指示（60 80\%以上）に対してはやや高 めの割合での訳出となった.

差分の大きさを定量化した指標として，ST2を参照訳としたときの ST1 の Translation Edit Rate（TER）

示すように日英・英日とも全発話（All）に関して $13 \%$ 程度であった. また, 同ツールにより各編集操作の適用回数も算出した. 作業指示として「抽象的 な表現への言い換えではなく，主に語句を削ること で省略を行うこと」 ${ }^{12)}$ を推奨したことの表れとして，削除 Del が 80 90\%以上を占めたものの，他の編集操作（置換 Sub，挿入 Ins，シフト Shf）も検出され た. 文法的に妥当な文とするために削除以外の編集 が必要であった可能性などが考えられる.

削除された単語は，日本語訳では助詞，代名詞，

表 9 ST2 に対するST1の TER 及び編集操作内訳

名詞など，英語訳では verb，adverb，noun などが多 かった. 詳細は付録 §A. 2 に示す。

## 5 関連研究

同時通訳者により原発話テキストにチャンク境界 を付与した研究に, 丁ら [15], 清水ら [16] の研究が ある。丁ら [15] は，SIDB の日本語対話文に，英語同時通訳文を参照しながらチャンク境界を付与し，自動付与した節境界との関係を分析した. 節境界の うちチャンク境界であるものは $51 \%$ ，チャンク境界 のうち節境界であるものは $75 \%$ と，両者には，ずれ があることを報告している．清水ら [16] は，話し言葉の自動分割を目的とし，日本語講演文にチャンク に相当する「音声翻訳単位」境界を付与した. 作業者 3 名の多数決で正解境界を定め，作業者の $\mathrm{F}$ 值を 平均 0.9 以上と報告している.

同時通訳における久落/脱落は，高負荷状況での 訳出の失敗として生じる [17] 場合と，時間的制約の 克服のための意図的な省略によって生じる場合があ る. 蔡ら [18] は, 訳出の失敗として起こる語の欠落 に注目し，SIDB を用いて，講演者話速の速さや訳出遅延時間の長さに応じて欠落率が高くなること や，副詞の欠落率が高いことを示した。遠山ら [19] は，訳出の発話量を減らす方略として短縮による訳出が行われることを挙げ，英語原発話中の「A think B」の主語などが省かれて「〜と思います」や「〜な んでしょう」と訳出される SIDB 中の事例を挙げた.

## 6 おわりに

本稿では， GCP 同時通訳コーパスについて報告し た.コーパスの分析結果として，(1) 長い原発話に 対してもチャンク長（訳出遅延）は一定程度で収ま ること，(2) チャンク境界の作業者間一致率の高低 は作業者の組合せに依存すること，(3) 原発話の内容全体を訳した訳文について，その 10～20\%前後の 語句が省略可能な非重要情報と判断されていること （圧縮率 80 90\%前後）を示した. 今後，本コーパ スを用いた同時翻訳システムの構築と性能評価を行 う予定である.

## 謝辞

本件は，総務省の「ICT 重点技術の研究開発プロ ジェクト（JPMI00316）」における「多言語翻訳技術 の高度化に関する研究開発」による委託を受けて実施した研究開発による成果である.

本コーパスの作成に当たり，日本語話し言葉コー パス, Business Scene Dialogue Corpus, CIAIR 同時通訳データベース，英日・日英通訳データベース， AMI Meeting Parallel Corpus, IWSLT 2017 Evaluation Campaign データセットを利用した.

## 参考文献

[1] Ruiqing Zhang, Chuanqiang Zhang, Zhongjun He, Hua Wu, Haifeng Wang, Liang Huang, Qun Liu, Julia Ive, and Wolfgang Macherey. Findings of the third workshop on automatic simultaneous translation. In Proceedings of the Third Workshop on Automatic Simultaneous Translation, pp. 1-11, Online, July 2022. Association for Computational Linguistics.

[2] Antonios Anastasopoulos, Loïc Barrault, Luisa Bentivogli, Marcely Zanon Boito, Ondřej Bojar, Roldano Cattoni, Anna Currey, Georgiana Dinu, Kevin Duh, Maha Elbayad, Clara Emmanuel, Yannick Estève, Marcello Federico, Christian Federmann, Souhir Gahbiche, Hongyu Gong, Roman Grundkiewicz, Barry Haddow, Benjamin Hsu, Dávid Javorský, Věra Kloudová, Surafel Lakew, Xutai Ma, Prashant Mathur, Paul McNamee, Kenton Murray, Maria Nǎdejde, Satoshi Nakamura, Matteo Negri, Jan Niehues, Xing Niu, John Ortega, Juan Pino, Elizabeth Salesky, Jiatong Shi, Matthias Sperber, Sebastian Stüker, Katsuhito Sudoh, Marco Turchi, Yogesh Virkar, Alexander Waibel, Changhan Wang, and Shinji Watanabe. Findings of the IWSLT 2022 evaluation campaign. In Proceedings of the 19th International Conference on Spoken Language Translation, pp. 98-157, Dublin, Ireland (in-person and online), May 2022. Association for Computational Linguistics.

[3] 総務省.「グローバルコミュニケーション計画 2025」 の公表，(2023-01-12 閲覧）. https://www. soumu.go. jp/menu_news/s-news/01tsushin03_02000298.html.

[4] Hitomi Tohyama, Shigeki Matsubara, Koichiro Ryu, Nobuo Kawaguch, and Yasuyoshi Inagaki. CIAIR simultaneous interpretation corpus. In Proceedings of Oriental COCOSDA 2004, 2004.

[5] 松下佳世, 山田優, 石塚浩之. 英日・日英通訳データ ベース (JNPCコーパス) の概要. 通訳翻訳研究への 招待, No. 22, pp. 87-94, 2020.

[6] Kosuke Doi, Katsuhito Sudoh, and Satoshi Nakamura. Large-scale English-Japanese simultaneous interpretation corpus: Construction and analyses with sentence-aligned data. In Proceedings of the 18th International Conference on Spoken Language Translation, pp. 226-235, Bangkok, Thailand (online), August 2021. Association for Computational Linguistics.
[7] 小松達也. 同時通訳. 応用言語学事典, pp. 396-397. 研究社, 2003.

[8] Kikuo Maekawa. Corpus of spontaneous Japanese: Its design and evaluation. In ISCA \& IEEE Workshop on Spontaneous Speech Processing and Recognition, 2003.

[9] Matīss Rikters, Ryokan Ri, Tong Li, and Toshiaki Nakazawa. Designing the business conversation corpus. In Proceedings of the 6th Workshop on Asian Translation, pp. 54-61, Hong Kong, China, November 2019. Association for Computational Linguistics.

[10] Matīss Rikters, Ryokan Ri, Tong Li, and Toshiaki Nakazawa. Document-aligned Japanese-English conversation parallel corpus. In Proceedings of the Fifth Conference on Machine Translation, pp. 639-645, Online, November 2020. Association for Computational Linguistics.

[11] Mauro Cettolo, Marcello Federico, Luisa Bentivogli, Jan Niehues, Sebastian Stüker, Katsuhito Sudoh, Koichiro Yoshino, and Christian Federmann. Overview of the IWSLT 2017 evaluation campaign. In Proceedings of the 14th International Conference on Spoken Language Translation, pp. 2-14, Tokyo, Japan, December 14-15 2017. International Workshop on Spoken Language Translation.

[12] 伝康晴. 多様な目的に適した形態素解析システム 用電子化辞書 (<特集>日本語コーパス). 人工知能, Vol. 24, No. 5, pp. 640-646, 2009.

[13] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[14] Matthew Snover, Bonnie Dorr, Rich Schwartz, Linnea Micciulla, and John Makhoul. A study of translation edit rate with targeted human annotation. In Proceedings of the 7th Conference of the Association for Machine Translation in the Americas: Technical Papers, pp. 223-231, Cambridge, Massachusetts, USA, August 8-12 2006. Association for Machine Translation in the Americas.

[15] 丁, 笠浩一朗, 松原茂樹, 吉川正俊. 日本語対話文にお ける同時通訳単位一音声対話コーパスを用いた分析 -. 言語処理学会第 12 回年次大会, 2006.

[16] 清水徹, 中村哲, 河原達也. 同時通訳者の知識と韻律情報を用いた講演文章のチャンキング. 情報処理学会研究報告音声言語情報処理, Vol. 2008-SLP-72, No. 68, pp. 81-86, July 2008.

[17] 水野的. 同時通訳の理論 認知的制約と訳出方略. 朝日出版社, 2015.

[18] 蔡仲熙, 笠浩一朗, 松原茂樹. 同時通訳における語 の欠落に影響を及ぼす要因の分析. 通訳翻訳研究, No. 18, pp. 13-18, 2018.

[19] 遠山仁美, 松原茂樹. 同時通訳コーパスを用いた通訳者の訳出パターンの分析. 信学技報, Vol. 103, No. 487, pp. 133-146, 2003.

## A 付録

## A. 1 チャンク境界の一致率の詳細評価

作業者間チャンク境界一致率の詳細を述べる。通訳者ペアごとの一致率を, 後述する MPRでも算出 し，F1 値（表 6 と同一）とともに表 10 に示した.「X-P1-P2」の形式のペア ID は，作業データX（表 2 及び表 3 に示したドメイン名の 1 文字目）に対する 通訳者 P1 と通訳者 $\mathrm{P} 2$ による作業結果であることを 意味し， $N_{\text {utter }}$ は 2 名が作業した発話数を表す.

MPR について，ペアの一方の境界を正解とした際 の他方の適合率 $\mathrm{P}$ 及び再現率 $\mathrm{R}$ のうち値の大きい方 $\max (\mathrm{P}, \mathrm{R})$ で定義する．MPR は，より粗く（細かく）分割する作業者の境界を正解とした際の細かく（粗 く) 分割する作業者の境界の再現率 (適合率) と解釈でき，一方から見た他方への一方向的な一致率ま たは被覆率とみなせる。日英・英日合計 39 ペアに 関して，最も低い場合でも MPR 56\%で過半数の境界が一致し, 約 8 割の 32 ペアについては MPR $70 \%$ を超え，F1 值と比べて高い値となった.

また，表 6 と表 10 で下線で示した作業者 01 と 63 を含むぺアについて，低い F1 値となった要因を分析した. ペア内 2 名の分割回数の比 SR (分割回数 が少ない作業者の回数を分子とする）を算出する と, 全 39 ペアの平均 $\mathrm{SR}=0.59$ に対し, 作業者 01 を含む 6 ペアでは $\mathrm{SR}=0.14 \sim 0.64$ で分布し，作業者 63 を含む 4 ペアでは $\mathrm{SR}=0.28 \sim 0.67$ で分布し，作業者 01 または 63 を含む 10 ペア中 7 ペアが SR 下位 $25 \%$ に位置した。つまり，作業者 01 はぺアの他方より少なく分割し，作業者 63 はペアの他方より 多く分割する特徴が見られた。

## A. 22 段階の訳文で省略された表現の詳細

2 段階の訳文 ST1 と ST2 の差分のうち，削除 Del として検出された表現について，1 単語単位及び連続する複数単語単位で集計した。頻度上位 10 件の 品詞（列）を，全品詞（列）の合計頻度に対する頻度 の割合（Rate，\%）とともに，表 11 及び表 12 に示す (「代」は代名詞，「助」は助詞，「副」は副詞，「感」 は「感動詞」，「接」は接続詞，「名」は名詞，「形」は 形容詞を表す). 複数単語単位（POS Seq）について は，頻度上位 2〜3件の表層の例も示した.

頻繁に削除された表現には，談話標識にあたる ような接続詞，副詞，感動詞（日本語訳・英語訳共表 10 チャンク境界の作業者間一致率（MPR，F1 値）

通)，「主語にあたる代名詞＋動詞」（英語訳）「代名詞十助詞」（日本語訳）などがあった.これらは，作業指示の結果，削除しやすい表現として選択され た可能性があり，任意の編集による圧縮を許容した 場合には，異なる傾向となることが考えられる.


# Average Token Delay: 同時翻訳の遅延評価尺度

加納保昌 須藤克仁 中村哲
奈良先端科学技術大学院大学
$\{$ kano.yasumasa.kw4, sudoh, s-nakamura\}@is.naist.jp

## 概要

同時翻訳は、話し手が話し終わる前に翻訳を開始 するタスクである。大きな遅延を許容すれば、翻訳 の質を向上させやすいが、会話など即時性が求めら れる場合には、翻訳の質をできるだけ下げずに遅延 を抑える必要がある。この遅延を測る既存の指標 は、翻訳の出力開始時に着目し、出力の終了時を十分に考慮していなかった。しかし、ある部分の翻訳 の出力終了が遅れると、次の部分の翻訳の出力開始 を遅らせることにもつながり、即時性が失われる。 そこで、本稿では、翻訳の終了時に着目した新しい 遅延評価尺度である Average Token Delay (ATD) を提案する。同時機械翻訳の実験を行い、既存の遅延評価尺度と比較して、より様々な訳出タイミングの決 め方の評価に適していることを確かめた。

## 1 はじめに

同時翻訳とは、話し手が話し終わる前に翻訳を 始めるタスクである。図 1 は、二種類の基本的な 同時機械翻訳戦略による入出力過程をステップご とに示したものである。SRC と TGT はそれぞれ、入出力の 1 トークンを示す。wait-k [1] は、最初に $k$ トークン待って、その後は 1 トークン入力を待 ち、1トークン 翻訳を出力するというのを繰り返 す。chunk-k は、 $k$ トークン待って $k$ トークン出力 するというのを繰り返す。近年の同時機械翻訳モデ ルの翻訳の遅延評価には Average Lagging (AL) [1] が 用いられてきた。これは、各翻訳単語の出力に必要 となる入力単語の数をもとに計算される。図 2 は、入出力を同時に、かつ 1 トークンの入出力を同じ時間で実行できると仮定した wait-k と chunk-k の訳出 タイミングを示している。ここでは簡略化のために 計算時間を省略している。この図からわかる通り、 wait-k と chunk-k は、この仮定の下では入出力のタ イミングが完全に一致する。よって、これらの遅延 は同一になるはずである。しかし、実際にこれら

図 1 step ごとの wait-3 と chunk-3

Wait-3

SRC SRC SRC / SRC / SRC / SRC / SRC / TGT / TGT / TGT / TGT / TGT TGT TGT

## Chunk-3

SRC SRC SRC / SRC SRC SRC / SRC TGT TGT TGT / TGT TGT TGT / TGT

$\begin{array}{llllllllll}1 & 2 & 3 & 4 & 5 & 6 & 7 & 7 & 8 & 9\end{array}$

図 2 time-synchronous な wait-3 $\succ$ chunk-3

の ALを実際に計算すると、wait-kの ALは、 $\frac{15}{5}=3$, chunk-k の AL は $\frac{13}{7} \approx 1.857$ で、chunk-k の方が大幅 に遅延が小さいと評価される。このように、チャン ク翻訳が長くなるほど、AL は遅延を小さく評価す る傾向がある。しかし、実際には、前のチャンクの 翻訳が出力し終わらないと次の翻訳が出力できない ため、チャンク翻訳の長さは遅延につながる。そこ で、本稿では、出力翻訳の終わるタイミングに着目 した遅延尺度である Average Token Delay (ATD) ${ }^{1}$ を 提案する。同時機械翻訳の実験を行い、複数のモデ ルを ALと ATD で比較し、ATD は wait-k のみでな く、チャンクベースのモデルの遅延もより適切に測 れることが分かった。

## 2 関連研究

これまで AL 以外にも、いくつかの遅延尺度が提案されてきた。Consecutive Wait (CW) [2] は文の局所的な遅延を評価する。Average Proportion (AP) [3] は 文全体の遅延を評価するが、入出力のタイミング決定戦略が同じでも、文の長さによって、遅延の値が

大きくことなってしまうという問題があった。AL は、理想的なタイミングとのズレをもとに計算する ことによって、その問題を改善した。ALは以下の 式で定義され、

$
\begin{gathered}
A L_{g}(\boldsymbol{x}, \boldsymbol{y})=\frac{1}{\tau_{g}(|\boldsymbol{x}|)} \sum_{\tau=1}^{\tau_{g}(|x|)}\left(g(\tau)-\frac{\tau-1}{r}\right) . \\
\tau_{g}(|\boldsymbol{x}|)=\min \{\tau|g(\tau)=| \boldsymbol{x} \mid\}
\end{gathered}
$

$g(\tau)$ は単調増加関数で、 $\tau$ 番目の出力単語を出力す るために読んだ入力単語の数を表す。 $\tau_{g}(|x|)$ は、最後の入力単語を読み終わった直後に出力した翻訳単語のインデックスを表す。 $\mathrm{r}$ は $|\boldsymbol{y}| /|\boldsymbol{x}|$ で定義される。

## 3 提案尺度

図 3 Step ごとの speech-to-speech 同時機械翻訳の例

本稿では、Average Token Delay という新しい指標 を提案する。まずは、 speech-to-speech の翻訳におい て説明し、それを speech-to-text、text-to-textへの同時翻訳へと一般化する。

## 3.1 speech-to-speech の同時翻訳

図 3 は音声同時翻訳の音声や処理の継続長を考慮 した処理時間を模式的に示したものである。白い部分は、固定長の音声セグメントを示し、青い部分は 入力を待つか出力するかの決定する時間を示し、オ レンジの部分は、翻訳デコード時間を示す。ステッ プ 1 から翻訳が始まり、ステップ8で翻訳を終え、 ステップ 8 における同じ色の点 (黒、赤、白) の時間差の平均として ATD は計算される。

大力文 $x$ と出力文 $y$ がそれぞれ、 $x=x^{1}, x^{2}, \ldots, x^{C}$ と $\boldsymbol{y}=\boldsymbol{y}^{1}, \boldsymbol{y}^{2}, \ldots, \boldsymbol{y}^{C}$ というチャンクに区切られると する。それぞれのチャンクは、さらにサブセグメン トに分かれる。テキストの場合は単語または文字が サブセグメントとなる。音声の場合は、 0.3 秒で 1 単語の発話があると仮定し、チャンクを 0.3 秒の長 さのサブセグメントに分割し、余りも 1 つのサブセ グメントとする。その結果、入力文と出力文はそれ ぞれ $\boldsymbol{x}=x_{1}, \ldots, x_{|\boldsymbol{x}|}, \boldsymbol{y}=y_{1}, \ldots, y_{|\boldsymbol{y}|}$ というサブセグメ ントの系列として表せる。ATD は以下の式で定義 される。

$
\operatorname{ATD}(\boldsymbol{x}, \boldsymbol{y})=\frac{1}{|\boldsymbol{y}|} \sum_{t=1}^{|\boldsymbol{y}|}\left(T\left(y_{t}\right)-T\left(x_{S(t)}\right)\right)
$

ここで、

$
\begin{gathered}
S=t-\max \left(L_{a c c}\left(\boldsymbol{y}^{c(t)-1}\right)-L_{a c c}\left(\boldsymbol{x}^{c(t)-1}\right), 0\right) \\
s(t)= \begin{cases}S & S \leq L_{a c c}\left(\boldsymbol{x}^{c(t)}\right) \\
L_{a c c}\left(\boldsymbol{x}^{c(t)}\right) & \text { otherwise }\end{cases}
\end{gathered}
$

とする。 $L_{a c c}\left(\boldsymbol{x}^{c}\right)$ は $\mathrm{c}$ 番目のチャンクまでの累積長であり、 $\sum_{j=1}^{c}\left|\boldsymbol{x}^{j}\right|$ と表せる。 $c(t)$ は $y_{t}$ の属する チャンク番号 $c$ を表し、 $L_{a c c}\left(\boldsymbol{x}^{0}\right)=0 、 L_{a c c}\left(\boldsymbol{y}^{0}\right)=0$ とする。

$T(\cdot)$ はそれぞれのサブセグメントの終わるタイミ ングを示し、図3で色のついた点である。ATD は、出力サブセグメント $y_{t}$ と対応する入力サブセグメ ント $y_{s(t)}$ の時間差の平均として計算される。入出力のサブセグメントの対応は、特に語順の大きく異 なる言語ついにおいては意味的に必ずしも正しくな

図 4 speech-to-text 同時翻訳の遅延測定概略図

図 5 text-to-text 同時翻訳 の遅延測定概略図

図 6 non-computation aware text-to-text 同時翻訳 の遅延測定概略図
いが、遅延の計算においては $\mathrm{AL}$ と同様に、このよ うに単純化している。

表 1 は、(4) 式の max の中の例を表す。 $L_{a c c}\left(\boldsymbol{y}^{c(5)-1}\right)-L_{a c c}\left(\boldsymbol{x}^{c(5)-1}\right)=0 \leq 0$ の時は、 $y_{5}$ は $x_{5}$ に対応する。 $L_{a c c}\left(\boldsymbol{y}^{c(5)-1}\right)-L_{a c c}\left(\boldsymbol{x}^{c(5)-1}\right)=1>0$ の時は、 1 チャンク前までの部分翻訳が 1 チャ ンク前までの部分入力より 1 トークン長いため、 $S=5-1=4$ により、 $y_{5}$ は $x_{4}$ に対応する。このよう に、ATDでは前のチャンク翻訳の終了が遅くなると 遅延が増える。

表 2 は、(5) 式の例を表す。 $S=3 \leq L_{a c c}\left(\boldsymbol{x}^{c(3)}\right)$ の 時は、 $y_{3}$ は $x_{3}$ に対応する。 $S=4>L_{a c c}\left(\boldsymbol{x}^{c(4)}\right)$ の時 は、 $x_{4}$ が存在せず、最後の入力トークン $x_{3}$ に対応 する翻訳が長めに出力していると捉える。そこで、 $L_{a c c}\left(\boldsymbol{x}^{c(4)}\right)=3$ により、 $y_{4}$ は $x_{3}$ に対応する。

## $3.2\{$ speech,text $\$-to-text $の$ 同時翻訳}

図 4 は speech-to-textへの同時翻訳を表している。字幕のように、テキストは同時に複数の単語を出力 できるため、テキストのサブセグメント (単語) の 長さは無視している。図 5 は text-to-text 同時翻訳を 示している。この場合、入力のテキストは基本的に streaming ASR(自動音声認識) の結果として受け取る ため、黄色の入力サブセグメントの長さは、ASR の 処理時間となる。

## 3.3 Non-computation-aware ATD

コンピュータの性能や実装効率に依存せずに、同時翻訳モデルの遅延を図ることがある。そのよう な場合には、図 $3,4,5$, のオレンジ、青、黄色の部分を除去し、音声セグメントの長さのみを残して、 ATD の遅延を計算する。しかし、このままでは、 text-to-text の翻訳では、遅延が常に 0 になってしま

う。そこで、図 6 に示される通り、 $\mathrm{CW}$ や AP のよ うに入出力の単語がそれぞれ $1 \mathrm{step}$ の時間を使うと して、ATDを計算する。また、ATD は、図 2 で示さ れるように、モデルが入出力を並列に行うことがで きると仮定して計算される。

## 4 シミュレーション

ATD による遅延計測の特性を示すためのシミュ レーションの結果を以下に示す。

図 $7 \mathrm{AL}$ にる遅延測定

## 4.1 wait-k と chunk-k の比較

長さ 10 トークンの入力文を wait-k と chunk-k で、長さ 10 トークンの文へ翻訳する際に、 $\mathrm{k}$ を 1 から 10 まで変化させて比較した。図 7,8 がその結果を 示す。図 7 は 1 節で述べられたように、chunk-k と wait-k の AL に大きな差が出てしまうことを示して いる。その一方で、ATD は図 8 で示されている通 り、 chunk-k と wait-kが一致している。また、ALで は、wait-9 と wait-10 は遅延の大きさが近いにも関わ らず、ギャップが生まれてしまっている。付録にさ らに大きな図を示す。このように、ATD は、wait-k のような 1 トークン読んで 1 トークン出力するとい うのを繰り返すモデルでも、複数トークンを一度に 出力するチャンクベースのモデルでも、より適切な 結果が得られると考えられる。

## 4.2 翻訳例

図 9 はチャンクベースの 3 つの異なるモデルに よる同時翻訳例である。モデル 1 は入力文全体を 待ってから、翻訳を始めているため、最も遅延が大 きく、翻訳の質は高い。モデル 2 は、「I」の直後に 区切って翻訳を始めているため、モデル 1 より遅延 が小さいが、その分翻訳の質は落ちる。モデル 3 は モデル 2 に似ているが、チャンク翻訳の出力長が長 く、その分翻訳の質が落ちている。

AL は、モデル 3 とモデル 2 の間に急激な差があ り、モデル 3 が最も遅延が少ないと評価している

## Model 1

ATD:5.4, AL:5.0, Quality: 1st

I bought a pen . /

12 私 はペンを買った。

## Model 2

ATD:3.4, AL:1.1, Quality: 2nd

I/ bought a pen. /

Model 3

ATD:4.1, AL:0.8, Quality: 3rd

I/ bought a pen . /

私でございます。/ペンを買った。

$\begin{array}{lllllllllll}1 & 2 & 3 & 4 & 5 & 6 & 7 & 8 & 9 & 10 & 11\end{array}$

図 9 翻訳例

が、これはこれまで述べてきた通り、直感に反して いる。その一方で、ATD は出力長の遅延を考慮して いるため、翻訳が終わるのが遅いモデル 3 よりモデ ル 2 の方が遅延が小さいと評価することができて いる。

## 5 実験

遅延尺度の効果を確かめるため、text-to-text の英独同時機械翻訳の実験を行い、ALと ATD を比較 した。

## 5.1 データ

IWSLT evaluation campaign のデータを用いた。 WMT 2014 training set (450万文) をトレーニングデー タとし、IWSLT 2017 training set (20.6万文)をファイ ンチューニングのデータとして用いた。 $\operatorname{dev2010,}$ tst2010, tst2011 and tst2012 (合計 5,589 文) を開発デー タとし、tst2015 (1,080 文) で評価した。

加納ら [4]に従った実験設定で、wait- $k$ [1], Meaningful Unit (MU) [5], Incremental Constitute Label Prediction (ICLP) [6], そして Prefix Alignment (PA) [4] のモデル を比較した。翻訳の質と遅延の評価には、SimulEval を用いた。

## 5.2 結果

図 10,11 はその実験結果を示す。図 10 の AL に比 べると、図 11 の ATD は各モデルの遅延の違いを より明確に示している。MU と ICLP は ATD におい て、遅延と精度のトレードオフが低下している。こ の原因は、図 12 の AL が小さい範囲で length ratio が 1.0 を超えているところにも現れている。ALが小

図 $10 \mathrm{AL}$ による遅延測定

図 11 ATD による遅延測定

図 12 Length ratio と $\mathrm{AL}$

さい部分では、翻訳が参照文に比べて長めに出力さ れてしまい、図 9 のモデル 3 と同様の現象が起こっ ている。MUは、ATDが大きくなっても、必ずしも BLEU [7] が向上していない。これは、本来より長 く翻訳が出力されたことによって ATD が大きくな ると同時に、翻訳の質も下がってしまったからで ある。

## 6 おわりに

同時機械翻訳における新しい遅延尺度を提案し た。出力翻訳長を考慮した ATD は、ALではうまく 測れないチャンクベースのモデルにも対応した。今後は、タイミング情報のみならず、入出力単語の意味の対応関係も考慮していくことが重要である。

## 謝辞

本研究の一部は科研費 $21 \mathrm{H} 05054$ の助成を受けた

ものである。

## 参考文献

[1] Mingbo Ma, Liang Huang, Hao Xiong, Renjie Zheng, Kaibo Liu, Baigong Zheng, Chuanqiang Zhang, Zhongjun He, Hairong Liu, Xing Li, Hua Wu, and Haifeng Wang. STACL: Simultaneous translation with implicit anticipation and controllable latency using prefix-to-prefix framework. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3025-3036, Florence, Italy, July 2019. Association for Computational Linguistics.

[2] Jiatao Gu, Graham Neubig, Kyunghyun Cho, and Victor O.K. Li. Learning to translate in real-time with neural machine translation. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 1053-1062, Valencia, Spain, April 2017. Association for Computational Linguistics

[3] Kyunghyun Cho and Masha Esipova. Can neural machine translation do simultaneous translation? arXiv preprint arXiv:1606.02012., 2016.

[4] Yasumasa Kano, Katsuhito Sudoh, and Satoshi Nakamura. Simultaneous neural machine translation with prefix alignment. In Proceedings of the 19th International Conference on Spoken Language Translation (IWSLT 2022), pp. 22-31, Dublin, Ireland (in-person and online), May 2022. Association for Computational Linguistics.

[5] Ruiqing Zhang, Chuanqiang Zhang, Zhongjun He, Hua $\mathrm{Wu}$, and Haifeng Wang. Learning adaptive segmentation policy for simultaneous translation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2280-2289, Online, November 2020. Association for Computational Linguistics.

[6] Yasumasa Kano, Katsuhito Sudoh, and Satoshi Nakamura. Simultaneous neural machine translation with constituent label prediction. In Proceedings of the Sixth Conference on Machine Translation, pp. 1124-1134, Online, November 2021. Association for Computational Linguistics.

[7] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

## A 付録

## A. 1 シミュレーション

図 $13 \mathrm{AL}$ にる遅延測定

図 14 ATDによる遅延測定

長さ 40 トークンの入力文を wait-k と chunk-kで、長さ 40 トークンの文へ翻訳する際に、 $\mathrm{k}$ を 1 から 40 まで変化させて比較した。本文の 10 トークンの 場合に比べ、より chunk-k と wait-k のギャップが大 きくなっている。


# TED 英語講演の音声認識 $\cdot$ 音声翻訳 ・ 音声要約の検討

坂野晴彦 桜井陽生 足立十一郎 山本一公 中川聖一
中部大学 工学部 情報工学科
}

\{ep19087-8458@sti, ep18051-1542@sti, ep19002-1545@sti, kazumasayamamoto@isc,

nakagawa@isc\}.chubu. ac. jp
## 概要

我々は、以前から英語の講義や講演を自動音声認識し、要約して日本語で字幕表示する研究を行って きた。英語講演音声をすべて翻訳し字幕にすると、読みが追い付かない・読み辛いなどの弊害が生じる ため、要約システムが必要である。TED 講演音声 の音声認識では、DNN-HMM により約 $88 \%$ の単語正解精度を得た。この書き起こし結果を Transform -erに基づくテキスト翻訳と BERTに基づく重要文抽出型テキスト要約に使用して、音声翻訳と音声要約を評価した。音声翻訳はテキスト翻訳に比べて、 BLEU 值が約 $14 \%$ 低下した。一方、音声要約はテキ スト要約に比べて、重要文として抽出された区間は ほぼ同一であり、音声認識誤りに頑健であった。

## 1 はじめに

我々は、以前から英語の講義や講演を自動音声認識し、要約して日本語で字幕表示する研究を行って きた。英語講義・講演音声をすべて翻訳し字幕にす ると、ユーザーの読みが追い付かない・読み辛いな どの弊害が生じるため、音声認識システムと翻訳シ ステム以外に要約システムがあると便利である

## $[1]$ 。

音声認識に関しては、DNN-HMM 型のハイブリ

ッド方式と End-to-End 方式があり、後者の方が性能がよいという報告がみられるようになってきた $[2,3]$ 。TED 講演音声に関して、英語の音声認識は IWSLT での発表が多いが、英日翻訳に関しては少 ない。2021 年には英日の瞬時テキスト翻訳[2]、 2022 年には英日の瞬時音声翻訳がタスクに加えら れている[3]。上野らは 12 層の Conformer エンコー
ダ、Attention 付きの単方向 LSTM のデコーダを用 いて、TED-LIUM2（211 時間分の学習データ） で、単語誤り率 $8.56 \%$ という報告をしている[4]。

音声翻訳に関しては、音声認識とテキスト翻訳の 接続によるハイブリッド方式と End-to-end 方式があ り、最近では後者の進展が目覚ましく、両者の差は なくなってきた $[3,5]$ 。我々は講義・講演の翻訳に対 して、ハイブリッド方式を採用し、時代に合わせて 統計的機械翻訳モデル[6]、RNN ニューラルネット ワークの LSTM による系列変換モデル[7]、

Transformer モデル[8]を使用してきた。並行して、音声認識誤りに対処するために、 $\mathrm{N}$ ベストのリスコ アリングの利用、認識誤りを含めた対訳ぺアによる 学習などを試みてきた[6]。本稿では、Transformer にデータ拡張や転移学習を適用した結果を報告す る。TEDの英日音声翻訳に関しては、福田らは、 オフライン方式で 11.6、オンライン・瞬時翻訳方式 で10.6 の BLEU 値を報告している[9]。IWSLT-2022 で最も良かった結果は、大規模な外部音声資源・言語資源を使用した USTC（中国科学技術大学）のシ ステムで、音声認識誤り率（単語誤り率）約 5\%、 アンサンブル翻訳ではテキスト入力で 22 、音声入 カ・オフライン方式で約 19 の BLEU 値を報告して いる[5]。

要約に関しては、抽出型要約と抽象型要約があ り、従来は抽出型要約の方が優れていたが、最近は ニューラルネットワークの抽象型要約技術が進展 し、両者の性能差はなくなってきた $[10,11,12]$ 。た だし、人による要約結果の評価では抽出型要約の方 がまだ評価が高い[12]。講義・講演を聴講しながら 要約を字幕表示する場合は、万遍なく音声に同期し た字幕表示が望ましい。そこで我々は、重要な箇所

だけ音声を再生するのにも適している重要文の抽出型要約を採用している。過去の重要文抽出の手法と して、テキスト・音声要約で有効な手法として広く 用いられる Maximal Marginal Relevance (MMR)[13] や、文の重要性を表す素性の抽出と抽出した素性に 基づく分類からなる feature-based 法[14]などが提案されている。最近では、文の構文情報・意味表現 として、文の分散表現が良いとされ、大規模な学習 データによるニューラルネットワークを利用した重要文抽出の要約にも利用されている 15,16$]$ 。我々 は、従来の要約システム MMR に Bidirectional Encoder Representations from Transformers ( BERT) [17]を併用する方法を提案してきた[18]。本稿で は、本手法と最近の代表的な抽出型要約である BertSumExt 法[16]による音声要約を報告する。

## 2 TED 講演の音声認識

## 2.1 Kaldi ツールキットによる DNN-HMM

TED 講演音声をテキストに書き起こすための音声認識ツールキットとして、Kaldi[19]を用いた。 Kaldi では様々なコーパスに対応したレシピが公開 されており、本稿では TEDLIUMv3 に対応したレシ ピを用いて音声認識を行った。Kaldi では認識システ ムとして DNN-HMM を用いており、これは隠れマル コフモデル(Hidden Markov Model)の状態から出力さ れる音素の出力確率を DNN(Deep Neural Network)を 用いて算出する手法である。

本稿では DNN の隠れ層の層数は 13 層とし、隠 れ層の各ユニット数は 1024 とした。出力層のユニ ット数は共有トライフォン数に対応しており、

GMM-HMM 学習時の学習デー夕量に依存して自動決定される。活性化関数には ReLU 関数を用い、出力層のみ softmax 関数を用いた。また、損失関数に はクロスエントロピーを用いた。ネットワークへの 入力特徴量は $\mathrm{MFCC}($ メル周波数ケプストラム係数) 40 次元である。また、特徵量の前処理として fMLLR, LDA,SAT を行い、不特定話者用の特徴抽出を行っている。

## 2.2 学習データ

(a) TED 講演データ

TEDLIUMv3[20]は、約 450 時間の TED 講演音声 のコーパスである。学習データ、検証デー夕、評価 データでセットが分かれており、それぞれ重複する講演は含まれていない。

(b) 大量読み上げ英語音声データ Librispeech

Librispeech[21]は約 1000 時間の読み上げ英語音声 のコーパスである。学習データ、検証データ、評価 データでセットが分かれており、それぞれ重複する 発話は含まれていない。このうち学習データは約 960 時間である。

TED 講演は話し言葉であるのに対し、Librispeech は読み上げコーパスであるが大量のコーパスである ことから、これらのコーパスを合わせて用いること で、より頑健なモデル構築が期待できる。

## 2.3 テストデータ

音声認識結果の算出には、表 1 に示す IWSLT2016 の 10 講演と TEDLiumv3 のテストセット 16 講演を使用し、それぞれのセットで認識率を求めた。学習データとテストデータの重複を防ぐためにこの 計 26 講演は学習データから除外している。

表 1 : テストデータの詳細

 &  &  \\

## 2.4 TED の音声認識結果と後処理

以下(a), (b),(c)の三通りの手法でモデルを作成 し、音声認識を行った際の認識率を比較した。

(a) TED 講演音声による単独モデル

TED 講演 450 時間の学習データで DNN-HMM を 学習した。言語モデルは TED 講演 450 時間のテキ ストから作成し語彙サイズは 15 万語程である。

(b) Librispeechによる単独モデル

Librispeech960 時間の学習データで DNN-HMM を 学習した。このモデルのみ、DNN の規模を、層数 17 層、隠孔層のユニット数は 1536 とした。言語モ デルは Librispeech960 時間のテキストから作成し、語彙サイズは 20 万語程である。

(c) TED 講演音声と Librispeech の混合学習による モデル

Librispeech960 時間の学習データと TED 講演 450 時間の計 1410 時間を用いて DNN-HMM を学習し た。言語モデルは TED 講演 450 時間と

Librispeech960 時間を合わせたテキストから作成 し、語彙サイズは 28 万語程である。

表 2 に各モデルでの認識率を示す。評価として以下の式で定義される単語正解精度を用いた。

単語正解精度 $=100-\frac{\text { 置換誤り数 }+ \text { 挿入誤り数 }+ \text { 脱落誤り数 }}{\text { 発声された入力文中の単語数 }}(1)$

表 2 に示すように、Librispeech 単独モデルでは TED 講演のような話し言葉の認識は難しいことが 分かる。また、TED+Librispeech 混合モデルでの認識率は TED 単独モデルよりやや良いことが分か る。これは、Librispeech が朗読音声であるものの 960 時間と大量データであることによる効果であ る。Librispeech 単独モデルから TED データによる 適応を行うとさらに良くなると思われる。なお、 (b)のモデルを用いた Librispeech テストデータでの 認識実験では単語正解精度は $94.78 \%$ であった。以降、TED2016に対して一番認識率が高かった TED 単独モデルを用いて音声翻訳と音声要約を行 う。このために、音声認識結果の数値の読み表現を 数值表現に後処理した $($ 例 : thirteen $\rightarrow 13)$ 。なお、認識結果には句読点はないので、音声翻訳・音声要約 の評価時の参照テキストも句読点を除去した。

表 2：各モデルでの単語正解精度 [\%]

## 3 TED の音声翻訳

## 3.1 Transformer 翻訳モデル[22]

Transformer モデルはエンコーダとデコーダから なり、再帰型ニューラルネットワークの様に時系列 データを用いて学習を行う。出力を求める際は自己注意機構を用いる。エンコーダは同じ構成のエンコ ーダの積み重ねによって構成されており、それらの エンコーダは自己注意とフィードフォワードネット ワーク (FFNN)により構成される。デコーダも同じ 構成のデコーダが積み重ねられてできている。一つ のデコーダは自己注意と FFNN に加えてその間に 注意機構が入っている。標準モデルはエンコーダ 6 層、デコーダ 6 層であるが、最適な数は学習データ 量に依存する。 22 万文の英日パラレルコーパスで 学習した場合は、 6 層 -6 層で $0.80 、 3$ 層 -4 層で
13.66、 3 層一3 層で 13.22 の BLEU 值であった。本実験ではエンコーダとデコーダは共に 3 層とした。本実験で使用する TED 講演の IWSLT (International Workshop on Spoken Language Translation)のコーパスには英語と日本語の対訳コ 一パスが 22 万文と少ないため、英語または日本語 の単言語コーパスをベースモデルで翻訳/逆翻訳す ることで英語と日本語の疑似対訳コーパスを作成 し、翻訳モデル学習の追加の学習データとすること でデータ拡張を行う。データ拡張には IWSLT2018 英語-スペイン語ペアの英語側コーパスと CSJ (Corpus of Spontaneous Japanese )日本語コーパスの 模擬講演を用いた。

100 万文ペアからなる ASPEC (Asian Scientific Paper Excerpt Corpus )コーパスにより英日単/双方向翻訳モデルを学習し、そのパラメータを初期值とし て IWSLT+データ拡張したデータセットで学習した [8]。なお、ASPEC コーパスによる翻訳モデル学習 の際には、TED 語彙に合わせて学習を行った。

## 3.2 音声翻訳結果

音声翻訳結果の BLEU 值を表 3 に示す。翻訳文 の評価には BLUE 値を用いた。音声翻訳はテキス 卜翻訳と比べて、約 $14 \%$ BLEU 值が低下した。 $10 \%$ 程度の低下に留まるためには、音声認識精度が $90 \%$ 以上必要と思われる。

表 3 : 音声翻訳結果 (TED2016テストセット)

 &  \\

## 4 TED の音声要約

## 4.1 MMR+BERT[18]

MMR は、ドキュメント全体との関連度と、情報 の新規性に基づいて 抽出する文を順に決定してい くことで、全体としてドキュメントとの関連が高く かつ穴長性の低い文集合を抽出することを目指す手法である[13][23]。本稿では以下で定義されているも のを使用する。最新のものでは文献[24]がある。

MMR の文抽出アルゴリズムでは、ドキュメント $D$ 、文 $i$ 、抽出文数 $R$ を用いて、文 $i$ に含まれる単語 からなるベクトルSi を、単語の出現頻度 (Term Frequency)に基づいて求め、文のベクトルの集合 $S_{n r k}$ $=\left.\{S_{1}, S_{2}, \cdots, S_{N}\right.\}$ の $S_{i}$ に対して、 $S_{1}$ から順に以下の
式を計算し、求めた $S_{\text {max }}$ を重要文集合 $S_{r k}$ に加える。 これを繰り返し行うことで要約文を抽出する。

$S_{\max }=\operatorname{argmax}\left.\{\lambda(\operatorname{Sim}(S i, D))-(1-\lambda)\left(\operatorname{Sim}\left(S i, S_{r k}\right)\right)\right.\}$ $S i \in S_{n r k}$

$\operatorname{Sim} 2$ つのベクトル間の類似度を表し、本稿では コサイン類似度を用いる。式の第一項は文とドキュ メントの関連度を表し、第二項は文と重要文集合の 類似度の負の値、すなわち情報の新規性を表す。こ のとき、入はドキュメントとの関連度と壳長性の間 のトレードオフである。MMR のツールとして、

Text-Summarization-MMR[25]を使用し、本実験では $\lambda$ $=0.5$ と設定する。

我々は、文脈を学習させた事前学習(Pre-Training) された BERT モデルを利用し、文の分散表現ベクト ルを $\mathrm{TF}$ に基づくベクトルの代わりに使用する。英語のドキュメントの文の分散表現を得る際は BERT-Large, Uncased (Whole Word Masking)の英語 1024 次元の分散表現を抽出した。また、BERT ゙゙ク トルを入力として階層型ニューラルネットワークに よる重要文/非重要文識別器を構成し、(3)式のように、 その出力の事後確率 $\mathrm{p}$ (重要文|入力)の対数値を(2)式 に加えた。これを MMR+BERT と呼ぶ。識別器の学習には数千文程度あればよい。なお、同じく MMR+BERT と呼ぶ手法が文献[24]に紹介されてい るが詳細は不明である。

$\operatorname{Smax}=\operatorname{argmax}\left.\{\lambda\left(\operatorname{Sim}\left(S_{i}, D\right)\right)-(1-\lambda)\left(\operatorname{Sim}\left(S_{i}, S_{\mathrm{rk}}\right)\right)\right.$ $S_{i} \in \operatorname{Snrk}$

$+\alpha \times \log \mathrm{p}\left(\right.$ 重要文 $\left.\left.\mid S_{i}\right)\right.\}(3)$

## 4.2 BertSumExt[16]

BertSumExt 法は、複数文の文境界記号付き入力単語列（512 トークン以下の制限あり）に対して BERT によって文ベクトル列 $\left.\{T_{i}\right.\}$ を得て、これを Transformerに入力して、重要文/非重要文のラベル 列を抽出する手法である。この手法は標準的な要約 タスクである CNN/Daily Mail の重要文抽出要約に 適用され、このタスクで標準的な性能を得ており、 ベースシステムとしてよく使用されている。MMR と同様に類似な文の抽出を避けるために trigram blocking という機能を取り入れている。本手法を TED 講演に利用するために、最大の入力長が 512 トークンという制限から、講演を 512 トー クン以下に分割し、それぞれで重要文抽出を行い、最後に講演全体で設定された重要文数なるようにス コアで選定した。また、オリジナルな BertSumExt は、CNN/Daily news 約 30 万記事の 1000 万文か ら、各記事から 3 文の重要文を抽出するように学習
されており、このモデル（CNN）と、MRR+BERT と同じくTED $の 51$ 講演の約 4500 文から学習した モデル(TED)、CNN のモデルから TED データで適応したモデル $(\mathbf{C N N} / \mathbf{T E D})$ を使用した。

## 4.3 音声要約結果

(a) テキスト要約

TED10 講演のテキストデータで行った要約実験 の結果を表 4 に示す。重要文の割合は約 $46 \%$ であ る。TED データだけの学習では MMR+BERT が最 も優れているが、BertSumExt $の$ CNN のモデルから TED データで適応した CNN/TED は、これを上回 っている。

(b) 音声要約

BertSumExtのみで音声入力の要約実験を行っ た。講演音声の音声認識結果に対する要約結果を表 4 に示す。音声要約では抽出された文の認識結果に 対応する原テキストデータを用いての評価も行い BLEU 值欄の一番右欄に示す。これは重要文箇所を 音声で再生した場合は音声認識の誤りに関係なくテ キスト内容が正しく聴講できるための尺度である。 テキスト入力と比べて音声入力では Rouge-3 で約 $20 \%$ の性能低下がみられた。しかし、重要文箇所の 抽出の尺度では、低下はみられなかった。

表 4 : TED 講演の要約結果 (ROUGE-3)

} & \multicolumn{2}{|c|}{ 音声入力 } \\
\cline { 3 - 4 } & 認識結果 & 原文に変換 \\

## 5 まとめ

TED 英語講演音声の日本語字幕化のための音声認識、音声翻訳、音声要約の結果を述べた。音声認識では、DNN-HMM により約 $88 \%$ の単語正解精度を 得た。この認識結果を Transformer に基づくテキスト 翻訳と BERT に基づく重要文抽出型テキスト要約に 使用した。音声翻訳はテキスト翻訳に比べて、BLEU 値が約 $14 \%$ 低下した。一方、音声要約はテキスト要約に比べて、重要文として抽出された区間はほぼ同一であり、音声認識誤りに対して頑健であった。

## 謝辞

本研究の一部は、JSPS 科研費 $18 \mathrm{H} 01062$ 、 19K12027、22K12084 の研究助成を受けた。

## 参考文献

[1] V.Ferdiansyah, S.Nakagawa : Captioning methods of lecture videos for learning in English, Proc. 25th ICCE, pp.902-907, 2017.

[2] A. Anastasopoulos, O. Bojar, et.al : Findings of the IWSLT 2021 evaluation campaign, Proc. IWSLT-2021, pp.1-29, 2021.

[3] A. Anastasopoulos, L. Barrault, et.al : Findings of the IWSLT 2022 evaluation campaign, Proc. IWSLT-2022, pp. 98-158, 2022.

[4] 上野, 李, 河原：音声認識のデータ拡張のための話者情報およびマスクを用いた合成音声の周波数スペクト ログラム強調, 2022 年日本音響学会秋季講演論文集, pp.1149-1150, 2022.

[5] W. Zhang, Z. Ye, et al : The USTC-NELSLIP offline speech translation systems for IWSLT 2022, Proc. IWSLT, pp.198-207, 2022.

[6] 後藤, 山本, 中川：音声認識誤りを考慮した英語講義音声の日本語への音声翻訳システムの検討, 言語処理学会第 23 回年次大会, pp.1054-1057, 2017.

[7] 佐橋, 秋葉, 中川：科学技術論文抄録と講義の英日機械翻訳のリスコアリングの検討，言語処理学会第 25 回年次大会, pp.1165-1168, 2019.

[8] 足立, 山本，中川：TED 講演の英日翻訳と日英翻訳の 検討，言語処理学会第 29 回年次大会, 2023.

[9] R. Fukuda, Y. Ko, Y. Kano, et al : NAIST simultaneous speech-to-text translation for IWSLT 2022, Proc. IWSLT 2022, pp.286-292, 2022.

[10] T. Nguyen, A. T. Luu, T. Lu, T. Quan : Enriching and controlling global semantics for text suumarization, arXiv:2109.10616v1, 2021.

[11] A. See, P. J. Liu, C. D. Manning: Go to the point summarization with pointer-generative networks, arXiv:1704.04368, 2017.

[12] O. Ernst, A. Caciularu, et. al : Proposition-level clustering for multi-document summarization, Proc. NACACL, pp.1765-1779, 2022.
[13] J. Carbonell, J. Goldstein : The use of MMR, diversitybased reranking for reordering documents and producing summaries. Proc. ACM SIGIR, pp. 335-336, 1998.

[14] 小林，山口，中川：表層的言語情報と韻律情報を用 いた講演音声の重要文抽出, 自然言語処理, Vol. 12, No. 6, pp. 3-24, 2005

[15] M. Kageback and D. Dubhashi, O. Mogren, N. Tahmasebi : Extractive summarization using continuous vector space models, Proc. 2nd Workshop on Continuous Vector Space Models and their Compositionality, CVSC, pp. 31-39, 2014.

[16] Yang Liu, Mirella Lapata ; Text summarization with pretrained encoders, Proc. conf. EMNLP, pp. 3730-3740, 2019.

[17] J. Devlin, M. Chang, K. Lee, K. Toutanova : BERT pretraining of deep bidirectional transformers for language understanding, arXiv:1810.04805, 2018.

[18] K. Masuda, Y. Hayakawa, K. Yamamoto, S. Nakagawa : Summarization of spoken lectures based on MMR method and important/unimportant sentence classification using BERT, Proc. GCCE, OS-SLP, 2022.

[19] D. Povey, A. Ghoshal, G. Boulianne, L. Burget, O. Glembek, N. Goel, M. Hannemann, P. Motlicek, Y. Qian, P. Cchwarz, J. Silovski, G. Stemmer and K. Veseh : The Kaldi speech recognition toolkit, Proc. ASRU, 2011.

[20] OpenSLR : TED-LIUM corpus release3, https://www.openslr.org/51/, 2022

[21] V. Panayotov, G. Chen, D. Povey and S. Khudanpur: Librispeech an ASR corpus based on public domain audio books, 2015 IEEE International Conference on Acoustics, Speech and Signal Processing(ICASSP), pp.5206-5210, 2015.

[22] I. Polosukhin, L. Kaiser : Attention is all you need, Conference on Neural Information Processing Systems, 2017

[23] G. Murray, S. Renal, and J. Carletta : Extractive summarization of meeting recordings, Proc. Interspeech, pp. 593-596, 2005.

[24] X. Liang, J. Li, S. Wu, M. Li, Z. Li : Improving unsupervised extractive summarization by jointly modeling facet and redundancy, IEEE Trans. ASLP, Vol.30, pp.15461556, 2022.

[25] GitHub : Text-Summarization,

https://github.com/fajri91/Text-Summarization-MMR, 2023.

## A 付録

表 : TED 講演音声の音声認識と翻訳の例

 \\