# 多言語事前学習モデルのための
SentencePiece トークナイザーへのサブワード追加

今村賢治隅田英一郎
国立研究開発法人 情報通信研究機構
\{kenji.imamura, eiichiro.sumita\}@nict.go.jp

## 概要

多言語事前学習モデルは、トークナイザーが確定 した上で事前学習されているため、多言語事前学習 モデルを新規言語に拡張する際は、トークナイザー も同時に修正する必要がある。本稿では、多言語事前学習モデルを新規言語（本稿ではイヌイット語） に対応させるため、SentencePiece トークナイザーに 新規サブワードを追加する。我々の実験では、既存言語のサブワード分割を変更せずに、イヌイット語 のサブワード分割が可能となり、mBART-50 事前学習モデルを英語・イヌイット語翻訳に適用すること ができた。

## 1 はじめに

近年、さまざまな事前学習モデルがリリースされ ている。その中でも、mBERT [1], XLM-RoBERTa [2], mBART [3, 4], mT5 [5] などの多言語モデルは、複数 の言語を一つのモデルで学習されているため、言語横断分類や機械翻訳に有効である。しかし、これら の事前学習モデルは、語彙が事前学習時に決定され ている。事前学習モデル自体の語彙は、追加するだ けなら、単語埋込テーブルを拡張することで可能で ある [6]。しかし、一般的には、事前学習モデルは トークナイザー（とそのモデル）を確定した上で事前学習されているため、事前学習モデルの語彙を変更する場合、同時にトークナイザーも修正する必要 がある。

たとえ新規言語であっても、トークナイザーがサ ポートしている文字を使用する言語の場合は、(た とえ最適でないとしても）既存モデルが流用可能で ある。一方、トークナイザーがサポートしていない 文字が使われている言語の場合、未知語となってし まうため、何らかの対処が必要となる。

本稿では、多言語事前学習モデルのトークナイ
ザーに焦点を当てる。具体的には、mBART-50 [7] を 新規言語に対応させるため、SentencePiece トークナ イザー $[8,9]$ に新規サブワードを追加する。タス クは、国際会議 WMT-20 [10] のニュース翻訳タス クで対象となったイヌイット語・英語翻訳である。 mBART-50 も、それに付随する SentencePiece も、モ デルにはイヌイット語を含んでいない。

われわれの目標は、新規言語に事前学習モデルを 適用するために、既存言語のトークナイズ結果を極力変えないようにしながら、新規言語に対してサブ ワード化方法を提供することである。既存言語の解析結果を変えないことによって、事前学習モデルの 効果を最大限活用できる。

## 2 SentencePiece トークナイザー

SentencePiece は入力文字列をそのままサブワード 分割できるトークナイザーである（無損失符号化と 呼ばれている)。英語のように単語区切りがスペー ス文字によって明示されている言語と、日本語、中国語のように単語間に区切り文字がない言語を混在 して扱うことができるため、多言語事前学習モデル のトークナイザーとして採用されている。

SentencePiece は、バイトペア符号化 [11] などの サブワード方式もサポートしているが、本稿では、 mBART-50 で使用され、SentencePiece のデフォルト となっているユニグラムモデルについて考える。

## 2.1 解析方式/サブワード符号化

SentencePiece では、無損失符号化を実現するた め、前処理でスペースを特殊文字（デフォルトはユ ニコードの U+2581）に置換して単語区切りがない 文字列にしたのちに、以下の方法でサブワード列に 分割する（図 1）[12]。ちなみにこの方法は、日本語 の形態素解析方法（たとえば MeCab [13]）と同じで ある。
入力文字列: SentencePiece はは分解する。

図 1 SentencePiece ユニグラムモデルによるサブワード符号化の例。'บ'はスペース文字 $(U+0020)$ を表す。ラティスの各 サブワードの上の値はユニグラム対数尤度、赤線はビタビパスを表す。

1. 入力テキストとユニグラムモデル (形態素解析 における辞書相当）のサブワードを照合し、すべ てのサブワード候補を取得、ラティス構造に配置する。

2. ラティスに対してビタビ探索を行い、最も尤度 の高いパスを探索する。最尤パス上のサブワー ド列を出力する。

## 2.2 ユニグラムモデルの学習

ユニグラムモデルの学習は、隠れマルコフモデル (HMM) の教師なし学習 [12] を応用したものである。以下の手順で行う。基本的に、初期モデルのサブ ワードを削除することで所定の語彙サイズを得る方式であるので、最終モデルの語彙は、初期モデルの 語彙のサブセットとなる。

1. 訓練コーパスから初期モデルを作成する。

(a) 接尾辞配列 (suffix array) でコーパスの部分文字列を獲得し、サブワード候補とする。

(b) 各サブワードには、訓練コーパスの相対頻度を 尤度として付与する。

2. モデルの語彙が所定の語彙サイズになるまで、以下を繰り返す。

(a) EM アルゴリズムでモデルの尤度を更新する。 (2 回ループ)

i. Eステップ: コーパスの文を現モデルで解析し、前向き後ろ向きアルゴリズムで各サブ ワードの尤度を算出。

ii. Mステップ: コーパス全体でサブワードの尤度を集計し、モデルを更新。

(b) 低尤度のサブワードをモデルから削除する（た とえば全体の 20\%)

## 3 既存モデルヘのサブワード追加

新規言語が未知の文字を使用している場合、無損失符号化では、文全体が未知語になってしまい、事前学習モデルで扱うべき語彙がわからない。対策と して、文字をトークンとして扱う方法があるが、そ の方法ではトークン列が長くなり、翻訳などの下流 タスクには不利になる。本稿ではサブワードを使う ことで、語彙を適切に制限しつつ、トークン列の長 さも長くしすぎないようにする。

今回は、既存コーパスの解析結果を変更せずに、新規言語のみ適切にサブワード列に符号化するた め、既存モデルでは未知となる「文字」を含むサブ ワードだけを追加する。SentencePiece の追加学習と 通常のユニグラムモデル学習との差異は、以下の 2 点である（詳細は付録参照）。

1.(a)訓練コーパスから初期モデルを作成する際、既存モデルには含まれない文字から始まる部分文字列のみをサブワード候補とする。

2.(a)EM アルゴリズムでモデルの尤度を更新する際、 コーパスを既存モデルと追加モデルの統合語彙 で解析する。尤度の更新は追加モデルのみに対 して行い、既存モデルは更新しない。

## 4 イヌイット語翻訳実験

本稿では、WMT-20 [10] のニュース翻訳タスク で実施された英語 (En)・イヌイット語 (Iu) 翻訳で 評価する。イヌイット語の例を表 1 に示す。イヌ イット語は、ユニコードの「統合カナダ先住民音節 (U+1400 - U+167F)」で記述されている。

一方、本稿で対象としている mBART-50 の SentencePiece モデルは、100 言語のコーパスから学習され たサブワード 25 万語から成り立っているが、これ には統合カナダ先住民音節を含んでいない。そのた め、イヌイット語をこのモデルで解析すると、ほと んどが未知語となり、サブワード化されない1)。

1） SentencePiece は、未知文字が連続すると、それらをまとめ て1トークンとして出力する仕様となっている。そのため、 イヌイット語を解析すると、結果的にスペース区切りと同じ 出力となる。
表 1 英語・イヌイット語対訳文の例

 \\

## 4.1 実験設定

コーパス WMT-20 共有タスクで使用された対訳 コーパスは、訓練セットが約 131 万文、開発セット が 5,173 文、テストセットが 2,971 文である。

トークナイザー設定 本実験では、対訳コーパス のイヌイット語側約 131 万文から、追加サブワード $\{2000$ (2K), 4000 (4K), 8000 (8K)\}を学習する。

既存のユニグラムモデルは、spm_export_vocab コマンドでテキストモデルにして使用、2.1 節、 2.2 節を Python で実装し、3 節の変更を行った。な お、入力文字列の正規化（スペース置換を含む）は spm_normalize コマンドで行った。

ベースライン 本実験では、 3 種類のベースライ ンのトークナイズ法を設定する。
- mBART-50 分割モデル: mBART-50 付属の SentencePiece モデルをそのまま用いる場合。

・イヌイット文字分解: mBART-50 分割モデルで トークナイズ後、イヌイット文字を含む単語を 文字に分解する場合。

・共有語彙 $32 \mathrm{~K}$ モデル:対訳コーパスから新規に両者の共有語彙を SentencePiece で学習する場合。語彙サイズは 3 万 2 千語とする。

翻訳器/モデル 本稿では、翻訳器として FairSeq [14] を使用する。

ベースとした事前学習モデル mBART-50 はエン コーダー・デコーダー型のモデルであり、対訳コー パスでファインチューニングすると翻訳器として利用できる。mBART-50 自体は多言語モデルであるの で、 1 回のファインチューニングで、En $\rightarrow \mathrm{Iu}$ と Iu $\rightarrow$ En の双方向モデルを学習・使用する。

mBART-50 自体の新規言語への拡張は、単語埋込を拡張する[6] の方法を使用した。具体的には、 mBART-50 でイヌイット語翻訳を実現するため、エ ンコーダーおよびデコーダーの単語埋込を以下の 2 点に関して拡張する。

・mBART-50 は、原言語と目的言語に言語タグを付加して学習・翻訳を行っているので、イヌイット語の言語タグ (iu_CA)を単語埋込に追加する。 ・トークナイザーで追加したサブワードを単語埋込に追加する。

拡張部分はランダム初期化し、ファインチューニ ング時に他のパラメータとまとめて学習する。

なお、ベースラインとして、共有語彙 $32 \mathrm{~K}$ モデル でトークナイズした対訳コーパスだけを用いて学習 した、Transformer Big の双方向モデルを用いた。

学習/テスト ハイパーパラメータの詳細は付録 に示す。

## 4.2 トークナイズ結果

表 2 は、対訳テストセットのイヌイット語をトー クナイズした結果である。テストセット 1 文あたり のトークン数と、mBART-50 モデルの語彙（単語埋込）からみた未知語率を示す。すべてのトークナイ ザーにおいて、高い未知語率を示しているが、これ は mBART-50に語彙を追加することで低くすること ができる。表 2 の「未知語をなくすための追加語彙数」は、ゼロにするために追加する語彙数である。

ニューラルモデルでは、 1 文あたりのトークン数 が少ない方が解析や翻訳精度が高い場合が多いが、最も少ないのは mBART-50 分割モデルである。これ は、SentencePiece が未知文字に遭遇し、スペース区切りでトークナイズしたためで、全トークンの $40 \%$以上が未知語となる。もし、このトークナイザーで 翻訳モデルを学習しようとすると、150万語以上を 追加しなければならず、学習は非現実的である。

共有語彙 $32 \mathrm{~K}$ モデルも、 1 文あたりのトークン数 が少ないが、この語彙は mBART-50 事前学習モデル の語彙と異なるため、事前学習モデルに適用するた めには、 3 万 2 千語のうち、約 2 万 7 千語を追加し なければならない。

イヌイット語文字分割モデルは 141 語を追加する だけで良いが、1 文あたりのトークン数が 80 にな り、入出力が長くなる。

一方、本稿の方式は、 1 文あたりのトークン数は mBART-50 分割モデルや共有語彙 $32 \mathrm{~K}$ モデルより長 くなっているが、イヌイット文字分解の半分程度に することができた。本稿の提案方式は、追加語数を 制御しながら未知語をなくすことができる。

## 4.3 翻訳実験結果

次に翻訳実験の結果を表 3 に示す。ベースライン としては、Transformer Big モデル [15] を使用した。

 &  &  \\

& イヌイット文分解 & 80.0 & $85.1 \%$ & 141 \\
& 共有語彙 $32 \mathrm{~K}$ モデル & 22.0 & $82.7 \%$ & 26,657 \\

& 語彙追加 $4 \mathrm{~K}$ & 34.6 & $65.7 \%$ & 4,001 \\
& 語彙追加 $8 \mathrm{~K}$ & 31.8 & $62.8 \%$ & 8,001 \\

表 3 英語・イヌイット語間翻訳 BLEU スコア。

ボールド数値は、各翻訳方向での BLEU 最高値を表す。(+) は Transformer Big モデル（共有語彙 $32 \mathrm{~K}$ モデル）に比ベて有意に高く、(-) は有意に低いことを表す。(†)は mBART-50 モデル（イヌイット文字分解）に比べて有意に高いことを表す。

mBART-50 モデルは、追加埋込数の単語埋込を拡張 してからファインチューニングしている。未知語率 は単語埋込拡張後のテストセット未知語率である。 BLEU [16] の評価には sacreBLEU [17] を使用した。有意差検定はブートストラップ再サンプリングを用 い、危険率 $5 \%$ とした $(p<0.05)$ 。

まず、mBART-50 モデルを適用することにより、 Transformer Big モデルに比べて、En-Iu, Iu-En どちら も、BLEU スコアを有意に向上させることができた (mBART-50 分割モデルを除く)。mBART-50にはイ ヌイット語が含まれていないにもかかわらず、事前学習は有効であった。

mBART-50 翻訳モデル内の各トークナイザーに着目すると、mBART-50 分割モデルは、未知語率が高 く、意味のある翻訳はできなかった。共有語彙 $32 \mathrm{~K}$ の場合は、Transformer Big モデルより BLEU が向上 したが、イヌイット語文字分解よりは低かった。イ ヌイット語文字分解は、ベースライントークナイ ザーの中では、最も BLEU スコアが高かった。

イヌイット語文字分解と比較すると、我々のトー クナイザーでは En-Iu の語彙追加 $2 \mathrm{~K}$ 以外では BLEU スコアに有意な差はなかった。また、サブワード数 が少ない方が BLEU スコアが高い傾向は得られた。
これは、ファインチューニングがうまくトークナイ ザーの差を吸収したためと考えている。

まとめると、サブワード数による翻訳品質に対す る明確な優位性は得られなかったが、イヌイット語 をサブワード分割することで mBART-50 が翻訳に適用でき、事前学習モデルの効果が得られることを確認した。

## 5 まとめ

本稿では、多言語事前学習モデルを新規言語に対応させるため、SentencePiece トークナイザーに新規 のサブワードを追加した。提案方法は、既存のモデ ルを変更せずに、未知の文字を含むサブワードをそ の尤度とともに追加した。

実験はイヌイット語に対して行い、新規言語のサ ブワード分割が可能になることを確認した。サブ ワード数は制御可能である。また、イヌイット語翻訳に事前学習モデル mBART-50を適用し、多言語事前学習モデルを用いることで、新規言語でも BLEU スコアが向上することを確認した。

本稿の追加サブワード学習の実装は GitHub で公開している。2)

2) https://github.com/kenji-imamura/sentpiece_mimic

## 謝辞

本件は、総務省の「ICT 重点技術の研究開発プロ ジェクト (JPMI00316)」における「多言語翻訳技術 の高度化に関する研究開発」による委託を受けて実施した研究開発による成果です。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. arXiv e-Print, 1911.02116, 2020.

[3] Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, and Luke Zettlemoyer. Multilingual denoising pre-training for neural machine translation. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 726-742, 2020.

[4] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[5] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A massively multilingual pre-trained textto-text transformer. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 483-498, Online, June 2021. Association for Computational Linguistics.

[6] Zihan Wang, Karthikeyan K, Stephen Mayhew, and Dan Roth. Extending multilingual BERT to low-resource languages. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 2649-2656, Online, November 2020. Association for Computational Linguistics.

[7] Yuqing Tang, Chau Tran, Xian Li, Peng-Jen Chen, Naman Goyal, Vishrav Chaudhary, Jiatao Gu, and Angela Fan. Multilingual translation with extensible multilingual pretraining and finetuning. arXiv e-Print, 2008.00401, 2020.

[8] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the
2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[9] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[10] Loïc Barrault, Ondřej Bojar, Fethi Bougares, Rajen Chatterjee, Marta R. Costa-jussà, Christian Federmann, Mark Fishel, Alexander Fraser, Yvette Graham, Paco Guzman, Barry Haddow, Matthias Huck, Antonio Jimeno Yepes, Philipp Koehn, André Martins, Makoto Morishita, Christof Monz, Masaaki Nagata, Toshiaki Nakazawa, and Matteo Negri, editors. Proceedings of the Fifth Conference on Machine Translation, Online, November 2020. Association for Computational Linguistics.

[11] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[12] Christopher D. Manning and Hinrich Schütze. Foundations of Statistial Natural Language Processing. The MIT Press, 1999.

[13] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[14] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[15] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. CoRR, Vol. abs/1706.03762, , 2017.

[16] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[17] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

## A サブワード追加アルゴリズム

本稿のサブワード追加モデルの学習アルゴリズム をアルゴリズム 1 に示す。このアルゴリズムは元モ デル $M_{\text {org }}$ に含まれないサブワードを集めた追加モ デル $M$ を学習する。

・行 1 では、GenerateInitModeL 関数 (line 8 - 15) で初期モデルを作成する。初期モデルには、コー パス $C$ に含まれる部分文字列がサブワード候補 として含まれる。

SentencePiece の通常のユニグラムモデルの学習では、すべての部分文字列を対象としていた が、追加学習では、既存モデルには含まれない文字から始まる部分文字列のみをサブワード候補 とする。

・行 2 - 行 6 がメインループで、追加モデル の尤度だけを EM アルゴリズムで 2 回更新 （UPDATELIKELiHOOD 関数）する。なお、解析は既存モデルと追加モデルの統合語彙で行う。そし て、所定の語彙サイズになるまで低尤度のサブ ワードを削除する。本稿では尤度の下位 $20 \%$ 。表 4 学習/テスト時の設定一覧

削除した。

B ハイパーパラメータ

表 4 は、翻訳モデル学習 (ファインチューニング)時、およびテスト時のハイパーパラメータ設定の一覧である。トークナイザーによって訓練データの総 トークン数が変わるため、warmup は約 1 エポック で統一した。

なお、Transformer big モデル学習時の設定は、 $\mathrm{LR}=0.0004$ 、warmup=約 5 エポックにした以外は、 mBART-50 モデルファインチューニング時と同じで ある。


# バイリンガルサブワード分割のための EM アルゴリズム

松井 大樹 1 二宮崇 ${ }^{2}$ 田村 晃裕 ${ }^{3}$
1 愛媛大学 2 愛媛大学大学院理工学研究科 3 同志社大学
matsui@ai.cs.ehime-u.ac.jp
ninomiya@cs.ehime-u.ac.jp
aktamura@mail.doshisha.ac.jp

## 概要

本論文ではニューラル機械翻訳のための EM アル ゴリズムを用いたバイリンガルサブワード分割法を 提案する。機械翻訳记おける一般的なサブワード分割では対訳関係を考慮せずに各言語ごとにサブワー ド分割を学習するため，機械翻訳タスクに適したサ ブワード分割になるとは限らない. 本研究は対訳 コーパスを用い，原言語文と目的言語文の対訳関係 を考慮したサブワード分割のための EMアルゴリズ ムを提案する。提案手法は対訳情報を用いるため， より機械翻訳タスクに適したサブワードが得られる と考えられる. 従来法と提案手法を用いて翻訳性能 を比較したところ，WAT ASPEC 英日・日英タスク において, Transformer NMT モデルの性能が最大で 0.6 ポイント改善した.

## 1 はじめに

ニューラル機械翻訳（Neural Machine Translation,以下 NMT） [1,2,3]では，予め指定した語彙氾基づ いて計算を行うため, 翻訳時の原言語文に低頻度語 や未知語が表れると翻訳性能が低下する。このよう な語彙の問題に対処するため, バイトペア符号化 (Byte Pair Encoding, 以下 BPE)（Sennrich et al. 2016) [4] やユニグラム言語モデル（Kudo 2018） [5] など によるサブワード分割が現在広く用いられている。 BPE によるサブワード分割は事前トークナイズを要 すのに対し，SentencePiece（Kudo 2018）[6] による ユニグラム言語モデルは生文からサブワード列に直接分割するため, 日本語や中国語といった分かち書 きされていない言語においても形態素解析器を必要 としない.

しかしながら，これらの分割法は対訳関係を考慮せず，各言語ごとにサブワード分割を学習する ため，機械翻訳タスクに適したサブワード分割に
なるとは限らない。例として，日英翻訳において， “nonextended”と“延長されなかった”という対訳対 があるとする。この場合，“nonextended” は “no next end ed" などよりも “non extend ed" のほうが優れた 分割であり，“延長されなかった”は“延長 され なかった”などよりも“延長 されな かった” のほうが優れた分割である。これは NMT が各サブ ワードの対訳関係 “non”と“されな”, “extend”と“延長”, “ed”と“かった”を対応付けて学習できるた めである。これらの問題を解決するために，対訳関係を考慮したバイリンガルサブワード分割 $[7,8]$ が 提案されている. しかし, 出口ら [7] のバイリンガ ルサブワード分割は原言語サブワード列と目的言語 サブワード列のトークン長をそろえるものであり， トークン長が近いとはいえ各トークンがアライメン 卜関係にあるとは必ずしも言えない. Hiraoka ら [8] のバイリンガルサブワード分割は NMT モデルとサ ブワード分割モデルが一体化しており，利用する場合には同時に NMT モデルの学習が必要となり, サ ブワード分割および機械翻訳モデルの学習に大きな コストを要する。

本論文では，対訳情報からサブワード列を得る新 たなサブワード分割法を提案する. 提案手法は，分 かち書きされない言語を含む翻訳性能を改善するた め, SentencePiece によるユニグラム言語モデル分割 に基づいたサブワード列を得る. バイリンガルサブ ワード分割のための確率モデルを新た淀義し, 原言語のサブワードと目的言語のサブワードが対とな る確率を EMアルゴリズムを用いて求める。具体的 に，提案手法は，ユニグラム言語モデルによって得 られる原言語文と目的言語文それぞれの分割候補の 組み合わせを求め, 各対のサブワードのアライメン 卜関係を取得し, ユニグラム言語モデルによる生起確率とアライメント確率を掛け合わせ，確率が最も 大きくなるサブワード列対を選択する。提案手法を
用いることで，原言語文と目的言語文のトークンの 対訳関係が整うことになり，言語間でトークンが 1 対 1 に対応付けされやすくなる。 そのため，従来の サブワード分割法より NMT に適した分割が得られ ることが期待される.

本手法は原言語文と目的言語文の対訳アライメン 卜関係を利用して分割するため，対訳コーパスが与 えられる訓練時には問題は起きないが，原言語文し か与えられない翻訳時にはそのままではサブワード 分割ができない. そこで提案手法では，EMアルゴ リズムによって求められたアライメント確率の周辺化を行い，ユニグラム言語モデルによる生起確率 と各原言語文サブワードの周辺確率を掛け合わせ，確率が最も大きくなるサブワード分割候補を選択 する.

WAT Asian Scientific Paper Excerpt Corpus (以下, ASPEC）[9] 英日・日英タスクにおいて，従来法 と提案手法を用いた翻訳性能を比較したところ， Transformer NMT モデルの性能が改善した.

## 2 従来法

本節では提案手法の基礎となるユニグラム言語モ デルに基づいたサブワード分割法（Kudo 2018）につ いて説明する. ユニグラム言語モデルでは，各サブ ワードが独立に生起すると仮定し，サブワード列の 生起確率 $P_{\mathrm{U}}(\boldsymbol{x})$ を次式により表す.

$
\begin{aligned}
& P_{\mathrm{U}}(\boldsymbol{x})=\prod_{i=1}^{I} P\left(x_{i}\right) \\
& \forall i \quad x_{i} \in V, \quad \sum_{x \in V} P(x)=1
\end{aligned}
$

ただし， $\boldsymbol{x}=\left(x_{1}, x_{2}, \ldots, x_{I}\right)$ はサブワード列であり， $V$ は語彙集合（サブワード辞書）である．各サブワー ドの生起確率 $P\left(x_{i}\right)$ は EM アルゴリズムによって周辺尤度 $L_{l m}$ を最大化することにより推定される.

$
\begin{aligned}
L_{l m} & =\sum_{s=1}^{|D|} \log \left(P\left(X_{S}\right)\right) \\
& =\sum_{s=1}^{|D|} \log \left(\sum_{\boldsymbol{x} \in S\left(X_{S}\right)} P_{\mathrm{U}}(\boldsymbol{x})\right)
\end{aligned}
$

ただし， $D$ は対訳コーパスであり， $X_{s}$ は $D$ の中の $s$番目の原言語文または目的言語文であり， $S\left(X_{S}\right)$ は $X_{S}$ の分割候補集合である.

生起確率が最大となるサブワード列（最尤解）は次式によって得られる。

$
\boldsymbol{x}^{*}=\underset{\boldsymbol{x} \in S(X)}{\arg \max } P_{\mathrm{U}}(\boldsymbol{x})
$

ただし， $X$ は原言語文または目的言語文である。ま た， $k$-best 分割候補も $X$ に対するユニグラム言語モ デルによって計算される確率 $P_{\mathrm{U}}(\boldsymbol{x})$ に基づいて得る ことが出来る．ただし，サブワード列の生起確率は 各サブワードの尤度の積の形で表されるため，系列長の短い（トークン数の少ない）サブワード列が高 い確率を持つ傾向がある.

SentencePiece におけるユニグラム言語モデルを用 いたサブワード分割は生文から直接学習できるた め, 日本語や中国語といった分かち書きされない言語においても単語分割器や形態素解析器を必要とせ ずに分割できるという特徴がある.

## 3 提案手法

本節では，提案手法となるバイリンガルサブワー ド分割のための EM アルゴリズムについて説明す る. まず，サブワード文対の確率モデルの定義を与 え，その後，EMアルゴリズムによるパラメータ更新式の導出，対訳コーパスのサブワード分割を行う 手法，翻訳時のサブワード分割を行う手法について 説明する．提案手法は NMT モデルや訓練法を修正 する必要はなく，従来のサブワード分割法を置き換 えるだけで適用可能である。

確率モデルは，ユニグラム言語モデルが出力する サブワード列の生起確率と原言語サブワードと目的言語サブワードのアライメント確率の積で与えられ る. ただし，各原言語サブワード列と目的言語サブ ワード列及びそれらのアライメントは明示的に与え られておらず，隠れ状態となっている。 そのため，潜在変数付き確率モデルの学習として有名な EMア ルゴリズムを用いて，アライメント確率を学習す る. 次に, 最も確率の高いサブワード列のアライメ ントを選択することで，訓練コーパスのサブワード 分割を行う。

NMT の訓練時には対訳コーパスを利用できるが，翻訳時には対訳文が存在しない。そこで，原言語側 サブワードのみを参照する周辺確率を求めること で，原言語文のサブワード分割を行う。

## 3.1 提案手法の確率モデル

原言語文 $X$ と目的言語文 $Y$ が与えられたとき，提案手法における確率モデルを次のように定義する.

$
\begin{aligned}
P(X, Y) & =\sum_{\boldsymbol{x} \in S(X)} \sum_{\boldsymbol{y} \in S(Y)} P_{\mathrm{M}}(\boldsymbol{x}, \boldsymbol{y}) \\
& \approx \sum_{k=1}^{K} \sum_{l=1}^{L} P_{\mathrm{M}}\left(\boldsymbol{x}^{(k)}, \boldsymbol{y}^{(l)}\right)
\end{aligned}
$

ただし， $X$ に対するサブワード分割候補 $S(X)$ のう ち, サブワード生起確率 $P_{\mathrm{U}}(\boldsymbol{x})$ が高い top- $K$ 個をそ れぞれ $\boldsymbol{x}^{(1)}, \ldots, \boldsymbol{x}^{(k)}, \ldots, \boldsymbol{x}^{(K)}, Y$ に対するサブワード 分割候補 $S(Y)$ のうち, サブワード生起確率 $P_{\mathrm{U}}(\boldsymbol{y})$ が高い top- $L$ 個をそれぞれ $\boldsymbol{y}^{(1)}, \ldots, \boldsymbol{y}^{(l)}, \ldots, \boldsymbol{y}^{(L)}$ とす る.また， $P_{\mathrm{M}}$ は原言語文のサブワード列 $\boldsymbol{x}$ と目的言語文のサブワード列 $\boldsymbol{y}$ に対する確率モデルであ り，次式で定義する.

$
P_{\mathrm{M}}(\boldsymbol{x}, \boldsymbol{y})=P_{\mathrm{U}}(\boldsymbol{x}) P_{\mathrm{U}}(\boldsymbol{y}) \prod_{u, v \in A(\boldsymbol{x}, \boldsymbol{y})} \alpha_{u v}
$

ただし, $A(\boldsymbol{x}, \boldsymbol{y})$ は原言語のサブワード列 $\boldsymbol{x}$ と目的言語のサブワード列 $\boldsymbol{y}$ の間のアライメントを返す関数 であり，アライメントは対応するサブワード対の集合とする. また， $\alpha_{u v}$ は原言語側サブワード $u$ と目的言語側サブワード $v$ が対応する確率である.

## 3.2 アライメント確率 $\alpha_{u v$ の算出}

ユニグラム言語モデル $P_{\mathrm{U}}$ とアライメントを返す 関数 $A$ は所与のものとして，EM アルゴリズムを用 いてアライメント確率 $\alpha_{u v}$ を求める.

$
\begin{gathered}
P_{\mathrm{M}}^{\mathrm{old}}(\boldsymbol{x}, \boldsymbol{y})=P_{\mathrm{U}}(\boldsymbol{x}) P_{\mathrm{U}}(\boldsymbol{y}) \prod_{u, v \in A(\boldsymbol{x}, \boldsymbol{y})} \alpha_{u v}^{\mathrm{old}} \\
P_{\mathrm{M}}^{\mathrm{new}}(\boldsymbol{x}, \boldsymbol{y})=P_{\mathrm{U}}(\boldsymbol{x}) P_{\mathrm{U}}(\boldsymbol{y}) \prod_{u, v \in A(\boldsymbol{x}, \boldsymbol{y})} \alpha_{u v}^{\text {new }} \\
Q=\sum_{n} \sum_{k} \sum_{l}\left(\frac{P_{\mathrm{M}}^{\mathrm{old}}\left(\boldsymbol{x}_{n}^{(k)}, \boldsymbol{y}_{n}^{(l)}\right) \log P_{\mathrm{M}}^{\mathrm{new}}\left(\boldsymbol{x}_{n}^{(k)}, \boldsymbol{y}_{n}^{(l)}\right)}{\sum_{k^{\prime}} \sum_{l^{\prime}} P_{\mathrm{M}}^{\mathrm{old}}\left(\boldsymbol{x}_{n}^{\left(k^{\prime}\right)}, \boldsymbol{y}_{n}^{\left(l^{\prime}\right)}\right)}\right)
\end{gathered}
$

$\alpha_{u v}^{\text {new }}$ に関して $\mathrm{Q}$ 関数を最大化することにより， $\alpha_{u v}^{\text {new }}$ の更新式を得る.

$
\begin{gathered}
\alpha_{u v}^{\text {new }}=\frac{\sum_{n} \sum_{k} \sum_{l} E_{n k l u v}}{\sum_{u^{\prime \prime}} \sum_{v^{\prime \prime}} \sum_{n} \sum_{k} \sum_{l} E_{n k l u^{\prime \prime} v^{\prime \prime}}} \\
E_{n k l u v}=\frac{P_{\mathrm{M}}^{\mathrm{old}}\left(\boldsymbol{x}_{n}^{(k)}, \boldsymbol{y}_{n}^{(l)}\right)}{\sum_{k^{\prime}} \sum_{l^{\prime}} P_{\mathrm{M}}^{\mathrm{old}}\left(\boldsymbol{x}_{n}^{\left(k^{\prime}\right)}, \boldsymbol{y}_{n}^{\left(l^{\prime}\right)}\right)} C_{n k l u v}
\end{gathered}
$

ただし， $C_{n k l u v}$ は， $n$ 番目の文対における原言語の サブワード列 $\boldsymbol{x}_{n}^{(k)}$ と目的言語のサブワード列 $\boldsymbol{y}_{n}^{(l)}$ に 対し，サブワード $u$ と $v$ がアライメント関係となっ ている回数である.

## 3.3 訓練データのサブワード分割

訓練データ $D$ の各文対 $X, Y$ に対して，次式に 従ってサブワード列 $\boldsymbol{x}^{(\hat{k})}, \boldsymbol{y}^{(\hat{\imath})}$ を求め, サブワード 文対として採用する。

$
\hat{k}, \hat{l}=\underset{k, l}{\arg \max } P_{\mathrm{M}}\left(\boldsymbol{x}^{(k)}, \boldsymbol{y}^{(l)}\right)
$

## 3.4 翻訳時のサブワード分割

翻訳時におけるサブワード分割では，アライメン ト確率を目的言語側サブワードで周辺化することに よって原言語側サブワードの確率を求める. テスト データの各文 $X$ に対して，次式に従ってサブワード 列 $\boldsymbol{x}^{(\hat{k})}$ を求め，サブワード文として採用する.

$
\begin{gathered}
\alpha_{u}^{\prime}=\sum_{v \in V_{\text {target }}} \alpha_{u v} \\
\hat{k}=\underset{k}{\arg \max } P_{\mathrm{M}^{\prime}}\left(\boldsymbol{x}^{(k)}\right) \\
P_{\mathrm{M}^{\prime}}(\boldsymbol{x})=P_{\mathrm{U}}(\boldsymbol{x}) \prod_{u \in \boldsymbol{x}} \alpha_{u}^{\prime}
\end{gathered}
$

ただし， $V_{\text {target }}$ は目的言語側のサブワード集合で ある.

## 4 実験

## 4.1 実験設定

提案手法と従来法 (ユニグラム言語モデル) の翻訳性能を比較した. ユニグラム言語モデ ルによるサブワード列候補集合を得るために， SentencePiece ${ }^{1)}$ 利用した. 原言語側サブワード と目的言語側サブワードのアライメントを得 るために， fast_align ${ }^{2)}[10]$ を利用した．NMT には Fairseq [11] 使用し, Transformer base (Vaswani et al. 2017）[12] モデルを利用した。翻訳性能を評価する ために，sacreBLEUを利用した。 sacreBLEU [13] の 日本語のトークナイズには ja-mecab [14] を，英語の トークナイズには $13 \mathrm{a}$ を利用した.

## 4.2 データセットとハイパーパラメータ

データセットには WAT ASPEC 英日・日英翻訳タ スク3)を用いた．NMT の訓練には訓練データのう ち，100万文対 (train-1.txt) を利用した. 開発データ

表 1 ASPEC 英-日における翻訳性能の比較（BLEU（\%)）

 &  \\

表 2 提案手法の良い例

とテストデータのデータ数はそれぞれ $1,790,1,812$文対であった. ユニグラム言語モデルの学習は，原言語側と目的言語側で独立して行い，辞書サイズは どちらも 16,000に設定した. 候補数は原言語側と目的言語側それぞれユニグラム言語モデルによるサブ ワード生起確率が高い上位 10 通り（top- $k=$ top- $l=10 ）$ とした. すべての Transformer base モデルにおいて， パラメータの最適化には adam（Kingma and Ba 2014） [15]，学習率は 1e-4，バッチサイズは 128 とし，そ の他のパラメータは Fairseq のデフォルトのままと した. 学習は 30 エポックで終了させ，各エポック のモデルのうち，開発データ上で最も性能のよかっ たものを利用してテストデータの翻訳を行った. 実験はランダムシードを変えて 2 度行い，その平均を 実験結果とした.

## 4.3 実験結果

実験結果の BLEU [16] スコアを表 1 に示す。表 1 から分かる通り，バイリンガルサブワード分割は英日，日英翻訳の両言語方向において，ユニグラム言語モデルより性能が改善されている．バイリンガル サブワード分割を用いることでユニグラム言語モ デルに対し，英日・日英翻訳においてそれぞれ 0.4， 0.6BLEU ポイントの性能改善が確認された.

## 4.4 考察

提案手法によるサブワード分割について考察す る. バイリンガルサブワード分割を用いることで良 く翻訳できた例を表 2 に示す。提案手法は従来手法 よりも原言語サブワードが出力結果に対応するよ うに分割されていることから，正確に翻訳できたと

 &  \\

表 3 提案手法の悪い例

考えられる，バイリンガルサブワード分割を用いる ことで悪くなった例を表 3 に示す. 提案手法は従来手法よりも細かく分割されており，“express”と“急行”，“way”と “路”を関連付けるよう学習している ことから，“express way”を “急行路”と不正確に翻訳したと考えられる。

## 5 まとめ

本論文では，確率モデルと EM アルゴリズムを用 いたニューラル機械翻訳のための新たなサブワード 分割法を提案した。アライメント確率を導入したバ イリンガルサブワード分割のための確率モデルの 定義を与え，そのアライメント確率を求める EM ア ルゴリズムを導出した．訓練コーパスに対するサブ ワード分割は，提案する確率モデルを用いて，最も 確率の高いサブワード列対を選択することで実現し た。翻訳時には，目的言語側のサブワード列が得ら れないため直接提案モデルを適用することはできな いが，アライメント確率を周辺化することで，原言語側だけで定義される確率モデルを与えた．実験の 結果，WAT ASPEC 英日・日英翻訳タスクにおいて， Transformer NMT モデルの性能が改善し，提案手法 の有効性を確認した。

今後の課題として，条件付き確率を導入すること でアライメントの方向性を考慮した確率モデルに拡張することや，英日以外の言語対での実験等が挙げ られる。

## 謝辞

本研究は国立研究開発法人情報通信研究機構の委託研究（課題番号：225）による助成および JSPS 科研費 JP21K12031による助成を受けたものです.

## 参考文献

[1] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequence learning with neural networks, 2014.

[2] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate, 2014.

[3] Thang Luong, Hieu Pham, and Christopher D. Manning. Effective approaches to attention-based neural machine translation. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[4] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[5] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[6] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[7] 出口祥之, 内山将夫, 田村晃裕, 二宮崇, 隅田英一郎. ニューラル機械翻訳のためのバイリンガルな サブワード分割. 自然言語処理, Vol. 28 , No. 2, pp. 632-650, 2021.

[8] Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and Naoaki Okazaki. Joint optimization of tokenization and downstream model. In Findings of the Association for Computational Linguistics: ACLIJCNLP 2021, pp. 244-255, Online, August 2021. Association for Computational Linguistics.

[9] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 2204-2208, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[10] Chris Dyer, Victor Chahuneau, and Noah A. Smith. A simple, fast, and effective reparameterization of IBM model 2.
In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 644-648, Atlanta, Georgia, June 2013. Association for Computational Linguistics.

[11] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[12] Sufeng Duan and Hai Zhao. Attention is all you need for Chinese word segmentation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 3862-3872, Online, November 2020. Association for Computational Linguistics.

[13] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[14] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the $\mathbf{2 0 0 4}$ Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[15] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization, 2014.

[16] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.


# 質問応答を用いた翻訳評価における GPT-3 の利用

鈴木淳平 1 菅原朔 2 相澤彰子 1,2
1 東京大学 2 国立情報学研究所
junppppsuzuki@gmail.com \{saku,aizawa\}@nii.ac.jp

## 概要

機械翻訳の評価は、人手で行うとコストが高いた め、機械を用いて自動で行えることが望ましい。自動評価の一つに、質問応答の技術を利用して、参照訳に対して生成した質問に、機械翻訳結果を文脈と して用いて正しく回答できるかに着目する枠組み がある。本研究では、既存研究の精度の低い質問生成のステップを、GPT-3 few-shot 学習することで 改善できることを示す。また、回答比較のステップ も、既存研究では表層的な一致度のみ考慮していた が、GPT-3を用いて柔軟な比較を行うことで、人手評価との相関だけでなく、難しいとされている数字 や日付の翻訳ミスの評価も向上することを示す。

## 1 はじめに

機械翻訳の評価は、プロの翻訳家による人手評価 が最も正確に行えるが、時間的、金銭的なコストの 観点から機械によって自動で行えることが望まし い。人手の評価でも、機械による自動評価でも、与 えられた参照訳との比較で評価するのが一般的であ る。計算コストの低さから、最も標準的に使われる 自動評価手法は、BLEU [1] に代表される、参照訳と 機械翻訳結果の表層的な一致度を測る手法である。 これらの手法は、表層的には異なるが意味的には等 しい場合を見逃してしまう。

そこで近年は、BERT [2] 等の大規模言語モデルに よる分散表現を用いることで、表層によらず意味的な一致度を捉える自動評価手法が多く提案され ている (BERTScore [3]、BLEURT [4]、COMET [5])。 これらの手法は、プロの人手評価との相関が高いこ とが示されている $[6,7,8]$ 。一方、分散表現による 評価手法は、埋め込み空間において近くに位置する ことが原因で、固有名詞や数字等の深刻な誤訳を見逃してしまうことが報告されている $[7,9]$ 。

他方、機械による翻訳が原文の情報を十分に表現 できているなら、参照訳に対する質問を生成した場

図 1 MTEQA の評価の流れ。1. 参照訳から正解と対応す る質問を生成、2. 翻訳結果を文脈として用いて質問に回答、3. 参照訳での正解と翻訳結果の回答を比較。

合に、翻訳結果を文脈として用いても正しく回答で きるはずである。この仮説に基づいて、質問応答の 技術を用いて機械翻訳を評価する MTEQA (Machine Translation Evaluation with Question Answering) [10] が 提案されている。図 1 に評価過程を示す。まず参照訳内の重要な情報について質問と正解を生成し、そ れらに機械翻訳結果を文脈として用いて QA モデル に回答させ、最後に参照訳からの正解と翻訳結果か らの回答を比較することで評価する。この手法の利点としては、評価手順で使われた質問、正解、回答 を実際に見ることで、なぜその評価値になったかを 容易に知ることができる解釈性を持つ。しかし既存研究において、ある程度の人手評価との相関は示さ れていたが、質問生成の質が低く、回答比較の部分 も表層一致しか着目できていない。

そこで本研究では、質問生成の部分を正解の抽出 を含めて GPT-3 [11] で行うことで、適切な質問の 割合が増え、人手評価との相関が向上することを 示す。さらに、回答比較の部分も GPT-3を用いて、意味を考慮して柔軟に比較する (例: “ 15 ”に対して “ifteen”を正解にする)ことで人手評価との相関だけ でなく、上で挙げた分散表現による評価手法が苦手 とする誤訳への評価性能も向上することを示す。
表 1 GPT-3 による質問と正解の生成のためのプロンプト 内の具体例。

Context: The league narrowed the bids to three sites:

New Orleans' Mercedes-Benz Superdome, Miami's Sun Life Stadium, and the San Francisco Bay Area's Levi's Stadium. Q\&A:

Answer: Levi's Stadium

Question: What is located in the San Francisco Bay Area? Answer: New Orleans

Question: Where is Mercedes-Benz Superdome located? Answer: ...

## 2 MTEQA-GPT-3

MTEQA は、図 1 が示すように、質問生成、質問応答、回答比較の三つのステップからなる。

## 2.1 質問生成 (Question Generation; QG)

最初のステップでは、与えられた比較対象の参照訳から、重要な情報について質問と正解を生成す る。既存の MTEQA [10] では、まず参照訳に対して 品詞の系列ラベリングを行い、名詞等を回答候補と して抽出し、文脈と回答候補から質問を生成するよ うに訓練された T5 モデル [12] に入力する。

本研究では、より質問と回答が一貫しておりか つ文脈から回答可能な質問の割合を増やすために GPT-3 few-shot 学習した。表 1 に few-shot プロン プト内の具体的な例を示す。回答抽出と質問生成は 分けずに 1 つの参照訳を与元、固有名詞や数字等に ついて複数の回答と質問のペアを生成するように学習させた。ここで、質問生成の質が向上しているこ とを確かめるために、WMT21(Workshop on Statistical Machine Translation)[13] の中国語から英語への翻訳 タスクからランダムに 10 個参照訳を選んで、両者で 質問生成を行った。質問と正解が一貫しており、か つ生成元の参照訳から回答可能なものの個数を数え た。結果として、適切な質問と回答の割合が、既存 の $\mathrm{T} 5$ モデルが 0.603 (47 / 78 件)、提案手法の GPT-3 が 0.974 (38 / 39 件)であった。質問生成の質が改善 されたことが分かる。以降、“MTEQA-gpt3-qg-”で 始まる手法が提案手法である。

## 2.2 質問応答 (Question Answering; QA)

次に、2.1 節で生成された質問に、機械翻訳結果を 文脈として抽出型の機械読解モデルに回答させる。 MTEQA と提案手法共に、SQuAD-v1 [14] で訓練し た $\mathrm{T} 5$ モデルを用いる。テストデータでの F1 スコア表 2 GPT-3による柔軟な回答比較のためのプロンプト内 の具体例。

Context: It certainly paid off, since he played splendidly in a different role from normal, and was able to score 15 points. Question: In what role did he score 15 points?

Correct Answer: different role

Student's Answer: different

Output: Correct. In this context, "different" is accepted.

.....

Student's Answer: role

Output: Incorrect. The answer should include "different".

Student's Answer: unusual role

Output: Correct. In this context, "unusual" is accepted.

が 90.27 であった。

## 2.3 回答比較 (Answer Comparison; AC)

最後に、2.1 節で生成された正解と 2.2 節で抜き 出された回答との比較を行う。既存研究において は、完全一致 (EM)、単語レベルの F1 スコア (F1)、 BLEU、chrF [15]の4つが採用されていた。しかし これらは表層的な一致度によることから、正確に比較できないことが多い。例えば、正解が “December 29, 2019” の場合、“Dec 29th, 2019” よりも “November 29, 2019”の方が高得点となってしまう。

そこで本研究では、回答比較の段階でもGPT-3 を利用することで、意味的な一致度を考慮した柔軟な採点を実現する。2.1 節と同様に、GPT-3を回答比較用に few-shot 学習する。表 2 は実際のプロ ンプト内の具体例を示す。参照訳と質問に対して、 “Correct Answer”として正解を、“Student's Answer” として抜き出された回答を与え、“Output”に比較結果を出力させる。例えば表の三つ目の例では、正解が “different role” に対して、この文脈において は “unusual role”も正解であることを指示してい る。今回は、出力の最初が “Correct” であれば 1 点、 “Incorrect”であれば 0 点とした。実際に用いたプロ ンプトの詳細は付録 Bを参照。

## 3 メタ評価実験

本章では、自動評価手法のメタ評価を行う。自動評価手法の良さは通常、どれだけ人手評価との相関 が高いかという観点で行われる。 3.1 節で MQM と いう人手評価について、 3.2 節で比較のための既存手法について、 3.3 節で MQM との相関に関する実験について、3.4 節で評価の難しい誤訳に関する評価の実験について、 3.5 節でエラー分析を述べる。

## 3.1 人手評価

従来の WMT の翻訳タスクでは、人手評価として DA (Direct Assessment) [16] を用いてきた。しかし、 DA ではプロの翻訳家の訳が機械翻訳より低い順位 になったり、翻訳調と呼ばれる、翻訳特有の癖が ある訳の方が好まれてしまうなどの問題が指摘さ れ [8]、WMT21 [6] や WMT22 [7] では、相関すべき スコアとして MQM (Multidimentional Quality Metrics) が使われることになった。MQM では、プロの翻訳家が、参照訳と前後の文脈を見ながら、与えられた 翻訳の誤り全てに、深刻度とカテゴリーと共にアノ テートする減点方式で行う。本研究でも 3.3 節にお いて、MQM との相関に基づいて比較を行う。

## 3.2 Baselines

提案手法との比較のためのベースラインとし $\tau$ 、BLEU、chrF、BLEURT-20、COMET-22、MTEQA を用いる。BLEURT-20 と COMET-22 は、WTM21 と WMT22でそれぞれ最も良い自動評価手法のうちの 一つであった。付録 A にそれぞれの手法の詳細を記 す。また、BERTScore [3] と BLERUT-20は、翻訳の 自動評価手法であるが、回答の比較部分にも使える ため、これらも利用する。

## 3.3 人手評価と自動評価手法の相関

自動評価手法がどれくらい MQM スコアと相関 しているか評価する。評価には、WMT22 の Metrics Shared Taskを利用し、言語対は中国語から英語で ある。テストデータとして、1875 個の中国語の原文があり、それぞれに参照訳が 2 つ用意されてお り (reference A、 reference B)、18 種類のシステムの 翻訳結果が与えられる。システムレベルの相関を測定するので、各自動評価手法がつけたスコアの平均 をシステムごとのスコアとみなし、同様に計算さ れた MQM スコアとの相関係数を求める (Pearson、 Spearman)。参照訳が二つ存在するので、一方を参照訳として用いた場合は、もう一方は追加のシステ ムとみなして相関を計算する。

表 3 に結果を示す。太字の値は、その列におい て、他の任意の手法に統計的に上回られていないこ とを示す。4列全てにおいて最も相関が高かったの は、COMET-22 と MTEQA-gpt3-qg-gpt3-ac であった。 また、MTEQA 同士を同じ回答比較方法で比べる と (MTEQA-EM と MTEQA-gpt3-qg-EM など)、全て表 3 WMT22 Metrics Shared Task の中国語から英語への 翻訳での MQM スコアとのシステムレベルの相関。P Pearson、S はSpearman を表す。太字の値は、その列の任意の値に対して有意に低くない場合を示している。

の組み合わせにおいて、相関係数の值が向上してい る。つまり、2.2 節で示した質問生成の質の向上が、自動評価手法全体の改善に繋がっている。

さらに、MTEQA-gpt3-qg-gpt3-ac は MTEQA-gpt3qg-\{EM、F1、BLEU、chrF、bertscore、bleurt \}に対 し、相関係数の值が有意に向上している。GPT-3を 用いた回答比較は、表層一致や分散表現による比較 よりも正確に回答の比較が可能なことが示された。

## 3.4 数値・日付・固有名詞に着目した評価

本節では、自動評価手法にとって正しく評価する ことが難しい誤訳の評価性能を測定する。本研究で は、WMT22 の challenge sets subtask で提案された中国語から英語でのテストデータ [17]を用いる。各 データは、原文、参照訳、ある難しい現象に対して 正しい訳、誤訳を含んだ訳からなる。表 4 に具体例 を示す。Reference 内の “GDP”に対し、正しい訳で は "gross domestic product”、誤った訳では “GPP”と 訳されていて、自動評価手法は正しい訳により高 い点を与えることが求められる。今回は、 3 種類の 現象を扱う。Number は、数字に関する誤りが 355 個、D/T は日付に関する誤りが 140 個、NE は固有名詞や専門用語に関する誤りが 110 個含まれる。 メタ評価は、以下の式で表される Kendall's tau-like correlation [6] に従う。ここで、“Concordant”は、正 しい訳の方が正しくない訳よりも高い点数がついた 個数、“Discordant” はそうでない場合の個数である。
表 4 Challenge set $の$ 具体例。

 \\

$
\tau=\frac{\text { Concordant }- \text { Discordant }}{\text { Concordant }+ \text { Discordant }}
$

結果を表 5 に示す。Overall としては、BLEURT-20 と MTEQA-gpt3-qg-gpt3-ac が最も高い相関を示した。 COMET-22 は、人手評価との全体的な相関では高い 性能を示すが、今回の Challenge set では上記の 2 手法に及ばなかった。その他の手法では全て負の相関 となり、ランダムに点数をつけた場合よりも性能が 悪いという結果になった。

カテゴリ別に見ると、BLEURT-20 は D/T と NE に強く、MTEQA-gpt3-qg-gpt3-ac は Number に強い。 COMET-22 は Number や NE の誤りに弱く、分散表現ベースの自動評価手法が数字や固有名詞の誤りを 見逃してしまうという過去の研究の観察と一致する $[7,9]$ 。数字同士は Embedding 空間で近い位置に埋 め込まれるので、分散表現ベースの手法が見逃して しまうという説明が考えられる。

また、MTEQA-gpt3-qg-gpt3-ac はその他の MTEQA と比較して大幅に性能が向上しており、GPT-3によ る柔軟な回答比較が寄与していると考えられる。本 データセットでは、表 4 の具体例のように、表層的 には不正解訳内の誤訳の方が参照訳に近い場合が 多々ある。よって、EM、F1、BLEU、chrF等の表層ベースの手法はうまくいかないが、gpt3-acでは 意味的な一致度を考慮できるので正しく判定でき ていると考えられる。さらに、分散表現ベースの BERTScore と BLEURT よりも高い相関を示した。

## 3.5 エラー分析

3.4 節の実験で、MTEQA-gpt3-qg-gpt3-ac が評価に 失敗した例について原因を分析する。各カテゴリ について 30 個ずつランダムに選び、失敗の原因を Data (誤訳が含まれていない)、QG、QA、ACに分類 する。結果を表 6 に示す。全体では、誤訳の含まれ る箇所について質問ができていない QG のミスが最多であった。またカテゴリごとでは、Number では、表 5 Challenge set における Kendall's tau-like correlation。 Numer は数字、D/T は日時、NE は固有名詞に関する誤り。

表 6 Challenge set における MTEQA-gpt3-qg-gpt3-ac-all の エラー分析。Data はテストデータ、QG は質問生成、QA は質問回答、AC は回答比較のエラー。

AC のミスが多く、“54 million”に対して“54,000,000” を Incorrect と判定するようなミスが見られた。D/T と NE では $\mathrm{QG}$ のエラーが多いので、プロンプトを 工夫して質問数を増やすことで改善したい。

## 4 おわりに

本研究では、質問応答を利用した機械翻訳の評価手法である MTEQA の質問生成部分に GPT-3 を 用いることで、より質の高い質問と正解が生成で き、MQM スコアとの相関を改善させた。また、回答比較部分でも、GPT-3を用いて柔軟な採点を行う ことで、MQM スコアとの相関で BLEURT を超え、 COMET と同等の性能を記録した。さらに、評価す るのが難しい数字や日付等の誤訳をより正確に評価 できることを示した。一方、誤訳の部分について質問できていない故にミスを見逃すケースが多くあっ たので、質問数を増やして参照訳内の情報を網羅で きるようにしたい。また、回答比較においても、現状は Correct か Incorrect の二択で判定するが、より 柔軟に部分点を与えられるように改良をしたい。

## 謝辞

本研究は Google Research Grant の支援を受けたも のです。

## 参考文献

[1] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. BERTScore: Evaluating text generation with BERT. In International Conference on Learning Representations, 2020

[4] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning robust metrics for text generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7881-7892, Online, July 2020. Association for Computational Linguistics.

[5] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. COMET: A neural framework for MT evaluation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2685-2702, Online, November 2020. Association for Computational Linguistics.

[6] Markus Freitag, Ricardo Rei, Nitika Mathur, Chi-kiu Lo, Craig Stewart, George Foster, Alon Lavie, and Ondřej Bojar. Results of the WMT21 metrics shared task: Evaluating metrics with expertbased human evaluations on TED and news domain. In Proceedings of the Sixth Conference on Machine Translation, pp. 733-774, Online, November 2021. Association for Computational Linguistics.

[7] Markus Freitag, Ricardo Rei, Nitika Mathur, Chi kiu Lo, Craig Stewart, Eleftherios Avramidis, Tom Kocmi, George Foster, Alon Lavie, and André F. T. Martins. Results of WMT22 metrics shared task: Stop using BLEU - neural metrics are better and more robust. In Proceedings of the Seventh Conference on Machine Translation. Association for Computational Linguistics, 2022.

[8] Markus Freitag, George Foster, David Grangier, Viresh Ratnakar, Qijun Tan, and Wolfgang Macherey. Experts, errors, and context: A large-scale study of human evaluation for machine translation. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 1460-1474, 2021.

[9] Katsuhito Sudoh, Kosuke Takahashi, and Satoshi Nakamura. Is this translation error critical?: Classification-based human and automatic machine translation evaluation focusing on critical errors. In Proceedings of the Workshop on Human Evaluation of NLP Systems (HumEval), pp. 46-55, Online, April 2021. Association for Computational Linguistics.

[10] Mateusz Krubiński, Erfan Ghadery, Marie-Francine Moens, and Pavel Pecina. Just ask! evaluating machine translation by asking and answering questions. In Proceedings of the Sixth Conference on Machine Translation, pp. 495-506, Online, November 2021. Association for Computational Linguistics.

[11] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah,
Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020

[12] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[13] Farhad Akhbardeh, Arkady Arkhangorodsky, Magdalena Biesialska, Ondřej Bojar, Rajen Chatterjee, Vishrav Chaudhary, Marta R. Costa-jussa, Cristina España-Bonet, Angela Fan, Christian Federmann, Markus Freitag, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Leonie Harter, Kenneth Heafield, Christopher Homan, Matthias Huck, Kwabena Amponsah-Kaakyire, Jungo Kasai, Daniel Khashabi, Kevin Knight, Tom Kocmi, Philipp Koehn, Nicholas Lourie, Christof Monz, Makoto Morishita, Masaaki Nagata, Ajay Nagesh, Toshiaki Nakazawa, Matteo Negri, Santanu Pal, Allahsera Auguste Tapo, Marco Turchi, Valentin Vydrin, and Marcos Zampieri. Findings of the 2021 conference on machine translation (WMT21). In Proceedings of the Sixth Conference on Machine Translation, pp. 1-88, Online, November 2021. Association for Computational Linguistics.

[14] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, Austin, Texas, November 2016. Association for Computational Linguistics.

[15] Maja Popović. chrF: character n-gram F-score for automatic MT evaluation. In Proceedings of the Tenth Workshop on Statistical Machine Translation, pp. 392-395, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[16] Yvette Graham, Timothy Baldwin, Alistair Moffat, and Justin Zobel. Continuous measurement scales in human evaluation of machine translation. In Proceedings of the 7th Linguistic Annotation Workshop and Interoperability with Discourse, pp. 33-41, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[17] Xiaoyu Chen, Daimeng Wei, Hengchao Shang, Zongyao Li, Zhanglin Wu, Zhengzhe Yu, Ting Zhu, Mengli Zhu, Ning Xie, Lizhi Lei, Shimin Tao, Hao Yang, and Ying Qin. Exploring robustness of machine translation metrics: A study of twenty-eight automatic metrics in the WMT22 metric task. In Proceedings of the Seventh Conference on Machine Translation, 2022.

[18] Ondřej Bojar, Yvette Graham, and Amir Kamran. Results of the WMT17 metrics shared task. In Proceedings of the Second Conference on Machine Translation, pp. 489-513, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[19] Hyung Won Chung, Thibault Fevry, Henry Tsai, Melvin Johnson, and Sebastian Ruder. Rethinking embedding coupling in pre-trained language models. In International Conference on Learning Representations, 2021

[20] Ricardo Rei, José G. C. de Souza, Duarte Alves, Chrysoula Zerva, Ana C Farinha, Taisiya Glushkova, Alon Lavie, Luisa Coheur, , and André F. T. Martins. COMET-22: Unbabel-ist 2022 submission for the metrics shared task. In Proceedings of the Seventh Conference on Machine Translation, 2022.
表 7 回答比較のプロンプトの全例 1 。

Context: Herro missed 15 games in February and March due to an ankle injury, and the season began a long hiatus after his first game back against the Hornets on March 12th.

Question: What date did Herro's first game back

after the injury take place?

Correct Answer: March 12th

Student's Answer: March 12

Output: Correct. "March 12" is accepted.

Student's Answer: 12th

Output: Incorrect. The answer should include "March".

Student's Answer: April 12th

Output: Incorrect. In this context, the answer should be not "April" but "March".

## A Baseline 手法の詳細
- BLEU [1]は、機械翻訳と参照訳の間の n-gram precision と短い翻訳に対するぺナルティで計算される。3.4 節 では、一文単位での評価のためのスムージング処理 が加わった手法である SentBLEU [18]を用いる。
- chrF [15] は、機械翻訳と参照訳の間の文字レベルの n-gram precision である。

・BLEURT-20 [4] は、RemBERT [19] を機械翻訳と参照訳を入力としてDA スコアを予測するように、過去 の WMT のデータで訓練したものである。WMT21に おいて最高性能の自動評価手法のうちの一つである。

-COMET-22 [20]は、多言語モデルを用いて原文、機械翻訳、参照訳をそれぞれ埋め込み、それらのべクト ルの組み合わせから、DA スコアを予測するように訓練したものと、MQM スコアを予測するように訓練 したもののアンサンブルモデルである。WMT22に おいて最高性能の自動評価手法のうちの一つである。
- BERTScore[3] は、参照訳と機械翻訳のそれぞれの トークンに対する埋め込み表現を BERT を用いて計算し、参照訳内の各トークンに対して機械翻訳内で 最も似ているトークンのアラインメントをとること で計算する。

## B AC のプロンプト詳細

Answer Comparison 用のプロンプトには、日付、固有名詞、数字、形容詞、副詞の比較を学習させる例がそれぞ れ 3つずつ含まれる。表 7 は日付の例、表 8 は固有名詞 の例、表 9 は数字、形容詞、副詞の実際の例を示す。これ らは、GPT-3による質問生成でよく質問の対象になってい たことから選ばれた。表 8 回答比較のプロンプトの全例 2。

Context: The data shows that, up to now, Brazil ranks second in the world in terms of the number of confirmed cases and deaths behind the United States.

Question: Which country is first in the world in terms of the number of confirmed cases and deaths?

Correct Answer: United States

Student's Answer: the United States of America

Output: Correct. The student's answers has the same

meaning as the correct answer.

Student's Answer: UK

Output: Incorrect. In this context, the answer should be "United States".

Student's Answer: U.S.

Output: Correct. In this context, "U.S." is accepted.

表 9 回答比較のプロンプトの全例 3。

Context: It certainly paid off, since he played splendidly in a different role from normal, and was able to score 15 points. Question: How many points did the player score?

Correct Answer: 15 points

Student's Answer: 15

Output: Correct. In this context, "15" is accepted.

Student's Answer: 150 points

Output: Incorrect. In this context, "150" doesn't

have the same meaning as " 15 ".

Student's Answer: fifteen

Output: Correct. In this context, "fifteen" is accepted.

Question: In what role did he score 15 points?

Correct Answer: different role

Student's Answer: different

Output: Correct. In this context, "different" is accepted.

Student's Answer: role

Output: Incorrect. The answer should include "different".

Student's Answer: unusual role

Output: Correct. In this context, "unusual" is accepted.

Question: How did he play in a different role?

Correct Answer: splendidly

Student's Answer: excellently

Output: Correct. In this context, "excellently" is accepted.

Student's Answer: different

Output: Incorrect. In this context, "different" doesn't

have the same meaning as "splendidly".

Student's Answer: magnificently

Output: Correct. In this context, "magnificently" is accepted.


# ニューラル機械翻訳における単語分割器のドメイン適応

榎本大晟 平澤寅庄 金輝燦 岡照晃 小町守
東京都立大学
\{enomoto-taisei, hirasawa-tosho, kim-hwichan\}@ed.tmu.ac.jp,
\{teruaki-oka, komachi\}@tmu.ac.jp

## 概要

fine-tuning（微調整）でin-domain にドメイン適応 をする際，一般的にモデルのみが対象であり，単語分割は general-domain で使用した単語分割器をその まま使用する. 既存研究では, タスクやモデルに適 した単語分割を行うことにより，モデルの性能が向上することが示されており，ドメインにおいても同様に general-domain $の$ 単語分割器が，in-domain にお いて最適とは限らないと考えられる。そこで本研究 では，機械翻訳タスクを対象とし，モデルと単語分割器の学習を同時に行う単語分割同時最適化を用い て, 単語分割器のドメイン適応を行うことで，翻訳精度の改善を試みる. 実験により，単語分割器のド メイン適応が in-domain データの翻訳性能の向上に 寄与することを示す.

## 1 はじめに

単語分割は自然言語処理タスクの精度に影響を与 える重要な処理である. これまでの研究から，モデ ルの性能が向上するような適切な単語分割はタスク やモデルの構造などによって異なることがわかって いる $[1,2,3,4,5]$. 近年では, タスクやモデルに応じ て単語分割を自動で最適化する手法が研究されてお り，その内の 1 つに平岡ら [6] による単語分割同時最適化手法がある. これは，タスクに用いるモデル と単語分割器を同時に End-to-End で学習する手法で ある. 平岡らは，機械翻訳タスクでの単語分割同時最適化の評価実験では in-domain データのみでモデ ルと単語分割器の学習を行い, 翻訳性能の向上を確認している ${ }^{1)}$.

一方，ドメインに特化した機械翻訳システムは高 い需要があるが，一般的に機械翻訳モデルの学習に

1）平岡らの機械翻訳タスクでの実験では，単語単位に分割し た後に単語分割同時最適化をおこなっているため，サブワー ド単位への分割を学習しているといえる. 本研究でも同様に サブワード単位への分割を学習する。 は大規模なコーパスが必要であるため，in-domain データのみを用いてモデルを作成することは困難である。この問題を解決するため，ドメイン適応では，大規模な general-domain データで事前学習 したモデルを，目的の in-domain データで微調整す る（図 1a)。ドメイン適応により，in-domain デー タが限定的であっても，高い翻訳性能のモデルを 学習できる.しかしながら一般的なドメイン適応 はタスクのモデルのみを微調整し，単語分割器は general-domain データのものを in-domain データに対 してそのまま使用する，前述の通り単語分割はモデ ルの性能に大きく関与するため, general-domain の 単語分割器が in-domain において最適とは限らない. そこで本稿では，平岡らの単語分割同時最適化を 用いて, 翻訳モデルと単語分割器の両方のドメイン 適応を行い，in-domain データにおける翻訳精度の 改善に取り組む（図 1b），提案手法はまず事前学習 の際に単語分割同時最適化を適用することで，事前学習に用いる general-domain データに適した単語分割器と翻訳モデルを獲得する。 その後, 翻訳モデル のみでなく単語分割器も in-domain データに適した ものにするために，微調整の際にも単語分割同時最適化を適用する。英日と英独の機械翻訳タスクにお ける実験を通して，単語分割器のドメイン適応が， in-domain の翻訳性能向上につながることを示す.

## 2 関連研究

## 2.1 サブワード分割

機械翻訳では，未知語の問題を解決するために，単語より小さい単位であるサブワードを扱うことが 一般的である。サブワード化を行う代表的な手法に ユニグラム言語モデル（ULM）に基づく分割 [7] が ある. ULM の語彙内のサブワード $w$ のユニグラム 確率 $p(w)$ は，EMアルゴリズムを用いて，与えられ た学習データをもとに求める. 文 $s$ を単語分割する

(a) 翻訳モデルのみ微調整を行う従来のドメイン適応.

(b) 翻訳モデルと単語分割器の同時ドメイン適応.

図 1: 機械翻訳タスクにおける翻訳モデルと単語分割器のドメイン適応.

際には，尤度（ユニグラム確率の積）が最大となる ようなサブワードの系列 $s^{\prime}=w_{1}, \ldots, w_{I}$ に変換する.平岡ら [6] はタスクの学習に用いるモデルに単語分割器を組み合わせ，End-to-End で同時に学習する 単語分割同時最適化手法を提案した. 単語分割器に は，ニューラルネットワークで構成された ULM で あるニューラルユニグラム言語モデル（NULM）を 用いている. 平岡らは，単語分割同時最適化により モデルの性能の向上を報告した. しかしながら，学習には in-domain データのみを使用しており，単語分割の学習にドメイン適応が有効であるかは明らか になっていない.

## 2.2 ドメイン適応

ニューラル機械翻訳におけるドメイン適応手法 は数多く提案されている. Freitag ら [8] は大規模 な対訳データで学習したモデルに対して小規模な in-domain データを用いて追加の学習を行う微調整 により, in-domain データでの翻訳性能の向上を報告した. Chu ら [9] は微調整時に general-domain デー タと目的の in-domain データを組み合わせたデータ を使用する混合微調整を提案した. いずれの研究で もドメイン適応によりモデルのパラメータのみを更新しており, 単語分割器のようなモデル以外の構成要素に対してドメイン適応は行っていない. 単語分割はモデルの性能に影響するため, 単語分割器のド メイン適応は in-domain データにおける性能の改善 につながると考える。

## 3 単語分割器のドメイン適応

本研究で単語分割器として用いる NULM と, 単語分割同時最適化手法を用いた単語分割器のドメイン 適応の手順を概説する. NULM の語彙 $V$ は，ULM やBPE [10] などを用いて初期化を行う. NULM で
は，語彙 $V$ 内のサブワード $w$ にいて，単語分散表現 $\boldsymbol{v}_{w}$ と多層パーセプトロン MLP(.)をもとにして ユニグラム確率 $p(w)$ を次のように計算する.

$
\begin{aligned}
d_{w} & =\operatorname{MLP}\left(\boldsymbol{v}_{w}\right) \\
p(w) & =\frac{\exp \left(d_{w}\right)}{\sum_{\hat{w} \in V} \exp \left(d_{\hat{w}}\right)}
\end{aligned}
$

NULM は後段タスクの損失に基づいてパラメータの 更新を行う.

本研究で行う単語分割器のドメイン適応とは, NULM のドメイン適応を指す. 本研究で提案する，単語分割同時最適化手法を用いた単語分割器のドメ イン適応の手順は以下の通りである。

1. general-domain データを用いてULMを学習 する.

2. general-domain データを用いて翻訳モデルと単語分割器を学習する. 単語分割器の語彙の初期化には 1 のULMを用いる。

3. in-domain データを用いて，2で得られた翻訳モ デルと単語分割器を微調整する。

図 $1 \mathrm{~b}$ は翻訳モデルと単語分割器の同時ドメイン適応の手順を図示したものである.

## 4 実験

## 4.1 実験設定

データセット 事前学習に用いる general-domain データには，英日翻訳では JParaCrawl v3.0 [11, 12],英独翻訳では ParaCrawl v9 [13] を使用した. これら はウェブをクローリングすることで作成された大規模な対訳コーパスである. それぞれ学習データと して，全対訳データから 800 万文対を抽出した. indomain データには, 英日翻訳では IWSLT2017 [14] と ASPEC [15], 英独翻訳では IWSLT2017 と EMEA [16]

を使用した. IWSLT は TED talks，ASPEC は科学技術論文, EMEA は医療機関の PDFドキュメントか ら作成された対訳コーパスである。コーパスのドメ インの違いによる単語分割器の性質や翻訳性能の 変化を確認するために，ASPEC の学習データ数は IWSLT（英日）の学習データ数と等しくなるように ダウンサンプリングを行った. 同様に, EMEA の学習データにもダウンサンプリングを行った. 先行研究 [6] に倣い，コーパスは日本語には MeCab [17] (IPA 辞書)，英語とドイツ語には Moses トークナイ ザ [18]を適用した後に，SentencePiece [19]を用いて ULM の学習を行う. 語彙サイズは 32,000 とした.

学習設定 機械翻訳モデルとして Transformer [20] （base）を使用した. 単語分割器のドメイン適応の 有効性を検証するために, 単語分割器の学習を行 わない設定と general-domain データのみで行う設定 と in-domain データのみで行う設定をべースライン として比較する. 事前学習では 20 エポックの学習 を行い，開発データセットにおいて損失值がもっと も低いモデルを使用した. 微調整では 20 エポック，事前学習なしのモデルでは 100 エポックの学習を行 い，開発データセットにおいて翻訳性能がもっとも 高いモデルを評価に使用した. 単語分割器の学習は ソース側言語とターゲット側言語で同時に行った.全ての設定でサブワード正則化 $[7,21]$ を用いて学習 を行った。評価には BLEU [22]を用いた. 報告する 全ての BLEU は 3 つのシードでの平均値である.

## 4.2 実験結果と考察

表 1 に各 in-domain データセットにおける BLEU スコアを示す. 実験結果より，すべてのデータセッ トにおいて，general-domain データでの事前学習か ら単語分割同時最適化を行い翻訳モデルのみでなく 単語分割器もドメイン適応を行うことで最高性能と なることが確認され，単語分割器のドメイン適応の 有効性が示された.

英独の IWSLT 以外のデータセットにおいて， in-domain データのみで単語分割同時最適化を行 う設定は，単語分割同時最適化を行わない設定の 翻訳性能を下回ることが確認された.このことか ら, in-domain データが小規模であるため, in-domain データのみでは単語分割器の学習が十分にできな い場合があると考えられる。これに対し，大規模な general-domain データでの事前学習から単語分割同時最適化を行うことは, 単語分割器の過学習や学習表 1: 各 in-domain データセットにおける各手法の BLEU スコア. 事前学習における “」”は翻訳モデルのドメ イン適応を行うことを意味する。単語分割最適化に おける“誩該当のデータで単語分割器の学習を 行うことを意味する。“-”は該当のデータでモデル 自体の学習を行わないことを意味する. General は general-domain データ, In は in-domain データを示す.

不足を回避することができると考えられる。そのた め, 単語分割器のドメイン適応を行った設定では, モデルや in-domain データに合った単語分割器を獲得でき，全てのデータセットにおいて安定して性能 が向上したと考えられる.

## 5 分析

## 5.1 単語分割器により翻訳が改善された例

単語分割器のドメイン適応を行うことで，単語分割がどのように変化し，結果として翻訳性能が向上 したかを分析する. 表 2 にモデルの事前学習を行う 設定における，単語分割同時最適化を行わない設定 （ULMによる単語分割）と，in-domain データのみで 行う設定と, general-domain データから行い単語分割器ごとドメイン適応を行う設定のそれぞれの単語分割と翻訳結果の例を示す。“.”は空白記号であ る. 以降では，それぞれの単語分割手法を，SP，In， Ours と記述する。“電子写真プロセス”と訳される “The electrophotographic process" という単語に着目す ると，SP とInでは “-The / _electro / pho / t / ographic / _process” と分割しているのに対し，Oursでは “-The / _electro / photo / graph / ic / _process” と分割している ことが確認される。 その結果，モデルによる該当箇所の翻訳は，SPでは未翻訳であり，Inでは “電気泳動法”という誤った訳が出力されているのに対し, Ours では “電子写真プロセス” と正しい翻訳が出力 されていることが確認される。このことから，単語分割器のドメイン適応を行うことにより, 希少単語 を妥当なサブワードに分割することが可能になり， その結果として翻訳性能が向上すると考えられる。
表 2: 単語分割器の学習を行わない設定 (SP), in-domain データのみで行う設定 (In), general-domain データから行い単語分割器のドメイン適応を行う設定（Ours）の単語分割と翻訳の結果.“...”は省略を意味する.

(a) 各手法で学習した単語分割器による単語分割.

(b) 各手法で学習した翻訳モデルによる翻訳結果. 各モデルの入力 は (a) の単語分割となる.

表 3: 英日翻訳において微調整によりユニグラム確率の増加率が大きいサブワード.

## 5.2 ドメイン適応後の単語分割器の変化

general-domain データにおいて事前学習を行った 単語分割器を in-domain データで微調整することに より，単語分割器がどのように変化するのかについ て分析を行う.

ユニグラム確率の増加率が大きいサブワード 表 3 に英日の in-domain データでの微調整後に，ユ ニグラム確率が大きく増加したサブワードを示 す2). IWSLT (英日) の日本語側では “TED” 3）のユ ニグラム確率の増加率が大きいことが確認された。 IWSLT は TED talks の字幕から作成されたコーパス であり，学習データ内では “TED”を含む文字列が約 900 回と頻出している. 同様に ASPEC の学習デー タ内には，“magnetic”のような “ic”を接尾辞とする 形容詞の単語が頻出しており, その結果, 英語側で は “ic”のユニグラム確率の増加率が増大した. これ らのことから, 単語分割器を in-domain データで微調整することにより，in-domain データにおいて重要な役割を持つサブワードのユニグラム確率を増大 させていることがわかった.

単語分割が変わった文の割合 表 4 に in-domain データの学習データにおいて，事前学習後の単語分割器と微調整後の単語分割器で単語分割が異なる 文の割合を示す. 英日では異なる単語分割となる文

2）英独については付録 $\mathrm{A}$ に掲載する.

3）ここで“-TED”ではなく“TED”である理由は，“-TED” が語彙に登録されていないためである.これは，語彙が JParaCrawl をもとに作成されており，JParaCrawl では “TED” が冒頭となる単語が少なく，“TED”が語中や末尾となる単語 が多いためである.表 4: in-domain データにおいて微調整により単語分割が変 わった文の割合 $(\%)$.

数は，IWSLT と比較して ASPEC の方が多いことが 確認された。これは IWSLT と比較して ASPEC の方 が JParaCrawl から離れたドメインデータである（付録 B）ため，微調整によって単語分割器がより変化 したのだと考えられる。同様に，英独では EMEA は IWSLT よりも異なる単語分割となる文数が多いこと が確認された. この結果は, in-domain データとし て使用するコーパスのドメインが特徴的であるほど (general-domain から遠いほど)，微調整により単語分割器が大きく変化することを示している.

また，微調整により単語分割が変わった文の割合 がもっとも高い EMEAであっても $6.68 \%$ と低い割合 であり，単語分割器を極端に大きく変化させていな いことがわかる.このことから, in-domain データ で単語分割器を微調整する際，最小限の調整で翻訳性能を向上させていると考えられる。

## 6 おわりに

本研究では，ドメイン適応を用いる機械翻訳への 単語分割同時最適化の拡張を提案した. 提案手法で は単語分割器を大規模な general-domain データで事前学習した後に，小規模な in-domain データで微調整する．実験結果より，提案手法が in-domain デー タの翻訳性能向上に寄与することが確認され，より 妥当な単語分割を行うことが可能であることが示唆 された。

今後は BERT の事前学習である MLM を行う際に 単語分割同時最適化を行い, 得られる単語分割器と 事前学習済み BERT をさまざまなタスクで微調整し た場合に，タスクの性能が向上するかを検証する。

## 参考文献

[1] Jia Xu, Jianfeng Gao, Kristina Toutanova, and Hermann Ney. Bayesian semi-supervised Chinese word segmentation for statistical machine translation. In Proceedings of the 22nd International Conference on Computational Linguistics (Coling 2008), pp. 1017-1024, Manchester, UK, August 2008. Coling 2008 Organizing Committee.

[2] Pi-Chuan Chang, Michel Galley, and Christopher D Manning. Optimizing chinese word segmentation for machine translation performance. In Proceedings of the third workshop on statistical machine translation, pp. 224-232, 2008.

[3] ThuyLinh Nguyen, Stephan Vogel, and Noah A. Smith. Nonparametric word segmentation for machine translation. In Proceedings of the 23rd International Conference on Computational Linguistics (Coling 2010), pp. 815-823, Beijing, China, August 2010. Coling 2010 Organizing Committee.

[4] Miguel Domingo, Mercedes Garcıa-Martınez, Alexandre Helle, Francisco Casacuberta, and Manuel Herranz. How much does tokenization affect neural machine translation?, 2018. arXiv:1812.08621.

[5] Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and Naoaki Okazaki. Optimizing word segmentation for downstream task. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 1341-1351, Online, November 2020. Association for Computational Linguistics.

[6] Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and Naoaki Okazaki. Joint optimization of tokenization and downstream model. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 244-255, Online, August 2021. Association for Computational Linguistics.

[7] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[8] Markus Freitag and Yaser Al-Onaizan. Fast domain adaptation for neural machine translation, 2016. arXiv:1612.06897.

[9] Chenhui Chu, Raj Dabre, and Sadao Kurohashi. An empirical comparison of domain adaptation methods for neural machine translation. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 385-391, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[10] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 17151725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[11] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 3603-3609, Marseille, France, May 2020. European Language Resources Association.

[12] Makoto Morishita, Katsuki Chousa, Jun Suzuki, and Masaaki Nagata. JParaCrawl v3.0: A large-scale English-Japanese parallel corpus. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 6704-6710, Marseille, France, June 2022. European Language Resources Association.

[13] Miquel Esplà, Mikel Forcada, Gema Ramírez-Sánchez, and Hieu Hoang. ParaCrawl: Web-scale parallel corpora for the languages of the EU. In Proceedings of Machine Translation Summit XVII: Translator, Project and User Tracks, pp. 118-119, Dublin, Ireland, August 2019. European Association for Machine Translation.
[14] Mauro Cettolo, Marcello Federico, Luisa Bentivogli, Jan Niehues, Sebastian Stüker, Katsuitho Sudoh, Koichiro Yoshino, and Christian Federmann. Overview of the IWSLT 2017 evaluation campaign. In Proceedings of the 14th International Workshop on Spoken Language Translation, pp. 2-14, 2017

[15] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 2204-2208, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[16] Jörg Tiedemann. Parallel data, tools and interfaces in OPUS. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Mehmet Ugur Dogan, Bente Maegaard, Joseph Mariani, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Eight International Conference on Language Resources and Evaluation (LREC'12), Istanbul, Turkey, may 2012. European Language Resources Association (ELRA).

[17] Taku Kudo. MeCab: Yet another part-of-speech and morphological analyzer, 2006. http://taku910. github.io/mecab/.

[18] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris CallisonBurch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[19] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[20] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[21] Ivan Provilkov, Dmitrii Emelianenko, and Elena Voita. BPEdropout: Simple and effective subword regularization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1882-1892, Online, July 2020. Association for Computational Linguistics.

[22] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics

[23] Roee Aharoni and Yoav Goldberg. Unsupervised domain clusters in pretrained language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7747-7763, Online, July 2020. Association for Computational Linguistics.

## 付録

## A 英独においてユニグラム確率の 増加率が大きいサブワード

表 5 に英独の in-domain データでの微調整後に， ユニグラム確率が大きく増加したサブワードを示 す. EMEA のドイツ語側では “kin” のユニグラム確率の増加率が大きいことが確認された. EMEA の 学習データ内では “pharmakokinetik” という医学分野特有の単語が約 1,500 回と頻出しており, この単語 は “pharmako / kin / etik” と分割されることが意味的 に妥当であると考えられる. また, “Interleukin” や “Hodgkin”のように“kin”で終わる医学系の単語も頻出している. これらのことから, EMEA のドイツ語側では “kin”が重要な役割を持つサブワードである と考えられる. 英語側では “ $\mathrm{g}$ ” のユニグラム確率の 増加率が大きいことが確認された. EMEA は医療ド メインであり, 薬品などの質量について記述した 文が多くある．そのため，質量の単位である “g”, “mg", “ng”などがコーパス内では頻出している.

これらのことから英日と同様に，英独において も in-domain データにおいて重要な役割を持つサブ ワードのユニグラム確率を増大させていることがわ かった.

表 5: 英独翻訳において微調整によりユニグラム確率の増加率が大きいサブワード.

## B コーパスのドメインの離れ具合

使用したコーパスのドメインの離れ具合につい て報告する. Aharoni ら [23] に倣い, 各コーパスの ソース側の文に対して，事前学習済み BERT の隠れ 層のベクトルを取得し, PCAを用いて 2 次元可視化 を行う. 図 2, 3 に各言語対に使用したコーパスの 2 次元可視化の結果を示す. 図 2 から IWSLT のデー タの多くが JParaCrawl のデータに重なっているのに 対し，ASPEC のデータの多くは JParaCrawl のデー タに重なっていないことが確認された。このこと から, IWSLT と比較して ASPEC の方が JParaCrawl から離れたドメインデータであると考えられる。同様に図 3 から, IWSLT と比較して EMEA の方が
ParaCrawl から離れたドメインデータであると考え られる。

図 2: PCAを用いた英日データセットの BERT 隠れ層の 2 次元可視化.

図 3: PCA を用いた英独データセットの BERT 隠れ層の 2 次元可視化.


# 音声機械翻訳の時間効率と精度を改善するための連続音声分割

福田りょう 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{fukuda.ryo.fo3, sudoh, s-nakamura\}@is.naist.jp

## 概要

連続発話音声の機械翻訳には、翻訳処理単位（セ グメント）への音声の事前分割が必要である。既存 の音声分割手法は、文より多くの情報を持つような 長いセグメントを生成する傾向があり、音声機械翻訳（Speech Translation; ST）の時間効率や精度を低下 させていた。本研究では、(1) 長さに関するヒュー リスティクスに頼らない分割アルゴリズムの提案、及び（2）転移学習による音声フレーム分類器の精度改善により上記の問題に取り組んだ。TED talks の音声翻訳コーパスを用いた実験により、提案手法 が生成する平均長が短いセグメントは、音声機械翻訳の時間効率と精度を改善することを示した。

## 1 はじめに

ST は機械翻訳（Machine Translation; MT）の一種 であり、その実用化には連続音声の自動分割が欠か せない。現在の MT は適切に翻訳できる入力長に上限があるため、長い入力は事前に分割する必要があ る。テキストを入力とする通常の MT では、句点や 終止符を境界とした文単位への分割が一般的であ る。一方で、ST の入力である連続発話音声には明示的な境界記号が存在せず、セグメントの境界は自明ではない。ST モデルの学習及び評価時には、音声翻訳コーパスが含むセグメント境界を利用できる が、実用の場面では自動的な音声分割処理が必要に なる。

音声区間検出（Voice Activity Detection; VAD）を 用いた無音区間に基づく分割 [1] は、一般的な音声分割手法として音声認識やST に広く用いられてき た。しかし、発話に含まれる無音は必ずしも意味的 なまとまりの境界とは一致しないため、VAD はし ばしば翻訳に適さないセグメントを生じさせる。近年の研究では、VADによる音声の過剰分割がST の 精度を著しく低下させることが指摘されている [2]。 この問題を緩和するために、Gaido ら [3] と Inaguma
ら [4] は、ST モデルが処理しやすい長さまで VAD によるセグメントを連結して翻訳するヒューリス ティクスを用いた。しかし、無音に基づく不適切な 分割は依然として存在した。

近年では、音声翻訳コーパスのセグメント境界を 予測する、コーパスに基づく音声分割手法 $[5,6,7,8]$ が提案されている。これらの手法は無音に基づく従来手法を大幅に上回り、中でも事前学習済みの自己教師あり音声モデル wav2vec 2.0 を用いた SHAS [7] は、人手で分割されたセグメントの翻訳精度を $95 \%$以上維持することが報告されている。

しかし、SHAS は 2、3文繋がったような長いセグ メントを生成する傾向があり、より文に近い短いセ グメントまで分割することで精度を改善できる可能性がある。また平均セグメント長が長いほど、並列処理できるサンプル数が減少し、かつトークンあた りの時間計算量が増加するため ST の時間効率が低下する。

そこで本研究では、翻訳に必要な情報を過不足な く持つセグメントを生成する音声分割を実現するた めに、SHAS に対して以下の工夫を取り入れた。

1. 長さに関するヒューリスティクスに頼らない分割アルゴリズムの提案

2. 転移学習による音声フレーム分類器の精度改善 TED talks の音声翻訳コーパス MuST-C を用いた実験 により、提案手法が人手分割の約 $97 \%$ の翻訳精度を 維持しつつ、ST の推論速度を約 $25 \%$ 高速化できる ことを示した。

## 2 従来手法 SHAS

SHAS（Supervised Hybrid Audio Segmentation） [7] は音声翻訳コーパスで学習された音声フレー 么分類器 (2.1 節) と確率的分割統治（probabilistic Divide-and-Conquer; pDAC）アルゴリズム（2.2節）を 用いた最新の音声分割手法である。本節では SHAS の概要と課題について説明する。

図 1 SHAS の音声フレーム分類器。 $y=1$ は対応するフ レームが音声翻訳コーパスのセグメントに含まれること を、 $y=0$ はセグメント境界の一部であることを示す。

## 2.1 音声フレーム分類器

SHAS では、入力音声の各フレームがセグメント に含まれるか、あるいはセグメント境界の一部で あるかを予測する音声フレーム分類器を用いる。 その構造は図 1 のような、事前学習済みの自己教師あり音声モデル wav2vec 2.0 のエンコーダに 1 層 の Transformer Encoder 層を繋げたニューラルネット ワークモデルである。モデルは、音声翻訳コーパス が含む高品質な分割（Gold segmentation）を予測す る、フレーム単位の系列ラベリング問題としてセグ メント境界の予測を学習する。学習サンプルとし て、ランダムな位置で抽出した 20 秒の音声と、それ に対応づく $20 \mathrm{~ms}$ フレーム毎のラベル $y \in\{0,1\}$ の系列が用いられる。この時、 $y=1$ は対応するフレー ムが音声翻訳コーパスのセグメントに含まれること を、 $y=0$ はセグメント境界の一部であることを示 す。学習時に wav2vec 2.0 のパラメータは固定とし、最終層の Transformer Encoder 層と出力層のパラメー タのみを更新する。

## 2.2 pDAC アルゴリズム

音声フレーム分類器が予測した、各フレームがセ グメントに含まれる確率 $p \in[0,1]$ に基づき音声分割が行われる。pDAC は、音声を最も確率が低いフ レームの位置で分割し、生成されたセグメントに対 しても同様の分割を適用する再帰的なアルゴリズム である。セグメントの分割は、長さが事前に設定し た値を下回るか、分割の確率が間値を上回るまで行 われる。pDAC の利点は、事前に設定した値を下回 るとただちに分割を終了することで、ST モデルが 扱いやすい長さのセグメントへ音声を分割できるこ とである。

## 3 提案手法

SHAS は、pDAC アルゴリズムで長さに関する ヒューリスティクスを用いることで、安定して高い 翻訳精度を達成した。一方で、SHAS が生成するセ グメントは音声翻訳コーパスのセグメントと比べ て長くなりやすい。音声翻訳コーパスのセグメン ト（Gold）の平均長が 5.79 秒であるのに対し、実験で pDAC は平均長 9.17 秒のセグメントを生成し た (5 節)。付録 A. 4 にはセグメント長の分布を示す。以上から SHAS のセグメントは、精度を低下させ ずに更に細かく分割できる余地があると考えられ る。過分な情報は翻訳結果に悪影響を及ぼす可能性があり、更にセグメント長が長いほど ST の時間効率が低下する。本研究では、上記の問題を改善 するため、長さに関するヒューリスティクスに頼 らない分割アルゴリズム pTHR (3.1 節)を提案する。 また音声フレーム分類器の精度を向上するために wav2vec 2.0 のパラメータを一部更新する転移学習を 行う (3.2 節)。

## 3.1 pTHR アルゴリズム

pTHR は、事前に設定した確率の閾値 $t h r$ を下回 る地点で分割する単純なアルゴリズムである。ただ しセグメントが事前に設定した最小長 $\min$ より大き く、最大長 max 以下になることを保証する。また、隣り合う $n_{m a}$ フレームの確率の移動平均を取るこ とで予測の安定化を図っている。アルゴリズムの疑似コードを付録 A. 1 に示す。分割時にセグメントの 長さを重視していた pDAC に比べ、pTHR は音声フ レーム分類器の予測が結果に強く反映される。その ため過分な情報を持つセグメントが生成されにくい 利点がある。また分割前に音声全体を読み込む必要 がある pDAC に対し、pTHR は予測に音声全体を必要としない前向きアルゴリズムであるためオンライ ン STへも適用できる。

## 3.2 wav2vec 2.0 の転移学習

pTHR は結果が音声フレーム分類器の精度に左右されやすく、モデルの精度の改善による ST の 向上が期待できる。SHAS では、wav2vec 2.0 のパ ラメータを固定して音声フレーム分類器を学習 した。本研究では、wav2vec 2.0 の高い表現力を更 に活用するために、一部パラメータの更新を行な う SHAS+FTPT を提案する（図 2)。具体的には、

図 2 wav2 $2 \mathrm{vec} 2.0$ の部分的な転移学習を行う SHAS+FTPT

wav2vec 2.0 から引き継いだエンコーダ $N_{\text {AllLayers }}$ 層 の中で上 $N_{\text {FTLayers }}$ 層のパラメータを学習する。ま たメモリ効率を高めるため、Feed Forward 層のパラ メータは常に固定として Parallel Adapter [9]を追加・学習した [10]。

## 4 実験設定

提案手法の有効性を検証するために音声翻訳の実験を行い、複数の音声分割手法を比較した。

## 4.1 データ

音声翻訳コーパス MuST-C に含まれる、約 408 時間の英語の講演音声と、それに対応付いた書き起こ しテキスト、及びドイツ語の翻訳テキストを用いて 英独音声翻訳の実験を行った。評価のために、学習 データを用いて作成した音声フレーム分類器 (4.3.1 節) と分割アルゴリズム（4.3.2 節）で評価データの 音声をセグメント化した。セグメント化された音声 をST モデルで翻訳した後、編集距離に基づくテキ スト整列アルゴリズムで評価データの参照訳と対応付けを行った後、BLEUを測定した [11]。

## 4.2 ST モデル

ST モデルとして、Fairseq で公開されているJoint Speech-to-Text [12] モデルを用いた1)。このモデルは MuST-C で学習された Transformer に基づく EncoderDecoder 型のニューラルネットワークであり、音声 とテキストの両方を大力として受け取ることができ る。翻訳時、Decoder はビーム幅 5 でビーム探索を 行った。

1) https://github.com/pytorch/fairseq/blob/main/ examples/speech_text_joint_to_text/docs/ende-mustc.md表 1 BLEUによる分割手法の比較。括弧内の数字は Gold segmentationとの比率を示す。

## 4.3 音声分割手法

## 4.3.1 音声フレーム分類器

音声フレーム分類器の学習には、学習データから ランダムな位置で抽出した 20 秒の音声とそれに対応づくラベル列を用いた。従来手法 SHAS の分類器 として、wav2vec 2.0 XLS-R ${ }^{2}$ のエンコーダを下 16 層 のみ用いる middle モデルと、 24 層全て用いる large モデルを作成した。また提案手法の分類器として以下に列挙する 6 つの SHAS+FTPT（3.2 節）を作成し た。括弧の中に $N_{\text {FTLayers }} / N_{\text {AllLayers }}$ の形式でモデ ルの設定を示している。
- middle+quarter (4/16)
- middle+half (8/16)
- middle+all (16/16)
- large+quarter (6/24)
- large+half (12/24)
- large+all (24/24)

## 4.3.2 分割アルゴリズム

ベースラインアルゴリズムとして、pDAC (2.2 節) に加え、前向きアルゴリズム pSTRM [13] を用い た。ハイパラーパラメータは $t h r=0.5 、 \min =0.2$ とし、 $\max =[10,28]$ の範囲を開発データを用いて 探索した中で、最良の設定で評価を行なった。提案手法である pTHR (3.1 節) のハイパーパラメー 夕は $\max =28 、 \min =0.2$ とし、 $t h r=[0.1,0.9]$ と $n \_m a=[0,1]$ の範囲を開発データを用いて探索し た。このうち、移動平均を用いない $n \_m a=0$ の中で 最良の設定で評価した結果を pTHR、移動平均を用 いる $n \_m a>0$ の中で最良の設定で評価した結果を pTHR+MA として報告する。

## 5 実験結果

表 1 にSHAS と提案手法で生成したセグメントの 翻訳精度を示す。ここでは SHAS は Tsiamas ら [7]

2) https://huggingface.co/facebook/wav2vec2-xls-r-300m

図 34 つの middle サイズモデルにおける分割アルゴリズ ムの比較。横軸はモデルの学習可能なパラメータの割合 を、縦軸は翻訳精度を示す。

から引用した値を、提案手法は複数の音声フレーム 分割器、分割アルゴリズム、及びハイパーパラメー タで実施した中で最も高い翻訳精度を得た条件によ る結果を示している。より詳細な結果を付録 A. 2 に 示す。表 1 において、提案手法はSHAS の BLEU ス コアを $0.63 \mathrm{pt}$ 上回り、また音声翻訳コーパスの高品質なセグメント（Gold）の翻訳精度を $97.4 \%$ 維持 した。

## 5.1 分類器とアルゴリズムの組み合わせ

図 3 は 4 つの middle サイズモデル (middle、 +quarter、thalf、+all）における各分割アルゴリズ ムの比較である（large モデルの結果は付録 A. 3 に 示す)。図の横軸はモデルのパラメータの中で学習可能なものの割合を、縦軸は翻訳精度を示してい る。 wav2vec 2.0 のパラメータを固定して学習した middle では、pTHR の結果が他の分割アルゴリズム と比べて大幅に低い。この結果は分類器の予測精度 が不十分であることを示唆しており、そのような場合では、長さに関するヒューリスティクスを重視し た従来の分割アルゴリズムが優位性を持っていた。一方で、モデルの学習パラメータ数の増加につれ、 pTHR の結果は従来の分割アルゴリズム pDAC 及び pSTRM より大きく向上した。分類器の性能が高い ほど、セグメントの長さを重視する必要性が低下す ることが分かる。

また移動平均を用いた pTHR+MA が一貫して最 も良い翻訳精度を得た。特に、middleでは pTHR を $2 \mathrm{pt}$ 以上上回っており、移動平均による安定化がモ デルの予測精度の低さを補う効果を示した。

図 4 分割アルゴリズムによる ST の時間効率と翻訳精度 のトレードオフ。横軸は 5 回行った ST の推論の平均害行時間を、縦軸は翻訳精度を示す。

## 5.2 ST の時間効率

図 4 は各分割アルゴリズムの時間効率と翻訳精度のトレードオフの比較である。ミニバッチあ たりのトークン数を 100,000 に設定し、同一のマ シンでRTX 3090 を用いて ST の推論を行なった。 また複数の点を打つために、各アルゴリズムを 異なる条件で複数回実行した。pDAC とpSTRM で は $\max =[2,28]$ の範囲で、pTHR と pTHR+MA では threshold $=[0.1,0.9]$ の範囲で条件を設定した。

提案アルゴリズム（pTHR、pTHR+MA）はベース ラインアルゴリズム (pDAC、pSTRM) より優れた時間効率で、高い翻訳精度を達成した。特に pTHR が 生成するセグメントは、人手分割の約 $97 \%$ の翻訳精度を維持しつつ、pDAC のセグメントと比べて約 $25 \%$ 高速に処理された。平均セグメント長が pDAC は9.17秒であるのに対して pTHR は5.67秒と短いこ とが高速化に繋がったと考えられる。付録 A. 4 に、 セグメント手法毎のセグメント長の分布を示す。

## 6 おわりに

本研究では、最新の連続音声分割手法 SHAS の問題点を示した上で、（1）長さに関するヒューリス ティクスに頼らない分割アルゴリズムの提案、及び （2）既存手法で用いられた音声フレーム分類器の精度改善によりこの問題に取り組んだ。TED talks の 音声翻訳コーパスを用いた実験により、提案手法が 生成する平均長が短いセグメントは、音声機械翻訳 の時間効率と精度を改善することを示した。

今後は提案手法を即時性の要求が高い同時音声機械翻訳に適用し、有効性の検証を行う。

## 謝辞

本研究の一部は JSPS 科研費 JP21H05054 と JP21H03500、及び JST SPRING JPMJSP2140 の助成 を受けたものである。

## 参考文献

[1] Jongseo Sohn, Nam Soo Kim, and Wonyong Sung. A statistical model-based voice activity detection. IEEE signal processing letters, Vol. 6, No. 1, pp. 1-3, 1999.

[2] David Wan, Chris Kedzie, Faisal Ladhak, Elsbeth Turcan, Petra Galuščáková, Elena Zotkina, Zheng Ping Jiang, Peter Bell, and Kathleen McKeown. Segmenting subtitles for correcting asr segmentation errors. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 2842-2854, 2021.

[3] Marco Gaido, Matteo Negri, Mauro Cettolo, and Marco Turchi. Beyond voice activity detection: Hybrid audio segmentation for direct speech translation. CoRR, Vol. abs/2104.11710, , 2021.

[4] Hirofumi Inaguma, Brian Yan, Siddharth Dalmia, Pengcheng Guo, Jiatong Shi, Kevin Duh, and Shinji Watanabe. ESPnet-ST IWSLT 2021 offline speech translation system. In Proceedings of the 18th International Conference on Spoken Language Translation (IWSLT 2021), pp. 100-109, Bangkok, Thailand (online), August 2021. Association for Computational Linguistics.

[5] Xiaolin Wang, Masao Utiyama, and Eiichiro Sumita. Online sentence segmentation for simultaneous interpretation using multi-shifted recurrent neural network. In Proceedings of Machine Translation Summit XVII Volume 1: Research Track, pp. 1-11, 2019.

[6] Javier Iranzo-Sánchez, Adrià Giménez Pastor, Joan Albert Silvestre-Cerdà, Pau Baquero-Arnal, Jorge Civera Saiz, and Alfons Juan. Direct segmentation models for streaming speech translation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2599-2611, Online, November 2020. Association for Computational Linguistics.

[7] Ioannis Tsiamas, Gerard I. Gállego, José A. R. Fonollosa, and Marta R. Costa-jussà. SHAS: Approaching optimal Segmentation for End-to-End Speech Translation. In Proc. Interspeech 2022, pp. 106-110, 2022.

[8] Ryo Fukuda, Katsuhito Sudoh, and Satoshi Nakamura. Speech Segmentation Optimization using Segmented Bilingual Speech Corpus for End-to-end Speech Translation. In Proc. Interspeech 2022, pp. 121-125, 2022.

[9] Junxian He, Chunting Zhou, Xuezhe Ma, Taylor BergKirkpatrick, and Graham Neubig. Towards a unified view of parameter-efficient transfer learning. In International Conference on Learning Representations, 2021.

[10] Ioannis Tsiamas, Gerard I. Gállego, Carlos Escolano, José Fonollosa, and Marta R. Costa-jussà. Pretrained speech encoders and efficient fine-tuning methods for speech translation: UPC at IWSLT 2022. In Proceedings of the 19th International Conference on Spoken Language
Translation (IWSLT 2022), pp. 265-276, Dublin, Ireland (in-person and online), May 2022. Association for Computational Linguistics.

[11] Evgeny Matusov, Gregor Leusch, Oliver Bender, and Hermann Ney. Evaluating machine translation output with automatic sentence segmentation. In Proceedings of the Second International Workshop on Spoken Language Translation, 2005.

[12] Yun Tang, Juan Pino, Xian Li, Changhan Wang, and Dmitriy Genzel. Improving speech translation by understanding and learning from the auxiliary text translation task. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 4252-4261, Online, August 2021. Association for Computational Linguistics.

[13] Marco Gaido, Matteo Negri, Mauro Cettolo, and Marco Turchi. Beyond voice activity detection: Hybrid audio segmentation for direct speech translation. In Proceedings of the Fourth International Conference on Natural Language and Speech Processing (ICNLSP 2021), pp. 55-62, Trento, Italy, 12-13 November 2021. Association for Computational Linguistics.

## A 付録

## A. 1 pTHR アルゴリズムの疑似コード

## A. 2 全ての音声フレーム分類器の結果

表 2 音声フレーム分類器 SHAS、SHAS+FTPT と、分割 アルゴリズム pDAC、pSTRM、及び pTHR+MA を用いて 生成したセグメントの翻訳精度。

## A. 3 large サイズモデルのパラメータBLEU 曲線

図 54 つの large サイズモデルにおける分割アルゴリズ ムの比較。横軸はモデルの学習可能なパラメータの割合 を、縦軸は翻訳精度を示す。

## A. 4 セグメント長の分布

(a) Gold セグメント

(b) pDAC セグメント

(c) pTHR セグメント

図 6 セグメント手法毎のセグメント長の分布。(b)(c)で は音声フレーム分類器として large+allを用いた。


# 非流暢性タグを用いた目的言語テキストによる 自由発話の音声翻訳

胡尤佳 須藤克仁 中村哲
奈良先端科学技術大学院大学
$\{$ ko.yuka.kp2, sudoh, s-nakamura\}@is. naist.jp

## 概要

自由発話はフィラーや言い淀みなどの非流暢性を 含むことがあるため，発話を目的言語のテキストや 音声に翻訳する音声翻訳でもそれらの現象への対応が重要である．特に，非流暢性を含む音声から流暢なテキストへの翻訳は，翻訳時に非流暢性を除去 する必要があり，非流暢性を含むテキストへの翻訳 よりも難しい. 本研究では，非流暢性タグを含む目的言語テキストで学習したモデルを用い，流暢なテ キストへの翻訳を学習する手法を提案する. 本研究 で用いるタグは，多様な非流暢性を一つのタグで表 し，非流暢性事象の位置情報を含む。実験から，提案手法による非流暢性を含む音声から流暢なテキス トへの翻訳性能向上の効果が示された.

## 1 はじめに

人間の自然発話においてはフィラーや言い淀み といった非流暢性がしばしば含まれ，それらの現象 を取り扱うことのできる音声認識 (ASR), 音声翻訳 (ST) が実用上求められている. 通常，発話に非流暢性が含まれていると，ASR の出力テキストも非流暢性を含み，機械翻訳 (MT) での翻訳が難しい．その 結果，ASR とMTを繋ぎ合わせたパイプライン型音声翻訳での最終的な性能低下につながる. それを防 ぐため, 非流暢性検出器により ASR の出力から検出された非流暢性を取り除いてから MT に入力する 手法が主流である [1]. 近年の音声翻訳では，非流暢性を含む音声と非流暢性を含む目的言語テキス ト [2]，もしくは流暢な目的言語テキスト [3] により 構成される音声翻訳データにより, 明示的な非流暢性検出器を用いずに End-to-End 音声翻訳モデルを学習する手法が主流になりつつある [3].

本研究では，可読性が高い出力をより低遅延で得 られる音声翻訳を想定し，非流暢性を含む音声から流暢なテキストへの翻訳の性能向上を目指す。非流暢性を含む音声翻訳での課題として，データが少量 である上，特に非流暢な音声から流暢なテキストへ の翻訳では，翻訳時に非流暢性を除去し，可読性が 高く要約された出力を得る必要があるため，非流暢性を含むテキストへの翻訳と比較して難易度が高 い.このような限られたデータを最大限に利用し，非流暢性を含むテキストへの翻訳モデルを作成し， そのモデルを用いて流暢なテキストへの翻訳を学習 することで，流暢なテキストへの翻訳性能の向上が 期待できる。しかし，非流暢性を含むテキストで学習したモデルを直接利用して流暢なテキストへの翻訳を学習した場合，非流暢性の表記が複数ある上， どの部分が非流暢性であるかという情報を含まない ため，曖昧性が高く性能向上の妨げとなり得る.

Horii らは日本語音声認識において非流暢性をグ ループに分類し，それぞれの非流暢性を意味する非流暢性タグを用いて該当部分を置き換え学習するこ とにより，音声認識の性能を向上させた [4]. この 方法では，多様な非流暢性をタグにまとめることに よりタスクを簡略化している．また，出力がタグ付 きのテキストになるため非流暢性の位置の特定が可能であり，タグを取り除くことで流暢なテキストに 近いテキストを生成することも可能である.

本研究は，非流暢性タグを音声翻訳データの目的言語テキストで取り入れ，タグを含む学習データを 用いてモデルを学習する。その後，このデータで学習したモデルを用いて流暢なテキストへの翻訳を学習する. Horii らの研究では, 音声認識の性能向上 を目的とし，原言語テキストに含まれる，あらかじ め人手で非流暢性とアノテーションされた部分を夕 グで置き換えている. 本研究では，音声翻訳の性能向上を目的とし，目的言語テキストに含まれる非流暢性をタグで置き換えて学習し，その際に，目的言語テキストがアノテーションされた非流暢性の情報

を持たないことを想定し，非流暢性検出器で非流暢性と検出された部分をタグで置き換える手法を取り 入れる. 実験により, 非流暢性タグを用いたデータ を用いて学習したモデルにより, 非流暢性を含む音声から流暢なテキストへの翻訳での性能向上が期待 できることが示された.

## 2 音声翻訳

$\mathbf{X}=\left(x_{1}, \ldots, x_{T}\right)$ を原言語の入力音声に対する音響特徴量の系列, $\mathbf{S}=\left(s_{1}, \ldots, s_{M}\right)$ を原言語テキストの トークン系列, $\mathbf{T}=\left(t_{1}, \ldots, t_{N}\right)$ を目的言語テキスト のトークン系列とする. $v$ を語彙集合 $V$ の元とする と, $t_{i}$ の事後確率は以下の式で表される.

$
P_{\mathrm{ST}}\left(t_{i}=v\right)=p\left(v \mid \mathbf{X}, t_{<i}\right) .
$

ST の学習時の損失関数 $\mathscr{L}_{\mathrm{ST}}$ は, Cross-entropy loss を 用いて以下の式で表される

$
\mathscr{L}_{\mathrm{ST}}=-\sum_{i=1}^{N} \sum_{v \in V}^{V} \delta\left(v, t_{i}\right) \log P_{\mathrm{ST}}\left(t_{i}=v\right)
$

$\delta\left(v, t_{i}\right)$ は， $v=t_{i}$ のとき 1 , そうでなければ 0 となる 関数である.

## 3 非流暢性タグを用いたデータの生成と学習

提案手法で用いる非流暢性タグを用いたデータの 生成過程を図 1 に示す. 提案手法では, 目的言語テ キストのどの単語が非流暢性かという情報が明示的 に付与されていない音声翻訳データを用いること を前提とし, Lou らによる, BERTを用いて事前学習された非流暢性検出器 $[5,6]$ を用いて非流暢性夕 グを付与する. この非流暢性検出器は, 構文解析と 非流暢性検出のタスクをマルチタスク学習により 同時に学習することで得られたモデルであり, 本研究では, 本検出器により得られたタグ付きの音声翻訳データを学習データとして用いる. モデルの学習 で利用するデータは，非流暢性検出器から得られた 非流暢性の情報をもとに，以下二種類のものを作成 する。

・D2D $D_{T a g}$ : 目的言語テキストの非流暢性をタグ で置き換えたデータ

り除いたデータ

また，学習済みモデルに対して Fine-tuningをするた めのデータとして，非流暢性が検出された文のみ で構成されたデータ $\Delta D 2 D_{T a g}, \Delta D 2 D_{\text {NoTag }}$ も作成 する。

図 1 非流暢性検出器を用いた非流暢性タグが付与され た，もしくは除かれたデータ作成の概略図.

## 4 実験

非流暢性を含む音声から流暢なテキストへの翻訳 で，提案手法である非流暢性タグを用いたデータで 学習したモデルによる性能向上がみられるかを検証 するため，以下の実験を行った。

## 4.1 データセット

本研究では音声翻訳データとして, Fisher Spanish Corpus (Spanish-English)を用いた $[2,3]$. 本研究にお ける Fisher Spanish Corpus は，以下からなるデータ で構成されたものを用いた.
- $D 2 D$ : 非流暢性を含む音声から非流暢性を含む 目的言語テキスト
- $D 2 F$ : 非流暢性を含む音声から流暢な目的言語 テキスト

モデルは Fairseq [7]を用いて実装し，Transformer [8] をべースに作成した. 音響特徴量は 80 次元のメルフィルタバンク特徴量を用い, 学習データ では SpecAugument [9]によるデータ拡張手法を用い た. Tokenizer は SentencePiece [10]を用い, 最大語彙数は 8000 とした. 提案手法においては, 非流暢性 を扱うために新たに定義したく\# >を非流暢性ラべ ルとして定義し, それを含めた語彙数 8000 の辞書 を作成した. 学習データからは, 文字数が 400 より 大きく，フレーム数が 3000 より大きいぺアは取り

図 2 ベースラインと提案手法の学習過程の概略図.

表 1 学習に用いた Fisher Spanish Corpus の内訳. () 内は オリジナルでのデータサイズ.

除いた．学習データの内訳を表 1 に示す.

## 4.2 End-to-End 音声翻訳モデル

本研究では，ベースラインと提案手法として以下 のモデルを用いた. ベースラインと提案手法モデル の学習過程を図 2 に示す.

## 4.2.1 ベースラインモデル

本実験では，以下モデルをベースラインとした。
- $D 2 D$ : 非流暢性を含む音声から非流暢性を含む 目的言語テキストへの翻訳を学習したモデル
- $D 2 F$ : 非流暢性を含む音声から流暢な目的言語 テキストへの翻訳を学習したモデル
- $D 2 D+D 2 F: D 2 D$ をもとに流暢な目的言語テキ ストへの翻訳を Fine-tuning で学習したモデル

## 4.2.2 提案手法モデル

提案手法では，図 1 で作成したデータを用いて モデルを作成した. 非流暢性を含む目的言語テ キストから非流暢性検出器により検出されたタ グの内訳を表 2 に示す. $D 2 D_{\text {Tag }}, D 2 D_{\text {NoTag }}$ は，非流暢性を含む目的言語テキストと同じ数のデー タとなっており，学習されたモデルは，夕グ情報を用いていない非流暢性を含むテキストをも とにしたべースラインの $D 2 D$ モデルと比較で きる. $D 2 D_{\text {Tag }}, D 2 D_{\text {NoTag }}$ を用いたモデルとして， $D 2 D_{\text {Tag }}, D 2 D_{\text {Tag }}+D 2 F, D 2 D_{\text {NoTag }}, D 2 D_{\text {NoTag }}+D 2 F$表 2 目的言語テキストに含まれる非流暢性タグの割合.

を作成した。

また， $\Delta D 2 D_{\text {Tag }}, \Delta D 2 D_{\text {NoTag }}$ データを用いて， $D 2 D$ モデルで Fine-tuning したモデルを作成した. $\Delta D 2 D_{\text {Tag }}, \Delta D 2 D_{\text {NoTag }}$ データを用いたモデルとし $\tau, D 2 D+\Delta D 2 D_{\text {Tag }}, D 2 D+\Delta D 2 D_{T a g}+D 2 F, D 2 D+$ $\Delta D 2 D_{\text {NoTag }}, D 2 D+\Delta D 2 D_{\text {NoTag }}+D 2 F$ を作成した.

## 4.3 評価

本研究では，以下の評価データを用いて SacreBLEU [11] により評価した.

-D2F test : 非流暢性を含む音声から流暢な目的言語テキスト

暢性タグを除いた目的言語テキスト

-D2D Tag test : 非流暢性を含む音声から非流暢性タグを含む目的言語テキスト

の非流暢性タグは除去した。

## 5 実験結果と議論

ベースラインと提案手法の BLEU の結果を表 4 に 示す. 実験結果から，提案手法による非流暢性タグ の情報を用いたモデルを流暢なテキストで学習した モデルで， $D 2 D_{\text {Tag }}+D 2 F, D 2 D_{\text {NoTag }}+D 2 F, D 2 D+$ $\Delta D 2 F_{\text {NoTag }}+D 2 F$ が，いずれもベースラインと比較 してD2F test での BLEU の向上が見られることが わかった。この結果から，非流暢性タグの情報を取 り入れた非流暢性を含むテキストへの翻訳を学習し た場合の方が，流暢な目的言語テキストへの翻訳に おいて有効だと分かった。

一方で，流暢なテキストで Fine-tuningをし ない場合の，非流暢性タグの情報を用いた モデル $D 2 D_{\text {Tag }}, D 2 D+\Delta D 2 D_{\text {Tag }}, D 2 D_{\text {NoTag }}, D 2 D+$ $\Delta D 2 D_{\text {NoTag }}$ では，D2F test での評価値がベースラ インである $D 2 D+D 2 F$ の評価値を上回らなかった. このことから，非流暢性タグを付与した，もしくは 除いて学習したモデルは，非流暢性部分が予測され るよう，もしくは除かれるよう学習されるものの，
表 3 D2F test で評価した際のベースラインと提案手法の例文.

表 4 ベースラインと提案手法の BLEU の結果 (下線は ベースラインより評価値が向上したもの).

流暢な翻訳に最適化されていないことが分かった. D2D NoTag test での評価では，提案手法である $D 2 D_{\text {NoTag }}$ と $D 2 D+\Delta D 2 D_{\text {NoTag }}$ で，ベースライン である $D 2 D$ と比較して性能向上が見られており，非流暢性を除去したテキストへの翻訳をする上で は，非流暢性を除去してから学習したモデルが最 も最適化されていることが分かった. その一方で, $D 2 D_{T a g}$ と $D 2 D+\Delta D 2 D_{\text {Tag }}$ のようなタグを含むテ キストで学習したモデルで出力に含まれるタグを除

ンと比べて性能向上は見られなかった.

タグを含むデータで学習したモデルである $D 2 D_{\text {Tag }}$ と $D 2 D+\Delta D 2 D_{\text {Tag }}$ を $D 2 D_{\text {Tag }}$ test で評価 した結果と，出力に含まれる非流暢性タグの割合

スラインの $D 2 D$ を含めほとんどのモデルでの

表 $5 \quad D 2 D_{\text {Tag }}, D 2 D+\Delta D 2 D_{\text {Tag }}$ モデルを $D 2 D_{\text {Tag }}$ test で 評価した際の BLEU と出力に含まれる非流暢性タグの 割合.

D2 $D_{\text {NoTag }}$ test での評価値と比較し低い值となっ ている. 出力に含まれる非流暢性タグの割合をみ ると，参照文である D2D Tag test では $4.5 \%$ のみタ グが含まれているのに対し， $D 2 D+\Delta D 2 D_{T a g}$ では $38.0 \% ， D 2 D_{\text {Tag }}$ では $21.5 \%$ とより多くの非流暢性 タグが含まれており，参照文中に含まれるタグと出力文に含まれるタグの数の差が大きいことが，評価値の低下の要因だと考えられる。

タグを付与したデータで学習したモデル は，このようなタグの過剩生成の傾向がある ものの, $D 2 D_{T a g}+D 2 F$ では性能の向上が見ら れた. ベースラインと提案手法の一つである $D 2 D_{\text {Tag }}, D 2 D_{\text {Tag }}+D 2 F$ での出力文の例を表 3 に示 す. $D 2 D_{\text {Tag }}$ の出力例では，非流暢性である連続し た “that’s”の部分に，適切に非流暢性タグが付与さ れていることが分かる。また，その後流暢なテキス トで Fine-tuning した $D 2 D_{T a g}+D 2 F$ では, ベースラ インである $D 2 D+D 2 F$ で見られた “that's”の繰り返 しを防げており, 提案手法の有効性が確認できた。

## 6 まとめと今後の課題

本研究では，目的言語テキストに対して非流暢性 タグを付与したデータを用い，非流暢性を含む音声 から流暢な目的言語テキストの翻訳を学習した. 実験により，流暢な目的言語テキストへの翻訳での性能向上が期待できることが分かった. 今後の課題と して，出力文に含まれる非流暢性タグの数をコント ロールできるような学習と, 出力位置の予測精度の 向上を考えている.

## 謝辞

本研究の一部は JSPS 科研費 JP21H05054 と JST

SPRING プログラム JPMJSP2140 の助成を受けたも

のである.

## 参考文献

[1] Eunah Cho, Thanh-Le Ha, and Alex Waibel. Crf-based disfluency detection using semantic features for german to english spoken language translation. In Proceedings of the 10th International Workshop on Spoken Language Translation: Papers, Heidelberg, Germany, December 5-6, 2013, 2013.

[2] Matt Post, Gaurav Kumar, Adam Lopez, Damianos Karakos, Chris Callison-Burch, and Sanjeev Khudanpur. Improved speech-to-text translation with the fisher and callhome Spanish-English speech translation corpus. In Proceedings of the 10th International Workshop on Spoken Language Translation: Papers, Heidelberg, Germany, December 5-6 2013.

[3] Elizabeth Salesky, Matthias Sperber, and Alexander Waibel. Fluent translations from disfluent speech in endto-end speech translation. In Proceedings of the $\mathbf{2 0 1 9}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2786-2792, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Koharu Horii, Meiko Fukuda, Kengo Ohta, Ryota Nishimura, Atsunori Ogawa, and Norihide Kitaoka. Endto-end spontaneous speech recognition using disfluency labeling. In Hanseok Ko and John H. L. Hansen, editors, Interspeech 2022, 23rd Annual Conference of the International Speech Communication Association, Incheon, Korea, 18-22 September 2022, pp. 4108-4112. ISCA, 2022.

[5] Paria Jamshid Lou, Yufei Wang, and Mark Johnson. Neural constituency parsing of speech transcripts. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2756-2765, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] Paria Jamshid Lou and Mark Johnson. Improving disfluency detection by self-training a self-attentive model. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3754-3763, Online, July 2020. Association for Computational Linguistics.

[7] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Waleed Ammar, Annie Louis, and Nasrin Mostafazadeh, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technolo- gies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Demonstrations, pp. 48-53. Association for Computational Linguistics, 2019.

[8] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[9] Daniel S. Park, William Chan, Yu Zhang, Chung-Cheng Chiu, Barret Zoph, Ekin D. Cubuk, and Quoc V. Le. Specaugment: A simple data augmentation method for automatic speech recognition. In Gernot Kubin and Zdravko Kacic, editors, Interspeech 2019, 20th Annual Conference of the International Speech Communication Association, Graz, Austria, 15-19 September 2019, pp. 2613-2617. ISCA, 2019.

[10] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[11] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics.


# TED 英語講演の音声認識 $\cdot$ 音声翻訳 ・ 音声要約の検討

坂野晴彦 桜井陽生 足立十一郎 山本一公 中川聖一
中部大学 工学部 情報工学科
}

\{ep19087-8458@sti, ep18051-1542@sti, ep19002-1545@sti, kazumasayamamoto@isc,

nakagawa@isc\}.chubu. ac. jp
## 概要

我々は、以前から英語の講義や講演を自動音声認識し、要約して日本語で字幕表示する研究を行って きた。英語講演音声をすべて翻訳し字幕にすると、読みが追い付かない・読み辛いなどの弊害が生じる ため、要約システムが必要である。TED 講演音声 の音声認識では、DNN-HMM により約 $88 \%$ の単語正解精度を得た。この書き起こし結果を Transform -erに基づくテキスト翻訳と BERTに基づく重要文抽出型テキスト要約に使用して、音声翻訳と音声要約を評価した。音声翻訳はテキスト翻訳に比べて、 BLEU 值が約 $14 \%$ 低下した。一方、音声要約はテキ スト要約に比べて、重要文として抽出された区間は ほぼ同一であり、音声認識誤りに頑健であった。

## 1 はじめに

我々は、以前から英語の講義や講演を自動音声認識し、要約して日本語で字幕表示する研究を行って きた。英語講義・講演音声をすべて翻訳し字幕にす ると、ユーザーの読みが追い付かない・読み辛いな どの弊害が生じるため、音声認識システムと翻訳シ ステム以外に要約システムがあると便利である

## $[1]$ 。

音声認識に関しては、DNN-HMM 型のハイブリ

ッド方式と End-to-End 方式があり、後者の方が性能がよいという報告がみられるようになってきた $[2,3]$ 。TED 講演音声に関して、英語の音声認識は IWSLT での発表が多いが、英日翻訳に関しては少 ない。2021 年には英日の瞬時テキスト翻訳[2]、 2022 年には英日の瞬時音声翻訳がタスクに加えら れている[3]。上野らは 12 層の Conformer エンコー
ダ、Attention 付きの単方向 LSTM のデコーダを用 いて、TED-LIUM2（211 時間分の学習データ） で、単語誤り率 $8.56 \%$ という報告をしている[4]。

音声翻訳に関しては、音声認識とテキスト翻訳の 接続によるハイブリッド方式と End-to-end 方式があ り、最近では後者の進展が目覚ましく、両者の差は なくなってきた $[3,5]$ 。我々は講義・講演の翻訳に対 して、ハイブリッド方式を採用し、時代に合わせて 統計的機械翻訳モデル[6]、RNN ニューラルネット ワークの LSTM による系列変換モデル[7]、

Transformer モデル[8]を使用してきた。並行して、音声認識誤りに対処するために、 $\mathrm{N}$ ベストのリスコ アリングの利用、認識誤りを含めた対訳ぺアによる 学習などを試みてきた[6]。本稿では、Transformer にデータ拡張や転移学習を適用した結果を報告す る。TEDの英日音声翻訳に関しては、福田らは、 オフライン方式で 11.6、オンライン・瞬時翻訳方式 で10.6 の BLEU 値を報告している[9]。IWSLT-2022 で最も良かった結果は、大規模な外部音声資源・言語資源を使用した USTC（中国科学技術大学）のシ ステムで、音声認識誤り率（単語誤り率）約 5\%、 アンサンブル翻訳ではテキスト入力で 22 、音声入 カ・オフライン方式で約 19 の BLEU 値を報告して いる[5]。

要約に関しては、抽出型要約と抽象型要約があ り、従来は抽出型要約の方が優れていたが、最近は ニューラルネットワークの抽象型要約技術が進展 し、両者の性能差はなくなってきた $[10,11,12]$ 。た だし、人による要約結果の評価では抽出型要約の方 がまだ評価が高い[12]。講義・講演を聴講しながら 要約を字幕表示する場合は、万遍なく音声に同期し た字幕表示が望ましい。そこで我々は、重要な箇所

だけ音声を再生するのにも適している重要文の抽出型要約を採用している。過去の重要文抽出の手法と して、テキスト・音声要約で有効な手法として広く 用いられる Maximal Marginal Relevance (MMR)[13] や、文の重要性を表す素性の抽出と抽出した素性に 基づく分類からなる feature-based 法[14]などが提案されている。最近では、文の構文情報・意味表現 として、文の分散表現が良いとされ、大規模な学習 データによるニューラルネットワークを利用した重要文抽出の要約にも利用されている 15,16$]$ 。我々 は、従来の要約システム MMR に Bidirectional Encoder Representations from Transformers ( BERT) [17]を併用する方法を提案してきた[18]。本稿で は、本手法と最近の代表的な抽出型要約である BertSumExt 法[16]による音声要約を報告する。

## 2 TED 講演の音声認識

## 2.1 Kaldi ツールキットによる DNN-HMM

TED 講演音声をテキストに書き起こすための音声認識ツールキットとして、Kaldi[19]を用いた。 Kaldi では様々なコーパスに対応したレシピが公開 されており、本稿では TEDLIUMv3 に対応したレシ ピを用いて音声認識を行った。Kaldi では認識システ ムとして DNN-HMM を用いており、これは隠れマル コフモデル(Hidden Markov Model)の状態から出力さ れる音素の出力確率を DNN(Deep Neural Network)を 用いて算出する手法である。

本稿では DNN の隠れ層の層数は 13 層とし、隠 れ層の各ユニット数は 1024 とした。出力層のユニ ット数は共有トライフォン数に対応しており、

GMM-HMM 学習時の学習デー夕量に依存して自動決定される。活性化関数には ReLU 関数を用い、出力層のみ softmax 関数を用いた。また、損失関数に はクロスエントロピーを用いた。ネットワークへの 入力特徴量は $\mathrm{MFCC}($ メル周波数ケプストラム係数) 40 次元である。また、特徵量の前処理として fMLLR, LDA,SAT を行い、不特定話者用の特徴抽出を行っている。

## 2.2 学習データ

(a) TED 講演データ

TEDLIUMv3[20]は、約 450 時間の TED 講演音声 のコーパスである。学習データ、検証デー夕、評価 データでセットが分かれており、それぞれ重複する講演は含まれていない。

(b) 大量読み上げ英語音声データ Librispeech

Librispeech[21]は約 1000 時間の読み上げ英語音声 のコーパスである。学習データ、検証データ、評価 データでセットが分かれており、それぞれ重複する 発話は含まれていない。このうち学習データは約 960 時間である。

TED 講演は話し言葉であるのに対し、Librispeech は読み上げコーパスであるが大量のコーパスである ことから、これらのコーパスを合わせて用いること で、より頑健なモデル構築が期待できる。

## 2.3 テストデータ

音声認識結果の算出には、表 1 に示す IWSLT2016 の 10 講演と TEDLiumv3 のテストセット 16 講演を使用し、それぞれのセットで認識率を求めた。学習データとテストデータの重複を防ぐためにこの 計 26 講演は学習データから除外している。

表 1 : テストデータの詳細

 &  &  \\

## 2.4 TED の音声認識結果と後処理

以下(a), (b),(c)の三通りの手法でモデルを作成 し、音声認識を行った際の認識率を比較した。

(a) TED 講演音声による単独モデル

TED 講演 450 時間の学習データで DNN-HMM を 学習した。言語モデルは TED 講演 450 時間のテキ ストから作成し語彙サイズは 15 万語程である。

(b) Librispeechによる単独モデル

Librispeech960 時間の学習データで DNN-HMM を 学習した。このモデルのみ、DNN の規模を、層数 17 層、隠孔層のユニット数は 1536 とした。言語モ デルは Librispeech960 時間のテキストから作成し、語彙サイズは 20 万語程である。

(c) TED 講演音声と Librispeech の混合学習による モデル

Librispeech960 時間の学習データと TED 講演 450 時間の計 1410 時間を用いて DNN-HMM を学習し た。言語モデルは TED 講演 450 時間と

Librispeech960 時間を合わせたテキストから作成 し、語彙サイズは 28 万語程である。

表 2 に各モデルでの認識率を示す。評価として以下の式で定義される単語正解精度を用いた。

単語正解精度 $=100-\frac{\text { 置換誤り数 }+ \text { 挿入誤り数 }+ \text { 脱落誤り数 }}{\text { 発声された入力文中の単語数 }}(1)$

表 2 に示すように、Librispeech 単独モデルでは TED 講演のような話し言葉の認識は難しいことが 分かる。また、TED+Librispeech 混合モデルでの認識率は TED 単独モデルよりやや良いことが分か る。これは、Librispeech が朗読音声であるものの 960 時間と大量データであることによる効果であ る。Librispeech 単独モデルから TED データによる 適応を行うとさらに良くなると思われる。なお、 (b)のモデルを用いた Librispeech テストデータでの 認識実験では単語正解精度は $94.78 \%$ であった。以降、TED2016に対して一番認識率が高かった TED 単独モデルを用いて音声翻訳と音声要約を行 う。このために、音声認識結果の数値の読み表現を 数值表現に後処理した $($ 例 : thirteen $\rightarrow 13)$ 。なお、認識結果には句読点はないので、音声翻訳・音声要約 の評価時の参照テキストも句読点を除去した。

表 2：各モデルでの単語正解精度 [\%]

## 3 TED の音声翻訳

## 3.1 Transformer 翻訳モデル[22]

Transformer モデルはエンコーダとデコーダから なり、再帰型ニューラルネットワークの様に時系列 データを用いて学習を行う。出力を求める際は自己注意機構を用いる。エンコーダは同じ構成のエンコ ーダの積み重ねによって構成されており、それらの エンコーダは自己注意とフィードフォワードネット ワーク (FFNN)により構成される。デコーダも同じ 構成のデコーダが積み重ねられてできている。一つ のデコーダは自己注意と FFNN に加えてその間に 注意機構が入っている。標準モデルはエンコーダ 6 層、デコーダ 6 層であるが、最適な数は学習データ 量に依存する。 22 万文の英日パラレルコーパスで 学習した場合は、 6 層 -6 層で $0.80 、 3$ 層 -4 層で
13.66、 3 層一3 層で 13.22 の BLEU 值であった。本実験ではエンコーダとデコーダは共に 3 層とした。本実験で使用する TED 講演の IWSLT (International Workshop on Spoken Language Translation)のコーパスには英語と日本語の対訳コ 一パスが 22 万文と少ないため、英語または日本語 の単言語コーパスをベースモデルで翻訳/逆翻訳す ることで英語と日本語の疑似対訳コーパスを作成 し、翻訳モデル学習の追加の学習データとすること でデータ拡張を行う。データ拡張には IWSLT2018 英語-スペイン語ペアの英語側コーパスと CSJ (Corpus of Spontaneous Japanese )日本語コーパスの 模擬講演を用いた。

100 万文ペアからなる ASPEC (Asian Scientific Paper Excerpt Corpus )コーパスにより英日単/双方向翻訳モデルを学習し、そのパラメータを初期值とし て IWSLT+データ拡張したデータセットで学習した [8]。なお、ASPEC コーパスによる翻訳モデル学習 の際には、TED 語彙に合わせて学習を行った。

## 3.2 音声翻訳結果

音声翻訳結果の BLEU 值を表 3 に示す。翻訳文 の評価には BLUE 値を用いた。音声翻訳はテキス 卜翻訳と比べて、約 $14 \%$ BLEU 值が低下した。 $10 \%$ 程度の低下に留まるためには、音声認識精度が $90 \%$ 以上必要と思われる。

表 3 : 音声翻訳結果 (TED2016テストセット)

 &  \\

## 4 TED の音声要約

## 4.1 MMR+BERT[18]

MMR は、ドキュメント全体との関連度と、情報 の新規性に基づいて 抽出する文を順に決定してい くことで、全体としてドキュメントとの関連が高く かつ穴長性の低い文集合を抽出することを目指す手法である[13][23]。本稿では以下で定義されているも のを使用する。最新のものでは文献[24]がある。

MMR の文抽出アルゴリズムでは、ドキュメント $D$ 、文 $i$ 、抽出文数 $R$ を用いて、文 $i$ に含まれる単語 からなるベクトルSi を、単語の出現頻度 (Term Frequency)に基づいて求め、文のベクトルの集合 $S_{n r k}$ $=\left.\{S_{1}, S_{2}, \cdots, S_{N}\right.\}$ の $S_{i}$ に対して、 $S_{1}$ から順に以下の
式を計算し、求めた $S_{\text {max }}$ を重要文集合 $S_{r k}$ に加える。 これを繰り返し行うことで要約文を抽出する。

$S_{\max }=\operatorname{argmax}\left.\{\lambda(\operatorname{Sim}(S i, D))-(1-\lambda)\left(\operatorname{Sim}\left(S i, S_{r k}\right)\right)\right.\}$ $S i \in S_{n r k}$

$\operatorname{Sim} 2$ つのベクトル間の類似度を表し、本稿では コサイン類似度を用いる。式の第一項は文とドキュ メントの関連度を表し、第二項は文と重要文集合の 類似度の負の値、すなわち情報の新規性を表す。こ のとき、入はドキュメントとの関連度と壳長性の間 のトレードオフである。MMR のツールとして、

Text-Summarization-MMR[25]を使用し、本実験では $\lambda$ $=0.5$ と設定する。

我々は、文脈を学習させた事前学習(Pre-Training) された BERT モデルを利用し、文の分散表現ベクト ルを $\mathrm{TF}$ に基づくベクトルの代わりに使用する。英語のドキュメントの文の分散表現を得る際は BERT-Large, Uncased (Whole Word Masking)の英語 1024 次元の分散表現を抽出した。また、BERT ゙゙ク トルを入力として階層型ニューラルネットワークに よる重要文/非重要文識別器を構成し、(3)式のように、 その出力の事後確率 $\mathrm{p}$ (重要文|入力)の対数値を(2)式 に加えた。これを MMR+BERT と呼ぶ。識別器の学習には数千文程度あればよい。なお、同じく MMR+BERT と呼ぶ手法が文献[24]に紹介されてい るが詳細は不明である。

$\operatorname{Smax}=\operatorname{argmax}\left.\{\lambda\left(\operatorname{Sim}\left(S_{i}, D\right)\right)-(1-\lambda)\left(\operatorname{Sim}\left(S_{i}, S_{\mathrm{rk}}\right)\right)\right.$ $S_{i} \in \operatorname{Snrk}$

$+\alpha \times \log \mathrm{p}\left(\right.$ 重要文 $\left.\left.\mid S_{i}\right)\right.\}(3)$

## 4.2 BertSumExt[16]

BertSumExt 法は、複数文の文境界記号付き入力単語列（512 トークン以下の制限あり）に対して BERT によって文ベクトル列 $\left.\{T_{i}\right.\}$ を得て、これを Transformerに入力して、重要文/非重要文のラベル 列を抽出する手法である。この手法は標準的な要約 タスクである CNN/Daily Mail の重要文抽出要約に 適用され、このタスクで標準的な性能を得ており、 ベースシステムとしてよく使用されている。MMR と同様に類似な文の抽出を避けるために trigram blocking という機能を取り入れている。本手法を TED 講演に利用するために、最大の入力長が 512 トークンという制限から、講演を 512 トー クン以下に分割し、それぞれで重要文抽出を行い、最後に講演全体で設定された重要文数なるようにス コアで選定した。また、オリジナルな BertSumExt は、CNN/Daily news 約 30 万記事の 1000 万文か ら、各記事から 3 文の重要文を抽出するように学習
されており、このモデル（CNN）と、MRR+BERT と同じくTED $の 51$ 講演の約 4500 文から学習した モデル(TED)、CNN のモデルから TED データで適応したモデル $(\mathbf{C N N} / \mathbf{T E D})$ を使用した。

## 4.3 音声要約結果

(a) テキスト要約

TED10 講演のテキストデータで行った要約実験 の結果を表 4 に示す。重要文の割合は約 $46 \%$ であ る。TED データだけの学習では MMR+BERT が最 も優れているが、BertSumExt $の$ CNN のモデルから TED データで適応した CNN/TED は、これを上回 っている。

(b) 音声要約

BertSumExtのみで音声入力の要約実験を行っ た。講演音声の音声認識結果に対する要約結果を表 4 に示す。音声要約では抽出された文の認識結果に 対応する原テキストデータを用いての評価も行い BLEU 值欄の一番右欄に示す。これは重要文箇所を 音声で再生した場合は音声認識の誤りに関係なくテ キスト内容が正しく聴講できるための尺度である。 テキスト入力と比べて音声入力では Rouge-3 で約 $20 \%$ の性能低下がみられた。しかし、重要文箇所の 抽出の尺度では、低下はみられなかった。

表 4 : TED 講演の要約結果 (ROUGE-3)

} & \multicolumn{2}{|c|}{ 音声入力 } \\
\cline { 3 - 4 } & 認識結果 & 原文に変換 \\

## 5 まとめ

TED 英語講演音声の日本語字幕化のための音声認識、音声翻訳、音声要約の結果を述べた。音声認識では、DNN-HMM により約 $88 \%$ の単語正解精度を 得た。この認識結果を Transformer に基づくテキスト 翻訳と BERT に基づく重要文抽出型テキスト要約に 使用した。音声翻訳はテキスト翻訳に比べて、BLEU 値が約 $14 \%$ 低下した。一方、音声要約はテキスト要約に比べて、重要文として抽出された区間はほぼ同一であり、音声認識誤りに対して頑健であった。

## 謝辞

本研究の一部は、JSPS 科研費 $18 \mathrm{H} 01062$ 、 19K12027、22K12084 の研究助成を受けた。

## 参考文献

[1] V.Ferdiansyah, S.Nakagawa : Captioning methods of lecture videos for learning in English, Proc. 25th ICCE, pp.902-907, 2017.

[2] A. Anastasopoulos, O. Bojar, et.al : Findings of the IWSLT 2021 evaluation campaign, Proc. IWSLT-2021, pp.1-29, 2021.

[3] A. Anastasopoulos, L. Barrault, et.al : Findings of the IWSLT 2022 evaluation campaign, Proc. IWSLT-2022, pp. 98-158, 2022.

[4] 上野, 李, 河原：音声認識のデータ拡張のための話者情報およびマスクを用いた合成音声の周波数スペクト ログラム強調, 2022 年日本音響学会秋季講演論文集, pp.1149-1150, 2022.

[5] W. Zhang, Z. Ye, et al : The USTC-NELSLIP offline speech translation systems for IWSLT 2022, Proc. IWSLT, pp.198-207, 2022.

[6] 後藤, 山本, 中川：音声認識誤りを考慮した英語講義音声の日本語への音声翻訳システムの検討, 言語処理学会第 23 回年次大会, pp.1054-1057, 2017.

[7] 佐橋, 秋葉, 中川：科学技術論文抄録と講義の英日機械翻訳のリスコアリングの検討，言語処理学会第 25 回年次大会, pp.1165-1168, 2019.

[8] 足立, 山本，中川：TED 講演の英日翻訳と日英翻訳の 検討，言語処理学会第 29 回年次大会, 2023.

[9] R. Fukuda, Y. Ko, Y. Kano, et al : NAIST simultaneous speech-to-text translation for IWSLT 2022, Proc. IWSLT 2022, pp.286-292, 2022.

[10] T. Nguyen, A. T. Luu, T. Lu, T. Quan : Enriching and controlling global semantics for text suumarization, arXiv:2109.10616v1, 2021.

[11] A. See, P. J. Liu, C. D. Manning: Go to the point summarization with pointer-generative networks, arXiv:1704.04368, 2017.

[12] O. Ernst, A. Caciularu, et. al : Proposition-level clustering for multi-document summarization, Proc. NACACL, pp.1765-1779, 2022.
[13] J. Carbonell, J. Goldstein : The use of MMR, diversitybased reranking for reordering documents and producing summaries. Proc. ACM SIGIR, pp. 335-336, 1998.

[14] 小林，山口，中川：表層的言語情報と韻律情報を用 いた講演音声の重要文抽出, 自然言語処理, Vol. 12, No. 6, pp. 3-24, 2005

[15] M. Kageback and D. Dubhashi, O. Mogren, N. Tahmasebi : Extractive summarization using continuous vector space models, Proc. 2nd Workshop on Continuous Vector Space Models and their Compositionality, CVSC, pp. 31-39, 2014.

[16] Yang Liu, Mirella Lapata ; Text summarization with pretrained encoders, Proc. conf. EMNLP, pp. 3730-3740, 2019.

[17] J. Devlin, M. Chang, K. Lee, K. Toutanova : BERT pretraining of deep bidirectional transformers for language understanding, arXiv:1810.04805, 2018.

[18] K. Masuda, Y. Hayakawa, K. Yamamoto, S. Nakagawa : Summarization of spoken lectures based on MMR method and important/unimportant sentence classification using BERT, Proc. GCCE, OS-SLP, 2022.

[19] D. Povey, A. Ghoshal, G. Boulianne, L. Burget, O. Glembek, N. Goel, M. Hannemann, P. Motlicek, Y. Qian, P. Cchwarz, J. Silovski, G. Stemmer and K. Veseh : The Kaldi speech recognition toolkit, Proc. ASRU, 2011.

[20] OpenSLR : TED-LIUM corpus release3, https://www.openslr.org/51/, 2022

[21] V. Panayotov, G. Chen, D. Povey and S. Khudanpur: Librispeech an ASR corpus based on public domain audio books, 2015 IEEE International Conference on Acoustics, Speech and Signal Processing(ICASSP), pp.5206-5210, 2015.

[22] I. Polosukhin, L. Kaiser : Attention is all you need, Conference on Neural Information Processing Systems, 2017

[23] G. Murray, S. Renal, and J. Carletta : Extractive summarization of meeting recordings, Proc. Interspeech, pp. 593-596, 2005.

[24] X. Liang, J. Li, S. Wu, M. Li, Z. Li : Improving unsupervised extractive summarization by jointly modeling facet and redundancy, IEEE Trans. ASLP, Vol.30, pp.15461556, 2022.

[25] GitHub : Text-Summarization,

https://github.com/fajri91/Text-Summarization-MMR, 2023.

## A 付録

表 : TED 講演音声の音声認識と翻訳の例

 \\