# End-to-End 音声翻訳のためのデータ拡張の検討

高木景矢
豊橋技術科学大学
takagi.keiya.sk@tut.jp
}

秋葉友良
豊橋技術科学大学
akiba.tomoyoshi.tk@tut.jp
}

塚田元
豊橋技術科学大学
tsukada.hajime.hl@tut.jp

## 1 はじめに

音声翻訳とはソース言語の音声をターゲット言語 のテキストに翻訳するタスクである.このタスクを 実現させるために, 先行研究では音声認識モデルと 機械翻訳モデルを連結させたカスケードモデルや，単一のモデルで直接翻訳する End-to-End モデルが採用されている [1]. End-to-End 音声翻訳モデルは, 誤 り伝搬の軽減と低遅延化のために近年注目されてい る.しかし, End-to-End 音声翻訳において, ソース 音声とターゲット文の大規模なぺアデータが必要に なることが問題として挙げられる. そこで, 近年,音声合成精度が人間の発話に近くなっている [2]こ とから対訳データのソーステキストから音声合成 を使用して疑似ペアデータを作成しデータ拡張を する研究が行われている $[3,4]$. これらの研究では,非公開データを使用していたり, 英語講演音声翻訳 コーパスに対してドメイン外の MT データを用いた データ拡張をし, 性能をあげるために音声翻訳デー タで fine-tuning を行っている. 最近, MuST-C と呼 ばれる英語講演音声翻訳コーパスが公開された [5]. これは以前からある英語講演音声翻訳コーパスで ある IWSLT18 [6] よりもサイズが大きく, 品質が良 いとされている. 本論文では, IWSLT18 の音声翻訳 コーパスと MuST-C の対訳データから End-to-End 音声合成モデルで作成した合成音声-ターゲットテキ ストの拡張データを用いて End-to-End 音声翻訳モデ ルを学習することの有効性を調査する。

また, 我々は, 音声認識タスクで単一話者の音声合成を用いたデータ拡張において, 通常用いられる 音声特徵量よりも DNN-HMM (Deep Neural Network Hidden Markov model) のボトルネック特徴量を用い ることで音声認識精度が改善されることを示し た [7]. 音声認識・翻訳はともに sequence-to-sequence の問題であることから, 我々の以前の研究が音声翻訳に応用可能かも調査する.

## 2 End-to-End 音声翻訳と End-to-End 音声合成

End-to-End 音声翻訳とはソース音声系列とター ゲットテキスト系列の組を学習データとし, その変換を直接学習する手法である. 従来の音声認識モデ ルと機械翻訳モデルを連結させるカスケード方式よ りもモデルがシンプルで, 誤り伝搬の軽減と低遅延化のために近年注目されている. End-to-End 音声翻訳は Berard ら [1] が最初に可能性を示した.

End-to-End 音声合成とは, 文字系列とその音声 の組を学習データとし, その変換を直接学習する 手法である. 近年の End-to-End 音声合成研究では,人間の発話に近い精度を達成している [2]. 本研究では Tacotron2 [8] を用いて合成音声を作成する. Tacotron2 はテキストからメルスペクトログラムを 生成するエンコーダデコーダモデルである.メルス ペクトログラムから音声波形に変換する機構はボ コーダと呼ばれ, 本研究では WaveGlow [9]を使用す る. WaveGlow は Glow [10] と WaveNet [11]の見識か ら開発されたもので, 自己回帰を必要とせず高速で 効率的かつ高品質の合成音声を出力する.

## 3 提案手法

提案するデータ拡張法は我々の以前の研究 [7] を音声翻訳に応用したものである. 初期の音声翻訳データに追加のテキスト-テキスト対訳データの ソーステキストを音声合成し, 音声翻訳用の音声テキスト対訳データで拡張する.

End-to-End 音声翻訳では通常, log-mel フィルタバ ンク特徴量などの音響特徴量が入力として用いら れるが, 音声に近い特徵量では多様な情報を含んで おり, 多数の話者の学習データが必要になる. そこ で, 提案手法では音声とその書き起こしのペアデー タで事前学習した DNN-HMM 音響モデルの DNN か ら抽出したボトルネック特徴量を End-to-End 音声翻訳の入力特徴量とすることで単一話者の音声合成に よるデータ拡張で音声翻訳性能を改善する (図 1).

図 1 提案手法の概略図

図 2 ボトルネック特徴量抽出器の概略図

ボトルネック特徴量の合成には, 図 2 のように DNN-HMM の出力に近く比較的ノード数の少ない 層を用いる．音素の事後確率は話者に依存しないの で，DNN-HMM の中間特徴量は話者に依存しない表現として有用であると考える. DNN-HMM の学習は 従来の手法と同様で, GMM-HMM (Gaussian Mixture Model Hidden Markov model) を使用してフレームご とに HMM の状態をアライメントし，その HMM の 状態を予測するようにDNNを学習する。

データ拡張では，機械翻訳のソーステキストデー タから単一話者の音声合成モデルを用いてテキスト と対応する音声を合成する. 合成した音声に対し,
ペアデータで学習しておいた DNN-HMM を用いて フレームごとにボトルネック特徴量を抽出する．抽出したボトルネック特徴量と元のターゲットテキス 卜を対にして疑似ぺアデータを作成する。元のペア データに疑似ペアデータを加え End-to-End 音声翻訳 モデルを学習する。

## 4 実験

音響特徴量と提案するボトルネック特徵量を用い て End-to-End 音声翻訳モデルを学習しその翻訳精度 を比較する。

## 4.1 データセット

本実験では，コーパスとして IWSLT18 と MuST-C を使用した。翻訳タスクとしては英語-ドイツ語を 選択した. IWSLT18 コーパスは 271 時間分の英語講演音声とその書き起こし， ドイツ語の翻訳が含ま れている. 先行研究 [12] に倣い, アライメント品質の低い発話を削除し約 $137 \mathrm{k}$ の発話を使用した. MuST-C は英語講演音声とその書き起こしとドイツ 語やフランス語を含む 8 言語の翻訳が含まれるコー パスである.そのうち， ドイツ語翻訳のある 408 時間分のデータを使用した. 実験では，IWSLT18を 初期ペアデータとし, データ拡張用テキストデー タとしては，MuST-Cのテキストを使用した。ただ し, MuST-Cについては 40 単語以内のものを使用し
表 1 音声翻訳データの統計情報

た。開発セットには IWSLT18 の $\operatorname{dev} 2010$ を使用し， テストセットには tst2010，tst2013，tst2014，tst2015 と MuST-C のテストセット tst-COMMON, tst-HE を 用いた.

## 4.2 データの前処理

まず，テストセットに含まれる講演と学習データ に含まれる講演が重複しないように学習データを 削除した。また，学習データと開発セットについて は 3000 フレームを超えるものや，400 文字を超える 発話は削除した. 各データの最終的な情報を表 1 に 示す.

テキストデータについてはトークナイズと小文字化は Moses ${ }^{1)}$ のスクリプトを用いて行った. 句読点 などの非発話記号は削除し，文字レベルのボキャブ ラリを使用した。

## 4.3 ボトルネック特徵量抽出

ボトルネック特徵量を合成する DNN-HMM を学習するために Kaldi [13] を用いた. 学習データは初期データである IWSLT18を用いた。入力は 40 次元の MFCC と 100 次元の i-vector で出力は HMM の 共有状態 (6056 次元) として学習を行った. 出力に 近く比較的次元の少ない層の出力 (レシピでいう と prefinal-xent $の$ batchnor 層) をボトルネック特徴量 (256 次元) として合成した。

## 4.4 データ拡張

疑似ペアデータを作成するために単一話者の音声合成には Tacotron2 [8] と WaveGlow [9]を用いた. モ デルは，公開されているモデルを使用した ${ }^{2)}$ 。これ


らのモデルは，単一女性話者によって収録された 24 時間程度の英語音声コーパスである LJSpeech を学習データとしている.

## 4.5 End-to-End 音声翻訳

ESPnet $^{31}$ [14] のレシピに倣い音声データの特徴量抽出を行った。従来使用される音響特徴量として窓幅 $25 \mathrm{~ms}$, フレームシフト $10 \mathrm{~ms}$ で 80 次元の log-mel フィルタバンク特徴量と 3 次元の pitch 情報を得た。 また, この特徵量は学習データの平均と標準偏差で 平均化した。簡単のために学習データセットを次の ように表記する。

## IWSLT18

発話速度を $0.9 ， 1.0 ， 1.1$ 倍にしデータを拡張した IWSLT18 のソース音声とターゲットテキストのペア データ.

## TTS_MuST-C

MuST-C のターゲットテキストと対応するソーステ キストの合成音声の疑似ペアデータ。

## RAW_MuST-C

性能の上限を調査するための MuST-C のソース音声 とターゲットテキストのペアデータ.

これらのデータの組み合わせで実験を行った。

モデルアーキテクチャは ESPnet に従ったもので 注意機構を有する VGG-like のモデルである. エン コーダに 4 層の CNN と 1024 次元, 5 層の BiLSTM, デコーダに 1024 次元, 2 層の LSTM が採用されてい る. バッチサイズは 16 でオプティマイザは adadelta を使用し, 15 Epochの学習を行い，開発セットで最 も Accuracy が良かったモデルを最終的なモデルと して選択した。

## 4.6 実験結果

音声翻訳結果を表 2 , 図 3 に示す。図 3 は表 2 を各コーパスのテストセットについて平均した 数値をグラフ化したもので，左が fbank+pitch を入力特徵量とする音声翻訳結果で, 右が BNF を入力特徵量とする音声翻訳結果である. 評価指標に は Moses の multi-bleu-detok.perl スクリプトを用いた case insensitive BLEUを使用した.

まず，TTS によるデータ拡張の効果を見るため に, IWSLT18 と IWSLT18+TTS_MuST-C $の$ 行を比較 する. どちらの特徴量を用いた場合でも，データ拡

3) https://github.com/espnet/espnet

図 3 fbank+pitch を入力特徵量する IWSLT18 と MuST-C のテストセットの音声翻訳結果の平均値 (左), BNF を入力特徵量する IWSLT18 と MuST-C のテストセットの音声翻訳結果の平均値 (右)

張 (+TTS_MuST-C) によって音声翻訳精度が改善さ れていることがわかり, シングルスピーカーTTS で データ拡張する効果が確認できた。次に，その効果 を合成ではない実際の音声との対訳でのデータ拡張 (IWSLT18+RAW_MuST-C) と比較してみる.MuST-C テストデータでは音声合成データ (TTS_MuST-C) は 実際の音声 (RAW_MuST-C) の性能には至っていな いが，IWSLT テストデータでは同等の効果が得られ ている. 拡張データと評価データに同じコーパスを 使った場合 (MuST-C テストデータ) に対し，それぞ れが異なるコーパスとなる IWSLT テストデータで は，音声合成でも実音声と同じような効果となった 可能性がある。

次に，2つの特徵量 fbank+pitch と BNF の効果を 比較する. 学習データのサイズが小規模な場合 (IWSLT18 の行) を比較すると, BNF の方が高い翻訳性能となった。一方, 学習データのサイズが増えた 場合 (+TTS_MuST-C および+RAW_MuST-C の行)を 比較すると, fbank+pitch の方が翻訳性能が高い.こ の理由として, BNF は音素表現に近い特徴量を持つ がゆえに多様性が小さいため, データリソースが少 ない場合は翻訳モデルの学習に有利であったと考え られる。データリソースが増えると, 多様性の大き い特徵量 (fbank+pitch) でも学習が改善され, 音声の表現能力の差から性能が逆転した可能性がある.

## 5 結論

本論文では，英語講演音声翻訳コーパスである IWSLT18 を初期データとして, MuST-C のソーステ キストの音声合成とターゲットテキストで作成した 疑似ペアデータを用いてデータ拡張を行った。その 結果，翻訳性能が大幅に上昇することを確認した。 IWSLT18 のテストセットに関しては，実際の音声と の対訳データで拡張した場合と同等の効果が得ら れた。

また，以前の研究で有用であったボトルネック特徵量を音声翻訳に応用した。学習データのサイズが 小さい場合は従来の音響特徴量を用いるよりも提案手法が翻訳性能を上回ることを示した。

今後の課題としては複数話者の音声合成モデルを 用いたデータ拡張実験との比較と, End-to-End 音声翻訳モデルを Transformer ベースのモデルにするこ とが挙げられる。

## 謝辞

本研究は JSPS 科研費 19K11980 および 18H01062 の助成を受けた。

## 参考文献

[1] Alexandre Bérard, Olivier Pietquin, Christophe Servan, and Laurent Besacier. Listen and translate: A proof of concept for end-to-end speech-to-text translation. arXiv preprint arXiv:1612.01744, 2016.

[2] Jonathan Shen, Ruoming Pang, Ron J Weiss, Mike Schuster, Navdeep Jaitly, Zongheng Yang, Zhifeng Chen, Yu Zhang, Yuxuan Wang, Rj Skerrv-Ryan, et al. Natural TTS synthesis by conditioning wavenet on mel spectrogram predictions. In 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 4779-4783. IEEE, 2018 .

[3] Ye Jia, Melvin Johnson, Wolfgang Macherey, Ron J Weiss, Yuan Cao, Chung-Cheng Chiu, Naveen Ari, Stella Laurenzo, and Yonghui Wu. Leveraging weakly supervised data to improve end-to-end speech-to-text translation. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 7180-7184. IEEE, 2019.

[4] Juan Pino, Liezl Puzon, Jiatao Gu, Xutai Ma, Arya D McCarthy, and Deepak Gopinath. Harnessing indirect training data for end-to-end automatic speech translation: Tricks of the trade. arXiv, pp. arXiv1909, 2019.

[5] Mattia A. Di Gangi, Roldano Cattoni, Luisa Bentivogli, Matteo Negri, and Marco Turchi. MuSTC: a Multilingual Speech Translation Corpus. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2012-2017, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] Jan Niehues, Ronaldo Cattoni, Sebastian Stuker, Mauro Cettolo, Marco Turchi, and Marcello Federico. The IWSLT 2018 evaluation campaign. In Proceedings of IWSLT, 2018.

[7] 高木景矢, 秋葉友良, 塚田元. ボトルネック特徵量の合成に基づく音声認識のためのデータ 拡張の検討. 日本音響学会 2020 年春季研究発表会 (ASJ), 32020.

[8] Jonathan Shen, et al. Natural TTS synthesis by conditioning wavenet on mel spectrogram predictions.
CoRR, Vol. abs/1712.05884, , 2017.

[9] Ryan Prenger, et al. Waveglow: A flow-based generative network for speech synthesis. CoRR, Vol. abs/1811.00002, , 2018.

[10] Durk P Kingma and Prafulla Dhariwal. Glow: Generative flow with invertible $1 \mathrm{x} 1$ convolutions. In Advances in neural information processing systems, pp. 10215-10224, 2018.

[11] Aaron van den Oord, Sander Dieleman, Heiga Zen, Karen Simonyan, Oriol Vinyals, Alex Graves, Nal Kalchbrenner, Andrew Senior, and Koray Kavukcuoglu. Wavenet: A generative model for raw audio. arXiv preprint arXiv:1609.03499, 2016.

[12] Hirofumi Inaguma, Kevin Duh, Tatsuya Kawahara, and Shinji Watanabe. Multilingual end-to-end speech translation. In 2019 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU), pp. 570-577. IEEE, 2019.

[13] Daniel Povey, et al. The kaldi speech recognition toolkit. In In IEEE 2011 workshop, 2011.

[14] Shinji Watanabe, et al. Espnet: End-to-end speech processing toolkit. CoRR, Vol. abs/1804.00015, , 2018 .
 高木景矢 豊橋技術科学大学 takagi.keiya.sk@tut.jp }  秋葉友良 豊橋技術科学大学 akiba.tomoyoshi.tk@tut.jp }  塚田元 豊橋技術科学大学 tsukada.hajime.hl@tut.jp  