# 多言語モデルの転移学習による日本人英語音声認識

森 滉介HOU, Wenxin篠崎 隆宏

東京工業大学 工学院 情報通信系

www.ts.ip.titech.ac.jp
## 1 はじめに

近年，end-to-end アプローチにより，DNN ベース の単一モデルによる自動音声認識が可能となっ た $[1,2,3]$. 広範なコーパスを学習させたモデルは，人間と同等かそれ以上の音声認識性能を示す。一方，少量の音声データでは，高い認識性能を示すモ デルの学習は難しい. 非ネイティブ話者の発音は母国語の影響を受けやすいため，非ネイティブ音声認識では，同じ母国語を持つ話者の音声をモデルに学習させることが望ましい. それに伴ってモデルに学習させる非ネイティブ話者の音声データが必要と なるが，非ネイティブ話者の数は少ない上に，音声 には不自然な発音が多い。非ネイティブ音声の収集 とラベル付けは，ネイティブ音声に比べて困難であ る [4].

音声データが少ない言語における音声認識手法と して転移学習がある。主流となっている手法では，学習データが豊富な言語の音声をモデルに事前学習させ，認識対象言語の音声でモデルを再学習させ る $[5,6]$. モデルの隠れ層を言語間で共有させるこ とで，言語に依存しない普遍的な音声表現の抽出が 可能となる $[7,8]$. さらに最近では，適応させる言語知識の範囲を拡大し，多言語の音声を end-to-end ネットワークに事前学習させ，低資源言語に対する 音声認識性能を高めている $[9,10]$.

非ネイティブ音声を一種の低資源言語と捉え，転移学習を用いて他の言語知識を適応させる手法が提案されている [11,12]. しかし, これまでの研究で は，非ネイティブ音声認識に適応させる知識は 2 , 3 言語に限られている。そこで本稿では，高精度の 日本人英語音声認識を目的とし，適応させる知識を 多言語に拡張した転移学習アプローチを提案する。

## 2 関連研究

## 2.1 低資源言語音声認識

低資源言語における音声認識手法の一つが転移学習である。 Bukhar らは，事前学習させた多言語モデ ルの最終層を転移先言語で再学習させ，ウイグル語 やベトナム語などの低資源言語に対する WER を改善した [13]. Cho らは，公開コーパスである BABEL から 10 言語の音声を用いて sequence-to-sequence モ デルを学習させ，他の 4 言語に適応させた [8]. Kannan らは，インドにおける 9 言語の音声で学習 させたストリーミング多言語 end-to-end モデルを用 いて，低資源言語であるカンナダ語とウルドゥー語 に対するWERを改善した [14]. Hou らは，42 言語 で大規模な多言語 end-to-end モデルを学習させ， 14 の低資源言語に転移学習させた [10]. そして，多数 の言語を学習させたモデルの適応は，低資源言語の 音声認識に対して優れた性能を発揮することを示し た. 同様に，多言語モデルの活用による低資源言語音声認識の性能改善が報告されている $[15,16,17]$.

## 2.2 非ネイティブ音声認識

非ネイティブ音声認識は，言語学習者が持つス ピーキング能力の自動評価を実現するために必要不可欠である [18]. また，非ネイティブ音声認識は日常業務の中でさまざまな用途で利用されるように なった。国際化した今日の世界では，非ネイティブ 音声の認識技術は重要になっている.

非ネイティブ音声認識では，転移学習によって複数言語間で知識を共有させる。 Duan らは，共通の 隠れ層と独立した出力層からなる DNN にネイティ ブの英語と日本語を学習させて言語横断的な音響 モデルを構築し，日本人英語の音声認識における WER を低減させた [11]. Matassoni らは，イタリア 語，ドイツ語，英語のネイティブ音声で学習させた DNN-HMM 音響モデルを，イタリア人ドイツ語，イ タリア人英語，ドイツ人英語の非ネイティブ音声に

Fine-tuning

図 1 提案手法の概念図. 多数の言語で end-to-end 音声認識モデルを事前学習させ,日本人英語の音声データで fine-tuning する.

転移学習を用いて適応させた [12]. そして，結果と して得られた非ネイティブモデルが，非ネイティブ 音声を直接学習させたモデルの性能を改善すること を示した。

## 3 提案手法

日本人英語の高精度音声認識を目的として，多数 の言語から転移学習させた end-to-end 音声認識モデ ルを採用し，適応させる言語知識を拡張する. 提案手法の概要を図 1 に示す.

## 3.1 多言語音声認識モデル

多言語音声認識モデルには, end-to-end 音声認識 に有効である Conformer [19] と Transformer [20] を 用いる. モデルのエンコーダを 12 個の Conformer ブロックで構築し，デコーダを 6 個の Transformer ブロックで構成する. Conformer と Transformer に よる各ブロックは，256 次元の注意機構ヘッドを 4 つ含み, 2048 次元のフィードフォーワードネッ トワークを持つ. モデルは, Connectionist Temporal Classification (CTC) と注意機構を同時に用いて予測文字をデコードする $[21,9]$. デコードするシンボル のセットは，モデルに事前学習させる全ての言語に 現れる文字セットを含むよう拡張する。これによ り，エンコーダとデコーダのパラメータが全ての言語で共有される多言語モデルの学習が可能となる. モデルは，入力からデコードすべき言語を自動で認識し，予測したテキストを適切な文字セットで出力 する.

## 3.2 日本人英語への転移学習

多言語モデルを日本人英語音声で fine-tuning す る. まず，多言語モデルの学習済みパラメータで日本人英語モデルの全パラメータを初期化する。次 に, 日本人英語音声モデルの出力層に対して, 出力次元数を日本人英語音声のシンボル数に変更し, パ ラメータを乱数で初期化する。 そして, 日本人英語音声をモデルに学習させる. 実験では， 10 言語と 42 言語を学習させた 2 種類の多言語モデルを日本人英語音声認識に適応させ, 日本人英語音声認識に対 して事前学習させる言語数の有効性を調べる。

## 4 実験

## 4.1 データセット

10 言語と 42 言語の多言語モデル学習には， 11 の 公開コーパスを使用した。使用した公開コーパス は, AISHELL [22], Aurora4, Babel, CHiME4, Common Voice [23], Corpus of Spontaneous Japanese (CSJ) [24], Fisher SwitchBoard, Fisher Callhome Spanish, HKUST [25], WSJ, Voxforgeである. 10 言語モデルの学習に は Watanabe らが用いた言語を使用した [9]. また, 42 言語モデルには Hou らが用いた言語を学習させ た [10]. 各多言語モデルの学習に用いた言語を表 1 に示す. また，学習データにおける各言語の発話数 を図 2 に示す。

日本人英語音声認識には King-ASR-048 データを 用いた. King-ASR-048 は， Android と iOS の携帯電話を同時に用いて収集した 2 チャンネルの日本人英

図 2 学習データに含まれている言語と発話数。学習データには, AISHELL [22], Aurora4, Babel, CHiME4, Common Voice [23]，Corpus of Spontaneous Japanese (CSJ) [24]，Fisher SwitchBoard，Fisher Callhome Spanish， HKUST [25]，WSJ, Voxforge の 11 公開コーパスを用いた.

表 1 多言語モデルに学習させた言語. 10 言語モデルの 学習には Watanabe らが用いた言語 [9]を使用し，42 言語 モデルの学習には Hou らが用いた言語 [10] 使用した.

de, en, es, fr, it, ja, nl, pt, ru, zh_ch, am, as, eu, bn, yue, ca, ceb, luo, ka, gn,

42-lingual ht, ig, jv, kab, kk, ku, lo, lt, zh_tw, mn, ps, fa, sw, tl, ta, tt, te, tpi, tr, vi, $\mathrm{cy}, \mathrm{zu}$

語音声データベースである. 静かな屋内で 40 人の 日本人から収集した 10,983 発話が収録されている.収録されている音声データのサンプリング周波数は $16 \mathrm{kHz}$ であり，1 チャンネルあたりの全録音時間は 約 17.9 時間である. 実験では，Android で収集した チャンネルを使用した. 話者が重複しないようデー タを 3 つに分割し，80\%を学習，10\%を検証，10\%を テストに使用した。

## 4.2 詳細設定

モデルの入力には 83 次元の特徴量を用いた. 83 次元特徴量の構成は, 80 次元の MFCC フィルタバ ンクと 3 次元のピッチ特徴量である. 特徴量は， 25 $\mathrm{ms}$ の言を $10 \mathrm{~ms}$ ずつシフトさせて生の音声から抽出した。

モデル学習の最適化アルゴリズムには Adam を 使用した. Adam における学習率 $\operatorname{lr}$ は，学習率パラ メータ $k$, 注意機構の出力次元 $d_{\text {model }}$, 学習ステップ 数 step，ウォームアップパラメータ warmup_step を表 2 多言語モデルの事前学習と fine-tuning におけるパラ メータ設定. 学習とデコードには ESPnetツールキット [26]を使用した。

用いて， $l r=k \cdot d_{\text {model }}^{-0.5} \cdot \min \left(\right.$ step $^{-0.5}$, step $\cdot$ warmup_step $\left.^{-1.5}\right)$

で表される。

学習を高速化するため，多言語モデルの学習に は TSUBAME 3.0 スーパーコンピュータ1)を用いた.学習の並列処理に Pytorch のパッケージ2)を使用し,合計 40 基の NVIDIA TESLA P100 GPU を搭載した 10 台の計算ノード上で多言語モデルを学習させた。多言語モデルの事前学習と fine-tuning におけるパラ メータ設定を表 2 に示す. 多言語モデルや日本人英語モデルの学習とデコードには ESPnet ツールキッ ト [26]を使用した。

1) https://www.gsic.titech.ac.jp/en/tsubame

2) https://pytorch.org/docs/stable/distributed.html
表 3 日本人英語音声を直接学習させたモデル (Directly trained), 英語を事前学習させたモデル (Monolingual), 英語と日本語を事前学習させたモデル (Bilingual), 多言語を事前学習させたモデル (10-lingual/42-lingual) の各話者における性能比較.

表 4 検証セット (dev) とテストセット (test) 全体で算出 した CER と WER の比較.

## 4.3 性能評価

提案手法の有効性を検証するため，日本人英語を 直接学習させたモデル，英語を事前学習させたモデ ル，英語と日本語を事前学習させたモデルと性能を 比較した．英語や日本語を用いた事前学習には，多言語モデル学習データにおける英語と日本語のサブ セットを用いた. モデル性能の評価指標は CER と WER である.

## 5 結果

日本人英語音声を直接学習させたモデル，英語を 事前学習させたモデル, 英語と日本語を事前学習 させたモデル，提案手法の各話者に対する CER と WERを表 3 に示す. また，検証セットとテストセッ ト全体における CER と WER の比較を表 4 に示す.事前学習は, 日本人英語音声認識におけるモデルの 性能を大幅に改善した. 日本人英語音声を直接学習 させたモデル，英語だけ事前学習させたモデル，英語と日本語を事前学習させたモデルのテストセット における CERはそれぞれ 33.5，11.2，10.7であった。

また, 事前学習させたモデルの中で, 多言語を学習させた 10 言語モデルと 42 言語モデルは，英語や日本語で事前学習させたモデルの性能をさらに上回った.これにより, 多言語から学習した広範な音声表現知識の適応が, 日本人英語音声認識に有効で あることが分かった。

さらに, 10 言語モデルと 42 言語モデルを比較し たところ, 10 言語モデルが高い認識性能を示した. 42 言語モデルが学習した音声表現は，モデルのパラ メータ数に対して広範であり，対象言語の音声認識能力を損ねた可能性がある.

## 6 おわりに

本稿では, 多言語モデルを日本人英語音声認識に適応させる転移学習アプローチを提案した. Conformer と Transformer を用いて構築した end-toend 音声認識モデルに多数言語の音声を事前学習さ せ，日本人英語音声で fine-tuning した. 有効性検証 のため, 日本人英語を直接学習させたモデル，英語 を事前学習させたモデル，英語と日本語を事前学習 させたモデルと性能を比較した. その結果，多数の 言語を事前学習させたモデルは，日本人英語音声を 直接学習させたモデルの性能を大幅に改善した. ま た，提案手法は，英語だけ事前学習させたモデル，英語と日本語を事前学習させたモデルの性能を押し 並べて上回った.これらの結果より, 多数の言語か ら学習させた音声表現の適応が, 日本人英語音声認識に有効であることが分かった．今後は，多種類の 言語が持つ特性を構造化し, 日本人英語音声認識に 対して効果的に活用する方法を検討する。

## 謝辞

本研究は，JSPS 科研費 $20 \mathrm{H} 00095$ の助成を受けた ものである.

## 参考文献

[1] T. Hori, S. Watanabe, Y. Zhang, and W. Chan. Advances in joint ctc-attention based end-to-end speech recognition with a deep cnn encoder and rnn-lm. In Proceedings of Interspeech, pp. 949-953, 2017.

[2] A. Zeyer, K. Irie, R. Schlüter, and H. Ney. Improved training of end-to-end attention models for speech recognition. In Proceedings of Interspeech, pp. 7-11, 2018.

[3] C. Chiu, T. N. Sainath, Y. Wu, R. Prabhavalkar, P. Nguyen, Z. Chen, A. Kannan, R. J. Weiss, K. Rao, E. Gonina, N. Jaitly, B. Li, J. Chorowski, and M. Bacchiani. State-of-the-art speech recognition with sequence-to-sequence models. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 4774-4778, 2018.

[4] N. F. Chen, D. Wee, R. Tong, B. Ma, and H. Li. Large-scale characterization of non-native mandarin chinese spoken by speakers of european origin: Analysis on icall. Speech Communication, Vol. 84, pp. 46-56, 2016.

[5] N. T. Vu, D. Imseng, D. Povey, P. Motlicek, T. Schultz, and H. Bourlard. Multilingual deep neural network based acoustic modeling for rapid language adaptation. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 7639-7643, 2014.

[6] S. Tong, P. N. Garner, and H. Bourlard. An investigation of deep neural networks for multilingual speech recognition training and adaptation. In Proceedings of Interspeech, pp. 714-718, 2017.

[7] S. Dalmia, R. Sanabria, F. Metze, and A. W. Black. Sequencebased multi-lingual low resource speech recognition. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 4909-4913, 2018.

[8] J. Cho, M. K. Baskar, R. Li, M. Wiesner, S. H. Mallidi, N. Yalta, M. Karafiát, S. Watanabe, and T. Hori. Multilingual sequenceto-sequence speech recognition: Architecture, transfer learning, and language modeling. In IEEE Spoken Language Technology Workshop (SLT), pp. 521-527, 2018.

[9] S. Watanabe, T. Hori, and J. R. Hershey. Language independent end-to-end architecture for joint language identification and speech recognition. In IEEE Automatic Speech Recognition and Understanding Workshop (ASRU), pp. 265-271, 2017.

[10] W. Hou, Y. Dong, B. Zhuang, L. Yang, J. Shi, and T. Shinozaki. Large-scale end-to-end multilingual speech recognition and language identification with multi-task learning. In Proceedings of Interspeech, pp. 1037-1041, 2020.

[11] R. Duan, T. Kawahara, M. Dantsuji, and H. Nanjo. Cross-lingual transfer learning of non-native acoustic modeling for pronunciation error detection and diagnosis. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 28, pp. 391-401, 2020.

[12] M. Matassoni, R. Gretter, D. Falavigna, and D. Giuliani. Nonnative children speech recognition through transfer learning. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 6229-6233, 2018.

[13] D. Bukhari, Y. Wang, and H. Wang. Multilingual convolutional, long short-term memory, deep neural networks for low resource speech recognition. Procedia Computer Science, Vol. 107, pp. 842-847, 2017.

[14] A. Kannan, A. Datta, T. N. Sainath, E. Weinstein, B. Ramabhadran, Y. Wu, A. Bapna, Z. Chen, and S. Lee. Large-Scale Multilingual Speech Recognition with a Streaming End-to-End Model. In Proceedings of Interspeech, pp. 2130-2134, 2019.

[15] T. Sercu, G. Saon, J. Cui, X. Cui, B. Ramabhadran, B. Kingsbury, and A. Sethy. Network architectures for multilingual speech representation learning. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 5295-5299, 2017.

[16] S. Toshniwal, T. N. Sainath, R. J. Weiss, B. Li, P. Moreno, E. Weinstein, and K. Rao. Multilingual speech recognition with a single end-to-end model. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 4904-4908, 2018.

[17] A. Datta, B. Ramabhadran, J. Emond, A. Kannan, and B. Roark. Language-agnostic multilingual modeling. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 8239-8243, 2020.

[18] K. Knill, M. Gales, K. Kyriakopoulos, A. Malinin, A. Ragni, Y. Wang, and A. Caines. Impact of asr performance on free speaking language assessment. In Proceedings of Interspeech, pp. 1641-1645, 2018.

[19] A. Gulati, J. Qin, C. Chiu, N. Parmar, Y. Zhang, J. Yu, W. Han, S. Wang, Z. Zhang, Y. Wu, and R. Pang. Conformer: Convolutionaugmented transformer for speech recognition. In Proceedings of Interspeech, pp. 5036-5040, 2020.

[20] L. Dong, S. Xu, and B. Xu. Speech-transformer: A no-recurrence sequence-to-sequence model for speech recognition. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 5884-5888, 2018.

[21] S. Kim, T. Hori, and S. Watanabe. Joint ctc-attention based end-toend speech recognition using multi-task learning. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 4835-4839, 2017

[22] H. Bu, J. Du, X. Na, B. Wu, and H. Zheng. Aishell-1: An opensource Mandarin speech corpus and a speech recognition baseline. In 2017 20th Conference of the Oriental Chapter of the International Coordinating Committee on Speech Databases and Speech I/O Systems and Assessment (O-COCOSDA), pp. 1-5, 2017.

[23] R. Ardila, M. Branson, K. Davis, M. Henretty, M. Kohler, J. Meyer, R. Morais, L. Saunders, F. M. Tyers, and G. Weber. Common voice: A massively-multilingual speech corpus. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 4218-4222, 2020

[24] K. Maekawa. Corpus of spontaneous Japanese: Its design and evaluation. In ISCA \& IEEE Workshop on Spontaneous Speech Processing and Recognition, 2003.

[25] Y. Liu, P. Fung, Y. Yang, C. Cieri, S. Huang, and D. Graff. Hkust/mts: A very large scale Mandarin telephone speech corpus. In International Symposium on Chinese Spoken Language Processing, pp. 724-735, 2006.

[26] S. Watanabe, T. Hori, S. Karita, T. Hayashi, J. Nishitoba, Y. Unno, N. Enrique Yalta Soplin, J. Heymann, M. Wiesner, N. Chen, A. Renduchintala, and T. Ochiai. ESPnet: End-to-End Speech Processing Toolkit. In Proceedings of Interspeech, pp. 2207-2211, 2018 .
 森 滉介HOU, Wenxin篠崎 隆宏  東京工業大学 工学院 情報通信系  www.ts.ip.titech.ac.jp 