# JTubeSpeech: 音声認識と話者照合のために YouTube から構築される日本語音声コーパス

高道慎之介 ${ }^{1}$, Kürzinger Ludwig ${ }^{2}$ ，佐伯高明 ${ }^{1}$ ，塩田さやか ${ }^{3}$ ，渡部 晋治 4
} 1 東京大学， 2 ミュンヘン工科大学， 3 東京都立大学， 4 カーネギーメロン大学 shinnosuke_takamichi@ipc.i.u-tokyo.ac.jp
## 概要

本論文は YouTube 動画からの音声コーパス構築法 を提案する。オープンな音声コーパスは音声言語処理の要だが，英語と中国語に比べ多くの言語でその 整備が遅れている。そこで本研究は，言語にほぼ依存しないコーパス構築法を提案するとともに，それ を日本語に適用し音声認識・話者照合のためのコー パスを構築する。構築スクリプトと動画リストをプ ロジェクトページにて公開している。

## 1 はじめに

深層学習の恩恵を受け, 音声言語処理（例えば，音声認識や話者照合） [1]-[5] の性能が顕著に向上し ている. 深層学習に基づく音声言語処理は多量の学習データを要するため, 主要言語に限らず多くの言語のオープン音声コーパスを整備すべきである. し かしながら，英語や中国語 [6]-[12] に比べ，それ以外の言語のコーパス整備は遅れている。これは日本語においても例外ではない。

関連研究として，動画から音声コーパスを収集す る研究がある [9], [13]-[15]. 特に YouTube は多様な ジャンル，環境，話者，アクセントの動画を有する ため, YouTube 動画は有用な音声データと成り得る. Chen ら [16] と Fan ら [12] らはそれぞれ, 英語音声認識との中国語話者照合のための音声コーパス構築法を提案している. 言語依存の処理や手動の処理を 含むこれらの研究と異なり, 本研究は, 言語非依存 で音声コーパスを自動構築する方法論を目指す.こ の方法論の確立は，英語と中国語に限定されない音声コーパスの構築に有効である.

本稿では，音声認識 (ASR) と話者照合 (ASV) を対象として，(ほぼ）言語非依存でコーパスを自動構築 する方法を提案するとともに，日本語音声コーパス JTubeSpeech を構築する。最初に，YouTube をクロー

図 1 コーパス構築手順.

ルしてコーパスの候補となるテキストと音声の対を 取得する。次に，音声認識用コーパスの構築では， end-to-end 音声認識モデルと CTC segmentation [17] に基づいて，テキストと音声の適合度合いを定量化 しその適合対を抽出する．話者照合用コーパスの構築では，動画内の話者ベクトル分散に基づいて，単一話者動画を抽出する.これらの処理はほぼ言語非依存で実行される。本研究の貢献は以下のとおりで ある。

-日本語音声認識・話者照合用の大規模コーパスを 構築する。構築に利用した YouTube 動画リストを， プロジェクトページ1)で公開している。

・多くの言語に適用可能なコーパス構築法を提案す る. 上記プロジェクトページでは，日本語以外に も対応したデータ収集スクリプトを公開している.

## 2 コーパス構築

図 1 にコーパス構築手順を示す.

## 2.1 データ収集

検索フレーズの作成：まず，動画検索に使用す る検索フレーズを作成する。対象言語の Wikipedia 記事からハイパーリンク付きのフレーズを抽出す る. Gigaspeech [16] と異なり，本稿では記事カテゴ リを指定せずに全 Wikipedia 記事を使用する。また， Google Trends にて提供される急上昇検索フレーズも

使用する。

字幕付き動画の取得：次に，字幕付き動画の ID を取得する. フレーズ検索で動画 IDを取得し，そ の動画 ID のうち字幕を有するものをリスト化す る. 本稿では手動字幕（動画作成者による字幕）動画のみを対象とするが，本処理では同時に自動字幕 （動画提供者による音声認識結果）動画も対象とす る. 最後に，動画をダウンロードして音声と手動字幕の対を作成する.この際，音声のフォーマットを $16 \mathrm{kHz}$ サンプリングのモノラルに統一する.

## 2.2 音声認識のためのデータ洗練

作成した音声と字幕のうち, 音声認識に不適な データ（音声と字幕が適合しない発話）を除去す る. 具体的には, CTC segmentation [17] を用いて音声と字幕の適合スコアを計算し，そのスコアに基づ いて発話を除外する。また，多くの字幕のタイミン グ（発話開始終了時刻）は不正確であるため, 再び アライメントをおこなう.

テキストに対する前処理：事前に最低限の言語依存処理を施す。本稿では，num2words[18]を用いて，数字列を読みの単語列に変換する。

アライメント：各発話のタイミングの推定（アラ イメント）は，文献 [17]の CTC segmentation に従う。 ただし，原著では発話前区間のスキップ機構を最初 の発話のみに適用していたが，本稿では字幕により 分割された各発話全てに適用する. アライメントに は学習済み音声認識モデルによる推論を利用する。

スコアリングとデータ洗練：字幕のタイミングと 音声の間で，CTC スコアを計算する。このスコア は音声と字幕と適合に関する対数確率である. CTC スコアに対し閾値を設け，閾值以下のデータを除去 する。

長い音声の処理 : 1 つの字幕の時間長が数時間を 超える場合がある. Transformer に基づく音声認識モ デルは, 時間長に対し 2 乗の計算量オーダーを要す るため, 長い音声を一度に処理できない. そのため 本稿は recurrent neural network (RNN) に基づく音声認識モデルを利用する. 64 GB のメモリ上で最大 500 秒分しか推論できない Transformer に対し, RNN は 2.7 時間分を推論できる.

長い音声を扱う際には，音声を小さなブロックに 分割した後, 各ブロックについて推論し, CTC ス コアを再計算する. ブロックの最大サイズは, 音声認識モデルの計算量と利用可能メモリに応じて決

図 2 話者空間における分布の比較.

定する．音声信号の急さな分割は推論時の歪を生む ため，ブロック区間を僅かに重複（本稿では 600 ミ リ秒）させて分割する．各時刻の CTC スコアを計算した後に重複区間のスコアを除外して，最終的な CTC スコアとする。

## 2.3 話者照合のためのデータ洗練

音声認識と異なり，話者照合は話者ラベルを必要 とする. そこで本研究では，独話動画（単一話者動画）を教師なしに抽出する方法を提案する。この方法では，テキスト音声合成（TTS）による合成音声 も同時に除去する. これは, 合成音声の特徴が人間 の音声と顕著に異なるためである.

非音声動画，短時間動画の除去：まず，音声を含 まない動画を除外する。音声認識の場合と異なり，音声と字幕の適合を必要としないため, 音声区間検出 (VAD) を用いて音声を検出する. 字幕に基づいて 切り出した発話に対しVADを適用し, 音声区間と 判定されたもののみを使用する. また，後述の統計量計算のために，極端に短い動画を除外する。

話者空間における動画内変動の評価：単一話者動画を抽出するため，動画内の話者変動を計算す る. 図 2 に概念を示す. 本研究では，学習済み深層学習モデルを用いて, 話者表現ベクトルである $d$-vector[4] を抽出する. $d$-vector は発話ごとに計算 され，動画内の話者変動はその分散として計算され る. 合成音声の発話間変動は極端に小さいため, 合成音声の動画の話者変動は，単一話者動画に比べて 小さくなると期待される．逆に，複数話者動画の話者変動は大きくなると期待される．以上の仮説よ り，分散に対する閾値を設けて単一話者動画を抽出 する。実装では， t-SNE[19] により次元削減された $d$-vector を使用し，共分散行列の行列式の値を使用 する.

YouTube チャンネルによるグループ化：話者照合用コーパスでは，同一話者が異なる話者として扱わ れることを避けなければならない，そのため本稿で
表 1 データ収集の結果.

表 2 既存の日本語コーパス（上半分）および他言語コー パス（下半分）との比較.

は，同じ YouTube チャンネルに属する単一話者動画 の話者を，単一の話者として扱う。

## 3 実験的評価

## 3.1 データ収集における評価

収集期間は 2021 年 2 月から 4 月である. 表 1 よ り，1) 各検索フレーズから平均 5.09 個の動画 ID を 収集できること，2) 収集した動画 ID の $0.92 \%$ に手動字幕が，41.7\%に自動字幕がそれぞれ付与されて いることが分かる.この収集により，110,000 個の 手動字幕付き動画から約 10,000 時間の音声データ を作成した。

表 2 は既存コーパスとの比較である. 我々の コーパスのサイズは，次節以降の実験で使用さ れるものである. 我々の音声認識コーパスは, LaboroTVspeech (日本語）[22] や Common Voice（英語）[8] と同程度である. また，我々の話者照合コー パスは, $\mathrm{CN}-\mathrm{Celeb}$ (中国語）[12] と同程度のサイズ であり，初の日本語コーパスである。

## 3.2 音声認識における評価

データ洗練：2.2 節に示す方法を用いてデータ洗練を実施した。学習済み音声認識モデルは ESPnet LaboroTVspeech[22] のレシピ [25] を用いて学習し た. 表 3 に学習データ，テストデータの統計量を示 す. 本稿では (1) 2.3 節の方法で構築した単一話者動画 (“single_speaker”もしくは “ss”) と (2) CTC スコ表 3 音声認識における学習データと評価データの統計量. $\theta$ は CTC スコアに対する閾值.

アの高い 15,000 動画 (“top_15k”もしくは “15k”)の 2 種類のサブセットを利用する．ただし，top_15k に は単一話者動画以外も含まれ，この 2 つのサブセッ トの一部は重複していることに注意する．以降の節 で登場する “train_ss_15k”は，この２つのサブセッ トを結合したものである。

評価データのデザイン: “single_speaker” の動画 から，(1) -0.3 以上の CTC スコアの発話を有する 1,621 動画を選択，(2) 約 20\%の動画をランダム抽出 ᄂ, 3, 396 発話を選択，(3) 各発話を聴取し文と正 しく対応する 1,614 発話を選択，(4) その発話を開発データ dev_easy_jun21（785 発話）と評価データ eval_easy_jun21（829 発話）に分割の手順で “easy” セットを作成した。

また本稿では, “normal”セットを作成した22). このセットは，-1.0 以上の CTC スコアを持つ発話である。“easy”と同じ動画から該当発話を抽出し，上記の (3)(4)を同様に実行したのち，開発 データdev_normal_jun21（1,036 発話）と評価デー 夕 eval_normal_jun21（834 発話）を作成した。

音声認識の性能：ESPnet に実装されている，八 イブリッド CTC/アテンション構造 [26] に基づく Conformer [3], [27]を用いて, character error rate (CER) を評価した。設定の詳細は, ESPnet JTubeSpeech レ シピ3)を参照されたい。

図 3 に結果を示す。“normal”セットの認識性能 が “easy”セットのそれより悪いことから，CTC スコアによる認識難易度の付与が妥当と言え る.また，閾値 $\theta$ を下げると学習データ量の増加とともにノイジーな書き起こしが混入される が，音声認識性能は依然として改善することが わかる. 最終的な CER は $5.2 \%$ (eval_easy_jun21) と


3) https://github.com/espnet/espnet/pull/3311

図 3 音声認識性能. 閾値 $\theta$ を変えて学習データ量を 12,24,71,362,1,376 時間に変更している.

図 4 話者空間における動画内変動.

10.7\% (eval_normal_jun21) であり，これらは他の日本語音声認識ベンチマーク (CSJ[21] では 4-6\%, LaboroTVspeech[22] では 13\%) と同程度である. 全 ての学習データを組み合わせた場合 (ss_15k_1376h) の結果を本図の右端に示している. dev_easy_jun21 以外の全ての性能が向上していることから，より難 しいデータの性能を向上させるには学習データの増強が有効であると確認できる.

## 3.3 話者照合における評価

データ洗練：音声区間検出に py-webrtcvad4)を， $d$-vector 抽出に学習済みモデル5)を使用した。分散 の計算は，10 発話以上から成る動画のみを使用し た. pilot studyとして, 本研究では 35,000 動画 (全体の約 $30 \%$ ）を使用した. 図 4 の結果より，横軸 の値が 0 付近および 8 から 9 付近で急さな変化が見 られる. 図 2 の概念に基づいて 2 つ間値を設け, TTS, single speaker, multi speakers のクラスラベルを 各動画に付与する.

このラベルの品質を定量的に評価するため，クラ スあたり 100 動画をランダムに抽出し，真のクラス ラベルを手動付与した. 表 4 に示す結果より, 閾値 に基づくラベルはおよそ正確であることが分かる.特に, single speakerのクラスに多数話者動画が含ま

4) https://github.com/wiseman/py-webrtcvad

5) https://github.com/yistLin/dvector

表 4 動画の種類に関するクラスタリングとアノテー ション

れていないことから，提案法は単一話者動画を抽出 できることがわかる.

話者照合の性能： single speaker のクラスに含まれ る 1,795 人の話者を学習と開発に， 92 人の話者を 登録と照合に用いた，学習と開発のデータ量はそれ ぞれ 127, 997 と 25, 392 発話であり，照合のデータ 量は，276 発話の正例と 25,116 発話の負例からなる 25, 392 発話である. 話者埋め込みモデルは 4 層の畳 み込み層, 1 層の pooling 層, 2 層の全結合層である.音声特徴量は 40 次元のメル周波数ケプストラム係数であり, 話者べクトルの次元は 512 次元とした.話者照合の評価基準は equal error rate (EER) である.確率的線形判別分析（PLDA）とデータ拡張は使用 しなかった。

話者照合の性能は $10.9 \%$ \%だった. 単純なモデル を使用しているにも関わらず，Voxceleb1 と複雑な モデルを使用した場合 [14] と同程度の性能を達成し ている．故に，提案法は話者照合のためのデータを 効率的に選択できることがわかる.

## 4 まとめ

本稿では，言語非依存でコーパスを自動構築する 方法を提案し， 1,300 時間の日本語音声認識用コー パス，900 時間の日本語話者照合用コーパスを構築 した. 今後は，提案法を日本語以外の言語に適用 する.

本稿の執筆時点（2022 年 1 月初頭）において，本稿の内容に加え以下の内容をプロジェクトページで 公開している。音声認識と話者照合に限らず，多様 な音声言語処理タスク，自然言語処理タスクで利用可能である.

・多言語の動画 ID リスト：YouTube 動画から取得可能な約 70 言語のうち，より多くの動画 IDを取得 できた 30 言語の動画 IDリストを公開している.

- 自動字幕の取得スクリプト：本稿で扱った手動字幕ではなく, 自動字幕を取得し整形するスクリプ トを公開している。
謝辞：有意義な議論をくださった Hiromasa Fujihara 氏, GigaSpeech チーム（特に Guoguo Chen 氏，Shuzhou Chai 氏）に感謝する。本研究の実施 にあたり，ジョンスホプキンス大学 HLTCOE クラ スタと National Science Foundation grant number ACI1548562 から支援を受けている, Extreme Science and Engineering Discovery Environment (XSEDE) [28] を使用した. また, NSF award number ACI-1445606 の支援 を受けている, Pittsburgh Supercomputing Center (PSC) の Bridges system [29]を使用した。また，本研究は， JSPS 科研費 19K20271, 21H04900, 21H05054（基盤技術開発の内容)，JST ムーンショット型研究開発事業 JPMJMS2011（多言語技術の内容），ROIS-DSJOINT (030RP2021)，セコム財団挑戦的研究助成の 助成を受けた。

## References

[1]G. E. Dahl, D. Yu, L. Deng, et al., "Context-dependent pretrained deep neural networks for large-vocabulary speech recognition," IEEE Transactions on Audio, Speech, and Language Processing, vol. 20, no. 1, pp. 30-42, 2012.

[2]A. Graves and N. Jaitly, "Towards end-to-end speech recognition with recurrent neural networks," in International conference on machine learning, 2014, pp. 1764-1772.

[3]A. Gulati, J. Qin, C.-C. Chiu, et al., "Conformer: Convolution-augmented Transformer for Speech Recognition," in Proc. Interspeech, 2020, pp. 5036-5040.

[4]E. Variani, X. Lei, E. McDermott, et al., "Deep neural networks for small footprint text-dependent speaker verification," in ICASSP, 2014, pp. 4080-4084.

[5]D. Snyder, D. Garcia-Romero, G. Sell, et al., "X-vectors: Robust DNN embeddings for speaker recognition," in ICASSP, 2018, pp. 5329-5333.

[6]C. Cieri, D. Miller, and K. Walker, "The fisher corpus: A resource for the next generations of speech-to-text.," in LREC, vol. 4, 2004, pp. 69-71.

[7]V. Panayotov, G. Chen, D. Povey, et al., "Librispeech: An asr corpus based on public domain audio books," in ICASSP, 2015, pp. 5206-5210.

[8]R. Ardila, M. Branson, K. Davis, et al., "Common Voice: A massively-multilingual speech corpus," in Proceedings of the 12th Language Resources and Evaluation Conference, 2020, pp. 4218-4222.

[9]P. K. O' Neill, V. Lavrukhin, S. Majumdar, et al., SPGISpeech: 5,000 hours of transcribed financial audio for fully formatted end-to-end speech recognition, 2021.

[10]Y. Liu, P. Fung, Y. Yang, et al., "HKUST/MTS: A very large scale Mandarin telephone speech corpus," in International Symposium on Chinese Spoken Language Processing, 2006, pp. 724-735.

[11]J. Du, X. Na, X. Liu, et al., "Aishell-2: Transforming mandarin asr research into industrial scale," arXiv preprint arXiv:1808.10583, 2018.
[12]Y. Fan, J. Kang, L. Li, et al., CN-CELEB: A challenging Chinese speaker recognition dataset, 2019.

[13]S. Abu-El-Haija, N. Kothari, J. Lee, et al., YouTube-8M: A large-scale video classification benchmark, 2016.

[14]A. Nagrani, J. S. Chung, W. Xie, et al., "Voxceleb: Largescale speaker verification in the wild," Computer Science and Language, 2019.

[15]D. Galvez, G. Diamos, J. M. C. Torres, et al., 'The People' s Speech: A large-scale diverse English speech recognition dataset for commercial usage," 2021, https: //openreview. net/forum?id=R8CwidgJ0yT.

[16]G. Chen, S. Chai, G. Wang, et al., "GigaSpeech: An evolving, multi-domain asr corpus with 10,000 hours of transcribed audio," arXiv preprint arXiv:2106.06909, 2021.

[17]L. Kürzinger, D. Winkelbauer, L. Li, et al., "Ctcsegmentation of large corpora for german end-to-end speech recognition," in Speech and Computer, 2020, pp. 267-278.

[18]V. Dupras, M. Grigaitis, and T. Ogawa, Num2words: Modules to convert numbers to words. https://github.com/ savoirfairelinux/num2words, 2021.

[19]L. Maaten and G. Hinton, "Visualizing data using t-SNE," Journal of machine learning research, vol. 9, pp. 2579-2605, 2008.

[20]K. Itou, M. Yamamoto, K.Takeda, et al., "JNAS: Japanese speech corpus for large vocabulary continuous speech recognition research," Journal of the Acoustical Society of Japan (E), vol. 20, no. 3, pp. 199-206, 1999.

[21]K. Maekawa, H. Koiso, S. Furui, et al., "Spontaneous speech corpus of Japanese.," in Proc. LREC, 2000, pp. 947-952.

[22]S. Ando and H. Fujihara, "Construction of a large-scale Japanese ASR corpus on TV recordings," in ICASSP, 2021, pp. 6948-6952.

[23]S. Shiota, F. Villavicencio, J. Yamagishi, et al., "Voice liveness detection algorithms based on pop noise caused by human breath for automatic speaker verification," in Sixteenth annual conference of the international speech communication association, 2015.

[24]J. Du, X. Na, X. Liu, et al., "AISHELL-2: Transforming Mandarin ASR Research Into Industrial Scale," ArXiv, 2018.

[25]V. authors, Espnet/egs2/laborotv/asr1 - espnet/espnet, https://github.com/espnet / espnet / tree / master / egs2/laborotv/asr1, 2021.

[26]S. Watanabe, F. Boyer, X. Chang, et al., "The 2020 ESPNet update: New features, broadened applications, performance improvements, and future plans," arXiv preprint arXiv:2012.13006, 2020.

[27]P. Guo, F. Boyer, X. Chang, et al., "Recent developments on espnet toolkit boosted by conformer," in ICASSP, 2021, pp. 5874-5878.

[28]J. Towns, T. Cockerill, M. Dahan, et al., "Xsede: Accelerating scientific discovery computing in science \& engineering, 16 (5): 62-74, sep 2014," URL https://doi. org/10.1109/mcse, vol. $128,2014$.

[29]N. A. Nystrom, M. J. Levine, R. Z. Roskies, et al., "Bridges: A uniquely flexible hpc resource for new communities and data analytics," in Proceedings of the 2015 XSEDE Conference: Scientific Advancements Enabled by Enhanced Cyberinfrastructure, 2015, pp. 1-8.
 高道慎之介 ${ }^{1}$, Kürzinger Ludwig ${ }^{2}$ ，佐伯高明 ${ }^{1}$ ，塩田さやか ${ }^{3}$ ，渡部 晋治 4 } 1 東京大学， 2 ミュンヘン工科大学， 3 東京都立大学， 4 カーネギーメロン大学 shinnosuke_takamichi@ipc.i.u-tokyo.ac.jp 