# 非流暢性タグを用いた目的言語テキストによる 自由発話の音声翻訳

胡尤佳 須藤克仁 中村哲
奈良先端科学技術大学院大学
$\{$ ko.yuka.kp2, sudoh, s-nakamura\}@is. naist.jp

## 概要

自由発話はフィラーや言い淀みなどの非流暢性を 含むことがあるため，発話を目的言語のテキストや 音声に翻訳する音声翻訳でもそれらの現象への対応が重要である．特に，非流暢性を含む音声から流暢なテキストへの翻訳は，翻訳時に非流暢性を除去 する必要があり，非流暢性を含むテキストへの翻訳 よりも難しい. 本研究では，非流暢性タグを含む目的言語テキストで学習したモデルを用い，流暢なテ キストへの翻訳を学習する手法を提案する. 本研究 で用いるタグは，多様な非流暢性を一つのタグで表 し，非流暢性事象の位置情報を含む。実験から，提案手法による非流暢性を含む音声から流暢なテキス トへの翻訳性能向上の効果が示された.

## 1 はじめに

人間の自然発話においてはフィラーや言い淀み といった非流暢性がしばしば含まれ，それらの現象 を取り扱うことのできる音声認識 (ASR), 音声翻訳 (ST) が実用上求められている. 通常，発話に非流暢性が含まれていると，ASR の出力テキストも非流暢性を含み，機械翻訳 (MT) での翻訳が難しい．その 結果，ASR とMTを繋ぎ合わせたパイプライン型音声翻訳での最終的な性能低下につながる. それを防 ぐため, 非流暢性検出器により ASR の出力から検出された非流暢性を取り除いてから MT に入力する 手法が主流である [1]. 近年の音声翻訳では，非流暢性を含む音声と非流暢性を含む目的言語テキス ト [2]，もしくは流暢な目的言語テキスト [3] により 構成される音声翻訳データにより, 明示的な非流暢性検出器を用いずに End-to-End 音声翻訳モデルを学習する手法が主流になりつつある [3].

本研究では，可読性が高い出力をより低遅延で得 られる音声翻訳を想定し，非流暢性を含む音声から流暢なテキストへの翻訳の性能向上を目指す。非流暢性を含む音声翻訳での課題として，データが少量 である上，特に非流暢な音声から流暢なテキストへ の翻訳では，翻訳時に非流暢性を除去し，可読性が 高く要約された出力を得る必要があるため，非流暢性を含むテキストへの翻訳と比較して難易度が高 い.このような限られたデータを最大限に利用し，非流暢性を含むテキストへの翻訳モデルを作成し， そのモデルを用いて流暢なテキストへの翻訳を学習 することで，流暢なテキストへの翻訳性能の向上が 期待できる。しかし，非流暢性を含むテキストで学習したモデルを直接利用して流暢なテキストへの翻訳を学習した場合，非流暢性の表記が複数ある上， どの部分が非流暢性であるかという情報を含まない ため，曖昧性が高く性能向上の妨げとなり得る.

Horii らは日本語音声認識において非流暢性をグ ループに分類し，それぞれの非流暢性を意味する非流暢性タグを用いて該当部分を置き換え学習するこ とにより，音声認識の性能を向上させた [4]. この 方法では，多様な非流暢性をタグにまとめることに よりタスクを簡略化している．また，出力がタグ付 きのテキストになるため非流暢性の位置の特定が可能であり，タグを取り除くことで流暢なテキストに 近いテキストを生成することも可能である.

本研究は，非流暢性タグを音声翻訳データの目的言語テキストで取り入れ，タグを含む学習データを 用いてモデルを学習する。その後，このデータで学習したモデルを用いて流暢なテキストへの翻訳を学習する. Horii らの研究では, 音声認識の性能向上 を目的とし，原言語テキストに含まれる，あらかじ め人手で非流暢性とアノテーションされた部分を夕 グで置き換えている. 本研究では，音声翻訳の性能向上を目的とし，目的言語テキストに含まれる非流暢性をタグで置き換えて学習し，その際に，目的言語テキストがアノテーションされた非流暢性の情報

を持たないことを想定し，非流暢性検出器で非流暢性と検出された部分をタグで置き換える手法を取り 入れる. 実験により, 非流暢性タグを用いたデータ を用いて学習したモデルにより, 非流暢性を含む音声から流暢なテキストへの翻訳での性能向上が期待 できることが示された.

## 2 音声翻訳

$\mathbf{X}=\left(x_{1}, \ldots, x_{T}\right)$ を原言語の入力音声に対する音響特徴量の系列, $\mathbf{S}=\left(s_{1}, \ldots, s_{M}\right)$ を原言語テキストの トークン系列, $\mathbf{T}=\left(t_{1}, \ldots, t_{N}\right)$ を目的言語テキスト のトークン系列とする. $v$ を語彙集合 $V$ の元とする と, $t_{i}$ の事後確率は以下の式で表される.

$
P_{\mathrm{ST}}\left(t_{i}=v\right)=p\left(v \mid \mathbf{X}, t_{<i}\right) .
$

ST の学習時の損失関数 $\mathscr{L}_{\mathrm{ST}}$ は, Cross-entropy loss を 用いて以下の式で表される

$
\mathscr{L}_{\mathrm{ST}}=-\sum_{i=1}^{N} \sum_{v \in V}^{V} \delta\left(v, t_{i}\right) \log P_{\mathrm{ST}}\left(t_{i}=v\right)
$

$\delta\left(v, t_{i}\right)$ は， $v=t_{i}$ のとき 1 , そうでなければ 0 となる 関数である.

## 3 非流暢性タグを用いたデータの生成と学習

提案手法で用いる非流暢性タグを用いたデータの 生成過程を図 1 に示す. 提案手法では, 目的言語テ キストのどの単語が非流暢性かという情報が明示的 に付与されていない音声翻訳データを用いること を前提とし, Lou らによる, BERTを用いて事前学習された非流暢性検出器 $[5,6]$ を用いて非流暢性夕 グを付与する. この非流暢性検出器は, 構文解析と 非流暢性検出のタスクをマルチタスク学習により 同時に学習することで得られたモデルであり, 本研究では, 本検出器により得られたタグ付きの音声翻訳データを学習データとして用いる. モデルの学習 で利用するデータは，非流暢性検出器から得られた 非流暢性の情報をもとに，以下二種類のものを作成 する。

・D2D $D_{T a g}$ : 目的言語テキストの非流暢性をタグ で置き換えたデータ

り除いたデータ

また，学習済みモデルに対して Fine-tuningをするた めのデータとして，非流暢性が検出された文のみ で構成されたデータ $\Delta D 2 D_{T a g}, \Delta D 2 D_{\text {NoTag }}$ も作成 する。

図 1 非流暢性検出器を用いた非流暢性タグが付与され た，もしくは除かれたデータ作成の概略図.

## 4 実験

非流暢性を含む音声から流暢なテキストへの翻訳 で，提案手法である非流暢性タグを用いたデータで 学習したモデルによる性能向上がみられるかを検証 するため，以下の実験を行った。

## 4.1 データセット

本研究では音声翻訳データとして, Fisher Spanish Corpus (Spanish-English)を用いた $[2,3]$. 本研究にお ける Fisher Spanish Corpus は，以下からなるデータ で構成されたものを用いた.
- $D 2 D$ : 非流暢性を含む音声から非流暢性を含む 目的言語テキスト
- $D 2 F$ : 非流暢性を含む音声から流暢な目的言語 テキスト

モデルは Fairseq [7]を用いて実装し，Transformer [8] をべースに作成した. 音響特徴量は 80 次元のメルフィルタバンク特徴量を用い, 学習データ では SpecAugument [9]によるデータ拡張手法を用い た. Tokenizer は SentencePiece [10]を用い, 最大語彙数は 8000 とした. 提案手法においては, 非流暢性 を扱うために新たに定義したく\# >を非流暢性ラべ ルとして定義し, それを含めた語彙数 8000 の辞書 を作成した. 学習データからは, 文字数が 400 より 大きく，フレーム数が 3000 より大きいぺアは取り

図 2 ベースラインと提案手法の学習過程の概略図.

表 1 学習に用いた Fisher Spanish Corpus の内訳. () 内は オリジナルでのデータサイズ.

除いた．学習データの内訳を表 1 に示す.

## 4.2 End-to-End 音声翻訳モデル

本研究では，ベースラインと提案手法として以下 のモデルを用いた. ベースラインと提案手法モデル の学習過程を図 2 に示す.

## 4.2.1 ベースラインモデル

本実験では，以下モデルをベースラインとした。
- $D 2 D$ : 非流暢性を含む音声から非流暢性を含む 目的言語テキストへの翻訳を学習したモデル
- $D 2 F$ : 非流暢性を含む音声から流暢な目的言語 テキストへの翻訳を学習したモデル
- $D 2 D+D 2 F: D 2 D$ をもとに流暢な目的言語テキ ストへの翻訳を Fine-tuning で学習したモデル

## 4.2.2 提案手法モデル

提案手法では，図 1 で作成したデータを用いて モデルを作成した. 非流暢性を含む目的言語テ キストから非流暢性検出器により検出されたタ グの内訳を表 2 に示す. $D 2 D_{\text {Tag }}, D 2 D_{\text {NoTag }}$ は，非流暢性を含む目的言語テキストと同じ数のデー タとなっており，学習されたモデルは，夕グ情報を用いていない非流暢性を含むテキストをも とにしたべースラインの $D 2 D$ モデルと比較で きる. $D 2 D_{\text {Tag }}, D 2 D_{\text {NoTag }}$ を用いたモデルとして， $D 2 D_{\text {Tag }}, D 2 D_{\text {Tag }}+D 2 F, D 2 D_{\text {NoTag }}, D 2 D_{\text {NoTag }}+D 2 F$表 2 目的言語テキストに含まれる非流暢性タグの割合.

を作成した。

また， $\Delta D 2 D_{\text {Tag }}, \Delta D 2 D_{\text {NoTag }}$ データを用いて， $D 2 D$ モデルで Fine-tuning したモデルを作成した. $\Delta D 2 D_{\text {Tag }}, \Delta D 2 D_{\text {NoTag }}$ データを用いたモデルとし $\tau, D 2 D+\Delta D 2 D_{\text {Tag }}, D 2 D+\Delta D 2 D_{T a g}+D 2 F, D 2 D+$ $\Delta D 2 D_{\text {NoTag }}, D 2 D+\Delta D 2 D_{\text {NoTag }}+D 2 F$ を作成した.

## 4.3 評価

本研究では，以下の評価データを用いて SacreBLEU [11] により評価した.

-D2F test : 非流暢性を含む音声から流暢な目的言語テキスト

暢性タグを除いた目的言語テキスト

-D2D Tag test : 非流暢性を含む音声から非流暢性タグを含む目的言語テキスト

の非流暢性タグは除去した。

## 5 実験結果と議論

ベースラインと提案手法の BLEU の結果を表 4 に 示す. 実験結果から，提案手法による非流暢性タグ の情報を用いたモデルを流暢なテキストで学習した モデルで， $D 2 D_{\text {Tag }}+D 2 F, D 2 D_{\text {NoTag }}+D 2 F, D 2 D+$ $\Delta D 2 F_{\text {NoTag }}+D 2 F$ が，いずれもベースラインと比較 してD2F test での BLEU の向上が見られることが わかった。この結果から，非流暢性タグの情報を取 り入れた非流暢性を含むテキストへの翻訳を学習し た場合の方が，流暢な目的言語テキストへの翻訳に おいて有効だと分かった。

一方で，流暢なテキストで Fine-tuningをし ない場合の，非流暢性タグの情報を用いた モデル $D 2 D_{\text {Tag }}, D 2 D+\Delta D 2 D_{\text {Tag }}, D 2 D_{\text {NoTag }}, D 2 D+$ $\Delta D 2 D_{\text {NoTag }}$ では，D2F test での評価値がベースラ インである $D 2 D+D 2 F$ の評価値を上回らなかった. このことから，非流暢性タグを付与した，もしくは 除いて学習したモデルは，非流暢性部分が予測され るよう，もしくは除かれるよう学習されるものの，
表 3 D2F test で評価した際のベースラインと提案手法の例文.

表 4 ベースラインと提案手法の BLEU の結果 (下線は ベースラインより評価値が向上したもの).

流暢な翻訳に最適化されていないことが分かった. D2D NoTag test での評価では，提案手法である $D 2 D_{\text {NoTag }}$ と $D 2 D+\Delta D 2 D_{\text {NoTag }}$ で，ベースライン である $D 2 D$ と比較して性能向上が見られており，非流暢性を除去したテキストへの翻訳をする上で は，非流暢性を除去してから学習したモデルが最 も最適化されていることが分かった. その一方で, $D 2 D_{T a g}$ と $D 2 D+\Delta D 2 D_{\text {Tag }}$ のようなタグを含むテ キストで学習したモデルで出力に含まれるタグを除

ンと比べて性能向上は見られなかった.

タグを含むデータで学習したモデルである $D 2 D_{\text {Tag }}$ と $D 2 D+\Delta D 2 D_{\text {Tag }}$ を $D 2 D_{\text {Tag }}$ test で評価 した結果と，出力に含まれる非流暢性タグの割合

スラインの $D 2 D$ を含めほとんどのモデルでの


表 $5 \quad D 2 D_{\text {Tag }}, D 2 D+\Delta D 2 D_{\text {Tag }}$ モデルを $D 2 D_{\text {Tag }}$ test で 評価した際の BLEU と出力に含まれる非流暢性タグの 割合.

D2 $D_{\text {NoTag }}$ test での評価値と比較し低い值となっ ている. 出力に含まれる非流暢性タグの割合をみ ると，参照文である D2D Tag test では $4.5 \%$ のみタ グが含まれているのに対し， $D 2 D+\Delta D 2 D_{T a g}$ では $38.0 \% ， D 2 D_{\text {Tag }}$ では $21.5 \%$ とより多くの非流暢性 タグが含まれており，参照文中に含まれるタグと出力文に含まれるタグの数の差が大きいことが，評価値の低下の要因だと考えられる。

タグを付与したデータで学習したモデル は，このようなタグの過剩生成の傾向がある ものの, $D 2 D_{T a g}+D 2 F$ では性能の向上が見ら れた. ベースラインと提案手法の一つである $D 2 D_{\text {Tag }}, D 2 D_{\text {Tag }}+D 2 F$ での出力文の例を表 3 に示 す. $D 2 D_{\text {Tag }}$ の出力例では，非流暢性である連続し た “that’s”の部分に，適切に非流暢性タグが付与さ れていることが分かる。また，その後流暢なテキス トで Fine-tuning した $D 2 D_{T a g}+D 2 F$ では, ベースラ インである $D 2 D+D 2 F$ で見られた “that's”の繰り返 しを防げており, 提案手法の有効性が確認できた。

## 6 まとめと今後の課題

本研究では，目的言語テキストに対して非流暢性 タグを付与したデータを用い，非流暢性を含む音声 から流暢な目的言語テキストの翻訳を学習した. 実験により，流暢な目的言語テキストへの翻訳での性能向上が期待できることが分かった. 今後の課題と して，出力文に含まれる非流暢性タグの数をコント ロールできるような学習と, 出力位置の予測精度の 向上を考えている.

## 謝辞

本研究の一部は JSPS 科研費 JP21H05054 と JST

SPRING プログラム JPMJSP2140 の助成を受けたも

のである.

## 参考文献

[1] Eunah Cho, Thanh-Le Ha, and Alex Waibel. Crf-based disfluency detection using semantic features for german to english spoken language translation. In Proceedings of the 10th International Workshop on Spoken Language Translation: Papers, Heidelberg, Germany, December 5-6, 2013, 2013.

[2] Matt Post, Gaurav Kumar, Adam Lopez, Damianos Karakos, Chris Callison-Burch, and Sanjeev Khudanpur. Improved speech-to-text translation with the fisher and callhome Spanish-English speech translation corpus. In Proceedings of the 10th International Workshop on Spoken Language Translation: Papers, Heidelberg, Germany, December 5-6 2013.

[3] Elizabeth Salesky, Matthias Sperber, and Alexander Waibel. Fluent translations from disfluent speech in endto-end speech translation. In Proceedings of the $\mathbf{2 0 1 9}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2786-2792, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Koharu Horii, Meiko Fukuda, Kengo Ohta, Ryota Nishimura, Atsunori Ogawa, and Norihide Kitaoka. Endto-end spontaneous speech recognition using disfluency labeling. In Hanseok Ko and John H. L. Hansen, editors, Interspeech 2022, 23rd Annual Conference of the International Speech Communication Association, Incheon, Korea, 18-22 September 2022, pp. 4108-4112. ISCA, 2022.

[5] Paria Jamshid Lou, Yufei Wang, and Mark Johnson. Neural constituency parsing of speech transcripts. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2756-2765, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] Paria Jamshid Lou and Mark Johnson. Improving disfluency detection by self-training a self-attentive model. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3754-3763, Online, July 2020. Association for Computational Linguistics.

[7] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Waleed Ammar, Annie Louis, and Nasrin Mostafazadeh, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technolo- gies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Demonstrations, pp. 48-53. Association for Computational Linguistics, 2019.

[8] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[9] Daniel S. Park, William Chan, Yu Zhang, Chung-Cheng Chiu, Barret Zoph, Ekin D. Cubuk, and Quoc V. Le. Specaugment: A simple data augmentation method for automatic speech recognition. In Gernot Kubin and Zdravko Kacic, editors, Interspeech 2019, 20th Annual Conference of the International Speech Communication Association, Graz, Austria, 15-19 September 2019, pp. 2613-2617. ISCA, 2019.

[10] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[11] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics.
 胡尤佳 須藤克仁 中村哲 奈良先端科学技術大学院大学 $\{$ ko.yuka.kp2, sudoh, s-nakamura\}@is. naist.jp  