# 言語情報とパラ言語情報を考慮したニューラル音声翻訳

徳山 太顕 ${ }^{1}$ Sakriani Sakti ${ }^{1,2}$ 須藤 克仁 ${ }^{1,2}$ 中村 哲 ${ }^{1,2}$
1 奈良先端科学技術大学院大学
2理化学研究所 革新知能統合研究センター AIP
\{tokuyama.hirotaka.ti9, ssakti, sudoh, s-nakamura\}@is.naist.jp

## 1 はじめに

異なる言語話者同士のコミュニケーション を可能にし，言語の垣根を越える音声から音声への翻訳 (Speech-to-Speech Translation; S2ST) が 注目されている. 従来, 音声翻訳は自動音声認識 (Automatic Speech Recognition; ASR)，機械翻訳 (Machine Translation; MT)，テキスト音声合成 (Textto-Speech; TTS)の 3 つのシステムで順々に開発され てきた.

しかし, これらのシステムは言語情報の翻訳に焦点を当てており, 感情や強調などの他の音声特徴を 伝えるパラ言語情報を考慮していないものがほとん どである. 最近の研究では, 言語とパラ言語の認識 と翻訳をそれぞれ別々にモデル化することでパラ言語の翻訳を提案している [1]. しかし, このシステ ムでは ASR が隠れマルコフモデル (HMM)，MT が ニューラルネットワークと違うモデルをべースとし ており，強調を推定，翻訳するシステムもそれぞれ ASR と MT の処理を待つ必要がある. したがって全体的に見れば複雑な構造をしており, 翻訳システム としても実装面においてもまだ最適ではない.

そこで本研究ではニューラルネットワークを用い ることで言語とパラ言語の翻訳を統一的なモデルの 中で考慮し, 音声から強調を重視してパラ言語情報 をテキストに反映できるかについて検討を行った。評価実験では自然音声データと音声合成データを用意し，それぞれパラ言語を適用できるようにデータ を編集して学習させ，自然音声と音声合成でモデル の評価を行った. その結果, 本研究で提案した手法 は標準的な言語翻訳とほぼ同様の性能を維持したま ま，言語情報とパラ言語情報の両方を翻訳できるこ とが明らかになった。

## 2 パラ言語情報の翻訳モデル

従来の翻訳システムにおいて, Do らはパラ言語

(a) 従来のパラ言語情報を利用した Cascade ASR-MT Model [1]

(b) 提案するパラ言語情報を利用した Cascade ASR-MT Model (例:Emphasis Tag)

(c) 提案するパラ言語情報を利用した Direct ST Multitask Model (例:Emphasis Tag)

図 1 パラ言語情報の翻訳モデル

情報を離散化して翻訳するシステム [1] を提案した。彼らのシステムは図 1(a) (従来の Cascade ASR-MT Model)のように, ASR 処理後に強調を推定, MT 処理後にその強調を適用している。例えば，“今日は 暑いです.”という音声を，“暑い”を強調して入力 して考えた場合，ASRでは“きょうはあついです” というテキストが出力され，その出力テキストを基 に強調推定を行う．次にその“きょうはあついで す”というテキストを MT に入力することで“It is hot today.”と翻訳されるが，この時に日本語と英語 の対応関係を表す Attention を利用して翻訳箇所と 強調の関係を計算し, “hot” が強調されていること が分かるように出力される。しかし，これを一つの 翻訳システムで考えた場合，様々なモデルを取り入 れることによるシステムの大きさや複雑さ, さらに 翻訳の遅延が発生するなど幾つかの制約がある.

そこで，今回の提案として図 1(b) (提案の Cascade

ASR-MT Model) のように，ニューラルネットワーク を利用して強調推定や強調翻訳を一つのシステム に統合することを考える．その場合，テキストデー タと強調データを同時に翻訳させるため，テキスト データに強調データを付与させることを考える.

例えば，先ほどと同様の“今日は暑いです.”とい う音声を入力した場合，ASR では“きょう 0 は 0 あつい 3 です 0 。 0 ”のように“あつい”に強調のデータを表すものを付与させる．次に，これを MT で翻訳した場合，“It0 is0 hot3 today0 .0” のよう に対応する単語に対して同様に強調のデータを出力 できるように考える．強調を含むテキストデータに ついて，次の 3 種類のテキストデータを提案する。

Emphasis Tag:

Emphasis 1-Token:

きょうは<to3> あつい です。 It is $\langle$ to3 3 hot today

## Emphasis All Token:

<to0>きょう<to0>は<to3>あつい<to0>です<to0>。 $<$ to $0>$ it $<$ to $0>$ is $<$ to $3>$ hot $<$ to $0>$ today <to $0>$.

それぞれの ASR とMTを学習させた後, 図 1(c) (提案の Direct ST Multitask Model) のように Ye らのマル チタスクモデル [2] をベースとした一つのモデルに し，音声からパラ言語情報を含む直接 Speech-to-Text (ST) 翻訳を行う. 本来このマルチタスクモデルは ASR から，ASR，MT のデコーダを介さずに TTS の デコーダからスペクトログラムを出力するモデルで あるが，今回は学習させた ASR のエンコーダと MT のデコーダを利用して学習を行わせる．つまり，同様に強調した音声を入力した際，“きょう 0 は 0 あつい 3 です 0 。 0 ”を出力せず，そのまま MT のモデルを通して “It0 is0 hot 3 today 0.0 ” と出力させ ることを考える。

また，言語によっては音声の強調を副詞等を利用して言語的に強調できる可能性がある [3]. した がって，もう一つの提案としてパラ言語情報を言語情報的に翻訳する実験も同時に行う。

## 3 データセット

## 3.1 使用するデータセットについて

本研究では日本語の母語話者による自然音声と, その書き起こしたテキストデータ，また，単語を挿入することでテキストの内容を強調したデータを 利用する. これは 1029 文をそれぞれ 5 段階の強調

図 2 強調を含む音声合成の生成

図 3 強調を含むテキストの作成 (強調レベル 3 の場合) レベルで作成されたものであり，また，強調レベル に関しては 0 から 4 までのラベルが割り当てられ， その値が高いほど強調される単語が強く発音され る.しかし，このデータは強調を含めて約 5000 文 とデータセットとしては非常に少ない. そこで今回は BTEC (Basic Travel Expressions Corpus) コーパス [4]を利用する．ただし，BTEC には強調を含んだテ キストデータや，音声データが含まれないため，こ れらは人工的に作成した. データ作成に関しては次 の 3.2 節で述べる.

これらを利用して実験を行うが，前述のとおり自然音声のデータは BTEC と比べてはるかに少ないた め，20 倍にオーバーサンプリングして学習データに 追加して実験を行う.

## 3.2 強調を含む音声とテキストの生成

音声はまず，図 2 のようにテキストの一番初めに 現れる形容詞の単語を中心に分離させる. 次に各分離したテキストにおいて、Google Text-to-Speech ${ }^{1)}$ を 利用して合成音声を生成させる. ここで音声の強調 を反映させるように，形容詞部分の音声のみを音量 を 5 段階に分けて変換させる。最後に各音声を連結 させて一つの音声にすることで，強調を含む音声が 生成できる.

また, 図 3 のようにテキストも形容詞前後で分離 させ，それぞれのシステムに合わせて情報を追加さ せた.

1) https://pypi.org/project/gTTS/

図 4 単語の挿入例

## 3.3 挿入を含むテキストの生成

まず自然音声のテキストデータのうち，単語が挿入されたテキストの中からどのような単語が挿入さ れているかを各強調レベルごとに抽出する. これら の抽出した単語のうち最もよく使われている単語 5 つをランダムに選び，図 4 のように形容詞の前に 挿入してテキストデータを作成する。そこで MTを 利用して, 元のテキストデータから正しい位置に単語が挿入されるかを実験した。

## 4 評価実験

## 4.1 実験設定

実験はオープンソースの OpenNMT-py [5] を利用 した. エンコーダとデコーダは Transformer [6] で構成し, 最適化には Adam を使用した. このモデルで ASR と MTを別々に学習させてテストを行い，それ ぞれの結果から評価を行った。続いて $\mathrm{ST}$ 翻訳では ASR と MTのそれぞれの学習済みのモデルを利用し て再度学習させ，MT と同様に評価を行った。また，単語を挿大する実験も同様に MT を利用した。

## 4.2 評価方法

評価方法として，まず各提案したデータセット が，ベースラインである一般的な ASR や MT (No Emphasis) と，2節でも述べた従来法 (Separated) と比較しながら評価を行う，ASRでは単語誤り率 (Word Error Rate：WER)を評価し，MT と ST 翻訳では BTEC と自然音声のテキストデータで, Multi-BLEU, SacreBLEU ${ }^{2}$ を用いて評価する。

また，強調を含む翻訳システムにおいては，出力 テキストを評価する言語評価と, 強調部分が正しい かを評価する強調評価に分けて行う。それぞれの評価の際，強調を表すタグとトークンを分離させ，強調評価の場合は, 全単語での強調レベルを正解デー タとの F1-score を計算する. また，挿入の実験で は，出力が元のテキストを変化させず，各強調レべ


ルに合った単語を挿入できている割合で評価した。

## 4.3 実験結果

## 4.3.1 言語評価

言語評価は表 1 の通りである. Synthetic において はトークンを利用したものが ST 翻訳において 2〜 5 ポイントほど高いことが分かる. 特に, All Token は, No Emphasis と同程度，もしくは 2 ポイント前後向上した. これはトークンを利用することで語彙数の変化が小さい事や，トークンを利用して強調レ ベルを学習できることが考えられる。

逆にタグを付けたものでは ASR の精度が少し向上する一方で，ST 翻訳のスコアは低下した。これ は各単語にタグを付けることによって語彙数が増え ることから，ASRにおいては強調が違えば別の単語 であると認識できる一方で，MT P ST 翻訳において は別の単語であることから翻訳モデルを複雑にして しまうことが原因であると考えられる。

一方，Natural での ST 翻訳の評価はかなり悪く なってしまった。これは ASRでの影響が大きいた め, 自然音声の学習データを増やすなど ASR のス コアを改善する必要がある.

## 4.3.2 強調評価

強調評価は表 2 の通りである. ASR においては従来法よりも同等もしくは高いスコアを出しており,提案法が比較的優れている. 特に提案法では, 言語評価を含めて音声と編集したテキストデータで学習 できていることが分かる.

また，MTやST翻訳においては，強調の含まれる 単語の位置が翻訳結果に依存するため, 文レベルに おいての強調は正しいとしても，単語の位置による 強調が違うことが多かったため, ASR と比べて值は 低い。しかし，提案法においては従来法よりも值は 大きく，強調を含めた翻訳においても提案法が優れ ていると言えるであろう。また，従来法での値が非常に低い理由として，強調が Attention の関係性に依存する一方で，該当する単語に強調が当たってない 結果が多かったことが挙げられる. また，翻訳結果 によって表現が変わることも考えた場合，別の評価方法も考慮する必要がある。

## 4.3.3 挿入評価

挿入評価は表 3 の通りである. 1-Token の方がよ り高い精度で插入を行えていることが分かるが，こ れは各トークンと挿入する単語が対応しているこ
表 1 言語評価

表 2 強調評価 (F1-score)

表 3 挿入評価

とが考えられる。一方で Tags や All Token の場合で は精度が比較的低い。これらは全ての単語にタグや トークンが付いていることから，学習時にそれぞれ の挿入される単語との関係が取れていないことや， それに関連して出現回数が少ない単語に対して対応 できていないことが考えられる。

## 5 おわりに

本研究ではパラ言語情報をニューラルネットワー クを用いて翻訳することを目的として，2 節のよう なモデルやパラ言語情報を含めたテキストを提案し た. 続いて，3節のようにパラ言語情報を含むデー タセットを準備して実験と評価を行った。

実験結果から，従来法と比べると言語評価，強調評価の両方の観点から提案法が高いスコアを出す ことができた. 提案法においてはシステムによって 得手不得手があるが，ST 翻訳においてはトークン
を利用したものが優れた結果を出しており，実用化 を考えた場合は Natural でも従来法より高いスコア を出している All Token が最も適していると考える. また，今回は音声データも含め，学習データの大半 が BTEC のものであるため Natural における結果は 優れているとは言えないが，Synthetic における評価 から学習データによっては現在よりも精度の高いモ デルに学習できる可能性がある.

今後の展望として，音声の強調レベルや挿入デー タに関して人間による主観評価を行うことや，言語強調についても直接翻訳が行えるようにモデル考え ること必要がある．また，自然音声のデータを確保 して Natural の精度を向上させることを目指す.

## 謝辞

本研究の一部は JSPS 科研費 JP17H06101 の助成を 受けたものである.

## 参考文献

[1] Quoc Truong Do, Sakriani Sakti, and Satoshi Nakamura. Sequence-to-sequence models for emphasis speech translation. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 26, No. 10, pp. 1873-1883, 2018.

[2] Ye Jia, Ron J. Weiss, Fadi Biadsy, Wolfgang Macherey, Melvin Johnson, Zhifeng Chen, and Yonghui Wu. Direct speech-to-speech translation with a sequence-to-sequence model, 2019.

[3] Quoc Truong Do, Sakriani Sakti, and Satoshi Nakamura. Toward multi-features emphasis speech translation: Assessment of human emphasis production and perception with speech and text clues. In 2018 IEEE Spoken Language Technology Workshop (SLT), pp. 700-706, 2018.

[4] Genichiro Kikui, Eiichiro Sumita, Toshiyuki Takezawa, and Seiichi Yamamoto. Creating corpora for speech-to-speech translation. In Eighth European Conference on Speech Communication and Technology, 2003.

[5] Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart, and Alexander M. Rush. Opennmt: Open-source toolkit for neural machine translation, 2017.

[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need, 2017.
 徳山 太顕 ${ }^{1}$ Sakriani Sakti ${ }^{1,2}$ 須藤 克仁 ${ }^{1,2}$ 中村 哲 ${ }^{1,2}$ 1 奈良先端科学技術大学院大学 2理化学研究所 革新知能統合研究センター AIP \{tokuyama.hirotaka.ti9, ssakti, sudoh, s-nakamura\}@is.naist.jp  