# 日本語テキスト音声合成のための句境界予測モデルの検討

二又航介 朴炳宣 山本龍一 橘健太郎
LINE 株式会社
kosuke. futamata@linecorp.com

## 1 はじめに

句境界はテキスト音声合成システムを構築する上 で，音声の自然性に寄与する重要な要因の一つであ る. 句境界とは, 連続する句の間に挿入される音声的なポーズとして定義され，息継ぎやアクセントの 変化などにより発生する。表 1 に句境界を含まない 発話文例と句境界を含む発話文例を示す。

表 1 における'w/o PB'は句境界を含まない発話文例，'w/ PB' は句境界を含む発話文例を表す。ま た, 'w/ PB'における’'は句境界を表す. 表 1 の'w/o $\mathrm{PB}$ 'では，句境界が一切挿入されておらず，聞き手 に対して単調で話速の早い発話として印象を与え る. 一方で表 1 の' $\mathrm{w} / \mathrm{PB}$ 'は, 複数の句境界が適切 に挿入されており一定のリズムで発話されるため，聞き取りやすい印象を与える。このように句境界の 有無によって音声の自然性が大きく異なる.

現在までに，LSTM といった深層学習を用いた手法や品詞タグなどの特徴量の効果が，英語を対象と した句境界予測において検証されている $[1,2,3]$. しかし, 深層学習と従来の機械学習アルゴリズムを 組み合わせた手法 (LSTM+CRF) や BERT[4] など大規模分散表現を用いた手法ついては，句境界予測に 対する効果が検証されていない. また，日本語を対象とした句境界予測では, Random forest や CRF な どによる手法が研究されているものの $[5,6,7]$, 深層学習の有用性については十分に検証されていな い. そこで本稿では，日本語テキスト音声合成シス テムの品質向上のために, 様々な特徴量やモデルの 句境界予測に対する効果を検証する。

句境界予測にあたり，入力として与えられる発話文のトークン系列から各トークンの後に句境界が挿入されるべきか否か出力する系列ラベリングのタス クとしてモデルを構築した. また, 句境界予測に用 いたコーパスを分析した結果，非句境界と句境界数 のラベル分布が大きく偏っていることが判明した.
このようなラベルの分布が偏ったデータに対して，有効である Focal-loss[8] を用いることで句境界予測 の精度上昇を図った. 自動評価実験および主観評価実験の結果，BERT および Focal-lossにより，句境界予測の精度が大きく向上し，かつ音声の自然性が 向上することが明らかになった。

## 2 コーパス及び評価尺度

## 2.1 句境界コーパスの分析

句境界予測モデルを構築するにあたって，複数話者から構成される日本語話し言葉コーパス (CSJ) [9] の書き起こし文および単一話者から構成される独自に収集したコーパスを使用した. CSJでは，200 ミリ秒以上の無音区間を句境界として認定し，独自 コーパスには予め定義された句境界を利用した。ま た，各コーパスは Sudachi[10]を用いて分かち書き し，トークン数が 128 以下の発話のみ使用した. 各 コーパスの統計情報を表 2 および表 3 に示す.

表 3 に示す独自コーパスは単一話者から構成さ れ，句境界の挿入位置が予め統制されている。一方 で表 2 に示す CSJ は複数話者による少数の発話か ら構成される。そのため, 息継ぎタイミング，思考 によるポーズなど句境界が挿入される箇所が話者 によって大きく異なる. したがって，CSJでは句境界の分布が話者によって大きく異なる。このような コーパスから，どのような句構造が自然な音声にな りうるか判別することは難しい. しかし，多くの話者に共通する句境界の分布を得ることができれば，万人に共通する自然な音声になると想定される.

## 2.2 評価尺度

前述の問題を解決するために，自動評価尺度とし て F- $\beta$ を使用した. 式 1 に F- $\beta$ の式を示す.

式 1 に示す F- $\beta$ は F-1 を一般化した評価尺度であ り， $\beta \leq 1.0$ として評価することにより，Recall よ
表 1 句境界を含まない発話文例と句境界を含む発話文例

り Precision が重視されて評価されるため, 多くの 話者に共通する句境界が重点的に学習されることが 期待される。また，一般的に誤った箇所に句境界を 挿入するより, 句境界を挿入しない方が自然な音声 になることが知られている [1]. したがって，F- $\beta$ を 用いることで，誤った箇所に句境界が挿入されるこ とが少なくなり，かつ多くの人に共通する句境界が 学習されることが期待される. 本研究では, 経験上 $\beta=0.25$ として Precisionを 4 倍偏重して評価を行 う。また，単一話者から構成される独自コーパスに ついては，F-1を用いて評価を行う.

$
F_{\beta}=\left(1+\beta^{2}\right) \frac{\text { precision } \cdot \text { recall }}{\left(\beta^{2} \cdot \text { precision }\right)+\text { recall }}
$

## 3 自動評価による実験

句境界予測モデルを構築するにあたって，3つの 実験を行った. まず初めに，品詞タグ，構文情報な ど計 5 種類の特徵量の句境界予測に対する効果を検証した. 次に, CRF や BERT などのモデルの効果に ついて検証した. 最後に, 出力ラベルの分布が大き く偏ったデータに対して有効である Focal-loss の効果について検証した。

## 3.1 特徴量の比較実験

まず初めに，様々な特徴量の句境界予測における 効果を検証した. 表 4 に実験に使用した特徴量を示 す. 表 4 における'DEP' には現トークン，親トーク ンの構文タグおよび相対位置を用いた. 'W2V' は wikipediaによる事前学習済みの embedding を表す。実験には，2 層の BiLSTM を使用し，次元数は 512
とした.

実験の結果，CSJでは全ての特徵量において F-0.25 が上昇した. また, 'UD', 'POS', 'W2V' の特徴量を用いたモデルでは, 'Token' のモデルより 2 ポイ ント以上 F-0.25 が上昇し, 'ALL(POS)' では, F-0.25 の値が 63.5 と最も高い結果となった. 一方で，独自 コーパスでは単一の特徴量を追加するだけでは精度が上昇しなかった. 'ALL(POS)'のみわずかに精度が上昇し，F-1 は值は 90.5 であった. これは，独自コーパスが単一話者による発話，かつ句境界の挿入が箇所が統制されているため，CSJ と比較して句境界の分布が整然としているからであると推察さ れる. 特徴量追加による実験結果の詳細は付録の表 12 に示す.

表 4 実験に使用した特徴量

## 3.2 モデル構造の比較実験

前項の実験では，独自コーパスにおいて特徵量を追加しても句境界予測精度の改善がみ られなかった. そこで，前項の実験で用いた BiLSTM に加え， CRF および BERT を用いること により，句境界予測の精度改善を図った. 実験

を対象とした．BiLSTM ゙ースのモデルには，前項 の実験の結果最も性能が高かった'ALL (POS)'を用 いた. BERT の学習済モデルには日本語 Wikipedia で事前学習を行った'cl-tohoku/bert-base'1)を使用し た. BERT $_{\text {last }}$ は通常の BERT の使い方にならい最終層の出力を利用する。一方 BERT $_{\text {mix }}$ では，学習可能 なパラメータを用いて各層の出力に対する加重平均

1) https://github.com/cl-tohoku/bert-japanese

を利用する．BERTは各層において，構文情報や意味情報など異なる特徴量を暗黙的に学習しているこ とが知られているため [11], それらの特徴量が活用 されることを期待する. 表 5 および表 6 に CSJ およ び独自コーパスによる実験結果を示す.

表 5 に示す CSJ の実験では，BERT mix $_{\text {mix }}$ の F-0.25 が 一番高く, 全ての特徴量を含んだ BiLSTM ベースの モデルより F-0.25が高かった. また，全ての層にお ける出力を利用した $\mathrm{BERT}_{\text {mix }}$ において, 最終層の出力のみ用いた $\mathrm{BERT}_{\text {last }}$ より F-0.25が高かった. した がって, BERT の最終層の出力だけではなく各層に おける出力を用いることで，様々な特徴量を暗黙的 に利用し精度が上昇したと推察される。

表 6 に示す独自コーパスによる害験では， $\mathrm{BERT}_{\text {mix }}+\mathrm{CRF}$ の F-1 が一番高く, その他のモデル より優れていた. また，前述の表 5 における CSJ の 実験と同様に BERT $_{\text {last }}$ より $\mathrm{BERT}_{\text {mix }}$ の F-1 の方が高 い結果となった。

以上の結果より，句境界予測に対して，明示的 な特徵量を用いた BiLSTM ベースのモデルより， BERT ベースのモデルの性能の方が高いことが明ら かになった，BERT ベースのモデルでは，BERT の 最終層の出力のみを用いた $\mathrm{BERT}_{\text {last }}$ より, BERT 全層の出力の加重平均を用いた $\mathrm{BERT}_{\text {mix }}$ の結果の方が 高かった. BERT は各層異なる特徴量を暗示的に含 むため, 全層の出力を用いることによって句境界予測の性能が向上したと推察される。また, BERT $_{\text {last }}$ の性能は BiLSTM ベースのモデルとほとんど性能に 差がなかったため, 句境界予測において BERT を用 いる際，異なる複数の層における特徴量を利用する ことが重要であると考えられる。

表 5 CSJ によるモデル構造比較の F-0.25 評価結果

## 3.3 Focal-loss の効果検証

表 2 および表 3 に示した CSJ および独自コーパス における非句境界 (<NB>) と句境界 (<BR>) の分布は 大きく偏っている．表 7 に CSJ及び独自コーパスに 含まれる非句境界と句境界の数および比率を示す.表 6 独自コーパスによるモデル構造比較の F-1 評価結果

表 7 から，CSJおよび独自コーパスにおける非句境界と句境界の比率は大きく偏っており, 非句境界 の数が圧倒的に多いことがわかる．前節までの実験 では, Cross-entropy lossにより句境界予測モデルの 性能を測ったが，Cross-entropy loss は，非句境界と 句境界の損失を同等に扱うため，非句境界に対する loss が多く伝播される傾向にある。そこで，物体検出の分野で一般的に用いられる Focal-loss を導入す る. Focal-loss の式を式 2 に示す.

$
F L\left(p_{t}\right)=-\alpha_{t}\left(1-p_{t}\right)^{\gamma} \log \left(p_{t}\right)
$

式 2 における $\gamma$ およ゙ $\alpha$ は調整可能なパラメータ を表しており，損失の減衰加減を調整する。これに より, 出力確率 $p_{t}$ の大きいサンプルに対する損失 が減衰される. Focal-loss (FL) における $\gamma$ および $\alpha$ は $\gamma=2.0, \alpha=0.4$ とし, $\mathrm{BERT}_{\text {mix }}$ を用いた.また，独自データに関しては，CSJによる学習済みモデル に対して Fine-tuning (FT) した結果も示す. 表 8 およ び表 9 に実験結果を示す.

表 8 および表 9 に示す結果から，Focal-lossを用い ることにより，F-0.25 および F-1 が上昇することが 明らかになった。また，独自データにおいて CSJに よる学習済みモデルを Fine-tuning した結果，わずか に F-1 が上昇した. 以上の結果から, Focal-lossを用 いることにより, 出力確率の高い非句境界に対する loss が減衰され句境界予測における精度が上昇する ことが明らかになった。

表 7 各コーパスに含まれる句境界の比率

表 8 CSJによる Focal-loss の効果

## 4 主観評価による実験

句境界予測モデルの導入によって実際に音声の自然性が向上するか調査するために，テキスト音声合成において自然性に関する主観評価実験を行った。

実験に使用したテキスト音声合成システムは，音素列および句境界情報から音響特徴量を予測 する音響モデル，音響特徴量から音声波形を生成 するボコーダの二つによって構成される．音響 モデルには FastSpeech 2 [12], ボコーダには Parallel WaveGAN [13] を使用した。学習には 5.5 時間からな る単一女性話者の音声コーパスを用いた。詳細なモ デル構造及び学習条件は [14] に従った。また，句境界予測モデルには独自コーパスにより訓練された ものを用いた。

主観評価実験では，聴取実験による平均オピニ オン評点 (MOS: Mean Opinion Score) テストおよび, $\mathrm{ABX}$ テストにより音声の自然性を評価した。それ ぞれの実験において被験者は健常な聴覚である 25 人の成人日本語母語話者が評価した. MOS テスト では、評価者はランダムに掲示される音声サンプル を聴取し，自然性に関して 5 段階 (1: 非常に悪い，2:悪い，3: 普通，4: 良い，5: 非常に良い）で評価した. $\mathrm{ABX}$ テストでは，評価者はランダムに提示される 音声サンプルのペアを聴取し，A と B のどちらがよ り自然であるか，または同じであるか (Neutral) 評価 した. 評価対象として，読点の後のみを句境界とし た'Rule-based' に加光, 'BiLSTM (Token)', 'BiLSTM (All)', 'BERT mix ', 'BERT ${ }_{\text {mix }}+\mathrm{FL}+\mathrm{FT}^{2}$ ', 正解データ である'Reference' の計 6 条件を用いた. MOS テスト では，テストセット 30 発話に対して 6 条件の計 180 発話を，ABXテストでは，テストセット 30 発話の ペアに対して 5 条件の計 300 発話をそれぞれヘッド ホン聴取により評価した. 表 10 に MOS テストの実験結果，表 11 に ABX テストの実験結果をそれぞれ 示す.

表 10 に示す MOS テストの結果では, 'Reference' を除く $\mathrm{BERT}_{\mathrm{mix}}+\mathrm{FL}+\mathrm{FT}$ の評価値が一番高かった. また，'Rule-based'および BiLSTM ベースのモデル，
BiLSTM ベースのモデルと $\mathrm{BERT}_{\mathrm{mix}}+\mathrm{FL}+\mathrm{FT}$ の間 に $5 \%$ 水準で有意な差が見られた。しかし，BERT お よび $\mathrm{BERT}_{\mathrm{mix}}+\mathrm{FL}+\mathrm{FT}$ の間には有意な差が見られ なかった。

表 11 に示す ABXテストの結果では, 'Rube-based' より'BiLSTM (Token)' の評価値が高く，'BiLSTM (All)'より' BERT $_{\text {mix }}$ 'の評価值が高かった。しか し, ' $\mathrm{BERT}_{\text {mix }}+\mathrm{FL}+\mathrm{FT}$ ' より' $\mathrm{BERT}_{\text {mix }}$ ' の評価値の 方が高かった。これは，両方の BERT ベースモデル の F-1 の値の差がわずかなものであり， $\mathrm{ABX}$ テス トに用いられたサンプルによっては予測結果にほ とんど差がない，または'BERT mix ${ }^{\prime}$ の予測結果の方 が'Reference' に近いサンプルが多くみられたからで あると推察される。実際に，両モデルを比較した ABX テストの回答では'Neutral'を選択する割合が 他の ABXテストの回答より極端に高かった。

以上の結果から，テキスト音声合成システムに句境界予測モデルを導入することにより，音声の自然性が向上することが明らかになった。 また，句境界予測モデルの性能が音声の自然性に大きく関係して いることも明らかになった。

表 10 MOS テストの結果 (95\%信頼区間)

表 $11 \mathrm{ABX}$ テストの結果

## 5 おわりに

本稿では，日本語テキスト音声合成のための句境界予測に対して，様々な特徴量，モデル構造の効果 について検証した。自動評価実験の結果，BERT を 用いた句境界予測モデルを導入することにより，そ の他の句境界予測モデルより大きく予測精度が上昇 した. また，主観評価実験の結果，句境界予測モデ ルの精度上昇により，音声の自然性も向上すること が明らかになった。

## 参考文献

[1] Viacheslav Klimkov, Adam Nadolski, Alexis Moinet, Bartosz Putrycz, Roberto Barra-Chicote, Thomas Merritt, and Thomas Drugman. Phrase break prediction for long-form reading tts: Exploiting text structure information. In Proc. Interspeech 2017, pp. 1064-1068, 2017.

[2] Anandaswarup Vadapalli and Suryakanth V. Gangashetty. An investigation of recurrent neural network architectures using word embeddings for phrase break prediction. In Interspeech 2016, pp. 2308-2312, 2016.

[3] Paul Taylor and Alan W. Black. Assigning phrase breaks from part-of-speech sequences. Computer Speech \& Language, Vol. 12, No. 2, pp. 99 - 117, 1998.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2019.

[5] 博子武藤, 勇祐井島, 昇宮崎, 秀之水野, 澄宇阪内. Analysis and evaluation of factors relating pause location for natural text-to-speech synthesis. IPSJ Journal, Vol. 56, No. 3, pp. 993-1002, mar 2015.

[6] Deok-Su NA and Myung-Jin BAE. A variable break prediction method using cart in a japanese text-tospeech system. IEICE Transactions on Information and Systems, Vol. E92.D, No. 2, pp. 349-352, 2009.

[7] Shigeru FUJIO, Yoshinori SAGISAKA, and Norio HIGUCHI. Prediction of major phrase boundary location and pause insertion using a stochastic contextfree grammar. The Transactions of the Institute of Electronics,Information and Communication Engineers., Vol. 00080, No. 00001, pp. 18-25, jan 1997.

[8] Tsung-Yi Lin, Priya Goyal, Ross B. Girshick, Kaiming He, and Piotr Dollár. Focal loss for dense object detection. CoRR, Vol. abs/1708.02002, , 2017.

[9] Hanae KOISO and Kikuo MAEKAWA. The corpus of spontaneous japanese : Its design and transcription criteria. IPSJ SIG Notes, Vol. 143, pp. 41-48, may 2001.

[10] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: a Japanese tokenizer for busi- ness. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[11] Anna Rogers, Olga Kovaleva, and Anna Rumshisky. A primer in bertology: What we know about how bert works, 2020.

[12] Yi Ren, Chenxu Hu, Tao Qin, Sheng Zhao, Zhou Zhao, and Tie-Yan Liu. FastSpeech 2: Fast and highquality end-to-end text-to-speech. In Proc. ICLR (in press), 2021.

[13] Ryuichi Yamamoto, Eunwoo Song, and Jae-Min Kim. Parallel WaveGAN: A fast waveform generation model based on generative adversarial networks with multi-resolution spectrogram. In Proc. ICASSP, pp. 6199-6203, 2020.

[14] Ryuichi Yamamoto, Eunwoo Song, Min-Jae Hwang, and Jae-Min Kim. Parallel waveform synthesis based on generative adversarial networks with voicing-aware conditional discriminators, 2020.

## A 付録

特徴量追加による実験結果の詳細を表 12 に示す.

主観評価に利用した発話文例を表 13 に示す。各発話文における’<BR>'は句境界を表す。各発話文は Github 上のページ2)から再生できる.

表 13 主観評価に利用した発話文例

 \\

2) https://github.com/matasuke/nlp2021-pbp-audio-examples
 二又航介 朴炳宣 山本龍一 橘健太郎 LINE 株式会社 kosuke. futamata@linecorp.com  