# アクセント単位形の推測を用いた日本語複合語のアクセント句の合成

青柳詠美 ${ }^{1}$ 小島正樹 ${ }^{2}$
${ }^{1}$ 東京薬科大学院 生命科学研究科 ${ }^{2}$ 東京薬科大学 生命科学部
\{s168002, mkojima\}@toyaku. ac. jp

## 概要

現在のテキスト合成音声システム [1] [2]では複合語句内において、話者による強調表現は再現できな いという問題がある。そこで本研究ではNHKアクセ ント辞典 [3] に掲載されているアクセント単位形に 着目し、コンピュータで推測したアクセント単位形 と話者の指定する強調から実際に発生しうるアクセ ント句を推定するアルゴリズムを作成した。まず話 し言葉コーパス (CSJ）[4]に掲載されている長単位 の複合語を対象に、アクセント核の位置からアクセ ント単位形を推定するモデルを作成する。そのモデ ルとCSJのBI ラベルから予測される強調に基づいて アクセント句を合成し、コーパス内のアクセント句 を再現できるか評価する。

## 1 はじめに

近年は様々なテキスト合成音声システム(text to speech)が開発され、AIアナウンサーや自動音声案内 システムなど、人に情報を伝える重要な技術になり つつある。本研究では複合語に着目することで、伝 え手が意図した韻律の音声を提供できる TTS の研究・開発に貢献することを目標とする。

## 1.1 強調を含めたアクセント合成とは

龃踣なく情報を伝達するためには、意味に対して 正確なアクセント句を提供することが重要である。 しかし上記に挙げた先行研究は共に実際に強調した か否かは入力值や特徴量にはなっていない。これは 話者による強調を含んだ表現は再現できないため、 システムでは正確なアクセントが付与された音声が 提供できているとは言い難い状況である。

具体的には以下の例がある。

「長野新幹線車両センター」という場所が現実に 存在するが、この建物は北陸新幹線の建設の際に建設された歴史を考慮すると構文解析は[長野][新幹線車両センター]である。しかし「長野新幹線」という固有名詞は存在する(かつて呼称として東京-長野間 を「長野新幹線」と呼んでいた)ため、この知識がな ければ[長野新幹線][車両センター]年捉えられても 文法上の誤りではない。この単語であれ、他の似た ような構文構造の単語であれ、システム利用者が後者のアクセント句を出力することを想定していない とは否定できない。

どちらの構文構造も文法上取ることが可能である。 またアクセント辞典の記載では単語によっては、時代変化によって複合語の意味要素が薄れ、一つの単語として振る舞うようになる例も存在し、その変化 は境目がなく、意味構造を持った発音と一つの単語 として振る舞う発音の両方が見受けられる場合があ るという指摘もある。

このことから一時的にかかり受け解析の予測等で 確率として高い一つの回答に絞る事は可能であるが、 どちらの選択肢も用意し、係り受けといった専門知識がなくてもユーザーが容易に選択できるように選択できる TTS の必要性を考えた。

そこで NHK アクセント辞典に掲載されているア クセント単位形に着目した。アクセント単位形は複合語のアクセント位置の考え方の一つである。強調時と強調以外のアクセント変化を説明する事が可能 になるため、上記に挙げた構文変化に伴うアクセン 卜変化を説明できると考えた。

本研究ではこのアクセント単位形をコンピュータ で推測し、アクセント単位形と話者の指定する強調 から実際に発生しうるアクセント句を推定するアル ゴリズムを作成した。その上でコーパス内のアクセ ント句を再現できるか評価する。

## 2 実験方法

## 2. 1 構築システムの概要

アクセント核の位置からアクセント単位形予測器 を作成した。具体的にはアクセント核とアクセント 単位形の関係からルールを作成して、自作でラベル 化、 $\mathrm{CRF}$ (条件付き確率場:機械学習)で学習した。次

に強調を含めたアクセント予測実験を行なった。具体的には、上記アクセント単位形推定モデルと強調位置を入力値としてコーパス内の音韻を再現できる か実験した。

## 2. 2 アクセント単位形の推測実験

まず、アクセント単位形を推測するために複合後 のアクセント核の位置を入力值としたアクセント単位形を決定するアルゴリズムを以下の図のように作成した。

1. 該当アクセント核が平板型以外なら、次の単位とアクセント単位は独立 (1) 2. 該当アクセント核が平板型で、次の単位も平板型ならアクセント単位は独立 (1) 3. 該当アクセント核が平板型で、次の単位は平板型以外ならアクセント単位は継続 (0) 4. 該当単位が最終単位ならアクセント単位は独立 (1)

図 1 アクセント単位形決定アルゴリズム

次に、日本語話し言葉コーパス (CSJ)のコア文章 201 講演を対象に短単位が 2 つ以上で構成され、各品詞(自立語のみ) にエントリーされている長単位を 抽出し、テストデータ: 訓練+検証データを $2: 8$ に分

と結合する (0)・しない(1)を推定した。CRF (条件確率場:Conditional Random Fields) [5] [6] とはある入力値に予め付与したラベルの確率分布を計算するこ とで予測する機械学習のアルゴリズムの一種である。今回は特徴量に書く品詞情報や読夕情報、表層形情報を入力し、アクセント単位形が次の単位と結合す る（0）かしない(1)か単語末表現 (EOS)かをラベルと して出力した。EOS は単語末に確実に出現するよう に設定したため、事実上アクセント単位形の結合可否 $(0,1)$ の二値問題である。条件によって学習形態素数が異なるため別途表で示す。

評価には代名詞、副詞以外では 4-fold grid search を行い、正則化関数は Macro $\mathrm{f}$ 値の高かった L1を、ハイパーパラメータ ( $-\mathrm{c}$ オプション)は $[0,0.01,0.05,0.1,0.5,1,5]$ から最も Macrof $\mathrm{f}$ 値の高 かった 1 を評価に用いた。代名詞、副詞ではデー夕数が少なかったため、交差検定は行わず、訓練デー タと検証データで上記と同様にハイパーパラメータ の調整を行った。特徴量は該当単位 2 つ前から 2 つ 先までの trigram、unigram、該当単位 1 前から 1 つ先までの bigramを特徴量とした。

 &  &  \\

## 表 1 各条件における学習形態素数一覧

品詞情報を用いる場合は Unidic[7]のものを用い て、CSJ に記載されている[表層形, 品詞 (LUWPOS), 活用の種類 (LUWCon jugateType), 活用形 (例: 未然形 LUWCon jugateForm), その他の情報 1 (助詞の種類を 示すLUWMiscPOSInfo1）のUnidic で相当する部分を 抜き出して一単位として入力值とした。 Unidicへの変換には Mecab (0.996) [8]で変換を行い、辞書にはアクセントの位置が記載されている Unidic (unidic-cwj-2.3-2.0)を用いた。

## 2.3 アクセント句予測実験

アクセント単位形の推測結果とCSJのBI ラベルを 用いて、コーパスに記載された実際に発生したアク セント句を再現できるかを実験した。以下は本実験 での BI ラベルの解釈である。

BI ラベルとは実際の音のピッチから判断された”次の単位との結合度”を示す[9]。

## 図 2 本実験での BI ラベルの解釈

ベースラインの規則由来のアクセント合成には以下のものを使用した。作成には複合語のアクセント 規則 (匂坂, 佐藤, 1983) や数詞のアクセント規則 (宮崎, 1984）、OPEN J TALK[1]、TASET[2][10]を参考に した。

全ての条件で形態素解析に Mecab(ver0.96) と Unidic (ver2.3.0)辞書を用いた。

## 3 結果と考察

本結果は昨年情報処理学会で発表した名詞句のア クセント単位形推定実験の結果[11]も同時に載せて いる。

$\cdot$sur_la:表層形のみが学習データ

$\cdot$sur_pho_la:表層形と読みが学習データ

$\cdot$sur_pos_la:表層形と読みと品詞情報が学習デー タである条件を示している。

## 3.1 品詞ごとにアクセント単位形推定モデ ルを作成した結果

品詞ごとにアクセント単位形を学習させた結果を 付録 A-1 の図に載せる。どの品詞もアクセント単位形 1 ラベルの $\mathrm{f}$ 值より 0 ラベルの $\mathrm{f}$ 值が低いという 結果になった。またデータが少ない副詞は 0 ラベル が学習できなかった。

動詞等活用形がある品詞も今回は実験の対象のた め、品詞情報を付与した場合のアクセント単位形推定結果をまとめたが、どの品詞も結果が悪化したか 大幅な改善は見られなかった。

## 3.2 品詞ごとの実験の考察

副詞の 0 ラベルの $\mathrm{f}$ 值や他の品詞の $\mathrm{f}$ 値の改善の ため、データを他の組成が似た品詞と合わせる学習 を試みた。理由として以下の表がある。これは本実験で用いたコーパス内(長単位)で各品詞のどの品詞 SUW(短単位)が多いか、種類ごとに分類したグラフ となっている。

図 3 本実験範囲での各品詞組成

副詞は単独で似たような組成の品詞が見つからな いが、副詞自身を除けば他の品詞が満遍なく存在す ると考えると、品詞隔てなく学習することで副詞内
の他品詞の学習が進むのではと考えた。

## 3.3 全ての品詞を含めて推定モデルを作成

## した結果

全ての品詞を含めてアクセント単位形を学習させ た結果を付録 A-2 の図に載せる。表層形のみ、読み 追加の条件で副詞は 0 ラベルも含めて学習できたが 品詞情報を入れると 0 ラベルの正解例がなく $\mathrm{F}$ 值が 計算できなかった。また表層形のみの学習で接続詞 の 0 ラベルが学習できなかった。これは組成表から 考えると接続詞は助詞が多いために他品詞から助詞 を含むような例が少なかったためが考えられる。な お、読みを入れた条件や品詞情報を入れた条件では 0 ラベルは学習可能であることがわかった。全体的 に他品詞を含めて学習していると品詞情報を入れて もアクセント単位形の推測 $\mathrm{F}$ 値は 0 ラベル、 1 ラベ ルともに大幅に上がらないという結果になった。

## 3. 4 アクセント句合成実験結果・考察

次に上記で作成したアクセント単位形推定モデル を用いてアクセント句の推定実験を行った。実験結果について、品詞ごとにアクセント単位形を推定し たモデルを用いた条件のものを付録 A-3 の図に、品詞を全て含めてアクセント単位形を推定したモデル を用いた条件のものを付録 A-4 の図に載せる。

品詞全体を俯瞰して、コーパス内に $1+\mathrm{p}$ (強調する けれどアクセント句は切れないに該当する単語が 見られない品詞も多く、たまたまコーパスに無かつ たのか、本当に日本語としてそう言う事例がないの か疑問が生じた。事例がない場合はアクセント句の 合成においてアクセント単位形を考えるまでもない ということになる。これは今後検討が必要である。

また両方の実験でベースラインにした規則による 強調指定よりもアクセント句の正解率が低い結果は なかった。このことはアクセント単位形の考え方が 他品詞にも使える可能性が考えられる。

アクセント単位形の推測実験同様、品詞情報の付与によるアクセント句の正解率が大幅に改善したと いう例はなかった。

## 3.5 品詞ごとの考察

以下は各品詞の考察である。主だったものを載せ る。

[名詞/代名詞]
品詞情報を付与してもアクセント単位形の推測、 アクセント句の正解率ともに改善が見られなかった。 これは名詞句というものは品詞情報が変化しないた め恩恵を受けにくいためと考えられる。また、数詞 なしの条件において、規則でアクセント句を推定し たものは $1+\mathrm{p}$ (強調あるもののアクセント句は結合:0 ラベルによるもの)の推測で結果が良いことが分か った。これは提案手法のアクセント単位形の 0 ラベ ルの推測成績が悪いことが起因していると考えられ る。提案手法の各条件でアクセント単位形推定タス クの $\mathrm{f}$ 值が異なっていたが、この差はアクセント句合成実験では影響せず、ほぼ同じ正解率を示した。

## [動詞/形容詞]

名詞、代名詞のときとは異なり、全体を通してア クセント単位形推測で全品詞同時学習時の結果が良 い傾向が得られ、アクセント句推測実験の BI ラベル 2〜のタスクで正解率の上昇に寄与していると考え られる。

## [形状詞]

単独学習での品詞情報込みの学習結果のアクセン ト単位形の 0 ラベルの推測能力の低いとき、BI ラベ ル 2 の正解率の低下しており、品詞一括学習だと改善しているため、 0 ラベルの推測の正確性がアクセ ント句の正確な合成に重要であることが言える。

## [副詞]

データ数の不足から副詞単体でのアクセント単位形 0 ラベルの学習は困難であった。副詞の品詞特性 としては、副詞の連続(例:ぶるぶるぶるぶる)とそれ 以外(例:一生懸命、必ずしも、比較的)に分かれ、副詞の連続以外には名詞や形状詞が含まれていた。こ のため、品詞を分けずにアクセント単位形を学習し た場合には、副詞単独ではアクセント単位形の 0 ラ ベルが十分に学習できなかったものが、全品詞を学習させると 0 ラベルも判別できるようになったと考 えられる。

## 4 まとめ

アクセント単位形の推測モデルを用いてアクセン 卜句の推定を行った。全品詞を俯瞰して、アクセン 卜単位形の推測タスクの $\mathrm{F}$ 值、特にアクセント単位形の結合を示す 0 ラベルの推定結果が悪いと、アク セント句の正解率が悪くなる結果となった。 またアクセント単位形の考え方は既存手法よりアク セント句の正解率が上がったため、アクセント句の 推定において提案手法は有用である。

## 5 今後の課題

今回の研究の条件下では以下の 3 つの課題が存在 する。

## 5.1 実験条件について

今回は複合語を入力したときの結果であり、文の 中でどのような品詞条件で、あるいは構文条件で出現したかについて全く考慮していない。例えば、あ る文章中では 1 単位形として出現する単語が特定の 構文条件で 2 単位形に分割する現象があったとして も、今回の実験で表現することは不可能である。こ のため、文単位で入力した際のアクセント単位形が どう変化するかを学習させる、あるいは単語の特徴量に品詞情報以外の文中での振る舞いを示す値を含 めることが必要であると考えられる。

## 5.2 実験データについて

正確なアクセント核は人手でないと付与ができな い。特に平板型のアクセント定義はキャリア文との 接合した際のアクセント変化で判断するため、とあ る文章を入力、発話したときに必ずしも判定できる とは限らない。こう言った事情から多量のアクセン 卜単位形に関するラベルを用意する事は現実的では ない。既に短単位でアクセント核が付与されている コーパス等のデータは限られるため、今後ラベルの 正解率やアクセント句の正確な推定を行うにあたり、機械学習の中でデータ不足を補える方法を検討する 必要がある。

## 5.3 学習単語単位について

今回、学習する単語単位をUnidic (CSJ の SUW) に 固定した。本研究では人手で付与された正確なアク セント核の位置を利用したいという意図で採用した が、先行研究ではサブワード [12] [13] という概念が あり、文法に準拠した単語分割が計算機にとってア クセント単位形を推測しやすいかは検討材料である。分割した際のアクセントの位置について解決した上 で、Unidic 以外の単語分割での検討をしていきたい。

## 参考文献

1. Open JTalk

http://open-jtalk. sourceforge. net/

2. TASET Tokyo Accent Sandhi Estimation Toolkit, https://sites. google.com/site/suzukimasayu ki/accent

3. NHK 放送文化研究所・編『NHK 日本語発音アクセ ント新辞典』2016 年

4. 国立国語研究所『日本語話し言葉コーパス (CSJ)』 https://pj.ninjal.ac.jp/corpus_center/csj/

5. J. Lafferty, A. McCallum, and F. Pereira,

"Condi- tional random felds: Probabilistic models for seg- menting and labeling sequence data," Proc. 18th In- ternational Conference on Machine Learning (ICML), pp. 282-289, 2001.

6. CRF++, Yet Another CRF toolkit

https://taku910. github. io/crfpp/
7. Unidic, https://unidic.ninjal.ac.jp

8. MeCab, Yet Another Part-of-Speech and Morphological Analyzer

https://taku910. github. io/mecab/

9. 五十嵐 他 ” 報告書『日本語話し言葉コーパス の構築法』第 7 章 韻律情報”，国立国語研究所報告 No. 124 (2006)

10. 鈴木 他, ” 条件付き確率場を用いた日本語東京方言のアクセント結合自動推定”，電子情報通信学会論文誌 D Vol. J96-D No. 3 pp. 644-654, 2013

11. 青柳 他 “アクセント単位形の推測を用いた日本語複合名詞のアクセント句の合成” 情報処理学会第 83 回全国大会学生セッション _7N-02. 2021

12. 工藤拓『実践・自然言語処理シリーズ 第 2 巻形態素解析の理論と実装』(株式会社近代科学社者) 2018 年

13. SentencePiece

https://github. com/google/sentencepiece

## A 付録

A-1 アクセント単位形学習結果(品詞ごと)

A-2 アクセント単位形学習結果(品詞一括)

*印のタスクはBIラベル1+pおよび2に該当する単語が存在しなかった。**印のタスクはBIラベル1+pに該当する単語が存在しなかった。***印のタスクはBIラベル1+pの正解率が0だった。

A-3 アクセント句推定実験(品詞ごと学習モデル)

全品詞学習モデルによるアクセント句推定実験

A-4 アクセント句推定実験 (全品詞学習モデル)
 青柳詠美 ${ }^{1}$ 小島正樹 ${ }^{2}$ ${ }^{1}$ 東京薬科大学院 生命科学研究科 ${ }^{2}$ 東京薬科大学 生命科学部 \{s168002, mkojima\}@toyaku. ac. jp  