# 確率生成モデルに基づく連続音声からの 教師なし音素・単語・文法獲得

落合翔馬 ${ }^{1}$ 長野匡隼 ${ }^{1}$ 中村友昭 ${ }^{1}$
1 電気通信大学
o1910151@edu.cc.uec.ac.jp

## 概要

人間は，二重分節構造を持つ連続音声信号を教師 なしで音素や単語に分割し，文法を学習することが できる。ロボットが人間のように言語を獲得するに は，そのような二重分節構造の学習が可能なモデル が必要となる. 本稿では連続音声から音素・単語・文法を学習可能な確率的生成モデルを提案する。こ のモデルは，音素を学習する Gaussian Process Hidden Semi Markov Model (GP-HSMM) と, 単語・文法を学習する Hidden Semi Markov Model (HSMM) で構成さ れた二階層のモデルである. 実験では，提案手法に よって連続音声から音素・単語・文法を学習できる ことを示す.

## 1 はじめに

人間の幼児は正解を与えられなくとも，教師な しで連続音声信号から言語を学習している。言語は二重の分節構造を持っており，連続音声を 分節化することで音素を，音素を分節化するこ とで単語・文法を学習することができる. そのよ うな人間の言語学習能力を持つロボットを実現 するためには，二重分節構造を持つ時系列デー タを教師なしで分節化可能なモデルが必要であ る。音声認識の分野では，大量の音声データやラ ベル付けされたコーパスを用いた教師あり学習に よって，音声を分割して認識する手法が主に用い られている [1][2][3][4]. しかし，人間は音声信号 から音素・単語・文法を学習するために大量のラ ベル付きデータセットやコーパスを用いておら ず，このような手法は人間の言語学習とは異なっ ている。一方, 教師なしで連続音声から音素と単語を学習するモデルとして, Nonparametric Bayesian Double Articulation Analyzer (NPB-DAA) が提案され ている [5].また，我々は Gaussian Process Hidden

図 1 提案手法のグラフィカルモデル

Semi Markov Model (GP-HSMM)[6][7] と Hidden Semi Markov Model (HSMM) を組み合わせることで，二重 の分節構造を持つ連続音声から音素と単語の学習 が可能な確率的生成モデル GP-HSMM-based Double Articulation Analyzer（GP-HSMM-DAA）を提案した [8]. しかしこれらの手法では, 音素と単語の学習に 留まっており文法の学習までは実現できていない.

そこで本稿では二重分節構造を持つ連続音声か ら音素と単語だけでなく，文法も教師なしで学習可能な確率的生成モデルを提案する．提案するモデル は GP-HSMM-DAA と同様に GP-HSMM と HSMM か ら構成されている階層的なモデルである.この階層構造により，教師なしで音声信号の二重分節構造を 学習することが可能である. 実験では日本語の音声 データから，教師なしで音素，単語そして文法を学習可能であることを示す.

## 2 提案手法

図 1 が提案手法のグラフィカルモデルであり，下位の層が GP-HSMM，上位の層が HSMM で構成さ れた確率的生成モデルである．GP-HSMMを用いて 音声信号から音素列を学習し, HSMMを用いて音素
列から単語と文法を学習する。

## 2.1 生成過程

品詞に相当する単語クラス $v_{i}$ は直前のクラス $v_{i-1}$ によって生成される。

$
v_{i} \sim P\left(v \mid v_{i-1}\right)
$

この単語クラスの遷移規則が文法であり, 従来の GP-HSMM-DAA[8] とは異なる部分である. 次に，単語クラス $v_{i}$ に従い単語 $w_{i}$ が生成される.

$
w_{i} \sim P\left(w \mid v_{i}\right)
$

また，単語 $w_{i}$ を構成している音素クラス $c_{j}$ は直前 の音素クラス $c_{j-1}$ と遷移確率 $\pi_{c}$ によって生成さ れる。

$
c_{j} \sim P\left(c \mid c_{j-1}, \pi_{c_{j-1}}, w_{i}\right)
$

遷移確率 $\pi_{c}$ の生成には階層ディリクレ過程 (HDP) を用い，以下のように Stick-breaking Process によって 生成された $\beta$ を基底測度とした Dirichlet process(DP) によって生成される。

$
\begin{array}{r}
\beta \sim \operatorname{GEM}(\gamma) \\
\pi_{c} \sim \operatorname{DP}(\eta, \beta)
\end{array}
$

これによりデータの複雑さに応じて, 自動的に音素 クラスの数を推定することが可能となる. 音素クラ Х $c$ の音声信号 $\boldsymbol{x}_{j}$ はガウス過程から生成される.

$
x_{j} \sim \mathscr{G} P\left(x \mid X_{c}\right)
$

ただし， $\boldsymbol{X}_{c}$ は音素クラス $c$ のガウス過程のパラメー タである. このように生成された各音素の音声信号 を連結することで連続音声信号 $\boldsymbol{S}=\left.\{\boldsymbol{x}_{1}, \cdots \boldsymbol{x}_{J}\right.\}$ は生成される。

## 2.2 ガウス過程

提案手法の下位層では，単位系列 $\boldsymbol{x}$ 内のタイムス テップ $t$ における出力 $x_{t}$ を連続的な軌道として表現 するためにガウス過程回帰を用いる. ガウス過程回帰では同じクラスに属するタイムステップ $t$ におけ る出力 $x_{t}$ の複数のぺア $(\boldsymbol{t}, \boldsymbol{X})$ が得られた時, タイム ステップ $\hat{t}$ おける出力 $\hat{x}$ の予測分布は以下のガウ ス分布となる.

$
p(\hat{x} \mid \hat{t}, \boldsymbol{X}, \boldsymbol{t}) \propto \mathcal{N}\left(\boldsymbol{k}^{T} \boldsymbol{C}^{-1} \boldsymbol{X}, k(\hat{t}, \hat{t})-\boldsymbol{k}^{T} \boldsymbol{C}^{-1} \boldsymbol{k}\right)
$

ただし， $k(\cdot, \cdot)$ はカーネル関数である. $C$ は， $\boldsymbol{t}$ の $p$番目と $q$ 番目の要素を $t_{p}, t_{q}$ とした時, $p$ 行 $q$ 列の 值が

$
C\left(t_{p}, t_{q}\right)=k\left(t_{p}, t_{q}\right)+\phi^{-1} \delta_{p q},
$

となる行列である。 $\phi$ は観測値に含まれるノイズの 表すハイパーパラメータである。また， $\boldsymbol{k}$ は $k\left(t_{p}, \hat{t}\right)$ を $p$ 番目の要素に持つべクトルである. 本稿では カーネル関数として以下の式を用いる。

$
k\left(t_{p}, t_{q}\right)=\theta_{0} \exp \left(-\frac{1}{2} \theta_{1}\left.\|t_{p}-t_{q}\right.\|^{2}\right)+\theta_{2}+\theta_{3} t_{p} t_{q}
$

$\theta_{*}$ はカーネルのハイパーパラメータである. 出力値 が多次元のべクトル $\boldsymbol{x}_{t}=\left(x_{t}^{(1)}, \cdots, x_{t}^{(d)}, \cdots\right)$ の場合 は各次元が独立に生成されると仮定し, 時刻 $t$ の観測値 $\boldsymbol{x}$ がクラス $c$ に対応するガウス過程から生成さ れる確率 $\mathscr{P}\left(\boldsymbol{x} \mid \boldsymbol{X}_{c}\right)$ を以下のように計算する.

$
\mathscr{S} P\left(\boldsymbol{x} \mid \boldsymbol{X}_{c}\right)=\prod_{d}^{D} p\left(x_{t}^{(d)} \mid t, \boldsymbol{X}_{c}^{(d)}\right)
$

## 2.3 パラメータの推論

提案モデルは二階層のモデルであり，単純にはパ ラメータを推論することが困難である．そこで，各階層を交互に推論することで，モデル全体のパラ メータを最適化する. Algorithm 1 が相互学習を用い たパラメータ推定のアルゴリズムである.

まず下位層において，観測された音声信号 $S$ を GP-HSMM により分節化し音素クラス系列 $C$ をサ ンプリングする．次に，得られた音素クラス系列 を，上位層の HSMM によって分節化することで，単語系列 $W$ と単語クラス系列 $V$ をサンプリングす る. 上位層では分節化された単語 $w$ から音素クラス $c$ が生成される条件付確率 $P(c \mid w)$ を計算し, 下位層 (GP-HSMM) に送る. GP-HSMM では受け取った $P(c \mid w)$ を音素の事前分布として用い，再度音素クラ スのサンプリングを行う. この相互更新を $M$ 回繰 り返すことによってパラメータの最適化をする。

GP-HSMM と HSMM では分節長とクラスを効率的にサンプリングするために Forward Filtering

- Backward Sampling アルゴリズムを用いる. GPHSMM の Frward Filtering では，音声信号のタイムス テップ $t$ を終端とする長さ $k$ の部分系列が音素クラ ス $c$ となる前向き確率は次式のようになる.

$
\begin{array}{r}
\alpha_{p}[t][k][c]=\mathscr{P} P\left(\boldsymbol{x}_{t-k: t} \mid \boldsymbol{X}_{c}\right) P\left(c \mid w_{i}\right) P_{\text {len }}\left(k \mid \lambda_{p}\right) \\
\times \sum_{k^{\prime}=1} \sum_{c^{\prime}=1} P\left(c \mid c^{\prime}, \pi_{c^{\prime}}\right) \alpha_{p}[t-k]\left[k^{\prime}\right]\left[c^{\prime}\right]
\end{array}
$

ただし， $P_{\text {len }}\left(k \mid \lambda_{p}\right)$ は分節長を決める $\lambda_{p}$ をパラ メータとするポアソン分布であり, 遷移確率の 計算には Product of Experts (PoE) 近似を用いて, $P\left(c \mid c^{\prime}, \pi_{c^{\prime}}, w_{i}\right) \approx P\left(c \mid c^{\prime}, \pi_{c^{\prime}}\right) P\left(c \mid w_{i}\right)$ とした. $P\left(c \mid w_{i}\right)$ は，上位層で計算された単語から音素クラス $c$ が発生する確率であり，この確率により単語の持つ言語的な制約を，音素の学習に与えることができる。こ の前向き確率から音素クラス系列 $C$ をサンプリング する。

次に上位層では，音素クラス系列 $C$ を分節化す ることで，単語と単語クラスをサンプリングする。

Foward Filtering では, 音素のタイムステップ $j$ を終端として，長さ $k$ の部分系列が単語となり，そのク ラスが $v$ となる確率は次式のようになる。

$
\begin{aligned}
& \alpha_{w}[j][k][v]=P\left(C_{j-k: j} \mid v\right) P_{\text {len }}\left(k \mid \lambda_{w}\right) \\
& \quad \times \sum_{k^{\prime}=1} \sum_{v^{\prime}=1} P\left(v \mid v^{\prime}\right) \alpha_{w}[j-k]\left[k^{\prime}\right]\left[v^{\prime}\right]
\end{aligned}
$

この前向き確率から単語系列 $W$ と単語クラス系列 Vをサンプリングすることができる. サンプリング された $W$ から $P\left(c \mid w_{i}\right)$ を更新し, GP-HSMM の計算 に利用する。

以上のように，以下の手順を繰り返すことで，下位層と上位層が相互に影響しあい，音素・単語・文法を学習することができる.

1. 音声信号 $S$ から音素クラス系列 $C$ のサンプリ ング

2. 音素クラス系列 $C$ から単語系列 $W$ と単語クラ ス系列 $V$ のサンプリング

3. 各単語から音素が発生する確率 $P\left(c \mid w_{i}\right)$ の更新

## 3 実験

提案手法の有効性を確認するために AIOI-dataset ${ }^{1)}$ を改変したデータを用いて実験を行った.


図 2 音素と単語の精度の推移

## 3.1 実験設定

AIOI-dataset は日本語の母音 $\{\mathrm{a}, \mathrm{i}, \mathrm{u}, \mathrm{e}, \mathrm{o}\}$ で構成さ れた単語 $\{$ aioi,aue,ao,ie,uo $\}$ を組み合わせて作られ た文を発話した音声データである。本実験では AIOI-datasetを単語毎に分割し，規則に従って 2 単語を組み合わせた 2 語文を新規に作成した。想定し た文法規則は以下の通りである。

-一単語目の出現単語: ao, uo, ie

-二単語目の出現単語: aioi, aue, ie

すなわち，文は 9 種類 \{ “ao aioi”, “ao aue”, “ao ie”, "uo aioi" , "uo aue" , "uo ie" , "ie aioi" , "ie aue", “ie ie” \} である.これらを読み上げた音声データの 数は 60 となった. 観測系列として音声信号のメル 周波数ケプストラム係数を Deep Sparse Auto encoder によって 3 次元に圧縮した特徴量を使用した.

単語のクラス数を 2, 相互更新の繰り返し回数 $M=20$ として，特徴量を分節化し文字・単語・文法の学習を行った。また，提案モデルは初期値の依存性があるため，学習を初期値を変えて 10 回試行 し，単語の尤度が最も高い試行の結果を評価に用い た. 評価指標には，正解と音素・単語の分類結果の Adjusted Rand Index (ARI) を用いた. ARI は，分類結果が正解に近いほど，1 に近い値となる指標である.

## 3.2 実験結果

図 2 の横軸が相互更新の繰り返し回数, 縦軸が ARI である．また，赤線が単語の ARIであり，緑線 が音素の ARIである. この図からパラメータの相互更新を行うごとに ARI が上昇しており，提案アルゴ リズムが有効に働いていることが分かる.
表 1 各単語クラスに分類された単語. 数字は音素クラス のインデックス，括弧内の文字は対応する音素である.

表 1 は，HSMM で各単語クラス $v$ に分類された単語（音素の部分系列）である. この結果と想定した 文法規則を比べると，単語クラス 1 に一単語目に出現する単語, 単語クラス 2 に二単語に出現する単語 が分類されており，想定した文法規則が学習されて いる.

## 4 結論と今後の課題

本稿では，二重分節構造を持つ連続音声データ から，教師なしで音素・単語・文法を学習するモ デルを提案した. 提案手法は，GP-HSMM と HSMM を組み合わせた二階層のモデルである．実験では AIOI-dataset から作成した文法の規則が存在する データを用いて，音素・単語・文法が学習可能であ ることを示した.

現状の提案手法ではあらかじめ単語のクラス数 を設定する必要があったため，今後は GP-HSMM と 同様にクラス数を自動的に決定可能な，階層ディリ クレ過程を導入する予定である. また，今回用いた データは非常にシンプルな文法規則を想定した二語文であったため，今後はより複雑な文法規則の学習 が可能か検証する予定である.

## 参考文献

[1] Tatsuya Kawahara, Akinobu Lee, Tetsunori Kobayashi, Kazuya Takeda, Nobuaki Minematsu, Shigeki Sagayama, Katsunobu Itou, Akinori Ito, Mikio Yamamoto, Atsushi Yamada, Takehito Utsuro, and Kiyohiro Shikano."Free software toolkit for Japanese large vocabulary continuous speech recognition", 6th International Conference on Spoken Language Processing, ICSLP 2000, 2000.

[2] George E. Dahl, Dong Yu, Li Deng, and Alex Acero. "Context-dependent pre-trained deep neural networks for large-vocabulary speech recognition”, IEEE Transactions on Audio, Speech, and Language Processing, Vol. 20, No. 1 pp. 30-42, 2011.

[3] Hiroshi Seki, Kazumasa Yamamoto, and Seiichi Nakagawa. "Comparison of syllable-based and phoneme-based dnn-hmm in japanese speech recognition”. 2014 International Conference of Advanced Informatics: Concept, Theory and Application (ICAICTA). pp. 249-254. 2014.

[4] Sei Ueno, Hirofumi Inaguma, Masato Mimura, and Tatsuya Kawahara. "Acoustic-to-word attention-based model complemented with character-level ctc-based model". 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). pp. 5804-5808. 2018.

[5] Tadahiro Taniguchi, Ryo Nakashima, Hailong Liu, and Shogo Nagasaka."Double articulation analyzer with deep sparse autoencoder for unsupervised word discovery from speech signals".Advanced Robotics. Vol. 30, No.11-12, pp. 770-783. 2016.

[6] Tomoaki Nakamura, Takayuki Nagai, Daichi Mochihashi, Ichiro Kobayashi, Hideki Asoh, and Masahide Kaneko. "Segmenting continuous motions with hidden semi-markov models and gaussian processes", Frontiers in neurorobotics, Vol. 11, p. 67, 2017.

[7] Masatoshi Nagano, Tomoaki Nakamura, Takayuki Nagai, Daichi Mochihashi, Ichiro Kobayashi, and Masahide Kaneko. "Sequence pattern extraction by segmenting time series data using gp-hsmm with hierarchical dirichlet process", 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), p. 4067-4074, 2018.

[8] 長野匡隼，中村 友昭，“GP-HSMM に基づく二重分節化モデルによる連続音声の教師なし構造学習”,日本ロボット学会誌，2023
 落合翔馬 ${ }^{1}$ 長野匡隼 ${ }^{1}$ 中村友昭 ${ }^{1}$ 1 電気通信大学 o1910151@edu.cc.uec.ac.jp  