# 積極傾聴におけるあいづちのタイミングの予測

福野将人狩野芳伸
静岡大学総合科学技術研究科情報学専攻
mfukuno@kabolab.net
kano@inf.shizuoka.ac.jp

## 1 はじめに

ユーザと対話することを目的としたシステムを対話システムといい、その中でもユーザの話に適切に あいづちを打つなどして話を聞くことに特化した対話システムを傾聴システムという。

本研究ではユーザに楽しんで話してもらうことの できる積極傾聴システムを作ることを目指して、ま ずはあいづちのタイミングを予測することのできる 分類器の制作を試みる。またその過程でその学習・評価に適したコーパスも制作する。

## 2 背景

傾聴システムには入院患者や高齢者の話し相手と なること[1]や、ユーザの話したい、話を聞いてもら いたいといった欲求を満たすこと [2]が期待されて いる。

このようなシステムでは、話し手であるユーザの 発話を聞き手であるシステムが積極的に引き出し、 ユーザにできるだけ楽しんで話してもらう必要があ ると考えた。本研究ではそのような積極的な傾聴の ことを積極傾聴と呼びたい。

## 2.1 先行研究

我々は SVM を用いて以前にも同様の研究に取り 組んだが、この際には積極傾聴ではない普通の対話 を収録したコーパスである千葉大学 3 人会話コーパ ス[3]を用いてデータセットを制作し、システムの学習・評価を行っていた[4]。しかし本来積極傾聴を行 うシステムを作るなら、その学習には積極傾聴を収録したコーパスを用いることが望ましい。

類似の先行研究としては遠隔操作のアンドロイド を用いて積極傾聴を行わせ、その対話音声を元に間休止単位ごとであいづちを行うかどうか予測したも のがある[5]。本研究では生身の人間同士の対話を 収録したことに加えて、音響的な特徴量に加えて言語的な特徴量も用いることでさらに自然な予測を行 うことを目指した。

## 3 手法

まず積極傾聴の対話を収録したコーパスを制作し、 それを元にあいづちのタイミングを予測することの できる分類器の制作を試みる。

## 3.1 コーパスの制作手法

対話音声の収録 収録のために 2 人の実験協力者 を得た。2 人には対話収録のために設置した防音室 に入って対面に着席し、それぞれに指向性のへッド セットマイクを着用して対話を行ってもらった。

2 人のうちの片方には相手にできるだけ楽しんで 話してもらうような積極傾聴を行うように指示した。

1 対話あたりの収録時間は当初は自然に対話が終了するまでとしていたが、この手法では実験協力者 からどこで話を終えれば良いのか分からないという 声が出た。そこで途中からは収録時間が 10 分を超 えたところで側にいる収録担当者(音声をモニタす る役目で対話には参加しない)が静かに立ち上がり、対話の終了を促すことにした。

対話は合計で 30 分 38 秒収録した。

収録音声の書き起こし・アノテーション 収録し た音声のうち 18 分 44 秒についてアノテーションツ ール ELAN[6]を用いて書き起こし、アノテーション を行った。

付与するタグは千葉大学 3 人会話コーパスを元に 先行研究[7][8]の内容を取り込んだもので、その一覧 は付録に掲載した。

形態素ごとの Forced Alignment 音声と書き起 こしテキストからだけでは、発話途中の任意の時刻 にどの形態素まで発話されているかが分からない。 あいづちは対話相手の発話の途中で起こることもあ るから、後の学習のために音声認識エンジン Julius[9][10]を用いて Forced Alignment を行い、発話中の各形態素の開始・終了時刻を別途求めることに した。

Forced Alignment は対象の発話ごとにそれ専用の 言語モデルを作ることで行った。

1. 対話音声を各発話(各アノテーションの区間) で分割する

2. アノテーションから転記タグを除去し、 kuromoji で形態素単位に分割する

3.よみがなタグの内容を各形態素と対応させ、各形態素のよみがなを調べる

4. Julius を用いて各形態素のよみがなを音素列 に変換する

5. 各形態素と音素列を元に Julius の言語モデル を生成する
6. 1 の手順で分割した音声ファイルに対し、 5 の 手順で生成した言語モデルを用いて Julius で Forced Alignment を実行する

Forced Alignment $の$ 精度は、千葉大学 3 人会話コ 一パスの音声の 1 つ(chiba0132-A.wav)に含まれる 2 語以上の発話を用いて評価したところ RMSE で 0.105 秒だった。

## 3.2 対話システムの制作手法

まずコーパスを元にデータセットの生成を行い、次にそのデータセットを用いてあいづちタイミング 予測モデルの学習・評価を行った。

データセットの作成 本研究で収録したコーパ スと、それに加えて事前学習用に千葉大学 3 人会話 コーパスを用いてデータセットを作成した。
- 特徴量の計算手法 コーパスから 1 話者の音声を抽出し、2048 フレームごとの窓区間に分割する

A) 図 1 に表すように、窓区間ごとの音声波形にプリエンファシスフィル タ・ハミング窓を適用後、17 次元の $\mathrm{MFCC}($ メル周波数ケプストラム係数)を計算し、それぞれ直前の 128 区間ぶんの MFCC を音響的特徴量と する

B) 図 2 に表すように、形態素ごとの Forced Alignment 結果をもとにその 区間までに発話された形態素を 10 個求め、その単語埋め込み(100 次元)を言語的特徵量とする
- ラベルの計算手法

特徵量の計算に使った話者の話し相手 $\mathrm{i}$ の音声を抽出し、2048 フレームごとの窓区間 に分割する。

分割後の各区間とその前後の 100 ミリ秒以内にあいづちを含むあらゆる発話の開始が あれば正、それ以外に負のラベルを付与す る。

## 直近の音声波形

2048フレーム

64空区間

(2.972秒)

MFCC

## 17次元

## 入力(音響的特徴量)

## inputA

(inputA)

図 1 音響的特徴量の計算手法

直近の形態素

100次元

入力(言語的特徴量)

## input

(input T)

図 2 言語的特徴量の計算手法
$ 千葉大学 3 人会話コーパスの場合は相手が 2 人い るのでそれぞれに計算する
}

MFCC の計算には内製の音響解析器 nyankyo を用 いた。単語埋め込みについては学習済み Word2 Vec モ デルである日本語 Wikipedia エンティティベクト ル[11]を用いて取得した。

またデータセットの作成後、全ての特徴量につい て標準正規分布に従うよう標準化を行い、その後デ ータセットのおよそ 9 割(バッチサイズで割り切れ る数に微調整した量)を学習用、残りを評価用に分割 した。さらに学習用については正例を 21 倍にオー バーサンプリングし、正例と負例がおおよそ同数に なるようにした。

モデルの作成 今回用いたモデルを図 3 に示す。 LSTM と MLP から成る多層構造のニューラルネッ トワークであり、その構造は以下のようなものであ る。

1.【inputA/inputT】事前に計算した音響的特徴量ならびに言語的特徴量

2.【 【stmA/lstmT】1 の出力を many to one 型の LSTM に入力する

3.【merge】音響的特徴量・言語的特徴量それぞ れで計算した 2 の出力を結合する

4.【dense1】3 の出力を全結合層に入力する

5.【dense2】4 の出力を全結合層に入力する

6.【output】出力層

また各層の設定は表 1 に示す通りである。

図 3 LSTM+MLP モデル表 1 モデル各層の設定

学習にあたっては、まず千葉大学 3 人会話コーパ スを用いて事前学習を行い、次に本研究で収録した コーパスを用いて本学習を行った。モデルの作成や 学習には Deeplearning4Jを用いた。

またコーパスとは別に、本研究で収録した音声の 1 つについて 4 人の協力者からアンケートを取り、 あいづちを打つべきタイミング全てに印をつけても らった。この結果平均しておよそ 13 秒に 1 回のぺ ースであいづちが打たれることがわかったので、そ れを参考に手作業でモデルのチューニングを行った。

## 4 評価

## 4.1 統計的評価

データセットから評価用に分割したおよそ 1 割を 用いて、Accuracy、F1 などを求めた。千葉大学 3 人会話コーパスを用いた評価結果を表 2 に、本研究で 収録したコーパスを用いた評価結果を表 3 に示す。
本学習の効果を検討するため、評価は本学習に本研究で収録したコーパスを用いた場合と用いなかつ た場合とでそれぞれ別々に行った。また入力に言語的特徴量を用いた効果を検討するため、モデルから 言語的特徴量の部分を除いて音響的特徴量のみを用 いた場合の結果も求めた。

表 2 千葉大学 3 人会話コーパスを用いた 統計的評価の結果

 &  &  \\

表 3 本研究で収録したコーパスを用いた 統計的評価の結果

 &  &  \\

ただ、これらの評価値は 2048 フレーム(0.046 秒) ごとに正しく予測できたかで評価されているが、あ いづちを打つタイミングには前後に多少のズレが許容できると考えられる。また 3.2 項でチューニング に使ったアンケートでは回答に相当の個人差があっ た。このことからあいら゙ちには実際打たれるタイミ ングよりも、打てるけれども打たないタイミングが 多くあり、その選択に明確な正解というものは無い とも考えられる。

そこで別途アンケートで人的評価を行うことにし た。

## 4.2 人的評価

本研究で収録した対話音声のうち、音声には問題 のない軽微な収録ミス(映像の録画トラブル)が原因 で学習にも評価にも用いなかった 1 分 42 秒ぶんを 用いてあいづちのタイミング予測を行い、その自然 さをアンケートで 5 人の協力者に評価してもらった。結果を表 4 に示す。表 4 人的評価の結果

 &  &  \\

アンケートの手法としては、対象となる音声の波形上に予測されたあいづちのタイミングが表示され るようなアンケート専用の Web サイトを作成し、そ れらのタイミングについて 1(全く自然でない)から 5 (とても自然)の間で 5 段階評価してもらった。

なお 3.2 項で書いたように今回制作したモデルは 13 秒に 1 回ほどあいづちを打つようにチューニング したが、アンケートへの回答後、協力者全員があい づちの頻度が低くもっと打つべきだとコメントした。

したがって頻度をより高く調整することで評価も より高いものにできる可能性がある。

図 4 人的評価に用いた予測結果

人的評価に用いた音声の波形とあいづちタイミン グの予測結果を図 4 に示す。青い縦線の瞬間が予測 されたタイミングを表しており、主に各発話の間の 短い無音区間があいづちのタイミングと予測されて いることがわかる。

## 5 おわりに

本研究では積極傾聴システム制作のための第一歩 としてあいづちのタイミングを予測することのでき る分類器の制作を試みた。したがって入力特徵量と しては既に録音・書き起こし済みのテキストを用い たが、今後はリアルタイムの実音声を入力として、音声認識と特徴量の漸次計算を行いながらあいづち のタイミングの予測を行うような積極傾聴システム に発展させたいと考えている。

またあいづちはそのタイミングに加えて、感動系応答詞、オウム返し、共同補完などの種類の使い分 けも重要である。今回収録したコーパスではそれら の種類についてもアノテーションを行っているので、 これを元にあいづちのタイミング予測に加えて種類 の分類も行えるようにしたい。コーパス自体をさら に拡充させ公開することも予定している。

## 参考文献

1. 北野浩章. 応答やあいづちに用いられる照応的な「そう」について:談話データにみる自然な対話の特徵. 京都大学言語学研究. 2000, no. 19, p. 79-94.

https://ci.nii.ac.jp/naid/120001712102, (参照 2019-01-31).

2. 目黒豊美, 東中竜一郎, 堂坂浩二, 南泰浩.聞き役対話の分析および分析に基づいた対話制御部の構築. 情報処理学会論文誌. 2012, vol. 53, no. 12, p. 2787-2801.

http://ci.nii.ac.jp/naid/110009493426/ja/, (参照 2020-03-20).

3. DEN, Y. A scientific approach to conversational informatics : Description, analysis, and modeling of human conversation. Conversational Informatics : An Engineering Approach. 2007. https://ci.nii.ac.jp/naid/10020493675, (参照 2019-02-06).

4. 福野将人, 狩野芳伸. 音響的特徴を用いた応答の使分け・挿入行う 傾聴対話システムの 試作. SIG-SLUD. 2018, vol. B5, no. 02, p. 9293.原康平，井上昂治，高梨克也，河原達也.“相槌・フィラー予測とのマルチタスク学習に よる円滑なターンテイキング". 第80回全国大会講演論文集. 2018, p. 409-410.

6. Han Sloetjes, Peter Wittenburg. Annotation by Category: ELAN and ISO DCR. 2008. http://www.lrecconf.org/proceedings/lrec2008/pdf/208_paper.pd $\mathrm{f}$, (参照 2021-01-13).

7. Sakishita Masahito, Kishimoto Taishiro, Takinami Akiho, Eguchi Yoko, Kano Yoshinobu. Large-Scale Dialog Corpus Towards Automatic Mental Disease Diagnosis . Springer Verlag, 2020. http://www.scopus.com/inward/record.url?scp=8 5070566443\&partnerID=8YFLogxK

8. Den Yasuharu, Koiso Hanae, Takanashi Katsuya, Yoshida Nao. "Annotation of response tokens and their triggering expressions in
Japanese multi-party conversations." LREC. 2012, p. 1332-1337.

9. Lee Akinobu, Kawahara Tatsuya, Shikano Kiyohiro. Julius---an open source real-time large vocabulary recognition engine. 2001.

10. 李晃伸. Julius を用いた音声認識インタフェ ースの作成. ヒューマンインタフェース学会基礎講座 第三回, 2009. 2009, p. 2-8.

https://ci.nii.ac.jp/naid/20000503286/, (参照 2019-01-31).

11.鈴木正敏，松田耕史，関根聡，岡崎直観乾健太郎. Wikipedia 記事に対する拡張固有表現ラベルの多重付与. 言語処理学会 第22回年次大会 (NLP 2016). 2016.

https://www.anlp.jp/proceedings/annual_meeting /2016/pdf_dir/A5-2.pdf.

## A 付録

 \\


 福野将人狩野芳伸 静岡大学総合科学技術研究科情報学専攻 mfukuno@kabolab.net kano@inf.shizuoka.ac.jp  