# 介護支援対話システム MICSUS のための意味解釈モジュール

淺尾 仁彦 ${ }^{1}{\text { 水野 } \text { 淳太 }^{1} \text { 呉 鍾勲 }}^{1}$ Julien Kloetzer $^{1}$ 大竹 清敬 ${ }^{1}$
福原 裕一 1 鎌倉 まな ${ }^{1,2}$ 緒形桂 $1 \quad$ 鳥澤 健太郎 ${ }^{1,2}$
1 国立研究開発法人情報通信研究機構 (NICT) 2 奈良先端科学技術大学院大学
\{asao, junta-m, rovellia, julien, kiyonori.ohtake, fukuhara, kamana, kei.ogata, torisawa $\}$ n nict.go.jp

## 概要

介護支援対話システム MICSUS でユーザ発話を解釈するためのモジュールの概要とその性能等につい てまとめる。MICSUS は介護・支援の必要な高齢者 の健康状態等の定期的なチェックを行うとともに、高齢者のコミュニケーション不足を補うことで、介護従事者の負担を軽減し、高齢者の健康維持を促進 する目的で開発が進められている対話システムであ る。MICSUS は、健康状態等に関する質問に対する ユーザの自由な応答を解釈し記録することができる ほか、ユーザ発話によってはウェブ情報に基づいた 雑談に遷移することも可能である。また、音声認識 エラーによる意味解釈の失敗を防ぐため HBERT と 音声認識エラー検出の 2 つの技術も開発した。

## 1 はじめに

介護支援対話システム $\operatorname{MICSUS}^{1)}$ は、内閣府総合科学技術・イノベーション会議の戦略的イノベー ション創造プログラム (SIP) 第 2 期の支援のもと、 KDDI 株式会社・情報通信研究機構 (NICT) ・NEC ソ リューションイノベータ株式会社・株式会社日本総合研究所の共同で開発が進められている高齢者向け の対話システムである $[1,2]$ 。現在、介護分野では日本だけでなく世界的に人手不足が懸念されており、 $\mathrm{AI}$ の活用に期待が高まっている2)。MICSUS は、ケ アマネジメント業務の負担軽減のため、主にあらか じめ設計した対話シナリオを元に、システムから ユーザに質問する形で高齢者の健康状態、生活習慣等をモニタリングする。同時に、雑談対話システム


図 1 介護用対話システム MICSUS。音声だけでなく表情 やジェスチャーも認識可能

WEKDA [3] 等と接続して、ユーザ発話によっては ウェブ情報を用いた雑談に遷移することで、飽きの こないシステムにするとともに、高齢者のコミュニ ケーション不足を補うことを狙っている。定期的な 健康チェックの徹底やコミュニケーション不足の解消により要介護度の進行や認知症の発症、死亡率を 抑えられることが知られており [4,5]、MICSUS は介護の質を向上させるうえで重要な役割を果たすこと が期待されている。現在、高齢者施設と連携して長期にわたる実証実験を進めている。

MICSUS の外見を図 1 に示した。MICSUS はジェ スチャーや表情も認識可能なマルチモーダルな対話 システムとして開発が進められているが、本発表で は、NICT が担当して研究開発を行っている、ユーザ 発話を解釈するモジュールに議論を絞る。MICSUS の主要機能には、Yes/No 質問による健康状態等の モニタリング、好みや習慣などを聞いて話題を広げ るための個人属性質問応答、ユーザの回答の訂正、重複した質問を避ける含意認識機能、雑談機能があ る。本発表では、このうち一部の機能について、そ の概要と利用例、およびその実現のため構築した、 ユーザ発話を解釈するための深層学習モデルについ て述べる。また、音声対話システムの課題である音
声認識エラーへの対処について、音声認識エラーを 含むテキストに対して頑健な分類を実現する言語モ デル HBERT と、音声認識エラー検出の 2 種類の技術も提案する。特に HBERT は、評価デー夕に音声認識エラーがない場合も含めて、 BERT $_{\text {LARGE }}$ [6] か らの性能向上を実現した。本発表で言及するモデル はいずれも 350GB (22 億文)のウェブテキストで事前学習を行った BERT もしくは HBERTをもとに、 それぞれの機能に合わせた学習データを NICT のア ノテータが作成し、自動生成した学習データと合わ せてファインチューニングを行ったものである。

## 2 関連研究

少子高齢化の進むなかで高齢者を対象にした対話システムは注目を集めており、既存研究に山本ら [7]、大竹ら [8]、下岡ら [9] の対話システムなどがあ る。例えば下岡らは、相づち・問い返し・共感応答 などによってユーザの語りを促す傾聴対話システム を構築しており、音声認識エラーへの対策として、音声認識の信頼度によって応答生成の手法を使い分 けることも実現している。傾聴ないし雑談を主とし たこれらの対話システムと比較すると、MICSUS は 健康状態等のモニタリングという明確な目的をもつ ため、あらかじめシナリオを用意してシステム主導 で目的指向型の対話を行うという点が異なっている が、同時に、雑談機能によってユーザの主体的な話題提供に対応することも可能となっている点にオリ ジナリティがある。

## 3 Yes/No 質問

「夜はよく眠れていますか？」のような Yes/No 質問による高齢者の健康状態等のモニタリングは、 MICSUS の最も基本となる機能である。この機能 のため、Yes/No 質問に対するユーザ応答を Yes, No, Unknown, PresuppositionFailure, Other $の 5$ 値に分類す るモデルを作成した (表 1)。Yes, No 以外のカテゴリ として、Unknown (ユーザがわからないと答えてい る場合)、PresuppositionFailure (ユーザが質問の前提 が成り立たないと指摘している場合)、Other（その 他の場合。ユーザが質問に答えず他のことを言つ ている場合など）が設けてある。モデルは、例えば 「毎日しっかり食べていますか？」という質問に対 し、「食べています」や「いいえ」のような単純な 応答だけでなく、「胃は丈夫なんだよ」「それが最近 すっかり食が細くなって」のような間接的な回答で
あっても適切に分類できるよう、意図的に後者のよ うな発話事例の多い学習データを作成し学習した。

表 1 Yes/No 質問応答の 5 値分類と、「お薬を飲み忘孔な

学習・評価データには、株式会社日本総合研究所 が策定を進めているケアマネジメント標準 [10] に基 づいて作成された介護関連の質問のほか、介讙とは 関係のない一般的な質問も含めることで、幅広い目的で使用できるようにした。最新モデルは評価デー 夕全体では平均精度 (AP) のマクロ平均 $94.3 \%$ 、また 介護とは関係のない一般的な質問応答の評価デー夕 では $98.1 \%$ を達成した3)。2021 年 12 月に高齢者施設で高齢者 1 名を対象に 15 日間にわたり実施した 音声対話での実証実験4)では、ユーザ発話ごとに評価すると正解率 $89.9 \%$ (129 件中 116 件) であった。分類結果が Other の場合は回答を確定させずに再質問する仕様になっているため、再質問のやりとりま で含めて最終的に正解できたかどうかで評価する と、正解率は $94.3 \%$ (123 件中 116 件) であった。不正解となった事例 7 件中 4 件は、ユーザ発話に Yes と判断できる部分と No と判断できる部分の両方を 含むなど、人手でも分類の難しい曖昧な発話をして いるケースであった。

## 4 個人属性質問

個人属性質問は「好きな食べ物は何ですか？」「日課は何ですか？」「昨日は何を食べましたか？」の ように、システムがユーザの好みや習慣などを聞く 質問である。ユーザの回答から雑談 (6 節) につなげ るなどして、モニタリング質問の連続による単調さ を避け、場を和らげることを目的としている。個人属性質問については、ユーザが (「特にない」といつ た回答を含め) 質問に回答したかどうかを判定する 回答有無判定と、ユーザ発話から回答となるキー ワードを抽出する回答部分抽出の 2 種類のモデルを 用意した。回答有無判定によって、その質問を終了

3）アノテータが作文した評価データに基づくものであり、音声認識エラーなどは含まない。評価デー夕についても、意図的に単純な応答を避け、分類が難しいものが多くなるように 作成されている。

4）コロナ禍で大規模な実証実験の実施が難しい状況のため、少人数で実証実験を進めている。

してよいかどうかを判断することができ、また、回答部分抽出によって、例えばユーザが「好きな食べ 物は何ですか？」に対して「最近はお魚がおいしく てね」と答えた場合に、「お魚がお好きなのですね」 のように応答することが可能になっている。

回答部分抽出は、現状、上記の「お魚」の例のよ うに回答が名詞で表せるファクトイド質問の場合に しか対応していない。例えば why, how 等を訊ねる 非ファクトイド質問の扱いは今後の課題となるが、現在、NICT で公開している深層学習版 WISDOM $\mathrm{X}^{5)}$ で実現している技術を応用することで解決でき ると考えている。

## 5 訂正機能

訂正機能は、システムの誤認識（あるいはユーザ の言い間違い) のため一度誤って確定してしまった 回答を訂正する機能である (表 2 に対話例)。この機能により、ユーザは「すみません、訂正があるので すが」「さっきの薬の話に戻れますか？」「一つ前の 質問ですが、よく眠れていないって言ったんです」 のように、任意のタイミングで自由な表現で訂正要求を行うことができる。ただし、このような訂正要求はシステムによる質問等を遮って行わなければ ならないため、不慣れなユーザには難しい。そこ で、システムでそれまでの質問応答の結果を要約 し、「ちょつとこれまでの回答を確認させてくださ い。毎日しっかり食べている、薬を飲み忘れなく飲 めている、ということですが、訂正があれば教えて ください」のように、訂正が必要ないかどうか確認 を促す機能を合わせて実装した。

## 表 2 訂正機能の利用例

訂正機能では、「訂正したいのはその質問じゃな いです」のようなユーザ発話で訂正対象の変更を行 うことや、システムが訂正の意図を誤認識した場合 に「訂正ではありません」のようなユーザ発話で訂正をキャンセルすることも可能になっている。


## 6 雑談

雑談機能は、ユーザ発話の内容が雑談的である ときに、NICT で開発している雑談対話システム WEKDA [3] を使用して雑談的な応答を返す機能で ある。表 3 に雑談の例を掲載した。

表 3 雑談の例

WEKDA は、ユーザ発話に含まれる名詞をもとに ウェブ文書から雑談に適した情報を検索すること で雑談応答を実現するシステムであり、深層学習版 WISDOM X の採用などにより性能が大きく向上 しているが、詳細については本発表では省略する。 MICSUS には、雑談に移行するのにふさわしいユー ザ発話を検出する雑談開始判定と、雑談を終了する ほうがよいユーザ発話を検出する雑談終了判定の 2 つのモデルを実装した (このほか 7.2 節で述べる音声認識エラー検出も利用される)。

## 7 音声認識エラーへの対応

MICSUS は音声で対話を行うシステムであるた め、入力には音声認識エラーが含まれている可能性 があり、音声認識エラーがあっても対話を大きく破綻させることなく動作させることが重要な課題にな る。この節では、音声認識エラーの影響を抑えるた め導入した HBERT と音声認識エラー検出という 2 種類の技術について述べる。HBERT は、音声認識 エラーがない場合も含めて性能向上を実現した。

## 7.1 HBERT

単語列を入力とする通常の BERT では 2 つの単語等が音声的に似ているという情報を利用することは 難しい。そのため、ユーザ入力に音声認識エラーが あるとその性能は大きく落ちる。この問題に対処す るため、HBERT と呼ばれる技術を開発した。これ は、通常の漢字力ナ混じり表記の入力以外に、形態素解析によって得られる力ナ表記も入力に加えて 事前学習を行うものである。事前学習済みのモデル をファインチューニングする際に、疑似的な音声認
表 4 主なモデルでの BERT と HBERT の比較

MICSUS で使用しているモデルのうち一部のみを示している。AP は平均精度 (average precision)。開発データで最も性能 の良かったモデルの評価データでの性能を掲載している (ハイパーパラメータの探索範囲はモデルによって異なる)。「ノイズあり」の性能は、ノイズ率 $0 \% 、 10 \% 、 20 \% 、 50 \%$ の 4 種類の評価データでの評価結果の平均。学習デー夕件数に ついては括弧内で、直接アノテータがユーザ発話を人手作成したものの件数を示した。それ以外の学習データとして、既存の言語資源を利用したものや、システム発話との組み合わせの変更、複数のユーザ発話の連結などによって機械的 に生成したものがある。HBERT のためにノイズを加えて生成したものは学習デー夕件数に含まない。

識エラーとして学習データにノイズ6)を入れること で、音声認識エラーに対して頑健なモデルを実現す ることができる7)。表 5 に音声認識エラーに対して 頑健な動作の例を示す。

表 5 音声認識エラーに頑健な Yes/No 分類の例 システム：お水をよく飲んでいますか？ ユーザ：飲んでます（音声認識結果：飛んでます） システム：お水をよく飲んでいるのですね。

表 4 に主要なモデルの BERT 版と HBERT 版の性能比較について要約した。ノイズなしの評価データ による性能と、ノイズありの評価デー夕による性能 の 2 種類を示している。表に示したいずれのモデル でも、BERT、HBERT ともにノイズありの評価デー 夕を用いた場合には性能が落ちるが、HBERT は比較的性能の低下が小さいことがわかる。また、ノイ ズなしの評価デー夕を用いた場合にも、表に示し た全てのモデルで HBERT は BERT を上回る性能と なっている。

## 7.2 音声認識エラー検出

個人属性質問や雑談機能などでは、HBERTを使用するかどうかにかかわらず、ユーザが用いた名詞 をシステム発話で利用するため、そのキーワードが 音声認識エラーの結果生じた語である場合は致命的 な対話の破綻を招いてしまう (表 6)。特に、雑談開始判定は、ユーザが新しい話題を出したときに雑談開始と判定することを意図しているため、音声認識 エラーで予期しない語が認識されると、それが原因 で誤って雑談開始してしまう可能性が高い。

6）ノイズは音素列で表現した単語間の編集距離に基づき、類似した単語にランダムに置き換えることで作成した。ノイズ を入れる単語の割合は $0 \% 、 10 \% 、 20 \% 、 50 \%$ の 4 種類を試し た。表 4 では開発データで最高性能になったものについて報告している。評価デー夕のノイズも同じ方法で生成している。

7）関連研究として、通常の英単語列の他に、音声認識結果を 発音記号で入力させる Phoneme-BERT [11] がある。表 6 雑談における音声認識エラーによる対話破綻の例 システム： 毎日しつかり食べていますか？ ユーザ：はい、ちゃんと食べてます。 (音声認識結果: 愛車と食べてます。) システム： 適切なコーティングを愛車に施すと污れ にくくなるといった情報がありましたよ。

このような対話の破綻を防ぐため、ユーザ発話に 含まれる名詞について、音声認識エラーによるもの かどうかを判別するモデルを作成した。このモデル を利用し、音声認識エラーがあった場合は雑談開始 としない (もしくは、音声認識エラーの部分を捨て、残りの部分で雑談開始するかどうかを判定する）と いう動作を実現できる。音声認識エラー検出モデル の学習データにあたって、人手作成したユーザ発話 に含まれる名詞を他の名詞にランダムに差し替える ことで疑似的な音声認識エラーとした。同じ方法で 作成した疑似的な評価データでの精度は $99.9 \%$ を 達成した。また、このモデルが実装されていなかつ た 2021 年 6 7 月の実証実験では、音声認識エラー のため誤って雑談開始してしまったケースが 13 件 あったが、このモデルを実装すると、その全ての ケースについて音声認識エラーが検出でき、誤った 雑談開始を避けることができることがわかった。

## 8 おわりに

本発表では、介護用対話システム MICSUS でユー ザ発話を解釈するために開発したモデル群について 報告した。今後さらに高齢者を対象とする実証実験 を重ねてその結果をシステムの改善につなげるほ か、NICT で開発、公開している深層学習自動並列化ミドルウェア RaNNC [12] を用いたより大規模な 言語モデルを採用することで、さらなる精度の向上 を目指す。

## 謝辞

本研究は総合科学技術・イノベーション会議の戦略的イノベーション創造プログラム (SIP) $\left.{ }^{8}\right) 「 \mathrm{Web}$等に存在するビッグデータと応用分野特化型対話シ ナリオを用いたハイブリッド型マルチモーダル音声対話システムの研究」(管理法人：NEDO）によって 実施されたものである。

## 参考文献

[1] Yoshihiko Asao, Julien Kloetzer, Junta Mizuno, Dai Saiki, Kazuma Kadowaki, and Kentaro Torisawa. Understanding user utterances in a dialog system for caregiving. In Proceedings of the 12th Language Resources and Evaluation Conference (LREC2020), pp. 653-661, 2020.

[2] 淺尾仁彦, Julien Kloetzer, 水野淳太, 齊木大, 門脇一真, 鳥澤健太郎. 介護用対話システムのた めの高齢者の発話理解. 言語処理学会第 26 回年次大会発表論文集, pp. 125-128, 2020.

[3] 水野淳太, クロエツェージュリアン, 田仲正弘,飯田龍, 呉鍾勲, 石田諒, 淺尾仁彦, 福原裕一, 藤原一毅, 大西可奈子, 阿部憲幸, 大竹清敬, 鳥澤健太郎. WEKDA: Web 40 億ページを知識源と する質問応答システムを用いた博学対話シス テム. 人工知能学会第 84 回言語・音声理解と 対話処理研究会, pp. 135-142, 2018.

[4] 株式会社日本総合研究所. 平成 25 年度老人保健事業推進費等補助金老人保健健康増進等事業居宅サービス等における適正化とサービス の質の向上および保険者機能強化のための調査研究事業報告書, 2014.

[5] 斉藤雅茂, 近藤克則, 尾島俊之, 平井寛, JAGES グループ. 健康指標との関連からみた高齢者 の社会的孤立基準の検討: 10 年間の AGES コ ホートより. 日本公衆衛生雑誌, Vol. 62, No. 3, pp. 95-105, 2015.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL): Human Language Technologies, Volume 1, pp. 4171-4186, 2019.

8) https://www8.cao.go.jp/cstp/gaiyo/sip/
[7] 山本大介, 小林優佳, 横山祥恵, 土井美和子. 高齢者対話インタフェース：『話し相手』と なって、お年寄りの生活を豊かに. 電子情報通信学会技術研究報告. HCS, ヒューマンコミュ ニケーション基礎, Vol. 109, No. 224, pp. 47-51, 2009 .

[8] 大竹裕也, 萩原将文. 高齢者のための発話意図 を考慮した対話システム. 日本感性工学会論文誌, Vol. 11, No. 2, pp. 207-214, 2012.

[9] 下岡和也, 徳久良子, 吉村貴克, 星野博之, 渡部生聖. 音声対話ロボットのための傾聴シス テムの開発. 自然言語処理, Vol. 24, No. 1, pp. 3-47, 2017.

[10] 株式会社日本総合研究所. 平成 30 年度厚生労働省老人保健事業推進費補助金 (老人保健健康増進等事業）適切なケアマネジメント手法 の策定に向けた調査研究報告書, 2019.

[11] Mukuntha Narayanan Sundararaman, Ayush Kumar, and Jithendra Vepa. Phoneme-BERT: Joint language modelling of phoneme sequence and ASR transcript. In Interspeech 2021, 2021.

[12] Masahiro Tanaka, Kenjiro Taura, Toshihiro Hanawa, and Kentaro Torisawa. Automatic graph partitioning for very large-scale deep learning. In Proceedings of 35th IEEE International Parallel and Distributed Processing Symposium (IPDPS 2021), pp. 10041013, 2021.
 淺尾 仁彦 ${ }^{1}{\text { 水野 } \text { 淳太 }^{1} \text { 呉 鍾勲 }}^{1}$ Julien Kloetzer $^{1}$ 大竹 清敬 ${ }^{1}$ 福原 裕一 1 鎌倉 まな ${ }^{1,2}$ 緒形桂 $1 \quad$ 鳥澤 健太郎 ${ }^{1,2}$ 1 国立研究開発法人情報通信研究機構 (NICT) 2 奈良先端科学技術大学院大学 \{asao, junta-m, rovellia, julien, kiyonori.ohtake, fukuhara, kamana, kei.ogata, torisawa $\}$ n nict.go.jp  