# 対話システムは疑問符なしで適切な応答生成できる 一音声対話を目的とした，疑問文に対する応答生成の調査一

水本智也 ${ }^{1}$ 山崎天 ${ }^{1}$ 吉川克正 ${ }^{1}$ 大萩雅也 ${ }^{1}$ 川本稔己 ${ }^{1,2}$ 佐藤敏紀 ${ }^{1}$
${ }^{1}$ LINE 株式会社 2 東京工業大学
\{tomoya.mizumoto, takato.yamazaki, katsumasa.yoshikawa,
masaya.ohagi, toshiki.kawamoto, toshinori.sato\}@linecorp.com

## 概要

人が音声で対話する際，テキストベースの対話と は異なる現象が見られる. テキストベースの場合,疑問文は疑問符“?”を付けることが一般的である が，音声対話では語尾を上げて疑問を表すことがあ る。音声認識エンジンには疑問文に対して“?”が 付与されないものも多くあり，音声対話システムを 作る際に障害となり得る。例えば，音声で「適切な 応答生成できる？」と入力された際に，文末の“?” があるかないかで文意は異なり，システムがすべき 適切な応答も変わる. 本研究では, “?”の有無が対話システムに与える影響を調査し，またどのような 発話がより対話に影響するか実例を元に考察する。

## 1 はじめに

スマートフォンやスマートスピーカーの普及に伴 い，音声によってデバイス操作することが一般的と なってきた. 対話システム研究の分野においても自然言語処理の枠を越えて，ロボットや CG エージェ ントを使って，ユーザとマルチモーダルな音声対話 を行うコンペティションが開催されている $[1,2,3]$ が，コンペティションに参加した多くの対話システ ムは書き言葉コーパスを使って作られている.

音声で対話を行う際は，テキストベースの対話に はない難しさが生じる. その中の一つに音声認識さ れたテキストに句読点や疑問符 (以下，“?”) などの 記号 (約物) が付与されていない問題がある. そのよ うな問題に対処するために約物の自動付与の研究も 行われている $[4,5,6]$.

入力文に約物がないと，入力文が平叙文か疑問文 か区別できない問題が生じる．音声対話では語尾を 上げて疑問を表現することがあり，テキストにする と疑問とわからないことがある．例えば，NLP2023

図 1 疑問文に対する応答の評価の例。疑問に対する応答 のため，二番目三番目は不適当な応答となる。

に参加するか聞く際，「NLP2023 に参加する？」と 語尾を上げて疑問として聞くことができるが，音声認識でテキストに起こされると「NLP2023 に参加 する」となる．疑問であった情報は落ち，テキスト ベース対話を想定した既存の対話システムは平叙文 と認識し，応答生成に失敗する可能性がある.

そこで本研究では，対話コンペティションでも主流のテキストベース対話を想定したシステムが，音声認識で得られた，疑問符のない疑問発話にどれだ け頑健か調査する。“?”の有無が応答生成に影響し なければ，音声対話システムを作る際に既存の対話 システムをそのまま使用できる。一方，“?”が応答生成に影響すれば，入力文に“？”を付与するなど， システムが疑問とわかる工夫をする必要がある.

“?”の影響調査のため，文末が “?” のものとそ うでないものを用意し，それらに対し対話システム で応答を生成し，その応答を人手で評価，分析した (図 1). 評価・分析の結果として, “?”が対話シス テムの応答生成に与える影響は大きいことがわか り，またこの問題の解決のために音声情報などテキ スト以外の情報が必要であることが示唆された.

## 2 調査方法

## 2.1 対象とする現象と比較方法

テキストに付与される約物は疑問符だけでなく，句読点や感嘆符，鉤括弧など多岐にわたる．本研究

では，問題の簡単化のため“?”だけを対象とする. また, 音声対話において, 発話が長くなると一発話中に複数文入ることがあり，句点や疑問符が入る箇所もそれに応じて増えるが，発話内に複数文ある場合でもテキストの最後の“?”のみを対象とする.例えば「沖縄好き NLP 行きます」のような発話が あった際に，本来は「沖縄好き？ NLP 行きます？」 のように“好き” の後ろにも“?” が入るのが適切で ある. 今回は「沖縄好き NLP 行きます？」のように テキスト末尾に入る記号のみを対象とする。

文末の “?" の比較対象として，文末記号を記号 なしにした場合と句点“。”にした 2 種類を用いる.記号なしは音声認識結果のテキストをそのまま使っ た場合を想定している. 句点は，仮に約物の自動付与に失敗した場合に悪影響があるかを調査するため に用いる. 図 1 のように各事例に対して応答を生成 し，疑問に対する応答であるかを評価する。

応答生成のために検証対象のユーザ発話だけでな く, 文脈として過去の発話履歴も入力として使用す る.これは，該当する発話が短いなど，一発話のみ からの応答生成が難しい場合があるためである。ま た，一般的な音声対話においてユーザが疑問から始 める場合は少なく，ある程度の文脈を使って応答を 生成する方が現実的な設定であるため, 本研究では 文脈も使用して応答生成を行う. 本研究では, 対象 のユーザ発話含め 4 発話を入力とする.

## 2.2 使用する対話データ

特徴の異なるタイプの対話での “?” の影響を調査するため，三つのデータを使用する。一つ目は名大会話コーパス [7] 1) (以下， NUCC), 二つ目は対話 システムライブコンペティション 5 の LINE チーム のオープントラック予選の対話履歴 (以下，Open),三つ目は同じく対話システムライブコンペティショ ン 5 の LINE チームのシチュエーショントラック予選の対話履歴 (以下，Situation)である.

NUCC は日本語母語話者の雑談対話を人手で書き 起こしたものである. データの中には, 複数人で対話をしているものもあるが，二人で対話しているも ののみを使用する. 音声対話したものを人手で書き 起こしたデータであるため, 音声認識誤りなどは含 まれていないが，括弧などで場の雾囲気や笑い声な ども情報として付記されている. 本研究では，その ような情報は削除して純粋な発話のみを使用する.

1) https://mmsrv.ninjal.ac.jp/nucc/
Open は，コンペティション評価者と LINE のオー プントラック対話システム [8] との雑談対話の履歴 である. 雑談のトピックはいくつか用意されてお り, アニメ, 観光地, 時事など多岐にわたる. 評価者と対話システムは音声でやり取りし，評価者の発話は音声認識エンジンの Google Speech Recognition を使ってテキスト化される. 評価者の発話には音声認識誤りが含まれている可能性があり, 約物も付与 されていない. 本研究のために，音声認識されたテ キスト末尾に句点，疑問符を人手で付与した.

Situation は，コンペティション評価者と LINE の シチュエーショントラック対話システム [9] との, シチュエーションに沿った対話履歴である. 本を失 くしたことを謝るシチュエーションであり，また敬称無しで呼び合う仲という設定で比較的親しい間柄 に近く, 丁寧語 (です，ますなど) があまり出ない対話となっている ${ }^{2}$. Open 同様に, 音声認識されたテ キスト末尾に句点，疑問符を人手で付与した.

2.1 節で説明したように，ユーザ発話のテキスト 末尾が “?”で終わっているもののみを対象とす る. NUCC は全てが人による発話であるが，今回は “?” がある発話をユーザ発話とみなし, その前に 発話しているユーザを対話システムとみなすこと で調査用データを作成した. 全てのデータセット， 100 対話例ずつ作成した. Open は “?” が含まれる 発話が 100 に満たなかったため, 以下の例のように “ますか”や“ですか”など疑問を表す助詞 “か”で終 わっている発話の “か”を削除することで対話例を 水増しした。

(1) 行きますか？～行きます？

## 2.3 対話システム

本研究では，異なる性質を持つ対話システムで疑問符の有無の影響を調査するため, 以下の二つのシ ステムを用いる。一つ目は, 2022 年に開催されたコ ンペティションにおいて優勝した HyperCLOVA [10] ベース ${ }^{3)}$ の対話システムである。もう一つは， 2020 年に開催されたライブコンペティション [12] のオー プントラックで優勝した Trasformer ベースの対話シ ステム $[13,14]$ を使用する.

HyperCLOVA ベースの対話システムは，プロンプ トプログラミングによって実現されている. NUCC

2）シチュエーションの詳細はホームページ参照.

3）HyperCLOVA は GPT-3 [11] と同様の性質を持つ日本語基盤 モデルを含むシステムである.
表 14 人の評価結果の一致率.

と Open のデータに対して応答を生成する際は， LINE のオープントラック対話システム [8] で使われ た一般的なプロンプトを使用する. Situation のデー タに対して応答を生成する際は，LINE のシチュ エーショントラック対話システム [9] の謝罪フェー ズのプロンプトを使用する。また， HyperCLOVA は 82 Billion パラメータのものを使用する。

Trasformer ベースの対話システムは Twitter のリプ ライデータで Transformer [15] を事前学習しており, そこから対話ログを使って finetune している. 本研究では, JPersonaChat [13] で finetune されたモデルを 使用する ${ }^{4)}$ 、ハイパーパラメータは, 先行研究実験時と同様のものを使用する. HyperCLOVA ベースの 対話システムと同様，生成する直前の 4 発話をシス テムに入力して応答を生成する.

## 2.4 評価方法

“?”が対話システムに与える影響調査のため, システムが生成した応答を人手で評価した. 評価 は著者を含む社内の NLP エンジニア 8 名で行い， NUCC・Open・Situation それぞれ 4 名ずつで評価し た. 評価に際しては，対話システムが良い応答がで きているかという観点ではなく，疑問文に答えた応答になっているかで評価した. 本研究の評価では,計算の簡単化のため “ $\bigcirc$ ” か “ $\times$ ” の二択で評価した.評価者には，対話システムが応答生成する際に使っ た文脈を含めて提示し，疑問文に答えられているか を評価してもらった。評価労力の削減のため，一つ の対話事例ごとに二つのシステムと三つの文末記号 の組み合わせとなる六つの応答結果をまとめて提示した. システムや文末記号による先入観やバイア スが入ることを防ぐため，どのシステム，どの文末記号によるものかは記載せず，各対話例ごとにラン ダムに並び替えた．評価ツールにはエクセルを用い て，Appendix の図 2 に示す形で評価した。

4 人の評価結果の一致率を調べるために Fleiss の カッパ係数を計算した. 一致率を表 1 に示す. Open と Situation については 70 を越えており高い一致率 である. NUCC に関しても Kappa 係数 58 となって おり, 4 人の結果でも比較的一致している.


表 2 文末の記号ごとの，対話システムが質問と認識して 応答を生成できた割合. “Tr.” は Transformer ベース, “HC” は HyperCLOVA ベースの対話システムを表す.

## 3 実験結果

文末記号を変えた際の対話システムの応答を人手評価した結果を表 2 に示す。それぞれ 4 名で評価し ており，その内の 3 名以上が“○”を付けているも のの割合を示している. システムやデータに関わら ず，文末が“?”のものが高い精度を出しており，疑問発話に対する応答を生成する場合は“?”乍付け る必要があることが分かる。

システム間で比較すると Transformer ベースの対話システムは，“？”がある場合とない場合で，およ そ $30 \%$ の精度差があり“?”の果たす役割が大きい ことがわかる. HyperCLOVA ベースの対話システム は“?”がある場合とない場合でおよそ $20 \%$ の精度差で Transformer ベースのものに比べると差は小さ いが，それでも大規模なパラメータを持つ汎用モデ ルによる対話システムにおいても“?”の重要度は 高いことがわかる. Situation に対する HyperCLOVA の結果は差が小さいが，これはシチュエーションが かなり限定されており，プロンプトにもそれが反映 されているからだと考える。 しかし，それでも $10 \%$ の差はあり，プロンプトが作り込まれていても“?" は重要であることが示唆される。

記号なしと“。”とを比較するとシステムやデー タに関わらず大きな差はない。このことから仮に “?”の自動付与に失敗して疑問文に対して“。”を 付与してしまっても，音声認識結果をそのまま使う 場合と同等の質の対話は維持できると言える.

## 4 考察

本節では，実際の対話例を元に分析する。対話シ ステムによって生成された応答例を表 3 に示す. 比較を容易にするため, 最後のユーザ発話以外の文脈は同じで最後のユーザの疑問発話が助詞 “か” で 終わるものとそうでない場合での応答結果を比較 する．疑問を表す助詞 “か” で終わっている場合は， “?"が無くとも疑問系と識別できるため，表中の上 の例のように全て適切な応答が生成できている。一
表 3 対話システムの実際の応答生成例。システムカラムの “HC” は HyperCLOVA ベース, “Tr.” は Trasformer ベースを表 し，“なし”,“。”，“?”は文末記号を表す．右端に、があるものは人手評価で適切な応答とされたものである.

 &  &  & $\checkmark$ \\

表 4 “?”以外の場合で，HyperCLOVA の対話システムは 疑問に答えられたが Transformer では失敗した対話例.

方，“あります”のように平叙文の形で文が終わって いる場合は，現状の対話システムでは疑問文と認識 して応答を生成できずに，“ユーザが行ったことが ある”と捉えて応答生成していることがわかる．表 3 の例にも示すように“?”が無くても疑問に対し て応答生成できるものの多くは，先述した例のよう に疑問を表す助詞で文が終わっているものや $(2 \mathrm{a})$, いわゆる $5 \mathrm{~W} 1 \mathrm{H}$ のような疑問詞がある場合 (2b) で あった. それに対して，“?”がないと応答生成が難 しいものは“?”がないと人間でも平叙文として捉 えてしまう可能性があるもの (2c)である.

(2) a. YouTube は見ますか

b. どんな場所です

c. オランダに行ったことある

議論を深めるために，文末が“?”"でない場合に 疑問に答えられなかった例を中心に分析する。表 4 に HyperCLOVA ベースでは疑問に答えた応答を生成できたが，Transformer ベースでは失敗した例を 示す. 発話単体では疑問と判断するのは難しいが, HyperCLOVA ベースのシステムは文脈から疑問であ
ると判断できたと考える.この例のように文脈から 疑問として判断し応答生成できる例もあるが，“?” がない場合に失敗しているものは $20 \%$ 程度ある。参考に Appendix の表 5 に“?”がない場合に疑問に答 えた応答が生成できない他の発話例を示す.これら の対話例は，疑問符の自動付与もテキストのみから 行うのは難しい，また，日本語対象ではないが，音声入力への約物の自動付与の先行研究でも，その精度は 8 割程度である $[4,5,6]$. この問題を解決して いくには，言語情報だけで応答生成することは難し く，テキスト処理の枠を越えて，音声や顔の表情も 同時に使った応答生成をする必要があると考える。

## 5 おわりに

本研究では、対話システムの応答生成において,文末の “?” が生成結果に与える影響について調査 した. その結果，“?”がある場合とない場合を比較 すると, “?" がある場合に適当な応答を返す割合が 20〜30\%ほど高く，対話の応答生成において“?”が 果たす役割が大きいことがわかった.

疑問符がない場合に失敗する例を見ると，疑問符 がないと疑問とわからないものがほとんどであっ た. 文脈を含めてもテキストのみで疑問と判断する のが難しいものもあり，今回は対象としていないが 音声対話には音声認識誤りの問題もある.これらの 問題を解決するためには，テキスト処理を越えて音声や顔の表情を使った応答生成をする必要がある.

複数文ある際の句点や疑問符，また読点の有無が 応答の質に影響を与えるかは課題として残ってい る. また, 日本語以外での言語で疑問符の有無が応答生成に影響するかの検証も今後の課題としたい。

## 謝辞

本研究の評価を手伝ってくださった LINE NLP チームの内海慶氏，小林滉河氏，馬越雅人氏に感謝 する.

## 参考文献

[1] Ryuichiro Higashinaka, Takashi Minato, Kurima Sakai, Tomo Funayama, Hiromitsu Nishizaki, and Takayuki Nagai. Dialogue robot competition for the development of an android robot with hospitality. In Proc. of 2022 IEEE 11th Global Conference on Consumer Electronics, 2022.

[2] Takashi Minato, Ryuichiro Higashinaka, Kurima Sakai, Tomo Funayama, Hiromitsu Nishizaki, and Takayuki Nagai. Overview of Dialogue Robot Competition 2022. In Proc. of the Dialogue Robot Competition 2022, 2022.

[3] 東中竜一郎, 高橋哲朗, 堀内颯太, 稲葉通将, 佐藤志貴, 船越孝太郎, 小室允人, 西川寛之, 宇佐美まゆみ,港隆史, 境くりま, 船山智. 対話システムライブコン ペティション 5. 第 96 回人工知能学会 言語・音声理解と対話処理研究会, pp. 93-100, 2022.

[4] Jumon Nozaki, Tatsuya Kawahara, Kenkichi Ishizuka, and Taiichi Hashimoto. End-to-end Speech-to-PunctuatedText Recognition. In Proc. of Interspeech, pp. 18111815, 2022.

[5] Yaoming Zhu, Liwei Wu, Shanbo Cheng, and Mingxuan Wang. Unified Multimodal Punctuation Restoration Framework for Mixed-Modality Corpus. In Proc. of IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 7272-7276, 2022.

[6] Xinxing Li and Edward Lin. A 43 Language Multilingual Punctuation Prediction Neural Network Model. In Proc. of Interspeech, pp. 1067-1071, 2020.

[7] Itsuko Fujimura, Shoju Chiba, and Mieko Ohso. Lexical and Grammatical Features of Spoken and Written Japanese in Contrast: Exploring a lexical profiling approach to comparing spoken and Written corpora. In Proc. of the VIIth GSCP International Conference. Speech and Corpora, pp. 393-398, 2012.

[8] 山崎天, 川本稔己, 大萩雅也, 水本智也, 小林滉河, 吉川克正, 佐藤敏紀. HyperCLOVA を用いた音声雑談対話システム. 第 96 回人工知能学会 言語・音声理解 と対話処理研究会, pp. 113-118, 2022.

[9] 吉川克正, 川本稔己, 山崎天, 水本智也, 小林滉河, 大萩雅也, 佐藤敏紀. シチュエーションに合わせたシナ リオ誘導と HyperCLOVAを利用した応答生成によ るハイブリッド対話システム. 第 96 回人工知能学会言語・音声理解と対話処理研究会, pp. 124-129, 2022.

[10] Boseop Kim, HyoungSeok Kim, Sang-Woo Lee, Gichang Lee, Donghyun Kwak, Jeon Dong Hyeon, Sunghyun Park, Sungju Kim, Seonhoon Kim, Dongpil Seo, Heungsub Lee, Minyoung Jeong, Sungjae Lee, Minsub Kim, Suk Hyun Ko, Seokhun Kim, Taeyong Park, Jinuk Kim, Soyoung Kang, Na-Hyeon Ryu, Kang Min Yoo, Minsuk Chang, Soobin Suh, Sookyo In, Jinseong Park, Kyungduk Kim, Hiun Kim, Jisu Jeong, Yong Goo Yeo, Donghoon Ham, Dongju Park, Min Young Lee, Jaewook Kang, Inho Kang,
Jung-Woo Ha, Woomyoung Park, and Nako Sung. What Changes Can Large-scale Language Models Bring? Intensive Study on HyperCLOVA: Billions-scale Korean Generative Pretrained Transformers. In Proc. of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3405-3424, 2021.

[11] Tom B Brown, Benjamin Mann, et al. Language Models are Few-Shot Learners. In Proc. of Advances in Neural Information Processing Systems, pp. 1877-1901, 2020.

[12] 東中竜一郎, 船越孝太郎, 高橋哲朗, 稲葉通将, 角森唯子, 赤間怜奈, 宇佐美まゆみ, 川端良子, 水上雅博,小室允人, Dolça Tellols. 対話システムライブコンペ ティション 3. 第 90 回人工知能学会 言語・音声理解 と対話処理研究会, pp. 96-103, 2020.

[13] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems, 2021.

[14] 杉山弘晃, 成松宏美, 水上雅博, 有本庸浩, 千葉祐弥,目黒豊美, 中嶋秀治. Transformer encoder-decoder モデ ルによる趣味雑談システムの構築. 第 90 回人工知能学会 言語・音声理解と対話処理研究会, pp. 104-109, 2020.

[15] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Proc. of Advances in Neural Information Processing Systems, pp. 5998-6008, 2017.

## A 参考情報

図 2 評価に使ったエクセルのサンプル。

表 5 HyperCLOVA ベースの対話システムで，文末“?”の場合は適切な応答ができたもので，“。”と記号なしの場合両方で応答に失敗したユーザ発話の例.

 & 富士山には登ったことあります & 私は電話してないあなたかけてみた \\


 水本智也 ${ }^{1}$ 山崎天 ${ }^{1}$ 吉川克正 ${ }^{1}$ 大萩雅也 ${ }^{1}$ 川本稔己 ${ }^{1,2}$ 佐藤敏紀 ${ }^{1}$ ${ }^{1}$ LINE 株式会社 2 東京工業大学 \{tomoya.mizumoto, takato.yamazaki, katsumasa.yoshikawa, masaya.ohagi, toshiki.kawamoto, toshinori.sato\}@linecorp.com  