# 対話形式の対話要約の提案とその特徵の明確化

山下紗苗東中竜一郎
名古屋大学大学院情報学研究科
\{yamashita.sanae.w7@s.mail, higashinaka@i\}.nagoya-u.ac.jp

## 概要

対話要約のほとんどは文章形式であるが，我々は 対話の重要な点はそのやり取りであると考えてお り，対話の基本的な単位である連鎖組織に基づいて 対話を対話形式で要約することを提案する.この提案にあたり, 対話要約の既存の評価尺度は, 文章形式を前提とした評価尺度であり，対話形式の要約の 評価に適していない可能性があることから, 本研究 では，まず SD 法と因子分析により，対話形式を含 めた対話要約の評価軸を明らかにする。そして，得 られた評価軸を用いて，対話形式の要約の特徴を明確化する. 実験の結果, 臨場感, 読みやすさ, 簡潔 さの 3 つの評価軸を得ることができた. また，対話形式の要約は，簡潔さを保ちながら臨場感を表現で きることが分かった.

## 1 はじめに

近年，自律的な対話システムが活発に開発されて いる $[1,2,3,4,5]$. その一方で, 対話システムはそ の能力の限界から対話破綻を起こすことも多い [6]. ユーザにストレスを感じさせないように対話を行 うには，対話破綻が起こった場合，コールセンタに おける音声対話システムのように，人間がシステム から対話を引き継いで，システムの代わりに話すこ とが有用だと考えられる [7]. この対話を引き継ぐ という状況では，これまでの文脈を適切に理解しな くてはならないため，対話要約が必要となる. 我々 は，このような対話を引き継ぐという想定のもと，対話要約の研究を行っている.

現状，対話要約のほとんどは文章形式である．し かし, 我々は対話の重要な点はそのやり取りであ ると考えており, やり取りを把握するという観点 では，対話の基本的な単位である連鎖組織（3節参照）に基づいて，対話を対話として要約するのが良 いと考えている. そのため, 我々は対話形式の要約 （付録表 3 の DFS-1x4 を参照）に着目している. し
かし，対話形式の研究を進めるにあたって，既存の 評価軸を用いて本研究を進めてよいのかという問題 がある。なぜなら，これまでの対話要約は文章要約 が主体であり，必ずしも対話形式の要約に適してい ない可能性があるからである.

そこで本研究では，まずSD法と因子分析により，対話形式を含めた対話要約の評価軸を明らかにす る. そうした上で，対話形式の要約の評価をこの評価軸に沿って行い，その特徴を明らかにする。

## 2 関連研究

文章形式の自動要約が長らく研究されてい る [8]. 例えば，雑談コーパスの SAMSum [9] や DialogSum [10] は，雑談対話の内容を第三者視点で 文章化した要約を提供している. 対話形式の要約に ついては，対話中のいくつかの重要な発話を抜粋し た抜粋型要約 [11] がそれに該当するかもしれない. しかし，抜粋された発話同士は文脈的なつながりに 欠けるため，対話としてそのまま読めるものになっ ているわけではない. 本研究で対象とするのは，対話として読める形になっている要約である.

対話要約の評価軸について述べると，現状，対話要約は内容と読みやすさの 2 点で主に評価されて きた [8]. 内容に関する自動評価の方法には，原文 と要約がどれだけ似ているかを調べるために，それ らの $n$-gram を比較する ROUGE [12] のほか，埋め込 み表現を比較する BERTScore [13] や MoverScore [14] がある．内容に関する人手評価の方法としては，要約に含まれる情報量や元の対話への忠実度 [15], 一貫性や関連性 [16] といった評価尺度があり，この 評価軸を使って 5 段階で評価したり, 複数の要約候補を順位付けたりしている。読みやすさに関する自動評価の方法には，単語数をもとに可読性を算出す る FOG index [17] や Kincaid index [18] がある. 読み やすさは人手で評価されることが多く，その評価 には，一般的に簡潔さが用いられる [19]. 本研究で は, 既存の対話要約の形式（具体的には，文章形式

およびキーワード形式； 4.2 節参照）に加え, 対話形式の要約を含む，様々な対話形式の評価に用いるこ とのできる対話要約の評価軸を求める.

## 3 対話形式の要約

我々は対話形式の対話要約 (Dialogue Format Summary，以降 DFS と呼ぶ）を提案する。ここでは その概要と作成手順を述べる. 我々は, 対話の重要 な点はそのやり取りであると考えているため，対話要約は対話中のやり取りを十分に含んでいるべきだ と考えている。既存の理論では，やり取りは隣接ぺ アやその拡張である連鎖組織 [20] の単位で表現する ことが適切とされている。したがって，我々は連鎖組織の単位で対話を対話として要約する（付録表 3 の DFS-1x4を参照).

DFS の作成にあたっては，まず，対話から連鎖組織を認定する必要がある。連鎖組織の特定は，対話 の発話単位への分割，対話行為アノテーション, 連鎖組織アノテーションの 3 ステップによって行う.発話単位の分割の単位には, 話し言葉の発話単位で ある Long utterance-unit (LUU) [21]を用いる。対話行為アノテーションは各 LUU に対して行われ，タグ セットとしては，連鎖組織の特定に必要な対話行為のラベルが揃っている ISO24617-2 [22]を用いる. そして, 対話行為のラベルと連鎖組織の定義（特定 の対話行為のペアを含む，二つ以上のターンから構成される等）[20] に基づき，連鎖組織を特定する。

連鎖組織を特定した後， 1 つの連鎖組織に対して 1 つの DFS を作成する. 要約作成の際は, 連鎖組織 を，その内容を変えずに，対話中の話者による一連 のやり取りとして再構成する. この時, 話者の発話内容や話者間の関係を維持したまま要約する. 具体的には，要約は次のルールに従って作成する。

・連鎖組織の発話群を網羅した，2つか 3 つの発話からなるやり取りに書き換えること。

・書き換えたやり取りだけを読んで，連鎖組織に 含まれる発話群の内容が理解できること。

・書き換えたやり取りが，その前後の発話とつな げたときに，自然な流れで読めること。
- 元の対話から文体や人称を変えず，話者の発話内容を維持すること。つまり，ある話者がある 命題を口にしたとき，その命題はその話者が要約中で発話しなければならない。
- 連鎖組織の定義から，各話者は，それぞれ 1 回以上発話すること。

## 4 対話要約の評価軸の発見

対話要約の評価軸の発見の具体的な流れとして， まず，既存のコーパスを対象に複数種別の対話要約 を収集する。次に，各要約種別の印象の記述を集め ることで形容詞対を得る. その後, 得られた形容詞対を用いて，各要約種別に対する印象評価を行う.最後に，因子分析を行うことで評価軸を発見する。

## 4.1 要約対象となる対話コーパス

対話要約は様々な対話から作成されるべきと考 え，その用途に適したコーパスとして，日本語日常会話コーパス (CEJC) [23] を用いることにした. 本 コーパスは，日常場面の中で自然に生じた雑談や用談を音声で収録したものである．各対話は書き起こ されて，LUU で発話単位に分割されている. 我々 は，このコーパスから 2 人の話者によって行われた 対話をランダムに 6 対話をサンプリングし，それら の対話から要約を作成した. 各対話の長さは平均 400 発話程度である. これらの対話は, サンプル数 としては若干少ないが，含まれる連鎖組織の数は全部で 174 個であり, 異なる話題, 話者同士の関係,場所，活動を含んでおり，十分に多様である.

## 4.2 対話要約の収集

要約の作成にあたっては，まず，サンプリングし た CEJC の対話に対して対話行為と連鎖組織を人手 でアノテーションした. 次に，アノテーション済み の 6 対話から，4つの連続する連鎖組織をランダム に8つ（1 対話あたり1つまたは 2 つ）サンプリン グして，要約の対象とした. ここで，複数の連続す る連鎖組織を要約の対象とした理由は，短すぎる入力であると要約の評価が困難と考えたためである.

これらの連鎖組織について，文章形式，対話形式，キーワード形式の合計 6 種別の対話要約を人手 で作成した. 各要約の概要と作成方法を以下に列挙 する。

## - 文章形式の要約 (Text Format Summary; TFS)

一般的な文書形式の要約を指す. 文章形式の要約として 2 種別を作成した. 一つは，4つの連続する連鎖組織のそれぞれについて文章形式の 要約を作成し，それらを連結したもので，もう 一つは 4 つの連続する連鎖組織について 1 つの 文章形式の要約を作成したものである. 入力単位が長いほど，対話内容全体を整理するために
要約がより構造化される可能性がある. よっ て，これら 2 種別の要約を用意することで，構造の異なる文章形式の要約が準備できると考え られる．前者をTFS-1x4 と呼び，後者を TFS-4 と呼ぶ.

## $\cdot$対話形式の要約 (DFS)

3 節で述べた対話形式の要約を指す. 4 つの連続する連鎖組織のそれぞれについて DFS を作成し，それらを連結することで作成した。これ をDFS-1x4 と呼ぶ. なお，対話の抜粋型要約も 対話形式の要約と考えられる。そこで，4つの 連続する連鎖組織に含まれる発話から重要と考 えられるものを抜粋することで要約を作成し た.これをDFS-4-ext と呼ぶ.

## ・キーワード形式の要約 (Keyword Format Summary; KFS)

キーワード形式の要約を指す.この要約は， 4 つの連続する連鎖組織から一般名詞と固有名詞を抽出して, 出現順にリストにしたもので ある. 名詞は, 形態素解析の $\mathrm{MeCab}{ }^{1}$ ) と辞書の NEologd ${ }^{2)}$ を使用して自動的に抽出する。これ をKFS-4 と呼ぶ.

## ・対話履歴 (Dialogue History)

対話履歴そのものを指す.これは要約ではない が，他の要約との比較のため用いる。

クラウドソーシング 3)で作業者を募集し，サンプ リングされた 6 対話に対してのべ 10 人が対話行為 と連鎖組織のアノテーションを行った. なお，事前調査では，対話行為アノテーションの一致率 (Fleiss の к）は 0.55 ，連鎖組織アノテーションの一致率は 0.47 であった.

要約の作成はのべ 15 人が行った. ノイズの恐れ のため, キーワード形式の要約と対話履歴以外の要約は全て人手で作成した。その際, 主語や指示語 を補完するために，要約すべき 4 つの連続した連鎖組織に加えてその直前 2 つ分の連鎖組織も要約作成者に参照させた. 8 つの要約対象に対して 6 種別の要約を 1 つずつ作成することで，計 48 個の要約を収集した. TFS-1x4，TFS-4 は最大 170 文字程度，DFS-1x4，DFS-4-ext は 100-200 文字程度を目安 に作成させた. TFS-1x4, TFS-4, DFS-1x4, DFS-4-ext, KFS-4, Dialogue history それぞれの平均文字数は，

表 1 因子分析の結果. 数値は因子負荷量を示す. 0.6 以上の値を太字で示す. 我々は，因子 1 を臨場感，因子 2 を 読みやすさ，因子 3 を簡潔さと名付けた。

110.3, 139.3, 133.8, 169.6, 59.6, 393.5 であった. 人手 で作成させた要約については, 著者の 1 人が対話履歴と要約を照らし合わせ，忠実性の高い要約である ことを確認した。

## 4.3 形容詞対の収集

クラウドソーシングで作業者を 15 人募集し，作業者に要約の印象を記述させることで，印象評価に 用いる形容詞対を収集した。収集方法は小磯ら [24] の手順を参考にした. まず，収集した要約から，同 じ連鎖組織から作られた異なる 2 種別の要約ペアを 構成し, ランダムに作業者に提示した. 次に, 作業者に, 各要約の表現や文体から得られる印象を文章 で記述させ，最終的に「あたたかい—つめたい」の ような形容詞対を作成させた. 最後に, 収集した形容詞対の中で類似する表現をまとめ上げ，2 回以上出現した形容詞対を採用することで整理した. 最終的に，作業者から 118 対の形容詞対を収集し，整理 を経て 23 対の形容詞対を得た。

## 4.4 各要約種別に対する印象評価

形容詞対の作成を行っていない作業者をクラウ ドソーシングで 45 人募集し, 収集した形容詞対を 用いて, 各要約種別の印象を 5 段階で評価させた.評価にあたっては, 形容詞対の収集時と同様に, ぺ アになった要約を各作業者に 3 組ずつ提示して，異 なる 2 種別の要約それぞれについて印象を評価さ せた。

## 4.5 因子分析の実施

各要約種別に対する印象評価の結果を用いて，形容詞対を対象に因子分析を行うことで，評価軸を発

図 1 要約種別ごとの各因子の平均スコア. 印象評価のス コアを，各形容詞対が属する因子ごとに平均し，要約種別ごとに表している.

見した.まず，どの要約種別に対しても似たような 評価がなされた形容詞対（各評価者の分散の平均が 1 未満の形容詞対）を因子分析の対象から除外した.次に，Kaiser-Guttman 基準により因子数を 3 と決定 した. そして，最尤法により因子負荷量を求め，バ リマックス回転を適用した. その後, 因子負荷量が どの因子に対しても小さい值（0.6未満）しか示さ ない形容詞対を削除し，再度因子分析を行った. 最後に，因子を構成する形容詞対をもとに各因子に名前を付けた。

表 1 に，各形容詞対の因子負荷量を示す. 累積寄与率は $61.8 \%$ であった. 3 つの因子が発見でき，そ れぞれについて以下の通り解釈を行った。

## 因子 1 : 臨場感

因子 1 については「人間的な一機械的な」「双方向の一一方向の」「継続した一停止した」な ど，描写の豊かさや現実らしさに関する形容詞対が相対的に高い正の負荷を示しており, 臨場感に関する因子と解釈できる.

## 因子 2：読みやすさ

因子 2 を見ると，「おさまりの悪い—おさまり の良い」「曖昧な一明瞭な」などが相対的に高 い正の負荷を示している。したがって，読みや すさに関する因子と解釈できる.

## 因子 3 ：簡潔さ

因子 3 は「壳長な一簡潔な」と「長い—短い」 の形容詞対からなる.これは簡潔さに関する因子と解釈できる。

## 5 各要約種別の特徵の分析

得られた評価軸と印象評価結果を用いて，各要約種別に特徴的な軸を特定することで，対話形式の特徵を明らかにした。

図 1 に，要約種別ごとの各因子の平均スコアを示 す.このスコアは，4.4 節で得られた印象評価のス コアを，各形容詞対が属する因子ごとに平均し，要約種別ごとに表したものである.

文章形式の要約 (TFS-1x4, TFS-4) は，臨場感の評価が 5 段階で 3 を下回っていた.このことは，文章形式の要約が元の対話の臨場感を表現するのに不向 きであることを示唆している。一方で，読みやすさ のスコアは他の形式に比べて高い.

対話形式の要約 (DFS-1x4，DFS-4-ext) は全体的に 臨場感のスコアが高く, 元の対話の臨場感を保持で きる表現形式であることが分かる. 特に提案手法の DFS-1x4 は，重要発話を抜粋した DFS-4-ext や対話履歴そのものである Dialgoue history と同程度の臨場感を保持できる上に，それらよりも読みやすく簡潔 な要約であることが分かった. これは，DFS-1x4の 作成にあたって，重要な発話を単に抜粋するのでは なく自然な発話の連続として再構成しているため, また，㔯長なフレーズを取り除いているためと考え られる。

キーワード形式の要約は，臨場感と読みやすさの スコアが低かった。一方で，簡潔さのスコアは他の どの表現形式よりも高いことが分かった.

各要約形式の特徴をまとめると, 文章形式の要約 は，臨場感は失われるが，読みやすさと簡潔さが優 れていることが分かった. 対話形式の要約は, 臨場感を持たせることができることが分かった. 特に提案手法の DFS-1x4 は, DFS-4-ext や Dialogue history よりも読みやすく簡潔であることが分かった.キー ワード形式の要約は，簡潔さに特化していることが 分かった. この結果は，提案する対話形式の特徴を 明らかにするとともに，対話要約の要件に応じて，対話形式と文章形式を使い分けることの有効性を示唆している。

## 6 まとめ

本研究では，対話を対話として要約するというア イデアのもと，対話形式の対話要約である DFS を 提案した. そして，SD 法と因子分析により，対話形式を含めた対話要約の評価軸として，臨場感，読 みやすさ，簡潔さという 3 つの評価軸を得た. この 評価軸をもとに対話形式の要約を評価したところ， DFS は簡潔さを保ったまま臨場感を持たせられる表現形式であることが分かった. 今後は, 臨場感の表現に優れた DFS を，対話システムと人間のオペレー タの間での対話の引き継ぎで用いたい。また，大規模言語モデルを活用することで，対話からDFS の自動生成を行いたいと考えている.

## 謝辞

本研究は，JST ムーンショット型研究開発事業, JPMJMS2011 の支援を受けたものです.

## 参考文献

[1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In Proc. NeurIPS, Vol. 33, pp. 1877-1901, 2020.

[2] Jan Pichl, Petr Marek, Jakub Konrád, Petr Lorenc, Van Duy Ta, and Jan Šedivỳ. Alquist 3.0: Alexa prize bot using conversational knowledge graph. arXiv preprint arXiv:2011.03261, 2020.

[3] Daniel Adiwardana, Minh-Thang Luong, David R So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, et al. Towards a human-like open-domain chatbot. arXiv preprint arXiv:2001.09977, 2020.

[4] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Eric Michael Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an open-domain chatbot. In Proc. EACL, pp. 300-325, 2021.

[5] Kurt Shuster, Jing Xu, Mojtaba Komeili, Da Ju, Eric Michael Smith, Stephen Roller, Megan Ung, Moya Chen, Kushal Arora, Joshua Lane, et al. Blenderbot 3: a deployed conversational agent that continually learns to responsibly engage. arXiv preprint arXiv:2208.03188, 2022.

[6] Ryuichiro Higashinaka, Masahiro Araki, Hiroshi Tsukahara, and Masahiro Mizukami. Integrated taxonomy of errors in chat-oriented dialogue systems. In Proc. SIGDIAL, pp. 89-98, 2021.

[7] Tatsuya Kawahara, Naoyuki Muramatsu, Kenta Yamamoto, Divesh Lala, and Koji Inoue. Semi-autonomous avatar enabling unconstrained parallel conversationsseamless hybrid of woz and autonomous dialogue systems-. Advanced Robotics, Vol. 35, No. 11, pp. 657-663, 2021.

[8] Inderjeet Mani. Automatic summarization, Vol. 3. John Benjamins Publishing, 2001.

[9] Bogdan Gliwa, Iwona Mochol, Maciej Biesek, and Aleksander Wawer. SAMSum corpus: A human-annotated dialogue dataset for abstractive summarization. In Proc. EMNLP Workshop on New Frontiers in Summarization, pp. 70-79, 2019.

[10] Yulong Chen, Yang Liu, Liang Chen, and Yue Zhang. DialogSum: A real-life scenario dialogue summarization dataset. In Find. ACL-IJCNLP, pp. 5062-5074, 2021.
[11] Sansiri Tarnpradab, Fei Liu, and Kien A Hua. Toward extractive summarization of online forum discussions via hierarchical attention networks. In Proc. FLAIRS, pp. 288-292, 2017.

[12] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, 2004.

[13] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q Weinberger, and Yoav Artzi. BERTScore: Evaluating text generation with BERT. arXiv preprint arXiv:1904.09675, 2019.

[14] Wei Zhao, Maxime Peyrard, Fei Liu, Yang Gao, Christian M. Meyer, and Steffen Eger. MoverScore: Text generation evaluating with contextualized embeddings and earth mover distance. In Proc. EMNLP-IJCNLP, pp. 563-578, 2019.

[15] Ming Zhong, Yang Liu, Yichong Xu, Chenguang Zhu, and Michael Zeng. Dialoglm: Pre-trained model for long dialogue understanding and summarization. arXiv preprint arXiv:2109.02492, 2021.

[16] Alexander Fabbri, Faiaz Rahman, Imad Rizvi, Borui Wang, Haoran Li, Yashar Mehdad, and Dragomir Radev. ConvoSumm: Conversation summarization benchmark and improved abstractive summarization with argument mining. In Proc. ACL-IJCNLP, pp. 6866-6880, 2021.

[17] Robert Gunning. Technique of clear writing. McGrawHill, 1952.

[18] J Peter Kincaid, Robert P Fishburne Jr, Richard L Rogers, and Brad S Chissom. Derivation of new readability formulas (automated readability index, fog count and flesch reading ease formula) for navy enlisted personnel. Technical report, Naval Technical Training Command Millington TN Research Branch, 1975.

[19] Haitao Lin, Junnan Zhu, Lu Xiang, Yu Zhou, Jiajun Zhang, and Chengqing Zong. Other roles matter! Enhancing roleoriented dialogue summarization via role interactions. In Proc. ACL, pp. 2545-2558, 2022.

[20] Emanuel A Schegloff. Sequence organization in interaction: A primer in conversation analysis, Vol. 1. Cambridge university press, 2007.

[21] Yasuharu Den, Hanae Koiso, Takehiko Maruyama, Kikuo Maekawa, Katsuya Takanashi, Mika Enomoto, and Nao Yoshida. Two-level annotation of utterance-units in Japanese dialogs: An empirically emerged scheme. In Proc. LREC, pp. 2103-2110, 2010.

[22] Harry Bunt, Volha Petukhova, David Traum, and Jan Alexandersson. Dialogue act annotation with the iso 24617-2 standard. In Multimodal interaction with W3C standards, pp. 109-135. Springer, 2017.

[23] Hanae Koiso, Haruka Amatani, Yasuharu Den, Yuriko Iseki, Yuichi Ishimoto, Wakako Kashino, Yoshiko Kawabata, Ken'ya Nishikawa, Yayoi Tanaka, Yasuyuki Usuda, and Yuka Watanabe. Design and evaluation of the corpus of everyday Japanese conversation. In Proc. LREC, pp. 5587-5594, 2022.

[24] 小磯花絵, 田中弥生, 小木曽智信, 近藤明日子. テキス トの多様性をとらえる分類指標の体系化の試み。言語処理学会第 17 回年次大会発表論文集, pp. 683-686, 2011.

## A 付録

表 2 に Dialogue history の例を，表 3 に各 Dialogue history に対応する要約種別の例を示す.

表 2 Dialogue history の例（CEJC の会話 ID T013_001より）。連鎖組織の境界を罣線で示す. A および B は話者を示す。

B: うーん : 基礎があっていっぱい線書いてこれいろいろあって

B: そうでしょう

B: ああああ

A: 線を引き方とかなんかあの楷書体から行ってどうのこう のってある

B: あああーあ

A: それやった上で崩してもいいよとかってなるともう最初 からさもう超上級者の崩し字のさきゅんっこんなこんな 字でさ

B: うんー

B: それではちょっと厳しいですね

A: でもうそれこれじゃだから今年はちょっとパソコンの年賀状じゃなくて趣のあるをさ

B: うーん

A: な

B: うん

A: 鳥獣戯画みたいなものをさ

B: 鳥獣

A: あ一

A: 草書体をちょっともうちょろちょろっと書いたのをさ下手でもなんでもいいからちょっと味わいで出してみよう (続き)

B: やっぱり

A: 習字もね一度ほら一添削をやったじゃん

A: 俺

B: そうだっけ

A: え

A: もう十年ぐらい前やったことあんだ

A: あれもそうだもう終わったね

B: あー

B: 終わったの

A: あれはね月々添削料がね五千円ぐらいだったんだよな

B: うーん

A: 大変だったんだよ

A: あれ

B: うん

A: で一回か二回やったんだけど

B: うんうん

A: 続かなかったね

B: あの人あなたの字はそのままで草書体みたいなもんだか らいいのよ

A: つうかさ

B: 無理しなくたって かっつってだめだね

B: うん

B: うーん

A: ありゃもうちょっとね無理だね

B: まず習字からやりやることが必要なんじゃない

(右上へ続く)

A: んなお前そうゆう言い方ないでしょ

A: あなた

A: 草書体じゃない

A: ただずるずるしてるだけだ

B: うう

A: 草書体ってのはきちんとしたルールがあんのよ

表 3 表 2 の Dialogue history から作成された要約の例．連鎖組織の境界を罡線で示す．A および B は話者を示す. TFS-1x4

A は今年の年賀状は, 直筆の崩し字で趣のあるものにしたいと考えていた.

A は十年ほど前に，習字を添削してもらったことがある.

$\mathrm{A}$ は習字の添削を一回か二回してもらった.

A の字は草書体ではなく，ただずるずるしているだけだ.

## TFS-4

最初から超上級者の崩し字で，A には厳しかった. 今年はパソコンの年賀状ではなく，草書体で趣のある鳥獣戯画のような ものを，下手でもいいから味わいで出してみようと思っていたが，ちょっと無理だった. A は習字も十年ぐらい前に一回か 二回やったが続かなかった.Aの字はただずるずるしているだけで，草書体ではない.

## DFS-1x4

A: 最初から超上級者の崩し字を書かされたからね

B: それは厳しいね

A: 今年は鳥獣戯画風の年賀状を出したかったのに

A: 少し草書体を書こうかと思ったけど無理だね

B: 習字からやったほうがいいよ

A: 添削受けたことがあるけどだめだった

$\mathrm{A}:$ 添削料が月五千円で一，二回やって続かなかった

B: あなたの字は草書体みたいだからそのままでもいいと思う

B: 無理しなくても

A: 草書体にはきちんとしたルールがあるんだよ

## KFS-4

最初，鳥獣，あん，一，ゅんっこんなこんな，じゃなくて，ほ ら一, 言い方, 字, 習字, 鳥獣戯画, 上級, 味わい，人，さき，草書体，そのままで，年賀状，趣，月々，崩し，ルール，パソ コン，つう，やもうちょっとね

## DFS-4-ext

A: 習字もね一度ほら一添削をやったじゃん

B: そうだっけ

A: もう十年ぐらい前やったことあんだ

A: あれもそうだもう終わったね

B: 終わったの

A: あれはね月々添削料がね五千円ぐらいだったんだよな

A: で一回か二回やったんだけど

A: 続かなかったね

B: あの人あなたの字はそのままで草書体みたいなもんだ からいいのよ

B: 無理しなくたって

A: んなお前そうゆう言い方ないでしょ

A: 草書体じゃない

A: ただずるずるしてるだけだ

B: うう

$\mathrm{A}$ : 草書体ってのはきちんとしたルールがあんのよ


# 観測した周囲の状況を曖昧な発話に統合した 対話ロボットによる気の利いた行動選択

田中翔平 ${ }^{1,2}$ 山崎康之介 1,2 湯口彰重 ${ }^{2,1}$ 河野誠也 ${ }^{2}$ 中村哲 1 吉野幸一郎 2,1
1 奈良先端科学技術大学院大学 2 理化学研究所ガーディアンロボットプロジェクト
\{tanaka.shohei.tj7, yamasaki.konosuke.yi5, s-nakamura\}@is.naist.jp
\{akishige.yuguchi, seiya.kawano, koichiro.yoshino\}@riken.jp

## 概要

人と協働する対話ロボットは，ユーザの要求が曖昧な場合でもユーザが必要とする行動を取ることが 期待される。言い換えれば，対話ロボットはユーザ 発話の内容のみでなく，ユーザの周囲の状況を正確 に理解して気の利いた行動を選択する必要がある.本研究では，このように周囲の状況から得られるマ ルチモーダル情報を活用するロボットの行動選択モ デルを構築した. また，モデルに入力するユーザ発話や周囲の状況を人手で書き起こした場合と自動認識した場合を比較した. 実験結果より, 気の利いた 行動をとるために必要な周囲の状況を選択的に与え ることで行動の選択精度が向上することがわかっ た. また, 周囲の状況に関して精度に限りがある自動認識結果を用いた場合でも，単純な事前学習モデ ルで抽出した特徵量を用いる場合よりは高精度で行動を選択できることが明らかになった。

## 1 はじめに

対話ロボット・システムが人と協働することを想定したこれまでの研究の多くは，ユーザの要求がロ ボットに対して明示される，あるいはシステムの問 い返しによって要求が明確化されることを仮定して いた $[1,2]$. しかし実際には，ユーザ自身が持つ要求が曖昧で，ユーザから明示的な要求を示すことが できない場合も多い $[3,4]$. “曖昧”とはユーザが何 らかの潜在的な要求を持っているにも関わらず，そ の要求の条件を明確に言語化できない状況にある ことを意味する [5].こうした曖昧な要求に対して，気心の知れた人間同士であれば気を利かせて相手が 必要としそうな補助を行動として起こすことができ る. 例えば，人が起きたタイミングで水を持ってい く，ため息をついたときに「どうしましたか？」な
どと聞くような行動を取ることができる。このよう に，人間と生活環境を共にする対話ロボットは，単 に相手からの要求に応じて動作するだけではなく, ユーザ発話に紐づいた状況に応じて能動的に振る舞 いを決定することが求められる。

こうした気の利いた行動をとることができるシス テムを実現するため，これまでにユーザの曖昧な要求とユーザの周囲の状況を表す画像，およびロボッ トの気の利いた行動で構成されるコーパスを収集し てきた [6]. このコーパスは，ユーザ発話のテキス トやロボットの一人称視点を想定した画像というマ ルチモーダルな情報を統合的に活用し，ロボットが そのユーザの状況にあった行動 (気の利いた行動)を 選択することを想定している。このデータで，入力 をユーザの発話と周囲の状況，出力を気の利いた行動として教師ありで分類するベースラインモデル を構築した。このとき，特に状況についてシステム が正しく認識をできるよう，様々な説明的な特徴量 のアノテーションを大力として利用した。これは例 えば，ユーザ発話時点でのコーヒーテーブル上の物体，ユーザの把持物体，ユーザの姿勢などが含まれ る. こうした特徴量をべースラインモデルの入力と して利用した場合，大規模事前学習モデルを用いて 抽出した特徴量のみを与える場合よりも気の利いた 行動選択の精度が大きく向上することがわかった.

しかし，実際にロボットでこうした特徴量を利用 する場合，状況に対する説明的な特徴量をいかに自動認識して利用できるかという問題が生じる. そこ で本研究ではこれらの特徵量を自動認識した場合に どの程度の精度で気の利いた行動を選択できるか検証した。この検証には，一般に広く用いることがで きる音声認識, 物体認識, 姿勢推定などのモデルを 利用した. 実験結果より，説明的な特徵量を自動認識した場合，アノテーションで与えた特徴量を使う

図 1 気の利いた行動の例: ロボットはバナナを持ってき ている.

表 1 家庭内ロボットの行動カテゴリリスト バナナを持ってくる，充電ケーブルを持ってくる， コップを持ってくる，ケチャップを持ってくる，宅

を持ってくる,テイッシュ箱を持ってくる, 充電 ケーブルを片付ける，コップを片付ける，ケチャツ プを片付ける，ミニカーを片付ける，ペットボトル を片付ける，リモコンを片付ける，スマホを片付け る，お菓子を片付ける，ティッシュ箱を片付ける， ゴミをゴミ箱に捨てる，缶切りを持ってくる，クッ キングシートを持っでくる，グラスを持ってくる， おろし器を持ってくる，キッチンペーパーを持って くる，レモンを持ってくる，オリーブオイルを持っ てくる，じゃがいもを持ってくる，サランラップを 持って’くる，水筒を持ってくる，缶切りを棚にしま う，クッキングシートを棚にしまう，グラスを棚に しまう，おろし器を棚にしまう，キッチンペーパー を棚にしまう，ペットボトルを泠蔵庫にしまう， サ ランラップを棚にしまう，タッパーをレンジに入れ る，タッパーを冷蔵庫にしまう，水筒を棚にしまう

場合よりも行動選択の精度が大幅に低下するもの の，事前学習モデルを用いて抽出した特徴量のみを 用いる場合と比較して高い精度が実現されることが わかった。

## 2 タスク設定とコーパス

本研究で取り組む課題は，一般的なリビングや キッチンにおいてロボットがユーザの家事を手伝う という状況を想定したものである。 ユーザは要求が 曖昧な発話や独話を行い，ロボットはユーザ発話と ユーザ発話が行われた状況を見ながら気の利いた 行動をとる状況を想定する. 図 1 にユーザとロボッ トのインタラクションの例を示す.ここでユーザの 「朝食が食べたい」という発話は，必ずしも特定の 機能に対する要求として言語化されているわけでは ない. これに対して，ロボットはユーザ発話と机の 上に“バナナ”があるなどの状況を勘案しつつ「バナ ナを持ってくる」という気の利いた行動を選択し，実際にバナナをユーザのもとに持ってくる.

こうした状況を想定して，ユーザの曖昧な発話， その発話が行われた状況を表すロボットの一人称視点を想定した画像，それに対応したロボットの気 の利いた行動の三つ組で定義されたコーパスを収集した [6]. このコーパスにおいて，ユーザの曖昧 な発話が入力されたとき，ロボットはその発話状況 と発話内容の情報を活用し，あらかじめ定義された 行動カテゴリの中から気が利いているとみなせる ような行動カテゴリを出力する。 あらかじめ定義さ れた全 40 種類の行動カテゴリのリストを表 1 に示 す. 具体的には，どのような状況でロボットがこの 行動をとったら気が利いていると思うかをクラウド ワーカーに尋ね，ユーザの先行発話および室内の状況を入力してもらうことで状況-行動ぺアを収集し た [4].

また，室内で家事を補助するロボットがユーザの 曖昧な要求を受けたときに，発話内容のみからでは 適切な気の利いた行動を選択することが難しい場合 が存在する．例えば「あれ？もう一個足りない」と いう発話はユーザがグラスとお酒を持っている状況 で，もう一つグラスが欲しいという状況における発話である.このとき発話内容のみから適切な行動で ある「グラスを持ってくる」を選択することは困難 であるが，「ユーザがグラスを手に持っている」と いう画像中の情報を参照することで紐づけが可能と なる。

また，ある環境でのロボットの一人称視点を想定 したデータを用いることを想定したとき，大量の データを用意することは難しい。 そこで，画像から 得られる様々な抽象化レべルの情報を効率よく利用 するため，状況を説明するようなラベル (説明的な 特徴量) の付与を人手で行った. この際, 動画から 最後のフレームの画像を代表画像としてクリップ し，代表画像における物体や人物姿勢などのラベル を付与した。

収集されたユーザ発話および発話に紐付けられ た画像，画像から得られる説明的な特徴量の例を 図 2 に示す.Uttr はユーザ発話を意味し，action は 対応する気の利いたロボットの行動を意味する. Viewpoint は画像を撮影したカメラの視点番号を意味し, 計 3 種類である. Position はソファやキッチ ンなど，ユーザが室内のどこにいるかを表す特徵量 である. Pose は座っている，立っているといった ユーザの姿勢を表す特徴量である．Has はユーザが 持っている物体を表す特徴量である. Coffee table は コーヒーテーブル上に置かれた物体を表す特徴量で ある. Dining table はダイニングテーブル上に置か

図 2 コーパスに含まれる対話例

図 3 ベースライン分類器における特徴量の入力

れた物体を表す特徴量である. Kitchen はキッチン に置かれた物体を表す特徴量である。これらの特徴量は人手で付与されているが，画像認識などで自動 で抽出することを指向したデザインになっている. これまでに提示したデータの収集には多大なコスト が掛かるため，本コーパスでは 400 件の事例が収録 されている.

## 3 マルチモーダル情報を活用する気 の利いた行動の分類器

収集したデータを用い，曖昧なユーザ発話と状況 から気の利いたロボット行動を推定するベースライ ンモデルを構築する. 図 3 にベースライン分類器の 概要を示す. 分類器は入力された状況に対して, そ の状況で気が利いているとみなすことができるロ ボットの正解行動を 40 クラスから選択する. 各特徵量の具体的な処理及び正解カテゴリの予測につい ては次の通りである。まずユーザ発話 (uttr) は事前学習モデルである RoBERTa [7] に入力し, RoBERTa が出力した [CLS] ベクトルを特徴量ベクトルとす る. また画像から抽出された特徴量である position, has, coffee table, dining table, kitchen はテキストであ るため，これも [SEP]トークンで結合してそれぞれ RoBERTa へ入力し [CLS] ベクトルを特徴量ベクト ルとする. Viewpoint については各 viewpoint に対応
する一次元ベクトルを embedding 層より取得する. これらの特徴量は画像から得られる説明的な特徴量 (description) である.これ以外にも，一般に用い られる画像の事前学習モデルを利用した特徵量とし て，画像 (image) を EfficientNet-B0 [8] に入力してべ クトル化する．出力層においては，これらの手続き によって得られた特徴量べクトルをすべて結合し， 1 層の Multi Layer Perceptron (MLP)へと入力して各 カテゴリに対応する確率值を算出する.

## 4 実験

行動選択のために状況に対する説明的な特徵量 を用いる場合，実際にその特徵量が認識可能かとい う問題が生じる。そこで本節ではこれらの特徴量が 人手で与えられた場合と自動認識の結果として与 えられた場合の性能変化を調査する。ユーザ発話 の音声認識は Google Speech-to-Text API ${ }^{1 ｝ \text { を用いた. }$ また説明的な特徴量の認識には EfficientNet+MLPを 用いた. 説明的な特徴量の全クラスは既知のクラ スであると設定し学習を行った。特徴量認識の性能を表 2 に示す. Viewpoint はロボット自身の現在位置から一意に定まる値であるため推測していな い.また has はそもそも含まれているインタラク ションの数が少数であり学習が不可能であった ため表 2 には含まれていない. 音声認識の評価に は word error rate (WER), match error rate (MER), word information lost (WIL) [9]を用いた。音声認識の精度 は中程度であるが，これはロボットがユーザから $2 \mathrm{~m}$ ほど離れた距離で音声認識を行う状況を想定し た結果であることに注意されたい。説明的な特徴量 についてはどれも高い精度で認識できており，特に position, pose については 100\%に近い精度で認識で きている。これはユーザの位置，ポーズはそれぞれ 3 種類と非常に限られているからだと考えられる.図 5 に coffee table, dining table, kitchen に含まれる各 オブジェクトについて，データセット中における出現回数と認識されなかった割合 (認識失敗率) の散布

(a)

(b)

図 4 気の利いた行動の選択に重要なオブジェクトが認識されなかったインタラクションの例

図 5 オブジェクトの出現回数と認識失敗率の散布図. 相関係数は -0.93 .

図を示す. 相関係数は -0.93 であり，オブジェクト の出現回数と認識されなかった割合には強い負の相関があることがわかる.

これらの自動認識した特徴量を用いるモデルの性能を表 3 に示す. 評価指標として, Accuracy (Acc.), Recall@5 (R@5), Mean Reciprocal Rank (MRR) [4] を用 いた.Uttr は図 3 におけるユーザ発話のみをモデ ルへの入力とした場合を，uttr+img は発話に加え EfficientNet で作成した画像特徴を入力とした場合 を，uttr+img+desc は uttr+img に加え画像から得ら れる説明的な特徴量 (description)を人手で与えた場合を意味する。“ (hat)” はユーザ発話または説明的 な特徴量について自動認識に置き換えた場合を意味する. Has については自動認識器が学習できな かったため, どの場合も emptyとしてモデルへと与 えた. 自動認識結果を用いる場合，どの場合につい ても uttr+img+desc と比較して大きく性能が低下し ている. Uttr+img+desc では正しい気の利いた行動 を選択できているが，uttr+img+desc^では分類に重要なオブジェクトの認識を誤っておりかつ誤った 行動を選択している例を図 4 に示す. どちらの例に おいても，気の利いた行動に関連したオブジェクト であるリモコンやゴミが認識できていない。これら のオブジェクトはデータセット中における出現回数が低いオブジェクトであった. 図 4 の例のように uttr+img+desc^が動作の対象となるオブジェクトを 認識できておらず，行動選択も誤ったケースは全誤 り中 $67.54 \%$ であった.

また $u t t r^{\wedge}+i m g+d e s c^{\wedge}$ と uttr^または $u t t r^{\wedge}+i m g$ との 性能を比較した場合，R@5, MRRについては有意 に性能が向上しているものの, accuracy は変化し表 2 自動特徴量認識の結果

表 3 自動認識した特徴量による分類結果. 対応のある $\mathrm{T}$検定で有意差を検定した。†やは $p<0.01$ を，†は $p<0.05$ を意味する。

ていないことがわかった. しかしuttr+img+desc^と uttr+img との性能を比較した場合，どの指標につい ても有意に性能が向上しており，説明的な特徴量の みを自動認識した場合は行動選択の精度が向上する ことが判明した。

## 5 おわりに

本研究では，ユーザの要求発話が曖昧である場合 に周囲の状況を理解しつつロボットの気の利いた行動を選択する分類モデルを構築し，様々な特徵量の 与え方について比較評価を行った. 具体的にはユー ザ発話および周囲の状況を自動で認識した結果を与 えた場合の分類性能を評価した. その結果，自動認識結果であっても周囲の状況に関する説明的特徴量 を与えることは気の利いた行動の識別に効果的であ り，事前学習モデルを単純に用いる場合よりも性能 が向上することが示唆された. 今後は周囲の状況を 認識するモデルの精度を向上させ，実際のロボット 上で動作する行動選択モデルとして実装する。

## 謝辞

本研究は理研の大学院生リサーチ・アソシエイト 制度の下での成果である. 本研究の一部は科研費 (22H03654)の支援を受けた。

## 参考文献

[1] Ryan Blake Jackson and Tom Williams. Enabling morally sensitive robotic clarification requests. J. Hum.-Robot Interact., Vol. 11, No. 2, mar 2022.

[2] Felix Gervits, Antonio Roque, Gordon Briggs, Matthias Scheutz, and Matthew Marge. How should agents ask questions for situated learning? an annotated dialogue corpus. In Proceedings of the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 353-359, Singapore and Online, July 2021. Association for Computational Linguistics.

[3] Koichiro Yoshino, Yu Suzuki, and Satoshi Nakamura. Information navigation system with discovering user interests. In Proceedings of the 18th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 356-359, Saarbrücken, Germany, August 2017. Association for Computational Linguistics.

[4] Shohei Tanaka, Koichiro Yoshino, Katsuhito Sudoh, and Satoshi Nakamura. ARTA: Collection and classification of ambiguous requests and thoughtful actions. In Proceedings of the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 77-88, Singapore and Online, July 2021. Association for Computational Linguistics.

[5] Robert S. Taylor. The process of asking questions. American Documentation, pp. 391-396, 1962.

[6] 田中翔平, 湯口彰重, 河野誠也, 中村哲, 吉野幸一郎.気の利いた家庭内ロボット開発のための曖昧なユー ザ要求と周囲の状況の収集. 情報処理学会 第 253 回自然言語処理研究会 (SIGNL), 2022.

[7] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. In $\operatorname{arXiv}, 2019$.

[8] Mingxing Tan and Quoc Le. EfficientNet: Rethinking model scaling for convolutional neural networks. In Kamalika Chaudhuri and Ruslan Salakhutdinov, editors, Proceedings of the 36th International Conference on Machine Learning, Vol. 97 of Proceedings of Machine Learning Research, pp. 6105-6114. PMLR, 09-15 Jun 2019.

[9] Andrew Morris, Viktoria Maier, and Phil Green. From wer and ril to mer and wil: improved evaluation measures for connected speech recognition. 102004.

[10] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison, Andreas Kopf, Edward Yang, Zachary DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai, and Soumith Chintala. PyTorch: An Imperative Style, High-Performance Deep Learning Library. In $\mathrm{H}$. Wallach, $\mathrm{H}$. Larochelle, A. Beygelzimer,
F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems 32, pp. 80248035. Curran Associates, Inc., 2019.

[11] Daisuke Kawahara. Kawahara Lab. RoBERTa . 2021.

[12] Hakan Cevikalp, Burak Benligiray, and Omer Nezih Gerek. Semi-supervised robust deep neural networks for multi-label image classification. Pattern Recognition, Vol. 100, p. 107164, 2020.

[13] Diederik P. Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In Proceedings of the 3rd International Conference on Learning Representations (ICLR), 2015.

## 付録

## 実験設定

モデルの実装には PyTorch [10], 日本語 Wikipedia および CC-100 で事前学習された RoBERTa [11]を用 いた.また収集したロボットの一人称視点を想定 した動画からクリップされた画像を事前学習され た EfficientNet-B0 で特徵量ベクトルへと変換した.

RoBERTa および EfficientNet のパラメータもモデル の学習を通じてファインチューニングした. モデル の学習には hinge loss [12,4] を用い，パラメータの 最適化には Adam [13] を使用し, 学習率は $1 \mathrm{e}-5$ と した.

## 評価指標

R@5 は分類モデルが出力した正解カテゴリの順位が上位 5 位以内に含まれている割合である。MRR $(0<M R R \leq 1)$ は次式の通り算出される.

$
M R R=\frac{1}{\left|U_{\text {test }}\right|} \sum_{i}^{\left|U_{\text {test }}\right|} \frac{1}{r_{x_{i}}}
$

ここで $r_{x_{i}}$ はユーザ発話 $x_{i}$ に対応する正解カテゴリ について分類モデルが出力した順位を意味し， $U_{\text {test }}$ はテストデータに含まれるユーザ発話の集合であ る. 全ての指標について，数値が大きいほど分類モ デルの性能が高いことを意味する．各モデルの性能 は五分割交差検証にて算出し，各分割データについ て 10 回実験を試行した。


# マルチエージェント強化学習に基づく 共同作業を自律的に行う対話システムの最適化

市川拓茉 東中竜一郎
名古屋大学大学院情報学研究科
\{ichikawa.takuma.w0@s.mail, higashinaka@i\}.nagoya-u.ac.jp

## 概要

対話で行われる複雑な共同作業では，各エージェ ントが自律的に行動することが望まれる.しかし，従来手法では，エージェントは相手の発話に応答す るようにモデル化されており，自律性に限界があ る. 本研究では，複雑な共同作業を自律的に行う対話エージェントの実現を目指し，マルチエージェン 卜強化学習を用いた対話システムの学習手法を提案 する。具体的には，相手の反応が得られなくても自律的に発話するための工夫として skip トークンを導入し，2体のエージェントに説得対話を実施させる. そして，相手が発話しない状況であっても，説得に 最適な発話を行うように各エージェントを強化学習 によって更新する。実験の結果，自然性や自律性に 課題は残るものの, マルチエージェント強化学習に よって，エージェントが自律的に説得的な発話が可能なことを確認した.

## 1 はじめに

近年，対話システムの普及に伴い $[1,2]$ ，より高度 な対話システムの実現を目指して，人間と協調的に タスクを遂行する対話システムの研究が盛んである $[3,4,5]$. 対話で行われる複雑な共同作業では，各 エージェントが自律的に行動することが望まれる。 しかし, 従来手法では, エージェントは相手の発話 に応答するようにモデル化されており，自律性に限界がある $[6,7,8]$.

本研究では，複雑な共同作業を自律的に行う対話 エージェントの実現を目指し，マルチエージェント 強化学習を用いた対話システムの学習手法を提案す る. 具体的には，相手の反応が得られなくても自律的に発話するための工夫として skip トークンを導入し， 2 体のエージェントに共同作業対話を実施さ せる. ここで，共同作業として，協調的に対話を行

図 1: 提案手法によって得られる対話例. 相手が発話しなくても（skipをしても）説得的な発話が可能.

うように再設計された説得対話を扱う．対話を実施 させたのち，相手が発話しない状況であっても説得 に最適な発話を行うように，各エージェントを強化学習によって更新する. 図 1 に提案手法により得ら れた対話例を示す. 実験の結果，自然性や自律性に 課題は残るものの，マルチエージェント強化学習に よって，エージェントが自律的に説得的な発話が可能なことを確認した。

## 2 関連研究

本研究は，共同作業における対話システムの研究 と関連している. オンラインゲームである Minecraft において共同して建物を作成するシステム $[5,7]$ や ユーザと一緒に物語・詩等を作成するシステム $[9,8]$等, 数多くの研究が存在する. しかし, これらの研究では，エージェントは相手の発話に応答するよう にモデル化されており $[10,11]$, 自律的に発話する ことができない. 本研究では，行動しないことを示 す skip トークンを導入し，自律的に発話を行うよう に各エージェントをマルチエージェント強化学習に よって最適化する.

本研究は, 説得対話における強化学習の研究と関

図 2: マルチエージェント強化学習の流れ. 事前に定められた数の学習サンプルを生成したのち，対話に対す る評価をもとに報酬を計算し，PPO アルゴリズムに基づいてエージェントを更新する。

連している. Shi ら [12] は，生成された発話につい て，予測された対話戦略をもとに報酬を与えて強化学習を行う手法を提案した. Samad ら [13] は, 発話 に対する対話戦略および感情ラベルをもとに報酬 を計算し，強化学習を行う手法を提案した.これら の研究は，タスク達成（説得の結果，被説得者が購入・寄付等を行うこと）の向上のために強化学習を 用いているが，いずれも発話単位でのアノテーショ ンをもとに報酬を計算している. 本研究は，対話全体に対する評価をもとに各発話の報酬を計算してお り，アノテーションが不要という特徴がある.

## 3 提案手法

本研究では，複雑な共同作業を自律的に行う対話 エージェントの実現を目指し，skip トークンの導入 およびマルチエージェント強化学習を用いた学習手法を提案する.ここでは, skip トークンおよびマル チエージェント強化学習について述べる.

## 3.1 skip トークンの導入

従来手法では，エージェントは相手の発話に応答 するようにモデル化されているため，相手の発話に 依存した行動をとる必要があり, 自律性に限界があ る. そこで，相手の反応が得られなくても自律的に 発話するための工夫として，行動しないことを示す skip トークンを導入する。具体的には，ターン $t$ に おけるエージェント $A_{i}$ の発話 $u_{t}^{i}$ を一文からなる発話文もしくは skip トークンと定義する。これによ り，ターン制対話においても相手の発話が得られな い状況を表現できる. 本手法では，模倣学習および 強化学習によって, 各エージェントが相手の反応に 依らずに行動できるよう最適化する.

## 3.2 マルチエージェント強化学習

skip トークンの導入により, エージェントは相手 の反応が得られなくても発話できる. しかし, 模倣学習のみでは, エージェントは対話履歴の次に続く 可能性が高い発話を行うだけであり，説得に最適な 発話を行うためには必ずしも十分でない. そこで，本研究では，相手が発話しないような状況であって も，エージェントが説得に最適な発話を行うように マルチエージェント強化学習による最適化を行う.図 2 に本研究で提案するマルチエージェント強化学習の流れを示す. 以降，具体的な流れを説明する。

## 3.2.1 学習サンプルの生成

2 体のエージェント $A_{i}$ および $A_{j}$ が交互に発話 を行い，対話 $D=\left.\{u_{1}^{i}, u_{2}^{j}, u_{3}^{i}, u_{4}^{j}, \ldots, u_{T-1}^{i}, u_{T}^{j}\right.\}$ を得る. ここで， $u_{t}^{i}$ はターン $t$ における $A_{i}$ の発話であり,$T$ は対話の最大ターン数である. 各エージェントは言語モデル $p_{\theta_{i}}^{i}$ および $p_{\theta_{j}}^{j}$ で構成される。 $p_{\theta}$ は対話履歴 $C_{t-1}=\left.\{u_{1}^{i}, u_{2}^{j}, u_{3}^{i}, u_{4}^{j}, \ldots, u_{t-2}^{i}, u_{t-1}^{j}\right.\}$ を入力として次発話 $u_{t}$ を生成する。ここで， $u_{t}$ は一文からなる発話文もしくは skip トークンである。なお， $\theta$ は最尤推定によって模倣学習したものを使用する.

## 3.2.2 発話の評価

生成されたサンプル $\left(C_{t-1}, u_{t}\right)$ に対するスコア $r_{t}$ は自然性 $r_{1}$, 沉長性 $r_{2}$, タスク達成 $r_{3}$ の線形和と して計算される.

エージェントが相手の発話に対して自然に応答で きるように自然性を報酬に加える。自然性は次発話予測モデルによって判断され，与えられた対話履歴 $C_{t-1}$ に対して次発話 $u_{t}$ が自然である場合は $r_{1}=1$,自然でない場合は $r_{1}=-1$ のスコアが与えられる.
相手が発話しない状況でエージェントが同じ発話 を繰り返さないように，壳長性のペナルティを報酬 に加える. 冗長性は $C_{t-1}$ および $u_{t}$ をもとに, 単語 の n-gram の重複に基づいて以下の式で定義される.

$
\operatorname{Rep}\left(C_{t-1}, u_{t}^{i}\right)=\max _{u_{\tau}^{i} \in C_{t-1}}\left(\frac{\operatorname{Ngram}\left(u_{\tau}^{i}\right) \cap \operatorname{Ngram}\left(u_{t}^{i}\right)}{\operatorname{Ngram}\left(u_{t}^{i}\right)}\right)
$

ここで, $\operatorname{Ngram}(u)$ は $u$ の n-gram の集合である.上記をもとに， $r_{2}$ は以下の式で計算される.

$
r_{2}=1-2 \operatorname{Rep}\left(C_{t-1}, u_{t}\right) \quad\left(-1 \leq r_{2} \leq 1\right)
$

複雑な共同作業を対象にした強化学習では, 重要 な行動（説得対話では，他のユーザが寄付したかど うかの情報提供等）を知るために対話行為を定義し アノテーションを行うことがあるが，このようなア ノテーションには専門性が必要でありコストが大 きい. そのため, 共同作業全体の評価は可能であっ ても，個々の発話に対する評価が困難であることが 多い，そこで，本研究では，対話に対する評価をも とに発話単位のスコアを計算する. タスク達成は対話分類モデルにより判断され, タスク達成の場合は $\hat{r_{3}}=1$, そうでない場合は $\hat{r_{3}}=-1$ のスコアが基準と して与えられる. 発話単位のスコアは以下の式で定義される寄与率に基づいて計算される.

$
w_{t}^{i}=\operatorname{Prob}(D)-\operatorname{Prob}\left(D \backslash\left.\{u_{t}^{i}, u_{t+1}^{j}\right.\}\right)
$

ここで, $\operatorname{Prob}(D)$ は発話の集合である対話 $D$ を対話分類モデルによって分類した際の予測確率である. また， $r_{3}$ は以下の式で計算される.

$
r_{3}=\frac{w_{t}}{\max _{\tau \leq T}\left(\left|w_{\tau}\right|\right)} \hat{r}_{3} \quad\left(-1 \leq r_{3} \leq 1\right)
$

なお，スコアの安定化のため, 各対話における寄与率の絶対値の最大值で割ることで正規化する.

評価終了後, 学習サンプル $\left(C_{t-1}, u_{t}, r_{t}\right)$ を得る. ここで， $r_{t}$ は以下の式で定義される.

$
r_{t}=\alpha_{1} r_{1}+\alpha_{2} r_{2}+\alpha_{3} r_{3}
$

## 3.2.3 PPO による最適化

事前に定められた数（ホライゾンと呼ぶ）の学習 サンプルを得たのち, 各エージェントを強化学習に よって更新する. 強化学習アルゴリズムとしては,方策ベースの手法であり学習の安定性も高いとい う理由から, Proximal Policy Optimization (PPO) [14] を用いた. エージェントごとに得られた学習サンプ ルを使用し, 事前に決められたエポック数だけ PPO アルゴリズムに基づいて更新を行う．以上を 1 回の 学習ループとし, 定められた回数だけ繰り返す。

## 4 実験

## 4.1 データセット

本研究では，説得対話のデータセットである PersuasionForGood [15] を用いて提案手法の有効性を 検証した. PersuasionForGood は慈善団体への寄付を 説得する説得者と被説得者との対話コーパスであ り, 1,017 対話, 20,932 発話が含まれる.

PersuasionForGood で扱われている説得対話では，説得者が被説得者に寄付をするよう説得を行う. 本研究では, PersuasionForGoodを用いた一般的な研究 と異なり $[12,13]$, 説得者と被説得者が互いの意図 を持ちつつも協調的に対話を行うタスクとして再設計した. 具体的には，被説得者が寄付をすることを 説得者，被説得者双方のタスク達成条件とした.

本研究では，相手の反応が得られなくても自律的 に発話するための工夫として skip トークンを導入 し，データセットを拡張している。 そのため, 複数文からなる発話は一文ごとに分解し, 話者が連続す る箇所に skip トークンを挿入した.

## 4.2 実験設定

マルチエージェント強化学習において, 発話の評価に用いる次発話予測モデルおよび対話分類モデル には RoBERTa [16] を使用した. RoBERTa はテキス トの分類タスク等に使用されるエンコーダモデル である。事前学習済みモデル1)を PersuasionForGood でそれぞれファインチューニングした. 学習時の各種ハイパーパラメータとしては，バッチサイズは 64, Optimizer は AdamW, 学習率は 2e-05 に設定し た. 損失関数には Cross Entropy Loss を使用した。

エージェントには，言語モデルとして GPT-J [17] を使用した. GPT-J は大規模言語モデルである GPT-3 [18] のクローンとして開発・公開されている テキスト生成モデルである。事前学習済みモデル2) を skip トークンにより拡張された PersuasionForGood で模倣学習および強化学習した. 模倣学習時の各種 ハイパーパラメータとしては，バッチサイズは 64 , Optimizer は AdamW，学習率は 2e-05 に設定した。損失関数には Cross Entropy Loss を使用した。

強化学習時の発話生成には Nucleus Sampling を使用し, 最大発話長は 36 , temperature は 1.0 , top-p は

図 3: 強化学習における報酬とタスク達成のスコア の推移. 実線は 3 回の試行の平均を表す.

1.0 とした. また，対話のターン数は 54 とした. 冗長性の算出には 1-gram を使用し，報酬計算時の重 みはタスク達成（被説得者が寄付をすること）の向上を重視して $\left(\alpha_{1}, \alpha_{2}, \alpha_{3}\right)=(0.25,0.25,0.50)$ とした. PPO の各種ハイパーパラメータとしては, ホライゾ ンは 256 , エポック数は 4 , 学習ループの回数は 48 ,学習率は 1e-06 設定した. 公正な評価を行うた め，異なる 3 種類のランダムシードで実験を行い，3 回の試行で報酬が最も高いモデルを評価に用いた。

## 4.3 学習結果

図 3 に強化学習における報酬とタスク達成のス コアの推移を示す. 説得者, 被説得者ともに, 学習 が進むにつれて報酬が増加し, 最終的に高い值で収束した. このことから, 本手法によって個々のエー ジェントの報酬を同時に最大化できることが確認で きた. タスク達成では，学習の初めは值が 0 付近に 集まっており，模倣学習のみのモデルではタスク達成が不安定であることがわかる. 一方, 学習が進む につれて值が大きくなり，最終的に高い值で収束し た. このことから, マルチエージェント強化学習に よって, エージェントが自律的に説得的な発話が可能なことを確認した。

## 4.4 人手評価

人手による評価を行うために，クラウドソーシン グを用いた主観評価を実施した。具体的には，以下 の2つのモデル，1）MLE：skipトークンにより拡張 された PersuasionForGood で模倣学習したモデル，2） MARL：提案手法を用いて学習したモデル，が生成表 1: 生成された対話に対する主観評価結果（選ばれ た割合)。太字は各項目における最高スコアを示す.

した対話について人手による主観評価を実施した。 2 つのパターンについてそれぞれ 20 種類の対話を 生成し, MLE と MARL の対話のペアを計 120 ペア 作成した，クラウドソーシング3)を用いて，計 40 人 の作業者が評価を行った. 作業者は MLE と MARL の 2 つの対話を比較し，対話の自然性，話者の自律性，対話の説得性に関する質問それぞれについて， どちらの対話がより当てはまるか評価した.

表 1 に評価の結果（それぞれの対話が選ばれた割合）を示す. 説得性については MARL の方が值が大 きいことから，マルチエージェント強化学習によっ て，エージェントが説得に最適な発話を行うことが できることが確認できた。一方，自然性と自律性に ついては MLE の方が值が大きいことから，本手法 によって自然性や自律性を完全に担保できるわけで はないことも分かった. 特に自然性については，強化学習時に報酬が増加したものの，報酬計算時に直前の発話のみを使用したことで長期的な自然性を考慮できなかったと考えられる。より適切な報酬設定 は今後の課題である.

## 5 おわりに

本研究では，複雑な共同作業を自律的に行う対話 エージェントの実現を目指し，skip トークンの導入 およびマルチエージェント強化学習を用いた対話シ ステムの学習手法を提案した. PersuasionForGoodで 扱われる説得対話を対象にマルチエージェント強化学習を行った結果, 本手法によって個々のエージェ ントの報酬を同時に最大化できることを確認した。 また，実験の結果，自然性や自律性に課題は残るも のの, マルチエージェント強化学習によってエー ジェントが自律的に説得に最適な発話が可能なこと を確認した。

本研究では，話者の双方に役割がある共同作業に 着目したが，今後は双方が等しい立場で行うよう な，より創造的な共同作業（キャッチコピーの作成 [19], Minecraft での建物の作成 [20] 等）に本手法を 拡張したい.

3) https://www.mturk.com/

## 謝辞

本研究は科研費「モジュール連動に基づく対話シ ステム基盤技術の構築」(課題番号 19H05692) の支援 を受けた. また，本研究は名古屋大学のスーパーコ ンピュータ「不老」の一般利用を利用して実施した.

## 参考文献

[1] 東中竜一郎, 稲葉通将, 水上雅博. Python でつくる対話システム. オーム社, 2020.

[2] 中野幹生, 駒谷和範, 船越孝太郎, 中野有紀子, 奥村学 （監修）. 対話システム（自然言語処理シリーズ）. コロナ社, 2015.

[3] Charles Rich, Candace L. Sidner, and Neal Lesh. Collagen: Applying Collaborative Discourse Theory to HumanComputer Interaction. Al Magazine, Vol. 22, No. 4, p. 15, 2001.

[4] Raveesh Meena, Gabriel Skantze, and Joakim Gustafson. Data-driven models for timing feedback responses in a Map Task dialogue system. Computer Speech \& Language, Vol. 28, No. 4, pp. 903-922, 2014.

[5] Anjali Narayan-Chen, Prashant Jayannavar, and Julia Hockenmaier. Collaborative Dialogue in Minecraft. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5405-5415, 2019.

[6] Jin-Hwa Kim, Nikita Kitaev, Xinlei Chen, Marcus Rohrbach, Byoung-Tak Zhang, Yuandong Tian, Dhruv Batra, and Devi Parikh. CoDraw: Collaborative Drawing as a Testbed for Grounded Goal-driven Communication. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 6495-6513, 2019.

[7] Prashant Jayannavar, Anjali Narayan-Chen, and Julia Hockenmaier. Learning to execute instructions in a Minecraft dialogue. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2589-2602, 2020.

[8] Tuhin Chakrabarty, Vishakh Padmakumar, and He He. Help me write a poem: Instruction Tuning as a Vehicle for Collaborative Poetry Writing. arXiv preprint arXiv:2210.13669, 2022.

[9] Andy Coenen, Luke Davis, Daphne Ippolito, Emily Reif, and Ann Yuan. Wordcraft: a Human-AI Collaborative Editor for Story Writing. arXiv preprint arXiv:2107.07430, 2021.

[10] He He, Anusha Balakrishnan, Mihail Eric, and Percy Liang. Learning Symmetric Collaborative Dialogue Agents with Dynamic Knowledge Graph Embeddings. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1766-1776, 2017.

[11] Daniel Fried, Justin Chiu, and Dan Klein. ReferenceCentric Models for Grounded Collaborative Dialogue. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 2130-
2147, 2021.

[12] Weiyan Shi, Yu Li, Saurav Sahay, and Zhou Yu. Refine and Imitate: Reducing Repetition and Inconsistency in Persuasion Dialogues via Reinforcement Learning and Human Demonstration. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 34783492, 2021.

[13] Azlaan Mustafa Samad, Kshitij Mishra, Mauajama Firdaus, and Asif Ekbal. Empathetic Persuasion: Reinforcing Empathy and Persuasiveness in Dialogue Systems. In Findings of the Association for Computational Linguistics: NAACL 2022, pp. 844-856, 2022.

[14] John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, and Oleg Klimov. Proximal Policy Optimization Algorithms. arXiv preprint arXiv:1707.06347, 2017.

[15] Xuewei Wang, Weiyan Shi, Richard Kim, Yoojung Oh, Sijia Yang, Jingwen Zhang, and Zhou Yu. Persuasion for Good: Towards a Personalized Persuasive Dialogue System for Social Good. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5635-5649, 2019.

[16] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692, 2019.

[17] Ben Wang and Aran Komatsuzaki. GPT-J-6B: A 6 Billion Parameter Autoregressive Language Model. https: //github.com/kingoflolz/mesh-transformer-jax, 2021.

[18] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language Models are Few-Shot Learners. In Proceedings of the 34th Conference on Neural Information Processing Systems, pp. 1877-1901, 2020.

[19] 周旭琳, 市川拓茉, 東中竜一郎. キャッチコピー 共同作成タスクにおける対話の収集と分析.人工知能学会全国大会論文集 第 36 回全国大会, pp. 2A6GS603-2A6GS603, 2022.

[20] 市川拓茉, 東中竜一郎. Minecraft での人間同士の共同作業における対話の分析. 言語処理学会第 28 回年次大会 発表論文集, pp. 568-572, 2022.


# 魅力的な対話応答生成のための複数教師による知識蒸留

Ritvik Choudhary 河原大輔
早稲田大学理工学術院
\{ritvik@fuji.,dkw@\}waseda.jp

## 概要

オープンドメイン対話応答生成は、未だに人間の 精度には及ばないタスクの一つである。近年の生成 モデルの発展にもかかわらず、モデルは知識を活用 することができず、一般的で無味乾燥な応答が多く みられる。先行研究では、感情や知識ベースなどの 外部文脈をモデルに付加することでこの問題に対処 している。本論文では、対話応答生成にモデルのパ ラメータ内知識を利用した新たなアプローチを提案 する。魅力的な対話応答を生成するための 2 つの能力を定義し、それぞれを持つ複数の教師モデルを構築する。教師モデルから関連する知識を蒸留するこ とによって、より魅力的な対話応答生成が可能な生徒モデルを学習する。学習された生徒モデルの自動及び人手評価を行った結果、提案手法の有効性を確認した。

## 1 はじめに

人工知能が日常生活に普及するにつれ、単純な受 け答えを超えた魅力的な対話ができる対話システム の実現が期待されている。オープンドメイン対話応答生成タスクは、そのような対話を生み出す可能性 を秘めており、これまでにも多くの研究がなされて いる $[1,2]$ 。特に最近では、数千億パラメータに及 ぶ超大規模言語モデル (LLM) の登場により、大きな 進展がある [3]。しかし、LLM はサイズが大きく、 アクセスも制限されているため、さらなる学習やス ケーラビリティに問題がある [4]。

そのため、本論文ではより広く使われている中規模モデル [5] に焦点を当てるが、これらのモデル は生成された応答において魅力的でないという問題がある [6]。根本的な原因の一つは、学習中にモ デルが関連する知識を持たないことにあり、その 結果、無味乾燥な応答が多くなってしまうことに なる。

この問題に対処するため、先行研究ではペルソナ情報の追加 [7]、外部知識ベースの利用 [8]、また情報検索の応用 [9] が検討されている。これらの先行研究の多くは、生成モデルに知識を補うことで応答 の品質を高めることに焦点を当てている。一方、モ デルのパラメータ内知識を直接活用する手法の一つ として知識蒸留 [10] があり、対話生成にも適用され ている [11]が多くない。本研究は、上記の対話応答生成の問題を解決するために、知識蒸留に基づく新 たなアプローチを試みる。人間の学び方に倣い、魅力的な対話応答生成というタスクに必要な能力を複数の教師モデルに分割し、各教師のパラメータに保持されている関連知識を蒸留しながら、生徒モデル に応答生成を学習させることを目指す。

魅力的な対話応答を生成するには、以下の 2 つの能力が必要であると考える。(1) 会話能力 (conversational ability, 対話応答の発話に対する関連性)、(2) 情報提供能力 (informativeness, または知識性)。まず、それぞれの能力に対応する 2 つの教師 モデルを学習する。次に、2つの教師モデルから知識蒸留を行い、応答生成のタスクにおいて生徒モデ ルを学習する。このアプローチにより、生徒モデル は、より魅力的な対話応答生成に必要な複数の能力 を効果的に学習することができる。オープンドメイ ンの対話データセットを用いた実験の結果、様々な ベースラインを上回り、提案手法の有効性が示さ れた。

## 2 関連研究

知識に基づく応答生成モデル 自然言語生成にお いて、知識に基づく seq2seq モデルの分野では様々 な研究が行われている。近年の研究ではペルソナや 共感情報を考慮する手法 [12] や、より適切で魅力的 な応答を生成するために、知識に基づくオープンド メイン対話生成 [8]を発展させた手法もある。また、外部の知識ベースを照会し、応答を生成するように 情報検索とテキスト生成を統合したアプローチもあ る [13]。外部知識べースを取り込むことを意図した

Expert distillation loss $L_{\mathrm{Ex}}$

Dialogue task-specific loss $L_{\mathrm{NLL}}$

図 1 提案手法の概要

既存の研究 [8] とは異なり、本研究はモデルのパラ メータ内に蓄積された知識を利用することに焦点を 置く。この点に関する先行研究には、言語モデルの 内部知識の更新に注目しているもの [14] はあるが、提案手法は対話応答生成のタスクに内部知識を利用 することを目的としている。

知識蒸留と対話応答生成 知識蒸留 (Knowledge Distillation, KD) [10] は、当初コンピュータビジョン の分野で提案されたが [15]、最近では様々な言語処理タスクで利用されている [16]。しかし、対話応答生成における知識蒸留の利用は比較的少ない。近年 では、知識蒸留を用いたデータ拡張 [11] の他、対話生成のためにカリキュラム学習と KDを組み合わせ るアプローチ [17] が提案されている。本研究は、こ のアプローチ [17] と同様の分野ではあるが、より魅力的で情報量の多い応答を生成するために、複数の 専門教師の学習と蒸留に焦点を当てている点が異 なる。

## 3 提案手法

本節では、オープンドメインの対話応答生成にお いて、複数の教師モデルから効果的に知識蒸留を行 い、生徒モデルの生成結果の魅力度を向上させるた めの手法について述べる。まず、対話応答生成タス クを定式化し、次に提案手法を述べる。

## 3.1 対話応答生成

対話応答生成のタスクは、入力発話 $\mathbf{u}$ が与え られたときの応答 $\mathbf{r}=\left(r_{1}, r_{2}, \ldots, r_{m}\right)$ を予測する。入力発話 $\mathbf{u}$ が与えられたときに、モデルが確率 $p\left(r_{i} \mid r_{<i}, u ; \theta\right)$ に従って応答 $\mathbf{r}$ を生成できるように、 モデルのパラメータ $\theta$ を学習する。モデルパラメー タは次の損失関数、すなわち負対数尤度 (NLL) を最小化することで学習できる。

$
\mathscr{L}_{\mathrm{NLL}}(\theta)=-\sum_{i} \log p\left(r_{i} \mid \mathbf{r}_{<i}, \mathbf{u}\right)
$

## 3.2 複数教師による知識蒸留を用いた応答生成

本研究では、魅力的な応答生成に必要な 2 つの能力に着目する。会話能力と情報提供能力である。ま ず、オープンドメインと知識関連の対話データに対 して、それぞれ $\operatorname{Ex}(\mathrm{D})$ と $\operatorname{Ex}(\mathrm{K})$ という 2 つのモデル を、3.1 節の NLL loss に従って学習する。これらの モデルは知識蒸留 (KD) を通して、生徒モデルの教師として機能する。図 1 に提案手法の概要を示す。

KD [10] は、ある教師と生徒モデルが与えられた とき、それらの出力確率分布間の Kullback-Leibler (KL) 距離を最小にすることによって、生徒の確率分布を教師に近づける手法である。生徒 $S$ と教師 $T$ の 予測分布 ( $\mathbf{r}_{s}$ と $\mathbf{r}_{t}$ とする) に対して、KD は次の距離 を最小化する。

$
\mathscr{L}(\mathrm{T})_{K D}=\mathrm{KL}\left(\mathbf{r}_{s} \| \mathbf{r}_{t}\right)
$

複数の教師モデルが存在する場合、生徒には各教師からの得る知識を最適化することが重要になる。 また、知識蒸留の先行研究 [18] では、生徒と教師モ デルの出力確率分布の差が大きい場合、生徒モデル の学習に悪影響を及ぼすという、容量ギャップの問題が指摘されている。

そこで、カリキュラム学習やアクティブラーニン グにおける生徒中心の学習方法 [19] にならい、学習中に教師モデルの蒸留信号を効果的に調整するた めの指標として、生徒による応答の難易度を考慮す る。先行研究 [19] に従い、本研究では生成された応答に対する生徒モデルのエントロピー $H$ を難易度 の指標とみなす。

$
H=-\sum_{i} p\left(r_{i} \mid \mathbf{r}_{<i}, \mathbf{u}\right) \log p\left(r_{i} \mid \mathbf{r}_{<i}, \mathbf{u}\right)
$

難易度を生徒モデルの自信としても考えることもで きる。

上記の指標に基づき、バッチ内の応答を簡単なも のから難しいものへと並び替え、各教師からの蒸留信号はその順序に従って分割する。例えば、難しい 応答の場合、生徒 $S$ は学習しやすい教師の指導を受 け、もう一方の教師から、より簡単な応答について 指導を受けることになる。よって、教師モデルから 蒸留信号の分割を以下のように定式化する。

$
\mathscr{L}_{\mathrm{Ex}}=\gamma \mathscr{L}(\operatorname{Ex}(\mathrm{D}))_{K D}+(1-\gamma) \mathscr{L}(\operatorname{Ex}(\mathrm{K}))_{K D}
$

ここで、 $\gamma$ は教師モデル間のバランスをとるための パラメータとする。

式 (1)と (4)を組み合わせることで、生徒モデルの 対話応答生成タスクで最適化すべき全体の損失関数 $\mathscr{L}$ を以下のように定義する。

$
\mathscr{L}=\mathscr{L}_{\mathrm{NLL}}+\lambda \mathscr{L}_{\mathrm{Ex}}
$

## 4 実験

本研究では、多様なオープンドメインの対話デー タセットを用いて提案手法を評価する。様々なべー スラインモデルの組み合わせと比較し、本研究のア プローチの有効性を確認する。

## 4.1 実験設定

本研究では様々なオープンドメインと知識的対話 で fine-tuning された BART ベースの seq2seq モデル を教師と生徒モデルとして採用する。モデルの学習 には Adam optimizer を用い、学習率 3e-5 のデフォル トパラメータで学習する。実装には Hugging Face ラ イブラリを使用する。

## 4.1.1教師モデル

3.2 節で述べたように，会話能力を表す $\operatorname{Ex}(\mathrm{D})$ と、情報提供能力を表す $\operatorname{Ex}(\mathrm{K})$ という 2 つの教師モデ

ルを学習する。Ex(D) はオープンドメインの対話 データセットで学習した BART-large モデルであり、 $\operatorname{Ex}(\mathrm{K})$ は情報や知識が多い疑似対話データセットで 学習した BART-base ${ }^{1)}$ モデルである。Ex(D) の単純 な日常会話に比べ、 $\operatorname{Ex}(\mathrm{K})$ はより情報量の多い（多様な）データセットで学習される。そのため、知識 の教師である $\operatorname{Ex}(\mathrm{K})$ は $\operatorname{Ex}(\mathrm{D})$ よりも難しいタスクを 学習した教師であると想定される。すなわち、生徒 にとって、 $\operatorname{Ex}(\mathrm{K})$ が $\operatorname{Ex}(\mathrm{D})$ よりも学習が困難な教師 である。なお、提案手法では学習時、生徒による学習サンプルの難易度に基づいて教師を選択する。し たがって、学習の過程では生徒にとって難易度の高 いサンプルは、学習しやすい教師 $\operatorname{Ex}(\mathrm{D})$ の信号を受 け、その逆も同様である。本研究では、 $\gamma=0.5$ に設定し、教師モデルは均等にバランスされている。

## 4.1.2 データセット

本研究では様々なオープンドメインの対話と知識 に基づく対話データセットを用いて、教師と生徒モ デルの fine-tuningを行う。

Open-domain dialogue datasets (ODD) 高品質な 日常対話データセットとして DailyDialog [20] DailyDialog++ [21]、Cornell Movie-Dialogs Corpus [22] の 3 種類をマージして教師 Ex(D) と生徒モデルの学習に用いる。各モデルの学習サンプル数を 200,000 に固定する。

知識疑似対話データセット 知識教師 $\operatorname{Ex}(\mathrm{K})$ の学習では、Wikipediaから抽出した擬似対話データセッ トである WikiDialog [23]を用いる。さらに、Reddit から抽出した対話データセット [13]を用いて別の教師 $\mathrm{Ex}\left(\mathrm{K}_{R}\right)$ を学習し、比較する。

なお、知識の対話データがより複雑であるため、教師モデルの学習サンプル数を 500,000 に設定する。
(\mathrm{K})$ について比較的安定した学習ができ ることから選択。
}
表 2 生成された応答の自動評価結果。ODD 4.1 .2 節の Open-Domain Dataset の集合である。

} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multicolumn{2}{|c|}{ 自動評価 } \\

表 3 各評価観点において提案手法の勝率 (\%)

## 4.2 評価

提案手法の有効性を確認するため、ODD テスト セットで生成された応答について自動評価と人手評価を行う。なお、教師モデルによって学習条件が異 なるため、比較対象は同規模のベースラインに限定 する。

ベースライン 4 つの異なるベースラインを学習 し、比較する。まず、4.1.2 節で述べた ODD で直接学習したバニラ BART-base モデル (以下「バニラ」) は提案手法の同サイズの生徒モデルと直接比較す る。次に、複数教師の効果を確認するため、どちら か一つの教師モデルのみで学習したベースライン (標準的な知識蒸留に相当、以下「Ex(D)-Distill」と 「Ex(K)-Distill」)を比較する。最後に、Wikipedia べー スのモデルを知識教師として使用する効果を測る ため、Reddit ベース (4.1.2 節) の教師モデル Ex $\left(\mathrm{K}_{R}\right)$ を学習し、 $\operatorname{Ex}(\mathrm{K})$ と入れ替えた組み合わせ (「Multi $\left.\operatorname{Expert}\left(\mathrm{w} / \operatorname{Ex}\left(\mathrm{K}_{\mathrm{R}}\right)\right)\right.\lrcorner$ 以下、「ME-Ex $\left.\left.\left(\mathrm{K}_{\mathrm{R}}\right)\right.\lrcorner\right)$ を提案手法と比較する。

自動評価 生成された応答に対して自動評価を 行う。先行研究に従い, BLEU とパープレキシティ (PPL) [24] のスコアを算出する。

人手評価 自動評価指標は、生成された対話応答 の質とあまり相関がないことが先行研究で報告さ れている [25]。そこで、ACUTE-Eval の手法 [2] に従 い、提案手法とベースラインモデルの応答をぺア
ごとに人手評価を行う。評価は、Amazon Mechanical Turk を介して 2 つの指標で行う。一つは会話能力 (Engagement) であり、その応答をした相手とさらに 会話を継続したいかどうかを表す。もう一つは情報提供能力 (Informativeness) であり、その応答が知識 に富んでいるかどうかを表す。評価者となるクラウ ドワーカーには、テストデータから無作為に選んだ 100 個の応答を上記の各指標に基づいて比較するよ うに求める。各応答は 7 人の評価者による多数決で 勝敗を決定し、提案手法の勝率を算出した。

## 4.3 結果

評価結果を表 2、表 3 にまとめる。BLEU では提案手法が各ベースラインを上回ることが確認され た。さらに、提案手法の PPL も低い值となってい る。なお、提案手法の PPL が最小値ではない原因 は、生成された応答が多様であるためだと考えられ る。しかし、前述したように、n-gram からなる指標 は応答の品質を正確に表現していないことが示され ている [25]。そのため、生成された応答の人手評価 も実施した。人手評価では、提案手法によって全て のベースラインに対して双方の指標が改善した。さ らに、単一教師 (通常の KD) のベースラインより提案手法が全体として勝率が高いため、会話能力と情報提供能力の双方がより魅力的な回答を生成する上 で重要な役割を果たすことも示された。提案手法と ベースラインによる生成応答の例を付録 A に示す。

## 5 おわりに

本論文では、モデルのパラメータに含まれる知識 を学習、活用することで、より魅力的な対話応答生成のためのアプローチを提案した。具体的には、2 つの異なるドメインの対話について学習した複数の 教師モデルから知識蒸留を行う手法を提案した。こ れにより、対象となる生徒モデルは両方の教師ドメ インから学習することができ、自動評価と人手評価 の双方で、より魅力的で情報量の多い対話応答生成 ができることが確認された。

## 謝辞

本研究は LINE 株式会社との共同研究の助成を受 けて行った。

## 参考文献

[1] Apoorv Kulshreshtha, Daniel De Freitas Adiwardana, David Richard So, Gaurav Nemade, Jamie Hall, Noah Fiedel, Quoc V. Le, Romal Thoppilan, Thang Luong, Yifeng Lu, and Zi Yang. Towards a human-like open-domain chatbot. In arXiv. 2020. abs/2001.09977.

[2] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Eric Michael Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an opendomain chatbot. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 300-325, Online, April 2021. Association for Computational Linguistics.

[3] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[4] Conglong Li, Minjia Zhang, and Yuxiong He. The stabilityefficiency dilemma: Investigating sequence length warmup for training gpt models. In Advances in Neural Information Processing Systems, 2022.

[5] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[6] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[7] Peixiang Zhong, Chen Zhang, Hao Wang, Yong Liu, and Chunyan Miao. Towards persona-based empathetic conversational models. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 65566566, Online, November 2020. Association for Computational Linguistics.

[8] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledgepowered conversational agents. In International Conference on Learning Representations, 2019.

[9] Kurt Shuster, Spencer Poff, Moya Chen, Douwe Kiela, and Jason Weston. Retrieval augmentation reduces hallucination in conversation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 3784-3803, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[10] Geoffrey Hinton, Oriol Vinyals, and Jeffrey Dean. Distilling the knowledge in a neural network. In NIPS Deep Learning and Representation Learning Workshop, 2015. abs/1503.02531.

[11] Rongsheng Zhang, Yinhe Zheng, Jianzhi Shao, Xiaoxi Mao, Yadong Xi, and Minlie Huang. Dialogue distillation: Opendomain dialogue augmentation using unpaired data. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 3449-3460, Online, November 2020. Association for Computational Linguistics.

[12] Tatsuya Ide and Daisuke Kawahara. Multi-task learning of generation and classification for emotion-aware dialogue response generation. In Proceedings of the $\mathbf{2 0 2 1}$ Conference of the North American Chapter of the Association for Computational Lin- guistics: Student Research Workshop, pp. 119-125, Online, June 2021. Association for Computational Linguistics.

[13] Ritvik Choudhary and Daisuke Kawahara. Grounding in social media: An approach to building a chit-chat dialogue model. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Student Research Workshop, pp. 9-15, Hybrid: Seattle, Washington + Online, July 2022. Association for Computational Linguistics.

[14] Daliang Li, Ankit Singh Rawat, Manzil Zaheer, Xin Wang, Michal Lukasik, Andreas Veit, Felix Yu, and Sanjiv Kumar. Large language models with controllable working memory. arXiv preprint arXiv:2211.05110, 2022. abs/2211.05110.

[15] Yuang Liu, Wei Zhang, and Jun Wang. Adaptive multi-teacher multi-level knowledge distillation. Neurocomputing, Vol. 415 pp. 106-113, 2020 .

[16] Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf. DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. In 5th Workshop on Energy Efficient Machine Learning and Cognitive Computing @ NeurIPS 2019, 2019.

[17] Qingqing Zhu, Xiuying Chen, Pengfei Wu, JunFei Liu, and Dongyan Zhao. Combining curriculum learning and knowledge distillation for dialogue generation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 12841295, 2021.

[18] Aref Jafari, Mehdi Rezagholizadeh, Pranav Sharma, and Ali Ghodsi. Annealing knowledge distillation. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 2493-2504, Online, April 2021. Association for Computational Linguistics.

[19] Burr Settles and Mark Craven. An analysis of active learning strategies for sequence labeling tasks. In proceedings of the 2008 conference on empirical methods in natural language processing, pp. 1070-1079, 2008.

[20] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. DailyDialog: A manually labelled multi-turn dialogue dataset. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 986-995, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[21] Ananya B Sai, Akash Kumar Mohankumar, Siddhartha Arora, and Mitesh M Khapra. Improving dialog evaluation with a multireference adversarial dataset and large scale pretraining. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 810-827, 2020

[22] Cristian Danescu-Niculescu-Mizil and Lillian Lee. Chameleons in imagined conversations: A new approach to understanding coordination of linguistic style in dialogs. In Proceedings of the 2nd Workshop on Cognitive Modeling and Computational Linguistics, pp. 76-87, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[23] Zhuyun Dai, Arun Tejasvi Chaganty, Vincent Y Zhao, Aida Amini, Qazi Mamunur Rashid, Mike Green, and Kelvin Guu. Dialog inpainting: Turning documents into dialogs. In International Conference on Machine Learning, pp. 4558-4586. PMLR, 2022.

[24] Gábor Melis, Chris Dyer, and Phil Blunsom. On the state of the art of evaluation in neural language models. In International Conference on Learning Representations, 2018.

[25] Chia-Wei Liu, Ryan Lowe, Iulian Serban, Mike Noseworthy, Laurent Charlin, and Joelle Pineau. How NOT to evaluate your dialogue system: An empirical study of unsupervised evaluation metrics for dialogue response generation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2122-2132, Austin, Texas, November 2016. Association for Computational Linguistics.
表 4 各モデルにおける応答生成の例

発話 応答 $\left(\right.$ 提案手法) 応答 $\left(\operatorname{ME}-\operatorname{Ex}\left(\mathrm{K}_{\mathrm{R}}\right)\right) \quad$ 答 $($ バニラベースライン)

Removal Point? What're you It's Removal Point. That's I'm not talking about anything. I'm not talking I'm not talking talking about! where they put the boat. I'm talking

I know why you broke up with I know, but I cannot forgive I don't forgive you. I don't know what you are talkme in college. Can you forgive you. ing about. me?

Shes very striking, don't you No, I don't think so. Its prob- No. I don't know. I don't think so. think? Are these glasses ably just fashion.

a fashion where she comes

from?

## A 対話応答生成結果の例

主なベースラインと提案手法による発話に対する生成応答の例を表 4 に示す。


# 物語の時系列要約法

呉宗翰 天沼博 松澤和光
神奈川大学大学院 工学研究科
}

r202170128yf@jindai.jp amanuma@kanagawa-u.ac.jp matsuk90@jindai.jp
## 概要

本研究では、アニメで放送されたライトノベル作品に対して、時系列を考慮した小説自動要約を提案 する。第 1 章では、コミックやアニメ、ライトノベ ルの問題点について述べる。第 2 章では、自動小説要約における既存研究について簡略的に述べる。第 3 章では、本研究で提案するシステムについて述べ る。第 4 章、第 5 章では、第 3 章で提案したシステ ムについて評価、考察を行う。

## 1 研究目的

多くのライトノベルは、制作会社によってアニメ 化、コミック化されている。そのため、原作を知ら なくとも制作された分だけライトノベルの物語を知 ることができる。しかし、放送を待てずに物語の続 きを知りたい人がライトノベルを購入しようにも、続編が何巻に相当するのか、分かりづらい。また、 アニメ制作会社が続編を放送するのを期待しても長 い月日がかかる。さらにコミックでは、打ち切りと いったことも起き、続編が描かれない場合もある。

また、ライトノベルは基本的には時系列順に物語 を進めていくが、作者が意図して時系列を順序不同 にすることがある。『空の境界』の作者、奈須きの こ氏によると、時系列を順序不同にすることで、物語がミステリ的な内容になり、読者は物語を考察・整理する事で快楽を得られる[1]。しかし、パズルの ような作品を読むのが苦手な人にとっては、読みづ らく購入しづらい。そこで、ライトノベルを楽しみ 易くするために、物語を時系列に並び直した情報を 提示して物語を読む助けとする。さらに、物語の重要な事柄を抽出する事で、アニメや漫画の続きを読 むためにライトノベルを購入する人の手助けになる と考える。

## 2 既存研究

自動要約モデルは新聞や論文向けのものが多い [2][3][4]。小説の内容に焦点にあてて研究しているも のの多くは、「走れメロス」や「羅生門」といった 純文学が対象となっている。ライトノベルや推理小説等といった媅楽小説（大衆文学）の自動要約につ いては、ごく少数の研究者が行っているだけである。

## 3 提案手法

システム全体のフローチャートは図 1 に示す。ま た、対象となる小説の物語文には、テキスト処理を 行い「代名詞」を「固有名詞」に変換したものを使用する。

図 1 システムのフローチャート

## 3.1 品詞や単語の選別

ライトノベルには、情景や感情を表すために、「き れい」や「はあ」といった形容詞や感嘆詞の等の品詞を多く使われる。しかし、ライトノベルの内容の 大まかに知る上で不必要な品詞であるため、省くこ とでライトノベルの文章量を減らす。また、ライト ノベルには架空の人物や国等が登場するが、Mecab のシステム辞書では、それらの単語を未知語と表記 され、単語に正しい品詞が生成されない。そのため、 ユーザー辞書を追加することで対応させる。

## 3.2 文の主節を抽出

小説には、登場人物の「感情」や「情景」を強く 強調するために、「比喻」や「倒置法」「擬人法」 といった修辞法を使われている。修辞法を使用した 文は、結論がぼやけてしまい、内容を解りづらくし てしまう。特に、ライトノベルは「倒置法」「比喻」 を使い、登場人物の魅力を上げているので、文章の 内容をわかりやすくするために、文の主節を抜き出 すのは必須だと考える。

今回は、山内長承氏が開発したシステム[5]を参考 に、主語、動詞、目的語、情報句を抜き出す。情報句とは、「日時」や「場所」といった、文には影響 しないが情報となる句のことである。この情報句を 使い、3.5 節に示す時語検索を行う。

その他の主節は、主語、目的語、動詞の順に一つ の文にする。その後、この文を使って類似文章検索、重要文抽出を行う。

## 3.3 類似文章を省く・要約する

機械学習ライブラリである「scikit-learn」を使い、文章に tf-idf 值をつける。ここで、scikit-learn で行う tf-idf の定義[6]は一般に知られている定義とは異な るので以下に示す。

$
\begin{aligned}
& t f_{t, d}=\text { 文書 } \mathrm{d} \text { 中の単語 } \mathrm{t} \text { の出現回数 } \\
& \mathrm{idf}_{\mathrm{t}}=\log \frac{1+\text { 総文書数 }}{1+\text { 単語 } \mathrm{t} \text { を含む文書数 }}+1
\end{aligned}
$

また、類似度はコサイン類似度で測定する。 ライトノベルでは、主に地の文と会話文で構成され、地の文と会話文で同じ内容を表現の仕方を変えて描 かれていることが多い。そこで、似た内容の文章を 以下のように省く。

まず 1 文目と 2 文目以降を比較し、 1 文目と類似性が高いと評価された文を省く。次に 2 文目と 3 文目以降を比較し、2 文目と類似性が高いと評価され た文を省く。同様に、 3 文目以降もこの操作を行う。

## 3.4 重要文の抽出

重要度の高い文を抜き出すことで、アニメやコミ ックからその作品を知った人でもライトノベルを途中から読み始めることができる。ここで、重要度の 高い文とは、主人公に降りかかる出来事や、主人公 に間接的にかかわる出来事と仮定する。ライトノベ
ルでは、主人公に関係する出来事には、主人公や主人公に近しい人物の名前が現れる。それらを抽出す る事で重要度の高い文を抽出できると考える。

重要度を測るためにテキスト自動要約ライブラリ である「pysummarization」を使用する。要約ライブ ラリの制作者 Accel Brain 社によると、このライブラ リは「LSTM をベースとした Sequence-to-Sequence の 学習を実現するニューラルネットワーク言語モデル の基礎モデルを re-seq2seq の学習モデルや再構成モ デルに応用することで、文書自動要約器を実装した もの」[7]と説明されている。

このライブラリで算出した重要度のうち、主人公 や主人公に近しい人物の名前がある文の重要度を高 くする。その後、重要度の高い文、 $10 \sim 12$ 個を出力 する。

## 3.5 時語検索

時語データを作成する。作成方法は先行研究[8]を 参考にする。奥村紀之氏は時間に関する情報を保持 した時語データベースとして，時間帯単位，年月日単位，季節単位，人生単位の 4 種類に分類した。以下に, 奥村氏による 4 種の単位の定義と例を示す[8]。

- 時間帯単位時語

一日の中のある時間帯を表す時語

(例：朝，夜)

- 年月日単位時語

一年や一日単位の移り変わりを表す時語

(例：日，年，今日，再来月，火曜)

- 季節単位時語

一年の季節のどこかを表す時語

(例 : 春，夏，春分，七夕，海)

- 人生単位時語

人の一生のある期間を表す語句

(例：高校生，生年)

辞書作成にあたり奥村氏の方法は「時を関する語句をアンケート調査でサンプル収集」 $\rightarrow$ 「サンプル を 5 名の被験者が判定」 $\rightarrow$ 「時間関連の語句である と評価」したものを時語として採用する $[8]$ 。今回は 時間の都合上、「辞書で時間に関する語句を収集」 $\rightarrow$ 「被験者 132 名で $15[\%]$ 以上が認めた時語」 $\rightarrow$ 「国語の高校教員 2 名に妥当と評価」したものを時語と して採用したものを使用する。また、人生単位時語 は評価しない。

## 3.6 時系列に並びなおす

3.2 節で抽出した情報句を日数と時語に分ける。時語は、「年月日」「時間帯」「季節」の 3 項目を判定させる。

まず初めに物語の始まりの文を「0 日」とおく。そ れ以降の文で「90日」や「『年月日』に関する時語」 があれば日数計算を行う。その後、日数の数が低い 順に並べる。

その他の 2 項目では、「時間帯」は「朝」「昼」

「夕」「夜」を、「季節」は「春」「夏」「秋」「冬」 をそれぞれ順番に「1」「2」「3」「4」のラベルを 付ける。その後、日数を基準に「時間帯」は 1 日ご とに、「季節」は 365 日ごとにラベルの数が低い順 に並べる。

## 4 評価実験

今回提案した手法の結果を図 2 に示す。この結果 をもとに 2 種類の評価実験を行う。

図 2 システムの出力結果

## 4. 1 正誤評価

アニメ 1 話ごとを理想的な出力結果と仮定し、出力結果と比べ正誤評価を行う。評価項目は、記述の 精度、あらましの再現率、話のバランス、の 3 項目 を行う。記述の精度は出力結果の記述が適当かを判定、あらましの再現率はアニメの何話を再現してい るかを判定、話のバランスはアニメ全話で偏りがな いか判定する。正誤結果の一部を表 1 にまとめた。正誤結果は記述の精度は 21.7[\%]、再現率は 52.2[\%] である。

表 1 アニメとの正誤判定の一部

また、出力された日時が適正かライトノベルと比 べた結果、アニメの一期の最後と比べ、6 日のずれ が生じた。図 3 にシステムと原作小説の経過日数の 比較グラフをしるす。

図 3 原作小説とシステムの経過日数

## 4. 2 アンケート評価

アニメ視聴者にアンケートを行い、あらましを把握するのに役立つか、またアニメ何話なのか分かる 出力になっているか評価してもらう。評価結果を図 4、図 5 にまとめた。

■役に立つ ■必要ない

図 4 あらましの把握

図 5 小説の話の推測

## 5 考察

今回、提案した手法により、アニメの続編にあた る話を原作小説から読むことが可能であることがわ かる。このことは、アンケート評価から分析できる。

あらましの把握では、必要がないと回答した被験者が多かった。必要がないと回答した理由の多くが 「意味の分からない文が多い」と否定的であった。一方で、「あらましの把握には役に立たないが、日
数と文からある程度、想像できる」と肯定的な理由 があった。

小説の話の推測では、「推測できる」と回答した 被験者が多く、その理由が「日数と内容から推測で きるが、自信をもっては答えられない」であった。

このことから、アニメ放送後の内容の続きから原作小説を読むことは可能と考える。ただし、あらま しの把握で否定的な理由が「不可解な文」であるこ とから、この手法は、記述の精度が不十分である。 このことは、正誤評価から考察される。前述した通り、誤評価では特に記述の精度が悪い。 その結果、あらましの再現率が低なり、話のバラン スに偏りが出たと考えられる。その原因は二つ挙げ られる。

1つ目は、「助詞」である。今回行った構文解析で は、「述語」に対しての「助詞」の関係で、「主語」 と「目的語」を判別していた[5]。しかし、「主語」 や「目的語」につながる「助詞」の有無を判別しな かったことで、文章として不十分な文が出力された。

2 つ目は「要約方法」である。アニメは、製作費等 によるが、3 ケ月を 1 クールで全 12 話を 1 話 25 分 で放送し終了する。そして、小説によって、全 12 話 で放送される小説の内容が 1 章から 2 章で構成され る。しかし、制作会社は 1 話 25 分を全 12 話で原作小説の 1 章から 2 章に描かれている内容のすべてを アニメに反映することができない。そのため、不必要な内容を省略する場合がある。このことを考慮せ ずに原作小説の要約を行うと、アニメに描かれてい ない場面を、重要度の高い文として要約してしまう 可能性がある。これを解決するには、入力した文章 をそのまま出力される「抽出型」ではなく、入力し た文章を元に新しい文を生成する「生成型」である べきと考える。最後に時系列のずれを考察する。提案した手法は、小説の始まりの順に計算されている。しかし、原作小説は、同じ内容を「視点」や「場面」を変えて描 く場合がある。

「視点」とは、話の中心人物である「主人公」に 起きた出来事を主軸に描くが、主人公以外のキャラ クターの魅力を引き出すために、別の人物の「視点」 で「主人公」に起きた出来事を描かれる。そのため、「主人公」に起きた出来事と別の人物の「視点」の 2 つ以上の「視点」に同じ内容を描かれる。しかし、今回の提案手法では「視点」について考慮しなかつ たので、経過日数にずれが生じた。「場面」とは、話の中心となっている「舞台」や 「場所」のことである。仮に「A 国」「B 国」「C 国」 とあり、「B国」「C 国」から「A 国」に行くのにか かる経過日数が「B 国」の方が「C 国」と比べて 2 日早いと仮定する。このとき、今回提案した手法では、実際には違う「国」を同じ「国」と取り扱ったため に、経過日数にずれが生じた。

## 6 今後の課題

5 章より、記述の精度と日数の計算方法が提案し た手法の問題点である。

記述の精度は 4.1 節の結果で示した通り、記述の 精度が $21.7[\%]$ と低い値となっている。また、 4.2 節 で被験者から頂いた否定的な意見には「不可解な文 が多い」「読みづらい」「内容がわからない」等々、文の記述に関する内容が多くみられた。

日数の計算方法は 4.1 節の図 3 により、提案した 手法のシステムには、原作小説と比べて日数の経過 が大きくなっている箇所があり、また変化していな い箇所がある。これらの箇所は 5 章で述べた通り、「視点」や「場面」が変わった箇所であった。その ため、視点の変化や場面の変化を考慮する必要があ る。

以上のことから、記述の精度と日数の計算方法に ついては今後の課題である。

## 参考文献

[1]「とらだよ。vol.81」,とらのあな, 2007 年 10 月

[2] 安武凌, 野中 健一, 岩井 将行「LexRank を用 いた小説文章からの自動要約手法の検討」

第 16 回 Webインテリジェンスとインタラクション 研究会

https://www.jstage.jst.go.jp/article/wii/16/0/16_38/_pdf/char/ja(参照 2022/1/5)

[3] 下窪 聖人「BERT で獲得する各場面の分散表現 を用いたコサイン 類似度に基づく小説の挿絵推」

法政大学学術機関リポジトリ

gradcis_16_19T0010 (2).pdf(参照 2022/1/5)

[4] 山本 悠二, 増山 繁, 酒井 浩之「小説自動要約 のための隣接文間の結束性判定手法」

言語処理学会年次大会発表論文集

https://www.anlp.jp/proceedings/annual_meeting/2006/p df_dir/C5-4.pdf(参照 2022/1/5)

[5] 東邦大学理学部情報科学科山内のサイト

「CaboCha による係り受け解析の利用〜文の主節の 骨組を取り出す」

https://pepper.is.sci.toho-u.ac.jp/(参照 2022/6/23)

[6] scikit-learn"6.2.3.4.Tf-idfterm weighting"

6.2. Feature extraction - scikit-learn 1.2 .0 documentation (参照 2022/6/28)

[7] pysummarization $\cdot$ PyPI,

$\lceil$ Usecase: Summarization with Neural Network Language Model.」

pysummarization $\cdot$ PyPI（参照 2022/8/29）

[8] 奥村 紀之, 瀧本 洋喜, 「物語文章における時系列推定の拡張」

第 12 回情報科学技術フォーラム

F-010.pdf (ieice.org) (参照 2022/6/30)


# 自律移動型ロボットにおける 経験由来の情報量からの発話内容選択

吉原 大智 1,2 , 湯口 彰重 ${ }^{2,3}$, 河野誠也 ${ }^{2}$, 飯尾 尊優 4,2 , 吉野 幸一郎 2,3
1 筑波大学 ${ }^{2}$ 理化学研究所 GRP ${ }^{3}$ 奈良先端科学技術大学院大学 ${ }^{4}$ 同志社大学
s2120792@s.tsukuba.ac.jp, tiio@mail.doshisha.ac.jp
\{akishige.yuguchi, seiya.kawano, koichiro.yoshino\} [at] riken.jp

## 概要

ユーザとの共生空間で動作するロボットには、 ユーザから信頼され協調動作をスムーズに実行する ことが求められる。そのためには、ロボットがどの ような外界観測を行いそこから何を記憶しどのよう な意図を生成したのかを、ユーザが理解できるよう に表出させることが重要である。外界観測結果や記憶・意図を表出させる有効な手段として、言語を用 いたインタラクションがある。長期的なインタラク ションを想定したとき、冗長なインタラクションを 避けるため纪、何を言語化し伝えるかだけでなく、何を言語化せず伝えないかも重要である。本研究 では、経験由来の情報量（エントロピー）をロボッ トが言語化する内容の選択に用いる。具体的には、 GPT由来の一般言語モデルとロボット自身の経験か ら学習した言語モデルの 2 種類を利用する。ロボッ トを使った案内タスクで被験者実験を行った結果、提案法がロボットの内部状態を必要十分に説明でき ることが示された。

## 1 はじめに

ロボットや人工知能技術の進展に伴い、人間の生活空間で自律的に動作するロボットが実現されよう としている。こうした自律型ロボットが人間の生活空間で動作しょうとする場合、ロボットの状態がど のようなものか、人間のユーザにとって明確である 必要がある $[1,2]$ 。例えば、ロボットが何をでき何 を記憶しているのかということをユーザが理解で きなけ狄ば、ユーザは適切な命令をロボットにでき ず、協調作業などに支障が出る。言い換えれば、ロ ボットの内部状態が、ユーザにとって必要なタイミ ングで理解可能であることが重要である $[3,4]$ 。

しかし、ロボットは人間とは異なる動作原理で動作しており、人間であるユーザがロボットの意図や 行動の理由を読み取ることはしばしば難しい $[5,6]$ 。言い換えれば、ユーザにとってロボットの行動予測 は困難であり、ユーザにとってはいつ何をどのよう 攺ボット要求してよいかわからないというユー ザビリティの問題が生じる。こうした不可視な内部状態の問題は、ロボットが得られる信頼性の問題に も繫がっている $[7,8,9,10]$ 。

この問題を解決する方法のひとつが、外界観測結果・記憶・意図といったロボットの内部状態を ユーザに自然言語を用いて対話的に説明すること である $[11,12,13,14,15,16,17,18]$ 。この考え方は、 Explainable AI (XAI) の考え方をロボット纪当てはめ たもので、ユーザとの協調性を高めるための手法と して注目されている $[4,6,13,19,20,21,22] 。$

しかし、ロボットの内部状態は観測結果・記憶・動作計画・バッテリー残量など種類が多く、実際に はどの情報を言語化（発話）し説明することがユー ザとの協調動作に有効かは明らかではない。無分別 な言語化・説明はユーザビリティの低下に繋がるた め、場面に応じた適切な量・内容の言語化が必要で ある [22, 23]。つまり、ロボットの内部状態のうち、何を言語化する・しないを決める基準を定め、説明 することが重要である。

ロボットの内部状態を説明するとき、何を言語化 するか決定する基準に関する研究では、ロボットの 安全性に関する情報を重視することや [24]、ロボッ トのタスク遷移の要点を重視することが提案され ている[21]。これらの研究は、主にユーザとロボッ トの初対面でのインタラクションを想定している。 しかしユーザの生活空間での活動するロボットは、 より長期的な観測・記憶を活用する必要がある場面 も多い [25, 26]。また、ロボットの行動パターンが ルーティンである場合、その報告は冗長となる一方

図 1 ロボットの内部状態とモジュール

で、行動パターンが何らかの理由でいつもと異なる 場合はそれを報告する必要がある。つまり、生成し た説明の必要十分性を担保するよう、ユーザの慣れ や状況に応じて過不足なく説明を行うという視点が 必要である [27]。

本研究では、過去のユーザとの対話をもとに口 ボットが発話する対話戦略の下、発話内容をある基準によって削ることは説明の必要十分性の向上に 有効なのかを検証する。ここで、この発話内容の選択に用いる基準のことを言語化基準と呼ぶ。この 際、過去の記憶・経験と比較した場合の現在の観測 の希少さを言語化基準として用いる。具体的には、過去の記憶・経験を利用した確率的言語モデルを構築し、この言語モデルに対する現在の観測事象のエ ントロピーを計測する「エントロピー基準」を用い る。このエントロピー基準によって説明の必要十分性が向上するか、ロボットを用いた被験者実験で評価・検証する。

## 2 タスク

本研究では、ロボットによる言語化の適切さを測 るため、自律型ロボットにおいて案内タスクを設定 し実験を行った。自律移動型ロボットはリビングを 模した実験室内で案内タスクを行う。案内タスクと は、ユーザ役の実験者がある物体を探しており、ロ ボットにその物体を探していることを伝え、ロボッ トがその場所を教えるタスクである。ロボットは自身の観測と記憶からなる内部状態に基づいて物体 がある場所を推定し、その物体がある地点まで案内 する意図に基づき行動計画と発話計画を生成する。 このとき、ロボットは自身の認識結果と言語化規則 （詳細は付録の表 2）によってあらゆる認識結果を言語化する。この言語化内容のうち、何をユーザに対 して発声し、また何を発声しないか決定するという のが本論文で取り組むタスクである。つまり図 1 で 示すように、ロボットが持つ多様な観測結果が言語化された結果に対して、発声するかどうかを選択す るフィルターを実装する。

## 3 情報量に基づく発話内容選択

本研究では、ロボットが生成した発話が、過去の 記憶・経験と比較した場合にどの程度希少かに基づ いて発話すべき内容を決定することを考える。この とき、確率的言語モデルにおけるエントロピー、あ るいはパープレキシティ（ppl）の考え方を用いる。本章では各言語化候補（発話候補）に対してスコア を付与する方法について述べる。

## 3.1 言語モデルとパープレキシティ

今回用いるロボットは現在の観測や行動に対して 言語化を行う規則を有するため、あらゆる内容がテ キストとして保存される。このテキスト中に含まれ る単語列 $s$ の同時生成確率を $P(s)$ とする。過去の 観測結果の集合である $\delta$ から最尤推定、あるいは MAP 推定に基づいてモデルパラメータ $\theta$ を構築す る。このパラメータを用いて現在言語化を行うか考慮している文 $s$ に対する尤度 $P(s ; \theta)$ を考える。この とき、この尤度が低いということは過去の観測集合 §からは遠い文、つまり希少性の高い文であるとい うことが言える。逆に、この尤度が高い場合は希少性の低い文であり、ロボットからすると言語化する 価値の低い可能性が高い文という仮説が成立する。

この尤度計算には計算機のまるめ誤差の問題から 一般に負対数尤度を用いるため、文 $s$ に対する尤度、 つまりエントロピーおよびパープレキシティは以下 の式で計算される。負の対数尤度なので数の大小は 反転しており、エントロピーあるいはパープレキシ ティが高い方が希少性の高い文ということになる。

$
\begin{gathered}
H=-\log P(s ; \theta) \\
p p l=2^{H}
\end{gathered}
$

ここで $\theta$ の計算方法について 2 種類を試行する。一つ目は、ロボット自身の過去の経験のテキスト集合 $\delta$ から最尤推定によってパラメータを推定する方法である。もう一つは、Web 上に存在する大量テキ ストから学習された大規模言語モデル（一般言語モ デル）が与えるパラメータを用いる場合である。前
者はロボット自身の経験上の希少性を用いることに 相当し、後者は世の中一般の常識における希少性を 利用することに相当する。

## 3.2 経験由来パープレキシティ

ロボットが過去に見聞きした内容の集合 $\delta$ に基づ いて発声候補のパープレキシティを計算したもの を以降では ppl_exp と記載する。ppl_exp は、2022 年 11 月 24 日時点でぶつくさ君の行った外界観測の結果から遡って物体認識 24,278 個、人物認識 917 個、音声認識 650 個、場所認識 385 個を規則に基づいて 言語化した 407,535 文から学習した。これらの文を sentencepiece[28] でトークナイズし、fairseq[29] で言語モデル化した。

## 3.3 一般言語モデル由来パープレキシティ

一般言語モデルに基づいて発声候補のパープ レキシティを計算したものを以降では ppl_GPT と 記載する。一般言語モデル由来のパープレキシ ティの計算には、rinnna 社が公開している言語モデ ル rinna/japanese-gpt2-medium[30](以下 1 m_general と 呼称) を利用した。経験由来パープレキシティと合 わせて、 huggingface[31] により計算を行った。

## 3.4 パープレキシティの闇値

実際に各モデルからパープレキシティを計測し たとして、発声する・しないの閾値をどう設定する かという問題がある。この閾值は、経験由来パープ レキシティの計算に用いたデータ $\delta$ とは別の開発用データ (2022 年 11 月の物体認識 174,189 個、人物認識: 15,108 個、音声認識:40 個、場所認識:66 個) を利用して計算する。ここから言語化規則に基づ いて作成された $1,323,448$ 文に付与可能な ppl_exp と ppl_GPTをそれぞれ計算し、その平均を閾値とした。

## 4 実験

実際に案内タスクでロボットに発話を行わせ、そ の様子をユーザに見せる被験者実験を行った。本節 では比較に用いた条件、評価指標、結果について述 べる。

## 4.1 比較条件

情報量基準に基づく発声候補の選択がユーザから の印象にどのような影響を与えるかについて検証 する。今回は経験由来と一般言語モデル由来の 2 種類の手法が存在するため、以下の候補を比較条件と した。

・条件 1 : 全ての言語化を発声する

・条件 2: 全ての言語化を発声しない

・条件 3: ppl_exp が低いものを発声しない

・条件 4: ppl_GPT が低いものを発声しない

・条件 5: ppl_exp が高いものを発声しない

・条件 6: ppl_GPT が高いものを発声しない

・条件 7: 条件 3 かつ条件 4 のものを発声しない
- 条件 8 : 条件 3 または条件 4 のものを発声しない

ここで条件 5 は条件 3 の、条件 6 は条件 4 の反転条件である。また、条件 7,8 はそれぞれ条件 3,4 を組 み合わせた and/or 条件である。

## 4.2 実験条件・評価指標

評価では、ロボットが実際に案内タスクを行って いる様子を記録した動画を収録し、その動画をクラ ウドワーカーに見せることによって点数をつけても らった。映像は 34 分程度となっている。なお、映像ではユーザは花瓶を探しているものとした。

評価項目としては、動画視聴の事前事後として以下の項目を付与してもらった。

事前アンケート

・ユーザの年齢・性別

・ロボット否定的態度尺度 (14 項目 5 尺度)[32]

## 事後アンケート
- 発話内容 (5 項目 5 尺度、 1 項目 7 尺度)
- 説明の適切性 (1 項目 5 尺度)
- 説明の必要十分性 (1 項目 7 尺度)
- 主体性 (1 項目 5 尺度)

-会話性 (1 項目 5 尺度)
- 説明の選択性 (1 項目 5 尺度)

- 説明内容の珍しさ (1 項目 5 尺度)
- $\operatorname{TAM}(20$ 項目 5 尺度)[33]
- 使用時の不安 (4 項目 5 尺度)
- 利用しようとする意向 (3 項目 5 尺度)

-ロボットの適応能力の知覚 (3 項目 5 尺度)
- 使いやすさの知覚 (5 項目 5 尺度)
- 有効性の知覚 (3 項目 5 尺度)
- 技術の信頼性 (2 項目 5 尺度)

$\cdot$自由記述

5 尺度の項目は 5 が最高、 1 が最低である。「説明の 必要十分性」のみ 7 段階になっており、 4 がもっと
表 1 実験結果。必要十分性については、目標值である 4 との差分も記載

も必要十分、 1 が最も説明が足りない、 7 が最も説明 が冗長となる場合に対応することに注意されたい。

参加者は、2022 年 12 月にクラウドソーシングで、全条件を同じ参加者に視聴してもらい比較評価す るのは難しいため, 各条件 20 名ずつ計 200 名 (女性 102 名、男性 98 名、 19 歳 65 歳、平均 $41.6 \pm 9.19$歳) を集めた (条件 1 : 平均 $42.7 \pm 11.0$ 歳、条件 2: 平均 $39.5 \pm 10.6$ 歳、条件 3 : 平均 $39.7 \pm 6.8$ 歳、条件 4 :平均 $41.2 \pm 11.5$ 歳、条件 $5:$ 平均 $39.6 \pm 8.2$ 歳、条件 6: 平均 $41.2 \pm 8.7$ 歳、条件 $7:$ 平均 $43.1 \pm 10.0$ 歳、条件 $8:$ 平均 $44.9 \pm 7.5$ 歳)。

## 4.3 結果

まず、事前アンケートの各項目について、各条件間でクラスカル・ウォリス検定を行ったところ差は 見られなかった。実験に関わる各アンケートについ ての実験結果を表 1 に示す。表から、今回必要とす る説明の必要十分性に関しては、発声内容のフィル タをしない場合（条件 1）と比較して、フィルタを する場合はいずれもスコアが向上する（4 に近づく） ことが確認された。特に ppl_GPTのみを使う場合 （条件 4）が最もロボット発話の必要十分性を向上さ せることがわかった。またこのうち、スコアの絶対値を比較した場合には条件 1 対条件 2、条件 1 対条件 4、条件 1 対条件 8 、条件 3 対条件 4 の組み合わせ で、スティール・デュワス検定（ $\mathrm{p}<0.05 ）$ における 有意差が確認された。この結果から、全ての観測内容について言語化を行うよりも、一般言語モデルを 用いて発声内容をフィルタする方が、対話ロボット の説明に感じる必要十分性が向上することがわかっ た。これらの場合いずれも、スコアの絶対値で比較 すると有意差があるものの、 4 との差分の絶対値で 見た場合には有意差はない。また、提案法の逆転条件である条件 5、条件 6 のスコアは 4 から大きく離 れ、提案法の有効性を示唆する結果となった。

その他の項目では、発声内容のフィルタをしない 場合（条件 1）が説明の適切性、主体性、会話性の上 で高いスコアを得た。これらの項目は、ロボットの説明に感じる必要十分性とトレードオフの関係があ ると考えられる。説明の選択性については ppl_exp のみを使う場合（条件 3）が高い評価を得たが、こ れはロボットが自身の経験に基づいて発声内容を選択した結果、ユーザからもそうした選択をしている ことが強く感じられたのではないかと考えられる。

また、各 TAM 尺度についても比較評価を行った。全体の傾向としては、and 条件（条件 7）が高いスコ アを得る結果となったが、信頼性においてはppl_exp （条件 3）が一番高いスコアを得た。発声内容のフィ ルタをしない場合（条件 1）と比較すると、いくつ かの項目では同等のスコアを得ている中で、それ以外の項目ではフィルタをする条件の方がスコアが向上している場合が確認できる。また、使用時の不安 においては何も発声しない場合 (条件2) や or 条件 （条件 8）が高いスコアを得ている。この結果から、必要以上に発声を抑制することはユーザにとっての 不安に直結することが見てとれる。

## 5 おわりに

本研究は、長期的なロボットとのインタラクショ ンを想定したときに必要となるであろう、ユーザに とって有益な内部状態のみを発話させるロボットの 実現のために、発話選択を発話が持つ情報量に基づ いて行う枠組みを提案した。結果として、一般言語 モデル由来の情報量を用いることで、ロボットが発生する内容の必要十分性を向上させることができ た。今後は、ロボット自身の経験などをどのように 併用することが適当か検討する必要がある。また、特定ユーザを対象とした長期的なインタラクション を行う場合についても検討する。

## 謝辞

本研究は JSPS 科研費 22 H04873 の支援を受けた。

## 参考文献

[1] Nikhil Churamani, Sinan Kalkan, and Hatice Gunes. Continual learning for affective robotics: Why, what and how?

In Proc. RO-MAN, pp. 425-431, 2020.

[2] Alessandra Rossi et al. How social robots influence people' s trust in critical situations. In Proc. RO-MAN, pp. 1020-1025, 2020

[3] Xiaofeng Gao et al. Joint mind modeling for explanation generation in complex human-robot collaborative tasks. In Proc. RO-MAN, pp. 1119-1126, 2020.

[4] Francisco Cruz et al. Explainable robotic systems: Understanding goal-driven actions in a reinforcement learning scenario. Neur. Compu. and App., pp. 1-18, 2021.

[5] S. Marchesi et al. Don' t overthink: fast decision making combined with behavior variability perceived as more human-like. In Proc. RO-MAN, pp. 54-59, 2020.

[6] Maartje MA de Graaf, Bertram F Malle, Anca Dragan, and Tom Ziemke. Explainable robotic systems. In Proc. HRI, pp. 387-388, 2018.

[7] Wenxuan Mou, Martina Ruocco, Debora Zanatto, and Angelo Cangelosi. When would you trust a robot? a study on trust and theory of mind in human-robot interactions. In Proc. RO-MAN, pp. 956-962, 2020.

[8] Connor Esterwood and Lionel P. Robert. Do you still trust me? human-robot trust repair strategies. In Proc. ROMAN, pp. 183-188, 2021

[9] Ilenia Cucciniello et al. Validation of robot interactive behaviors through users emotional perception and their effects on trust. In Proc. RO-MAN, pp. 197-202, 2021.

[10] Glenda Hannibal, Astrid Weiss, and Vicky Charisi. "the robot may not notice my discomfort" - examining the experience of vulnerability for trust in human-robot interaction. In Proc. RO-MAN, pp. 704-711, 2021.

[11] Arianna Pipitone and Antonio Chella. What robots want? hearing the inner voice of a robot. iScience, Vol. 24, No. 4, 2021. DOI: 10.1016/j.isci.2021.102371.

[12] David Gunning, Mark Stefik, Jaesik Choi, Timothy Miller, Simone Stumpf, and Guang-Zhong Yang. Xai- explainable artificial intelligence. Science Robotics, Vol. 4, No. 37, p. eaay7120, 2019.

[13] Rossitza Setchi, Maryam Banitalebi Dehkordi, and Juwairiya Siraj Khan. Explainable robotics in humanrobot interactions. Procedia Computer Science, Vol. 176, pp. 3057-3066, 2020

[14] Qingxiaoyang Zhu, Vittorio Perera, Mirko Wächter, Tamim Asfour, and Manuela Veloso. Autonomous narration of humanoid robot kitchen task experience. In Proc. Humanoids, pp. 15-17, 2017.

[15] Zhao Han, Elizabeth Phillips, and Holly A. Yanco. The need for verbal robot explanations and how people would like a robot to explain itself. ACM Trans. HRI, Vol. 10, No. 4, pp. 1-42, 2021.

[16] Marcella Cornia, Lorenzo Baraldi, and Rita Cucchiara. Smart: training shallow memory-aware transformers for robotic explainability. In Proc. ICRA, pp. 1128-1134. IEEE, 2020.

[17] Koichiro Yoshino et al. Caption generation of robot behaviors based on unsupervised learning of action segments. In Convers. Dialog. Sys. for the Next Decade, pp. 227241. Springer, 2021

[18] Pradip Pramanick, Chayan Sarkar, and Indrajit Bhattacharya. Your instruction may be crisp, but not clear to me! In Proc. RO-MAN, pp. 1-8, 2019

[19] Fatai Sado, C Kiong Loo, Matthias Kerzel, and Stefan Wermter. Explainable goal-driven agents and robotsa comprehensive review and new framework. arXiv preprint arXiv:2004.09705, Vol. 180, , 2020.

[20] Maria Fox, Derek Long, and Daniele Magazzeni. Explainable planning. arXiv preprint arXiv:1709.10256, 2017.

[21] Tatsuya Sakai, Kazuki Miyazawa, Takato Horii, and Takayuki Nagai. A framework of explanation generation toward reliable autonomous robots. Adv. Roboti., Vol. 35, No. 17, pp. 1054-1067, 2021.

[22]湯口彰重, 河野誠也, 石井カルロス寿憲, 吉野幸一郎,川西康友, 中村泰, 港隆史, 斉藤康己, 美濃導彦. ぶつ くさ君: 自身の外界認識と内部状態を言語化する ロボット. 日本ロボット学会誌, Vol. 40, No. 10, pp. 932-935, 2022.

[23] Aaquib Tabrez and Bradley Hayes. Improving humanrobot interaction through explainable reinforcement learning. In Proc. HRI, pp. 751-753. IEEE, 2019.

[24] Hooman Hedayati, Mark D. Gross, and Daniel Szafir. What information should a robot convey? In Proc. IROS, pp. 6209-6216, 2021 .

[25] Takayuki Kanda, Takayuki Hirano, Daniel Eaton, and Hiroshi Ishiguro. Interactive robots as social partners and peer tutors for children: A field trial. HRI, Vol. 19, No. 1-2, pp. 61-84, 2004.

[26] Iolanda Leite, Carlos Martinho, Andre Pereira, and Ana Paiva. As time goes by: Long-term evaluation of social presence in robotic companions. In Proc. RO-MAN, pp. 669-674. IEEE, 2009.

[27] Kazunori Komatani, Shinichi Ueno, Tatsuya Kawahara, and Hiroshi G Okuno. User modeling in spoken dialogue systems for flexible guidance generation. In Proc. EUROSPEECH, pp. 745-748, 2003.

[28] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. arXiv preprint arXiv:1808.06226, 2018.

[29] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proc. NAACL-HLT, 2019

[30] 趙天雨, 沢田慶. 日本語自然言語処理における事前学習モデルの公開. 人工知能学会研究会資料 (SLUD), Vol. 93,pp. 169-170, 2021.

[31] Thomas Wolf et al. Transformers: State-of-the-art natural language processing. In Proc. EMNLP, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[32] Tatsuya Nomura et al. Measurement of negative attitudes toward robots. Interaction Studies, Vol. 7, No. 3, pp. 437-454, 2006.

[33] Marcel Heerink, Ben Kröse, Vanessa Evers, and Bob Wielinga. Assessing acceptance of assistive social agent technology by older adults: the almere model. Interna. jour. of soc. roboti., Vol. 2, No. 4, pp. 361-375, 2010.

[34] 川西康友, 吉野幸一郎, 岡留有哉, 中村泰, 石井 カル ロス寿憲, 港隆史, 斉藤康己, 美濃導彦. ぶつくさ君 2 号 : 自律移動ロボットによる生活環境の認識. 第 25 回画像の認識・理解シンポジウム (MIRU), 2022.

## 付録

## A 実験で使用したロボット

使用する自律移動型対話ロボットプラットフォー

外観を図 2 に示す。

ぶつくさ君は内部状態として観測・記憶、案内夕 スクを実行するという意図を持ち、観測や記憶を意図で処理して移動や発話を行う。システム全体は Robot Operating System (ROS) で管理されており、各外界観測はそれぞれ個別の ROS ノードとして処理 され、記憶は MongoDB を用いて管理されている。 ぶつくさ君は、物体認識、人物認識、環境認識、音声認識、場所認識の外界観測を行い、その認識結果をいつ、どこで行ったのかという、場所・時間の 情報と紐づけて記憶することができる。また、動作機能として移動、モーション、音声の生成ができ、 あらかじめ設定された部屋の地図上の特定の場所に 移動や、任意のセリフを発話することができる。ぶ つくさ君が動作する部屋の間取り図を図 3 に示す。

図 2 ロボットプラットフォームぶつくさ君

## B 言語化規則

ロボットの発話は表 2 の規則によって生成され る。デフォルトとして、内部状態は説明の十分性を 担保するために多少冗長と感じられてもすべて話し たほうが良いという先行研究 [22] の知見に基づき、挨拶、行動、行動の理由、音声 - 場所認識の報告、音声・場所認識の記憶の報告を発話するように設定 した。シナリオのターンテーキングはユーザの発話

図 3 実験室の間取り図

に対し特定のトリガーワードをロボットが音声認識 することによって進行する。

表 2 案内タスクでの言語化規則。[場所]、[物体]、[音声]、[時間] は認識結果。

 \\


# 発話者分離学習を用いた対話モデルによる 小学校の授業発話の分析

大西朔永 ${ }^{1}$ 椎名広光 ${ }^{2}$ 保森智彦 3
1 岡山理科大学大学院総合情報研究科 2 岡山理科大学情報理工学部
3 岡山理科大学教育学部
i22ed08bf@ous.jp \{shiina,yasumori\}@ous.ac.jp

## 概要

小学校段階の授業では，教員の説明や促進，質問等の発話と児童の返答が多くあり，一種の対話がな されている。これらの対話から教員の発話の種類や 児童の学びの状況を分析することで，学びに関する 分類を教員へフィードバックすることが可能と考 えられる。自然言語処理分野では，文脈を捉えるこ とが比較的可能となっている BERT の他に，対話 に適したモデルとして対話応答生成で用いられる VHRED やGVT が提案されている. GVT に対して，本研究では発話者ごとの特徴に加えて，対話処理の 内部に反映させる前に対話を事前分類する手法（拡張 GVTSC）を提案し，授業の発話の分析を行う。

## 1 はじめに

日本の小学校の授業では, 教員は児童の状況を見 ながら授業を進めており, 児童は学習状況や意見,感想を発話することが多くあり，対話をしながら授業は進むと考えられる. 教員と児童や児童間では，一種の対話が成り立っており, 授業の理解を促した り示したりする発話や対話を自動的に分析すること ができれば，教員に対して多くのフィードバックが 可能となる. 省察のデジタル化を分析した研究 [1] やシステムによる発話の分析 [2] がある. 日本の教員は省察等の時間が 48 か国で最も短く [3], システ ムによる分析手法の開発は急務である.

一方，自然言語処理分野では，Transformer[4]を 用いた文脈を考慮した言語処理が可能な BERT[5] が提案されている. 対話処理に適したモデルでは,翻訳において用いられる RNN[6] をべースにした Encoder-Decoder モデル [7] を対話応答生成へ応用 した研究 [8] がある. 長い入力系列に対応するた めに階層構造を取り入れた HRED[9] が提案され，
CVAE[10] の手法を取り入れた VHRED[11]では，潜在変数を用いることで応答生成に多様性を与えてい る.また，対話向け CVAE に Transformer を導入し たGVT[12] が提案されている. 我々は発話者ごとの 特徴を考慮するために，発話を発話者ごとに分離し て入力し，発話者ごとの潜在変数を用いるように拡張を行った抬張 GVT モデル [13] を提案している。

本研究では，事前にクラスタリングを用いて発話者の特徴を抽象化する拡張 GVTSC モデルを提案 すると共に，小学校の授業の対話に対して，拡張 GVTSC モデルによる発話の分析を行っている. 具体的には，小学校の算数の授業を録画し，教員と児童の発話に対して文字起こしを行った対話形式のテ キスト情報を分析している。分析には，あらかじめ 授業中の発話に対して学びに関連する複数のラベル を人手で付与した後に，その発話と近い距離にある 発話を提案する拡張 GVTSC を用いて抽出している。

## 2 発話者のクラスタリングを追加し た拡張 GVTSC モデル

対話応答生成には，様々な対話に対しての応答と 成り得る無難な応答を生成するために，応答の多様性が低くなるという課題が存在する [14, 15]. GVT モデルは，Decoder の入力にサンプリングした潜在変数を利用する手法であるが，発話者の特徴を潜在変数で表現し, サンプリングを行うことで, 応答の 多様性をもたらしていると考えられる。しかし，先行研究では潜在変数が生成された応答の一貫性を低下させる傾向があることが示されている [16]. そこ で，発話者ごとの特徴を考慮するために，クラスタ リングを用いて発話者の特徴を抽象化し, Encoder においてその発話者の特徴を加味することで，一貫性と多様性を向上させる. 本研究では，GVT モデ ル及び，話者の分離を行っている拡張GVT モデル

図 1 拡張 GVTSC モデルの構造

に対して，事前に発話者を分類するクラスタリング を追加した 2 種類のモデル（GVTSC，拡張 GVTSC） を提案し，評価を行っている。

拡張 GVTSC モデルの概要を図 1 に示す. 拡張 GVT モデルに対して，発話者の特徴べクトルをク ラスタリングを用いて作成する部分（図 1 の点線部分）を追加し，コンテキストのエンコードにおいて 利用している.

次に，拡張 GVTSC モデルの処理について述べ る. 最初に，発話者の特徵べクトルをクラスタリ ングを用いて作成する、コンテキストは対話を行 う 2 者の発話をまとめたものであり，各発話者ご とに分割することが可能である．そこで，対話の コンテキストを発話者ごとに分割し，発話者ごと に処理を行っている. 発話者ごとの処理は同様で あるため，発話者 1 の場合を述べる. Speaker1 TRS Encoder で発話者 1 のコンテキストをエンコードす る. TRS Encoder では，入力系列の先頭に CLS トー クンを付加しており, Transformerによって出力ベク トルが計算される。発話者 1 のコンテキストのベク トル（Speaker1 Vector）として，CLS トークンのべ クトルを取得する. Speaker1 Vectorに対して，クラ スタリングを行う. 本研究では, クラスタリングに k-Means を使用している. クラスタ数 $\mathrm{k}$ にいては， ハイパーパラメータ同様実験において決定する必要がある. クラスタリングの結果，Speaker1 Vector が属するクラスタを予測し，そのクラスタの中心 ベクトル（Speaker1 Cluster Vector）を取得する. 発話者 2 に対しても，発話者 1 と同様の処理を行い， Speaker2 Cluster Vectorを取得する。ここで，クラス タリングに使用している TRS Encoder は, 応答生成 で訓練している TRS Encoderを共有している．ただ し，クラスタリングの処理では，誤差逆伝搬による 訓練は行われない.対話のコンテキスト全体は, Context TRS Encoder に入力し, 出力ベクトルを得る. コンテキストの エンコードでは，入力系列に発話者ごとのトーク ン（SPK1, SPK2）を追加し, SPK1 に Speaker1 Cluster Vector，SPK2 に Speaker2 Cluster Vector を入力する. また，各発話者ごとにコンテキストを分割し，それ ぞれを各 Speaker TRS Encoder に入力し, 出力べク トルを得る。その際には, Speaker1 TRS Encoder に は入力系列に発話者 1 のトークン（SPK1）を追加 し, Speaker1 Cluster Vectorを入力し，Speaker2 TRS Encoderには入力系列に発話者 2 のトークン (SPK2) を追加し，Speaker2 Cluster Vector を入力する．発話者ごとのコンテキストのエンコードにおいて，各発話者の特徴べクトルを利用することで，より発話者 の特徴を考慮したエンコードを図っている。

事前・事後分布を多層パーセプトロン（MLP）に よって近似した Prior Net $・$ Recognition Net から潜在変数 $z$ をサンプリングする． Prior Net は， Speaker TRS Encoder または, Context TRS Encoder の CLS トーク ンの出力ベクトルを基に，MLP によってコンテキス トのベクトルの平均と分散を推定する。 その平均と 分散に従う正規分布より潜在変数 $z$ をサンプリング する. Recognition Net では，Speaker TRS Encoder と Context TRS Encoder に加えて Response TRS Encoder の CLS トークンの出力ベクトルも用いて，MLPに より対話全体のべクトルの平均と分散を推定する. Prior Net と同様に推定した平均と分散に従う正規分布から潜在変数 $z$ のサンプリングを行う. TRS Encoder の CLS トークンの出力ベクトルは入力全体の表現したべクトルとみなすことができるため, CLS トークンの出力ベクトルから事前・事後分布を 生成し，潜在変数 $z$ をサンプリングしている.

TRS Decoder では，入力系列の先頭の SOS トーク ンに通常の潜在変数に加えて，応答の発話者の潜在変数を入力することで，潜在変数を応答の生成に利用している。この際，TRS Decoder は，学習時には Recognition Net からサンプリングした潜在変数を利用し，生成時には Prior Net からサンプリングした潜在変数を利用する。

拡張 GVTSC モデルは，cをコンテキスト， $c_{\mathrm{s} 1}$ を 発話者 1 のコンテキスト， $c_{\mathrm{s} 2}$ を発話者 2 のコンテ キスト， $x$ を応答， $z$ を潜在変数, $v_{\mathrm{s} 1}$ を発話者 1 のク ラスタベクトル， $v_{\mathrm{s} 2}$ を発話者 2 のクラスタベクト ルとして，下記の ELBO を最大化することでモデル

の最適化を行う.

$
\begin{aligned}
& \mathscr{L}_{E L B O}(x, c) \\
&= \log p(x \mid c) \\
& \geqq \mathbb{E}_{q}\left(z \mid x, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right)\left[\log p\left(x \mid z, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right)\right] \\
&-K L\left(q\left(z \mid x, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right) \| p\left(z \mid c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right)\right) \\
&-K L\left(s\left(z \mid x, c_{\mathrm{s} 1}, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right) \| r\left(z \mid c_{\mathrm{s} 1}, v_{\mathrm{s} 1}\right)\right) \\
&-K L\left(s^{\prime}\left(z \mid x, c_{\mathrm{s} 2}, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right) \| r^{\prime}\left(z \mid c_{\mathrm{s} 2}, v_{\mathrm{s} 2}\right)\right)
\end{aligned}
$

ここで，KLは分布間の KL divergence であり，事前分布 $p, r, r^{\prime}$ は，下記の式で定義される.

$
\begin{aligned}
p\left(z \mid c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right) & \sim \mathcal{N}\left(\mu_{p}, \sigma_{p}^{2}\right) \\
r\left(z \mid c_{\mathrm{s} 1}, v_{\mathrm{s} 1}\right) & \sim \mathcal{N}\left(\mu_{r}, \sigma_{r}^{2}\right) \\
r^{\prime}\left(z \mid c_{\mathrm{s} 2}, v_{\mathrm{s} 2}\right) & \sim \mathcal{N}\left(\mu_{r^{\prime}}, \sigma_{r^{\prime}}^{2}\right)
\end{aligned}
$

ここで，

$
\begin{aligned}
{\left[\mu_{p}, \log \left(\sigma_{p}^{2}\right)\right] } & =\operatorname{MLP}_{p}\left(c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right) \\
{\left[\mu_{r}, \log \left(\sigma_{r}^{2}\right)\right] } & =\operatorname{MLP}_{r}\left(c_{\mathrm{s} 1}, v_{\mathrm{s} 1}\right) \\
{\left[\mu_{r^{\prime}}, \log \left(\sigma_{r^{\prime}}^{2}\right)\right] } & =\operatorname{MLP}_{r^{\prime}}\left(c_{\mathrm{s} 2}, v_{\mathrm{s} 2}\right)
\end{aligned}
$

事後分布 $q, s, s^{\prime}$ は，下記の式で定義される.

$
\begin{aligned}
q\left(z \mid x, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right) & \sim \mathcal{N}\left(\mu_{q}, \sigma_{q}^{2}\right) \\
s\left(z \mid x, c_{\mathrm{s} 1}, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right) & \sim \mathcal{N}\left(\mu_{s}, \sigma_{s}^{2}\right) \\
s^{\prime}\left(z \mid x, c_{\mathrm{s} 2}, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right) & \sim \mathcal{N}\left(\mu_{s^{\prime}}, \sigma_{s^{\prime}}^{2}\right)
\end{aligned}
$

ここで,

$
\begin{aligned}
{\left[\mu_{q}, \log \left(\sigma_{q}^{2}\right)\right] } & =\operatorname{MLP}_{q}\left(x, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right) \\
{\left[\mu_{s}, \log \left(\sigma_{s}^{2}\right)\right] } & =\operatorname{MLP}_{s}\left(x, c_{\mathrm{s} 1}, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right) \\
{\left[\mu_{s^{\prime}}, \log \left(\sigma_{s^{\prime}}^{2}\right)\right] } & =\operatorname{MLP}_{s^{\prime}}\left(x, c_{\mathrm{s} 2}, c, v_{\mathrm{s} 1}, v_{\mathrm{s} 2}\right)
\end{aligned}
$

また, 学習が進むにつれて Decoder が潜在変数 $z$ の 情報を考慮しなくなる KL vanishing 問題のため，KL アニーリング [17], BoW（Bag-of-Words）loss[10,18] の手法を取り入れている. KLアニーリングは式 1 の KL divergence の値について，学習が進むに連れ て 0 から 1 に線形に増加する重みをつける手法であ る. BoW loss は応答に含まれる単語の集合を潜在変数から推定するサブタスクを追加する手法であり，潜在変数と応答中の単語の関連性を強くすることを 目的としている.

## 3 対話モデルの評価実験

データセットにはおーぷん 2 ちんねる対話コー パス [19]，小学校の授業対話データを用いた. 前処理として SentencePiece を用いてサブワードへの分表 1 各モデルについての自動評価結果

割を行っている.コンテキストの長さについては， 3-turn までの対話応答を評価している. 自動評価手法として，Dist-n[20]を用いて，生成した応答の多様性，BERT Score[21] を用いて参照応答との類似性に ついて評価する。 Dist-Nは，N-gramの総数に対して N-gram の種類数が占める割合を算出し，この比率 が高いほど，多様性が高いことを示す指標である。 BERT Score は，事前学習した BERT の埋め込みを使用して，モデルが生成した応答と参照応答の類似性 を評価する手法である。

各モデルが生成した応答の自動評価結果を表 1 に 示す. GVTSC モデルは，GVT モデルに対して，拡張 GVTSC モデルと同様に発話者のクラスタリング を追加したモデルである.

まず，おーぷん 2 ちゃんねる対話コーパスに よる評価について述べる。なお，クラスタリング （k-Means）のクラスタ数は，予備実験における結果 から，GVTSC モデルは 8，拡張 GVTSC モデルは 3 としている。表 1 の GVTSC モデルは，GVT に対し て，多様性の評価では，全て向上している。また，拡張 GVT モデルと比較すると，GVTSC モデルは Dist-3 で約 0.045 高い評価を得ている. 拡張 GVTSC モデルでは，拡張 GVT モデルや GVTSC モデルと比較して，類似性の評価はほとんど差が見られない。 しかし，多様性の評価では，特に Dist- 2 で約 0.1 以上評価が向上している.

次に，小学校の授業対話データによる評価につい て述べる。なお，GVTSC モデルと拡張 GVTSC モデ ルのクラスタリング（k-Means）では，予備実験にお
表 2 拡張 GVTSC による 1 発話における類似発話

 &  \\

表 3 小学校の授業対話データに対する対話応答の生成例 コンテキスト

発話 1: 12。

発話 2: 4 段の時は?

発話 3: 16。

発話 4: 5 段の時は?

発話 5: 24 。 $24,24,24,28$ 。え一。

## 応答

GVT: そうそうそう。はい,ここまでいいかな?同 じです。

拡張 GVT: この式, 合ってそう? 違ってそう?

GVTSC: 合ってそうです。さあ,ここまでいいか な?え?式一個じゃないん?

拡張 GVTSC: この式, 合ってそう?違ってそう?

参照:これで合ってる?

ける結果からクラスタ数を 8 としている. GVTSC は，多様性の評価で GVT と拡張 GVT より高い評価 を得ており，類似性の評価でも約 0.008 向上してい る. 拡張 GVTSC は, 多様性の評価では全てのモデ ルより高い評価を得ており，実際の応答の多様性に 近い評価となっている。類似性の評価においても，最も高い評価となっており，GVT と比較すると約 0.018 向上している. Encoder におけるエンコード過程で発話者の特徴を考慮することで，潜在変数の サンプリングや Decoder での Attention に利用する Encoderの各トークンの出力ベクトルに影響を与え ていると考えられる。

小学校の授業対話データの評価において生成され た応答の例を表 3 に示す. 全てのモデルがコンテキ ストに関連した応答を生成することができており，多様性がある応答となっている.

## 4 拡張 GVTSC による発話の分析

本研究では拡張 GVTSC モデルを用いて対話のべ クトル化を行っている. 対話データを用いて訓練 した拡張 GVTSC モデルは，対話応答を生成するた めに必要なコンテキストの発話をべクトル化する能力を得ている. 対話のベクトルは，拡張 GVTSC モデルにコンテキストとして対話を入力し，拡張 GVTSC モデルの Context TRS Encoder と Speaker TRS Encoder が出力した CLS トークンのベクトルの和を 計算することで作成している.

発話の分析では，授業の対話データについて，1 発話ごとのデータを作成し，ラベルなし発話につい て，ラベル付き発話との距離を求めている. 距離に ついては，ベクトルで表現できていることから Cos 類似度とジャロ・ウィンクラー距離（JW 距離）を用 いた. 表 2 に 1 発話における類似発話の例を示す.表 2 の 1 行目では，「数学的な見方」や「深い学び」 に関連する発話を抽出できている. 表 2 の 2 行目で は，「児童の主体的な学びに逆行している」という ラベルであるが，授業の終盤で授業を終わらせるた めの発話を抽出している. 表面的な文字列の類似度 である JW 距離と $\operatorname{Cos}$ 類似度の差は大きく, ベクト ルを用いた手法の有効性を示している. 定量的な評価として, $\operatorname{Cos}$ 類似度と JW 距離の相関係数を計算 すると，表 2 の 1 発話の場合は無相関 (-0.004) と なっている.

## 5 おわりに

本研究では，事前にクラスタリングを用いて発話者の特徵を抽象化する拡張 GVTSC モデルを提案し た. 対話応答生成では，多様性の評価で実際の応答 に近い評価を獲得した. 小学校の授業対話データに 対しては，類似性の評価においても最も高い評価と なった. そして，小学校の授業の対話に対して，拡張 GVTSC モデルを利用した機械学習の手法で発話 の分析を試みた．対話モデルを用いた対話のべクト ル化により, 表層的な類似性とは異なる傾向の分析 が得られた。

今後は，教員と児童の対話に対して，発話者の属性が限られたドメインに適した対話モデルの開発を 行い，少量の教師ラベルによるラベル推定を行いた いと考えている.

## 参考文献

[1] 保森智彦.「主体的・対話的で深い学び」を実現す るための教師の発話の検討, pp. 45-52. B, 人文・社会科学, No. 57. 岡山理科大学紀要, 2021.

[2] yuchen Wang, 大井翔, 松村耕平, 野間春生. 新任教員の授業力向上のための授業振り返りシステムに 関する研究. 情報処理学会インタラクション, pp. 753-757, 2021.

[3] 国立教育政策研究所. 教員環境の国際比較 OECD 国際教員指導環境調査 (TALIS)2018 調査報告書. ぎょ うせい, 2018 .

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018

[6] Klaus Greff, Rupesh K Srivastava, Jan Koutník, Bas R Steunebrink, and Jürgen Schmidhuber. Lstm: A search space odyssey. IEEE Transactions on Neural Networks and Learning Systems, Vol. 28, No. 10, pp. 2222-2232, 2016.

[7] Alexander M. Rush, Sumit Chopra, and Jason Weston. A neural attention model for abstractive sentence summarization. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 379-389, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[8] Oriol Vinyals and Quoc Le. A neural conversational model. In ICML Deep Learning Workshop 2015, 2015.

[9] Iulian V. Serban, Alessandro Sordoni, Yoshua Bengio, Aaron Courville, and Joelle Pineau. Building end-toend dialogue systems using generative hierarchical neural network models. In Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence, AAAI'16, p. 3776-3783. AAAI Press, 2016.

[10] Tiancheng Zhao, Ran Zhao, and Maxine Eskenazi. Learning discourse-level diversity for neural dialog models using conditional variational autoencoders. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 654-664, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[11] Iulian Serban, Alessandro Sordoni, Ryan Lowe, Laurent Charlin, Joelle Pineau, Aaron Courville, and Yoshua Bengio. A hierarchical latent variable encoder-decoder model for generating dialogues. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 31, No. 1, Feb. 2017.

[12] Zhaojiang Lin, Genta Indra Winata, Peng Xu, Zihan Liu, and Pascale Fung. Variational transformers for diverse response generation. arXiv preprint arXiv:2003.12738, 2020.

[13] Takamune Onishi, Sakuei Onishi, and Hiromitsu Shiina.
Improved response generation consistency in multiturn dialog. In 2022 12th International Congress on Advanced Applied Informatics (IIAI-AAI), pp. 416-419, 2022.

[14] Alessandro Sordoni, Michel Galley, Michael Auli, Chris Brockett, Yangfeng Ji, Margaret Mitchell, Jian-Yun Nie, Jianfeng Gao, and Bill Dolan. A neural network approach to context-sensitive generation of conversational responses. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 196-205, Denver, Colorado, May-June 2015. Association for Computational Linguistics.

[15] Richárd Csáky, Patrik Purgai, and Gábor Recski. Improving neural conversational models with entropy-based data filtering. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5650-5669, Florence, Italy, July 2019. Association for Computational Linguistics.

[16] Bin Sun, Shaoxiong Feng, Yiwei Li, Jiamou Liu, and Kan Li. Generating relevant and coherent dialogue responses using self-separated conditional variational AutoEncoders. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 5624-5637, Online, August 2021. Association for Computational Linguistics.

[17] Samuel R. Bowman, Luke Vilnis, Oriol Vinyals, Andrew Dai, Rafal Jozefowicz, and Samy Bengio. Generating sentences from a continuous space. In Proceedings of the 20th SIGNLL Conference on Computational Natural Language Learning, pp. 10-21, Berlin, Germany, August 2016. Association for Computational Linguistics.

[18] Xianda Zhou and William Yang Wang. MojiTalk: Generating emotional responses at scale. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1128-1137, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[19] Michimasa Inaba. A example based dialogue system using the open 2channel dialogue corpus. Journal of Japanese Society for Artificial Intelligence, Vol. 87, pp. 129132, 2019.

[20] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[21] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representation, 2019.