# 「対話における間接的応答と直接的応答からなる 言い換えコーパスの構築と分析」の研究の道のり

高山 隼矢

## 1 はじめに

本稿では, 言語処理学会 2022 年度論文賞をいただいた「対話における間接的応答と直接的応答からなる言い換えコーパスの構築と分析」(高山他 2022) について, その内容を簡潔に紹介したのち，着想に至った経緯や研究の過程・苦労などについて述べる.

## 2 原論文の概要

原論文は，対話における言い換え現象の一つである「間接的な応答」と「直接的な応答」相互間の言い換えに着目したものである。対話において人間はしばしば自身の要求や意図を直接的に言及せず，言外に意図を含んだ間接的な発話によって表現することがある。人間は対話相手から間接的な応答を受け取ったとき，これまでの対話履歴などの文脈に基づいて言外の意図を推測できる。図 1 に，レストランの予約に関する対話における間接的な応答と直接的な応答の例を示す。この例ではオペレータの「Aレストランを予約しますか？」という質問に対してユーザは「予算が少ないのですが」と応答している（図中の「間接的な応答」）。この応答は字義通りの意味だけを考慮するとオペレータの質問への直接的な回答にはなっていない. しかし， オペレータは対話履歴を考慮してユーザが A レストランよりも安いレストランを探していると推論し，新たに $\mathrm{A}$ レストランよりも安い B レストランを提案している。 大規模な対話コーパスを学習したニューラル対話モデルは流暢な応答を生成する能力を持つが，間接的な応答に焦点を当てたコーパスは存在せず，モデルが人間と同様にこのような間接的な応答を扱うことができるかどうかは明らかではなかった.

そこで原論文ではまず，既存の英語対話コーパスである MultiWoZ を拡張することで， 71,498 の間接的な応答と直接的な応答の対からなる, 対話履歴付きの英語言い換えコーパス DIRECT (Direct and Indirect REsponses in Conversational Text) 1 を構築した。具体的には，MultiWoZ の各ユーザ発話に対してクラウドソーシングを用いて「ユーザ発話をより間接的に言い換えた
^{1}$ https://github.com/junya-takayama/DIRECT/ にて公開中
}

図 1 対話における間接的応答と直接的応答の例.これらの応答は字義通りに解釈すると異なる意味を持つが，この対話履歴上においては言い換え可能な関係にある.

発話」と「ユーザ発話をより直接的に言い換えた発話」の対を収集した。また，間接的な応答を扱う能力を評価するための 3 つのベンチマークタスクを設計し, 最新の事前学習済みモデルの性能を調査した。さらに，ユーザーの間接的な発話を事前に直接的な発話に変換することで対話応答生成の性能が向上することを確認した．詳細は原論文を参照されたい．

## 3 採択までの道のり

## 3.1 着想の経緯

間接的な応答という現象に研究対象としての興味を持ったのは, 博士課程進学後 1 年を経た 2020 年半ばのことであった. 著者は元々対話応答生成に興味を持ち, 応答の多様性の向上 (Takayama and Arase 2019) や情報量を制御可能な応答生成器の構築 (Takayama and Arase 2020) など，当時のメインストリームに程近い研究に取り組んでいた．対話応答生成のような文生成系の研究においては，モデルが生成した文を自分の目で一つ一つ確認しながらエラー分析を行うことが日常となる．著者もそのようなエラー分析を少なからぬ回数行なってきた中で，提案手法・比較手法・ベースラインといった様々なモデルのどれもが陥りがちな典型的なエラー として，「ユーザ発話に含まれる言外の意図を汲めていない，（表層的な意味をそのまま受け取ったような）的外れな応答を生成する」というものがあることには応答生成研究を始めた序盤の頃より気づいていた。しかし, 当時の対話応答生成モデルは今と比べれば質に劣るものであったため, この問題は「今の技術では到底解決しようのないもの」として考えていた. 2020 年の時流としてはちょうど BERT や GPT-2 などに代表される事前学習済み言語モデル（Pre-trained Language Models; PLM）が種々のタスクのリーダーボードを塗り替えていた頃であった. ある程度の常識や世界知識を持っているかのごとく振る舞い，またあらゆる後段タスクにおいて高

い精度を達成する PLM であれば，間接的な応答に含まれる言外の意図を上手く処理できるのではないかという期待が, 本研究の足がかりとなった.

著者のいた研究室では当時, 共著者であり著者の指導教員であった荒瀬由紀先生のほかに, 同じく共著者である愛媛大学の梶原智之先生が言い換え・平易化に関するテーマに取り組む一部学生の指導にあたっていた，原論文は対話研究と言い換え研究の融合のようなテーマだが，著者は当時言い換えに関する研究経験がなかった．そこで本研究においては，（とりわけコーパスの分析やベンチマークタスクの設計においては特に, ）荒瀬・梶原両先生から言い換え研究者視点でのフィードバックを積極的にいたたき，それを反映しながら研究を進めるスタイルをとった.

## 3.2 データ収集の苦難

データ収集には Amazon Mechanical Turk² (AMT) というクラウドソーシング用プラットフォームを利用した。原論文でも述べた通り，応答対の収集においては本番タスクの前に 2 回のパイロットタスクを実施して指示文や UI を改良しつつ，著者自身の人手チェックによるワーカーのスクリーニングを実施している，スクリーニングは非常に骨の折れる作業であった。 AMT ではワーカーの属性をある程度絞り达んだ上でタスクを発注できる。そのため本研究においても発注対象を英語話者の Master Worker ${ }^{3}$ に限定するなど種々なフィルタリングを設けた.これらのフィルタリングは概ね適切に機能し, ほとんどのワーカーは指示に従い高品質なデータを納品してくれた. しかし中には，英語の対話データなのにもかかわらず何故か異言語 （スペイン語など）のテキストを投稿するワーカーや，元データ中の文言をほぼそのまま抜き出したようなテキストを投稿するワーカーなど，フィルタリングをくぐり抜けて不正を含むデー 夕を投稿するワーカーも存在した。パイロットタスク中に発見したこれらの事例については, langdetect 4 を用いた非英語データ検知プログラムや, 間接的応答・直接的応答・オリジナルの応答から作られる全てのペア間の文字レベル編集距離を用いた不正検知プログラムなどを作成することで, もし本番タスクで同様の不正が行われても漏れなく検知できるよう工夫を施した. また，不正を働くインセンティブを極力減らす意味合いで，指示文にはプログラムと人手による不正チェックが行われる旨を明記した。一方で, その判定基準についてはあえて曖昧に記すこととした。これは判定基準をすり抜けるような高度な不正を防ぐ狙いもあるが，閥値近辺にある高品質なデータを捨てないための裁量の余地を確保しておきたかったという背景もある.

盤石の体制を敷いて開始した本番タスクについても，決して首尾よくデータ収集が進んだわけではなかった，本番タスクでは事前にデータをおおよそ 10,000 発話ずつのバッチに分割することで発注を数回に分けたのだが，バッチによってデー夕収集の速度にかなりのバラつきが生
^{3}$ AMT が設けた一定の基準を満たす, 質の高い作業を継続的に行なってきたワーカー

4 https://pypi.org/project/langdetect/
}

じ，非常に時間のかかるバッチも存在した，考えられる要因は様々だが，まず 1 つ目に，大多数のワーカーにとって不都合な時間帯にタスクを発注すると別の発注者が開始した後続のタスクに埋もれて発見してもらえなくなるというものがあった. これについてはパイロットタスクや本番 1,2 バッチ目の経験から総合的に判断し, 最終的にはアメリカ時間の朝 8 時ごろにタスクを開始するのが良いという結論に至っだ ${ }^{5} .2$ つ目に, 他の発注者による超大規模なデータ収集タスクがほぼ同時に開始されたためにそちらにワーカーが集中してしまうという要因もあった. これは防ぎようのない，謂わば天災のようなものであった. 有効な対策は恐らく無いが，このようなイレギュラー因子もデータ収集期間の見積りに盛り込んでおく必要があるという教訓は得られた。また，本番タスクにおいても一定数不正を含むデータが投稿されることがあった. これらに常に目を凝らしながら過ごした当時の日常は非常に神経のすり減るものであった.

## 3.3 EMNLP-Findings への採択と，追加分析

原論文の一部は Findings of EMNLP 2021 に採択されたものである (Takayama et al. 2021).苦難を乗り越えデータ収集を終えた後，コーパスの統計的・定性的分析やベンチマークタスクの実験，応答生成タスクへの適用実験などを急ぎ行い，EMNLP 2021 に論文を投稿した． 3 人の査読者によるスコアはそれぞれ $3,3.5,4$ であった.これは rebuttal で誠意ある対応を行えば本会議への採択もあり得るだ万うと思える程度のスコアであったし, 手前味増ながら面白い論文を書けたとも感じていたため，当時は期待感を持って notification を待っていたことを覚えている。それゆえに Findingsへの採択通知は，喜ばしい気持ちと同時に若干の悔しさを感じさせるものでもあった。しかし, 当時著者は既に博士課程 3 年次に突入しており, 博士論文執筆のために業績があと 1 本必要という逼迫した状況にあった。そのため再投稿の選択肢は取らずに Findings への採録を受諾し，内容を拡張したもの（原論文）を本誌に投稿することとした．

原論文の執筆においては先の Findings 論文の査読での指摘が大いに参考になった. 指摘された点に注意しながら Findings 論文を読み返すと、コーパスを作成したことが主な貢献であるにもかかわらず，その性質の分析が定量・定性ともに不十分であり, 後半の応用実験に比重が偏っていることを実感した。そこで原論文においては主にコーパスの性質の分析を重点的に拡張することで，無事に採択されるに至った.

なお, 前年度最優秀論文賞を受賞された平岡達也氏も, 氏の学会記事 (平岡 2022) において Findings 採択後の葛藤について言及している. 本記事を執筆する際に参考として先行の学会記事を複数読んだが，当該箇所を読んた際には深く共感し感極まるものがあった．平岡氏と同様の感想にはなるが，一度苦汁を飲まされ，その後もどこかモヤモヤとした気持ちを抱え続けた中にあって, 論文賞という形で本研究を評価していただけたことは非常にありがたいことである.


## 4 おわりに

本研究は著者の専門外の研究トピックである言い換えとの融合型の研究であり，また大規模なデータ収集を行う必要があるなど, 当時の著者にとっては初めての大きな挑戦が続く研究であった。そのためその研究過程は決して順調な道のりではなかったし，それがゆえに強い思い入れのある研究でもあり，受賞の知らせを受けたときには万感の思いであった. 原論文を高く評価いただいた編集委員の皆様に染く感謝する。また，原論文の共著者であり，本稿の執筆においても貴重なご意見をいただいた大阪大学の荒瀬由紀先生と愛媛大学の梶原智之先生には改めて感謝の意を表する．最後に，拙文ながら本稿が読者の方々の研究活動を少しでも支えるものとなることを願う.

## 参考文献

平岡達也 (2022). 単語分割の最適化に関する研究は雑談と偶然の出会いに育まれた. 自然言語処理, 29 (2), pp. 688-693. [T. Hiraoka (2022). Chatting and Accidental Meeting Promoted Study of Optimizing Word Segmentation. Journal of Natural Language Processing, 29 (2), pp. 688-693.].

高山隼矢, 梶原智之, 荒瀬由紀 (2022). 対話における間接的応答と直接的応答からなる言い換えコーパスの構築と分析. 自然言語処理, 29 (1), pp. 84-111. [J. Takayama et al. (2022). Construction and Analysis of a Dialogue Corpus with Paraphrase Pairs of Indirect and Direct Responses. Journal of Natural Language Processing, 29 (1), pp. 84-111.].

Takayama, J. and Arase, Y. (2019). "Relevant and Informative Response Generation using Pointwise Mutual Information." In Proceedings of the Workshop on NLP for Conversational AI, pp. 133-138.

Takayama, J. and Arase, Y. (2020). "Consistent Response Generation with Controlled Specificity." In Findings of the Association for Computational Linguistics: EMNLP, pp. 4418-4427.

Takayama, J., Kajiwara, T., and Arase, Y. (2021). "DIRECT: Direct and Indirect Responses in Conversational Text Corpus." In Findings of the Association for Computational Linguistics: EMNLP, pp. 1980-1989.

## 略歴

高山隼矢 : 2017 年豊田工業大学工学部先端工学基礎学科卒業. 2019 年大阪大学大学院情報科学研究科博士前期課程, 2022 年後期課程修了. 同年ヤフー株
式会社に入社. 現在に至る. 自然言語生成, 対話システム, 翻字に興味を持つ. 現在は検索クエリを用いたエンティティリンキングシステムの開発に従事. 博士 (情報科学). 言語処理学会会員.