# 雑談対話応答における連続する事態の一貫性と対話継続性の関係

田中 翔平 $\dagger \cdot$ 吉野幸一郎 ${ }^{\dagger, \dagger \dagger}$ ・須藤 克仁 ${ }^{\dagger} \cdot$ 中村 哲 $\dagger$
}

\begin{abstract}
雑談対話システムの評価指標として，ユーザとの対話を継続させる働きを表す，対話継続性が挙げられる。対話モデルの先行研究において, 対話継続性の向上には, シ ステム発話の一貫性が重要であると考えられている。 そこで本論文では, 対話モデ ルより生成された応答候補を，対話中に含まれる事態の一貫性に基づいてリランキ ングする手法を提案する。提案手法は対話に含まれる事態の一貫性（「ストレスが溜 まる」と「発散する」は関連した事態である，など）を考慮することで，選択され る応答の一貫性，対話継続性の向上を図る，本研究では異なる 2 つの手法を考案し た。一つ目の手法は統計的に獲得された因果関係ぺアとのマッチングにより，対話中の事態の一貫性を考慮し，二つ目の手法は Coherence Model によって，対話の一貫性を考慮する。自動評価の結果, これらの手法では応答中の単語選択の観点では 一貫性は向上していることが確認された。一方で, 人手評価の結果では, 応答の主観的な一貫性は明確に向上しないものの，一つ目の方法により対話継続性が向上す るという，一見して矛盾する結果が確認された。この結果より一貫性と対話継続性 の関係について，人手評価結果の相関分析，事例分析を行った。これらの分析結果 より, 人手評価において主観的な一貫性の向上は対話継続性の向上にあまり寄与し ないことが確認された。また, 対話履歷に対して一貫する事態を選択できている場合には対話継続性が向上することが示唆された.
\end{abstract}

キーワード：対話システム，事態，リランキング，対話継続性
## Relationship Between Coherence of Sequential Events and Dialogue Continuity in Conversational Response

\author{
Shohei Tanaka ${ }^{\dagger}$, Koichiro Yoshino $^{\dagger, \dagger \dagger}$, Katsunito Sudoh $^{\dagger}$ and Satoshi Nakamura ${ }^{\dagger}$
}

Dialogue continuity is a dialogue system-evaluation metric that indicates how well the system engages its users. Response coherence considered an important factor in determining dialogue continuity. Herein, we propose novel methods of selecting coherent responses for a given dialogue context. These methods improve coherence and dialogue continuity using related-event pairs such as "be stressed out" and "relieve stress." Two re-ranking methods are proposed. The first method estimates the coherence of event pairs in a dialogue by matching event-causality pairs that are statistically extracted from web texts. The second method estimates the coherence of response candidates for the dialogue context using a coherence model. The results of

an automatic evaluation show that objective coherence at the word level was improved by these re-ranking methods. In contrast, in the case of human evaluation, subjective coherence at the response level was not improved by the first method; however, the dialogue continuity was improved. These results seem to be contradictory. We conducted a correlation analysis and a case analysis to clarify the relationship between subjective coherence and dialogue continuity. The results indicate that subjective coherence does not have a strong correlation with dialogue continuity. Further, dialogue continuity may be improved if an event related to the dialogue context is selected.

Key Words: Dialogue System, Event, Re-ranking, Dialogue Continuity

## 1 はじめに

対話システムの応答生成においては，ユーザとの対話を継続させる働きである対話継続性が 重要な要素であり, 特に対話中でのシステム発話の一貫性を考慮することが重要とされている (Bohus and Rudnicky 2003). 近年盛んに研究されている, ニューラルネットワークで対話のク エリ-応答ペアを学習する Neural Conversation Model (NCM) (Vinyals and Le 2015) においても 同様に，対話の文脈や論理を考慮することが対話継続性に寄与すると考えられている (Mei et al. 2017)，そこで本研究では，まず応答候補と対話履歴に存在する事態の一貫性に着目した応答の リランキング手法を提案し，これによって対話継続性が向上するかについて調査する。リラン キングは，質問応答システムや対話システムなどの言語生成タスクにおいて様々な要素を考慮 した候補の選択に用いられる (Oh et al. 2013; Jansen et al. 2014; Bogdanova and Foster 2016; Ohmura and Eskenazi 2018).

応答候補と対話履歴に存在する一貫性を考慮しようとする場合，何をもって一貫性を定義す るかが重要となる。そこで本研究では，「ストレスが溜まる」と「発散する」など，関連すると 認められる事態ぺアが対話履歴と応答候補の間に存在する場合に着目する。事態は動詞や事態性名詞により構成される，文の中心的な意味表現であり，文中での事態の一貫性の高さは当該文同士の一貫性の高さと関係があると考えられる。すなわち，対話履歴と応答候補の事態の一貫性が高いとき，応答候補が対話履歴に対して関連，一貫していると考えられる。

一貫性があると解釈できる事態間関係の一つとして，因果関係がある。因果関係とは 2 つの 事態間に原因と結果の関係が成立すること (Shibata and Kurohashi 2011; Shibata et al. 2014) と定義され，この定義に従い，「ストレスが溜まる」が原因，「発散する」が結果，のように認定 する。因果関係はこれまで質問応答システムなどで利用されており，質問と応答の間に成立す る因果関係を考慮することで，質問に対する適切な応答を生成できることが示されている (Oh et al. 2013, 2016, 2017). 雑談対話システムにおいても因果関係を考慮することで，ユーザに好 まれる応答を生成できることが示されている (Fujita et al. 2011; 佐藤，乾 2018). しかしなが

ら，実際に発話中に存在する事態の一貫性を考慮することで発話同士の一貫性を考慮すること ができるかどうかや，これにより対話継続性が向上するかについては議論が行われていない. そこで本研究では，こうした事態の一貫性を考慮したリランキング手法を提案し，生成応答の 履歴に対する一貫性や対話継続性が実際に向上するかを検証する.

また, 異なる観点からの一貫性についての研究として, Coherence Model (Xu et al. 2019) が ある. Coherence Model は文書中に出現する単語の品詞情報や文の分散表現をもとに，対象と なる文の先行文書に対する一貫性を推定する．対話応答生成においてもこのモデルが出力する 一貫性スコアを利用する先行研究が存在する (Cervone et al. 2018)。そこで本研究では，この Coherence Model に事態の一貫性を導入することで，対話履歴に対する一貫性と対話継続性が 向上するかについて調査する.

本論文で提案する手法は，対話継続性の高い応答を選択するために，事態の一貫性を考慮し たスコア，あるいは Coherence Model において事態の一貫性を考慮したスコアの計算を行い， これらに基づいて応答候補から応答を選択する。この計算に，大規模コーパスから統計的に獲得された因果関係ぺア (Shibata and Kurohashi 2011; Shibata et al. 2014) を用いる。また，因果関係ぺアを用いる際に生じるカバレージの問題を解決するため, Role Factored Tensor Model (RFTM) (Weber et al. 2018) を用いる，実験においては，参照文を用いた自動評価に加えて PMI を用いて一貫性の評価を行った。また，人手評価によって提案手法が対話履歴に対する一貫性 を向上したか，また対話継続性を向上したかについての評価を行った。その結果，これらの手法は PMI などの自動評価による一貫性スコアを向上したにも関わらず，人手評価における一貫性評価はかえって低下し，しかし対話継続性が向上するという一見すると矛盾する結果となっ た. この結果から, 以下の 3 つの仮説を立て分析を行った. 一つ目は, 出現する単語に基づく 一貫性の向上は必ずしも人手評価における一貫性の評価に寄与しない，という仮説である。二 つ目は，人手評価における一貫性の評価と対話継続性の評価は相関が低い，という仮説である。三つ目は，人手評価における一貫性ではなく，単語選択や事態に基づく一貫性の向上が人手評価における対話継続性の向上に寄与する，という仮説である。この分析のため，人手評価のス コアの相関分析と，個々の事例分析を行った。この結果，前述の 3 つの仮説がある程度成立す ることが示され，対話履歴に関連する事態を含む応答を選択できている場合には対話継続性が 向上することが示唆された。

## 2 事態の一貫性に基づく応答のリランキング

提案した事態の一貫性に基づく応答のリランキングモデルを図 1 に示す. このリランキング モデルは，大きく分けて 2 つのパートから構成される。まず対話履歴をもとに既存の NCM モ デルから $N$-best 応答候補を生成する（図 1 (1); 2.1 節）。次に応答候補を事態の一貫性に基づ

図 1 Neural Conversational Model+リランキング；「疲れる」と「リラックスする」が関連した事態で あるという知識に基づき応答を選択.

きリランキングする（図 1 (2)）。このリランキングのために，本研究では 2 つの異なる手法を 用いる。一つ目の手法は事態の一貫性に関する外部知識として, 統計的に獲得された因果関係 ペア (Shibata and Kurohashi 2011; Shibata et al. 2014) を用いるリランキングである（2.2 節）.二つ目の手法は事態間の関係のみでなく, Coherence Model によって対話全体の一貫性も評価 するリランキングである（2.3 節 $).$

## 2.1 Neural Conversational Model (NCM)

NCM は入力発話と出力応答の系列の対応を Recurrent Neural Network (RNN) などの系列予測により学習するものである。NCM のデコーダは各単語を逐次的に予測するため, ビームサー チやサンプリングなどを用いることで $N$-best 応答を生成することもできる (Macherey et al. 2016). 本研究ではビームサーチにより生成された $N$-best 候補を用いる.

## 2.2 因果関係ぺアを用いるリランキング

本論文において取り扱う一貫性には，異なる 2 種類が存在する。一つ目は対話履歴と応答に 含まれる事態の一貫性であり，これが高い例として，対話履歴に「ストレスが溜まる」という 事態が，応答に「発散する」という事態が含まれている場合が挙げられる。二つ目は対話履歴 に対する応答の一貫性であり，これが高い例として，「ストレス溜まってるんだよね」が対話履歴であり,「発散したら？」が応答である場合が挙げられる。

本研究では, 対話履歴と応答候補の間に一貫する事態が存在する場合, その応答候補の対話履歴に対する一貫性が高く, 対話継続性に寄与するという仮説に基づき, 応答候補のリランキ ングを行う，対話中の連続する事態の一貫性を考える場合, 対話履歴と応答の間に何らかの因果関係が成立していれば，一貫性があると解釈することができる。そこでこれを考慮したモデ ルとして，述語項構造に基づく因果関係を利用する手法を提案する，提案手法は，まず対話履歴と応答候補に含まれる事態（述語項構造）を事態パーサーを用いて抽出する（図 2 (2)-1）。こ の事態パーサーには KNP¹ (Kawahara and Kurohashi 2006; Sasano and Kurohashi 2011)を用
^{1}$ http://nlp.ist.i.kyoto-u.ac.jp/?KNP
}

との間に成立する応答がリランキングにより選択される.

表 1 因果関係の一例

いる。その後，抽出した事態及び因果関係ぺアを事態埋め込みモデルを用いて分散表現に変換 する（図 2 (2)-2; 2.2.2 節)。事態埋め込みモデルとして，RFTM を利用する。最後に応答候補 を因果関係に基づきリランキングする（図 2 (4); 2.2.1, 2.2.3 節）.

## 2.2.1 因果関係ペア

柴田ら (Shibata and Kurohashi 2011; Shibata et al. 2014) が提案した, 共起情報と格フレーム に基づき自動獲得された因果関係ぺアデータセットをリランキングに用いる。このデータセッ トは約 16 億文の Web テキストから抽出された約 42 万件の因果関係知識で構成されている。表 1 に因果関係ぺアの一例を示す. 各事態は述語項構造により表現され，述語 1 及び項 1 は原因と なる事態を，述語 2 及び項 2 は結果となる事態を表す。ここで各事態は述語を必ず含むが，項 （ガヲニデ格のいずれか）は含まない場合もある. lift は次式の通り2つの事態の自己相互情報量に関連した値 (Shibata et al. 2014) であり，事態間の因果関係としての結びつきの強さを表 す. $p(\mathrm{e})$ は事態の Web テキスト中のある一文における出現確率を表し, $p\left(\mathrm{e}_{h}, \mathrm{e}_{r}\right)$ は 2 つ事態 の同時出現確率を表す.

$
\operatorname{lift}\left(\mathrm{e}_{h}, \mathrm{e}_{r}\right)=\frac{p\left(\mathrm{e}_{h}, \mathrm{e}_{r}\right)}{p\left(\mathrm{e}_{h}\right) p\left(\mathrm{e}_{r}\right)}
$
lift を用い, リランキングのためのスコアの計算を次のように定義する.

$
\operatorname{score}(\mathrm{h}, \mathrm{r})=\max _{<\mathrm{e}_{h}, \mathrm{e}_{r}>} \frac{\log _{2} \mathrm{P}(\mathrm{r} \mid \mathrm{h})}{\left(\log _{2} \operatorname{lift}\left(\mathrm{e}_{h}, \mathrm{e}_{r}\right)\right)^{\lambda}} \text {. }
$

$\mathrm{P}(\mathrm{r} \mid \mathrm{h})$ は対話履歴 $\mathrm{h}$ を与えたときに $\mathrm{NCM}$ が生成した各応答候補 $\mathrm{r}$ の事後確率であり， $\lambda$ は 因果関係の重みを決定するハイパーパラメータである。 ilft $\left(\mathrm{e}_{h}, \mathrm{e}_{r}\right)$ は対話履歴中の事態 $\mathrm{e}_{h}$ と 応答候補中の事態 $\mathrm{e}_{r}$ との間の lift の值である。この事態ぺアが因果関係ぺアに含まれない場合, lift の值は 2 とする. ただし lift $\left(\mathrm{e}_{h}, \mathrm{e}_{r}\right)$ は値域が広い $\left(10<\operatorname{lift}\left(\mathrm{e}_{h}, \mathrm{e}_{r}\right)<10,000\right)$ ため,対数をとった値である 2 の事態間の自己相互情報量を使用する. 応答候補と対話履歴との間 に複数の因果関係ぺアが含まれる場合, lift $\left(\mathrm{e}_{h}, \mathrm{e}_{r}\right)$ の値が最も大きい因果関係のみを考慮する. なお $\log _{2} \mathrm{P}(\mathrm{r} \mid \mathrm{h})$ の値域は $(-\infty, 0]$ であるため, lift の値が大きくなるほどリランキングスコ アも大きくなる.このモデルを “Re-ranking (Pairs)”と呼ぶ.

## 2.2.2 Role Factored Tensor Model (RFTM) に基づく事態分散表現

大規模テキストから抽出した大規模因果関係ぺアデータセットであっても，あらゆる因果関係ぺアを網羅できるわけではないため, これのみを用いて対話履歴と応答候補に存在する全て の因果関係を考慮することは難しい。そこで因果関係ぺア，および発話中に含まれる事態を分散表現に変換し，べクトル空間中で因果関係知識と対話中に出現した因果関係との類似度に基 づくマッチングを行うことで，表層の一致しない因果関係に対するマッチングを実現する.

本論文では，事態を述語，もしくは述語と付随する項のぺアと定義して用いる. 項 $a$ は GloVe (Pennington et al. 2014) によりべクトル $\mathrm{v}_{a}$ へと変換される。述語 $p$ は predicate embedding によりベクトル $\mathrm{v}_{p}$ へと変換される. predicate embedding は Skip-gram (Mikolov et al. 2013a， 2013b, 2013c) をもとにした単語分散表現である. 図 3 に predicate embedding モデルの概要を 示す.このモデルは Skip-gram が与えられた単語の周辺単語を予測するよう学習を行うのと同様に，与えられた述語に付随する項を予測するよう学習を行う.

$\mathrm{v}_{p}$ および $\mathrm{v}_{a}$ より事態の分散表現を得る手法として, Weber らが提案した RFTM (Weber et al. 2018)を利用する。RFTM は述語 $p$ と項 $a$ を次式により事態分散表現 $\mathrm{e}$ へ変換する.

$
\mathrm{e}=\sum_{a} W_{a} T\left(\mathrm{v}_{p}, \mathrm{v}_{a}\right)
$

述語と付随する項の関係は 3 階パラメータテンソル $T$, パラメータ行列 $W_{a}$ により計算される.述語が項を持たない場合， e は $\mathrm{v}_{p}$ により代替される，RFTM では連続して起こる事態を予測 するため, それらの分散表現同士のコサイン類似度を損失関数とし，連続して起こる事態が近 い点に埋め达まれるように学習を行う。これは単語における分布仮説同様，似た文脈に出現す る事態が似た意味を持つことを仮定するものである。これにより，似た文脈を持つ事態を潜在
空間上の近い位置に埋め込むことが出来る.

## 2.2.3事態分散表現を用いた因果関係のマッチング

図 4 に事態分散表現による事態のマッチングを示す。提案手法は事態分散表現に基づき，応答候補と対話履歴中の発話との間の事態ぺアに対し, 最も高いコサイン類似度を持つ因果関係 を因果関係ペアより選択する。ここで 2 つの事態間の lift $t_{e m b}$ を次の式のように定義する.

$
\text { lift }{ }_{\text {emb }}\left(\mathrm{e}_{h}, \mathrm{e}_{r}\right)=\operatorname{lift}\left(\mathrm{e}_{c}, \mathrm{e}_{e}\right) * \operatorname{mean}\left(\operatorname{sim}\left(\mathrm{e}_{h}, \mathrm{e}_{c}\right), \operatorname{sim}\left(\mathrm{e}_{r}, \mathrm{e}_{e}\right)\right)
$

$\mathrm{e}_{h}$ は対話履歴中の事態, $\mathrm{e}_{r}$ は応答候補中の事態であり, $\mathrm{e}_{c}$ と $\mathrm{e}_{e}$ はそれぞれ因果関係ぺア中の原因となる事態，結果となる事態である。sim はべクトル間のコサイン類似度である．提案手法 では対話履歴中の事態が結果，応答候補中の事態が原因となる場合も考慮する．たたし「風邪を 引く」と「目が覚める」を同一とみなすなど，事態を過剰に汎化してしまう場合がある。こうし た問題を避けるために，各 $\operatorname{sim}$ はしきい値を設定し，ある事態ぺアの各 $\operatorname{sim}$ がしきい値未満で ある場合，その事態ぺアはリランキングに用いない。また $\mathrm{e}_{h}, \mathrm{e}_{r}$ の代替として用いる因果関係 ペア $\mathrm{e}_{c}, \mathrm{e}_{e}$ は mean $\left(\operatorname{sim}\left(\mathrm{e}_{h}, \mathrm{e}_{c}\right), \operatorname{sim}\left(\mathrm{e}_{r}, \mathrm{e}_{e}\right)\right)$ が最も高いものを選択する. 式 (2) の lift $\left(\mathrm{e}_{h}, \mathrm{e}_{r}\right)$ を lift $t_{\text {emb }}\left(\mathrm{e}_{h}, \mathrm{e}_{r}\right)$ で更新することで，事態分散表現を用いたリランキングスコアは次のように 定義される.

図 3 Predicate Embedding

図 4 因果関係のマッチング；「疲れる」～「リラックスす る」という因果関係の lift は最もコサイン類似度が高 い因果関係である「ストレスが溜まる」 $\rightarrow$ 「発散」の lift から計算される.

$
\operatorname{score}(\mathrm{h}, \mathrm{r})=\max _{<\mathrm{e}_{h}, \mathrm{e}_{r}>} \frac{\log _{2} \mathrm{P}(\mathrm{r} \mid \mathrm{h})}{\left(\log _{2} \text { lift }_{\text {emb }}\left(\mathrm{e}_{h}, \mathrm{e}_{r}\right)\right)^{\lambda}} .
$

“Re-ranking (Pairs)" と同様に, 応答候補と対話履歴との間に複数の因果関係ぺアが含まれる 場合, lift $t_{e m b}\left(\mathrm{e}_{h}, \mathrm{e}_{r}\right)$ の値が最も大きい因果関係のみを考慮する。このモデルを “Re-ranking (RFTM)"と呼ぶ.

## 2.3 Coherence Model を用いるリランキング

因果関係は一貫性の推定に重要な要素であると考えられるものの，これ以外にも内容語や機能語の語彙選択など，様々な要素が応答の一貫性に寄与すると考えられる。例えば，対話履歴 が「ストレス溜まってるんだよね」であり，応答が「私が発散したい」である場合などは，応答 に含まれる事態の一貫性は高いものの，応答の一貫性が高いとは言えない．また，本研究で用 いた因果関係ぺア自体は統計モデルで推定されたものであり，必ずしも全てが因果関係として 成立しているわけではない。そこで事態ぺア間のみでなく，応答全体の一貫性も評価するリラ ンキングを実現するため，Coherence Model を用いる。このリランキングでは因果関係ぺアを 用いたリランキングと同様，はじめに対話中の事態を事態パーサーにより抽出する（図 5 (2)-1).次に，抽出した事態，対話履歴，応答候補を Coherence Model に与え，応答候補の対話履歴に 対する一貫性スコアを推定する（図 5 (2)-2; 2.3.1 節）。最後に応答候補を一貫性スコアに基づき リランキングする（図 5 (2)-3; 2.3.1 節）.

## 2.3.1 Coherence Model による対話の一貫性推定

応答候補の対話履歴に対する一貫性を推定するために，Xu らが提案した Coherence Model (Xu et al. 2019)を利用する。このモデルは先行するテキストに対して後続する文が連続する

図 5 Coherence Model を用いたリランキング；「疲れる」「リラックスする」という事態ぺアの一貫性に 加え，対話全体の一貫性も考慮して応答を選択.
一文であるか，ランダムに置き換えられた一文であるかを判定する。本研究では, Coherence Model を応答候補の対話履歴に対する一貫性推定に用いる。モデルの学習に用いる正例, 負例の 例を図 6 に示す. 正例は対話履歴と対話履歴中の発話に対し因果関係を持つ応答のぺアである.因果関係のマッチングには “Re-ranking (Pairs)” と同じく因果関係ペアデータセット (Shibata and Kurohashi 2011; Shibata et al. 2014) を用いる。負例は正例の順序を逆に入れ替えたもの, すなわち応答と, 応答との間に因果関係を持つ対話履歴中の発話とを入れ替えたぺアである. これにより，含まれる事態と全体の意味の両方が対話履歴に対して一貫している応答候補のみ，一貫性スコアを高く見積もることが期待できる.

図 7 にモデルの概要を示す.このモデルはまず対話履歴 $\mathrm{h}$, 応答候補 $\mathrm{r}$ を BERT (Devlin et al. 2019）を用いて分散表現 $\mathrm{v}_{h}, \mathrm{v}_{r}$ に変換する。またこれに加えて, 対話履歴, 応答候補から抽出

正例

負例

図 6 Coherence Model の学習に用いる正例と負例; 負例の応答に含まれる事態（疲れる）は対話履歷中 の事態（リラックスする）に対して一貫している（「疲れる」が原因，「リラックスする」が結果） が，応答全体の意味は一貫していない.

図 7 Coherence Model による一貫性スコアの推定

された事態ぺアを RFTM を用いて分散表現に変換する。このときリランキングに用いる事態 ペアはコサイン類似度がしきい值以上のもののみを用いる．RFTM は連続して出現する事態同士のコサイン類似度が高くなるよう学習を行っており，これによって連続して出現する可能性 が高い事態への重みづけを行う，得られた分散表現に基づき，応答候補の一貫性スコア cohを 次式のように計算する。

$
\begin{aligned}
\operatorname{coh}\left(\mathrm{v}_{h}, \mathrm{v}_{r}, \mathrm{e}_{h}, \mathrm{e}_{r}\right) & =\sigma(W \mathrm{v}+b) \\
\mathrm{v} & =\left[\mathrm{v}_{h} ; \mathrm{v}_{r} ; \mathrm{v}_{h}-\mathrm{v}_{r} ;\left|\mathrm{v}_{h}-\mathrm{v}_{r}\right| ; \mathrm{v}_{h} * \mathrm{v}_{r} ; \mathrm{e}_{h} ; \mathrm{e}_{r} ; \mathrm{e}_{h}-\mathrm{e}_{r} ;\left|\mathrm{e}_{h}-\mathrm{e}_{r}\right| ; \mathrm{e}_{h} * \mathrm{e}_{r}\right]
\end{aligned}
$

ここで $\sigma$ はシグモイド関数を， $W, b$ はそれぞれパラメータ行列，パラメータバイアスを表す. また [;] はべクトルの結合を表し, * は要素積を表す. 対話履歴, 応答候補から抽出される事態ぺアが複数存在する場合，最も高いコサイン類似度を持つ事態ぺアのみを用いる．またしき い值以上の事態ペアが存在しない場合，一貫性スコアは 0 として扱われる。この一貫性スコア の計算には図 7 のように Multi Layer Perceptron (MLP) を使用する。学習データ中の正例 $x_{i}{ }^{+}$ および対話の順序を入れ替えた負例 $x_{i}{ }^{-}$を用い, 式 (6) を学習するための損失関数を次式のと おり Margin Ranking Loss で定義する.

$
\operatorname{Loss}\left(x_{i}^{+}, x_{i}^{-}\right)=\max \left(0,-\left(f\left(x_{i}^{+}\right)-f\left(x_{i}^{-}\right)\right)+0.5\right) .
$

$f\left(x_{i}{ }^{+}\right), f\left(x_{i}{ }^{-}\right)$はそれぞれ正例, 負例に対してモデルが出力した予測值であり，式 (8) は

$f\left(x_{i}{ }^{+}\right)-f\left(x_{i}{ }^{-}\right) \geq 0.5$ のとき 0 となる. 応答候補の一貫性スコア $(0 \leq \operatorname{coh} \leq 1)$ が 0.5 以上で あった場合，その応答候補は対話履歴に対し一貫していると判定し，リランキングスコアを次式のように計算する.

$
\operatorname{score}(\mathrm{h}, \mathrm{r})=\left(1-\operatorname{coh}\left(\mathrm{v}_{h}, \mathrm{v}_{r}, \mathrm{e}_{h}, \mathrm{e}_{r}\right)\right) \log _{2} \mathrm{P}(\mathrm{r} \mid \mathrm{h}) \text {. }
$

式 (2)(5) と同様, $\log _{2} \mathrm{P}(\mathrm{r} \mid \mathrm{h})$ の值域は $(-\infty, 0]$ であるため,一貫性スコアの值が大きくなるほど リランキングスコアも大きくなることに注意されたい. このモデルを "Re-ranking (Coherence)" と呼ぶ.

## 3 リランキング手法の評価実験

これまでに述べた対話応答リランキング手法を評価する。連続する事態の一貫性を考慮する ことで, 応答の対話履歴に対する一貫性が向上し, それによって対話継続性が向上するという仮説について検証する。具体的には,リランキングの有無による対話応答の違いを自動評価，人手評価する実験を行った，特に人手評価においては対話履歴に対する応答候補の一貫性, 対話継続
性についての評価を行った。 実験では NCM として Encoder-Decoder with Attention (EncDec) (Bahdanau et al. 2015; Luong et al. 2015) と Hierarchical Recurrent Encoder-Decoder (HRED) (Sordoni et al. 2015; Serban et al. 2016) を用いる. HRED のモデルは, 単純な Encoder-Decoder などのモデルと比較して対話履歴を考慮した応答を生成しやすいと期待される一方で, 出力結果のバリエーションが対話履歴により制約され， $N$-best 応答候補のリランキングには不向きで ある可能性もある.

対話モデルの学習及びテストに用いるコーパスとしてマイクロブログ (Twitter) から収集し た $2,072,893$ 対話を使用した。ここではマイクロブログにおける 1 発話を 1 ターンとし，発話 の連接をターン数と考える。平均対話長は 13.50 ターン, 平均発話長は 22.52 文字であった. 語彙サイズを削減しモデルの学習を促進するために, 絵文字などはあらかじめ発話から除外した.対話コーパスを学習データ，バリデーションデータ，テストデータとしてそれぞれ $1,969,626$ 対話，51,573 対話， 51,694 対話に分割した．RFTM が利用する GloVe, predicate embedding の 学習には日本語 Wikipedia ダンプデータ2を用い，RFTM の学習には因果関係ぺア，毎日新聞 2017 データ集 ${ }^{3} に$ 加え，対話モデルの学習に用いたものと同様の対話デー夕を用いた. Coherence Model が用いる BERT モデルには事前学習済みの公開されているモデル4を用い, Coherence Model の学習には対話モデルの学習に用いたものと同様の対話データを用いた.

## 3.1 モデル設定

NCM の学習設定は次のとおりである. GloVe (Pennington et al. 2014), predicate embedding, RFTM (Weber et al. 2018)の隠れ層は全て 100 次元とした. Coherence Model が利用する BERT モデルの隠れ層は 768 次元であり, MLP の層数は 1 層である。隠れ層 256 次元の GRU (Cho et al. 2014; Chung et al. 2014) 2 層, 対話履歴数 $N=2$, バッチサイズ 100, Dropout 確率 0.1 , teacher forcing 率 1.0, Optimizer を Adam (Kingma and Ba 2015) とし, Gradient Clipping 50, Encoder 及び HRED における Context RNN の学習率 $1 \mathrm{e}^{-4}$, Decoder の学習率 $5 \mathrm{e}^{-4}$, 目的関数を ITF loss (Nakamura et al. 2019) とした. トークン分割には sentencepiece (Kudo and Richardson 2018) を用い, 語彙数 32,000 とした. 実際の対話データは平均で 13.50 ターンの対話長を持つ が，距離が離れた発話同士では話題が遷移し，関連性が低下する。また，NCM では RAM サ イズの制約から長大な履歴を入力とすることが難しい5．そこで本研究では，応答生成，リラン キングの際に用いる対話履歴は最大で過去 3 発話とした。これらの設定は EncDec, HRED ど ちらにおいても同一である. EncDec に複数発話の対話履歴を入力する場合，それらを文末を
^{4}$ http://nlp.ist.i.kyoto-u.ac.jp/index.php?BERT 日本語 Pretrained モデル.

5 本計算には GeForce GTX $1080 \mathrm{Ti}$ (11GB GPU-RAM) の GPU を用いた.
}
表す特殊トークン $</ \mathrm{s}>$ で結合し，1つの発話として入力した. HRED に複数発話を入力する 場合は各発話を Utterance Encoder でエンコードした後, Context Encoder で対話履歴全体を エンコードした (Sordoni et al. 2015; Serban et al. 2016).

探索の際は同じトークンを繰り返し出力することを防ぐために Repetitive Suppression (Nakamura et al. 2019) を, 短い応答のみを出力することを防ぐために length normalization (Macherey et al. 2016) を用いた。最後に, リランキングの式 (2), 式 (5) における $\lambda=1.0$ とし, 事態分散表現を用いた因果関係のマッチング，Coherence Model における事態ぺアのコサイン類似度の しきい値は経験則的に 0.9 とした.

## 3.2 応答生成候補の多様性

リランキング以前の各モデルにおける $N$-best 応答内の多様性評価を行う。これは，ビーム サーチにより生成される $N$-best 応答が多様であるほど，リランキングの効果が期待できるた めである。そこで，テストデータに対するそれぞれの $N$-best 応答内の多様性を, dist- 1,2 (Li et al. 2016) によって評価した. ビーム幅は 20 とし, これは続く実験でも同一である.

表 2 に結果を示す。ここで Ave.dist は各 $N$-best 応答内で計算された dist の平均を表す。表 を見ると EncDec の方が HRED よりも多様性が高いことがわかる.

## 3.3 自動評価

## 3.3.1 自動評価で用いる指標

自動評価として，まず提案手法が有効な範囲を測るためリランキングされた応答候補の割合 ("re-ranked") を用いた。また，応答候補の reference に対する類似度を測るため， reference に 対する BLEU (Papineni et al. 2002), NIST (Doddington 2002)，また greedy, average, extrema と呼ばれる 3 つの分散表現を用いた指標 (Gabriel et al. 2014; Liu et al. 2016) を用いた. BLEU は reference との $N$-gram の一致率を測る指標である. NIST は BLEU に類似した評価指標た が，スコア計算の際に低頻度語を重視する点で異なる. greedy, average, extrema はすべて参照応答と生成応答の分散表現空間上での類似度を測るものである. greedy における類似度 $G M$ は 参照応答と生成応答それぞれに含まれる単語の GloVe 単語ベクトル $\mathrm{ge}_{w}$ を, 次式のように貪欲 にマッチングすることで計算される。

表 $2 N$-best 応答候補内の多様性

$
\begin{aligned}
G(s, \hat{s}) & =\frac{\sum_{w \in s} \max _{\hat{w} \in \hat{s}} \operatorname{sim}\left(\mathrm{ge}_{w}, \mathrm{ge}_{\hat{w}}\right)}{|s|} \\
G M(s, \hat{s}) & =\frac{G(s, \hat{s})+G(\hat{s}, s)}{2}
\end{aligned}
$

ここで $s, \hat{s}$ は参照応答, 生成応答を表し, $\operatorname{sim}$ はコサイン類似度を表す. average における類似度は参照応答と生成応答それぞれの文べクトルのコサイン類似度より計算される．各文べクト ル $\mathrm{ge}_{s}$ は GloVe 単語べクトルを次式のように平均化することで計算される.

$
\mathrm{ge}_{s}=\frac{\sum_{w \in s} \mathrm{ge}_{w}}{|s|}
$

extrema における類似度は average と同様に文ベクトルのコサイン類似度より計算され，文べ クトルは GloVe 単語ベクトルの各次元 $d$ における極値を次式のように取ることで計算される.

$
\operatorname{ge}_{s d}=\left.\{\begin{array}{ll}
\max _{w \in s} \mathrm{ge}_{w d} & \text { if } \mathrm{ge}_{w d}>\left|\min _{w^{\prime} \in s} \mathrm{ge}_{w^{\prime} d}\right| \\
\min _{w \in s} \mathrm{ge}_{w d} & \text { otherwise }
\end{array} .\right.
$

ここで $\mathrm{ge}_{s d}, \mathrm{ge}_{w d}$ はそれぞれ $\mathrm{ge}_{s}, \mathrm{ge}_{w}$ の $d$ 次元目の要素を表す.また評価指標として, dist-n (Li et al. 2016), Pointwise Mutual Information (PMI) (Newman et al. 2010) も用いた. dist-n, PMI はそれぞれ応答の多様性，一貫性を測るために用いた。応答と対話履歴の PMI は次式の ように計算される.

$
\mathrm{PMI}=\frac{1}{\# w r} \sum_{w r}^{\# w r} \max _{w h} \operatorname{PMI}(w r, w h)
$

$w r, w h$ はそれぞれ応答中, 対話履歴中の単語を表す. PMI を計算するためのコーパスは $\mathrm{NCM}$ の学習データと同一である.

## 3.3.2 自動評価による比較

表 3 に全テストデータに対するリランキング前後の自動評価による比較を示す. 表 3 の手法名は左から順に，用いた NCM，用いたリランキング手法を示している。“1-best”はリランキ ングを行わない, ベースラインの NCM を表す. "Re-ranking (Pairs)", "Re-ranking (RFTM)", “Re-ranking (Coherence)"はそれぞれ因果関係ぺアのみを用いたリランキング，因果関係ぺア と RFTM を用いるリランキング，Coherence Model を用いるリランキングを表す.

リランキングされる応答候補の割合は “Re-ranking (Pairs)", "Re-ranking (Coherence)"の場合多くとも $10 \%$ 前後に留まり, リランキングの効果が限定的となる. これに対して，RFTM に よる分散表現で汎化を行ったモデルでは, リランキングの割合が $30 \%$ 程度に上昇している。ま た NIST, dist-2 および PMI は “Re-ranking (RFTM)”により最も上昇しており，語彙の組み合 わせが多様かつ対話履歴と関連したものになっていることがわかる.

## 3.3.3リランキング手法ごとの自動評価値の傾向

表 3 のどの手法においても，過半数のテストデータはリランキング前と同じ応答を対象に評価値が算出されている。このため表 3 の結果のみからそれぞれのリランキングによりどの評価値がどの程度改善されるかを見て取ることは困難である。 そこで各リランキング手法がリラン キングを行ったデータについてのみ評価値を算出することで，各手法がリランキング対象とす るデータの傾向，および各手法により改善される評価値を分析した．表 2 より EncDec の方が $N$-best 応答内の多様性が高いためリランキングに適している可能性があるものの, 自動評価で は HRED の方が 1-best において高いスコアを持つ傾向にある。本論文では, リランキングを 行わない 1-best がより強いべースラインとなる HRED を用い，提案するそれぞれのリランキ ング手法と比較した.

表 $4,5,6$ に結果を示す. 表 4 の因果関係ぺアのみを用いるリランキングでは, BLEU, NIST

 & re-ranking &  & BLEU & NIST & greedy & average & extrema & dist-1 & dist-2 & PMI \\

表 3 全テストデータに対する自動評価のスコア

表 4 自動評価のスコア; HRED with Re-ranking (Pairs); 対話数 2,608 .

表 5 自動評価のスコア; HRED with Re-ranking (RFTM); 対話数 11,247 .

表 6 自動評価のスコア; HRED with Re-ranking (Coherence); 対話数 3,245.

などの参照応答との類似度スコアが全てリランキング前以下の値となっているのに対し, dist-2, PMI の値は上昇している。特に PMI はわずかながら参照応答以上の値となっており，応答に 含まれる単語が対話履歴に関連したものになっていることがわかる.

表５の因果関係ぺアと RFTM を用いるリランキングにおいてもPMI が上昇しており，また NIST も向上していることから，対話履歴との関係が高い低頻度語を含む応答を選択できてい ることがわかる.

表 6 の Coherence Model を用いるリランキングでは BLEU, NIST, dist が低下しているも のの, greedy, average, extrema といった分散表現による類似度尺度は全て上昇している。また PMI は 3 つのリランキング手法の内最も高い値となっており, 表 4 と比較しても参照応答の値 との差が大きい. さらに表 6 の 1-best の値を表 4,5 と比較すると, リランキング前の段階で 類似度スコアや PMI が高い傾向にあることがわかる。すなわち Coherence Model を用いるリ ランキングは，その他のリランキング手法と比較して参照応答に類似した応答を対話モデルが 生成しやすい対話データを捉えることが可能であり，かつ分散表現上での応答の類似度を向上 させることができていると言える.

どのリランキング手法においても PMI の上昇割合が高いのは，因果関係ぺアが述語項構造の 共起情報に基づいて獲得されており, この情報が PMI の上昇に寄与するためと考えられる。なお Coherence Model が用いる RFTM の学習にも因果関係ペアが用いられているため, “Re-ranking (Coherence)"も因果関係ぺアを間接的に参照している．PMI の向上はより関連する単語を含む 応答を選択できていることを示唆するものの，対話の自然性，継続性という観点からは人手に よる主観評価が必要である。そこで次の節では，人手による評価を行う.

## 3.4 人手評価

自動評価において, 提案手法によって選択される応答の単語の一貫性は向上しているものの,自動評価のみで対話システムの性能を評価することは困難である (Liu et al. 2016). そこで, ベー スラインモデルと提案モデルを人手評価により比較することで, 提案モデルにより選択された 応答の一貫性, 自然性, 対話継続性を測った，評価者の負担を軽減するため，一般に知名度が 低いソーシャルゲームについて話しているなど，内容を理解するために前提知識を必要とする
対話は人手で評価対象から取り除いた。人手評価にはクラウドソーシングを用い，各比較条件 ごとに 10 人のクラウドワーカーに 2 つのシステムの応答を比較し，次に挙げる 3 点の指標をよ り満たすものを 2 つの応答のどちらか, もしくは「どちらでもない (neither)」の 3 択より選択 してもらった. 1 番目の指標は「どちらの応答がより対話履歴に関連しているか (coherency)」 であり，これはシステム応答が一貫しているかを計測するために用いる． 2 番目の指標は「ど ちらの応答がより文法的に違和感なく読めるか (naturality)」であり, これはシステム応答の文法的な自然性を計測するために用いる。3 番目の指標は「どちらの応答により返答したいと思 うか (dialogue continuity)」であり，これはシステム応答の対話継続性が高いかを計測するため に用いる。これらの指標は Alexa Prize (Ram et al. 2018) を参考に決定した。また，各比較で 対象とした対話数はそれぞれ 100 である。なお，これらの評価は各手法により1-best と異なる 応答が選択されたケースのみを評価として用いたので，評価の対象となったサンプルがそれぞ れ異なる。このため，異なる図間のスコアを直接比較できないことに注意されたい.

人手評価の結果を図 8 から 13 に示す. 本実験ではカイ二乗検定を行い，有意水準 $\mathrm{p}<0.05$ を統計的に有意とみなすこととした。各指標の右側に記された*は $\mathrm{p}<0.05$ を，** は $\mathrm{p}<0.01$ を表す。一貫性はどのリランキング手法においても 1-best と比較して有意に減少している。こ れは，因果関係や連続する事態のみに着目して一貫性を評価しても，必ずしも対話における主観的な一貫性の向上には繋がらないという結果を示している。ただし表 4-6において PMI が上昇していることから, 単語単位の一貫性は上昇していると考えられる. これらのことから, ユー ザに応答が一貫していると認められるためには出現単語が一貫しているのみでは不十分であり，

図 8 人手評価の結果; 1-best v.s. Re-ranking (Pairs)

図 10 人手評価の結果; 1-best v.s. Re-ranking (Coherence)

図 9 人手評価の結果; 1-best v.s. Re-ranking (RFTM)

図 11 人手評価の結果; Re-ranking (Pairs) v.s. Re-ranking (RFTM)

図 12 人手評価の結果; Re-ranking (Pairs) v.s. Re-ranking (Coherence)

図 13 人手評価の結果; Re-ranking (RFTM) v.s. Re-ranking (Coherence)

1 章にて立てた一つ目の仮説「出現する単語に基づく一貫性の向上は必ずしも人手評価における 一貫性の評価に寄与しない」が成り立つことが示された。異なるリランキング手法を比較した 場合, “Re-ranking (Coherence)” が選択した応答の一貫性が最も高い傾向にあり, “Re-ranking (Coherence)" が持つ応答の一貫性を考慮する能力が他のリランキング手法と比較して高いこと がわかる.

これに対し，対話継続性は “Re-ranking (RFTM)”において有意に向上している，異なるリ ランキング同士の比較では “Re-ranking (RFTM)", "Re-ranking (Coherence)”が対話継続性に おいて最も高い評価を得ており, 本論文で提案した事態や出現単語レベルでの一貫性の向上が,対話継続性の向上に寄与することがわかる.

自然性も一貫性と同じくどのリランキングにおいても低下しているが，これはニューラル対話モデルの Decoder が言語モデルとしての役割を担うため, リランキング前の順位が高いほど 言語モデル的に尤度の高い応答となるためだと考えられる．異なるリランキング同士の比較で は “Re-ranking (Coherence)”が自然性において最も高い評価を得ている。これは “Re-ranking (Coherence)" が応答全体の対話履歴に対する一貫性を考慮していることから，コンテキストに 対する生成結果のもっともらしさをある程度考慮できているためだと考えられる。

人手評価の結果より，自然性が低い応答は一貫性も低いとユーザにみなされる可能性が高い ものの, 一貫性, 自然性が低くとも対話継続性が高い場合が存在することがわかった。この現象について詳しく分析するため，次節にて各評価指標間の相関について調査する.

## 3.5 人手評価結果の相関分析

本研究で用いた連続する事態の一貫性を考慮したリランキングでは, 主観評価における対話継続性が向上したものの，一貫性が低下するという一見して矛盾する結果となった。そこで，人手評価における一貫性，自然性，対話継続性の相関を測るために，評価指標ぺアの混同行列 を集計し，クラメールの連関係数 $V(0 \leq V \leq 1)$ を算出した。分析対象は図 8-10 の実験で用い られた各 100 対話，合計 300 対話である。なお，評価者間の評価の一致率を表す Fleiss' Kappa の值は 0.20 であった。集計結果および連関係数を表 7-9 に示す。一貫性と自然性, 対話継続性

表 7 混同行列（一貫性-自然性）； $V=0.20$

表 8 混同行列（自然性-対話継続性）； $V=0.52$

表 9 混同行列（対話継続性-一貫性）； $V=0.20$

と一貫性の連関係数はともに 0.20 であり, 人手評価で対象としたコーパスにおいて一貫性の対話継続性に対する寄与率はあまり高くはないことがわかる。また自然性と対話継続性の連関係数は 0.52 であり,これも十分高いとは言えない.これらの結果は, 1 章にて立てた二つ目の仮説「人手評価における一貫性の評価と対話継続性の評価は相関が低い」を裏付ける。人手評価 において一貫性が低下していると評価者に判断されたにもかかわらず，対話継続性は向上して いると判断された例を次に示す．鉤括弧内はリランキングに使用された事態ぺアを示す。“ $\rightarrow ”$ で結ばれた事態ぺアは因果関係を表す.

対話 1:

ユーザ：東京の田舎ですよ笑

システム：でも羡ましい原宿とかまで遠いの

ユーザ：時間くらいで行けると思います

システム (1-best)：そうなんだ

システム (Re-ranking (Pairs))：じゃあ会えるかも

[行ける $\rightarrow$ 会える]

この例では，システム側の「会える」という情報の提示が, 1-best で得られる単純な応答より もユーザの興味を引いたと考えられる。また，対話継続性が低下しており，かつ一貫性は向上 していると判断された例を次に示す。丸括弧内の事態は，因果関係ぺアに含まれる事態を表す。 このとき丸括弧左側の事態は，RFTM によって丸括弧内の事態と同一とみなされた，対話中に 含まれる事態を表す。

## 対話 2:

$
\text { ユーザ：寝なさい笑 }
$

システム：おはよう, 早いな

ユーザ：おはよっしーよしちゃんこそ早いじゃん, いつも 9 時頃なのに

システム (1-best)：よく眠れなくて大丈夫なのだろうか... 苦笑

システム (Re-ranking (RFTM) )：よく寝れた

$[$ 寝れる $($ 寝る $) \rightarrow$ 寝 $($ 寝 $)]$

リランキング前の応答はユーザに問いかける形になっており，より対話を継続するものであっ たことがわかる. リランキング後の発話は事態は一貫しているものの, 文脈上逆の意味の発話 を選択してしまっている。人手評価, 事例分析の結果, 応答の一貫性向上が対話継続性の向上 には必ずしも繋がらないことが判明した。しかし次に示すとおり，応答の一貫性と対話継続性 がともに向上した例も存在する.

対話 3:

ユーザ：おはようございますれ

システム：おはようございますヒラメ釣り行ってましたが撃沈でした TT

ユーザ：おはようございます凸冷えますね...

システム (1-best)：おはようございます

システム (Re-ranking (Pairs))：おはよーございます朝晚涼しくなりました

[涼しくなる $\rightarrow$ 冷える]

よって今後は事態や応答の一貫性を含め，対話継続性の向上に寄与する制約や状況についてよ り詳細に調査する必要がある.

## 4 事例分析

ここまでの実験では, 提案手法によってシステム応答の対話履歴に対する事態レベルの一貫
性を向上させた結果，ユーザが感じる対話における一貫性が向上するか，対話継続性が向上す るかについて検証した。この結果, 提案手法は単語レベルの一貫性を向上させ, 対話継続性の 向上に寄与するものの, ユーザが感じる対話の一貫性はむしろ低下する結果となった。そこで,述語項構造解析結果，リランキングに用いられた事態ぺアの分類を行うことで，提案手法によ り行われた応答のリランキングを詳細に分析した。また, 生成された応答の対話行為を分析す ることで，応答の一貫性や対話継続性と，対話行為との相関を明らかにした．分析対象は 3.5 節 と同様に図 8-10 の実験で用いられた 300 対話であり, 述語構造解析結果, リランキングに用い られた事態ぺア，対話行為の分類は 1 人のアノテータが行った.

## 4.1 述語項構造解析結果の分類

提案手法は述語項構造解析により自動抽出された事態に基づくものであるため, 述語項構造解析の精度を検証する必要がある。そこで，リランキングに用いられた事態の述語項構造解析 が適切に行われている割合を調査した。分類結果を表 10 に示す.ここで横軸の“Correct”は リランキングに用いられた事態に述語項構造解析の誤りがなかった場合であり, “Wrong”は何 らかの誤りが含まれていた場合を指す。これは例えば，「おはようさぎ」という発話文から「詐欺」という誤った述語（判定詞）を抽出した場合や，「栄行こうか迷う」という発話文に対し「栄 が行く」のように格解析を誤った場合などがある。また縦軸の“Each”は事態ぺアに含まれる 2 つ事態について別々に正誤を判定した場合であり，“Both”は 2 つ事態をまとめて正誤を 判定した場合である。よって事態ぺアに含まれる 2 つの事態のいずれも述語項構造解析が適切 に行われていた場合のみ, “Both”は“Correct”とみなされる.

述語項構造解析によって全ての事態が完全に解析されている割合は “Each”で $70 \%$ 前後, “Both”で $60 \%$ 前後であり，十分高いとは言えないが，特に後者は複数の述語項構造関係の抽出結果に対する評価という点に留意する必要がある。また, 本研究で用いた事態の埋め込み表現が, 格要素の解析誤りなどの問題を汎化している可能性がある.

## 4.2 リランキングに用いられた事態ぺアの分類

提案手法は事態ペアの一貫性に基づくものであるため, リランキングに用いられた事態ぺア の一貫性や, 一貫した事態ペアが用いられた場合の人手評価の傾向を明らかにする必要がある. そこで，リランキングに用いられた事態ぺアの一貫性を分類，分析し，人手評価の結果を再考

表 10 述語項構造解析結果の分類
察した. 分類結果を表 11 に示す.ここで各列はリランキングに用いられた事態ぺアの一貫性 を表し，“Good”は一貫した事態ぺアが用いられたことを，"Bad (Pairs)”は因果関係ぺアに含 まれる，当該対話コンテキストで用いることが適当ではないと考えられる因果関係が用いられ たことを意味する。また“Bad （過汎化）”は事態分散表現により過汎化された因果関係が用 いられたことを意味し，“Bad (Sequence)”は連続しているが一貫性が低い事態ペアが用いられ たことを意味する．以上は著者らが各サンプルを確認して人手で分類した.

一貫した事態ぺアが用いられた割合は, "Re-ranking (Pairs)" の場合 61\%, "Re-ranking (RFTM)" の場合 5\%, “Re-ranking (Coherence)" の場合 52\% である。図 8-10の人手評価で用いられた対話データより，一貫した事態ぺアが用いられた場合を抽出した結果を図 14-16に示す。 1 件の データにつき 10 人のワーカーが評価を行っているため，図 14-16 のサンプル数はそれぞれ 610 , 50, 520 である. “Re-ranking (RFTM)”において，一貫した事態ぺアが用いられている場合，一貫性，自然性，対話継続性が大きく向上しており，一貫した事態ぺアを用いることが対話継続性 の向上に寄与することが示唆されている. しかし, "Re-ranking (Pairs)", "Re-ranking (Coherence)"の場合, リランキング前後で大きな差は見られない. ここで表 4-6 を見ると, “Re-ranking

表 11 事態ペアの分類

図 14 一貫した事態ぺアが用いられた場合の 人手評価の結果; 1-best v.s. Re-ranking (Pairs)

図 15 一貫した事態ぺアが用いられた場合の 人手評価の結果; 1-best v.s. Re-ranking (RFTM)

図 16 一貫した事態ぺアが用いられた場合の人手評価の結果; 1-best v.s. Re-ranking (Coherence)

(RFTM)" がリランキング対象とした 1-best 応答と比較して, "Re-ranking (Pairs)", "Re-ranking (Coherence)" がリランキング対象とした 1-best 応答の自動評価値が高いことがわかる。よっ て，一貫した事態ぺアを用いたリランキングは，1-best の時点で自動評価値の高い応答を対象 としても効果がないが，自動評価値が低い応答を対象とした場合，応答の一貫性，自然性，対話継続性が向上する可能性があると言える。以上のことから，1 章にて立てた三つ目の仮説「人手評価における一貫性ではなく，単語選択や事態に基づく一貫性の向上が人手評価における対話継続性の向上に寄与する」がある程度成り立つことが示された。なお, “Re-ranking (RFTM)" によって一貫した事態ぺアが用いられた割合は $5 \%$ と低いため，事態分散表現を改善し，分散表現上において事態の一貫性をより正確に考慮することで，一貫した事態ぺアに基づくリランキ ングが行われる範囲を拡大する必要がある.

一貫した事態ぺアによりリランキングが行われている例を下に示す.

対話 4:

ユーザ：新年早々体調崩すとは，辛い笑明日，明後日までに完全に治さな．

システム (1-best)：お大事に

システム (Re-ranking (Pairs))：大丈夫ですか無理しないでくださいね

[ 無理をする $\rightarrow$ 体調を崩す]

対話 5:

システム：フォローありがとうございますフォロバさせていただきました

ユーザ：私テスト以外は暇してるんでいつでも絡んでくださいね

システム (1-best)：はいぜひぜひ仲良くしましょ

システム (Re-ranking (RFTM))：全然おっけーですなんて呼んだらいいかな

[ 絡む (絡む) $\rightarrow$ 呼ぶ (絡む)]

対話 6 :

ユーザ：みんな美味しいセブンドーナツ食べよう

システム (1-best)：おいしいよ

システム (Re-ranking (Coherence))：チョコチップ食べたい

[ ドーナツが食べる, チップが食べたい]

上記の例では，一貫した事態ぺアを用いたリランキングにより，論理的な応答が選択されてい る.しかし表 11 からわかるように，そうではない例も多数存在する. 次に示す対話 7 のよう に，一貫していない事態ぺアが用いられている場合や，対話 8 のように，一貫した事態ぺアが
使用されていても応答が不自然である場合が多く見られた.

対話 7:

システム：行くぞ焼肉

ユーザ：行きたい....

システム (1-best)：いく

システム (Re-ranking (RFTM))：焼肉定食屋行こうぜ

[行きたい $($ カラオケが行く) $\rightarrow$ 屋が行く (温泉が行く)]

対話 8:

システム：はよ風邪なおそなおったら行こう

ユーザ：かれこれ 3 週間くらい風邪引いてる

システム (1-best)：お大事に

システム (Re-ranking (Coherence))：風邪治ってきたから

[風邪を引く, 風邪が治る]

対話 7 の因果関係は「温泉が行く」を「屋が行く」という事態と汎化することで得られており，過汎化を抑制する必要があることがわかる。対話 8 については，事態間の一貫性は向上してい るものの，時間経過の結果現れる事態を選択した結果応答が不自然と判定された。

## 4.3 応答の対話行為の分類

対話行為とは, 応答の発話者の意図や, 応答の対話中における機能を意味する夕グである (Bunt et al. 2010, 2012). リランキングによる応答の対話行為の変化と人手評価值の相関を分析するこ とで，リランキングにより対話における応答の機能レベルでの変化が生じたか，それによって どのように人手評価值が変化したかが明らかになる。 ここでは, ISO-24617-2 (Bunt et al. 2010, 2012）を拡張した対話行為タグセット (Yoshino et al. 2018) に基づき，各応答に最も当てはまる 対話行為を付与した．表 12 に使用した対話行為タグセットを示す.

まず，リランキング前後で対話行為がどの程度変化するかを調査した結果を表 13 に示す。表 13 より, どのリランキング手法においても半数程度の応答の対話行為が変化していることがわ かる.また，リランキングによって特定の対話行為が別の対話行為へと変化する傾向があるか を確認するため, リランキング前後の対話行為の混同行列より, クラメールの連関係数を算出し た. 表 13 を見ると, 連関係数は全て 0.4 未満の值となっており, リランキング前後の対話行為 の相関はあまり高くなく, リランキングによる対話行為の変化に強い傾向は存在しないことが 確認できた．次に，対話行為が変化することにより，人手評価値が変化するかを分析した結果

 \\

表 12 対話行為タグセット

表 13 リランキング前後の対話行為の異なり数（各対話数 100）

を表 14-16に示す. 対話行為は応答ごとに 1 種類が付与されているため合計が 100 であるのに 対し, 人手評価は応答ごとに 10 人のワーカーが評価しているため, 各指標ごとに合計が 1,000 となることに注意されたい，各表より，対話行為の変化と人手評価のクラメールの連関係数は 全て 0.4 未満の値となっており，これらの相関はあまり高くないことがわかる。すなわち, 3.5 節の対話 1,2 のように応答の対話行為が変化したことによって人手評価が変化する事例は存在 するものの，特定の対話行為が別の対話行為へと変化することによって人手評価値が大幅に向上，もしくは低下する傾向は確認されなかった.

## 5 おわりに

本論文では，対話モデルにより生成された $N$-best 応答を，連続する事態の一貫性に基づきリ ランキングする手法を提案した。リランキングの基準として, 述語項構造を用いた連続する事態の一貫性に着目し，一貫性のある事態ぺア，特に因果関係を持つ対話応答候補を選択するよ うな手法を提案した。またこれを素性として用いて, Coherence Model によって対話履歴に対 する一貫性を担保する手法を提案した，評価の結果，PMI などの自動評価指標において提案す る手法は事態や単語レベルの一貫性が向上していることが示された。しかし人手評価において は，対話継続性は向上したものの，一貫性のスコアは低下するという一見して矛盾する結果と

 & 8 & 2 & 0 \\

表 14 リランキングによる対話行為の変化と人手評価 (Pairs); 評価指標列の数値は, 応答の対話行為 がリランキングによって別の対話行為へと変化した場合に，人手評価において 1-best, neither, Re-ranking と評価された数を表す。；対話行為は応答ごとに 1 種類が付与されているため合計が 100 であるのに対し, 人手評価は応答ごとに 10 人のワーカーが評価しているため, 各指標ごとに 合計が 1,000 となることに注意されたい.

 & 0 & 0 & 0 & 0 \\

表 15 リランキングによる対話行為の変化と人手評価 (RFTM); 評価指標列の数値は, 応答の対話行為 がリランキングによって別の対話行為へと変化した場合に, 人手評価において 1-best, neither, Re-ranking と評価された数を表す。；対話行為は応答ごとに 1 種類が付与されているため合計が 100 であるのに対し, 人手評価は応答ごとに 10 人のワーカーが評価しているため, 各指標ごとに 合計が 1,000 となることに注意されたい.

 & 0 & 0 & 0 & 0 & 0 \\

表 16 リランキングによる対話行為の変化と人手評価 (Coherence); 評価指標列の数値は, 応答の対話行為がリランキングによって別の対話行為へと変化した場合に，人手評価において 1-best, neither, Re-ranking と評価された数を表す。；対話行為は応答ごとに 1 種類が付与されているため合計が 100 であるのに対し, 人手評価は応答ごとに 10 人のワーカーが評価しているため, 各指標ごとに 合計が 1,000 となることに注意されたい.

なった. この結果を説明するため相関分析や事例分析を行った結果，ユーザが評価する対話継続性と一貫性の間には必ずしも強い相関があるわけではないことが示され，事態ぺアの一貫性 を考慮することが対話継続性の向上に寄与することが示唆された.

今後は対話継続性の向上に繋がる制約や状況についてより詳細に調査する. さらに，事態分散表現の改善や，一貫した対話中の事態を生成した上で応答生成を行う生成的アプローチにつ いても検討していく.

## 謝 辞

本研究で使用した因果関係ぺアをご提供頂いた京都大学黒橋研究室の黒橋禎夫教授, 柴田知秀博士に感謝いたします。

本研究は JST さきがけ (JPMJPR165B) の支援を受けた.

本論文の内容の一部は, the First Workshop on NLP for Conversational AI で発表したもので ある (Tanaka et al. 2019).

## 参考文献

Bahdanau, D., Cho, K., and Bengio, Y. (2015). "Neural Machine Translation by Jointly Learning to Align and Translate." In Proceedings of the 3rd International Conference on Learning Representations (ICLR).

Bogdanova, D. and Foster, J. (2016). "This is How We Do it: Answer Reranking for Open-Domain How Questions with Paragraph Vectors and Minimal Feature Engineering." In Proceedings of the 15th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 1290-1295.

Bohus, D. and Rudnicky, A. I. (2003). "RavenClaw: Dialog Management Using Hierarchical Task Decomposition and an Expectation Agenda." In Proceeedings of the 8th European Conference on Speech Communication and Technology (Eurospeech).

Bunt, H., Alexandersson, J., Carletta, J., Choe, J.-W., Fang, A. C., Hasida, K., Lee, K., Petukhova, V., Popescu-Belis, A., Romary, L., Soria, C., and Traum, D. (2010). "Towards an ISO Standard for Dialogue Act Annotation." In Proceedings of the 7th International Conference on Language Resources and Evaluation (LREC), Valletta, Malta. European Language Resources Association (ELRA).

Bunt, H., Alexandersson, J., Choe, J.-W., Fang, A. C., Hasida, K., Petukhova, V., Popescu-Belis, A., and Traum, D. (2012). "ISO 24617-2: A Semantically-based Standard for Dialogue An-
notation." In Proceedings of the 8th International Conference on Language Resources and Evaluation (LREC), pp. 430-437, Istanbul, Turkey. European Language Resources Association (ELRA).

Cervone, A., Stepanov, E., and Riccardi, G. (2018). "Coherence Models for Dialogue." In Proceedings of INTERSPEECH 2018 (INTERSPEECH), pp. 1011-1015.

Cho, K., Merrienboer, B. v., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., and Bengio, Y. (2014). "Learning Phrase Representations Using RNN Encoder-Decoder for Statistical Machine Translation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1724-1734.

Chung, J., Gulcehre, C., Cho, K., and Bengio, Y. (2014). "Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling." In Proceedings of the 28th Conference Neural Information Processing Systems, Deep Learning and Representation Learning Workshop (NIPS), pp. 1-9.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 18th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 4171-4186.

Doddington, G. (2002). "Automatic Evaluation of Machine Translation Quality Using N-gram Co-occurrence Statistics." In Proceedings of the 2nd International Conference on Human Language Technology Research (HLT), pp. 138-145.

Fujita, M., Rzepka, R., and Araki, K. (2011). "Evaluation of Utterances Based on Causal Knowledge Retrieved from Blogs." In Proceedings of the 14th IASTED International Conference Artificial Intelligence and Soft Computing (ASC), pp. 294-299.

Gabriel, F., Pineau, J., Larchevêque, J.-M., and Tremblay, R. (2014). "Bootstrapping Dialog Systems with Word Embeddings." In NIPS, Modern Machine Learning and Natural Language Processing Workshop.

Jansen, P., Surdeanu, M., and Clark, P. (2014). "Discourse Complements Lexical Semantics for Non-factoid Answer Reranking." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (ACL), pp. 977-986.

Kawahara, D. and Kurohashi, S. (2006). "A Fully-Lexicalized Probabilistic Model for Japanese Syntactic and Case Structure Analysis." In Proceedings of Human Language Technology Conference - North American Chapter of the Association for Computational Linguistics Annual Meeting (HLT-NAACL), pp. 176-183.

Kingma, D. P. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In Proceedings
of the 3rd International Conference on Learning Representations (ICLR).

Kudo, T. and Richardson, J. (2018). "SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 68-71.

Li, J., Galley, M., Brockett, C., Gao, J., and Dolan, B. (2016). "A Diversity-Promoting Objective Function for Neural Conversation Models." In Proceedings of the 15th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 110-119.

Liu, C.-W., Lowe, R., Serban, I. V., Noseworthy, M., Charlin, L., and Pineau, J. (2016). "How NOT to Evaluate Your Dialogue System: An Empirical Study of Unsupervised Evaluation Metrics for Dialogue Response Generation." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2122-2132.

Luong, M.-T., Pham, H., and Manning, C. D. (2015). "Effective Approaches to Attention-Based Neural Machine Translation." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1412-1421.

Macherey, W., Krikun, M., Cao, Y., Gao, Q., Macherey, K., Klingner, J., Shah, A., Johnson, M., Liu, X., Kaiser, Ł., Gouws, S., Kato, Y., Kudo, T., Kazawa, H., Stevens, K., Kurian, G., Patil, N., Wang, W., Young, C., Smith, J., Riesa, J., Rudnick, A., Vinyals, O., Corrado, G., Hughes, M., and Dean, J. (2016). "Google's Neural Machine Translation System: Bridging the Gap Between Human and Machine Translation." In arXiv:1609.08144.

Mei, H., Bansal, M., and Walter, M. R. (2017). "Coherent Dialogue with Attention-Based Language Models." In Proceedings of the 31st Association for the Advancement of Artificial Intelligence Conference on Artificial Intelligence (AAAI), pp. 3252-3258.

Mikolov, T., Chen, K., Corrado, G., and Deany, J. (2013a). "Efficient Estimation of Word Representations in Vector Space." In Proceedings of the 1st International Conference on Learning Representations (ICLR).

Mikolov, T., Sutskever, I., Chen, K., Corrado, G., and Dean, J. (2013b). "Distributed Representations of Words and Phrases and Their Compositionality." In Proceedings of the 26th International Conference on Neural Information Processing Systems (NIPS), Vol. 2, pp. 3111-3119.

Mikolov, T., Yih, W.-t., and Zweig, G. (2013c). "Linguistic Regularities in Continuous Space Word Representations." In Proceedings of the 12th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 746-751.

Nakamura, R., Sudoh, K., Yoshino, K., and Nakamura, S. (2019). "Another Diversity-Promoting Objective Function for Neural Dialogue Generation." In Proceedings of the 33rd Association for the Advancement of Artificial Intelligence Conference on Artificial Intelligence, Workshop on Reasoning and Learning for Human-Machine Dialogues (DEEP-DIAL 2019) (AAAI).

Newman, D., Lau, J. H., Grieser, K., and Baldwin, T. (2010). "Automatic Evaluation of Topic Coherence." In Proceedings of the 11th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACLHLT), pp. 100-108.

佐藤祥多, 乾健太郎 (2018). 因果関係に基づくデータサンプリングを利用した雑談応答学習.言語処理学会第 24 回年次大会発表論文集 (ANLP), pp. 1219-1222. [S. Sato and K. Inui (2018). Inga Kankei ni Motozuku Deta Sanpuringu wo Riyo Shita Zatsudan Oto Gakushu. Proceedings of the 24th Annual Meeting of the Association for Natural Language Processing, pp. 1219-1222.].

Oh, J.-H., Torisawa, K., Hashimoto, C., Iida, R., Tanaka, M., and Kloetzer, J. (2016). "A Semisupervised Learning Approach to Why-Question Answering." In Proceedings of the 30th Association for the Advancement of Artificial Intelligence Conference on Artificial Intelligence (AAAI), pp. 3022-3029.

Oh, J.-H., Torisawa, K., Hashimoto, C., Sano, M., Saeger, S. D., and Ohtake, K. (2013). "Why-Question Answering Using Intra- and Inter-Sentential Causal Relations." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1733-1743.

Oh, J.-H., Torisawa, K., Kruengkrai, C., Iida, R., and Kloetzer, J. (2017). "Multi-Column Convolutional Neural Networks with Causality-Attention for Why-Question Answering." In Proceedings of the 10th Association for Computing Machinery International Conference on Web Search and Data Mining (WSDM), pp. 415-424.

Ohmura, J. and Eskenazi, M. (2018). "Context-Aware Dialog Re-ranking for Task-Oriented Dialog Systems." In Proceedings of IEEE Spoken Language Technology Workshop (SLT).

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: a Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 311-318.

Pennington, J., Socher, R., and Manning, C. D. (2014). "GloVe: Global Vectors for Word Representation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543.

Ram, A., Prasad, R., Khatri, C., Venkatesh, A., Gabriel, R., Liu, Q., Nunn, J., Hedayatnia, B.,

Cheng, M., Nagar, A., King, E., Bland, K., Wartick, A., Pan, Y., Song, H., Jayadevan, S., Hwang, G., and Pettigrue, A. (2018). "Conversational AI: The Science Behind the Alexa Prize." In arXiv:1801.03604.

Sasano, R. and Kurohashi, S. (2011). "A Discriminative Approach to Japanese Zero Anaphora Resolution with Large-Scale Lexicalized Case Frames." In Proceedings of the 5th International Joint Conference on Natural Language Processing (IJCNLP), pp. 758-766.

Serban, I. V., Sordoni, A., Bengio, Y., Courville, A., and Pineau, J. (2016). "Building End-To-End Dialogue Systems Using Generative Hierarchical Neural Network Models." In Proceedings of the 30th Association for the Advancement of Artificial Intelligence Conference on Artificial Intelligence (AAAI), pp. 3776-3783.

Shibata, T., Kohama, S., and Kurohashi, S. (2014). "A Large Scale Database of StronglyRelated Events in Japanese." In Proceedings of the 9th International Conference on Language Resources and Evalu ation (LREC), pp. 3283-3288.

Shibata, T. and Kurohashi, S. (2011). "Acquiring Strongly-Related Events Using PredicateArgument Co-occurring Statistics and Case Frames." In Proceedings of the 5th International Joint Conference on Natural Language Proce ssing (IJCNLP), pp. 1028-1036.

Sordoni, A., Bengio, Y., Vahabi, H., Lioma, C., Simonsen, J. G., and Nie, J.-Y. (2015). "A Hierarchical Recurrent Encoder-Decoder For Generative Context-Aware Query Suggestion." In Proceedings of the 24th Association for Computing Machinery International Conference on Information Knowledge and Management (ACM), pp. 553-562.

Tanaka, S., Yoshino, K., Sudoh, K., and Nakamura, S. (2019). "Conversational Response Reranking Based on Event Causality and Role Factored Tensor Event Embedding." In Proceedings of the First Workshop on NLP for Conversational AI, pp. 51-59, Florence, Italy. Association for Computational Linguistics.

Vinyals, O. and Le, Q. V. (2015). "A Neural Conversational Model." In Proceedings of the 32nd International Conference on Machine Learning, Deep Learning Workshop (ICML).

Weber, N., Balasubramanian, N., and Chambers, N. (2018). "Event Representations with TensorBased Compositions." In Proceedings of the 32nd Association for the Advancement of Artificial Intelligence Conference on Artificial Intelligence (AAAI), pp. 4946-4953.

Xu, P., Saghir, H., Kang, J. S., Long, T., Bose, A. J., Cao, Y., and Cheung, J. C. K. (2019). "A Cross-Domain Transferable Neural Coherence Model." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 678-687.

Yoshino, K., Tanaka, H., Sugiyama, K., Kondo, M., and Nakamura, S. (2018). "Japanese Dialogue Corpus of Information Navigation and Attentive Listening Annotated with Extended

ISO-24617-2 Dialogue Act Tags." In Proceedings of the 13th International Conference on Language Resources and Evaluation (LREC), pp. 2922-2927.

## 略歴

田中翔平：2018 年名古屋工業大学工学部工学創成プログラム学科卒業. 2020 年奈良先端科学技術大学院大学先端科学技術研究科博士前期課程修了. 2020 年より同大学院先端科学技術研究科博士後期課程に在学. 自然言語処理，特に 対話システムや事態間関係に関する研究に従事. The First Workshop on NLP for Conversational AI Best Paper Award 受賞. 言語処理学会, ACL 各会員.

吉野幸一郎：2009 年慶應義塾大学環境情報学部卒業. 2011 年京都大学大学院情報学研究科修士課程修了. 2014 年同博士後期課程修了. 日本学術振興会特別研究員 (PD), 奈良先端科学技術大学院大学情報科学研究科助教を経て, 2020 年より理化学研究所ロボティクスプロジェクト知識獲得・対話チームチーム リーダーおよび奈良先端科学技術大学院大学客員准教授. 京都大学博士（情報学)．音声言語処理および自然言語処理，特に音声対話システムに関する 研究に従事. 2013 年度人工知能学会研究会優秀賞, 2018 年度本学会論文賞, NLP4ConvAI2019 Best Paper Award, IWSDS2020 Best Paper Award 等受賞. IEEE, SIGDIAL, ACL, 情報処理学会, 言語処理学会, 日本ロボット学会各会員.

須藤 克仁：2000 年京都大学工学部卒業, 2002 年京都大学大学院情報学研究科修士課程修了. 同年日本電信電話（株）入社. 2015 年京都大学博士（情報学)。2017 年より奈良先端科学技術大学院大学准教授, 現在に至る。2018 年 より理化学研究所革新知能統合研究センター客員研究員, 科学技術振興機構 さきがけ研究者を兼務．機械翻訳を中心とする自然言語処理および音声言語処理の研究に従事. 言語処理学会, 情報処理学会, 日本音響学会, 人工知能学会, ACL 各会員.

中村 哲：1981 年京都工芸繊維大学工芸学部電子工学科卒業. 京都大学博士 (工学)。シャープ株式会社. 1994 年奈良先端科学技術大学院大学助教授, 1996 年米国 Rutgers 大学客員教授 (文科省在外研究員)，2000 年 ATR 音声言語コ ミュニケーション研究所室長, 2005 年所長, 2006 年（独）情報通信研究機構音声コミユニケーション研究グループリーダ, 2010 年研究センター長, けい はんな研究所長などを経て, 2011 年奈良先端科学技術大学院大学情報科学研究科教授, 2017 年データ駆動型サイエンス創造センター長, 2017 年理化学研究所革新知能統合研究センター観光情報解析チームリーダー. 2003 年から

カールスルーエ大学客員教授. 音声翻訳, 音声対話などの音声言語情報処理,自然言語処理の研究に従事. 電子情報通信学会論文賞, AAMT 長尾賞, 日本音響学会技術開発賞, 人工知能学会研究会優秀賞, 情報処理学会喜安記念業績賞, 総務臣表彰, 文部科学大臣表彰, Antonio Zampoli 賞受賞, ドコモモバ イルサイエンス賞, IBM Faculty Award, Google AI Focused Research Award 等受賞. ISCA 理事, IEEE SLTC 委員を歴任. ATR フェロー, 情報処理学会 フェロー, IEEE フェロー. ISCA フェロー.


# 学会記事
## 理想のフレーズアラインメント手法を求めて

\author{
荒瀬 由紀 $\dagger$
}

## 1 フレーズアラインメント問題

フレーズアラインメントとは，文対中に存在するフレーズ単位のパラフレーズの対応関係を 特定する技術である。フレーズアラインメント技術の応用範囲は広く，単一言語内で用いれば パラフレーズや含意関係の認識，機械読解，また自動採点に応用できる．多言語間で用いれば，機械翻訳における対訳知識抽出や翻訳品質推定に応用できる。

フレーズアラインメントにはフレーズとして任意の $n$-gram を用いるもの (e.g., (Ouyang and McKeown 2019)) と, 文の句構造に準拠した階層的なフレーズを用いるもの (e.g., (Burkett et al. 2010)）がある．チャンクベースの手法と階層的フレーズを用いる手法の利点・欠点は表裏一体 の関係にある。チャンクベースのアラインメントの魅力は句構造に縛られない柔軟性である.特に多言語間でのフレーズアラインメントにおいては, 各言語における句構造が異なることも 珍しくない。チャンクベースの手法はアラインメントが取れる部分フレーズを抽出するため,句構造によってアラインメントが阻害される心配がない。その反面，抽出されるフレーズに文法的制約がないため， eating an <-> who is eating theのように応用において有益とは言 い難いフレーズアラインメントが多数抽出されることになる。一方，階層的なフレーズアライ ンメントでは，抽出されるフレーズアラインメントは文法的な句であるため, a girl eating an apple <-> a lady who is eating the appleのようなアラインメントが獲得でき, かつ アラインメントから文法構造を用いて a NP eating NP <-> a NP who is eating NP のよう なルールを容易に抽出できる。また構文構造は様々な応用タスクで利用されるが (e.g., (Socher et al. 2013) や (Tai et al. 2015)), そのようなモデルとも相性が良い. 反面，アラインメントが句構造によって制限されるため, a little girl holding a tabby cat with a long tail とa tabby cat in the arms of a young girl has a long tailのように句構造が異なるフレー ズをアラインメントする際に，柔軟性を維持するための工夫が必要になる（そしてそれは簡単 でない).

## 2 Compositional Phrase Alignment and Beyond

我々の論文 (Arase and Tsujii 2020) では, 句構造に準拠した階層的なフレーズのアラインメ ント技術を提案している。句構造に準拠したフレーズアラインメント問題について，もう少し 整理する。フレーズアラインメントは一般的に，compositional に生成される。つまり構文木に おいて，(1)あるノード対のアラインメントは，それぞれの子（もしくは子孫）ノードのアラ インメントによって決まる。ただし，（2）アラインする子ノードの順序はそれぞれの文（木構造）で一致するとは限らない。また，(3) アラインメントを持たないケースも存在する。さらに compositionality の制約を外れ, 長距離のフレーズ移動が起こるケースが存在することが指摘さ れてきた (Heilman and Smith 2010).

図 1 にフレーズアラインメントの例を示す。木構造がそれぞれの文の句構造を表し，各ノー ドがフレーズに対応する。 以降では便宜上, 肩付きの $s, t$ はそれぞれアラインメントの source, target を示す. 色の対応がフレーズアラインメントを示し，無色のノードはアラインメントを持 たないことを示す. 例えば, オレンジのノード対 $\left.\langle\tau_{4}^{s}, \tau_{4}^{t}\right.\rangle$ は antivirus vaccines <-> vaccines against the virus というフレーズペアがパラフレーズであることを示しており，その親ノー ドである緑のノード対 $\left.\langle\tau_{2}^{s}, \tau_{2}^{t}\right.\rangle$ は子ノードであるオレンジ $\left.\langle\tau_{4}^{s}, \tau_{4}^{t}\right.\rangle$, 水色 $\left.\langle\tau_{5}^{s}, \tau_{5}^{t}\right.\rangle$ それぞれのノー ドのアラインメントによって compositional に構成されている. オレンジのノードペア $\left.\langle\tau_{4}^{s}, \tau_{4}^{t}\right.\rangle$ について, 左右の子のアラインメント $\left.\langle\tau_{6}^{s}, \tau_{6}^{t}\right.\rangle,\left.\langle\tau_{7}^{s}, \tau_{7}^{t}\right.\rangle$ は逆順になっている（(2)の特性).一方で, 青色のアラインメント $\left.\langle\tau_{1}^{s}, \tau_{1}^{t}\right.\rangle$ は緑のアラインメント $\left.\langle\tau_{2}^{s}, \tau_{2}^{t}\right.\rangle$ に対し compositionality を 満たさない．なぜなら， $\tau_{1}^{t}$ と $\tau_{2}^{t}$ は兄弟であるのに対し， $\tau_{1}^{s}$ と $\tau_{2}^{s}$ は兄弟でない. つまり， $\tau_{1}^{s}$ は $\tau_{2}^{s}$ の親ノードの支配するスパンの外側に位置している。このように composionality を満た

図 1 フレーズアラインメントの例

さないフレーズアラインメントは曲者で, 子ノードのアラインメントからアラインメント先を 絞り达むことができないため，文全体から対応するフレーズを探す必要がある.

本論文は，このようなフレーズアラインメント問題に真正面から取り組んたもので，二つの 貢献を持つ。一つ目は, compositional なフレーズアラインメント問題を定式化し, 無順序木 に対する編集距離の一種である制限距離 (Zhang 1996) アルゴリズムを用いることで，フレー ズアラインメントの最適な組み合わせを多項式時間で求める手法を提案した点である。二つ目 は，フレーズ間の類似度推定の鍵となる，フレーズ表現手法を提案した点である。上述の通り， compositionality を満たさないフレーズアラインメントにおいては, 文全体からアラインメン 卜候補を探す必要がある。この問題のユニークさは, フレーズのアラインメントの尤もらしさ は，対象とするフレーズペアの類似度だけでは決められない点にある。つまり，あるフレーズ $\tau_{i}^{s}$ が $\tau_{i}^{t}$ と高い類似度を持っていたとしても， $\tau_{i}^{t}$ により高い類似度をもつぺア $\tau_{j}^{s}$ があれば，ア ラインメント $\left.\langle\tau_{i}^{s}, \tau_{i}^{t}\right.\rangle$ は成立しない。そこでそれぞれの文対に含まれる単語間類似度の分布に より文全体のグローバルな類似度の分布を近似し, 事前学習済みモデルである BERT (Devlin et al. 2019) から獲得するフレーズ表現に反映するアプローチを用いた。文全体での類似度の分布を反映したフレーズ表現によってフレーズ間の類似度を求め, compositionality を満たさない フレーズアラインメントをヒューリスティックによって特定するよう, 制限距離アルゴリズム を拡張している.

フレーズアラインメントは主観的な意味の一致度合いに基づいて決まるものであり，訓練さ れた人間であっても，複数人で $100 \%$ 一致するアライメントを行うのは難しい. 提案手法は人間によるアラインメントの一致と比較して, $95.7 \%$ という高い性能を示している.

本論文で構築した， 1,916 のパラフレーズ文対に構文木およびフレーズアラインメントのアノ テーションを行ったデータセット (Extended Syntactic Phrase Alignment DAtaset (ESPADA)) が Linguistic Data Consortium より 2021 年初にリリース予定である。評価用データセットであ る Syntactic Phrase Alignment Dataset for Evaluation (SPADE) 1 と合わせて利用することで,教師あり学習モデルの訓練および評価が行えるようになっている.

## 3 論文ができるまで

本フレーズアラインメント手法の原型は 2017 年に発表しており (Arase and Tsujii 2017), 今回はその発展形である。その顛末について, ここで少しお話ししたい.
^{1}$ https://catalog.ldc.upenn.edu/LDC2018T09
}

## 3.1 既存手法ともやもや

2017 年版の手法は CKY アルゴリズムをベースとしてボトムアップに compositional なフレー ズアラインメントを特定するものであった．動的計画法を用いているとはいえ，どのフレーズ ともアラインメントしないケース (2 章で述べた (3)) を許容するのと, compoitilonality を満た さないものについては CKYテーブルを遡ってアラインメントを許容するか否かを決定するとい う機構のため，アライメント候補も計算量も増えてしまう，そのため実用的な時間でフレーズ アラインメントを得るには, $n$-best のアラインメントのみ保持するよう近似する必要があった.

しかし，である。「最適なアラインメントの組み合わせを実時間で求めるアルゴリズムは本当 にないのか？」というもやもやが頭から離れない，ありそうな気がする．正確には，この種の 問題を研究する分野がありそうな気がする。しかし答えに辿り着けないまま, 2 年の歳月が過 ぎた.

## 3.2 ブレイクスルー

この間, 私は ACT-I プログラム2にて, フレーズアラインメントを応用した BERTによる表現生成研究に取り組むことになる．ACT-Iには様々な分野の若手研究者が参画しており，領域会議が年に数回開催される。異分野の研究者とざっくばらんに議論ができる, 稀有な機会である.

BERT による表現生成研究がひと段落した (Arase and Tsujii 2019) 最終年度のとある領域会議で, 積年の疑問をぶつけてみた。「二つの木構造におけるノード間の対応候補から, 最適な組 み合わせを得るアルゴリズムはないでしょうか？」と．するとNTTコミュニケーション科学基礎研究所の石畠正和さん, 東京大学の大城泰平さんから意見をいただけたのである。両者と も離散構造処理のエキスパートという心強い味方だ.

良い知らせと悪い知らせが一緒にやってきた，良い知らせは, この問題は木編集距離の一種 であり，フレーズアラインメントの条件の一つである，子ノードの順序を制限しない（2 章で 述べた (2)）ケースは無順序木の編集距離に該当する，というものである。悪い知らせは，無順序木の編集距離は近似解すら存在しない MAX SNP-hard に属する，というものであった.

ずっともやもやしていた問題の正体が分かった高揚感と，近似解すら存在しないという絶望感を抱えながら家路についた，大学に戻り，改めて無順序木における編集距離問題について調査してみた。その結果，制約を加えた無順序木編集距離である制限距離は多項式時間可解であ り，そしてその制約はフレーズアラインメントの条件（2 章で述べた (1)）と自然に一致するこ とが分かったのである.

制限距離アルゴリズムを用いることで，2017 年の手法を大きく上回るフレーズアラインメン ト性能を達成することができた。Compositional なアラインメントについて最適な組み合わせ
^{2}$ https://www.jst.go.jp/kisoken/act-i/index.html
}

を求められるという性能保証は応用においても重要であり, 何より気持ちがいい.

## 4 今後の展開

文対に含まれるフレーズのパラフレーズ関係を特定するフレーズアラインメントは，意味関係のモデル化を可能とする技術であり，1 章で述べたように自動採点や機械翻訳の品質推定な ど様々な応用を持つ．文中に含まれるパラフレーズ関係を明示的に特定するため，人間にとっ て解釈が容易という利点もある。

今後は開発したフレーズアラインメント技術をこれら応用タスクに適用する予定である。自動採点のように，パラフレーズとなるフレーズが僅かしか存在しないと考えられるタスクでフ レーズアラインメントを用いるには，フレーズ間の類似度推定の重要度が増すと考えられ，更 なる改善が必要である。また機械翻訳の品質推定のように言語をまたぐタスクに適用するには,句構造の違いにロバストなアラインメントを実現しなければならない. 木でなく森のアライン メントを実現する, さらには構文解析器に依存しないチャンクでのアラインメントを可能とす るよう，手法の拡張に取り組んでいきたい.

## 参考文献

Arase, Y. and Tsujii, J. (2017). "Monolingual Phrase Alignment on Parse Forests." In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1-11.

Arase, Y. and Tsujii, J. (2019). "Transfer Fine-Tuning: A BERT Case Study." In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5392-5403.

Arase, Y. and Tsujii, J. (2020). "Compositional Phrase Alignment and Beyond." In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1611-1623, Online.

Burkett, D., Blitzer, J., and Klein, D. (2010). "Joint Parsing and Alignment with Weakly Synchronized Grammars." In Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 127-135, Los Angeles, California. Association for Computational Linguistics.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the Annual Conference of the North American Chapter of the Association for Computational Linguistics:

Human Language Technologies (NAACL-HLT), pp. 4171-4186.

Heilman, M. and Smith, N. A. (2010). "Tree Edit Models for Recognizing Textual Entailments, Paraphrases, and Answers to Questions." In Proceedings of the Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 1011-1019.

Ouyang, J. and McKeown, K. (2019). "Neural Network Alignment for Sentential Paraphrases." In Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), pp. 4724-4735.

Socher, R., Perelygin, A., Wu, J., Chuang, J., Manning, C. D., Ng, A., and Potts, C. (2013). "Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank." In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1631-1642.

Tai, K. S., Socher, R., and Manning, C. D. (2015). "Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks." In Proceedings of the Joint Conference of the Annual Meeting of the Association for Computational Linguistics and the International Joint Conference on Natural Language Processing (ACL-IJCNLP), pp. 1556-1566.

Zhang, K. (1996). "A Constrained Edit Distance between Unordered Labeled Trees." Algorithmica, 15 (3), pp. 205-222.

## 略歴

荒瀬由紀：2006 年大阪大学工学部電子情報エネルギー工学科卒業. 2007 年同大学院情報科学研究科博士前期課程, 2010 年同博士後期課程修了. 博士（情報科学)．同年, Microsoft Research Asia に入社, 自然言語処理に関す石研究開発に従事. 2014 年より大阪大学大学院情報科学研究科マルチメディア工学専攻准教授, 現在に至る。言い換え表現抽出, 機械翻訳技術, 対話システ 么研究に興味を持つ.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/