# Quality of Life 情報の伝達補助を目的とする対話応答候補生成

赤間 怜奈 $\dagger \cdot$ 徳久 良子 ${ }^{\dagger \dagger} \cdot$ 乾 健太郎 ${ }^{\dagger,+\dagger \dagger}$
}

我々は, 高齢者の Quality of Life (QOL) を家族に伝えることで，高齢者と離れて住 む家族とのコミュニケーションを活性化することを目指している．高齢者の QOL 表出発話（高齢者の QOL を推定するのに有用な手がかりを含んだ発話）の生成を 補助するシステム構築に向けて, 本論文では (1) QOL ラベルつき対話コーパスを構築するための方法論を提案し, (2) QOL ラベルを用いた特定の QOL 情報を伝達す る応答の生成について議論する。具体的には，模擬的なワーカを用いることの妥当性を予備実験により示した上で，クラウドソーシングを効果的に利用して高齢者が 主体となる高齢者の QOL 表出発話を大規模に収集し, QOL ラベルつき対話コーパ スを構築した。構築したコーパスを用いた応答生成実験により,「着くとすぐに本 を読んでいるよ」のような家族の発話に対する高齢者の応答候補として, 高齢者の QOL が《健康満足感 (positive)》の場合は「今度本を読んであげよう」, 《健康満足感 (negative)》の場合は「私は新聞を読むのも億劫だよ」など, QOL 情報の伝達に 役立つ応答が生成されることを確認した。

キーワード：QOL, 対話, 応答生成
## Generating Candidate Responses for Supporting Human-to-human Communication of Quality of Life

\author{
Reina Akama ${ }^{\dagger}$, Ryoko Tokuhisa ${ }^{\dagger \dagger}$ and Kentaro Inui ${ }^{\dagger, \dagger \dagger \dagger}$
}

We aim to build a system to improve the quality of communication between elderly individuals and their families by sharing information about the elderly members' quality of life (QOL). As the first step in the creation of a system to generate utterances containing information on QOL, we propose a methodology for building a QOL-labeled dialog corpus and discuss the generation of responses that transmit specific QOL information using QOL labels. To build the corpus, we conducted preliminary experiments to demonstrate that certain crowd workers provide responses that are indistinguishable from those given by elderly individuals. Based on this, we constructed a large-scale QOL-labeled dialog corpus using crowdsourcing effectively. Our response generation experiments using the constructed corpus demonstrated that the generated utterances can be useful in transmitting QOL information. For example, the prompt "She reads a book as soon as she gets home" generated the response

"I'll read her a book next time" in case of the QOL label is 《health satisfaction (positive)》 or "Even reading the newspaper is difficult for me" in case of 《health satisfaction (negative)》.

Key Words: Quality of Life, Dialog, Response Generation

## 1 序論

世界的に高齢化が進む中，高齢者の社会からの孤立は特に深刻な課題である。内閣府の調査 では, 65 歳以上の高齢者のうち夫婦または単身で生活している高齢者の割合は $56.9 \%$, 子ど も世代と同居している高齢者の割合の $39 \%$ に比べて高くなっている (内閣府 2017). また, 60 歳以上を対象にした「対面だけではなくメールや電話も含めてどのぐらいの頻度で他者と対話す るか」という調査では，一人暮らしの高齢者のうち男性では $7.5 \%$, 女性では $4.9 \%$ が週に 1 度以下しか他人と会話しないという結果が出ている (内閣府 2015).

このような社会的な背景から, 高齢者の話し相手となる対話システムの研究が盛んにおこな われており，高齢者の話を聴く傾聴対話システム (Lala, Milhorat, Inoue, Ishida, Takanashi, and Kawahara 2017; 下岡, 徳久, 吉村, 星野, 渡部 2017) や, 高齢者の孤独を和らげるシステム (Sidner, Bickmore, Rich, Barry, Ring, Behrooz, and Shayganfar 2013)など，話題を限定せずに 高齢者と自然に対話できるシステムが提案されている. このような対話システムが人の代わり に高齢者と対話することで，高齢者の孤独を紛らわせることができるかもしれないが，高齢者 と他者とのコミュニケーションが不足しているという本質的な課題は解決できない.

一方, 老年学や老年医学では, 高齢者の健康状態の理解やケアのあるべき姿が研究されており, Quality of Life (QOL) という概念が注目されている，QOL とは，高齢者の健康状態を肉体的・精神的・社会的な側面から多面的に評価するための尺度である。高齢者の健康状態を QOL でと らえることにより，肉体的な状態だけでなく高齢者の感情や状況などを評価することで，高齢者に合ったケアが実現できると報告されている (Vaarama 2009; Hellstörm and Hallberg 2001). また, ICT を活用して高齢者の心身状況を家族や介護士などと共有する仕組みに関する実証も 進められている (内山，宮川 2006)。この研究の中で，内山らは，介護における関係者間のコ ミュニケーションモデルのあり方について「関係者間にヒエラルキがあると，気後れや遠慮な どのために自由な意思に基づくコミュニケーションが阻害される。医療における医者－患者モ デルはその典型とされているが，介護にもコンシューマ（利用者）-サービス提供者間，また 家庭内でも家族－本人間で必ずしも対等でない関係が存在し，さらに立場の相違からくる見解 の相違が存在する。そうした中で納得や信頼を醸成するには，立場の上下のない，水平型のコ ミュニケーションが必要となる.」と述べている。このことから，高齢者と家族とができるだけ 対等な立場で高齢者の QOL を共有することは重要な要素である．高齢者の QOL を共有する方
法として, 家族から高齢者に対しQOL に関する質問を投げかけるという方法も考えられるが,家族の質問の仕方によっては内山らの指摘する「上下関係」を発生させる可能性がある。そこ で我々は，高齢者と離れて住む家族との日常的なコミュニケーションを通じて自然に高齢者の QOL を家族へ伝えることで，高齢者と家族とのコミュニケーションの質の向上と，活性化を実現するようなシステムの構築をすすめている (徳久, 寺嶌, 乾 2019). 図 1 に, 我々が目標とす る高齢者と家族との対話例を示す. 図 1 (A)の「かわいいね.」は応答としては適切であるが,高齢者の QOL は娘へ伝わらない。一方で図 1 (B)の「でも私は最近肩こりで頭痛がするから無理だ.」は高齢者の QOL を表出する応答であり，これにより高齢者の QOL（ここでは健康状態が良くないこと）が娘に伝わったことで「大丈夫？連休には帰るから肩もみするね.」という QOL に配慮した娘の発話が誘発されている.

我々は以前の研究で，家族と高齢者とのメールのやりとりを対象として，

（1）QOL 表出発話（高齢者の QOL を推定するのに有用な手がかりを含んだ発話）とはどの ような特徴を持つ発話か

（2）システムの支援のない状態で QOL 表出発話がどのようにやりとりされていて，システ ムはどんな支援をすべきか

を分析した (徳久他 2019). その結果, 上記の (1) については, 高齢者が主体となり高齢者の行動や状態を表す発話が高齢者の QOL 表出発話になりやすいことが明らかとなった．また，上記の (2) については，家族からのメールに対する高齢者の返信のうち $85.7 \% （ 3,574$ 発話中 3,064 発話）が家族が主体となる発話（e.g. かわいいね.）で，高齢者が主体となる発話（e.g. 私は 最近肩こりで頭痛がするから無理だわ.）はわずか $6.4 \% （ 3,574$ 発話中 229 発話）であることが

## （A）通常の対話（QOL表出発話を含まない対話）

（B）目標の対話(QOL表出発話を含む対話)

図 1 (A) 通常の対話と (B) 本研究の目標の対話

図 2 QOL 表出発話を誘発するための返信補助システム。「返信候補」から返信を選択すると，「返信メッ セージ」に選択した内容が入力される。返信候補の中に高齢者の所望する候補がない場合は，高齢者が自分で返信を記述したり，返信候補を編集することもできる。上記は「かわいいね.」と「折 り紙を見つけたら買って送るね.」という返信候補が選択された様子を示している。

明らかとなった 1 .この結果を受けて，高齢者が主体となり自らのQOL を伝達するような返信 を生成することを，システムにより補助することを考える，具体的には，図 2 のように，「私も やってみようかな.」「折り紙を見つけたら買って送るね.」「でも私は最近肩こりで頭痛がする から無理だわ.」といった高齢者が主体となる QOL 表出発話を応答のヒントとして高齢者に提示することで，高齢者を刺激し，システムの支援のない状態では記述されない高齢者の QOL 表出発話を誘発するような返信補助システムを目指している。本システムは，高齢者と家族との 過去のコミユニケーションで家族に伝達されていない QOL カテゴリおよび家族が特に知りた がっている QOL カテゴリに関する QOL 表出発話を優先的に返信候補として提示することで，高齢者の QOL を家族への伝達を補助する役割を果たすものと想定している．たとえば，過去 のコミュニケーションで経済的な情報がやりとりされていない場合は高齢者の経済的な余裕の 有無がわかるような QOL 表出発話を返信候補として提示し，家族が高齢者の健康状態を知り たがっている場合には健康状態に関するQOL 表出発話を提示する。できるだけ文脈にあった 候補を提示することは，システムの支援がない状態では家族に伝えられない高齢者の QOL 表

出発話を誘発できる可能性が高くなると考える.

本研究では, このようなシステムの構築に向けて, QOL 表出発話候補の生成を試みる。本論文で述べる貢献は以下の 2 点である.

（1） 大規模な QOL ラベルつき対話コーパスの構築に向けて，高齢者が主体となる高齢者の QOL 表出発話を大規模に収集するためのコーパス収集方法を提案する。提案するコーパ ス収集に関してふたつの予備実験を実施し，a) 本論文で提案するコーパス収集の方法の 有用性を示すとともに，b) 本論文で提案するコーパス収集の方法でも 40 代・50 代のク ラウドワーカから模擬的に高齢者の発話を収集できることを示す.

（2） 構築した QOL ラベルつき対話コーパスを用いて，QOL ラベルにより特定の QOL 情報 を伝達するように制御しながら，高齢者の QOL を伝達する応答を生成する。これによ り，近年提案されている条件付き文生成技術がどの程度適切な QOL 表出発話が生成でき るか，また返信補助システムの実現に向けて残る技術的な課題は何か，を明らかにする.

## 2 QOL ラベルつき対話コーパスの構築

## 2.1 QOL ラベルつき対話コーパス構築のための予備実験

## 2.1.1 予備実験 1 ：高齢者が主体となる QOL 表出発話の収集

図 2 のようなシステムにおいて QOL 表出発話の候補を生成するために，まずはじめに高齢者 の返信として想定する高齢者が主体となる QOL 発話からなるコーパスを構築したい. このと き，構築するコーパスはできるだけ規模が大きく質が高いことが望ましい.しかし，前述した 通り，家族からのメールに対する高齢者の返信は，特別なコントロールのない状態では家族が

ら明らかとなっている (徳久他 2019). したがって，高齢者が主体となる QOL 表出発話を大規模に収集するためには適切な教示が必要と考えられる。そこで，本論文では，図 3 に示す設問 2 と，図 4 に示すチェック設問 3 とを用いた教示を提案する。図 3 の『注意事項 1 :「私は」「おじ いちゃんは」などを主語にして，「高齢者の行動や状態や感情を表す返信」を 1 文で書いてくた さい.』は，高齢者が主体となる QOL 表出発話を記述させるための教示である. この教示は,以前の我々の分析 (徳久 他 2019) で，QOL 表出発話である発話には高齢者の行動や状態を表す

図 3 高齢者が主体となる QOL 表出発話を収集するための設問

発話が多いという特徴が明らかになったことから設計した。 さらに, 図 4 に示すチェック設問 を用いて, クラウドワーカが教示内容を理解しているかどうかを確認する。チェック設問を活用してタスクを教示することで，夕スクを正しく理解したクラウドワーカの回答のみを採用す ることができる.

本論文で我々が提案したコーパス収集方法の有用性を評価するため，提案方法により実際に 高齢者が主体となる QOL 表出発話が収集できるかどうかを確かめる。具体的には，以前の分析 (徳久 他 2019) で用いたメールと同じ 6 通のメール（表 1 ）を用いて, 図 3 および図 4 に示

図 4 高齢者が主体となる QOL 表出発話を収集するためのチェック設問

す方法で発話を収集する。クラウドワーカは 40 代・ 50 代 382 名（男性 187 名，女性 195 名）4 である。なお，クラウドワーカの年齢は，クラウドソーシング５のプロフィールにより確認し た. 収集された発話に対してアノテータ 6 が表 2 に示す主体タグを付与した。また，ひとつの 応答に複数の発話が含まれる場合は，それぞれの発話に対して主体夕グを付与した ${ }^{7}$. 結果を 図 5 に示す. 図 5 の「コントロールなし」は以前の我々の分析結果で, 図 5 の「提案手法によ るコーパス収集」は本論文で提案したコーパス収集方法（図 3 および図 4 ）により発話を収集し た結果である。図 5 が示す通り，以前の我々の分析では高齢者が主体となる発話は $6.4 \%(3,574$発話中 229 発話）であったのに対し，本論文で提案したコーパス収集方法を適応した場合には 89.2\%（4,717 発話中 4,207 発話）まで増加した。このことから，本論文で提案した教示を用い たコーパス収集は，高齢者が主体となり高齢者の行動や状態を表す発話が収集に効果的である ことが示された.

表 1 予備実験に用いた家族からのメール

 & 最近娘は切り絵にはまっているの. \\

表 2 主体夕グの定義

 & かわいいね \\

図 5 予備実験 1 ：収集した発話の主体夕グの割合

## 2.1.2 予備実験 2 : 実際の高齢者の発話と高齢者を模擬した 40 代・50 代の発話の比較

大量の発話データを収集する方法として, クラウドソーシングを用いる方法が多くの研究で 採用されている (Callison-Burch, Ungar, and Pavlick 2015). しかし, 高齢のクラウドワーカが 十分に存在しないことから，クラウドソーシングで高齢者の発話データを大量に収集すること は容易ではない，我々は，以前の研究で 65 歳以上のクラウドワーカから収集した発話と 40 代・ 50 代 8 のクラウドワーカから収集した発話を比較し，第三者がこれらの発話を識別することが 困難であることを示した (徳久他 2019). この結果は，高齢者の代わりに高齢者を模擬した 40 代・50 代のクラウドワーカを用いることで，大規模なコーパスが収集できる可能性が示唆して いる. しかし, 図 3 のように教示が複雑になった場合でも， 65 歳以上の高齢者から収集した発話と 40 代・50 代から収集した発話が類似するかどうかは明らかではない. 特に, 高齢者の行動 や状態や感情を記述するという指示について, 40 代・50 代が高齢者のことを十分模擬して発話 を記述できるかどうかは明らかでない。 そこで我々は，これらを明らかにするため，以下のふ たつのグループに対して予備的な発話収集を行い，両者の違いについて分析する.

Group A: 一般の 65 歳以上の男女 10 名（男性 3 名，女性 7 名）を対象に発話を収集する。発話収集に参加した高齢者の年齢と性別を表 3 に，実施風景を図 6 に示す. 収集は高齢者 の自宅で実施し，年齢は本人に直接対面して確認した。なお，キーボードが利用できな い高齢者がいたことと，オペレータを介さずご自身の言葉で回答していたたくため，設問を紙に印刷して収集を行う。また，夫婦で回答する場合は，お互いに話し合わずに独

表 3 Group A（一般の 65 歳以上の男女 10 名）の年齢と性別

図 6 Group A の発話収集の実施風景. 左の写真は 67 歳女性と 72 歳男性, 右の写真は 71 歳女性と 71 歳男性である. 実験に参加した 10 名のうち, 最年少は 65 歳女性, 最高齢は 89 歳男性であった.

立に発話を記述するよう指示した，発話収集に参加した高齢者は，図 3 に示すように， ひとつのメールに対してポジティブとネガティブの返信を記述する。表 1 に示す 6 通の メールに対する返信を図 3 の設問を用いて，高齢者ひとりあたり 12 個の応答， 10 名で合計 120 個の応答を収集した。

Group B：2.1.1 項の予備実験 1 を実施した 40 代・ 50 代のクラウドワーカ 382 名から, 男女 10 名（男性 3 名，女性 7 名）を無作為に選んで 40 代・ 50 代のクラウドワーカの発話と して利用する。男女の比率は Group Aにそろえた。表 1 に示す 6 通のメールに対する返信を図 3 の設問を用いて, 各クラウドワーカあたり 12 個の応答, 10 名で合計 120 個の応答を収集した。

Group A と Group B から収集した発話の一部を表 4 と表 5 に示す. 表 4 は表 1 のメール 1 に 対する返信で，表 5 は表 1 のメール 2 に対する返信である.

収集したこれらの発話を一対比較にし，発話収集に参加したクラウドワーカとは別のクラウ ドワーカが「実際の高齢者が書いた発話」を正しく識別できるかどうかを調べた。図 7 に一対比較の画面を示す。返信 $\mathrm{A}$ と返信 B のどちらに「実際の高齢者の発話」を対応させるかはラン ダムとし，各設問に対して 3 名のクラウドワーカが独立に評価した。結果を図 8 に示す. 図 8 の「正解」は返信 A と返信 B のどちらが実際の高齢者の発話かを正しく判断できたクラウド ワーカの数を，「不正解」は正しく判断できなかったクラウドワーカの数を，「わからない」は 図 7 の一対比較で選択肢「実際の高齢者が書いた返信は，返信 $\mathrm{A}$ と返信 B のどちらか分からな い」を選択したクラウドワーカの数を示す。実際の高齢者の発話を正しく回答できたのは $39.2 \%$ （3,600 発話中 1,411 発話）であり, 不正解の回答数と大きな差がないことから,「実際の高齢者

表 4 メール 1 に対する Group A と Group B の返信の一部

表 5 メール 2 に対する Group A と Group B の返信の一部

Group A の発話（65 歳以上の高齢者から収集した発話）

私も，あなたと一緒に結婚記念日には一緒にケーキを作った事を思い出したわ.

私もシャンパンでも買って来よう。

私は 6 月が結婚記念日なので今年はケーキでも作ろうかな.

私も参加したかったよ.

私はそちらに行けないからお祝いできなくてごめんね.

私は老いて，皆を記念日に招んであげられないことが悲しい。

Group B の発話（40 代・50 代のクラウドワーカが高齢者を模擬して書いた発話）

私も，久しぶりにケーキ作りしてみようかしら。

私も一緒に食べたいなあ。

私もお祝いにお寿司を作ってあげるよ.

私も一緒にお祝いできなくて残念です。

私は体調が悪くて何もしてあげられないわ.

おばあちゃんもプレゼントを送ってやりたいけど，打金が無くてごめんね.

図 7 一対比較の画面の例。返信 $\mathrm{A}$ と返信 $\mathrm{B}$ のどちらに実際の高齢者の発話を対応させるかはランダム とした。上記の例では，返信 A は Group A（65 歳以上の実際の高齢者）が書いた発話で返信 B は Group B（40 代・50 代のクラウドワーカが高齢者を模擬して書いた発話）である.

が書いた発話」と「40 代・50 代のクラウドワーカが高齢者を模擬して書いた発話」の識別は困難であったと考えられる。

また，高齢者の行動や状態や感情を記述するという指示について両者が記述した内容に違い があるかどうかを調べるため, Group A と Group B の発話を行動・状態・感情とに分類した. ひとつの応答に複数の発話が含まれる場合は, それぞれの発話を行動・状態・感情に分類した。 また, ひとつの発話に複数の内容が含まれる場合は，「行動＋感情」のように複数の夕グを付与 した。結果を図 9 に示す。図 9 が示す通り，行動・状態・感情の割合に顕著な差は確認されな かった.

これらの結果から，本論文で提案したコーパス収集方法は， 65 歳以上の高齢者の発話と類似 の発話が 40 代・50 代のクラウドワーカから収集できることが示唆された. 40 代および 50 代の クラウドワーカであれば十分な数が存在するため, 40 代および 50 代のクラウドワーカから疑似的に高齢者の発話を収集することにより, クラウドソーシングを用いて 65 歳以上の高齢者の発

図 8 実際の高齢者の発話と 40 代・50 代のクラウドワーカが高齢者を模擬して書いた発話の一対比較に よる識別の評価結果

図 965 歳以上の高齢者の返信と 40 代・50 代のクラウドワーカが高齢者を模擬した返信の内容の比較
話を大規模に収集できると考えられる。次節では，本節で得られた知見を用いた大規模な QOL ラベルつき対話コーパスの構築について論じる.

## 2.2 QOL ラベルつき対話コーパスの構築

2.1 節では, QOL ラベルつき対話コーパス構築における高齢者の発話収集について述べた。本節では，QOL ラベルつき対話コーパスの構築の全体の手順について説明する。我々の提案す る QOL ラベルつき対話コーパスの構築手順を以下に示す.

手順 1. 家族の発話収集： 両親と離れて住む 40 代および 50 代のクラウドワーカから家族の発話を収集する。クラウドワーカには，自分の両親にメールを書くつもりで $2 \sim 3$ 文で発話 を書くよう教示した。なお，予備調査の際，クラウドソーシングを実施する時期と収集 される発話の話題に偏りが見られたため，さまざまな話題に関する発話を収集すること を目的として「子どもの学芸会について，日常の家事について，花見について，紅葉狩 りについて」など，さまざまな季節や場面をこちらから指定し，クラウドワーカは指定 された話題のメールを記述した。

手順 2. 高齢者の発話収集：手順 1 で収集したさまざまな話題の家族からのメールを 1 文ずつ に分割した上で， 2.1 節で述べた方法で 40 代および 50 代のクラウドワーカから高齢者 の発話を模擬的に収集する。図 3 に示す通り，クラウドワーカは各メールに対してポジ ティブな返信とネガティブな返信を記述する。クラウドワーカへの教示は以下の 4 点で ある。

(1)「私は」「おじいちゃんは」「おばあちゃんは」など9を主語にして，「高齢者の行動や状態や感情を表す返信」を 1 文で書く。

(2)「家族からのメール」の指定された発話の内容にあった返信を書く。

（3）あなたの父親もしくは母親がこのメールを受け取った設定で，あなたの父親もし くは母親のつもりで返信を書く.

(4) ポジティブとネガティブを間違えないようにする.

2.1.1 項で述べた通り，上記の 4 点の教示はタスク実施時（図 3）と，チェック設問（図 4) でクラウドワーカに提示する。チェック設問を用いてタスクの内容を説明することで， タスクを正しく理解できたクラウドワーカのみを採用できると考えられる。 な打，図 4 に示すようなチェック設問を複数用意し，クラウドワーカひとりあたり 3 問のチェック 設問を提示した。

手順 3. QOL ラベル付与：手順 2 で収集した高齢者の発話に対して，3名のクラウドワーカ

表 6 QOL ラベルと定義

 \\

が独立に表 6 に示す QOL ラベルを付与した ${ }^{10}$. これらのラベルは太田らの QOL の 6 項目の尺度（生活活動力，健康満足感，人的サポート満足感，経済的ゆとり満足感，精神的健康，精神的活力）をもとに定義したものである (太田，芳賀，長田，田中，前田，获崎，関，大山，中西，石川 2001)。太田らは，65 歳以上の 2,944 名を用いて QOL の尺度 の構成要素の妥当性を評価した結果，高齢者の QOL 評価に必要な基本的な要素が備え られていることが確認されたと報告している，高齢者の QOL を家族に伝達する場合に， どのような粒度の QOL を伝達すべきかは議論の余地があるが，本研究では太田らが定義した QOL の尺度を参考にして QOL ラベルを定義した。なお，ひとつの発話に複数の QOL ラベルが付与できる場合はすべての QOL ラベルを付与した.

手順 4. QOL ラベルの選定：手順 3 で付与した QOL ラベルのうち, 2 名以上が付与した $\mathrm{QOL}$ ラベルを当該発話の QOL ラベルとして採用する。収集した高齢者の発話のうち, 2 名以上が一致した QOL ラべルがない発話は QOL ラべルつき対話コーパスには登録しない. その結果， 52,079 発話に対して 81,228 個（1 発話あたり 1.6 個）の QOL ラべルが付与さ れた QOL ラベルつき対話コーパスが構築された。

表 7 に QOL ラベルつき対話コーパスの例を示す。表 7 の「家族の発話」は手順 1 で収集した 家族の発話を，表 7 の「高齡者の発話」は手順 2 で収集した高齢者の発話を，表 7 の「QOL ラ ベル」は手順 3 执よび手順 4 で 3 名中 2 名のクラウドワーカが付与した QOL ラベルを示す.

表 7 QOL ラベルつき対話コーパスの例

## 3 QOL ラベルつき対話コーパスを用いた QOL 表出発話の生成

本章では，2 章で構築した QOL ラベルつき対話コーパスを用いて QOL 表出発話の生成実験 をおこない，その結果を報告する。ここで生成する QOL 表出発話は，図 2 に示す高齢者向け返信補助システムで高齢者に提示される返信候補としての利用を想定している. 図 2 のシステム で提示する返信候補には，その候補を目にすることがきっかけで，高齢者が自身の QOL 状態を 顧みること，該当する QOL 状態に気づくこと，高齢者が自身のQOL 状態を相手に伝えようと 思うことを補助する役割を期待している。そのため, ここで生成する応答は, 高齢者が応答と して適切と感じて自然に選択したくなるような発話であり，かつそこから特定の QOL が読み 取れるような発話であることが望ましい.

本章では, 我々の目的に合致するいくつかの既存手法により応答生成実験をおこない, 生成結果を評価する. 生成した応答が先行発話に対して適切であるか, および特定の QOL を表出 するかを人手評価により確かめる.

## 3.1 条件付き対話応答生成実験

本論文では, 特定の QOL 情報を伝達するように制御しながら高齢者の QOL を伝達する方法 として，生成べースと用例べースの二通りの方法を用いて応答生成をおこなった。それぞれの 手法について，詳細を以下で述べる.

## 生成ベース応答生成

近年の機械学習ベースの対話応答生成システムでは, 高性能な応答生成モデルとして sequence to sequence (seq2seq) (Sutskever, Vinyals, and Le 2014; Vinyals and Le 2015) が注目されてい る. Seq2seqをべースとした方法により生成される応答は，入力発話に対して流暢かつ適切な 内容であることが多数報告されている (Sordoni, Galley, Auli, Brockett, Ji, Mitchell, Nie, Gao, and Dolan 2015; Li, Galley, Brockett, Spithourakis, Gao, and Dolan 2016; Akama, Inada, Inoue, Kobayashi, and Inui 2017; Shao, Gouws, Britz, Goldie, Strope, and Kurzweil 2017; Wu, Wu, Yang, Xu, and Li 2018; 佐藤, 乾 2018). Li らは seq2seq をべースに, 学習時および応答生成時 に話者情報の埋め込み表現をデコーダへ合わせて入力することで生成を制御し, 話者に条件付 けられた内容を含んだ応答を生成する方法を提案している (Li et al. 2016). 我々は Li らの手法 を参考に，図 10 に示す方法で QOL に関する制御をおこない，特定の QOL を表出する発話を 生成する. 図 10 のモデルは, 入力発話を $X=\left(x_{1}, \ldots, x_{T}\right)$, 生成応答を $Y=\left(y_{1}, \ldots, y_{T^{\prime}}\right)$ とし て, 次のように定式化される：

$
p(Y \mid X, q)=\prod_{t=1}^{T^{\prime}} p\left(y_{t} \mid X, y_{<t}, q\right)
$

ここで， $T, T^{\prime}$ はそれぞれ入力発話および生成応答の文字列長である。デコーダの各時刻では,前時刻までの出力 $y_{<t}$ および QOL ラベル $q$ を用いて次の単語 $y_{t}$ の予測をおこなう．応答生成時 には， 入力発話 $X$ および表出させたい QOLのラベル $q$ をモデルに与えることで，特定の QOL 情報を伝達する応答 $Y$ が生成されることを期待する。この方法を S2S-QOL と表記する.

## 用例ベース応答生成

本研究のように高品質かつ比較的データ数の少ないデータを扱う応答生成手法として, 用例 ベースの手法も考えられる (Isbell, Kearns, Kormann, Singh, and Stone 2000; Ritter, Cherry, and Dolan 2011; Sordoni et al. 2015). 用例ベースの応答生成は, 与えられた発話 $X$ に対して,用例データベース $\mathcal{D}$ から最も適切な応答 $\tilde{Y}$ を選択する問題である。 $\tilde{Y}$ の選択方法は複数ある が, 本研究では $X$ と $\widetilde{X}$ の類似度を算出し, 最も類似する $\widetilde{X}$ を含む $(\widetilde{X}, \widetilde{Y}) \in \mathcal{D}_{q}$ の $\widetilde{Y}$ を発話 $X$

図 $10 \mathrm{QOL}$ ラベルを用いた条件付き対話応答生成. デコーダの各時刻で QOL 情報（青色）を入力する.

に対する応答 $Y$ として獲得するシンプルな方法を採用する：

$
\widetilde{Y}=\underset{(\widetilde{X}, \widetilde{Y}) \in \mathcal{D}_{q}}{\arg \max } \operatorname{sim}(X, \widetilde{X})
$

ここで， $\mathcal{D}_{q}$ は特定の QOL ラベル $q$ が付与されたぺアのみからなる用例データベースであり， QOL ラベルごとに全 12 種類の用例データベースを保持しておく．生成時に任意の QOL ラベ ル $q$ を指定すると，指定された $\mathrm{QOL}$ ラベルの用例べース $\mathcal{D}_{q}$ からのみ応答を選択する。また, $\operatorname{sim}(\cdot)$ は 2 の文の類似度を返す関数で, ここではコサイン類似度を用いた. 文のべクトル表現の獲得には，一般的に広く利用される埋め込み手法のひとつである word2vec (Mikolov, Chen， Corrado, and Dean 2013) と，前後の文脈をよく捉えた埋め込み表現を与える ELMo (Peters， Neumann, Iyyer, Gardner, Clark, Lee, and Zettlemoyer 2018)の二通りの方法を用いた.これら 二通りの方法をそれぞれ W2V-QOL，ELMo-QOL と表記する。

## 3.2 実験

構築した QOL ラベルつき対話コーパスを用いて，応答生成実験をおこなった。生成した応答について定性的な分析と人手による主観評価をおこない，生成をQOL ラベルで条件付けで きているか（特定の QOL を表出する発話が生成できているか）を確かめる。コーパス全体の $95 \%$ 訓練データ，5\%をテストデータとして用いた。

## S2S-QOL モデルの設定

12 種類の QOL ラベルは固定 12 次元の $\{0,1\}$ バイナリベクトルで表現し, これをデコーダ への入力に用いた。エンコーダおよびデコーダを隠れ層 512 次元の 2 層 LSTM (Hochreiter and Schmidhuber 1997), 単語ベクトルを 512 次元とし, 訓練データを最大 100 周学習した. パラ メータ最適化には Adam (Kingma and Ba 2015) を用いた. 3.5 節で用いる純粋な seq2seq モデ ル (Sutskever et al. 2014) (S2S) の学習にも同様のモデルパラメータおよび学習方法を用いた.

## W2V-QOL, ELMo-QOL モデルの設定

W2V-QOL は, 配布されている学習済み word2vec モデル ${ }^{11}$ 利用した. 単語ベクトルの次元数 は 300 であった。ある文に含まれるすべての単語に対応する単語べクトルの平均を文べクトル （300 次元）とし，これを類似度の算出に用いた. ELMo-QOL は, wikipediaから抽出したデータ でモデルを学習し， 512 次元の単語ベクトルを獲得した. W2V-QOL と同様の方法で文べクトル （512 次元）を構築し，これを類似度の算出に用いた。それぞれの QOL ラベルに対応する 12 種類の用例データベースは，訓練データから作成した（各 QOL ラベルに対応する用例データベー スのサイズについては付録 Aを参照されたい).

## テストセットの用意

応答生成に用いるテストセットとして，2 種類のデー夕を用意した．ひとつは， $\mathcal{S}_{10-l 12}$ であ る.まず構築したコーパスのテストデータから，家族の発話（QOL 表出発話の先行発話）を無作為に 10 発話抽出した。たとえば，「着くとすぐに本を読んでいるよ」「今日は， 1 日かけて角煮を作りましたがとっても美味しくできました.」「私はウオーキングにハマっています.」など の家族の発話が得られた. これらの発話に対して表 6 で定義した 12 種類の QOL ラベルで条件 づけを行い（家族の発話，QOL ラベル）の組を作成した. 10 発話それぞれに 12 種類の QOL ラベルを対応させ，最終的に合計 120 の組を $\mathcal{S}_{10-l 12}$ として獲得した. ひとつの発話に対して 12 種類の QOL ラベル通りの応答が生成できるかを評価する目的で $\mathcal{S}_{10-l 12}$ を使用する.

上述の $\mathcal{S}_{10-l 12}$ では, 家族の発話各々について, 12 種類すべての QOL ラベルに相当する応答 を無理に生成するタスクになっている。しかし，これは必ずしも自然な設定ではない．たとえ ば，家族の発話「私はウオーキングにハマっています.」に対してQOL 状態《経済的ゆとり満足感 (positive)》を表出するような自然な応答を思い浮かべるのは簡単ではなく, 実際， 2 章で 述ベたクラウドソーシングではこのラベルに対応する応答例は得られていない. そこで，上述 のテストデータから（家族の発話，高齢者の発話，QOL ラベル）の三つ組を無作為に 100 組抽出した集合をもうひとつのテストセットとし，これを $\mathcal{S}_{100}$ とする， $\mathcal{S}_{100}$ では， $\mathcal{S}_{10-l 12}$ とは異 なり，与えられた家族の発話に対して指定の QOL ラベルに対応する応答を人間（クラウドワー 力）が生成できていることが保証されており，応用の観点からより自然な条件での応答性能を 評価することができる.

## 3.3 生成された応答の例

表 8 左部に, テストセット $\mathcal{S}_{10-l 12}$ を用いて生成した応答の一例を示す 12 . 表 8 は「着くとすぐ に本を読んでるよ」という家族の発話に対して 3 種類の生成モデル S2S-QOL, W2V-QOL, ELMo-QOL が QOL ラベルごとにどのような内容の応答を生成したかを示している．たとえば，QOL ラべ ル《経済的ゆとり満足感 (positive)》が与えられた場合, 応答としてS2S-QOL では「今度本を 買ってそちらに行くよ」が，W2V-QOL および ELMo-QOL では「今度本を買って持っていくよ.」 が生成されており，これらの応答からは，少なくとも本を購入してそれを発話者のもとへ届け に行くだけの “経済的ゆとりがある”という高齢者の QOL 状態が読み取れる。また，QOL ラべ ル《精神的活力 (negative)》の場合の S2S-QOL の応答「私には興味がないな」, W2V-QOL の応答「本にはわしは興味ないからなあ.」, ELMo-QOL の応答「私は外に出かけることも少なくなった よ.」のいずれの応答にも無関心さや無気力さが表れており, これらからは高齢者の“活力がな い”様子が読み取れる.このような先行発話に対する応答として適切かつ高齢者の QOL 状態を

表 8 異なる QOL ラベルを指定したときの生成結果

} & \multicolumn{2}{|c|}{ (1) QOL 表出@1 @2 } & \multirow{2}{*}{ (2) ポジ・ネガー致 } & \multirow[t]{2}{*}{ (3) 応答の適切さ } \\

& ちゃうから, もう乗るのが億劫になるよ \end{aligned} & $0 / 5$ & $0 / 5$ & $5 / 5$ & $4 / 5$ \\

& 絵本を読んでやりたいけどできないわごめんね. \end{aligned} & $1 / 5$ & $1 / 5$ & $5 / 5$ & $5 / 5$ \\

& に行くのは難しいな \end{aligned} & $4 / 5$ & $4 / 5$ & $5 / 5$ & $5 / 5$ \\

左部：モデルが生成した応答（3.3 節)，右部：各応答についての人手評価結果（3.4 節)，表中の値は評価者 5 名のうち正解と判定した人数を表す.
十分に表出する応答は，返信補助システムにおける返信候補として我々が想定している通りの ものである. すべての種類の QOL ラベルで, 《* (positive)》には「今度」「〜する」「〜してあ げる」というこれからのことについての前向きな表現が多く見られ，反対に《* (negative)》に は「億劫」「面倒」「無駄」など後ろ向きな表現が多く見られた。全体として，与えられた QOL ラベルに応じた内容の応答が概ね生成されていることが確認された。

## 3.4 人手評価

生成した応答について，指定した QOL が表出された応答の生成制御できていることを確か めるために, クラウドソーシング 13 を利用して人手評価を実施した.

## 評価設定

生成された応答を, 次の 3 つの観点について人手で評価した.
- 観点 (1)：指定した QOL ラベル通りの QOL 状態が生成した応答に表出していること
- 観点 $(2)$ : 指定した QOL ラベルの特にポジティブ・ネガティブの状態の一致
- 観点 $(3)$ : 先行発話に対する応答としての適切さ

観点 (1)では, 生成した応答とそれに先行する発話を評価者に与え,「応答から最も読み取るこ とができる QOL 状態」と「応答から二番目に読み取ることができる QOL 状態」を，表 6 で定義した 12 種類の QOL 状態に「わからない・該当なし」を加えた 13 種類から選択するよう指示 した. なお, 応答に表出している QOL 状態がひとつのみであると評価者が考える場合は,「応答から二番目に読み取ることができる QOL 状態」では「わからない・該当なし」を選択するよ う指示した. ひとつの応答につき 5 人の評価者が評価した. 観点 (2) と (3) では, 生成した応答 とそれに先行する発話を評価者に与え,「応答の内容がどちらの状態を表しているか」という問 いに対し選択肢 $\{$ ポジティブ，ネガティブ，わからない\}からひとつを，「与えられた発話と応答は対話として適切か」という問いに対し選択肢 $\{$ 適切である，適切でない，わからない $\}$ か らひとつをそれぞれ選択するよう指示した。ここでの「対話として適切」とは，先行発話に対 する返答として自然に繋がっていること，文法的に正しいことを指す。なお，本タスクは上述 の QOL 表出に関する評価とは独立に実施した. 本タスクもひとつの応答につき 5 人の評価者 が評価した。

## 結果

表 9 に QOL 表出および応答の適切さに関する人手評価結果を示す. 表 9 の(1)(2)(3)につい て，以下にそれぞれ説明する。

表 9 QOL 表出および応答の適切さに関する人手評価結果

(1)の@1 は評価者の「応答から最も読み取ることができる QOL 状態」が生成時に指定した QOL ラベル と一致している割合を, @2 は評価者の「応答から最も読み取ることができる QOL 状態」もしくは「応答 から二番目に読み取ることができる QOL 状態」が指定した QOL ラベルと一致している割合を表す。(2) の $・ \times$ は生成時に指定した QOL ラベルのボジ・ネガと評価者の判断が一致している・一致してない割

ぞれ表す。（）内の数字は人数を表す.

まず，表 $9 「(1) Q O L$ 表出」列は上述の観点 (1)の評価結果である．@1 は評価者の「応答か ら最も読み取ることができる QOL 状態」が生成時に指定した QOL ラベルと一致している割合 を，@2は評価者の「応答から最も読み取ることができる QOL 状態」もしくは「応答から二番目に読み取ることができる QOL 状態」が指定した QOL ラベルと一致している割合を表す。表 9 に示すように，テストセット $\mathcal{S}_{10-l 12}$ では $@ 1$ は $0.31 \sim 0.38$, @2 は $0.43 \sim 0.51$ 程度, $\mathcal{S}_{100}$ では @1 は 0.61 0.62, @ 2 は 0.70 0.72 程度であった. 文脈的に無理がある場合でも必ず 12 種類す べての QOL ラベルについて生成する条件 $\left(\mathcal{S}_{10-l 12}\right)$ では, 指定された QOL の表出に成功する ケースは高々半数に留まったが，クラウドワーカが実際に適当な応答を作ることができた条件 $\left(\mathcal{S}_{100}\right)$ では比較的高い割合で QOL の表出に成功している。また，生成時に指定した QOL ラべ ルと生成応答に表出している QOL との相関を確かめるため Cramer の連関係数 (Cramer 1946) を算出したところ, $\mathcal{S}_{10-l 12}$ 上で S2S-QOL は 0.32 , W2V-QOL は 0.38 , ELMo-QOL は 0.38 となり ${ }^{14}$,生成時に指定した QOL ラベルと人手評価により表出が認められた QOL との間には中程度の相関が認められる結果となった。

次に，表 9 の「(2) ポジ・ネガ一致」の列および付録 Cに上述の観点 $(2)$ の結果を示す.これ は，生成時に指定したポジティブまたはネガティブ (《* (positive)》または《* (negative)》) と, 評価者が読み取ったポジティブまたはネガティブの極性が一致するかどうかを評価した結果である．表 9 より，すべてのモデルで生成時に指定した QOL ラベルと生成応答で表出が認め られた QOL ラベルとのポジティブ・ネガティブの極性は, 全体として $90 \%$ 前後で一致した.

表 9 の「(3) 応答の適切さ」の列および付録 D には, 観点 $(3)$ の結果を示す.これは, 生成し た応答がどの程度先行発話に対する応答として適切であるかを人手評価により評価した結果で ある. S2S-QOL および ELMo-QOL では, 全体として $60 \%$ 以上の応答が適切であると評価された. W2V-QOL は適切と評価された応答の割合は $60 \%$ 未満で, 他の 2 つの生成モデルよりも低かった.

具体的な事例に対する評価例として，表 8 の右部にそれぞれの応答に対する上述の 3 つの観点での人手評価の結果を示す.たとえば，「着くとすぐに本を読んでいるよ」という先行発話に 対して S2S-QOL が生成した応答「今度わしが見に行くよ」について，(1)の@1では評価者 5 名 のうち 1 名が生成応答から《生活活動力 (positive)》を読み取り, @ 2 では評価者 5 名のうち 3 名が《生活活動力 (positive)》を読み取っている。（2)については評洒者全員が生成応答から高齢者の状態がポジティブであることを読み取り, (3) について評価者 5 名のうち 3 名が生成応答 は先行発話に対する応答として適切であると判断している.

以上をまとめると，まず，本研究で生成した応答は， QOL 状態のポジティブ・ネガティブの 極性については生成時に指定した通りの状態が高精度で表出していることがわかる。また， 12 種類の QOL ラベルについても， $\mathcal{S}_{100}$ での評価からわかるように，人間が適切な応答を生成で きるような条件下ではモデルも $60 \%$ から $70 \%$ の精度で指定の QOL 状態を表出する発話を生成 できている. 図 2 のような QOL 表出発話を誘発するための返信補助システムへの応用を考え た場合, 本研究で構築した生成モデルは, 特定の QOLをある程度制御可能であるという点で, QOL 伝達補助の実証実験に利用可能な水準に達していると考えられる.

一方で, 現状, QOL 表出発話の生成時に高齢者個人の特性や状態を考慮していないため，た とえば「今度本を買ってそちらに行くよ」という返信候補を生成しても高齢者自身の実際の日常生活の活動力や経済的なゆとりの状況と合っていない可能性もある. 図 2 に示す通り, 我々 の提案システムは高齢者自身が返信する内容を編集できるインタフェースを想定しているもの の，高齢者の特性や状態にできるだけ合った返信候補を生成することが望ましい．高齢者個人 の特性や状況を加味した QOL 表出発話の生成モデルの構築に関しては今後検討していきたい.

## $3.5 \mathrm{QOL$ 制御の影響：応答の適切さに関する調査}

構築した対話コーパスは QOL を制御しない単純な対話応答生成のための学習データとして も利用することができる。本研究では QOL 表出発話の生成を目的として QOL ラベルを用いた 条件付き対話応答生成の枠組みで特定の QOL 情報を表出するような制御をしながら応答を生成することを主目的としたが，本節では同じコーパスを用いてQOL 制御をすることなく対話応答生成をおこなうことで，QOL 制御が生成にもたらす影響を調査し報告する。具体的には,生成応答の定性的分析と人手評価により，QOL 制御の有無による生成された応答の「対話とし ての適切さ」を比較調査した。QOLを制御しない応答生成の枠組みとして, 構造はシンプルな がらも流暢かつ適切な内容の応答を生成するとの報告が多数なされている純粋な seq2seq モデ

ル（S2S と表記）を用いた. S2S の学習設定は，前述の 3.2 節「S2S-QOL モデルの設定」に示し た通りである。さらに，QOLを制御しない用例べースの応答生成手法として W2V およびELMo モデルを用いた，W2V，ELMoでは，用例データベースとしてすべての訓練データを用いた.

## 定性的分析

表 10 に，QOL を制御した 3 種のモデルおよび QOL を制御しない 3 種のモデルが生成した応答の例を示す。生成時の入力には， $\mathcal{S}_{100}$ を用いた，表 10 中の QOL ラベルは，生成時に QOL を制御するモデルでのみ用いた。表 10 の結果から，S2S-QOL では与えられた QOL ラベルに応 じた応答はある程度生成できているが，S2S と比較して応答の自然性に欠ける例も観察された。

表 10 QOL を制御したモデル S2S-QOL, W2V-QOL，ELMo-QOL と制御しないモデル S2S，W2V，ELMoの応答例

 \\

具体的には，表 10 の 2 つ目の入力に示す「昨日の日曜日，小学校の運動会だったの」という発話に対して，S2Sでは「言ってくれれば行ったのに」という発話に対する応答として自然な応答が得られているが，一方でS2S-QOL では「私は趣味の散歩ですら最近は億劫なのに」と《健康満足感 (negative)》が QOL 状態として読み取れる内容ではあるものの, 先行発話との繋がり は不自然で，対話としては許容し難い応答が生成されている様子が確認された。用例べースの モデルについても, 同様の様子が確認された.

## 人手評価

QOL 制御の影響を調查するために，クラウドソーシング 15 による人手評価を実施した.生成時の入力には $\mathcal{S}_{100}$ を用い， QOL を制御した 3 種のモデルおよび $\mathrm{QOL}$ を制御しない 3 種 のモデルによりそれぞれ生成した合計 600 の応答を評価対象とした。評価者は，生成した応答 とそれに先行する発話を与えられ，「与えられた発話と応答は対話として適切か」という問いに 対し選択肢 $\{$ 適切である，適切でない，わからない $\}$ からひとつを選択した。ここでの「対話 として適切」とは，先行発話に対する返答として自然に繋がっていること，統語的および文法的に正しいことを指す.ひとつの応答につき， 5 人の評価者が評価をおこなった.

人手評価の結果を図 11 に示す. 生成応答のうち対話として適切と評価された生成応答の割合 は，S2S では約 70\%であったのに対し，S2S-QOL ではそれよりも約 10\%ほど低い約 $60 \%$ という 結果であった. W2V-QOL と W2V, ELMo-QOL と ELMoについても同様で，QOL を制御したモデル は制御しないモデルよりも対話としての適切さが低下した，QOLを制御することよってそれぞ れのモデルに生じた約 10-15\%の低下は， Mann-Whitney の U 検定 (Mann and Whitney 1947) により S2S-QOL および W2V-QOL では $p<0.01$, ELMo-QOL では $p<0.05$ の有意が認められるも のであった．生成応答の質を損なわない QOL 制御の実現は，今後の課題である。

また，S2S が生成した応答の約 $70 \%$ が人手評価により応答として適切であると評価されたこ とから, 今回構築した数万規模のコーパスがニューラル対話応答生成の学習データとして機能 し得るということが示唆された。一般的に seq2seqを始めとするニューラル生成モデルの学習 には数百万オーダーの学習データが必要とされているが (Vinyals and Le 2015; Sordoni et al. 2015; Shao et al. 2017; Wu et al. 2018), 今回のようにドメインが限定的であることやデー夕の 質が高い（たとえば，統語的および文法的に正しい，内容が明確に記述されている）などの条件下では，より少量のデータでもニューラル生成モデルの学習が可能であることがわかった.

(a) S2S-QOL と S2S の比較.

(b) W2V-QOL と W2V の比較.

(c) ELMo-QOL と ELMoの比較.

図 11 応答の適切さに関する人手評価結果

## 4 結論

我々は，高齢者の QOL を家族に伝えることで，高齢者と離れて住む家族とのコミュニケー ションの質を向上させるシステムの構築を進めている. 本研究では，QOL 情報の伝達補助を目的とした QOL 表出発話の生成に取り組んだ，具体的には，大規模な QOL ラベルつき対話コー パスの構築に向けて，高齢者が主体となる高齢者の QOL 表出発話を大規模に収集するための コーパス収集方法を提案した．提案するコーパス収集に関してふたつの予備実験を実施し，a）本論文で提案するコーパス収集の方法で高齢者が主体となり高齢者の行動や状態を表す QOL 表出発話が収集できていることを示すとともに，b) 対面で収集した高齢者の発話と 40 代・ 50 代 が高齢者を模擬した発話とを比較し，本論文で提案するコーパス収集の方法でも 40 代・ 50 代の クラウドワーカから模擬的に高齢者の発話を収集できることを示した. さらに， 52,079 発話の QOL ラベルつき対話コーパスを構築した上で，QOL ラベルにより特定の QOL 情報を伝達する よう制御しながら，高齢者の QOL を表出する応答を生成する実験を行った。人手による評価 の結果, 与えられた QOL ラベルに応じた応答が生成できているかという観点については, 本研究で用いた生成べースおよび用例ベースのいずれの手法でも，生成応答からは概ね指定通りの

QOL が表出できているという評価を得た．特に，QOL 状態のポジティブ・ネガティブの極性 については生成時に指定した通りの状態が高精度で表出していることがわかった。また, 12 種類の QOL ラベルについても，人間が適切な応答を生成できるような条件に関しては生成モデ ルでは $60 \%$ から $70 \%$ の精度で指定の QOL 状態を表出する発話を生成することがわかった。ま た, 応答の適切さに関しては生成した応答のうち $60 \%$ 以上が適切と評価された. これらの結果 から, 本研究の応答生成モデルは，高齢者の QOL 伝達補助の実証実験ができる水準に達してい ると考えられる。一方で, 返信候補として提示する応答における QOL の表出と応答としての自然性の两立, および, 高齢者の個人の特性や状態に合わせた QOL 表出発話の生成に関しては, QOL 表出発話の生成モデルの改良も含めて今後取り組む必要があることも明らかとなった.

なお，図 2 のシステムでは「かわいいね.」「上手だね.」なども返信候補として生成している が，本研究の応答生成実験では QOL 表出発話の生成のみを対象とした. これらの QOL 表出発話以外の応答生成，および図 2 のシステムの実装については，実証実験に向けて今後取り組む 予定である.

また，高齢者の QOL を家族に伝えるシステムとしては，図 2 で提案したシステムの他にも，高齢者とチヤットボットとの対話から高齢者の QOL を推定して家族に伝えるシステムや，家族が高齢者の QOL について質問することを支援するシステムなど，さまざまなシステムが考 えられる。本論文で提案したシステムの有効性の評価，他のシステムも含めてどのようなシス テムが有効かについては，今後実証実験を通じて明らかにしていきたい．また，どのような粒度で QOL を伝達すると実際にコミュニケーションの質が向上するかについても, 今後, 実証的 に検証していきたい.

## 謝 辞

本論文の査読にあたり，ご意見・ご指摘をくださった査読者の方々へ深く感謝いたします。本論文の内容の一部は, 第 84 回人工知能学会 言語・音声理解と対話処理研究会で発表したもの です (赤間, 徳久, 乾 2018).

## 参考文献

赤間怜奈, 徳久良子, 乾健太郎 (2018). Quality of Life 情報の伝達補助を目的とする対話応答生成. SIG-SLUD, B5 (02), pp. 23-26.

Akama, R., Inada, K., Inoue, N., Kobayashi, S., and Inui, K. (2017). "Generating Stylistically Consistent Dialog Responses with Transfer Learning." In Proceedings of the 8th International Joint Conference on Natural Language Processing (IJCNLP), pp. 408-412.

Callison-Burch, C., Ungar, L., and Pavlick, E. (2015). "Crowdsourcing for NLP." In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL): Tutorial Abstracts, pp. 2-3.

Cramer, H. (1946). Mathematical Methods of Statistics. Princeton University Press Princeton.

Hellstörm, Y. and Hallberg, I. R. (2001). "Perspectives of elderly people receiving home help on health care and quality of life." In Health and Social Care in the Community, pp. 61-71.

Hochreiter, S. and Schmidhuber, J. (1997). "Long Short-Term Memory." Neural Computation, 9 (8), pp. 1735-1780.

Isbell, C. L., Kearns, M., Kormann, D., Singh, S., and Stone, P. (2000). "Cobot in LambdaMOO: A Social Statistics Agent." In Proceedings of the 17th National Conference on Artificial Intelligence and 12th Conference on Innovative Applications of Artificial Intelligence (AAAI), pp. 36-41.

Kingma, D. P. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In The 3rd International Conference on Learning Representations (ICLR).

Lala, D., Milhorat, P., Inoue, K., Ishida, M., Takanashi, K., and Kawahara, T. (2017). "Attentive Listening System with Backchanneling, Response Generation and Flexible Turn-Taking." In Proceedings of the 18th Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL), pp. 127-136.

Li, J., Galley, M., Brockett, C., Spithourakis, G., Gao, J., and Dolan, B. (2016). "A PersonaBased Neural Conversation Model." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 994-1003.

Mann, H. B. and Whitney, D. R. (1947). "On a Test of Whether One of Two Random Variables is Stochastically Larger than the Other." The Annals of Mathematical Statistics, 18 (1), pp. 50-60.

Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013). "Efficient Estimation of Word Representations in Vector Space." In International Conference on Learning Representations (ICLR) Workshop.

内閣府 (2015). 平成 27 年度版高齢社会白書 (全体版) . http://www8.cao.go.jp/kourei/whitepaper/ w-2015/html/s1_2_6.html.

内閣府 (2017). 平成 29 年度版高齢社会白書 (全体版) . http://www8.cao.go.jp/kourei/whitepaper/ w-2017/html/zenbun/s1_2_1.html.

太田壽城, 芳賀博, 長田久雄, 田中喜代次, 前田清, 嶽崎俊郎, 関奈緒, 大山泰緒, 中西好子, 石川和子 (2001). 地域高齢者のための QOL 質問表の開発と評価. 日本公衆衛生雑誌, pp. 258-267.

Peters, M., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., and Zettlemoyer, L. (2018).

"Deep Contextualized Word Representations." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 2227-2237.

Ritter, A., Cherry, C., and Dolan, W. B. (2011). "Data-Driven Response Generation in Social Media." In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 583-593.

Shao, Y., Gouws, S., Britz, D., Goldie, A., Strope, B., and Kurzweil, R. (2017). "Generating High-Quality and Informative Conversation Responses with Sequence-to-Sequence Models." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2210-2219.

下岡和也, 徳久良子, 吉村貴克, 星野博之, 渡部生聖 (2017). 音声対話ロボットのための傾聴対話システムの開発. 自然言語処理, 24 (1), pp. 3-47.

佐藤祥多, 乾健太郎 (2018). 因果関係に基づくデータサンプリングを利用した雑談応答学習. 言語処理学会第 24 回年次大会, pp. 1219-1222.

Sidner, C., Bickmore, T., Rich, C., Barry, B., Ring, L., Behrooz, M., and Shayganfar, M. (2013). "Demonstration of an Always-On Companion for Islated Older Adults." In Proceedings of the 14th Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL), pp. 148-150.

Sordoni, A., Galley, M., Auli, M., Brockett, C., Ji, Y., Mitchell, M., Nie, J.-Y., Gao, J., and Dolan, B. (2015). "A Neural Network Approach to Context-Sensitive Generation of Conversational Responses." In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 196-205.

Sutskever, I., Vinyals, O., and Le, Q. V. (2014). "Sequence to Sequence Learning with Neural Network." In Proceedings of the 27th International Conference on Neural Information Processing Systems (NIPS), pp. 3104-3112.

徳久良子，寺嶌立太，乾健太郎 (2019). 高齢者と家族とのコミュニケーションの質の向上に向 けて：高齢者の Quality of Life 表出発話の分析. 情報処理学会論文誌, 60 (2), pp. 1-8.

内山映子, 宮川祥子 (2006). 在宅介護を前提とした小規模コミュニティにおける情報流通と管理. In Keio SFC Journal, pp. 30-53.

Vaarama, M. (2009). "Care-related Quality of Life in Old Age." In European Journal of Aging, pp. 113-125.

Vinyals, O. and Le, Q. (2015). "A Neural Conversational Model." In International Conference on Machine Learning (ICML) Deep Learning Workshop.

Wu, Y., Wu, W., Yang, D., Xu, C., and Li, Z. (2018). "Neural Response Generation with Dynamic Vocabularies." In 32nd AAAI Conference on Artificial Intelligence (AAAI), pp. 5594-5601.

## 付録

## A 用例データベースの規模

表 11 に, 実験で用いる各 QOL ラベルに対応するそれぞれの用例データベースの規模を示す. 複数の QOL ラベル $q_{i}, q_{j}$ が付与されているようなぺア $(\tilde{X}, \tilde{Y})$ については, 付与されているすべての ラベルに対応する用例データベースにそれぞれ用例として含まれる $:(\tilde{X}, \tilde{Y}) \in \mathcal{D}_{q_{i}},(\tilde{X}, \tilde{Y}) \in \mathcal{D}_{q_{j}}$.

表 11 各 QOL ラベルに対応する用例データベースの規模

## B生成応答に表出する QOL 状態に関する人手評価結果の詳細

S2S-QOL，W2V-QOL，ELMo-QOL により生成した応答について，生成応答に表出する QOL 状態 を人手により評価した結果を, 図 12 , 図 13 , 図 14 にそれぞれ示す。評価方法の詳細は, 本文中の 3.4 節「評価設定」を参照されたい. 図の各行は生成時に指定した QOL ラベル, 各列は評価者によって生成された応答に表出していると判断された QOL ラベルである. 図中の灰色の セルは, 生成時に指定したラベルと生成応答の QOL 状態の表出に関する評価者の判断が一致 している（指定した通りの QOL 状態が表出している）ことを示している．たとえば，図 12 よ

 &  &  &  &  &  &  &  &  &  &  &  & かからない & 合甜 \\

図 12 S2S-QOL により生成した応答に表出する QOL 状態に関する人手評価結果

 &  &  &  &  &  &  &  &  &  &  &  & 合计 \\

図 13 W2V-QOL により生成した応答に表出する QOL 状態に関する人手評価結果

 &  &  &  &  &  &  &  &  &  &  &  &  & 合旪 \\

図 14 ELMo-QOL により生成した応答に表出する QOL 状態に関する人手評価結果

り, 生成時に《生活活動力 (positive)》を指定して S2S-QOL により生成した 100 個の応答（1 行目）のうち，指定した通りの QOL が表出したと判断された応答の数は 13（1列目）で，最も多 く表出していると判断された QOL 状態は《精神的活力 (positive)》の18（11 行目）であった.図 12 , 図 13 , 図 14 より, いずれのモデルでも，程度に差はあるものの指定した QOL ラベル に概ね評価が集まっていることから，指定した通りの QOL 状態を表出する応答の生成にある 程度成功していると考えられる。また，モデル間で大きな傾向の差は見られなかった，具体的 には，たとえば《健康的満足感 (negative)》や《経済的ゆとり満足感 (negative)》を生成時に指定した場合，いずれのモデルでも評価の約 $40 \%$ 以上がそれぞれの QOL 状態を生成応答から読 み取ることに成功しており，生成応答における QOL 状態の表出が特に顕著という結果となっ た, 一方で, 《生活活動力 (positive)》や《健康的満足感 (positive)》を生成時に指定した場合, いずれのモデルでも評価者が生成応答から最も読み取れると判断した QOL 状態は《精神的活力 (positive)》であった. これは,「生活活動力」,「健康的満足感」および「精神的活力」といった

QOL が，実際は互いに強く関連し合う概念であるため，それらを明確に識別することが困難で あることが原因のひとつと考えられる。

## C QOL 状態のポジティブ・ネガティブに関する人手評価結果の詳細

S2S-QOL, W2V-QOL, ELMo-QOL により生成した応答について，生成時に指定した QOL ラベル の特にポジティブまたはネガティブの状態が生成応答に表出するポジティブまたはネガティブ と一致するかを人手により評洒した結果を，図 15 , 図 16 , 図 17 にそれぞれ示す。評価方法の

図 15 S2S-QOL により生成した応答のポジティブまたはネガティブの表出に関する各ラベルごとの評価

図 16 W2V-QOL により生成した応答のポジティブまたはネガティブの表出に関する各ラベルごとの評価

図 17 ELMo-QOL により生成した応答のポジティブまたはネガティブの表出に関する各ラベルごとの評価

詳細は，本文中の 3.4 節「評価設定」を参照されたい，たとえば，図 15 より，生成時に QOL ラ ベル《生活活動力 (positive)》を指定して生成した応答に関する評価（全体数は 50）のうち, 応答の内容はポジティブな状態を表していると評価したもの，すなわち生成時に指定された状態 と一致したものが 35 （全体の $70 \%$ に相当）で，ネガティブな状態を表していると評価したもの

いずれのモデルでも，生成応答に表出するポジティブまたはネガティブの状態が生成時に指定されたものと一致する割合は QOL ラベルによって差があり, 小さいものでは $70 \%$ から, 大き いものでは $100 \%$ まであった．また，いずれのモデルでも《経済的ゆとり満足感 (negative)》は 一致する割合が大きく, 一方で《精神的健康 (negative)》は一致する割合が小さい傾向にあっ た．実際の生成応答例を見ると，たとえば本文の表 8 の\#8, QOL ラベル《経済的ゆとり満足感 (negative)》のもとでELMo-QOL が生成した応答「おばあちゃんあちこち痛いけど湿布買うお金無いわ.」は「お金がない」ということばで経済的ゆとりがない様子が直接的に表現されている が, 一方で表 8 の\#10, QOL ラベル《精神的健康 (negative)》のもとで ELMo-QOL が生成した応答「俺が一緒に読んでやれたらいいんだけどな.」は精神の健康状態が良くない様子の直接的な 表現が含まれておらず，そのため状態がネガティブであるとの判断が比較的困難となったこと で，一致する割合が小さくなったと考えられる。

## D 生成応答の適切さに関する人手評価結果の詳細

S2S-QOL, W2V-QOL, ELMo-QOL により生成した応答について, 生成時に指定した QOL ラベル の特にポジティブまたはネガティブの状態が生成応答に表出するポジティブまたはネガティブ と一致するかを人手により評価した結果を, 図 18 , 図 19 , 図 20 にそれぞれ示す. 評価方法の 詳細は，本文中の 3.4 節「評価設定」を参照されたい。たとえば，図 18 よ, 生成時に QOL ラ ベル《生活活動力 (positive)》を指定して生成した応答に関する評価（全体数は 50）のうち, 生成応答の内容が先行発話に対して適切と判断されたものが 31 （全体の $61 \% に$ 相当）で，不適切

図 18 S2S-QOL により生成した応答の応答としての適切さに関する各ラベルごとの評価

図 19 W2V-QOL により生成した応答の応答としての適切さに関する各ラベルごとの評価

図 20 ELMo-QOL により生成した応答の応答としての適切さに関する各ラベルごとの評価

と判断されたものが $18 （$ 全体の 36\%）であった.

それぞれのモデルで傾向は異なり，たとえば，《精神的活力 (positive)》で適切と判断された 応答の割合は，S2S-QOL では同モデルの平均程度の $60 \%$

## 略歴

赤間 怜奈：2017 年東北大学工学部卒業. 2018 年東北大学大学院情報科学研究

科博士前期課程修了. 現在, 同研究科博士後期課程在学中. 自然言語処理に

関する研究に従事. 人工知能学会, ACL 各学生会員.

徳久 良子：2001 年九工大大学院修士課程修了. 同年 (株) 豊田中研入社. 2009

年奈良先端大学情報工学研究科博士課程修了. 感情や対話に関する研究に従

事. 博士 (工学). 人工知能学会, 言語処理学会, IEEE 各会員.

乾 健太郎: 東北大学大学院情報科学研究科教授. 1995 年東京工業大学大学院

情報理工学研究科博士課程修了. 同大学助手, 九州工業大学助教授, 奈良先端科学技術大学院大学助教授を経て, 2010 年より現職. 2016 年より理化学研究所 AIP センター自然言語理解チームリーダー兼任.


# 論文
## 木構造とグラフ構造を用いた オンライン議論における談話行為の分類

\author{
三浦 康秀 ${ }^{\dagger+\dagger}$ - 狩野 竜示 $\dagger$ - 谷口 元樹 $\dagger$ - 谷口 友紀 ${ }^{\dagger} \cdot$ \\ 三沢翔太郎 $\dagger \cdot$ 大熊 智子 $\dagger$
}

本稿ではオンライン議論における談話行為を分類するモデルを提案する。提案モデ ルでは談話行為を分類するために, ニューラルネットワークを用いて議論のパターン を学習する。談話行為の分類において議論のパターンを取り入れる重要性は既存の 研究においても確認されているが, 対象としている議論に併せたパターン素性を設計する必要があった. 提案モデルではパターン素性を用いずに，木構造およびグラ フ構造を学習する層を用いて議論のパターンを学習する．提案モデルを Reddit の談話行為を分類するタスクで評価したところ，従来手法と比較して Accuracy で $1.5 \%$, $\mathrm{F}_{1}$ 值で 2.2 ポイントの性能向上を確認した. また, 提案モデル内の木構造学習層お よびグラフ構造学習層間の相互作用を確認するため, 提案手法の中間層を注意機構 を通じて分析した。

キーワード：談話行為, 木構造, グラフ構造, ニューラルネットワーク, 議論分析

## Discourse Act Classification Using Discussion Patterns with Neural Networks

\author{
Yasuhide Miura $^{\dagger, \dagger \dagger}$, Ryuji Kano $^{\dagger}$, Motoki Taniguchi ${ }^{\dagger}$, \\ Tomoki Taniguchi $^{\dagger}$, Shotaro Misawa ${ }^{\dagger}$ and Tomoko Ohкuma ${ }^{\dagger}$
}

\begin{abstract}
We proposed a model that classifies discussion discourse acts using discussion patterns with neural networks. Several attempts have been made in earlier works to analyze texts that are used in various discussions. The importance of discussion patterns has been explored in those works but their methods required a sophisticated design to combine pattern features with a classifier. Our model introduces tree learning approaches and a graph learning approach to capture discussion patterns without pattern features. In an evaluation to classify discussion discourse acts in Reddit, the model achieved improvements of $1.5 \%$ in accuracy and 2.2 in $F_{1}$ score compared to the previous best model. We further analyzed the model using an attention mechanism to inspect interactions among different learning approaches.
\end{abstract}

Key Words: Discourse Act, Tree Structure, Graph Structure, Neural Networks, Discussion Analysis

## 1 はじめに

近年, ソーシャルニュースサイトや討論ポータルの発展に伴い, 様々な話題がオンライン上 で議論されるようになった。これら議論は世の中の貴重な意見を含んでいるが，分析には関連 する複数の投稿・発言の内容を理解する必要がある. これまでも対話行為の分析 (Stolcke, Ries, Coccaro, Shriberg, Bates, Jurafsky, Taylor, Martin, Van Ess-Dykema, and Meteer 2000; Bunt, Alexandersson, Carletta, Choe, Fang, Hasida, Lee, Petukhova, Popescu-Belis, Romary, Soria, and Traum 2010)を発展させ，議論を談話行為に基づいて分析するアプローチが提案されてきた．議論における談話行為の自動的な分類は，情報アクセスや要約の改善に寄与できると考えられて いる.このため, 電子メール (Cohen, Carvalho, and Mitchell 2004; Carvalho and Cohen 2005, 2006; Hu, Passonneau, and Rambow 2009; Omuya, Prabhakaran, and Rambow 2013), ニュー スグループ (Wang, Joshi, and Rose 2007)，技術電子掲示板 (Kim, Wang, and Baldwin 2010b; Wang, Lui, Kim, Nivre, and Baldwin 2011; Bhatia, Biyani, and Mitra 2012; Liu, Baldwin, and Cohn 2017), ソーシャルニュース (Zhang, Culbertson, and Paritosh 2017) 等の談話行為・対話行為が既存の研究で対象とされてきた.

議論において談話行為・対話行為を分類する際には，議論のパターンを取り入れることの重要性がたびたび指摘されてきた。投稿間の関係・リンク (Carvalho and Cohen 2005; Hu et al. 2009), 投稿の位置・深さ (Wang et al. 2007; Kim, Cavedon, and Baldwin 2010a; Kim et al. 2010b; Wang et al. 2011; Bhatia et al. 2012; Zhang et al. 2017; Liu et al. 2017) 等のパターン情報は, 確率的なグラフィカルモデル, 構造学習モデル, 系列学習モデル等と組み合わせて利用されてきた. これらアプローチは談話行為の分類において有効性を示したが, 分類モデルにパターン情報を取 り入れるためにタスク依存のパターン素性を設計する必要があった。本稿では議論のパターン をニューラルネットワークを用いて取り入れるモデルを提案する。近年, ニューラルネットワー クを用いて木構造 (Socher, Lin, Ng, and Manning 2011; Socher, Karpathy, Le, Manning, and Ng 2014; Tai, Socher, and Manning 2015) やグラフ構造 (Defferrard, Bresson, and Vandergheynst 2016; Kipf and Welling 2017) を学習する有効性が示されている. 提案モデルではパターン素性 を設計せずに，木構造学習層とグラフ構造学習層を用いて議論のパターンを学習する.

既存の研究では様々な対象の談話行為・対話行為が分類されてきたが, 本稿では Reddit ${ }^{1} の$談話行為の分類に提案モデルを適用する. Reddit は大規模なソーシャルニュースサイトであ り，数多くのトピックについて日々議論が行われている。議論はスレッド単位で行われ，トピッ クを提供する最初の投稿および投稿に対する返信の連鎖で構成される。提案モデルの評価では Zhang et al. (2017)の9 種類の談話行為を対象にする．9 種類の談話行為は Answer, Elaboration,

図 1 Reddit 対象とした談話行為の例. 各丸はスレッド中の投稿，赤色は最初の投稿，青色は返信の投稿，矢印は返信を表している。最初の質問 (Question) が答え (Answer) とユーモア (Humor)の返信を受けており，答えの一つはさらに謝辞 (Appreciation) と追加情報 (Elaboration) の返信を受け ている.

Question, Appreciation, Agreement, Disagreement, Humor, Announcement, Negative Reaction であり, 図 1 にこれら談話行為の例を示す。本稿では次の二つの理由で Redditを対象とした.第一に，Reddit 上での議論は投稿をノード，返信関係をエッジとした木構造およびグラフ構造 として表すことができる。第二に，公開されている Reddit の談話行為が付与されたコーパスは 大規模であり，ニューラルネットワークを用いて木構造やグラフ構造を学習するのに適してい る。本稿の貢献には以下の三点が挙げられる：

（1）投稿間の構造に対応した，木構造学習層とグラフ構造学習層を含むモデルを提案する.

（2）談話行為の分類性能において，提案モデルが従来のパターン素性と系列学習を組み合わ せたモデルを上回ることを示す.

(3) 提案モデルの中間層を注意機構を通じて分析し, 談話行為の分類に有効な構造を確認する.本稿の以降の章では次の内容を述べる。 2 章で提案モデルの関連研究を紹介し，モデルの詳細 を 3 章で述べる。 4 章で提案モデルを用いた評洒実験を報告し，結果を 5 章で考察する。最後 に 6 章では本稿をまとめ, さらに今後の展望を述べる.

## 2 関連研究

## 2.1 談話行為・対話行為の分類

議論を対象として, 談話行為・対話行為を自動的に分類する手法は従来より研究されてきた．初期の研究としては, 特に電子メールおよび技術電子掲示板が対象となることが多かった. Cohen et al. (2004)は電子メールに対話行為をアノテーションし，テキスト素性を用いた分類器を構築 した. この研究は Carvalho and Cohen (2005) によって関係素性を用いたコレクティブ分類モ デル, Carvalho and Cohen (2006) によって N-gram 素性の拡張が行われた. Hu et al. (2009)も
電子メールに対話行為をアノテーションし, 構造学習モデルを用いた分類を試みた. この研究 は Omuya et al. (2013)によってクラス毎の素性の最適化およびカスケード分類器を用いた拡張 が行われた. Kim et al. (2010b) は技術電子掲示板の投稿に対話行為を夕グ付けし, パターン素性と系列学習器を用いた分類実験を実施した。この研究はのちに, Wang et al. (2011) によって 対話行為の分類とリンク関係の同時学習, Liu et al. (2017)によって外部記憶を持つ系列学習器 の拡張が行われた. Bhatia et al. (2012) も技術電子掲示板の投稿に対話行為を夕グ付けし，パ ターン素性を含む様々な素性を用いた分類器を評価した。

議論を対象とした談話行為・対話行為の分類は，電子メール・技術電子揭示板以外を対象と しても研究されてきた. Wang et al. (2007)はニュースグループの節を対象にパターン素性と 系列学習モデルを用いた議論カテゴリの分類を評価した. Kim et al. (2010a) はチャットの対話行為を分類するためにパターン素性を用いた系列学習モデルを探索した． Zhang, Gao, and Li (2011) は短文投稿を対話行為でアノテートし, 単語素性と文字素性を用いた分類モデルを学習 した. Zhang, Gao, and Li (2012)は同じ短文投稿データを用いて，ラベル伝搬に基づく半教師 あり学習モデル等を探索した. Ferschke, Gurevych, and Chebotar (2012)は対話行為が付与さ れた Wikipediaノートページのコーパスを作成し，テキスト素性とパターン素性を用いた分類器を学習した. Zhang et al. (2017) は Reddit のスレッドを談話行為でアノテートし, パターン 素性を含む様々な素性を用いた系列学習モデルを設計した。

## 2.2 Reddit の自動分析

大量のテキストおよび画像コンテンツから構成される Redditを対象に，世の中の意見を分析 する研究が数多く行われてきた． Redditを対象とした自動分析の中でも，人気度を表す karma score（ポジティブ投票とネガティブ投票の差）の分析は広く研究されてきた. Jaech, Zayats, Fang, Ostendorf, and Hajishirzi (2015) は人気度のランキングタスクを提案し, ペアワイズ分類器を用いたランキングを行った. Wei, Liu, and Li (2016) は人気度を用いて投稿を説得力に応 じてランキングするシステムを設計した. He, Ostendorf, He, Chen, Gao, Li, and Deng (2016) は動的に人気度を推定する深層強化学習の構成を提案し, この研究はさらに He, Ostendorf, and He (2017)によって 2 段階の処理に拡張された. Hessel, Lee, and Mimno (2017) は人気度の推定タスクにおいてマルチモーダル素性が有効であることを示した. Cheng, Fang, and Ostendorf (2017) は関連要素を因子として結び付けるニューラルモデルを用いて人気度を推定し, 文書埋 め込みに基づくモデルを上回る性能を実現した．Zayats and Ostendorf (2018) は人気度を推定 するのに適したグラフ構造のニューラルモデルを提案し，投稿を独立に扱うモデルを上回る性能を実現した。

Redditを対象とした自動分析では，人気度以外に着目した研究も数多く行われている。本稿が対象とする談話行為の分析 (Zhang et al. 2017) もその一つであり，他にも様々なタスクが
検討されている. Buntain and Golbeck (2014) は回答を投稿する人の社会的な役割に着目し, それらを教師あり学習で分類した. Tan, Niculae, Danescu-Niculescu-Mizil, and Lee (2016) は ChangeMyView subreddit を対象とし，説得性の高い投稿の明確化および意見の適応性を分類す るモデルを構築した． Lim, Carman, and Wong (2017) は投稿者の専門性を投稿内容に非依存な 手法を用いて探索した。

## 2.3 提案モデルとの比較

提案モデルでは議論のパターンをニューラルネットワークに基づく木構造学習層とグラフ構造学習層を用いて学習する。これは従来用いられてきたパターン素性を用いずに，テキスト情報と議論のパターンを同時に学習するアプローチである。また, 談話行為・対話行為の分類では 従来は系列学習モデルが用いられることが多かった (Wang et al. 2007; Kim et al. 2010a, 2010b; Wang et al. 2011; Zhang et al. 2017; Liu et al. 2017). Carvalho and Cohen (2005)は確率的な グラフィカルモデルを用いたが, 関係素性と事前学習したテキスト素性に基づく分類器を前提 としている。提案モデルを Reddit の自動分析を行うモデルと比較すると，類似したアプロー チが Zayats and Ostendorf (2018) で用いられている. Zayats and Ostendorf (2018) では Long short-term memory (LSTM)(Hochreiter and Schmidhuber 1997) を拡張し, 階層および時系列情報をグラフ構造として学習するモデルを提案した. しかし, このモデルは Redditの人気度を効率的に学習するための設計を含んでいる． Redditの人気度は投稿時間や投稿者の属性に強く相関することが知られている (Jaech et al. 2015). 人気度の推定モデルを談話行為の推定にそのま ま適用しても， 4 章で詳細を述べる実験で示すように性能は限定的である.

## 3 提案モデル

提案モデルである Tree-LSTM GCN Hybrid の概要を図 2 に示す. Tree-LSTM GCN Hybrid ではまずスレッド中の投稿を LSTM と最大プーリングでエンコード (Comment Encoder) L，投稿の特徴量を得る. 次に, 投稿間の関係を木構造の LSTM 処理 (Parent-Branch Tree-LSTM, Child-Sum Tree-LSTM) およびグラフ構造の畳み达み処理 (GCN) で取り入れた投稿の特徴量を 得る. 投稿の特徵量にはさらに注意機構 (Self-Attention)を適用し, 最終的には全結合層でラべ ルに接続 (Label Classifier)する。

Tree-LSTM GCN Hybrid では, 既存の LSTM, 木構造の LSTM, グラフ構造の畳み込みの処理を一部変更した上で組み合わせて，議論の分析に効果的なモデルを提案している。返信元か ら返信先に展開される議論のフローを取り入れるために，LSTM の 1 ステップ前の参照処理を 修正した Parent-Branch Tree-LSTM を用意した。返信先から返信元に展開される議論のフロー を取り入れるために， Tai et al. (2015)の Child-Sum Tree-LSTM を用意した。返信の方向に依

図 2 提案モデル Tree-LSTM GCN Hybrid の概要. このモデルではスレッドに含まれる投稿を Comment Encoder でエンコードし, それらを木構造学習層 (Parent-Branch Tree-LSTM, Chid-Sum TreeLSTM) およびグラフ構造学習層 (GCN) で処理する.
存しない周辺で展開される議論のフローを取り入れるために, Defferrard et al. (2016) の GCN を用意した。本章の以降では, 各構成要素の詳細について述べる.

## Comment Encoder

Comment Encoderでは投稿単位の処理を実現するために，投稿中の単語から投稿の特徴量を 求める. タイトルテキスト $a_{t i t l e}$ と投稿テキスト $a_{1 \ldots I}$ からなる系列データを入力とする. 各テ キスト中の単語は, Embedding Layer の埋め込み行列 $\boldsymbol{E}$ によって $\boldsymbol{x}_{\text {title }}$ および $\boldsymbol{x}_{1 \ldots I}$ に変換す る. 変換した入力は, 双方向 $\mathrm{LSTM}^{2}$ により下の状態遷移関数に基づき処理する：

$
\begin{aligned}
\boldsymbol{i}_{t} & =\sigma\left(\boldsymbol{W}_{i} \boldsymbol{x}_{t}+\boldsymbol{U}_{i} \boldsymbol{h}_{t-1}+\boldsymbol{b}_{i}\right) \\
\boldsymbol{o}_{t} & =\sigma\left(\boldsymbol{W}_{o} \boldsymbol{x}_{t}+\boldsymbol{U}_{o} \boldsymbol{h}_{t-1}+\boldsymbol{b}_{o}\right) \\
\boldsymbol{f}_{t} & =\sigma\left(\boldsymbol{W}_{f} \boldsymbol{x}_{t}+\boldsymbol{U}_{f} \boldsymbol{h}_{t-1}+\boldsymbol{b}_{f}\right) \\
\tilde{\boldsymbol{c}}_{t} & =\tanh \left(\boldsymbol{W}_{c} \boldsymbol{x}_{t}+\boldsymbol{U}_{c} \boldsymbol{h}_{t-1}+\boldsymbol{b}_{c}\right) \\
\boldsymbol{c}_{t} & =\boldsymbol{i}_{t} \odot \tilde{\boldsymbol{c}}_{t}+\boldsymbol{f}_{t} \odot \boldsymbol{c}_{t-1} \\
\boldsymbol{h}_{t} & =\boldsymbol{o}_{t} \odot \tanh \left(\boldsymbol{c}_{t}\right)
\end{aligned}
$

ここで $i_{t}$ は入力ゲート,$o_{t}$ は出力ゲート,$f_{t}$ は忘却ゲート,$\tilde{c}_{t}$ はメモリセルゲート,$c_{t}$ はメモリ セルの状態， $\boldsymbol{h}_{t}$ は隠れ状態， $\boldsymbol{W}_{*}$ と $\boldsymbol{U}_{*}$ は重み行列， $\boldsymbol{b}_{*}$ はバイアス項， $\sigma$ はロジスティックシグ モイド関数, $\odot$ は要素積の演算子である. 双方向 LSTM の出力は結合し, 時間方向の最大プーリ ング (Max Pooling)により投稿の特徴量 $\boldsymbol{m}=\max (\overrightarrow{\boldsymbol{h}} \| \overleftarrow{\boldsymbol{h}})$ を得る.ここで， $\overrightarrow{\boldsymbol{h}}$ は $\boldsymbol{h}$ 順方向で の処理結果, $\overleftarrow{h}$ は $\boldsymbol{h}$ の逆方向での処理結果, \|はテンソルの結合を意味する.また, 最初の投稿 については, タイトルの出力 $\left(\boldsymbol{h}_{\text {title }}\right)$ と投稿の出力 $\left(\boldsymbol{h}_{1}\right)$ の要素和 ( $\oplus$ )を $\overrightarrow{\boldsymbol{h}}_{\text {title }}\left.\|\overleftarrow{\boldsymbol{h}}_{\text {title }} \oplus \overrightarrow{\boldsymbol{h}}_{1}\right.\| \overleftarrow{\boldsymbol{h}}_{1}$ のようにして, 最大プーリングの前に求める.

## Parent-Branch Tree-LSTM

Parent-Branch Tree-LSTM では親ノード（返信元）の情報を用いた談話行為の推定を可能に する. 投稿の特徴量は根ノードから葉ノードへと処理する．LSTM の 1 時刻前の隠れ状態 $\boldsymbol{h}_{t-1}$ （式 1-4）を親ノードの隠れ状態 $\boldsymbol{h}_{\text {parent }}$ に置き換えて，以下の式に基づき処理する：

$
\begin{aligned}
\boldsymbol{i}_{t} & =\sigma\left(\boldsymbol{W}_{i} \boldsymbol{x}_{t}+\boldsymbol{U}_{i} \boldsymbol{h}_{\text {parent }}+\boldsymbol{b}_{i}\right) \\
\boldsymbol{o}_{t} & =\sigma\left(\boldsymbol{W}_{o} \boldsymbol{x}_{t}+\boldsymbol{U}_{o} \boldsymbol{h}_{\text {parent }}+\boldsymbol{b}_{o}\right) \\
\boldsymbol{f}_{t} & =\sigma\left(\boldsymbol{W}_{f} \boldsymbol{x}_{t}+\boldsymbol{U}_{f} \boldsymbol{h}_{\text {parent }}+\boldsymbol{b}_{f}\right)
\end{aligned}
$
_{\mathrm{s}}$ と返信の投稿用の $\mathrm{LSTM}_{\mathrm{c}}$ を用意した。
}

$
\tilde{\boldsymbol{c}}_{t}=\tanh \left(\boldsymbol{W}_{c} \boldsymbol{x}_{t}+\boldsymbol{U}_{c} \boldsymbol{h}_{\text {parent }}+\boldsymbol{b}_{c}\right)
$

なお, 投稿には複数の子ノード（返信）がありえるため， $\boldsymbol{h}_{\text {parent }}$ は複数の投稿で共有されるこ とがある。また，以降の処理では $\boldsymbol{h}$ を Parent-Branch Tree-LSTM が出力する投稿の特徴量 $\boldsymbol{r}_{P}$ として用いる。

## Child-Sum Tree-LSTM

Child-Sum Tree-LSTM では子ノード（返信）の情報を用いた談話行為の推定を可能にする.投稿の特徴量は葉ノードから根ノードへと Child-Sum Tree-LSTM(Tai et al. 2015) で処理する.具体的には, 式 $1 ， 2 ， 4$ に含まれる 1 時刻前の隠れ状態 $\boldsymbol{h}_{t-1}$ を子ノードの隠れ状態 $\tilde{\boldsymbol{h}}_{t}$ に置き 換え，忘却ゲート $\boldsymbol{f}_{t}$ （式 3）とメモリセルゲート $\boldsymbol{c}_{t}$ （式 5）を以下の式に置き換え処理する：

$
\begin{aligned}
\tilde{\boldsymbol{h}}_{t} & =\sum_{k} \boldsymbol{h}_{k} \\
\boldsymbol{f}_{t k} & =\sigma\left(\boldsymbol{W}_{f} \boldsymbol{x}_{t}+\boldsymbol{U}_{f} \boldsymbol{h}_{k}+\boldsymbol{b}_{f}\right) \\
\boldsymbol{c}_{t} & =\boldsymbol{i}_{t} \odot \tilde{\boldsymbol{c}}_{t}+\sum_{k} \boldsymbol{f}_{t k} \odot \boldsymbol{c}_{k}
\end{aligned}
$

ここで $\boldsymbol{h}_{k}$ は子ノードの隠れ状態， $\boldsymbol{c}_{k}$ は子ノードのメモリセル状態である. また, 以降の処理 では $\boldsymbol{h}$ を Child-Sum Tree-LSTM が出力する投稿の特徴量 $\boldsymbol{r}_{C}$ として用いる.

## GCN

GCN では周辺ノード（返信元および返信先）の情報を用いた談話行為の推定を可能にする．各 ノードの周辺ノードを畳み込みフィルタでグラフ上の畳み込みとして取り込む。具体的には, 畳 み込みフィルタをチェビシェフ展開で近似する手法 (Hammond, Vandergheynst, and Gribonval 2011)に基づく, グラフ畳み込み処理 (Defferrard et al. 2016)を用いる. 投稿の特徴 $\boldsymbol{h}_{l}$ を入力 として，以下の状態遷移関数で処理する：

$
\begin{aligned}
\boldsymbol{h}_{l+1} & =\boldsymbol{U} g_{\theta}(\boldsymbol{\Lambda}) \boldsymbol{U}^{T} \boldsymbol{h}_{l} \\
g_{\boldsymbol{\theta}}(\boldsymbol{\Lambda}) & =\sum_{k}^{K-1} \boldsymbol{\theta}_{k} T_{k}(\tilde{\boldsymbol{\Lambda}})
\end{aligned}
$

ここで $l$ は層の番号, $\boldsymbol{U}$ は入力グラフにおける正規化されたラプラシアンのフーリエ基底, $\boldsymbol{\theta}_{k} \in \mathbb{R}^{K}$ はチェビシェフ係数のベクトル,$T_{k}(\tilde{\Lambda})$ は $k$ 次のチェビシェフ多項式である．グラフ上の畳み 込み処理は連続的に適用することにより多層化でき，提案モデルでは式 16 のようにグラフ畳み 込み処理 2 層と正規化線形関数 (ReLU) を組み合わせた投稿の特徴量 $\boldsymbol{r}_{G}$ を得る：

$
\boldsymbol{r}_{G}=\boldsymbol{U} g_{\theta}(\boldsymbol{\Lambda}) \boldsymbol{U}^{T} \operatorname{ReLU}\left(\boldsymbol{U} g_{\theta}(\boldsymbol{\Lambda}) \boldsymbol{U}^{T} \boldsymbol{m}\right)
$

## Self-Attention

Parent-Branch Tree-LSTM (P), Child-Sum Tree-LSTM (C), GCN (G)に対応する $j \in\{P, C, G\}$番目の特徵量を，自己注意方法の注意機構 (Yang, Yang, Dyer, He, Smola, and Hovy 2016; Lin, Feng, dos Santos, Yu, Xiang, Zhou, and Bengio 2017)(Self-Attention) で統合する. 注意機構で 統合した $i$ 番目の投稿の特徵量 $\boldsymbol{s}_{i}$ は，議論のフローを取り入れた特徴量 $\boldsymbol{r}_{j i}$ の重み付き和とし て以下のように求める：

$
\begin{aligned}
\boldsymbol{s}_{i} & =\sum_{j \in\{P, C, G\}} \alpha_{j i} \boldsymbol{r}_{j i} \\
\alpha_{j i} & =\frac{\exp \left(\boldsymbol{v}_{\alpha}^{T} \boldsymbol{u}_{j i}\right)}{\sum_{j^{\prime} \in\{P, C, G\}} \exp \left(\boldsymbol{v}_{\alpha}^{T} \boldsymbol{u}_{j^{\prime} i}\right)} \\
\boldsymbol{u}_{j i} & =\tanh \left(\boldsymbol{W}_{\alpha} \boldsymbol{r}_{j i}+\boldsymbol{b}_{\alpha}\right)
\end{aligned}
$

ここで $\boldsymbol{v}_{\alpha}$ は重みべクトル, $\boldsymbol{W}_{\alpha}$ は重み行列， $\boldsymbol{b}_{\alpha}$ はバイアス項である.

## Label Classifier

各投稿の特徴量 $s_{i}$ を, 全ての $i$ で共有された全結合層とソフトマックス関数を用いて以下の ようなラベル出力 $\sigma\left(\boldsymbol{y}_{i}\right)$ を得る:

$
\begin{aligned}
\boldsymbol{y}_{i} & =\boldsymbol{W}_{d} \boldsymbol{s}_{i}+\boldsymbol{b}_{d} \\
\sigma\left(\boldsymbol{y}_{i}\right) & =\frac{\exp \left(\boldsymbol{y}_{i}\right)}{\sum_{i^{\prime}} \exp \left(\boldsymbol{y}_{i^{\prime}}\right)}
\end{aligned}
$

ここで $\boldsymbol{W}_{d}$ は重み行列， $\boldsymbol{b}_{d}$ はバイアス項である.

## 4 実験

## 4.1 ベースライン

提案手法のベースラインとして, ルールに基づくモデル (Rule 5-ACTS), 従来のパターン素性 と系列学習を組み合わせたモデル (CRF Vote), 2 種類のニューラルモデル (LSTM-CRF Vote, Greaph-LSTM) を用意した.

## Rule 5-ACTS

機械学習に基づかないべースラインとして, 単純なルールに基づく分類器 Rule 5-ACTS を用意した. スレッド中の投稿 $c$ は Algorithm 1 に基づいてラベル $l$ に分類される. なお, この分類器では投稿が Agreement, Disagreement, Humor, Negative Reactionの 4 種類のラベルに分類さ れることはない.

## CRF Vote

Zhang et al. (2017) で最も良い性能を示した, 条件付き確率場 (CRF) に基づくモデルを CRF Vote として実装した. このモデルではスレッドを分解して, 根ノードから各葉ノードへの系列 を独立して処理する. 内容語, 句読点, パターン, 著者, スレッド, コミュニティの素性を CRF で学習する。素性の中でもパターン素性の大きな効果がアブレーションテストにより確認され ている。なお，スレッドを系列に分解して処理するため，一つの投稿に対して複数の異なるラ ベルを分類することがある. この際には，投稿のラベルは分類したラベルの多数決によって決定する。

## LSTM-CRF Vote

Comment Encoder（3 章）にLSTM 層と CRF 層を組み合わせて，CRF Voteをニューラル モデルに拡張した LSTM-CRF Vote を実装した。系列学習タスクにおいて，LSTM と CRF を 組み合わせるアプローチが有効であることは知られている (Huang, Xu, and Yu 2015; Lample,

Ballesteros, Subramanian, Kawakami, and Dyer 2016; Ma and Hovy 2016).また, CRF Vote と同様にスレッドは根ノードから葉ノードへの系列に分解する。このモデルではまず各系列を Comment Encoder で処理し，各投稿の特徵量を得る。次に LSTM 層により投稿間の依存関係 を導入し，さらに $\mathrm{CRF}$ 層でラベル間の相関関係を導入する。また，複数のラベルが分類された 投稿については, CRF Vote と同様に多数決でラベルを決定する.

## Graph-LSTM

グラフ構造に対応した LSTM(Zayats and Ostendorf 2018)を Graph-LSTM として実装した. スレッド上の投稿間の親子関係および兄弟関係を処理できるように，LSTM を拡張して親子間 の接続を扱う忘却ゲートと兄弟間の接続を扱う忘却ゲートを用意している．また，投稿中の単語分散表現の平均に加えて, グラフ上の位置や返信数といったパターン素性を組み合わせた入力を用意している。このモデルは談話行為の分類を目的として設計されてはいないが, Reddit 投稿の人気度を推定する際には優れた性能を発揮している。

## 4.2 データ・評価手法

提案モデルとベースラインモデルの評価には Zhang et al. (2017)のデータ3を用いた. データ はRedditの 9,438スレッド, 115,827 投稿, 2,837 コミュニティ (subreddit)より構成され, 各投稿 には表 1 に示される 10 種類の談話行為が 3 人のアノテータによりアノテートされている. Zhang et al. (2017)の設定を踏襲し，アノテータ間の多数決でラベルを決定できない投稿および多数決で決定したラベルが Otherの投稿を除外した．結果として，評価には 9,131スレッド， 98,865 投稿のデータを用いた。各談話行為のラベルの数, それらの最初の投稿の割合, Krippendorf's Alpha による一致度を表 2 に示す.

すべてのモデルは 10 交差検定で評価し, 評価尺度としては Accuracy, Precision, Recall, $\mathrm{F}_{1}$值を用いた。ニューラルモデルについては，開発デー夕を用意するために 10 交差検定ではデー 夕を 8:1:1の割合で訓練:開発:テストに分割した。テスト時の性能を測定する際には, 開発デー 夕で最良の $\mathrm{F}_{1}$ 値が得られた学習結果を利用した.
^{3}$ https://github.com/google-research-datasets/coarse-discourse
}
表 1 各談話行為とその概要

表 2 談話行為の数, 最初の投稿の割合, Krippendorf's Alpha による一致度

## 4.3 モデルの設定

## 単語分散表現の事前学習

ニューラルモデルで用いる単語分散表現は，2006-2016 の Reddit ダンプデータ4,5をサンプリ ングしたデータで事前学習した。サンプリングでは, 実験データ中に表れる 2,837 コュニティ （4.2 節）に属する，約 2.3 億の投稿を取得した。事前学習では word2vec (Mikolov, Sutskever, Chen, Corrado, and Dean 2013) を skip-gram アルゴリズムで次元 $=100$, 学習率 $=0.025$, ウ インドウ幅 $=5$, ネガティブサンプル数 $=5$, エポック $=5$ の設定で用いた.

## 各層のユニット数と最大単語数

提案モデルやベースラインモデルには，ユニット数のパラメータを設定できる層が含まれてい
^{4}$ https://bigquery.cloud.google.com/dataset/fh-bigquery:reddit_posts

 }^{5}$ https://bigquery.cloud.google.com/dataset/fh-bigquery:reddit_comments

る. LSTM のユニット数としては, $\operatorname{LSTM}_{S}$ と $\operatorname{LSTM}_{C}$ については 300 に, LSTM-CRF Vote に ついては 600 に設定した. Parent-Branch Tree-LSTM, Child-Sum Tree-LSTM, GCN のユニッ 卜数には 600 を設定した。また，Reddit の投稿には数千語にもおよぶ長い投稿が存在する。効率化のために，スレッドの最初の投稿については最大 400 語，返信の投稿については最大 100 語のみを利用した。

## 最適化手法

LSTM-CRF Vote, Graph-LSTM, Tree-LSTM GCN Hybrid の最適化には確率的勾配降下法を 用いた。目的関数には LSTM-CRF Vote は CRF のスコアを用い, Graph-LSTM と Tree-LSTM GCN Hybrid は交差エントロピーを用いた，確率的勾配降下法のパラメータとしては，学習率は $\{0.01,0.1\}$ から開発データで良い性能を示した値を選択し, モメンタム $=0.9$, 勾配クリッピン グ $=3.0$ を用いた．また，過学習を避けるためにドロップアウト (Srivastava, Hinton, Krizhevsky， Sutskever, and Salakhutdinov 2014) を割合 0.5 で LSTM 層と GCN の中間層に導入した.

## 4.4 実験結果

表 3 に各モデルの評価結果を示す.また, 提案モデルである Tree-LSTM GCN Hybrid につい ては，一つの構成要素のみを用いたモデルを提案モデル（構成要素名）として用意している．結果から, Tree-LSTM GCN Hybrid が従来の CRF Vote を Accuracy で 1.5\%, $\mathrm{F}_{1}$ 值で 2.2 上回る 性能を示している。LSTM-CRF Vote も CRF Vote を上回る性能を示しており，ニューラルモ デルへの単純な拡張およびニューラルモデルにより議論のパターンを学習する有効性が示唆さ れる ${ }^{6}$. Graph-LSTM は CRF Voteに及ばない性能しか得られておらず，Reddit を対象として

表 3 提案モデルとベースラインモデルの Accuracy, Precision, Recall, $\mathrm{F}_{1}$ 値

Precision, Recall, $\mathrm{F}_{1}$ 值については， 9 つの談話行為をデー夕数に応じて重み付けした平均値である.太字は各評価指標で最大の値を示している。

いても人気度の推定モデルを談話行為の分類にそのまま用いるのは難しいことが分かる. Rule 5-ACTS では他のモデルを大きく下回る性能になっており，単純なルールではこのタスクに対応しきれないことを示している。なお，計算時間については, Tree-LSTM GCN Hybrid は 10 交差検定の評価を完了するのに NVIDIA Titan X gpuを 1 個用いて約 21 時間掛かった. ニューラ ルモデルは一般的に計算負荷が高く，本実験においても Intel Core i7 cpuを 1 コア用いて約 4 時間掛かった CRF Voteの約 5 倍の時間が掛かっている。

提案モデルの単一構成要素を用いた結果については, 構成要素ごとに異なる傾向が得られた.

Parent-Branch Tree-LSTM が最も高い性能, GCN が Parent-Branch Tree-LSTM を僅かに下回 る性能, Child-Sum Tree-LSTM が他二つより大幅に低い性能を示した. Reddit の議論では根 ノードから葉ノードへと返信の連鎖で議論が進む。このため, 親ノードを参照する構成要素が 高い性能を示しているこれらの結果は直感に合う。また，GCNでは 2 層の畳み込み層により，長さ 2 以内のノードを参照している. GCNで Parent-Branch Tree-LSTM に近い性能が得られ ており，談話行為の分類においては遠いノードの影響は僅かであると考えられる.

## 5 考察

## 5.1 木構造・グラフ構造の有効な組み合わせ

提案モデルでは三つの構成要素を注意機構を用いて統合している. Tree-LSTM GCN Hybrid がこれら構成要素をどのように組み合わせているかを分析するために, 注意機構が出力する確率值を分析した. 図 $3 \mathrm{a}$ に, すべての投稿についての確率値から求めた確率密度関数を示す. 最

b. 最初の投稿

図 3 注意機構の確率值から求めた確率密度関数

いても, Accuracy については有意水準 $10 \%$, Precision, Recall, $\mathrm{F}_{1}$ 値については有意水準 $5 \%$ で統計的な有意差 があることを確認している.

も優先される構成要素は Parent-Branch Tree-LSTM であり，4.4 節の実験結果で単独で最も高 い性能が得られた構成要素でもある，しかし，2 番目に優先される構成要素は，単独では低い 性能を示した Child-Sum Tree-LSTM となった. このため, 木構造やグラフ構造の効果は, 単独 で用いた場合と組み合わせた場合では必ずしも一致しないことが分かる。図 $3 \mathrm{~b}$ に最初の投稿に 限定した場合の確率密度関数を示す。最初の投稿には親ノードがなく, 全体の場合と比較して Child-Sum Tree-LSTM と GCN が優先されている.

注意機構の確率値をさらに返信の数ごとに場合分けした結果を図 4 に示す。返信がないか少 ない場合は, 求めた確率密度関数は全体と似た傾向を示した（図 4a）。返信が中程度の場合に は, Child-Sum Tree-LSTM とGCN のピークの位置が Parent-Branch Tree-LSTM に近くなった （図 4b），返信数が大きい場合には，GCN のピークの位置が Child-Sum Tree-LSTM を上回る結果となった（図 $4 \mathrm{c}, 4 \mathrm{~d}$ ). GCN の結果から, 返信数が多ければ周辺の投稿のみで談話行為の分類が十分に行えることが伺える.

a. $0 \leqq \#$ \#返信 $\leqq 4$

c. $10 \leqq$ \#返信 $\leqq 19$

b. $5 \leqq \#$ \#返信 $\leqq 9$

d. $20 \leqq \#$ \#返信

図 4 返信の数ごとに分割した確率密度関数

## 5.2 ニューラルモデルの強み

提案モデルのより詳細な効果を確認するために，談話行為毎の性能を確認した．表 4 に Rule 5-ACTS, CRF Vote, LSTM-CRF Vote, Parent-Branch Tree-LSTM, Tree-LSTM GCN Hybrid の談話行為毎の $\mathrm{F}_{1}$ 値を示す。結果として, ニューラルモデルがほぼすべての談話行為について,従来モデルと比較して同等以上の性能を達成している。特にDisagreement, Humor, Negative Reactionについては, CRF Voteから大きく性能が向上した. これらの談話行為は他と比べて 発生頻度が小さく（表 2), ニューラルモデルが低頻度の談話行為の特徴をうまく捉えているこ とを示唆している.

Announcementにおいては, 複数の構成要素を組み合わせたモデル (Tree-LSTM GCN Hybrid) が 3.2 ポイントの $\mathrm{F}_{1}$ 値の向上を示した. Announcement は最初の投稿にしか表れない特徴があ り（表 2), 5.1 節の分析でも Child-Sum Tree-LSTM と GCN が最初の投稿において優先されて いた。提案モデルが改善を示さなかった唯一の談話行為としては, Appreciationが挙げられる.表 5 に示される Appreciationの Precision, Recall， $\mathrm{F}_{1}$ 値を確認したところ, Precisionにおいて

表 4 提案モデルとベースラインモデルの各談話行為についての $F_{1}$ 値

 &  &  \\

Elaboration & 0.325 & 0.647 & 0.657 & 0.660 & $\mathbf{0 . 6 6 7}$ \\
Question & 0.754 & 0.853 & 0.869 & 0.870 & $\mathbf{0 . 8 7 7}$ \\
Appreciation & 0.575 & $\mathbf{0 . 7 3 0}$ & 0.704 & 0.713 & 0.720 \\
Agreement & 0.000 & 0.460 & 0.458 & 0.462 & $\mathbf{0 . 4 7 5}$ \\
Disagreement & 0.000 & 0.219 & 0.280 & 0.259 & $\mathbf{0 . 2 9 9}$ \\
Humor & 0.000 & 0.180 & 0.285 & 0.269 & $\mathbf{0 . 2 9 0}$ \\
Announcement & 0.679 & 0.787 & 0.779 & 0.787 & $\mathbf{0 . 8 1 9}$ \\
Negative Reaction & 0.000 & 0.189 & 0.280 & 0.302 & $\mathbf{0 . 3 1 3}$ \\

太字は各談話行為で最大の値を示している。

表 5 Appreciation についての提案モデルとベースラインモデルの Precision, Recall, $\mathrm{F}_{1}$ 値

太字は各評価指標で最大の値を示している。

は Rule 5-ACTS および CRF Vote が優れた性能を示していた。この結果から，強い言語的な手掛かり (例。“thank") が存在する談話行為については, ルールやタスク依存の素性を含むモデ ルに強みがあることが伺える。

CRF Vote に対して提案モデル (Tree-LSTM GCN Hybrid)の推定結果が改善した例を図 5 に 示す.aの ID2 ではスポーツ選手の怪我に対して意見を述べているが，誤って Elaboration と推定されていた談話行為が正しく Negative Reaction と推定されるようになった. 提案モデルによ り，ID2の投稿は親投稿 (ID1)を補足しているのではなく，親投稿に対しての個人的かつ否定的 な見解であることを判定できていることが確認できる。また，bのID3では国ごとの製品価格の

CRF Vote Elaboration

Tree-LSTM Negative

GCN Hybrid Reaction

a. Negative Reactionを正しく推定できた例.

b. Humorを正しく推定できた例.

図 5 CRF Vote に対して Tree-LSTM GCN Hybrid の推定結果が改善した例。例中では，人名を “PERSON”，具体的な URLを“URL”，製品名を “PRODUCT”，数値を“XXXX”に置き換えている. また，例中の CRF Vote，Tree-LSTM GCN Hybrid はそれぞれのモデルの推定結果である.
違いについて意見を述べているが, 誤って Answer と推定されていた談話行為が正しく Humor と推定されるようになった。提案モデルにより，ID3の投稿は親投稿 (ID1)の質問に答えてい るというより，親投稿の内容に即した元談であることを判定できていることが確認できる.

## 6 おわりに

本稿では議論のパターンをニューラルネットワークを用いて学習し, 談話行為を分類するモ デルを提案した．提案モデルでは 3 種類の構成要素 (Parent-Branch Tree-LSTM, Child-Sum Tree-LSTM，GCN) を用意し，議論のパターンを学習することを試みた。評価実験により，提案モデルは従来モデルと比較して Accuracy で $1.5 \%, \mathrm{~F}_{1}$ 値で 2.2 の性能向上を確認した。また, 3 種類の構成要素間の関係を注意機構の確率値を通じて分析した。今後の課題としては，提案 モデルを Reddit 以外の議論に対して適用することを検討している． Redditには大規模な投稿 データを容易に入手できるという利点があるが，投稿時間や投稿者の属性等のテキスト以外の 要素が投稿に大きな影響を与えている。議論を分析するための柔軟なアーキテクチャを探索す るためにも，今後は提案モデルの拡張をより一層進めたい.

## 謝 辞

東京工業大学奥村・高村研究室の皆様には, ニューラルネットワークを用いて木構造やグラフ 構造を学習する手法について，議論を通じて様々なアドバイスを頂きました.ここに感謝の意 を表します。また，本論文は The 27th International Conference on Computational Linguistics (COLING 2018) に採択された, Integrating Tree Structures and Graph Structures with Neural Networks to Classify Discussion Discourse Acts (Miura, Kano, Taniguchi, Taniguchi, Misawa, and Ohkuma 2018)を日本語で書き直し内容を追加したものです.

## 参考文献

Bhatia, S., Biyani, P., and Mitra, P. (2012). "Classifying User Messages For Managing Web Forum Data." In Proceedings of the 15th International workshop on the Web and Databases.

Bunt, H., Alexandersson, J., Carletta, J., Choe, J.-W., Fang, A. C., Hasida, K., Lee, K., Petukhova, V., Popescu-Belis, A., Romary, L., Soria, C., and Traum, D. (2010). "Towards an ISO Standard for Dialogue Act Annotation." In Proceedings of the 7th Conference on International Language Resources and Evaluation, pp. 2548-2555.

Buntain, C. and Golbeck, J. (2014). "Identifying Social Roles in Reddit Using Network Struc-
ture." In Proceedings of the Workshop on Modeling Social Media: Mining Big Data in Social Media and the Web, pp. 615-620.

Carvalho, V. and Cohen, W. (2006). "Improving "Email Speech Acts" Analysis via N-gram Selection." In Proceedings of the Analyzing Conversations in Text and Speech, pp. 35-41.

Carvalho, V. R. and Cohen, W. W. (2005). "On the Collective Classification of Email "Speech Act"." In Proceedings of the 28th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 345-352.

Cheng, H., Fang, H., and Ostendorf, M. (2017). "A Factored Neural Network Model for Characterizing Online Discussions in Vector Space." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2296-2306.

Cohen, W. W., Carvalho, V. R., and Mitchell, T. M. (2004). "Learning to Classify Email into "Speech Acts"." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 309-316.

Defferrard, M., Bresson, X., and Vandergheynst, P. (2016). "Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering." In Advances in Neural Information Processing Systems 29, pp. 3844-3852. Curran Associates, Inc.

Ferschke, O., Gurevych, I., and Chebotar, Y. (2012). "Behind the Article: Recognizing Dialog Acts in Wikipedia Talk Pages." In Proceedings of the 13th Conference of the European Chapter of the Association for Computational Linguistics, pp. 777-786.

Hammond, D. K., Vandergheynst, P., and Gribonval, R. (2011). "Wavelets on Graphs via Spectral Graph Theory." Applied and Computational Harmonic Analysis, 30 (2), pp. 129-150.

He, J., Ostendorf, M., and He, X. (2017). "Reinforcement Learning with External Knowledge and Two-Stage Q-functions for Predicting Popular Reddit Threads." arXiv preprint arXiv:1704.06217.

He, J., Ostendorf, M., He, X., Chen, J., Gao, J., Li, L., and Deng, L. (2016). "Deep Reinforcement Learning with a Combinatorial Action Space for Predicting Popular Reddit Threads." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1838-1848.

Hessel, J., Lee, L., and Mimno, D. (2017). "Cats and Captions vs. Creators and the Clock: Comparing Multimodal Content to Context in Predicting Relative Popularity." In Proceedings of the 26th International Conference on World Wide Web, pp. 927-936.

Hochreiter, S. and Schmidhuber, J. (1997). "Long Short-Term Memory." Neural Computation, 9 (8), pp. 1735-1780.

Hu, J., Passonneau, R., and Rambow, O. (2009). "Contrasting the Interaction Structure of an

Email and a Telephone Corpus: A Machine Learning Approach to Annotation of Dialogue Function Units." In Proceedings of the SIGDIAL 2009 Conference, pp. 357-366.

Huang, Z., Xu, W., and Yu, K. (2015). "Bidirectional LSTM-CRF Models for Sequence Tagging." arXiv preprint arXiv:1508.01991.

Jaech, A., Zayats, V., Fang, H., Ostendorf, M., and Hajishirzi, H. (2015). "Talking to the Crowd: What Do People React to in Online Discussions?" In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2026-2031.

Kim, S. N., Cavedon, L., and Baldwin, T. (2010a). "Classifying Dialogue Acts in One-on-One Live Chats." In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 862-871.

Kim, S. N., Wang, L., and Baldwin, T. (2010b). "Tagging and Linking Web Forum Posts." In Proceedings of the 14th Conference on Computational Natural Language Learning, pp. 192-202.

Kipf, T. N. and Welling, M. (2017). "Semi-Supervised Classification with Graph Convolutional Networks." In Proceedings of the 5th International Conference on Learning Representations.

Lample, G., Ballesteros, M., Subramanian, S., Kawakami, K., and Dyer, C. (2016). "Neural Architectures for Named Entity Recognition." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260-270.

Lim, W. H., Carman, M. J., and Wong, S.-M. J. (2017). "Estimating Relative User Expertise for Content Quality Prediction on Reddit." In Proceedings of the 28th ACM Conference on Hypertext and Social Media, pp. 55-64.

Lin, Z., Feng, M., dos Santos, C. N., Yu, M., Xiang, B., Zhou, B., and Bengio, Y. (2017). "A Structured Self-attentive Sentence Embedding." In Proceedings of the 5th International Conference on Learning Representations.

Liu, F., Baldwin, T., and Cohn, T. (2017). "Capturing Long-range Contextual Dependencies with Memory-enhanced Conditional Random Fields." In Proceedings of the 8th International Joint Conference on Natural Language Processing, pp. 555-565.

Ma, X. and Hovy, E. (2016). "End-to-end Sequence Labeling via Bi-directional LSTM-CNNsCRF." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 1064-1074.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., and Dean, J. (2013). "Distributed Representations of Words and Phrases and their Compositionality." In Advances in Neural Information Processing Systems 26, pp. 3111-3119.

Miura, Y., Kano, R., Taniguchi, M., Taniguchi, T., Misawa, S., and Ohkuma, T. (2018). "Inte-
grating Tree Structures and Graph Structures with Neural Networks to Classify Discussion Discourse Acts." In Proceedings of the 27th International Conference on Computational Linguistics, pp. 3806-3818.

Omuya, A., Prabhakaran, V., and Rambow, O. (2013). "Improving the Quality of Minority Class Identification in Dialog Act Tagging." In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 802-807.

Socher, R., Karpathy, A., Le, Q. V., Manning, C. D., and Ng, A. Y. (2014). "Grounded Compositional Semantics for Finding and Describing Images with Sentences." Transactions of the Association for Computational Linguistics, 2, pp. 207-218.

Socher, R., Lin, C. C.-Y., Ng, A. Y., and Manning, C. D. (2011). "Parsing Natural Scenes and Natural Language with Recursive Neural Networks." In Proceedings of the 28th International Conference on International Conference on Machine Learning, pp. 129-136.

Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I., and Salakhutdinov, R. (2014). "Dropout: A Simple Way to Prevent Neural Networks from Overfitting." Journal of Machine Learning Research, 15, pp. 1929-1958.

Stolcke, A., Ries, K., Coccaro, N., Shriberg, E., Bates, R. A., Jurafsky, D., Taylor, P., Martin, R., Van Ess-Dykema, C., and Meteer, M. (2000). "Dialogue Act Modeling for Automatic Tagging and Recognition of Conversational Speech." Computational Linguistics, 26 (3), pp. 339-373.

Tai, K. S., Socher, R., and Manning, C. D. (2015). "Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, pp. 1556-1566.

Tan, C., Niculae, V., Danescu-Niculescu-Mizil, C., and Lee, L. (2016). "Winning Arguments: Interaction Dynamics and Persuasion Strategies in Good-faith Online Discussions." In Proceedings of the 25th International Conference on World Wide Web, pp. 613-624.

Wang, L., Lui, M., Kim, S. N., Nivre, J., and Baldwin, T. (2011). "Predicting Thread Discourse Structure over Technical Web Forums." In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, pp. 13-25.

Wang, Y.-C., Joshi, M., and Rose, C. (2007). "A Feature Based Approach to Leveraging Context for Classifying Newsgroup Style Discussion Segments." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics, pp. 73-76.

Wei, Z., Liu, Y., and Li, Y. (2016). "Is This Post Persuasive? Ranking Argumentative Com-
ments in Online Forum." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 195-200.

Yang, Z., Yang, D., Dyer, C., He, X., Smola, A., and Hovy, E. (2016). "Hierarchical Attention

Networks for Document Classification." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1480-1489.

Zayats, V. and Ostendorf, M. (2018). "Conversation Modeling on Reddit Using a GraphStructured LSTM." Transactions of the Association for Computational Linguistics, 6, pp. 121-132.

Zhang, A., Culbertson, B., and Paritosh, P. (2017). "Characterizing Online Discussion Using Coarse Discourse Sequences." In Proceedings of the 11th AAAI International Conference on Web and Social Media, pp. 357-366.

Zhang, R., Gao, D., and Li, W. (2011). "What Are Tweeters Doing: Recognizing Speech Acts in Twitter." In Proceedings of the AAAI-11 Workshop on Analyzing Microtext, pp. 86-91.

Zhang, R., Gao, D., and Li, W. (2012). "Towards Scalable Speech Act Recognition in Twitter: Tackling Insufficient Training Data." In Proceedings of the Workshop on Semantic Analysis in Social Media, pp. 18-27.

## 略歴

三浦康秀：2004 年電気通信大学大学院電気通信学研究科修士課程修了. 同年,富士ゼロックス株式会社入社. 現在，コミユニケーション技術研究所におい て, 自然言語処理の研究開発に従事. また併せて，2016 年より東京工業大学工学院情報通信系博士後期課程に在学中. 言語処理学会会員.

狩野 竜示：2013 年東京大学情報理工学系研究科修士課程修了. 同年, 富士ゼ ロックス株式会社入社. 現在, コミユニケーション技術研究所において, 自然言語処理の研究開発に従事.

谷口 元樹：2009 年北海道大学大学院情報科学研究科修士課程修了. 同年, 富士ゼロックス株式会社入社. 現在, コミュニケーション技術研究所において,自然言語処理の研究開発に従事.

谷口 友紀：2004 年神戸大学大学院自然科学研究科修士課程修了. 同年, 富士 ゼロックス株式会社入社. 現在, コミユニケーション技術研究所において, 自然言語処理の研究開発に従事.

三沢翔太郎：2016 年早稲田大学大学院創造理工学研究科修士課程修了. 同年,富士ゼロックス株式会社入社. 現在，コミユニケーション技術研究所におい

て, 自然言語処理の研究開発に従事.

大熊 智子：1994 年東京女子大学文理学部卒業. 1996 年慶應義塾大学政策・メ ディア研究科修士課程修了. 同年, 富士ゼロックス株式会社入社. 現在, コ ミュニケーション技術研究所において, 自然言語処理と情報推薦の研究に従事. 言語処理学会編集委員. 博士 (学術).

$(2018$ 年 7 月 26 日 $\quad$ 受付 $)$
$(2018$ 年 10 月 29 日 $\quad$ 再受付 $)$
$(2018$ 年 12 月 10 日 $\quad$ 採録 $)$

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 事前学習された文の分散表現を用いた機械翻訳の自動評価

嶋中 宏希 $\dagger$ ・梶原 智之 ${ }^{\dagger, \dagger \dagger}$ - 小町 守 $\dagger$
}

本稿では，参照文を用いた文単位での機械翻訳自動評価手法について述べる。現在 のデファクトスタンダードである BLEU をはじめとして, 多くの従来手法は文字や 単語の $N$-gram に基づく素性に頼っており, 文単位での評価にとっては限定的な情報しか扱えていない，そこで本研究では，文全体の大域的な情報を考慮するために，事前学習された文の分散表現を用いる機械翻訳自動評価手法を提案する。提案手法 では, 大規模コーパスによって事前学習された文の符号化器を用いて, 翻訳文と参照文の分散表現を得る。そして，翻訳文と参照文の分散表現を入力とする回帰モデルに よって，人手でラベル付けされた翻訳品質を推定する。 WMT-2017 Metrics Shared Task における翻訳品質のラベル付きデータセットを用いた実験の結果, 我々の提案手法は文単位の全ての to-English 言語対において最高性能を達成した。

キーワード：機械翻訳自動評価，文の分散表現
## Metric for Automatic Machine Translation Evaluation based on Pre-trained Sentence Embeddings

\author{
Hiroki Shimanaka $^{\dagger}$, Tomoyuki Kajiwara ${ }^{\dagger, \dagger \dagger}$ and Mamoru Komachi ${ }^{\dagger}$
}

This study describes a segment-level metric for automatic machine translation evaluation (MTE). Although various MTE metrics have been proposed, most MTE metrics, including the current de facto standard BLEU, can handle only limited information for segment-level MTE. Therefore, we propose an MTE metric using pre-trained sentence embeddings in order to evaluate MT translation considering global information. In our proposed method, we obtain sentence embeddings of MT translation and reference translation using a sentence encoder pre-trained on a large corpus. Then, we estimate the translation quality by a regression model based on sentence embeddings of MT translation and reference translation as input. Our metric achieved state-ofthe-art performance in segment-level metrics tasks for all to-English language pairs on the WMT dataset with human evaluation score.

Key Words: Automatic Machine Translation Evaluation, Sentence Embeddings

## 1 はじめに

本稿では，参照文を用いた文単位での機械翻訳自動評価手法について述べる。文単位での信頼性の高い自動評価によって，機械翻訳システムの細かい改善が可能になる. 文単位での機械翻訳の評価手法には，ある機械翻訳システムの翻訳文に対して他のシステムの翻訳文と比較し て相対的に評価する手法と，翻訳文の品質を絶対的に評価する手法がある．本研究では，機械翻訳システムの文単位での定性的な分析，つまり，評価対象の機械翻訳システムがどのような 文に対してどの程度の品質で翻訳できるのかについての分析を可能にするため, 各翻訳文に対 して絶対的な自動評価を行う。本研究では, 人手評価に近い絶対評価ができる手法を信頼性の 高い自動評価であると捉え，その信頼性に基づいて各評価手法の性能比較や分析を行う.

機械翻訳に関する国際会議 Conference on Machine Translation (WMT) ${ }^{1}$ では, 機械翻訳自動評価手法の人手評価との相関を競う Metrics Shared Taskが開催されておりここれまでに多くの手法が提案されてきた。しかし，現在のデファクトスタンダードである BLEU (Papineni, Roukos, Ward, and Zhu 2002)をはじめとして, ほとんどの機械翻訳自動評価手法は文字 $N$-gram や単語 $N$-gram などの局所的な素性を利用しており，文単位での評価にとっては限定的な情報しか 扱えていない．また，大域的な情報を考慮するために文の分散表現を用いた手法も存在するが，人手評価値付きのデータセットなどの比較的少量の教師ありデータのみを用いてモデル全体を 学習するため, 十分な性能を示せていない.

そこで本研究では，局所的な素性に基づく従来手法では扱えない大域的な情報を考慮するた めに，大規模コーパスによって事前学習された文の分散表現を用いる機械翻訳自動評価手法を 提案する，我々の提案手法は，（a）翻訳文と参照文を独立に符号化する手法と，（b) 翻訳文と参照文を同時に符号化する手法に大別できる。これらの 2 つの提案手法は, 大規模コーパスによっ て事前学習された文の分散表現を素性として利用し, 人手評価値付きのデータセット上で訓練 された回帰モデルによって機械翻訳の自動評価を行うという点で共通している.

我々はまず，事前学習された文の分散表現を用いた機械翻訳自動評価のための回帰モデル RUSE $^{2}$ (Regressor Using Sentence Embeddings) （図 1(a)）を提案する. WMT-2017 Metrics Shared Task (Bojar, Graham, and Kamran 2017)のデータセットにおける実験の結果，RUSE は文単位の全ての to-English 言語対で従来手法よりも高い性能を示した。この結果は, 事前学習された文の分散表現が機械翻訳の自動評価にとって有用な素性であることを示す.

我々は続いて, 文および文対の符号化器である BERT による機械翻訳自動評価手法 (図 1(b)) を提案する. BERT (Bidirectional Encoder Representations from Transformers) (Devlin, Chang, Lee, and Toutanova 2019) は，大規模な生コーパスを用いて双方向言語モデルおよび隣接文推定
^{1}$ https://aclanthology.info/venues/wmt

2 https://github.com/Shi-ma/RUSE
}

(a) RUSE による機械翻訳の自動評価

(b) BERT による機械翻訳の自動評価

図 1 各手法の概要. 散点部は訓練し, 横線部は固定する.

の事前学習を行った上でタスクに応じた再訓練を行い，多くの自然言語処理タスクで最高性能 を更新している。我々は, WMT Metrics Shared Taskの人手評価値付きデータセットを用いて 再訓練することで，BERTによる機械翻訳自動評価を可能にした．WMT-2017 Metrics Shared Task のデータセットにおける実験の結果，BERT による機械翻訳自動評価は文単位の全ての to-English 言語対で RUSE を凌ぎ，最高性能を更新した，詳細な分析の結果，RUSEとの主な 相違点である事前学習の方法, 文対モデリング, 符号化器の再訓練の 3 点が, それぞれ BERT による機械翻訳自動評価における性能改善に貢献していることが明らかになった.

本研究の主な貢献は以下の 3 つである.
- 事前学習された文の分散表現に基づく機械翻訳自動評価手法 RUSE を提案し，事前学習 された文の分散表現が機械翻訳の自動評価において有用な素性であることを示した.
- 同じく事前学習された文の分散表現に基づくBERTによる機械翻訳の自動評価を行い, WMT-2017 Metrics Shared Taskのデータセットを用いる実験において，文単位の全ての to-English 言語対で最高性能を更新した。
- RUSE と BERTによる機械翻訳自動評価の比較に基づく詳細な分析により, BERT の事前学習の方法, 文対モデリング, 符号化器の再訓練の 3 点が, それぞれ機械翻訳の自動評価における性能改善に貢献していることを明らかにした。

本稿の構成を示す。 2 節では，まず機械翻訳の人手評価について説明し，続いて機械翻訳自動評価手法の関連研究について概説する．3 節では，事前学習された文の分散表現に基づくRUSE およびBERTによる機械翻訳の自動評価手法を提案する．4節では，WMT Metrics Shared Task の人手評価値付きデータセットを用いて，提案手法の評価実験を行う． 5 節では，訓練データの 文対数と性能の関係や from-English 言語対における性能について分析する。最後に 6 節で，本研究のまとめを述べる.

## 2 関連研究

本節では, まず機械翻訳の人手評価について説明し, 続いて機械翻訳自動評価手法の関連研究について概説する。自動評価については, 人手評価値付きのデータセットを用いて訓練する 手法を教師あり手法，訓練しない手法を教師なし手法として分けて説明する.

## 2.1 機械翻訳の人手評価

機械翻訳に関する国際会議 WMT では，機械翻訳システムの性能を競う News Translation Shared Task が開催されており，各システムの翻訳文を研究者やクラウドソーシングによって 人手評価してきた．WMT における機械翻訳の人手評価としては，各翻訳文に対する相対評価 (RR: Relative Ranking) (Bojar, Chatterjee, Federmann, Graham, Haddow, Huck, Jimeno Yepes, Koehn, Logacheva, Monz, Negri, Neveol, Neves, Popel, Post, Rubino, Scarton, Specia, Turchi, Verspoor, and Zampieri 2016) と絶対評価 (DA: Direct Assessment) (Graham, Baldwin, Moffat, and Zobel 2013, 2014, 2017) が行われてきた.

人手の相対評価では, ある原文と参照文に対して複数の機械翻訳システムによる翻訳文が与 えられ，各翻訳文を順位付けする。しかし，このような相対評価では異なる原文に対する翻訳文同士の品質を比較できないという問題が存在する。そのため, WMT-2016 (Bojar, Graham, Kamran, and Stanojević 2016) からは人手の絶対評価が行われ始めた ${ }^{3}$.

人手の絶対評価では，ある原文と参照文に対して単一の機械翻訳システムによる翻訳文が与え られ，各翻訳文に妥当性や流暢性についての品質スコアを付与する．WMTの人手評価では，原文は考慮せず，翻訳文と参照文の比較のみによって各翻訳文の妥当性や流暢性について絶対的な 評価を行っている．ここでの翻訳文の妥当性とは，参照文との意味的な類似度のことであり，機械翻訳におけるターゲット言語側の単言語の評価タスクとなっている. WMT News Translation Shared Taskにおける妥当性や流暢性の人手評価値の収集は下記の手順で行われる.

(1) WMT News Translation Shared Taskに参加した機械翻訳システムの翻訳文とそれに対応する参照文の対が 100 文対ずつ無作為抽出され，各評価者に割り振られる.

（2）各評価者は，翻訳文と参照文を比較し，0～100のアナログスケールにより各翻訳文の妥当性や流暢性を評価する。

(3) 品質管理 (Graham et al. 2014)により，質の低い評価者による評価値を排除する.

（4）評価者ごとのスコアの偏りを均質化するため, 評価者ごとに平均が 0 , 標準偏差が 1 とな るように z-score を用いて評価値を標準化する.
^{3}$ WMT において, 人手の絶対評価が採用され始めたのは WMT-2016 News Translation Shared Task からである が, WMT-2016 Metrics Shared Task では訓練用のデータセットとして WMT-2015 News Translation Shared Task (Stanojević, Koehn, and Bojar 2015) における翻訳文と参照文に対して人手で付与した絶対評価値付きデー タセットが公開されている。
}

(5) 複数の評価者による標準化された評価値を平均し，最終的な評価值とする.

WMT Metrics Shared Taskでは，上記の方法で収集されたデータセットの中から妥当性につ いての質の高いデータ4を各言語対ごとに無作為抽出することにより，人手の絶対評価値付き データセットを作成している。本研究では, この人手による妥当性についての絶対評価值付き データセットを用いて，提案手法を訓練および評価する.

## 2.2 機械翻訳の自動評価のための教師なし手法

機械翻訳の自動評価におけるデファクトスタンダードである BLEU (Papineni et al. 2002)は,単語 $N$-gram の一致率に基づくシステム単位の教師なし手法である。文単位での評価のために は, 平滑化された SentBLEU゙が用いられる。SentBLEUは, WMT Metrics Shared Taskにおけ るベースラインとして利用されている.

AM-FM (Banchs, D'Haro, and Li 2015) は，機械翻訳自動評価のために文の分散表現を用いる 教師なし手法であり，妥当性に基づく評価手法である Adequacy Metric (AM) と流暢性に基づ く評価手法である Fluency Metric (FM) の調和平均を最終的な翻訳文の評価値とする。妥当性 を評価する AM では, 潜在的意味インデキシング (LSI)により得られる, 参照文と翻訳文の各分散表現間のコサイン類似度に基づいて翻訳文を評価する。流暢性を求める FMでは， $N$-gram 言語モデルに基づいて翻訳文を評価する。

(Popović 2017) は, 文字 $N$-gram とともに単語 $N$-gram の F 值も考慮する。これらの手法は, WMT-2016 (Bojar et al. 2016) 以降の Metrics Shared Taskにおいて文単位の from-English 言語対で常に高い性能を示している.

MEANT $2.0^{7}$ (Lo 2017) は, 逆文書頻度で重み付けされた単語 $N$-gram, 単語分散表現に基づく 単語類似度および意味役割付与 (SRL) に基づく構文類似度を用いる手法である. SRLを利用で きない言語においては, MEANT 2.0-nosrl を適用することができる. MEANT 2.0 は WMT-2017 Metrics Shared Taskにおいて，文単位の to-English 言語対で高い性能を示しており，教師なし手法の中では最も高い性能を示している。また, MEANT 2.0-nosrl は WMT-2017 Metrics Shared Task において, 文単位の from-English 言語対で最高性能を示している.

これらの教師なし手法は, 多くの言語対において一貫した評価ができるという利点を持つ. しかし, 評価値のラベル付きデータが比較的多く存在する to-English 言語対においては, 教師 あり手法がより高い性能を示している，我々は，to-English 言語対を主な対象として，より人手評価に近い絶対評価ができる教師あり手法を提案する.

## 2.3 機械翻訳の自動評価のための教師あり手法

BEER $^{8}$ (Stanojević and Sima'an 2015) は, 文字 $N$-gram の一致率を素性として人手の相対評価值付きデータセット上で訓練を行う教師あり手法である. この手法は, WMT-2017 の Metrics Shared Taskにおいて，文単位の from-English 言語対で高い性能を示している.

Blend $^{9}$ (Ma, Graham, Wang, and Liu 2017) は, 機械翻訳の自動評価用ツールキット Asiya ${ }^{10}$ (Giménez and Màrquez 2010)の基本 25 素性に先述の BEER など 4 種類の他の機械翻訳自動評価手法 (Stanojević and Sima'an 2015; Wang, Peter, Rosendahl, and Ney 2016; Yu, Ma, Wu, and Liu 2015a; Yu, Wu, Jiang, Liu, and Lin 2015b)を組み合わせたアンサンブル手法であり，人手の絶対評価値付きデータセット上で訓練する教師あり手法である。この手法は, WMT-2017 Metrics Shared Taskにおいて, 文単位の to-English 言語対で最高性能を達成している.

Blend は多くの素性を用いる手法であるが, 文字単位の編集距離や単語 $N$-gram に基づく素性など，文全体を同時に考慮できない局所的な情報のみに頼っている。本研究では, これらの 教師あり学習に基づく従来手法では扱えない大域的な情報を考慮する手法を提案する.

## 2.4 機械翻訳の自動評価のための大域的な素性に基づく教師あり手法

文全体の大域的な情報を考慮する手法として, 文の分散表現に基づく ReVal ${ }^{11}$ (Gupta, Orasan, and van Genabith 2015) がある. ReVal は WMT Metrics Shared Taskおよび文対の意味的類似度推定タスク (Marelli, Menini, Baroni, Bentivogli, Bernardi, and Zamparelli 2014)における人手の相対評価値付きデータセット上で Tree-LSTM (Tai, Socher, and Manning 2015) によって文 の分散表現を学習する。しかし, 小規模なラベル付きコーパスのみを用いるため十分な性能を 達成できていない (Bojar et al. 2016)，本研究では，大規模な生コーパス上で事前学習された文 の分散表現を利用することで，文単位での表現学習における少資源問題を克服する.

## 3 事前学習された文の分散表現を用いた機械翻訳の自動評価

従来手法に多く見られる文字や単語の $N$-gram 素性に基づく機械翻訳自動評価手法には，文全体の大域的な情報を考慮できないため, 参照文と表層的には異なるが意味的には似ている翻訳文に対して正確な評価ができないという問題がある。一方で, 2.4 節で説明した ReVal は文の 分散表現を用いて大域的な情報を考慮するが, WMT Metrics Shared Task のデータセットなど の小規模なラベル付きコーパスのみを用いてモデル全体を訓練するため, 文単位での十分な表

現学習ができていない，そこで本研究では，大域的な情報を考慮する際の少資源問題を解決す るために，事前学習された文の分散表現に基づく機械翻訳自動評価手法を提案する.

我々の提案手法は，RUSE と BERT による機械翻訳自動評価の 2 つである。まず 3.1 節では,文の分散表現を用いた機械翻訳自動評価のための回帰モデルである RUSE について説明する.次に 3.2 節では, 文対を同時に符号化する BERT による機械翻訳自動評価について説明する.

## 3.1 RUSE: 文の分散表現を用いた機械翻訳自動評価のための回帰モデル

本節では，事前学習された文の分散表現を素性とする回帰モデル RUSE (Regressor Using Sentence Embeddings) について説明する。まず 3.1.1 節では，RUSE で使用する 3 種類の文の 分散表現について説明する。続いて 3.1.2 節では, 機械翻訳自動評価のための回帰モデルおよび 素性抽出について述べる.

## 3.1.1事前学習された文の分散表現

大規模なコーパスを用いて事前学習された文の分散表現は，文書分類や文対の意味的類似度推定など多くの応用タスク (Conneau and Kiela 2018) において高い性能を発揮している。本研究では, 教師あり学習に基づくInferSent (Conneau, Kiela, Schwenk, Barrault, and Bordes 2017), 教師なし学習に基づくQuick Thought (Logeswaran and Lee 2018) およびマルチタスク 学習に基づくUniversal Sentence Encoder (Cer, Yang, Kong, Hua, Limtiaco, St. John, Constant, Guajardo-Cespedes, Yuan, Tar, Strope, and Kurzweil 2018)の 3 手法を用いて文全体の大域的な 情報を考慮する.

InferSent ${ }^{12}$ は, 含意関係認識のための Stanford Natural Language Inference (SNLI) データセッ ト (Bowman, Angeli, Potts, and Manning 2015) 上で Max-pooling を用いた双方向 LSTM ネッ トワークを訓練する教師あり学習に基づく手法である。図 2 に示すように，文 $u$ および $v$ をそ れぞれ符号化し, それらの分散表現 $\vec{u}$ そび $\vec{v}$ から素性を抽出し, 含意関係認識の 3 值分類を 通して文の符号化器を学習する。含意関係認識とは，所与の文対の関係を含意／矛盾／中立に 3 值分類するタスクであり，意味の違いに敏感な文の分散表現が得られると期待できる.

Quick Thought ${ }^{13}$ は，大規模な生コーパス上で双方向 GRU ネットワークを用いて隣接文推定 することにより，教師なしで文の表現学習を行う手法である，図 3 に示すように，文 $i$ ，その文脈 $t$, その他の文 (対比文) $c_{1}, c_{2}, \ldots, c_{k}$ が与えられ, 2 種類の文の符号化器 $f$ および $g$ がそれぞ れ文を符号化する。そして, 入力文の分散表現 $\vec{i}$ との最大の内積值を持つ分散表現に対応する 文を隣接文として推定する分類器を用いて，隣接文推定の学習を行う. 応用タスクでは, 所与 の文を 2 つの符号化器 $f$ および $g$ を用いてそれぞれ符号化し, 各符号化器から得られる分散表

図 2 InferSent の概要図

図 3 Quick Thought の概要図

現を連結することによって文の分散表現を獲得する。隣接文推定タスクを通して文の符号化器 を学習することによって，文対の関係を考慮した分散表現が得られると期待できる.

Universal Sentence Encoder ${ }^{14}$ は, 復号器を用いる Skip-Thought (Kiros, Zhu, Salakhutdinov, Zemel, Urtasun, Torralba, and Fidler 2015)のような隣接文推定, 発話応答推定および含意関係認識 の 3 タスクを用いて自己注意機構に基づくネットワーク (Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, and Polosukhin 2017) をマルチタスク学習する手法である. Universal Sentence Encoder では隣接文推定や発話応答推定のための訓練データとして, Wikipedia, ニュー ス，QAサイト，議論サイトなどの多様な Webソースを用いる．多様なドメインのコーパスに 基づくマルチタスク学習によって，幅広い応用タスクにおいて有用な文の分散表現が得られる と期待できる.

## 3.1.2機械翻訳自動評価のための回帰モデルと素性抽出

機械翻訳の自動評価は，翻訳文と参照文から翻訳文の人手評価値を推定する回帰タスクとし て考えることができる。そこでRUSE（図 1(a)）は，所与の翻訳文 $t$ と参照文 $r$ から 3.1.1 節 の符号化器を用いて分散表現 $\vec{t} お よ ひ ゙ ~ \vec{r}$ 獲得し, InferSent (Conneau et al. 2017) にならって 以下の 3 つの方法で翻訳文と参照文の関係を抽出し, それら 3 つを連結したものを素性として 多層パーセプトロン (MLP) に基づく回帰モデルを訓練する.
- 連結 : $(\vec{t}, \vec{r})$
- 要素積 $: \vec{t} * \vec{r}$
- 要素差 : $|\vec{t}-\vec{r}|$

回帰モデルには，これらの 3 種類の素性を連結した $4 d$ 次元の素性が入力される．ただし， $d$

再訓練は行わない.

## 3.2 BERT による機械翻訳自動評価

文および文対単位の表現学習モデルである BERT (Bidirectional Encoder Representations from Transformers) (Devlin et al. 2019) が，文対の意味的類似度推定など多くのタスクで最高性能を 更新し，注目を集めている。本節では，BERT を用いて機械翻訳の自動評価を行う，BERTに よる機械翻訳の自動評価は RUSE と同じく, 事前学習された文の分散表現を利用し，MLPに よって人手評価値を推定する。ただし, 図 1(b) に示すように, BERT による機械翻訳の自動評価では翻訳文と参照文の両方を文対の符号化器で同時に符号化する，以下では，RUSE との主 な相違点であり BERTによる機械翻訳自動評価の特徴である, 事前学習の方法, 文対モデリン グ, 符号化器の再訓練について詳細に説明する.

## 3.2.1 BERT における事前学習

BERT は，大規模な生コーパス上で双方向の自己注意機構に基づくネットワーク (Vaswani et al. 2017)を用いて，以下の 2 種類の教師なし事前学習を同時に行う.

双方向言語モデル： 生コーパスの一部のトークンを $[\mathrm{MASK}]$ トークンに置換した上で, 双方向の言語モデルによって元のトークンを推定する。この教師なしの事前学習によって, BERT の符号化器は文内におけるトークン間の関係を学習する.

隣接文推定： 生コーパスの一部の文を無作為に他の文に置換した上で, 連続する 2 文が隣接 していた文対か否かを 2 值分類する。この教師なしの事前学習によって, BERT の符号化器は 文対の関係を学習する。

## 3.2.2BERTにおける文対モデリング

BERT では，隣接文推定や含意関係認識などの文対を扱うタスクのために，各文を独立に符号化するのではなく，文対を同時に符号化する，文対に含まれる各文は， 入力系列の先頭に一度のみ追加される [CLS] トークンおよび各文末に追加される [SEP] トークンによって区別され る（図 4)，最終的に，[CLS]トークンに対応する最終の隠れ層が，文対の分散表現を表す 15 .

## 3.2.3BERT における符号化器の再訓練

BERT では, 符号化器で文または文対の分散表現を得た後, それを入力としてMLPによって 分類や回帰などの応用タスクを解く。なお, 応用タスクのラベル付きデータを用いて MLP を 訓練する際，文または文対の分散表現を得るための符号化器も再訓練する.

## 4 評価実験

本節では，WMT Metrics Shared Taskにおける人手の絶対評価値付きデータセットを用いて，文単位の to-English 言語対における提案手法の有効性を検証する.

## 4.1 実験設定

表 1 に， 2.1 節の手順により作成された人手の絶対評価値付きデータセットの言語対 16 ごとの 文対数を示す.これらのデータセットにおける人手の絶対評価值は，約 $-1.95 \sim$ 約 1.65 の実数値で示されている。本実験では, WMT-2015 (Stanojević et al. 2015) およびWMT-2016 (Bojar et al. 2016)の合計 5,360 文対を無作為に分割し， 9 割を訓練用， 1 割を開発用に利用する.また, WMT-2017 (Bojar et al. 2017) の文対は評価用に利用する.

RUSEの素性には，それぞれ著者らによって公開されている学習済みの InferSent, Quick Thought および Universal Sentence Encoder を用いて文の分散表現を得る．BERT には，著者らによって公開されている訓練済みモデルのうち, BERT $_{\text {BASE }}$ (uncased) ${ }^{17}$ を用いる.

各自動評価手法のメ夕評価のために，人手の絶対評価値とのピアソンの積率相関係数，スピア マンの順位相関係数および平均 2 乗誤差を用いる. ピアソンの積率相関係数は, WMT Metrics

図 4 BERT の文対モデリング $\left(u, v\right.$ : 入力トークン, $T, T^{\prime}$ : 各入力トークンに対する分散表現 $)$

表 1 WMT Metrics Shared Taskの to-English 言語対における人手の絶対評価値付き文対数

$ ：ロシア語, $\mathrm{tr}$ ：トルコ語, $\mathrm{lv}:$ ラトビア語, zh：中国語

17 https://github.com/google-research/bert
}

Shared Task で用いられており，各手法が出力する評価值の絶対的なメ夕評価ができる指標で ある。しかし，ピアソンの積率相関係数は外れ値が存在した場合に不当な値を示すという問題 が存在するため, 本実験ではスピアマンの順位相関係数によるメ夕評価も行う。また本研究で は，機械翻訳の自動評価を回帰問題として扱っているため，各自動評価手法がどれほど人手の 評価值に近い値を出力しているかについても評価したい。そのため，本タスクを回帰問題とし て扱っている Blend, RUSE および BERT については, 人手の評価値と各手法の評価值の平均 2 乗誤差によるメ夕評価も行う.

## 4.2 比較手法

本実験では，WMT-2017 Metrics Shared Taskにおけるべースラインである SentBLEU および 上位 3 手法を提案手法と比較する。比較手法のメ夕評価には, WMT-2017 Metrics Shared Task ${ }^{18}$ で公開されている各手法の評価値を利用した.

提案手法については，事前学習された文の分散表現による貢献を明らかにするため，RUSE の素性として単語分散表現の平均ベクトルを用いた実験も行う．RUSE と BERTによる機械翻訳自動評価を比較するため, 最終的に以下の 7 つの設定で実験した.

RUSE with GloVe-BoW: 図 1(a)の文の分散表現として，単語分散表現 GloVe (Pennington， Socher, and Manning 2014) (glove.840B.300d ${ }^{19}$ )の平均ベクトルを用いる.この 300 次元のベク トルを文の分散表現として，3.1.2節の方法で素性を抽出する.

RUSE with IS: SNLI データセット (Bowman et al. 2015)の 56 万文および MultiNLI デー タセット (Williams, Nangia, and Bowman 2018)の約 43 万文の両方を用いて事前学習された InferSent によって 4,096 次元の文の分散表現を獲得し, 3.1.2 節の方法で素性を抽出する.

RUSE with QT: BookCorpus データセット (Zhu, Kiros, Zemel, Salakhutdinov, Urtasun, Torralba, and Fidler 2015)の 4,500 万文および UMBC WebBase (Han, L. Kashyap, Finin, Mayfield, and Weese 2013)の約 1 億 3,000 万文の両方を用いて事前学習された Quick Thought によって 4,800 次元の文の分散表現を獲得し，3.1.2 節の方法で素性を抽出する.

RUSE with USE: Wikipedia, ニュース, QAサイト, 議論サイトなどの多様な Webソー スを用いて事前学習された Universal Sentence Encoderによって 512 次元の文の分散表現を獲得し, 3.1.2 節の方法で素性を抽出する.

RUSE with BERT: 単一文を入力とする BERT の [CLS]トークンに対応する隠れ層のうち,最終 4 層を連結したものを 3,072 次元の文の分散表現として 3.1 .2 節の方法で素性を抽出する. ただし, BERT の符号化器の部分は再訓練しない.

BERT (w/o fine-tuning)：文対を入力とする BERT の [CLS] トークンに対応する隠れ層の うち最終 4 層を連結したもの（3,072 次元）を，図 1(b) の MLP の入力として用いる。ただし， BERT の符号化器の部分は再訓練しない.

BERT：文対を入力とする BERT の [CLS]トークンに対応する最終隠れ層（768 次元）を図 1(b) のMLP の入力として用い，MLP とともにBERT の符号化器の部分も再訓練する.

RUSE と BERT (w/o fine-tuning)の各パラメータは, 以下の組み合わせの中からグリッドサー チにより, 開発データにおける平均 2 乗誤差が最も小さいモデルを選択する. なお, 全ての層 において活性化関数は ReLUを使用する。

・ バッチサイズ $\in\{64,128,256,512,1024\}$
- 学習率 $($ Adam $) \in\{1 \mathrm{e}-3\}$
- エポック数 $\in\{1,2, \ldots, 30\}$

・ ドロップアウト率 $\in\{0.1,0.3,0.5\}$
- MLP の隠れ層の数 $\in\{1,2,3\}$
- MLP の隠れ層の次元 $\in\{512,1024,2048,4096\}$

BERT の各パラメータは，著者らによって提唱されている組み合わせの中からグリッドサー チにより，開発データにおける平均 2 乗誤差が最も小さいモデルを選択する.

## 4.3 実験結果

表 2，表 3 および表 4 に WMT-2017 Metrics Shared Task における実験結果を示す. 表 2 お よび表 3 より, BERT が全ての to-English 言語対において人手評価との最高の相関を示す. 同様に，表 4 より，BERT が zh-en 以外の言語対で最小の誤差を示す.これらの結果は，文対を 同時に符号化する表現学習モデルである BERT が機械翻訳自動評価タスクにおいても有効であ

表 2 WMT-2017 Metrics Shared Task（to-English 言語対）に打けるピアソンの積率相関係数

表 3 WMT-2017 Metrics Shared Task（to-English 言語対）におけるスピアマンの順位相関係数

表 4 WMT-2017 Metrics Shared Task（to-English 言語対）における平均 2 乗誤差

ることを示す.

各表の下段を比較すると, 事前学習された文の分散表現を素性として用いた全ての RUSE モ デルが，単語分散表現の平均ベクトルを素性として用いたRUSE with GloVe-BoW よりも高い 相関および小さな誤差を示していることがわかる。これらの結果は, 文全体の大域的な情報を考慮できる文の分散表現に基づく素性が, 機械翻訳自動評価にとって有用であることを意味する.

また, Quick Thought や BERT の素性を用いる RUSE with QT およびRUSE with BERT が,単一の符号化器に基づく提案手法の中でも特に高い性能を示した。このことから, 隣接文推定の 教師なし学習によって得られる文の分散表現が，機械翻訳の評価において特に有効であると考 えられる. Universal Sentence Encoder もマルチタスク学習の一部として隣接文推定を行ってい るが, これは Quick Thought や BERT における隣接文推定とは設定が異なる. Quick Thought

やBERT における隣接文推定では, 符号化器と単純な分類器を用いて文対が隣接するか否かを 分類する。一方で Universal Sentence Encoder における隣接文推定では, 符号化器と復号器を 用いて入力文から隣接文を生成する。そのため，前者はタスクを解くための情報を符号化器が 獲得するが, 後者は符号化器と復号器の両方にタスクを解くための情報が散在すると考えられ る.この違いのために, Quick Thought や BERT が有用性の高い文の分散表現を獲得できた.

さらに, 隣接文推定のみによって事前学習された RUSE with Quick Thought よりも, 双方向言語モデルと隣接文推定の両方によって事前学習された RUSE with BERT の方が, 多くの言語対において高い性能を示していることがわかる. このことから, BERTの符号化器における事前学習の方法による性能への影響がわかる。㫜， BERT の大きな特徴のひとつである双方向言語モデルによる事前学習は, 機械翻訳の自動評価のためにも有効であると考えられる.

RUSE with BERT と BERT (w/o fine-tuning) を比較すると, BERT の文対モデリングによる 性能への影響がわかる。多くの言語対において，翻訳文と参照文を独立に符号化する前者より も, 同時に符号化する後者の方が高い性能を持つ. RUSEでは, InferSent にならって 2 つ文 の分散表現を組み合わせる素性抽出を行ったが,これが機械翻訳の自動評価に適した素性抽出 の方法であるとは限らない。一方で，BERTの文対モデリングは，素性抽出を陽に行うことな く文対の関係を考慮した分散表現を得ている，BERT では隣接文推定による事前学習の際に，上手く文対の関係を学習できている可能性がある。

BERT (w/o fine-tuning) と BERT を比較すると, 符号化器の再訓練による性能への影響がわ かる。事前学習された文対の符号化器から素性抽出を行い MLP のみを訓練する BERT (w/o fine-tuning) よりも，文対の分散表現を素性としMLP とともに符号化器を再訓練する BERT の 方が, 全ての言語対において大幅に高い相関を示し, zh-en 以外の言語対で最小の誤差を示す. つまり, BERT の大きな特徴のひとつである符号化器の再訓練は, 機械翻訳の自動評価のため にも有効である.

## 5 分析

## 5.1 訓練データの文対数と性能の関係

本節では, WMT-2017の lv-en 言語対の 560 文対を評価用データとして, RUSEと BERTにつ いて訓練データの文対数と性能の関係を分析する。WMT-2015, WMT-2016 および WMT-2017 の lv-en 言語対以外の合計 8,720 文対を無作為に分割し，8,160 文対を訓練用， 560 文対を開発用 に利用する。そして，訓練用データを 510 文対， 1,020 文対， 2,040 文対, 4,080 文対, 8,160 文対の 5 つの大きさでそれぞれ無作為抽出し, 開発用データと評価用データにおける人手評価値 とのピアソンの積率相関係数, スピアマンの順位相関係数および平均 2 乗誤差を評価する.

RUSEの素性には 4.1 節で述べた Quick Thought を用いる．RUSEの各パラメータは 4.1 節の
組み合わせの中からグリッドサーチにより, 開発デー夕における平均 2 乗誤差が最も小さいモ デルを選択するが，バッチサイズのみ以下に変更した.

・ バッチサイズ $\in\{16,32,64,128,256,512,1024\}$

BERT の各パラメータは，著者らによって提唱されている組み合わせの中からグリッドサー チにより，開発デー夕における平均 2 乗誤差が最も小さいモデルを選択するが，バッチサイズ とエポック数のみ以下に変更した.

・ バッチサイズ $\in\{8,16,32\}$
- エポック数 $\in\{1,2, \ldots, 6\}$

図 5 , 図 6 および図 7 に, RUSE と BERT のピアソンの積率相関係数, スピアマンの順位相関係数および平均二乗誤差に対する学習曲線をそれぞれ示す. RUSE の学習曲線および BERT の学習曲線において, 訓練データ数が 510 文対の場合と 8,160 文対の場合では評価時のピアソン の積率相関係数およびスピアマンの順位相関係数に約 0.1 の差があり, 評価時の平均 2 乗誤差 には約 0.05 以上の差がある。このことから，RUSE および BERT による機械翻訳自動評価の両手法において，訓練デー夕数による性能の変化が大きいことがわかる。また，図 5 と図 6 およ び図 7 より, BERT による機械翻訳自動評価は訓練デー夕数が 510 文対の場合でも，RUSE の

図 5 RUSE (左) と BERT（右）における学習曲線（人手評価とのピアソンの積率相関係数）

図 6 RUSE（左）と BERT（右）における学習曲線（人手評価とのスピアマンの順位相関係数）

図 7 RUSE（左）と BERT（右）における学習曲線（人手評価との平均 2 乗誤差）

8,160 文対の訓練データ数での性能を上回っていることがわかる. 510 文対のデータで訓練され たBERT による機械翻訳自動評価の性能は, 表 2 と表 3 および表 4 におけるいずれの比較手法 よりも同等もしくは高い性能を示している．以上の分析から，BERT は少量のラベル付きコー パスを用いる訓練でも高い性能を発揮することがわかり，訓練デー夕数を増やすことが可能で あれば，更に信頼性の高い機械翻訳自動評価手法になると考えられる。

## 5.2 from-English 言語対における性能

本節では, to-English 言語対以外の設定として, from-English 言語対の中で最も多くのラベル 付きコーパスが存在する en-ru 言語対における性能を調査する。WMT-2015の 500 文対および WMT-2016 の 560 文対の合計 1,060 文対を無作為に分割し， 9 割を訓練用， 1 割を開発用に利用 する。評価用には，WMT-2017 の 560 文対を用いる.

RUSEの素性には，ロシア語の Wikipedia 上で事前学習した Quick Thoughtを用いる．RUSE の各パラメータは 4.1 節の組み合わせの中からグリッドサーチにより，開発デー夕における平均 2 乗誤差が最も小さいモデルを選択するが, バッチサイズと MLP の隠れ層の次元のみ以下 に変更した。

・ バッチサイズ $\in\{16,32,64,128,256\}$
- MLP の隠れ層の次元 $\in\{128,256,512,1024,2048,4096\}$

BERTには, 著者らによって公開されている多言語対応の訓練済みモデル (Multilingual, Cased) ${ }^{20}$ を用いる。BERT の各パラメータは，5.1 節と同様に選択する。

比較手法として, WMT Metrics Shared Task のベースラインである SentBLEU, WMT-2017 Metrics Shared Taskにおける上位 3 手法である, chrF+ (Popović 2017), MEANT 2.0-nosrl (Lo 2017) および Blend (Ma et al. 2017) を用いる. 4.2 節と同様に, 各比較手法の公開されている評価値を用いて各比較手法のメ夕評価を行った。人手評価値とのピアソンの積率相関係数，スピ

表 5 WMT-2017 Metrics Shared Task（en-ru 言語対）における人手による絶対評価とのピアソンの積率相関係数, スピアマンの順位相関係数および平均 2 乗誤差

アマンの順位相関係数および平均 2 乗誤差によって各手法を評価する.

評価の結果を表 5 に示す. 教師あり学習に基づくBlend とRUSE を比較すると，RUSEの方 が高い性能を示しており, to-English 言語対以外の設定においても事前学習された文の分散表現が機械翻訳の自動評価にとって有効な素性であると言える。しかし, RUSE は教師なし学習 に基づくchrF+および MEANT 2.0-nosrlの性能には及ばない。前節の分析から，RUSE は訓練 データ数による性能の変化が大きいことが確認されており, en-ru 言語対においても同様の理由 で性能が低下していると考えられる。

一方でBERT は, 他の手法よりも大幅に高い性能を示している。同じく前節の分析から, BERT は少量のデータでも高い性能を発揮することが確認されており, en-ru 言語対においても最高性能を達成した．このことから BERT は，少量のラベル付きコーパスが利用できれば，様々な言語対に対応した機械翻訳自動評価手法になると考えられる。

## 5.3 出力例

WMT-2017 Metrics Shared Taskにおいて文単位の to-English 言語対で最高性能を達成した Blend と, 提案手法である RUSE および BERT による機械翻訳自動評価の出力を比較をする.人手評価値と各手法の評価値を比較するために，5.1 節と同様に WMT-2017における lv-en 言語対 560 文対に対する人手評価値および各手法の評価値を用いた。表 6 に，翻訳文と参照文に 対する人手評価値および各手法の評価値を示す.

成功例 1 において, 参照文と語彙や構文は異なるが意味が似ている（人手評価値が高い）翻訳文に対して, Blendでは低い值をつけてしまっているのに対し, 提案手法である RUSE や BERT による評価では Blend より高い値を示しており，正しい評価が行えている。また，成功例 2 に おいて, 参照文と語彙や構文が似ているが意味が異なる（人手評価値が低い）翻訳文に対して, Blend では高い值をつけてしまっているのに対し，RUSE や BERT による評価では低い值を示 しており, 正しい評価が行えている。このことから, RUSE や BERT は, 局所的な素性に基づ
表 6 Blend, RUSE および BERT による機械翻訳自動評価の出力例

$
\text { 成功例 } 1
$

く手法である Blend では扱えない大域的な情報を考慮した評価ができていると考えられる.失敗例には言い換えの問題があると考えられ，どの手法でも人手評価より低い值をつけてし まっている．Blendによる評価では，言い換えによる表層の不一致の影響により低い値がつけ られていると考えられる，RUSEや BERT による評価では，文全体の言い換えの関係を上手く 捉えられていないため，低い值をつけてしまっていると考えられる。

## 6 おわりに

本研究では，信頼性の高い文単位での絶対的な自動評価を行うため，事前学習された文の分散表現に基づく機械翻訳の自動評価手法を提案した。我々は，大規模な生コーパスを用いる隣接文推定や双方向言語モデルの教師なし事前学習によって，機械翻訳の自動評価のために有用 な文の符号化器が得られることを示した. 我々の提案手法は, 局所的な素性に基づく従来手法 では扱えない大域的な情報を考慮することができ，翻訳文と参照文の間の表層的な一致率にと らわれない正確な自動評価を可能にした。

RUSE による機械翻訳の自動評価では，WMT-2017 Metrics Shared Task の評価実験におい て，文単位の to-English 言語対でどの従来手法よりも高い性能を示した。また，BERTによる 機械翻訳の自動評価では，WMT-2017 Metrics Shared Taskの評価実験において，文単位の全て の to-English 言語対で RUSE を凌ぎ，最高性能を更新した。詳細な分析の結果，BERT による 機械翻訳の自動評価は, 事前学習の方法, 文対モデリング, 符号化器の再訓練の 3 点がそれぞ れ性能改善に貢献しており，少量のラベル付きコーパスのみを用いても高い性能を発揮するこ とがわかった。

## 謝 辞

本研究の一部は JSPS 科研費（研究活動スタート支援，課題番号：18H06465）の助成を受け たものです.

## 参考文献

Banchs, R. E., D’Haro, L. F., and Li, H. (2015). “Adequacy-Fluency Metrics: Evaluating MT in the Continuous Space Model Framework." IEEE/ACM Transactions on Audio, Speech, and Language Processing, 23 (3), pp. 472-482.

Bojar, O., Chatterjee, R., Federmann, C., Graham, Y., Haddow, B., Huck, M., Jimeno Yepes, A., Koehn, P., Logacheva, V., Monz, C., Negri, M., Neveol, A., Neves, M., Popel, M., Post, M., Rubino, R., Scarton, C., Specia, L., Turchi, M., Verspoor, K., and Zampieri, M. (2016). "Findings of the 2016 Conference on Machine Translation." In Proceedings of the 1st Conference on Machine Translation, pp. 131-198.

Bojar, O., Graham, Y., and Kamran, A. (2017). "Results of the WMT17 Metrics Shared Task." In Proceedings of the 2nd Conference on Machine Translation, pp. 489-513.

Bojar, O., Graham, Y., Kamran, A., and Stanojević, M. (2016). "Results of the WMT16 Metrics Shared Task." In Proceedings of the 1st Conference on Machine Translation, pp. 199-231.

Bowman, S. R., Angeli, G., Potts, C., and Manning, C. D. (2015). "A Large Annotated Corpus for Learning Natural Language Inference." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642.

Cer, D., Yang, Y., Kong, S.-y., Hua, N., Limtiaco, N., St. John, R., Constant, N., GuajardoCespedes, M., Yuan, S., Tar, C., Strope, B., and Kurzweil, R. (2018). "Universal Sentence Encoder for English." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 169-174.

Conneau, A. and Kiela, D. (2018). "SentEval: An Evaluation Toolkit for Universal Sentence Representations." In Proceedings of the 11th International Conference on Language Resources and Evaluation, pp. 1669-1704.

Conneau, A., Kiela, D., Schwenk, H., Barrault, L., and Bordes, A. (2017). "Supervised Learning of Universal Sentence Representations from Natural Language Inference Data." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 670-680.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Con-
ference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186.

Giménez, J. and Màrquez, L. (2010). "Asiya: An Open Toolkit for Automatic Machine Translation (Meta-) Evaluation." The Prague Bulletin of Mathematical Linguistics, 94, pp. 77-86.

Graham, Y., Baldwin, T., and Mathur, N. (2015). "Accurate Evaluation of Segment-level Machine Translation Metrics." In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1183-1191.

Graham, Y., Baldwin, T., Moffat, A., and Zobel, J. (2013). "Continuous Measurement Scales in Human Evaluation of Machine Translation." In Proceedings of the 7th Linguistic Annotation Workshop and Interoperability with Discourse, pp. 33-41.

Graham, Y., Baldwin, T., Moffat, A., and Zobel, J. (2014). "Is Machine Translation Getting Better over Time ?" In Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics 2014, pp. 443-451.

Graham, Y., Baldwin, T., Moffat, A., and Zobel, J. (2017). "Can Machine Translation Systems be Evaluated by the Crowd Alone." Natural Language Engineering, 23 (1), pp. 3-30.

Gupta, R., Orasan, C., and van Genabith, J. (2015). "Machine Translation Evaluation using Recurrent Neural Networks." In Proceedings of the 10th Workshop on Statistical Machine Translation, pp. 380-384.

Han, L., L. Kashyap, A., Finin, T., Mayfield, J., and Weese, J. (2013). "UMBC_EBIQUITYCORE: Semantic Textual Similarity Systems." In 2nd Joint Conference on Lexical and Computational Semantics, Volume 1: Proceedings of the Main Conference and the Shared Task: Semantic Textual Similarity, pp. 44-52.

Kiros, R., Zhu, Y., Salakhutdinov, R. R., Zemel, R., Urtasun, R., Torralba, A., and Fidler, S. (2015). "Skip-Thought Vectors." In Advances in Neural Information Processing Systems 28, pp. 3294-3302.

Lo, C.-K. (2017). "MEANT 2.0: Accurate Semantic MT Evaluation for Any Output Language." In Proceedings of the 2nd Conference on Machine Translation, pp. 589-597.

Logeswaran, L. and Lee, H. (2018). "An Efficient Framework for Learning Sentence Representations." In International Conference on Learning Representations, pp. 1-16.

Ma, Q., Graham, Y., Wang, S., and Liu, Q. (2017). "Blend: a Novel Combined MT Metric Based on Direct Assessment-CASICT-DCU submission to WMT17 Metrics Task." In Proceedings of the 2nd Conference on Machine Translation, pp. 598-603.

Marelli, M., Menini, S., Baroni, M., Bentivogli, L., Bernardi, R., and Zamparelli, R. (2014).

"A SICK Cure for the Evaluation of Compositional Distributional Semantic Models." In Proceedings of the 9th International Conference on Language Resources and Evaluation, pp. 216-223.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: a Method for Automatic Evaluation of Machine Translation." In Proceedings of 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318.

Pennington, J., Socher, R., and Manning, C. (2014). "GloVe: Global Vectors for Word Representation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1532-1543.

Popović, M. (2015). "chrF: Character N-gram F-score for Automatic MT Evaluation." In Proceedings of the 10th Workshop on Statistical Machine Translation, pp. 392-395.

Popović, M. (2017). "chrF++: Words Helping Character N-grams." In Proceedings of the 2nd Conference on Machine Translation, pp. 612-618.

Stanojević, M., Koehn, P., and Bojar, O. (2015). "Results of the WMT15 Metrics Shared Task." In Proceedings of the 10th Workshop on Statistical Machine Translation, pp. 256-273.

Stanojević, M. and Sima'an, K. (2015). "BEER 1.1: ILLC UvA Submission to Metrics and Tuning Task." In Proceedings of the 10th Workshop on Statistical Machine Translation, pp. 396-401.

Tai, K. S., Socher, R., and Manning, C. D. (2015). "Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, pp. 1556-1566.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., and Polosukhin, I. (2017). "Attention is All you Need." In Advances in Neural Information Processing Systems 30, pp. 5998-6008.

Wang, W., Peter, J.-T., Rosendahl, H., and Ney, H. (2016). "CharacTER: Translation Edit Rate on Character Level." In Proceedings of the 1st Conference on Machine Translation, pp. 505-510.

Williams, A., Nangia, N., and Bowman, S. (2018). "A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1, pp. 1112-1122.

Yu, H., Ma, Q., Wu, X., and Liu, Q. (2015a). "CASICT-DCU Participation in WMT2015 Metrics Task." In Proceedings of the 10th Workshop on Statistical Machine Translation, pp. 417-421. Yu, H., Wu, X., Jiang, W., Liu, Q., and Lin, S. (2015b). "An Automatic Machine Trans-
lation Evaluation Metric Based on Dependency Parsing Model." In arXiv preprint arXiv:1508.01996.

Zhu, Y., Kiros, R., Zemel, R. S., Salakhutdinov, R., Urtasun, R., Torralba, A., and Fidler, S. (2015). "Aligning Books and Movies: Towards Story-Like Visual Explanations by Watching Movies and Reading Books." In 2015 IEEE International Conference on Computer Vision, pp. 19-27.

## 略歴

嶋中宏希：2018 年首都大学東京システムデザイン学部システムデザイン学科情報通信システムコース卒業. 同年, 首都大学東京システムデザイン研究科 システムデザイン専攻情報科学域博士前期課程に進学, 現在に至る.

梶原 智之：2013 年長岡技術科学大学工学部電気電子情報工学課程卒業. 2015 年同大学大学院工学研究科修士課程電気電子情報工学専攻修了. 2018 年首都大学東京大学院システムデザイン研究科博士後期課程情報通信システム学域修了. 博士 (工学). 同年より大阪大学データビリティフロンティア機構特任助教. 自然言語処理の研究に従事. 情報処理学会, 人工知能学会, 言語処理学会各会員.

小町 守：2005 年東京大学教養学部基礎科学科科学史・科学哲学分科卒業. 2007 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2008 年より日本学術振興会特別研究員 (DC2) を経て, 2010 年博士後期課程修了.博士 (工学)。同年より同研究科助教を経て，2013 年より首都大学東京システ ムデザイン学部准教授. 大規模なコーパスを用いた意味解析および統計的自然言語処理に関心がある. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.