# 終助詞ワのアノテーションとガイドライン

渡邊花恋・秋根紗香・井坂春奈・金文慧・福田禹子（九州大学文学部）

原田祐介（九州大学大学院人文科学府）・上山あゆみ（九州大学大学院人文科学研究院）
## 概要

「わ」という語は、終助詞の「わ」、「〜わ〜 わ」のように様々な用法を持っている。このよう な「わ」のさまざまな用法について、「驚き・程度の強調」、「理由・説明」、「関西弁」、「女性語」、「古典語」、「意見の強調」の6つに分類し、ガイドラインとフローチャートを作成し た。実際にこのガイドラインとフローチャートに 沿って、『現代日本語書き言葉均衡コーパス』 (BCCWJ) によってアノテーションを試み、カ ツパ值を計算することで、ある程度信頼性のある ガイドラインが作成できたと結論づけた。

## 1. はじめに

ワという語は、『現代日本語書き言葉均衡コー パス』 (BCCWJ) において、関西弁や女性語に付 き、終助詞として用いられる一方、「〜わ〜わ」 として使用される例もあり、その意味、機能は多義にわたっている。コーパスによる検索の有用性 を高めるためには、これらの用法の違いがアノテ ーションによって適切に区別されていることが望 ましい。そのためには、必要に応じて分類のガイ ドラインを作成することが有用である。本発表で は、ワの様々な用法について分類ガイドラインを 作成するにあたり、どのような問題があったかを 明らかにした上で、今回作成した分類ガイドライ ンに基づいて行われた、実際のアノテーションの 結果を述べる。

## 2. ワの分類ガイドライン

まずここで、ガイドラインを示し、それぞれの 分類について、その特徴を述べる。以下、特に記載がないものは全て『現代日本語書 き言葉均衡コーパス』 (BCCWJ) からの引用であ る。

 \\

## 3. 代表的な例文と問題になりうる点

## 3.1.「a.驚き・程度の強調」について

「a.驚き・程度の強調」の代表的な例文は、次に 示す通りである。倉庫を色々と物色したらあるわあ るわで、不用品とかオモチャとか
本とか服なんかをドンドン出品し たら売れる

(1)は「あるわ」を繰り返すことで、倉庫に想像以上に不用品があったことを強調しするとともに、 そのことに対する驚きを表す。

## 3.2.「b.理由・説明」について

$「 \mathrm{~b}$. 理由・説明」の代表的な例文は、次に示す通 りである。

こなすだけ仕事が増えるわ、責任 を持たされるわ、でいいこと無い なと最近思えてきました。

(2)は「いいこと無いな」と思うようになった理由を「わ」の前で累加的に用いて説明している。 この用法では、「わ」の前にくる言葉は異なって いる。

## 3.3. 「c.関西弁」について

「c.関西弁」の代表的な例文は、次に示す通りで ある。

(3)

a. 昔、やくざの組員やったからな ア、こんな黒い服が似合うんかも しれへんわ。

b. 気ィのよわいこと、いわんかて、 よかったんやわ。

(3)aと(3)bともに、文脈からも判断できるよう に、関西弁の語尾で用いられる「わ」である。主 に、「〜んわ」、「〜やわ」、「〜わな」の形で あることが多い。

## 3.4.「d.女性語」について

「d.女性語」の代表的な例文は、次に示す通りで ある。

(4) a. 女の手帳なんかのぞくもんじゃな いわよ。

b.「それにしても、よく、正解をい い当てられなかったわね。」 (4)a と(4)bともに、上品で女性らしい印象を与 える女性語の用法である。主に、「〜わね」、「〜 わよ」の形であることが多く、上昇調のイントネ ーションを伴う。この分類では、主語を女性とは 限定しない。

## 3.5. 「e.古典語」について

「e.古典語」の代表的な例文は、次に示す通りで ある。

$
\begin{aligned}
& \text { 敵にうしろを見せてにげだすなど } \\
& \text { とは、こいつは、いかにも近衛銃 } \\
& \text { 士のやりそうなことだわい。 }
\end{aligned}
$

(5)のように、古めかしい言い回しをする際の 「わ」は古典語に分類される。主に「〜わい」の 形であり、主語が男性であることが多い。現代は あまり使われない。

## 3.6.「f.意見の強調」について

「f.意見の強調」の代表的な例文は、次に示す通 りである。前に、つき合った女、金沢出身や ったもん。見るからに能登半島っ て感じで、きれいやったわ〜。

「おれ帰るわ。」といってスンシ ンが立ち上がった。

(6)のようにある事象に対する感動・詠嘆など の感情を込めて強調する。 また、(7)のように、「わ」の前に自分の考え や判断を述べ、その意見を強調する場合もこ の分類に入る。

## 3.7. 問題点

今回の分類案の問題点としては、「c.関西弁」と 「d.女性語」と「f.意見の強調」間でブレが生じる ことである。例文の中に分かりやすい表現や、情報があれば、スムーズに分類できる。分かりやす い例を用いると、「ですわ」は「. 関西弁」にも「d.女性語」にも使用される表現であるため、ブレが 生じるものの一つである。

(8)のように、どうしても文を読む人の解釈でイン トネーションが変わり、それに応じて分類が変わ ってしまう、という問題点を解決するための検討 が必要である。

## 4. アノテーション結果

『現代日本語書き言葉均衡コーパス』(BCCWJ) から、書字形出現形が「わ」で、品詞の中分類が 「助詞-終助詞」であるもの含んだ例文 500 件を抽出し、上記の分類ガイドラインにしたがって、実際にアノテーションを行ってもらった。九州大学文学部の分類に関与していない学生 2 人がそれぞ れアノテーションを行い、その結果からカッパ値 を計算したところ、約 0.88 となった。アノテータ 間でぶれの少ないある程度信頼性のあるガイド ラインが作成できたことになる。

今後、ずれの見られた「c.関西弁」、「d.女性語」、

「g.主張・判断」を中に、さらに検討を重初てい きたい。

## 参照文献

岡本牧子・氏原康子(2008)『くらべてわかる日本語文型辞典』,324-325.Jリサーチ出版

日本語記述文法研究会 $(2008)$ 『現代日本語文法 6 第 11 部複文』,278.くろしお出版

松崎彩子(2017)「終助詞「わ」の歴史的変遷につい $\tau$ : 後期江戸語から明治大正期を中心に」，『言語の研究』 3 号 : $1-3$. 首都大学東京


# どれほどの統語的教示が必要十分なのか？

能地 宏
LeapMind 株式会社
noji@leapmind.io

## 概要

本研究では、言語モデルをより人間らしくするた めに、どれほどの統語的教示が必要十分なのか検証する。具体的には、新しい手法である統語的アブ レーション（syntactic ablation）を提案し、統語的言語モデルである再帰的ニューラルネットワーク文法（Recurrent Neural Network Grammar; RNNG）にお ける NP、VP、PP、SBAR およびそれらを組み合わ せた非終端記号を段階的に削除することで、完全な 統語的教師あり（純正 RNNG と等価）から完全な 統語的教師なし（単方向 LSTM と等価）まで 17 つ の RNNGを構築した上で、SyntaxGym における6つ の統語的サーキットで評価する。結果として、部分的な統語的教師あり RNNG が SyntaxGym で世界最高性能を達成し、言語処理に対する必要十分 (good enough）アプローチが人間らしいことを示唆する。

## 1 はじめに

言語モデルの統語的評価に関する先行研究で は [1, 2]、Long Short-Term Memory (LSTM)[3] の様な 再帰的ニューラルネットワーク (Recurrent Neural Network; RNN）が、明示的な統語的教示が無いにも 関わらず、非明示的に自然言語の統語構造 (例えば、英語における主語と動詞の一致など）を学習できる ことが示唆されている [4]。更に、これらの RNN は 明示的な統語的教示の恩恵も受けることが示され ており、RNN と明示的な統語的教示を統合した再帰的ニューラルネットワーク文法 (Recurrent Neural Network Grammar; RNNG）[5] は、認知的妥当性の観点から心理言語学および認知モデリングの文脈で注目を集めており、統語的評価 $[6,7]$ だけで無く心理言語学的評価 $[8,9,10]$ においても RNNより性能が 高いことが知られている。

しかしながら、明示的な統語的教示の有無という 二分法をめぐる集中的な議論に関わらず、どれほ どの統語的教示が必要十分なのかという問いはま大関洋平

東京大学

oseki@g.ecc.u-tokyo.ac.jp

だ未開拓である。特に、完全な統語的教示が最適 では無いと考える潜在的な理由が少なくとも $2 \supset$存在する。まず、理論的には、完全な統語的教示が RNNによって潜在的に学習される語彙的なヒュー リスティックスを上書きしてしまい、終端記号（単語）に関する情報が再帰的な統語演算により消失し てしまうという可能性である [11]。また、経験的に は、完全な統語的教示が長距離依存関係の正答率に 悪影響を及ぼしているという可能性であり、特に擬似分裂文では正文（例えば、What he did was prepare the meal.）と非文（例えば、*What he ate was prepare the meal.）が全く同じ統語構造を持つため、語彙的 なヒューリスティックスのみで区別する必要がある [12]。従って、以上の 2 つの理由の帰結として、統語構造と語彙的ヒューリスティックスの絶妙なバラ ンスを取るために、最適な統語的教示は完全な統語的教師ありと完全な統語的教師なしの間どこかに存在するはずであるという仮説を導くことが出来る。直感的には、文法ばかり言語モデルに教え過ぎる と、言語モデルは文法にしか着目しない様になり、結果として語彙を忘れてしまうということである。

そこで、本研究では、言語モデルをより人間らし くするために、どれほどの統語的教示が必要十分な のか検証する。具体的には、新しい手法である統語的アブレーション（syntactic ablation）を提案し、統語的言語モデルである再帰的ニューラルネットワー ク文法 (Recurrent Neural Network Grammar; RNNG) [5]における NP、VP、PP、SBARおよびそれらを組 み合わせた非終端記号を段階的に削除することで、完全な統語的教師あり（純正 RNNG と等価）から完全な統語的教師なし（単方向 LSTM と等価）まで 17 つの RNNG を構築した上で、SyntaxGym における 6 つの統語的サーキットで評価する。結果として、部分的な統語的教師あり RNNG が SyntaxGym で世界最高性能を達成し、心理言語学で提案されている言語処理に対する必要十分 (good enough) アプローチ $[13,14]$ が人間らしいことを示唆する。

(a) フル文法

(b) NPSb文法

(c) N文法

(d) ゼロ文法 (う LSTM)

完全な統語的教師あり 部分的な統語的教師あり 完全な統語的教師なし

図 1 統語的アブレーション (syntactic ablation）の概要。RNNG におけるNP、VP、PP、SBARおよびそれらを組み合わ せた非終端記号を段階的に削除することで、完全な統語的教師あり（純正 RNNG と等価）から完全な統語的教師なし （単方向 LSTM と等価）まで、17つの RNNG を構築する。

## 2 提案手法

## 2.1 再帰的ニューラルネットワーク文法

再帰的ニューラルネットワーク文法（Recurrent Neural Network Grammar; RNNG）[5] は、文（単語列） と構造の深層生成モデルである。RNNG は、スタッ ク LSTM[15] に基づき以下の 3 つのアクションに関 する確立分布を計算する：

・NT：非終端記号を開く。

・GEN: 終端記号（単語）を生成する。

・REDUCE: 非終端記号を閉じる。

特に、REDUCE アクションにおいて、RNNG は双方向 LSTM に基づき左 $\rightarrow$ 右および左 $\leftarrow$ 右に複数の終端記号（単語）を句ベクトルに符号化する。また、推論において、RNNG は単語同期型ビームサーチ [16,8] を並列化した実装 [12] を用いる。1)

## 2.2 統語的アブレーション

提案手法である統語的アブレーション（structural ablation）の概要を図 1 にまとめる。RNNG における NP、VP、PP、SBAR およびそれらを組み合わせた非終端記号を段階的に削除することで、完全な統語的教師あり（純正 RNNG と等価）から完全な統語的教師なし（単方向 LSTM と等価）まで、以下 17 つの RNNG を構築する :2)
- Root：ゼロ文法（単方向 LSTM と等価）

・N：NP 非終端記号のみ

・v：VP 非終端記号のみ

$\cdot$P：PP 非終端記号のみ

・Sb：SBAR 非終端記号のみ

$\cdot$NV：NP と VP 非終端記号

$\cdot$NP：NP と PP 非終端記号

-NSb：NP と SBAR 非終端記号

$\cdot$VP：VP と PP 非終端記号

-VSb：VP と SBAR 非終端記号

-PSb：PP と SBAR 非終端記号

-NVP：NP、VP、PP 非終端記号

-NVSb：NP、VP、SBAR 非終端記号

-NPSb：NP、PP、SBAR 非終端記号

-VPSb：VP、PP、SBAR 非終端記号
- NVPSb：NP、VP、PP、SBAR 非終端記号

・Full：フル文法（純正 RNNG と等価）

RNNG の訓練データは、先行研究 [17] に従い、まず BLLIP コーパス [18]（XL、約 42M トークン）の各文を Berkeley Neural Parser[19] で再構文解析し、以上 NP、VP、PP、SBAR およびそれらを組み合わせ た非終端記号を削除することで構築した。また、各 RNNG は 3 つの異なるランダムシードで訓練した。

## 2.3 SyntaxGym

統語的アブレーションにより構築された 17 つ RNNG は、SyntaxGym プラットフォーム [20,17] に おける以下の 6 つの統語的サーキットで評価した： Agreement, Garden-Path Effects, Licensing, Center Embedding、Gross-Syntactic State、Long-Distance Dependencies。 ${ }^{3}$ ) また、SyntaxGym プラットフォーム のリーダーボードで採用されている「部分一致」評価尺度は正答率を過大評価してしまうため、保守的 な「完全一致」評価尺度を採用した [17]。

3) https://syntaxgym.org/

## 3 結果

## 3.1 全体の正答率

統語的アブレーション実験における全体の正答率を図 2 にまとめる。SyntaxGym の正答率（Y 軸） を、様々な程度で統語的アブレーションした 17 つ の RNNG（X 軸）に対して、先行研究 [17] における GPT-2 XL と RNNG の正答率を併せてプロットする。 エラーバーは標準偏差を示す。Root（左端）と Full （GPT-2 XL と RNNG (H20)を除く右端）は、それぞ れフル文法とゼロ文法を表す。N、V、P、Sb は、それ ぞれ NP、VP、PP、SBAR 非終端記号が保持された 文法を表す。従って、NP は NP と PP 非終端記号が 保持された文法を表すため、 $\mathrm{NP}$ 非終端記号のみが 保持された文法と混同されない様に注意されたい。

ここで重要な結果を 3 つ観察することが出来る。 まず、単方向 LSTM と等価である完全な統語的教師なし RNNG は、統語的教師あり RNNG と比べて 優位に統語性能が低いことから、高い言語能力を 実現するためには統語的教師が重要な役割を果た すことを示唆している。次に、完全な統語的教師 あり RNNG は、部分的な統語的教師あり RNNG や GPT-2 XL[17] と比べて優位に統語性能が低いことか ら、完全な統語的教師が必要であるとは限らないこ とを意味している。最後に、部分的な統語的教師あ り RNNG である NPSb 文法が SyntaxGym で世界最高性能を達成し（84.6）、数値的に GPT-2 XL[17] を上回っていることから (84.2)、部分的な統語的教師が 十分であることを含意している。

## 3.2 統語的サーキット毎の正答率

統語的アブレーション実験における統語的サー キット毎の正答率を図 3 にまとめる。SyntaxGym に おける 6 つの統語的サーキット毎の正答率（Y 軸） を、様々な程度で統語的アブレーションした 17 つ のRNNG（X 軸）に対してプロットする。

興味深いことに、NP 非終端記号は 6 つ中 4 つの 統語的サーキット (Agreement、Licensing、Center Embedding、Gross-Syntactic State）において統語性能を向上させているのに対して、PP 非終端記号はほぼ全ての統語的サーキット (Long-Distance Dependenciesを除く）において統語性能を向上させ ていない。加えて、部分的な統語的教師あり RNNG である NPSb 文法は、Long-Distance Dependencies サーキットにおいて、完全な統語的教師あり RNNG より統語性能が高いことから、完全な統語的教示が 長距離依存関係（特に擬似分裂文）の正答率に悪影響を及ぼしているという可能性を支持している。

## 4 考察

まとめると、統語的アブレーション実験を実施 し、RNNG における NP、VP、PP、SBAR およびそれ らを組み合わせた非終端記号を段階的に削除するこ とで、完全な統語的教師あり（純正 RNNG と等価） から完全な統語的教師なし（単方向 LSTM と等価） まで 17 つの RNNG を構築した上で、SyntaxGym に おける 6 つの統語的サーキットで評価してきた。本節では、統語的アブレーション実験の結果を心理言語学および認知モデリングの文脈に位置付ける。

図 2 統語的アブレーション実験における全体の正答率。SyntaxGym における 6 つの統語的サーキットおよび 3 つのラン ダムシードを平均した正答率（Y 軸）を、様々な程度で統語的アブレーションした 17 つ RNNG（X 軸）に対して、先行研究 [17] における GPT-2 XL と RNNG の正答率を併せてプロットする。エラーバーは標準偏差を示す。Root（左端） と Full（GPT-2 XL と RNNG (H20) を除く右端）は、それぞれフル文法とゼロ文法を表す。N、V、P、Sb は、それぞれ NP、 VP、PP、SBAR 非終端記号が保持された文法を表す。従って、NP は NP と PP 非終端記号が保持された文法を表すため、 NP 非終端記号のみが保持された文法と混同されない様に注意されたい。

circuit $=$ Garden-Path Effects

circuit $=$ Licensing

図 3 統語的アブレーション実験における統語的サーキット毎の正答率。SyntaxGym における 6 つの統語的サーキット毎 の正答率（Y 軸）を、様々な程度で統語的アブレーションした 17 つ RNNG（X 軸）に対してプロットする。

## 4.1 必要十分 (good enough) アプローチ

小節 3.1 で報告した全体の正答率は、部分的な統語的教師あり RNNG が（特に NPSb 文法）、完全な 統語的教師なしRNNG および完全な統語的教師あ り RNNG だけで無く、先行研究 [17]における GPT-2 XL より統語性能が高いことを示していた。これら の結果は、心理言語学で提案されている言語処理に 対する必要十分 (good enough) アプローチ $[13,14]$ と親和性が高く、人間の言語処理は常に深い構文解析を実施するとは限らず、浅い構文解析や語彙的 ヒューリスティックスを利用すると主張されてい る。従って、部分的な統語的教師あり RNNG は、浅 い統語構造を生成し、語彙的ヒューリスティックス を潜在的に学習する余地を残しているという意味 で、言語処理に対する必要十分アプローチを実装し た認知モデルであると解釈することが出来る。

## 4.2 長距離依存関係

小節 3.2 で報告した統語的サーキット毎の正答率 は、NP 非終端記号が 6 つ中 4 つの統語的サーキッ トにおいて統語性能を向上させることを示してい た。重要なことに、詳細に検討した結果、これら 4 つのサーキットは以下の通り関係節に修飾された重 い主語 NP が現れるという点で自然類を成すことが 判明した（依存関係は太字）：
- Agreement: [NP The author that the senators hurt] is good.
- Licensing: [NP No author that the senators liked] has had any success.
- Center Embedding: [NP The painting that the artist painted] deteriorated.
- Gross-Syntactic State: As [NP the doctor who the administrator had recently hired] studied [NP the book that colleagues had written on cancer therapy], the nurse walked into the room.

ここで重要なポイントは、REDUCE アクションが複数 の終端記号（単語）を句ベクトルに符号化し、長距離依存関係を実質的に局所的にしているという点で ある（例えば、Agreement における author と is）。

## 5 おわりに

本研究では、統語的アブレーション実験を実施 し、RNNGにおける NP、VP、PP、SBAR およびそれ らを組み合わせた非終端記号を段階的に削除するこ とで、完全な統語的教師あり（純正 RNNG と等価） から完全な統語的教師なし（単方向 LSTM と等価） まで 17 つの RNNG を構築した上で、SyntaxGym に おける 6 つの統語的サーキットで評価した。結果と して、部分的な統語的教師あり RNNG が SyntaxGym で世界最高性能を達成し、言語処理に対する必要十分アプローチが人間らしいことを示唆した。

## 謝辞

本研究は、JST さきがけ JPMJPR21C2 および JSPS

科研費 JP19H04990（新学術領域研究）、JP21H05061

(学術変革領域研究 (B))、JP20K19877 (若手研究) の

助成を受けたものです。

## 参考文献

[1] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the ability of LSTMs to learn syntax-sensitive dependencies. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 521-535, 2016.

[2] Rebecca Marvin and Tal Linzen. Targeted syntactic evaluation of language models. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 11921202, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[3] Sepp Hochreiter and Jürgen Schmidhuber. Long Short-Term Memory. Journal of Neural Computation, Vol. 9, No. 8, pp. 17351780, 1997.

[4] John Hewitt and Christopher D. Manning. A structural probe for finding syntax in word representations. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4129-4138, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, and Noah A. Smith. Recurrent neural network grammars. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 199-209, San Diego, California, June 2016. Association for Computational Linguistics.

[6] Adhiguna Kuncoro, Chris Dyer, John Hale, Dani Yogatama, Stephen Clark, and Phil Blunsom. LSTMs can learn syntaxsensitive dependencies well, but modeling structure makes them better. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1426-1436, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[7] Ethan Wilcox, Peng Qian, Richard Futrell, Miguel Ballesteros, and Roger Levy. Structural supervision improves learning of non-local grammatical dependencies. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3302-3312, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] John Hale, Chris Dyer, Adhiguna Kuncoro, and Jonathan Brennan. Finding syntax in human encephalography with beam search. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 27272736, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[9] Ethan Gotlieb Wilcox, Jon Gauthier, Jennifer Hu, Peng Qian, and Roger P. Levy. On the predictive power of neural language models for human real-time comprehension behavior. ArXiv, Vol. abs/2006.01912, , 2020.

[10] Ryo Yoshida, Hiroshi Noji, and Yohei Oseki. Modeling human sentence processing with left-corner recurrent neural network grammars. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 2964-2973, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.
[11] Adhiguna Kuncoro, Miguel Ballesteros, Lingpeng Kong, Chris Dyer, Graham Neubig, and Noah A. Smith. What do recurrent neural network grammars learn about syntax? In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 1249-1258, Valencia, Spain, April 2017. Association for Computational Linguistics.

[12] Hiroshi Noji and Yohei Oseki. Effective batching for recurrent neural network grammars. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 4340-4352, Online, August 2021. Association for Computational Linguistics.

[13] Fernanda Ferreira, Karl G.D. Bailey, and Vittoria Ferraro. Goodenough representations in language comprehension. Current Directions in Psychological Science, Vol. 11, No. 1, pp. 11-15, 2002 .

[14] Fernanda Ferreira and Nikole D. Patson. The 'good enough' approach to language comprehension. Language and Linguistics Compass, Vol. 1, No. 1-2, pp. 71-83, 2007.

[15] Chris Dyer, Miguel Ballesteros, Wang Ling, Austin Matthews, and Noah A. Smith. Transition-based dependency parsing with stack long short-term memory. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 334-343, Beijing, China, July 2015. Association for Computational Linguistics.

[16] Mitchell Stern, Daniel Fried, and Dan Klein. Effective inference for generative neural parsing. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1695-1700, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[17] Jennifer Hu, Jon Gauthier, Peng Qian, Ethan Wilcox, and Roger Levy. A systematic assessment of syntactic generalization in neural language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1725-1744, Online, July 2020. Association for Computational Linguistics.

[18] Eugene Charniak, Don Blaheta, Niyu Ge, Keith Hall, John Hale, and Mark Johnson. BLLIP 1987- 89 WSJ Corpus Release 1 LDC2000T43, 2000. Linguistic Data Consortium.

[19] Nikita Kitaev, Steven Cao, and Dan Klein. Multilingual constituency parsing with self-attention and pre-training. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3499-3505, Florence, Italy, July 2019. Association for Computational Linguistics.

[20] Jon Gauthier, Jennifer Hu, Ethan Wilcox, Peng Qian, and Roger Levy. SyntaxGym: An online platform for targeted evaluation of language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 70-76, Online, July 2020. Association for Computational Linguistics.


# 知識グラフ埋め込みにおける負例サンプリング損失の分析

上垣外 英剛
東京工業大学
kamigaito@lr.pi.titech.ac.jp
}

林克彦
群馬大学
khayashi0201@gmail .com

## 概要

知識グラフ埋め込み (KGE) の学習では扱うエン ティティ数が膨大であるため，負例サンプリング (NS) 損失が重要な役割を果たす。しかし， NS 損失 におけるマージン項，負例サンプル数，サブサンプ リング法などを適切に検討しなければ，KGE の学習性能は著しく悪化してしまうことが知られている. これまでこの問題は経験的なハイパーパラメータ チューニングによって対処されてきたが，本稿では NS 損失を理論的に分析し，KGE 学習における NS 損失の活用に関する理解を深める.

## 1 はじめに

知識グラフは質問応答・対話といった自然言語処理の課題に対処する上で重要な資源である。しか し，全てのエンティティに対する関係を人手で網羅 することは困難であるため，知識グラフ補完 (KGC) に関する研究が進められている．KGCに対するア プローチとしては知識グラフ埋め込み (KGE) がよく 研究されている $[1,2,3,4,5]$.

知識グラフに含まれるエンティティ数は膨大で あるため, 計算効率性の観点から KGE の学習では 負例サンプリング (NS) 損失が広く使用されている。 しかし，NS 損失は本来，単語分散表現の学習のた めに提案された手法である [6]. 本来の $\mathrm{NS}$ 損失に加 えられたいくつかの違いにより, KGE の学習におい てはスコア関数，使用する損失関数，ハイパーパラ メータの組み合わせは多様なものとなる。これらの 組み合わせを適切に選択することで，KGE の性能は 大きく変化することが知られているが $[7,8]$, どの ような組み合わせが適切であるかは理論的に明確で はない，そのため，現状では経験的なハイパーパラ メータチューニングに頼っており，様々な組み合わ せを考慮するために膨大な計算時間を必要とする.

我々はこの問題に対処するために，KGE で用いら れている NS 損失に対しての理論的な検証を行い，
いくつかの理論的な事実を明らかにした。それら の理論的な事実を FB15k-237，WN18RR，YAGO3-10 を用いて実験を通して検証した結果，我々が導いた 理論的な事実は実際のモデルでも観測されることを 示した. さらに，理論的な観点から提案したサブサ ンプリング法を用いることでモデル性能を改善でき ることについても示した.

## 2 KGE における NS 損失

本節では KGE を定式化し，それに基づいて，文献 [6] で提案された元の NS 損失と KGE で使用され ている NS 損失との差異について説明する。

## 2.1 KGE の定式化

本稿ではエンティティ $e_{i}, e_{j}$ とその関係 $r_{k}$ を表 す triplet を $\left(e_{i}, r_{k}, e_{j}\right)$ と表記する。KGCではクエリ $\left(e_{i}, r_{k}, ?\right)$ や $\left(?, r_{k}, e_{j}\right)$ が与えられ, モデルは? に対応するエンティティを予測する。 入力されたクエリ を $x$ ，予測すべきエンティティを $y$ とすると，モデ ルパラメータ $\theta$ に基づくスコア関数 $s_{\theta}(x, y)$ の下， $x$ から $y$ が予測される確率 $p_{\theta}(y \mid x)$ は，Softmax 関数を 用いて次のように定義される:

$
p_{\theta}(y \mid x)=\frac{\exp \left(s_{\theta}(x, y)\right)}{\sum_{y^{\prime} \in Y} \exp \left(s_{\theta}\left(x, y^{\prime}\right)\right)} .
$

本稿では以後，損失関数が 0 となった際の式 (1)を 目的分布と呼ぶ.

## 2.2 NS 損失

Softmax 関数は明示的に確率を表せるが，正規化項によって学習時間が増大してしまう，そのため，学習時に正規化を行うことなくSoftmax 関数を近似 する手法として NS 損失が提案された [6]. $p_{d}(x, y)$ に従う観測データ $D=\left.\{\left(x_{1}, y_{1}\right), \cdots,\left(x_{n}, y_{n}\right)\right.\}$ に対 し, NS 損失は次で定義される。

$-\frac{1}{|D|} \sum_{(x, y) \in D}\left[\log \left(\sigma\left(s_{\theta}(x, y)\right)\right)+\sum_{y_{i} \sim p_{n}(y \mid x)} \log \left(\sigma\left(-s_{\theta}\left(x, y_{i}\right)\right)\right)\right]$.
$p_{n}(y \mid x)$ はノイズ分布， $\sigma$ はシグモイド関数を表す.

一方，近年は式 (2) と共に，マージン項 $\gamma$ を加え た次のような NS 損失が使用されている [4].

$
\begin{aligned}
& -\frac{1}{|D|} \sum_{(x, y) \in D}\left[\log \left(\sigma\left(s_{\theta}(x, y)+\gamma\right)\right)\right. \\
& \left.\quad+\frac{1}{v} \sum_{y_{i} \sim p_{n}(y \mid x)} \log \left(\sigma\left(-s_{\theta}\left(x, y_{i}\right)-\gamma\right)\right)\right] .
\end{aligned}
$

次節以降で両損失関数の差異を議論する。

## 3 理論的な分析

## 3.1 マージン項の役割

本節ではマージン項 $\gamma$ が持つ役割について理論的側面から論じる. 式 (2) と式 (3)を比較することで, $\gamma$ の役割に関連する次の命題を示せる.

命題 1 式 (2)と式 (3) は同じ目的分布を持つ. ${ }^{1)}$

命題 1 より, $\gamma$ の存在は損失関数が最適解に到達し た場合には影響を及ぼさない事が分かる。一方，上記の命題が成立するには, 前提となる損失関数が最適解に到達できる必要がある. 特に，スコア関数の 值域が $(-\infty,+\infty)$ ではない場合, 到達不可能な值が 存在することになるため，この点を議論する。

值域に制限のあるスコア関数として，TransE [1], RotatE [4], HAKE [9] 等に代表される距離べースの スコアリング法がある。距離ベースのスコアリン グ法は $p$-ノルムを用いて $-\left.\|f_{\theta}(x, y)\right.\|_{p}$ と表現され る. $f_{\theta}(x, y)$ は $(\mathrm{x}, \mathrm{y})$ に対してべクトル值を返す関数 である. 従って, $f_{\theta}(x, y)$ が任意のベクトルを表現可能な時，距離ベースのスコアリング法の値域は $(-\infty, 0]$ となる. これより次の命題が成立する.

命題 2 距離ベースのスコアリング関数は式 (2) に おいて $v p_{n}(y \mid x)<p_{d}(y \mid x)$ となる $(x, y)$ が存在する 時, 最適解に到達できない。 また, 式 (3) において は, $\exp (\gamma) p_{n}(y \mid x)<p_{d}(y \mid x)$ となる $(x, y)$ が存在す る時, 最適解に到達できない. ${ }^{2)}$

命題 2 より, 距離ベースのスコアリング法を NS 損失で学習する際にはノイズ分布を適切に選択す る必要があることが分かる。 しかし, 式 (2)では, $v p_{n}(y \mid x)>p_{d}(y \mid x)$ となる $v$ 及びノイズ分布を使用

1）証明は付録 A. 1 に記載.

2）証明は付録 A. 2 に記載.
する必要があるが，ノイズ分布の調整のみで全ての (x,y) に対してこの条件を満たすことは困難である. したがって式 (2)では，計算時間を犠牲にサンプル 数 $v$ を増大させる必要がある. その一方で, 式 (3) では, $\exp (\gamma) p_{n}(y \mid x)>p_{d}(y \mid x)$ を満たせば良いこと から，単に $\gamma$ に十分に大きな值を設定すればこの 問題を回避することができる．KGEでは一般的に $p_{n}(y \mid x)$ に一様分布が用いられることから, 確率の 定義より $p_{d}(y \mid x)$ が 1 を超えないことを考慮すると， $\exp (\gamma)$ はラベル数 $|Y|$ よりも大きいことが望ましい.

本節における今までの議論に基づくと，マージン 項に大きな値を設定することで欠点に直面するこ となく，モデルの学習が促進されるように考えられ る. しかし, 次の命題はマージン項を自由に設定で きるわけではないことを示す.

命題 3 マージン項 $\gamma$ は式 (3)の勾配に影響を与え 弓. ${ }^{3)}$

命題 3 より，マージン項を変更した場合，勾配に関係するその他のハイパーパラメータも適切に設定 しなければならないことが分かる. 以上より, 距離 ベースのスコアリング法を用いる際にはマージン項 に十分大きな値を設定した上で，勾配に関係する八 イパーパラメータを適切に調整しなければならな い.その一方で, ComplEx [3] や DistMult [2]のよう な值域に制限が存在しないスコアリング法ではマー ジン項の調整は不要であると考えられる。

## 3.2 負例サンプル数の影響

次に負例サンプル数 $v$ が学習に与える影響につい て理論的側面から議論する。命題 1 より，負例サン プル数はマージン項と同様に, 式 (2)と式 (3)で表さ れる両損失関数の目的分布に対しては影響しない ことが分かる。なお，詳細な議論を付録 B に記載 した.

## 3.3 KGE に適したサブサンプリング法

今までの議論は，NS 損失がモデルを観測データ により定義される分布 $p_{d}(y \mid x)$ に適合させるという 前提に基づいていた. しかし, 実際に NS 損失が行 うべきことは，モデルを観測データの背後に存在す る真の分布 $p_{d}^{\prime}(y \mid x)$ に適合させることである. この ためには，観測結果に基づく $p_{d}(y \mid x)$ と $p_{d}^{\prime}(y \mid x)$ の

3）証明は付録 A. 3 に記載.
隔たりを埋めなければならない。ここでそのような 役割を果たす関数 $A(x, y), B(x)$ が存在すると仮定 する。この両関数を用いて，真の分布への適合を考慮した NS 損失が次のように導かれる。

$
\begin{aligned}
& -\frac{1}{|D|} \sum_{(x, y) \in D}\left[\log \left(\sigma\left(s_{\theta}(x, y)+\gamma\right)\right)\right] p_{d}^{\prime}(x, y) \\
& +\sum_{\substack{ \\
y_{i} \sim p_{n}(y \mid x)}}\left[p_{n}\left(y_{i} \mid x\right) \log \left(\sigma\left(-s_{\theta}\left(x, y_{i}\right)-\gamma\right)\right)\right] p_{d}^{\prime}(x) \\
= & -\frac{1}{|D|} \sum_{(x, y) \in D}\left[\log \left(\sigma\left(s_{\theta}(x, y)+\gamma\right)\right)\right] A(x, y) p_{d}(x, y) \\
& +\sum_{y_{i} \sim p_{n}(y \mid x)}\left[p_{n}\left(y_{i} \mid x\right) \log \left(\sigma\left(-s_{\theta}\left(x, y_{i}\right)-\gamma\right)\right)\right] B(x) p_{d}(x) \\
= & -\frac{1}{|D|} \sum_{(x, y) \in D}\left[A(x, y) \log \left(\sigma\left(s_{\theta}(x, y)+\gamma\right)\right)\right. \\
& \left.+\frac{1}{v} \sum_{y_{i} \sim p_{n}(y \mid x)} B(x) \log \left(\sigma\left(-s_{\theta}\left(x, y_{i}\right)-\gamma\right)\right)\right] .
\end{aligned}
$

Mikolov ら [6] は式 (3)の NS 損失と同時に，サブサ ンプリングを提案している. サブサンプリングは学習事例である単語の出現確率を調整するものであ り, $A(x, y), B(x)$ に対応する役割を持つ. 一方で， KGE においてサブサンプリングを NS 損失で使用す ることについて議論している論文は我々の知る限り では存在しない。しかし，実装としては Sun ら $[4]^{4}$ が word2 vec を踏襲する形で頻度に基づいた割引を 行う下記のものを使用している。

$
A(x, y)=B(x, y)=\frac{\frac{1}{\sqrt{\#(x, y)}}}{\sum_{\left(x^{\prime}, y^{\prime}\right) \in D \frac{1}{\sqrt{\#\left(x^{\prime}, y^{\prime}\right)}}}} .
$

ここで＃ は頻度を表す記号であり，\# $(x, y)$ は $(x, y)$ の頻度を表す。なお，実際の $(x, y)$ は $\mathrm{KG}$ 上で高々 1 回しか出現しないため, $(x, y)=\left(e_{i}, r_{k}, e_{j}\right)$ とする とき，\# $(x, y)$ のバックオフ [10] を用いて次のように 近似している.

$
\#(x, y)=\#\left(e_{i}, r_{k}\right)+\#\left(r_{k}, e_{j}\right)
$

ここで式 (4)を元に理論的な観点から式 (5) のよ うな頻度による割引を行う KGE に特化したサブ サンプリング法を導出する。この導出は真の分布 $p_{d}^{\prime}(y \mid x)$ に対する仮定をどのように置くかによって 変化する。まず，真の分布において， $(x, y)$ は頻度 を持っているが，観測されたものは高々 1 に過ぎな かったという仮定に基づいた導出を行う. この場合 は式 (5) と同様に実際に $\#(x, y)$ の頻度を計算できな

いため，式 (6) の近似を用いる. ここで式 (4)より， $A(x, y)$ は $(x, y)$ の頻度に対する割引を， $B(x)$ は $x$ の 頻度に対する割引をそれぞれ行うため，次のような サブサンプリング法が導出される.

$
A(x, y)=\frac{\frac{1}{\sqrt{\#(x, y)}}}{\sum_{\left(x^{\prime}, y^{\prime}\right) \in D} \frac{1}{\sqrt{\#\left(x^{\prime}, y^{\prime}\right)}}}, \quad B(x)=\frac{\frac{1}{\sqrt{\# x}}}{\sum_{x^{\prime} \in D} \frac{1}{\sqrt{\# x^{\prime}}}}
$

一方で，真の分布においても，観測結果と同様に $(x, y)$ は高々頻度 1 であると仮定した場合, $p_{d}^{\prime}(y \mid x)=p_{d}^{\prime}(x, y) / p_{d}^{\prime}(x) \propto 1 / p_{d}^{\prime}(x)$ となり, $p_{d}^{\prime}(y \mid x)$ は同じ $x$ に対しては同じ値となる. 従って，この仮定の下では $p_{d}(x)$ に対してのみ割引を行うことにな り，次のサブサンプリング法が導出される.

$
A(x, y)=B(x)=\frac{\frac{1}{\sqrt{\# x}}}{\sum_{x^{\prime} \in D} \frac{1}{\sqrt{\# x^{\prime}}}} .
$

式 (7) と式 (8) は理論的な側面から導出されている が，実際のタスクにおいては汎化の対象である真の 分布はデータセットによって異なる. 従って理論的側面からのみサブサンプリング法の優劣を論じるこ とは出来ないため，使用に際しては開発データを用 いた検証が必要である.

## 4 経験的な分析

本節では 3 節で論じた理論的な特性が実際のデー タやモデルに対して成立するか検証する。データ セットは FB15k-237，WN18RR，YAGO3-10を用い た [5]. モデルは値域に制限を持たない ComplEx， DistMult と，p-ノルムを使用し値域に制限をもつ RotatE, HAKE [9]を比較した. 特に断りが無い場合, ComplEx, DistMult, RotatEのハイパーパラメータは Sun ら [4]のものを，HAKE のハイパーパラメータ は Zhang ら [9]のものを使用した.

## 4.1 マージン項の影響

マージン項を変更した際のモデルの予測精度の 変化を調査するために， Mean Reciprocal Rank (MRR) を対象に異なる $\gamma$ を用いた際の結果を比較した。

まず初めに， 3.1 節で議論した $p$-ノルムを用いた スコアリング法を適切に学習するためにマージン項 が必要であるという理論的な結論が実用上でも成立 しているのかを検証する。そのためにマージン項の 有無による性能の変化について，一様雑音分布を用 いて $p$-ノルムに基づくRotatE，HAKE と值域に制限

図 1: マージン項 $\gamma$ に 0 を用いた場合と報告値を用いた場合の各設定における MRR.

表 1: 各サブサンプリング法の評価結果. Sub. はサブサンプリングを，Base は式 (5)を，Freq は式 (7)を， Uniq は式 (8)をそれぞれ表す。太字は各設定における最高スコアを表す.

が無い ComplEx，DistMult とで比較した。なお， $\gamma$ を元の值から 0 へと大幅に変更するに際し，モデル が適切に学習されるよう, Adam の初期学習率を最 もよく使用されている 0.001 へ変更した.

図 1 にマージン項に先行研究の値を用いた際 (w/ $/$ ) の結果とマージンを使用しなかった際 (w/o $\gamma)$ の結果を示す.この結果では, ComplEx, DistMult では大きな性能の変化が無く，これらのスコアリン グ法におけるマージン項の調整の不必要性を改めて 確認することが出来る. そして, $p$-ノルムに基づく RotatE，HAKE ではマージン項を用いない場合に大幅な性能低下が確認でき，これらのスコアリング法 においてマージン項を使用することが必要であるこ とが改めて分かる.

## 4.2 サブサンプリング法の比較

3.3 節にて議論したサブサンプリング法の比較を 行う．比較はサブサンプリングを行わない場合，現在使用されているサブサンプリング法である式 (5),提案手法である式 $(7,8)$ との間で行う．比較のため のモデルとしては公開コード中にてサブサンプリ ングを行っている RotatE と HAKEを選択し，学習 では元の論文と同様に自己敵対的負例サンプリン
グ損失 [4] を用いた。評価尺度には MRR，Hits@ 1， Hits@3，Hits@10を使用した. 表 1 に各設定におけ るスコアを示す。この結果より，知識グラフの補完においてサブサンプリングの使用が有効である ことが分かる．また，我々の提案法であるUniq と Freq はRotatE d WN18RR で評価した場合以外は共 に Base よりも高いかあるいは同等の結果を示して おり，理論的側面から導出されたサブサンプリング 法が実用上も適切なものであったと考えられる.

## 5 まとめ

本論文では，KGEで用いられている NS 損失に対 しての理論的な検証を行い，いくつかの理論的な事実を明らかにした。また，その理論的な事実に基づ き，KGE の損失関数に特化したサブサンプリング法 についても提案した. それらの理論的な事実及び提案したサブサンプリング法の性能を検証するため に，我々は FB15k-237，WN18RR，YAGO3-10を用い た実験を実施した. 実験の結果，我々が導いた理論的な事実は実際のモデルでも観測されることを示し た. また，提案したサブサンプリング法が実際にモ デルの知識グラフの補完における性能を改善できる ことについても示した.

## 参考文献

[1] Antoine Bordes, Nicolas Usunier, Alberto García-Durán, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. In Advances in Neural Information Processing Systems 26: 27th Annual Conference on Neural Information Processing Systems 2013, pp. 2787-2795, 2013.

[2] Bishan Yang, Wen-tau Yih, Xiaodong He, Jianfeng Gao, and $\mathrm{Li}$ Deng. Embedding entities and relations for learning and inference in knowledge bases. In Proceddings of the 3rd International Conference on Learning Representations, ICLR 2015, 2015.

[3] Théo Trouillon, Johannes Welbl, Sebastian Riedel, Éric Gaussier, and Guillaume Bouchard. Complex embeddings for simple link prediction. In Proceedings of the 33nd International Conference on Machine Learning, ICML 2016, Vol. 48 of JMLR Workshop and Conference Proceedings, pp. 2071-2080. JMLR.org, 2016.

[4] Zhiqing Sun, Zhi-Hong Deng, Jian-Yun Nie, and Jian Tang. Rotate: Knowledge graph embedding by relational rotation in complex space. In Proceedings of the 7th International Conference on Learning Representations, ICLR 2019, 2019.

[5] Tim Dettmers, Pasquale Minervini, Pontus Stenetorp, and Sebastian Riedel. Convolutional 2d knowledge graph embeddings. In Proceedings of the Thirty-Second AAAI Conference on Artificial Intelligence, (AAAI-18), pp. 1811-1818, 2018

[6] Tomás Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. Distributed representations of words and phrases and their compositionality. CoRR, Vol. abs/1310.4546, , 2013.

[7] Daniel Ruffinelli, Samuel Broscheit, and Rainer Gemulla. You CAN teach an old dog new tricks! on training knowledge graph embeddings. In Proceedings of the 8th International Conference on Learning Representations, ICLR 2020, 2020.

[8] Mehdi Ali, Max Berrendorf, Charles Tapley Hoyt, Laurent Vermue, Mikhail Galkin, Sahand Sharifzadeh, Asja Fischer, Volker Tresp, and Jens Lehmann. Bringing light into the dark: A large-scale evaluation of knowledge graph embedding models under a unified framework. IEEE Transactions on Pattern Analysis and Machine Intelligence, pp. 1-1, 2021.

[9] Zhanqiu Zhang, Jianyu Cai, Yongdong Zhang, and Jie Wang. Learning hierarchy-aware knowledge graph embeddings for link prediction. In Proceedings of the Thirty-Fourth AAAI Conference on Artificial Intelligence, (AAAI20), pp. 3065-3072, 2020.

[10] Slava Katz. Estimation of probabilities from sparse data for the language model component of a speech recognizer. IEEE transactions on acoustics, speech, and signal processing, Vol. 35, No. 3, pp. 400-401, 1987.

[11] Omer Levy and Yoav Goldberg. Neural word embedding as implicit matrix factorization. In Z. Ghahramani, M. Welling, C. Cortes, N. Lawrence, and K. Q. Weinberger, editors, Advances in Neural Information Pro- cessing Systems, Vol. 27. Curran Associates, Inc., 2014.

[12] Hidetaka Kamigaito and Katsuhiko Hayashi. Unified interpretation of softmax cross-entropy and negative sampling: With case study for knowledge graph embedding. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, ACL/IJCNLP 2021, pp. 5517-5531, 2021.

[13] 上垣外英剛, 林克彦. Unified interpretation of softmax cross entropy and negative sampling: With case study for knowledge graph embedding. 自然言語処理, Vol. 28, No. 4, pp. 1336-1341, 2021.

[14] Samuel Broscheit, Daniel Ruffinelli, Adrian Kochsiek, Patrick Betz, and Rainer Gemulla. LibKGE - A knowledge graph embedding library for reproducible research. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 165-174, 2020.

## A 証明

## A. 1 命題 1 の証明

先行研究 $[11,12,13]$ より, 式 (2) が 0 となる際に

$
\exp \left(s_{\theta}(x, y)\right)=\frac{p_{d}(y \mid x)}{v p_{n}(y \mid x)}
$

が成立.ここで式 (3) が 0 となる際を考える. 式 (3) における $v$ の正規化により式 (9) の $v$ は消去され る. さらにマージン項 $\gamma$ の存在により, 式 (3) が 0 となる際に

$
\exp \left(s_{\theta}(x, y)\right)=\frac{p_{d}(y \mid x)}{\exp (\gamma) p_{n}(y \mid x)}
$

が成立. 式(9)を式(1)に代入した結果と，式(10)を 式(1)に代入した結果は共に

$
\frac{p_{d}(y \mid x)}{\left.\sum_{y^{\prime} \in Y} p_{d}\left(y^{\prime} \mid x\right)\right)}
$

となることから命題 1 が示された.

## A. 2 命題 2 の証明

$s_{\theta}(x, y) \leqq 0$ のとき, $\exp \left(s_{\theta}(x, y)\right) \leqq 1$ が成立する. このとき，式 (9) の右辺が同じ值域を持たない場合，式 (2) は到達不可能な点を持つ可能性がある. 従っ て式 (2) が到達不可能な点を持たない条件は次のよ うに導かれる

$
\begin{aligned}
& \frac{p_{d}(y \mid x)}{v p_{n}(y \mid x)} \leqq 1 \\
\Leftrightarrow & p_{d}(y \mid x) \leqq v p_{n}(y \mid x) .
\end{aligned}
$

式 (3) が到達不可能な点を持たない条件も同様に次 のように導かれる

$
\begin{aligned}
& \frac{p_{d}(y \mid x)}{\exp (\gamma) p_{n}(y \mid x)} \leqq 1 \\
\Leftrightarrow & p_{d}(y \mid x) \leqq \exp (\gamma) p_{n}(y \mid x) .
\end{aligned}
$

## A. 3 命題 3 の証明

合成関数の微分の定義より式 (3)を微分した結果 には $\gamma$ が含まれるため自明.

## B 負例サンプル数の影響

本節では 3.2 節で議論した負例サンプル数が学習 に与える影響について調査する。具体的には，様々 な負例サンプル数に基づきモデルを学習し, 学習さ れたモデルの MRRを比較する。式 (2) に基づく NS

図 2: 負例サンプル数が変化した際の各設定におけ る MRR. NS (Sum) は式 (2), NS (Mean) は式 (3) の NS 損失をそれぞれ表している

損失を使用するため，我々は LibKGE $[14]^{5)}$ を使用し た. 負例サンプル数以外のハイパーパラメータにつ いては Kamigaito ら [12] と同じものを使用した.

図 2 に負例サンプル数を変化させた際の各設定 における MRRを示す..ここ結果より，損失関数に よって示す値こそ異なるものの，負例サンプル数の 違いによる MRR の変動幅はどの損失関数において もほぼ同じであることが分かる。また，負例サンプ ル数の影響を強く受けると考えられるSANS におい ても負例サンプル数の違いによるスコアの大きな変動は観測されない.この結果は目的分布の観点から は負例サンプル数による影響はない，という 3.2 節 の内容に沿うものである.


# 日本語 T5 モデルを用いた障害レポートからの重要箇所抽出

山下 郁海 ${ }^{1}$ 岡 照晃 ${ }^{1}$ 小町 守 ${ }^{1}$ 真鍋 章 2 谷本 恒野 ${ }^{2}$
1 東京都立大学 2 富士電機株式会社
yamashita-ikumi@ed.tmu.ac.jp, \{teruaki-oka, komachi\}@tmu.ac.jp
\{manabe-akira, tanimoto-kouya\}@fujielectric.com

## 概要

本研究では日本語 T5 モデルを用い、機器の障害情報レポートからの重要箇所抽出を質問応答形式の タスクとして実験を行う．実験の結果，BERTを用 いた先行研究を上回る性能で，障害レポートからの 重要箇所抽出を実現した．また T5 に入力する質問形式を変更することで抽出結果が変わることを確認 し，質問の内容が重要箇所抽出の性能に影響を与え ていることを明らかにした。また適切な質問を用い ることで重要箇所抽出の性能が向上することを示 した.

## 1 はじめに

現代社会は様々な機器に溢れており，そうした機器は時に不具合を起こすこともある. 不具合が発生 すると機器の保全担当者たちは障害情報のレポー トの作成を行う. しかし, 活用の際に蓄えられたレ ポートを人手でくまなく確認し, 重要箇所を探し当 てるのは労力の大きい作業である. 自動で重要箇所 の抽出が可能になれば，例えば，故障箇所の迅速な 特定と対処や，それを踏まえた顧客への早期対応な どの業務改善に役立つと考えられる. 本研究で扱う 障害レポートは，主に障害の状況，原因，そしてそ れに対する措置を示す文と，それらに含まれないそ の他の文によって構成されている。障害レポートの 状況・原因・措置のラベルが付与された文と重要箇所の抽出例を図 1 に示す. 本研究は障害レポートの 各文が上述の 3 種類に分類されている状況下におい て，各文から重要箇所を抽出することを目的として 研究を行う.

本研究で扱う障害レポートはデータが少なく,追加でのデータの確保も権利の関係で難しい. そ のためタスクに合わせた大規模モデルを一から作成することは困難である．そこで本研究では，学習に使用可能なデータが少量である場合でも有効性が確認されている事前学習モデル $[1,2,3]$ を用 いた実験を行う. 本研究と同様に障害レポートか らの重要箇所抽出を行った本間ら [4] の先行研究 では，Transformer [5] の Encoder 部分を用いる事前学習モデル Bidirectional Encoder Representations from Transformers (BERT) [1] により，LSTMを用いた小平らの研究 [6] からの性能向上を達成した. 本研究では本間ら [4] とは異なり, Encoder-Decoder モ デルの事前学習モデルである Text-To-Text Transfer Transformer (T5) [7] を用いて実験を行い，障害レ ポートからの重要箇所抽出への有効性を検証し, BERT を用いた先行研究と比較して大幅な性能の向上を確認した. また，本研究では本間ら [4] によっ て提案された障害レポートからの重要箇所抽出の夕 スクを抽出型の質問応答形式のタスクとして扱う手法にならい， T5 モデルを用いた質問応答タスクと して実験を行った。その際，質問形式の違いによる 重要箇所抽出の性能比較も実施した. 結果として,適切な質問を用いることで重要箇所抽出の性能が向上することを示した.

## 2 関連研究

## 2.1 事前学習モデル T5

近年，大規模なラベルなしデータで学習を行う事前学習モデルの研究が進み，様々なタスクで高い性能を発揮している。事前学習モデルの 1 つである T5 は自然言語処理に関する様々なタスクを全て系列から系列への変換とみなし，大規模な事前学習済 み Transformer モデルを用いてタスクを解くことで 性能向上を実現している. T5 の事前学習時の入力 と出力の例を以下に示す.

入力 今日はいい<X>で<Y>やすいですね。

出力 $<\mathrm{X}>$ 天気 $<\mathrm{Y}>$ 過ごし

ここで<X>と<Y>はマスクのための特殊トークンで

図 1 障害レポートに対するアノテーションの例

ある．T5 の事前学習は Masked Language Model に基 づいており，入力側は文書の一部のトークンがマス クされており, 出力側はマスクされたトークンの予測をすることで学習を行う。

## 2.2 重要箇所抽出タスク

本研究と類似した形式で障害レポートからの重要箇所抽出を行っている研究として，LSTMを用いて 系列ラベリングタスクとして解く小平らの手法 [6] と，BERT モデルを用いて質問応答タスクの形式を 応用して解く本間らの手法 [4] が存在する. これ らの研究は本研究と同様のタスクについて研究を 行っているが，本研究で用いている事前学習済みの Encode-Decoder モデルを用いた実験や，質問応答形式における質問を変更した際の影響に関する分析は 行っていない。

本研究で扱う障害レポートからの重要箇所抽出 タスクは対象とするデータのドメインの違い，抽出すべき箇所が文や文章ではなくその一部である などの違いはみられるものの，抽出型要約タスク や Stanford Question Answering Dataset (SQuAD) [8] に 代表される抽出型の質問応答タスクに類似して いる. 抽出型要約の研究としては，BERTを用い て fine-tuning を行う手法の有効性が報告されてお り [9], 正解の要約と要約候補の BERT から得られる 文書表現がより近くなるように学習を行う手法 [10] も提案されている. 抽出型の質問応答の研究として は，BERTをはじめとした様々な事前学習モデルを fine-tuning する手法 $[1,2,3]$ や，スパン予測に特化 した学習で性能向上を図る SpanBERT [11] が存在す る. また Raffel ら [7] は T5 モデルを用いて抽出型要約や質問応答の実験を行っており，BERT モデルよ りも高い性能を示している. これらの研究は本研究 と類似したタスクであるが，対象は英語であり。一方，本研究ではより小規模な日本語の障害レポート を対象に T5 モデルを用いた重要箇所抽出の有効性
を確認する。

## 2.3 入力形式の変更による性能向上

事前学習モデル GPT-3 を提案した Brown ら [12] はモデルを fine-tuning するのではなく，prompt と呼 ばれる入力形式を変えることで望むタスク出力を得 られることを示し，注目を浴びた。また分類タスク において，入力の形式を適切に変化させ fine-tuning を行うことで性能向上が可能であることが報告され ている $[13,14,15]$. これらはいずれもタスクに合わ せた適切な入力形式での性能向上を示唆している.本研究でも先行研究にならい質問応答の入力となる 質問の形式を複数用意し比較を行った。本研究では 先行研究で扱っていない重要箇所の抽出タスクを行 うだけでなく、Encoder-Decoder モデルに対する入力形式の変化の有効性について，日本語での検証に取 り組んでいる。

## 3 障害レポートからの重要箇所抽出

## 3.1 タスク設定

障害レポートには本研究で着目する状況や原因，措置にあたる文章以外にも，これらに含まれないそ の他の文章も存在する. 本研究では，このような各障害レポートを人手で分類し，その他にあたる文章 を除いた上で取り出された状況・原因・措置それぞ れの文章を入力とし，それらから重要箇所を抽出す ることを目的とする．実際の人手分類後の文章（入力）と抜き出された重要箇所（目的とする出力）の 例を図 1 に示す。

## 3.2 手法

本研究では質問応答形式で重要箇所抽出を行う手法 [4] に基づき，日本語 T5 モデルを用いた質問応答 タスク形式での重要箇所の抽出を行う。本研究で扱 う質問応答形式での重要箇所の抽出タスクの例を
表 1 重要箇所抽出の実験結果．太字はその列内で最もスコアが高いものを示し，下線はその列内で 2 番目にスコアが高 いものを示す. 質問種類がラベル別の BERT のスコアは本間ら [4] のものである.

図 $2 \mathrm{~T} 5$ を用いた質問応答形式での重要箇所抽出の例.

図 2 に示す. 図 2 では，質問として各ラベルごとの 文を用意し，抽出元文章と組み合わせることで質問応答のタスクとしている。抽出元文章の始まりには “文章：”をつけ，質問の始まりには“質問：”をつ けた。また T5 は Encoder-Decoder の構造の生成モデ ルであり，出力は抽出箇所の系列がそのまま出力さ れる. 本研究では質問を 4 種類用いて, 質問形式に よる結果の比較を行った. 以下に，質問の種類とそ の概要を示す.

質問なし質問を一切用いず抽出元文章のみを入力 とする形式

統一 状況・原因・措置のラベルに関わらず統一の “重要箇所はどこ?"という質問を行う形式

ラベル別 ラベルごとに“状況/原因/措置 は何？”と いう質問を行う形式

無意味 タスクとは無関係な “今日は晴れですか？” という質問を行う形式

## 4 実験

## 4.1 実験設定

本研究では、富士電機（株）の保有する設備保全 に関する障害レポートのデータを用いる。障害レ ポートは 194 件存在し，データ中の人名，企業名及 び場所はそれぞれ MAN，COMPANY 及び PLACEへ マスキング処理を施している。また一部データでア ノテーション誤りにより抽出元文章内に正解の重要箇所が含まれていないものがあったためそれらを 除き，状況・原因・措置を合わせて 577 件の抽出元文章と重要箇所のペアを作成した。実験の際はこの データを訓練：開発：評価=3:1:1 として 5 分割交差検証を行う。評価手法は本間ら [4] にならい適合率 に 2 倍の重みを付ける評価尺度 $\mathrm{F}_{2}$ スコアを用いる。本研究で用いる T5 モデルは Hugging Face ${ }^{1)}$ の 自然言語処理ライブラリ Transformers ${ }^{2}$ に基づく, Megagon Labs 公開の事前学習済み日本語 T5（語彙サイズ $32 \mathrm{~K}$ のモデル） 3）を使用した. 実装には Transformers のリポジトリに含まれるスクリプト run_translation.py を本研究に合わせて一部書き換え たものを用いた．学習時のパラメータは学習率 5e-5，バッチサイズ 32, エポック数 100 として最も 性能の高いモデルを開発データで選択した。

## 4.2 実験結果

実験結果を表 1 に示す。結果を見ると $\mathrm{T} 5$ を用い たモデルはどのような質問の形式でも，全てのラべ ルにおいて BERT を用いた先行研究よりも大幅に性能が向上している．T5 の結果内で質問形式を比較

表 2 モデルの出力例.

すると，質問なしのモデルとラベル別またはラベル 間で統一の質問を用いるモデルの結果の比較から，質問を用いることで性能が向上していることがわか る。一方，無意味な質問を用いるモデルは質問なし のモデルとほとんど同程度の性能であり, 単に質問 を追加するだけでは性能は向上せず，質問の内容が 重要であることがわかる。また最もスコアの高いラ ベル別の質問を行うモデルとラベル間で質問を統一 したモデルを比較すると，ラベルごとに質問を分け ることが性能向上に寄与していることもわかる.

## 5 分析

## 5.1 出力例の分析

実際のモデルの出力例を表 2 に示す. 抽出元文章 の赤色で書かれた箇所は重要箇所の参照である. 出力に用いたモデルは, 表 1 (3)の（全モデル中で最 も性能の高かった）ラベル別の質問を文章の後ろに つけて入力を行ったモデルである。例 1 ，例 3 ，例 5 を見ると，それぞれのラベルに対して適切な出力が 行われていることがわかる。また，例 4 を見ると，完全一致ではなく抽出範囲に誤りがあるものの，抽出すべき箇所の判断は正しく行われており正解に近 い出力ができていることもわかる。一方，T5 は抽出モデルではなく生成モデルのため, 抽出モデルで は起こりえない誤りも存在している. 例 2 と例 6 は 生成モデル特有の誤りであり, 例 2 では抽出元の文章には存在しない単語を出力している. 例 6 では抽出箇所は正しいものの，繰り返しが起きてしまって いることがわかる.

## 5.2 人手評価

5.1 節で見た表 2 の例 4 にもあるように $\mathrm{T} 5$ を用 いたモデルの出力は，正解との完全一致ではないが 部分一致であるようなものが多くみられた。 そこで表 3 人手評価の結果.

表 1 の(3) の出力の人手評価を行った. 具体的には,全 577 件のデータのうち，モデルの出力と正解が完全一致であったものを除く 311 件について， 2 人の 評価者が下記の 4 段階での評価を行った.

i. 正解と出力は完全一致ではないが、問題なく出力は受け入れられる

ii. 正解と出力は完全一致ではないが、正解の方に 問題があり出力は受け入れられる

iii. 正解と出力は完全一致ではなく、出力は受け入 れられない

iv. 正解と出力は完全一致ではなく、正解に問題が あるが、出力も受け入れられない

それぞれの評価の具体例を付録 $\mathrm{A}$ に示す. 表 3 に 人手評価の定量評価結果を示す. 出力が受け入れら れると評価されているもの（i と ii）の割合が全体 の $24.9 \%$ となっており，完全一致のものと合わせて $71.0 \%$ モデル出力が受け入れられるものとなった.

## 6 おわりに

本研究では日本語 $\mathrm{T} 5$ モデルを用いた障害レポー トからの質問応答形式での重要箇所抽出の研究に取 り組み，日本語 BERT モデルを用いた先行研究と比較し高い性能が得られることを示した。また質問の 形式を適切なものに変えることで，質問を用いない 場合や適切ではない質問を用いる場合と比較し，性能向上を確認した。今後はより適切な質問形式に関 して詳細な研究を行っていきたい.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL, pp. 41714186, 2019.

[2] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized bert pretraining approach, 2019.

[3] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. ALBERT: A lite bert for self-supervised learning of language representations. In ICLR, 2020.

[4] 本間広樹, 小町守, 真鍋章, 谷本恒野. BERT モデルを 用いた障害レポートに対する重要箇所抽出. 言語処理学会 第 27 回年次大会, pp. 189-193, 2021.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS, Vol. 30, pp. 5998-6008, 2017.

[6] 小平知範, 宮崎亮輔, 小町守. 障害情報レポートに対 する同時関連文章圧縮. 言語処理学会 第 23 回年次大会, pp. 189-193, 2017.

[7] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. JMLR, Vol. 21, pp. $1-67,2020$.

[8] Pranav Rajpurkar, Robin Jia, and Percy Liang. Know what you don't know: Unanswerable questions for SQuAD. In ACL, pp. 784-789, 2018.

[9] Yang Liu and Mirella Lapata. Text summarization with pretrained encoders. In EMNLP-IJCNLP, pp. 3730-3740, 2019.

[10] Ming Zhong, Pengfei Liu, Yiran Chen, Danqing Wang, Xipeng Qiu, and Xuanjing Huang. Extractive summarization as text matching. In ACL, pp. 6197-6208, 2020.

[11] Mandar Joshi, Danqi Chen, Yinhan Liu, Daniel S. Weld, Luke Zettlemoyer, and Omer Levy. SpanBERT: Improving pre-training by representing and predicting spans. TACL, Vol. 8, pp. 64-77, 2020.

[12] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In NeurIPS, Vol. 33, pp. 1877-1901, 2020.

[13] Timo Schick and Hinrich Schütze. Exploiting clozequestions for few-shot text classification and natural language inference. In EACL, pp. 255-269, 2021.

[14] Xiao Liu, Yanan Zheng, Zhengxiao Du, Ming Ding, Yujie Qian, Zhilin Yang, and Jie Tang. GPT understands, too.
arXiv:2103.10385, 2021.

[15] Timo Schick and Hinrich Schütze. It's not just size that matters: Small language models are also few-shot learners. In NAACL-HLT, pp. 2339-2352, 2021.

## 付録

## A 人手評価の各評価の例

出力の人手評価における各評価の例を表 4 に示す. 評価 1 は，正解の重要箇所が過不足なく必要な情報を 持っており, 重要箇所とモデル出力との差が，モデル出力の方が正解の重要箇所より長い場合は余計な要素 がなく，モデル出力の方が正解の重要箇所より短い場合は差分にあたる箇所の重要度が低いものである. 評価 2 は，正解が必要最低限の情報を持っていないなどの理由で問題がある一方で，モデル出力が必要な情報 を抽出できている場合である。評価 3 は，評価 1 と同様に正解の重要箇所が過不足なく必要な情報を持って いる一方で，モデル出力に余計な要素が存在している，必要な情報まで削ってしまっている，そもそも抽出箇所が異なる，などのものである。評価 4 は，評価 2 と同様に正解が必要最低限の情報を持っていないなど の理由で問題があるもので，かつモデル出力も評価 3 と同様の理由で問題があるものである.

表 4 人手評価における各評価例.

 \\


# 生化学分野における Video\&Language データセットの構築

迫田航次郎 ${ }^{1}$ 西村太一 ${ }^{1}$ 森信介 ${ }^{2}$ 小野富三人 ${ }^{3}$ 田中奈津子 ${ }^{3}$
1 京都大学大学院情報学研究科 2 京都大学学術情報メディアセンター
3 大阪医科薬科大学
\{sakoda.kojiro.48z, nishimura.taichi.43x\}@st.kyoto-u.ac.jp
forest@i.kyoto-u.ac.jp

## 概要

本研究では生化学分野における Video\&Language データセット (Biochemical Video-and-Language: BioVL）を構築した.このデータセットは生化学実験動画，実験プロトコル，動画に映る動作とプ ロトコルに記述された手順との対応関係を示すアノ テーションで構成される. 動画は 4 種類の実験ごと に各 4 回ずつの 16 動画，合計 1.6 時間分を収録し た. 本研究の実験では構築した BioVL データセッ トを用いて，手順と動作との対応関係を推定し，ア ライメントを獲得するタスクを行った。

## 1 はじめに

科学の世界には「再現性の危機」と呼ばれる問題 がある．これは，研究者が自分自身が過去に行った 実験や，他の研究者が行った実験を再現できないと いう問題である. [1] によると, 生化学分野や生命科学分野の $80 \%$ 以上の研究者が他の研究者が行っ た実験を再現できなかった経験があると回答して いる。また，再現性の危機が生じる原因の一つとし て, 研究者同士で実験方法や実験中の詳細な情報が 共有できていないことが示されている．実験の実施 に必要な, 実験の手順や機器の使用法, 試薬の調整法などの情報はプロトコルに記述され，研究者はプ ロトコルを参照することで実験を再現できる．プロ トコルは実験に必要な手順をテキスト化しているた め，多くの人が簡単に実験を実施できるようになる が，プロトコルの記述だけではそれぞれの手順が実際にどのような動作で行われているかなどの情報が 伝わりづらい．そこで，実験の再現性を高める手段 の一つとして，研究者が行う実験の様子を収録し，収録した動画とプロトコルとを共に参照することが 挙げられる.

本研究では生化学分野を対象に, Video\&Language

図 1 BioVLデータセットの例. 生化学実験動画，実験プ ロトコル，動画に映る動作とプロトコルに記述された手順との対応関係を示すアノテーションで構成される。

の技術を用いて，実験方法や実験中の詳細な情報の 共有を支援することで再現性の危機の解消を目指 す. 具体的には，研究者が行なっている実験を収録 した動画と実験の手順や条件が記述されたプロトコ ルとの対応関係を推定し，手順と動作のアライメン トを獲得する．アライメントを獲得することで，プ ロトコルに記述された手順から得られる定量的な情報と動画に映る動作から得られる定性的な情報の両方を参照しながら実験を行えるため，再現実験が容易になると考えられる。

この課題を達成するための取り組みとし て，まず初めに生化学分野における新しい Video\&Language データセット (Biochemical Videoand-Language: BioVL)を構築する（図 1).このデー タセットは生化学実験動画，実験プロトコル，動画 に映る動作とプロトコルに記述された手順との対応関係を示すアノテーションで構成される。次に，構築した BioVL データセットを用いてプロトコルに 記述された手順と動画に映る動作とのアライメント を獲得するタスクを行った. 本研究の実験結果は,最先端の事前学習済みモデルを用いても大幅な改善 の余地があることを示している．また，BioVLデー タセットは研究目的でのみオンラインで利用する

(a)

(b)図 2 (a): カメラを装着した状態で実験を行なっている様子. (b) : 一人称視点カメラで収録した実験の様子.

ことができ，これは生化学分野の Video\&Language データセットとしては初めての試みである.

## 2 BioVL データセットの構築と統計情報

BioVL データセットは生化学実験動画，実験プロ トコル，動画に映る動作とプロトコルに記述された 手順との対応関係を示すアノテーションで構成され る. 以下に BioVLデータセットの動画収録方法，ア ノテーション方法，データセットの統計情報につい て示す.

## 2.1 実験動画の収録

## 2.1.1 収録した実験

本研究では DNA 抽出，PCR，アガロースゲル作成，ミニプレップの，生化学分野の研究室で一般的によく行われている 4 種類の実験を収録対象と した. 収録は実験ごとに 4 回ずつ実施し，合計 16 動画，1.6 時間分を収録した．また，DNA 抽出には フェノールクロロホルム抽出とエタノール沈殿とい う 2 つの方法があり，DNA 抽出に関してはこれらを 2 回ずつ収録した。

## 2.1.2 実験収録の様子

本研究では大阪医科薬科大学の研究者に，カメラ を装着した状態で実験を実施してもらうよう依頼し た. 動画収録の負担を最小限にし，将来的なデータ セットの拡張のために，未編集な一人称視点 [2] の カメラを採用した．また，収録のために追加のカメ ラやセンサー [3,4] は用いない. カメラは Panasonic の HX-A500を使用し，図 2 の (a) のようにへッド セットに固定されている。また，実験は普段と同じ 環境で 1 人の研究者がプロトコルを参照しながら実施した.表 1 PCR のアノテーション例.

## 2.2 アノテーション方法

本研究では [5] に則り，非専門家によるアノテー ションと，専門家による検証を順に行うことでアノ テーションを付与した. 生化学分野の非専門家のア ノテーターは，収録した実験動画を見ながら，プロ トコルの各手順と動画に映る動作の開始時間と終了時間を対応付けた。このアノテーションの段階で，専門家のアノテーターが非専門家のアノテーターの 付けたアノテーションを検証し，誤りがあれば訂正 した. BioVL データセットとしては専門家が検証し た後のアノテーションのみを保存したため，非専門家と専門家のアノテーションの一致率は計算できな い. 将来的には，他の専門家にさらにアノテーショ ンの検証を依頼することでアノテーションの品質を 評価する予定である．表 1 に PCR のアノテーショ ンの例を示す.

## 2.3 統計情報

## 2.3.1プロトコル側の統計情報

前処理として，プロトコルに記述された手順を 動詞ごとに手作業で分割した。例として，"Invert 4 times to mix and add $10 \mu 1$ of Alkaline Protease Solution." という記述があった場合，"Invert 4 times to mix." と"Add $10 \mu$ l of Alkaline Protease Solution."の 2 つの手順に分割する。この前処理を行なった後のプロトコ ル側の統計情報を表 2 に示す。表 2 では実験によっ て手順の数が大幅に異なることが示されている. 手順数が最大の実験はミニプレップであり，最小の実験はフェノールクロロホルム抽出である。また，同 じ実験であっても手順数が異なり，標準偏差が生じ ているのは，一部の実験で手順の簡略化を行なった ためである．手順ごとの平均単語数が最大の実験は ミニプレップであり，最小の実験は PCR である.
表 2 実験ごとの手順数と手順ごとの平均単語数.

図 3 実験ごとの動画の長さ.

## 2.3.2 動画側の統計情報

いくつかの実験では研究者が特定の手順を完了 する間（試薬を遠心分離するなど）に待ち時間が生 じる. 待機している間，研究者にはカメラをへッド セットに固定したまま，ヘッドセットを外しても らった. このような待機時間は実験手順とは無関係 なため，手動でその間のシーンをカットした. プロ トコル側と同様に，動画の前処理を行なった後の動画側の統計情報を図 3 に示す. 図 3 は実験ごとの動画の長さを示している. DNA 抽出について, 左側 の 2 つがエタノール沈殿，右側の 2 つがフェノール クロロホルム抽出を示している。 また，ミニプレッ プの動画の長さが左側の 2 つと右側の 2 つで大き く異なるのはミニプレップの 3 回目, 4 回目の収録 で試料の反応時間や手順を簡略化したためである.動画の平均時間について，ミニプレップが最長であ り, PCR が最短である.

## 3 実験と評価

本研究では BioVL データセットを用いてプロ トコルに記述された手順と動画に映る動作との アライメントを獲得するタスクを行なった.この タスクを行うにあたって，BioVL データセットの 大きさが限られているため, 機械学習モデルを学習させることが困難だった. そのため, 大規模な データセットで事前学習したモデルである Video and Language Embeddimg model (VLE)[6] と Contrastive
Language-Image Pre-training (CLIP)[7]をそれぞれ，モ デルの重みを再学習することなくBioVLデータセッ トを用いたタスクに適用した．以下に，実験に用い た事前学習済みモデル，行ったタスクの詳細と結果 について示す.

## 3.1 実験に用いた事前学習済みモデル

## 3.1.1 VLE

VLE は動画と言語の対応関係を推定するモデルで ある. HowTo100M データセット [6]を用いて，対応 する動画と言語のペアを共有潜在空間上に埋め込 み，それらの表現べクトルの $\cos$ 類似度が大きくな るように事前学習が行われている. VLE は事前学習 に用いていない様々な Video\&Language データセッ トに対する動画検索タスクで高い精度を達成して いる.

## 3.1.2 CLIP

CLIP は言語から画像表現を学習する画像分類モ デルである. 英語版 Wikipedia から， 4 億枚の画像 とその画像を説明する言語のぺアを収集することで 構築したデータセットである，WebImageText(WIT) を用いて事前学習されている。事前学習は共有潜在空間上で，対応する言語と画像との表現ベクトルの $\cos$ 類似度を最大化する一方で，対応しない言語と 画像との表現べクトルの $\cos$ 類似度を最小化するこ とで行われている. CLIP は VLE と同様に, 事前学習に用いていない様々なデータセットに対する画像分類タスクで高い精度を達成している。 また，CLIP は画像を入出力するモデルであるため, 本研究では [7] と同様に，モデルに入力する各動画区間の中央 のフレームを入力画像として用いた。

## 3.2 手順と動作のアライメントを獲得する タスク

このタスクではプロトコルに記述された手順と動画に映る動作との対応関係を推定する. 手順と動作

図4 アライメントモデル.

表 3 アライメントタスクの結果.

のアライメントを獲得することで，研究者がプロト コルと動画の両方から実験に必要な情報を得るこ とができるようになるため，実験の再現性を高める ことができる. 本研究では 3 つの処理で構成される アライメントモデルを提案した（図 4).(1) で動画 を 5 秒間隔のセグメントに区切る。(2)では事前学習済みモデルから出力された手順の表現ベクトルと 各セグメントの表現ベクトルの $\cos$ 類似度を計算す る. 最後に，(3)では動的計画法の手法の 1 つである Needleman-Wunsch アルゴリズム [8] に基づいて最適 な経路を探索することでアライメントを獲得する。

## 3.2.1 評価尺度

アライメントの結果を評価するために，Intersection over Union (IoU) を計算し，その平均 (mIoU) を取 る. $\mathrm{mIoU}$ は手順に対してアノテーションされた動画に映る動作の時間幅と, 入力した手順に対して事前学習済みモデルが予測した動作の時間幅が一致し ている割合の平均を示す.

## 3.2.2 結果

表 3 にアライメントタスクの結果を示す. ベース ラインは動画を手順数で均一な時間幅に分割した時 の結果である。本研究では最先端の事前学習済みモ デルを用いたが，結果はベースラインとほとんど同 じとなった. このような結果となったのは，事前学習済みモデルの学習に用いたデータセットに生化学分野のデータが含まれておらず，BioVLデータセッ トの動画に対して適切な表現ベクトルが得られてい ないことが原因であると考えられる。

## 4 おわりに

本研究では Video\&Language 技術を用いて，生化学分野の実験の再現を支援することを目的としてい る.この課題を達成するための取り組みとして，ま ず初めに生化学実験動画，実験プロトコル，動作と 手順の対応関係を示すアノテーションで構成される BioVL データセットを構築した. また，BioVL デー タセットを用いて，プロトコルに記述された手順と 動画に映る動作とのアライメントを獲得するタスク を実施した．本研究の実験結果は，最先端の事前学習済みモデルを用いても大幅な改善の余地があるこ とを示している．今後の方針としては BioVL デー タセットの動画数を増やし，機械学習モデルを学習 させることや，本研究で用いた事前学習済みモデル を再学習させるために Web 上から生化学実験動画 を収集することなどが考えられる。

## 参考文献

[1] Monya Baker. 1,500 scientists lift the lid on reproducibility. Nature, No. 533, pp. 452-454, 2016.

[2] Giovanni Maria Farinella Sanja Fidler Antonino Furnari Evangelos Kazakos Davide Moltisanti Jonathan Munro Toby Perrett Will Price Dima Damen, Hazel Doughty and Michael Wray. Scaling egocentric vision: The epickitchens dataset. In Proc. ECCV, pp. 753-771, 2018.

[3] Qiguang Liu Henry Kautz Jiebo Luo Iftekhar Naim, Young Song and Daniel Gildea. Unsupervised alignment of natural language instructions with video segments. In Proc. AAAI, pp. 1558-1564, 2014.

[4] Michaela Regneri Sikandar Amin Mykhaylo Andriluka Manfred Pinkal Marcus Rohrbach, Anna Rohrbach and Bernt Schiele. Recognizing fine-grained and composite activities using hand-centric features and script data. IJCV, No. 119.

[5] Chenliang Xu Luowei Zhou and Jason J. Corso. Towards automatic learning of procedures from web instructional videos. In Proc. AAAI, pp. 7590-7598, 2018.

[6] Jean-Baptiste Alayrac Makarand Tapaswi Ivan Laptev Antoine Miech, Dimitri Zhukov and Josef Sivic. Howto100m: Learning a text-video embedding by watching hundred million narrated video clips. In Proc. ICCV, pp. 2630-2640, 2019.

[7] Chris Hallacy Aditya Ramesh Gabriel Goh Sandhini Agarwal Girish Sastry Amanda Askell Pamela Mishkin Jack Clark Gretchen Krueger Alec Radford, Jong Wook Kim and Ilya Sutskever. Learning transferable visual models from natural language supervision. In Proc. ICML, 2021.

[8] Saul B. Needleman and Christian D. Wunsch. A general method applicable to the search for similarities in the amino acid sequence of two proteins. Jornal of Molecular Biology, No. 48, pp. 443-453, 1970


# 常識推論エンジン開発に向けた 事態性名詞のアノテーション基準について

米本悠藤田響平永田 基樹森 遼太小代 義行
株式会社 pluszero
\{yonemoto.haruka, fujita.kyohei, nagata.motoki,
mori.ryota, ojiro.yoshiyuki\}@plus-zero.co.jp

## 概要

自然言語の高度な意味理解を伴うシステムとして 有効な汎用的常識推論エンジンを構築するには事象の状態変化を正確に捉えることが重要である．以前提案した常識推論エンジン [1]においては, 述語 に関連する状態変化を捉えることができること，ま た，それらが常識推論に有効であることを示した. しかしながら，状態変化を捉えるためには述語だけ では不十分で，動詞と同等の役割を果たす名詞（事態性名詞）も扱う必要があり，これらは我々のエン ジンでは対応できていない. 本稿では，常識推論エ ンジンで事態性名詞を扱うにあたり既存コーパスで 見られたアノテーションの不足について明らかに し，それらを補うようなアノテーション基準を提案 する.

## 1 はじめに

機械が自然言語の高度な意味理解を行うために は，文章中に明示されている情報以外に，常識を用 いて推論をする必要がある. 例えば，「リビングに 新聞がある」「リサが新聞をとってキッチンへ歩い て行った」という 2 つ文があるとき，新聞がどこ からどこへ移動したかを理解するには文章中の表現だけでは足りず，人間が解釈する際に用いるよう な常識, この場合, 「手に取って歩いていくと手に 取ったものも一緒に移動する」という常識を必要と する. 我々は以前，このような常識推論の問題に取 り組むため述語項構造シソーラスと Event Calculus （EC）を用いた汎用的常識推論エンジンを構築し提案を行った [1].

この推論エンジンは，大きく下記のステップに分 かれている。

1. 事前処理として常識を意味表現に変換しておく
2. 自然言語文に対して意味役割付与を行う

3. 付与された意味役割を意味表現に変換する

4. 自然言語文から変換した意味表現と常識から変換した意味表現を用いて推論を行う

このうち，2 では日本語意味役割付与システム （ASA）[2]を用いた。これは，自然文に対して述語項構造解析を行い表層格の項を同定し，係り受け関係にある項に意味役割を付与するものである。この 推論エンジンにより，述語に関連する状態変化を捉 えることができること，また，それらが常識推論に 有効であることを示した. しかしながら，常識推論 に必要な状態変化を捉えるためには，述語以外に も，動詞と同等の役割を果たす名詞（事態性名詞） についても捉える必要があり, 提案した常識推論エ ンジンではこれらの表現に対応できていない. 我々 は事態性名詞に関しても意味役割を付与をすること で，より汎用的な常識推論エンジンを構築すること を目指している。

日本語に対する比較的規模の大きい事態性名詞 のアノテーションデータに NAIST テキストコーパ ス [3] がある．事態性名詞と考えられる名詞に，表層格であるガ・ヨ・二格の項が付与されている。ま た，名詞の中には文脈上事態を現しているのか，物 を現しているのかを判断することが難しい名詞があ り，それらをどちらとしたかを示すためのラベルも 付与されている．事態性名詞に着目したデータセッ トは少なく，NAIST テキストコーパスは貴重な言語資源であるが，常識推論エンジンの開発を目的とし て利用する際には，下記のような問題がある。

・作業者によりアノテーションにずれがある 著者らによっても指摘されていることである が [3]，作業者間でアノテーションが一致しな い問題がある。これは，事態性名詞の基準が明文化されておらず，ある単語に事態性があると
捉える基準が人によって異なることが 1 つの原因だと推測される。
- 項をとらない状態変化を表す名詞を捉えられ ない

NAIST テキストコーパスにおける事態性名詞 は表層格の項をとることを前提としている。そ のため，項をとることはないが一般的に事態性 があると想起させるような単語，例えば，雨，運動会といった単語は事態性名詞の対象となら ない.

・状態変化を伴わない名詞が捉えられてしまう 常識推論エンジンでは，状態変化を捉えるこ とで高度な文章理解を行うが，NAIST テキスト コーパスでは状態変化を伴わないような名詞に もアノテーションが付与されている. 1 つは，複合名詞を構成素に分解したときに前方に位置 する構成素を事態性名詞としている場合であ る. 例えば，NAIST テキストコーパスでは「消費税」という複合名詞の「消費」を事態性名詞 として捉えているが，我々は，このような名詞 は後方の名詞を修飾するだけと考え，事態性名詞としてみなさないこととした。もう1つは，文脈上状態変化の情報を持たないような単語 を事態性名詞としている場合である。例えば，「この街の暮らしにも慣れた」「自由貿易は暮ら しの質を高める手段」という文中における「暮 らし」という単語は，NAIST テキストコーパス では両者とも事態性名詞として捉えているが，我々は，前者においては，具体的な事象であり 状態変化の情報を持つと解釈し，後者は一般的 な事柄について述べているだけで具体性がな く，状態変化の情報を持たないとして事態性名詞の対象から除外することとした.

1 つ目の問題点に取り組むため，事態性があると みなせる基準を可能な限り明文化し，事態性名詞の アノテーション基準をフローチャート化した. 2 つ 目の問題点に対しては，項をとらず，なおかつ事態 を表す名詞の特徴を明文化し基準を作成した．3つ 目の問題点に対しては，複合名詞の取り扱いについ ての基準に加え，実際に状態変化を伴う表現かどう かに関する基準の作成を行った。

## 2 判定基準詳細

## 2.1 作成方針

判定基準は，作業者が判断しやすいようにフロー チャート形式で作成した. また，他のアプリケー ションで利用する際に基準の追加や削除を行いやす いよう，目的ごとに基準をまとめ下記 3 つのブロッ クとした.

1. 事態性名詞であり得ないものを除外する（除外 ブロック)

2. 事態性名詞であり得るものを取得する（取得ブ ロック)

3. 事態性を判定をする（事態性判定ブロック）

除外ブロックは，過剩なアノテーションを避けるた めの基準，取得ブロックは事態性名詞の候補となる 単語を選び出すための基準，事態性判定ブロックは 候補に対して状態変化の情報を持つかを判断するた めの基準をそれぞれまとめたものである.

## 2.2 全体像

図 1 は，事態性名詞を判断するためのフロー チャートである．丸四角で表現されているのは個々 の判断基準であり，四角で表されているのは付与 されるラベルである．矢印は，各基準に該当した （Yes），該当しない（No）場合に次に進む方向を示 している. 色付きの四角は第 2.1 章で述べたブロッ クを示しており，右上に該当する名前を記載してい る. 以下の章では，各ブロックに含まれる基準の詳細を説明する。

## 2.3 事態性名詞であり得ないものを除外 する

## 2.3.1複合名詞の前方にある

NAIST テキストコーパスでは複合名詞の場合，分解してそれぞれの構成素に対して事態性の判別を実施していたが，文脈上状態変化を伴わない名詞が数多くアノテーションされていた。そのため複合名詞 の前方の語は後方の語を修飾するだけと考え，事態性を考慮する対象としては除外した。例えば，「消費税」という単語の場合，前方の「消費税」に注目 している場合，この単語は事態性の候補外，後方の 「税」に注目している場合，この単語は事態性名詞 の候補とし，後段の基準でさらに判定を続ける。

図 1 事態性名詞の判定基準

## 2.3.2 サ変接続するサ変名詞である

サ変名詞はその性質上，事態性名詞の有力な候補 となるが，サ変接続する場合には接続語も含めて述語として捉えることができるため，事態性名詞と しては除外する．例えば，「家庭での学習が基本だ」 の「学習」は事態性名詞の候補となるが，「各家庭で 学習する」のようにサ変接続する場合には事態性名詞の候補から除外する。

## 2.3.3事態性を持たないことが明らか

人の名前や机，花瓶といった物理的なものなど，一般的に明らかに事態として想起しない単語を除外 する．以下に例を挙げる。

・物理的なもの・一・机，花瓶，車など

・役割・役職・一・部長，お父さんなど
- 場所・位置・方角・一・゙ス停，前方，南など

・時間・期間 一 ・2 時，奈良時代など
- 固有名詞（地名，組織名，サービス名，人名，商品名，建物名）・一東京都，大学など
- 形容動詞として使われている名詞 ・.・正常,不能など

## 2.4 事態性名詞であり得るものを取得する

## 2.4.1 動詞に言い換えた語の意味が元の名詞の意味 と同じになる

動詞に言い換えられる名詞は状態変化を表現する 候補として有力なため，動詞的要素を持つ名詞を事態性名詞の候補とする. 名詞に動詞的な役割がある かどうかを判断するために，動詞として言い換え可能な名詞中の語を動詞として言い換え，その意味を 元の名詞と比較し, 同じ意味になる場合は該当する ものとみなす．以下に言い換えの例を挙げる。

・サ変名詞をサ変接続する

「被災者の苦悩は察するに余りある」 $\rightarrow$ 「被災者が苦悩する」

・末尾が動詞の連用形と同形の名詞を終止形に する

「両者がせめぎ合いを続ける」 $\rightarrow 「$ 両者がせ めぎ合う」

・末尾が動詞の連用形と同形の名詞を，下記の ルールで言い換える

一用言を修飾する語+動詞
「六十五歳の男性がタンスの下敷きに

- 目的語+動詞

「国道 176 号が通行止めとなった」 $\rightarrow$「国道 176 号の通行を止める」

・熟語を下記のルールで言い換える
- 目的語+動詞

「40 代の男性が殺人の容疑で逮捕され た」 $\rightarrow$ 「男性が人を殺す」
- 主語+動詞

「千畳敷カールで四日発生した雪崩に」

$\rightarrow$ 「雪が崩れる」

・接尾辞をサ変接続するもしくは，動詞の終止形 にする

「地球温暖化が原因で海面が上昇する」、「地球温暖化する」

## 2.4.2 動詞に言い換えできないが事態性を持ちうる

一般的に事態として想起される名詞の中には，運動会，台風といった必ずしも動詞に言い換えできな い (項をとることがない)ものも含まれる。これらの 名詞は，動詞で表現されるような状態変化が複数同時に起こるような事態だと捉えることができる。．例 えば，火事という名詞には，「建物が燃える」，「人が 逃げる」といった複数の状態変化が含まれている.以下に例を挙げる。
- 行事，催事，競技名 一 一 野球，東京オリン ピック
- 事件，災害，人災 一 一火災，地盤沈下，事故

・自然現象，社会現象 一・雨，ラグビーブーム

## 2.5 事態性を判定をする

## 2.5.1 時間と場所の情報を含み特定の事象と解釈で きる

状態変化を推論するには，対象としている事象が 実際に事物の変化を起こすものであるかいう具体性 が重要である。そのような具体性を持つ表現を捉え るには時間や場所などの情報が重要な要素となるた め，ここでは時間や場所の情報が具体的に文脈上推定できる場合，事態性を持つと判定する。例えば，「この街の暮らしにも慣れた」「自由貿易は暮らしの 質を高める手段」という文中における「暮らし」と
いう単語は，前者では時間や場所の情報を含む具体的な事象としてみなし事態性を持つと判定し, 後者 は時間や場所などの情報を含まないとみなし事態性 を持たないと判定する.

## 3 考察

本稿で作成したフローチャートは，大きく3つの 部分からなる。除外ブロックは事態性名詞となり得 ないものを除外することを目的とした基準の集合 で，取得ブロックは事態性名詞となり得るものを選択することを目的とした基準の集合である. 事態性判定ブロックは，先 2 つのブロックで得られた事態性名詞の候補に対し，事態性を判断することを目的 とした基準の集合である. それぞれのブロックに含 まれる基準は常識推論エンジンの開発に向けた判定基準であり，アプリケーションが変われば必要とな る基準も異なると考えられる。 そのような場合にお いても，ブロック毎の目的に合わせて個々の基準を 組み替えることでより柔軟に対応が可能である．例 えば，項をとらないような単語を事態性名詞と扱い たくない場合には，第 2.4.2 章の基準を除外ブロッ クへ移動させることで対応が可能であるし，事態性 の定義を変更したいような場合には，事態性判定ブ ロックについてのみ基準を追加・削除することによ り対応が可能である.

また，第 1 章で，フローチャート形式による基準 の明文化には，作業者間のアノテーションのずれを 軽減する狙いがあると述べたが，実際にどの程度有効であるかは定量的な調査を行う必要がある．それ らの調査で確認される摇れの傾向を把握し，基準の さらなる改定を行う予定である.

本稿では，常識推論エンジンの開発を目的として いるため，状態変化の情報を含む名詞を事態性名詞 としてアノテーションする基準を作成した. 状態変化の情報を持つかどうかの指標として，場所や時間 の表現が含まれており，具体的な事象かどうかを判断するとしたが，この基準のみで状態変化の情報を すべて捉えられるかどうかには検討の余地がある.例えば，動作主体が明示されている場合に，時間や 場所の情報を必ずしも含まなくても具体事象として 解釈することが自然な事例が存在する可能性があ る.このような点を踏まえ，さらに基準に関して検討する必要がある.

## 参考文献

[1] 杉本智紀, 藤田響平, 井坂諭紀雄, 永田基樹, 森遼太. 述語項構造シソーラスと EC を用いた汎用的常識推論 エンジンの構築. 言語処理学会第 26 回年次大会, pp. 597-600, 2020.

[2] 竹内孔一, 土山傑, 守屋将人, 森安祐樹. 類似した動作 や状況を検索するための意味役割及び動詞語義付与 システムの構築. 電子情報通信学会技術研究報告. NLC, 言語理解とコミュニケーション, Vol. 109, No. 390, pp. 1-6, 2010.

[3] 飯田龍, 小町守, 乾健太郎, 松本裕治ほか. Naist テキ ストコーパス: 述語項構造と共参照関係のアノテー ション. 情報処理学会研究報告自然言語処理 (NL), Vol. 2007, No. 7 (2007-NL-177), pp. 71-78, 2007.


# 含意や推意への論理的なアプローチでの関係把握の検討

太田 博三
放送大学教養学部
9924658973@campus.ouj.ac.jp

## 1 はじめに

GPT-3 をはじめとした AI の文生成が向上してい る中で, 解釈可能性などの視点から, かつての国際的な言語処理タスクやその評価方法が見直されよう としている。本稿では，機械というより人間の視点 も考慮しながら，含意や推意を論理的に把握するこ とを考察したものである. 最近では，人間に近い解釈可能なものを対象とする動きが主流になりつつあ る.マーケティングの消費者行動モデルの分野では，解釈できないものは取り入れない姿勢もあり，ヒト から機械へ, 機械からヒトへの相互作用が, 今どき,必要とされていると言える.

得に，語用論の面白さは，書き言葉としての文章 だけではなく，話し言葉としての対話にも含まれ，機械に落とし込み際には, 大きな課題となっている.

既存の RoBERTa や T5 などの言語モデルは, 省略 された語句を mask させ，予測させるものであると 言える。この語句と語句との間の関係を捉えること では，その精度面から成功したと言えるが，チャッ トボットなどの短い発話から，相手の背景まで推測 させることは，まだ発展途上にあると思われる．文 と文の間の関係は明示的にはないままである。

ここで, 人間から機械への落とし込みを行う際に，数理論理学を並行して機能させることで，その背景 を複数のパターンで捉えることができる. 含意関係認識の文や書き言葉や話し言葉，更には，親子や友人同士などの人間関係を認識したうえで考察する関係性理論において，論理的なアプローチの可能性を 検討したものである.

## 2 研究の目的・新規性

本研究では, 日常生活で用いられる基本的な書き言葉や話し言葉に対して, 数理論理学を用いた応用とし

捉え, 機械での処理にも，適用する上で，人間関係や 含意や推意をいくつかに捉えることを考察した。一昔前の人工知能で用いられたのが記号推論学で あるが，成功例は専門知としてのエキスパートシス テムなどである。ここでは，＜IF-THEN>で分岐させ る手法が中心であった。これを拡張し，現在の深層学習に記号推論も並べて適用したものである. <IF-THEN-BECAISE>であれば，文と文の間の関係 が，直感的に捉えられる. 更に，短い文や発話でも， その前後の文脈の背景を，よくありがちなパターン で落とし込み，解釈可能な接近が可能となる.

## 2.1 記号論理学によるアプローチ

本節では，日常生活に必要な日本語を機械でどのく らい捕捉できるかを検討する. まず, 記号論理学による 表現と推論の視点から入り, 次に, 含意関係認識 (Recognition of Textual Entailment; RTE)を取り上げ, Multi-Hop Reasoning による会話断片に照らし合わせて,考察する. [Arabishahi 2021]の研究では, 人間の $65 \%$ に対して, 35\%であり, SOTA であるとされた.このアプ ローチを，書き言葉と話し言葉への適用例とを，それぞ れ検討する。

## 2.1 記号論理学による表現と推論

機械での知識表現の成功例として,「IF-THEN $\rfloor$ 形式 のエキスパートシステムが挙げられる. 1 つつの論理命題の列挙が分岐する内容で捉えられるものに限る. 日常生活で出てくるものには弱く, 医師の診察など専門性 の高いものに限られる.この要因の一つに，記号論理学の一階述語論理での表現 (図 2-1-1)にある.この場合, 数字の単位は表せず, 非常に曖昧なものに限られ る.

ここで 1 つ 1 つの知識抽出は Web で可能になったも のの，それを捕捉するフレームワークが記号論理学で は曖昧なものになり，具体性のあるものは，その対象になら なかった。

 & $\exists \mathrm{x}($ have(I, computer(x)) \\

## 2.2 含意関係認識による対象範囲

含意関係認識とは, 2 つの文を想定し, 1 つは前提と なる文(Text; T)を，もう 1 つは仮定となる文(Hypothesis; $\mathrm{H})$ を設定し, それらの関係が成立するかを Yes,No $(0,1)$ で判定するタスクである. 例を以下に示す(図 2-2-1 参照).

ここでは，京都で食事をしていた行為と滞在していた 行為とを，直接的に確認する手間を省くものであるが，論理命題となる 1 つ 1 が確認される訳ではないため, ニュース記事なのでは，事実関係が必要になることもあ り, 注意が必要である. 使用される場合は, ポライトネス などのように, 長年, 付き合いのある友人や家族同士の 会話で, 省略する方がくどくなく自然な場合が妥当と考 えられる。

2000 年代の前半の国際的な言語タスクは,この含意関係認識が主流であった. その後, 2019 年頃から BERT による深層学習が出てくると, 店舗の広告文と相性の良い消費者の SNS との相性分析が行われるなど,文脈を考慮した活用が消費者の意思を表すとして, マ 一ケテイング分野で広く使われるようになった.このよう に, 気持ちや思考などを捉えるのには事実確認がされ にくい分野では, 利便性は高くなるが, 知識や事実関係に照らし合わせる際は, 不得手となる.

BERT による含意関係認識は, 言葉と言葉の距離によ るものであり，論理的推論も加わることが期待されてい る.

## 2.3 Multi-Hop Reasoning での適用

Multi-Hop Reasoning には, 広い概念のため, 本項 では， Arbashahi(2020)の IF(State)-THEN(action) -BECAUSE(Goal)のアプローチを検討する. 深層学習 での処理に並行して, 論理テンプレートを採用した ものである.この IF-THEN-BECAUSE は 3 段論法を 始めとしたモーダスポーネンスなど, 非単調推論な どがある. しかし, 逐次段階で, 人間の感覚で十分 にわかってしまうなどで，あまり効果的ではなかっ た. これに対して, 論理展開が早く, 且つ仮設を基 にしたアブダクションの推論法を応用したものが，前述の Multi-Hop Reasoning である. 隠れた背景や意図・推意を聞き手や読み手に委ねることができる。 つまり，BECAUSE 節は複数の選択肢が考えられ， IF-THEN で固定できるのがメリットである.

 & 早く起きよう. &  \\

 &  &  \\

IF-THEN-BECAUSE で捉えると図 2-3-1 のようになり，字義的にも，そのまま捉えることができる.

## 2.4 書き言葉への適用

最近, よくニュースでも取り上げられたコロナ下の政府 の依頼文を取り上げて考察する(図 2-4-1 参照)，ヒトの 認知機能では, 論理学の対偶関係で捉える傾向があり, ここを起点として考えるが, 「午後 8 時前なら, 飲食店で の食事は構わない」とい文脈で捉えてはいけないとい ら政府側の指摘も受け，国民的には混乱した覚えがあ る.この対偶での解釈では，私たちがよく考えがちで，語用論的には誘導推論と言われている.

午後 8 時を過ぎたら, 飲食店での食事は避けて下さい.図 2-3-1 書き言葉の例: 緊急事態宣言での政府の依頼文

この対偶関係では, 論理学上は $\mathrm{p} \Rightarrow \mathrm{q}$ から $\Rightarrow \mathrm{q} \Rightarrow \mathrm{p}$ が成立するが注意が必要である. 直観主義論理の立場 で，排中律の除去を行う必要がある. 排中律とは,「p V ᄀp」の姿勢をとり, 1 つつの命題を確認するもので ある. 含意関係認識の際も同様の注意が必要となる.

 &  \\

 &  &  \\

IF-THEN-BECAUSE で捉えると図 2-4-1 のようになり,字義的にも，そのまま捉えることができる.

## 2.5 話し言葉への適用

以下, 夫婦間の会話を取り上げて考察する（図 2-5-1 参照).

同じくIF-THEN-BECAUSE で捉えると図 4-5-2 のよう になり, 捉えることができる.

 &  \\

ここでは，「コーヒーを飲むと，早く寝付ける」の間に，「コーヒーにはカフェイン効果があり, 寝つきが悪くなるこ ともある」という知識が含まれているのか明確ではない.直観主義的には, 命題を 1 つつ, 確認する必要があり, ここが知識活用と論理展開との間でネックになっている と思われる. しかし, 「コーヒーを飲むと, カフェイン効果 で寝つきが悪くなる」という捉え方はやや強引になるた め, 常識レベルで捉えることも考えられる.

## 2.6 関係性理論への適用

以下, 関連性理論での親と子の会話の背景の捕捉に ついて, 考察する. 母と娘との会話であり, たった 1 対 の対話でしかないが，これを推論するのには，単なる文 の省略を補完するだけでは不十分であり, 母と娘との共通認識や背景の理解が必要となる. 背景を 5 つ場面 で記し(図 2-6-1 参照), 会話断片を記す(図 2-6-2 参照).

 \\

ここで, IF-THEN-BECAUSE で捉えると, 図 2-6-3 のよ うになり, 字義的にも，そのまま捉えることができる.この場面は, 文化交流の中でも，ローカル性の高いものだ が，よく見かける場面である.

 &  & \\

## 3 反実仮想への拡張

「IF-THEN-BECAUSE」など論理フレーム以外に も, 反実仮想の「IF would, I would... ,But I really want to.」が，日常生活の後悔の念を背景にした場合に考 えられる (図 2-6-1).ここでは, 実際に「帰省できた」 のは実在していないため，発話者の過去の経験を踏 まえて，その意図が反映・内包される．事実とは反対の「次はどうしても帰省したい.」などを表してい る.このように，論理フレームに話者の意図や後悔 を含めることができ，ある一定の文脈を設立させる ことができる点で, 有効と思われる.また必ずしも，字義上の文と文の関係を解釈できるとは限らないが，日常生活の多くの場面では，定性的に成立するもの であれば，適用はそう難しくないと考えられる。

「コロナになっていなければ，お正月に帰省できた のに, しかし出来なかった, 残業だ, 次回, 行き たい」

図 2-6-1 IF would, I would... ,But I really want to.

Next I will.

## 4 おわりに

本稿は, 記号論理学の応用である Multi-Hop Reasoning の異なる談話や発話をまたいで,「IF-THEN-BECAUSE 」や「IF would, I would $\cdots$,But.」な どの論理フレームで, 知識を捕捉できる可能性を確認し た. 解釈可能なアプローチの一つとして, 書き言葉だけ ではなく話し言葉の場面でも直感的にも受け入やすい と考えられる. 自然言語だけでのアプローチは, $35 \%$ に 過ぎないが，今後は，画像等を取り入れたマルチモー ダルなアプローチで考察してゆくことで, 人間の $65 \%$ に 近づけていきたい. 画像や動画では, 場面と場面との 繋がりが精度に直結すると思われ, 引き続き, 取り組み たい.

## 5 参考文献

[1] 新田「知識と推論」, サイエンス社, 2002

[2] 加藤・土屋「記号論理学」, 放送大学出版会, 2014

[3] 時本「あいまいな会話はなぜ成立するのか」, 岩波書店, 2020

[4] 坂原「日常言語の推論」, 東京大学出版会, 1985

[5] Minsky（竹林訳）「ミンスキー博士の脳の探検」,共立出版会, 2009

[6] 小出「Common Lisp と人工知能プログラミング

(下巻)」オントロノミー合同会社, 2017

[7] Peter Norvig Paradigms of Artificial Intelligence Programming: Case Studies in Common Lisp, Morgan Kaufmann, 1991

[8] 長尾「知識と推論」, 岩波書店, 1988

[9] 宇佐美まゆみ監修(2020)『BTSJ 日本語自然会話

コーパス（トランスクリプト・音声）2020 年版』

[10] Recent Advances in Natural Language Inference: A Survey of Benchmarks, Resources, and Approaches Shane Storks, Qiaozi Gao, Joyce Y. Chai, 2019

[11] ブラウン \& レヴィンソン「ポライトネス 言語使用における、ある普遍現象」“Politeness : Some Universals in Language Usage” , 1987

[12] 生田「ポライトネスの理論」大修館書店, 『月刊言語』, pp.66-71, 1997

[13] 松井「関連性理論から見たポライトネス」30 巻 No. 3 特集 月刊言語, 2001

[14] 井之上「言語データからの知識獲得と言語処理 への応用」人工知能 33 巻 3 号, 2018

[15] 太田「言語学の語用論や配慮表現の先端技術へ の適用に関する一考察」第 23 回 SIG-AM 人工知能学会合同研究会, 2019

[16] 米盛「アブダクション一仮説と発見の論理」勁草書房, 2007

[17] 麻生 深層学習と知識・記号推論の融合による AI 基盤技術の発展,報告書, 研究開発戦略セン ター（CRDS）, 科学技術振興機構研究開発戦略センター, 2020

[18] Arabshahiet.al "Conversational Neuro-Symbolic Commonsense Reasoning", AAAI Conference on AI, 2020

[19] Arabshahi et.al 2021]"Conversational Multi-Hop Reasoning with Neural Commonsense Knowledge and Symbolic Logic Rules" arXiv preprint, 2021
[20] Arabshahi et.al "Conversational Multi-Hop Reasoning with Neural Commonsense Knowledge and Symbolic Logic Rules" arXiv preprint, 2021

[21] Maarten, Shwartz, Choi et .al., Introductory Tutorial: Commonsense Reasoning for Natural Language Processing, Computational Linguistics, pages 27-33, 2020

[22] Mueller Commonsense Reasoning: An Event Calculus Based Approach, Morgan Kaufmann, 2nd edition, 2014

[23] Lehman, Laird. A Gentle Introduction to Soar, an Architecture for Human Cognition, 2006

[24] Shwartz Maarten, Choi et .al., Introductory Tutorial: Commonsense Reasoning for Natural Language Processing, Computational Linguistics, pages 27-33, 2020

[25] Lin et.al "CommonGen: A Constrained Text Generation Challenge for Generative Commonsense Reasoning, EMNLP2020, 2020

[26] Mueller, Erik "Commonsense Reasoning: An Event Calculus Based Approach”, Morgan Kaufmann, 2nd edition, 2014


# BERT の領域適応における複合語の語彙拡張

田中裕隆 1 新納浩幸 2
1 茨城大学大学院理工学研究科情報工学専攻 2 茨城大学大学院理工学研究科情報科学領域
20nm716y@vc.ibaraki.ac.jp
hiroyuki.shinnou.0828@vc.ibaraki.ac.jp

## 概要

BERT のような事前学習モデルは，大規模コーパ スで事前学習し応用タスクデータで finetuning する ことで，様々な自然言語処理タスクを高精度に処理 できる. しかし， Token レベルで処理する BERTが， BPE によって分割される未知語や複数の語で構成 される表現を学習することは困難である. 本研究で は，そのような複数 Token で表現される語を対象に した BERT の語彙拡張における，追加語彙の埋め込 み表現の構築について考える. 提案手法では，追加 の事前学習による領域適応を前提に，類義語による 近似的な埋め込み表現で語彙追加を行った. 各語彙拡張手法について実験を行い，Masked LM による追加語彙の予測精度で評価した。

## 1 はじめに

事前学習モデルは，多くの自然言語処理システ ムの性能を向上させている [1][2]. 事前学習モデル の一つである BERT[3] は, Transformer[4] モデルの Multi-head Attention を多層に積み重ねたモデルであ り, 入力単語列に対する文脈を考慮した単語埋め込 み表現を出力することができる。

事前学習モデルは，大規模コーパスで事前学習し たモデルを応用タスクデータに適用することで，各応用タスクを高精度に処理する. その性質上, 応用 タスクのドメインが事前学習したコーパスのドメイ ンと大きく異なると，応用タスクを解く精度が高く ならない領域適応の問題が存在する. Gururangan ら [5] は，応用タスクドメインのコーパスで追加の事前学習を行うことで応用タスクを高精度に解くこと ができる手法を提案している.

事前学習モデルの扱う語彙は事前学習したコーパ スに依存して決定されるため，応用タスクデータに 現れる語彙に適応するためには，語彙を拡張する必要がある. 事前学習モデルの領域適応における語彙

(a) 複数 Token に分割され， Token レベルで処理

(c) 分割された表現全体を 予測することは困難

(b) Token 単位の予測は 高精度に行える

(d) 単体 Token の処理であれ ば，Token 単位の予測は容易

図 1: 語彙追加の対象となる語の例

の拡張手法については，Yao らの Adapt-and-Distill[6] や，Hong らの AVocaDo[7] といった研究がある.

標準的な BERT における日本語の語彙は, 形態素解析と Byte-Pair Encoding によって分割された Token 単位で処理される. 未知語が既知の語に分割されて 処理されることで，少ない語彙数で多くの単語を処理できる. しかし BERT のような事前学習モデル は，Tokenレベルの表現を学習するために，複数の 語で構成される複合語や固有表現, 句の表現を学習 することは困難である。 (図 1 参照)

複数の語で構成されるエンティティの埋め込 み表現を学習するための事前学習モデルとして， LUKE[8] がある. LUKE は，通常の Token の埋め込 み表現とは別にエンティティのための埋め込み表現 を用意し，通常の Token とエンティティ間の関係を Entity-aware Self-attention によってモデル化・学習す る. ただし LUKE は大規模コーパスによる高コスト な事前学習を要する。

本研究では, 事前学習済みモデルの BERT に語彙

図 2: BERT の入力ベクトル

追加を行う手法を提案する，語彙の追加では，追加語彙の埋め込み表現を得ることができればよい，応用タスクデータによって追加の事前学習を行い，領域適応させることを前提とすれば，その前の追加語彙の埋め込み表現は近似的な表現であっても学習す ることができると考えられる。

## 2 BERT

## 2.1 BERT の Token Embeddings

入力文の Tokenize 処理によって得られた Token 列は，それぞれ BERT のモデルへの入力のための 埋め込み表現に変換される. BERT の入力ベクト ルは単語を表す Token Embeddings と文を識別する Segment Embeddings，位置情報を埋め込む Position Embeddings の 3 種類ある. (図 2 参照)

Token Embeddings は，各々の単語 Token に対応し た埋め込み表現である. BERT の最終的な出力は,文脈に応じて変化する文脈埋め込み表現である。た だし, BERTへの入力ベクトルとなる最初の埋め込 み表現は，Token 毎に固有の埋め込み表現となる。

## 2.2 Masked Language Model (MLM)

BRET の事前学習の手法の一つである MLM は，文の中のいくつかの単語を MASKに置き換えて， そこにあるべき単語を文脈から予測する問題であ る. 標準的な手法では, 入力トークンの内 $15 \%$ に対 して，以下のように置き換える。

・80\%は，特殊トークンである [MASK] に置き換 える。

・10\%は，ランダムな別のトークンに置き換える.

・残り $10 \%$ は，そのまま残す。

## 3 BERT への語彙追加手法

学習済み BERT モデルに語彙を追加する場合, BERT の Token Embeddings で用いられる埋め込み表現に追加語彙に対応する埋め込み表現を追加すれば よい. したがって語彙追加手法は，BERT の埋め込 み表現空間における追加語彙の埋め込み表現をどの ように得るかが課題となる。

## 3.1 静的な単語埋め込み表現を利用した 手法

追加語彙の埋め込み表現を得る方法の一つは, word2vec や fastText[9] [10] のような分散表現モデル による静的な単語埋め込み表現を利用する方法で ある。

具体的には，まず追加語彙を学習した分散表現モ デルを用意する。次に，BERT と分散表現モデルで 共通して学習している語彙集合を基に，分散表現モ デルの埋め込み表現を BERT の埋め込み表現に写像するための変換行列を学習する．学習手法として は，変換のソース単語ベクトルとターゲット単語べ クトルの平均二乗誤差を小さくするように確率的勾配降下法で学習を行う Mikolov ら [11]の手法や， べ クトルの補正や正規化によってより効率的に学習を 行う平子ら [12] の手法がある.

## 3.2 subword の平均ベクトル

事前学習済み BERT モデルのみを利用して追加語彙の埋め込み表現を得る手法としては， subword の 平均ベクトルを用いる手法がある.この手法は Yao らの Adapt-and-Distill[6] においても用いられている.

追加の対象となる語彙は，事前学習済みモデルに おいて複数 Token で処理される。例えば「不愉快」 という語であれば「不」「\#愉」「\#州」の 3Token で ある。事前学習済み BERT モデルからこれら 3Token の埋め込み表現の平均ベクトルを求め，それを追加語彙の埋め込み表現として追加する。

## 3.3 BERTRAM

BERTRAM[13] は，学習済み BERT モデルの出力 を利用して追加語彙の埋め込み表現を得る手法であ る. BERTRAM の研究では, BERT の事前学習コー パスにおける出現率が低頻度な語の追加を対象にし ている.

BERTRAM では，追加語彙の埋め込み表現を Form-Context Model で学習する. Form Model では文

図 3: 提案手法の概念図

字ベースの学習を行い, Context Model では文脈べー スの学習をする. Context Model の学習は標準的な BERT で文脈埋め込み表現を獲得するのと同様であ る.これに加えて文字べースの学習を行うことで，未知語に対して埋め込む情報量を確保している.

BERTRAMでは, 追加語彙「○○」を「<BERTRAM: ○○>」と表記した特殊トークンとして追加する。 BERTRAM によって追加された埋め込み表現を利用 する場合，データ中の追加語彙を「<BERTRAM: $\bigcirc$ ○>」の表記に置き換えて処理する。

## 4 提案手法

本提案手法 (図 3 参照) では, 新規語彙の類義語の 埋め込み表現を基に，MLM で finetuning された埋め 込み表現を用いる。

具体的な手順は次のようになる.

1. 追加語彙を学習済みの Word2Vec のような分散表現モデルを用意する.

2. 追加語彙の類義語を，分散表現モデルで推定 する.

3. 推定した類義語の内，BERT の語彙に含まれる 語の BERT の埋め込み表現を，追加語彙の埋め 込み表現として BERT に追加する。

4. 追加語彙を含むコーパスで語彙追加後の BERT を Masked Language Model で追加事前学習する.

## 5 実験

## 5.1 実験設定

本実験では，事前学習済みの日本語 BERT モデル に対する語彙拡張を行う. (図 4 参照) 提案手法の 他に，静的な単語埋め込み表現を利用する手法と， subword の平均ベクトルの手法と, BERTRAM の手法を試みる。

BERT の事前学習済みモデルは, 東北大学乾研究室が公開しているモデルを用いる。これは，

図 4: 語彙拡張の流れ

Hugging Face 社の Transformers ライブラリから，モデ ル名'cl-tohoku/bert-base-japanese' で利用できるモデ ルである。事前学習コーパスには日本語 Wikipedia が用いられている.

静的な単語埋め込み表現には，以下のサイトで公開されている日本語 Wikipedia エンティティベクト ル [14]を用いる. ${ }^{1)}$

提案手法で，追加語彙の類義語を求める時の類似度の計算は $\cos$ 類似度で求める。

形態素解析は Mecabで処理する。

各手法で語彙追加を行った BERT モデルは，いず れも応用タスクデータの学習データについて BERT の事前学習で標準的に行われる Masked Language Model によって追加の事前学習を行う.

本実験で学習・評価を行う応用タスクデータ には，以下のサイトで公開されている Amazon レ ビューコーパスを用いる.2)

追加する語彙は，表 1 に示す 20 語とする。これら の語は，事前学習済み BERT では複数 Token で処理 される語である。また，Wikipediaコーパスでの出現頻度が低く, Amazonレビューコーパスに複数回出現する語である．学習・テストデータは，これら の追加語彙を含む文のみであり，それぞれ 118 文， 205 文である.

評価は，新規語彙のみを MASK トークンに置き 換えて，新規語彙を推定できる精度を測る。

## 5.2 実験結果

提案手法において求めた追加語彙の類義語とその 類似度は表 1 に示す。

各手法の実験結果の正解率は表 2 に示す。表 2 で は，静的な単語埋め込み表現を利用した手法の結果 を分散表現として示している。提案手法と分散表現 の手法および平均べクトルの手法は，追加語彙を Masked LM で同程度に予測することができている.

表 1: 追加する語彙と

提案手法で利用した類義語

表 2: 全体と追加語彙毎の予測精度（正解率）

しかし，BERTRAM の手法の実験では，追加語彙の 予測精度は著しく低くなった。

## 6 考察

Masked Language Model による追加語彙の予測精度について，表 2 に示す各語彙毎の結果から分析 する。

Tokenize 処理において，唯一 BERTRAM の手法で は，追加語彙を特殊トークンとして扱っているた め，その影響度を調査する必要があると考えてい る. 語彙別に見ると, BERTRAM が高精度に予測で きる語彙は，その他の手法においても概ね高精度に 予測することができている.

全体の精度としては平均べクトルの手法が僅かに 高いものの，語彙別の精度を見るとそれぞれ特徵が ある.「駅作」「醜悪」などの語彙については，提案手法では比較的高い精度で予測できている. 提案手法で用いたこれらの類義語はそれぞれ「酷評」「邪悪」となっており， $\cos$ 類似度は 0.60 を超える。一方で，「読み手」「蛇足」などの語彙については，提案手法の予測精度は比較的低い結果となった. 提案手法で用いたこれらの類義語はそれぞれ「難解」

「筆」となっており， $\cos$ 類似度は 0.5126 と 0.4621 で，比較的低い類似度である。このような結果か ら，類似度の高い類義語を利用できる語彙は，他の 手法に比べて提案手法が有効であると考えられる。

## 7 おわりに

本研究では，複数 Token で表現される語を対象 に，応用タスクデータに対して追加の事前学習を行 うことを前提として，事前学習済み BERT モデルへ 語彙追加を行う手法を提案した. 提案手法で用いた 類義語と追加語彙との類似度と予測精度の関係につ いて分析し，類似度が比較的高い類義語を用いた場合には他の手法と同等以上の有効性があることを示 した。本実験で対象とした語彙は，BPEによって複数 Token に分割される語であった. 今後の課題とし ては，複数の語で構成される複合語や固有表現，句 といった表現に対しても有効な埋め込み表現を得る ことのできる語彙追加手法への拡張が考えられる.

## 謝辞

本研究は JSPS 科研費 JP19K12093 および 2021 年度国立情報学研究所公募型共同研究 (2021-FC05) の助成を受けています.

## 参考文献

[1] Matthew Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In NAACL2018, pp. 2227-2237, 2018.

[2] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving language understanding by generative pre-training. Technical report, OpenAI., 2018.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In NAACL2019, pp. 4171 -4186, 2019.

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[5] Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A. Smith. Don't stop pretraining: Adapt language models to domains and tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8342-8360, Online, July 2020. Association for Computational Linguistics.

[6] Yunzhi Yao, Shaohan Huang, Wenhui Wang, Li Dong, and Furu Wei. Adapt-and-distill: Developing small, fast and effective pretrained language models for domains. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 460-470, Online, August 2021. Association for Computational Linguistics.

[7] Jimin Hong, TaeHee Kim, Hyesu Lim, and Jaegul Choo. AVocaDo: Strategy for adapting vocabulary to downstream domain. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 4692-4700, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[8] Ikuya Yamada, Akari Asai, Hiroyuki Shindo, Hideaki Takeda, and Yuji Matsumoto. LUKE: Deep contextualized entity representations with entity-aware self-attention. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6442-6454, Online, November 2020. Association for Computational Linguistics.

[9] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 135-146, 2017.

[10] Armand Joulin, Edouard Grave, Piotr Bojanowski, and Tomas Mikolov. Bag of Tricks for Efficient Text Classification. arXiv preprint arXiv:1607.01759, 2016.
[11] Tomás Mikolov, Quoc V. Le, and Ilya Sutskever. Exploiting similarities among languages for machine translation. CoRR, Vol. abs/1309.4168, , 2013.

[12] 平子潤, 笹野遼平, 武田浩一. 静的な単語埋め込みに よるカタカナ語を対象とした bert の語彙拡張. 言語処理学会第 27 回年次大会 (NLP2021), 2021.

[13] Timo Schick and Hinrich Schütze. BERTRAM: Improved word embeddings have big impact on contextualized model performance. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3996-4007, Online, July 2020. Association for Computational Linguistics.

[14] 鈴木正敏, 松田耕史, 関根聡, 岡崎直観, 乾健太郎. Wikipedia 記事に対する拡張固有表現ラベルの多重付与. 言語処理学会第 22 回年次大会 (NLP2016), 2016 .


# キーワード付与による画像キャプション生成

木村文飛 1 新納浩幸 ${ }^{2}$
1 茨城大学工学部情報工学科 2 茨城大学大学院理工学研究科情報科学領域
18t4030r@vc.ibaraki.ac.jp hiroyuki.shinnou.0828@vc.ibaraki.ac.jp

## 概要

画像の内容を自動的に記述する画像キャプション 生成という技術は、自然言語処理と画像処理という 二つの分野を組み合わせて行う分野である。本論文 では、キーワード付与というデコーダの入力ベクト ルにキーワードのベクトルを付与する手法を提案 し、それを行うことで画像キャプション生成におけ る問題点の解決を図った。提案手法を行わなかった モデルと比較することで評価を行い、結果として提案手法が CIDEr のスコアを 0.7 更新したことが確認 できた。

## 1 はじめに

本論文では、画像とキャプションのペアを用いて 行うキャプション生成について、キーワード付与を 用いることで、生成されるキャプションの精度を向上させる手法を提案する。

画像キャプション生成は、画像からその画像の簡単な説明文（キャプション）を生成するタスクであ る。人力で作成された、画像とキャプション文の セットを用いて学習する手法によって、近年目覚ま しい発展を遂げている分野である。

画像キャプション生成における従来の手法の問題点として、十分なデータセットの用意が困難とい う点があげられる。人力で作成された画像とキャプ ション文のセットをさらに拡張することは、非常に アノテーションコストがかかる作業なのである。こ れの解決策として、教師なし学習 $[1,2]$ やデータ拡張 [3] などがある。また画像キャプション生成の大 きな問題点の一つとして、不適当なキャプションが 生成された場合、原因が何であるかを特定すること が容易ではないという点があげられる。画像キャプ ション生成をする際には、画像畳み込みといった画像側の処理と、画像キャプション文の学習という言語側の処理を一連の流れの中で行わなければならな い。つまり、原因が言語側にあるか画像側にあるか不明確なのである。本論文ではこれらの問題点に着目し、画像を畳み込み作成されたべクトルに、学習 に使われるキャプション内に出現するキーワードに 対応したべクトルを付与することで、生成するキャ プションの精度を向上させることを目指す。また、 キーワード付与をすることで物体検出が正常に行わ れた状況下となるかということを実験する。

実験では、訓練データの画像に MSCOCO のデー タセット [4]、キャプションに STAIR Captions の日本語キャプション [5] を用いた。テストデータは MSCOCO のデータセットから一部を抜き出して使用した。そして、キーワード付与を行ったデータで 学習を行ったシステムで得られたキャプションと、 キーワード付与を行っていないデータで学習を行っ たシステムで得られたキャプションを比較し評価を 行った。

## 2 関連研究

本研究では、[6] で提唱された画像キャプション 生成モデル、NIC の構造を参考にした。

このモデルは畳み込みニューラルネットワーク （CNN）をエンコーダ、長短期記憶ニューラルネッ トワーク（LSTM）をデコーダとして、それらを組 み合わせることで画像キャプションを生成するモ デルである。入力画像から畳み込みニューラルネッ トワーク（CNN）によって特徴量を取り出したもの と、画像の説明文を単語埋め込みによりべクトル化 したものを、長短期記憶ニューラルネットワーク （LSTM）に入力することで文章を生成するものであ る。このモデルの特徴として、画像キャプション生成に利用可能なデータセットのサイズが大きくなれ ばなるほど、出力するキャプションの精度が上がる ことは明らかであると述べられている。しかし、実際には利用可能なデータセットを増やすことは非常 にコストがかかり容易ではない。

## 3 提案手法

画像キャプション生成の問題点は、データセット 拡張のコストが高いことと、不適切なキャプション 生成の原因が言語側にあるか画像側にあるか不明確 であることの 2 点である。これらを解決するため、学習に用いられるデータセットに、キャプションか ら取り出したキーワードをもとに作成したベクトル を付与する手法を提案する。

## 4 実験

## 4.1 実験設定

本実験で付与するべクトルとは、キーワードとな る単語 150 個を用いて、学習に用いられるキャプ ションから作成したキーワードの bag of words であ る。これを各キャプションごとに作成し、キャプ ションに対応する画像を畳み込むことで得られるべ クトルにアペンドした。尚、キーワードとなる単語 150 個は、データセット全体における名詞の出現回数をもとに決定しており、物体検出で出力されない ような名詞（色、数字等）は手動で除外した。

本実験では、MSCOCO の画像データセットと STAIR Captions の日本語キャプションを組み合わせ て学習を行った。キーワード付与を行った場合にお けるキャプションの品質の変化を調べるために、デ フォルトのデータセットとキーワード付与を行った データセットの合わせて 2 パターンの訓練データを 用意した。これらを用いて学習を行い、デフォルト のデータセットを用いて学習を行ったモデルと、提案手法を用いて作成されたデータセットを用いて生成されたモデルとを比べることによって品質が向上 したかを調査する。

今回の実験では CNN は学習させずに、学習対象をエンコーダの最後に行う 1 層の全結合層と、 デコーダとなる LSTM のみを学習させた。また、本実験では CNN に学習済みネットワークである VGG-16[7]を用いて画像畳み込みを行った。

学習に用いたデータセットは、MSCOCO の訓練 データ画像と、STAIR Captions の 5 つのキャプショ ン文のセットを組み合わせた 82732 個である。図 1 に訓練データ例を示す。

これに対してバッチサイズ 100、エポック数 10 と して学習を行った。そして、学習する際の各エポッ ク終了時にモデルを保存し、各モデルに対してテス

図 1 訓練データ例

トデータとなる MSCOCO のデータセットから抜き 出した画像 10000 枚からキャプションを生成させ評価を行った。

実験後、キーワードとして埋め込んだ単語がどれ ほどの出現率となるかを調査するために、提案手法 を用いたモデルで最高精度だったモデルと提案手法 を用いないモデルで最高精度だったモデルを用いて 生成されたキャプション 10000 文に対して、ベクト ルを付与する際に用いたキーワードの bag of words を作成し分析した。

分析内容は以下の 3 通りである。

・キーワードとして付与した単語の出現率。

・ bag of words の値で場合分けした、キー ワードとして付与した単語の出現率。

・不適切なキーワードの出現率。

これらについて調査を行い、分析を行った。

## 4.2 評価手法

生成キャプションの評価には CIDEr[8]を用いた。 CIDEr とは、動画や画像のキャプション生成で評価に用いるメソッドであり、n-gram 形式を用いた TF-IDF による平均コサイン類似度を表すものであ る。キャプション画像の枚数やアノテーション数を 考慮しているという点から本実験の評価手法に用 いた。

## 4.3 実験結果

実験結果として、キーワード付与前と付与後のモ デルで行ったテスト結果をまとめたものを図 3 に示

す。キーワードの付与前のモデルで最高精度となっ たのはエポック 3 のものであり、値は 42.1 であっ た。キーワードの付与後のモデルで最高精度となっ たのはエポック 4 のものであり、值は 42.8 であっ た。この結果により、CIDEr という評価手法では提案手法がベースラインを上回る最高精度を記録し、提案手法が精度向上に起因することが確認できた。

キーワードとして付与した単語の出現率につい ての分析結果をまとめたものを表 1 に示す。この結果から、キーワードとして付与した単語の出現率 は、上昇したが大きな変化がなかったことが確認で きた。

キーワードを付与する際に埋め込まれるべクト ルは、正解キャプション 5 つから作成したキーワー ドの bag of words であるので、各キーワードごとに 出現回数によって重みが違うという問題がある。表 1 はその問題点を考慮していないため、画像ごとで はなく単語単位で、正解キャプション 5 つにおける キーワードの出現回数によって場合分けし、分析し た。その結果を表 2 に示す。

間違ったキーワードが出現した確率も同時に調査 した。具体的には、追加したべクトルに含まれてい ないキーワードが出現する確率を計算した。計算結果は追加前が 52.75 \%、追加後が 47.74 \%であった。

## 4.4 出力例

図 2 にモデル別のキャプション出力例を示す。

「パソコン」、「サーフ」はキーワードであり、ベク トルに埋め込まれているため、提案手法を用いるこ とで生成されるキャプションがより正確になってい る場合があることが確認できる。

## 5 考察

実験結果より、本実験の提案手法は CIDEr の評価値こそ微増させたものの、埋め込んだキーワードを キャプションに出現させるという観点においてはあ まり効果がないということが分かった。特に、正解 キャプション内で出現回数が少ないキーワードに関 してはほとんど改善が見られなかった。埋め込んだ キーワードをよりキャプションに出現させること ができなかった要因の一つに、画像に様々な物体が 移っているという要因が考えられる。

提案手法を追加する前から、生成キャプション 1 つにつき平均 1 つのキーワードを出現させること が出来ている。よってこの提案手法によってキャプ

生成キャプション

前 男性がベッドの上で本を読んでいる<EOS>後 男性がパソコンを見ている<EOS>

生成キャプション

前 砂浜で男性がフリスビーをしている<EOS>

後 砂浜でサーフボードを持っている人がいる<EOS>

図 2 テスト画像例

ションの精度を向上させるには、すでに生成キャプ ションに含まれている物体に加えて他の物体も表現 しなければならないのである。

埋め込んだキーワード数の平均から、多くの画像 には 3 つ以上の物体が写っていることが確認でき、 これらは提案手法によって、学習に用いるべクトル へと確実に付与されている。故に、正確に物体検出出来ている状況に近い状態にあると言える。しか し、それでもあまり改善が見られないことから、本実験によって、単純に画像の物体すべてを物体検出 することが出来ても、それらを複数用いて正しく画像キャプション生成をすることは困難であるという ことが考えられる。

また、提案手法は表記ゆれを吸収できないという 欠点がある。例えば、「男性」、「男」、「青年」などと いった意味上は似通った単語については、本研究で は特に操作せずに別の単語として扱っている。加え て、「男」や「青年」等の単語は埋め込むキーワード にバリエーションを持たせるために除去した。その ため、意味上は似通った単語であっても追加するべ クトルには反映されない。これが影響し、埋め込ん だキーワードをキャプションに出現させることが出来なかった可能性が考えられる。

図 $3 \mathrm{CIDEr}$ の評価

表 1 埋め込んだキーワード数（平均）に対する、出力されたキーワード数（平均）

表 2 正解文内の各キーワードの出現回数（bag of words の数値）をもとにした、キーワードの出力率

しかし、提案手法が全く機能していなかったと いうわけではない。表 2 から、正解キャプション 内で出現回数が 5 回の単語に関しては、出現確率 が約 $3.305 \% 、 4$ 回の単語に関しては、出現確率が 2.692 \%ほど上昇している。この結果から、出現回数が多い、つまり重要度の高いキーワードの出現確率は向上していることが確認出来る。逆に、出現回数が 1 回や 2 回だけの、出現回数が少ないキーワー ドに関しては出現確率が下降している。これらは単純に bag of words の数值に起因するものであると考察できる。bag of words が高いキーワードのみが優先されてしまい、低いキーワードの生成に至らな かったと考えられる。

また、誤ったキーワードを含めたキャプション

の例のように、当初の目的である物体検出の安定、 キャプションの正確性を増すという点では提案手法 は効果的であるということが確認できた。

## 6 おわりに

本論文では、キーワード付与を行うことで画像 キャプション生成における品質の向上を行った。具体的には、画像を畳み込んだべクトルに、爰選し たキーワードを用いた正解キャプションの bag of words をアペンドした。提案手法を用いて生成した キャプションは評価值については微増することが確認できた。しかし、複数のキーワードの生成という 点においてあまり大きな効果がないことが実験結果 の分析からわかった。

本実験を行っていくうえで Chive のような日本語単語分散表現を追加するべクトルに使ってみるとい うアイデアは出ていた。本実験ではよりシンプルに なる用に bag of words を採用したが、これらのべク トルを利用して実験を行うことも検討する。また、本提案手法の弱点として述べた表記ゆれについての 対抗策も検討する予定である。

キーワードを付与することで物体検出は出来て いると考えられることから、問題点は言語処理側に あるといえるはずである。今後は言語処理側に注視 し、追加するべクトルについて改良に関する研究を 重ねてく。

## 謝辞

本研究は JSPS 科研費 JP19K12093 および 2021 年度国立情報学研究所公募型共同研究 (2021-FC05) の助成を受けています。

## 参考文献

[1] Yang Feng, Lin Ma, Wei Liu, and Jiebo Luo. Unsupervised image captioning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2019.

[2] Ukyo Honda, Yoshitaka Ushiku, Atsushi Hashimoto, Taro Watanabe, and Yuji Matsumoto. Removing word-level spurious alignment between images and pseudo-captions in unsupervised image captioning. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 3692-3702, Online, April 2021. Association for Computational Linguistics.

[3] 岩村紀与彦, ルイ笠原純ユネス, モロアレッサンドロ,山下淳, 淺間一. アテンション機構を用いたクロップ とマスクによるキャプション生成のためのデータ拡張. 精密工学会誌, Vol. 86, No. 11, pp. 904-910, 2020.

[4] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. Microsoft coco: Common objects in context. In David Fleet, Tomas Pajdla, Bernt Schiele, and Tinne Tuytelaars, editors, Computer Vision - ECCV 2014, pp. 740-755, Cham, 2014. Springer International Publishing.

[5] Stair captions: Constructing a large-scale japanese image caption dataset. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 417-421, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[6] Oriol Vinyals, Alexander Toshev, Samy Bengio, and Dumitru Erhan. Show and tell: A neural image caption generator. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2015.

[7] Karen Simonyan and Andrew Zisserman. Very deep convolutional networks for large-scale image recognition. In International Conference on Learning Representations, 2015.

[8] Ramakrishna Vedantam, C. Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2015.


# 単語の分散表現および音素列の類似性を考慮した 単語アラインメントに基づく教師なし Entity Linking

邊土名朝飛 友松祐太 杉山雅和 戸田隆道 東佑樹 下山 翔
株式会社 AI Shift
\{hentona_asahi, tomomatsu_yuta, sugiyama_masakazu,
toda_takamichi, azuma_yuki, sho_shimoyama_xb\}@cyberagent.co.jp

## 概要

本研究では，多様なパターンのユーザ発話やエン トリを考慮した，音声認識誤りに頑健な教師なし Entity Linking 手法を提案する，提案手法は，単語の 分散表現と音素列を利用してアラインメントをとる ことで，意味的類似性と音韻的類似性の両方を考慮 する. 手法の妥当性を検証するため，自社で運用し ている音声対話システムのデータを利用し，テキス 卜間類似度を測る複数の手法との間で比較実験を 行った. 実験の結果，提案手法は従来手法よりも高 い性能を示し, 多様なパターンのユーザ発話やエン トリを考慮できることがわかった.

## 1 はじめに

Entity Linking とは，テキスト中に含まれる Entity を認識し，知識べース上のエントリと紐付ける夕 スクである。 タスク指向型の音声対話システムに おいては，前段で自動音声認識（Automatic Speech Recognition; ASR）システムを用いてユーザ発話を テキスト化し, 後段の言語理解 (Natural Language Understanding; NLU）モジュールで Entity Linking を 行う構成がとられていることが多い.

図 1 音声対話システムにおける Entity Linking

しかし，近年の汎用 ASR システムの認識性能は 非常に高い性能を有しているものの，依然としてド メイン固有の単語は誤認識しやすいという問題があ る. ドメインごとに音声認識モデルを構築すること で認識誤りを低減することは可能であるが [1], ド メインごとに十分な量の学習データを用意してモデ
ルを学習するためには多大なコストがかかる。この 問題に加えて，環境音などのノイズや音質劣化，イ ントネーションの差異などの要因により認識性能は さらに低下する。また，ユーザ発話やエントリには 多様な表記方式や言い間違いのパターンが存在する ため，より Entity Linking を難しいものにしている (表 1 参照).

 \\

本研究では，多様なパターンのユーザ発話やエン トリを考慮した，音声認識誤りに頑健な教師なし Entity Linking 手法を提案する. 提案手法は，単語分散表現で意味的類似度を，単語音素列で音韻的類似度を考慮してアラインメントをとり，ユーザ発話と各エントリ間の類似度を計算することで Entity Linking を実現する ${ }^{1)}$. 実験では，自社で運用してい る音声対話システムのログデータを使用し，アブ レーション実験およびテキスト間類似度を測る複数 の教師なし手法との間で比較実験を行うことで提案手法の有効性を示す.

1）本来であれば Entity Linking の前にテキスト中から Entity を抽出する必要があるが，実験に用いた対話データではほ とんどのユーザが Entity のみ発話していたため，直接 Entity Linkingを行っている.

## 2 関連研究

Raghuvanshi らは，ASR の認識結果をデータベー ス上の人名と紐付けることを目的とした教師なし手法を提案した [2]. この手法は，テキストと音素の 類似度を利用することで音声認識誤りに頑健な人名検索を行うことができる. 本研究では，Raghuvanshi らと同様に音素情報を用いるとともに，単語分散表現も利用することで意味的類似度も考慮した Entity Linking を行う.

単語ベクトルを利用して 2 つのテキスト間の意味的類似性を計算する主流のアプローチとして, 最適輸送に基づいたアラインメント手法がある. 代表的 な手法としては Word Mover's Distance (WMD)[3] が 挙げられ，その他にも超球面上で最適輸送を行う Word Rotator's Distance (WRD) [4] や, 不均衡最適輸送 (Unbalanced Optimal Transport; UOT) を導入した Lazy Earth Mover's Distance (Lazy-EMD)[5] などが提案され ている. 本研究では, ユーザ発話とエントリ間の類似度を計算するために, 最適輸送に基づいた単語ア ラインメントのアプローチを採用する.

## 3 提案手法

提案手法は，ASR の認識結果のテキストと，知識 ベース上のエントリの 2 つのテキストを入力として 与える. ASRテキストと各エントリとの間で類似度 を計算した後，最も類似度が高かった ASR テキス トとエントリのペアを紐付けることで Entity Linking を行う。

以下，単語数 $n, n^{\prime}$ をそれぞれ持つ 2 つのテキスト (ASRテキスト，エントリ）を $s=\left.\{t_{1}, t_{2}, \cdots, t_{n}\right.\}, s^{\prime}=$ $\left.\{t_{1}^{\prime}, t_{2}^{\prime}, \cdots, t_{n^{\prime}}^{\prime}\right.\}$ と表す. また, 各単語 $t_{i}$ に対応する 単語ベクトルを $w_{i} \in \mathbb{R}^{D}$ と表す.

## 3.1 単語アラインメント

本研究では，単語アラインメントに使用する 最適輸送アルゴリズムとして Unbalanced Optimal Transport (UOT)[6][7] を用いる. UOT は, 文の長さ が大きく異なるテキスト間の類似度を適切に計算で きる [5] ため，正式名称と略称との間の類似度を高 くできると考えられる. UOTを用いたテキスト $s, s^{\prime}$間の距離の計算式を以下に示す。

$
\begin{gathered}
D\left(s, s^{\prime}\right)=\min _{T \in \mathbb{R}_{+}^{n \times n^{\prime}}} \sum_{i, j} T_{i, j} d\left(t_{i}, t_{j}^{\prime}\right)+\operatorname{reg} \cdot \Omega(T) \\
+\operatorname{reg}_{\mathrm{m} 1} \cdot \operatorname{KL}\left(T^{\top} \mathbb{1}_{n}, \mu_{s}\right)+\operatorname{reg} \mathrm{rg}_{\mathrm{m} 2} \cdot \operatorname{KL}\left(T \mathbb{1}_{n^{\prime}}, \mu_{s^{\prime}}\right), \\
\Omega(T)=\sum_{i, j} T_{i, j} \log \left(T_{i, j}\right) .
\end{gathered}
$

ここで, $T_{i, j}$ は $i$ から $j$ への輸送量を,$d\left(t_{i}, t_{j}^{\prime}\right)$ は 2 つの単語 $t_{i}, t_{j}^{\prime}$ 間の輸送コスト表している. また, $\Omega(T)$ は Entropic regularization term, $\operatorname{KL}\left(T^{\top} \mathbb{1}_{n}, \mu_{s}\right)$ は 分布 $T^{\top} \mathbb{1}_{n}, \mu_{s}$ 間の Kullback-Leibler divergence である. reg, reg $_{\mathrm{m} 1}, \mathrm{reg}_{\mathrm{m} 2}$ は各ペナルティ項の影響を調整する ハイパーパラメータである。 $\mu_{s}, \mu_{s^{\prime}}$ はそれぞれ輸送前と輸送後の確率分布を表しており，以下のように 表される。

$
\begin{aligned}
\mu_{s}=\left.\{\left(t_{i}, m_{i}\right)\right.\}_{i=1}^{n}, \mu_{s^{\prime}} & =\left.\{\left(t_{j}^{\prime}, m_{j}^{\prime}\right)\right.\}_{j=1}^{n^{\prime}}, \\
\sum_{i} m_{i} & =1, \sum_{j} m_{j}^{\prime}=1 .
\end{aligned}
$

ここで， $m_{i} \in[0,1]$ は確率質量であり， $\mu_{s}$ は各単語 $t_{i}$ について質量 $m_{i}$ の荷物があることを意味して いる.

## 3.2 単語間の輸送コスト

WMD では単語間の輸送コストとしてユークリッ ド距離が用いられているが，ユークリッド距離には ノルム (単語重要度) と偏角（意味的類似度）が混在している [8]. そのため, 重要度が大きく異なる 単語間では，意味的に近いにもかかわらず，類似度 が不当に低く見積もられてしまう恐れがある。そこ で, 本研究では, 横井らの研究 [8] に従い, 単語べク トル間のコサイン距離を輸送コストの計算に使用す る. さらに，単語の意味的な類似度だけでなく音声 の類似度も考慮するために，単語の音素列間のレー ベンシュタイン距離も導入する. 2 つの単語 $t_{i}, t_{j}^{\prime}$ 間 の輸送コスト $d\left(t_{i}, t_{j}^{\prime}\right)$ を以下のように定義する.

$d\left(t_{i}, t_{j}^{\prime}\right)=\lambda \cdot d_{\cos }\left(w_{i}, w_{j}^{\prime}\right)+(1-\lambda) \cdot d_{\text {edit }}\left(p_{i}, p_{j}^{\prime}\right)$.

ここで, $d_{\mathrm{cos}}\left(w_{i}, w_{j}^{\prime}\right)$ は単語ベクトル $w_{i}, w_{j}^{\prime}$ 間のコサ イン距離, $d_{\text {edit }}\left(p_{i}, p_{j}^{\prime}\right)$ は単語 $t_{i}, t_{j}^{\prime}$ にそれぞれ対応 する音素列 $p_{i}, p_{j}^{\prime}$ の間の正規化レーベンシュタイン 距離である。また， $\lambda \in[0,1]$ は，輸送コスト計算時 に意味的類似度をどの程度考慮するかを決定する八 イパーパラメータである.

## 3.3 単語の重み付け

本研究では，知識ベース内における単語の重要度 を考慮するために，Inverse Document Frequency(IDF) を確率質量に導入する。しかし，通常のIDFを利用 した場合, 音声認識誤りの影響で IDF 辞書内の単語 とマッチせず適切な単語スコアが計算できなくなる 恐れがある。そこで，Soft TFIDF[9]を参考に新たに Phonetic Soft IDF (PS-IDF) を提案する. PS-IDF は音素列の類似度を考慮した IDFであり，IDF 辞書内の 単語と完全一致していない場合でも類似した発音の 単語から IDF スコアを計算する．PS-IDF の定義を 以下に示す。

$
\begin{aligned}
\operatorname{PSIDF}\left(t_{i}\right) & =\frac{1}{\left|\mathscr{D}\left(p_{i}, P^{e}, \theta\right)\right|} \\
& \sum_{p_{j}^{e} \in \mathscr{D}\left(p_{i}, P^{e}, \theta\right)} \operatorname{IDF}\left(p_{j}^{e}\right) \cdot\left(1-d_{\text {edit }}\left(p_{i}, p_{j}^{e}\right)\right)
\end{aligned}
$

ここで,$p_{j}^{e}$ は知識ベース上にあるエントリを構成す る単語 $t_{j}^{e}$ の音素列, $P^{e}$ は知識ベース上にあるエン トリの単語音素列の集合である。また, $\mathscr{D}\left(p_{i}, P^{e}, \theta\right)$ は $P^{e}$ に含まれる単語音素列 $p_{j}^{e}$ のうち, 音素列 $p_{i}$ と の正規化レーベンシュタイン距離が $d_{\mathrm{edit}}\left(p_{i}, p_{j}^{e}\right) \leq \theta$ であるものの集合であり， $\theta$ はしきい値（ハイパー パラメータ) である.

最終的に，2つのテキストの確率分布は以下のよ うに表される。

$\mu_{s}=\left.\{\left(t_{i}, \frac{\operatorname{PSIDF}\left(t_{i}\right)}{\mathrm{Z}}\right)\right.\}_{i=1}^{n}, \mu_{s^{\prime}}=\left.\{\left(t_{j}^{\prime}, \frac{\operatorname{PSIDF}\left(t_{j}^{\prime}\right)}{\mathrm{Z}^{\prime}}\right)\right.\}_{j=1}^{n^{\prime}}$.

ここで， $Z, Z^{\prime}$ は正規化定数である.

## 4 実験と考察

## 4.1 データセット

提案手法を評価するためのデータセットとし て，自社で運用している自動音声対話サービス AI Messenger Voicebot ${ }^{2}$ )の Entity 辞書および発話ログ データを使用した. このデータセットには，飲食系 と医療系の 2 種類のドメインのデータが含まれて いる.

Entity 辞書とは，商品名や店舗名などのエントリ と，そのエントリの同義語を人手で登録したドメイ

ン固有の知識ベースである. エントリの同義語に は，エントリの略称や表記ゆれなどのフレーズの他 に，音声認識誤りを考慮したフレーズ（e.g. エント リ : Abema Towers，同義語：阿部タワー）も登録さ れている. Entity 辞書に含まれているエントリ数と 同義語数を表 2 に示す.

発話ログデータは，Entity 辞書内のエントリと正 しく紐付けられたユーザ発話を収集したものであ る. データセット内のユーザ発話の件数を表 3 に示 す.なお，発話ログデータには同じ内容の発話デー タが多数含まれているため，実際に収集された発話データの件数を「重複あり」, 重複を除いた発話 データの件数を「重複なし」で示している. 実験で は，重複ありデータを用いて実際の運用時の性能 を，重複なしデータを用いて発話パターンのカバー 率を評価した。

表 2 各 Entity 辞書内のエントリ数と同義語数

表 3 ユーザ発話件数

## 4.2 実験設定

提案手法を評価するにあたり，テキスト間類似度 を測る教師なし手法として，音素列の正規化レーベ ンシュタイン距離, WMD[3], WRD[4], Lazy-EMD[5] を採用した. 本実験では，単語分散表現として chiVe[10] の事前学習済み Magnitude モデル (v1.2 mc30 $)^{3}$ を採用し, 形態素解析器には SudachiPy [11] ${ }^{4)}$ を使用した. SudachiPy の分割モードは A モード （UniDic 短単位相当）とした. テキストから音素列 への変換は pyopenjtalk ${ }^{5)}$ を用いた. PS-IDF のしき い値 $\theta$ は 0.1 に設定した. UOTを使用している手法（提案手法, Lazy-EMD) の Entropic regularization term の係数 reg は, Lazy-EMD の実験に倣い 0.009 に設定した [5]. また, Kullback-Leibler divergence に かかる 2 つの係数 $\mathrm{reg}_{\mathrm{m} 1}, \mathrm{reg}_{\mathrm{m} 2}$ は，略称を発話する ユーザ側のテキストの重要度を高くするために

3) https://github.com/WorksApplications/chive

4) https://github.com/WorksApplications/SudachiPy

5) https://github.com/r9y9/pyopenjtalk
$\operatorname{reg}_{\mathrm{m} 1}=1.0, \mathrm{reg}_{\mathrm{m} 2}=0.5$ に設定した.

## 4.3 Entity 辞書内実験

提案手法が音声認識誤りフレーズを含む多様な 同義語に対処できるのかを評価するために， Entity 辞書に登録された同義語を入力として与え，その同義語に対応するエントリを紐付ける Entity 辞書内実験を行った. このとき，紐付け対象であるエントリ セットには，Entity 辞書内にある同義語は含まれな いものとする. 評価結果を表 4 に示す. 提案手法 は, 飲食系, 医療系の両方のドメインで比較手法よ りも高い性能を示した。

次に，提案手法の各構成要素の効果を確かめるた めにアブレーション実験を行った。実験結果を表 5 に示す. ここで, -Word vector は, 提案手法から単語分散表現の要素を抜いたもの，すなわち輸送コス 卜計算時に音素列の類似度のみを考慮したモデルで ある。一方，-Phone は単語分散表現の類似度のみを 考慮したモデルである。-PS-IDF では，単語の重み 付けに PS-IDF を利用せず，WMD と同様に一様な 重みを付与した。 -UOT は，最適輸送アルゴリズム にUOTを利用せず，WMD と同様に Earth Mover's Distance(EMD)を用いた。

結果より，飲食系ドメインにおいては提案手法が 最も高い性能を示していることが分かる。一方，医療系ドメインでは PS-IDFを利用しないモデルが最 も性能が高くなった. 医療系ドメインの Entity 辞書の同義語には，飲食系ドメインと比較して音声認識誤りフレーズが多数登録されていたことから， PS-IDF が音声認識誤りにうまく対処できず，適切な 単語の重みが計算できなかったことが要因と考えら れる。

表 4 Entity 辞書内実験の結果（Accuracy [\%]）.

## 4.4 発話ログデータを用いた実験

次に，実際のユーザ発話が与えられた際の Entity Linking の性能を評価した。評価結果を表 6 , 表 7 に 示す. 提案手法は，飲食系ドメインにおいては重複 あり，重複なしのデータの両方で最も高い性能を示表 5 アブレーション実験結果（Accuracy[\%]）

した. 一方，医療系ドメインにおいては，重複あり のデータではレーベンシュタイン距離が最も高い性能を示した. 提案手法の性能が低くなった原因とし て，ユーザが頻繁に言及していた特定のエントリに ついて適切に紐付けできなかったことが挙げられ る. ただし，提案手法は重複なしのデータでは最も 高い性能を示しているため，比較手法よりもエント リや発話の多様なパターンをカバーしていると考え られる.

表 6 発話ログデータを用いた評価実験の結果（重複あ り, Accuracy $[\%])$

表 7 発話ログデータを用いた評価実験の結果（重複な し, Accuracy $[\%])$

## 5 まとめ

本研究では，意味的類似性と音韻的類似性の両方 を考慮した単語アラインメントに基づく教師なし Entity Linking 手法を提案した. 比較実験の結果，提案手法は飲食系ドメインでは最も高い性能を示し た.一方，医療系ドメインのユーザ発話データを用 いた実験では，提案手法がレーベンシュタイン距離 よりも性能が低いという結果が示されたが，多様な 発話パターンのカバー率という面では比較手法より も優れていることが示唆された. 今後は，より効果的な音韻的特徵を組み込んだ Entity Linking 手法の 検討を進めていきたい。

## 参考文献

[1] Yong Zhao, Jinyu Li, Shixiong Zhang, Liping Chen, and Yifan Gong. Domain and speaker adaptation for cortana speech recognition. In 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 5984-5988, 2018.

[2] Arushi Raghuvanshi, Vijay Ramakrishnan, Varsha Embar, Lucien Carroll, and Karthik Raghunathan. Entity resolution for noisy ASR transcripts. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP): System Demonstrations, pp. 61-66, 2019.

[3] Matt J. Kusner, Yu Sun, Nicholas I. Kolkin, and Kilian Q. Weinberger. From word embeddings to document distances. In Proceedings of the 32nd International Conference on International Conference on Machine Learning, Vol. 37, p. 957-966, 2015

[4] Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, and Kentaro Inui. Word rotator's distance. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2944-2960, 2020.

[5] Yimeng Chen, Yanyan Lan, Ruinbin Xiong, Liang Pang, Zhiming Ma, and Xueqi Cheng. Evaluating natural language generation via unbalanced optimal transport. In Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, IJCAI-20, pp. 37303736, 2020.

[6] Lénaïc Chizat, Gabriel Peyré, Bernhard Schmitzer, and François-Xavier Vialard. Scaling algorithms for unbalanced optimal transport problems. Mathematics of Computation, Vol. 87, No. 314, pp. 2563-2609, February 2018.

[7] Charlie Frogner, Chiyuan Zhang, Hossein Mobahi, Mauricio Araya-Polo, and Tomaso Poggio. Learning with a wasserstein loss. In Proceedings of the 28th International Conference on Neural Information Processing Systems, Vol. 2, p. 2053-2061, 2015.

[8] Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, and Kentaro Inui. Word rotator's distance. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2944-2960, 2020.

[9] William W. Cohen, Pradeep Ravikumar, and Stephen E. Fienberg. A comparison of string distance metrics for name-matching tasks. In Proceedings of the 2003 International Conference on Information Integration on the Web, p. 73-78, 2003.

[10] 真鍋陽俊, 岡照晃, 海川祥毅,一馬, 内田佳孝, 浅原正幸. 複数粒度の分割結果に基づく日本語単語分散表現. 言語処理学会第 25 回年次大会 (NLP2019), pp. NLP2019-P8-5, 2019.

[11] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: a japanese tokenizer for business. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.


# ユーザから情報を引き出すための強化学習による応答生成

佃夏野 1 品川政太朗 1,2 中村 哲 1,2
1 奈良先端科学技術大学院大学
2 理化学研究所革新知能統合研究センター
\{tsukuda.natsuno.tn1 sei.shinagawa s-nakamura\}@is.naist.jp

## 概要

雑談対話システムをユーザに長く使用してもらう には，システムがユーザに興味のある話題を提供す る必要があるが，まずシステムがユーザの情報を知 らねばならない。この時ユーザの心象を損ねず対話 でユーザから情報を引き出すのが理想だと考えら れ，質問や相槌等の複数の言動を効果的に使い分け ることが有望な方法の一つとして考えられる. 本研究では初歩として，指定された情報をユーザ発話か ら抽出する簡単なタスクを設定した。また，タスク を達成するために単純な報酬を用意し，強化学習を 利用して既存の対話システムの最適化を行い，シス テムの応答文の変化について実験を行なった. 結果 として，システムをタスクに最適化できたことと，的外れな内容の生成への対策の必要性が分かった.

## 1 はじめに

雑談対話システムを実運用するには，ユーザに長 く使用してもらうことは重要な課題の一つである. そのために, システムがユーザの趣味や職業等の情報をユーザから引き出し，ユーザに興味のある話題 を提供することが考えられる。ここで情報を引き出 すために単に質問のみ繰り返すと，ユーザが煩わし さや不信感を感じ，システムを使用しなくなる恐れ がある。これを防ぐには，質問以外に相槌や自己開示等の複数の対話行為をシステムが扱いつつ，情報 を引き出すせるように戦略的に複数の対話行為を使 い分けることが必要となる．また，情報を引き出す 戦略を学習するには, 正解文と比較して最適化を行 う教師あり学習より，タスクの目的に合わせて報酬 を設計し，より直接的にタスクを解くように最適化 できる強化学習を用いるのが良いと考えられる．理想的にはユーザの心象によって複数の対話行為を使 い分けられるように最適化を行うべきであるが，扱 う対話行為が多いことやユーザの心象についてのモ

図 1 本研究の対話システムの概要図.

デリングのしにくさからタスクとして複雑になる.

そこで本研究では初歩的な実験として，図 1 のよ うに雑談における情報抽出に目的を限定し，そのた めの対話戦略を強化学習を用いて学習する. また,対話行為について質問か質問でないかの二つのみを 扱うこととし，強化学習の結果として直接的に情報取得をしやすい質問が行われやすくなることを期待する。そこで，「予め欲しい情報を定義し，シス テムの応答に対し，目的の情報を含む発話をユーザ が行ったか」という単純なタスクと報酬を定義し， システムを REINFORCE [1] で最適化する。本来は ユーザの心象と相関の高い機械的な指標を用意し報酬に含めるべきであるが，今回は情報の取得のみを 報酬として定義する。これによりユーザのシステム に対する心象や会話に対する反応を考慮しないた め，対話行為として質問を行いやすくなると考えら れる.この際，JPersonChat データセット [2]で予め fine-tuning した Encoder-Decoder モデルを学習対象の システムと，ユーザの代わりであるユーザモデルの 双方に適用し，両者を会話させて学習のためのデー タセットを収集する。また，強化学習を適用する前後のシステム応答を比較し，報酬の変化，質問の生成しやすさ，及び生成した応答例を評価する。

## 2 関連研究

## 2.1 対話による情報抽出

Han らの研究 [3] では，カウンセリング対話にお ける患者から情報を引き出す $5 \mathrm{~W} 1 \mathrm{H}$ の質問文の作成
表 1 タスク達成判断の例。

と，患者の回答から対応する情報を抽出する手法を 提案した. この手法ではあらかじめ用意したテンプ レートをもとにした質問文の作成と情報抽出によ り，テンプレートに沿った質問と発話については自然な質問作成と正確な情報抽出が行えた。しかし， テンプレートにない多様な質問や発話には対応で きなかった. Cotris らの対話システム [4]では対話 からイベントに関する人や場所，日付等のユーザの 情報を抽出・統合し，外部利用が可能なモジュール を作成した. また，Tigunova らの研究 [5] ではユー ザ発話の潜在的な特徴量やスピーチスタイルを元 に，趣味や職業等のユーザの個人情報の推定を行 なった.

## 2.2 既存研究と本研究の差分

対話からの情報抽出についての既存研究 [3][4][5] では，ユーザ発話の中にユーザ自身の情報が含まれ ることを前提とし，いかに情報を抽出するかが研究 の主眼とされてきた. これに対し本研究では, 日常的な会話で考えられるように，会話の運び方や話し 相手への心象によりユーザ発話に情報が含まれない 場合があることを踏まえ，心情を損ねずユーザが自身の情報について言及するような対話戦略の学習を 目標にしている。

## 3 提案手法

## 3.1 タスク設定

本研究では，対話システムが行なった応答 $R$ に 対して，ユーザが発話 $U$ を返すという設定の下で、 ユーザ発話 $U$ にユーザ情報 $I$ が含まれるように，応答 $R$ をシステムが生成することを目標にする.ここ で，取得したいユーザの情報を，今回は職業や出身地といった固有表現として抽出可能なものと定義 する．また，この固有表現は，ユーザから取得可能 で，かつ，正誤判定のために正解の固有表現をデー タセット中に保持できるものとする．タスクが達成 できたかどうか判断する変数 isSuccess はシステム の応答に対するユーザの発話から判断され，式 1 と なる。

$
\text { isSuccess }= \begin{cases}\text { True } & (I \in U) \\ \text { False } & (I \notin U)\end{cases}
$

また，固有表現抽出とタスク達成の評価の例を 表 1 に示す。まず，このタスクで取得したいユーザ の情報は表 1 のように，固有表現にあたる部分が

に，ユーザ発話に固有表現が含まれ，かつそれが正解であった場合，タスクについて成功したとみな し，ユーザの発話に正解の固有表現が一切含まれて いなかった場合にタスク失敗とみなす。また，ユー ザ発話中に複数の固有表現が含まれている場合，一 つでも正解の固有表現と合致していればタスクを達成したとみなす.

## 3.2 対話システムの概要

本研究の対話システムは，ユーザ自身について得 たい情報とユーザ発話の 2 つをもとにして応答を生成するモデルからなる。概要を図 2 に示す.

図 2 対話システムの概要.

まず図 1 のようにユーザについて知りたい情報 のうち固有表現部分をマスクした文と，コンテキス トを繋げた文を区切り文字 [SEP] で繋げ入力文とす る. 次に，これをトークン化し，Encoder-Decoder モ デルからなる応答生成モデルに入力し, 最後にシス テムの応答を得る。これにより，システムは知りた い情報を引き出すための対話行為と応答の内容，加 えて前のターンの会話から大きく外れないことを考慮して，応答を生成できると考えられる。

## 3.3 学習方法

学習方法には REINFORCE [1] を用い，応答生成 モデルを最適化する。 まず前提として，システムと ユーザモデルを会話させる際に，図3のようにユー ザモデルには正解となるユーザについての情報「私 は福岡出身です」が与えられ，システム側にはその 情報のうち固有表現をマスクしたものが与えられ る.これは，学習・推論のいずれの場合でも同様で ある.

図 3 報酬計算のためのデータ処理とそれぞれのシステム に与えられる入力.

次に報酬 $r$ について，先程の前提を元に，コンテ キストを元にした 1 ターンの会話でユーザからマス クした固有表現が得られれば $r=1$, 得られなけれ ば $r=0$ とする. 以上のような学習設定と報酬を元 に，予め学習前のシステムとユーザモデルを会話さ せ，報酬を計算しておくことで強化学習用のデータ セットを構築しておく.

次に, 用意したデータセットからの学習方法に ついて述べる. 今回のような言語生成に対して REINFORCE を適用する場合，損失 $L$ は，入力系列 $y$ のトークン長 $T$, 言語モデル（方策関数） $\pi_{\theta}$ と時間 $\mathrm{t}$ までの状態 $s_{t}$ に対して,

$
L=-\frac{1}{T} \sum_{t=1}^{T} r \log \pi_{\theta}\left(y_{t} \mid s_{t}\right)
$

となることが知られている。これは，通常の 損失 $\log \pi_{\theta}\left(y_{t} \mid s_{t}\right)$ に対して報酬 $r$ で重み付けし, Teacher forcing で学習することに等しい. 通常の REINFORCE では，モデル更新にしたがってモデル が新たに生成する文も変化していくが，この方法で は一般的に学習が不安定になりやすい。そこで本研究では，強化学習を行う前のシステムとユーザモデ ル間の対話によって対話のデータセットを予め作成 しておき，このデータセットからサンプリングした 対話データに対して報酬を評価し、訓練に用いた。

## 3.4 ユーザモデル

強化学習を行う際に用いるユーザモデルについて

えた固定のペルソナに沿った発話をするように学習 した応答生成モデルを用いる.

固定された情報私は岐阜出身です $[S E P]$ 出身は？

図 4 ユーザモデル概要図。

このユーザモデルでは，まずユーザについて固定 された情報とコンテキストを連結した文が，入力文 として Encoder-Decoder モデルに与えられる. 学習時には大力文に対応したデータセット中の返答文を 教師データとしてユーザモデルの学習を行う. 推論時には，与えられた情報とコンテキストに矛盾しな い発話が生成される.

## 4 実験設定

## 4.1 データセット

まず，対話データを作成する際に用いる，対話 システムとユーザモデルの fine-tuning に使用す る JPersonaChat [2] について述べる。JPersonaChat は PersonaChat [6] の設定をもとにして，クラウドワー カーが与えられたペルソナに沿ってお互いを深く知 り合うよう2 者間で話した対話を収集したものであ る. 各会話のそれぞれの話者にペルソナと呼ばれる ユーザに関する情報が「私は横浜出身です」「私は島根県在住です」といった文の形で付与されている. このうち，対話データのみを用いてシステムの生成 モデルを fine-tuning する．またユーザモデルは，対話データに加えてそれぞれの対話に結びついた話者 のペルソナのうち，固有表現を含むペルソナのみを 一つ抽出し， 3.4 で示した方法で fine-tuning を行う. これにより，与えた 1 つのペルソナに矛盾しない発話をユーザモデルに行わせる.

次に，強化学習用のデータセットについて述べ る. fine-tuning を行ったシステムとユーザモデルに ついて，ユーザモデルのペルソナを変更しつつ 20 ターンの会話を行い，過去 3 発話程度のコンテキス ト，システム応答，ユーザ発話，およびユーザ発話
表 2 学習した対話システムによる応答生成例と得られた報酬. テストセットや生成例に含まれる正解の情報，コンテキ スト及びユーザモデルの発話については表に収まらないため省略した。

から計算される報酬の 4つからなる対話データセッ ト作成した. このデータセットには，227 個のペル ソナ， 227 個の対話，および 9080 発話が含まれてお り，データセットの総数は 4540 個である。このう ち 3971 個を学習セットとし，569 個をテストセット として評価に用いる。

## 4.2 評価尺度

評価尺度として，テストセットで得られる報酬の 総和と，質問を行っている応答の総数を用い，シス テムが報酬を得やすくなったか，および質問をしや すくなったかについて評価する。また，質問の報酬獲得率を計算し，質問で報酬を獲得できているかに ついて評価する．質問の報酬獲得率の計算式は

$
\text { 質問の報酬獲得率 }=\frac{\text { 報酬を得られた質問の総数 }}{\text { 質問をしている応答の総数 }}
$
となる。

## 5 実験結果と考察

4.2 節で述べた尺度による評価の結果を表 3 に示 す. 学習前後の報酬の総和を比較すると，学習後の

表 3 報酬の総和と質問数・質問の報酬獲得率の変化によ る比較.

システムの方が多くなっており，また，質問の数も 多くなっていることから, 狙った方向性にシステム が正常に学習できていると考えられる. しかし，学習した後は質問が 2 倍近く増加しているのに対し て, recall はあまり増加していない.この結果から，質問という対話行為を選択しやすくなったものの，知りたいことを適切に聞けるような発話ができては いないと考えられる。

そこで，詳しく結果を分析するために，テスト セットから生成した応答を表 2 に示す. 表 2 の上か ら1つ目の例は，質問はしたが報酬に結び付かな かった応答の代表的な例である. 報酬に結び付かな
かった質問は，このように「お休みの時は何をされ るのか」という内容のものが多かった。これは学習 セット中で，報酬を獲得できた質問が 570 個である のに対し，これに類する質問が，44 個含まれてお り，頻出する質問を行うよう学習したためと考えら れる。続いて，表 2 上から 2 つ目の例は，報酬を獲得できた質問の代表的なものである。報酬を獲得で きた質問は，このように質問の答えのドメインが絞 られる内容のものが主になっていた。加えて，表 2 の上から 3 つ目のように，質問でなくても報酬が得 られた応答としては，会話のドメインを絞った内容 のものが主になっている.これらのことから，今回用いたユーザモデルに対して，システムがドメイン を絞った直接的な質問を行うことで，更に報酬を増 やすことが期待できると分かった.

## 6 まとめ

本研究では初歩的な実装として，ユーザから指定された情報を引き出すことのみをタスクとして， ユーザが情報を話したか，という単純な報酬を用い て強化学習で対話システムを最適化し, 学習したモ デルの応答文の変化について調査を行なった. その 結果，質問を生成しやすくなり，タスクへの最適化 が行えたことが確認できた. また，ユーザから対話的に情報抽出を行うためには，情報抽出のための適切な内容を含む必要があるという課題も分かった.本研究の本来の最終的な目標は, 対話行為を適切 に使い分けることでユーザの心象を損ねず対話で ユーザから情報を引き出すことである．今後はユー ザが情報を話しやすい状態かの判断を報酬設計に組 み込み，質問や相槌等の対話行為をシステムが適切 に使い分けることを目指す. また，今回の課題も踏 まえて対話行為だけでなく, 応答の内容についても 適切なものを生成できる機構をシステムに導入する ことを検討していく，将来的には，取得すべき情報 を増やしてタスクを複雑化し, 本研究を拡張してマ ルチターンの対話による最適化を行い，最終的に人手の評価を行う予定である.

## 参考文献

[1] Ronald J. Williams. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Mach. Learn., Vol. 8, No. 3-4, p. 229-256, may 1992.

[2] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems. arXiv:2109.05217, 2021

[3] Sangdo Han, Kyusong Lee, Donghyeon Lee, and Gary Geunbae Lee. Counseling dialog system with 5W1H extraction. In Proceedings of the SIGDIAL 2013 Conference, pp. 349-353, Metz, France, August 2013. Association for Computational Linguistics.

[4] Keith Cortis and Charlie Abela. Semchat: Extracting personal information from chat conversations. In EKAW 2010. Workshop W2, p. 14. Citeseer.

[5] Anna Tigunova. Extracting personal information from conversations. In Companion Proceedings of the Web Conference 2020, WWW '20, p. 284-288, New York, NY, USA, 2020. Association for Computing Machinery.

[6] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2204-2213, Melbourne, Australia, July 2018. Association for Computational Linguistics.

## A 実験で使用したモデルについて

節 3.1 で行う固有表現抽出は，オープンソース日本語 NLP ライブラリである Ginza で配布されてい る ja_ginaza モデル ${ }^{1)}$ を用いて，JPersonaChat データ セットに対して行う. また，応答生成モデルとし て，システムとユーザモデルの両方で NTT による 日本語事前学習済み Encoder-Decoder モデル [2] を用 いる.

1) https://github.com/megagonlabs/ginza