# 知識と話題の埋め込み表現に基づく質問生成と対話システムへの 適用

一料理嗜好インタビューシステムに向けて一

曽傑 $\dagger$ ・中野有紀子†

会話を通して料理に関するユーザの嗜好を獲得する対話システムの実現に向け，本研究ではグラフ構造を持つ大規模知識 Freebase に基づいて, 話題を選択し, 質問を 生成する手法を提案する，知識グラフのエンティティ間の関係を話題とみなし，話題どうしの関連の強さを Wikipedia に基づき学習し, 関連話題を選択するとともに,質問生成時に欠損しているエンティティを知識グラフ埋め込みにより予測・補完す る。これらにより, 話題を幅広く展開しながらユーザの嗜好を質問することが可能 になる。提案手法を実装した質問生成機構を組み込んだインタビュー対話システム を作成し，クラウドソーシングにより被験者を募りユーザスタディを行った。その 結果，1つの料理から話題を展開した対話を長く継続するという効果を示すととも に，提案手法により生成された質問の質を調査した。さらに，対話破綻が一定以下 に抑えられた場合に, 被験者の主観評価において, 話題の多様性や文脈の継続性が 印象づけられることを示した。

キーワード：対話システム，知識グラフ埋め込み
## Question Generation in Dialogue Systems based on Embedding Representation of Knowledge and Topics: Towards Food Preference Interview Systems

\author{
JIE ZENG $^{\dagger}$ and YuKIKo NaKANo ${ }^{\dagger \dagger}$
}

With a goal of building a dialogue system that can acquire food preference of users through conversation, this study proposes a method for selecting topics and generating questions based on a large-scale knowledge graph, Freebase. We define a topic as a relation between two entities in Freebase and create a topic embedding model that learns the similarity between topics based on the Wikipedia corpus. This model is used to select topics related to the current one. Moreover, we create a knowledge graph embedding, which is used to predict and complement missing entities in Freebase. These proposed methods enable to generate questions about user preferences while expanding the topic widely. We developed a web-based text chat system that

generates questions based on the proposed methods and conducted a user study using crowd workers. Results demonstrate that the system can continue a dialogue longer by expanding the topics from a single dish. We also investigated the quality of the questions generated by the system. In addition, we showed that subjects received a better impression of the variation of topics and the continuity of contexts when the dialogue failure occurrence was below a certain level.

Key Words: Dialogue System, Knowledge Graph Embedding

## 1 はじめに

ユーザから情報を取得することは，対話システムの主要な用途の1つである．初期の研究で ある ATIS (Hemphill et al. 1990) では, 出発地, 目的地, 希望の日時等, フライト検索に必要な 情報を得ることが対話システムの目的であった。近年では，ものやサービスに対するユーザ評価や意見を収集することを目的とするインタビュー対話システムも提案されている (Johnston et al. 2013). しかし, 対話システムとのやり取りによって，うまくユーザの嗜好や評価を聞き 出すことはまだ十分に達成できていない.

一方，人同士の会話に目を向けると，会話を通して客の好みをうまく聞き出していることが わかる，例えば，ソムリエは，客の嗜好を捉えて客の好みにあった料理やワインを勧めるが，そ の際，客の好みの料理や食味などについて質問する他にも，ワインや食べ物について，専門家 としての知識を使って話題の幅を広げながら会話をしている。その結果，ユーザに負担をかけ ることなく，ユーザの嗜好をうまく収集している。

また, 商品推薦などの個人化されたサービスでは，ユーザの好みや嗜好の情報が必要である が, アンケートで数多くの質問項目に回答するのはユーザの負担となることが問題となってい る (Smyth 2007; Lam et al. 2008)。そのため, システムとの対話を楽しんでもらいながら，ユー ザの嗜好を聞き出すことができれば有用性は高い.

そこで本研究では，対話を通してユーザの嗜好を獲得する対話システムの実現を目指し，関連する話題を選択し，その話題を展開しながらユーザの料理や材料の好みについて尋ねるイン タビュー対話システムを提案する。これを実現するために，本研究では, 分野についての大規模な知識を活用することに着目し，大規模知識を利用した関連話題の選択と質問生成に焦点を 当てる.

これまでの大規模知識ベースを用いた対話システムの研究では，大規模知識ベースを用いて 関連エンティティやその属性を推論することにより，ユーザからの質問に対して多様なシステ ム応答を生成すること (Han et al. 2015) や，雑談対話において意味のある返答を生成すること (Moon et al. 2019) が主要な目的であり, ユーザ情報の取得のための質問生成については取り組 まれていない.

また, Lee et al. (2015) は知識グラフのエンティティ間の関係を話題とみなし, 話題どうしの 関連の強さを大規模テキスト Wikipediaに基づき学習し, 話題のべクトル表現（本研究では「話題埋め込み表現」と呼ぶ.）を作成している。そして，この話題埋め込み表現を用いて関連話題 の選択を行うことを提案している。しかし, 話題埋め込み表現を利用し関連話題を選択しても, その話題についての情報が大規模知識に登録されていなければ，応答生成ができないという問題がある．この問題を解決するために，本研究では，知識グラフのベクトル表現（本研究では 「知識グラフ埋め込み表現」と呼ぶ. ）を利用して，欠損した知識を補完（この手続きを本研究で は「知識グラフ補完」と呼ぶ.）したうえで，関連話題を用いた質問を生成する手法を提案する.以上の議論から, 本研究では, 話題埋め込み表現を用いて関連話題を選択し, 知識グラフ埋 め込み表現を用いて知識補完を行いながら，大規模知識グラフに基づき，質問を生成すること ができるインタビュー対話システムを提案・実装することを目的とする。これにより，対話の 中で言及される料理について多様な話題を展開しつつ，料理に関するユーザの嗜好を聞き出す ための質問生成を実現する，さらに，実装したシステムを用いたユーザスタディを実施し，本研究で提案する質問生成手法の有用性を検証する。本研究の貢献を以下に示す.

(1) 話題埋め込み表現を用いて関連話題を選択し，知識グラフ埋め込み表現を用いて欠損してい る知識の補完を行うことで, 多様なバリエーションの関連話題を選択し, それらについての質問を生成する手法を提案する.

(2) 上記 (1) の提案手法を料理に関するドメインに適用し, 提案手法による質問生成機能を搭載 した対話システムを実装する。また，実装した対話システムを用いてユーザスタディを実施し，対話文脈の継続効果があることを示すとともに，提案手法により生成された質問の質を調査す る。さらに，対話破綻が一定以下に抑えられた場合には，被験者の主観評価において話題の多様性や文脈の継続性が印象付けられることを示す.

本論文は，以下のように構成される，2 章では，関連研究について述べ， 3 章では大規模知識 を用いた関連話題の決定と知識補完による質問生成について述べる。 4 章では, 実装した対話 システムについて説明し， 5 章では，評価実験について述べ，質問生成性能について 6 章, 対話生成性能について 7 章で述べる。最後に 8 章では，本研究のまとめと今後の課題を述べる.

## 2 関連研究

ある目的のためにユーザから情報を聞き出す対話としてインタビュー対話がある．例えば,世論調査 (Johnston et al. 2013) や授業評価 (Stent et al. 2006) を目的とした対話システムが開発されている。これらの対話システムでは，ユーザから収集するべき項目に従い，システムが あらかじめ決められた質問をし，ユーザから肯定・否定，あるいは 5 段階評価といった限定的 な回答を得る，一問一答に近い対話を行っている。

ユーザが言及した単語について，さらに詳しく尋ねることを目的とした質問生成の研究も行わ れている。井上他 (2018) はユーザ発話中のキーワードを抽出し，テンプレート「今おっしゃっ た (キーワード) について, もう少し詳しく説明してください」にキーワードを埋め込み, 掘 り下げ質問をしている。また，疑問詞を用いた質問の生成手法として，名詞と疑問詞の N-gram を用いた方式 (Milhorat et al. 2019) や，動詞の格フレームを利用した研究がある (古川 他 2018;下岡 他 2017). さらに, 片山 他 (2018) は機械学習を用いて Twitter のつぶやきから質問を生成 する方法を提案している。本研究では，疑問詞を用いた質問生成機構をシステムの基本機能と して実装するが，これに加えて，大規模知識を用いた質問生成手法を提案する.

また, システムの質問の仕方や質問内容によって，ユーザから得られる情報が影響されるこ とが報告されている (Pappu and Rudnicky 2014). Hirano et al. (2016)は, 人対人のテキスト ベースのチャット実験を行い，相手の発話に関連した話題選択が対話へのユーザ満足度に寄与 することを報告している。このように，ユーザ応答に応じて適切に関連話題の提供や質問の変更をすることが，会話を続けることに役立ち，そして好みや嗜好といったユーザ情報を引き出 すことに貢献すると考える。

このような対話システムを実現するには，幅広い対象に対して，適切な話題を提供することが 重要となる. 非タスク指向型対話システムにおける話題の提供や応答生成として, Twitter デー 夕を用いた応答生成 (稲葉 他 2014; Higashinaka et al. 2016) や，単語分散表現を用いた話題の 提供 (中野, 荒木 2015; Mikami and Hagiwara 2018) が提案されている. これらの研究は様々な 話題を提供するという点において，本研究と関連するが，大規模知識を用いて関連話題を選択 する方法ではない点, また, 質問生成を目的としていない点において本研究とは手法も目的も 異なる。

次に，大規模知識ベースを情報源とした応答生成に関する研究について述べる. Han et al. (2015) は大規模知識ベース Freebase を用いて, 知識ベース中に存在する対象と関連のある知識を用いて応答生成を行っている。また, Lee et al. (2015) は Wikipedia と Freebase を用いて, ユーザの質問に対して関連した回答をするシステムを作成している。例えば，ビル・ゲイッの 両親に関する話題から, 関連話題として, ビル・ゲイツの子供へと話題を遷移する。彼らは, Wikipedia 記事から複数の Freebaseの述語（親や子供のように，対象間の関係を表す）を抽出 し, 抽出した述語の並びを Skip-gramにより学習することにより, 話題（述語）どうしの近さ を表現する埋め込み表現を作成している。本研究では, Lee et al. (2015)の方式を参考に話題の 埋め込み表現の作成を行うが, これに加え, 選択した関連話題についての知識が大規模知識に 存在しない場合には, 知識グラフ埋め込み表現を用いた知識グラフ補完 (Bordes et al. 2013; 藤岡 他 2018) を用いて解決する。話題埋め込み表現による関連話題選択や, 知識グラフ補完につ いて，それぞれ手法は提案されているが，本研究の目的は，これらを統合することにより，多様な話題について質問生成する手法を提案することである.
一方，料理に関連した研究では，近年，楽天レシピ1やクックパッド2のようなユーザ投稿型 の料理レシピサイトが普及し, 大規模なレシピの情報を利用して, 料理に対する味の推定 (松長他 2015), オノマトぺを含む食味表現推定 (松長 他 2015), オノマトぺによるレシピ検索 (渡辺,中村 2015) などの研究が行われている。また, ユーザの嗜好を推定し， ユーザに料理，レストラ ン,レシピなどを推薦する研究も行われている (Trattner and Elsweiler 2017). 推薦によく用い られるアルゴリズムとして, 内容ベースと協調フィルタリングがある。 内容べースの方式では, ユーザがレシピにつけた評価に基づき，そのレシピの材料にスコアを付与し，さらに材料のスコ アを用いて未評価のレシピについても評価値を求め, 推薦を行う (Freyne and Berkovsky 2010).協調フィルタリングでは，アイテムへの評価の付け方，つまり嗜好が自身と似ているユーザを 見つけ, そのユーザが好むアイテムを推薦する推薦方式である. しかし, これらのアルゴリズ ムを用いた料理推薦システムの問題点として, 多数のアイテム（料理やレシピ等）に関してユー ザに評価してもらう必要があり, それが容易ではないという点がある (Trattner and Elsweiler 2017). そこで, ユーザとのインタラクションの中で, 料理についての嗜好や評価を含むユーザ 情報を収集する技術として，本研究で提案する質問方式は役立つと考える.

## 3 大規模知識を用いた関連話題の決定と知識グラフ補完による質問生成

本章では, はじめに, 本研究で用いる大規模知識 Freebase について述べ, 続いて話題埋め达 み表現と知識グラフ埋め达み表現の作成について述べる。最後に, 質問生成における話題埋め 込み表現と知識グラフ埋め込み表現の利用について説明する.

## 3.1 大規模知識 Freebase

Freebase は Metaweb 社発のオープンな知識データベースであり, Freebase における知識 は, RDF (The Resource Description Framework) という構造化されたデータ形式をとり，主語 (Subject, 以降 $\mathrm{S}$ と呼ぶ), 述語 (Predicate, 以降 $\mathrm{P}$ と呼ぶ), 目的語 (Object, 以降 $\mathrm{O}$ と 呼ぶ）というトリプル構造からなる. Freebase は 19 億トリプルもの知識を持ち, 多くの要素は http://rdf.freebase.com/ns/m.abc123（あるいは一部省略し， m.abc123）のような URI の形式で 表される (Chah 2017). ある対象についての知識例として,「カルボナーラ」の知識トリプルの 一部を表 1 に示す.

Freebase 上ではカルボナーラのエンティティには, ユニークな識別子 (machine identifier, mid) として「m.0273gv」が与えられている.ここでカルボナーラ識別子を $\mathrm{S}$ とした場合, この $\mathrm{S}$ が 複数の述語 $\mathrm{P}$ を持ち, それぞれの目的語 $\mathrm{O}$ として文字列や, 数値, 別の識別子を持つ. 例えば,

カルボナーラの P である food.dish.ingredients のＯ を参照すると, 材料の 1 つである「パルミ ジャーノ・レッジャーノ」を示す識別子 m.01sbt1 が得られる.

## 3.2 話題埋め込み表現と知識グラフ埋め込み表現の作成

## 3.2.1 Wikipedia による話題埋め込み表現の作成

関連性の高い話題を選択するために，話題の近さを扱うべクトル空間を作成する。本研究で は，Freebaseの材料やジャンルなどを示す述語 P を話題とする. そして Lee et al. (2015)の手法に基づき, Wikipedia 文書中から, 記事名の単語（e.g. カルボナーラ）をSとした場合の述語 P を抽出し, その並びを話題の流れと見なし, Skip-gramで学習を行うことで話題の近さを 表すべクトル空間を作成する。以下の手順 (a), (b) に詳細を示す.

(a) Wikipedia 記事から述語の並びを抽出: まず, Wikipedia 記事から述語の抽出を行う．図 1 に「カルボナーラ」記事からの述語抽出例を示す.「カルボナーラ」記事タイトルを $\mathrm{S}$ とし, Freebase においてこれとの間に $\mathrm{P}$ リンクが定義されているエンティティ $(\mathrm{O})$ を本文中から抽出 する。例えば，本文中のエンティティ「グアンチャーレ」，「パンチェッタ」を $\mathrm{O}$ とした時に， P として，材料を示す food.dish.ingredients が得られ，「ローマ」を O とした時には，P として ジャンルを示す food.dish.cuisine が得られる. これら抽出された P の並びを, 記事ごとに作成 する。なお, P の抽出は, Wikipedia 英語版の料理に関係する記事を対象とする。その理由は,

表 1 「カルボナーラ」が持つ知識トリプル例

図 1 「カルボナーラ」記事からの述語 $(\mathrm{P})$ 抽出例
日本語版に比べ英語版の方が記事の内容が詳細であったからである. Wikipedia 記事が料理に 関係するかどうかの判定には，Wikipedia 記事に記載されたカテゴリを使用する．手順として は, 日本語語彙体系 (池原 他 1997) において, 食料カテゴリの下位カテゴリである食品, 料理,嗜好品に分類される単語を人手で英単語に翻訳し, それらが Wikipedia 記事のカテゴリ記述中 に含まれていれば料理に関係する記事とみなす。表 2 に料理に関する Wikipedia 記事と得られ た述語 $(\mathrm{P})$ の詳細を示す.

(b) Skip-gram による話題埋め込み表現の作成: (a) で得た料理記事ごとに抽出した P の並び を話題の系列と見なし, Skip-gramを用いて学習を行う (Mikolov et al. 2013). Skip-gram はPの 並びに対して, ある $\mathrm{P}$ とその周辺の $\mathrm{P}$ の出現確率を高めるよう学習する。その結果として, 話題間の近さを $\mathrm{P}$ のべクトル間の距離として計算することができる。本研究では, このべクトル空間を以降,「話題埋め込み表現」と呼ぶ. Skip-gramを用いた学習として, ライブラリの Gensim³ を利用し, window 幅は 5 とし, 各話題 $(\mathrm{P})$ を 100 次元で表現するモデルの学習を行った.

表 3 に学習した話題埋め込み表現において, 材料を示す P:food.dish.ingredients の最近傍 5 つ の P を示す. P:food.dish.ingredients の最近傍として，料理のジャンルを示す food.dish.cuisine が出現している。続いて料理のタイプを示すfood.dish.type_of_dish1が現われている.

表 2 料理に関係する Wikipedia 記事と得られた述語 $(\mathrm{P})$ の詳細.()内の数値は標準偏差を示す.

 \\

表 3 話題埋め込み表現における P:food.dish.ingredients の最近傍述語上位 5 つ
^{3}$ Gensim: https://radimrehurek.com/gensim/ (version 3.4.0)
}

## 3.2.2話題埋め込み表現を用いた関連話題の選択

上記の話題埋め込み表現により, 現在の話題である $\mathrm{P}$ に関連する話題（P'と表記）を選択する ことができるようになる. 例えば, 「カルボナーラ」について図 2 のような話題遷移が可能となる. はじめに, カルボナーラを S としたトリプルから, 赤線で示した材料を示す P:food.dish.ingredients とその目的語 $\mathrm{O}$ のパンチェッタを用いて質問したとする。その後,この話題に関連した話題を 提供する際に，P:food.dish.ingredients に近い話題 $\mathrm{P}^{\prime}$ を話題埋め込み表現により取得する。こ こで表 3 に示すように話題 food.dish.ingredients と最も近い話題として P':food.dish.cuisine が選択される。その結果, 図 2 の破線で示される, カルボナーラを $\mathrm{S}$, food.dish.cuisine を $\mathrm{P}$ ', イ夕 リア料理を O とするトリプルを用いて，システムの次の質問を現在の話題と関連付けたものに することが可能になる。質問生成方法については， 後に 3.3 節で説明する.

## 3.2 .3 知識グラフ埋め込み表現を用いた知識グラフ補完

3.2.2 節では話題埋め込み表現を用いた話題遷移について述べた.しかし, 話題埋め込み表現 のベクトル空間中で近傍として選ばれた述語 $\mathrm{P}$ を持つ知識トリプルが Freebase 中に必ずしも 存在するわけではないという問題が存在する。例えば，Freebase において，「餃子」というエン ティティは, Pとして food.dish.cuisineを持つ.この $\mathrm{P}$ から, 話題埋め込み表現において距離の 近い関連話題として, P':food.dish.ingredients を選んだところ, 餃子を $\mathrm{S}$, food.dish.ingredients を $\mathrm{P}^{\prime}$ とする知識トリプルは存在せず，その目的語 $(\mathrm{O})$ を得ることはできず，知識トリプルの利用を前提とした質問生成ができない.

このような知識グラフの問題に対して, 知識グラフのベクトル表現である知識グラフ埋め込 み表現を利用し, 明示的に与えられていないノードやリンクについて予測・補完を行う技術と して知識グラフ補完 (Knowledge graph completion) がある. 本研究では知識グラフ埋め达み表現のモデルの 1 つとして, TransE (Bordes et al. 2013)を用いる. TransE はトリプル構造の知識について，S，O をべクトル空間上の点とし，それを結ぶ $\mathrm{P}$ をべクトルとし，以下の式を満 たすようにトリプル構造を空間に配置する。

図 2 話題埋め込み表現を利用した「カルボナーラ」についての話題遷移例

$
S+P \approx O
$

これを用いることにより, 所望の $\mathrm{O}$ が知識トリプルに存在しなくても， S と Pを用いたべクト ル演算により空間上での予測が可能となる.

以下に TransE を用いた知識グラフ埋め込み表現の作成方法を説明する.

(i) 食に関する知識トリプルの抽出: TransE の学習データとして, 食に関する知識トリプルを Freebase より抽出した. そのために, エンティティのカテゴリやタイプを表す P: type.object.type に着目し，このリンクのO が料理や材料など食についての分類を示す food.foodであるとき，そ の $\mathrm{S}$ を取得した。つまり P: type.object.type， O: food.food を持つエンティティ $(\mathrm{S})$ を食に関連したエンティティとした。次に，このようなエンティティを $\mathrm{S}$ または $\mathrm{O}$ に持つすべての知識 トリプルを収集した。その結果, 食に関する知識トリプル数は 267,019 , エンティティ種類数 (S,O) は $127,214, \mathrm{P}$ 種類数は 764 となり, これらを学習データとした.

(ii) TransE を用いた知識グラフ埋め込み表現の作成: TransEの学習には, 知識グラフ埋め込 み表現の学習用ライブラリ OpenKE (Han et al. 2018)を使用し, 次元数 100 で学習した。また,学習された知識グラフ埋め込み表現において，学習されたパラメータを使いべクトル演算を行 うと， 1 つの予測に 30 秒程度かかるため, 特徴空間内での超平面による空間分割に相当する近似最近傍探索 (Approximate nearest neighbor) を用いて計算を高速化した.これには近似最近傍探索を実装したライブラリ Annoy ${ }^{4}$ 用いた。これにより，演算処理時間は 0.1 秒以下に高速化することができた.

以上の手順で Freebase に存在しないトリプルについて補完を可能にした. 例えば，「餃子」を $\mathrm{S}$ とした場合, $\mathrm{P}^{\prime}$ :food.dish.ingredients の対象となる O が存在しない問題について, TransEに よる O の予測結果を表 4 に示す。値が小さいほど類似度が高いことを示す. 表に示されるよう に, 穀粉, ネギ, 食肉など, 餃子の材料と考えられるものが類似度において上位に予測されて いる.

以上，現在の話題対象である料理や材料を $\mathrm{S}$ とし，話題埋め込み表現を用いてにこれに関連 した話題 ( $\left.\mathrm{P}^{\prime}\right)$ を選択することができ, さらに，選択された $\mathrm{P}^{\prime}$ においてその対象となる $\mathrm{O}$ が存在しない場合には, 知識グラフ埋め込み表現を用いてO となる対象を予測・補完することがで きる.

## 3.3 話題埋め込み表現と知識グラフ埋め込み表現を用いた関連質問の生成（質問方式 Rel)

本節では，前節までに作成した，話題埋め込み表現と知識グラフ埋め込み表現を利用した知識グラフ補完を組み合わせた関連質問（質問方式 Rel）の生成方法について説明する.
^{4}$ Annoy: https://github.com/spotify/annoy (version 1.15.0)
}

表 4 TransEによる S:餃子 P': food.dish.ingredients からの O の予測（類似度: $\sqrt{2-2 * \cos (v, e)}, v$ : 演算により得られた予測ベクトル $, e:$ エンティティベクトル)

図 3 話題埋め込み表現と知識グラフ埋め込み表現を用いた関連質問の生成プロセス

話題埋め込み表現と知識グラフ埋め込み表現を用い，図 3 に示す手順により，関連質問を生成する。はじめに，話題の遷移元として直近で使用した料理エンティティ $\mathrm{S}$ と直近で使用した $\mathrm{P}$ をシステム内部状態（4.3 節で後述）から取得する。そして，直近の $\mathrm{P}$ に関連する話題 $\mathrm{P}$ 'と

定数取得する ${ }^{5}$.

さらに，これら複数の近傍 $\mathrm{P}^{\prime}$ からそれぞれに対応する $\mathrm{O}$ を取得し，これら $\mathrm{SP} \mathrm{O}$ を質問卜 リプルの候補とする。O は原則 Freebase から取得するが，Freebase に存在しなければ，知識グ ラフ埋め込み表現を用いて予測する。得られた質問トリプル候補の中からランダムに 1 つ選択
^{5} \cos$ 類似度へのしきい値を設けた取得制限は行っていない.
}

 \\

表 5 述語 $\mathrm{P}$ とそれに対応するトリプルを用いた質問テンプレート例. 質問文中の表現について複数の候補がある場合に, [] 内で候補を|で区切って示している.

トの例を表 5 に示す. Freebaseの料理や材料の知識, 話題埋め込み表現に出現しやすい 25 種類 の $\mathrm{P}$ について各 $1 \sim 2$ パターンのテンプレートを作成した. 実装では近傍 $\mathrm{P}$ の取得数は 10 , 知識グラフ補完により 1 組の $\mathrm{S}, \mathrm{P}$ から O のベクトルを予測し，このＯのベクトルから最近傍エ ンティティを 3 つ取得し，Oの候補として補完しだ．テンプレートを用いた質問文生成時に知識グラフ補完を行った O を用いる時は，「ですが」と言い切らず，「であると予想しますが」な どのように不確定な表現にする。

## 4 対話システムの実装

本章では，話題埋め込み表現と知識グラフ埋め込み表現を用いた質問方式を実装した対話シ ステムについて説明する。

## 4.1 提案手法の概要

図 4 に実行例と用いる質問方式を示す。実行例に示すように，実装した対話システムでは， 3 章で提案した話題埋め込み表現と知識グラフ埋め込み表現を用いた関連質問 (Rel) に加え, 文脈初期化質問 (Init)，疑問詞を用いた質問 (WH)，Freebaseトリプルを用いた質問 (Frb) の 3 種類の質問方式を追加した。追加した質問方式については 4.5 節で説明する.

会話は, 文脈初期化質問 Init（例. 図 4 【実行例】のS1：好きな食べ物は何ですか？）から開始される。この質問により, 最初の話題となる料理名や材料名をユーザから聞き出す. システ ムは，ユーザ応答から得られた料理名または材料名に対応するエンティティ（以後，キーエン
$ のベクトル,$e$ :エンティティベクトルとすると $\sqrt{2-2 * \cos (v, e)}$ を用い た類似度計算を行うが，類似度へのしきい値を設けた取得制限は行っていない。
}
【実行例】(S:システム発話，U:ユーザ発話）

【質問方式】

図 4 実行例と用いる質問方式

ティティと呼ぶ）を抽出し，これらに関連した質問を生成する。そしてそれに対してユーザが 回答する。したがって，会話はシステム主導で進行する。図 4 の実行例では，U1 中の「カレー ライス」がキーエンティティとして認識される.

S2 では，キーエンティティ「カレーライス」について深掘りする狙いで，疑問詞を用いた質問 WH を行っている．S3，S4 は知識を用いた質問である．S3 では，「カレーライス」(S)の P: ジャンルが日本料理である, という知識を Freebase 中のトリプルから得ることにより, 質問を 行っている (Frb). S4では, 一つ前の S3 で提供した話題（P:ジャンル）に関連する話題として,話題埋め込み表現を用いて, $\mathrm{P}^{\prime}$ : 材料の話題が選択されている。ここで，カレーライスの材料 についての知識が Freebase には存在しないという問題が生じる. このように, Freebase におい て知識が欠落している場合には, 3.3 節の手法を使い, 知識グラフ埋め込み表現により, 知識を 補完した上で S4 が生成される (Rel).

図 5 にシステム構成図を示す。主要なモジュールとして，入力理解部，質問方式決定部，質問生成部，内部状態を持つ。おおまかには，まず，ユーザ入力文が入力理解部で処理され，キー エンティティが得られると，質問方式決定部では，そのキーエンティティについて，質問方式 セット（例：Init, WH, Frb, Rel）の中から質問方式が決定され，質問生成部で決定した質問方式を用いて質問が生成される，という流れになる，以下では各モジュールについて説明する.

## 4.2 入力理解部

本システムは Freebase に存在する料理や材料のエンティティを起点に, 質問を生成する。その ため, 入力理解部では, 料理または材料のエンティティをキーエンティティとして, ユーザ入力文か ら 1 つ抽出する。 具体的には, 料理エンティティは Freebase より, P:type.object.type, O:food.dish を持つエンティティ $(\mathrm{S})$ とし, 材料エンティティはP:type.object.type, O:food.ingredient を持

図 5 システム構成図

つエンティティ $(\mathrm{S})$ とし, 各エンティティの日本語ラベルマに該当するものをユーザ入力文より 取得する ${ }^{8}$.

また，入力理解部では，対話をスムーズに継続することが困難な状態である対話破綻 (Martinovsky and Traum 2006; Higashinaka et al. 2015)を検知するために，不明や否定を表 す表現リストをあらかじめ作成し，ユーザ発話中にこれらの表現が含まれていれば対話破綻と みなし，質問方式決定部に伝え，新たな料理名や材料名を聞き出す文脈初期化質問 Initを生成 する。具体例として，システムは次のような場合に対話破綻と判断した：システムの質問に対 し, システム発話への理解不能を表す「わかりません」が入力された場合 ${ }^{9}$, システム発話への 否定（例えば，「○○は好きですか？」という質問についてユーザが「○○は嫌いです」と回答） が入力された場合，予測補完した知識が正しくないとユーザが判断した場合（例えば，システ ム発話「ラーメンの材料にジャガイモが使われていると予想しますが...」といった知識の予想 による発話に対し,「ジャガイモは使われていません」と異議を示す).

## 4.3 内部状態

内部状態では, 以下の 3 種類の履歴が管理・更新される.
^{9}$ Freebase のエンティティの中にはフィッシュケーキやクワハーダといった一般的に知られていない単語も存在す る.このようななじみのないエンティティを用いたシステム発話に対してユーザが不明を表明し，対話破綻を招く 可能性が高い。これを回避するために，日本語 Wikipedia にて出現頻度が 40 未満である単語（エンティティ）は 質問生成から除外することとした。
}

キーエンティティ履歴：ユーザ入力文から抽出した最新のキーエンティティを保持する。ま た，適用した質問方式を適用済み質問方式セットに保持する。

料理エンティティ履歴：入力理解部で抽出したキーエンティティの中で，料理エンティティで あるもののみを保持する。直近の料理エンティティを $\mathrm{S}$ とて使用し，質問を生成する質問方式が Frb か $\operatorname{Rel}$ の場合に，この履歴を参照する.

質問トリプル履歴：質問方式 Frb, Rel において使用したトリプルを保持する。このトリプル 履歴から直近の P を参照し, 関連話題の遷移元として質問方式 Rel で使用する。

## 4.4 質問方式決定部

質問方式決定部では，入力理解部から送信される情報と内部状態の情報を参照し，採用する 質問方式を決定する。具体的には，システムが認識した最新のキーエンティティに対し，あら かじめ設定された質問方式セット 10 に含まれる質問方式を 1 度ずつ適用するという制約の下で，質問方式を 1 つ選択する。なお,この制約は評価実験（5 章）において，あるキーエンティティ に対して設定された各質問方式の適用回数を均一に設定し, 利用可能な質問方式の違いによる効果を検証するためである。ここでは，質問方式セット (Init, WH, Frb, Rel)を例に, Algorithm 1 に質問方式決定アルゴリズムの詳細を示す.

入力理解部が対話破綻を検知した場合には，新たなキーエンティティ入力を促す文脈初期化

質問 Init を適用する（アルゴリズム Line: 1 2). 対話破綻ではない場合には, 現在のキーエン ティティについての未適用の質問方式セットを, 文脈初期化質問 Init を除いた質問方式セット と最新キーエンティティでの適用済み質問方式セット $(\mathcal{M})$ の差分より求める（アルゴリズム Line: 4).未適用質問方式セットが空である場合には, 現在のキーエンティティについて全ての 質問方式を適用した（質問生成に必要な情報の不備により，実際には生成できなかった場合も 含む）ことを意味する。この場合，新たなキーエンティティ入力を促す文脈初期化質問 Init を 適用する（アルゴリズム Line: 5～6). アルゴリズム Line: 7 8 では， ユーザの発話したキーエ ンティティについて, 直ちに知識を用いた質問方式を用いるのではなく, キーエンティティそ のものへの深堀り質問として質問方式 WH を優先的に適用する。記いずれの場合にも当ては まらない場合には，未適用質問方式セットのうちランダムに 1 つ選択する（アルゴリズム Line: 10).

## 4.5 質問生成部

質問方式決定部により決定された方式を用いて質問文を生成する。ここでは， 3 章で述べた 方式以外の既存技術による 3 種類の質問方式についてのみ説明する.

## 口 文脈初期化質問（質問方式 Init）

あらたなキーエンティティを得るための 5 種類の文脈初期化質問テンプレートの中からラン ダムに選択する。例えば，「最近何を食べましたか？」「好きな食べ物はなんですか？」などが ある。

## ■疑問詞を用いた質問（質問方式 WH）

キーエンティティについて，具体的にユーザの好みやこだわりを引き出す狙いで，疑問詞「ど んな」を用いたテンプレート「どんな＋\$キーエンティティ＋が好きですか？」の\$部分にキー エンテイティの語を代入して質問文を生成する.

## ■ Freebase トリプルを用いた質問（質問方式 Frb）

Freebaseトリプルを用いた質問 (Frb) は, Freebase に存在するキーエンティティを S とする 質問生成可能なトリプルからランダムに 1 つ取得し, ジャンルや材料などを示す述語 $\mathrm{P}$ を話題 とみなし，テンプレートに適用することにより質問文を生成する。これは Freebase を用いた最 もシンプルな質問文生成であり，すでに Han et al. (2015)によって提案・実装されている手法で ある。質問生成のテンプレートは 3.3 節で提案した表 5 のテンプレートを用いる. 例えば $\mathrm{S}:$ 力 ルボナーラ, P:food.dish.cuisine, O：イタリア料理, のトリプルに対し, P:food.dish.cuisineの 1つめの質問文テンプレートを適用すると，「カルボナーラのジャンルはイタリア料理ですが、 イタリア料理で好きな料理は何ですか？」という質問文が生成される.

## 5 ユーザスタディの実施

3 章で質問生成手法を提案し，4章では，それを実装した対話システムを構築した。本章では,対話システムにおける本手法の有用性を検証することを目的とし，評価実験を行う．

## 5.1 実験の概要

話題埋め込み表現と知識グラフ補完を組み合わせた質問生成手法が対話システムにおいてど のような効果を持つのかを検証するために，被験者にシステムとの対話を行ってもらうユーザ スタディを実施した。話題埋め込み表現の利用の有無や知識グラフ補完の有無により, 利用可能な質問生成手法の異なる 3 つの条件を設定し（5.3 節）, 各被験者が 3 つの条件全てを実施す る被験者内実験デザインを採用した。また, 評価指標として，1: 提案手法による質問の妥当性,

2: 対話文脈の継続性に加え，3: アンケートによる被験者の主観評価を用いた.

## 5.2 実験手法

実験は Web アプリケーション上で行われ，システム質問に対する応答を入力欄にタイプし，

送信ボタンを押すことにより，システムとの会話を行ってもらった。システムと被験者とのや りとりは対話履歴欄に表示される。すべての実験条件でユーザに 50 回の入力を指示し，ユーザ の入力回数が 50 回に達し, それに続くシステム応答を表示したのち対話は停止し, 対話終了ボ タンを押すことで対話結果がサーバに送信される.

また，各条件の対話終了後，評価アンケートのページにアクセスし，付録表 12 に示す 20 項目からなる 5 段階リッカート尺度のアンケートに回答するよう求めた. また, 自由記述欄も設 けた。

被験者はクラウドソーシングサイトで募集した 48 人である. 分析対象として, 対話終了ボタ ン押し忘れにより対話履歴結果に不備が生じた 1 名, 対話中に同一の回答を 30 回以上繰り返し た被験者 1 名のデータを除いた 46 人のデータを使用した.

## 5.3 実験条件

各被験者には以下に示す 3 つ実験条件 (BL, TE, TE+KE) の全てを実施してもらい, 条件の 順序はランダムに決定した. 表 6 は各実験条件でシステムが生成可能な質問方式セットを示し ている。この質問方式セットに含まれる各質問方式を，直近のユーザ入力文より得られたキー エンティティに対し， 1 度ずつ適用するよう質問方式決定アルゴリズム（4.4 節）を設計した. この設計は同一の質問方式による質問の繰り返しを避け，あるキーエンティティに対して設定 された各質問方式の適用回数を均一にするためのものである。 たたし，条件 BL は，他の 2 条件よりも生成可能な質問方式が 1 種類少ないため, Frb 質問を 2 回適用することにより, 質問

 &  &  &  \\

表 6 各実験条件と質問方式セット．※ $\mathrm{TE}, \mathrm{TE}+\mathrm{KE}$ と質問方式適用回数を統一するため, Frb を 2 回適用する。

方式適用回数を全条件で統一した.

## ■ ベースライン (Baseline: BL)

インタビューシステムの基本機能として, Init, WH, Frbの質問方式のみを生成できるシステ ムを実装し，これをべースライン条件とする。したがって，この条件では，話題埋め达み表現 と知識グラフ埋め込み表現を用いた関連質問 (Rel) は行わず，大規模知識の利用については， Freebaseのトリプルを使った質問 (Frb)のみが可能となる.

## 話題埋め込み表現 (Topic-Embedding: TE)

条件 BL で利用可能な 3 種類の質問方式に加え, Freebase に存在する知識の範囲内で話題埋 め込み表現による関連質問 Relを生成する。これは, Lee et al. (2015)の手法に相当する，つま り，この条件では，知識グラフ埋め込み表現を用いた知識グラフ補完は行わず，話題埋め込み 表現により選択された関連話題に関して Freebase 中に知識が存在しなければ，その関連質問は 生成しない.

## 話題埋め込み表現＋知識グラフ埋め込み表現

## (Topic-Embedding + Knowledge-Graph-Embedding: TE+KE)

条件 BL で利用可能な 3 種類の質問方式に加え, 知識グラフ補完を行いながら話題埋め込み 表現による関連質問 Relを行う。つまり，本条件が提案手法を実装したシステムである。条件 TEでは, 話題埋め込み表現による関連話題は Freebase に存在する知識のみに限られるが，条件 $\mathrm{TE}+\mathrm{KE}$ では選択する関連話題に関する知識が欠損していれば，知識グラフ補完を行う。条件 TE と条件 TE+KE を比較することにより，話題埋め込み表現による関連質問 Relにおける 知識グラフ補完の効果を検証することができる。

## 6 関連質問 (Rel) の質問生成性能評価

本章では, 提案手法である関連質問 (Rel) について, 話題埋め込み表現から選択された関連話題についての知識が Freebase に存在しない場合に, 知識グラフ補完を行うことで, 質問候補の 作成可能率が向上し, 話題のバリエーションが増えることを評価実験の結果から確認する。ま た，知識グラフ補完により得た知識トリプルの適切性，質問文の回答性の評価を行った。

## 6.1 関連質問 (Rel) の質問候補作成可能率と話題のバリエーションの比較

はじめに，関連質問 (Rel) について，話題埋め込み表現により選択された関連話題を用いて 質問候補となりうるものを作成できた割合として質問候補作成可能率を算出した。また質問候補作成可能である時に提供可能な話題の種類数を算出した. Rel 質問の質問候補作成可能率は 以下の式により算出した.

$
R e l \text { 質問の質問候補作成可能率 }=\frac{R e l \text { 質問の質問候補作成可能回数 }}{R e l \text { 質問の適用回数 }}
$

Rel 質問の質問候補作成可能回数は, 直近の料理エンティティ $\mathrm{S}$ と話題埋め达み表現により選択した 10 個の近傍話題 $\mathrm{P}^{\prime}$ を組み合わせ（3.3 節)，それぞれに対応する $\mathrm{O}$ を取得し, 利用可能 な SPO トリプル候補数を求め ${ }^{11}$, その候補数が 1 以上であれば質問候補作成可能とみなし, そ の回数を表す. Rel 質問を備える条件 $\mathrm{TE}, \mathrm{TE}+\mathrm{KE}$ の Rel 質問の質問候補作成可能率の平均値 を表 7 に示す. 知識グラフ補完を行わない条件 TEでは, Rel 質問の質問候補作成可能率は 0.18 であるが，補完を行うことで条件 $\mathrm{TE}+\mathrm{KE}$ では， Rel 質問の質問候補作成可能率は 0.81 に向上 した。

また, 1 回の Rel 質問候補作成可能時に提供可能な話題 $\mathrm{P}$ の種類数（最大 10 話題）の平均を 算出した. その結果, 条件 TEは 1.13 であるのに対し, 条件 TE+KE では 4.56 であり, 提供可能な話題の種類数も増加することが確認された.

次に，各条件において，知識を用いた質問が生成された回数と話題のバリエーションを算出 した．知識を用いた質問の回数は，1対話当たりの Frbと Rel 質問の合計回数と定義した. 話

表 7 Rel 質問の質問候補作成可能率
^{\prime}$ の 生成文テンプレートが存在し, これまでの対話に同じトリプルを用いた質問を行っていない.
}

図 6 知識を用いた質問の回数 $(* p<.05 * * p<.01)$

図 7 話題のバリエーション $(* * p<.01)$

題のバリエーションは，各対話において Frb もしくは Rel 質問の生成に用いられた P の種類数 とした。 どちらも対応のあるデータであり，かつ 3 群間で等分散性があるため，統計検定には Tukey-Kramer 法を用いた.

図 6 に知識を用いた質問の回数の平均を示す. 条件 $\mathrm{TE}+\mathrm{KE}$ が条件 $\mathrm{BL}, \mathrm{TE}$ より有意に回数が多かった $(p<.01, p<.01)^{12}$. 同様に, 図 7 の話題のバリエーションにおいても, 条件 $\mathrm{TE}+\mathrm{KE}$ が条件 $\mathrm{BL}, \mathrm{TE}$ より有意に多かった $(p<.01, p<.01)$.

以上, 知識グラフ補完により, 関連話題を用いた質問の質問候補作成可能率が大きく改善し たことで，提案システムは知識を用いた質問をより多く生成でき，また話題のバリエーション もより豊富になっていることを確認した。

## 6.2 知識グラフ補完と関連質問 (Rel) の評価

本節では，関連質問 $\operatorname{Rel}$ の中でも，特に知識グラフ補完を利用して生成された質問の質を評価するために，質問生成に用いた知識トリプル $(\mathrm{S}, \mathrm{P}, \mathrm{O})$ の適切性と生成された質問文への回答性を調査した。

評価対照データとして以下の 2 つの質問サンプルを作成した.

知識グラフ補完により得られた知識トリプルから生成された質問サンプル：条件 $\mathrm{TE}+\mathrm{KE}$ に
$ とし, Freebase に存在するトリプル（質問候補）から 1 つ選択して質問生成するのに対し, 条件 TE の Rel 質問（知識グラフ補完なし）では, 話題埋め込み表現を用いて関連話題として P を 10 個（実験設定）選択し, それらのトリプルを得て, その中からランダムに 1 つトリプルを選び, 質問生成を行うが, Freebase に定義されているトリプル数が少ないため，関連話題を選択しても，そのトリプルを取得することができず，多くの場合 Rel 質問候補の作成に失敗する。そのため, 質問候補の作成可能率の高い Frb のみを用いる条件 BL の方が結果的に質問回数が多くなったと考えられる.
}

て知識グラフ補完を適用して生成された Rel 質問 100 個.

Freebase に存在する知識トリプルから生成された質問サンプル：Freebase に存在する知識ト リプルを用いて生成された Frb, Rel（知識グラフ補完なし）質問 134 個.これはすべての実験条件からサンプリングした.

上記の 2 つの質問サンプル群について, 知識トリプルの適切性と質問文の回答性の評価を行っ た. これら相互の影響を避けるために， 2 つの評価作業は独立して行った. また，この評価は 5 章のユーザスタディに関わっていない評価者 2 名で行った.

## 6.2.1 評価 $1:$ 知識グラフ補完により得られた知識トリプルの適切性

評価者は，知識トリプルの適切性として，ある $\mathrm{S}$ が与えられた場合の $\mathrm{P}$ と , それぞれの適切性を評価した．Sは対話中にユーザが言及したキーエンティティである．Ｏ～～～と P に対応 する目的語であり, Freebase 中のエンティティである場合と, 知識グラフ補完により補完した エンティティである場合がある。 $\mathrm{P}$ の適切性は, 対象 $(\mathrm{S})$ に対しての話題 $(\mathrm{P})$ として適切であ るか $(\bigcirc)$, 不適切とは言えないがやや違和感を感じるか $(\triangle)$, あるいは不適切だと感じるか $(\times)$ で評価してもらった。また, $\mathrm{O}$ の適切性は, 対象 $(\mathrm{S})$ と話題 $(\mathrm{P})$ を考慮した上で, 目的語 $(\mathrm{O})$ が適切か $(O)$, 不適切とは言えないがやや違和感を感じるか $(\triangle)$, 不適切だと感じるか (x) を評価してもらった（付録 B）.

わせて許容できる，ラベル×を許容できない，の 2 つに分類した場合, Freebase に存在する知

} & \multicolumn{3}{|c|}{} \\

表 8 知識トリプルの適切性. () 内の数値は 2 名の評価者から得られた評価の総数を示す.したがって,両者の評価が一致しない場合もそれぞれの評価をカウントした.

表 9 両評価者が $\mathrm{O}$ の補完を適切でないと判断した知識トリプル例．P の（）内は直前の O が表すエン ティティの性質を示し, 複数の性質がある場合には, |で区切っている.

識トリプルでは, 許容できるとした評価の割合が $96.6 \%$, 知識グラフ補完により得られた知識 トリプルでは，許容できるとした評価の割合が $87.5 \% て ゙ あ っ た ． ＼mathrm{~ 知 識 ク ゙ ラ フ 補 完 に よ り 得 ら れ ~}$

て，ユーザが言及したキーエンティティ $(\mathrm{S})$ に対し，知識グラフ補完による Rel 質問の話題埋 め込み表現から選択された話題 $(\mathrm{P})$ について, 許容できるという評価が $87.5 \%$ でることがわ かった.

次に, $\mathrm{O}$ の適切性の評価については, $\mathrm{P}$ の適切性の評価に依存するため, $\mathrm{P}$ の適切性において 評価者の一方が許容できない（Pの評価が×）と評価したものを排除した. その結果, Freebase に存在する知識トリプル中の $\mathrm{O}$ について許容できるとした評価の割合は $86.2 \%$ だった。一方,知識グラフ補完により得られた知識トリプル中の $\mathrm{O}$ の適切性は, 許容できるとした評価の割合 は $19.4 \%$ であった。つまり，O の補完を適切でないと判断した評価の割合は $80.5 \%$ と高いこと を示す。例えば，知識グラフ補完を適用した知識トリプルの中で，両評価者が $\mathrm{O}$ の適切性に× をつけたものを表 9 に示す.

このように，知識グラフ補完により O を正しく補完する割合は低いと言わざるを得ず，補完 を用いたトリプルから構成する質問文に対する評価にも影響していると考えられる.

実装に用いた知識グラフ埋め込み表現のモデル TransE について欠点が指摘されており, 改良したアルゴリズムによるモデルは他に提案されている (Trouillon et al. 2016; Nguyen 2017).今後, 新しいモデルも取り入れながら, 知識グラフ補完の精度を向上させることで, 不適切な 補完を減らすことができると考える.

## 6.2.2 評価 2 : 知識グラフ補完を用いた関連質問 $(\mathrm{Rel)$ の回答性}

評価者は知識トリプルの適切性（6.2.1 節）で使用した同じ質問サンプルの知識トリプルから,対話で実際に生成された質問文を提示し, 回答可能であれば $\bigcirc$, 回答不能ではないがやや違和感を感じる場合は $\triangle$, 回答不能であれば×と評価してもらった.

せて許容できる，×を許容できないとものして，2つに分類した. Freebase に存在する知識トリ プルから生成された質問では, 回答可能 $(\bigcirc)$ である割合が $76.9 \%$ でり， $\triangle$ 合わせると許容 できる割合は $92.9 \%$ にる。これは知識トリプルの適切性評価から予測できる結果である。一

} & \multicolumn{3}{|c|}{} \\

表 10 システム質問文の回答性. () 内の数値は 2 名の評価者から得られた評価の総数を示す.したがっ て，両者の評価が一致しない場合もそれぞれの評価をカウントした.

表 11 O の補完が不適切でありながら，質問文の回答性は許容できると判断された例

方，知識グラフ補完により得られたトリプルを用いた Rel 質問では，許容できると判断された 割合は $65 \%$ でった，6.2.1 節で述べたように，補完した $\mathrm{O}$ において，適切性が許容範囲である

容できるという判断が大幅に増えた。

表 11 に補完した O の適切性については許容できないが, 質問の回答性評価では許容できると 判断された例を示す。具体的には，知識グラフ補完により得られたトリプルを用いた Rel 質問 のうち, 知識トリプルの適切性（6.2.1 節）の評価において, $\mathrm{P}$ の適切性は許容でき $(\mathrm{O} \triangle)$, $\mathrm{O}$ の補完は適切でない $(\times)$ と判断され，質問文の回答性の評価では許容できる（質問文の回答性の評価が○か $\triangle)$ と判断されたものである。各システム質問文の前半では，補完した $\mathrm{O}$ か らなる知識トリプルが出現し, その $\mathrm{O}$ にいての適切性では不適切 $(\times)$ と評価したものの,質問文の後半は間違いがない表現であるため, 回答性という観点で評価すると回答不能から,回答不能ではないがやや違和感を感じる $(\triangle)$ へ許容範囲を広げたと考えられる．このように，質問文テンプレートの中で補完された知識をどう利用するのかによって，生成された質問文へ の評価が影響されるため，知識補完の性能向上だけでなく，質問文の表現や，その回答性につ いても今後さらに検討する必要がある.

## 7 対話生成性能評価

前章では，ユーザスタディの中でシステムから生成された個別の質問文，特に Rel 質問の質

について評価した。本章では，対話全体への影響やユーザの印象評価を含め，対話システムの 観点から提案手法の効果を検証する.

## 7.1 対話生成における仮説

提案手法による対話への効果として，対話文脈の継続性と被験者の主観評価についての仮説 を設定し，検証する。

【仮説 1 】条件 BL は関連話題を使った質問は行わず, 条件 TE は選択された関連話題について Freebase に存在する範囲でのみ質問するのに対し, 条件 TE $+\mathrm{KE}$ では, Rel 質問の質問候補作成可能率が上がることにより，関連話題へと展開する可能性が高い。そのため, 条件 $\mathrm{TE}+\mathrm{KE}$ では関連話題への展開が連鎖的に起こり，他の 2 条件に比べ，1つのキーエンティティから話題を展開した対話をより長く継続すると予想される。

【仮説 2 】条件 BL，TE はユーザの言及する料理や材料について Freebase に定義されている知識を使った質問に限られるのに対し, 条件 TE $+\mathrm{KE}$ では知識グラフ補完により多くの料理や材料 について多様な話題を用いた質問が対話に出現すると考える。そのため，ユーザは条件 $\mathrm{TE}+\mathrm{KE}$ での対話は他の条件と比べ, ユーザの発言をシステムが理解し, 話題のバリエーションが多く,関連性のある応答を行い，対話を継続させ，ユーザから会話や情報を引き出している印象をも つと予想される。

## 7.2 文脈継続性の比較【仮説 1 】

仮説 1 を検証するために，文脈あたりのターン数に着目して分析した。ここで文脈とは，ユー ザ入力から得られた 1 つのキーエンティティをきっかけとし，他のエンティティへと話題を派生しつつ対話を継続した区間とし，ある文脈初期化質問 (Init) から次の Init 質問までの対話区間と定義した。なぜなら, Init 質問は対話開始時, 対話破綻時, および現在のキーエンティティ についての適用可能な質問方式を全て使い切ってしまった時に生成されるため，そこを文脈の 区切りとみなせると考えたからである.

各条件の文脈あたりの平均ターン数のグラフを図 8 に示す。対応のあるデータであり，かつ 3 群間に等分散性が認められないため, 統計検定には Wilcoxon 符号付き順位検定を用いた.

条件 TE+KEの文脈あたりの平均ターン数が最も多く, 条件 BL, TE との間に有意差 $(p<.01$, $p<.01)$ があった．条件 $\mathrm{TE}$ は他条件に比べ，知識を用いた質問回数が有意に少ないことから (6.1 節), ユーザから新しいキーエンティティを引き出す機会が少なく, 結果として他条件に 比べ，文脈あたりの平均ターン数も有意に少なくなったと考えられる．以上，「仮説 1 : 条件 $\mathrm{TE}+\mathrm{KE}$ では, 他の 2 条件に比べ, 1 つのキーエンティティから話題を展開した対話をより長く 継続すると予想される」は支持された.

そこで，実際に実験において観察された条件 TE+KE における対話継続の様子を説明する.

図 8 文脈あたりの平均ターン数 $(* p<.05 * * p<.01)$

図 9 に, 条件 $\mathrm{BL}$ と $\mathrm{TE}+\mathrm{KE}$ の対話例を示す. 条件 $\mathrm{BL}$ の対話（対話例 1）は Freebase に存在す る知識のみを用いて質問を行い，比較的破綻なく対話は進行している。しかし，対話例 1 中の キーエンティティ「青魚」に対し，「青魚」の知識トリプルからジャンル話題を用いた Frb 質問 （対話例 1-Sys_34）を生成するが，ユーザの応答は「イタリアンも好きです」であり，そこから 新たな料理名，材料名のキーエンティティを得られない。そこでシステムは 2 回目の Frb 質問 の適用を試みるが，先ほど使用した知識トリプルが「青魚」について Freebase 中で定義されて いる唯一のトリプルであったため, Frb 質問の生成に失敗し，結果的に初期化質問 Init（対話例 1-Sys_35）が生成され，文脈がリセットされる。このような場合に, 条件 TE+KEでは, 知識グ ラフ補完を用いることで Freebase に定義されていない知識についての質問生成を可能にしてい る。例えば，対話例 2-Sys_26で，Frb 質問をしたのち，Sys_27では, Rel 質問により Freebaseに 定義されていない材料についての話題を用いて質問している。また, 対話例 3-Sys_8で Frb 質問をしたのち，対話例 3-Sys_9では，料理「たこ焼き」に何を添えるかについての質問を生成し ている。このように Freebase に知識が存在しない，または少ない状況で，知識グラフ補完によ る Rel 質問により，ユーザから幅広い情報を得る機会を増やし，また，新たな料理名をユーザ から引き出し，それを種として質問をすることで対話を継続できたと考える。

## 7.3 主観評価結果

仮説 2 を検証するため, 実験協力者には各条件での対話終了後, 付録表 12 に示したアンケー トに回答してもらった。全被験者の主観評価に加えて, 知識グラフ補完の失敗が原因となった対話破綻による主観評価への影響を考慮し，知識グラフ補完による Rel 質問を備えた条件 $\mathrm{TE}+\mathrm{KE}$ において，対話が他条件と同程度にうまくいった対話に限定した場合の主観評価も調査した。他

図 9 条件 $\mathrm{BL}$ と条件 $\mathrm{TE}+\mathrm{KE}$ での対話例

条件と同程度に対話がうまくいった基準として，対話破綻回数を用いた．知識グラフ補完を行 わない条件 $\mathrm{BL}, \mathrm{TE}$ での対話中の対話破綻回数の中央值が 2 回であることから, 条件 $\mathrm{TE}+\mathrm{KE}$ を含め全条件で対話破綻回数が 2 回以下であるデー夕（被験者 10 人）を対象とし, 分析した.

システムの全体的な印象についての質問項目（Q1-Q7）に加え, 提案手法の効果を評価する ために，次に示す 5 つの評価指標について分析した。システムの質問はユーザの発話と関連し たものであったか（関連性：Q8, 11, 15），システムはユーザの発話を理解して質問していたか (理解：Q9,10), 話題のバリエーションは豊富であったか (バリエーション：Q12,13,14）, シ ステムはユーザから会話や情報を引き出していたか（情報引き出し：Q16, 19），対話の継続性 （継続性：Q17, 18,20）の5つの指標について，それぞれ該当する質問項目の評価値をまとめ,条件間の評価値の差について Wilcoxon 符号付き順位検定を行った。

システムの全体的印象 (Q1-Q7) については, 全データおよび対話破綻回数が 2 回以下のデー

タともに条件に差がないことを確認した.

次に，上で定義した 5 つの評価指標について，全被験者による主観評価結果を図 10 ，対話破綻回数が 2 回以下の被験者による主観評価結果を図 11 に示す.「関連性」と「理解」について は，全被験者のデータを用いた場合と対話破綻回数が 2 回以下のデータのみ分析した場合のど ちらにおいても，条件間に有意差は認められなかった。

一方,「バリエーション」と「継続性」については，全データを分析対象とした場合は条件間 に差は認められなかったが，対話破綻回数が 2 回以下の場合のみを分析すると，条件 $\mathrm{TE}+\mathrm{KE}$ は条件 $\mathrm{BL}, \mathrm{TE}$ と比較して「バリエーション」の評価は有意に高かった $(p<.05, p<.05)$.「継続性」についても，条件 $\mathrm{TE}+\mathrm{KE}$ は条件 $\mathrm{BL}, \mathrm{TE}$ よりも評価値が高く, 有意傾向が見られた

図 10 全被験者による 5 つの指標に関する主観評価結果 $(\dagger p<.1)$

図 11 対話破綻が 2 回以下の被験者による 5 つの指標に関する主観評価結果 $(\dagger p<.1 * p<.05)$
$(p<.1, p<.1)$.

「情報引き出し」については, 全データでは, 条件 TE+KE と条件 BL, TE との間に有意傾向が見られた $(p<.1, p<.1)$. 対話破綻回数が 2 回以下のデータでは, 条件 $\mathrm{TE}+\mathrm{KE}$ と条件 $\mathrm{BL}$ の間に有意差があったが $(p<.05)$, 条件 TEとの間には有意差は認められなかった.

以上, 仮説 2 について, 全被験者のデータを使用した場合では, 条件 TE+KE は条件 BL, TE より，「情報引き出し」の評価値が高く，その差には有意傾向がみられた．また，対話破綻回数 が少ない場合には, 条件 $\mathrm{TE}+\mathrm{KE}$ は条件 BL より,「バリエーション」,「情報引き出し」の評価值は有意に高く,「継続性」の評価值でも有意傾向がみられた。条件 TE との比較では,「バリ エーション」の評価値は有意に高く，「継続性」においても TE $+\mathrm{KE}$ の方が評価が高く，その差 には有意傾向がみられた.

以上の結果は, 6.1，7.2 節で述べた客観評価の結果と一致するものであり, システムの特長 がユーザの印象評価にも表れていることが確認できた。対話破綻回数が少ない場合に限定した 分析では期待した結果が得られたが, 全データでは効果がかなり限定的であったことから, 対話破綻を防ぐことが, 対話システムにおいて提案手法の長所を活かすためには不可欠であるこ とが明らかになった。

## 8 まとめ

本研究では，料理に関するユーザの嗜好を引き出すインタビュー対話に向けて，様々な料理 についての関連話題を用いた質問を行う対話システムを作成した. グラフ構造を持つ大規模知識を利用し, 知識グラフのエンティティ間の関係を話題とみなし, 話題どうしの関連の強さを 大規模テキスト Wikipediaより学習し, Skip-gramにより話題埋め込み表現を作成することで,関連話題の選択を可能にした。また，質問生成時に欠損している知識を知識グラフ埋め込み表現を用いて知識グラフ補完を行うことで，関連話題を用いた質問の候補作成可能率を大きく改善し, 提供する話題のバリエーションを増やした。知識グラフ補完の質的な評価も行った。そ の結果, 知識グラフ補完を行った知識トリプルにおいて，Pが適切，あるいは不適切とは言えな いがやや違和感を感じると評価された場合に，O が適切であると判断された割合は $19.4 \%$ と低 い結果であったが，知識グラフ補完により得られたトリプルから構成した質問文について，回答可能, あるいは回答不能ではないがやや違和感を感じると判断された割合は $65 \%$ あった.

クラウドソーシングで募集した被験者に, Web 上のシステムとの対話をする評価実験を行っ た結果, 関連話題の選択と知識グラフ補完を組み合わせた提案システムは, 話題のバリエーショ ンに富み, ユーザの言及した料理名や材料名をきっかけとした会話をより長く継続できること がわかった。また，対話破綻回数が 2 回以下の被験者に限り，比較的，対話がうまくいったと 考えられる場合に，提案システムはバリエーション，そして，有意傾向にとどまるが継続性に

ついても，肯定的な主観評価が得られることがわかった.

今後の課題として，まず，本稿で提案した質問は不確実な知識を用いているため，対話破綻 やシステムの応答に対してユーザが異論を示す状況が見られた. このような問題に対して, 知識グラフ埋め込み表現を作成するモデルの改良による知識グラフ補完精度の向上や，知識トリ プルを用いた質問の表現を工夫することで対話の継続が期待できる。本研究では知識トリプル の SPO が揃った前提のもとで質問を組み立てたが，「S で好きな材料 $\left(=P^{\prime}\right)$ はありますか?」の ように，Sについて関連述語として推定した $\mathrm{P}^{\prime}$ だけで質問することも考えられるが，今回の実験設定では生成されないため，これらを含めた検討が今後必要である。また，対話の中でユー ザから正しい知識を教えてもらうといった知識獲得を行い，対話を継続しつつ，知識べースの 更新や知識グラフ埋め込み表現を改良するなどの方向性も考えられる。

その他に，関連話題選択方法の改良も必要である。本手法では，関連話題の近さを扱う目的 でWikipedia からの話題の抽出を行っており，抽出した話題も，料理ドメインにおける Freebase の述語を対象としている。そのため, 人間どうしの会話で行われるような話題のバリエーショ ン, 話題選択とは異なる可能性がある。これについては, 例えば, Moon et al. (2019)を参考に し，大規模な対話コーパスと知識グラフを結びつけたデータを使い，深層学習を用いて対話履歴を考慮した知識トリプルの選択を行うといった改良が考えられる。

加えて, 対話で得られた情報が，ユーザの嗜好を実際に捉えているか，料理推薦などに役立 つかの調査も必要である.

## 謝 辞

本研究は JSPS 科研費 $19 \mathrm{H} 01120,19 \mathrm{H} 04159$, JST AIP 日独仏 AI 研究 JPMJCR20G6, およ びJST ムーンショット型研究開発事業 JPMJMS2011 の助成を受けたものである.

## 参考文献

Bordes, A., Usunier, N., Garcia-Duran, A., Weston, J., and Yakhnenko, O. (2013). "Translating Embeddings for Modeling Multi-relational Data." In Advances in Neural Information Processing Systems, pp. 2787-2795.

Chah, N. (2017). "Freebase-triples: A Methodology for Processing the Freebase Data Dumps." arXiv preprint arXiv:1712.0870\%.

Freyne, J. and Berkovsky, S. (2010). "Intelligent Food Planning: Personalized Recipe Recommendation." In Proceedings of the 15th International Conference on Intelligent User Interfaces, pp. 321-324. ACM.
藤岡勇真, 林克彦, 中野幹生, 駒谷和範 (2018). 対話システムにおける知識グラフの埋め込み表現 を用いた応答生成の試み. SIG-SLUD, 5 (02), pp. 88-89. [Y. Fujioka et al. (2018). Response Generation for Dialogue Systems by use of Knowledge Graph Embedding. SIG-SLUD, 5 (02), pp. 88-89.].

古川智雅, 吉野幸一郎, 須藤克仁, 中村哲 (2018). 格フレームを用いた質問生成によって深掘りを行 う対話システム. SIG-SLUD, 5 (02), pp. 94-95. [T. Furukawa et al. (2018). Dialogue System for Detailed Conversation Based on Question Generation using Case Frame. SIG-SLUD, 5 (02), pp. 94-95.].

Han, S., Bang, J., Ryu, S., and Lee, G. G. (2015). "Exploiting Knowledge Base to Generate Responses for Natural Language Dialog Listening Agents." In Proceedings of the 16th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 129-133.

Han, X., Cao, S., Lv, X., Lin, Y., Liu, Z., Sun, M., and Li, J. (2018). "OpenKE: An Open Toolkit for Knowledge Embedding." In Proceedings of EMNLP, pp. 139-144.

Hemphill, C. T., Godfrey, J. J., and Doddington, G. R. (1990). "The ATIS Spoken Language Systems Pilot Corpus." In Speech and Natural Language: Proceedings of a Workshop Held at Hidden Valley, Pennsylvania, June 24-27, 1990.

Higashinaka, R., Funakoshi, K., Araki, M., Tsukahara, H., Kobayashi, Y., and Mizukami, M. (2015). "Towards Taxonomy of Errors in Chat-oriented Dialogue Systems." In Proceedings of the 16th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 87-95.

Higashinaka, R., Kobayashi, N., Hirano, T., Miyazaki, C., Meguro, T., Makino, T., and Matsuo, Y. (2016). "Syntactic Filtering and Content-based Retrieval of Twitter Sentences for the Generation of System Utterances in Dialogue Systems." In Situated Dialog in Speech-Based Human-Computer Interaction, pp. 15-26. Springer.

Hirano, T., Higashinaka, R., and Matsuo, Y. (2016). "Analyzing Post-dialogue Comments by Speakers-How Do Humans Personalize Their Utterances in Dialogue?-." In Proceedings of the 17th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 157-165.

池原悟, 宮崎正弘, 白井諭, 横尾昭男, 中岩浩巳, 小倉健太郎, 大山芳史, 林良彦 (1997). 日本語語彙大系. [S. Ikehara et al. (1997). Goi-Taikei—A Japanese Lexicon.].

稲葉通将, 神園彩香, 高橋健一 (2014). Twitter を用いた非タスク指向型対話システムのための 発話候補文獲得. 人工知能学会論文誌, 29 (1), pp. 21-31. [M. Inaba et al. (2014). Candidate Utterance Acquisition Method for Non-task-oriented Dialogue Systems from Twitter. Transactions of the Japanese Society for Artificial Intelligence, 29 (1), pp. 21-31.].

井上昂治, 原康平, 相原邦光, 中村静, 高梨克也, 河原達也 (2018). 自律型アンドロイド ERICA

による就職面接対話. SIG-SLUD, 5 (02), pp. 62-65. [K. Inoue et al. (2018). Job Interview Dialogue Performed by Autonomous Android ERICA. SIG-SLUD, 5 (02), pp. 62-65.].

Johnston, M., Ehlen, P., Conrad, F. G., Schober, M. F., Antoun, C., Fail, S., Hupp, A., Vickers, L., Yan, H., and Zhang, C. (2013). "Spoken Dialog Systems for Automated Survey Interviewing." In Proceedings of the SIGDIAL 2013 Conference, pp. 329-333.

片山太一, 大塚淳史, 光田航，齋藤邦子，富田準二 (2018). 相手の発話を深掘りするための質問生成技術. 人工知能学会第 32 回全国大会論文集, 4G103. 一般社団法人人工知能学会. [T. Katayama et al. (2018). Question Generation to Deepen Your Talk. In Proceedings of the Annual Conference of JSAI 32nd Annual Conference, 4G103.].

Lam, X. N., Vu, T., Le, T. D., and Duong, A. D. (2008). "Addressing Cold-start Problem in Recommendation Systems." In Proceedings of the 2nd International Conference on Ubiquitous Information Management and Communication, pp. 208-211.

Lee, K., Seo, P. H., Choi, J., Koo, S., and Lee, G. G. (2015). "Conversational Knowledge Teaching Agent That Uses a Knowledge Base." In Proceedings of the 16th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 139-143.

Martinovsky, B. and Traum, D. (2006). "The Error is the Clue: Breakdown in Human-Machine Interaction." Tech. rep., University of Southern California Marina del Rey, CA, Inst for Creative Technologies.

松長大樹, 道満恵介, 平山高嗣, 井手一郎, 出口大輔, 村瀬洋 (2014). 料理画像及び素材一覧 に基づく料理の味推定に関する検討. 信学技報, 114 (204), pp. 31-36. [H. Matsunaga et al. (2014). A Study on Tastes Estimation of Food Based on Food Images and Ingredients. Technical Report of IEICE, 114 (204), pp. 31-36.].

松長大樹, 道満恵介, 平山高嗣, 井手一郎, 出口大輔, 村瀬洋 (2015). 料理画像及び素材一覧に 基づく料理の食味表現推定. 信学技報, 114 (485), pp. 41-46. [H. Matsunaga et al. (2015). Taste and Texture Estimation of Food Based on Food Image and Ingredients List. Technical Report of IEICE, 114 (485), pp. 41-46.].

Mikami, Y. and Hagiwara, M. (2018). "Topic Expansion Method Considering Randomness for Dialogue System." Transactions of Japan Society of Kansei Engineering, 17 (3), pp. 365-373.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., and Dean, J. (2013). "Distributed Representations of Words and Phrases and Their Compositionality." In Advances in Neural Information Processing Systems, pp. 3111-3119.

Milhorat, P., Lala, D., Inoue, K., Zhao, T., Ishida, M., Takanashi, K., Nakamura, S., and Kawahara, T. (2019). "A Conversational Dialogue Manager for the Humanoid Robot ERICA." In Advanced Social Interaction with Agents, pp. 119-131. Springer.

Moon, S., Shah, P., Kumar, A., and Subba, R. (2019). "Opendialkg: Explainable Conversational Reasoning with Attention-based Walks over Knowledge Graphs." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 845-854.

中野哲寞, 荒木雅弘 (2015). 雑談対話システムにおける単語分散表現を用いた話題展開手法. 言語処理学会第 21 回年次大会発表論文集, pp. 269-272. [A. Nakano and M. Araki (2015). Zatsudan Taiwa Sisutemu niokeru Tango Bunsan Hyogen wo Mochiita Wadai Tenkai Syuho. In Proceedings of the 21st Annual Meeting for the Association for Natural Language Processing, pp. 269-272.].

Nguyen, D. Q. (2017). "An Overview of Embedding Models of Entities and Relationships for Knowledge Base Completion." arXiv preprint arXiv:1703.08098.

Pappu, A. and Rudnicky, A. (2014). "Knowledge Acquisition Strategies for Goal-oriented Dialog Systems." In Proceedings of the 15th Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL), pp. 194-198.

下岡和也, 徳久良子, 吉村貴克, 星野博之, 渡部生聖 (2017). 音声対話ロボットのための傾聴シ

ステムの開発. 自然言語処理, 24 (1), pp. 3-47. [K. Shitaoka et al. (2017). Active Listening System for a Conversation Robot. Journal of Natural Language Processing, 24 (1), pp. 3-47.]. Smyth, B. (2007). "Case-based Recommendation." In The Adaptive Web, pp. 342-376. Springer. Stent, A., Stenchikova, S., and Marge, M. (2006). "Dialog Systems for Surveys: The Rate-aCourse System." In 2006 IEEE Spoken Language Technology Workshop, pp. 210-213. IEEE.

Trattner, C. and Elsweiler, D. (2017). "Food Recommender Systems: Important Contributions, Challenges and Future Research Directions." arXiv preprint arXiv:1711.02760.

Trouillon, T., Welbl, J., Riedel, S., Gaussier, É., and Bouchard, G. (2016). "Complex Embeddings for Simple Link Prediction." In International Conference on Machine Learning, pp. 2071-2080.

渡辺知恵美, 中村聡史 (2015). オノマトペロリ: 味覚や食感を表すオノマトぺによる料理レシピ のランキング. 人工知能学会論文誌, 30 (1), pp. 340-352. [C. Watanabe and S. Nakamura (2015). Onomatoperori : Ranking Cooking Recipes by using Onomatopoeias which Express their Tastes and Textures. Transactions of the Japanese Society for Artificial Intelligence, 30 (1), pp. 340-352.].

## 付録

## A アンケート項目

ユーザスタディ（5 章）で使用したアンケート項目を表 12 に示す.

 & Q11 &  \\

表 12 アンケート項目

## B知識トリプルの適切性評価の詳細

6.2.1 節で行った知識トリプルの適切性の評価作業の詳細を示す. 表 13 に知識トリプルの適切性評価作業シートと評価の例を示した。評価シートの各行には, 評価対象の $\mathrm{S}, \mathrm{P}, \mathrm{O}$ の組と, $\mathrm{P}$ の適切性，および $\mathrm{O}$ の適切性の評価を記入する闌が設けられている。表 13 では，評価記入欄 に評価の例が記載されている。評価対象とした SPO は，補完された $\mathrm{O}$ も含み，実際に質問生成に使用された知識トリプルである。Pについては，Freebaseの述語を自然言語の表現で示し ている。表現の候補が複数ある場合には [] 内で示し，候補を|で区切っている。

表 13 知識トリプルの適切性評価作業シートと評価の例

評価者は，はじめに P の適切性を評価するよう指示された，具体的には，「評価シート中の対象 $(\mathrm{S})$ に対しての話題 $(\mathrm{P})$ の適切性を判断し, 以下の 3 つのいずれかを選び, 評価シートに記入してください」, と指示した.

$\mathrm{P}$ の適切性：

○: 対象 $(\mathrm{S})$ についての話題 $(\mathrm{P})$ として適切.

$\triangle$ : 対象 $(\mathrm{S})$ についての話題 $(\mathrm{P})$ として不適切とは言えないが, やや違和感を感じる.

$x$ : 対象 $(\mathrm{S})$ についての話題 $(\mathrm{P})$ として不適切.

次に，Oの適切性を評価するよう指示した。具体的には，「対象 $(\mathrm{S})$ と話題 $(\mathrm{P})$ を考慮した上 で, 目的語 $(\mathrm{O})$ の適切性を判断し，以下の 3 つのいずれかを選び，評価シートに記入してくだ さい」, と指示した.

$\mathrm{O}$ の適切性：

$\bigcirc$ : 対象 $(\mathrm{S})$ と話題 $(\mathrm{P})$ の目的語 $(\mathrm{O})$ として適切.

$\triangle$ : 対象 $(\mathrm{S})$ と話題 $(\mathrm{P})$ の目的語 $(\mathrm{O})$ として不適切とは言えないが，やや違和感を感じ

る.

$x$ : 対象 $(\mathrm{S})$ と話題 $(\mathrm{P})$ の目的語 $(\mathrm{O})$ として不適切.

なお，評価者は，知識トリプルの適切性を評価するため，エンティティについて調べること を許可された。

## 略歴

曽傑：2017 年成蹊大学理工学部情報科学科卒業. 2019 年同大学院理工学研究科修士課程修了. 現在, 同研究科博士課程在籍. 自然言語処理, 対話シ ステムの研究に従事. 人工知能学会学生会員.

中野有紀子：1990 東京大学大学院教育学研究科修士課程修了. 同年, 日本電信
電話（株）入社. 2002 MIT Media Arts \& Sciences 修士課程了。2002-2005 (独) 科学技術振興機構社会技術研究開発センター専門研究員, 2005-2008 東京農工大学大学院工学府特任准教授, 成蹊大学理工学部情報科学科准教授を 経て, 現在, 成蹊大学理工学部情報科学科教授. 知的で自然なユーザインタ フェースの実現に向けて，人との言語・非言語コミュニケーションが可能な 会話エージェントの研究に従事. 博士 (情報理工学). ACM, 人工知能学会,電子情報通信学会, 情報処理学会各会員.

(2020 年 10 月 31 日 受付)

(2021 年 2 月 8 日 再受付)

(2021 年 3 月 12 日 採録)


# 『分類語彙表』に対する反対語情報付与

本論文ではシソーラス『分類語彙表』に対する反対語情報付与作業について示す。分類語彙表上では反対語対に対しても同じ分類番号が付与されている。この同じ分類番号が付与されている単語群から反対語対を抽出し，分類作業を行った。まず，人手により反対語候補となる単語対を網羅的に収集した. 次に，一般的な日本語話者 が反対語と感じるかをクラウドソーシングにより収集し, $50 \%$ 以上の方が反対語と みなしたものを反対語と定義した。最後に, 得られた反対語リストに対して, 村木 の「対義語」の分類を精緻化したものを付与した。分析にあたっては， 反対語認識 の非対称性・分類語彙表ラベル・分類・コーパス頻度・単語埋め込みなどの観点か ら検討を行った。言語学的な分析においては, 閉じた反対語対に対してより反対語 らしさを感じる傾向が確認された。 言語処理的な分析においては, 単語埋め込み上 で反対語対の置き換え可能性の評定とコサイン類似度に中程度の相関があることが 確認された。

キーワード：分類語彙表・反対語・対義語・クラウドソーシング・アノテーション
## Opposite Information Annotation on 'Word List by Semantic Principles'

Sachi $\mathrm{KatO}^{\dagger}$, Masayuki Asahara ${ }^{\dagger \dagger}$, Nanami Moriyama ${ }^{\dagger \dagger \dagger}$, Asami OgiWara ${ }^{\dagger \dagger, \dagger \dagger \dagger}$ and MaKoto YamazaKI ${ }^{\dagger \dagger}$

This paper presents research on opposite information annotation on the thesaurus 'Word List by Semantic Principles (WLSP)'. The categorised words with the same label include antonym word pairs. We extract the opposite word pairs from the categorised group and classified the opposite word pairs. Firstly, the annotators manually extracted opposite word pair candidates. Secondly, we utilised Yahoo! crowdsourcing to evaluate how many people recognise the opposite word pair as the opposites. We defined 'opposites' as the words judged by greater than or equal to $50 \%$ people. Thirdly, we annotated the opposites types by Muraki for the word pairs. We analysed the opposite word lists by their asymmetry, the label of WLSP, the opposite types, their frequencies and word embeddings. In the linguistic point of view, the closed opposite word pairs tend to be regarded as 'opposites'. In the natural language processing point of view, the distances between two words in the opposite pairs correlates their replaceability of the human judge.

Key Words: Word List by Semantic Principles, Opposites, Crowdsourcing, Annotation

## 1 はじめに

本稿では『分類語彙表』 (国立国語研究所 2004) に対する反対語・対義語情報付与について 論じる. 分類語彙表は単語の意味をその語義に基づいて分類している. 分類語彙表の初版の書籍は 1964 年に出版され, 増補改訂版の書籍が 2004 年に出版された. この増補改訂版をもとに した CSV 形式のデータベース，分類語彙表増補改訂版データベース（以下『分類語彙表 $\mathrm{DB} 』$ ) が公開されている。同データは区切り記号を含めて 101,070 エントリからなる.

表 1 に分類語彙表の構造を示す. 分類語彙表の単語・語義は, 分類番号・段落番号 - 小段落番号・語番号が割り当てられている。これらの番号が，語の階層的なクラスタを構成している.分類番号は, 語の統語分類を表す類と, 意味分類を表す部門・中項目・分類項目により構成 されている. 分類語彙表のピリオドより前の数字が類を, ピリオドの後 1 ケ夕の数字が部門を, 2 ケタが中項目を，4ケ夕が分類項目を表す. 表 2 に「最大」（分類番号 1.1920）の例を示す. ここで最初の 1 は統語分類の類「体」を表す.ピリオドより後の. 1920 が意味分類を表し, 最初の. 1 が部門「関係」, 19 が中項目「量」, . 1920 が分類項目「程度・限度」を表す.

分類語彙表の意味の階層構造は反対語 (opposites) ・ 反義語 (antonyms) も含めた類義語 (synonyms ${ }^{1}$ に対して同じラベルを割り当てる．例えば，表 1 の小段落番号 1.1920-01-01には，「最

本的には二項対立の単語対に対して認めるものであるが，三項対立のものに対して認めるもの もある。

表 1 分類語彙表の構造

表 2 分類語彙表の項目「最大」

本研究では，分類語彙表の類義語に対する反対語情報を大規模に付与する。まず，反対語と 少しでも考えられる単語対を人手で分類語彙表から抽出した。次に，展開した反対語対候補と ランダムに抽出した単語対を文字刺激として，反対語らしさの評定値をクラウドソーシングに より収集した。さらに，クラウドソーシングにより，正順呈示・逆順呈示のいずれかで $50 \%$ 以上の方が反対語であると認識した語対について，反対語の分類情報を付与した。これらのデー タベースについて, 反対語の分類ごとの評定值情報・コーパス頻度・単語ベクトルの傾向につ いて調査した。

2 節では，言語学における反対語の関連研究と，言語処理における極性分析などについて示 す. 3 節に反対語情報の付与方法を示し， 4 節に分析結果を示す. 5 節にまとめと今後の課題に ついて示す.

## 2 関連研究

## 2.1 関連研究：言語学の観点から

## 2.1.1 Cruse の反対語 (opposites) の分類

反対語 (opposites) は様々な定義があり, 何を反対と考えるのかという基準や評価はいまだ明確ではない. Cruse (1994)の言及によると, 反対語 (opposites) は相補語 (complementaries)・逆語 (converses)・反転語 (reversives)・反意語 (antonyms)を含む一般的な概念であり，

(1) 対立的な反対性 (diametric opposition)

(2) 二值性 (binarity)

(3) 上位概念における包括性 (exhaustiveness of superordinate domain)

(4) 対称性 (symmetry)

などが特徴としてあげられる。しかし, 反対語と呼ばれるものが, これらのすべての特徴を備 えているわけではないことに言及している。例えば, 反対語対 (huge, tiny) は, (large, small) と比べて, 上位概念における包括性は低い.

方向における反対語 (directional opposition) は，空間における動作も含めて定義しやすいと される (Cruse 1986)，方向から発展して，連想により定義されるものも含まれる². 以下にさま
, \mathrm{B}$ をとる関数 $F^{X}(A, B)$ が成り立つ場合かつその場合にのみ $F^{Y}(B, A)$ が成り立 つとき, X と Y は逆語と言う。

のように内包的に定義するものもあれば,
- 相補語の例 (dead, alive)
- 逆語の例 (is above, is below)

のように外延的な記述もある．但し，(Cruse 1994)は，すべての反対語の概念を内包的に定義もしくは外延的に記述することは難しいとも言及している.
}

ざまな反対語について示す.
- 対蹠語 (antipodal)：何らかの軸の両端に位置するものから発展して, 両極として対にな る表現（例： (top, bottom), (maximum, minimum))
- 対照語 (counterparts)：位置的に対照的なものから発展して, 概念的・文化的に対になる 表現 （例：(ridge, groove), (hill, valley), (male, female), (heaven, hell), (yin, yang))
- 反転語 (reversives)：反対方向への動作や変化を示す動詞など（例： (rise, fall), (appear, disappear), (enter, leave))
- 逆語 (converses)：2つの対象の相対的な関係を表す対（例：(above, below), (ancestor, descendant) (doctor, patient))

反対性に関わる極性 (polarity) には形態上あるいは論理上のほか, 何らかの特徵の有無, 評価的なポジティブ／ネガティブがあるとしている． Cruse (1994)によれば，反対語は上記のよう な二項対立だけでなく， 三項以上の対立 (lack of congruence) も含まれる.

また, 反対語の中で, 反意語 (antonyms) は尺度の対立に関連する狭い範囲の語対を表す. Cruse (1986) の定義では,

（1）段階的なもの (gradable) で，ほとんどは形容詞であり一部動詞を含む (most are adjectives; a few are verbs)

(2) 何らかの変数の程度 (degrees of some variable property)

（3）程度を表す尺度に沿って反対の方向性がある (opposite directions along the scale representing degrees)

(4) 語対により厳密に領域を 2 分しない (the terms of a pair do not strictly bisect a domain) と，二項対立性や上位概念における包括性などを厳密に規定しない。つまり，閉じた対ではな く，開いた対であると言える。なお，(Murphy 2003) は， 反意語 (antonym) の下位分類に (1) contrary, (2) complementary (contradictory), (3) converse, (4) reversive としたうえで, (3), (4) に種々の雑多な例（一般に方向関連）を含める.

## 2.1.2 村木の「対義語」の分類

日本語においては, 村木 (1987) が，反意語 (antonyms) よりも広い意味で「対義語」を捉え るとし，

（1）相補関係に基づく反義対：ある条件下で，概念の領域を分割する対

（2）両極性に基づく反義対：ものごとの対極を名付けた単語の対立

（3）程度性をもつ反義対：空間量, 重量, スピードといったものごとの属性や性質をあらわ す単語の対立 (多くは形容詞)

（4）視点がらみの反義対：(a) 同一の対象や過程が 2 つの異なる視点から名付けられた単語対，(b) 互いに他を前提としてなりたっている単語対
（5）変化に関わる反義対：(a）ある空間を考慮して，互いに逆方向に移動することを含意する 単語対, (b) 状態の変化に関与するもので, 互いにもとの状態にもどる関係の単語対 を挙げる。

Cruse の反意語 (antonyms) は概ね村木の「程度」にあたるといえる。 三項以上の対立の単語対や相反するとはいえない側面の単語対も含める。このほか，対比が反対の意識になったと考 えられる単語対を，開いた対義対と位置付け，二値性・全体-部分・二側面・文脈に依存する反義対・慣用句による反義対などを挙げる。また，村木が（閉じた対と区別して）開の対に分類 する「都会：田舎」などが，Cruse では方向性で説明される（開閉の区別はない）ほか，「相補」関係と考えられる「表：裏」のような対や「変化」にあたる対は反転語 (reversives),「視点が らみ」の対は逆語 (converses) の扱いとされ，反対を持つ対の分類は大きく異なる．詳細につい ては, 3.3 節に示す.

実際にどのような対が反対と認識されているのか, どのようなタイプの対が反対と認識され ているのか，理論上の分類で反対の意識の説明が可能であるのか，実態からの調査や分析が待 たれる。

## 2.1.3 反義性の調査

反対語において何が「反対」なのかを解明するため，辞書やコーパスから収集した反対語対 の関係性や反義性の度合を調査する試みがなされている.

反対語対における反義性の強さについても，議論や調査がなされてきた。たとえば Herrmann et al. (1979) は, 反意語 (antonyms)の程度の違いを実験的に調査し, 関係性の類似が項目の類似 よりも反対性に関わるとした. Herrmann et al. (1986)は, 疑念構造を反意語 (antonym) 対の要因とし，速さ，明るさ，強さ，大きさ，幅，価値，厚さのような概念次元を基盤と考える． Cruse (1986) は, 一次元で概念化できること, 対立で意味が言いつくされていること，その他の意味 に関して一致度が高いことなどが影響するという，村木 (1987) は，一次元の尺度で対立するこ と，つりあいが対立で言いつくされていること，文脈の不要性，同種類（品詞・語種・文体的特徴・共通語形部分）を挙げている。 反義性の良し悪しを, コーパス調査, 産出実験, 心理実験などから検証 (Paradis et al. 2009) する試みも見られるが，いずれの要素も反義性の判断に影響している可能性が考えられるとはいえ，何がどれだけ影響しているのかは明確ではない.

日本語の反対語の実態的な調査の例には, 荻野, 野口 $(1988,1996)$ による「通常の日本語話者が考えている」反対語の報告がある. 165 反対語対の反義性判断実験を行ったもので，結果か ら，一般的な「対比」の意識は雑多で個人差があるものの, 意味関係よりも現実世界のモノの 関係でとらえられ，二項対立の単語対に反義性の意識が強い傾向が分析されている.

また, 日本語の反対語の程度性については, 松本 (2007) が, 138 反対語対の反義性判断実験 の結果に基づき, 反義性の程度を方向性と極性の概念的な対立の観点から分析している. 対比
的な比較において方向性が顕著な単語対で反義性が高く判断される傾向と, 肯定性・否定性の 程度が関わる傾向が示された。但し, Cruse (2004)は, (doctor, patient)のような単語対につ いて内在する二項対立を考えるが，松本 (2007) は，極性の明確さが要因と分析する．また，方向性に関する単語対では「両端開放型スケール」3で反義性判断程度が高いという結果も得られ ている。これらの日本語を用いた先行研究はいずれも百数十単語対規模の実験であるが，現実世界のモノの関係・比較において方向性が顕著という点において一致しているといえる．村木 (1987) が「程度」に分類する形容詞対（いわゆる Cruse の「反意語」(antonyms)）で反対性の 強い可能性も考えられる. 反対語と認識されている対を網羅的に収集した検証が求められよう.

なお, 荻野, 野口 (1996) では, 提示順を逆転させた調査において, 165 単語対中 15 単語対 において反対語らしさの大小が異なっていた. この現象の理由として, 先に読んた語に複数の 反対語が意識される場合, 単語対の反対語意識が低下する傾向を分析している. Paradis et al. (2009) の調査でも, 反対語対間の結びつきの強さが連想の起点とする語によって変わる例が示 され，想起される使用文脈との関係によると指摘されている。しかし, 提示順の違いによる反対語らしさの違いが，先に示された語の多義性のみで全て説明されるのではない. 荻野, 野口 (1996)は, 提示順の逆転で反対語らしさが異なっていた (以前, 以後), (上, 下) などの単語対は あてはまらないとし, 「前後」「上下」のような熟語の影響を否定している. 反対性の意識が語 の提示順で異なる例について, どの程度どのような種類として存在するか調査し, 反対性の意識に関わる要因を確かめる必要があろう.

## 2.2 関連研究：言語処理の観点から

以下では, 主に単語埋め込み (Mikolov et al. 2013a, 2013b) を含めた分布意味論における反対語の扱いについて紹介する．Mohammad et al. (2013) は, 分布意味論で構成される単語の類義性評価において反対語同士の分布意味論的な距離が近いところに出現するとしており, Ono et al. (2015), Rothe and Schütze (2015) は単語の対義関係を単語埋め込みから判断するのは難 しいとしている. 一方, Mikolov et al. (2013c) が word2vec 上の linguistic regularity の例に出 した

$
k \overrightarrow{i n} g-m \vec{a} n+w o \overrightarrow{m a n}=q u \vec{e} e n
$

における male/female 関係は閉じた対義関係にあるとも言えるだ万う。日本語においては，単語埋め込み中にも反対語間で文脈的な差異があるとして, 単語埋め込み上での識別を試みた研究もある (佐藤 他 2016; 中村他 2018, 2019; 川島 他 2019) が, 主として評価的なポジティブ／ ネガティブを対象としており，言語学的に精緻な反対語の調査は行われていない.

村木 (1987) においては, (man, woman) や (king, queen) ${ }^{4}$ は相補 (complementation) に相当 する閉じた反対語対である. Mikolov et al. (2013c) の例では male/femaleの例として, (uncle, aunt）を示しており，これも相補に相当する反対語対5である。一方，視点（viewpoints）に相当する uncle の反対語として, nephew や niece が考えられる。松本 (2007) においては (man, woman) は非関係的であるが, (king, queen)・(uncle, aunt)・(uncle, nephew)・(uncle, niece) は 関係的である。これらの先行研究から，はたして単語埋め込み上で反対語対がどのように表現 されるのか，適切に収集した反対語データベースに基づく検証が求められよう。さらに 村木 (1987) の「対義語」の分類ごとに異なる差ベクトルを持つのかを検証したい.

## 3 データ構築方法

日本語の反対語対を収集し，一般的な日本語話者による反対語かどうかの判断を取得する.反対語の定義として，一般的な日本語話者に対して質問紙調査を行った際の「反対語である」の 判定が $50 \%$ 以上のものを「反対語」とする。また，反対語として得られた対の分析を行い，先行研究で示された傾向を大規模なデータで検証するとともに, 反対語とされる単語対のタイプ 分類と, 反対語と認識されやすいタイプについての調査も試みる.

具体的なデータ構築方法は次のとおりである。最初に分類語彙表から反対語に相当する候補 を人手により収集した（3.1 節)，次にクラウドソーシングにより反対語であるか否かの評定值情報を収集した（3.2 節)，最後に人手により村木 (1987)による反対語のタイプ（村木において は「対義語」）を付与した（3.3 節 $)$.

## 3.1 反対語対候補の抽出

4 人の作業者により, 分類語彙表の階層構造において同じラベルを持つものを対象に, 反対語対候補の抽出を行った。まず，4人の作業者により，小段落番号が同じ単語群の組み合わせ 162,990 対から反対語候補対を抽出した。次に， 2 人の作業者が段落番号が同じ単語群の組み合 わせ 842,459 対から反対語候補対を抽出した。この際，小段落番号が同じ単語群において漏れ があった場合には追加した．抽出にあたっては，「三省堂反対語対立語辞典」に採録されている 単語対についても参照した。抽出作業は 2017 年 6 月に開始し, 2018 年 11 月に終了した.

本作業で 7,658 の反対語対を抽出した。 3,405 語対は小段落番号が同じ単語群から, 4,253 語対は段落番号が同じ単語群から抽出したものであった.
^{4}$ (king, queen) は, 「最高支配者」という領域において相補.

5 (uncle, aunt) は「父母のきょうだいもしくは父母のきょうだいの配偶者」という領域において相補.
}

図 1 クラウドソーシングによる評定値情報収集画面

## 3.2 クラウドソーシングによる評定値情報

3.1 節で抽出した 7,658 反対語対候補に，ランダムで追加した 4,342 の単語対 6 をあわせた 12,000 単語対を対象として, 一般の方が反対語として認識するかどうかの評定値を Yahoo! ク ラウドソーシングにより収集した。実験対象者は, 20 歳以上の Yahoo! Japan ID を所持する 者とした。実験に際し，不適切な回答を行う実験不適切者の排除を行ったが，性別・在住地な どによる統制は行っていない，図 1 に評定值情報収集画面の例を示す。友対語の程度を「対義語・反対語でない」$\cdot$「対義語・反対語であるが置き換え不可」・「対義語・反対語であり，置き 換え可」の 3 択から選択させた.「対義語・反対語でない」は，単語対に対義語・反対語性を見 いだせないときに選択する。「対義語・反対語であるが置き換え不可」は，単語対に対義語・反対語性があるが，格交代などにより文脈によっては置き換えができないときに選択する．置き

語・反対語であり，置き換え可」は，単語対に対義語・反対語性があり，置き換えができると

単語対の呈示順として，分類語彙表上の ID の昇順に示したもの（正順呈示）と降順に示し たもの（逆順呈示）の 2 種類を設定した.クラウドソーシングは 2 回に分けて実施した， 1 回目は 2018 年 12 月 17 日 8:03 21:25 に行い，1,597 人が参加し, 18 時間 21 分を要した. 2 回目 は 2019 年 11 月 22 日 8:03 24 日 7:40に行い， 1,753 人が参加し， 47 時間 43 分を要した。費用は税別で 40 万円を要した. 各単語対は順方向 20 人・逆方向 20 人評価を行った.

## 3.3 反対語タイプアノテーション

クラウドソーシングにより，実験協力者 $50 \%$ 以上の方が正順呈示・逆順呈示のいずれかで

「対義語・反対語である」（置き換えの可不可問わず）の 5,538 単語対を評価対象とした. ラべ ル分類は閉じた対・開いた対を確認しながら 村木 (1987)の分類にならった. 但し, 反対語と評価された対には，村木 (1987) では示されていない関係性の対が存在することや，反対性が見い だせない（分類不能）ことなどが予想されたため, 閉開ともに「その他」のラベルを設定した.

閉じた対のタイプは以下の通り。
- 相補 (complementation)：ふたつの単語 X と Yがある条件下で概念の領域を分割する対.

一方が肯定されれば他方が否定される。中間段階を認めない.

例） (男, 女), (父,母), (上, 下), (裏, 表), (真, 偽), (等しい, 異なる), (同じ, 違う), (出勤, 欠勤), (合格する, 落第する), (引き受ける, 断る)

但し，人間の判断にかかわる関係については，どちらも否定可能で厳密ではない場合が ある 7 .
- 両極 (bipolar)：連続的であれ不連続的であれ，ものごとの両極に位置する部分の対．中間段階が存在する。

例) (満点, 零点), (最高, 最低), (最大值, 最小值), (頂上, ふもと), (天, 地), (始発駅, 終着駅)，(開会, 閉会)，(入学, 卒業)，(始まる, 終わる)
- 程度 (degree): ものごとの属性や性質をあらわし（多くは形容詞）, 程度を特徴づける副詞類（「とても」「少し」など）と共起する対。対立するふたつの語の意味領域は厳密に は別れない（差は相対的），中間点は多くの場合存在しない（１両極）が，一方の否定は 他方の肯定を意味しない（ｌ相補）。例）(大きい, 小さい), (高い, 低い), (重い, 軽い), (早い, 遅い), (暑い, 寒い), (きれいな, 污い), (安全, 危険), (積極的, 消極的), (うれし い, 悲しい), (太った, やせた)
- 視点 (viewpoints): 現実の対象世界に属さず，人間の対象のとらえかたに関わる対.
- 同一の対象や過程がふたつの異なる視点から名づけられた単語のあいだに成立.

例）(上り坂, 下り坂), (入口, 出口), (スタート地点, ゴール地点), (いく,くる), (売る,買う), (貸す,借りる)，(教える, 教わる)
- 互いに他を前提として成立.

例) (親, 子), (夫, 妻), (先生, 生徒), (医者, 患者), (師匠, 弟子)
- 変化 (change):

一 ある空間を考慮して，互いに逆方向に移動する（位置の変化が逆方向）関係.

例）(あがる, さがる), (つく, 離れる), (到着, 出発)
- 状態の変化に関与し, 互いにもとの状態に戻る（可逆的）関係.

例）(現れる, 消える)，(結ぶ，ほどく)，(覚える，忘れる)，(積む，下ろす)，(生産，

破壊), (着衣, 脱衣), (暖める, 冷やす), (のばす, ちぢめる)

開いた対は，ものごとのふたつの側面をとりだして対比し，反義性を感じる対である．文脈 に依存するが，二值性や両極性が認容される。
- 典型 (2 值) (representative): ある対象にふたつしかないなど，ふたつがものごとの典型 である対。

例）(和室, 洋室), (都会, 田舎)

・ 部分全体 (whole-part): さししめしている対象の関係が全体と部分である対.

例) (往復, 片道), (両手, 片手)
- 2 側面 (two sided)：ものごとのふたつの側面に注目した対.

例）(たて，よこ), (水平, 垂直), (一般, 特殊)

$\cdot$ 慣用 (idiom): 慣用句として反義性をもつと感じられる対.

例) (気を失う，我にかえる)，((気が)はれる，(気が) ふさぐ)，(骨をおる，骨をおしむ)

$\cdot$その他開 (others): 上記以外のもの.

最初に 3 人の作業者が独立に作業を行った。関係性の判定においても，反対性の考え方には 個人差が生じることになる． 3 人の判定が完全に一致したのは 1,539 対 $(27.8 \%), 2$ 人の判定が 一致したのは 2,625 対 $(47.4 \%)$, であり， 3 人とも一致しなかったのは 1,374 対 $(24.8 \%)$ であっ た. 2 人以上一致した 4,164 対 $(75.2 \%)$ については, 一致したものを最終結果として採用した. なお, 特に判定が一致しなかったものは閉の「相補」「両極」「程度」(597 対）と，開（425 対） の判定である。判定が一致しなかったものについては， 4 人目の判定を追加するとともに，「そ の他開」は傾向により次の 3 つのタイプを導入し，最終結果とした.
- 終了 (finished): 継続していた状態とその終了を示す語の対．終わった状態であれば「相補」関係が成立するため問題はないが，(授乳, 離乳)のような反対語対においては判定が 一致していなかった。ほかに (進捗, 停滞)などがある.
- 主副 (別) (main-sub): 一方が主であるものの「相補」や「両極」,「部分全体」とも判定 し難い (本流, 支流), (直行する, 迂回する) などで判定摇れが生じていた.
- 因果 (cause-effect): 一方が原因となる単語対に付与した。(におう, 脱臭する) や, 因果関係を示す (起因する, 結果する) のような単語対で判定が一致していなかった.

最終的に「その他開」が付与されている対は，その他の反義でない（が反対語と半数以上に 判定された) 類義語対, 反義ではあるが態が異なり反対と認められなかった単語対（例：(首が つながる，首にする)）である.

## 4 分析

## 4.1 対応する反対語数の分析

まず，反対語対は必ずしも 1 対 1 対応しているわけではなく，1対多対応している場合があ る. 表 3 に 1 つの反対語に対応する反対語数の分布（反対語であるとの認定が正順呈示・逆順呈示のいずれかで $50 \%$ 以上のもののみ）を示す. 9,286 語 8 中, $88 \%$ の 8,184 語が 1 対 1 対応し ているが, 残りの $12 \%$ は複数の反対語を持つ.

Cruse (1986) は, 反対語を共有するという合同関係に基づく合同類 (congruence variants) に ついての検討を行っている. Cruse は反対語の合同類を上位下位型 ('hypo-/super' type) と逆元なし型 ('semi-' type)の 2 種類に分けたうえで，前者のみが頻出するとしている．日本語で は上位反対語として「脱ぐ」の例（「着る」「かぶる」「履く」「はく」「穿く」）を示しており，本 データベース上でも確認できた（表 3）。本データベース上で見られたそのほかの例として，性差・視点のものがあった，例えば，表 4 に示すとおり，「ホステス」「ホスト」「ゲスト」は，そ れぞれ互いに反対語の関係にあるが，性差の関係としての相補と，主客の関係としての視点の 関係がある．動詞の例としては「婿取りする」が，視点として「婿入りする」や，典型として 「嫁とりする」などの反対語を持つ.

表 5 に対応する反対語数が多い用例を示す. 分類語彙表に含まれる類義の慣用表現が多い場合に，1つの反対語に対応する語数が多い傾向が確認できた。また, 動詞において，自他交代し た事例が出現する傾向も見られた.

 \\

2 & 761 \\
3 & 191 \\
4 & 86 \\
5 & 33 \\
6 & 16 \\
7 & 2 \\
8 & 7 \\
9 & 4 \\
10 & 1 \\
12 & 1 \\

表 31 つの反対語に対応する反対語数の分布

表 4 複数の反対語に対応する例

 \\

表 5 対応する反対語数が多い用例

## 4.2 反対語データベースを構成する語の多義性

次に反対語の多義性について検討する，多義性を検討するにあたり，WLSP2UniDic（分類語彙表番号-UniDic 語彙素番号対応表) ${ }^{9}$ (近藤, 田中 2020) を用いる. 反対語対に出現する分類語彙表の語に対して, UniDic の語彙素番号と対応をとったうえで, UniDic 側からみて分類語彙表の語義が何種類割り当てられているかを集計したものとその例を表 6 に示す. 語義数の欄が 「-」とあるのは, 分類語彙表と UniDic の単位が異なるために対応する要素がないもの $(3,050$例）である. 残りの 6,232 例中, $59 \%$ の 3,651 例が UniDic の語彙素単位に単義の語であった.残りの $41 \%$ は多義性を持ち, 多いものでは「掛ける」が 12 の語義を持つ. ここでは, 複数の 反対語に対応する多義語の例として「甘い」を表 7 を示す.「難易」「待遇」「味」の 3 つの語義 に対して，「厳しい」と「辛い」が反対語として対応していることがわかる.

## 4.3 クラウドソーシングによる評定値の分析

まず，表 8 にクラウドソーシングによる評定値の集計結果について示す. 候補外の単語対に 対して $83.8 \%$ の回答が「反対語でない」である一方, 反対語候補の単語対に対しては $34.3 \%$ (小段落一致候補）$\cdot$ $35.9 \%$ (段落一致候補）であった.「反対語でない」の判断においては, 小段落一致と段落一致の差は $1.6 \%(35.9 \%-34.3 \%)$ であった.しかしながら,「置き換え可」か否 かについては, 小段落番号一致のほうが段落番号一致よりも $5.6 \%(42.4 \%-36.8 \%)$ 大きな値で
^{9}$ https://github.com/masayu-a/WLSP2UniDic/
}

表 6 反対語データベースを構成する語の多義性

表 7 多義語「甘い」の反対語

表 8 クラウドソーシングによる評定値の集計結果

あった．小段落番号一致のほうが，置き換え可能性が高い傾向がみられる． $100 \%$ 反対語であ ると判断された例は，可決 $\Leftrightarrow$ 否決（置き換え可 $87.5 \%$ ），寒流 $\Leftrightarrow$ 暖流（置き換え不可 $85 \%$ ） であった。

表 9 に反対語対候補毎の評定値の分布を示す。割合は $10 \%$ 単位に四捨五入した。なお，アノ テーション対象である正順呈示・逆順呈示のいずれかが $50 \%$ 以上反対語である要素数は, 小段落一致候補 2,465 対, 段落一致候補 3,008 対, 候補外 65 対であった.

クラウドソーシングの評価は呈示順序を正順と逆順の 2 パターン（それぞれ 20 人）評価し た. 表 10 に，正順と逆順で「反対語でない」の判断が分かれる事例を示す. たとえば「ぷりぷ

表 9 反対語対候補毎の評定値の分布

表 10 正順と逆順とで「反対語でない」の判断が分かれる事例

りする」「にこにこする」の正順で呈示した場合には $70 \%$ の回答が「反対語でない」であった が，逆順で呈示した場合には $10 \%$ にまで小さくなった。ほかの事例として, 性差（ (淑女, 紳士) のほうが (紳士, 淑女)よりも反対語性があがる), 大小 ((小鼓, 大鼓)のほうが (大鼓, 小鼓) よりも反対語性があがる）などの傾向がみられた。

## 4.4 分類語彙表番号による分析

本データベースは分類語彙表をもとにして構成されており，分類語彙表の意味情報に基づく 検討が可能である．表 11 に分類語彙表の分類番号ごとの集計結果（頻度上記 10 位まで）を示 す. 頻度最上位の 2.3100 言語活動は「口を開く」などの慣用表現が多く含まれているために頻度が高くなっている。それ以外については, 2.1580 増減 (変化 (閉)) 1.1730 方向（視点 (閉),両極 $($ 閉)，相補 $($ 閉)，典型（開）など）・1.1770 内外（相補（閉））の表現が多く反対語として 見られた。

 &  &  \\

表 11 分類語彙表ごとの集計（頻度上位 10 位まで）

## 4.5 反対語のタイプによる分析

アノテーションした反対語のタイプによる集計結果を表 12 に示す. 頻度で最も多いものは 相補であり，次いで変化・程度・両極と閉じた反対語対が多くみられた．表は「反対語でない」 の回答が少ない順にならべたが，閉じた対が開いた対よりも「反対語である」と判断されやす い傾向が確認できた．開いた対の中では 2 側面が「反対語である」と判断されやすい傾向がみ られた，置き換え可能性は程度 $($ 閉 $) \cdot$ 相補 $($ 閉 $) \cdot$ 両極 $($ 閉 $) \cdot 2$ 側面（開）などで高い傾向が 確認された。一般に，閉じた反対語対のほうが置き換え可能性が高い傾向があるが，変化（閉） や視点（閉）などは，格交替を行う可能性が高く置き換え可能性が低くなったと考えられる。ま た，正順と逆順とでの「反対語でない」の判断の差分は主副（別）(開）で若干高くなる傾向が みられた。表 10 の結果とあわせて考えると, 副から主への方向のほうが, 反対語として認定さ れやすい傾向がうかがえる.

## 4.6 コーパスの Uni-gram 頻度による分析

次に『現代日本語書き言葉均衡コーパス』(BCCWJ) 上の Uni-gram 頻度との対照比較を行 う。国語研短単位 (SUW) に基づく頻度比の対数「SUW 対数頻度比」10 と国語研長単位に基づ

表 12 反対語のタイプに基づく集計（「反対語でない」昇順）

く頻度の対数比「LUW 対数頻度比」により，単語対の 2 単語の頻度に差があるか否かを算出 する．算出された頻度の差が，クラウドソーシングによる「正順と逆順の差分」と相関がある のかを検証する．対象は「反対語である」が $50 \%$ 以上であり，単語対の双方が BCCWJ の短単位・長単位に基づく頻度情報を持つ（頻度 1 以上の） 2,747 対とする。まず「SUW 対数頻度比」と「正順と逆順の差分」の Spearman 相関係数を単語対ごとに評価したところ，相関係数 が $0.051(p<0.01)$ と相関がみられなかった.「LUW 対数頻度比」と「正順と逆順の差分」に ついても, Spearman の相関係数 $0.054(p<0.01)$ と同様の結果であった. このことから, 反対語性判断における呈示順序の選好性を表す「正順と逆順の差分」は頻度に基づく差異と関連が ないということがわかる。なお，対数頻度比に方向性を与えた設定でも検討したが，相関係数 SUW 0.004, LUW 0.003 （いずれも $p<0.01 ）$ と相関は見られなかった. 表 13 にタイプごとの 対照結果を示す. 視点・典型・ 2 側面などの反対語対は頻度差がない傾向がみられるが，変化・部分全体・主副（別）・因果については頻度差がある傾向がみられた。

## 4.7 コーパス中の生起順序による検討

次に『国語研日本語ウェブコーパス』(NWJC) 上の生起順序との対照比較を行う. 反対語対 の 2 要素が 1 文中に共起する用例中において, その生起順序の頻度比の対数 ${ }^{11} よ よ$, , 生起順序に差があるか否かを算出する．算出された頻度の差が，クラウドソーシングによる「正順と 逆順の差分」と相関があるのかを検証する．対象は「反対語である」が $50 \%$ 以上であり，単語
$ と $\mathrm{B}$ がこの順に出現した頻度を, 要素 B と A の順に出現した頻度で割ったものの自然対数をとり，絶対値をとったもの.
}
対の双方が正順と逆順ともに NWJC 中 1 文以上共起する 2,725 対とする. 対数頻度比と「正順 と逆順の差分」の Spearman 相関係数を評価したところ, 相関係数が $0.011(p<0.01)$ と相関が みられなかった。このことから, 反対語性判断における呈示順序の選好性を表す「正順と逆順 の差分」はコーパス中の生起順序と関連がないということがわかる。なお，対数頻度比に方向性を与えた設定でも検討したが，相関係数 $-0.008(p<0.01)$ と相関は見られなかった．表 14 にタイプごとの対象結果を示す。程度・ 2 側面・終了などの反対語対は頻度差がない傾向がみら れるが，両極・視点・典型 $(2$ 値 $)$ ・慣用・その他開については頻度差のある傾向がみられた.

表 13 反対語タイプとコーパス上の Uni-gram 頻度差

表 14 反対語のタイプとコーパス上の反対語対の生起順序の頻度差

## 4.8 単語埋め込みによる分析

本小節では, 『国語研日本語ウェブコーパス』(Asahara et al. 2014)から訓練した単語埋め込 みモデル NWJC2vec (Asahara 2018) において, 反対語対がどのように表現されるかを検証す る.「反対語である」が $50 \%$ 以上であり，単語対の双方が NWJC2vec に基づく単語埋め込みを有 する 2,809 単語対を分析対象とした. NWJC2vec のモデルとして, fastText (Bojanowski et al. 2017) で訓練した 300 次元の skip-gram のものを用いた.

まず，単語対間の距離を評価した，置き換え可の回答と相関分析（反対語対ごと）を行った ところ, Spearman 相関係数は $0.286(p<0.05)$ であった. このことから，ヒトが感じる置き換 え可能性と, 単語埋め込み上の類似度とに中程度の相関があることがわかる. 表 15 にタイプご とのコサイン類似度の平均とクラウドソーシングによる置き換え可能性の評定値の平均の比較 を示す. 反対語対の 2 単語の類似度が高いのは 2 側面・慣用・典型（2値）など開いた反対語対 であった.このことから，狭義においては反義でなくても，単語べクトルで確認できる前後文脈の類似性から，ヒトは反義性を感じるのではないかと考えられる。閉じた対の中では, 視点 のコサイン類似度が高かった。表現として格交替が考えられるものの, 単語埋め込みが捉えら れる範囲においては前後文脈の類似性が高かった可能性がある.

また, 反対語対をなす各語のべクトルや, 反対語対の差べクトルについても, 主成分分析 クラスタ分析・tSNE 法による可視化などにより分析を行ったが，反対語タイプごとの違いにつ いて特段の傾向が見られなかった，今後，他の単語埋め込み手法などを用いて，さらなる調査 を進めたい.

表 15 反対語対のコサイン類似度とクラウドソーシングによる置き換え可能性

## 5 おわりに

本稿では『分類語彙表』に対する反対語情報付与について示した. 人手により『分類語彙表』 より反対語候補を収集したうえで，クラウドソーシングによりヒトが反対語と判定するか否か を収集し，正順呈示・逆順呈示のいずれかで $50 \%$ 以上の方が反対語と判定したものを反対語と 定義した. 反対語として得られた単語対に対して, 村木 (1987) の反対語タイプを付与した. 開 いた反対語対については，新たに「終了」「主副（別)」「因果」を導入し，精緻化を行った．

分析においては，認知言語・言語処理の両面の分析を進めた。まず，クラウドソーシングに おいて順序を変えて呈示した場合に反対語対と認識する割合が異なるものを中心に分析し，主副・性差・大小において非対称性がみられることを確認した. 分類語彙表の分類項目による分析においては，増減・方向・内外・変化・往復・進行などの反対語表現が多いほか，言語活動・人物・家族などにも反対語表現が多いことを確認した. 反対語のタイプごとの分析においては,閉じた反対語対のほうが，開いた反対語対よりも反対語として認識されやすい傾向を確認した. コーパス頻度の分析においては，反対語対としての認識に非対称性がみられるものが頻度によ るものではないということを確認した，最後に単語埋め込みによる分析においては，置き換え 可能性がベクトル空間上のコサイン類似度と中程度の相関があることを確認した.

本データは https://github.com/masayu-a/WLSP-antonym より, クリエイティブコモンズ ライセンス BY-NC-SA 3.0 で公開する.

## 謝 辞

本研究の一部は国立国語研究所コーパス開発センター共同研究プロジェクト「コーパスアノテー ションの拡張・統合・自動化に関する基礎研究」, JSPS 科研費 17H00917, 18H05521, 18K18519, 19K00591, 19K00655 の助成を受けています.

## 参考文献

Asahara, M. (2018). "NWJC2Vec: Word Embedding Dataset from 'NINJAL Web Japanese Corpus'." Terminology: International Journal of Theoretical and Applied Issues in Specialized Communication, 24 (2), pp. 7-25.

Asahara, M., Maekawa, K., Imada, M., Kato, S., and Konishi, H. (2014). "Archiving and Analysing Techniques of the Ultra-large-scale Web-based Corpus Project of NINJAL, Japan." Alexandria: The Journal of National and International Library and Information Issues, 25 (1-2), pp. 129-148.

Bojanowski, P., Grave, E., Joulin, A., and Mikolov, T. (2017). "Enriching Word Vectors with Subword Information." Transactions of the Association for Computational Linguistics, 5, pp. 135-146.

Cruse, A. (1986). Lexical Semantics. Cambridge University Press.

Cruse, A. (1994). "Prototype Theory and Lexical Relations." Rivista di linguistica, 6, pp. 167-188.

Cruse, A. (2004). Meaning in Language: An Introduction to Semantics and Pragmatics (2nd edition). Oxford University Press.

Herrmann, D. J., Chaffin, R., Daniel, M. P., and Wool, R. S. (1986). "The Role of Elements of Relation Definition in Antonym and Synonym Comprehension." Zeitschrift für Psychologie mit Zeitschrift für angewandte Psychologie, 194 (2), pp. 133-153.

Herrmann, D. J., Chaffin, R. J. S., Conti, G., Peters, D., and Robbins, P. H. (1979). "Comprehension of Antonymy and the Generality of Categorization Models." Journal of Experimental Psychology: Human Language and Memory, 5 (6), pp. 585-597.

川島宽乃，松田宽，毛利研 (2019). 対義語対の差分ベクトルを使用した評価極性辞書の拡張.言語処理学会第 25 回年次大会発表論文集, pp. 1335-1338. [H. Kawashima et al. (2019). Taigigotui-no Sabunbekutoruwo Shiyoushita Hyoukakyokuseijisho-no Kakuchou].

国立国語研究所 (編) (2004). 分類語彙表一増補改訂版一. 大日本図書. [National Institute for Japanese Language and Linguistics (ed.) (2004). Word List by Semantic Principles - Revised and Enlarged Edition.].

近藤明日子, 田中牧郎 (2020). 「分類語彙表番号 - UniDic 語彙素番号対応表」の構築. 国立国語研究所論集, 18, pp. 77-91. [A. Kondo and M. Tanaka (2020). Construction of an Alignment Table between 'Word List by Semantic Principles' and UniDic. NINJAL Research Papers, 18, pp. 77-91.].

松本曜 (2007). 反義性に関する認知意味論的考察. 日本言語学会第 135 回大会. [Y. Matsumoto (2007). Hangisei-ni Kansuru Ninchiimirontekikousatsu, Nihongengogakkai Dai 160 Kai Taikai].

Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013a). "Efficient Estimation of Word Representations in Vector Space." In International Conference on Learning Representations.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G., and Dean, J. (2013b). "Distributed Representations of Words and Phrases and their Compositionality." In Advances in Neural Information Processing Systems, pp. 3111-3119.

Mikolov, T., Yih, W., and Zweig, G. (2013c). "Linguistic Regularities in Continuous Space Word Representations." In Proceedings of the 2013 Conference of the North American Chapter of
the Association for Computational Linguistics: Human Language Technologies, pp. 746-751. Mohammad, S. M., Dorr, B. J., Hirst, G., and Turney, P. D. (2013). "Computing Lexical Contrast." Computational Linguistics, 39 (3), pp. 555-590.

村木新次郎 (1987). 対義語の輪郭と条件. 日本語学, 6 (6), pp. 29-41. [S. Muraki (1987). Taigigo-no Rinkaku-to Jouken. Nihongogaku, 6(6), pp. 29-41.].

Murphy, L. (2003). "Antonymy and contrast." In Semantic Relations and the Lexicon, Chap. 5, pp. 169-215. Cambridge University Press.

中村拓, 田然, 乾健太郎 (2018). 単語の極性を埋め込んだ分散表現. 言語処理学会第 24 回年次大会発表論文集, pp. 348-351. [T. Nakamura et al. (2018). Tango-no Kyokusei-wo Umekonda Bunsanhyougen, Gengoshorigakkai Dai 24 Kai Happyouronbunshuu, pp. 348-351.].中村拓, 田然, 佐々木翔大, 乾健太郎 (2019). 単語埋め込みにおける複数視点の対義語判定.人工知能学会第 33 回全国大会論文集, 1N3-J-9-04 号, pp. 1-4. [T. Nakamura et al. (2019). Distinguish Antonyms in Multiple Viewpoints on Distributed Word Representations. The 33rd Annual Conference of the Japanese Society for Artificial Intelligence, 2019, 1N3-J-9-04. pp. 1-4.].

荻野綱男, 野口美和子 (1988). 辞書における反対語記述の問題点. ソフトウェア文書のため の日本語処理の研究 - 9 - IPAL (Basic Verbs)をめぐって, pp. 119-171. 情報処理振興事業協会. [T. Ogino and M. Noguchi (1988). Jishoniokeru Hantaigokijutsu-no Mondaiten. Sofutoueabunsho-no Tame-no Nihongoshori-no Kenkyu - 9 - IPAL (Basic Verbs) womegutte. pp. 119-171.].

荻野綱男, 野口美和子 (1996). 反対語意識の構造. 日本語研究 : 東京都立大学国語学研究室, 16,

pp. 78-111. [T. Ogino and M. Noguchi (1996). Hantaigoishiki-no Kouzou. Nihongokenkyuu:

Toukyoutoritsudaigaku Kokugogakukenkyuushitsu. 16, pp. 78-111.].

Ono, M., Miwa, M., and Sasaki, Y. (2015). "Word Embedding-based Antonym Detection using Thesauri and Distributional Information." In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 984-989.

Paradis, C., Willners, C., and Jones, S. (2009). "Good and Bad Opposites: Using Textual and Experimental Techniques to Measure Antonym Canonicity." The Mental Lexicon, 4 (3), pp. 380-429.

Rothe, S. and Schütze, H. (2015). "AutoExtend: Extending Word Embeddings to Embeddings for Synsets and Lexemes." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1793-1803.
佐藤貴俊, 高村大也, 奥村学 (2016). 分散表現を用いた単語の感情極性抽出. 情報処理学会研究報告 2016-NL-228, 12 号, pp. 1-6. [T. Sato et al. (2016). Bunsanhyogen-wo Mochiita Tango-no Kanjokyokuseichuushutsu. IPSJ SIG Technical Report, 2016-NL-228(12), pp. 1-6.].

## 略歴

加藤祥：2011 年神戸大学人文学研究科博士後期課程修了. 2012 年より国立国語研究所コーパス開発センタープロジェクト PD フェロー. 同プロジェク 卜非常勤研究員. 2020 年より目白大学外国語学部専任講師。博士 (文学)。日本語学会, 日本認知言語学会, 日本認知科学会各会員.

浅原 正幸：2003 年奈良先端科学技術大学院大学情報科学研究博士後期課程修了. 2004 年より同大学助教. 2012 年より国立国語研究所コーパス開発セン ター特任准教授. 2019 年より同教授. 博士 (工学). 言語処理学会, 日本言語学会, 日本語学会各会員.

森山奈々美：2018 年津田塾大学学芸学部英文学科卒業． 2018 2020 年国立国語研究所コーパス開発センター技術補佐員.

荻原亜彩美 : 2019 年津田塾大学学芸学部英文学科卒業. 現在, 同大学院文学研究科修士課程に在学中. 2019 年より国立国語研究所コーパス開発センター技術補佐員.

山崎誠：1984 年筑波大学大学院文芸・言語研究科言語学専攻 (日本語学)単位取得退学. 同年国立国語研究所研究員. 現在, 同言語変化研究領域教授.博士 (学術). 言語処理学会, 日本語学会, 計量国語学会各会員.

$(2020$ 年 7 月 1 日 $\quad$ 受付 $)$
$(2020$ 年 9 月 11 日 $\quad$ 再受付 $)$
$(2020$ 年 10 月 14 日 $\quad$ 採録)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# ニューラル機械翻訳のためのバイリンガルなサブワード分割

出口 祥之 ${ }^{\dagger, \dagger \dagger} \cdot$ 内山 将夫 ${ }^{+\dagger} \cdot$ 田村 晃裕 ${ }^{+\dagger \dagger} \cdot$ 二宮 崇 $\dagger \cdot$ 隅田英一郎 ${ }^{+\dagger}$

本論文ではニューラル機械翻訳のための新たなサブワード分割法を提案する．従来法では対訳関係を考慮せずに各言語ごとにサブワード分割を学習するため, 機械翻訳タスクに適したサブワード分割になるとは限らない。本研究は対訳コーパスを用 い, 原言語文と目的言語文のサブワードトークン数の差がより小さくなるサブワー ド分割法を提案する。提案法は対訳情報を用いるため, より機械翻訳タスクに適し たサブワードが得られると考えられる。従来法と提案法を用いて翻訳性能を比較し たところ, WAT ASPEC 英日 - 日英 - 英中 - 中英翻訳タスクと WMT14 英独・独英翻訳タスクにおいて, Transformer NMT モデルの性能が最大 0.81 BLEU ポイント 改善した。

キーワード：ニューラル機械翻訳，サブワード，単語分割
## Bilingual Subword Segmentation for Neural Machine Translation

\author{
Hiroyuki Deguchi $^{\dagger, \dagger \dagger}$, Masao Utiyama ${ }^{\dagger \dagger \dagger}$, Akihiro Tamura ${ }^{\dagger \dagger \dagger}$, Takashi Ninomiya ${ }^{\dagger}$ \\ and Eirchiro Sumita ${ }^{\dagger \dagger \dagger}$
}

This paper proposes a new subword segmentation method for neural machine translation, called bilingual subword segmentation, which tokenizes sentences to minimize the difference between the number of subword units in a sentence and that in its translation. While existing methods tokenize a sentence without considering its translation, the proposed method tokenizes a sentence using subword units obtained from bilingual sentences and is thus suitable for machine translation. The method was evaluated on WAT Asian Scientific Paper Excerpt Corpus (ASPEC) English-to-Japanese, Japanese-to-English, English-to-Chinese, and Chinese-to-Ensglish translation tasks and WMT14 English-to-German and German-to-English translation tasks. The evaluation results reveal that the proposed method improves the performance of Transformer neural machine translation (up to +0.81 BLEU (\%)).

Key Words: Neural Machine Translation, Subword, Word Segmentation

## 1 はじめに

ニューラル機械翻訳（Neural Machine Translation，以下 NMT）では，予め指定した語彙に 基づいて計算を行うため，翻訳時の入力文に低頻度語や未知語が現れると翻訳精度が低下する。 このような語彙の問題に対処するため, バイトペア符号化 (Byte Pair Encoding, 以下 BPE) (Sennrich et al. 2016) やユニグラム言語モデル (Kudo 2018) などによるサブワード分割が現在広く用いられている，BPEによるサブワード分割は事前トークナイズを要すのに対し，ユニグ ラム言語モデルは生文からサブワード列に直接分割するため，日本語や中国語といった分かち 書きされない言語においても形態素解析器を必要としない．BPEやユニグラム言語モデルはど ちらもデータ圧縮に基づいたアルゴリズムであり，語彙量の上限を制約としたトークン数の最

しかしながら，これらの分割法は対訳関係を考慮せず，各言語ごとにサブワード分割を学習す るため，機械翻訳タスクに適したサブワード分割になるとは限らない。例として，日英翻訳に おいて“設計法 (design method)”と“計測装置 (measurement instrument)”という複合語が訓練 データに多数出現する場合を考える，従来のサブワード分割法はデー夕圧縮技術に基づきトー クン数の最小化を行うため, これらの複合語が 1 つのサブワード単位に結合される. したがっ て, これらの訓練デー夕は “計測法”という語の翻訳の学習に寄与しない.

本論文では対訳情報からサブワード列を得る新たなサブワード分割法を提案する。提案法は，分かち書きされない言語を含む翻訳の性能を改善するため, ユニグラム言語モデル (Kudo 2018) による分割に基づいたサブワード列を得る，具体的に，提案法は，ユニグラム言語モデルによっ て得られる原言語文と目的言語文それぞれの分割候補から，お互いのトークン数の差が小さく なるサブワード列を選択する方法である。提案法では，ユニグラム言語モデルから得られる原言語文と目的言語文の最尤解を比較し，トークン数が多い言語側のトークン数に近づけるよう に, より細かい単位のサブワード分割を複数分割候補から選択する。提案法を用いることで，原言語文と目的言語文のトークン数の差が小さくなり, 言語間でトークンが 1 対 1 に対応付け されやすくなる，そのため，従来のサブワード分割法よりNMT に適した分割が得られること が期待される。提案法では日本語文と英語文のサブワードトークン数を近づけるため, 課題例 として挙げた “設計法”と“計測装置”という複合語は “設計 (design)” と“法 (method)”, “計測 (measurement)”と“装置 (instrument)”，それぞれ2トークンに分解される².これにより，

NMT において，“設計”と“法”，“計測”と“装置”というそれぞれのサブワードの訓練データ が“計測法”という語の翻訳にも活用できるようになると考えられる。

ここで，本手法は原言語文と目的言語文の分割数を比較しながらそれぞれの文を分割するた め, 原言語文単体では分割ができない. NMTの訓練時には原言語文と目的言語文の分割数を比較するために対訳コーパスを用いることができるが，翻訳時には原言語文に対応する目的言語文が存在しないため，原言語文を分割することができない。そこで提案法では，対訳コーパス を用いてサブワード分割した訓練データの原言語文から LSTM ベースのサブワード分割器を予 め学習し，翻訳時において訓練時の分割に近い候補を選択することで，訓練時と翻訳時の分割 のギャップを小さくして翻訳性能の低下を防ぐ，具体的には，翻訳時に，学習したLSTMベー スのサブワード分割器により原言語文のサブワード分割候補をリランキングし，スコアが最大 となる分割を選択する。

WAT Asian Scientific Paper Excerpt Corpus（以下, ASPEC) (Nakazawa et al. 2016) 英日・日英・英中・中英翻訳タスクと WMT14 英独・独英翻訳タスクにおいて, 従来法と提案法を用 いた翻訳性能を比較したところ, Transformer NMT モデルの性能が最大 0.81 BLEU ポイント 改善した。

## 2 従来法: ユニグラム言語モデルに基づいたサブワード分割

本節では提案法の基礎となるユニグラム言語モデルに基づいたサブワード分割法 (Kudo 2018) について説明する。ユニグラム言語モデルでは各サブワードが独立に生起すると仮定し, サブ ワード列の生起確率 $P(\boldsymbol{x})$ を次式により表す.

$
\begin{gathered}
P(\boldsymbol{x})=\prod_{i=1}^{N} p\left(x_{i}\right) \\
\forall i x_{i} \in \mathcal{V}, \sum_{x \in \mathcal{V}} p(x)=1
\end{gathered}
$

ただし, $\boldsymbol{x}=\left(x_{1}, x_{2}, \ldots, x_{N}\right)$ はサブワード列であり，V語彙集合（サブワード辞書）である.各サブワードの生起確率 $p\left(x_{i}\right)$ は EM アルゴリズムによって周辺尤度 $\mathcal{L}_{l m}$ を最大化することに より推定される.

$
\mathcal{L}_{l m}=\sum_{s=1}^{|D|} \log \left(P\left(X^{(s)}\right)\right)=\sum_{s=1}^{|D|} \log \left(\sum_{\boldsymbol{x} \in \mathcal{S}\left(X^{(s)}\right)} P(\boldsymbol{x})\right)
$

ただし， $D$ は対訳コーパスであり， $X^{(s)}$ は $D$ 中の $s$ 番目の原言語文または目的言語文であり， $\mathcal{S}\left(X^{(s)}\right)$ は $X^{(s)}$ の分割候補集合である.
生起確率が最大となるサブワード列（最尤解）は次式によって得られる.

$
\boldsymbol{x}^{*}=\underset{\boldsymbol{x} \in \mathcal{S}(X)}{\arg \max } P(\boldsymbol{x})
$

ただし， $X$ は入力文である．また， $k$-best 分割候補も入力文 $X$ に対するユニグラム言語モデル によって計算される確率 $P(\boldsymbol{x})$ に基づいて得ることができる。ただし, サブワード列の生起確率は各サブワードの尤度の積の形で表されるため, 系列長の短い（トークン数の少ない）サブ ワード列が高い確率を持つ傾向がある.

このユニグラム言語モデルによるサブワード分割は生文から直接学習できるため, 日本語や 中国語といった分かち書きされない言語においても単語分割器や形態素解析器を必要とせずに 分割できるという特長がある.

## 3 提案法

本節では，対訳文からサブワード列を得る提案手法を示す．我々の提案法では対訳文対でサ ブワードトークン数の差が最小になるような分割を行う，具体的には，原言語文と目的言語文 それぞれのユニグラム言語モデルの最尤解のうち，トークン数の少ない（系列長の短い）側の 文を，トークン数が多い側のトークン数に近づけるよう，より細かく分割された分割候補から サブワード列を選択する。ただし，NMTの訓練時には対訳コーパスを利用できるが，翻訳時 （評価デー夕）には対訳文が存在しない。そこで，NMT の訓練時と翻訳時で異なる方法により サブワード列を得る。図 1,2 に NMT 訓練時のサブワード分割と翻訳時のサブワード分割をそ れぞれ示す. NMT モデルの訓練時は, 図 1 の通り, 対訳データに基づくサブワード分割結果を 用いて NMT モデルを学習する。一方で翻訳時には, 図 2 の通り, 対訳データのサブワード分割結果内の原言語文だけから予め学習しておいた LSTM ベースの単語分割器を用いて, 翻訳対象の原言語文のサブワード分割候補をリランキングする.

提案法は NMT モデルや訓練法を修正する必要がなく，従来のサブワード分割法を置き換え るだけで適用可能である.

## 3.1 訓練データのサブワード分割

訓練データ $D$ におけるサブワード分割では，ユニグラム言語モデルによる分割候補からトー クン数が近い候補対を選択することで，対訳文対 $(f, e) \in D$ の分割を得る. 具体的には，以下 のようにして, 原言語文と目的言語文それぞれの $k$-best の分割候補 $\mathcal{B}^{k}(f), \mathcal{B}^{k}(e)$ の中から, 対訳文対 $(f, e)$ のサブワード列 $(\hat{\boldsymbol{f}}, \hat{\boldsymbol{e}})$ を得る.

図 1 訓練時のサブワード分割

$
(\hat{\boldsymbol{f}}, \hat{\boldsymbol{e}})= \begin{cases}\left(\hat{\boldsymbol{u}}, \boldsymbol{e}^{*}\right) & \text { if } \operatorname{len}\left(\boldsymbol{f}^{*}\right)<\operatorname{len}\left(\boldsymbol{e}^{*}\right) \\ \left(\boldsymbol{f}^{*}, \hat{\boldsymbol{u}}\right) & \text { otherwise }\end{cases}
$

ただし, len() はサブワードトークン数を返す関数であり, $f^{*}$ と $e^{*}$ は, それぞれ, 原言語と目的言語文の最大の確率を持つサブワード列（ユニグラム言語モデルの最尤解）である。そして， $\hat{u}$ は, $\boldsymbol{v}^{*}$ を $f^{*}$ と $e^{*}$ のち系列長の長い方としたとき， $\boldsymbol{v}^{*}$ とのトークン数の差が最小の候補の 中から最大の確率を持つサブワード列であり, 以下の式で表される.

図 2 翻訳時のサブワード分割

$
\begin{aligned}
\hat{\boldsymbol{u}} & =\underset{\boldsymbol{u} \in \mathcal{T}}{\arg \max } P(\boldsymbol{u}) \\
\mathcal{T} & =\underset{\boldsymbol{u} \in \mathcal{B}^{k}}{\arg \min }\left|\operatorname{len}(\boldsymbol{u})-\operatorname{len}\left(\boldsymbol{v}^{*}\right)\right| \\
\mathcal{B}^{k} & = \begin{cases}\mathcal{B}^{k}(f) & \text { if } \operatorname{len}\left(\boldsymbol{f}^{*}\right)<\operatorname{len}\left(\boldsymbol{e}^{*}\right) \\
\mathcal{B}^{k}(e) & \text { otherwise }\end{cases}
\end{aligned}
$

ここで, 式 7,8 より, 分割候補の選択は, 最尤解のトークン数の少ない側（系列長の短い側）

において行われる ${ }^{3}$.

NMT モデルは, 提案法により各対訳文をサブワード分割した訓練データ $\hat{D}=\left.\{\left(\hat{\boldsymbol{f}}^{(s)}, \hat{\boldsymbol{e}}^{(s)}\right)\right.\}_{s=1}^{|D|}$ から学習される。

## 3.2 翻訳時のサブワード分割

翻訳時は入力文 $f$ に対する対訳文 $e$ が存在しないため, サブワード分割の入力に対訳文を用 いることができない。そのため, 予め 3.1 節で作成した訓練デー夕 $\hat{D}$ の原言語文 $\left.\{\hat{\boldsymbol{f}}^{(s)}\right.\}_{s=1}^{|D|}$ か ら，文字べースの双方向 LSTM（Bidirectional LSTM，以下 BiLSTM）を用いたサブワード分割器 (以下, BiLSTM 分割器) を学習しておく. そして, 翻訳時の分割は, ユニグラム言語モ デルの $k$-best 分割候補を BiLSTM 分割器に入力し, 各分割候補に対してスコア付けを行いリラ ンキングすることにより得られる.

BiLSTM 分割器は, $n$ 個の文字からなる入力文字列 $\mathbf{c}=\left(c_{1}, c_{2}, \ldots, c_{n}\right)$ に対して, サブワード の開始文字か否かを表す境界タグを割り当て, サブワードの境界点を 2 值分類として識別する. BiLSTM 分割器は以下のような構造のニューラルネットワークである.

$
\begin{aligned}
& \mathbf{z}=\operatorname{Embedding}(\mathbf{c}), \\
& \mathbf{h}=\operatorname{BiLSTM}(\mathbf{z}) \\
& \mathbf{b}=\operatorname{softmax}(\mathbf{h} W)
\end{aligned}
$

ただし, Embedding() は文字埋め込み層, $\mathbf{z}$ は文字列 $\mathbf{c}$ の $d$ 次元埋め込み表現, $\operatorname{BiLSTM}()$ は BiLSTM 層, $\mathbf{h}$ は BiLSTM の隠れベクトル, $\operatorname{softmax}()$ は softmax 関数, $\mathbf{b}$ は BiLSTM 分割器の 出力, $W \in \mathbb{R}^{d \times\{0,1\}}$ は隠れベクトル $\mathbf{h}$ の空間から境界タグ次元に写像するパラメータ行列であ る. ベクトル $\mathbf{b}_{t}=\left(b_{t, 0}, b_{t, 1}\right)$ は文字 $c_{t}$ がサブワードの開始点か $\left(b_{t, 0}\right)$ 開始点でないか $\left(b_{t, 1}\right)$ の 確率分布を表現している. BiLSTM 分割器は, 3.1 節の方法でサブワード分割された訓練データ $\hat{D}$ 中の全原言語文 $\hat{\boldsymbol{f}} \in\left.\{\hat{\boldsymbol{f}}^{(s)}\right.\}_{s=1}^{|D|}$ について，以下の目的関数 $\mathcal{L}_{\text {segment }}$ を最大化することにより 学習される。

$
\begin{aligned}
& \mathcal{L}_{\text {segment }}=\sum_{t=1}^{n} \log b_{t, r_{t}}, \\
& \text { where } r_{t}=\left.\{\begin{array}{ll}
0 & \text { if } c_{t} \text { はサブワードの開始点. } \\
1 & \text { otherwise }
\end{array} .\right.
\end{aligned}
$

翻訳時は次のようにして入力文 $f$ をブワード分割する。はじめに，ユニグラム言語モデル を用いて入力文 $f$ の $k$-best サブワード分割候補 $\mathcal{B}^{k}(f)$ を得る. 次に，各分割候補 $\boldsymbol{f} \in \mathcal{B}^{k}(f)$ の スコア $\operatorname{score}(\boldsymbol{f})$ を, 予め学習しておいた BiLSTM 分割器によって以下のように算出する.

$
\operatorname{score}(\boldsymbol{f})=\sum_{t=1}^{n} \log b_{t, r_{t}}
$

最後に，最大のスコアを持つサブワード列を選択し，出力とする.

$
\hat{\boldsymbol{f}}^{*}=\underset{\boldsymbol{f} \in \mathcal{B}^{k}(f)}{\arg \max } \operatorname{score}(\boldsymbol{f})
$

以上により得られたサブワード列 $\hat{\boldsymbol{f}}^{*}$ を NMT モデルに入力し，翻訳を行う.

## 4 実験

## 4.1 実験設定

提案法と従来法（ユニグラム言語モデル (Kudo 2018)）の翻訳性能を比較した. また, 従来法 として，ユニグラム言語モデルによって得られる複数のサブワード分割候補について周辺尤度 を最大化する “サブワード正則化 (Kudo and Richardson 2018)” とも性能を比較した．複数サブ ワード分割候補を得るためのユニグラム言語モデルには Sentencepiece 4 を用いた，全実験にお いて, NMT システムとして Transformer base (Vaswani et al. 2017) モデルを用いた.

## 4.1.1 データセット

翻訳性能は WAT ASPEC 日英・英日（以下 ASPEC 日-英）翻訳タスク ${ }^{5}$ (Nakazawa et al. 2016) を用いて評価した。ユニグラム言語モデルの学習は, 原言語側と目的言語側でそれぞれ独立に 行い, サブワードの語彙量は, 原言語側と目的言語側でそれぞれ 16,000 になるように設定した. ミニバッチの大きさは約 10,000 トークンになるよう設定した。NMTの訓練には訓練データの 上位 150 万文対を使用し，データの前処理は WAT ベースラインシステム 6 に従った. 開発デー 夕と評価データのデータ数はそれぞれ $1,790,1,812$ 文対であった.

## 4.1.2 ハイパーパラメータ

全NMT モデルにおいて, パラメータ最適化には Adam (Kingma and Ba 2014) を用い, $\beta_{1}=0.9$, $\beta_{2}=0.98$ とした. モデルのパラメータ更新は 10 万回行った。学習率は 4,000 回更新時で $5 \mathrm{e}-4$ となるように線形に増加させ, 以降は更新回数の逆平方根に比例して減衰させた (Vaswani et al.

2017). ドロップアウトの確率は 0.1 に設定した. NMT モデルの損失関数にはラベル平滑化交差エントロピー (Szegedy et al. 2016) を用い, 平滑化 $\epsilon$ は 0.1 に設定した. パラメータの更新 1,000 回毎にモデルを保存し, 性能評価時には, 訓練終了時点から前 5 つ分のモデルパラメータ を平均化したモデルを用いた．翻訳文の生成にはビーム探索を用い，ビーム幅は 4 ，文長正則化 パラメータは $0.6(\mathrm{Wu}$ et al. 2016)とした.

提案法のハイパーパラメータに関して，ユニグラム言語モデルから得るサブワード分割候補数 $k$ は開発データで調整し, 5 に設定した. BiLSTM 分割器の埋め込み次元は $d=256$ とし, BiLSTM 層は 2 層スタックした。文字埋め込み層, BiLSTM 層, 出力層のパラメータは全て $[-0.1,0.1]$ の一様分布で初期化した. BiLSTM 分割器のパラメータ最適化には Adam を用い, $\beta_{1}=0.9, \beta_{2}=0.98$ とした. モデルのパラメータ更新は 10 エポック分行った. 学習率は $5 \mathrm{e}-4$, ドロップアウトの確率は 0.1 , ミニバッチの大きさは約 256 文にそれぞれ設定した.

サブワード正則化を用いたモデルでは，提案法と条件を揃えるため，ユニグラム言語モデル の最大スコアのサブワード列を翻訳する 1-best デコードを使用した.

## 4.2 実験結果

表 1 に実験結果を示す. 表中の “ユニグラム言語モデル”, “サブワード正則化”, “BiSW”は それぞれ，ユニグラム言語モデル，サブワード正則化，提案法を用いたNMT モデルを示してい る. 翻訳性能は BLEU (Papineni et al. 2002) で評価し, 評価方法は WAT Automatic Evaluation Procedures $^{7}$ に従った. また，ブートストラップ再サンプリングによる有意差検定 (Koehn 2004) を実施し，有意水準は $5 \%$ とした $(p \leq 0.05)$. 表 1 中の“十”は “BiSW”が “ユニグラム言語モデ ル”に対して，“き”は “BiSW”が“サブワード正則化”に対して，有意に高いことを示す。

表 1 から分かるとおり，提案法 “BiSW” は日英, 英日翻訳の両言語方向において“ユニグラ ム言語モデル”および “サブワード正則化”より性能が改善されている。“BiSW”を用いること で “ユニグラム言語モデル”に対し，日英，英日翻訳においてそれぞれ $0.81,0.10$ BLEU ポイ ント，“サブワード正則化”に対し，それぞれ $0.53,0.19$ BLEU ポイントの性能改善が確認され た. また, 両言語方向において, 提案法はべースラインの“ユニグラム言語モデル”, 及び“サ

表 1 ASPEC 日-英における翻訳性能の比較 (BLEU(\%))
^{7}$ http://lotus.kuee.kyoto-u.ac.jp/WAT/evaluation/index.html\#automatic_evaluation_systems.html
}

ブワード正則化”より有意に性能が高く, 提案法の有効性が確認できる.

## 5 考察

## 5.1 BiLSTM 分割器の性能とオラクル分割

本節では翻訳時に用いる BiLSTM 分割器のリランキングによる分割性能を考察する。分割性能の評価には ASPEC の評価データを用い, 参照訳を使用して 3.1 節の手法により分割した原言語文の分割結果を正解の分割とみなした。結果を表 2 に示す. 表 2 のとおり, BiLSTM 分割器 のリランキングによる分割性能は非常に高く，正解分割に近いサブワード分割を得ていること が分かる.

さらに，正解分割の原言語文を用いた翻訳性能を評価した。この正解分割に対する翻訳性能 は提案法の性能の上限值を示しているといえる。結果を表 3 に示す. 表 3 中の “オラクル分割” が正解分割に対する翻訳性能を示している。表 3 より，“オラクル分割” は “BiSW”より高い 翻訳性能となっていることが確認できる。“BiSW”の翻訳性能は“オラクル分割”と比較して,日英, 英日翻訳においてそれぞれ $0.10,0.20 \mathrm{BLEU}$ ポイント低く, これは BiLSTM 分割器の予測の誤差によりオラクル分割と異なる分割が得られたため性能が低下したと考えられる.

## 5.2 BiLSTM 分割器の必要性

提案法では翻訳時の入力文をサブワード分割するため BiLSTM 分割器を必要とする。本節で は翻訳時の BiLSTM 分割器の必要性を確認するため, BiLSTM 分割器を用いたときと用いない ときの翻訳性能を比較した，BiLSTM 分割器を用いない場合は，翻訳時の原言語文の分割結果 としては，ユニグラム言語モデルの最尤解 $\left(f^{*}\right)$ を用いる。また, 訓練時と翻訳時とのギャップ を失くすため，訓練時には，原言語文をユニグラム言語モデルの最尤解 $\left(f^{*}\right)$ で固定する。つま

表 2 ASPEC 日-英の評価データにおける BiLSTM 分割器のサブワード分割性能

表 3 オラクル分割の翻訳性能 (BLEU(\%))

り, 常に $\boldsymbol{v}^{*}=\boldsymbol{f}^{*}$ で固定する。これにより, 訓練時の複数分割候補からの選択は常に目的言語側のみで行われ，原言語側の最尤解のトークン数に最も近い候補が選択されるようになる.

表 4 に実験結果を示す。表中の “BiSW w/o BiLSTM”がBiLSTM を用いない場合の手法を 示しており，“十”は提案法の “BiSW” の性能が “BiSW w/o BiLSTM” と比較して有意水準 $5 \%$ で有意に高いことを示す。表 4 より，BiLSTM 分割器を用いないと翻訳性能が低下することが 確認された。具体的には，“BiSW w/o BiLSTM”は “BiLSTM”と比較して，日英，英日翻訳に おいてそれぞれ $0.59,0.29 \mathrm{BLEU}$ ポイント性能が低下することが分かる。この実験結果より，目的言語側のみの分割候補からの選択では翻訳に適した分割を獲得するのに十分でなく, 原言語, 目的言語それぞれの分割候補から双方向に選択する必要があると考えられる。したがって,翻訳時の入力文を分割するための BiLSTM 分割器は必要であると考えられる.

## 5.3 提案法によるサブワード分割の例

本節では従来法 “ユニグラム言語モデル”と提案法で得られるサブワードの違いを実例で確認する。表 5 に，APSEC 日英の訓練デー夕に対して従来法と提案法をそれぞれ適用した実際の 例を示す。表 5 より，従来法では複数の意味から成るサブワードが 1 トークンに結合されてい るのに対し, 提案法ではそれらが分解されていることが分かる. また, 表中に訳文中の対応箇所を示す。表より，“設計法”が訳文中の“design method” と対応付いて “設計”と“法”に分割されていることが確認できる。これは，従来法が生起確率のみに基づいて分割されるのに対 し，提案法では対訳相手の分割情報を参照しているためであるといえる。これにより，原言語

表 4 BiLSTM 分割器を用いないときとの翻訳性能比較 (BLEU(\%))

表 5 ASPEC 日英翻訳の訓練データにおけるサブワードの例

表 6 ASPEC 日英翻訳の評価データにおけるサブワードの例

文と目的言語文間でサブワードが対応付けられやすくなり，NMT モデルの学習を支援できるよ うになると考えられる。ただし，“popularization”の訳文中の対応箇所は“普及”という 1 トー クンであるのに対し，提案法による分割では “popular”と“ization”に分割されている。これ は，単語単位ではなく，文単位でトークン数を近づけるため，“普及”以外のトークンの分割を 参照し，訳文中の対応箇所とトークン数の対応がない分割を行ったと考えられる．

表 6 に APSEC 日英翻訳の評価データ（評価データの日本語文）に対して従来法と提案法を それぞれ適用した実際の例を示す。表 6 より，評価デー夕においても，対訳文（参照訳）を参照 することなく，BiLSTM 分割器により，言語間で 1 対 1 のサブワードの対応付けを取りやすい 単位に分解されていることが分かる。ただし，提案法において “透 水 性” と分割された例は，訳文中の対応箇所が “premeability” であるのに対し，従来法の “透 水性”よりもトークン数の 差が大きくなっている。これは，文単位でトークン数を近づけた訓練データから BiLSTM 分割器を学習させているため，もしくは，BiLSTM 分割器が誤って予測しているためであると考え られる。

## 5.4 ハイパーパラメータ $k$ に対する敏感さ

提案法では分割候補の候補数 $k$ がハイパーパラメータとなっている。本節では，ハイパーパラ メータ $k$ の值によって提案法の翻訳性能がどの程度変化するかを考察する。図 3 に, ASPEC 日英翻訳の開発データにおける $k$ を変化させたときの翻訳性能を示す. $k$ の値を $\{[2,10], 15,20,50,100\}$ の中で変化させたときの翻訳性能を評価した.

図 3 より, 一部例外はあるものの $k$ が 50 を超えるまでは概ね翻訳性能が改善していることが 確認できた。

## 5.5 尤度に基づいた対訳文対のサブワード分割手法

Kudo (Kudo 2018) の文献では "the unigram language model is reformulated as an entropy encoder that minimizes the total code length for the text. According to Shannon's coding theorem, the optimal code length for a symbol $s$ is $-\log p_{s}$, where $p_{s}$ is the occurrence probability of $s$." $と$述べられている。このことから，サブワード分割した文のトークン数とそのサブワード列の尤度の間には関係性があると考えられる。そこで本節では，提案手法において，文のトークン数

の代わりに尤度を用いた場合の性能を考察する。つまり，原言語文と目的言語文のトークン数 の差を小さくする代わりに，尤度の差が小さくなるように分割を行った場合の性能を評価する.具体的には, 式 5 から式 8 において, $\operatorname{len}()$ を $-\log P()$ で置き換えて計算することで, 原言語文 と目的言語文をサブワード分割した際の尤度の差が小さくなるような分割候補を選択する.

表 7 に結果を示す。表中の "BiSW（トークン数ベース）”と“BiSW（尤度ベース）”はそれぞ れトークン数に基づいた提案法と尤度に基づいた提案法を示している。表 7 より, 尤度に基づ いた手法は日英翻訳においてはユニグラム言語モデルよりも翻訳性能が改善されているが，両言語方向においてトークン数に基づいた提案法よりも性能が低い. これは, 尤度とトークン数 の間に関係はあるものの完全に一致していないためであると考えられ，関係の度合いはユニグ ラム言語モデルの性能に依存していると考えられる.

さらに, ASPEC 日-英の訓練データおよび評価データにおいて, 対訳文対間のサブワードトー クン数の差の平均を調査した．結果を表 8 に示す。表 8 より, トークン数ベースと尤度ベースの どちらの手法も訓練デー夕，評価デー夕の両方においてユニグラム言語モデルよりもトークン 数の差は縮まっている。また，尤度べースよりもトークン数ベースの提案法のほうがよりトー クン数の差が小さくなっていることも確認できる。この結果より, トークン数ベースの提案法

図 3 ハイパーパラメータ $k$ に対する敏感さ（開発データにおける翻訳性能）

表 7 尤度ベースの手法との比較 (BLEU(\%))

により，原言語文と目的言語文のトークン数の差を小さくする分割を行うという目的が達成で きていることが確認できる.

## 5.6 分かち書きされた言語対及び分かち書きされない言語対に対する提案法の 有効性

本節では，英独翻訳のような分かち書きされている言語対，及び，日中翻訳のような分かち 書きされない言語対の翻訳に対する提案法の有効性を検証する.

翻訳性能の評価には，それぞれ WMT14 英独・独英（以下 WMT14 英-独）翻訳タスク8 と ASPEC 日中・中日（以下 ASPEC 日-中）翻訳タスクを用いた.

本実験におけるユニグラム言語モデルの学習は, 原言語側と目的言語側で辞書を共有して行っ た。サブワードの語彙量は，WMT14 英-独で $37,000 ，$ ASPEC 日-中で 16,000 に設定し，NMT モデル内の原言語側と目的言語側の埋め込み層を共有した。 ミニバッチの大きさは WMT14 英独で約 25,000 トークン, ASPEC 日-中で約 6,000 トークンになるよう設定した. WMT14 英-独 の訓練データにおいて，各文をサブワード分割した後，250トークンを超える文と原言語/目的言語文のトークン数の比が 1.5 を超えるものを除去した。 ハイパーパラメータ $k$ は開発データ で調整し， 2 に設定した。

表 9 に WMT14 英独・独英翻訳，ASPEC 日中・中日翻訳の実験結果を示す。表 9 より，両言語方向において，提案法 “BiSW” を用いることで従来法 “ユニグラム言語モデル”と比べて 翻訳性能が改善されることが確認された，具体的には，英独，独英，日中，中日翻訳において， "BiSW”は “ユニグラム言語モデル” と比べてそれぞれ $0.32,0.02,0.11,0.12$ BLEU ポイント

表 8 対訳文対間のサブワードトークン数の差の平均

表 9 WMT14 英-独及び ASPEC 日-中翻訳における提案法の有効性 (BLEU(\%))
^{8}$ https://www.statmt.org/wmt14/translation-task.html
}
性能が改善された，実験結果より，分かち書きされた言語対及び分かち書きされない言語対に 対しても提案法の有効性が確認された.

## 6 関連研究

BPE (Sennrich et al. 2016) とユニグラム言語モデル (Kudo 2018) はサブワード分割法として 広く用いられている，BPEは辞書式圧縮に基づいたサブワード分割アルゴリズムであり，指定 した語彙量を上限として, 出現回数順に隣接するサブワードを再帰的に結合する．BPEは簡単 なアルゴリズムで実装が容易なため多くのNMT システムで採用されているが，決定的アルゴ リズムであるため複数の分割候補を得ることができない.

ユニグラム言語モデルは尤度に基づいたサブワード分割アルゴリズムである．各サブワード の生起確率は EM アルゴリズムによって推定される. ユニグラム言語モデルは BPE と比べて アルゴリズムが複雑であるが，尤度に基づいた複数のサブワード分割候補を得られ，かつ，事前トークナイズを必要とせず生文から直接学習できるという特長がある。本研究の実験ではユ ニグラム言語モデルのリファレンス実装である SentencePiece (Kudo and Richardson 2018)を 用いた。

サブワード正則化 (Kudo 2018) は複数のサブワード分割候補を用いた NMT の訓練法であり， サンプリングされた分割候補の周辺尤度を最大化する。サブワード正則化を NMT に組み达む には，訓練時にパラメータを更新するごとに動的にサブワード分割をサンプリングする必要が あり，NMTの訓練処理を修正する必要がある.

BPE-dropout (Provilkov et al. 2020) はサブワード正則化を用いられるように BPE を拡張し た手法である．BPE-dropoutでは，隣接サブワードの結合を確率的に棄却することで複数のサ ブワード分割候補が得られる。たたし， $P(\boldsymbol{x} \mid X)$ のような尤度に基づいた $k$-best 候補を得るこ とはできない.

単語やサブワードへの分割を行わずに文字単位で翻訳を行うNMT モデルも提案されている. Cherry ら (Cherry et al. 2018) は単語単位やサブワード単位の NMT よりも文字単位の NMT の 翻訳性能が高くなると報告している。ただし, Cherry らは文字単位の NMT の問題点として計算量の多さとモデリングの難しさがあることも述べている. 我々の手法は NMT モデルの入出力の粒度について文字単位の NMT の長所と短所（翻訳性能とモデリング，計算量）のバラン スをとったものとも考えられる。

Ataman ら (Ataman et al. 2017; Ataman and Federico 2018b) や Huck ら (Huck et al. 2017) は 言語学に基づくサブワード分割を提案している. Ataman ら (Ataman et al. 2017; Ataman and Federico 2018b) は教師なし形態学習に基づく “Linguistically Motivated Vocabulary Reduction (LMVR)”を用いることで BPE より翻訳性能が向上することを示した. Huckら (Huck et al.

2017) はサブワード分割においてステミングや複合語分割などによる言語学的な知識を用いた 分割を組み合わせることで，翻訳性能が改善することを示した。また, Ataman ら (Ataman and Federico 2018a) は単語を n-gram 文字で分解することで形態学的にリッチな言語を含む翻訳が 改善することを示している.

## 7 おわりに

本論文では，対訳文からサブワード列を得る，ニューラル機械翻訳のための新たなサブワー ド分割法を提案した. WAT ASPEC 英日・日英・英中・中英翻訳タスクと WMT14 英独・独英翻訳タスクにおいて，提案法を用いることで Transformer NMT モデルの性能が最大 $0.81 \mathrm{BLEU}$ ポイント改善した，実験と考察により，対訳文とのサブワードトークン数の差を小さくするこ とで翻訳性能が改善されることを示した。今後は他の言語対での提案法の有効性も確認してい きたい.

## 謝 辞

本論文は国際会議 The 28th International Conference on Computational Linguistics (COLING'2020)に採択された論文に基づいて日本語で書き直し，説明を追加したものである.

本研究成果は, 国立研究開発法人情報通信研究機構の委託研究により得られたものである。ま た, 本研究の一部は JSPS 科研費 20 K19864 の助成を受けたものである. ここに謝意を表する.

## 参考文献

Ataman, D. and Federico, M. (2018a). "Compositional Representation of Morphologically-Rich Input for Neural Machine Translation." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 305-311, Melbourne, Australia. Association for Computational Linguistics.

Ataman, D. and Federico, M. (2018b). "An Evaluation of Two Vocabulary Reduction Methods for Neural Machine Translation." In Proceedings of the 13th Conference of the Association for Machine Translation in the Americas (Volume 1: Research Papers), pp. 97-110, Boston, MA. Association for Machine Translation in the Americas.

Ataman, D., Negri, M., Turchi, M., and Federico, M. (2017). "Linguistically Motivated Vocabulary Reduction for Neural Machine Translation from Turkish to English." arXiv preprint arXiv:1707.09879.

Cherry, C., Foster, G., Bapna, A., Firat, O., and Macherey, W. (2018). "Revisiting CharacterBased Neural Machine Translation with Capacity and Compression." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4295-4305, Brussels, Belgium. Association for Computational Linguistics.

Huck, M., Riess, S., and Fraser, A. (2017). "Target-side Word Segmentation Strategies for Neural Machine Translation." In Proceedings of the 2nd Conference on Machine Translation, pp. 56-67, Copenhagen, Denmark. Association for Computational Linguistics.

Kingma, D. P. and Ba, J. (2014). "Adam: A Method for Stochastic Optimization." CoRR, abs/1412.6980.

Koehn, P. (2004). "Statistical Significance Tests for Machine Translation Evaluation." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 388-395, Barcelona, Spain. Association for Computational Linguistics.

Kudo, T. (2018). "Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia. Association for Computational Linguistics.

Kudo, T. and Richardson, J. (2018). "SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium. Association for Computational Linguistics.

Nakazawa, T., Yaguchi, M., Uchimoto, K., Utiyama, M., Sumita, E., Kurohashi, S., and Isahara, H. (2016). "ASPEC: Asian Scientific Paper Excerpt Corpus." In Proceedings of LREC 2016, pp. 2204-2208.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "Bleu: a Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA. Association for Computational Linguistics.

Provilkov, I., Emelianenko, D., and Voita, E. (2020). "BPE-Dropout: Simple and Effective Subword Regularization." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1882-1892, Online. Association for Computational Linguistics.

Sennrich, R., Haddow, B., and Birch, A. (2016). "Neural Machine Translation of Rare Words with Subword Units." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany. Association
for Computational Linguistics.

Szegedy, C., Vanhoucke, V., Ioffe, S., Shlens, J., and Wojna, Z. (2016). "Rethinking the Inception

Architecture for Computer Vision." In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2818-2826.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Advances in Neural Information Processing Systems 30, pp. 5998-6008. Curran Associates, Inc.

Wu, Y., Schuster, M., Chen, Z., Le, Q. V., Norouzi, M., Macherey, W., Krikun, M., Cao, Y., Gao, Q., Macherey, K., et al. (2016). "Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation." arXiv preprint arXiv:1609.08144.

## 略歴

出口祥之：2019 年愛媛大学工学部情報工学科卒業. 2021 年同大学院理工学研究科博士前期課程修了. 2021 年より奈良先端科学技術大学院大学博士後期課程に在学.

内山 将夫：1992 年筑波大学卒業. 1997 年同大学院工学研究科修了. 博士（工学). 現在, 国立研究開発法人情報通信研究機構上席研究員. 主な研究分野は 機械翻訳. 言語処理学会会員.

田村 晃裕：2005 年東京工業大学工学部情報工学科卒業. 2007 年同大学院総合理工学研究科修士課程修了. 2013 年同大学院総合理工学研究科博士課程修了. 日本電気株式会社, 国立研究開発法人情報通信研究機構にて研究員とし て務めた後, 2017 年より愛媛大学大学院理工学研究科助教, 2020 年より同志社大学理工学部准教授となり, 現在に至る. 博士 (工学). 言語処理学会, 情報処理学会, 人工知能学会, ACL 各会員.

二宮 崇：1996 年東京大学理学部情報科学科卒業. 1998 年同大学大学院理学系研究科修士課程修了. 2001 年同大学大学院理学系研究科博士課程修了. 同年より科学技術振興事業団研究員. 2006 年より東京大学情報基盤センター講師。2010 年より愛媛大学大学院理工学研究科准教授, 2017 年同教授. 博士 (理学). 言語処理学会, アジア太平洋機械翻訳協会, 情報処理学会, 人工知能学会, 電子情報通信学会, 日本データベース学会, ACL 各会員.

隅田英一郎：1982 年電気通信大学大学院修士課程修了. 1999 年京都大学大学院博士（工学）取得. 1982 年～1991 年（株）日本アイ・ビー・エム東京基礎研究所研究員. 1992 年 2009 年国際電気通信基礎技術研究所研究員, 主幹研究員, 室長. 2007 年 現在 国立研究開発法人情報通信研究機構 (NICT) 先進
的音声翻訳研究開発推進センター (ASTREC) 副センター長. 2016 年 NICT フェロー. 機械翻訳の研究に従事.

\author{
(2020 年 10 月 31 日 受付) \\ (2021 年 2 月 8 日 再受付) \\ (2021 年 3 月 12 日 採録)
}


# 学会記事
## 「論述構造解析におけるスパン分散表現」の研究を通して

\author{
栗林 樹生 ${ }^{\dagger, \dagger \dagger}$
}

## 1 はじめに

本稿では言語処理学会最優秀賞をいたたいた「論述構造解析におけるスパン分散表現」(以降，原論文）について解説する。原論文では，問題解決や合意形成において重要な言語活動であ る議論が解析の対象となっている。具体的には, 作文といった独話的な論述文の談話構造を解析する論述構造解析というタスクに取り組んだ。論文構造解析の処理単位である論述単位（文 や節に対応し, この研究ではスパンと呼ぶ）について，その分散表現を計算する機構を改良し,性能向上を実現した。原論文の概要については，2節で更に紹介する。

ところで, 論述構造の解析は私が研究室に配属されて最初に取り組んだテーマであった. 研究室に配属された当時の私の関心は「言語のような曖昧なものを計算機によってきっちり分か りたい」ぐらいの漠然としたものだったので，まず何か研究を進めながら自分の興味や面白いと 感じることを更に具体的にしていこうと考えていた。すなわち原論文は，自身の研究に対する 興味や研究スタイルのようなものが形成されていく過渡期の中で取り組んだ研究であった。そ のような過渡期の中では,「こういう研究が面白いな, やってみたいな」という自分の理想が少 しずつ見えてくると共に，その理想と今行っている研究（原論文）との間で少なからず葛藤が 生まれることもあった。 せっかくなので記憶が新鮮なうちに, 自分がどのようなことを考えて 研究を遂行していたかについても 3 節で触れたい.

## 2 原論文の概要

論述構造解析では，与えられた論述文について，談話単位（文や節）間の論述的な関係（支持 や反論）や談話単位の機能（根拠や主張）などの構造の同定を行う（Stab and Gurevych 2017）.原論文では，文章中の大域的な文脈情報をうまく活用することが本タスクを解く鍵であると仮説を立て, 談話単位（スパン）の表現をエンコードする際に積極的に周辺文脈情報を取り入れ るよう，スパン分散表現のエンコーダ部分の改良を行っている.

周辺文脈を積極的に見る動機として，例えば論述文における談話単位の役割は，談話単位を

図 1 論述文の例とモデルの概要. ADU は論述単位, AM は接続表現, $A C$ は命題を指す.

構成する語のみから推測することはしばしば困難であり，論述文中の周辺文脈を見て初めて予測が可能になる.「りんごには栄養がある」という発話の機能はこの情報だけでは考えることが できず，「毎朝りんごを食べるべきた」に続く発話であれば主張を支える根拠となるし，「果物 は体に悪い」に続く発話であれば対立意見となる。また，論述文には典型的ないわゆる議論の 流れが存在する. 例えば，一旦想定される反論をあげて，その反論に対して反論し返すことで，自身の意見の説得力を上げるといった戦略はしげしげとられる。このような大域的な構造の傾向を捉えることも，各論述関係の予測において重要であると考えられる.

具体的な改良としては, 談話単位 (ADU) を接続表現 (AM) と命題 (AC) に分離し, 多粒度で 文脈情報を考慮する試みをしている（図 1)。例えば，AM の系列からは論題に非依存な文章の 「型」を捉えることを期待し，ACの系列からは語彙的な結束性やより深い意味理解に基づくモ デル化を期待している．特に本タスクはデータセットのサイズが小さいため, アーキテクチャ の工夫から，論述文の傾向を効率的に捉えることが可能な帰納バイアスをモデルに与えること を期待している。

実験から，提案法は特に複雑な構造をもつ（深い木となる）論述文において良い性能を示し た. また, 典型的な論述の流れである, 一旦想定反論をあげて反論し返すといった典型的な構造（反論の連鎖）の解析においても良い性能を示した. 更に, BERT などの強力な言語モデル から得られる分散表現と組み合わせた際にも，提案手法は良い傾向を示した。

## 3 研究を遂行する中で

原論文は, 論述構造解析タスクで高性能なモデルを提案した研究である. 冒頭でも述べたが,論述構造解析は研究の一周目として取り組んでみたテーマであり, 本研究を通して自分の研究の 方向や興味をさらに具体化していこうと考えていた. そのような過程の中で研究について考え させられたことや, 今となって感じる反省点などを, 一学生の当時の記憶に遡って書いてみる.

## 3.1 タスクでスコアを上げる意義

様々な研究に触れる中で, 自分が自然言語処理という分野に対して抱く魅力の原点は, やは り漠然としているものの「言語のような曖昧なものを計算機によって分かりたい（分かれるか という問いも含む)」というところにあると感じた. したがって，言語に対する関心を直接活力 にして研究を行うほうが，自分の場合は向いているかもしれないと感じた。そのような視点に 立った時に, 既存のタスクでスコアを向上させるという行為が, 何かを分かるために必須の営 みではないように見え, そもそもなぜ自分たちは研究においてしばしばタスクを解き, 性能向上を示すのかを見失わないようにする必要があると感じた. これを整理しないと, 盲目的に目前のタスクを解いたり，逆にタスクを解くことを否応なしに否定してしまったりするかもしれ ないし, 当時自分が行おうとしていた研究（後の原論文）についても意義を見失いかねないと 感じた。ちょっと当たり前のことかもしれないが, 既存タスクにおける性能向上に率先して取 り組む理由として考えられるものを, 思いつくところで 4 つほど挙げて整理し, その後原論文 について振り返ってみる：

（1）そのタスクを解ききると何かについて分かったことになる

(2) そのタスクにおける性能向上が誰かの役に立つ

（3）その性能向上から何かが検証される

(4) 自分の成長やコンペティションなどへの挑戦のため

（1）そのタスクを解ききると何かについて分かったことになる：そのタスクを解くことで何 か（例えば，言語そのものやモデルの言語理解力など）について直接分かることができる，ある 種理想的な夕スクに取り組んでいる場合である。つまり，科学的な関心の元でタスクを解くこ とが目的となる.このような研究を遂行する前の段階として,「その理想的なタスクとは何か」 という問い自体が非常に大きなものであるとも感じる.

(2) そのタスクにおける性能向上が誰かの役に立つ: 工学的な動機でそのタスクを解くこと が目的になる。そのタスクを解くことで実現される技術により人文学系の研究などが進む場合 は，(1)と (2)を両立しているとも考えられる.

（3）その性能向上から何かが検証される：提起された問いや仮説がタスクにおける性能の比較等を以て検証される．例えば，機械学習アルゴリズムに関する仮説を検証するために，典型
的なタスクの例として文書分類タスクをとりあげ，提案アルゴリズムによって確かに性能が向上することを実演（デモンストレーション）する。この研究を遂行した研究者にとっては，お そらく文書分類タスクそのものを解くことは目的でなく，仮説を検証する手段にすぎない.

自然言語処理で既存のタスクに乗っかる研究の場合は, (2) と (3) を両立する研究, すなわち 実社会の問題に動機づけられるタスクに挑戦し，そのタスクをより良く解く方法について仮説 を立て，タスクにおける性能を指標として仮説の検証を行うというものが多いと感じる。原論文でも，論述構造解析タスクを解くこと自体の意義を見据えながら，言語的な観察 (Kuribayashi et al. 2017) に基いてより良い論述構造解析モデルについて仮説を立て, 実際にそのモデルで夕 スクを解いた際の性能向上を示すことで仮説を検証している。この場合，タスクを解く意義は 二つの面を持ち, 社会に存在する問題の解決に近づくという点で目的であり，そのタスクにお けるより良いモデルについて分かりを得るため，仮説を検証するための手段でもある。自分が 初めて論文の執筆に取り組んだときに，提案法が示す性能の良さそのものを主張するといった， タスクを解くことを目的とした側面にとらわれてしまい，何が検証され分かったのかという検証の手段としての視点が欠けていたと感じている.

（4）自分の成長やコンペティションなどへの挑戦のため: ここまでなぜそのタスクを解くかと いう意義を, タスクや性能向上そのものに見出してきたが, 研究活動というものを広く捉える と，その理由は自分の成長や挑戦などにあっても良いと思う。特に私のように明確な興味を言語化できない状態で研究室に入った場合は, 「私の興味とは」というような, ともすると終わり のない内省から始めるのではなく, 研究の勘所を手に入れるという目的のもと, まずはコミュ ニティの前提（既存タスク）に従って研究を回してみるのもよい経験だと個人的には感じた. そして何か面白そうなテーマが見えてきたら, 最初の研究テーマに縛られずに柔軟に色々な研究をしてみればいいと思う（もちろん一貫性があれば理想的だが），実際のところ，この研究に 伴った一連の活動を通して，研究について多くのことを学ぶことができた. まさしく武道・芸道でいうところの「守破離」の「守」に対応するような研究活動であったと振り返る.

## 3.2 「トリビアルな手法である」という指摘

他に印象的な出来事を振り返ると，ある会議に論文を投稿した際に， “I think the proposed method is trivial.”という査読が返ってきた．当時の自分は手法そのものが魅力的でないと解釈 し，もっとすごい手法を提案すればよいのか？と迷ってしまった. ここで，“trivial”とか「す ごい」が何を指しているのかが曖昧であるが，特に研究の右も左も分からない時に言われると $\lceil$ trivial $=$ 式や実装面での些細な変更」,「すごい＝難解な理論や複雑なモデル」という解釈に繋 がってしまう懸念があるのではないかと感じた。 その解釈は良くない方向にあり, 複雑なモデ ルや改良で良い結果が得られることよりも，些細でシンプルな改良のみで良い結果が得られる ことの方がずっと評価されるべきである。シンプルな手法に対して “trivial”と指摘された場合

は，手法そのものの更なる改良に走る前に，そのシンプルな変更を行う必然性や意図が相手に 伝わっていない可能性をまずは考えるべきではないかと感じた.

## 4 今後の展望・おわりに

最近は, 言語・ヒトに対する関心のもと, 言語モデルの認知的な妥当性に焦点を当てた研究を 行ってきた. これまでの経験を踏まえて，談話処理と人の文章処理の認知モデルといった趣向 の研究は, 是非今後取り組んでみようと検討している。 近年, 人の文処理の計算モデルとして の言語モデルの認知的妥当性が注目されているが, 文を超えた談話レベルの人の文処理の計算 モデルなどについては，まだまだ議論が非常に限られていると感じる，例えば，談話構造を明示的に考慮する文章の計算モデルは人の談話処理活動をうまくモデリングできるだろうか. ま た方向性は変わるが，マルチモーダル（言語と画像）な計算モデル (Ramesh et al. 2021)の認知的側面の分析についても，言語に対する理解を画像で直接説明させることができる点で非常 に興味深いと感じている。例えば，「頭が赤い魚を食べた猫」に対して彼らはどんな絵を見せて くるだろうか.

本記事の執筆を通して, 改めて自身の研究について整理し，振り返ることができた。最優秀論文賞という栄誉ある賞に選考いたたきき，更にこのような記事の執筆機会を与えてくたさった 編集委員の方々をはじめ, 研究室のメンバーなど研究生活を送る上で欠かすことのできなかっ た方々への感謝の意を述べて, 本記事を締めたい.

## 参考文献

Kuribayashi, T., Reisert, P., Inoue, N., and Inui, K. (2017). "Examining Macro-level Argumentative Structure Features for Argumentative Relation Identification." IPSJ SIG Technical Report, 2017-NL-234, pp. 1-6.

Ramesh, A., Pavlov, M., Goh, G., Gray, S., Voss, C., Radford, A., Chen, M., and Sutskever, I. (2021). "Zero-shot Text-to-image Generation." arXiv preprint arXiv:2102.12092.

Stab, C. and Gurevych, I. (2017). "Parsing Argumentation Structures in Persuasive Essays." Proceedings of $C L, 43$ (3), pp. 619-659.

## 略歴

栗林 樹生 : 2020 年東北大学大学院情報科学研究科修士課程修了. 現在, 東北大

学大学院情報科学研究科にて博士課程取得に向けて研究を進めている. 2020 年より日本学術振興会特別研究員 (DC1). Langsmith 株式会社共同創業者.