# Wikipedia のリンク情報に基づく話題遷移シナリオの自動生成

坂田亘 1,2 吉越 卓見 2 田中リブカ 2 黒橋 禎夫 2
${ }^{1}$ LINE 株式会社 2 京都大学
wataru.sakata@linecorp.com, \{takumiyoshiko, tanaka, kuro $\}$ nlp.ist.i.kyoto-u.ac.jp

## 1 はじめに

我々の日常会話において自分の興味ある話題に 会話を誘導する振る舞いはよく見られる重要な対話行為である。本研究ではターゲット指向対話を導入し、そのような対話を実現するために話題遷移の シナリオを生成するシステムを構築する。ターゲッ 卜指向対話では対話相手の関心のある話題（開始話題）から雑談を開始し、全く別のある話題（ター ゲット話題）に向けて能動的に話題の誘導を行う。 こうした対話はセールストークを行うときなどに不可欠である。

提案システムでは情報源として Wikipediaを利用 し各エントリを 1 つ話題とみなすことで、開始話題からターゲット話題への話題遷移経路の検出を行 う。Wikipedia の文書内のハイパーリンクとそれを 含む自然文には、エントリとエントリがどのように 関係しているかの情報が含まれている。これをある 話題から、リンク先エントリの話題への遷移として 利用する。開始話題とターゲット話題には直接の繋 がりがない場合が多いため、中継点となる話題を経 て話題遷移を行うことが必要となる。Wikipedia の ような webgraph 構造においては、多くのノードは 他の全てのノードから小さい遷移数で到達できると いう small-world 性が見られるため、数回の話題遷移 で開始話題からターゲット話題へと遷移できる。

図 1 は複数の映画タイトルをターゲット話題とし て登録した際のシステムの概要図である。提案シス テムは開始話題が与えられると、そこから予め登録 した複数のターゲット話題のうちいずれかに到達 する最短の話題遷移経路を検出する。図 1 左には “吹田市”を開始話題として与えられた場合の話題遷移経路の候補が示されている。経路内の各リンクは Wikipedia 内のハイパーリンクと対応しており、話題間の関係を表す文が付随している。図 1 右は “吹田市”の話をしている対話相手に対して、システム が図 1 左の話題遷移経路を用いて映画を勧めようと
している対話の一部である。“日本沈没”へ話を近づ けるためにシステムは『吹田市の万博会場跡地は万博記念公園として整備され、太陽の塔などがある らしいですね。』と発話し、まず“太陽の塔” の話題 へ話を転換しようとしている。このように適切に話題遷移経路が計算できれば、ユーザーの幅広い関心 に対応しながらターゲット話題へ話を誘導する対話 シナリオとして、これを用いることができる。

遷移における経路の選び方は複数存在するため、 その中でより良い道筋を選択する必要がある。例え ば図 1 では“降水”への話題の遷移は自然ではない と思われる。本研究では Wikipedia 上のリンク情報 および文情報を利用して訓練データの自動構築を行 い、話題遷移をスコア付けする方法を提案する。

実験では映画推薦のための話題遷移経路を見つけ るシステムの構築を行い、獲得できた経路の分析を 行う。さらに提案手法により適切な話題選択をする ことで、比較対象の手法よりも自然な話題遷移が可能であることを確認する。

## 2 提案手法

## 2.1 最短話題遷移経路の探索

本項目では開始話題を入力としたときにターゲッ 卜話題のいずれかに到達する最短経路を求める方法 について述べる。開始トピックが与えられてから実用的な時間で最短の経路を計算するためには幅優先探索を利用する。ターゲット話題それぞれを始点に とり、それぞれのリンクを逆向きに辿る幅優先探索 を行うことで、各エントリから各ターゲット話題ま での距離を計算できる。計算量は Wikipedia のエン トリ数を $D$ 、ターゲット話題の数 $T$ とすると $O(D T)$ となる。さらに各エントリに対して全ターゲット話題の中でエントリからの距離が最小となるような ものを計算し、その距離を保存しておく。これによ り、あるエントリから最短でいずれかのターゲット 話題の到達するために次に遷移するべき話題を定数

図 1 システム概要

時間で見つけられる。これを繰り返すことで開始話題からターゲット話題に到達するための経路を高速 に求めることができる。

## 2.2 話題選択モデル

前節の方法では開始話題からターゲット話題ま での複数の経路を得ることができるが、その中から 良い経路を見つけることができれば便利である。あ る話題と話題の関係を示す文が話題遷移に使う情報として自然であるかを識別できれば、そのような 関係を示すリンクを優先的に辿ることで、良い話題遷移の経路を発見できると考えられる。本節では Wikipedia の文とリンク情報から教師データを自動構築し、それを用いることで話題の遷移先を適切に 選択するモデルを構築する。

まず、実際の遷移の事例について観察する。 Wikipedia の “手羽先唐揚げ” の記事には“バッファ ローウィング” および “白ごま”へのリンクとともに 次のような記述が存在する。

(1) 手羽先唐揚げに類似するアメリカ料理とし て、バッファローの名物料理、バッファロー ウィングがある。

（2）鶏の手羽先をから揚げにしてタレを塗り、塩・胡椒・白ごまなどを振りかけて仕上げる。

これらの情報を話題遷移として利用することを考え ると、バッファローウィングへの遷移と比べて、白 ごまへの遷移は不自然に感じられる。

我々はこのようなリンク情報の観察を通して話題遷移の自然さに関する次のような性質に着目した。 ある文が話題 Aへのリンクを含んでおり、後に続く 文で A が主語となる場合、その文の情報は Aへの 話題遷移に活用しやすい。例えば、先ほどの“バッ
ファローウィング”への遷移の例において、次の文 で「バッファローウイングは〜」とバッファロー ウィングの詳しい説明が続くことは自然に感じられ る。一方、“白ごま”の例において、次の文で白ごま が主語として現れる可能性は“バッファロー”の例 と比べると低いと思われる。そこでリンク文字列と それを含む文を入力として、次の文でそのリンク文字列が主語として現れるかどうか推論を行う判別器 の訓練を行い、リンクのスコアの計算に用いること を考える。

疑似訓練データは Wikipedia 内の連続する 2 文を 収集し、次のように自動的に生成できる。まず連続 する 2 文のうち 1 文目に存在するリンクが示す語 $l$ が 2 文目においては主語となっているような 2 文を 収集する。主語の判定はリンク文字列が 2 文目にお いて助詞 “は” の直前に存在しているか形態素解析器を用いることで判定を行う。リンクを示す語 $l$ と 1 文目の文全体 $s$ のペアを正例として用いる。また 負例として、 1 文目内から無作為に選択した名詞節 $n$ と 1 文目の文全体 $s$ のペアを利用する。こうして 収集した疑似訓練データを利用し、正例ならば 1、負例に対しては 0 を出力するように判別器の訓練を 行う。以上で述べた方法によって日本語 Wikipedia から訓練データを収集することで正例データ 73,197 件と負例データ 71,653 件が得られ、これらを全て用 いて訓練を行った。

推論時にはリンク文字列とそれを含む文をモデル の入力として得られた出力の値をリンクのスコア として利用する。複数のリンク候補から 1 つ選択す る際には、このスコアの最も大きいリンクを選択す る。候補のうち、最上位に同程度のスコアが並ぶ場合（最大スコアとの差が 0.01 未満）には、それらの 中で IDF 值が高いリンク文字列に紐づくリンクを選
択する。モデルとしては日本語大規模コーパスで事前訓練済み1)の BERT[1] を利用する。

## 3 実験

## 3.1 Wikipedia データの前処理

Wikipedia 内に存在するリンク情報の中には話題遷移のために用いるには相応しくないものが多く見 られる。特に “情報”、“平成”などのように多くのも のと関連している一般的な話題への遷移は通常の 対話ではあまり見られない。そこで次に示すような Wikipedia 内の一般的なエントリへのリンク情報は 用いないよう除去を行った。

文書頻度の大きいエントリ Wikipedia の各エント リに対して文書頻度を計算し、文書頻度の大きいも のから上位 1,000 件のエントリへのリンクを除去対象とした。この対象となったエントリの例として“情報”、“スポーツ”などがある。

被リンク数の多いエントリ多くの Wikipedia 文書 からリンクされているエントリもまた過度に一般的 なエントリが多い。被リンク数が 10,000 以上のエ ントリへのリンクを除外の対象とした。この対象と なったエントリの例として“アメリカ合衆国”、“英語”などがある。

年月日や年号についてのエントリ 「アメリカン フットボールは 1921 年には...」などの文のように、年月日または年号などのリンクが Wikipedia 内には 多く見られたが後続の文の主語として用いたとして も話題遷移の自然さが低いと思われる。これらはパ ターンマッチングによって除去を行った。

また、丸括弧内のリンク、箇条書きとなっている 文内のリンクは利用しないこととした。最終的にシ ステムが用いる Wikipedia のエントリは約 100 万件、 リンクは約 1,700 万件となった。

## 3.2 話題遷移経路の分析

ユーザの関心ある話題を開始話題として収集を行 いそこからターゲット話題までの経路を計算すると どのような経路が得られるか調査を行った。映画推薦のための話題遷移経路を生成するシステムを想定 し、ターゲット話題として複数の映画タイトルのエ ントリを利用した。具体的には Wikipedia のエント リ「映画の一覧 $\lrcorner^{2)}$ から収集を行い、結果として 409


表 1 取得した経路長・経路数・1 エントリあたりのリン ク数（リンク数/E）の平均値、中央値、最小値、最大値

件の映画リストを取得した。

開始話題は次のようにクラウドソーシングで収集した。まず、会話の導入となるような簡単な質問 を作業者に投げかけユーザ発話を収集を行なった。「あなたの趣味は何ですか」「好きなアーティストは 誰ですか」などユーザ発話の収集のための対話導入用の発話を 10 個用意し、各質問につき 100 件の ユーザー発話を収集することにより 500 件のユーザ 発話を収集した。次にそれぞれのユーザ発話をクエ リとして Wikipedia のエントリを対象に検索を行い、検索結果の各エントリを開始話題の候補とした。情報検索には Elasticsearch ${ }^{3}$ を利用した。収集した開始話題候補のうち、ユーザクエリに対して適当な開始話題でないと想定されるものを除去し、結果とし て 432 件の開始話題が得られた。

収集した開始トピックをもとに得られた経路の統計情報について表 1 に示す。話題経路の長さは平均 で 3 リンク未満であり、多くの開始話題に対して数回の話題遷移でターゲット話題に到達できている。

## 3.3 遷移先話題の選択モデルの評価

次に話題選択モデルの評価を行った。評価のため にベースラインとしてRANDOM、IDFを採用した。 RANDOM は遷移候補の中から無作為に 1 つ選択す る。IDF は各遷移候補に対しリンク文字列の IDF を 計算し、IDFが最も大きい遷移を選択する。

評価にはクラウドソーシングを用い、RANDOM、 IDF、提案手法のうち 2 つずつを対象に、どちらの 手法による話題選択が自然か比較した。最初に、 IDF と RANDOM を比較した。まず、Wikipedia から リンクを複数含む文を収集し、各文について、IDF と RANDOM で 1つずつリンクを選択した。選択し たリンクが同一だった場合はその文を除外し、異な るリンクを選択した文のみをクラウドソーシングに 用いた。図 2 のように、リンクを含む文をもとに簡単なルールで生成した疑似対話文と各手法が選択し た 2 つのリンクを提示し、どちらのリンクへ話題遷

3) https://www.elastic.co/jp/elasticsearch/

図 2 クラウドソーシング画面

表 2 話題選択モデルの評価結果

移するのが自然かを作業者に尋ねた。作業者は「ど ちらともいえない (どちらも自然)」「どちらとも いえない（どちらも不自然）」を選択することもで きる。このとき、提示する順序によってバイアスが 生じないようにはじめの 2 つの選択肢の順序は無作為になるようにした。 1 件につき 3 人の作業者が 評価し、一方のリンクのみが 2 票以上獲得した場合 に、そのリンクを選択した手法に 1 加点した。それ 以外の場合は引き分けとしてカウントした。これを 400 件評価し、提案手法と RANDOM、提案手法と IDF についても同様に比較した。

結果を表 2 に示す。提案手法は IDF、RANDOM に対して遷移先としてより自然なリンクを選択でき ていることがわかる。次に事例を表 3 に示す。 1 つ 目は提案手法の選んだリンクが IDF の選んだリンク よりも自然である事例である。文内でより重要な役割を示す語を選択できている。2つ目はIDFの方が 自然であるとされた事例である。“輸血”と“血液製剤” は文内での重要度は同様であると思われるが “血液製剤” の方が話題としての面白さがあることか ら、話題遷移先としてより自然であると判断された と考えられる。話題としての面白さを考慮したリン クの選択については今後の課題とする。表 3 提案手法と IDF の選択事例 : 下線は提案手法の選択

 &  & 提案手法 \\

## 4 関連研究

対話システムの研究において Wikipedia などの外部知識を活用し知識を持った対話を行うシステムへ の研究は盛んに行われている $[2,3,4]$ 。しかし、こ れらのシステムではユーザーの発話に対して受動的 に応答するのみで、システムが能動的に話題を選択 するような機構は準備されていない。システムが話題の遷移を行う対話システム構築への取り組みも存在し [5, 6]、例えば Zhou らは ConceptNet [7] 上の話題の経路をもとに、推薦対話のデータセットを構築 した。これらの研究においては遷移元と遷移先がど のような関係を持つかといった情報の利用は行わ れていない。我々の研究は Wikipedia に存在する多様な話題の関係性の知識を用いて話題遷移のシナ リオの生成を行なっており、これと異なる。また、 Wikipedia の small-world 性を用いて 2 つの遠い概念 の関係性を明らかにする取り組み $[8,9,10]$ も存在す るが、この知識を対話遷移に利用する研究は我々の 知る限り存在しない。

## 5 まとめと今後の課題

本研究では Wikipedia のリンク情報に基づき話題遷移シナリオを生成する新たなタスクに取り組ん だ。実験では多くの開始話題から数回の遷移でター ゲット話題へ到達できることを確認した。また、提案手法はベースラインよりも自然な話題を選択でき ることを示した。獲得したシナリオを基に流暢な会話を行うシステムを作ることが今後の課題である。

## 謝辞

この研究は国立情報学研究所 (NII) CRIS と LINE 株式会社とが推進する NII CRIS 共同研究の助成を 受けています。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL2019, pp. 4171-4186, Minneapolis, Minnesota.

[2] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of Wikipedia: Knowledge-powered conversational agents. In ICLR2019, Ernest N. Morial Convention Center, New Orleans.

[3] Karthik Gopalakrishnan, Behnam Hedayatnia, Qinlang Chen, Anna Gottardi, Sanjeev Kwatra, Anu Venkatesh, Raefer Gabriel, and Dilek Hakkani-Tür. Topical-Chat: Towards Knowledge-Grounded Open-Domain Conversations. In Interspeech2019, pp. 1891-1895, Graz, Austria.

[4] Jaehun Jung, Bokyung Son, and Sungwon Lyu. AttnIO: Knowledge Graph Exploration with In-and-Out Attention Flow for Knowledge-Grounded Dialogue. In EMNLP2020, pp. 3484-3497, Online. Association for Computational Linguistics.

[5] 平岡拓也, Graham Neubig, Sakriani Sakti, 戸田智基, 中村哲. 説得対話システムにおける話題誘導に基づく 対話制御. 情報処理学会 第 94 回音声言語情報処理研究会, 東京, 2012.

[6] Kun Zhou, Yuanhang Zhou, Wayne Xin Zhao, Xiaoke Wang, and Ji-Rong Wen. Towards topic-guided conversational recommender system. In COLING2020, pp. 41284139 , Online.

[7] Robyn Speer, Joshua Chin, and Catherine Havasi. Conceptnet 5.5: An open multilingual graph of general knowledge. In AAAI2017, pp. 4444-4451, San Francisco, California, USA.

[8] Robert West, Pineau Joelle, and Precup Doina. Wikispeedia: An online game for inferring semantic distances between concepts. In IJCAI2009, pp. 1598-1603, California, USA.

[9] Robert West and Jure Leskovec. Human wayfinding in information networks. In WWW2012, pp. 619-628, New York, USA.

[10] Robert West and Jure Leskovec. Automatic versus human navigation in information networks. In ICWSM2012, pp. 143-144, Dublin, Ireland.
 坂田亘 1,2 吉越 卓見 2 田中リブカ 2 黒橋 禎夫 2 ${ }^{1}$ LINE 株式会社 2 京都大学 wataru.sakata@linecorp.com, \{takumiyoshiko, tanaka, kuro $\}$ nlp.ist.i.kyoto-u.ac.jp  