# イベントの社会的影響度を用いた 伝記生成のための内容選択

川添正太郎徳永 健伸
東京工業大学 情報理工学院
\{kawazoe.s.aa@m, take@c\}.titech.ac.jp

## 概要

本研究では，人物に関するイベント集合を入力と し，イベントの社会的影響度によって伝記生成のた めの内容選択を行う．実験では，人物に言及する ニュース速報ツイートをイベントとし，その「いい ね数」を社会的影響度として，重要なイベントの選択を行った. Wikipedia の記事の出典の集合に対し て評価を行い，社会的影響度によって重要なイベン トを選択できることを示す.

## 1 はじめに

自然言語生成（Natural Language Generation; 以下 NLG と略す）は，自然言語で書かれたテキストを 生成するコンピュータシステムを扱う，計算言語学 の一分野である [1]. 内容選択 (content selection) は, NLG の部分問題であり, 入力から言及するべき重要 な情報を選択する過程である．たとえば，株価の概況生成において株価のチャートが暴騰している部分 を選択したり，ニュース記事の要約において重要な 出来事が記述されている部分を選択する。

しかし，NLGの入力が何なのかは曖昧であ り $[2,3]$, また重要度とは何を意味するのかも曖昧 である $[4,5]$. 本研究では，NLGの一種である伝記生成 (biography generation) において，これらの問い に部分的に答えることを目指す。伝記は人物を紹介 するテキストである．たとえば，Wikipediaの「バラ ク・オバマ」の記事 [6] には，経歴，大統領時代の 仕事，家族のことなどが記述されている．以下に記事に含まれている文を示す。

2009 年 10 月 9 日にノルウェー・ノーベル委員会はオバマの「核無き世界」に向けた国際社会 への働きかけを評価して 2009 年度のノーベル 平和賞を彼に受賞させることを決定したと発表 した。
この文は，人間によって，どのような入力から，ど のような重要度にもとづいて，選択されたのだろう か. ノーベル平和賞を受賞することは，オバマに とって重要なイベントであることは明らかだろう。 このように，人間が情報の内容を理解してそれを重要だと判断したとき，そのような重要度のことを内在的重要度 $[5,7]$ と定義する.

## 2 問題

伝記生成の既存研究の問題は，内在的重要度によ る内容選択を行っていないことである。これは，裏 を返せば，内在的重要度を用いなくても内容選択が できてしまうような入力を用いているということで もある。一方，オバマの例からわかるように，人間 は内在的重要度による内容選択を行っている. 本研究では，内在的重要度によって内容選択を行うこと により，人間の内容選択を再現することを目的とす る. 既存研究におけるこの問題は，以下で示すよう に，二つの場合に分けられる。

第一に，入力において情報の絞り込みがほとん ど終わっている場合である．たとえば，WIKIBIO [8] は，Wikipedia の人物に関するインフォボックス（属性と値の組から構成された表）を入力としている. しかし，インフォボックスの時点でその人物に関す る重要な情報がまとまっており，人物に関するある 種の要約となっている. WikiSum [9] は，Wikipedia の記事（ただし，人物に限らない）における出典の 集合が入力として与えられ，その記事の最初のセク ションを出力する. いずれの場合も，入力の時点で 内容選択はほとんど終わっている.

第二に，表層的重要度によって内容選択を行って いる場合である．表層的重要度とは，内容を見な くても計算できるような重要度のことである。た とえば，事前に指定された型にあてはまるような 情報を重要とみなすトップダウンな手法は，内容

を見なくても重要度を計算できる. Zhou ら [10] は， DUC2004 [11]のタスク 5 において，ニュース記事の 文に対し, 10 クラス (fame, education, nationality, work など）への分類を行っている。これは，伝記に ある種の型を想定し，伝記的かどうかを判断してい る.しかし, トップダウンな手法は人物個人の背景 を考慮せず，人物一般にあてはまる形で重要度を計算している。 たとえば，オバマがノーベル平和賞を 受賞することの内在的重要度は，オバマ個人の背景 （核廃絶に対する働きかけへの評価，あまり成果を 出していない中での早すぎる受賞，そのことへの批判など）に依存するだろう.

また，入力における情報の位置や頻度を用いるボ トムアップな手法も，内容を見なくても重要度を計算できる。つまり，内在的重要度と相関する表層的 な情報を用いることによって内容選択を行ってい る。これは，入力を作成した人間が重要だと考えた 情報は，何かしらの表層的な特徴をもって入力に現 れるからである. たとえば， WIKIBıO では，位置と 内在的重要度が相関している [12]. つまり，大力で あるインフォボックスはその作成者が重要な情報を 上に配置する傾向にあるため，上の方にある情報ほ ど，正解テキストで言及されやすい．DUC2004の夕 スク 5 を解いている代表的な手法 $[10,13]$ は，単語頻度を利用して重要度を計算する。つまり，ニュー ス記事に対して単語頻度ベースのスコアを計算し, スコアが高い単語が含まれる文を抽出している。し かし, 入力に重要な情報が頻出するのはコーパスが そのような性質を偶然持っていただけであり，また 重要な単語が含まれている文が重要とは限らないた め，内在的重要度を扱っているとはいえない。

## 3 仮説

以上の問題が生じた原因は，伝記生成の内容選択 を，計算機で解くことができる簡単なタスクへと落 とし込んだことによって，実際に人間によって行わ れている内容選択から乘離してしまったことだと 思われる. したがって, 人間によって書かれた伝記 が，どのような入力から，どのような重要度にもと づいて，生成されているかを考察する必要がある。

伝記生成の内容選択では, 社会的影響度のあるイ ベントが発生するたびに，そのイベントの内容が伝記に追記される．たとえば，オバマがノーベル平和賞を受賞したというイベントが起こると，それが重要だと判断した Wikipedia 編集者が，その内容を伝記に追記したと考えられる. 社会的影響度が高いイ ベントほど，記事に追記される確率が高くなる。こ のことから，入力を人物に関するイベントの集合と し，重要度をイベントの社会的影響度と考えるのが 妥当だろう，イベント集合は，既存研究に比べ，情報の絞り込みがあまり終わっていない。また，イべ ントの社会的影響度は内在的重要度と直接関係する と考えらえる．実験によって検証するべき仮説は以下の通りである。

イベント集合から伝記を生成する際の内容選択 において，社会的影響度は，他の表層的重要度 よりも，重要な情報を選択する能力が高い.

## 4 実装

本研究で実装した内容選択システムは，ある人物 iの URI (たとえば, http://dbpedia.org/resource/ Barack_Obama）がクエリとして与えられたとき，入力すなわち人物 $i$ に関するイベント集合 $X$ を収集 し，そこから人物 $i$ の伝記で言及されるべきイベン トの集合 $\tilde{Y}(\subseteq X)$ を選択する.

ツイッターによるイベントの収集入力すなわち 人物 $i$ に関するイベント集合 $X$ には，ニュース速報 をツイートするツイッターアカウント CNN Breaking News (@cnnbrk)のうち，人物 $i$ に言及しているすべ てのツイート（リツイートを除く）を用いる。ただ し，DBpedia Spotlight [14]を用いてツイートのテキ ストに対してエンティティリンキングを行うこと で，ツイートが人物へ言及しているかどうかを判定 している. ツイート $t$ が持つ情報のうち, 本研究で 利用するものは，(1) テキスト $s_{t}$, (2) 日付 $d_{t}$ ，(3)い いね数 $n_{t}$ の三つである．社会的影響度にはいいね 数を用いる。ここで，イベントの社会的影響度を計算するのは難しいため，いいね数が与えられている としている.

スコアリング 各ツイート $t \in X$ に対してスコア を割り当て，スコアが大きい順に並べた上位 $p(\%)$ のツイートを取得して内容選択を行う，スコアリン グの方法として以下の 7 種類を検討した。

・Random は，ランダムにスコアを割り当てる。

・Newest は，新しいツイートほど良いスコアを割 り当てる。一般に，新しいツイートほどいいね 数が多くなるため，時間の影響を差し引くため にこれをべースラインに加える。

・Oldest は，古いツイートほど良いスコアを割り
当てる.

-TF-IDF は，ツイートのテキストに含まれる各単語の TF-IDF 值の平均をスコアとする．TF-IDF 値の計算における文書は，各人物に対し，その 人物が言及されているすべてのツイートのテキ ストを結合したものである. このとき，一文書 が一人物に対応する．ある人物に対して， TF が高い単語は，ツイート中で人物名と頻繁に共起し，IDF が高い単語は，他の人物名とはあま り共起しない. したがって, TF-IDF 值が高い単語は，その人物に関するキーワードであると解釈できる（付録 $\mathrm{A}$ ）。

・ LexRank では, LexRank [15] で計算されたスコ アを用いる. ツイートのテキストを文とみな し，ツイートのテキストを結合したものを文書 とみなして， continuous LexRankを適用する。

・Like は，いいね数をスコアとする.

・ LikeRatio は，いいね数を正規化したスコアを 用いる. 分母は，当該ツイートの月における CNN Breaking News のすべてのツイートの平均 いいね数である。

## 5 評価

30 個以上のツイートで言及されている 72 人の人物を評価の対象とする（付録 B）.

人物 $i$ に対し，正解のイベント集合 $Y$ には，人物 $i$ に関する Wikipedia の記事の出典の集合を用 いる. 出典には, 出典となった記事のタイトルや URL，記事が書かれた日付などが含まれている（付録 C). 出典 $c$ が持つ情報のうち, 本研究で利用 するものは，(1) 記事タイトルのテキスト $s_{c}$ ，(2)記事が書かれた日付 $d_{c}$ の二つである. ただし， $d_{\text {oldest }} \leq d_{c} \leq d_{\text {newest }}$ となる出典のみを用いる.こ こで， $d_{\text {oldest }}$ および $d_{\text {newest }}$ はそれぞれ人物 $i$ に関 するツイートのうち最も古い日付および最も新しい 日付である。

評価指標には，精度 (precision) と再現率 (recall)を 用いる. ランキング上位 $p(\%)$ のイベントを選択す るとき，人物 $i$ に対し，精度 $P^{i}$ および再現率 $R^{i}$ を 計算する。 そして，すべての人物にわたって精度お よび再現率の平均 $\frac{1}{N} \sum_{i=1}^{N} P^{i}$ および $\frac{1}{N} \sum_{i=1}^{N} R^{i}$ をと る. ただし， $N(=72)$ は人物の数である. 上記の手続きを， $p$ を 10 から 100 まで 10 刻みで変化させて 行い，平均の PR 曲線 (precision-recall curve) を描く.精度と再現率の計算の際，ツイートと出典がイベ

図 1 PR曲線

ントとして一致しているかどうかの判定を実装す る必要がある，イベントは「いつ・どこで・誰が・誰に・何をした」と表現できる $[16,17]$.「誰が」あ るいは「誰に」は，人物 $i$ になる可能性が高い。「い つ」はツイートおよび出典の日付であると考えられ る.「どこで」と「何をした」は，テキストに記載さ れている可能性がある。これらを踏まえ，一致判定方法 DateEventTermMatch を説明する。

DateEventTermMatch では，日付（年月日）が一致し，かつイベント用語が一致したら，イベントも 一致したと考える，イベント用語は，動作や事件の 発生を特徴付ける単語である [16]. Li ら [16] にな らい，イベント用語は動詞および動作名詞 (action noun)とする.この一致判定では，「いつ（日付）」「誰が (人物)」「何をした (イベント用語)」の一致 に着目している. 人物 $i$ に関する精度 $P^{i}$ は以下の式 で計算する。

$
P^{i}=\frac{\sum_{t \in \tilde{Y}} \mathbb{1}\left(\exists_{c \in Y}\left(d_{t}=d_{c} \wedge E T_{t} \cap E T_{c} \neq \phi\right)\right)}{|\tilde{Y}|}
$

ただし,$E T_{t}$ はツイート $t$ のテキストに含まれるイ ベント用語の集合 $\left(E T_{c}\right.$ も同様 $) ， \phi$ は空集合，11 指示関数（引数の条件が真ならば 1 ，偽ならば 0 を 返す関数）である. 再現率も同様に計算する.

## 6 結果

PR 曲線を図 1 に示す. 図から，いいね数を用い た手法（Like と LikeRatio）が，他の手法を上回っ ていることがわかる.これは，イベント集合からの 内容選択において，社会的影響度のほうが，他の表層的重要度よりも重要な情報を選択する能力が高い ことを示している.

表 1 に Like と TF-IDF の比較を示す. 上のツイー トは， $p=20(\%)$ において Like で真陽性となるが
表 1 Likeで取得できたツイート（上）と TF-IDF で取得 できたツイート (下).

ツイート (いいね数)/ /出典

An independent autopsy into the death of George Floyd found that he died from "asphyxiation from sustained pressure," which contradicts the county medical examiner's preliminary report (17415) / Independent autopsy reveals George Floyd died from 'asphyxiation' as lawyers call for first-degree murder charges

Serena Williams wins 5th Wimbledon title. (73) / Wimbledon 2012 - Serena Williams stretched to three sets, wins 5th title

表 2 Likeで偽陽性となったツイート.

ツイート (いいね数)

Trump appears to be skipping a side-event at the G20 virtual summit focused on pandemic preparedness. The President has just arrived at his golf course in Virginia. (45540)

TF-IDF で偽陰性となったものである．太字は人物 に関して TF-IDF 值が上位 30 位以内の単語であり, これは人物に関するキーワードとみなせる。キー ワードとなっているのは人物名を除くと“death” の みである。これは，Geroge_Floyd は白人警官に殺害 されて死亡したことがたびたび注目されているた めである。それ以外の単語は専門用語などが多く, キーワードにはならないため, TF-IDF で偽陰性と なったと考えられる。 しかし，Likeで真陽性となっ たのは，このイベントの社会的影響度が高いからだ と考えられる。

一方，下のツイートは，TF-IDF で真陽性と なるが Likeで偽陰性となったものである. Serena_Williams はテニス選手であり, “Wimbledon”はテニス大会の名前である．この大会は定期的 に行われており，Serena_Williams は何度も優勝争 いをしているため, “wins”, “Wimbledon”, “itlle”は, Serena_Williams に関するツイートに何度も出現す る. よって，これらの単語の TF-IDF 値が高くなり， このツイートが TF-IDF で真陽性となったと考えら れる。一方，これはLikeで（そして LikeRatioでも）偽陰性となった．原因としては，このツイートの日付は 2012 年 7 月 7 日と古く，いいね数と時間には 相関があるため，いいね数が小さくなったのだと考 えられる。これは，いいね数による内容選択は，ツ イッターの性質上，古いツイートを取得しにくいこ とを示している。

$p=20(\%)$ において Like で偽陽性になったツイー トのうち，スコア（いいね数）が大きいものを表 2 に示す.このツイートは, Donald_Trump がコロナ対表 3 社会的影響度が高いイベント用語の例.

ツイート/出典

Israeli Prime Minister Benjamin Netanyahu will be indicted on corruption charges, pending a final hearing / Israeli Prime Minister Benjamin Netanyahu to be indicted on corruption charges

Former Minneapolis Police Officer Derek Chauvin is found guilty of murder and manslaughter in the death of George Floyd / Derek Chauvin found guilty of George Floyd's murder

British Prime Minister Boris Johnson has tested positive for coronavirus. He says on Twitter that he is isolating with "mild symptoms." / PM Boris Johnson tests positive for coronavirus

応を放棄してゴルフに行って遊んでいるという印象 を与えるため，「炎上」していると考えられる。し かし，このツイートは偽陽性となった。これは，炎上しているツイートはいいね数が大きくなるが，そ れが必ずしも伝記にとって重要であることを意味し ない，ということを示唆している.

$p=20(\%)$ において真陽性となったツイートの うち， Newest より Like に多く出現するイベント用語として, “charge", “find", “test”が挙げられる（付録 D).これらのイベント用語に対応する例を表 3 に示す. “charge”は「起訴」, “find” は "found guilty” つまり「有罪になる」, “test” は “has tested positive for coronavirus”つまり「コロナ陽性と出る」という意味 で，それぞれ用いられる。いずれも，炎上しやすい イベントを表しているため，いいね数が大きくなり やすい，そして，表に示したツイートはすべて真陽性である。これは，社会的影響度によって伝記生成 の内容選択ができることを示している.

## 7 おわりに

本研究では人物に言及する CNN Breaking News の ツイートをイベントとし，そのいいね数を社会的影響度として，伝記の内容選択を行った. 実験によ り，社会的影響度は，他の表層的重要度よりも，重要なイベントを選択する能力が高いことを示した.

今後の課題として，(1) ツイッターによるイベン ト収集の網羅性を向上させること，（2）トップダウ ンな内容選択と社会的影響度によるボトムアップな 内容選択を組み合わせること，(3) 伝記生成にとっ て適切なイベントの単位 (atomic event) [17, 18] を明確にすること，(4) ツイートのテキストが与えられ たとき，そのいいね数を予測すること，(5) 多数決 による重要度の計算 [19] を回避することが挙げら れる。

## 参考文献

[1] Ehud Reiter and Robert Dale. Building natural language generation systems. Cambridge university press, 2000.

[2] David D. McDonald. Issues in the choice of a source for natural language generation. Computational Linguistics, Vol. 19, No. 1, pp. 191-197, 1993.

[3] Roger Evans, Paul Piwek, and Lynne Cahill. What is NLG? In Proceedings of the International Natural Language Generation Conference, pp. 144-151, Harriman, New York, USA, July 2002. Association for Computational Linguistics.

[4] Maxime Peyrard. A simple theoretical model of importance for summarization. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1059-1073, Florence, Italy, July 2019. Association for Computational Linguistics.

[5] Markus Zopf. Towards Context-free Information Importance Estimation. PhD thesis, Technische Universität, Darmstadt, August 2019.

[6] バ ラク・オ バ マ - wikipedia. https: //ja.wikipedia.org/w/index.php?title=\%E3\% 83\% $90 \%$ Е 3\% 83\%A9\%E3\%82\%AF\%E3\%83\%BB\%E3\%82\%AA\%E3\% $83 \% 90 \% E 3 \% 83 \%$ 9E\&oldid=87303693.

[7] Kai Hong and Ani Nenkova. Improving the estimation of word importance for news multi-document summarization. In Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics, pp. 712-721, Gothenburg, Sweden, April 2014. Association for Computational Linguistics.

[8] Rémi Lebret, David Grangier, and Michael Auli. Neural text generation from structured data with application to the biography domain. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1203-1213, Austin, Texas, November 2016. Association for Computational Linguistics.

[9] Peter J. Liu, Mohammad Saleh, Etienne Pot, Ben Goodrich, Ryan Sepassi, Lukasz Kaiser, and Noam Shazeer. Generating wikipedia by summarizing long sequences. In 6th International Conference on Learning Representations, ICLR 2018, Vancouver, BC, Canada, April 30 - May 3, 2018, Conference Track Proceedings. OpenReview.net, 2018.

[10] Liang Zhou, Miruna Ticrea, and Eduard Hovy. Multidocument biography summarization. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 434-441, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[11] Paul Over and James Yen. An introduction to duc-2004. National Institute of Standards and Technology, 2004.

[12] Tianyu Liu, Kexiang Wang, Lei Sha, Baobao Chang, and Zhifang Sui. Table-to-text generation by structure-aware seq2seq learning. In Sheila A. McIlraith and Kilian Q. Weinberger, editors, Proceedings of the Thirty-Second AAAI Conference on Artificial Intelligence, pp. 48814888, New Orleans, Louisiana, USA, 2018. AAAI Press.

[13] Fadi Biadsy, Julia Hirschberg, and Elena Filatova. An unsupervised approach to biography production using
Wikipedia. In Proceedings of ACL-08: HLT, pp. 807815, Columbus, Ohio, June 2008. Association for Computational Linguistics.

[14] Joachim Daiber, Max Jakob, Chris Hokamp, and Pablo N. Mendes. Improving efficiency and accuracy in multilingual entity extraction. In Proceedings of the 9th International Conference on Semantic Systems (I-Semantics), 2013.

[15] Günes Erkan and Dragomir R. Radev. Lexrank: Graphbased lexical centrality as salience in text summarization. J. Artif. Intell. Res., Vol. 22, pp. 457-479, 2004.

[16] Wenjie Li, Mingli Wu, Qin Lu, Wei Xu, and Chunfa Yuan. Extractive summarization using inter- and intra- event relevance. In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 369-376, Sydney, Australia, July 2006. Association for Computational Linguistics.

[17] Vasileios Hatzivassiloglou and Elena Filatova. Domainindependent detection, extraction, and labeling of atomic events. 2003.

[18] Elena Filatova and John Prager. Tell me what you do and I'll tell you what you are: Learning occupation-related activities for biographies. In Proceedings of Human Language Technology Conference and Conference on Empirical Methods in Natural Language Processing, pp. 113-120, Vancouver, British Columbia, Canada, October 2005. Association for Computational Linguistics.

[19] Ani Nenkova and Rebecca Passonneau. Evaluating content selection in summarization: The pyramid method. In Proceedings of the Human Language Technology Conference of the North American Chapter of the Association for Computational Linguistics: HLT-NAACL 2004, pp. 145-152, Boston, Massachusetts, USA, May 2 - May 7 2004. Association for Computational Linguistics.

[20] Barack obama - wikipedia. https://en.wikipedia. org/w/index.php?title=Barack_Obama\&oldid= 1064944028.

## A キーワードの例

表 4 TF-IDF 值が上位 20 位となる単語. $i$ は人物の URI（http://dbpedia.org/resource/を省略）である.

$i \quad$ キーワード

Donald_Trump trump, president, says, donald, house, white, campaign, follow live, russia, updates, north, cnn, michael, korea, impeachment mueller, cohen, new, order

Barack_Obama obama, president, says, barack, watch, cnn, isis, iraq house, live, white, military, romney, make, ukraine, address jobs, syria, iran, signs

Mitt_Romney romney, mitt, santorum, gingrich, paul, projects, primary, votes cnn, win, obama, electoral, gop, caucuses, counted, says delegates, poll, jobs, 11

## B 人物の例

100 個以上のツイートで言及されている人物を表 5 に示す. $i$ は人物の URI（http://dbpedia.org/resource/を省略）， $|X|$ はツイート数， $|Y|$ は出典数， $\bar{n}_{t}$ は平均いいね数， $d_{\text {oldest }}$ は最古の日付， $d_{\text {newest }}$ は最新の日付である.

## C 出典の例

On August 23, 2008, Obama announced his selection of Delaware Senator Joe Biden as his vice presidential running mate.

上の文 [20] の出典は以下のようになる.

$\{$ \{cite news $\mid$ access-date $=$ September 20,2008

|url=https://www.nytimes.com/2008/08/24/us/politics/24biden.html

$\mid$ last1 $=$ Nagourney $\mid$ first1 $=$ Adam $\mid$ first2 $=$ Jeff $\mid$ last2 $=$ Zeleny $\mid$ work $=$ The New York Times

|date $=$ August 23, $2008 \mid$ title $=$ Obama Chooses Biden as Running Mate

|archive-url= https://web.archive.org/web/20090401222653/http://

www.nytimes.com/2008/08/24/us/politics/24biden.html|archive-date=April 1, 2009 |url-status=live \}\}

D イベント用語の例

表 $6 p=20(\%)$ において真陽性となったツイートのイベント用語. 括弧内は頻度.


 川添正太郎徳永 健伸 東京工業大学 情報理工学院 \{kawazoe.s.aa@m, take@c\}.titech.ac.jp  