# オンライン百科辞典を対象とする 有効期限切れ情報データベースの作成

土屋雅稔横井康孝
豊橋技術科学大学大学院 情報. 知能工学専攻
\{tsuchiya, yokoi\}@is.cs.tut.ac.jp

## 1 はじめに

ウェブを通じて提供される膨大な情報は，我々の 日常生活において欠かせないツールとなっている. しかし，全ての情報を参照することは非現実的であ り，適切な取捨選択が必要である $[1,2]$. 特に，ウェ ブ上の情報は全てが適時に更新されているわけでは ないため，現在参照するには不適当な情報について の取捨選択は重要である。具体例として, 図 1 のよ うな情報を考える。文 $s_{b}$ に記載されている通り大志田駅は 2016 年に廃止されているため, 文 $s_{t}$ に基 づいて盛岡市浅岸字大志田に行く交通手段を考える ことは適切ではない。

ウェブには，文 $s_{t}$ のような情報が多数存在してお り，情報利活用の障害となっている。このような情報の利活用を支援するため，情報を時系列に注目し て整理$\cdot$提示する方法が提案されている $[3,4]$. しか し, 先行研究では, 利用者の観点から現在参照する には不適当な情報の自動判定は行っていない

本稿では，文 $s_{t}$ のような情報を有効期限切れ情報 と呼び，有効期限切れ情報を自動判定するタスクを 提案する．有効期限切れ情報の自動判定タスクを設定するにあたっては, 判定対象となる文 $s_{t}$ および根拠となる文 $s_{b}$ の 2 文を入力して文 $s_{t}$ が有効期限切 れであるか否かを判定する夕スク設定と, 判定対象 となる文 $s_{t}$ のみを入力して文 $s_{t}$ が有効期限切れで あるか否かを判定するタスク設定の 2 通りが考えら れる。有効期限切れ情報の自動判定によって情報利活用を支援するという，有効期限切れ情報の自動判

図 1 有効期限切れ情報の例定タスクが目指す本来の目的から考えると，文 $s_{t}$ の みを入力とする後者のタスク設定が自然である。し かし，後者の夕スク設定を実現するためには，文 $s_{t}$ が有効期限切れである根拠を発見するというタスク を同時に解く必要があり，夕スクが極端に難しくな ることが予想される。そこで本稿では，判定対象と なる文 $s_{t}$ および根拠となる文 $s_{b}$ の 2 文を入力とし て，文 $s_{t}$ が有効期限切れであるか否かを判定すると いう前者の夕スク設定に限定して検討する．以後，判定対象となる文 $s_{t}$ を判定対象文，根拠となる文 $s_{b}$ を基準文と呼ぶ。

有効期限切れ情報を収集するテキストとしては， オンライン百科事典 (日本語版 Wikipedia) を利用す る. オンライン百科事典は継続的に更新されてお り，旧版のオンライン百科事典と，新版のオンライ ン百科事典を比較すると，追加された記事や，記述内容が更新された記事が見つかる．特に，ある項目 に関する記事が更新されている場合，旧版の記述に は有効期限切れ情報が含まれ，かつ，新版の記述に は判定根拠となる情報が含まれることが多いと期待 される。

以下，有効期限切れ情報の分析と定義および有効期限切孔情報データベースの作成方法について述 べる.

## 2 有効期限切れ情報の定義

情報の有効期限切孔とは, 直感的には, 図 1 の ように，古い説明文 $s_{t}$ の情報が新しい説明文 $s_{b}$ に よって上書きされ，古い説明文の情報が有効性を 失っている状態である。ここで，以下のような文 $s_{n}$ を考える。

$s_{n}$ 盛岡市が大志田駅から浅岸駅までの 13 キ 口の近郊自然歩道を整備し、2015 年 5 月 15 日 から利用可能となった。

3 つの文 $s_{t}, s_{b}, s_{n}$ は全て, 大志田駅について述べた
文である。しかし, 文 $s_{b}$ を基準として文 $s_{t}$ が有効期限切れと言うことは可能と考えられるのに対し て, 文 $s_{n}$ を基準として文 $s_{t}$ が有効期限切孔と言う ことは困難である。この例は, 有効期限切れ関係 は，あらゆる文対に対して成り立つわけではなく， ある特定の文対に対してのみ成り立つことを示唆し ている.

そこで，この節では，有効期限切れについて，含意関係との関係に注目しつつ, 形式的な定義を与え ることを試みる。

## 2.1 有効期限切れ現象の検討

最初に，有効期限切れが実際に起きている例文を 参照しながら, 有効期限切れとは, どのような現象 であるのかを検討する。

有効期限切れが起きている例として，以下のよう な 2 つの文 $s_{1}, s_{2}$ を考える。

$s_{1}=\underset{\text { 宾ラ゙本で最も高いビルはークタワーである }}{2010 \text { 年現在 }, \text { 横 }}$

$s_{2}=$ 日本で最も高いビルは, 2015 年現在, あ べのハルカスである

「日本で最も高いビル」に関する文 $s_{1}$ の情報は，文 $s_{2}$ によって上書きされており, 2020 年現在の利用者視点では，文 $s_{1}$ の情報は有効期限切れである.

形式的に議論するため, 文 $s$ の記述内容を, 文 $s$ が注目している時間 $t$ と, 時間とは関係なく成立す る記述内容 $x$ の 2 つ組として考える.

$
s=\langle x, t\rangle
$

まず，文 $s_{1}$ の記述内容を, 2 つ組 $\left.\langle x_{1}, t_{1}\right.\rangle$ に分解する.

$
\begin{aligned}
s_{1} & =\left.\langle x_{1}, t_{1}\right.\rangle \\
x_{1} & =\underset{\text { クタで最も高いビルは },}{\text { 日横浜ランドマーである }} \\
t_{1} & =2010 \text { 年 }
\end{aligned}
$

文 $s_{2}$ の記述内容も, 同様に 2 つ組 $\left.\langle x_{2}, t_{2}\right.\rangle$ に分解 する.

$
\begin{aligned}
s_{2} & =\left.\langle x_{2}, t_{2}\right.\rangle \\
x_{2} & =\underset{\text { 日本である最も高いビルは, あべのハルカス }}{\text { 只い }} \\
t_{2} & =2015 \text { 年 }
\end{aligned}
$

ここで，文 $s_{1}$ の時間情報のみを $t_{2}$ に置き換えた文 $s_{1,2}$ を考える.

$
\begin{aligned}
s_{1,2} & =\left.\langle x_{1}, t_{2}\right.\rangle \\
& =\underset{\text { 浜ランド最も高いビルは }}{\text { 日本でークタワーである }} 2015 \text { 年現在, 横 }
\end{aligned}
$

この時, 文 $s_{1,2}$ と文 $s_{2}$ は，矛盾している.次に，有効期限切れを引き起こさない例として，以下のような文 $s_{3}$ を考える。

$s_{3}=$ 世界で最も高いビルは, 2015 年現在, ブ ルジュ・ハリファである

文 $s_{1}$ は日本で最も高いビルについて述べている. それに対して，文 $s_{3}$ は世界で最も高いビルについて 述べており, 日本で最も高いビルについてはまった く言及していない. そのため, 文 $s_{3}$ が基準となっ て, 文 $s_{1}$ が有効期限切れとなるとは考えられない. また, 文 $s_{1,2}$ と文 $s_{3}$ は, 矛盾していない.

以上の観察より, 本稿では, 有効期限切れを, 矛盾を手がかりとして定義する。

## 2.2 有効期限判定と含意関係判定の関係

本稿では, 2.1 節で述べた通り, 情報の有効期限切 れを，矛盾を手がかりとして定義する，以下では， その形式的な定義について述べる。

最初に, 含意関係判定を定義する. 先行研究 [5] にしたがうと, 含意関係判定は, 2 つの文 $s_{h}, s_{p}$ が与 えられた時, その 2 つの文の含意関係に応じて以下 の 3 通りの値を返す関数 $f$ と見なせる。 なお, 本稿 では，含意関係の方向については考慮せず，どちら かの方向の含意関係が成り立っている時は含意であ るとする。

$
f\left(s_{h}, s_{p}\right)=\left.\{\begin{array}{l}
\text { if } s_{h} \rightarrow s_{p} \vee s_{p} \rightarrow s_{h} \\
\quad \text { 含意 } \\
\text { if } s_{h} \wedge s_{p}=\phi \\
\quad \text { 矛盾 } \\
\text { otherwise } \\
\text { 中立 }
\end{array}\right.
$

次に, 有効期限判定を定義する，まず，判定対象文 $s_{t}$ と基準文 $s_{b}$ を，それぞれ内容と時間情報の 2 つ組に分解する。

$
\begin{aligned}
s_{t} & =\left.\langle x_{t}, t_{t}\right.\rangle \\
s_{b} & =\left.\langle x_{b}, t_{b}\right.\rangle
\end{aligned}
$

判定対象文 $s_{t}$ と基準文 $s_{b}$ が与えられた時, 2.1 節の 観察に基づいて, 有効期限判定を，以下の 2 通りの 値を返す関数 $g$ として定義する。

$
g\left(s_{t}, s_{b}\right)=\left.\{\begin{array}{c}
\text { if } f\left(s_{t}, s_{b}\right)=\text { 矛盾 } \\
\vee f\left(\left.\langle x_{t}, t_{b}\right.\rangle, s_{b}\right)=\text { 矛盾 } \\
\vee f\left(s_{t},\left.\langle x_{b}, t_{t}\right.\rangle\right)=\text { 矛盾 } \\
\text { 期限切れ } \\
\text { otherwise } \\
\text { 期限内 }
\end{array}\right.
$
以上のように，本稿では，情報の有効期限切れを，基準となる情報が存在して初めて決定できる概念と して扱う。

情報の有効期限切れを，以上のように定義する と, 多くの場合に利用者の直感とよく一致するが,時間変化する情報の有効期限切孔については注意が 必要である. 例として, 以下の 2 つの文 $s_{4}, s_{5}$ を考 える。

$s_{4}=$ 東都大学の 2014 年度の受験者数は 2000 人である

$s_{5}=$ 東都大学の 2015 年度の受験者数は 3000 人である

文 $s_{4}$ を，以下の 2 つ組に分解する.

$s_{4}=\left.\langle x_{4}, t_{4}\right.\rangle$

$x_{4}=$ 東都大学の受験者数は 2000 人である

$t_{4}=2014$ 年度

文 $s_{5}$ も，同様に 2 つ組に分解する.

$s_{5}=\left.\langle x_{5}, t_{5}\right.\rangle$

$x_{5}=$ 東都大学の受験者数は 3000 人である

$t_{5}=2015$ 年度

ここで，文 $s_{4}$ の時間情報のみを $t_{5}$ に置き換えた文 $s_{4,5}$ を考える。

$s_{4,5}=\left.\langle x_{4}, t_{5}\right.\rangle$

= 東都大学の 2015 年度の受験者数は 2000

この時, 文 $s_{4,5}$ と文 $s_{5}$ は矛盾している。 そのため,本稿では, 文 $s_{4}$ は 2014 年度の情報としては未だに 真であるにも関わらず，式 4 の定義に基づいて，文 $s_{4}$ は文 $s_{5}$ によって上書きされており, 文 $s_{4}$ の情報 は有効期限切れであると見なす。言い換えれば，本稿の定義では, 有効期限を現時点 (正確には, 基準 テキストが記述された時点) の情報として有効であ るか否かを考えていることになる。

さらに，文 $s_{5}$ の代わりに，以下のような文 $s_{6}$ を 考える。

$s_{6}=$ 東都大学の 2015 年度の受験者数は, 昨年度に比べて 1000 人増加した

文 $s_{6}$ は，以下のように 2 つ組に分解できる.

$s_{6}=\left.\langle x_{6}, t_{6}\right.\rangle$

$x_{6}=$ 東都大学の受験者数は, 昨年度に比べて 1000 人増加した

$t_{6}=2015$ 年度

文 $s_{4}$ と文 $s_{6}$ の対, または文 $s_{5}$ は，同じ事実「東都大学の 2015 年度の受験者数は 3000 人である」につ いての 2 通りの異なる表現である。にも関わらず，文 $s_{4,6}$ は文 $s_{6}$ とは矛盾しないため, 式 4 の定義に従 うと，文 $s_{6}$ を基準として考える場合には，文 $s_{4}$ は 有効期限切れではない，言い換えれば，有効期限切
れの判定にあたっては，2つの文から演繹される結果までは考慮することなく, その 2 つの文に基づい て考えるという立場をとる。

## 3 有効期限切れ情報データベースの 作成

## 3.1 対象テキストの選定

有効期限切れ情報の自動判定によって情報利活用 を支援するという, 有効期限切れ情報の自動検出夕 スクが目指す本来の目的から考えると，判定対象文 としては，個人によるブログ記事に含まれる文のよ うな自由な文体の文を，基準文としては，新聞記事 などの信頼性が高く定型的な文体の文を選択するこ とが適切と考えられる。この場合, 判定対象文はブ ログ記事から, 基準文は新聞記事から収集すること になる。しかし, 膨大なブログ記事から有効期限切 れ情報を含む判定対象文を収集することが困難であ るだけでなく, その判定対象文に対応する根拠とな る基準文を収集することも困難である。

このような文対を大量に作成する方法としては,判定対象文 (または基準文)を多数の作業者に提示 し，提示した文に適するような基準文 (または判定対象文)を作成するように依頼するクラウドソーシ ングが広く用いられている [6]. しかし, この方法 で作成されたデー夕には，作業者によって不適切な バイアスが混入することが指摘されている $[7,8]$.

そのため, 本稿では, オンライン百科事典の継続的な更新という性質に注目し, 更新時期が古い記事 から判定対象文を, 更新時期が新しい記事から基準文を収集する。

## 3.2 アノテーション対象差分の抽出

本稿では, 有効期限切孔情報データベースの作成対象として, オンライン百科事典である日本語版 Wikipedia に注目する. 2014 年 12 月 11 日時点の夕゙ ンプデータと 2018 年 12 月 20 日時点のダンプデー 夕を対象として，WikiExtractor ${ }^{1)}$ を用いたプレーン テキスト化を行い，記事数の変化を調査した。調査結果を, 表 1 に示す. 本稿では, 双方に存在する記事 936,985 件を対象とする。

双方の日時に存在する記事について, 記事の記述内容を比較すると, さまざまな差分が発見される. まず，本稿では，問題を単純化するために，編集に よって変化している文が 1 文であるような差分を対

1) https://github.com/attardi/wikiextractor
表 1 日本語版 Wikipedia の記事数の変化

象とする。また, 有効期限判定の対象として適切な 差分を収集するには, 時間経過によって変化した情報に言及している差分を収集する必要がある。その ため, 2014 年 (判定対象文 $s_{t}$ の記述時点) ら 2018 年 (基準文 $s_{b}$ の記述時点) までの日時に対する言及を 含む差分や, 同じ期間に追加された記事に対する言及を含む差分を対象とする。このように考えると， 193,142 箇所の差分が候補となる.

193,142 箇所の差分には, 句点の追加 $\cdot$ 削除, 誤字脱字の修正など, 微細な編集のみが行われている場合も非常に多く含まれている。本稿の目的に照らす と, 判定対象文と基準文で記述内容が本質的に変化 している場合を対象として，収集およびアノテー ションを行いたい．そこで，判定対象文 $s_{t}$ と基準文 $s_{b}$ の最長共通部分列 $L C S\left(s_{t}, s_{b}\right)$ が, 文 $s_{t}, s_{b}$ に占め る割合が 0.6 以下であるような差分のみを対象とす る。このように考えると， 15,648 箇所の差分が候補 となる。

最後に, できるだけ良質な記事の差分を優先して 収集およびアノテーション対象とすることを考え る.そのため, SQuAD[9] と同様に, Wikipedia の記事間のリンクに基づく PageRank[10] の上位記事から 収集した 9,600 箇所の差分を対象とする.

## 3.3 アノテーション

3.2 節で説明した手順で抽出した 9,600箇所の差分 に対して，3種類の含意関係ラベル (含意, 矛盾, 中立) と 2 種類の有効期限ラベル (期限切れ, 期限内) を人手で付与した。付与したラベルの内訳を，表 2 に示す。表 2 より, $32.2 \%$ (3,090 箇所)の差分が有効期限切孔と判定された. この判定結果から, 日本語版 Wikipedia には有効期限切软情報が多く存在する ことがわかり, 有効期限切れ情報の自動判定が必要 であることが示された。

また，表 2 より，含意関係ラベルが含意または中立である場合であっても，有効期限切れと判定され る差分も多く存在していること，すなわち，従来の 含意関係判定と本稿が提案する情報の有効期限判定表 2 含意関係ラベルおよび有効期限ラベルの分布

には違いがあることがわかる，以下に，含意関係ラ ベルが含意, かつ, 有効期限ラベルが期限切れとな る差分の実例を示す。

この 2 文 $s_{7}, s_{8}$ は，国立駅に関する記事の一部であ る. 文 $s_{7}$ で説明されている事実は, 文 $s_{8}$ でも同様 に説明されているため, 文 $s_{8}$ から文 $s_{7}$ に対する片方向含意は成り立っていると考えられる。しかし,文 $s_{7}$ における「改札は高架下の 1 ケ所」という説明 は，文 $s_{8}$ によって「改札は高架下と西側に 2 ケ所」 と上書きされているため, 有効期限ラベルは期限切 れとなる。

## 3.4 作業者間一致度

アノテーションが安定して行われているかどう かを検討するため, 作業者間一致度を調査する。 3.2 節で述べた Wikipedia の記事間リンクに基づく PageRank の上位記事から，300箇所の差分を調査対象とし，2 名の作業者による独立したアノテーショ ン作業を実施した。2 名の作業者による含意関係判定の一致率は $83.7 \%$ (251 箇所), 有効期限判定の一致率は $88.0 \%$ (264 箇所) だった。作業者間で判断が異 なった箇所について精査したところ, 文外知識の理解度などによるものが多く見られた。

## 4 結論

本稿では，有効期限切孔情報の自動判定タスクを 提案した. 有効期限切れ現象について分析を行い,分析に基づいて, 情報の有効期限切れを含意関係判定と関連付けて定義した。有効期限切孔情報デー夕 ベースを，オンライン百科事典の継続的な更新とい う性質に基づいて作成する方法について述べた。

## 参考文献

[1] Catherine C. Marshall and Frank M. Shipman. Spatial hypertext and the practice of information triage. In Proceedings of the Eighth ACM Conference on Hypertext, HYPERTEXT '97, pp. 124-133, New York, NY, USA, 1997. Association for Computing Machinery.

[2] Sofus A. Macskassy and Foster Provost. Intelligent information triage. In Proceedings of the 24th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR '01, pp. 318-326, New York, NY, USA, 2001. Association for Computing Machinery.

[3] Gabriel Pui Cheong Fung, Jeffrey Xu Yu, Huan Liu, and Philip S. Yu. Time-dependent event hierarchy construction. In Proceedings of the 13th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD '07, p. 300-309, New York, NY, USA, 2007. Association for Computing Machinery.

[4] Canhui Wang, Min Zhang, Liyun Ru, and Shaoping Ma. Automatic online news topic ranking using media focus and user attention based on aging theory. In Proceedings of the 17th ACM Conference on Information and Knowledge Management, CIKM '08, p. 1033-1042, New York, NY, USA, 2008. Association for Computing Machinery.

[5] Marco Marelli, Stefano Menini, Marco Baroni, Luisa Bentivogli, Raffaella Bernardi, and Roberto Zamparelli. A SICK cure for the evaluation of compositional distributional semantic models. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Hrafn Loftsson, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pp. 216-223, Reykjavik, Iceland, may 2014. European Language Resources Association (ELRA).

[6] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[7] Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel Bowman, and Noah A. Smith. Annotation artifacts in natural language inference data. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 107-112, June 2018.

[8] Masatoshi Tsuchiya. Performance impact caused by hidden bias of training data for recognizing textual entailment. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[9] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Con- ference on Empirical Methods in Natural Language Processing, pp. 2383-2392, 2016.

[10] Lawrence Page, Sergey Brin, Rajeev Motwani, and Terry Winograd. The pagerank citation ranking: Bringing order to the we.b. Technical Report 1999-66, Stanford InfoLab, November 1999.
 土屋雅稔横井康孝 豊橋技術科学大学大学院 情報. 知能工学専攻 \{tsuchiya, yokoi\}@is.cs.tut.ac.jp  