# 訪問場所表現グラウンディングのためのアノテーション

大友寬之 ${ }^{1}$ 大内啓樹 1,2 星野智紀 ${ }^{1}$ 井手佑翼 ${ }^{1}$ 渡辺太郎 ${ }^{1}$
1 奈良先端科学技術大学院大学 2 理化学研究所
\{otomo.hiroyuki.ob7, hiroki.ouchi\}@is.naist.jp
\{hoshino.tomoki. ho6, ide.yusuke.ja6, taro\}@is.naist.jp

## 概要

新たなタスク「訪問場所表現グラウンディング」 を提案する. 文章中の人物が訪れた場所の言語表現 を抽出し，地図上にグラウンディングすることを目的とする。ここれが可能になれば，旅行プランニング など多様なアプリケーションへの展開が期待でき る.その第一歩として, 本稿ではデータセット構築 のためのアノテーション基準を策定する．実際にア ノテーション実験を行い，比較的高い作業者間アノ テーション一致率が得られることがわかった.

## 1 はじめに

古来から人間は地球上のさまざまな場所を訪れ， その記憶を自然言語で書き留めてきた。旅行記や紀行文はその代表であり，訪れた場所での個人的な経験や感想が記述される.これらの文書を計算機に よって読み解き, 訪問場所に関する言語表現と地図上の位置を紐付け，そこで個人が何を経験したのか を抽出できれば，旅行プランニングや観光地ナビ ゲーションをはじめ多様なアプリケーションへ有効活用できる情報源になると期待できる．特に昨今の コロナ禍により壊滅的な打撃を受けた観光業の再興 のため, 位置情報と紐づく主観情報（その場所の体験談や感想）は重要な役割を担う。

本研究では，訪問場所を表す言語表現を地図上へ グラウンディングすることを見据え，そのデータ セット構築のためのアノテーション基準を策定す ることを目的とする．具体的には，旅行ブログを対象テキストとし, 著者が実際に訪れた場所（地名や 施設名）を複数の作業者にアノテーションしてもら う.ここで重要なのは，「著者が実際にその場所を 訪れたかどうか」の判断である.この判断には周辺文脈を読み解く必要があり，時には明示的に書かれ ていない情報を推測しないと正確に判断できない事例も少なくない. そこで，作業者間のアノテーショ
ン一致率を算出し，どのような事例でアノテーショ ンの一致/不一致が生じるかを分析する. 実験結果 として, 全体では比較的高い一致率が得られること がわかった。事例分析の結果，個人の経験に関する 言及と一般的な言及が同一文中に混在する場合に不一致が起きやすくなることがわかった.

## 2 訪問場所表現グラウンディング

## 2.1 問題設定と技術的焦点

本稿で提案するタスク「訪問場所表現グラウン ディング」を図 1 に示す. 大力文章中で著者が訪れ た場所を表す場所参照表現を抽出（ラベリング）し，地図上の適切な位置（緯度・経度）に紐付けること （グラウンディング）を目的とする。例えば図 1 に おいて，著者は「西本願寺」と「銀閣寺」を訪れてお り，それらを地図上にグラウンディングしている.

本タスクの技術的なポイントは，著者が実際にそ の場所を訪れたか否かの判定にある。つまり，著者 の行動の事実性を文脈から判断する必要がある．例 えば図 1 中の「京都」は，場所を参照する言語表現 であるが，著者の訪問経験を意味しているわけでは なく，一般的な事実への言及であるため，地図には グラウンディングしない.

ここで，あるタイプのテキストには位置情報が付与されていることもあり，わざわざ本タスクを行う 必要はないのではないかという指摘もありうる. た しかに Twitter などのマイクロブログテキストには 位置情報が付与されている場合もある. しかしなが ら，位置情報付きツイートの割合は 1 パーセントに 満たないという報告がある [1]. また，著者が発信 している場所と文章中で言及している場所は異なる 場合も多く, これは本質的な問題である。これらの 問題を鑑みると，場所参照表現を正確に抽出し，地図上に紐付けるためのタスク設計およびデータ整備，システム開発は有用であると言える。

図 1 訪問場所表現グラウンディングの概略図

## 2.2 先行研究との関係

関連する研究分野の一つに「場所参照表現解析 (Geoparsing, Toponym Resolution)」[2, 3, 4, 5, 6] が挙 げられる。このタスクでは，テキスト中に現れる場所参照表現を抽出し, 各表現に位置情報（緯度・経度）を付与する．典型的には位置情報付き地名・施設名辞書を用いることを前提とし，該当する項目を 場所参照表現で辞書引きして位置情報を取得するた め，エンティティリンキング (Entity Linking) [7] の 一種として捉えることもできる. これらの基本設定 に加え，本研究では著者が実際にその場所を訪問し たかどうかを問題とする。この新たな視点の導入に よって，場所参照表現の周辺文脈をより正確に読み 解かなければタスクを解くことはできない．特に，前述したような図 1 中の「京都」の例のように，事実性 (時制，アスペクト，モダリティ）を正確に解析 し，一般的な言及なのか著者の実体験に関する言及 なのかを峻別する必要がある．このような点から，従来の場所参照表現解析と比べ，本タスクでは意味解析の要素が色濃く要求される点が特色である.

もう一つの関連研究分野として「経験マイニン グ (Experience Mining)」 [8, 9, 10] が挙げられる.こ のタスクでは，商品やサービスなどの事物の利用に 関する個人の経験を文章から抽出する．経験マイニ ングでも事実性解析などの意味解析が重要を役割 を担う点は我々の提案タスクと共通する。しかしな がら，我々の提案タスクは経験マイニングには収ま らない問題を含んでいる。それは地図へのグラウン ディングである．テキストの世界と地図の世界を繋 ぐマルチモーダル処理を目的とする点が明確に異な る. 将来的には，訪問場所における個人の経験や感想を地図上に重ね合わせて表示することによって，拡張地図 (Augmented Map) の生成を目指す。そのた めの第一歩として，本稿では訪問場所参照表現のア ノテーションを行う.

## 3 アノテーション実験

本節では，訪問場所参照表現の人手によるアノ テーション実験を行い，作業者間アノテーション一致率をはじめとする種々の分析を行う。

## 3.1 アノテーションの概要

アノテーション作業として，(1) 場所参照表現の 抽出と (2) その場所に訪れたと文中で言及している か否かを表すラベルを付与する。一つ目の作業で は，文章中に現れる地名・施設名などの場所参照表現のテキスト範囲を文字単位で同定する。二つ目の 作業では，同定済みの場所参照表現の指し示す場所 を，文章の著者が実際に訪れ，かつ，文中で訪れて いることに言及している場合はVISIT のラベルを付与し，それ以外は OTHER のラベルを付与する。

## 3.2 アノテーションの手順

2 名のアノテーション作業者が実際の作業を行っ た. データとして，KNB コーパス [11]を利用した. KNB コーパスは 249 記事，4,186 文から構成される 解析済みブログコーパスであり，係り受けや固有表現などのアノテーション情報が含まれる。また， KNB コーパスに含まれる記事は，京都観光，携帯電話，スポーツ，グルメのいずれかのテーマで執筆 されている. 本稿では京都観光に属する 81 件の記事の内，「旅行記」に該当する記事 29 件をアノテー ション対象の文章とした．KNB コーパスに含まれ る各記事の 1 行目はテーマ名とタイトルを表してお り，2 行名以降が本文を表している．そこで，旅行記 29 件の各記事の 2 行目以降をアノテーション対象とし，全体の文数は 455 となった. アノテーショ ンツールとして doccano1)を用いた。なお，アノテー ション作業中に場所参照表現かどうかわからない表現があった場合，検索エンジンを用いて調べてよい こととした.

表 1 アノテーションされたラベルの数

作業者 A 作業者 B

表 2 作業者間アノテーション一致率 ( $\mathrm{F}_{1}$ 値)

VISIT OTHER VISIT+OTHER

$\begin{array}{lll}78.33 & 69.71 & 75.00\end{array}$

## 4 結果と考察

表 1 は，2名の作業者によってラベル付けされた VISIT と OTHER の数を表している.

## 4.1 作業者間アノテーション一致率

表 2 は作業者間のアノテーション一致率を表し ている. 本実験では，一致率として $\mathrm{F}_{1}$ 値を採用す る. $\mathrm{F}_{1}$ 值を算出するにあたり，2 名の作業者による アノテーションのラベルおよびスパンの両方が一致 していれば真陽性（True Positive）とみなす。表 2 中 のVISIT は，アノテーション結果が VISIT のラベル について一致率を調べた結果であり, OTHER も同様 である。また，表 2 中の VISIT+OTHER は，VISIT と OTHER の両方のラベルの一致率について調べた結果 である.

この結果は比較的高い数値であると解釈できる.本アノテーション作業では「実際に著者がその場所 を訪れたか」の判断がポイントとなるが，これは事実性（時制，アスペクト，モダリティ情報）の認識 に深く関わる。この認識は個人の主観によって摇れ る。例えば関連するものとして，日本語 TimeBank のアノテーション作業が挙げられ，概ね 6 割ほどの 作業者間アノテーション一致率であったとの報告が ある [12]. もちろん, 本稿でのアノテーション作業 と異なるため公平な比較はできないが，全体でも 7 割を超える一致率であり，最も重要な VISIT の一致率は 8 割に迫るため悪くない数値であると言える。

## 4.2 固有表現の再現率

実際に本アノテーション（場所参照表現の抽出と ラベル付与）を自動化する場合，シンプルな方法と して，第一段階目で場所参照表現を抽出し，続い て第二段階目で抽出済み場所参照表現をVISIT や OTHER に分類するといった二段階処理（これは典型表 3 固有表現の再現率

的な Entity Linking や Entity Typing と同じ方法）が考 えられる。そこで本節では，第一段階目の場所参照表現抽出のために，一般的な固有表現抽出システム を用いるとどの程度場所参照表現を抽出できるか， その再現率の目安を付けるための分析を行う. さら に，固有表現抽出システムとの比較のため，人手 による固有表現のアノテーションの再現率も確認 する.

本稿では固有表現抽出システムとして spaCy2)の ja_core_news_lg $\mathrm{g}^{3}$ を用い，モデルの予測結果のうち， FAC，LOC，GPE，ORGのいずれかのラベルを自動付与 された言語表現のみをシステム出力（以下，自動 NER）とした。なお，FAC，LOC，GPE，ORG以外のラ ベルとして予測されたアノテーションは全体の $3 \%$程度であり，システム出力に含まれない．また，人手によってラベル付けされたデータセットとして， KNB コーパスの固有表現アノテーションを用いた.固有表現アノテーションのうち，ラベルが LOCATION もしくは ORGANIZATION の言語表現をシステム出力 （以下，人手 NER）とした. 作業者 2 名によるアノ テーションを正解データとして各アノテーションで 再現率を計算し，その平均を本節で報告する。

表 3 はラベルごとの再現率を表している。自動 NER において，VISIT+OTHER の再現率が 7 割程度と いう結果から，固有表現抽出システムが抽出できて いない場所参照表現が 3 割程度存在することがわか る. 言い換えると，一般的なサイズの固有表現デー タセットを用いた NER モデルの学習・構築では十分に場所参照表現を抽出できないことが示唆され た.したがって，場所参照表現の追加アノテーショ ンデータを用いた NER モデルのファインチューニ ングや，地名・施設名辞書を用いた新たな手法を考案することによって, 場所参照表現の抽出精度を高 めていくことが今後の技術的課題である。

## 4.3 事例の分析

本節では，アノテーション結果のより詳細な分析 を行い，現状の到達点や改善点を洗い出す． 2 名の

(a) アノテーションが一致した例

日曜日友人二人を誘って、 ${ }_{\text {VISIT/VISIT }}^{\text {伏見 }}$ の酒蔵見学に行ってきた。朝 10 時、京阪中書島駅で降りて、 5 分程歩 くと、月桂冠大倉記念館がある。

VISIT/VISIT

(b) アノテーションが不一致だった例

嵐山 に行くのには、寮の前から 嵐山 行きのバスが都合よく出ているので、それに乗っかればいい だけだが、この際、 $\underset{\text { OTHER/OTHER }}{\text { 京都 }}$ の路面電車もぜひ試してみたいと考えて、京福電鉄を使うルートで行くことに した。

(c)一方の作業者のみによってラベルが付与された例

作業者によってアノテーションされた各事例を，(a) アノテーションが一致した例, (b) 不一致だった例, (c)一方の作業者のみによってラベルが付与された 例に分類する. アノテーションが一致した例は 234 件, 不一致だった例は 52 件, 一方の作業者のみに よってラベルが付与された例は 52 件確認された.表 4 の上段に示すように，基本的な場所参照表現の 抽出とラベル付与は作業者間で概ね一致しているこ とが確認された.

表 4 の中段に，作業者間でアノテーションの判断 に不一致が起きた事例を示す.ここでは，文の前半 では地名に関する一般的なことを述べているが，後半では著者の経験に言及している。つまり，文頭の 「嵐山に行くのには」の部分は一般的なことを述べ ている。一方, 文末の「行くことにした。」という述語は著者の経験を述べており, その目的語はゼロ代名詞として扱われている（省略されている）が「嵐山」である.このように，異なる述語との兼ね合い を正確に読み解く必要があるような事例では, 作業者間でVISIT，OTHER のどちらを付与するか判断が 分かれやすい傾向が見られた。

表 4 の下段に，一方の作業者のみによってラベル が付与される事例を示す。「五十塔」は「仁和寺」の 敷地内に存在する目立つランドマークである。この ようなランドマークに対してもアノテーションする かどうかの判断が作業者間で分かれたと考えられ る. 類似の例として，「東大寺」の敷地内にある「大仏」や「渋谷駅前」の「ハチ公」などが考えられる。 これらの例のように，ある施設の敷地（領域）内に存在するランドマークもアノテーションするか否か を明確化する必要性が示唆された。

## 5 おわりに

本稿では，新たなタスク「訪問場所表現グラウン ディング」を提案し，そのためのアノテーション実験を行った. 結果として，アノテーション作業者間 で比較的高い一致率を得ることができた。また，事例の分析によって, アノテーション基準のさらなる 明確化の必要性も示唆された. 今後, これらの知見 をもとにアノテーション基準を改善した後，大規模 なテキストへのアノテーション作業に取り掛かり，本タスクのデータセットを構築する予定である.

## 謝辞

本研究は JSPS 科研費 JP19K20351 の助成を受けた ものである.

## 参考文献

[1] Stuart E Middleton, Lee Middleton, and Stefano Modafferi. Real-time crisis mapping of natural disasters using social media. IEEE Intelligent Systems, Vol. 29, No. 2, pp. 9-17, 2013.

[2] Jochen L Leidner. An evaluation dataset for the toponym resolution task. Computers, Environment and Urban Systems, Vol. 30, No. 4, pp. 400-417, 2006.

[3] Jochen L Leidner. Toponym resolution in text: Annotation, evaluation and applications of spatial grounding of place names. Universal-Publishers, 2008.

[4] Grant DeLozier, Jason Baldridge, and Loretta London. Gazetteer-independent toponym resolution using geographic word profiles. In Twenty-Ninth AAAI Conference
on Artificial Intelligence, 2015.

[5] Koji Matsuda, Akira Sasaki, Naoaki Okazaki, and Kentaro Inui. Annotating geographical entities on microblog text. In Proceedings of The 9th Linguistic Annotation Workshop, pp. 85-94, Denver, Colorado, USA, June 2015. Association for Computational Linguistics.

[6] Davy Weissenbacher, Arjun Magge, Karen O'Connor, Matthew Scotch, and Graciela Gonzalez-Hernandez. SemEval-2019 task 12: Toponym resolution in scientific papers. In Proceedings of the 13th International Workshop on Semantic Evaluation, pp. 907-916, Minneapolis, Minnesota, USA, June 2019. Association for Computational Linguistics.

[7] Wei Shen, Jianyong Wang, and Jiawei Han. Entity linking with a knowledge base: Issues, techniques, and solutions. IEEE Transactions on Knowledge and Data Engineering, Vol. 27, No. 2, pp. 443-460, 2014.

[8] Kentaro Inui, Shuya Abe, Kazuo Hara, Hiraku Morita, Chitose Sao, Megumi Eguchi, Asuka Sumida, Koji Murakami, and Suguru Matsuyoshi. Experience mining: Building a large-scale database of personal experiences and opinions from web documents. In 2008 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology, Vol. 1, pp. 314-321. IEEE, 2008.

[9] Keun Chan Park, Yoonjae Jeong, and Sung Hyon Myaeng. Detecting experiences from weblogs. In Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics, pp. 1464-1472, Uppsala, Sweden, July 2010. Association for Computational Linguistics.

[10] Yunzhong Liu, Yi Chen, Jiliang Tang, and Huan Liu. Context-aware experience extraction from online health forums. In 2015 International Conference on Healthcare Informatics, pp. 42-47. IEEE, 2015.

[11] 橋本力, 黒橋禎夫, 河原大輔, 新里圭司, 永田昌明. 構文・照応・評価情報つきブログコーパスの構築. 自然言語処理, Vol. 18, No. 2, pp. 175-201, 2011.

[12] Masayuki Asahara, Sachi Yasuda, Hikari Konishi, Mizuho Imada, and Kikuo Maekawa. BCCWJ-TimeBank: Temporal and event information annotation on Japanese text. In Proceedings of the 27th Pacific Asia Conference on Language, Information, and Computation (PACLIC 27), pp. 206-214, Taipei, Taiwan, November 2013. Department of English, National Chengchi University.
 大友寬之 ${ }^{1}$ 大内啓樹 1,2 星野智紀 ${ }^{1}$ 井手佑翼 ${ }^{1}$ 渡辺太郎 ${ }^{1}$ 1 奈良先端科学技術大学院大学 2 理化学研究所 \{otomo.hiroyuki.ob7, hiroki.ouchi\}@is.naist.jp \{hoshino.tomoki. ho6, ide.yusuke.ja6, taro\}@is.naist.jp  