# 旅行記中の場所に対する訪問状態の予測

大友寛之 ${ }^{1}$ 東山翔平 ${ }^{2,1}$ 大内啓樹 1,3
山本和太郎 ${ }^{1}$ 井手佑翼 1 進藤裕之 ${ }^{1}$ 渡辺太郎 ${ }^{1}$
1 奈良先端科学技術大学院大学 2 情報通信研究機構 ${ }^{3}$ 理化学研究所
\{otomo.hiroyuki.ob7, hiroki.ouchi, yamamoto. aitaro.xv6\}@is.naist.jp
\{ide.yusuke.ja6, shindo, taro\}@is.naist.jp, shohei.higashiyama@nict.go.jp

## 概要

本研究では，文章中の「場所」纪書き手が訪れた かどうかを推定する問題に取り組んだ.まず，旅行記に訪問状態のアノテーションを行い，小規模な データセットを構築した. 複数人でアノテーション を行った結果，作業者間で高い一致率が確認され た.さらに，構築したデータセットを用いて訪問状態を予測するモデルを構築し，その性能を評価し た. 分析の結果, モデルは訪問状態の手がかりとな るトークンに注意を向けていることがわかった。

## 1 はじめに

人がある場所を訪れ，その場所での経験を経った 文章がウェブ上に蓄積されている。こうした情報を 整理することによって多様な応用への道が拓ける。例えば，観光地を実際に訪れた観光客の感想を自動 で整理できれば，観光地推薦や旅行計画支援への応用が期待できる.

そこで本研究では，人が訪れた場所の情報を文章 から抽出する問題に取り組む．特に，書き手の行動 を正確に読み解き，場所に対する訪問状態（訪れた，訪れていない，訪れる予定，など）を判定すること 亿焦点を当てる。例えば「近鉄奈良駅敃到着！」と いう実体験に関する記述があった場合，書き手は 「近鉄奈良駅」を実際に訪れたと判断できる。一方， $「 \mathrm{JR}$ 奈良駅は近鉄奈良駅から少し離れたところにあ ります」のような記述の場合，書き手がこれらの場所を訪れたことを必ずしも意味しない。

人が訪れた場所の情報は，GPS データを活用する ことでも取得できる。しかし文章には，場所を訪れ た状況や目的，感想など，GPSでは取得困難な情報 も含まれる. 将来的には，こうした情報も同時に取得することを見据え，文章を解析対象とする。

まず，訪問状態予測モデルの学習・評価のため,

図 1 アノテーションの概略図

場所を参照する表現（場所参照表現）に対する訪問状態のアノテーション方針を策定し, 複数の作業者 でアノテーションを行った. 作業者間一致率は F1 値 0.8 前後と比較的高い值となった.

次纪，そのアノテーションを用いて，訪問状態予測モデルの構築・評価を行った. モデルの予測精度 は $\mathrm{F} 1$ 値 0.6 程度であり，作業者の一致率を考えると 改善の余地があることが示唆された. より詳しい分析として，モデルが訪問状態を予測する際に，入力文中のどのようなトークンに注意を向けているか調查した. その結果，例えば「到着」のように，訪問 に関連するトークンに注意を向けており，人間の直感的な判断と類似する可能性が示唆された。

## 2 旅行記データセットの構築

## 2.1 アノテーションの概要

本研究では, 国内外の実際の旅行についての旅行記である「地球の歩き方旅行記データセット」 $[1,2]$ の一部の国内旅行記記事に対して, 図 1 亿示すよう 亿, 場所参照表現の同定 (図中の楛囲み文字)，場所参照表現の言及間の共参照関係の付与（矢印），訪問状態のラベル付与（赤・橙色文字）を行った.
表 1 場所参照表現の言及に対する訪問状態の種類

 \\

場所参照表現・共参照関係 訪問状態のラベルを 付与する前に，文章に出現する場所参照表現のスパ ンを同定した. 場所参照表現として認定する対象 は，「近鉄奈良駅」のような固有名詞に加え，「駅」の ような一般名詞も含む. また，場所参照表現の言及間に対して共参照関係の情報の付与を行った。これ により，訪問状態予測の評価において，言及単位だ けではなく，共参照関係にある言及のクラスタ（以下，共参照クラスタ）単位での評価が可能となる.

訪問状態 訪問状態のアノテーションは，場所参照表現の言及単位と共参照クラスタ単位の二通り のパターンで行った. 共参照クラスタ単位の訪問状態は，文章の書き手が最終的にその場所を訪問した かどうかに対応する．言及単位の訪問状態は，該当 する言及の時点で書き手がその場所を訪問してい たかどうかに対応し, 共参照クラスタの訪問状態の 根拠にもなり得る. 例えば，「久々の近鉄奈良駅で す。」のような言及を根拠として，書き手が「近鉄奈良駅」に訪れたという判断が成立し得る.

表 1 に，言及に対する訪問状態の種類を示す. 各 ラベルの事例は付録 A に記載する. 各言及に対して アノテーションする際は，言及が出現する文内情報 を基にラベルを付与する方針を設けた。なお，「訪 れた」のような述語に対してではなく,「近鉄奈良駅」のような名詞句に対して訪問状態のラベルを付与した理由は，「近鉄奈良駅へ。のように，述語の 省略がしばしば起こるためである.

表 2 に，共参照クラスタに対する訪問状態の種類 を示す. 各共参照クラスタに対してアノテーション する際は，記事全体を考慮してアノテーションを行 う方針とした。そのため，共参照クラスタに含まれ表 2 共参照クラスタに対する訪問状態の種類

表 3 訪問状態のラベルの作業者間一致率

る言及にVisitが付与されていなくても，共参照ク ラスタに対してVisitが付与される場合がある。

## 2.2 構築したデータセットの統計

2.1 節のアノテーション方針を基に，旅行記 5 記事に対して著者らでアノテーションを行い，486文 からなる旅行記データセットを構築した. 場所参照表現の言及数は 684 件含まれ，各共参照クラスタ内 の言及数は平均 1.52, 標準偏差 1.06 であった.

また， 5 記事に含まれる一部の言及および共参照 クラスタに対して，各文につき 2 名の作業者でア， テーションを行い，訪問状態のラベルの作業者間一致率を測定した。一致率測定の対象となった言及の 数は 180 ，共参照クラスタの数は 124 である。一致率評価には，F1 値のマイクロ平均値 (micro F1), F1 值のマクロ平均値 (macro F1), Cohen's Kappa ( $\kappa$ ) [3] を用いた。表 3 に示すように，言及単位では micro F1, macro F1 ともに 0.82 程度という比較的高い一致率であり，共参照クラスタ単位ではそれらを下回る 一致率となった。一致率の詳細は付録 B に示す.

## 3 実験設定

## 3.1 正解スパン設定

一つ目の正解スパン設定では，入力文と，その文中に出現する場所参照表現のスパンが所与のもと，各スパンの訪問状態を予測する．本設定における訪問状態の予測方法は以下の通りである。まず，文 に含まれるトークン列を $\left.\{X_{1}, X_{2}, \ldots, X_{n}\right.\}$ として，事前学習済みエンコーダ BERT [4] ${ }^{1)}$ を用いて各トー クンに対応するべクトル表現 $\left.\{H_{1}, H_{2}, \ldots, H_{n}\right.\}$ を得 る. 文中に出現する場所参照表現 $m$ のトークン列


を $\left.\{H_{i}, H_{i+1}, \ldots, H_{i+k}\right.\}$ としたとき, 各トークンに対応 するべクトル表現の平均を取ることで， $m$ のべクト ル表現 $H^{\prime}$ を得る。そして， $H^{\prime}$ をフィードフォワー ドネットワークに入力し，訪問状態を予測する.

言及単位での評価に加えて，言及間の共参照関係 を所与として共参照クラスタ単位での評価も行っ た。言及単位でのモデルの予測を基に，次のルール を用いて共参照クラスタ単位での予測を行った。

1. 共参照クラスタ内の少なくとも一つの言及に対 してVisitと予測していれば，Visitとする.

2. Visit と予測した言及が一つもなく, VisitPossibly もしくは PlanToVisit と予測 した言及が一つでもあれば，Unknownとする。

3. Visit, VisitPossibly, PlanToVisit と予測し た言及が一つもない場合，NotVisitとする.

## 3.2 End-to-End 設定

二つ目の End-to-End 設定では，場所参照表現の同定および訪問状態の予測を同時に行う．系列ラベリ ングに基づく一般的な固有表現抽出と同様に，トー クンごとにB-Visit や I-Visit のような BIO 形式の タグを予測する.

旅行記データセットは, 場所参照表現の同定を学習するにはデータ量が不十分である可能性がある. そこで，場所参照表現の同定精度向上を目的とし て，拡張固有表現タグ付きコーパス [5] を用いて事前に BERT をファインチューニングした. 本実験で は，同コーパスに付与されている「関根の拡張固有表現階層」[6]（Version 7.1.0）の固有表現ラベルの うち，地名・施設名のラベルが付与された固有表現 （つまり，場所参照表現）のみを対象とし，同コーパ スを学習用と評価用に分割した ${ }^{2)}$. ファインチュー ニングの結果，評価データでの場所参照表現の同定精度（F1 値）は 0.829 であった。

## 3.3 データセット

訪問状態予測の実験には, 本研究で構築した旅行記データセットを用いた. 正解スパン設定では，前述の通り，言及間の共参照関係を所与とし，共参照単位での評価も行う. そのため, 共参照クラスタ内 の言及を含む文の集合単位で旅行記データセットを およそ 8 対 1 対 1 の比率で訓練，開発，評価データ に分割した. End-to-End 設定では共参照単位での評
 49,440，場所参照表現の言及数は 13,242 個であった.表 4 正解スパン設定の結果

表 5 End-to-End 設定の結果

価を行わない3)ため，文単位で分割した。

また，言及単位での評価において，アノテーショ ンされたラベルをそのまま使用する 7 ラベル設定 に加えて，訪問の有無に注目してラベルをグルーピ ングした 2 ラベル設定での評価も行った. 具体的 には, Visit, VisitPossibly, PlanToVisitをVisit に，他のラベルを NotVisitにグルーピングした.

## 4 実験結果

表 4 に，正解スパン設定の結果（各指標はマクロ 平均）を示す. 表 3 に示した作業者間一致率（macro F1）と比べ， 7 ラベル設定の $\mathrm{F} 1$ 值は 0.2 程度低い.原因として，旅行記データセットの学習データが少量かつラベルが不均衡なデータであったため, モデ ルが十分に学習できなかったことが考えられる。ま た，言及単位よりも共参照クラスタ単位での予測精度が低い理由として, 記事内の大域的な内容を基に 共参照クラスタの訪問状態が決まるケースに対し, 3.1 節のルールでは対応できなかったことが挙げら れる。例えば，「奈良県」を訪問したと明示的に言及せず，「近鉄奈良駅」を訪問したと言及している 場合，「近鉄奈良駅」が位置する「奈良県」にも訪問 したと推論できるが，使用したルールでは正しく予測することができない.

また，End-to-End 設定の結果（各指標はマイクロ 平均）は表 5 の通りとなった. 7 ラベル設定よりも 2 ラベル設定のほうが $\mathrm{F} 1$ 值が 0.18 程度高い理由は, ラベルをグルーピングすることで，事例数が少ない ラベルが減り, データの不均衡性がある程度解消さ れたためと考えられる。

## 5 分析

本節では，正解スパン設定の訪問状態予測モデル に対する分析結果を報告する。

表 6 Integrated Gradients に基づく寄与度.下線部は訪問状態の予測対象となるスパンを表す.（例文は [1] より引用）

正解 予測 (確率) 入力文

(a) Visit Visit(0.92) [CLS] 別府 駅 に到着しました。 [SEP]

(b) See See (0.67) [CLS] 展望 塔 から は遠く日本海に浮かぶ 利 \#\#尻 \#\#富 \#\#士（利 \#\#尻島）を眺望します。[SEP]

(c) Visit Other (0.95) [CLS] 宿泊 は、大神神社 $の$ 早朝参拝 に 便利な、ルート\#\#イン 桜井駅前にしました。[SEP]

表 7 正解スパン設定の結果（場所参照表現マスク時）

Integrated Gradients モデルが訪問状態を予測 する際，入力文中のどのトークンに対して注意 を向けているかを調べた. 具体的には, Integrated Gradients [7]（captum [8] で実装されている Layer Integrated Gradients ${ }^{4)}$ ）を基に，BERT の埋め込み層 における予測への寄与度をトークン位置ごとに計算 した. 表 6 は, 分析結果の可視化であり, 寄与度が 高いトークンほど濃くハイライトされている. 訪問状態を正しく予測できた (a)と (b)を見ると，訪問や 視認に関連する動作性名詞「到着」,「眺望」やそれ らに付随する助動詞「ます」, 副詞「遠く」などの寄与度が高いことがわかる. 一方，訪問状態を正しく 予測できていない (c)では，文中のトークン全体へ の寄与度が高くなっていることがわかる. 訪問状態 の判定のために文全体を読み解く必要があるような 例で，適切なトークンに注目して正しく予測するこ とが難しかった可能性がある.

場所参照表現のマスク 正解スパン設定において 所与とした場所参照表現の表層情報が，モデルの予測にどのように影響を与えているかを調べた. 具体的には，訪問状態の予測対象となる場所参照表現の 各トークンを [MASK] に置き換え，学習および評価 を行った。言及単位での評価結果を表 7 に示す. 7 ラベル設定では場所参照表現をマスクすることで正解率が 0.03 程度低くなっているが， 2 ラベル設定で はマスクしても同等の結果となった. 以上より，詳細なラベルを予測する設定では表層情報も手がかり として有用であることが示唆された。

4) https://captum.ai/api/layer.html\#

layer-integrated-gradients

## 6 関連研究

場所参照表現抽出 $[9,10,11]$ は，固有表現抽出の 特殊なケースであり，実世界上の特定の地点を指す 表現を文章中から抽出することを目的としている. これら従来研究では，文章の書き手が訪問したかと いう観点での解析は行っていない.

Li ら [12] は，ツイートを対象に，言及単位での場所参照表現の抽出とその訪問状態（訪れた，現在い る，訪れる予定である）の予測を行った. 同一の場所を指す場所参照表現が，1ツイート内に異なる訪問状態として複数回出現することは稀と考えられる ため，本研究のように共参照クラスタ単位での解析 を行うには，長さのある文章が適している.

大友ら [13] は，KNBコーパス [14] に対して，場所参照表現とその訪問状態のアノテーションを行っ た. アノテーション対象となった記事は，京都観光 をテーマに大学生により執筆されたブログ記事であ る.そのため，書き手の属性や記述内容に偏りがあ り, 観光地の一般的な説明や日常的な出来事の描写 など，旅行以外の記述も多く含まれる。

## 7 おわりに

本研究では，人が訪れた場所の情報を文章から抽出する問題に取り組んだ。 場所参照表現に訪問状態 を付与したデータセットを構築し，訪問状態予測の 実験を行った. モデルの予測精度は作業者間一致率 を下回り，学習データが少量かつ不均衡であること が難しさの原因であったと考えられる。また，分析 の結果，文全体を読み解く必要がある事例におい て，人間と異なり，単純な BERT ゙゙ースのモデルで は適切な判定が難しいという示唆が得られた. 今後，アノテーションデータの増量や，場所に紐づい た意味的な情報の抽出に取り組む予定である.

## 謝辞

本研究は JSPS 科研費 JP22H03648 の助成を受けた ものである.

## 参考文献

[1] 株式会社地球の歩き方. 地球の歩き方旅行記 データセット, 2022. 国立情報学研究所情報学研究データリポジトリ. (データセット). https://doi.org/10.32130/idr.18.1.

[2] 大内啓樹, 進藤裕之, 若宮翔子, 松田裕貴, 井之上直也, 東山翔平, 中村哲, 渡辺太郎. 地球の歩き方旅行記 データセット. 言語処理学会第 29 回年次大会, 2023.

[3] Jacob Cohen. A coefficient of agreement for nominal scales. Educational and Psychological Measurement, Vol. 20, pp. 37-46, 1960.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] 橋本泰一, 乾孝司, 村上浩司. 拡張固有表現タグ付 きコーパスの構築. 情報処理学会研究報告自然言語処理, Vol. 2008, No. 113 (2008-NL-188), pp. 113-120, 2008.

[6] Satoshi Sekine. Extended named entity ontology with attribute information. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Morocco, May 2008. European Language Resources Association (ELRA).

[7] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic attribution for deep networks. In Proceedings of the 34th International Conference on Machine Learning - Volume 70, ICML'17, pp. 3319-3328. JMLR.org, 2017.

[8] Narine Kokhlikyan, Vivek Miglani, Miguel Martin, Edward Wang, Bilal Alsallakh, Jonathan Reynolds, Alexander Melnikov, Natalia Kliushkina, Carlos Araya, Siqi Yan, and Orion Reblitz-Richardson. Captum: A unified and generic model interpretability library for PyTorch, 2020. arXiv: 2009.07896 [cs.LG].

[9] Koji Matsuda, Akira Sasaki, Naoaki Okazaki, and Kentaro Inui. Annotating geographical entities on microblog text. In Proceedings of The 9th Linguistic Annotation Workshop, pp. 85-94, Denver, Colorado, USA, June 2015. Association for Computational Linguistics.

[10] Zongcheng Ji, Aixin Sun, Gao Cong, and Jialong Han. Joint recognition and linking of fine-grained locations from tweets. In Proceedings of the 25th International Conference on World Wide Web, WWW '16, p. 1271-1281, Republic and Canton of Geneva, CHE, 2016. International World Wide Web Conferences Steering Committee.

[11] Pei Chen, Haotian Xu, Cheng Zhang, and Ruihong Huang.
Crossroads, buildings and neighborhoods: A dataset for fine-grained location recognition. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 3329-3339, Seattle, United States, July 2022. Association for Computational Linguistics.

[12] Chenliang Li and Aixin Sun. Fine-grained location extraction from tweets with temporal awareness. In Proceedings of the 37th International ACM SIGIR Conference on Research \& Development in Information Retrieval, SIGIR'14, p. 43-52, New York, NY, USA, 2014. Association for Computing Machinery.

[13] 大友寛之, 大内啓樹, 星野智紀, 井手佑翼, 渡辺太郎.訪問場所表現グラウンディングのためのアノテー ション. 言語処理学会第 28 回年次大会, 2022.

[14] 橋本力, 黒橋禎夫, 河原大輔, 新里圭司, 永田昌明. 構文・照応・評価情報つきブログコーパスの構築. 自然言語処理, Vol. 18, No. 2, pp. 175-201, 2011.

## A 訪問状態の各ラベルの事例

表 8 言及に対する訪問状態のラベルと事例（[1] より引用).下線部はラベル付与の対象となるスパンを表す.

 \\

表 8 は，言及に対する訪問状態の各ラベルの事例である. Visit-Future については, 本研究でアノ テーション対象となった旅行記 5 記事において，付与された事例が確認されなかった. なお，各ラベル の定義は表 1 の通りである.

## B 訪問状態のアノテーションー致率の詳細

図 2 各言及へ訪問状態を付与した際の混同行列

図 3 各共参照クラスタへ訪問状態を付与した際の混同行列

図 2 は，複数の作業者によって，言及へ訪問状態 のラベルを付与した際の混同行列を表している。ま た，図 3 は共参照クラスタに関する混同行列を表し ている.
 大友寛之 ${ }^{1}$ 東山翔平 ${ }^{2,1}$ 大内啓樹 1,3 山本和太郎 ${ }^{1}$ 井手佑翼 1 進藤裕之 ${ }^{1}$ 渡辺太郎 ${ }^{1}$ 1 奈良先端科学技術大学院大学 2 情報通信研究機構 ${ }^{3}$ 理化学研究所 \{otomo.hiroyuki.ob7, hiroki.ouchi, yamamoto. aitaro.xv6\}@is.naist.jp \{ide.yusuke.ja6, shindo, taro\}@is.naist.jp, shohei.higashiyama@nict.go.jp  