# What Food Do We Tweet about on a Rainy Day?

Maija Kāle ${ }^{1}$ Matīss Rikters ${ }^{2}$
${ }^{1}$ University of Latvia ${ }^{2}$ National Institute of
Advanced Industrial Science and Technology
\{name.surname\}@lu.lv
\{name.surname\}@aist.go.jp
}

\begin{abstract}
Food choice is a complex phenomenon shaped by factors such as taste, ambience, culture or weather. In this paper, we explore food-related tweeting in different weather conditions. We inspect a Latvian food tweet dataset spanning the past decade in conjunction with a weather observation dataset consisting of average temperature, precipitation, and other phenomena. We find which weather conditions lead to specific food information sharing; automatically classify tweet sentiment and discuss how it changes depending on the weather. This research contributes to the growing area of large-scale social network data understanding of food consumers' choices and perceptions.
\end{abstract
## 1 Introduction

This paper focuses on the relationship between food sentiment and weather using the previously collected Latvian Twitter Eater Corpus (LTEC [1]). We seek to answer (1) is there a correlation between food sentiment and weather experienced at the time of tweeting and (2) what are the differences in the term frequencies of food mentioned depending on the weather. The rationale for this paper is to contribute to deeper understanding of human-food relationship, in particular in relation to weather data. We believe that with more nuanced knowledge of human-food relationships and factors influencing them, we can provide valuable inputs for public health policy makers when they develop their strategies and nudge consumers to choose more healthy options of food. Weather people - this is a term that Bakhshi [2] used to explain our dependence on the weather regarding food choices and satisfaction with food. While the weather is known to alter consumers' mood significantly and consequently their behaviour [3], there have been surprisingly few studies that illustrate weather's impact on food perception and food choices, except some that have used online and offline restaurant reviews as a proxy of measuring it $[4,3]$. They find that weather impacts both the frequency of the feedback that food consumers provide, as well as its content. Typically, sunny and pleasant weather leads to more frequent and more positive feedback, since low levels of humidity and high levels of sunlight are associated with high mood. At the same time, reviews written on rainy or snowy days, namely days with precipitation, tend to have lower ratings. Instead of analysing restaurant reviews, we focus on Twitter, where food represents one of the key themes discussed, providing us with spontaneous reactions, which is a unique feature when compared to other data collection methods like reviews or food diaries [5]. Our analysis of the LTEC provides a foodrelated set of discussions that we can correlate with weather data, leading to the following research inquiries: 1) is there a correlation between food tweet sentiment and the weather that the tweet authors are experiencing at the time of tweeting? 2) what are the differences in terms of frequencies of what food is mentioned in tweets depending on weather? One of the reasons, why there are few weather-food choice related studies, is the lack of data - we do not have access to retailers' food sales data that could be correlated with the weather data. Instead, we are focusing how food is represented in social media - in particular Twitter, assuming that tweet is an appropriate proxy to measure sentiment related to food consumption. By analysing weather-related dynamics in LTEC, we contribute to the research field that links food and
mood, adding weather impact on the mood.

## 2 Related Work

Food consumption is a complex process that is impacted interchangeably by various endogenous factors, such as taste, quality, texture, colour and others, as well as exogenous or external factors ranging from demography, educational level, time of the day, weather, the ambience where it is consumed and others $[6,3]$. Mood is the determining factor in food choice, where good mood is associated with healthier food choices and bad mood with less healthy food choices [7]. Food choice is also seasonally patterned in particular in areas with more seasonal climate in terms of temperature. Even though most of our modern lives are spent indoors, weather and climate conditions still impact our food preferences and consumption [8]. While seasonal food consumption patterns are culture-based and differ in various geographical regions, weather-related preferences seem universal. Sunny and moderate temperature-wise weather leads to better mood, while more extreme weather (hot, cold, precipitation) is less pleasant and impacts mood, food consumption experiences.

A large-scale study on demographics, weather, and restaurant reviews reveals that pleasant weather impacts not only the content but also the frequency that is higher than during non-pleasant weather conditions [4]. This is an important indicator that a review can serve as a proxy for measuring the weather's impact on mood and, thus, the food consumption experience. Consumer comments and word-of-mouth have also been studied in relation to weather, implying that consumers' pre-consumption mood directly influences post-consumption mood, and consumers' satisfaction with the service accordingly. Pre-consumption mood, is viewed via weather conditions, where eight weatherrelated variables have been considered, including visibility, rain, storm, humidity, wind speed, pressure. By including temperature, barometric pressure, and rain as variables reduces unexplained variance and improves results of the experiment. This study successfully links weather to mood and its transfer to affective experience and consumer behaviour [3].

Considering previous studies that prove the link of weather to mood and food perception accordingly, with our work, we aim to illustrate this link via tweet sentiment evaluation. We refine our study by looking at frequencies - what foods authors tweet more in pleasant weather and unpleasant weather conditions, mapping the weather-related food scene in Latvian language Twitter.

## 3 Case Study of Latvia

Latvia has four distinct seasons: winter is December to February, spring - March to May, summer June to August, autumn - September to November. The average annual air temperature in Latvia is only $+5.9^{\circ} \mathrm{C}$. The warmest month is July, and the coldest months are January, February (also the snowiest). Months with the most precipitation are July and August, while the least is in February and March. The highest wind speeds are in November, December and January, and the lowest are in July and August [9]. Latvia provides an example of a country in the Northern hemisphere with various weather conditions to analyse from the perspective of tweeting about food.

Besides recognising weather data, Latvian national cuisine seasonality aspects should be considered. Specific foods are consumed in certain seasons in Latvia - cold soup in summer, grey peas, tangerines and gingerbread for the Christmas season [10]. This cultural context is important for understanding weatherrelated impact on food tweet understanding.

Other cyclical events that are present in any modern society should also be considered. Not just weather and seasonal celebrations are cyclical in nature and correlate with the time of the year. There are other variables that correspond to the time of year that could be possible confounds, for example, school schedules, holiday seasons, election events, sport events, etc. While aware of such cyclical events, we do not highlight them here due to lack of previous research to provide us with reference data. The only study about the timeline of food related tweets in Latvia reveals that a slight decrease of food tweeting was observed on weekend evenings, and a significant one - on weekend mornings [10]. These results imply the overall differences in mood and behaviour at various times of the day/meals: people tend to be more
'virtuous' in mornings by choosing healthy and nutritious food, while snacking during afternoons [11].

The nuances to consider can be categorised in individual circadian rhythms, culture/climate bound seasonality cycles, celebrations, and cyclical events. While being aware of those multiple factors, in this work we focus on weather data primarily, linking them with tweet sentiment without additional references to cyclical nature of human life.

## 4 Data Collection and Processing

We used a combination of the LTEC for tweets and weather data exported from Meteostat ${ }^{11}$. We mainly focused on tweets and weather relating to Riga, the capital of Latvia, since most tweets with location data originated there, and it was difficult to obtain detailed historical weather data for the smaller regions.

The LTEC has a total of $2.4 \mathrm{M}$ tweets generated by $169 \mathrm{k}$ users. It has been collected over ten years following 363 eating-related keywords in Latvian. Among the tweets, $167 \mathrm{k}$ have location metadata specified, of which $68 \mathrm{k}$ were from Riga and 9k more from areas around Riga. To further increase the number of location-related tweets, we selected all remaining tweets which mention Riga or any of its surrounding areas (Marupe, Kekava, etc.) in any valid inflected form. This added 54k tweets, totalling to 131,595.

In addition to location metadata, the LTEC provides all food items mentioned in the text and a separate subset of sentiment-annotated tweets for training sentiment analysis models. We use the 5420 annotated tweets to fine-tune a multilingual BERT [12] model for this task along with $\sim 20,000$ sentimentannotated Latvian tweets from other sources ${ }^{2}$. Evaluation was performed on the 743 tweet test set from LTEC and reached an accuracy of $74.06 \%$. We then use the model to automatically classify the locationspecific tweets as positive, neutral or negative.

We could reliably obtain only data for temperature and precipitation from Meteostat, while data for snowfall was only available up to 2017 , and data for wind speed and air pressure was only available from 2018 onward. There was no available data to trace

1) https://meteostat.net/en/place/lv/riga

2) https://github.com/Usprogis/Latvian-Twitter-Eater-

Corpus/tree/master/sub-corpora/sentiment-analysis daily sunshine, but it can be inferred from looking at precipitation, snowfall and air pressure.

## 4.1 Limitations and Assumptions

Our work has several important limitations that can be grouped into categories of 1) data availability, 2) tweet author's demographic profile, and 3) generalisation of the results. First, we could only obtain fairly superficial weather data while weather change during the same day was not considered due to lack of detail. Second, we cannot provide a demographic outlook of the usual tweet author in LTEC, and our analysis includes tweets by general digitally literate people active on Twitter. Third, considering the limitations discussed, our results are not an exact extrapolation of weather-related food perception in Latvian society. Nevertheless, our approach adds to the understanding of weather's impact on the part of the Latvian society which tweets about food.

## 5 Analysis and Results

While the results of tweet sentiment in terms of the percentage of negative, neutral and positive tweets are largely the same for all weather conditions, we can observe considerably fewer positive tweets during windy weather and high-pressure, as shown in Table 2. Surprisingly, even during low-pressure weather conditions, tweets are not necessarily dominated by negative sentiment - quite the opposite - food tweets have been related to mostly positive sentiment. It could be explained by the fact that people are tweeting about comfort food (e.g. coffee, chocolate, other) or that any food could be comforting during days of low-pressure weather conditions. This remains to be answered in a more fine-grained manual analysis.

The right part of Table 1 shows that tea exceeds coffee during cold weather, and there is also a slight increase in tweets about chocolate in cold weather, while the frequency of ice-cream tweets doubles in warm weather. Interestingly, in hot or cold weather tweet amount about meat, cake or soup remains largely similar. While warm weather tweets include strawberries, cold weather tweets include gingerbread, which coincides with seasonal Christmas food. There are no other notable differences between warm and

Table 1 Comparison of top products during windy (wind speed $\geq 20 \mathrm{~km} / \mathrm{h})$, rainy (precipitation $>0)$, cold $\left(\leq 0{ }^{\circ} \mathrm{C}\right)$, and warm weather $\left(\geq 0{ }^{\circ} \mathrm{C}\right)$.

Table 2 Weather relation to tweet sentiment.

cold weather tweets, which leads to a conclusion that spending so much time indoors has harmonised foods tweeted about in different seasons and conditions.

A slightly different result is revealed in the left part of Table 1, which indicates that during windy weather, meat becomes the most popular food item, while in rainy weather, the results are similar to cold weather where tea dominates. While it is difficult to explain this, a speculation could be that wind is less visible than temperature that is frequently reported in media or precipitation that is visually noticeable before leaving the home, and, thus, without proper clothing during windy weather one might become uncomfortably cold, which in turn could lead to higher willingness to consume meat. Chocolate is twice as popular during rainy weather than during windy weather, and it could be related to a lack of sunshine during rainy weather that needs to be compensated with chocolate, while a windy day can still be sunny.

Only potatoes remain stable in terms of tweeting frequencies in any weather - warm, cold, windy or rainy. This can be explained by the fact that potatoes are part of a daily diet in Latvia and constitute the basis for energy intake.

## 6 Conclusion

This paper contributes to understanding how weather impacts the mood of food consumers by examining influence on food tweets. The knowledge can be useful to public health policymakers and applied when nudging consumers to choose more healthy food alternatives in different weather conditions and seasons. Obesity, type 2 diabetes and cardiovascular diseases are just a few of the health problems acquired due to nutritional specifics $[13,14]$. The global spread of obesity has been labelled a pandemic and it is of utmost importance to understand the underlying factors behind food choice. Acknowledging and understanding the impact of weather on food consumers and their affective reactions helps explain the complexities associated - food waste, healthy vs. unhealthy choices and other issues.

We also highlight the lack of weather data to obtain precise results. A more fine-grained and longitudinal weather data set could allow for higher precision for food tweet data correlation. Besides that, there should also be additional studies done with regard to other cyclical events encountered in modern lives - e.g. school schedule and holidays, annual sport events and others - to capture the impact of weather and nonweather related seasonality on food tweet sentiment.

We aim to contextualise the behaviour of tweeting about food in a given geographical area and build a framework for more nuanced understanding of foodrelated discourse in Latvian language Twitter [6]. The contextual knowledge created can be helpful to researchers working with personalised food and health application model development, since humans are social beings, and peer behaviour impacts their choice. Furthermore, we wish to highlight how interconnected our digital and analogue lives are - following up the tweet sentiment and frequency indicators with actual purchasing behaviour and food sales data. We plan to release the tweet-weather dataset as an addition to the existing LTEC and make it public on GitHub.

## References

[1] Uga Sproğis and Matīss Rikters. What Can We Learn From Almost a Decade of Food Tweets. In Proceedings of the 9th Conference Human Language

Technologies - The Baltic Perspective (Baltic HLT 2020), pp. 191-198, Kaunas, Lithuania, 2020. IOS Press.

[2] Jason Maderer. A rainy day can ruin an online restaurant review. https: //news.gatech.edu/news/2014/04/02/ rainy-day-can-ruin-online-restaurant-review, April 2014. Accessed: 2022-04-15.

[3] Milos Bujisic, Vanja Bogicevic, H. G. Parsa, Verka Jovanovic, and Anupama Sukhu. It's raining complaints! how weather factors drive consumer comments and word-of-mouth. Journal of Hospitality \& Tourism Research, Vol. 43, No. 5, pp. 656-681, 2019.

[4] Saeideh Bakhshi, Partha Kanuparthy, and Eric Gilbert. Demographics, weather and online reviews: A study of restaurant recommendations. In Proceedings of the 23rd International Conference on World Wide Web, WWW '14, p. 443-454, New York, NY, USA, 2014. Association for Computing Machinery.

[5] Patricia Puerta, Laura Laguna, Leticia Vidal, Gaston Ares, Susana Fiszman, and Amparo Tarrega. Co-occurrence networks of twitter content after manual or automatic processing. a case-study on “gluten-free". Food Quality and Preference, Vol. 86, p. 103993, 2020.

[6] Carlos Velasco, Charles Michel, and Charles Spence. Gastrophysics: Current approaches and future directions. International Journal of Food Design, Vol. 6, No. 2, pp. 137-152, 2021.

[7] Charles Spence. Explaining diurnal patterns of food consumption. Food Quality and Preference, Vol. 91, p. 104198, 2021.

[8] Charles Spence. Explaining seasonal patterns of food consumption. International Journal of Gastronomy and Food Science, Vol. 24, p. 100332, 2021.

[9] LVĞMC. Climate of latvia. https://www. meteo.lv/en/lapas/environment/climate-change/ climate-of-latvia/climat-latvia?id=1471, 2009. Accessed: 2022-04-15.

[10] Maija Kāle, Jurğis Šķilters, and Matīss Rikters. Tracing multisensory food experiences on twitter. International Journal of Food Design, Vol. 6, No. 2, pp. 181-212, 2021.

[11] Charles Spence. Explaining diurnal patterns of food consumption. Food Quality and Preference, Vol. 91, p. 104198, 2021.

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] Weiqing Min, Shuqiang Jiang, Linhu Liu, Yong Rui, and Ramesh Jain. A survey on food computing. ACM Comput. Surv., Vol. 52, No. 5, sep 2019.

[14] Robert Mai, Stefan Hoffmann, Jens R Helmert,
Boris M Velichkovsky, Susann Zahn, Doris Jaros, Peter EH Schwarz, and Harald Rohm. Implicit food associations as obstacles to healthy nutrition: the need for further research. The British Journal of Diabetes \& Vascular Disease, Vol. 11, No. 4, pp. 182-186, 2011.

## A Weather Data Availability

Figure 1 shows a visualisation of the data. We could reliably obtain only data for temperature and precipitation for the entire period. There is only a slight gap in precipitation data for the first half of 2018. However, data for snowfall was only available up to February of 2017, and data for wind speed and air pressure was only available from August of 2018 onward.

Figure 1 Available weather data from Meteostat.


# 単語音素のベクトル化による言語地図作成

近藤泰弘
青山学院大学
yhkondo@cl.aoyama.ac.jp

## 概要

同じ意味の単語について，方言によって語形が異 なることが一般的だが，その細かな語形を分類し て，その方言形の採取地点の地図上に対応するアイ コンを配置したものを，「言語地図」という。これ までは, 言語地理学の分野で, 「言語地図」は単語の 語形を見ながら，研究者がそれを分類して，アイコ ンの色や形を決めていたが，本研究では，語形をそ の音素の分布のベクトルに変換し，機械学習によっ て分類することで，アイコンの種類の決定を自動化 する手法を提案した. 単語のベクトル化は. 文脈か ら意味の分散表現による埋め込みべクトルを作成す るのが一般的だが，言語地図のための方言の語形に は，そのような意味による文脈は存在しないため，今回は, 文書ベクトルの BoW(Bag of Words) の手法 に習い，語形の音素の BoC（Bag Of Characters）表現 を用いて，音素の頻度ベクトルを用いて分類を行っ た. そして，音素の unigram の BoC のベクトルによ る方法に実用的な優位性があることを示した.

## 1 はじめに

社会言語学の研究の中では, 方言語形を地点ごと に配置するいわゆる「言語地図」を作ることが一般的である。そのような方法は「言語地理学」と言わ れることが多い。その初期には手作業でスタンプを 地図に押印する方法がとられたが，近年では，GIS の手法を用いて，電子的に表現する方法が一般的で ある. 「言語地図」の研究手法は, 古く, 柳田国男の 『蝸牛考』[1]で知られるように（例えば，列島の中心部で「デンデン」，その回りに「マイマイ」さらに その周辺部で「カタツムリ」，そして「ナメクジ」が あるように見えることから，周圈分布などと呼ばれ た）日本語の古語の語形の歴史的な流布順序などを 推定するのに役立つとされている. 方言語形は非常 に多様で。「かたつむり」の方言形のひとつである 「ナメクジ」系にしても，「ナメクシ・マメクジ・ナ
メクジリ・ナメラ・ナメクジナ」など極めて多くの バリエーションがある.これらをひとまとまりとし て.「マイマイ」系や「デンデンムシ」系などをま とめたものと，はっきりと区別するように表示する 必要がある. しかし今回，テストデータとして用い た「日本言語地図」データなどでは全国に 2800 地点分程度の方言語形があり，それぞれが微妙なバリ エーションを示している. したがってこれを全部，研究者の判断で分類して，特定のアイコンに結びつ けることは非常に手間が掛かり，言語地図を作るう えでの障害であったため, その自動化の手法を提案 したい.

今回はそれを自動化するために，各単語ごとの 音素（ローマ字 1 字に相当）の頻度を測り, Bag of Characters あるいは, Bag of character N-gram ( $\mathrm{n}=1$ ま たは2)のようにして，各単語について 26 次元のべ クトルを作成した. 実際は，その中で今回は使わな い，音素に含まれない文字，例えば Xなどもある が，今後の拡張も考えて 26 個とした.

## 2 関連研究

日本語の言語地図をコンピュータで作成する試 みは既になされている. 古くはメインフレームの時代の荻野綱男の GLAPS， [2] PC になってからの福嶋（尾崎）秩子の SEAL [3] などがある. 大西拓一郎も，Adobe イラストレータや GIS 系のアプリを 駆使して言語地図を発表している. [4] Pythonを 用いたものも，松浦年男 [5]，加藤幹治 [6] のものな どが公開されている。

類似した発想によるものとして，語形（音形）の レーベンシュタイン距離を用いて，方言間の差異を 計測した研究があり，参考になる [7]. [8] 日本語に おいても，方言分類を論じる場合に使われた. しか し，それらで既に示されているように，音素（ロー マ字と同一と考える）のレーベンシュタイン距離で は，母音字と子音字とが区別なく扱われるため，母音交替や子音交代が頻繁に起きる日本語の実状にあ
表 1 DENDENMUSI の語形音素ベクトル 00022000100120000101000000 abcdefghijklmnopqrstuvwxyz

## わない部分がある.

また，モーラの unigramを用いて，方言間の距離 を計算して，方言を分類するという研究もある [9]. これも母音・子音の交代を反映できない問題があ る.また，方言区画を計算する研究もある。 [10]

以上のように，語形の距離を測るという方向での 研究は多いが，本研究のような手法を用いたものは 管見では，世界的に存在しない。

## 3 提案手法

1 節で述べた通り，本研究では，単語の語形の ローマ字表記をデータとして用いた。 ローマ字表記 は，ほぼ音素表記と同等のものと考えることができ る。それをべクトル化し，その後に，教師なし機械学習で 2 次元への圧縮を行い，クラスタに分類する ことで，その1クラスタごとにアイコン (今回は色) を与えて，アイコン付与の自動化を実現した。

## 3.1 モデル

表 1 のように、アルファベットの 26 次元のベク トルを用意し、それぞれに語形内（この例は「デン デンムシ DENDENMUSI」）の各文字の使用頻度を入 れる。つまり、このベクトルはある単語の語形 (の 構成音素）の持つ母音・子音の分布と頻度情報を 持っていることになる. ここでは $\mathrm{N}=1$ (unigram) な ので、字の順序情報は入っていない.

この語形音素べクトルを地図ごと（地図により、 それぞれ 1500 から 2800 余の語形がある）に、機械学習で適宜次元圧縮して、さらにクラスタに分け て、音素ベクトルの特徴量によって語形アイコンの 色分けを行った.

なお，比較のため， $\mathrm{N}=2$ (bigram)のものも作成し た. その場合は, aa から始まり zz までの 676 次元 のベクトルを作成するので，DENDENMUSI の場合 は，DE,EN,ND,DE,EN,NM,MU,US,SI となり，DE と ENが頻度 2，他が 1 となる。

## 3.2 学習

各地点の音形（ローマ字）を語形ごとに音素の頻度を計算し，BoCの形にベクトル化した。その後， そのべクトル化したデータを，学習データとして，
Python のライブラリの scikit-learn の PCA を用い, 26 次元ベクトルのまま学習させた。また，それによっ て次元圧縮し，いくつかの次元のデータを作成した 後，最適な次元を決定し，またその低次元データを K-Means で学習させることで，クラスタに分類した。 クラスタ数の最適化については，語形分類が実用的 にできるかどうかを主として考え，エルボー法など で結果を裏付けた，最終的な地図の見やすさの評価 については，今後の課題とすべき点が残っている.

## 3.3 分類結果の表示

クラスタに分類した語形を，アイコンの色に置き 換えて，方言の採取地点の緯度経度によって指定さ れた位置に配置する．地図のスケールの動的な変更 を用いることによって，従来の静的な言語地図より も見やすい表示を実現する。

## 4 実験と考察

## 4.1 実験設定

提案手法の評価には，代表的な日本語方言の言語地図用のデータセットである「日本言語地図データ ベース」(国立国語研究所編) [11]を用いた. 公開さ れている「日本言語地図」データには各種あるが， ここでは，熊谷康雄が開発したものを用いた。 デー タは，CSV 形式で，語形（ローマ字音素表記），地点番号, 緯度, 経度, からなっている.

日本言語地図のすべての語形についてではなく, その一部についてのみ公開されているが，今回はそ の中から「かたつむり」と「くるぶし」のデータを 用いた. それぞれ，2800 件のデータ数である. 処理プログラムの実装には Python 3.8.16 と scikit-learn 1.0.2を用いた，地図へのプロットには動的地図を 作成できるため，folium 0.14.0を用いた.

## 4.2 結果

実験結果を表 2 に示す.このように，BOW の音素の単位を unigram にしたばあいと bigram にした場合を比較すると，どちらの語でも unigram の方がよ い成績を示した. bigram では出現順情報の一部を捉 えられるが，ベクトルがかなりスパースになるた め，データ量が少ない今回のようなものでは精度が 出ないものと考えられる。 また, 図 3 に7クラスタ での散布図を示した（`印は中央点），図 4 から図 6 が，実際の言語地図の例である。
表 2 主成分の分散の寄与度 (第 2 成分まで)

表 3

## 5 クラスター数の調整と性能

K-Means には，クラスター数決定の難しさがある。今回もどれだけのアイコンの種類（色）にするかと いう点で決定的な問題がある. 方言語形は非常に多様であるので，そのすべてを完全に分類することは 原理的に不可能であり，おおよそ，代表的な語形が 同じ分類になり，頻度の少ない語形については，あ る程度，多種の語形が同じ分類になっても実用上は かまわないという点もある. そこで，まず基本的な 数値を把握するために，通例のようなエルボー図 （図 1 と図 2）を作成したところ，クラスター数 4 あ たりで十分と見られる. エルボー図はあくまでも概要を捉えるに過ぎないので，いくつかの值によって 作成した言語地図を作り，実際の分類状態を観察し てみた。示したのは，クラスター数 7 という値，つ まり，アイコンの種類が 7 ということになる. 7 の 場合，主要語形の「カタツムリ」「デンデン」「ダイ 口」系はほぼ完全にそれぞれ 1 つのアイコン色に当 てはまり分離ができるが，それ以外の語形の「ナメ クジ」系などの資料が少ない語形は表 3 のように同色に配当されてしまう。これはこの方法の限界であ るが，地図を見る場合には，色の異なりで，「主要語形とは違う」ことがわかるため，参考資料として使 うには問題ない部分がある。

図1「かたつむり」のクラスター数調整

図 2 「くるぶし」のクラスター数調整

## 6 結論

本研究では，従来不可能だった，言語地図におけ る語形のアイコンへの適切な割り当てを行う手法を 提案し，ほぼ当初の目的通りの自動化を実現した。 そのために，単語の音素情報のみによって作る BoW 方式の音素べクトルを作成して機械学習によって分類するモデルを考案し，それによって既存の言語地図データセットを学習することで，語形をある程度分類することが可能であることを示した。また，性能的には，音素の unigram と bigram によるものを比較し，この場合，unigram の方が分類性能が高いこ とを示した。

今後，語形ベクトルを演算することで，分布の比較の数量化や，方言語形の移動の計算なども行うこ とを検討したい。

図 3 「かたつむり」unigram 散布図

図 4 「かたつむり」関西

図 6 「くるぶし」関東 (拡大図)

図 5 「かたつむり」東北 (拡大図)

## 謝辞

本研究の評価データセットに用いた『日日本言語地図』データベース」を開発した，国立国語研究所，熊谷康雄氏，サイトの保守にあたっている大西拓一郎氏に感謝申し上げます。

## 参考文献

[1] 柳田国男. 蝸牛考. 刀江書院, 1830 .

[2] 荻野綱男. コンピュータ言語地理学. 言語研究, Vol. 1978, No. 74, pp. 83-96, 1978.

[3] 福嶋秩子. 言語地理学のへや, 2022. https://www. unii.ac.jp/chitsuko/inet/lg7.html.

[4] 大西拓一郎. 言語地図作成の電算化. 日本語学, Vol. 21, No. 11, 2002.

[5] 松浦年男. Python でプロットした地図を出力する, 2020. https://note.com/yearman/n/n69fa3f2d583d.

[6] 加藤幹治. Python の geopandas を使っ て，複数の言語特徼に基づいた地図を出力する, 2020. https://qiita.com/ hamident0/items/1baabe5f7034df838589?fbclid= IwAR1EnwTQwidJDDWoR-5UHzwTSM0dFxJtepnmbKNxEoXW65xRiGDpe4w-6PY.

[7] 鑓水兼貴. 共通語化過程の計量的分析. 東京外国語大学博士論文, 2009.

[8] Wolfgang Vierreck. The computer developed linguistic atlas of england, volumes 1 (1991) and 2 (1997). International Computer Archive of Modern English: ICAME journal, Vol. 1997, No. 21, pp. 79-90, 2015.

[9] 金明哲・中村靖子. 文学と言語コーパスのマイニン グ. 岩波書店, 2021.

[10] INOUE Fumio. Computational dialectology. Area and Calture Studies, Vol. 52, No. 1, pp. 68-100, 1996.

[11] 国立国語研究所. 『日本言語地図データベース』, 2016. https://www. lajdb.org/TOP.html.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 建物分布の変化を考慮した GPT-2 を用いた人流予測のための一検討

小林 亮博 ${ }^{1,2}$ 武田 直人 ${ }^{1}$ 山崎 悠大 ${ }^{1}$ 上坂 大輔 ${ }^{1}$
${ }^{1}$ 株式会社 KDDI 総合研究所 ${ }^{2}$ KDDI 株式会社
\{ao-kobayashi, no-takeda, yd-yamazaki, da-kami saka\}@kddi.com

## 概要

近年, Transformer などの自然言語処理分野で発達 した深層学習技術を, 都市内における人流の予測に 活用する動きが始まっている. しかし, 既存の手法 は建物などの環境の状態は変化しないとの前提に基 づくものであり，例えば大規模開発後の交通量予測 に応用することが困難であった．本研究は，建物分布の変化に応じた将来の人流を予測するために, GPT-2 と建物分布系列の予測器を組み合わせた上で,人流を予測する方式を提案する．本稿では，個々の 予測器の性質を分析した上で, 2 者を組み合わせた 提案法を評価した。

## 1 はじめに

自治体やディベロッパーにとって, 再開発や大規模商業施設の建設といった建物分布の変化がもたら す来訪者数の変化や周辺交通一の影響を予測するメ リットは大きい. 特に, 現在着目されているオンデ マンドタクシーや相乗りなどといった動的に提供さ れる交通サービスでは，個々のユーザの居住地や生活スタイルに沿った細かな移動需要の把握が重要と なるため, ユーザの過去の移動系列を反映して将来 の移動を予測可能な Transformer ベースの人流予測手法に関心が集まっている[2,3]. 本研究は，大規模 なスマートフォン位置情報から抽出した都市におけ る交通行動と, POI(Point of Interest)情報を場所毎・建物種類毎に統計化した建物分布の関係性をモデリ ングすることで，建物分布の変化に応じて増減する 移動需要の予測を目指す。

## 2 関連研究

近年，交通行動の予測においては，移動需要の発生を将来の昼間・夜間人口のみから予測していた四段階推定法[13]に代わり, ユーザの移動行動を細か くモデル化した Activity Based Model が提案される ようになってきた[1]. 石井らは, 自宅から主要な活動先へと向かい帰ってくるまでの一連の行動を「ツ アー」と定義し, 活動先の建物分布と現在位置から の移動コストから, Nested Logit Model を用いて活動先やツアーの発生を予測することで，日常的な都市交通を再現している[1]. しかし現在位置にどのよう な経路で移動してきたかといった過去の移動系列は 考慮されておらず，「職場に行く前に保育園に子供 を送る」など過去の移動系列に含まれるユーザの 個々の細やかな移動需要の把握が困難となっている。 さらに，ツアー単位での行動推定となるため，観光 や運輸目的で対象エリアを通り過ぎる行動の再現が 難しい。

[1] に代表される移動モデルはアンケートで取得 されたデータを元に構築されてきたが，近年では大量に取得されるスマートフォンの位置情報から Transformer ベースの移動モデルを構築する研究が 始まっている[2, 3]. Mizuno らは，自然言語モデル GPT-2を用いて、地域メッシュコード(以下メッシュ と呼ぶ)で離散化したユーザ位置の系列をモデル化 することで，京都駅周辺の人流を高精度に再現して いる[2].ここで，メッシュとは，地域を一定サイズ のグリッドに分割し総務省が定めた規格 JIS X 0410 に従いコード(離散値)で表現したものである.

[2]では GPT-2 を用いることで, 現在時刻までの移動系列からそのユーザが最終的に自宅に帰るのか，京都駅を通り過ぎるだけのユーザかを区別できてお り，1 日の終わりに出発地に戻ると予測したユーザ の割合が実データと合致する。しかし，建物などの 地理的環境の変化は考慮されておらず，将来予測と いう点では課題が残る。

## 3 提案するモデル

本研究では，位置系列をエンコードすることで 個々のユーザの生活スタイルに沿った細かな移動需要の予測が可能な，GPT-2 のメリットを保ちつつ，建物分布に変化に応じた人流の予測を可能とするモ デルを提案する.

図 1 本研究が想定するデータ表現

図 1 に本研究が想定するデータ表現を示す. スマ ートフォンを用いて一定の時間間隔で観測されたユ ーザの移動軌跡を，メッシュの系列で表現する。ま た，メッシュ内における種別毎の建物件数を素性と する固定長ベクトルを，建物分布ベクトルと呼ぶ.建物分布は,ユーザの移動目的と強く関係するため,移動需要の説明変数として用いられており [1], その 系列はユーザの移動行動系列に内包されるセマンテ イクスを示すと期待される。

本研究では，環境中の建物分布が変化した場合で も，上記セマンティクスは大きく変化しないと仮定 する. 例えば, 図 1 のユーザは $\mathrm{t}=3$ でオフィス街に 移動した後, $\mathrm{t}=4$ で商業施設が多く存在するエリア に移動している. 仮に Mesh3 の近辺に新規の大型商業施設が開店した場合, このユーザは $\mathrm{t}=4$ において 異なるメッシュに移動する可能性がある。しかし，

「オフィス街に移動した後に商業地に移動する」と いうセマンティクスそのものは, 大型商業施設開店後も大きく変化しないと仮定する.

図 2 は提案する人流予測モデルを示す. 図の最下段に示す空間制約表現部は[2]で提案されている GPT-2 に基づく移動軌跡予測モデルを示し，ユーザ $\mathrm{u}$ に $\mathrm{t}=0 . . \mathrm{i}$ におけるメッシュ系列 $m_{u, 0} . . m_{u, i}$ が与えら れた際に， i+1 時点におけるメッシュ尤度 $P\left(m_{u, i+1}\right)$ を予測する。図最上段のセマンティクス表現部は，上記メッシュ系列に相当する建物分布の系列 $x_{m_{u, 0} .} x_{m_{u, i}}$ を入力して, $\mathrm{i}+1$ 時点の建物分布べクト ル $x_{m_{u, i+1}}$ を予測する。本稿ではこの時系列の連続値 データ予測器を建物分布予測器と呼び，電力需要予測などで高い精度を示した， Zeng ら[4]の手法を用 いた.また, 図の中段の更新可能地図は, 各メッシ ユの建物分布 $x_{M_{0}} . . x_{M_{k}}$ を並べた行列を示す.ここで $M_{j}$ は，GPT-2 の辞書に登場するメッシュを指す. 更新可能地図と $x_{m_{u, i+1}}$ は, 建物分布ベクトルのノルム が 1 になるよう正規化した上で内積を取ることで，予測した次時点の建物統計べクトルと各メッシュと の $\cos$ 類似度 $S\left(m_{u, i+1}\right)$ を算出する. 建物分布予測に 基づく $S\left(m_{u, i+1}\right)$ と，GPT-2 が予測した $P\left(m_{u, i+1}\right)$ の Hadamard 積を取ることで，セマンティクスと空間上の制約を満たした次メッシュを予測する。

## 4 データセット

本研究では，KDDI 株式会社が au スマートフォ ン利用者より同意を得て取得する GPS データを使用して検証を行った.この GPS データは測位間隔に 粗密があるが，集計した結果は各種人口統計と相関 し，交通需要の推計等に用いられている[5, 6]. 2019 年 6 月に観測された GPS データから宇都宮市在住 のユーザをサンプリングし，エリアを限定せずに 8 日間の移動軌跡を抽出した. 1 日に最低 1 点以上ロ

図 2 建物分布の変化を考慮した人流モデル
表 1 建物分布予測性能

図 3 正解メッシュの建物分布との $\cos$ 類似度 グがある移動軌跡のみを分析対象とし, 6,050人のユ 一ザからなる 98,213 件の移動軌跡を抽出した.

上記の移動軌跡から, 30 分毎のメッシュの系列を 抽出した. 前述の通り, この GPS データは観測頻度 に粗密があるため, 30 分毎の時点において直前・直後となる観測点を抽出し, 時間差を重みとする重心位置を, 30 分毎のユーザ位置とした. 最後にユーザ 位置を 1 辺の長さが約 $250 \mathrm{~m}$ の 4 分の 1 地域メッシ ユで表現し， 8 日間のメッシュ系列を抽出したもの を Pre-Training 用データセットと呼ぶ. 5 節では，以上のデータセットを訓練: 検証: 評価用に 8:1:1 の割合で分割し評価に用いた。

建物分布はゼンリン社の商品を用いた[12]. 建物 の種別(個人家屋・共同住宅・事業所・複合建物)や,業種(飲食, 物販, 教育, 医療...), 規模(階数, 床面積...)で分類された建物の件数が 113 次元で表現さ れている. 本データは $100 \mathrm{~m}$ 四方毎に集計されてい るため, 面積按分で 4 分の 1 地域メッシュ毎に再集計した. 本研究では, 上記データセットに登場する 建物分布を z-score に標準化して用いる。

## 5 実験と考察

## 5.1 建物分布の予測

はじめに建物分布予測器の性能を評価した。 Zeng ら[4]は, 順序情報が保持されない Attention メ カニズムは連続値の時系列予測においては不利であ ると主張しており,簡易な線形NWからなるDLinear， NLinear を用いて Transformer ベースの予測器 Autoformer[7], Informer[8]を超える精度を確認して いる. Pre-Training 用データセットを用い, 建物分布
においても同様の傾向が見られるか確認した.

各移動軌跡における 7 日間の建物分布ベクトルの 系列から次の 1 日間の系列を予測し, 精度評価した 結果を表 1 に示した. ここで ACC は, 予測した建物分布ベクトルを k-means 法により 5 クラスに分類 した場合の Accuracy を示す(クラス分類方法の詳細 は付録に記載). 本研究では, Transfomer ベースの手法に比べて優れた性能を示した DLinear を建物分布 の予測モデルとして採用した. DLinear が推定した 建物統計ベクトルと正解值との $\cos$ 類似度の分布を 図 3 に示す. $\cos$ 類似度の中央値は 0.71 となってお り. 図 2 における類似度べクトル $S\left(m_{u, i+1}\right)$ は, 次义 ツシュの予測に効果があると期待できる.

## 5. 2 GPT-2 の Pre-Training

本研究では, 図 2 のモデルを構築する前に, PreTraining 用データセットを用いて GPT-2 の訓練と評価を実施した. Mizuno らの研究[2]を参考に,語彙数 を50,000 語としBPE[11]を用いてメッシュをトーク ナイズし, GPT-2 の Pre-Training を実施した. モデル サイズは, Radford ら[9]と同様に 12 層, 768 次元の 内部表現を用いた。

GPT-2 部の推定精度を評価するため，小林ら[3]を 参考に 7 日間の移動軌跡を入力し, GPT-2 のサンプ リング生成[10]機能を用いて次の 1 日間の移動軌跡 を 10 通り推定した(サンプリングパラメータは Top $\mathrm{k}=100$, Top p=0.95). 推定した軌跡は, 交通需要予測 において重要視されている出発地(Origin)と目的地 (Destination)の頻度分布(OD 表)を, bi-gram 頻度から 簡易的に求め評価したところ, 正解との相関は 0.73 であり, 都市の移動を一定程度再現できていると考 えられる。

## 5.3 提案するモデルの評価

本研究は, 図 2 のモデルの基本的な特性を調查す るため, 5.1 と 5.2 で Pre-Training した建物分布予測部と GPT-2を用いて 2 者を統合した提案モデルの性能を評価した. 各時点の推定性能を評価するため, Pre-Training データセットの評価セットから開始時刻を 30 分ずつ 48 パターンでずらしたサンプルを抽出した. 説明変数として 7 日間 336 時点のメッシュ 系列を入力し, $S\left(m_{u, i+1}\right)$ と $P\left(m_{u, i+1}\right)$ を算出した. 図 4 は GPT-2 が予測した尤度 $P\left(m_{u, i+1}\right)$ をヒートマップ (緑色が濃いほどスコアが高い)で示したものであり，正解メッシュを赤枠で表示している、いずれも正解

次メッシュ：住宅地

次メッシュ：商業地

図 4 GPT-2 が予測した次メッシュの尤度

図 5 推定した建物分布類似度

建物分布の類似度

GPT-2の尤度

図 6 GPT2 単体ではうまく推定できない時点 メッシュのスコアが極端に高い単峰性の分布をして おり，GPT-2には人の移動における空間上の制約が 埋め込まれているといえる。

図 5 は, 同様に建物分布類似度 $S\left(m_{u, i+1}\right)$ を可視化 したものである. 図 5(左)は正解である宇都宮二荒山神社周辺のメッシュとの類似度が高くなっている一方で、図 5(右)では正解から空間的にかけ離れた浅草寺周辺のメッシュとの類似度が高くなった。

5.2 節で述べた通り GPT-2 の予測精度は概数高い が, 図 6(右)のように尤度に高い峰が現れず, GPT-2 単体での次メッシュ予測が困難なケースも存在する。

表 2 GPT-2 と建物分布類似度を組み合わせた次メッシュ予測の精度

2. Mizuno, Takayuki, Shouji Fujimoto, and Atushi Ishikawa: Generation of individual daily trajectories by GPT-2. Frontiers in Physics (2022): 1118.

3. 小林, 上坂, 武田, 南川, 森本: GPT-2 を用いた 位置情報ビッグデータに基づく交通需要推定技術,土木計画学研究講演集 Vol.65, 2022

4. Zeng, Ailing, et al. "Are Transformers Effective for Time Series Forecasting?." arXiv preprint arXiv:2205.13504 (2022).

5. 石井, 末成, 越智, 関, 大塚, 酒井, 會田, 南川,「携帯電話 GPS ビッグデータの 都市交通分野に おける活用に向けた信頼性検証」,土木計画学研究講演集, vol. 58, 2018.

6. 吉羽, 小林, 中管, 南川, 冨岡, 森本: スマートフォン 位置情報データを活用したバス需要予測に関する研究, 土木学会論文集 D3, Vol.76, No. 5 (2021)

7. Wu, Haixu, et al. "Autoformer: Decomposition transformers with auto-correlation for long-term series forecasting." Advances in Neural Information Processing Systems 34 (2021): 22419-22430.

8. Zhou, Haoyi, et al. "Informer: Beyond efficient transformer for long sequence time-series forecasting." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 35. No. 12. 2021.

9. Radford, Alec, et al. "Language models are unsupervised multitask learners." OpenAI blog 1.8 (2019): 9.

10. Angela Fan, Mike Lewis, and Yann Dauphin. 2018. Hierarchical Neural Story Generation. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 889-898, Melbourne, Australia. Association for Computational Linguistics.

11. Sennrich, Rico, Barry Haddow, and Alexandra Birch. "Neural machine translation of rare words with subword units." arXiv preprint arXiv:1508.07909 (2015).

12. ゼンリン社 建物統計, https://www.zenrin.co.jp/product/category/gis/contents/b uilding-statistics/index.html

13. 北村 隆一, 交通需要予測の課題, 土木学会論文集, 1996, 1996 巻, 530 号, p. 17-30

## 付録

建物分布ベクトルの特性を確認するため, k-means で 5 クラスに分類した結果を図 7 に示す. 各クラス は概ね，都心・商業地・共同住宅地・一戸建て住宅地・田畑/山林を示すメッシュに分類されており，建物分布の系列がユーザの移動行動のセマンティクス を内包すると期待できる。

マンション

都心

図 7 建物分布のクラスタリング結果


# Towards Unsupervised Remote Sensing Image Captioning and Retrieval with Pre-Trained Language Models

Megha Sharma, Yoshimasa Tsuruoka
The University of Tokyo
\{meghas, yoshimasa-tsuruoka\}@g.ecc.u-tokyo.jp
}

\begin{abstract}
Captioning and retrieval is an important yet underdeveloped task for large remote sensing databases due to limited training resources. We propose a captioning framework that does not require human-made annotations. Using land cover maps as statistical prompts, we use ChatGPT for natural caption generation. Our experiments with OpenEarthMap reveal that pre-trained language models are capable of inferring and describing high level environment information using land cover statistics of the image.
\end{abstract
## 1 Introduction

Recent improvements in remote sensing technology have led to an unprecedented growth in the applications of Remote Sensing Images (RSI) for Geo-spatial Information Systems. One such application is known as Land Usage / Land Cover Mapping (LULC), which aims to classify and understand the terrain and usage of the piece of land captured in the RSI [1]. Well-maintained LULC can aid in land cover monitoring, resource planning, and land management [1] [2].

With more data available than ever, accurate and robust image captioning and retrieval methods have become important to maintain such large databases. OpenEarthMap (OEM) is one such benchmark LULC dataset that offers diverse locations and high quality land cover annotations [2]. Historically, retrieval systems for these databases are queried by image or image patterns [3]. However, it is more intuitive for humans to annotate or query with textual descriptions instead [4]. Cross-modal text-image retrieval and captioning systems present an interesting opportunity to combine Geo-spatial information with Natural Language Processing (NLP) techniques. The opportunity explores the challenge of measuring cross-modal semantic similarity. Intuitively, this can be approached as a two-step process of converting and comparing the database mode to the query mode. Hoxha et al.[5] successfully used deep learning networks to measure similarities between captions generated from the RSI in the database with the queried text. However, these frameworks depend on a large amount of labelled training data to successfully annotate images and measure similarity with query text. Existing caption datasets, such as [6] [7], are limited by the resources required to generate captions. Moreover, the captions are often based on lower-level knowledge such as identified objects like airplanes and stadiums, which is difficult to evaluate without further expert knowledge on the location. On the other hand, LULC information is usually predefined and easier to distinguish even to a common eye.

We are motivated to study unsupervised approaches for RSI captioning to reduce the overhead of manually generating such annotations to train for retrieval systems. Template-based methods are popular to extract visual descriptions into a rule-based output. The annotations by this approach are arguably limited for describing higher level semantic information [5]. However, language models have since made considerable leaps, one such being the release of ChatGPT ${ }^{1)}$, a pre-trained language model trained to perform like a chat bot.

In this paper, we aim to explore if it is possible for such pre-trained language models to recognize higher-level information such as landscape (e.g., rural, urban, and forest) with controlled and uncontrolled generation based on statistical LULC information. We found that pre-trained models could successfully generate natural language captions for the RSI, bringing us one step closer to developing a framework of cross modal retrieval and captioning systems without labelled data. The code is available on GitHub ${ }^{2)}$.

## 2 Method

Let $I=\left.\{I_{1}, I_{2}, \cdots, I_{N}\right.\}$ be a database of $N$ images. For any image $I_{i}$ in the database, there is a corresponding LULC cover map for the image, $I_{i}^{L C}$. We can divide the unsupervised caption generation into three main steps:

1. Land Cover Mapping

2. Statistical Image Understanding

3. Natural Language Generation

The framework, illustrated in Fig. 1, can be used as is for annotation-based retrievals [5] or used to generate ground truth for few shot learning models for supervised image to text retrieval models, such as those proposed in [8].

## 2.1 Land Cover Mapping

To create a truly end-to-end model for unlabelled captioning, we first predict land cover maps from remote sensing images. We experimented with three different types of UNet models, in particular the recent UNetFormer, which gained traction for semantic segmentation [9]. An advantage of these models is that it can be adapted using many different types of vision transformers as its backbone encoder. The network is trained using labelled image pairs of RSI and LULC images. The predictions are a 2D array where each cell's location (row, column) corresponds to the predicted class of the pixel at the same location.

## 2.2 Statistical Image Understanding

Feature extraction plays a key role to project one mode of information to another. Historically, cross-modal textimage systems extract semantic topics using a statistical and semantic analysis of the captions [10]. We translate the image composition and land cover structure into a template statistical prompt for the next step. The land cover classes are mapped to their text labels pre-defined by the training dataset in the prompt. Examples of the statistical prompt is shown in Fig. 2. The image understanding steps are explained in subsections below.

## 2.2.1 Image Composition

Suppose class $C$ is one of the classes present in a predicted LULC image $I_{i}^{L C^{\prime}}$, we calculate the percentage of the composition for class $C$ as follows.

$
\text { Compostion }\left(C \mid I_{i}^{L C^{\prime}}\right)=\frac{\# \text { pixels predicted as } C}{\text { Total \# of pixels }}
$

## 2.2.2 Land Cover Structure

To support image composition, we also describe the locations of prominent land classes. Using the median location of top 2 classes in the LULC, we locate the centroid of each class. Unlike calculating mean, median is more robust to outliers. If the centroid falls into a circle with a radius of $10 \%$ of image size from the center, it is classified with Center location. This threshold accounts as a reasonable margin to describe the location of the LULC class. Any centroid outside of this area is classified as either Upper left, Upper Right, Lower Left, or Lower Right by dividing the image into four quadrants with the center of the image as the center of the quadrant.

## 2.3 Natural Language Generation

In the natural language generation stage, we use the inference of large pre-trained models to convert low level statistical text to a natural sounding caption. In this paper, we use ChatGPT, which was capable of summarising radiology reports without jargon for patients [11]. The statistical prompt is input to ChatGPT for either controlled or uncontrolled generation. In uncontrolled generation the ChatGPT is only asked to "write a natural image caption in 2 lines without numbers" for the given statistical prompt without a ground truth. Restrictions are placed on the length and usage of numbers to reflect annotations found in existing datasets [6]. To test the model against some ground truth, we created four captions as positive examples for ChatGPT. The motivation for controlled generation stems from supervised few-shot training, where we give ChatGPT a few positive examples for generated captions and then ask it to generate given novel statistical prompts, in an attempt to raise behavior expected from the model. We also used five examples from a popular dataset with annotations, RSICD dataset [6] for a more robust ground truth. The images selected from the RSICD dataset were selected to have annotations related to the environment or land cover, as most of the images in the dataset actually describe specific objects or buildings.

Figure 1 The 3-step framework for unsupervised natural language caption generation. In (a), the training data is used to train a model (e.g. UNetFormer) to generate land cover maps of the input. The inferred LULC outputs are used to extract visual information including composition and structure in (b). Finally, in (c), the template is sent as an input to a language model (here we use ChatGPT), to generate natural language captions inferring higher level semantics such as environment (e.g., city center).

## 3 Experiment with OpenEarthMap and ChatGPT

To test the framework, we train several UNet models on the OEM Mini, a smaller version of the OEM dataset with 1068 examples with sub-meter resolution classified into 8 land cover labels. We used a 70-30 train-test split of the dataset for training, and trained with a batch size of 16 . The RGB images were divided into three input channels, and each image was transformed into a $512 * 512$ size image. The learning rate was set at $10^{-3}$ with a weight decay $10^{-6}$. The model is trained with the Dice loss function [12] and Adam optimisation. We objectively evaluated the land cover model using pixel-wise mean Intersection over Union (mIoU), a standard metric to measure the coverage between the true and predicted classes. Our experiments found that the UNetFormer model with SE Res-Net encoder performs best with an mIoU of $53.4 \%$ on the validation dataset and $63.13 \%$ on the test dataset. Using the trained UNetFormer with SE Res-Net land cover model, we retrieved 6 land cover maps from the test split of the dataset, intentionally selecting images with diverse land composition to study the performance across a variety of environments. The extracted statistical information was fed with controlled and uncontrolled prompts into the ChatGPT, and we found that ChatGPT was able to successfully convert the prompts to natural sounding captions.

## 3.1 Uncontrolled Generation

Without seeing any ground truth, ChatGPT is still able to infer urban environments in the generation captions. As seen in the left-hand example in Fig.2, ChatGPT describes the image as urban (city-like) when "buildings" is one of the top two classes. This presents the inherent potential of language models to infer higher level information, such as understanding a high concentration of buildings and grass reflects a "mix or urban and natural elements". The language model is also able to describe quantitative information using relative descriptors, such as converting " $31.3 \%$ buildings" to "buildings taking up a significant portion of the frame" and " $1.2 \%$ Water" to "a hint of water". All of the generated captions were found to be complete, i.e., they used all information provided in the prompt.

The generated captions particularly featured prominent use of creative adjectives. These adjectives seem to be inferred from the language model's training data. For example, "lush trees", "tall buildings", "bustling cityscape" were used in the captions, when no such descriptions were used in the prompt. In the best case scenario, these are positive descriptors of the image; however at worst, these are classified as hallucinations. Hallucination is a common problem with ChatGPT [11]. Albeit not dangerous in this application, it can still raise false positives when querying the annotations. The quality of the land cover map also raises false artefacts in the description when predicting incorrect land classes. This is shown in the right hand example in Fig. 2. The buildings are described as "towering", and a non-existent "body of water" is also described in the caption.

Figure 2 A positive (left hand side) and negative (right hand side) run of the framework with controlled and uncontrolled generation. In the land cover maps (below original image), the orange dot in the center represents the center of the image and the magenta dots represent the median of the two most prominent classes. In the generations, yellow highlights the higher level environment information inferred from the statistics, green highlights the creative adjectives used by ChatGPT that may or may not be accurate to the image, and red highlights the incorrect inferences in the generated captions.

## 3.2 Controlled Generation

Despite a promising start, uncontrolled generation struggled to infer non-urban environments such as rural or forest areas. Hence, we gave ChatGPT examples of four positive examples of captions, using diverse statistical prompts and asked it to re-generate captions for the previous six land cover maps. One of the most important discovery was that controlled generation managed to solve the biggest issue at hand, and ChatGPT correctly inferred environment descriptors such as "forest", "countryside", "metropolis", and "city" in the controlled generation. In general, this also helps control the hallucinations in the generated captions, and strengthens the proposal of the methodology.

In order to truly test the framework against existing ground truth, we also explore results of controlled generations using the RSICD dataset [13]. We found that ChatGPT was able to successfully mimic the style of the RSICD dataset, with short and generic sentences about the images. This also highlights another ability of large pre-trained language models to mimic styles when generating captions. The generated captions contain similar keywords as the ground truth, and this was made apparent with the $50.1 \%$ BLEU1 score of the generated captions against ground truth of the RSICD and the $56.6 \%$ BLEU1 score with positive examples from OEM Mini as described in Tab.1. The BLEU1 and BLEU2 scores refer to overlapping 1-gram and 2-gram in the reference and candidate sentences.

## 3.3 Future Opportunities

ChatGPT and large pre-trained language models present a creative opportunity towards natural image captioning.
Table 1 BLEU1 and BLEU2 scores with the ground truth of RSICD and positive examples for OpenEarthMap

From our preliminary findings we propose the following opportunities and challenges ahead
- Few-shot Modeling - Using generated captions as ground truth for a few-shot learning captioning models such as those proposed in [14].
- Autonomous Caption and Retrieval Systems ChatGPT managed to recover higher level information about the environment using low level land class information. This presents an unprecedented opportunity with autonomous captioning and retrieval systems. Although there are risks of hallucination and misinformation, with controlled generation, we can explore a framework where a user can search for an RSI image using vague text descriptions. We can also expand the framework with multi-level information [15] [16].

## 4 Conclusion

We found that pre-trained models like ChatGPT are able to infer information about the image with just a statistical description of remote sensing images. Although the scope of the experiments was limited, the results spark an exciting conversation of using large pre-trained models to automate labour intensive tasks in the field of Remote Sensing Image Analysis. In future work, we plan to further elaborate the framework for caption and retrieval databases for land cover map images with more robust experiments and future opportunities.

## Acknowledgements

This paper would have not been possible without the work of Naoto Yokoya. Also extending our gratitude to Qiyu $\mathrm{Wu}$, who helped us gain an interesting take on our experiments.

## References

[1] John Rogan and DongMei Chen. Remote sensing technology for mapping and monitoring land-cover and land-use change. Progress in planning, Vol. 61, No. 4, pp. 301325, 2004.

[2] Junshi Xia, Naoto Yokoya, Bruno Adriano, and Clifford Broni-Bediako. Openearthmap: A benchmark dataset for global high-resolution land cover mapping. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pp. 6254-6264, 2023.

[3] Jaroslaw Jasiewicz and Tomasz F Stepinski. Examplebased retrieval of alike land-cover scenes from nlcd2006 database. IEEE geoscience and remote sensing letters, Vol. 10, No. 1, pp. 155-159, 2012.

[4] Mohamad M Al Rahhal, Yakoub Bazi, Taghreed Abdullah, Mohamed L Mekhalfi, and Mansour Zuair. Deep unsupervised embedding for remote sensing image retrieval using textual cues. Applied Sciences, Vol. 10, No. 24, p. 8931, 2020.

[5] Genc Hoxha, Farid Melgani, and Begüm Demir. Toward remote sensing image retrieval under a deep image captioning perspective. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, Vol. 13, pp. 4462-4475, 2020.

[6] Xiaoqiang Lu, Binqiang Wang, Xiangtao Zheng, and Xuelong Li. Exploring models and data for remote sensing image caption generation. IEEE Transactions on Geoscience and Remote Sensing, Vol. 56, No. 4, pp. 21832195, 2017.

[7] Bo Qu, Xuelong Li, Dacheng Tao, and Xiaoqiang Lu. Deep semantic understanding of high resolution remote sensing image. In 2016 International conference on computer, information and telecommunication systems (Cits), pp. 1-5. IEEE, 2016.

[8] Qimin Cheng, Yuzhuo Zhou, Peng Fu, Yuan Xu, and Liang Zhang. A deep semantic alignment network for the crossmodal image-text retrieval in remote sensing. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, Vol. 14, pp. 4284-4297, 2021.

[9] Libo Wang, Rui Li, Ce Zhang, Shenghui Fang, Chenxi Duan, Xiaoliang Meng, and Peter M Atkinson. Unetformer: A unet-like transformer for efficient semantic segmentation of remote sensing urban scene imagery. ISPRS Journal of Photogrammetry and Remote Sensing, Vol. 190, pp. 196-214, 2022.

[10] Binqiang Wang, Xiangtao Zheng, Bo Qu, and Xiaoqiang Lu. Retrieval topic recurrent memory network for remote sensing image captioning. IEEE Journal of Selected Topics in Applied Earth Observations and Remote
Sensing, Vol. 13, pp. 256-270, 2020

[11] Katharina Jeblick, Balthasar Schachtner, Jakob Dexl, Andreas Mittermeier, Anna Theresa Stüber, Johanna Topalis, Tobias Weber, Philipp Wesp, Bastian Sabel, Jens Ricke, et al. Chatgpt makes medicine easy to swallow: An exploratory case study on simplified radiology reports. arXiv preprint arXiv:2212.14882, 2022.

[12] Carole H Sudre, Wenqi Li, Tom Vercauteren, Sebastien Ourselin, and M Jorge Cardoso. Generalised dice overlap as a deep learning loss function for highly unbalanced segmentations. In Deep learning in medical image analysis and multimodal learning for clinical decision support, pp. 240-248. Springer, 2017.

[13] Shan Cao, Gaoyun An, Zhenxing Zheng, and Qiuqi Ruan. Interactions guided generative adversarial network for unsupervised image captioning. Neurocomputing, Vol. 417, pp. 419-431, 2020.

[14] Haonan Zhou, Xiaoping Du, Lurui Xia, and Sen Li. Selflearning for few-shot remote sensing image captioning. Remote Sensing, Vol. 14, No. 18, p. 4606, 2022.

[15] Zhenwei Shi and Zhengxia Zou. Can a machine generate humanlike language descriptions for a remote sensing image? IEEE Transactions on Geoscience and Remote Sensing, Vol. 55, No. 6, pp. 3623-3634, 2017.

[16] Zhiqiang Yuan, Wenkai Zhang, Changyuan Tian, Xuee Rong, Zhengyuan Zhang, Hongqi Wang, Kun Fu, and Xian Sun. Remote sensing cross-modal text-image retrieval based on global and local information. IEEE Transactions on Geoscience and Remote Sensing, Vol. 60, pp. 1-16, 2022.

[17] Jie Hu, Li Shen, and Gang Sun. Squeeze-and-excitation networks. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 71327141, 2018.

## A Appendix

## A. 1 Results from the LULC Modeling

Tab. 2 covers the results from training 8 different types of models for the land cover mapping. The results are shown on the validation dataset only. The SE Res-Net module uses Squeeze-and-Excitation blocks to model interdependencies between channels [17]. The ability for SE Res-Net to re-calibrate its features works well with semantic segmentation tasks.

Table 2 Results from LULC modeling experiments

## A. 2 Example Generations

## Statistical Prompt:

4.2\% Grass, 3.3\% Pavement, $1.2 \%$ Road, $50.5 \%$ Tree, $39.4 \%$ Cropland, 1.2\% buildings, Tree in upper right. Cropland in lower left. Uncontrolled Generation:

The [ush trees dominate the landscape, with a small amount of pavement and grass visible. In the lower left, fields of crops stretch out, while a few buildings dot the terrain Controlled Generation:

A Iush forest takes up the upper right of the image, with a sprawling field of crops in the lower left. A fiew patches of grass and a few scattered buildings and roads can be found throughout the area

Figure 3 Uncontrolled and controlled generations of the OEM Mini dataset. In the land cover maps, the orange dot in the center represents the center of the image and the magenta dots represent the median of the two most prominent classes.

Statistical Prompt:

17.3\% Grass, $4.6 \%$ Pavement, $7.7 \%$ Road, $39.3 \%$ Tree, $31.1 \%$ buildings, Tree in upper right. buildings in center. Ground Truth: buildings and many green trees are in a dense esidential are Generated Caption: a city with many buildings and trees

Statistical Prompt: 13.3\% Grass, $86.7 \%$ Tree, Tree in upper left. Grass in lower right. Ground Truth: a bare land in the middle of the forest Generated Caption: a forest with a small patch of grass

Statistical Prompt:

95.8\% Grass, $3.9 \%$ Tree, Grass in center. Tree in lower left.

Ground Truth:

many green trees are in a piece of forest Generated Caption: a grassy field with a few trees

Figure 4 Generations and ground truth of the RSICD dataset. In the land cover maps, the orange dot in the center represents the center of the image and the magenta dots represent the median of the two most prominent classes.


# ツイート発言の座標またはグリッドの予測基盤の開発

大西駿太朗 ${ }^{1}$ 矢田竣太郎 ${ }^{1}$ 若宮翔子 ${ }^{1}$ 荒牧英治 ${ }^{1}$
1 奈良先端科学技術大学院大学
\{shuntaro.onishi.or3,s-yada,wakamiya, aramaki\}@is.naist.jp

## 概要

Twitter をはじめとするソーシャルネットワーク サービスの分析は．都市デザイン，災害・疾病把握 や社会調査などに多く用いられてきた。しかし，位置情報の付与されたツイートは全体の $1 \%$ 未満と報告されている．そこで，位置情報を推定する研究が 行われている.これらの研究は入力の形式と出力の 形式で分けることができる．本稿では入力をツイー 卜発言，出力を緯度経度および地域メッシュとし，位置推定モデルを作成した. 作成したモデルのボト ルネックを考察するとともに，今後開発されるであ ろう位置情報を用いたさまざまなサービスの基盤と なる位置推定 Web APIを構築したので報告する.

## 1 はじめに

Twitter はソーシャルセンシングによく用いられて いる.ソーシャルセンシングとは既存のセンサでは 捉えることができない情報を捉えるため，ソーシャ ルネットワークサービスのユーザをセンサとみな し，実世界の現象を観測することである [1]. ソー シャルセンサは，これまで，都市デザイン，災害・疾病把握や社会調査などに多く用いられてきた. 都市デザインにおいては，土地利用やランドマークの 特定など，街並みの特徴付けの可能性が検討されて きた $[2,3,4]$. 災害・疾病予測では，対災害 SNS 情報分析システム ${ }^{1)}$, 台風軌道の予測 [5], インフルエ ンザの流行把握 [6] や COVID-19 のクラスタ検出 [7] が行われてきた. 社会調査における利用も多く, 選挙, 株価, 政治的思考の違い [8] などの研究や, 人々 の気分を推定し, 時間変化や地域差を可視化する研究 $[9,10]$ も行われている.

このように，ソーシャルセンシング研究の多くに おいて位置情報は必須である．しかし，Twitter で得 られる位置情報は十分でないことが多い。例えば， ツイートの投稿者の位置情報はユーザが任意に付与

1) https://disaana.jp/rtime/search4pc.jsp
するものであり，位置情報の付与されているツイー

このため，多くのソーシャルセンシングサービス は，メタ情報やテキスト中のランドマーク表現な ど，何らかの方法を用いて位置情報を推定すること でカバレージを上げている，位置情報を補完するた めのツイートの位置予測研究も，この 10 年ほど活発に行われてきた。 中でも，W-NUT2016の Twitter の位置情報予測シェアードタスク ${ }^{2)}$ [12] のデータ は，現在でもベンチマークとしてしばしば利用され ている.

位置推定タスクは，入力の形式と出力の形式の 2 つの軸で整理が可能である.

入力の形式: 位置推定の入力としては, 発言者・ユー ザの一連の文書か，単一文書（発言メッセージ，ツ イート）かの 2 つのレベルがある. 本稿では，前者 の発言者の居住地を予測することをユーザレベル，後者の発言メッセージが投稿された位置を予測する ことをメッセージレベルと呼ぶ.

出力の形式: 位置推定の出力は, 緯度経度, 県や都市など様々な形式がある．等間隔のグリッドに分割 することや [13]，投稿の多い地域では細かいグリッ ド，投稿の少ない地域では大きいグリッドを生成す る手法が提案されている [14]. またメッセージレべ ルにおいて，その推定の不確実性を表現するため に, 出力位置の確率分布を出力する場合もある [15].代表的な等間隔のグリッドとして，地域メッシュが ある。地域メッシュは緯度経度から算出され，行政区画の変更にも左右されないという利点から，統計調査によく用いられる.

このように考えると，例えば，前述のシェアー ドタスクの距離ベースの評価によるべストシステ ム [16] は，メッセージレベルを入力とし，緯度経度 を出力すると捉えることができる.

位置情報を利用した多くのサービスが提案されて いるが，位置情報を推定するために，それぞれ個別

2) https://noisy-text.github.io/2016/geo-shared-task.html

入カテキスト：琵琶湖なう

予測メッシュコード : 5235

図 1: メッセージレベルの位置予測 Web API. 「琵琶湖な う」に対して予測した地域メッシュ（1 次メッシュ） を出力した例.

の実装を行っていたり，ブラックボックス化してい る場合も多い. そこで，我々は，標準的な位置予測基盤があれば，多くのサービス開発を簡素化できる だけでなく, 精度比較や再現性検証においても重要

ては，デモグラフィック解析，またはソーシャルリ スニングツールとして商用サービスがあるものの， メッセージレベルの推定については，手法の透明性 が高いスタンダードなサービスが存在しない。本稿 では，今後開発されるであろうサービスの基盤とな る座標と等間隔グリッド（地域メッシュ）の両方に 対応したメッセージレベルの位置推定 Web $\mathrm{API}^{3}$ )を 構築したので報告する. 図 1 に Web API の例を示す.「琵琶湖なう」というメッセージレベルの入力に対 し，地域メッシュを（1 次メッシュ）を予測して地図上に出力した結果である.

## 2 データ

ツイート投稿者の日本国内における位置を予測するモデルを構築するために，日本における位置情報付きツイートを利用する. Twitter API v2 の Academic Research アクセスで “place_country:jp”のク エリを指定し，2022 年 7 月 1 日から同月 31 日まで， 1 時間あたり小よそ 1500 件，合計 $1,111,576$ 件の位置情報 (GeoTag) 付きツイートを取得した.

GeoTag には, 特定の緯度・経度を示す “Point” と特定のエリアを表す “Place”があり，それぞれ一意に

定まる place_id と関連付けられている。このplace_id に基づき，対応する緯度・経度を各ツイートに付与 する。なお，GeoTag が特定のエリアを表す “Place” の場合は，そのエリアの南端と西端および北端と東端の緯度・経度を付与する。

次に，各ツイートの緯度・経度に基づき，地域 メッシュコードを付与する，地域メッシュは，都道府県よりも粒度が小さく, 行政区画の変更にも左右 されないという利点から，統計調査によく用いられ る地域分割である. 1 次メッシュは地域メッシュの なかで最も粒度の大きい分割で， 1 辺が約 $80 \mathrm{~km}$ で ある. 2 次メッシュは 1 次メッシュを $8 \times 8$ マスに 分割したもので 1 辺が約 $10 \mathrm{~km}$ である. 今回は，各 ツイートの緯度・経度に基づき，1 次メッシュコー ドと 2 次メッシュコードを付与する。

本文に含まれる URL，メンションおよび半角・全角スペースは除去した。

## 3 提案手法

本研究では, 緯度・経度を回帰問題として推定す るモデル（緯度経度推定モデル）と，地域メッシュ を分類問題として推定するモデル（メッシュ推定モ デル）を構築する.メッシュ推定モデルはさらに， 1 次メッシュ推定モデルと 2 次メッシュ推定モデル とで別個に作成する。 入力テキストをエンコードす るモデルとして Bidirectional Encoder Representations from Transformers (BERT) [17]を日本語コーパスで事前学習したモデル ${ }^{4)}$ を採用した. 緯度経度推定モデ ルおよび 1 次メッシュ推定モデルでは日本全体を予測範囲とする。一方，2 次メッシュ推定モデルでは 予測範囲を東京（1 次メッシュコード: 5339）に限定し，計算負荷が高くなり過ぎない程度の予測メッ シュ数に抑えた. 1 次メッシュ推定モデルで 140,2 次メッシュ推定モデルで 61 のメッシュを予測する。

緯度経度推定モデルの目的関数と評価関数は，と もに緯度経度の平均二乗誤差とする。なお，地球が 完全な球でないことによって起きる実際の距離のず れは補正しない。また。メッシュ推定モデルの目的関数と評価関数には cross entropy を用いた。

## 4 結果

位置情報付きツイートデータを 8 （訓練）:1（検証）：1（テスト）の割合で分割し，構築した緯度経

4) https://huggingface.co/cl-tohoku/ bert-base-japanese-whole-word-masking
表 1: 各モデルに対する test loss と test accuracy

度推定モデルとメッシュ推定モデルの精度を評価 した.なお，ツイートの多くは東京近辺および人口 の多い都市で投稿されるため，データの不均衡が 生じる。そのため，1 次メッシュ推定モデルにおい ては同一メッシュ内のデータを 300,000 件以内に制限し，1,111,576 件の位置情報付きツイートを用い た。また 2 次メッシュ推定モデルについては東京都 の大部分を含む地域メッシュ（1 次メッシュコード： 5339) を対象としたため，323,234 件の位置情報付き ツイートを用いた. 学習条件として最適化手法は Adam, 学習率は $1.0 \times 10^{-5}$, エポック数は 5 , バッチ サイズは 2 とした. 表 1 に緯度経度およびメッシュ 推定のテストデータ推定結果を示す.

## 5 考察

## 5.1 緯度経度推定モデル

日本周辺の緯度，経度 $1^{\circ}$ あたりの距離は約 $90 \mathrm{~km}$ であることから， $\sqrt{\text { test loss }}=\sqrt{24} \fallingdotseq 4.9$ は非常に大 きなずれと言える。この原因を分析するために，緯度経度推定モデルによる「奈良公園なう」の予測位置と，学習データにおいて “奈良公園”を含むツイー 卜を地図上に可視化した (図 2a). 赤色のピンがモ デルの出力であり，黄色の円で示された範囲に 25 件の学習データがあり，青色のピンに 1 件学習デー タが存在した. 実際には奈良公園は黄色の円内に存在する。青色のピンのツイート本文は「奈良公園の 鹿みたいに白鳥がいます」であり。この投稿におい ては，投稿者が実際にいる地点と言及された地点が 一致していない。この地点のずれは $\mathrm{A} / \mathrm{B}$ 問題 [18] と呼ばれている。この影響により予測位置が東側に 大きく引っ張られている.

## 5.2 メッシュ推定モデル

1 次メッシュ推定モデルにおける「奈良公園なう」 の出力結果を図 $2 b$ に示す. 緯度経度推定モデルと 異なり，奈良公園を含む地域メッシュを正しく出力 している。これは緯度経度推定モデルが回帰問題を

(a) 緯度経度推定モデル

(b) 1 次メッシュモデル図 2: 「奈良公園なう」の予測結果，(a) 赤色のピンは緯度経度推定モデルによる「奈良公園なう」の予測位置,青色のピンと黄色の円は「奈良公園」を含む train データの位置を示す

扱っているのに対し，1 次メッシュ推定モデルはク ラス分類問題を扱ったためであると考えられる。

続いて 1 次メッシュ推定モデルにおける本文に含 まれる地名の数と推定精度の関係を分析した. 具体的には，Spacy の "ja_core_news_md"5) の GPE ラベル に基づき，ツイート中の地名を抽出した（表 3）.テ ストデータのうち，地名を含まないものが大半（約 $85 \%$ ）を占め，地名を 1 つ含むものが約 $11 \%$ ，地名 を複数含むものが約 $4 \%$ であった.

同様に 2 次メッシュ推定モデルにおいても地名の有無と予測精度の関係を分析した。表 2 の (1)(4)(7)(10) は地名を含まない例，(2)(5)(8)(11) は地名を 1 つ含む例，(3)(6)(9)(12) は地名を複数含む例 である.(1)のように地名を含まないツイートの予測精度は低い.このようなツイートの位置を予測す ることは人間にも難しいので妥当な結果と言える。地名を複数含むときは，地名を 1 つしか含まないと きと比べ予測精度が高い。その要因として，(3)の 旭川市と北海道のように包含関係にある地名が出現 する，または同一の地名が繰り返し出現することが 挙げられる. また同一の地名が繰り返し出現するツ イートは，ハッシュタグにより地名が追加されてい ることが多かった. 一方で，(12)のように位置的に 全く異なる地点を挙げている場合は予測が難しい.

また，1 次メッシュ推定モデルにおける地名を含 まない正解データは 7,305 件であった. 地名以外の 地点を特定できる要因を調べるために該当データを 分析したが，有益な分析結果は得られなかった。

このように地名を含まないツイートが多いこと が，予測精度が向上しない一因であると考える．加 えて，隣接する地域メッシュにおいて，ツイート内容に大きな差が見られないことが，メッシュ推定モ

5) https://spacy.io/models/ja
表 2: メッシュ推定モデルにおける正解例と誤り例.(1)-(6) は 1 次メッシュ推定モデルによる結果，(7)-(12) は 2 次メッ シュ推定モデルによる結果. 太字は固有表現抽出により抽出された地名を表す.

表 3: 地名の有無と推定精度の分析. 地名を含むツイート の方が Accuracy が高いことがわかる.

デルの正解率が $20 \%$ か $30 \%$とどまった原因で あると考えられる。これは特に 2 次メッシュ推定モ デルにおいて顕著である．例えば，観光地において $10 \mathrm{~km}$ 先に有名なスポットがある場合，もしくは， $80 \mathrm{~km}$ 離れた地点であれば方言など，ツイートに言語的な差が現れる可能性がある. しかし, 街中や住宅街において言語的な差が現れる可能性は低く，依然として難しい問題であると言える.

## 6 おわりに

本研究では Twitter API から取得した位置情報付き ツイートを用いて位置推定モデルを作成した. 同時 に Web API として公開した. 緯度経度推定モデルで は A/B 問題により予測が大きくずれること，また地域メッシュモデルでは地名を含まないツイートが多 いために位置推定が困難であることを示した.

本研究で提案した手法の精度は, 緯度経度モデ ルで平均約 $441 \mathrm{~km}(\sqrt{\text { testloss }} * 90=\sqrt{24} * 90 \fallingdotseq 441)$, メッシュ推定モデルでは Accuracy が $20 \%$ から $30 \%$ であり，位置情報をもとにしたサービスや研究への 応用のためには, さらなる精度の向上は不可欠であ る. ツイート本文には地名が含まれていないものが多く，人間にも推定が難しいと考えられる。ユーザ のプロフィール情報や投稿時間など他の情報を用い ることにより精度が改善する可能性がある。

また出力の提示方法についても検討の余地があ る. 例えば「朝起きるのが辛かった」というツイー トがあったとき，人間であれば予測不可能な問題と して扱うことになる. しかし，提案モデルは必ず特定の位置を出力するため，位置推定における曖昧性 を適切に表すことができていない．特定の地域メッ シュではなく，すべての地域メッシュに対する確率 を出力する方法も検討したい. また，そもそも人間 が正確に位置予測できるツイートの割合や典型的な 誤りの粒度（地方レベル，都道府県レベル，ランド マークレベルなど）はあまり知られていない。人間 にも予測可能なツイートのみを用いてモデルを評価 し，課題を検討したい.

## 謝辞

本研究は, JSPS 科研費 JP22H03648, JP22K12041, JST SICORP JPMJSC2107, Yahoo 株式会社共同研究費の支援を受けたものである。

## 参考文献

[1] Kenta Sasaki, Shinichi Nagano, Koji Ueno, and Kenta Cho. Feasibility Study on Detection of Transportation Information Exploiting Twitter as a Sensor. In Proceedings of the International AAAI Conference on Web and Social Media, 2012.

[2] Vanessa Frias-Martinez, Victor Soto, Heath Hohwald, and Enrique Frias-Martinez. Characterizing Urban Landscapes Using Geolocated Tweets. In 2012 International Conference on Privacy, Security, Risk and Trust and 2012 International Confernece on Social Computing, pp. 239-248, 2012.

[3] Ryong Lee, Shoko Wakamiya, and Kazutoshi Sumiya. Urban area Characterization Based on Crowd Behavioral Lifelogs over Twitter. Personal and Ubiquitous Computing, Vol. 17, p. 605-620, 2013.

[4] Panote Siriaraya, Yuanyuan Wang, Yihong Zhang, Shoko Wakamiya, Péter Jeszenszky, Yukiko Kawai, and Adam Jatowt. Beyond the Shortest Route: A Survey on QualityAware Route Navigation for Pedestrians. IEEE Access, Vol. 8, pp. 135569-135590, 2020.

[5] Takeshi Sakaki, Makoto Okazaki, and Yutaka Matsuo. Earthquake Shakes Twitter Users: Real-Time Event Detection by Social Sensors. In Proceedings of the 19th International Conference on World Wide Web, WWW '10, p. 851-860, 2010.

[6] Eiji Aramaki, Sachiko Maskawa, and Mizuki Morita. Twitter Catches The Flu: Detecting Influenza Epidemics using Twitter. In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, pp. 1568-1576, 2011 .

[7] Shohei Hisada, Taichi Murayama, Kota Tsubouchi, Sumio Fujita, Shuntaro Yada, Shoko Wakamiya, and Eiji Aramaki. Surveillance of Early Stage COVID-19 Clusters Using Search Query Logs and Mobile Device-Based Location Information. Scientific Reports, Vol. 10, p. 18680, 2020

[8] Adam Badawy, Emilio Ferrara, and Kristina Lerman. Analyzing the Digital Traces of Political Manipulation: The 2016 Russian Interference Twitter Campaign. In 2018 IEEE/ACM International Conference on Advances in Social Networks Analysis and Mining (ASONAM), pp. 258-265, 2018.

[9] Alan Mislove, Sune Lehmann, Yong-Yeol Ahn, JukkaPekka Onnela, and J. Niels Rosenquist. Pulse of the Nation: U.S. Mood Throughout the Day inferred from Twitter, 2010. https://www.ccs.neu.edu/home/amislove/ twittermood/.

[10] Mark E. Larsen, Tjeerd W. Boonstra, Philip J. Batterham, Bridianne O'Dea, Cecile Paris, and Helen Christensen. We Feel: Mapping Emotion on Twitter. IEEE Journal of Biomedical and Health Informatics, Vol. 19, No. 4, pp. 1246-1252, 2015.

[11] ツイッターの空間分析. 古今書院, 2019.

[12] Bo Han, Afshin Rahimi, Leon Derczynski, and Timothy Baldwin. Twitter Geolocation Prediction Shared Task of the 2016 Workshop on Noisy User-generated Text. In Proceedings of the 2nd Workshop on Noisy Usergenerated Text (WNUT), 2016.

[13] Benjamin Wing and Jason Baldridge. Simple Supervised Document Geolocation with Geodesic Grids. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, 2011.

[14] Stephen Roller, Michael Speriosu, Sarat Rallapalli, Benjamin Wing, and Jason Baldridge. Supervised Text-Based Geolocation Using Language Models on an Adaptive Grid. In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, EMNLPCoNLL'12, p. 1500-1510, 2012.
[15] Hayate Iso, Shoko Wakamiya, and Eiji Aramaki. Density Estimation for Geolocation via Convolutional Mixture Density Network. arXiv preprint arXiv:1705.02750, 2017.

[16] Yasuhide Miura, Motoki Taniguchi, Tomoki Taniguchi, and Tomoko Ohkuma. A Simple Scalable Neural Networks based Model for Geolocation Prediction in Twitter. In Proceedings of the 2nd Workshop on Noisy Usergenerated Text (WNUT), pp. 235-239, 2016.

[17] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, author $=$.

[18] Rabindra Lamsal, Aaron Harwood, and Maria Rodriguez Read. Where id you Tweet from? Inferring the Origin Locations of Tweets Based on Contextual Information. arXiv preprint arXiv:2211.16506, 2022.


# 場所参照表現と位置情報を紐付ける ジオコーディングの概観と発展に向けての考察

久本空海 ${ }^{1}$ 西尾悟 ${ }^{1}$ 井口奏大 ${ }^{1}$ 古川泰人 ${ }^{1}$

1 株式会社 MIERUNE 2 奈良先端科学技術大学院大学 3 情報通信研究機構
4 理化学研究所
\{hisamoto,nishio, iguchi, furukawa\}@mierune.co.jp,
\{otomo.hiroyuki.ob7, hiroki.ouchi\}@is.naist.jp, shohei.higashiyama@nict.go.jp

## 概要

ジオコーディングは、住所や施設名といった間接的に位置を表す「場所参照表現」と、緯度経度のよ うに直接的な「位置情報」を紐付ける処理である。本稿ではその問題設定を解説し、関連する言語処理 タスクとの関係や各種用語を整理した上で、言語資源やソフトウェア実装、既存サービスといったリ ソースを概観し、現状の課題と、更なる発展へ向け ての方向性を検討する。

## 1 はじめに

計算機と地図アプリケーションの発展や、GPS な ど衛星測位システムを利用できるスマートフォンの 普及により、位置情報の利用は身近になった。言語処理分野では対象となるデータの多くに、住所や地名をはじめ、位置を指し示す様々な情報が散 りばめられている。しかしそれらの語句は、そのま まの表現では機械処理による活用が限定される。言語情報と位置情報を紐づける処理は、既存の地図サービスに見られる検索などでも欠かせないも のであるし、また分野を横断したまだ見ぬ実応用の 実現へ向けても重要なピースとなる。この処理を担 うのがジオコーディングである。ジオコーディング は、住所や地名、施設名といった間接的に位置を表 す「場所参照表現」を、緯度経度のように直接的な 「位置情報」へと紐付ける処理である。

本稿ではまず問題設定を解説し、関連タスクと用語を整理したのち、データや実装、既存サービスと いったリソースを概観し、現状の課題と、発展へ向 けての方向性を検討する。加えて付録 A で関連デー タセット、付録 B で関連サービスを紹介する。

## 2 ジオコーディングと関連タスク

## 2.1 ジオコーディング

ジオコーディングでは入力として、テキストによ る場所参照表現が与えられる ${ }^{1}$ 。場所参照表現は奈良県生駒市高山町 8916-5 といった「住所・所在地」 や、日本橋 のような「地名」、さっぽろテレビ塔と いった「関心がある場所 (Point of Interest, POI)」を 含む。また固有名による具体的な名称だけでなく、県、病院、コンビニ、自然言語処理研究室のよ うな、一意に位置の特定ができない一般名詞句によ る記述も対象とすることがある。

入力された場所参照表現に対して、ジオコーディ ングでは対応する適切な位置情報（地理座標）を出力する。この時、位置情報を直接出力することもで きるが、まずデータベースなどへ登録されている識別子との紐付けを行い、次にその識別子に付随する 属性としての位置情報を出力することもできる [1]。図 1 に入出力の流れを示した。識別子を介すことで

図 1 ジオコーディングの入出力例。Aでは位置情報を直接出力し、Bでは識別子を介してから出力している。

入出力が疎結合となり、用途にあわせて異なる属性 を利用したり、その識別子を他の知識ベースと紐付 けることが可能となる。

出力される位置情報は、多くの場合では地球上の 緯度・経度が想定されるが、位置を特定する情報で あればそれに限らない（例えば平面直角座標系の座標値)。経緯度のように縦横軸での位置情報だけで なく、標高や建物内の位置といった高さの情報を 必要とするケースも考えられる。また、出力を「点 （ポイント）」ではなく「面（ポリゴン）」としたい こともある。例えば札幌という入力に対し用途に よっては、ある一点ではなく、その行政区域全体を 得たいことがあるだろう。行政区域より小さい敷地 や建物であっても、それを点ではなく詳細なスケー ルで適切にポリゴンとして表現する場合もある。図 2 に小スケールでの複雑なポリゴンの例を示す。

図 2 国会議事堂を示すポリゴン ⓞOpenStreetMap contributors

出力を点としたいが、対象が一定の領域を占める 場合には、その「代表点」を選択する必要がある。例えば札幌 の代表点としては、意味的な中心とし て“札幌市役所”であったり“札幌駅”を選ぶことも できるし、その行政区域の地理的な中心（ポリゴン の重心）を選択することも可能である。ポリゴンの 重心を代表点とするとき、領域が三日月のように凹多角形であったり、円環のようにその内へ非領域を 含んでいたり、もしくは飛地のように対象が複数の 領域を持つ場合には、点が領域外へ配置されること があり得る。図 3 に、いくつかの形状に対する重心 の例を示す。領域外に代表点を配置することは、ジ オコーディングの用途を考えると適切ではないた め、単に重心を算出するのではなく、なにかしら対処する必要がある（例えば領域内の点から、重心に 最も近いものを選択)。

このように、ジオコーディングの出力は自明では なく、データや用途によって異なる。また、狭義に はジオコーディングは位置情報の出力までを指す が、多くの場合で出力はその後、人間の解釈がしや すいよう地図上に可視化される。

A. 凸多角形

B. 凹多角形

C. 円環

D. 飛地図 3 様々な領域へ対する重心の例。形状によっては重心 が領域外に配置される。

## 2.2 逆ジオコーディング

位置情報から、その地点を示すテキストでの所在地や、その点を含む地域の名前などを求める夕 スクを「逆ジオコーディング」という。用途として は、自動車に搭載された GPS センサーによる経緯度 データから、人間にとって可読性が高いテキスト表記へと変換し、経由地点記録を自動生成したり、事故現場の報告に利用するといった例が挙げられる。

## 2.3 自然言語処理における関連タスク

自然言語処理、特に情報抽出分野における固有表現抽出（Named Entity Recognition, NER）は、テキ ストに含まれる人名や組織名、地名などの固有名 や、日付や時間、金額などの数値表現といった固有表現を抽出するタスクである [2]。エンティティ 曖昧性解消（Entity Resolution/Disambiguation）は、固有表現をデータベース上の項目と対応づけるタ スクである。固有表現抽出とエンティティ曖昧性解消をあわせたタスクはエンティティ・リンキング

（Entity Linking）と呼ばれる。

地理的な固有表現や一般名詞句の表現、つまり 場所参照表現に特化した処理の場合、エンティ ティ曖昧性解消はジオコーディングに相当する。 またその場合、固有表現抽出は Geotagging または Toponym Extraction、エンティティ・リンキングは Geoparsing と呼ばれることがある [3]。図 4 に各タ スクの関係を示す。

Geolocation は対象の位置情報を推定・特定する タスクを表し、自然言語処理分野の文献では、文書 やユーザーの位置情報推定を論じるときに用いられ ることがある $[4,5,6]$ 。

図 4

ジオコーディングと関連する情報抽出タスクの関係

## 2.4 ジオコーディングに関連する用語

地理情報システム (Geographic Information System, GIS）は、位置に紐づく情報の管理・加工・分析・可視化などを行うシステム、及びそれを取り巻 く分野を指す。ジオコーディングも GIS が扱う問題 の一つである。

ジオコーディングは、文献や文脈によって異なる 呼称が用いられることがある。自然言語処理の分野 では同様の処理が Toponym Resolution[7] や場所参照表現解析 $[8,9,10]$ と呼ばれることがある。また、特に住所を対象とした処理は Address Geocoding2) やアドレスマッチング $[11,12]$ と呼ばれることがあ る。Geocoding は住所や郵便番号のみを対象とし、 Toponym Resolution は文書中の表現を対象とすると して区別されることもある3)。

ジオコーディングを行うソフトウェアはジオ コーダー (Geocoder) と呼ばれる。英単語としての Geocode は、動詞として使用される際はジオコー ディング処理を表すが、名詞としては位置情報を示 す“コード”（例えば国名コードや郵便番号）を指す ことに注意が必要である。

## 3 リソース

ジオコーディングには、地名などの「場所参照表現」と経緯度などの「位置情報」が対になったデー タが不可欠である。そのようなデータは、地名辞書、ジオコーディングデータベース、Gazetteer（ガ ゼッティア）などと呼ばれる。

入力されたテキストをもとに、上記の地名辞書に 対する検索を行い、マッチした項目の位置情報を返 すことでジオコーディング処理が実現できる。これ は全文検索と同じ枠組みであり、実際に全文検索エ ンジンを用いてジオコーダーを構築することができ る。なお、入力されたテキストは辞書項目と文字列 として完全に一致するとは限らず、部分一致であっ たり、誤字や表記摇れが含まれていることも想定さ れる。

## 3.1 データ

既存の様々なデータセットは、それぞれ対象範囲 が異なる。日本国内の領域のみを対象としているも のや、全世界をカバーしていると標榜しているもの

がある。また、範囲の粒度や対象の種類にも差異が ある。例えば国内を対象としたデータセットでも、 あるものは行政区域レベルまでしかなく、他のデー 夕は更に細かい街区単位での情報を持つ。加えて対象として、一般的な住所だけでなく、2.1 節でも述 べた施設などの POI が望まれるケースも多い。

言語の観点からもデータセットには差異がある。例えば日本を対象としていても、札幌という漢字表記か Sapporo という英字表記かでは利用できる状況 が大きく異なる。他にも、もとにする言語や、翻字 の形式によってテキストが異なりうる。例えばウク ライナの首都は、ウクライナ語をもとにしたキー ウとも、ロシア語をもとにしたキエフなどとも表記 されうる。同じ言語であっても、表記の摇れがあっ たり、正式名称に加えて別称が存在する場合もあ る。例えば京都市では、住所に通り名を含む場合と 含まない場合で摇れがみられることがある [13]。他 には、過去に使われた歴史的な名称を考慮したい状況も考えられるだろう。

付録 A で、ジオコーディングへ活用できるオープ ンな関連データセットを紹介している。

## 3.2 実装とサービス

ジオコーダー構築に利用できるソフトウェア実装 や、既存のサービスを紹介する。

Elasticsearch ${ }^{4}$ は汎用的な全文検索エンジンであ り、地名辞書の検索に利用できる。位置情報に関連 する機能も実装されており、点や線、ポリゴンなど 位置情報を保持し、それらに対して空間検索クエリ を実行することができる。

Nominatim ${ }^{5}$ は、オープンな世界地図をつくる 共同作業プロジェクト「OpenStreetMap」（OSM）の データを利用したジオコーダーで、OSM ウェブサ イトの検索部分にも利用されている。コードはオー プンソースソフトウェアとして公開されている。

carmen ${ }^{6}$ は、Mapbox 社によるジオコーダー実装 である。ベクトルタイル技術を応用しており、デー タベースではなくファイルを利用するためデータの 入れ替えが容易である。実装には [14] で提案された 誤字や部分一致入力からの効率的な探索手法が参考 にされている。元々はオープンソースだったが7)、現在は非公開となっている。

4) https://www.elastic.co/elasticsearch/

5) https://nominatim.org/

6) https://www.npmjs.com/package/@mapbox/carmen

7) https://github.com/mapbox/carmen
国立情報学研究所の北本らによる GeoNLP プロ ジェクト $[1,15,16]$ は、オープンな地名情報処理の ためのソフトウェア、データ、サービスを研究開発 する取り組みである。その中で PyGeoNLP ${ }^{8}$ は、テ キストから地名を抽出して、曖昧性を解消し、地名語辞書とリンクして位置情報を出力するソフトウェ アである。また jageocoder ${ }^{9}$ は、住所を対象とした もので、PyGeoNLP と連携させることで文章中の住所をジオコーディングできる。

東京大学空間情報科学研究センターによる位置参照技術を用いたツールとューティリティ10) は、住所・地名フィールドを含む CSV 形式データにアド レスマッチング処理を行う「CSVアドレスマッチン グサービス」や、日本語で記述された住所・地名・駅名・公共施設名を経緯度に変換し、結果を XML 形式で返す「シンプルジオコーディング実験」を提供している。

ジオコーダーの実装としてはここで紹介したほか にも、オープンソースソフトウェアが多数が存在す る11)。しかし多くの実装は、それ自体ではデータや アルゴリズムを持っておらず、既存のジオコーディ ング・サービスを利用するためのクライアントであ ることに注意が必要である。

上記に加え付録 B で、商用を含む関連サービスを 紹介している。

## 4 課題と発展に向けての考察

曖昧性の解消 ジオコーディングの大きな課題と して曖昧性の解消が挙げられる。入力された場所参照表現に対応するエントリがデータベースに登録さ れていたとしても、追加情報がないと曖昧性解消が できないケースは多い。例えば日本橋という地名 は大阪にも東京にも存在し曖昧性がある。

曖昧性解消のために、外部の情報源を参考にした り（例えば人口が一番多い場所を選択）、ユーザー の現在位置などを活用することが考えられる。加え て実応用においては、複数の検索候補をサジェスト し、かつ入力ごとに候補を提示するインクリメント サーチにより、ユーザーが望む情報へ辿り着きやす くする工夫が可能である。しかし依然として、十分 な情報が与えられていない状況では、それ以上の対処は難しい。

8) https://geonlp.ex.nii.ac.jp/pygeonlp/

9) https://geonlp.ex.nii.ac.jp/jageocoder/

10) https://geocode.csis.u-tokyo.ac.jp/

11) https://github.com/topics/geocoder
より適切に曖昧性を解消するための一つの方向性として、入力の拡張が考えられる。図 4 で示 したように、多くの場合にジオコーディングの前 には、固有表現抽出ステップ (Toponym Resolution / Geotagging）がある。システムへ、抽出された“固有表現”を入力するのではなく、“文・文書”を入力と して二つのタスクを同時に解くことで、文脈を考慮 でき、曖昧性解消の性能を向上できる可能性があ る。例えば 銀座から日本橋へ歩いたという文であ れば、この日本橋 は東京のものを指す可能性が高 い。そしてそのような処理には、従来の全文検索 ベースのジオコーディングにも増して、自然言語処理や機械学習の技術の活用が重要となる。

画像やユーザー履歴など、文書以外の情報を併用 することも曖昧性解消に有効と考えられる。画像な どのデータ自体にジオタグ（位置情報）が付随して いることもあり、共に存在するテキストの位置情報 を間接的に把握でき、学習データの拡張や辞書項目 の半自動収集などへ活用できる可能性がある。

データの整備 性能評価や知見の蓄積を容易にす るため、評価のためのデータセットを整備すること も重要な課題である。関連する既存資源として日本語では、場所参照表現タグ付きコーパス $[9]^{12)}$ や日本語 Wikification コーパス [17] ${ }^{13)}$ がある。前者は構築されたデータ全体が公開されていない、後者はジ オコーディングへ特化したデータではないという 制限がある。公平な性能比較のできる新たな評価用 データセットを構築することで、技術的発展の加速 が期待できる。

産学官民それぞれで、これからデータの更なる増加が予想される。例えば、デジタル庁は社会の基本 データとしてべース・レジストリ14）を整備してお り、これにはアドレス (町字・字番) や不動産登記情報など土地・地図に関するデータも含まれている [18]。他方で、行政の役割は正確な情報の管理であ り、通称や読み間違いなどの情報は民間領域とな る。公的情報以外にも、ソーシャルネットワークの データや、各種のユーザー生成コンテンツ、アプリ のログなど、これまで存在しなかった多様なデータ は急増している。それぞれを適切に連携させること で、まだ見ぬ資源の構築が可能となり、それによっ て位置情報処理の更なる展開が拓けるだろう。

12) http://www.cl.ecei.tohoku.ac.jp/ matsuda/ LRE_corpus/

13) http://www.cl.ecei.tohoku.ac.jp/jawikify/

14) https://www.digital.go.jp/policies/base_registry/

## 参考文献

[1] 北本朝展. 地名の情報学とデータ駆動型研究の展開.日本学術会議公開シンポジウム「地名標準化 の現状と課題: 地名データベースの構築と地名標準化機関の設置に向けて」, 2022. https://www. scj.go.jp/ja/event/pdf3/321-s-1218-t5.pdf,（参照 2023-01-11)

[2] 岩倉友哉, 関根聡. 情報抽出・固有表現抽出のための 基礎知識. 近代科学社, 2020 .

[3] Milan Gritta, Mohammad Taher Pilehvar, and Nigel Collier. A pragmatic guide to geoparsing evaluation. Language resources and evaluation, Vol. 54, No. 3, pp. 683-712, 2020.

[4] Stephen Roller, Michael Speriosu, Sarat Rallapalli, Benjamin Wing, and Jason Baldridge. Supervised textbased geolocation using language models on an adaptive grid. In Proceedings of the $\mathbf{2 0 1 2}$ Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, pp. 1500-1510, Jeju Island, Korea, July 2012. Association for Computational Linguistics.

[5] Mark Dredze, Miles Osborne, and Prabhanjan Kambadur. Geolocation for Twitter: Timing matters. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1064-1069, San Diego, California, June 2016. Association for Computational Linguistics.

[6] Afshin Rahimi, Trevor Cohn, and Timothy Baldwin. A neural model for user geolocation and lexical dialectology. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 209-216, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[7] Davy Weissenbacher, Arjun Magge, Karen O'Connor, Matthew Scotch, and Graciela Gonzalez-Hernandez. SemEval-2019 task 12: Toponym resolution in scientific papers. In Proceedings of the 13th International Workshop on Semantic Evaluation, pp. 907-916, Minneapolis, Minnesota, USA, June 2019. Association for Computational Linguistics.

[8] 佐々木彬, 五十嵐祐貴, 渡邊陽太郎, 乾健太郎. 場所参照表現のグラウンディングに向けて. 言語処理学会第 20 回年次大会発表論文集, 2014.

[9] 松田耕史, 佐々木彬, 岡崎直観, 乾健太郎. 場所参照表現タグ付きコーパスの構築と評価. 情報処理学会研究報告. 自然言語処理研究会報告, Vol. 2015, No. 12, pp. 1-10, 12015.

[10] 大友寛之, 大内啓樹, 星野智紀, 井手佑翼, 渡辺太郎.訪問場所表現グラウンディングのためのアノテー ション. 言語処理学会第 28 回年次大会発表論文集, 2022.

[11] 浅見泰司, 矢野桂司, 貞広幸雄, 湯田ミノリ. 地理情報科学: GIS スタンダード. 古今書院, 2015.

[12] 東京大学空間情報科学研究センター. CSV アドレス マッチングサービスー位置参照技術を用いたツール とユーティリティ.https://geocode.csis.u-tokyo. ac.jp/home/csv-admatch/，（参照 2023-01-11）

[13] 矢野桂司. ジオコーディングのための京都市の住所表記に関する現状と課題. 立命館文學, Vol. 666,pp. 30-44-, 32020.

[14] Christian Jung, Daniel Karch, Sebastian Knopp, Dennis Luxen, and Peter Sanders. Efficient error-correcting geocoding. arXiv preprint arXiv:1102.3306, 2011.

[15] 北本朝展. 地名情報処理環境 geonlp の紹介と歴史的 な地名に関する課題. 第 9 回人間文化研究機構情報資源共有化研究会, pp. 43-60, 72014.

[16] 北本朝展, 村田健史. 歴史的行政区域データセッ ト $\beta$ 版をはじめとする地名情報基盤の構築と歴史 ビッグデータへの活用. 情報処理学会技術報告, 第 2020-CH-124 巻, pp. 1-8, 92020.

[17] Davaajav Jargalsaikhan, Naoaki Okazaki, Koji Matsuda, and Kentaro Inui. Building a corpus for Japanese Wikification with fine-grained entity classes. In Proceedings of the ACL 2016 Student Research Workshop, pp. 138144, Berlin, Germany, August 2016. Association for Computational Linguistics.

[18] 平本健二.アドレス・ベース・レジストリの推進に ついて. 日本学術会議公開シンポジウム「地名標準化の現状と課題 : 地名データベースの構築と地名標準化機関の設置に向けて」, 2022. https://www. scj.go.jp/ja/event/pdf3/321-s-1218-t3.pdf,（参照 2023-01-11）.

## A 関連データセット

オープンなデータをいくつか紹介する。データを 検討する上での観点は 3.1 を参照のこと。

国土数値情報15） 国土交通省。地形、土地利用、公共施設などの国土に関する基礎的な情報を整備し たデータ。

位置参照情報16） 国土交通省。国の都市計画区域相当範囲を対象に、街区単位の位置座標を整備した データ。

地名集日本 ${ }^{17 ）}$ 国土交通省国土地理院。4,000 以上の地名と、その経緯度や種別を収録。元は PDF ファイルだが、第三者により CSV・JSON 形式へ整形されたデータもある ${ }^{18)}$

国勢調査 町丁・字等別境界データ19）国勢調査 の実施毎に設定された調査区の境界情報。

GeoNLP データ 20）国立情報学研究所の北本 らによるプロジェクト $[1,15,16]$ 。地名の識別子 （GeoLOD ID）を付与した各種の地名語辞書を公開。

Geolonia 住所データ21）株式会社 Geolonia と一般社団法人不動産テック協会によるオープンデー タ。位置参照情報や日本郵便の郵便番号データをも とに月次更新。

OpenStreetMap ${ }^{22)}$ オープンな世界地図データ ベースをつくる共同作業プロジェクト。地名や住所 に限らず POI などのデータも含む。

GeoNames ${ }^{23)}$ オープンな地理データベース。世界中の様々な公のソースからのデータに加え、ユー ザーによる共同編集も可能。

OpenAddresses ${ }^{24 ）}$ オープンな世界規模のアド レスデータ。ユーザーからのコントリビュートによ り構築。

Who's On First ${ }^{25)}$ オープンな世界規模の地名辞書。既存の複数ソースをもとに統合して構築26)。

## B 関連サービス

3.2 節で言及したものに加えていくつか紹介する。

Google Maps Platform ${ }^{27)}$ 現時点の利用規約で は、手元への保存や、Google Maps 以外の地図上で の表示は禁止されていることに注意。

Yahoo! Open Local Platform (YOLP) ${ }^{28)}$ 地図、地域情報に関する API・SDK。現時点では一般公開さ れた無償サービスでの利用は無料。

MIERUNE Search ${ }^{29}$ オープンソースソフトウェ アとオープンデータを活用した住所・施設検索サー ビス・API。住所に加え POIにも対応。

OpenCage ${ }^{30)}$ ドイツの OpenCage 社が提供する 日本語にも対応したジオコーディング API。

Geolonia Community Geocoder ${ }^{31)}$ Geolonia によ るオープンソースの住所ジオコーディング API。位置参照情報を利用、大字町丁目単位までが対象。

など、京都市内で広く使われている独特の住所表記「通り名住所」をジオコーディングする API。

ケンオール ${ }^{33 ）}$ 郵便番号住所検索・住所逆引き・法人情報 $\mathrm{API}$ 。京都市の通り名や岩手県の地割、ビ ル名と町名の分割などに対応。

この他にも、地図サービス MapFanを提供する GeoTechnologies $^{34)}$ や地図情報を調査・制作・販売 するゼンリン35）、昭文社グループの MAPPLE ${ }^{36)} 、$地図サービス会社の ESRI ジャパン37)、HERE ${ }^{38)} 、$

スの Amazon Web Services (AWS) ${ }^{40)}$ や Microsoft


# 文化財報告書データベースにおけるテキスト可視化と地理情報

高田祐一 ${ }^{1}$ Yanase Peter ${ }^{1}$ 武内樹治 ${ }^{2}$
${ }^{1}$ 奈良文化財研究所 ${ }^{2}$ 立命館大学大学院
takata-y23@nich. go. jp yanase-p7g@nich. go. jp
mikihdqt812@gmail.com

## 概要

文化財そのものは位置情報を保持し，関連する調查成果はテキスト媒体である。成果は報告書として まとめられ報告書データベースには 27 億文字が登録されている。データベースは全文検索可能である ものの巨大であるため, 人間可読が難しく機械で読 んでいくことが求められている.テキストの頻出語 や地域ごとの特徴語の算出によって可視化した. ま た海外でも日本の成果を位置付けていくために国際連携のためのシソーラスマッピングを推進している. さらに文化財 WebGIS の構築によって文化財位置情報 61 万件を地理データとして扱えるようになり,文化財テキストと地理を組み合わせた新たな可能性の 基盤となる.

## 1 全国遺跡報告総覧

奈良文化財研究所（以下，奈文研）は，文化財報告書を全文電子化しインターネット上で検索・閲覧 できるようにした全国遺跡報告総覧 (以下, 遺跡総覧 ${ }^{\mathrm{i}}$ を を 2015 年 6 月から運営している (図 1 ). 遺

図 1 全国遺跡報告総覧トップページ
^{i}$ https://sitereports.nabunken.go.jp/ja
}

跡総覧には, 全国の文化財調查機関が報告書類の書誌および全文 PDF を Web 登録する．PDF にはテキス トが含まれることから，遺跡総覧では，登録デー夕 に全文検索が可能である. 2023 年 1 月 13 日時点で, PDF がある書誌数 33,893 件, PDF410 万ページ, 総文字数 27 億文字に対して全文検索が可能である. 従来は，書庫に籠り，1 ページずつ必要とする情報を 探すという地味な作業であったため, 劇的に資料調查が効率的かつ網羅的になった。書誌情報には，国立国会図書館の JP 番号, CiNii Books の NCID を付与し, 各書誌の DB ヘリンクを設定しているので，実際の図書の所蔵館を調べることも可能である。遺跡総覧の利用状況として, 2021 年度には 197 万件の PDF のダウンロード， 9997 万件のページ閲覧数 があった。

## 1.1 巨大データを可視化する

全文検索は至便であるもののテキスト量が巨大で あるため，人間可読に適さない。そこで，機械的に テキストを可視化するために, 遺跡総覧の内部には,文化財関係用語シソーラスを保持している。シソー ラスに登録された文化財専門用語をもとに，テキス 卜解析を実施し, 用語を切り出している. 奈文研が 独自開発した言語リソースである. 専門の語彙数と しては 190594 件であり, そこによみや類義語, 多言語対訳を付与している.

このシソーラスを活用することで，報告書に記載 されている文化財関係用語で頻出用語や地域独自の 特徴語を可視化できる（図2）。報告書ごとに特徵語を算出することで, 内容の類似度に応じたサジェ スト機能も実装している.

報告書全体のテキストに対し, 考古学関係用語の 出現回数を集計し, 図化した. 報告書ワードマップ iiという機能で閲覧できる. 用語をクリックすると

頻出用語のみを検索キーとした高精度検索が可能で ある。検索語を入力するには事前に専門知識が必要 であるが，そういった知識がなくとも選択だけで検索が可能である. また都道府県ごとに考古学関係用語の特徴語を, 図化した. 当該都道府県内にて頻出 する用語（よく使われる用語は重要）かつ他都道府県では出現頻度が低い用語（希少用語は重要）であ ることを勘案するため, 当該都道府県の強い特徴を

図 2 報告書ワードマップ（頻出用語俯瞰図）

図 3 報告書特徴語ワードマップ-福岡県示す用語を可視化できる. 自然言語処理技術のべク トル空間モデルの TF（索引語頻度）と IDF（逆文書頻度）を組み合わせた TF-IDF にて算出した。

全国的な専門用語の使い方と都道府県ごとの地域性を可視化した。

## 2 国際連携のための自然言語処理

日本の調査成果を海外からアクセスできるように するため，多言語化対応を推進している．奈文研は ARIADNEplus という国際プロジェクトに参加してい る. ARIADNEplus とその前身であった ARIADNE は,欧州委員会の資金を受けて 2013 年から 2022 年まで の間に実施された考古学研究プロジェクトであった。 その主な目的は，言語の壁と国境を乗り越え，ヨー ロッパの諸国の考古学データを整理し，その目録を 公開することであった. ARIADNE は本来ヨーロッパ 内のプロジェクトであったが，最終的にヨーロッパ 圈外の国からの参加機関も関わるようになった. 2022 年 12 月の時点で公開カタログには約 350 万件 ものデータセットが含まれていた. ARIADNEplus の 名義で行われたプロジェクト自体が 2022 年に完了 したが，公開カタログの維持と更新はこれからも予定されている.

ARIADNEplus のカタログは「時間」，「空間」と 「モノ」で検索ができる．日本のデータをこの国際的なカタログに統合するためには，奈文研には(1)デ 一タのクレンジング, (2)データベースのスキーマの 変換, (3)データマッピングの三つを行う必要があつ た. その中で，日本の考古学用語の英語へのマッピ ングがとりわけ困難であった。 ARIADNE は言語を問 わない横断検索を実現するために，それぞれの言語・

図4 マッピング作業の流れ
分野のシソーラスを米国の Getty 財団が運営してい る芸術関係用語のシソーラスである Art \& Architecture Thesaurusにマッピングさせた.ただ， ご存知の通り，日本ではそもそも芸術・文化財に関 する整備されたシソーラスが存在していない. その うえ, 日本考古学の用語は, 日本の特有な文化・歴史に由来するものも多いが，それより独自の道を歩 んできた日本考古学そのもの文化・伝統に由来する 表現が多い.

これらの用語を AAT にマッピングするためにはま ず遺跡総覧から抽出した用語をいったん手動でマッ ピングした. ただ，それだとマッピングの再現性が 低いので，次は手動で作ったマッピングを分析し， シンプルな自然言語処理に基ついてもう一度機械的 にマッピングを作成した。これによってデータのば らつきがなくなり, 再現性も高まった.この処理が できるためには, ARIADNEplus が本来想定していた 1 対 1 のマッピングではなく, 1 対多の採用が前提 となっていた. また, マッピング作業においてはマ ッピング・プロパティーも明記する必要があった. そのため, 複合名詞に含まれているそれぞれの名詞 に対して，その位置に基づいて自動でマッピング・ プロパティーを付与した（図4）。

## 3 文化財総覧 WebGIS

奈文研では，全国の文化財に関する約 61 万件の データを文化財総覧WebGIS ${ }^{\text {iii }}$ (図 5 ）として公開し ており，地域・場所に根差した文化財を地図上で調 べることができる。これまで報告書などでは位置情報を把握しづらいという課題があったが，この WebGIS によって位置情報を頼りに文化財情報を検索することが可能になった.

## 3.1 WebGIS に登録されているデータ

ここでは, 当WebGIS に登録されているデータを紹介する.

まず，背景地図として，地理院地図（標準地図や 単色地図など）, 空中写真, 色別標高図, 傾斜量図 などが備わっているのに加えて, 奈文研空中写真や 平城宮跡の遺構図や地形図も含まれている. 兵庫県・静岡県・岐阜県については CS 立体図も追加してい る. また, 土砂災害警戒区域や地すべり危険箇所な どのハザードマップも背景地図として表示すること ができる（図6）.

文化財情報として，文化庁や国土交通省が公開し ている国・都道府県指定文化財情報や，奈文研作成 データ（遺跡データベース，平城宮・跡に関するデ 一夕，遺跡地図データ），地方公共団体が公開して いる遺跡範囲等のデータなどが登録されている.

図 5 文化財総覧 WebGIS

## 3. 2 WebGIS の機能

図 6 ハザードマップと文化財分布（東京駅周辺）

当WebGIS では, 対象文化財のポイントやポリゴン をクリックすることで，対象文化財の名称や種別な どの文化財情報を知ることができるとともに，その 文化財の報告書が遺跡総覧で電子公開されているも のであれば, 当該報告書のページへ遷移し, 報告書 を閲覧することができる. WebGIS の機能として「都道府県」「種別」「時代」のそれぞれの項目で地図上に表示する対象文化財を絞ることができ，ある地域の古代の集落遺跡のみを表示することなどが可能 である。「フリーワード検索」として，文化財名や 遺構・遺物の名称などからも検索をかけることがで きる. 背景地図との重放合わせでは, 文化財情報と ハザードマップを重ねることで文化財の災害リスク などを予測することができ文化財防災の観点でも利用可能である. そして, 平城宮跡で出土した木簡や 墨書土器について, 木簡に書かれた内容で検索でき るなど, 平城宮の調査研究として役立つ機能もある.以上のような機能を用いて, 利用者は地域の文化財 の再発見や地域学習, 学術研究の基盤として活用す ることができる.

## 3. 3 文化財地理情報と自然言語処理

ここでは今後の文化財総覧 WebGIS の発展可能性 について, 自然言語処理の応用という点を中心に述 べる.

地図上で検索した遺跡の情報をさらに知りたい場合には，報告書があれば閲覧できるものの，必ずし も報告書は万人に対して読みやすいようには書かれ ていない. そのため, 数百字程度で報告書内容の要約を生成し表示する機能などもあれば様々な利用者 にとって情報を得やすいシステムになると思われる。 さらに, 発掘調查報告書では, 調查成果などをもと
に対象遺跡の付近や関連のある遺跡との関わりが記 される場合が多い．報告書で言及された遺跡名を抽出することができれば，ある遺跡を調べた際にその 報告書内で言及された他の遺跡を GIS 上に表示し，調べた遺跡と関連する遺跡へと利用者のデータ閲覧 の流れを作ることに繋げられ，より深く文化財情報 を活用する機会を提供できる可能性がある.さらに，関わりの深い遺跡であれば報告書内で言及されるこ とが多いと仮定すると，その遺跡間の関わりを報告書内の遺跡名の出現頻度を自然言語処理の手法によ って算出し，地図上でその関わり度合が表示される ことで，誰もが容易に遺跡同士の関連性を知ること ができると思われる。


# Double cross model による位置情報フレームアノテーション

川端 良子
国立国語研究所
}

大村舞
国立国語研究所
}

浅原正幸

国立国語研究所

竹内 誉羽
ホンダリサーチインスティチュート

## 概要

ことばに出現する空間情報の記述手法として Spatial ML や ISO-Space が提案されている。これら はテキスト中の固有位置情報や絶対参照（東西南北）を記述するためには有効ではあるが、話者自身 が空間内実体である対話中の相対参照（前後左右） を記述するには不向きである。相対参照の曖昧性解消には有向辺（順序付き2つ組）のみによっては 行えず、 2 つ以上の有向辺を実体の向きも含めてフ レームとして保持する必要がある。一方、空間論理の分野では、位置情報の曖昧性解消手法として Double cross model が用いられる。本研究では対話中 の相対参照を Double cross model によって表現する ことを試みたので報告する。

## 1 はじめに

どこかに連れて行ってもらいたいときに、連れて 行ってもらう場所を緯度経度情報のみならず、さま ざまなことばで表現する。位置情報を共有する目的指向の対話においては、お互いに知っている位置情報を交換するために、自身の位置や向きに基 づく相対位置をことばで表現する。しかしながら、複数の場所 (Landmarks) もしくは空間内実体 (Spatial Entities) の相対位置を言語情報で表現する場合、単純な有向辺構造 (順序付き 2 つ組: ordered pairs) では 表現しきれないことがある。

例えば「東京タワーを背にして右前方にすすんで ください」といった表現を有向辺のみで表現するに は、東京タワー (Landmark) と話者 (Spatial Entity) の 相対位置を表現する辺と、話者 (Spatial Entity) の現在位置と進む方向 (Orientation) を表現する辺の $2 \supset$ を話者の向きとともに保持することを必要とする。位置情報を正確に同定するためには、この 2 つの辺
の相対的な位置情報を定義し、これらの情報を 1 つ の位置情報フレームとしての保持することが、本質的に必要である。

空間論理 (Spatial Logic) の分野では、Double cross model と呼ばれる位置情報フレーム表現がある。 Double cross model は、字義どおり方向を示す cross (十字)を2つ用いる位置情報フレームであり、2つ の cross の中心に場所・空間内実体を配置すること で、向きや第 3 の場所・空間内実体をその 2 つの cross との相対位置で表現する。

本稿では、位置情報を共有する目的指向の対話 における言語表現を、Double cross model を用いて 表現することを試みる。さらに、向き (Direction and Orientation) ・距離 (Time and Space measurements) ・位相 (Mereotopological Relations) などをどのように表現 するかを検討する。

## 2 位置情報フレーム表現

以下では、Spatial ML[1] や ISO-space [2, 3] などを ベースに位置情報フレームの主要概念について説明 する。検討にあたっては、Spatial Logic 関連の論文 [4] や日本国内の ISO-space の利用状況 [5] なども確認した。

## 2.1 タグ付け対象となる表現 (Mention)

本研究は以下のものをタグ付け対象とする。
- 場所表現 (Landmarks)：緯度・経度や住所地番な ど、固有の位置情報が定義される場所。
- 空間内実体表現 (Spatial Entities) : 空間上に配置 される実体。話者もこれに相当する。
- 手がかり表現 (Signal)：位置情報・向き情報・距離情報などを示す表現。

本稿では、厳密にタグ付け表現のスパン（テキス ト中の範囲）を定義しない。

## 2.2 位置情報の形式化

図 1 Cone-based model (absolute, relative)

南

後

図 2 Project-based model (absolute, relative)

位置情報の形式化については、その参照表現の型 として3 種類あるとされる：
- 固有 (Intrinsic)：場所に内在する固有の向き・位置。
- 絶対 (Absolute)：鳥瞰による指示参照（東西南北)。
- 相対 (Relative)：実体からの視点に基づく指示参照（前後左右）。前提として、視点を持つ主体 が向き (Orientation)を持つ。

一般に、位置情報の曖昧性解消は、緯度経度情報 や住所地番により一意に定まる「固有」の情報か ら、鳥瞰による「絶対」指示参照や実体からの視点 に基づく「相対」指示参照がある。

相対位置を形式化する際に用いられるモデルと して、cone-based model と project-based model につい て説明する。cone-based model (図 1)[6] は、場所・空間内実体の配置・向きを主体を中心とした範囲を 持つ角度 (cone) で表現する。project-based model (図 2)[7] は、場所・空間内害体の配置・向きを主体と した範囲を持たない方向 (projection) で表現する。 cone-based と project-based は、いずれも有向辺構造 （順序付き 2 つ組：ordered pairs）で表現されるもの で、 2 つの違いはその解釈もモダリティ（範囲を持 つか否か）にある。

言語表現において、「固有」の位置情報に基づく、東西南北の「絶対」指示参照のみが出現する場合に は、上記有向辺構造に基づくモデルのみで位置情報 を特定できる。実際には、空間内の実体として、話
し手・聞き手が存在し、それぞれの視点からの「相対」指示参照表現に基づき、位置情報をやりとりす ることが多い。

次に示す Double cross model は、空間内実体の視点からの相対位置を自然に表現できる位置情報の形式化である。

## 2.3 Double cross model

図 3 Double cross model

Double cross model (図 3)[8]、場所・空間内実体の うち 2 つを図中の 14 と 15 に配置したうえで、先の 2 つの要素の配置に基づいて、残り 1 つの相対位置 や向きを表現する。

図 4 亿位置情報フレーム記述例を示す。本稿で は、Double cross model をハッシュのリスト（順不同）で表現することのみを定義し、記述方法にはこ だわらない。

なお、絶対参照（東西南北）のような表現の場合 は Double cross model を用いる必要がないが、本研究では一貫して Double cross model のサブセットを 用いて記述し、必要に応じて、2.6 節・2.7 節に示す 情報を付与する。

## 2.4 Double cross model に含める情報

以下では、現状、我々が Double cross model に含め る情報について示す。

・id: テキスト中のメンションの識別子。あらか じめ上流工程で付与された場所表現・手がかり 表現の $\mathrm{ID}^{2}$ 。追加で空間内実体表現を新たに付与し、対話参与者を $\mathrm{S} 0$ ・H0 とする。

・type: テキスト中のメンションの型。以下のも のからなる：
- landmark: 場所表現。
- se: 空間内害体表現。話し手、聞き手も 含む。
- signal: シグナル表現。
- slot: Double cross model 中の配置番号。
【作例】「[東京タワー](ID:T1)を [背にして右前方に](ID:T2) すすんでください」聞き手は ID:H0。

$
\left.\{\left[\begin{array}{ll}
\text { id } & \mathrm{T} 1 \\
\text { type } & \text { landmark } \\
\text { slot } & 15
\end{array}\right]\left[\begin{array}{ll}
\text { id } & \mathrm{T} 2 \\
\text { type } & \text { signal } \\
\text { slot } & 12
\end{array}\right],\left[\begin{array}{ll}
\text { id } & \text { H0 } \\
\text { type } & \text { se } \\
\text { slot } & 14 \\
\text { ir } & 1
\end{array}\right]\right.\}
$

AVM による記述
[

JSONによる記述

YAML による記述

図 4 位置情報フレーム記述例 (AVM, JSON, YAML)

$\cdot$dir: 実体が向いている方向 (Double cross model 中の配置番号で指示)。向いている方向であっ て、進む方向ではない。

図 4 の例では、「東京タワー」(T1)・「(背にして)右前方に」(T2)・聞き手 $(\mathrm{H} 0$ ) を、それぞれ Double cross model の $15,12,14$ に配置し、聞き手 (H0) が 1 の方向を向いていることを意味する。

## 2.5 同型 (isomorphic)

図 5 同型の異表現 (inversion)

図 6 同型の異表現 (homing)

3 つ要素がある Double cross model では、同型の異表現が発生する場合がある。例えば、先の記述例は 図 5 (inversion), 6 (homing) などの表現 [9] がある。

アノテーション作業者は、自分がアノテーショ ンしやすい好きな表現によるアノテーションを行 う。機械処理を行う場合、適切な空間論理の unary operation (inversion, homing) を実装する必要がある。

## 2.6 距離情報 (distal)

南

後図 7 距離情報（絶対と相対）

Double cross model は、相対の方向のみを指示し、距離は指定しない。距離情報にも絶対距離表現 $[10,6]$ と相対距離表現 [11] がある (図 7)。

絶対距離表現 (図 7 左) は 2 点間の距離もしくは到達にかかる時間を指定する。以下の例では、新たに type=distance を定義し、src に T13・tgt に T16を 記述し、その距離を absdist に $20 \mathrm{~m}$ を記述する。

$
\begin{aligned}
& \text { 【03-06】 } \\
& \text { [ジング ウマ エ コ ウ バ ン](ID:T13) } \\
& \text { か ら [ [メ イ ジ ジ ン グ ウ](ID:T14) の } \\
& \text { ほうに [2 } 0 \text { メートル](ID:T15)[行っ } \\
& \text { た 歩 道](ID:T16) で [待 っ て て](ID:T17) } \\
& \left.\{\begin{array}{l}
{\left[\begin{array}{ll}
\text { id } & \text { T13 } \\
\text { type } & \text { landmark } \\
\text { slot } & 15
\end{array}\right],\left[\begin{array}{ll}
\text { id } & \text { T14 } \\
\text { type } & \text { landmark } \\
\text { slot } & 1
\end{array}\right],\left[\begin{array}{ll}
\text { id } & \text { T16 } \\
\text { type } & \text { landmark } \\
\text { slot } & 14
\end{array}\right],} \\
{\left[\begin{array}{ll}
\text { type } & \text { distance } \\
\text { id } & \text { T15 } \\
\text { type } & \text { signal }
\end{array}\right],\left[\begin{array}{ll}
\text { Src } & \text { T13 } \\
\text { tgt } & \text { T16 } \\
\text { absdist } & 20 \mathrm{~m}
\end{array}\right]}
\end{array}\right.\}
\end{aligned}
$

距離計量の直接的な表現でない場合には、 $\{\mathrm{cl}:$ 近

い, med: 中程度, far: 遠い\} などの表現を用いる。以下の例では、配置がわからないために Double cross model 上に配置は行わないが、type=distance を規定する。

## 【01-88】

[マンション街](ID:T413) の[えー](ID:T414)、 [近く](ID:T415)の [道路](ID:T416)

$
\left.\{\begin{array}{l}
\left.\{\begin{array}{ll}
\text { id } & \text { T413 } \\
\text { type } & \text { landmark }
\end{array}\right],\left[\begin{array}{ll}
\text { id } & \text { T415 } \\
\text { type } & \text { signal }
\end{array}\right],\left[\begin{array}{ll}
\text { id } & \text { T416 } \\
\text { type } & \text { landmark }
\end{array}\right], \\
\left.\{\begin{array}{ll}
\text { type } & \text { distance } \\
\text { src } & \text { T413 } \\
\text { tgt } & \text { T416 } \\
\text { absdist } & \text { cl }
\end{array}\right]
\end{array}\right.\}
$

相対距離表現 (図 7 右) は、ソとの距離と比し て、\{n: 近い, e: 等しい, f: 遠い \} などの表現を用い る提案もある。しかしながら、単純に同一直線上に ある場合には、Double cross model の 1-14-15-7 の相対位置で遠近を表現できるため、特に規定しない。具体的に距離が 2 倍、半分などわかる場合には、 2X, 1/2X などと記述することも検討したが、現在ま で確認した対話データには出現しなかった。

## 2.7 位相情報 (topology)

$\langle S, T\rangle \in D C$

$\langle S, T\rangle \in P O$

$\langle S, T\rangle \in E C$

$\langle S, T\rangle \in E Q$

$\langle S, T\rangle \in \mathrm{TPP}$

$\langle S, T\rangle \in$ NTPP

$\langle S, T\rangle \in T P P^{-1}$

$\langle S, T\rangle \in N T P P^{-1}$図 8 位相情報 (RCC8)

空間内の場所・実体は、大きさを持つ。その大 きさがあるがゆえに規定する必要がある、位相情報 (mereotopological relation)をその全体部分関係や 境界の状態に応じて、以下のとおり RCC8 (Region Connection Calculus Relations) [12] により規定する。
- DC: Disconnected（非連結）
- EC: External connection（外接）
- PO: Partial overlap（部分一致）
- EQ: Equal（完全一致）
- TPP: Tangential proper part（内接：source が target に接して内包）
- TPP ${ }^{-1}$ : Inverse of TPP（内接：target が source に接して内包)
- NTPP: Non-tangential proper part (内包：source が target に接せずに内包）
- NTPP ${ }^{-1}$ : Inverse of nTPP (内包 : target が source に 接せずに内包）

以下に内包 (NTPP) の場合の type=topology の記述例を示す。

【01-88】

[公 園](ID:T412) のある [マンション 街](ID:T413)の

$
\left.\{\left[\begin{array}{ll}
\text { id } & \text { T412 } \\
\text { type } & \text { landmark }
\end{array}\right],\left[\begin{array}{ll}
\text { id } & \text { T413 } \\
\text { type } & \text { landmark }
\end{array}\right],\left[\begin{array}{ll}
\text { type } & \text { topology } \\
\text { src } & \text { T412 } \\
\text { tgt } & \text { T413 } \\
\text { absdist } & \text { NTPP }
\end{array}\right]\right.\}
$

まったく同じ実体を指す同一指示は、 $\mathrm{EQ}$ を用いて 表現する。

## 【01-26】

[亢っ と](ID:T109)[アニバー サ

リー](ID:T110)ってゆう [お店](ID:T111)

$
\left.\{\left[\begin{array}{ll}
\text { id } & \text { T109 } \\
\text { type } & \text { landmark }
\end{array}\right],\left[\begin{array}{ll}
\text { id } & \text { T110 } \\
\text { type } & \text { landmark }
\end{array}\right],\left[\begin{array}{ll}
\text { type } & \text { topology } \\
\text { src } & \text { T109 } \\
\text { tgt } & \text { T110 } \\
\text { absdist } & \text { EQ }
\end{array}\right]\right.\}
$

なお、本研究ではDC は Double cross model で配置するために用いない（デフォルトはDC)。ま た、TPP ${ }^{-1}\langle S, T\rangle, \mathrm{NTPP}^{-1}\langle S, T\rangle$ は、それぞれ TPP $\langle T, S\rangle$, NTPP $\langle T, S\rangle$ として表現するため、用いない。

## 3 おわりに

本研究では、位置情報を共有する目的指向の対話 に出現する位置表現を扱うために、空間論理で用 いられる Double cross model を利用し、位置情報フ レームとして記述することを試みた。Double cross model を用いることにより、相対参照情報を 3 つ組 で記述することができるようになり、位置情報の表現力が向上した。さらに、距離情報や位相情報の記述についても試みた。

なお、上記空間論理の曖昧性解消の自動推論は多項式時間では解けないとされている [4]。言語処理系が、言語から論理形式の写像を行ったとしても、空間論理ソルバー側が曖昧性解消処理できるとは限 らない。

## 謝辞

本研究はホンダリサーチインスティチュート-国立国語研究所共同研究プロジェクト「行き先目標物 の参照表現に関する日本語話し言葉の分析」・国立国語研究所基幹型共同研究プロジェクト「アノテー ションデータを用いた実証的計算心理言語学」・科研費 JP22K13108, JP19K13195によるものです。

## 参考文献

[1] Inderjeet Mani, Janet Hitzeman, Justin Richer, Dave Harris, Rob Quimby, and Ben Wellner. SpatialML: Annotation scheme, corpora, and tools. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Morocco, May 2008. European Language Resources Association (ELRA).

[2] James Pustejovsky and Zachary Yocum. Image annotation with ISO-space: Distinguishing content from structure. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pp. 426-431, Reykjavik, Iceland, May 2014. European Language Resources Association (ELRA).

[3] James Pustejovsky. ISO-Space: Annotating Static and Dynamic Spatial Information, pp. 989-1024. Springer Netherlands, Dordrecht, 2017.

[4] Jochen Renz and Bernhard Nebel. Qualitative spatial reasoning using constraint calculi. In Handbook of spatial logics, pp. 161-215. Springer, 2007.

[5] 後藤大希, 西川仁, 徳永健伸. 空間配置課題に向 けた iso-space の拡張による向きの表現. 言語処理学会第 22 回年次大会発表論文集, pp. 115-118. The Association for Natural Language Processing., 2016.

[6] Eliseo Clementini, Paolino Di Felice, and Daniel Hernández. Qualitative representation of positional information. Artificial intelligence, Vol. 95, No. 2, pp. 317-356, 1997.

[7] GÉ Ligozat. Reasoning about cardinal directions. Journal of Visual Languages \& Computing, Vol. 9, No. 1, pp. 23-44, 1998.

[8] Christian Freksa. Using orientation information for qualitative spatial reasoning. In Theories and methods of spatio-temporal reasoning in geographic space, pp. 162-178. Springer, 1992.

[9] Kai Zimmermann and Christian Freksa. Qualitative spatial reasoning using orientation, distance, and path knowledge. Applied intelligence, Vol. 6, No. 1, pp. 49-58, 1996.

[10] Daniel Hernández, Eliseo Clementini, and Paolino Di Felice. Qualitative distances. In Andrew U. Frank and Werner Kuhn, editors, Spatial Information Theory A Theoretical Basis for GIS, pp. 45-57, Berlin, Heidelberg, 1995. Springer Berlin Heidelberg.

[11] Amar Isli and Reinhard Moratz. Qualitative spatial representation and reasoning: algebraic models for relative position. Technical report, 1999.

[12] David A Randell, Zhan Cui, and Anthony G Cohn. A spatial logic based on regions and connection. In Principles of Knowledge Representation and Reasoning: Proceedings of the 3rd International Conference, pp. 165-176, 1992.

[13] James Pustejovsky and Jessica L. Moszkowicz. Integrating motion predicate classes with spatial and temporal annotations. In Coling 2008: Companion volume: Posters, pp. 95-98, Manchester, UK, August 2008. Coling 2008 Organizing Committee.

[14] Collin F. Baker, Charles J. Fillmore, and John B. Lowe. The Berkeley FrameNet project. In 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics, Volume 1, pp. 86-90, Montreal, Quebec, Canada, August 1998. Association for Computational Linguistics.

[15] Philippe Muller. A qualitative theory of motion based on spatio-temporal primitives. A.G. Cohn, L. Schubert, and S.C. Shapiro, editors, KR' 98: Principles of Knowledge Representation and Reasoning, pp. 131-141, San Francisco, California, 1998. Morgan Kaufmann.

[16] Nicholas Asher and Pierre Sablayrolles. A typology and discourse for motion verbs and spatial PPs in french. Journal of Semantics, Vol. 12, pp. 163-209, 1995.

[17] Kai Zimmermann and Christian Freksa. Enhancing spatial reasoning by the concept of motion. Prospects for Artificial Intelligence, pp. 140-147, 1993.
表 1 動作表現における STML, FrameNet, Muller, Asher/Sablayrolles の 10 クラス ([3] より)

## A 今後の方向性

## A. 1 合成 (composition)

今回は、テキストの情報を空間論理の Double cross model に形式化することを目的とする。適切な生成系言語モデルを用いることで、テキストから直接形式化したものが得られると考える。形式化されたものから、場所・実体の位置情報の曖昧性解消を空間論理を用いて行う必要がある。そのためには Double cross model の 合成を行う必要がある。Double cross model の合成は大きく分けて 2 つある [9,8]。1 つは Coarse composition で、2つの double cross model (ab:c)（abに対する c の相対参照）と (bc:d)（bc に対する d の相対参照）から (ab: d)（abに対する d の相対参照）を求めるもので、可能な配置をすべて枚挙するものである。もう 1 つは Fine composition で、同様の操作に距離の情報まで入れて、より狭い範囲で可能な配置候補を枚挙するもので ある。

## A. 2 経路情報 (path)

合成により、位置情報の曖昧性解消が可能であることを示した。次に静的な経路情報 (path)を double cross model の系列により示す [17] ことを考える。Double cross model の 14-15 の直列により、静的な経路情報を指定する。経路を辿る移動を伴う動的な経路情報は、Double cross model の系列に対して、次に示す移動表現の クラスを紐づける。

## A. 3 移動表現 (STML)

Pustejovsky [13]により、空間・時間情報付与時に移動表現の述語を分類するフレームワーク (STML: Spatio-Temporal Markup Language) が提案されている。移動表現を 10 クラスに分けるとともに、移動元・移動先の位相情報を RCC8 により表現するフレームワークである。ISO-space 論文 [3] には、STML と FrameNet [14]・Muller 論文 [15]・Asher 論文 [16] との比較が掲載されているので、表 1 に引用して示す。

具体的な位置情報の共有を行うためには、日本語においても RCC8 に紐づいた移動表現の体系化が必要で ある。

## A. 4 情報構造

本研究は、対話による位置情報伝達のモデル化を応用として考えている。対話において位置情報が特定で きているかどうかを、話し手・聞き手・第三者（アノテータ）の観点から付与必要がある。