# 建物分布の変化を考慮した GPT-2 を用いた人流予測のための一検討

小林 亮博 ${ }^{1,2}$ 武田 直人 ${ }^{1}$ 山崎 悠大 ${ }^{1}$ 上坂 大輔 ${ }^{1}$
${ }^{1}$ 株式会社 KDDI 総合研究所 ${ }^{2}$ KDDI 株式会社
\{ao-kobayashi, no-takeda, yd-yamazaki, da-kami saka\}@kddi.com

## 概要

近年, Transformer などの自然言語処理分野で発達 した深層学習技術を, 都市内における人流の予測に 活用する動きが始まっている. しかし, 既存の手法 は建物などの環境の状態は変化しないとの前提に基 づくものであり，例えば大規模開発後の交通量予測 に応用することが困難であった．本研究は，建物分布の変化に応じた将来の人流を予測するために, GPT-2 と建物分布系列の予測器を組み合わせた上で,人流を予測する方式を提案する．本稿では，個々の 予測器の性質を分析した上で, 2 者を組み合わせた 提案法を評価した。

## 1 はじめに

自治体やディベロッパーにとって, 再開発や大規模商業施設の建設といった建物分布の変化がもたら す来訪者数の変化や周辺交通一の影響を予測するメ リットは大きい. 特に, 現在着目されているオンデ マンドタクシーや相乗りなどといった動的に提供さ れる交通サービスでは，個々のユーザの居住地や生活スタイルに沿った細かな移動需要の把握が重要と なるため, ユーザの過去の移動系列を反映して将来 の移動を予測可能な Transformer ベースの人流予測手法に関心が集まっている[2,3]. 本研究は，大規模 なスマートフォン位置情報から抽出した都市におけ る交通行動と, POI(Point of Interest)情報を場所毎・建物種類毎に統計化した建物分布の関係性をモデリ ングすることで，建物分布の変化に応じて増減する 移動需要の予測を目指す。

## 2 関連研究

近年，交通行動の予測においては，移動需要の発生を将来の昼間・夜間人口のみから予測していた四段階推定法[13]に代わり, ユーザの移動行動を細か くモデル化した Activity Based Model が提案される ようになってきた[1]. 石井らは, 自宅から主要な活動先へと向かい帰ってくるまでの一連の行動を「ツ アー」と定義し, 活動先の建物分布と現在位置から の移動コストから, Nested Logit Model を用いて活動先やツアーの発生を予測することで，日常的な都市交通を再現している[1]. しかし現在位置にどのよう な経路で移動してきたかといった過去の移動系列は 考慮されておらず，「職場に行く前に保育園に子供 を送る」など過去の移動系列に含まれるユーザの 個々の細やかな移動需要の把握が困難となっている。 さらに，ツアー単位での行動推定となるため，観光 や運輸目的で対象エリアを通り過ぎる行動の再現が 難しい。

[1] に代表される移動モデルはアンケートで取得 されたデータを元に構築されてきたが，近年では大量に取得されるスマートフォンの位置情報から Transformer ベースの移動モデルを構築する研究が 始まっている[2, 3]. Mizuno らは，自然言語モデル GPT-2を用いて、地域メッシュコード(以下メッシュ と呼ぶ)で離散化したユーザ位置の系列をモデル化 することで，京都駅周辺の人流を高精度に再現して いる[2].ここで，メッシュとは，地域を一定サイズ のグリッドに分割し総務省が定めた規格 JIS X 0410 に従いコード(離散値)で表現したものである.

[2]では GPT-2 を用いることで, 現在時刻までの移動系列からそのユーザが最終的に自宅に帰るのか，京都駅を通り過ぎるだけのユーザかを区別できてお り，1 日の終わりに出発地に戻ると予測したユーザ の割合が実データと合致する。しかし，建物などの 地理的環境の変化は考慮されておらず，将来予測と いう点では課題が残る。

## 3 提案するモデル

本研究では，位置系列をエンコードすることで 個々のユーザの生活スタイルに沿った細かな移動需要の予測が可能な，GPT-2 のメリットを保ちつつ，建物分布に変化に応じた人流の予測を可能とするモ デルを提案する.

図 1 本研究が想定するデータ表現

図 1 に本研究が想定するデータ表現を示す. スマ ートフォンを用いて一定の時間間隔で観測されたユ ーザの移動軌跡を，メッシュの系列で表現する。ま た，メッシュ内における種別毎の建物件数を素性と する固定長ベクトルを，建物分布ベクトルと呼ぶ.建物分布は,ユーザの移動目的と強く関係するため,移動需要の説明変数として用いられており [1], その 系列はユーザの移動行動系列に内包されるセマンテ イクスを示すと期待される。

本研究では，環境中の建物分布が変化した場合で も，上記セマンティクスは大きく変化しないと仮定 する. 例えば, 図 1 のユーザは $\mathrm{t}=3$ でオフィス街に 移動した後, $\mathrm{t}=4$ で商業施設が多く存在するエリア に移動している. 仮に Mesh3 の近辺に新規の大型商業施設が開店した場合, このユーザは $\mathrm{t}=4$ において 異なるメッシュに移動する可能性がある。しかし，

「オフィス街に移動した後に商業地に移動する」と いうセマンティクスそのものは, 大型商業施設開店後も大きく変化しないと仮定する.

図 2 は提案する人流予測モデルを示す. 図の最下段に示す空間制約表現部は[2]で提案されている GPT-2 に基づく移動軌跡予測モデルを示し，ユーザ $\mathrm{u}$ に $\mathrm{t}=0 . . \mathrm{i}$ におけるメッシュ系列 $m_{u, 0} . . m_{u, i}$ が与えら れた際に， i+1 時点におけるメッシュ尤度 $P\left(m_{u, i+1}\right)$ を予測する。図最上段のセマンティクス表現部は，上記メッシュ系列に相当する建物分布の系列 $x_{m_{u, 0} .} x_{m_{u, i}}$ を入力して, $\mathrm{i}+1$ 時点の建物分布べクト ル $x_{m_{u, i+1}}$ を予測する。本稿ではこの時系列の連続値 データ予測器を建物分布予測器と呼び，電力需要予測などで高い精度を示した， Zeng ら[4]の手法を用 いた.また, 図の中段の更新可能地図は, 各メッシ ユの建物分布 $x_{M_{0}} . . x_{M_{k}}$ を並べた行列を示す.ここで $M_{j}$ は，GPT-2 の辞書に登場するメッシュを指す. 更新可能地図と $x_{m_{u, i+1}}$ は, 建物分布ベクトルのノルム が 1 になるよう正規化した上で内積を取ることで，予測した次時点の建物統計べクトルと各メッシュと の $\cos$ 類似度 $S\left(m_{u, i+1}\right)$ を算出する. 建物分布予測に 基づく $S\left(m_{u, i+1}\right)$ と，GPT-2 が予測した $P\left(m_{u, i+1}\right)$ の Hadamard 積を取ることで，セマンティクスと空間上の制約を満たした次メッシュを予測する。

## 4 データセット

本研究では，KDDI 株式会社が au スマートフォ ン利用者より同意を得て取得する GPS データを使用して検証を行った.この GPS データは測位間隔に 粗密があるが，集計した結果は各種人口統計と相関 し，交通需要の推計等に用いられている[5, 6]. 2019 年 6 月に観測された GPS データから宇都宮市在住 のユーザをサンプリングし，エリアを限定せずに 8 日間の移動軌跡を抽出した. 1 日に最低 1 点以上ロ

図 2 建物分布の変化を考慮した人流モデル
表 1 建物分布予測性能

図 3 正解メッシュの建物分布との $\cos$ 類似度 グがある移動軌跡のみを分析対象とし, 6,050人のユ 一ザからなる 98,213 件の移動軌跡を抽出した.

上記の移動軌跡から, 30 分毎のメッシュの系列を 抽出した. 前述の通り, この GPS データは観測頻度 に粗密があるため, 30 分毎の時点において直前・直後となる観測点を抽出し, 時間差を重みとする重心位置を, 30 分毎のユーザ位置とした. 最後にユーザ 位置を 1 辺の長さが約 $250 \mathrm{~m}$ の 4 分の 1 地域メッシ ユで表現し， 8 日間のメッシュ系列を抽出したもの を Pre-Training 用データセットと呼ぶ. 5 節では，以上のデータセットを訓練: 検証: 評価用に 8:1:1 の割合で分割し評価に用いた。

建物分布はゼンリン社の商品を用いた[12]. 建物 の種別(個人家屋・共同住宅・事業所・複合建物)や,業種(飲食, 物販, 教育, 医療...), 規模(階数, 床面積...)で分類された建物の件数が 113 次元で表現さ れている. 本データは $100 \mathrm{~m}$ 四方毎に集計されてい るため, 面積按分で 4 分の 1 地域メッシュ毎に再集計した. 本研究では, 上記データセットに登場する 建物分布を z-score に標準化して用いる。

## 5 実験と考察

## 5.1 建物分布の予測

はじめに建物分布予測器の性能を評価した。 Zeng ら[4]は, 順序情報が保持されない Attention メ カニズムは連続値の時系列予測においては不利であ ると主張しており,簡易な線形NWからなるDLinear， NLinear を用いて Transformer ベースの予測器 Autoformer[7], Informer[8]を超える精度を確認して いる. Pre-Training 用データセットを用い, 建物分布
においても同様の傾向が見られるか確認した.

各移動軌跡における 7 日間の建物分布ベクトルの 系列から次の 1 日間の系列を予測し, 精度評価した 結果を表 1 に示した. ここで ACC は, 予測した建物分布ベクトルを k-means 法により 5 クラスに分類 した場合の Accuracy を示す(クラス分類方法の詳細 は付録に記載). 本研究では, Transfomer ベースの手法に比べて優れた性能を示した DLinear を建物分布 の予測モデルとして採用した. DLinear が推定した 建物統計ベクトルと正解值との $\cos$ 類似度の分布を 図 3 に示す. $\cos$ 類似度の中央値は 0.71 となってお り. 図 2 における類似度べクトル $S\left(m_{u, i+1}\right)$ は, 次义 ツシュの予測に効果があると期待できる.

## 5. 2 GPT-2 の Pre-Training

本研究では, 図 2 のモデルを構築する前に, PreTraining 用データセットを用いて GPT-2 の訓練と評価を実施した. Mizuno らの研究[2]を参考に,語彙数 を50,000 語としBPE[11]を用いてメッシュをトーク ナイズし, GPT-2 の Pre-Training を実施した. モデル サイズは, Radford ら[9]と同様に 12 層, 768 次元の 内部表現を用いた。

GPT-2 部の推定精度を評価するため，小林ら[3]を 参考に 7 日間の移動軌跡を入力し, GPT-2 のサンプ リング生成[10]機能を用いて次の 1 日間の移動軌跡 を 10 通り推定した(サンプリングパラメータは Top $\mathrm{k}=100$, Top p=0.95). 推定した軌跡は, 交通需要予測 において重要視されている出発地(Origin)と目的地 (Destination)の頻度分布(OD 表)を, bi-gram 頻度から 簡易的に求め評価したところ, 正解との相関は 0.73 であり, 都市の移動を一定程度再現できていると考 えられる。

## 5.3 提案するモデルの評価

本研究は, 図 2 のモデルの基本的な特性を調查す るため, 5.1 と 5.2 で Pre-Training した建物分布予測部と GPT-2を用いて 2 者を統合した提案モデルの性能を評価した. 各時点の推定性能を評価するため, Pre-Training データセットの評価セットから開始時刻を 30 分ずつ 48 パターンでずらしたサンプルを抽出した. 説明変数として 7 日間 336 時点のメッシュ 系列を入力し, $S\left(m_{u, i+1}\right)$ と $P\left(m_{u, i+1}\right)$ を算出した. 図 4 は GPT-2 が予測した尤度 $P\left(m_{u, i+1}\right)$ をヒートマップ (緑色が濃いほどスコアが高い)で示したものであり，正解メッシュを赤枠で表示している、いずれも正解

次メッシュ：住宅地

次メッシュ：商業地

図 4 GPT-2 が予測した次メッシュの尤度

図 5 推定した建物分布類似度

建物分布の類似度

GPT-2の尤度

図 6 GPT2 単体ではうまく推定できない時点 メッシュのスコアが極端に高い単峰性の分布をして おり，GPT-2には人の移動における空間上の制約が 埋め込まれているといえる。

図 5 は, 同様に建物分布類似度 $S\left(m_{u, i+1}\right)$ を可視化 したものである. 図 5(左)は正解である宇都宮二荒山神社周辺のメッシュとの類似度が高くなっている一方で、図 5(右)では正解から空間的にかけ離れた浅草寺周辺のメッシュとの類似度が高くなった。

5.2 節で述べた通り GPT-2 の予測精度は概数高い が, 図 6(右)のように尤度に高い峰が現れず, GPT-2 単体での次メッシュ予測が困難なケースも存在する。

表 2 GPT-2 と建物分布類似度を組み合わせた次メッシュ予測の精度

2. Mizuno, Takayuki, Shouji Fujimoto, and Atushi Ishikawa: Generation of individual daily trajectories by GPT-2. Frontiers in Physics (2022): 1118.

3. 小林, 上坂, 武田, 南川, 森本: GPT-2 を用いた 位置情報ビッグデータに基づく交通需要推定技術,土木計画学研究講演集 Vol.65, 2022

4. Zeng, Ailing, et al. "Are Transformers Effective for Time Series Forecasting?." arXiv preprint arXiv:2205.13504 (2022).

5. 石井, 末成, 越智, 関, 大塚, 酒井, 會田, 南川,「携帯電話 GPS ビッグデータの 都市交通分野に おける活用に向けた信頼性検証」,土木計画学研究講演集, vol. 58, 2018.

6. 吉羽, 小林, 中管, 南川, 冨岡, 森本: スマートフォン 位置情報データを活用したバス需要予測に関する研究, 土木学会論文集 D3, Vol.76, No. 5 (2021)

7. Wu, Haixu, et al. "Autoformer: Decomposition transformers with auto-correlation for long-term series forecasting." Advances in Neural Information Processing Systems 34 (2021): 22419-22430.

8. Zhou, Haoyi, et al. "Informer: Beyond efficient transformer for long sequence time-series forecasting." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 35. No. 12. 2021.

9. Radford, Alec, et al. "Language models are unsupervised multitask learners." OpenAI blog 1.8 (2019): 9.

10. Angela Fan, Mike Lewis, and Yann Dauphin. 2018. Hierarchical Neural Story Generation. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 889-898, Melbourne, Australia. Association for Computational Linguistics.

11. Sennrich, Rico, Barry Haddow, and Alexandra Birch. "Neural machine translation of rare words with subword units." arXiv preprint arXiv:1508.07909 (2015).

12. ゼンリン社 建物統計, https://www.zenrin.co.jp/product/category/gis/contents/b uilding-statistics/index.html

13. 北村 隆一, 交通需要予測の課題, 土木学会論文集, 1996, 1996 巻, 530 号, p. 17-30

## 付録

建物分布ベクトルの特性を確認するため, k-means で 5 クラスに分類した結果を図 7 に示す. 各クラス は概ね，都心・商業地・共同住宅地・一戸建て住宅地・田畑/山林を示すメッシュに分類されており，建物分布の系列がユーザの移動行動のセマンティクス を内包すると期待できる。

マンション

都心

図 7 建物分布のクラスタリング結果
 小林 亮博 ${ }^{1,2}$ 武田 直人 ${ }^{1}$ 山崎 悠大 ${ }^{1}$ 上坂 大輔 ${ }^{1}$ ${ }^{1}$ 株式会社 KDDI 総合研究所 ${ }^{2}$ KDDI 株式会社 \{ao-kobayashi, no-takeda, yd-yamazaki, da-kami saka\}@kddi.com  