# 異言語間対話を支援する日英雑談対話誤訳検出

李云蒙 1 鈴木潤 1,3 森下睦 2 阿部香央莉 1
徳久良子 ${ }^{1}$ ブラサール・アナ ${ }^{3,1}$ 乾健太郎 1,3
1 東北大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所 ${ }^{3}$ 理化学研究所
li.yunmeng.r1@dc. tohoku.ac.jp

## 概要

本論文では，現在の機械翻訳手法の限界に起因す る誤訳を検出し，異言語間対話を支援するシステム の開発について述べる. システムのベースラインと して誤訳検出器を学習し, またこの評価のために,複数ターンの雑談をもとに構成された日英雑談対話対訳コーパス「BPersona-chat」[1]に対し，機械翻訳文を利用した低品質な翻訳および各翻訳に対する クラウドソーシングによる品質評価を加え，コーパ スを再構築した. 結果として, ベースライン検出器 は簡単な誤訳を検出することができた。このべース ラインを基盤とし，より複雑な異言語間対話におけ る誤訳検出器の構築を目指す.

## 1 はじめに

国際化の進展に伴い，異言語間対話の必要性が 高まっている. しかし, 現在の機械翻訳技術は,系統だった文書の翻訳では確かな性能を発揮す るが $[2,3,4]$, 対話翻訳に適しているとは言い難 い $[5,6,7,8]$. 機械翻訳システムで誤訳が生成され た場合，ユーザーはその誤訳を識別できず，混乱や 誤解を招く可能性がある. 本研究では，このような 誤訳を検出し，その発生をユーザーに通知すること で，潜在的な誤解を低減する異言語間対話支援シス テムの開発を目指す.このシステムの核心として，本論文では，異言語間対話翻訳の誤訳を検出する 誤訳検出タスクの提案およびベースラインとして BERTを用いた誤訳検出器の作成を行った. 本誤訳検出タスクの説明図を図 1 に示す. この誤訳検出で は，異言語間対話において機械翻訳モデルが誤訳文 または文脈との関連性が薄い翻訳文を生成した場合, 誤訳検出器がユーザーに誤訳の可能性があると いう警告を知らせる。この警告メッセージによっ て，A 言語側（説明図の日本語側）のユーザーはよ り機械翻訳が翻訳しやすい形にテキストを修正する

図1 機械翻訳を介した異言語間対話における誤訳検出夕 スクの概略図. 検出器は翻訳 $j a_{2}$ の正確さ 一一貫性の評価を行う。

ことが可能である。また， B言語側（説明図の英語側）のユーザーも，不適切または文脈にそぐわない 単語や文章が翻訳エラーである可能性が高いことを 認知できる.

検出した誤訳を評価するために，我々は既存の雑談対訳コーパス「BPersona-chat $」$ [1] に加え，新た に比較的低品質な機械翻訳文およびクラウドソーシ ングでラベル付けした翻訳の品質ラベル（正訳また は誤訳）を加えたデータセットを作成した。実験で は，異なる言語間の雑談対話の翻訳が正しいか誤り であるかを分類する誤訳検出器を学習し (図 1), そ の性能を作成したデータセットで評価した. 本論文 の主な貢献は（1）異言語間対話誤訳検出タスクの 提案（2）BPersona-chatコーパスの再構築（3）異言語間対話支援システムを開発するためのべースライ ン誤訳検出器の提供の三つである.

## 2 誤訳検出タスクの定義

本研究で扱う「異言語間対話における誤訳検出夕 スク」を定義する。まず，本研究では「異言語間対話」を異なる言語での雑談対話と定義する。した がって，「異言語間対話における誤訳検出タスク」と は，機械翻訳システムを介した異なる言語での対話 において，発話（応答）が翻訳システムによって正 しく翻訳されたかどうかを予測するタスクとする。本タスクでは，入力として異言語間対話中の文脈

 &  &  &  \\

表 1 原文に対して三つの翻訳文と人間による評価を付加した BPersona-chat の例.

情報（例えば，直前の相手の発話，相手の発話の翻訳，応答，応答の翻訳など）を受け取り，出力とし て応答の翻訳が誤りであるかどうかを出力する誤訳検出器を構築し，それを用いて誤訳判定を行うこと を想定する。図 1 に，日本語・英語対話における 英語応答の日本語訳を評価する例を示す．機械翻訳 システムによって, 日本語話者の最初の発話 $j a_{1}$ が $e n_{1}$ に翻訳され, 英語話者の応答 $e n_{2}$ が $j a_{2}$ に翻訳さ れる.このとき, 誤訳検出器は直前の話者の発話, その翻訳と応答 $\left(j a_{1}, e n_{1}, e n_{2}\right)$ を参照し, $e n_{2}$ の翻訳 $j a_{2}$ が正確かつ一貫しているかどうかを予測する. この例では，検出器は「I agree（賛成です）」という 応答に対する「ありがとう」という翻訳が誤訳であ ると評価している。 検出器はこのように, 会話者に 関係なく，各発話の翻訳が行われるたびに，翻訳文 を評価して誤訳の有無を検出するものと想定する

## 3 関連研究

翻訳品質推定タスク Wikipedia の記事や Amazon のレビューなど，主に人間の書いた文章を対象とし た品質評価タスク $[9,10]$ と比較して，我々の翻訳品質評価タスクは翻訳文を対象とするという点で新し いタスク設定となる. その上, 本タスクでは, 対話翻訳の誤訳を検出しするため，対話で用いる口語文 の文脈を理解する必要がある.

並列対話コーパス 日英対話コーパスとして，商談シーンを収録した Business Scene Dialog [11] があ る.しかし，我々のタスクではより日常的なシーン での対話支援を目的としている. 我々は他言語の並列対話コーパスの構築方法を参考に，タスクに相応 しい日英雑談対話コーパスを構築した. ここでは，英独対話コーパス BConTrasT [7] と英中対話コーパ ス BMELD [8] の構築を参照した. 英独対話コーパ ス BConTrasT は, WMT2020 対話翻訳タスクの主催者が英語対話コーパス Taskmaster-1 [12] をドイツ語
に翻訳して作成したコーパスである。また，英中対話コーパス BMELD も同様に，MELD [13] という英語対話コーパスを中国語に翻訳して作成したコーパ スである.

これらの並列対話コーパスを参考に，我々は雑談対話が含まれる英語対話コーパス Persona-chat [14] と日本語対話コーパス JPersona-chat [15] を元になる データセットとして採用し，日英雑談対話対訳コー パス BPersona-chat を構築した [1]. 品質を保証する ため，クラウドワーカーに依頼して Persona-chat 中 にある不自然な話題転換や誤解などが含まれていて 一貫性がない対話をフィルタリングし，プロの翻訳家の手で翻訳を付与した.

本研究では、提案タスクを評価するため，一度構築した BPersona-chat に新たな翻訳とアノテーション を付与し、評価用データセットとして再構築した.

## 4 評価用データセット

本タスクの評価用データセットにするため, BPersona-chat に新たな翻訳文を追加した. さらに，翻訳が対話翻訳として許容できるかについて評価 し，データセットを再構築した. 詳細は以下の通り である.

## 4.1 対話データの人間による翻訳

BPersona-chat を構築する際，Persona-chat の合計 2, 940 の発話から上位 200 件の発話と, JPersona-chat の合計 2,740 の発話から上位 250 件の発話を抽出 し，それぞれの対象言語に翻訳した1）。翻訳者には，翻訳の正確さと対話としての一貫性の双方に配慮し てもらった. その結果， 450 の対話（5,680の発話） とその翻訳を得ることができた [1]. BPersona-chat を再構築する際，上記のデータも人間による翻訳と して活用した.

図 2 人間による翻訳，モデル A の翻訳，モデル B の翻訳 それぞれにおけるアノテーション後の正訳と誤訳の割合.

## 4.2 対話データの機械翻訳

誤訳検出タスクを解く検出器のベースラインを構築するため，BPersona-chat における専門家の翻訳に 加え，主に負例として利用することを念頭に機械翻訳で生成した翻訳結果を用意した。機械翻訳結果を 得るために，2 種類の機械翻訳モデルを用意した. その 1 つは, OpenSubtitles2018 [16] によって学習し た Transformer ベースのニューラル機械翻訳（NMT） であり，これをモデル $\mathrm{A}$ と呼ぶ. モデル $\mathrm{A}$ の出力を BPersona-chat で評価すると，BLEU の値 [17] は 4.9 となった2)。なお，モデル A の BLEU 值が比較的低 い原因は, OpenSubtitles2018 と BPersona-chat のドメ インが違うことによるものと考えられる.しかし， データセットを構築するためにあえて低品質の翻訳結果が必要であったため，これは望ましい結果であ る。次に，より良い機械翻訳文を生成するため，公開されている機械翻訳 API（DeepL API）を使用し た.これをモデル B と呼ぶ. BPersona-chatをモデル B で評価すると BLEU スコアは 26.4 となった.

## 4.3 翻訳の人間による評価

人間の翻訳および機械翻訳モデル $\mathrm{A}, \mathrm{B}$ が生成し た翻訳候補に対し, 誤訳検出タスクにおける翻訳品質ラベルを付与した。なお，この判定は，英語と日本語の両方に堪能なクラウドワーカーを集めて実施した. 図 2 に示す結果から，モデル A の翻訳の $89.58 \%$ ，モデル B の翻訳の $30.25 \%$ ，人間の翻訳の $10.51 \%$ が誤訳と評価された ${ }^{3}$.

発話に付与された翻訳が全て正しくない場合，誤訳検出タスクにおいて参照する文脈として使用す ることは難しい。したがって，人間による翻訳，モ デル $\mathrm{A}$ の翻訳，モデル $\mathrm{B}$ の翻訳の全てが誤ってい る 159 件の発話は評価データとして用いないことと

2） NMT モデル A の学習は付録 A を参照.

3）クラウドソーシングの詳細については付録 C を参照.

表 2 マジョリティクラス分類器，マイノリティクラス分類器，および誤訳検出器の精度.

表 3 BPersona-chatにおける誤訳検出器の $\mathrm{F}$ 值，適合率と 再現率.

した。最終的には，英語発話 2,674 件に対して日本語訳 8,022 件が得られ，そのうち 3,406 件が誤訳，残りの 4,616 件が正訳であった．また，日本語発話 2,397 件に対して英語訳 7, 190 件が得られ，3,096 件が誤訳，4,094 件が正訳となった。これらをまと めて BPersona-chat コーパスを再構築した ${ }^{4)}$. 表 1 は BPersona-chat のサンプルである.

## 5 ベースライン誤訳検出器

誤訳検出器のベースラインとして, BERT に基づく二值分類モデル $[18,19]$ を学習・評価した ${ }^{5)}$. 英語発話 $e n_{2}$ の日本語翻訳 $j a_{2}$ の 誤訳判定をする場合，分類モデルの入力は “ $j a_{1}$ [SEP]en $n_{1}$ [SEP]en $n_{2}$ [SEP] $j a_{2}$ ”とした. 同様に, 日本語発話 $j a_{2}$ の翻訳 $e n_{2}$ の誤訳判定をする場合,

BERT の元実験と同様，分類結果に SoftMax 関数を 適用して予測値を計算した。

分類モデルの学習には OpenSubtitles2018 データ セット約 100 万の発話を用いた．参照訳を正例，低品質翻訳モデル A による出力を（4.2 節）で擬似的 な負例とし, HuggingFace ${ }^{7)}$ が提供する多言語 BERT モデルを再学習して，英語から日本語，日本語から 英語両方向の誤訳検出器を構築した。

## 6 実験

本節では，異言語間対話訳における誤訳検出器の 試行と評価結果を報告する。

英 $\rightarrow$ 日

表 4 BPersona-chat に対する誤訳検出器の混同行列（行 ヘッダが人間による評価, 列ヘッダが検出器による予測).

## 6.1 評価指標

マジョリティクラスとマイノリティクラス分類器誤訳検出器の予測が偶然正解したものではないこと を確認するために，マジョリティクラス分類器，マ イノリティクラス分類器，そして誤訳検出器の精度 を計算した。

$\mathrm{F}$ 値, 適合率と再現率 誤訳検出器の性能は $\mathrm{F}$ 値 （F）によって評価した。また，適合率（Pre）と再現率（Rec）も合わせて計算した.このとき真値（T） を誤訳ラベルが付いた事例，正例（P）を検出器が 誤訳と判定した事例とした。

混同行列 誤訳検出器の性能を評価するため，翻訳が人間，NMT モデル A，NMT モデル B のいずれ によって翻訳されたかに応じて混同行列を示す.

## 6.2 結果

誤訳検出器は異言語間対話中の誤訳をある程度分類することができることがわかった. 表 2 に示す精度から, 誤訳検出器はマジョリティクラスとマイノ リティクラス分類器と比較して高い性能を得た。こ の結果は，検出器は片方の結果のみを偏って出力し ているわけではないということを示している。さら に，表 3 に示す $\mathrm{F}$ 值，適合率，再現率によると，誤訳検出器は BPersona-chat の誤訳をそれなりの精度 で識別することが可能であった.

しかし，表 4 に翻訳の種類に応じた混同行列よ り，検出器は高品質なモデル B で生成された翻訳を うまく識別することはできなかった。．検出器はモ デル B で生成された誤訳の半分以上を正訳として判断した。うまく判別できなかった理由として，誤訳検出器が, 低品質なモデル A で生成された負例で学習を行なっていることが挙げられる。誤訳検出器と従来の BLEU 計算による評価を 比較するため，BPersona-chat 中の誤訳文に対する sentence-BLEU スコア $[20]^{8)}$ を計算した. sentenceBLEU を計算する際，正訳ラベルがついた翻訳文を 参照訳とした。その結果，誤訳ラベルがついた例の うち，誤訳検出器によって誤訳と判断され，かつ sentence-BLEU スコアも 60 以下となった翻訳文は日本語誤訳の $78.83 \%$, 英語誤訳の $76.75 \%$ となった. なお，誤訳ラベルがついた例のうち，誤訳検出器 では正しく誤訳と判断されたが sentence-BLEU スコ アが 60 以上となる翻訳文は，日本語誤訳の $2.14 \%$,英語誤訳の $21.83 \%$ となった。結果として, 誤訳検出器は正しい翻訳（参照訳）の有無に依存せず， sentence-BLEU スコアを基準として誤訳を判別した ときの精度の 70〜 80\%程度に匹敵すると判明した. また，特に英語訳文を判定する際，ベースライン誤訳検出器は sentence-BLEU スコアが高い，すなわち 表層的には正訳と類似している誤訳文も検出可能で あることを示唆する結果が得られた. このように， ここに提案する誤訳検出器は，BLEU のような指標 では判別できない誤訳を判別できる可能性が高く， この結果は誤訳検出器が異言語間対話の支援システ ムとして活用できる可能性を示している.

## 7 まとめ

本論文では，異言語間でのコミュニケーションを 支援するために，異言語間対話における誤訳検出夕 スクを提案した。本研究における評価のために，複数ターンの雑談をもとに構成された日英対訳コー パスに，比較的低品質な機械翻訳文およびクラウド ソーシングによる翻訳の品質（正訳または誤訳）の 分類を付与した評価用データセットを構築した。ま た，誤訳を検出する誤訳検出器を学習し，異言語対話における誤訳の検出を支援するシステムのベース ラインを構築した．更に，上記の評価用データセッ トを用いてベースラインを評価した。

今後，異言語間対話支援システムの向上に向け て，より詳細に誤訳の可能性を示す機能の実現を目指している。発展として，翻訳に含まれる具体的な 誤りを特定できるように，二值分類を複数ラベルに 改良することを考えている。また，発話候補を参考情報として提供し，ユーザーに発話の修正を促すこ とも検討したい.

## 謝辞

本研究は JST 科学技術イノベーション創出に 向けた大学フェローシップ創設事業 JPMJFS2102, JST CREST Grant Number JPMJCR20D2，JST ムーン ショット型研究開発事業 JPMJMS2011，JSPS 科研費 JP20J21694 の支援を受けたものである.

BPersona-chat の配布を許可いただいた Personachat [14] の開発者様と JPersona-chat [15] の開発者様 に深く感謝申し上げます。

Amazon Mechanical Turk  に おいてクラウドワーカーとしてご協力いただいた皆様へ，深く感謝を申し上げます。

本研究を進めるにあたり，頻繁に議論に参加して いただいた東北大学 Tohoku NLP グループの皆様へ 感謝いたします。

## 参考文献

[1] Yunmeng Li, Jun Suzuki, Makoto Morishita, Kaori Abe, Ryoko Tokuhisa, Brassard Ana, and Inui Kentaro. Bpersona-chat: A coherence-filtered english-japanese dialogue corpus. In Proceedings of NLP2022, pp. E7-3, 2022.

[2] Loïc Barrault, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Mark Fishel, Yvette Graham, Barry Haddow, Matthias Huck, Philipp Koehn, Shervin Malmasi, Christof Monz, Mathias Müller, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2019 conference on machine translation (WMT19). In Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 1-61, 2019.

[3] Loïc Barrault, Magdalena Biesialska, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Matthias Huck, Eric Joanis, Tom Kocmi, Philipp Koehn, Chi-kiu Lo, dow, Matthias Huck, Eric Joanis, Tom Kocmi, Philipp Koehn, Chi-kiu Lo, aki Nakazawa, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2020 conference on machine translation (WMT20). In Proceedings of the Fifth Conference on Machine Translation, pp. 1-55, 2020

[4] Toshiaki Nakazawa, Nobushige Doi, Shohei Higashiyama, Chenchen Ding, Raj Dabre, Hideya Mino, Isao Goto, Win Pa Pa, Anoop Kunchukuttan, Yusuke Oda, Shantipriya Parida, Ondřej Bojar, and Sadao Kurohashi. Overview of the 6th workshop on Asian translation. In Proceedings of the 6th Workshop on Asian Translation, pp. 1-35, 2019

[5] Samuel Läubli, Rico Sennrich, and Martin Volk. Has machine translation achieved human parity? a case for document-level evaluation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4791-4796, 2018.

[6] Antonio Toral, Sheila Castilho, Ke Hu, and Andy Way. Attaining the unattainable? reassessing claims of human parity in neural machine translation. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 113-123, 2018 .

[7] M. Amin Farajian, António V. Lopes, André F. T. Martins, Sameen Maruf, and Gholamreza Haffari. Findings of the WMT 2020 shared task on chat translation. In Proceedings of the Fifth Conference on Machine Translation, pp. 65-75, 2020.

[8] Yunlong Liang, Fandong Meng, Yufeng Chen, Jinan Xu, and Jie Zhou. Modeling bilingual conversational characteristics for neural chat translation, 2021.

[9] Lucia Specia, Frédéric Blain, Marina Fomicheva, Erick Fonseca, Vishrav Chaudhary, Francisco Guzmán, and André F. T. Martins. Findings of the WMT 2020 shared task on quality estimation. In Proceedings of the Fifth Conference on Machine Translation, pp. 743-764, 2020.

[10] Erick Fonseca, Lisa Yankovskaya, André F. T. Martins, Mark Fishel, and Christian Federmann. Findings of the WMT 2019 shared tasks on quality estimation. In Proceedings of the Fourth Conference on Machine Translation (Volume 3: Shared Task Papers, Day 2), pp. 1-10, 2019.

[11] Matīss Rikters, Ryokan Ri, Tong Li, and Toshiaki Nakazawa. Designing the business conversation corpus. In Proceedings of the 6th Workshop on Asian Translation, pp. 54-61, Hong Kong, China, November 2019. Association for Computational Linguistics.

[12] Bill Byrne, Karthik Krishnamoorthi, Chinnadhurai Sankar, Arvind Neelakantan, Daniel Duckworth, Semih Yavuz, Ben Goodrich, Amit Dubey, Andy Cedilnik, and Kyu-Young Kim. Taskmaster-1: Toward a realistic and diverse dialog dataset, 2019.

[13] Soujanya Poria, Devamanyu Hazarika, Navonil Majumder, Gautam Naik, Erik Cambria, and Rada Mihalcea. Meld: A multimodal multi-party dataset for emotion recognition in conversations, 2019.
[14] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too?, 2018

[15] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems, 2021.

[16] Pierre Lison, Jörg Tiedemann, and Milen Kouylekov. OpenSubtitles2018 Statistical rescoring of sentence alignments in large, noisy parallel corpora. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), pp. 1742-1748, 2018

[17] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Lin guistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[18] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[19] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clemen Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-ofthe-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System ence on Empirical Methods in $\mathrm{Nat}$
Demonstrations, pp. $38-45,2020$.

[20] Steven Bird, Ewan Klein, and Edward Loper. Natural language processing with Python: analyzing text with the natural language toolkit. O'Reilly Media, Inc.", 2009.

[21] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Advances in Neural Information Processing Systems 31 (NIPS 2017), pp. 5998-6008, 2017

[22] Jörg Tiedemann and Yves Scherrer. Neural machine translation with extended context. In Proceedings of the Third Workshop on Discourse in Machine Translation, pp. 82-92, 2017

[23] Diederik Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of the 3rd International Conference on Learning Representations (ICLR 2015), 2015

[24] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research, Vol. 15, No. 56, pp. 1929-1958, 2014

[25] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jon Shlens, and Zbigniew Wojna. Rethinking the Inception Architecture for Computer Vision. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016), pp. 2818-2826, 2016

[26] Myle Ott, Sergey Edunov, David Grangier, and Michael Auli. Scaling Neural Machine Translation. In Proceedings of the Third Conference on Machine Translation (WMT 2018), pp. 1-9, 2018.

[27] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's neural machine translation system Bridging the gap between human and machine translation. CoRR, Vol. abs/1609.08144, , 2016.

[28] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, 2019.

[29] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine transla tion of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

表 5 NMT モデル A 学習のハイパーパラメータ一覧

表 6 分類モデル学習のハイパーパラメータ一覧

## A 翻訳モデルの学習設定

ニューラル機械翻訳モデル $\mathrm{A}$ を学習する際，まずは BPE [29] でコーパスをトークナイズしてサブワードにす る. 語彙の大きさは 32,000 とした. 文脈を考慮するため に，2つの入力文を与えて 2 つ連続して出力する 2-to-2 Transformer-based NMT モデル A [22] を学習した. 表 5 に ハイパーパラメータの一覧を示している.

## B 分類モデルの学習設定

分類モデルの学習について説明する. 表 6 にハイパー パラメータの一覧を示している.

## C クラウドソーシング関連設定

## C. 1 Persona-chat のフィルタリング

Amazon Mechanical Turk (https://requester.mturk. $\mathrm{com} /$ ）のクラウドワーカーに，Persona-chat の一貫性 がない対話をフィルタリングするよう依頼した. 以下に 当てはまる場合，「一貫性がない」対話であると定義した.
- questions being ignored;
- the presence of unnatural topic changes;
- one is not addressing what the other said;
- responses seeming out of order;
- or being hard to follow in general.

ワーカーには，誤字脱字などの細かいことは気にせず，大 まかな流れを把握するよう指示した。

フルラウンドでは, Persona-chat から 1,500 の対話を選択した. クラウドワーカーは，予選を経て選ばれた．各 クラウドワーカーは対話 5 件を評価し，各対話は異なる ワーカー 10 人によって評価された. 選ばれた 200 対話は ワーカー 10 人のうち，少なくとも七人が正しいかつ一貫 していると評価した対話となった.

## C. 2 対話に対する翻訳の評価

クラウドワークス (https://crowdworks.jp/）のクラウ ドワーカーに，BPersona-chatの人間による翻訳と機械翻訳を低品質か高品質かラベル付けしてもらうタスクを 行った. クラウドワーカーの資格は，日本語はネイティ ブレベル，英語はビジネス・アカデミックレベルに到達 できるレベルとなっている。このタスクでは，以下の場合に「低品質である」と定義した.
- the translation is incorrect;
- parts of the source chat are lost;
- there are serious grammatical or spelling errors that interfere with understanding;
- the person's speaking style changes from the past utterance;
- the translation is meaningless or incomprehensible;
- or the translation is terrible in general.

ワーカーは，対話全体が含まれるファイルを一つ一つ確認し，各発話を評価することができた。

ワーカーによって，クラウドワーカーは二週間でファ イル 50 個から 300 個程度を評価した。このタスクは事前 に予選を行い，予選を通過したワーカーのみ本選（実際 の作業）に参加可能とした.


# 形式論理学に基づく演繹コーパスによる 言語モデルに対する演繹推論能力の付与

森下皓文 森尾学 山口篤季 十河泰弘
日立製作所 研究開発グループ
terufumi.morishita.wp@hitachi.com

## 概要

言語モデルに演繹推論を学習させるための事例か らなる演繹コーパスを提案する. 先行研究では演繹規則が恣意的に選ばれていた為，演繹推論の核心を 捉えられなかった. 我々はこれを再考し, 形式論理学に基く根拠ある演繹規則群を採用する. 実験によ り，提案コーパスで学習した言語モデルが既存コー パスで学習した言語モデルより頑健な演繹推論能力を持つことを示す. 更に後続研究のため，コーパ ス・学習済みモデル・ソースコードを公開する。

## 1 はじめに

論理的に物事を考える機械の実現は，人工知能黎明期からの夢である [1]. このゴールに対して近年，様々な論理推論ベンチマークが提案されている $[2,3,4,5]$. これらは通常, 優れた言語理解能力を持 つ最先端の言語モデルを用いて取り組まれている. しかしながら，言語モデルをもってしても論理推論 は難しいことが認識されつつある $[6,7,8]$.

言語モデルは，人間が書いた文章中の多くの良質 な事例から，言語理解能力を帰納的に獲得した [9].逆に考えると，言語モデルの論理推論能力の低さ は，人間が書いた文章中に良質な論理推論の事例が 十分数含まれていないことを示唆している. そうで あるならば，良質な論理推論の事例を多く含むコー パスを生成し，言語モデルに学習させることで，論理推論能力を獲得することができるはずである.

このようなコーパスの 1 つとして，近年提案され た RuleTaker [10] が挙げられる. RuleTaker は，自動生成された多段演繹証明を含む。 各演繹証明は，与 えられた事実の集合に対して演繹規則を複数回適用することにより，仮説を証明 (あるいは反証) す る (図 1 中の “Deduction Instance" と同様). 演繹規則 としては, $\forall x F(x) \rightarrow G(x), F(a) \vdash G(a)(\vdash$ は “導出
する”の意) 等の，含意に類する規則が用いられた。 Artifical Argument Corpus [11] は RuleTaker 同様，自動生成された一段演繹証明からなるコーパスで，演繹規則として人手で選ばれたクリティカル・シンキン グに役立つ規則，例えば対偶 $\mathcal{F} \rightarrow \mathcal{G} \vdash \neg \mathcal{G} \rightarrow \neg \mathcal{F}(\neg$ は否定) が用いられた。これらの演繹コーパスはい ずれも，最も普遍的な論理推論能力の一つである，演繹推論能力を獲得する機会を提供し得る.

しかしながら，これら演繹コーパスで採用された 演繹規則は少数に限られ，また，恣意的であった。現実世界の複雑な演繹推論では多様な演繹規則が求 められるため，再考する必要がある。

本研究はこの問題に答えることを目指す.まず，形式論理学 (Formal Logic) を訪れる (2 節). 形式論理学によれば，既存コーパスで使用された演繹規則も 含め，妥当な演繹規則は無限に存在する。しかし， その中でも基本的な演繹規則群 (公理系) が存在し，公理系による多段演繹推論によって，その他の任意 の演繹規則を導出できる（完全性）よって，公理系による多段演繹推論は任意の演繹規則による多段演繹推論を模擬することができる。既存コーパス の演繹規則群はこの性質を持たないので，たとえそ れらを獲得したとしても，他の多様な演繹規則を模擬できない，我々はこの点を改め，演繹規則群と して公理系を採用したコーパス FLD (Formal Logic Deduction, 3 節) を構築し，言語モデルに公理系を用 いた演繹推論能力を獲得させることを目指す。

次に FLD の有効性を実験的に確かめる (4 節-6 節 ). 複数種のベンチマークにて，FLDで学習された 言語モデルが既存コーパスで学習された言語モデル より頑健な演繹推論能力を持つことを示す.

最後に，FLDコーパス・ソースコード・学習済み モデルを公開する ${ }^{11}$ ．FLDコーパスは既存コーパス より挑戦的なのでベンチマークとして有用である.

図 1: FLD は一階述語論理の公理系に基づく演繹推論事例を生成することを目的とする．また，将来の解析研究において様々なパターンのコーパスを生成することを見据え，多様なオプションが用意されている.

## 2 事前知識: 形式論理学

このステップは 2 つの前提 (棒の上) から結論 (棒の 下) を導いており，記号を用いて抽象化できる:

この形式の演繹ステップを modus ponens と呼ぶ.

Modus ponens 以外にも，演繹ステップは無数に存在する。例えば二段論法 (syllogism) は有名である:

$
\frac{(\mathcal{F} \rightarrow \mathcal{G}) \wedge(\mathcal{G} \rightarrow \mathcal{H})}{\mathcal{F} \rightarrow \mathcal{H}} \text { syllogism }
$

無論，妥当でないステップ2)を考えることもできる:

上記の例から分かるように，演繹推論とは，特定 の規則に従って前提から結論を導き出す思考形態 と定義できる. 形式論理学では，このような演繹規則のことを論証と呼ぶ. 従って，(2)-(4)は全て形式論理学における論証である。なお，F $\mathcal{F}$ や $\mathcal{G}$ などは， $\mathcal{F}=\neg(A \vee \neg B)$ など $(A, B$ は原子論理式 $)$, 任意の複合論理式でよい. 更に，前提・結論に現れる論理式 は無限パターン考えることができるため，論証は (妥当でないものも含めて) 無限に存在する.

2）前提が全て真 $(=1)$ だが結論が偽 $(=0)$ となるような真理值割り当てが存在するステップ (論証) のこと．表 $5 \mathrm{~b}$ 参照.

図 2: 公理系を用いた多段演繹推論. (左): 三段論法 の導出 (右): ステップ数を大く取ることで，三段論法を用いた多段推論を模擬できる.

次に多段演繹推論を考える。図 2(左) から分かる ように，三段論法はより「原子的な」論証による多段演繹推論によって導出できる (他の例として，先行研究で使用された論証の導出を図 4 に示す). 実 は，形式論理学では公理系と呼ばれる原子的な論証群（図 3a）が存在し，以下のことが知られている

定理 1 (一階述語論理 ${ }^{3}$ ) の完全性 Gödel, 1930). 全て の妥当な論証4) は，公理系による多段演繹推論に よって導出できる。また，公理系による多段演繹推論によって導出された論証は全て，妥当である.

ここに我々は，形式論理の核心，即ち，公理系を 用いた多段演繹推論に至った. 完全性により，妥当 な論証は全てこの方法に導出でき，かつ，この方法 によって導出される (無限種類の) 論証は全て妥当な のである。また，図 2(右) に例示するように，公理系を用いた多段演繹推論は，原理的に，任意の論証 を用いた多段演繹推論を模擬できることになる.

3）本論文は一階述語論理に議論を限る.

4）前提が全て真 $(=1)$ となるような任意の真理値割り当てに おいて，結論も必ず真 $(=1)$ となる論証のこと. 表 5 a に例示.

## 3 形式論理演繹コーパスの生成

公理系による多段演繹推論事例を生成するための フレームワーク FLD (Formal Logic Deduction)を提案する. 直感的な理解のために図 1 を参照のこと。参考として，実際に生成された事例を図 5 に示す.

ランダム演繹による証明木生成 RuleTaker は，論理式群をランダムに生成し, それらにソルバーを走 らせて偶発的に生じた演繹関係を特定し，証明木と して用いた. しかしこの方法は外部のソルバーに依存するため, 証明に用いる論証群を指定できない.

そこで我々は，ユーザが指定した論証群を用いて ランダムな演繹推論を行うことにより証明木を生成 するモジュール (図 1 中の “Proof Tree Generator')を 開発した.このモジュールは, 前向き・逆向きの各 ステップ (図中“forward"と "backward") において,論証をランダムに 1 つ選び，現在の証明木に結合す る. 証明木のノードの複合論理式 $(\mathcal{F}$ や $\mathcal{G})$ は任意 である（2 節）ため, 原子論理式 ( $A$ や $B$ 等) と論理演算子 $\wedge, \vee, \neg$ を用いてランダムに生成する ${ }^{5}$ ).

負例事実群の生成 現実の論理推論では，事実群 は与えられるのではなく，検索システム等によって 取得しなければならないので，ノイズとなる事実 (負例事実) が含まれる.これを模擬した負例事実群 を生成する (図 1 中の “Factual Distractor Generator").負例事実は, 正例事実と類似する論理式 (例えば正例 $(A \wedge B) \rightarrow C$ に対して負例 $A \rightarrow C$ ) 等を用いる.

自然言語の割り当て 各論理式に，自然言語を 割り当てる (図 1 の “Natural Language Assigner”)。ま ず，各論理式ごとに，事前に用意された以下のよう なテンプレートからランダムに 1 つ選択する:

$
\begin{gathered}
A \rightarrow B \text { : "If A, then B.", "A leads to B." } \\
F(a) \rightarrow G(b): \text { "If a F, then b G.", "When a F, b G." }
\end{gathered}
$

$A, B, F, G, a, b$ のような要素には一定の文法制約の 下，語彙からランダムに構築した言明を割り当てる:

$A$ : "an Earthquake occurs" $B$ : "the year ends"

$F$ : "run" $G$ : "answer" $a$ : "the hamburger" $b$ : "Peter"

ランダムである理由は，演繹推論の妥当性は論理式 の記号形式にのみ依存し, その内容は依存しない6) ので，論理式への内容割り当てはいかなるものも許容されなければならないからである.

演繹推論事例の生成 事例を生成する (図1 中の “Deduction Instance Converter"). 事例は，事実群 - 仮

5）ただし先行研究と同様, 原子論理式の数は 3 までとする.

6）「Aと $A \rightarrow B$ が成り立っている時には，Bも成り立つ」と いう形の推論は， $A$ の実際の内容にかかわらず妥当である.表 1: 本研究で用いたコーパス (詳細は付録 A.1).比較対象となるコーパス間の条件を揃えるため,複数のコーパスを構築した. “RT” は RuleTaker[12].

} \\

RT.BE はテストセットのみなので評価のみに使う。

説・証明・回答ラベル，から構成される．回答ラベ ル「証明された」の場合: (i) 証明木の根ノードを仮説として (ii) 証明木の葉ノードと負例事実を事実群 として (iii) 証明木の中間ノード群を証明として，用 いる. 回答ラベル「反証された」の場合，根ノード の否定文を仮説とすることにより，証明木によって 仮説が反証されるようにする。回答ラベル「不明」 の場合，葉ノードの一部をランダムに削除すること で，仮説を証明も反証もできないようにする。

## 4 実験

FLD で学習された言語モデルの論理推論能力を,他の演繹コーパスで学習された言語モデル，またこ のような学習をしない言語モデルと比較する。

## 4.1 モデル

演繹タスクでは，与えられた事実の集合から与え られた仮説を証明・反証する証明系列を生成するこ とが求められる.このために, [8] の証明器を用い る.これは T5[13] に基づく生成モデルで, “fact1 \& fact3 -> The Earth has seasons.' のように，選ばれた前提群と導出される結論からなる証明ステップを $1 つ$ づつ生成していく. 学習の詳細は付録 A. 2 に示す.

## 4.2 ベンチマーク

演繹コーパス 表 1 中のあるコーパスで証明器を 学習し, 別のコーパスで性能を計測する. 証明器が 頑健な演繹推論能力を獲得していれば少ない事例の みで転移するはずなので，ターゲットコーパスでの
表 2: 各コーパスにおいて，全データを用いて fine-tuning された証明器の証明正解率.

表 3: コーパス間で few-shot 転移した証明器の証明正解率.これらコーパスは用いた論証群が異なる.

} & RT & 70.1 & 92.4 & 91.3 & 76.2 & 74.4 & 76.7 \\

学習は few-shot ( $1 \%=300$ 事例) で行う. 性能指標と して証明正解率 (proof accuracy) [12] を用いる.

EntailmentBank (EB) [14] 証明木は人手で作成 されており，また，各証明ステップは厳密な論理 ステップだけでなく含意的なステップも許される。 よって，より現害的なシーンでの演繹推論能力を測定できる，上記のように，証明ステップの性質が演繹コーパスとは異なるため, 少数事例での転移は望 めない．よって，演繹コーパスで学習した証明器を EB 全データで fine-tuning して性能を計測する。性能指標として証明正解率 (“AllCorrect” [14]) を用いる.

## 5 言語モデルは論理を解けるか?

まず，言語モデルが各演繹コーパスをどれくらい 解けるか示しておく(表 2). 証明器は RuleTaker で は良好な性能を発揮しているが，FLDでの性能は悪 い. FLD が難しい理由の一つは，以下のように考え られる (詳細は付録 A.3). RuleTaker は含意に類する 少数の論証 (図 3b) のみを使用するのに対し, FLD は公理系 (図 3a) に含まれる様々な論証を使用する. よって，FLDは証明木生成の際に，木の各レベルに おいて選択可能な論証の種類が多い. 証明木は，各 レベルにおいて選択された論証の組み合わせによっ て構成されるので，ありうる木のパターンは組み合 わせ的に大きくなる (大雑把に $O\left(|\mathcal{A}|^{d}\right)$ パターン. ここで $|\mathcal{A}|$ は各レベルにおける論証の選択肢数, $d$表 4: EntailmentBank における証明器の証明正解率.

は木の深さ). 結果，FLD は RuleTaker よりも多様な パターンの証明木を含んでおり，難易度が高いと考 えられる。実際，最も木が深いFLD`は極めて難易度が高かった。

## 6 FLD は有効か?

## 6.1 論証への汎化

演繹推論能力の獲得において最も重要なのは演繹規則（論証）の獲得であるので，演繹コーパスがう まく言語モデルに論証を教えられるかを調べる。

表 3 から分かるように，論証群が異なるコーパス 間の転移に関して，sFLD-axiomで学習された証明器が最も平均性能が高かった。これは，コーパス毎 の結果から分かるように，論証群が異なる他のコー パスに対して最も頑健に転移したことによる.

この頑健性こそがまさしく，形式論理に基づく演繹の美徳を示している．sFLD-axiom は論証群とし て公理系を用いているので，完全性により，他コー パスの論証による多段演繹推論を全て模擬すること ができる（参考に図 4 に例を記す)。即ち，公理系 から得られる演繹推論能力は，様々な論証に汎化す るのである。一方，他コーパスの論証群は完全性の ような性質を持たず，論証への汎化は得られない。

## 6.2 より複雑なタスクへの汎化

表 4 に，EB での性能を記す。EB は深い木 (最大 で 10 以上)を含むので，深い木を含む演繹コーパス から転移させた．FLDによる学習は，より実世界に 近い複雑な論理推論にも汎化することが分かる．参考に表 8 に証明器の出力例を示す.「否定 (ᄀ) の意味」「次の結論を導くために必要十分な前提のみを 選ぶ」「前提から論理的に導ける事項のみ結論に含 める」など，論理の基本が学習されている。

## 7 おわりに

形式論理学に基づく演繹コーパスを提案し, 有効性を実験的に示した，今後は，事実群の獲得も求め られる演繹推論や仮説推論など，より高度な推論に 対して，本アプローチを昇華させていく．

## 謝辞

本研究は，計算機リソースとして，産総研の $\mathrm{AI}$橋渡しクラウド $(\mathrm{ABCI})$ を用いた。また，日立製作所の清水正明氏には，社内大規模計算機環境の維持管理をして頂いた．両者ともに，お礼申し上げる。

## 参考文献

[1] John W. McCarthy. Programs with common sense. In Proc. Tedding Conf. on the Mechanization of Thought Processes, pp. 75-91, 1959 .

[2] Jason Weston, Antoine Bordes, Sumit Chopra, Alexander M Rush, Bart Van Merriënboer, Armand Joulin, and Tomas Mikolov. Towards ai-complete question answering: A set of prerequisite toy tasks. arXiv preprint arXiv:1502.05698, 2015.

[3] Ivan Habernal, Henning Wachsmuth, Iryna Gurevych, and Benno Stein. The argument reasoning comprehension task: Identification and reconstruction of implicit warrants. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1930-1940, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[4] Timothy Niven and Hung-Yu Kao. Probing neural network comprehension of natural language arguments. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4658-4664, Florence, Italy, July 2019. Association for Computational Linguistics.

[5] Kyle Richardson, Hai Hu, Lawrence Moss, and Ashish Sabharwal. Probing natural language inference models through semantic fragments. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 8713$8721,2020$.

[6] Amanda Askell. Gpt-3: Towards renaissance models. Daily Nous Blog: Philosophers On GPT-3, 2020.

[7] Jack W Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, et al. Scaling language models: Methods, analysis \& insights from training gopher. arXiv preprint arXiv:2112.11446, 2021

[8] Kaiyu Yang, Jia Deng, and Danqi Chen. Generating natural language proofs with verifier-guided search. In Conference on Empirical Methods in Natural Language Processing (EMNLP), 2022

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019

[10] Peter Clark, Oyvind Tafjord, and Kyle Richardson. Transformers as soft reasoners over language. arXiv preprint
arXiv:2002.05867, 2020.

[11] Gregor Betz, Christian Voigt, and Kyle Richardson. Critical thinking for language models. In Proceedings of the 14th International Conference on Computational Semantics (IWCS), pp. 63-75, Groningen, The Netherlands (online), June 2021. Association for Computational Linguistics.

[12] Oyvind Tafjord, Bhavana Dalvi, and Peter Clark. ProofWriter: Generating implications, proofs, and abductive statements over natural language. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 3621-3634, Online, August 2021. Association for Computational Linguistics.

[13] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J Liu, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, No. 140, pp. 1-67, 2020.

[14] Bhavana Dalvi, Peter Jansen, Oyvind Tafjord, Zhengnan Xie, Hannah Smith, Leighanna Pipatanangkura, and Peter Clark. Explaining answers with entailment trees. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7358-7370, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

## A 参考情報

(a) 一階述語論理の公理系 (FLD の論証群)

(b) RuleTaker ${ }^{G(b)}$ “含意” 論証群図 3: 本研究や先行研究で用いられた論証を示す.ただし, Artificial Argument Corpus で用いられた論証は [11] の Figure. 1 参照のこと.

(a) RuleTaker の論証.

(b) Artificial Argument Corpus の論証.図 4: 公理系を用いた多段演繹推論による, 先行研究の論証の導出例.

表 5: 論証の前提 $\left(\mathcal{P}_{i}\right)$ ・結論 $(C)$ に関わる真理値表. 青色は, 前提が真 $(=1)$ の場合には結論も真. 赤色は, 前提が真なのに結論が偽 $(=0)$.

(a) 妥当な論証 (3) (syllogism).

$
\begin{aligned}
& \mathcal{P}_{1}=(\mathcal{F} \rightarrow \mathcal{G}) \wedge(\mathcal{G} \rightarrow \mathcal{H}), \\
& C=\mathcal{F} \rightarrow \mathcal{H} .
\end{aligned}
$

(b) 妥当でない論証 (4).

$\mathcal{P}_{1}=\mathcal{F}, \mathcal{P}_{2}=\mathcal{F} \vee \mathcal{G}$

図 5: FLD の事例 (本例では証明中に背理法が用いられている).

## A. 1 コーパス詳細

“skewed” な深さ分布のコーパスは，深い木よりも浅い木をより多 く含む. これは, 公平な比較のために RT(D0-D3) に合わせた分布である. 一方，“flat”は一様分布を持つ. 全てのコーパスの事例は，負例事実群を最大 20 程度まで，ランダムに含んでいる。 RuleTaker: 他のコーパスとの条件を合わせるため，回答ラベル の分布が一様に・学習セットサイズが $30 \mathrm{k}$ となるように，一部を サンプリングした. “含意”論証群は図 3b. その他詳細は [12].

FLD: オプション機能を用いて，様々な条件のコーパスを作成し た. “公理系” 論証群は図 $3 \mathrm{a}$ を, “含意” 論証群は図 $3 \mathrm{~b}$ を, “クリ ティカル・シンキング”論証群は，[11] の Figure. 1 記載のものを，用いた. クリティカル・シンキング論証は粒度が大きく多段に組 み合わせるのが難しいので，木の深さは 1 とした. 回答ラベルの 分布は一様である．学習セットサイズは $30 \mathrm{k}$ ，バリデーション・ テストセットは $1 \mathrm{k}$ である。その他詳細はウェブ参照のこと。

## A. 2 証明器学習の詳細

表 6: 証明器学習のハイパーパラメータ.

5 節, 付録 A. 3 での “全データでの fine-tuning”では，20000 ステッ プ学習している. EntailmentBank は難易度が高いので, [8] の verifier も用いている. その他, 学習の詳細は [8] を参考のこと。

## A. 3 各コーパスの難易度の詳細分析

表 7: 各コーパスで, 全データで fine-tuning された証明器の証明正解率.

$

$

“skewed”コーパス群において, sFLD-impl は RuleTaker より難易度が高い，論証群や木の深さ等の諸条件は同じなので，その他 の実装の詳細に起因すると考えられる．例えば，FLDの負例事実は正例事実と混同しやすいように設計されており，自然言語割り当てはランダム言明によって極めて多様である (3 節). FLD-impl は sFLD-impl と同様の “含意” 論証を用いているが，よ り難易度が高い。これは，“flat”コーパス群は skewed に比べて，深い証明木をより多く含む (付録 A.1) からであろう．FLD の 難易度が FLD-impl より高いのは，公理系からなる多様な論証をを 用いるので，多様なパターンの証明木を含むからであろう (5 節 ). FLD $\star$ 極めて難しい理由は，証明木の深さが最も深く，指数関数的に多様なパターン $\left(|\mathcal{A}|^{d}\right)$ の証明木を含むからであろ.

 & rocks cannot form fossils & \multirow{2}{*}{  } \\

$a$ https://github.com/hitachi-nlp/FLD

イン (T5) の誤った証明ステップが治った例.


# 分散文章データ統合解析のための データコラボレーション文章解析

関 口拓海 ${ }^{1}$ 今倉暁 ${ }^{2}$ 櫻井鉄也 ${ }^{2}$
1 筑波大学大学院 2 筑波大学システム情報系
sekiguchi.takumi.ss@alumni.tsukuba.ac.jp \{imakura,sakurai\}@cs.tsukuba.ac.jp

## 概要

複数機関が保有する個人情報を含むデータの解析 のため，プライバシー保護を考慮した学習手法が注目を集めている。近年提案されたデータコラボレー ション解析は生データではなく各パーティが独自に 次元削減を行った中間表現を共有する手法である が，文章のような順序情報を持つデータの解析が困難である. 本研究では分散文章データの統合解析を 目的として，文章を単語の分散表現辞書と順序情報 の 2 要素に分解して解析を行うデータコラボレー ション文章解析を提案する. 文章分類問題の実験の 結果, 単独機関での解析と比較して約 20 ポイント の分類精度向上（生データを直接共有する場合と比較して 1 3 ポイント以下の精度低下）を確認した.

## 1 はじめに

一般に，機械学習では学習用のサンプルデータが 多いほど高い精度で学習が可能である。類似した データを持つ複数の機関の間では，データを共有し て多くのサンプルデータを用いた解析を行うことで 高精度な解析結果を得ることが期待できる.

しかし，サンプルデータの中にはプライバシー保護のため共有の難しいデータが存在する. 医療デー タなどのセンシティブなデータは直接共有して解析 することが困難な場合がある．

そのようなデータを直接共有せず解析するため の手法としてデータコラボレーション解析 [1-3] が 提案された。データコラボレーション解析は複数の データ提供パーティが各自の生データに独自に次元削減を行った中間表現を共有する手法で，各パー ティ間で生データを秘匿しつつ解析者の下で統合し て解析を行える技術である。この技術によりクラウ ドサービスや外部の解析機関によるデータ解析にお いてプライバシーを保護しつつ多くのサンプルデー
タを活用した解析を可能とする。

一方，データコラボレーション解析では文章のよ うなシーケンスデータを解析する場合，次元削減時 に順序情報が失われてしまう欠点がある。文章デー タでは単語の並び順が文脈を構成しておりデータ解析に影響を与える。解析時に順序情報を活用できな いことは学習精度の低下に繋がると考えられる。

そこで，本研究では順序情報を保持して解析を行 うために，文章データを単語の分散表現辞書と単語 の順序情報に分解して解析を行う手法を提案する.単語の分散表現辞書について解析者に秘匿しつつ解析を行い順序情報を後から復元することで，順序情報を活用した高精度な文章解析を実現する。

また文章分類の実験により性能評価を行い，生 データを直接共有する場合に近い十分な分類精度で 文章データの解析を行えることを確認する。

## 2 データコラボレーション解析

データコラボレーション解析は複数パーティに分散したデータを直接共有せずに解析者の下で統合し て解析を行うための手法である．複数パーティから なるデータ提供者がそれぞれデータを保有する場合 において，各パーティが独自に次元削減を行った中間表現をアンカーデータを介して統合して解析を 行う.

データ提供者が計 $c$ パーティ存在し，初期状態と してパーティ $i(1 \leq i \leq c)$ は $n_{i}$ 個の $m$ 次元からなる サンプルデータ $X_{i} \in \mathbb{R}^{n_{i} \times m}$ を持つと仮定する.

最初に，共有可能な公開データや人工データを用 いて作成した $r$ サンプルのデータ $X^{\mathrm{anc}} \in \mathbb{R}^{r \times m}$ をア ンカーデータと定義し，各提供者パーティで同一の アンカーデータを共有する。ここでアンカーデータ は解析者には公開しない。

ング関数 $f_{i}$ を適用して中間表現 $\tilde{X}_{i}=f_{i}\left(X_{i}\right) \in$
$\mathbb{R}^{n_{i} \times \tilde{m}}, \tilde{X}_{i}^{\text {anc }}=f_{i}\left(X^{\text {anc }}\right) \in \mathbb{R}^{r \times \tilde{m}}$ を作成し, 解析者の下 に中間表現を集める、マッピング関数 $f_{i}$ は各パー ティが任意に決める関数であり，関数 $f_{i}$ を持たない 解析者は中間表現から元のデータを復元することは できない. マッピング関数は線形または非線形の行単位の変換関数であり，例えば主成分分析による次元削減等が該当する. また, 秘匿性向上のため乱数行列を使用した変換を併用しても良い.

その後，中間表現を受け取った解析者はアンカー

作成する. $g_{i}$ は個別に作成された中間表現を比較可能な形に揃えるための関数で，アンカーデータ

$g_{i}\left(\tilde{X}_{i}^{\text {anc }}\right)=g_{i}\left(\tilde{X}_{i}^{\text {anc }}\right)(i \neq j)$ とするための摂動を最小化する次式の全体最小二乗問題 [4] の解として得ら れる。

$
\begin{array}{r}
\min _{E_{i}, G_{i}^{\prime}(i=1,2, \cdots, c), Z\left(\|Z\|_{F}=1\right)} \sum_{i=1}^{c}\left.\|E_{i}\right.\|_{F}^{2} \\
\text { s.t. }\left(\tilde{X}_{i}^{\text {anc }}+E_{i}\right) G_{i}^{\prime}=Z .
\end{array}
$

この式は [4] の手法により次式の特異値分解によっ て $g_{i}$ を求めることができる. ただし, $\left(\tilde{X}_{i}^{\text {anc }}\right)^{\dagger}$ は $\tilde{X}_{i}^{\text {anc }}$ の擬似逆行列, $C$ は正則な正方行列とする.

$
\begin{aligned}
{\left[\tilde{X}_{1}^{\text {anc }}, \tilde{X}_{2}^{\text {anc }}, \cdots, \tilde{X}_{c}^{\text {anc }}\right] } & =\left[U_{1}, U_{2}\right]\left[\begin{array}{ll}
\Sigma_{1} & \\
& \Sigma_{2}
\end{array}\right]\left[\begin{array}{l}
V_{1}^{T} \\
V_{2}^{T}
\end{array}\right] \\
& \approx U_{1} \Sigma_{1} V_{1}^{T}, \\
G_{i} & =\arg \min _{G \in \mathbb{R}^{m \times m}}\left.\|Z-\tilde{X}_{i}^{\text {anc }} G\right.\|_{F}^{2} \\
& =\left(\tilde{X}_{i}^{\text {anc }}\right)^{\dagger} U_{1} C .
\end{aligned}
$

最後に, 解析者はコラボレーション表現 $\hat{X}_{i}=\tilde{X}_{i} G_{i} \in$ $\mathbb{R}^{n_{i} \times \hat{m}}$ を作成し, 統合したコラボレーション表現を 入力として機械学習モデルの学習を行う.

## 3 提案手法

既存のデータコラボレーション解析ではシーケン スデータの順序情報を保持して学習を行うことがで きない問題がある。中間表現を作成する際にはマッ ピング関数で $m$ 次元ベクトルのデータを $\tilde{m}$ ベクト ルに変換を行う．このため文章データで同様の変換 を行う場合，(単語分散表現) $\times$ (単語数) の行列を ベクトルに変換する必要があり, その際に単語の順序情報が失われてしまう。

本研究では文章サンプルを単語の分散表現辞書と 順序情報の 2 要素に分解してから組み合わせて学習 を行う手法を提案する．単語の順序情報は単体では元の文章を復元できないため，秘匿せず直接解析者 に渡すことができる。そのため，データコラボレー ション解析で分散表現辞書のコラボレーション表現 を作成した後に単語の順序情報と組み合わせること で順序情報を保持した統合解析を行う。

複数のパーティからなる提供者が持つ文章データ を単一の解析者の下で解析することを考える．解析者は埋め込み層のない RNNをべースとした学習モ デルを保有し，単語の順序に従い単語分散表現を入力とすることで解析を行うことができる.

## 3.1 分散表現辞書の作成

最初に，提供者の間で分散表現辞書を作成し共有 する. Word2 Vec [5] 等の手法で作成された単語分散表現の事前学習済みモデルを元にして，ランダムに 並び替えた順番をインデックスとすることでイン デックス-単語-分散表現の間で一意な対応を作成す る. 作成した対応を元にインデックス-単語の対応 $v$ ，インデックス-分散表現の対応 $D \in \mathbb{R}^{m \times p}$ を作成 しデータ提供者間で共有する。 $\boldsymbol{v}, D$ はインデックス に従い行方向に順番にそれぞれ単語, 分散表現を並 べることで作成される。なお， $m$ は単語分散表現の 実べクトル次元数を表し, $p$ は事前学習モデルに含 まれる単語の総数を表す. ${ }^{11}$

$
\begin{aligned}
& \boldsymbol{v}=(\text { "'a","is", "pen", "this") } \\
& D=\left[\begin{array}{llll}
1.2 & 0.5 & 1.8 & 0.2 \\
1.3 & 0.6 & 1.9 & 0.3 \\
1.4 & 0.7 & 2.0 & 0.4
\end{array}\right] .
\end{aligned}
$

## 3.2 文章の分解

提供者は共有された対応 $v$ を用いて順序情報を表 すシーケンス $s_{i j}$ を作成する. 各提供者 $i$ は保有す る文章サンプル $j$ を単語ごとに分解して $l_{i j}$ 個の要素を持つ単語列とする. $v$ を用いて単語列の単語を それぞれ対応するインデックスに置き換えることで シーケンス $s_{i j} \in\{1,2, \ldots, p\}^{l_{i j}}$ を得る. また，提供者 $i$ の保有するシーケンスをまとめて $s_{i}$ と表す.

このように作成されたシーケンス $s_{i j}$ は $D$ と の演算により学習モデルへの入力を得ることが できる. 行列 $D=\left(d_{1}, \boldsymbol{d}_{2}, \ldots, \boldsymbol{d}_{p}\right)$ とべクトル $\boldsymbol{s}_{i j}=$ $\left(s_{1}, s_{2}, \ldots, s_{l_{i j}}\right)$ の間において, $D=\left(\boldsymbol{d}_{s_{1}}, \boldsymbol{d}_{s_{2}}, \ldots, \boldsymbol{d}_{s_{l_{i j}}}\right)$ に並び替える演算を $D\left(:, s_{i j}\right)$ として定義する.この とき $D\left(:, s_{i j}\right)$ は分散表現による文章を表し，RNNを
含まれない単語を表す未知語タグ等も含む。

ベースとした学習モデルへの入力とすることがで きる.

$
\begin{gathered}
\text { ( 文章 ) } \cdots . . . \text { “'This is a pen“, } \\
\boldsymbol{s}_{i j}=(4,2,1,3), \\
D\left(:, s_{i j}\right)=\left[\begin{array}{llll}
0.2 & 0.5 & 1.2 & 1.8 \\
0.3 & 0.6 & 1.3 & 1.9 \\
0.4 & 0.7 & 1.4 & 2.0
\end{array}\right] .
\end{gathered}
$

## 3.3 データコラボレーション文章解析

データコラボレーション解析における $X_{i}=X^{\text {anc }}=$ $D^{\top}$ として $D$ のコラボレーション表現を作成する.

図 1 に示すように各提供者パーティ $i$ は個別のマッ ピング関数 $f_{i}$ を用いて中間表現 $\tilde{D}_{i}=f_{i}(D) \in \mathbb{R}^{\tilde{m} \times p}$ を作成する. 作成した中間表現を解析者の元へ集 め，解析者は中間表現を元にマッピング関数 $g_{i}$ を作成してコラボレーション表現 $\hat{D}_{i} \in \mathbb{R}^{\hat{m} \times p}$ を得る. 個別に作成された中間表現から元データを復元するこ とはできないため，分散表現辞書 $D$ は解析者に対し 秘匿されることになる. ${ }^{2)}$

最後に，コラボレーション表現をシーケンス $s_{i}$ と 組み合わせて解析を行う，提供者はシーケンスを秘匿せずそのまま提供者から解析者に渡す. 図 1 に示 すように解析者の元で $\hat{D}_{i}$ と $s_{i}$ を用いて $\hat{D}_{i}\left(:, s_{i}\right)$ を 作成し解析を行う. $\hat{D}_{i}\left(:, s_{i}\right)$ は単語の順序に従い行方向に分散表現が並べられている。解析者はRNN をべースとした学習モデルへの入力とすることで単語の順序情報を活用して解析が行える.

## 3.4 シーケンスからの単語推測

シーケンス $s_{i}$ は秘匿されないため解析者は単語 の使用頻度情報を用いた攻撃が可能である. 解析者 はシーケンスに出てくる各インデックスの使用回数 を数えることで単語の使用頻度の情報を得られる。一般に自然言語では単語ごとに使用頻度に差がある ため，データ解析者は使用頻度を比較することで元 の単語を推測することができる.

しかし，使用頻度の情報のみでは元の文章の復元 は困難である．同程度の使用頻度の単語を正確に分類することは難しく，十分な単語数がある場合の復元は難しい. またこの攻撃への対抗策として，一部 の単語を他の単語に置き換えたり空白として扱うと

2） $\hat{D}$ に対し標準化の処理を適用すると学習精度の向上に繋 がる場合がある． $\hat{D}$ は $g_{i}$ を適用する際に $D$ と比較して絶対值が小さい値になりやすいため，ニューラルネットワークに よる誤差逆伝播が機能しにくくなることを防ぐ効果がある.
いった差分プライバシーの手法によって使用頻度を 変化させる手法が考えられる.

図 1 提案手法による文章解析の概略

## 4 実験

文章分類の実験によって提案手法の性能評価を行 う. 提供者が他のパーティとデータを共有せず個別 に解析を行う個別解析，生データを秘匿せず直接共有して解析を行う集中解析の 2 つと比較を行う.

## 4.1 実験設定

実験ではサンプルデータの総数と解析精度の関係 を確認する。データ提供者は各パーティ 500 サンプ ルずつ保有するものとし, パーティ数を 1 から 10 ま で変化させることでサンプルデータの総数を 500 か ら 5000 に変化させる. マッピング関数 $f_{i}$ では主成分分析による次元削減の後 $[0,1]$ の一様乱数を要素 に持つ乱数行列をかけている. 主成分分析では分散表現の事前学習モデル GloVe [6] による 300 次元の 分散表現を 128 次元に削減した. 解析者は GRU [7] と全結合層からなるニューラルモデルを用いて解析 を行う.

サンプルデータには映画レビュー文とニュース記事の 2 種類のデータセットを使用する.1つ目の実験では IMDB 映画レビューデータセット [8] を使用 し, 映画のレビュー文を入力として内容が好意的か 批判的か判定を行うの 2 值分類を行う. 2 つ目の実験ではロイターニュース記事データセット [9]を用 いて 46 種類のトピックからニュース記事がどのト

図 2 IMDB 映画レビュー分類

ピックに対応するかの多值分類を行う.

## 4.2 結果

図 2 に IMDB 映画レビュー文，図 3 にロイター ニュース記事の実験結果を示す. グラフはそれぞれ 10 回試行した平均値を取っており，エラーバーは 標準誤差を表している。個別解析では提供パーティ を増やしても分類精度（ACC）がほぼ一定の結果と なった一方, 集中解析では提供パーティを増やし学習に利用するサンプル総数が増えるに従い ACC も 向上している.

提案手法の ACC は集中解析に近い值を示し，提供パーティ数に応じて精度が向上していることが読 み取れる。提供パーティ数 10 の 5000 サンプル時点 では個別解析と比較して 20 ポイント以上高い数值 となっており, 集中解析との比較では IMDB 映画レ ビューでは同等の数値, ロイターニュース記事では $1 \sim 3$ ポイント程度低い数値となった.

## 4.3 考察

提案手法により複数パーティのデータを統合して 集中解析に近い精度で学習できた。単一パーティの データしか利用できない個別解析では提供パーティ を増やしても ACC は向上しない。一方, 全パーティ のデータを統合して解析する提案手法と集中解析で は提供パーティの増加に応じて ACC も向上しサン プル数に応じて高い精度で解析できている.

また，集中解析と比較して提案手法は映画レ ビュー分類では同等の精度で学習できているが， ニュース記事分類では $1 \sim 3$ ポイント程度低い精度 となってしまった. しかし，サンプル数に応じて精

図 3 ロイターニュース記事分類

度が向上していることから十分なサンプル数を用意 すれば実用に足る十分な精度で学習できると考えら れる.

提案手法が高い精度で学習できていることは，文章の順序情報を保持して学習できていることが大き な要因であると考察する。提案手法では単語の並び 順を考慮して学習ができるため前後の文脈を踏まえ て分類を行えるため集中解析に近い精度を出せたと 考えられる。

提案手法と集中解析の精度の違いは分散表現辞書 のコラボレーション表現作成による違いだと考察す る. 分散表現辞書は中間表現の作成時に次元削減と 乱数列の積をとっており，次元削減により失われる 情報やマッピング関数 $g_{i}$ によって各パーティの乱数列の違いの影響を打ち消せなかった部分が精度に 現れたと考えられる。

## 5 おわりに

本研究では文章を分散表現辞書とシーケンスで 表現し，順序情報を活用しながらプライバシー保護 を考慮して学習を行う手法を提案した。文章分類の 実験を行い，提案手法により文章の順序情報を活用 して集中解析に近い精度で学習できることを確認 した.

一方，提案手法による解析時は解析者の元に単語 の使用頻度の情報を渡す事になる久点を抱えてい る. 使用頻度から元の文章を復元する攻撃の成功率 の検証，差分プライバシーによる対策を行う場合の 精度低下の検証は今後の課題としたい。

## 謝辞

この成果は，国立研究開発法人新エネルギー・産業技術総合開発機構（N E D O）の委託業務 （JPNP18010）の結果得られたものです.

## 参考文献

[1] Akira Imakura, Tetsuya Sakurai. Data Collaboration Analysis Framework Using Centralization of Individual Intermediate Representations for Distributed Data Sets. ASCEASME Journal of Risk and Uncertainty in Engineering Systems, Part A: Civil Engineering, Vol. 6, No. 2, p. 04020018, 2020.

[2] Akira Imakura, Xiucai Ye, and Tetsuya Sakurai. Collaborative Data Analysis: Non-model Sharing-Type Machine Learning for Distributed Data. In Hiroshi Uehara, Takayasu Yamaguchi, and Quan Bai, editors, Knowledge Management and Acquisition for Intelligent Systems, Vol. 12280 of PKAW 2021. Lecture Notes in Computer Science, pp. 14-29, Cham, 2021. Springer International Publishing.

[3] Akira Imakura, Ryoya Tsunoda, Rina Kagawa, Kunihiro Yamagata, Tetsuya Sakurai. DC-COX: Data collaboration Cox proportional hazards model for privacy-preserving survival analysis on multiple parties. Journal of Biomedical Informatics, Vol. 137, p. 104264, 2023.

[4] Shinji Ito and Kazuo Murota. An Algorithm for the Generalized Eigenvalue Problem for Nonsquare Matrix Pencils by Minimal Perturbation Approach. SIAM Journal on Matrix Analysis and Applications, Vol. 37, No. 1, p. 409-419, 2016.

[5] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient Estimation of Word Representations in Vector Space, 2013.

[6] Jeffrey Pennington and Richard Socher and Christopher D. Manning. GloVe: Global Vectors for Word Representation. In Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543, 2014.

[7] Kyunghyun Cho, Bart van Merrienboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation, 2014.

[8] Andrew L. Maas, Raymond E. Daly, Peter T. Pham, Dan Huang, Andrew Y. Ng, and Christopher Potts. Learning Word Vectors for Sentiment Analysis. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 142-150, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[9] Reuters-21578,Distribution 1.0. http://www. daviddlewis.com/resources/testcollections/ reuters21578.


# 破滅的忘却を防ぐ最適化関数を用いた構文情報の事前学習

岩本 蘭 1,2 吉田 一星 ${ }^{1}$ 金山 博 ${ }^{1}$ 大湖 卓也 ${ }^{1}$
1 日本アイ・ビー・エエ株式会社東京基礎研究所 2 慶應義塾大学
ran.iwamoto1@ibm.com \{issei,hkana,ohkot\}@jp.ibm.com

## 概要

構文構造は複雑な文や長い文の中の重要な情報に 目を向ける手助けとなる。しかし BERT などの事前学習済モデルは明示的な構文制約を与えておらず、感情分析タスクなどで構文的に不自然な出力が見 られる。その問題への対処として構文知識を事前学習させる研究が行われている。本論文では事前学習済 BERT がもつ意味表現を保持しつつ構文知識を 加えるために、破滅的忘却を防ぐ 2 つの最適化関数 (Elastic Weight Consolidation と Gradient Surgery)を用 いて4つの構文タスクをそれぞれ追加学習させた。追加学習済モデルを用いて GLUE の 3 つのタスク (CoLA, RTE, MRPC) を解き、意味と構文両方の情報 を持つモデルが高性能を発揮することを示した。

## 1 はじめに

事前学習済言語モデル（以降、モデルと呼ぶ）は 近年の言語処理タスクの性能向上に大きく寄与して いる。それらのモデルは品詞や依存構造などの構文情報を大まかに捉えているが [3]、実際には応用タス クを解くための構文情報がまだ不足している [20]。

構文構造を明示的/暗黙的に組み込んだ言語処理 モデルは機械読解 [24] や言語理解 [23]、翻訳 [2] な どで高い性能を発揮している。それらの研究ではモ デルに構文構造を読み込むモジュールを明示的に組 み込む。しかし既存の応用タスクの多くは Hugging Face [19] などが配布している形式のモデルの読み込 みを前提としており、他のタスクへの活用が難しい という側面がある。そこでモデルの再利用性の向上 を目的とし、構文構造の追加学習のみを行うモデル が台頭している $[16,21]$ 。本論文では近年の流れに 倣い、BERT [4]への構文構造の追加事前学習を行 い、後段タスクで使いやすいモデルを作成した。学習済モデルに別のタスクを学習させると以前学んだ ことを忘れる破滅的忘却 [5] という問題が起こりや すいため、破滅的忘却を防ぐ最適化関数を用いた。

図 1 構文事前学習の概要。破滅的忘却を防ぐ最適化関数 を用いて構文情報を追加学習し、モデルが元々持つ意味表現を損なわず構文情報を獲得する。

構文事前学習の概要を図 1 に示す。本論文の主な貢献は以下の 3 つである。

・事前学習済 BERTに 4 つの異なる構文情報を新 たに組み込み(構文学習)、後段タスクでの性能 を比較した。

・構文学習の際に、既存の知識を忘れてしまう破滅的忘却を防ぐ最適化関数を用いて、意味情報 と構文知識の両方を持つモデルを作成した。

・GLUEの 3 タスクでの実験で、事前学習済BERT が元々持つ意味情報と、追加学習で得た構文知識をバランスよく含むモデルが高い性能を発揮 することを示した。

## 2 構文構造の事前学習

本節では学習させる構文情報の種類について述べ る。既存研究では係り受けの予測 [18] や、依存関係 の距離、兄弟関係の予測 [16] など主に 2 つの語の関係を用いている。実応用、例えば名詞句の抽出 [6] や感情分析 [7] などでは主節/従属節の関係や並列構造を従来モデルを用いてうまく扱えていない。タス クに応じて必要な構文情報をモデルに反映させるに

} & \multicolumn{4}{|c|}{ ラベル2 } \\

図 2 構文事前学習タスクの例。Tian らのシステム [16] を用い、4つの事前学習ではラベル 1 と 2 を同時に学習す る。青い部分はフレーズや主節、並列構造を持つ。

は、多様性に富んだ構文学習を行う必要がある。 そこで我々は構文事前学習として、1) deprel prediction 2) phrase detection, 3) main/subordinate detection, 4) conjunction detection を行い、どのような構文情報 が応用タスクに有用かを調べた。

## 2.1 構文事前学習システム

構文学習のために Tian らのシステム [16] を用 いた。システムは係り受けを予測する dependency masking (DM) と関係名を予測する masked dependency prediction (MDP) を同時学習する構造を持つ。本論文では MDP 側を我々のタスクに変更する。

## 2.2 構文事前学習タスク

本節では図 2 の 4 つの事前学習について述べる。 それぞれ文中の単語の係り受けを予測する部分は同 じとし (図 2 のラベル 1 に相当)、図 2 のラベル 2 の 部分が各タスクによって異なる。

Deprel prediction (deprel) 依存構造解析と同様で あり、構文事前学習のベースラインタスクとする。

Phrase detection (phrase) Basirat ら [1] から着想 を得たタスクである。彼らはフレーズのような単位 である nucleus を用いて依存構造解析の性能を向上 させた。本論文でもそれに倣いフレーズ間の関係 (フレーズの主辞の deprel) を予測する。

Main/subordinate detection (main/sub) Nikolaev $ら$ [12] の、BERT が従属節を検出可能かどうかを調査 するタスクを参考にし、主節と従属節を予測する。

Conjunction detection (conj) A and B といった並列構造を予測する。具体的には A, B それぞれの主辞 (conj) とその中の子要素 (child)、and 等の並列接続詞 (cc)、それ以外 (other) のラベルを予測する。

## 3 破滅的忘却を防ぐ最適化

本節ではモデルの意味情報を保持しつつ構文知識 を追加するための 2 つの最適化関数を紹介する。

モデルに対してタスクを連続で学習させると、最初の方のタスクの性能が著しく低下する破滅的忘却 [5] という問題が生じる。事前学習済モデル でも破滅的忘却を防ぐ様々な研究が提案されてお り[8]、我々はマルチタスク学習、特に強化学習や 翻訳の分野でよく用いられる最適化手法 Gradient Surgery (GS)[22] と、継続学習で一般的な最適化であ る Elastic Weight Consolidation (EWC)[9]を用いた。

## 3.1 Gradient Surgery (GS)

Gradient Surgery は複数タスクを同時に学習するマ ルチタスク学習で、勾配の対立を解消する最適化手法である。例えばある 2 つのタスクで勾配が逆方向 になる場合、片方の勾配をもう一方の勾配の直行平面に射影し、もう一方の勾配と対立している部分を 消す。その後 2 つの勾配を足し合わせる。

## 3.2 Elastic Weight Consolidation (EWC)

EWC はタスクを順に学習する継続学習で最初の タスクの最適解を探した後 (または学習済モデルを 用いる時) にそのタスクと次のタスク両方で高性能 を出すパラメータを探す最適化手法である。Fisher 情報行列を用いて、最初のタスクで重要なパラメー タはなるべく更新せず、重要でないパラメータの更新重みを大きくする。GS を用いるマルチタスク学習では最初のタスクのデータを大量に必要とする のに対し、継続学習でEWC を用いる際には少量の データのみでパラメータの重要度を計算できる。

## 4 実験 1: 構文事前学習

本実験では事前学習済モデルが意味情報を残した まま構文情報をどの程度学習可能かを検証する。

## 4.1 設定

構文学習には 2 節で述べた Tian らのシステム [16] を、事前学習済モデルとして bert-base-cased ${ }^{1)}$ を用い た。構文学習のデータは UD-EWT v2.10 [15] から作成し、train/dev/test の割合は変えていない。単語数が 5 未満の文、PoS タグ “X” や関係ラベル“dep”を含 む文を除去した。実験に用いた文数を表 2 に示す。

表 1 構文構造の事前学習での、構文タスクと最適化関数の違いによる構文/MLM タスクの性能比較。

} & optimization & \multicolumn{3}{c}{ Syntax Head } & \multicolumn{3}{c}{ Syntax Label } & Avg. & \multicolumn{1}{c}{ MLM } \\
\cline { 3 - 10 } no & function & rec & prec & f1 & rec & prec & f1 & \multicolumn{1}{c}{ f1 } & \multicolumn{1}{c}{ PPL } \\

& AdamW & 98.02 & 96.04 & 96.82 & 96.90 & 95.37 & 95.63 & $\mathbf{9 6 . 2 2}$ & 702.87 \\
& SGD & 97.86 & 95.86 & 96.64 & 96.90 & 95.37 & 95.63 & 96.13 & 32392.10 \\
& GS & 97.30 & 94.75 & 95.69 & 96.48 & 94.93 & 95.18 & 95.43 & $\mathbf{1 0 . 4 4}$ \\
& EWC & 97.43 & 94.70 & 95.56 & 96.03 & 94.40 & 94.71 & 95.13 & 25.63 \\

& SGD & 97.19 & 95.20 & 95.89 & 95.64 & 95.44 & 95.36 & 95.62 & 2587.11 \\
& GS & 97.58 & 95.80 & 96.53 & 95.08 & 95.21 & 95.02 & 95.78 & $\mathbf{9 . 6 8}$ \\
& EWC & 97.70 & 95.74 & 96.51 & 94.79 & 94.72 & 94.66 & 95.58 & 24.17 \\

& SGD & 96.90 & 94.80 & 95.49 & 100.00 & 100.00 & 100.00 & 97.74 & 1471.63 \\
& GS & 95.70 & 93.86 & 94.16 & 94.93 & 95.56 & 95.24 & 94.70 & $\mathbf{1 1 . 1 6}$ \\
& EWC & 97.57 & 95.22 & 96.07 & 94.52 & 94.52 & 94.52 & 95.29 & 23.59 \\

& SGD & 83.81 & 83.65 & 82.57 & 97.49 & 95.79 & 96.53 & 89.55 & 1412.65 \\
& GS & 89.57 & 88.19 & 87.75 & 96.46 & 93.93 & 94.92 & 91.33 & $\mathbf{9 . 5 6}$ \\
& EWC & 89.57 & 88.19 & 87.75 & 96.13 & 93.15 & 94.26 & 91.00 & 23.78 \\

表 2 実験に使用した UD-EWT コーパスの文数.

最適化関数は 3 節で述べた破滅的忘却を防ぐ GS、 EWC と、比較手法として AdamW [10] と SGD [13] を用いた。GS と EWC を用いた学習では構文学習の 1 ステップごとに WikiText2 [11] からランダムに 100 文を選び MLM (Masked Language Modeling) の勾配を 求めた。GS ではその勾配を構文学習の勾配に足す、 つまり少量の MLM データでのマルチタスク学習を 行なった。EWCではパラメータの重要度計算に勾配を用いただけで、MLM の追加学習はしていない。 bert-base-cased を構文学習なしのベースラインと し、4つの構文学習をそれぞれ行なった。BERTの 元々の意味情報を保持しているか確かめるため、構文学習後に全てのモデルに対して WikiText2を用い て MLM を測定した。MLM の評価尺度として擬似対数尤度スコア (PPL) [14] を、構文タスクの評価尺度として適合率、再現率、F1スコアを用いた。学習率は $\{1$ e-4,1e-5,1e-6\}、epoch 数は $\{50,70,100\} を$ 用い、 test データで Syntax Head と Syntax Label 予測の平均 F1 スコアが一番高いモデルの值を載せた。

## 4.2 結果

結果を表 1 に示す。GS と EWC のみ MLM 事前学習の知識を保ったまま (PPL が低いまま) 構文学習が できたのに対し、AdamW と SGD は破滅的忘却が起 こり PPL が増大した。AdamW はどの構文タスクで も最も良い平均 F1 スコアを達成したが、特に deprel タスクにおいては他の最適化との $\mathrm{F} 1$ スコアの差は ほぼない。AdamW と SGD は target タスクにこでは 構文学習) の性能向上に特化するので、直前のタス クの性能が低くなる (PPL が高くなる)。PPL と応用 タスクの関係については栗林ら [25] も触れている。 GS と EWC では PPL が低く、構文学習よりも前に身 につけた意味的な知識を保っていることがわかる。

タスクごとの違いについても述べる。AdamW での Syntax Label のスコアの違いを比較すると、 main/subordinate タスクや conj タスクは Syntax label の種類が少ないため F1 スコアが高いが、それ以外 のタスクは Syntax label の種類が多く F1 スコアが低 い。この結果はデータの性質から予測可能である。注目すべきは Syntax Head で、4 タスクで正解が同 じなのにも関わらず、もう片方のタスクとの相性に よってスコアが異なる。例えば、conj と head の組み 合わせは他に比べて F1 スコアが低い。
表 3 構文事前学習タスクと最適化関数のそれぞれの違いに基づく GLUE タスクの性能比較。構文事前学習タスクごと の最も高いスコアを下線、それぞれの GLUE タスクにおいての最高スコアを太字で示す。

## 5 実験 2: GLUE

構文知識が言語理解に及ぼす効果を、言語理解 のベンチマーク GLUE [17] の中で構文構造が有用 と思われるタスク (CoLA, RTE, MRPC) で評価する。 CoLA はある英文の文法が正しいかどうかを、RTE は 2 つの文の含意関係を、MRPC は 2 つの文が同じ 意味かを判定する 2 值分類タスクである。

## 5.1 設定

訓練時の epoch 数は 5 に設定し、評価指標は GLUE に倣い、CoLA では Matthews correlation, RTE では精度、MRPC では精度と F1 スコアを用いた。また, 3 タスクの評価值のマクロ平均をとった。2) 次節で示 す結果は表 1 のモデルとは異なり、GLUE の 3 タス クの平均スコアが一番高いモデルの結果を載せてい る。そのため構文学習のスコアも記している。

本論文では最適化と事前学習の違いによる性能の 違いを開発データのみで評価した。鈴木ら [26] が述 ベたように、リーダーボードに多数の投稿をするこ とは評価データの傾向の判明につながるため、本実験では開発データでの性能比較で十分と判断した。

2） MRPC の 2 つの值は 0.5 で重み付けして他の值と平均した。

## 5.2 結果

結果を表 3 に示す。CoLA やMRPC では破滅的忘却を防ぐ GS や EWC を用いたモデルが AdamW やSGD に比べ高いスコアを示した。EWCを用いて conj タスクを学習したモデルが最も高い平均スコア (72.22) を達成し、他のモデルも構文学習なしのスコ ア (70.54) を上回った。つまり多様な構文情報が性能向上に寄与し、中でも意味情報を保持しつつ構文情報を“ほどほどに”学習したモデルが高い性能を 発揮していると考えられる。

## 6 まとめ

本論文では事前学習済モデルに構文知識を取り 入れるために、破滅的忘却を防ぐ最適化関数 GS と EWC を導入し、 4 つの構文追加学習を比較した。モ デルに元々含まれる意味情報と追加学習で補った構文知識を併せ持ったモデルは CoLA, RTE, MRPC タ スクにおいて高い性能を発揮した。

適切な最適化関数を用いて知識をモデルに追加す る本手法は、構文情報以外の事前学習にも適用でき る。また作成したモデルは事前学習済モデルと同じ 形式を持ち、応用タスクでの活用に適している。

## 参考文献

[1] Ali Basirat and Joakim Nivre. Syntactic nuclei in dependency parsing - a multilingual exploration. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics, pp. 1376-1387, 2021.

[2] Emanuele Bugliarello and Naoaki Okazaki. Enhancing machine translation with dependency-aware self-attention. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1618-1627, 2020.

[3] Ethan A. Chi, John Hewitt, and Christopher D. Manning. Finding universal grammatical relations in multilingual BERT. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5564-5577, 2020.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics, pp. 4171-4186, 2019.

[5] Robert M. French. Catastrophic forgetting in connectionist networks. Trends in Cognitive Sciences, Vol. 3, No. 4, pp. 128-135, 1999.

[6] Xiaotao Gu, Zihan Wang, Zhenyu Bi, Yu Meng, Liyuan Liu, Jiawei Han, and Jingbo Shang. UCPhrase: Unsupervised ContextAware Quality Phrase Tagging. In Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, p. 478-486, 2021.

[7] Hiroshi Kanayama and Ran Iwamoto. How Universal are Universal Dependencies? Exploiting Syntax for Multilingual Clauselevel Sentiment Detection. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 4063-4073, 2020.

[8] Sudipta Kar, Giuseppe Castellucci, Simone Filice, Shervin Malmasi, and Oleg Rokhlenko. Preventing catastrophic forgetting in continual learning of new natural language tasks. In Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, p. 3137-3145, 2022.

[9] James Kirkpatrick, Razvan Pascanu, Neil Rabinowitz, Joel Veness, Guillaume Desjardins, Andrei A. Rusu, Kieran Milan, John Quan, Tiago Ramalho, Agnieszka Grabska-Barwinska, Demis Hassabis, Claudia Clopath, Dharshan Kumaran, and Raia Hadsell. Overcoming catastrophic forgetting in neural networks. Proceedings of the National Academy of Sciences, Vol. 114, No. 13, pp. 3521-3526, 2017.

[10] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019.

[11] Stephen Merity, Caiming Xiong, James Bradbury, and Richard Socher. Pointer sentinel mixture models. In International Conference on Learning Representations, 2017.

[12] Dmitry Nikolaev and Sebastian Pado. Word-order typology in multilingual BERT: A case study in subordinate-clause detection. In Proceedings of the 4th Workshop on Research in Computational Linguistic Typology and Multilingual NLP, pp. 11-21, 2022.

[13] H. Robbins and S. Monro. A stochastic approximation method. Annals of Mathematical Statistics, Vol. 22, pp. 400-407, 1951.

[14] Julian Salazar, Davis Liang, Toan Q. Nguyen, and Katrin Kirchhoff. Masked language model scoring. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2699-2712, 2020.

[15] Natalia Silveira, Timothy Dozat, Marie-Catherine de Marneffe, Samuel Bowman, Miriam Connor, John Bauer, and Christopher D. Manning. A gold standard dependency corpus for English. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC-2014), 2014.

[16] Yuanhe Tian, Yan Song, and Fei Xia. Improving relation extraction through syntax-induced pre-training with dependency masking. In
Findings of the Association for Computational Linguistics: ACL 2022, pp. 1875-1886, 2022.

[17] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, 2018.

[18] Ruize Wang, Duyu Tang, Nan Duan, Zhongyu Wei, Xuanjing Huang, Jianshu Ji, Guihong Cao, Daxin Jiang, and Ming Zhou. K-Adapter: Infusing Knowledge into Pre-Trained Models with Adapters. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 1405-1418, 2021.

[19] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, 2020.

[20] Zenan Xu, Daya Guo, Duyu Tang, Qinliang Su, Linjun Shou, Ming Gong, Wanjun Zhong, Xiaojun Quan, Daxin Jiang, and Nan Duan. Syntax-enhanced pre-trained model. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, pp. 5412-5422, 2021.

[21] Zhixian Yang and Xiaojun Wan. Dependency-based mixture language models. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, pp. 7758-7773, 2022.

[22] Tianhe Yu, Saurabh Kumar, Abhishek Gupta, Sergey Levine, Karol Hausman, and Chelsea Finn. Gradient surgery for multi-task learning. In Advances in Neural Information Processing Systems, Vol. 33, pp. 5824-5836, 2020.

[23] Zhuosheng Zhang, Yuwei Wu, Hai Zhao, Zuchao Li, Shuailiang Zhang, Xi Zhou, and Xiang Zhou. Semantics-aware BERT for language understanding. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 9628-9635, 2020.

[24] Zhuosheng Zhang, Yuwei Wu, Junru Zhou, Sufeng Duan, Hai Zhao, and Rui Wang. SG-Net: Syntax-Guided Machine Reading Comprehension. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 9636-9643, 2020.

[25] 栗林樹生, 大関洋平, 伊藤拓海, 吉田遼, 浅原正幸, 乾健太郎.予測の正確な言語モデルがヒトらしいとは限らない. 言語処理学会第 27 回年次大会予稿集, 2021.

[26] 鈴木潤, 全炳河, 賀沢秀人. ニューラル言語モデルの効率的 な学習に向けた代表データ集合の獲得. 言語処理学会第 28 回年次大会予稿集, 2022.


# Towards Unsupervised Remote Sensing Image Captioning and Retrieval with Pre-Trained Language Models

Megha Sharma, Yoshimasa Tsuruoka
The University of Tokyo
\{meghas, yoshimasa-tsuruoka\}@g.ecc.u-tokyo.jp
}

\begin{abstract}
Captioning and retrieval is an important yet underdeveloped task for large remote sensing databases due to limited training resources. We propose a captioning framework that does not require human-made annotations. Using land cover maps as statistical prompts, we use ChatGPT for natural caption generation. Our experiments with OpenEarthMap reveal that pre-trained language models are capable of inferring and describing high level environment information using land cover statistics of the image.
\end{abstract
## 1 Introduction

Recent improvements in remote sensing technology have led to an unprecedented growth in the applications of Remote Sensing Images (RSI) for Geo-spatial Information Systems. One such application is known as Land Usage / Land Cover Mapping (LULC), which aims to classify and understand the terrain and usage of the piece of land captured in the RSI [1]. Well-maintained LULC can aid in land cover monitoring, resource planning, and land management [1] [2].

With more data available than ever, accurate and robust image captioning and retrieval methods have become important to maintain such large databases. OpenEarthMap (OEM) is one such benchmark LULC dataset that offers diverse locations and high quality land cover annotations [2]. Historically, retrieval systems for these databases are queried by image or image patterns [3]. However, it is more intuitive for humans to annotate or query with textual descriptions instead [4]. Cross-modal text-image retrieval and captioning systems present an interesting opportunity to combine Geo-spatial information with Natural Language Processing (NLP) techniques. The opportunity explores the challenge of measuring cross-modal semantic similarity. Intuitively, this can be approached as a two-step process of converting and comparing the database mode to the query mode. Hoxha et al.[5] successfully used deep learning networks to measure similarities between captions generated from the RSI in the database with the queried text. However, these frameworks depend on a large amount of labelled training data to successfully annotate images and measure similarity with query text. Existing caption datasets, such as [6] [7], are limited by the resources required to generate captions. Moreover, the captions are often based on lower-level knowledge such as identified objects like airplanes and stadiums, which is difficult to evaluate without further expert knowledge on the location. On the other hand, LULC information is usually predefined and easier to distinguish even to a common eye.

We are motivated to study unsupervised approaches for RSI captioning to reduce the overhead of manually generating such annotations to train for retrieval systems. Template-based methods are popular to extract visual descriptions into a rule-based output. The annotations by this approach are arguably limited for describing higher level semantic information [5]. However, language models have since made considerable leaps, one such being the release of ChatGPT ${ }^{1)}$, a pre-trained language model trained to perform like a chat bot.

In this paper, we aim to explore if it is possible for such pre-trained language models to recognize higher-level information such as landscape (e.g., rural, urban, and forest) with controlled and uncontrolled generation based on statistical LULC information. We found that pre-trained models could successfully generate natural language captions for the RSI, bringing us one step closer to developing a framework of cross modal retrieval and captioning systems without labelled data. The code is available on GitHub ${ }^{2)}$.

## 2 Method

Let $I=\left.\{I_{1}, I_{2}, \cdots, I_{N}\right.\}$ be a database of $N$ images. For any image $I_{i}$ in the database, there is a corresponding LULC cover map for the image, $I_{i}^{L C}$. We can divide the unsupervised caption generation into three main steps:

1. Land Cover Mapping

2. Statistical Image Understanding

3. Natural Language Generation

The framework, illustrated in Fig. 1, can be used as is for annotation-based retrievals [5] or used to generate ground truth for few shot learning models for supervised image to text retrieval models, such as those proposed in [8].

## 2.1 Land Cover Mapping

To create a truly end-to-end model for unlabelled captioning, we first predict land cover maps from remote sensing images. We experimented with three different types of UNet models, in particular the recent UNetFormer, which gained traction for semantic segmentation [9]. An advantage of these models is that it can be adapted using many different types of vision transformers as its backbone encoder. The network is trained using labelled image pairs of RSI and LULC images. The predictions are a 2D array where each cell's location (row, column) corresponds to the predicted class of the pixel at the same location.

## 2.2 Statistical Image Understanding

Feature extraction plays a key role to project one mode of information to another. Historically, cross-modal textimage systems extract semantic topics using a statistical and semantic analysis of the captions [10]. We translate the image composition and land cover structure into a template statistical prompt for the next step. The land cover classes are mapped to their text labels pre-defined by the training dataset in the prompt. Examples of the statistical prompt is shown in Fig. 2. The image understanding steps are explained in subsections below.

## 2.2.1 Image Composition

Suppose class $C$ is one of the classes present in a predicted LULC image $I_{i}^{L C^{\prime}}$, we calculate the percentage of the composition for class $C$ as follows.

$
\text { Compostion }\left(C \mid I_{i}^{L C^{\prime}}\right)=\frac{\# \text { pixels predicted as } C}{\text { Total \# of pixels }}
$

## 2.2.2 Land Cover Structure

To support image composition, we also describe the locations of prominent land classes. Using the median location of top 2 classes in the LULC, we locate the centroid of each class. Unlike calculating mean, median is more robust to outliers. If the centroid falls into a circle with a radius of $10 \%$ of image size from the center, it is classified with Center location. This threshold accounts as a reasonable margin to describe the location of the LULC class. Any centroid outside of this area is classified as either Upper left, Upper Right, Lower Left, or Lower Right by dividing the image into four quadrants with the center of the image as the center of the quadrant.

## 2.3 Natural Language Generation

In the natural language generation stage, we use the inference of large pre-trained models to convert low level statistical text to a natural sounding caption. In this paper, we use ChatGPT, which was capable of summarising radiology reports without jargon for patients [11]. The statistical prompt is input to ChatGPT for either controlled or uncontrolled generation. In uncontrolled generation the ChatGPT is only asked to "write a natural image caption in 2 lines without numbers" for the given statistical prompt without a ground truth. Restrictions are placed on the length and usage of numbers to reflect annotations found in existing datasets [6]. To test the model against some ground truth, we created four captions as positive examples for ChatGPT. The motivation for controlled generation stems from supervised few-shot training, where we give ChatGPT a few positive examples for generated captions and then ask it to generate given novel statistical prompts, in an attempt to raise behavior expected from the model. We also used five examples from a popular dataset with annotations, RSICD dataset [6] for a more robust ground truth. The images selected from the RSICD dataset were selected to have annotations related to the environment or land cover, as most of the images in the dataset actually describe specific objects or buildings.

Figure 1 The 3-step framework for unsupervised natural language caption generation. In (a), the training data is used to train a model (e.g. UNetFormer) to generate land cover maps of the input. The inferred LULC outputs are used to extract visual information including composition and structure in (b). Finally, in (c), the template is sent as an input to a language model (here we use ChatGPT), to generate natural language captions inferring higher level semantics such as environment (e.g., city center).

## 3 Experiment with OpenEarthMap and ChatGPT

To test the framework, we train several UNet models on the OEM Mini, a smaller version of the OEM dataset with 1068 examples with sub-meter resolution classified into 8 land cover labels. We used a 70-30 train-test split of the dataset for training, and trained with a batch size of 16 . The RGB images were divided into three input channels, and each image was transformed into a $512 * 512$ size image. The learning rate was set at $10^{-3}$ with a weight decay $10^{-6}$. The model is trained with the Dice loss function [12] and Adam optimisation. We objectively evaluated the land cover model using pixel-wise mean Intersection over Union (mIoU), a standard metric to measure the coverage between the true and predicted classes. Our experiments found that the UNetFormer model with SE Res-Net encoder performs best with an mIoU of $53.4 \%$ on the validation dataset and $63.13 \%$ on the test dataset. Using the trained UNetFormer with SE Res-Net land cover model, we retrieved 6 land cover maps from the test split of the dataset, intentionally selecting images with diverse land composition to study the performance across a variety of environments. The extracted statistical information was fed with controlled and uncontrolled prompts into the ChatGPT, and we found that ChatGPT was able to successfully convert the prompts to natural sounding captions.

## 3.1 Uncontrolled Generation

Without seeing any ground truth, ChatGPT is still able to infer urban environments in the generation captions. As seen in the left-hand example in Fig.2, ChatGPT describes the image as urban (city-like) when "buildings" is one of the top two classes. This presents the inherent potential of language models to infer higher level information, such as understanding a high concentration of buildings and grass reflects a "mix or urban and natural elements". The language model is also able to describe quantitative information using relative descriptors, such as converting " $31.3 \%$ buildings" to "buildings taking up a significant portion of the frame" and " $1.2 \%$ Water" to "a hint of water". All of the generated captions were found to be complete, i.e., they used all information provided in the prompt.

The generated captions particularly featured prominent use of creative adjectives. These adjectives seem to be inferred from the language model's training data. For example, "lush trees", "tall buildings", "bustling cityscape" were used in the captions, when no such descriptions were used in the prompt. In the best case scenario, these are positive descriptors of the image; however at worst, these are classified as hallucinations. Hallucination is a common problem with ChatGPT [11]. Albeit not dangerous in this application, it can still raise false positives when querying the annotations. The quality of the land cover map also raises false artefacts in the description when predicting incorrect land classes. This is shown in the right hand example in Fig. 2. The buildings are described as "towering", and a non-existent "body of water" is also described in the caption.

Figure 2 A positive (left hand side) and negative (right hand side) run of the framework with controlled and uncontrolled generation. In the land cover maps (below original image), the orange dot in the center represents the center of the image and the magenta dots represent the median of the two most prominent classes. In the generations, yellow highlights the higher level environment information inferred from the statistics, green highlights the creative adjectives used by ChatGPT that may or may not be accurate to the image, and red highlights the incorrect inferences in the generated captions.

## 3.2 Controlled Generation

Despite a promising start, uncontrolled generation struggled to infer non-urban environments such as rural or forest areas. Hence, we gave ChatGPT examples of four positive examples of captions, using diverse statistical prompts and asked it to re-generate captions for the previous six land cover maps. One of the most important discovery was that controlled generation managed to solve the biggest issue at hand, and ChatGPT correctly inferred environment descriptors such as "forest", "countryside", "metropolis", and "city" in the controlled generation. In general, this also helps control the hallucinations in the generated captions, and strengthens the proposal of the methodology.

In order to truly test the framework against existing ground truth, we also explore results of controlled generations using the RSICD dataset [13]. We found that ChatGPT was able to successfully mimic the style of the RSICD dataset, with short and generic sentences about the images. This also highlights another ability of large pre-trained language models to mimic styles when generating captions. The generated captions contain similar keywords as the ground truth, and this was made apparent with the $50.1 \%$ BLEU1 score of the generated captions against ground truth of the RSICD and the $56.6 \%$ BLEU1 score with positive examples from OEM Mini as described in Tab.1. The BLEU1 and BLEU2 scores refer to overlapping 1-gram and 2-gram in the reference and candidate sentences.

## 3.3 Future Opportunities

ChatGPT and large pre-trained language models present a creative opportunity towards natural image captioning.
Table 1 BLEU1 and BLEU2 scores with the ground truth of RSICD and positive examples for OpenEarthMap

From our preliminary findings we propose the following opportunities and challenges ahead
- Few-shot Modeling - Using generated captions as ground truth for a few-shot learning captioning models such as those proposed in [14].
- Autonomous Caption and Retrieval Systems ChatGPT managed to recover higher level information about the environment using low level land class information. This presents an unprecedented opportunity with autonomous captioning and retrieval systems. Although there are risks of hallucination and misinformation, with controlled generation, we can explore a framework where a user can search for an RSI image using vague text descriptions. We can also expand the framework with multi-level information [15] [16].

## 4 Conclusion

We found that pre-trained models like ChatGPT are able to infer information about the image with just a statistical description of remote sensing images. Although the scope of the experiments was limited, the results spark an exciting conversation of using large pre-trained models to automate labour intensive tasks in the field of Remote Sensing Image Analysis. In future work, we plan to further elaborate the framework for caption and retrieval databases for land cover map images with more robust experiments and future opportunities.

## Acknowledgements

This paper would have not been possible without the work of Naoto Yokoya. Also extending our gratitude to Qiyu $\mathrm{Wu}$, who helped us gain an interesting take on our experiments.

## References

[1] John Rogan and DongMei Chen. Remote sensing technology for mapping and monitoring land-cover and land-use change. Progress in planning, Vol. 61, No. 4, pp. 301325, 2004.

[2] Junshi Xia, Naoto Yokoya, Bruno Adriano, and Clifford Broni-Bediako. Openearthmap: A benchmark dataset for global high-resolution land cover mapping. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pp. 6254-6264, 2023.

[3] Jaroslaw Jasiewicz and Tomasz F Stepinski. Examplebased retrieval of alike land-cover scenes from nlcd2006 database. IEEE geoscience and remote sensing letters, Vol. 10, No. 1, pp. 155-159, 2012.

[4] Mohamad M Al Rahhal, Yakoub Bazi, Taghreed Abdullah, Mohamed L Mekhalfi, and Mansour Zuair. Deep unsupervised embedding for remote sensing image retrieval using textual cues. Applied Sciences, Vol. 10, No. 24, p. 8931, 2020.

[5] Genc Hoxha, Farid Melgani, and Begüm Demir. Toward remote sensing image retrieval under a deep image captioning perspective. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, Vol. 13, pp. 4462-4475, 2020.

[6] Xiaoqiang Lu, Binqiang Wang, Xiangtao Zheng, and Xuelong Li. Exploring models and data for remote sensing image caption generation. IEEE Transactions on Geoscience and Remote Sensing, Vol. 56, No. 4, pp. 21832195, 2017.

[7] Bo Qu, Xuelong Li, Dacheng Tao, and Xiaoqiang Lu. Deep semantic understanding of high resolution remote sensing image. In 2016 International conference on computer, information and telecommunication systems (Cits), pp. 1-5. IEEE, 2016.

[8] Qimin Cheng, Yuzhuo Zhou, Peng Fu, Yuan Xu, and Liang Zhang. A deep semantic alignment network for the crossmodal image-text retrieval in remote sensing. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, Vol. 14, pp. 4284-4297, 2021.

[9] Libo Wang, Rui Li, Ce Zhang, Shenghui Fang, Chenxi Duan, Xiaoliang Meng, and Peter M Atkinson. Unetformer: A unet-like transformer for efficient semantic segmentation of remote sensing urban scene imagery. ISPRS Journal of Photogrammetry and Remote Sensing, Vol. 190, pp. 196-214, 2022.

[10] Binqiang Wang, Xiangtao Zheng, Bo Qu, and Xiaoqiang Lu. Retrieval topic recurrent memory network for remote sensing image captioning. IEEE Journal of Selected Topics in Applied Earth Observations and Remote
Sensing, Vol. 13, pp. 256-270, 2020

[11] Katharina Jeblick, Balthasar Schachtner, Jakob Dexl, Andreas Mittermeier, Anna Theresa Stüber, Johanna Topalis, Tobias Weber, Philipp Wesp, Bastian Sabel, Jens Ricke, et al. Chatgpt makes medicine easy to swallow: An exploratory case study on simplified radiology reports. arXiv preprint arXiv:2212.14882, 2022.

[12] Carole H Sudre, Wenqi Li, Tom Vercauteren, Sebastien Ourselin, and M Jorge Cardoso. Generalised dice overlap as a deep learning loss function for highly unbalanced segmentations. In Deep learning in medical image analysis and multimodal learning for clinical decision support, pp. 240-248. Springer, 2017.

[13] Shan Cao, Gaoyun An, Zhenxing Zheng, and Qiuqi Ruan. Interactions guided generative adversarial network for unsupervised image captioning. Neurocomputing, Vol. 417, pp. 419-431, 2020.

[14] Haonan Zhou, Xiaoping Du, Lurui Xia, and Sen Li. Selflearning for few-shot remote sensing image captioning. Remote Sensing, Vol. 14, No. 18, p. 4606, 2022.

[15] Zhenwei Shi and Zhengxia Zou. Can a machine generate humanlike language descriptions for a remote sensing image? IEEE Transactions on Geoscience and Remote Sensing, Vol. 55, No. 6, pp. 3623-3634, 2017.

[16] Zhiqiang Yuan, Wenkai Zhang, Changyuan Tian, Xuee Rong, Zhengyuan Zhang, Hongqi Wang, Kun Fu, and Xian Sun. Remote sensing cross-modal text-image retrieval based on global and local information. IEEE Transactions on Geoscience and Remote Sensing, Vol. 60, pp. 1-16, 2022.

[17] Jie Hu, Li Shen, and Gang Sun. Squeeze-and-excitation networks. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 71327141, 2018.

## A Appendix

## A. 1 Results from the LULC Modeling

Tab. 2 covers the results from training 8 different types of models for the land cover mapping. The results are shown on the validation dataset only. The SE Res-Net module uses Squeeze-and-Excitation blocks to model interdependencies between channels [17]. The ability for SE Res-Net to re-calibrate its features works well with semantic segmentation tasks.

Table 2 Results from LULC modeling experiments

## A. 2 Example Generations

## Statistical Prompt:

4.2\% Grass, 3.3\% Pavement, $1.2 \%$ Road, $50.5 \%$ Tree, $39.4 \%$ Cropland, 1.2\% buildings, Tree in upper right. Cropland in lower left. Uncontrolled Generation:

The [ush trees dominate the landscape, with a small amount of pavement and grass visible. In the lower left, fields of crops stretch out, while a few buildings dot the terrain Controlled Generation:

A Iush forest takes up the upper right of the image, with a sprawling field of crops in the lower left. A fiew patches of grass and a few scattered buildings and roads can be found throughout the area

Figure 3 Uncontrolled and controlled generations of the OEM Mini dataset. In the land cover maps, the orange dot in the center represents the center of the image and the magenta dots represent the median of the two most prominent classes.

Statistical Prompt:

17.3\% Grass, $4.6 \%$ Pavement, $7.7 \%$ Road, $39.3 \%$ Tree, $31.1 \%$ buildings, Tree in upper right. buildings in center. Ground Truth: buildings and many green trees are in a dense esidential are Generated Caption: a city with many buildings and trees

Statistical Prompt: 13.3\% Grass, $86.7 \%$ Tree, Tree in upper left. Grass in lower right. Ground Truth: a bare land in the middle of the forest Generated Caption: a forest with a small patch of grass

Statistical Prompt:

95.8\% Grass, $3.9 \%$ Tree, Grass in center. Tree in lower left.

Ground Truth:

many green trees are in a piece of forest Generated Caption: a grassy field with a few trees

Figure 4 Generations and ground truth of the RSICD dataset. In the land cover maps, the orange dot in the center represents the center of the image and the magenta dots represent the median of the two most prominent classes.


# 建物分布の変化を考慮した GPT-2 を用いた人流予測のための一検討

小林 亮博 ${ }^{1,2}$ 武田 直人 ${ }^{1}$ 山崎 悠大 ${ }^{1}$ 上坂 大輔 ${ }^{1}$
${ }^{1}$ 株式会社 KDDI 総合研究所 ${ }^{2}$ KDDI 株式会社
\{ao-kobayashi, no-takeda, yd-yamazaki, da-kami saka\}@kddi.com

## 概要

近年, Transformer などの自然言語処理分野で発達 した深層学習技術を, 都市内における人流の予測に 活用する動きが始まっている. しかし, 既存の手法 は建物などの環境の状態は変化しないとの前提に基 づくものであり，例えば大規模開発後の交通量予測 に応用することが困難であった．本研究は，建物分布の変化に応じた将来の人流を予測するために, GPT-2 と建物分布系列の予測器を組み合わせた上で,人流を予測する方式を提案する．本稿では，個々の 予測器の性質を分析した上で, 2 者を組み合わせた 提案法を評価した。

## 1 はじめに

自治体やディベロッパーにとって, 再開発や大規模商業施設の建設といった建物分布の変化がもたら す来訪者数の変化や周辺交通一の影響を予測するメ リットは大きい. 特に, 現在着目されているオンデ マンドタクシーや相乗りなどといった動的に提供さ れる交通サービスでは，個々のユーザの居住地や生活スタイルに沿った細かな移動需要の把握が重要と なるため, ユーザの過去の移動系列を反映して将来 の移動を予測可能な Transformer ベースの人流予測手法に関心が集まっている[2,3]. 本研究は，大規模 なスマートフォン位置情報から抽出した都市におけ る交通行動と, POI(Point of Interest)情報を場所毎・建物種類毎に統計化した建物分布の関係性をモデリ ングすることで，建物分布の変化に応じて増減する 移動需要の予測を目指す。

## 2 関連研究

近年，交通行動の予測においては，移動需要の発生を将来の昼間・夜間人口のみから予測していた四段階推定法[13]に代わり, ユーザの移動行動を細か くモデル化した Activity Based Model が提案される ようになってきた[1]. 石井らは, 自宅から主要な活動先へと向かい帰ってくるまでの一連の行動を「ツ アー」と定義し, 活動先の建物分布と現在位置から の移動コストから, Nested Logit Model を用いて活動先やツアーの発生を予測することで，日常的な都市交通を再現している[1]. しかし現在位置にどのよう な経路で移動してきたかといった過去の移動系列は 考慮されておらず，「職場に行く前に保育園に子供 を送る」など過去の移動系列に含まれるユーザの 個々の細やかな移動需要の把握が困難となっている。 さらに，ツアー単位での行動推定となるため，観光 や運輸目的で対象エリアを通り過ぎる行動の再現が 難しい。

[1] に代表される移動モデルはアンケートで取得 されたデータを元に構築されてきたが，近年では大量に取得されるスマートフォンの位置情報から Transformer ベースの移動モデルを構築する研究が 始まっている[2, 3]. Mizuno らは，自然言語モデル GPT-2を用いて、地域メッシュコード(以下メッシュ と呼ぶ)で離散化したユーザ位置の系列をモデル化 することで，京都駅周辺の人流を高精度に再現して いる[2].ここで，メッシュとは，地域を一定サイズ のグリッドに分割し総務省が定めた規格 JIS X 0410 に従いコード(離散値)で表現したものである.

[2]では GPT-2 を用いることで, 現在時刻までの移動系列からそのユーザが最終的に自宅に帰るのか，京都駅を通り過ぎるだけのユーザかを区別できてお り，1 日の終わりに出発地に戻ると予測したユーザ の割合が実データと合致する。しかし，建物などの 地理的環境の変化は考慮されておらず，将来予測と いう点では課題が残る。

## 3 提案するモデル

本研究では，位置系列をエンコードすることで 個々のユーザの生活スタイルに沿った細かな移動需要の予測が可能な，GPT-2 のメリットを保ちつつ，建物分布に変化に応じた人流の予測を可能とするモ デルを提案する.

図 1 本研究が想定するデータ表現

図 1 に本研究が想定するデータ表現を示す. スマ ートフォンを用いて一定の時間間隔で観測されたユ ーザの移動軌跡を，メッシュの系列で表現する。ま た，メッシュ内における種別毎の建物件数を素性と する固定長ベクトルを，建物分布ベクトルと呼ぶ.建物分布は,ユーザの移動目的と強く関係するため,移動需要の説明変数として用いられており [1], その 系列はユーザの移動行動系列に内包されるセマンテ イクスを示すと期待される。

本研究では，環境中の建物分布が変化した場合で も，上記セマンティクスは大きく変化しないと仮定 する. 例えば, 図 1 のユーザは $\mathrm{t}=3$ でオフィス街に 移動した後, $\mathrm{t}=4$ で商業施設が多く存在するエリア に移動している. 仮に Mesh3 の近辺に新規の大型商業施設が開店した場合, このユーザは $\mathrm{t}=4$ において 異なるメッシュに移動する可能性がある。しかし，

「オフィス街に移動した後に商業地に移動する」と いうセマンティクスそのものは, 大型商業施設開店後も大きく変化しないと仮定する.

図 2 は提案する人流予測モデルを示す. 図の最下段に示す空間制約表現部は[2]で提案されている GPT-2 に基づく移動軌跡予測モデルを示し，ユーザ $\mathrm{u}$ に $\mathrm{t}=0 . . \mathrm{i}$ におけるメッシュ系列 $m_{u, 0} . . m_{u, i}$ が与えら れた際に， i+1 時点におけるメッシュ尤度 $P\left(m_{u, i+1}\right)$ を予測する。図最上段のセマンティクス表現部は，上記メッシュ系列に相当する建物分布の系列 $x_{m_{u, 0} .} x_{m_{u, i}}$ を入力して, $\mathrm{i}+1$ 時点の建物分布べクト ル $x_{m_{u, i+1}}$ を予測する。本稿ではこの時系列の連続値 データ予測器を建物分布予測器と呼び，電力需要予測などで高い精度を示した， Zeng ら[4]の手法を用 いた.また, 図の中段の更新可能地図は, 各メッシ ユの建物分布 $x_{M_{0}} . . x_{M_{k}}$ を並べた行列を示す.ここで $M_{j}$ は，GPT-2 の辞書に登場するメッシュを指す. 更新可能地図と $x_{m_{u, i+1}}$ は, 建物分布ベクトルのノルム が 1 になるよう正規化した上で内積を取ることで，予測した次時点の建物統計べクトルと各メッシュと の $\cos$ 類似度 $S\left(m_{u, i+1}\right)$ を算出する. 建物分布予測に 基づく $S\left(m_{u, i+1}\right)$ と，GPT-2 が予測した $P\left(m_{u, i+1}\right)$ の Hadamard 積を取ることで，セマンティクスと空間上の制約を満たした次メッシュを予測する。

## 4 データセット

本研究では，KDDI 株式会社が au スマートフォ ン利用者より同意を得て取得する GPS データを使用して検証を行った.この GPS データは測位間隔に 粗密があるが，集計した結果は各種人口統計と相関 し，交通需要の推計等に用いられている[5, 6]. 2019 年 6 月に観測された GPS データから宇都宮市在住 のユーザをサンプリングし，エリアを限定せずに 8 日間の移動軌跡を抽出した. 1 日に最低 1 点以上ロ

図 2 建物分布の変化を考慮した人流モデル
表 1 建物分布予測性能

図 3 正解メッシュの建物分布との $\cos$ 類似度 グがある移動軌跡のみを分析対象とし, 6,050人のユ 一ザからなる 98,213 件の移動軌跡を抽出した.

上記の移動軌跡から, 30 分毎のメッシュの系列を 抽出した. 前述の通り, この GPS データは観測頻度 に粗密があるため, 30 分毎の時点において直前・直後となる観測点を抽出し, 時間差を重みとする重心位置を, 30 分毎のユーザ位置とした. 最後にユーザ 位置を 1 辺の長さが約 $250 \mathrm{~m}$ の 4 分の 1 地域メッシ ユで表現し， 8 日間のメッシュ系列を抽出したもの を Pre-Training 用データセットと呼ぶ. 5 節では，以上のデータセットを訓練: 検証: 評価用に 8:1:1 の割合で分割し評価に用いた。

建物分布はゼンリン社の商品を用いた[12]. 建物 の種別(個人家屋・共同住宅・事業所・複合建物)や,業種(飲食, 物販, 教育, 医療...), 規模(階数, 床面積...)で分類された建物の件数が 113 次元で表現さ れている. 本データは $100 \mathrm{~m}$ 四方毎に集計されてい るため, 面積按分で 4 分の 1 地域メッシュ毎に再集計した. 本研究では, 上記データセットに登場する 建物分布を z-score に標準化して用いる。

## 5 実験と考察

## 5.1 建物分布の予測

はじめに建物分布予測器の性能を評価した。 Zeng ら[4]は, 順序情報が保持されない Attention メ カニズムは連続値の時系列予測においては不利であ ると主張しており,簡易な線形NWからなるDLinear， NLinear を用いて Transformer ベースの予測器 Autoformer[7], Informer[8]を超える精度を確認して いる. Pre-Training 用データセットを用い, 建物分布
においても同様の傾向が見られるか確認した.

各移動軌跡における 7 日間の建物分布ベクトルの 系列から次の 1 日間の系列を予測し, 精度評価した 結果を表 1 に示した. ここで ACC は, 予測した建物分布ベクトルを k-means 法により 5 クラスに分類 した場合の Accuracy を示す(クラス分類方法の詳細 は付録に記載). 本研究では, Transfomer ベースの手法に比べて優れた性能を示した DLinear を建物分布 の予測モデルとして採用した. DLinear が推定した 建物統計ベクトルと正解值との $\cos$ 類似度の分布を 図 3 に示す. $\cos$ 類似度の中央値は 0.71 となってお り. 図 2 における類似度べクトル $S\left(m_{u, i+1}\right)$ は, 次义 ツシュの予測に効果があると期待できる.

## 5. 2 GPT-2 の Pre-Training

本研究では, 図 2 のモデルを構築する前に, PreTraining 用データセットを用いて GPT-2 の訓練と評価を実施した. Mizuno らの研究[2]を参考に,語彙数 を50,000 語としBPE[11]を用いてメッシュをトーク ナイズし, GPT-2 の Pre-Training を実施した. モデル サイズは, Radford ら[9]と同様に 12 層, 768 次元の 内部表現を用いた。

GPT-2 部の推定精度を評価するため，小林ら[3]を 参考に 7 日間の移動軌跡を入力し, GPT-2 のサンプ リング生成[10]機能を用いて次の 1 日間の移動軌跡 を 10 通り推定した(サンプリングパラメータは Top $\mathrm{k}=100$, Top p=0.95). 推定した軌跡は, 交通需要予測 において重要視されている出発地(Origin)と目的地 (Destination)の頻度分布(OD 表)を, bi-gram 頻度から 簡易的に求め評価したところ, 正解との相関は 0.73 であり, 都市の移動を一定程度再現できていると考 えられる。

## 5.3 提案するモデルの評価

本研究は, 図 2 のモデルの基本的な特性を調查す るため, 5.1 と 5.2 で Pre-Training した建物分布予測部と GPT-2を用いて 2 者を統合した提案モデルの性能を評価した. 各時点の推定性能を評価するため, Pre-Training データセットの評価セットから開始時刻を 30 分ずつ 48 パターンでずらしたサンプルを抽出した. 説明変数として 7 日間 336 時点のメッシュ 系列を入力し, $S\left(m_{u, i+1}\right)$ と $P\left(m_{u, i+1}\right)$ を算出した. 図 4 は GPT-2 が予測した尤度 $P\left(m_{u, i+1}\right)$ をヒートマップ (緑色が濃いほどスコアが高い)で示したものであり，正解メッシュを赤枠で表示している、いずれも正解

次メッシュ：住宅地

次メッシュ：商業地

図 4 GPT-2 が予測した次メッシュの尤度

図 5 推定した建物分布類似度

建物分布の類似度

GPT-2の尤度

図 6 GPT2 単体ではうまく推定できない時点 メッシュのスコアが極端に高い単峰性の分布をして おり，GPT-2には人の移動における空間上の制約が 埋め込まれているといえる。

図 5 は, 同様に建物分布類似度 $S\left(m_{u, i+1}\right)$ を可視化 したものである. 図 5(左)は正解である宇都宮二荒山神社周辺のメッシュとの類似度が高くなっている一方で、図 5(右)では正解から空間的にかけ離れた浅草寺周辺のメッシュとの類似度が高くなった。

5.2 節で述べた通り GPT-2 の予測精度は概数高い が, 図 6(右)のように尤度に高い峰が現れず, GPT-2 単体での次メッシュ予測が困難なケースも存在する。

表 2 GPT-2 と建物分布類似度を組み合わせた次メッシュ予測の精度

2. Mizuno, Takayuki, Shouji Fujimoto, and Atushi Ishikawa: Generation of individual daily trajectories by GPT-2. Frontiers in Physics (2022): 1118.

3. 小林, 上坂, 武田, 南川, 森本: GPT-2 を用いた 位置情報ビッグデータに基づく交通需要推定技術,土木計画学研究講演集 Vol.65, 2022

4. Zeng, Ailing, et al. "Are Transformers Effective for Time Series Forecasting?." arXiv preprint arXiv:2205.13504 (2022).

5. 石井, 末成, 越智, 関, 大塚, 酒井, 會田, 南川,「携帯電話 GPS ビッグデータの 都市交通分野に おける活用に向けた信頼性検証」,土木計画学研究講演集, vol. 58, 2018.

6. 吉羽, 小林, 中管, 南川, 冨岡, 森本: スマートフォン 位置情報データを活用したバス需要予測に関する研究, 土木学会論文集 D3, Vol.76, No. 5 (2021)

7. Wu, Haixu, et al. "Autoformer: Decomposition transformers with auto-correlation for long-term series forecasting." Advances in Neural Information Processing Systems 34 (2021): 22419-22430.

8. Zhou, Haoyi, et al. "Informer: Beyond efficient transformer for long sequence time-series forecasting." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 35. No. 12. 2021.

9. Radford, Alec, et al. "Language models are unsupervised multitask learners." OpenAI blog 1.8 (2019): 9.

10. Angela Fan, Mike Lewis, and Yann Dauphin. 2018. Hierarchical Neural Story Generation. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 889-898, Melbourne, Australia. Association for Computational Linguistics.

11. Sennrich, Rico, Barry Haddow, and Alexandra Birch. "Neural machine translation of rare words with subword units." arXiv preprint arXiv:1508.07909 (2015).

12. ゼンリン社 建物統計, https://www.zenrin.co.jp/product/category/gis/contents/b uilding-statistics/index.html

13. 北村 隆一, 交通需要予測の課題, 土木学会論文集, 1996, 1996 巻, 530 号, p. 17-30

## 付録

建物分布ベクトルの特性を確認するため, k-means で 5 クラスに分類した結果を図 7 に示す. 各クラス は概ね，都心・商業地・共同住宅地・一戸建て住宅地・田畑/山林を示すメッシュに分類されており，建物分布の系列がユーザの移動行動のセマンティクス を内包すると期待できる。

マンション

都心

図 7 建物分布のクラスタリング結果