# 位置属性を有しない事物に対する地理的特定性の分析

陰山宗一 ${ }^{1}$ 乾孝司 1
1 筑波大学大学院 システム情報工学研究群情報理工学位プログラム
s2120577@s.tsukuba.ac.jp inui@cs.tsukuba.ac.jp

## 概要

ある事物に対する言及が文書内に現れた時にその言及が地理的位置を特定する程度をあらわす指標として 地理的特定性指標がある [5]。本稿では、地理的特定性指標の利用可能範囲を調査する一環として、地理的特定性指標の構成要素のひとつである名称専有性指標 に注目し、地理的位置属性を有しない５つのカテゴリ （列車、特産品、祭り、苗字、植物）に属するエンティ ティへの言及を対象にして、名称専有性の值の特徴を 分析したので、その結果を報告する。

## 1 はじめに

SNS サービスに投稿される文書にはジオタグのよ うな地理的位置を示すメタ情報が付与される場合があ る。近年、この位置情報を利用することで投稿文書 データから「今どこで何が起きているか」を把握する ソーシャルセンシング技術への関心が高まっている が、SNS 投稿への位置メタ情報の付与は縮小傾向にあ る [1]。このため、位置情報の補完処理として、位置情報付きでない投稿文書の投稿場所（地理的位置）を 自動推定する文書ジオロケーションに関する研究が進 められている $[2,3,4]$ 。

文書ジオロケーションでは、文書内に現れる地名や ランドマークへの言及（例えば、「東京」や「東京タ ワー」）が、投稿がなされた地理的位置を推定する有力な手がかりになることが多いが、それらの中には地理的な曖昧性を含む場合もあり、文書ジオロケーショ ンの誤り原因となる問題が存在する。例えば、「中華街」を含んでいる投稿は、その投稿がなされた地理的位置を、横浜や神戸などの中華街が所在する場所へ絞 り込む手がかりになり得るが、特定の一箇所に絞り込 むまでには至らない。この手がかりの地理的曖昧性問題へ対応するため、陰山ら [5] は、文書内に出現す る、地名やランドマーク等の地理的位置属性をもつエ ンティティへの言及に対して、その地理的位置の特定 のしやすさを表す指標である地理的特定性指標を提案
し、Wikipedia データの情報に基づいて具体的な指標値を求めた。そして、地理的特定性指標の情報を文書 ジオロケーションへ適用することで、その有効性を報告している。しかし、彼らの報告では、地理的特定性指標の文書ジオロケーション以外への活用に関しては 議論がなされておらず、その活用可能範囲は未知で ある。

そこで我々は、狯山らの地理的特定性指標 [5] の活用可能範囲を明らかにすることを目標に研究を進めて いるが、その一環として現在、各対象に対して推定し た指標值がどのような特徴をもつかを分析している。具体的には、文献 [5]では、文書ジオロケーションへ の適用を見据えていたため、地理的位置属性をもつエ ンティティへの言及のみに注目して指標值を推定して いたが、本研究では、地理的位置属性をもたないエン ティティへの言及に対して指標値を求め、指標値の観察を通して、その特徴分析を試みる。地理的位置属性 をもつエンティティの場合、基本的に、地理的位置属性はエンティティの所在地をあらわし、地理的特定性 の值へも所在地情報が反映される。しかし、地理的位置属性をもたないエンティティの場合は所在地という 概念が無い（あるいはあっても希薄である）ため、地理的特定性の值が何を反映するかは自明ではない。

なお、地理的特定性指標は、地理的曖昧性と名称専有性の対で構成されるが、このうち地理的曖昧性は同一の名称をもつ対象の数を表し、直感的にもわかりや すい。そこで今回は特に名称専有性に注目し、その分析結果を報告する。

## 2 名称専有性

名称専有性（name exclusivity）は、エンティティと 言及との対応関係に関する人々の一般的な認知の度合 いに関する指標である。例えば、一般的な文脈におい て現れた「横浜」という言及は、高知県や福岡県に所在する地域である横浜よりも人々の認知度のより高い 地域であると考えられる神奈川県横浜市の事であると 認知されやすいだろう。このように、名称が同じエン

ティティが複数存在したとしても、それらのエンティ ティがすべて同程度に認知されるとは限らず、「横浜」 における神奈川県横浜市のように特定のエンティティ に偏って認知される場合がある。名称専有性は、こ のような現象を捉えることを目的とした指標であり、 ある対象が特定のものとして認知される程度をあら わす。

以下では、文献 [5] に従い、言及に対する名称専有性の值の求め方について述べる。この値は、エン ティティに対する名称専有性の値から求めるため、ま ず、エンティティに対する名称専有性の值の推定方法 について説明する。なお、以降の説明では、日本語 Wikipedia のエントリページをエンティティ、また、日本語 Wikipedia 内で各エンティティを参照する（ア ンカーリンクを張る）ために使用されているアンカ文字列をエンティティに対する言及であるとする。

日本語 Wikipedia において、地理的特定性を求めた

ての言及からなる言及集合を $M_{e}$ とし、その要素を $m_{i}\left(i=1,2, \ldots,\left|M_{e}\right|\right)$ とする。次に、 $M_{e}$ の要素である 各言及に対して、それがリンクしているすべてのエン ティティを抽出する。抽出されたエンティティ集合を $P_{e}$ とし、その要素を $p_{j}\left(j=1,2, \ldots\left|P_{e}\right|\right)$ とする。そし て、ある言及 $m_{i}$ が、あるエンティティ $p_{j}$ ヘリンクを 形成している回数を $l_{p_{j}}^{m_{i}}$ としたとき、このリンク回数 がある対象が認知される程度を近似的に表していると 考え、エンティティ $p_{t}$ の名称専有性 $\operatorname{exc}\left(p_{t}\right)$ は式 (1) で表されるとする。

$
\operatorname{exc}\left(p_{t}\right)=\frac{\sum_{m \in M_{e}} l_{p_{t}}^{m}}{\sum_{p \in P_{e}} \sum_{m \in M_{e}} l_{p}^{m}}
$

ここで、 $0<\operatorname{exc}\left(p_{t}\right) \leq 1$ である。

次に、exc $\left(p_{t}\right)$ を利用して、言及に対する名称専有性の値を求める。文献 [5] では、47 都道府県に分類す る文書ジオロケーションへの適用が想定されていたた め、言及に対する值は、エンティティのようなスカ ラー值ではなく、47 次元べクトルである。名称専有性を求めたい言及を $m_{t}$ としたとき、日本語 Wikipedia において、 $m_{t}$ がアンカ文字列となってリンクしてい るすべてのエンティティを抽出し、その集合を $P_{m}$ と する。この時、Okajima ら [6] の手法に基づき、 $P_{m}$ の 各要素となるエンティティ $p_{j}$ に対して、そのページ の本文内容に初めて登場する都道府県名の情報をその ページの都道府県要素として記憶する。次に、この都

道府県要素の値に基づいて、 $P_{m}$ を 47 個の部分集合 に分割する。ある都道府県 $k$ に対応する $P_{m}$ の部分集合を $P_{m}^{k}$ としたとき、 $P_{m}^{k}$ の要素に従って、都道府県 $k$ に関する、エンティティの名称専有性の最大值 max_exc $(k)$ を求める。

$
\max \_e x c(k)= \begin{cases}\max _{p \in P_{m}^{k}} \operatorname{exc}(p) & P_{m}^{k} \neq \phi \\ 0 & \text { otherwise }\end{cases}
$

最後に、以上で求めた 47 都道府県に対応する max_exc $(k)$ を要素とする 47 次元ベクトルを構成し、 これを言及 $m_{t}$ に対する名称専有性の值とする。

例として、後述の分析作業と同じデータを用いて言及「厳島神社」に対して求めた名称専有性の値を表 1 に示す。日本国内には「厳島神社」という名称をもつ エンティティは複数存在するが、広島県廿日市市に所在するものが一般的な認知度がもっとも高いと予想さ れる。表の値は確かに広島県の値が高くなっているこ とが確認できる。なお、この例でも示されているよう に、名称専有性の值は形式的には 47 次元を仮定して いるが、ベクトル要素の値が 0 となる次元（都道府県）も存在する。

## 3 名称専有性の分析

## 3.1 分析対象

本研究では、住所をもたないエンティティを地理的位置属性をもたないエンティティとして、以下のカテ ゴリに属するエンティティを選択し、それらへの言及 に対する名称専有性を分析対象とした。

-【列車】

-【特産品】

・【祭り】

-【苗字】

$\cdot$【植物】

このうち、【列車】および【特産品】カテゴリのエ ンティティは、直接的には住所をもたない1) が、出発地や産地として間接的に特定の地域と関連が深いと 考えられる。それら関連地域での名称専有性の値が どのような值かをこの後確認していく。つぎに、【祭 り】のエンティティは、実施される地域が必ず存在す るため、実施地域を地理的位置属性としてもつエン ティティであるとも言えるが、ランドマーク「東京タ ワー」のようなモノ的なエンティティではなくコト的 なエンティティであるため、その特徴を観察するため に分析対象に含めることにした。【苗字】は、これま で述べたカテゴリに比べてエンティティ数が多いと考 えられ、そのような場合の特徴を観察するために含め ることにした。最後の【植物】は、これまで述べたカ テゴリのエンティティは固有名を持ちやすい特徵があ るため、そうでない場合の特徴を観察するために含 めた。

## 3.2 データ

分析のために指標値の推定に用いる Wikipedia デー タは、文献 [5] と同じであり、2021 年 5 月 20 日付の 日本語 Wikipedia ダンプデータ2)を用いた。

## 3.3 分析結果

## 3.3.1 表記について

求めた名称専有性の値を確認する前に、以降で事例 を示す際の表記について説明する。各言及に対する名称専有性を求めた結果、多くの事例で 47 次元のうち の多数の次元で要素の値が 0 となっていた。そこで、以下では要素の值が 0 以外となっている場合のみ記載 する。要素の值が 0 以外となる次元が複数存在する場合は、値の降順に並べて示す。各言及事例において、言及の一部に地名を含む場合はその箇所を下線で示 す。また、推定結果が誤りと思われる箇所は丸括弧を つけて示す。

前節で述べたように、名称専有性の値は、ベクトル の各要素の最大值が 1 であり、要素和の最大値が 1 で はない。以降の分析結果を読む際は注意されたい。

## 3.3.2 カテゴリ【列車】

列車のうち、急行列車や特急列車などの列車名をも つエンティティへの言及に対して名称専有性の值を求 めた。その結果、走行路線上の地域で名称専有性の値 を持ちやすいことが確認できた。走行路線によっては 都道府県をまたぐ場合があるため、複数の地域で高い 名称専有性を有する可能性があるが、走行路線上の地域を網羅することはなく、網羅性に関しては不十分で あることがわかった。なお、網羅性に関しては、以降 のどのカテゴリでも同様な傾向であった。
- 踊り子 静岡県:1

$\cdot$きたぐに 福井県:1

・ムーンライト信州 山梨県:1
- 阿波 徳島県:0.974, 岡山県:0.119, (千葉県:0.016)

・うずしお 徳島県:0.908, 愛媛県:0.685

## 3.3.3 カテゴリ【特産品】

ご当地グルメを含む各地域の特産品を対象に名称専有性の値を確認する。地域特産品のうち、名称に地名 を冠しているエンティティへの言及では、そのエン ティティを生産したり、水揚げする地域が名称専有性 の值を持ちやすく、かつ、それらは名称に冠している 地名が所在する都道府県と一致することが多かった。「讃岐うどん」は、都道府県の中では香川県で最大値 をもっていたが、その値は小さい。この原因を調べた ところ、広く普及し知名度が高いと考えられるエン ティティは Wikipedia 内での言及回数が多く、それに 合わせて言及表現が多様となる場合があり、特に地名 (「讃岐」) や、「うどん」のような当該エンティティの 上位概念となるエンティティをあらわす表現で言及さ れると、それらとの間で指標值が分散されるため、值 が低くなりやすいことが確認できた。

・喜多方ラーメンバーガー 福島県:1

・水沢うどん 群馬県:1

$\cdot$川俣シャモ 福島県:1

・関あじ 大分県:1

・讃岐うどん 香川県:0.127

つぎに、名称に地名を冠していないエンティティへ の言及では、当然ながら、エンティティの名称には地名を連想させる手がかりが含まれないものの、宮城県仙台市で有名な「牛タン」など、そのエンティティで 知られている地域が值を持つことができている。ただ し、名称に地名を冠しているエンティティへの言及と

は異なり、一般的な名称としての言及（「牛タン」の 場合は特産品ではなく食品としての対象）との間で表現の重なりが生じやすいため、名称専有性の値は高く なりにくい特徵がある。

・牛タン 宮城県:0.522

・スタミナラーメン 茨城県:0.833, 埼玉県:0.429

・玉子焼 兵庫県:0.741

## 3.3.4 カテゴリ【祭り】

祭りは、各地域で実施される行事であるため、その 実施地域との関連が深いと考えられる。「さっぽろ雪 まつり」や「仙台七夕まつり」といった名称に地名を 冠する行事では、先述の地名を冠する地域特産品と同様に、名称に冠している地名に対して高い名称専有性 の値を持ちやすいため、ここでは、名称に地名を冠し ない場合について確認する。この場合の事例を見る と、それぞれの祭りの実施で有名な地域が名称専有性 の値を持ちやすいことが確認できた。「さっぽろ雪ま つり」ではなく「雪まつり」のように、実施地域をあ らわすであろう地域を冠しないエンティティへの言及 を分析対象としているにも関わらず、このような結果 が得られた。このことから、名称専有性の観点から言 えば、祭りは、ランドマークなどの地理的位置属性を 持つエンティティと同様の特㣲をもつカテゴリと見な して良さそうである。

・雪まつり 北海道: 0.879 , 新潟県:0.467

・ねぶた祭り 青森県:0.448

・だんじり祭り 大阪府:0.324

・よさこい祭り 高知県: 0.510

・七夕まつり 愛知県:0.786, 富山県:0.714, 宮城県:0.046

## 3.3.5 カテゴリ【苗字】

苗字と地域の関連性としては、その苗字の起源とな る地域や、その苗字を持つ人の人口が多い地域などが 考えられる。各苗字に対する推定値を確認した結果、苗字の起源となる地域で値を持つ傾向があった。一部 の苗字では、人口が多い地域と名称専有性の值に相関 が見受けられたが、多くの苗字に関してはそのような 特徴は見受けられなかった。このカテゴリのエンティ ティは、「大井」のように、要素が 0 以外の値をもつ 次元の数が今回扱った他のカテゴリに比べて多い特徵 があった。このカテゴリはエンティティ数が比較的多
く、また、他カテゴリと多様な関係性をもつと考えら れ、そのことが結果に影響していると考えられる。
- 河西 北海道:1

-川名 神奈川県:1
- 米原 滋賀県:0.913

$\cdot$芳賀 栃木県:0.994
- 磯部 山口県:0.671, 群馬県:0.575, 三重県:0.531,茨城県:0.176

-大井 東京都: 0.844 , 静岡県:0.536, 三重県: 0.25 , 埼玉県:0.084, 岐阜県:0.0831, 神奈川県:0.0243, 山梨県:0.0153

## 3.3.6 カテゴリ【植物】

今回、固有名でないエンティティへの言及に対する 名称専有性の値を確認するために、その例として植物 に注目した。その結果、まず、固有名でない場合でも 固有名の場合と同じように名称専有性の値をもつこと が確認できた。植物では、群生地をもつ都道府県が值 を持ちやすいことがわかった。また、植物の中には、 その果害や、植物から抽出した油などの関連商品を生産でき、それらの生産を目的とした植物栽培が盛んな 地域で大きな値を持つ傾向が確認できた。

・エゾマツ 北海道:1

・サクラソウ 北海道:1

・ヒバ 青森県:1

・ウメ 和歌山県:0.939，（鹿児島県:0.086）

・オリーブ香川県:0.914, 三重県:0.24, 東京都:0.085

## 4 まとめ

本稿では、地理的位置属性を有しないエンティティ への言及を対象にして、地理的特定性指標の構成要素 のひとつである名称専有性の値を求め、その特徴を分析した。その結果、今回題材にした 5 つのカテゴリに 関して幾つか特徴があることが確認できた。地理的特定性指標の活用可能範囲を明らかにするためには、今後も継続的な分析が必要である。例えば、本稿で示し た分析結果は、一部のエンティティに対する限定的な 結果であり、規模を広げた詳細かつ定量的な分析を実施する必要がある。また、名称専有性の値は元データ である Wikipedeia のページ記述スタイルの影響を受 けるが、エンティティのカテゴリごとに影響の度合い を調査する必要がある。

## 謝辞

本研究の一部は JSPS 科研費 $21 K 12137$ の助成を受

けたものです。

## 参考文献

[1] Anna Kruspe, Matthias Häberle, Eike J. Hoffmann, Samyo Rode-Hasinger, Karam Abdulahhad, and Xiao Xiang Zhu. Changes in Twitter geolocations: Insights and suggestions for future usage. In Proceedings of the Seventh Workshop on Noisy User-generated Text, pp. 212-221, 2021.

[2] Bo Han, Paul Cook, and Timothy Baldwin. Geolocation prediction in social media data by finding location indicative words. In Proceedings of International Conference on Computational Linguistics, pp. 1045-1062, 2012.

[3] Lianhua Chi, Kwan Hui Lim, Nebula Alam, and Christopher J Butler. Geolocation prediction in Twitter using location indicative words and textual features. In Proceedings of the 2nd Workshop on Noisy User-generated Text, pp. 227-234, 2016.

[4] Jey Han Lau, Lianhua Chi, Khoi-Nguyen Tran, and Trevor Cohn. End-to-end network for Twitter geolocation prediction and hashing. In Proceedings of the Eighth International Joint Conference on Natural Language Processing, pp. 744-753, 2017.

[5] 狯山宗一, 乾孝司. 言及に対する地理的特定性指標の提案と文書ジオロケーションへの適用. 情報処理学会自然言語処理研究会 (NL-253-19), 2022.

[6] Seiji Okajima and Tomoya Iwakura. Japanese place name disambiguation based on automatically generated training data. In 19th International Conference on Computational Linguistics and Intelligent Text Processing, 2018 .


# テキスト中の場所表現認識と 係り受けに基づく緯度経度推定ツールの開発

大野けやき 1 西村太一 ${ }^{1}$ 亀甲博貴 2 森信介 ${ }^{2}$
1 京都大学大学院 情報学研究科 2 京都大学 学術情報メディアセンター
\{ohno.keyaki.57r,nishimura.taichi.43x\}@st.kyoto-u.ac.jp
\{kameko,forest\}@i.kyoto-u.ac.jp

## 概要

文献中の地名の緯度経度を自動推定することは,文献調査を必要とする研究等の場面において有益で ある。緯度経度を推定する課題は，地名を認識する ステップと認識した地名の緯度経度を推定するス テップの 2 段階で実現される.この後段のステップ について，単語間の係り受け構造を利用して推定精度向上を図る手法を提案する。本手法を組み込んだ 緯度経度推定ツールを鉱山に関する記事に適用し，係り受け構造を利用することで推定精度が向上する ことを確認した。

## 1 はじめに

行政区画や施設を表す言葉は，ある場所を表す表現＝場所表現として用いられる. 文献調査を必要と する研究等において，ある場所について記された文献を探したい場面はしばしばある．ところが，場所表現は時間と共に変わることがあり, また，その付近の人々の間だけで使われることも多いため，想定 する文献に合わせて適切な場所表現を使い分けたり 複数使ったりしなければならない (表現の一意性が ない問題). また，ある 2 つ場所表現が示す場所が 実世界上でどれほど近いかまたは同じなのかが，一見して分からないため, 対象付近の情報を探しそび れる可能性がある (関連性が不明膫な問題).このよ うな問題を避けるため, 文字の場所表現ではなく緯度経度で場所を取り扱うことは有用であり，テキス ト中の場所表現が示す緯度経度を推定する課題は従来より研究されてきた $[1,2,3,4,5]$.

この推定課題は，場所表現認識と緯度経度推定の 2 ステップからなる. 前段の場所表現認識は系列ラ ベリングの一つである. CRF [6] 等の利用により，効率的に機械学習ができるようになった一方，認識精度の向上のためには膨大な学習データが必要で ある. 後段の緯度経度推定は, 文脈を考慮して場所表現が示す緯度経度を推定する作業であり，曖昧性解消タスクの一つである．具体的には，地名や緯度経度，人口等が収録されている地理辞典から適切な データを選ぶ方法が一般的である.この方法では曖昧性解消アルゴリズムと地理辞典を分けて開発でき るため，地理辞典として有志のデータベースを利用 したり，利用者専用のデータベースを利用したりで き，応用の幅が広い.しかしながら，地理辞典に同 じ表記の異なる場所が収録されている場合やある場所表現が全く収録されていない場合に精度が落ちて しまう問題がある.

本研究では, 後段の緯度経度推定タスクに着目 し，精度向上を目的として単語間の係り受け構造を 利用する手法を提案する. 係り受けは言語の構造で あり，テキストの内容に依らず存在する。したがっ て，係り受け構造を利用する手法は，テキストの分野を限定せずに幅広いテキストに利用できる。この 普遍性は，ある場所に関するあらゆる文献を集めた い地域研究などにおいて必須の条件である.

本手法を組み込んだ緯度経度推定システムを鉱山 に関する英語記事に適用した結果，係り受け構造を 利用することで推定精度が向上することが分かっ た. また，精度向上の要因となった場所表現を調べ ることにより，テキスト中の場所表現と地理辞典上 の表現との間にはそれなりの差があることがあるこ とが示唆された。

## 2 緯度経度推定ツール

## 2.1 課題設定

本研究が対象とする緯度経度推定ツールは, 式 1 に示すような 2 段階のタスク構成になっており，入

カテキストに緯度経度が挿入されたテキストを出力 する.

$
\begin{aligned}
t^{\prime} & =F_{N E R}(t) \\
t^{\prime \prime} & =F_{N E L}\left(t^{\prime}\right)
\end{aligned}
$

ただし， $F_{N E R}, F_{N E L}$ はそれぞれ場所表現推定器，緯度経度推定器である. また, $t, t^{\prime}, t^{\prime \prime}$ はそれぞれ入力テキスト，場所表現かどうかのタグ付きテキス ト，タグおよび緯度経度付きのテキストである. テ キストは一般にまとまった複数文である。下記に具体例を示す。 タグの $\mathrm{L}$ は場所表現を，O はそれ以外 の表現を表している。

$t$ : 岩手の清水寺へ行く.

$t^{\prime}$ : 岩手/L-B の/O 清水/L-B 寺/L-Iへ $/ O$ 行く/O．/O

$t^{\prime \prime}$ : 岩手/L-B $(39.60000,141.35000)$ の/O

清 水/L-B(39.37035, 141.03056) 寺/L-I(39.37035, 141.03056) $/ \mathrm{O}$ 行く/O . /O

## 2.2 場所表現認識

テキスト中の場所表現認識には，場所表現をア ノテーションしたテキストを用いて学習した場所表現推定器を用いた. この推定器は, BERT [7] と CRF [6] と点予測 [8] を組み合わせたものである. 推定器の詳細は付録に示した. Stanford NLP Group の $\mathrm{Stanza}^{1)}$ [9] を用いて入力テキストをトーカナイズ し, この推定器で各トークンにIOB2 形式のタグを 付与した. すなわち各トークンには下記のいずれか のタグが付与される.

L-B :場所表現の最初のトークン

$\mathrm{L}-\mathrm{I}:$ :場所表現の 2 つ目以降のトークン

$\mathrm{O}:$ 場所表現ではないトークン

## 2.3 緯度経度推定

ベースラインとなる緯度経度推定手法は, 原ら [4] の手法を参考にした。

1. 特別に用意した地名-緯度経度辞典がある場合 は，場所表現の文字列と一致するデータがある か検索し，あればその緯度経度を出力する。

2. 場所表現の文字列を地理辞典 GeoNames ${ }^{2)}$ で 検索し, 見出し語 (name) または別名 (alternate names)のいずれかに一致するデータがあった 場合，それらの中から下記のスコアが最も高い データの緯度経度を出力する。

2) https://www.geonames.org/
- 文字列が見出し語の場合: 20 点 + 別名の数 $\times 1$ 点

・文字列が見出し語ではないが別名に含まれ る場合: 別名の数 $\times 1$ 点

このスコアリングは，重要な地名ほどたくさん の別名が収録されているという考えのもと設定 した.

3. 場所表現の文字列と一致するデータが無かった 場合は，具体的な緯度経度は出力せず，代わり に推定失敗の旨を表す記号を出力する。

## 3 係り受け構造の利用

本研究では, 上記の緯度経度推定ツールに, 単語間の係り受け構造を利用する手法を 2 つ追加する. これらの手法は，係り受け木構造上で上下関係のあ る 2 つ場所表現が実世界上で包含または近接した 位置関係にあり，木構造のより頂点に近い場所表現 の方が詳細な情報を有している (実世界上でより)狭 い領域を表している) という仮定に基づいている. 3.2 節では地理辞典上の複数候補から適切なデータ を選択する工夫を， 3.3 節では地理辞典上にデータ が収録されていない場合の改善策を述べる.

## 3.1 Universal Dependencies

テキスト中の単語間の係り受けを表すものとし て, 本研究では Universal Dependencies ${ }^{3}$ (以下，UD) を用いる。UDは，特定の言語に依存することなく 普遍的な係り受け構造を表そうとする取り組みであ り， 100 以上の言語に対応している。緯度経度推定 ツールは，利用者が詳しくない言語圈のテキストに 対しても用いられうることを考え，幅広い言語に対応している UDに着目した. UD 解析ツールとして, Stanza [9]を用いた.

## 3.2 文構造の利用

文の係り受け構造から，ある単語と意味的に関連 の強い単語を推測することができる．例えば，「岩手の清水寺から京都の清水寺へ行く.」という文を 考えると，1つ目の清水寺は岩手と関係していて， 2 つ目と清水寺は京都と関係している。この関係は UDにも表れ，例ではそれぞれの清水寺から岩手や 京都に係っている (図 1). 場所表現間の係り受けの 場合，たいていは狭い領域を表す場所表現からそれ を補足説明する知名度の高い場所表現に向かって係

り受け構造が存在する.

図1文の係り受け構造

ツールへの実装として，以下の手順をべースライ ン手法に追加した. まず，ベースラインの手順に先立ち，入力文に対する係り受け木構造を推定し，そ れぞれの場所表現に対して自身より下層に別の場所表現が存在するか確認しておく，存在すればその別 の場所表現を，自身が参照すべき参照表現として設定する。その後，ベースラインの手順に沿って緯度経度推定を行うが，以下の点が異なる.

1. 参照表現が設定さている場合には，その参照表現の緯度経度推定を先に行う

2. その参照表現に対して具体的な緯度経度が推定 できた場合には，ベースライン手法のスコアリ ングに関わらす，参照表現の推定緯度経度に最 も近い緯度経度の候補を出力する

例えば図 1 の例では, 清水寺の緯度経度推定に先立って岩手や京都の緯度経度推定を行い，それらに 近い清水寺の緯度経度を出力する。

## 3.3 表現構造の利用

複数単語からなる一つの場所表現についても，そ の構造を考えることができる。例えば「京都三条」 という場所表現は，京都と三条という 2 つの地名か らなり，かつ，三条の場所を示す表現である。この ような複合場所表現は，そのままの文字列で地理辞典に収録されていな場合が多いため，この例であれ ば「京都三条」を「三条」と読み換えて地理辞典を 検索する必要がある.この様な構造解析を行う際，対象言語を限定しないためには，文字列の表面的な 構造ではなく意味的な構造に着目するのが望まし い. 複合場所表現においても，表現内に登場する地名間にそれらが示す領域の包含・近接関係が存在 し, 前節と同様の係り受け構造が存在する (図 2). よって，ある場所表現内の係り受け構造の頂点とな る単語は，その場所表現の核になる (最も狭い領域 を表す地名) 単語だと推測できる.

$
\text { 京都 三条 }
$

図 2 表現内の係り受け構造
ツールへの実装として，以下の手順をベースライ ン手法に追加した. 複数トークンからなる場所表現 が地理辞典に収録されていなかった場合，そのトー クン数より 1 少ない部分トークン列で再度ベースラ インの手法により緯度経度推定を行う.この際，必然的に複数の部分トークン列で辞書引きを行うこと になるが，複数で地理辞典のデータにヒットした場合は，その中から下記で求めるスコアの大きい部分 トークン列に対する辞書引き結果を優先して出力を 選択する。

1. 元の場所表現に対する係り受け木構造を考え，各要素 (トークン)に対して子孫要素が何層ある かスコアを付ける

2. その部分トークン列に含まれるトークンの上記 スコアを合算する (図 3)

いずれの部分トークン列でも地理辞典のデータが ヒットしなければ，さらにこの手順を繰り返す。

図 3 部分トークン列のスコアリング

## 4 実験

提案手法を組み込んだ緯度経度推定ツールを鉱山 に関する英語記事に適用し評価を行った。評価対象 は 2 つで，場所表現アノテーション済みテキストに 対する緯度経度推定と，何もアノテーションされて いないテキストに対する場所表現認識 + 緯度経度推定の全自動タスクである.

## 4.1 コーパス

評価には鉱山に関する専門記事を用いた． 2.2 節 で述べた場所表現推定器の学習には, 同様の専門記事に加え，データ不足を補うために一般ニュース記事も用いた (表 1). AFP 通信と MINING.COM の記事は人手でアノテーションを行い，ロイター通信の 記事は CoNLL2003 [10] から LOC タグが付与されて いるトークンを含む文を抽出して用いた。

## 4.2 評価指標

緯度経度推定については，推定した緯度経度と正解緯度経度の誤差が $X \mathrm{~km}$ 以内に収まっている場所表現を合格とし，全場所表現中の何件が合格したか

表 1 コーパスの場所表現数 (のべ/重複なし)

を表す “ $X \mathrm{~km}$ 正確度”を用いた. 全自動タスクにつ いては，上記と同様に合格をもって推定值が正解値 と一致したとみなし，精度，再現率， $\mathrm{F}_{1}$ 值を用いて 評価した.これらの計算式は付録に示した。

## 4.3 結果

場所表現アノテーション済みテキストに対する緯度経度推定精度を図 4 および表 2 に示す. 図の横軸 は，左側は線形で右側は対数軸になっている。係り 受け構造を利用する手法 (提案手法) はベースライン と比べて精度が向上し, 例えば $5 \mathrm{~km}$ 正確度が 0.11 向上した.

図 4 緯度経度推定タスクの精度

表 2 緯度経度推定タスクの精度

場所表現認識 + 緯度経度推定の全自動タスクの精度 $(5 \mathrm{~km}$ 合格)を表 3 に示した. 提案手法は，わずか ながらいずれの指標でもべースラインを上回った.

## 5 考察

文構造の利用と表現構造の利用のうち，推定精度 の向上はほぼ後者の寄与であった. これは 2 つの手法がもたらす効果の違いに関係していると考えられ る.まず，文構造の利用が効果を発揮するのは，同

表 3 全自動タスクの精度 (誤差 $5 \mathrm{~km}$ 以内を合格)

じ文字列で異なる場所を示しているいわゆる曖昧地名に対してである．例えば実験では，アリゾナ州の エイボンデールとペンシルベニア州のエイボンデー ルの区別に効果があった。しかしながら，そもそも 地理辞典に 0 または 1 件しかデータが収録されてい ないような場所表現に対しては効果がない. 一方，表現構造の利用が効果を発揮するのは，場所表現の そのままの文字列が地理辞典に収録されていない場面である。例えば実験では「New Castle County, Del」 といった州，群，市などが併記された複合場所表現 に対して効果を発揮していた。文構造の利用が効果 を発揮する曖昧地名と表現構造の利用が効果を発揮 する複合場所表現の出現頻度を考えると，後者の方 が多いため，今回の実験では表現構造の利用による 効果が比較的大きかったと考えられる。

また同時に，後者の頻度が多いということは，地理辞典に収録されていない場所表現が多いというこ とを意味している。このことは，地理辞典を利用す る緯度経度推定に限界があることを示唆しており，地理辞典への依存度が小さい手法が実用上望ましい と考えられる。

## 6 終わりに

本研究では，テキスト中の場所表現に対する緯度経度推定タスクにおいて，単語間の係り受け構造を 利用することでより尤もらしい緯度経度を推定する 手法を提案し，その手法を組み込んだ緯度経度推定 ツールを開発した。実験により，提案手法は緯度経度推定精度を向上させることを確認した. 今後は，地理辞典に収録されていない場所も出力できるよう に，提案手法に加えて地理辞典を用いない方法も融合したような緯度経度推定手法を検討する。

## 7 謝辞

本研究は JSPS 科研費 JP21H04376 の助成を受けた ものです.

## 参考文献

[1] Michael Speriosu and Jason Baldridge. Text-driven toponym resolution using indirect supervision. In Proceedings of the 51st Annual Meeting of the Association
for Computational Linguistics, 2013.

[2] Takashi Awamura, Daisuke Kawahara, Eiji Aramaki, Tomohide Shibata, and Sadao Kurohashi. Location name disambiguation exploiting spatial proximity and temporal consistency. In Proceedings of the 3rd International Workshop on Natural Language Processing for Social Media, 2015.

[3] Davy Weissenbacher, Arjun Magge, Karen O'Connor, Matthew Scotch, and Graciela Gonzalez-Hernandez. SemEval-2019 task 12: Toponym resolution in scientific papers. In Proceedings of the 13th International Workshop on Semantic Evaluation, 2019.

[4] Shoichiro Hara, Akira Kubo, Masato Matsuzaki, Hirotaka Kameko, and Shinsuke Mori. Development of methods to extract place names and estimate their places from web newspaper articles. In Pacific Neighborhood Consortium Annual Conference and Joint Meetings, 2021.

[5] Maithrreye Srinivasan and Davood Rafiei. Location-aware named entity disambiguation. In Proceedings of the 30th ACM International Conference on Information \& Knowledge Management, 2021

[6] John Lafferty, Andrew McCallum, and Fernando CN Pereira. Conditional random fields: Probabilistic models for segmenting and labeling sequence data. In Proceedings of the 18th International Conference on Machine Learning, 2001

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2019.

[8] Tetsuro Sasada, Shinsuke Mori, Tatsuya Kawahara, and Yoko Yamakata. Named entity recognizer trainable from partially annotated data. In Proceedings of the 14th International Conference of the Pacific Association for Computational Linguistics, 2016.

[9] Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A Python natural language processing toolkit for many human languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, 2020.

[10] Erik F. Tjong Kim Sang and Fien De Meulder. Introduction to the CoNLL-2003 shared task: Language-independent named entity recognition. In Proceedings of the 7th Conference on Natural Language Learning at HLTNAACL, 2003.

## A 付録 (Appendix)

## A. 1 場所表現推定器

場所表現認識に用いた推定器は，図 5 に示すよう な構造になっており, 下記の手順で場所表現タグを 推定する.

図 5 場所表現推定器

1. BERT モデルを用いて，トークン列の各トーク ン $(w)$ を 768 次元のベクトルに埋め込む. 学習 の際は，テキストのまとまりに関係なく文毎 に入力する．推定の際は，段落毎に入力する。 $\left[v_{1}^{B}, \ldots, v_{n}^{B}\right]=\operatorname{BERT}\left(\left[w_{1}, \ldots, w_{n}\right]\right)$

2. あるトークンが場所表現か否か，すなわちタ グとして L-B，L-Iがそれぞれありうるかを記 したタグ辞書に従い，上記べクトルに 32 次元増結する。例えば，三条が L-B としても L-I と してもありうると記されていた場合には，L-B タグに対応する 32 次元のベクトルと L-I タグ に対応する 32 次元のべクトルの和を (1) に増結する. タグ辞書に登録されていないトーク ンの場合，もしくは $\mathrm{O}$ タグとして登録されて いた場合，このベクトルは零ベクトルである. $v_{i}^{D}=\operatorname{dictionary}\left(w_{i}\right)$
3. $\mathrm{CRF}$ モデルを用いて，この 800 次元のベクトル 列からタグ列を推定する。学習の際は，CRF モ デルおよびその下層の BERT モデル，辞書層を 学習する。この際， $\mathrm{CRF}$ 損失関数とその中の観測素性部分だけの損失関数を合わせた損失関数 を最小化するように学習する。これは，テキス トの一部 (特に場所表現) だけをアノテーション した学習データも利用できるようにするためで
ある. Loss $=$ Loss $^{C R F}+$ Loss $^{\text {Pointwise }}$

BERT モデルは Hugging Face により提供されている 事前学習済みモデル bert-base-uncased ${ }^{4}$ を用いた.

## A. 2 評価指標の計算式

推定緯度経度と正解緯度経度の誤差が $X \mathrm{~km}$ 以内 に収まっている場所表現を合格として

$
\begin{aligned}
X \mathrm{~km} \text { 正確度 } & =\frac{\text { 誤差 } X \mathrm{~km} \text { 以内の空間表現数 }}{\text { アノテーション空間表現数 }} \\
\text { 精度 } & =\frac{\text { 合格の空間表現数 }}{\text { ツールが認識した空間表現数 }} \\
\text { 再現率 } & =\frac{\text { 合格の空間表現数 }}{\text { 評価データ中の空間表現数 }} \\
\mathrm{F}_{1} \text { 値 } & =\left[\frac{(\text { 精度 })^{-1}+(\text { 再現率 })^{-1}}{2}\right]^{-1}
\end{aligned}
$

## A. 3 対象とした場所表現

場所表現の基準は原らの基準 [4] を参考にした. この基準では場所表現を，大きく2つに分類してい る.それは，「京都」や「市役所」といったそれ自体 がある絶対的な場所を示している表現 (以下，絶対表現)と,「〜の $10 \mathrm{~km}$ 東」といった絶対表現が示す 場所を参照して別の場所を示している表現 (以下，相対表現)である．絶対表現はさらに，「京都」のよ うな固有名詞と「市役所」のような一般名詞に分け られる。絶対表現が示す場所は文脈によって決定さ れるべき曖昧性を含んでいる場合もあるが，高々有限個の絶対位置を示しているという点で相対表現 とは区別される。一方相対表現は，「(欧州から見た)極東」といったように絶対表現が省略される場合も あるが，ほとんどは絶対表現に付随して用いられ，絶対表現が示す場所をずらす機能がある.

本研究の緯度経度推定ツールでは，場所表現の 内，絶対表現に着目し自動認識を行った.これは原 らの基準において，Lタグで表される表現である.特に，固有名詞の絶対表現のみを取り扱うことにし た.これは，一般名詞の絶対表現が用いられる場合 は，そのテキスト内で既に固有名詞により同じ場所 が記述されている場合がほとんどであるため，固有名詞の絶対表現さえ把握すれば，テキスト中の絶対表現が示す場所をほぼ全て把握できるからである。

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 地球の歩き方旅行記データセット

大内啓樹 ${ }^{1,4, *}$ 進藤裕之 ${ }^{1}$ 若宮翔子 ${ }^{1}$ 松田裕貴 ${ }^{1}$
井之上直也 ${ }^{2}$ 東山翔平 ${ }^{3,1}$ 中村哲 ${ }^{1}$ 渡辺太郎 ${ }^{1}$
1 奈良先端科学技術大学院大学 2 北陸先端科学技術大学院大学
3 情報通信研究機構 4 理化学研究所
*責任著者：hiroki.ouchi@is.naist.jp
\{shindo, wakamiya, yukimat, s-nakamura, taro\}@is.naist.jp
naoya-i@jaist.ac.jp shohei.higashiyama@nict.go.jp

## 概要

「地球の歩き方旅行記データセット」を構築し，学術研究用に無償提供を開始した. 本データセット は日本語テキストデータであり，4,500 の国内旅行記と 9,500 の海外旅行記から構成され，全体で 3,100 万単語を超える規模である.これまでは，研究目的 で共同利用可能な旅行記データがほとんどなく，各研究者が自前でデータを用意するしかなかった. 本 データセットの提供によって, 公平な手法の比較を はじめとするオープンサイエンスの進展および一層 の学術研究の発展が期待できる. 本稿では, 本デー タセットの学術的意義, 特徴, 今後の展望を述べる.

## 1 はじめに

人間と「場所」の関係性に注目が集まっている。 コロナ禍において，ある場所の混雑度 (人間の集中) や場所間での往来（人間の移動）に関する情報は,政府・地域自治体・個人といった粒度を問わず，行動の促進/抑制の意思決定に極めて重要である。こ うした背景から我々は，人間の行動を「場所」とい う観点から分析するための方法論を探求している。特に「テキスト」を分析対象データとし，計算機に よって，登場人物の行動の舞台背景となる「場所」 を読み取り，実世界の地図上淁地することを目指 している。その第一歩であり, システムの開発およ び評価の基盤として，「地球の歩き方旅行記データ セット (Arukikata Travelogue Dataset)」[1]を構築した. 本データセットは, 学術研究機関が研究目的で使用するために，株式会社地球の歩き方が提供元となり, 国立情報学研究所情報学研究データリポ ジトリ（IDR）より無料配布されている11).

1) https://www.nii.ac.jp/dsc/idr/arukikata/
なぜ「テキスト」を用いるのか？ 人間の位置を 把握するだけなら，スマートフォンなどのモバイル 端末に搭載された GPS 機能を利用することによっ て可能である. しかし GPS データから，人間と場所 の相互関係を把握することは難しい．例えば，その 場所における人間の行為, その場所に対する価値付与，その場所から受ける印象や感覚である. こうし た情報は，特に地理学や文化人類学において，人間活動のダイナミクスと環境条件を分析するための情報として極めて重要な役割を担う。この種の情報を 含む代表的な資源がテキストである．テキストをう まく構造化し，整理することによって，こうした価値ある情報を引き出せる可能性がある. 以上の理由 から，テキストデータを対象として採用した.

なぜ「旅行記」を用いるのか？旅行記を解析対象とする従来研究では，「観光客」や「観光地」，お よびそれらの関係という視座から研究の意義を捉 え，研究目的を設定することが多い $[2,3,4]$. 一方 で我々は，それより一段抽象度の高い視座から意義 を捉えている．つまり，「人間」と「場所」という実世界の基礎的な構成要素がどのように関わり合って いるのか，その関わりはどのようにテキストに描か れるのかという視座である。そのような内容を含む 典型的なテキスト (ジャンル) が「旅行記」である.同種の内容が，「小説」「新聞記事」「SNS 投稿」に含 まれる場合も少なくない，将来的には，より多様な テキストを対象とすることを見据えつつ，その出発点として「旅行記」を題材に設定した.

本データセットの学術的意義 これまでも旅行記 は，テキストマイニングの分析対象テキストとして 頻繁に用いられてきた. 特に観光情報学分野におい て，旅行記は各場所・施設の評判分析および種々の 情報抽出の題材として用いられてきた [5]. しかし
表 1 旅行記の例.

会津若松へ向かう磐越西線の接続を考慮して選んだやまびこ 203 号は E5 系での運転でした。何度も乗っ ているE2 系よりも座席が広く感じ、快適な移動でした。

会津若松駅から快速あいづ 4 号に乗車し、郡山へ向かいました。

会津若松は晴れ間がありましたが、山を上るにつれて雲が増えて行き、途中から雨が降り出しました。关気予報通りでしたが、今回の旅行は暖かい 2 日間で移動時間を除いて雨に降られることがなかったの はラッキーでした。

表 2 旅スケジュールの例。

 &  &  \\

ながら，それぞれの研究者がウェブ上の旅行記投稿 サイトなどから独自に取得した旅行記データを用い ることが多く2)，研究の再現や実験結果の公平な比較分析が困難であった．本旅行記データセットを一定条件下での利用機会についてオープン化すること によって，大須賀ら [6] が指摘するように，大学等 の研究者が実社会のデータや実用性の高いデータを 使用できるだけでなく, 使用したデータセットが特定可能となることにより, 研究の透明性・再現性が 担保され，他の研究との比較も格段に容易となる. ひいてはオープンサイエンスを進展させ，研究の知見の蓄積が加速することで, 一層の学術研究の発展 が期待されるため, 将来にわたって学術的意義は大 きいと考えられる。

## 2 本データセットの構成と特徵

本データセットは，2007 年 11 月から 2022 年 2 月 までの期間に，株式会社地球の歩き方が運営するサ イト ${ }^{3)}$ 上の旅行記投稿サービズ) に投稿された情報 に基づいている。具体的には，ユーザが書き記した 「旅行記」とその旅程を記した「旅スケジュール（旅 スケ）」から構成される。旅行記として，国内旅行記に加え，海外旅行記も含まれる。

## 2.1 国内・海外旅行記

表 1 は旅行記の実例を示している。一般的に旅行記は，著者（ユーザ）の視点から書かれた一人称視点の文章である．読者は著者の視点を借りて，著者 の辿った旅路やその過程で見た景色などを疑似体験 することができる。旅行記の各記事はある程度まと まった分量であるため，著者の行動の系列，場面展開，共参照関係をはじめとする文間・段落間にまた がる談話的要素も多い．その点は，ツイッターの投稿を代表とする SNS の短い文章とは異なる特徴と 言える。典型的な記述内容として，人間（著者）の 1 日の（旅行）行動が描かれており，行動の時系列的な分析にも適したテキストであると言える.その 他にも，場所や風景の描写，各場所や全旅程につい ての感想をはじめ多彩な内容が含まれるため, 種々 の応用へつながる可能性がある。

## 2.2 旅スケジュール

表 2 は旅スケの実例を示している. 主な構成要素のひとつは，著者が滞在した「場所」である．例 えば，表 2 中の「自宅」「最寄駅」「庄助の宿 瀧の 湯」などが場所に該当する。旅スケの入力は任意で あり，本文中に記載のある「場所」が旅スケにも記載されているとは限らない。逆に，旅スケに記載さ れている「場所」でも本文中には記載がない場合も ある. もうひとつの主な構成要素は，著者が各場所に滞在した「時間帯」である．例えば，表 2 中の $「 05: 40$ - 05:50」「05:50-05:53」などが時間帯に 該当する。時間帯に関する情報は，著者が自由に記述できるため，「朝」や「夕刻」といった粗い粒度の ものもある. 以上の情報を踏まえると，人間の 1 日 の行動を「場所」に加え「時間」の観点から分析す るためにも本データセットは利用可能である.

## 2.3 データの記述統計

前述したように，本データセットの旅行記は「国内旅行記」と「海外旅行記」に分けられ，さらに「旅
表 3 本データセットの記述統計.

スケ付き」のものと「旅スケなし」のものに分けら れる. 日本語自然言語処理オープンソースライブラ リ GiNZA ${ }^{5}$ で各記事を解析し，単語分割および固有表現抽出を行なった. 解析した全ファイルについ ての記事数, 段落数, 文字数, 単語数6), 固有表現数，地名・施設名数7)を表 3 に記載する。「*/記事」 は 1 記事あたりの平均値を表す. 例えば，「段落数/記事 $=24.2 」$ は 1 記事あたりの段落数が平均で 24.2 となることを表す。本データセットの特徴として，各記事の平均文字数が 2,000 文字を超え，まとまっ た分量であることがわかる. また，概算で 30 個以上の地名・施設名が各記事に出現していることもわ かる. この点から，本データセットには多くの「場所」が含まれ，「場所」に関する分析をする上で望ま しい性質を持つと言える。

## 2.4 国内旅行記のカバーする都道府県

図 1 に，各都道府県へ言及している国内旅行記記事数の分布を示す ${ }^{8)}$. ひとつの特徴は，すべての都道府県がカバーされている点である．そのため，各都道府県の旅行行動の傾向分析も可能である.これ

5） ja_ginza_electraバージョン 5.1 .2 を使用. 詳しくは次の ページを参照: https://github.com/megagonlabs/ginza.

6）単語数は「単語の定義（単語分割基準)」に依存して変わ る. 本データセットでは GiNZA の単語分割モード C（長単位）を使用して単語分割し，その結果をカウントした。

7） GiNZA で抽出した固有表現の中でも，地名・施設名に該当する LOC，GPE，FAC のいずれかと認識されたものをカウン トした.

8） 著者（ユーザ）の自己申告のため，概算として考えた方が いい点に注意. また，記事によっては複数の都道府県へ言及 しているため，国内旅行記全記事数 4,672 よりも都道府県へ の言及記事数の方が多くなる点にも注意.

図1 各都道府県へ言及している国内旅行記記事数の 分布.

は，旅行先として「東京」が最も多く選ばれること を必ずしも意味しない。旅行記には，目当ての旅行先に行くまでの過程を含むものも多い. そのため,旅行の出発地点としての「東京」，および，旅行先へ の中継地点としての「東京」が記述されることも多 く，それらを総合した結果として「東京」が最も多 い結果となっている. 表 4 は，各都道府県に言及し ている記事数のランキングである。「東京」に関す る記事は 1,206 記事で最も多い。一方で，最も少な いのが「福井」の 29 記事である.
表 4 都道府県のランキング. 各都道府県に言及している 記事数と国内旅行記全記事 $(4,762)$ における割合を表示.

表 5 国・地域のランキング，各国・地域に言及している 記事数と海外旅行記全記事（9,607）における割合を表示.

## 2.5 海外旅行記のカバーする国・地域

海外旅行記は，世界 150 以上の国と地域をカバー している。そのため, 各国・地域への旅行行動の傾向分析なども可能である. 表 5 は，各国・地域に言及している記事数のランキングである。国内旅行記 とは異なり，突出して記事数の多い国・地域はない 点が特徴である。また，上位の国・地域は，日本政府観光局による「日本人旅行者の国別訪問者数 9 )」 と概ね一致する傾向が見られる。

## 3 関連研究

学術目的で利用可能な現代語旅行記データセッ トは非常に少ない，数少ない例外である現代語旅行記データセットを表 6 に示す. Diachronic News and Travel コーパス ${ }^{10)}$ [7] は，2つの時代区分（1862-1939 と 1998-2017）の 3 つの分野（ニュース，旅行報告，旅行ガイド）の英語テキストを収録している。その うち，表 6 には「現代（1998-2017）」の「旅行報告」 のテキストの情報を記載している。 The SpaceBank

9) https://www.jnto.go.jp/jpn/statistics/20220610_4.pdf 10) https://github.com/tommasoc80/DNT.表 6 既存の旅行記データセット.

Corpus ${ }^{11}$ [8] は空間情報をタグ付けしたコーパスで あり，SemEval-2015 Task 8 [9] でも利用された。表 6 には，旅行ブログ「Ride for Climate」のエントリか ら構築したサブセットの情報を記載している。KNB コーパス ${ }^{12}$ ) [10] は，4 つの分野 (「京都観光」「携帯電話」「スポーツ」「グルメ」）の日本語テキストか ら構成される. 形態素, 係り受け，格・省略・照応，固有表現などの言語情報がアノテーションされてい る. 表 6 では，「京都観光」分野のテキストの情報 を記載している。これらのデータセットは人手アノ テーションを含むため, 単純に我々のデータセット と「量」の観点で比較できない，将来的には我々の データセットにも多彩なアノテーションを施し，よ り広範な応用へつなげていく予定である.

## 4 おわりに

「地球の歩き方旅行記データセット」について, 学術的意義と特徴を中心に述べてきた. 本節ではこれ からの展望を述べる. 本データセットの生テキスト に有用な情報を付与していく予定である。特に，(1)場所に関する言語表現の情報と (2) 人間と場所の相互作用に関わる情報が挙げられる。(1)に関しては,地名や施設名などの固有表現だけでなく，「この店」「レストラン」などの一般名詞句も含め, 場所に関 する言語表現を総合的にカバーする予定である。ま た実世界との接続を見据え，地図座標や地理データ ベースとの紐付けも視野に入れている。(2)に関し ては，その場所における人間の「行動」「思考」「感情」に関する情報を付与する予定である. それらの 情報を場所の情報と併せて抽出できるようなツー ルを開発して各種応用につなげる. 直接的な応用と して，旅行者の移動行動分析，観光地のトレンド分析，穴場の観光スポットの発掘，旅行計画・推薦へ の利活用が考えられる. 以上のように，多様な展開 が考えられる. 我々のみならず，幅広い分野の研究者に本データセットを利用していただき，独創的な 研究開発を進めていただけたら幸いである.

## 謝辞

本研究は JSPS 科研費 JP22H03648，JST さきがけ JPMJPR2039 の助成を受けたものです. また，デー タセットの構築・提供にあたり，株式会社地球の歩 き方の上原康仁氏と国立情報学研究所の大須賀智子氏，大山敬三氏から多大なご協力をいただいたこと を深謝します。

## 参考文献

[1] 株式会社地球の歩き方. 地球の歩き方旅行記 データセット, 2022. 国立情報学研究所情報学研究データリポジトリ. (データセット). https://doi.org/10.32130/idr.18.1.

[2] Qiang Hao, Rui Cai, Xin-Jing Wang, Jiang-Ming Yang, Yanwei Pang, and Lei Zhang. Generating Location Overviews with Images and Tags by Mining UserGenerated Travelogues. In Proceedings of the 17th ACM International Conference on Multimedia, pp. 801-804. Association for Computing Machinery, 2009.

[3] Qiang Hao, Rui Cai, Changhu Wang, Rong Xiao, JiangMing Yang, Yanwei Pang, and Lei Zhang. Equip Tourists with Knowledge Mined from Travelogues. In Proceedings of the 19th International Conference on World Wide Web, pp. 401-410. Association for Computing Machinery, 2010.

[4] Yanwei Pang, Qiang Hao, Yuan Yuan, Tanji Hu, Rui Cai, and Lei Zhang. Summarizing Tourist Destinations by Mining User-Generated Travelogues and Photos. Computer Vision and Image Understanding, Vol. 115, No. 3, pp. 352-363, 2011.

[5] Gary Akehurst. User generated content: the use of blogs for tourism organisations and tourism consumers. Service Business, Vol. 3, No. 1, pp. 51-61, 2009.

[6] 大須賀智子, 大山敬三. 情報学研究データリポジト リIDRにおける研究用データセット共同利用の取 り組み. 情報処理学会論文誌デジタルプラクティス (DP) , Vol. 2, No. 2, pp. 47-56, apr 2021.

[7] Tommaso Caselli and Rachele Sprugnoli. DNT: un Corpus Diacronico e Multigenere di Testi in Lingua Inglese. In AIUCD2021 - Book of Abstracts, Quaderni di Umanistica Digitale., 2021.

[8] James Pustejovsky and Zachary Yocum. Capturing Motion in ISO-SpaceBank. In Proceedings of the 9th Joint ISO-ACL SIGSEM Workshop on Interoperable Semantic Annotation, pp. 25-34, 2013.

[9] James Pustejovsky, Parisa Kordjamshidi, Marie-Francine Moens, Aaron Levine, Seth Dworman, and Zachary Yocum. SemEval-2015 Task 8: SpaceEval. In Proceedings of the 9th International Workshop on Semantic Evaluation (SemEval 2015), pp. 884-894, 2015.

[10] 橋本力, 黒橋禎夫, 河原大輔, 新里圭司, 永田昌明. 構文・照応・評価情報つきブログコーパスの構築. 自然言語処理, Vol. 18, No. 3, pp. 175-201, 2011.


# 旅行記中の場所に対する訪問状態の予測

大友寛之 ${ }^{1}$ 東山翔平 ${ }^{2,1}$ 大内啓樹 1,3
山本和太郎 ${ }^{1}$ 井手佑翼 1 進藤裕之 ${ }^{1}$ 渡辺太郎 ${ }^{1}$
1 奈良先端科学技術大学院大学 2 情報通信研究機構 ${ }^{3}$ 理化学研究所
\{otomo.hiroyuki.ob7, hiroki.ouchi, yamamoto. aitaro.xv6\}@is.naist.jp
\{ide.yusuke.ja6, shindo, taro\}@is.naist.jp, shohei.higashiyama@nict.go.jp

## 概要

本研究では，文章中の「場所」纪書き手が訪れた かどうかを推定する問題に取り組んだ.まず，旅行記に訪問状態のアノテーションを行い，小規模な データセットを構築した. 複数人でアノテーション を行った結果，作業者間で高い一致率が確認され た.さらに，構築したデータセットを用いて訪問状態を予測するモデルを構築し，その性能を評価し た. 分析の結果, モデルは訪問状態の手がかりとな るトークンに注意を向けていることがわかった。

## 1 はじめに

人がある場所を訪れ，その場所での経験を経った 文章がウェブ上に蓄積されている。こうした情報を 整理することによって多様な応用への道が拓ける。例えば，観光地を実際に訪れた観光客の感想を自動 で整理できれば，観光地推薦や旅行計画支援への応用が期待できる.

そこで本研究では，人が訪れた場所の情報を文章 から抽出する問題に取り組む．特に，書き手の行動 を正確に読み解き，場所に対する訪問状態（訪れた，訪れていない，訪れる予定，など）を判定すること 亿焦点を当てる。例えば「近鉄奈良駅敃到着！」と いう実体験に関する記述があった場合，書き手は 「近鉄奈良駅」を実際に訪れたと判断できる。一方， $「 \mathrm{JR}$ 奈良駅は近鉄奈良駅から少し離れたところにあ ります」のような記述の場合，書き手がこれらの場所を訪れたことを必ずしも意味しない。

人が訪れた場所の情報は，GPS データを活用する ことでも取得できる。しかし文章には，場所を訪れ た状況や目的，感想など，GPSでは取得困難な情報 も含まれる. 将来的には，こうした情報も同時に取得することを見据え，文章を解析対象とする。

まず，訪問状態予測モデルの学習・評価のため,

図 1 アノテーションの概略図

場所を参照する表現（場所参照表現）に対する訪問状態のアノテーション方針を策定し, 複数の作業者 でアノテーションを行った. 作業者間一致率は F1 値 0.8 前後と比較的高い值となった.

次纪，そのアノテーションを用いて，訪問状態予測モデルの構築・評価を行った. モデルの予測精度 は $\mathrm{F} 1$ 値 0.6 程度であり，作業者の一致率を考えると 改善の余地があることが示唆された. より詳しい分析として，モデルが訪問状態を予測する際に，入力文中のどのようなトークンに注意を向けているか調查した. その結果，例えば「到着」のように，訪問 に関連するトークンに注意を向けており，人間の直感的な判断と類似する可能性が示唆された。

## 2 旅行記データセットの構築

## 2.1 アノテーションの概要

本研究では, 国内外の実際の旅行についての旅行記である「地球の歩き方旅行記データセット」 $[1,2]$ の一部の国内旅行記記事に対して, 図 1 亿示すよう 亿, 場所参照表現の同定 (図中の楛囲み文字)，場所参照表現の言及間の共参照関係の付与（矢印），訪問状態のラベル付与（赤・橙色文字）を行った.
表 1 場所参照表現の言及に対する訪問状態の種類

 \\

場所参照表現・共参照関係 訪問状態のラベルを 付与する前に，文章に出現する場所参照表現のスパ ンを同定した. 場所参照表現として認定する対象 は，「近鉄奈良駅」のような固有名詞に加え，「駅」の ような一般名詞も含む. また，場所参照表現の言及間に対して共参照関係の情報の付与を行った。これ により，訪問状態予測の評価において，言及単位だ けではなく，共参照関係にある言及のクラスタ（以下，共参照クラスタ）単位での評価が可能となる.

訪問状態 訪問状態のアノテーションは，場所参照表現の言及単位と共参照クラスタ単位の二通り のパターンで行った. 共参照クラスタ単位の訪問状態は，文章の書き手が最終的にその場所を訪問した かどうかに対応する．言及単位の訪問状態は，該当 する言及の時点で書き手がその場所を訪問してい たかどうかに対応し, 共参照クラスタの訪問状態の 根拠にもなり得る. 例えば，「久々の近鉄奈良駅で す。」のような言及を根拠として，書き手が「近鉄奈良駅」に訪れたという判断が成立し得る.

表 1 に，言及に対する訪問状態の種類を示す. 各 ラベルの事例は付録 A に記載する. 各言及に対して アノテーションする際は，言及が出現する文内情報 を基にラベルを付与する方針を設けた。なお，「訪 れた」のような述語に対してではなく,「近鉄奈良駅」のような名詞句に対して訪問状態のラベルを付与した理由は，「近鉄奈良駅へ。のように，述語の 省略がしばしば起こるためである.

表 2 に，共参照クラスタに対する訪問状態の種類 を示す. 各共参照クラスタに対してアノテーション する際は，記事全体を考慮してアノテーションを行 う方針とした。そのため，共参照クラスタに含まれ表 2 共参照クラスタに対する訪問状態の種類

表 3 訪問状態のラベルの作業者間一致率

る言及にVisitが付与されていなくても，共参照ク ラスタに対してVisitが付与される場合がある。

## 2.2 構築したデータセットの統計

2.1 節のアノテーション方針を基に，旅行記 5 記事に対して著者らでアノテーションを行い，486文 からなる旅行記データセットを構築した. 場所参照表現の言及数は 684 件含まれ，各共参照クラスタ内 の言及数は平均 1.52, 標準偏差 1.06 であった.

また， 5 記事に含まれる一部の言及および共参照 クラスタに対して，各文につき 2 名の作業者でア， テーションを行い，訪問状態のラベルの作業者間一致率を測定した。一致率測定の対象となった言及の 数は 180 ，共参照クラスタの数は 124 である。一致率評価には，F1 値のマイクロ平均値 (micro F1), F1 值のマクロ平均値 (macro F1), Cohen's Kappa ( $\kappa$ ) [3] を用いた。表 3 に示すように，言及単位では micro F1, macro F1 ともに 0.82 程度という比較的高い一致率であり，共参照クラスタ単位ではそれらを下回る 一致率となった。一致率の詳細は付録 B に示す.

## 3 実験設定

## 3.1 正解スパン設定

一つ目の正解スパン設定では，入力文と，その文中に出現する場所参照表現のスパンが所与のもと，各スパンの訪問状態を予測する．本設定における訪問状態の予測方法は以下の通りである。まず，文 に含まれるトークン列を $\left.\{X_{1}, X_{2}, \ldots, X_{n}\right.\}$ として，事前学習済みエンコーダ BERT [4] ${ }^{1)}$ を用いて各トー クンに対応するべクトル表現 $\left.\{H_{1}, H_{2}, \ldots, H_{n}\right.\}$ を得 る. 文中に出現する場所参照表現 $m$ のトークン列

を $\left.\{H_{i}, H_{i+1}, \ldots, H_{i+k}\right.\}$ としたとき, 各トークンに対応 するべクトル表現の平均を取ることで， $m$ のべクト ル表現 $H^{\prime}$ を得る。そして， $H^{\prime}$ をフィードフォワー ドネットワークに入力し，訪問状態を予測する.

言及単位での評価に加えて，言及間の共参照関係 を所与として共参照クラスタ単位での評価も行っ た。言及単位でのモデルの予測を基に，次のルール を用いて共参照クラスタ単位での予測を行った。

1. 共参照クラスタ内の少なくとも一つの言及に対 してVisitと予測していれば，Visitとする.

2. Visit と予測した言及が一つもなく, VisitPossibly もしくは PlanToVisit と予測 した言及が一つでもあれば，Unknownとする。

3. Visit, VisitPossibly, PlanToVisit と予測し た言及が一つもない場合，NotVisitとする.

## 3.2 End-to-End 設定

二つ目の End-to-End 設定では，場所参照表現の同定および訪問状態の予測を同時に行う．系列ラベリ ングに基づく一般的な固有表現抽出と同様に，トー クンごとにB-Visit や I-Visit のような BIO 形式の タグを予測する.

旅行記データセットは, 場所参照表現の同定を学習するにはデータ量が不十分である可能性がある. そこで，場所参照表現の同定精度向上を目的とし て，拡張固有表現タグ付きコーパス [5] を用いて事前に BERT をファインチューニングした. 本実験で は，同コーパスに付与されている「関根の拡張固有表現階層」[6]（Version 7.1.0）の固有表現ラベルの うち，地名・施設名のラベルが付与された固有表現 （つまり，場所参照表現）のみを対象とし，同コーパ スを学習用と評価用に分割した ${ }^{2)}$. ファインチュー ニングの結果，評価データでの場所参照表現の同定精度（F1 値）は 0.829 であった。

## 3.3 データセット

訪問状態予測の実験には, 本研究で構築した旅行記データセットを用いた. 正解スパン設定では，前述の通り，言及間の共参照関係を所与とし，共参照単位での評価も行う. そのため, 共参照クラスタ内 の言及を含む文の集合単位で旅行記データセットを およそ 8 対 1 対 1 の比率で訓練，開発，評価データ に分割した. End-to-End 設定では共参照単位での評
 49,440，場所参照表現の言及数は 13,242 個であった.表 4 正解スパン設定の結果

表 5 End-to-End 設定の結果

価を行わない3)ため，文単位で分割した。

また，言及単位での評価において，アノテーショ ンされたラベルをそのまま使用する 7 ラベル設定 に加えて，訪問の有無に注目してラベルをグルーピ ングした 2 ラベル設定での評価も行った. 具体的 には, Visit, VisitPossibly, PlanToVisitをVisit に，他のラベルを NotVisitにグルーピングした.

## 4 実験結果

表 4 に，正解スパン設定の結果（各指標はマクロ 平均）を示す. 表 3 に示した作業者間一致率（macro F1）と比べ， 7 ラベル設定の $\mathrm{F} 1$ 值は 0.2 程度低い.原因として，旅行記データセットの学習データが少量かつラベルが不均衡なデータであったため, モデ ルが十分に学習できなかったことが考えられる。ま た，言及単位よりも共参照クラスタ単位での予測精度が低い理由として, 記事内の大域的な内容を基に 共参照クラスタの訪問状態が決まるケースに対し, 3.1 節のルールでは対応できなかったことが挙げら れる。例えば，「奈良県」を訪問したと明示的に言及せず，「近鉄奈良駅」を訪問したと言及している 場合，「近鉄奈良駅」が位置する「奈良県」にも訪問 したと推論できるが，使用したルールでは正しく予測することができない.

また，End-to-End 設定の結果（各指標はマイクロ 平均）は表 5 の通りとなった. 7 ラベル設定よりも 2 ラベル設定のほうが $\mathrm{F} 1$ 值が 0.18 程度高い理由は, ラベルをグルーピングすることで，事例数が少ない ラベルが減り, データの不均衡性がある程度解消さ れたためと考えられる。

## 5 分析

本節では，正解スパン設定の訪問状態予測モデル に対する分析結果を報告する。

表 6 Integrated Gradients に基づく寄与度.下線部は訪問状態の予測対象となるスパンを表す.（例文は [1] より引用）

正解 予測 (確率) 入力文

(a) Visit Visit(0.92) [CLS] 別府 駅 に到着しました。 [SEP]

(b) See See (0.67) [CLS] 展望 塔 から は遠く日本海に浮かぶ 利 \#\#尻 \#\#富 \#\#士（利 \#\#尻島）を眺望します。[SEP]

(c) Visit Other (0.95) [CLS] 宿泊 は、大神神社 $の$ 早朝参拝 に 便利な、ルート\#\#イン 桜井駅前にしました。[SEP]

表 7 正解スパン設定の結果（場所参照表現マスク時）

Integrated Gradients モデルが訪問状態を予測 する際，入力文中のどのトークンに対して注意 を向けているかを調べた. 具体的には, Integrated Gradients [7]（captum [8] で実装されている Layer Integrated Gradients ${ }^{4)}$ ）を基に，BERT の埋め込み層 における予測への寄与度をトークン位置ごとに計算 した. 表 6 は, 分析結果の可視化であり, 寄与度が 高いトークンほど濃くハイライトされている. 訪問状態を正しく予測できた (a)と (b)を見ると，訪問や 視認に関連する動作性名詞「到着」,「眺望」やそれ らに付随する助動詞「ます」, 副詞「遠く」などの寄与度が高いことがわかる. 一方，訪問状態を正しく 予測できていない (c)では，文中のトークン全体へ の寄与度が高くなっていることがわかる. 訪問状態 の判定のために文全体を読み解く必要があるような 例で，適切なトークンに注目して正しく予測するこ とが難しかった可能性がある.

場所参照表現のマスク 正解スパン設定において 所与とした場所参照表現の表層情報が，モデルの予測にどのように影響を与えているかを調べた. 具体的には，訪問状態の予測対象となる場所参照表現の 各トークンを [MASK] に置き換え，学習および評価 を行った。言及単位での評価結果を表 7 に示す. 7 ラベル設定では場所参照表現をマスクすることで正解率が 0.03 程度低くなっているが， 2 ラベル設定で はマスクしても同等の結果となった. 以上より，詳細なラベルを予測する設定では表層情報も手がかり として有用であることが示唆された。

4) https://captum.ai/api/layer.html\#

layer-integrated-gradients

## 6 関連研究

場所参照表現抽出 $[9,10,11]$ は，固有表現抽出の 特殊なケースであり，実世界上の特定の地点を指す 表現を文章中から抽出することを目的としている. これら従来研究では，文章の書き手が訪問したかと いう観点での解析は行っていない.

Li ら [12] は，ツイートを対象に，言及単位での場所参照表現の抽出とその訪問状態（訪れた，現在い る，訪れる予定である）の予測を行った. 同一の場所を指す場所参照表現が，1ツイート内に異なる訪問状態として複数回出現することは稀と考えられる ため，本研究のように共参照クラスタ単位での解析 を行うには，長さのある文章が適している.

大友ら [13] は，KNBコーパス [14] に対して，場所参照表現とその訪問状態のアノテーションを行っ た. アノテーション対象となった記事は，京都観光 をテーマに大学生により執筆されたブログ記事であ る.そのため，書き手の属性や記述内容に偏りがあ り, 観光地の一般的な説明や日常的な出来事の描写 など，旅行以外の記述も多く含まれる。

## 7 おわりに

本研究では，人が訪れた場所の情報を文章から抽出する問題に取り組んだ。 場所参照表現に訪問状態 を付与したデータセットを構築し，訪問状態予測の 実験を行った. モデルの予測精度は作業者間一致率 を下回り，学習データが少量かつ不均衡であること が難しさの原因であったと考えられる。また，分析 の結果，文全体を読み解く必要がある事例におい て，人間と異なり，単純な BERT ゙゙ースのモデルで は適切な判定が難しいという示唆が得られた. 今後，アノテーションデータの増量や，場所に紐づい た意味的な情報の抽出に取り組む予定である.

## 謝辞

本研究は JSPS 科研費 JP22H03648 の助成を受けた ものである.

## 参考文献

[1] 株式会社地球の歩き方. 地球の歩き方旅行記 データセット, 2022. 国立情報学研究所情報学研究データリポジトリ. (データセット). https://doi.org/10.32130/idr.18.1.

[2] 大内啓樹, 進藤裕之, 若宮翔子, 松田裕貴, 井之上直也, 東山翔平, 中村哲, 渡辺太郎. 地球の歩き方旅行記 データセット. 言語処理学会第 29 回年次大会, 2023.

[3] Jacob Cohen. A coefficient of agreement for nominal scales. Educational and Psychological Measurement, Vol. 20, pp. 37-46, 1960.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] 橋本泰一, 乾孝司, 村上浩司. 拡張固有表現タグ付 きコーパスの構築. 情報処理学会研究報告自然言語処理, Vol. 2008, No. 113 (2008-NL-188), pp. 113-120, 2008.

[6] Satoshi Sekine. Extended named entity ontology with attribute information. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Morocco, May 2008. European Language Resources Association (ELRA).

[7] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic attribution for deep networks. In Proceedings of the 34th International Conference on Machine Learning - Volume 70, ICML'17, pp. 3319-3328. JMLR.org, 2017.

[8] Narine Kokhlikyan, Vivek Miglani, Miguel Martin, Edward Wang, Bilal Alsallakh, Jonathan Reynolds, Alexander Melnikov, Natalia Kliushkina, Carlos Araya, Siqi Yan, and Orion Reblitz-Richardson. Captum: A unified and generic model interpretability library for PyTorch, 2020. arXiv: 2009.07896 [cs.LG].

[9] Koji Matsuda, Akira Sasaki, Naoaki Okazaki, and Kentaro Inui. Annotating geographical entities on microblog text. In Proceedings of The 9th Linguistic Annotation Workshop, pp. 85-94, Denver, Colorado, USA, June 2015. Association for Computational Linguistics.

[10] Zongcheng Ji, Aixin Sun, Gao Cong, and Jialong Han. Joint recognition and linking of fine-grained locations from tweets. In Proceedings of the 25th International Conference on World Wide Web, WWW '16, p. 1271-1281, Republic and Canton of Geneva, CHE, 2016. International World Wide Web Conferences Steering Committee.

[11] Pei Chen, Haotian Xu, Cheng Zhang, and Ruihong Huang.
Crossroads, buildings and neighborhoods: A dataset for fine-grained location recognition. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 3329-3339, Seattle, United States, July 2022. Association for Computational Linguistics.

[12] Chenliang Li and Aixin Sun. Fine-grained location extraction from tweets with temporal awareness. In Proceedings of the 37th International ACM SIGIR Conference on Research \& Development in Information Retrieval, SIGIR'14, p. 43-52, New York, NY, USA, 2014. Association for Computing Machinery.

[13] 大友寛之, 大内啓樹, 星野智紀, 井手佑翼, 渡辺太郎.訪問場所表現グラウンディングのためのアノテー ション. 言語処理学会第 28 回年次大会, 2022.

[14] 橋本力, 黒橋禎夫, 河原大輔, 新里圭司, 永田昌明. 構文・照応・評価情報つきブログコーパスの構築. 自然言語処理, Vol. 18, No. 2, pp. 175-201, 2011.

## A 訪問状態の各ラベルの事例

表 8 言及に対する訪問状態のラベルと事例（[1] より引用).下線部はラベル付与の対象となるスパンを表す.

 \\

表 8 は，言及に対する訪問状態の各ラベルの事例である. Visit-Future については, 本研究でアノ テーション対象となった旅行記 5 記事において，付与された事例が確認されなかった. なお，各ラベル の定義は表 1 の通りである.

## B 訪問状態のアノテーションー致率の詳細

図 2 各言及へ訪問状態を付与した際の混同行列

図 3 各共参照クラスタへ訪問状態を付与した際の混同行列

図 2 は，複数の作業者によって，言及へ訪問状態 のラベルを付与した際の混同行列を表している。ま た，図 3 は共参照クラスタに関する混同行列を表し ている.


# 震災アーカイブと震災アーカイブ web に関する概念モデルの作成

齋藤玲 ${ }^{1, *}$ 大内啓樹 ${ }^{2,3}$ 羽鳥康裕 ${ }^{4}$ 邑本俊亮 ${ }^{1}$ 杉浦元亮 ${ }^{1,5}$ 塩入諭 ${ }^{4}$ 柴山明寛 ${ }^{1}$
${ }^{1}$ 東北大学災害科学国際研究所 ${ }^{2}$ 奈良先端科学技術大学院大学 ${ }^{3}$ 理化学研究所
${ }^{4}$ 東北大学電気通信研究所 ${ }^{5}$ 東北大学加齢医学研究所
*責任著者 : ryo@tohoku. ac. jp
\{hatori, motoaki. sugiura. d6, satoshi. shioiri.b5\}@tohoku. ac. jp
\{muramoto, shibayama\}@irides. tohoku. ac. jp hiroki. ouchi@is. naist.jp

## 概要

将来の巨大地震の発生に先立ち, 震災アーカイブ 並びに震災アーカイブwebを有効に利活用していく ことが，一人でも多くの人の命を救い，心を助ける ことにつながっていくに違いない。この有効な利活用を促進するために, 本研究では, 震災アーカイブ web として，既存の資料を整理する形で，国立国会図書館東日本大震災アーカイブ「ひなぎく」の特徴 をまとめた. 併せて, 本研究では, 震災アーカイブ 並びに震災アーカイブwebの様態把握と将来の展望 のために，概念モデル（震災に関する情報の収集， アーカイブ，検索までのプロセスを示したフィード バックモデルと，検索性と収集性の二軸を掛け合わ せた象限モデル）を作成，提案した。

## 1 はじめに

東日本大震災（2011 年 3 月 11 日に発生した巨大地震）に代表されるように，震災に関するあらゆる 情報が有志によって収集されてきた。次いで，それ らの収集された情報は, 恒久的な保存を目的として， アーカイブ化が試みられてきた。 さらに，そのアー カイブされた情報（以下，震災アーカイブ）は，情報テクノロジーの進展に伴い, web サイト上に公開 されてきた. 今後, 必ず起こると予測されている巨大地震（例えば，南海トラフ巨大地震）に先立ち,震災アーカイブ並びに震災アーカイブwebをいかに 利活用していくかが，一人でも多くの人の命を救う ことや, 心を助けることにつながるに違いない $[1,2]$. しかしながら, 予算や人員の削減に伴い, 現在,一部の web サイトは既に閉鎖されている。また, 我 が国の少子高齢化による生産人口の減少や，世界的 な情勢の不安定感は, 震災アーカイブ web の閉鎖の 加速を予測させる.
このような最中でも，国立国会図書館が運営する 「国立国会図書館東日本大震災アーカイブ（愛称： ひなぎく)」[3]が，各種の震災アーカイブ web と連携し，震災アーカイブの延命を図ってきた。これま でに「ひなぎく」は 51 機関と 57 のデータベースの 震災アーカイブ並びに震災アーカイブweb と連携し てきた。また，その連携は年を追うごとに増加して いる[2].「ひなぎく」は，震災アーカイブ web の中心的な役割を担っており，我が国の震災アーカイブ の集合体の一つであるといってもよいだろう.

我が国の震災アーカイブ並びに震災アーカイブ web の傾向や特徴を知るためには，「ひなぎく」の 特徴を整理することが有効であろう。本研究では, まずはこの整理を実現し, 現状を把握する. 同時に,二つの概念モデル (一つが震災に関する情報の収集, アーカイブ，情報検索までのプロセスモデル [フィ ードバック機能を持つことから，フィードバックモ デルと命名する， 二つが情報の検索性と収集性と を組み合わせた象限モデル）を作成することで，震災アーカイブ並びに震災アーカイブ web の将来を展望する。これらの整理とモデルの作成は，今後，い かに震災アーカイブ並びに震災アーカイブwebを利活用していくかを意思決定していくうえで，大きな ヒントを与えてくれるだろう。

## 2 震災アーカイブと web の概要

## 2.1 「ひなぎく」とは

「ひなぎく」とは，東日本大震災に関する記録を 一元的に検索・閲覧・活用できるポータルサイトで ある[2]. ただし, webサイトには, 東日本大震災以外の震災（例えば，阪神・淡路大震災）に関する情報もアーカイブされている．検索できる項目のメタ データ数は，459 万件であり，コンテンツは図書,
雑誌・報告書，文書・ウェブサイト・写真，映像・動画とされている[2].

## 2.2 各年に関する項目の数の違い

図 1 に「ひなぎく」に収録されている項目がどの 年に関するものなのかを示した. 項目の数は東日本大震災が起きた 2011 年に集中し, それ以降, 急激に 減少していることがわかる. 2016 年に項目数が増加 しているが，これは東日本大震災ではなく熊本地震 に関する項目の数があることによる影響であろう. その後, 項目の数は, 2019 年に一時的に増加するも のの, 減少傾向が続いている.

図 1 各年に関する項目の数

Note. 2023 年 1 月 10 日に「ひなぎく」の検索システム[3]から データを取得した. これら以外の年に関する項目は取得しな かった．集中復旧期間とは 2012 年から 2016 年までであり，復興・創生期間とは 2017 年から 2021 年までである $[4,5]$.

## 2.3 各都道府県に関する項目の数の違い

図 $\mathbf{2}$ に「ひなぎく」に収録されている項目がどの 都道府県に関するものなのかを示した. 東北地方を 中心に項目数が多いことがわかる. 項目の数は, 大 きな被害を受けた地域からの距離によって減衰して いくことがわかる（いわゆる「距離減衰」を確認す ることができる）。なお, 兵庫県において項目数が 多いことが視認できるが, これは阪神・淡路大震災
に関する項目の数が影響しているのだろう.

## 2.4 検索システム

「ひなぎく」のトップページにある検索システム は, 三つ（簡易検索，詳細検索，カテゴリ検索）あ る[3]. 一つ目の簡易検索とは, キーワードを入力す るものである。二つ目の詳細検索とは, キーワード の対象 (本文も検索する, 本文のみ検索する, 本文 は検索しない) を選択できたり, 日付や資料種別 (文書資料, Web サイト, 写真, 音声 - 動画, その他) を選択できたりするものである. 三つ目のカテゴリ 検索とは，資料種別，場所（都道府県）, 日付（西暦），言語などを選択できるものである.

また「ひなぎく」のページには，「ひなぎく」の 使い方講座に関する動画がある．加えて，「ひなぎ く検索ツール」も用意されている。この「ひなぎく 検索ツール」では, 例えば東日本大震災被災地の記憶やテーマ別検索といったものが用意されている.

図 2 各都道府県に関する項目の数 Note. 2023 年 1 月 10 日に「ひなぎく」[3]から取得した.

## 3 概念モデル

ここでは，東日本大震災の発生した年から現在ま でに，震災に関する情報が収集され，その収集され た情報がアーカイブされ, 震災アーカイブ web にお いて検索されるまでのプロセスを説明するためのモ デルを提案する（図 3）。これを震災アーカイブ並 びに震災アーカイブwebに関するフィードバックモ デルと呼ぶ.
同時に，ここでは検索性（震災アーカイブ web に おいて検索可能かどうか）と収集性（震災に関する 情報として収集しているかどうか）の二つの観点を 掛け合わせた象限モデルを提案する（図 4）.これ を震災アーカイブ並びに震災アーカイブwebに関す る象限モデルと命名する.

## 3.1 フィードバックモデル

フィードバックモデル（図 3）では，三つのフェ 一ズを想定する．各フェーズは「（フェーズ A）情報の収集」，「（フェーズ B）収集された情報のア 一カイブ化」, 「（フェーズ C) 検索」となる. 震災といった有事の事態が発生すれば，人々は情報の 収集を行う（フェーズ A）。その後，その収集され た情報を，特定の組織が永年保存するためにアーカ イブ化する（フェーズ B）。そして，特に昨今の情報テクノロジーの進展に伴って, それらアーカイブ された情報は web において検索可能となる（フェー ズ C）。このプロセス間には，情報収集から収集さ れた情報のアーカイブ化（ステップ 1）と，アーカ イブ化された情報を検索可能とする（ステップ 2) といった二つのステップを想定する。 さらに，この モデルでは, フェーズ $\mathrm{C}$ からフェーズ $\mathrm{A}$ に戻るフィ ードバックをステップ 3 として想定する.

このフィードバックを機能させるために，さまざ まな工夫を凝らすことが, 震災アーカイブ並びに震災アーカイブ web の利活用の推進につながり，ひい ては一人でも多くの命を救い，心を助けることにつ ながると考えている.ここでのさまざまな工夫を凝 らすこととは, 例えば震災アーカイブ web の検索シ ステムを改良することであり，また震災アーカイブ web を使用する人々が震災アーカイブのなかに自分 たちが必要とする情報があるかどうかを判断できる ことである.

特に前者の震災アーカイブ web の検索システムを 改良するためには，奇しくも東日本大震災以降に目覚ましい進歩を遂げた自然言語処理技術を応用する ことが求められよう. 具体的に, どのような検索シ ステムを構築していくかについては, 有識者との議論をもとに推進していきたい.

次に, 改良された検索システムを，震災アーカイ ブを利活用したい人々が使用することで，検索シス テムのユーザビリティを評価するだけでなく, 実は 自分たちが欲しい情報は, まだ震災アーカイブとし て保存されていないという判断ができるようになる.
そして，この判断を経ることができれば，震災に関 する情報を収集することを自覚し，新たに必要な情報を収集するための行動を促すことになる。これが 本研究で提案するフィードバックモデルのフィード バックという構成要素を想定することの意義である.

\section*{(C) retrieval STEP2 STEP3 feedback process

図 3 フィードバックモデル

## 3.2 象限モデル

ここでは, 検索性と収集性という観点に基づく象限モデルを提案する（図 4）。このモデルは，上記の フィードバックモデル（図 3）において，自分の欲 しい情報があるかどうか，ないのであれば情報を新 たに収集する必要があると判断するというプロセス で議論されている情報の種類を俯瞰するのに役立つ.

図 4 では，横軸にアーカイブ（永年保存）されて いるか否か，縦軸に収集されているかどうかを示し ている. 第一象限は検索可能な情報, 第二象限は将来検索可能な（可能とされるべき）情報, 第三象限 は，情報収集を経て，将来検索可能にされるべきも のを意味する. 第四象限は検索されるが情報収集が されていない情報と定義できるが，存在しえない情報であるといえよう.

少なくとも，震災アーカイブ webにおいて，検索可能な情報でないと判断できれば，象限モデル（図 4) 中の第二象限か第三象限に属する情報であると判断できる。たしかに震災アーカイブ webには大量の 情報が保存されているものの，そこにはユーザーが 求める情報がないかもしれない，そのときの判断は ユーザーに委ねられるが，震災から十数年が経過し ても，いまだに情報の収集を続けているもの，続け るべきものがあるはずである.例えば, 第一著者は,東日本大震災直後だけではなく, 震災から十数年が 経過した現在でも続く学校における子どもに対する 心理的配慮や心のケア（以下，配慮・ケア）に関す る記録を集めてきた[6].

この事例に限らずとも, 震災アーカイブとして残 されているものなのか, それとも残されていないも

のなのかの見極めをしながらも，震災に関する情報 を, 我々は収集していく必要があろう。ただし，こ のとき，その収集された情報が他の情報と重複して いないかどうかについては十分に留意していきたい.

図 4 象限モデル

## 4 まとめ

本研究では, 震災アーカイブ並びに震災アーカイ ブ web の概要を示し, 今後の進展に資するために概念モデルを作成した. このフィードバックモデルは 東日本大震災に限らずとも, 他の有事の際にアーカ イブをよりよくすることにつながるに違いない.

最後に, 本研究の限界を述べる. 本研究では震災 アーカイブ web として, 便宜的にレビューするため に「ひなぎく」のみに絞ってその特徴を整理した。 ただし，震災アーカイブ web として，「ひなぎく」 だけでなく, 例えば「みちのく震録伝」 [7]も存在し，公開されている. 今後, 本研究で提案したフィード バックモデル（図 3）におけるフィードバックルー プを機能させるために，「ひなぎく」に限らずとも，各種震災アーカイブ web の検索システムを改良する こと, そして震災アーカイブ web のユーザーを増や すことで, 震災に関する情報収集, アーカイブ化,検索システムの利活用の促進を図っていきたい。こ のような震災アーカイブ並びに震災アーカイブ web の進展が人の命と心を助けることにつながるだろう。

## 謝辞

「第 1 回災害科学 $\times$ 自然言語処理学 $\times$ 認知科学研究会 (2023 年 1 月 6 日)」にご参加いただいた先生 (奥村誠先生 [東北大学], マス・エリック先生 [東北大学 $]$, 川内淳史先生 [東北大学]）との議論は,今回の原稿の執筆の大きな励みとなった。また「令和 4 年度東日本大震災アーカイブシンポジウム」終了後, 井上佐知子先生 (国立国会図書館電子情報部主任司書）にご質問をさせていただいたところ，研究に対する励ましの言葉をいただいた.第一著者は， ここに記して感謝申し上げます.

本研究は,「ヨッタインフォマティクス研究セン ター・ヨッタインフォマティクス研究センター研究助成（追加）（代表: 齋藤玲）」,「日本心理学会・減災並びに災害からの復興に寄与寸る研究・活動(代表 : 齋藤玲）」,「東北大学災害科学国際研究所. 2022 年度災害レジリェンス共創研究プロジェクト (代表 : 齋藤玲)」,「東北大学附置研究所・2022 年度若手研究者アンサンブルグラント (新規課題) （代表 : 齋藤玲）」の助成を受けたものです.

## 参考文献

[1] 柴山明寛. みちのく震録伝の活動を振り返る一災害科学国際研究所開所 10 年にあたり. 2023. https://www.shinrokuden.irides.tohoku.ac.jp/msrdn wp/wp-content/uploads/2023/01/20230109michino ku.pdf

[2] 井上佐知子. 国立国会図書館東日本大震災ア一 カイブ「ひなぎく」ーこれまでの取り組み一. 2023.https://www.shinrokuden.irides.tohoku.ac.jp/ msrdnwp/wp-content/uploads/2023/01/20230109 NDL.pdf

[3] 国立国会図書館東日本大震災アーカイブ（愛称 : ひなぎく) . https://kn.ndl.go.jp/\#I

[4] 復興庁. 東日本大震災からの復興の基本方針 (平成 23 年 8 月 11 日東日本大震災復興対策本部決定）. 2011. https://www.reconstruction.go.jp/ topics/000056. html

[5] 復興庁. 「復興・創生期間」における東日本大震災からの復興の基本方針（平成 28 年 3 月 1 1 日閣議決定）. 2016. https://www.reconstruc tion.go.jp/topics/ main-cat12/sub-cat12-1/20160311 101245.html

[6] 齋藤玲, 保田真理, 邑本俊亮. 小学校教員によ る東日本大震災に関する子どもたちに対する こころのケアと心理的配慮に関する予察的調查: 2011 年度から 2021 年度にかけての事例の 収集. 日本教育心理学会第 64 回総会. 2022.

[7] みちのく震録伝. https://www.shinrokuden.irides. tohoku.ac.jp/


# 系列ラベリングタスクのための単純なデータ水増し

山崎智弘
東芝研究開発センターAIアナリティクスラボラトリー
tomohiro2.yamasaki@toshiba.co.jp

## 概要

語順が重要な系列ラベリング系のタスクに適用で きる汎用的な水増しとして, cycle と randpad という 新たな手法を提案する. どちらの手法も語順を維持 したまま水増しする点に特徴がある。

2 つのデータセットを対象に，提案手法で水増し したデータで系列ラベリングモデルを学習する実験 を行なった。提案手法は大規模な言語モデルや外部知識がなくても適用できる非常にお手軽な水増しで あるにも関わらず，ベースラインよりも 1 ポイント ほど性能向上したことが確かめられた.

## 1 はじめに

日本の労働人口は少子化のため急速に減少しつつ あり，製造業の現場ではベテランの持っていたノウ ハウの喪失が深刻な問題となっている。製造プラン 卜は数多くの設備や機器から構成されており, 運用・保守では長年の経験が重要なためである.

片や製造業では，日々の業務で起こったトラブル を報告書として記録しておく取り組みがある。そこ で我々はベテランのノウハウを形式知化するため,自然言語処理 (NLP) を用いてトラブル報告書を構造化する技術開発を進めている。報告書にはどんなト ラブルが起こったかだけでなく，どんな対処をした か，その対処で解決したかなども記録されているた め，構造化してトラブルを解決する可能性の高い対処をまとめられれば運用・保守のコスト低減につな がるほか，若手の教育にも役立つと考えられる。

我々は報告書のテキストに含まれるトラブル表現 を教示した訓練データを用意し，ニューラルネット ワークによる深層学習で固有表現抽出 (NER) を行な う方針を取っている．深層学習はコンピュータビ ジョンの分野で発展してきたが, 近年は NLP の分野 でも文書分類，機械翻訳，質問応答などさまざまな タスクで最高性能を達成し続けているためである.

深層学習の性能は一般に, 訓練データの質と量に
よるところが大きいと言われている. しかしトラブ ル報告書は専門知識なしでは理解しづらいうえ，ど こからどこまでをトラブル表現とみなすかは作業者 ごとに摇れが生じやすいため，良質で大量の訓練 データを用意することが難しい。

画像や音声であれば，例えば画像を回転・反転し ても映っている物体は変化しないという知識に基づ いて機械的に訓練データを水増しできるが，NLPで はどのようなドメインの文にも意味を保ったまま機械的に適用できる変換がないため，水増しのアプ ローチは限定的である。

従来よく用いられてきたのは同義語による置換だ が，意味を保つためのヒューリスティクスに頼りが ちである. EDA [1] は単語のランダムな編集を組み 合わせることで単純ながら汎用的な水増しをある程度実現しているが，語順が重要な系列ラベリング系 のタスクには適用が難しい.

$
\begin{aligned}
& \begin{array}{l}
\text { 水増しされた } \\
\text { 文とタグ }
\end{array} \\
& \text { (randpad) }
\end{aligned}
$

図 1 提案手法による訓練データの水増し

そこで我々は，語順が重要な系列ラベリング系の タスクにも適用できる汎用的な水増しとして，cycle と randpad という新たな手法を提案する. cycle は開始位置をシフトしながら各文を何度も繰り返すこと で， randpad は各文の先頭と末尾に適当な単語をラ ンダムに付加することでデータを水増しする．水増 しは学習フェーズの訓練データにだけでなく推定 フェーズの評価データにも適用し，水増しされたそ

れぞれのデータに対する推定結果から元のデータの 推定結果を得る.

以下では cycle と randpad のアルゴリズムを説明 し，一般的な NER の公開データセット (英語) と 我々の持っている電力プラントのトラブル報告書 (日本語) で行なった実験について述べる。これらの 実験の評価結果から，提案手法は非常にお手軽な水増しであるにも関わらず，ベースラインよりも性能向上することを示す.

## 2 関連研究

機械翻訳タスクでは，別言語に翻訳して元言語に 逆翻訳する手法 [2] が水増しとして有効である.し かしトラブル表現は専門用語が多く，うまく機械翻訳できないことも多い.

同義語の置換という観点からは，WordNet [3] のよ うな人手で作られたオントロジーを用いる手法，埋 め込みベクトルが近いものを同義語の候補とする手法 [4] などがある. NER では同じクラスの固有表現 を同義語の候補とすることも行なわれるが，それだ けでは固有表現を含まない文は何も置換できないの で他の手法と併用する必要がある．ドメイン固有の 専門用語に対しては，オントロジーにないため候補 が得られない，あるいは単語の使われる文脈が異な るので埋め込みべクトルが近くても意味が異なる， などの課題があり，いずれの手法も候補の選び方が 恣意的になりやすい。

一方 BERT [5] で同義語の候補を選ぶ CDA [6] とい う手法がある．BERT は文脈を考慮したよい埋め込 みべクトルを得る手法として知られているが，CDA は BERT が文脈を考慮して予測した単語による置換 に制限することで文の意味を保つようにしている。単語レベルではなく特徴ベクトルのレベルで訓練 データを水増しする手法 $[7,8]$ も提案されている. これらは，訓練データから抽出された 2 組の入出力 の線形補完によって水増しする Mixup [9] という手法を NLP に持ち込んだものである。ただしこれら の手法も，文の意味を保つように入力文の意味が似 ている組に抽出を制限している。

反対に，文の意味が多少変わることを許容する ことで，非常にお手軽な水増しを実現している EDA [1] という手法がある. 同義語による置換のほ か，単語のランダムな追加・削除・交換を組み合わ せて水増しする．大規模な言語モデルや外部知識が なくても適用できるので，訓練データが少ないとき
の文書分類や極性判定の性能をほとんどコストをか けずに底上げできることが知られている。

## 3 提案手法

本節では語順を維持したまま水増しする cycle と randpad の具体的なアルゴリズムを説明する.

入力は文の集合 $\left.\{\operatorname{sent}_{i} \mid 0 \leq i<I\right.\}$ であり，それぞ れの文 $\operatorname{sent}_{i}$ は $J_{i}$ 単語からなる系列 $w_{i, 0}, \ldots w_{i, J_{i}-1}$ で表され，固有表現は単語列に対してタグ付けされ た範囲で表されるものとする.

例えば図 1 上側は，6 単語で表される文の $[0,1)$ および $[3,5)$ の範囲にそれぞれ人物名と地域名の夕 グが付いていることを表す。実際にはタグに B や I をつけて範囲の先頭とそれ以外を区別することも多 いが，以下ではその区別は捨象して説明する。

## 3.1 cycle

図 1 中側は cycle による水増しの概念図である.開始位置をシフトしながら各文を何度も繰り返す。

まずそれぞれの文 $\operatorname{sent}_{i}$ ごとに，文を繰り返す領域の大きさとして単語数 $J_{i}$ より大きい適当な $f\left(J_{i}\right)$ を設定する． $J_{i}$ によらない值 (例えば $\max _{i} J_{i}+1$ ) に 設定するとパディングが不要になるので学習が簡単 になるが，長い文に比べて短い文の繰り返しが多く なり，モデルが偏る可能性がある。そこで適当な係数 $a, b$ を用いて $f\left(J_{i}\right)=a J_{i}+b$ などとする.

次に水増し倍率 $n_{\text {aug }}$ が与えられたとしよう.文を繰り返すときの開始位置はランダムに与 えてもよいが，均等に $c_{i}^{k}=\left.\lfloor k f\left(J_{i}\right) / n_{\text {aug }}\right.\rfloor$ (ただし $0 \leq k<n_{\text {aug }}$ ) などとする. $c_{i}^{k}$ が同じ値を取らないよ うに $f\left(J_{i}\right) \geq n_{\text {aug }}$ にしておくことが望ましい.

$c_{i}^{k}$ が定まれば，そこから順に $f\left(J_{i}\right)$ の領域を文尾 と文頭がつながらないようにセパレータ [SEP] を挟 みながら文 $\operatorname{sent}_{i}$ の単語で繰り返し埋めていくこと で，水増しされた文 $\operatorname{sent}_{i}^{k}$ が得られる。 すなわち文 $\operatorname{sent}_{i}^{k}$ を構成する単語 $w_{i, j}^{k}$ (ただし $\left.0 \leq j<f\left(J_{i}\right)\right)$ は具体的には $w_{i, j-c_{i}^{k}\left(\bmod J_{i}+1\right)}$ と表される.

学習フェーズでは，元の文のタグ範囲に対応する 水増しされた文の範囲にタグ付けして水増しされた 訓練データとする．水増しされた文の単語と元の文 の単語の対応は取れているので，元の文の単語の夕 グをそのまま付ければよい.

推定フェーズでは，水増しされた文に対して推定処理を行ない，それぞれの単語のタグを推定する。水増しされた文の単語と元の文の単語の対応が取れ

図 2 cycle の推定フェーズ

ているので，元の文の単語に付くタグは水増しされ た文の単語に付いたタグによる投票で決定できる.

図 2 の例であれば，水増しされた文において “Tom” は 3/5 が人物名なので人物名, “New” は $2 / 4$ が地域名なので地域名となる。この例では“York” は地域名も組織名も $2 / 4$ となるので多数決ではどち らを選んでもよいが，つながりがよいように “New York”をまとめて地域名とする。

## 3.2 randpad

図 1 下側は randpad による水増しの概念図であ る. 各文の先頭と末尾に適当な単語をランダムに 付加する. 文頭と文尾に付加する単語は文の意味 を保つようにする必要があるため，すべての訓練データで全くタグが付いていない単語の集合 $W_{\mathrm{O}}=\{w \mid w$ のタグが $\mathrm{O}\}$ を事前に求めておく.

まず文頭と文尾に付加する単語数 $n_{\mathrm{pad}}$ を設定す る. 付加する単語数は文頭と文尾で異なっていても よいが，双方向言語モデルを用いるので対称にする ため同じ値にするものとする。

次に水増し倍率 $n_{\text {aug }}$ が与えられたとしょう，各文 の先頭と末尾に $W_{\mathrm{O}}$ から $n_{\mathrm{pad}}$ 単語ずつをランダムに 選んで付加すると水増しされた文 $\operatorname{sent}_{i}^{k}$ が得られる ので，それを $n_{\text {aug }}$ 回繰り返せばよい。すなわち文 $\operatorname{sent}_{i}^{k}$ を構成する単語 $w_{i, j}^{k}\left(\right.$ ただし $\left.0 \leq j<J_{i}+2 n_{\mathrm{pad}}\right)$ は，具体的には $n_{\mathrm{pad}} \leq j<J_{i}+n_{\mathrm{pad}}$ のとき $w_{i, j-n_{\mathrm{pad}}}$ で それ以外のときランダムな単語となる。

学習フェーズでは，元の文のタグ範囲に対応する 水増しされた文の範囲にタグ付けして水増しされた 訓練データとする. 水増しされた文の単語と元の文 の単語の対応は取れているので，元の文の単語の夕

図 $3 \mathrm{randpad}$ の推定フェーズ
グをそのまま付ければよい。付加した単語は $W_{\mathrm{O}}$ か ら選ぶのでタグを付けないものとする。

推定フェーズでは，水増しされた文に対して推定処理を行ない，それぞれの単語のタグを推定する。文頭と文尾から $n_{\text {aug }}$ 単語を取り除けば元の文の単語 になるので，元の文の単語に付くタグは水増しされ た文の単語に付いたタグによる投票で決定できる。

図 3 の例であれば，水増しされた文において “Tom”は $2 / 3$ が人物名なので人物名となり，“New” と“York”は $3 / 3$ が地域名なので地域名となる。

## 4 実験と評価

今回の実験では系列ラベリングモデルとして BiLSTM-CRF [10] を用いた。具体的なネットワーク は，単語の埋め込みべクトルを求める Embedding 層, 確率 0.5 の Dropout 層, 入出力の次元数が等し い Linear 層, 256 次元の BiLSTM 層，タグに対応 する出力の次元数を持つ CRF 層から構成される. なお 768 次元の事前学習済み BERT ${ }^{11}$ の末尾 4 層 を concat して用いたので，Embedding 層の次元数は $3,072=768 \times 4$ である.

学習に用いたバッチサイズは 256 ，損失関数は CRFLoss，オプティマイザは SGDである。学習率は $10^{-1}$ から検証データの損失が 4 エポック下がらない たび半減し， $10^{-5}$ を下回った時点で早期終了する.

以下では訓練データの水増しを行なわないとき (baseline) と，文を繰り返す領域の大きさ $f\left(J_{i}\right)$ を $64\left.\lceil J_{i} / 48\right.\rceil$ とした cycle，付加する単語数 $n_{\text {pad }}$ を 1,2 とした randpad をそれぞれ適用したときの性能を 比較した。なお baseline 以外は，水増し倍率 $n_{\text {aug }}$ を $1,5,10$ としたときの性能も検証した。

表 1 CoNLL03 のデータ数の内訳

はじめに，NER の公開データセットである CoNLL03 [11] を用いて提案手法による水増しの効果を評価した結果について示す.本データセットは 人物名・地域名・組織名・その他の 4 種のタグが付 いており，データ数は表 1 のとおりである. 平均長 は文や固有表現を構成する単語数の平均を表す.

表 2 は系列ラベリングモデルによって抽出された タグ範囲が正解と完全一致するかどうかで評価した ときの $\mathrm{F}$ 值である. それぞれの設定で 3 回ずつ学習 したモデルによる平均と標準偏差を示す.

表 2 からわかるように，randpad2 は性能向上がほ とんど見られないが, cycle と randpad 1 は $n_{\text {aug }}=5,10$ のとき baseline を上回る. いずれも $n_{\text {aug }}$ を増やすほ ど上がり幅も大きくなっているので, cycle は $f\left(J_{i}\right)$ の選び方によっても変わると思われるが，さらに増 やせばより性能向上する可能性がある.

表 2 CoNLL03 を用いたときの評価結果

一方， baseline で抽出されたが randpad で抽出され なかった事例を分析すると， $W_{\mathrm{O}}$ に含まれる単語を 含むものが多いことがわかった. $W_{\mathrm{O}}$ から選んで付加した単語はタグが付かないように学習するので， その影響を受けた可能性がある. randpad1 で性能が 上がったのに randpad2 で上がらなかったのは，下げ る効果の方が大きかったためであろう.

逆に言えば，付加する単語の選び方を工夫した り, WordDropout [12] のように Embedding 層で埋め 込みべクトルをランダムに生成したりすれば， randpad はより性能向上する可能性がある.

続いて，我々の持っている電力プラントのトラブ ル報告書を用いて提案手法による水増しの効果を評価した結果について示す.トラブル表現 (何がどう なった，何をどうした) にイベントというタグが付 いており，データ数は表 3 のとおりである. 平均長 は文やイベントを構成する単語数の平均を表す。

表 3

CoNLL03 での実験のように，NER の評価は完全一致で行なうのが一般的である。しかしイベントの タグ範囲は非常に長く, また前述のとおり正解に摇 れが生じやすいため，完全一致にそこまでこだわる 必要はない. イベントの主要部 (どうなった, どう
した) は末尾付近に出現することが多いので，以下 の評価では [13] と同じく, タグ範囲の末尾 5 単語に 重なりがあるかどうか (主要部一致) で行なうものと した. 例えば「建屋の配管に亀裂が発生。」という 文の正解が「配管に亀裂」だった場合，「建屋の配管に亀裂」や「亀裂が発生」は少なくとも「亀裂」 という重なりがあるので OK とみなす。

表 4 は系列ラベリングモデルによって抽出された タグ範囲が正解と主要部一致するかどうかで評価し たときの $\mathrm{F}$ 值である. それぞれの設定で 3 回ずつ学習したモデルによる平均と標準偏差を示す.

表 4 トラブル報告書を用いたときの評価結果

表 4 からわかるように, cycle は baseline を上回る ものの randpad1 と randpad2 は性能向上がほとんど 見られない. 付加した単語はタグが付かないように 学習したため, CoNLL03 での実験と同じく性能を 下げる効果の影響を受けた可能性がある。下がり幅 が抑えられているのは，タグが 1 種しかないのでタ グを間違えるエラーがないことや主要部一致で評価 したことが要因であろう.

## 5 おわりに

本論文では，語順が重要な系列ラベリング系のタ スクにも適用できる汎用的な水増しとして, cycle と randpad という新たな手法を提案した. cycle は開始位置をシフトしながら各文を何度も繰り返すこと で， randpad は各文の先頭と末尾に適当な単語をラ ンダムに付加することで語順を維持したままデータ を水増しする手法であり，大規模な言語モデルや外部知識がなくても適用できる.

CoNLL03 およびトラブル報告書のデータセット を提案手法で水増しして BiLSTM-CRF を学習する 実験を行なったところ，ベースラインよりも 1 ポイ ントほど性能向上したことが確かめられた. ただし randpad はパラメタによってはほぼ変わらないか逆 に下がることも確かめられた.

今後はネットワーク構造や与えられたデータごと に最適な水増しパラメタを求め, 理論解析を通じて さらによい水増し手法を開発していく予定である.

## 参考文献

[1] Jason Wei and Kai Zou. EDA: Easy data augmentation techniques for boosting performance on text classification tasks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 6382-6388, Hong Kong, China, November 2019. Association for Computational Linguistics.

[2] Marzieh Fadaee, Arianna Bisazza, and Christof Monz. Data augmentation for low-resource neural machine translation. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 567-573, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[3] George A. Miller. Wordnet: A lexical database for english. Communications of the ACM, Vol. 38, No. 11, pp. 39-41, 1995.

[4] William Yang Wang and Diyi Yang. That's so annoying!!!: A lexical and frame-semantic embedding based data augmentation approach to automatic categorization of annoying behaviors using \#petpeeve tweets. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2557-2563, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] Sosuke Kobayashi. Contextual augmentation: Data augmentation by words with paradigmatic relations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 452-457, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[7] Rongzhi Zhang, Yue Yu, and Chao Zhang. SeqMix: Augmenting active sequence labeling via sequence mixup. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8566-8579, Online, November 2020. Association for Computational Linguistics.

[8] Jiaao Chen, Zhenghui Wang, Ran Tian, Zichao Yang, and Diyi Yang. Local additivity based data augmentation for semi-supervised NER. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1241-1251, Online, November 2020. Association for Computational Linguistics.

[9] Hongyi Zhang, Moustapha Cissé, Yann N. Dauphin, and David Lopez-Paz. mixup: Beyond empirical risk minimization. In 6th International Conference on Learning Representations, ICLR 2018, Vancouver, BC, Canada,
April 30 - May 3, 2018, Conference Track Proceedings. OpenReview.net, 2018.

[10] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260-270, San Diego, California, June 2016. Association for Computational Linguistics.

[11] Erik F. Tjong Kim Sang and Fien De Meulder. Introduction to the CoNLL-2003 shared task: Language-independent named entity recognition. In Proceedings of the Seventh Conference on Natural Language Learning at HLTNAACL 2003, pp. 142-147, 2003.

[12] Rico Sennrich, Barry Haddow, and Alexandra Birch. Edinburgh neural machine translation systems for WMT 16. In Proceedings of the First Conference on Machine Translation: Volume 2, Shared Task Papers, pp. 371-376, Berlin, Germany, August 2016. Association for Computational Linguistics.

[13]伊藤雅弘, 山崎智弘. アノテーション漏れ推定を用い たエンティティ抽出. 言語処理学会 第 27 回年次大会 発表論文集, pp. 1264-1268, 32021.


# BERTを用いた Data Augmentation 手法の改善と JGLUE による評価

高萩恭介 $^{1}$ 新納浩幸 ${ }^{2}$
1 茨城大学大学院理工学研究科情報工学専攻
2 茨城大学大学院理工学研究科情報科学領域
22nm730l@vc.ibaraki.ac.jp
hiroyuki.shinnou.0828@vc.ibaraki.ac.jp

## 概要

Data Augmentation は，教師あり学習においてその 性能を改善させるために，訓練データを水増しする 手法である. 論文 [3] では，複数の BERT を使って 文中の単語を別の単語に置換する Data Augmentation の手法を提案し，それを文書分類タスクに適用する ことでモデルの性能が改善することが示されてい る. 本研究では，その手法における拡張文と置換対象単語の選択方法を変更したより適切にデータを拡張できる手法を提案する．実験では，複数のタスク に対して提案手法による Data Augmentationを試み た.その結果，提案手法は文書分類タスクの性能を 改善できた。

## 1 はじめに

Data Augmentation は，教師あり学習の性能向上を 図るために，訓練データを水増しする手法である。基本的には，ラベル付きデータに対して，ラベルを 変えずにデータのみに簡単な変換を行い，それを新規のラベル付きデータとして訓練データに加える.

自然言語処理においては，テキスト中の単語をそ の単語の類似単語に置き換える Data Augemtation の 手法がある [1]. しかし，BERT[2]を用いてタスク を解く場合に，同じ BERT の Masked Language Model を利用して単語置換を行っても効果はほとんどな い. 置換によって得られる単語の知識は, 既に夕 スク処理を行う BERTに組み込まれているからで ある.

論文 [3] では，この問題を解消するために，タス クに利用する BERT とは別種の BERTを使って類似単語を得る手法を提案し，その手法が文書分類タス クの性能を改善させることが実験によって示されて
いる。これは，タスクに利用する BERTに含まれな い単語の知識を置換によって獲得できたからである と考えられる。

しかし論文 [3] で提案された手法は，一部のラべ ル付きデータに対する拡張ラベル付きデータを多く 生成することがあり，それによって拡張後のデータ セットに偏りが生まれる可能性が高い. そこで本研究では, 論文 [3] で提案された手法を改善し, 1 つ ラベル付きデータに対して 1 つの拡張ラベル付き データを生成するようにした.

また論文 [3] では, livedoorニュースコーパス1)を 用いた文書分類タスクのみで提案手法を評価して いるが，他のタスクに対して手法が有効かどうかは 不明である. そこで本研究では, 日本語の言語理解 ベンチマークである JGLUE[4]を用いて, 文書分類,文ペア分類，QAの3つのタスクで提案手法を評価 し，その有効性を検証した. その結果，提案手法は 文書分類タスクのみに対して有効であることが示さ れた。

## 2 関連研究

画像処理の分野では，画像を反転させる，画像の 一部を切り取るといった Data Augmentation の手法 がよく使われている。これらの手法は単純で，実装 が簡単であるにも関わらず，Data Augmentation とし ての効果は高い. また現在は，ラベル付きデータに 対する簡易的な変換による Data Augmentation だけ ではなく，様々なアプローチの手法が考案されて いる.

例えば，Mixup はデータとラベルを各々線形結合 して，新たなデータを作成する手法である [5].ま た，ラベル無しデータに対して何らかのラベルを付

与して，訓練データを増やす手法である半教師あり 学習や, GAN などの生成系ニューラルネットワー クで画像を生成する手法も Data Augmentation に分類される [1].

自然言語処理の分野においては，画像処理と比 べると Data Augmentation に関する研究が少なく, これまでに行われた研究も画像処理分野での Data Augmentation の研究を基にした二次的なものが多 い.これは，扱われるデータである言語が離散的で あることが原因とされる。この原因により，単純な 変換による Data Augmentation で自然なデータを生成 することは難しい. しかし, 自然言語処理の分野に おいても，Data Augmentation に関する試みはいくつ か行われており，効果的な手法も考案されている.

Wei らは EDA (Easy Data Augmentation) という言語モデルや外部データを必要としない簡易な Data Augmentation の手法を提案した [6]. この手法では,訓練データのテキストに対して，同義語置き換え， ランダム挿入，ランダム交換あるいはランダム削除 の 4 つの操作を複数回ランダムに適用することに よって，訓練データを拡張する。また，ある言語で 記述された文書を別の言語に翻訳し，その翻訳文を 更に元の言語に翻訳する，いわゆる逆翻訳を利用し て Data Augmentation を行う試みも多い [7][8]. さら に, Gun らは画像処理の分野で利用される Mixup 手法を応用し, 文の埋め込み表現あるいは単語の埋め 込み表現を混合する Sentence Mixup や Word Mixup を提案している [9]. 他にも，Chen らは BERT のあ る層を混合する TMix に半教師あり学習を併用した MixText を提案している [10].

## 3 提案手法

論文 [3] では，タスク処理用の BERT とは異なる BERT を用いて文中の一部の単語を別の単語に置き 換える手法が提案されている。この手法は，タスク 処理用の BERT に含まれない知識を単語置換によっ て獲得できるため，有効であると考えられている。

またこの手法では，データセットに含まれる全て のテキストの中から TF-IDFが高い単語を指定個数取り出し, 各単語を含むテキストに対して単語置換 を行っている。しかしこのやり方では, 同じテキス トを基にした拡張テキストが複数生成されることが あり，それによって拡張後のデータセットに偏りが 生まれる可能性が高い.

今回は，論文 [3] で提案された手法を改善し，既存のデータセットに含まれる各テキストに対して単語を 1 つ選び，その単語を別の単語に置換して新た にテキストを生成するようにした。これによって， 1 つのラベル付きデータに対して，1つの拡張ラべ ル付きデータが生成されることとなる。

単語置換は，テキスト中の置換対象の単語を Maskトークンに置き換えて，その Maskトークンの 位置に入る単語を BERT の Masked Language Model で予測することで行う。また，単語置換とタス ク処理にはそれぞれ別の BERTを使う．今回は， タスク処理に東北大学の乾研究室が公開してい る'bert-base-japanese-v2'2)，単語置換にストックマー ク株式会社が公開している $\mathrm{BERT}^{3)}$ を利用する. 東北大版 BERT は日本語の wikipediaを用いて，ストッ クマーク版 BERT は日本語のビジネスニュースの コーパスを用いて事前学習が行われている。そのた め，2つの BERT は事前学習の段階でそれぞれ異な る知識を獲得していると考えられる。提案手法の詳細な手順について以下に示す。

1. データセットからラベル付きデータ

（ラベル+テキスト）を1つ取り出す.

2. テキストをトークン化する。

3. 置換対象単語のトークンを Mask トークンに置 き換える。

4. トークン列を BERT 入力用の ID 列に変換する.

5. ID列を BERT に入力し, 各トークンに対する予測結果を取得する。

6. 予測結果の中から, Maskトークンに入ると予測された上位 100 単語を取得する。

7. 上位 100 単語の中から, 次の条件を満たす最上位単語を選択する。

(a) 単語が名詞である.

(b) 単語は置換対象単語とは異なる.

8. 置換対象単語を選択した単語で置き換えたテキ ストを生成する。

9. 生成されたテキストに元のラベルを付けたもの を拡張ラベル付きデータとする。

10. データセットから取り出していないラべル付き データがあれば， 1 に戻る.

11. 元のデータセットに生成した拡張ラベル付き データを全て追加する。

また，上記の手順における置換対象単語の決定は

次のように行う.

1. データセットに含まれる全てのラベル付きデー タから，テキストのみを取り出してリスト化 する.

2. 分かち書きによって，テキストのリストを名詞 のみのトークン列のリストに変換する.

3. 変換後のリストを TF-IDFベクトルに変換する.

4. 各テキストにおける TF-IDF 值が最も高い名詞 を選び，それらを置換対象単語とする。

## 4 タスク

本研究では，提案手法の評価を行うために，日本語の言語理解ベンチマークである JGLUE[4] を 用いる. JGLUE は文書分類タスクである Marc-ja と JCoLA, 文ぺア分類タスクである JSTS と JNLI, QA タスクである JSQuAD と JCommonsenseQA の計 6つのタスクから構成される. 今回は，この中から Marc-ja，JSTS，JCommonsenseQAの3つのタスクを 利用し，評価を行うこととする。また，各タスクに は, train（訓練）/dev（検証）/test（テスト）データ の 3 つが用意されているが，論文執筆時点ではどの タスクのテストデータも公開されていない. そのた め, 各タスクでは, 元の訓練データからいくつか データを取り出すことで新たに訓練/検証データを 作成し, 元の検証データはテストデータとして使用 することとする．今回の実験での各タスクの訓練/検証/テストデータの個数を表 1 に示す. なお，今回は各タスクの訓練データの個数を 100 個として, ファインチューニングに用いるデータが少ない状況を想定した実験を行う．また，各タスクでは訓練 データを 5 パターン用意し, それら 5 つの評価平均 を最終評価として使用する。

表 1 各データセットの構成

## 4.1 Marc-ja

Marc-ja は文書分類用データセットであり，通信販売サイト「アマゾン」における商品レビューとそ れに対する評価をまとめたコーパスである MARC (Multilingual Amazon ReviewsCorpus)[11] の日本語部分を元に構築されている. Marc-ja に含まれる各
データは商品レビューと，ラベルである評価の二つ からなる.ラベルは negative と positive の 2 種類で あるため，タスクは 2 值分類となっている。評価指標には精度 (acc) を用いる. Data Augmentation では，各訓練データの商品レビューに対して単語置換処理 を行う。

## 4.2 JSTS

JSTS は意味的類似度計算 (Semantic Textual Similarity, STS) のデータセットであり, YJ Captions Dataset[12]を利用して構築されている. STS は文 ペアの意味的な類似度を推定するタスクで，正解 の類似度は， 0 (意味が完全に異なる) 〜 5 (意味が 等価)の間の値として付与されるのが一般的であ る. JSTS の各データは文ペアとその類似度からな り，文ペアは YJ Captions Dataset のある画像に対す る 2 つキキャ゚゙ョョンで，類似度はクラウドソー シングによって決定されたものである. 評価指標 には， Pearson および Spearman 相関係数を用いる. Data Augmentation では，各訓練データの文ペアのう ち，1つめの文に対してのみ単語置換処理を行う.

## 4.3 JCommonsenseQA

JCommonsenseQA は, CommonsenseQA[13] という $\mathrm{QA}$ データセットの日本語版で，常識推論能力を評価することができる. JCommonsenseQAに含まれる 各データは，問題文とそれに対する 5 つの選択肢，正解の選択肢を示すラベルから構成される.この選択肢のうち，問題文に対する正しい解答となるのは 1 つだけである. 評価指標には精度 (acc) を用いる. Data Augmentation では，各訓練データの質問文に対 して単語置換処理を行う.

## 5 結果

実験では，各タスクにおいて，BERTを訓練デー タでファインチューニングすることで，モデルの構築を行う．構築したモデルは，タスクに応じた評価指標でテストデータにより評価される。

各タスクにおいて, 元の訓練データとData Augmentaion を行った訓練データでそれぞれファイ ンチューニングしたときのモデルの評価結果を図 1 に示す. 結果としては, Data Augmentation を行った 場合，MARC-ja のみモデルの性能が僅かに改善し， それ以外のタスクでは性能が悪化した。

図 1 評価結果

## 6 考察

## 6.1 提案手法によるモデル性能低下の要因

JSTS と JCommonsenseQA の 2 つのタスクでは，提案手法を用いた場合にモデルの性能が低下してし まった. これは，新たに作成したデータの中に，テ キストとラベルについての一貫性が失われたデータ が多く含まれており，それらがノイズとなってモデ ルの性能を低下させたと考えられる。

例えば，JCommonsense において，問題文が「商品 を確認するにはどこまで行くといい？」，正解の選択肢が「店頭」である訓練データが存在する. この データにData Augmentation を行うと，問題文が「自身を確認するにはどこまで行くといい？」に変更さ れた. この場合，新たに生成されるデータは，問題文と正解の選択肢が矛盾したデータとなるため，訓練データとして適切ではない.

このように，QA やSTS は，文書分類と比べて，取 り扱うデータの一貫性が Data Augmentation によっ て失われやすく，それがモデルの性能低下に繋がっ たと考えられる.また，今回利用した 3 つのタスク のうち，MARC-ja はデータに含まれるテキストの文字数が全体的に多く，その他の 2 つのタスクはデー タに含まれるテキストの文字数が少なかった. これ も，JSTS と JCommonsense におけるモデル性能低下 の要因の一つであると考えられる.

## 6.2 訓練データの量の影響

提案手法のような簡易的な Data Augmentation は,元の訓練データの量が少ない場合に効果的であり，量が十分な場合には効果がないと考えられている
[6]. 本節では，この点を確認するために，各タスク の訓練データの量を 100 個から 1000 個に増やして，同様の実験を行った. 各タスクにおいて，元の訓練 データとData Augmentaion を行った訓練データでそ れぞれファインチューニングしたときのモデルの評価結果を図 2 に示す。

結果としては，MARC-ja においても，Data Augmentationを行った場合にモデルの性能が悪化し た. また, JSTS, JCommonsenseQA については, Data Augmentation の有無による性能の差が，訓練データ が 100 個の場合と比べて大きくなった. この結果か ら，提案手法の効果は訓練データの量に影響し，量 が大きくなるほど手法の効果が出にくくなると考え られる。

図 2 訓練データの量を 10 倍にしたときの評価結果

## 7 おわりに

本研究では，論文 [3] で提案された，BERT の Masked Lauguage Model を用いた単語置換による Data Augumentation の手法を改善した. 論文 [3] の手法では，一部のラベル付きデータを基にした拡張ラ ベル付きデータが多く生成されることがあり，それ によって拡張後のデータセットに偏りが生まれてし まう。本研究では，その問題を解消するために，1 つのラベル付きデータに対して 1 つの拡張ラベル付 きデータを生成するようにした. また，改善した手法の効果を検証するために，日本語の言語理解ベン チマークである JGLUE に含まれる 3 つのタスクを 利用して実験を行った. その結果，提案手法は文書分類タスクのみに対して効果があることが確認され た. 今後はこの手法に改良を加えて，より多くの夕 スクでモデルの性能を改善できるようにしたい.

[1] Steven Y Feng, Varun Gangal, Jason Wei, Sarath Chandar, Soroush Vosoughi, Teruko Mitamura, and Eduard Hovy. A Survey of Data Augmentation Approaches for NLP. arXiv preprint arXiv:2105.03075, 2021.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] 恭介高萩, 浩幸新納. 複数の bert モデルを利用した data augmentation. Technical Report 4, 茨城大学工学部情報工学科, 茨城大学大学院理工学研究科情報科学領域, sep 2021.

[4] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. Jglue: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, 2022.

[5] H Zhang, M Cisse, Y Dauphin, and D Lopez-Paz. mixup: Beyond empirical risk minimization. iclr 2018. arXiv preprint arXiv:1710.09412, 2017.

[6] Jason Wei and Kai Zou. Eda: Easy data augmentation techniques for boosting performance on text classification tasks. arXiv preprint arXiv:1901.11196, 2019.

[7] Mengzhou Xia, Xiang Kong, Antonios Anastasopoulos, and Graham Neubig. Generalized data augmentation for low-resource translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5786-5796, Florence, Italy, July 2019. Association for Computational Linguistics.

[8] Jiaao Chen, Yuwei Wu, and Diyi Yang. Semi-supervised models via data augmentationfor classifying interactive affective responses. arXiv preprint arXiv:2004.10972, 2020.

[9] Hongyu Guo, Yongyi Mao, and Richong Zhang. Augmenting data with mixup for sentence classification: An empirical study. arXiv preprint arXiv:1905.08941, 2019.

[10] Jiaao Chen, Zichao Yang, and Diyi Yang. MixText: Linguistically-informed interpolation of hidden space for semi-supervised text classification. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2147-2157, Online, July 2020. Association for Computational Linguistics.

[11] Phillip Keung, Yichao Lu, György Szarvas, and Noah A Smith. The multilingual amazon reviews corpus. arXiv preprint arXiv:2010.02573, 2020.

[12] Takashi Miyazaki and Nobuyuki Shimizu. Cross-lingual image caption generation. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1780-1790, 2016

[13] Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant. Commonsenseqa: A question answering challenge targeting commonsense knowledge. arXiv

## A 付録

## A. 1 BERT の詳細設定

実験でのタスク処理に利用した BERT の詳細な設定は以下の通りである.

・モデル名：bert-base-japanese-v2

・最大シーケンス長 : 512

・バッチサイズ : 8
- 学習率 : 5e-05

・エポック数 : 4

## A. 2 実験結果の詳細

本節では，本研究で行った実験の評価結果の詳細 について，それぞれ表 $1 ，$ 表 2 に示す.

表 25 章における評価結果の詳細

表 36 章における評価結果（訓練データ 10 倍）の詳細


# トラブル報告書に特有のフィールド情報を用いた BERT の追加学習

労瑛瑩 山崎智弘 伊藤雅弘
株式会社東芝 研究開発センター
知能化システム研究所 アナリティクス $A I$ ラボラトリー
\{yingying1. lao, tomohiro2. yamasaki, masahiro20. ito\}@toshiba. co. jp

## 概要

本研究では, インフラ分野のトラブル報告書を用 いて BERT の追加学習をするためのフィールド分類 タスクを提案する。トラブル報告書に特有のフィー ルド情報を文脈として活用するので，含まれる文の 数が少ないトラブル報告書でも, フィールドが持つ 文や単語の潜在的な意味(特徴)を文脈として学習す ることができる.

文ベクトル表現の分布を可視化するとともに，マ スクした単語を推測するタスクや報告書からトラブ ル表現を抽出するタスクで評価実験を行い，提案手法によって追加学習された BERT の効果を検証した。

## 1 はじめに

インフラ事業において, 電力・化学プラントなど の運用・保守の作業現場で発生したトラブルを記録 している報告書が大量に蓄積されている. 我々は,過去の大量のトラブル報告書からトラブルに関係す るイベント(「配管に亀裂」「水位が低下」など)の 抽出, 因果関係の推論といった構造化技術の研究開発に注力している[1]. トラブル報告書に記載された 情報を構造化することで, 「トラブルが発生した部品」や「効果のあった対処」を早期に把握すること が可能になり, 保守作業現場の生産性向上に貢献で きる.

しかし, トラブル報告書には機器番号や業務用語 など一般文書には含まれない用語が数多く含まれて いる. そのため, 日本語 Wikipedia で事前学習され た BERT[2]で文や単語の埋め込み表現を取得しても，系列ラベリングによってトラブルに関係するイベン トを抽出する下流タスクで性能を上げにくい課題が ある. そこで，トラブル報告書からなるコーパスを 用いた BERT の追加学習を通して, インフラ分野に 適する文や単語の表現を取得することによって，イ ベント抽出などの下流タスクでの性能を向上させる

 &  & $\ldots$ \\

図 1 トラブル報告書の事例

ことを狙う。

トラブル報告書では含まれる文の数が少ないとい う特徵があるため, 従来の学習手法[2]では BERT の 追加学習が困難である.

一方, トラブル報告書は現象や処置などの複数の 項目から構成され, 各項目にはトラブルに関する詳細情報が文字や記号で記載されている(以下, 既定の 項目および当該項目に書かれたテキストデータをフ イールドと呼ぶ). 図 1 に示すように, トラブル報告書は横方向に沿った複数のフィールドにトラブルに 関する詳細情報が記載されている。縌方向の同じフ イールドには類似表現が記載されている.このため,横や縦方向を考慮するフィールドの関係性が利用で きると考える。

そこで本研究では, トラブル報告書に特有のフィ ールド情報を文脈として活用して BERT の追加学習 をするため，フィールド分類タスク (Field Classification)を提案する。具体的には, 従来の NSP(Next Sentence Prediction)の代わりにフィールド 分類を通して，特徴ベクトル空間上の潜在的なフィ ールドの関係性に従ってテキストデータを分類する ことにより，クラスごとに同じフィールドの関係性 をもつテキストのベクトル表現を近似的に学習する。

提案手法によって追加学習された BERT の効果を 検証するため, 文のベクトル表現の可視化, マスク 単語の推定タスクとトラブルイベント抽出による評価実験を行う。

## 2 関連研究

近年，事前学習された言語モデルを用いて，様々

な NLP タスクに応じてファインチューニングする ことは主流となっている. 特に, BERT は汎用性が 高い言語モデルの代表として, 文書分類や固有表現抽出などの下流タスクで高いパフォーマンスを達成 している。 BERT の事前学習では, ラベルなしテキ ストデータを用いて, MLM と NSP の 2 つの訓練夕 スクで教師なし学習を行う．MLM では，マスクさ れたトークンを文脈を考慮して予測するタスクであ る. 穴埋め問題を解くことを通して, 単語の埋め込 み表現を学習する. NSP では, 2 つの入力センテン ス Aと Bが連続するか否かを分類するタスクである。入力センテンスの接続関係を考慮して文の埋め込み 表現を学習する. ALBERT [3] はBERTよりも軽量 なモデルとして提案されている。 ALBERT の事前学習では, NSP の代わりに, SOP(sentence-order prediction)で入力 2 つの文の順序の予測を行ってい る. 文脈に依存しない Word2Vec [4]や GloVe[5]など の従来手法より, 事前学習された BERT や ALBERT は文脈を考慮した単語の埋め込み表現を取得可能に なる.

Gururangan[6]らは, 適用分野や下流タスクなどの データセットを使って追加で事前学習を行うことを 提案し, 下流タスクの評価でオリジナルの BERT よ り精度向上の効果を示した. しかし, インフラ分野 のトラブル報告書は, 以下の理由から, 事前学習さ れたBERTやALBERTを従来のように追加学習する ことは困難である. トラブル報告書はフィールドに 分けてトラブルに関係する詳細情報を記載している が，フィールドごとに含まれる文数や 1 文書に含ま れる全ての文数がいずれも少ないという特徴がある. これらのトラブル報告書から取得できる学習データ は順序ありの文ぺアが少なく, 順序なしの文ぺアが 多いため, NSP や SOP でモデルの学習に偏りが発生 する恐れがある. それに，ランダムに 2 つの文を取 って作成された文ぺアには異なる情報が混入して，文脈が大きく変わる可能性が考えられ, MLM で学習された単語の埋め込み表現がずれる恐れがある。

## 3 提案手法

本節では, トラブル報告書に特有のフィールド情報を文脈として活用する BERT の追加学習タスクを 提案する. トラブル報告書において, どのようなト ラブルが起こったか(現象), トラブルを解決するた めに何をしたか(処置)などのフィールドが存在して いる(図1). 従って, 既定のフィールドに書かれたテ

図 2 提案のフィールド分類(Field Classification)

キストには当該フィールド情報を持っていると考え られる。例えば，「現象」フィールドに書かれたテ キストには，トラブルの発生状況が詳細に記載され ている.これらのテキストは「現象」というフィー ルド情報を持っている.

そこで，トラブル報告書における潜在特徴を学習 するため，NSP の代わりに，入力テキストのフィー ルド情報の関係性を学習するフィールド分類タスク (Field Classification)を提案する. 図 2 に示すように，提案のフィールド分類はBERTにテキスト AとBを 入力して得られた $h_{[\mathrm{CLS}]}$ を用いて, softmax classifier で 2 文が持つフィールド情報の関係性を分類する.具体的に，フィールドの特性に基づいて入力テキス トのフィールド情報の関係性の 2 値分類を行う。フ イールド特性とは, 入力テキストのフィールド情報 の関係性を次の 2 種類で定義する：

フィールドの従属性(fieldSameDoc) 同一文書に おいて，トラブルの発生原因とそれを解決するため の対処方法のようにお互いに因果関係を持つ情報が 書かれており，異なるフィールドに記載されたテキ ストでも，潜在的に関係する(図 1 の行に基づく).

従って, 入力のテキスト A と B がそれぞれに属する 同一文書に書かれた文か否かというフィールド分類 を行い, 同一文書の異なるフィールドにある関連情報を潜在特徴として学習する。

フィールドの共通性(fieldSameField) 同一フィ 一ルドにおいて，異なる文書で類似するトラブル表現が存在しているため, これらの類似表現は潜在的 に関係する(図 1 の列に基づく). 従って，入力のテ キスト A と B がそれぞれに属する文書を考慮せず，同じフィールドに書かれた文か否かというフィール ド分類を行い，文書をまたがった類似表現の潜在特徵を学習する。

提案のフィールド分類を通して，特徴ベクトル空
間上の潜在的なフィールド特性 (fieldSameDoc, fieldSameField のいずれか)に従ってテキストデータ を分類することにより，クラスごとに同じフィール ド特性をもつテキストのベクトル表現を近似的に学習できる. また，学習のために連続する 2 文をバラ ンスよく取得することが難しいトラブル報告書でも， テキストが属するフィールドの関係性を利用するこ とで 2 文を選択することは容易である。

## 4 実験と評価

本節では, 提案手法の効果を検証するため, 実施 した実験について述べる.

BERT の追加学習では, 電カプラントに関する 3,130 件のトラブル報告書を利用している. 具体的に，「タイトル, 処置の結果, 現象, 原因, 処置」とい う 5 種類のフィールドに書かれた文データから，以下 4 種類のデータセットを作成した：

・Dataset1: 属する文書やフィールドの種類を考慮せず，ランダムに 2 文を取得する．計 $73 \mathrm{k}$ デ 一夕数である.
- Dataset2: 同一文書における同一フィールドか ら連続した 2 文を取得する. 計 $36 \mathrm{k}$ データ数で ある。

・ Dataset3: 属するフィールドの種類を考慮せず，同一文書からランダムに 2 文を取得する. 計 $73 \mathrm{k}$ データ数である.

・Dataset4: 属する文書を考慮せず，同一フィール ドからランダムに 2 文を取得する。計 $73 \mathrm{k}$ デー タ数である.

東北大学 BERT $の$ bert-base-janpanese-v2 $2^{1}$ 利用し て, 2 種類のベースライン手法と 2 種類の提案手法 によるモデルを追加学習し, 性能比較を行う (表 1).各モデルのパラメータ設定は, 最大入力長さを 256 , エポック数を 5 , 学習率を $2 \times 10^{-5}$, バッチサイズを 16 とする. なお, 学習のエポックごとにモデルを保存する.

## 4.1 文のベクトル表現の可視化

学習データセットから 50 件のトラブル文書(計 1,147 文) をサンプリングし, 追加学習されたモデル でサンプル文のベクトル表現の分布を $\mathrm{t}$-SNE[7]で可視化した. Proposal2 モデルによって取得されたサン プル文のベクトル表現([CLS]トークンであり, 768次元となる)を t-SNE で 2 次元に圧縮した可視化結果を図 3 に示す. 図 3 を確認すると，「タイトル」 の文のベクトル表現(青)や「処置の結果」の文のべ クトル表現(オレンジ)がそれぞれに集まっていて，「現象」(緑)の文のベクトル表現と「処置」(紫)の文 のベクトル表現が分離されていることがわかる.

ベースラインの学習手法と比べて, 提案するフィ ールド分類(fieldSameField)を通して, 同じフィール ドに書かれた文のベクトル表現が互いに近づく, 他 のフィールドの文のベクトル表現と離れていること がわかる(A 付録参照).

## 4.2 マスク単語の推定タスク

提案手法で追加学習されたモデルを用いて，マス クした単語を推定する実験を行った．各モデルの推定結果(A 付録参照)から, ベースラインの学習手法 と比べて, 提案するフィールド分類(fieldSameDoc, fieldSameField)を通して, 特徴ベクトル空間上で同じ フィールド特性をもつ文のベクトル表現が互いに近 づいていることがわかった。すなわち，これらの文 に含まれる単語も近似的に学習されていると考えら れる。

## 4.3 トラブルイベント抽出による評価

提案手法で追加学習されたモデルの性能を評価す るため, 電力プラントに関するトラブル報告書(日本語)を用いたトラブルイベント抽出の評価実験を行 った. トラブルイベント抽出とは, トラブル報告書 から「部品 $\mathrm{A}$ が壊れた」や「設備 C を取り替えた」 のようなトラブルの現象や処置になりうる記述表現 をイベントとして抽出するタスクである.

今回利用する報告書には，トラブルに関わるイベ ントとその因果関係がアノテーションされて, デー 夕数を表 2 に示す. 4.1 節で追加学習された BERT モ デルを用いて，系列ラベリングによるイベント抽出 のモデルを構築した. 具体的に, Bi-LSTM-CRF $[8,9]$ をベースとし, BERT モデルから得られた単語ベク トルをBi-LSTM への入力として与えた.

表 2 のデータセットを用いてイベント抽出モデル の学習と評価を行い, 抽出されたイベント範囲が正解と完全に一致するかどうか(完全一致), イベント 範囲の末尾 5 形態素に一致する(主要部一致)の $\mathrm{F}$ 値 で評価した。
^{1} \mathrm{https}$ //huggingface.co/cl-tohoku/bert-base-japanese-v2
}

図 3 Proposal2 モデルによるサンプル文のベクトル表現の可視化結果.「タイトル」(青), 「処置の結果」 (オレンジ)，「現象」(緑)，「処置」(紫)の点線で集まっている同じフィールドの文のベクトル表現を囲む.

表 1 電力プラントのトラブル報告書を用いた BERT の追加学習の比較実験

ベースライン手法と提案手法で追加学習されたモ デルのエポックごとの完全一致の評価結果を表 3 に 示す. 表 3 には, Proposal1 モデルは Epoch1 4 で良 い性能を示している. 特に, Epoch1 の学習結果で Baseline2 モデルより性能評価を 2.3 ポイントで向上 した. 主要部一致の場合, Proposal2 モデルは Epoch1 と Epoch4 で最も高い評価を得て, Epoch1の学習結果で Baseline1 モデルより 0.7 ポイントの性能向上を 示した(A 付録参照).

上述の評価結果から，提案タスクでフィールド特性に基づく文や単語の埋め込み表現を近似的に学習 することにより，インフラ分野の知識を習得でき， イベント抽出という下流タスクで性能向上に有効性 があることが示された.

一方, Baseline1 モデルは, 訓練 Epoch 数を増やす につれて，強い性能を示している。これは，提案手法でフィールド分類 loss と MLM loss の計算スケー ルが不均衡の恐れで, Epoch 数が増えるほどフィー ルド分類 loss が小さくなりすぎてモデルの学習への 効果が弱くなると考えている.表 2 イベント抽出用のデータセット

表 3 イベント抽出による評価結果(完全一致)

## 5 おわりに

本研究では，トラブル報告書に特有のフィールド 情報を文脈として活用し，フィールドが持つ文や単語の潜在的な意味(特徴)を学習するフィールド分類 タスクを提案した。提案のフィールド分類でインフ ラ分野のトラブル報告書を用いた BERT の追加学習 を行ったところ，イベント抽出という下流タスクで ベースラインの学習手法より 2.3 ポイントの性能向上を確認できた。フィールド特性に基づく文や単語 の埋め込み表現を近似的に学習することにより，イ ンフラ分野の知識を習得できたと考えられる.今後 は，提案するフィールド分類 loss と MLM loss の重 み付け計算でモデルの性能を改善し，最適なパラメ ータ探索を実施する予定である。

## 参考文献

[1] 伊藤 雅弘, 山崎 智弘. アノテーション漏れ推定を用いたエンティティ抽出. 言語処理学会 第 27 回年次大会発表論文集(2021 年 3 月). pp1264-1268. 2021.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. Computation and Language, arXiv.1810.04805, 2018.

[3] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, Radu Soricut. ALBERT: A Lite BERT for Self-supervised Learning of Language Representations. Computation and Language, arXiv.1909.11942, 2019.

[4] Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean. Efficient Estimation of Word Representations in Vector Space. Computation and Language, arXiv.1301.3781, 2013.

[5] Jeffrey Pennington, Richard Socher, Christopher Manning. GloVe: Global Vectors for Word Representation. Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp1532-1543, 2014.

[6] Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, Noah A. Smith. Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics(ACL), pp 8342-8360, 2020.

[7] Laurens van der Maaten, Geoffrey Hinton. Visualizing Data using t-SNE. Journal of Machine Learning Research, Vol.9, pp 2579-2605, 2008.

[8] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, Chris Dyer. Neural Architectures for Named Entity Recognition. Proceedings of NAACL 2016, 2016.

[9] Alan Akbik, Duncan Blythe, Roland Vollgraf. Contextual String Embeddings for Sequence Labeling. Proceedings of the 27th International Conference on Computational Linguistics, pp1638-1649, 2018.

## A 付録

## 文のベクトル表現の可視化

フィールド特性が共通性の場合, 50 件のサンプル 文書(計 1,147 文) をランダムに取得して，オリジナ ル BERT(追加学習なし)とベースライン手法で追加学習されたモデルの可視化結果を以下のように示す.

Baseline1(MLM only)

## マスク単語の推定タスク

提案手法で追加学習されたモデルを用いて, マス クした単語を推定するタスクの結果を考察する．以下の表 4 に, 考察事例および各モデルの推定結果 (top10)を示す.「現象」に書かれた例文 1 において， Proposal1 モデルは正解である 故障’と類似する意味 を持つ，“異常’が推定されており，他に‘故障’と含む 文書における頻出単語である‘対応’, ‘基板’, ‘客’, ‘常時', 'CPU'も推定されている.「処置」に書かれた 例文 2 において, Proposal2 モデルは正解である‘交換’が推定されており, 他に「処置」における頻出単語である‘基板’, ‘客(\#\#先)', ‘様子’, ‘見’も推定され ている.

表 4 マスク単語の推定事例

} \\

## 「処置」例文 2 : 基板[MASK]にて処置済み

Masked Token 正解 : ‘交換'

 \\

## トラブルイベント抽出による評価

抽出されたイベント範囲が正解イベント範囲の末尾 5 形態素に一致する(主要部一致)の $\mathrm{F}$ 値で評価し た結果である.

表 5 イベント抽出による評価結果 (主要部一致)


# トピックエントロピーに基づく学習データ選択による 事前学習言語モデルの訓練安定性向上

永塚光一 渥美雅保
創価大学大学院 理工学研究科
e20d5301@soka-u.jp matsumi@soka.ac.jp

## 概要

本稿では，事前学習言語モデルの訓練の安定化 を目的として，新たな学習データ選択手法であ る Topic Entropy-based Data Selection (TEDS) を提案す る. TEDS では，テキストに含まれるトピックの多様性指標であるトピックエントロピーを定義した上 で，(i)トピックエントロピーの高い一部の学習デー タによる訓練，(ii) 全学習データによる訓練という 2 段階の事前学習を行う. 提案手法の効果を検証する ために，検証損失に基づく訓練安定性と GLUE ベン チマークを用いた下流タスクの性能を評価した. 実験により，TEDS を用いたモデルはベースラインと 比較して検証損失が安定的に減少し，より高い汎化性能を獲得することを示した。

## 1 はじめに

近年, 事前学習言語モデル ${ }^{1)}$ (Pre-trained Language Model， PLM) は自然言語処理分野において大きな 成果を上げている [1,2]. PLM は，小規模なラベル 付きデータセットを用いてファインチューニングを 行うことにより，様々な自然言語処理タスクにおい て最高精度を達成している。一方で，大規模なコー パスを用いた事前学習は計算コストが非常に高く,特に訓練が不安定である場合には，計算コストが更 に増加するという問題がある。

PLM の学習効率を向上させるために，これまでに 多くの研究が行われている. 代表的な例として，よ りパラメータ数の少ないモデルアーキテクチャを設計するアーキテクチャベースの手法 $[3,4,5,6,7]$,効率的な事前学習を行うために新たな目的関数を定義するオブジェクティブベースの手法 $[8,9]$, 更に.効果的な学習データ選択と学習スケジュールの実行

を通して，学習効率を向上させるデータセットベー スの手法がある $[10,11,12]$. アーキテクチャベース やオブジェクティブベースの手法は既に PLM の学習効率向上に大きく貢献している一方で，データ セットベースの手法はまだ比較的研究が少ない.

代表的なデータセットベースの手法として，カリ キュラム学習 [12] が挙げられる. カリキュラム学習 は，定義された難易度の指標に基づき，簡単な学習 サンプルからより難易度の高い学習サンプルへと訓練を徐々に移行させることにより，モデルの学習効率を高める手法である．PLM にカリキュラム学習 を適用するためには，学習データとなるテキストに 対して，難易度の指標を設計する必要がある．テキ ストの難易度を定義することは，言語学の分野では Readability の研究として知られており，テキストの 難易度を決める要因は，(1) 語彙レベル，文法構造の 複雑さ，単語や文の長さなどのミクロ要因，(2) テ キストのトピックや一貫性などのマクロ要因に分類 される [13]. ここで，(1)ミクロ要因に関しては，語彙頻度 [12] やテキストの長さ $[10,11]$ を活用した手法が提案されているが，(2) マクロ要因については 十分に研究が行われていない。

本稿では，学習サンプルの難易度指標としてマ クロ要因の一つであるトピックに着目し，新たな 学習データ選択手法である Topic Entropy-based Data Selection (TEDS) を提案する．TEDS では，学習効率が高い (難易度が低い) テキストは多様なトピック から構成されるという仮説に基づき，学習サンプル のトピックの多様性を計測する新たな指標として， トピックエントロピーを定義する。テキストの潜在的なトピックを推定する手法には，トピックモデル の一つである Latent Dirichlet Allocation (LDA) を用い る. 実験により，TEDS を用いたモデルでは，ベー スラインと比較して訓練の安定性及び下流タスクに おける汎化性能が向上することを示す.

図 1: TEDS の全体像

## 2 関連研究

近年の研究では，大規模な言語モデルの学習効率化にデータセットベースの手法が用いられている。例えば，GPT-3[14] や T5[15] などの高コストな事前学習を伴うモデルでは, 複数のコーパスから指定さ れたサンプリング比率で学習データを収集すること でデータセットの品質を高めるデータ選択手法を採用している．また，テキストの長さを難易度の指標 としてカリキュラム学習を GPT-2 や BERT の事前学習に適用する研究が行われている $[10,11,16]$. ここ で，標準的なカリキュラム学習では難易度の指標に 加えて，学習データを徐々に増加させるためのスケ ジューラを設計するが，我々の TEDS は，二段階の みで構成されるよりシンプルな手法であり，こうし たスケジューラが提案手法に与える影響については 検証しない。したがって，提案手法をカリキュラム 学習とは呼称しないこととする。

## 3 提案手法

図 1 に示すように，TEDS は 2 つのステップから 構成される. 1 つ目のステップでは，コーパスに含 まれる文書集合を用いて，LDA の訓練を行う (図 1a). 2 つ目のステップでは，訓練した LDA を用い て各学習サンプルのトピックエントロピーを計算す る. 続いて，トピックエントロピーの高い一部の学習サンプルを抽出したのち，抽出データと全学習 データを用いて，2 段階の事前学習を行う (図 1b). LDA 及び PLM の訓練には，Wikipedia の英語記事か ら構成されるコーパスである WikiText-103[17] を用 いる.

## 3.1 LDA の訓練

LDA を訓練するために，WikiText-103 から各記事 をあらかじめ定義されたフォーマットに従って抽出 し，記事集合を得る。続いて，Byte-level BPEトーク ナイザ [18] を用いて各記事をサブワードに分解した のち，ストップワード2)除去を行う．また，TF-IDF によるフィルタリングにより，語彙数を約 $50 \%$ 削減 する.ここで，LDA は単語ではなくサブワードに 基づいて学習される．既存のトピックモデルでは，単語による訓練が一般的であるが，提案手法では Transformer ベースの言語モデルの入力形式との一貫性を保つために，サブワードを用いる。

## 3.2 PLM の訓練

## 3.2.1 トピックエントロピー

トピックエントロピーは，与えられたテキストに 含まれるトピックの多様性を測定するために我々が 提案した新たな指標である. TEDS では，少数のト

ピックのみが存在する学習サンプルよりも多様なト ピックを含む学習サンプルを選択することが，言語 モデルの初期の訓練安定化に有効であると仮定す る. 学習サンプルを構成するトークン系列 $\boldsymbol{x}$ が与え られた時，トピックエントロピーは以下の式で計算 される.

$
T E(\boldsymbol{x})=-\sum_{k=1}^{K} p(k \mid \boldsymbol{x}) \log p(k \mid \boldsymbol{x})
$

ここで，Kはトピックサイズ， $p(k \mid \boldsymbol{x})$ は LDA に よって計算された事後確率分布におけるトピック $k$ の条件付き確率である. 各学習サンプルに対して, トピックエントロピーを計算し，トピックエントロ ピーが高い上位の学習サンプルを抽出することで，初期の事前学習に用いる学習データセットを構築 する.

## 3.2.2 2 段階事前学習

学習する言語モデルとして, 本研究では, RoBERTa[2]を採用する. TEDS の事前学習は 2 つの サブステージから構成される。まず，トピックエン トロピーの高い学習サンプルを用いて，総トレーニ ングステップ数の半分まで RoBERTa を訓練する.

次に，全ての学習サンプルを用いて，トレーニング ステップ数の終了まで RoBERTa の訓練を継続する.学習データには, LDA の訓練と同様に WikiText-103 を用いる。また，学習サンプルのトークン数は 128 に設定する。

## 4 実験

## 4.1 実験設定

提案手法を評価するために，訓練安定性と汎化性能という 2 つの観点から, TEDS とベースラインの 比較を行う. ベースラインとして, 通常の事前学習 と同様にはじめから全ての学習データを用いる All Data Selection (ADS) 及びランダムに学習データを抽出する Random Data Selection (RDS), 語彙頻度に基 づくカリキュラム学習であるVocab CL[12]を設定す る. VocabCL は，カリキュラム学習の研究の初期に おいて提案された手法であり, 単純な FFN 層から構成されるニューラルネットワークに基づく N-gram 言語モデルの訓練効率化に有効であることが報告さ れている. Vocab CL ではコーパス中での頻度を基 に語彙をランキングしたのち, 最初のステージで低頻度語彙 (希少語彙)を含まない学習データを抽出し てモデルに与える.

LDA のトピックサイズは 50 に設定し，TEDS 及 び RDS において抽出する学習データサイズは，全 データの $25 \%$ とする．また，VocabCLでは，低頻度語彙の定義を下位 $10 \%$ の頻度の語彙とすることで, TEDS 及び RDS と同等程度のデータサイズである約 $27 \%$ の学習データを抽出する. 訓練安定性を評価す るために，各モデルに対して異なるランダムシード を用いて 5 回ずつ事前学習を行う。総トレーニング ステップ数は 10 万回とし, 5 万トレーニングステッ プで全学習データに訓練を移行させる. 事前学習を 行った各モデルの汎化性能の計測には, GLUE ベン チマーク [19] における 9 つの下流タスクを採用す る. ここで, TEDS の後半の訓練において, 全学習 データを追加する効果を検証するために，全学習 データに訓練を移行させないモデルの汎化性能も評価する. PLM のファインチューニングに関しても，異なる 3 つのランダムシードで訓練を行ったのち，各下流タスクの平均スコアを評価する。全てのモデ ルに共通のモデルアーキテクチャとして，12 層と 12 個の注意ヘッドから構成される RoBERTa-base ${ }^{3)}$ を用いる.トークナイザの訓練により獲得された 語彙数は 29,833 であり, モデルの入力トークン数 は 128 ，ミニバッチ数は 64 とする. マスキング率は 15\%に設定し, 最適化手法として, AdamW[20] を使用する.

## 4.2 実験結果

## 4.2.1 訓練安定性の評価

図 2 に TEDS とベースラインの学習曲線を示す.図 2a からわかるように, ADS と RDS の検証損失は 少しずつ減少し続けているものの，ADS における一度の訓練を除いて，全ての訓練で検証損失が高止ま りした.また，Vocab CL を用いたモデルについて も，他のベースラインと同様に TEDS のような急激 な検証損失の減少は確認されなかった (図 2b). 一方 で，TEDS を用いたモデルでは，どの訓練において も，検証ロスが 2 万トレーニングステップ付近で安定的に減少した.これらの結果は, TEDS により, PLM の訓練安定性が通常の学習よりも大幅に向上 することを示している. 更に，RDSを用いたモデル の訓練安定性が向上していないことから，ランダム

(a) TEDS, ADS and RDS

(b) TEDS and vocab CL

図 2: 提案手法とベースラインの学習曲線の比較

表 1：各モデルの GLUE ベンチマークスコアの比較．太字は各タスクの最高値を示す．QQPでは F 値を，CoLA についてはマシューズ相関係数を，それ以外のタスクについてはアキュラシーを それぞれ報告している。

にデータサイズを削減するだけでは不十分であり, トピックエントロピーの高い学習サンプルを選択す ることが重要であることがわかった.

## 4.2.2 汎化性能の評価

表 1 に各モデルの GLUE スコアの比較を示す. TEDS を用いたモデルは WNLI を除く全ての下流タ スクにおいて最高值を達成し, 全タスクの平均値 において，ベースラインを 3 ポイント以上上回っ た. このことから，TEDS により安定した事前学習 を行ったモデルは汎化性能も向上することが確認 された. ベースラインでは，ADS が最も良いスコ ア(58.06)を達成し，RDS と Vocab CL をわずかに上回る結果となった. 更に，TEDS では，全学習デー タを追加学習するモデル (TEDS w/ all data) の方が,全学習データを追加学習しないモデル (TEDS w/o all data) と比較して， 7 つの下流タスクにおいて高いス コアを獲得し, 平均スコアで約 0.9 ポイント上回っ た. 訓練安定性の評価では，はじめから全データを 用いることは初期の学習の安定性を損なうことが確認された。一方で，今回の結果から，トピックエン トロピーが高い学習サンプルを選択することで初期 の訓練を安定化させた場合，後半の訓練で全ての学習データを用いて追加学習することが汎化性能の向上にとって好ましいことが確かめられた.

## 5 まとめ

本稿では，事前学習言語モデルの訓練安定性を向上させる新しいデータ選択手法である TEDS を提案 した. TEDS では，テキストに含まれるトピックの 多様性指標であるトピックエントロピーに基づい て学習データを抽出し，2 段階の事前学習を行う. WikiText-103 を用いた実験の結果，TEDS を用いた モデルはベースラインよりも訓練安定性が大幅に高 くなることがわかった. また，GLUE ベンチマーク を用いた汎化性能の評価においても，TEDS に基づ くモデルが平均スコアでベースラインを大きく上回 ることが示された. 今後の課題として，本手法をよ り大規模なコーパスを用いた訓練に応用することが 期待される。

## 謝辞

本研究は, 国立研究開発法人科学技術振興機構 (JST) による次世代研究者挑戦的研究プログラムの 支援を受けて実施されたものです.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, volume 1, pages 4171-4186, 2019.

[2] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019. [arXiv:1907.11692].

[3] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. ALBERT: A lite BERT for self-supervised learning of language representations, 2020. [arXiv:1909.11942].

[4] Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf. DistilBERT, a distilled version of bert: smaller, faster, cheaper and lighter, 2019. [arXiv:1910.01108].

[5] Elena Voita, David Talbot, Fedor Moiseev, Rico Sennrich, and Ivan Titov. Analyzing multi-head self-attention: Specialized heads do the heavy lifting, the rest can be pruned. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 5797-5808, 2019.

[6] Adrian de Wynter and Daniel J. Perry. Optimal subarchitecture extraction for bert, 2020. [arXiv:2010.10499].

[7] Sainbayar Sukhbaatar, Edouard Grave, Piotr Bojanowski, and Armand Joulin. Adaptive attention span in transformers. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 331-335, 2019.

[8] Kevin Clark, Minh-Thang Luong, Quoc V Le, and Christopher D Manning. Electra: Pre-training text encoders as discriminators rather than generators, 2020. [arXiv:2003.10555].

[9] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R Salakhutdinov, and Quoc V Le. Xlnet: Generalized autoregressive pretraining for language understanding. In Advances in Neural Information Processing Systems, volume 32, 2019.

[10] Koichi Nagatsuka, Clifford Broni-Bediako, and Masayasu Atsumi. Pre-training a BERT with curriculum learning by increasing block-size of input text. In Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2021), pages 989-996, 2021.

[11] Ameeta Agrawal, Suresh Singh, Lauren Schneider, and Michael Samuels. On the role of corpus ordering in lan- guage modeling. In Proceedings of the Second Workshop on Simple and Efficient Natural Language Processing, pages 142-154, 2021.

[12] Yoshua Bengio, Jérôme Louradour, Ronan Collobert, and Jason Weston. Curriculum learning. In Proceedings of the 26th Annual International Conference on Machine Learning, page $41-48,2009$.

[13] Jae-Ho Lee and Yoichiro Hasebe. Readability measurement of japanese texts based on levelled corpora. The Japanese Language from an Empirical Perspective, pages 143-168, 2020.

[14] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In Advances in Neural Information Processing Systems, volume 33, pages 1877-1901, 2020.

[15] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, 21(140):1-67, 2020.

[16] Conglong Li, Minjia Zhang, and Yuxiong He. Curriculum learning: A regularization method for efficient and stable billion-scale gpt model pre-training, 2021. [arXiv:2108.06084].

[17] Stephen Merity, Caiming Xiong, James Bradbury, and Richard Socher. Pointer sentinel mixture models, 2016. [arXiv:1609.07843].

[18] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAI blog, 1(8):9, 2019.

[19] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pages 353-355, 2018.

[20] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization, 2017. [arXiv:1711.05101].