# 旅行記中の場所に対する訪問状態の予測

大友寛之 ${ }^{1}$ 東山翔平 ${ }^{2,1}$ 大内啓樹 1,3
山本和太郎 ${ }^{1}$ 井手佑翼 1 進藤裕之 ${ }^{1}$ 渡辺太郎 ${ }^{1}$
1 奈良先端科学技術大学院大学 2 情報通信研究機構 ${ }^{3}$ 理化学研究所
\{otomo.hiroyuki.ob7, hiroki.ouchi, yamamoto. aitaro.xv6\}@is.naist.jp
\{ide.yusuke.ja6, shindo, taro\}@is.naist.jp, shohei.higashiyama@nict.go.jp

## 概要

本研究では，文章中の「場所」纪書き手が訪れた かどうかを推定する問題に取り組んだ.まず，旅行記に訪問状態のアノテーションを行い，小規模な データセットを構築した. 複数人でアノテーション を行った結果，作業者間で高い一致率が確認され た.さらに，構築したデータセットを用いて訪問状態を予測するモデルを構築し，その性能を評価し た. 分析の結果, モデルは訪問状態の手がかりとな るトークンに注意を向けていることがわかった。

## 1 はじめに

人がある場所を訪れ，その場所での経験を経った 文章がウェブ上に蓄積されている。こうした情報を 整理することによって多様な応用への道が拓ける。例えば，観光地を実際に訪れた観光客の感想を自動 で整理できれば，観光地推薦や旅行計画支援への応用が期待できる.

そこで本研究では，人が訪れた場所の情報を文章 から抽出する問題に取り組む．特に，書き手の行動 を正確に読み解き，場所に対する訪問状態（訪れた，訪れていない，訪れる予定，など）を判定すること 亿焦点を当てる。例えば「近鉄奈良駅敃到着！」と いう実体験に関する記述があった場合，書き手は 「近鉄奈良駅」を実際に訪れたと判断できる。一方， $「 \mathrm{JR}$ 奈良駅は近鉄奈良駅から少し離れたところにあ ります」のような記述の場合，書き手がこれらの場所を訪れたことを必ずしも意味しない。

人が訪れた場所の情報は，GPS データを活用する ことでも取得できる。しかし文章には，場所を訪れ た状況や目的，感想など，GPSでは取得困難な情報 も含まれる. 将来的には，こうした情報も同時に取得することを見据え，文章を解析対象とする。

まず，訪問状態予測モデルの学習・評価のため,

図 1 アノテーションの概略図

場所を参照する表現（場所参照表現）に対する訪問状態のアノテーション方針を策定し, 複数の作業者 でアノテーションを行った. 作業者間一致率は F1 値 0.8 前後と比較的高い值となった.

次纪，そのアノテーションを用いて，訪問状態予測モデルの構築・評価を行った. モデルの予測精度 は $\mathrm{F} 1$ 値 0.6 程度であり，作業者の一致率を考えると 改善の余地があることが示唆された. より詳しい分析として，モデルが訪問状態を予測する際に，入力文中のどのようなトークンに注意を向けているか調查した. その結果，例えば「到着」のように，訪問 に関連するトークンに注意を向けており，人間の直感的な判断と類似する可能性が示唆された。

## 2 旅行記データセットの構築

## 2.1 アノテーションの概要

本研究では, 国内外の実際の旅行についての旅行記である「地球の歩き方旅行記データセット」 $[1,2]$ の一部の国内旅行記記事に対して, 図 1 亿示すよう 亿, 場所参照表現の同定 (図中の楛囲み文字)，場所参照表現の言及間の共参照関係の付与（矢印），訪問状態のラベル付与（赤・橙色文字）を行った.
表 1 場所参照表現の言及に対する訪問状態の種類

 \\

場所参照表現・共参照関係 訪問状態のラベルを 付与する前に，文章に出現する場所参照表現のスパ ンを同定した. 場所参照表現として認定する対象 は，「近鉄奈良駅」のような固有名詞に加え，「駅」の ような一般名詞も含む. また，場所参照表現の言及間に対して共参照関係の情報の付与を行った。これ により，訪問状態予測の評価において，言及単位だ けではなく，共参照関係にある言及のクラスタ（以下，共参照クラスタ）単位での評価が可能となる.

訪問状態 訪問状態のアノテーションは，場所参照表現の言及単位と共参照クラスタ単位の二通り のパターンで行った. 共参照クラスタ単位の訪問状態は，文章の書き手が最終的にその場所を訪問した かどうかに対応する．言及単位の訪問状態は，該当 する言及の時点で書き手がその場所を訪問してい たかどうかに対応し, 共参照クラスタの訪問状態の 根拠にもなり得る. 例えば，「久々の近鉄奈良駅で す。」のような言及を根拠として，書き手が「近鉄奈良駅」に訪れたという判断が成立し得る.

表 1 に，言及に対する訪問状態の種類を示す. 各 ラベルの事例は付録 A に記載する. 各言及に対して アノテーションする際は，言及が出現する文内情報 を基にラベルを付与する方針を設けた。なお，「訪 れた」のような述語に対してではなく,「近鉄奈良駅」のような名詞句に対して訪問状態のラベルを付与した理由は，「近鉄奈良駅へ。のように，述語の 省略がしばしば起こるためである.

表 2 に，共参照クラスタに対する訪問状態の種類 を示す. 各共参照クラスタに対してアノテーション する際は，記事全体を考慮してアノテーションを行 う方針とした。そのため，共参照クラスタに含まれ表 2 共参照クラスタに対する訪問状態の種類

表 3 訪問状態のラベルの作業者間一致率

る言及にVisitが付与されていなくても，共参照ク ラスタに対してVisitが付与される場合がある。

## 2.2 構築したデータセットの統計

2.1 節のアノテーション方針を基に，旅行記 5 記事に対して著者らでアノテーションを行い，486文 からなる旅行記データセットを構築した. 場所参照表現の言及数は 684 件含まれ，各共参照クラスタ内 の言及数は平均 1.52, 標準偏差 1.06 であった.

また， 5 記事に含まれる一部の言及および共参照 クラスタに対して，各文につき 2 名の作業者でア， テーションを行い，訪問状態のラベルの作業者間一致率を測定した。一致率測定の対象となった言及の 数は 180 ，共参照クラスタの数は 124 である。一致率評価には，F1 値のマイクロ平均値 (micro F1), F1 值のマクロ平均値 (macro F1), Cohen's Kappa ( $\kappa$ ) [3] を用いた。表 3 に示すように，言及単位では micro F1, macro F1 ともに 0.82 程度という比較的高い一致率であり，共参照クラスタ単位ではそれらを下回る 一致率となった。一致率の詳細は付録 B に示す.

## 3 実験設定

## 3.1 正解スパン設定

一つ目の正解スパン設定では，入力文と，その文中に出現する場所参照表現のスパンが所与のもと，各スパンの訪問状態を予測する．本設定における訪問状態の予測方法は以下の通りである。まず，文 に含まれるトークン列を $\left.\{X_{1}, X_{2}, \ldots, X_{n}\right.\}$ として，事前学習済みエンコーダ BERT [4] ${ }^{1)}$ を用いて各トー クンに対応するべクトル表現 $\left.\{H_{1}, H_{2}, \ldots, H_{n}\right.\}$ を得 る. 文中に出現する場所参照表現 $m$ のトークン列

を $\left.\{H_{i}, H_{i+1}, \ldots, H_{i+k}\right.\}$ としたとき, 各トークンに対応 するべクトル表現の平均を取ることで， $m$ のべクト ル表現 $H^{\prime}$ を得る。そして， $H^{\prime}$ をフィードフォワー ドネットワークに入力し，訪問状態を予測する.

言及単位での評価に加えて，言及間の共参照関係 を所与として共参照クラスタ単位での評価も行っ た。言及単位でのモデルの予測を基に，次のルール を用いて共参照クラスタ単位での予測を行った。

1. 共参照クラスタ内の少なくとも一つの言及に対 してVisitと予測していれば，Visitとする.

2. Visit と予測した言及が一つもなく, VisitPossibly もしくは PlanToVisit と予測 した言及が一つでもあれば，Unknownとする。

3. Visit, VisitPossibly, PlanToVisit と予測し た言及が一つもない場合，NotVisitとする.

## 3.2 End-to-End 設定

二つ目の End-to-End 設定では，場所参照表現の同定および訪問状態の予測を同時に行う．系列ラベリ ングに基づく一般的な固有表現抽出と同様に，トー クンごとにB-Visit や I-Visit のような BIO 形式の タグを予測する.

旅行記データセットは, 場所参照表現の同定を学習するにはデータ量が不十分である可能性がある. そこで，場所参照表現の同定精度向上を目的とし て，拡張固有表現タグ付きコーパス [5] を用いて事前に BERT をファインチューニングした. 本実験で は，同コーパスに付与されている「関根の拡張固有表現階層」[6]（Version 7.1.0）の固有表現ラベルの うち，地名・施設名のラベルが付与された固有表現 （つまり，場所参照表現）のみを対象とし，同コーパ スを学習用と評価用に分割した ${ }^{2)}$. ファインチュー ニングの結果，評価データでの場所参照表現の同定精度（F1 値）は 0.829 であった。

## 3.3 データセット

訪問状態予測の実験には, 本研究で構築した旅行記データセットを用いた. 正解スパン設定では，前述の通り，言及間の共参照関係を所与とし，共参照単位での評価も行う. そのため, 共参照クラスタ内 の言及を含む文の集合単位で旅行記データセットを およそ 8 対 1 対 1 の比率で訓練，開発，評価データ に分割した. End-to-End 設定では共参照単位での評
 49,440，場所参照表現の言及数は 13,242 個であった.表 4 正解スパン設定の結果

表 5 End-to-End 設定の結果

価を行わない3)ため，文単位で分割した。

また，言及単位での評価において，アノテーショ ンされたラベルをそのまま使用する 7 ラベル設定 に加えて，訪問の有無に注目してラベルをグルーピ ングした 2 ラベル設定での評価も行った. 具体的 には, Visit, VisitPossibly, PlanToVisitをVisit に，他のラベルを NotVisitにグルーピングした.

## 4 実験結果

表 4 に，正解スパン設定の結果（各指標はマクロ 平均）を示す. 表 3 に示した作業者間一致率（macro F1）と比べ， 7 ラベル設定の $\mathrm{F} 1$ 值は 0.2 程度低い.原因として，旅行記データセットの学習データが少量かつラベルが不均衡なデータであったため, モデ ルが十分に学習できなかったことが考えられる。ま た，言及単位よりも共参照クラスタ単位での予測精度が低い理由として, 記事内の大域的な内容を基に 共参照クラスタの訪問状態が決まるケースに対し, 3.1 節のルールでは対応できなかったことが挙げら れる。例えば，「奈良県」を訪問したと明示的に言及せず，「近鉄奈良駅」を訪問したと言及している 場合，「近鉄奈良駅」が位置する「奈良県」にも訪問 したと推論できるが，使用したルールでは正しく予測することができない.

また，End-to-End 設定の結果（各指標はマイクロ 平均）は表 5 の通りとなった. 7 ラベル設定よりも 2 ラベル設定のほうが $\mathrm{F} 1$ 值が 0.18 程度高い理由は, ラベルをグルーピングすることで，事例数が少ない ラベルが減り, データの不均衡性がある程度解消さ れたためと考えられる。

## 5 分析

本節では，正解スパン設定の訪問状態予測モデル に対する分析結果を報告する。

表 6 Integrated Gradients に基づく寄与度.下線部は訪問状態の予測対象となるスパンを表す.（例文は [1] より引用）

正解 予測 (確率) 入力文

(a) Visit Visit(0.92) [CLS] 別府 駅 に到着しました。 [SEP]

(b) See See (0.67) [CLS] 展望 塔 から は遠く日本海に浮かぶ 利 \#\#尻 \#\#富 \#\#士（利 \#\#尻島）を眺望します。[SEP]

(c) Visit Other (0.95) [CLS] 宿泊 は、大神神社 $の$ 早朝参拝 に 便利な、ルート\#\#イン 桜井駅前にしました。[SEP]

表 7 正解スパン設定の結果（場所参照表現マスク時）

Integrated Gradients モデルが訪問状態を予測 する際，入力文中のどのトークンに対して注意 を向けているかを調べた. 具体的には, Integrated Gradients [7]（captum [8] で実装されている Layer Integrated Gradients ${ }^{4)}$ ）を基に，BERT の埋め込み層 における予測への寄与度をトークン位置ごとに計算 した. 表 6 は, 分析結果の可視化であり, 寄与度が 高いトークンほど濃くハイライトされている. 訪問状態を正しく予測できた (a)と (b)を見ると，訪問や 視認に関連する動作性名詞「到着」,「眺望」やそれ らに付随する助動詞「ます」, 副詞「遠く」などの寄与度が高いことがわかる. 一方，訪問状態を正しく 予測できていない (c)では，文中のトークン全体へ の寄与度が高くなっていることがわかる. 訪問状態 の判定のために文全体を読み解く必要があるような 例で，適切なトークンに注目して正しく予測するこ とが難しかった可能性がある.

場所参照表現のマスク 正解スパン設定において 所与とした場所参照表現の表層情報が，モデルの予測にどのように影響を与えているかを調べた. 具体的には，訪問状態の予測対象となる場所参照表現の 各トークンを [MASK] に置き換え，学習および評価 を行った。言及単位での評価結果を表 7 に示す. 7 ラベル設定では場所参照表現をマスクすることで正解率が 0.03 程度低くなっているが， 2 ラベル設定で はマスクしても同等の結果となった. 以上より，詳細なラベルを予測する設定では表層情報も手がかり として有用であることが示唆された。

4) https://captum.ai/api/layer.html\#

layer-integrated-gradients

## 6 関連研究

場所参照表現抽出 $[9,10,11]$ は，固有表現抽出の 特殊なケースであり，実世界上の特定の地点を指す 表現を文章中から抽出することを目的としている. これら従来研究では，文章の書き手が訪問したかと いう観点での解析は行っていない.

Li ら [12] は，ツイートを対象に，言及単位での場所参照表現の抽出とその訪問状態（訪れた，現在い る，訪れる予定である）の予測を行った. 同一の場所を指す場所参照表現が，1ツイート内に異なる訪問状態として複数回出現することは稀と考えられる ため，本研究のように共参照クラスタ単位での解析 を行うには，長さのある文章が適している.

大友ら [13] は，KNBコーパス [14] に対して，場所参照表現とその訪問状態のアノテーションを行っ た. アノテーション対象となった記事は，京都観光 をテーマに大学生により執筆されたブログ記事であ る.そのため，書き手の属性や記述内容に偏りがあ り, 観光地の一般的な説明や日常的な出来事の描写 など，旅行以外の記述も多く含まれる。

## 7 おわりに

本研究では，人が訪れた場所の情報を文章から抽出する問題に取り組んだ。 場所参照表現に訪問状態 を付与したデータセットを構築し，訪問状態予測の 実験を行った. モデルの予測精度は作業者間一致率 を下回り，学習データが少量かつ不均衡であること が難しさの原因であったと考えられる。また，分析 の結果，文全体を読み解く必要がある事例におい て，人間と異なり，単純な BERT ゙゙ースのモデルで は適切な判定が難しいという示唆が得られた. 今後，アノテーションデータの増量や，場所に紐づい た意味的な情報の抽出に取り組む予定である.

## 謝辞

本研究は JSPS 科研費 JP22H03648 の助成を受けた ものである.

## 参考文献

[1] 株式会社地球の歩き方. 地球の歩き方旅行記 データセット, 2022. 国立情報学研究所情報学研究データリポジトリ. (データセット). https://doi.org/10.32130/idr.18.1.

[2] 大内啓樹, 進藤裕之, 若宮翔子, 松田裕貴, 井之上直也, 東山翔平, 中村哲, 渡辺太郎. 地球の歩き方旅行記 データセット. 言語処理学会第 29 回年次大会, 2023.

[3] Jacob Cohen. A coefficient of agreement for nominal scales. Educational and Psychological Measurement, Vol. 20, pp. 37-46, 1960.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] 橋本泰一, 乾孝司, 村上浩司. 拡張固有表現タグ付 きコーパスの構築. 情報処理学会研究報告自然言語処理, Vol. 2008, No. 113 (2008-NL-188), pp. 113-120, 2008.

[6] Satoshi Sekine. Extended named entity ontology with attribute information. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Morocco, May 2008. European Language Resources Association (ELRA).

[7] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic attribution for deep networks. In Proceedings of the 34th International Conference on Machine Learning - Volume 70, ICML'17, pp. 3319-3328. JMLR.org, 2017.

[8] Narine Kokhlikyan, Vivek Miglani, Miguel Martin, Edward Wang, Bilal Alsallakh, Jonathan Reynolds, Alexander Melnikov, Natalia Kliushkina, Carlos Araya, Siqi Yan, and Orion Reblitz-Richardson. Captum: A unified and generic model interpretability library for PyTorch, 2020. arXiv: 2009.07896 [cs.LG].

[9] Koji Matsuda, Akira Sasaki, Naoaki Okazaki, and Kentaro Inui. Annotating geographical entities on microblog text. In Proceedings of The 9th Linguistic Annotation Workshop, pp. 85-94, Denver, Colorado, USA, June 2015. Association for Computational Linguistics.

[10] Zongcheng Ji, Aixin Sun, Gao Cong, and Jialong Han. Joint recognition and linking of fine-grained locations from tweets. In Proceedings of the 25th International Conference on World Wide Web, WWW '16, p. 1271-1281, Republic and Canton of Geneva, CHE, 2016. International World Wide Web Conferences Steering Committee.

[11] Pei Chen, Haotian Xu, Cheng Zhang, and Ruihong Huang.
Crossroads, buildings and neighborhoods: A dataset for fine-grained location recognition. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 3329-3339, Seattle, United States, July 2022. Association for Computational Linguistics.

[12] Chenliang Li and Aixin Sun. Fine-grained location extraction from tweets with temporal awareness. In Proceedings of the 37th International ACM SIGIR Conference on Research \& Development in Information Retrieval, SIGIR'14, p. 43-52, New York, NY, USA, 2014. Association for Computing Machinery.

[13] 大友寛之, 大内啓樹, 星野智紀, 井手佑翼, 渡辺太郎.訪問場所表現グラウンディングのためのアノテー ション. 言語処理学会第 28 回年次大会, 2022.

[14] 橋本力, 黒橋禎夫, 河原大輔, 新里圭司, 永田昌明. 構文・照応・評価情報つきブログコーパスの構築. 自然言語処理, Vol. 18, No. 2, pp. 175-201, 2011.

## A 訪問状態の各ラベルの事例

表 8 言及に対する訪問状態のラベルと事例（[1] より引用).下線部はラベル付与の対象となるスパンを表す.

 \\

表 8 は，言及に対する訪問状態の各ラベルの事例である. Visit-Future については, 本研究でアノ テーション対象となった旅行記 5 記事において，付与された事例が確認されなかった. なお，各ラベル の定義は表 1 の通りである.

## B 訪問状態のアノテーションー致率の詳細

図 2 各言及へ訪問状態を付与した際の混同行列

図 3 各共参照クラスタへ訪問状態を付与した際の混同行列

図 2 は，複数の作業者によって，言及へ訪問状態 のラベルを付与した際の混同行列を表している。ま た，図 3 は共参照クラスタに関する混同行列を表し ている.


# 震災アーカイブと震災アーカイブ web に関する概念モデルの作成

齋藤玲 ${ }^{1, *}$ 大内啓樹 ${ }^{2,3}$ 羽鳥康裕 ${ }^{4}$ 邑本俊亮 ${ }^{1}$ 杉浦元亮 ${ }^{1,5}$ 塩入諭 ${ }^{4}$ 柴山明寛 ${ }^{1}$
${ }^{1}$ 東北大学災害科学国際研究所 ${ }^{2}$ 奈良先端科学技術大学院大学 ${ }^{3}$ 理化学研究所
${ }^{4}$ 東北大学電気通信研究所 ${ }^{5}$ 東北大学加齢医学研究所
*責任著者 : ryo@tohoku. ac. jp
\{hatori, motoaki. sugiura. d6, satoshi. shioiri.b5\}@tohoku. ac. jp
\{muramoto, shibayama\}@irides. tohoku. ac. jp hiroki. ouchi@is. naist.jp

## 概要

将来の巨大地震の発生に先立ち, 震災アーカイブ 並びに震災アーカイブwebを有効に利活用していく ことが，一人でも多くの人の命を救い，心を助ける ことにつながっていくに違いない。この有効な利活用を促進するために, 本研究では, 震災アーカイブ web として，既存の資料を整理する形で，国立国会図書館東日本大震災アーカイブ「ひなぎく」の特徴 をまとめた. 併せて, 本研究では, 震災アーカイブ 並びに震災アーカイブwebの様態把握と将来の展望 のために，概念モデル（震災に関する情報の収集， アーカイブ，検索までのプロセスを示したフィード バックモデルと，検索性と収集性の二軸を掛け合わ せた象限モデル）を作成，提案した。

## 1 はじめに

東日本大震災（2011 年 3 月 11 日に発生した巨大地震）に代表されるように，震災に関するあらゆる 情報が有志によって収集されてきた。次いで，それ らの収集された情報は, 恒久的な保存を目的として， アーカイブ化が試みられてきた。 さらに，そのアー カイブされた情報（以下，震災アーカイブ）は，情報テクノロジーの進展に伴い, web サイト上に公開 されてきた. 今後, 必ず起こると予測されている巨大地震（例えば，南海トラフ巨大地震）に先立ち,震災アーカイブ並びに震災アーカイブwebをいかに 利活用していくかが，一人でも多くの人の命を救う ことや, 心を助けることにつながるに違いない $[1,2]$. しかしながら, 予算や人員の削減に伴い, 現在,一部の web サイトは既に閉鎖されている。また, 我 が国の少子高齢化による生産人口の減少や，世界的 な情勢の不安定感は, 震災アーカイブ web の閉鎖の 加速を予測させる.
このような最中でも，国立国会図書館が運営する 「国立国会図書館東日本大震災アーカイブ（愛称： ひなぎく)」[3]が，各種の震災アーカイブ web と連携し，震災アーカイブの延命を図ってきた。これま でに「ひなぎく」は 51 機関と 57 のデータベースの 震災アーカイブ並びに震災アーカイブweb と連携し てきた。また，その連携は年を追うごとに増加して いる[2].「ひなぎく」は，震災アーカイブ web の中心的な役割を担っており，我が国の震災アーカイブ の集合体の一つであるといってもよいだろう.

我が国の震災アーカイブ並びに震災アーカイブ web の傾向や特徴を知るためには，「ひなぎく」の 特徴を整理することが有効であろう。本研究では, まずはこの整理を実現し, 現状を把握する. 同時に,二つの概念モデル (一つが震災に関する情報の収集, アーカイブ，情報検索までのプロセスモデル [フィ ードバック機能を持つことから，フィードバックモ デルと命名する， 二つが情報の検索性と収集性と を組み合わせた象限モデル）を作成することで，震災アーカイブ並びに震災アーカイブ web の将来を展望する。これらの整理とモデルの作成は，今後，い かに震災アーカイブ並びに震災アーカイブwebを利活用していくかを意思決定していくうえで，大きな ヒントを与えてくれるだろう。

## 2 震災アーカイブと web の概要

## 2.1 「ひなぎく」とは

「ひなぎく」とは，東日本大震災に関する記録を 一元的に検索・閲覧・活用できるポータルサイトで ある[2]. ただし, webサイトには, 東日本大震災以外の震災（例えば，阪神・淡路大震災）に関する情報もアーカイブされている．検索できる項目のメタ データ数は，459 万件であり，コンテンツは図書,
雑誌・報告書，文書・ウェブサイト・写真，映像・動画とされている[2].

## 2.2 各年に関する項目の数の違い

図 1 に「ひなぎく」に収録されている項目がどの 年に関するものなのかを示した. 項目の数は東日本大震災が起きた 2011 年に集中し, それ以降, 急激に 減少していることがわかる. 2016 年に項目数が増加 しているが，これは東日本大震災ではなく熊本地震 に関する項目の数があることによる影響であろう. その後, 項目の数は, 2019 年に一時的に増加するも のの, 減少傾向が続いている.

図 1 各年に関する項目の数

Note. 2023 年 1 月 10 日に「ひなぎく」の検索システム[3]から データを取得した. これら以外の年に関する項目は取得しな かった．集中復旧期間とは 2012 年から 2016 年までであり，復興・創生期間とは 2017 年から 2021 年までである $[4,5]$.

## 2.3 各都道府県に関する項目の数の違い

図 $\mathbf{2}$ に「ひなぎく」に収録されている項目がどの 都道府県に関するものなのかを示した. 東北地方を 中心に項目数が多いことがわかる. 項目の数は, 大 きな被害を受けた地域からの距離によって減衰して いくことがわかる（いわゆる「距離減衰」を確認す ることができる）。なお, 兵庫県において項目数が 多いことが視認できるが, これは阪神・淡路大震災
に関する項目の数が影響しているのだろう.

## 2.4 検索システム

「ひなぎく」のトップページにある検索システム は, 三つ（簡易検索，詳細検索，カテゴリ検索）あ る[3]. 一つ目の簡易検索とは, キーワードを入力す るものである。二つ目の詳細検索とは, キーワード の対象 (本文も検索する, 本文のみ検索する, 本文 は検索しない) を選択できたり, 日付や資料種別 (文書資料, Web サイト, 写真, 音声 - 動画, その他) を選択できたりするものである. 三つ目のカテゴリ 検索とは，資料種別，場所（都道府県）, 日付（西暦），言語などを選択できるものである.

また「ひなぎく」のページには，「ひなぎく」の 使い方講座に関する動画がある．加えて，「ひなぎ く検索ツール」も用意されている。この「ひなぎく 検索ツール」では, 例えば東日本大震災被災地の記憶やテーマ別検索といったものが用意されている.

図 2 各都道府県に関する項目の数 Note. 2023 年 1 月 10 日に「ひなぎく」[3]から取得した.

## 3 概念モデル

ここでは，東日本大震災の発生した年から現在ま でに，震災に関する情報が収集され，その収集され た情報がアーカイブされ, 震災アーカイブ web にお いて検索されるまでのプロセスを説明するためのモ デルを提案する（図 3）。これを震災アーカイブ並 びに震災アーカイブwebに関するフィードバックモ デルと呼ぶ.
同時に，ここでは検索性（震災アーカイブ web に おいて検索可能かどうか）と収集性（震災に関する 情報として収集しているかどうか）の二つの観点を 掛け合わせた象限モデルを提案する（図 4）.これ を震災アーカイブ並びに震災アーカイブwebに関す る象限モデルと命名する.

## 3.1 フィードバックモデル

フィードバックモデル（図 3）では，三つのフェ 一ズを想定する．各フェーズは「（フェーズ A）情報の収集」，「（フェーズ B）収集された情報のア 一カイブ化」, 「（フェーズ C) 検索」となる. 震災といった有事の事態が発生すれば，人々は情報の 収集を行う（フェーズ A）。その後，その収集され た情報を，特定の組織が永年保存するためにアーカ イブ化する（フェーズ B）。そして，特に昨今の情報テクノロジーの進展に伴って, それらアーカイブ された情報は web において検索可能となる（フェー ズ C）。このプロセス間には，情報収集から収集さ れた情報のアーカイブ化（ステップ 1）と，アーカ イブ化された情報を検索可能とする（ステップ 2) といった二つのステップを想定する。 さらに，この モデルでは, フェーズ $\mathrm{C}$ からフェーズ $\mathrm{A}$ に戻るフィ ードバックをステップ 3 として想定する.

このフィードバックを機能させるために，さまざ まな工夫を凝らすことが, 震災アーカイブ並びに震災アーカイブ web の利活用の推進につながり，ひい ては一人でも多くの命を救い，心を助けることにつ ながると考えている.ここでのさまざまな工夫を凝 らすこととは, 例えば震災アーカイブ web の検索シ ステムを改良することであり，また震災アーカイブ web を使用する人々が震災アーカイブのなかに自分 たちが必要とする情報があるかどうかを判断できる ことである.

特に前者の震災アーカイブ web の検索システムを 改良するためには，奇しくも東日本大震災以降に目覚ましい進歩を遂げた自然言語処理技術を応用する ことが求められよう. 具体的に, どのような検索シ ステムを構築していくかについては, 有識者との議論をもとに推進していきたい.

次に, 改良された検索システムを，震災アーカイ ブを利活用したい人々が使用することで，検索シス テムのユーザビリティを評価するだけでなく, 実は 自分たちが欲しい情報は, まだ震災アーカイブとし て保存されていないという判断ができるようになる.
そして，この判断を経ることができれば，震災に関 する情報を収集することを自覚し，新たに必要な情報を収集するための行動を促すことになる。これが 本研究で提案するフィードバックモデルのフィード バックという構成要素を想定することの意義である.

\section*{(C) retrieval STEP2 STEP3 feedback process

図 3 フィードバックモデル

## 3.2 象限モデル

ここでは, 検索性と収集性という観点に基づく象限モデルを提案する（図 4）。このモデルは，上記の フィードバックモデル（図 3）において，自分の欲 しい情報があるかどうか，ないのであれば情報を新 たに収集する必要があると判断するというプロセス で議論されている情報の種類を俯瞰するのに役立つ.

図 4 では，横軸にアーカイブ（永年保存）されて いるか否か，縦軸に収集されているかどうかを示し ている. 第一象限は検索可能な情報, 第二象限は将来検索可能な（可能とされるべき）情報, 第三象限 は，情報収集を経て，将来検索可能にされるべきも のを意味する. 第四象限は検索されるが情報収集が されていない情報と定義できるが，存在しえない情報であるといえよう.

少なくとも，震災アーカイブ webにおいて，検索可能な情報でないと判断できれば，象限モデル（図 4) 中の第二象限か第三象限に属する情報であると判断できる。たしかに震災アーカイブ webには大量の 情報が保存されているものの，そこにはユーザーが 求める情報がないかもしれない，そのときの判断は ユーザーに委ねられるが，震災から十数年が経過し ても，いまだに情報の収集を続けているもの，続け るべきものがあるはずである.例えば, 第一著者は,東日本大震災直後だけではなく, 震災から十数年が 経過した現在でも続く学校における子どもに対する 心理的配慮や心のケア（以下，配慮・ケア）に関す る記録を集めてきた[6].

この事例に限らずとも, 震災アーカイブとして残 されているものなのか, それとも残されていないも

のなのかの見極めをしながらも，震災に関する情報 を, 我々は収集していく必要があろう。ただし，こ のとき，その収集された情報が他の情報と重複して いないかどうかについては十分に留意していきたい.

図 4 象限モデル

## 4 まとめ

本研究では, 震災アーカイブ並びに震災アーカイ ブ web の概要を示し, 今後の進展に資するために概念モデルを作成した. このフィードバックモデルは 東日本大震災に限らずとも, 他の有事の際にアーカ イブをよりよくすることにつながるに違いない.

最後に, 本研究の限界を述べる. 本研究では震災 アーカイブ web として, 便宜的にレビューするため に「ひなぎく」のみに絞ってその特徴を整理した。 ただし，震災アーカイブ web として，「ひなぎく」 だけでなく, 例えば「みちのく震録伝」 [7]も存在し，公開されている. 今後, 本研究で提案したフィード バックモデル（図 3）におけるフィードバックルー プを機能させるために，「ひなぎく」に限らずとも，各種震災アーカイブ web の検索システムを改良する こと, そして震災アーカイブ web のユーザーを増や すことで, 震災に関する情報収集, アーカイブ化,検索システムの利活用の促進を図っていきたい。こ のような震災アーカイブ並びに震災アーカイブ web の進展が人の命と心を助けることにつながるだろう。

## 謝辞

「第 1 回災害科学 $\times$ 自然言語処理学 $\times$ 認知科学研究会 (2023 年 1 月 6 日)」にご参加いただいた先生 (奥村誠先生 [東北大学], マス・エリック先生 [東北大学 $]$, 川内淳史先生 [東北大学]）との議論は,今回の原稿の執筆の大きな励みとなった。また「令和 4 年度東日本大震災アーカイブシンポジウム」終了後, 井上佐知子先生 (国立国会図書館電子情報部主任司書）にご質問をさせていただいたところ，研究に対する励ましの言葉をいただいた.第一著者は， ここに記して感謝申し上げます.

本研究は,「ヨッタインフォマティクス研究セン ター・ヨッタインフォマティクス研究センター研究助成（追加）（代表: 齋藤玲）」,「日本心理学会・減災並びに災害からの復興に寄与寸る研究・活動(代表 : 齋藤玲）」,「東北大学災害科学国際研究所. 2022 年度災害レジリェンス共創研究プロジェクト (代表 : 齋藤玲)」,「東北大学附置研究所・2022 年度若手研究者アンサンブルグラント (新規課題) （代表 : 齋藤玲）」の助成を受けたものです.

## 参考文献

[1] 柴山明寛. みちのく震録伝の活動を振り返る一災害科学国際研究所開所 10 年にあたり. 2023. https://www.shinrokuden.irides.tohoku.ac.jp/msrdn wp/wp-content/uploads/2023/01/20230109michino ku.pdf

[2] 井上佐知子. 国立国会図書館東日本大震災ア一 カイブ「ひなぎく」ーこれまでの取り組み一. 2023.https://www.shinrokuden.irides.tohoku.ac.jp/ msrdnwp/wp-content/uploads/2023/01/20230109 NDL.pdf

[3] 国立国会図書館東日本大震災アーカイブ（愛称 : ひなぎく) . https://kn.ndl.go.jp/\#I

[4] 復興庁. 東日本大震災からの復興の基本方針 (平成 23 年 8 月 11 日東日本大震災復興対策本部決定）. 2011. https://www.reconstruction.go.jp/ topics/000056. html

[5] 復興庁. 「復興・創生期間」における東日本大震災からの復興の基本方針（平成 28 年 3 月 1 1 日閣議決定）. 2016. https://www.reconstruc tion.go.jp/topics/ main-cat12/sub-cat12-1/20160311 101245.html

[6] 齋藤玲, 保田真理, 邑本俊亮. 小学校教員によ る東日本大震災に関する子どもたちに対する こころのケアと心理的配慮に関する予察的調查: 2011 年度から 2021 年度にかけての事例の 収集. 日本教育心理学会第 64 回総会. 2022.

[7] みちのく震録伝. https://www.shinrokuden.irides. tohoku.ac.jp/


# 系列ラベリングタスクのための単純なデータ水増し

山崎智弘
東芝研究開発センターAIアナリティクスラボラトリー
tomohiro2.yamasaki@toshiba.co.jp

## 概要

語順が重要な系列ラベリング系のタスクに適用で きる汎用的な水増しとして, cycle と randpad という 新たな手法を提案する. どちらの手法も語順を維持 したまま水増しする点に特徴がある。

2 つのデータセットを対象に，提案手法で水増し したデータで系列ラベリングモデルを学習する実験 を行なった。提案手法は大規模な言語モデルや外部知識がなくても適用できる非常にお手軽な水増しで あるにも関わらず，ベースラインよりも 1 ポイント ほど性能向上したことが確かめられた.

## 1 はじめに

日本の労働人口は少子化のため急速に減少しつつ あり，製造業の現場ではベテランの持っていたノウ ハウの喪失が深刻な問題となっている。製造プラン 卜は数多くの設備や機器から構成されており, 運用・保守では長年の経験が重要なためである.

片や製造業では，日々の業務で起こったトラブル を報告書として記録しておく取り組みがある。そこ で我々はベテランのノウハウを形式知化するため,自然言語処理 (NLP) を用いてトラブル報告書を構造化する技術開発を進めている。報告書にはどんなト ラブルが起こったかだけでなく，どんな対処をした か，その対処で解決したかなども記録されているた め，構造化してトラブルを解決する可能性の高い対処をまとめられれば運用・保守のコスト低減につな がるほか，若手の教育にも役立つと考えられる。

我々は報告書のテキストに含まれるトラブル表現 を教示した訓練データを用意し，ニューラルネット ワークによる深層学習で固有表現抽出 (NER) を行な う方針を取っている．深層学習はコンピュータビ ジョンの分野で発展してきたが, 近年は NLP の分野 でも文書分類，機械翻訳，質問応答などさまざまな タスクで最高性能を達成し続けているためである.

深層学習の性能は一般に, 訓練データの質と量に
よるところが大きいと言われている. しかしトラブ ル報告書は専門知識なしでは理解しづらいうえ，ど こからどこまでをトラブル表現とみなすかは作業者 ごとに摇れが生じやすいため，良質で大量の訓練 データを用意することが難しい。

画像や音声であれば，例えば画像を回転・反転し ても映っている物体は変化しないという知識に基づ いて機械的に訓練データを水増しできるが，NLPで はどのようなドメインの文にも意味を保ったまま機械的に適用できる変換がないため，水増しのアプ ローチは限定的である。

従来よく用いられてきたのは同義語による置換だ が，意味を保つためのヒューリスティクスに頼りが ちである. EDA [1] は単語のランダムな編集を組み 合わせることで単純ながら汎用的な水増しをある程度実現しているが，語順が重要な系列ラベリング系 のタスクには適用が難しい.

$
\begin{aligned}
& \begin{array}{l}
\text { 水増しされた } \\
\text { 文とタグ }
\end{array} \\
& \text { (randpad) }
\end{aligned}
$

図 1 提案手法による訓練データの水増し

そこで我々は，語順が重要な系列ラベリング系の タスクにも適用できる汎用的な水増しとして，cycle と randpad という新たな手法を提案する. cycle は開始位置をシフトしながら各文を何度も繰り返すこと で， randpad は各文の先頭と末尾に適当な単語をラ ンダムに付加することでデータを水増しする．水増 しは学習フェーズの訓練データにだけでなく推定 フェーズの評価データにも適用し，水増しされたそ

れぞれのデータに対する推定結果から元のデータの 推定結果を得る.

以下では cycle と randpad のアルゴリズムを説明 し，一般的な NER の公開データセット (英語) と 我々の持っている電力プラントのトラブル報告書 (日本語) で行なった実験について述べる。これらの 実験の評価結果から，提案手法は非常にお手軽な水増しであるにも関わらず，ベースラインよりも性能向上することを示す.

## 2 関連研究

機械翻訳タスクでは，別言語に翻訳して元言語に 逆翻訳する手法 [2] が水増しとして有効である.し かしトラブル表現は専門用語が多く，うまく機械翻訳できないことも多い.

同義語の置換という観点からは，WordNet [3] のよ うな人手で作られたオントロジーを用いる手法，埋 め込みベクトルが近いものを同義語の候補とする手法 [4] などがある. NER では同じクラスの固有表現 を同義語の候補とすることも行なわれるが，それだ けでは固有表現を含まない文は何も置換できないの で他の手法と併用する必要がある．ドメイン固有の 専門用語に対しては，オントロジーにないため候補 が得られない，あるいは単語の使われる文脈が異な るので埋め込みべクトルが近くても意味が異なる， などの課題があり，いずれの手法も候補の選び方が 恣意的になりやすい。

一方 BERT [5] で同義語の候補を選ぶ CDA [6] とい う手法がある．BERT は文脈を考慮したよい埋め込 みべクトルを得る手法として知られているが，CDA は BERT が文脈を考慮して予測した単語による置換 に制限することで文の意味を保つようにしている。単語レベルではなく特徴ベクトルのレベルで訓練 データを水増しする手法 $[7,8]$ も提案されている. これらは，訓練データから抽出された 2 組の入出力 の線形補完によって水増しする Mixup [9] という手法を NLP に持ち込んだものである。ただしこれら の手法も，文の意味を保つように入力文の意味が似 ている組に抽出を制限している。

反対に，文の意味が多少変わることを許容する ことで，非常にお手軽な水増しを実現している EDA [1] という手法がある. 同義語による置換のほ か，単語のランダムな追加・削除・交換を組み合わ せて水増しする．大規模な言語モデルや外部知識が なくても適用できるので，訓練データが少ないとき
の文書分類や極性判定の性能をほとんどコストをか けずに底上げできることが知られている。

## 3 提案手法

本節では語順を維持したまま水増しする cycle と randpad の具体的なアルゴリズムを説明する.

入力は文の集合 $\left.\{\operatorname{sent}_{i} \mid 0 \leq i<I\right.\}$ であり，それぞ れの文 $\operatorname{sent}_{i}$ は $J_{i}$ 単語からなる系列 $w_{i, 0}, \ldots w_{i, J_{i}-1}$ で表され，固有表現は単語列に対してタグ付けされ た範囲で表されるものとする.

例えば図 1 上側は，6 単語で表される文の $[0,1)$ および $[3,5)$ の範囲にそれぞれ人物名と地域名の夕 グが付いていることを表す。実際にはタグに B や I をつけて範囲の先頭とそれ以外を区別することも多 いが，以下ではその区別は捨象して説明する。

## 3.1 cycle

図 1 中側は cycle による水増しの概念図である.開始位置をシフトしながら各文を何度も繰り返す。

まずそれぞれの文 $\operatorname{sent}_{i}$ ごとに，文を繰り返す領域の大きさとして単語数 $J_{i}$ より大きい適当な $f\left(J_{i}\right)$ を設定する． $J_{i}$ によらない值 (例えば $\max _{i} J_{i}+1$ ) に 設定するとパディングが不要になるので学習が簡単 になるが，長い文に比べて短い文の繰り返しが多く なり，モデルが偏る可能性がある。そこで適当な係数 $a, b$ を用いて $f\left(J_{i}\right)=a J_{i}+b$ などとする.

次に水増し倍率 $n_{\text {aug }}$ が与えられたとしよう.文を繰り返すときの開始位置はランダムに与 えてもよいが，均等に $c_{i}^{k}=\left.\lfloor k f\left(J_{i}\right) / n_{\text {aug }}\right.\rfloor$ (ただし $0 \leq k<n_{\text {aug }}$ ) などとする. $c_{i}^{k}$ が同じ値を取らないよ うに $f\left(J_{i}\right) \geq n_{\text {aug }}$ にしておくことが望ましい.

$c_{i}^{k}$ が定まれば，そこから順に $f\left(J_{i}\right)$ の領域を文尾 と文頭がつながらないようにセパレータ [SEP] を挟 みながら文 $\operatorname{sent}_{i}$ の単語で繰り返し埋めていくこと で，水増しされた文 $\operatorname{sent}_{i}^{k}$ が得られる。 すなわち文 $\operatorname{sent}_{i}^{k}$ を構成する単語 $w_{i, j}^{k}$ (ただし $\left.0 \leq j<f\left(J_{i}\right)\right)$ は具体的には $w_{i, j-c_{i}^{k}\left(\bmod J_{i}+1\right)}$ と表される.

学習フェーズでは，元の文のタグ範囲に対応する 水増しされた文の範囲にタグ付けして水増しされた 訓練データとする．水増しされた文の単語と元の文 の単語の対応は取れているので，元の文の単語の夕 グをそのまま付ければよい.

推定フェーズでは，水増しされた文に対して推定処理を行ない，それぞれの単語のタグを推定する。水増しされた文の単語と元の文の単語の対応が取れ

図 2 cycle の推定フェーズ

ているので，元の文の単語に付くタグは水増しされ た文の単語に付いたタグによる投票で決定できる.

図 2 の例であれば，水増しされた文において “Tom” は 3/5 が人物名なので人物名, “New” は $2 / 4$ が地域名なので地域名となる。この例では“York” は地域名も組織名も $2 / 4$ となるので多数決ではどち らを選んでもよいが，つながりがよいように “New York”をまとめて地域名とする。

## 3.2 randpad

図 1 下側は randpad による水増しの概念図であ る. 各文の先頭と末尾に適当な単語をランダムに 付加する. 文頭と文尾に付加する単語は文の意味 を保つようにする必要があるため，すべての訓練データで全くタグが付いていない単語の集合 $W_{\mathrm{O}}=\{w \mid w$ のタグが $\mathrm{O}\}$ を事前に求めておく.

まず文頭と文尾に付加する単語数 $n_{\mathrm{pad}}$ を設定す る. 付加する単語数は文頭と文尾で異なっていても よいが，双方向言語モデルを用いるので対称にする ため同じ値にするものとする。

次に水増し倍率 $n_{\text {aug }}$ が与えられたとしょう，各文 の先頭と末尾に $W_{\mathrm{O}}$ から $n_{\mathrm{pad}}$ 単語ずつをランダムに 選んで付加すると水増しされた文 $\operatorname{sent}_{i}^{k}$ が得られる ので，それを $n_{\text {aug }}$ 回繰り返せばよい。すなわち文 $\operatorname{sent}_{i}^{k}$ を構成する単語 $w_{i, j}^{k}\left(\right.$ ただし $\left.0 \leq j<J_{i}+2 n_{\mathrm{pad}}\right)$ は，具体的には $n_{\mathrm{pad}} \leq j<J_{i}+n_{\mathrm{pad}}$ のとき $w_{i, j-n_{\mathrm{pad}}}$ で それ以外のときランダムな単語となる。

学習フェーズでは，元の文のタグ範囲に対応する 水増しされた文の範囲にタグ付けして水増しされた 訓練データとする. 水増しされた文の単語と元の文 の単語の対応は取れているので，元の文の単語の夕

図 $3 \mathrm{randpad}$ の推定フェーズ
グをそのまま付ければよい。付加した単語は $W_{\mathrm{O}}$ か ら選ぶのでタグを付けないものとする。

推定フェーズでは，水増しされた文に対して推定処理を行ない，それぞれの単語のタグを推定する。文頭と文尾から $n_{\text {aug }}$ 単語を取り除けば元の文の単語 になるので，元の文の単語に付くタグは水増しされ た文の単語に付いたタグによる投票で決定できる。

図 3 の例であれば，水増しされた文において “Tom”は $2 / 3$ が人物名なので人物名となり，“New” と“York”は $3 / 3$ が地域名なので地域名となる。

## 4 実験と評価

今回の実験では系列ラベリングモデルとして BiLSTM-CRF [10] を用いた。具体的なネットワーク は，単語の埋め込みべクトルを求める Embedding 層, 確率 0.5 の Dropout 層, 入出力の次元数が等し い Linear 層, 256 次元の BiLSTM 層，タグに対応 する出力の次元数を持つ CRF 層から構成される. なお 768 次元の事前学習済み BERT ${ }^{11}$ の末尾 4 層 を concat して用いたので，Embedding 層の次元数は $3,072=768 \times 4$ である.

学習に用いたバッチサイズは 256 ，損失関数は CRFLoss，オプティマイザは SGDである。学習率は $10^{-1}$ から検証データの損失が 4 エポック下がらない たび半減し， $10^{-5}$ を下回った時点で早期終了する.

以下では訓練データの水増しを行なわないとき (baseline) と，文を繰り返す領域の大きさ $f\left(J_{i}\right)$ を $64\left.\lceil J_{i} / 48\right.\rceil$ とした cycle，付加する単語数 $n_{\text {pad }}$ を 1,2 とした randpad をそれぞれ適用したときの性能を 比較した。なお baseline 以外は，水増し倍率 $n_{\text {aug }}$ を $1,5,10$ としたときの性能も検証した。

表 1 CoNLL03 のデータ数の内訳

はじめに，NER の公開データセットである CoNLL03 [11] を用いて提案手法による水増しの効果を評価した結果について示す.本データセットは 人物名・地域名・組織名・その他の 4 種のタグが付 いており，データ数は表 1 のとおりである. 平均長 は文や固有表現を構成する単語数の平均を表す.

表 2 は系列ラベリングモデルによって抽出された タグ範囲が正解と完全一致するかどうかで評価した ときの $\mathrm{F}$ 值である. それぞれの設定で 3 回ずつ学習 したモデルによる平均と標準偏差を示す.

表 2 からわかるように，randpad2 は性能向上がほ とんど見られないが, cycle と randpad 1 は $n_{\text {aug }}=5,10$ のとき baseline を上回る. いずれも $n_{\text {aug }}$ を増やすほ ど上がり幅も大きくなっているので, cycle は $f\left(J_{i}\right)$ の選び方によっても変わると思われるが，さらに増 やせばより性能向上する可能性がある.

表 2 CoNLL03 を用いたときの評価結果

一方， baseline で抽出されたが randpad で抽出され なかった事例を分析すると， $W_{\mathrm{O}}$ に含まれる単語を 含むものが多いことがわかった. $W_{\mathrm{O}}$ から選んで付加した単語はタグが付かないように学習するので， その影響を受けた可能性がある. randpad1 で性能が 上がったのに randpad2 で上がらなかったのは，下げ る効果の方が大きかったためであろう.

逆に言えば，付加する単語の選び方を工夫した り, WordDropout [12] のように Embedding 層で埋め 込みべクトルをランダムに生成したりすれば， randpad はより性能向上する可能性がある.

続いて，我々の持っている電力プラントのトラブ ル報告書を用いて提案手法による水増しの効果を評価した結果について示す.トラブル表現 (何がどう なった，何をどうした) にイベントというタグが付 いており，データ数は表 3 のとおりである. 平均長 は文やイベントを構成する単語数の平均を表す。

表 3

CoNLL03 での実験のように，NER の評価は完全一致で行なうのが一般的である。しかしイベントの タグ範囲は非常に長く, また前述のとおり正解に摇 れが生じやすいため，完全一致にそこまでこだわる 必要はない. イベントの主要部 (どうなった, どう
した) は末尾付近に出現することが多いので，以下 の評価では [13] と同じく, タグ範囲の末尾 5 単語に 重なりがあるかどうか (主要部一致) で行なうものと した. 例えば「建屋の配管に亀裂が発生。」という 文の正解が「配管に亀裂」だった場合，「建屋の配管に亀裂」や「亀裂が発生」は少なくとも「亀裂」 という重なりがあるので OK とみなす。

表 4 は系列ラベリングモデルによって抽出された タグ範囲が正解と主要部一致するかどうかで評価し たときの $\mathrm{F}$ 值である. それぞれの設定で 3 回ずつ学習したモデルによる平均と標準偏差を示す.

表 4 トラブル報告書を用いたときの評価結果

表 4 からわかるように, cycle は baseline を上回る ものの randpad1 と randpad2 は性能向上がほとんど 見られない. 付加した単語はタグが付かないように 学習したため, CoNLL03 での実験と同じく性能を 下げる効果の影響を受けた可能性がある。下がり幅 が抑えられているのは，タグが 1 種しかないのでタ グを間違えるエラーがないことや主要部一致で評価 したことが要因であろう.

## 5 おわりに

本論文では，語順が重要な系列ラベリング系のタ スクにも適用できる汎用的な水増しとして, cycle と randpad という新たな手法を提案した. cycle は開始位置をシフトしながら各文を何度も繰り返すこと で， randpad は各文の先頭と末尾に適当な単語をラ ンダムに付加することで語順を維持したままデータ を水増しする手法であり，大規模な言語モデルや外部知識がなくても適用できる.

CoNLL03 およびトラブル報告書のデータセット を提案手法で水増しして BiLSTM-CRF を学習する 実験を行なったところ，ベースラインよりも 1 ポイ ントほど性能向上したことが確かめられた. ただし randpad はパラメタによってはほぼ変わらないか逆 に下がることも確かめられた.

今後はネットワーク構造や与えられたデータごと に最適な水増しパラメタを求め, 理論解析を通じて さらによい水増し手法を開発していく予定である.

## 参考文献

[1] Jason Wei and Kai Zou. EDA: Easy data augmentation techniques for boosting performance on text classification tasks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 6382-6388, Hong Kong, China, November 2019. Association for Computational Linguistics.

[2] Marzieh Fadaee, Arianna Bisazza, and Christof Monz. Data augmentation for low-resource neural machine translation. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 567-573, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[3] George A. Miller. Wordnet: A lexical database for english. Communications of the ACM, Vol. 38, No. 11, pp. 39-41, 1995.

[4] William Yang Wang and Diyi Yang. That's so annoying!!!: A lexical and frame-semantic embedding based data augmentation approach to automatic categorization of annoying behaviors using \#petpeeve tweets. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2557-2563, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] Sosuke Kobayashi. Contextual augmentation: Data augmentation by words with paradigmatic relations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 452-457, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[7] Rongzhi Zhang, Yue Yu, and Chao Zhang. SeqMix: Augmenting active sequence labeling via sequence mixup. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8566-8579, Online, November 2020. Association for Computational Linguistics.

[8] Jiaao Chen, Zhenghui Wang, Ran Tian, Zichao Yang, and Diyi Yang. Local additivity based data augmentation for semi-supervised NER. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1241-1251, Online, November 2020. Association for Computational Linguistics.

[9] Hongyi Zhang, Moustapha Cissé, Yann N. Dauphin, and David Lopez-Paz. mixup: Beyond empirical risk minimization. In 6th International Conference on Learning Representations, ICLR 2018, Vancouver, BC, Canada,
April 30 - May 3, 2018, Conference Track Proceedings. OpenReview.net, 2018.

[10] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260-270, San Diego, California, June 2016. Association for Computational Linguistics.

[11] Erik F. Tjong Kim Sang and Fien De Meulder. Introduction to the CoNLL-2003 shared task: Language-independent named entity recognition. In Proceedings of the Seventh Conference on Natural Language Learning at HLTNAACL 2003, pp. 142-147, 2003.

[12] Rico Sennrich, Barry Haddow, and Alexandra Birch. Edinburgh neural machine translation systems for WMT 16. In Proceedings of the First Conference on Machine Translation: Volume 2, Shared Task Papers, pp. 371-376, Berlin, Germany, August 2016. Association for Computational Linguistics.

[13]伊藤雅弘, 山崎智弘. アノテーション漏れ推定を用い たエンティティ抽出. 言語処理学会 第 27 回年次大会 発表論文集, pp. 1264-1268, 32021.


# BERTを用いた Data Augmentation 手法の改善と JGLUE による評価

高萩恭介 $^{1}$ 新納浩幸 ${ }^{2}$
1 茨城大学大学院理工学研究科情報工学専攻
2 茨城大学大学院理工学研究科情報科学領域
22nm730l@vc.ibaraki.ac.jp
hiroyuki.shinnou.0828@vc.ibaraki.ac.jp

## 概要

Data Augmentation は，教師あり学習においてその 性能を改善させるために，訓練データを水増しする 手法である. 論文 [3] では，複数の BERT を使って 文中の単語を別の単語に置換する Data Augmentation の手法を提案し，それを文書分類タスクに適用する ことでモデルの性能が改善することが示されてい る. 本研究では，その手法における拡張文と置換対象単語の選択方法を変更したより適切にデータを拡張できる手法を提案する．実験では，複数のタスク に対して提案手法による Data Augmentationを試み た.その結果，提案手法は文書分類タスクの性能を 改善できた。

## 1 はじめに

Data Augmentation は，教師あり学習の性能向上を 図るために，訓練データを水増しする手法である。基本的には，ラベル付きデータに対して，ラベルを 変えずにデータのみに簡単な変換を行い，それを新規のラベル付きデータとして訓練データに加える.

自然言語処理においては，テキスト中の単語をそ の単語の類似単語に置き換える Data Augemtation の 手法がある [1]. しかし，BERT[2]を用いてタスク を解く場合に，同じ BERT の Masked Language Model を利用して単語置換を行っても効果はほとんどな い. 置換によって得られる単語の知識は, 既に夕 スク処理を行う BERTに組み込まれているからで ある.

論文 [3] では，この問題を解消するために，タス クに利用する BERT とは別種の BERTを使って類似単語を得る手法を提案し，その手法が文書分類タス クの性能を改善させることが実験によって示されて
いる。これは，タスクに利用する BERTに含まれな い単語の知識を置換によって獲得できたからである と考えられる。

しかし論文 [3] で提案された手法は，一部のラべ ル付きデータに対する拡張ラベル付きデータを多く 生成することがあり，それによって拡張後のデータ セットに偏りが生まれる可能性が高い. そこで本研究では, 論文 [3] で提案された手法を改善し, 1 つ ラベル付きデータに対して 1 つの拡張ラベル付き データを生成するようにした.

また論文 [3] では, livedoorニュースコーパス1)を 用いた文書分類タスクのみで提案手法を評価して いるが，他のタスクに対して手法が有効かどうかは 不明である. そこで本研究では, 日本語の言語理解 ベンチマークである JGLUE[4]を用いて, 文書分類,文ペア分類，QAの3つのタスクで提案手法を評価 し，その有効性を検証した. その結果，提案手法は 文書分類タスクのみに対して有効であることが示さ れた。

## 2 関連研究

画像処理の分野では，画像を反転させる，画像の 一部を切り取るといった Data Augmentation の手法 がよく使われている。これらの手法は単純で，実装 が簡単であるにも関わらず，Data Augmentation とし ての効果は高い. また現在は，ラベル付きデータに 対する簡易的な変換による Data Augmentation だけ ではなく，様々なアプローチの手法が考案されて いる.

例えば，Mixup はデータとラベルを各々線形結合 して，新たなデータを作成する手法である [5].ま た，ラベル無しデータに対して何らかのラベルを付

与して，訓練データを増やす手法である半教師あり 学習や, GAN などの生成系ニューラルネットワー クで画像を生成する手法も Data Augmentation に分類される [1].

自然言語処理の分野においては，画像処理と比 べると Data Augmentation に関する研究が少なく, これまでに行われた研究も画像処理分野での Data Augmentation の研究を基にした二次的なものが多 い.これは，扱われるデータである言語が離散的で あることが原因とされる。この原因により，単純な 変換による Data Augmentation で自然なデータを生成 することは難しい. しかし, 自然言語処理の分野に おいても，Data Augmentation に関する試みはいくつ か行われており，効果的な手法も考案されている.

Wei らは EDA (Easy Data Augmentation) という言語モデルや外部データを必要としない簡易な Data Augmentation の手法を提案した [6]. この手法では,訓練データのテキストに対して，同義語置き換え， ランダム挿入，ランダム交換あるいはランダム削除 の 4 つの操作を複数回ランダムに適用することに よって，訓練データを拡張する。また，ある言語で 記述された文書を別の言語に翻訳し，その翻訳文を 更に元の言語に翻訳する，いわゆる逆翻訳を利用し て Data Augmentation を行う試みも多い [7][8]. さら に, Gun らは画像処理の分野で利用される Mixup 手法を応用し, 文の埋め込み表現あるいは単語の埋め 込み表現を混合する Sentence Mixup や Word Mixup を提案している [9]. 他にも，Chen らは BERT のあ る層を混合する TMix に半教師あり学習を併用した MixText を提案している [10].

## 3 提案手法

論文 [3] では，タスク処理用の BERT とは異なる BERT を用いて文中の一部の単語を別の単語に置き 換える手法が提案されている。この手法は，タスク 処理用の BERT に含まれない知識を単語置換によっ て獲得できるため，有効であると考えられている。

またこの手法では，データセットに含まれる全て のテキストの中から TF-IDFが高い単語を指定個数取り出し, 各単語を含むテキストに対して単語置換 を行っている。しかしこのやり方では, 同じテキス トを基にした拡張テキストが複数生成されることが あり，それによって拡張後のデータセットに偏りが 生まれる可能性が高い.

今回は，論文 [3] で提案された手法を改善し，既存のデータセットに含まれる各テキストに対して単語を 1 つ選び，その単語を別の単語に置換して新た にテキストを生成するようにした。これによって， 1 つのラベル付きデータに対して，1つの拡張ラべ ル付きデータが生成されることとなる。

単語置換は，テキスト中の置換対象の単語を Maskトークンに置き換えて，その Maskトークンの 位置に入る単語を BERT の Masked Language Model で予測することで行う。また，単語置換とタス ク処理にはそれぞれ別の BERTを使う．今回は， タスク処理に東北大学の乾研究室が公開してい る'bert-base-japanese-v2'2)，単語置換にストックマー ク株式会社が公開している $\mathrm{BERT}^{3)}$ を利用する. 東北大版 BERT は日本語の wikipediaを用いて，ストッ クマーク版 BERT は日本語のビジネスニュースの コーパスを用いて事前学習が行われている。そのた め，2つの BERT は事前学習の段階でそれぞれ異な る知識を獲得していると考えられる。提案手法の詳細な手順について以下に示す。

1. データセットからラベル付きデータ

（ラベル+テキスト）を1つ取り出す.

2. テキストをトークン化する。

3. 置換対象単語のトークンを Mask トークンに置 き換える。

4. トークン列を BERT 入力用の ID 列に変換する.

5. ID列を BERT に入力し, 各トークンに対する予測結果を取得する。

6. 予測結果の中から, Maskトークンに入ると予測された上位 100 単語を取得する。

7. 上位 100 単語の中から, 次の条件を満たす最上位単語を選択する。

(a) 単語が名詞である.

(b) 単語は置換対象単語とは異なる.

8. 置換対象単語を選択した単語で置き換えたテキ ストを生成する。

9. 生成されたテキストに元のラベルを付けたもの を拡張ラベル付きデータとする。

10. データセットから取り出していないラべル付き データがあれば， 1 に戻る.

11. 元のデータセットに生成した拡張ラベル付き データを全て追加する。

また，上記の手順における置換対象単語の決定は

次のように行う.

1. データセットに含まれる全てのラベル付きデー タから，テキストのみを取り出してリスト化 する.

2. 分かち書きによって，テキストのリストを名詞 のみのトークン列のリストに変換する.

3. 変換後のリストを TF-IDFベクトルに変換する.

4. 各テキストにおける TF-IDF 值が最も高い名詞 を選び，それらを置換対象単語とする。

## 4 タスク

本研究では，提案手法の評価を行うために，日本語の言語理解ベンチマークである JGLUE[4] を 用いる. JGLUE は文書分類タスクである Marc-ja と JCoLA, 文ぺア分類タスクである JSTS と JNLI, QA タスクである JSQuAD と JCommonsenseQA の計 6つのタスクから構成される. 今回は，この中から Marc-ja，JSTS，JCommonsenseQAの3つのタスクを 利用し，評価を行うこととする。また，各タスクに は, train（訓練）/dev（検証）/test（テスト）データ の 3 つが用意されているが，論文執筆時点ではどの タスクのテストデータも公開されていない. そのた め, 各タスクでは, 元の訓練データからいくつか データを取り出すことで新たに訓練/検証データを 作成し, 元の検証データはテストデータとして使用 することとする．今回の実験での各タスクの訓練/検証/テストデータの個数を表 1 に示す. なお，今回は各タスクの訓練データの個数を 100 個として, ファインチューニングに用いるデータが少ない状況を想定した実験を行う．また，各タスクでは訓練 データを 5 パターン用意し, それら 5 つの評価平均 を最終評価として使用する。

表 1 各データセットの構成

## 4.1 Marc-ja

Marc-ja は文書分類用データセットであり，通信販売サイト「アマゾン」における商品レビューとそ れに対する評価をまとめたコーパスである MARC (Multilingual Amazon ReviewsCorpus)[11] の日本語部分を元に構築されている. Marc-ja に含まれる各
データは商品レビューと，ラベルである評価の二つ からなる.ラベルは negative と positive の 2 種類で あるため，タスクは 2 值分類となっている。評価指標には精度 (acc) を用いる. Data Augmentation では，各訓練データの商品レビューに対して単語置換処理 を行う。

## 4.2 JSTS

JSTS は意味的類似度計算 (Semantic Textual Similarity, STS) のデータセットであり, YJ Captions Dataset[12]を利用して構築されている. STS は文 ペアの意味的な類似度を推定するタスクで，正解 の類似度は， 0 (意味が完全に異なる) 〜 5 (意味が 等価)の間の値として付与されるのが一般的であ る. JSTS の各データは文ペアとその類似度からな り，文ペアは YJ Captions Dataset のある画像に対す る 2 つキキャ゚゙ョョンで，類似度はクラウドソー シングによって決定されたものである. 評価指標 には， Pearson および Spearman 相関係数を用いる. Data Augmentation では，各訓練データの文ペアのう ち，1つめの文に対してのみ単語置換処理を行う.

## 4.3 JCommonsenseQA

JCommonsenseQA は, CommonsenseQA[13] という $\mathrm{QA}$ データセットの日本語版で，常識推論能力を評価することができる. JCommonsenseQAに含まれる 各データは，問題文とそれに対する 5 つの選択肢，正解の選択肢を示すラベルから構成される.この選択肢のうち，問題文に対する正しい解答となるのは 1 つだけである. 評価指標には精度 (acc) を用いる. Data Augmentation では，各訓練データの質問文に対 して単語置換処理を行う.

## 5 結果

実験では，各タスクにおいて，BERTを訓練デー タでファインチューニングすることで，モデルの構築を行う．構築したモデルは，タスクに応じた評価指標でテストデータにより評価される。

各タスクにおいて, 元の訓練データとData Augmentaion を行った訓練データでそれぞれファイ ンチューニングしたときのモデルの評価結果を図 1 に示す. 結果としては, Data Augmentation を行った 場合，MARC-ja のみモデルの性能が僅かに改善し， それ以外のタスクでは性能が悪化した。

図 1 評価結果

## 6 考察

## 6.1 提案手法によるモデル性能低下の要因

JSTS と JCommonsenseQA の 2 つのタスクでは，提案手法を用いた場合にモデルの性能が低下してし まった. これは，新たに作成したデータの中に，テ キストとラベルについての一貫性が失われたデータ が多く含まれており，それらがノイズとなってモデ ルの性能を低下させたと考えられる。

例えば，JCommonsense において，問題文が「商品 を確認するにはどこまで行くといい？」，正解の選択肢が「店頭」である訓練データが存在する. この データにData Augmentation を行うと，問題文が「自身を確認するにはどこまで行くといい？」に変更さ れた. この場合，新たに生成されるデータは，問題文と正解の選択肢が矛盾したデータとなるため，訓練データとして適切ではない.

このように，QA やSTS は，文書分類と比べて，取 り扱うデータの一貫性が Data Augmentation によっ て失われやすく，それがモデルの性能低下に繋がっ たと考えられる.また，今回利用した 3 つのタスク のうち，MARC-ja はデータに含まれるテキストの文字数が全体的に多く，その他の 2 つのタスクはデー タに含まれるテキストの文字数が少なかった. これ も，JSTS と JCommonsense におけるモデル性能低下 の要因の一つであると考えられる.

## 6.2 訓練データの量の影響

提案手法のような簡易的な Data Augmentation は,元の訓練データの量が少ない場合に効果的であり，量が十分な場合には効果がないと考えられている
[6]. 本節では，この点を確認するために，各タスク の訓練データの量を 100 個から 1000 個に増やして，同様の実験を行った. 各タスクにおいて，元の訓練 データとData Augmentaion を行った訓練データでそ れぞれファインチューニングしたときのモデルの評価結果を図 2 に示す。

結果としては，MARC-ja においても，Data Augmentationを行った場合にモデルの性能が悪化し た. また, JSTS, JCommonsenseQA については, Data Augmentation の有無による性能の差が，訓練データ が 100 個の場合と比べて大きくなった. この結果か ら，提案手法の効果は訓練データの量に影響し，量 が大きくなるほど手法の効果が出にくくなると考え られる。

図 2 訓練データの量を 10 倍にしたときの評価結果

## 7 おわりに

本研究では，論文 [3] で提案された，BERT の Masked Lauguage Model を用いた単語置換による Data Augumentation の手法を改善した. 論文 [3] の手法では，一部のラベル付きデータを基にした拡張ラ ベル付きデータが多く生成されることがあり，それ によって拡張後のデータセットに偏りが生まれてし まう。本研究では，その問題を解消するために，1 つのラベル付きデータに対して 1 つの拡張ラベル付 きデータを生成するようにした. また，改善した手法の効果を検証するために，日本語の言語理解ベン チマークである JGLUE に含まれる 3 つのタスクを 利用して実験を行った. その結果，提案手法は文書分類タスクのみに対して効果があることが確認され た. 今後はこの手法に改良を加えて，より多くの夕 スクでモデルの性能を改善できるようにしたい.

[1] Steven Y Feng, Varun Gangal, Jason Wei, Sarath Chandar, Soroush Vosoughi, Teruko Mitamura, and Eduard Hovy. A Survey of Data Augmentation Approaches for NLP. arXiv preprint arXiv:2105.03075, 2021.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] 恭介高萩, 浩幸新納. 複数の bert モデルを利用した data augmentation. Technical Report 4, 茨城大学工学部情報工学科, 茨城大学大学院理工学研究科情報科学領域, sep 2021.

[4] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. Jglue: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, 2022.

[5] H Zhang, M Cisse, Y Dauphin, and D Lopez-Paz. mixup: Beyond empirical risk minimization. iclr 2018. arXiv preprint arXiv:1710.09412, 2017.

[6] Jason Wei and Kai Zou. Eda: Easy data augmentation techniques for boosting performance on text classification tasks. arXiv preprint arXiv:1901.11196, 2019.

[7] Mengzhou Xia, Xiang Kong, Antonios Anastasopoulos, and Graham Neubig. Generalized data augmentation for low-resource translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5786-5796, Florence, Italy, July 2019. Association for Computational Linguistics.

[8] Jiaao Chen, Yuwei Wu, and Diyi Yang. Semi-supervised models via data augmentationfor classifying interactive affective responses. arXiv preprint arXiv:2004.10972, 2020.

[9] Hongyu Guo, Yongyi Mao, and Richong Zhang. Augmenting data with mixup for sentence classification: An empirical study. arXiv preprint arXiv:1905.08941, 2019.

[10] Jiaao Chen, Zichao Yang, and Diyi Yang. MixText: Linguistically-informed interpolation of hidden space for semi-supervised text classification. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2147-2157, Online, July 2020. Association for Computational Linguistics.

[11] Phillip Keung, Yichao Lu, György Szarvas, and Noah A Smith. The multilingual amazon reviews corpus. arXiv preprint arXiv:2010.02573, 2020.

[12] Takashi Miyazaki and Nobuyuki Shimizu. Cross-lingual image caption generation. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1780-1790, 2016

[13] Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant. Commonsenseqa: A question answering challenge targeting commonsense knowledge. arXiv

## A 付録

## A. 1 BERT の詳細設定

実験でのタスク処理に利用した BERT の詳細な設定は以下の通りである.

・モデル名：bert-base-japanese-v2

・最大シーケンス長 : 512

・バッチサイズ : 8
- 学習率 : 5e-05

・エポック数 : 4

## A. 2 実験結果の詳細

本節では，本研究で行った実験の評価結果の詳細 について，それぞれ表 $1 ，$ 表 2 に示す.

表 25 章における評価結果の詳細

表 36 章における評価結果（訓練データ 10 倍）の詳細


# トラブル報告書に特有のフィールド情報を用いた BERT の追加学習

労瑛瑩 山崎智弘 伊藤雅弘
株式会社東芝 研究開発センター
知能化システム研究所 アナリティクス $A I$ ラボラトリー
\{yingying1. lao, tomohiro2. yamasaki, masahiro20. ito\}@toshiba. co. jp

## 概要

本研究では, インフラ分野のトラブル報告書を用 いて BERT の追加学習をするためのフィールド分類 タスクを提案する。トラブル報告書に特有のフィー ルド情報を文脈として活用するので，含まれる文の 数が少ないトラブル報告書でも, フィールドが持つ 文や単語の潜在的な意味(特徴)を文脈として学習す ることができる.

文ベクトル表現の分布を可視化するとともに，マ スクした単語を推測するタスクや報告書からトラブ ル表現を抽出するタスクで評価実験を行い，提案手法によって追加学習された BERT の効果を検証した。

## 1 はじめに

インフラ事業において, 電力・化学プラントなど の運用・保守の作業現場で発生したトラブルを記録 している報告書が大量に蓄積されている. 我々は,過去の大量のトラブル報告書からトラブルに関係す るイベント(「配管に亀裂」「水位が低下」など)の 抽出, 因果関係の推論といった構造化技術の研究開発に注力している[1]. トラブル報告書に記載された 情報を構造化することで, 「トラブルが発生した部品」や「効果のあった対処」を早期に把握すること が可能になり, 保守作業現場の生産性向上に貢献で きる.

しかし, トラブル報告書には機器番号や業務用語 など一般文書には含まれない用語が数多く含まれて いる. そのため, 日本語 Wikipedia で事前学習され た BERT[2]で文や単語の埋め込み表現を取得しても，系列ラベリングによってトラブルに関係するイベン トを抽出する下流タスクで性能を上げにくい課題が ある. そこで，トラブル報告書からなるコーパスを 用いた BERT の追加学習を通して, インフラ分野に 適する文や単語の表現を取得することによって，イ ベント抽出などの下流タスクでの性能を向上させる

 &  & $\ldots$ \\

図 1 トラブル報告書の事例

ことを狙う。

トラブル報告書では含まれる文の数が少ないとい う特徵があるため, 従来の学習手法[2]では BERT の 追加学習が困難である.

一方, トラブル報告書は現象や処置などの複数の 項目から構成され, 各項目にはトラブルに関する詳細情報が文字や記号で記載されている(以下, 既定の 項目および当該項目に書かれたテキストデータをフ イールドと呼ぶ). 図 1 に示すように, トラブル報告書は横方向に沿った複数のフィールドにトラブルに 関する詳細情報が記載されている。縌方向の同じフ イールドには類似表現が記載されている.このため,横や縦方向を考慮するフィールドの関係性が利用で きると考える。

そこで本研究では, トラブル報告書に特有のフィ ールド情報を文脈として活用して BERT の追加学習 をするため，フィールド分類タスク (Field Classification)を提案する。具体的には, 従来の NSP(Next Sentence Prediction)の代わりにフィールド 分類を通して，特徴ベクトル空間上の潜在的なフィ ールドの関係性に従ってテキストデータを分類する ことにより，クラスごとに同じフィールドの関係性 をもつテキストのベクトル表現を近似的に学習する。

提案手法によって追加学習された BERT の効果を 検証するため, 文のベクトル表現の可視化, マスク 単語の推定タスクとトラブルイベント抽出による評価実験を行う。

## 2 関連研究

近年，事前学習された言語モデルを用いて，様々

な NLP タスクに応じてファインチューニングする ことは主流となっている. 特に, BERT は汎用性が 高い言語モデルの代表として, 文書分類や固有表現抽出などの下流タスクで高いパフォーマンスを達成 している。 BERT の事前学習では, ラベルなしテキ ストデータを用いて, MLM と NSP の 2 つの訓練夕 スクで教師なし学習を行う．MLM では，マスクさ れたトークンを文脈を考慮して予測するタスクであ る. 穴埋め問題を解くことを通して, 単語の埋め込 み表現を学習する. NSP では, 2 つの入力センテン ス Aと Bが連続するか否かを分類するタスクである。入力センテンスの接続関係を考慮して文の埋め込み 表現を学習する. ALBERT [3] はBERTよりも軽量 なモデルとして提案されている。 ALBERT の事前学習では, NSP の代わりに, SOP(sentence-order prediction)で入力 2 つの文の順序の予測を行ってい る. 文脈に依存しない Word2Vec [4]や GloVe[5]など の従来手法より, 事前学習された BERT や ALBERT は文脈を考慮した単語の埋め込み表現を取得可能に なる.

Gururangan[6]らは, 適用分野や下流タスクなどの データセットを使って追加で事前学習を行うことを 提案し, 下流タスクの評価でオリジナルの BERT よ り精度向上の効果を示した. しかし, インフラ分野 のトラブル報告書は, 以下の理由から, 事前学習さ れたBERTやALBERTを従来のように追加学習する ことは困難である. トラブル報告書はフィールドに 分けてトラブルに関係する詳細情報を記載している が，フィールドごとに含まれる文数や 1 文書に含ま れる全ての文数がいずれも少ないという特徴がある. これらのトラブル報告書から取得できる学習データ は順序ありの文ぺアが少なく, 順序なしの文ぺアが 多いため, NSP や SOP でモデルの学習に偏りが発生 する恐れがある. それに，ランダムに 2 つの文を取 って作成された文ぺアには異なる情報が混入して，文脈が大きく変わる可能性が考えられ, MLM で学習された単語の埋め込み表現がずれる恐れがある。

## 3 提案手法

本節では, トラブル報告書に特有のフィールド情報を文脈として活用する BERT の追加学習タスクを 提案する. トラブル報告書において, どのようなト ラブルが起こったか(現象), トラブルを解決するた めに何をしたか(処置)などのフィールドが存在して いる(図1). 従って, 既定のフィールドに書かれたテ

図 2 提案のフィールド分類(Field Classification)

キストには当該フィールド情報を持っていると考え られる。例えば，「現象」フィールドに書かれたテ キストには，トラブルの発生状況が詳細に記載され ている.これらのテキストは「現象」というフィー ルド情報を持っている.

そこで，トラブル報告書における潜在特徴を学習 するため，NSP の代わりに，入力テキストのフィー ルド情報の関係性を学習するフィールド分類タスク (Field Classification)を提案する. 図 2 に示すように，提案のフィールド分類はBERTにテキスト AとBを 入力して得られた $h_{[\mathrm{CLS}]}$ を用いて, softmax classifier で 2 文が持つフィールド情報の関係性を分類する.具体的に，フィールドの特性に基づいて入力テキス トのフィールド情報の関係性の 2 値分類を行う。フ イールド特性とは, 入力テキストのフィールド情報 の関係性を次の 2 種類で定義する：

フィールドの従属性(fieldSameDoc) 同一文書に おいて，トラブルの発生原因とそれを解決するため の対処方法のようにお互いに因果関係を持つ情報が 書かれており，異なるフィールドに記載されたテキ ストでも，潜在的に関係する(図 1 の行に基づく).

従って, 入力のテキスト A と B がそれぞれに属する 同一文書に書かれた文か否かというフィールド分類 を行い, 同一文書の異なるフィールドにある関連情報を潜在特徴として学習する。

フィールドの共通性(fieldSameField) 同一フィ 一ルドにおいて，異なる文書で類似するトラブル表現が存在しているため, これらの類似表現は潜在的 に関係する(図 1 の列に基づく). 従って，入力のテ キスト A と B がそれぞれに属する文書を考慮せず，同じフィールドに書かれた文か否かというフィール ド分類を行い，文書をまたがった類似表現の潜在特徵を学習する。

提案のフィールド分類を通して，特徴ベクトル空
間上の潜在的なフィールド特性 (fieldSameDoc, fieldSameField のいずれか)に従ってテキストデータ を分類することにより，クラスごとに同じフィール ド特性をもつテキストのベクトル表現を近似的に学習できる. また，学習のために連続する 2 文をバラ ンスよく取得することが難しいトラブル報告書でも， テキストが属するフィールドの関係性を利用するこ とで 2 文を選択することは容易である。

## 4 実験と評価

本節では, 提案手法の効果を検証するため, 実施 した実験について述べる.

BERT の追加学習では, 電カプラントに関する 3,130 件のトラブル報告書を利用している. 具体的に，「タイトル, 処置の結果, 現象, 原因, 処置」とい う 5 種類のフィールドに書かれた文データから，以下 4 種類のデータセットを作成した：

・Dataset1: 属する文書やフィールドの種類を考慮せず，ランダムに 2 文を取得する．計 $73 \mathrm{k}$ デ 一夕数である.
- Dataset2: 同一文書における同一フィールドか ら連続した 2 文を取得する. 計 $36 \mathrm{k}$ データ数で ある。

・ Dataset3: 属するフィールドの種類を考慮せず，同一文書からランダムに 2 文を取得する. 計 $73 \mathrm{k}$ データ数である.

・Dataset4: 属する文書を考慮せず，同一フィール ドからランダムに 2 文を取得する。計 $73 \mathrm{k}$ デー タ数である.

東北大学 BERT $の$ bert-base-janpanese-v2 $2^{1}$ 利用し て, 2 種類のベースライン手法と 2 種類の提案手法 によるモデルを追加学習し, 性能比較を行う (表 1).各モデルのパラメータ設定は, 最大入力長さを 256 , エポック数を 5 , 学習率を $2 \times 10^{-5}$, バッチサイズを 16 とする. なお, 学習のエポックごとにモデルを保存する.

## 4.1 文のベクトル表現の可視化

学習データセットから 50 件のトラブル文書(計 1,147 文) をサンプリングし, 追加学習されたモデル でサンプル文のベクトル表現の分布を $\mathrm{t}$-SNE[7]で可視化した. Proposal2 モデルによって取得されたサン プル文のベクトル表現([CLS]トークンであり, 768次元となる)を t-SNE で 2 次元に圧縮した可視化結果を図 3 に示す. 図 3 を確認すると，「タイトル」 の文のベクトル表現(青)や「処置の結果」の文のべ クトル表現(オレンジ)がそれぞれに集まっていて，「現象」(緑)の文のベクトル表現と「処置」(紫)の文 のベクトル表現が分離されていることがわかる.

ベースラインの学習手法と比べて, 提案するフィ ールド分類(fieldSameField)を通して, 同じフィール ドに書かれた文のベクトル表現が互いに近づく, 他 のフィールドの文のベクトル表現と離れていること がわかる(A 付録参照).

## 4.2 マスク単語の推定タスク

提案手法で追加学習されたモデルを用いて，マス クした単語を推定する実験を行った．各モデルの推定結果(A 付録参照)から, ベースラインの学習手法 と比べて, 提案するフィールド分類(fieldSameDoc, fieldSameField)を通して, 特徴ベクトル空間上で同じ フィールド特性をもつ文のベクトル表現が互いに近 づいていることがわかった。すなわち，これらの文 に含まれる単語も近似的に学習されていると考えら れる。

## 4.3 トラブルイベント抽出による評価

提案手法で追加学習されたモデルの性能を評価す るため, 電力プラントに関するトラブル報告書(日本語)を用いたトラブルイベント抽出の評価実験を行 った. トラブルイベント抽出とは, トラブル報告書 から「部品 $\mathrm{A}$ が壊れた」や「設備 C を取り替えた」 のようなトラブルの現象や処置になりうる記述表現 をイベントとして抽出するタスクである.

今回利用する報告書には，トラブルに関わるイベ ントとその因果関係がアノテーションされて, デー 夕数を表 2 に示す. 4.1 節で追加学習された BERT モ デルを用いて，系列ラベリングによるイベント抽出 のモデルを構築した. 具体的に, Bi-LSTM-CRF $[8,9]$ をベースとし, BERT モデルから得られた単語ベク トルをBi-LSTM への入力として与えた.

表 2 のデータセットを用いてイベント抽出モデル の学習と評価を行い, 抽出されたイベント範囲が正解と完全に一致するかどうか(完全一致), イベント 範囲の末尾 5 形態素に一致する(主要部一致)の $\mathrm{F}$ 値 で評価した。
^{1} \mathrm{https}$ //huggingface.co/cl-tohoku/bert-base-japanese-v2
}

図 3 Proposal2 モデルによるサンプル文のベクトル表現の可視化結果.「タイトル」(青), 「処置の結果」 (オレンジ)，「現象」(緑)，「処置」(紫)の点線で集まっている同じフィールドの文のベクトル表現を囲む.

表 1 電力プラントのトラブル報告書を用いた BERT の追加学習の比較実験

ベースライン手法と提案手法で追加学習されたモ デルのエポックごとの完全一致の評価結果を表 3 に 示す. 表 3 には, Proposal1 モデルは Epoch1 4 で良 い性能を示している. 特に, Epoch1 の学習結果で Baseline2 モデルより性能評価を 2.3 ポイントで向上 した. 主要部一致の場合, Proposal2 モデルは Epoch1 と Epoch4 で最も高い評価を得て, Epoch1の学習結果で Baseline1 モデルより 0.7 ポイントの性能向上を 示した(A 付録参照).

上述の評価結果から，提案タスクでフィールド特性に基づく文や単語の埋め込み表現を近似的に学習 することにより，インフラ分野の知識を習得でき， イベント抽出という下流タスクで性能向上に有効性 があることが示された.

一方, Baseline1 モデルは, 訓練 Epoch 数を増やす につれて，強い性能を示している。これは，提案手法でフィールド分類 loss と MLM loss の計算スケー ルが不均衡の恐れで, Epoch 数が増えるほどフィー ルド分類 loss が小さくなりすぎてモデルの学習への 効果が弱くなると考えている.表 2 イベント抽出用のデータセット

表 3 イベント抽出による評価結果(完全一致)

## 5 おわりに

本研究では，トラブル報告書に特有のフィールド 情報を文脈として活用し，フィールドが持つ文や単語の潜在的な意味(特徴)を学習するフィールド分類 タスクを提案した。提案のフィールド分類でインフ ラ分野のトラブル報告書を用いた BERT の追加学習 を行ったところ，イベント抽出という下流タスクで ベースラインの学習手法より 2.3 ポイントの性能向上を確認できた。フィールド特性に基づく文や単語 の埋め込み表現を近似的に学習することにより，イ ンフラ分野の知識を習得できたと考えられる.今後 は，提案するフィールド分類 loss と MLM loss の重 み付け計算でモデルの性能を改善し，最適なパラメ ータ探索を実施する予定である。

## 参考文献

[1] 伊藤 雅弘, 山崎 智弘. アノテーション漏れ推定を用いたエンティティ抽出. 言語処理学会 第 27 回年次大会発表論文集(2021 年 3 月). pp1264-1268. 2021.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. Computation and Language, arXiv.1810.04805, 2018.

[3] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, Radu Soricut. ALBERT: A Lite BERT for Self-supervised Learning of Language Representations. Computation and Language, arXiv.1909.11942, 2019.

[4] Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean. Efficient Estimation of Word Representations in Vector Space. Computation and Language, arXiv.1301.3781, 2013.

[5] Jeffrey Pennington, Richard Socher, Christopher Manning. GloVe: Global Vectors for Word Representation. Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp1532-1543, 2014.

[6] Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, Noah A. Smith. Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics(ACL), pp 8342-8360, 2020.

[7] Laurens van der Maaten, Geoffrey Hinton. Visualizing Data using t-SNE. Journal of Machine Learning Research, Vol.9, pp 2579-2605, 2008.

[8] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, Chris Dyer. Neural Architectures for Named Entity Recognition. Proceedings of NAACL 2016, 2016.

[9] Alan Akbik, Duncan Blythe, Roland Vollgraf. Contextual String Embeddings for Sequence Labeling. Proceedings of the 27th International Conference on Computational Linguistics, pp1638-1649, 2018.

## A 付録

## 文のベクトル表現の可視化

フィールド特性が共通性の場合, 50 件のサンプル 文書(計 1,147 文) をランダムに取得して，オリジナ ル BERT(追加学習なし)とベースライン手法で追加学習されたモデルの可視化結果を以下のように示す.

Baseline1(MLM only)

## マスク単語の推定タスク

提案手法で追加学習されたモデルを用いて, マス クした単語を推定するタスクの結果を考察する．以下の表 4 に, 考察事例および各モデルの推定結果 (top10)を示す.「現象」に書かれた例文 1 において， Proposal1 モデルは正解である 故障’と類似する意味 を持つ，“異常’が推定されており，他に‘故障’と含む 文書における頻出単語である‘対応’, ‘基板’, ‘客’, ‘常時', 'CPU'も推定されている.「処置」に書かれた 例文 2 において, Proposal2 モデルは正解である‘交換’が推定されており, 他に「処置」における頻出単語である‘基板’, ‘客(\#\#先)', ‘様子’, ‘見’も推定され ている.

表 4 マスク単語の推定事例

} \\

## 「処置」例文 2 : 基板[MASK]にて処置済み

Masked Token 正解 : ‘交換'

 \\

## トラブルイベント抽出による評価

抽出されたイベント範囲が正解イベント範囲の末尾 5 形態素に一致する(主要部一致)の $\mathrm{F}$ 値で評価し た結果である.

表 5 イベント抽出による評価結果 (主要部一致)


# トピックエントロピーに基づく学習データ選択による 事前学習言語モデルの訓練安定性向上

永塚光一 渥美雅保
創価大学大学院 理工学研究科
e20d5301@soka-u.jp matsumi@soka.ac.jp

## 概要

本稿では，事前学習言語モデルの訓練の安定化 を目的として，新たな学習データ選択手法であ る Topic Entropy-based Data Selection (TEDS) を提案す る. TEDS では，テキストに含まれるトピックの多様性指標であるトピックエントロピーを定義した上 で，(i)トピックエントロピーの高い一部の学習デー タによる訓練，(ii) 全学習データによる訓練という 2 段階の事前学習を行う. 提案手法の効果を検証する ために，検証損失に基づく訓練安定性と GLUE ベン チマークを用いた下流タスクの性能を評価した. 実験により，TEDS を用いたモデルはベースラインと 比較して検証損失が安定的に減少し，より高い汎化性能を獲得することを示した。

## 1 はじめに

近年, 事前学習言語モデル ${ }^{1)}$ (Pre-trained Language Model， PLM) は自然言語処理分野において大きな 成果を上げている [1,2]. PLM は，小規模なラベル 付きデータセットを用いてファインチューニングを 行うことにより，様々な自然言語処理タスクにおい て最高精度を達成している。一方で，大規模なコー パスを用いた事前学習は計算コストが非常に高く,特に訓練が不安定である場合には，計算コストが更 に増加するという問題がある。

PLM の学習効率を向上させるために，これまでに 多くの研究が行われている. 代表的な例として，よ りパラメータ数の少ないモデルアーキテクチャを設計するアーキテクチャベースの手法 $[3,4,5,6,7]$,効率的な事前学習を行うために新たな目的関数を定義するオブジェクティブベースの手法 $[8,9]$, 更に.効果的な学習データ選択と学習スケジュールの実行

を通して，学習効率を向上させるデータセットベー スの手法がある $[10,11,12]$. アーキテクチャベース やオブジェクティブベースの手法は既に PLM の学習効率向上に大きく貢献している一方で，データ セットベースの手法はまだ比較的研究が少ない.

代表的なデータセットベースの手法として，カリ キュラム学習 [12] が挙げられる. カリキュラム学習 は，定義された難易度の指標に基づき，簡単な学習 サンプルからより難易度の高い学習サンプルへと訓練を徐々に移行させることにより，モデルの学習効率を高める手法である．PLM にカリキュラム学習 を適用するためには，学習データとなるテキストに 対して，難易度の指標を設計する必要がある．テキ ストの難易度を定義することは，言語学の分野では Readability の研究として知られており，テキストの 難易度を決める要因は，(1) 語彙レベル，文法構造の 複雑さ，単語や文の長さなどのミクロ要因，(2) テ キストのトピックや一貫性などのマクロ要因に分類 される [13]. ここで，(1)ミクロ要因に関しては，語彙頻度 [12] やテキストの長さ $[10,11]$ を活用した手法が提案されているが，(2) マクロ要因については 十分に研究が行われていない。

本稿では，学習サンプルの難易度指標としてマ クロ要因の一つであるトピックに着目し，新たな 学習データ選択手法である Topic Entropy-based Data Selection (TEDS) を提案する．TEDS では，学習効率が高い (難易度が低い) テキストは多様なトピック から構成されるという仮説に基づき，学習サンプル のトピックの多様性を計測する新たな指標として， トピックエントロピーを定義する。テキストの潜在的なトピックを推定する手法には，トピックモデル の一つである Latent Dirichlet Allocation (LDA) を用い る. 実験により，TEDS を用いたモデルでは，ベー スラインと比較して訓練の安定性及び下流タスクに おける汎化性能が向上することを示す.

図 1: TEDS の全体像

## 2 関連研究

近年の研究では，大規模な言語モデルの学習効率化にデータセットベースの手法が用いられている。例えば，GPT-3[14] や T5[15] などの高コストな事前学習を伴うモデルでは, 複数のコーパスから指定さ れたサンプリング比率で学習データを収集すること でデータセットの品質を高めるデータ選択手法を採用している．また，テキストの長さを難易度の指標 としてカリキュラム学習を GPT-2 や BERT の事前学習に適用する研究が行われている $[10,11,16]$. ここ で，標準的なカリキュラム学習では難易度の指標に 加えて，学習データを徐々に増加させるためのスケ ジューラを設計するが，我々の TEDS は，二段階の みで構成されるよりシンプルな手法であり，こうし たスケジューラが提案手法に与える影響については 検証しない。したがって，提案手法をカリキュラム 学習とは呼称しないこととする。

## 3 提案手法

図 1 に示すように，TEDS は 2 つのステップから 構成される. 1 つ目のステップでは，コーパスに含 まれる文書集合を用いて，LDA の訓練を行う (図 1a). 2 つ目のステップでは，訓練した LDA を用い て各学習サンプルのトピックエントロピーを計算す る. 続いて，トピックエントロピーの高い一部の学習サンプルを抽出したのち，抽出データと全学習 データを用いて，2 段階の事前学習を行う (図 1b). LDA 及び PLM の訓練には，Wikipedia の英語記事か ら構成されるコーパスである WikiText-103[17] を用 いる.

## 3.1 LDA の訓練

LDA を訓練するために，WikiText-103 から各記事 をあらかじめ定義されたフォーマットに従って抽出 し，記事集合を得る。続いて，Byte-level BPEトーク ナイザ [18] を用いて各記事をサブワードに分解した のち，ストップワード2)除去を行う．また，TF-IDF によるフィルタリングにより，語彙数を約 $50 \%$ 削減 する.ここで，LDA は単語ではなくサブワードに 基づいて学習される．既存のトピックモデルでは，単語による訓練が一般的であるが，提案手法では Transformer ベースの言語モデルの入力形式との一貫性を保つために，サブワードを用いる。

## 3.2 PLM の訓練

## 3.2.1 トピックエントロピー

トピックエントロピーは，与えられたテキストに 含まれるトピックの多様性を測定するために我々が 提案した新たな指標である. TEDS では，少数のト

ピックのみが存在する学習サンプルよりも多様なト ピックを含む学習サンプルを選択することが，言語 モデルの初期の訓練安定化に有効であると仮定す る. 学習サンプルを構成するトークン系列 $\boldsymbol{x}$ が与え られた時，トピックエントロピーは以下の式で計算 される.

$
T E(\boldsymbol{x})=-\sum_{k=1}^{K} p(k \mid \boldsymbol{x}) \log p(k \mid \boldsymbol{x})
$

ここで，Kはトピックサイズ， $p(k \mid \boldsymbol{x})$ は LDA に よって計算された事後確率分布におけるトピック $k$ の条件付き確率である. 各学習サンプルに対して, トピックエントロピーを計算し，トピックエントロ ピーが高い上位の学習サンプルを抽出することで，初期の事前学習に用いる学習データセットを構築 する.

## 3.2.2 2 段階事前学習

学習する言語モデルとして, 本研究では, RoBERTa[2]を採用する. TEDS の事前学習は 2 つの サブステージから構成される。まず，トピックエン トロピーの高い学習サンプルを用いて，総トレーニ ングステップ数の半分まで RoBERTa を訓練する.

次に，全ての学習サンプルを用いて，トレーニング ステップ数の終了まで RoBERTa の訓練を継続する.学習データには, LDA の訓練と同様に WikiText-103 を用いる。また，学習サンプルのトークン数は 128 に設定する。

## 4 実験

## 4.1 実験設定

提案手法を評価するために，訓練安定性と汎化性能という 2 つの観点から, TEDS とベースラインの 比較を行う. ベースラインとして, 通常の事前学習 と同様にはじめから全ての学習データを用いる All Data Selection (ADS) 及びランダムに学習データを抽出する Random Data Selection (RDS), 語彙頻度に基 づくカリキュラム学習であるVocab CL[12]を設定す る. VocabCL は，カリキュラム学習の研究の初期に おいて提案された手法であり, 単純な FFN 層から構成されるニューラルネットワークに基づく N-gram 言語モデルの訓練効率化に有効であることが報告さ れている. Vocab CL ではコーパス中での頻度を基 に語彙をランキングしたのち, 最初のステージで低頻度語彙 (希少語彙)を含まない学習データを抽出し てモデルに与える.

LDA のトピックサイズは 50 に設定し，TEDS 及 び RDS において抽出する学習データサイズは，全 データの $25 \%$ とする．また，VocabCLでは，低頻度語彙の定義を下位 $10 \%$ の頻度の語彙とすることで, TEDS 及び RDS と同等程度のデータサイズである約 $27 \%$ の学習データを抽出する. 訓練安定性を評価す るために，各モデルに対して異なるランダムシード を用いて 5 回ずつ事前学習を行う。総トレーニング ステップ数は 10 万回とし, 5 万トレーニングステッ プで全学習データに訓練を移行させる. 事前学習を 行った各モデルの汎化性能の計測には, GLUE ベン チマーク [19] における 9 つの下流タスクを採用す る. ここで, TEDS の後半の訓練において, 全学習 データを追加する効果を検証するために，全学習 データに訓練を移行させないモデルの汎化性能も評価する. PLM のファインチューニングに関しても，異なる 3 つのランダムシードで訓練を行ったのち，各下流タスクの平均スコアを評価する。全てのモデ ルに共通のモデルアーキテクチャとして，12 層と 12 個の注意ヘッドから構成される RoBERTa-base ${ }^{3)}$ を用いる.トークナイザの訓練により獲得された 語彙数は 29,833 であり, モデルの入力トークン数 は 128 ，ミニバッチ数は 64 とする. マスキング率は 15\%に設定し, 最適化手法として, AdamW[20] を使用する.

## 4.2 実験結果

## 4.2.1 訓練安定性の評価

図 2 に TEDS とベースラインの学習曲線を示す.図 2a からわかるように, ADS と RDS の検証損失は 少しずつ減少し続けているものの，ADS における一度の訓練を除いて，全ての訓練で検証損失が高止ま りした.また，Vocab CL を用いたモデルについて も，他のベースラインと同様に TEDS のような急激 な検証損失の減少は確認されなかった (図 2b). 一方 で，TEDS を用いたモデルでは，どの訓練において も，検証ロスが 2 万トレーニングステップ付近で安定的に減少した.これらの結果は, TEDS により, PLM の訓練安定性が通常の学習よりも大幅に向上 することを示している. 更に，RDSを用いたモデル の訓練安定性が向上していないことから，ランダム

(a) TEDS, ADS and RDS

(b) TEDS and vocab CL

図 2: 提案手法とベースラインの学習曲線の比較

表 1：各モデルの GLUE ベンチマークスコアの比較．太字は各タスクの最高値を示す．QQPでは F 値を，CoLA についてはマシューズ相関係数を，それ以外のタスクについてはアキュラシーを それぞれ報告している。

にデータサイズを削減するだけでは不十分であり, トピックエントロピーの高い学習サンプルを選択す ることが重要であることがわかった.

## 4.2.2 汎化性能の評価

表 1 に各モデルの GLUE スコアの比較を示す. TEDS を用いたモデルは WNLI を除く全ての下流タ スクにおいて最高值を達成し, 全タスクの平均値 において，ベースラインを 3 ポイント以上上回っ た. このことから，TEDS により安定した事前学習 を行ったモデルは汎化性能も向上することが確認 された. ベースラインでは，ADS が最も良いスコ ア(58.06)を達成し，RDS と Vocab CL をわずかに上回る結果となった. 更に，TEDS では，全学習デー タを追加学習するモデル (TEDS w/ all data) の方が,全学習データを追加学習しないモデル (TEDS w/o all data) と比較して， 7 つの下流タスクにおいて高いス コアを獲得し, 平均スコアで約 0.9 ポイント上回っ た. 訓練安定性の評価では，はじめから全データを 用いることは初期の学習の安定性を損なうことが確認された。一方で，今回の結果から，トピックエン トロピーが高い学習サンプルを選択することで初期 の訓練を安定化させた場合，後半の訓練で全ての学習データを用いて追加学習することが汎化性能の向上にとって好ましいことが確かめられた.

## 5 まとめ

本稿では，事前学習言語モデルの訓練安定性を向上させる新しいデータ選択手法である TEDS を提案 した. TEDS では，テキストに含まれるトピックの 多様性指標であるトピックエントロピーに基づい て学習データを抽出し，2 段階の事前学習を行う. WikiText-103 を用いた実験の結果，TEDS を用いた モデルはベースラインよりも訓練安定性が大幅に高 くなることがわかった. また，GLUE ベンチマーク を用いた汎化性能の評価においても，TEDS に基づ くモデルが平均スコアでベースラインを大きく上回 ることが示された. 今後の課題として，本手法をよ り大規模なコーパスを用いた訓練に応用することが 期待される。

## 謝辞

本研究は, 国立研究開発法人科学技術振興機構 (JST) による次世代研究者挑戦的研究プログラムの 支援を受けて実施されたものです.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, volume 1, pages 4171-4186, 2019.

[2] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019. [arXiv:1907.11692].

[3] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. ALBERT: A lite BERT for self-supervised learning of language representations, 2020. [arXiv:1909.11942].

[4] Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf. DistilBERT, a distilled version of bert: smaller, faster, cheaper and lighter, 2019. [arXiv:1910.01108].

[5] Elena Voita, David Talbot, Fedor Moiseev, Rico Sennrich, and Ivan Titov. Analyzing multi-head self-attention: Specialized heads do the heavy lifting, the rest can be pruned. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 5797-5808, 2019.

[6] Adrian de Wynter and Daniel J. Perry. Optimal subarchitecture extraction for bert, 2020. [arXiv:2010.10499].

[7] Sainbayar Sukhbaatar, Edouard Grave, Piotr Bojanowski, and Armand Joulin. Adaptive attention span in transformers. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 331-335, 2019.

[8] Kevin Clark, Minh-Thang Luong, Quoc V Le, and Christopher D Manning. Electra: Pre-training text encoders as discriminators rather than generators, 2020. [arXiv:2003.10555].

[9] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R Salakhutdinov, and Quoc V Le. Xlnet: Generalized autoregressive pretraining for language understanding. In Advances in Neural Information Processing Systems, volume 32, 2019.

[10] Koichi Nagatsuka, Clifford Broni-Bediako, and Masayasu Atsumi. Pre-training a BERT with curriculum learning by increasing block-size of input text. In Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2021), pages 989-996, 2021.

[11] Ameeta Agrawal, Suresh Singh, Lauren Schneider, and Michael Samuels. On the role of corpus ordering in lan- guage modeling. In Proceedings of the Second Workshop on Simple and Efficient Natural Language Processing, pages 142-154, 2021.

[12] Yoshua Bengio, Jérôme Louradour, Ronan Collobert, and Jason Weston. Curriculum learning. In Proceedings of the 26th Annual International Conference on Machine Learning, page $41-48,2009$.

[13] Jae-Ho Lee and Yoichiro Hasebe. Readability measurement of japanese texts based on levelled corpora. The Japanese Language from an Empirical Perspective, pages 143-168, 2020.

[14] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In Advances in Neural Information Processing Systems, volume 33, pages 1877-1901, 2020.

[15] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, 21(140):1-67, 2020.

[16] Conglong Li, Minjia Zhang, and Yuxiong He. Curriculum learning: A regularization method for efficient and stable billion-scale gpt model pre-training, 2021. [arXiv:2108.06084].

[17] Stephen Merity, Caiming Xiong, James Bradbury, and Richard Socher. Pointer sentinel mixture models, 2016. [arXiv:1609.07843].

[18] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAI blog, 1(8):9, 2019.

[19] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pages 353-355, 2018.

[20] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization, 2017. [arXiv:1711.05101].


# 人間と言語モデルに対するプロンプトを用いた ゼロからのイベント常識知識グラフ構築

井手竜也 ${ }^{1}$ 村田栄樹 1 堀尾海斗 1 河原大輔 1
山崎天 ${ }^{2}$ 李聖哲 ${ }^{2}$ 新里顕大 ${ }^{2}$ 佐藤敏紀 ${ }^{2}$
1 早稲田大学理工学術院 ${ }^{2}$ LINE 株式会社
\{t-ide@toki., eiki.1650-2951@toki . , kakakakakakaito@akane. , dkw@\}waseda.jp
\{takato.yamazaki, shengzhe. li , kenta. shinzato, toshinori.sato\}@linecorp.com

## 概要

人間はなにかを理解したり推論したりするとき，常識を用いる.コンピュータにそのような常識を理解させるため，知識ベースを構築する試みがある。 しかし，高い品質の大規模なデータを低いコストで 獲得するのは難しい，本論文では，クラウドソーシ ングと大規模言語モデルの両方を用いて，ゼロから 知識グラフを構築する手法を提案する。提案手法に 従って，翻訳ではない日本語ならではの知識グラフ を構築した。さらにその知識グラフから小規模な知識モデルを訓練し，その性能について検証した。

## 1 はじめに

人間はなにかを理解したり推論したりするとき，常識を用いる．それと同じように、コンピュータが オープンドメインの QAを解いたり物語や対話を読 んだりするためには，常識が必要となる [1,2]. コ ンピュータに常識を理解させるため，それに向けた 知識ベースを構築する試みがある．多くはクラウド ソーシングによって構築される $[3,4,5]$ が，大規模 な構築には高いコストがかかる。一方，知識を自動 で獲得する手法 $[6,7]$ もあるが，高い品質の知識を 獲得するのは難しい. 近年，知識べースの構築に大規模言語モデル [8] を用いる手法 [9] も提案されて いる.

知識をクラウドワーカに記述してもらうのと大規模言語モデルに生成させるのは，どちらも少しの例 から多くの例を作成してもらうという意味で，本質的に同じことである．異なるのは人間か言語モデル かだけで，いわば後者は前者のアナロジーである。本論文では，人間と言語モデルに対するプロンプト を用いて，段階的に知識グラフを構築する手法を提

図 1 提案手法の概要

案する.

提案手法に従って，イベントに関する常識の知識グラフを構築した. Yahoo!クラウドソーシング1) と HyperCLOVA [10] を併せたゼロからの構築によっ て，英語の単なる翻訳ではない日本語ならではの知識グラフを獲得した。また人間と言語モデルに基づ く推論を比較し，傾向の違いを明らかにした. さら に構築した日本語の知識グラフから知識モデル [11] を訓練し，見たことがないイベントに対する推論の 生成について検証した。2)

## 2 関連研究

ConceptNet [3] はエンティティ同士の関係, ATOMIC [4] はイベント同士もしくはイベント とメンタルステートの関係を扱う知識グラフで ある。これらの知識はクラウドソーシングを通 して，人の手によって書かれている. ATOMIC と ConseptNet をマージして拡張した知識グラフに， ATOMIC-2020 [5] がある. また ASER [6] と TransOMCS [7] もともにイベントに関する知識グラフ だが，これらは大規模なテキストから抽出されて いる.

ConceptNet や ATOMIC はクラウドソーシング

1) https://crowdsourcing.yahoo.co.jp/

2） 構築した知識グラフとそれについて訓練した知識モデル は，公開予定である。

(a) イベント

(b) 影響の推論図 2 イベントと推論を獲得するタスクの例

によって獲得されているのに対して, ASER と TransOMCS はともに自動獲得である. 自動獲得の 場合，大規模な構築は容易だが，テキストに現れな い知識を得ることは難しい。一方，クラウドソーシ ングであれば良質なデータを集められるが，金銭的 にも時間的にもコストが高い.

大規模言語モデルがもつ常識をより小さな言語モ デルに蒸留する試み [9] がある。 そこでは GPT-3 [8] を用いて ATOMICを拡大し，RoBERTa [12]を用い てフィルタを施している.

## 3 知識グラフの構築

本論文では，クラウドソーシングと大規模言語モ デルを用いて，常識推論に関する知識グラフをゼロ から構築する手法を提案する。まずクラウドソーシ ングによって小規模な知識グラフを構築し，それを プロンプトに用いることによって，大規模言語モデ ルがもつ知識を抽出する。提案手法の概要を図 1 に 示す. クラウドソーシングだけを用いてゼロから知識グラフを構築する場合，金銭的にも時間的にもコ ストが高い. クラウドソーシングと大規模言語モデ ルを併用することで，とくに時間的なコストの削減 が期待される。

ATOMIC [4] や ASER [6] のような，イベント関 する知識グラフを日本語でゼロから構築する。一段階目のクラウドソーシングには Yahoo!クラウド ソーシング，二段階目の大規模言語モデルには HyperCLOVA [10]を用いる.

## 3.1 クラウドソーシングによる収集

まずはイベントだけを集め，続いてそれぞれのイ ベントに対する推論を集める.

イベント ある人物 $\mathrm{X}$ や周辺の人物 $\mathrm{Y}$ ，人物 $\mathrm{Z}$ に 関する日常的なイベントをクラウドワーカに記述し表 1 小規模な知識グラフの統計

てもらう．タスクの例を図2(a) に示す。タスクでは 指示と 10 個の例を与え， 1 人あたり 1 個以上のイベ ントを記述してもらう. 重複するイベントは集計時 に取り除く。

推論 獲得したイベントに対して，その前後に対 する推論をクラウドワーカに記述してもらう．推論 する関係には，ATOMIC のそれにならって以下の 4 種類を採用する. ${ }^{3)}$

1. 前にその人に起こっていただろうこと (必要)

2. 後にその人に起こるだろうこと (影響)

3. 前にその人が思っていただろうこと (意図)

4. 後にその人が思うだろうこと (反応)

イベントあたり 3 人に尋放，1 人あたり 1 個の推論を記述してもらう，タスクの例を図 2(b) に示す.重複する三つ組4)を取り除き，日本語構文解析器 $\mathrm{KNP}^{5}$ を用いて推論に構文的なフィルタを施す。6)

クラウドソーシングによって獲得したイベント と推論の統計を表 1 の最左列に示す. コストとし ては，計 547 人のクラウドワーカを雇い，その料金 は 16,844 円であった. 知識グラフの一部を表 2 に 示す.

## 3.2 クラウドソーシングによるフィルタ

獲得した推論に対して，それらの品質をクラウド ワーカに評価してもらう．推論ごとに適切かどうか を 3 人に判定してもらい，多数決をとる．推論の評価は，関係ごとに独立に行う. 適切でないと判定さ れた推論は，フィルタして除去する。

フィルタの統計は表 1 の中 2 列にある。計 465 人 のクラウドワーカを雇い，8,679 円を支払った. 判定における Inner-Annotator Agreement として計算し た Fleiss’s $\kappa$ を，表 1 の最右列に示す.

3）関係は ATOMIC のそれとまったく同じではない．たとえ ば本研究における意図は, ATOMIC における xIntent と xWant からなる.

4）本研究では，あるイベントとそれに対する推論，推論にお ける関係を(イベント,関係, 推論)という三つ組として扱う.

5) https://nlp.ist.i.kyoto-u.ac.jp/?KNP

6）主語が人物 $X$ かどうかや時制が現在かどうか，イベント は 1 文かどうかなどを判定する.

適切でないと判定された推論には，以下の傾向が あった. 一つは (X が二度蒋する, 反応, 今日は仕事 が休みだと思う)のように，前後が逆というもので あった. (Xがネットサーフィンをする, 必要, 海に 着く)のように，自然でないものもあった。

## 3.3 大規模言語モデルによる生成

HyperCLOVA Koya 39B モデルを用いて，知識グラ フを大規模に拡大する. 生成では 10 個のショット を用いて生成を行う. ショットは生成のたびにラン ダムに選ぶ.

イベント 3.1 節で獲得したイベントから，新た なイベントを生成する. ランダムに選んだ 10 個の イベントをショットとして列挙し、モデルに 11 個目を生成させる。10,000 回生成し，重複するイベン トを取り除く。

推論イベントと同じように， 3.1 節と 3.2 節で獲得した推論をショットとして，10 個の推論から 11 個目を生成する．推論は生成したイベントごとに 10 回生成し, 三つ組の単位で重複するものを取り除 く. 生成では、関係ごとに異なるプロンプトを用い る. ショットの三つ組はテンプレートを用いて自然言語に変換し，パターンマッチによってテールを抽出する．ショットのテンプレートを表 3 に示す. 抽出した推論に対して、3.1 節のフィルタを施す.

大規模言語モデルが生成したイベントと推論の統計を表 4 の最左列に示す. また生成した推論を 3.2

(a) 蓋然性

(b) 時間的な幅図 3 影響の推論に関する人間と言語モデルの傾向

節の手順で評価した結果を表 4 の右 2 列に示す. 評価は関係ごとに、生成した推論からランダムに選ん だ 500 個に対して行った. 計 409 人のクラウドワー カを雇い，その料金は 7,260 円であった. 大規模な 知識グラフの一部を表 5 に示す.

構築した知識グラフは，たとえば (Xが会社に行 く, 必要, $\mathrm{X}$ が電車に乗る)のように, 日本の文化が反映されたものとなっている.このことは，異なる言語の似たような資源をただ翻訳するのではなく，対象の言語においてゼロから構築することの意義を示 すとともに，提案する手法の価値を強調している。

## 4 知識グラフの分析

クラウドソーシングの知識グラフと大規模言語モ デルの知識グラフ，すなわち人間と言語モデルが生 み出す推論の傾向を比較する. 本研究では, 比較の 観点に蓋然性と時間的な幅を採用する．4 関係のう ち，代表として影響を検証する。

3.1 節と 3.2 節で獲得した三つ組のヘッドに対し て，3.3節の手順にしたがってテールを 3 個ずっ生成する。影響に関する 554 個の三つ組から，586 個 の推論を獲得した。

蓋然性 あるイベントの後に起こるイベントが， どれくらい起こりやすいかを見る。影響の関係にあ るイベントのペアをクラウドワーカに与え，後のイ ベントがどれくらい起こりやすいかを 3 段階で判定 してもらう．推論あたり 3 人に尋ね，回答の中央値 を採用する。

時間的な幅 あるイベントが起こってから，後に 起こるイベントが起こるまでの時間的な幅を見る.
表 5 大規模な知識グラフの例

} & 関係 & 推論 \\

表 6 知識モデルの評価

表 7 GPT-2 に基づく知識モデルの生成例

蓋然性と同じように，先のイベントが起こってから 後のイベントが起こるまでの時間幅を 5 段階で判定 してもらう． 3 人に尋ね，中央値を採用する.

それぞれの比較を図 3 に示す. 図 3(a) から，人間 が記述した推論の方がわずかに蓋然的であることが わかる. 図 3(b) では，大規模言語モデルが生成する 推論の方がより時間的に幅がある。このことから，人間は影響と聞いて比較的すぐ後に起こるイベント を推論するが，言語モデルは少し遠くのイベントを 見ると言える。

## 5 知識モデルの訓練

3 節の知識グラフを用いてイベント常識に関する 知識モデル [11]を訓練する。 大規模言語モデルがも つ知識をより小規模な知識モデルに蒸留 [9] するこ とで，それらを扱うためのコストが小さくなる.

GPT-2 [13] と T5 [14] の日本語版7) を，構築した知識グラフで Finetuningする。自動評価として，BLEU [15] と BERTScore [16] を計算する. BLEU は，日本語形態素解析器 Juman $++^{8}$ を用いて分かち書きし た単語について計算する. BERTScore は, RoBERTa [12] の日本語版9)を用いて計算する. さらに人手評

7）日本語版には，それぞれ https://huggingface.co/ nlp-waseda/gpt2-small-japanese $と$ https://huggingface. co/megagonlabs/t5-base-japanese-web を採用した.

8) https://nlp.ist.i.kyoto-u.ac.jp/?JUMAN\%2B\%2B

9) https://huggingface.co/nlp-waseda/ roberta-base-japanese価として，推論の尤もらしさをクラウドソーシング によって評価する．推論の起こりやすさを常に・よ く・たまに・決してないの 4 段階で判定してもら う. 推論あたり 5 人のクラウドワーカに判定しても らい，決してない以外の判定が過半数を上回る推論 を尤もらしいものとする。また上記の 4 段階にそれ ぞれ 3 から 0 までのスコアを割り当て, 推論ごとに 平均をとる.

知識グラフの 9 割を訓練データ，1 割をテスト データとする. テストデータに対する自動評価と人手評価の結果を表 6 に示す. 尤もらしさはどちらの 知識モデルも約 9 割で，おおむね適切な推論を生成していると言える。またすべての指標に関して， GPT-2 が T5 を上回っている. GPT- 2 に基づく知識 モデルの生成例を表 7 に示す.

## 6 おわりに

本研究では, クラウドソーシングと大規模言語モ デルの両方を用いて，ゼロから知識グラフを構築す る手法を提案した．提案した手法をもとに，Yahoo! クラウドソーシングと HyperCLOVA [10]を用いて， イベントとメンタルステートの常識に関する知識グ ラフを日本語で構築した，タスクを設計してクラウ ドワーカに記述してもらうのと，プロンプトを設計 して言語モデルに生成させるのは互いに似ているこ とから，それらの差異を調査した。さらに構築した イベントの常識に関する知識グラフから, 同様の常識に関する知識モデルを訓練した。

ゼロから知識グラフを構築する手法や，それをも とに構築した日本語の知識グラフ，あるいは訓練し た知識モデルが，コンピュータの常識推論を促進す ることを望む。

## 謝辞

本研究は LINE 株式会社と早稲田大学の共同研究 により実施した。

## 参考文献

[1] Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant. CommonsenseQA: A question answering challenge targeting commonsense knowledge. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4149-4158, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Deepanway Ghosal, Navonil Majumder, Alexander Gelbukh, Rada Mihalcea, and Soujanya Poria. COSMIC: COmmonSense knowledge for eMotion identification in conversations. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 2470-2481, Online, November 2020. Association for Computational Linguistics.

[3] Robyn Speer, Joshua Chin, and Catherine Havasi. Conceptnet 5.5: An open multilingual graph of general knowledge. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 31, No. 1, Feb. 2017.

[4] Maarten Sap, Ronan Le Bras, Emily Allaway, Chandra Bhagavatula, Nicholas Lourie, Hannah Rashkin, Brendan Roof, Noah A. Smith, and Yejin Choi. Atomic: An atlas of machine commonsense for if-then reasoning. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, No. 01, pp. 3027-3035, Jul. 2019.

[5] Jena D. Hwang, Chandra Bhagavatula, Ronan Le Bras, Jeff Da, Keisuke Sakaguchi, Antoine Bosselut, and Yejin Choi. (comet-) atomic 2020: On symbolic and neural commonsense knowledge graphs. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, No. 7, pp. 6384-6392, May 2021.

[6] Hongming Zhang, Xin Liu, Haojie Pan, Yangqiu Song, and Cane Wing-Ki Leung. Aser: A large-scale eventuality knowledge graph, 2019.

[7] Hongming Zhang, Daniel Khashabi, Yangqiu Song, and Dan Roth. Transomcs: From linguistic graphs to commonsense knowledge. In Christian Bessiere, editor, Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, IJCAI-20, pp. 40044010. International Joint Conferences on Artificial Intelligence Organization, 7 2020. Main track.

[8] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In $\mathrm{H}$. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.
[9] Peter West, Chandra Bhagavatula, Jack Hessel, Jena Hwang, Liwei Jiang, Ronan Le Bras, Ximing Lu, Sean Welleck, and Yejin Choi. Symbolic knowledge distillation: from general language models to commonsense models. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4602-4625, Seattle, United States, July 2022. Association for Computational Linguistics.

[10] Boseop Kim, HyoungSeok Kim, Sang-Woo Lee, Gichang Lee, Donghyun Kwak, Jeon Dong Hyeon, Sunghyun Park, Sungju Kim, Seonhoon Kim, Dongpil Seo, Heungsub Lee, Minyoung Jeong, Sungjae Lee, Minsub Kim, Suk Hyun Ko, Seokhun Kim, Taeyong Park, Jinuk Kim, Soyoung Kang, Na-Hyeon Ryu, Kang Min Yoo, Minsuk Chang, Soobin Suh, Sookyo In, Jinseong Park, Kyungduk Kim, Hiun Kim, Jisu Jeong, Yong Goo Yeo, Donghoon Ham, Dongju Park, Min Young Lee, Jaewook Kang, Inho Kang, Jung-Woo Ha, Woomyoung Park, and Nako Sung. What changes can large-scale language models bring? intensive study on HyperCLOVA: Billions-scale Korean generative pretrained transformers. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3405-3424, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[11] Antoine Bosselut, Hannah Rashkin, Maarten Sap, Chaitanya Malaviya, Asli Celikyilmaz, and Yejin Choi. COMET: Commonsense transformers for automatic knowledge graph construction. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4762-4779, Florence, Italy, July 2019. Association for Computational Linguistics.

[12] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Ro $\{$ bert $\}$ a: A robustly optimized $\{$ bert $\}$ pretraining approach, 2020.

[13] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[14] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[15] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[16] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

## A 生成の詳細

## A. 1 プロンプト

イベントの生成では，ランダムに選んだ 10 個の イベントをショットとして列挙する。ショットには 番号を振る.プロンプトの例を以下に示す.

1. Xがスマホでゲームする

2. Xが花に水をやる

3. XがYを飲み会に誘う

(中略)

11. Xが

推論の生成でも，ランダムに選んだ 10 個の推論 をショットとして列挙する．ただしショットは自然言語で記述し，パターンマッチによって推論を抽出 する．影響の推論を生成するプロンプトの例を以下 に示す.

1. Xがにわか雨にあう。結果として、Xが軒先 で雨宿りする。

2. Xがネットで服を買う。結果として、Xが荷物を受け取る。

3. Xが小腹を空かせる。結果として、Xが菓子 を食べる。

(中略)

11. Xが筆箱を忘れる。結果として、Xが

## A. 2 ハイパパラメータ

生成に関するハイパパラメータを以下のよう に設定する. 生成の最大トークン数を 32 とする.

Softmax では Temperature を 0.5，Top-P と Top-Kをそ れぞれ 0.8 と 0 とする. さらに Repeat Penaltyを 5.0 とする.

## B GPT-2 日本語 Pretrained モデル

知識モデルを構築するにあたって，GPT-2 [13] の日本語版 ${ }^{10)}$ を構築する. 日本語版 Wikipedia と CC-100 の日本語部分を訓練データとして，言語モ デルを学習させる.

ハイパパラメータは GPT-3 Small [8] を参考に設定する．学習率を 6e-4，Weight Decay を 0.1 とする.学習率のスケジューラを Cosine とする。 バッチサ イズは 512 で，訓練は 2 エポック（GPT-3 の約 10\%）行う。 ステップ数の $0.1 \%$ Warmup に充てる.

10）事前学習済みモデルは https://huggingface.co/ nlp-waseda/gpt2-small-japanese で公開している.

## C 知識モデルの詳細

## C. 1 手法

GPT-2 を用いる場合，関係を表す特殊トークンを イベントの後に付与し，それらを入力として推論を 生成する。一方 $\mathrm{T} 5$ では，生成する推論の関係をプ ロンプトとみなし，入力するイベントの前に記述す る. T5 におけるプロンプトを表 8 に示す.

## C. 2 ハイパパラメータ

GPT-2 と T5 の日本語版を Finetuning するにあたっ ては，共通のハイパパラメータを設定する．学習率を 2e-5，Weight Decay を 0.01 とする. Gradient Clippingとして，勾配のノルムを最大 1.0 とする. バッチサイズは 16 で，訓練は 3 エポック行う．ま た生成はすべて Greedy Search で行う.


# 事前学習済み言語モデルの知識に基づく演繹推論能力の調査

款田一真 ${ }^{1}$ 長澤春希 ${ }^{1}$ Benjamin Heinzerling ${ }^{2,1}$ 乾健太郎 ${ }^{1,2}$
1 東北大学 2 理化学研究所
\{kokuta.kazuma.r3, haruki.nagasawa.s8\}@dc.tohoku.ac.jp
benjamin.heinzerling@riken.jp kentaro.inui@tohoku.ac.jp

## 概要

近年，ニューラルネットワークの実用化に伴い，自然言語で記述された簡単な推論の問題に対して高 い正解率で解答することができる言語モデルが複数提案されてきた. しかしながら，ニューラル言語 モデル (LM) による推論の過程は一般的にブラック ボックスであり，LM に論理的な推論過程を再現す る能力があるかどうかは依然として疑問が残されて いる。本稿ではこの疑問に対し，訓練の過程におい てLM が，基礎的な推論能力の 1 つである演繹推論 を行う傾向があることを示すことにより，以降 LM の推論能力を調査する足掛かりとする.

## 1 はじめに

計算機を用いた論理推論の試みは，一階述語論理などの形式表現を用いたものに始まり，現代の 自然言語処理分野に至るまで議論が続く重要な議題の 1 つである. 自然言語処理分野では近年，イ ンターネットの普及による大規模言語情報の蓄積 やニューラルネットワークの実用化・大規模化に 伴い, RNN や Transformer [1] といったニューラル言語モデル (以下，LM) の基盤となるアーキテクチャ が実用化された。そして，それらの実用化に伴い， bAbI tasks [2] などの自然言語で記述された推論問題 を含むべンチマークに対し，高い性能を示すことを 目的とした LM が複数提案されてきた $[3,4,5]$. なお，これらの提案では，訓練時に与えられた推論問題のデータをもとに推論のルールを学習し, 評価時に入力された前提に対して推論を行うことがで きるといった推論能力を LM が獲得できることが前提として想定されている. しかしながら実際には， ブラックボックスである LM による推論の過程を追跡することは困難であり，ベンチマークにおける性能に関わらず，これまでに提案された言語モデルが そのような推論能力を実際に獲得できているかどう
かは未だ明らかにされていない $[6,7]$.

ここで，LM がベンチマークにおいて高い性能を 示すにも関わらず，推論能力の獲得が十分でない可能性があると考える要因としては，(1) モデルに入力として与えられる問題・解答の偏りを用いたり， (2) 入力文を推論訓練前の事前訓練によって獲得し た知識と併用したりすることにより，適切な推論過程を経ずに解答を予測する「ショートカット」が発生することが挙げられる。本研究では図 1 に示すよ うに，推論に必要な前提を，従来のベンチマークに よる手法とは異なり，モデルへの入力ではなく事前学習した知識として与えた上で，結論に関する LM の振る舞いを観察する。すなわち，LM の推論能力 のうち，ショートカットの問題が関与しない部分の 調査を行うものとした。

なお，本研究では LM の推論能力を調査する足掛 かりとして, 演繹推論 (Deductive reasoning, Deduction) に限定した調査を行った。ここで，演繹推論とは 例えば「カラスは鳥である」「全ての鳥は卵を産む」 という前提から「カラスは卵を産む」という結論を 得る推論過程である。またこの推論過程では，帰納推論 (Induction) やアブダクション (Abduction) ${ }^{1)}$ な どの他の論理推論過程と異なり，結論は与えられた 前提のみを用いて断定的に導き出すことができる。 したがって，推論訓練前の事前訓練 (マスク穴埋め など) において獲得した知識を必要としないため, ショートカットの発生と推論過程を切り分けること ができる.

## 2 関連研究

## 2.1 知識に基づく推論

事前学習した知識に基づく推論能力を調査する研究としては, Property Induction Framework [8] が挙げ られる。なお，同論文では LM の帰納推論能力 (付

1） 3 種類の論理推論の説明を付録 $\mathrm{A}$ に示す.

図 1 本研究における調査手法の概要.(a) は前提による事前学習，(b) は結論の予測能力の調査の工程をそれぞれ表して いる。また，工程 (b) における概念 hoge は工程 (a) で出現しないランダムな埋め込みを持つトークンである.

録 A)を調査対象とし，「カラスはfooできる」とい う例から，「ハトはfooできる」といった明示して いない「同じカテゴリへの汎化」が発生するかどう かに主眼を置いている。それに対し，本稿では LM の演繹推論能力を調査対象とし，断定的に導かれる べき結論を予測することができるかどうかに主眼を 置くという点で目的が異なる.

## 2.2 LM による演繹推論

本研究では, 既存の LMを対象とした演繹推論能力の調査を行うことを目的とするが，同様の目的で 行われた既存研究としては，Transformer [1] を対象 とした Soft Reasoner [6] が挙げられる. しかしなが ら同論文では推論に必要な前提の情報をモデルの入力として与えていることから，先述のようなショー トカットの問題が発生しうることが考えられる。ま た同論文中では，本稿において「推論能力」と定義 したような振る舞いをしているかどうかについては 未解決であることが記されている.

## 3 調査手法

## 3.1 用語の定義

本稿で用いるいくつかの重要な用語を定義する。

上位下位関係 ある概念 $c$ がその上位概念 $h$ に属す ることを表す関係，あるいはその関係を記述した文 " $c$ is a $h$ ".

例 : ・"sparrow is a bird"

概念の性質 ある概念 $c$ あるいは上位概念 $h$ が性質 $p$ を持つことを表す関係，あるいはその関係を記述 した文“ $h p$ ”または“ “ $p$ ”.
例 : ・ "bird can grow"
- "sparrow can grow"

前提 演繹推論において，前提として与えられる事象.「上位下位関係」あるいは「上位概念の性質」で 記述される.

例 : - "sparrow is a bird" - "bird can grow"

結論 演繹推論において，与えられた「前提」から 導き出される事象.「上位でない概念の性質」で記述される.

例 : ・ "sparrow can grow"

これらの定義に従うと, 演繹推論は与えられた 「前提」から「結論」を導き出す推論過程と言える。

## 3.2 手法の概要

本研究では，事前学習した前提に関する知識をも とに，LM が結論を演繹的に導き出す振る舞いをど の程度できるかを調査する，調査の手順として，初 めに (a) 推論に必要な前提の集合で LM の事前学習 を行い，その後 (b) それに基づく結論を予測する能力の調査を行う. より具体的には, 図 1 に示すよう に，工程 (a)では与えられた前提の真偽に関する二値分類問題を LM ができるだけ正しく予測できるよ うになるまで学習させ, 工程 (b) では新しく追加学習させた上位下位関係に対して事前学習した上位概念の性質を演繹的に汎化する傾向がみられるかどう かを調査する。なお，工程 (a) および工程 (b) で行っ た実験の詳細については，それぞれ続く4 節および 5 節で説明を行う.

## 3.3 調査対象のモデル

本研究の実験では，調査対象のモデルとして，マ スク穴埋め問題によって事前学習された Transformer ベースのモデルのうち, ALBERT XXLarge v2 [9], BERT large (uncased) [10], RoBERTa large [11] の 3 種
類を選択した. これらのモデルを使用することで，分類問題用のヘッドを用いてモデル内のパラメータ を訓練したのち，ヘッドをマスク穴埋め用のものに 付け替えることでモデルが保有する知識の変化をマ スク穴埋め問題を用いて観察することができる。な お，この観察を行った結果は付録 B に示す.

## 4 前提による事前学習

この工程では，前提の真偽に関する二値分類問題 のデータセットを作成し, LM の事前学習を行った. この節の各小節では, そのデータセットの作成手順，訓練時の実験設定，および LM が与えた前提を どの程度記憶することができたかの評価について説明していく。

## 4.1 事前学習データセットの生成

図 1 (a) に “pre-train set” として示す，前提の真偽 に関する二値分類問題のデータセット (以下，事前学習データセット)を作成した手順を以下に示す.

## データの準備

前提の真偽に関するデータを作成するためには， その構成要素である「上位概念の性質」および「上位下位関係」を定義する必要がある。

本実験ではこれらの定義に，Misra らが Property Induction Framework [8] の実験において作成した概念 の性質を記述したデータセット, および WordNet [12] が提供する上位語の情報を利用した。なお前者は， Misra らが Property Induction Framework [8] の実験 において作成した, Cambridge Centre for Speech, Language, and the Brain が収集した concept property norms データセット [13] からデータ間の矛盾や不正確なデータを除いたデータセットである。なお，こ のデータセットを用いる上で行った前処理を付録 C に示す.

## 上位下位関係

Misra らが作成したデータセットに含まれる概念 (および対応する WordNet の語義情報) と WordNet の 上位語の情報をもとに，概念に対する上位概念を定義した. また，新しく定義した上位概念にも同様に 上位概念を定義していき，概念の上位下位関係を表 す木構造を作成した.これにより，Misra らが定義 した 521 件の概念に対し, 新しく 454 件の上位概念 が定義された. また，作成された木構造の高さは

図 2 上位下位関係の木構造

17，上位概念に対する下位概念数は平均 2.04 ，最大 15 となった. その一部を図 2 に示す.

## 上位概念の性質

本実験では上位概念の性質を定義する必要がある が，上位概念は上記の方法で新しく定義された概念 であることから, Misra らが作成した概念の性質を 記述したデータセットではそれらの性質を定義する ことができない.

ここで，演繹推論の定義から，ある性質について，下位概念での真偽が全て一致する場合, 上位概念で の真偽も一致することを導き出せる (付録 D) ことを 利用し，ある上位概念 $h$ の全ての下位概念 $c$ がある 性質 $p$ を持つ (持たない) 場合，その上位概念 $h$ も性質 $p$ を持つ(持たない)ものとして定義した.

## 生成したデータ

上記で作成した上位下位関係と上位概念の性質は 組み合わせで生成されるため全体数が大きく，また 真偽によってデータ数に大きな偏りがある. そのた め，上記の方法で生成したデータの一部を次のよう にサンプリングすることにより，上位下位関係の真偽の偏りが小さく，かつ全てのデータが他のいずれ かのデータと組み合わせることで演繹推論における 前提を構成することができるような事前学習データ セットを作成した.

・以下の手順を $10 \mathrm{k}$ 回繰り返す、ただし，サンプ リングは全て一様分布に従う.

1. “ $c$ is a $h$ ” の真偽 $l_{\mathrm{ch}}$ を $\{$ True, False $\}$ からサンプル

2. 性質 $p$, 上位概念 $h$ を 1 件ずつサンプル

3. (“ $c$ is a $h$ ”, $l_{\mathrm{ch}}$ ) となる概念 $c$ を 1 件サンプル

4. (“ $c$ is a $\left.h ", l_{\mathrm{ch}}\right),\left(" h p ", l_{\mathrm{hp}}\right)$ の 2 件をデータに追加 (ただし， $l_{\mathrm{hp}}$ は上位概念の性質の真偽)

・そして最後に重複したデータを削除した。

結果，生成されたデータは，(“c is a $h ”$, True) が 1,576 件, (“ $c$ is a $h$ ”, False) が 9,740 件, (“ $h p$ ”, True)
表 1 事前学習の結果

が 3,973 件，(“h $h$ ”, False) が 14,791 件の合計 30,080 件となった。また，このデータを 8:1:1 の割合で分割し，訓練，検証，およびテスト用データとした.

## 4.2 実験設定

上記の方法で生成した訓練データを用いて LM の 訓練を行った. なお，本実験では前提の真偽を LM に記憶させることが目的であるため，訓練時の loss を基準に Early Stopping を行った. より具体的には 訓練の終了条件を, 訓練時の loss が 3 回連続で最良値を更新できなかった場合に終了とした.

## 4.3 結果

訓練した 3 種類の LM のそれぞれについて，訓練終了時の epoch 数と訓練データに対する正解率を表 1 に示す. 結果，全ての LM について正解率が $99 \%$ を超えていることから，それぞれのLM は与えられ た前提の真偽を概ね正確にパラメータ中に保存する ことができたと言える.

## 5 結論の予測

この工程では，LM が保存した前提の情報をも とに結論を予測する能力の調査を行った.ここ で調査方法の一つとして, 事前学習時と同様に Misra らの作成した概念の性質のデータセット (例 : (“sparrow can grow”, True)) に対する正解率を予測能力の指標として評価する方法が考えられる. しかし ながらこの方法では，LM には訓練時に上位概念の 性質のデータ (例：(“bird can grow”, True))を用いた 訓練を行なっていることから，概念-上位概念間の 埋め込みの類似度によりショートカットが発生する ことが考えられる.

そのため本実験では，図 1 (b) に示すように，訓練時に用いられない，ランダム初期化された埋め 込みを持つ新概念 hoge を用いた調査を行った. 全 ての上位概念 $h$ に対して, 新概念の上位下位関係 “hoge is a $h$ ” の有無を記述したデータ 1 件を LM が 正しく予測できるようになるまで訓練し (平均 2.31 epochs)，その後，新概念の性質 “hoge $p$ ” の有無を予表 2 新概念の性質の予測結果

測した。そして，その予測が新概念の上位下位関係 の訓練の前後でどの程度変化したかを調査した.

ここで，LM が新しい上位下位関係のデータの学習において演繹的な振る舞いをすると仮定した場合，新概念の性質は上位概念の性質と真偽の予測が 一致するようになることが考えられる. そのため, “hoge $p$ ” に対応する正解ラベル (真偽) $l$ を上位概念 の性質 “ $h p$ ”の真偽と同じ値として定義した.

なお，前提による事前学習において，LM は概念 の性質の有無についてデータ数に偏りがあるデータ セットによって訓練されているため, $l$ が偽の場合，正解率が高くなる傾向がある．そのため本実験にお ける評価指標には再現率を用いるものとした。

## 5.1 結果

訓練した 3 種類の LM のそれぞれについて, 新概念の性質を予測した結果を表 2 に示す.

結果, 全ての LM について訓練後に再現率が増加 していることが確認できた. したがって LM が事前学習した前提の知識をもとに，新概念の性質を対応 する上位概念の性質から演繹的に汎化する傾向があ ることが示せた.

## 6 おわりに

本研究では，LM の推論能力の調査を行う足掛か りとして，事前学習した知識に基づく LM の推論能力の調査を行い, 調査対象の LM が推論のショート カットの発生を抑制する実験設定においても演繹的 に振る舞う傾向にあることを示した。

また, 本研究の今後の課題としては, パラメータ がランダムに初期化された LM を対象とするなど，事前学習した前提以外の影響がより少ない状態での 調査を行うことや，事前学習後にアブダクションな どの断定的でない推論の影響がどの程度生じている かといった調査を行うことを考えている．また，訓練の過程における新概念の埋め込みの変化を観察す るなど，本研究で示した演繹的な振る舞いが発生し た要因についても調査を進めていく所存である.

## 謝辞

本研究は JSPS 科研費 $21 \mathrm{~K} 17814$ および JST, CREST，JPMJCR20D2 の助成を受けたものです.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, , 2017.

[2] Jason Weston, Antoine Bordes, Sumit Chopra, and Tomás Mikolov. Towards ai-complete question answering: A set of prerequisite toy tasks. In Yoshua Bengio and Yann LeCun, editors, 4th International Conference on Learning Representations, ICLR 2016, San Juan, Puerto Rico, May 2-4, 2016, Conference Track Proceedings, 2016.

[3] Minjoon Seo, Sewon Min, Ali Farhadi, and Hannaneh Hajishirzi. Query-reduction networks for question answering. In International Conference on Learning Representations, 2017.

[4] Hung Le, Truyen Tran, and Svetha Venkatesh. Selfattentive associative memory. In International Conference on Machine Learning, pp. 5682-5691. PMLR, 2020.

[5] Soumya Sanyal, Harman Singh, and Xiang Ren. FaiRR: Faithful and robust deductive reasoning over natural language. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1075-1093, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[6] Peter Clark, Oyvind Tafjord, and Kyle Richardson. Transformers as soft reasoners over language. In Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, IJCAI'20, 2021.

[7] Zhangdie Yuan, Songbo Hu, Ivan Vulic, Anna Korhonen, and Zaiqiao Meng. Can pretrained language models (yet) reason deductively? ArXiv, Vol. abs/2210.06442, , 2022.

[8] Kanishka Misra, Julia Taylor Rayz, and Allyson Ettinger. A property induction framework for neural language models. ArXiv, Vol. abs/2205.06910, , 2022.

[9] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations. ArXiv, Vol. abs/1909.11942, 2019.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[11] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke
Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. ArXiv, Vol. abs/1907.11692, , 2019.

[12] George A. Miller. Wordnet: A lexical database for english. Commun. ACM, Vol. 38, No. 11, p. 39-41, nov 1995.

[13] Marco Baroni, Stefan Evert, and Alessandro Lenci. Esslli 2008 workshop on distributional lexical semantics. Hamburg, Germany: Association for Logic, Language and Information, 2008.
表 3 論理推論

 &  & 「カラスは卵を産む」 & Yes \\

## A 論理推論

3 種類の論理推論について，それぞれの具体例お よび結論が断定的に定まるかどうかを表 3 に示す.

## B LM が持つ知識の変化

本研究の実験において調査したLM はいずれもマ スク穴埋め問題によって事前学習されたモデルであ るため，そのパラメータ中には正解のトークンを予測するため「知識」を保存していることが考えられ る. しかしながら, 本研究の実験において LM が推論によって得る結論は与えた前提のみに基づくこと を想定しているため，その「知識」は推論の結果に 大きく影響しないことを前提としている。

そこで，事前学習データセットに含まれるデータ の最後の単語を [MASK] に置き換えたマスク穴埋め 問題を作成し, LM が予測するトークンの確率分布 が (i) 事前学習の前後 (ii) 新概念の上位下位関係の学習の前後でどの程度変化するかを, top- $k$ の平均の 一致率を用いて調査した. 結果を表 4 に示す. ただ し, (ii) は新概念の上位概念によって訓練後の LM のパラメータがそれぞれ異なるため，そのうちの 10 個をサンプリングした全体の平均を求めた.

その結果, 事前学習の前後では， 30,000 トークン のうち上位 1,000 件の予測結果を比較しても予測さ れるトークンの一致率が $9.69 \%$ と，マスク穴埋め問題のための「知識」の多くが失われている可能性が あることが確認できた。一方で，新概念の上位下位関係の学習は 1 つのデータを平均 2.31 epochs 学習さ せているだけにも関わらず，予測結果の上位 1,000 件のうち $24.09 \%$ が変化しているなど，大きな影響 が生じていることが確認できた。

表 4 知識の変化

## C 概念の性質

Misra らが作成した概念の性質のデータセッ トは，ある概念についてそれが持っている性質 (“c p”, True) については網羅的に記述しているも のの，ある概念についてそれが持っていない性質 (“c p”, False)については (“c p”, True) をもとに一定数をネガティブサンプリングしたものとなってい るため網羅的には記述されていない。上位概念の性質は下位概念の性質によって決まるため, 本実験で は (“c p”, False) が網羅的に記述されている必要があ る.そのため, データセットのうち (“c p”, True) だ けを利用し，(“c p”, False) のデータをその補集合と して再定義した. その結果，概念は 521 件，性質は 3,734 件, (“c p”, True) は 23,107 件, (“c $p$ ”, False) は $521 \times 3,734-23,107=1,922,307$ 件となった.

## D 上位概念の性質の定義

演繹推論の過程は, 概念を $c$, 上位概念を $h$, 性質 を $p$ とすると次のように表せる.

$
\left.\{\begin{array}{l}
\forall c " c \text { is a } h " \wedge " h p " \Rightarrow c c p \\
\forall c " c \text { is a } h " \wedge \neg " h p " \Rightarrow \neg c c p "
\end{array}\right.
$

また，これは次式と同値である.

$
\left.\{\begin{array}{l}
\forall c " c \text { is a } h " \wedge \neg " c p " \Rightarrow \neg " h p " \\
\forall c " c \text { is a } h " \wedge " c p " \Rightarrow " h p "
\end{array}\right.
$

したがって，ある性質について下位概念の真偽が全 て一致する場合, 上位概念の性質の真偽も一致す る. そのため, ある上位概念 $h$ の全ての下位概念 $c$ がある性質 $p$ を持つ (持たない) 場合, その上位概念 $h$ も性質 $p$ を持つ (持たない) ものとして定義した.