# 日本語 Wikipedia からの属性値抽出タスクにおける クエリの有効性検証

坂田将樹 1 中山功太 ${ }^{2,3}$ 竹下昌志 4 ジェプカラファウ ${ }^{5}$ 関根聡 ${ }^{2}$ 荒木健治 ${ }^{5}$
1 北海道大学工学部 2 理化学研究所 AIP 3 筑波大学情報生命学術院
4 北海道大学大学院情報科学院 5 北海道大学大学院情報科学研究院
sakata.masaki.e9@elms.hokudai.ac.jp \{kouta.nakayama, satoshi.sekine\}@riken.jp
\{takeshita.masashi, rzepka, araki\}@ist.hokudai.ac.jp

## 概要

近年，固有表現抽出や属性値抽出において機械読解に基づく手法が高い精度を達成している.し かし，日本語の属性値抽出タスクにおいては機械読解手法におけるクエリの有効性の調査は未だ 無い. そこで本稿では，抽出精度が良いもしくは 悪いクエリを探索し，その特徴を調査する. 実験 では 6 種類のクエリと正答例を含む提案クエリ を使用する。結果，属性値のみ，もしくは正答例 を含むクエリが最良の抽出精度であった. 反対 に，抽出対象の記事タイトルを付加すると抽出精度が低下することが明らかになった。また，追加情報によって予測数と誤予測が減少する作用が 確認された.ソースコードはhttps://github.com/ Language-Media-Lab/shinra_jp_bert/にて公開し ている.

## 1 はじめに

近年，固有表現抽出タスクと属性値抽出タスクに おいて，機械読解に基づく手法が高い精度を達成し ている $[1,2,3,4]$. 機械読解とは，システムが文章 (パッセージ)を読解し，与えられた質問 (クエリ)の 回答を文章中から抽出する技術である。よって，機械読解モデルへの入力として「クエリ」はタスクを 解く上で必要不可欠である. このクエリについて， Li らは [1] 英語を対象とした固有表現抽出タスク において，7 種類のクエリのうち，効果的に固有表現を抽出できるクエリが存在することを明らかに した.

しかしながら，日本語 Wikipedia からの属性値抽出タスクにおいて，効果的に属性值を抽出できるク エリはどのようなものであるのかは不明である．日本語 Wikipedia からの属性値抽出タスクを機械読解 として解いた 3 つの既存研究 $[2,3,4]$ では，3つの 異なるモデルが提案されているが，それぞれ異なる 1 種類のクエリのみを使用した結果が報告されてい る. すなわち，既存研究の結果の有効性が提案モデ ルのアルゴリズムと使用したクエリのいずれに起因 するかが不明である。また，英語を対象としたタス クで得られた知見が，日本語を対象としたタスクで 同様に有効性を示せるかについては自明ではない。

そのため，本研究では各クエリを用いた際の抽出精度の違いを算出することでクエリの有効性を検証 し, 抽出精度が良いもしくは悪いクエリの特徵を調査した. 実験では, 日本語 Wikipedia からの属性値抽出タスクで使用されたクエリと， Li ら [1] が有効性を示したクエリを参考にし，正答例を付加したク エリを使用した (表 1).

## 2 関連研究

機械読解モデルとは，与えられた文章とクエリか ら回答スパンを抽出するモデルである。このモデル は近年，抽出精度の高さが注目され，固有表現抽出 と属性値抽出に使用されている。本節では，日本語 Wikipedia からの属性値抽出タスクと英語を対象と した固有表現抽出タスクの概要と，これらのタスク を機械読解に基づく手法で解いた既存研究について 概観する。

日本語 Wikipedia からの属性値抽出タスクこの タスクでは，Wikipedia 記事のカテゴリごとに「拡張固有表現」[5] で定義されている属性に対応する 值を Wikipedia 記事中から抽出する [6]. 例えば，企業名カテゴリに属する記事「シャネル」の記事本文から，属性「本拠地国」に対応する文字列「フラ ンス」を抽出する。このタスクを機械読解の手法
表 1 本研究で使用するクエリ：1) 属性名: 抽出対象の属性名を付加. 2) 疑問詞:「は？」もしくは「ですか？」を付加. 3) $5 \mathrm{~W} 1 \mathrm{H}$ : 属性に対応した「誰・何・どこ・いつ・いくつ」を付加. 中山 [3] が作成した $5 \mathrm{~W} 1 \mathrm{H}$ のリストを使用. 5) タイ トル: 抽出対象の記事タイトルを付加. 6) 正答例: 学習データ内の正答例を付加.

で解いた既存研究 $[2,3,4]$ では，深層学習モデルと して，DrQA[7]，BERT[8]，RoBERTa[9] が使用され た. 機械読解手法を用いた既存研究のうち，BERT と中間タスクを用いた機械読解システム [4] は日本語 Wikipedia からの属性値抽出タスクにおいて最も 高い抽出精度であった。

英語を対象とした固有表現抽出 $\mathrm{Li}$ ら [1] は英語 を対象とした固有表現抽出タスク $[10,11,12,13,14]$ において，BERT を用いた機械読解手法で他の手法 よりも良い精度を達成した. この研究で使用された データセットのうち, English OntoNotes5.0[14]のみ を対象に 7 種類のクエリを使用して，抽出精度の 比較を行っている。その結果，使用するクエリに よって F 值が変化した. $\mathrm{F}$ 值が最も高かったクエ リは「Find organizations including companies, agencies and institutions」のようなアノテーションガイドライ ンで使用されるような文章であった.

## 3 既存研究の未調査領域

前章の既存研究では以下 2 点が未調査である.

## 3.1 日本語クエリが抽出精度に与える影響 が不明

先行研究 $[2,3,4]$ では機械読解としてタスクを解 く際にそれぞれ異なる 1 種類のクエリのみを付与し ているが，この際与えるクエリの影響については分析していない. $\mathrm{Li}$ ら [1] は英語固有表現抽出タスク においてクエリの影響を述べている. クエリの種別 においては本来のモデル性能を阻害している可能性 があるため, 本研究では日本語 Wikipedia からの属性值抽出タスクにおいてクエリが与える影響につい て調査を行った。

使用するクエリの有効性を調査した研究は英語を 対象とした研究 [1] のみであり，筆者らの知る限り 日本語を対象とした研究は未だない.

## 3.2 使用クエリの有効性は言語横断的にい えるのかが不明

Li ら [1] は「Find organizations including companies, agencies and institutions」における “companies", "agencies”, “institutions” の部分が $\mathrm{F}$ 值向上の理由だと考察 している。その原因として，クエリ内に抽出対象の カテゴリについて記述されていることを挙げてい る. 以上が日本語 Wikipedia からの属性值抽出タス クにも一般化できるかは不明である.

## 4 実験に用いるクエリの種類

3 章の未調査領域を踏まえ，本稿では，既存研究 で使用されたクエリと抽出精度の関係性を統一的に 調査する.また「抽出精度が良いクエリは正答例を 含む」という仮説立て検証する。

## 4.1 既存研究のクエリの性能調査

調査する 6 種類のクエリを表 1 に示す (クエリ 1 からクエリ 6 が該当). 表 1 の各列は, クエリの構成要素を表している．例えばクエリ 6 の場合，記事タ イトル「シャネル」の属性「本拠地国」を抽出する 際「シャネルの本拠地国はどこですか？」となる。

クエリ 1 からクエリ 6 の性能を調べるために，そ れぞれのクエリで学習と評価を行った 6 種類のモデ ルの出力を調査する. このうち既存研究 $[2,3,4]$ で 使用されたものはクエリ 1[4]，クエリ 5[2]，クエリ 6[3] である. クエリ 2, 3, 4 は既存研究で使用されて いないが，「記事タイトルの有無」「疑問詞の有無」「5W1H の有無」が抽出精度に与える影響をそれぞ れ分離して分析するために追加した.

## 4.2 提案クエリ：正答例を追加

Li ら [1] は「Find organizations including companies, agencies and institutions」のうち, “companies", "agencies”, “institutions” の部分が抽出精度が良いクエリ の特徴だと主張している.この“companies”, “agen-
表 2 実験結果 : 各クエリの $\mathrm{F}$ 値. 太字は各カテゴリの中で $\mathrm{F}$ 値の最大値であり，下線は $\mathrm{F}$ 値の最小値を表している.

cies", “institutions”はいわば抽出クラスと抽出対象の 中間概念を示しているため，本タスクでも同様に， この中間概念をクエリに含ませることが考えられ る.しかし，拡張固有表現 [15] には全ての属性値と 属性名に対する中間概念は定義されていないため,適用できない。そこで本稿では，中間概念の代わり に正答例をクエリに付加する．具体的には「創業国 は? 例えば、アメリカ合衆国、日本、シンガポール、 イングランド、イギリス、などです。のように正答例を結合する. 付加する正答例は, 学習データから ランダムサンプル1)により取得する. 取得数は 1,5 , 10 とした. ${ }^{2)}$

## 5 実験

本稿の実験設定は石井 [4] が行った実験に準ずる.

## 5.1 学習用データセット

森羅 2019-JP[6] において配布されたアノテーショ ンデータセット3)を使用する。本データセットは HTML 形式の Wikipedia 記事と属性值のアノテー ションからなる. HTML タグを除去した記事も用意 されているが，本実験では使用しない.

機械読解データセット構築 HTML 形式の Wikipedia 記事をくp>タグを元にパラグラフ単位へ分割し， $P=\left.\{p_{1}, p_{2}, \ldots, p_{l}\right.\}$ を得る.この際，パラグ ラフ $i$ に含まれる属性値を $A_{i}=\left.\{a_{i, 1}, a_{i, 2}, \ldots, a_{i, t}\right.\}$ とする。また，機械読解として扱うため，クエリ $q$ を生成する。

使用クエリ 4 章で定義した合計 9 種類のクエリ を使用する。

データ分割 データセットは学習データ，検証 データ，テストデータをそれぞれ $85 \% ， 5 \% ， 10 \%$ の 割合で分割する.

## 5.2BERT を用いた機械読解モデル

機械読解モデルへの入力は $(p, q)$ であり, 出力は 各単語の BIO タグである. クエリ $q$ の単語トークン


列を $q=\left.\{q_{1}, q_{2}, \ldots, q_{m}\right.\}$, パラグラフ $p_{i}$ の単語トー クン列を $x_{i}=\left.\{x_{i, 1}, x_{i, 2}, \ldots, x_{i, n}\right.\}$ とすると BERTへの 入力系列は以下の通りである。

$
\left.\{[\mathrm{CLS}], q_{1}, q_{2}, \ldots, q_{m},[\mathrm{SEP}], x_{i, 1}, x_{i, 2}, \ldots, x_{i, n}\right.\}
$

[CLS], [SEP] は BERT の特殊トークンである. BERT の最終出力のうち, $x_{i}$ に対応する出力を $\boldsymbol{H}_{i}=$ $\left.\{\boldsymbol{h}_{i, 1}, \boldsymbol{h}_{i, 2}, \ldots, \boldsymbol{h}_{i, n}\right.\}$ とする. $\boldsymbol{H}_{i}$ を出力層に入力し 各 BIO タグの予測スコア $S_{i}=\left.\{s_{i, 1}, s_{i, 2}, \ldots, s_{i, n}\right.\}$ を 得る. $i$ 番目のトークンに対する最終的な予測 $\hat{y}_{i, j} \in\{\mathrm{B}, \mathrm{I}, \mathrm{O}\}$ は $\hat{y}_{i, j}=\operatorname{argmax}_{k} \boldsymbol{s}_{i, j, k}$ により求まる.学習は正答ラベル $Y_{i}=\left.\{y_{i, 1}, y_{i, 2}, \ldots, y_{i, n}\right.\}$ と予測結果 $\hat{Y}_{i}=\left.\{\hat{y}_{i, 1}, \hat{y}_{i, 2}, \ldots, \hat{y}_{i, n}\right.\}$ との交差エントロピー誤差を最小化することで行う.

## 5.3 実験設定

モデルは「NICT BERT 日本語 Pretrained モデル BPE あり」4)を使用する. ハイパーパラメータは石井 [4] の研究と同様にバッチサイズは 32, 学習率 は 2e-05，トークンの最大長は 384 ，ストライドは 128，エポック数は 10 回とする. テスト時には，検証データで $\mathrm{F}$ 值が最も高いモデルを用いた. 入力文字の前処理では, MeCab-Juman 辞書 [16] を用いて形態素に分割した後, subword-nmt[17] で生成された語彙を用いてサブワード化した。

## 5.4 評価指標

森羅 2019-JP により提供される評価用スクリプ ト5)によって算出される属性ごとの $\mathrm{F}$ 値のマイクロ 平均を，各カテゴリの評価指標とする。

## 6 結果と考察

各クエリの実験結果は表 2 の通りである.まず，各クエリによる $\mathrm{F}$ 值の違いを概観する。

クエリ 4，5，6 の結果より，クエリに記事タイト ルを追加すると一貫して抽出精度が悪化した. よっ て，クエリに記事タイトルを使用している 2 の既存研究 $[2,3]$ は, 使用クエリが原因で抽出精度が減少していた可能性がある．記事タイトルを追加する

表 3 正答例の有無による予測数・ $\mathrm{TP}$ 数・FP数の違い. TP 差は増加すれば好ましい， FP 差は減少すれば好ましい。值 の太字は改善した結果を表しており，下線は悪化を表している.

表 4 記事タイトルの有無による予測数・TP 数・FP 数の違い. TP 差は増加すれば好ましい. FP 差は減少すれば好まし い. 值の太字は改善した結果を表しており，下線は悪化を表している。

表 5 正答例 $\times 5$ を付加した際に $\mathrm{F}$ 值が $5 \%$ 以上変化する 属性.

と抽出精度が悪化する原因として，各タイトルと属性値のペアに対してモデルが過学習していると考え られる。また，Wikipedia 本文中には記事タイトル は出てこない場合が多いため，タイトルがタスクを 解く上でヒントになっていないと考えられる.

そして，クエリ 1 と 2 ，クエリ 2 と 3 の結果より， $5 \mathrm{~W} 1 \mathrm{H}$ と疑問詞の有無によって精度はほとんど変化 しないことが明らかになった。

クエリに正答例を追加した場合，わずかながら最良の抽出精度となっているカテゴリもあるが， $3 \%$以上の増加は認められなかった。

予測数 - TP 数 $\cdot \mathrm{FP}$ 数 次に，予測数 $\cdot \mathrm{TP}$ 数 6$) \cdot \mathrm{FP}$数 ${ }^{7)}$ にいて正答例の有無，記事タイトルの有無に よって生じる差をカウントした (表 3，表 4)．結果，記事タイトルや正答例をクエリに含ませた場合にお いて，予測数と FP 数が一貫して減少した. クエリ の変化によってこのような作用が一貫して生じるこ とは筆者らの知る限り報告されていない。記事タイ トルの有無と正答例の有無を比較すると, TP 数の減少が大きく異なり，正答例有りの方が TP の減少を 抑えることができている．正答例を入れることで起

6） True Positive : ラベルとスパンが完全一致している予測

7) False Positive : 誤予測
こる TP 数の減少を抑えた FP 数の減少は，今後適合率の高いモデルを開発する上で活用可能であると考 える。付加する正答例の数に着目すると，予測数・ $\mathrm{TP}$ 数・FP 数の増減とは比例していない. 逆に正答例を 1 つだけ追加した場合でも，予測数と FP 数の 減少が確認される. よって, 予測数と FP 数の減少 には，正答例の数より，追加情報の有無もしくは質 によって決定づけられていることが考察される. し たがって，予測数と FP 数が減少する理由は，クエ リへの「追加情報」が関係していると考えられる。

## 正答例を入れることで抽出精度が変化する属性

表 5 に正答例の有無によって，F 值が $5 \%$ 以上変化 した属性を示した。適合率と再現率の変化について は表は付録 A を参照されたい。一見カテゴリを横断 して強く共通している属性は無いように見えるが， $「 \bigcirc$ 年」「○○人」「○○温泉」等の日付表現，人数，温泉などのスパンの最後の文字列がおよそ共通 なものが向上している。より詳細な共通点や，精度 が増加した理由の分析は今後の課題とする.

## 7 おわりに

本研究では日本語 Wikipedia からの属性値抽出タ スクで使用されたクエリの調査と正答例を含むクエ リの有効性検証を行った。その結果，記事タイトル を含むクエリは抽出精度が悪化し，正答例を含むク エリはわずかながら最良の抽出精度となった. そし て，記事タイトルや正答例を含むことで，予測数と 誤予測が減少する作用が確認された。この作用はク エリに情報を追加したことが原因と考えられるが， より詳しい分析が必要である. また，正答例を付加 することで抽出精度が大きく増加・減少した属性が あることを明らかにしたが，それらの共通点や変化 した理由についても詳しい分析が必要である。

## 謝辞

本研究は JSPS 科研費 JP20269633 の助成を受けた ものです.

## 参考文献

[1] Xiaoya Li, Jingrong Feng, Yuxian Meng, Qinghong Han, Fei Wu, and Jiwei Li. A unified MRC framework for named entity recognition. CoRR, Vol. abs/1910.11476, , 2019.

[2] 石井愛. 機械読解による wikipedia からの情報抽出.言語処理学会第 25 回年次大会 (NLP2019), 2019.

[3] 中山功太. RoBERTa を用いた QA 式属性値抽出シス テム. 森羅 2019-JP 最終報告会資料, 2019.

[4] 石井愛. Stilts を適用した機械読解による wikipedia 記事の構造化. 言語処理学会第 27 回年次大会 (NLP2021), 2021.

[5] Satoshi Sekine. Extended named entity ontology with attribute information. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Morocco, May 2008. European Language Resources Association (ELRA).

[6] 小林暁雄, 中山功太, 安藤まや, 関根聡. Wikipedia 構造化プロジェクト「森羅 2019-JP」. 言語処理学会第 26 回年次大会 (NLP2020), 2020.

[7] Danqi Chen, Adam Fisch, Jason Weston, and Antoine Bordes. Reading wikipedia to answer open-domain questions. CoRR, Vol. abs/1704.00051, , 2017.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. CoRR, Vol. abs/1810.04805, , 2018.

[9] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. CoRR, Vol. abs/1907.11692, , 2019.

[10] George Doddington, Alexis Mitchell, Mark Przybocki, Lance Ramshaw, Stephanie Strassel, and Ralph Weischedel. The automatic content extraction (ACE) program - tasks, data, and evaluation. In Proceedings of the Fourth International Conference on Language Resources and Evaluation (LREC'04), Lisbon, Portugal, May 2004. European Language Resources Association (ELRA).

[11] Stephanie Strassel Julie Medero Christopher Walker and Kazuaki Maeda. The automatic content extraction (ACE) program - tasks, data, and evaluation. Philadelphia 57, 2006. Linguistic Data Consortium.

[12] Tomoko Ohta, Yuka Tateisi, and Jin-Dong Kim. The genia corpus: An annotated research abstract corpus in molecular biology domain. In Proceedings of the Second International Conference on Human Language Technology Research, HLT '02, p. 82-86, San Francisco, CA, USA, 2002. Morgan Kaufmann Publishers Inc.

[13] Erik F. Tjong Kim Sang and Fien De Meulder. Introduction to the CoNLL-2003 shared task: Language-independent named entity recognition. In Proceedings of the Sev- enth Conference on Natural Language Learning at HLTNAACL 2003, pp. 142-147, 2003.

[14] Sameer Pradhan, Alessandro Moschitti, Nianwen Xue, Hwee Tou Ng, Anders Björkelund, Olga Uryupina, Yuchen Zhang, and Zhi Zhong. Towards robust linguistic analysis using OntoNotes. In Proceedings of the Seventeenth Conference on Computational Natural Language Learning, pp. 143-152, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[15]拡張固有表現階層定義 version 8.0.0. http:// liat-aip.sakura.ne.jp/ene/ene8/definition_jp/.

[16] T KUDO. Yet another part-of-speech and morphological analyzer. https://taku910.github.io/mecab/.

[17] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

## A 正答例を入れることで適合率・再現率が変化する属性

正答例を 5 つ付加することで適合率・再現率が変化する属性をカテゴリごとに示した (表 6 , 表 7, 表 8).適合率と再現率の両方の変化が $1 \%$ 未満だった属性は省いている．F 値が $5 \%$ 以上増加した属性は青字， $5 \%$ 以上減少した属性は赤字で示した.

表 6 【企業名】正答例 $\times 5$ を入れることで適合率・再現率が変化する属性.

 & 別名 \\

表 7 【市区町村名】正答例 $\times 5$ を入れることで適合率・再

現率が変化する属性.

 &  \\

表 8 【人名】正答例 $\times 5$ を入れることで適合率・再現率が 変化する属性。

 &  \\


 坂田将樹 1 中山功太 ${ }^{2,3}$ 竹下昌志 4 ジェプカラファウ ${ }^{5}$ 関根聡 ${ }^{2}$ 荒木健治 ${ }^{5}$ 1 北海道大学工学部 2 理化学研究所 AIP 3 筑波大学情報生命学術院 4 北海道大学大学院情報科学院 5 北海道大学大学院情報科学研究院 sakata.masaki.e9@elms.hokudai.ac.jp \{kouta.nakayama, satoshi.sekine\}@riken.jp \{takeshita.masashi, rzepka, araki\}@ist.hokudai.ac.jp  