# 事前学習済み言語モデルからの訓練データ抽出：新聞記事の特性を用いた評価セットの構築と分析

石原祥太郎 ${ }^{1}$
1 株式会社日本経済新聞社
shotaro.ishihara@nex.nikkei.com

## 概要

大規模なデータセットを用いた事前学習済み言語 モデルが数多くのタスクで高い性能を示している一方で，訓練データの一部が抽出可能であるセキュリ ティ面の課題が重要性を増している。本稿では新聞記事の特性を考慮することで，事前学習済み言語モ デルからの訓練データ抽出の議論に向け，現実世界 に即した評価セットが構築できると主張する。最初 に先行研究を踏まえこの課題を整理し，日本語の新聞記事を用いた評価セットを提案する。次いで，新聞記事で独自にモデルを事前学習し，構築した評価 セットに対して複数のモデルで訓練データ抽出を試 みる. 条件ごとの記憶の度合いの変化を確認する実験を通じて，この課題に関するいくつかの知見を示 し，将来展望を述べる。

## 1 はじめに

自然言語処理の躍進を支える「事前学習済み言語 モデル」は，研究領域のみならず産業界でも大きな 注目を集めている。単語の並び方に確率を割り当て る統計的な言語モデルは古くから研究が進み，近年 は大規模なニューラルネットワークに対する巨大な データセットでの事前学習が採用されている。この 拡張は流暢な自然言語生成に繋がり，多くの下流夕 スクにファインチューニングすることで高い性能を 示すと報告された [1]. 時には適切な文字列（プロン プト）を与えると，パラメータ更新なしに下流タス クに適した出力が可能で $[2,3]$, GitHub Copilot ${ }^{11}$ や ChatGPT ${ }^{2)}$ などの社会実装も着実に進行している.

実用化が進むと，セキュリティ面の課題が顕在化 する $[4,5]$. 先行研究は, ニューラルネットワークが 訓練に用いたデータを意図せず記憶し出力する性質を持つと指摘している $[6,7,8]$. Carlini ら [7] は，

事前学習済み言語モデルから多数の文章を生成（デ コーディング）しメンバーシップ推論 [9]をするこ とで，記憶された数多くの情報を抽出できると確認 した.この課題はプライバシーの侵害・実用性の低下・公平性の低下などを招くため，事前学習済み言語モデルの実運用に向けた課題となり得る [10]. 特 に医療・臨床データなど機密性の高い情報で事前学習したモデルを扱う場合，訓練データの漏洩は大き な問題に繋がる可能性がある [11]. 記述内容を記憶 している点で「忘れられる権利」の文脈でも議論が 必要である [12].

一方で，この課題に関する研究領域や産業界での 議論は未だ発展途上である. 多くの研究の実験は定性的な側面にとどまり，いくつかの論文で定量評価 の重要性が提起され始めている $[10,13,14]$. 既存の 研究では，対象とするモデルの事前学習に用いた データセットから一部のデータを取り出す方法で，評価セットを構築している。たとえば Carlini ら [10] は主に GPT-Neo モデル群 [15] を題材に，ウェブス クレイピングなどで収集したテキストを含む合計 825 GB の Pile データセット [16] を利用し，約 5 万 の部分集合を抽出した. 部分集合の選択は推論の計算量の都合から避けられない処理だが，公開済みの 情報を恣意性なく加工し，訓練データ抽出の現実世界のシナリオを想定した評価セットを構築するのは 難しい作業である.

本稿では新聞記事の特性を考慮することで，事前学習済み言語モデルからの訓練データ抽出に関する 課題を議論するため，現実世界に即した評価セット が構築できると提案する. 有料の購読プランを提供 するインターネット上のニュース配信サービスで は，新聞記事は冒頭の数百字のみが一般公開され，続く文章は購読者のみ閲覧可能となっている場合が 多い。そのため，公開部分を事前学習済み言語モデ ルに与え，非公開部分を引き出すという状況を手軽

図 1 本研究で扱う訓練データ抽出の概要. 新聞記事を用いた事前学習済み言語モデルに対して，公開部分をプロンプ トと見なして文字列をデコーディングする．記憶の度合いは，非公開部分を用いて評価する。

に再現できる利点がある. 以降，本研究で取り組む 課題を整理し（2 節），日本語の新聞記事を用いた評価セットを構築する（3 節）。次いで実験を通じて，日本語を題材としたこの課題に関するいくつかの知見を示す (4 節)．具体的には，独自に事前学習した モデルを含む複数のモデルで訓練データ抽出を試み て, 条件ごとの記憶の度合いの変化を確認した. 最後に本稿のまとめと将来展望を述べる（5 節）.

## 2 問題設定

本節では先行研究をもとに，事前学習済み言語モ デルによる訓練データの「記憶」を定義し, 本研究 で取り組む訓練データ抽出について説明する。

## 2.1 「記憶」の定義

事前学習済み言語モデルの「記憶」とは，訓練 データに関する情報を蓄え，時にそのまま出力する 現象を指す。記憶に関する研究は多岐にわたり，定義や前提条件も多様であるが，本稿では GPT 系の モデル群 $[1,2,3,15]$ に代表される自己回帰型の言語 モデルに焦点を当てる.

本研究では，2 種類の記憶の定義を用いる.まず 多くの先行研究 $[7,10,13]$ を参考に, 文字列の部分一致に基づく定義を採用する（Definition 2.1）.この 「逐語記憶（verbatim memorization）」の定義は，事前学習済み言語モデルに対して適切なプロンプトを与 えることで，記憶したデータが出力されると仮定し ている。加えて，文字列の類似性を考慮した「近似記憶 (approximate memorization)」の定義 $[14,17] も$用いる (Definition 2.2). 類似度として Lee ら [14] は トークン単位の一致率, Ippolito ら [17] は BLEU [18] を利用した. 本研究では単語間に空白がない日本語 を扱う点を考慮し，文字単位の編集距離 [19] を採用 する．差分プライバシ [20] や反実仮想 [21] の考え 方に基づく定義もあるが，本研究の対象外とした.

Definition 2.1 (逐語記憶). 長さ $k$ のプロンプト $p$ に対し，ある文字列 $s$ が事前学習済み言語モデル $f_{\theta}$ から生成され, $p$ と $s$ を結合した文字列が訓練に用 いたデータセット内に含まれている場合， $s$ は $f_{\theta}$ に 記憶されている。

Definition 2.2 (近似記憶). 長さ $k$ のプロンプト $p$ に 対し，ある文字列 $g$ が事前学習済み言語モデル $f_{\theta}$ から生成され，g と訓練に用いたデータセット内に 含まれている文字列 $s$ がある類似度の条件を満たす 場合， $s$ は $f_{\theta}$ に近似記憶されている.

## 2.2 訓練データ抽出

本研究では先行研究で多く参照されている Carlini ら [7] と同様の手順で，事前学習済み言語モデルか らの訓練データ抽出を試みる（図 1）。新聞記事は 一般公開されている冒頭の数百字（公開部分）と，購読者のみ閲覧可能の続き（非公開部分）で構成 される。最初に準備のため，公開部分と非公開部分を合わせた全ての文章でモデルを事前学習する.事前学習するモデルも Carlini ら [7] と同じで，主に GPT-2 [2]を利用する。この事前学習済み言語モデ ルに対して，公開部分の文字列をプロンプトと見な し，続く文字列をデコーディングする．デコーディ ング戦略の選択は実験結果に大きな影響を与えない とする報告もあり [10]，ここでは毎回最大の条件付 き確率の単語を生成する貪欲法を用い，一つのプロ ンプトから一つの文字列を生成する。生成された文字列を非公開部分と比較すると，記憶の度合いを定義に基づき評価できる。

## 3 評価セットの構築

本節では，新聞記事を用いた評価セットを構築す る. 本研究では日本経済新聞社のニュース配信サー ビス「日経電子版」3)のデータセット4)を用いた. こ のデータセットでは例外を除き「冒頭 200 文字」か

3) https://www.nikkei.com/

4) https://aws.amazon.com/marketplace/pp/ prodview-7hhnlazdw5rsi

 & - & - \\

表 1 nikkei/gpt2-60epoch で最も逐語記憶の度合いが高かった評価セット（公開・非公開部分）と生成結果.

図 2 評価セット 1000 件の公開部分の文字数のヒストグ ラム. 200 文字程度が大半だが，短い記事も存在する。

図 3 評価セット 1000 件の非公開部分のうち，最初の文末までの文字数のヒストグラム. 9 件が 200 文字を超えた ため可視化の際には省略した.

「記事全体の文字数の半分」の短い方が，公開部分 として定義されている5). 本研究では 2021 年に公開された中で，例外に該当する記事を除いて 1000 記事を評価セットとして利用した（図2）。非公開部分は記事によっては非常に長く, 問題の単純化のた めに最初の文末までを抽出した6）（図 3). 表 1 のよ うに公開部分が句点で終わるのは， 25 記事と少数派 である. Appendix A に示す通り，公開部分は必ずし も句点で終わらず非公開部分の冒頭と接続する.

## 4 実験

本節では，さまざまな条件下での実験を通じ，提案した評価セットから得られた知見を報告する。最初に複数の事前学習済み言語モデルを準備し，次に 訓練データ抽出を試みて条件ごとの記憶の度合いの 変化を分析した。

## 4.1 利用した事前学習済み言語モデル

まず 2010～21 年に公開された日経電子版の記事本文（2.8 GB）を用いて GPT-2を事前学習し,複数の学習エポック数でモデルを保存した. 評価セットの記事も訓練に用いたデータセットに 含まれている. モデルの一覧は表 2 で確認でき， nikkei/gpt2-\{X\}epoch は日経電子版のデータセッ トで Xエポック学習したモデルである。事前学習に は Hugging Face の Transformers [22]，単語の分割に はユニグラム言語モデル [23]を用いた. 事前学習の 細かい設定については Appendix B に示す.

記憶の性質とは関係なく生成した文字列が偶然一致する可能性があるため, 別のデータセットで事前学習されたモデルも比較対象とした. 表 2 のモデル 名は Hugging Face での公開名7) で，パラメタ数が異 なるモデルを選んだ. それぞれ日本語の Wikipedia ${ }^{8)}$ や CC-1009) などで事前学習されている.

## 4.2 訓練データ抽出

準備したモデルを用いて，2.2 節で示した方法で 訓練データ抽出を試みた。生成された結果は，2.1 節での定義に基づき，大きいほど記憶の度合いが大 きい値として次のように定量化した。文字列は全て

表 2 各モデルの記憶の度合い。パラメタ数の B は Billion（10 億），太字は最も類似度が高いことを意味する．

半角に揃えて比較した.
- 逐語記憶 : 前方一致の文字数
- 近似記憶：1-(編集距離/ 文字列の長さ ${ }^{10}$ )

最も長く事前学習したnikkei/gpt2-60epoch で逐語記憶の度合いが 1 番高かった評価セットに対し，一部のモデルの生成例を表 1 に示した. 非公開部分 との前方一致は緑色で強調した. 日経電子版のデー タセットで事前学習したモデルは 15 エポックを超 えた段階で，非公開部分と 48 文字前方一致する文字列を生成した。一方 rinna/japanese-gpt-1b は,公開部分の末尾が句点のためか, 文末を示す特別な トークン</s>を出力した. 2 番目に逐語記憶の度合いが高かった評価セットの生成結果は Appendix A で紹介する。

各モデルの記憶の度合いの集約結果を表 2 に示 す. まずエポック数が増加するにつれ逐語記憶の最大値も増えている. 同一データセットでの繰り返し の学習を通じ, 事前学習済み言語モデルの逐語記憶 の性質が強まっていると示唆された. 日経電子版の データセットを用いた事前学習言語済みモデルは, その他のモデルより長い文字列を逐語記憶してい る. 逐語記憶の平均值でも，概ね同様の傾向が見ら れた. 近似記憶の平均値 - 中央値もエポック数の増加と相関の傾向がある. その他のモデルと比べる と, 1 エポックのみの事前学習では小さい値となっ たが，事前学習を重ねるとより大きな値を示した。

その他のモデルでは, パラメタ数が大きいほど構築した評価セットでの記憶の性質が高まる傾向に あった. 先行研究 [10] でも報告されている通り, パ ラメタ数が大きいほど一般的な記憶の性質が高まる ためだと推察される.

10）比較する 2 つの文字列の長い方

## 5 おわりに

本稿では公開と非公開の部分が共存する新聞記事 の特性を考慮し，事前学習済み言語モデルからの訓練データ抽出に関する課題を議論するための，現実世界に即した評価セットの構築手法を提案した。日本語の新聞記事を用いた評価セットを構築した後,同じデータセットで GPT-2を事前学習し, 複数のモ デルで訓練データ抽出を試みる実験を通じて，提案 した評価セットから得られた知見を報告した.

事前学習済み言語モデルの実用化が進む中，この 課題に関する議論は重要性を増している. 英語以外 の言語特有の論点を特定し検証する目的でも，日本語のデータセットを用いた研究には大きな意義があ る. 将来展望として，まずデータセットの構築や評価の方法の議論を深める必要がある. 本研究では評価セットとして 1000 件ランダムに抽出したが，より 適切な条件に絞る方法も考えられる. 先行研究 [10] は記憶の性質が文字列の重複と関係するという知見 $[13,14]$ に基づき評価セットを構築した. 記憶の 定義や評価指標も検討の余地がある. 先行研究 [7] はパラメタ数が異なる GPT-2 での生成確率の違いな ど，メンバーシップ推論の 6 つの指標を利用した.

評価の枠組みを確立することで，訓練データ抽出 に関連する手法の影響を検証できる。本研究では頜欲法を用いて一つのプロンプトから一つの文字列を 生成したが, 先行研究 $[7,13,14]$ は top-k サンプリン グといったデコーディング戦略の工夫で，多様な文字列の候補を大量に列挙した. 課題の対応策として は，データの削除や重複の排除 $[13,14]$, 差分プライ バシを導入した学習時の工夫 [24], 危険な出力を特定し除外する後処理 [25] などが提案されている.

## 参考文献

[1] Alec Radford, Karthik Narasimhan, Tim Salimans, et al. Improving language understanding by generative pretraining, 2018.

[2] Alec Radford, Jeffrey Wu, Rewon Child, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[3] Tom Brown, Benjamin Mann, Nick Ryder, et al. Language models are Few-Shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[4] Emily M Bender, Timnit Gebru, Angelina McMillanMajor, et al. On the dangers of stochastic parrots: Can language models be too big? In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, pp. 610-623, New York, NY, USA, March 2021. Association for Computing Machinery.

[5] Laura Weidinger, Jonathan Uesato, Maribeth Rauh, et al. Taxonomy of risks posed by language models. In Proceedings of the 2022 ACM Conference on Fairness, Accountability, and Transparency, pp. 214-229, New York, NY, USA, June 2022. Association for Computing Machinery.

[6] Nicholas Carlini, Chang Liu, Úlfar Erlingsson, et al. The secret sharer: Evaluating and testing unintended memorization in neural networks. In 28th USENIX Security Symposium (USENIX Security 19), pp. 267-284, 2019.

[7] Nicholas Carlini, Florian Tramèr, Eric Wallace, et al. Extracting training data from large language models. In 30th USENIX Security Symposium (USENIX Security 21), pp. 2633-2650, 2021.

[8] Huseyin A Inan, Osman Ramadan, Lukas Wutschitz, et al. Training data leakage analysis in language models. In 3rd Privacy-Preserving Machine Learning Workshop, January 2021.

[9] Reza Shokri, Marco Stronati, Congzheng Song, et al. Membership inference attacks against machine learning models. In 2017 IEEE Symposium on Security and Privacy (SP), pp. 3-18, 2017.

[10] Nicholas Carlini, Daphne Ippolito, Matthew Jagielski, et al. Quantifying memorization across neural language models. arXiv preprint arXiv:2202.07646, February 2022.

[11] Eric Lehman, Sarthak Jain, Karl Pichotta, et al. Does BERT pretrained on clinical notes reveal sensitive data? In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 946-959, Online, June 2021. Association for Computational Linguistics.

[12] Sanjam Garg, Shafi Goldwasser, and Prashant Nalini Vasudevan. Formalizing data deletion in the context of the right to be forgotten. In Advances in Cryptology EUROCRYPT 2020, pp. 373-402. Springer International Publishing, 2020.

[13] Nikhil Kandpal, Eric Wallace, and Colin Raffel. Deduplicating training data mitigates privacy risks in language models. In Proceedings of the 39th International Conference on Machine Learning, Vol. 162, pp. $10697-$ 10707. PMLR, 17-23 Jul 2022.

[14] Katherine Lee, Daphne Ippolito, Andrew Nystrom, et al. Deduplicating training data makes language models better. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8424-8445, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[15] Sidney Black, Stella Biderman, Eric Hallahan, et al. GPTNeoX-20B: An Open-Source autoregressive language model. In Proceedings of BigScience Episode \#5 Workshop on Challenges \& Perspectives in Creating Large Language Models, pp. 95-136, virtual+Dublin, May 2022. Association for Computational Linguistics.

[16] Leo Gao, Stella Biderman, Sid Black, et al. The pile: An 800GB dataset of diverse text for language modeling. arXiv preprint arXiv:2101.00027, December 2020.

[17] Daphne Ippolito, Florian Tramèr, Milad Nasr, et al. Preventing verbatim memorization in language models gives a false sense of privacy. arXiv preprint arXiv:2210.17546, October 2022

[18] Kishore Papineni, Salim Roukos, Todd Ward, et al. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[19] Li Yujian and Liu Bo. A normalized levenshtein distance metric. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 29, No. 6, pp. 1091-1095, June 2007

[20] Cynthia Dwork, Frank McSherry, Kobbi Nissim, et al. Calibrating noise to sensitivity in private data analysis. In Theory of Cryptography, pp. 265-284. Springer Berlin Heidelberg, 2006.

[21] Chiyuan Zhang, Daphne Ippolito, Katherine Lee, et al. Counterfactual memorization in neural language models. arXiv preprint arXiv:2112.12938, December 2021.

[22] Thomas Wolf, Lysandre Debut, Victor Sanh, et al. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[23] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[24] Xuechen Li, Florian Tramèr, Percy Liang, et al. Large language models can be strong differentially private learners. arXiv preprint arXiv:2110.05679, October 2021.

[25] Ethan Perez, Saffron Huang, Francis Song, et al. Red teaming language models with language models. arXiv preprint arXiv:2202.03286, February 2022.

 & - & - \\

表 3 nikkei/gpt2-60epoch で 2 番目に逐語記憶の度合いが高かった評価セット（公開・非公開部分）と生成結果.

## A 評価セットと生成の例

nikkei/gpt2-60epoch で 2 番目に逐語記憶の度合 いが高かった評価セットと，実験で用いた各モデル の生成結果を表 3 に示す. 表 1 とは，公開部分が句点の前に終わっている点が異なる. 大まかな傾向は 同じで，日経電子版のデータセットで事前学習した モデルでは，エポック数の増加に伴い逐語記憶・近似記憶の度合いが高まった。1 エポックのみの事前学習で「第 26 回国連気候変動枠組み条約締約国会議（COP26）」という文字列が生成されている.

その他の事前学習済み言語モデルでは，逐語記憶・近似記憶の度合いが小さい. 生成結果に文法的 な誤りはなく違和感は少ないが，表 2 に示したパラ メタ数が比較的小さい rinna/japanese-gpt2-small や rinna/japanese-gpt2-medium には「第 26」を与 えた文脈では間違いとなる「сор24」「сор21」など の略称が含まれた。 パラメタ数が比較的大きい rinna/japanese-gpt-1b では正しい「COP26」の略称になっており，一般的な記憶の性質が高まって いるが，非公開部分と比べて「国連」が欠落した。 abeja/gpt2-large-japanese は, 非公開部分と異な
り先進国首脳会議に言及した。なお三重県伊勢志摩 で開催されたのは第 42 回で，第 26 回は沖縄県名護市だった. 表 1 と 3 の公開・非公開部分はそれぞれ 日経電子版の記事 ${ }^{11)}{ }^{12}$ から引用した。

## B 事前学習の設定

事前学習は Transformers のドキュメント ${ }^{13)}$ を参考に，ハイパーパラメタを設定した。具体的に は学習率を 0.005 , バッチサイズを 8 , weight decay を 0.01，最適化アルゴリズムを Adafactor とした. Transformers と TensorFlow のバージョンは 4.11 と 2.5 を用いた。計算資源には，GPU の A100を 8 個含 む Amazon EC2 P4 Instances の ml.p4d.24xlarge ${ }^{14)}$ を 使った．単語の分割には，語彙数 32000 のユニグラ ム言語モデルを用いた.テキストから直接語彙を生成できるため，日本語や中国語のように，単語間に 明示的な空白がない言語に対して有効である。


# テキスト情報を用いた表構造の修正

鈴木祥子 ${ }^{1}$ 那須川哲哉 ${ }^{1}$ 吉田一星 ${ }^{1}$ Lihong He $^{2}$
1 日本アイ・ビー・エム株式会社 東京基礎研究所 ${ }^{2}$ IBM Research - Almaden
\{e30126,nasukawa,issei\}@jp.ibm.com lihong.he@ibm.com

## 概要

画像やPDF として保存された文書から表の構造 を抽出する試みは多く行われており、特に画像認識 モデルを用いた手法の性能が良いことが知られてい る。しかし、多種多様な表の抽出において、一律に 高い抽出性能を出すことは難しい。本論文では、表 の性質によらず共通して現れる抽出誤りを修正す る、テキスト情報を活用する方法を提案する。多様 な形式の表データセットで評価することで、提案手法がロバストに表構造の抽出性能を向上させること を示す。

## 1 はじめに

文書中の表（テーブル）には有用な情報が豊富に 含まれているが、画像やPDF として保存された表 からそれらを確実に抽出することは容易ではない。文書からの表抽出のタスクは、大きく「表領域の特定」と「表構造の抽出」から成る $[4,2]$ 。ここで表構造とは、各セルが表の $\mathrm{m}$ 列 $\mathrm{n}$ 行に属する、という情報である。セルは空白セルであるか、あるいは文書中の座標と紐づいたテキストを含む。ここでは数字 を含む文字列全般をテキストとして扱う。表構造が 抽出されれば、例えばhtml で表を再構築すること ができる。図 1 は文書中の表と表抽出結果の一例で ある。表抽出タスクを解くアプローチとして、深層学習による画像認識モデルの応用が近年盛んである $[10,7,5]$ 。

しかし、画像認識モデルによるアプローチには 2 つの課題がある。1つは、表領域と表構造の抽出性能が表の形式に大きく依存して変化することであ る。表抽出向け画像認識モデルの訓練データとし て、科学論文や経済レポート中の表などが通常利用 される $[11,10,7]$ 。これらのデータで訓練されたモ デルは、実ビジネスでの適用対象となる請求書やバ ランスシート (例えば $[12,13]$ ) に対しては抽出精度 が高くない。この問題を解決するために対象分野の表を含む文書を用意してモデルをフアインチューニ ングすることは可能であるが、表抽出の訓練データ 作成には多大なアノテーションコストを要するため [9]、多数の表形式に対して都度ファインチューニン グを実施することは現実的ではない。もう 1 つの課題は、従来の画像認識モデルによる表抽出では、表 のセル内テキスト情報が表構造を読み解く手がかり を与えるにも関わらず利用されないことが多い点で ある。

本研究では、テキスト情報を利用して表構造の抽出性能を向上させる方法を検討する。特に、表抽出 の SotA である画像認識モデルによりあらかじめ抽出された表に対して、表構造の誤りを修正する後処理の手法を提案する。提案手法では入力の表構造か ら異常セルを特定し、テキスト情報を用いて可能な 表変形を検討することで表構造の誤りを修正する。実用上、後処理の実行時間は、画像認識モデルによ る表構造の抽出時間に比べて小さいことが望まし い。このため、自然言語処理においても様々な分野 で効果を発揮する深層学習モデルは使用せず、軽量 かつ表データのドメインに依存しない手法を考案し た。種々のドメインの表データでの実験を行い、提案手法を用いることで表構造の抽出性能が画像認識 モデルによる結果よりも向上することが確かめられ た。本手法はまた、修正の対象となる表がどのよう なアプローチによって抽出されたものなのかを問わ ない。例えば人手で作成した表に対して誤りが含ま れている可能性があった時、それを修正するという 場面でも利用が可能である。

## 2 画像認識モデルによる表抽出

文書が html の table タグなどにより構造化されて いないケースでの表抽出は、画像認識モデルの性能 が良いことが知られている。[10]では文書内の表の 領域、及び表内のセルの領域の特定に画像認識モデ ルを利用している。PDF もしくは画像データを入力 とし、出力は表領域、表構造、各セル内テキストの

図 1 左 : 文書中の表の例、中央 : 左の表を [10] で表抽出した出力（赤の囲みはデータセルが行列方向に over-merged と なる誤り)、右 : 中央の表出力を本手法で修正した結果（青の囲みは修正箇所）。橙の囲みは列ヘッダーを表す。

位置情報である。ここではテキストの文字列情報お よび位置情報は、文書がそれらを自明に保持してい る場合には（例えば programmatic PDF の場合）その まま利用し、そうでない場合は OCRによって抽出 されている。しかしテキスト情報は表の領域特定、 あるいは表構造抽出に利用されていない。[7] でも 表構造抽出に画像認識モデルを利用するが、モデル を OCR に依存しない形にデザインしているため、 セル内のテキスト情報は利用されない。

これらの手法は表抽出の性能において SotA と いえる。しかしビジネス上表抽出が必要な請求書 やバランスシートに対しては抽出精度が高くな い。特に、これらの画像認識モデルを適用の際、セ ルの境界検出に失敗すると、最終的な表にセルの over-merged あるいはセルの over-split というタイプ の誤りとなって現れる。over-merged は本来属してい るよりも広い範囲の行または列にわたって複数セル が結合されてしまう誤りである。図 1 の左は文書中 の表の例、中央はこれを画像認識モデルを用いた表抽出ツール [10] で抽出した結果を表す。中央の表に は over-merged な誤りが存在する。セルの over-split とは、単独のセルが複数のセルに分割されてしまう 誤りである。

## 3 提案手法の説明

本手法では、画像認識モデルで利用されてい ないテキスト情報に着目し、2 節で述べたセルの over-merged あるいは over-split の誤りを解消するこ とで表構造の抽出性能を上げることを試みる。本手法は文書内から画像認識モデルなどによって表が抽出された後、後処理として適用することを想定して いる。本手法の入力となる表の持つ情報として以下 を想定する。
- 各セルの文書内座標情報
- token の文書内座標情報

・表の構造（各セルに対する行、列の id）

ここで token とは、空白を含まず一塊になっている 水平方向に並んだ文字の集合を表す。

本手法では十分一般的な仮定として、表は列へッ ダーを持つこととする。列へッダーは各列のラベル を示すセルの並びである。

提案手法が着目する表の性質は、表中の各列にお いて、列ヘッダーを除くセル内のテキストはその列内で類似性を持つことである [1]。例えば図 1 の左 の表では、最上部の橙の囲みが列ヘッダーであり、列ヘッダー以外の第 1 列（左端の列）のセル内テキ ストはアルファベットと数字の組み合わせである。第 2 列以降はどの列も小数点第一位までの数値、あ るいは空の値を表す記号で占められている。本研究 ではこの同一列内類似性を前提とし、類似性を破る セルを異常セルとして抽出する。次に、この異常セ ルを減らす表の変形を探索し表の修正を行う。この 操作を繰り返すことで、入力の表に含まれる誤りを 除去し、表構造の抽出性能を高めることを目的と する。

提案手法は次のステップからなる。

1. 表の列ヘッダーの特定

2. 各セルの異常度スコアを算出

3. 各列ごとにセル内テキストの正当性予測モデル を学習

4. 異常セルの特定

5. 異常セルの変形パターンをスコア化

6. 最大スコアを持つ変形パターンに従い表を修正

7. 4-6 のステップの繰り返し

## 3.1 列ヘッダーの特定

列ヘッダーは列内セル類似性の前提に含まれない ため、除く必要がある。ここでは列ヘッダーは表の 上部の行にのみ含まれると仮定し、また列ごとに、列ヘッダーのテキストはそれ以外のセルのテキスト と特徴が異なること、複数列ヘッダーがある場合に はそのへッダーの組み合わせが各列について一意に なること、を仮定し列へッダーの特定を行う。

## 3.2 セルの異常度スコア算出

2 節で述べたように、画像認識モデルでは表構造抽出においてセルの over-split あるいは over-merged という誤りが発生しやすいという問題がある。この タイプの誤りが起きた場合、同一列に属するセル内 テキスト類似性が壊れる可能性が高い。このような セルを入力の表から検出するために異常度スコアを 次のように定義する。

1. 各セルの形状やテキストを特徴量化

2. 同一列に属するセル集合に対し、各特徴量の外 れ値を決定

3. 外れ値を持つ特徴量をセルごとに特定し、該当 する特徴量の個数をそのセルの異常度スコアと して算出

セルごとの特徴量は Appendix の A 節で示すように セルの形状、あるいはセル内テキストの特徴からデ ザインできる。異常度スコアが閾值を超えたセルを 異常セルとし、異常セルの集合を $Y$ とする。

## 3.3 予測モデルの学習

前述のように本研究では、表内の各列において列 ヘッダーを除くセル内テキストには類似性があるこ とを前提としている。この前提が満たされる状況で は、あるテキストが与えられた時、それがある列内 に属するセルのテキストとして適切かどうか、とい う予測モデルを構築できる。

列 $i$ に属するセル集合のうち、3.2 節で導出した異常セル集合 $Y$ に含まれないセル集合を $X_{i}$ と表す。各列 $i$ の予測モデル $M_{i}$ は入力をテキスト、出力を $[0,1]$ のスコアとして入力テキストの正当性を確率值で表すものを採用する。決定木やロジスティック 回帰などが挙げられる。入力テキストの特徵べク トル導出には各種アプローチがあるが、例えば各 token の以下のような表層上の特徵を利用する。
・大文字のみ

・小文字のみ

・数值のみ

・数值 + ピリオド
- 数値 + 記号
- 文字+数值

・最初の 1 文字が大文字、残りが小文字

・表に複数回出現する token
- 先頭文字

・未尾の文字
- 文字数

学習の際は各セル $x \in X_{i}$ 内のテキストを予測モデ ルの正例とする。負例の入力テキストには、 $x$ の隣接セル（上下セル、左右セル）をランダムに結合さ せたもの、及びその部分文字列を用いる。

## 3.4 異常セルの変形パターンのスコア化

3.2 節で得た異常セル集合 $Y$ から異常度スコアの 最も高いセルを取り出し、変形を検討する。これを すべての異常セル $y \in Y$ が検討されるまで、あるい は決められたステップ数が完了するまで繰り返す。

異常セル $y$ が特定された後、変形パターン候補の 集合 $P(y)$ を導出する。セル $y$ に over-merged の可能性のある時（行 span あるいは列 span の異常がある 時）には、変形パターンは、yの token 列 $\left.\{w_{1}, w_{2}, \ldots\right.\}$ の行あるいは列方向への分割方法を列挙することに なる。セル $y$ に行方向の over-split の可能性がある 時（同一行の空白セルの数に異常がある時）には、 セル $y$ と隣接する上下のセルを結合した token 列を 考えた上で、この結合した token 列の行方向の分割方法を列挙すれば良い。本提案手法では、 $P(y)$ を $y$ の周辺セル情報から推定するアプローチをとる。 Appendix の B 節及び図 2 に算出の詳細と例を示す。

次に、このようにして得られた各変形パター ン候補 $P \in P(y)$ に対し、スコアを計算する。パ ターン $P$ は、分割された token 列である仮想的 なセル $p$ の集合、及び各 $p$ がどの列（行） $j$ に 属するかの情報を持つ。例えば図 2 では分割 パターン 1 において、仮想セル $\left.\{w_{1}, w_{2}\right.\}$ は列 1 に属し、もう一つの仮想セル $\left.\{w_{3}, \ldots, w_{7}\right.\}$ は列 2 と列 3 に属している。 3.3 節の予測モデルから $M_{1}\left(w_{1}, w_{2}\right) \times M_{2}\left(w_{3}, \ldots, w_{7}\right) \times M_{3}\left(w_{3}, \ldots, w_{7}\right)$ はこのパ ターンの正当性の確率值と解釈できる。そこで、列方向に対して over-merged な異常セルの変形パター ン $P$ のスコア $S(P)$ を式 (1) で定義する。ここで、 $p$
表 1 提案手法適用前後の表構造抽出性能比較（数値は F1 スコアのパーセント表示）

は $P$ に含まれる仮想セル、 $j$ は $p$ が属する列番号、 $c$ は正の定数である。

$
S(P)=\sum_{p \in P} \ln \left.\{M_{j}(\text { token sequences in } p)+c\right.\}
$

同様に、行方向に over-merged な異常セル $y$ のパ ターン $P$ のスコアを式 (2) で定義する。行方向の over-merged ではパターン $P$ は列方向と同様に仮想 セル $p$ を要素として持つが、予測モデルはセル $y$ の 属する列 $k$ のものを適用する。

$
S(P)=\sum_{p \in P, k} \ln \left.\{M_{k}(\text { token sequences in } p)+c\right.\}
$

$P(y)$ 中の最大スコアのパターンに従い表を修正す る。このステップを各異常セルに対して繰り返す。

## 4 評価実験

提案手法の効果を確かめるため、画像認識モデル を用いた表抽出手法 [10] の出力結果に対して、本手法を適用した。画像認識モデルは複数の backbone を採用し、結果を比較した。

## 4.1 データと設定

表の形式や内容はドメインに大きく依存するた め、多様な表データセットを収集し評価に利用し た。一部のデータは表抽出タスクのデータとしてア ノテーション付与された状態で公開されている [4]。 その他のデータは web 上で公開された表あるいは非公開の表に対しアノテーションを追加で付与してい る。セルの異常度スコア算出には、Appendix の A 節 で示すセルの特徴量を利用した。セル内テキストの 正当性予測モデルとしては決定木を用いた。予測モ デルにおいて、セル内テキストの特徴ベクトルには 3.3 節で示した token 単位のものを利用する。token ごとの特徴べクトルを導出後、先頭 token の特徴べ クトル、最終 token の特徴ベクトル、全 token の特徴 ベクトルの和、を結合したものを予測モデルの入力 として用いた。

## 4.2 評価結果

表構造の評価指標として、正しい表のセル隣接関係と出力した表のセル隣接関係から算出した F1 スコアを利用する [3]。12 種類の異なるドメイ ンから成るデータセットについて、Resnet50[6] と EfficientNetB0[8] の 2 種の backbone の画像認識モデ ルを用いた表抽出手法 [10]を適用し、表領域の特定、および表構造の抽出結果を得た。この出力され た表を入力として提案手法を適用した結果を表 1 に 示す。なおデータセット D および I が公開データ [4]にあたる。多くのドメインにおいて、どちらの 画像認識モデルでも提案手法適用後の F1 スコアが 適用前より高く、提案手法の有効性が認められた。但し、データセット $\mathrm{G}$ のように適用後にスコアが悪 くなるケースも存在する。このようなケースへの対応が今後の課題である。

## 5 まとめ

本論文では、表構造の誤りを表内のテキスト情報 を用いて修正する手法を提案した。特に、文書から の表抽出タスクにおいて SotA である画像認識モデ ルを用いた手法の後処理として本手法を適用し、各種ドメインの表データに対して表構造の抽出性能が 上がることを示した。

本手法では各列のテキスト表記に類似性があるこ とを前提とする。この前提を満たす表であれば、今回の実験で利用した画像認識モデルの表抽出手法の 出力に限らず、あらゆる表に対して本手法は適用可能である。

本研究では実行速度を重視したため、テキスト情報として表層上の特徵のみを利用し、シンプルな予測モデルを用いたが、深層学習の言語モデルを利用 することで表構造抽出の性能は更に上がることが期待される。

## 参考文献

[1] Taha Ceritli, Christopher K. I. Williams, and James Geddes. ptype: probabilistic type inference. Data Mining and Knowledge Discovery, Vol. 34, No. 3, pp. 870-904, mar 2020.

[2] Liangcai Gao, Yilun Huang, Hervé Déjean, Jean-Luc Meunier, Qinqin Yan, Yu Fang, Florian Kleber, and Eva Lang. Icdar 2019 competition on table detection and recognition (ctdar). In 2019 International Conference on Document Analysis and Recognition (ICDAR), pp. 1510-1515, 2019.

[3] Max C. Göbel, Tamir Hassan, Ermelinda Oro, and Giorgio Orsi. A methodology for evaluating algorithms for table understanding in PDF documents. In Proceedings of the 12th Symposium on Document Engineering, pp. 45-48. ACM, 2012.

[4] Max Göbel, Tamir Hassan, Ermelinda Oro, and Giorgio Orsi. Icdar 2013 table competition. In 2013 12th International Conference on Document Analysis and Recognition, pp. 1449-1453, 2013.

[5] Khurram Azeem Hashmi, Marcus Liwicki, Didier Stricker, Muhammad Adnan Afzal, Muhammad Ahtsham Afzal, and Muhammad Zeshan Afzal. Current status and performance analysis of table recognition in document images with deep neural networks. CoRR, Vol. abs/2104.14272, , 2021.

[6] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. CoRR, Vol. abs/1512.03385, , 2015.

[7] Ahmed Nassar, Nikolaos Livathinos, Maksym Lysak, and Peter Staar. Tableformer: Table structure understanding with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 4614-4623, June 2022.

[8] Mingxing Tan and Quoc V. Le. Efficientnet: Rethinking model scaling for convolutional neural networks. CoRR, Vol. abs/1905.11946, , 2019.

[9] Nancy Xin Ru Wang, Douglas Burdick, and Yunyao Li. Tablelab: An interactive table extraction system with adaptive deep learning. CoRR, Vol. abs/2102.08445, , 2021.

[10] Xinyi Zheng, Douglas Burdick, Lucian Popa, Xu Zhong, and Nancy Xin Ru Wang. Global table extractor (GTE): A framework for joint table identification and cell structure recognition using visual context. In IEEE Winter Conference on Applications of Computer Vision, WACV 2021, Waikoloa, HI, USA, January 3-8, 2021, pp. 697706. IEEE, 2021.

[11] Xu Zhong, Elaheh ShafieiBavani, and Antonio JimenoYepes. Image-based table recognition: data, model, and evaluation. CoRR, Vol. abs/1911.10683, , 2019.

[12]宏田中. 全体最適化戦略に基づく複雑な帳票画像の 自動認識に関する研究.

[13] 藤江翔太郎, 白松俊, 大直忠親, 新谷虎松. フォーマッ 卜分類機構に基づく帳票管理支援システムの試作. 第 76 回全国大会講演論文集, Vol. 2014, No. 1, pp. 303-304, 032014.

## A セルの異常度スコア算出時の特徵量例

3.2 節では各セルの異常度スコアを算出するため の全体的な流れを紹介した。利用される特徵量とし ては、セルの形状を反映したものとして
- 最左端 token の $x$ 座標

・最右端 token の $x$ 座標

・セル行 span

-セル列 span
- セル内 token 数

-セルと同一行の空白セルの数

などがある。またテキストの特徴を反映したものと して、各 tokenに対し

・大文字のみ

・小文字のみ

・数值のみ

・数值 + ピリオド
- 数値 + 記号
- 文字 + 数值
- 最初の 1 文字が大文字、残りが小文字

などが考えられる。例えばセル形状の特徴量、セル 内最初の token の特徵量、セル内最後の token の特徵量を結合して各セルの特徴量として扱うことがで きる。

## B token 列分割パターン算出の詳細

3.4 節では、異常セル $y$ の変形パターンを探索し、各パターンにスコアを付与することを説明した。こ こでは、 $y$ 内の token 列の変形パターンを導出する 方法の詳細を述べる。over-split なセルを変形する際 には、3.4 節で述べたように、一旦隣接セルと merge させた上で分割パターンを考えればよい。そこで以降は token 列の分割方法のみ考えることとする。ま た、以下では token 列の列方向の分割方法のみ説明 する。行方向の分割パターンも同様の方法で抽出で きる。

各 token はは座標情報が紐づいている。token 列 $\left.\{w_{1}, w_{2}, \ldots\right.\}$ を列方向に分割する可能性を考えたと き、座標情報から許される分割と許されない分割と が存在する。このとき、各列に属する異常でないセ ルの座標情報から、列の右端、左端座標を推定し、可能な区切り箇所でのみ token 列の分割を許すこと で、 token 列が長い場合にも効率的な探索が可能に なる。

図 2 token 列分割パターン作成の例

図 2 を例に説明する。列 1 に属する異常でない セル内の token である $w_{8}, w_{9}, w_{13}, w_{17}$ の座標情報か ら、列 1 に属するセルが必ず満たす $x$ 領域が推定で きる。この領域と token $w_{1}, w_{2}, \ldots$ の $x$ 座標を比較し たとき、 $w_{1}, w_{2}$ は必ず列 1 に属していなければなら ないことが分かる。同様の処理で、 $w_{4}, w_{5}$ は必ず列 2 に属し、 $w_{7}$ は必ず列 3 に属する。これらの拘束条件を満たしつつ、 token 列の分割を考えると全て merge された状態となんらかの分割された状態、合 わせて 9 パターンが許される。例えば図 2 の分割パ ターン 2 は、 $\left.\{w_{1}, w_{2}, w_{3}\right.\}$ が列 0 に属するセルであ り、 $\left.\{w_{4}, \ldots, w_{7}\right.\}$ が列 1 および列 2 に属する結合セル である。


# 日本語情報抽出タスクのための LayoutLM モデルの評価

西脇 一尊 1 大沼 俊輔 1 門脇 一真 ${ }^{1}$
1 株式会社日本総合研究所
\{nishiwaki.kazutaka, onuma. shunsuke, kadowaki .kazuma\}@jri.co.jp

## 概要

本研究では，文書のレイアウト情報を活用して 学習・推論を行う LayoutLMを日本語コーパスを 用いて学習を行い，情報抽出タスクにおける性能 の検証を行った. 実験では Wikipedia 記事を用いて LayoutLM の事前学習を行い，2 種類の情報抽出夕 スクのための Fine-tuning を行った. ベースラインの BERT との性能比較を行った結果，一方のタスクに おいてレイアウト情報が性能向上に寄与することが 確認できた。本稿では一連の学習と評価タスクにお ける LayoutLM と BERT の性能について報告を行う.

## 1 はじめに

テキストから意味内容を構造化された形式に変換 する情報抽出技術は，日々大量に作成・更新される テキストに含まれる情報を利活用する上で重要であ る. 電子媒体や紙媒体といった媒体を問わず，文書 には人間が情報を理解しやすくするためのレイアウ トが施されている場合が多い. しかし, 多くの情報抽出に関する研究ではテキスト内容から学習した言語モデルを用いており，特に日本語におけるレイア ウト情報を活用した情報抽出の研究は，英語を対象 とした研究と比べ活発には行われていない.

本研究では，LayoutLM [1]を日本語コーパスを用 いて事前学習を行い, BERT [2] との情報抽出タスク における性能を比較することで, 日本語の情報抽出 タスクにおける LayoutLM の性能を評価する。

## 2 関連研究

本研究で取り扱うレイアウト情報とは，文書に含 まれる単語のその文書中での位置を指す．以下で は，レイアウト情報を考慮できる言語モデルである LayoutLM の概要と, 情報抽出に関する取り組みの 例として, Wikipedia 記事からの情報抽出・構造化を 目的とするプロジェクトについて述べる.

## 2.1 LayoutLM

LayoutLM [1] は，レイアウト情報を考慮できる 言語モデルの 1 つとして知られている. これは BERT [2] のアーキテクチャにトークンの文書中にお ける位置を表現する 2-D Position Embedding を追加 することで，文書のレイアウト情報を考慮できるよ うにした言語モデルである. LayoutLM では,

1. マスクされたトークンを文脈とレイアウト情報から推論を行う Masked Visual-language Model (MVLM)

2. 文書画像をマルチラベル分類1)することで文書 レベルの特徴を学習する Multi-label Document Classification (MDC)

の 2 つの手法を用いて事前学習を行っているが， MDC は必須ではないとされている.

レイアウト情報を学習した LayoutLM は，スキャ ンされた文書やレシート等を元にしたデータセット において Semantic labeling や Slot filling の性能が向上することが報告されており，日本語においても帳票や請求書での情報抽出の精度が既存手法よりも向上することが報告されている2）3）。しかし，日本語 においては一般利用可能な LayoutLM の事前学習済 みモデルが公開されておらず，観測できる範囲では LayoutLM を活用した取り組み事例は限られている.

## 2.2 森羅プロジェクト

森羅プロジェクト [3] は, Wikipedia に記載されて いる知識を計算機が扱えるよう構造化することを目的としているプロジェクトである. 7 回目の評価夕 スク開催となる森羅 20224)では,

1. Wikipedia 記事を拡張固有表現 [4] の階層定義に

1）ラベルの一例 : メール, ニュース記事, 請求書, 論文

2) https://cinnamon.ai/ideas/2021/01/18/20210118. research_006/

3) https://tech.layerx.co.jp/entry/2022/11/24/130000

4) https://2022.shinra-project.info
基づき定義されたカテゴリに分類するタスク

2. カテゴリ毎に定義されている属性値を抽出する タスク

3. 属性值テキストと意味的に一致する Wikipedia 記事との紐付けをするタスク

の 3 タスクが実施されている. 本研究では 2 の属性值抽出タスクを LayoutLM の性能評価に用いる.

## 3 評価タスク設定

日本語での LayoutLM の性能を評価するにあたり，以下の 2 種類の評価タスクを設定した. 以下ではこ れらのタスクについて述べる。

## 3.1 森羅 2022 - 属性値抽出タスク

属性値抽出タスクは，カテゴリ別に分類された Wikipedia 記事から各カテゴリ毎に定義された属性 に基づいて，その特徴を表す属性値を抽出するタス クである．例えば，「スターバックス（カテゴリ：企業名)」の記事から，「創業国」の属性値として“ア メリカ合衆国”というテキストを抽出する。この夕 スクは固有表現抽出と類似しているが，異なる点と して抽出対象の属性がカテゴリや文脈に応じて変化することが挙げられる．例として，「ホセ・コン トレラス (カテゴリ：人名)」の記事では, “アメリ 力合衆国” のテキストは文脈に応じて「国籍」また は「居住地」の属性値とされる. また，属性はカテ ゴリを跨いで重複する場合もあり，例えば「地位職業」という属性は「人名」と「キャラクター名」の 2 種類のカテゴリにおいて設定されている.

森羅 2022 の属性値抽出タスクは，属性値抽出の 対象となる 178 カテゴリに該当する Wikipedia 記事 から属性値を抽出するタスクとなっている．学習用 データでは重複を除くと計 1,700 種類の属性が使用 されている. アノテーションされた記事の件数は 1 カテゴリあたり平均 111 件である.

## 3.2 契約書からの情報抽出

Web ページ以外の文書を対象とする情報抽出性能 について評価するために，企業間の契約書中に記載 されている契約締結日，契約開始・終了日，契約締結社名等の 7 種類の情報を抽出するタスクを設定 した.

このタスクで用いるデータセットは，契約書デー タを取り扱う企業から提供された機密情報を含まな いテンプレートをコーパスとしている。このコーパ
スに対して社名・日付・契約内容といった記載が必要な部分に対してアノテーションを行い，ランダム に選択した実在する企業名やダミーの日付・金額表現等を挿入することで独自に作成されたものであ る.このデータセット（以後，ダミー契約書）の特徵として，「契約金額」を指し示す表現として「金額」「委託料」「請求金額」などの表記摇れや，「業務委託契約」「請負契約」「秘密保持契約」等複数の契約書の種別が存在することが挙げられる.

## 4 実験手順

## 4.1 事前学習データセット

森羅 2022 で配布された 2019 年版 Wikipedia の全記事データ（約 110 万記事分）を用いた.トークン と座標情報の系列を取得するために，まず各記事 データの HTML をブラウザで描画 ${ }^{5}$ し， その画面に 表示されたテキストを別途トークナイズしてから，各トークンのブラウザ上での描画位置（座標情報） を取得した ${ }^{6}$ ) また，LayoutLM ではレイアウト情報 を 0 から 1,000 の範囲に正規化する必要があるため,併せて body 要素全体の座標情報も取得している.

## 4.2 Fine-tuning データセット

属性値抽出タスク 森羅 2022 で配布されている 2019 年版 Wikipedia 記事の一部と, 対応する属性値 のアノテーションを用いた.

事前学習データセットの構築時と同様の手順で，各記事からトークンと座標情報の系列を取得した.本実験では系列ラベリング問題として属性値抽出 タスクを解くため，属性値のアノテーションをオフ セット形式から IOB2 形式に変換し系列に組み込ん だ. この時, オフセット区切りとトークンの区切り が合致しない場合，オフセット区切り位置を含む （より長い範囲が選択される）ようラベルを作成し ている。また，同じテキストに複数のアノテーショ ンがされている場合，配布されたアノテーション ファイルを先頭から読み込んだ際に最初に参照する 属性値を採用した.

アノテーションデータは 9:1 の割合で分割し，そ れぞれを学習・検証データとして用いた. テスト データとして, 森羅 2022 評価タスクのリーダー

5）描画環境：Google Chrome 106.0.5249.119, Ubuntu 20.04.5 LTS，画面サイズ $1,280 * 854$

6）事前に各トークンを nowrap 值を指定した span 要素で囲 み，各要素の BoundingClientRect を座標情報として用いた

図 1: 「研究」が 1 つのトークンであり，「研」と「究」の 間に行折り返しがされた際の「研究」トークンの座標情報の取得イメージ

ボード提出用として指定されている 2021 年版の Wikipedia 記事に対して，同様の手順でトークンと 座標情報の系列を抽出したものを用いた.このテス トデータの正解データは非公開であるため，テスト データでの性能評価はリーダーボード上の公開スコ アをもとに行った.

各ページの系列長が LayoutLM の上限入力長であ る 512 トークンを超える場合，一定の重複範囲（本実験では 128 トークンと設定）を持たせたスライ ディングウィンドウによりデータを分割した.

契約書からの情報抽出タスク 3.2 節で作成した ダミ一契約書の PDF は，PyMuPDF7)を用いて，

1. テキスト全文

2. 文字単位の座標情報と正解ラベル8)

3. 契約書 1 ページ毎のサイズ

の 3 点を抽出した. 1 のテキスト全文はトークナイ ズし，トークンに含まれる各文字の座標情報から トークンの座標情報を求めた。トークン中に行の折 り返しが生じた場合には，折り返し後に続く文字の 高さと幅から折り返しがなかった時の座標情報を算出した。このときの座標情報の取得イメージを図 1 に示す。

本実験では系列ラベリング問題として契約書から の情報抽出タスクを解くため，トークンを構成する 文字に正解ラベルが付与されている場合，対応する ラベルに B タグ・I タグを設定することで IOB2 形式のラベルを作成した. また，トークンの座標情報

7) https://pymupdf. readthedocs.io/en/latest/

8） 3.2 節でダミーデータを挿入する際に情報種類毎に異なる 色を指定しておき，PyMuPDFで取得した色情報をもとに文字毎の正解ラベルを判定した. なお，色情報はモデルの学習 や推論に利用しない
は 3 の契約書ページサイズを用いて 0 から 1,000 の 範囲に正規化をした。

データセットは 8:1:1 の割合で分割し，それぞれ を学習・検証・テストデータとして用いた。

属性値抽出タスクのデータセットと同様に，系列長が 512 トークンを超える場合はスライディング ウィンドウによりデータを分割した。

## 4.3 LayoutLM の事前学習

BERT-base に相当するパラメータサイズの LayoutLM の事前学習を行った．BERT と共通するパ ラメータは東北大 乾研究室が公開している日本語版 BERT ${ }^{9}$ ) の重みで初期化し，2-D Position Embedding はランダムな值で初期化した。

評価タスクにて用いる Wikipedia やダミー契約書 は，文書毎に大きなレイアウトの差異がなく情報抽出に有用な特徴を学習することは難しいと考えたた め，本実験では MVLM のみ実施し MDC は実施しな かった.

ハイパーパラメータは学習ステップ数 100,000 ,学習率 5e-5，バッチサイズ 256 とした。なお，学習率は 1,000 ステップまで Warmup を行い，そこから 線形に減衰させた。

学習は 8 基の NVIDIA A100 SXM4 を用いて行っ ており，後述の Fine-tuning や推論にも同環境を用 いた.

## 4.4 評価のための Fine-tuning

4.3 節で学習した LayoutLM とべースラインの BERT の Fine-tuning は, Hugging Face [5] が公開して いるスクリプト10）をべースに実装した。いずれの モデルも，ハイパーパラメータはグリッドサーチ11) を行い，検証データにおいて最良の micro-F1を達成 したモデルを評価に採用した.

属性値抽出タスクにおいて, LayoutLM と BERT の 性能差が Wikipedia 記事を用いた学習ステップ数の 差によるものではないことを確認するため，事前学習済み BERT に加元，2019 年版 Wikipedia 記事を用 いて 100,000 ステップの Masked Language Model [2] による追加学習を行った BERT+100K モデルを用意

5. 各分割の推論結果をマージ

図 2: 1,200 トークン長のテストデータをスライディング ウィンドウで分割し，推論結果をマージする処理の イメージ. ウィンドウ幅はモデルに入力する際の [CLS] と $[S E P]$ 分を差し引いた値である

し，3つのモデルそれぞれで Fine-tuning を行い性能 を比較した。

## 4.5 テストデータでの推論

スライディングウィンドウによりテストデータが 分割された場合，ウィンドウに含まれる重複範囲は 2 回推論が行われる. 重複範囲の前半は前側ウィン ドウの，後半は後ろ側のウィンドウの推論結果を採用し，最終的に各ウィンドウでの推論結果をマージ して推論結果としている (図2参照).

また，属性值抽出タスクにおいて，3 モデルの推論結果いずれにおいても以下の後処理を行った.

・推論結果 top-5 のうち，カテゴリに存在しない 属性を無視した上で logit が最大の推論結果，ま たは O タグを出力する

・同じ属性の I タグ同士の間に 5 トークン未満の 連続した O夕グが含まれている場合，Oタグを I タグに変換する ${ }^{12)}$

・O タグ，もしくは異なる属性の B またはI タグ に続くIタグを Bタグに変換する

## 5 実験結果

属性値抽出タスク属性値抽出タスクにおける各 モデルの検証データによる実験結果，およびテスト データによる推論結果の公開スコアを表 1 に示す.

契約書からの情報抽出タスク 契約書からの情報抽出タスクにおける各モデルの検証・テストデータ

12）属性値抽出タスクにおいて，属性値中の記号や助詞等が O タグとされる傾向があったため表 1: 属性値抽出タスクにおける実験結果．太字は最良の スコアを表す

 & \multicolumn{2}{c}{ テストデータ } \\
macro-F1 & micro-F1 \\

BERT & 63.03 & 54.75 & 60.14 \\
BERT+100K & 63.27 & 54.82 & 61.28 \\

表 2: 契約書からの情報抽出タスクにおける実験結果.太字は最良のスコアを表す

 &  \\

BERT & $\mathbf{9 7 . 9 4}$ & $\mathbf{9 8 . 6 9}$ \\

による実験結果を表 2 に示す.

## 6 考察

属性値抽出タスクにおいて LayoutLM はベース ラインモデルの性能を上回っているが，これは LayoutLM がレイアウト情報からトークン列が同じ 行や箇条に記述されていることを手がかりに推論す ることができた可能性がある．レイアウト情報が抽出に影響を及ぼしたと考えられる例を付録 $\mathrm{A}$ に記載 する。

契約書からの情報抽出タスクにおいて LayoutLM はベースラインモデルの性能をわずかに下回った が，これは LayoutLM の事前学習を Wikipedia コー パスを用いて行ったためモデルが Wikipedia 記事に 過剰に適合してしまい，ダミ一契約書での性能が BERT と比べて劣った可能性がある。

## 7 おわりに

本研究では，日本語 Wikipedia 記事を用いて LayoutLM の事前学習を行い，2 種類の日本語情報抽出タスクにおける LayoutLM の性能を調査した。 LayoutLM は，契約書からの情報抽出では期待され た性能向上が見られなかったが，Wikipedia 記事か らの属性值抽出タスクの性能が向上したことが示さ れ，日本語文書における情報抽出のアプローチの 1 つとして有望であることがわかった.

今後の展望として，LayoutLMv2 [6] 等の画像情報 も考慮して学習するモデルの利用について検討す る.また，事前学習のデータセットを契約書等の文書に変更した際の性能評価や，有価証券報告書等の レイアウト情報が情報抽出に寄与する可能性のある 文書においてのモデルの性能を調査する。

## 謝辞

本研究は産総研の $\mathrm{AI}$ 橋渡しクラウド（ABCI）を 利用したものです.

## 参考文献

[1] Yiheng Xu, Minghao Li, Lei Cui, Shaohan Huang, Furu Wei, and Ming Zhou. LayoutLM: Pre-training of text and layout for document image understanding. In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery \& Data Mining, KDD '20, pp. 1192-1200, 2020.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[3] Satoshi Sekine, Akio Kobayashi, and Kouta Nakayama. SHINRA: Structuring wikipedia by collaborative contribution. In AKBC, 2019.

[4] Satoshi Sekine, Kiyoshi Sudo, and Chikashi Nobata. Extended named entity hierarchy. In Proceedings of the Third International Conference on Language Resources and Evaluation (LREC'02), 2002.

[5] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, 2020.

[6] Yang Xu, Yiheng Xu, Tengchao Lv, Lei Cui, Furu Wei, Guoxin Wang, Yijuan Lu, Dinei Florencio, Cha Zhang, Wanxiang Che, Min Zhang, and Lidong Zhou. LayoutLMv2: Multi-modal pre-training for visually-rich document understanding. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 2579-2591, 2021.

## A 付録

Wikipedia からの属性値抽出タスクにおいて，レイアウト情報が抽出においてポジティブ・ネガティブに 影響を及ぼしたと考えられる例を示す. なお，付録中の図に含まれるスクリーンショットの一部は Google Chrome 上で幅 $1,280 p x$ で描画したものを用いている.

## A. 1 レイアウト情報がポジティブに影響を及ぼしたと考えられる例

「Adobe Director」『フリー百科事典 ウィキペディア日本語版』. 2017 年 3 月 18 日 (土) 11:14 UTC の一部ス クリーンショットを図 $3 \mathrm{a}$ と，ハイライト箇所における系列ラベリングの結果を図 $3 \mathrm{~b}$ に示す. 系列ラベリン グ結果中のハイライト箇所の通り，LayoutLM のみ正しく “Macromedia Director 7 Shockwave Studio”を単一の 属性值として抽出できた。これは，レイアウト情報から Shockwave Studio のテキストが前方のテキストと同 じ行であることを理解していることから一続きの属性值として抽出できた可能性がある.

## バージョン履歴[編集]
- 1985年 MacroMindVideoWorks
- 1987年 MacroMind VideoWorks II
- 1988年 MacroMind Director 1.0
- 1988年 MacroMind Director 2.0
- 1989年 MacroMind Director 3.0

・1993年 Macromedia Director (バージョン3.1.3)
- 1993年 Macromedia Director 4
- 1996年 Macromedia Director 5
- 1997年 Macromedia Director 6
- 1998年 Macromedia Director 7
- Macromedia Director 7 Shockwave Studio
- Macromedia Director 7 Lite
- 2000年 Macromedia Director 8

(a)「Adobe Director」のスクリーンショット一部（ハイライトに よる強調は著者によるもの）

(b) ハイライト箇所に対する系列ラベリング結果

図 3: レイアウト情報が抽出性能にポジティブに影響を及ぼしたと考えられる例

## A. 2 レイアウト情報がネガティブに影響を及ぼしたと考えられる例

「海軍乙航空隊」『フリー百科事典 ウィキペディア日本語版』 2018 年 5 月 9 日 (水) 07:34 UTC の一部ス クリーンショットを図 $4 \mathrm{a}$ と，ハイライト箇所における系列ラベリングの結果を図 $4 \mathrm{~b}$ に示す. 系列ラベリン グ結果中のハイライト箇所の通り，LayoutLM のみ文章中に現れる “鹿屋飛行場”を属性値として抽出できな かった. 一方で，同ページ内の左寄せされた “鹿屋飛行場” は正しく抽出できている。これは，学習データ に含まれる「基地」の属性値が左寄せの箇条書きで書かれることが多く，レイアウト情報からページの右側 に寄ったテキストを属性値として認識できていない可能性がある.

\begin{abstract}
九州海軍航空隊
九州海軍航空隊 (きゅうしゅうかいぐんこうくうたい) は、昭和19年7月10日に編成された最初の乙航空隊のひとつ。鹿屋飛行場を拠点とし、西日本各地の飛行場を管轄した。沖綶の戦いでの特攻作戦、以後の本土防衛防空作戦に多く関与している。練習航空隊の実施部隊化、練習基地の実施部隊転用などで规模も抎大し、昭和20年3 月20日より「司令官」を隊長とした。20年春以降の乙航空隊細分化によって、管轄区は九州南部に縮小した。

## 主な航空基地
- 鹿屋飛行場 国分飛行場 $\cdot$ 出水飛行場 $\cdot$ 串良飛行場 $\cdot$ 笠之原飛行場 $\cdot$ 岩川飛行場
\end{abstract}

(a)「海軍乙航空隊」のスクリーンショット一部（ハイライトによる強調は著者によるもの）

(b) ハイライト箇所に対する 系列ラベリング結果

図 4: レイアウト情報が抽出性能にネガティブに影響を及ぼしたと考えられる例


# BERT を利用したチャットボットの Q\&A データ自動作成

小原孝介 ${ }^{1}$, 美尾樹 ${ }^{1}$, 多村新平 ${ }^{1}$, 今上博司 ${ }^{1}$, 佐藤功一 ${ }^{1}$, 滝澤一樹 ${ }^{1}$, 竹内孔 ${ }^{2}$
}

1 株式会社三井 E\&S マシナリー 2 岡山大学大学院 自然科学研究科

 }^{1}\left.\{}.$ oharak, tatsuru-mio, tamura_s, hiro4, kochan, kazuki_takizawa\}@mes.co.jp, ${ }^{2}$ takeuc-k@okayama-u.ac.jp
## 概要

本稿では，メールの文章を利用してチャットボッ 卜に搭載する $\mathrm{Q} \& \mathrm{~A}$ データを半自動的に作成するた めの手法を提案する. BERT を利用して Q\&A データ 作成に必要な語句の推論モデルを作成し, Q\&Aデー 夕作成に必要な語句を推論した. また, 語句の推論結果から Q\&A データの Answer となる文章を作成 した場合，過去の応対記録を含む文章が作成されて いることを確認した。

## 1 はじめに

舶用ディーゼル機関は船上で昼夜問わず稼働して おり，技術者に対して日々舶用ディーゼル機関の部品・システムに関する様々な問い合わせが行われて いる. 現在, 技術者が舶用ディーゼル機関に関する 問い合わせに対して主にメールで回答しているため，技術者が不在になると回答を受けるまでに大幅に時間がかかることがある.この不便性を解消するため に，チャットボットを利用した問い合わせ内容を自動回答するシステムを導入している。

チャットボットは質問文を入力するもしくは質問 リストから質問を選択していくと, 対応する回答が 自動的に出力されるプログラムであり，カスタマー サポートや社内問い合わせ等, 様々な場面で使用さ れている[1]. 過去のメールでの問い合わせ事例から 市販のチャットボット向けに Q\&A データを作成で きれば, 顧客は 24 時間いつでもトラブルシュート等 に対応することが可能となり, 当社の舶用ディーゼ ル機関のアフターサービスに対する顧客満足度を向上させることができる.
しかし, 舶用ディーゼル機関を構成する部品・シ ステムは多種多様であるため，自動で回答するチ中 ットボットを実現するためには過去の問い合わせメ 一ルから大量の $\mathrm{Q} \& \mathrm{~A}$ データ作成に必要な文章を抽出する必要があり, 人力で全てを行うには膨大な時間が必要となる。

先行研究では蓄積された文書の再利用に関する手法について様々なアプローチが展開されている．例 えば書内の固有表現を同義語とともに考慮する方法[2川村]や機械学習と人手による整備方法が提案 されている[3 加藤]. また社内でチャットボットを利用した枠組も提案されている[4木下],

本研究では先行研究を参考に $\mathrm{Q} \& \mathrm{~A}$ データ作成に 必要な固有表現に対して深層学習モデルである BERT[5]を利用し，製品に関する問い合わせメール から大量の $\mathrm{Q} \& \mathrm{~A}$ データを半自動的に作成する方法 を提案する。

## 2 メールデータ

弊社ではアフターサービス向上のために, 舶用デ ィーゼル機関に関する当社から送信したメールは全 て自社のサーバーに保管している。メールは質問，回答，再質問，再回答，など複数の内容で構成され ていることが多い. また, 顧客と技師とが直接やり 取り寸るパターンの他に顧客，営業，技師とがやり 取りするパターン存在する。

Q\&A データ作成に利用するメールの例を図 1 に 示す.メールの種類は主に 3 種類存在する.

## ・メール例 1：全て日本語のメール

全て日本語で記載されたメールの例を図 1 に示す.日本人同士で問い合わせ・トラブルに関する議論を

 \\

図 1 Q\&Aデータ作成に使用するメールの種類

行うと,メールは全て日本語で記載される。

・メール例 2: 全て英語のメール

全て英語で記載されたメールの例を図 1 に示す.外国人と問い合わせ・トラブルに関する議論を行う

と,メールは全て英語で記載される.

・メール例 3: 一部の内容が英語のメール

営業, 代理店等が外国人から技術的な問い合わせ もしくはトラブルに関するメールを受け取った時，技術者に受け取ったメールを転送する．転送された メールを基に日本人同士が議論を行うと，メールに は日本語と英語が混在する。

## 3 Q\&A データ作成プロセス

Q\&A データの作成プロセスは下記の通りである.

1. メールの語句に対するラベル付け

メールの語句に対して下記のラベルを付ける.

対象：機器の部品名

事態: 対象の状態

- 処置：事態に対する対応内容

2. 事前学習済み BERT を FineTuning する。

3. FineTuning したモデルを利用して語句の推論を 行う.

4. 推論結果を利用して $\mathrm{Q} \& \mathrm{~A}$ データを作成する.「対象」もしくは「事態」と推論した語句を Question とし，「処置」と推論した語句を含む文章をつなぎ合
わせて Answer の文章とする.

## 4 検証結果

ラベル (対象，事態，処置) の推論結果と推論結果を利用して Q\&A データの Answer となる文章を 作成した例をこの節で示す.

## 4.1 ラベルの推論結果

表 1 に推論結果が ground truth と同じになった語句の一例を示す. 表 1 に示す語句は短い語句もしく はメールで数多く記載されている語句である。これ らの語句は学習データに数多く含まれるため, 推論結果が ground truth と同じになったと考えられる。

表 2 に推論結果が ground truth と異なる語句の一例を示す. 推論結果が ground truth と異なるパターン は下記の通りである。

(1) ground truth としている語句が全く推論されて いない.

(2)「○○の $\times \times$ が $\triangle \triangle$ である」等，助詞や修飾語 を含むことで語句が長くなることがあり，推論し た際に語句の間違い・不足が発生する.

(3) ground truth では 2 語にラベル付けしているが，推論結果は 1 語になる場合 (例 ground truth:「舶用」-対象「ディーゼル」-対象，推論結果：「舶用 ディーゼル」-対象) となる.

 \\

— : Answer文を作成する際に使用した文章 $\square$ : 処置と推論

図 2 ラベルの推論結果から作成した Answer の例

(4) 語句の一部が推論されていない (例 ground truth：部品上部の面，推論結果：部品)，もしくは 推論結果に余分な語句が含まれている(例 ground truth: 表示システム, 推論結果: 画面表示システ 厶)

表 1 推論結果が ground truth と同じになった語句

表 2 推論結果が ground truth と異なる例

 \\

## 4.2 ラベルの推論結果を使用した回答文の作成例

「処置」と推論した語句を含む文章を抽出し，抽出 した文章をつなげることで Q\&A の Answer の文章 を作成した. ラベルの推論から Answer の文章を作成した例を図 2 に示す.メールに記載されている文章を結合して Answer を作成したので，作成した Answer の文章は過去の応対記録を含む文章となっ ている.

## 5 まとめ

BERT を利用してチャットボットへ搭載する Q\&A データの半自動的に生成する手法を提案した. Q\&A データ作成に必要な語句を推論した結果, 短い語句 やメール内に頻繁に出現している語句は正確に推論 されていることを確認した。一方，助詞を含む長い 語句や語句の一部が正しく推論されていない例が存在するため, 助詞や修飾語を含まない語句を推論モ デルに学習させることで正確に語句を推論できる様 にする予定である。

## 参考文献

[1] 独立行政法人情報処理推進機構 AI 白書編集委員会「AI 白書 2019」(2019)

[2] 川村. 共起情報を利用した不具合事象の同義表現獲得. 情報処理学会 Vol.2019-NL-241 (2019)

[3] 加藤, 田中. ユーザフィードバックによる固有表現抽出の精度改善. FIT2020.

[4] 木下, 藨田, 藤原. チャットボットを用いた社内情報サービス管理方式. FIT2020.

[5] Devlin, et. al. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Proceedings of NAACL-HLT, pp. 4171-4186 (2019)


# 舶用ディーゼル機関に関する問い合わせ対応用 チャットボットのための類義語辞書の自動生成

美尾樹 ${ }^{1}$, 小原孝介 ${ }^{1}$, 多村新平 ${ }^{1}$, 今上博司 ${ }^{1}$, 佐藤功一 ${ }^{1}$, 滝澤一樹 ${ }^{1}$, 竹内孔一 ${ }^{2}$
${ }^{1}$ 株式会社三井 E\&S マシナリー ${ }^{2}$ 岡山大学大学院 自然科学研究科
\{tatsuru-mio, oharak, tamura_s, hiro4, kochan, kazuki_takizawa\}@mes.co.jp,
takeuc-k@okayama-u. ac. jp

## 概要

技術的な問い合わせへの対応を行うチャットボッ トが必要とする, 特定の分野における類義語を記述 した辞書データを，自然言語処理技術を利用して自動生成する。マニュアルや実際の問い合わせ記録か ら word2vec 埋め込みモデルを作成し, 同コーパスに 含まれる名詞の分散表現を得た。これらの名詞の間 で類似度が高いものを 2 段階で判定することで，チ ヤットボット用の類義語データを作成する.

## 1 はじめに

舶用ディーゼル機関は，多数のパーツからなる巨大で複雑な機械であり, 過酷な条件で用いられるこ とから, 適切なメンテナンスは欠かせない.しかし， これらの機関は世界各地で昼夜問わず稼働しており，様々なタイミングで発生するトラブルに対し, 技術的な支援を必ずしもタイムリーに提供できていない． さらに, 洋上のような孤立した場所でトラブルが発生した場合, この問題はより深刻になる。

一方で，トラブルに関する問い合わせの内容は必 ずしも高度な内容ではなく, 中にはマニュアルやフ ローチャートを参照すれば対応できてしまうものも 含まれる。こうした問い合わせへの対応を自然言語処理技術の活用により自動化できれば，アフターサ 一ビス担当者のスケジュールや時差に囚われず，夕 イムリーな回答が可能となる. さらに, 定型的な対応が可能なトラブルに対応する負担を軽減すること で，重点的な対応が必要な案件にリソースを振り向 けることが可能となり, 全体としてのアフターサー ビスの質を高めることが可能となると期待できる.技術的な問い合わせへの対応を自動化するにあた っては，従来通りの自然言語による質問が可能なチ ヤットボットを用いるのがサービスの質を維持する [1]ためにも望ましい. 近年, チャットボットの普及 は徐々に進んでおり，現在では対話に用いるデータ
を読み込ませるだけで活用できるパッケージ化され た製品も利用可能となっている[1]. しかしながら， これらのソフトウェアは一般的な分野に対するテキ ストを処理するように調整されており，本研究対象 の船用機関のように高度に技術的で，かつ狭い分野 のテキストを扱うためには，その分野の類義語デー タや専門用語データを与えることが望ましい。しか し，専門家にとって専門用語は日常用いる言葉であ るため用語であると意識することや，網羅的に書き 出すことは簡単ではない.

先行研究において文書に対して word2vec を適用 することで文脈が類似している類義語を獲得する手法が提案されている(例えば[3]). 専門分野の文書に word2vec を適用し，得られたべクトル間の類似度を 利用することで専門分野における類義語を獲得する ことが期待できる.

そこで, 社内に蓄積されてきた専門的な内容の文章データ(コーパス)を形態素解析し, 抽出した単語 を基にチャットボット用辞書データを作成すること を試みた。本稿ではその日本語の類義語辞書データ の自動作成について述べる。

## 2 手法

## 2. 1 コーパス

本手法で用いたコーパスは，（1）ディーゼル機関及び周辺装置の取扱説明書ならびに（2）技術的な 問い合わせとそれに対する返答の電子メール記録に 由来する. (1)の取扱説明書は pdf 形式や docx 形式 のファイルとして存在し, 分量は少ないながらも様式・文章ともに整っている。内容の網羅性・正確性 も比較的高く，重要な専門用語も多く含むものであ ることが期待される．学習で利用できるようにテキ スト部のみを抽出したところ，これらのデータは約 4 MB の大きさとなった (UTF-8, 以下同様)。(2)は,実際のトラブルや整備に関する問い合わせと，それ
(a)

(b)

図 1. (a) 各 word2vec モデルの $t_{\mathrm{w}}=0.7,0.8,0.9$ における抽出類義語数 (b) 各モデルにより抽出された 類義語及び類義語グループ数 (dim.: ベクトル次元数, ep.: エポック数)

に対する回答や提案などを記録した，約 11 年に渡 る電子メールのやり取りである。こちらについては 様式に個人差があり，誤字・脱字もしばしば見られ る.しかし, これらはチャットボットが対応すべき 業務そのものの生の記録であり，分量も比較的大き い $(22 \mathrm{MB})$ ことから, 実践的なデータとしての役割が 期待される．和文・英文が混在していることから，仮名・漢字を含む文のみを抽出し，ルールベースの 処理でメール特有の無関係な記述 (署名や引用され たメールのヘッダを書き出したものなど)を削除し た上で用いた. 最終的に両テキストは合体させ, 約 26 MB の単一のコーパスとした.

## 2.2 複合名詞のリスト

上記のコーパスから，類義語の候補となるすべて の複合名詞を取得した. まず辞書として UniDic (cwj3.1.0)を用いて MeCabによる形態素解析を行い，一続きになっている名詞を収集した.この際, UniDic の詳細な品詞体系を活用し，専門用語によくみられ る長い複合語を収集できるようにした。

## 2.3 単語の埋め込み

類似度算出のための単語埋め込みモデルの構築に は， 2.1 のコーパスで訓練された word2veciを使用し た. 以降, 単語間の類似度の算出にはコサイン類似度を用い, 複数単語からなる語については, 構成す る単語のベクトルの単純な和を語全体のベクトルと した.

なお，当初は複数単語からなる語を含む未知語の

扱いに便利な fastText ${ }^{\mathrm{ii}}$ を使用することも試みたが， おそらくコーパスのサイズ不足のため語の意味的な 類似度を正しく算出できなかった。

## 2. 4 類義語ペアの判定

複合名詞リストの複合語を構成する単語同士の類似度を，上記の埋め込みモデルでのコサイン類似度 として 2 段階で算出し, 類義語と判定される語のぺ アを求めた. 判定の第 1 段階では，リストに含まれ る名詞句のうち, 共通の単語を含むもの同士の類似度を算出し, 一定の閾値 $t_{\mathrm{p}}$ より高ければ第 2 段階に 移る. 第 2 段階では複合名詞の間で共通しない単語同士の類似度を算出し, 一定の閾値 $t_{\mathrm{w}}$ より高ければ これらの単語を類義語ペアと認める.

例を挙げると, 複合名詞のリストに「スティック 防止」と「固着防止」があったとき，まず「スティ ツク防止」と「固着防止」の類似度が $t_{\mathrm{p}}$ より大きく, かつ両名詞句で共通しない「スティック」と「固着」 の類似度も $t_{\mathrm{w}}$ より大きければ，「スティック」と「固着」を類義語と見なすことになる。

## 2.5 類義語グループの出力

全類義語ぺアを辺とするグラフにおいて，各連結成分の頂点の集合を 1 つの類義語グループとする. つまり，ある単語から類義語ぺアをたどって結びっ くすべての単語を類義語グループとする．最終的に これを人手で修正することで，本稿の目的であるチ ヤットボット用類義語辞書を得た.

## 3 実験結果

以上の手順において, $t_{\mathrm{p}}=0.6$ とし, $t_{\mathrm{w}}=0.7,0.8,0.9$ として結果を比較した。また, 類似度の算出に用い る word2vec モデルについても, ベクトル次元数とエ ポック数が異なるものを 4 種用いて比較した.

結果の評価には, 出力された類義語グループのう ち, 妥当と判断されたグループの数と, それに含ま れる単語の総数を用いた。なお，この手法では数十以上の単語が含まれる巨大な類義語グループが出力 されることがあるが，これは類義語辞書作成者の負担を軽減するのに役立たないため妥当ではないと判定した.このようなグループは $t_{\mathrm{w}}$ を高くすることに よって小さなグループに分かれ，活用できるように なる可能性がある.

まず，各モデル・間値 $t_{\mathrm{w}}$ について抽出できた類義語数を図 1a に示した. 次元数・ベクトル数ともに大 きくしたモデル(dim. 300 ep. 50)では，技術的な類義語は抽出されなかった. 残りの 3 つのモデルをエポ ック数の観点から比較すると, エポック数の小さい モデル(5 エポック)では $t_{\mathrm{w}}=0.8$ の時に最も多くの類義語が抽出できているのに対し, エポック数の大き いモデル(100 次元 50 エポック)では $t_{\mathrm{w}}=0.7$ の時に最大になっていることが分かる. これは, エポック数 を深くするほど，類似度が低く算出される傾向を反映していると考えられる. 次元数の観点から比較す ると, 100 次元のモデルはエポック数を増やしても 結果が大きく変化しないのに対して，300 次元のモ デルは全く類義語を抽出できなくなってしまってい る.これは, 今回のコーパスの規模に対して 300 次元が過剰で，過学習を引き起こしたためと考えられ， コーパス数に合ったモデルを使用することの重要性 を示しているii.

を排してモデルごとに集計したものを図 $1 \mathrm{~b}$ に示し た. 語数で見てもグループ数で見ても傾向は変わら ず， 100 次元 5 エポックのものが最も良い結果を示 していることが分かった. しかし, これら 3 のモ デルの結果をさらに統合し, 全モデルの全条件で得 られた類義語の数を求めると, 74 グループ 179 語が 得られた. これはどのモデル単独よりも大きく, 各
モデルがそれぞれ異なった類義語の抽出に成功して いたことを示している。これによれば，条件を変え ながら複数モデルで抽出を行うことで，さらに多く の類義語を得られる可能性があり, より網羅的な類義語辞書を作成する上で役立てられる。

最後に, 得られた類義語グループの例を挙げると (運航, 運行, 航海, 航行, 運転), (ブザー, ゴング), (解放, 開放)などがあった. 第 1 の例は船舶の運航に 関連する語群で，舶用ディーゼル機関にとっては重要かつ近い意味を持った語であるといえる. 第 2 の 例は一見奇妙に思えるが，実際に警告音としてゴン グが用いられている箇所があることから, 狭い分野 での特有の類義語の抽出に成功していることを表し ている. 第 3 の例は同義語ではなく誤字に近いもの だが，電子メールのやり取りでは「開放」を「解放」 と表記する例が非常に頻繁に見られ，その実態を反映した結果になっているといえる。チャットボット に入力する際もこの表記ゆれが発生する可能性は高 く，登録しておいた方が利用者にとって便利である と考えられる。

## 4 まとめ

製品の取扱説明書と，製品に関する技術的な問い 合わせの電子メール記録から単語の埋め込みモデル を作成することで， 150 語以上の類義語の抽出に成功した. この際, モデルのパラメータを変更するこ とで異なった類義語が得られることも明らかになっ た. 今後は, 今回作成した類義語辞書をチャットボ ットに登録して運用を開始するとともに，チャット ボットの運用ログから未登録の類義語を発見するこ とで，継続的に性能を改善できる機構を開発してい きたいと考えている.

## 参考文献

[1] 木下, 薦田, 藤原. チャットボットを用いた社内情報サービス管理方式. FIT2020.

[2] 独立行政法人情報処理推進機構 AI 白書編集委員会「AI 白書 2019」(2019)

［3]伴, 高橋, 位野木. word2vec を用いた同義語辞書自動作成手法の提案と適用評価, 情報処理学会第 81 回全国大会，5N-04（2019）


# 日本語 T5を用いた Entity 辞書の メンション候補自動獲得手法の提案と評価

上田 直生也 ${ }^{1}$ 岡 照晃 ${ }^{1}$ 杉山 雅和 ${ }^{2}$ 邊土名 朝飛 ${ }^{2}$ 小町 守 1
1 東京都立大学 2 株式会社 AI Shift
ueda-naoya@ed.tmu.ac.jp, teruaki-oka@tmu.ac.jp
\{sugiyama_masakazu, hentona_asahi\}@cyberagent.co.jp
komachi@tmu.ac.jp

## 概要

本稿では Entity 辞書エントリのメンション候補を 自動獲得する手法を提案する. タスク指向型の音声対話システムの Entity Linking は， Entity 辞書を知識 ベースとして用いる. Entity 辞書はユーザの発話パ ターンに対応するために，表記摇れや通称，略称な どメンション候補登録が必要となるが，構築にコス トがかかる問題がある。提案手法は，日本語 $\mathrm{T} 5$ を Wikipedia から獲得した見出し語とその同義語対で ファインチューニングし，メンション候補生成モデ ルを構築した. 実験の結果，メンション候補を自動獲得した Entity 辞書を用いると，人手によるメ ンション候補を登録した Entity 辞書と同等の Entity Linking 性能を得られるとわかった。

## 1 はじめに

本稿が扱うタスク指向型の音声対話システムは ユーザ発話に対して応答を生成する. 適切な応答生成の実現には，ユーザ発話に含まれる商品名や 店舗名などの Entity を正確に認識する必要がある. Entityを正確に認識する手法として，テキスト中に 含まれる Entityを知識ベース上に存在するエントリ と紐づける Entity Linking がある. 実際の処理の流 れは，入力されたユーザ発話を自動音声認識シス テムによりテキスト化する。テキストに含まれる Entityを Entity Linking システムを通して，知識べー スにある適切なエントリに紐づける（図1を参照）.

知識ベースには Entity 辞書を用いる. Entity 辞書 は，エントリとそのメンション候補が登録された辞書であり，ユーザの多様な発話パターンに対応する ために，表記摇れや通称，略称などの様々なフレー ズがメンション候補として登録される。しかしなが

図 1 : 想定する音声対話システムのフローチャート

ら，Entity 辞書は Entity Linking を行いたい各ドメイ ンに対して人手で構築する必要があるため，メン ション候補の登録には多大なコストがかかるという 問題がある.

同義語対を自動獲得する手法に関しては，これ まで様々な研究が行われてきた $[1,2,3]$. しかしな がら，タスク指向型の音声対話システムにおける Entity Linking で用いられる Entity 辞書では，ユーザ の多様な発話パターンに対応するために，表記摇れ や通称，略称などの様々なフレーズがメンション候補として必要である。 そのようなメンション候補は 既存手法では獲得することは対象としていない. ま た前述の手法 $[1,2,3]$ では取得したいエントリに関連するドメインにおける大量のコーパスが必要とな る. タスク指向型の音声対話システムの場合，対象 となるドメインのコーパスが少量しか存在しない 場合もあり，メンション候補を獲得できないなどと いった問題がある。

そこで本研究では, Entity 辞書におけるエントリ のメンション候補を自動獲得する手法を提案する。提案手法は, Wikipedia から獲得した見出し語とそ の同義語対を T5 [4] で学習することにより，メン ション候補生成モデルを構築する，入力されたエン トリに対して出力されたメンション候補集合を用い ることで, Entity 辞書のエントリに対するメンショ ン候補を登録した. 実験では，福井県の道路交通情報に関するシステム主導型の対話ログデータと教師 なし Entity Linking システム [5] を使用する. 提案手法でメンション候補を自動獲得した Entity 辞書と人手によるメンション候補登録が行われた Entity 辞書 で精度を比較し，提案手法の有効性を示した。

## 2 関連研究

入力単語に対する同義語獲得は，これまで様々な 研究が行われてきた. 大野ら [6] や Tam ら [7], 柏岡 ら [8] は Wikipedia のエントリーリダイレクトを用い た同義語の獲得を行っている. これらの研究では， Wikipedia のエントリ名とリダイレクト先の見出し 語が同義関係にあることに着目し, 同義語対として 獲得している. しかし, この手法では Wikipedia に 存在しないエントリの同義語は獲得できない問題が ある. 提案手法では獲得した同義語対で言語モデル をファインチューニングし, Wikipedia に存在しな い単語に対してもメンション候補を生成できるモデ ルを構築する。

Transformer [9] 系統の言語モデルを用いて，同義語獲得を行った研究がある. Shen ら [1] は Encoder モデルである BERT [10]を用いることで, Entity と その同義語の集合に対して，新たな同義語を獲得す る手法を提案している. Transformer 系統の言語モデ ルを用いることで同義語獲得を行うといった点では 本研究と同じだが，Encoder-Decoder モデルでメン ション候補を生成した点と Entity に対する同義語の 集合があらかじめ存在しないといった点で異なる.

伴ら [2] は Word2Vec [11] を用いた同義語辞書自動構築手法を提案している. 提案手法は, 抽出対象 である要求仕様書を用いて学習した Word2Vec モデ ルを用いて, 要求仕様書から同義語候補を獲得する ことで同義語辞書を自動構築している. また，酒井 ら [3] は名詞間類似度を考慮することにより原型語 に対する略語を獲得する手法を提案している。これ らの手法では，特定のエントリに対する同義語を獲得するために，大量のドメインデータが必要とな表 1: Wikipedia から獲得した 見出し語とその同義語対の例

る。一方，本研究ではメンション候補を獲得したい エントリに関連する大量のドメインデータが存在し ないという設定の下, Entity 辞書のメンション候補 の自動登録に取り組む.

## 3 手法

本研究では，先行研究 $[6,7,8]$ の手法で獲得され た Wikipedia の見出し語とその同義語対は, 誤表記 や表記ゆれなど広義での同義語が含まれていること に着目した。そのデータを用いて Encoder-Decoder モデルである T5 [4] をファインチューニングした. ファインチューニングすることで，モデルによる誤表記や表記摇れのパターンを踏まえたメンション候補の生成を期待する。

## 3.1 Wikipedia の見出し語と同義語対の 獲得

Wikipedia の見出し語とその同義語対は，先行研究 $[6,7,8]$ と同様の手法で獲得した. 日本語 Wikipedia のダンプデータ 1) としては 2022 年 4 月 25 日時点のもの使用した. 獲得した同義語対にはタイ プミスなどの再現性が低い誤りが存在した. そのた め，各見出し語に対して Wikipedia 全体で 1 回しか 出現しなかった同義語対は, 再現性のないメンショ ン候補として取り除いた. 本研究で獲得した見出し 語とその同義語対の例を表 1 に表す.

## 3.2 メンション候補生成モデル

本研究では，入力されるエントリに対してメン ション候補を自動生成するメンション候補生成モ デルを構築した. Wikipedia の見出し語を入力とし， その同義語対を出力する形式で日本語 $\mathrm{T} 5$ モデルを ファインチューニングすることにより構築する。

出力では，一つのエントリに対して複数のメン

表 2: Wikipedia データセットにおける エントリ数と同義語対の数

ション候補を獲得するため，サンプリングによる 生成を行った。これにより，多様なメンション候補の獲得ができる. サンプリング手法としては， Temperature サンプリングや Top-K サンプリング, Top-p サンプリング [12] が存在する. 本研究では, Temperature サンプリングを用いて，メンション候補 の生成を行う2).

## 4 実験

## 4.1 データ

本研究では，3.1 の手法で構築した Wikipedia の 見出し語とその同義語対のデータセットを用いた. データセットは訓練データと評価データに分割し た. データセットに含まれるエントリ数と同義語対 の数を表 2 に示す. Entity Linking を行う対象として は，福井県の道路交通情報に関するシステム主導型の対話ログデータを用いた [5]. 対話ログデータ は，紐づけ対象となる Entityが正解ラベルとして与 えられる。データセットに含まれるユーザ発話数 は 2,225 件，紐付け対象となる Entity 数は 214 件で ある.

## 4.2 実験設定

チューニングした. ファインチューニングには， Huggingface の公開している Transformers ${ }^{4)}$ のスクリ プトを用いた。 パラメータは学習率を 0.001 ，バッ チサイズを 16 ，エポック数を 10 ，最大系列長を 128 と設定し，10エポック目のモデルを使用した. 全て の入力や出力は SentencePiece [13] を用いてサブワー ド分割を行った。サブワードの語彙サイズは 32,000 に設定した。

2）多様な出力を行う理由として，多様な出力から適している ものを選択するような用途も考えられるためである. これ は，人手による辞書作成では，多様なドメインでメンション 候補を作成できるほど知識を持つと限らないからである。

3) https://huggingface.co/megagonlabs/

t5-base-japanese-web

4) https://github.com/huggingface/transformers表 3: Entity 辞書の統計量

メンション候補の生成では，Entity 辞書の各エン トリに対し 50 個のメンション候補を出力させた. メンション候補集合から重複を取り除き，Entity 辞書に追加した. また, Temperature（T）は，0.1１.0 の間で 0.1 ずつ変動させた. シード値による性能変動が大きいため，複数のシード値で実験を行い， その平均値を結果として示す. シード値は 2022, 2032，2042，2052，2062とした.

メンション候補が登録されていない Entity 辞書 (登録なし)，人手によるメンション候補登録を行っ た Entity 辞書 (人手登録)，メンション候補を自動登録した Entity 辞書（自動登録）を用いた際の Entity Linking 性能について比較を行う，それぞれの Entity 辞書に登録される平均メンション候補数と人手登録 されたメンション候補のカバー率を表 3 に示す。

## 4.3 評価手法

内的評価として，Wikipedia から獲得した見出し 語とその同義語対を真とした場合の評価を行った.完全一致を真陽性とみなした Precision，Recall，F1 スコアを算出して評価を行う．外的評価として，各 Entity 辞書を用いた際の Entity Linking 性能で評価を 行った. Entity Linking システムとしては，音声類似度を考慮した教師なし Entity Linking システム [5] を 用いる。評価指標は Precision at 1（P@1）を用いた。

## 4.4 実験結果

各 Entity 辞書を用いた実験結果を表 4 に示す. 実験の結果, 内的評価では Temperature が小さいほど Precision が高くなり，大きいほど Recall が高くなる という結果が得られた。これは，表 6 が示すよう に Temperature が大きいほど多様なメンション候補 を生成したためである。また，外的評価における 結果では， $\mathrm{T}=0.8$ のとき最も性能の平均値が高くな り，P@1で $84.4 \%$ であった. この結果は人手による メンション候補登録した Entity 辞書を用いる場合と
表 4: 実験結果

比較しても， $-0.5 \%$ となっており，本手法によりメ ンション候補登録した Entity 辞書は人手によるメン ション候補登録した Entity 辞書と同等の性能を得ら れるとわかった. 特に $\mathrm{T}=1.0$ のとき, 最も内的評価 における Recall が高かった Entity 辞書を用いた場合 (Best）の Entity Linkingの P@ 1 は 85.8\%となってお り, 人手でメンション候補登録した Entity 辞書の Entity Linking 性能を上回る結果となった。

## 4.5 考察

内的評価と外的評価の相関 内的評価における Recall と外的評価における $\mathrm{P} @ 1$ の相関を調べた.図 2 は各シード值ごとの内的評価における Recall と 外的評価における $\mathrm{P} @ 1$ をプロットした結果である. ピアソンの積率相関係数を計測したところ， 0.868 となり，強い正の相関があることが確認できた. 結果から，内的評価における Recall と外的評価におけ る P@1には相関があり，メンション候補を自動登録した Entity 辞書の良さは内的評価における Recall を評価することで確認できることを示した。

事例分析 表 5 亿提案手法で構築した Entity 辞書 を用いた Entity Linking が登録なしや人手登録した 辞書と比べて改善・悪化した事例数を示す. Entity Linking が改善される事例が多数存在する一方で,悪化している事例も確認される. Appendix の表 7 と 表 8 にメンション候補を自動登録したことにより

図 2: 内的評価と外的評価における相関 （各シード値ごとの性能をプロットしたときの結果）

Entity Linking が改善・悪化した事例を示す. 改善し た事例では “(主 6) 福井四ヶ浦線” のメンション候補として “県道 6 号” が登録される. そのため, “県道 6 号福井 自然が” の入力に対して, 正しい Entity を返したことが確認できる。このように提案手法を 用いることで Entity 辞書に良いメンション候補が登録され, 正しい Entity が出力できる。一方, 悪化し た事例では “(県 109) 南横地芦原線” のメンション候補として “熊本空港線” が誤って登録される. その ため，“えっと空港”の入力に対して，誤った Entity Linking がされたことが確認できる.

このように, 全体における Entity Linking 性能は向上しているが，個別の事例では誤ったメンション候補の登録による Entity Linking の悪化が確認される. そのため, 生成されるメンション候補をフィルタリ ングする手法などを開発することにより，メンショ ン候補が自動登録された Entity 辞書を用いた Entity Linking の性能が改善すると考えられる.

## 5 おわりに

本研究では, Entity 辞書のエントリにおけるメン ション候補を自動的に獲得する手法を提案した. 実験の結果，提案手法でメンション候補を自動獲得し た Entity 辞書を用いる Entity Linking は，人手でメン ション候補登録した Entity 辞書を用いる場合と同等 もしくはそれ以上の性能を得ることができることを 示した. また, Entity 辞書の質は Wikipedia データに 対する Recall を用いることで評価することが可能で あることを示した. 今後は Entity 辞書を改善するた め, 生成されたメンション候補を自動でフィルタリ ングする手法を検討する。

## 参考文献

[1] Jiaming Shen, Wenda Qiu, Jingbo Shang, Michelle Vanni, Xiang Ren, and Jiawei Han. SynSetExpan: An iterative framework for joint entity set expansion and synonym discovery. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8292-8307, Online, November 2020. Association for Computational Linguistics.

[2] 伴凌太, 高橋宏季, 位野木万里. word2vec を用いた同義語辞書自動作成手法の提案と適用評価. 情報処理学会第 81 回全国大会, pp. 265-266, 2019.

[3] 酒井浩之, 増山繁. 略語とその原型語との対応関係の コーパスからの自動獲得手法の改良. 自然言語処理, Vol. 12, No. 5, pp. 207-231, 2005.

[4] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[5] 邊土名朝飛, 尸田隆道, 友松祐太, 杉山雅和, 東佑樹,下山翔. ユーザ発話と Entity の音声類似度を考慮し た Entity Linking 手法の検討. 人工知能学会全国大会論文集, Vol. JSAI2022, pp. 4Yin255-4Yin255, 2022.

[6] 大野潤一, 柴木優美, 山本和英. Wikipedia のエント リーリダイレクト間を対象にした同義関係抽出. 言語処理学会第 17 回年次大会, pp. 296-299, 2011.

[7] Derek Tam, Nicholas Monath, Ari Kobren, Aaron Traylor, Rajarshi Das, and Andrew McCallum. Optimal transportbased alignment of learned character representations for string similarity. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5907-5917, Florence, Italy, July 2019. Association for Computational Linguistics.

[8] 柏岡秀紀. Wikipedia のリダイレクトから得られる 同義語の分析. 言語処理学会第 13 回年次大会, pp. 1094-1096, 2007.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the 31st International Conference on Neural Information Processing Systems, p. 6000-6010, 2017.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[11] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. CoRR, Vol. abs/1301.3781, , 2013.

[12] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The curious case of neural text degeneration. In International Conference on Learning Representations, 2020.

[13] Taku Kudo and John Richardson. SentencePiece: A sim- ple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

## A 改善・悪化した事例数

表 5: 提案手法で構築した Entity 辞書を用いることで Entity Linking が改善・悪化した事例数 （最も内的評価における Recall が高かった Entity 辞書（Best）との比較）

## B 出力例

表 6: 各 Temperature におけるメンション候補生成例

(“(県 142) 松島若葉線”をエントリとして入力したときの出力結果)

 \\

表 7: メンション候補登録により Entity Linking が改善した例

表 8: メンション候補登録により Entity Linking が悪化した例


# 事前学習済み Transformer モデルのための 注意教師付き Few-shot データの蒸留

前川在 小林尚輝 船越孝太郎 奥村学
東京工業大学
\{maekawa, kobayasi, funakoshi, oku\}@lr.pi.titech.ac.jp

## 概要

本稿では，データセットに含まれる知識を蒸留す ることで，ニューラルネットワークを効率的に学習可能な少量の合成サンプルを構築するデータセット 蒸留に取り組む. 我々は，事前学習済み Transformer モデルを効果的にファインチューニング可能な Few-shot データの獲得のために，Transformer の注意機構における注意確率の教師ラベルを導入する．実験では，4つの異なる言語処理タスクのデータセッ トに対して，BERT を高い性能でファインチューニ ングする注意教師付き Few-shot データが構築可能で あることを示した.

## 1 はじめに

深層学習モデルは，大規模なニューラルネット ワークを大量のデータで学習することで, 自然言語処理を含む様々な分野で高い性能を達成している。 しかし, 深層学習モデルの学習には，学習時間，計算資源，消費エネルギーなどを含む膨大なコストが かかる．そこで，この学習コストを削減するため に，学習後のモデルの性能を維持したまま，学習用 データセットを縮小する試みが行われている.

それらの従来研究の多くは，データ選択に基づく 手法を用いている。データ選択では，クラスタ中心 [1], 多様性 [2]，モデルの尤度 [3] などのヒュー リスティックスに基づいて，学習効果の高いサンプ ルの部分集合を抽出する。データ選択は，効率的か つ安定した高い学習性能を実現しており，能動学習 [1] や継続学習 [2] などにも応用されている. し かし, データ選択による手法は, 元のデータセット に学習効果の高い代表的なサンプルが存在するとい う仮定に基づいているため，その性能は明らかに制限される。

近年，学習用データセットを縮小するための新し
いアプローチとして，データセット蒸留 [4] が提案 されている。データセット蒸留は，モデルを効率的 に学習するように最適化された合成サンプルからな る蒸留データの獲得を目的とする。データセット蒸留は，学習サンプルを直接最適化することで，デー タ選択よりもはるかに少量のデータに圧縮する。 データセット蒸留は，特に画像分野を中心に近年関心が高まっており $[4,5,6,7,8,9]$, それらは理論的な 興味からだけでなく，ニューラルアーキテクチャハハ イパーパラメータ探索 [10], 継続学習 [11,12], 連合学習 $[13,14]$, データのプライバシー保護 $[15,16]$ な ど，応用の観点でも注目されている。

一方で，データセット蒸留に関する既存研究のほ とんどが画像データセットを対象としており，言語処理タスクを扱った研究はごくわずかである. Sucholutsky ら [6] と Li ら [17] は，テキストの代わり に単語埋め込みのレベルで蒸留データを構築するこ とで，データセット蒸留を離散データであるテキス トデータセットに適用した。しかし，これらの研究 は， CNN $\mathrm{RNN}$ ベースのニューラルネットワーク を対象としており，近年の言語処理タスクにおいて 標準となっている事前学習済み Transformer モデル を対象とした研究は，我々が知る限りまだない。そ こで本稿では，言語処理タスクに対して，事前学習済み Transformer モデルを効果的にファインチュー ニング可能な Few-shot データの獲得に取り組む.

この目的のために，我々は Transformer の核であ る注意機構に着目する [18]. 従来研究 [19, 20, 21] で は，注意確率の教師を利用することで，モデルを効果的に学習する手法が提案されている。本稿では, これらの手法に着想を得て, 蒸留データの各サンプ ルに対して注意教師ラベルを付与することで，蒸留 データによる Transformer の学習効果の向上を図る.

実験では，AGNews，SST-2，QNLI，MRPCの $4 \supset$ のテキスト分類タスクに対して，BERT [22]をファ

インチューニングするための注意教師付き Few-shot データセットを構築した. その結果, 注意教師ラべ ルの利用による大幅な性能改善が見られ，BERTを 高い性能でファインチューニング可能であることを 示した. 具体例として，4クラスのニュース記事分類タスクである AGNews において，我々が構築した 各クラス 1 サンプルのみで構成される蒸留データ は，BERTを 1 回の勾配更新のみでファインチュー ニングし, 元の学習データセット全体で学習した場合の $98.5 \%$ の性能である最大 $93.2 \%$ の分類精度を達成した.

## 2 提案手法

## 2.1 データセット蒸留

データセット蒸留のアルゴリズムとして，Wang ら [4] が提案した最適化手法を適用する. この手法 は，メタ学習 [23] で用いられている手法と同様に， 2 次勾配を計算することで蒸留データを勾配法によ り直接最適化する。

元の学習データセットを $D=\left.\{\left(x_{i}, y_{i}\right)\right.\}_{i=1}^{N}$ とする. ただし $\left(x_{i}, y_{i}\right)$ は入力と出力ラベルのぺアである. このとき，データセット蒸留の目標は，はじめにラ ンダムに初期化される蒸留データ $\tilde{D}=\left.\{\left(\tilde{x}_{i}, \tilde{y}_{i}\right)\right.\}_{i=1}^{M}$ $(M \ll N)$ を最適化することである.

モデルパラメータ $\theta$ は，蒸留データのミニバッチ $\left(\tilde{x}_{t}, \tilde{y}_{t}\right)$ を用いて以下の式で更新される.

$
\begin{aligned}
& \theta_{t+1}=\theta_{t}-\tilde{\eta} \nabla_{\theta_{t}} L_{\mathrm{task}} \\
& \text { s.t. } \quad L_{\text {task }}=l\left(\tilde{\boldsymbol{x}}_{t}, \tilde{\boldsymbol{y}}_{t}, \theta_{t}\right)
\end{aligned}
$

ただし, $l()$ は二階微分可能な損失関数であり， $\tilde{\eta}$ は $\tilde{D}$ ともに最適化されるモデルの学習率である。 $\theta$ の初期値を $\theta_{0}$ とすると, 蒸留データによる学習後 のモデルは以下のように書ける.

$
\theta_{T}=F\left(\theta_{0} ; \tilde{D}, \tilde{\eta}, T\right)
$

ただし， $F($ ) は $T$ ステップの勾配更新 (式 1 ) からな るモデルの学習過程を表す。

データセット蒸留の目的は，蒸留データで学習し たこの $\theta_{T}$ が真のデータに対して高い性能を発揮す ることであると考えられるので, 蒸留データ $\tilde{D}$ の最適化における目的関数 $L_{\mathrm{distill}}$ は以下のように計算で きる.

$
\begin{aligned}
L_{\mathrm{distill}}\left(\tilde{D}, \tilde{\eta} ; \theta_{0}\right) & :=l\left(\boldsymbol{x}_{s}, \boldsymbol{y}_{s}, \theta_{T}\right) \\
& =l\left(\boldsymbol{x}_{s}, \boldsymbol{y}_{s}, F\left(\theta_{0} ; \tilde{D}, \tilde{\eta}, T\right)\right)
\end{aligned}
$

ただし,$\left(\boldsymbol{x}_{s}, \boldsymbol{y}_{s}\right)$ は元の学習データセットのミニバッ チである.

したがって，データセット蒸留における最適化は 以下のように定式化できる.

$
\tilde{D}^{*}, \tilde{\eta}^{*}=\underset{\tilde{D}, \tilde{\eta}}{\arg \min } \mathbb{E}_{\theta_{0} \sim p\left(\theta_{0}\right)}\left[L_{\text {distill }}\left(\tilde{D}, \tilde{\eta} ; \theta_{0}\right)\right]
$

ただし， $p\left(\theta_{0}\right)$ はモデルパラメータ $\theta$ の初期値の分布である.

この目的関数 $L_{\text {distill }}$ に対して，勾配降下法を用い て蒸留データ $\tilde{D}$ を最適化する。しかし，テキスト データは離散的であるため，勾配降下法による最適化アルゴリズムを直接適用することは困難である. そこで本研究では，従来研究 $[6,17]$ に着想を得て， テキストの代わりに，単語埋め込みべクトルの系列 を蒸留データの入力として利用する。単語埋め込み ベクトルを利用することで， $L_{\text {distill }}$ は蒸留データに 関して微分可能となり，勾配降下法を用いた最適化 が適用できる。

## 2.2 ソフトラベル

一般的に真のデータセットの出力ラベルには，単一クラスを示す one-hot ベクトルで表される，離散的なハードラベルが用いられる。 しかし，蒸留デー タでは，出力ラベルをソフトなラベルとして，入力 とともに最適化することが可能である.ソフトラべ ルを利用することで，ハードラベルを用いる場合よ りも，蒸留データの各サンプルに多くの情報を持た せることが可能となる。本研究では，従来研究 $[6,7]$ に従い，ソフトラベルを one-hot ベクトルの値で初期化し，任意の実数値を取れるようにすることで，入力の単語埋め込みベクトルとともに勾配法を用い て最適化する。

## 2.3 注意教師ラベル

蒸留データによる Transformer の効果的な学習 のために，本研究では，注意教師ラベルを導入す る. 注意教師ラベルは，データセットの知識を入力系列の各単語に対する注意確率として蒸留し, Transformer の自己注意機構を直接誘導することで効率的なモデルの学習を実現する。

従来研究 [21] に着想を得て, 蒸留データの各サ ンプルに対して，Transformer の各層の注意機構の各 ヘッドに対応する注意教師ラベルを付与し，モデル の注意確率との間の Kullback-Leibler (KL) ダイバー ジェンス $\left(D_{\mathrm{KL}}\right)$ を計算する。これより，注意確率に
表 1 データセットの概要. $C$ はクラス数を示す.

関する損失 $L_{\text {attn }}$ は次のように計算される.

$
L_{\mathrm{attn}}=\frac{1}{K} \sum_{k=1}^{K} \frac{1}{H} \sum_{h=1}^{H} D_{\mathrm{KL}}\left(\tilde{A}_{k, h} \| A_{k, h}(\theta)\right)
$

ただし， $\tilde{A}_{k, h}$ と $A_{k, h}(\theta)$ は $k$ 層目の注意機構の $h$ 番目のヘッドに対応する，注意教師ラベルとモデルの 注意確率をそれぞれ表す。本研究では，蒸留データ のデータサイズの観点から，注意教師ラベルを文頭 の [CLS]トークンにのみ適用した.

モデルは，タスクの損失 $L_{\mathrm{task}}$ と注意確率に関す る損失 $L_{\mathrm{attn}}$ を同時に最小化するように学習される。 これより，モデルパラメータ $\theta$ の勾配更新は, 式 1 から次のようになる。

$
\theta_{t+1}=\theta_{t}-\tilde{\eta} \nabla_{\theta_{t}}\left(L_{\text {task }}+\lambda L_{\text {attn }}\right)
$

パーパラメータである.

注意教師ラベル $\tilde{A}$ は，任意の実数値を取るべク トルとして，単語埋め込みベクトルとソフトラベル とともに最適化され，Softmax 関数を適用すること で確率分布に変換して KL ダイバージェンスを計算 する.

## 3 実験

## 3.1 実験設定

データセット データセット蒸留の性能を評価するために，ニュース記事分類タスクである AGNews [24] と, GLUE [25] から 3 つの多様な分類 タスク (SST-2，QNLI，MRPC)を用いた。各データ セットにおける評価指標については, AGNews は accuracy，その他のデータセットは GLUE の設定に 従った. GLUEのデータセットについては, test セッ トが利用できないため development セットで評価を 行った. 各データセットの概要は表 1 に示す.

モデル 各データセットに対して， BERT BASE $^{\text {[22] }}$ をファインチューニングするための蒸留データセッ トを構築した. [22] の設定に従い，文頭の [CLS] の 埋め込みに対して，埋め込み次元からクラス数次元表 2 1-shot / 1-step の設定における実験結果. 'HL', 'SL', 'AL'はそれぞれハードラベル，ソフトラベル，注意教師 ラベルを示す. 'Majority' は最頻クラスを予測するベース ラインである.*のついたデータセット全体で学習したモ デルの性能は， [22] から引用した.

に線形変換するための分類層と Softmax 関数を適用することで，各クラスの確率を計算する．Wang ら [4] に従い，蒸留データセットの学習時と評価時 の両方においてモデルの Dropout は無効化した. こ れはモデルの学習における不確実性を避けることで 学習の安定化を図るためである.

ハイパーパラメータ 全ての蒸留データセット を，学習率 $\alpha \in\left.\{1 e^{-3}, 1 e^{-2}, 1 e^{-1}\right.\}$ の Adam [26] を用 いて 30 epoch ずつ学習した. 蒸留データとともに最適化されるモデルの学習率 $\tilde{\eta}$ は $\left.\{1 e^{-2}, 1 e^{-1}\right.\}$ のいず れかの值で初期化した。 $\alpha$ と $\tilde{\eta}$ の組み合わせのうち 最も良い性能の結果を報告する。ただし，探索する $\alpha$ と $\tilde{\eta}$ の值の粒度は粗く, 評価データに対する過適合の心配はない，式 7 における $\lambda$ につては，事前実験により 1.0 に設定した.

評価方法 蒸留した Few-shot データセットを用い て，BERTを 100 回ファインチューニングし，その 性能の平均と標準偏差を報告する．ただし，追加し た最後の分類層の重みパラメータは毎回異なる值で 初期化した。

## 3.2 実験結果

## 3.2.1 1-shot / 1-step の実験結果

まず，各クラス 1 サンプルのみかつ 1 回の勾配更新のみで BERT をファインチューニングする設定に おいて，ハードラベルとソフトラベル，及び注意教師ラベルの有無について蒸留データセットの性能 を比較した結果を表 2 に示す。ハードラベルのみ， すなわち単語埋め込みべクトルのみを最適化した 蒸留データセットでも，AGNews，SST-2，QNLIに おいて，元のデータセット全体で学習した場合のそ れぞれ $92.4 \% ， 88.0 \% ， 74.7 \%$ の性能を達成した。ま

た，これらの性能はソフトラベルを利用することで さらに改善され，特に QNLI では 8 ポイント近い性能向上を示した。一方，MRPC については，ソフト ラベルの適用に関わらず，蒸留データセットは最頻 クラスを予測した場合と同等の性能しか得られな かった.

注意教師ラベルを適用した場合，蒸留データセッ トの性能は 4 つの全てのタスクにおいて大幅に 向上し, その効果はソフトラベルょりもはるかに 大きいことが確認された. 注意教師ラベルを適用 した我々の蒸留データセットは, AGNews, SST-2, QNLI，MRPC のそれぞれに対して，元の学習データ セット全体で学習した場合の最大 98.5, 97.2, 94.1, 88.9\%の性能を達成した. これより, 注意教師ラべ ルを用いて元のデータセットの知識を注意確率とし て抽出することで，それらを Transformer モデルに効率的に伝達させることが可能であると考えられる。

また，今回使用した 4 つのデータセット間で性能を比較すると, データセット蒸留は, AGNews や SST-2 のような比較的単純な分類タスクでは非常に 良好な性能を発揮する一方で，QNLI や MRPC のよ うな 2 文間の関係の理解を必要とするようなタスク では，性能がある程度制限された。特に MRPC で は，注意教師ラベルを適用することである程度性能改善が見られるものの, その他の 3 つのタスクと比較して, 元のデータセット全体で学習した場合との 性能差が見られた. この原因として, MRPC データ セットにおけるクラス間のサンプル数の不均衡が蒸留データセットの最適化を困難にしている可能性が 考えられる. 従って，アップサンプリングやダウン サンプリングなどにより, 元のデータの不均衡に対処することで，性能改善の余地があると考える。

## 3.2.2 Multiple-step の実験結果

次に，複数回の勾配更新を用いて BERTをファイ ンチューニングする設定において，蒸留データセッ トの性能を比較した. 我々は, 全ての勾配更新で同 じ蒸留データを使用する場合と，各勾配更新ごとに 異なる蒸留データを使用する場合のそれぞれの設定 について実験を行った. ただし，いずれの設定にお いても，各勾配更新には各クラス 1 サンプルずつの 蒸留データを用いる. 本実験では，全ての蒸留デー タセットにおいてソフトラベルと注意教師ラベルを 適用した。

実験結果を表 3 に示す。まず全ての勾配更新で同表 3 Multiple-step の実験結果. “\# shot” は蒸留データに含 まれる各クラスのサンプル数, “\# step” は勾配更新回数を 示す.ただし，すべての設定において，各勾配更新には 各クラス 1 サンプルずつの蒸留データが使用される.

じ蒸留データを用いた場合，勾配更新 1 回のみで ファインチューニングする場合よりも性能が劣化し た. 一方で，各勾配更新ごとに異なる蒸留データを 用いることでその性能は改善され，勾配更新 1 回の みの設定における性能も上回った. これは, 複数回 の勾配更新において，各勾配更新ごとに蒸留データ に求められる役割が異なっており，全ての勾配更新 に対して有効であるような汎用的なデータを獲得す ることが困難であることを示唆している.

本研究で利用したデータセット蒸留のための最適化手法では，全ての勾配更新を通した誤差逆伝播に よって 2 次勾配を計算する必要があるため, 勾配更新回数 $T$ に応じて必要となるメモリや計算コストが 線形に増加する. そのため, 我々の実験では勾配更新回数を 5 以上に増加させることが困難であった. これはデータセット蒸留における明らかな課題で あり，より複雑で困難なタスクのデータセットや， ファインチューニングではなくゼロからのモデルの 学習に対してデータセット蒸留を適用するためには 解決する必要がある.

## 4 おわりに

本稿では，事前学習済み Transformer モデルを効果的に学習するための, 言語処理タスクのデータ セットの蒸留に取り組んだ。我々は, Transformer の 注意機構における注意確率の教師ラベルを蒸留デー タに適用することで, Transformer モデルに対する蒸留データセットの性能向上を図った. 複数の言語処理タスクのデータセットを対象とした実験の結果,我々の蒸留データセットは各クラス 1 サンプルのみ でも良好な性能を達成した. さらに我々が提案した 注意教師ラベルを利用することで，その性能は全て のタスクにおいて大幅な性能改善を示した.

## 参考文献

[1] Ozan Sener and Silvio Savarese. Active learning for convolutional neural networks: A core-set approach. In 6th International Conference on Learning Representations, ICLR 2018, Vancouver, BC, Canada, April 30 - May 3, 2018, Conference Track Proceedings. OpenReview.net, 2018.

[2] Rahaf Aljundi, Min Lin, Baptiste Goujaud, and Yoshua Bengio. Gradient based sample selection for online continual learning. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[3] Robert C. Moore and William Lewis. Intelligent selection of language model training data. In Proceedings of the ACL 2010 Conference Short Papers, pp. 220-224, Uppsala, Sweden, July 2010. Association for Computational Linguistics.

[4] Tongzhou Wang, Jun-Yan Zhu, Antonio Torralba, and Alexei A. Efros. Dataset distillation. CoRR, Vol. abs/1811.10959, , 2018.

[5] Bo Zhao, Konda Reddy Mopuri, and Hakan Bilen. Dataset condensation with gradient matching. In 9th International Conference on Learning Representations, ICLR 2021, Virtual Event, Austria, May 3-7, 2021. OpenReview.net, 2021.

[6] Ilia Sucholutsky and Matthias Schonlau. Soft-label dataset distillation and text dataset distillation. In 2021 International Joint Conference on Neural Networks (IJCNN), pp. 1-8, 2021.

[7] Ondrej Bohdal, Yongxin Yang, and Timothy M. Hospedales. Flexible dataset distillation: Learn labels instead of images. CoRR, Vol. abs/2006.08572, , 2020.

[8] Kai Wang, Bo Zhao, Xiangyu Peng, Zheng Zhu, Shuo Yang, Shuo Wang, Guan Huang, Hakan Bilen, Xinchao Wang, and Yang You. Cafe: Learning to condense dataset by aligning features. In 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 12186-12195, 2022.

[9] George Cazenavette, Tongzhou Wang, Antonio Torralba, Alexei A. Efros, and Jun-Yan Zhu. Dataset distillation by matching training trajectories. In IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, CVPR Workshops 2022, New Orleans, LA, USA, June 19-20, 2022, pp. 4749-4758. IEEE, 2022.

[10] Felipe Petroski Such, Aditya Rawal, Joel Lehman, Kenneth Stanley, and Jeffrey Clune. Generative teaching networks: Accelerating neural architecture search by learning to generate synthetic training data. In Hal Daumé III and Aarti Singh, editors, Proceedings of the 37th International Conference on Machine Learning, Vol. 119 of Proceedings of Machine Learning Research, pp. 9206-9216. PMLR, 13-18 Jul 2020.

[11] Wojciech Masarczyk and Ivona Tautkute. Reducing catastrophic forgetting with learning on synthetic data. In 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR Workshops 2020, Seattle, WA, USA, June 14-19, 2020 , pp. 1019-1024. Computer Vision Foundation / IEEE, 2020.

[12] Andrea Rosasco, Antonio Carta, Andrea Cossu, Vincenzo Lomonaco, and Davide Bacciu. Distilled replay: Overcoming forgetting through synthetic samples. In Fabio Cuzzolin, Kevin Cannons, and Vincenzo Lomonaco, editors, Continual SemiSupervised Learning, pp. 104-117, Cham, 2022. Springer International Publishing.

[13] Jack Goetz and Ambuj Tewari. Federated learning via synthetic data. CoRR, Vol. abs/2008.04489, , 2020.

[14] Yanlin Zhou, George Pu, Xiyao Ma, Xiaolin Li, and Dapeng Wu. Distilled one-shot federated learning. CoRR, Vol. abs/2009.07999, , 2020.

[15] Guang Li, Ren Togo, Takahiro Ogawa, and Miki Haseyama. Softlabel anonymous gastric x-ray image distillation. In 2020 IEEE International Conference on Image Processing (ICIP), pp. 305309, 2020.
[16] Tian Dong, Bo Zhao, and Lingjuan Lyu. Privacy for free: How does dataset condensation help privacy? In Kamalika Chaudhuri, Stefanie Jegelka, Le Song, Csaba Szepesvari, Gang Niu, and Sivan Sabato, editors, Proceedings of the 39th International Conference on Machine Learning, Vol. 162 of Proceedings of Machine Learning Research, pp. 5378-5396. PMLR, 17-23 Jul 2022.

[17] Yongqi Li and Wenjie Li. Data distillation for text classification. CoRR, Vol. abs/2104.08448, , 2021.

[18] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[19] Lemao Liu, Masao Utiyama, Andrew Finch, and Eiichiro Sumita. Neural machine translation with supervised attention. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 3093-3102, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[20] Haitao Mi, Zhiguo Wang, and Abe Ittycheriah. Supervised attentions for neural machine translation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2283-2288, Austin, Texas, November 2016. Association for Computational Linguistics.

[21] Gustavo Aguilar, Yuan Ling, Yu Zhang, Benjamin Yao, Xing Fan, and Chenlei Guo. Knowledge distillation from internal representations. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 7350-7357, Apr. 2020.

[22] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[23] Chelsea Finn, Pieter Abbeel, and Sergey Levine. Model-agnostic meta-learning for fast adaptation of deep networks. In Doina Precup and Yee Whye Teh, editors, Proceedings of the 34th International Conference on Machine Learning, Vol. 70 of Proceedings of Machine Learning Research, pp. 1126-1135. PMLR, 06-11 Aug 2017.

[24] Xiang Zhang, Junbo Jake Zhao, and Yann LeCun. Characterlevel convolutional networks for text classification. In Corinna Cortes, Neil D. Lawrence, Daniel D. Lee, Masashi Sugiyama, and Roman Garnett, editors, Advances in Neural Information Processing Systems 28: Annual Conference on Neural Information Processing Systems 2015, December 7-12, 2015, Montreal, Quebec, Canada, pp. 649-657, 2015.

[25] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[26] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015 .


# 投稿レシピの材料表における文字の隣接強度をもとにした 助数詞および計量器の抽出

但馬康宏 1
1 岡山県立大学
tajima@cse.oka-pu.ac.jp

## 概要

本研究では , 投稿型レシピデータの材料表につい て, 光こに出現する助数詞および計量器の抽出を行 う. 一般にレシピの材料表に出現する語句は述語を 含まず，文章となっていない場合がほとんどであ り，既存の形態素解析手法では正しく語句の理解が できない.しかし，数値と助数詞以外にも計量器や 注意書きなど自然言語の出現が避けられず語句の解析が必要である . 本研究では出現する文字列の接合強度を定義し, 語句の出現回数から求めることによ り，辞書を用いずに解析を行う．本手法による解析 で , 助数詞および計量器に対しておよ光 8 割程度の 正答率を得た。

## 1 はじめに

近年のウェブサービスにおいてレシビ情報と炎の コンテンツ利用は非常に盛んであり，食に関する関心の高まりとともに光の重要性は今後も増加してい くものと思われる.一方，投稿情報によるデータの 集積という性質上，統一的な記述ができず，情報の 加工, 知識の抽出という観点からはむずかしい問題 が多い.レシピ情報の加工に関しては, グラフとし て調理過程を扱うもの [1] , オントロジーの作成 [2] など樣々な観点から研究が行われている. 本研究で は，材料表に出現する助数詞と計量器を辞書を使わ ずに抽出する.これは栄養価の計算では必須の処理 であり，食材の正しい分量を理解することは重要な 課題である. 辞書を使わない言語処理は未知語の抽出 [3] やキーワード抽出 [4] などがあるが必ずしも 多くない.

本研究では出現する文字列の接合強度を定義し，語句の出現回数から求めることにより, 辞書を用い ずに助数詞および計量器の抽出を行う. 光の結果，助数詞で 9 割, 計量器 7 割程度の正答率を得た。

## 2 材料表の構成と分量表現

本研究では,クックパッドより提供されている データ [5]を用いた. 材料表は表 1 の形式である．食材名は材料の名前であり，同じ食材に関しても投

稿者により多樣な表現が存在する．本研究で注目す るのは , 分量の部分であり, 表の例のとおり数値に 助数詞がつく形が基本であるが，觉の前後に計量器 や修飾語が付く場合が多い.また，数値を含まず 「少々」「お好みで」などの語句のみの場合もある。

本研究では材料表の分量表現について，数値が出現する項目の助数詞および計量器の抽出を行う.

## 3 助数詞および計量器の表現

分量表現のうち数値が出現するものに限ると, 助数詞は数値の直後に出現し, 計量器は数値の直前に 出現することが多い.しかし助数詞には光の後に修

なる場合があり，数値の前の計量器には前後に修飾語が付き「大さじ山盛り」や「ほぼ小さじ」などと なる場合がある．これらの修飾語は複数付く場合も あり，形態素解析のような分割が必要となる．しか し，文章として記述されてはいないため一般の形態
素解析器などでは誤分割が多くなる. 形態素解析器自体を分量表現に適した辞書と学習により構成する ことも考えられるが，正解データの準備など多大な 労力を必要とする。

そこで本研究では, 出現文字の統計情報から形態素の切れ目を推定するアルゴリズムを提案し, 分量表現に対して効果的であることを示す. 具体的に は，文字列の中の文字間の接続強度を定義し，少の 值が文字列全体で偏りがなく設定できる位置を形態素の切れ目とし, 分割を行う.

まず，助数詞および計量器の含まれる文字列とし て, 分量表現中に出現する最初の数値に着目し, 光 の数値の直前に出現するかな漢字文字列を $w_{p}$ と し，直後に出現するかな漢字文字列を $w_{s}$ とする.以後， $w$ はこの文字列 $w_{p}$ もしくは $w_{s}$ を表すものと し,$w$ を分割することを考える。

## 4 隣接強度に注目した形態素分割

図 1 および本節にて本研究における隣接強度の算出方法を示す.

## 4.1 データと出現確率の定義

分割を行いたい文字列を $w$ とし, 以後 $c_{0}$ から $c_{n-1}$ の $n$ 文字から成るとする $\left(w=c_{0} c_{2} \cdots c_{n-1}\right)$. ま た, 文字列を先頭から $m$ 文字目を後半の先頭とし て, 前半と後半に分割する様子を $[0, m, n]$ として表 す. 例えば $w=c_{0} c_{2} \cdots c_{n-1}$ を先頭から 2 文字まで を前半 $\left(c_{1} c_{2}\right)$ とし，光れ以後を後半 $\left(c_{3} c_{4} \cdots c_{n-1}\right)$ と して分割する場合は $[0,3, n]$ と表現される. 複数の 分割の場合も同樣に, 各分割の先頭の文字がもと の文字列の何文字目であるかを並べたものとする．例えば $w=c_{0} c_{2} \cdots c_{n-1}$ を 2 文字ごとに分割する場合は , $\left[0,2,4, \cdots, 2\left.\lfloor\frac{n-1}{2}\right.\rfloor, n\right]$ と表現される.さらに，分割 $\left[0, m_{1}, m_{2}, \cdots, m_{k}, n\right]$ を分割された部分文字列 で表現する場合は $\left(v_{0}, v_{1}, \cdots, v_{k}\right)$ のように表現す る.ここで $v_{i}$ は $c_{m_{i}} c_{m_{i}+1} \cdots c_{m_{i+1}-1}$ となる文字列で ある。

分割対象文字列 $w$ を集めたデータを $W$ と表す。 これには同じ文字列が複数回出現することもある.本研究では $W$ に含まれる文字列の部分文字列の統計情報を利用する.データ $W$ における $w$ の出現数 を $D_{w}$ と表す. すべての $w \in W$ について，觉の部分文字列のすべてを集めたものを $V$ とする. $V$ にも頻出の部分文字列は複数回出現するものとする. 文字列 $v \in V$ の $V$ におる出現数を $C_{w}$ と表す.文字列 $v \in V$ について, $v$ の出現確率を

$
P(v)=\frac{C_{v}}{|V|}
$

と定め, $x \notin V$ である文字列 $x$ については $P(x)=0$ とする.

文字列 $u$ について光の長さを $|u|$ とする.あ る $w=c_{1} c_{2} \cdots c_{n} \in W$ を仮定し, $u$ が $w$ の部分文字列として出現する回数を $k_{u, w}$ とする.すな わち, $k_{u, w}=\left|\left.\{i \mid c_{i} c_{i+1} c_{i+|u|}=w\right.\}\right|$ である.さらに $k_{u}=\sum_{w \in W} k_{w, u}$ とする.これはデータ全体で文字列 $u$ が出現する回数である.

ふたつの文字列 $u, v$ について，隣接出現確率を以下のように定める .

$
P(u, v)=\frac{k_{u v}}{\sum_{x \in V} k_{u x}}
$

これは, すべての部分文字列の隣接回数を分母と し,$u$ と $v$ か隣接して出現する回数の割合である.

## 4.2 隣接強度の定義

分割対象文字列 $w \in W$ および光の分割 $\left(v_{0}, v_{1}, \cdots, v_{k}\right)$ について, $v_{i}$ と $v_{j}(0 \leq i, j \leq k)$ の隣接強度を以下のように定義する。

$
\begin{aligned}
\operatorname{score}\left(v_{i}, v_{j}\right)= & \left|v_{i}\right| P\left(v_{i}\right) \cdot\left|v_{j}\right| P\left(v_{j}\right) \\
& \cdot \sum_{u \in V} P(u)\left(\frac{2 P\left(v_{i}, u\right) P\left(u, v_{j}\right)}{P\left(v_{i}, u\right)+P\left(u, v_{j}\right)}\right)
\end{aligned}
$

これは 1 行目の出現確率の積で, 分割位置の前後の 出現文字列 $v_{i}, v_{j}$ が形態素として正しい分割である かを評価している.すなわち，光れ光れの出現確率 が高ければその分割は正しい分割となっている可能性が高く，まちがった位置で分割した場合は $v_{i}$ か $v_{j}$ があまり出現しない妙な文字列となっている可能性が高いためである.また 2 行目の総和の項は $v_{i}$ の後ろおよび $v_{j}$ の前に光れ光れ $u$ を隣接させた場合の調和平均と $u$ 自身の出現確率の積を考慮するこ とにより，出現率の高い $u$ に対して前後ともに接続性が良い場合に強度が上がるように定義した.この 項により，より形態素らしいものと接続する分割位置が高く評価されるため, 不自然な分割位置を淘汰 する効果が見込まれる。

## 5 複数の分割位置を選択する方法

前節による分割手法は分割する場合にどのような 位置で分割するべきかを判断する基準であるが , 分

隣接強度

$
r\left(w_{1}, w_{2}, u\right)
$

$
\operatorname{score}\left(w_{1}, w_{2}\right)=\left|w_{1}\right| \mathrm{P}\left(w_{1}\right)\left|w_{2}\right| P\left(w_{2}\right) \cdot \sum_{u \in V} r\left(w_{1}, w_{2}, u\right)
$

分割全体の隣接強度が最も強い分割とする

図 1 隣接強度の算出方法

割がない全体をひとつの形態素としたほうが良いか どうかの判定はできない. 以下のアルゴリズムを用 いて, 対象記号列全体をひとつの形態素であるかど うかを判定する。

[単一形態素判定アルゴリズム]

1. データ $w$けおる判定対象文字列を $w \in W$ と する。

ありかつ $P(v)>P(w)$ ならば,$w$ は複数の形態素から成り立つものとして，分割を行う。
3. $P(v) \leq P(w)$ ならば, $w$ 全体でひとつの形態素 であると判断する。

複数の形態素からなる文字列の場合は, $w$ に対す
る分割の中から，分割の隣接強度が最も高いものを 求め, $w$ を分割する.ここで分割の隣接強度は，光 れぞれの分割位置の隣接強度の調和平均によって求 められる.

[分割の隣接強度算出アルゴリズム]

1. 判定対象文字列 $w$ と算出対象の分割を $\left(v_{0}, v_{1}, \cdots, v_{k}\right)$ とする.

2. すべての $0 \leq i \leq k-1$ について, $s_{i}=$ $\operatorname{score}\left(v_{i}, v_{i+1}\right)$ とする.
3. $s_{i}(0 \leq i \leq k-1)$ の調和平均を分割の隣接強度 $S$ とする。

以上をまとめると，以下のアルゴリズムで $w \in W$ から助数詞および計量器の抽出が行える.

[全体アルゴリズム]

1. 単一形態素判定アルゴリズムを実行する．
2. $w$ がひとつの形態素の場合 :

・ $w$ が数値の直前に出現するもの $w_{p}$ ならば，計量器とする.

・ $w$ が数值の直後に出現するもの $w_{s}$ ならば，助数詞とする.
3. $w$ が複数の形態素からなる場合 : $w$ に対するす べての分割について, 光の分割の隣接強度 $S$ を 求める。

4. 前ステップで最も高い隣接強度を持つ分割を $\left(v_{0}, v_{1}, \cdots, v_{k}\right)$ とする.

・ $w$ が数値の直前に出現するもの $w_{p}$ ならば， $v_{k}$ を計量器とする.

・ $w$ が数值の直後に出現するもの $w_{s}$ ならば， $v_{0}$ を助数詞とする.

## 6 評価実験

本手法を用いて分量表現の前後に出現する語句の 解析を行った . 以下に実験に用いたデータの詳細を 示す.

レシピ総数

食材名総数 $=$ 分量表現総数

$w_{p}$ の異なり数

$w_{p}$ のすべての部分文字列の異なり数

$w_{s}$ 異なり数

$w_{s}$ のすべての部分文字列の異なり数 $1,715,595$

$12,300,740$

7,388

85,966

22,080

213,435

実験の結果，数値の前に隣接する語句は，分割を 行わないと 7,000 種類ほどであるが , 分割後はおよ 光 5,000 種類と大きな減少が見られた.このことか ら, 本手法による分割が適切な形態素を抽出してい ることがわかる．

次に数値の前に接続する文字列 $w_{p}$ に関して, 出現数が多い上位 100 種類の語句に対して, 本手法に より計量器が抽出できたかを確認する．

正しく計量器が抽出できた項目数 58/100

「大」「さじ」など細かくしすぎたもの 29/100

光の他不正解 13/100

計量器をうまく抽出できた例として，「大さじ山盛り」を (大さじ，山盛り) と分解した.また,一般の形態素解析ではふたつに分割されることの多い 「ティースプーン」などは単独で分割されない結果 となった . 分割に失敗する例としては「小さし」な ど誤記と思われる表現に対しては (小,さ，し)と分割する結果となった.「みじん切り小さじ」に対し
ては (みじん切り，小さじ）と分割されたが「刻ん で大さじ」に対しては（刻んで，大，さじ）となり，修飾語によっても結果が変化することがあった．

同樣に数值の直後に接続する文字列 $w_{s}$ に関して，出現数が多い上位 100 この中で本手法により助数詞 が抽出できたかを確認する．

正しく助数詞が抽出できた項目数 $97 / 100$不正解 3/100

うまく抽出ができた例として，「本分」を(本，分）と分割し，「程度」を (程度) のまま分割されな い結果となった．不正解は「つまみ」「かけら」「つ かみ」であり，乥れ光れ（つ，ま，み)（かけ，ら） (つ，か，み）となった。

比較実験として，部分文字列の出現数のみに着目 したスコア

$
\operatorname{score}\left(v_{i}, v_{j}\right)=\left|v_{i}\right| P\left(v_{i}\right) \cdot\left|v_{j}\right| P\left(v_{j}\right)
$

を用いた分割抽出も行った . この実験でも前記と 同樣に出現数上位 100 個の $w_{p}$ に対して性能を計測 した.

ると性能が低下することがわかる. 特に完全に形態素の境界でない部分を分割する不正解が増えている ことから本研究による提案手法の有効性が示され た . 一方，数値の後に接続する $w_{s}$ に対する性能は 変化しなかった。

## 7 おわりに

本研究により文字列間の隣接強度を出現数から定義することにより,レシピの分量表現を形態素解析 を行った . 光の結果, 助数詞および計量器の抽出に おいて文字列の出現数のみの場合より性能向上が確認できた . 今後の課題として，材料表の食材名に応 じて異なる助数詞の間の分量変換や数値の入ってい ない「少々」「適量」などの分量表現の理解が挙げら れる。

## 謝辞

本研究では、国立情報学研究所のIDR データセッ ト提供サービスによりクックパッド株式会社から 提供を受けた「クックパッドデータセット」を利用 した.

## 参考文献

[1] 山肩洋子, 今堀慎治, 森信介, 田中克己. ワークフロー 表現を用いたレシピの典型性評価と典型的なレシピ の生成. 信学論, Vol. J99-D, No. 4, pp. 378-391, 2016.

[2] H. Nanba, Y. Doi, T. Takezawa, K. Sumiya, and M. Tsujita. Construction of a cooking ontology from cooking recipes and patents. In Proceedings of Workshop on Smart Technologyfor Cooking and Eating Activities : CEA2014 (CEA 2014), pp. 507-516, 2014.

[3] 森信介, 長尾眞. $\mathrm{n}$ グラム統計によるコーパスからの 未知語抽出. 情報処理学会論文誌, Vol. 39, No. 7, pp. 2093-2100, 1998.

[4] 白井智, 鳥井修, 金井達德. 反復文字列階層グラフによ る文書からのキーワード自動抽出. 日本データベース 学会 Letters, Vol. 4, No. 1, pp. 1-4, 2005.

[5] クックパッド株式会社 (2015). クックパッドデー 夕. 国立情報学研究所情報学研究データリポジトリ. (データセット), 2015.


# 日本語の分類タスクにおけるカリキュラム学習と マルチタスク学習の効果検証

植松拓也 河原大輔
早稲田大学理工学術院
takuya1009@akane.waseda.jp dkw@waseda.jp

## 概要

複数の言語処理タスクを順番もしくは同時に学習する方法として，カリキュラム学習やマルチタス ク学習がある。これらは英語のベンチマークにおい て包括的に調査されており有効性が報告されてい るが，日本語では調査されていない。本研究では，日本語言語理解ベンチマーク JGLUE に含まれる分類タスクにおいて，カリキュラム学習およびマルチ タスク学習を適用し, 有効性を検証する。結果とし て，親和性のあるタスク同士でカリキュラム学習， マルチタスク学習を行うことで精度が向上すること を確認した。

## 1 はじめに

機械学習に基づく自然言語処理においてよく用い られる手法の一つに転移学習がある。転移学習の一手法として，事前学習をしてから対象のタスクごと にファインチューニングをするという 2 段階で行う ことが多い。転移学習のモデルとしては BERT [1] など様々なモデルが開発されている．BERT は，言語理解ベンチマーク GLUE [2] において当時の最高 スコアを達成しており，広く利用されている。

事前学習やファインチューニングを行う際に，そ れぞれにおいてどのようなタスクをどのような順番で解くかが重要である.この点に着目した手法 にカリキュラム学習があり一定の成果が出ている $[3,4,5,6,7]$. 人間が学習する際，まず難しいことか ら学ぶのではなく簡単なことから学んだ方が良い. それと同様に，学ぶ順番が大切なことは機械学習に も同じことが言える. 機械学習におけるカリキュラ ム学習は, 学習データを最も効果的な順番に並び替 え段階的に学習する手法で，簡単な学習データから 学習して徐々に難易度を上げていくことが多い。

また，近年はマルチタスク学習も注目されている
[8, 9, 10,11]. マルチタスク学習は一度に 2 つ以上の タスクで学習する手法であり，あるタスクから得ら れた知識を他のタスクにも適用することで精度が向上する場合がある．ただし，タスク同士に親和性が ない場合は精度が低下する可能性があるため，親和性のあるタスク同士でマルチタスク学習を行うこと が重要である [12].

このような研究は英語などで活発に行われてい る一方，これまで日本語では包括的な調査が行われ ていない. 本研究では，日本語におけるタスク同士 の親和性や効果的な学習方法を調査することを目的とし，日本語データセットを用いてカリキュラム 学習およびマルチタスク学習を行う。事前学習モデ ルには日本語 BERTを用い，タスクには日本語言語理解ベンチマーク JGLUE [13] に含まれる自然言語推論 (JNLI), 意味的類似度計算 (JSTS), 評価極性分類 (MARC-ja) の 3 種類の分類タスクを用いる.カリ キュラム学習では，あるタスクでファインチューニ ングした後，さらに対象タスクでファインチューニ ングすることで対象タスクの精度が向上するかを 評価する。マルチタスク学習では，上記 3 種類のタ スクから 2 つを選び同時に学習し，有効性を評価 する。

## 2 関連研究

## 2.1 カリキュラム学習

カリキュラム学習については，まず簡単な事例か ら学習し，徐々に難しい事例を学習する場合が多 い. 例えば，画像分類タスクにおいてカリキュラム 学習の有効性を示した実験結果がある [3].この実験では，自動的に生成された三角形や楕円，長方形 の図形を分類するタスクを解く際に，まず正三角形 や円，正方形などの簡単な図形から学び，徐々に色 の種類を増やしたり難しい図形について学ぶこと

により，カリキュラム無しの学習よりも精度が高く なっている.

カリキュラム学習は自然言語処理でも活用されて いるが，難易度の定義が研究ごとに異なる．難易度 の指標としては語彙サイズや入力された単語列の長 さがある. Bengio らは，言語モデルにおいて次の単語を予測する際に，はじめに小さな語彙サイズのモ デルを学習して徐々に語彙サイズを増やしながら学習した方がカリキュラム無しよりも精度が高くなる ことを報告している [3]. Cirik らは，入力文の評価極性を 5 つのクラスに分類する際に，文長の短い事例から学習して徐々に長い事例を学習するカリキュ ラム学習を提案した [4]. その結果，精度が向上し，特に学習データ数が少ないときに効果があることを 示している.

難易度の定義の方法は他にもある．Guo らは，非自己回帰機械翻訳においてファインチューニングす る際にカリキュラム学習を導入した [5]. 非自己回帰機械翻訳モデルは自己回帰機械翻訳モデルと比較 して，トークンを並列に生成できるため推論の速度 は向上するが，精度は低下する. この問題に対処す るために，まず自己回帰訓練を行い，徐々に非自己回帰訓練に変更していくようなカリキュラム学習 を提案し，有効性を示している．Xu らは，GLUEべ ンチマークでカリキュラム学習する実験を行った [6]. まず，対象のデータセットを分割して交差検証 を行い，精度を難易度とみなす。次に，分割された データセットを難易度順に並び替え，簡単な事例か らファインチューニングする。結果としては GLUE における9つのタスクのうち8つでベースラインよ りも優れていた.

カリキュラム学習において，難易度順に並び替え るのではなく，学習するタスクの順序を入れ替え て他のタスクに与える効果を検証した実験がある。 Yogatama らは，あるタスクを BERT などで学習して 得られた知識を他のタスクを解く際に有効活用でき ないかを検証した [7]. どのようなカリキュラムで 学習をするのが最適で, 破滅的忘却を起こさないか を実験しており，学習の高速化を達成したタスクの 組合せやそのときの精度について述べている.

## 2.2 マルチタスク学習

マルチタスク学習に基づく方法は多数提案されて いる. Collobert らは, 品詞タグ付けやチャンキング など関連性のあるタスクを同時に学習するマルチタ
スク学習を提案し，有効性を示した [8]． Liu らは，映画のレビューについてのテキスト分類タスクを複数用意してマルチタスク学習を行った [9]. その結果，対象タスクの精度が他のタスクの助けを借りて 向上することを示した.

また，マルチタスク学習を BERT などの事前学習 モデルに適用した研究も行われている. 事前学習モ デルのファインチューニングの際にマルチタスク 学習を適用したモデルに MT-DNN がある [10]. こ のモデルは，GLUE ベンチマークにおける9つの夕 スクのうち8つのタスクと，自然言語推論のコーパ スである SNLI [14] や SciTail [15] で BERT の性能を 上回った. Zhou らは, 品詞タグ付け, 構文解析, 意味役割付与などの言語解析タスクを事前学習時に マルチタスクで行う LIMIT-BERT を提案した [11]. LIMIT-BERT は言語解析タスクの精度を向上させ， GLUE ベンチマークや SNLI において BERT ベース ラインよりも優れていることが報告されている.

## 2.3 本研究の位置づけ

上記の研究のように，これまでは英語での実験は 行われているが日本語における包括的な調査は行わ れていない. 本研究では，日本語のデータセットに おけるカリキュラム学習とマルチタスク学習の有効性を調査する。

## 3 対象タスクと学習方法

本節では，本研究において対象とするタスク，お よび，カリキュラム学習とマルチタスク学習の方法 について述べる。

## 3.1 対象タスク

対象のタスクとして，日本語言語理解ベンチマー クJGLUE に含まれる自然言語推論 (JNLI), 意味的類似度計算 (JSTS), 評価極性分類 (MARC-ja) の 3 種類の分類タスクを用いる. JNLI と JSTS は文ぺア分類タスクであり，MARC-ja は文章分類タスクであ る. 各タスクのデータセットの事例数，評価指標を 表 1 に示す. combined score は, Pearson と Spearman 相関係数の平均をとったスコアである．事前学習モ デルを train セットでファインチューイングし，valid セットで評価を行う.
表 1 データセットの事例数と評価指標

## 3.2 学習方法

## 3.2.1 カリキュラム学習

本研究では，3種類のタスクの組合せを変えて，2 段階のファインチューニングを行う. 具体的には， まず JNLI，JSTS，MARC-ja のぞれぞれについてファ インチューニングを行い，その結果得られたモデル を用いて再度ファインチューニングを行う。異な るタスクで再びファインチューニングを行うことの 有効性を調査するため，同じタスクで再びファイン チューニングした場合とも比較する。

事前学習モデルには東北大 BERT-base ${ }^{11}$ を用いる。 ファインチューニングの際，CLS トークンに対して JSTS は回帰問題，JNLI と MARC-ja は分類問題を解 く.いずれもエポック数は 4 で固定し，4 エポック 終了時点の評価値を比較する。 ハイパーパラメータ についてはいくつかの設定から最適な組合せを選 ぶ. ハイパーパラメータの詳細な設定は付録 A に 示す.

## 3.2.2 マルチタスク学習

ファインチューニングする際，JSTS，JNLI， MARC-ja の 3つのタスクの中から 2 つを選びマルチ タスク学習を行う. マルチタスク学習が終わった後 に，JSTS，JNLI，MARC-ja を別々に評価する。

事前学習モデルにはカリキュラム学習と同様に東北大 BERT-base を用い，マルチタスク学習のモデル に分類ヘッドを 2 つ用意する. その概要を図 1 に示 す.ハイパーパラメータについては最適な組合せを 選択する。

## 4 実験結果と議論

## 4.1 カリキュラム学習の実験結果

カリキュラム学習の結果を表 2 に示す。ここで， 1 段階目のタスクはファインチューニングの 1 段階目で使用したタスク，列名のタスクは 2 段階目の

図1 マルチタスク学習のモデル

表 2 カリキュラム学習の実験結果

ファインチューニングで使用したタスクを示す.ま た，評価は全て 2 段階目のファインチューニング後 の精度である。

JNLI における評価JNLI で評価したときの結果 を比較する. JSTS でファインチューニングして から，そのモデルを用いて JNLI で再びファイン チューニングをしたときに精度が最も高いことが確認できる。この結果は 2 段階とも JNLI でファイン チューニングしたときと比較して $1.0 \%$ 高い. 一方， MARC-ja でファインチューニングしてから JNLI で ファインチューニングすると精度が下がっている。

JSTS における評価 JSTS で評価したときの結果 を比較する. JNLI でファインチューニングしたモ デルを用いて JSTS をファインチューニングをす ると, JSTS で 1 回ファインチューニングしたとき より約 $0.3 \%$ 精度が上がっている. ただし，JSTS で ファインチューニングした後, さらにJSTS でファ インチューニングしたときと精度は同じであった。 MARC-ja でファインチューニングしてから JSTS で ファインチューニングすると精度は下がった.

MARC-ja における評価 MARC-ja で評価したと きの結果を比較する．MARC-ja を解く際は，事前 に JNLI，JSTS，MARC-ja でファインチューニング してから MARC-ja でファインチューニングしても， MARC-ja で 1 回ファインチューニングをしたときと 精度はほとんど変化がない。
表 3 カリキュラム学習による各ラベルの予測数

表 4 マルチタスク学習の実験結果

カリキュラム学習についての考察 以上の結果よ り，JNLI と JSTS は親和性が高いと言える. JNLI と JSTS はともに文ぺア分類タスクであり, 構成する文 ペアのほとんどが重複していることが 1 つの要因と 考えられる. 特に，JSTS でファインチューニング してから JNLIを解いたとき精度がかなり向上した。

JNLIをファインチューニングしたときと，1 段階目をJSTS，2 段階目を JNLI でファインチューニン グしたときの各ラベルの予測数について表 3 にまと める. ただし， 1 行目は JNLI の valid データにおけ る正解ラベルの分布を示す. 事前に JSTS でファイ ンチューニングすると，含意の予測数が減少し，矛盾の予測数が増加した. また，ラベルごとの正解数 については, 矛盾の正解数が他のラベルに比べて増 えていた. 特にカリキュラム学習を行うことで予測 ラベルが変化した文ぺアの中で，中立の予測が矛盾 に変化したときの正答率が高くなっていた. 含意,矛盾は中立と比較して類似度が高く, 先に JSTS で 学習することで類似度の弁別性能が上がり中立とそ れ以外のラベルの分類が得意になる可能性がある.

一方, MARC-ja の結果から MARC-ja と JSTS, MARC-ja と JNLI の親和性は高くないと言うことが できる。 MARC-ja は文章分類タスクであり，JNLI やJSTS とは異なるタスクであり，データセットの 構成も異なる.カリキュラム学習を行う際は, 事前 に親和性のないタスクでファインチューニングをす ると逆効果になる可能性を示唆している。

## 4.2 マルチタスク学習の実験結果

マルチタスク学習の結果を表 4 に示す。タスクの 列は，マルチタスク学習を行ったタスクのぺアを示 す. 1 行目はシングルタスク学習の精度を示す.各タスクペアにおける比較 1 行目のシングルタ スク学習の精度と比較すると，JNLI と JSTS のマル チタスク学習を行うとそれぞれ精度が $1.2 \% ， 0.8 \%$上がっている。一方，JNLI と MARC-ja のマルチタ スク学習をしたときは JNLI の精度が約 10\%下がっ ている.また，JSTS と MARC-ja のマルチタスク学習をしたときは，JSTS，MARC-ja それぞれ $0.9 \%$ ， $0.4 \%$ 精度が下がっている。

マルチタスク学習についての考察上記の結果か ら，親和性のあるタスク同士でマルチタスク学習す ると各タスクにおいて精度が上がると考えられる。一方，あまり親和性のないデータセット同士でマル チタスク学習すると両方の精度が落ちる，もしくは 片方のタスクの精度が下がる可能性があり，マルチ タスク学習の効果はほとんどないと考えられる。ま た，マルチタスク学習では，タスク同士の競合が発生する可能性がある [16]. MARC-ja と他のタスクが 競合し，学習データのサイズが大きい MARC-ja は あまり影響を受けず，学習データのサイズが小さい JNLI と JSTS は精度がかなり低下したといえる。

カリキュラム学習との比較上記の結果を比較す ると，JNLI で評価する際は事前に JSTS でファイン チューニングをするカリキュラム学習の方が適して いる。一方，JSTS で評価する際は，JNLI と同時に 学習するマルチタスクの方が適している. カリキュ ラム学習とマルチタスク学習についてはタスクに よって適している学習方法を採用する必要がある.

## 5 おわりに

本研究では，JGLUEベンチマークにおける JNLI, JSTS，MARC-ja の 3 つの分類タスクを組合せてカリ キュラム学習やマルチタスク学習を実行した。その 結果により，タスク同士の親和性やどの順序でファ インチューニングをすると精度が向上するのかを確 かめた. 本研究の結果は，学習する際に用意できる データセットが少ない場合でも，親和性のある他の データセットと組合せてカリキュラム学習やマルチ タスク学習を行うことで精度が改善する可能性があ ることを示している。

今後は，タスク間の親和性について，QA タスク など他のタスクを含めて調査したい。また，BERT 以外にも RoBERTa [17] など高性能な事前学習モデ ルでも実験して効果を確かめたい。また，カリキュ ラム学習とマルチタスク学習を組合せて学習するこ とで精度が向上するかを確認する予定である.

## 謝辞

本研究は JSPS 科研費 JP21H04901 の助成を受けて 実施した.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[3] Yoshua Bengio, Jérôme Louradour, Ronan Collobert, and Jason Weston. Curriculum learning. In Proceedings of the 26th Annual International Conference on Machine Learning, ICML '09, p. 41-48, New York, NY, USA, 2009. Association for Computing Machinery.

[4] Volkan Cirik, Eduard H. Hovy, and Louis-Philippe Morency. Visualizing and understanding curriculum learning for long short-term memory networks. arXiv, 2016. abs/1611.06204.

[5] Junliang Guo, Xu Tan, Linli Xu, Tao Qin, Enhong Chen, and Tie-Yan Liu. Fine-tuning by curriculum learning for non-autoregressive neural machine translation. In Proceedings of the aaai conference on artificial intelligence, Vol. 34, pp. 7839-7846, 2020.

[6] Benfeng Xu, Licheng Zhang, Zhendong Mao, Quan Wang, Hongtao Xie, and Yongdong Zhang. Curriculum learning for natural language understanding. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6095-6104, Online, July 2020. Association for Computational Linguistics.

[7] Dani Yogatama, Cyprien de Masson d'Autume, Jerome Connor, Tomas Kocisky, Mike Chrzanowski, Lingpeng Kong, Angeliki Lazaridou, Wang Ling, Lei Yu, Chris Dyer, and Phil Blunsom. Learning and evaluating general linguistic intelligence. arXiv, 2019. abs/1901.11373.

[8] Ronan Collobert and Jason Weston. A unified architecture for natural language processing: Deep neural networks with multitask learning. In Proceedings of the 25th international conference on Machine learning, pp. 160-167, 2008.

[9] Pengfei Liu, Xipeng Qiu, and Xuanjing Huang. Recurrent neural network for text classification with multi-task learning. arXiv, 2016. abs/1605.05101.

[10] Xiaodong Liu, Pengcheng He, Weizhu Chen, and Jianfeng
Gao. Multi-task deep neural networks for natural language understanding. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4487-4496, Florence, Italy, July 2019. Association for Computational Linguistics.

[11] Junru Zhou, Zhuosheng Zhang, Hai Zhao, and Shuailiang Zhang. LIMIT-BERT : Linguistics informed multi-task BERT. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 4450-4461, Online, November 2020. Association for Computational Linguistics.

[12] Michael Crawshaw. Multi-task learning with deep neural networks: A survey. arXiv, 2020. abs/2009.09796.

[13] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[14] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[15] Tushar Khot, Ashish Sabharwal, and Peter Clark. Scitail: A textual entailment dataset from science question answering. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 32, 2018.

[16] Ozan Sener and Vladlen Koltun. Multi-task learning as multi-objective optimization. In S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, editors, Advances in Neural Information Processing Systems 31, pp. 525-536. Curran Associates, Inc., 2018.

[17] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv, 2019. abs/1907.11692.

## A 参考情報

## A. 1 実験時のハイパーパラメータ

実験を行う際のハイパーパラメータの一覧を表 5 にて示す.この中から最適なハイパーパラメータを 選ぶ.

表 5 ファインチューニングを行う際のハイパーパラ Name Value(s)

learning rate epoch 5e-5, 2e-5, 1e-5

warmup ratio 4

max seq lengt 0.1

batch size $8,16,32$