# 文分類問題における精度と解釈性向上のための近傍事例の活用

村岡 雅康 ${ }^{1}$ 趙陽 ${ }^{2}$
日本アイ・ビー・エム株式会社 東京基礎研究所
${ }^{1}$ mmuraoka@jp.ibm.com ${ }^{2}$ yangzhao@ibm.com

## 概要

プロンプトを用いた zero/few-shot 評価は，ファイ ンチューニングを行うことなく大規模言語モデル の下流タスクにおける性能評価を可能にする一方 で，性能面に改善の余地がある. 本稿では，大規模言語モデルからの特徴量を用いて $\mathrm{k}$ 近傍法を行うこ とで，zero/few-shot 評価の枠組みにおいて性能向上 を達成する手法を提案する。また， $\mathrm{k}$ 近傍事例を参照することで，モデルの予測結果に対する解釈性の 向上も期待される. 評価実験により，極性分類，卜 ピック分類，含意関係認識を含む文分類問題（6つ のデータセット）において，近傍事例を活用するこ とで提案手法の性能が大幅に向上することを示す.

## 1 はじめに

BERT [1] や GPT-2 [2], T5 [3] のように大量のテキ ストデータで事前学習された大規模言語モデルが，様々な下流タスクに適用され成功を収めている.こ れらの言語モデルの性能評価を様々なタスクおよび ドメインで行うことは実応用において重要である.

評価方法の一つに下流タスクでファインチュー ニングを行わない zero-shot/few-shot 評価がある [4]. これらは，下流タスクを言語モデルタスクに変換し て評価を行う方法である。この評価方法は，ファイ ンチューニングの学習アルゴリズムや，そのハイ パーパラメタ, モデルパラメタの更新などファイン チューニング由来の要因を排除して言語モデルの性能評価を行うことができるという特長がある.

一方で，これらの評価方法において，使用するプ ロンプトに評価結果が大きく左右されたり $[5,6]$,言語モデルの予測にバイアスが乗るといった問題 が報告されている [7]. Zhao らはこれらの問題の調査・分析を行い，バイアスを除去することで，複数 の下流タスクにおいて言語モデルの性能向上を達成 した [7]. しかしながら, 性能面においてはまだ改善の余地が残されており，また，予測結果からモデ

図 1: 提案手法の概要図

ルの予測理由を推察することが困難である.

そこで本稿では，評価対象である大規模言語モデ ルから抽出した特徴量を用いて $\mathrm{k}$ 近傍法 $[8,9]$ を行 うことで，下流タスクでの更なる性能向上を目指 す. 具体的には，図 1 に示すように，バイアス除去 を行う既存手法の予測確率と，近傍事例からの予測確率を線形補完することで最終的な予測結果を得 る。また，本手法は近傍事例を参照することで，モ デルが入力文をどう解釈したかを推測することがで きるという点で，解釈性の向上にも寄与する.

本手法を多様なドメインのテキスト，および，極性分類 [10]，トピック分類 [11,12]，含意関係認識 $[13,14]$ を含む複数の文分類問題に適用し評価実験 を行ったところ，近傍事例を活用することで性能が 大幅に向上すること確認した．また，定性分析によ り，たとえ提案手法が予測を誤った場合でも，近傍事例からその理由を推測できることもわかった。

## 2 関連研究

プロンプトを用いた評価は，プロンプトと呼ばれ るタスクを解くための指示テキストを用いて，下流 タスクを言語モデルタスクに変換し評価を行う方法である．特に，下流タスクで一切ファインチュー ニングを行わない方法を Tuning-free と呼ぶ [15]. 本研究における提案手法も Tuning-free な評価方法で ある.この評価方法では, zero-shot 評価と in-context few-shot 評価が可能である. zero-shot 評価は，言語 モデルに下流タスクの評価セットの事例のみを提示し答えさせる方法である. in-context few-shot 評価 は，評価事例の前にコンテキストとして訓練セット から抽出した一つ以上の事例を正解付きで追加した 状態でモデルに提示し，予測させる方法である.

Tuning-free の評価方法において，前節で述べた Zhao らの研究 [7] のほかにいくつか関連研究が存在する. Holtzman ら [16] は評価タスクのドメイン 情報を自己相互情報量 (PMI) によって割り引いた 予測確率を求める手法を提案している. Kassner と Schütze [17] は情報検索器を言語モデルに付け加え てk 近傍法を行う手法を提案している.この手法は 新たなモデルパラメタを増やすが，我々の手法は評価対象の言語モデルを特徴量抽出器としてそのまま $\mathrm{k}$ 近傍法に使用するため，新たなモデルパラメタを 増やさずに済む. Shi ら [18] は言語モデルに k 近傍言語モデル [9]を使用し, zero-shot 評価での性能向上を達成した. 本稿では，Zhao らの手法で得られ るバイアスが除去された予測確率と, $\mathrm{k}$ 近傍言語モ デルで使用されているスコア関数を用いて得られる $\mathrm{k}$ 近傍予測確率を組み合わせて更なる性能向上を目指す. 特に，Kassner と Schütze や Shi らは下流タス クの訓練セットに含まれる正解ラベル情報を使わな かったが，本研究では明示的にこれを使用する. そ のほかのプロンプトを用いた評価の関連研究につい ては，文献[15] のサーベイ論文を参照されたい。

## 3 問題設定

本研究では，文分類問題における大規模言語モ デルのプロンプトを用いた zero/few-shot 評価を行 う. 大規模言語モデルは事前学習済みのものを使用 し，評価中にはモデルパラメタの更新，すなわち， ファインチューニングは行わない. few-shot 評価に おいては, in-context few-shot のように予測の際に言語モデルに少量の訓練事例を提示するのではなく， $\mathrm{k}$ 近傍法によって取得される少量の訓練事例を予測の計算に使用する．我々はこれを「example-based few-shot 評価」と呼ぶ.

極性分類問題を例として，基本的なプロンプトを 用いた zero/few-shot 評価について説明する. ${ }^{1)}$ 文分類問題は, 入力文 $x$ が与えられた時に, 出力ラベル $y \in y$ を予測する多クラス問題である. $y$ はラベル 集合であり，事前に定義されているものとする．例 えば，映画のレビュー文に対する極性分類問題 [10] では, $y=\{$ ポジティブ,ネガティブ $\}$ などとなる. データセット $\mathscr{T}$ は, 入力文と正解の出力ラベルの ペア $\left(x, y^{*}\right)$ の集合からなり，評価セット $\mathscr{T}_{\text {test }}$ と訓練 セット $\mathscr{T}_{\text {train }}$ に分かれているものとする. ${ }^{2)}$

この問題を解くためには言語モデルを用いて出力 ラベルに関する条件付き確率分布 $p(y \mid x)$ を求める必要があるが，モデルのファインチューニングは行わ ないため，このままでは上記の条件付き確率分布を 直接モデル化することができない，そこで，これを 穴埋め形式の言語モデルタスクとして定式化する.

事前学習済み大規模言語モデル $M$ は， 大力文中の [MASK]トークンの位置に相応しい単語を予測する：

$
p\left(w_{l} \mid \boldsymbol{w}_{\backslash l} ; M\right)
$

ただし， $\boldsymbol{w}_{\backslash l}$ は，入力文 $x=w_{1} \ldots w_{L}$ のうち位置 $l$ $(1 \leq l \leq L)$ の単語 $w_{l}$ が [MASK] トークンに置き換 えられた文である.ここで，極性分類問題を解かせ るために，プロンプト $f_{\text {prompt }}$ を用いて言語モデルに 解き方をテキストで指示する：

$
f_{\text {prompt }}(x, L)=\underline{\text { Review: }}[x] \text { Sentiment: }[\text { MASK] }
$

$[x]$ には任意の入力文が挿入される.プロンプト適用済み入力文を $x_{\backslash L}^{\prime}=f_{\text {prompt }}(x, L)$ と表し，言語モデ ルに入力することで，[MASK]トークンの位置に入る 単語の予測確率分布 $p\left(w_{L} \mid x_{\backslash L}^{\prime} ; M\right)$ を得る.これは 言語モデルが扱う全ての語彙 $\mathscr{V}$ 上確率分布であ ることに注意されたい. ここから極性分類の出力ラ ベル集合ｙの各要素に対応する確率値のみ抽出し,合計が 1 になるように正規化すれば，所望の確率分布 $p(y \mid x ; M)$ が得られる. $\left.{ }^{3}\right)$

## 4 提案手法

提案手法は，前節のプロンプトを用いた zero/fewshot 評価方法に 2 点改良を加えたものである.
$ を満たさなければならない. 満たしていな い場合は，適宜ラベル集合 $y$ を再定義する必要がある.
}

(1) 言語モデルの予測バイアスの除去 $[7]^{4)}$

(2) 言語モデルの特徴量を用いた $\mathrm{k}$ 近傍法 $[8,9]$

図 1 に概要を示した通り，提案手法の予測する出 カラベルの確率分布は上記 2 つの仕組みからそれぞ れ得られる確率分布の線形和である。

$
\hat{p}(y \mid x ; M, \mathscr{D})=\lambda \hat{p}_{\text {debias }}+(1-\lambda) \hat{p}_{\mathrm{kNN}}
$

Dは $\mathrm{k}$ 近傍法で使用するデータストアであり， $\lambda \in[0,1]$ は線形補完係数である.

バイアス除去 [7] は言語モデルの予測に乗ったバ イアスを，解きたい文分類問題に関係のない文字列 を使って除去する方法である。“N/A” や空文字列な どそれ単体では意味を持たないような文字列を，極性分類問題の入力文だと仮定し，言語モデルに解か せた場合を考える。 それらの文字列に極性はないと 考えるのが自然なので，ポジティブ，ネガティブと もに $50 \%$ と予測されるべきだが，実際はポジティブ $=63 \%$ ， ネガティブ $=37 \%$ のようにバイアスが乗っ た予測になることが報告されている [7].

これらのバイアスをなくすように確率分布を補正 するには，上記のような文分類問題に関係のない文字列を使って得られた確率値の逆数を補正項として 乗ずることで実現できる. 本研究では Zhao らの研究 [7] で用いられた， $\mathscr{C}=\{$ “N/A", “”, “[MASK]” $\}$ の 3 種類を使用する．補正項 $\hat{p}_{\mathrm{cf}}$ は以下で求められる ${ }^{5}$ ：

$
\hat{p}_{\mathrm{cf}}=\frac{1}{\mathscr{C}} \Sigma_{c \in \mathscr{C}} \hat{p}\left(y \mid c_{\backslash L}^{\prime} ; M\right) .
$

ただし, $c_{{ }_{L}^{\prime}}^{\prime}=f_{\text {prompt }}(c, L)$ である. バイアス除去を 用いた出力ラベルの確率分布は次のようになる：

$
\begin{aligned}
\hat{p}_{\text {debias }} & =W_{\text {debias }} \hat{p}\left(y \mid x_{\backslash L}^{\prime} ; M\right), \\
W_{\text {debias }} & =\operatorname{diag}\left(\hat{p}_{\mathrm{cf}}\right)^{-1} .
\end{aligned}
$

$\operatorname{diag}\left(\hat{p}_{\mathrm{cf}}\right)$ は $\hat{p}_{\mathrm{cf}}$ から対角行列を作成する関数である.

$\mathrm{k}$ 近傍法は，評価セットの入力文 $x$ を言語モデ ルでエンコードした特徴量 $\boldsymbol{h}_{\text {test }}$ をクエリとして， データストアに対して $\mathrm{k}$ 近傍探索を行い，得られた 近傍事例を大力文 $x$ に類似した事例とみなし，そ れらの正解ラベル $y_{\text {train }}^{*}$ を予測に使用する方法であ る. 近傍事例から予測を求める方法は複数存在する が $[19,20]$, 本研究では, 近年提案された $\mathrm{k}$ 近傍言語 モデル [9] で用いられている方法を採用する.
{|c|c|c|c|c|}

とも可能である。

5） cf は context-free の頭文字である.
}

表 1: 文分類問題のデータセット

事前に訓練セット $\mathscr{T}_{\text {train }}$ から $\mathrm{k}$ 近傍法のための データストアDを構築しておく。

$
\mathscr{D}=\left.\{\left(\boldsymbol{h}_{i, L}, x_{i}, y_{i}\right) \mid\left(x_{i}, y_{i}\right) \in \mathscr{T}_{\text {train }}\right.\}
$

$\boldsymbol{h}_{i, L} \in \mathbb{R}^{d}$ は言語モデル $M$ で入力文 $x_{i, \backslash L}^{\prime}$ をエンコー ドした時の位置 $L$ の最終隠れ層の特徵量べクトル6) である. 同様に評価セット内の入力文 $x_{\backslash L}^{\prime}$ に対して も言語モデルから特徴量 $\boldsymbol{h}_{\text {test }}$ を得る．続いて k 近傍探索によってデータストアDから特徴量 $\boldsymbol{h}_{\text {test }}$ に最 も近い $\mathrm{k}$ 個の近傍事例 (の集合) $\mathcal{N}$ を得る。

$
\mathcal{N}=\operatorname{argmin}-\mathrm{k}_{\left(\boldsymbol{h}_{i}, x_{i}, y_{i}\right) \in \mathscr{D}} d\left(\boldsymbol{h}_{\text {test }}, \boldsymbol{h}_{i}\right)
$

$d(\cdot, \cdot)$ は距離関数であり, $\mathrm{k}$ 近傍言語モデル [9] に倣 い，L2 距離を使用する。 argmin-k は上位 $\mathrm{k}$ 個の事例 を返すように拡張された argmin 関数である。最終的な $\mathrm{k}$ 近傍事例を用いた確率分布を次式で求める：

$
\hat{p}_{\mathrm{kNN}} \propto \frac{1}{|\mathcal{N}|} \Sigma_{\left(\boldsymbol{h}_{i},-, y_{i}\right) \in \mathcal{N}} \mathbb{1}_{\mathcal{y}}\left(y_{i}\right) \exp \left(-d\left(\boldsymbol{h}_{i}, \boldsymbol{h}_{\text {test }}\right) / T\right)
$

$\mathbb{1}_{y}\left(y_{i}\right)$ は $y_{i}$ の次元のみ 1 , それ以外は 0 の one-hot ベクトル（次元数：|y|）を返す関数であり， $\exp (\cdot)$ の項は $\mathrm{k}$ 近傍言語モデル [9] で使用されている距離関数に基づく確率分布である（ $T$ は温度パラメータ で実験では $T=1000$ を使用7) ） 実際の $\hat{p}_{\mathrm{kNN}}$ は和が 1 になるように正規化を行い使用する。

## 5 実験

文分類問題でよく使われる 6 つのデータセット を用いて評価実験を行う．表 1 に概要を示す. 詳細 は付録 A に記載した。事前学習済み大規模言語モ デルとして RoBERTa [21] を使用した. ${ }^{8)}$ バイアス除去を用いない手法 (No debias) [4]，バイアス除去手法 [7] (Debias)，および， $\mathrm{k}$ 近傍法のみを用いる手法 (kNN only) を比較手法とした. ${ }^{9}$ 前者 2 手法は訓練 セットから無作為に抽出された $k$ 個の事例を用いて

6）特に断りがない場合， $d=768$ とし， $\boldsymbol{h}_{i, L}$ を $\boldsymbol{h}_{i}$ と略記する.

7）予備実験より，異なる值でもほとんど同じ結果が得られた.

8) https://huggingface.co/roberta-base [22].

9）色は図 1 および式 (3) 内の色と対応し，No Debias は $W_{\text {debias }}$ がない式 (5) に対応する.
表 2: 文分類問題の実験結果 (精度). 太字は列内での，下線はデータセット内でのそれぞれ最大精度を表し，下付き数字は標準偏差 (土記号あり) または $\lambda$ の値 (土記号なし)を表す.

(a) SST-2

(d) TREC

(b) DBPedia

(e) QNLI

(c) AGNews

(f) MNLI

in-context few-shot 評価を行う。一方，提案手法 (*+ kNN) および kNN only は， kNN によって抽出された $k$ 個の訓練事例を用いて example-base few-shot 評価 を行う. $k \in\{1,4,8\}$ を使用し，式 (3) における補完係数 $\lambda$ は訓練セットを用いて調整した. ${ }^{10)}$

結果を表 2 に示す. ${ }^{11)}$ QNLI，MNLI 以外のデータ セットにおいて，バイアス除去の有無に関わらず， $\mathrm{k}$ 近傍法を組み合わせることで $(+\mathrm{kNN})$, 組み合わ せない手法に比べ，精度が大幅に向上することを確認した. QNLI, MNLIにおいては, kNN onlyが最も 良かった。これらの結果から，ファインチューニン グを行わなくとも言語モデルは下流タスクを解くた めに有用な情報を， $\mathrm{k}$ 近傍法において効果的にそれ が発揮される形で特徴量に埋め込むことができてい ると言える. ${ }^{12)}$ また，全てのデータセットにおいて，近傍事例数 $k$ をきくするほど，精度が向上した。 ただし，各データセットで最大精度を達成する $\mathrm{k}$ 近傍法と相性の良い手法の組み合わせはデータセッ トに依存することがわかる．このことから，任意の データセットに対して頑健な $\mathrm{k}$ 近傍法と既存手法と の組み合わせは本実験で用いた中にはないと言え る.この頑健性の調査は今後の課題とする.

続いて，SST-2（極性分類問題）の訓練セットを 用いて，提案手法の予測結果の解釈性に関する定性分析を行った. 表 3 に提案手法 (Debias + kNN) を含 む 3 手法の予測結果と提案手法で予測に使われた

表 3: SST-2 における 3 手法の予測結果

 &  &  \\

近傍事例を示す. 3 手法全てが誤った予測をしてい るが，比較手法は予測結果しかなく，誤った予測に なった原因を推測することが難しい。一方，提案手法はその原因を近傍事例から推測できる．表 3 の事例の場合，入力文に対する正解ラベルはネガティブ であるにも関わらず，言語モデルからの特徴量を用 いて得られた近傍事例が全てポジティブな文になっ ていることから，言語モデルは入力文をポジティブ な文と解釈していることがわかる. ${ }^{13)}$ このようにし て，提案手法は，評価対象である言語モデルの特徴量を用いた $\mathrm{k}$ 近傍法の近傍事例により，言語モデル が入力文をどのように解釈しているかを推測する手 がかりを提示できると考える。

## 6 おわりに

本稿では，プロンプトを用いた zero/few-shot 評価 において， $\mathrm{k}$ 近傍法を使用することで精度と解釈性 を向上する手法を提案した．実験結果から，複数の 文分類問題において有効性を確認した，今後は，他 のタスクでの有効性・頑健性を確認したい.

13） 正解ラベルがネガティブなのは，入力文が疑問文である ことより，映画のクオリティにネガティブな印象を持つレ ビュー文だからである.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[2] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[3] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[4] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901, 2020.

[5] Boxi Cao, Hongyu Lin, Xianpei Han, Fangchao Liu, and Le Sun. Can prompt probe pretrained language models? understanding the invisible risks from a causal view. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5796-5808, 2022.

[6] Yanai Elazar, Nora Kassner, Shauli Ravfogel, Abhilasha Ravichander, Eduard Hovy, Hinrich Schütze, and Yoav Goldberg. Measuring and Improving Consistency in Pretrained Language Models. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 1012-1031, 122021.

[7] Zihao Zhao, Eric Wallace, Shi Feng, Dan Klein, and Sameer Singh. Calibrate before use: Improving few-shot performance of language models. In International Conference on Machine Learning, pp. 12697-12706, 2021.

[8] Pádraig Cunningham and Sarah Jane Delany. K-nearest neighbour classifiers - a tutorial. ACM Computing Surveys, Vol. 54, No. 6 , 2021.

[9] Urvashi Khandelwal, Omer Levy, Dan Jurafsky, Luke Zettlemoyer, and Mike Lewis. Generalization through memorization: Nearest neighbor language models. In International Conference on Learning Representations, 2020.

[10] Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D. Manning, Andrew Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1631-1642, 2013.

[11] Xiang Zhang, Junbo Zhao, and Yann LeCun. Character-level convolutional networks for text classification. In C. Cortes, N. Lawrence, D. Lee, M. Sugiyama, and R. Garnett, editors, $A d$ vances in Neural Information Processing Systems, Vol. 28, 2015.

[12] Ellen M. Voorhees and Dawn M. Tice. Building a question answering test collection. In Proceedings of the 23rd Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR '00, p. 200-207, 2000.

[13] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, 2016.

[14] Adina Williams, Nikita Nangia, and Samuel Bowman. A broad- coverage challenge corpus for sentence understanding through inference. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1112-1122, 2018.

[15] Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi, and Graham Neubig. Pre-train, prompt, and predict: A systematic survey of prompting methods in natural language processing. ACM Computing Surveys, 2022. Just Accepted.

[16] Ari Holtzman, Peter West, Vered Shwartz, Yejin Choi, and Luke Zettlemoyer. Surface form competition: Why the highest probability answer isn' $\mathrm{t}$ always right. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7038-7051, 2021.

[17] Nora Kassner and Hinrich Schütze. BERT-kNN: Adding a kNN search component to pretrained language models for better QA. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 3424-3430, 2020.

[18] Weijia Shi, Julian Michael, Suchin Gururangan, and Luke Zettlemoyer. Nearest neighbor zero-shot inference. arXiv preprint arXiv:2205.13792, 2022.

[19] Jianguo Zhang, Kazuma Hashimoto, Wenhao Liu, Chien-Sheng Wu, Yao Wan, Philip Yu, Richard Socher, and Caiming Xiong. Discriminative nearest neighbor few-shot intent detection by transferring natural language inference. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5064-5082, 2020.

[20] Yan Wang, Wei-Lun Chao, Kilian Q Weinberger, and Laurens van der Maaten. Simpleshot: Revisiting nearest-neighbor classification for few-shot learning. arXiv preprint arXiv:1911.04623, 2019.

[21] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[22] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 conference on empirical methods in natural language processing: system demonstrations, pp. 38-45, 2020.

[23] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R Bowman. Glue: A multi-task benchmark and analysis platform for natural language understanding. In 7 th International Conference on Learning Representations, ICLR 2019, 2019.

[24] Jens Lehmann, Robert Isele, Max Jakob, Anja Jentzsch, Dimitris Kontokostas, Pablo N Mendes, Sebastian Hellmann, Mohamed Morsey, Patrick Van Kleef, Sören Auer, et al. Dbpedia-a largescale, multilingual knowledge base extracted from wikipedia. $\mathrm{Se}$ mantic web, Vol. 6, No. 2, pp. 167-195, 2015.

## A評価タスクおよびデータセット

ここでは，評価実験に使用したタスクおよびデー タセットについて補足する。

SST-2 [10] は，極性分類問題のデータセットである.実際の映画レビューサイト rottentomatoes.comに 書き込まれたレビュー文を使用している。各事例 は，1レビュー文を入力文とし，クラウドソーシン グのアノテーションによって付与された極性ラベル を出力ラベルとしている. 元のデータセットでは，極性ラベルの取りうる值は 5 值だが，それらを 2 值 に変換して使うこともある [23].

DBPedia [11] は，トピック分類問題のデータセット である. DBPedia [24] は Wikipedia から構造化され たデータを抽出するプロジェクトであり，作成され たデータセットはデータベースおよびオントロジー の形式をとる. Zhang ら [11] は，テキスト分類問題用に，このデータセットから 14 のクラスに属する エントリのタイトルと概要文を無作為に抽出し, 新 たなデータセットを作成した。各事例は，概要文を 入力文とし，オントロジー上でのクラスを出力ラベ ルとする. ${ }^{14)}$

AGNews [11] も，トピック分類問題のデータセット である. Gulli によって作成されたニュースコーパ ス15)を元にしており，Zhang ら [11]は，このコーパ スの中で記事数が最も大きい 4 つのクラスに属す る記事を無作為に抽出し, トピック分類用のデータ セットとした。 各事例は，ニュース記事本文とその 記事が属するトピックのペアからなる. 16)

TREC [12] は，質問文に関する分類問題である．異 なる複数のニュースサイトから集められた大量の 文書に対する質問文があり，人手で適切な質問文の み選ばれている．また，各質問文には何に関する質問かを示すカテゴリが付与されている (全 6 種類). TREC データセットの各事例は，質問文を入力文と し，カテゴリを出力ラベルとする. ${ }^{17)}$

QNLI [13] は，質問応答 (QA) に関する含意関係認識問題である. SQuAD [13] と呼ばれる質問応答デー

タセットから Wang らが文分類問題に変換した [23].具体的には，Wikipedia から収集したパラグラフ中 から，質問文の答えを探すタスクだったものを，質問文の答えがパラグラフ中に含まれているかを 2 値 で答える問題に変換した。したがって，各事例は， パラグラフと質問のペアが入力，回答がパラグラフ 中に含まれているかどうかの 2 值が出力となる. プ ロンプトによってパラグラフと質問文が結合され， 1 文としてモデルに与えられる.

MNLI [14] は，含意関係認識問題である. 話し言葉 や書き言葉を含む 10 個の異なるドメインから収集 したテキストペアに対して，一方が他方を含意して いるかをクラウドソーシングによってアノテーショ ンしている。また，ドメイン外の性能評価を行うた め，5つのドメインに関しては，訓練セットに全く 含まれていない，本研究では，訓練セットに含まれ ている 5 つのドメインから各 30,000 事例のみ無作為に抽出し，データストアを構築した。また，評価 は訓練セットに含まれているドメインの評価セッ 卜 (MNLI-matched)を使用した. 各事例のデータ形式は，QNLI と同じである. ${ }^{18)}$

18） 10 個のドメインは次の通り。訓練セットと同一ドメイン： Fiction, Government, Slate (Magazine), Telephone, Travel. 訓練 セットのドメイン外：9/11，Face-to-face，Letters，OUP (Oxford University Press), Verbatim.


# RoBERTa を用いた経済不確実性のテキスト分類

桑名祥平 佐々木稔
茨城大学 工学部 情報工学科
19t4026r@vc.ibaraki.ac.jp minoru.sasaki.01@vc.ibaraki.ac.jp

## 概要

近年，新聞記事や SNS などに含まれる政治や経済 に関連するテキストを対象として様々な分析を行う 研究が盛んにおこなわれている。本論文では経済分野の中で、経済指標について焦点を当てた。GDP や 消費者物価指数といった社会経済を表す指標が多数存在するなかで、テキストデータを用いた指標も注目され始めている。その中で、”経済政策不確実性指数” と呼ばれる現状の社会経済が持つ不確実な要因 を数値化した指標に着目し、入力したテキストデー 夕に対して機械学習手法を用いて不確実性を持つか どうかを分類する手法を提案する。提案手法は RoBERTa を用いて二値分類問題を解くもので、不確実性を持つテキストと持たないテキストにラベル付 けされた訓練データで分類モデルを学習し、得られ た分類モデルにテキストを入力して不確実性を持つ かどうか分類する。ラベル間のテキストの類似度も 考慮したデータセットを用いることで、モデル性能 の向上を確認した。

## 1 はじめに

近年, デバイスの小型化や大容量化、通信の高速化などにより、あらゆる分野においてデータを活用 する動きが活発である。従来は人手で行われていた 活動もデータを用いた自動処理に置き換わることも 多くある。中でも近年着目されている技術が、経済分野を対象としたテキストデータの分析である。日本には国内総生産や景気動向指数、企業物価指数 などの経済指標があり、これらの指標は莫大な時間 とコストをかけて算出されている。そのような指標 の中で、大量の新聞記事のテキストデータを用いた 経済指標のひとつとして” 経済政策不確実性指数” というものが存在する。この指数の算出に用いられ るテキストデータは、経済に関する新聞の中でも、不確実性に言及している記事のみであり、人手で抽出するには専門的な知識と経験が必要である。そこ
で、本稿では、経済政策不確実性の算出に用いられ る新聞記事を抽出するために、入力された記事に対 して不確実性についての記述があるかどうかを自動的に判別する手法を提案する。具体的には、経済に 関する新聞記事のテキストデータの中で、不確実性 に言及されているか否かをラベルで表現し、RoBERTa を用いて二值分類問題として分類モデルを学習し、入力テキストに対してこの分類モデルを用いて不確実性の言及があるかどうかを分類する。実験では、 データセットの各文章をベクトル化し、ラベル間の 類似度によって評価データに対する判別の正解率が どのように変化するのか、また適切なデータセット はどのようなものなのかを調査した。ラベル間の類似度に関する説明は 3 章 2 節を参照されたい。

## 2 関連研究 - 関連手法

テキストデータから経済指標を算出する研究は盛 んにおこなわれている。景気ウォッチャー調査と呼 ばれる日本各地でとられた経済に関する 5 段階の評価と選択理由を学習データ、テストデータに日経新聞を用いたセンチメント分析による指標を構築した 研究[1]や、日本銀行が発行するテキストに対してト ピックモデルやニューラルネットワークを用いて指標を構築した研究[2]、さらに本稿でも扱う、新聞記事に含まれる不確実性について指数化した経済政策不確実性指数 [3]などさまざまである。

本稿の先行研究[4]では、経済政策不確実性指数の 算出に用いられる不確実性を含むテキストの抽出を 行っている。具体的には、経済に関する新聞記事の データセットを用意し、不確実性に言及があるもの はラベル 1、それ以外を 0 として、SVM や Bidirectional RNN、BERT, DistilBERT, RoBERTa など 複数のモデルで学習し、比較を行っている。 $\mathrm{F}$ 值が 最も高かったモデルは RoBERTa であったため、本稿でもこのモデルを採用している。

## 3 提案手法

実性に言及されている文章を抽出する方法を紹介す る。

3 節では, 新聞記事のテキストデータから、不確

図 1 : 提案手法の概略

## 3. 1 概要

図 1 に提案手法の概略図を示す。前段階として、経済に関する英字の新聞記事のデータセットを作成 している。そして前処理を行い、データセットのう ち $80 \%$ 学習データ、20\%をテストデータと検証デ 一タとしている。機械学習では、BERT の派生であ る RoBERTa を採用し、ファインチューニングを行 っている。

## 3.2 データの前処理方法

自然言語処理や画像処理の分野では、ノイズや欠損、エラー值などが存在するため、前処理を行うこ とが一般的である。今回の処理の中でも前処理を行 っている。具体的には、経済に関する新聞記事のデ ータセットを用意し、大文字小文字の処理や省略文字、不必要な記号の削除等を行っている。次に新聞記事に含まれる不確実性のラベリングである。テキ ストの中にキーワードとして "uncertain”, “uncertainty”、または同様の意味である”unclear”, “unpredictable"などの単語が含まれている場合には ラベルを 1 ，それ以外のテキストには 0 をラベル付 けしている。テストデータ、検証データに関して、 ラベルが 1 のテキストに含まれる上記の単語群は省 く処理をしている。

上述のように前処理としてラベリングを行ったが、経済政策不確実性に言及があるテキストは、記事全体のうちおよそ $5 \%$ ほどであった。学習の際にはラ ベル間の比率は $1: 1$ で行うため、学習に使用しない ラベル 0 のデータが大量に余る。そこで、Google News データセットの学習済み単語ベクトル用いて 各文章に対して 300 次元のベクトル化を行った。 1 文の単語の集合を $S=\left.\{w_{1}, w_{2}, \ldots w_{n}\right.\}$ とすると、 1 文章のベクトル $V$ 和は以下の式で表せる。

$
V=\sum_{w_{i} \in S} v_{w_{i}}
$

ここで 1 文のベクトル $V$ は 300 次元のベクトルであ る。 $V=\left.\{x_{1}, x_{2}, \ldots x_{n}\right.\}$ とし、(1)の式を正規化すると 以下の式で表せる。

$
\begin{gathered}
V s=\frac{V}{|V|} \\
|V|=\sqrt{\sum_{k=1}^{300} x_{k}^{2}}
\end{gathered}
$

ラベル 1 のテキストのベクトルの代表值を作り、各 ラベル０のベクトルとコサイン類似度を取る。ラベ ル 1 のテキストのベクトルの集合を $V=$ $\left.\{v_{11}, v_{12}, \ldots v_{1 n}\right.\}$ とする、ラベル 1 のベクトルの総和 $V_{1}$ は

$
V_{1}=\sum_{v_{1 i} \in V} v_{1 i}
$

(2)，(3) 同様に総和を正規化するとラベル 1 のベク トルの代表值が得られる。

$
\begin{gathered}
V=\frac{V_{1}}{\left|V_{1}\right|} \\
\left|V_{1}\right|=\sqrt{\sum_{k=1}^{300} x_{k}^{2}}
\end{gathered}
$

（5）でえられたラベル 1 の代表値 $V$ と、各ラベル 0 の テキストに割り振られた (2) 式の $V_{s}$ のコサイン類似度を取ると、あるラベル 0 のテキストとラベル 1 の 代表値の類似度は以下の式で表せる。

$
\cos _{V_{1} V}=\frac{V_{s} \cdot V}{\left|V_{s}\right||V|}
$

（7）で得られた値がラベル間の類似度である。

## 3.3 エンコード手法

先行研究の結果から、ラベル付きのテキストデー タから分散表現を求めるためのエンコード手法とし て RoBERTaを用いる。事前学習済みモデルは roberta-base を採用している。学習時の各パラメータ を以下の表 1 に示す。

表 1, RoBERTa のパラメータ

## 4 実験

## 4. 1 データセット

本実験で使用するデータセットは、マイクロソ フトが提供するマイクロソフトニュースに関するデ
ータセットである MIND'に加え、ロイター通信の 過去の新聞記事の二つのテキストデータにラベリン グ、類似度の振り分けを行ったものである。2二つ のテキストデータではあらかじめ経済に関するテキ ストのみを抽出しており、約 11000 件のデータセッ トとなっている。データセットの内訳は、ラベル 1 が 476 件、ラベル 0 のデータが 10740 件となってい る。ラベル 0 のデータセットにおける類似度別の内訳を以下の表 2 に示す。本実験では、476 件のラベ ル 1 のデータ 476 件に対して、約 11000 件のラベル 0 のデータから類似度別に 476 件を抽出し学習、評価を行う。具体的には、ラベル 1 との類似度が 0.9 以上のラベル 0 のテキストのみを抽出し学習すると いった流れである。類似度が 0.7 以下のデータセッ トは、ラベル 1 の件数よりも下回るため、対象外と している。

表 2. ラベル 0 の類似度別件数

## 4. 2 評価方法

評価の方法としては、データセットを分割し、複数回実行する K 分割交差検証を行う。特に今回は分割するデータセットのラベルの偏りを無くすために 層化 $\mathrm{K}$ 分割交差検証で評価を行う。今回の実験では 分割数を 5 に設定しているため、データセットを 5 分割し $80 \%$ を学習データ、 $20 \%$ をテストデータとし て 5 回実行し、 $\mathrm{F}$ 值の平均値を取り評価を行う。ラ ベルが 0 のデータに関して、データセットから無作為に抽出したデータセット「類似度高」、「類似度低」、「高低 $5: 5$ 」, 「高低 $3: 7$ 」, 「高低 $7: 3$ 」,「類似度 0.9 以上」, 「類似度 0.8 以上 0.9 未満」,「類似度 0.7 以上 0.8 未満」である。ここで類似度高、類似度低は、データセットを類似度でソートし
^{1}$ MIND データセット https://msnews.github.io/

2 ロイターニュースデータセット

https://archive.ics.uci.edu/ml/datasets/reuters-

21578+text+categorization+collection
}

たときの上位と下位という意味である。

## 5 実験結果

4.2 で紹介した類似度別の 8 パターンについて、 $\mathrm{f}$ 值による評価の実験結果を以下の表 3 に示す。

表 3. 各 $\mathrm{f} 1$ 值

## 5. 1 先行研究との差異

先行研究では、ラベル 1, ラベル 0 の比率が 1:4 で行われており、最も高い $\mathrm{F}$ 值を出した RoBERTa で 0.45 であった。本実験では、ラベル間の類似度 を考慮しない実験で $\mathrm{F}$ 値 0.74、ラベル 0 に関して 類似度の低いデータを抽出し学習した場合には $\mathrm{F}$值は 0.96 と先行研究よりも高いスコアを確認し た。

## 5.2 類似度による影響

今回の実験ではラベル比率を $1: 1$ で固定し、デ ータセットのテキストの類似度に着目して学習を行 った。結果、類似度が低いテキストを多く取り入れ ると $\mathrm{F}$ 值は無作為抽出よりも 0.2 ほど上昇した。反対に、似度が高いテキストを多く取り入れると $\mathrm{f}$ 値
は 0.3 ほど低い值を示した。類似度のパーセンテー ジで見た際に、ラベル 1 とラベル 0 の類似度が $90 \%$ を境に F 值が大幅に変化していることが見て取れる。 この結果は、ラベル間の類似度が高い場合、分類の 際の境界が曖昧になり正しく分類できず、反対に類似度が低い場合には境界が明確であるから正しく分類できると予想できる。

## 6 終わりに

本稿では、経済政策不確実性指数の算出に用いら れる不確害性に言及のあるテキストを RoBERT のフ アインチューニングを用いた二値分類問題での抽出 を行った。実験では先行研究での $\mathrm{F}$ 值を上回る結果 となった。先行研究の $\mathrm{F}$ 値を上回った理由は、ラべ ルの比率を均一にしたこと、データセットを類似度別で作り学習したことなどが考えられる。

## 参考文献

[1] K. Seki et al. (2022). "News-based business sentiment and its properties as an economic index" . SienceDirect.

[2] K. Yono., \& K. Izumi. (2017). "Real time sentiment analysis of Bank of Japan using text of Financial report and macroeconomic index”. The 31st annual Conference of the Japanese Society for Artificial Intelligence.

[3] R. Baker et al. (2016). "Measuring economic policy uncertainty”. The Quartwrly journal of economics. Vol.131. issue 4.

[4] Godbole. S. et al. (2020, 7, February). "Economic uncertainty Identification Using Transformers - Improving Current Methods" . Seminar Information Systems(WS19/20).

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# ラベル依存の注視機構を用いた 医薬系文献に対する統制索引語付与

菊井 玄一郎 鈴木 慶二 関根 基樹 水田 寿雄
国立研究開発法人 科学技術振興機構(JST) 情報企画部
\{genichiro. kikui, k3suzuki, sekine, mizuta\}@jst. go.jp

## 概要

本稿では、深層学習に基づくテキスト分類手法を 用いた医薬系文献に対する統制語索引付与について 報告する。本稿で試みた手法は基本的には LSTM お よび BERT によるマルチラベル・テキスト分類であ るが、既存研究に従い、「ラベル依存の注視機構」 を利用している。専門分野の文献を扱うため、当該分野のコーパスによる BERT 事前学習や単語埋め込 みの構築も試みた。F1 值により性能評価を行ったと ころ、ラベル依存の注視機構を備えた LSTM が同様 の BERT より若干上回る結果となった。またテキス 卜表層から付与しにくい索引も一定程度付与できる ことが分かった。

## 1. はじめに

文献に対してその内容 (主題)を表す索引語 (index term）の集合を付与することは文献検索やテキスト マイニングなどにおいて極めて重要であり、特に専門用語シソーラスによる索引は専門分野の文献調査 において有用であることが指摘されている[1]。科学技術振興機構 (JST) では文献 DB（メタデー 夕）整備の中心業務として、約 37,000 語のシソーラ ス、115 万語の「大規模辞書 (用語辞書) 」に基づい た索引を各文献に付与している。付与作業は JST の 前身組織の時代から専門作業者が行ってきたが、近年、一部文献についてルールベースの自動処理を適用している。しかしながら、管理コストやの点から 医薬系分野を含む全面的な採用には至っていない。 そこで、本稿では医薬系分野の文献に統制語索引 を付与する手法を検討する。上述のように JST では 相当量の文献に人手による索引が既に付与されてお り、その一部が利用可能であることから機械学習的 なアプローチを試みる。以下では、まず 2 章で JST の索引について簡単に 紹介し、 3 章で関連研究について述べる。 4 章で我々 が試みた方法について説明したあと、5 章で実験デ 一タと実験設定について述べ、6 章で結果とその考察を述べ、最後にまとめる。

## 2. JST の文献 DB における索引

JST の文献 DB において各文献に付与されている 索引の種類を図 1 に示す。索引は、当該文献の主題 を表すメインへディング、メインへディングの補足 として医薬系分野で付与されているサブヘディング からなる。本稿ではこれらのうちメインへディング のみを対象とする。

図 1: JST 文献DB における索引

\begin{abstract}
メインヘディングはさらに現在 37,444 語の「JST シソーラス」を統制語とする「ディスクリプタ」と、 それ以外の「準ディスクリプ夕」に分けられる。後者についても新語などを除いて、基本的には約 115 万語（同義語 ID 数約 22 万）の「大規模辞書」から 選ぶことが推奨されている。「大規模辞書」を統制語と呼ぶのは不適当かも知れないが、極力統制され た用語で索引付けを行っているといえる。索引や辞書に関する詳細は文献[2],[3]などを参照されたい。
\end{abstract}

## 3. 関連研究

索引の自動付与手法は「抽出型」「分類型」「生成型」の大きく 3 つに分類できる。
抽出型はテキスト内で「主題表現」や「キーフレ ーズ」に相当する文字列を特定し、必要に応じて文字列の標準化や統制語へのマッピングを行うという ものであり、1950 年代からの長い歴史がある。

分類型は統制語をテキストの「主題」を示す「分類ラベル（カテゴリ）」とみなして、テキスト自動分類の手法を適用するというものである。

最後の生成型はアブストラクト型の文書要約と同様に索引語の並びを生成するもので、出力側の語彙 を限定すれば統制型の索引も可能である。

これらのうち本稿ではテキスト全体から索引の集合を直接推定する「分類型」に焦点を当てる。JST 文献 DB における主題索引の約 4 割が同義語を含めて もテキスト中に出現しないことが指摘されており

[1]、分類型が一つの解決策と考えたからである。分類型の索引付与はテキスト分類と基本的に同じ タスクとみなせるが、1）一つの文書に対して複数 の分類ラベル（索引）を選ぶ「マルチラベル分類」 であり、2）ラベルの数がかなり多い（数万〜数百万）ことが特徴である。このようなタスクは大規模 マルチラベル分類 (Large-scale Multi-label Text Classification: LMTC) と呼ばれ、例として、診療記録 に診断・治療を表す ICD-9iの 8,771 ラベルを割り当 てる MIMIC-III[4]、法律文書に法的な概念(4,271 ラ ベル)を割り当てる EUR-Lex[5]、商品説明文に約 13,000 ラベルの商品カテゴリを割り当てる Amazon13K[6] などがある。さらにラベル数が多い ものは「超大規模マルチラベル分類(eXtreme Multilabel text Classification:XMC)」と呼ばれ、Amazon の 67 万ラベルのデータセットなどがある $i i$ 。今回、我々 が取り組む課題は分野内容的に上記 MIMIC-III に近 くラベル数は 12,000 程度である。

LMTC, XMC については深層学習を利用した多く の研究が行われている。転移学習型手法の普及以前 は CNN や RNN に「ラベル依存の注視機構（LabelWise Attention Networks: LWAN）」を組み合わせた 方法が試みられた[7],[5]。また、大量のラベルに起因 するデータ過疎性の問題に対応するために、ラベル の階層構造を利用する方法[8]や、自動クラスタリン グによりラベルを階層化し、少数カテゴリに対する マルチラベル分類をトップダウンに適用する方法な
$
}

どが提案されている[9][10]。特に AttentionXML[10] は分類処理として LSTM(Long-Short Memory)にラべ ル依存の注視機構を組み合わせた手法(LSTMLWAN)を用いることにより、精度向上を実現してい る。BERT[11]の提案を受けて、文献[12]では BERT にラベル依存の注視機構を組み合わせた BERTLWAN と呼ぶ手法を提案し、上述の 3 つの LMTC タ スクで既存手法との比較実験を行った。各タスクで 安定して性能が高かったのは AttentionXML[10]であ り、MIMIC-III で BERT-LWAN 19 ポイントの差 をつけて 1 位、EURLEX, AMAZON13k でも 1 位の BERT-LWA より 2-3 ポイント低い程度であったiii。 なお、MIMIC-III において BERT-LWAN の性能が低 い理由として、事前学習モデルが汎用であったこと、入力テキスト長がモデルのサイズ(512tokens)を超え ていたこと、サブワードによる専門用語の過度な分割などを指摘している。

以上より、AttentionXML(LSTM-LWAN)や BERTLWAN などのラベル依存の注視機構が有効である こと、BERT を利用する場合は適用先ドメインのコ 一パスによる事前学習が有効であると考えられる。

## 4. 試みたマルチラベル分類手法

本節では本研究で適用を試みた 2 つの手法（モデ ル)について説明する。

## 4.1 ラベル依存注視機構付き LSTM

ラベル依存の注視機構付き LSTM(LSTM-LWAN) （図 2 ）は AttentionXML[10]の分類処理で利用され ている手法である。双方向 LSTM の各トークンに対 する出力（埋め込みベクトル）にラベル依存のアテ ンション重みを掛けて総和したものを当該ラベルに 対する文書全体の pooling ベクトルとする。具体的 には、 $j$ 番目のラベルに対する $i$ 番目のトークンの重 み $\alpha_{i j}$ (スカラー值)を次式で計算する。

$
\alpha_{i j}=\frac{\exp \left(\boldsymbol{h}_{\boldsymbol{i}} \cdot \boldsymbol{w}_{\boldsymbol{j}}\right)}{\sum_{t=1}^{T} \exp \left(\boldsymbol{h}_{\boldsymbol{t}} \cdot \boldsymbol{w}_{\boldsymbol{j}}\right)}
$

iii 文献[10]の実験ではラベル数 4 万以下の LMTC で は階層化を行っていない。文献[11]の実験設定は不明である。

## 図 2: LSTM-LWAN の概要 (BERT-LWAN は点線枠を BERTに置き換えたもの)

ここで $h_{i}$ は i 番目のトークンに対する LSTM の 出力（埋め込み）、 $w_{j}$ は $j$ 番目のラベルに対する注視係数ベクトルであり、学習で決まる。 $j$ 番目のラベル に対するテキスト全体の pooling ベクトル $m_{j}$ は次式 の通り各トークンの埋め込みの加重和である。

$
m_{j}=\sum_{i=1}^{T} \alpha_{i j} h_{i}
$

このベクトルを通常のマルチラベル分類と同様、全結合層（中間層を 1 層入れている）を通してラベル ごとに 0/1 の出力を行う。なお全結合層の重みは全 てのラベルで共通としている。

## 4.2 ラベル依存の注視機構付き BERT

4.1節のLSTM と埋め込み (図 2 の点線枠)をBERT に置き換えたものが BERT-LWAN[4]である。すなわ ち 4.1 節の $h_{i}$ の部分が $i$ 番目のトークンに対する BERT の埋め込み出力となる。

## 5. 実験

## 5.1 実験データ

## 5.1.1 分類実験 (finetuning) 用データ

分類実験用データとしてJST が整備している文献 DB のうち医薬系文献の一部を用いた。対象とする 索引語はカテゴリーコード LS44(薬物)、または、 LS51(病気・病理 - 症状)に分類される主題索引 (メ インヘディング）であり、大規模辞書を用いて動機語を代表表記に集約した。利用した文献データは医薬系文献 DB である JMEDPlus に収録されている文献のうち上述の索引語を含み 2018 年から 2021 年 8 月までに作成された約 38 万文献であり、8:1:1 の比率で訓練、検証、評価用にランダムに分けた。この うち 18 万文献（全て口頭発表の予稿）については本文データが存在するのでそれらも入力テキストとし て利用した。文献数とラベル数(type 数)を表 1 に示 す。索引 (語)を 2 つのカテゴリに絞っているため、 1 文献あたりの正解ラベル数（索引数）の平均は 5.5 個である。正解ラベルのうち JST 大規模辞書による 同義語展開を行っても抄録・本文・表題の文字列に 含まれないものを「本文未出現ラベル」として同定 した。本文未出現ラベルは 1 文献あたり平均 2.1 個 (39\%)であった（ラベル数 0 の文献も分母に含む）。

表 1 索引実験用のデータ

分類処理への入力テキストは上記文献 DB 中の表題と（あれば）抄録、本文が存在するものは本文を この順にスペースでつないだものである。入力テキ ストの文献あたりの平均文字数は 409 であった。

## 5. 1.2 事前学習用データ

事前学習用のコーパスは医薬系文献を含む JST 科学技術文献DB の抄録 960 万文献(1 抄録あたり平均 4.2 文、 240 文字)を用いた。なお、分類の評価用、検証用の文献は含んでいない。

## 5.2 実験設定

## 5. 2.1 分類モデルの構築

分類モデルは 4 節で述べた通りである。損失関数 は通常のマルチラベル分類と同様に Binary CrossEntropy Loss を用いた。ハイパーパラメータは検証用セットで評価值が最高になるものを選んだ。そ の際の評価尺度は文献ごとの $\mathrm{F} 1$ 值のマクロ平均で ある。この種の問題ではラベルごとに $\mathrm{F} 1$ 値を算出 しそれを平均することが多いが、ユーザとしては、文献ごとにどの程度正確に索引されているかが重要 であることからこのようにした。

ラベル依存の注視機構の効果を見るために 4 節で 述べた 2 つの手法の他にベースラインとして BERT の CLS トークンに対応する埋め込みベクトルを全結
合で出力層に接続したシンプルなマルチラベル分類 ivも適用した。

## 5. 2. 2 LSTM-LWAN 用の単語埋め込み

LSTM の入力層で必要となる埋め込みベクトルは分類学習用のコーパス(5.1.1 節)に GLoVe[13]を適用し て 300 次元のものを作成した。形態素解析には

MeCab/ipadic に JST シソーラスから作られたユー ザ辞書[14]を追加したものを用いた。サブワード分割は行っていない。

## 5.2.3 BERT 事前学習モデルの構築

BERT の事前学習モデルは 5.1.2 で述べたコーパ スから作成した。まず、5.2.2で述べた JST シソーラ ス由来のユーザ辞書を用いて形態素解析し、これを もとに語彙サイズ $32 K$ のサブワードモデルを作成し た。このサブワードモデルと既存ツールvを用いて事前学習を行った。モデルのハイパーパラメータは東北大 base モデルに合わせて隠れ層 12 層 768 次元、 ヘッド数 12 などとした。NVIDIA RTX A6000x8 台 で 14 日間訓練した。

## 6. 実験結果と考察

評価セットに対する分類性能（索引性能）を表 2 に示す。事前学習モデルの baseは東北大 base mode1, JST は 5.2.3 で述べたモデルである。prec(精度)、 rec. (再現率)、F1 値は、前述の通りそれぞれを各文献について求めた上で全文献の平均を取った値（マ クロ平均値）である。なお、分母が 0 になる場合は 評価値を 0 として計算した。 rec2 は正解ラベルを 「本文未出現ラベル」に限定した場合の再現率であ り (本文未出現ラベルを含む文献 28,932 文献で計算）、F 1 値上位 2 つの設定で計算した。目的は表層一致を超えた索引抽出能力を評価するためである。

表 2 分類（索引）性能

\cline { 3 - 6 } & & prec. & rec. & F1 & rec2. \\

\cline { 2 - 6 } & JST & .716 & .548 & .581 & - \\

\cline { 2 - 6 } & JST & .658 & .660 & .617 & .493 \\

まず、F1 值についてはAttentionXML が 2 位の JST 事前モデルを用いた BERT-LWAN より 2 ポイント高い 結果となった。この順位関係は先行研究 [12] と一致 する。BERT-LWAN について、今回は索引対象と同じ 分野のコーパスで事前学習モデルを訓練しているこ とから事前学習モデルのミスマッチは少ないと考え られる。他の理由としては BERT がサブワード単位 であるのに対して LSTM-LWAN が JST 辞書の語彙（専門用語）をGLoVe で直接モデル化していることなど が考えられるが、更なる検討が必要である。

抽出型の索引付与手法が基本的にはテキストに出現する表現の中から索引表現を探す処理であるのに 対して、今回試みた分類型は対象テキストの表層に ない索引語を付与できる可能性がある。rec2 を見る と、再現率 0.5 弱になっており、全ての正解索引に 対する再現率 0.66 より 18 ポイント程度下がるもの の全体の適合率 $(0.66)$ を考えるとある程度できてい ることが分かる。なお、BERT-LWAN の方が LSTM-LWAN より若干良いことを注記する。

BERT については科学技術分野のコーパスで作成 した事前学習モデルは汎用のものと比べて性能が高 く、BERT-LWAN で 4 ポイント程度向上している。ま た注視機構は BERT に対して 2-4 ポイントと性能向上に一定の寄与があったと考えられる。

## 7 おわりに

本稿では統制語索引を文書分類的に解く方法につ いて、JST の文献 DB におけるメインヘディング付与 を題材として、特にラベル依存の注視機構 (labelwise attention:LWAN)の適用を試みた。

実験結果によればラベル依存の注視機構は有効で あり、F1 值として 0.63 程度となった。LWANを、対象分野のコーパスから作成した GLoVe、および、LSTM と組み合わせる方法が BERT と組み合わせた方法よ り若干上回る性能となった。

索引付けについてはテキスト中から重要表現を取 り出す抽出型が基本であり、今回試みた分類型の方法はそれを補足する役割があると考えている。今後 は両手法の改善に加え、それぞれの性質の分析を踏 まえて適切に組み合わせることが大きな方向性であ ると考えている。

## ${ ^{\vee}$ Huggingface $\odot$ BertForMaskedLM}

## 参考文献

［1］堀内美穂，中村徹，永井賢吉：JSTDB 検索にお ける索引の有効性と索引作業の重要性-JSTP1us フ アイル, JMEDPlusファイルにおける索引語の分析-,情報管理，vol. 52，No.1，2009.

[2] 冨永祥平：“索引作業におけるより高度な支援辞書の利用〜 JST 抄録・索引支援システム「NAISS」 について〜”，情報管理, vol. 50, no. 4, pp. 210-217, 2007.

[3] 山崎文枝, “JST 科学技術シソーラスの改訂” ,情報管理，vol. 60, no. 5, pp. 365-368, 2017.

[4] Johnson, A EW., et al., "MIMIC-III, a freely accessible critical care database", Nature, 2017.

[5] Chalkidis, I., et al., "Large-Scale Multi-Label Text Classification on EU Legislation”, ACL 2019, 2019. [6] McAuley, J., et al., "Hidden Factors and Hidden Topics: Understanding Rating Dimensions with Review Text", ACM Conf. on Recommender Systems, pp. 165172, 2013.

[7] Mullenbach, J., et al., "Explainable Prediction of Medical Codes from Clinical Text”, NAACL2018, 2018. [8] Rios, A., et al., "Few-Shot and Zero-Shot MultiLabel Learning for Structured LabelSpaces, EMNLP2018, 2018.

[9] Khandagale, S., et al., "Bonsai - Diverse and Shallow Trees for Extreme Multi-label Classification”, arXiv:1904.02349v2, 2019.

[10] You, R., et al., "AttentionXML: Label Tree-based Attention-Aware Deep Model for High-Performance Extreme Multi-Label Text Classification”, NeurIPS2019, 2019.

[11] Devlin, J., et al., "BERT: Pre-training of Deep

Bidirectional Transformers for Language

Understanding", Proc. NAACL2019, 2019.

[12] Chalkidis, I., et al., "An Empirical Study on LargeScale Multi-Label Text Classification Including Few and Zero-Shot Labels", EMNLP2020, 2020.

[13] Pennington, J. et al., "Glove: Global vectors for word representation”, EMNLP2014, pp1532-1543, 2014. [14] 建石由佳, 信定知江, 高木利久: “JST 科学技術用語シソーラスに基づく MeCab 用専門用語辞書”,言語処理学会第 23 回年次大会、P7-1 (pp485-488), 2017.


# 文書間の類似度近似と数理最適化を用いた検索結果多様化

大滝啓介 徳久良子 岡田明久 吉田広顕
株式会社豊田中央研究所
\{otaki, tokuhisa, okada, h-yoshida\}@mosk.tytlabs.co.jp

## 概要

蓄積されている技術文書から、自分の関心がある 文書を適切に探し出す情報検索は重要である。本稿 では自然言語処理を用いて「検索クエリと文書」や 「文書と文書」の類似度をべクトル埋め込みを通じ て計算した上で、文書間の類似度を考慮しつつ、多様な文書を出力する検索結果多様化を扱う。既存の モデルでは文書の親子関係のみを考慮して多様化を 行っていたため、表現可能な文書間の関係性に制限 があった。本稿ではこの制限に対処するために一般化した数理モデルを提案し、小規模データでの適用例を通じて手法や今後の課題について議論する。

## 1 はじめに

背景 日々の研究活動では、大量に蓄積される技術文書から自分の関心がある文書を探し出す必要が ある。このような情報検索は研究開発にとって欠か せない行為であり、技術文書検索を支えるため様々 な技術が検討されてきた $[1,2,3]$ 。

本稿では関連スコアベースの検索技術に注目す る。クエリ $q$ と検索対象の文書 $\left.\{d_{1}, \ldots, d_{n}\right.\}$ に対し て、クエリ $q$ と文書 $d_{j}$ との関連性を定量化すること で、評価値に従って文書をソートし、検索結果を出力することができる。具体的には、例えば検索クエ リ $q$ と文書 $d_{j}$ 、文書 $d_{i}$ と文書 $d_{j}$ をべクトルの埋め 込みで表現し、これらのべクトル間の類似度を求め ることで、関連性を定量化した検索システムを構築 することができる [4]。近年では自然言語処理に関 する論文を検索するサービスも提供されている1)。

課題と本稿の貢献 類似度を関連スコアとして 用いて上位 $K$ 個の文書を検索結果として出力する と、出力された文書が相互に類似する傾向がある。一方で、よりユーザ経験豊かな検索システムを実装 するためには、検索結果に多様な文書が含まれるこ とが望ましい。このような問題設定は検索結果多様化 (search result diversification) の文脈で研究されてき た [5]。選択した検索結果の多様性は、文書間の類似度などを用いて評価される。これまでの手法 [6] では文書の親子関係のみを考慮することしか出来な い(詳細は 2 章で述べる)。そのため親・子・孫の関係や、一般に木構造で表現されるような文書間の階層関係を表現することができなかった。

我々は数理最適化を用いて、既存研究を拡張した 一般の森構造関係を考慮できる数理モデルを提案 し、上記の課題を解決する。提案手法によって、文書間の芋づる式の検索や、木構造で表現する複雑な 階層関係を想定した文書群の検索をサポートし、よ り豊かな検索経験が得られると期待される。本稿で は特に、新しく提案した数理モデルの動作検証に注力し、小規模のデータに対して適用した結果を通じ て手法を議論した結果を報告する。

## 2 準備

本稿で提案する数理モデルの元になった既存手法 と問題設定について説明する。

## 2.1 ベクトル埋め込みを用いる検索

システムは $n$ 個の文書 $D=\left.\{d_{1}, d_{2}, \ldots, d_{n}\right.\}$ を管理し、ユーザはクエリ $q$ を検索システムに入力す る。これらの文書やクエリから $\mathbb{R}^{h}$ に属するべク トルへの埋め込みが計算可能として、それぞれを $\mathbf{v}_{q}, \mathbf{v}_{d_{i}} \in \mathbb{R}^{h}$ で表す。クエリと文書間の類似度を計算する関数を $r: \mathbb{R}^{h} \times \mathbb{R}^{h} \rightarrow \mathbb{R}$ と設定し、 $r\left(\mathbf{v}_{q}, \mathbf{v}_{d_{i}}\right)$ で関連スコアを表す。また文書間の類似度を計算す る関数を $s: \mathbb{R}^{h} \times \mathbb{R}^{h} \rightarrow \mathbb{R}$ と設定し、文書間の類似度を $s\left(\mathbf{v}_{d_{i}}, \mathbf{v}_{d_{j}}\right)$ で表す。関連スコアと文書間の類似度には、いずれもコサイン類似度を用いる。

選択した文書の関連スコアを $R(S):=$ $\sum_{d_{j} \in S} r\left(\mathbf{v}_{q}, \mathbf{v}_{d_{j}}\right)$ で定義する。多様化を考慮しな い検索システムは、式 (1) の最適化問題を通じて検索を行う。

1) ACL2Vec:http://clml.ism.ac.jp/ACL2Vec/

$
\max _{S \subseteq D,|S|=K} R(S) .
$

## 2.2 検索結果多様化

式 (1)を拡張し、検索結果多様化を定式化する。検索結果多様化では、選択した文書集合 $S$ 上の多様性スコアを定義し、関連スコアと多様性スコアの両方を持つ目的関数を用いる。文書集合 $S$ に対する多様性スコアが $\Omega(S)$ の場合、多様性を考慮する検索 システムが扱う問題は式 (2) のような多目的最適化問題として定式化される $[6,7]$ 。

$
\max _{S \subseteq D,|S|=K} R(S)+\Omega(S) .
$

本稿では多様化手法のうち、文書間の親子関係に 着目して $S$ を一度に構築する手法である ILP4ID [6] に着目し、拡張した数理モデルを提案する2)。

## 2.2.1 ILP4ID (ILP for Implicit Diversification)

ILP4ID では文書間に親子関係 >を考慮し、親子関係から $\Omega_{\mathrm{ILP} 4 \mathrm{ID}}(S):=\sum_{\left(d_{i}, d_{j}\right) \in S \times S \text { if } d_{i}>d_{j}} s\left(d_{i}, d_{j}\right)$ を 評価した上で、第二項 $\Omega_{\mathrm{ILP} 4 \mathrm{ID}}(\cdot)$ を用いた最適化問題を通じて検索結果を多様化する [6]：

$
\max _{S \subseteq D,|S|=K} \lambda(n-K) R(S)+(1-\lambda) K \Omega_{\mathrm{ILP} 4 \mathrm{ID}}(S)
$

式 (3) では 1 項目の関連スコアと 2 項目の多様性ス コアの両項が、全文書数 $n$ と選択する文書数 $K$ とパ ラメータ $\lambda \in[0,1]$ で重み付けされている。二項目 の $\Omega_{\text {ILP4ID }}(\cdot)$ は親子関係に選択した文書間の類似度 が相互に高い場合に高くなる項である。そのため、親として選んだ文書集合 $S$ は、式 (3)を最適化した 結果として多様化されていることが期待される。な $お \lambda=1$ のとき通常の検索と一致する。

最適化問題としての実装 著者らは整数計画法 を用いて目的関数の式 (3) を実装した [6]。二値変数 $x_{i j} \in\{0,1\}, i \in[n]:=\{1, \ldots, n\}, j \in[n]$ を用いて、 $x_{i i}=1$ によって $d_{i} \in S$ を、 $x_{i j}=1$ によって親子関係 $d_{i}>d_{j}$ を表す。選択していない文書について は、選択した文書に対して親子関係を持ち、制約に $x_{i i}-x_{j i} \geq 0$ を満たす。これは文書 $d_{i} \in S$ を選択して いるときに限り、他の文書 $j$ から $i$ に対して親子関

2) 本稿では大規模事前学習モデル (Pre-trained Language Models) とコサイン類似度を用いる。対象とする技術文書や 教師ラベルの存在によっては、多様化タスクに向けてファイ ンチューニングをしたり、別の類似度を採用してよい。係を認めることを意味する。以上の設定によって、 $\Omega_{\mathrm{ILP4ID}}(S)$ は $\Omega_{\mathrm{ILP4ID}}(\mathbf{x}):=\sum_{i=1}^{n} \sum_{j=1, j \neq i}^{n} x_{i j} \cdot s\left(d_{i}, d_{j}\right)$ で表すことができる。

## 3 類似度近似に基づく計算手法

本章では 2.2 節で述べた既存手法 ILP4IDを拡張す ることで、一般的な文書間の構造を表現できる数理最適化問題を提案する。階層関係を親子関係から森構造に拡張することで、芋づる式の親子関係（文書親 $d_{1}>$ 文書子 $d_{2}>$ 文書孫 $d_{3}$ ）などを表現できるよ うになることが期待できる。一方で $\Omega_{\text {ILP4ID }}$ で扱っ た深さ 1 の親子関係 $d_{1}>d_{2}$ だけではなく、より深 い位置の関係（ $d_{1}$ と $d_{3}$ など）最適化問題の中でモ デリングする必要がある。

## 3.1 提案手法

一般化した階層関係を考慮するモデルを 提案するために、我々は類似度が分解できる 仮定を置く。具体的には $D$ 上の類似度行列 $\mathrm{S}:=\left(s\left(d_{i}, d_{j}\right)\right)_{i, j \in[n]} \in \mathbb{R}^{n \times n}$ を低ランク $(l \ll n)$ の因子行列 $\mathrm{L} \in \mathbb{R}^{n \times l}, \mathrm{R} \in \mathbb{R}^{n \times l}$ によって $\mathrm{S} \approx \mathrm{LR}^{T}$ として 近似できると仮定し、計算モデルを提案する。

選択した文書を根とした根付き森を表現する手法 を説明する。ここで $\langle n\rangle:=\{\boldsymbol{0}\} \cup[n]$ としてダミー文書 $\mathbf{0}$ を用意する。根付き森の上位にダミー文書 $\mathbf{0}$ を 仮定し、根付き森の根を $\mathbf{0}$ の子とみなすことで、根付 き木を用いて間接的に根付き森を表現する。ILP4ID と同様に、選択する集合は $S=\left.\{d_{j} \mid x_{0 j}=1\right.\}$ と解釈 する。決定変数として $x_{i j} \in\{0,1\}, i \in\langle n\rangle, j \in\langle n\rangle$ を 用いて根付き木を表す。ただし $x_{i j}=1$ は $x_{i}>x_{j}$ を 意味する。また木 $T$ は頂点数 $n+1$ の頂点集合と辺集合 $\left.\{\{i, j\} \mid x_{i j}=1\right.\}$ で表現されるとする。スコア計算のために $i \in\langle n\rangle$ について、実変数 $\mathbf{f}_{i}^{\text {sum }} \in \mathbb{R}_{\geq 0}^{l}$ と $g_{i}^{\text {eval }} \in \mathbb{R}_{\geq 0}$ を追加で用意する。

以下に実装の詳細を述べる。

木構造の表現 最も基本的な根付き木の表現を実装する。つまり $\left.\{x_{i j}\right.\}$ について以下を採用する。
- $\sum_{i, j} x_{i j}=n:$ 木の辺の数に関する制約
- $\sum_{j} x_{j i} \leq 1(\forall i \in\langle n\rangle)$ : 木構造の次数に関する 制約
- $x_{i i}=0(\forall i \in\langle n\rangle)$ : 木構造に関する制約（ILP4ID と異なるモデリングによる)
- $\sum_{i \in T^{\prime}, j \in T^{\prime} \backslash\{i\}} x_{i j} \leq\left|T^{\prime}\right|-1\left(\forall T^{\prime} \subseteq\langle n\rangle,\left|T^{\prime}\right| \geq 2\right)$ : ここで $T^{\prime}$ は頂点数 2 以上の全ての部分木に対 する制約である。
目的関数の表現 式 (3)の目的関数を、類似度の 低ランク近似の仮定に基づいて拡張する。補助変数 $\mathbf{f}_{i}^{\text {sum }}$ と $g_{i}^{\text {eval }}$ について以下を設定する。
- $\mathbf{f}_{i}^{\text {sum }}=\mathrm{R}_{i,:}+\sum_{j} \mathbf{f}_{j}^{\text {sum }} x_{i j}(\forall i \in\langle n\rangle)$ : 子の右側評価値 $\mathrm{R}_{i}$ を伝搬する。
- $g_{i}^{\text {eval }}=\left.\langle\mathrm{L}_{i, .}, \sum_{j} \mathbf{f}_{j}^{\text {sum }} x_{i j}\right.\rangle+\sum_{j} g_{j}^{\text {eval }} x_{i j}$ : 子から伝搬 した右側評価值と多様性スコア、自分自身の左側評価値 $\mathrm{L}_{i,:}$ の内積を用いて、全体の多様性ス コアを求める。

以上の補助変数と制約を用いて式 (4)を定義し、検索結果多様化と階層構造の決定を同時に達成する。

$
\begin{aligned}
& \max _{x, f^{\text {sum }}, g^{\text {eval }}} \lambda(n-K) R(x) \\
&+(1-\lambda) K \Omega_{\text {ours }}\left(x, f^{\text {sum }}, g^{\text {eval }}\right) .
\end{aligned}
$

ただし $R(x):=\sum_{i} x_{0, i} r\left(q, s_{i}\right)$ は関連度スコアを、 $\Omega_{\text {ours }}(x, g):=\sum_{i} x_{0}, i g_{i}^{\text {eval }}$ は階層構造に基づいて評価 した多様化スコアを表す。それぞれの項の重み付け は ILP4ID と同様に設定した。

## 3.2 原理確認

人工データを用いて、本稿で提案した計算が可能 なことを検証する。簡単化のために、 $n=6$ につい て、 $r\left(\mathbf{v}_{q}, \mathbf{v}_{d_{i}}\right)$ がベクトル $[5,5,4,1,5,3]$ のように与 えられて、 $K=2$ の場合を考える。多様化を行わな い場合、スコア 5 である $d_{1}, d_{2}, d_{5}$ のうち 2 つが選ば れる。(例えばインデックス $i$ の小さい順に $d_{1}, d_{2}$ が 検索結果として出力される。

一方で検索結果多様化の文脈では、提案手法を用 いることで異なる結果が得られる。図 1 に 2 つの問題設定と最適化問題を解いた結果を示す。類似度行列 S の具体的な例として、クラスタ内の文書数が異 なる 2 クラスタの例を想定し、図 $1 \mathrm{a}$ と図 $1 \mathrm{~b}$ を設定 した。計算の結果得られた文書の親子関係を森構造 として表現したものを図 $1 \mathrm{c}$ と図 $1 \mathrm{~d}$ にそれぞれ示 す。図中の木ノード中の番号と数值は、文書 $d_{i}$ につ いて番号 $i$ とスコア $r\left(\mathbf{v}_{q}, \mathbf{v}_{d_{i}}\right)$ に対して $i\left(r\left(\mathbf{v}_{q}, \mathbf{v}_{d_{i}}\right)\right)$ と描画した。それぞれの森の根として選ばれた文書番号（図 $1 \mathrm{c}$ では 2 と 5 、図 $1 \mathrm{~d}$ では 1 と 5) は、それ ぞれ文書 $\left.\{d_{2}, d_{5}\right.\}$ と $\left.\{d_{1}, d_{5}\right.\}$ が検索結果として得ら れたことを表す。

結果より、図 1c は図 1aのククラスタ構造を、図 $1 \mathrm{~d}$ は図 $1 \mathrm{~b}$ のクラスタ構造をそれぞれ発見しつつ、階層構造を構築しながら、スコアの高い文書 $d_{1}, d_{2}, d_{5}$ から $K=2$ 文書を代表的な検索結果として選択する ことができた。このとき、森の根として選択した文

(a) 設定 1

(c) 計算結果 1

(b) 設定 2

選択した文書

(d) 計算結果 2

図 1: 原理確認のための設定（上段）と結果（下段）。得られた森構造のうち、木の根が検索結果として選択された文書 $K=2$ 個に相当する。

書は多様化を達成しつつ、各文書 $d_{j} \in S$ について は、それと類似した文書を階層構造（木）として表現できる。そのため、ILP4ID と比較して複雑な構造 を森構造として表現しつつ、その根に $K$ 子の文書を 選択することが出来た。

## 3.3 ILP4ID を用いた近似解法

3.1 節で述べた手法によって、全ての部分木構造 を表現した最適化問題を議論することができる。一方で、組合せ最適化によって根付き木や根付き森を 表現することは、工夫なしでは計算量的に困難なこ とが多く、現在の定式化と解法では大量の文書を扱 うことが難しい。よって本稿の実験では、近似的に 木構造を求めることを目的として、深さ 1 の親子関係のみを計算する ILP4IDを繰り返し計算すること で、指定の深さまでの階層構造を作成する手法を実装した。

## 4 実験と考察

提案手法を小規模データに適用し、結果を観察し て評価・議論を行う。

## 4.1 社内文書での適用例

データ原理検証のために、社内文書のタイトル を $d_{i}$ と設定し、クエリ $q$ を 5 種類与えて、多様な タイトルの社内文書を階層構造とセットで取得す

(a) 関連スコア

(b) 文書間類似度 $\mathbf{S}$図 2: 実験用のデータ: $2 \mathrm{a}$ では $y$ 軸が 5 種類のクエリ を、 $x$ 軸が 24 本の文書を示す。 $2 b$ では 24 本の文書間の類似度行列 $S$ を示す。

る問題設定を考える。なお予稿では機密情報の扱い から、文書 $d_{i}$ やクエリ $q$ の情報は公開が容易では ないため、図 2 に類似度の情報のみ可視化したもの を掲載する。図 2a はクエリと文書の関連スコアを、図 2b は多様性スコアの定義に用いる文書間の類似度を示す。タイトルやクエリの埋め込みには日本語 ALBERT モデル（ALINEAR/albert-japanese-v2）を ファインチューニングなしで用いて、ベクトル間の 類似度にはコサイン類似度を用いた。

近似計算の結果得られた階層構造 ILP4IDを繰 り返して解く近似計算法を用いて計算を行った。近似解法では各階層で $K=3$ の文書を選び、深さ 3 まで再帰的に木構造の構築を行った。ILP4ID 自体のパラメータは $\lambda=0.9 ）$ と設定した。図 $1 \mathrm{a} の y$軸に対応するクエリ $q_{0}$ からクエリ $q_{4}$ までの 5 つ のクエリを用いて検索を行った。最適化問題を近似的に解いて求めた文書の森構造を図 3 に可視化 した（クエリ $q_{0}$ の結果が図 $3 \mathrm{a} 、 q_{1}, \ldots, q_{4}$ の順で、 $q_{4}$ の結果が図 $3 \mathrm{e}$ に対応する)。各クエリ $q_{i}$ と文書 $D=\left.\{d_{1}, \ldots, d_{24}\right.\}$ の関連スコアが図 $1 \mathrm{a}$ のように異な るために、得られる森もそれぞれ異なっている。

## 4.2 考察と課題

提案手法を用いてクエリ $q$ に対する検索結果を 根付き森として取得することが出来た。式 (4) で定義したように、各部分木の類似度が高くなるように $\Omega_{\text {ours }}$ が設定されており、構築した木は文書のクラス タを形成する。結果として検索結果多様化が達成さ れる。一方で $R(S)$ については、ILP4ID と同様に選択した文書 $S$ のみ（森の根のみ）で評価し、森構造 を利用していないため、評価指標を一般化したり、修正したりする余地がある。

現在の近似解法は、3.1 節で提案した元の最適化問題が計算量に困難であるために手法である。よっ て元の問題を直接最適化する近似手法や、ニューラ

(a)クエリ $q_{0}$ の結果

(b) クエリ $q_{1}$ の結果

(c)クエリ $q_{2}$ の結果

(d) クエリ $q_{3}$ の結果

(e)クエリ $q_{4}$ の結果

図 3: 得られる高さ 3 までの森構造。森構造のノー ド $i$ は文書 $d_{i}$ を表す。

ルネットワークなどと合わせた手法を構築する余地 があると考えられる。

数理最適化は、制約の表現力が高いという特徴が ある。文書同士を同じクラスタに属するように制約 して森構造を取得したり、ユーザが探索的に文書探索を行う際に、関連した文書を連続的に検索する行為（例えばシリーズ $1 、 2 、 3$ というように順序があ る場合）などに対応した森構造を得ることで、より 良い検索体験に向けた手法を検討できると考えられ る。このように検索システムを指向した最適化問題 へと精緻化することは今後の課題の一つである。

## 5 まとめ

大量の技術文書から、自分の関心がある文書を適切に探し出すタスクは重要である。本稿では類似度 の低ランク近似と数理最適化を用いて、検索結果多様化の新しいモデルを提案して解法を構築し、小規模な実験を用いて議論を行った。今後はオープン データを用いた大規模な実験や、数理最適化モデル の精緻化・計算手法の高速化、更に検索システムの 検証を行う予定である。

## 参考文献

[1] Christopher D Manning. Introduction to information retrieval. Syngress Publishing, 2008.

[2] Ricardo Baeza-Yates, Berthier Ribeiro-Neto, et al. Modern information retrieval, Vol. 463. ACM press New York, 1999.

[3] 打田智子, 古澤智裕, 大谷純, 加藤遼, 鈴木翔吾, 河野晋策. 検索システム 実務者のための開発改善ガイド ブック. ラムダノート, 2022.

[4] 持橋大地. Researcher2vec: ニューラル線形モデルに よる自然言語処理研究者の可視化と推薦. NLP2021, 2021.

[5] Rodrygo L. T. Santos, Craig Macdonald, and Iadh Ounis. Search result diversification. Foundations and Trends ${ }^{\circledR}$ in Information Retrieval, Vol. 9, No. 1, pp. 1-90, 2015.

[6] Hai-Tao Yu, Adam Jatowt, Roi Blanco, Hideo Joho, Joemon Jose, Long Chen, and Fajie Yuan. A concise integer linear programming formulation for implicit search result diversification. In Proceedings of WSDM2017, pp. 191-200, 2017.

[7] Guido Zuccon, Leif Azzopardi, Dell Zhang, and Jun Wang. Top-k retrieval using facility location analysis. In Proceedings of ECIR2012, pp. 305-316. Springer, 2012.


# 中間タスクの挿入による学術論文における URL 引用の分類

和田 和浩 1 松原 茂樹 1,2
1 名古屋大学情報学部 2 名古屋大学情報連携推進本部
\{wada.kazuhiro.s8@s, matsubara.shigeki.z8@f\}.mail.nagoya-u.ac.jp

## 概要

学術活動において，データやプログラムなどの学術資源にアクセスできることは重要である. 特に URLによる引用（以下，URL引用）はその論文で使用された学術資源を参照していることが多く, これ らを分類し利用することで学術資源へのアクセス性 を高めることができる. そこで本論文では，学術論文における URL引用の種類と目的でクラス分類す る手法について述べる。本手法では，メインタスク で使用するデータを利用し，その入力の対を用いた 中間タスクを設定し導入した. 分類実験の結果，先行研究に対する本手法の優位性を確認した。

## 1 はじめに

学術活動において，学術論文，及び，そこで利用 されたデータやプログラムなどの学術資源にアク セスできることは重要である。これらのアクセス性 を向上させるための様々なデータベースやサービ スが存在する. 例えば, Google Scholar ${ }^{1)}$, Semantic Scholar $^{2)}$ では単なる論文の提示だけでなく，論文中 の引用関係に基づき，関連する論文に辿ることがで きる. このように, 引用関係を用いることは学術資源へのアクセス性を高める上で有用である.

これらのサービスが対象とする引用は, 主に参考文献に記された書誌情報である. しかし，学術論文 における引用対象は，参考文献リストの書誌情報以外に，URLによる引用（以下，URL引用）もあり， これらは参考文献リストに加えて脚注や本文中にも 出現する.こうした URL引用はその論文で使用さ れたデータやプログラムなどの学術資源を含むこと が多い. URL引用を利用することで論文中のデー タやプログラムなどのアクセス性が高まる。また， URLによる引用は種類や目的が多様であるため, そ れらを含めて提示することにより，サービスの利便性が向上することが期待できる.

これを実現するために，論文におけるURL引用 を種類と目的で分類する必要がある. 引用の種類 や目的の分類体系については既に様々な提案があ る $[1,2,3]$. なかでも角掛らは，URLによる引用に ついてその種類と目的のクラスを整理しており， SciBERT[4] を用いた分類手法を提案している [1]. しかし, 角掛らの分類手法には, 少数クラスに対す る分類性能が低く, 一部のクラスが予測結果として 全く出力されない場合があった.

そこで本論文では，中間タスクを用いた論文にお ける URL引用の分類手法を提案する。中間タスク を用いた手法は既に多くの提案があり，その有効性 が示されている $[5,6]$. しかし，中間タスクの挿入 には

・中間タスクに必要なデータを新たに用意する必要がある

・適切な中間タスクを選択する必要がある

という課題を解決する必要がある $[7,8]$.

メインタスクに関連したタスクを選ぶことで適切 な中間タスクの選択をする手法 [7] が提案されてお り，メインタスクと中間タスクとの関連性の高さは 適切な中間タスクの選択に重要である. 本手法では メインタスクで使用するデータを再利用して，メイ ンタスクにおける入力の対を用いた中間タスクを作成した。これにより，中間タスク用の新たなデータ を必要とせずにメインタスクに関連した中間タスク の使用が可能となる.

本手法を評価するために実験を行い，先行研究の 手法との分類性能を比較した. 実験の結果，本手法 の有効性を確認した。

1) Google Scholar https://scholar.google.co.jp/

2) Semantic Scholar https://www.semanticscholar.org/

## 2 関連研究

## 2.1 引用の分類

論文中の引用を分類する取り組みは既に存在し ており, 角掛らは学術論文中の URL が指すものに ついて，ツールとデータを区別する分類タスクに取 り組んだ [9]. また，引用の目的を 6 種類のクラス に分類する Shared Task が提案されている [2]. この タスクに対する取り組みとして，Baig らは TF-IDF とデータを分析して作成した特徴量を用いた手法 [10]を，Maheshwari らは大規模言語モデルである SciBERT[11] を利用した手法 [4] をそれぞれ提案し ている. そして, 角掛らは URL 引用に注目し, そ の URL が指すものが果たす役割と種類, 引用の目的の分類体系を作成し，その分類手法を提案してい る [1].

## 2.2 中間タスクの挿入

大規模言語モデルを用いた学習では通常，大規模 なコーパスを用いて事前学習を行ったのち，メイン タスクのファインチューニングを行う。これに対 して事前学習とメインタスクのファインチューニ ングとの間に別のタスク（以下，中間タスク）を設 け，そのファインチューニングを行うことで，メイ ンタスクに有用な特徴を効果的に学習する方式が提案されている. Phang らは中間タスクの挿入により GLUE ベンチマークの性能が改善することを示して いる [5].

その一方で，中間タスクを挿入すれば必ず効果 をもたらすとは限らないという問題点も指摘され ている [7, 8]. Poth らは中間タスク用のデータや 学習済みモデルの利用可能性に応じて中間タスク を適切に選択する手法を提案している [7]. また Pruksachatkun らは特定の能力を問う probing task に 対する性能を分析することで，中間タスクとして効果的なタスクの特徴について分析している [8].

## 3 提案手法

## 3.1 問題設定

本研究では, 角掛らが提案した URL引用の種類 と目的の分類 [1] に基づきアノテーションされた データを使用する．1つの URL引用に対して， Role, Type, Function の 3 種類のラベルが存在する. Role,

$
\text { 図 } 1 \text { モデルの概略 }
$

Type は URL が参照する学術資源の種類を表すラべ ルであり Roleが大分類, Type が小分類に相当し, 相互に対応関係がある. Function は URL引用の目的 を表すラベルである. 本研究ではこれらの 3 つのラ ベルそれぞれの分類タスクに取り組む.

## 3.2 手法の概要

提案手法の概略を図 1 に示す. 提案手法では中間 タスクとメインタスクに分けてモデルの学習を行 う.いずれも BERT[12]を Encoder として利用して 共有する. 出力は中間タスク，メインタスクに共通 して BERT の [CLS] トークンに対応する出力に対し てラベルごとに全結合層を持つ. 活性化関数として 中間タスクではシグモイド関数を，メインタスク ではソフトマックス関数を利用する。また, Role, Type, Function の各ラベル間の関連性を考慮して分類するため，マルチタスク学習を採用する $[1,13]$.

## 3.3 中間タスクの学習

中間タスクの入力ではメインタスクにおけるモデ ルへの入力の対を使用し, 出力では入力の対がメイ ンタスクで同じクラスに属しているか否かの 2 值の 分類を行う. このとき, Role, Type, Function ごとに クラスが割り当てられているため， 3 種類のそれぞ れでクラスが一致しているかどうかを判定する．損失関数として3つのラベルそれぞれの BCELoss の 和を使用した。つまり，データセット中の $i$ 番目の データの入力を $I_{i}$, Role, Type, Function のラベルを それぞれ $R_{i}, T_{i}, F_{i}$ と記すとき, モデルの入力, 出力及び損失関数は以下のようになる。

$
\begin{aligned}
& \text { 入力 }: I_{\text {int }}=[C L S]+I_{i}+[S E P]+I_{j}+[S E P] \\
& \text { 出力 }: O_{\text {role }}=\sigma\left(W_{\text {role }} B E R T\left(I_{\text {int }}\right)\right) \\
& O_{\text {type }}=\sigma\left(W_{\text {type }} B E R T\left(I_{\text {int }}\right)\right) \\
& O_{\text {function }}=\sigma\left(W_{\text {function }} B E R T\left(I_{\text {int }}\right)\right)
\end{aligned}
$
表 1 Role のクラス分布

表 2 Typeのクラス分布

表 3 Function のクラス分布

損失関数 : $\quad B C E \operatorname{Loss}\left(\delta_{R_{i} R_{j}}, O_{\text {role }}\right)$

$+B C E L o s s\left(\delta_{T_{i}, T_{j}}, O_{\text {type }}\right)$

$+B C E \operatorname{Loss}\left(\delta_{F_{i}, F_{j}}, O_{\text {function }}\right)$

ただし， $\sigma$ はシグモイド関数を， $\delta$ はクロネッカー のデルタをそれぞれ表す.

## 3.4 メインタスクの学習

メインタスクの学習では Role, Type, Function のク ラス分類を行う. 基本的なモデル構造は中間タスク の学習のものと同様であり, 変更点は最後の各ラべ ルに対応する全結合層がそれぞれのクラス数に対応 した出力になる点, 及び，多クラス分類であるため 活性化関数にソフトマックス関数を使用している点 である. また，BERT 部分のパラメータについては 中間タスクの学習後のものを初期値として使用して いる. 損失関数は各ラベルの CrossEntropyLoss の和 とした.

## 4 実験

提案手法を評価するため，URL引用の分類実験を 行った.

## 4.1 実験の概要

使用データURL引用に Role, Type, Function の 3 種類のラベルが付与されたデータ [1]を使用した (3.1 節参照). 各ラベルのクラス分布を表 $1,2,3$ に示 す. Role は各クラスがほぼ均等に分布しているもの の，Type，Function は，クラス間の不均衡が大きく，分類が困難であることが予想される.

実験設定 提案手法を PyTorch ${ }^{3)}$ と Hugging Face ${ }^{4)}$ を利用して実装した。中間タスク，メインタスクで 共有する BERT には事前学習済みの公開モデル5)を 使用した.

モデルへの入力は角掛らの手法 [1] を参考に，節

3) PyTorch.org https://pytorch.org/

4) Hugging Face https://huggingface.co/

5) google/bert_uncased_L-12_H-768_A-12 https://huggingface. co/google/bert_uncased_L-12_H-768_A-12表 4 実験結果

タイトル，引用文とその前後 1 文（計 3 文），脚注文 または参考文献を [SEP] トークンで区切ったものを 使用した。

学習時，中間タスクでは patienceを 2 に，メイン タスクでは 5 に設定して Early Stopping を行った.以下に学習時に設定したパラメータを示す.
- 学習率 (共通) : 1e-5
- 最適化手法（共通）：Adam[14]

・バッチサイズ：16 (中間タスク)，32（メインタ スク)

-中間タスク用に作成するデータの数 : 300,000

比較手法 以下の 2 種類の手法を用いる.
- Zhao らが提案した SciResCLS[15]. 引用文脈を 使用してマルチタスク学習を行う
- 角掛らによる手法 [1]. 入力の素性として節タ イトル，脚注文または参考文献を追加してマル チタスク学習を行う

評価指標 使用するデータは分布の偏りが大きい ため，少数クラスに対する分類性能を評価するため にマクロ平均の F1 值を採用する。

## 4.2 実験結果

学習, 検証データの分割時のシード値を変更し て複数回実験を行い，それぞれのマクロ平均の F1 値を平均した結果を表 4 に示す. Role は角掛らの 手法に若干劣る結果となったが，Type では 2 3\%, Function では 5 7\%の性能の向上が確認できた.

表 5 に提案手法と角掛らの手法 [1] のあるシー ド值で学習したときのクラスごとの F1 值を示す.標本数の少ない Media, Compare, Extend に対しても,提案手法ではいくつか予測されるようになった. ク
表 5

クラスごとの $\mathrm{F}$

検証時の損失

図 2 学習曲線

ラス分布の偏りが大きくなる Role, Type, Function の順に比較手法に対する性能の改善幅が大きくなっ ている.

## 4.3 考察

## 4.3.1 メインタスクの学習過程の比較

深層学習モデルの学習では，その性能だけでなく 学習の安定性も重要である。そこで，学習及び検証時の損失関数の値の推移を確認した. 図 2 に提案手法と角掛らの手法 [1] のメインタスクの学習時の損失の推移を示す。学習時, 検証時ともに提案手法が 角掛らの手法 [1] に比べて小さな損失となっている. また，角掛らの手法 [1] は検証時の損失に上下があ るのに対して提案手法はエポック毎に安定して損失 が減少しており，より安定した学習ができているこ とがわかる.

## 4.3.2 中間タスクの有効性

中間タスクで学習された特徴がメインタスクで有効に機能することを確認するために，中間タスクの 学習後, BERT 部分のパラメータをフリーズさせて表 6 BERT をフリーズさせたときの実験結果

メインタスクの学習を行った. これにより，学習可能なパラメータは各ラベルの確率を出力するための 全結合層 1 層となるため，この実験設定でもモデル の分類性能が維持されるならば，それは，中間タス クのみでファインチューニングされた BERT によ り，メインタスクを学習するために有効な特徴を表現できていることを示している.

実験結果を表 6 に示す。ただし，提案手法の入力 は引用文のみとし，節タイトル，脚注文は使用して いない. これは Zhao らの手法 [15] の入力と同様で ある. BERT 部分のパラメータをフリーズさせても 性能は維持されており，中間タスクにより学習され た特徴がメインタスクにおいて有効に働いている。

## 5 まとめ

本論文では，学術論文における URL引用を種類 と目的でクラス分類する手法を提案した. 本手法で は，メインタスクで使用するデータを利用し，その 入力の対を用いた中間タスクを設定し導入した。そ して，分類実験の結果，先行研究では性能が十分で なかった Type，Functionにおいて性能が向上してお り，本手法の有効性を確認した。

今後の課題として，提案手法で性能の向上が確認 できなかった Role に対する分類性能の改善に向け，複数の中間タスクを組み合わせて学習する手法を検討することがあげられる。

## 謝辞

本研究は，一部，科学研究費補助金（基盤研究

(B)）（No. 21H03773）により実施したものである.

## 参考文献

[1] Masaya Tsunokake and Shigeki Matsubara. Classification of url citations in scholarly papers for promoting utilization of research artifacts. In Proceedings of the 1st Workshop on Information Extraction from Scientific Publications (WIESP) at AACL-IJCNLP, November 2022.

[2] Suchetha N. Kunnath, David Pride, Drahomira Herrmannova, and Petr Knoth. Overview of the 2021 SDP 3C citation context classification shared task. In Proceedings of the 2nd Workshop on Scholarly Document Processing, pp. 150-158, Online, June 2021. Association for Computational Linguistics.

[3] David Jurgens, Srijan Kumar, Raine Hoover, Dan McFarland, and Dan Jurafsky. Citation classification for behavioral analysis of a scientific field, 2016.

[4] Himanshu Maheshwari, Bhavyajeet Singh, and Vasudeva Varma. SciBERT sentence representation for citation context classification. In Proceedings of the 2nd Workshop on Scholarly Document Processing, pp. 130133, Online, June 2021. Association for Computational Linguistics.

[5] Jason Phang, Thibault Févry, and Samuel R Bowman. Sentence encoders on STILTs: Supplementary training on intermediate labeled-data tasks. November 2018.

[6] Ting-Yun Chang and Chi-Jen Lu. Rethinking why intermediate-task fine-tuning works. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 706-713, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[7] Clifton Poth, Jonas Pfeiffer, Andreas Rücklé, and Iryna Gurevych. What to pre-train on? Efficient intermediate task selection. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 10585-10605, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[8] Yada Pruksachatkun, Jason Phang, Haokun Liu, Phu Mon Htut, Xiaoyi Zhang, Richard Yuanzhe Pang, Clara Vania, Katharina Kann, and Samuel R. Bowman. Intermediatetask transfer learning with pretrained language models: When and why does it work? In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5231-5247, Online, July 2020. Association for Computational Linguistics.

[9] Masaya Tsunokake and Shigeki Matsubara. Classification of urls citing research artifacts in scholarly documents based on distributed representations. In 2nd Workshop on Extraction and Evaluation of Knowledge Entities from Scientific Documents, 2021.

[10] Yasa M. Baig, Alex X. Oesterling, Rui Xin, Haoyang Yu, Angikar Ghosal, Lesia Semenova, and Cynthia Rudin.
Multitask learning for citation purpose classification. In Proceedings of the 2nd Workshop on Scholarly Document Processing, pp. 134-139, Online, June 2021. Association for Computational Linguistics.

[11] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3615-3620, Hong Kong, China, November 2019. Association for Computational Linguistics.

[12] Alex Wang and Kyunghyun Cho. BERT has a mouth, and it must speak: BERT as a Markov random field language model. In Proceedings of the Workshop on Methods for Optimizing and Evaluating Neural Language Generation, pp. 30-36, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] Ozan Sener and Vladlen Koltun. Multi-task learning as multi-objective optimization. In S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 31. Curran Associates, Inc., 2018.

[14] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. December 2014.

[15] He Zhao, Zhunchen Luo, Chong Feng, Anqing Zheng, and Xiaopeng Liu. A context-based framework for modeling the role and function of on-line resource citations in scientific literature. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 5206-5215, Hong Kong, China, November 2019. Association for Computational Linguistics.


# Character-level Data Augmentation on Code Mixed Sentences for Low-Resource Settings

Niraj Pahari, Kazutaka Shimada
Kyushu Institute of Technology
nirajpahari@gmail.com
shimada@ai.kyutech.ac.jp
}

\begin{abstract}
Due to the rise in multilingual speakers and the use of social media, the occurrence of code-mixing is increasing. To understand these code-mixed data, different models require a large amount of data to train on. However, the codemixed data is not readily available. Data augmentation is commonly being used for increasing the performance of the models by generating synthetic data to train on. Most of the existing techniques on data augmentation for codemixing use large parallel corpus and/or external knowledge like POS taggers. In this paper, we study the combination of four different character-level operations to generate the augmented sentences from the source sentences while preserving the labels of the original sentences. Experiments show that this method can benefit the multilingual pretrained language models on the low-resource cases. This method can be a strong baseline for future research on this domain.
\end{abstract
## 1 Introduction

Whenever multilingual speakers communicate with each other, they tend to mix the structure or vocabulary from different languages. This phenomenon of mixing multiple languages during one conversation is known as codemixing or code-switching. Code-mixing can occur within the sentence (intra-sentential) or between multiple sentences (inter-sentential). The rise in the number of multilingual speakers and the rise of social media usage has increased the occurrence of code-mixing. This has increased the need for NLP models to understand the code-mixing data. However, due to the spontaneous nature of code mixing, it is difficult to collect the data, so it is mostly considered a low-resource problem [1]. Code-mixed data involve more than one language. Identifying the tokenlevel language tag is one of the fundamental tasks of this domain. In this paper, we perform a language identification task. It is a sequence labeling task.

Data augmentation is the set of techniques to generate synthetic data. It can help to train better and more robust models in the case that available original data is small. Augmentation techniques are commonly used in computer vision [2] and speech [3]. However, these techniques are more challenging in NLP due to the discrete nature of language [4]. Several researchers explored different techniques for data augmentation in NLP [5], [6], [7]. These studies mostly focus on classification tasks that are different from sequence labeling tasks. Some papers presented different augmentation techniques for sequence labeling tasks [8], [9], [10]. There are previous studies on code-mixed data augmentation [11], [1]. However, most of the work has been done on classification tasks, and the techniques mostly use external knowledge.

In this paper, we try to study the augmentation technique for code-mixed sentences using simple character-level operations. To create the augmented data, we use swapping, substituting, deleting, and inserting random characters from the original sentence. The labels are kept the same for augmented sentences and the original sentences. Since no external knowledge is required for these techniques, they are extremely easy to implement.

## 2 Related Work

Several studies have been done on data augmentation for NLP. Kobayashi [5] studied the technique to replace the synonym from the sentence to generate the augmented sentence. Easy data augmentation (EDA) proposed by Wei and Zou [6] uses synonym replacement, random insertion,

Table 1: Example of a Nepali-English sentence with augmented sentences. " $l 1$ ", " $l 2$ ", "ne", and " $O$ " denote tags for each token. The detail is explained in Section 4.1. In this example, $l 1$ stands for English, and $l 2$ stands for Nepali. The modified tokens after character-level operations are shown with bold typeface.

swap, and deletion of the words from the sentences to generate their augmented counterparts. Sennrich et al. [7] proposed the back-translation method, one of the widely used data augmentation techniques. It is the procedure of translating a sentence into one language and translating it back to the original language. While this technique is common for sentence classification tasks, it is not much applicable for sequence labeling since the position of labels might change during the process.

For the sequence tagging tasks, Sahin and Steedman [8] proposed the dependency tree morphing technique which was motivated by image cropping and rotation in computer vision. Ding et al. [9] used a generation approach for low-resource tagging tasks. Their approach linearizes the sentences with their labels, and a language model is learned based on the linearized sentences. The learned language model is then used to sample new sentences and is delinearized to obtain the augmented sentences with tokenlevel labels. The study by Dai and Adel [10] modifies the sentence-level tasks into sequence labeling tasks and shows an improvement in the performance for different recurrent models and transformer-based models.

In the case of code-mixing, Pratapa et al. [12] used the Equivalence Constraint Theory to generate grammatically valid augmented code-mixed sentences. Gupta et al. [11] proposed an mBERT-based method to generate code-mixed sentences using the existing parallel data in two languages. Li and Murray [1] introduced a language-agnostic solution for creating synthetic data. They also use parallel corpus and POS taggers. In this paper, we study data augmentation with the combination of four different character-level operations. It is easy to implement and does not require any additional data or knowledge.

## 3 Method

Data augmentation is a technique to create artificial data from real data to increase the size of the dataset. The data for our task contain code-mixed sentences from social media. Code-mixed data involve more than one language. Moreover, in social media, the occurrence of typos is also high. Therefore, it adds to the complexity of data augmentation. Furthermore, sequence tagging tasks are more susceptible to data augmentation noise since they are token-level tasks as opposed to classification tasks, which are sentence-level tasks [9]. Inspired by the work by Wei and Zou [6], based on four simple word-level operations for simple data augmentation, we perform the simple character-level operations on the available dataset and generate synthetic data. For a given sentence, we randomly perform the following character-level operations:

1. Swap the adjacent characters in the word,

2. Substitute a character in the word with a random character,

3. Delete a random character in the word, and

4. Insert a random character at a random position in the word.

Table 1 shows an example of augmented sentences using the character-level operations mentioned above.

The number of tokens in the source sentence and augmented sentences are the same. We assume that the augmented sentences are label-preserving. In other words, the label of each token is the same as the original sentence token.

The architecture for the training is shown in Figure 1. Similar to Li and Murray [1], we employ the gradual finetuning process proposed by Xu et al. [13] for training pur-

Table 2: Dataset Statistics.

Figure 1: Architecture for gradual fine tuning with augmented data. "Three from one" denotes that three sentences are generated from one sentence in the original data, as the augmented data. $M_{0}$ is the initial pre-trained model. $M_{n}$ is the fine-tuned model after stage $n$.

poses. The gradual fine-tuning is to apply the augmented data to the model gradually. In fine-tuning, a large size of augmented data is utilized first. Then, the size of additional data decreases step by step. $M_{0}$ is the pre-trained language model. In the first stage, we generate three augmented sentences from each sentence in the original dataset. The $M_{0}$ model is fine-tuned with these augmented data followed by the original dataset, resulting in the fine-tuned model $M_{1}$. In the next stage, we utilize two augmented sentences from each sentence in the original dataset. The $M_{1}$ model is again fine-tuned with the augmented sentences followed by the original dataset to obtain the fine-tuned model $M_{2}$. Similarly, fine-tuning is done with one augmented sentence per sentence in the original dataset. Finally, in the last stage, the model is fine-tuned with only the original dataset, which allows the model to fit better on the original dataset distribution. The final fine-tuned model $M_{4}$ is used for inferencing. Random operations from the four operations are applied to the generation of augmented sentences from each original sentence.

## 4 Experimental Settings

## 4.1 Tasks

The task in this paper is a language identification task. This is a sequence labeling task where each token should be classified as the particular language label (lang1, lang2), named entity label (ne), or others label $(O)$. Correct language labels should be given to the tokens based on the language to which the token belongs. Since named entities are language-independent, we cannot identify the language label. Therefore, they are labeled as ne. If a token is emoticons or special characters, we cannot also identify the language. In a similar way to ne, the token is labeled with the " $O$ " tag.

## 4.2 Datasets

In this paper, the Nepali-English [14] code mixed dataset and the Hindi-English [15] code mixed dataset are used. The Nepali-English dataset contains tweets and Facebook from public posts, whereas the Hindi-English dataset contains a corpus from Facebook pages of prominent public figures in India. Although Nepali and Hindi languages use Devanagari script for writing, these datasets only consider sentences written in Romanized form. The train, development, and test splits provided by [16] are used. The statistics of the dataset are shown in Table 2.

## 4.3 Experimental Setup

The experiments are conducted using two multilingual transformer-based language models: mBERT [17] and XLM-R[18]. The experimental models are implemented using Pytorch libraries ${ }^{1)}$. Huggingface models ${ }^{2)}$ are used to load the pre-trained models. AdamW [19] optimizer with the learning rate of $5 e^{-5}$ is used. TextAttack [20] library is used to generate the augmented sentences. For the gradual fine-tuning, 4 stages explained in Section 3 with 10 epochs per stage are run. Due to the imbalance in label distribution, the weighted F1 score is used as the evaluation metric.

## 5 Results

We compare four types of original dataset sizes: $25 \%$, $50 \%, 75 \%$, and $100 \%$ used from the original data. We also compare the models with our data augmentation and with-

(a) Language identification with mBERT

(b) Language identification with XLM-R

Figure 2: Performance of gradual fine-tuning with data augmentation for mBERT and XLM-R.

out the augmentation method. Figure 2 shows the performance of our data augmentation method compared with the case where data augmentation is not used ${ }^{3)}$. The data augmentation method improved the results for both mBERT and XLM-R, especially in low-resource settings such as $25 \%$. For both datasets, the tendency of the performance is similar. The difference in the performance was significant when the data use was very less. For the Nepali-English dataset, mBERT and XLM-R obtained performance gains of 1.41 and 1.26, respectively, in the $25 \%$ data. Similarly, for the Hindi-English dataset, mBERT and XLM-R obtained performance gains of 2.24 and 10.82, respectively, in the $25 \%$ data. It can also be seen that mBERT performs better than XLM-R in a very low-resource case. For both mBERT and XLM-R, the difference in the F1-scores "with" and "without" augmentation tends to be larger in Hindi-English than in Nepali-English. For example, in the $25 \%$ settings of XLM-R, while the F1-scores are 91.36 and 89.95 (the red circle and square) for Nepali-English, those are 86.3 and 75.48 (the yellow circle and square) for Hindi-English. It is caused by the number of instances

of the datasets. For the $25 \%$ setting, while the number of instances for Hindi-English was 1206, that for NepaliEnglish was 2113. This result shows that our augmentation is effective in the case that the size of the dataset is small.

## 6 Conclusion

In this work, we study the character-level operations for generating augmented sentences for a code-mixing domain. We experimented with the augmentation techniques on different low-resource settings with mBERT and XLM$\mathrm{R}$ pre-trained models. From the results of the experiments, we show that this easy method can improve the low-resource cases for code-mixing sentences. For the extremely low-resource case for XLM-R, it can boost the performance by 10.82 for the Hindi-English code-mixing dataset in the case that only 1206 sentences were used. This technique becomes a strong baseline for future studies on different augmentation techniques in this domain.

## References

[1] Shuyue Stella Li and Kenton Murray. Language agnostic code-mixing data augmentation by predicting linguistic patterns. arXiv preprint arXiv:2211.07628, 2022.

[2] Connor Shorten and Taghi M Khoshgoftaar. A survey on image data augmentation for deep learning. Journal of Big Data, Vol. 6, No. 1, pp. 1-48, 2019.

[3] Aggelina Chatziagapi, Georgios Paraskevopoulos, Dimitris Sgouropoulos, Georgios Pantazopoulos, Malvina Nikandrou, Theodoros Giannakopoulos, Athanasios Katsamanis, Alexandros Potamianos, and Shrikanth Narayanan. Data augmentation using gans for speech emotion recognition. In Interspeech, pp. 171-175, 2019.

[4] Steven Y Feng, Varun Gangal, Jason Wei, Sarath Chandar, Soroush Vosoughi, Teruko Mitamura, and Eduard Hovy. A survey of data augmentation approaches for nlp. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 968-988, 2021.

[5] Sosuke Kobayashi. Contextual augmentation: Data augmentation by words with paradigmatic relations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 452-457, 2018.

[6] Jason Wei and Kai Zou. Eda: Easy data augmentation techniques for boosting performance on text classification tasks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 63826388, 2019.

[7] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meet-
ing of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, 2016.

[8] Gözde Gül Şahin and Mark Steedman. Data augmentation via dependency tree morphing for low-resource languages. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 50045009, 2018.

[9] Bosheng Ding, Linlin Liu, Lidong Bing, Canasai Kruengkrai, Thien Hai Nguyen, Shafiq Joty, Luo Si, and Chunyan Miao. Daga: Data augmentation with a generation approach for low-resource tagging tasks. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6045-6057, 2020.

[10] Xiang Dai and Heike Adel. An analysis of simple data augmentation for named entity recognition. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3861-3867, 2020.

[11] Abhirut Gupta, Aditya Vavre, and Sunita Sarawagi. Training data augmentation for code-mixed translation. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5760-5766, 2021.

[12] Adithya Pratapa, Gayatri Bhat, Monojit Choudhury, Sunayana Sitaram, Sandipan Dandapat, and Kalika Bali. Language modeling for code-mixing: The role of linguistic theory based synthetic data. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1543-1553, 2018

[13] Haoran Xu, Seth Ebner, Mahsa Yarmohammadi, Aaron Steven White, Benjamin Van Durme, and Kenton Murray. Gradual fine-tuning for low-resource domain adaptation. In Proceedings of the Second Workshop on Domain Adaptation for NLP, pp. 214-221, 2021.

[14] Thamar Solorio, Elizabeth Blair, Suraj Maharjan, Steven Bethard, Mona Diab, Mahmoud Ghoneim, Abdelati Hawwari, Fahad AlGhamdi, Julia Hirschberg, Alison Chang, and Pascale Fung. Overview for the first shared task on language identification in code-switched data. In Proceedings of the First Workshop on Computational Approaches to Code Switching, pp. 62-72, Doha, Qatar, October 2014. Association for Computational Linguistics.

[15] Deepthi Mave, Suraj Maharjan, and Thamar Solorio. Language identification and analysis of code-switched social media text. In Proceedings of the Third Workshop on Computational Approaches to Linguistic CodeSwitching, pp. 51-61, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[16] Gustavo Aguilar, Sudipta Kar, and Thamar Solorio. LinCE: A Centralized Benchmark for Linguistic Codeswitching Evaluation. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 1803-1813, Marseille, France, May 2020. European Language Resources Association.

[17] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[18] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Édouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, 2020.

[19] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2018.

[20] John Morris, Eli Lifland, Jin Yong Yoo, Jake Grigsby, Di Jin, and Yanjun Qi. Textattack: A framework for adversarial attacks, data augmentation, and adversarial training in nlp. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 119-126, 2020.


# BERT を用いた多言語同時学習による疾患分類

朱晨成 Niraj Pahari 嶋田和孝
九州工業大学大学院
zhu. chencheng822@mail.kyutech.jp nirajpahari@gmail.com
shimada@ai.kyutech.ac.jp

## 概要

電子カルテが紙ベースの医療記録に代わって使用 されるようになり，医療分野における自然言語処理技術の応用が注目されている. しかし，英語以外の 言語における関連する分野のデータセットは依然と して少ない、マルチタスク学習は，データ不足の問題を緩和できるアプローチであることが示されてい る. 本研究では，BERT に基づく多言語の同時学習 モデル（MTL）を構築し，NTCIR-13 MedWeb マルチ ラベルの疾患分類タスクで精度評価を行う．シング ルタスク学習（STL）と比較した結果，MTL モデル は場合によって STL モデルを上回ることが判明し た.また，アブレーションテストによって類似性が 高い言語のバイリンガル MTL モデルにおける精度 の向上を確認した.

## 1 はじめに

医療分野でのデジタル化の進展に伴い，電子形式 の医療記録（EHR）が推進されている。それにより 大量のテキストデータが発生し，医療における自然言語処理の研究にも注目が集まっている [1]. しか し，そのドメインの特異性から，専門家によるアノ テーションが必要で時間と人件費のコストが大き く，患者のプライバシーに配慮して非公開にされる データセットも多い [2]. したがって医療ドメイン ではアノテーションされた学習用コーパスの不足が 続いている. 特に英語以外の言語で書かれたデータ ではこの傾向が強く, 関連研究の進展が遅い。この ような言語資源のアンバランスは，多言語環境に適 した技術によって克服することができる. さらに，同じタスクであれば言語を超えた共通の特徵が存在 する可能性もある．異なる言語の医学文章を解析す ることで，語の曖昧性（コロナと COVID-19など） が解消され, 各国の希少疾病の研究などの発展に貢献すると考えられる。
マルチタスク学習は，機械学習の様々な分野で利用されている [3]. 自然言語処理の研究においては,少量のラベル付きデータセットを処理し，関連する タスク間の表現を学習するためによく用いられてい る $[4,5]$. 医療分野では，固有表現抽出や関係抽出 などのタスクにマルチタスク学習を適用する研究が 盛んに行われている $[6,7,8]$. 多言語を用いた研究 においては，マルチタスク学習は主に対訳問題の解決に用いられている $[9,10]$.

本研究では，英語・日本語・中国語の 3 つの言語 の医療分野におけるマルチラベル分類タスクに対 して，BERT に基づくマルチタスク学習のフレーム ワークを流用し，同時に学習するモデルを提案する (以降 MTL と呼ぶ)。その性能をシングルタスク学習 (STL) との比較する。また，多言語 MTL モデル における言語類似度の影響を調べるために，アブ レーションテストも行う.

## 2 関連研究

マルチタスク学習は転移学習の一種である. 関連する複数のタスクから有用な情報を共有するこ とで，1 つのタスクのみを学習させるよりもより良 い結果を得られ，モデルの汎化性能も高められる [11]. Ruder [3] は，一般的に用いられているマルチ タスク学習法をハードパラメータシェアとソフト パラメータシェアの 2 種類に分類した。 ハードパラ メータシェアでは，複数のタスク間でモデルの重み を共有するが，各タスクの固有出力層を残す。これ に対して，ソフトパラメータシェアではタスクごと にそれぞれ独立したモデルと重みを持つ。学習の 時，タスク独自の重みを更新する際に，お互いの損失シグナルを重み付けながら導入できる [12].

医療分野では，マルチタスク学習が様々なタスク で幅広く活用されている. Joshi ら [13] は，BiLSTM に基づくマルチタスク学習モデルを構築し，ツイー 卜文を対象に 3 つの医療関連の分類タスクを行い，

STLより良い結果を得た. Hartmann ら [14] は, 英語，スペイン語，フランス語のデータセットを処理するために mBERT をべースとして，ハードパラ メータシェアによって多言語のマルチタスク学習 モデルを構築した. タスクには，製品レビューの否定範囲解析, 生物医学テキストの否定範囲解析, 症状の有無判断が含まれる. また, このモデルの多言語への汎化能力を評価し, 臨床テキストにおけるゼ ロショットの否定範囲解析が可能であることを示 した.

## 3 データセット

本研究では，多言語テキスト分類タスクにお ける MTL フレームワークの性能を調べるため， NTCIR-13 医学自然言語処理 Web 文書 (MedWeb) [15]を用いる. MedWeb は，人手で作成された疑似 ツイート文からなるデータセットである．作成され たツイートの原文は日本語で，著者たちがそれを英語と中国語に翻訳し，マルチリンガルのデータセッ トを作成した. ツイート一文に対して，インフルエ ンザ，下痢，花粉症，咳，頭痛，発熱，鼻水，風邪の 8 つのラベルが付与される. 表 1 に各言語の疑似ツ イートとそのラベルの例を示す. 各疾患・症状には 陽性（positive）と陰性（negative）の状態が割り当 てられ，それぞれ $\mathrm{p}$ と $\mathrm{n}$ で示される. 1 つの疑似ツ イートは複数の症状を表現している可能性があるた め，複数のラベルにポジティブなステータスが付与 される場合がある. 本研究ではこれら 8 つのラベル を同時に分類するマルチラベルタスクに取り組む.

## 4 手法

本研究では，BERTをベースモデルとして，医療分野におけるマルチラベル分類の STL モデル, 及び MTL モデルを構築する。

## 4.1 STL モデル

STL をべースラインとして，各言語のデータセッ 卜に対して，BERT モデルの様々なバリアントを用 いて，その言語独自の分類タスクを実行する. 使用 する BERT バリアントは， 5.1 節で説明する。

## 4.2 MTL モデル

ソフトパラメータシェアで MTL モデルを構築 する. 本研究では，BERT モデルに基づき，その 12 層の Transformer 隠れ層を分解する. 大きく分け
るとボトム層，中間層，トップ層である。一般に， Transformer のボトム層は最も線形な語順情報を持ち [16]，中間層は主に依存関係を捉え [17]，タスク間 の転移能力が最も強く[18]，トップ層はタスク固有 の特徴を学習している [19].

図 1 に本研究で使用する MTL モデルの概要図を 示す.フリーズ層（Freeze）は，重みを更新しない 層である. 共有層（Share）では，3つのモデルのパ ラメータを互いに共有し，3つのタスクに応じた重 みの更新を行う，固有層（Individual）は，各言語の データセットに固有の特徴を学習し，その重みは対応言語自身の分類タスクに応じて更新される. 我々 の別の研究において F-S-I の組み合わせが最も効率的であることが示されているため [20], 本研究でも この設定を採用する．BERT のボトム層をフリーズ 層，中間層を共有層，トップ層を固有層とする．最後に, 12 層の Transformer の上に線形層を追加して,各言語のマルチラベル分類を行う.

## 5 実験

## 5.1 実験設定

BERT バリアント 各言語に対して多言語事前学習モデルと言語独自のモノリンガル BERTを 用いる。なお, 多言語事前学習モデルは, mBERT [21] と LaBSE [22]を使用する。言語独自のモノ リンガル BERT について英語データセットで は bert-base-uncased ${ }^{1)}$ を，日本語データセットでは 東北大学で開発された cl-tohoku/bert-base-japanesewhole-word-masking ${ }^{2}$ を，中国語データセットでは bert-base-chinese ${ }^{3)}$ を使用する。

STL モデル各言語に対して Single $e_{m B e r t}$, Single $_{\text {LaBSE }}$, Single mono の 3 つの STL モデルを 用いる. 下付き文字の mBERT, LaBSE と mono は各言語のデータセットで利用する BERT バリアントを 示している.

MTL モデル図 1 に示すように MultimBert ,

築する．また，各 MTL モデルで F-S-I それぞれの層数を変化させ，最適なコンビネーションを探る. 初期の組み合わせは 4-4-4（フリーズ層は L1-4, 共有層は L5-8, 固有層は L9-12). さらに，1-7-4 と 1-4-7

表 1 各言語の疑似ツイートとそのラベルの付け方の例。

 & Cough & Headache & Fever &  & Cold \\

日本語分類器

mbert/LaBSE/BERT ja

Transformer 12

† ... $\uparrow$

$\uparrow$ Transformer $n+1$ Transformer $n$

$\uparrow$ Transformer $m+1$

$\uparrow$ Transformer $m$ Transformer 1 日本語データセット

## 中国語分類器

mbert/LaBSE/BERTzh

中国語データセット

図 1 MTL モデルの概要図.

の組み合わせが最も有効的であることが示されてい るため [20]，計三つの組み合わせで実験を行う.

BERT の実装 最適化アルゴリズムに AdamW, 学習率は Transformer 層を 5e-5, 線形層を 5e-3 とし，損失関数には Binary Cross Entropy を用いた. Epoch 数 は 10，過学習抑制のために EarlyStopping を用いた。各言語について，トレーニングには 1920 文，テス トには 640 文を使用する。評価指標は文中の 8 つの ラベルがすべて正しく分類されている場合のみを正解とし，精度の計算を行う。

## 5.2 実験結果

## 最適な BERT バリアントとレイヤー数の組合せ表 2 に F-S-Iレイヤー数の組み合わせが異なる場合の 3 つの MTL モデルの精度を示す. 左端の列の 数字は，実験設置のフリーズ層，共有層，固有層 の数を示す.太字は各言語での最高精度を意味す る。*は各モデルでの各言語の最高精度を意味する。 LaBSE を用いた MTL モデルで，3つの言語に対し て平均的に良い結果が得られた。また，1-7-4 層の 設定では，すべての BERT バリアントに対して，過半数の言語で最も良い精度であることがわかった. この結果は [20] と同様であり，各言語において固有表 2 異なる F-S-Iレイヤー数の組み合わせにおける 3 つ の MTL モデルの予測の完全一致精度.

層が重要であることが示されている.

STL との比較 表 2 から 1-7-4 層の設定が MTL モデルに最適な組み合わせであると考えられるた め，この設定の各 MTL モデルを用いて STL モデル との比較を行う。その結果を表 3 に示す.太字は 各言語での最高精度を意味する。まず，同じ BERT

表 3 MTL と STL の予測の完全一致精度比較.

$\Delta$ は同じ BERT バリアントを用いた MTL モデルと STL モデル の分類精度の平均差を示す

$\Delta_{\text {mono }}$ は全ての MTL モデルと Single mono の分類精度の平均差を 示す

て，言語間の分類精度の平均差を互いに比較する ( $\Delta$ ). 全体として，STLよりも MTLの方が優れてい るが，その効果は必ずしも大きくはなかった. 次 に，全ての MTL モデルをSTL モデルで最も精度

LaBSE を用いた MTL モデルのみ Single mono よりも わずかに精度が向上している。なお，この精度は臨床医学テキストで事前学習した BERT モデルを用い た NTCIR-13 MedWeb タスクの日本語データセット での予測精度を上回る結果となった [23].

まとめると，提案手法（MTL）は各言語でチュー ニングされた最適なモデルに対していつも高い 精度が得られるとは限らない(例えば Multi LaBSE

Transformer のパラメータがより多くのノイズを生成 するため，MTLがその能力を発揮できないことが 原因であると考えられる。しかし，複数を組み合わ せて同時に学習するメリットも明らかになった。

## 5.3 アブレーションテスト

Conneau ら [24] の研究では，言語間の類似性 が mBERT，XML などの多言語事前学習モデルの cross-lingual transfer 能力に影響し, 類似性の高い言語ほどタスクの精度が高くなることが示されてい る.そこで本研究では, 言語間の類似性の影響を調査するため， 3 言語内の 1 つを除いてバイリンガル MTL モデルを作成し，アブレーションテストを行っ た. 言語学的に見ると英語と中国語は文法構造が似 ており，日本語と中国語は表層形が似ている。ま た，英語と日本語の類似性はこの組み合わせの中で表 4 バイリンガル MTL の予測の完全一致精度.

は最も低いと考えられる。英語-中国語，日本語-中国語，英語-日本語の 3 つのペアでテストを行う。そ の結果を表 4 に示す. without ja と without zh の組み 合わせもテストを行ったが，精度の向上が見られな かったため，スペースの関係上割愛する。日本語-中国語ペアはテストを行なった全てのグループの中で 最も良い精度が得られた. その平均精度は， 3 言語 を用いた MTL よりも優れている $(\Delta)$. また，ベー スラインで最も性能が良かった Single mono と比較し てもわずかに優れていた $\left(\Delta_{\text {mono }}\right)$. 加えて, LaBSE を用いたバイリンガル MTL モデルは，日本語にお いて全ての実験の中で最も高い精度を示した．言語間の相関の度合い，特に表層形の類似度が，多言語 MTL モデルの性能に影響を与えることがわかる.

## 6 まとめ

本研究では, 多言語医療関連マルチラベル分類 タスクに対して，Transformer に基づくソフトパラ メータシェアアプローチによる MTL モデルを構築 した. MTL モデルは全体的に STL モデルより優れ ているが，言語や組み合わせによっては各言語独自 の BERT モデルの精度を上回るには至らない場合も あった. また，アブレーションテストを行い，日本語の分類タスクと中国語の分類タスクのみからなる バイリンガル MTL モデルが最も良い結果を得られ た.この結果により，言語間の表層形の類似性が多言語の MTL モデルの性能に影響を与えることが示 された。

今回英語, 日本語, 中国語の 3 言語のみ用いた.今後はスペイン語やフランス語など，英語の表層形 に類似度高い言語のデータセットも取り込みたい。

## 参考文献

[1] Eiji Aramaki, Shoko Wakamiya, Shuntaro Yada, and Yuta Nakamura. Natural language processing: from bedside to everywhere. Yearbook of Medical Informatics, 2022.

[2] Shuntaro Yada, Yuta Nakamura, Shoko Wakamiya, and Eiji Aramaki. Real-mednlp: Overview of real document-based medical natural language processing task. In Proceedings of the 16th NTCIR Conference on Evaluation of Information Access Technologies, pp. 285-296, 2022.

[3] Sebastian Ruder. An overview of multi-task learning in deep neural networks. arXiv preprint arXiv:1706.05098, 2017.

[4] Pengfei Liu, Xipeng Qiu, and Xuanjing Huang. Adversarial multi-task learning for text classification. arXiv preprint arXiv:1704.05742, 2017.

[5] Anders Søgaard and Yoav Goldberg. Deep multi-task learning with low level tasks supervised at lower layers. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 231-235, 2016.

[6] Shweta Yadav, Srivatsa Ramesh, Sriparna Saha, and Asif Ekbal. Relation extraction from biomedical and clinical text: Unified multitask learning framework. IEEE/ACM Transactions on Computational Biology and Bioinformatics, Vol. 19, No. 2, pp. 1105-1116, 2020.

[7] Andriy Mulyar, Ozlem Uzuner, and Bridget McInnes. Mtclinical bert: scaling clinical information extraction with multitask learning. Journal of the American Medical Informatics Association, Vol. 28, No. 10, pp. 21082115, 2021.

[8] Zhaoying Chai, Han Jin, Shenghui Shi, Siyan Zhan, Lin Zhuo, and Yu Yang. Hierarchical shared transfer learning for biomedical named entity recognition. BMC bioinformatics, Vol. 23, No. 1, pp. 1-14, 2022.

[9] Daxiang Dong, Hua Wu, Wei He, Dianhai Yu, and Haifeng Wang. Multi-task learning for multiple language translation. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1723-1732, 2015.

[10] Yiren Wang, ChengXiang Zhai, and Hany Hassan Awadalla. Multi-task learning for multilingual neural machine translation. arXiv preprint arXiv:2010.02523, 2020.

[11] Yu Zhang and Qiang Yang. A survey on multi-task learning. IEEE Transactions on Knowledge and Data Engineering, 2021.

[12] Michael Crawshaw. Multi-task learning with deep neural networks: A survey. arXiv preprint arXiv:2009.09796, 2020.

[13] Aditya Joshi, Sarvnaz Karimi, Ross Sparks, Cécile Paris, and $C$ Raina MacIntyre. Does multi-task learning always help?: An evaluation on health informatics. In Proceedings of the the 17th annual workshop of the Australasian language technology association, pp. 151158, 2019 .
[14] Mareike Hartmann and Anders Søgaard. Multilingual negation scope resolution for clinical text. In Proceedings of the 12th International Workshop on Health Text Mining and Information Analysis, pp. 7-18, 2021.

[15] Shoko Wakamiya, Mizuki Morita, Yoshinobu Kano, Tomoko Ohkuma, and Eiji Aramaki. Overview of the ntcir-13: Medweb task. In NTCIR, 2017.

[16] Yongjie Lin, Yi Chern Tan, and Robert Frank. Open sesame: getting inside bert's linguistic knowledge. arXiv preprint arXiv:1906.01698, 2019.

[17] Jesse Vig and Yonatan Belinkov. Analyzing the structure of attention in a transformer language model. arXiv preprint arXiv:1906.04284, 2019.

[18] Anna Rogers, Olga Kovaleva, and Anna Rumshisky. A primer in bertology: What we know about how bert works. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 842-866, 2020.

[19] Yaru Hao, Li Dong, Furu Wei, and Ke Xu. Visualizing and understanding the effectiveness of bert. arXiv preprint arXiv:1908.05620, 2019.

[20] Niraj Pahari and Kazutaka Shimada. Multi-task learning using bert with soft parameter sharing between layers. In 2022 Joint 12th International Conference on Soft Computing and Intelligent Systems and 23rd International Symposium on Advanced Intelligent Systems, pp. 1-6, 2022.

[21] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[22] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, and Wei Wang. Language-agnostic bert sentence embedding. arXiv preprint arXiv:2007.01852, 2020.

[23] Yoshimasa Kawazoe, Daisaku Shibata, Emiko Shinohara, Eiji Aramaki, and Kazuhiko Ohe. A clinical specific bert developed using a huge japanese clinical text corpus. Plos one, Vol. 16, No. 11, p. e0259763, 2021.

[24] Alexis Conneau, Shijie Wu, Haoran Li, Luke Zettlemoyer, and Veselin Stoyanov. Emerging cross-lingual structure in pretrained language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6022-6034, Online, July 2020. Association for Computational Linguistics.


# 介護事例データベースを用いた介護支援提示モデルの構築

結城 政宗 ${ }^{1}$ 中島陽子 ${ }^{1}$ 本間宏利 ${ }^{1} \quad$ M. Ptaszynski $^{2}$ 桝井文人 ${ }^{2}$ 秋葉友良 ${ }^{3}$
1 釧路工業高等専門学校 創造工学科
2 北見工業大学 地域未来デザイン工学科
3 豊橋技術科学大学 情報・知能工学系
\{yoko, honma\}@kushiro-ct.ac.jp

## 概要

認知症グループホームの抱える大きな問題の一つに 介護職員の離職率の高さがある．特に，新人介護職員 の離職を防止し，介護の質保証と向上に向けて取り組 むことが喫緊の課題となっている。この問題に対処す る方法として，先行研究で介護事例データベースを活用した適切な「対応方法」の提示を試みてきた. 介護事例データベースとは，「利用者 $\mathrm{id}\lrcorner ， 「$ 困りごと」，「対応方法」の組で構成されるデータベースである。しか しながら，先行研究では未知の困りごとに対しては，適切な対応方法を提示できないという問題点があった. そこで，本研究では未知（介護事例データベースに未登録）の困りごとに対して適切な対応方法の候補を提示可能な介護支援提示システムの実現を目的とした.

## 1 研究背景

令和元年版高齢社会白書によると，現在の日本は高齢化率は約 $28 \%$ という超少子高齢社会であり，2050 年には高齢化率は約 $40 \%$ になると試算されている.こ のような状況下で，近年，認知症高齢者を支援する地域密着型サービスである認知症高齢者グループホーム (以下，認知症 GH) が急増している. 国内の認知症施策で，2015 年に「認知症施策推進総合戦略」が策定さ れ，認知症 GH の存在は重要かつ必要不可欠なサービ スとなっている.

認知症 GH の抱える大きな問題の一つに介護職員の 離職率の高さがある。2017 年の介護職員の離職率は 16.7\%（介護労働安定センター調べ）であり，他業種 と比較して高い数値となっている。また，認知症 $\mathrm{GH}$ の離職者の約 4 割が入職 1 年末満の介護職員であり, これは他の介護施設での場合より高い. 新人介護職員 の離職を防止し，介護の質保証と向上に向けて取り組 むことが喫緊の課題となっている。近年，運営形態，サービスの質，職員教育など様々 な視点から，介護施設現場に伏在する問題の調查とそ れらの改善案に関する研究が数多く行われている. し かしながら，介護施設現場からは介護サービス受給者 の多様性に即時対応可能な，具体的解決策の提示支援 が強く望まれている。

本研究は, 認知症グループホームが所有する介護資料を利用して，介護事例データベースを構築し，自然言語処理や機械学習などの人工知能技術を応用して，様々な介護事例に対して，効果的な介護対応手段を提示する介護コミュニケーション支援システムの開発を 目指す. 本システムの実現によって，認知症グループ ホームの介護業務の円滑化，業務負担の軽減化，およ び，介護職員の離職率の低減など，現状の問題解決に 貢献できると考えている.

## 2 本研究の目的

介護施設における介護業務は年々複雑化しており，特に勤務年数が短く経験が少ない職員は，利用者の困 りごとへの対応に苦慮することが多い. 現在の介護支援施設では「困りごと」が生じた時に，介護従事者の経験に基づく適切と思える「対応方法」を用いて対応・解決している。そこには「適切な対応方法の適切さの判断が難しい」という問題が絶えず存在している．そこ で，経験に基づいた対応方法を提案することが重要と 考え,「利用者 id」,「困りごと」,「対応方法」の組で構成 される介護事例データベースを構築し，未知の困りご とを入力すると，その困り事と類似している文を抽出 しそれらの対応方法を提示する手法を提案する. 予備実験において、困りごと文の類似文抽出と対応方法提示において Tf-IDF，BERTscore,SentenceBERTを用 いて実験を試みたところ SentenceBERT が最も精度が 高いことが確認できた。しかし，介護事例データベー スのデータが少なかったため，未知データ（介護事例

データベースに未登録）を入力した際に類似した困り ごとが抽出できないという問題が生じた. そこで，本研究では，新たに介護施設の議事録から介護事例を抽出し介護事例データベースへ追加し, SentenceBERT を用いた対応方法の提示，さらに，利用者への対応の 見極めに必要な，性格などを考慮するために，新たに，個人属性データベースを構築し，個人属性を考慮した 対応方法の提示を試みる。

## 3 システムの概要

本システムは，介護事例データベースと個人属性 データベースを備え，入力は「困りごと」とその困り ごとその事象をかかえた施設利用者（認知症患者）の 「個人属性」とし，出力は困りごとに対応するための 「対応方法候補文」とする．対応方法候補文は介護職員が適宜選択できる.

新たに構築した個人属性データベースについて説明する。本データベースは利用者のデータ（個人属性 データ）を「性別」，「生年」，「職業」，「趣味」，「性格」 に基づいていくつかのグループに分類し，ラベルを付与した.これらのラベルの選定は，介護施設職員から 個人の特性が現れる項目を聴取したものによる。個人属性データベースの例を表 1 に示す。

個人属性の各項目の種類は，「生年」においては厚生労働省の介護保険施設の利用者の状況 ${ }^{1}$ ，「職業」は総務省の日本標準職業分類 ${ }^{2}$, 趣味」は令和 3 年社会生活基本調査 生活時間及び生活行動に関する結果，「性格」 は堀毛らの研究 [7] に基づいてラベリングを行った.

これらの項目を特徴ベクトルとし，個人属性のクラ スタリングを行う. クラスタリングには k-means 法を 用いる。

個人属性クラスタリングは，個人属性データを入力 し，それと類似する属性を有する利用者 idを取得する。図 1 に本介護支援提示システムのイメージを示す.

## 3.1 提案手法

個人属性を考慮した困りごとに対する対応方法候補 を提示する手順を以下に示す。

図 1: 介護支援提示システムイメージ

1. 個人属性データベース内の「個人属性」に入力し た「個人属性」を追加し，クラスタリングを行う．類似している「利用者 id」を導出する。

2. 介護事例データベースの中から類似性の高い「利用者 id」を持つデータを検索する。

3. 入力の「困りごと」文と検索したデータ内の「困 りごと」文を SentenceBERT を用いてべクトル 化する.

4. 入力の「困りごと」文と類似する「困りごと」文 を抽出する。ここで，個人属性を考慮する場合は，類似性の高いクラスタから類似文を抽出する。

5. 類似する「困りごと」と対になっている「対応方法」を提示する。

## 3.2 困りごと類似文の抽出

「困りごと」の類似事例の抽出には，本研究で は文章のベクトル化に sonoisa/Sentence-BERT ${ }^{3}$ ，文章間の類似度の指標にはコサイン類似度を用いた。 SentenceBERT[8] は事前学習された BERT モデルに 加え，Siamese Network という手法を用い，一般的な BERT よりも高精度で文章ベクトルの生成する。類似文は，提示方法を選択する際に選択に困らない数を考慮し上位 6 位を採用する。

## 3.3 対応方法提示

対応方法提示の具体例を図 2 を例に示す. 対応方法 は, 抽出した困りごとの類似文と対である対応方法を 対応方法候補として提示する．例えば，「車いすの方を 勝手に椅子に移乗してしまう」という困りごとを入力 すると，介護事例データベースから「勝手に車いすか
^{3}$ https://huggingface.co/sonoisa/sentence-bert-base-jamean-tokens-v2
}
表 1: 個人属性データベース

ら移乗してしまう」,「車いす、椅子からの立ち上がり が増え、転倒の危険がある」や「車いすからソファー に自分で移動しようとする」というような類似文が抽出される。 介護事例データベースから，それらの類似文と対をなしている対応方法，「見守り強化」，「見守り を強化する」や「見守り強化，移乗の際は介助行う」 を出力する。

図 2: 対応方法提示イメージ

## 4 評価実験

個人属性クラスタリングと対応方法提示モデルを実装し実験を行なった. それぞれについて実験設定と結果を示す.

## 4.1 個人属性クラスタリング実験

個人属性クラスタリングは，介護施設から提供され た 37 名のデータを用いる. 各項目をべクトル化し 2 種類の方法で実験を行なった。一つ目は，ワンホット ベクトルを採用した場合，二つ目は介護職員がどの項目を重視したいか重みを考慮したべクトルとした場合 である. それぞれの結果の例を図 3 と 4 に示す.

図 3 の結果では，クラスタリングが成功しているよ うに見えるが、下方に生年ラベルが 4（90 歳以上）の データが集中している. 従って, 性格や趣味など種類 が多いものは疎になり，生年や性別のような種類が少 ないものが優勢になることがわかる.

図 4 の結果では，性格を重視したい場合の例である.生年と趣味に 2 , 性格に 3 の重さを掛けて実験を行っ

図 3: 個人属性クラスタリング実験 1

図 4: 個人属性クラスタリング実験 2

た. 上方に性格ラベルが 4 (社交型) のデータが集まっ ており，性格を最重要視したクラスタリング結果であ る.どの項目を重視した対応方法候補を望むかで，必要に応じて重みの変更可能であることがわかる.

## 4.2 対応方法提示実験

次に，対応方法候補提示の評価実験について説明す る. 介護事例データベースのデータ全 881 個のうち, トレーニングデータは 866 個，テストデータは個人属性が影響していると考えられる困りごとデータを 15 個を用いて実験を行う．上位 6 位までの類似困りごと 文を用いて, 対応方法候補を 6 個出力する. また, 個人属性の有用性を確かめるために, 個人属性クラスタリ

ング機構の有無で比較実験を行う。それぞれ 90 個ず つの全 180 文の対応方法候補文を評価した. 評価方法 は,1:「対応方法として適していない」, 2 :対応方法と しては適しているがその利用者の個人属性には適して いない「正解」および 3 :対応方法として適しておりか つ利用者の個人属性にも適している「最適」の 3 段階評価を行った。

実験結果を表 2 に示す. ただし正解率は「正解」と 「最適」の出現率, 最適率は「最適」の出現率とする. 個人属性を考慮しない場合の正解率は $58.9 \%$, 最適率は $25.6 \%$, 個人属性を考慮した場合の正解率は $48.9 \%$ 最適率は $15.6 \%$ であった. 個人属性を考慮した場合，個人属性を考慮しない場合と比較して精度が低い. 原因 の一つとして, 個人属性を考慮するには介護事例デー タベース内のデータ数の不足が挙げられる。

表 2: 類似文抽出実験

## 5 考察

本システムでは個人属性クラスタリングで出力した 結果を類似文抽出で用いるため, システムの不具合や 改善点を見つけるのが非常に難しい，最も影響してい ると考える, 介護事例データベース内のデータ数の不足について考察する. 表 3 は困りごと「入浴拒否があ る」に対して個人属性を考慮した場合と考慮しない場合に出力された対応方法候補文でる. 個人属性クラス タリングを利用していない場合に比べて, 利用した場合の候補には「好きな飲み物、飲める物、水分ゼリー 等を検討」など，「入浴拒否がある」とは関係のない対応方法が出力されている. これは介護事例データベー ス内に「入浴拒否がある」に似た「困りごと」は存在 するが, 個人属性の絞り込みによって類似した「困りご と」が除外されたことが考えられる。一方，同じ個人属性に類似した困りごとがある場合は，本手法は有効 であることは確認できている。従って，介護事例デー タベースのデータ数を増加することは個人属性クラス タリングを含め本システム全体の精度向上につながる と考える。

## 6 おわりに

本研究では, 介護事例データベースへのデータ追加 および個人属性データベースの構築と個人属性を考慮 するための個人属性クラスタリングと困りごとの類似文を抽出し対応方法候補を提示する介護方法提示モデ ルの構築を行なった.未知の困りごとに対しても適切 な対応方法の候補を提示することはできたものの，個人属性を考慮すると精度が低くなってしまうことが明 らかになった．今後は，自動的に介護事例データベー スにデータを追加する機能を追加し，実際に認知症 $\mathrm{GH}$ で働く介護職員の方々に本システムの一部を評価 して頂き，より需要にあっているシステムへと改善し ようと考えている。

## 参考文献

[1] 古村美津代, 他, “認知症高齢者グループホームに おける新人介護従事者が抱える困難,” 日本認知症ケア学会誌, vol.17, no.3, pp.583-593, 2018.

[2] 山口晴保, 他, “認知症グループホームにおけるグ ループホームケアの効果研究," 認知症ケア研究誌, vol.2, pp.103-115, 2018.

[3] 藤井容子, 他, “高齢者や障がい者が共に暮らす共生型グループホームの実践的研究," 住総研研究論文集, vol.42, pp.37-48, 2015.

[4] 中川孝子, 他, “認知症高齢者グループホームにお ける「その人らしさを尊重したケア」の実態と影響要因,”弘前医学, vol.69, pp.57-65, 2019.

[5] 河野由美子, 他, “認知症グループホームの管理者 の介護職への人材育成に対する意識,”日本住宅 ケア学会誌, vol.22, pp.105-112, 2018.

[6] 加藤龍兵, 中島陽子, “自然言語処理を用いた介護 コミュニケーション支援システムの開発,”釧路高専卒業研究, 2020.

[7] 堀毛一也, 他, “施設介護職員による認知症高齢者 の性格・感情認知とケア・対処方略の関連,”現代行動科学会, vol.22, pp.9-23, 2006.

[8] Reimers N.; and Gurevych I., " Sentencebert: Sentence embeddings using siamese bertnetworks,' arXiv:1908.10084., 2019.
表 3: 困りごと「入浴拒否がある」の類似対応方法候補文