# 特定のドメインに特化した日本語同義語獲得の検討

勝又智 1 飯田大貴 1,2
1 株式会社レトリバ 2 東京工業大学
\{satoru.katsumata, hiroki.iida\}@retrieva.jp

## 概要

自然言語処理を特定のドメインのテキストに応用 する際，Entity に関する情報はドメイン特有の知識 となることが多く，公開されている同義語辞書だけ でなく，特定のドメインの同義語辞書の作成が求め られる。しかし，この同義語辞書は人手で作成する ことが多く，非常に高コストである。本研究では同義語辞書作成支援を目的として, ベースライン及び 評価用データの構築，人手評価を実施した。実験の 結果，単語間類似度タスクで有効な分散表現作成手法が，本タスクでは有効ではなく，またその逆が起 こりうることがわかった.

## 1 はじめに

自然言語処理技術の活用現場では，同義語辞書の 作成が課題としてあげられることが多い，例えば，情報検索の分野では同義語辞書を使用することで精度が向上することが知られている [1]. WordNetな どのオープンドメインにおける同義語辞書よりも，特定のドメインに沿った同義語辞書を使うことで さらなる精度向上が期待できる. 特に, Entity の同義語情報はドメイン特有の知識となることが多く,特定のドメインに応じて作成する必要がある. しか し，特定のドメインに特化した同義語辞書作成は，人手で行われることが多く非常に高コストである. そのため，同義語辞書作成を支援する必要がある.

支援方法として有効な方法の一つに，対象の Entity に対する同義語候補をランキングで示す方法 がある.このような形式のタスクに Zero-shot Entity Linking (EL) [2] がある. Zero-shot EL は訓練中に現 れない Entity に対して, Entity 集合を適合度順にラ ンキングするタスクである。しかしながら，この Zero-shot EL においては, Entity に関する説明文を利用可能な知識としているが，説明文を利用できない ケースは応用上多い.

そこで，本研究では Entity の情報のみから， Entity

図 1 同義語獲得タスクの概要図

集合を適合度順に並べるタスク（同義語獲得タス ク）を実施する。ところが，このような評価デー タセットは我々の知る限り存在しない。本研究で は，特定のドメインのテキストに対して Entity 抽出器を用いて Entity 集合（mention 集合）を作成する. また，ユーザーが入力するクエリ Entity（term）を 別途用意し，このクエリに対して mention 集合を適合度順に並べるタスクを行う。概要を図 1 に示す。 ベースラインとして編集距離によるランキングと分散表現を用いた類似度によるランキングを行い，人手によって性能を評価した。

## 2 同義語獲得タスク

## 2.1 同義語獲得タスクの問題設定

同義語辞書を含む，様々な知識を活用した研究が 盛んに行われている。日本語同義語辞書について は，日本語 WordNet [3] や ConceptNet [4], Sudachi 同義語辞書 [5] などの公開されている辞書が存在する. しかし，これらの同義語辞書は一般ドメインに対し て構築されており，特定のドメインに関する Entity は含まれていないことが多い，そこで，本研究では 特定のドメインのテキストから同義語辞書を作成す る支援を行うタスクを検証する。

今回取り扱う問題設定は Zero-shot EL [2] と類似 した設定としている．本問題設定では，図 1 のよう
表 1 分散表現作成手法一覧

に同義語の探索を行いたい特定のドメインのテキス トに対して Named Entity Recognition (NER) を行い，取得した全ての種類の Entityを mention 集合とする。別途用意した term をクエリとして， mention 集合を 適合度順に並べるタスクとして設定した。つまり，本問題設定は Zero-shot EL における Entity を，ユー ザーが入力する termとして定義した. また，先行研究では明示的な EL のデータを学習に使用している が，実応用上ではそのようなデータを用意すること は難しいため，本研究では EL データは使用しない。本研究に類似した問題設定として，単語間類似度 タスク $[6,7]$ が挙げられる. 近年の単語間類似度タ スクは，分散表現による単語間の類似度について，人間の判断との近さを評価するタスクである. 本研究の問題設定との違いとして，入力の性質が異なる ことが挙げられる。具体的には，本研究では単語と して連続した形態素を想定しており，この単語は全 て Entity であるため，ドメイン特有の知識が分散表現作成に必要となる点が異なる。本研究ではこれら の差異による影響を確認するため，単語間類似度夕 スクと同義語獲得タスクとの相関を調査した。

## 2.2 適合基準

2.1 節の通り，同義語獲得タスクは同義語辞書作成支援を目的としている．そのため，本研究では評価として各システムの出力のうち，最も適合度が高 い mention について，入力された term の同義語かど うかの人手評価を実施した. 同義語の適合基準とし て，互換性と同位語性という概念を導入した。

互換性は，term と最も適合度が高い mention を入 れ替えても意味が同じである性質としている. 具体的には， term とその term が出現する文 Context $t_{\text {term }}$ を 用意し，この文が最も適合度が高い mentionを term

どうか確認した.

しかし，互換性のみでは，term が上位語，最も適合語が高い mention が下位語の場合といった上位下位概念の場合に対して評価が難しいものとなる．例

 &  &  \\

えば termとして ‘動物’が入力され，最も適合度の 高い mention が ‘犬’， term が出現する文が ‘動物を 飼う。，の場合，これらの関係が互換性を満たすか どうかは判断が分かれると考えられる。そこで本研究では，これらの場合を区別するため同位語性を 導入した。同位語性は，term と最も適合度が高い mention の関係について，上位下位概念ではなく，共通の上位概念を持つ語（同位語）である性質とし ている。同位語性を導入することにより，上記の例 の関係を，互換性は満たすが，同位語性は満たして いないとすることができる．本研究ではこのよう に， term と最も適合度が高い mention について，互換性があるかないか，同位語性があるかないかのア ノテーションを行った．本論文では，互換性があり 同位語性もある場合を強い同義語と呼称する。

## 3 実験

## 3.1 分散表現作成手法

本研究は term と mention の適合度推定に分散表現 のコサイン類似度計算を用いた．検証した分散表現作成手法を表 1 に記載する。また，分散表現ではな く，編集距離を用いた場合も検証した. 以下に各分散表現の概要を記載し，詳細は付録 A に記載する.

fasttext 単語ベクトルを元にした手法として，日本語 Wikipedia1) で学習した fasttext [8] を用いた. term 及び mention の分散表現作成の際は，各形態素 をべクトル化し，それらの平均を計算した.

BERT 大規模モデルを用いた手法として，学習済み BERT ${ }^{2}$ [9]を用いた. term 及び mention の分散表現は BERT の各サブワードごとの出力を平均した ベクトルを使用した.

1）本研究では 2022 年 6 月 20 日時点でのファイルを利用した.

2）特に明記しない限り BERT 関連のモデルは全て cltohoku/bert-base-japanese-v2 を使用.
表 3 同義語獲得検証結果. 左の数值が強い同義語を正解とした時の精度で,右の数値が互換性または同位語性を満たした場合を正解とした時の精度.

SimCSE 近年, 文間類似度などのタスクで研究さ れている SimCSE [10] についても検証を行った. 公開されている BERT モデルに対して, Unsupervised SimCSE を用いて特定のドメインのデータで学習を 行ったモデルを使用する. term 及び mention の分散表現作成方法については BERT と同様である.

BLINK Wu ら [2]が提案したモデル（BLINK）に ついても検証を行った. 本研究では他の手法との公平な比較のため，BLINK モデルのうち，Bi-Encoder の構造のみ用いた. Bi-Encoder の学習は, 公開さ れている BERT に対して日本語 Wikipedia を用いて 行った. term ベクトル作成時に必要となる説明文は 空白としている. mentionベクトル作成時に必要と なる mention の前後文脈は，特定のドメインのコー パス中で出現したものを使用した。また，彼らは BERT の出力として [CLS] に対応するべクトルを使用しているため，本研究でも同様の処理を行った.

LUKE Entity の分散表現作成手法として研究さ れている LUKE $^{3)}$ [11]についても検証を行った. LUKE は Entity が出現する文脈を使用するため, mention については BLINK と同様に, mention が出現した文脈を LUKE に入力してべクトル化を行っ た. term については出現する文脈は想定していない ため，その語のみを入力しべクトル化を行った。

## 3.2 データ

本研究では特定のドメインのテキストコーパスと して表 2 のデータを使用した. 各データの詳細につ いては付録 Bに記載する。

ユーザーが大力する term の模擬として，本研究で は Wikipedia 記事のタイトルを使用した。各特定の ドメインのテキストとWikipedia 記事の対応関係を， Piratla ら [12] が提案した情報検索システムを利用し た関連文書獲得手法で取得し, その中で関連度が高

い 100 記事のタイトルを term として用いた。特定のドメインのコーパスから mention 集合を作成する際の NER モデルとして, 本研究では GiNZA モデル4)を元に Wikipedia のアンカータグを利用し て学習したモデルを用いた。

## 3.3 評価

本研究では 2.2 節で述べた適合基準を用いて評価 を行う，具体的には，評価者に term と term に対し て最も適合度が高いと推定された mention， term を 含む文書を提示する．term は Wikipedia の記事タイ トルであるため，対応する記事タイトルの定義文書 が存在しており, 本研究ではこの文書を提示してい る。評価者はこれらから， term と mention 間につい て互換性と同位語性についてそれぞれ満たすかど うかアノテーションを行った。なお，このアノテー ションは 1 人で行っている.

評価尺度としては，強い同義語を満たす場合のみ を正解とした場合の accuracy 及び，term と mention 間で互換性または同位語性を満たす場合を正解とし た場合の accuracyを計測した。

## 3.4 実験結果

各特定のドメインのテキストに対する評価結果 を表 3 に示す. 表 3 の右端列に各ドメインの精度を 平均した結果を示している.この結果から，BERT， SimCSE，BLINK は同程度の結果となっていること がわかる。これらの場合について, 強い同義語の場合で 0.14 から 0.15 , 互換性または同位語性を満たす 場合でも BERT の 0.21 が最大という結果となり，同義語辞書作成支援に本システムを使用した場合，お よそ $1 / 7$ から $1 / 5$ のクエリに対して適切な同義語候補が出力されることが想定される.本検証ではさまざまなデータで検証を行ったが，

表 4 単語間類似度実験. 上段は各手法の結果を，下段は 同義語獲得検証（強い同義語）との相関を示している.

どのデータでも BERT，SimCSE，BLINK が他の手法と比べて高い精度となっている. 表 1 の通り, BERT, SimCSE，BLINK といった手法は学習に特定 のドメインのデータの使用や，文脈の使用，類似度計算の際に部分文字列を使うかどうかといった違い はあるものの, これらの違いが本タスクに対して大 きく影響することはないと思われる。同じくBERT の構造を元にした手法で LUKE のみ精度が低い結果 となったが，これはおそらくLUKE のべクトル作成 の構造が本タスクに向いていないためと思われる. LUKE は Entity ベクトル作成の際に Entity Vocabulary を使用する. 本研究での mention ベクトル作成には NER の抽出結果を入力しているため, mention ベク トル作成時の多くの場合で未知 Entity に対するべク トル作成となり, 効果的なべクトル作成が行われな いと思われる。

## 3.5 単語間類似度タスクとの比較

同義語獲得タスクと単語間類似度タスクとの 相関を確認するため, 各分散表現作成手法につい て単語間類似度タスクを実施した。評価データは Sakaizawa and Komachi [13] の名詞に関するデータを 用いた. 評価尺度として Wang ら [14] が提案したラ ンキング形式の尺度も用いた. 本検証の詳細は付録 C に記載する．実験結果を表 4 に示す.

同義語獲得検証と単語間類似度実験の結果を比較 すると，相関がほとんどないことがわかる．例えば 同義語獲得タスクで比較的精度が低かった fasttext が単語間類似度タスクでは高い精度となっている。 また，BERT についても同義語獲得タスクでは精度 が高い結果であったが，単語間類似度タスクでは Hits@1を除く指標で精度が低い結果となった.こ れらの結果はおそらく, 同義語獲得タスクと単語間類似度タスクの入力単語の単位の違いによるもの だと思われる. 表 4 の下段の各指標ごとの相関から表 5 同義語獲得タスクの出力例及びアノテーション例

も，このタスク間で相関はほとんどないことが確認 できる.このように，同義語獲得タスクは単語間類似度タスクと異なる性質を持つタスクと考えら れる。

## 3.6 同義語獲得検証の具体例

表 5 に Amazon Review データの electronics カテゴ リに含まれる例を示す. term として‘コンパクト カセット’を入力した場合, BERT と SimCSE は‘カ セットテープをを最も類似した mentionとして出力し, BLINK は ‘カセット'を出力した. ‘カセット テープ，“カセット’のどちらについても，“コン

と入れ替えた文 Context の意味が変わらないとして，互換性は満たすとアノ テーションしている。これらの単語間では，上位概念として ‘オーディオ用磁気記録テープ, を置くこと ができると考え，同位語性も満たしているとした。

一方で, 編集距離と fasttext と LUKE の出力に関 しては全て関連なしと評価した.この例から，編集距離や fasttext は表層的な類似は反映されるが，意味的な類似がうまく反映されていないと考えられる。

## 4 おわりに

本研究では，特定のドメインに依存した同義語辞書作成支援を目的として，ベースラインおよび評価用データセットの構築，人手評価を実施した. ベー スラインとして, 表層の特徴のみを使用する手法,単語単位の分散表現を拡張した手法，BERT やそれ を派生した手法，Entity の分散表現を作成する手法 を比較し，BERT及びそれを派生した手法が優れた 結果となった。また，実験の結果から単語間類似度 タスクと同義語獲得タスクでは異なる性質を持つタ スクであることがわかった. 今後は，この単語間類似度タスクと同義語獲得タスクの違いを調査し, こ れらのタスクの異なる性質を明らかにしていく。

5）この定義文の詳細は付録 D に記載.

## 謝辞

本研究実施に当たって，株式会社レトリバの西鳥羽二郎様，木村大翼様には有益な助言をいただきま した。この場を借りて深く御礼申し上げます.この 成果は，国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）の委託業務（JPNP18002）の 結果得られたものです.

## 参考文献

[1] Hui Fang. A re-examination of query expansion using lexical resources. In Proceedings of Annual Meeting of the Association for Computational Linguistics, 2008.

[2] Ledell Wu, Fabio Petroni, Martin Josifoski, Sebastian Riedel, and Luke Zettlemoyer. Scalable zero-shot entity linking with dense entity retrieval. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing, 2020.

[3] Francis Bond, Hitoshi Isahara, Kyoko Kanzaki, and Kiyotaka Uchimoto. Boot-strapping a wordnet using multiple existing wordnets. In International Conference on Language Resources and Evaluation, 2008 .

[4] Robyn Speer, Joshua Chin, and Catherine Havasi. Conceptnet 5.5: An open multilingual graph of general knowledge. In Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, 2017.

[5] 高岡一馬, 岡部裕子, 川原典子, 坂本美保, 内田佳孝.詳細化した同義関係をもつ同義語辞書の作成. 言語処理学会第 26 回年次大会 (NLP2020), 2020.

[6] Herbert Rubenstein and J. Goodenough. Contextual correlates of synonymy. Communications of the ACM, Vol. 8, pp. 627-633, 1965.

[7] Eneko Agirre, Enrique Alfonseca, Keith Hall, Jana Kravalova, Marius Paşca, and Aitor Soroa. A study on similarity and relatedness using distributional and WordNet-based approaches. In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, 2009.

[8] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 135-146, 2016.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2019.

[10] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, 2021.

[11] Ikuya Yamada, Akari Asai, Hiroyuki Shindo, Hideaki Takeda, and Yuji Matsumoto. LUKE: Deep contextualized entity representations with entity-aware self-attention.
In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, 2020.

[12] Vihari Piratla, Sunita Sarawagi, and Soumen Chakrabarti. Topic sensitive attention on generic corpora corrects sense bias in pretrained embeddings. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019.

[13] Yuya Sakaizawa and Mamoru Komachi. Construction of a Japanese word similarity dataset. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation, 2018.

[14] Bin Wang, C.-C. Jay Kuo, and Haizhou Li. Just rank: Rethinking evaluation with word and sentence similarities. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, 2022.

[15] Phillip Keung, Yichao Lu, György Szarvas, and Noah A. Smith. The multilingual Amazon reviews corpus. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, 2020.

## A 分散表現作成手法の詳細

fasttext 本検証で使用したモデルは，Wikipedia に対して $\left.\mathrm{MeCab}^{6}\right)$ で分かち書きしたテキストで学習を行い作成した。 term 及び mention の分散表現は，各形態素の分散表現について平均を取ることで作成した.

BERT 本研究では学習済み $\mathrm{BERT}^{7}$ )を用いた。term 及び mention の分散表現は BERT の各サブワードごとの出力を平均したベクトルを使用した。

SimCSE 本研究で扱う SimCSE は Unsupervised SimCSE で学習したモデルを使用した。具体的には，同義語候補であ る各 mention について，異なる Dropout を適用して BERT でエンコードしたベクトルを正例，バッチ中の異なる mention を負例として学習を行った. term 及び mention の分散表現作成方法は BERT と同様である.

BLINK 本検証では, Wu ら [2] で提案された手法のうち, Bi-Encoder 構造のみ用いている.この Bi-Encoder の学習に は，日本語 BERT に対して fasttext と同じ Wikipediaを使用して行っている. また，彼らはEntity のベクトル表現作成の際 に， '[CLS] EntityTitle [ENT] 説明文 [SEP]' といったように Entity の説明文を付与している。一方で，本研究で Entity に相当する term には説明文を与えていないので， term のベクトル作成時にはこの説明文は空白としている。また, mention の ベクトル表現作成の際には, '[CLS] 左側文脈 $[\mathrm{Ms}]$ mention $[\mathrm{Me}]$ 右側文脈 $[\mathrm{SEP}]$ ' といったように，文脈付きで行っている. こちらについては，本研究でも特定のドメインのコーパス中における mention の前後文脈を使用した。

LUKE 本研究では LUKE モデルとして, 公開されている日本語モデル8)を使用した. LUKE は Entity のベクトル作成 を目的に BERTを拡張したモデルであり，Entity が出現する文脈も使用するため， mention については BLINK と同様に， mentionが出現した文脈も LUKEに入力してべクトル化を行った. term については他の手法と同様に出現する文脈は想定 していないため，その用語のみを入力しベクトル化を行った。

## B 同義語獲得検証で使用したデータの詳細

本研究では特定のドメインのテキストコーパスとして Amazon Reviewデータ，リコール文書，Twitter データを使用し た. Amazon Reviewデータは MARC [15] について，日本語データに対してカテゴリ単位で抽出したものを使用している. リコール文書はリコール情報公開サイト99) から抽出し，登録されているカテゴリで区分けを行った. Twitter に関しては, COVID-19日本語データセット10)で意見・感想とアノテーションされている文書を使用した.

## C 単語間類似度タスクの実験設定

本研究の単語間類似度タスクでは, Sakaizawa and Komachi [13]の名詞に関するデータを用いて行った. 評価として，ア ノテーションされている人手評価との相関及び，Wang ら [14] 亿よって提案されているランキング形式の尺度も用いた. Wang らは単語間類似度データセットの中で, 類似度が高い上位 $25 \%$ （5,514ペア）を正例として定義している。彼ら は単語間類似度データセットに含まれる全ての単語について，分散表現などを利用して類似度順に並べ，上位に正例 を推薦できているか検証している。本研究でも同様の処理を行い，日本語名詞単語間類似度データセットのうち，276 ペアを正例として使用した．また，Wang らは単語間類似度に含まれる単語だけでなく，ランキングの候補単語として Wikipedia の頻度上位 20,000 単語を使用している. 一方で, 本研究では正例の数に合わせて日本語 Wikipedia の頻度上位 1,000 単語の名詞を使用した.なお，この名詞かどうかの判断関してはUniDic（v3.1.0) ${ }^{11}$ をを用いた。

また，この検証での SimCSE はデータセット中に含まれる単語を利用して Unsupervised SimCSE の学習を行った. 具体的には各単語について異なる Dropout を適用して BERT でエンコードしたベクトルを正例，バッチ中の異なる単語を負例 として学習を行った。

## D 同義語獲得検証の具体例の詳細

入力となる term の定義文を含む具体例を表 6 に示す.

表 6 定義文を含む同義語獲得タスクの出力例及びアノテーション例

6）IPADIC を使用.

7） cl-tohoku/bert-base-japanese-v2 を使用.

8) studio-ousia/luke-japanese-base を使用.

9）国交省: https://www.mlit.go.jp/jidosha/carinf/rcl/index.html; 消費者庁: https://www.recall.caa.go.jp

10） https://www.db.info.gifu-u.ac.jp/covid-19-twitter-dataset/

11) https://github.com/polm/unidic-py


# 分散表現を用いたブランド名の語義曖昧性解消と 小規模学習データへの応用

尾城 奈緒子 ${ }^{1}$ 竹村 彰浩 $^{1}$ 白石 空 ${ }^{1}$
${ }^{1}$ 株式会社インテージ
\{oshiro. 44969, takemura-a, shiraishi-s\}@intage.com

## 概要

従来の語義曖昧性解消で用いられてきたデータセ ットは、周辺単語が豊富なため辞書などの外部知識 を用いた同形異義語の語義の特定が容易であること が多い。一方で、SNS で投稿される短文では、特定のブランド名であるか、判断がつかないことがあ る。このようなブランド名の語義曖昧性解消におい て、教師あり手法を適用する際の学習データの作成 にかかる人的コストは軽視できない。本項では特定 ブランドの外部知識と、その分散表現によって素性 を構成し、小規模学習データにおいても高い精度で 語義曖昧性解消を可能にする手法を紹介する。ブラ ンド名を含む Twitter 投稿文を取得、データセット を整備し、提案手法の有効性を検証した。

## 1 はじめに

同形異義語とは、同じ表記で異なる意味を持つ語 であり、このような多義性を持つ語の語義を特定す るタスクを語義曖昧性解消と呼ぶ。SNS を用いた マーケティングでは、投稿文を分析する際にブラン ド名をキーワードに検索するが、対象のブランド名以外の同形異義語が含まれてしまう。例文(1)、(2) はマックで検索した場合抽出できる文である。エス ティーローダー社メイクアップブランド「 $\mathrm{M} \cdot \mathrm{A} \cdot \mathrm{C}\rfloor$ を対象とした場合、(1)はコスメという語が含まれ るため対象であるが、(2)はポテトという語からマ クドナルドの略称と推察できるため対象外と判断で きる。単純な検索では、対象外の投稿文も抽出して しまうため、語義曖昧性解消が必要となる。

(1) 対象. マックのコスメ欲しい

（2）対象外．マックのポテト食べたい

語義曖昧性解消に関する先行研究は、語義の推定 に周辺単語を用いる手法 $[1,2]$ 、分散表現を用いる 手法 $[2,3]$ 、知識ベースに基づく手法 $[2,4]$ が知られ ている。先行研究で用いられているデータセットで
の語義の特定は、辞書を確認することで人が見て明確に推定できるものが多い。一方でブランド名のよ うに情報の改廃が頻繁に行われ、辞書への掲載が間 に合わない、知識べースの更新が追いつかない場合、辞書や WordNet などの知識ベースを用いるこ とは困難である。また、SNS 投稿で多く見られる 短文では、様々な情報が省略されるため周辺単語が 少なく、テキストだけでは対象のブランド名である か判断がつかないことがある。

教師あり手法で学習したモデルが高い精度で語義曖昧性解消が可能であることは先行研究で示されて いるが、学習データの作成にかかる人的コストは軽視できない。そのため、なるべく小規模の学習デー タで、対象の語義を特定するのが難しいブランド名 の語義曖昧性解消を行う手法が求められている。本項では、小規模学習データにおいて対象のブランド 名を判別する手法を提案し、SNS 投稿文に適用し た結果について述べる。

## 2 関連研究

語義曖昧性解消では、教師あり手法においてさま ざまな素性が提案されている。Raganato ら(2017) は、乱立した語義曖昧性解消において、統一の評価 フレームを作成し、既存の教師あり手法と知識ベー スの手法の比較実験を実施した結果、教師あり学習 の中でも分散表現を用いた手法が優れていることを 示した[2]。教師あり手法で、対象単語の周辺単語 に加え単語の分散表現を用いて精度を上げた研究と して、菅原ら(2015)の word2vec の Skip-gram モデル を用いたもの[3]、曹(2019)の BERT Multi-head attention を用いたもの[5]が挙げられる。

菅原ら(2015)では、一般的に教師あり手法を用い た語義曖昧性解消では、モデルにサポートベクトル マシン $(\mathrm{SVM})$ が用いられることが多いことにも言及 している。本項では、素性が学習に与える影響を検証するため、より簡易なロジスティック回帰(LR)を

図 1 提案手法の概要

用いた。松田・津田(2019)は、企業名の語義曖昧性解消を目的として、データセットと外部知識に日経新聞の記事、有価証券報告書をそれぞれ用いて、tfidf 値が一定以上の名詞と単語分散表現を素性とし た教師あり手法の精度が高かったことを示した [6]。本研究では、松田・津田(2019)の教師あり手法 を比較手法として参照した。

## 3 手法

本項では、企業が名付けた商品名称、ブランド名称、サービス名称を総じてブランド名として定義す る。提案手法は Raganato ら(2017)にならい、分散表現を素性に組み込んで教師あり学習を行うアプロー チを採用した。また、辞書未登録単語の形態素解析 の結果が信頼できないことに対する対応策として、 ブランドに関連すると考えられる単語と短文を外部知識として、それらの分散表現ベクトルを計算し、素性として用いた。

## 3.1 提案手法

図 1 に提案手法の概要を示す。本手法において用 いる素性は 3 種類で構成される。1) ブランドベク トル : ブランド名そのものに関する単語の分散表現、2) キーワードベクトル: ブランドや当該カテ ゴリにおける関連すると考えられた単語の分散表現、3) トピックベクトル：分類に関連すると考え られた記事のタイトルの分散表現、である。 まず、分類対象の投稿文に対し、形態素解析を行
い、名詞のみを抽出する。そして、抽出した名詞の 平均ベクトル、三つの素性から生成されたベクトル と投稿文から生成したベクトルのコサイン類似度を 最終的な素性とする。

SNS 投稿では情報が省略されるため、例えばメ イクアップブランドの上位概念である化粧品カテゴ リに関する直接的な情報は投稿文中に含まれないこ とが多い。そこで、ブランドが含まれる上位概念の 単語をいくつか定義し、それらと共起する単語を用 いて上位概念の特徵ベクトルを構成することとす る。この特徴ベクトルを用いることで、上位概念に 関連するキーワードを網羅的に指定することなく、投稿文と上位概念の類似度が計算できる。同様に、 ブランドコンセプト、ブランド名からイメージされ る情報、広告のキャッチコピーから構成されるトピ ックの特徴ベクトルとの類似度を含めることで、よ り効果的に曖昧性解消ができると考えられる。

分散表現には日本語学習済み fastText $^{1}$ [ $[7]$ を用い た。形態素解析には MeCab[8]を利用し、辞書には mecab-ipadic-NEologd[9]を用いた。

## 3.2 比較手法

本項では、1) 名詞のみの形態素(以下、形態素)、 2) 日本語学習済み $\mathrm{BERT}^{2}$ )を用いたブランド名の Embedding(以下、BERT)、3) 名詞の tf-idf 值と外部情報として有価証券報告書を用いた fastText の分散表現の組み合わせ(以下、有報)、の三つの素性を比較手法とした。
1) https://fasttext.cc/docs/en/crawl-vectors.html
2) https://github.com/cl-tohoku/bert-japanese
表 1 素性として用いたキーワード・記事の一部

 &  \\

## 4 実験

## 4.1 データセット

検証では三つのブランド名を対象とした：1) エ スティローダー社メイクアップブランド

$\lceil\mathrm{M} \cdot \mathrm{A} \cdot \mathrm{C}\rfloor 、$ 2) カネボウ化粧品メイクアップブラ ンド「KATE」、3) 日本コカ・コーラ社コーヒーブ ランドの「ジョージア」である。それぞれ対象外の 語義として 1) マクドナルドの略称やアップル社の コンピュータブランド、2) 人名や服飾ブランド、

3) 国名や州名、が挙げられる。

ブランド名を含む、2020 年 4 月 2022 年 3 月の

Twitter 投稿文（引用・返信・リツイート）を 1 ブ ランドにつき 2 万件、合計 6 万件抽出し、投稿ごと に、それが対象のブランド名を含むかアノテーショ ンを実施した。まず、投稿文から容易に類推できる 範囲で対象のブランド名であるかどうかの判断を行 い、投稿文のみでは判断が難しいと考えられた場合 は、当該ユーザの前後の投稿やプロフィール欄とい った、SNS 特有の周辺情報を見て判断を行った。周辺情報確認後も判断がつかなかつた場合は対象外 とした。それぞれの対象ブランドについて、提案手法で使用するキーワード・記事を公式ホームペー ジ、公式 SNS、Wikipedia から取得した。表 1 に例 として検討した素性のキーワード・トピックの一例 を示す。

## 4.2 実験設定

小規模学習データでの提案手法の効果を測るた め、提案手法 4 パターンと比較手法 3 種の合計 7 種 すべての素性を用いて、学習データ 100 件をランダ 厶抽出し、対象・対象外の 2 值判別を実施した。ま た、学習データ件数増加による精度への影響を確認 するため、学習データ数を 100 件から 3,000 件まで 100 件刻みで増加させていった際の精度の比較を実表 2 素性とモデル精度(学習データ 100 件) $\mathrm{Br}$. ブランドベクトル、Ke.:キーワードベクトル、To.: ト

ピックベクトル、 $\mathrm{M}: \mathrm{M} \cdot \mathrm{A} \cdot \mathrm{C} 、 \mathrm{~K}: \mathrm{KATE} 、 \mathrm{G}:$ ジョージア

施した。2 值判別を実施するにあたり、対象が含ま れる割合が低いもの $(\mathrm{M} \cdot \mathrm{A} \cdot \mathrm{C}: 6 \%)$ 、中程度のもの (KATE:26\%)、高いもの(ジョージア:54\%)をデータ セットとして用意した。語義曖昧性解消で用いられ るデータセットである SemEval-2010 Japanese WSD Taskデータセット[10]では、学習データとして単語 あたり例文が 50 文用意されるのに対し、 100 件あ たりの出現数では「 $\mathrm{M} \cdot \mathrm{A} \cdot \mathrm{C} 」(6$ 件 $)$ と「KATE」(26 件)は少ない。また、用意したデータセットは不均衡のものが含まれるため、評価にはF1-score を用い た。

## 4.3 実験結果

## 4.3.1 提案手法の有効性検証

表 2 に学習データ 100 件での各モデルの F1-score を示す。まず提案手法と比較手法の比較より、ブラ ンドベクトルのみの素性でどの比較手法よりも高い 精度を得ることができた。また、提案手法の素性の 比較より、ブランドベクトルにキーワードベクト ル、トピックベクトルのどちらを追加しても精度が 向上しているため、ブランドカテゴリとトピックの 情報が有用な特徴であるといえる。二つのベクトル を追加した提案手法は、不均衡データである

$\lceil\mathrm{M} \cdot \mathrm{A} \cdot \mathrm{C}\rfloor 、 「 \mathrm{KATE} 」 に$ 関しては精度が向上した が、「ジョージア」に関してはトピックベクトルの みの情報を用いた方が、精度が高いことがわかつ た。小規模学習データでも偏りの少ない場合は、ブ ランドベクトルよりもトピックベクトルの方が有効 な情報であるといえる。

図 $2\lceil\mathrm{M} \cdot \mathrm{A} \cdot \mathrm{C}\rfloor$ 学習データ件数と精度の推移

## 4.3.2 学習データ件数増加による精度検証

$「 \mathrm{M} \cdot \mathrm{A} \cdot \mathrm{C} 」$ の学習データ件数増加による精度を図 2 に示す。他二つのブランドは付録に示した。図 2 より、比較手法は学習データ 500 件まで精度が急激 に上がっているが、提案手法は学習データ 100 件か ら精度の上昇は緩やかである。また、この結果は不均衡データである「 $\mathrm{M} \cdot \mathrm{A} \cdot \mathrm{C} 」$ と「KATE」のときに 顕著であったことからも、提案手法は不均衡かつ小規模学習データに対して有効な素性であるといえ る。

提案手法と形態素を比較すると、学習データ 3,000 件まではどのブランドでも提案手法の精度が 高かった。小規模学習データでは出現する単語の豊富さの影響をより強く受けていると考えられる。有報を素性とした場合、形態素に比べて精度向上が見込めるが、提案手法の方が多くのケースで精度が高 かった。ブランド名の語義特定においては、有価証券報告書の情報よりも、ブランドカテゴリやイメー ジワードから類似度を計算した素性のほうが有効で あると考えられる。素性に BERT を用いた結果 は、不均衡かつ小規模学習データの場合、どの手法 よりも大きく劣ったが、均衡なデータで学習データ 件数を増加させると、提案手法よりも精度が高くな った(付録図 3 : 「ジョージア」)。

## 5 考察

4.3.1 項の実験結果より、学習データが 100 件程度の小規模データでは、提案手法の有効性が確認で きた。小規模学習データでも判別が上手くいく要因 として、SNS 投稿文は、事業内容よりもブランド
カテゴリやコンセプト・イメージに関連する投稿が 多いためと考えられる。提案手法は、特に対象出現率が低い「 $\mathrm{M} \cdot \mathrm{A} \cdot \mathrm{C} 」$ データに対して有効であったた め、ブランド・トピックのブランド名と類似したカ テゴリやイメージは、学習データに情報が足りない 場合に補える素性であるといえる。

ブランド名の語義曖昧性について本項で検証した 範囲では、ブランドコンセプト・イメージ・想定シ ーンといった素性の有効性も確認できた。本項で は、外部情報としてブランドに関連するキーワー ド・トピックを含めることで、精度の向上が見込め ることは検証できたが、キーワード・トピックは主観で選定しており、客観的に統一した条件や検証を 行っていない。

## 6 まとめ

本項では、語義曖昧性の解消の手法を用いて、 SNS 投稿文のようにラベルが明確でない小規模学習データに対して対象のブランド名を判別するモデ ルを提案した。提案手法は、特に学習データが少な い場合に、既存手法より高い精度を出すことが可能 である。特にブランド名の語義を推定する上で有効 であったのは、外部情報として追加したブランドカ テゴリ、コンセプトやイメージを反映するトピック であることを示した。外部情報として指定するキー ワードの客観的な条件を指定し、既存研究で用いら れているモデルを用いた精度検証を今後の課題とす る。

## 謝辞

本研究は株式会社インテージホールディングス グループ R\&D センターの助成を受けている。デー タセット作成にご協力くださった株式会社インテー ジの高崎綾子さん、岩元くるみさんに深く感謝申し 上げます。

## 参考文献

[1] David Yarowsky. Unsupervised Word Sense Disambiguation Rivaling Supervised Methods. In ACL, pp. 189-196, 1995.

[2] Alessandro Raganato, Jose Camacho-Collados, and Roberto Navigli. Word Sense Disambiguation: A

Unified Evaluation Framework and Empirical Comparison. In EACL, Vol1, pp. 99-110, 2017.

[3] 菅原拓夢, 笹野遼平, 高村大也, 奥村学, 単語の 分散表現を用いた語義曖昧性解消, 言語処理学会第

21 回年次大会発表論文集, pp648-651, 2015.

[4] 松田耕史, 高村大也, 奥村学. 知識ベースに基づ いた語義曖昧性解消における教師データの活用. 第 26 回人工知能学会全国大会論文集，2012

[5]曹鋭, 田中裕隆, 白静, 馬ブン, 新納浩幸. BERT を利用した教師あり学習による語義曖昧性解消. 言語資源活用ワークショップ発表論文集，vol. 4, pp.273-279, 2019.

[6] 松田裕之, 津田和彦. 有価証券報告書を活用し た企業名の語義曖昧性解消の一考察. 第 33 回人工知能学会全国大会論文集, 2019.

[7] Armand Joulin, Edouard Grave, Piotr Bojanowski, and Tomas Mikolov. Bag of tricks for efficient text classification. arXiv preprint arXiv:1607.01759, 2016.

[8] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis, In EMNLP, pp.230-237, 2004. [9] 佐藤敏紀, 橋本泰一, 奥村学. 単語分かち書きシ ステム NEologd の運用--文書分類を例にして. 情報処理学会自然言語処理研究会研究報告. Vol. NL-229, no. 15, pp.1-14, 2016.

[10] Manabu Okumura, Kiyoaki Shirai., Kanako Komiya., and Hikaru Yokono. SemEval-2010 task: Japanese WSD. In: SemEval, pp. 69-74, 2010

## A 付録
4. 3.2 項の「KATE」、「ジョージア」における学習データ件数が増加した際の精度の推移を図 3、4 に示 す。

学習データ増加による精度の推移

図 3 「KATE」の学習データ件数と精度の推移

学習データ増加による精度の推移

図 4 「ジョージア」の学習データ件数と精度の推移


# 学術ドメインに特化した日本語事前訓練モデルの構築

山内 洋輝 1 梶原 智之 ${ }^{1}$ 桂井麻里衣 ${ }^{2}$ 大向一輝 3,4 二宮崇 ${ }^{1}$
1 愛媛大学 2 同志社大学 3 東京大学 4 国立情報学研究所
yamauchi@ai.cs.ehime-u.ac.jp \{kajiwara,ninomiya\}@cs.ehime-u.ac.jp
katsurai@mm.doshisha.ac.jp i2k@l.u-tokyo.ac.jp

## 概要

本研究では、日本語の学術文書を用いて RoBERTa および BARTを事前訓練し、公開する。近年の自然言語処理では、事前訓練モデルの転移学習によっ て、様々なタスクの性能が向上している。特に、専門用語の扱いが重要となる医療や学術などのドメイ ンにおいては、目的ドメインに特化した事前訓練の 有効性が報告されている。我々は、学術データベー ス CiNii Articles の論文抄録を用いて、日本語の学術 ドメインにおける事前訓練モデルを構築する。科研費の研究課題名を対象とする評価実験の結果、汎用 モデルに対する提案モデルの有効性を確認した。

## 1 はじめに

様々な分野と言語において、研究成果が学術論文 として日々Web 上に蓄積されている。例えば、自然言語処理の分野の英語論文は ACL Anthology ${ }^{1)}$ 上に 現在およそ 8.1 万件が公開されている。これらの大量の学術論文から人手で漏れなく知識を得るには大 きなコストがかかるため、自然言語処理を用いた情報抽出 $[1]$ および知識獲得 $[2,3]$ が期待されている。現在主流の深層学習に基づく自然言語処理では、高品質なモデルを得るために、大規模なラベル付き コーパスを用いた教師あり学習が有効である。しか し、学術分野などの専門用語の扱いが重要なドメイ ンにおいては、専門知識を持つアノテータが必要で あり、アノテーションのコストが非常に高い。その ため、様々なドメイン・タスク・言語において、大規模なラベル付きコーパスが得られない少資源問題 が大きな課題となっている。

近年の自然言語処理では、少資源問題の対策とし て、BERT [4] や BART [5] のような大規模な生コー パスを用いた事前訓練モデルの転移学習が広く利

1) https://aclanthology.org/用されている。特に、医療 [6] ・学術 [7, 8] ・ SNS [9] などのドメインでは、目的ドメインに特化した事前訓練の有効性が報告されている。日本語では、 Wikipedia ${ }^{2}$ や CC100 [10] を用いて事前訓練された汎用モデル334)5) とともに、医療 [11] や $\mathrm{SNS}^{6}$ の のドメイ ンに特化した事前訓練モデルが公開されている。し かし、SciBERT [7]のような、学術ドメインに特化し た日本語の事前訓練モデルは公開されていない。

本研究では、日本語における学術ドメインの自然言語処理の性能改善のために、学術データベース $\mathrm{CiNii} \mathrm{Articles}^{7)}$ の論文抄録を用いて事前訓練モデル を構築した。我々は、CiNii Articles に所蔵されてい る日本語論文のうち約 127 万件から抽出した約 628 万文の論文抄録テキストを用いて、RoBERTa [12] および BART [5] に相当する事前訓練を行った。前者は、テキスト分類などの利用を想定した事前訓練済みエンコーダモデルであり、以降は Academic $\left.\mathrm{RoBERTa}^{8}\right)$ と呼ぶ。後者は、テキスト生成などの利用を想定した事前訓練済みエンコーダ・デコーダモ デルであり、以降は Academic BART9) と呼ぶ。

学術ドメインにおける日本語の文分類および文対分類の評価実験の結果、汎用モデルである東北大 $\mathrm{BERT}^{3)}$ および早大 $\mathrm{RoBERTa}^{4)}$ と比較して、学術ドメ インに特化した Academic RoBERTa の有効性を確認 できた。また、学術ドメインにおける日本語のへッ ドライン生成の評価実験の結果、汎用モデルである 京大 $\mathrm{BART}^{5}$ )と比較して、学術ドメインに特化した Academic BART の有効性を確認できた。

2) https://ja.wikipedia.org/

3) https://huggingface.co/cl-tohoku/bert-base-japanese

4) https://huggingface.co/nlp-waseda/ roberta-base-japanese

5） https://nlp.ist.i.kyoto-u.ac.jp/?BART 日本語 Pretrained モデル

6) https://github.com/hottolink/hottoSNS-bert

7) https://ci.nii.ac.jp/

8) https://github.com/hirokiyamauch/AcademicRoBERTa

9) https://github.com/hirokiyamauch/AcademicBART

## 2 日本語学術文書を用いた事前訓練

本研究では、日本語における学術ドメインの自然言語処理の性能改善のために、学術ドメインに特化 した日本語事前訓練モデルを構築し、公開する。ま ず 2.1 節において、学術論文情報データベース $\mathrm{CiNii}$ $\mathrm{Articles}^{7)}$ から論文抄録を抽出し、事前訓練用の日本語コーパスを作成する。そして 2.2 節において、本 コーパス上で単語穴埋め $[5,12]$ の事前訓練を行う。

## 2.1 コーパスの作成

国立情報学研究所が運用する学術論文情報データ ベース CiNii Articlesを用いて、学術ドメインに特化 した日本語コーパスを作成した。2022 年 3 月時点 で CiNii Articles に収録されていた学術論文のうち、平仮名または片仮名を含む約 127 万件の論文抄録を 抽出し、以下の 5 段階の前処理を施して約 628 万文 （約 1.8 億語）のコーパスを作成した。

1. 定型表現の削除

2. 文分割

3. 日本語文の抽出

4. 重複文の削除

5. 文字数制限

それぞれの前処理ステップにおけるコーパスサイズ の変化を表 1 に示す。

定型表現の削除 対象とした論文抄録には、「論文タイプ || 研究ノート」や「特集 乱流の数値シミュ レーション（NST）その 3」など、自動的な情報抽出によるノイズが含まれる。これらの定型表現を コーパスから除外するために、同一文書が一定回数以上出現する際に、それらの文書を削除する。な お、論文抄録のテキストとしては適切なものの、ID などの登録ミスの影響で同一文書が $5 \sim 6$ 回出現す るという例が見られたため、定型表現として判定す る際の閾値を 7 回以上と設定した。

文分割上記の前処理によって得られた約 115 万文書に対して、文への分割を行う。ルールベースの 文分割 ${ }^{10)}$ によって、約 730 万文が得られた。

日本語文の抽出 日本語以外の言語で書かれた文 を削除し、日本語文のみを得る。ただし、専門用語 は他言語で表現される場合が少なくないため、文字単位で数えて間値以上の割合が日本語（平仮名また は片仮名または漢字) である文を抽出する。本研究

10) https://github.com/wwwcojp/ja_sentence_segmenter表 1 前処理によるコーパスサイズの変化

では、この閾値を 0.5 に設定することで約 62 万文を 削除し、約 668 万文の日本語文を得た。

重複文の削除高頻度な表現によるバイアスを防 ぐために、「下腹部痛を主訴に来院」などの特定の 分野において頻出する文や「その結果を以下に示 す」などの学術論文における定型文を削除する。文単位での重複がある場合に、その文を 1 回だけコー パスに含めることで約 35 万文を削除し、約 633 万文の重複のない日本語文を得た。

文字数制限 定型表現の検出漏れや文分割のエ ラーを取り除くために、極端な短文および長文を削除する。10 文字未満の文には「(編集委員会作成)」 などの実際の論文抄録には含まれないと考えられる 表現が多く見られた。そこで本研究では、 10 文字以上 200 文字以下の文を抽出することで、最終的に約 628 万文のコーパスを作成した。

## 2.2 事前訓練

Academic RoBERTa 2.1 節のコーパスを用いて、 マスク言語モデリング [12] の事前訓練を行う。前処理として、SentencePiece ${ }^{11)}$ [13] によるサブワー ド分割を実施し、語彙サイズは 32,000 とした。 fairseq ${ }^{12)}[14]$ の実装を用いて、roberta-base と同じ構造（隠れ層が 12 層、次元数が 768 次元、自己注意 のヘッド数が 12 個）の Transformer [15]を訓練した。最大入力トークン数は 512、バッチサイズは 64 文、 Dropout 率は 0.1 とし、最適化には Adam [16] を用い た。学習率スケジューリングには polynomial decay を用い、最大の学習率は 0.0001 、Warmup ステップ は 1 万とした。先行研究4) との公平な比較のため に、訓練ステップ数は 70 万ステップとした。

Academic BART 2.1 節のコーパスを用いて、雑音除去自己符号化 [5] の事前訓練を行う。 fairseq ${ }^{12)}$ [14] の実装を用いて、bart-base と同じ構造

11) https://github.com/google/sentencepiece

12) https://github.com/facebookresearch/fairseq
（encoder-decoder 層が 6 層、次元数が 768 次元、自己注意のヘッド数が 12 個）の Transformer [15] を訓練 した。最大入力トークン数は 512、バッチサイズは 16 文 (8 回の勾配蓄積)、Dropout 率は 0.1 とし、最適化には Adam [16] を用いた。学習率スケジューリ ングには polynomial decay を用い、最大の学習率は 0.0005、Warmup ステップは 1 万とした。先行研究5) との公平な比較のために、訓練ステップ数は 50 万 ステップとした。なお、事前訓練には 4 枚の GPU （RTX A6000 48GB）を使用した。

## 3 評価実験

学術ドメインに特化した我々の事前訓練モデルの 有効性を評価するために、科学研究費補助金 (科研費）の研究課題名を対象とする評価実験を通して、既存の汎用的な日本語事前訓練モデルと比較する。

## 3.1 比較手法

日本語の汎用的な事前訓練済みエンコーダモデ ルである東北大 $\mathrm{BERT}^{3}$ ) および早大 $\mathrm{RoBERTa}^{4}$ ) との 比較によって、学術ドメインに特化した Academic RoBERTa の有効性を評価する。これらの比較手法は、どちらも Academic RoBERTa と同じ構造の Transformer [15] であり、同じサイズの語彙を持って いる。ただし、事前訓練に用いるコーパスやその前処理、訓練時のハイパーパラメータが異なる。

東北大 BERT は、日本語 Wikipedia の約 1,700 万文で事前訓練された BERT [4] である。前処理とし て、MeCab（IPADIC）[17]による形態素解析および WordPiece [18] によるサブワード分割を行っている。最大入力トークン数は 512 、バッチサイズは 256 文 であり、100万ステップの訓練を実施している。

早大 RoBERTa は、日本語 Wikipedia および CC100 [10] の日本語約 40 億文で事前訓練された RoBERTa [12] である。前処理として、Juman++ [19] による形態素解析および SentencePiace [13] によるサ ブワード分割を行っている。最大入力トークン数は 128、バッチサイズは 256 文 ( $\times 8$ GPU $)$ であり、 70 万ステップの訓練を実施している。

Academic BART との比較には、日本語の汎用的 な事前訓練済みエンコーダ・デコーダモデルで ある京大 BART ${ }^{5}$ を用いる。京大 BART は、日本語 Wikipedia の約 1,800万文で事前訓練された BART [5] である。前処理として、Juman++ [19] による形態素解析および SentencePiace [13] によるサブワード分割表 2 評価用データセットの統計

を行っている。最大入力トークン数は 512 、バッチ サイズは 128 文（×4 GPU）であり、50万ステップ の訓練を実施している。

## 3.2 評価タスク

学術ドメインにおける評価実験として、科研費の 研究課題名に関するテキスト分類およびへッドライ ン生成を行う。2013 年から 2017 年までの科研費の 採択課題13)を 7.3 万件収集し、データセットを構築 した。テキスト分類として、研究課題名から研究分野を推定するカテゴリ分類と、研究課題名の対から 研究代表者が同一か否かを推定する著者同定の 2 つ の評価タスクを設計した。両タスクとも、分類正解率で自動評価する。また、概要から研究課題名を生成するへッドライン生成の評価タスクも設計した。本タスクは ROUGE [20] で自動評価する。

著者同定 本タスクは、 2 つの研究課題について、 それらの研究代表者が同一か否かを 2 值分類する文対分類タスクである。本実験では、研究代表者が同一である正例を 5 万組と同一ではない負例を 7 万組 の合計 12 万組を収集し、表 2 のように無作為に分割して使用した。モデルには、[SEP] の特殊トーク ンを挟んで 2 文を同時に入力した。

カテゴリ分類 本タスクは、科研費の研究課題名 から研究分野を推定する文分類タスクである。科研費では、4 段階の階層構造を持つ研究分野の分類を 採用しており、大区分から順に、 $4 \cdot 14 \cdot 77 \cdot 318$ 種類のカテゴリが含まれる。本実験では、区分ごとに 4 種類のカテゴリ分類を実施した。

ヘッドライン生成 本タスクは、科研費における 研究課題の概要から研究課題名を生成する要約タス クである。平均 270 文字で構成される概要を入力と して、平均 31 文字の研究課題名を推定する。

## 3.3 再訓練

テキスト分類 3.2 節のコーパスを用いて、事前訓練済みエンコーダモデルを再訓練した。前処理と して、それぞれ事前訓練と同じ設定でサブワード分

表 3 テキスト分類の評価実験

表 4 ヘッドライン生成の評価実験

割を行った。バッチサイズは 256 文、Dropout 率は 0.1 とし、最適化には Adam [16] を用い、最大の学習率を 5e-5 とした。検証用データの正解率を用いて 10 エポックの early stopping にて再訓練を終了した。

ヘッドライン生成 3.2 節のコーパスを用いて、事前訓練済みエンコーダ・デコーダモデルを再訓練 した。前処理として、モデルごとに事前訓練と同じ 設定でサブワード分割を行った。バッチサイズは 32 文、Dropout 率は 0.1 とし、最適化には Adam を 用い、最大の学習率を $3 \mathrm{e}-5$ とした。検証用データに おける ROUGE-L の評価值を用いて、5エポックの early stopping にて再訓練を終了した。

## 3.4 実験結果

テキスト分類の実験結果を表 3 に示す。RoBERTa は一貫して BERT よりも高い性能を示し、学術ドメ インに特化した Academic RoBERTa は全てのタスク において最高性能を達成した。特に、詳細な専門知識が要求される小区分の分類において、提案手法で は大区分よりも大きな性能の改善が見られた。

ヘッドライン生成の実験結果を表 4 に示す。本タ スクでも、学術ドメインに特化した Academic BART が全ての評価指標において最高性能を示した。

早大 RoBERTa と Academic RoBERTa の間や、京大 BART (Base) と Academic BART の間には、モデル構造や学習ステップ数の相違はない。また、東北大 BERT は約 1,700 万文、早大 RoBERTa は約 40 億文、京大 BART は約 1,800 万文のコーパスを事前訓練に 使用しており、我々の約 628 万文はコーパスサイ ズの点でも優位性を持たない。そのため、Academic RoBERTa および Academic BART の性能改善は、学術ドメインへの特化にのみ起因すると考えられる。表 5 提案モデルの語彙中の特徴的なトークンの例

## 3.5 考察

先行研究 [7] と同様に、語彙について分析する。提案モデルの語彙のうち、49.4\%は既存の事前訓練 モデルの語彙 ${ }^{14)}$ に含まれないことがわかった。提案 モデルにのみ含まれる特徴的なトークンの例を表 5 に示す。「であることが確認された」のような分野 を問わず学術論文に頻出するフレーズや、「ニュー ラルネットワーク」のような特定の分野において頻出する専門用語が、提案モデルの語彙のみに見られ た。このようなドメインに特化したトークンを多く 語彙に含むことで、学術ドメインにおける高性能な 処理を実現できたと考えられる。

## 4 おわりに

本研究では、CiNii Articles の論文抄録から作成 した日本語コーパスを用いて、学術ドメインに特化した事前訓練モデル Academic RoBERTa ${ }^{8}$ および Academic BART ${ }^{9}$ を構築し、公開した。科研費の研究課題名を対象とする著者同定・カテゴリ分類・ ヘッドライン生成の評価実験の結果、学術ドメイン に特化したモデルが既存の汎用モデルを上回る性能 を達成した。分析の結果、学術ドメインに特有の表現を多く語彙に含むことや、詳細な専門知識が要求 される小区分ほどテキスト分類の正解率が大きく向上していることから、ドメインに特化した事前訓練 の有効性を確認できた。

## 謝辞

本研究は JSPS 科研費（基盤研究 B，課題番号： JP20H04484）および 2020 年度国立情報学研究所公募型共同研究 (20S0405) の助成を受けたもので す。本稿の内容の一部は Third Workshop on Scholarly Document Processing [21] において報告したものです。

14）以下の和集合：東北大 BERT の語彙、早大 RoBERTa の語彙、日本語 Wikipedia に対して語彙サイズ 32,000 で SentencePiece のサブワード分割を訓練した際の語彙

## 参考文献

[1] Arman Cohan and Nazli Goharian. Scientific Article Summarization Using Citation-Context and Article's Discourse Structure. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 390-400, 2015.

[2] Mayank Singh, Pradeep Dogga, Sohan Patro, Dhiraj Barnwal, Ritam Dutt, Rajarshi Haldar, Pawan Goyal, and Animesh Mukherjee. CL Scholar: The ACL Anthology Knowledge Graph Miner. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Demonstrations, pp. 16-20, 2018.

[3] Saif M. Mohammad. NLP Scholar: A Dataset for Examining the State of NLP Research. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 868-877, 2020.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 41714186, 2019.

[5] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020.

[6] Emily Alsentzer, John Murphy, William Boag, Wei-Hung Weng, Di Jindi, Tristan Naumann, and Matthew McDermott. Publicly Available Clinical BERT Embeddings. In Proceedings of the 2nd Clinical Natural Language Processing Workshop, pp. 72-78, 2019.

[7] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A Pretrained Language Model for Scientific Text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3615-3620, 2019.

[8] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. BioBERT: A Pre-trained Biomedical Language Representation Model for Biomedical Text Mining. Bioinformatics, Vol. 36, No. 4, pp. 1234-1240, 2020.

[9] Dat Quoc Nguyen, Thanh Vu, and Anh Tuan Nguyen. BERTweet: A Pre-trained Language Model for English Tweets. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 9-14, 2020.

[10] Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, and Edouard Grave. CCNet: Extracting High Quality Monolingual Datasets from Web Crawl Data. In Proceedings of the 12th Language Resources and
Evaluation Conference, pp. 4003-4012, 2020.

[11] Yoshimasa Kawazoe, Daisaku Shibata, Emiko Shinohara, Eiji Aramaki, and Kazuhiko Ohe. A Clinical Specific BERT Developed Using a Huge Japanese Clinical Text Corpus. PLOS ONE, Vol. 16, No. 11, pp. 1-11, 2021.

[12] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692, 2019.

[13] Taku Kudo and John Richardson. SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[14] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, 2019.

[15] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems, pp. 5998-6008, 2017.

[16] Diederik P. Kingma and Jimmy Lei Ba. Adam: A Method for Stochastic Optimization. In Proceedings of the 3rd International Conference for Learning Representations, 2015.

[17] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, 2004.

[18] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation. arXiv:1609.08144, 2016.

[19] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Design and Structure of The Juman++ Morphological Analyzer Toolkit. Journal of Natural Language Processing, Vol. 27, No. 1, pp. 89-132, 2020.

[20] Chin-Yew Lin. ROUGE: A Package for Automatic Evaluation of Summaries. In Text Summarization Branches Out, pp. 74-81, 2004.

[21] Hiroki Yamauchi, Tomoyuki Kajiwara, Marie Katsurai, Ikki Ohmukai, and Takashi Ninomiya. A Japanese Masked Language Model for Academic Domain. In Proceedings of the Third Workshop on Scholarly Document Processing, pp. 152-157, 2022.


# 白色化が単語埋め込みに及ぼす効果の検証

佐々木翔大 ${ }^{1,2}$ Benjamin Heinzerling 1,2 鈴木潤 ${ }^{2,1}$ 乾健太郎 ${ }^{2,1}$
1 理化学研究所 2 東北大学
\{shota.sasaki.yv, benjamin.heinzerling\}@riken.jp
\{jun.suzuki, kentaro.inui\}@tohoku.ac.jp

## 概要

深層ニューラルネットワークに基づく自然言語処理では必須の要素となる静的あるいは文脈化単語埋 め込みには，空間的な偏り（異方性）が存在し，そ の能力を十分にいかせていないことが実証されてい る.この異方性を緩和する方法として，白色化があ る. 白色化は標準的な線形変換であるが，実験的に 性能が向上することが報告されている。しかし，性能向上の理由は自明ではなく，理論的あるいは実験的な分析が望まれる. 本研究では，白色化が単語埋 め込みに及ぼす意味的な影響を明らかにするための 実験を行う．実験結果から，白色化は，静的単語埋 め込みに対しては単語頻度バイアス除去効果を示 し, 文脈化単語埋め込みに対しては単語頻度バイア ス除去効果以外の効果を持つことが示唆された. ${ }^{1)}$

## 1 はじめに

静的単語埋め込み（Static Word Embeddings, SWE) $[1,2]$ ，および文脈化単語埋め込み (Contextualized Word Embeddings, CWE）[3,4,5] は，現代の自然言語処理システムにおいて必須の基盤技術である. こ のような埋め込みを作成する目的は，単語，フレー ズ，文の “意味”を捉えた表現を計算することであ る.しかしながら，ジェンダーバイアス [6]，ソー シャルバイアス [7] などの学習データに固有のバイ アスも反映してしまうことが報告されている. SWE については，高頻度単語が特定の方向に沿って集中 する単語頻度バイアスが存在することが先行研究に より示されている [8]. このような単語ベクトルの 非一様な角度分布（異方性）は，埋め込み空間の非効率的な利用につながる。また，単語頻度バイアス の介在する埋め込み空間においては，頻度の高い単語は，意味が似ていないにもかかわらず，類似のべ

クトルで表現されることになる.このことから一般 に，単語埋め込み空間の異方性は改善すべきである と考えられている.

単語埋め込み空間の異方性の影響を軽減するため に，いくつかの等方化手法が提案されている. 本研究では，最もシンプルな等方化手法として注目され ている白色化に焦点を当てる. 白色化は空間的に相関のある（異方的な）ベクトル集合を，相関のない （等方的な）ベクトル集合に変換する線形変換であ る. 白色化は標準的なデータ変換技術であるが，特 に CWE などの単語埋め込みへ適用する研究は最近 になって登場した $[9,10]$. これらの先行研究では, CWE を対象とした等法化手法の中で白色化が他の 手法よりも優れていることを報告している。しかし ながら，白色化の欠点は，様々な種類のバイアスや 埋め込みの意味的特性への影響が十分に調査されて いない点である．本論文では，白色化が単語埋め込 みに及ぼす意味的な影響に関する初期分析を行う。

事前分析では，白色化の効果は単語頻度バイアス 除去の効果を含んでいることが示された. そこで，白色化の効果が単語頻度バイアス除去のみであるか どうかを本論文の Research Question とする．白色化 の効果をより明確化するために，単語頻度バイアス 除去のみを行う手法を利用する．具体的には，埋め 込みにおける単語頻度バイアスを除去することのみ に着目した再構築に基づく単語頻度バイアス除去手法 (RFD) を提案し, 白色化と RFD の挙動を比較する. その結果，SWE では単語頻度バイアスが，CWE で は単語頻度バイアスに加え，それ以外のバイアスが 除去されることが示唆された。

## 2 背景

## 2.1 SWE と CWE における異方性

単語埋め込みにおける異方性に関してはこれまで 多くの議論がなされてきた. Mu ら [8] は，SWE の

図 1: GloVe の単語埋め込みに白色化を適用する前（左図）と後（右図）の第 1 ，第 2 主成分 $\left(\alpha_{1} . \alpha_{2}\right)$ の可視化．各点が単語に対応し，点の色が単語の頻度を表す．黒は高頻度，黄色は低頻度であることを表す。

第一主成分と第二主成分に単語の頻度情報が埋め 込まれており，SWEの異方性の原因であると報告 した. Li ら [11] は, BERT [4] の単語埋め込み層の ベクトルに単語頻度のバイアスがあることを実証的に示した. また, Liang ら [12] は, 単語頻度の対数と単語ベクトルのノルム, 平均コサイン類似度の 間に相関があることを報告した。頻度のバイアスに 加え，CWEにおける外れ値の次元も最近注目され ている. Luo ら [13], Kovaleva ら [14] は, BERT と RoBERTa [15] の埋め込みにおいて，他の次元よりも 有意に高い値を持つ次元を特定し，埋め込みにおけ る異方性の原因であることを示唆した。

## 2.2 白色化による等方化

白色化とは，ベクトル集合を，共分散行列が恒等行列であるべクトル集合に変換する線形変換であ る. 共分散行列が恒等行列であるということは，変換によって各次元が無相関化され, 分散が 1 になる ことを意味する．定義から，白色化された単語埋め 込みは，より等方的になるといえる。

一般に機械学習において, 白色化は学習データの バイアスを軽減する目的で，特徴量ベクトルの集合 に適用されている $[16,17]$. バイアスを軽減するこ とで，深層学習モデルが高品質な表現を学習し，モ デルの収束が早まることが報告されている. 白色化 は任意のベクトル集合に適用できる汎用的なアルゴ リズムであるため，CWE で得られた文べクトルに も適用することが可能である. Huang ら [9] は CWE の異方性の問題に対処するために，CWE に白色化 を適用し，CWE の性能を向上したことを報告した。白色化は数学的には明確に定義された変換である
が，SWE や CWE に適用したときに，白色化によっ てどのような情報, どのように変換されるかを明ら かではない. 本研究では, 白色化が SWE と CWE に 及ぼす効果を明らかにすることを目的する。

## 3 事前分析

本節では，白色化の単語埋め込みに及ぼす効果 を探るための予備的な分析を行う. Mu ら [8] は， GloVe [2] とWord2Vec [1] の単語埋め込み行列を対象に主成分分析を行い，その第 1 , 第 2 主成分が単語の頻度と相関があることを観察し，単語頻度バイ アスの存在を示唆した. ここで $\mathrm{Mu}$ らと同様に単語埋め込み行列の主成分分析を, 白色化の適用前/後の 埋め込みを対象に行う. 図 1 にその結果を示す. 白色化適用前は，単語の頻度と主成分方向の成分の値 に相関がある，つまり単語埋め込みに単語の頻度バ イアスが存在することを示唆しており，これは $\mathrm{Mu}$ ら [8] の報告と一致する. しかしながら, 白色化適用後の埋め込みの主成分には，単語の頻度バイアス 観察できなかった.したがって，白色化には単語の 頻度バイアスを軽減する効果がある事がわかった。分析結果を受けて，本論文では白色化の効果をよ り明確化することを目的とする．具体的には，白色化が単語頻度バイアスの除去と等価であるのか，そ れ以外の効果を有するかを確認することが本研究の Research Question である．実験では，白色化と次の 4 節で導入する単語頻度バイアスの除去手法を同時 にモデルに適用する実験を行う，白色化と単語頻度 バイアス除去の両者を同時に適用した時，それぞれ の効果が独立していれば，それぞれの効果による性能向上が期待できるが，両者の効果が重複していれ

## ば，性能向上は限定的となることが予想される。

## 4 再構築に基づく単語頻度バイアス 除去手法

本節では，元の単語埋め込みの品質に影響を与え ず，単語頻度バイアスを除去することのみに焦点を 当てた手法を導入する. 敵対的学習を通してバイア ス除去を達成する基本方針は Gong ら [18] の手法と 同様である，単語埋め込みは，対象の単語が高頻度 クラスに属するか低頻度クラスに属するかを識別 しようとする識別器を欺くためにチューニングさ れる. Gong らが目的タスクに関する損失を定義し た代わりに，本手法では Glove や BERT などの事前学習された単語埋め込みの性質をできるだけ保持 することを目的とした再構築損失を導入する．以降，本手法を単語埋め込みの再構築に基づく単語頻度バイアス除去手法 (Reconstruction-based frequency debiasing, RFD) と呼ぶ.

はじめに SWE に対する学習手順を説明する．語彙中の単語集合を $\mathscr{W}, \boldsymbol{e}(w)$ を事前学習された単語 $w$ の単語埋め込み, $\boldsymbol{v}\left(w ; \theta^{\mathrm{emb}}\right)$ を学習対象の単語埋 め込みとする. ここで $\theta^{\mathrm{emb}} \in \mathbb{R}^{d \times V}$ は単語埋め込み の重み行列である.また， $d$ は単語埋め込みの次元数, $V(=|\mathscr{W}|)$ は語彙サイズである. SWE の再構築損失は以下のように定義される。

$
L_{R_{\text {swe }}}\left(\mathscr{W} ; \theta^{\mathrm{emb}}\right)=\sum_{w \in \mathscr{W}}\left.\|\boldsymbol{e}(w)-\boldsymbol{v}\left(w ; \theta^{\mathrm{emb}}\right)\right.\|_{2}^{2} .
$

次に, [18] らに従って識別器損失を定義する. はじ めに, 語彙 $\mathscr{W}$ を高頻度単語集合 $\mathscr{W}_{\text {pop }}$ と低頻度単語集合 $\mathscr{W}_{\text {rare }}$ に 2 分割する. $\mathscr{W}_{\text {pop }}$ は頻度の上位 $t \%$ の 単語で構成され, $\mathscr{W}_{\text {rare }}=\mathscr{W} \backslash \mathscr{W}_{\text {pop }}$ とする. また $f_{\theta} D$ を単語の頻度クラスを出力する 2 值分類を行う識別器とする。識別器損失は以下のように定義される。

$
\begin{aligned}
L_{D_{\text {swe }}}\left(\mathscr{W} ; \theta^{D}, \theta^{\text {emb }}\right) & =\frac{1}{\left|\mathscr{W}_{\text {pop }}\right|} \sum_{w \in \mathscr{W}_{\text {pop }}} \log A \\
& +\frac{1}{\left|\mathscr{W}_{\text {rare }}\right|} \sum_{w \in \mathscr{W}_{\text {rare }}} \log (1-A)
\end{aligned}
$

ここで $A=f_{\theta^{D}}\left(\boldsymbol{v}\left(w ; \theta^{\mathrm{emb}}\right)\right)$ とした. 最後にパラメー 夕 $\theta^{\mathrm{emb}}$ と $\theta^{D}$ を敵対的学習の手順で最適化する.

$
\underset{\theta^{\text {emb }}}{\arg \min } \underset{\theta^{D}}{\arg \max } L_{R_{\text {swe }}}\left(\mathscr{W} ; \theta^{\text {emb }}\right)-\lambda L_{D_{\text {swe }}}\left(\mathscr{W} ; \theta^{D}, \theta^{\mathrm{emb}}\right),
$

ここでגはハイパーパラメータである. CWEを対象にした際の定式化は付録 A. 1 に記述する。

## 5 実験

データセット 単語埋め込みの品質を評価するた めに，Semantic Textual Similarity (STS) タスクを採用 する。具体的には，公正な比較ための STS の標準的 データセットである STS Benchmark (STS-B) データ セット [19]を使用する2)3)．このデータセットは文 のペアとその間の類似度スコアを人手で付与したも ので構成されている。類似度スコアは 0 から 5 の範囲である.

評価 先行研究 $[9,20]$ に従い，正解類似度スコア とモデルによって算出される文類似度の間のスピア マン順位相関で評価する．モデルが出力する文間の 類似度としては, 文べクトル同士のコサイン類似度 を採用する。

実験設定 SWE として 2 種類の GloVe 埋め 込み ${ }^{4)}$ (Glove840B, Glove6B) と Google News Embeddings $^{5}$ (GNews) を使用する. Glove840B は 8400 億 トークンを含む Common Crawl データセットで， GloVe6B は 60 億トークンを含む Wikipedia と Gigaward データセットで学習されている. GNews は CBOW アルゴリズム [21]を用いて， 1000 億トー クンを含む Google ニュースデータセットで学習 されている. CWEとしては Huggingface Transformer Library [22] の BERT-base [4], DistilBERT-base [23], RoBERTa-base [15] モデルを使用する.

実験では，SWE と CWE それぞれについて，以下 の 4 つの設定を比較する.

1. Vanilla モデル：後処理を適用しない生のモデル

2. 白色化モデル (-wh)：白色化を適用したモデル

3. 単語頻度バイアス除去モデル (-Fdeb) : 単語頻度バイアス除去手法を適用したモデル

## 4. 単語頻度バイアス除去・白色化モデル (-Fdeb-wh)：頻度バイアス除去手法を適用 した後に白色化を適用したモデル

単語頻度バイアス除去手法には，4 節で導入した RFDを用いる。

2）STS タスクを用いて評価する際，シェアドタスクで年ごと に提供されたデータセット（例えばSTS-14 など）が利用さ れる場合がある。これが原因で訓練，開発，評価セットの区分に関して統一的な規範が存在せず，公平な性能比較が難し かった. Cer らは [19] はこうした現状を踏まえて，過去に提供されたデータセットから質の良いデータを選択し，訓練，開発，評価セットの公式区分をSTS-Bとして提供した。

3) https://ixa2.si.ehu.eus/stswiki/index.php/ STSbenchmark

4) https://nlp.stanford.edu/projects/glove/

5) https://code.google.com/archive/p/word2vec/

(a) GloVe840B

(b) BERT

図 2: STS-B の開発セット（Dev）と評価セット（Test）における実験結果. モデル性能は正解スコアとモデル の予測した類似度の間のスピアマン順位相関係数によって評価した。

SWE モデルについては，文中の全単語の単語埋 め込みを平均することで文べクトルを算出する。 CWE モデルについては, Huang ら [9] に従い，第 1 隠れ層と最終隠れ層の単語埋め込みを平均する。そ の他の詳細な実験設定は付録 A. 2 に示す.

実験結果Glove840B と BERT モデルの性能を図 2 に示す. その他のモデルの結果は付録 A の図 4,5 に示す. 実験結果から以下のことが観察された。

（i） SWE，CWE のいずれの実験でも，白色化によ り性能が向上した. 特に, CWE モデルの性能 が大きく向上した.

(ii）GNews を除く全てのモデルにおいて，RFD，つ まり単語頻度バイアス除去の効果による性能向上が確認された. 特に, GloVe840B-Fdeb は 評価セットにおいて Glove840B よりも 7.7 ポ イント性能が向上した.

(iii) SWE の-Fdeb-wh モデルは-Fdeb モデルに対し て大きな改善は見られなかった。

(iv) SWE とは異なり，CWEの-Fdeb-wh モデルで は-Fdeb モデルに対して大きな改善が見ら れた。

観測（i）は，先行研究 [9] の結果と一貫している.観測 (ii)について, GloVe などの SWE モデルに対す る単語頻度バイアス除去による性能向上幅は CWE モデルに対するそれよりも高かった。これは図 3 か ら示唆されるように, GloVe の方が単語頻度バイア スが強いためであると推測される。

観測 (iii)，(iv) に関して，もし，白色化と単語頻度バイアス除去の効果が独立しているのであれば，両者をモデルに適用した際，それぞれの効果による性能向上が期待できるはずである。しかしながら SWE については，-Fdebと-Fdeb-whの間に有意な差 は見られなかった（観測 (iii)）。こことから，SWE に対する白色化の効果は，単語頻度バイアス除去の 効果と概ね等価であるか，両者の間に大きな重複が あることが明らかになった。一方，観測 (iv) から， CWE では，SWE にはない CWE に固有のバイアス の補正など，単語頻度バイアス除去とは別の効果が あることが示唆された. 考えられる効果の一つとし て, Luo ら [13], Kovaleva ら [14] が報告した外れ値問題を補正する効果があると推測しているが，この 点についてはさらなる調査が必要である.

## 6 おわりに

本研究では，等方化手法として昨今注目を集めて いる白色化に焦点を当て，白色化が単語埋め込みに 及ぼす意味的な影響に関する初期分析を行った. 特 に，SWE と CWE に白色化を適用した際の単語頻度 バイアスの変化を分析した.

事前分析では，白色化の効果は部分的に単語頻度 バイアス除去の効果を含んでいることを示した. 次 に，単語頻度バイアスを除去することのみに特化し た単語頻度バイアス除去手法 (RFD) を提案し，白色化と RFD の挙動を比較することで白色化の効果をよ り明確にすることを試みた。実験結果から，白色化 は，静的単語埋め込みに対しては単語頻度バイアス の除去効果を示し，文脈化単語埋め込みに対しては 単語頻度バイアス除去効果以外の効果を持つことが 示唆された。

## 謝辞

本研究は JST CREST JPMJCR20D2，JSPS 科研費 JP21H04901，JP21K17814，JST ムーンショット型研究開発事業 JPMJMS2011 (fundamental research) の助成を受けて実施されたものである.

## 参考文献

[1] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed Representations of Words and Phrases and their Compositionality. In Proceedings of NIPS, pp. 3111-3119, 2013.

[2] Jeffrey Pennington, Richard Socher, and Christopher Manning. GloVe: Global Vectors for Word Representation. In Proceedings of EMNLP, pp. 1532-1543, 2014.

[3] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of NAACL, pp. 2227-2237, 2018.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL, pp. 4171-4186, 2019

[5] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020

[6] Jieyu Zhao, Tianlu Wang, Mark Yatskar, Ryan Cotterell, Vicente Ordonez, and Kai-Wei Chang. Gender bias in contextualized word embeddings. In Proceedings of NAACL, pp. 629-634, 2019.

[7] Masahiro Kaneko and Danushka Bollegala. Unmasking the mask - evaluating social biases in masked language models. In Proceedings of AAAI, p. 13, 2022.

[8] Jiaqi Mu and Pramod Viswanath. All-but-the-top: Simple and effective postprocessing for word representations. In Proceedings of ICLR, p. 25, 2018.

[9] Junjie Huang, Duyu Tang, Wanjun Zhong, Shuai Lu, Linjun Shou, Ming Gong, Daxin Jiang, and Nan Duan. WhiteningBERT: An easy unsupervised sentence embedding approach. In Findings of EMNLP, pp. 238-244, 2021.

[10] Jianlin Su, Jiarun Cao, Weijie Liu, and Yangyiwen Ou. Whitening sentence representations for better semantics and faster retrieval. arXiv preprint arXiv:2103.15316, 2021.

[11] Bohan Li, Hao Zhou, Junxian He, Mingxuan Wang, Yiming Yang, and Lei Li. On the sentence embeddings from pre-trained language models. In Proceedings of EMNLP, pp. 9119-9130, 2020.

[12] Yuxin Liang, Rui Cao, Jie Zheng, Jie Ren, and Ling Gao. Learning to remove: Towards isotropic pre-trained bert embedding. In Artificial Neural Networks and Machine Learning - ICANN 2021, pp. 448-459. Springer-Verlag,
2021.

[13] Ziyang Luo, Artur Kulmizev, and Xiaoxi Mao. Positional artefacts propagate through masked language model embeddings. In Proceedings of ACL-IJCNLP, pp. 53125327, 2021.

[14] Olga Kovaleva, Saurabh Kulshreshtha, Anna Rogers, and Anna Rumshisky. BERT busters: Outlier dimensions that disrupt transformers. In Findings of ACL-IJCNLP, pp. 3392-3405, 2021.

[15] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[16] Adam Coates, Andrew Ng, and Honglak Lee. An analysis of single-layer networks in unsupervised feature learning. In Geoffrey Gordon, David Dunson, and Miroslav Dudík, editors, Proceedings of International Conference on Artificial Intelligence and Statistics, Vol. 15, pp. 215223. PMLR, 2011.

[17] Marc' AurelioRanzato, Alex Krizhevsky, Geoffrey Hinton. Factored 3-way restricted boltzmann machines for modeling natural images. In Yee Whye Teh and Mike Titterington, editors, Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics, Proceedings of Machine Learning Research, pp. 621-628. PMLR, 2010

[18] Chengyue Gong, Di He, Xu Tan, Tao Qin, Liwei Wang, and Tie-Yan Liu. FRAGE: Frequency-agnostic word representation. In Proceedings of NIPS, Vol. 31, p. 12 pages. Curran Associates, Inc., 2018.

[19] Daniel Cer, Mona Diab, Eneko Agirre, Iñigo LopezGazpio, and Lucia Specia. SemEval-2017 task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. In Proceedings of SemEval, pp. 1-14, 2017.

[20] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of EMNLP-IJCNLP, pp. 3982-3992, 2019.

[21] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781, 2013.

[22] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of EMNLP, pp. 38-45, 2020.

[23] Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf. Distilbert, a distilled version of bert: smaller, faster, cheaper and lighter. arXiv preprint arXiv:1910.01108, 2019.

## A 付録

図 3: BERT の単語埋め込みに白色化を適用する前と後の第 1 ,第 2 主成分 $\left(\alpha_{1}, \alpha_{2}\right)$ の可視化.

## A. 1 CWE を対象にした際の RFD

隠れ層を対象に最適化を行う。ここで $\mathscr{W}_{S}$ を文 $s$ 内の単語（も しくはサブワード）の集合とし， $\mathscr{~}$ CWE モデル中の層から 選択されたのターゲット層の集合とする。また $s$ をエンコー ドした際の単語 $w$ の $l$ 番目の層のベクトルを $\boldsymbol{e}^{l}(w, s)$ とする. $\boldsymbol{v}^{l}\left(w, s ; \theta^{\mathrm{emb}}\right)$ は $\boldsymbol{e}^{l}(w, s)$ と同様であるが，学習対象のパラメー 夕 $\theta^{\mathrm{emb}}$ を持つ学習対象の CWE モデルから得る埋め込みべクト ルとする. CWE のための再構築損失と識別器損失は以下のよう に定義される。

$
\begin{gathered}
L_{R_{\text {cwe }}}\left(\mathscr{C} ; \theta^{\mathrm{emb}}\right)=\sum_{s \in \mathscr{C}} \sum_{w \in \mathscr{W}_{s}} \sum_{l \in \mathscr{L}}\left.\|\boldsymbol{e}^{l}(w, s)-\boldsymbol{v}^{l}\left(w, s ; \theta^{\mathrm{emb}}\right)\right.\|_{2}^{2} \\
L_{D_{\text {cwe }}}\left(\mathscr{C} ; \theta^{D}, \theta^{\mathrm{emb}}\right)=\sum_{s \in \mathscr{C}} \sum_{w \in \mathscr{W}_{s}} \sum_{l \in \mathscr{L}} L_{D_{\text {cwe }}^{\prime}}^{\prime}\left(w, l ; \theta^{D}, \theta^{\mathrm{emb}}\right), \\
L_{D_{\text {cwe }}^{\prime}}^{\prime}\left(w, l ; \theta^{D}, \theta^{\mathrm{emb}}\right)=\frac{1}{\left|\mathscr{W}_{s, \text { pop }}\right|} \sum_{w \in \mathscr{W}_{s, \text { pop }}} \log B \\
+\frac{1}{\left|\mathscr{W}_{s, \text { rare }}\right|} \sum_{w \in \mathscr{W}_{s, \text { rare }}} \log (1-B),
\end{gathered}
$

ここで $B=f_{\theta^{D}}\left(\boldsymbol{v}^{l}\left(w, s ; \theta^{\mathrm{emb}}\right)\right)$ とした. ただし $\mathscr{W}_{s, \text { pop }}=\mathscr{W}_{s} \cap \mathscr{W}_{\text {pop }}$ and $\mathscr{W}_{s, \text { rare }}=\mathscr{W}_{S} \backslash \mathscr{W}_{S \text {,pop }}$ である.

目的関数は以下のように定義される.

$
\underset{\theta^{\text {emb }}}{\arg \min } \underset{\theta^{D}}{\arg \max } L_{R_{\text {cwe }}}\left(\mathscr{C} ; \theta^{\text {emb }}\right)-\lambda L_{D_{\text {cwe }}}\left(\mathscr{C} ; \theta^{D}, \theta^{\text {emb }}\right) .
$

図 4: STS-B におけるSWE に関する実験結果（スピアマン順位相関係数 $\rho \times 100)$.

図 5: STS-Bにおける CWE に関する実験結果（スピアマン順位相関係数 $\rho \times 100)$.

## A. 2 実験設定の詳細

式 4，5 のターゲット層集合としては，様々な選択肢がある.例えば，ターゲット層をモデル内部の全ての層とすることも可能 である. 本研究では, 第 1 層と最終層を含むターゲット層集合の 中で最も簡易なもの，つまり，BERT と RoBERTa では $\mathscr{L}=[1,12]$, DistilBERT では $\mathscr{L}=[1,6]$ を選択した. これは, 第 1 層と最終層 の単語埋め込みを平均すると最も良い性能を達すると報告した Huang ら [9] の研究に由来する. 訓練コーパス $\mathscr{C}$ としては，STS データセットの文集合を用いた.

高頻度単語集合の間値としては $t=10$ を用いた. 予備実験 においてバッチサイズに変更を加えても性能に影響がなかっ たため, バッチサイズは 128 に固定した. 式 3 と式 7 の $\lambda$ は $[0.02,0.1]$ から探索した. これは, Gong ら [18] の実装6) におけ るデフォルト推奨設定が $\lambda=0.02$ である一方で，彼らの論文内 では $\lambda=0.1$ を使用した旨が記載されていることに由来する. また，学習率は $[1 e-3,5 e-3,1 e-2]$ から，学習エポック数は $[1,3,5,10,20,30,40,50]$ から探索した. 全ての探索は STS-B の 開発セットで行った。

6) https://github.com/ChengyueGongR/Frequency-Agnostic


# Efficiently Learning Multilingual Sentence Representation for Cross-lingual Sentence Classification

Zhuoyuan Mao Chenhui Chu Sadao Kurohashi
Kyoto University
\{zhuoyuanmao, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp
}

\begin{abstract}
Massively multilingual sentence representation models benefit cross-lingual sentence classification tasks. However, multiple training procedures, the use of a large amount of data, or inefficient model architectures result in heavy computation to train a new model for preferred languages and domains. To address this, we introduce an approach to efficiently learn multilingual sentence representation, using cross-lingual sentence reconstruction and sentencelevel contrastive learning as training objectives. Empirical results show that our model yields significantly better or comparable results on two cross-lingual classification benchmarks. We release our model, which supports 62 languages: https://github.com/Mao-KU/EMS.
\end{abstract
## 1 Introduction

Cross-lingual sentence representation (CSR) models [1, $2,3,4,5,6]$ prove to be essential for cross-lingual transfer on sentence classification tasks without the need for initial training and monolingual model. Thus, CSR models benefit low-resource languages without sufficient training data. However, existing multilingual CSR models, LASER [1], SBERT-distill [4], and LaBSE [3], require a considerable amount of data, complicated model architectures, or monolingual/multilingual pre-trained language models, for which the efficient model training has not been explored.

In this study, we present a computationally lite and effective architecture for training CSR without relying on any large-scale pre-trained language model, which makes it computational lite to train a CSR model according to our preferred domains or language groups and may have a promising future for deploying pre-trained CSR models on memory-limited devices. In particular, we propose cross- lingual token-level reconstruction (XTR) and sentencelevel contrastive learning as training objectives. XTR captures the target token distribution information, whereas the contrastive objective serves to recognize translation pairs. We claim that these two objectives lead to effective language-agnostic sentence representation for the encoderonly model without language model pre-training, and the encoder-only model results in highly efficient model training. Compared with previous work, our CSR model can be trained using significantly fewer training data and less GPU consumption.

Despite the small amount of training data and low-cost training, experimental results demonstrate that our model learned a robustly aligned multilingual sentence representation space. We evaluate the language-agnostic representation based on two classification tasks in a zeroshot manner, document genre classification based on MLDoc [7], and sentiment classification based on Amazon Review dataset version-1 [8]. Empirical results show that our model outperforms LASER and SBERT-distill on MLDoc and Amazon Review dataset and yields comparable performance with LaBSE on Amazon Review dataset.

## 2 Proposed Methods

We conduct massive multilingual CSR learning by employing the dual transformer encoder as the backbone of the training framework and jointly optimizes it with generative and contrastive objectives.

## 2.1 Architecture

We introduce the dual transformer sharing parameters to encode parallel sentences along with several linear layers to extract cross-lingual information and compute the generative and contrastive losses (Fig. 1).

Specifically, as shown in Fig. 1, assume that we have

Figure 1 Training architecture of our model. $\mathbf{u}$ and $\mathbf{v}$ are language-agnostic sentence representations for inference, and the model components in the red dashed rectangle are used for inference. $\mathbf{u}_{l a}$ and $\mathbf{u}_{l a}$ are the target language token representations. $\oplus$ denotes the hidden vector concatenation. A batch sample of the training data is given in the blue dashed box. Orange arrows and dashed box denotes the gold token distributions within the generative objective.

a parallel corpus $\mathbf{C}$ that includes multiple languages $\left.\{l_{1}, l_{2}, \ldots, l_{N}\right.\}$, and each sentence pair $S=\left(S_{l}, S_{l^{\prime}}\right)$ contains a sentence in language $l$ and its translation in language $l^{\prime}$, where $l, l^{\prime} \in\left.\{l_{1}, l_{2}, \ldots, l_{N}\right.\}$, as shown in the blue dashed box in Fig. 1. We use the dual transformer encoder $E$ sharing parameters to encode each sentence pair. Assume that the transformer encoder outputs of $S_{l}$ are $\left(\mathbf{h}_{1}^{\mathrm{T}}, \mathbf{h}_{2}^{\mathrm{T}}, \ldots, \mathbf{h}_{\left.\|S_{l}\right.\|}^{\mathrm{T}}\right)$, where $\left.\|S_{l}\right.\|$ indicates the length of $S_{l}$. We use the mean-pooled hidden states as the languageagnostic sentence representation $\mathbf{u}$ :

$
\mathbf{u}=\frac{1}{\left.\|S_{l}\right.\|} \sum_{i} \mathbf{h}_{i}
$

Similarly, we can obtain $\mathbf{v}$ for $S_{l^{\prime}}$.

Using $\mathbf{u}$ and $\mathbf{v}$, two groups of MLPs are employed to construct two training objectives. After completing the model training, given a sentence in any language, we use the transformer encoder to infer the language-agnostic sentence representation. We can implement cross-lingual downstream tasks in a zero-shot manner using $\mathbf{u}$ or $\mathbf{v}$, as they are representations independent of the specific language.

## 2.2 Generative Objective

Generative objective plays an essential role for CSR learning. Inspired by LASER, we include the generative objective for the one-run model training. However, the presence of the transformer decoder in LASER increases the computational overhead. Instead, we propose XTR to improve the training efficiency while retaining the quality of sentence representation, which circumvents using a decoder.

We compute a target language representation for each sentence by employing a language embedding layer $L_{l a}$ to encode the target language token (e.g., $<2$ en $>$ if the target language is English) to notify the model what the target language is. For each sentence pair $S=\left(S_{l}, S_{l^{\prime}}\right)$,

$
\begin{aligned}
\mathbf{u}_{l a} & =\mathbf{W}_{l a} \mathbf{h}_{l^{\prime}} \\
\mathbf{v}_{l a} & =\mathbf{W}_{l a} \mathbf{h}_{l}
\end{aligned}
$

where $\mathbf{W}_{l a} \in \mathbb{R}^{d_{l a} \times d_{v c b}}$ denotes the parameters of $L_{l a}$. $\mathbf{h}_{l}$ and $\mathbf{h}_{l^{\prime}}$ respectively denote the one-hot embedding of $<2 l\rangle$ and $\left.\langle 2 l^{\prime}\right.\rangle . d_{l a}$ and $d_{v c b}$ denote the dimension of
the language embedding and the size of the vocabulary.

Subsequently, we concatenate the language representation with the sentence representation and use a fully connected layer $L_{f c}$ to transform the concatenated representation for extracting the cross-lingual information. Finally, we use another linear embedding layer $L_{e m b}$ followed by Softmax to transform the representation to present two probability distributions, which are formulated as:

$
\begin{aligned}
q_{S_{l}} & =\operatorname{softmax}\left(\mathbf{W}_{e m b} \sigma_{x t r}\left(\mathbf{W}_{f c}\left(\mathbf{u}_{l a} \oplus \mathbf{u}\right)\right)\right) \\
q_{S_{l^{\prime}}} & =\operatorname{softmax}\left(\mathbf{W}_{e m b} \sigma_{x t r}\left(\mathbf{W}_{f c}\left(\mathbf{v}_{l a} \oplus \mathbf{v}\right)\right)\right)
\end{aligned}
$

where $\mathbf{W}_{e m b} \in \mathbb{R}^{d_{v c b} \times\left(d_{l a}+d\right)}, \mathbf{W}_{f c} \in \mathbb{R}^{\left(d_{l a}+d\right) \times\left(d_{l a}+d\right)}$, and $d$ indicates the dimension of $\mathbf{u}$ (or $\mathbf{v}$ ). $\sigma_{x t r}$ is the activation function in $L_{f c} . \oplus$ indicates concatenation.

Assume that $\mathbf{B}_{i}$ is a batch sampled from the training corpus $\mathbf{C}$. Then, the training loss of the XTR objective for the $\mathbf{B}_{i}$ is formulated as follows:

$
\mathscr{L}_{X T R}^{(i)}=\sum_{S \in \mathbf{B}_{i}}\left(\mathscr{D}_{K L}\left(p_{S_{l^{\prime}}}(\mathbb{W}) \| q_{S_{l}}\right)+\mathscr{D}_{K L}\left(p_{S_{l}}(\mathbb{W}) \| q_{S_{l^{\prime}}}\right)\right)
$

where $\mathscr{D}_{K L}$ denotes KL-divergence and $\mathbb{W}$ indicates the vocabulary set. As illustrated in the orange dashed box in Fig. 1, we use discrete uniform distribution for the tokens in $S_{l}$ to define $p_{S_{l}}$. For each $w \in \mathbb{W}, p_{S_{l}}(w)$ is defined as:

$
p_{S_{l}}(w)=\left.\{\begin{array}{rr}
\frac{N_{w}}{\left.\|S_{l}\right.\|}, & w \in S_{l} \\
0, & w \notin S_{l}
\end{array}\right.
$

where $N_{w}$ indicates the number of words $w$ in sentence $S_{l}$, and $N_{w}$ is 1 in most cases. $\left.\|S_{l}\right.\|$ indicates the length of $S_{l}$. Similarly, we can obtain the definition of $p_{S_{l^{\prime}}}(\mathbb{W})$.

Herein, we use the KL-divergence to measure the similarity between the token distribution of the sentence in the target language and the model output of the sentence in the source language, which helps align the language-agnostic representation space.

## 2.3 Contrastive Objective

We employ a sentence-level contrastive objective as an assisting objective to force the model to grasp similar information of sentences across languages. We demonstrate that the sentence-level contrastive objective is a beneficial model component to jointly assist the generative objective.

Specifically, we employ in-batch sentence-level contrastive learning by discriminating between positive and negative samples for each sentence. Given a sentence, its translation (paired sentence in another language) is deemed as a positive sample, whereas other sentences within the batch are used as the negative samples. Assume that $\mathbf{B}_{i}$ is a batch sampled from the training corpus $\mathbf{C}$, and the j-th sentence pair of $\mathbf{B}_{i}$ is $S^{(i j)}=\left(S_{l}^{(i j)}, S_{l^{\prime}}^{(i j)}\right)$. Then the sentence-level contrastive objective for $\mathbf{B}_{i}$ is formulated as:

$
\begin{array}{r}
\mathscr{L}_{\text {cntrs }}^{(i)}=-\sum_{S^{(i j)} \in \mathbf{B}_{i}}\left(\log \frac{\exp \left(\operatorname{sim}\left(S_{l}^{(i j)}, S_{l^{\prime}}^{(i j)}\right) / T\right)}{\sum_{S^{(i k)} \in \mathbf{B}_{i}} \exp \left(\operatorname{sim}\left(S_{l}^{(i j)}, S_{l^{\prime}}^{(i k)}\right) / T\right)}\right. \\
\left.+\log \frac{\exp \left(\operatorname{sim}\left(S_{l}^{(i j)}, S_{l^{\prime}}^{(i j)}\right) / T\right)}{\sum_{S^{(i k)} \in \mathbf{B}_{i}} \exp \left(\operatorname{sim}\left(S_{l}^{(i k)}, S_{l^{\prime}}^{(i j)}\right) / T\right)}\right)
\end{array}
$

where $T$ denotes a temperature hyperparameter to scale the cosine similarity. $\operatorname{sim}\left(S_{l}, S_{l^{\prime}}\right)$ is defined as:

$
\begin{gathered}
\operatorname{sim}\left(S_{l}, S_{l^{\prime}}\right)=\cos \left(\mathbf{h}\left(S_{l}\right), \mathbf{h}\left(S_{l^{\prime}}\right)\right) \\
\mathbf{h}\left(S_{l}\right)=\mathbf{W}_{1} \sigma_{\text {cntrs }}\left(\mathbf{W}_{2} \mathbf{u}\right) \\
\mathbf{h}\left(S_{l^{\prime}}\right)=\mathbf{W}_{1} \sigma_{\text {cntrs }}\left(\mathbf{W}_{2} \mathbf{v}\right)
\end{gathered}
$

where $\mathbf{W}_{1} \in \mathbb{R}^{d_{\text {cntrs }} \times d}$ and $\mathbf{W}_{2} \in \mathbb{R}^{d \times d}$ mean the weights of two fully-connected layers. We use ReLU [9] for $\sigma_{\text {cntrs }}$.

## 2.4 Joint Training

We train the model by jointly optimizing the losses of the proposed generative and contrastive objectives. Specifically, we simultaneously train each batch with:

$
\mathscr{L}^{(i)}=\frac{1}{\left.\|\mathbf{B}_{i}\right.\|}\left(\mathscr{L}_{X T R}^{(i)}+\mathscr{L}_{c n t r s}^{(i)}\right)
$

where $\left.\|\mathbf{B}_{i}\right.\|$ denotes the number of sentence pairs within batch $\mathbf{B}_{i}$, namely, the batch size.

## 3 Evaluation

We used 143M parallel sentences to train a multilingual sentence representation model supporting 62 languages with the above training objectives. Refer to Appendix A for training details.

In this section, we evaluate the performance of our model for two cross-lingual sentence classification tasks in a zeroshot manner. Two evaluation tasks include the MLDoc benchmark [7] and cross-lingual sentiment classification on the first version of the multilingual Amazon Review corpora [8]. We compare with LASER [1], SBERT-distill [4], and LaBSE [3]. ${ }^{1)}$

Table 1 MLDoc benchmark results (zero-shot scenario). We report the mean value of 5 runs.

Table 2 Results of the cross-lingual sentiment classification of Amazon Review. We report the mean value of 5 runs.

## 3.1 MLDoc: Multilingual Document Classification

We evaluate the model performance based on the MLDoc classification task. MLDoc ${ }^{2)}$ is a benchmark to evaluate cross-lingual sentence representations, which contain datasets for eight languages [10]. Following [1], we conduct the evaluation in the zero-shot manner using 1,000 sentences in language $l_{1}$ for training, 1,000 sentences in language $l_{1}$ for validation, and 4,000 sentences in language $l_{2}$ for test. Specifically, we train a multilayer perceptron classifier based on source language representations and test the classifier for the target language. We list the average results of 5 runs for 7 language pairs and 14 directions in Table 1. We significantly observe higher accuracies of our model in most directions than those of LASER and SBERT-distill. These results demonstrate the effectiveness of the proposed training method.

## 3.2 CLS: Cross-lingual Sentiment Classification

Moreover, we gauge the quality of language-agnostic sentence representation based on the sentiment classification task. We use Amazon Review version-1 dataset for evaluation. The dataset [8] includes the data for English-German, English-French, and English-Japanese on "books," "dvd," and "music" domains for each language pair. For each language pair and domain, we use 2,000 sentences in language $l_{1}$ for training, 2,000 sentences in language $l_{1}$ for validation, and 2,000 sentences in language $l_{2}$ for test. Same as on MLDoc, we train a multi-layer percep-

tron using the language-agnostic sentence representations in language $l_{1}$ and test the classifier for another language. As listed in Table 2, our model significantly outperforms LASER and SBERT-distill, and performs comparably to LaBSE, which proves the effectiveness of our model.

## 3.3 Training Efficiency

We used 143M parallel data for training, which is much less than competing models. The loss nearly converged after being trained for 0.5 epochs and converged completely after 3 epochs, whereas LASER is trained for 17 epochs till convergence. Concerning the training time, SBERTdistill and LaBSE rely on large-scale pre-trained models; thus, both their pre-training and fine-tuning require heavy computation. LASER is trained with 80 V100 GPU $\times$ days, while our model requires 5 V100 GPUxdays to nearly converge and 20 V100 GPUxdays to converge fully, which indicates 4 16 times speedup compared with LASER.

## 4 Conclusion

This study presents an efficient method to train languageagnostic sentence representation for cross-lingual sentence classification. To improve training efficiency while retaining the quality of sentence representations, we propose a novel framework to jointly train "XTR" generative and sentence-level contrastive objectives. The empirical results based on two cross-lingual sentence classification tasks demonstrate the effectiveness of our model. We plan to further shrink the model architecture based on knowledge distillation for faster inference experience in the future.

## Acknowledgements

This work was supported by JSPS KAKENHI Grant Number 22J13719 and Samsung, SDS.

## References

[1] Mikel Artetxe and Holger Schwenk. Massively multilingual sentence embeddings for zero-shot cross-lingual transfer and beyond. Trans. Assoc. Comput. Linguistics, Vol. 7, pp. 597-610, 2019.

[2] Yinfei Yang, Daniel Cer, Amin Ahmad, Mandy Guo, Jax Law, Noah Constant, Gustavo Hernández Ábrego, Steve Yuan, Chris Tar, Yun-Hsuan Sung, Brian Strope, and Ray Kurzweil. Multilingual universal sentence encoder for semantic retrieval. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, ACL 2020, Online, July 5-10, 2020, pp. 87-94. Association for Computational Linguistics, 2020.

[3] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, and Wei Wang. Language-agnostic BERT sentence embedding. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), ACL 2022, Dublin, Ireland, May 22-27, 2022, pp. 878-891. Association for Computational Linguistics, 2022.

[4] Nils Reimers and Iryna Gurevych. Making monolingual sentence embeddings multilingual using knowledge distillation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, EMNLP 2020, Online, November 16-20, 2020, pp. 4512-4525. Association for Computational Linguistics, 2020.

[5] Zhuoyuan Mao, Prakhar Gupta, Chenhui Chu, Martin Jaggi, and Sadao Kurohashi. Lightweight crosslingual sentence representation learning. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, ACL/IJCNLP 2021, (Volume 1: Long Papers), Virtual Event, August 1-6, 2021, pp. 2902-2913. Association for Computational Linguistics, 2021

[6] Zhuoyuan Mao, Prakhar Gupta, Chenhui Chu, Martin Jaggi, and Sadao Kurohashi. Learning cross-lingual sentence representations for multilingual document classification with token-level reconstruction. 言語処理学会 第 27 回年次大会, pp. 1049-1053, 2021.

[7] Holger Schwenk and Xian Li. A corpus for multilingual document classification in eight languages. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation, LREC 2018, Miyazaki, Japan, May 7-12, 2018. European Language Resources Association (ELRA), 2018.

[8] Peter Prettenhofer and Benno Stein. Cross-language text classification using structural correspondence learning. In ACL 2010, Proceedings of the 48th Annual Meeting of the Association for Computational Linguis- tics, July 11-16, 2010, Uppsala, Sweden, pp. 11181127. The Association for Computer Linguistics, 2010.

[9] Vinod Nair and Geoffrey E. Hinton. Rectified linear units improve restricted boltzmann machines. In Proceedings of the 27th International Conference on Machine Learning (ICML-10), June 21-24, 2010, Haifa, Israel, pp. 807-814. Omnipress, 2010.

[10] David D. Lewis, Yiming Yang, Tony G. Rose, and Fan Li. RCV1: A new benchmark collection for text categorization research. J. Mach. Learn. Res., Vol. 5, pp. 361-397, 2004.

[11] Holger Schwenk, Vishrav Chaudhary, Shuo Sun, Hongyu Gong, and Francisco Guzmán. Wikimatrix: Mining 135m parallel sentences in 1620 language pairs from wikipedia. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, EACL 2021, Online, April 19 - 23, 2021, pp. 1351-1361. Association for Computational Linguistics, 2021.

[12] Junjie Hu, Sebastian Ruder, Aditya Siddhant, Graham Neubig, Orhan Firat, and Melvin Johnson. XTREME: A massively multilingual multi-task benchmark for evaluating cross-lingual generalisation. In Proceedings of the 37th International Conference on Machine Learning, ICML 2020, 13-18 July 2020, Virtual Event, Vol. 119 of Proceedings of Machine Learning Research, pp. 4411-4421. PMLR, 2020.

[13] Zeljko Agic and Ivan Vulic. JW300: A wide-coverage parallel corpus for low-resource languages. In Proceedings of the 57th Conference of the Association for Computational Linguistics, ACL 2019, Florence, Italy, July 28- August 2, 2019, Volume 1: Long Papers, pp. 3204-3210. Association for Computational Linguistics, 2019

[14] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017, December 4-9, 2017, Long Beach, CA, USA, pp. 5998-6008, 2017.

[15] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

## A Training Details

## A. 1 Training Data

We collected parallel corpora for 62 languages from OPUS. ${ }^{3)}$ The 62 languages that we selected cover all the languages in [11] and the languages suggested by the crosslingual generalization benchmark, XTREME [12]. Parallel corpora used for training include Europarl, GlobalVoices, ${ }^{4)}$ NewsCommentary, ${ }^{5)}$ OpenSubtitles, ${ }^{6)}$ Ted, ${ }^{7)}$ UNPC, ${ }^{8)}$ WikiMatrix, ${ }^{9)}$ Tatoeba. ${ }^{10)}$

The aforementioned training data leads to a $143 \mathrm{M}$ parallel corpus, which is much less than LASER. Moreover, we excluded the JW300 [13] corpus and pruned OpenSubtitles and UNPC corpora and included less training data than SBERT-distill. ${ }^{11)}$ In addition, [3] used 6B parallel data to fine-tune the pre-trained mBERT, which leads to enormous computational resource consumption and is impractical to reproduce. However, the proposed model used a limited number of parallel sentences while retaining the sentence representation performance.

## A. 2 Training Details

We employed Transformer [14] encoder as the basic unit of the training architecture (Fig. 1). We conducted a grid search for optimal hyperparameter combinations by observing the validation loss on the WikiMatrix validation datasets (Table 3).

As a result, the dual transformer encoder sharing parameters has 6 layers, 16 attention heads, a hidden size of 1,024 , and a feed-forward size of 4,096. The transformer encoder can be substituted by encoders with other structures. $d, d_{v c b}, d_{l a}$, and $d_{c n t r s}$ are $1,024,60,000,128$, and 128, respectively. We set 0.1 for the temperature $T$ of the contrastive objective.

For the model training, we fed the parallel sentences into the dual transformer encoder and truncated the sentences up to 120 tokens. ${ }^{12)}$ We trained three epochs for the entire

3) https://opus.nlpl.eu/

4) http://casmacat.eu/corpus/global-voices.html

5) https://statmt.org/

6) opensubtitles.org

7) https://opus.nlpl.eu/TED2020.php

8) https://opus.nlpl.eu/UNPC.php

9) https://opus.nlpl.eu/WikiMatrix.php

10) https://tatoeba.org/

11) [11] used JW300 and all of the entire corpora we used.

12) Although LASER and SBERT-distill allowed much longer sen-
Table 3 Values of the hyperparameters tuned by grid search. Bold denotes the best hyperparameter combination.

training corpus with the Adam optimizer [15], the learning rate of 0.0003 with the linear warm-up strategy of 10,000 steps, a weight decay of 0.00001 , and a dropout ${ }^{13)}$ of 0.1 for the transformer encoder. We used four V100 GPUs to conduct the model training with a batch size of 152 parallel sentences.

## A. 3 Model Release

We release our model at https://github.com/ Mao-KU/EMS. Our model supports the encoding of the following 62 languages: af, ar, bg, bn, ca, cs, da, de, el, en, eo, es, et, eu, fa, fi, fr, gl, gu, he, hi, hr, hu, hy, id, it, ja, jv, ka, kk, ko, ku, lt, lv, mk, ml, mn, mr, ms, my, nb, nl, pl, pt, ro, ru, sk, sl, sq, sr, sv, sw, ta, te, th, tl, tr, uk, ur, vi, yo, zh. $^{14)}$

tences during the training phase, we demonstrate that 120 tokens are sufficient for a single sentence with the complete semantics. For the evaluation, documents longer than 120 tokens can be separated into several sentences, which would not limit the usage of our model.

13) the hidden and attention dropouts

14) Refer to https://en.wikipedia.org/wiki/List_of_Iso_ 639-1_codes for language codes.


# オープンドメインの手順書のフローグラフ予測と データセットの構築

白井 圭佑 ${ }^{1}$ 亀甲 博貴 $^{2}$ 森 信介 ${ }^{2}$
1 京都大学大学院情報学研究科 2 京都大学学術情報メディアセンター
shirai.keisuke.64x@st.kyoto-u.ac.jp \{kameko, forest\}@i.kyoto-u.ac.jp

## 概要

機械による手順書の理解は, それらにおける推論 や実世界における自動化を行う上で重要である. 先行研究では, 手順書の理解の表現としてレシピフ ローグラフという枠組みが提案されている. 本稿 では,レシピにおける食材を手順書が目指す最終成果物の構成要素として捉えることで, 調理以外の分野への適用を試みる.また, 調理以外の分野におけ るフローグラフの予測精度を調査するため, 新たに wikiHow Flow Graph (wikiHow-FG) コーパスを構築し た. コーパスは, wikiHow から選択した 2 分野を対象 に, 30 記事ずつアノテーションすることで構築した.実験では, 対象分野の少量データでモデルの学習を 行う few-shot の設定と, 既存の調理分野のデータで 学習を行う zero-shot の設定を考え, それぞれについ て評価, 比較を行った。

## 1 はじめに

手順書は調理や家具の組み立て等, 日常生活にお ける作業を補助する目的で書かれた文書である. 機械による手順書の理解は, 手順における推論 [1] やそ の作業の自動化 [2] を目指す上で重要であるといえ る.これには, 文書全体における重要表現の認識やそ れらの係り受け関係を解析する必要がある. 手順書 のグラフ表現への変換 [3] は,これらの問題を解決す る一つの手段である.

先行研究では, この方向において分野依存の手法 が提案されてきた $[4,5,6]$. 特に, 調理分野において はウェブ上に豊富な資源が存在することから, 様々 なアプローチが取られてきた $[4,7,8]$. この中で, 森 ら [4] はレシピをフローグラフへ変換する枠組み として, レシピフローグラフと日本語コーパスの提案を行った. 後の研究 [9] では, 英語フローグラフ (English Flow Graph; English-FG) とそのコーパスも提

## Heat the oil in a saucepan .

Add the onion and cook for 7-8 minutes .

Stir in the celery and carrot .

$\mathrm{Ae}$ (動作) $\quad \mathrm{C}$ (構成要素) $\mathrm{T}$ (道具) $\quad \mathrm{D}$ (継続時間)

Targ (動作の対象) Dest (動作の方向)

other-mod (その他の修飾語句)

図 1 フローグラフ予測の例. タグとラベルは提案フレー ムワークのものである. 本研究では, このフレームワーク を用いて調理以外の分野における手順書のフローグラフ 予測を行う。

案されている。一方でレシピフローグラフはアノ テーションコストが高く, 大規模なデータセットの 構築は現実的ではないという問題がある.また,その 適用分野も現状は調理のみに留まっている.

本研究では,レシピにおける食材を手順書が目指 す成果物の構成要素として捉えることで, 調理以外 の分野への適用を目指す. 本稿では, 英語の手順書を 対象とし, 既存研究 [10] と同様にノード予測とエッ ジ予測の 2 段階からグラフの予測を行う.また, 調理以外の分野におけるフローグラフの予測精度を 調査するため, 新たに wikiHow-FG コーパスを提案 する.これは, 様々なタスクに関するマニュアルを 公開している wikiHow から記事を収集して構築し た. 対象分野として, 表 1 に示す 2 分野を wikiHow
表 1 各記事における記事タイトルの例.

表 2 タグとその意味. 括弧内は English-FGにのける名称 と定義を指す

のカテゴリから選択し, 各分野において 30 記事を アノテーションした. 実験では, 既存の English-FG コーパス [9] 上で学習を行う zero-shot の設定と, wikiHow-FG 上の少量のアノテーションで学習を行 う few-shot の設定における予測精度を, それぞれ調査した. 結果から,ノード予測に関しては zero-shot, few-shot 共に高い予測精度が得られる一方で, エッジ 予測に関しては zero-shotが few-shot モデルの予測精度を大幅に上回る結果となった。

## 2 フローグラフ表現

## 2.1 レシピフローグラフ

ここでは,レシピフローグラフについて概説する。 レシピフローグラフは, 図 1 に示すような有向非巡回グラフである.ここで, 点は文書中の重要表現を指 し, 表 2.1 に示すような 10 種類のタグを用いて表す.辺は点同士の関係を指し, 表 3 に示すような 13 種類 のラベルを用いて表す.レシピフローグラフの予測手法として, 先行研究 [10] ではノード予測とエッジ 予測の 2 段階に分けて行うことが提案されている。

ノード予測では文章中の重要表現とそれに対応 するタグの識別を行う.これは系列ラベリング問題として定式化され, 固有表現認識器 (Named Entity Recognition; NER)を用いてタグの予測を行う.また， NER は文レベルでのタグ予測が一般的である [11] が, 先行研究 [9] では文章全体を入力としており, 本表 3 ラベルとその意味. 括弧内は English-FG における名称と定義を指す。

研究でもそれに従う1).

エッジ予測ではノード間における依存関係を依存関係ラベルと共に予測することでグラフの構築を行 う.これは最大全域木問題として以下のように定式化される。

$
\hat{G}=\underset{G \in \mathscr{G}}{\operatorname{argmax}} \sum_{(u, v, l)} s(u, v, l)
$

ここで, $s(u, v, l)$ は点 $u$ から点 $v$ へ辺がラベル $l$ を持つ場合のスコアを表す.この問題は Chu-liu edmonds アルゴリズムを用いて解くことが出来, ス コアは依存構造解析器 [12]を用いて計算する.

## 2.2 調理以外の分野への適用

既存の English-FG [9]を基に,レシピにおける食材 を手順書の成果物における構成要素として捉えるこ とで, 他分野への適用を行う.ここでの構成要素と は, 例えば調理ではトマトや牛肉等, クラフトでは 段ボールや糊等が対応し, レシピフローグラフにお ける定義と同様に道具とは区別して扱う. 本研究で 用いるタグと依存関係ラベルの定義を表 2.1 と表 3 にそれぞれ示す.これらは English-FG の定義を一部

表 4 コーパスの統計量.

修正したものであり, タグやラベルの追加や削除は 行っていない. また, 構成要素を食材に置き換えるこ とで, 既存の調理分野に適用することも可能である. また, フローグラフの予測に関しては, 先行研究 [10] と同様に, ノード予測とエッジ予測の 2 段階に分け て行う.

## 3 wikiHow-FG コーパス

wikiHow-FG コーパスは wikiHow2) から収集した記事に対し, フローグラフのアノテーションを行うこ とで構築した. wikiHow 11 万を超えるマニュアル を公開しているウェブサイトであり,手順に関する 言語資源として近年注目を集めている $[13,1,14,15]$.以下では, データ収集方法, アノテーション手順, コーパスの統計量について順に説明を行う.

## 3.1 データ収集

本研究では, 表 1 に示す wikiHow の 2 カテゴリを 対象分野として選択した. ここで, Hobbies and Crafts は材料の組み立てタスクを主に対象としており,食材の組み立てを行う調理分野とは比較的近いといえ る. 一方で, Home and Garden では修理や掃除等, 組み 立てではないタスクを主に対象とするため，より調理から離れた分野であるといえる. 記事の収集は,こ れらの各分野に含まれる 30 記事を, 既存の wikiHow Corpus [1] から収集する形で行った. また, 低品質 な記事を省くため, 全体で 25 単語以下のもの, ユー ザー評価が 50\%以下のものは収集の対象外とした. また, 抽象的な目的を目指す記事や, 曖昧な表現の多 い記事を手動で除去した. 以降では, 収集した記事に 含まれる見出し (headline) を手順として使用する.

## 3.2 アノテーション

先行研究で提案されたアノテーションッー ル [16]を用いて,アノテーションを行った3). また, English-FG コーパスから収集した 10 記事を用いて，事前にアノテータのトレーニングを行った. コーパ スの統計量を表 4 に示す. 表から, 収集した記事は 1

2) https://www.wikihow.com

3）事前に stanza [17] を用いて手順に含まれる文の単語分割を 行った.記事辺り平均 7.53 手順 (76.1 単語) で構成されてい ることがわかる. また, 1 記事あたりの平均アノテー ション数が, 32.6 タグと 32.7 ラベルであることも見 て取れる。

## 4 実験

構築した wikiHow-FG コーパスと既存の EnglishFG コーパスを用いて,ノード予測とエッジ予測の実験をそれぞれ行った. 本研究では, English-FG のみで 学習を行い, 対象分野で予測を行う zero-shot の設定 と, 対象分野の少量の wikiHow-FG データで学習を 行い, 予測を行う zero-shot の設定を想定し，それぞれ における予測性能を調査した.フローグラフはアノ テーションコストが高いため,これらは現実的な実験設定であるといえる.

## 4.1 ノード予測

## 4.1.1 実験設定

NER モデルとして BiLSTM-CRF [11]を用いた. ま た, 元のモデルにおける BiLSTM エンコーダを事前学習済みの DeBERTa [18] に差し替えて用いた4). ま た学習時には DeBERTa のパラメータも調節の対象 とした.

最適化には AdamW [20]を,初期学習率を $1.0 \times 10^{-5}$, weight decay の係数を $1.0 \times 10^{-5}$ として用いた. ま た, 各イテレーションにおいて, Cosine Annealing [20] ( $S_{\mathrm{d}}$ 回)と Linear Warmup ( $S_{\mathrm{w}}$ 回) を組み合わせて 学習率の調節を行った. ミニバッチサイズは $B$記事から構築し, English-FG 上での学習の際には $\left(B, S_{\mathrm{w}}, S_{\mathrm{d}}\right)=(5,500,4500)$ に, wikiHow 上での学習の 際には $\left(B, S_{\mathrm{w}}, S_{\mathrm{d}}\right)=(3,100,900)$ に, 設定した.これ らのハイパーパラメータの調節は開発セット上で 行った.

wikiHow-FG 上の学習には, 全体 30 記事を 6 分割 し, 1 分割を学習セット, 1 分割を開発セット,残り 4 分割をテストセットとすることで, 6-分割交差検証を行った. English-FG 上の学習には全体 300 記事

4）先行研究 [9] では BERT [19] が用いられている. English-FG コーパスにおける予備実験では, DeBERTaを用いることで $0.47 \%$ の精度向上が実現出来ることを確認した.

のうち, $80 \%$ を学習セット, $10 \%$ 開発セット, 残り $10 \%$ をテトセットとすることで 10-分割交差検証 を行った. English-FG 上で学習したモデルの評価の 際には, wikiHow-FG の各分割におけるテストセット に対し，それぞれ 1 モデルを割り当てて予測を行っ た. 実験結果では, 対象分野の wikiHow-FG コーパス の各テストセットにおけるスコアの平均を報告す る. 評価指標としては, 精度, 再現率, $\mathrm{F}$ 值を用いた。

## 4.1.2 実験結果

表 5 に結果を示す. 両分野において, zero-shot, few-shot の設定ともに 66\%以上の精度, 再現率, $\mathrm{F}$ 値 が実現出来ていることがわかる. 特に few-shot 設定 における結果は, 対象分野における数記事のアノ テーションを用意することで, 比較的高精度なノー ド予測モデルが実現可能であることを示唆してい る.また, Home and Garden においては, zero-shot 設定 のモデルが few-shot 設定のモデルを, 全指標におい て 6.8\%以上も上回る結果となった. これに関しては,調理分野と Home and Garden が, Hobbies and Crafts よりも近い分野であり, 表現やタグの予測が Hobbies and Crafts 以上に容易だったのではないかと思わ れる.

## 4.2 エッジ予測

## 4.2.1 実験設定

依存構造解析器として Biaffine Attention Parser [12] を使用した ${ }^{5)}$ 。単語の分散表現は, 事前学習済み DeBERTaを用いて計算した. ノード予測の時と同様 に, DeBERTa のパラメータも調節の対象とした.

最適化は AdamW [20]を用い, 各イテレーション毎 に Cosline Annealing と Linear Wamup を用いた学習率の調節を行った. ハイパーパラメータに関しては,

5）先行研究 [9] では, 線形モデル [10] による解析器を使用し ている. English-FG コーパスを用いた予備実験では, 本モデル を用いることで $2.7 \%$ の精度向上が実現できることを確認し た.表 6 エッジ予測の実験結果. チェックマークは使用した 学習データを指す。

 &  & 精度 & 再現率 & F 值 \\

and Crafts & $\checkmark$ & & $\mathbf{0 . 6 1 3}$ & $\mathbf{0 . 6 0 5}$ & $\mathbf{0 . 6 0 9}$ \\

Garden & $\checkmark$ & & $\mathbf{0 . 6 4 4}$ & $\mathbf{0 . 6 4 9}$ & $\mathbf{0 . 6 4 6}$ \\

4.1.1 節と同様の值を用いた. 学習は English-FG コー パス, wikiHow-FG コーパス共に 4.1.1 節と同様の分割を用い,それぞれ交差検証を行った. 評価指標に は, 予測結果と正解データ間におけるラベル付き辺 の精度, 再現率, $\mathrm{F}$ 値を用いた。

## 4.2.2 実験結果

表 6 に結果を示す.ノード予測の実験結果 (4.1.2 節) と異なり, zero-shot 設定のモデルの性能が 著しく低い結果となっていることがわかる.また， few-shot 設定のモデル間とのスコアの差も大きく, F 値に関して 32.6\%以上の開きがある.これは, エッジ 予測モデルの学習には,ノード予測モデル以上に多 くの例が必要であることを意味しており, 結果とし て学習データがより豊富な zero-shot 設定の方が高い スコアが得られたのではないかと考えられる。

## 5 おわりに

本稿では, 既存のレシピフローグラフを利用し,他分野の手順書のフローグラフ予測を試みた。ま た,そのために wikiHow の 2 分野を対象に収集し た記事を基に, 新たに wikiHow-FG コーパスを構築 した. 実験では, 既存の調理分野のデータとして English-FGコーパスのみで学習を行う zero-shot 設定 と wikiHow-FG コーパスの対象分野のデータのみを 用いた few-shot 設定とで, 個別にモデルを学習し, 評価を行った. 結果からは,ノード予測においては両設定ともに 66\%以上のスコアが得られる一方で, エッ ジ予測においては, zero-shot 設定のモデルの方が高 い予測性能を実現出来ることがわかった.

今後の展望としては, 本稿で調査した以外の分野 でも調査を行う他, 調理分野から対象分野への分野適応を行うことで性能向上を狙うことが挙げられ る. また, 対象分野のデータ拡張を行うことで性能を 向上させることも考えられる.

## 参考文献

[1] Li Zhang, Qing Lyu, and Chris Callison-Burch. Reasoning about goals, steps, and temporal ordering with WikiHow. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 46304639. Association for Computational Linguistics, 2020.

[2] Mario Bollini, Stefanie Tellex, Tyler Thompson, Nicholas Roy, and Daniela Rus. Interpreting and executing recipes with a cooking robot. In Experimental Robotics, pp. 481-495. Springer, 2013.

[3] Yoshio Momouchi. Control structures for actions in procedural texts and PT-chart. In COLING 1980 Volume 1: The 8th International Conference on Computational Linguistics, 1980.

[4] Shinsuke Mori, Hirokuni Maeta, Yoko Yamakata, and Tetsuro Sasada. Flow graph corpus from recipe texts. In Proceedings of the Ninth International Conference on Language Resources and Evaluation, pp. 23702377, 2014.

[5] Chaitanya Kulkarni, Wei Xu, Alan Ritter, and Raghu Machiraju. An annotated corpus for machine reading of instructions in wet lab protocols. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 97-106. Association for Computational Linguistics, 2018.

[6] Fusataka Kuniyoshi, Kohei Makino, Jun Ozawa, and Makoto Miwa. Annotating and extracting synthesis process of all-solid-state batteries from scientific literature. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 1941-1950. European Language Resources Association, 2020.

[7] Liang-Ming Pan, Jingjing Chen, Jianlong Wu, Shaoteng Liu, Chong-Wah Ngo, Min-Yen Kan, Yugang Jiang, and Tat-Seng Chua. Multi-Modal Cooking Workflow Construction for Food Recipes, p. 1132-1141. Association for Computing Machinery, 2020.

[8] Dim P. Papadopoulos, Enrique Mora, Nadiia Chepurko, Kuan Wei Huang, Ferda Ofli, and Antonio Torralba. Learning program representations for food images and cooking recipes. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 16559-16569, 2022.

[9] Yoko Yamakata, Shinsuke Mori, and John A Carroll. English recipe flow graph corpus. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 5187-5194, 2020.

[10] Hirokuni Maeta, Tetsuro Sasada, and Shinsuke Mori. A framework for procedural text understanding. In Proceedings of the 14th International Conference on Parsing Technologies, pp. 50-60, 2015.

[11] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics:
Human Language Technologies, pp. 260-270. Association for Computational Linguistics, 2016.

[12] Timothy Dozat and Christopher D. Manning. Simpler but more accurate semantic dependency parsing. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 484-490. Association for Computational Linguistics, 2018.

[13] Yilun Zhou, Julie Shah, and Steven Schockaert. Learning household task knowledge from WikiHow descriptions. In Proceedings of the 5th Workshop on Semantic Deep Learning (SemDeep-5), pp. 50-56. Association for Computational Linguistics, 2019.

[14] Li Zhang, Qing Lyu, and Chris Callison-Burch. Intent detection with WikiHow. In Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing, pp. 328-333, 2020.

[15] Shuyan Zhou, Li Zhang, Yue Yang, Qing Lyu, Pengcheng Yin, Chris Callison-Burch, and Graham Neubig. Show me more details: Discovering hierarchies of procedures from semi-structured web data. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2998-3012. Association for Computational Linguistics, 2022.

[16] Keisuke Shirai, Atsushi Hashimoto, Taichi Nishimura, Hirotaka Kameko, Shuhei Kurita, Yoshitaka Ushiku, and Shinsuke Mori. Visual recipe flow: A dataset for learning visual state changes of objects with recipe flows. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 3570-3577. International Committee on Computational Linguistics, 2022.

[17] Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A python natural language processing toolkit for many human languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 101-108. Association for Computational Linguistics, 2020.

[18] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. Deberta: decoding-enhanced bert with disentangled attention. In 9th International Conference on Learning Representations, 2021.

[19] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[20] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In Proceedings of the 7th International Conference on Learning Representations, 2019.


# BERT-CRF を用いた日本語機能表現意味ラベル付与

田所佑一平博順
大阪工業大学大学院
\{m1m22a21, hirotoshi.taira\}@oit.ac.jp

## 概要

複数の形態素から構成され，一つの機能語として 働く表現である機能表現は，モダリティ解析などの 応用タスクでも利用されており，機能表現解析の精度向上は，重要な課題である. 本研究では，解析モ デルとして，BERT-CRFを用いることで，日本語機能表現意味ラベル付与の精度向上を試みた. 評価実験の結果，BERT-CRF は既存モデルと比較して，高 い精度を達成し，機能表現意味ラベル付与において も有効であることを確認した。

## 1 はじめに

複数の形態素から構成され，一つの機能語として 働く表現は，「機能表現」と呼ばれ，文の意味に大き く関わっている。機能表現を正確に抽出し，意味ラ ベルの付与を行うことは，事実性解析やモダリティ 解析などの応用タスクでも重要である。佐野ら [1] は機能表現を考慮したモダリティを用いて, 文末述語を用いた 2 文間の接続関係推定を行っている．亀甲ら [2] は，将棋の解説文生成において，機能表現 を考慮した，モダリティ情報のアノテーションを 行っている. また, 友利ら [3] は, モダリティ表現認識と事象の事実性解析のマルチタスク学習を行 い，モダリティ情報の解析を行っている.

一方，様々な自然言語処理のタスクで，BERT [4] などの，大規模汎用言語モデルを利用した手法が 提案されており，系列ラベリングタスクにおい ても，優れた性能を達成している。田川ら [5] は，医療分野における日本語固有表現認識において, BERT-CRF [6] を用いた系列ラベリングタスクを行 い，優れた性能が得られることを報告している。本研究では，系列ラベリングタスクにおいて，大規模汎用言語モデルを用いた手法が有効であること に注目し, 系列ラベリングタスクの 1 つと見なすこ とができる，機能表現意味ラベル付与においても， BERT-CRF が有効であるかを検証する。これまで，日本語機能表現に対して系列ラベリングを行ってい る研究としては， CRFを用いた手法 [7] などがある. この CRF をべースラインモデルとし，事前学習済 みの BERT モデルに対して，ファインチューニング を行うことで，機能表現意味ラベル付与を行った。 CRF，BERT，BERT-CRFのそれぞれに対して実験を 行い，性能の比較を行った。

## 2 関連研究

本節では，日本語の機能表現に関する研究につい て述べる. 吉松ら [8] は，日本語機能表現の網羅的 な辞書である「つつじ」を作成している。また，土屋ら [9] は，機能表現の検出をチャンク同定問題み なし，機械学習を用いることで高い精度が得られる ことを示している. 機能表現に対するラベリング の研究としては，今村ら [10]が，機能表現辞書「つ つじ」と最尤パス探索を用いて，述部に対する機能表現にラベリングを行っている。岡ら [7] は，機能表現意味ラベルを付与したコーパスを作成し， そのコーパスに対して機能表現解析を行っている.文末述語における機能表現検出については，佐野 ら [1] が，文末述語解析システム「Panzer」を開発し ている.

また，系列ラベリングに関する研究としては，友利ら [3] が，モダリティ表現認識のマルチタスク学習において， CRF のみを用いた手法に対して，エン コーダに BERT，出力層に CRF 層を用いた手法が，有効であることを示している，田川ら [5] は，固有表現抽出タスクにおいて, CRF と BERT-CRF の比較 を行い，日本語においても BERT-CRF が有効である ことを確認している. BERT-CRF は，BERT の出力層に $\mathrm{CRF}$ を繋げたものであり，ラベルの制約を学習することができるため，単純な BERT と比較して 高い性能が期待できる.

## 3 BERT-CRF

## 3.1 CRF

CRF（Conditional Random Field）[11] は，系列ラベ リングタスクを解くことができる識別モデルであ る. 入力文の系列を $X=\left(x_{1}, x_{2}, \ldots, x_{n}\right)$, 出力ラべ ルの系列を $Y=\left(y_{1}, y_{2}, \ldots, y_{n}\right)$ とした際に， $X$ から $Y$ の系列を予測するモデルであり，条件付き確率 $P(Y \mid X)$ は，以下の式で表すことができる.

$
P(Y \mid X)=\frac{1}{Z_{X}} \exp \left(\sum_{i=1}^{N} \sum_{k=1}^{K} \lambda_{k} f_{k}\left(y_{i-1}, y_{i}, X\right)\right)
$

ここで， $f_{k}$ は素性関数， $\lambda_{k}$ は素性関数 $f_{k}$ に対する 重みである. また， $Z_{X}$ は，全系列の確率和を 1 にす るための正則化項であり，

$
Z_{X}=\sum_{Y} \exp \left(\sum_{i=1}^{N} \sum_{k=1}^{K} \lambda_{k} f_{k}\left(y_{i-1}, y_{i}, X\right)\right)
$

で表される. 入力文の系列 $X$ に対する最適なラベル $y^{*}$ は，以下の式で求めることができる.

$
y^{*}=\underset{Y}{\operatorname{argmax}} P(Y \mid X)
$

## 3.2 BERT

BERT [4] は，双方向エンコーダにより構成される 事前学習済みモデルである。事前学習済みの BERT に対して，ファインチューニングを行い，系列ラ ベリングタスクを解けるように調整を行う. 入力文の系列 $X=\left(x_{1}, x_{2}, \ldots, x_{n}\right)$ を BERT に入力し, 分散表現に変換する. 得られた系列の分散表現を Softmax を用いることで各系列のラベルの予測スコ アに変換する．予測スコアに対して，ビタビアル ゴリズムを用いることで，最終的なラベルの系列 $Y=\left(y_{1}, y_{2}, \ldots, y_{n}\right)$ を決定する.

## 3.3 BERT-CRF

BERT-CRF [6] は, BERT の出力層に CRF 層 を組み合わせたモデルである. 入力文の系列を $X=\left(x_{1}, x_{2}, \ldots, x_{n}\right)$, 出力ラベルの系列を $Y=\left(y_{1}, y_{2}, \ldots, y_{n}\right)$ とすると, 系列のスコアは以下 の式で求めることができる. BERT の出力スコア $P$ は，CRF 層に与えられる。ここで，A は遷移スコア を表す行列でり, $A_{i, j}$ は行列 $A$ の $(i, j)$ 要素を表す. また, $P_{i, y_{i}}$ は系列 $P$ の $i$ 番目の要素が, クラス $y_{i}$ で
あるスコアを表す

$
s(X, Y)=\sum_{i=0}^{n} A_{y_{i}, y_{i+1}}+\sum_{i=1}^{n} P_{i, y_{i}}
$

正しい出力ラベルの系列が得られるように，対数確率が最大となるように学習を行う.

$
\log (p(Y \mid X))=s(X, Y)-\log \left(\sum_{\tilde{Y} \in Y_{X}} e^{s(X, \tilde{Y})}\right)
$

ここで $Y_{X}$ は，ありうる全ての系列であり，ビタビ アルゴリズムを用いて最終的なラベルの系列を求 める.

## 4 評価実験

本節では，BERT-CRF を用いた日本語機能表現解析に対しての評価実験を行った結果について述 べる.

## 4.1 実験設定

評価実験には，「機能表現タグ付与コーパス」[12] （ver. 2.1a）の開発セットを用いた.このコーパス は，1,627 文からなり，文内のすべての機能表現に， IOB2 フォーマットで意味ラベルが付与されている.意味ラベルのクラス数としては， 67 種類であり，特殊なラベルとして，意味ラベルチャンクの一つ前の 系列に現れる C ラベルを含んでいる．また，Cラベ ルを除いた，意味ラベルが付与された機能表現の総数は，9,843 個である.

評価実験では，機能表現タグ付与コーパスを，訓練データ，検証データ，テストデータとしてそれぞ れ 8:1:1 に分割して使用した. 各手法で，実験条件 を揃えるため，同一の分割されたデータセットを利用し，シャッフルなどは行っていない. また，CRF， BERT，BERT-CRF のそれぞれの実験で，訓練データ とテストデータを揃えるために，CRF の実験の際に は，検証データは利用していない. 出力ラベルの形式としては IOB2 形式を使用している.

CRF の学習には，特徴量として，前後 2 トーク ンまでの表層形態素と品詞，品詞細分類を利用し た.また，CRF の実装には CRFsuite [13] を用いた。 BERT と BERT-CRF の実験には，事前学習済みモデ ルとして，東北大学の BERT-base を使用した. バッ チサイズを 32 ，学習率を $1 \times 10^{-5}$ として学習を行 い，検証データを用いて評価し，最も精度が高かっ たエポックのモデルをテストで使用した. 実験は， 10 分割交差検定で評価を行った.
表 1 実験結果

表 2 クラスごとの結果

 & B-CRF & ラベル & 頻度 & CRF &  & B-CRF & ラベル & 頻度 & CRF &  & B-CRF \\

## 4.2 評価手法

実験の評価には，適合率，再現率， $\mathrm{F}$ 值を使用し， ラベルのクラスとスパンが共に一致した場合に，正解とした. Cクラスは，機能表現意味ラベルではな いため，評価の際は除外した。

## 4.3 実験結果

CRF，BERT，BERT-CRF のそれぞれについて，10 交差検定を用いた場合の結果を，表 1 に示す. 実験 の結果，BERT-CRFが，適合率, 再現率, F1 のそれぞ れに対して，最も精度が高い結果となった。CRF と 比較して, BERT, BERT-CRF ではマイクロ平均と マクロ平均の両方で， $\mathrm{F}$ 值の向上がみられた. CRF と比較し，BERT では適合率が少し減少したものの,再現率が値が向上した. また，BERT-CRFでは適合率と再現率が，ともに向上しており，特に再現率
は， $\mathrm{CRF}$ と比較して大きく向上した. 今回使用した データセットは，クラスごとの要素数の偏りが大 きい. そのため, マクロ平均でも評価したところ, BERT-CRF は，適合率，再現率，F1 の全てにおいて 大きく改善しており，本タスクにおいて最も精度の 高いモデルであることがわかった.

10 交差検定を実施した結果における，各クラスで の精度の平均值を表 2 に示す. 各クラスの結果につ いても，ほとんどのクラスで，BERT-CRFを用いた 場合に，精度が高かった. 特に，クラスの要素数が 多い場合には, CRF と比較して BERT, BERT-CRF で $\mathrm{F}$ 值が改善する傾向にあった。一方，要素数が比較的少ない場合には, CRF と比較して BERT の $\mathrm{F}$ 值 が低くなる傾向があったが，BERT-CRF の F 值は，高くなる傾向があった.

## 4.4 考察

CRF と比較して，BERTを使用した実験では，要素数が多いクラスで，F 値が改善する傾向があった.逆に，要素数が少ないクラスでは， $\mathrm{F}$ 值が悪化する 傾向が見られた．BERTでは，チャンクに対するラ ベルをそれぞれ判定しているため，ラベルの遷移を 考慮した推論を行うことが難しく, 学習データ量が 少ないクラスでは $\mathrm{F}$ 值が悪化したと考えられる。ま た，適合率が減少したものの，再現率は改善してお り, CRF で検出できなかった意味ラベルが，検出で きるようになったと考えられる。

BERT-CRF の特徴としては，多くのクラスで $\mathrm{F}$ 値 が，改善していたことがあげられる．BERT の傾向 と同じく, 要素数が多いクラスでは, $\mathrm{F}$ 值が改善し ており，また改善している項目も多かった. CRF と 比較した際に，BERT では，要素数が少ない場合に， $\mathrm{F}$ 値が悪化する傾向がみられた。一方，BERT-CRF では，「付帯-続行」を除き，全てのクラスで $\mathrm{F}$ 值が 改善していた. BERT-CRFでは BERT の埋め込みを 用いることで，CRFでは検出できなかった意味ラべ ルが検出できるようになった．また， CRF 層を用い ることで，ラベルの遷移を学習し，学習データが少 ない場合に BERT で悪化していたクラスについて も, CRF と同程度かそれ以上の精度を達成すること ができたと考えられる.

各手法に共通して，正しく抽出できなかったラべ ルの例として, 同じ助動詞でも, 他の形態素と連結 することで，異なるラベルに変化するラベルなど があった．その例を表 3 に示す. 文末の「です」は 「判断」としてラベルが付与されていることが多い が，「事も無いです」では，一つの機能表現として 「不必要」のラベルが付与されている。 そのため, 各手法で「I-不必要」とラベリングするところを，「B判断」としてラベリングしている.「判断」の学習 データ量が多いのに対して，「不必要」のデータ量 が少ないため, 学習にバイアスが発生し, 正しく抽出できていないと考えられる。

## 5 おわりに

本稿では，機能表現タグ付与コーパスに対し て BERT-CRF を用いた機能表現意味ラベル抽出 を行い，有効性を検証した。実験の結果，BERT， BERT-CRF を用いた手法は， CRF を用いた手法 と比較して，有効であることが分かった. 特に，表 3 ラベリングエラー例

BERT-CRF では，再現率が大きく改善するととも に，学習データ量が少ないクラスについても精度が 改善し，より多くの意味ラベルを抽出できることが 分かった. しかし, 極端にデータ量が少ないクラス では，精度が低くなる場合もあるため，意味的に近 いクラスのデータを援用するなどの方法で，そのよ うなクラスの意味ラベル付与の精度を向上させるこ とも今後，検討する予定である。

## 参考文献

[1] 佐野正裕, 佐藤理史, 宮田玲. 文末述語における機能表現検出と文間接続関係推定への応用. 言語処理学会第 26 回年次大会発表論文集, pp. 1483-1486, 2020.

[2] 亀甲博貴, 松吉俊, 牛久敦, 笹田鉄郎, 村脇有吾, 鶴岡慶雅, 森信介. 将棋解説文への固有表現・モダリティ 情報アノテーション. 自然言語処理, Vol. 28, No. 3 , pp. 847-873, 2021.

[3] 友利涼, 村脇有吾, 松吉俊, 龟甲博貴, 森信介ほか. モ ダリティ表現認識・事象の事実性解析の同時学習.研究報告自然言語処理 (NL), Vol. 2019, No. 13, pp. $1-8,2019$.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapo-
lis, Minnesota, June 2019. Association for Computational Linguistics.

[5] 田川裕輝, 西埜徹, 谷口友紀, 大熊智子. 生成された読影所見の自動評価に向けた固有表現認識とモダリ ティ推定. 言語処理学会 第 26 回年次大会, 2020 .

[6] Fábio Souza, Rodrigo Nogueira, and Roberto Lotufo. Portuguese named entity recognition using bert-crf. arXiv preprint arXiv:1909.10649, 2019.

[7] Yudai Kamioka, Kazuya Narita, Junta Mizuno, Miwa Kanno, and Kentaro Inui. Semantic annotation of Japanese functional expressions and its impact on factuality analysis. In Proceedings of the 9th Linguistic Annotation Workshop, pp. 52-61, 2015.

[8] 松吉俊, 佐藤理史, 宇津呂武仁. 日本語機能表現辞書の編纂. 自然言語処理, Vol. 14, No. 5, pp. 123-146, 2007.

[9] 土屋雅稔, 注連隆夫, 高木俊宏, 内元清貴, 松吉俊,宇津呂武仁, 佐藤理史, 中川聖一. 機械学習を用い た日本語機能表現のチャンキング. 自然言語処理, Vol. 14, No. 1, pp. 111-138, 2007.

[10] 今村賢治, 泉朋子, 菊井玄一郎, 佐藤理史. 述部機能表現の意味ラベルタガー. 言語処理学会第 17 回年次大会発表論文集, pp. 308-311, 2011.

[11] John Lafferty, Andrew McCallum, and Fernando Pereira. Conditional random fields: Probabilistic models for segmenting and labeling sequence data. 2001.

[12] 機能表現タグ付与コーパス, (2022-12 閲 覧）. https://www.cl.ecei.tohoku.ac.jp/Open_ Resources-Japanese_FE_Corpus.html.

[13] Naoaki Okazaki. CRFsuite: a fast implementation of Conditional Random Fields (CRFs), 2007. http://www. chokkan.org/software/crfsuite/.