# テキスト穴埋めによる知識ベース対話システムの構築

薛強 滝口哲也 有木 康雄
1 神戸大学大学院 システム情報学研究科
\{xueqiang, takigu,ariki\}@stu.kobe-u.ac.jp

## 概要

近年，外部知識を用いる知識べース対話システム では，生成する応答文の一貫性と外部知識の利用能力を向上させるために，会話に関連する外部知識と 対話履歴を連結して深層学習モデルに入力する方法が提案されている. しかし，知識べース対話シス テムは検索された外部知識を利用することなく, 応答文を生成してしまうという問題がある．本研究で は，テキスト穴埋めタスクを用いることにより，知識ベース対話システムが常に外部知識を利用するこ とができる方法を提案する．実験により，テキスト 穴埋め手法を用いた知識べース対話システムは，正確性評価指標において最高値を示した。

## 1 はじめに

自然な応答を生成することができる雑談対話シ ステムの構築は，自然言語処理分野における挑戦的 な研究領域である. 近年, Microsoft $の$ DialoGPT [1] や, Google の Meena [2] など，人間同士の対話デー タを大量に収集して深層学習を行う生成べース対話 システムが知られている. しかし, 生成べース対話 システムの対話相手となる人間が，「今は何時です か」と尋ねた場合, 生成べースシステムは学習デー タに含まれていた古い情報をもとに会話を展開する ことになる.こういった最新の事実に基づかない応答文を生成する「幻想問題」が報告されている [3].「幻想問題」の改善を目指し，適切な外部知識を検索できる検索ベース対話システムと，生成ベース対話システムを統合した対話システムとして，外部知識を利用した知識べース対話システムの研究が近年注目を集めている。

一方，多くの知識べース対話システム $[4,5]$ では，学習段階において，検索された外部知識と対話履歴 を連結した形で深層学習モデルに入力し, 目標応答文を生成するように学習が行われている。しかし,推論段階において，検索された外部知識を入力して
いるにもかかわらず，これを無視して，入力した対話履歴のみに基づいて応答文を生成してしまうとい う問題が報告されている [6]. そこで，本研究では，知識ベース対話システムの推論段階において，検索 された外部知識が応答文に含まれるように，テキス 卜穴埋め手法を用いた知識ベース対話システムを提案する。

本稿では，知識ベース対話システムに基づいて， テキスト穴埋め手法を用いた深層学習モデルの学習段階と推論段階を述べた後，構築した知識べース対話システムの実験と評価について報告する.

## 2 関連研究

本節では本研究で用いる知識ベース対話システム のベースラインと，テキスト穴埋め手法について述 べる.

## 2.1 知識ベース対話システム

近年, 知識ベース対話システムが生成した応答文 に関して，一貫性と外部知識の利用能力を向上させ るために，対話に関連する外部知識と対話履歴を統合した会話背景を GRU [7] や GPT-2 [8] などの深層学習モデルに入力する.

しかし, 深層学習モデルは最大入力長があるた め，会話の進行により，徐々に増える会話背景も制限される必要がある. 会話背景に必要な入力空間 を節約するために， Galetzka らは異なる知識のエン ティティと対応する関係を連結することにより，検索された知識グラフをより簡潔にエンコードできる エンコード手法を提案した [4]. 本研究では, 以上述べたエンコード手法を用いる知識ベース対話シス テムをべースラインとする.

## 2.2 テキスト穴埋め

テキスト穴埋めタスクとは，空白スペースを含む 語句、文、または段落で構成されているテキストに おいて，空白スペースに欠落している語句を予測す

図 1 外部知識と対話データのエンコード. エンコードされた各種類の単語系列を異なる色で示す.

## るタスクである。

Donahue らは，任意位置にある複数の空白スペー スを含むテキスト入力に対して，欠落している目標 テキストを空白スペースの位置に連結して，深層学習モデルの出力とするテキスト穴埋め手法を提案し た [9]. このテキスト穴埋め手法を用いた深層学習 モデルは，客観評価と主観評価で最高値に達してい る. 本研究では，上に述べたテキスト穴埋め手法を 知識ベース対話システムに応用する。

## 3 知識ベース対話システムの構築

本節では深層学習モデルの学習段階と推論段階に おいて, テキスト穴埋め手法の応用により, 提案す る知識ベース対話システムの構築について述べる。

## 3.1 学習段階

本研究では, 深層学習モデルとして, DialoGPT モ デルを用いる. そのため, 深層学習モデルの学習段階では，DialoGPTの学習タスクと Donahue らのエ ンコード手法 [4] を参照し，外部知識と対話データ を以下のようにエンコードする。
- 外部知識のエンコード（図 1・(1)：検索された 外部知識は，各知識のエンティティと関係を連結して知識系列とする。次に異なる知識系列を ランダムに連結して単語系列(1)に変換する。

・対話履歴のエンコード（図 1・(2)(3)(4)）: 対話履歴内の各発話文をトークンの列からなる単語系列(2)(3)(4)に変換する．変換された各単語系列の 末尾に停止トークン<EOS>を追加する.

-目標応答文のマスク処理（図 1・(5)：まず，目標応答文をトークンの列からなる単語系列(5)に 変換する．次に，変換された単語系列(5)の長さ を $L$ とすると, 整数 $X$ と整数 $Y(1<X<Y<L)$
をランダムに選択する． $X$ 番から $Y$ 番までの単語系列を保留し（図 1 では， $X=5, Y=6$ ），それ 以外の単語系列をマスクトークン<MASK>に入 れ替える. 最後に，変換された単語系列(5)の末尾に停止トークン<EOS>を追加する.

・目標応答文のエンコード（図 1・6）：まず，目標応答文のマスク処理において，マスクトーク ンに入れ替えられた二つの単語系列の末尾に 停止トークン<EOS>を追加する。，次に，二つの 単語系列を順番に連結して単語系列(6)変換 する。

以上のようにエンコードされた単語系列を(1)～(6) の順番に連結して, 深層学習モデルの入力とする.深層学習モデルの学習タスクは，目標単語系列(6の 生成確率を最大化する.

## 3.2 推論段階

深層学習モデルの推論段階では，外部知識と対話履歴のエンコード，及び推論段階の出力を以下のよ うに行う。
- 外部知識と対話履歴のエンコード（図 1・(1)(2) (3)(4)：推論段階の入力データに対して，3.1 節 の学習段階と同じように単語系列(1)(2)(3)(4)に変換する。

・知識のマスク処理 (図 2・(5)：まず，検索された 外部知識に関して，異なる知識のエンティティ をランダムに一つ選択して，単語系列(5に変換 する. 次に，整数 $X$ と整数 $Y(0<X, Y<10)$ を ランダムに選択する。単語系列(5)の左方向と右方向に，X個と $Y$ 個のマスクトークン<MASK> を追加する. 最後に，単語系列(50末尾に停止 トークン<EOS>を追加する。

・穴埋め生成 (図 2・ (6) : 以上のようにエンコー ドされた単語系列を(1)～(5)の順番に連結して，深層学習モデルに入力する. 深層学習モデルは デコード戦略により，逐次的に単語系列(6)を 生成する (穴埋め生成).二つ目の停止トーク ンくEOS>を生成した時に，穴埋め生成を停止さ せる.
- 出力 (図 2-(7)：停止トークン<EOS>により,単語系列(6を二つ単語系列に分割し，単語系列 (5)の左部分と右部分のマスクトークン<MASK> に入れ替えて単語系列(7に変換する．単語系列 (7)を推論段階の出力とする.

図 2 推論段階における外部知識のエンコードと出力.

## 4 実験と評価

実験では，知識なし対話システム（生成ベース対話システム), ベースライン (知識ベース対話シス テム), 及びテキスト穴埋め手法を用いた知識べー ス対話システム（提案対話システム）を実験対象と する. 本節では, 深層学習モデルの学習段階と推論段階で用いるデータセット，パラメータの設定，及 び推論段階の実験評価について述べる.

## 4.1 データセット

OpenDialKG [10] は，本と映画についての推薦対話が含まれている雑談対話データセットである．話者は常に知識グラフに接続しているエンティティを 含む発話を行い，知識グラフの事実に基づいた推薦対話を行う．また，知識グラフとして複数ドメイン からなる Freebase の知識グラフを利用している. 本研究では, OpenDialKG の各対話に対して, 検索さ れた関連外部知識と OpenDialKG を統合したデータ セット [4]を利用する.

## 4.2 実験設定

本研究の深層学習モデルとして DialoGPT モデル を使用した. GPT-2 モデルをべースとした DialoGPT モデルは，Redditから抽出した対話セッションの大規模なコーパスで学習され, 自動評価と人間評価の 両方で最先端の性能を達成している. 表 1 に深層学習モデルのパラメータを示す.

表 1 深層学習モデルのパラメータ

## 4.3 実験評価

実験評価では，応答文の正解性，多様性の二つ の角度から応答文の質を評価する. 多様性の評価指標として, 応答文に含まれる単語数の平均を表 す Avg Len，応答文に含まれる n-gram の種類数を 表す DIST-n [11]を用いる. 正解性の評価指標とし $\tau$, 応答文と正解文の類似度を表す BLEU-n [12], NIST-n [13] を用いる.ここで，NIST-n は BLEU-nを ベースとした評価指標であるが，BLEU とは異な り，n-gram に対して情報量の大きさを用いて重み付 けを行うため，機能語よりも内容語の一致が重視さ れる.

表 2 に，各対話システムによって生成された応答文の評価結果を示す。表より，提案した対話システ ムは，正解性評価指標のスコアで全て最高値に達し た.これより，テキスト穴埋めタスクの有効性が確認できる。一方，提案手法は，多様性評価指標であ る Avg Len スコアで最高値に達したが，多様性評価指標である DIST-1 スコアで最低値になった. 提案手法による応答文の多様性の向上は, 今後の研究課題である.

表 3 に，各対話システムによって生成された応答文の例を示す. 表より，提案手法は検索された外部知識を正確に利用し，自然な応答文を生成できるこ とが確認できる。一方，知識べース対話システム は，外部知識が利用できていないが，対話履歴 1 に
表 2 各対話システムによって生成された応答文の評価結果

表 3 各対話システムによって生成された応答文の例. 検索された外部知識のエンティティを青色で示す.

対して，自然な応答文を生成するには，外部知識 1 が必要ではないことが考えられる．外部知識の必要性を判断できるモジュールの開発は今後の研究課題 である.

## 5 おわりに

本研究では，知識ベース対話システムは検索され た外部知識を利用せずに，応答文を生成するという 問題を改善することを目的として，テキスト穴埋め 手法を用いた知識ベース対話システムを提案した。提案した対話システムは常に外部知識を利用するこ とができる．実験より，提案した対話システムは正解性評価指標において最高値を得た。

## 参考文献

[1] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu and Bill Dolan. DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation, arXiv:1911.00536 (2019)

[2] Daniel Adiwardana, Minh-Thang Luong, David R. So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu and Quoc V. Le. Towards a Humanlike Open-Domain Chatbot (2020)

[3] Mojtaba Komeili, Kurt Shuster and Jason Weston. : InternetAugmented Dialogue Generation. arXiv:2107.07566. (2021)

[4] Fabian Galetzka, Jewgeni Rose, David Schlangen, Jens Lehmann Space Efficient Context Encoding for Non-Task-Oriented Dialogue Generation with Graph Attention Transformer Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural
Language Processing (Volume 1: Long Papers), 7028-7041 (2021)

[5] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Of Wikipedia: Knowledge-powered conversational agents. 7th International Conference on Learning Representations, ICLR 2019, pages 1 - 18.(2019)

[6] Jason Weston, Emily Dinan and Alexander H. Miller. : Retrieve and Refine: Improved Sequence Generation Models For Dialogue, 2018; arXiv:1808.04776. (2018)

[7] Kyunghyun Cho, Bart Van Merrienboer, Caglar Gul- .. cehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using RNN encoderdecoder for statistical machine translation. EMNLP 2014 - 2014 Conference on Empirical Methods in Natural Language Processing, Proceedings of the Conference, pages 1724 - 1734 (2014)

[8] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. OpenAI Blog, 1(8):9.(2019)

[9] Chris Donahue, Mina Lee and Percy Liang. : Enabling Language Models to Fill in the Blanks, arXiv:2005.05339 (2020)

[10] Seungwhan Moon, Pararth Shah, Anuj Kumar,and Rajen Subba. OpenDialKG: Explainable conversational reasoning with attention-based walks over knowledge graphs. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 845 - 854, Florence, Italy,(2019)

[11] Li, J., Galley, M., Brockett, C., Gao, J., and Dolan, B. : A Diversity-Promoting Objective Function for Neural Conversation Models, Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110 - 119 (2016)

[12] Kishore Papineniet al.,: Bleu: a Method for Automatic Evaluation of Machine Translation, Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, p311-318 (2002)

[13] George Doddington. Automatic evaluation of machine translation quality using n-gram cooccurrence statistics. In Proceedings of HLT (2002)


# ルールベースと BERT を用いた 日本語学習者向けの格助詞校正システムの提案

蔡 宇倫 荻野 正樹
関西大学
\{k540873, ogino\}@kansai-u. ac. jp

## 概要

本研究は、格助詞の誤りを余剩 (Unnecessary)・不足 (Missing)・置換 (Replacement)の 3 種類の誤りタイ プに分類し、ルールベースと BERT 言語モデルを用 いて、3 種類の誤りを検出・訂正する手法を提案す る。日本語学習者による日本語作文データベースを 用いて提案したシステムを評価した結果、従来のル 一ルベースによる手法より誤り検出率が約 $8.2 \%$ 、

誤り訂正率が約 $14.3 \%$ 上回っており、ルールベース と BERTを組み合わせた手法の文法誤り訂正におけ る有効性を検証することができた。

## 1 はじめに

グローバル化が進んでいる現在では、英語や日本語をはじめ、“外国語”を活用してコミュニケーシ ョンを図ることは決して珍しいことではない。笠原 ら [1]が NAIST 誤用コーパスから日本語学習者が誤 る箇所を調べた調查では、助詞の誤りが $24 \% を$ 占め ており、日本語学習者に対する助詞の校正支援の重要が高いと考えられる。しかし、既存の日本語向け の自動修正ツールは誤字脱字の検出や不適切な表現 の書き換えについての修正能力は高いが、日本語学習者によく見られる格助詞の誤りについては検出す らできないことが多い。

自然言語処理（NLP）において、入力したテキス トの文法的誤りを自動で検出して訂正をする問題は 「文法誤り訂正 (Grammatical Error Correction:

GEC ）」という [2]。文法誤り訂正の手法には、大 きく分けてルールベース、分類器ベース、機械翻訳 ベースの 3 つがある $[3]$ 。このうち、格フレームな どの情報を参照するルールベースの手法と、機械学習を用いた機械翻訳べースの手法は格助詞誤り訂正 の主流の手法である。

今枝ら [4] は入力文の格フレームと NTT 日本語語彙大系から得られる格フレームを比較することによ
り、格助詞誤りの検出および訂正をする手法を提案 した。その結果、 $75.6 \%$ の誤り検出率と、 $62.5 \%$ の 誤り訂正率を示した。南保ら [5] は構文解析によっ て得られた文節内の特徴から抽出した特徴スロット と助詞の組み合わせをルールとする。さらに帰納的学習を用いて得られた助詞選択ルール辞書を用いて 誤りの検出および校正の手法を提案した。この手法 は、今枝ら [4] と同等な結果を得られた。2011 年以降、ルールベースによる格助詞誤り訂正の手法はほ んどん提案されなかった。

近年、文法的に誤りを含む文から文法的に正しい 文への翻訳をする機械翻訳ベースが文法誤り訂正の 主流の手法となっている。日本語の助詞は英語の前置詞に相当する。英語の文法誤り訂正の研究におい て、翻訳機を使って前置詞の誤りを検出・訂正する 手法が多く提案されている。しかし、機械翻訳べー スでは膨大な学習データ（対訳データ）が必要であ り、日本語では、研究に使う対訳データの不足が問題になっている。この問題に対し、今村ら［6]は日本語平文コーパスの利用と擬似誤りペア文による対訳データの拡張という二つの提案を行って、小規模誤りデータからの日本語学習者作文の助詞誤り訂正 の手法を提案した。その結果、 $50.2 \%$ の適合率と 18. 9 \%再現率を得ることができた。小川ら [7] は機械翻訳機にコピー機構を組み込んだモデルを用いて 日本語学習者作文全般の誤りに対して訂正する手法 を提案している。この手法では SMT を用いた手法よ り性能の向上が認められたが、英語に適用した場合 と同等の性能は得られなかった。

本研究では対訳データを使わず、従来のルールベ 一スの参照情報と BERT [8]を組み合わせる手法を提案し、格助詞の余剩 (Unnecessary) ・不足 (Missin g) - 置換 (Replacement) という 3 種類の誤りの検出 および訂正をする。日本語学習者による日本語作文 データベース[9]を用いて提案したシステムを評価 する。

## 2 システムの概要

GEC の研究において、Errant [10]により文章の誤 りは余剰 (Unnecessary) ・不足 (Missing) ・置換 (Replacement)の 3 種類の誤りタイプに分類されて いる。本研究は格助詞の誤りを上記の 3 種類の誤り タイプに分類し、誤りタイプごとに校正手順を提案 する。

本システムは図 1 で示すように、日本語学習者に よる作文を入力対象として、格助詞の誤りを含む文 に対して、ルールベースと BERT を用いて、作文の 中に格助詞が「余剰」・「不足」・「置換」の箇所 を検出し、誤り箇所に対して、「削除」・「挿入」・「置換」の作業を行い、結果を出力する。

## 3 校正手順

図 1 システムの校正手順

## 3. 1 形態素解析

本研究では、Juman++[11]を用いて形態素解析を 行う。Juman++は言語モデル Recurrent Neural Network Language Model (RNNLM) を用いた高性能 の形態素解析システムである。単語の並びの意味的 な自然さを考慮した解析が可能である。図 1 の(1)で 入力した文節に対して、Juman++を用いて分かち書 き処理をする。分かち書き処理後の単語を形態素と し、表 1 のように品詞情報を付け加える。表 1 形態素解析の例

 \\

## 3.2 「剩余」の誤り検出・訂正

機械翻訳ベースによる手法では、翻訳機は「置換」のみに対して翻訳を行うのが一般的である。今村ら[6]は「不足」・「余剰」の誤りに対する「挿入」・「削除」の操作を空単語からある単語の置換 とある単語から空単語の置換とみなせる手法を提案 したが、「挿入」操作は全単語の間に插入される可能性があり、非常に計算コストがかかる操作である ため、体言の後ろのみ挿入するように制約をかけ た。

計算コストの制約とシステム構築の利便性を考え た上で、本システムは図 1 の(2)で得た分かち書き情報と詞品情報を用いて、文法的なルールに基づいて 「不足」と「余剩」の誤りを検出する。

## 表 2 「余剰」の誤り一部例

 \\

「余剩」の誤りを検出および訂正する手法として は、表 2 で挙げる「余剩」の誤りに対して、分かち 書き情報と詞品情報を用いて誤り箇所を検出する $[4,12]$ 。そして誤り箇所に対して削除処理を行い、「余剰」の誤りを訂正する。

## 3.3 「不足」の誤り検出・訂正

「不足」の誤りは 3.2 節で述べる「余剩」の誤り を検出する手法と同様に、文法的なルールに基づい て誤りを検出する。
格助詞は「体言」と「用言」の間に使用するのが 一般的である。そのほか、主語であることを示す場合や並立の関係を示寸場合に、「体言」と「体言」 の間に格助詞が使用される $[4]$ 。本システムでは 「体言」と「用言」または「体言」と「体言」の間 に格助詞が使用される状況を細分化し、図 1 の(2)で 得た分かち書き情報と詞品情報を用いて、格助詞が 「不足（脱落）」する箇所を検出する。従来のルールベースでは辞書から得られる格フレ 一ムなどの情報を参照し、「不足（脱落）」の格助詞を挿入するのが一般的だが、格フレームを構築す る作業量が膨大であり、全ての状況を考慮すること が難しい。そこで、本システムでは BERT 言語モデ ルを用いて、「不足（脱落）」の格助詞を推論の手法で挿入する。

BERT は 2018 年に Google から発表されたニュー ラル言語モデルであり、文脈を深く考慮した分散表現を生成できるのが特徵である。今回提案したシス テムは Transformers で提供されているクラス BERT For Masked LM を用いる。BERT For Masked LM は 一部を特殊トークン「MASK」に置き換えた文章に対 して、「MASK」に入る言葉を予測し、出力確率を出 すことができる。

格助詞が「不足（脱落）」する箇所を特殊トーク ン「MASK」に置き換えて、BERTによる得た出力確率の最も高い格助詞を挿入するという貣欲法 [8] が 存在するが。文に複数の誤りが含まれている場合、文の後ろの誤りが前の特殊トークンの確率判定にマ イナス効果を与えることがあるため、文頭から順に 「不足」する箇所を出力確率の最も高い格助詞で置 き換えても、最終的に文章全体の合計出力確率の最 も高いものが出力される保証はない。今の段階で は、まず貪欲法を使って、「不足（脱落）」の箇所 に出力確率の最も格助詞を挿入する。 3.4 節でビー ムサーチ法[13] で改めて訂正を行う。

## 3.4 「置換」の誤り検出 - 訂正

「置換」の誤りは BERT 言語モデルを用いて検出・訂正を行う。文の中の格助詞を特殊トークン 「MASK」に置き換えて、BERT によって得たスコア リストの上位結果をチェックすることにより、「置換」の誤りを検出することが可能である。

前節にも論じたように、貪欲法を用いて順に「置換」の格助詞を出力確率の最も高い格助詞に置き換 えても、最終的に合計確率が最も高いものが出力さ
れる保証はない。そこでビームサーチ法を使用す る。

$
\begin{gathered}
p_{i}=\frac{\exp \left(s_{i}\right)}{\sum_{j=1}^{n} \exp \left(s_{j}\right)} \\
p_{\text {tot }}=\sum_{k=1}^{N} p_{k} \\
p_{\text {best }}=\operatorname{MAX}\left(p_{\text {tot }}\right)
\end{gathered}
$

BERT For Masked LM の出力層では、式(1)に示寸通り、特殊トークン「MASK」の対する出力分類ス コア $s=\left(s_{1}, S_{2}, \ldots, S_{n}\right)$ に対して、Softmax 関数を適用 し、出力確率 $p=\left(p_{l}, p_{2}, \ldots, p_{n}\right)$ を得ることができ る。まず図 1 の(2)で得た詞品情報に基づいて、文節 の中の格助詞を順次に特殊トークン「MASK」で置き 換える。一個目の特殊トークンを出力確率 $p$ が上位 3 位の格助詞に置き換えて、3つの文章を作る。次 は得られた 3 つの文章に対して、次の特殊トークン に同じ処理を適用し、9つの文章を作る。そこで $N$個目の特殊トークンで得られた 9 つの文章ごとの合計確率 $p_{t o t}$ が式(2) に示す通り、各特殊トークンの 出力確率 $p$ の合計値である。9つの文章の中から $P_{t o t}$ が上位 3 位の文章を抽出し、それ以降の特殊卜 ークンに対して以上の処理を繰り返す。最終的に、式(3)に示す通り、合計確率の最も高い文章 $p_{\text {best }}$ を 正解として出力する。

図 2 ビームサーチ法の例

## 4 実験

本章では、作文対訳データベース (対訳作文 DB)

[9]を用いて提案したシステムに対して評価を行

う。対訳作文 DB は

(1)日本語学習者による日本語作文

(2)作文執筆者本人による(1)の母語訳

(3)本語教師等による（1)の添削（ただし一部のみ）

(4)作文執筆者・添削者の言語的履歴に関する情報 という 4 種類のデータを大量に収集し，相互に参照 することが可能な形で電子化したものである。

## 4. 1 実験条件

今回の実験は対訳作文 DB の日本語学習者による 日本語作文から、格助詞の誤りだけを含んで文法的 に修正可能な文を 100 文抽出して、実験データとし て用いる。日本語教師等による添削を正解データと する。抽出した文の中、正例が 179 箇所、誤用例が 124 箇所、合計 303 箇所の格助詞が使用されてい る。

## 4. 2 実験結果

実験結果は表 3、表 4 で示すように、179 箇所の正例の中、152 箇所が正の結果と判断されて、訂正を 行わず出力した。124 箇所の誤用例では、102 箇所が 誤の結果と判断されて、その中、 89 箇所が正しく訂正できて出力した。[4] と同様に検出・訂正の正答率 を検出率と訂正率として求めると、

検出率 $\cdots(152+102) / 303=83.8 \%$

訂正率 $\cdots(152+89) / 303=79.5 \%$

という結果が得られる。

表 3 誤りの検出結果

表 4 誤りの訂正結果

誤文節で評価した結果が表 5 で示すように、100 誤文節の中、 83 文の誤りが検出できて、 71 文が修正 できた。従って、文節に対する誤りの検出率が $83 \%$ 、誤りの訂正率が $71 \%$ という結果が得られる。

表 5 誤文の検出及び訂正結果

## 4.3 考察

本研究で提案したシステムの性能は, $[4,5]$ で提案されている手法と比較すると、誤り検出率で約 $8.2 \%$ 、誤り訂正率で約 $14.3 \%$ 上回っていた。「不足」と「置換」の誤り訂正は BERT For Masked LM を用いることで、格フーレムの構築手順も約まる。

しかし、

(1) 一部の文法的に正しくない文節に対して、 Juman++が正しく解析できないため、文法的な ルールに基づいて誤りを検出する時には、誤 りは検出できない。

(2) BERT For Masked LM の事前学習のデータは, ウィキペディアの記事であるため文章の固い 表現が多い。このため BERT を用いて文節を訂

る」の出力確率が高く、文節を正しく訂正で きない場合がある。上記の二つの問題が存在する。ルールベースの検出条件を細分化し、小説などの平文を用いて BERT For Masked LM に転移学習させることで、誤りの検出率及び訂正率の向上が期待できると考えられる。

## 5 おわりに

本研究は、日本語学習者が苦手とする格助詞の誤 りを題材に、格助詞の余剰 (Unnecessary) ・不足

(Missing) ・置換 (Replacement) の 3 種類の誤りタイ プに対するそれぞれの検出・訂正手法を提案した。

「余剩」の誤りには、形態素解析の結果に基づい て、文法的なルールを適用することにより誤りを検出・訂正する。「不足」の誤りは「余剰」の誤りと 同様に、文法的なルールを適用することにより誤り を検出する。訂正の段階では、BERT の推論結果を 用いた。訂正率が上がる上で格フーレムの構築手順 も約まった。「置換」の誤りはビームサーチ法によ る作文と比較することにより、誤りの検出・訂正が できた。

対訳作文 $\mathrm{DB}$ を用いて提案したシステムを評価し た結果、 $83.8 \%$ の誤り検出率と $79.5 \%$ 誤り訂正率が得られた。従来のルールベースによる手法よ り、誤り検出・訂正率を向上させることができた。機械翻訳ベースによる手法と比べて、対訳データを 使わずに、日本語の平文で構築できる利点がある。 ルールベースと BERT を組み合わせた手法の文法誤 り訂正における有効性を検証した。

## 参考文献

1. 笠原誠司, 藤野拓也, 小町守, 永田昌明, 松本裕治. 日本語学習者の誤り傾向を反映した格助詞訂正. 言語処理学会第 18 回年次大会, pp. 14-17, 2012.

2. Yu Wang, Yuelin Wang,Jie Liu,and Zhuo Liu. A compre- hensive survey of grammar error corr ection. arXiv preprint arXiv:2005.06600, 2020.

3. 水本智也. 自然言語処理による文法誤り訂正.人工知能 2018 年 33 巻 6 号, p. 893-900, 2018.

4. 今枝恒治, 河合敦夫, 石川裕司, 永田亮, 栘井文.日本語学習者の作文における格助詞の誤り検出と訂正. 情報処理学会研究報告. コンピュー 夕と教育研究会報告, No. 13, pp. 39-46, 2003.

5. 南保亮太, 乙武北斗, 荒木健治. 文節内の特徴を 用いた日本語助詞誤の自動検出・校正（語学学習支援・自動校正). 情報処理学会研究報告. 自然言語処理研究会報告, No. 94, pp. 107-112, 200 7.

6. 今村賢治, 齋藤邦子, 貞光九月, 西川仁. 小規模誤りデータからの日本語学習者作文の助詞誤 り訂正. 自然言語処理 2012 年 19 巻 5 号, pp. 381 $-400,2012$
7. 小川耀一朗, 山本 和英.日本語誤り訂正におけ る誤り傾向を考慮した擬似誤り生成.言語処理学会第 26 回年次大会, pp. 505-508, 2020.

8. 近江崇宏, 金田健太郎, 森長誠, 江間見亜利. BER Tによる自然言語処理入門. オーム社, 2021.

9. 作文対訳データベース. (引用日：2021 年 12 月 10 日.) https://mmsrv.ninjal.ac.jp/essay/

10. Christopher Bryant,Mariano Felice,Ted Briscoe.A utomatic Annotation and Evaluation of Error Ty pes for Grammatical Error Correction.In Associa tion for Computational Linguistics,pp793-805,20 17.

11. 日本語形態素解析システム JUMAN. (引用日：20 21 年 12 月 10 日. ) https://nlp.ist.i.kyoto-u.ac.jp/?J UMAN

12. 内田茂. 留学生の日本語作文に見られる助詞の 誤用について. 教育研究所紀要 34 号, pp. 45-5 0, 1998 .

13. 甫立健悟, 金子正弘, 勝又智, 小町守. 文法誤り 訂正における訂正度を考慮した多様な訂正文 の生成. 自然言語処理 2021 年 28 巻 2 号, pp. 428 $-449,2021$.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# FrameNet からの動詞階層構造の抽出

岩本蘭 1 小原京子 2,3
1 富士フイルムビジネスイノベーション株式会社 2 慶應義塾大学 ${ }^{3}$ 理研 AIP
ran.iwamoto.ihefujifilm.com ohara@hc.st.keio.ac.jp

## 概要

単語の階層構造は含意判定や情報抽出にとって 有用な情報である。しかし応用タスクでの使用に適 した動詞の階層構造に関する語彙資源は少ない。本研究では言語表現の意味をフレームを用いて記述 する語彙資源 FrameNet のフレーム間関係の 1 つで ある Inheritance に着目し、フレームの階層構造を可視化した。そして、フレームを喚起する英語/日本語の動詞を抽出し、動詞階層構造のデータセットを 作成した。また、階層構造の表現に適した Poincaré embedding を用いて英語/日本語動詞ペア間の階層構造の有無を判定するタスクを解き、 $70 \%$ 以上の F 值 を達成した。

## 1 はじめに

言語表現の背景にある常識や知識は自然言語処理 の応用タスクでの性能向上に無くてはならないも のである。その中でも、単語の階層構造、上位語下位語に関する知識はオントロジー構築 [1] や質問応答 [2]、意味検索 [3] にとって有用である。単語の階層構造を考慮したモデルを作成するため、単語の抽象性に関する語彙資源の作成 $[4,5,6]$ と階層構造を 埋め込むべクトル表現の開発 $[7,8]$ 、つまりデータ と手法の両面から研究が進められている。単語の中でも名詞の上位下位性に関するデータ セットは数多く存在するが、動詞については整備 が進んでいない。動詞の階層構造のデータセット として代表的なものとして WordNet $[4,5]$ がある。 WordNet では、communicate と talk、talk と whisper の ように、ある動詞と、その動詞より具体的な概念を 表す動詞 (troponym) の関係性が記述されている。し かし、WordNet の troponymy 関係では、関係構造が より複雑な部分ほど階層構造が正しく設定されてい ないという問題が指摘されている [9]。WordNet $の$名詞、動詞の階層構造を用いて語義曖昧性解消を 行った研究 [10] では、名詞に比べて動詞の語義曖昧性解消の性能が明らかに低い結果となっており、応用タスクに用いることができる動詞の階層構造の語彙資源としては十分ではないことが分かっている。

そこで我々は動詞の階層構造のデータセットを 作成するため、語彙資源として FrameNet [6] を用い た。本研究の貢献は次の 3 つである。
- FrameNet のフレーム間関係の 1 つである Inheritance に着目し、フレーム同士の階層構造 を可視化し大域的に観察した。

・フレーム間関係をもとに、英語/日本語フレーム ネットから動詞の階層構造のデータセットを作成した。

・作成したデータセットを用いて、動詞ペア間の 階層構造の有無を判定する、動詞階層構造の埋 め込みに関する新しいベンチマークタスクを考案した。

## 2 FrameNet

## 2.1 フレーム意味論

FrameNet は、言語表現が言語使用者の意識上に喚起する背景知識（フレーム）を用いて言語表現の意味を記述するフレーム意味論 [11] という言語学的枠組みに基づき、言語表現の意味をフレームを用いて 記述した語彙資源である。FrameNet は様々な言語 で作成されており、英語の他にも日本語 [12] やドイ ツ語 [13,14]、ブラジルポルトガル語 [15] などのフ レームネットが存在する。本論文では、フレーム意味論の枠組みに基づき作成された語彙資源全体を FrameNet と定義し、ある特定の言語の語彙資源を 指す場合はフレームネットと記述する。

「誰が」「何を」「どうする」のような、人が経験 するさまざまな状況や事象、物体に関する背景知識 をフレーム (Frame) と呼び、特定のフレームを喚起 する特定の語義を語彙単位 (Lexical Unit: LU) と定義 している。フレームは、それぞれのフレームに即

した具体的な意味役割であるフレーム要素 (Frame Element: FE）を持つ。また、それぞれのフレーム同士の関係はフレーム間関係 (Frame to Frame Relation) として定義されている。フレーム間関係は 9 種類存在し、あるフレームの要素を全て引き継ぐ、つまり フレーム同士がある状況とより具体化した状況の関係である Inheritance や、ある状況を別の視点から見 た (例えば、売買を売り手と買い手の側から見た)2 つのフレーム間の関係である Perspective on などが ある。

## 2.2 フレーム間関係 Inheritance

ここでは動詞の階層構造を抽出する際の手がかり となるフレーム間関係 Inheritance(継承) について説明する。あるフレームが別のフレームのより具体的 な状況を表している場合、2つのフレームの間には フレーム間関係 Inheritance が存在する。その際、親 フレームについての定義は全て子フレームについて も当てはまる。

FrameNet の構造と Inheritance 関係を持つフレー ムの例を図 1 に示す。ここでは Getting フレー ムと Commerce_buy フレームに着目している。商取引の中の一場面を買い手の立場から表現した Commerce_buy フレームは BUYER, MONey などの フレーム要素を持つ。Commerce_buy フレーム は Gettingフレームを継承 (Inherits from)してい る。つまり、Getting フレームは Commerce_buy フレームの親フレームである。Commerce_buy フレームを喚起する語彙単位は、動詞の buy や purchase などである。これらの動詞が主動詞として 文中に出現するとき、その文は Commerce_buy フ レームに関する意味を持つ。つまり、商取引を買 い手の立場から表現した意味を持つ。Getting フ レームを喚起する語彙単位として acquire や get など が挙げられる。

本研究では、ある 2 つのフレームが Inheritance 関係 (継承、上位下位関係)を持つとき、それらのフ レームを喚起する語彙単位同士も上位下位関係を持 つという仮定を置いた。その仮定をもとに英語/日本語フレームネットから動詞階層構造を抽出した。

## 3 FrameNet からの階層構造抽出

本章では FrameNet のフレーム間の Inheritance 関係を用いて動詞の上位下位関係を抽出する方法につ いて説明する。ここでは対象として英語/日本語フ

図 1 FrameNet の構造と Inheritance 関係を持つフレーム の例。Getting フレームと Commerce_buy フレームが Inheritance 関係を持つとき、それぞれの語彙単位 (LU) 同士が上位下位関係を持つと仮定する。

レームネットを用いているが、現状では他言語のフ レームネットの多くが英語フレームネットと同じ〉 レームとフレーム間関係を採用しているため、本論文の手法は多言語にも適用可能である。

## 3.1 継承関係を持つフレームの抽出

英語フレームネットから Inheritance 関係でつな がっているフレームを抽出した様子を図 2 に示す。英語フレームネットのバージョン 1.7 を使用し、グ ラフの可視化ツールとして Cytoscape [16] を用いた。 ノードが英語フレームネットの個々のフレームを表 し、エッジが Inheritance 関係を表す。

図2を見ると、上部に一番大きくかつ連結な部分 グラフが 1 つあり、下部に 2 つまたは 3 つのフレー ムが繋がった小さな部分グラフが多数確認できる。大きな連結グラフの存在から、FrameNet 内ではフ レーム同士は個々のフレームぺアの継承関係のみを 持つのではなく、あるフレームぺアのさらに上位の フレームにわたって多段の階層構造を形成している ことが分かる。これは FrameNet が多数の動詞間の 上位下位関係を定義していること、つまり動詞階層構造の語彙資源として活用できそうだということを 示す。

また、FrameNet 内のフレーム間関係の 1 つに着目 して全体を可視化、大域的に観察した研究は著者の

図 2 Inheritance 関係でつながっているフレーム。ノード がフレーム、エッジが Inheritance 関係を表す。FrameNet 内にはフレームの多段の階層構造が存在することが分 かる

知る限り存在しない。継承関係でつながっているフ レームを可視化したことによって、部分グラフごと にアノテータに似たフレームのアノテーションを依頼するなど、既存のフレームのアノテーションの確認にも活用できると考えている。

図 2 の上部、大きな連結グラフの中心部分を、 Inheritance 関係でつながったフレームの例として図 3 に示す。ここではEvent フレームが Getting フ レームや Coming_to_be など多数のフレームの親 フレームになっていることが分かる。また、Event フレームから Getting フレーム、Commerce_buy フレームと多段の継承関係があることが分かる。グ ラフ化することによって抽象的なフレームをより見 つけやすくなっている。

図 3 Inheritance 関係でつながったフレームの例。Event フレームは多数のフレームの親フレームである。

## 3.2 動詞階層構造抽出

節 3.1 で作成した Inheritance 関係を持つフレーム のネットワークから、一番大きな連結部分グラフを 取り出した。そして、それぞれのフレームの語彙単位 (ここでは動詞)を抽出して動詞階層構造のデータ セットを作成した。例えば、Inheritance 関係を持つ Getting フレームと Commerce_buy フレームの語彙単位 get と buyをノードとし、エッジでつなげる ことによりデータをグラフ形式に変換した。

ここで、フレーム同士の上位下位関係が存在する とフレーム内の語彙単位同士も上位下位関係を持つ という仮定を定性的に検証した。Inheritance 関係を 持つフレームのペアごとに語彙単位の例を挙げたも のを表 1 に示す。yell と sayや、“教える”と“言う” など、継承関係を持つフレームの多くが、語彙単位同士も上位下位関係を持つことが分かる。

抽出したフレーム数と語彙単位 (動詞) 数、上位語下位語のペア数を表 2 に示す。抽出した動詞を用い て実験を行う。

## 4 動詞階層構造埋め込み

本章では、作成した動詞の階層構造のデータセッ トを Poincaré embedding [7] に埋め込み、学習した 埋め込みを用いて英語/日本語フレームネットの 語彙単位間の上位下位関係の有無を判定する link prediction タスクを解く。

実験の目的は次の 2 つである。

・フレームネットから作成した動詞の階層構造 データセットが機械学習可能な構造を持つデー タであることを確認する。

・動詞の階層構造埋め込みのベンチマークタスク を提案する。
表 1 英語/日本語フレームネットから抽出した、継承関係を持つフレームとその語彙単位 (動詞) の例

 &  & 子フレーム & 親フレーム \\

英語 & yell & say & Communication_noise & Communication \\
英語 & wash & $d o$ & Grooming & Intentionally_affect \\
英語 & jump & $d o$ & Attack & Intentionally_affect \\
英語 & eat & take & Ingestion & Ingest_substance \\
日本語 & 売る & 与える & Commerce_sell & Giving \\
日本語 & 教える & 言う & Telling & Statement \\
日本語 & 飛ぶ & 行う & Self_motion & Motion \\
日本語 & 作り上げる & 作る & Intentionally_create & Creating \\
日本語 & 走り去る & 動く & Self_motion & Motion \\

表 2 英語/日本語フレームネットから抽出したデータ数

## 4.1 モデル/評価

動詞階層構造を埋め込むために、双曲空間を利用 し低次元の分散表現を作成する手法である Poincaré embedding を使用した。WordNetを始めとした教師 あり上位語下位語判定タスクでよく用いられる。英語/日本語フレームネットそれぞれから抽出した動詞の上位下位語ペアで 2 次元の Poincaré embedding を学習した。学習ライブラリとして gensim [17]を使用、epoch数は 500-50000 の間でチューニングした。

評価タスクとして、単語をノードとするグラフか ら単語を 2 つ取り出し、単語ぺアがエッジで結ばれ ているか (上位下位関係を持つか) を予測する link prediction タスクを用いた。本研究では英語/日本語 フレームネットで link predictionを行う。ある単語 ペアが分散表現内でノルムの差が一定以上かつ類似度が一定以上の時、上位下位関係を持つとした。検証/テストデータとして英語フレームネットは正例負例 10000 ペアずつ、日本語は 3000 ペアずつを無作為に抽出し、評価尺度として F1 スコアを用いた。

## 4.2 実験結果

実験結果を表 3 に示す。英語/日本語フレームネッ ト共に、単語ペア間の上位下位関係の有無を 7 割以上の確率で予測できたことから、作成した動詞の階層構造のデータセットは機械学習可能な構造になっ ていることが確認できた。表 3 英語/日本語フレームネット単語ペアの上位下位関係を判定する二値分類タスクの実験結果

## 5 結論

本研究では FrameNet のフレーム間関係の一つで ある Inheritance に着目し、フレーム同士の階層構造を可視化した。また、それらのフレームを喚起 する動詞を用いて英語/日本語の動詞階層構造の データセットを作成した。作成したデータセットで Poincaré embedding を学習し、ある動詞ペアが上位下位関係を持つかを判定する 2 値分類タスクで両言語共に 7 割以上の精度を達成した。このことから、 フレームネットから作成したデータセットは機械学習が可能な構造のデータであること、また動詞の上位下位関係を分散表現に埋め込めていることが確認 できた。フレーム意味論では、特に日常語に関して は言語や文化に依存しないフレームが多く存在する としているため、本手法は英語、日本語以外の多言語フレームネットにも適用可能である。

今後の展望として、動詞の階層構造の知識の応用 タスクへの適用が挙げられる。名詞の階層構造の情報が応用タスクにとって有用であるという研究 [10] は存在するが、動詞に関しては階層構造データの整備が不十分なため知識を応用タスクに埋め込む段階 まで至っていない。本研究で作成した動詞の階層構造のデータセットと、埋め込みの精度を測るための ベンチマークを手掛かりに、動詞知識活用の研究を 加速させていきたい。

## 参考文献

[1] Paola Velardi, Stefano Faralli, and Roberto Navigli. OntoLearn Reloaded: A Graph-Based Algorithm for Taxonomy Induction. Computational Linguistics, Vol. 39, No. 3, pp. 665-707, 092013.

[2] Mohamed Yahya, Klaus Berberich, Shady Elbassuoni, and Gerhard Weikum. Robust question answering over the web of linked data. In Proceedings of the 22nd ACM International Conference on Information amp; Knowledge Management, CIKM '13, p. 1107-1116, New York, NY, USA, 2013. Association for Computing Machinery.

[3] Johannes Hoffart, Dragan Milchevski, and Gerhard Weikum. Stics: Searching with strings, things, and cats. In Proceedings of the 37th International ACM SIGIR Conference on Research amp; Development in Information Retrieval, SIGIR'14, p. 1247-1248, New York, NY, USA, 2014. Association for Computing Machinery.

[4] Christiane Fellbaum. A Semantic Network of English: The Mother of All WordNets. Comput. Humanit., Vol. 32, No. 2-3, pp. 209-220, 1998.

[5] George A. Miller. Wordnet: A lexical database for english. Commun. ACM, Vol. 38, No. 11, p. 39-41, nov 1995.

[6] Collin F. Baker, Charles J. Fillmore, and John B. Lowe. The berkeley framenet project. In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics - Volume 1, ACL '98/COLING '98, p. 86-90, USA, 1998. Association for Computational Linguistics.

[7] Maximillian Nickel and Douwe Kiela. Poincaré embeddings for learning hierarchical representations. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[8] 岩本蘭, 小比田涼介, 和地瞭良. 極座標を用いた階層構造埋め込み. 言語処理学会第 27 回年次大会予稿集, 2021.

[9] Tom Richens. Anomalies in the WordNet verb hierarchy. In Proceedings of the 22nd International Conference on Computational Linguistics (Coling 2008), pp. 729-736, Manchester, UK, August 2008. Coling 2008 Organizing Committee.

[10] Satanjeev Banerjee and Ted Pedersen. Extended gloss overlaps as a measure of semantic relatedness. In Proceedings of the 18th International Joint Conference on Artificial Intelligence, IJCAI'03, p. 805-810, San Francisco, CA, USA, 2003. Morgan Kaufmann Publishers Inc.

[11] Charles J. Fillmore. Frame semantics and the nature of language*. Annals of the New York Academy of Sciences, Vol. 280, No. 1, pp. 20-32, 1976.

[12] 小原京子, 河原大輔, 笹野遼平, 関根聡. 集合知を用い た大規模意味的フレーム知識の構築. 言語処理学会第 27 回年次大会予稿集, 2021 .

[13] Aljoscha Burchardt, Katrin Erk, Anette Frank, Andrea Kowalski, Sebastian Padó, and Manfred Pinkal. The SALSA corpus: a German corpus resource for lexical semantics. In Proceedings of the Fifth International Conference on Language Resources and Evaluation (LREC'06), Genoa, Italy, May 2006. European Language Resources Association (ELRA).

[14] Alexander Ziem and Hans C Boas. Towards a constructicon for german. In 2017 AAAI Spring Symposium Series on Computational Construction Grammar and Natural Language Understanding, Vol. SS-17-02, pp. 274-277, 2017.

[15] Tiago T. Torrent, Maria Margarida M. Salomão, Fernanda C. A. Campos, Regina M. M. Braga, Ely E. S. Matos, Maucha A. Gamonal, Julia A. Gonçalves, Bruno C. P. Souza, Daniela S. Gomes, and Simone R. Peron. Copa 2014 FrameNet brasil: a frame-based trilingual electronic dictionary for the football world cup. In Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics: System Demonstrations, pp. 10-14, Dublin, Ireland, August 2014. Dublin City University and Association for Computational Linguistics.

[16] Paul Shannon, Andrew Markiel, Owen Ozier, Nitin S Baliga, Jonathan T Wang, Daniel Ramage, Nada Amin, Benno Schwikowski, and Trey Ideker. Cytoscape: a software environment for integrated models of biomolecular interaction networks. Genome research, Vol. 13, No. 11, pp. 2498-2504, 2003.

[17] Radim Rehurek and Petr Sojka. Gensim-python framework for vector space modelling. NLP Centre, Faculty of Informatics, Masaryk University, Brno, Czech Republic, Vol. 3, No. 2, 2011.


# 終助詞ワのアノテーションとガイドライン

渡邊花恋・秋根紗香・井坂春奈・金文慧・福田禹子（九州大学文学部）

原田祐介（九州大学大学院人文科学府）・上山あゆみ（九州大学大学院人文科学研究院）
## 概要

「わ」という語は、終助詞の「わ」、「〜わ〜 わ」のように様々な用法を持っている。このよう な「わ」のさまざまな用法について、「驚き・程度の強調」、「理由・説明」、「関西弁」、「女性語」、「古典語」、「意見の強調」の6つに分類し、ガイドラインとフローチャートを作成し た。実際にこのガイドラインとフローチャートに 沿って、『現代日本語書き言葉均衡コーパス』 (BCCWJ) によってアノテーションを試み、カ ツパ值を計算することで、ある程度信頼性のある ガイドラインが作成できたと結論づけた。

## 1. はじめに

ワという語は、『現代日本語書き言葉均衡コー パス』 (BCCWJ) において、関西弁や女性語に付 き、終助詞として用いられる一方、「〜わ〜わ」 として使用される例もあり、その意味、機能は多義にわたっている。コーパスによる検索の有用性 を高めるためには、これらの用法の違いがアノテ ーションによって適切に区別されていることが望 ましい。そのためには、必要に応じて分類のガイ ドラインを作成することが有用である。本発表で は、ワの様々な用法について分類ガイドラインを 作成するにあたり、どのような問題があったかを 明らかにした上で、今回作成した分類ガイドライ ンに基づいて行われた、実際のアノテーションの 結果を述べる。

## 2. ワの分類ガイドライン

まずここで、ガイドラインを示し、それぞれの 分類について、その特徴を述べる。以下、特に記載がないものは全て『現代日本語書 き言葉均衡コーパス』 (BCCWJ) からの引用であ る。

 \\

## 3. 代表的な例文と問題になりうる点

## 3.1.「a.驚き・程度の強調」について

「a.驚き・程度の強調」の代表的な例文は、次に 示す通りである。倉庫を色々と物色したらあるわあ るわで、不用品とかオモチャとか
本とか服なんかをドンドン出品し たら売れる

(1)は「あるわ」を繰り返すことで、倉庫に想像以上に不用品があったことを強調しするとともに、 そのことに対する驚きを表す。

## 3.2.「b.理由・説明」について

$「 \mathrm{~b}$. 理由・説明」の代表的な例文は、次に示す通 りである。

こなすだけ仕事が増えるわ、責任 を持たされるわ、でいいこと無い なと最近思えてきました。

(2)は「いいこと無いな」と思うようになった理由を「わ」の前で累加的に用いて説明している。 この用法では、「わ」の前にくる言葉は異なって いる。

## 3.3. 「c.関西弁」について

「c.関西弁」の代表的な例文は、次に示す通りで ある。

(3)

a. 昔、やくざの組員やったからな ア、こんな黒い服が似合うんかも しれへんわ。

b. 気ィのよわいこと、いわんかて、 よかったんやわ。

(3)aと(3)bともに、文脈からも判断できるよう に、関西弁の語尾で用いられる「わ」である。主 に、「〜んわ」、「〜やわ」、「〜わな」の形で あることが多い。

## 3.4.「d.女性語」について

「d.女性語」の代表的な例文は、次に示す通りで ある。

(4) a. 女の手帳なんかのぞくもんじゃな いわよ。

b.「それにしても、よく、正解をい い当てられなかったわね。」 (4)a と(4)bともに、上品で女性らしい印象を与 える女性語の用法である。主に、「〜わね」、「〜 わよ」の形であることが多く、上昇調のイントネ ーションを伴う。この分類では、主語を女性とは 限定しない。

## 3.5. 「e.古典語」について

「e.古典語」の代表的な例文は、次に示す通りで ある。

$
\begin{aligned}
& \text { 敵にうしろを見せてにげだすなど } \\
& \text { とは、こいつは、いかにも近衛銃 } \\
& \text { 士のやりそうなことだわい。 }
\end{aligned}
$

(5)のように、古めかしい言い回しをする際の 「わ」は古典語に分類される。主に「〜わい」の 形であり、主語が男性であることが多い。現代は あまり使われない。

## 3.6.「f.意見の強調」について

「f.意見の強調」の代表的な例文は、次に示す通 りである。前に、つき合った女、金沢出身や ったもん。見るからに能登半島っ て感じで、きれいやったわ〜。

「おれ帰るわ。」といってスンシ ンが立ち上がった。

(6)のようにある事象に対する感動・詠嘆など の感情を込めて強調する。 また、(7)のように、「わ」の前に自分の考え や判断を述べ、その意見を強調する場合もこ の分類に入る。

## 3.7. 問題点

今回の分類案の問題点としては、「c.関西弁」と 「d.女性語」と「f.意見の強調」間でブレが生じる ことである。例文の中に分かりやすい表現や、情報があれば、スムーズに分類できる。分かりやす い例を用いると、「ですわ」は「. 関西弁」にも「d.女性語」にも使用される表現であるため、ブレが 生じるものの一つである。

(8)のように、どうしても文を読む人の解釈でイン トネーションが変わり、それに応じて分類が変わ ってしまう、という問題点を解決するための検討 が必要である。

## 4. アノテーション結果

『現代日本語書き言葉均衡コーパス』(BCCWJ) から、書字形出現形が「わ」で、品詞の中分類が 「助詞-終助詞」であるもの含んだ例文 500 件を抽出し、上記の分類ガイドラインにしたがって、実際にアノテーションを行ってもらった。九州大学文学部の分類に関与していない学生 2 人がそれぞ れアノテーションを行い、その結果からカッパ値 を計算したところ、約 0.88 となった。アノテータ 間でぶれの少ないある程度信頼性のあるガイド ラインが作成できたことになる。

今後、ずれの見られた「c.関西弁」、「d.女性語」、

「g.主張・判断」を中に、さらに検討を重初てい きたい。

## 参照文献

岡本牧子・氏原康子(2008)『くらべてわかる日本語文型辞典』,324-325.Jリサーチ出版

日本語記述文法研究会 $(2008)$ 『現代日本語文法 6 第 11 部複文』,278.くろしお出版

松崎彩子(2017)「終助詞「わ」の歴史的変遷につい $\tau$ : 後期江戸語から明治大正期を中心に」，『言語の研究』 3 号 : $1-3$. 首都大学東京


# yamaMomo : Sudachi 同義語辞書による 日本語分散表現の評価用データセットの作成

野口 夏希 ${ }^{1}$ 勝田 哲弘 ${ }^{2}$ 山村 崇 ${ }^{2}$ 高岡 一馬 2 内田 佳孝 ${ }^{2}$
1 愛媛大学 2 株式会社ワークスアプリケーションズ・エンタープライズ
n_noguchi@ai.cs.ehime-u.ac.jp
\{katsuta_a, yamamura_t, takaoka_k, uchida_yo\}@worksap.co.jp

## 概要

分散表現の評価のうち内的評価では，単語間の類似度や意味に関係がある単語を正しく類推できるか を評価するタスクが特に注目され，日本語でもデー タセットが作られている.しかし他の種類の内的評価タスクではデータセットが不足している.

本研究では表記摇れや略語・略称，カテゴリの類似度に関する内的評価タスクに注目し，Sudachi 同義語辞書を用いてデータセットを作成した. またこ のデータセットで評価を行い，コーパスや形態素解析に起因する分散表現モデルの違いを確認した.

## 1 はじめに

分散表現の評価タスクには内的評価と外的評価が ある. 内的評価は単語分散表現の性能を直接評価し，外的評価は実際のタスクに単語分散表現を使って 評価するものである. Bakarov [1] によると内的評価 は, Word Semantic Similarity, Word Analogy, Thematic Fit, Concept Categorization, Synonym Detection, Outlier Word Detection の 6 つのタスクに分類表記ゆれ.

既存の日本語分散表現のデータセットには単語の 意味がどれほど近いかを指す類似度や，どれほど関連するかを指す関連度の評価をするものがある [2] が、他の内的評価タスクのためのデータセットは不足している.

本研究では Outlier Word Detection と Concept Categorization のうち, 略語・略称や表記摇れといった同義語間における類似度や，単語の属する分野に注目 し, Sudachi 同義語辞書 [3] を用いて日本語分散表現 の評価用データを作成した。

Sudachi 同義語辞書は Sudachi 形態素辞書に人手で 同義語関係を付与した辞書である. 詳細化された同義語関係として略語・略称であるかを示す略語・略称情報，異表記，翻字，誤字など表記摇れの種別を 示す情報，単語がどのような概念に属するかを示す 分野情報が付与されている.

本研究の貢献は以下の 3 つである. (1) 日本語の データセットになかったタスクに着目したデータ セット及び評価指標の作成 (2) 詳細な同義関係 （代表表記と表記摇れ）や分野情報が評価できる データセットの作成 (3) 本論文で作成したデータ セットによる各モデルの評価.

## 2 先行研究

Bakarov [1] によると，内的評価のタスクは 6 種に 分類される.

英語の Outlier Word Detection のためのデータセッ トである The 8-8-8 outlier detection dataset [4] では,単語集合の中から $\cos$ 類似度を用いて単語ベクトル の距離を測ることで outlierを選択している. 英語の Concept Categorization [5] のためのデータセットであ る ESSLLI-2008 [6] では，単語集合をクラスタリン グツールキットを用いてクラスタリングすることで 単語集合をカテゴリごとに分類している。

しかし, 日本語では 6 のタスクのうち, Word Semantic Similarity [2,7, 8, 9], Word Analogy [8]のデー タセットが公開されているに留まる。

## 3 データセットの作成と評価

本実験では，Outlier Word Detection と Concept Categorization のデータセットの作成に, Sudachi 同義語辞書1) [3] を使用した. またデータセットに含める 単語には，評価対象となる複数の分散表現モデルで 共通して出現する語を選択した. 共通する語をでき るだけ多くするため，分散表現モデルは大規模な chiVe [10], nwjc2vec [11], 朝日新聞単語ベクトル [12],

1) https://raw.githubusercontent.com/WorksApplications/ SudachiDict/develop/src/main/text/synonyms.txt

WikiSudachiVec, 日本語 Wikipedia エンティティベク トル [13] の 5 つを使用した. WikiSudachiVec はコー パスに日本語版 Wikipedia, 形態素解析に Sudachi (C 単位）を用いて学習された日本語分散表現である。

## 3.1 Outlier Word Detection

Outlier Word Detection は，単語集合 $W$ が与えられ たときに，単語集合内の残りのグループに属さない outlier の単語 $w_{o}$ を推定するタスクである. 本研究 では, Sudachi 同義語辞書内で定義されている 2 単語 の同義語ペア集合 $S$ の各ペア $s=\left.\{w_{s_{1}}, w_{s_{2}}\right.\} \in S$ に, $s$ に対して同義語ではないランダムな単語 $w_{o}$ を加 えた $W_{s}^{o}=\left.\{w_{s_{1}}, w_{s_{2}}, w_{o}\right.\}$ を作成する.

同義語ペア $s$ の 2 単語は, Sudachi 同義語辞書にお いて，代表語に対して表記摇れや略語・略称として 定義されている同義語関係にあるものを選んだ. 表記摇れの中で，異表記（送り仮名の有無のような日本語の表記摇れ）と翻字関係（日本語の単語が英単語で書かれているような表記摇れ）を区別する.こ れにより，モデルがどの程度表記摇れに頑健である かだけでなく，言語間での表記摇れはあまり区別で きないなどの，詳細な評価もできると考えられる。 これらの略称の表記摇れを評価することで，略称が 出現しやすいようなドメインの文書に対するモデル の有効性などを評価できると考えられる。

また, outlierの単語の選び方によっては推定が容易であるような単語のみが選ばれる可能性がある. これを回避するために，各同義語ぺア $s$ に対して $k$個の異なる outlierの単語 $\left.\{w_{o_{1}}, \ldots, w_{o_{k}}\right.\}$ をそれぞれ追加したとき，すべての組み合わせ $X_{s}=\left.\{W_{s}^{o}, \ldots, W_{s}^{o_{k}}\right.\}$ で outlier が推定できた割合で評価する. 本研究では $k=10$ とし, $s$ に対して同義語ではないランダムな 10 単語を outlier として選択した. 表 1 に具体例を示 す. 作成した同義語ぺアの合計 $|S|$ は，異表記が 313 件，翻字関係が 859 件，略称が 182 件となった.

次に，このデータセットを使った分散表現の評価方法について述べる. 単語集合 $W$ 内のある単語 $w$ が $w_{o}$ であるか推定する方法として, 式 (1) から他のす べての単語 $W \backslash\{w\}$ との類似度 $\operatorname{score}_{W}(w)$ を求め,最も類似度が低い単語 $w$ を $w_{o}$ と推定する。

$
\operatorname{score}_{W}(w)=\frac{1}{|W|-1} \sum_{w_{j} \in W \backslash\{w\}} \operatorname{sim}\left(w, w_{j}\right)
$

ここで， $\operatorname{sim}(\cdot)$ は単語間の類似度を示し, 先行研究 [4] に倣ってコサイン類似度を用いた。単語集合 $W$ において $w_{o}$ が正しく推定できたとき に 1 (それ以外は 0 ) をとる関数 $T P(W)$ と，すべての outlier の組み合わせ $X_{S}$ において $w_{o}$ が正しく推定で きたときに 1 (それ以外は 0 )をとる関数 $T P_{\text {all }}(X)$ を それぞれ式 $(2,3)$ のように定義すると，

$
\begin{gathered}
T P(W)= \begin{cases}1, & \text { if } \arg \min _{w \in W} \operatorname{score}_{W}(w)=\left.\{w_{o}\right.\} \\
0, & \text { otherwise. }\end{cases} \\
T P_{\text {all }}\left(X_{s}\right)= \begin{cases}1, & \text { if } \sum_{W \in X_{s}} T P(W)=k \\
0, & \text { otherwise. }\end{cases}
\end{gathered}
$

すべての同義語ぺアに対する正解率 Acc. は式 (4) の ように定義される.

$
\text { Acc. }=\frac{\sum_{s \in S} T P_{\text {all }}\left(X_{S}\right)}{|S|}
$

## 3.2 Concept Categorization

Concept Categorization は，単語集合 $W$ が与えら れたときに，異なるカテゴリの部分集合ごとに 分割するタスクである. 本研究では Sudachi 同義語辞書の 31 種類の分野情報（IT，キャラなど） をカテゴリとし，2 つカテゴリ $i, j$ を選び，各カ テゴリの 2 単語ずつあわせた 4 単語のサンプル $W_{i j}=\left.\{w_{i_{1}}, w_{i_{2}}, w_{j_{1}}, w_{j_{2}} \mid i \neq j\right.\}$ を作成し, すべての サンプルの集合を $D$ と定義する。具体例を表 2 に 示す. 作成したすべてのサンプルの合計 $|D|$ は, 104, 625 件となった.

次に，このデータセットを使った分散表現の 評価方法について述べる. 単語集合 $W$ に対して，各単語 $w$ の埋め込み表現を素性としてクラスタ リングを行い，カテゴリごとに分類できたかを 評価する.クラスタリングのアルゴリズムには， AgglomerativeClustering2)を用い，パラメータとして affinity は cosine を，linkage は average を指定する. 先行研究 [5] では，クラスタリングの評価として各ク ラスタが単一のカテゴリから構成されている割合を 表す purityを用いているが，本研究ではデータセッ ト $D$ に対してどのくらいのサンプルで正解できた かを評価する．正しくクラスタリングできたサンプ ルの集合を $D_{\text {correct }}$ とすると，正解率 Acc. は式（5） のように定義される。

2) https://scikit-learn.org/stable/modules/generated/ sklearn.cluster. AgglomerativeClustering. html
表 1 Outlier Word Detection のデータの例

 \\

$
\text { Acc. }=\frac{\left|D_{\text {correct }}\right|}{|D|}
$

## 4 実験設定

3.1 項と 3.2 項で構築した Outlier Word Detection と Concept Categorization のデータセットを用いて分散表現の評価を行った. 使用したモデルはコーパスや 形態素解析器による差異を分析するために、以下の 13 個を用意した.

chiVe [10]: chiVe_mc5, chiVe_mc15, chiVe_mc90

コーパスに NWJC [14], 形態素解析に Sudachi を用い て学習した分散表現であり，min-countが異なる 3 つ のモデルを使用する。

nwjc2vec [11] : nwjc2vec

コーパスに NWJC, 形態素解析に MeCabを用いて学習した分散表現を使用する。

日本語 Wikipedia エンティティベクトル [13] :

## entityVec

コーパスに Wikipedia, 形態素解析に MeCabを用い て学習した分散表現を使用する。

朝日新聞単語ベクトル [12]：A-CBOW, A-CBOW-R, A-GloVe, A-GloVe-R, A-Skip, A-SKip-R

コーパスに新聞記事，形態素解析に MeCabを用 いて学習した分散表現. 3 つの学習アルゴリズム (CBOW, Skip-Gram, GloVe) によって学習したモデル と, Retrofitting によってファインチューニングされ た計 6 つのモデルを使用する.

WikiSudachiVec: WikiSuda-A, WikiSuda-C

コーパスに Wikipedia, 形態素解析に Sudachi (それぞ れ A 単位, C 単位）を用いて学習した分散表現を使用する.

Outlier Word Detection や Concept Categorization タ スクによって各モデルが表記摇れや分野情報をコー パスから学習できているかを評価する。

## 5 実験結果

表 3 に実験結果を示す.

## 5.1 実験 1 : Outlier Word Detection

Outlier Word Detection の異表記と略称では全体的 に chiVe が高い性能を示した. データセットのもと になった Sudachi 同義語辞書と訓練コーパスの分割単位が一致していることが影響したと考えられ る. 翻字関係は chiVe と entityVec の正解率が高かっ た. 全モデルを通じて表記種別 (カタカナかアル ファベット)だけをみて誤判別する傾向が目立った. chiVe は形態素解析に用いた Sudachi の正規化によっ て, 文脈から翻字関係の表記摇れが学習できている 可能性がある。また entityVec は，記事本文中のハイ パーリンクを使用し，それぞれのリンクのアンカー テキストをリンク先の記事のタイトルに置換する方法を採っており，それが翻字の学習に有効だったた めと考えられる。

朝日新聞単語ベクトルは学習に用いたアルゴリ ズムや Retrofitting の有無で正解率に差が出ていた. CBOW は周辺単語から単語を予測, GloVe は単語か らコーパス全体から得た共起頻度を用いて周辺単語を予測，Skip-gram は単語から周辺単語を予測す るアルゴリズムである. A-Glove の精度が A-CBOW や A-Skip よりも低いのは, GloVe が共起頻度を考慮することで表記摇れによる細かい差異を強調し たからだと考えられる. Retrofitting は周辺単語が近 いべクトルになるように fine-tuning する方法であ る. Retrofitting によって正解率が高くなったのは, Retrofitting に使用されている日本語 WordNet の中に 表記摇れのペアも存在するため，ベクトルが近づけ られたからだと考えられる。

各々のデータセットについてすべてのモデルでタ スクを正しく解けなかった単語集合は，異表記が 19 件，翻字関係が 26 件，略称が 4 件あった. [5, 五, 7],
表 2 Concept Categorization のデータの例

表 3 モデルによる評価 （太字：正解率が最も高かったもの上位 3 件）

[バス, bass, light], [コンパニー,コンパ, ラボ]など多義性があるものが含まれており, 語義曖昧性によっ て，静的なべクトルでは学習が難しいデータもある ことが考えられる.

## 5.2 実験 2 : Concept Categorization

Concept Categorization の正解率は chiVe が最も良 かった. これは，多くのドメインを持つ国語研日本語ウェブコーパスにより訓練しており，各カテゴリ の事例が十分に存在したためだと考えられる.

各モデルで学習されている単語のカテゴリの違い を見るためにカテゴリ別の正解数による分散，単語集合の種類ごとの正解率を確認した. 単語集合の種類ごとの正解率を表 4 に示す.

分散はモデル内でカテゴリごとに差があり，分類 タスクの行いやすさはカテゴリで均一でないことが わかった.これにより, データセット内で解きやす い単語集合とそうでない単語集合が含まれていたこ とが考えられる。

単語集合の種類はモデル内でタスクの行いやす さが異なることがわかった. これにより，モデルに よって分類しやすいカテゴリのペアに偏りがあるこ とがわかった.表 4 カテゴリペアによる正解率

## 6 まとめ

本研究では Sudachi 同義語辞書を用いて，分散表現の内的評価タスクである Outlier Word Detection と Concept Categorization による日本語評価データセッ トを作成した. Sudachi 同義語辞書に掲載されている 略語・略称情報, 表記摇れ情報, 分野情報によって, これまで評価されていなかった表記摇れやカテゴリ を分散表現が学習できているかを評価し、各モデル で性能差があることを示した.

今後は, 不足している他のタスクの日本語データ セットの作成も検討したい. また，本論文で作成し たデータセットは公開する予定である.

## 参考文献

[1] Amir Bakarov. A survey of word embeddings evaluation methods, 2018.

[2] 猪原敬介, 内海彰. 日本語類似度・関連度データセッ トの作成. 言語処理学会第 24 回年次大会 (NLP2018).言語処理学会, 2018.

[3] 高岡一馬, 岡部裕子, 川原典子, 坂本美保, 内田佳孝.詳細化した同義関係をもつ同義語辞書の作成. 言語処理学会第 26 回年次大会 (NLP2020). 言語処理学会, 2020.

[4] José Camacho-Collados and Roberto Navigli. Find the word that does not belong: A framework for an intrinsic evaluation of word vector representations. In Proceedings of the 1st Workshop on Evaluating Vector-Space Repre-
sentations for NLP, pp. 43-50, Berlin, Germany, August 2016. Association for Computational Linguistics.

[5] Marco Baroni, Georgiana Dinu, and Germán Kruszewski. Don't count, predict! a systematic comparison of contextcounting vs. context-predicting semantic vectors. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 238-247, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[6] Stefan Evert Marco Baroni and Alessandro Lenci. Bridging the gap between semantic theory and computational simulations. In Proceedings of the ESSLLI Workshop on Distributional Lexical Semantic, FOLLI, Hamburg, 2008.

[7] Yuya Sakaizawa and Mamoru Komachi. Construction of a japanese word similarity dataset, 2017.

[8] Marzena Karpinska, Bofang Li, Anna Rogers, and Aleksandr Drozd. Subcharacter Information in Japanese Embeddings: When Is It Worth It? In Proceedings of the Workshop on the Relevance of Linguistic Structure in Neural Architectures for NLP, pp. 28-37, Melbourne, Australia, 2018. Association for Computational Linguistics.

[9] Tomonori Kodaira, Tomoyuki Kajiwara, and Mamoru Komachi. Controlled and balanced dataset for Japanese lexical simplification. In Proceedings of the ACL 2016 Student Research Workshop, pp. 1-7, Berlin, Germany, August 2016. Association for Computational Linguistics.

[10] 真鍋陽俊, 岡照晃, 海川祥毅, 高岡一馬, 内田佳孝, 浅原正幸. 複数粒度の分割結果に基づく日本語単語分散表現. 言語処理学会第 25 回年次大会 (NLP2019).言語処理学会, 2019.

[11] Masayuki Asahara. 'nwjc2vec: Word embedding dataset from 'ninjal web japanese corpus', . Terminology: International Journal of Theoretical and Applied Issues in Specialized Communication, Vol. 24, No. 2, pp. 7-25, 2018.

[12] 田口雄哉, 田森秀明, 人見雄太, 西鳥羽二郎, 菊田洸.同義語を考慮した日本語単語分散表現の学習. 情報処理学会研究報告, 第 2017-NL-233 巻, pp. 1-5. 情報処理学会第 233 回自然言語処理研究会, 2017.

[13] Masatoshi SUZUKI, Koji MATSUDA, Satoshi SEKINE, Naoaki OKAZAKI, and Kentaro INUI. A joint neural model for fine-grained named entity classification of wikipedia articles. IEICE Transactions on Information and Systems, Vol. E101.D, No. 1, pp. 73-81, 2018.

[14] Masayuki Asahara, Kikuo Maekawa, Mizuho Imada, Sachi Kato, and Hikari Konishi. Archiving and analysing techniques of the ultra-large-scale web-based corpus project of ninjal, japan. Alexandria, Vol. 26, No. 1-2, pp. 129-148, 2014.

## A 分野情報による正解率の差

表 3 の Concept に対してより詳細に分野情報ごとの精度を出した結果を以下の表に示す.

表 5 分野情報ごとの正解率


# どれほどの統語的教示が必要十分なのか？

能地 宏
LeapMind 株式会社
noji@leapmind.io

## 概要

本研究では、言語モデルをより人間らしくするた めに、どれほどの統語的教示が必要十分なのか検証する。具体的には、新しい手法である統語的アブ レーション（syntactic ablation）を提案し、統語的言語モデルである再帰的ニューラルネットワーク文法（Recurrent Neural Network Grammar; RNNG）にお ける NP、VP、PP、SBAR およびそれらを組み合わ せた非終端記号を段階的に削除することで、完全な 統語的教師あり（純正 RNNG と等価）から完全な 統語的教師なし（単方向 LSTM と等価）まで 17 つ の RNNGを構築した上で、SyntaxGym における6つ の統語的サーキットで評価する。結果として、部分的な統語的教師あり RNNG が SyntaxGym で世界最高性能を達成し、言語処理に対する必要十分 (good enough）アプローチが人間らしいことを示唆する。

## 1 はじめに

言語モデルの統語的評価に関する先行研究で は [1, 2]、Long Short-Term Memory (LSTM)[3] の様な 再帰的ニューラルネットワーク (Recurrent Neural Network; RNN）が、明示的な統語的教示が無いにも 関わらず、非明示的に自然言語の統語構造 (例えば、英語における主語と動詞の一致など）を学習できる ことが示唆されている [4]。更に、これらの RNN は 明示的な統語的教示の恩恵も受けることが示され ており、RNN と明示的な統語的教示を統合した再帰的ニューラルネットワーク文法 (Recurrent Neural Network Grammar; RNNG）[5] は、認知的妥当性の観点から心理言語学および認知モデリングの文脈で注目を集めており、統語的評価 $[6,7]$ だけで無く心理言語学的評価 $[8,9,10]$ においても RNNより性能が 高いことが知られている。

しかしながら、明示的な統語的教示の有無という 二分法をめぐる集中的な議論に関わらず、どれほ どの統語的教示が必要十分なのかという問いはま大関洋平

東京大学

oseki@g.ecc.u-tokyo.ac.jp

だ未開拓である。特に、完全な統語的教示が最適 では無いと考える潜在的な理由が少なくとも $2 \supset$存在する。まず、理論的には、完全な統語的教示が RNNによって潜在的に学習される語彙的なヒュー リスティックスを上書きしてしまい、終端記号（単語）に関する情報が再帰的な統語演算により消失し てしまうという可能性である [11]。また、経験的に は、完全な統語的教示が長距離依存関係の正答率に 悪影響を及ぼしているという可能性であり、特に擬似分裂文では正文（例えば、What he did was prepare the meal.）と非文（例えば、*What he ate was prepare the meal.）が全く同じ統語構造を持つため、語彙的 なヒューリスティックスのみで区別する必要がある [12]。従って、以上の 2 つの理由の帰結として、統語構造と語彙的ヒューリスティックスの絶妙なバラ ンスを取るために、最適な統語的教示は完全な統語的教師ありと完全な統語的教師なしの間どこかに存在するはずであるという仮説を導くことが出来る。直感的には、文法ばかり言語モデルに教え過ぎる と、言語モデルは文法にしか着目しない様になり、結果として語彙を忘れてしまうということである。

そこで、本研究では、言語モデルをより人間らし くするために、どれほどの統語的教示が必要十分な のか検証する。具体的には、新しい手法である統語的アブレーション（syntactic ablation）を提案し、統語的言語モデルである再帰的ニューラルネットワー ク文法 (Recurrent Neural Network Grammar; RNNG) [5]における NP、VP、PP、SBARおよびそれらを組 み合わせた非終端記号を段階的に削除することで、完全な統語的教師あり（純正 RNNG と等価）から完全な統語的教師なし（単方向 LSTM と等価）まで 17 つの RNNG を構築した上で、SyntaxGym における 6 つの統語的サーキットで評価する。結果として、部分的な統語的教師あり RNNG が SyntaxGym で世界最高性能を達成し、心理言語学で提案されている言語処理に対する必要十分 (good enough) アプローチ $[13,14]$ が人間らしいことを示唆する。

(a) フル文法

(b) NPSb文法

(c) N文法

(d) ゼロ文法 (う LSTM)

完全な統語的教師あり 部分的な統語的教師あり 完全な統語的教師なし

図 1 統語的アブレーション (syntactic ablation）の概要。RNNG におけるNP、VP、PP、SBARおよびそれらを組み合わ せた非終端記号を段階的に削除することで、完全な統語的教師あり（純正 RNNG と等価）から完全な統語的教師なし （単方向 LSTM と等価）まで、17つの RNNG を構築する。

## 2 提案手法

## 2.1 再帰的ニューラルネットワーク文法

再帰的ニューラルネットワーク文法（Recurrent Neural Network Grammar; RNNG）[5] は、文（単語列） と構造の深層生成モデルである。RNNG は、スタッ ク LSTM[15] に基づき以下の 3 つのアクションに関 する確立分布を計算する：

・NT：非終端記号を開く。

・GEN: 終端記号（単語）を生成する。

・REDUCE: 非終端記号を閉じる。

特に、REDUCE アクションにおいて、RNNG は双方向 LSTM に基づき左 $\rightarrow$ 右および左 $\leftarrow$ 右に複数の終端記号（単語）を句ベクトルに符号化する。また、推論において、RNNG は単語同期型ビームサーチ [16,8] を並列化した実装 [12] を用いる。1)

## 2.2 統語的アブレーション

提案手法である統語的アブレーション（structural ablation）の概要を図 1 にまとめる。RNNG における NP、VP、PP、SBAR およびそれらを組み合わせた非終端記号を段階的に削除することで、完全な統語的教師あり（純正 RNNG と等価）から完全な統語的教師なし（単方向 LSTM と等価）まで、以下 17 つの RNNG を構築する :2)
- Root：ゼロ文法（単方向 LSTM と等価）

・N：NP 非終端記号のみ

・v：VP 非終端記号のみ

$\cdot$P：PP 非終端記号のみ

・Sb：SBAR 非終端記号のみ

$\cdot$NV：NP と VP 非終端記号

$\cdot$NP：NP と PP 非終端記号

-NSb：NP と SBAR 非終端記号

$\cdot$VP：VP と PP 非終端記号

-VSb：VP と SBAR 非終端記号

-PSb：PP と SBAR 非終端記号

-NVP：NP、VP、PP 非終端記号

-NVSb：NP、VP、SBAR 非終端記号

-NPSb：NP、PP、SBAR 非終端記号

-VPSb：VP、PP、SBAR 非終端記号
- NVPSb：NP、VP、PP、SBAR 非終端記号

・Full：フル文法（純正 RNNG と等価）

RNNG の訓練データは、先行研究 [17] に従い、まず BLLIP コーパス [18]（XL、約 42M トークン）の各文を Berkeley Neural Parser[19] で再構文解析し、以上 NP、VP、PP、SBAR およびそれらを組み合わせ た非終端記号を削除することで構築した。また、各 RNNG は 3 つの異なるランダムシードで訓練した。

## 2.3 SyntaxGym

統語的アブレーションにより構築された 17 つ RNNG は、SyntaxGym プラットフォーム [20,17] に おける以下の 6 つの統語的サーキットで評価した： Agreement, Garden-Path Effects, Licensing, Center Embedding、Gross-Syntactic State、Long-Distance Dependencies。 ${ }^{3}$ ) また、SyntaxGym プラットフォーム のリーダーボードで採用されている「部分一致」評価尺度は正答率を過大評価してしまうため、保守的 な「完全一致」評価尺度を採用した [17]。

3) https://syntaxgym.org/

## 3 結果

## 3.1 全体の正答率

統語的アブレーション実験における全体の正答率を図 2 にまとめる。SyntaxGym の正答率（Y 軸） を、様々な程度で統語的アブレーションした 17 つ の RNNG（X 軸）に対して、先行研究 [17] における GPT-2 XL と RNNG の正答率を併せてプロットする。 エラーバーは標準偏差を示す。Root（左端）と Full （GPT-2 XL と RNNG (H20)を除く右端）は、それぞ れフル文法とゼロ文法を表す。N、V、P、Sb は、それ ぞれ NP、VP、PP、SBAR 非終端記号が保持された 文法を表す。従って、NP は NP と PP 非終端記号が 保持された文法を表すため、 $\mathrm{NP}$ 非終端記号のみが 保持された文法と混同されない様に注意されたい。

ここで重要な結果を 3 つ観察することが出来る。 まず、単方向 LSTM と等価である完全な統語的教師なし RNNG は、統語的教師あり RNNG と比べて 優位に統語性能が低いことから、高い言語能力を 実現するためには統語的教師が重要な役割を果た すことを示唆している。次に、完全な統語的教師 あり RNNG は、部分的な統語的教師あり RNNG や GPT-2 XL[17] と比べて優位に統語性能が低いことか ら、完全な統語的教師が必要であるとは限らないこ とを意味している。最後に、部分的な統語的教師あ り RNNG である NPSb 文法が SyntaxGym で世界最高性能を達成し（84.6）、数値的に GPT-2 XL[17] を上回っていることから (84.2)、部分的な統語的教師が 十分であることを含意している。

## 3.2 統語的サーキット毎の正答率

統語的アブレーション実験における統語的サー キット毎の正答率を図 3 にまとめる。SyntaxGym に おける 6 つの統語的サーキット毎の正答率（Y 軸） を、様々な程度で統語的アブレーションした 17 つ のRNNG（X 軸）に対してプロットする。

興味深いことに、NP 非終端記号は 6 つ中 4 つの 統語的サーキット (Agreement、Licensing、Center Embedding、Gross-Syntactic State）において統語性能を向上させているのに対して、PP 非終端記号はほぼ全ての統語的サーキット (Long-Distance Dependenciesを除く）において統語性能を向上させ ていない。加えて、部分的な統語的教師あり RNNG である NPSb 文法は、Long-Distance Dependencies サーキットにおいて、完全な統語的教師あり RNNG より統語性能が高いことから、完全な統語的教示が 長距離依存関係（特に擬似分裂文）の正答率に悪影響を及ぼしているという可能性を支持している。

## 4 考察

まとめると、統語的アブレーション実験を実施 し、RNNG における NP、VP、PP、SBAR およびそれ らを組み合わせた非終端記号を段階的に削除するこ とで、完全な統語的教師あり（純正 RNNG と等価） から完全な統語的教師なし（単方向 LSTM と等価） まで 17 つの RNNG を構築した上で、SyntaxGym に おける 6 つの統語的サーキットで評価してきた。本節では、統語的アブレーション実験の結果を心理言語学および認知モデリングの文脈に位置付ける。

図 2 統語的アブレーション実験における全体の正答率。SyntaxGym における 6 つの統語的サーキットおよび 3 つのラン ダムシードを平均した正答率（Y 軸）を、様々な程度で統語的アブレーションした 17 つ RNNG（X 軸）に対して、先行研究 [17] における GPT-2 XL と RNNG の正答率を併せてプロットする。エラーバーは標準偏差を示す。Root（左端） と Full（GPT-2 XL と RNNG (H20) を除く右端）は、それぞれフル文法とゼロ文法を表す。N、V、P、Sb は、それぞれ NP、 VP、PP、SBAR 非終端記号が保持された文法を表す。従って、NP は NP と PP 非終端記号が保持された文法を表すため、 NP 非終端記号のみが保持された文法と混同されない様に注意されたい。

circuit $=$ Garden-Path Effects

circuit $=$ Licensing

図 3 統語的アブレーション実験における統語的サーキット毎の正答率。SyntaxGym における 6 つの統語的サーキット毎 の正答率（Y 軸）を、様々な程度で統語的アブレーションした 17 つ RNNG（X 軸）に対してプロットする。

## 4.1 必要十分 (good enough) アプローチ

小節 3.1 で報告した全体の正答率は、部分的な統語的教師あり RNNG が（特に NPSb 文法）、完全な 統語的教師なしRNNG および完全な統語的教師あ り RNNG だけで無く、先行研究 [17]における GPT-2 XL より統語性能が高いことを示していた。これら の結果は、心理言語学で提案されている言語処理に 対する必要十分 (good enough) アプローチ $[13,14]$ と親和性が高く、人間の言語処理は常に深い構文解析を実施するとは限らず、浅い構文解析や語彙的 ヒューリスティックスを利用すると主張されてい る。従って、部分的な統語的教師あり RNNG は、浅 い統語構造を生成し、語彙的ヒューリスティックス を潜在的に学習する余地を残しているという意味 で、言語処理に対する必要十分アプローチを実装し た認知モデルであると解釈することが出来る。

## 4.2 長距離依存関係

小節 3.2 で報告した統語的サーキット毎の正答率 は、NP 非終端記号が 6 つ中 4 つの統語的サーキッ トにおいて統語性能を向上させることを示してい た。重要なことに、詳細に検討した結果、これら 4 つのサーキットは以下の通り関係節に修飾された重 い主語 NP が現れるという点で自然類を成すことが 判明した（依存関係は太字）：
- Agreement: [NP The author that the senators hurt] is good.
- Licensing: [NP No author that the senators liked] has had any success.
- Center Embedding: [NP The painting that the artist painted] deteriorated.
- Gross-Syntactic State: As [NP the doctor who the administrator had recently hired] studied [NP the book that colleagues had written on cancer therapy], the nurse walked into the room.

ここで重要なポイントは、REDUCE アクションが複数 の終端記号（単語）を句ベクトルに符号化し、長距離依存関係を実質的に局所的にしているという点で ある（例えば、Agreement における author と is）。

## 5 おわりに

本研究では、統語的アブレーション実験を実施 し、RNNGにおける NP、VP、PP、SBAR およびそれ らを組み合わせた非終端記号を段階的に削除するこ とで、完全な統語的教師あり（純正 RNNG と等価） から完全な統語的教師なし（単方向 LSTM と等価） まで 17 つの RNNG を構築した上で、SyntaxGym に おける 6 つの統語的サーキットで評価した。結果と して、部分的な統語的教師あり RNNG が SyntaxGym で世界最高性能を達成し、言語処理に対する必要十分アプローチが人間らしいことを示唆した。

## 謝辞

本研究は、JST さきがけ JPMJPR21C2 および JSPS

科研費 JP19H04990（新学術領域研究）、JP21H05061

(学術変革領域研究 (B))、JP20K19877 (若手研究) の

助成を受けたものです。

## 参考文献

[1] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the ability of LSTMs to learn syntax-sensitive dependencies. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 521-535, 2016.

[2] Rebecca Marvin and Tal Linzen. Targeted syntactic evaluation of language models. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 11921202, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[3] Sepp Hochreiter and Jürgen Schmidhuber. Long Short-Term Memory. Journal of Neural Computation, Vol. 9, No. 8, pp. 17351780, 1997.

[4] John Hewitt and Christopher D. Manning. A structural probe for finding syntax in word representations. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4129-4138, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, and Noah A. Smith. Recurrent neural network grammars. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 199-209, San Diego, California, June 2016. Association for Computational Linguistics.

[6] Adhiguna Kuncoro, Chris Dyer, John Hale, Dani Yogatama, Stephen Clark, and Phil Blunsom. LSTMs can learn syntaxsensitive dependencies well, but modeling structure makes them better. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1426-1436, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[7] Ethan Wilcox, Peng Qian, Richard Futrell, Miguel Ballesteros, and Roger Levy. Structural supervision improves learning of non-local grammatical dependencies. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3302-3312, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] John Hale, Chris Dyer, Adhiguna Kuncoro, and Jonathan Brennan. Finding syntax in human encephalography with beam search. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 27272736, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[9] Ethan Gotlieb Wilcox, Jon Gauthier, Jennifer Hu, Peng Qian, and Roger P. Levy. On the predictive power of neural language models for human real-time comprehension behavior. ArXiv, Vol. abs/2006.01912, , 2020.

[10] Ryo Yoshida, Hiroshi Noji, and Yohei Oseki. Modeling human sentence processing with left-corner recurrent neural network grammars. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 2964-2973, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.
[11] Adhiguna Kuncoro, Miguel Ballesteros, Lingpeng Kong, Chris Dyer, Graham Neubig, and Noah A. Smith. What do recurrent neural network grammars learn about syntax? In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 1249-1258, Valencia, Spain, April 2017. Association for Computational Linguistics.

[12] Hiroshi Noji and Yohei Oseki. Effective batching for recurrent neural network grammars. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 4340-4352, Online, August 2021. Association for Computational Linguistics.

[13] Fernanda Ferreira, Karl G.D. Bailey, and Vittoria Ferraro. Goodenough representations in language comprehension. Current Directions in Psychological Science, Vol. 11, No. 1, pp. 11-15, 2002 .

[14] Fernanda Ferreira and Nikole D. Patson. The 'good enough' approach to language comprehension. Language and Linguistics Compass, Vol. 1, No. 1-2, pp. 71-83, 2007.

[15] Chris Dyer, Miguel Ballesteros, Wang Ling, Austin Matthews, and Noah A. Smith. Transition-based dependency parsing with stack long short-term memory. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 334-343, Beijing, China, July 2015. Association for Computational Linguistics.

[16] Mitchell Stern, Daniel Fried, and Dan Klein. Effective inference for generative neural parsing. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1695-1700, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[17] Jennifer Hu, Jon Gauthier, Peng Qian, Ethan Wilcox, and Roger Levy. A systematic assessment of syntactic generalization in neural language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1725-1744, Online, July 2020. Association for Computational Linguistics.

[18] Eugene Charniak, Don Blaheta, Niyu Ge, Keith Hall, John Hale, and Mark Johnson. BLLIP 1987- 89 WSJ Corpus Release 1 LDC2000T43, 2000. Linguistic Data Consortium.

[19] Nikita Kitaev, Steven Cao, and Dan Klein. Multilingual constituency parsing with self-attention and pre-training. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3499-3505, Florence, Italy, July 2019. Association for Computational Linguistics.

[20] Jon Gauthier, Jennifer Hu, Ethan Wilcox, Peng Qian, and Roger Levy. SyntaxGym: An online platform for targeted evaluation of language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 70-76, Online, July 2020. Association for Computational Linguistics.


# 生化学分野における Video\&Language データセットの構築

迫田航次郎 ${ }^{1}$ 西村太一 ${ }^{1}$ 森信介 ${ }^{2}$ 小野富三人 ${ }^{3}$ 田中奈津子 ${ }^{3}$
1 京都大学大学院情報学研究科 2 京都大学学術情報メディアセンター
3 大阪医科薬科大学
\{sakoda.kojiro.48z, nishimura.taichi.43x\}@st.kyoto-u.ac.jp
forest@i.kyoto-u.ac.jp

## 概要

本研究では生化学分野における Video\&Language データセット (Biochemical Video-and-Language: BioVL）を構築した.このデータセットは生化学実験動画，実験プロトコル，動画に映る動作とプ ロトコルに記述された手順との対応関係を示すアノ テーションで構成される. 動画は 4 種類の実験ごと に各 4 回ずつの 16 動画，合計 1.6 時間分を収録し た. 本研究の実験では構築した BioVL データセッ トを用いて，手順と動作との対応関係を推定し，ア ライメントを獲得するタスクを行った。

## 1 はじめに

科学の世界には「再現性の危機」と呼ばれる問題 がある．これは，研究者が自分自身が過去に行った 実験や，他の研究者が行った実験を再現できないと いう問題である. [1] によると, 生化学分野や生命科学分野の $80 \%$ 以上の研究者が他の研究者が行っ た実験を再現できなかった経験があると回答して いる。また，再現性の危機が生じる原因の一つとし て, 研究者同士で実験方法や実験中の詳細な情報が 共有できていないことが示されている．実験の実施 に必要な, 実験の手順や機器の使用法, 試薬の調整法などの情報はプロトコルに記述され，研究者はプ ロトコルを参照することで実験を再現できる．プロ トコルは実験に必要な手順をテキスト化しているた め，多くの人が簡単に実験を実施できるようになる が，プロトコルの記述だけではそれぞれの手順が実際にどのような動作で行われているかなどの情報が 伝わりづらい．そこで，実験の再現性を高める手段 の一つとして，研究者が行う実験の様子を収録し，収録した動画とプロトコルとを共に参照することが 挙げられる.

本研究では生化学分野を対象に, Video\&Language

図 1 BioVLデータセットの例. 生化学実験動画，実験プ ロトコル，動画に映る動作とプロトコルに記述された手順との対応関係を示すアノテーションで構成される。

の技術を用いて，実験方法や実験中の詳細な情報の 共有を支援することで再現性の危機の解消を目指 す. 具体的には，研究者が行なっている実験を収録 した動画と実験の手順や条件が記述されたプロトコ ルとの対応関係を推定し，手順と動作のアライメン トを獲得する．アライメントを獲得することで，プ ロトコルに記述された手順から得られる定量的な情報と動画に映る動作から得られる定性的な情報の両方を参照しながら実験を行えるため，再現実験が容易になると考えられる。

この課題を達成するための取り組みとし て，まず初めに生化学分野における新しい Video\&Language データセット (Biochemical Videoand-Language: BioVL)を構築する（図 1).このデー タセットは生化学実験動画，実験プロトコル，動画 に映る動作とプロトコルに記述された手順との対応関係を示すアノテーションで構成される。次に，構築した BioVL データセットを用いてプロトコルに 記述された手順と動画に映る動作とのアライメント を獲得するタスクを行った. 本研究の実験結果は,最先端の事前学習済みモデルを用いても大幅な改善 の余地があることを示している．また，BioVLデー タセットは研究目的でのみオンラインで利用する

(a)

(b)図 2 (a): カメラを装着した状態で実験を行なっている様子. (b) : 一人称視点カメラで収録した実験の様子.

ことができ，これは生化学分野の Video\&Language データセットとしては初めての試みである.

## 2 BioVL データセットの構築と統計情報

BioVL データセットは生化学実験動画，実験プロ トコル，動画に映る動作とプロトコルに記述された 手順との対応関係を示すアノテーションで構成され る. 以下に BioVLデータセットの動画収録方法，ア ノテーション方法，データセットの統計情報につい て示す.

## 2.1 実験動画の収録

## 2.1.1 収録した実験

本研究では DNA 抽出，PCR，アガロースゲル作成，ミニプレップの，生化学分野の研究室で一般的によく行われている 4 種類の実験を収録対象と した. 収録は実験ごとに 4 回ずつ実施し，合計 16 動画，1.6 時間分を収録した．また，DNA 抽出には フェノールクロロホルム抽出とエタノール沈殿とい う 2 つの方法があり，DNA 抽出に関してはこれらを 2 回ずつ収録した。

## 2.1.2 実験収録の様子

本研究では大阪医科薬科大学の研究者に，カメラ を装着した状態で実験を実施してもらうよう依頼し た. 動画収録の負担を最小限にし，将来的なデータ セットの拡張のために，未編集な一人称視点 [2] の カメラを採用した．また，収録のために追加のカメ ラやセンサー [3,4] は用いない. カメラは Panasonic の HX-A500を使用し，図 2 の (a) のようにへッド セットに固定されている。また，実験は普段と同じ 環境で 1 人の研究者がプロトコルを参照しながら実施した.表 1 PCR のアノテーション例.

## 2.2 アノテーション方法

本研究では [5] に則り，非専門家によるアノテー ションと，専門家による検証を順に行うことでアノ テーションを付与した. 生化学分野の非専門家のア ノテーターは，収録した実験動画を見ながら，プロ トコルの各手順と動画に映る動作の開始時間と終了時間を対応付けた。このアノテーションの段階で，専門家のアノテーターが非専門家のアノテーターの 付けたアノテーションを検証し，誤りがあれば訂正 した. BioVL データセットとしては専門家が検証し た後のアノテーションのみを保存したため，非専門家と専門家のアノテーションの一致率は計算できな い. 将来的には，他の専門家にさらにアノテーショ ンの検証を依頼することでアノテーションの品質を 評価する予定である．表 1 に PCR のアノテーショ ンの例を示す.

## 2.3 統計情報

## 2.3.1プロトコル側の統計情報

前処理として，プロトコルに記述された手順を 動詞ごとに手作業で分割した。例として，"Invert 4 times to mix and add $10 \mu 1$ of Alkaline Protease Solution." という記述があった場合，"Invert 4 times to mix." と"Add $10 \mu$ l of Alkaline Protease Solution."の 2 つの手順に分割する。この前処理を行なった後のプロトコ ル側の統計情報を表 2 に示す。表 2 では実験によっ て手順の数が大幅に異なることが示されている. 手順数が最大の実験はミニプレップであり，最小の実験はフェノールクロロホルム抽出である。また，同 じ実験であっても手順数が異なり，標準偏差が生じ ているのは，一部の実験で手順の簡略化を行なった ためである．手順ごとの平均単語数が最大の実験は ミニプレップであり，最小の実験は PCR である.
表 2 実験ごとの手順数と手順ごとの平均単語数.

図 3 実験ごとの動画の長さ.

## 2.3.2 動画側の統計情報

いくつかの実験では研究者が特定の手順を完了 する間（試薬を遠心分離するなど）に待ち時間が生 じる. 待機している間，研究者にはカメラをへッド セットに固定したまま，ヘッドセットを外しても らった. このような待機時間は実験手順とは無関係 なため，手動でその間のシーンをカットした. プロ トコル側と同様に，動画の前処理を行なった後の動画側の統計情報を図 3 に示す. 図 3 は実験ごとの動画の長さを示している. DNA 抽出について, 左側 の 2 つがエタノール沈殿，右側の 2 つがフェノール クロロホルム抽出を示している。 また，ミニプレッ プの動画の長さが左側の 2 つと右側の 2 つで大き く異なるのはミニプレップの 3 回目, 4 回目の収録 で試料の反応時間や手順を簡略化したためである.動画の平均時間について，ミニプレップが最長であ り, PCR が最短である.

## 3 実験と評価

本研究では BioVL データセットを用いてプロ トコルに記述された手順と動画に映る動作との アライメントを獲得するタスクを行なった.この タスクを行うにあたって，BioVL データセットの 大きさが限られているため, 機械学習モデルを学習させることが困難だった. そのため, 大規模な データセットで事前学習したモデルである Video and Language Embeddimg model (VLE)[6] と Contrastive
Language-Image Pre-training (CLIP)[7]をそれぞれ，モ デルの重みを再学習することなくBioVLデータセッ トを用いたタスクに適用した．以下に，実験に用い た事前学習済みモデル，行ったタスクの詳細と結果 について示す.

## 3.1 実験に用いた事前学習済みモデル

## 3.1.1 VLE

VLE は動画と言語の対応関係を推定するモデルで ある. HowTo100M データセット [6]を用いて，対応 する動画と言語のペアを共有潜在空間上に埋め込 み，それらの表現べクトルの $\cos$ 類似度が大きくな るように事前学習が行われている. VLE は事前学習 に用いていない様々な Video\&Language データセッ トに対する動画検索タスクで高い精度を達成して いる.

## 3.1.2 CLIP

CLIP は言語から画像表現を学習する画像分類モ デルである. 英語版 Wikipedia から， 4 億枚の画像 とその画像を説明する言語のぺアを収集することで 構築したデータセットである，WebImageText(WIT) を用いて事前学習されている。事前学習は共有潜在空間上で，対応する言語と画像との表現ベクトルの $\cos$ 類似度を最大化する一方で，対応しない言語と 画像との表現べクトルの $\cos$ 類似度を最小化するこ とで行われている. CLIP は VLE と同様に, 事前学習に用いていない様々なデータセットに対する画像分類タスクで高い精度を達成している。 また，CLIP は画像を入出力するモデルであるため, 本研究では [7] と同様に，モデルに入力する各動画区間の中央 のフレームを入力画像として用いた。

## 3.2 手順と動作のアライメントを獲得する タスク

このタスクではプロトコルに記述された手順と動画に映る動作との対応関係を推定する. 手順と動作

図4 アライメントモデル.

表 3 アライメントタスクの結果.

のアライメントを獲得することで，研究者がプロト コルと動画の両方から実験に必要な情報を得るこ とができるようになるため，実験の再現性を高める ことができる. 本研究では 3 つの処理で構成される アライメントモデルを提案した（図 4).(1) で動画 を 5 秒間隔のセグメントに区切る。(2)では事前学習済みモデルから出力された手順の表現ベクトルと 各セグメントの表現ベクトルの $\cos$ 類似度を計算す る. 最後に，(3)では動的計画法の手法の 1 つである Needleman-Wunsch アルゴリズム [8] に基づいて最適 な経路を探索することでアライメントを獲得する。

## 3.2.1 評価尺度

アライメントの結果を評価するために，Intersection over Union (IoU) を計算し，その平均 (mIoU) を取 る. $\mathrm{mIoU}$ は手順に対してアノテーションされた動画に映る動作の時間幅と, 入力した手順に対して事前学習済みモデルが予測した動作の時間幅が一致し ている割合の平均を示す.

## 3.2.2 結果

表 3 にアライメントタスクの結果を示す. ベース ラインは動画を手順数で均一な時間幅に分割した時 の結果である。本研究では最先端の事前学習済みモ デルを用いたが，結果はベースラインとほとんど同 じとなった. このような結果となったのは，事前学習済みモデルの学習に用いたデータセットに生化学分野のデータが含まれておらず，BioVLデータセッ トの動画に対して適切な表現ベクトルが得られてい ないことが原因であると考えられる。

## 4 おわりに

本研究では Video\&Language 技術を用いて，生化学分野の実験の再現を支援することを目的としてい る.この課題を達成するための取り組みとして，ま ず初めに生化学実験動画，実験プロトコル，動作と 手順の対応関係を示すアノテーションで構成される BioVL データセットを構築した. また，BioVL デー タセットを用いて，プロトコルに記述された手順と 動画に映る動作とのアライメントを獲得するタスク を実施した．本研究の実験結果は，最先端の事前学習済みモデルを用いても大幅な改善の余地があるこ とを示している．今後の方針としては BioVL デー タセットの動画数を増やし，機械学習モデルを学習 させることや，本研究で用いた事前学習済みモデル を再学習させるために Web 上から生化学実験動画 を収集することなどが考えられる。

## 参考文献

[1] Monya Baker. 1,500 scientists lift the lid on reproducibility. Nature, No. 533, pp. 452-454, 2016.

[2] Giovanni Maria Farinella Sanja Fidler Antonino Furnari Evangelos Kazakos Davide Moltisanti Jonathan Munro Toby Perrett Will Price Dima Damen, Hazel Doughty and Michael Wray. Scaling egocentric vision: The epickitchens dataset. In Proc. ECCV, pp. 753-771, 2018.

[3] Qiguang Liu Henry Kautz Jiebo Luo Iftekhar Naim, Young Song and Daniel Gildea. Unsupervised alignment of natural language instructions with video segments. In Proc. AAAI, pp. 1558-1564, 2014.

[4] Michaela Regneri Sikandar Amin Mykhaylo Andriluka Manfred Pinkal Marcus Rohrbach, Anna Rohrbach and Bernt Schiele. Recognizing fine-grained and composite activities using hand-centric features and script data. IJCV, No. 119.

[5] Chenliang Xu Luowei Zhou and Jason J. Corso. Towards automatic learning of procedures from web instructional videos. In Proc. AAAI, pp. 7590-7598, 2018.

[6] Jean-Baptiste Alayrac Makarand Tapaswi Ivan Laptev Antoine Miech, Dimitri Zhukov and Josef Sivic. Howto100m: Learning a text-video embedding by watching hundred million narrated video clips. In Proc. ICCV, pp. 2630-2640, 2019.

[7] Chris Hallacy Aditya Ramesh Gabriel Goh Sandhini Agarwal Girish Sastry Amanda Askell Pamela Mishkin Jack Clark Gretchen Krueger Alec Radford, Jong Wook Kim and Ilya Sutskever. Learning transferable visual models from natural language supervision. In Proc. ICML, 2021.

[8] Saul B. Needleman and Christian D. Wunsch. A general method applicable to the search for similarities in the amino acid sequence of two proteins. Jornal of Molecular Biology, No. 48, pp. 443-453, 1970


# 日本語 T5 モデルを用いた障害レポートからの重要箇所抽出

山下 郁海 ${ }^{1}$ 岡 照晃 ${ }^{1}$ 小町 守 ${ }^{1}$ 真鍋 章 2 谷本 恒野 ${ }^{2}$
1 東京都立大学 2 富士電機株式会社
yamashita-ikumi@ed.tmu.ac.jp, \{teruaki-oka, komachi\}@tmu.ac.jp
\{manabe-akira, tanimoto-kouya\}@fujielectric.com

## 概要

本研究では日本語 T5 モデルを用い、機器の障害情報レポートからの重要箇所抽出を質問応答形式の タスクとして実験を行う．実験の結果，BERTを用 いた先行研究を上回る性能で，障害レポートからの 重要箇所抽出を実現した．また T5 に入力する質問形式を変更することで抽出結果が変わることを確認 し，質問の内容が重要箇所抽出の性能に影響を与え ていることを明らかにした。また適切な質問を用い ることで重要箇所抽出の性能が向上することを示 した.

## 1 はじめに

現代社会は様々な機器に溢れており，そうした機器は時に不具合を起こすこともある. 不具合が発生 すると機器の保全担当者たちは障害情報のレポー トの作成を行う. しかし, 活用の際に蓄えられたレ ポートを人手でくまなく確認し, 重要箇所を探し当 てるのは労力の大きい作業である. 自動で重要箇所 の抽出が可能になれば，例えば，故障箇所の迅速な 特定と対処や，それを踏まえた顧客への早期対応な どの業務改善に役立つと考えられる. 本研究で扱う 障害レポートは，主に障害の状況，原因，そしてそ れに対する措置を示す文と，それらに含まれないそ の他の文によって構成されている。障害レポートの 状況・原因・措置のラベルが付与された文と重要箇所の抽出例を図 1 に示す. 本研究は障害レポートの 各文が上述の 3 種類に分類されている状況下におい て，各文から重要箇所を抽出することを目的として 研究を行う.

本研究で扱う障害レポートはデータが少なく,追加でのデータの確保も権利の関係で難しい. そ のためタスクに合わせた大規模モデルを一から作成することは困難である．そこで本研究では，学習に使用可能なデータが少量である場合でも有効性が確認されている事前学習モデル $[1,2,3]$ を用 いた実験を行う. 本研究と同様に障害レポートか らの重要箇所抽出を行った本間ら [4] の先行研究 では，Transformer [5] の Encoder 部分を用いる事前学習モデル Bidirectional Encoder Representations from Transformers (BERT) [1] により，LSTMを用いた小平らの研究 [6] からの性能向上を達成した. 本研究では本間ら [4] とは異なり, Encoder-Decoder モ デルの事前学習モデルである Text-To-Text Transfer Transformer (T5) [7] を用いて実験を行い，障害レ ポートからの重要箇所抽出への有効性を検証し, BERT を用いた先行研究と比較して大幅な性能の向上を確認した. また，本研究では本間ら [4] によっ て提案された障害レポートからの重要箇所抽出の夕 スクを抽出型の質問応答形式のタスクとして扱う手法にならい， T5 モデルを用いた質問応答タスクと して実験を行った。その際，質問形式の違いによる 重要箇所抽出の性能比較も実施した. 結果として,適切な質問を用いることで重要箇所抽出の性能が向上することを示した.

## 2 関連研究

## 2.1 事前学習モデル T5

近年，大規模なラベルなしデータで学習を行う事前学習モデルの研究が進み，様々なタスクで高い性能を発揮している。事前学習モデルの 1 つである T5 は自然言語処理に関する様々なタスクを全て系列から系列への変換とみなし，大規模な事前学習済 み Transformer モデルを用いてタスクを解くことで 性能向上を実現している. T5 の事前学習時の入力 と出力の例を以下に示す.

入力 今日はいい<X>で<Y>やすいですね。

出力 $<\mathrm{X}>$ 天気 $<\mathrm{Y}>$ 過ごし

ここで<X>と<Y>はマスクのための特殊トークンで

図 1 障害レポートに対するアノテーションの例

ある．T5 の事前学習は Masked Language Model に基 づいており，入力側は文書の一部のトークンがマス クされており, 出力側はマスクされたトークンの予測をすることで学習を行う。

## 2.2 重要箇所抽出タスク

本研究と類似した形式で障害レポートからの重要箇所抽出を行っている研究として，LSTMを用いて 系列ラベリングタスクとして解く小平らの手法 [6] と，BERT モデルを用いて質問応答タスクの形式を 応用して解く本間らの手法 [4] が存在する. これ らの研究は本研究と同様のタスクについて研究を 行っているが，本研究で用いている事前学習済みの Encode-Decoder モデルを用いた実験や，質問応答形式における質問を変更した際の影響に関する分析は 行っていない。

本研究で扱う障害レポートからの重要箇所抽出 タスクは対象とするデータのドメインの違い，抽出すべき箇所が文や文章ではなくその一部である などの違いはみられるものの，抽出型要約タスク や Stanford Question Answering Dataset (SQuAD) [8] に 代表される抽出型の質問応答タスクに類似して いる. 抽出型要約の研究としては，BERTを用い て fine-tuning を行う手法の有効性が報告されてお り [9], 正解の要約と要約候補の BERT から得られる 文書表現がより近くなるように学習を行う手法 [10] も提案されている. 抽出型の質問応答の研究として は，BERTをはじめとした様々な事前学習モデルを fine-tuning する手法 $[1,2,3]$ や，スパン予測に特化 した学習で性能向上を図る SpanBERT [11] が存在す る. また Raffel ら [7] は T5 モデルを用いて抽出型要約や質問応答の実験を行っており，BERT モデルよ りも高い性能を示している. これらの研究は本研究 と類似したタスクであるが，対象は英語であり。一方，本研究ではより小規模な日本語の障害レポート を対象に T5 モデルを用いた重要箇所抽出の有効性
を確認する。

## 2.3 入力形式の変更による性能向上

事前学習モデル GPT-3 を提案した Brown ら [12] はモデルを fine-tuning するのではなく，prompt と呼 ばれる入力形式を変えることで望むタスク出力を得 られることを示し，注目を浴びた。また分類タスク において，入力の形式を適切に変化させ fine-tuning を行うことで性能向上が可能であることが報告され ている $[13,14,15]$. これらはいずれもタスクに合わ せた適切な入力形式での性能向上を示唆している.本研究でも先行研究にならい質問応答の入力となる 質問の形式を複数用意し比較を行った。本研究では 先行研究で扱っていない重要箇所の抽出タスクを行 うだけでなく、Encoder-Decoder モデルに対する入力形式の変化の有効性について，日本語での検証に取 り組んでいる。

## 3 障害レポートからの重要箇所抽出

## 3.1 タスク設定

障害レポートには本研究で着目する状況や原因，措置にあたる文章以外にも，これらに含まれないそ の他の文章も存在する. 本研究では，このような各障害レポートを人手で分類し，その他にあたる文章 を除いた上で取り出された状況・原因・措置それぞ れの文章を入力とし，それらから重要箇所を抽出す ることを目的とする．実際の人手分類後の文章（入力）と抜き出された重要箇所（目的とする出力）の 例を図 1 に示す。

## 3.2 手法

本研究では質問応答形式で重要箇所抽出を行う手法 [4] に基づき，日本語 T5 モデルを用いた質問応答 タスク形式での重要箇所の抽出を行う。本研究で扱 う質問応答形式での重要箇所の抽出タスクの例を
表 1 重要箇所抽出の実験結果．太字はその列内で最もスコアが高いものを示し，下線はその列内で 2 番目にスコアが高 いものを示す. 質問種類がラベル別の BERT のスコアは本間ら [4] のものである.

図 $2 \mathrm{~T} 5$ を用いた質問応答形式での重要箇所抽出の例.

図 2 に示す. 図 2 では，質問として各ラベルごとの 文を用意し，抽出元文章と組み合わせることで質問応答のタスクとしている。抽出元文章の始まりには “文章：”をつけ，質問の始まりには“質問：”をつ けた。また T5 は Encoder-Decoder の構造の生成モデ ルであり，出力は抽出箇所の系列がそのまま出力さ れる. 本研究では質問を 4 種類用いて, 質問形式に よる結果の比較を行った. 以下に，質問の種類とそ の概要を示す.

質問なし質問を一切用いず抽出元文章のみを入力 とする形式

統一 状況・原因・措置のラベルに関わらず統一の “重要箇所はどこ?"という質問を行う形式

ラベル別 ラベルごとに“状況/原因/措置 は何？”と いう質問を行う形式

無意味 タスクとは無関係な “今日は晴れですか？” という質問を行う形式

## 4 実験

## 4.1 実験設定

本研究では、富士電機（株）の保有する設備保全 に関する障害レポートのデータを用いる。障害レ ポートは 194 件存在し，データ中の人名，企業名及 び場所はそれぞれ MAN，COMPANY 及び PLACEへ マスキング処理を施している。また一部データでア ノテーション誤りにより抽出元文章内に正解の重要箇所が含まれていないものがあったためそれらを 除き，状況・原因・措置を合わせて 577 件の抽出元文章と重要箇所のペアを作成した。実験の際はこの データを訓練：開発：評価=3:1:1 として 5 分割交差検証を行う。評価手法は本間ら [4] にならい適合率 に 2 倍の重みを付ける評価尺度 $\mathrm{F}_{2}$ スコアを用いる。本研究で用いる T5 モデルは Hugging Face ${ }^{1)}$ の 自然言語処理ライブラリ Transformers ${ }^{2}$ に基づく, Megagon Labs 公開の事前学習済み日本語 T5（語彙サイズ $32 \mathrm{~K}$ のモデル） 3）を使用した. 実装には Transformers のリポジトリに含まれるスクリプト run_translation.py を本研究に合わせて一部書き換え たものを用いた．学習時のパラメータは学習率 5e-5，バッチサイズ 32, エポック数 100 として最も 性能の高いモデルを開発データで選択した。

## 4.2 実験結果

実験結果を表 1 に示す。結果を見ると $\mathrm{T} 5$ を用い たモデルはどのような質問の形式でも，全てのラべ ルにおいて BERT を用いた先行研究よりも大幅に性能が向上している．T5 の結果内で質問形式を比較

表 2 モデルの出力例.

すると，質問なしのモデルとラベル別またはラベル 間で統一の質問を用いるモデルの結果の比較から，質問を用いることで性能が向上していることがわか る。一方，無意味な質問を用いるモデルは質問なし のモデルとほとんど同程度の性能であり, 単に質問 を追加するだけでは性能は向上せず，質問の内容が 重要であることがわかる。また最もスコアの高いラ ベル別の質問を行うモデルとラベル間で質問を統一 したモデルを比較すると，ラベルごとに質問を分け ることが性能向上に寄与していることもわかる.

## 5 分析

## 5.1 出力例の分析

実際のモデルの出力例を表 2 に示す. 抽出元文章 の赤色で書かれた箇所は重要箇所の参照である. 出力に用いたモデルは, 表 1 (3)の（全モデル中で最 も性能の高かった）ラベル別の質問を文章の後ろに つけて入力を行ったモデルである。例 1 ，例 3 ，例 5 を見ると，それぞれのラベルに対して適切な出力が 行われていることがわかる。また，例 4 を見ると，完全一致ではなく抽出範囲に誤りがあるものの，抽出すべき箇所の判断は正しく行われており正解に近 い出力ができていることもわかる。一方，T5 は抽出モデルではなく生成モデルのため, 抽出モデルで は起こりえない誤りも存在している. 例 2 と例 6 は 生成モデル特有の誤りであり, 例 2 では抽出元の文章には存在しない単語を出力している. 例 6 では抽出箇所は正しいものの，繰り返しが起きてしまって いることがわかる.

## 5.2 人手評価

5.1 節で見た表 2 の例 4 にもあるように $\mathrm{T} 5$ を用 いたモデルの出力は，正解との完全一致ではないが 部分一致であるようなものが多くみられた。 そこで表 3 人手評価の結果.

表 1 の(3) の出力の人手評価を行った. 具体的には,全 577 件のデータのうち，モデルの出力と正解が完全一致であったものを除く 311 件について， 2 人の 評価者が下記の 4 段階での評価を行った.

i. 正解と出力は完全一致ではないが、問題なく出力は受け入れられる

ii. 正解と出力は完全一致ではないが、正解の方に 問題があり出力は受け入れられる

iii. 正解と出力は完全一致ではなく、出力は受け入 れられない

iv. 正解と出力は完全一致ではなく、正解に問題が あるが、出力も受け入れられない

それぞれの評価の具体例を付録 $\mathrm{A}$ に示す. 表 3 に 人手評価の定量評価結果を示す. 出力が受け入れら れると評価されているもの（i と ii）の割合が全体 の $24.9 \%$ となっており，完全一致のものと合わせて $71.0 \%$ モデル出力が受け入れられるものとなった.

## 6 おわりに

本研究では日本語 $\mathrm{T} 5$ モデルを用いた障害レポー トからの質問応答形式での重要箇所抽出の研究に取 り組み，日本語 BERT モデルを用いた先行研究と比較し高い性能が得られることを示した。また質問の 形式を適切なものに変えることで，質問を用いない 場合や適切ではない質問を用いる場合と比較し，性能向上を確認した。今後はより適切な質問形式に関 して詳細な研究を行っていきたい.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL, pp. 41714186, 2019.

[2] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized bert pretraining approach, 2019.

[3] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. ALBERT: A lite bert for self-supervised learning of language representations. In ICLR, 2020.

[4] 本間広樹, 小町守, 真鍋章, 谷本恒野. BERT モデルを 用いた障害レポートに対する重要箇所抽出. 言語処理学会 第 27 回年次大会, pp. 189-193, 2021.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS, Vol. 30, pp. 5998-6008, 2017.

[6] 小平知範, 宮崎亮輔, 小町守. 障害情報レポートに対 する同時関連文章圧縮. 言語処理学会 第 23 回年次大会, pp. 189-193, 2017.

[7] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. JMLR, Vol. 21, pp. $1-67,2020$.

[8] Pranav Rajpurkar, Robin Jia, and Percy Liang. Know what you don't know: Unanswerable questions for SQuAD. In ACL, pp. 784-789, 2018.

[9] Yang Liu and Mirella Lapata. Text summarization with pretrained encoders. In EMNLP-IJCNLP, pp. 3730-3740, 2019.

[10] Ming Zhong, Pengfei Liu, Yiran Chen, Danqing Wang, Xipeng Qiu, and Xuanjing Huang. Extractive summarization as text matching. In ACL, pp. 6197-6208, 2020.

[11] Mandar Joshi, Danqi Chen, Yinhan Liu, Daniel S. Weld, Luke Zettlemoyer, and Omer Levy. SpanBERT: Improving pre-training by representing and predicting spans. TACL, Vol. 8, pp. 64-77, 2020.

[12] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In NeurIPS, Vol. 33, pp. 1877-1901, 2020.

[13] Timo Schick and Hinrich Schütze. Exploiting clozequestions for few-shot text classification and natural language inference. In EACL, pp. 255-269, 2021.

[14] Xiao Liu, Yanan Zheng, Zhengxiao Du, Ming Ding, Yujie Qian, Zhilin Yang, and Jie Tang. GPT understands, too.
arXiv:2103.10385, 2021.

[15] Timo Schick and Hinrich Schütze. It's not just size that matters: Small language models are also few-shot learners. In NAACL-HLT, pp. 2339-2352, 2021.

## 付録

## A 人手評価の各評価の例

出力の人手評価における各評価の例を表 4 に示す. 評価 1 は，正解の重要箇所が過不足なく必要な情報を 持っており, 重要箇所とモデル出力との差が，モデル出力の方が正解の重要箇所より長い場合は余計な要素 がなく，モデル出力の方が正解の重要箇所より短い場合は差分にあたる箇所の重要度が低いものである. 評価 2 は，正解が必要最低限の情報を持っていないなどの理由で問題がある一方で，モデル出力が必要な情報 を抽出できている場合である。評価 3 は，評価 1 と同様に正解の重要箇所が過不足なく必要な情報を持って いる一方で，モデル出力に余計な要素が存在している，必要な情報まで削ってしまっている，そもそも抽出箇所が異なる，などのものである。評価 4 は，評価 2 と同様に正解が必要最低限の情報を持っていないなど の理由で問題があるもので，かつモデル出力も評価 3 と同様の理由で問題があるものである.

表 4 人手評価における各評価例.

 \\


# 知識グラフ埋め込みにおける負例サンプリング損失の分析

上垣外 英剛
東京工業大学
kamigaito@lr.pi.titech.ac.jp
}

林克彦
群馬大学
khayashi0201@gmail .com

## 概要

知識グラフ埋め込み (KGE) の学習では扱うエン ティティ数が膨大であるため，負例サンプリング (NS) 損失が重要な役割を果たす。しかし， NS 損失 におけるマージン項，負例サンプル数，サブサンプ リング法などを適切に検討しなければ，KGE の学習性能は著しく悪化してしまうことが知られている. これまでこの問題は経験的なハイパーパラメータ チューニングによって対処されてきたが，本稿では NS 損失を理論的に分析し，KGE 学習における NS 損失の活用に関する理解を深める.

## 1 はじめに

知識グラフは質問応答・対話といった自然言語処理の課題に対処する上で重要な資源である。しか し，全てのエンティティに対する関係を人手で網羅 することは困難であるため，知識グラフ補完 (KGC) に関する研究が進められている．KGCに対するア プローチとしては知識グラフ埋め込み (KGE) がよく 研究されている $[1,2,3,4,5]$.

知識グラフに含まれるエンティティ数は膨大で あるため, 計算効率性の観点から KGE の学習では 負例サンプリング (NS) 損失が広く使用されている。 しかし，NS 損失は本来，単語分散表現の学習のた めに提案された手法である [6]. 本来の $\mathrm{NS}$ 損失に加 えられたいくつかの違いにより, KGE の学習におい てはスコア関数，使用する損失関数，ハイパーパラ メータの組み合わせは多様なものとなる。これらの 組み合わせを適切に選択することで，KGE の性能は 大きく変化することが知られているが $[7,8]$, どの ような組み合わせが適切であるかは理論的に明確で はない，そのため，現状では経験的なハイパーパラ メータチューニングに頼っており，様々な組み合わ せを考慮するために膨大な計算時間を必要とする.

我々はこの問題に対処するために，KGE で用いら れている NS 損失に対しての理論的な検証を行い，
いくつかの理論的な事実を明らかにした。それら の理論的な事実を FB15k-237，WN18RR，YAGO3-10 を用いて実験を通して検証した結果，我々が導いた 理論的な事実は実際のモデルでも観測されることを 示した. さらに，理論的な観点から提案したサブサ ンプリング法を用いることでモデル性能を改善でき ることについても示した.

## 2 KGE における NS 損失

本節では KGE を定式化し，それに基づいて，文献 [6] で提案された元の NS 損失と KGE で使用され ている NS 損失との差異について説明する。

## 2.1 KGE の定式化

本稿ではエンティティ $e_{i}, e_{j}$ とその関係 $r_{k}$ を表 す triplet を $\left(e_{i}, r_{k}, e_{j}\right)$ と表記する。KGCではクエリ $\left(e_{i}, r_{k}, ?\right)$ や $\left(?, r_{k}, e_{j}\right)$ が与えられ, モデルは? に対応するエンティティを予測する。 入力されたクエリ を $x$ ，予測すべきエンティティを $y$ とすると，モデ ルパラメータ $\theta$ に基づくスコア関数 $s_{\theta}(x, y)$ の下， $x$ から $y$ が予測される確率 $p_{\theta}(y \mid x)$ は，Softmax 関数を 用いて次のように定義される:

$
p_{\theta}(y \mid x)=\frac{\exp \left(s_{\theta}(x, y)\right)}{\sum_{y^{\prime} \in Y} \exp \left(s_{\theta}\left(x, y^{\prime}\right)\right)} .
$

本稿では以後，損失関数が 0 となった際の式 (1)を 目的分布と呼ぶ.

## 2.2 NS 損失

Softmax 関数は明示的に確率を表せるが，正規化項によって学習時間が増大してしまう，そのため，学習時に正規化を行うことなくSoftmax 関数を近似 する手法として NS 損失が提案された [6]. $p_{d}(x, y)$ に従う観測データ $D=\left.\{\left(x_{1}, y_{1}\right), \cdots,\left(x_{n}, y_{n}\right)\right.\}$ に対 し, NS 損失は次で定義される。

$-\frac{1}{|D|} \sum_{(x, y) \in D}\left[\log \left(\sigma\left(s_{\theta}(x, y)\right)\right)+\sum_{y_{i} \sim p_{n}(y \mid x)} \log \left(\sigma\left(-s_{\theta}\left(x, y_{i}\right)\right)\right)\right]$.
$p_{n}(y \mid x)$ はノイズ分布， $\sigma$ はシグモイド関数を表す.

一方，近年は式 (2) と共に，マージン項 $\gamma$ を加え た次のような NS 損失が使用されている [4].

$
\begin{aligned}
& -\frac{1}{|D|} \sum_{(x, y) \in D}\left[\log \left(\sigma\left(s_{\theta}(x, y)+\gamma\right)\right)\right. \\
& \left.\quad+\frac{1}{v} \sum_{y_{i} \sim p_{n}(y \mid x)} \log \left(\sigma\left(-s_{\theta}\left(x, y_{i}\right)-\gamma\right)\right)\right] .
\end{aligned}
$

次節以降で両損失関数の差異を議論する。

## 3 理論的な分析

## 3.1 マージン項の役割

本節ではマージン項 $\gamma$ が持つ役割について理論的側面から論じる. 式 (2) と式 (3)を比較することで, $\gamma$ の役割に関連する次の命題を示せる.

命題 1 式 (2)と式 (3) は同じ目的分布を持つ. ${ }^{1)}$

命題 1 より, $\gamma$ の存在は損失関数が最適解に到達し た場合には影響を及ぼさない事が分かる。一方，上記の命題が成立するには, 前提となる損失関数が最適解に到達できる必要がある. 特に，スコア関数の 值域が $(-\infty,+\infty)$ ではない場合, 到達不可能な值が 存在することになるため，この点を議論する。

值域に制限のあるスコア関数として，TransE [1], RotatE [4], HAKE [9] 等に代表される距離べースの スコアリング法がある。距離ベースのスコアリン グ法は $p$-ノルムを用いて $-\left.\|f_{\theta}(x, y)\right.\|_{p}$ と表現され る. $f_{\theta}(x, y)$ は $(\mathrm{x}, \mathrm{y})$ に対してべクトル值を返す関数 である. 従って, $f_{\theta}(x, y)$ が任意のベクトルを表現可能な時，距離ベースのスコアリング法の値域は $(-\infty, 0]$ となる. これより次の命題が成立する.

命題 2 距離ベースのスコアリング関数は式 (2) に おいて $v p_{n}(y \mid x)<p_{d}(y \mid x)$ となる $(x, y)$ が存在する 時, 最適解に到達できない。 また, 式 (3) において は, $\exp (\gamma) p_{n}(y \mid x)<p_{d}(y \mid x)$ となる $(x, y)$ が存在す る時, 最適解に到達できない. ${ }^{2)}$

命題 2 より, 距離ベースのスコアリング法を NS 損失で学習する際にはノイズ分布を適切に選択す る必要があることが分かる。 しかし, 式 (2)では, $v p_{n}(y \mid x)>p_{d}(y \mid x)$ となる $v$ 及びノイズ分布を使用

1）証明は付録 A. 1 に記載.

2）証明は付録 A. 2 に記載.
する必要があるが，ノイズ分布の調整のみで全ての (x,y) に対してこの条件を満たすことは困難である. したがって式 (2)では，計算時間を犠牲にサンプル 数 $v$ を増大させる必要がある. その一方で, 式 (3) では, $\exp (\gamma) p_{n}(y \mid x)>p_{d}(y \mid x)$ を満たせば良いこと から，単に $\gamma$ に十分に大きな值を設定すればこの 問題を回避することができる．KGEでは一般的に $p_{n}(y \mid x)$ に一様分布が用いられることから, 確率の 定義より $p_{d}(y \mid x)$ が 1 を超えないことを考慮すると， $\exp (\gamma)$ はラベル数 $|Y|$ よりも大きいことが望ましい.

本節における今までの議論に基づくと，マージン 項に大きな値を設定することで欠点に直面するこ となく，モデルの学習が促進されるように考えられ る. しかし, 次の命題はマージン項を自由に設定で きるわけではないことを示す.

命題 3 マージン項 $\gamma$ は式 (3)の勾配に影響を与え 弓. ${ }^{3)}$

命題 3 より，マージン項を変更した場合，勾配に関係するその他のハイパーパラメータも適切に設定 しなければならないことが分かる. 以上より, 距離 ベースのスコアリング法を用いる際にはマージン項 に十分大きな値を設定した上で，勾配に関係する八 イパーパラメータを適切に調整しなければならな い.その一方で, ComplEx [3] や DistMult [2]のよう な值域に制限が存在しないスコアリング法ではマー ジン項の調整は不要であると考えられる。

## 3.2 負例サンプル数の影響

次に負例サンプル数 $v$ が学習に与える影響につい て理論的側面から議論する。命題 1 より，負例サン プル数はマージン項と同様に, 式 (2)と式 (3)で表さ れる両損失関数の目的分布に対しては影響しない ことが分かる。なお，詳細な議論を付録 B に記載 した.

## 3.3 KGE に適したサブサンプリング法

今までの議論は，NS 損失がモデルを観測データ により定義される分布 $p_{d}(y \mid x)$ に適合させるという 前提に基づいていた. しかし, 実際に NS 損失が行 うべきことは，モデルを観測データの背後に存在す る真の分布 $p_{d}^{\prime}(y \mid x)$ に適合させることである. この ためには，観測結果に基づく $p_{d}(y \mid x)$ と $p_{d}^{\prime}(y \mid x)$ の

3）証明は付録 A. 3 に記載.
隔たりを埋めなければならない。ここでそのような 役割を果たす関数 $A(x, y), B(x)$ が存在すると仮定 する。この両関数を用いて，真の分布への適合を考慮した NS 損失が次のように導かれる。

$
\begin{aligned}
& -\frac{1}{|D|} \sum_{(x, y) \in D}\left[\log \left(\sigma\left(s_{\theta}(x, y)+\gamma\right)\right)\right] p_{d}^{\prime}(x, y) \\
& +\sum_{\substack{ \\
y_{i} \sim p_{n}(y \mid x)}}\left[p_{n}\left(y_{i} \mid x\right) \log \left(\sigma\left(-s_{\theta}\left(x, y_{i}\right)-\gamma\right)\right)\right] p_{d}^{\prime}(x) \\
= & -\frac{1}{|D|} \sum_{(x, y) \in D}\left[\log \left(\sigma\left(s_{\theta}(x, y)+\gamma\right)\right)\right] A(x, y) p_{d}(x, y) \\
& +\sum_{y_{i} \sim p_{n}(y \mid x)}\left[p_{n}\left(y_{i} \mid x\right) \log \left(\sigma\left(-s_{\theta}\left(x, y_{i}\right)-\gamma\right)\right)\right] B(x) p_{d}(x) \\
= & -\frac{1}{|D|} \sum_{(x, y) \in D}\left[A(x, y) \log \left(\sigma\left(s_{\theta}(x, y)+\gamma\right)\right)\right. \\
& \left.+\frac{1}{v} \sum_{y_{i} \sim p_{n}(y \mid x)} B(x) \log \left(\sigma\left(-s_{\theta}\left(x, y_{i}\right)-\gamma\right)\right)\right] .
\end{aligned}
$

Mikolov ら [6] は式 (3)の NS 損失と同時に，サブサ ンプリングを提案している. サブサンプリングは学習事例である単語の出現確率を調整するものであ り, $A(x, y), B(x)$ に対応する役割を持つ. 一方で， KGE においてサブサンプリングを NS 損失で使用す ることについて議論している論文は我々の知る限り では存在しない。しかし，実装としては Sun ら $[4]^{4}$ が word2 vec を踏襲する形で頻度に基づいた割引を 行う下記のものを使用している。

$
A(x, y)=B(x, y)=\frac{\frac{1}{\sqrt{\#(x, y)}}}{\sum_{\left(x^{\prime}, y^{\prime}\right) \in D \frac{1}{\sqrt{\#\left(x^{\prime}, y^{\prime}\right)}}}} .
$

ここで＃ は頻度を表す記号であり，\# $(x, y)$ は $(x, y)$ の頻度を表す。なお，実際の $(x, y)$ は $\mathrm{KG}$ 上で高々 1 回しか出現しないため, $(x, y)=\left(e_{i}, r_{k}, e_{j}\right)$ とする とき，\# $(x, y)$ のバックオフ [10] を用いて次のように 近似している.

$
\#(x, y)=\#\left(e_{i}, r_{k}\right)+\#\left(r_{k}, e_{j}\right)
$

ここで式 (4)を元に理論的な観点から式 (5) のよ うな頻度による割引を行う KGE に特化したサブ サンプリング法を導出する。この導出は真の分布 $p_{d}^{\prime}(y \mid x)$ に対する仮定をどのように置くかによって 変化する。まず，真の分布において， $(x, y)$ は頻度 を持っているが，観測されたものは高々 1 に過ぎな かったという仮定に基づいた導出を行う. この場合 は式 (5) と同様に実際に $\#(x, y)$ の頻度を計算できな

いため，式 (6) の近似を用いる. ここで式 (4)より， $A(x, y)$ は $(x, y)$ の頻度に対する割引を， $B(x)$ は $x$ の 頻度に対する割引をそれぞれ行うため，次のような サブサンプリング法が導出される.

$
A(x, y)=\frac{\frac{1}{\sqrt{\#(x, y)}}}{\sum_{\left(x^{\prime}, y^{\prime}\right) \in D} \frac{1}{\sqrt{\#\left(x^{\prime}, y^{\prime}\right)}}}, \quad B(x)=\frac{\frac{1}{\sqrt{\# x}}}{\sum_{x^{\prime} \in D} \frac{1}{\sqrt{\# x^{\prime}}}}
$

一方で，真の分布においても，観測結果と同様に $(x, y)$ は高々頻度 1 であると仮定した場合, $p_{d}^{\prime}(y \mid x)=p_{d}^{\prime}(x, y) / p_{d}^{\prime}(x) \propto 1 / p_{d}^{\prime}(x)$ となり, $p_{d}^{\prime}(y \mid x)$ は同じ $x$ に対しては同じ値となる. 従って，この仮定の下では $p_{d}(x)$ に対してのみ割引を行うことにな り，次のサブサンプリング法が導出される.

$
A(x, y)=B(x)=\frac{\frac{1}{\sqrt{\# x}}}{\sum_{x^{\prime} \in D} \frac{1}{\sqrt{\# x^{\prime}}}} .
$

式 (7) と式 (8) は理論的な側面から導出されている が，実際のタスクにおいては汎化の対象である真の 分布はデータセットによって異なる. 従って理論的側面からのみサブサンプリング法の優劣を論じるこ とは出来ないため，使用に際しては開発データを用 いた検証が必要である.

## 4 経験的な分析

本節では 3 節で論じた理論的な特性が実際のデー タやモデルに対して成立するか検証する。データ セットは FB15k-237，WN18RR，YAGO3-10を用い た [5]. モデルは値域に制限を持たない ComplEx， DistMult と，p-ノルムを使用し値域に制限をもつ RotatE, HAKE [9]を比較した. 特に断りが無い場合, ComplEx, DistMult, RotatEのハイパーパラメータは Sun ら [4]のものを，HAKE のハイパーパラメータ は Zhang ら [9]のものを使用した.

## 4.1 マージン項の影響

マージン項を変更した際のモデルの予測精度の 変化を調査するために， Mean Reciprocal Rank (MRR) を対象に異なる $\gamma$ を用いた際の結果を比較した。

まず初めに， 3.1 節で議論した $p$-ノルムを用いた スコアリング法を適切に学習するためにマージン項 が必要であるという理論的な結論が実用上でも成立 しているのかを検証する。そのためにマージン項の 有無による性能の変化について，一様雑音分布を用 いて $p$-ノルムに基づくRotatE，HAKE と值域に制限

図 1: マージン項 $\gamma$ に 0 を用いた場合と報告値を用いた場合の各設定における MRR.

表 1: 各サブサンプリング法の評価結果. Sub. はサブサンプリングを，Base は式 (5)を，Freq は式 (7)を， Uniq は式 (8)をそれぞれ表す。太字は各設定における最高スコアを表す.

が無い ComplEx，DistMult とで比較した。なお， $\gamma$ を元の值から 0 へと大幅に変更するに際し，モデル が適切に学習されるよう, Adam の初期学習率を最 もよく使用されている 0.001 へ変更した.

図 1 にマージン項に先行研究の値を用いた際 (w/ $/$ ) の結果とマージンを使用しなかった際 (w/o $\gamma)$ の結果を示す.この結果では, ComplEx, DistMult では大きな性能の変化が無く，これらのスコアリン グ法におけるマージン項の調整の不必要性を改めて 確認することが出来る. そして, $p$-ノルムに基づく RotatE，HAKE ではマージン項を用いない場合に大幅な性能低下が確認でき，これらのスコアリング法 においてマージン項を使用することが必要であるこ とが改めて分かる.

## 4.2 サブサンプリング法の比較

3.3 節にて議論したサブサンプリング法の比較を 行う．比較はサブサンプリングを行わない場合，現在使用されているサブサンプリング法である式 (5),提案手法である式 $(7,8)$ との間で行う．比較のため のモデルとしては公開コード中にてサブサンプリ ングを行っている RotatE と HAKEを選択し，学習 では元の論文と同様に自己敵対的負例サンプリン
グ損失 [4] を用いた。評価尺度には MRR，Hits@ 1， Hits@3，Hits@10を使用した. 表 1 に各設定におけ るスコアを示す。この結果より，知識グラフの補完においてサブサンプリングの使用が有効である ことが分かる．また，我々の提案法であるUniq と Freq はRotatE d WN18RR で評価した場合以外は共 に Base よりも高いかあるいは同等の結果を示して おり，理論的側面から導出されたサブサンプリング 法が実用上も適切なものであったと考えられる.

## 5 まとめ

本論文では，KGEで用いられている NS 損失に対 しての理論的な検証を行い，いくつかの理論的な事実を明らかにした。また，その理論的な事実に基づ き，KGE の損失関数に特化したサブサンプリング法 についても提案した. それらの理論的な事実及び提案したサブサンプリング法の性能を検証するため に，我々は FB15k-237，WN18RR，YAGO3-10を用い た実験を実施した. 実験の結果，我々が導いた理論的な事実は実際のモデルでも観測されることを示し た. また，提案したサブサンプリング法が実際にモ デルの知識グラフの補完における性能を改善できる ことについても示した.

## 参考文献

[1] Antoine Bordes, Nicolas Usunier, Alberto García-Durán, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. In Advances in Neural Information Processing Systems 26: 27th Annual Conference on Neural Information Processing Systems 2013, pp. 2787-2795, 2013.

[2] Bishan Yang, Wen-tau Yih, Xiaodong He, Jianfeng Gao, and $\mathrm{Li}$ Deng. Embedding entities and relations for learning and inference in knowledge bases. In Proceddings of the 3rd International Conference on Learning Representations, ICLR 2015, 2015.

[3] Théo Trouillon, Johannes Welbl, Sebastian Riedel, Éric Gaussier, and Guillaume Bouchard. Complex embeddings for simple link prediction. In Proceedings of the 33nd International Conference on Machine Learning, ICML 2016, Vol. 48 of JMLR Workshop and Conference Proceedings, pp. 2071-2080. JMLR.org, 2016.

[4] Zhiqing Sun, Zhi-Hong Deng, Jian-Yun Nie, and Jian Tang. Rotate: Knowledge graph embedding by relational rotation in complex space. In Proceedings of the 7th International Conference on Learning Representations, ICLR 2019, 2019.

[5] Tim Dettmers, Pasquale Minervini, Pontus Stenetorp, and Sebastian Riedel. Convolutional 2d knowledge graph embeddings. In Proceedings of the Thirty-Second AAAI Conference on Artificial Intelligence, (AAAI-18), pp. 1811-1818, 2018

[6] Tomás Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. Distributed representations of words and phrases and their compositionality. CoRR, Vol. abs/1310.4546, , 2013.

[7] Daniel Ruffinelli, Samuel Broscheit, and Rainer Gemulla. You CAN teach an old dog new tricks! on training knowledge graph embeddings. In Proceedings of the 8th International Conference on Learning Representations, ICLR 2020, 2020.

[8] Mehdi Ali, Max Berrendorf, Charles Tapley Hoyt, Laurent Vermue, Mikhail Galkin, Sahand Sharifzadeh, Asja Fischer, Volker Tresp, and Jens Lehmann. Bringing light into the dark: A large-scale evaluation of knowledge graph embedding models under a unified framework. IEEE Transactions on Pattern Analysis and Machine Intelligence, pp. 1-1, 2021.

[9] Zhanqiu Zhang, Jianyu Cai, Yongdong Zhang, and Jie Wang. Learning hierarchy-aware knowledge graph embeddings for link prediction. In Proceedings of the Thirty-Fourth AAAI Conference on Artificial Intelligence, (AAAI20), pp. 3065-3072, 2020.

[10] Slava Katz. Estimation of probabilities from sparse data for the language model component of a speech recognizer. IEEE transactions on acoustics, speech, and signal processing, Vol. 35, No. 3, pp. 400-401, 1987.

[11] Omer Levy and Yoav Goldberg. Neural word embedding as implicit matrix factorization. In Z. Ghahramani, M. Welling, C. Cortes, N. Lawrence, and K. Q. Weinberger, editors, Advances in Neural Information Pro- cessing Systems, Vol. 27. Curran Associates, Inc., 2014.

[12] Hidetaka Kamigaito and Katsuhiko Hayashi. Unified interpretation of softmax cross-entropy and negative sampling: With case study for knowledge graph embedding. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, ACL/IJCNLP 2021, pp. 5517-5531, 2021.

[13] 上垣外英剛, 林克彦. Unified interpretation of softmax cross entropy and negative sampling: With case study for knowledge graph embedding. 自然言語処理, Vol. 28, No. 4, pp. 1336-1341, 2021.

[14] Samuel Broscheit, Daniel Ruffinelli, Adrian Kochsiek, Patrick Betz, and Rainer Gemulla. LibKGE - A knowledge graph embedding library for reproducible research. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 165-174, 2020.

## A 証明

## A. 1 命題 1 の証明

先行研究 $[11,12,13]$ より, 式 (2) が 0 となる際に

$
\exp \left(s_{\theta}(x, y)\right)=\frac{p_{d}(y \mid x)}{v p_{n}(y \mid x)}
$

が成立.ここで式 (3) が 0 となる際を考える. 式 (3) における $v$ の正規化により式 (9) の $v$ は消去され る. さらにマージン項 $\gamma$ の存在により, 式 (3) が 0 となる際に

$
\exp \left(s_{\theta}(x, y)\right)=\frac{p_{d}(y \mid x)}{\exp (\gamma) p_{n}(y \mid x)}
$

が成立. 式(9)を式(1)に代入した結果と，式(10)を 式(1)に代入した結果は共に

$
\frac{p_{d}(y \mid x)}{\left.\sum_{y^{\prime} \in Y} p_{d}\left(y^{\prime} \mid x\right)\right)}
$

となることから命題 1 が示された.

## A. 2 命題 2 の証明

$s_{\theta}(x, y) \leqq 0$ のとき, $\exp \left(s_{\theta}(x, y)\right) \leqq 1$ が成立する. このとき，式 (9) の右辺が同じ值域を持たない場合，式 (2) は到達不可能な点を持つ可能性がある. 従っ て式 (2) が到達不可能な点を持たない条件は次のよ うに導かれる

$
\begin{aligned}
& \frac{p_{d}(y \mid x)}{v p_{n}(y \mid x)} \leqq 1 \\
\Leftrightarrow & p_{d}(y \mid x) \leqq v p_{n}(y \mid x) .
\end{aligned}
$

式 (3) が到達不可能な点を持たない条件も同様に次 のように導かれる

$
\begin{aligned}
& \frac{p_{d}(y \mid x)}{\exp (\gamma) p_{n}(y \mid x)} \leqq 1 \\
\Leftrightarrow & p_{d}(y \mid x) \leqq \exp (\gamma) p_{n}(y \mid x) .
\end{aligned}
$

## A. 3 命題 3 の証明

合成関数の微分の定義より式 (3)を微分した結果 には $\gamma$ が含まれるため自明.

## B 負例サンプル数の影響

本節では 3.2 節で議論した負例サンプル数が学習 に与える影響について調査する。具体的には，様々 な負例サンプル数に基づきモデルを学習し, 学習さ れたモデルの MRRを比較する。式 (2) に基づく NS

図 2: 負例サンプル数が変化した際の各設定におけ る MRR. NS (Sum) は式 (2), NS (Mean) は式 (3) の NS 損失をそれぞれ表している

損失を使用するため，我々は LibKGE $[14]^{5)}$ を使用し た. 負例サンプル数以外のハイパーパラメータにつ いては Kamigaito ら [12] と同じものを使用した.

図 2 に負例サンプル数を変化させた際の各設定 における MRRを示す..ここ結果より，損失関数に よって示す値こそ異なるものの，負例サンプル数の 違いによる MRR の変動幅はどの損失関数において もほぼ同じであることが分かる。また，負例サンプ ル数の影響を強く受けると考えられるSANS におい ても負例サンプル数の違いによるスコアの大きな変動は観測されない.この結果は目的分布の観点から は負例サンプル数による影響はない，という 3.2 節 の内容に沿うものである.


# BERT の領域適応における複合語の語彙拡張

田中裕隆 1 新納浩幸 2
1 茨城大学大学院理工学研究科情報工学専攻 2 茨城大学大学院理工学研究科情報科学領域
20nm716y@vc.ibaraki.ac.jp
hiroyuki.shinnou.0828@vc.ibaraki.ac.jp

## 概要

BERT のような事前学習モデルは，大規模コーパ スで事前学習し応用タスクデータで finetuning する ことで，様々な自然言語処理タスクを高精度に処理 できる. しかし， Token レベルで処理する BERTが， BPE によって分割される未知語や複数の語で構成 される表現を学習することは困難である. 本研究で は，そのような複数 Token で表現される語を対象に した BERT の語彙拡張における，追加語彙の埋め込 み表現の構築について考える. 提案手法では，追加 の事前学習による領域適応を前提に，類義語による 近似的な埋め込み表現で語彙追加を行った. 各語彙拡張手法について実験を行い，Masked LM による追加語彙の予測精度で評価した。

## 1 はじめに

事前学習モデルは，多くの自然言語処理システ ムの性能を向上させている [1][2]. 事前学習モデル の一つである BERT[3] は, Transformer[4] モデルの Multi-head Attention を多層に積み重ねたモデルであ り, 入力単語列に対する文脈を考慮した単語埋め込 み表現を出力することができる。

事前学習モデルは，大規模コーパスで事前学習し たモデルを応用タスクデータに適用することで，各応用タスクを高精度に処理する. その性質上, 応用 タスクのドメインが事前学習したコーパスのドメイ ンと大きく異なると，応用タスクを解く精度が高く ならない領域適応の問題が存在する. Gururangan ら [5] は，応用タスクドメインのコーパスで追加の事前学習を行うことで応用タスクを高精度に解くこと ができる手法を提案している.

事前学習モデルの扱う語彙は事前学習したコーパ スに依存して決定されるため，応用タスクデータに 現れる語彙に適応するためには，語彙を拡張する必要がある. 事前学習モデルの領域適応における語彙

(a) 複数 Token に分割され， Token レベルで処理

(c) 分割された表現全体を 予測することは困難

(b) Token 単位の予測は 高精度に行える

(d) 単体 Token の処理であれ ば，Token 単位の予測は容易

図 1: 語彙追加の対象となる語の例

の拡張手法については，Yao らの Adapt-and-Distill[6] や，Hong らの AVocaDo[7] といった研究がある.

標準的な BERT における日本語の語彙は, 形態素解析と Byte-Pair Encoding によって分割された Token 単位で処理される. 未知語が既知の語に分割されて 処理されることで，少ない語彙数で多くの単語を処理できる. しかし BERT のような事前学習モデル は，Tokenレベルの表現を学習するために，複数の 語で構成される複合語や固有表現, 句の表現を学習 することは困難である。 (図 1 参照)

複数の語で構成されるエンティティの埋め込 み表現を学習するための事前学習モデルとして， LUKE[8] がある. LUKE は，通常の Token の埋め込 み表現とは別にエンティティのための埋め込み表現 を用意し，通常の Token とエンティティ間の関係を Entity-aware Self-attention によってモデル化・学習す る. ただし LUKE は大規模コーパスによる高コスト な事前学習を要する。

本研究では, 事前学習済みモデルの BERT に語彙

図 2: BERT の入力ベクトル

追加を行う手法を提案する，語彙の追加では，追加語彙の埋め込み表現を得ることができればよい，応用タスクデータによって追加の事前学習を行い，領域適応させることを前提とすれば，その前の追加語彙の埋め込み表現は近似的な表現であっても学習す ることができると考えられる。

## 2 BERT

## 2.1 BERT の Token Embeddings

入力文の Tokenize 処理によって得られた Token 列は，それぞれ BERT のモデルへの入力のための 埋め込み表現に変換される. BERT の入力ベクト ルは単語を表す Token Embeddings と文を識別する Segment Embeddings，位置情報を埋め込む Position Embeddings の 3 種類ある. (図 2 参照)

Token Embeddings は，各々の単語 Token に対応し た埋め込み表現である. BERT の最終的な出力は,文脈に応じて変化する文脈埋め込み表現である。た だし, BERTへの入力ベクトルとなる最初の埋め込 み表現は，Token 毎に固有の埋め込み表現となる。

## 2.2 Masked Language Model (MLM)

BRET の事前学習の手法の一つである MLM は，文の中のいくつかの単語を MASKに置き換えて， そこにあるべき単語を文脈から予測する問題であ る. 標準的な手法では, 入力トークンの内 $15 \%$ に対 して，以下のように置き換える。

・80\%は，特殊トークンである [MASK] に置き換 える。

・10\%は，ランダムな別のトークンに置き換える.

・残り $10 \%$ は，そのまま残す。

## 3 BERT への語彙追加手法

学習済み BERT モデルに語彙を追加する場合, BERT の Token Embeddings で用いられる埋め込み表現に追加語彙に対応する埋め込み表現を追加すれば よい. したがって語彙追加手法は，BERT の埋め込 み表現空間における追加語彙の埋め込み表現をどの ように得るかが課題となる。

## 3.1 静的な単語埋め込み表現を利用した 手法

追加語彙の埋め込み表現を得る方法の一つは, word2vec や fastText[9] [10] のような分散表現モデル による静的な単語埋め込み表現を利用する方法で ある。

具体的には，まず追加語彙を学習した分散表現モ デルを用意する。次に，BERT と分散表現モデルで 共通して学習している語彙集合を基に，分散表現モ デルの埋め込み表現を BERT の埋め込み表現に写像するための変換行列を学習する．学習手法として は，変換のソース単語ベクトルとターゲット単語べ クトルの平均二乗誤差を小さくするように確率的勾配降下法で学習を行う Mikolov ら [11]の手法や， べ クトルの補正や正規化によってより効率的に学習を 行う平子ら [12] の手法がある.

## 3.2 subword の平均ベクトル

事前学習済み BERT モデルのみを利用して追加語彙の埋め込み表現を得る手法としては， subword の 平均ベクトルを用いる手法がある.この手法は Yao らの Adapt-and-Distill[6] においても用いられている.

追加の対象となる語彙は，事前学習済みモデルに おいて複数 Token で処理される。例えば「不愉快」 という語であれば「不」「\#愉」「\#州」の 3Token で ある。事前学習済み BERT モデルからこれら 3Token の埋め込み表現の平均ベクトルを求め，それを追加語彙の埋め込み表現として追加する。

## 3.3 BERTRAM

BERTRAM[13] は，学習済み BERT モデルの出力 を利用して追加語彙の埋め込み表現を得る手法であ る. BERTRAM の研究では, BERT の事前学習コー パスにおける出現率が低頻度な語の追加を対象にし ている.

BERTRAM では，追加語彙の埋め込み表現を Form-Context Model で学習する. Form Model では文

図 3: 提案手法の概念図

字ベースの学習を行い, Context Model では文脈べー スの学習をする. Context Model の学習は標準的な BERT で文脈埋め込み表現を獲得するのと同様であ る.これに加えて文字べースの学習を行うことで，未知語に対して埋め込む情報量を確保している.

BERTRAMでは, 追加語彙「○○」を「<BERTRAM: ○○>」と表記した特殊トークンとして追加する。 BERTRAM によって追加された埋め込み表現を利用 する場合，データ中の追加語彙を「<BERTRAM: $\bigcirc$ ○>」の表記に置き換えて処理する。

## 4 提案手法

本提案手法 (図 3 参照) では, 新規語彙の類義語の 埋め込み表現を基に，MLM で finetuning された埋め 込み表現を用いる。

具体的な手順は次のようになる.

1. 追加語彙を学習済みの Word2Vec のような分散表現モデルを用意する.

2. 追加語彙の類義語を，分散表現モデルで推定 する.

3. 推定した類義語の内，BERT の語彙に含まれる 語の BERT の埋め込み表現を，追加語彙の埋め 込み表現として BERT に追加する。

4. 追加語彙を含むコーパスで語彙追加後の BERT を Masked Language Model で追加事前学習する.

## 5 実験

## 5.1 実験設定

本実験では，事前学習済みの日本語 BERT モデル に対する語彙拡張を行う. (図 4 参照) 提案手法の 他に，静的な単語埋め込み表現を利用する手法と， subword の平均ベクトルの手法と, BERTRAM の手法を試みる。

BERT の事前学習済みモデルは, 東北大学乾研究室が公開しているモデルを用いる。これは，

図 4: 語彙拡張の流れ

Hugging Face 社の Transformers ライブラリから，モデ ル名'cl-tohoku/bert-base-japanese' で利用できるモデ ルである。事前学習コーパスには日本語 Wikipedia が用いられている.

静的な単語埋め込み表現には，以下のサイトで公開されている日本語 Wikipedia エンティティベクト ル [14]を用いる. ${ }^{1)}$

提案手法で，追加語彙の類義語を求める時の類似度の計算は $\cos$ 類似度で求める。

形態素解析は Mecabで処理する。

各手法で語彙追加を行った BERT モデルは，いず れも応用タスクデータの学習データについて BERT の事前学習で標準的に行われる Masked Language Model によって追加の事前学習を行う.

本実験で学習・評価を行う応用タスクデータ には，以下のサイトで公開されている Amazon レ ビューコーパスを用いる.2)

追加する語彙は，表 1 に示す 20 語とする。これら の語は，事前学習済み BERT では複数 Token で処理 される語である。また，Wikipediaコーパスでの出現頻度が低く, Amazonレビューコーパスに複数回出現する語である．学習・テストデータは，これら の追加語彙を含む文のみであり，それぞれ 118 文， 205 文である.

評価は，新規語彙のみを MASK トークンに置き 換えて，新規語彙を推定できる精度を測る。

## 5.2 実験結果

提案手法において求めた追加語彙の類義語とその 類似度は表 1 に示す。

各手法の実験結果の正解率は表 2 に示す。表 2 で は，静的な単語埋め込み表現を利用した手法の結果 を分散表現として示している。提案手法と分散表現 の手法および平均べクトルの手法は，追加語彙を Masked LM で同程度に予測することができている.

表 1: 追加する語彙と

提案手法で利用した類義語

表 2: 全体と追加語彙毎の予測精度（正解率）

しかし，BERTRAM の手法の実験では，追加語彙の 予測精度は著しく低くなった。

## 6 考察

Masked Language Model による追加語彙の予測精度について，表 2 に示す各語彙毎の結果から分析 する。

Tokenize 処理において，唯一 BERTRAM の手法で は，追加語彙を特殊トークンとして扱っているた め，その影響度を調査する必要があると考えてい る. 語彙別に見ると, BERTRAM が高精度に予測で きる語彙は，その他の手法においても概ね高精度に 予測することができている.

全体の精度としては平均べクトルの手法が僅かに 高いものの，語彙別の精度を見るとそれぞれ特徵が ある.「駅作」「醜悪」などの語彙については，提案手法では比較的高い精度で予測できている. 提案手法で用いたこれらの類義語はそれぞれ「酷評」「邪悪」となっており， $\cos$ 類似度は 0.60 を超える。一方で，「読み手」「蛇足」などの語彙については，提案手法の予測精度は比較的低い結果となった. 提案手法で用いたこれらの類義語はそれぞれ「難解」

「筆」となっており， $\cos$ 類似度は 0.5126 と 0.4621 で，比較的低い類似度である。このような結果か ら，類似度の高い類義語を利用できる語彙は，他の 手法に比べて提案手法が有効であると考えられる。

## 7 おわりに

本研究では，複数 Token で表現される語を対象 に，応用タスクデータに対して追加の事前学習を行 うことを前提として，事前学習済み BERT モデルへ 語彙追加を行う手法を提案した. 提案手法で用いた 類義語と追加語彙との類似度と予測精度の関係につ いて分析し，類似度が比較的高い類義語を用いた場合には他の手法と同等以上の有効性があることを示 した。本実験で対象とした語彙は，BPEによって複数 Token に分割される語であった. 今後の課題とし ては，複数の語で構成される複合語や固有表現，句 といった表現に対しても有効な埋め込み表現を得る ことのできる語彙追加手法への拡張が考えられる.

## 謝辞

本研究は JSPS 科研費 JP19K12093 および 2021 年度国立情報学研究所公募型共同研究 (2021-FC05) の助成を受けています.

## 参考文献

[1] Matthew Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In NAACL2018, pp. 2227-2237, 2018.

[2] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving language understanding by generative pre-training. Technical report, OpenAI., 2018.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In NAACL2019, pp. 4171 -4186, 2019.

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[5] Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A. Smith. Don't stop pretraining: Adapt language models to domains and tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8342-8360, Online, July 2020. Association for Computational Linguistics.

[6] Yunzhi Yao, Shaohan Huang, Wenhui Wang, Li Dong, and Furu Wei. Adapt-and-distill: Developing small, fast and effective pretrained language models for domains. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 460-470, Online, August 2021. Association for Computational Linguistics.

[7] Jimin Hong, TaeHee Kim, Hyesu Lim, and Jaegul Choo. AVocaDo: Strategy for adapting vocabulary to downstream domain. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 4692-4700, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[8] Ikuya Yamada, Akari Asai, Hiroyuki Shindo, Hideaki Takeda, and Yuji Matsumoto. LUKE: Deep contextualized entity representations with entity-aware self-attention. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6442-6454, Online, November 2020. Association for Computational Linguistics.

[9] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 135-146, 2017.

[10] Armand Joulin, Edouard Grave, Piotr Bojanowski, and Tomas Mikolov. Bag of Tricks for Efficient Text Classification. arXiv preprint arXiv:1607.01759, 2016.
[11] Tomás Mikolov, Quoc V. Le, and Ilya Sutskever. Exploiting similarities among languages for machine translation. CoRR, Vol. abs/1309.4168, , 2013.

[12] 平子潤, 笹野遼平, 武田浩一. 静的な単語埋め込みに よるカタカナ語を対象とした bert の語彙拡張. 言語処理学会第 27 回年次大会 (NLP2021), 2021.

[13] Timo Schick and Hinrich Schütze. BERTRAM: Improved word embeddings have big impact on contextualized model performance. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3996-4007, Online, July 2020. Association for Computational Linguistics.

[14] 鈴木正敏, 松田耕史, 関根聡, 岡崎直観, 乾健太郎. Wikipedia 記事に対する拡張固有表現ラベルの多重付与. 言語処理学会第 22 回年次大会 (NLP2016), 2016 .