# 集合知を用いた大規模意味的フレーム知識の構築

小原京子
慶大/理研 AIP
ohara@hc.st.keio.ac.jp
河原大輔
早大/理研 AIP
dkw@waseda.jp

## 1 はじめに

本研究の目的は、高度な言語理解の実現に向けて、自然言語処理の手法で構築された「京都大学格フレ 一ム」（KCF）の格フレームと人手で構築中の「日本語フレームネット」（JFN）の意味フレームとを集合知を用いて対応付け、フレーム知識を統合するこ とである. 具体的な目標は 2 つる. 究極的目標は、 $\mathrm{KCF}$ 格フレームを $\mathrm{JFN}$ 意味フレームに対応付けし、 $\mathrm{KCF}$ 格フレームを構成するすべての文がその $\mathrm{JFN}$ 意味フレームにあてはまるとみなすことによって、 $\mathrm{JFN}$ 意味フレームアノテーション付きコーパスを大幅に増強することである。もう1つはクラウドソー シングの結果から JFN 上の既存のフレーム定義が不完全であることがわかる可能性があるため、これら について人手でチェックすることによりJFNを改良 することである．本論文は、 1 つ目の究極的目標に 向けた中間報告であるとともに、2つ目の目標の指針を決定するためのケーススタディである.

図 $1 \mathrm{KCF}$ 格フレームと JFN 意味フレーム

本研究では、ある述語に対するそれぞれの KCF 格 フレームについて、その述語に対して定義された JFN 意味フレームのいずれかに対応付ける (図 1). この対応付けを大規模かつ高速に行うためにクラウ

\author{
笹野遼平 \\ 名大/理研 AIP \\ sasano@i.nagoya-u.ac.jp satoshi.sekine@riken.jp
}

ドソーシングを用いる．具体的には、一つの KCF 格 フレームを代表する例文を提示文、JFN 意味フレー 么の例文 2 文を選択肢 1,2 として、提示文と用法が 似ている選択肢を選ぶタスクを実行する（図 2）。選択肢 1,2 に加えて、「いずれにも似ていない、も しくは判断できない」という選択肢（以下では “OTHER”と呼ぶ）を別途設け、JFNのいずれの例文 にも似ていない場合、もしくは提示文からは判断が 難しい場合に選択してもらう。この選択肢が多くの クラウドワーカーに選ばれた場合には、提示文、選択肢、あるいはそれ以外の何かを見直した方が良い 可能性がある.

## 提示文中の [...】の語の意味を考え、意味がもっとも似ている選択肢を選んでくだ さい。意味が似ている選択肢がない場合、もしくは判断できない場合は「※どれに も似ていない、もしくは判断できない」を選んでください。

ファイルサイズが指定サイズ以上のファ

我が国のそれそれれの地域・企業において実際に行われている取組みの事例を 【収集】し、分析することとした。

図 2 クラウドソーシングタスク例

$\mathrm{KCF}$ とFN の両方に存在する述語は図 1 に示し た通り 926 述語あり、そのうち JFNにアノテーショ ン例文があるのは 713 述語である.これらのうち 185 述語については既にクラウドソーシングを行い、言語分析者が人手でその結果の評価を行った. その内訳は、表 1 の通りである.

本論文では、表 1 の 85 述語と同様に JFN 上で現在 1 つの意味フレームに割り当てられており、複数 のアノテーション例文が存在する 81 述語のクラウ ドソーシング結果について報告と考察を行う．考察 においては、JFNで 2 つの意味フレームに割り当て

られた 37 述語のクラウドソーシング結果に関する 先行研究[1]、[2]の知見と比較する.

表 1 実施済みクラウドソーシング対象

 &  \\

分析の結果、JFN に一義語として登録されている 述語についても、正解率の高低やクラウドワーカー らの回答には多義語の場合と同様の傾向が見られる ことがわかった. 加えて、クラウドソーシング結果 の正解率の向上と JFN 改良のための指標が得られた.以下では、まず第 2 節で先行研究の知見を概観し た後に、第 3 節で今回の実験について論じる. 第 4 節では今回の実験結果を先行研究のそれと比較する.最後の第 5 節で今後の展望について述べる.

## 2 先行研究

先行研究[1]、[2]では、JFN において 2 つの意味 フレームに割り当てられており（つまり2つの意味 を持つ多義語）、それぞれの $\mathrm{JFN}$ 意味フレームで例文が 1 文以上存在する 37 述語について実験を行つ た. その結果、述語や格フレームによって最多票を 得た回答の正解率にばらつきが見られるが、 2 つの 語義が明らかに隔たっていて JFN 上の意味フレーム 定義に不備がない述語は正解率が高いこと、最多票 の回答が OTHER で得票数が多い格フレーム例文に は複単語表現 (multi-word expression、以下 MWE) が 出現しているものが多いことが明らかとなった.

10 人のクラウドワーカーらの回答について、最多票を獲得した JFN 意味フレームとその例文が正解だ ったかどうかを言語分析者が人手で評価・分析した.各述語の 2 つの語義間の類似度と、それらの意味が 現行のJFNに正確に意味フレームとして登録されて いるかどうかにより、37 述語を 3 つに分類した： カテゴリーI:2つの語義が明らかに隔たっている (9 述語、例：「送る」）。

カテゴリーII:2つの語義が似通っている（11 述語、

例：「書く」）.

カテゴリーIII: JFN 上に定義済みの JFN 意味フレー ムが、当該述語の $\mathrm{KCF}$ 格フレームに見られる全ての 語義を正確に表現していない（17 述語）.以下の 2 種類のケースがある：1) JFN 上で誤った意味フレー ムが当該述語に割り当てられていた(例:「適切だ」); 2) $\mathrm{KCF}$ 格フレームから当該述語が 3 つ以上の語義 を持つことが判明したが、JFN 上の当該述語に対す る意味フレーム割り当てが不完全であった (例:「与 える」).

述語カテゴリー別の、述語の平均正解率は以下の 通りであった.

$
\begin{aligned}
& \text { カテゴリーI: } 83.9 \% \\
& \text { カテゴリーII: } 55.0 \% \\
& \text { カテゴリーIII: } 39.9 \%
\end{aligned}
$

この結果から、クラウドワーカーらはカテゴリーIの 述語、つまり 2 つの語義が明らかに隔たっている述語に対しては、概教正しく $\mathrm{KCF}$ 格フレームを $\mathrm{JFN}$ 意味フレームに対応づけられたと言える。

また、最多票が OTHER でその得票数が多いKCF 格フレーム例文には複単語表現が関与するものが多 かった. (1)から(3)はその例である (文末のカッコ内 の数字は最多票を得た OTHER の得票数).

（1）自分が青春時代を【送った】（10）

(2) その日に私が話題に【上った】そうだ

(3)ここは私が話を【通そう】（8）

KCF の述語には MWE は含まれず、JFNでも今のと ころ MWE の見出し語は少ないので、KCF 格フレー ムと JFN 意味フレームの対応付けの際には MWE の 扱いに留意する必要がある.

本研究の究極的目標である KCF 上のそれぞれの 格フレームに対して JFN 意味フレームを効率的に対応づけるためにも、当面の目標である JFN コンテン ツの改良のためにも、クラウドソーシング結果を言語分析者が人手で詳細に評価する前にあらかじめ正解率の高い述語や留意すべき格フレームを推定でき ることが望ましい。従って、この先行研究で得られ た、JFN 上の意味フレーム定義に不備がない述語の 正解率が高いという傾向と、OTHER が最多票でな おかつ得票数が多い場合に MWE を含むケースが多

いという傾向が、一義語についても見られるかどう かを調查することにした。

## 3 実験

## 3.1 実験設定

今回の実験では、JFN 上で 1 つの JFN 意味フレー ムに登録されている（すなわち一義語とされている） 81 述語、合計 $1319 \mathrm{KCF}$ 格フレーム（1 述語あたり 平均 16.7 格フレーム) を対象とした.

## 3.2 結果

先行研究と同様に、最多票を獲得した選択肢が正解かどうかを評価した. OTHER が最多票を獲得し た際にそれが正解かどうかを得票数別に調べた。そ の結果を表 2 の OTHER 得票数 6-10 に示す.

## 表 2 格フレームごとの得票数別最多票 OTHER の正解率

} &  &  &  \\

9 & 4 & 4 & 100 \\
8 & 8 & 7 & 87.5 \\
7 & 19 & 9 & 47.4 \\
6 & 39 & 9 & 23.1 \\
5 & 77 & 16 & 20.8 \\
4 & 128 & 20 & 15.6 \\
3 & 218 & 41 & 18.8 \\
2 & 309 & 52 & 16.8 \\
1 & 329 & 41 & 12.5 \\
0 & 184 & 23 & 12.5 \\

まず、OTHER が最多票を取得し、なおかつ正解だ った格フレームについて分析した. OTHER が正解 となった理由としては次の 4 つがある：1) 述語が MWE の一部となっており MWE 全体で別のフレー ムを喚起する、2) JFN 上には 1 つの意味フレームの み割り当てられていたが、実際には他にも語義があ り KCF 格フレーム例文の用法はその別の語義に関 するものであった、3) JFN に割り当てられた意味フ
レームかアノテーション例文に誤りがあった、4)提示文である $\mathrm{KCF}$ 格フレーム例文の意味がわかりら゙ らかった、である(表 3).それぞれの例を(4)から (7) に示す (文末のカッコ内の数字は最多票だった OTHER の得票数).

(4) MWE

多くの人が会場で門前払いを【食った】

(5) 多義

有効の方がメモリを【食い】ません（10）

[Ingestion フレームに加え、 Expend_resourceフレームへ割り当て必要]

(6) JFNの意味フレーム割り当て不正確

いつでも気持ちは「日に【新た】」です (6)

[Familiarityフレームではなく正しくはAge フレーム]

(7) $\mathrm{KCF}$ 例文意味不明

今日も一日が【大幅に】しないとね

表 3 OTHER が正解だった理由の内訳

} & \multirow{2}{*}{} & \multicolumn{4}{|c|}{} \\

表 3 から分かる通り、MWE の関わる KCF 格フレ 一ム例文は、最多票 OTHER が正解でなおかつ得票
数が 7 から 10 までの格フレームに限られた. これ は先行研究で見られた傾向と同じである. これに対 して、JFN 上の意味フレームかアノテーション例文 の誤りに関わる KCF 格フレームは、OTHER 得票数 が少ない格フレームに多く見られた。

次に、OTHER が最多票を獲得した (つまり得票数 が 6 から 10 までだった）が、正解ではなかった 41 格フレームについて調べた (表 2 参照).これらの格 フレームにおいて OTHER が不正解となった理由と して考えられる顕著なものに KCF 例文（提示文） と JFN 例文 (選択肢) の文構造の違いがある (14 述語、計 25 格フレーム)，以下の例(8)-(10)に示すよう に、同一語義・用法であるにもかかわらず両者の文構造が違うためにクラウドワーカーらが同義と認識 できず、OTHERを選択したと考えられる.

(8) 文末 $v s$. 名詞修飾男のほうが顔を【重視】するのだろうな（KCF）；【重視】すべき機能に応じた森林整備の推進 (JFN)

(9) 文末 $v s$. て接続

アップグレードビジネスクラスを【比較】しよ ら! (KCF) ;

商業借款と【比較】して一定の水準以上に優遇 された貸付条件であることが必要とされている (JFN)

(10)否定形 vs.肯定形、能動態 vs.受動態

パソコンがモデムを【認識】しなくなってしま った（KCF）;

大量破壊兵器やその運搬手段である弾道ミサイ ルの移転・拡散は、冷戦後の大きな脅威の一つ として【認識】され続けてきた（JFN）

以上、JFN に一義語として登録されている述語に ついても、最多票の回答が OTHER で得票数が多い 格フレームに MWE が関与しているケースが多いこ とがわかった。さらに、MWE 以外にもその述語の 他の語義が見つかるケースがあることが判明した。 また、クラウドワーカーらは提示文と選択肢の文構造を比較して回答しているらしいことが示唆された.

## 4 考察

今回の実験対象は $\mathrm{JFN}$ 上で 1 つの JFN フレーム に登録されている述語であったが、クラウドソーシ ング結果を評価・分析した結果、 81 述語のうちの 9 述語が多義語であることが判明した. そこで先行研究に倣い、述語の意味的特徴と、それらが現行の JFN に正確に反映されているかどうかに基づき、これら 9 つの多義語をカテゴリーIから III に分類した. 述語カテゴリー別に述語の平均正解率を算出したとこ 万、以下の通りとなった。

カテゴリーI:2つの語義が明らかに隔たつている (2 述語：「食う」、「浮かぶ」）：100\%

カテゴリーII: 2 つの語義が似通っている（2 述語：

「教える」、「泳ぐ」）: 50.95\%

カテゴリーIII: JFN 上に定義済みの JFN 意味フレー ムが、当該述語の KCF 格フレームに見られる全ての 語義を正確に表現していない（5 述語）: $52.7 \%$

1) JFN に誤り（2 述語：「記録」、「重ねる」）： $28.1 \%$

2) 3 つ以上の語義 (3 述語：「吸う」、「決定」、「飲む」）：69.1\%

今回の実験においても 2 つの語義が明らかに隔たつ ており JFN のコンテンツに不備のない述語（カテゴ リーI 述語）は正解率が高いことが示された. ちなみ に、一義語の 72 述語のうち $\mathrm{JFN}$ 上の意味フレーム 割り当てやアノテーション例文に不備のない 59 述語の正解率は $63.2 \%$ 以上 $100 \%$ 以下に分布しており、不備のある残りの一義語（13 述語）の正解率はそれ より低い $0 \%$ 以上 $56.3 \%$ 以下に分布していた.

## 5 まとめと今後の展望

$\mathrm{JFN}$ 上で 1 つの JFN 意味フレームに登録されてい る述語を対象に、 $\mathrm{KCF}$ 格フレーム例文に JFN 意味フ レーム例文を対応づけるクラウドソーシングを行い、 その結果を正解率の向上と JFN 改良の観点から考察 した. 得られた知見は以下の通りである. 1) OTHER が正解となる理由は 4 つある. 2) OTHER が最多票 で得票数が多い場合は正解率が高く、MWE が関与 している可能性が高い．3）一義語・多義語ともに $\mathrm{JFN}$ 上で不備のない述語の正解率が高い. 4) クラウ ドワーカーらは回答の際に KCF 格フレーム例文と JFN フレーム例文の構造を考慮していると推定でき る. 今後 JFN に 1 例文のみ存在する一義語の実験の 際にこれらの仮説をさらに検証していく．

また、多義語と分析した 9 述語の述語カテゴリー への分類では語義間の意味の隔たりを考慮したが、 JFN 意味フレームの粒度と JFN 上のフレーム間関係 に鑑み、多義語については集合知のみならず自動処理を用いて今後検討していきたい。

## 参考文献

1. クラウドソーシングによる日本語 FrameNet と 自動構築した格フレームとの対応付け. 河原大輔,小原京子, 関根聡, 乾健太郎. 言語処理学会第 24 回年次大会, 2018.

2. Linking Japanese FrameNet with Kyoto University Case Frames Using Crowdsourcing. Ohara, Kyoko Hirose, Daisuke Kawahara, Satoshi Sekine, and Kentaro Inui. Proceedings of LREC2018 International FrameNet Workshop 2018: Multilingual Framenets and Constructicons, 2018.


# 日本語の読みやすさに対する 情報量に基づいた統一的な解釈

栗林樹生 ${ }^{1,2}$ 大関洋平 3,4 伊藤拓海 ${ }^{1,2}$ 吉田遼 3 浅原正幸 5 乾健太郎 1,4 1 東北大学 ${ }^{2}$ Langsmith 株式会社 3 東京大学 4 理化学研究所 5 国立国語研究所 \{kuribayashi, t-ito, inui\}@ecei.tohoku.ac.jp \{oseki, yoshiryo0617\}@g.ecc.u-tokyo.ac.jp, masayu-a@ninjal.ac.jp
## 1 はじめに

読みやすい文章とはどのようなものだろうか？文章を書いて情報伝達をする全てのヒトに関わる問い である. 本研究では，「読む」というヒトの情報処理のモデルについてモデルが何を計算しているかと いうレベルで理解し，文章の読みやすさについて洞察を得ることを目指す。

## 1.1 背景

英語では，特に言語モデルによって計算される サプライザル $(-\log p($ 単語や文| 先行文脈 $))$ が単語や文の逐次的な処理負荷をうまくモデリングで きるというコーパス全体の傾向が報告されてき た $[1,2,3,4,5,6,7,8]$. ヒトは続きを予測しながら文章を読んでおり，予想と異なる情報が登場する（サ プライザルが高くなる）と処理負荷が高まる（例え ば，読み時間が長くなる）というサプライザル理論に基づく $[9,10]$. 一方日本語では，近年読み時間 データ（BCCWJ-EyeTrack）が整備され [11], 日本語 の逐次的な読みやすさについて探索的な分析が行わ れてきた $[11,12,13,14]$. 例えば「係り元が先行文脈に多く存在する文節が読みやすい」 [11]，「聞き 手にとって既知と想定される情報は読みやすい」と いった記述がされてきた [14]. これらの記述は, ヒ トの文処理モデル解明の手がかりとなるだけでな く，読みやすい文章を書く上での知見としても役立 つ可能性がある．しかしながら，これらの個別の記述間の共通点については定かでなく, 新たな傾向の 探索は依然困難である。

## 1.2 仮説と検証結果

サプライザル理論に基づき，BCCWJ-EyeTrack に おいて記述的研究で得られてきた日本語読み時間に

図 1 ヒトの読み時間と言語モデルから得られるサプライ ザルの傾向の比較の概要.

関する傾向が，サプライザルが大きいところで読み にくくなるという傾向として統一的に解釈できると いう仮説を立てる。この仮説が支持されれば，読み 時間に対する個別の観察間に繋がりが生まれ，例え ば観測の難しいヒトに現れる現象（読み時間の変化 など）ではなく文章に付与されたサプライザルを分析することで，読みやすさの傾向に関する新たな記述に繋がる可能性がある。このような記述は，サプ ライザルが大きいところで読みにくくなるといった 実際のライティングに適用しにくい知見を噛み砕い たものとして有益であると考える。また「なぜある 言語現象が読み時間に影響を与えるのか」といった ヒトに対する現象個別の科学的な問いが「なぜサプ ライザルがヒトの読み時間に影響を与えるのか」と いうヒトに対する一般的な問いと「なぜその言語現象がコーパス上の確率に影響を与えるのか」という データで検証しやすい問いに整理される。さらに， サプライザル理論については英語コーパス上での検証が中心であり，日本語における本理論の一般性に ついても示唆を与える. 加えて，工学的応用として 言語モデルを文章の逐次的な読みやすさの評価に用 いる妥当性の検証にも繋がる。

Transformer 自己回帰言語モデルを用いた実験よ り，少なくとも BCCWJ-EyeTrack 上で報告されて きた統語から談話レベルに及ぶ読み時間の様々な
傾向についてはサプライザル上でも概ね再現され た. すなわち，個別の記述が情報量の観点から統一的に解釈できることが支持された。またヒトは 先を予想しながら文章を読んでおり，予想できな い情報が現れると読み負荷が大きくなるというサ プライザル理論の言語横断的な一般性も支持され た. 最後に読み時間とサプライザルの相違点につ いて分析し, 特に PPL の低い言語モデルで，ヒト の読み時間で得られていた特定の観察が極端なバ イアスとして観測される傾向を報告する. 本研究 で BCCWJ-EyeTrack に対して付与したサプライザル データ（BCCWJ-UniSeqLM）は公開する1).

## 2 実験設定

## 2.1 言語モデル

文章レベルの left-to-right 言語モデルを訓練 した. 入力はサブワードに分割した2)。読み 時間は文節ごとに付与されており, 長さ $N$ の文 $w_{1: N}=\left(w_{1}, w_{2}, \cdots, w_{N}\right)$ 内の長さ $T$ の文節 $\left.b=w_{k: k+T}(1<k \leq k+T \leq N)^{3}\right)$ について,文節を構成するサブワードの同時確率のサ プライザル $-\log _{2} p\left(w_{k}, \cdots, w_{k+T} \mid w_{1}, \cdots, w_{k-1}\right)=$ - $\sum_{i=k}^{k+T} \log _{2} p\left(w_{i} \mid w_{1}, \cdots, w_{i-1}\right)$ を計算した。八イ パーパラメータや学習データ量に関しては予備分析を行い，PPLが最も低い設定（LMPPL）と，サ プライザルによってヒトの読み時間を最もうまくモ デリングできた設定（LMPSY）の 2 種類を実験に用 いる4)。予備分析については付録に記載する。

## 2.2 サプライザルのモデリング

それぞれの言語モデルを用いて BCCWJ-EyeTrack 上の各文節にサプライザルを付与し, 既存研究 $[12,13,14]$ でヒトの読み時間に対して行われてい た分析を，被説明変数を読み時間からサプライザル に置き換えて実施した，具体的には，既存研究に従 い下式の右辺に分析ごとに興味の対象となる説明変数（例えば統語範疇ラベルなど）を加えてサプライ

1) https://github.com/kuribayashi4/BCCWJ-UniSeqLM

2) mecab [15] と unidic で国語研短単位に分割した後，バイト 対符号化を用いてさらに分割した（character coverage $=0.9995$, vocab size $=100000)$.

3） BOSトークン $\left(w_{1}\right)$ の存在から，文節は $w_{2}$ 以降から始まる. 4） 学習データは新聞記事と日本語 Wikipedia（1.4G サブワー ド）から成り, $\mathrm{LM}_{\mathrm{PPL}}$ の学習にはすべてのデータを, $\mathrm{LM}_{\mathrm{PSY}}$ で は 1/10 の学習データを使った。また， L $M_{P P L}$ に対して LM $M_{P S Y}$ は $1 / 100$ のアップデート回数で訓練され，およそ $1 / 10$ のパラ メータ数である.
ザルをモデリングし，回帰係数の傾向を分析した：

$
\begin{aligned}
\text { surprisal } & \sim \text { length }+ \text { BOS }+ \text { EOS }+ \text { pre_EOS }+ \text { sentN } \\
& + \text { tokenN }+(1 \mid \text { article })+(1 \mid \text { seed }) .
\end{aligned}
$

各言語モデルについて異なるシードで 3 つのモデル を学習し, 記事 ID と言語モデルのシードを変量因子として扱った. 回帰モデルには一般化線形混合モ デルを用いた.

スペースの都合上，実験ではサプライザルをモ デリングした結果の回帰係数の符号および，係数 が 0 であるという対立仮説に対する $\mathrm{p}$ 値 ( $\mathrm{p} \mathrm{p}<0.1$; ${ }^{* *} \mathrm{p}<0.05 ;{ }^{* * *} \mathrm{p}<0.01 ）$ を報告する. また分析に応じ $\tau$ ，係数同士の大小関係も補助的に報告する5）（結果の表中で 背景色を灰色にして 記載する)。またヒ トの読み時間についても，式 1 の被説明変数を読み 時間に置き換えて同様の検証を行い，サプライザル をモデリングした場合と係数の傾向を比較する．読 み時間としては，視線走査法により計測された対数注視時間（first pass time, FPT）と自己ペース読文法 により計測された対数読み時間（SELF）を用いた $[11]^{6)}$.いずれの分析においても，読み時間が 0 で あるか 3 標準偏差を超えるデータポイントはあら かじめ除外し, 被説明変数を標準化した. 最終的に 13,148 のデータポイントを用いた.

## 3 実験

## 3.1 統語・意味範疇

コーパス中の各文節には，統語範疇ラベル（体，用，相の類など）と意味範疇ラベル（関係，主体，活動，生産物，自然の部門など）が付与されており， （i）読み時間が体の類>相の類>用の類となる傾向, （ii）関係の部門の読み時間が短くなる傾向が報告さ れている [12]. 既存研究に従い各文節の統語・意味範疇のラベルを式 1 の右辺に固定因子として追加 し，サプライザル・読み時間をモデリングした。

ヒトのFPT, SELF と, LM $\mathrm{LPPL}_{\mathrm{PPL}}, \mathrm{LM}_{\mathrm{PSY}}$ から得られ たサプライザルについて，回帰係数の一部を表 1 に 示す. 例えば「用（v.s. 体)」の行ではヒトと言語モ デルいずれにおいても符号が負であることより，体 の類よりも用の類に分類される文節の方がサプライ
, \mathrm{B}$ に対 する回帰係数の推定量の差 $\left|\alpha_{A}-\alpha_{B}\right|$ が， $\alpha_{A}$ と $\alpha_{B}$ のいずれ においても $90 \%(*), 95 \%(* *)$, $99 \%$ (***) 信頼区間を超え るかで判断する

6）式 1 の被説明変数を読み時間に置き換え，スクリーン上の 表示位置などの説明変数を加えた．詳細は付録に記述する。
}
表 1 読み時間・サプライザルと，意味・統語範疇の関係. 係数の差については背景色を灰色にする。

} & 用 (vs. 体) & $-* * *$ & $-^{* * *}$ & $-* * *$ & $-* * *$ \\

表 2 読み時間・サプライザルと anti-locality 効果.

ザルが小さく，読み時間も短くなる傾向にあること が分かる．統語範疇においては，読み時間とサプラ イザルいずれも体の類>相の類>用の類の順に小さく なるという一貫した傾向がみられた。意味範疇にお いては，関係の部門の読み時間が短くなるという読 み時間の傾向が $\mathrm{LM}_{\mathrm{PSY}}$ で概ね再現された。

## 3.2 統語構造

日本語をはじめとする主辞後置言語では，先行文脈に係り元が多く存在するほど読み時間が短くなる anti-locality 効果が報告されている [16,17]. 例えば 下の例では，「買った」の係り元は 2 つ存在し「バッ グを」については 1 つ存在するため，「買った」の方 が読み時間が短くなるという効果である。

(2)

式 1 の右辺に，先行文脈に存在する文節の係り元数 を固定因子として加え，サプライザルと読み時間を モデリングした. 表 2 より, 係り元数に対する係数 が有意に負であることから，読み時間とサプライザ ルいずれにおいても係り元数が多くなるほど処理負荷が低くなるという anti-locality 効果が確認された.本結果はサプライザル理論が anti-locality 効果を説明できるとする予想 [10] を支持する.

## 3.3 節境界

英語では節末で読み時間が長くなる wrap-up 効果 が報告されているが $[18,19]$, 日本語では wrap-up 効果が生じないという報告がされてきた [13]. 式1の表 3 読み時間・サプライザルと wrap-up 効果.

右辺に，文節が節末に存在するかという固定因子 を加え，サプライザルと読み時間をモデリングし た. 表 3 より，節末に配置される文節はサプライザ ルが小さいため読みやすく，読み時間においても wrap-up 効果が生じないことが示唆された.

さらに読み時間では，節の種類によって節末の読 み時間の傾向が異なることが報告されてきた [13].例えば，（i）内容節（節内の述語と係り先の語とに述語項関係がない）よりも，補足語修飾節（節内の述語と係り先の語とに述語項関係がある）の方が節末 の読み時間が短い，（ii）引用節よりも名詞節の方が 読み時間が短いといった傾向が観察されている. 式 1 の右辺に，文節が属する節の種類を固定因子とし て加えモデリングした結果を表 3 に示す。傾向（i)， (ii) についてサプライザルでも同様の傾向が観察さ れ，節末ごとのサプライザルの大小の傾向の違いに 起因する読み時間の差であることが示唆された。

## 3.4 情報構造

情報構造と日本語の読み時間を照らし合わせた 分析が行われてきた [20,14]. 既存研究 [14] に従い，情報構造に直接的・間接的に関わる，(i）書き手の 立場で考える情報の新旧（情報状態），(ii）読み手 の立場も含めて考える共有性，(iii）指示対象を聞き 手が同定できるかを示す定性，（iv）対象が生きてい るかを示す有生性の 4 つの観点で分析を行う．英語 など冠詞が存在する言語と比べて日本語では情報の 性質の表出が少なく, 文章に表出されない情報構造 によるバイアスがサプライザルに現れるかは，言語 モデルの分析という観点でも興味深い.

既存研究に従い，式 1 の右辺に情報状態，共有性,定性，有生性に対応する固定因子を同時に加え，サ プライザルと読み時間をモデリングした。表 5 よ り，SELF や既存研究で示されていた（i）新情報よ り旧情報の方が読みやすい（情報状態における新情報>旧情報)，（ii）聞き手と共有できている情報のほ うが読みやすい（共有性における非共有>想定可能>
表 5 読み時間・サプライザルと情報構造の関係. 係数の 差については背景色を灰色にする。

PPL
- 係り元数 : is_Im

新情報: is_Im

$\checkmark$ 旧情報: is_Im

非共有: is_Im

太想定可能 : is_Im

共有: is_Im図 2 言語モデルの PPLと，その言語モデルから得られ たサプライザルを用いてサブグループ解析をした際の各交互作用項に対する回帰係数との関係.

共有)，(iii）定名詞句よりも不定名詞句の方が読み やすい，（iv）有生名詞句よりも無生名詞句の方が読 みやすいといった傾向が，特に L $M_{P P L}$ で示された.

## 4 読み時間とサプライザルの相違点

最後に，ある因子がサプライザルと読み時間に与 える影響の差について交互作用の解析を通して調査 する．具体的には，サプライザルと読み時間を言語 モデルとヒトという異なるグループから得られた 「読み負荷」という同一の変数とみなし，読み負荷 に対して回帰を行う. 本研究では, 既存研究で典型的に分析される FPTを用いた。なお，読み時間とサ プライザルはそれぞれあらかじめ平均 0 ，分散 1 に 標準化している．説明変数として「言語モデルから 得られた読み負荷であるか」（is_lm）という二値素性（言語モデルであれば 1 ，ヒトであれば 0 ）を追加 し, さらに式 1 の右辺や分析の対象となる各固定因子それぞれについてis_lm との交互作用項を追加す
る. ある因子 A と is_lm の交互作用項に対する係数 $\left(\alpha_{\text {A:is_lm }}\right)$ は，因子 A が被説明変数に与える影響が，言語モデルグループとヒトグループでどう異なるか を意味する．例えば $\alpha_{\text {A*is_lm }}$ が有意に 0 より大きい 場合は，ヒトよりも言語モデルに対して因子 A の与 える影響が，因子 A の値が大きくなることで読み負荷が増大する方向に大きいことを表す．3節の分析 で用いたそれぞれの固定因子について，is_lm との 交互作用を分析した。また訓練設定が異なる 111 の 言語モデルについてそれぞれ分析を行い，言語モデ ルの PPL と交互作用の関係を見る（詳細は付録へ).

特に顕著な傾向が見られた（i）係り元数（antilocality 効果)，（ii）情報状態，（iii）共有性に対応す る固定因子について，is_lm との交互作用項の傾向 を報告する（図 2），各プロットが，各言語モデルを 用いた実験結果（交互作用項の係数）に対応し，横軸が実験で用いた言語モデルの PPL，縦軸が係数の 值である。係り元数，情報状態，共有性いずれにお いても PPL が低くなるほど係数が 0 から離れてい き，読み時間において観察されていた傾向が過剩に 示される方向（anti-localityを支持，新情報>旧情報，非共有>想定可能>共有）にヒトから逸脱していく傾向が見られた. サプライザルで観察されたバイアス からヒトの読み負荷に対して洞察を得る場合，バイ アスの大きさについてはサプライザル上で誇張され ている可能性があるが，バイアスの方向（ある現象 が処理負荷を増加させるか低下させるか）について は洞察を得られる可能性が示唆された。

## 5 おわりに

日本語の読み時間について探索的な分析から記述 されてきた傾向について，情報量に基づいて統一的 に解釈できるという仮説を立てた．統語から談話レ ベルの観点において，読み時間とサプライザルの間 に様々な共通点が観察され，仮説が支持された。よ り大規模なデータに基づいた調査 ${ }^{7)}$ や，脳活動デー タなどを用いた調査も視野に入れたい.

謝辞. 本研究は JSPS 科研費 JP20J22697, 19H04990 の助成を受けたものです.また，国立国語研究所共同研究プロジェクト「大規模コーパス を利用した言語処理の計算心理言語学的研究」の支援を受けたものです.

7）特に述語項構造・共参照との関係については，データポイ ントの少なさから今後の検証課題とした.

## 参考文献

[1]Stefan L. Frank and Rens Bod. Insensitivity of the Human Sentence-Processing System to Hierarchical Structure. Journal of Psychological Science, Vol. 22, No. 6, pp. 829-834, 2011.

[2]Victoria Fossum and Roger Levy. Sequential vs. Hierarchical Syntactic Models of Human Incremental Sentence Processing. In Proceedings of CMCL, pp. 61-69, Montréal, Canada, 6 2012. Association for Computational Linguistics.

[3]Tal Linzen. What can linguistics and deep learning contribute to each other? Journal of Language, Vol. 95, No. 1, pp. 99-108, 2019.

[4]Adam Goodkind and Klinton Bicknell. Predictive power of word surprisal for reading times is a linear function of language model quality. In Proceedings of CMCL2018, pp. 10-18, 2018.

[5]Christoph Aurnhammer and Stefan Frank. Comparing gated and simple recurrent neural network architectures as models of human sentence processing. In Proceedings of the 41 st Annual Conference of the Cognitive Science Society, pp. 112-118, 2019.

[6]Ethan Gotlieb Wilcox, Jon Gauthier, Jennifer Hu, Peng Qian, and Roger Levy. On the Predictive Power of Neural Language Models for Human Real-Time Comprehension Behavior. In Proceedings of $\mathrm{CogSci}$, pp. 1707-1713, 2020.

[7]Danny Merkx and Stefan L. Frank. Comparing Transformers and RNNs on predicting human sentence processing data. arXiv preprint arXiv:2005.09471,2020, 2020.

[8]Martin Schrimpf, Idan Blank, Greta Tuckute, Carina Kauf, Eghbal A Hosseini, Nancy Kanwisher, Joshua Tenenbaum, and Evelina Fedorenko. The neural architecture of language: Integrative reverseengineering converges on a model for predictive processing. bioRxiv, 2020.

[9]John Hale. A Probabilistic Earley Parser as a Psycholinguistic Model. In Proceedings of NAACL, pp. 159-166, 2001.

[10]Roger Levy. Expectation-based syntactic comprehension. Journal of Cognition, Vol. 106, No. 3, pp. 11261177,2008 .

[11]Masayuki Asahara, Hajime Ono, and Edson T
Miyamoto. Reading-Time Annotations for "Balanced Corpus of Contemporary Written Japanese". In Proceedings of COLING, pp. 684-694, 2016.

[12]Masayuki Asahara and Sachi Kato. Between Reading Time and Syntactic / Semantic Categories. In Proceedings of IJCNLP, pp. 404-412, 2017.

[13]Masayuki Asahara. Between reading time and clause boundaries in Japanese - wrap-up effect in a head-final language. In Proceedings of PACLIC, pp. 19-27, 2018.

[14]Masayuki Asahara. Between Reading Time and the Information Status of Noun Phrases. Natural Language Processing, Vol. 25, No. 5, pp. 527-554, 2018.

[15]Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer. http://mecab. sourceforge. jp, 2006.

[16]Lars Konieczny. Locality and parsing complexity. Journal of Psycholinguistic Research, Vol. 29, No. 6, pp. 627-645, 2000.

[17]Shodai Uchida, E Miyamoto, Yuki Hirose, Yuki Kobayashi, and Takane Ito. An ERP study of parsing and memory load in Japanese sentence processing - A comparison between left-corner parsing and the Dependency Locality Theory. Technical report of IEICE. Thought and language, Vol. 114, pp. 101-106, 2014.

[18]Marcel A. Just and Patricia A. Carpenter. A theory of reading: From eye fixations to comprehension. Journal of Psychological Review, 1980.

[19]Keith Rayner, Gretchen Kambe, and Susan A. Duffy. The Effect of Clause Wrap-Up on Eye Movements during Reading. Quarterly Journal of Experimental Psychology Section A: Human Experimental Psychology, Vol. 53, No. 4, pp. 1061-1080, 2000.

[20]Masayuki Asahara. Between reading time and information structure. In Proceedings of PACLIC, pp. 1524, 2017.
表 6 本実験で用いた素性.

 \\

## A 素性

本実験で用いた素性を表 6 亿示す.なおヒトに対する読み時間測定の際文末に改行を加えているため，例えば is_first は「文頭である」か「文が長く画面上で改行が生じた際の改行後の文節」で発火する素性である. (is_first, is_last, is_second_last) につ いて，画面上での改行を考慮しない素性が（BOS, EOS, pre_EOS） であり，ヒトの読み時間のモデリングの際には前者を，言語モ デルのサプライザルのモデリングの際には後者を用いた。（lineN, segmentN）と（sentN, tokenN）についても，画面上での改行を考慮するかしないかの違いである. 画面呈示順など読み時間測定纪関わる素性は，既存研究でより詳細に記述されている [11].

## B言語モデルの設定

アーキテクチャ (400M パラメータの) Transformer, $55 \mathrm{M}$ パラ メータの Transformer, LSTM), 学習データサイズ (1.4G, 140M, $14 \mathrm{M}$ サブワード） パラメータアップデート回数 $(100 \mathrm{~K}, 10 \mathrm{~K}$, $1 \mathrm{~K} ， 0.1 \mathrm{~K} ）$ の異なるニューラル言語モデルを学習し， PPLが最も 低くなる設定とヒトの読み時間をサプライザルによってうまく モデリングできる設定の二種類を採用した．ヒトの読み時間の モデリングには, 本文の実験と同様にコーパス中の 13,148 デー タポイントを使用し，以下の式によってモデリングした：

$
\begin{aligned}
\log (\mathrm{RT}) & \sim \text { surprisal + freq + length + prev_freq } \\
& + \text { prev_length }+ \text { is_first }+ \text { is_last } \\
& + \text { is_second_last }+ \text { screenN }+ \text { lineN } \\
& + \text { segmentN }+(1 \mid \text { article })+(1 \mid \text { subj }) .
\end{aligned}
$

読み時間データに対する対数尤度で言語モデルの読み時間に対 するモデリング能力を評価した。学習率や最適化アルゴリズム などその他のパラメータについては fairseq のデフォルト設定を 使用した.

## C 回帰式

各実験における回帰式を記述する。

## C. 1 統語範疇, 意味範疇 (3.1 節)

$
\begin{aligned}
\text { surprisal } & \sim \text { WLSPLUWA + WLSPLUWB + length }+ \text { BOS + EOS + pre_EOS } \\
& + \text { sentN + tokenN + anti_locality }+(1 \mid \text { article }) \\
& +(1 \mid \text { seed }) . \\
\log (\mathrm{RT}) & \sim \text { WLSPLUWA }+ \text { WLSPLUWB + length }+ \text { is_first } \\
& + \text { is_last }+ \text { is_second_last }+ \text { screenN }+ \text { lineN }+ \text { segmentN } \\
& + \text { anti_locality }+(1 \mid \text { article })+(1 \mid \text { subj }) .
\end{aligned}
$

## C. 2 統語構造（3.2 節）

surprisal $\sim$ anti_locality + length + BOS + EOS + pre_EOS + sentN

$
+ \text { tokenN }+(1 \mid \text { article })+(1 \mid \text { seed }) .
$

$\log (\mathrm{RT}) \sim$ anti_locality + length + is_first + is_last + is_second_last + screenN + lineN + segment $N$ $+(1 \mid$ article $)+(1 \mid$ subj $)$

## C. 3 節境界（3.3 節）

wrap-up 効果については以下の式でモデリングし，いずれの節 （CLMHST，CLMMST，CLMFUT，CLMHRT）でも回帰係数が有意に負で あった.

surprisal $\sim$ CLMHST + CLMMST + CLMFUT + CLMHRT + length + BOS + EOS

+ pre_EOS + sentN + tokenN + anti_locality + (1|article $)$

$+(1 \mid$ seed $)$

$\log (\mathrm{RT}) \sim$ CLMHST + CLMMST + CLMFUT + CLMHRT + length + is_first

+ is_last + is_second_last + screenN + lineN + segmentN

+ anti_locality + (1|article) + (1|subj) .

節の種類による違いについては, 以下の式でモデリングした：

surprisal $\sim$ CLMHSL + CLMMSL + CLMFUL + CLMHRL + length + BOS + EOS

+ pre_EOS + sentN + tokenN + anti_locality + (1|article $)$

$+(1 \mid$ seed $)$

$\log (\mathrm{RT}) \sim$ CLMHSL + CLMMSL + CLMFUL + CLMHRL + length + is_first

+ is_last + is_second_last + screenN + lineN + segmentN

+ anti_locality + (1|article $)+(1 \mid$ subj $)$.

## C. 4 情報構造（3.4 節）

surprisal $\sim$ infostatus + definiteness + animacy + commonness

$
\begin{aligned}
& + \text { length }+ \text { BOS }+ \text { EOS }+ \text { pre_EOS }+ \text { sentN }+ \text { tokenN } \\
& + \text { anti_locality }+(1 \mid \text { article })+(1 \mid \text { seed }) .
\end{aligned}
$

$\log (\mathrm{RT}) \sim$ infostatus + definiteness + animacy + commonness

+ length + is_first + is_last + is_second_last + screenN

+ lineN + segmentN + anti_locality + (1|article $)+(1 \mid$ subj $)$.

## C. 5 交互作用の解析

reading_effort $\sim$ freq*is_lm + length $* i s_{-} l m+$ prev_freq*is_lm

$
\begin{aligned}
& + \text { prev_length*is_lm }+ \text { BOS*is_lm }+ \text { EOS*is_lm } \\
& + \text { pre_EOS*is_lm + sentN*is_lm + tokenN*is_lm } \\
& \text { +anti_locality*is_lm + (1|article })+(1 \mid \text { subj_seed })
\end{aligned}
$

$A * B$ は $A ， B$ という固定因子と，A と B の交互作用 $A: B$ を加えるこ とを意味する。分析の対象とする各素性 Z について，上式の説明変数に Z*is_lmを加え，Z:is_lm に対する回帰係数を分析した.


# Cloze Test for Verbs in Academic Writing by Masked Language Models

Chooi Ling Goh
The University of Kitakyushu
goh@kitakyu-u.ac.jp

## 1 Introduction

Recently, many advanced language models have been trained and proven to improve many natural language processing (NLP) tasks, such as text generation, summarization, machine translation, question answering and etc. General pre-trained language models such as BERT [1] and GPT-2 [2] have been used in many NLP tasks, and achieve excellent performance. This paper focuses on text infilling on academic writing, where pre-trained language models are used to fill in some blanks, especially verbs, in the text.

We use BERT, a masked language model inspired by the Cloze task, and investigate how well can it fill in the blanks in the text in academic writing. Experiments are carried out on some English abstracts taken from the journal papers from NLP field. We compare two journals, where one of them is an international journal and mostly written by native English speakers and the other one is a local journal mostly written by non-native English speakers. In the experiments, some verbs in the texts are masked out, and predicted by the pre-trained language models. We count how many words can be predicted same as the original words, and see if the language model can derive better words than the original ones. We also compare the fluency of texts before and after the replacement of the predicted words.

## 2 Text Infilling

The original masked language model (MLM) BERT is designed to predict randomly masked tokens like in a Cloze task, and whether the next sentence is a succeeding sentence [1]. BERT is based on the multilayer bidirectional Transformer [3], which enables representation of left and right contexts for predicting the masked token. BERT is trained by masking $15 \%$ of the words. It is trained on general domain corpora, i.e. Book Corpus and English Wikipedia texts, with 3.3B tokens.
While BERT can only predict single masked token, further research has expanded the model to predict multiple masked tokens, such as in [4]. However, in this research, the length of spans must be decided in advance. Later on, variable-length spans are proposed $[5,6,7]$. This research is referred to as text infilling by language modeling. These models are able to fill in the blanks with multiple words, and have no limitation of the length of span. [5] propose to infill different granularities of text: words, $\mathrm{n}$ grams, sentences, paragraphs, and documents. However, these text infilling methods can generate fluent text, but has no control on the meaning of generated text.

In this paper, we want to know if the filling of verbs in the academic articles would be possible using the MLMs and investigate how well can they predict compared to the original texts. Furthermore, we also compare the results with a word embedding model, Word2vec [8], trained on domain specific scientific articles.

## 3 Experiments

## 3.1 Pre-trained Models

We compare four language models in our experiments: Word2vec, BERT, DistilBERT and SciBERT.

Word2vec [8] is a word embedding model which is able to compare the word vectors in order to calculate their similarity using cosine measure. It has been proven that using a Word2vec embedding model trained on specific domain, one can find the most similar words which can be used to replace the words in academic writing. A Word2 $\mathrm{vec}^{1)}$ model trained on the ACL Anthology Reference Corpus ${ }^{2}$ (ACL-ARC) can propose semantically similar candidates using cosine similarity [9]. There are 66,453 word vectors in this model. However, this model can only compare the

word vectors without any context information. Therefore, sometimes the similar word may be the one with opposite meaning.

Beside the original BERT, we also compare two MLMs which are based on BERT. DistilBERT is a distilled version of BERT, which is smaller, faster and lighter [10] while retaining $97 \%$ of its performance in language understanding. SciBERT is also based on BERT but is trained on scientific texts from Semantic Scholar, with 3.17B tokens [11]. Both BERT and SciBERT has an overlapping of $42 \%$ of vocabularies, which shows that general domain and scientific domain have substantial difference on use of frequent words.

Below shows precisely the models we used for comparison.

## - BERT

bert-base-uncased
- DistilBERT

distilbert-base-uncased

## - SciBERT

allenai/scibert_scivocab_uncased

We employ the implementation of Hugging Face [12] for using these language models.

## 3.2 Datasets

We collected 631 English abstracts from the Journal of Natural Language Processing (JNLP) published by The Association for Natural Language Processing (ANLP), $\mathrm{Japan}^{3)}$. These articles are mostly written by non-native speakers of English ${ }^{4)}$. These abstracts contributes to 4,564 sentences, and 108,322 tokens. We mask out all the verbs $^{5}$, and try to fill in these verbs with the MLMs. There are 11,224 masked words, which covers $10.36 \%$ of the tokens. For comparison, we collected 662 abstract from the Computational Linguistics Journal (CLJ) published by The Association for Computational Linguistics (ACL), $\mathrm{USA}^{6}$. On the contrary, these articles are mostly written by native English speakers. There are 4,409 sentences, and 116,644 tokens, with 11,995 masked verbs, which is $10.28 \%$ of the tokens. Table 1 shows the summary of the datasets.

3) https://www.anlp.jp/guide/index.html

4) The authors may have asked for proofreading service to correct their English.

5) Except auxiliary verbs.

6) https://www.mitpressjournals.org/loi/coli
Table 1 Statistics on the datasets for JNLP and CLJ.

## 3.3 Results

This section explains the prediction results. First, we count how many words suggested by the MLM matched with the original words. The word may be found in the first position, top 5 suggestions or top 10 suggestions. Table 2 shows the accuracy rates. Apparently, SciBERT's suggestions are far better than the other two models. This proves that domain specific MLM is useful in suggesting correct vocabularies for that domain. When restricted to top 10 suggestions, SciBERT achieves an accuracy of about three-quarter of the verbs.

Table 2 Accuracy from each model for JNLP and CLJ.

Second, we evaluate the performance of the models using perplexity (PPL). Lower value of perplexity reflects better fluency of texts. The perplexity (PPL) is calculated based on the GPT-2 language model $[2]^{7}$. This model has been successful to improve many NLP tasks with zero-shot task transfer. We believe that this model can provide fair results for evaluating texts in any domain. Table 3 shows the perplexity obtained. The Word2vec model fills in the masked words with the most similar words using cosine similarity. In other words, none of the words are the same as the original words. Therefore, the perplexity is higher, implying lower fluency, as Word2vec does not take contexts into account. Many word proposals by Word2vec do not conform to neither functional nor morphological

7) https://huggingface.co/transformers/perplexity.html
similarity. Although JNLP's articles are mostly written by non-native English speakers, the fluency is slightly better than CLJ based on perplexity. However, since we do not assess on the proficiency level, it is hard to say that JNLP is higher level than CLJ. For MLMs, only the first suggestion is used for evaluation. From Table 2, we noticed that only $22 \%-39 \%$ of the first suggestions are the same as the original words. However, these do not deteriorate much on the perplexity, or rather better than the original text, especially for SciBERT. This implies that in-domain MLM could offer good suggestions for filing the verbs in academic text.

Table 3 Perplexity for original tokenized text and output from

## 4 Discussion

Table 4 shows some examples of the prediction outputs. The words in bold face with square brackets are masked words used for prediction. The outputs of each model are in the order as below.

$\left.\{\begin{array}{l}\text { [Masked] } \\ \text { Word2vec } \\ \text { DistilBERT } \\ \text { BERT } \\ \text { SciBERT }\end{array}\right.\}$

Some of the words although are not the same as the original words, they make sense to be replaced. For example, it is certainly reasonable to use "demonstrate" to replace "show" in sentence $\mathrm{S} 1$, and "combining" to replace "integrating" in the sentence S3. Since Word2vec does not take contexts into account, it may introduce some grammatically or functionality erroneous words. For example, in $\mathrm{S} 2$, "correlates" is replaced by "correlate", and in $\mathrm{S} 4$, "managing" has become "multimedia". On the other hand, the problem with MLM is that although they can predict suitable words based on the contexts, which make the sentence become fluent, sometimes they do not convey the same meaning as the original word. For example, it is fine to replace "understand" with "comprehend" or "investigate" in sentence $\mathrm{S} 4$, but certainly "determine" is running out from the meaning of the sentence. However, in general, both Word2vec and MLM are useful in this cloze test

This experiment results are promising to motivate us in the design of a writing system: we can either use Word2vec to only look for similar words, or masked language model to fill in the blanks. For example, in the input sentence below,

## We [*] how to integrate this [method] into a standard phrase-based SMT pipeline .

where [*] is used to look for suitable words, and [method] is used to look for alternative words that has the similar meaning as "method".

## 5 Conclusion

The purpose of this research was to investigate the use of masked language models in aiding academic writing. By providing the MLMs the left-right contexts of a sentence, they are able to predict some useful words to fill in the blanks. Our experiments were carried out on the abstracts taken from the NLP journal articles written by both native and non-native English speakers. The results were promising and encouraging us to design a writing system that includes both word embedding and language model features. Using models trained on specific domain, such as SciBERT and Word2vec trained on ACL-ARC, we can control the selections of vocabularies used in scientific articles, and improve the proficiency of academic writing style.

## Acknowledgments

This work was supported by JSPS KAKENHI Grant Number JP18K11446 .

Table 4 Some output examples from each model for JNLP and CLJ. Words in bold face with square brackets are masked words used for predictions. The outputs of each model are in the order of \{[Masked], Word2vec, DistilBERT, BERT, SciBERT\}.

## References

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. CoRR, Vol. abs/1810.04805, , 2018.

[2] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. Technical report, OpenAI, 2019

[3] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems 30, pp. 5998-6008. Curran Associates, Inc., 2017.

[4] Mandar Joshi, Danqi Chen, Yinhan Liu, Daniel Weld, Luke Zettlemoyer, and Omer Levy. SpanBERT: Improving pre-training by representing and predicting spans. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 64-77, 2020.

[5] Chris Donahue, Mina Lee, and Percy Liang. Enabling language models to fill in the blanks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2492-2501, Online, July 2020. Association for Computational Linguistics.

[6] Wanrong Zhu, Zhiting Hu, and Eric P. Xing. Text infilling. CoRR, Vol. abs/1901.00158, , 2019.

[7] Tianxiao Shen, Victor Quach, Regina Barzilay, and Tommi Jaakkola. Blank language models. arXiv preprint arXiv:2002.03079, 2020.

[8] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In 1st International Conference on Learning Representations, ICLR 2013, Workshop Track Proceedings, 2013.

[9] Chooi Ling Goh and Yves Lepage. An assessment of substitute words in the context of academic writing proposed by pre-trained and specific word embedding models. In LeMinh Nguyen, Xuan-Hieu Phan, Kôiti Hasida, and Satoshi Tojo, editors, Computational Linguistics. PACLING 2019. Communications in Computer and Information Science, vol 1215, pp. 414-427, Singapore, 2020. Springer Singapore.

[10] Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf. Distilbert, a distilled version of bert: smaller, faster, cheaper and lighter. In Proceedings of the 5th Workshop on Energy Efficient Machine Learning and Cognitive Computing, 2019.

[11] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 3615-3620, Hong Kong, China, November 2019. Association for Computational Linguistics.

[12] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chau- mond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Huggingface's transformers: State-of-the-art natural language processing. ArXiv, Vol. abs/1910.03771, , 2019.


# 静的な単語埋め込みによる カタカナ語を対象とした BERT の語彙拡張

平子潤
名古屋大学情報学部
hirako.jun@g.mbox.nagoya-u.ac.jp

## 1 はじめに

BERT[1] ではサブワードを利用することで語彙に 含まれない未知語を含む文も適切に処理することが 可能となっている. しかし，サブワードが意味を持 つ適切な単位となっていない場合，その有効性は限定的であると考えられる。こうしたケースはカタカ ナ語の未知語において特に多く出現すると言える。 たとえば本研究で使用した BERT (3.2 節参照)では,「クロワッサン」は「クロ」「\#\#」「\#\#ッサン」の 3 つのサブワードに分割されるが，これらは意味のあ る単位とはなっていない。

このような未知語を含む文を適切に扱えるよう にする 1つの方法は語彙サイズを大きく設定し, こ れらの語を語彙に含めてしまうことである. しか し，BERT の事前学習時の語彙サイズを大きくした 場合，計算コストが増大してしまう，そこで，本研究では比較的低コストに学習できる静的な単語埋め 込みを用いた BERT の語彙拡張手法を提案する.

## 2 単語埋め込みのマッピング

BERT は，図 1 に示すように語彙に含まれる各単語に対し文脈に依存しない単語埋め込み (BERT Token Embeddings) を持っている.この埋め込み層 を拡張することで BERT の語彙の拡張が可能とな る. 本研究では, より大きな語彙サイズで学習した 静的な単語埋め込みを, BERT Token Embeddings と 共通する語を手掛かりにマッピングすることで，事前学習済みの BERT の語彙を拡張する。

## 2.1 既存のマッピング手法

異なる単語埋め込み空間のマッピングは, 2 言語間の単語埋め込みの対応付けを目的として行われる 場合が多い [2]. 教師あり手法の場合， 2 言語辞書を 用いて対応付けるべき単語ペアを獲得し，各単語ぺ アの単語ベクトルが近くなるようにソース単語埋め

\author{
笹野遼平武田浩一 \\ 名古屋大学大学院情報学研究科 \\ \{sasano, takedasu\}@i.nagoya-u.ac.jp
}

図 1 BERT の構造. BERT Layers は BERT の Input Embeddings 以外の層を表している.

込みをターゲット単語空間にマッピングする。この ような手法の先駆けとして, Mikolov ら [3] は，マッ プ後のソース単語ベクトルとターゲット単語ベクト ルの平均二乗誤差が小さくなるような変換行列 $W$ を SGDで求める手法を提案した．また，Xing ら [4] は，ソースとターゲットの全単語ベクトルのノルム を正規化し，変換を直交変換に限定する手法を提案 した. さらに, Artetxe ら [5] は, ノルムの正規化や 直交変換に加えて，分散の正規化，再重み付け，次元削減を複数ステップで行う枠組みを提案した.

## 2.2 静的な単語埋め込みからのマッピング

本研究で目的とする, 静的な単語埋め込みから BERT Token Embeddings へのマッピングが，既存の 言語間の単語埋め込みのマッピングと大きく異なっ ている点として，言語間マッピングでは基本的に各言語における単語埋め込み生成アルゴリズムは同一 のものが使用されるのに対し，本研究におけるマッ ピングではソース単語埋め込みとターゲット単語埋 め込みの生成アルゴリズムが異なっていることが挙 げられる。したがって，マッピング対象とする $2 \supset$ の埋め込み空間の性質が大きく異なる可能性が考 えられることから，本研究で使用した BERT Token Embeddings と, fastText で学習した静的な単語埋め 込み (3.2 節参照) の両方に含まれる単語のノルムの 関係を調査した. 結果を図 2 , 図 3 に示す. BERT

図 2 BERT Token Embeddings と fastText Skip-gram で共通 する単語のノルムの関係. 相関係数は 0.355 .

図 3 BERT Token Embeddings と fastText CBOW で共通す る単語のノルムの関係. 相関係数は-0.142.

Token Embeddings と fastText で学習した静的な単語埋め込みの間で，ノルムに強い相関は確認できず， また，平均値も大きく異なっていることが分かる. ${ }^{1}$

これらの結果から，単純な変換行列に基づくマッ ピングを行った場合，ノルムの性質の違いを要因と し精度低下が起こる可能性が考えられる。そこで，単純な変換行列に基づくマッピング (補正なし) に加 え，ノルムの性質の違いを考慮した3つのマッピン グ手法を含めた下記の 4 つのマッピング手法を考 える。これらの手法において直交変換は，変換後の ソース単語埋め込みとターゲット単語埋め込みの平均二乗誤差が最小となるように行う.

1. 補正なし: 静的な単語埋め込み $M$ を直交変換

2. 平均補正: 静的な単語埋め込み $M$ の平均ノルム が BERT Token Embeddings の平均ノルムと一致 するよう $M$ を定数倍してから直交変換

3. 正規化: 静的な単語埋め込み $M$ と BERT Token Embeddings の全ベクトルを正規化してから直交変換

4. 正規化＋補正: 静的な単語埋め込み $M$ と BERT Token Embeddings の全ベクトルを正規化してか ら直交変換した後，BERT Token Embeddings の 平均ノルムで変換後の $M$ を定数倍

本研究では，サブワードが適切に機能しないケー スが多いと考えられるカタカナ語を対象に，これら 4 つのマッピング手法を用い fastText で学習した静的な単語埋め込みを BERT Token Embeddings にマッ ピングすることで BERT の語彙拡張を行う。

## 3 実験

本研究では語彙拡張の有効性をマスク単語予測実験を通して検証する，具体的には，語彙拡張が有効 であるならば，拡張した語を含む文において拡張語 と依存関係の強い周辺語のマスク単語予測の精度 が，語彙拡張前の BERTを使った場合，すなわち拡張語をサブワードの系列として扱った場合と比べ 向上するとの仮説に基づき，マスク単語予測データ セットを作成し, それらのタスクの精度を通して語彙拡張の有効性を検証する。

## 3.1 マスク単語予測データセット

語彙拡張の有効性検証のため，上位語予測，兄弟語予測, 述語予測, 被連体語予測の 4 タイプのマ スク単語予測データセットを作成した. 以下の文 (1) (4) はそれぞれのタイプの例となっている.

(1) <カボチャ>は [野菜] の一種です。

(2) 「<スプーン>」と「[フォーク]」。

(3) くフローラル>の [香り]が気に入った。

(4) 久しぶりに<クロワッサン>を [食べる]。

これらの例において, '<>' で囲った語が拡張語, '[]' で囲った語がマスク予測対象語となっており，いず れの場合もマスク予測対象語は拡張前の BERT の語彙に含まれている語である. 各タイプのデータセッ トの作成方法と評価指標を以下にまとめる.

上位語予測 拡張語の上位語が予測対象語とな るようにデータセットを作成した，入力文は『<拡張語>は [MASK] の一種です。』とし，対象とする拡張語は，日本語 WordNet[6] に含まれ，拡張語を含 む synset の上位 synset に BERT の語彙に含まれる 語が存在した語とした. 条件を満たした拡張語は 2730 個であった. 正解となる上位語は複数存在す る可能性があることから評価指標には Mean Average Precision (MAP) を用いた。

兄弟語予測 拡張語の兄弟語が予測対象語とな るようにデータセットを作成した．入力文は『く<拡張語>」と「[MASK] ]。』とし, 対象とする拡張語 は，日本語 WordNetに含まれ，拡張語を含む synset の上位 synset の下位 synset から，拡張語が含まれる
表 1 マスク単語予測実験の結果 (太字は拡張なしょり高いスコアであることを表す)

} & \multirow{2}{*}{ 拡張なし } & \multicolumn{4}{|c|}{ 拡張あり (Skip-gram) } & \multicolumn{4}{|c|}{ 拡張あり (CBOW) } \\

synset を除いた synset (兄弟 synset) に BERT の語彙 に含まれる語が存在した語とした. 条件を満たした 拡張語は 3049 個であった. 上位語予測と同様に評価指標には Mean Average Precision (MAP) を用いた。

被連体語予測拡張語が連体修飾する語が予測対象語となるようにデータセットを作成した. 具体的には，Common Crawl に含まれるテキスト2を， $\mathrm{MeCab}^{3}$ を用いて形態素解析し, そこから『<拡張語 >のく名詞〉く格助詞〉』というパターンを含む文章を 抽出し，BERT の語彙に含まれるく名詞〉を [MASK] に置き換えた 1 万文を使用した．正解単語は置き換 え前の<名詞>とし, 正解が 1 つであることから, 評価指標には平均逆順位 (MRR)を用いた。

述語予測 拡張語を項とする述語が予測対象語と なるようにデータセットを作成した，具体的には， Common Crawl から『<拡張語〉<格助詞〉<動詞〉。』と いうパターンを含む文を抽出し，BERT の語彙に含 まれているく動詞〉を [MASK] に置き換えた 1 万文を 使用した．ただし，情報量の少ない「する」や「な る」などの述語を除くため, 平仮名のみで構成され るく動詞〉を含む文は対象から外した，被連体語予測 と同様に評価指標には平均逆順位 (MRR)を用いた。

## 3.2 実験設定

静的な単語埋め込みの作成には, fastText ${ }^{4}$ を利用 し, Skip-gram と CBOW[7] の 2 つのモデルで学習を 行った.コーパスは Wikipedia 日本語版を利用し, $\mathrm{MeCab}^{3}$ により単語分割を行った. 次元数は BERT Token Embeddings と同じ 768 次元とした. また, 事前学習済みの BERT として, 東北大学で公開されて いるモデル゙を利用した。

実験では，語彙拡張を行わないBERTをべースラ インとし, 4 つのマッピング手法 (補正なし, 平均補正，正規化，正規化+補正) で語彙拡張した BERTを 比較した. マッピングの学習には, BERT の語彙の
^{2} \mathrm{http} / / /$ statmt.org/ngrams/で公開されているデータを利用した.

${ }^{3}$ https://taku910.github.io/mecab/ (辞書: mecab-ipadic)

${ }^{4}$ https://github.com/facebookresearch/fastText

 }^{5}$ https://github.com/cl-tohoku/bert-japanese で公開されているモ デルのうち, Wikipediaを MeCab (ipadic) と WordPiece で単語分割 し, Whole Word Masking で学習したモデルを利用した.

うちサブワードトークン(「\#\#」から始まる) と特殊 トークン ([MASK] や [CLS] など) を除く，すべての 単語を使用した. 拡張対象語彙は，静的な単語埋め 込みの学習に使用した Wikipedia において，BERT の語彙に含まれない出現頻度上位 32000 個のカタ カナ語とした. ただし，カタカナ語とは， MeCabに よって 1 語としてまとめられた，カタカナのみで 構成される単語である. 32000 語を語彙に追加する ことで, Wikipediaのカタカナ語の頻度ベースのカ バー率は $71.3 \%$ から $90.7 \%$ となった.

## 3.3 実験結果

表 1 に実験結果を示す. 上位語予測と兄弟語予測 では，提案手法のうちノルムの違いを考慮した 3 手法はベースライン (拡張なし)を上回った。一方，被連体語予測と述語予測では，いずれの手法を用いて もべースラインを上回ることができなかった.これ については次節で詳細な分析を行う。

ノルムの補正を行わない手法 (補正なし) と行う手法を比較すると，補正を行うことで精度が大幅に向上することが確認できる。一方，ノルムの補正を行 う 3 手法間では大きな精度の違いは見られなかっ た. このことは, 図 2, 図3で示したように，BERT Token Embeddings と静的な単語埋め込みのノルムの 性質が大きく異なるため，ノルムの平均の補正や正規化を行わなずに直交変換するだけでは適切にマッ ピングできないことを示している.

マッピングに使用した静的な単語埋め込みの 学習に利用した 2 モデルを比較すると，ノルム の補正を行わなかった場合 (補正なし) は, BERT Token Embeddings とのノルムの相関が比較的大きい Skip-gram を用いた場合の方が，CBOWを用いた場合より高い精度となった. 一方，ノルムの補正を 行った場合は静的な単語埋め込みの違いによる精度差はほとんど確認できなかった。

## 4 単語構成と出現頻度による分析

被連体語予測および述語予測において，提案手法 がベースラインを上回ることができなかったのは，大きく2つの要因があると考えられる.

1つ目は，単語に構成性があることである．たと えば拡張したカタカナ語に含まれる「ビデオカメ ラ」は，「ビデオ」と「\#\#カラ」という 2 つのサブ ワードに分割されるが，これらはそれぞれ意味を持 つ形態素となっている.このようにより細かい形態素に分解可能な語は，カタカナ語であっても意味の あるサブワードに分割することができるため，サブ ワードが有効に働くと考えられる.

2 つ目は, 出現頻度の高いカタカナ語の存在であ る. 高い頻度で出現するカタカナ語の場合，人間が 見た場合に意味のあるサブワードに分割すること ができなかったとしても，それらのカタカナ語の 意味を適切に処理できるようにサブワードの埋め 込みの学習が行われている可能性がある。たとえ ば，拡張したカタカナ語に含まれる「ペンギン」は， Wikipedia において 1900 回以上という高い頻度で出現していることから，「ペンギン」を構成する「ぺ ン」および「\#\#ギンというサブワードは「ペンギ ン」に近い意味となるように学習が行われている可能性がある.

これら 2 つの要因による影響を検証するため，拡張語を単語構成と出現頻度に基づき分類した 8 つの タイプごとに，被連体語予測と述語予測においてカ タカナ語を追加する効果を調査した。具体的には，下記の基準によりカタカナ語を分類し, Common Crawl から各タイプに該当する文を 2500 文ずつ抽出 し，正規化+補正手法により語彙を拡張する場合と， しない場合の精度を比較した。

単語構成による分類Unidic[8] が採用している，短い語の単位である短単位に基づきカタカナ語を形態素解析し ${ }^{6}$, Unidic に含まれる複数の語に分割さ れたものを複合語，それ以外の語を単純語に分類

出現頻度による分類 32000 語のカタカナ語を， Wikipedia における出現頻度により上位 $25 \%$, 上位 $25 \sim 50 \%$ ，上位 50 75\%，下位 $25 \%$ の 4 つに分類

実験結果を表 2 に示す。表 2 において太字はべー スラインより高いスコアであることを示す. 単純語 かつ出現頻度が高くない単語に対しては, ほとんど の場合において，拡張ありのスコアが拡張なしのス コアを上回っており，語彙拡張が有効であることが 確認できる。このことから，拡張するカタカナ語を 単純語かつ高頻度でない単語に限定すれば，有用な 単語拡張が可能であると考えられる。一方，合成

表 2 単語構成と出現頻度による分析 (MRR)

} & \multirow{3}{*}{} & \multirow{3}{*}{ 出現頻度 } & \multirow{3}{*}{ 拡張なし } & \multicolumn{2}{|c|}{ 拡張あり } \\

表 3 マスク単語予測において改善した例

語，および，単純語であっても頻度上位の語につい ては拡張することでスコアが低下しており，被連体語予測および述語予測においてカタカナ語を対象と した語彙拡張によるスコアの向上が確認できなかっ た要因は，構成的な単語および高頻度語を対象とし た語彙拡張が有効でなかったためであると言える。

表 3 に BERT の語彙を拡張したことによる改善例 を示す. 語彙拡張を行うことで「クロワッサン」な どの語の意味を適切に捉えることができるように なっていることが確認できる.

## 5 おわりに

本研究では, 静的な単語埋め込みから BERT Token Embeddingsヘマッピングを行うことで，BERT の語彙を拡張する手法を提案した. さらに，マスク単語予測データセットを用いて，カタカナ語を対象とし た語彙拡張の有効性の検証を行い，単純語かつ出現頻度が高くないカタカナ語については語彙拡張が有効であることを示した．今後の課題としては，構成的でない漢字語などカタカナ語以外に対する提案手法の有効性の検証や，本研究で用いた直交変換に基 づく手法より適したマッピング手法の解明などが考 えられる。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. of NAACL'19, pp. 4171-4186, 2019.

[2] Sebastian Ruder, Ivan Vulić, and Anders Søgaard. A survey of cross-lingual word embedding models. Journal of Artificial Intelligence Research, Vol. 65, p. 569-631, 2019.

[3] Tomás Mikolov, Quoc V. Le, and Ilya Sutskever. Exploiting similarities among languages for machine translation. arXiv:1309.4168, 2013.

[4] Chao Xing, Dong Wang, Chao Liu, and Yiye Lin. Normalized word embedding and orthogonal transform for bilingual word translation. In Proc. of NAACL'15, pp. 1006-1011, 2015.

[5] Mikel Artetxe, Gorka Labaka, and Eneko Agirre. Generalizing and improving bilingual word embedding mappings with a multi-step framework of linear transformations. In Proc. of AAAI'18, 2018.

[6] Francis Bond, Hitoshi Isahara, Sanae Fujita, Kiyotaka Uchimoto, Takayuki Kuribayashi, and Kyoko Kanzaki. Enhancing the Japanese WordNet. In Proceedings of the 7th Workshop on Asian Language Resources (ALR7), pp. 1-8, 2009.

[7] Tomás Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In Proc. of ICLR'13, Workshop Track Proceedings, 2013.

[8] 伝康晴, 小木曽智信, 小椋秀樹, 山田篤, 峯松信明, 内元清貴, 小磯花絵. コーパス日本語学のための言語資源 :形態素解析用電子化辞書の開発とその応用. 日本語科学, Vol. 22, pp. 101-123, 2007.


# Tokenizer の違いによる日本語 BERT モデルの性能評価

築地俊平
茨城大学工学部
情報工学科
17t4055g@vc.ibaraki.ac.jp
}

新納浩幸
茨城大学大学院理工学研究科
情報科学領域
hiroyuki.shinnou.0828@vc.ibaraki.ac.jp

## 1 はじめに

近年、事前学習済みモデル BERTを利用すること で自然言語処理システムの性能が飛躍的に向上して いる。当初、実質英語だけが対象であった BERT だ が、現在は日本語 BERT も数多く構築・公開され、一般に利用できるようになってきた。様々な日本語 BERT がある中で、どの BERT を利用すべきかは明 らかではないが、選択の要因の一つは単語分割にあ ると考えられる。日本語 BERT は各々の Tokenizer を持ち、そこで利用される語彙リストが異なってい る。そのためタスクの目的に合った Tokenizer を持 つ BERTを利用した方がよいと考えられる。一方逆 に利用する BERT を固定したい場合も多いと思われ る。その場合、その BERT の持つ Tokenizer とは異 なる Tokenizerを利用した際に、性能への影響がど の程度あるのかは興味深い。

ここでは東北大版の 'bert-base-japanese' と呼ばれ る BERTを利用して、上記の調査を行った。'bertbase-japanese' の BERT は Tokenizer として MeCab が 利用されている。入力された文は MeCabにより単語分割され、各単語が token id に変換される。この 際、語彙リストに登録されていない単語については WordPiece が起動されて単語分割が行われる。つま り BERTへの入力として別の Tokenizer を利用して 単語分割を行っても、token id 列に変換され、以後の 処理は正常に行われる。

本論文では BERTを利用した文書分類のタスクを 行う。利用する BERT は東北大版日本語 BERT であ る。文書から BERT の入力となる token id 列を得る のに、様々な Tokenizer を利用して、Tokenizer の違 いによる性能の評価を行う。

## 2 BERT と Tokenizer

## 2.1 BERT

BERT は汎用的な言語モデルの事前学習を行う手法の一つである．大量のテキストデータを事前学習したモデルに少量の教師データを追加学習させる ことで、テキスト分類などの様々なタスクで先行研 を超える分類性能を達成している．BERT は双方向 Transformerをべースとした汎用言語モデルであり、大規模コーパスで事前学習を行い、その後タスクに 応じたファインチューニングを行うことで、様々な タスクに応用できるモデルである本実験では BERT の学習済みモデルには東北大学乾・鈴木研究所で作成された日本語 BERTを用いる [1].

## 2.2 Tokenizer

日本語は英語と比べると単語間に明確な区切り が存在しない．そのため、日本語の解析をする場合 には単語、文字など何らかの部分に分ける必要があ る. さまざま分け方はあるが、分割された文字列の ことをトークンという. Tokenizer は文書を単語分割 をして、それに ID という数値に変換するモジュー ルである．単語を分割する方法としては

・N-graum を使って単語に分割

・MeCab、Juman などを使って形態素解析して形態素に分割

・事前に単語単位に分割して各単語の頻度を求 め、高頻度で現れる単語を一つの単語とするサ ブワード

がある.また、サブワードについてくわしくは後述 する。

表 2 Tokenizerによる token id 列

## 3 実験

本研究では 6 種類の Tokenizer と東北大学乾・鈴木研究室が公開している日本語 BERTを使う。その中 で Toknizer の SentencePiece は日本語 Wikipedia デー 夕を使用する．使用する日本語 BERT の Tokenizer は MeCab+WordPiece である.

## 3.1 実験条件

本研究では訓練データ、テストデータを livedoornews から使用した. テストデータは 736 文、訓練データは 5887 文が用意し、それぞれ以下の 9 つ のカテゴリに属するものを収集したデータセットで ある。

・トピックニュース
- SportsWatch

・IT ライフハック

・家電チャンネル

$\cdot$ MOVIE ENTRY
- 独女通信

・エスマックス
- livedoor HOMME
- Peachy

本実験では 9 種類の文書を文書分類をするタスク を行う.まずは通常の単語分割がされていないなめ
データの文書を訓練データとして学習させ、単語分割していない生データである、テストデータを実行 し精度を確認した，次に各 Tokenizer で訓練データ、 テストデータを単語分割した文書を使い精度を確認 した. 続けて訓練データのみ Tokenizer で単語分割 した文書を使用し、テストデータは単語分割のない 生データの文書で精度を確認した. 最後に訓練デー タは単語分割されていない生データを使用し、テス トデータは各 Tokenizer で単語分割した文章を使い それぞれ精度を確認した。

## 3.2 性能評価に使用する Tokenizer

今回使用する Tokenizer の特徴は以下の通りであ る. Tokenizerごとにアルゴリズムがかわってくるた め、特徴と違いについて触れる。

MeCab+IPAdic、MeCab+IPAdic+NEologd ラティス を構築して、その中から最適なパスを選択する。辞書である NEologd が追加されたため複数の形態素に 分割されてしまう固有表現をもっているニュース記事から抽出した新語や固有名詞や道語、ネット上で 流行した単語や慣用句やハッシュタグなども行って いる. 文書クラスが定義する以下についての変更は 禁止とする。

Juman++ 京都大学黒橋研究室で作成され た,RNNを使用した形態素解析機である. ニューラ ル LMを用いることで精度が高くなっている. 辞
表 3 Sudachi の分割情報と 3 種類の形態素解析結果

書は基本辞書、Wikipedia、Wikiionary、Web text であ り、合計で 90 万語ほどになっている.

## Sudachi [2]

ワークスアプリケーションズ ワークス徳島人工知能 NLP 研究所が開発した形態素解析機である.

UniDic 由来の単単位語句と NEologd 由来の膨大な 固有名称をべースに大規模な辞書データをを構築し ている。約 280 万語を超えている. 最適な形態素の 長さは、アプリケーションによって異なるという考 えから 3 種類の形態素単位が用意されている（表 3 参照)

A 単位とはほぼ UniDic の単単位規定と同じであ るが、一部のものは更に短くしているものを A 単位 としている. B 単位はとは $\mathrm{A}$ 単位に説示及び漢字 1 文字の名詞が結合したもの、及び複合動詞である。 $\mathrm{C}$ 単位とは更に多くの語句が結合したもので、複合名詞や固有名称、慣用句などがこれに相当し、アプ リケーションごとに形態素単位を選択している.

Neologd 由来の語句は長単位のものが多いため、基本的にすべて分割情報を付与している。ただし、量が膨大なため、まず機械的に分割情報を付与し、人手でチェックする

さまざまなツールがある中、商業利用に耐えう る、より高品質で使い勝手の良い形態素解析器であ り、辞書の継続的なメンテナンスがされる.

## nagisa [3]

Bidrectional-LSTM を用いた日本語単語分割卜品詞推定が特徴である. Bi-LSTM を用いた文字単位の 系列ラベリングによる解析を行うので、顔文字や URL、ネット用語に対し頑健な解析ができる. 多言語に対応している。

## SentencePiece [4]

サブワードの考え方を用いた分割方法である.

事前にテキストを単語分割し、各単語の頻度を求 めておく．高頻度の単語は 1 単語として扱い、低頻度後は短い単位に分割する。最終的なトークン数が 事前に与えられた数千から数万のサイズになるよう に分割をする。サブワードによって未知語がなくな り、低頻度語も最終的には文字になり、語彙数を小
さくすることができる.

SentencePiece は文書をサブワードに分割するモ デルであり、コーパスから教師なし学習が可能に なる. 特徴の一つとして、End to End 処理に向けた テキストの可逆分割ができます. 通常の形態素解析の単語分割では、分割はできてもそれを復元す ることは困難である. この単語分割の逆を脱トー クン化という．脱トークン化を可能にするために、 SentencePiece ではスペースを通常のトークンとして 扱う、便宜的にスペースをメタ文字 (_) に書き換え る. 言語依存の処理がなく、完全な End-to-End 処理 が可能になる.

参考として各 Tokenizerで得られる単語分割と token ID 列の例を表 1 と表 2 に示す。

## 3.3 実験結果と考察

今回の実験では、訓練データとテストデータの文書を生データのまま東北大版 BERT で文書分類し、評価值を調べたところ、結果は 87.44 となった.こ れを基準として、3つの実験結果を見ていく.

訓練データとテストデータを各々同じ Tokenizer で単語分割したデータでタスクを行った. 文書分類をした結果は表 4 となった. 全体を通じて、生 データのまま文書分類をした場合と比べて、評価値が飛躍的に高くなる、低くなることはなかった. SentencePiece で単語分割したデータの評価値がほか と比べて低くなっていた.

訓練データは生データ、各 Tokenizer で単語分割 したテストデータで文書分類のタスクを行った結果は表 5 となった.ここでも生データのままタスク を行ったときの評価値と大きく差は出なかったが、 SentencePiece のみ 84.96 と大幅に評価値を落として いた.

テストデータは生データのままで、各 Tokenizer で単語分割した訓練データでの文書分類のタスクを 行った結果は表 6 となった. 同じように 88.00 を超 えることはなく、SentencePiece が評価值落としてい た. Tokenizerが同じで、訓練データやテストデータ で比較すると、大きな違いはなく、SentencePiece 以外は 87.00 から 87.90 の間の評価値であった.

東北大版日本語 BERT の Tokenizer が MeCab+WordPiece である. 他の Tokenizer では分割が異なるため、IDが変わる。そのため、MeCabで 単語分割したタスクは生データの評価値と近くなる

ことが予想されていた. 逆に、他の Tokenizer で単語分割し、タスクを行ったときは評価値が下がると 予想していたが評価値は MeCabでの評価值とあま り変わらなかった。これは、多少 Tokenizer の仕組 みが変わっても、ID 化したときにはタスクにはあ まり影響が出ない程度の違いでしかないと考えられ る. Tokenizer で分割した文書を ID にしたときの違 いの割合と関係していると考察する。

表 4 訓練データとテストデータを Tokenizer で単語分割両方のデータに使用した Tokenizer accuracy 生データのまま 87.44

MeCab+IPAdic 87.39

MeCab+IPAdic+NEologd 87.85 Juman++ 87.76

Sudachi 87.59

nagisa 87.71

SentencePiece 86.37

表 5 テストデータを Tokenizer で単語分割

表 6 訓練データを Tokenizer で単語分割

## 4 おわりに

本研究では、訓練データとテストデータの文書を 様々な Tokenizer を使用することによって、日本語 BERT の評価値の変化を確認することができた.

単語ごとに分割する形態素解析器での文章の 分割の仕方によって、文章のトークン化に多少 の違いはあるが、日本語 BERT の Tokenizer(今回は
MeCab+NEologd) でトークン化した ID と結果が類似 したためか精度は大きく変化はしなかった.

単語を IDにしてもところどころの変化すること があっても、その程度であれば学習に影響が出にく くなっている。もしくは単語分割、今回であれば形態素解析器らは精度が上がり、かなり正確に同じよ うに単語分割ができており、その結果、評価值に変化が小さくなってると考えた. そうであれば単語分割のアプローチは様々あれど形態素解析であれば、結局はあまり変わらないことが予想される.

課題としては、今回は日本語 BERT の東北大版の みを実験で使用したが、日本語事前学習モデル全体 でも今回の実験と同じように、結果の差が出るかは わからない。

今後は、異なる日本語 BERT での精度の変化を調 べたい. SentenceBERT など Tokinizer がサブワード で単語分割されている日本語 BERT では違いがある 可能性がある.

## 謝辞

本研究は JSPS 科研費 JP19K12093 および 2020 年度国立情報学研究所公募型共同研究 (2020-FC03) の助成を受けています。

## 参考文献

[1]Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. 2018. https://arxiv . org/abs/1810.04805

[2]坂本美保, 川原典子, 久本空海, 一馬, 内田 佳孝 (株式会社ワークスアプリケーションズワークス徳島人工知能 NLP 研究所）. 形態素解析器『sudachi』のための大規模辞書開発. 言語資源活用ワークショップ 2018, 2018.

[3]池田大志. Pythonによる日本語自然言語処理系統ラベリングによる実世界テキスト分析, 2019. https://speakerdeck.com/taishii/pycon-jp-2019.

[4]John Richardson Taku Kudo. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. 2018. https://arxiv.org/abs/ 1810.04805 .


# 単語属性変換による自然言語推論データの拡張

石橋 陽一 ${ }^{1}$ 須藤 克仁 ${ }^{1,2}$ 中村哲 ${ }^{1}$
1 奈良先端科学技術大学院大学 2 科学技術振興機構さきがけ
\{ishibashi.yoichi.ir3, sudoh, s-nakamura\}@is.naist.jp

## 1 はじめに

自然言語推論は前提文と仮説文が与えられ、単れ らの間にどのような関係が成立するかを予測する タスクである。これまでいくつかのタスクとデータ セットが公開されており、例えばとの中で代表的な ものとして Stanford Natural Language Inference corpus (SNLI) [1] がある。SNLI は前提文と仮説文の間に成 り立つ関係として「含意」「矛盾」光しでのどち らとも判別できない例に対して「中立」の3 種類の ラベルが付与されているコーパスである。SNLIの データ数は $550 \mathrm{k}$ ペアと、自然言語推論の他のコー パス (MultiNLI [2]:433k・SciTail [3]:27k) よりも比較的多いが、現在主流のニューラルネットワークに基 づく手法を利用するにあたっては、觉の性能を向上 させるためにより多くのデータで学習することか望 ましい。乥こで本研究では自然言語推論のデータ拡張に取り組む。

自然言語推論のデータは語の多樣性が少小いため 文の表層的な情報に過学習してしまう問題点があ ることが指摘されている $[4]$ 。この問題の解決のた めには、表層的な情報への過学習を回避するような データが必要である。乥こで本研究では SNLI 文中 の特定の単語に対して、単の意味を反転した単語に 置換することで、表層的な情報をできる限り維持し たまま意味類似性が低い文を生成する手法を提案す る。例えば、前提文 "The boy is eating a fruits." と、含意となる文 "The boy is eating an apple." が仮説文とし て与えられているとき、仮説文に対して性別を変換 する単語変換を適用し、"The girl is eating an apple." を生成する。このようなデータ拡張は元の仮説文の 文法やスタイル等の表層的な部分は変化させずに、意味を矛盾の方向に変化させることができる。した がって本研究のデータ拡張で生成した仮説文をモデ ルが学習する場合、表層的な情報だけでなく一部の 単語の意味の違いに注目する必要があるため、拡張 データで学習したモデルの性能が表層的な情報に左右されにくく頑健になると考えられる。

特定の単語の変換を行う手法として鏡映変換によ る単語属性変換 [5] がある。この手法は次の 2 つの 特徵：(1) 変換対象の属性 (例: 性別)を持つ単語 を変換し (2) 変換対象の属性を持たない単語は変換 しないという特徴を持つ。鏡映変換に基づく単語属性変換を文中の全ての単語に鏡映変換を適用した 場合、文中の一部の単語が変化し串れ以外は元文と 同じであるような文を作り出すことができる。これ により元文の表層的な情報をある程度維持したまま 意味を変えたデータを生成することが可能となる。 そこで本研究ではSNLIのデータ拡張に鏡映変換を 適用し、单の効果を検証する。

## 2 関連研究

SNLI のデータ拡張は Kang [6] らか提案している。 SNLI のデータはクラウドワーカーにアノテーショ ンされているため単の語彙か限られており文の多様性か低い。单のためモデルがある種のパターンに過学習することが指摘されている [4]。例えば、前提文 “The dog did not eat all of the chickens." に対して仮説文 “ The dog ate all of the chickens.” が与えられたと き、正しいラベルは「矛盾」であるにもかかわらず、既存のモデルは「含意」と誤分類した例が蕔告され ている。この問題に対して Kang らはルールテンプ レートを介して大規模な語彙を文に組み込みデータ を拡張することでSNLI と SciTail の精度を向上させ た。本研究では別のアプローチとして単語の変換に 基づく方法を提案する。

## 3 手法

## 3.1 単語属性変換

本研究では文のデータ拡張として、文中の特定の 単語を変換する鏡映変換に基づく単語属性変換 [5] を用いる。鏡映変換に基づく単語属性変換は、変換対象の属性を持つ単語を変換し、変換対象の属性を
持たない単語は変換しないという性質を持つ。例 えば性別の属性変換 $f_{\text {gender }}$ によって “man” のべク トル $\mathbf{v}_{\text {man }}$ を“woman” のベクトル $\mathbf{v}_{\text {woman }}$ に変換す る。一方で、性別に対して不変であるような単語、例えば“person” のベクトルが与えられた場合は変換 せず入力ベクトルと同じ $\mathbf{v}_{\text {person }}$ を出力する。これ らの 2 つの性質によって文中の特定の単語（例：性別に関する単語) のみ変換し、光れ以外の単語は変換せずにノイズの少ないデータを自動で生成可能 となる。ここで単語ベクトルのアナロジーでも変換可能のように思えるが、爫の場合は変換対象の単語 (例：性別単語) に関して事前知識を用意する必要 がある。例えばアナロジーで男性を表す単語を女性 に変換する場合、男性のベクトルから差ベクトル $d=\mathbf{v}_{\text {woman }}-\mathbf{v}_{\text {man }}$ を引くことで女性に変換し、逆に 女性から男性への変換の場合 $d$ を足すことで変換す る。したがってアナロジーで単語を変換する場合は 入力単語ベクトル $\mathbf{v}_{x}$ が男性もしくは女性のどちら に属すかという事前知識が必要となるが、鏡映変換 は事前知識を用いないための条件 (単語べクトル空間中の 2 点を同じ写像で反転可能) を淽たす写像で あるため、光のような事前知識を用ることなくデー 夕拡張に適用できる。

## 3.2 鏡映変換

図 1 鏡映変換に基づく単語属性変換

鏡映変換は鏡と呼ばれる超平面によって 2 つのべ クトルの位置を反転させる写像である。標準内積が 与えられた $n$ 次元実ユークリッド空間 $\mathbb{R}^{n}$ における 鏡映変換は

$
\operatorname{Ref}_{\mathbf{a}, \mathbf{c}}(\mathbf{v})=\mathbf{v}-2 \frac{(\mathbf{v}-\mathbf{c}) \cdot \mathbf{a}}{\mathbf{a} \cdot \mathbf{a}} \mathbf{a}
$

と定義される。ここで $\mathbf{a} \cdot \mathbf{a}$ は内積を表す。また $\mathbf{a}$ お よび $\mathbf{c}$ は光れ艾れ鏡（超平面）を決定するパラメタ であり、a は鏡に直交するべクトル、c $\mathbb{R}^{n}$ 上の点である (図 1)。

本研究では全結合の多層パーセプトロン (MLP)
によって変換対象の属性ごとに鏡のパラメタである a と $\mathbf{c}$ を推定することて鏡を学習する：

$
\begin{aligned}
& \mathbf{a}=\operatorname{MLP}\left(\left[\mathbf{z} ; \mathbf{v}_{x}\right]\right) \\
& \mathbf{c}=\operatorname{MLP}\left(\left[\mathbf{z} ; \mathbf{v}_{x}\right]\right)
\end{aligned}
$

ここで $[\cdot ; \cdot]$ はベクトルの列方向の連結を表す。光し て入力単語ベクトル $\mathbf{v}_{x}$ の属性を反転させたベクト ルを鏡映変換し $\mathbf{v}_{y}$ を得る:

$
\mathbf{v}_{y}=\operatorname{Ref}_{\mathbf{a}, \mathbf{c}}\left(\mathbf{v}_{x}\right)
$

光して予測されたベクトル $\mathrm{v}_{y}$ が目的の単語ベクト ルとなるように平均二乗誤差で最適化する。

## 3.3 データ拡張

鏡映変換に基づく単語属性変換を利用してデータ 拡張を行う。最初に単語属性変換モデルを学習し、光の後 SNLI のデータに適用しデータを拡張する。本研究では SNLI データの仮説文のうち含意ラベル が付与されている文に単語属性変換を適用し、文の 意味が前提文と矛盾するように単語の意味を反転さ せることで矛盾ラベルを付与した新たな文を生成す る。単語を変換する場合、変換対象外の単語が変換 されてしまうことが起きうるが、鏡映変換に基づく 単語属性変換では、鏡映写像の特性によって変換対象外の単語が入力された場合はほぼ変換されないた め、この問題をある程度回避する事ができる。また これにより、一部の単語のみが変換されることで、文の表層的な情報をほとんど変えずに矛盾する文を 生成できる。光こで本研究では含意ラベルが付与さ れた仮説文の全ての単語を鏡映によって変換する。 なお、単語属性変換によって拡張するデータは訓練 データのみとし、評価データは拡張を行わない。ま た、鏡映変換によって変化しなかった文は新たな データとして追加しない。

## 4 実験

## 4.1 単語属性変換の学習と SNLI データの 拡張

まずは単語属性変換の学習を行った。[5] の単語属性変換の学習データと評価用データを結合し、学習データとして用いた。変換対象は性別と反意語と し、少れら 2 つの単語データを結合し学習データと した。事前学習済み単語埋め込みには GloVe [7] を 使用した。単語べクトルの次元数は 300 次元、 5 層 の MLP の隠れ層次元数は 300 次元で鏡映変換の学習を行った。最適化には Adam を使用し学習率の設
定は以前の研究で最高精度のモデルの設定を使用 した。

表 1 単語属性変換の学習用データセット

次に、学習した単語属性変換を SNLI のデータに 適用しデータを拡張した。表 2 は追加されたデータ 数と拡張前のデータ数の比較である。拡張前と比較 して最大で 24 万件データを生成・追加することがで きている。表 4 に生成されたデータの一例を示す。鏡映変換によって変換対象の特定の単語のみ変換 されており、元の仮説文の表層的な類似性を維持し たまま意味を矛盾に変えることができている。例え ば、性別の鏡映変換によって “An actor is performing in an outdoor park dressed up." の “actor" を “actress" に 変えているが、それ以外の単語は鏡映変換を適用し ても変化していない。このため、文の品質を損なう ような単語が混在した文を生成することなくノイズ の少ないデータを多く生成できたと考えられる。

表 2 データ拡張の結果

表 3 単語属性変換で拡張したデータで学習したモデルの スコア

4.2 SNLI モデルの学習とデータ拡張によ る精度の変化

データ拡張を行っていないオリジナルのデータ と、単語属性変換による拡張を行ったデータでとれ ぞれ SNLI のモデルを学習した。本研究では前提文 と仮説文龸れ艾れを別の RNN でエンコードし結合 したベクトルを MLP に入力し分類するモデル [1] を 用いた。モデルの設定はすべての実験で同一とし、
RNN には 300 次元の LSTM を用い、バッチサイズ は 128 で学習を行った。実験の結果を表 3 に示す。

実験の結果、データ拡張の実施前後でモデルの性能は大きく向上しなかった。この原因としてラベル の偏りによってモデルが過学習したことが挙げられ る。本研究では矛盾ラベルは大きく増加しているが 含意や中立のラベルは増えていないため、SNLI モ デルが矛盾ラベルに過学習し、分類結果が偏るケー スが増加したと考えられる。光こで、混同行列を作成しラベルの偏りによって分類結果が異なっている か確認した (図 2)。光の結果、矛盾と中立に分類さ れたケースが 128 から 303 件増加していることがわ かった。したがって、ラベルの偏りにモデルが過学習した結果、精度が向上しなかったと思われる。解決策として含意ラベルを付与した文を増加させる方法を検討中である。

図 2 混同行列の可視化。(a): データ拡張なし (b) : デー 久拡張 (性別) (c): データ拡張 (反意語) (d): データ拡張 (性別 + 反意語) (b)-(d) は (a) からの差分 (増減数) を 元に混同行列を作成している。

## 5 まとめと今後の課題

本研究では自然言語推論のデータ拡張のために文 の表層的な情報をできる限り変化させず意味を変化 させたデータを追加するデータ拡張に取り組んだ。文の表層的な類似性を保ち意味を変換するため文中 の特定単語のみを変換する単語属性変換を適用し光 の効果を検証した。実験の結果、鏡映変換に基づく 手法は文中の特定の単語のみを変換させ、ノイズの 少ないデータを多く生成することができた。実験で は SNLI モデルを学習しデータ拡張による性能を比

 & The woman is wearing green. & The man is wearing green. \\

較したが、データ拡張によって特定のラベルが増加 し過学習が起きた結果、モデルの性能に顕著な差は 見られなかった。今後はラベルスムージングや前提文にもデータ拡張を適用し含意ラベルを増やすこと でラベルの偏りを調整することを検討している。

## 謝辞

本研究は JST さきがけ(JPMJPR1856) の支援を受 けたものである.

## 参考文献

[1] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In Lluís Màrquez, Chris Callison-Burch, Jian Su, Daniele Pighin, and Yuval Marton, editors, Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, EMNLP 2015, Lisbon, Portugal, September 17-21, 2015, pp. 632-642. The Association for Computational Linguistics, 2015.

[2] Adina Williams, Nikita Nangia, and Samuel R. Bowman. A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference. In Marilyn A. Walker, Heng Ji, and Amanda Stent, editors, Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2018, New Orleans, Louisiana, USA, June 1-6, 2018, Volume 1 (Long Papers), pp. 1112-1122. Association for Computational Linguistics, 2018.

[3] Tushar Khot, Ashish Sabharwal, and Peter Clark. SciTaiL: A Textual Entailment Dataset from Science Question Answering. In Sheila A. McIlraith and Kilian Q. Weinberger, editors, Proceedings of the Thirty-Second AAAI Conference on Artificial Intelligence, (AAAI-18), the 30th innovative Applications of Artificial Intelligence (IAAI-18), and the 8th AAAI Symposium on Educational Advances in Artifi- cial Intelligence (EAAI-18), New Orleans, Louisiana, USA, February 2-7, 2018, pp. 5189-5197. AAAI Press, 2018.

[4] Guanhua Zhang, Bing Bai, Junqi Zhang, Kun Bai, Conghui Zhu, and Tiejun Zhao. Mitigating Annotation Artifacts in Natural Language Inference Datasets to Improve Crossdataset Generalization Ability. CoRR, Vol. abs/1909.04242, , 2019.

[5] Yoichi Ishibashi, Katsuhito Sudoh, Koichiro Yoshino, and Satoshi Nakamura. Reflection-based Word Attribute Transfer. In Shruti Rijhwani, Jiangming Liu, Yizhong Wang, and Rotem Dror, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, ACL 2020, Online, July 5-10, 2020, pp. 51-58. Association for Computational Linguistics, 2020.

[6] Dongyeop Kang, Tushar Khot, Ashish Sabharwal, and Eduard H. Hovy. AdvEntuRe: Adversarial Training for Textual Entailment with Knowledge-Guided Examples. In Iryna Gurevych and Yusuke Miyao, editors, Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, ACL 2018, Melbourne, Australia, July 15-20, 2018, Volume 1: Long Papers, pp. 2418-2428. Association for Computational Linguistics, 2018.

[7] Jeffrey Pennington, Richard Socher, and Christopher D. Manning. Glove: Global Vectors for Word Representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, EMNLP 2014, October 25-29, 2014, Doha, Qatar, A meeting of SIGDAT, a Special Interest Group of the ACL, pp. 1532-1543, 2014.


# 人狼知能開発のためのドメイン特化事前学習モデルの作成

角田一星
静岡大学 情報学部
itsunoda@kanolab.net

## 1 はじめに

不完全情報ゲームである人狼をプレイする人工知能の開発は人狼知能プロジェクト [1] と呼ばれ、高度な自然言語によるコミュニケーションと推理を要 することから挑戦的なテーマとして盛んに研究され ている。

しかし、人狼知能プロジェクトのような限定され たドメイン下では、近年主流となっている深層学習 を用いるための十分なデータを用意することが難し い。そこで、そのような限定的なドメイン下での研究を支援するため、BERT[2]のような事前学習済み モデルの転移学習が頻繁に行われている。しかし、既にトークナイズを含め学習を行ったモデルを、通常とは大きくかけ離れたドメインに適応することは 望ましくない。例えば人狼ゲームでは、専門用語や 記号を頻繁に使用する上に多人数での会話を行って おり、日本語 wikipediaコーパス等での事前学習が効果的かどうかは疑いの余地ある。実際、Sci-BERT[3] や、Bio-BERT[4] のようなドメイン特有のコーパス で事前学習させたモデルが汎用的なコーパスで学習 させたモデルより高い精度を出したことが報告され ている。

そこで本研究では、ネット上で行われた人狼ゲー ムのログを学習コーパスに用いた人狼ドメインに 特化した事前学習モデルの作成を行った。提案手法 により、限定的なドメインにありがちなコーパスの 不足をデータ拡張によってカバーし、多人数会話口 グを事前学習用コーパスとして用いる一例を示し た。また、モデルに関しては、入力の最大長の設定 によってモデルが学習した文脈の活用の仕方に違い があることがわかり、汎用的なドメインのコーパス で学習されたモデルより少ない計算コストで同等の 性能を発揮することができることを確認した。1)

\author{
狩野芳伸 \\ 静岡大学 情報学部 \\ kano@inf.shizuoka.ac.jp
}

## 1.1 人狼とは

人狼ゲームは、数人から十数人のプレイヤーに よって行われる。各プレイヤーには役職が割り振ら れ、その役職に応じて村人陣営と人狼陣営に分かれ て戦う。互いのコミュニケーションによって"人狼" の役職を割り当てられたプレイヤーを見つけ出すこ とがこのゲームの目的である。各役職には他人の役職が分かる等の能力があり、嘘をついたり見破った りしてゲームを自分の有利に進めることがこのゲー ムの醍醐味である。そのため、このゲームではプレ イヤーの発言を正しく理解することが何よりも重要 であり、高度な言語処理が要求される。

## 2 提案手法

## 2.1 事前学習モデル

事前学習タスクには Masked Language Model(以下 MLM)のみを設定した。BERT では MLM に加えて NextSentencePrediction(以下 NSP)を行うが、人狼の ような多人数会話においては関連する発話が常に隣接するかどうかは保証することができず、NSP は事前学習タスクとして効果が薄いという研究結果 ([5], 4.2 項) も報告されていることから NSP は不必要で あると考えた。

また、モデルの最大長が 128 トークンの small モ デルと最大長が 254 トークンの large モデルの 2 つ を用意した。この際、small モデルと large モデルの 時間計算量を揃えるため、small モデルは large モデ ルの 2 倍のバッチサイズになるようにした。さら に、small モデルと large モデルの最大長以外のモデ ル設定の差異を可能な限り減らすため、small モデ ルの学習時の入力には、 large モデルに入力するデー タ 1 件を半分ずつに分割して入力するようにして まったく同じ入力文から学習を行うようにした。詳細は以降のセクションで解説する。

なお、モデルのハイパーパラメータや細かいモデ

図 1 Windowを $1 / 3$ ずつスライドさせればコーパスは 3 倍になる。

表 2 データ成形の例

<spk>少女 リーザ</spk>個人的には

ジムゾンを占って欲しいかなくbr>

## ル設定は表 1 に示した通りである。

## 2.2 コーパス

事前学習モデルのコーパスには、ネット上で チャット形式で行われている人狼 BBS[6] の全試合 をクロールし用いた (ログの具体例に関しては付録 に記載した)。 7249 試合、16,402,471 発話を収集し、約 5.3GB となった。なお、発話内の URL やメール アドレスは除去し、数字はゲームに関係することが 多いため残している。また、改行は<br>トークンに 置換し、発話者を示すための<spk>,</spk>トークン を発話冒頭に付加した(表 2)。

## 2.3 データ拡張

2.2 で用意したコーパスのデータサイズは日本語 で 5.3GB と、[2]や [5] の研究に比べて不足してい るため、モデルの最大長で Window を定義しスライ ドさせていくデータ拡張を行った(図1)。これによ り、異なる文脈によって条件付けられたデータを用意することができ、Windowを $1 / 3$ ずつスライドさ せたためデータサイズは約 3 倍の 17GB となった。結果、8,967,034 件の 254 長のトークン系列を用意 することができ、そのうち $8,877,364$ 件を train セッ ト-large、残りの 89,670 件を test セット-large とした。 また、それらの各データについて半分の 127 長ずつ に分割し、文頭、文末トークンの足りない方を付加 して 128 長の small モデル用のデータセットとした (データセットのサイズは 2 倍になる)。

## 3 実験

今回作成したモデルの学習設定は、一般的な BERT のモデル設定 [2] に対して、step 数は約半分、 バッチサイズは small モデルが $1 / 2$ large モデルが $1 / 4$ であり、それぞれ $1 / 4 、 1 / 8$ ほどの少ない計算コ ストとなっている。そこで、作成したモデルの性能 を確かめるため、以下の 3 つの実験を行った。

## 3.1 下流タスク

人狼 BBS コーパスで学習した有効性を確かめ るために、作成した 2 つのモデルに加えて日本語 Wikipedia コーパスによって学習された BERT[7] の 計 3 つのモデルを人狼ゲームに関する下流タスクに よって比較した。下流タスクには稲葉らの公開して いるコーパス [8] を拡張して作成したデータセット を用いたテキスト分類を設定した (付録 A. 3 参照)。 このタスクは、人狼中の発話をカミングアウト (自 らの役職を告白すること、CO) 発話や、占い結果発話などのゲーム中に重要となる発話行為に分類する

図 23 種類の文脈の作成方法

表 3 発話行為分類結果

タスクであり、人狼知能の開発には基本となるもの である。データサイズは、11952 件で、このデータ セットを train:dev:test=6:2:2 に分割して学習、テスト を行った。データ数に関しては表 5 に記載した。

結果は表 3 のようになった。全てのモデルで高い スコアとなり、モデルの性能にほとんど差は見られ なかったが、今回作成したモデルの学習設定は wiki モデルに対して small は $1 / 4$ 、large は $1 / 8$ の計算コス トであり、少ない計算コストでwiki モデルと同等の 性能を発揮したということが確認できた。

## 3.2 マスクトークンの予測

small モデルと large モデルの言語モデルとしての 性能を比較するため、マスクトークンの予測による perplexityを算出した。その際、比較のために、 2.2 で用意したテストデータセットに対しては静的なマ スキング処理を行い、2つのモデルが同一箇所に対 するマスクトークン予測を行うようにした。

結果は表 4 に示した通りとなった。large テスト セットに関しては 2.1 で示した訓練方法の効果に よりほぼ同一の結果となったが、small テストセッ トに関しては small モデルが大差をつけて精度が高

表 5 発話行為分類タスクのデータ

かった。これには二つの理由が考えられる。一つ は、small テストセットは large テストセットを分割 して作成されたため、large モデルが活用できる長い スパンの文脈情報が失われたことにより large モデ ルの不利になったこと。もう一つは、2.1 で示した 訓練方法の通り、small モデルは 128 長のデータに 関してバッチサイズを 2 倍にして学習していること から epoch 数が 2 倍になり、128 長のデータに関し ては small モデルが有利なことである。この結果よ り、同一の時間計算コスト、同一文章からモデルを 学習させたとしても small モデルと large モデルでは 異なる文脈情報を活用するよう学習しており、small モデルは狭い範囲の文脈情報をより深く、large モデ ルは広い範囲の文脈情報を浅く活用しているという ことがわかった。large モデルの文脈情報の活用に関 しては次のセクションでさらに調査した。

## 3.3 文脈活用

large モデルがどの程度文脈を活用することができ ているのか、またどのような文脈を活用しているの かを明らかにするため、マスクされていない文脈情報を追加で入力する large モデルと追加しない small

図 3 small モデルと large モデルの perplexity の比

モデルとで perplexity の比較を行った。文脈情報は は図 2 に示した通り、マスキング箇所の前 127 トー クン、前後 63/64トークン、後 127 トークンの 3 種類である。また、マスキングの確率を 0.05 間隔で変化させて実験を行った。図 3 は、その結果であり、 small モデルと large モデルの perpexity の比である。

図3を見ると、常に値は 1.0 を超えており、small モデルでは入力することのできない文脈情報が perplexity の低下に効果的であることがわかった。 また、文脈は、前後 $>$ 前 $\fallingdotseq$ 後の順に perplexity の低下に寄与しており、限られた入力長下では双方向の 文脈を入力することが最も効果的であることもわ かった。図 3 が指数関数的に増大しているのは、マ スクトークン同士の依存性を学習できない MLM 下 ではマスクトークンが増えるほど文脈情報に依存す るためである。

## 4 おわりに

人狼 BBS のゲームログを用いた人狼ドメインに 特化した事前学習モデルを作成した。その際、コー パスに対して Windowを重複させながらスライドす ることにより学習データの水増しを行い、ドメイン を限定することに伴うデータ不足を軽減した。実験 により、少ない計算コストで同等の性能を出せたと いう点でドメインを限定した事前学習モデルが効果的であることがわかった。また、モデルは最大長の 違う 2 種類を用意し、同じ時間計算コストの下で同 じ文章から学習させたモデルでも最大長によってモ デルが活用する情報に違いがあることがわかった。 そのため、下流タスクでより広範囲の文脈を必要と しないならば精度の良い small モデル、そうでなけ れば large モデルという使い分けが考えられる。 また、今回作成したモデルでは、MLM 以外の事前学習タスクを行っておらず、文の分散表現に関し ては学習を行っていない。今後は、文の分散表現を 獲得するための事前学習タスクの考案とその評価方法が課題であり、ゲーム情報を活用した人狼特有の 事前学習タスクを行いたいと考えている。

## 5 謝辞

本研究を行うにあたり、人狼 BBS のデータ使用 を許可していただいた ninjin 氏に心より感謝致し ます。

## 参考文献

[1] 片上大輔, 鳥海不二夫, 大澤博隆, 稲葉通将, 篠田孝祐, 松原仁ほか. 人狼知能プロジェクト (<特集>エン ターテイメントにおける ai). 人工知能, Vol. 30, No. 1, pp. 65-73, 2015.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. CoRR, Vol. abs/1810.04805, , 2018.

[3] Iz Beltagy, Arman Cohan, and Kyle Lo. Scibert: Pretrained contextualized embeddings for scientific text. CoRR, Vol. abs/1903.10676, , 2019.

[4] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. Biobert: a pre-trained biomedical language representation model for biomedical text mining. CoRR, Vol. abs/1901.08746, , 2019.

[5] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. CoRR, Vol. abs/1907.11692, , 2019.

[6] ninjin. 人狼 bbs, 2021. http://ninjinix.com/.

[7] 鈴木正敏. Pretrained japanese bert models, 2021. https://github.com/cl-tohoku/bert-japanese/ blob/master/README.md.

[8] 稲葉通将, 狩野芳伸, 大澤博隆, 大槻恭士, 片上大輔, 鳥海不二夫. 人狼 bbs に対する役職表明・能力行使報告情報のアノテーション. 第 32 回人工知能学会全国大会, 1H1-OS-13a-01, 2018 .

## A 付録

図 4 人狼 BBS の発話例

表 6 MLM の例

リーザちゃんの木の実占い！この袋の中には、白と黒の木の実が入っています。

今から、木の実をひとつだけ取り出します。白い木の実なら人間、黒い木の実なら狼さんです。

・・取り出したのは、白い木の実なのです・・・!【フリーデルさんは<mask>!】

## A. 1 人狼 BBS の発話例

図 4 は人狼 BBS の発話例である。プレイヤーはキャラクターに応じたロールプレイをすることが多く、専門用語や記号を多用する。

## A. 2 MLM の例

マスクトークン予測の例を表 6 に示す。人狼 BBS では"【】"によって重要部分を囲む慣例があるため、こ の部分をマスクトークンにすることで例のような簡易的な要約も可能である。

## A. 3 下流タスク

[8] のアノテーションのうち、用いたラベルは"CO","占い結果","霊能結果","護衛"であり、"占い結果"と"霊能結果"は統合した。さらにスクレイピングした際のゲーム情報を利用することで、発話行為ラベルを CO し た役職ごとや能力の対象にしたキャラクターごとに細分化し、ラベル数を 44 とした。また、ドメインを人狼 BBS のみに偏らせないために"【】"を除去するデータ拡張と、"【】"部分を要約したデータを人手で作成する データ拡張を行っている。


# 人間と BERT の語から語の連想の比較

相馬佑哉，堀内靖雄，黒岩眞吾
千葉大学
yuya10101 @ chiba-u.jp, \{hory, kuroiwa\} @ faculty.chiba-u.jp

## 1 はじめに

本稿では学習済みの BERT[1]を用いた連想と人間 の連想の比較を行う。本稿での連想とは単語を 1 つ 与えて (刺激語)，そこから連想する単語（連想語） を複数回答させるというタスクである。人間の連想 データとしては連想語頻度表 [2]のデータを使用す る. BERT の連想では「<刺激語＞から連想される 語は MASK です」等の文を与え, MASK に連想語が 現れるようにする。この際, 文の違い (2 文に分けた 場合を含む)により生成される連想語の違いを調查 した. また, 人の連想に近づけるための改善案とし て，MASK に鍵括弧「」を付与する手法を提案し比較した。また, 人の連想に着目した場合, 視覚情報 に基づく連想も行われることから，人の連想語とし て色が含まれていた刺激語を選定し，言語情報のみ で学習した BERT からそれらの語が連想語として現 れるかを調査した。

## 2 研究背景

## 2.1 関連研究

連想語を取得する研究として, 小島ら [3] や稲垣 ら [4], 浅見ら [5]の研究がある.小島らは概念べース，稲垣らは Word2Vec, 浅見らは N-gram を用いて人間 の連想を模擬できるか検証を行った. 本稿では同様 の検討を BERTを用いて行う。

一方で, 人間の連想の大規模な調査として連想語頻度表が作成されている[2]. 同表を利用した研究と して, 豊嶋ら[6]や小泉ら[7]の研究がある。豊嶋らの 研究では EDR 電子化辞書と Wikipedia の情報を用 いて概念べースと word2vec に基づいた単語のべク トル空間を構築し, 連想語頻度表に基づいた語の連想体系としての特色に関する検証を行った. 本稿で は同様の比較調査を BERT による連想語を対象に行 う。また，人間の連想においては視覚情報に基づく 連想も行われるとの推測から，色が連想語として含 まれる刺激語に関して調查を行う。

## 2.2 連想語頻度表

本稿では，人間の連想語として『連想語頻度表』
[2]を用いる。連想語頻度表は大規模な調査を実施し て作成された連想語データベースである．連想の元 となる刺激語に対して，連想語が頻度順に記載され ている. 刺激語は漢字，ひらがな，カタカナで各 100 語, 計 300 語が掲載されている。漢字刺激語は 2 文字 3 モーラ, ひらがな刺激語とカタカナ刺激語は 3 文字 3 モーラの名詞であり,『日本語の語彙特性 第二期』[8]からできるだけ出現頻度が高く具体性の高 いものが選定されている. 調査は大学生を対象とし,漢字，ひらがな，カタカナ刺激語で延べ 934 名を対象としている．1 つの刺激語に対して 20 秒以内に 4 つまで記入を可能とした。言葉は原則として名詞と いう教示を行った。調查結果は『連想基準表』[9]に 準じ, 1 人あたり 4 語から最初に解答された 1 語の みを用いて頻度を求めている。

## 2.3 BERT

BERT[1] B Bidirectional Encoder Representations from Transformers であり，Transformer をベースに構成されたモデルである. BERT は Masked Language Model と Next Sentence Prediction の2つのタスクで 学習を行う。

## 2.3.1 Masked Language Model

Masked Language Model(マスクされた言語モデル) は「トマトの色は赤色である」を「トマトの色は MASK である」のように単語を MASK とし, その単語を予測するタスクである。 12 層の Transformer 層 の後で, 1 層の全結合線形層により正解ラベル(単語) のスコアを計算する. このタスクを解くことで，単語に対応する文脈情報を学習することができる。

## 2.3.2 Next Sentence Prediction

Next Sentence Prediction(次文予測)とはぺアの文に おける二つ目の文が後続の文として正解かどうか予測するタスクである.このタスクを解くことで, 2 つ の文の関係性を学習することができる。

## 3 BERT を用いた連想手法

## 3.1 BERT での連想模擬

本稿では, BERT の Masked Language Model と同様

に MASK に連想語が来るような文(以下，連想文と
表記)を使用して連想模擬を行う．以下に例を示す。

く刺激語>から連想される言葉は MASK です。

連想文の刺激語にはトマトやレモンといった単語が 入り, MASK は連想語が入るトークンとなる.

BERT モデルとしては, 東北大学 乾・鈴木研究室 の Wikipedia で訓練済み日本語 BERT モデル(BERTbase_mecab-ipadic-bpe-32k_whole-word-mask)[10] を 使用した.

また，連想語頻度表は原則名詞のみを連想語とし て回答するようにしていることから，BERT におい ても MASK として予測された単語のうち名詞のみ を連想語として採用する。

## 3.2 連想文の選定と鍵括弧「」の導入

表 1 に実験で使用する連想文を示す.この連想文 は, 刺激語とMASKをそれぞれ文の先頭, 中央, 末尾に配置でき，なおかつ意味の通る文 $(1 \sim 4)$ とそれ らを 2 文に分割した文 $(5 \sim 8)$ となっている.

本稿では，表 1 の連想文の MASK に鍵括弧「」を 付与する手法も検討する．以下に例を示す．

<刺激語〉から連想される言葉は「MASK」です。人間は「」が付いている単語に注目して文を読む. BERT にも同様に MASK に「」を付与することで MASK に注目を集めさせることができると考えた。

## 表 1 実験で使用する連想文

 \\

## 4 刺激語の選定と評価方法

## 4.1 刺激語の選定

表 2 に実験で使用する刺激語を示す. 連想語頻度表から, 連想語上位 5 語以内に色(日本語 Wikipedia において出現頻度の高い, 赤, 青, 黄, 緑, 白, 黒, ピンク)が存在する 38 単語を選定した。表 2 実験で使用する刺激語

## 4.2 評価方法と人間の連想語の選定

本稿の評価基準として, BERT がどの程度人間の 連想を模擬できているか評価するために，連想語頻度表で上位 4 語まで(連想語頻度表の調查での人間 の連想語数)の連想語と一致した数を刺激語ごとに 計算し，その総和を刺激語の数で割ったものを連想語スコアとし，採用した。最大値は 4 である.

## 5 語から語の連想実験

表 1 で示した連想文 $1 \sim 8$ を用いて,「」有り無し の両パターンで語から語の連想実験を行った。

## 5.1 実験結果

表 3 に実験結果を示す. 表は BERT が予測した連想語上位 4,50,100,150 語以内における連想スコアを 連想文 1 8 の「」有り無し毎に示したものである (「」有りを $1+「 」$ 等と表記)，上位 4 語以降に連想語がどの程度出力されるかを考察するため 150 位ま での結果も記載した。

表 3 連想語スコア (鍵括弧「」有り無し)

## 5.2 鍵括弧「」の有無の比較

- 上位 4 語では, 連想文 3 を除き, 全ての連想文で 「」の付与により連想語スコアが向上した. 一方 でスコアが最大だったものは「」無しの連想文 3 で 0.605 であった.

- 上位 4 語では,「」有りの 1 文の連想文 $1 \sim 4$ の平均スコアが $0.395,2$ 文の連想文 $5 \sim 8$ が 0.434 で ほぼ同じスコアであった. これは, BERT が Next Sentence Prediction によって 2 文間の関係を学習 しているため, 文が分かれていても 1 文と同様に 連想語を予測できたからと考えられる。

- 上位 50 150 語では, 全ての連想文で「」有りの 連想語スコアが向上している. スコアが最大だっ たものは「」有りの連想文 3 である.

## 5.3 連想文による Attention の特徴

図1, 図2 に BertViz[11]を使用した最終の
Transformer 層の Attention の結果を示す. 図中の右列の背景の 12 色のバーは同層の Transformer 内に 12 ある Attention 機構(Attention Head)を各々表し，色 の濃さは該当単語への Attention の強さを表してい る. [MASK]から各トークンに向から線の色は Attention Head の色を混合したものであり，濃度は Attention の強さを表している。

- 図 1 の連想文 1 は「」を付与することでスコア が大きく向上した連想文である $(0.000 \rightarrow 0.474)$.図 1 より，「」を付与することで MASK の前後の 単語(は，です)への Attention が弱くなり，「〜は 以上です」「〜はすべてです」のような前後の単語からは候補に挙がりやすい単語の出力が抑制 され, 刺激語に関連する語が上位の候補として挙 がりやすくなったと考えられる。

- 図 2 の連想文 3 は「」を付与してもスコアが向上しなかった連想文である $(0.605 \rightarrow 0.395)$. 連想語頻度表の刺激語ワインに対する連想語は, [赤,酒，ブドウ，フランス] である.これに対し，「」無しでは [酒, ブドウ，ビール，水] が予測され，

a.「」有り

b.「」無し

図 1 連想文 1 のワインにおける Attention(連想語スコアが向上)

a. 「」有り

b.「」無し

図 2 連想文 3 のワインにおける Attention(連想語スコアが減少)
連想語頻度表の 2 位と 3 位の単語と一致してい た.この連想文では MASK の位置が中央にあ り，双方向から文脈を捉えている BERTにとっ て情報を統合しやすく，スコアが良くなったも のと考えられる。一方で，「」有りの連想語は

[酒, 水, 肉, 死] であり, 連想語頻度表の単語 と一致した数が減少した. この点については現在調査中である。

## 6 色に関する連想実験

本稿で用いた刺激語（表 2）には連想語上位 5 語中に色が 1 語含まれている(以下, 連想色と呼ぶ).本章では連想色のみに着目した 4.2 の連想語スコア を計算し(以下，連想色スコアと呼ぶ。最大値は 1 である), 考察する。連想実験は「」有りの場合の み行う．BERT に色を問いかけた場合の出力を考察 するため, MASK に色の単語が入るような連想文 (表 4)を追加する.

表 4 実験で使用する連想文

 \\

## 6.1 実験結果

表 5 に上位 5 語以内における通常の連想文 $(1 \sim 4)$ と色の連想文 $(9 \sim 12)$ の連想色スコアの平均を示す.

表 5 連想色スコア (鍵括弧「」有り)

## 6.2 通常の連想文と色の連想文の比較

- 通常の連想文は上位 5 語の連想色スコアが 0.007 であり, BERT では色の連想語が出力されにくい ことが判る.

・色の連想文は上位 5 語の連想色スコアが 0.572 で あり, 連想色が出力されやすくなったことが判る. これは，BERT は入力文の文脈を捉えることがで きるため, MASK に色が入るような連想文を入力することで, 色が出力されやすくなったと考え られる。しかし, 上位 5 語以内に色の中で正解の 連想色が最初に出力されたのは 4 割程度だった。

## 7 おわりに

本稿では, BERT と人間の語から語の連想の比較 を行った。人間の連想語には連想語頻度表を使用し た. BERT での連想模擬には MASK に連想語が入る ような連想文を作成するとともに，連想文の MASK に鍵括弧「」を付与する手法を提案し，比較を行っ た.その結果，鍵括弧「」を付与することで，刺激語とは関係の低い単語の出力を抑制することができ た. また, BERT では，連想文を 2 文に分割しても 単文と同程度の品質の連想が可能であった. さらに, Attention をコントロールすることで語から語の連想 が改善される可能性があることが判った。

以上より，限られた実験ではあるが，MASK を文中におき，刺激語と近づけ MASKを「」で囲むこと が有効であることが示唆された.

なお, 本実験では上位 4 語で人間の連想語と一致 するものは最大で 0.6 語程度であったが，上位 150 語以内には人間の連想語の半数以上が含まれており，連想というタスクでファインチューニングすること で人間の連想に近づけられる可能性はある.

一方で，色の連想語が予測されにくいこと，およ び文脈から色のみが MASK に入る文を用いること で他の連想語と同程度までは予測できること，が明 らかとなった。これらのことから，人間にとって刺激語と関連性が高い色であっても, 言語情報のみ学習している BERT では必ずしも連想色が出力される わけではないことが判った.

今後は連想文の改良, Attention をコントロールす る方法の模索を行っていく. また, 色に関する連想語を出力しやすくするために画像情報を用いた連想模擬の手法も検討していく.

## 謝辞

本研究を進めるに当たり，乾・鈴木研究室の訓練済み日本語 BERT モデルをお借りしました。モデル を公開してくださったことに厚く御礼を申し上げ，感謝の意を表します. 本研究は JSPS 科研費 JP20K11860 の助成を受けたものです.

## 参考文献

1. Jacob Devlin, et al. BERT: Pre-training of Deep Bidirectional Transformers for Language

Understanding. s.l. : arXiv preprint arXiv:1810.04805, 2018.

2. 水野りか, ほか. 連想語頻度表一 3 モーラの漢字・ひらがな・カタカナ表記語一. ナカニシヤ出版，2011.

3. 小島一秀, 渡部広一, 河岡司. 連想システムの ための概念ベース構成法一語間の論理的関係を用い た属性拡張一。自然言語処理/11 巻(2004)3 号, 2004.

4. 稲垣健吾, ほか. 人間の連想を模擬するシステ 厶の開発と分析. 言語処理学会 第 22 回年次大会発表論文集， 2016 .

5. 浅見一樹, 杉本徹. 連想語の自動取得に関する 研究. 言語処理学会 第 25 回年次大会 発表論文集， 2019 .

6. 豊嶋章宏, 奥村紀之. 語の連想体系としての概念ベースの評価. 信学技報 vol.115, no.70,

NLC2015-1, pp.1-5, 2015.

7. 小泉政弥，ほか. 人間の連想傾向を基にした属性の重み補正による概念ベースの精鍊. 人工知能学会研究会資料，2015.

8. 天野成昭, 近藤公久. 日本語の語彙特性 第二期. 三省堂，2003.

9. 梅本堯夫．連想基準表．東京大学出版会， 1969 10. 東北大学乾・鈴木研究室. Pretrained Japanese BERT models. (引用日: 2021 年 01 月 02 日.) https://github.com/cl-tohoku/bert-japanese.

11. Jesse Vig. A Multiscale Visualization of Attention in the Transformer Model. Florence, Italy: Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: System Demonstrations", 2019.


# 知識グラフ埋め込み学習における損失関数の統一的解釈

上垣外 英剛＊
東京工業大学
kamigaito@lr.pi.titech.ac.jp
}

林克彦*
群馬大学
khayashi0201@gmail.com

## 1 はじめに

知識グラフとはエンティティ間の関係を記述した グラフであり，対話や質問応答などに利用される。 しかし，知識グラフを作成するには，膨大なエン ティティの組み合わせとその関係を考慮する必要が あり，人手・半自動で完全なグラフを構築すること は困難である。そのため，自動でエンティティ間の リンク予測を行うことは重要な課題である.

現在，エンティティ間のリンク予測は主に知識グ ラフの埋め込み表現に基づいたスコアリング法 [1] を用いて行われている。この方法では，各リンクに 対するスコアをエンティティ及び関係の埋め込み表現によって計算するが，埋め込み表現の学習は様々 な損失関数を用いて行われている。特に，表現学習 において一般的に使用されていることもあり，ソフ トマックス関数に対する交差エントロピー（SCE; Softmax Cross Entropy）を用いる方法 [2] や，その近似法の一つである負例サンプリング（NS; Negative Sampling）による方法 [3] が主流である.近年，これらの損失関数と既存のスコアリング方法との組み合わせを適切に選択することにより，リ ンク予測の性能が大きく変化することが文献 [4] で 経験的に示されている. その一方で，SCE 損失と $\mathrm{NS}$ 損失に対する理論的な関係性はあまり探求され ていない。そのため，これらの異なる損失関数を用 いた際の結果を比較することが公平であるのか否 か，またどのような条件であればそれが可能である か，などの議論を困難にしている。 さらに，スコア リング手法と損失関数の関係が明らかでないこと は，予測精度を向上させる上で様々な組み合わせを 試行して, 経験的に良好な組み合わせを導く必要が あり，ハイパーパラメータを探索するための計算量 を膨大なものとしている。

本稿では，これらの問題を解決するために， Bregman 距離（Bregman Divergence）[5]を用いて * 共同責任著者 $\mathrm{SCE}$ 損失と NS 損失の統一的な解釈を試みた。この 解釈の下で，どのような条件において両損失関数で の最適解が同一になり得るかを理論的に確認し，両関数の背後に存在する距離の違いが学習結果にどの ような影響を及ぼすかを実験的に検証した。

## 2 Bregman 距離と SCE 損失

知識グラフにおけるエンティティ $e_{i}$ と $e_{j}$ の関係 $r_{k}$ によるリンクを $\left(e_{i}, r_{k}, e_{j}\right)$ と表記する. 与えられ たクエリ $\left(e_{i}, r_{k}, ?\right)$ や $\left(?, r_{k}, e_{j}\right)$ に対して，リンク予測モデルは?に対応するエンティティを予測する. このようなクエリを入力 $x$ ，予測するべきエンティ ティを $y$ とするとき，モデルパラメータ $\theta$ に基づく スコア関数 $f_{\theta}(x, y)$ の下， $x$ から $y$ が予測される確率 $p_{\theta}(y \mid x)$ は，ソフトマックス関数を用いて次のよ うに定義される:

$
p_{\theta}(y \mid x)=\frac{\exp \left(f_{\theta}(x, y)\right)}{\sum_{y^{\prime} \in Y} \exp \left(f_{\theta}\left(x, y^{\prime}\right)\right)} .
$

$Y$ は予測候補となる全エンティティを表す。

次に Bregman 距離についての説明を行う. 入力 $x$ とその出力ラベル $y$ のペアを $(x, y)$ として書く. 観測データを $D=\left.\{\left(x_{1}, y_{1}\right), \cdots,\left(x_{|D|}, y_{|D|}\right)\right.\}$ とし, これ は分布 $p_{d}(x, y)$ に従うとする. $\Psi(z)$ を微分可能な関数とすると, 分布 $f$ と $g$ の間の Bregman 距離は以下 のように定義される:

$
d_{\Psi(z)}(f, g)=\Psi(f)-\Psi(g)-\Delta \Psi(g)^{T}(f-g) .
$

$\Psi(z)$ を変えることによって，様々な距離を表現す ることが可能となる. 本稿では，文献 [6] と同様に，観測データ全体における距離の最小化を考えるた め， $f$ を固定した上で， $d_{\Psi}(f, g)$ の期待值を

$
\begin{aligned}
& B_{\Psi(z)}(f, g) \\
& =\sum_{(x, y) \in D}\left[-\Psi(g)+\Delta \Psi(g)^{T} g-\Delta \Psi(g)^{T} f\right] p_{d}(x, y)
\end{aligned}
$

として定義する. 文献 [6] より， $\Psi(z)$ が厳密に凸で 微分可能なとき1) に $B_{\Psi(z)}(f, g)=0$ が満たされてい

1）なお，本稿で扱う $\Psi(z)$ は全てこの性質を満たす.

れば， $f$ と $g$ は等価である. 本稿では，分布と損失関数の間における関係性を調べるため，B $B_{\Psi(z)}$ の最小化を考える。

後述する NS との比較のために，式 (3)を用い て，我々はまず SCE 損失関数の導出を行う. 式 (3) において $f$ に $p_{d}(\mathbf{y} \mid x) を^{2)}, g$ に $p_{\theta}(\mathbf{y} \mid x)$ を入力 し, ベクトルの次元数を表す関数 lenを用いて， $\Psi(\mathbf{z})=\sum_{i=1}^{l e n(\mathbf{z})} z_{i} \log z_{i}$ とした際に, SCE 損失関数は 次のように導出される.

$
\begin{aligned}
& B_{\Psi(\mathbf{z})}\left(p_{d}(\mathbf{y} \mid x), p_{\theta}(\mathbf{y} \mid x)\right) \\
= & -\sum_{(x, y) \in D}\left[\sum_{i=1}^{|Y|} p_{d}\left(y_{i} \mid x\right) \log p_{\theta}\left(y_{i} \mid x\right)\right] p_{d}(x, y) \\
= & -\frac{1}{|D|} \sum_{(x, y) \in D} \log p_{\theta}(y \mid x) .
\end{aligned}
$

この導出から $B_{\Psi(z)}\left(p_{d}(\mathbf{y} \mid x), p_{\theta}(\mathbf{y} \mid x)\right)$ が 0 となる最小化を通じて $p_{\theta}(y \mid x)$ が $p_{d}(y \mid x)$ に等しくなること が分かる. 本稿では以降，このように式 (3) が 0 と なる際の $p_{\theta}(y \mid x)$ を目的分布と呼ぶ.

## 3 NS の解釈、SCE との関係性

Bregman 距離を使って NS の性質について議論 する. 分布 $p_{d}(x, y)$ に従う観測データ $D$ の各サ ンプル $(x, y) \in D$ に対して, $\mathrm{NS}$ では既知の雑音分布 $p_{n}$ から $v$ 個の雑音サンプルを抽出し, 分布 $G(y \mid x ; \theta)=\exp \left(-f_{\theta}(x, y)\right)$ に対するモデルパラメー タ $\theta$ の推定を考える。まず， $(x, y)$ が観測データか ら抽出されたサンプルであれば，二値クラスラベル $C=1$ とし, 雑音分布 $p_{n}$ から抽出されたサンプルで あれば， $C=0$ とすると，クラスラベル $C$ に対する 事後確率は以下のように定義できる.

$
\begin{aligned}
& p(C=1, y \mid x ; \theta)=\frac{1}{1+\exp \left(-f_{\theta}(x, y)\right)}=\frac{1}{1+G(y \mid x ; \theta)} \\
& p(C=0, y \mid x ; \theta)=1-p(C=1, y \mid x ; \theta)=\frac{G(y \mid x ; \theta)}{1+G(y \mid x ; \theta)}
\end{aligned}
$

さらに, NS の目的関数 $\ell^{N S}(\theta)$ は以下のように定義 できる.

$
\begin{aligned}
\ell^{N S}(\theta)= & -\frac{1}{|D|} \sum_{(x, y) \in D}[\log (P(C=1, y \mid x ; \theta)) \\
& \left.+\sum_{i=1, y_{i} \sim p_{n}}^{v} \log \left(P\left(C=0, y_{i} \mid x ; \theta\right)\right)\right] .
\end{aligned}
$

ここで Bregman 距離を使って目的関数 $\ell^{N S}(\theta)$ につ いて以下の性質を導くことができる。

2）本項では，ラベル $y$ に対する確率を $p(y)$ ，全てのラベル $\mathbf{y}$ に対する確率値のべクトルを $p(\mathbf{y})$ のように記述する。命題 $1 \Psi(z)=z \log (z)-(1+z) \log (1+z)$ とすること で，式(3)から $\ell^{N S}(\theta)$ を導くことができ, $\ell^{N S}(\theta)=0$ のとき，次の式が成立する:

$
G(y \mid x ; \theta)=\frac{p_{d}(y \mid x)}{v p_{n}(y \mid x)}
$

命題 $2 P_{\theta}(y \mid x)$ に対して, $e^{N S}(\theta)$ の目的分布は:

$
\frac{p_{d}(y \mid x)}{p_{n}(y \mid x) \sum_{y_{i} \in Y} \frac{p_{d}\left(y_{i} \mid x\right)}{p_{n}\left(y_{i} \mid x\right)}}
$

証明 命題 1,2 の証明は付録に記す

上記の結果に対して，例えば， $p_{n}(y \mid x)=p_{d}(y)$ とす れば，式 (8) は自己相互情報量から定数 $\log v$ を減じ た形となる.これは文献 [7] の結論と同様であり,我々の結論はその一般化となっている.

## 3.1 様々な雑音分布

$\mathrm{SCE}$ 損失の目的分布とは異なり，式 (9) は雑音分布 $p_{n}(y \mid x)$ の影響を受ける．よって，特定の雑音分布 $p_{n}(y \mid x)$ を考えることで, 式 (9) のより詳細な分析 を行う。また，そこから $\mathrm{SCE}$ との関係性も導く。

## 3.1.1 一様雑音分布

知識グラフ埋め込みの学習において最もよく使 われている離散の一様雑音分布 $u\{1,|Y|\}$ を考える。 $p_{n}(y \mid x)$ が一様のとき，以下の性質を導出できる.

命題 3 式 (9) は $p_{d}(y \mid x)$ となる.

証明 $p_{n}(y \mid x) \sum_{y_{i} \in Y} \frac{p_{d}\left(y_{i} \mid x\right)}{p_{n}\left(y_{i} \mid x\right)}=\sum_{y_{i} \in Y} p_{d}\left(y_{i} \mid x\right)=1$ であ り，式(9) は $p_{d}(y \mid x)$ となる.

この結論は $P_{n}(y \mid x)$ が一様であるとき, $\ell^{N S}$ の目的分布が SCE 損失と一致することを示している.

## 3.1.2 自己敵対雑音分布

Sun ら [8] は自己敵対負例サンプリング（SANS） を提案している. SANS は $p_{\theta}(y \mid x)$ を雑音分布とし て利用するので，式 (9) は次のように書ける:

$
\frac{p_{d}(y \mid x)}{p_{\hat{\theta}}(y \mid x) \sum_{y_{i} \in Y} \frac{p_{d}\left(y_{i} \mid x\right)}{p_{\hat{\theta}}\left(y_{i} \mid x\right)}} .
$

ここで $\hat{\theta}$ は最後に更新された結果に基づくパラメー タである. 式 (10) を解析的に理解することは難し いが， $p_{\theta}(y \mid x)$ の特殊な場合について考えることで
分析を進める. 学習前, パラメータ $\theta$ はランダムに 初期化されるため, $p_{\theta}(y \mid x)$ は $u\{1,|Y|\}$ に従う. そ の際，式 (10) は $p_{d}(y \mid x)$ となる。逆に， $p_{\hat{\theta}}(y \mid x)$ を $p_{d}(y \mid x)$ に設定すると, 式 (10) は $u\{1,|Y|\}$ となる. このように, 式 (10) では, $p_{\hat{\theta}}(y \mid x) \rightarrow u\{1,|Y|\}$ とな るとき, $p_{\theta}(y \mid x) \rightarrow p_{d}(y \mid x), \quad p_{\hat{\theta}}(y \mid x) \rightarrow u\{1,|Y|\}$ と なるとき, $p_{\theta}(y \mid x) \rightarrow p_{d}(y \mid x)$ と収束する.

実際のミニバッチ学習において, $\theta$ は各バッチ データに対して逐次的に更新が行われるため, SANS の目的分布は $p_{d}(y \mid x)$ と $u\{1,|Y|\}$ の間での均衡に基づいて決定されていると考えられる. この考 えに基づいて, $p_{d}(y \mid x)$ と $u\{1,|Y|\}$ の重み付き和を SANS の目的分布と仮定する. SANS では $p_{\hat{\theta}}(y \mid x)$ を 以下のように定式化している:

$
p_{\hat{\theta}}(y \mid x)=\frac{\exp \left(\alpha f_{\theta}(x, y)\right)}{\sum_{y} \exp \left(\alpha f_{\theta}(x, y)\right)}
$

$\alpha$ は温度パラメータであり, これも上記の均衡を調整する役割がある。従って, $p_{\theta}(y \mid x)$ に対する SANS の目的分布を以下として表す:

$
p_{\theta}(y \mid x) \approx(1-\lambda) p_{d}(y \mid x)+\lambda u\{1,|Y|\}
$

$\lambda$ は $p_{\theta}(y \mid x)$ を $p_{d}(y \mid x)$ または $u\{1,|Y|\}$ のどちらに近 づけるかを決定するハイパーパラメータである.

式 (12) の結果を用いて同様の目的分布を持つ SCE 損失を確認する. $q(y \mid x)=(1-\lambda) p_{d}(y \mid x)+\lambda u\{1,|Y|\}$ と $\Psi(\mathbf{z})=\sum_{i=1}^{l e n(\mathbf{z})} z_{i} \log z_{i}$ と置き, 式 (5) から式 (6)へ の変換に基づいて，新しい SCE 損失の形式

$
\begin{aligned}
& B_{\Psi(\mathbf{z})}\left(p_{d}(\mathbf{y} \mid x), p_{\theta}(\mathbf{y} \mid x)\right) \\
&=- \sum_{(x, y) \in D}\left[\sum_{i=1}^{|Y|}(1-\lambda) p_{d}\left(y_{i} \mid x_{t}\right) \log p_{\theta}\left(y_{i} \mid x_{t}\right)\right. \\
&\left.+\sum_{i=1}^{|Y|} \lambda u\{1,|Y|\} \log p_{\theta}\left(y_{i} \mid x_{t}\right)\right] p_{d}(x, y) \\
&=-\frac{1}{|D|} \sum_{(x, y) \in D}\left[(1-\lambda) \log p_{\theta}(y \mid x)\right. \\
&\left.+\sum_{i=1}^{|Y|} \frac{\lambda}{|Y|} \log p_{\theta}\left(y_{i} \mid x\right)\right]
\end{aligned}
$

が導出される.この形式は SCE 損失に対するラべ ルスムージング [9] と等価であり, SANS がラベル スムージングと同様の効果を持つことがわかる.

## 4 SCE と NS 損失の統一的解釈

3）なお，w / LS はラベルスムージングを，w/ Uni は雑音とし て離散一様分布を使用したことをそれぞれ表す。表 1 各損失関数間の関係 3 ).

各損失関数の関係を表 1 に示す.この表から読 み取れるように，一様雑音分布の下での NS 損失と $\mathrm{SCE}$ 損失の目的分布が等価なものであることが分か る.また，自己敵対雑音分布を用いた際の NS 損失 とラベルスムージングを用いた際の SCE 損失の目的分布が極めて類似していることも分かる. これら の知見は $\mathrm{NS}$ 損失と SCE 損失に基づく手法を公平に 比較する際に重要である。ななせならば，対象とする データセットに疎なエンティティが含まれている場合，ラベルスムージングを用いた SCE 損失と SANS 損失では，モデルによる性能改善が存在しなくと も，スムージングにより性能が改善する可能性があ るためである.このことから，目的分布の観点に基 づいて NS 損失に基づくモデルと SCE 損失に基づく モデルを公平に比較するためには，NS 損失で一様雑音分布が使用されている場合には，SCE 損失をそ のまま使用し, NS 損失で一様雑音分布が使用され ている場合には，SCE 損失でラベルスムージングを 使用することが必要である.

$\mathrm{NS}$ 損失と SCE 損失における $\Psi(z)$ を比較するこ とは目的分布に着目することと同等以上に重要であ る.これは $\Psi(z)$ が損失における距離を決定し，そ の距離がモデルのデータセットに対する振る舞いを 決定する上で重要な役割を果たすためである.

図 1 に表 1 で示されている NS 損失と SCE 損失 のそれぞれにおける $\Psi$ を用いて式 (2) の距離を計算 し, 確率 $p$ のそれぞれの値と確率 0.5 との距離を示 した。この図から読み取れるように，SCE 損失の方 が NS 損失よりも大きな距離を示すことが分かる.
表 2 それぞれのモデルと損失関数の組み合わせを用いた 場合の FB15k-237 と WN18RR での実験結果.

なお，文献 [10] では，二値ラベルにおける Bregman 距離の上界は $\Psi(z)=z \log (z)$ とした際であることが 示されており，我々の観測はこの結果に沿ってい る. SCE 損失と NS 損失が分布間に与える距離の違 いは，モデルの差異に起因する問題を生じさせる原因となりうる．SCEを用いた場合には，自由度が高 く表現力が高いモデルを訓練データに適合させる ことに寄与する一方，事前分布や制約に基づく表現力が低いモデルでは学習を妨げる可能性がある。ま た，NS を用いた場合に，自由度が高く表現力が高 いモデルでは過少適合を起こす可能性がある一方，事前分布や制約により表現力が制限されるモデルで は, 訓練事例への過度な適合を回避し, 学習の進行 に寄与する可能性がある. これらの問題は対象とす るモデルやデータによって振る舞いが決定されるた め，現在主流となっている設定に基づいて影響を実験的に検証する。

## 5 実験

本節では SCE 損失と NS 損失の性質を検証するた めの実験を行う．データセットには FB15k-237 [11] とWN18RR [12]を使用し，評価には MRR，Hits@3 を用いる。比較対象のモデルとして TuckER [13], RESCAL [1], ComplEx [14], RotatE [8] を選択し，実装は LibKGE $[15]^{4)}$ のものを利用した。これらのモ

デルのハイパーパラメータは RESCAL，ComplEx に ついては先行研究 [4] で最高精度を達成した設定を， TuckER，RotatE については元の論文の設定を使用し た. SANS を適用する際には RotatE 以外のモデルで は LibKGE の初期值である 1.0 を使用し，RotatE で は元の論文で SANS が使用されているため，その 設定に従った．ラベルスムージングを適用する際 には，RotatE 以外のモデルでは LibKGE の初期値で ある 0.3 を使用したが，RotatE では比較対象である SANS の值がチューニングされているため，公平性 のために開発データを用いて $\{0.3,0.1,0.01\}$ から值を 選択した。他の詳細な設定は付録に記載した。

表 2 に実験結果を示す. SCE w/ LS で性能向上す る時に，多くの場合で SANS でも性能が向上してい る.この結果からいずれのデータセットでも疎なエ ンティティが問題となっていることが分かる. また この結果は $\mathrm{SCE}$ w/ LS と SANS が対応しているとい う我々の解釈に沿うものである。なお，RotatEでは この関係が成立していないが，後述するようにこの 結果は SCE が訓練データに適合できていないため であると考えられる。訓練データに適合していない のであれば出力が既に平滑化されており, SCEw/ LS の効果が抑制されるからである.

スコアリング法と損失関数の組み合わせの点から は, TuckER, RESCAL, ComplEx といった表現力が 高い手法では SCE と比較して NS の結果が高くない ことから，SCE の過剰適合ではなく，むしろ NS の 過少適合が問題であると考えられる。さらに，モデ ル上の制約が多い RotatE では NS でより高い性能を 発揮していることから，我々が予想したように自由度が高いモデルでは SCE が有用で，制約に基づくモ デルでは NS が有用であることが分かる.

## 6 まとめ

本稿では Bregman 距離を用いて知識グラフの埋め 込み学習における $\mathrm{SCE}$ 損失と $\mathrm{NS}$ 損失の二つの関数 を統一的に解釈した. その結果, 目的分布の点から は SCE と一様雑音分布に基づくNS が等価であり, またSCE でラベルスムージングを用いた場合と自己敵対的雑音に基づく NS が類似していることを示 した. さらに，SCE はNSよりも大きな距離を持つ ことを明らかにし，実験により SCE は表現力の高い スコアリング法と相性が良く，NS は制約をもつ自由度の低いスコアリング法との相性が良いことを示 した.

## 参考文献

[1] Antoine Bordes, Jason Weston, Ronan Collobert, and Yoshua Bengio. Learning structured embeddings of knowledge bases. In Proceedings of the Twenty-Fifth AAAI Conference on Artificial Intelligence, AAAI'11, p. 301-306. AAAI Press, 2011.

[2] Rudolf Kadlec, Ondrej Bajgar, and Jan Kleindienst. Knowledge base completion: Baselines strike back. In Proceedings of the 2nd Workshop on Representation Learning for NLP, pp. 69-74, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[3] Antoine Bordes, Nicolas Usunier, Alberto GarciaDuran, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multirelational data. In C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26, pp. 2787-2795. Curran Associates, Inc., 2013.

[4] Daniel Ruffinelli, Samuel Broscheit, and Rainer Gemulla. You can teach an old dog new tricks! on training knowledge graph embeddings. In International Conference on Learning Representations, 2020.

[5] L.M. Bregman. The relaxation method of finding the common point of convex sets and its application to the solution of problems in convex programming. USSR Computational Mathematics and Mathematical Physics, Vol. 7, No. 3, pp. 200 - 217, 1967.

[6] Michael U. Gutmann and Jun-ichiro Hirayama. Bregman divergence as general framework to estimate unnormalized statistical models. In Proceedings of the Twenty-Seventh Conference on Uncertainty in Artificial Intelligence, UAI' 11, p. 283-290, Arlington, Virginia, USA, 2011. AUAI Press.

[7] Omer Levy and Yoav Goldberg. Neural word embedding as implicit matrix factorization. In Z. Ghahramani, M. Welling, C. Cortes, N. Lawrence, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 27, pp. 2177-2185. Curran Associates, Inc., 2014.

[8] Zhiqing Sun, Zhi-Hong Deng, Jian-Yun Nie, and
Jian Tang. Rotate: Knowledge graph embedding by relational rotation in complex space. CoRR, Vol. abs/1902.10197, , 2019.

[9] Rafael Müller, Simon Kornblith, and Geoffrey E Hinton. When does label smoothing help? In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32, pp. 4694-4703. Curran Associates, Inc., 2019 .

[10] A. Painsky and G. W. Wornell. Bregman divergence bounds and universality properties of the logarithmic loss. IEEE Transactions on Information Theory, Vol. 66, No. 3, pp. 1658-1673, 2020.

[11] Kristina Toutanova and Danqi Chen. Observed versus latent features for knowledge base and text inference. In Proceedings of the 3rd Workshop on Continuous Vector Space Models and their Compositionality, pp. 57-66, Beijing, China, July 2015. Association for Computational Linguistics.

[12] Tim Dettmers, Minervini Pasquale, Stenetorp Pontus, and Sebastian Riedel. Convolutional 2d knowledge graph embeddings. In Proceedings of the 32th AAAI Conference on Artificial Intelligence, pp. 1811-1818, February 2018.

[13] Ivana Balazevic, Carl Allen, and Timothy Hospedales. TuckER: Tensor factorization for knowledge graph completion. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp.5185-5194, Hong Kong, China, November 2019. Association for Computational Linguistics.

[14] Théo Trouillon, Johannes Welbl, Sebastian Riedel, Éric Gaussier, and Guillaume Bouchard. Complex embeddings for simple link prediction. In ICML, pp. 2071-2080, 2016.

[15] Samuel Broscheit, Daniel Ruffinelli, Adrian Kochsiek, Patrick Betz, and Rainer Gemulla. LibKGE - A knowledge graph embedding library for reproducible research. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 165-174, 2020.

## A 付録

## A. 1 命題 1, 2 の証明

$\ell^{N S}$ は以下のように定式化できる:

$
\begin{aligned}
\ell^{N S}(\theta) & =-\frac{1}{|D|} \sum_{(x, y) \in D}\left(\log (P(C=1, y \mid x ; \theta))+\sum_{i=1, y_{i} \sim p_{n}}^{v} \log \left(P\left(C=0, y_{i} \mid x ; \theta\right)\right)\right) \\
& =-\frac{1}{|D|} \sum_{(x, y) \in D} \log (P(C=1, y \mid x ; \theta))-\frac{1}{|D|} \sum_{(x, y) \in D} \sum_{i=1, y_{i} \sim p_{n}}^{v} \log \left(P\left(C=0, y_{i} \mid x ; \theta\right)\right) \\
& =-\frac{1}{|D|} \sum_{(x, y) \in D} \log \left(\frac{1}{1+G(y \mid x ; \theta)}\right)-\frac{1}{|D|} \sum_{(x, y) \in D} \sum_{i=1, y_{i} \sim p_{n}}^{v} \log \left(\frac{G\left(y_{i} \mid x_{t} ; \theta\right)}{1+G\left(y_{i} \mid x_{t} ; \theta\right)}\right) \\
& =\frac{1}{|D|} \sum_{(x, y) \in D} \log (1+G(y \mid x ; \theta))+\frac{v}{v|D|} \sum_{(x, y) \in D} \sum_{i=1, y_{i} \sim p_{n}}^{v} \log \left(1+\frac{1}{G\left(y_{i} \mid x ; \theta\right)}\right) \\
& =\sum_{(x, y) \in D} p_{d}(y \mid x) \log (1+G(y \mid x ; \theta)) p_{d}(x)+\sum_{(x, y) \in D} v p_{n}(y \mid x) \log \left(1+\frac{1}{G(y \mid x ; \theta)}\right) p_{d}(x)
\end{aligned}
$

ここで $u=(x, y), f(u)=\frac{v p_{n}(y \mid x)}{p_{d}(y \mid x)}, g(u)=G(y \mid x ; \theta), \quad p_{d}(x)=\frac{1}{p_{d}(y \mid x)} p_{d}(x, y)$ と置くと, 式 (14) を以下のように書き換えることが できる:

$
\begin{aligned}
\ell^{N C E}(\theta)= & \left(\sum_{(x, y) \in D} p_{d}(y \mid x) \log (1+g(u)) \frac{1}{p_{d}(y \mid x)} p_{d}(x, y)+\sum_{(x, y) \in D} v p_{n}(y \mid x) \log \left(1+\frac{1}{g(u)}\right) \frac{1}{p_{d}(y \mid x)} p_{d}(x, y)\right) \\
= & \sum_{(x, y) \in D}\left[\log (1+g(u))+\log \left(1+\frac{1}{g(u)}\right) f(u)\right] p_{d}(x, y) \\
= & \sum_{(x, y) \in D}[\log (1+g(u))-\log (g(u)) f(u)+\log (1+g(u)) f(u)] p_{d}(x, y) \\
= & \sum_{(x, y) \in D}[-g(u) \log (1+g(u))+(1+g(u)) \log (1+g(u))+\log (g(u)) g(u)+\log (1+g(u)) g(u) \\
& -\log (g(u)) f(u)+\log (1+g(u)) f(u)] p_{d}(x, y)
\end{aligned}
$

$\Psi(g(u))=g(u) \log (g(u))-(1+g(u)) \log (1+g(u))$ と $\Psi^{\prime}(g(u))=\log (g(u))-\log (1+g(u))$ に基づいて，式 (15)をさらに変形できる:

$
\ell^{N C E}(\theta)=\sum_{(x, y) \in D}\left[-\Psi(g(u))+\Psi^{\prime}(g(u)) g(u)-\Psi^{\prime}(g(u)) f(u)\right] p_{d}(x, y)=B_{\Psi}(g(u), f(u)) .
$

式(16) から, $g(u)=f(u)$ で $\ell^{N S}(\theta)$ が最小化されるとき, $G(y \mid x ; \theta)$ は $\frac{v p_{n}(y \mid x)}{p_{d}(y \mid x)}$ となる. そして, $\exp \left(f_{\theta}(x, y)\right)$ は

$
\exp \left(f_{\theta}(x, y)\right)=\frac{p_{d}(y \mid x)}{v p_{n}(y \mid x)}
$

となる. よって，ソフトマックス関数の定義から， $p_{\theta}(y \mid x)$ の目的分布は以下となる:

$
p_{\theta}(y \mid x)=\frac{p_{d}(y \mid x)}{p_{n}(y \mid x) \sum_{y_{i} \in Y} \frac{p_{d}\left(y_{i} \mid x\right)}{p_{n}\left(y_{i} \mid x\right)}} .
$

## A. 2 使用したハイパーパラメータ

表 3 に使用したハイパーパラメータの一覧を示す. . Dim はエンティティ埋め込みの次元数を，LS はラベルスムージングを AS は敵対雑音サンプリングの温度パラメータをそれぞれ表す. 各モデルは両方向のクエリに対応できるようエンティティの埋め込みのみを共有した逆側モデルも学習し, 最大エポック数を 800 とした. また, 開発データにて 5 エポック毎に MRRを計算し, その最高値が 10 回更新されなかった際に学習を打ち切った.

表 3 使用したハイパーパラメータの一覧