# 人間と BERT の語から語の連想の比較

相馬佑哉，堀内靖雄，黒岩眞吾
千葉大学
yuya10101 @ chiba-u.jp, \{hory, kuroiwa\} @ faculty.chiba-u.jp

## 1 はじめに

本稿では学習済みの BERT[1]を用いた連想と人間 の連想の比較を行う。本稿での連想とは単語を 1 つ 与えて (刺激語)，そこから連想する単語（連想語） を複数回答させるというタスクである。人間の連想 データとしては連想語頻度表 [2]のデータを使用す る. BERT の連想では「<刺激語＞から連想される 語は MASK です」等の文を与え, MASK に連想語が 現れるようにする。この際, 文の違い (2 文に分けた 場合を含む)により生成される連想語の違いを調查 した. また, 人の連想に近づけるための改善案とし て，MASK に鍵括弧「」を付与する手法を提案し比較した。また, 人の連想に着目した場合, 視覚情報 に基づく連想も行われることから，人の連想語とし て色が含まれていた刺激語を選定し，言語情報のみ で学習した BERT からそれらの語が連想語として現 れるかを調査した。

## 2 研究背景

## 2.1 関連研究

連想語を取得する研究として, 小島ら [3] や稲垣 ら [4], 浅見ら [5]の研究がある.小島らは概念べース，稲垣らは Word2Vec, 浅見らは N-gram を用いて人間 の連想を模擬できるか検証を行った. 本稿では同様 の検討を BERTを用いて行う。

一方で, 人間の連想の大規模な調査として連想語頻度表が作成されている[2]. 同表を利用した研究と して, 豊嶋ら[6]や小泉ら[7]の研究がある。豊嶋らの 研究では EDR 電子化辞書と Wikipedia の情報を用 いて概念べースと word2vec に基づいた単語のべク トル空間を構築し, 連想語頻度表に基づいた語の連想体系としての特色に関する検証を行った. 本稿で は同様の比較調査を BERT による連想語を対象に行 う。また，人間の連想においては視覚情報に基づく 連想も行われるとの推測から，色が連想語として含 まれる刺激語に関して調查を行う。

## 2.2 連想語頻度表

本稿では，人間の連想語として『連想語頻度表』
[2]を用いる。連想語頻度表は大規模な調査を実施し て作成された連想語データベースである．連想の元 となる刺激語に対して，連想語が頻度順に記載され ている. 刺激語は漢字，ひらがな，カタカナで各 100 語, 計 300 語が掲載されている。漢字刺激語は 2 文字 3 モーラ, ひらがな刺激語とカタカナ刺激語は 3 文字 3 モーラの名詞であり,『日本語の語彙特性 第二期』[8]からできるだけ出現頻度が高く具体性の高 いものが選定されている. 調査は大学生を対象とし,漢字，ひらがな，カタカナ刺激語で延べ 934 名を対象としている．1 つの刺激語に対して 20 秒以内に 4 つまで記入を可能とした。言葉は原則として名詞と いう教示を行った。調查結果は『連想基準表』[9]に 準じ, 1 人あたり 4 語から最初に解答された 1 語の みを用いて頻度を求めている。

## 2.3 BERT

BERT[1] B Bidirectional Encoder Representations from Transformers であり，Transformer をベースに構成されたモデルである. BERT は Masked Language Model と Next Sentence Prediction の2つのタスクで 学習を行う。

## 2.3.1 Masked Language Model

Masked Language Model(マスクされた言語モデル) は「トマトの色は赤色である」を「トマトの色は MASK である」のように単語を MASK とし, その単語を予測するタスクである。 12 層の Transformer 層 の後で, 1 層の全結合線形層により正解ラベル(単語) のスコアを計算する. このタスクを解くことで，単語に対応する文脈情報を学習することができる。

## 2.3.2 Next Sentence Prediction

Next Sentence Prediction(次文予測)とはぺアの文に おける二つ目の文が後続の文として正解かどうか予測するタスクである.このタスクを解くことで, 2 つ の文の関係性を学習することができる。

## 3 BERT を用いた連想手法

## 3.1 BERT での連想模擬

本稿では, BERT の Masked Language Model と同様

に MASK に連想語が来るような文(以下，連想文と
表記)を使用して連想模擬を行う．以下に例を示す。

く刺激語>から連想される言葉は MASK です。

連想文の刺激語にはトマトやレモンといった単語が 入り, MASK は連想語が入るトークンとなる.

BERT モデルとしては, 東北大学 乾・鈴木研究室 の Wikipedia で訓練済み日本語 BERT モデル(BERTbase_mecab-ipadic-bpe-32k_whole-word-mask)[10] を 使用した.

また，連想語頻度表は原則名詞のみを連想語とし て回答するようにしていることから，BERT におい ても MASK として予測された単語のうち名詞のみ を連想語として採用する。

## 3.2 連想文の選定と鍵括弧「」の導入

表 1 に実験で使用する連想文を示す.この連想文 は, 刺激語とMASKをそれぞれ文の先頭, 中央, 末尾に配置でき，なおかつ意味の通る文 $(1 \sim 4)$ とそれ らを 2 文に分割した文 $(5 \sim 8)$ となっている.

本稿では，表 1 の連想文の MASK に鍵括弧「」を 付与する手法も検討する．以下に例を示す．

<刺激語〉から連想される言葉は「MASK」です。人間は「」が付いている単語に注目して文を読む. BERT にも同様に MASK に「」を付与することで MASK に注目を集めさせることができると考えた。

## 表 1 実験で使用する連想文

 \\

## 4 刺激語の選定と評価方法

## 4.1 刺激語の選定

表 2 に実験で使用する刺激語を示す. 連想語頻度表から, 連想語上位 5 語以内に色(日本語 Wikipedia において出現頻度の高い, 赤, 青, 黄, 緑, 白, 黒, ピンク)が存在する 38 単語を選定した。表 2 実験で使用する刺激語

## 4.2 評価方法と人間の連想語の選定

本稿の評価基準として, BERT がどの程度人間の 連想を模擬できているか評価するために，連想語頻度表で上位 4 語まで(連想語頻度表の調查での人間 の連想語数)の連想語と一致した数を刺激語ごとに 計算し，その総和を刺激語の数で割ったものを連想語スコアとし，採用した。最大値は 4 である.

## 5 語から語の連想実験

表 1 で示した連想文 $1 \sim 8$ を用いて,「」有り無し の両パターンで語から語の連想実験を行った。

## 5.1 実験結果

表 3 に実験結果を示す. 表は BERT が予測した連想語上位 4,50,100,150 語以内における連想スコアを 連想文 1 8 の「」有り無し毎に示したものである (「」有りを $1+「 」$ 等と表記)，上位 4 語以降に連想語がどの程度出力されるかを考察するため 150 位ま での結果も記載した。

表 3 連想語スコア (鍵括弧「」有り無し)

## 5.2 鍵括弧「」の有無の比較

- 上位 4 語では, 連想文 3 を除き, 全ての連想文で 「」の付与により連想語スコアが向上した. 一方 でスコアが最大だったものは「」無しの連想文 3 で 0.605 であった.

- 上位 4 語では,「」有りの 1 文の連想文 $1 \sim 4$ の平均スコアが $0.395,2$ 文の連想文 $5 \sim 8$ が 0.434 で ほぼ同じスコアであった. これは, BERT が Next Sentence Prediction によって 2 文間の関係を学習 しているため, 文が分かれていても 1 文と同様に 連想語を予測できたからと考えられる。

- 上位 50 150 語では, 全ての連想文で「」有りの 連想語スコアが向上している. スコアが最大だっ たものは「」有りの連想文 3 である.

## 5.3 連想文による Attention の特徴

図1, 図2 に BertViz[11]を使用した最終の
Transformer 層の Attention の結果を示す. 図中の右列の背景の 12 色のバーは同層の Transformer 内に 12 ある Attention 機構(Attention Head)を各々表し，色 の濃さは該当単語への Attention の強さを表してい る. [MASK]から各トークンに向から線の色は Attention Head の色を混合したものであり，濃度は Attention の強さを表している。

- 図 1 の連想文 1 は「」を付与することでスコア が大きく向上した連想文である $(0.000 \rightarrow 0.474)$.図 1 より，「」を付与することで MASK の前後の 単語(は，です)への Attention が弱くなり，「〜は 以上です」「〜はすべてです」のような前後の単語からは候補に挙がりやすい単語の出力が抑制 され, 刺激語に関連する語が上位の候補として挙 がりやすくなったと考えられる。

- 図 2 の連想文 3 は「」を付与してもスコアが向上しなかった連想文である $(0.605 \rightarrow 0.395)$. 連想語頻度表の刺激語ワインに対する連想語は, [赤,酒，ブドウ，フランス] である.これに対し，「」無しでは [酒, ブドウ，ビール，水] が予測され，

a.「」有り

b.「」無し

図 1 連想文 1 のワインにおける Attention(連想語スコアが向上)

a. 「」有り

b.「」無し

図 2 連想文 3 のワインにおける Attention(連想語スコアが減少)
連想語頻度表の 2 位と 3 位の単語と一致してい た.この連想文では MASK の位置が中央にあ り，双方向から文脈を捉えている BERTにとっ て情報を統合しやすく，スコアが良くなったも のと考えられる。一方で，「」有りの連想語は

[酒, 水, 肉, 死] であり, 連想語頻度表の単語 と一致した数が減少した. この点については現在調査中である。

## 6 色に関する連想実験

本稿で用いた刺激語（表 2）には連想語上位 5 語中に色が 1 語含まれている(以下, 連想色と呼ぶ).本章では連想色のみに着目した 4.2 の連想語スコア を計算し(以下，連想色スコアと呼ぶ。最大値は 1 である), 考察する。連想実験は「」有りの場合の み行う．BERT に色を問いかけた場合の出力を考察 するため, MASK に色の単語が入るような連想文 (表 4)を追加する.

表 4 実験で使用する連想文

 \\

## 6.1 実験結果

表 5 に上位 5 語以内における通常の連想文 $(1 \sim 4)$ と色の連想文 $(9 \sim 12)$ の連想色スコアの平均を示す.

表 5 連想色スコア (鍵括弧「」有り)

## 6.2 通常の連想文と色の連想文の比較

- 通常の連想文は上位 5 語の連想色スコアが 0.007 であり, BERT では色の連想語が出力されにくい ことが判る.

・色の連想文は上位 5 語の連想色スコアが 0.572 で あり, 連想色が出力されやすくなったことが判る. これは，BERT は入力文の文脈を捉えることがで きるため, MASK に色が入るような連想文を入力することで, 色が出力されやすくなったと考え られる。しかし, 上位 5 語以内に色の中で正解の 連想色が最初に出力されたのは 4 割程度だった。

## 7 おわりに

本稿では, BERT と人間の語から語の連想の比較 を行った。人間の連想語には連想語頻度表を使用し た. BERT での連想模擬には MASK に連想語が入る ような連想文を作成するとともに，連想文の MASK に鍵括弧「」を付与する手法を提案し，比較を行っ た.その結果，鍵括弧「」を付与することで，刺激語とは関係の低い単語の出力を抑制することができ た. また, BERT では，連想文を 2 文に分割しても 単文と同程度の品質の連想が可能であった. さらに, Attention をコントロールすることで語から語の連想 が改善される可能性があることが判った。

以上より，限られた実験ではあるが，MASK を文中におき，刺激語と近づけ MASKを「」で囲むこと が有効であることが示唆された.

なお, 本実験では上位 4 語で人間の連想語と一致 するものは最大で 0.6 語程度であったが，上位 150 語以内には人間の連想語の半数以上が含まれており，連想というタスクでファインチューニングすること で人間の連想に近づけられる可能性はある.

一方で，色の連想語が予測されにくいこと，およ び文脈から色のみが MASK に入る文を用いること で他の連想語と同程度までは予測できること，が明 らかとなった。これらのことから，人間にとって刺激語と関連性が高い色であっても, 言語情報のみ学習している BERT では必ずしも連想色が出力される わけではないことが判った.

今後は連想文の改良, Attention をコントロールす る方法の模索を行っていく. また, 色に関する連想語を出力しやすくするために画像情報を用いた連想模擬の手法も検討していく.

## 謝辞

本研究を進めるに当たり，乾・鈴木研究室の訓練済み日本語 BERT モデルをお借りしました。モデル を公開してくださったことに厚く御礼を申し上げ，感謝の意を表します. 本研究は JSPS 科研費 JP20K11860 の助成を受けたものです.

## 参考文献

1. Jacob Devlin, et al. BERT: Pre-training of Deep Bidirectional Transformers for Language

Understanding. s.l. : arXiv preprint arXiv:1810.04805, 2018.

2. 水野りか, ほか. 連想語頻度表一 3 モーラの漢字・ひらがな・カタカナ表記語一. ナカニシヤ出版，2011.

3. 小島一秀, 渡部広一, 河岡司. 連想システムの ための概念ベース構成法一語間の論理的関係を用い た属性拡張一。自然言語処理/11 巻(2004)3 号, 2004.

4. 稲垣健吾, ほか. 人間の連想を模擬するシステ 厶の開発と分析. 言語処理学会 第 22 回年次大会発表論文集， 2016 .

5. 浅見一樹, 杉本徹. 連想語の自動取得に関する 研究. 言語処理学会 第 25 回年次大会 発表論文集， 2019 .

6. 豊嶋章宏, 奥村紀之. 語の連想体系としての概念ベースの評価. 信学技報 vol.115, no.70,

NLC2015-1, pp.1-5, 2015.

7. 小泉政弥，ほか. 人間の連想傾向を基にした属性の重み補正による概念ベースの精鍊. 人工知能学会研究会資料，2015.

8. 天野成昭, 近藤公久. 日本語の語彙特性 第二期. 三省堂，2003.

9. 梅本堯夫．連想基準表．東京大学出版会， 1969 10. 東北大学乾・鈴木研究室. Pretrained Japanese BERT models. (引用日: 2021 年 01 月 02 日.) https://github.com/cl-tohoku/bert-japanese.

11. Jesse Vig. A Multiscale Visualization of Attention in the Transformer Model. Florence, Italy: Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: System Demonstrations", 2019.


# 知識グラフ埋め込み学習における損失関数の統一的解釈

上垣外 英剛＊
東京工業大学
kamigaito@lr.pi.titech.ac.jp
}

林克彦*
群馬大学
khayashi0201@gmail.com

## 1 はじめに

知識グラフとはエンティティ間の関係を記述した グラフであり，対話や質問応答などに利用される。 しかし，知識グラフを作成するには，膨大なエン ティティの組み合わせとその関係を考慮する必要が あり，人手・半自動で完全なグラフを構築すること は困難である。そのため，自動でエンティティ間の リンク予測を行うことは重要な課題である.

現在，エンティティ間のリンク予測は主に知識グ ラフの埋め込み表現に基づいたスコアリング法 [1] を用いて行われている。この方法では，各リンクに 対するスコアをエンティティ及び関係の埋め込み表現によって計算するが，埋め込み表現の学習は様々 な損失関数を用いて行われている。特に，表現学習 において一般的に使用されていることもあり，ソフ トマックス関数に対する交差エントロピー（SCE; Softmax Cross Entropy）を用いる方法 [2] や，その近似法の一つである負例サンプリング（NS; Negative Sampling）による方法 [3] が主流である.近年，これらの損失関数と既存のスコアリング方法との組み合わせを適切に選択することにより，リ ンク予測の性能が大きく変化することが文献 [4] で 経験的に示されている. その一方で，SCE 損失と $\mathrm{NS}$ 損失に対する理論的な関係性はあまり探求され ていない。そのため，これらの異なる損失関数を用 いた際の結果を比較することが公平であるのか否 か，またどのような条件であればそれが可能である か，などの議論を困難にしている。 さらに，スコア リング手法と損失関数の関係が明らかでないこと は，予測精度を向上させる上で様々な組み合わせを 試行して, 経験的に良好な組み合わせを導く必要が あり，ハイパーパラメータを探索するための計算量 を膨大なものとしている。

本稿では，これらの問題を解決するために， Bregman 距離（Bregman Divergence）[5]を用いて * 共同責任著者 $\mathrm{SCE}$ 損失と NS 損失の統一的な解釈を試みた。この 解釈の下で，どのような条件において両損失関数で の最適解が同一になり得るかを理論的に確認し，両関数の背後に存在する距離の違いが学習結果にどの ような影響を及ぼすかを実験的に検証した。

## 2 Bregman 距離と SCE 損失

知識グラフにおけるエンティティ $e_{i}$ と $e_{j}$ の関係 $r_{k}$ によるリンクを $\left(e_{i}, r_{k}, e_{j}\right)$ と表記する. 与えられ たクエリ $\left(e_{i}, r_{k}, ?\right)$ や $\left(?, r_{k}, e_{j}\right)$ に対して，リンク予測モデルは?に対応するエンティティを予測する. このようなクエリを入力 $x$ ，予測するべきエンティ ティを $y$ とするとき，モデルパラメータ $\theta$ に基づく スコア関数 $f_{\theta}(x, y)$ の下， $x$ から $y$ が予測される確率 $p_{\theta}(y \mid x)$ は，ソフトマックス関数を用いて次のよ うに定義される:

$
p_{\theta}(y \mid x)=\frac{\exp \left(f_{\theta}(x, y)\right)}{\sum_{y^{\prime} \in Y} \exp \left(f_{\theta}\left(x, y^{\prime}\right)\right)} .
$

$Y$ は予測候補となる全エンティティを表す。

次に Bregman 距離についての説明を行う. 入力 $x$ とその出力ラベル $y$ のペアを $(x, y)$ として書く. 観測データを $D=\left.\{\left(x_{1}, y_{1}\right), \cdots,\left(x_{|D|}, y_{|D|}\right)\right.\}$ とし, これ は分布 $p_{d}(x, y)$ に従うとする. $\Psi(z)$ を微分可能な関数とすると, 分布 $f$ と $g$ の間の Bregman 距離は以下 のように定義される:

$
d_{\Psi(z)}(f, g)=\Psi(f)-\Psi(g)-\Delta \Psi(g)^{T}(f-g) .
$

$\Psi(z)$ を変えることによって，様々な距離を表現す ることが可能となる. 本稿では，文献 [6] と同様に，観測データ全体における距離の最小化を考えるた め， $f$ を固定した上で， $d_{\Psi}(f, g)$ の期待值を

$
\begin{aligned}
& B_{\Psi(z)}(f, g) \\
& =\sum_{(x, y) \in D}\left[-\Psi(g)+\Delta \Psi(g)^{T} g-\Delta \Psi(g)^{T} f\right] p_{d}(x, y)
\end{aligned}
$

として定義する. 文献 [6] より， $\Psi(z)$ が厳密に凸で 微分可能なとき1) に $B_{\Psi(z)}(f, g)=0$ が満たされてい

1）なお，本稿で扱う $\Psi(z)$ は全てこの性質を満たす.

れば， $f$ と $g$ は等価である. 本稿では，分布と損失関数の間における関係性を調べるため，B $B_{\Psi(z)}$ の最小化を考える。

後述する NS との比較のために，式 (3)を用い て，我々はまず SCE 損失関数の導出を行う. 式 (3) において $f$ に $p_{d}(\mathbf{y} \mid x) を^{2)}, g$ に $p_{\theta}(\mathbf{y} \mid x)$ を入力 し, ベクトルの次元数を表す関数 lenを用いて， $\Psi(\mathbf{z})=\sum_{i=1}^{l e n(\mathbf{z})} z_{i} \log z_{i}$ とした際に, SCE 損失関数は 次のように導出される.

$
\begin{aligned}
& B_{\Psi(\mathbf{z})}\left(p_{d}(\mathbf{y} \mid x), p_{\theta}(\mathbf{y} \mid x)\right) \\
= & -\sum_{(x, y) \in D}\left[\sum_{i=1}^{|Y|} p_{d}\left(y_{i} \mid x\right) \log p_{\theta}\left(y_{i} \mid x\right)\right] p_{d}(x, y) \\
= & -\frac{1}{|D|} \sum_{(x, y) \in D} \log p_{\theta}(y \mid x) .
\end{aligned}
$

この導出から $B_{\Psi(z)}\left(p_{d}(\mathbf{y} \mid x), p_{\theta}(\mathbf{y} \mid x)\right)$ が 0 となる最小化を通じて $p_{\theta}(y \mid x)$ が $p_{d}(y \mid x)$ に等しくなること が分かる. 本稿では以降，このように式 (3) が 0 と なる際の $p_{\theta}(y \mid x)$ を目的分布と呼ぶ.

## 3 NS の解釈、SCE との関係性

Bregman 距離を使って NS の性質について議論 する. 分布 $p_{d}(x, y)$ に従う観測データ $D$ の各サ ンプル $(x, y) \in D$ に対して, $\mathrm{NS}$ では既知の雑音分布 $p_{n}$ から $v$ 個の雑音サンプルを抽出し, 分布 $G(y \mid x ; \theta)=\exp \left(-f_{\theta}(x, y)\right)$ に対するモデルパラメー タ $\theta$ の推定を考える。まず， $(x, y)$ が観測データか ら抽出されたサンプルであれば，二値クラスラベル $C=1$ とし, 雑音分布 $p_{n}$ から抽出されたサンプルで あれば， $C=0$ とすると，クラスラベル $C$ に対する 事後確率は以下のように定義できる.

$
\begin{aligned}
& p(C=1, y \mid x ; \theta)=\frac{1}{1+\exp \left(-f_{\theta}(x, y)\right)}=\frac{1}{1+G(y \mid x ; \theta)} \\
& p(C=0, y \mid x ; \theta)=1-p(C=1, y \mid x ; \theta)=\frac{G(y \mid x ; \theta)}{1+G(y \mid x ; \theta)}
\end{aligned}
$

さらに, NS の目的関数 $\ell^{N S}(\theta)$ は以下のように定義 できる.

$
\begin{aligned}
\ell^{N S}(\theta)= & -\frac{1}{|D|} \sum_{(x, y) \in D}[\log (P(C=1, y \mid x ; \theta)) \\
& \left.+\sum_{i=1, y_{i} \sim p_{n}}^{v} \log \left(P\left(C=0, y_{i} \mid x ; \theta\right)\right)\right] .
\end{aligned}
$

ここで Bregman 距離を使って目的関数 $\ell^{N S}(\theta)$ につ いて以下の性質を導くことができる。

2）本項では，ラベル $y$ に対する確率を $p(y)$ ，全てのラベル $\mathbf{y}$ に対する確率値のべクトルを $p(\mathbf{y})$ のように記述する。命題 $1 \Psi(z)=z \log (z)-(1+z) \log (1+z)$ とすること で，式(3)から $\ell^{N S}(\theta)$ を導くことができ, $\ell^{N S}(\theta)=0$ のとき，次の式が成立する:

$
G(y \mid x ; \theta)=\frac{p_{d}(y \mid x)}{v p_{n}(y \mid x)}
$

命題 $2 P_{\theta}(y \mid x)$ に対して, $e^{N S}(\theta)$ の目的分布は:

$
\frac{p_{d}(y \mid x)}{p_{n}(y \mid x) \sum_{y_{i} \in Y} \frac{p_{d}\left(y_{i} \mid x\right)}{p_{n}\left(y_{i} \mid x\right)}}
$

証明 命題 1,2 の証明は付録に記す

上記の結果に対して，例えば， $p_{n}(y \mid x)=p_{d}(y)$ とす れば，式 (8) は自己相互情報量から定数 $\log v$ を減じ た形となる.これは文献 [7] の結論と同様であり,我々の結論はその一般化となっている.

## 3.1 様々な雑音分布

$\mathrm{SCE}$ 損失の目的分布とは異なり，式 (9) は雑音分布 $p_{n}(y \mid x)$ の影響を受ける．よって，特定の雑音分布 $p_{n}(y \mid x)$ を考えることで, 式 (9) のより詳細な分析 を行う。また，そこから $\mathrm{SCE}$ との関係性も導く。

## 3.1.1 一様雑音分布

知識グラフ埋め込みの学習において最もよく使 われている離散の一様雑音分布 $u\{1,|Y|\}$ を考える。 $p_{n}(y \mid x)$ が一様のとき，以下の性質を導出できる.

命題 3 式 (9) は $p_{d}(y \mid x)$ となる.

証明 $p_{n}(y \mid x) \sum_{y_{i} \in Y} \frac{p_{d}\left(y_{i} \mid x\right)}{p_{n}\left(y_{i} \mid x\right)}=\sum_{y_{i} \in Y} p_{d}\left(y_{i} \mid x\right)=1$ であ り，式(9) は $p_{d}(y \mid x)$ となる.

この結論は $P_{n}(y \mid x)$ が一様であるとき, $\ell^{N S}$ の目的分布が SCE 損失と一致することを示している.

## 3.1.2 自己敵対雑音分布

Sun ら [8] は自己敵対負例サンプリング（SANS） を提案している. SANS は $p_{\theta}(y \mid x)$ を雑音分布とし て利用するので，式 (9) は次のように書ける:

$
\frac{p_{d}(y \mid x)}{p_{\hat{\theta}}(y \mid x) \sum_{y_{i} \in Y} \frac{p_{d}\left(y_{i} \mid x\right)}{p_{\hat{\theta}}\left(y_{i} \mid x\right)}} .
$

ここで $\hat{\theta}$ は最後に更新された結果に基づくパラメー タである. 式 (10) を解析的に理解することは難し いが， $p_{\theta}(y \mid x)$ の特殊な場合について考えることで
分析を進める. 学習前, パラメータ $\theta$ はランダムに 初期化されるため, $p_{\theta}(y \mid x)$ は $u\{1,|Y|\}$ に従う. そ の際，式 (10) は $p_{d}(y \mid x)$ となる。逆に， $p_{\hat{\theta}}(y \mid x)$ を $p_{d}(y \mid x)$ に設定すると, 式 (10) は $u\{1,|Y|\}$ となる. このように, 式 (10) では, $p_{\hat{\theta}}(y \mid x) \rightarrow u\{1,|Y|\}$ とな るとき, $p_{\theta}(y \mid x) \rightarrow p_{d}(y \mid x), \quad p_{\hat{\theta}}(y \mid x) \rightarrow u\{1,|Y|\}$ と なるとき, $p_{\theta}(y \mid x) \rightarrow p_{d}(y \mid x)$ と収束する.

実際のミニバッチ学習において, $\theta$ は各バッチ データに対して逐次的に更新が行われるため, SANS の目的分布は $p_{d}(y \mid x)$ と $u\{1,|Y|\}$ の間での均衡に基づいて決定されていると考えられる. この考 えに基づいて, $p_{d}(y \mid x)$ と $u\{1,|Y|\}$ の重み付き和を SANS の目的分布と仮定する. SANS では $p_{\hat{\theta}}(y \mid x)$ を 以下のように定式化している:

$
p_{\hat{\theta}}(y \mid x)=\frac{\exp \left(\alpha f_{\theta}(x, y)\right)}{\sum_{y} \exp \left(\alpha f_{\theta}(x, y)\right)}
$

$\alpha$ は温度パラメータであり, これも上記の均衡を調整する役割がある。従って, $p_{\theta}(y \mid x)$ に対する SANS の目的分布を以下として表す:

$
p_{\theta}(y \mid x) \approx(1-\lambda) p_{d}(y \mid x)+\lambda u\{1,|Y|\}
$

$\lambda$ は $p_{\theta}(y \mid x)$ を $p_{d}(y \mid x)$ または $u\{1,|Y|\}$ のどちらに近 づけるかを決定するハイパーパラメータである.

式 (12) の結果を用いて同様の目的分布を持つ SCE 損失を確認する. $q(y \mid x)=(1-\lambda) p_{d}(y \mid x)+\lambda u\{1,|Y|\}$ と $\Psi(\mathbf{z})=\sum_{i=1}^{l e n(\mathbf{z})} z_{i} \log z_{i}$ と置き, 式 (5) から式 (6)へ の変換に基づいて，新しい SCE 損失の形式

$
\begin{aligned}
& B_{\Psi(\mathbf{z})}\left(p_{d}(\mathbf{y} \mid x), p_{\theta}(\mathbf{y} \mid x)\right) \\
&=- \sum_{(x, y) \in D}\left[\sum_{i=1}^{|Y|}(1-\lambda) p_{d}\left(y_{i} \mid x_{t}\right) \log p_{\theta}\left(y_{i} \mid x_{t}\right)\right. \\
&\left.+\sum_{i=1}^{|Y|} \lambda u\{1,|Y|\} \log p_{\theta}\left(y_{i} \mid x_{t}\right)\right] p_{d}(x, y) \\
&=-\frac{1}{|D|} \sum_{(x, y) \in D}\left[(1-\lambda) \log p_{\theta}(y \mid x)\right. \\
&\left.+\sum_{i=1}^{|Y|} \frac{\lambda}{|Y|} \log p_{\theta}\left(y_{i} \mid x\right)\right]
\end{aligned}
$

が導出される.この形式は SCE 損失に対するラべ ルスムージング [9] と等価であり, SANS がラベル スムージングと同様の効果を持つことがわかる.

## 4 SCE と NS 損失の統一的解釈

3）なお，w / LS はラベルスムージングを，w/ Uni は雑音とし て離散一様分布を使用したことをそれぞれ表す。表 1 各損失関数間の関係 3 ).

各損失関数の関係を表 1 に示す.この表から読 み取れるように，一様雑音分布の下での NS 損失と $\mathrm{SCE}$ 損失の目的分布が等価なものであることが分か る.また，自己敵対雑音分布を用いた際の NS 損失 とラベルスムージングを用いた際の SCE 損失の目的分布が極めて類似していることも分かる. これら の知見は $\mathrm{NS}$ 損失と SCE 損失に基づく手法を公平に 比較する際に重要である。ななせならば，対象とする データセットに疎なエンティティが含まれている場合，ラベルスムージングを用いた SCE 損失と SANS 損失では，モデルによる性能改善が存在しなくと も，スムージングにより性能が改善する可能性があ るためである.このことから，目的分布の観点に基 づいて NS 損失に基づくモデルと SCE 損失に基づく モデルを公平に比較するためには，NS 損失で一様雑音分布が使用されている場合には，SCE 損失をそ のまま使用し, NS 損失で一様雑音分布が使用され ている場合には，SCE 損失でラベルスムージングを 使用することが必要である.

$\mathrm{NS}$ 損失と SCE 損失における $\Psi(z)$ を比較するこ とは目的分布に着目することと同等以上に重要であ る.これは $\Psi(z)$ が損失における距離を決定し，そ の距離がモデルのデータセットに対する振る舞いを 決定する上で重要な役割を果たすためである.

図 1 に表 1 で示されている NS 損失と SCE 損失 のそれぞれにおける $\Psi$ を用いて式 (2) の距離を計算 し, 確率 $p$ のそれぞれの値と確率 0.5 との距離を示 した。この図から読み取れるように，SCE 損失の方 が NS 損失よりも大きな距離を示すことが分かる.
表 2 それぞれのモデルと損失関数の組み合わせを用いた 場合の FB15k-237 と WN18RR での実験結果.

なお，文献 [10] では，二値ラベルにおける Bregman 距離の上界は $\Psi(z)=z \log (z)$ とした際であることが 示されており，我々の観測はこの結果に沿ってい る. SCE 損失と NS 損失が分布間に与える距離の違 いは，モデルの差異に起因する問題を生じさせる原因となりうる．SCEを用いた場合には，自由度が高 く表現力が高いモデルを訓練データに適合させる ことに寄与する一方，事前分布や制約に基づく表現力が低いモデルでは学習を妨げる可能性がある。ま た，NS を用いた場合に，自由度が高く表現力が高 いモデルでは過少適合を起こす可能性がある一方，事前分布や制約により表現力が制限されるモデルで は, 訓練事例への過度な適合を回避し, 学習の進行 に寄与する可能性がある. これらの問題は対象とす るモデルやデータによって振る舞いが決定されるた め，現在主流となっている設定に基づいて影響を実験的に検証する。

## 5 実験

本節では SCE 損失と NS 損失の性質を検証するた めの実験を行う．データセットには FB15k-237 [11] とWN18RR [12]を使用し，評価には MRR，Hits@3 を用いる。比較対象のモデルとして TuckER [13], RESCAL [1], ComplEx [14], RotatE [8] を選択し，実装は LibKGE $[15]^{4)}$ のものを利用した。これらのモ

デルのハイパーパラメータは RESCAL，ComplEx に ついては先行研究 [4] で最高精度を達成した設定を， TuckER，RotatE については元の論文の設定を使用し た. SANS を適用する際には RotatE 以外のモデルで は LibKGE の初期值である 1.0 を使用し，RotatE で は元の論文で SANS が使用されているため，その 設定に従った．ラベルスムージングを適用する際 には，RotatE 以外のモデルでは LibKGE の初期値で ある 0.3 を使用したが，RotatE では比較対象である SANS の值がチューニングされているため，公平性 のために開発データを用いて $\{0.3,0.1,0.01\}$ から值を 選択した。他の詳細な設定は付録に記載した。

表 2 に実験結果を示す. SCE w/ LS で性能向上す る時に，多くの場合で SANS でも性能が向上してい る.この結果からいずれのデータセットでも疎なエ ンティティが問題となっていることが分かる. また この結果は $\mathrm{SCE}$ w/ LS と SANS が対応しているとい う我々の解釈に沿うものである。なお，RotatEでは この関係が成立していないが，後述するようにこの 結果は SCE が訓練データに適合できていないため であると考えられる。訓練データに適合していない のであれば出力が既に平滑化されており, SCEw/ LS の効果が抑制されるからである.

スコアリング法と損失関数の組み合わせの点から は, TuckER, RESCAL, ComplEx といった表現力が 高い手法では SCE と比較して NS の結果が高くない ことから，SCE の過剰適合ではなく，むしろ NS の 過少適合が問題であると考えられる。さらに，モデ ル上の制約が多い RotatE では NS でより高い性能を 発揮していることから，我々が予想したように自由度が高いモデルでは SCE が有用で，制約に基づくモ デルでは NS が有用であることが分かる.

## 6 まとめ

本稿では Bregman 距離を用いて知識グラフの埋め 込み学習における $\mathrm{SCE}$ 損失と $\mathrm{NS}$ 損失の二つの関数 を統一的に解釈した. その結果, 目的分布の点から は SCE と一様雑音分布に基づくNS が等価であり, またSCE でラベルスムージングを用いた場合と自己敵対的雑音に基づく NS が類似していることを示 した. さらに，SCE はNSよりも大きな距離を持つ ことを明らかにし，実験により SCE は表現力の高い スコアリング法と相性が良く，NS は制約をもつ自由度の低いスコアリング法との相性が良いことを示 した.

## 参考文献

[1] Antoine Bordes, Jason Weston, Ronan Collobert, and Yoshua Bengio. Learning structured embeddings of knowledge bases. In Proceedings of the Twenty-Fifth AAAI Conference on Artificial Intelligence, AAAI'11, p. 301-306. AAAI Press, 2011.

[2] Rudolf Kadlec, Ondrej Bajgar, and Jan Kleindienst. Knowledge base completion: Baselines strike back. In Proceedings of the 2nd Workshop on Representation Learning for NLP, pp. 69-74, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[3] Antoine Bordes, Nicolas Usunier, Alberto GarciaDuran, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multirelational data. In C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26, pp. 2787-2795. Curran Associates, Inc., 2013.

[4] Daniel Ruffinelli, Samuel Broscheit, and Rainer Gemulla. You can teach an old dog new tricks! on training knowledge graph embeddings. In International Conference on Learning Representations, 2020.

[5] L.M. Bregman. The relaxation method of finding the common point of convex sets and its application to the solution of problems in convex programming. USSR Computational Mathematics and Mathematical Physics, Vol. 7, No. 3, pp. 200 - 217, 1967.

[6] Michael U. Gutmann and Jun-ichiro Hirayama. Bregman divergence as general framework to estimate unnormalized statistical models. In Proceedings of the Twenty-Seventh Conference on Uncertainty in Artificial Intelligence, UAI' 11, p. 283-290, Arlington, Virginia, USA, 2011. AUAI Press.

[7] Omer Levy and Yoav Goldberg. Neural word embedding as implicit matrix factorization. In Z. Ghahramani, M. Welling, C. Cortes, N. Lawrence, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 27, pp. 2177-2185. Curran Associates, Inc., 2014.

[8] Zhiqing Sun, Zhi-Hong Deng, Jian-Yun Nie, and
Jian Tang. Rotate: Knowledge graph embedding by relational rotation in complex space. CoRR, Vol. abs/1902.10197, , 2019.

[9] Rafael Müller, Simon Kornblith, and Geoffrey E Hinton. When does label smoothing help? In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32, pp. 4694-4703. Curran Associates, Inc., 2019 .

[10] A. Painsky and G. W. Wornell. Bregman divergence bounds and universality properties of the logarithmic loss. IEEE Transactions on Information Theory, Vol. 66, No. 3, pp. 1658-1673, 2020.

[11] Kristina Toutanova and Danqi Chen. Observed versus latent features for knowledge base and text inference. In Proceedings of the 3rd Workshop on Continuous Vector Space Models and their Compositionality, pp. 57-66, Beijing, China, July 2015. Association for Computational Linguistics.

[12] Tim Dettmers, Minervini Pasquale, Stenetorp Pontus, and Sebastian Riedel. Convolutional 2d knowledge graph embeddings. In Proceedings of the 32th AAAI Conference on Artificial Intelligence, pp. 1811-1818, February 2018.

[13] Ivana Balazevic, Carl Allen, and Timothy Hospedales. TuckER: Tensor factorization for knowledge graph completion. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp.5185-5194, Hong Kong, China, November 2019. Association for Computational Linguistics.

[14] Théo Trouillon, Johannes Welbl, Sebastian Riedel, Éric Gaussier, and Guillaume Bouchard. Complex embeddings for simple link prediction. In ICML, pp. 2071-2080, 2016.

[15] Samuel Broscheit, Daniel Ruffinelli, Adrian Kochsiek, Patrick Betz, and Rainer Gemulla. LibKGE - A knowledge graph embedding library for reproducible research. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 165-174, 2020.

## A 付録

## A. 1 命題 1, 2 の証明

$\ell^{N S}$ は以下のように定式化できる:

$
\begin{aligned}
\ell^{N S}(\theta) & =-\frac{1}{|D|} \sum_{(x, y) \in D}\left(\log (P(C=1, y \mid x ; \theta))+\sum_{i=1, y_{i} \sim p_{n}}^{v} \log \left(P\left(C=0, y_{i} \mid x ; \theta\right)\right)\right) \\
& =-\frac{1}{|D|} \sum_{(x, y) \in D} \log (P(C=1, y \mid x ; \theta))-\frac{1}{|D|} \sum_{(x, y) \in D} \sum_{i=1, y_{i} \sim p_{n}}^{v} \log \left(P\left(C=0, y_{i} \mid x ; \theta\right)\right) \\
& =-\frac{1}{|D|} \sum_{(x, y) \in D} \log \left(\frac{1}{1+G(y \mid x ; \theta)}\right)-\frac{1}{|D|} \sum_{(x, y) \in D} \sum_{i=1, y_{i} \sim p_{n}}^{v} \log \left(\frac{G\left(y_{i} \mid x_{t} ; \theta\right)}{1+G\left(y_{i} \mid x_{t} ; \theta\right)}\right) \\
& =\frac{1}{|D|} \sum_{(x, y) \in D} \log (1+G(y \mid x ; \theta))+\frac{v}{v|D|} \sum_{(x, y) \in D} \sum_{i=1, y_{i} \sim p_{n}}^{v} \log \left(1+\frac{1}{G\left(y_{i} \mid x ; \theta\right)}\right) \\
& =\sum_{(x, y) \in D} p_{d}(y \mid x) \log (1+G(y \mid x ; \theta)) p_{d}(x)+\sum_{(x, y) \in D} v p_{n}(y \mid x) \log \left(1+\frac{1}{G(y \mid x ; \theta)}\right) p_{d}(x)
\end{aligned}
$

ここで $u=(x, y), f(u)=\frac{v p_{n}(y \mid x)}{p_{d}(y \mid x)}, g(u)=G(y \mid x ; \theta), \quad p_{d}(x)=\frac{1}{p_{d}(y \mid x)} p_{d}(x, y)$ と置くと, 式 (14) を以下のように書き換えることが できる:

$
\begin{aligned}
\ell^{N C E}(\theta)= & \left(\sum_{(x, y) \in D} p_{d}(y \mid x) \log (1+g(u)) \frac{1}{p_{d}(y \mid x)} p_{d}(x, y)+\sum_{(x, y) \in D} v p_{n}(y \mid x) \log \left(1+\frac{1}{g(u)}\right) \frac{1}{p_{d}(y \mid x)} p_{d}(x, y)\right) \\
= & \sum_{(x, y) \in D}\left[\log (1+g(u))+\log \left(1+\frac{1}{g(u)}\right) f(u)\right] p_{d}(x, y) \\
= & \sum_{(x, y) \in D}[\log (1+g(u))-\log (g(u)) f(u)+\log (1+g(u)) f(u)] p_{d}(x, y) \\
= & \sum_{(x, y) \in D}[-g(u) \log (1+g(u))+(1+g(u)) \log (1+g(u))+\log (g(u)) g(u)+\log (1+g(u)) g(u) \\
& -\log (g(u)) f(u)+\log (1+g(u)) f(u)] p_{d}(x, y)
\end{aligned}
$

$\Psi(g(u))=g(u) \log (g(u))-(1+g(u)) \log (1+g(u))$ と $\Psi^{\prime}(g(u))=\log (g(u))-\log (1+g(u))$ に基づいて，式 (15)をさらに変形できる:

$
\ell^{N C E}(\theta)=\sum_{(x, y) \in D}\left[-\Psi(g(u))+\Psi^{\prime}(g(u)) g(u)-\Psi^{\prime}(g(u)) f(u)\right] p_{d}(x, y)=B_{\Psi}(g(u), f(u)) .
$

式(16) から, $g(u)=f(u)$ で $\ell^{N S}(\theta)$ が最小化されるとき, $G(y \mid x ; \theta)$ は $\frac{v p_{n}(y \mid x)}{p_{d}(y \mid x)}$ となる. そして, $\exp \left(f_{\theta}(x, y)\right)$ は

$
\exp \left(f_{\theta}(x, y)\right)=\frac{p_{d}(y \mid x)}{v p_{n}(y \mid x)}
$

となる. よって，ソフトマックス関数の定義から， $p_{\theta}(y \mid x)$ の目的分布は以下となる:

$
p_{\theta}(y \mid x)=\frac{p_{d}(y \mid x)}{p_{n}(y \mid x) \sum_{y_{i} \in Y} \frac{p_{d}\left(y_{i} \mid x\right)}{p_{n}\left(y_{i} \mid x\right)}} .
$

## A. 2 使用したハイパーパラメータ

表 3 に使用したハイパーパラメータの一覧を示す. . Dim はエンティティ埋め込みの次元数を，LS はラベルスムージングを AS は敵対雑音サンプリングの温度パラメータをそれぞれ表す. 各モデルは両方向のクエリに対応できるようエンティティの埋め込みのみを共有した逆側モデルも学習し, 最大エポック数を 800 とした. また, 開発データにて 5 エポック毎に MRRを計算し, その最高値が 10 回更新されなかった際に学習を打ち切った.

表 3 使用したハイパーパラメータの一覧

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# CSJを用いた日本語話し言葉 BERT の作成

勝又智
株式会社レトリバ
satoru.katsumata@retrieva.jp

## 1 はじめに

現在，大規模なテキストデータを元に学習され た事前学習モデルが多く公開されている. 特に近年では BERT [1]を用いた研究が盛んに行われて いる. BERT とは， Transformer [2] の Encoder に対し $\tau$, Masked Language Model (MLM) と Next Sentence Prediction（NSP）と呼ばれる事前学習を行ったもの である。日本語については，Wikipedia やSNS デー タなどの書き言葉1)を用いて事前学習した BERT が いくつか公開されている.

しかしながら，発話の書き起こしといった，話し 言葉に注目した日本語事前学習モデルは著者の知 る限り存在していない。そこで，本研究では，発話の書き起こしデータである日本語話し言葉コー パス (Corpus of Spontaneous Japanese; CSJ) [3] を用 いて話し言葉 BERT の作成を行った. 具体的には, Wikipedia で学習された書き言葉 BERTを元に, 次 の 2 つの手法を用いて話し言葉 BERTを作成した.

## 1. 一部の層のみを話し言葉データで追加学習

2. 分野適応の手法を用いて追加学習

1 つめの手法は，書き言葉と話し言葉の差は主に統語的な側面にあるという仮説のもと, BERT の学習 を行う. BERT における統語情報の学習がどの層で 行われてるのかに関して, 複数の観点から研究が行 われている $[4,5,6]$. 彼らの主張に基づいて，一部の 統語的な面を学習していると考えられる層のみを追加学習することで，BERT の層の全てを学習するよ り話し言葉の統語情報をうまく学習できるのか検証 した. 2 つめの手法は, 話し言葉 BERTを作成する ために，書き言葉で学習した BERT に対して話し言葉データで分野適応を行う．具体的には Gururangan ら [7] の手法を参考に, CSJ 以外の発話の書き起こ

\author{
坂田大直 \\ 株式会社レトリバ \\ hiromasa.sakata@retrieva.jp
}

しデータを用意し，それらを用いて BERTを分野適応した。

また，作成した話し言葉 BERTを評価するため，本研究では評価タスクを作成した. CSJには様々な アノテーションがされており，その中から本研究は 係り受け解析と文境界推定，重要文抽出の 3 つの評価タスクを作成した。係り受け解析は，作成したモ デルが統語的な情報を捉えられているか，文境界推定と重要文抽出は応用的なタスクに転用可能かどう か調べるために行う。

実験結果から，BERT の一部の層のみを学習する 手法は統語的な面が強いタスクに有効であることが わかった. また, 分野適応の手法を用いて追加学習 することにより，書き言葉 BERT は話し言葉 BERT に分野適応可能なことがわかった. 本研究で作成し た話し言葉 BERT は公開予定である.

## 2 関連研究

BERT は単言語コーパスに対して MLM とNSP と 呼ばれる 2 つの目的関数を用いて事前学習を行って いる. Devlin ら [1] は事前学習した BERT に対して,最終的に解きたいタスクで fine-tuning を行うことで 高い精度が得られることを報告している．入力のあ る単語 $w_{i}$ に対して，いくつかの Transformer Encoder 層を重ね, 最終的に得られた $h_{w_{i}}$ を BERT の単語単位の出力として使用している。また，文頭に [CLS] を入れ, 対応する出力 $h_{[C L S]}$ を文単位の出力とし て使用している。私たちの知る限り，日本語では Wikipedia で事前学習したモデル²), SNS で学習した モデル3)，ビジネス記事で学習したモデル ${ }^{4)}$, 様々な Webテキストで学習したモデル5) が存在している.本研究は，これらの書き言葉データではなく, 発話

表 1 CSJ 5-gram LM に対する PPL

の書き起こしデータで BERT の事前学習を行った.

Tenney ら [4] は BERT の前半の層，つまり 12 層 の場合は 1-6 層が統語的な構造を，後半の層が意味的な情報を扱っていることを報告している。一方 で, Jawahar ら [5] や Hewitt and Manning [6] は BERT 12 層の内，それぞれ 8-9 層と 6-9 層が統語的な特徴 を捉えていると報告している. 本研究では，書き言葉と話し言葉の差は統語的な側面に存在すると考え た. 上記の先行研究を踏まえ，統語的な特徴を捉え ている層のみを追加学習することで話し言葉に向け たBERT の作成を試みた.

Gururangan ら [7] は BERT の派生モデルであ る RoBERTa [8] の分野適応のため, domain-adaptive pretraining (DAPT) と task-adaptive pretraining (TAPT) を提案した. DAPT は事前学習された RoBERTaに 対して，解きたいタスクが属している分野のラべ ルなしデータを用いて追加で事前学習を行う手法 である. TAPT は事前学習された RoBERTa に対し て，解きたいタスクのラベルは使用せず，テキスト データのみを用いて追加で事前学習を行う手法であ る. 本研究は, 話し言葉 BERT 作成に向けて TAPT とDAPTを用いた。

## 3 話し言葉 BERT の学習

## 3.1 Layer-wise Pretraining

本研究では書き言葉と話し言葉の差が統語に存在するという仮説のもと，BERT の学習を行った.具体的には，BERT の一部の層が統語的な学習を 行っていることを踏まえて, 既存の 12 層の書き言葉 BERT の一部の層のみに対して，CSJを用いた MLM と NSP の追加学習 (layer-wise) を行った. 先行研究 $[4,5,6]$ を参考に, 本研究では 1-6 層のみを 学習した場合 (layer-wise ${ }_{[1-6]}$ ) と 8-9 層のみを学習 した場合 (layer-wise ${ }_{[8-9]}$ ) と 6-9 層のみを学習した 場合（layer-wise ${ }_{[6-9]}$ ）を実験している.

## 3.2 DAPT/TAPT Pretraining

本研究では TAPT と DAPTを用いて，書き言葉 で学習された BERTを話し言葉に分野適応する。表 2 データサイズ

TAPT については，CSJを用いて評価を行うことか ら，CSJ のラベルなしデータを用いた MLM と NSP の追加学習を書き言葉 BERT に対して行っている.

本研究は DAPT に向けて，CSJ 以外の発話の書き 起こしデータとして国会議事録6)を用意し，MLM と NSP の追加学習を行っている. 事前実験として，国会議事録は本当に CSJ に近しい分野なのかを確認 した. 具体的には CSJ データから 5-gram 言語モデ ル（LM）を作成，この LM を元に国会議事録のパー プレキシティ（PPL）を計測した。また比較として CSJ LM に対する Wikipedia の PPL も計測している. この比較の際，国会議事録と Wikipedia のデータサ イズはほとんど同じになるように調整している．表 1 が Out-of-Vocabulary（OOV）を含んだ場合，含まな い場合の PPLである.この結果から，少なくとも Wikipedia と比べると国会議事録の方が CSJ に LM の観点では近しいことがわかる。

## 4 実験

本研究では，書き言葉 BERT に対して layer-wise または DAPT/TAPT を用いた話し言葉への分野適応 を行った後に，話し言葉検証タスクを行った.

## 4.1 実験設定

本研究では書き言葉 BERT として Wikipedia で学習された BERT ${ }^{7}$ （Wikipedia BERT）を使用した。ま た，CSJコアデータを評価タスクに，コアデータと 非コアデータ全てを BERT の追加学習に使用した. データサイズを表 2 に示す。単語分割は $\left.\mathrm{MeCab}^{8}\right)$ と WordPiece ${ }^{9 ）}$ [9]を用いている.

layer-wise の学習は，CSJ 全てを用い，バッチサイ ズ 8 で $90 \mathrm{~K}$ ステップ行っている. この時の最大文長 は 512 としている. 詳細は付録 A. 1 に記載した。

DAPT には国会議事録を使用している。DAPT は

DAPT/TAPT については，TAPT512 が最も高い精度だった. TAPT512 に比べると DAPT512 の学習は 精度が低いが, Wikipedia BERT と比べると高い結果 であることがわかる.

重要文抽出 話し言葉の応用的なタスクの 1 つと して，重要文抽出を行う．CSJには各文ごとに重要文かどうかの 2 值のアノテーションが振られてい る. 入力 $x$ が 1 講演で， $x$ 内の各文頭に [CLS]トー クンを付与し, $h_{[C L S]}$ に対して重要文かどうかの 2 值分類を推定する。本研究では Liu and Lapata [13] の BERTを利用した抽出型要約モデルを重要文分類 に利用している。この検証タスクは 5 分割交差検証 を用いており，評価は重要文かどうかについての 2 値分類について，重要文ラベルに対する Precision, Recall，F-measure を用いている.

実験結果を表 3 に示す。係り受け解析や文境界推定の結果と違い, 重要文抽出においては全ての手法 が Wikipedia BERT より高い結果とはならなかった.

layer-wise については layer-wise $_{[\text {all] }}$ と layer-wise ${ }_{[6-9]}$ は Wikipedia BERT より高い結果になっているが，他 の一部の層のみを学習したモデルは低い結果となっ ている。また, layer-wise ${ }_{[a l l]}$ が layer-wise 内で最も高 い精度であることから，重要文抽出では一部の層の みを学習する手法は効果が薄いことがわかる.

DAPT/TAPT については，係り受け解析や文境界推定の結果と異なり，DAPT512 は TAPT512 よ り精度が高い結果となった. また, 最も精度が 高かったのは DAPT128-TAPT512だった. 一方で， DAPT512-TAPT512 は, Wikipedia BERT よりも低い 結果となっている. これらの結果から, 重要文抽出 においてはDAPT と TAPTを組み合わせる手法は有効ではあるが，最大文長のパラメータによって結果 が大きく変わることがわかる.

また，TAPT512 については，学習量が足らないと 考え，TAPT の学習ステップを $20 K$ ではなく, $80 \mathrm{~K} ま$ で $20 \mathrm{~K}$ 刻みで行った。詳細な結果は付録 Bに示し，表 3 では最も高かった TAPT 60K ステップの結果を 記載している。この結果から分かる通り，TAPT512 について，学習量を増やすことでWikipedia BERT よ り高い結果となっている.

## 5 考察

文境界推定は単語の活用，特に終止形を当てる必要があると考えられ，統語を捉える必要があるタス クであると考えられる。この文境界推定や係り受け解析に対しては一部の層のみを学習することの有効性が確認できた. 特に, 前半の層のみを学習した場合は全ての層を学習するより高い精度を出してい る。一方で，文の意味を捉える必要があるタスクで ある，重要文抽出では一部の層のみを学習するアプ ローチは効果が薄い。これは，一部の層のみを学習 するアプローチは統語的な情報は捉えることができ るが，意味的な面ではうまく捉えることができてい ないからだと考えられる．仮に，Teeny ら [4] の主張 の通り，前半の層が統語を，後半の層が意味的な情報を扱っていると考えた場合，後半の層をうまく学習することができれば重要文抽出でも精度が向上す ると考えられる。

係り受け解析や文境界推定ではDAPTよりは TAPT の方が効果があったが，重要文抽出では DAPT の方が有効であり，TAPT は学習量を増やすことで DAPT と TAPT を組み合わせたものと同じくらいの 結果となった. これらの結果から，統語を捉える 必要があるタスクは TAPT だけでも十分ではある が，意味を捉える必要があるタスクだと TAPT はよ り多く学習を行わなければいけないことがわかる.一方で，DAPT と TAPTを組み合わせることでどの タスクでも精度向上が見込める。これは，DAPT と TAPT を連続して行うことで話し言葉分野の様々な データを学習に使用し，タスクに対して頑健なモデ ルができるからではないかと考える。

## 6 おわりに

本研究では，話し言葉 BERT 作成に向けて，一部 の層のみの学習と分野適応の 2 つの手法を用いた. また，CSJ から係り受け解析，文境界推定，重要文抽出といった BERT を用いた 3 つの評価タスクを設計した．実験の結果，BERT の一部の層のみを学習 する手法は統語的なタスクに有効であることがわか り，簡単な分野適応手法で話し言葉モデルを作成で きることがわかった。作成したモデルはそれぞれ日本語話し言葉部分学習 BERT, 日本語話し言葉分野適応 BERT として公開予定である。

## 謝辞

この研究は, 国立国語研究所との共同研究で行っ たものです. 国立国語研究所の浅原正幸様，前川喜久雄様，小磯花絵様には有益な助言をいただき，岡照晃様には研究環境管理などのご支援賜りました。 この場を借りて深く御礼申し上げます。

## 参考文献

[1]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, $¥$ L ukaszKaiser, Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, 第 30巻, pp. 5998-6008. Curran Associates, Inc., 2017.

[3]Kikuo Maekawa. Corpus of spontaneous japanese: Its design and evaluation. In ISCA \& IEEE Workshop on Spontaneous Speech Processing and Recognition, 2003.

[4]Ian Tenney, Dipanjan Das, and Ellie Pavlick. BERT rediscovers the classical NLP pipeline. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4593-4601, Florence, Italy, July 2019. Association for Computational Linguistics.

[5]Ganesh Jawahar, Benoît Sagot, and Djamé Seddah. What does BERT learn about the structure of language? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3651-3657, Florence, Italy, July 2019. Association for Computational Linguistics.

[6]John Hewitt and Christopher D. Manning. A structural probe for finding syntax in word representations. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4129-4138, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7]Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A. Smith. Don't stop pretraining: Adapt language models to domains and tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8342-8360, Online, July 2020. Association for Computational Linguistics.

[8]Y. Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, M. Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. ArXiv, Vol. abs/1907.11692, , 2019.

[9]Mike Schuster and Kaisuke Nakajima. Japanese and korean voice search. In 2012 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 5149-5152. IEEE, 2012.

[10]Zhiyong Wu, Yun Chen, Ben Kao, and Qun Liu. Perturbed masking: Parameter-free probing for analyzing and interpreting BERT. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4166-4176, Online, July 2020. Association for Computational Linguistics.
[11]Dan Klein and Christopher Manning. Corpus-based induction of syntactic structure: Models of dependency and constituency. In Proceedings of the 42nd Annual Meeting of the Association for Computational Linguistics (ACL-04), pp. 478-485, Barcelona, Spain, July 2004.

[12]Roy Schwartz, Omri Abend, Roi Reichart, and Ari Rappoport. Neutralizing linguistically problematic annotations in unsupervised dependency parsing evaluation. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 663-672, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[13]Yang Liu and Mirella Lapata. Text summarization with pretrained encoders. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3730-3740, Hong Kong, China, November 2019. Association for Computational Linguistics.

## A 詳細な実験設定

## A. 1 layer-wise の詳細な実験設定

layer-wise のハイパーパラメータを表 4 に示す.

## A. 2 DAPT/TAPT の詳細な実験設定

DAPT/TAPT のハイパーパラメータを表 5 に示す.

## B TAPT の学習量を増やした際の重要文抽出の結果

TAPT のみの学習ステップ数が $\{20 \mathrm{~K}, 40 \mathrm{~K}, 60 \mathrm{~K}, 80 \mathrm{~K}\}$ の時のモデルを重要文抽出に使用した結果を表 6 に 示す.

表 6 TAPT の学習量を蓋した際の重要文抽出結果


# 学術論文における引用文脈を用いた文献の推薦

生駒流季
名古屋大学大学院情報学研究科
ikoma. tomokieh.mbox.nagoya-u.ac.jp
}

松原茂樹
名古屋大学情報連携推進本部
matubara@nagoya-u.jp

## 1 はじめに

学術論文では文献が引用されるが，引用される文献には,

・文献の著者が自身の研究において参考にした概念やアイデアを提案した文献

・研究の過程において利用したデータやツールな どの研究資源に関する文献
- 自身の研究に関連のある先行研究（関連研究） に関する文献

などがある，参考文献の探索は，発表される文献の増加とともに難しくなっており, その支援に向け, 文献推薦システムが提案されている $[1,2,3,4,5,6,7,8]$.

これまでに提案された文献推薦システムの多く は，入力として利用者が執筆する論文のタイトルや 要旨を受け取り，その論文で引用するのに適した文献を出力として提示する [9].

本稿では，論文における引用文脈を利用する文献推薦手法を提案する. 引用文脈とは，論文において 被引用論文が引用された箇所のテキストを指す. 引用文脈には，引用した論文の著者がその文献を引用 した目的や, 自身の研究との関連性についての記述 が含まれる. 引用文脈を併用することにより，論文 の著者による記述とは異なる観点や，他に引用した 文献との関係を考慮した推薦文献の選定が可能とな る. 医学系論文を対象とした実験により, 引用文脈 を利用することによる推薦性能の向上を確認した.

本稿の 2 章では，本研究において想定する文献推薦の場面設定を説明する. 3 章では，引用文脈を用 いることの利点について記す。 4 章では，提案する 文献推薦システムの構成について述べる. 5 章では 実験の結果を報告する。

## 2 問題の設定

文献推薦の研究は，推薦システムの利用者が執筆 する論文のタイトルや要旨などの情報に対して，そ の論文において引用するのに適した文献を推薦する 研究 $[1,2,3,4]$ と, 論文の本体の一部を入力して, その箇所で引用するのに適した文献を推薦する研究 $[5,6,7,8]$ に大別される. 前者は論文のタイトルと 要旨が完成していて本文を執筆中に利用する状況を 想定し，後者は本文を執筆した利用者が，その部分 の論旨の補強などを目的として文献を探索する状況 を想定する。

本研究は前者を前提とする。すなわち，論文の夕 イトルと要旨を入力とし，その論文において引用す るのに適した文献を出力する。

## 3 引用文脈とその利用

本章では，引用文脈について説明し，本研究にお ける利用方法を記述する。

## 3.1 引用文脈

引用した文献における被引用文献の引用文脈と は，引用した文献の本文中における，被引用文献が 引用された箇所の記述のことである. 本研究では，被引用文献への引用を示す標識 (引用タグ) を含む段落のテキストを引用文脈と定義する。

図 1 に，引用文脈の一例として，引用した文献 [10] における被引用文献 [11] の引用文脈の一部を示 す.この図において，下線を引いた箇所が被引用文献に対応する引用タグである。また，図 2 に，被引用文献の要旨の一部を示す.

引用文脈には，引用した文献の著者がその文献を 引用した目的や，自身の研究との関連性など引用し た文献の著者にとって重要な情報が記述される. 引用文脈中の記述は，被引用文献の内容のうち，引用 した文献において重要な点をまとめたものとして捉 えることができる，図 1 に例示した引用文脈では，
devastating impact on human health and healthcare systems. Take the example of the 1918 influenza pandemic, famously known as the "Spanish flu." It is estimated that this outbreak killed between 17 and 50 million people worldwide.[3,4] Although the case mortality rate with this virus was estimated to be only $3 \%-5 \%$, the virus was highly infectious and infected more than a third of the

図 1 引用した文献 [10] における文献 [11] の引用文脈 (一部)

Abstract

Go to: 『

Mortality estimates of the 1918 influenza pandemic vary considerably, and recent estimates have suggested that there were 50 million to 100 million deaths worldwide. We investigated the global mortality burden using an indirect estimation approach and 2 publicly available data sets: the Human Mortality Database (13 countries) and data extracted from the records of the Statistical Abstract for British India. The all-cause Human Mortality Database

図 2 被引用文献 [11] の要旨 (一部)

COVID-19 と過去に発生した感染症の状況の比較を 目的としてスペイン風邪の記録についての文献を 引用した旨が記述されており，引用目的が示されて いる.

一方，要旨にはその文献の研究の概略や，提案し た手法や概念，実施した実験の結果など，文献の著者がその文献において最も重要と考える情報が記述 される. 図 2 に例示した文献の要旨は，1918 年に発生したスペイン風邪の当時の拡散状況などについて の記録を再考した旨が，研究の概略として記されて いる.

## 3.2 引用文脈の利用

本研究では，引用文脈を入力論文の要旨と組み合 わせて利用する. 先行研究 $[1,2,3,4]$ の文献推薦シ ステムは， 入力論文の要旨と推薦候補文献の要旨を 比較するが，推薦候補文献の要旨のみではその文献 がどのような目的で，どのような点に着目して引用 されたかを考慮した推薦文献の選択ができない.

一方，入力論文の要旨と推薦候補文献の引用文脈 を比較することで，要旨には含まれない内容の記述 を考慮に加えた推薦候補の選択が可能となる. 図 1 および図 2 に示した例では，引用文脈を利用するこ とにより，被引用文献の記述内容が他の感染症の記録との比較に利用できるという点を考慮した上で，推薦文献として選択することができる.

図 3 提案システムの処理の流れ

図 4 推薦候補選択による文献のベクトル化

## 4 提案手法

本研究で提案する推薦システムは，推薦文献の候補を絞り込む段階と，推薦候補文献の中から推薦す る文献を決定する段階を通して文献を推薦する. 図 3 に処理の流れを示す.

## 4.1 推薦候補の選択

推薦候補選択の段階では，入力論文や文献データ ベース中の各文献を，タイトルや要旨の出現語の bag-of-words をもとにべクトル化する. 図 4 にその 概略を示す. 推薦候補選択モデルはタイトルの出現語を処理するための embeddings と要旨の出現語を 処理するための embeddings を学習し，タイトルと要旨のそれぞれについて，出現語の embeddingsの重み 付き和を算出してタイトルベクトルと要旨ベクトル を生成し，それらの重み付き和によってその文献を ベクトル化する.

推薦候補選択のモデルの学習では，引用関係にあ る 2 文献のベクトルの $\cos$ 值が高く，引用関係にな い 2 文献の $\cos$ 値は低くなるように各 embeddings と 各語の重み，タイトルベクトル及び要旨ベクトルの 重みを学習する。推薦候補選択モデルは，タイトル と要旨をもとに入力論文をべクトル化し，データ ベース中の各文献と入力論文のベクトルの $\cos$ 值を 算出して， $\cos$ 值の高い上位一定数の文献と，それ らによって引用されている文献からなる集合を推薦候補文献として出力する.

## 4.2 推薦文献の決定

推薦文献決定の段階では，各推薦候補文献が入力論文での引用にどの程度適しているかを示す推薦度

図 5 推薦文献決定に用いるモデルの構成

を FeedForward により算出し，推薦度が一定の閾値 を上回る文献を推薦文献として出力する. 図 5 にモ デルの構成を示す. 本図において, 入力論文は推薦 システムに入力された文献のタイトルや要旨を指 し，これらは推薦候補選択における入力と同じであ る。また，推薦候補文献は推薦候補選択で選出され た各文献を指す。

文献 [1] で提案された手法は, 以下の各項目を素性値として推薦度を算出し，推薦文献を決定して いる.
- 入力論文と推薦候補文献のタイトルベクトルの $\cos$ 値
- 入力論文と推薦候補文献の要旨ベクトルの $\cos$ 値
- 推薦候補選択モデルで計算された，入力論文・推薦候補文献間の $\cos$ 値
- 推薦候補文献の被引用回数 (FeedForwardへは 被引用回数の対数を入力）
- 入力論文と推薦候補文献のタイトルに共通して 出現する語の重み値の和
- 入力論文と推薦候補文献の要旨に共通して出現 する語の重み値の和

本研究の提案手法では，文献 [1] で採用されてい た素性項目に加え，以下の各項目を素性として利用 する.
- 入力論文の要旨ベクトルと，推薦候補文献の引用文脈ベクトルの $\cos$ 值（引用文脈ベクトルは，推薦候補文献の引用文脈を要旨と同様の方法で ベクトル化したものとする)
- 入力論文の要旨と, 推薦候補文献の引用文脈に 共通して出現する語の重み値の和推薦文献決定モデルにおいて用いるタイトル用 および要旨用の embedding は，推薦候補選択モデル で用いたものとは共通しない，学習では，タイトル 用および要旨用の embeddings と各語の重みに加え, FeedForward 内で用いる各素性値の重みを学習する.

## 5 実験

本章では，文献推薦における引用文脈を利用する ことの効果を検証することを目的とした実験につい て記述する。

## 5.1 データセット

実験には医学系のオープンアクセス文献を集めた PMC Open Access Subset [12]を用いた。約 32 万本の 文献を無作為に抽出し, 文献の発行年で学習・開発・テストデータに分割した. 本実験では，2018 年 までに発行された文献（約 25 万本）を学習データ， 2019 年に発行された文献（約 4.5 万本）を開発デー タ，2020 年に発行された文献（約 2.5 万本）をテス トデータとして用いた.

## 5.2 実験の概要

学習データを用いて，推薦候補選択モデルと，推薦文献決定モデルを，それぞれ 10 エポックで学習 した。選択する推薦候補文献の数を 100 とし，テス トデータ中の各文献を入力して出力された推薦文献と入力論文において引用されていた文献 (参考文献リスト)を比較して，以下の各指標で性能を評価 した.

・適合率: 推薦文献決定モデルによって推薦され た文献のうち，参考文献リストにあるものの 割合
表 1 実験結果

表 2 閾値の設定による性能の比較

- 再現率: 参考文献リストにある文献のうち，推薦文献決定モデルによって推薦されたものの 割合
- $\mathrm{F}$ 値: 適合率と再現率の調和平均

文献 [1] で提案された，引用文脈を用いない文献推薦システムの推薦性能をベースラインとし, 各評価値を比較した. 推薦文献決定における閾値は, ベースラインにおいて最も高い性能が記録された 0.95 と設定した.

## 5.3 実験結果

表 1 亿実験結果を示す. 本研究で提案したシステ ムはいずれの指標でもべースラインを上回ってお り，引用文脈を用いることの有用性が示された。

## 5.4 考察

## 5.4.1 推薦文献決定における閾値の設定

推薦文献決定で各文献を推薦するか否かを決める 閾値と推薦性能の関係を考察するために，閾値の設定を様々に変えて，開発データにおける評価値の変化を観察した．表 2 にその結果を示す。閾値が下が るにつれて推薦される文献数は多くなるため，適合率は下がり再現率は上がっている．F 値では，間値 が 0.9 のときに最も高い評価値が記録された.

## 5.4.2 推薦候補選択における引用文脈の利用

本研究の提案手法では, 引用文脈は推薦文献決定 でのみ利用するものとしている．その一方で，推薦文献決定だけでなく推薦候補選択でも引用文脈を利表 3 引用文脈の利用方法による性能の比較

用する手法も考えられる，そこで，推薦入力論文の 要旨と各候補文献の引用文脈を推薦文献決定時と同様の方法でベクトル化し，両者間の $\cos$ 值を推薦候補選択の素性に追加し, この素性の有無による性能 の変化を観察した。

本考察では推薦の閾値を 0.95 に設定し，引用文脈を使用しない，推薦候補選択でのみ用いる，推薦文献決定でのみ用いる (提案手法)，両方で用いる の 4 つの条件で，開発データにおける評価値を比較 した. その結果を表 3 に示す. 最も高い評価値が記録された条件は，推薦候補選択では引用文脈を用い ず，推薦文献決定でのみ利用する条件であった。ま た，推薦候補選択のみで引用文脈を用いる条件と，両段階で用いる条件で記録された閾値はほぼ同じで あった.この結果は, 引用文脈を二重に考慮するこ との効果は薄いことを示唆する。

## 6 まとめ

本稿では，各候補文献を引用した他文献における 引用文脈を利用して推薦文献を選定する文献推薦シ ステムを提案した。また，医学系論文を対象とした 実験により，引用文脈の利用が推薦性能の向上に貢献することを示した。

今後の課題として，引用文脈の取得のより適切な 方法について検討することを挙げる。本研究では，引用文脈は一律に引用タグを含む段落と定義した。一方，文献 [13] では，引用を含む段落において，被引用文献の内容に言及した範囲を抜き出す手法が提案されている。このような手法を引用文脈の抽出に 適用することで，引用文脈としてより適切な部分の みを用いた文献推薦が可能となると期待される。

## 参考文献

[1]Chandra Bhagavatula, Sergey Feldman, Russell Power, and Waleed Ammar. Content-based citation recommendation. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 238-251. Association for Computational Linguistics, 2018.

[2]Dai, Tao, Cai, Xiaoyan, Pan, Shirui, and Yuan, Sheng. Explore semantic topics and author communities for citation recommendation in bipartite bibliographic network. $J \mathrm{Ambi}$ ent Intell Human Comput, Vol. 9, pp. 957-975, 2018.

[3] Mu, Dejun, Guo, Lantian, Cai, Xiaoyan, and Hao, Fei. Queryfocused personalized citation recommendation with mutually reinforced ranking. IEEE Access, Vol. 6, pp. 3107-3119, 2018.

[4]Guo, Lantian, Cai, Xiaoyan, Hao, Fei, Mu, Dejun, Fang, Changjian, and Yang, Libin. Exploiting fine-grained coauthorship for personalized citation recommendation. IEEE Access, Vol. 5, pp. 12714-12725, 2017.

[5]Yang, Libin, Zheng, Yu, Cai, Xiaoyan, Dai, Hang, Mu, Dejun, Guo, Lantian, and Dai, Tao. A LSTM based model for personalized context-aware citation recommendation. IEEE Access, Vol. 6, pp. 59618-59627, 2018.

[6]Jialong Han, Yan Song, Wayne Xin Zhao, Shuming Shi, and Haisong Zhang. hyperdoc2vec: Distributed representations of hypertext documents. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2384-2394, 2018.

[7]Travis Ebesu and Yi Fang. Neural citation network for context-aware citation recommendation. Association for Computing Machinery, 2017.

[8]Daniel Duma and Ewan Klein. Citation resolution: A method for evaluating context-based citation recommendation systems. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 358-363, 2014.

[9]M.Färber, A. Jatowt. Citation recommendation: approaches and datasets. Int J Digit Libr, Vol. 21, pp. 375-405, 2020.

[10]Khan, G., Sheek-Hussein, M., Al Suwaidi, A. R., Idris, K., and Abu-Zidan, F. M. (2020). Novel coronavirus pandemic: A global health threat. Turkish journal of emergency medicine, 20(2), pp. 55- 62.

[11]Peter Spreeuwenberg, Madelon Kroneman, John Paget. Reassessing the global mortality burden of the 1918 influenza pandemic. American Journal of Epidemiology, Volume 187, Issue 12, 2018, pp. 2561- 2567.

[12]PMC Open Access Subset. https://www.ncbi.nlm.nih.gov/ pmc/tools/openftlist/.

[13]Xinyu Xing, Xiaosheng Fan, and Xiaojun Wan. Automatic generation of citation texts in scholarly papers: A pilot study. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6181-6190. Association for Computational Linguistics, 2020.


# BERT-based Bi-Ranker による文脈を考慮した引用論文推薦

杉本海人†
$\dagger$ 東京大学理学部情報科学科
kaito_sugimoto@is.s.u-tokyo.ac.jp
}

相澤 彰子乵
‡国立情報学研究所
aizawa@nii.ac.jp

## 1 はじめに

学術論文の総数は昨今急速に増大しており [1],引用すべき論文を見つけることが困難になりつつあ る.この問題に対処するべく，引用論文推薦システ ム (citation recommendation system; 以下，論文推薦シ ステム）に関する研究が進められてきた.これは入力として何らかのテキストを与えたときに，その内容を裏付けるような論文を出力するというもので, Google Scholar ${ }^{1 ）}$ のようなキーワードベースの論文検索システムよりも精度の高い推薦が期待される.

論文推薦に対するアプローチは，大域的な論文推薦と局所的な論文推薦の 2 種類に大別される [2].前者はある論文の大域的な情報，すなわち本文や要旨全体などを入力とするのに対し，後者は引用文脈 と呼ばれる一文から数文程度の短い単語列を入力と する．後者は特に，文脈を考慮した論文推薦とも呼 ばれる. 表 1 に例を示す（引用元論文の出典は [3],引用先論文の出典は [4]).

近年，他の自然言語処理のタスクと同様，ニュー ラルネットワークが論文推薦の研究においても広く 用いられるようになっている. しかしながら 2 節で 述べるように， BERT [5]のような Transformer ベー スの言語モデルは十分には活用されていない. そこ で本研究では BERT-based Bi-Ranker と呼ばれるモデ ルを，文脈を考慮した論文推薦において用いる。こ のモデルでは，クエリの引用文脈と推薦する候補の 論文の文章の双方を独立に BERT で埋め込み，候補

表 1 文脈を考慮した論文推薦における入力・出力例 Instead of using the poly-encoder as a trade-off between cross-encoder and bi-encoder, we propose to

入力 train a bi-encoder model with knowledge distillation

(Buciluundefined et al., 2006; [*]) from a crossencoder model to further improve the bi-encoder's performances.

出力 Distilling the knowledge in a neural network (Hinton et al., 2015)

1) https://scholar.google.com/
の論文をコサイン類似度でランク付けする．同種の モデルは既にエンティティリンキングや対話行為予測などのタスクで効果が確認されている $[3,6]$.

2 種類のデータセットを用いた評価実験により，提案手法が近年のニューラルベースの手法よりも推薦精度が高いことを確認した．また，大域的な情報 を追加情報として用いるモデルの有効性も合わせて 検証した。

## 2 関連研究

文脈を考慮した論文推薦手法は $\mathrm{He}$ ら [7] によっ て提案された [2]. Huang ら [8] は Word2Vec [9]のよ うな 2 層のネットワークを構築し, 引用文脈内の単語の埋め込みと引用先論文の埋め込みを同時に取得することで，それらを用いた論文推薦が既存の ニューラルネットワークを用いない手法よりも効果的であることを示した. 以降，より質の高い埋め込 みを得る研究 $[10,11,12]$ や，入力の引用文脈から出力の論文までをネットワークで end-to-end に結びつ ける研究 [13] などが進められてきた。

論文推薦においても BERT [5] を用いた先行研究 は存在するが，改良の余地がある。Jeong ら [14] は BERT と GCN [15] を用いて引用文脈の埋め込みを得 ることで，LSTM ベースの既存手法 [11] に対してス コアの向上を確認したが，この研究では候補の論文 のテキストを活用していない. 一方, Cohan ら [16] は，BERT ベースの論文の埋め込みが様々な論文関連のタスクにおいて有効であることを示したが，こ の手法では引用文脈を入力対象としていないため,文脈を考慮した論文推薦には対応できない． 2 つ 研究は相補的であり, 本研究の提案手法は引用文脈 の埋め込みと候補の論文の埋め込みの双方を活用す るものと位置づけられる。

## 3 提案手法

本研究では，文脈を考慮した論文推薦のための BERT-based Bi-Ranker モデルを提案する.このモデ

図 1 モデルの概要図

ルは Context Encoder と Document Encoder の 2 種類の BERT エンコーダからなる．前者は引用文脈をエン コードし，後者は論文の内容をエンコードする． 2 つのエンコーダはともに学術論文テキストで事前学習が行われた SciBERT [17] で初期化し，訓練データ によって fine-tuningを行う.

## 3.1 通常モデル

モデルの概要を図 1 に示す. 以下の手順にした がって計算を行う。

(a) クエリの引用文脈 $c$ を Context Encoder を用いて ベクトル $\boldsymbol{y}_{\boldsymbol{c}}$ に変換する.

(b) 候補の論文 $d$ を Document Encoderを用いてべク トル $\boldsymbol{y}_{\boldsymbol{d}}$ に変換する.

(c) スコアをコサイン類似度によって計算する。

$
\operatorname{score}(c, d)=\boldsymbol{y}_{\boldsymbol{c}} \cdot \boldsymbol{y}_{\boldsymbol{d}}
$

(a) の詳細について，Context Encoder に入力する引用文脈は，以下のようなトークン列とする。

## [CLS] letxt [CIT] retxt

ここで，lctxt は引用位置の左側の文字列， rctxt は引用位置の右側の文字列を表す. また，[CIT] は引用位置を意味する特殊トークンである. 引用文脈の埋 め込み $\boldsymbol{y}_{\boldsymbol{c}}$ は Context Encoder の [CLS]トークンの位置にあたる最後の隠れ層の出力から得る.

(b) の詳細について, Document Encoder に入力する 論文に関しては，本研究では論文の題目と要旨を入 カソースとして用いる. 入力トークン列は [CLS] title [DOC] abstract とする.ここで， title は題目，abstract は要旨を表す. [DOC] は題目と要旨を分ける特殊トークンである.論文の埋め込み $\boldsymbol{y}_{\boldsymbol{d}}$ は前と同様, Document Encoder の [CLS]トークンの位置の出力から得る.

モデルの訓練時においては，ある引用文脈と対応 する正解ラベルの論文のスコアが，訓練データの同
じバッチ内の他の論文とのスコアよりも高くなるよ う学習する. すなわち, 引用文脈と対応する論文の 組 $n$ 個 $\left(c_{i}, d_{i}\right)(i=1, \ldots, n)$ からなるバッチ内におけ る損失関数を以下のように定める $[3,18]$.

$
L\left(c_{i}, d_{i}\right)=-\operatorname{score}\left(c_{i}, d_{i}\right)+\log \sum_{j=1}^{n} \exp \left(\operatorname{score}\left(c_{i}, d_{j}\right)\right)
$

推論時においては，入力の引用文脈に対して，候補のそれぞれの論文とのスコアを計算し，スコアが 上位の論文から順に推薦を行う。

## 3.2 大域モデル

Medić ら [12] は，文脈を考慮した論文推薦におい て，引用元の論文の題目や要旨のような大域的な情報を用いた大域モデルを提案し，特に引用文脈の長 さが短い場合には推薦の精度が向上することを確認 した. これに倣い，本研究においても引用元の論文 の内容を用いた大域モデルの有効性を検証する.

このモデルにおいては，通常モデルと同様に引用文脈の埋め込み $\boldsymbol{y}_{\boldsymbol{c}}$ を得るだけでなく, 引用元の論文の埋め込み $\boldsymbol{y}_{\boldsymbol{g}}$ を Document Encoder を用いて求め る. 入力形式は候補論文の埋め込み $\boldsymbol{y}_{\boldsymbol{d}}$ を得る場合 と同様である.

引用文脈の埋め込み $\boldsymbol{y}_{\boldsymbol{c}}$ と引用元の論文の埋め込 み $\boldsymbol{y}_{\boldsymbol{g}}$ を足し合わせたものを最終的なクエリの埋め 込み $\boldsymbol{y}_{\boldsymbol{c}}^{\prime}$ とし，スコアを計算する. その他の訓練方法は通常モデルに揃える。

$
\begin{aligned}
\boldsymbol{y}_{\boldsymbol{c}}^{\prime} & =\boldsymbol{y}_{\boldsymbol{c}}+\boldsymbol{y}_{\boldsymbol{g}} \\
\operatorname{score}(c, d) & =\boldsymbol{y}_{\boldsymbol{c}}^{\prime} \cdot \boldsymbol{y}_{\boldsymbol{d}}
\end{aligned}
$

## 4 実験

## 4.1 データセット

## 4.1.1 ACL-ARC

ACL-ARC は自然言語処理分野の論文を収録した データセットである [19]. 本研究では [12] の実験設定に従い，ACL-200 と ACL-600の 2 種類のサブセッ トを用いる．前者は引用文脈として引用位置の前後 600 文字ずつを，後者は 200 文字ずつを抽出したも のである。訓練データ，検証データ，テストデータ のサイズはそれぞれ約 $30 \mathrm{~K} ， 9 \mathrm{~K} ， 10 \mathrm{~K}$ となってい る. また，予測候補の論文の総数は約 $20 K$ である.

## 4.1.2 RefSeer

RefSeer は Web 上に存在する様々な分野の学術記事からなるデータセットである [8]. 訓練データ，検証データ，テストデータのサイズはそれぞれ約 3.5M，125K，127K となっている. また，予測候補 の論文の総数は約 $625 \mathrm{~K}$ である.

## 4.2 ベースライン

## 4.2.1 NCN

Ebesu ら [13] は NCN (Neural Citation Network) とい うモデルを提案した. これは Attention 機構を備え た Encoder-Decoder モデルであり, 引用文脈，引用元の論文の著者名, 引用先の論文の著者名の埋め込 みを連結したものを Encoder 側, 引用先の論文の題目の埋め込みを Decoder 側に与えて学習が行われ る. Ebesu らはこのモデルを RefSeer データセット において評価した。具体的には, 入力の文脈に対し て,まず BM25 [20] で上位 2,048 本の論文を候補と して取得した上で，それらの候補を NCNを用いて Re-ranking した. なお，BM25 の時点で正解ラベル の論文が得られなかった場合は, Re-ranking の候補に 正解ラベルを加えている.

## 4.2.2 SemCon, SemEnh

Medić ら [12] は, 文脈を考慮した論文推薦システ ムのための Semantic module と Bibliographic module を考案した. Semantic module は論文や引用文脈の内容を捕捉するのに対し, Bibliographic module は論文 のメタ情報（引用数等）を考慮する．本研究では内容による推薦に焦点を置くため，Semantic module の みを比較の対象とする。

Semantic module を用いたモデルは特に SemCon と SemEnh の 2 種類に分かれる. SemCon は引用文脈 と候補の引用先論文の内容それぞれの埋め込みを Bi-LSTMを用いて取得し，コサイン類似度を計算す る. SemEnhは大域的な情報を用いて SemConを拡張したモデルである. 具体的には，引用元論文の埋 め込みを別に計算し, 引用文脈の埋め込みと足し合 わせてから，コサイン類似度を計算する。

NCN の場合と同様に, Medić らはこれらのモデル を用いて， RefSeer データセットに対しては BM25 で得られた上位 2,048 本の論文を Re-ranking し, ACL-ARC データセットに対しては上位 2,000 本の 論文を Re-ranking した. $\mathrm{NCN}$ の場合と同様，BM25 の時点で正解ラベルの論文が得られなかった場合 は, Re-ranking の候補に正解ラベルを加えている.

## 4.3 評価手法

先行研究と同様に, 提案した論文推薦システムが 既存の論文の引用をどの程度予測できるかを測定 する. 本研究では, 先行研究に揃えて, 推薦された 予測候補の上位 10 件に対して Recall と MRR (Mean Reciprocal Rank) [21] を計算し，ベースラインの手法 と比較する。

## 4.4 結果

表 2 は，提案手法のスコアを既存研究で報告され た値と比較したものである，比較の上では，既存研究が BM25 で得られた候補にもとづいて値を報告し ていることから，本研究でもこれに従った（候補は [12] と同一のものを用いた). 全てのデータセット において，提案手法がベースラインの手法の値を上
表 4 BERT-based Bi-Ranker モデルによる ACL-200 データセットの予測例（太字が正解ラベルの論文を表す） クエリの引用元論文 Language Identification using Classifier Ensembles

...be some redundancy in the large number of character ngram features and removing these might increase the diversity and thus accuracy of the ensemble using the feature analysis methodology outlined by [*] we analyzed the feature interactions using the training and development set this methodology uses yule's qcoefficient statistic which can be a useful measure of pairwise dependence between two cla...

クエリの引用文脈 BERT-based Bi-Ranker（大域モデル）

BERT-based Bi-Ranker（通常モデル）

1. Language Identification using Classifier Ensembles

1. A Two-level Classifier for Discriminating Similar Languages

2. Measuring Feature Diversity in Native Language Identification

2. A Two-level Classifier for Discriminating Similar Languages

3. Proceedings of the ACL Workshop on Feature Engineering for Machine Learning in Natural Language Processing

3. Using Maximum Entropy Models to Discriminate between Similar Languages and Varieties

4. A Simple Baseline for Discriminating Similar Languages

5. Feature Space Selection and Combination for Native

Language Identification

4. A Simple Baseline for Discriminating Similar Languages

5. The NRC System for Discriminating Similar Languages

クエリの引用元論文 A Computational Approach for Generating Toulmin Model Argumentation ...tween the claim and data one of the aspects of the toulmin model in terms of determining stance クエリの引用文脈ｐrevious work has utilized attack or support claims in user comments as a method for determining stance [*] inspired by hashimoto et al 6's excitatory and inhibitory templates in this work we similarly compose a manual list of promotexy and suppressxy relations and rely on these relations coupled with pos...

BERT-based Bi-Ranker（通常モデル） BERT-based Bi-Ranker（大域モデル）

1. Cats Rule and Dogs Drool!: Classifying Stance in Online Debate

2. Get out the vote: Determining support or opposition from Congressional floor-debate transcripts

3. Recognizing Stances in Ideological On-Line Debates

4. Why are You Taking this Stance? Identifying and Classifying Reasons in Ideological Debates

1. A Computational Approach for Generating Toulmin Model

5. Stance Classification in Online Debates by Recognizing Users' Intentions Argumentation

## 2. Back up your Stance: Recognizing Arguments in Online Discussions

3. Contrasting Opposing Views of News Articles on Contentious Issues

4. Combining Textual Entailment and Argumentation Theory for Supporting Online Debates Interactions

5. Stance Classification in Online Debates by Recognizing Users' Intentions

回っている. また, ACL-600 と ACL-200の結果を比較すると，引用文脈の長さが短い ACL-200 において 大域モデルが効果的であることがわかる.

提案手法の予測例を表 4 に示す. 上段の例におい ては，通常モデルの予測候補の論文は "Feature" と いう単語を含むものが多い. これはクエリの引用文脈の "feature analysis" という部分をより考慮に入れ た結果であると考えられる。これに対し，下段の例 においては，大域モデルの予測候補においてのみ "Arguments" や "Argumentation" という単語が見られ る.これは，クエリの論文が Argumentation に関す る論文であるという大域的な情報が予測に反映され ていると考えられる。

論文推薦システムを実用化する上では，推薦候補 の論文の要旨をテキストとして抽出するのが困難 なケースも考えられる。 そこで，提案手法におい て，論文の要旨を用いず，題目のみを埋め込んだ 場合の性能を調べた. 加えて，両方のエンコーダ をSciBERT ではなく通常の事前学習済み BERT [5] で初期化した場合における性能を調べた. 結果を表
3 に示す。題目のみを情報として用いた場合でも， [12] で報告された BM25 のベースラインのスコアを 大きく上回っていることが分かる. また，BERT で 初期化した場合，題目のみの場合と同程度スコアが 下がってしまうことから，学術論文テキストによる 事前学習の重要性が示唆される.

## 5 おわりに

本研究では，引用文脈と論文の文章の双方を BERT で埋め込んだモデルを提案し，文脈を考慮し た論文推薦タスクにおいて効果を検証した. 今後の 課題として，論文の要旨以外の内容（手法や実験結果など）の埋め込みが推薦に役立つかどうかの検証 や，既知の引用先の論文がある場合にそれを入力と して有効活用する手法の検討などが挙げられる.

## 謝辞

本研究は，JST CREST-20218985 の支援を受けたも のである.

## 参考文献

[1]Mark Ware and Michael Mabe. The stm report: An overview of scientific and scholarly journal publishing. 2015.

[2]Michael Färber and Adam Jatowt. Citation recommendation: approaches and datasets. International Journal on Digital Libraries, Vol. 21, No. 4, p. 375-405, Aug 2020.

[3]Ledell Wu, Fabio Petroni, Martin Josifoski, Sebastian Riedel, and Luke Zettlemoyer. Scalable zero-shot entity linking with dense entity retrieval. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6397-6407, Online, November 2020. Association for Computational Linguistics.

[4]Geoffrey Hinton, Oriol Vinyals, and Jeffrey Dean. Distilling the knowledge in a neural network. In NIPS Deep Learning and Representation Learning Workshop, 2015.

[5]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6]Jack Urbanek, Angela Fan, Siddharth Karamcheti, Saachi Jain, Samuel Humeau, Emily Dinan, Tim Rocktäschel, Douwe Kiela, Arthur Szlam, and Jason Weston. Learning to speak and act in a fantasy text adventure game. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 673-683, Hong Kong, China, November 2019. Association for Computational Linguistics.

[7]Qi He, Jian Pei, Daniel Kifer, Prasenjit Mitra, and Lee Giles. Context-aware citation recommendation. In Proceedings of the 19th international conference on World wide web, pp. 421-430, 2010.

[8]Wenyi Huang, Zhaohui Wu, Chen Liang, Prasenjit Mitra, and $\mathrm{C}$ Giles. A neural probabilistic model for context based citation recommendation. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 29, 2015.

[9]Tomás Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In Yoshua Bengio and Yann LeCun, editors, 1st International Conference on Learning Representations, ICLR 2013, Scottsdale, Arizona, USA, May 2-4, 2013, Workshop Track Proceedings, 2013.

[10]Jialong Han, Yan Song, Wayne Xin Zhao, Shuming Shi, and Haisong Zhang. hyperdoc2vec: Distributed representations of hypertext documents. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2384-2394, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[11]L. Yang, Y. Zheng, X. Cai, H. Dai, D. Mu, L. Guo, and T. Dai. A lstm based model for personalized context-aware citation recommendation. IEEE Access, Vol. 6, pp. 59618-59627, 2018.

[12]Zoran Medić and Jan Snajder. Improved local citation rec- ommendation based on context enhanced with global information. In Proceedings of the First Workshop on Scholarly Document Processing, pp. 97-103, Online, November 2020. Association for Computational Linguistics.

[13]Travis Ebesu and Yi Fang. Neural citation network for context-aware citation recommendation. In Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR '17, p. 1093-1096, New York, NY, USA, 2017. Association for Computing Machinery.

[14]Chanwoo Jeong, Sion Jang, Eunjeong L. Park, and Sungchul Choi. A context-aware citation recommendation model with BERT and graph convolutional networks. Scientometrics, Vol. 124, No. 3, pp. 1907-1922, 2020.

[15]Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. CoRR, Vol. abs/1609.02907, , 2016.

[16]Arman Cohan, Sergey Feldman, Iz Beltagy, Doug Downey, and Daniel Weld. SPECTER: Document-level representation learning using citation-informed transformers. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2270-2282, Online, July 2020. Association for Computational Linguistics.

[17]Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, Hong Kong, China, November 2019. Association for Computational Linguistics.

[18]Samuel Humeau, Kurt Shuster, Marie-Anne Lachaux, and Jason Weston. Poly-encoders: Architectures and pre-training strategies for fast and accurate multi-sentence scoring. In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net, 2020.

[19]Steven Bird, Robert Dale, Bonnie Dorr, Bryan Gibson, Mark Joseph, Min-Yen Kan, Dongwon Lee, Brett Powley, Dragomir Radev, and Yee Fan Tan. The ACL Anthology reference corpus: A reference dataset for bibliographic research in computational linguistics. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Morocco, May 2008. European Language Resources Association (ELRA).

[20]Stephen Robertson and Hugo Zaragoza. The probabilistic relevance framework: BM25 and beyond. Now Publishers Inc, 2009.

[21]Ellen M. Voorhees. The TREC-8 question answering track report. In Ellen M. Voorhees and Donna K. Harman, editors, Proceedings of The Eighth Text REtrieval Conference, TREC 1999, Gaithersburg, Maryland, USA, November 17-19, 1999, Vol. 500-246 of NIST Special Publication. National Institute of Standards and Technology (NIST), 1999.


# 日本語の読みやすさに対する 情報量に基づいた統一的な解釈

栗林樹生 ${ }^{1,2}$ 大関洋平 3,4 伊藤拓海 ${ }^{1,2}$ 吉田遼 3 浅原正幸 5 乾健太郎 1,4 1 東北大学 ${ }^{2}$ Langsmith 株式会社 3 東京大学 4 理化学研究所 5 国立国語研究所 \{kuribayashi, t-ito, inui\}@ecei.tohoku.ac.jp \{oseki, yoshiryo0617\}@g.ecc.u-tokyo.ac.jp, masayu-a@ninjal.ac.jp
## 1 はじめに

読みやすい文章とはどのようなものだろうか？文章を書いて情報伝達をする全てのヒトに関わる問い である. 本研究では，「読む」というヒトの情報処理のモデルについてモデルが何を計算しているかと いうレベルで理解し，文章の読みやすさについて洞察を得ることを目指す。

## 1.1 背景

英語では，特に言語モデルによって計算される サプライザル $(-\log p($ 単語や文| 先行文脈 $))$ が単語や文の逐次的な処理負荷をうまくモデリングで きるというコーパス全体の傾向が報告されてき た $[1,2,3,4,5,6,7,8]$. ヒトは続きを予測しながら文章を読んでおり，予想と異なる情報が登場する（サ プライザルが高くなる）と処理負荷が高まる（例え ば，読み時間が長くなる）というサプライザル理論に基づく $[9,10]$. 一方日本語では，近年読み時間 データ（BCCWJ-EyeTrack）が整備され [11], 日本語 の逐次的な読みやすさについて探索的な分析が行わ れてきた $[11,12,13,14]$. 例えば「係り元が先行文脈に多く存在する文節が読みやすい」 [11]，「聞き 手にとって既知と想定される情報は読みやすい」と いった記述がされてきた [14]. これらの記述は, ヒ トの文処理モデル解明の手がかりとなるだけでな く，読みやすい文章を書く上での知見としても役立 つ可能性がある．しかしながら，これらの個別の記述間の共通点については定かでなく, 新たな傾向の 探索は依然困難である。

## 1.2 仮説と検証結果

サプライザル理論に基づき，BCCWJ-EyeTrack に おいて記述的研究で得られてきた日本語読み時間に

図 1 ヒトの読み時間と言語モデルから得られるサプライ ザルの傾向の比較の概要.

関する傾向が，サプライザルが大きいところで読み にくくなるという傾向として統一的に解釈できると いう仮説を立てる。この仮説が支持されれば，読み 時間に対する個別の観察間に繋がりが生まれ，例え ば観測の難しいヒトに現れる現象（読み時間の変化 など）ではなく文章に付与されたサプライザルを分析することで，読みやすさの傾向に関する新たな記述に繋がる可能性がある。このような記述は，サプ ライザルが大きいところで読みにくくなるといった 実際のライティングに適用しにくい知見を噛み砕い たものとして有益であると考える。また「なぜある 言語現象が読み時間に影響を与えるのか」といった ヒトに対する現象個別の科学的な問いが「なぜサプ ライザルがヒトの読み時間に影響を与えるのか」と いうヒトに対する一般的な問いと「なぜその言語現象がコーパス上の確率に影響を与えるのか」という データで検証しやすい問いに整理される。さらに， サプライザル理論については英語コーパス上での検証が中心であり，日本語における本理論の一般性に ついても示唆を与える. 加えて，工学的応用として 言語モデルを文章の逐次的な読みやすさの評価に用 いる妥当性の検証にも繋がる。

Transformer 自己回帰言語モデルを用いた実験よ り，少なくとも BCCWJ-EyeTrack 上で報告されて きた統語から談話レベルに及ぶ読み時間の様々な
傾向についてはサプライザル上でも概ね再現され た. すなわち，個別の記述が情報量の観点から統一的に解釈できることが支持された。またヒトは 先を予想しながら文章を読んでおり，予想できな い情報が現れると読み負荷が大きくなるというサ プライザル理論の言語横断的な一般性も支持され た. 最後に読み時間とサプライザルの相違点につ いて分析し, 特に PPL の低い言語モデルで，ヒト の読み時間で得られていた特定の観察が極端なバ イアスとして観測される傾向を報告する. 本研究 で BCCWJ-EyeTrack に対して付与したサプライザル データ（BCCWJ-UniSeqLM）は公開する1).

## 2 実験設定

## 2.1 言語モデル

文章レベルの left-to-right 言語モデルを訓練 した. 入力はサブワードに分割した2)。読み 時間は文節ごとに付与されており, 長さ $N$ の文 $w_{1: N}=\left(w_{1}, w_{2}, \cdots, w_{N}\right)$ 内の長さ $T$ の文節 $\left.b=w_{k: k+T}(1<k \leq k+T \leq N)^{3}\right)$ について,文節を構成するサブワードの同時確率のサ プライザル $-\log _{2} p\left(w_{k}, \cdots, w_{k+T} \mid w_{1}, \cdots, w_{k-1}\right)=$ - $\sum_{i=k}^{k+T} \log _{2} p\left(w_{i} \mid w_{1}, \cdots, w_{i-1}\right)$ を計算した。八イ パーパラメータや学習データ量に関しては予備分析を行い，PPLが最も低い設定（LMPPL）と，サ プライザルによってヒトの読み時間を最もうまくモ デリングできた設定（LMPSY）の 2 種類を実験に用 いる4)。予備分析については付録に記載する。

## 2.2 サプライザルのモデリング

それぞれの言語モデルを用いて BCCWJ-EyeTrack 上の各文節にサプライザルを付与し, 既存研究 $[12,13,14]$ でヒトの読み時間に対して行われてい た分析を，被説明変数を読み時間からサプライザル に置き換えて実施した，具体的には，既存研究に従 い下式の右辺に分析ごとに興味の対象となる説明変数（例えば統語範疇ラベルなど）を加えてサプライ

1) https://github.com/kuribayashi4/BCCWJ-UniSeqLM

2) mecab [15] と unidic で国語研短単位に分割した後，バイト 対符号化を用いてさらに分割した（character coverage $=0.9995$, vocab size $=100000)$.

3） BOSトークン $\left(w_{1}\right)$ の存在から，文節は $w_{2}$ 以降から始まる. 4） 学習データは新聞記事と日本語 Wikipedia（1.4G サブワー ド）から成り, $\mathrm{LM}_{\mathrm{PPL}}$ の学習にはすべてのデータを, $\mathrm{LM}_{\mathrm{PSY}}$ で は 1/10 の学習データを使った。また， L $M_{P P L}$ に対して LM $M_{P S Y}$ は $1 / 100$ のアップデート回数で訓練され，およそ $1 / 10$ のパラ メータ数である.
ザルをモデリングし，回帰係数の傾向を分析した：

$
\begin{aligned}
\text { surprisal } & \sim \text { length }+ \text { BOS }+ \text { EOS }+ \text { pre_EOS }+ \text { sentN } \\
& + \text { tokenN }+(1 \mid \text { article })+(1 \mid \text { seed }) .
\end{aligned}
$

各言語モデルについて異なるシードで 3 つのモデル を学習し, 記事 ID と言語モデルのシードを変量因子として扱った. 回帰モデルには一般化線形混合モ デルを用いた.

スペースの都合上，実験ではサプライザルをモ デリングした結果の回帰係数の符号および，係数 が 0 であるという対立仮説に対する $\mathrm{p}$ 値 ( $\mathrm{p} \mathrm{p}<0.1$; ${ }^{* *} \mathrm{p}<0.05 ;{ }^{* * *} \mathrm{p}<0.01 ）$ を報告する. また分析に応じ $\tau$ ，係数同士の大小関係も補助的に報告する5）（結果の表中で 背景色を灰色にして 記載する)。またヒ トの読み時間についても，式 1 の被説明変数を読み 時間に置き換えて同様の検証を行い，サプライザル をモデリングした場合と係数の傾向を比較する．読 み時間としては，視線走査法により計測された対数注視時間（first pass time, FPT）と自己ペース読文法 により計測された対数読み時間（SELF）を用いた $[11]^{6)}$.いずれの分析においても，読み時間が 0 で あるか 3 標準偏差を超えるデータポイントはあら かじめ除外し, 被説明変数を標準化した. 最終的に 13,148 のデータポイントを用いた.

## 3 実験

## 3.1 統語・意味範疇

コーパス中の各文節には，統語範疇ラベル（体，用，相の類など）と意味範疇ラベル（関係，主体，活動，生産物，自然の部門など）が付与されており， （i）読み時間が体の類>相の類>用の類となる傾向, （ii）関係の部門の読み時間が短くなる傾向が報告さ れている [12]. 既存研究に従い各文節の統語・意味範疇のラベルを式 1 の右辺に固定因子として追加 し，サプライザル・読み時間をモデリングした。

ヒトのFPT, SELF と, LM $\mathrm{LPPL}_{\mathrm{PPL}}, \mathrm{LM}_{\mathrm{PSY}}$ から得られ たサプライザルについて，回帰係数の一部を表 1 に 示す. 例えば「用（v.s. 体)」の行ではヒトと言語モ デルいずれにおいても符号が負であることより，体 の類よりも用の類に分類される文節の方がサプライ
, \mathrm{B}$ に対 する回帰係数の推定量の差 $\left|\alpha_{A}-\alpha_{B}\right|$ が， $\alpha_{A}$ と $\alpha_{B}$ のいずれ においても $90 \%(*), 95 \%(* *)$, $99 \%$ (***) 信頼区間を超え るかで判断する

6）式 1 の被説明変数を読み時間に置き換え，スクリーン上の 表示位置などの説明変数を加えた．詳細は付録に記述する。
}
表 1 読み時間・サプライザルと，意味・統語範疇の関係. 係数の差については背景色を灰色にする。

} & 用 (vs. 体) & $-* * *$ & $-^{* * *}$ & $-* * *$ & $-* * *$ \\

表 2 読み時間・サプライザルと anti-locality 効果.

ザルが小さく，読み時間も短くなる傾向にあること が分かる．統語範疇においては，読み時間とサプラ イザルいずれも体の類>相の類>用の類の順に小さく なるという一貫した傾向がみられた。意味範疇にお いては，関係の部門の読み時間が短くなるという読 み時間の傾向が $\mathrm{LM}_{\mathrm{PSY}}$ で概ね再現された。

## 3.2 統語構造

日本語をはじめとする主辞後置言語では，先行文脈に係り元が多く存在するほど読み時間が短くなる anti-locality 効果が報告されている [16,17]. 例えば 下の例では，「買った」の係り元は 2 つ存在し「バッ グを」については 1 つ存在するため，「買った」の方 が読み時間が短くなるという効果である。

(2)

式 1 の右辺に，先行文脈に存在する文節の係り元数 を固定因子として加え，サプライザルと読み時間を モデリングした. 表 2 より, 係り元数に対する係数 が有意に負であることから，読み時間とサプライザ ルいずれにおいても係り元数が多くなるほど処理負荷が低くなるという anti-locality 効果が確認された.本結果はサプライザル理論が anti-locality 効果を説明できるとする予想 [10] を支持する.

## 3.3 節境界

英語では節末で読み時間が長くなる wrap-up 効果 が報告されているが $[18,19]$, 日本語では wrap-up 効果が生じないという報告がされてきた [13]. 式1の表 3 読み時間・サプライザルと wrap-up 効果.

右辺に，文節が節末に存在するかという固定因子 を加え，サプライザルと読み時間をモデリングし た. 表 3 より，節末に配置される文節はサプライザ ルが小さいため読みやすく，読み時間においても wrap-up 効果が生じないことが示唆された.

さらに読み時間では，節の種類によって節末の読 み時間の傾向が異なることが報告されてきた [13].例えば，（i）内容節（節内の述語と係り先の語とに述語項関係がない）よりも，補足語修飾節（節内の述語と係り先の語とに述語項関係がある）の方が節末 の読み時間が短い，（ii）引用節よりも名詞節の方が 読み時間が短いといった傾向が観察されている. 式 1 の右辺に，文節が属する節の種類を固定因子とし て加えモデリングした結果を表 3 に示す。傾向（i)， (ii) についてサプライザルでも同様の傾向が観察さ れ，節末ごとのサプライザルの大小の傾向の違いに 起因する読み時間の差であることが示唆された。

## 3.4 情報構造

情報構造と日本語の読み時間を照らし合わせた 分析が行われてきた [20,14]. 既存研究 [14] に従い，情報構造に直接的・間接的に関わる，(i）書き手の 立場で考える情報の新旧（情報状態），(ii）読み手 の立場も含めて考える共有性，(iii）指示対象を聞き 手が同定できるかを示す定性，（iv）対象が生きてい るかを示す有生性の 4 つの観点で分析を行う．英語 など冠詞が存在する言語と比べて日本語では情報の 性質の表出が少なく, 文章に表出されない情報構造 によるバイアスがサプライザルに現れるかは，言語 モデルの分析という観点でも興味深い.

既存研究に従い，式 1 の右辺に情報状態，共有性,定性，有生性に対応する固定因子を同時に加え，サ プライザルと読み時間をモデリングした。表 5 よ り，SELF や既存研究で示されていた（i）新情報よ り旧情報の方が読みやすい（情報状態における新情報>旧情報)，（ii）聞き手と共有できている情報のほ うが読みやすい（共有性における非共有>想定可能>
表 5 読み時間・サプライザルと情報構造の関係. 係数の 差については背景色を灰色にする。

PPL
- 係り元数 : is_Im

新情報: is_Im

$\checkmark$ 旧情報: is_Im

非共有: is_Im

太想定可能 : is_Im

共有: is_Im図 2 言語モデルの PPLと，その言語モデルから得られ たサプライザルを用いてサブグループ解析をした際の各交互作用項に対する回帰係数との関係.

共有)，(iii）定名詞句よりも不定名詞句の方が読み やすい，（iv）有生名詞句よりも無生名詞句の方が読 みやすいといった傾向が，特に L $M_{P P L}$ で示された.

## 4 読み時間とサプライザルの相違点

最後に，ある因子がサプライザルと読み時間に与 える影響の差について交互作用の解析を通して調査 する．具体的には，サプライザルと読み時間を言語 モデルとヒトという異なるグループから得られた 「読み負荷」という同一の変数とみなし，読み負荷 に対して回帰を行う. 本研究では, 既存研究で典型的に分析される FPTを用いた。なお，読み時間とサ プライザルはそれぞれあらかじめ平均 0 ，分散 1 に 標準化している．説明変数として「言語モデルから 得られた読み負荷であるか」（is_lm）という二値素性（言語モデルであれば 1 ，ヒトであれば 0 ）を追加 し, さらに式 1 の右辺や分析の対象となる各固定因子それぞれについてis_lm との交互作用項を追加す
る. ある因子 A と is_lm の交互作用項に対する係数 $\left(\alpha_{\text {A:is_lm }}\right)$ は，因子 A が被説明変数に与える影響が，言語モデルグループとヒトグループでどう異なるか を意味する．例えば $\alpha_{\text {A*is_lm }}$ が有意に 0 より大きい 場合は，ヒトよりも言語モデルに対して因子 A の与 える影響が，因子 A の値が大きくなることで読み負荷が増大する方向に大きいことを表す．3節の分析 で用いたそれぞれの固定因子について，is_lm との 交互作用を分析した。また訓練設定が異なる 111 の 言語モデルについてそれぞれ分析を行い，言語モデ ルの PPL と交互作用の関係を見る（詳細は付録へ).

特に顕著な傾向が見られた（i）係り元数（antilocality 効果)，（ii）情報状態，（iii）共有性に対応す る固定因子について，is_lm との交互作用項の傾向 を報告する（図 2），各プロットが，各言語モデルを 用いた実験結果（交互作用項の係数）に対応し，横軸が実験で用いた言語モデルの PPL，縦軸が係数の 值である。係り元数，情報状態，共有性いずれにお いても PPL が低くなるほど係数が 0 から離れてい き，読み時間において観察されていた傾向が過剩に 示される方向（anti-localityを支持，新情報>旧情報，非共有>想定可能>共有）にヒトから逸脱していく傾向が見られた. サプライザルで観察されたバイアス からヒトの読み負荷に対して洞察を得る場合，バイ アスの大きさについてはサプライザル上で誇張され ている可能性があるが，バイアスの方向（ある現象 が処理負荷を増加させるか低下させるか）について は洞察を得られる可能性が示唆された。

## 5 おわりに

日本語の読み時間について探索的な分析から記述 されてきた傾向について，情報量に基づいて統一的 に解釈できるという仮説を立てた．統語から談話レ ベルの観点において，読み時間とサプライザルの間 に様々な共通点が観察され，仮説が支持された。よ り大規模なデータに基づいた調査 ${ }^{7)}$ や，脳活動デー タなどを用いた調査も視野に入れたい.

謝辞. 本研究は JSPS 科研費 JP20J22697, 19H04990 の助成を受けたものです.また，国立国語研究所共同研究プロジェクト「大規模コーパス を利用した言語処理の計算心理言語学的研究」の支援を受けたものです.

7）特に述語項構造・共参照との関係については，データポイ ントの少なさから今後の検証課題とした.

## 参考文献

[1]Stefan L. Frank and Rens Bod. Insensitivity of the Human Sentence-Processing System to Hierarchical Structure. Journal of Psychological Science, Vol. 22, No. 6, pp. 829-834, 2011.

[2]Victoria Fossum and Roger Levy. Sequential vs. Hierarchical Syntactic Models of Human Incremental Sentence Processing. In Proceedings of CMCL, pp. 61-69, Montréal, Canada, 6 2012. Association for Computational Linguistics.

[3]Tal Linzen. What can linguistics and deep learning contribute to each other? Journal of Language, Vol. 95, No. 1, pp. 99-108, 2019.

[4]Adam Goodkind and Klinton Bicknell. Predictive power of word surprisal for reading times is a linear function of language model quality. In Proceedings of CMCL2018, pp. 10-18, 2018.

[5]Christoph Aurnhammer and Stefan Frank. Comparing gated and simple recurrent neural network architectures as models of human sentence processing. In Proceedings of the 41 st Annual Conference of the Cognitive Science Society, pp. 112-118, 2019.

[6]Ethan Gotlieb Wilcox, Jon Gauthier, Jennifer Hu, Peng Qian, and Roger Levy. On the Predictive Power of Neural Language Models for Human Real-Time Comprehension Behavior. In Proceedings of $\mathrm{CogSci}$, pp. 1707-1713, 2020.

[7]Danny Merkx and Stefan L. Frank. Comparing Transformers and RNNs on predicting human sentence processing data. arXiv preprint arXiv:2005.09471,2020, 2020.

[8]Martin Schrimpf, Idan Blank, Greta Tuckute, Carina Kauf, Eghbal A Hosseini, Nancy Kanwisher, Joshua Tenenbaum, and Evelina Fedorenko. The neural architecture of language: Integrative reverseengineering converges on a model for predictive processing. bioRxiv, 2020.

[9]John Hale. A Probabilistic Earley Parser as a Psycholinguistic Model. In Proceedings of NAACL, pp. 159-166, 2001.

[10]Roger Levy. Expectation-based syntactic comprehension. Journal of Cognition, Vol. 106, No. 3, pp. 11261177,2008 .

[11]Masayuki Asahara, Hajime Ono, and Edson T
Miyamoto. Reading-Time Annotations for "Balanced Corpus of Contemporary Written Japanese". In Proceedings of COLING, pp. 684-694, 2016.

[12]Masayuki Asahara and Sachi Kato. Between Reading Time and Syntactic / Semantic Categories. In Proceedings of IJCNLP, pp. 404-412, 2017.

[13]Masayuki Asahara. Between reading time and clause boundaries in Japanese - wrap-up effect in a head-final language. In Proceedings of PACLIC, pp. 19-27, 2018.

[14]Masayuki Asahara. Between Reading Time and the Information Status of Noun Phrases. Natural Language Processing, Vol. 25, No. 5, pp. 527-554, 2018.

[15]Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer. http://mecab. sourceforge. jp, 2006.

[16]Lars Konieczny. Locality and parsing complexity. Journal of Psycholinguistic Research, Vol. 29, No. 6, pp. 627-645, 2000.

[17]Shodai Uchida, E Miyamoto, Yuki Hirose, Yuki Kobayashi, and Takane Ito. An ERP study of parsing and memory load in Japanese sentence processing - A comparison between left-corner parsing and the Dependency Locality Theory. Technical report of IEICE. Thought and language, Vol. 114, pp. 101-106, 2014.

[18]Marcel A. Just and Patricia A. Carpenter. A theory of reading: From eye fixations to comprehension. Journal of Psychological Review, 1980.

[19]Keith Rayner, Gretchen Kambe, and Susan A. Duffy. The Effect of Clause Wrap-Up on Eye Movements during Reading. Quarterly Journal of Experimental Psychology Section A: Human Experimental Psychology, Vol. 53, No. 4, pp. 1061-1080, 2000.

[20]Masayuki Asahara. Between reading time and information structure. In Proceedings of PACLIC, pp. 1524, 2017.
表 6 本実験で用いた素性.

 \\

## A 素性

本実験で用いた素性を表 6 亿示す.なおヒトに対する読み時間測定の際文末に改行を加えているため，例えば is_first は「文頭である」か「文が長く画面上で改行が生じた際の改行後の文節」で発火する素性である. (is_first, is_last, is_second_last) につ いて，画面上での改行を考慮しない素性が（BOS, EOS, pre_EOS） であり，ヒトの読み時間のモデリングの際には前者を，言語モ デルのサプライザルのモデリングの際には後者を用いた。（lineN, segmentN）と（sentN, tokenN）についても，画面上での改行を考慮するかしないかの違いである. 画面呈示順など読み時間測定纪関わる素性は，既存研究でより詳細に記述されている [11].

## B言語モデルの設定

アーキテクチャ (400M パラメータの) Transformer, $55 \mathrm{M}$ パラ メータの Transformer, LSTM), 学習データサイズ (1.4G, 140M, $14 \mathrm{M}$ サブワード） パラメータアップデート回数 $(100 \mathrm{~K}, 10 \mathrm{~K}$, $1 \mathrm{~K} ， 0.1 \mathrm{~K} ）$ の異なるニューラル言語モデルを学習し， PPLが最も 低くなる設定とヒトの読み時間をサプライザルによってうまく モデリングできる設定の二種類を採用した．ヒトの読み時間の モデリングには, 本文の実験と同様にコーパス中の 13,148 デー タポイントを使用し，以下の式によってモデリングした：

$
\begin{aligned}
\log (\mathrm{RT}) & \sim \text { surprisal + freq + length + prev_freq } \\
& + \text { prev_length }+ \text { is_first }+ \text { is_last } \\
& + \text { is_second_last }+ \text { screenN }+ \text { lineN } \\
& + \text { segmentN }+(1 \mid \text { article })+(1 \mid \text { subj }) .
\end{aligned}
$

読み時間データに対する対数尤度で言語モデルの読み時間に対 するモデリング能力を評価した。学習率や最適化アルゴリズム などその他のパラメータについては fairseq のデフォルト設定を 使用した.

## C 回帰式

各実験における回帰式を記述する。

## C. 1 統語範疇, 意味範疇 (3.1 節)

$
\begin{aligned}
\text { surprisal } & \sim \text { WLSPLUWA + WLSPLUWB + length }+ \text { BOS + EOS + pre_EOS } \\
& + \text { sentN + tokenN + anti_locality }+(1 \mid \text { article }) \\
& +(1 \mid \text { seed }) . \\
\log (\mathrm{RT}) & \sim \text { WLSPLUWA }+ \text { WLSPLUWB + length }+ \text { is_first } \\
& + \text { is_last }+ \text { is_second_last }+ \text { screenN }+ \text { lineN }+ \text { segmentN } \\
& + \text { anti_locality }+(1 \mid \text { article })+(1 \mid \text { subj }) .
\end{aligned}
$

## C. 2 統語構造（3.2 節）

surprisal $\sim$ anti_locality + length + BOS + EOS + pre_EOS + sentN

$
+ \text { tokenN }+(1 \mid \text { article })+(1 \mid \text { seed }) .
$

$\log (\mathrm{RT}) \sim$ anti_locality + length + is_first + is_last + is_second_last + screenN + lineN + segment $N$ $+(1 \mid$ article $)+(1 \mid$ subj $)$

## C. 3 節境界（3.3 節）

wrap-up 効果については以下の式でモデリングし，いずれの節 （CLMHST，CLMMST，CLMFUT，CLMHRT）でも回帰係数が有意に負で あった.

surprisal $\sim$ CLMHST + CLMMST + CLMFUT + CLMHRT + length + BOS + EOS

+ pre_EOS + sentN + tokenN + anti_locality + (1|article $)$

$+(1 \mid$ seed $)$

$\log (\mathrm{RT}) \sim$ CLMHST + CLMMST + CLMFUT + CLMHRT + length + is_first

+ is_last + is_second_last + screenN + lineN + segmentN

+ anti_locality + (1|article) + (1|subj) .

節の種類による違いについては, 以下の式でモデリングした：

surprisal $\sim$ CLMHSL + CLMMSL + CLMFUL + CLMHRL + length + BOS + EOS

+ pre_EOS + sentN + tokenN + anti_locality + (1|article $)$

$+(1 \mid$ seed $)$

$\log (\mathrm{RT}) \sim$ CLMHSL + CLMMSL + CLMFUL + CLMHRL + length + is_first

+ is_last + is_second_last + screenN + lineN + segmentN

+ anti_locality + (1|article $)+(1 \mid$ subj $)$.

## C. 4 情報構造（3.4 節）

surprisal $\sim$ infostatus + definiteness + animacy + commonness

$
\begin{aligned}
& + \text { length }+ \text { BOS }+ \text { EOS }+ \text { pre_EOS }+ \text { sentN }+ \text { tokenN } \\
& + \text { anti_locality }+(1 \mid \text { article })+(1 \mid \text { seed }) .
\end{aligned}
$

$\log (\mathrm{RT}) \sim$ infostatus + definiteness + animacy + commonness

+ length + is_first + is_last + is_second_last + screenN

+ lineN + segmentN + anti_locality + (1|article $)+(1 \mid$ subj $)$.

## C. 5 交互作用の解析

reading_effort $\sim$ freq*is_lm + length $* i s_{-} l m+$ prev_freq*is_lm

$
\begin{aligned}
& + \text { prev_length*is_lm }+ \text { BOS*is_lm }+ \text { EOS*is_lm } \\
& + \text { pre_EOS*is_lm + sentN*is_lm + tokenN*is_lm } \\
& \text { +anti_locality*is_lm + (1|article })+(1 \mid \text { subj_seed })
\end{aligned}
$

$A * B$ は $A ， B$ という固定因子と，A と B の交互作用 $A: B$ を加えるこ とを意味する。分析の対象とする各素性 Z について，上式の説明変数に Z*is_lmを加え，Z:is_lm に対する回帰係数を分析した.


# 英米文学の原書書評に基づく日本語訳本の売上予測

DENGJUNFU 掛谷英紀
筑波大学システム情報工学研究科
s1920870@u.tsukuba.ac.jp kake@iit.tsukuba.ac.jp

## 1 はじめに

日本の出版業界の市場規模が 1997 年から年々縮小し、「出版不況」といわれる長期低迷の状況に陥つ ている[1]。その影響を受け、書店と印刷業全体が右肩下がりになり [2]、印税収入に依存する出版翻訳業者も厳しい境地に晒されている[3]。

出版翻訳には、海外で出版された書籍の情報を収集する「原書探し」や、作品の内容を要約し編集会議で吟味する作業などが必要であった[4]。海外書評 サイトでの書籍概要とユーザーレビューなどの既存情報を活用し、日本で売れるパターンとそうでない パターンを把握できれば、刊行までの時間が大幅に 短縮し、出版のリスクも低減すると予想される。

近年、書評を対象とした分類研究が盛んに行われ ている。例えば、橋本ら[5]が最大エントロピー法を 用いたイデオロギー分析や、掛谷ら[6]がアマゾンの ユーザーレビューに基づいた先見性の分析、樋口ら [7]が書評を用いた政治的見解の異なる人物像の特徵分析などがある。

本研究では既存の分類モデルを参考し、和訳され た英米文学作品の売れ行きを予測するシステムの実現を目的とする。具体的には、紀伊国屋書店 [8]で掲載された英米文学作品を対象に、海外最大級の書評 サイト GoodReads[9]の情報から対象作品が日本で売 れるかどうかを分類するモデルを構築する。その上、売れる・売れない作品の特徴を分析する。

## 2 提案システム

提案システムの全体構成を図 1 に示す。まず、紀伊国屋の英米文学ジャンルから和訳本のリストを抽出し、研究対象の選定基準に準ずるかどうかを判断 する。対象外の作品は除外し、対象となる作品につ いては GoodReads から原書の情報を抽出する。

原書の情報は発売日、レビュー数など基本情報（構造的データ）と概要、レビューのテキストデータが あるが、概要のみある作品とレビューのみある作品
があるため、実験対象を概要群とレビュー群、2つ の実験群に分けて、複数のモデルを用いて売れ行き の分類実験を行う。

図 1 提案システムの構成

実験結果より、平均精度のよい実験群の上位モデ ルを選出し、最適ハイパーパラメーターを探して再実験する。最後は売れ行きのよい作品とそうでない 作品の特徴的語彙を抽出し分析する流れである。

## 2.1 分析対象の選定基準とラベリング

分析対象として、1)海外で出版され、その後和訳 された文学作品、2)名作の再版、新訳本ではないこ と、3)日本で発売されてから一年以上経った作品の 三つの基準に全て合致するものを選んだ。名作につ いては、Wikipedia の「もっとも多く翻訳された著作

[11]、2つのリストに記載される作品と定義する。上述した基準に基づき、紀伊国屋書店から 2018 年 12 月前に出版された 900 作品を抽出し、GoodReads か ら基本情報と概要のある原書 756 点、レビューのあ る原書 621 点（和訳本が出版される前のもの）を収集した。

売れ行きの良しあしをラベリングする際に、本の 実売部数を基準とするのが一番理想的だが、そのデ 一夕は出版社しか分からず、一般人として入手する のが極めて困難だと考えられる[12]。そのため本研究は日本最大級の書評サイト BookMater[13]から収集した「登録者数」を「注目度」と定義する（登録者数は発売年数の増加に比例する可能性がため両者間の相関関係を調べたが、 0.17 しかない)。それを基準として、注目度分布の上位 3 割を売れる・下位 3 割を売れない、のようにラベリングした。

## 2.2 書籍関連情報の相関分析

原書の基本情報となるレビュー数、出版されたバ ージョン数、平均評価 (星)、ページ数とレビュー数 も売れ行きと関連する可能性があるため、各実験群 の基本情報と登録者数との相関関係を分析した。そ の結果、売れ行きの基準となる登録者数との相関係数が最も高いのは原書のレビュー数であるが、概要群 0.30 、レビュー群 0.33 しかないため、基本情報の みで和訳後の売れ行きを予測するのは難しいと考え られる。

## 2.3 機械学習の手法

2.1 の基準でラベリングしたサンプルは、概要群 452 点（売れる 225、売れない 227 、平均単語数 72 、標準偏差 137)、レビュー群 332 点（売れる 181、売 れない 151、平均単語数 3894、標準偏差 6323）であ る (レビュー者数が 5 以下の作品は除外)。実験は多種類の学習器と組み合わせる形で行った (図2)。

図 2 実験手法の詳細

具体的には、まずテキストから記号と符号を除去 し、spacy[14]で形態素解析を行う。各種素性の深層格を抽出し、全素性、名詞、動詞、形容詞と副詞の 5 つのパターンに分けて実験する。選択した素性を BoW(Bag of Words)とGloVe[15]で作成された分散表現でベクトル化する。単語の重要度および稀少性の 影響も調べたいため、埋め込む際に tf-idf 法 (または idf 法のみ) で処理したパターンとそうでないパター ンに分けて行う。分散表現の場合は、テキストにあ る全素性の分散表現の平均を取り、1作品あたり 300 次元の特徴量ベクトルを作成する。文書 $d$ の分散表現ベクトル $\boldsymbol{v}(d)$ は

$
\boldsymbol{v}(d)=\frac{1}{n} \sum_{i}^{n} \boldsymbol{w}\left(w_{i}\right)
$

と表される。tf-idfを重みとしてつける場合は、原田 ら[16]の手法に基づき

$
\boldsymbol{u}(d)=\frac{1}{n} \sum_{i}^{n} t f i d f\left(w_{i}\right) \cdot \boldsymbol{w}\left(w_{i}\right)
$

を用いる。実験は、ナイーブベイズ、サポートベクターマシ ン(SVM)、ExtraTrees (ランダム木)、LightGBM、多層パーセプトロン（MLP）の 5 種類の学習器と指定素性のテキストベクトルを図 2 のように組み合わせ て行う。できるだけ早く相性の良い組み合わせを選出するため、すべての学習器はデフォルトのパラメ ータで学習した。

## 3 実験

## 3.1 クロスバリデーションの結果

各学習法のクロスバリデーションの結果を表 1 と 表 2 に示す。ここでリストアップしたのは、それぞ れの素性で実験する際に、精度の一番良いモデルで ある。概要群について、全素性を使い、BoW で化し て Naive Bayes で行った実験は最高 $70.7 \%$ の精度を 得た。他の素性のみ使った場合も $60 \%$ 以上の結果が 得られた。

表 1 概要群の実験結果 $(\%)$

表 2 レビュー群の実験結果 $(\%)$

レビュー群については tfidf と SVM の組み合わせ が一番良く、名詞のみ使った場合 $82.5 \%$ の精度に達 した。他の素性のみ使った場合の精度も概要群より 高く、70\%以上の結果が得られた。結果から原書の 海外レビューから和訳本の売れ行きを予測する可能性があると考えられ、売れ行きを左右する特徴は名詞、形容詞、副詞などに潜んでいることがわかる。

## 3.2 上位モデルのパラメータ最適化

概要群とレビュー群の分類実験で精度の良かった
素性と分類器の組み合わせに対して、パラメータ最適化を行った。具体的な手法を図 3 に示す。

図 3 パラメータ最適化の手法

まずすべてのデータを学習用 $75 \%$ 、テスト用 $25 \%$ の割合で分割し、学習用データのみ使って探索する。次に 7 分割のクロスバリデーションで平均精度の一番良いパラメータの組み合わせを選出する。最後は 選出したパラメータで設定し、探索用のすべてのデ 一タを学習してテストデータで検証する。上記の手法で実験した結果、ペア 10 のモデルのパラメータ (n_estimators $=245$, max_depth $=16$, max_feature $=$ 17)で設定した場合、 $85.4 \% の \mathrm{fl}$ 値が得られました。表 3 と図 4 は実験の混同行列と信頼度曲線である。

表 3 混同行列

図 4 ROC 曲線と PR 曲線（AUC 値 0.94/0.92）

売れる・売れない作品のいずれに対しても、 $85 \%$以上の適合率と再現率が得られた。また、ROC 曲線 から見ても、偽陽性率が低い時でも高い真陽性率が 見られるため、一般的に言うと、信頼性の高いモデ ルと考えられる。

## 3.3 登録者数を予測する実験

以上の実験でにおいて、翻訳小説の売れ行きを最高 $85.4 \%$ で判断することができるが、どれほど売れ る・売れないのかという問題がある。より有益な予測を行うために、多層ニューラルネットワークを用 いて、GoodReads のレビューに基づいて BookMeter の登録者数を直接予測することを試みた。実験に用
いたネットワークは、入力/出力層と 3 層の隠れユニ ットで構成されている。各隠れユニットは全結合層、 バッチ正則化層、dropout 層で接続され、最終的に ReLU 関数で活性化する。各層のニューロン数と係数を図 5 に示す。

図 5 ニューラルネットワークの構成

Optimizer は RMSprop で、損失関数は平均二乗誤差 (MSE)、評価関数は平均絶対誤差 (MAE) を用い た。全 epoch 数は 500、バッチサイズ 40 で学習し、学習率 $\operatorname{lr}(t)$ は式 3 のように、100 エポック以後徐々 に減衰させる。なお、 early stopping は 40 エポックに 設定する。

実験は 3.2 で高い精度に達するidf 付き Glove 分散表現のベクトルを使う。登録者数の分布が偏ってい るため、対数変換の手法で前処理する。具体的な手順は図 6 のように、まず 562 個のデータを訓練デー タとテストデータに分割し、その比率を 7:3 とする。次に訓練データを 7 分割のクロスバリデーションで 学習する。その都度、訓練されたモデルを用いてテ ストデータを予測する。最後は、 7 の予測值の平均値を計算し、最終の予測結果としてモデルを評価 する。

図 6 予測値を出す手順

提案モデルは、GoodReads のレビュー数を用いて、線が原点を通る条件のもとで作成した線形回帰モデ ルと比較し、ニューラルネットワークと線形回帰モ デルの予測値から与えられる RMSE、MAE、相関係数を用いて評価する。結果は表 4 に示す。

提案モデルの予測値と実際の登録者数との相関は 0.50 であり、線形回帰で与えられた値より $31 \%$ 高い 結果が得られた。提案モデルと線形回帰による真値 と予測値の比較を図 7 に示す (登録者数が対数の形 でプロットされている)。
表 4 予測結果の評価

図 7 予測値の真値

図に示されているように、ニューラルネットワー クの方が線形回帰より良い予測値を与えていること が分かる。

## 5 考察

売れる・売れないとラベリングされた作品にどの ような特徵があるかを調べるため、レビューテキス トの単語を出現確率

$
\rho_{j}^{(i)}=\frac{c_{j}^{(i)}}{\sum_{k=0}^{1} c_{k}^{(i)}}
$

の順にソートした。ここでの $c_{j}^{(i)}$ は、単語iがクラス $i$ での出現回数で、 $c_{j}^{(i)} \geq n$ を満たすように計算する。 $n$ は名詞の語彙数を 100 とした時、各素性の語彙数 に比例する。つまり出現頻度に偏りの大きく、しか も一定回数以上出現した単語のみリストアップした。 これらを表 5 に示す。

結果から刺激性の強いサスペンス(killer, detective)系、スリラー(thriller)系及び奇想天外 (fantasy, quirky) のものと、 $\mathrm{SF}$ (dystopia, universe, postapocalyptic)作品 が特に愛読されていることがわかる。

一方、英米文化の色濃い作品(church, slavery)や、詩(poems)、生活感(allergies, students, coffee)の強い作品は人気がないように見える。国や地域、軍隊など 言葉が出たが、元のテキストから確認したところ、欧米の戦争や歴史、移民などを語る物語ということ
がわかるが、それらも日本文化に距離があるため売 れ行きが芳ばしくないと考えられる。

表 5 レビュー群の実験結果 $(\%)$

## 6 おわりに

本研究は、海外書評サイトの英語レビューに基づ き、和訳本の売れ行きを予測するシステムを考案し、売れる・売れないものの二値分類実験を行った。実験は概要群とレビュー群に分け、それぞれ全素性、名詞、動詞、形容詞と副詞で分類した。結果として 概要群では最高 $70 \%$ 、レビュー群では最高 $82 \%$ の精度が得られた。パラメータ調整後にレビュー群では 最高 $85.4 \%$ の精度が得られ、信頼度曲線から見てこ のモデルは信頼できると考えられる。

次に、レビュー群のみを対象とし、登録者数の値 を予測するモデルを提案した。ニューラルネットワ ークを用いた場合、予測値と真値の相関係数は $50 \%$ で、線形回帰より 31 ポイント高い結果が得られた。

さらに、売れる作品と売れない作品のレビューに 頻出する単語を調查し、刺激性の強い作品、非現実・ $\mathrm{SF}$ の要素のある作品が特に日本で売れており、英米文化の色濃い作品やポエムは人気ではないことが明 らかになった。実験対象が日本と海外での売れ行き の差異を調べ、両方でも売れる作品とそうでない作品、そして日本・海外のみ売れる作品はそれぞれ違 う特徴を持っていることが明らかになった。

## 参考文献

1. 出版科学研究所, “日本の出版販売額”, 出版指標年報 2020 年版, 2020.

2. 日本印刷産業連合会, “印刷産業の出荷高 - 事業所数・従業員数の推移”，マーケティング・データ・ ブック 2020, Vol.18, 2020.

3. 山岡洋一，“翻訳の過去・現在・未来”，「翻訳通信」 100 号記念セミナー, 2010.

4. 株式会社トランネット, “出版翻訳とは”, https://www.trannet.co.jp/about-publish-translation.html, 2020.

5. 橋本ら，“Web 上のレビュー記事のイデオロギー 分析とその応用”, 言語処理学会第 16 回年次大会, pp.740-743, 2010.

6. 掛谷ら, “書籍のレビューに基づく先見性のある 人物の特㣦分析”，言語処理学会第 22 回年次大会, pp.1149-1152, 2016.

7. 樋口ら，“国会会議録と書評を用いた政治的見解 が異なる人物像の分析”, 2019 年度日本選挙学会, 2019.

8. 紀伊国屋書店，“英米文学ジャンル”, www.kinokuniya.co.jp/f/dsd-101001015025001--
9. GoodReads, www.goodreads.com.

10. Wikipedia, “もつとも多く翻訳された著作物”， 2020 .

11. Norwegian Book Clubs, "The top 100 books of all time", 2002.

12.上原龍一，“本の実売部数の調べ方”， www.uehararyuichi.com/jitsubai-299

13. BookMeter, www.bookmeter.com

14. spacy, www.spacy.io/

15. Jeffrey Pennington et al, "GloVe: Global Vectors for Word Representation”, Proceedings of EMNLP 2014, pp.1532-1543, 2014.

16. 原田ら，“単語の分散表現および if-idf 法を用 いた自動ようやくシステム” , ARG WI2, No.9, pp49$50,2016$.


# マルチラベル分類による材料推薦モデル

深澤 祐援 原島 純
クックパッド株式会社
\{yusuke-fukasawa, jun-harashima\}@cookpad.com
西川荘介
東京大学大学院情報理工学系研究科
sosuke-nishikawa@nii.ac.jp

## 1 はじめに

クックパッドなどの料理レシピサービスでは, ユーザがレシピを投稿できる．レシピを投稿する画面を図 1 に示す.まずタイトルを記入し，作り方， コツ・ポイント，材料の名前とその分量などを入力 する。これら全ての情報をユーザが入力するのは手間がかかる. 特にサイズの小さいスマートフォン 上で多くの情報を入力する作業はより負荷が高ま る. そうしたユーザに対して，レシピ投稿時に必要 な情報を補完できれば，レシピ投稿のハードルを下 げられる.

本研究ではこうした背景を元に，レシピタイトル を大力としてそのレシピに必要な材料を推薦する夕 スクを定義する。 そしてそのタスクを解くモデルを 提案する. クックパッドに存在するレシピのタイト ルと材料のデータを用いて，提案したモデルの性能 を報告する。また提案手法を用いた材料推薦機能を リリースし，オンライン上でモデルの評価を行った 結果も合わせて示す.

## 2 関連研究

料理に関連したドメインにおける推薦問題では, レシピの推薦が着目されることが多い. Khan らは レシピに使われている材料を入力として，栄養を考慮に入れたアンサンブルベースのトピックモデリン グによるレシピ推薦を提案している [1]. Gao らは 料理の画像から材料を推定し, siamese-network を構築してレシピを推薦している [2].

本研究が対象とする材料推薦の先行研究は，レシ ピの推薦を対象とした研究と比べるとそれほど多く ない. Park らは 2 つの材料を入力として，その組み 合わせがペアリングとして適しているかのスコアを

図1 クックパッドアプリ (Android) からレシピを投稿す る際の入力画面 (2021-01-04 時点)

出力するモデルを提案している．しかしレシピとの 関連性は着目されていない [3].

材料に関連した先行研究としては，Harashima ら による Seq2Seqを用いた材料名の正規化が挙げ られる [4]. また Yamaguchi らは Character-CNN と Bidirectional GRU を組み合わせた系列ラベリングモ デルを構築し，材料情報の中で材料に相当しない部分 (コメントなど)を検出している [5].

ニューラルネットワークが発展している昨今では 出力部分を柔軟に定義できるようになり，情報推薦 をマルチラベル分類とみなしてアプローチする例も 見られる. Zhang らは論文のレビュアーを推薦する

図 2 提案手法の概要

問題をマルチラベル分類問題として定式化している [6]. Chen らは一枚の画像を入力とし, その画像中 に存在する複数の物体のラベルを推薦するタスクを 対象としたモデルを提案している [7].

マルチラベル分類の性能を向上させる方法とし て，事前に学習させたラベル情報を活用するアプ ローチが存在する. Rousu らはラベルの階層構造を 考慮したアプローチを提案している [8]. Huang ら は ImageNet の各予測対象クラスについて事前に埋 め込み表現を学習させ，それを活用して未知クラス が含まれる画像分類問題への転移学習にアプローチ している [9].

## 3 提案手法

本研究では，レシピのタイトルを入力として適切 な材料を推薦するタスクに取り組む．学習データに はレシピタイトルとその材料が紐付いており，この データを元に学習したモデルが $k$ 個の材料予測結果 を出力する．具体例としては，「鮭とほうれん草の 奨油和風パスタ」というレシピタイトルから，その レシピで使われている「鮭」・「ほうれん草」・「にん にく」・「オリーブオイル」という材料を予測するタ スクとなる。

提案手法は図 2 のように表せる. 詳細を以下に 示す.
1.レシピタイトルを形態素に分割し，モデルに入力する

2. 各形態素をベクトル表現に変換する

3. 各形態素のベクトル表現の平均を算出し, レシ ピタイトルのベクトル表現 (300 次元) とする

4. レシピタイトルのベクトル表現を全結合層 (512 $\rightarrow 256 \rightarrow 300$ ) に入力する

5. 出力する材料クラスごとに事前に割り当てたべ クトル表現行列との内積を取る

6. 内積を取った値に sigmoid 関数を適用する. 得 た値を各材料クラスに対する確信度とする

7. 確信度が高い上位 $k$ 個を推薦結果として出力 する

提案手法では Huang ら [9] と同じく, 事前に学習 させた材料クラスごとの埋め込み表現を用いる. マ ルチラベル分類問題では出現する頻度の少ないクラ スを予測することが多い. 今回対象とする材料推薦問題でも出現頻度には大きな差がある. 提案手法で はクラスの埋め込み表現を明示的に与えることで， few-shot なクラスであっても適切に推薦できるモデ ルとなっている.

## 4 実験

提案したモデルの有効性を検証するためにベース ラインとの比較実験を行った.

## 4.1 実験設定

本実験ではクックパッドに投稿されたレシピデー タを用いる。レシピデータにはレシピタイトル，詳細文，そのレシピに使われた材料と分量一覧，レ シピの手順がユーザによって入力され紐付いてい る. 本研究ではレシピタイトルを入力とし，その レシピで用いられた材料名を予測対象として用い る.レシピタイトルは $\mathrm{MeCab}$ (IPA 辞書) [10] を用 いて形態素に分割した. 材料名は表記摇れしている ものを名寄せするなどの前処理を実施し，約 1100 クラスとなった．使用するデータは，材料が紐付 いているレシピを抽出した上でランダムに分割 し，学習データ:検証データ:テストデータ $=930,000$件:230,000 件:10,000 件とした.

## 4.2 比較手法

k-NN 材料クラスの予測を行うアーキテク チャとして近傍探索に基づくアプローチ (kNearestNeighbor: k-NN) との比較を行う. k-NNでは,
表 1 材料予測結果の例

 &  &  & 觡，酒，塩，コ \\

タイトルのベクトル表現を獲得するところまでは提案手法と同じである. ベクトル表現を獲得した後,近い値を持つタイトルを持つレシピを $\mathrm{k}$ 個取得す る. 取得した $k$ 個のレシピに紐づく材料を集計し,得られた出現数に基づいて上位 5 個の材料を推薦結果として表出する。

提案手法（IE なし） また提案手法について，材料クラスごとのベクトル表現との内積を取らない提案手法 (IngredientEmbedding: IE なし) も比較対象と する.

提案手法を含むこれら手法で用いる分散表現モデ ルは，予めクックパッドの全レシピデータにおける タイトル，手順テキストを対象に学習させた fasttext (300 次元のベクトルを学習するように設定しその他 パラメータはデフォルトで設定) [11]を用いる。な お, 提案手法 (IEなし), 提案手法は Adam[12] で最適化し，検証データに対する TopKCategoricalAccuracy が最良となるエポックで EarlyStop させたものを評価対象とする。

## 4.3 評価指標

各手法を評価するため、順序を考慮せず集合を評価する指標と、順序を考慮する指標を使用した. 前者には Precision と Recall、F1、HITS (予測したクラ ス $k$ 個のうち，いくつが正解したかの絶対数)を使用した。また、後者には MAP と MRR、NDCG を使用した. また，モデルの予測する材料クラスの偏り を見る指標として，全クラス数のうち予測したクラ スの重複を排除した数の割合を Coverage と定義し， その值についても確認した。

## 4.4 実験結果

表 2 に実験結果を示す。推薦されるアイテムの 幅広さを示す Coverage が最も高かったのは k-NN であったが，提案手法がそれ以外の全ての指標で 最も高い精度を記録した。提案手法についても Converage は 0.6 程度という値から，偏りのある推薦表 2 各評価指標における性能比較

 & 提案手法 \\

Recall@5 & 0.38 & 0.48 & $\mathbf{0 . 4 9}$ \\
F1@5 & 0.37 & 0.47 & $\mathbf{0 . 4 8}$ \\
NDCG@5 & 0.43 & 0.54 & $\mathbf{0 . 5 5}$ \\
MAP@5 & 0.30 & 0.41 & $\mathbf{0 . 4 2}$ \\
MRR@5 & 0.71 & 0.83 & $\mathbf{0 . 8 4}$ \\
HITS@5 & 2.01 & 2.56 & $\mathbf{2 . 6 1}$ \\
Coverage & $\mathbf{0 . 7 8}$ & 0.50 & 0.64 \\

結果でないことが示された.

表 1 に各モデルの出力結果を示す. 1 例目につい て，k-NN は「真鯛」と「甘塩鮭」が同時に出てい る. モデルの性質上，魚系でベクトル表現が近いレ シピタイトルを取得した結果，「真鯛」のレシピと 「甘塩鮭」のレシピとが近かったことによるものだ と考えられる。

2 例目について, $\mathrm{k}-\mathrm{NN}$ ・提案手法 (IE なし) はいず れも「ディル」が当てられていない. 「ディル詰 め」というレシピがそもそもあまり多いものでは ないため，集計べースのモデルの場合「いわし」や 「オーブン焼き」などのキーワードに出現する材料 に引きずられた傾向が見られる。提案手法 (IE なし) については，「しお・こしょう」などといった出現数 の多い調味料に引きずられるきらいがあった.これ らに対して提案手法は，モデル内に組み込まれた材料クラスのベクトル表現によって，提案手法 (IE な し) と比較すると改善傾向が伺える。

3 例目について，前述したようにマルチラベル分類モデルは出現数の多いクラスに引きずられてしま う.この例ではその傾向が顕著に出ており，上位 5 つの出力結果が調味料ばかりに偏り主材料を出力で きていない。これに対して，k-NN は適切に主材料 を当てることができている.

## 4.5 オンライン評価と考察

最後に，ここまでオフラインテストで検証したモ デルについて，オンライン上で実際にユーザへ推薦
表 3 オンラインでの材料推薦結果

図 3 レシピ投稿画面でユーザに表出した材料推薦の様子

表 4 豆腐を例とした同一系統材料のレシピ出現頻度

結果を表出する検証を行った. 図 3 がユーザへ推薦結果を表出した画面である。 ユーザがレシピタイト ルを入力した後, 材料入力の位置までスクロールす ると推薦画面が表出する仕様とした. 2020 年 11 月初旬にデプロイしてから 2020 年 12 月末までの期間 を対象として，提案手法によって推薦された材料を ユーザが一度でも選択した割合の平均を計測したと ころ，14.97\%となった.

表 3 にユーザに推薦された材料とユーザによっ て選択された材料の例を示す。上から 2 つの例「超簡単！超時短！生チョコくるみタルト」や「ケンタ 味！カリカリのフライドポテト！」のように推薦材料の殆どが選択され，うまく機能しているケース も見られた. 一方で下から 2 つの例「驚きの美味し さ！塩麹とカレーの鶏唐揚げ」や「白身魚の和風レ モンマスタードソース」というレシピタイトルにつ いては，主材料である「鶏肉」や「白身魚」を推薦で きていないからか，推薦されたいずれの材料も選択 されなかった. このことから，調味料などの周辺材料を正しく推薦することよりも主材料を推薦するこ とがユーザにとって重要ではないかと考えられる。

また，改善点として材料ラベル間の共起関係に着目することが挙げられる。具体例として，同一種類 の材料が同時に出現する可能性は低いことがわかっ ている. 表 4 では「もめん豆腐」と「絹ごし豆腐」，及び「高野豆腐」が同じレシピに出現する分布を示 している.この表を見るとこれら材料が同時に出現する可能性が低いことがわかる. Chen らの提案手法 [7] では画像中にテニスラケットと人は同時に 写っていることが多いといった，物体ラベルに依存関係があることを示している。その関係性をグラフ 畳み込みニューラルネットワークで学習させ，その 重みを分類時に適用させるモデルを提案している.本タスクにおいても同様に，ラベル間の関係性を考慮するアプローチは有効だと考えられる。

## 5 結論

本研究ではレシピタイトルを入力として適切な材料を予測するタスクに取り組んだ。またそれを解く モデルとして予め学習した材料クラスのベクトル表現を組み込んだマルチラベル分類モデルを提案し た. $\mathrm{k}$ 近傍探索モデルと比較した結果，提案手法の ほうがより正確に材料推薦ができること，また全体的に高い精度で材料推薦が可能であることが示され た. 今後の展望としては，材料ラベル間の共起関係 を考慮すること，調味料などの周辺材料の場合と主材料などの場合とで損失に対する重み付けを調整す るといったモデル改善を行っていくことが挙げられ る. さらにオンライン上での $\mathrm{AB}$ テストを実施する ことで実用観点におけるモデルの比較を行うことが 課題である.

## 参考文献

[1]Mansura A. Khan, Ellen Rushe, Barry Smyth, and David Coyle. Personalized, health-aware recipe recommendation: An ensemble topic modeling based approach. In Proceedings of the 4th International Workshop on Health Recommender Systems co-located with the 13th ACM Conference on Recommender Systems 2019, 2019.

[2]Xiaooyan Gao, Fuli Feng, Xiangnan He, Heyan Huang, Xinyu Guan, Chong Feng, Zhaoyan Ming, and Tat-Seng Chua. Hierarchical attention network for visually-aware food recommendation. IEEE Transactions on Multimedia, 2019.

[3]Donghyeon Park, Keonwoo Kim, Yonggyu Park, Jungwoon Shin, and Jaewoo Kang. Kitchenette: Predicting and ranking food ingredient pairings using siamese neural network. In Proceedings of the 28th International Joint Conference on Artificial Intelligence, 2019.

[4]Jun Harashima and Yoshiaki Yamada. Two-step validation in character-based ingredient normalization. In Proceedings of the Joint Workshop on Multimedia for Cooking and Eating Activities and Multimedia Assisted Dietary Management, 2018.

[5]Yasuhiro Yamaguchi, Shintaro Inuzuka, Makoto Hiramatsu, and Jun Harashima. Non-ingredient detection in usergenerated recipes using the sequence tagging approach. In Proceedings of the 6th Workshop on Noisy User-generated Text, 2020.

[6]Dong Zhang, Shu Zhao, Zhen Duan, Jie Chen, Yanping Zhang, and Jie Tang. A multi-label classification method using a hierarchical and transparent representation for paperreviewer recommendation. ACM Transactions on Information Systems, 2020.

[7]Z. Chen, X. Wei, P. Wang, and Y. Guo. Multi-label image recognition with graph convolutional networks. In Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019.

[8]Juho Rousu, Craig Saunders, Sandor Szedmak, and John Shawe-Taylor. Kernel-based learning of hierarchical multilabel classification models. Journal of Machine Learning Research, 2006.

[9]He Huang, Yuan-Wei Chen, W. Tang, Wenhao Zheng, Qingguo Chen, Yao Hu, and Philip S. Yu. Multi-label zero-shot classification by learning to transfer from external knowledge. ArXiv, 2020.

[10]工藤拓, 山本薫, 松本裕治. Conditional random fields を 用いた日本語形態素解析. 情報処理学会研究報告. NL,自然言語処理研究会報告, 2004.

[11]Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. Transactions of the Association for Computational Linguistics, 2017.

[12]Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In 3rd International Conference on Learning Representations, 2015.


# 言い誤りの理解過程
## 一日本語二重目的語構文の意味的整合性判断課題による検討一

\author{
井出彩音 ${ }^{1}$ 寺尾康 ${ }^{2}$ 木山幸子 ${ }^{3}$ \\ 1 東北大学文学部言語学研究室 2 静岡県立大学国際関係学部国際言語文化学科 \\ 3 東北大学大学院文学研究科言語学研究室 \\ ayane.ide.p5@dc.tohoku.ac.jp teraoy@u-shizuoka-ken.ac.jp skiyama@tohoku.ac.jp
}

## 1 はじめに

言い誤りは，文産出の仕組みを知る上で重要な手 がかりを持つ. 言い誤りを観察することで，話者が 意図した発話と，文産出の過程で何らかの誤作動の あった結果の発話の 2 つを同時に手に入れられ，処理過程の仮説を提案できるからである [1].

言い誤りは「故意にではない，発話の意図からの 冕脱」と定義され, 付加型 - 久落型 - 代用型 - 交換型・混成型・移動型 (表 1) という6 種類のタイプ に分類される [2]. また，言い誤りが起こる単位ご との分類としては，音韻レベル・語彙/形態レベ ル・語より大きいレベル・統語/文法レベル・文体 レベルがあり，それぞれがさらに細かく分けられる。例えば統語/文法レベルでは，助詞・活用・否定・助動詞といった単位が挙げられる.

表 1 言い誤りのタイプ例

言い誤りのレベルに基づいた分類では，助詞レベ ルの言い誤りにおいて，日本語に特徴的な傾向が見 られている [1]. それぞれが持つ機能によって助詞 を 3 グループに分類し，「が」「を」「に」「の」を A 類，「から」「へ」を B 類，「も」「ね」などを C 類としてグループ間の言い誤りの傾向を探った結果，同じグループ間の助詞同士で言い誤りの発生が 多く，特に「が」や「を」などの限られた助詞同士 で言い誤りの発生が多くなることが示された.

言い誤りによる文産出研究に比べ，言い誤りの理解の観点から調査した研究はほぼ皆無である。言い誤りを含む不完全な文を理解するときに，理解しや すい言い誤りとそうでない言い誤りの差異はどのよ うな要因に起因するのか.

本研究では，言い誤りが含まれた文の理解過程を 解明することを目的とし，言い誤りを引き出す問い かけに応答する対話の自己ペース読みによる意味的整合性判断課題によって，助詞レベルの交換型の言 い誤り(1)を含む日本語二重目的語文の処理を検討 した.

問いかけ 八厶、これからどうするの?返答 a. パンにハムを挟むよ。（正文）

b. パンをハムに挟むよ。（誤文）

二重目的語構文の基本語順については多くの研究 がなされており，未だに議論の余地がある，日本語二重目的語構文の基本語順を予測する統計モデルを 議論した研究 [3]では，『現代日本語書き言葉均衡 コーパス』から二重目的語構文を抽出して分析した 結果, 名詞句の情報構造の効果として知られる，旧情報が新情報よりも先行する現象（“given-new ordering”）が，直接目的語と間接目的語間の語順に 関して確認された。

また，「手に入れる」「恩を売る」などの熟語や，「棚上げ」「ごま和え」などの複合語を広辞苑から 抽出し，二格を目的語にとる動詞とヨ格を目的語に 取る動詞の数を比較し基本語順を捉えようとした研究 [4]では，二格を目的語にとる動詞のほうがラ格 を目的語に取る動詞に比べ圧倒的に数が多いという 結果を示した．さらに，「をに文」の二格は，ヲ格 に比べ生産的に用いられていないことを示した。し たがって，日本語の二重目的語構文の基本語順は，

「間接目的語-直接目的語（「にを文」）」であること が示唆される. しかし, 抽出した熟語や複合語はニ 格とヨ格のどちらを目的語にとるかが動詞ごとに異
表 2 刺激文のパターン例

なることから, 二重目的語構文の基本語順は動詞に よって異なり，一貫した語順が定まりにくい可能性 が考えられる。

本研究では, 先行研究を基に, 二重目的語構文に おいて，旧情報を先に提示するか否かと，文の語順 が基本語順かかき混ぜ語順かという 2 つ要因が 言い誤りの検出のしやすさに影響すると考え 以下 の仮説を立てた。

仮説 1 言い誤りを含む二重目的語構文において，旧情報が先にある文 (2a) のほうが，旧情報が後に ある文 (2b) に比べて誤りに気づきやすい.

(2) 問いかけ公、これからどうするの?

$
\begin{array}{ll}
\text { 返答 a. ハムにパンを挟むよ。（誤文） } \\
& \text { b. パンをハムに挟むよ。（誤文） }
\end{array}
$

仮説 2 二重目的語構文の基本語順である「にを 文」(2a)のほうが，かきまぜ語順である「をに文」 (2b) に比べて誤りに気づきやすい.

仮説 3 語順よりも旧情報の位置の操作のほうが,言い誤りの検出のしやすさに強い影響を及ぼす.

## 2 方法

## 2.1 実験参加者

日本語を母語とする日常生活に支障のない東北大学学部生および大学院生 60 人（女性 30 人, $20.83 \pm 1.98$歳）が実験に参加した.

## 2.2 刺激文

二重目的語構文 (ターゲット文: 返答文) とそれ を導く問いかけ文による対話を 48 セット用意した。述語項構造シソーラス(Predicate-Argument Structure Thesaurus (PT)) $)^{\mathrm{r}}$ 利用しながら，動詞と典型的に共起しやすい名詞を使って新たに文を作成した. 全て 二格名詞，ヨ格名詞，動詞を含む文で，二格名詞の 意味役割が[着点], Э格名詞の意味役割が[対象]で あり，二格名詞， Э格名詞がともに無生物で，身体部分や抽象概念ではないものとした. ターゲット文 は, 旧情報の位置 (先/後) と語順 (基本語順/かき混 ぜ語順) を操作して 4 パターン用意し，さらにその 2 つの名詞句を入れ替えることで誤文を用意した (表 2). 問いかけ文は, ターゲット文に含まれる名詞を利用して作成した (表 2). 上記に加え，フィラ 一の対話を 48 セット作成した. いずれもデ格名詞 とヨ格名詞を含む文であった. すべての文の間で，同じ名詞と動詞を 2 回以上使わないようにした. 夕一ゲット文では, 2 つの名詞句の間でモーラ数と親密度 [5]の平均に有意な差がないことを確認した。 これらのセット内のパターンは参加者間でカウンタ ーバランスをとり，ランダムに呈示した.

## 2.3 手続き

図 1 意味的整合性判断課題試行例
表 3 返答文読み時間に与える諸要因の効果

図 2 返答文平均読み時間（正文）

参加者は，コンピュータのモニタに提示される対話を 1 文ごとに自己ペースで読み進め, 読み終わつ た次の画面で直前のターゲット文が意味的に整合し ているかどうかの判断を, ボタン押しによって行っ た (図 1). 途中で一度小休止をとった. 本試行の前 に練習を行った。

課題終了後に, 質問紙によるフォローアップ調查 を実施した. 各質問紙には各参加者が提示されたパ ターンによる誤りを含む 48 文において，この文の 話し手が本来意図していた発話はどのようなものだ と考えられるかを作文するよう求めた.

## 2.4 分析

返答文提示における反応時間 (返答文読み時間),意味的整合性判断パートにおける反応時間，回答の 正答率を従属変数, 旧情報の位置, 語順を独立変数 として, 線形混合効果 (linear-mixed-effect: LME) モデルによる分析を行った. ランダム要因として，参加者と刺激文を含めた. R studio version 3.5.3 (C) The R Foundation） 上でパッケージ lme4 (Bates, Maechler, Bolker \& Walker, 2015) と lmerTest (Kuznetsova, Brockhoff \& Christensen, 2017)を使用し た.

## 3 結果

返答文の読み時間については, 表 3 に示すように正

図 3 返答文平均読み時間（誤文）

文と誤文の双方において，語順の主効果が得られた。 また，正文，誤文のどちらも旧情報の位置と語順の 2 次の交互作用は得られなかった. 図 2,3 からもわ かるように，語順がかき混ぜ語順（をに）の文のほ うが基本語順 (にを) の文に比べて反応時間が長く,「をに文」のほうが「にを文」よりも文理解の処理負荷が高いことが示された。

回答の正答率については, 正文において, 語順の 主効果および旧情報の位置と語順の 2 次の交互作用 が得られた (表 3). 図 4 に示すように，旧情報の位置が後で語順がかき混ぜ語順 (をに) の場合のほう が他に比べて正答率が低くなっていた.つまり，旧情報が新情報よりも後に位置する場合には「にを文」 よりも「をに文」のほうが意味的整合性判断の基準 が厳しくなることが明らかになった.

また, フォローアップ調査の回答に関してクロス 表集計によるカイ二乗検定を行った結果, 誤文の助詞の順序と訂正方法の連関が有意であり $\left(\chi^{2}{ }_{1}=\right.$ $11.43, p=0.001$ ）．誤文の語順が基本語順（にを）の 場合は名詞を入れ替えることで「にを文」の形に訂正されやすく, 誤文の語順がかき混ぜ語順 (をに) の場合は助詞を入れ替えることで「にを文」の形に 訂正されやすいことが示された. つまり，誤文の助詞の順序に関わらず「をに文」への訂正よりも「に を文」への訂正が多く，「にを文」が好まれることが 明らかになった。
表 4 回答の正答率に与える諸要因の効果

図 4 意味判断の正答率（正文）

図 5 意味判断の正答率（誤文）

## 4 考察

本研究では，言い誤りを含む文の理解過程に着目 し, 旧情報の位置と語順が助詞レベルにおける交換型の言い誤り理解にどのような影響を与えるかにつ いて検討した。

二重目的語構文を用いて意味的整合性判断課題を 実施した結果，返答文の平均読み時間に関し，正文 と誤文の双方において語順の主効果が得られた.「をに文」のようにヨ格が動詞から離れている場合 のほうが，「にを文」のようにヨ格が動詞に近い場合 よりも反応時間が長かったことから，「にを文」より も「をに文」のほうが処理負荷が高いことが明らか になった.フォローアップ調査においても「にを文」 の形で正文を作成する場合が多く, 意味的整合性判断課題の結果を支持する結果となった. また, 回答 の正答率に関して, 正文において旧情報の位置が後 で語順が「をに」の場合に正答率が低くなっていた ことから，旧情報が新情報に先行する文の理解にお ける処理負荷の低さと, 文産出研究においてあまり 生産的に用いられないとされている「をに文」の文理解における処理負荷の高さが示された.

この結果の解釈としては, まず, 日本語の主要部後置主義が挙げられる. すなわち, 直接目的語を文 の左側に置くことで処理負荷が高くなったと考えら れる.また, 名詞の関係性も関連したと考えられる.二重目的語構文は「パンにハムを挟む」「デスクに本 を置く」のようにニ格名詞のほうがヲ格名詞よりも 物体として大きい傾向があり, 物体同士の関係性に 対するイメージが文理解に関わった可能性がある. さらに，動詞の影響も考えられる。习格名詞，二格名詞，動詞の 3 つの組が与えられた場合，「をに」語順と「にを」語順のいずれか一方の語順が 90\%以上 となる動詞が 8 割を占めると述べている研究 [6]も あり，さらなる調査が期待される.

先行研究はすべて正文における二重目的語構文の 処理負荷を比較して語順や旧情報の位置の効果が調 べられていた. しかし, 今回の研究によって初めて,誤文の処理においても語順が重要な要因であり，基本語順であるほうが意味的な正誤判断をしやすいこ とを示す結果が得られた. また, 名詞の情報状態も 判断に適切に取り入れられ，旧情報が先に提示され ていたほらが後に提示されている場合よりも意味の 照合がしやすいことが示された. これまで文産出の 研究において重要視されてきた言い誤りという現象 が，文理解の分野でも日本語二重目的語構文の基本語順の解明に有効性を示唆する結果となった.

## 謝辞

本研究は，科学研究費基盤研究 (A) 19H00532 の 助成を受けて実施した。

## 参考文献

1. 寺尾康 (1992)「第 6 章 文産出」石崎俊・波多野誼余夫（編）『認知科学ハンドブック』 371,379380. 東京 : 共同出版.

2. 寺尾康 (2002) 『言い間違いはどうして起こ る?』東京 : 岩波書店.

3. 浅原正幸・南部智史・佐野真一郎 (2018) 「日本語の二重目的語構文の基本語順について」『言語資源活用ワークショップ発表論文集』 3: 280-287.

4. 遠藤喜雄 (2014) 『日本語カートグラフィー序説』東京: ひつじ書房, 90-110.

5. 天野成昭・小林哲生 (2008) 『基本語データベー ス 語義別単語親密度』 東京: 学習研究社

6. 笹野遼平・奥村学 (2017) 「大規模コーパスに基 づく日本語二重目的語構文の基本語順の分析」

『自然言語処理』 24(5): 687-703.