# ラベルの不均衡を考慮した End-to-End 情報抽出モデルの学習

山口 泰弘 進藤裕之 渡辺太郎
奈良先端科学技術大学院大学 先端科学技術研究科
\{yamaguchi.yasuhiro.yw2, shindo, taro\}@is.naist.jp

## 1 はじめに

情報抽出とは自然言語で書かれた文書から構造化 された情報を構築する技術である。一般的な情報抽出は，与えられた文から目的の用語を示すスパンを 抽出する固有表現認識と，抽出されたスパンの間の 関係を予測する関係抽出，スパンの共参照関係を予測する共参照解決など複数のタスクからなる。これ らのタスクはこれまで別々に研究が進められてい て，特に関係抽出や共参照解決ではタスクでは，文 と対象のスパンが与えられたもとで関係を予測する 手法が多く研究されている. 情報抽出を行う際は，固有表現認識を行った結果を関係抽出モデルの入力 とするパイプラインシステムとして処理される.こ うしたパイプライン処理においては上流のタスクで の誤りが下流のタスクに伝播しまうことが問題と なる.

そこで，最近ではスパンの抽出とスパンの間の 関係予測を同時に 1 つのモデルで行うマルチタ スク End-to-End 情報抽出の手法が検討されている [1][2][3]. これらの手法は次のような手順で処理さ れる. まず，与えられた文から可能なすべてのスパ ンを列挙する．次に，列挙された各スパンについて スパン埋め込みを計算する。そして，固有表現認識 の場合はスパン埋め込み，関係抽出や共参照解決の 場合はスパンのペアの埋め込み表現に対して分類を 行う.

先述した手法の問題点として，ラベルがつけられ ているスパン・スパンペア (正例) の数とラベルの ないもの (負例) の数に大きな差があることが挙げ られる。処理する文書のトークン数を $N$ としたと き，可能なすべてのスパンの数は $N(N+1) / 2$ とな る。また，スパンペアの数は，すべてを評価した場合 $\{N(N-1) / 2\}^{2}$ となる. 一方, 正例のスパンの数 は多くの場合 $N$ 以下であり，正例と負例の数に不均衡が生じる. 先行研究では評価するスパンを定数 $L \leq N$ 以下の長さのみに限定していて，この場

表 1 SciERC における不均衡

合スパンの数は $L(2 N-L+1) / 2$ であるが，依然と して正例と負例の数には大きな差が生じる．表 1 に SciERC[1] データセットにおける 1 文中の正例と負例のスパンの統計を示す. スパン数は $L=10$ とし た場合に列挙されるスパンの数を計算したもので ある．正例の割合は，スパン数に対するラベル付け されたスパンの割合を表す。この統計から，実際の データセットにおいても正例・負例の数が不均衡で あることがわかる.

こうしたラベルの不均衡は，一般的に機械学習モ デルの学習を妨げることが知られいる [4][5]. そこ で本研究では, Under Sampling, Over Sampling, Hard Example Sampling の 3 つのサンプリング手法を用い て学習に利用するデータを選択することで，このラ ベルの不均衡の問題を解決することを試みた。

これらのサンプリング手法を用いて End-to-End 情報抽出モデルを学習した結果，Hard Example Sampling を用いた場合に最もモデルの予測性能の改善が見られた。

## 1.1 End-to-End 情報抽出モデル

本研究ではマルチタスク End-to-End 情報集出モデ ルとして、DyGIE[2][3]をもとにしたモデルをべー スラインとして用いた. 図 1 に処理の手順を示す. モデルは以下のようなステップで実行される.

スパンの列挙: 与えられた文中から，トークン数 が $L(\leq N)$ 以下の可能な全てのスパンを列挙する. Lはハイパーパラメータとして設定する。

スパン埋め込み: 列挙されたスパンに対応するべ クトル表現を計算する。各トークンに対する埋め 込み $\left.\{\boldsymbol{x}_{1}, \cdots, \boldsymbol{x}_{N}\right.\}$ からスパン $\left(s_{i}, e_{i}\right)$ の始点と終点 の埋め込みを選択し，それらを結合したべクトル $g_{i}=\left[x_{s_{i}} ; x_{e_{j}}\right]$ をスパン埋め込みとする.

図 1 実験に利用したモデルの構造. ベースラインには赤枠の処理を除いたモデルを利用した.

スパンの枝刘: DyGIE[3][2] の手法に基づき，各ス パンに対応するスコアを計算し，スコアの大きいも のを選択する。選択するスパンの数は定数 $\gamma$ を設定

スパンペアの作成: 2 つのスパン埋め込み $g_{i}, g_{j}$ を 結合し，スパンペアのベクトル $\left[\boldsymbol{g}_{i} ; \boldsymbol{g}_{j}\right]$ を作成する.

スパン・スパンペアの分類: スパン，またはスパ ンペアのベクトル $\left(g_{i}\right.$ または $\left.\left[g_{i} ; g_{j}\right]\right)$ を，順伝播型 ニューラルネットワーク (FFN) を用いて各ラベルに 対するスコアを計算する。

スパン埋め込みの更新: DyGIE[3][2] と同様に，予測した共参照関係に基づいてスパン埋め込みの更新 を行う。

損失: 固有表現認識 (NER)，共参照解決 (CR)，関係抽出 (RE) の各タスクにおける交差エントロピー 誤差 $\mathscr{L}_{\mathrm{NER}}, \mathscr{L}_{\mathrm{CR}}, \mathscr{L}_{\mathrm{RE}}$ をそれぞれ計算する. モデルの 学習ではこれらの誤差の和 $\mathscr{L}$ を最小化する。

$
\mathscr{L}=\mathscr{L}_{\mathrm{NER}}+\mathscr{L}_{\mathrm{CR}}+\mathscr{L}_{\mathrm{RE}}
$

提案手法ではこのベースラインモデルにサンプリ ング処理を追加することでラベルの不均衡に対処す ることを試みた。

## 2 サンプリング手法

本研究では，先述のラベルの不均衡を考慮するた めに以下の 3 つのサンプリング手法を検討した.

## 2.1 Under Sampling

各ラベルの学習事例の数が偏っている場合に，多数派のデータはその一部のみを使って学習すること
で少数派とのデータサイズをバランスさせる手法で ある [4]. ここでは列挙されたスパンのうち，NER ラベルが付与されていないスパンからランダムに選択したスパンを学習に使用する。一方，ラベルが付与されたスパンはすべて学習に使用する.

## 2.2 Over Sampling

Over Sampling は少数派のデータを増加させる手法であり、様々な手法が提案されている。本研究で はSMOTE[5] と呼ばれる手法を利用した.

SMOTE アルゴリズムでは，まず，増やしたいラ ベルの対象データをランダムに 1 つ選択し，その近傍 $k$ 個を求める. そして，この $k$ 個の近傍から 1 つ を選んで，対象データとの間に同じラベルをもった データを生成すことでデータを増やす。

固有表現認識，共参照解決，関係抽出の各タスク ごとに，スパン（あるいはスパンペア）の分類器に 渡す直前の埋め込み表現 $\left(g_{i}\right.$ または $\left.\left[g_{i} ; g_{j}\right]\right)$ に対し て SMOTE アルゴリズムを用いて事例を増やす。こ こではラベルのつけられたスパン・スパンペアに対 して Over Sampling を行う．なお，ラベル間のデー 夕数の不均衡については考慮しないものとする。

## 2.3 Hard Example Sampling

予測の難易度にばらつきのあるデータを学習す る際に用いられる手法の 1 つに Hard Example Mining (HEM)[6][7] がある. HEM では, 学習時にモデルの 予測スコアに基づいて学習の難しい事例を発見し， より困難な事例を用いてモデルの学習を行うことで

モデルの性能向上が期待できる. 本研究では，この HEM の考え方をもとに，学習の難しい事例を選択 する Hard Example Sampling を提案する。

可能なすべてのスパンを列挙した場合，実際に ラベルがつけられたスパンとオーバーラップす るスパンが複数生成される。 “This paper reports on two contributions to [ large vocabulary continuous speech recognition ] .”という例文では. 括弧で囲まれた 範囲が実際のスパンである.ことのき，列挙さ れるスパンの中には “continuous speech recognition”, "continuous speech", "contributions to large vocabulary" といった実際のスパンとオーバーラップしたものが 含まれる.こうしたオーバーラップしたスパンは互 いに共通する部分文字列を持ち，似通っているため 分類が困難になと考えられる。

HES を用いることで，ラベルの不均衡を改善する とともに，こうした予測の困難な事例に対する予測性能の改善が期待できる.

## 3 実験

提案した各サンプリング手法を用いてモデルを学習し，固有表現認識，共参照解決，関係抽出の各夕 スクにおける予測性能の比較を行った。

## 3.1 データセット

学習と評価には SciERC[1]を利用した. このデー タセットは 500 本の科学論文のアプストラクに対 して固有表現認識，共参照解決，関係抽出のための アノテーションを行ったデータセットである.この データセットのうち, 学習データと検証データを用 いてモデルの学習とハイパーパラメータの決定を行 い，テストデータで各手法の性能を比較した.

## 3.2 モデルの設定

各トークンの埋め込みを得るために，科学論文で 事前学習された BERT モデルである SciBERT[8] を 利用した. 対象の文を SciBERT に入力し, 得られた トークンの埋め込みを元にスパン埋め込みを算出 した. 学習時には SciBERT のパラメータの更新を 行った.

スパンの列挙では， $L=10$ として，トークン数が 10 以下のすべてのスパンを予測の対象とした。ま た，スパンの枝刈りにおいては共参照解決と関係抽出の両方で $\gamma=0.5$ を設定した.

固有表現認識，共参照解決，関係抽出の各タスク

表 2 実験結果

では，スパン・スパンペアの埋め达みを 2 層の順伝播型ニューラルネットワークを通して各ラベルの 予測スコアを計算した. 各層の次元はすべて 150 と した.

## 3.3 サンプリングの設定

Under Sampling と Hard Example Sampling では, 正例全てに加えて，バッチの繰り返しごとに負例を最大で 50 個ランダムに選択して学習に利用した. ま た, Over Sampling では $k=10$ として近傍を計算し， SMOTE アルゴリズムを用いて各文に対して 10 個の 正例を増やした。

## 3.4 評価

各タスクの性能はテストデータを用いて F1， Precision Recall を計算した. 関係抽出タスクでは,選択されたスパンの範囲と予測された関係ラベル のみに基づいて各スコアを計算した。したがって関係予測の評価においては選択されたスパンの NER ラベルの予測の正しさについて考慮しないものと した.

## 4 結果と考察

実験の結果を表 3.4 に示す. 手法 Base, US, OS, HES, HES+OS はそれぞれ, ベースラインモデル, Under Sampling, Over Sampling, Hard Example Sampling, HES と OS の併用，を表す.すべてのタスクの F1 ス コアにおいて，HESが最も高い精度となった. OS は固有表現認識, 共参照解決のタスクにおいてべー スラインのF1スコアを下回った。一方，Recall を 見るとすべてのタスクにおいて OS が最も高い結果 なった。また，Base と OS, HES と HES+OS をそれ ぞれ比較すると，OS を用いた場合に Precision が低

A probabilistic spectral mapping is estimated independently for each training reference speaker and the target speaker .

Each reference model is transformed to the space of the target speaker and combined by averagin

We pose this as an unsupervised discriminative clustering problem on a huge dataset of image patches

図 2 スパンとその近傍

下し，Recallが上昇する傾向がみられた.

## 4.1 スパン埋め込みの近傍

Over Sampling では近傍の事例を用いてデータを 生成するため，サンプリング対象となる事例の近傍 の状態がモデルの学習やその性能に影響を及ぼすと 考えられる。そこで，SciBERT から計算したスパン 埋め込みを用いて，ラベルのつけられたスパンの埋 め込みの近傍となるスパンを分析した。

表 2 亿正例とその近傍のスパンの例を示す. 赤で 示された範囲が正例のスパンであり，下線で示した ものが最近傍のスパンの範囲である. 近傍のスパン を見ると，その多くが正例とのオーバーラップを含 んでいることがわかる. SMOTE アルゴリズムを利用してデータを増やした場合，こうしたまぎらわし い負例との間に正例データが生成されるため, 正例 と負例の識別が困難になったと考えられる. そし て，まぎらわしい事例に対してラベルを付与してし まうことで，Over Sampling を用いた手法では Recall は高く，Precision は低くなるという結果になった。

一方，Hard Example Sampling ではオーバーラップ を含むスパンを学習に使用し, 正例と負例の境界付近の事例を学習したことで性能の向上に繋がったと 考えられる。

## 4.2 サンプリングサイズの影響

サンプリングサイズの違いによる予測性能への影響を調べるために，異なるサンプリングサイズでモ デルを学習し, 予測性能の比較を行った. 表 4.2 に HES における比較を示す. HES 10, HES 50, HES 100 はそれぞれ負例のサンプリングサイズを $10,50,100$ として学習を行ったものである.

表 4.2 から，HES 50 が全てのタスクにおいて最も 高い F1 スコアとなった. 一方，HES 10 ではベース ラインと比較して固有表現認識と共参照解決におい てはF1 スコアが下回る結果となった。この結果か ら，サンプリングサイズが小さすぎる場合には事例 が不足して十分な学習が行われず，HES を用いても

表 3 サンプリングサイズごとの予測性能

予測性能は向上しないと考えられる。また，HES 50 と HES 100 では HES 50 の F1 スコアが高いことか ら，学習に必要な事例数と正例・負例のバランスを 調整する必要があることが示唆される。

## 5 おわりに

本研究では，マルチタスク End-to-End モデルの 学習におけるラベルの不均衡の問題を解決する ために, Under Sampling, Over Sampling, Hard Example Sampling の 3 つのサンプリング手法による学習を 検討した. 実験の結果，Hard Example Sampling を用 いた場合に，固有表現認識，共参照解析，関係抽出 の全てのタスクにおいてF1 スコアの改善が見られ た.一方，SMOTE による Over Sampling ではまぎら わしい正例が生成されることで Precision の低下と Recall の上昇が確認された。そして，Hard Example Sampling においてはサンプリングサイズが予測性能 に影響を与えていて，予測性能を向上させるために は適切なサンプリングサイズを選択する必要がある ことが示唆された。

また，本研究で用いたようなスパンとその関係を 同時に予測するモデルは，情報抽出以外のタスクに おいてもその利用が検討されている [9]. そこで，今後は他のタスクにおいてもこの提案手法による予測性能への影響を検証したい。

## 参考文献

[1] Yi Luan, Luheng He, Mari Ostendorf, and Hannaneh Hajishirzi. Multi-Task Identification of Entities, Relations, and Coreferencefor Scientific Knowledge Graph Construction. In Proc. \Conf. Empirical Methods Natural Language Process. (EMNLP), 2018.

[2] David Wadden, Ulme Wennberg, Yi Luan, and Hannaneh Hajishirzi. Entity, Relation, and Event Extraction with Contextualized Span Representations. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5784-5789, Hong Kong, China, nov 2019. Association for Computational Linguistics.

[3] Yi Luan, Luheng He, Mari Ostendorf, and Hannaneh Hajishirzi. Multi-task identification of entities, relations, and coreference for scientific knowledge graph construction. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, EMNLP 2018, pp. 32193232. Association for Computational Linguistics, 2020.

[4] Miroslav Kubat and Stan Matwin. Addressing the curse of imbalanced training sets: One-sided selection. In In Proceedings of the Fourteenth International Conference on Machine Learning, pp. 179-186. Morgan Kaufmann, 1997.

[5] Nitesh Chawla, Kevin Bowyer, Lawrence Hall, and W. Kegelmeyer. Smote: Synthetic minority over-sampling technique. J. Artif. Intell. Res. (JAIR), Vol. 16, pp. 321-357, 062002.

[6] P. F. Felzenszwalb, R. B. Girshick, D. McAllester, and D. Ramanan. Object detection with discriminatively trained part-based models. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 32, No. 9, pp. 1627-1645, 2010.

[7] Abhinav Shrivastava, A. Gupta, and Ross B. Girshick. Training region-based object detectors with online hard example mining. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 761-769, 2016.

[8] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3613-3618, Hong Kong, China, November 2019. Association for Computational Linguistics.

[9] Zhengbao Jiang, Wei Xu, Jun Araki, and Graham Neubig. Generalizing Natural Language Analysis through Spanrelation Representations. pp. 2120-2133. Association for Computational Linguistics (ACL), jul 2020.


# SVM を用いた BCCWJ における同形異音語の読み推定

小林汰一郎
茨城大学工学部情報工学科
17t4036s@vc.ibaraki.ac.jp
}

古宮嘉那子
茨城大学理工学研究科工学野情報科学領域
kanako.komiya.nlp@vc.ibaraki.ac.jp

## 1 はじめに

日本語には同形異音語と呼ばれるものがある。これ は文字通り「同じ字形で異なる読みを持つ語彙」の ことであり、例として「強請る」などがある。これは 「ユスル」と「ネダル」という 2 つ読みがあるが、こ れらは明らかに異なる意味であり、文章によって適切 に読み分ける必要がある。日本語話者であれば、どち らの読みが正しいのか文脈から判断することはさほど 難しくない。また、 3 種類以上の読みを持つ同形異音語も存在する。「辛い」などがその最たる例である。 これは「カライ」「ツライ」「ヅライ」のように読むこ とができる。「カライ」と「ツライ」が違う意味である ことは言うまでもないが、文章によっては「ツライ」 という読みに連濁が発生し、「ヅライ」と読むことも ある。この連濁を無視して文章を読むことは不自然で あることから、「ツライ」と「ヅライ」にも読み分け が必要であることが分かる。

このように、同形異音語の読み分けは文章の意味を 理解する上で必須である。ただ、その読み分けには文脈の理解が必要であると予想され、機械が読み分ける ことは困難である。そこで、文脈を考慮できる分散表現の一種である BERT など複数のべクトル化手法を用 いて単語をべクトル化し、それらを大力とした SVM を用いて同形異音語の読み分類を行った。

## 2 関連研究

本研究は語義曖昧性解消の一種と捉えられる。語義曖昧性解消とは、複数の語義を持つ単語を一意 に識別するタスクのことである。語義曖昧性解消 は、頻出の単語のみを対象語とする Lexical Sample Task と文中の全単語を対象とする All-words Word Sense Disambiguation（[1]、[2] など）に分けられる。本研究は、Lexical Sample Task の一種として捉えられ る。日本語の Lexical Sample Taskには、SENSEVAL-2 Japanese dictionary task ([3]) や SemEval-2010 Japanese WSD Task（[4]）などがある。

## 3 ベクトル化手法

SVM を用いて同形異音語の読み分類をする際に、以下のようなべクトル化の手法を試みた。

1. one-hot ベクトル

2. word2vec

3. BERT

本節では、これらの手法について

・「私はその辛いカレーをその時食べた。」(以下文章 1)

・「あなたはその辛い出来事を忘れてはいけない。」 (以下文章 2)

を例にとって説明する。

## 3.1 one-hot ベクトルを用いた手法

one-hot ベクトルとは、対応する素性だけを 1 とし、 その他は全て 0 としたべクトルのことである。本研究 で利用した作成方法は以下の通りである。

1. 同形異音語の周辺 6 単語を抽出する

2. 抽出した単語に数値を割り当てる

3. one-hot ベクトルに変換する

4. 同形異音語 1 単語毎にベクトルを連結する

まず 1. では文章中の同形異音語の前後 3 単語ずつ を抽出する。今回の例で言えば、文章 1 と文章 2 か ら抽出される単語はそれぞれ「私」「は」「その」「カ レー」「を」「その」と「あなた」「は」「その」「出来事」「を」「忘れる」の計 12 単語である。

2. では抽出された単語の辞書を作成し、素性とす る。ただし、同じ単語でも、出現した場所によって異 なる素性とする。今回で言えば、文章中の同形異音語「辛い」の 1 つ前に出現した「その」と 3 つ後に出現 した「その」とは区別して素性とする。

3. では 2. で作成した素性に対して、周辺単語が属 する素性を 1 とし、その他は全て 0 とする。

4. では 3. で作成した one-hot ベクトルを単語每に連結させ、 1 つのベクトルとする。

この手法では、文章数によってべクトルの次元が
大きく変化しうる。今回の実験では抽出された文章は $1,441,636$ 文となり、 162,314 次元のベクトルと なった。

## 3.2 word2vecを用いた手法

本研究では $n w j c 2 v e c^{1)}[5]$ を利用した。 $n w j c 2 v e c は$国語研日本語ウェブコーパス (NWJC)([6]) から学習さ れた単語の分散表現データであり、word $2 \mathrm{vec}^{2}$ )を基に 構築された。単語分散表現とは、単語を高次元のべク トルに変換する技術の総称で、word2vecを皮切りに世界中で研究されている。word2vec とは Mikolov ら [7] が 2013 年に提案した手法で、例えば、「王様」を表す ベクトルから「男性」を表すべクトルを引いて、更に 「女性」を表すべクトルを足すと、「女王」を表すべク トルになるように、単語間で構成性を持つのが大きな 特徴である。また、word2vecでは同じ表層を持つ単語 は同じベクトルに変換される。例えば多義語でも同じ ベクトルに変換される。これは同形異音語も同様であ るため、同形異音語自身の word2vec を素性としても 読み分類には役立たない。

今回使用した nwjc2vec の学習の詳細は以下の通り である。

・アルゴリズム : C-BOW

・次元数 : 200

・ウィンドウ幅 : 8

・ネガティブサンプリングに使用した単語数 : 25
- 反復回数 : 15

one-hot ベクトルの時と同じように、ベクトル化の 対象となる単語は文章中の同形異音語の周辺 3 単語ず つである。今回の例で言えば「私」「は」「その」「カ レー」「を」「その」と「あなた」「は」「その」「出来事」「を」「忘れる」の計 12 単語である。各単語べク トルを連結する際、出現した順番に連結することで単語の位置を考慮した。nwjc2vec は 1 単語当たり 200 次元のベクトルであるため、 6 単語の抽出を行った本実験では、 1 文章につき 1,200 次元のべクトルとなった。

## 3.3 BERTを用いた手法

BERT[8] とは'Bidirectional Encoder Representations from Transformers' の略称で、Jacob Devlin らが 2018 年に発表した分散表現及びそれを利用したモデルで ある。BERT の大きな特徴として、文脈に依存した出力を行うことが挙げられる。これは、同じ単語でも 文脈によって違うべクトルを出力するということで

ある。本研究では $n w j c-B^{2} R R T^{3)}$ と呼ばれる、言語資源協会より公開されている事前学習モデルを利用した。 nwjc-BERT は、国立国語研究所コーパス開発センター 超大規模コーパスプロジェクトで整備されたウェブテ キストコーパスから訓練された、48,914 語彙素からな る BERT モデルであり、同データの 226 億語から、表層形でない UniDic 語彙素に基づいて訓練された。次元数は 1 単語当たり 768 次元である。

nwjc-BERTを用いてべクトル化する際には、同形異音語自身をべクトル化の対象とした。上述の通り、 BERT は文脈を考慮し、それ故に同じ単語であっても 文章によって異なるべクトルを出力できる。この特性 を利用し、周辺単語を抽出してべクトル化せず、文章中の同形異音語自身をべクトル化の対象とした。ベク トル化の際は左右 6 単語を文脈として入力した。

## 4 実験

実験には現代日本語書き言葉均衡コーパス (以下 $\mathrm{BCCWJ})^{4}$ を利用した。

BCCWJ に含まれているテキストとしては以下のよ うな種類があり、今回の実験では全てのジャンルを対象とした。

・出版サブコーパス

一書籍

-雑誌

一新聞

・図書館サブコーパス 一書籍

・特定目的サブコーパス

一白書

一教科書

一広報誌

ーベストセラー

-Yahoo!知恵袋
- Yahoo!ブログ

一韻文
- 法律
- 国会会議録

実際に BCCWJ に含まれていた同形異音語は 71 種存在した (表 1) が、単語数が少なすぎるものについて は実験の対象外とした。具体的には、間値を 50 と設定し、合計単語数が間値を下回った単語 (表 1 下部の 「巨頭」「泡沫」「竹馬」)を実験の対象外とした。

サポートベクトルマシン (SVM) には scikit-learn ${ }^{5}$ の

 & 読み 4 & 読み 5 & 読み 6 & 単語数 \\

SVC 及び LinearSVC を利用した。ベクトル化手法毎 のそれぞれ使用したカーネルは表 2 の通りである。

実験結果のマクロ平均、マイクロ平均を表 3 及び 表 4 に示す。また、各単語において、(最頻出読み 数)/(全読み数) をBASELINE として設定した。この BASELINE のマクロ平均とマイクロ平均もそれぞれ 表 3 と表 4 に示す。

## 5 考察

表 3、表4から、one-hotベクトルが最も良く、BERT が最も悪いという結果が読み取れる。one-hot ベクト ルには、定型的な表現やルールが存在するものの分類 には強いという特徴がある。つまり、one-hot ベクト ルが最も良かった要因としては、読みの分類には前後 の単語によるシンプルなルールがあるからだと考えら れる。

また、one-hot ベクトルには未知語が存在しない。 これは、素性として登録されていない単語が出てきた ら、新たに対応した素性を作成するというアルゴリズ ム故である。それに対して、nwjc2vec や nwjc-BERT はあらかじめ登録された単語しかべクトル化できな い。これによって、one-hot ベクトルが単語分散表現よりも良い結果が得られたのではないかと考えら れる。

そこで nwjc2vec と nwjc-BERT に対して未知語を検出した結果、その数は表 5 のようになった。

このように、nwjc-BERT では未知語の割合が $1 / 6$ 程度を占めているが、これは 1 つの文章につき 1 単語程度未知語が発生している計算となる。また、nwjc2vec表 5 未知語の数とその割合

と比べても未知語が 250 倍程度ある。そのため、 one-hot ベクトルと nwjc2vec に比べて、nwjc-BERT が 最も悪い結果になったと考えられる。

## 6 おわりに

本稿では BCCWJ から同形異音語を抽出し、その周辺単語や同形異音語自身を素性として、読みの分類を SVM で行った。ここで、周辺単語を素性とする時は 前後 3 単語のみを素性とした。

単語のベクトル化手法には one-hot ベクトルと単語分散表現を用い、単語分散表現では nwjc2vec と nwjc-BERTを用いた。これらのベクトル化された単語をSVM の入力とし、one-hot ベクトル及び nwjc2vec では linear カーネルのみを、nwjc-BERT では linear、 poly、rbf、sigmoid の 4 種のカーネルを試した。

結果としてはマクロ平均・マイクロ平均共に one-hot ベクトルが最も高く、BERT が最も低いという結果に なった。

今後の展望として、ベクトル化手法として BERTを 用いる場合、今後は 1 文全てを素性として実験しよう と考えている。BERT は文脈を考慮して単語をべクト ル化できるため、ベクトル化の際に与える単語をより に広げることで、今回の実験結果より高い精度が得ら れると考えられる。より高い精度が得られれば、転移学習による他のタスクの解決にもつながると考えて いる。

その他にも one-hot ベクトルと BERT の複合ベクト ルを入力とするなど、ベクトル化手法の工夫も考え ている。また、非線形分類を行うために MLP など、 SVM 以外を用いた分類手法を取り入れることも視野 に入れている。

## 謝辞

本研究は、茨城大学の特色研究加速イニシアティブ 個人研究支援型「自然言語処理、データマイニング に関する研究」に対する研究支援および JSPS 科研費 17KK0002、および 18K11421 の助成を受けたもの です。

## 参考文献

[1] David Yarowsky. Unsupervised word sense disambiguation rivaling supervised methods. In 33rd annual meeting of the association for computational linguistics, pp. 189-196,

1995.

[2] 浅原正幸佐々木稔 新納浩幸鈴木類. 概念辞書の類義語 と分散表現を利用した教師無し all-words WSD. 自然言語処理 Vol26 No2., 2019.

[3] Kiyoaki Shirai. Senseval-2 japanese dictionary task. In Proceedings of SENSEVAL-2 Second International Workshop on Evaluating Word Sense Disambiguation Systems, pp. 33-36, 2001.

[4] Manabu Okumura, Kiyoaki Shirai, Kanako Komiya, and Hikaru Yokono. On semeval-2010 japanese wsd task. Information and Media Technologies, Vol. 6, No. 3, pp. 730-744, 2011.

[5] 新納浩幸, 浅原正幸, 古宮嘉那子, 佐々木稔. nwjc2vec:国語研日本語ウェブコーパスから構築した単語の分散表現データ. 自然言語処理, Vol. 24, No. 5, pp. 705-720, 2017.

[6] Masayuki Asahara, Kikuo Maekawa, Mizuho Imada, Sachi Kato, and Hikari Konishi. Archiving and analysing techniques of the ultra-large-scale web-based corpus project of ninjal, japan. Alexandria, Vol. 25, No. 1-2, pp. 129-148, 2014.

[7] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient Estimation of Word Representations in Vector Space. ICLR, 2013.

[8] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R Salakhutdinov, and Quoc V Le. Xlnet: Generalized autoregressive pretraining for language understanding. In Advances in neural information processing systems, pp. 5753-5763, 2019.


# オンラインコミュニティにおける単語頻度の通時的変化を利用 た新語リストの獲得

阿部香央莉 1 松田耕史 2,1 吉川将司 3,2 乾健太郎 1,2
1 東北大学大学院情報科学研究科 2 理化学研究所 3 東北大学 TCPAI 研究センター
\{abe-k, matsuda, inui\}@ecei.tohoku.ac.jp yoshikawa@tohoku.ac.jp

## 1 はじめに

近年，機械翻訳などの言語処理技術の発展は目覚 ましいが，それらのシステムに対して未知の単語 （未知語）が入力として与えられると，その性能は 顕著に落ちることが知られている $[1,2,3]$.

未知語の例としては，漫画のタイトルなどの固有名詞（「呪術廻戦」，「あつ森」など）や，特定のコ ミュニティ内で生まれ幅広く広まった用語（「草」，「エモい」など)，医学や法学などの専門用語などが あげられる。これらの語は日々生み出され続けてお り，大規模データを学習した BERT[4] のようなモデ ルにおいても, 現状の学習済モデルが静的な状態で 運用されている以上，これらの新語全てに対応する のは不可能である. したがって，今後の自然言語処理技術の発展に向け, 未知語（特に新語）に対応す る術を考えることの重要性が増している。

しかし，日本語において新語を対象にした分析を 行うための基盤は，我々の知る限り十分に整えられ ていない. そのため，我々は新語分析基盤を整える ための最初のステップとして，具体的にどのような 新語が存在するのかを把握するべく, 分析対象とな る新語のリストを収集することを試みる。新語リス トの収集後には，リスト中の語の体系的分析や，自然言語処理システムの新語に対する頑健性を評価 するデータセットの構築等を行っていく. 本研究で は，日本語における新語のリストをデータ駆動的に 獲得することを目的として，時系列の記録が紐づい たテキストデータから (1) 頻度 0 から生起した語の 取得 (2) 年々右肩上がりに頻度上昇した語の時系列 クラスタリングによる取得の 2 つを試す. 結果とし て, 前者で満足に取得できなかった新語を後者で取得できた ${ }^{1)} も の の ，$ 実際に新語リストとして活用す るには目視による確認が必要であり，今後の新語研

1）詳細なクラスタリング結果はhttps://chanabe-k.github。 io/time_clustering_novel_words を参照.究基盤を整えるためさらに精査する心算である.

## 2 関連研究

近年の言語処理分野においては，新語（novel words）や造語（neologism）に着目した研究が広が りつつある．英語では，オンラインコミュニティの Reddit データ [5, 6] や新聞データ [7] を利用した新語 についての研究が行われている. Cole ら [5] は，新語の生み出される数が年々増加するという過去の報告通りの現象が Redditにおいても生じることを確認 している。これは，日々生まれる新語に対処する方法論を考える必要性を示唆する結果である。また， Pinter ら [7] は, 新聞データにおいて出現した新語 に対し, 細かい粒度（混成語，方言，ドメイン特化 の専門用語等）での分類を行い，新語データセット の作成を行っている.この研究からもわかる通り，一言で新語と言ってもその中身は多様であり，こ れら全てに対応するための方法論は自明ではない.既存語の組み合わせや変形で生じた語に関しては, Hofmann ら [6] がある特定の語を語幹として語形変化によって生み出された新語 (例 : trump $\rightarrow$ trumpy, trumpish）のまとまりを形態論的家族（morphological family）と呼び，その広がりを推測するという新し いタスクを提案している. また, Schick らは BERT の埋め込み表現と語形を考慮したベクトルを組み 合わせて（新語などの）希少語に対応する手法を提案している [8]. さらに，英語だけでなくへブライ 語においても，へブライ語の語形成の特徴を考慮し た造語自動生成の研究などが行われている [9]. こ のように，新語に関する研究は言語を跨って行われ ており，その多くは新語問題に取り組む手始めとし て，新語研究を行うための基盤（データセット・タ スク）を整えている。しかし，日本語において同様 に新語についての分析を行いたいと考えた時に，こ のようなデータセットなどの資源は現状整備されて

いない. そのため, 本研究では新語分析を行うため のデータセット構築に向け，まず分析対象とする新語のリストを獲得することを試みる。

日本語において新語の研究を行いたいと考えた 時, 日本語ではひらがな・カタカナ・漢字・アル ファベットの 4 種類もの文字セットを常用している ことにより, 英語等の既存研究の枠組みを適用する だけでは新語のモデリングが困難と考えられる．藤井ら [10] の研究では, 現状の機械翻訳モデルは異表記（本来漢字等で表すべきところを，ひらがなやカ タカナ等で表現している）を含む文に対処できない という指摘がある. このように，一つの概念に対す る表現手法が一意に定まらない点が日本語における 新語研究を複雑化させていると考えられる.

## 3 新語リストの獲得

新語を対象とした分析を始めるにあたり，まず どのような新語を対象とすべきか，対象とする新語をどう同定するかという点が第一の問題とな る. 特に日本語では, 分かち書きがされていないこ とにより，文中のどの範囲を新語として取り出す かという課題も生じる。この議論は, Unidic[11] や $\mathrm{MeCab}$ の NEologd[12] など, 単語分割用辞書の自動獲得の文脈にも近い. 本研究では, 新語の分割自体 は NEologd に頼り，この辞書中で特に幅広く話題と なっている新語をどう獲得するか，という点に焦点 を当てる．単語分割方法を定めた上で，以下の 3 種類の見方で新語を取得することを考える。

1. 予め新語とわかっている単語

2. ある基準（日時等）を境に，頻度 0 から生起し た単語

3. 頻度が年々右肩上がりに上昇した単語

1 は言語学の知見や人手による観察を元にリスト を得る方法で， 2 および 3 は大規模コーパスを利用 してデータ駆動的に得る手法である. しかし， 1 の 手法では選定する新語が人間の感覚や観察に大きく 依存するため, 対象としたい新語を大規模に獲得す ることができない. 本研究では, 先行研究 $[5,7]$ で も用いられている 2 と, 本研究で新たに試みた 3 の 結果を報告する。

## 3.1 データセット

本研究では，通時的な単語頻度の変化を集計・分析することで，新語の隆盛の傾向を捉えることを試
みる.このような分析を行うためには，なるべく大規模かつそのテキストがいつ記述されたものかとい う情報が付加されている，各年代別に分かれたデー タセットを分析対象とする必要がある. 今回は，こ の条件に該当するデータとして，Twitterをクローリ ングして得られたデータ (Twitter データ) および国立情報学研究所のダウンロードサービスにより株式会社ドワンゴから提供を受けた『ニコニコ動画コ メント等データ [13]』(ニコニコデータ) を用いた. Twitter データに関しては，2013 年から 2018 年まで クローリングした結果から，各年別に一部を抽出し た $^{2)}$ データを使用した. Twitter データ及びニコニコ データの各年ごとのデータ規模を表 1 に示す.

単語頻度の傾向分析をする際，データの規模に よって正規化を行った. 以降の実験結果におけるグ ラフの縦軸は，「対象とする単語の頻度 / 総単語数」 で算出した割合となっている。

## 3.2 頻度 0 を基準とした新語獲得

ここでは，Twitter およびニコニコデータセットに おいて，ある年を境に出現した新語を抽出して新語リストを獲得することを試みた。具体的な手順 としては，表 1 に示している各年コーパスにおい て，コーパス中に出現する全単語を集めた語彙集合 $\left(V_{y}, y=2013, \ldots, 2018\right) を$ 作成し，この語彙集合間の 差分を取った. 例えば， 2015 年データセットの語彙集合 $V_{2015}$ から，それまでの（2013～2014 年）デー タセットの語彙集合の和 $V_{2013} \cup V_{2014}$ をいたもの を 2015 年に出現した新語とみなした。なるべく広範に使用されている語を獲得したいため, 初めて出現した年（上記の例の場合，2015 年時点の頻度）に おいて頻度が 100 より大きいものを抽出した.

表 2 にて，実際に獲得された新語のリストの一部 を例として示す. 表 2 より, Twitter・ニコニコデー 夕それぞれにおいて獲得された新語は，数・内容共 に大きく異なることがわかった。取得される数は元 データの規模に大きく依存していた。また内容に関 しては, Twitterデータの方がより時事的な話題やテ レビの番組等の固有名詞が多いのに対して，ニコニ コデータではゲーム・アニメに関する固有名詞が多 い傾向がみられた. また，それぞれのデータから 抽出された時点では，ノイズとみなされるような 単語3) も多く抽出されていたが，Twitter・ニコニコ

2）一部抽出する際，http から始まる URL を含むツイートを 除外し，ツイート内からユーザ名を除く前処理を行った。

3）特にニコニコデータでは「弾幕」あるいは「荒らし」と見な

表 1 各年ごとの Twitter およびニコニコデータの規模（行数，総単語数）.ニコニコデータは 1 コメント 1 行として数え る. 総単語数は単語の異なり数ではなく，データ中の全単語数である（実験節におけるグラフの正規化のために用いる）.

表 2 Twitter およびニコニコデータにおける各年コーパスの語彙集合の差分から得られた新語リスト

データ双方で新語と判定された語（2つのリストの 積集合）を取ることで，より妥当な新語リストを抽出することができた.しかし，積集合を取ることで 新語リスト内の単語の総数は大きく減少するため,積集合を取って質を高めることと獲得される新語の 数はトレードオフの関係にあると言える。一方で,

表現はこの手法ではうまく獲得できなかった. 原因 として，「エモい」は 2013 年時点から Twitter データ で 198 件，ニコニコデータで 452 件出現しており，当時から既に幅広く使用されていた語彙であるこ

たものの，3５年のスパンをかけて徐々にその勢力 を拡大しており，頻度の下限で足切りされたことが あげられる.

されるものにより，一般的でない表現（「。・。丸・。」など） が新語とみなされ獲得されてしまうという現象が起きていた。

## 3.3 時系列クラスタリングによる新語獲得

頻度 0 から急激に使用頻度が増えた単語を抽出す るだけでは，「エモい」等の既知の新語をデータ駆動で獲得することができなかった．そこで，このよ うな単語も抽出する方法として，各年コーパスを比較した際に顕著に頻度が増加した単語を自動抽出す る手法を考えた．具体的には，各単語の 2013～2018 年の頻度の推移を時系列データとみなして時系列ク ラスタリングを行い，単語頻度が上昇傾向にある単語を収集することを試みた。

## 3.3.1 実験設定

Python の tslearn ライブラリ4)における TimeSeriesKMeans（時系列に対応した K-Means 手法）を 用いてクラスタリングを行った.このとき，時系

(a) Twitter, 右肩上がり

(c) Twitter, 凸型

(b) Twitter, 右肩上がり

(d) ニコニコ,右肩上がり

図 1 Twitter およびニコニコデータの単語に対する時系列クラスタリングの結果. 赤線はクラスタの中心線を表す.

列データ間の距離尺度にはユークリッド距離を用 いた5 ${ }^{5)}$.クラスタ数は Twitter・ニコニコデータそれ ぞれにおいて 100，80とした．実行時間を考慮し， Twitter データでは頻度 2,000 以上かつ 20,000 未満の 23,504 語，ニコニコデータでは頻度 2,000 以上かつ 200,000 未満の 14,586 語に対してクラスタリングを 実行した。

## 3.3.2 実験結果

図 1 に，時系列クラスタリングの結果の例を示 す. 図 1 (a)のクラスタでは，2013 年当時の出現頻度がほぼ 0 に近い単語が，2018 年には 3 倍ほどの頻度に達している様子が読み取れる。このクラスタに は 3.2 節で得られなかった「エモい」が含まれてい るだけでなく，「Bluetooth」「LGBT」など，次第に世間に広まった新語が含まれていることを確認でき た. また，同じく右肩上がりの傾向が見られたクラ スタ（図1(b)）では，「すこ」「メルカリ」のような 単語が見られた。一方で，この右肩上がりのクラス タ内には「アスリート」などの新語ではない単語も 見受けられた. 同様に，ニコニコデータでも右肩上 がりのクラスタから流行した新語（「SSR」「野田内閣」など）のリストを得ることができた（図 1 (d)). しかし，Twitter と比べるとニコニコデータでは右肩上がりとみなせるクラスタが少なかった6）。

時系列クラスタリングの副産物として，一時的に 流行した単語リスト（凸型の傾向）や，以前は流行

5） 距離尺度を Dynamic Time Warping (DTW) や Soft DTW とし た実験も行ったが，結果に大きな差異は見られなかった。

6）目視で確認した結果，Twitter データでは $24 / 100$ ，ニコニコ データでは 13 / 80 のクラスタが右肩上がりの傾向を示してい た.
していたが年々衰退している単語のリスト（右肩下 がりの傾向）の収集もできた. 図 1(c)の凸型グラフ のクラスタからは，「集団的自衛権」「アナ雪」など の 2014 年頃に話題となった単語が取得できた.

総じて，異なる 2 種類のデータセットから新語を 含む語集合を得ることができたものの，中には一部新語に分類されないものが含まれており，新語分析用のデータセット等を作る上ではここからさらに目視による確認ステップを挟むなどして，その質を高 める必要があることがわかった．また， 3.2 節と同様に，データセットによって獲得できる新語の種類 は異なっていた。これは各データセットの元となっ たコミュニティの文化やそこで取り上げられる主要 な話題に依拠しているものであり，実世界にある新語を網羅的に獲得するには複数のデータセットで横断的に新語を獲得する必要があると考えられる。

## 4 おわりに

日本語において日々生まれ拡散されていく新語に ついて，時系列情報がテキストと紐付いたデータを 用い，その通時的な変化を元にデータ駆動で新語リ ストを獲得することを試みた。今後は，引き続き利用可能な時系列情報が付加されたデータセット（新聞データ等）を利用して新語リストを拡充し，この 新語リストを利用した日本語における新語データ セットの作成に取り組みたい。またデータセット構築後の次のステップとして，現状の BERT 等のモデ ルにおいて今回収集したような日本語の新語を扱え ているかどうかの分析を行うことも考えている.

謝辞本研究は JSPS 科研費 JP20J21694 の助成を 受けたものです.

## 参考文献

[1] Shoetsu Sato, Jin Sakuma, Naoki Yoshinaga, Masashi Toyoda, and Masaru Kitsuregawa. Vocabulary adaptation for domain adaptation in neural machine translation. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 4269-4279. Association for Computational Linguistics, 2020.

[2] Zorik Gekhman, Roee Aharoni, Genady Beryozkin, Markus Freitag, and Wolfgang Macherey. KoBE: Knowledge-based machine translation evaluation. In Proceedings of EMNLP (Findings), pp. 3200-3207. Association for Computational Linguistics, 2020.

[3] Timo Schick and Hinrich Schütze. Rare words: A major problem for contextualized embeddings and how to fix it by attentive mimicking. Proceedings of AAAI, Vol. 34, No. 5, pp. 8766-8774, 2020.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL-HLT, pp. 4171-4186. Association for Computational Linguistics, 2019.

[5] J. Cole, M. Ghafurian, and D. Reitter. Word adoption in online communities. IEEE Transactions on Computational Social Systems, Vol. 6, No. 1, pp. 178-188, 2019.

[6] Valentin Hofmann, Janet Pierrehumbert, and Hinrich Schütze. Predicting the growth of morphological families from social and linguistic factors. In Proceedings of ACL, pp. 7273-7283. Association for Computational Linguistics, 2020.

[7] Yuval Pinter, Cassandra L. Jacobs, and Max Bittker. NYTWIT: A dataset of novel words in the New York Times. In Proceedings of COLING, pp. 6509-6515. International Committee on Computational Linguistics, 2020.

[8] Timo Schick and Hinrich Schütze. BERTRAM: Improved word embeddings have big impact on contextualized model performance. In Proceedings of ACL, pp. 3996-4007. Association for Computational Linguistics, 2020.

[9] Moran Mizrahi, Stav Yardeni Seelig, and Dafna Shahaf. Coming to Terms: Automatic Formation of Neologisms in Hebrew. In Proceedings of EMNLP (Findings), pp. 49184929. Association for Computational Linguistics, 2020.

[10] Ryo Fujii, Masato Mita, Kaori Abe, Kazuaki Hanawa, Makoto Morishita, Jun Suzuki, and Kentaro Inui. PheMT: A phenomenon-wise dataset for machine translation robustness on user-generated contents. In Proceedings of COLING, pp. 5929-5943. International Committee on Computational Linguistics, 2020.

[11] 岡照晃. 『国語研日本語ウェブコーパス』からの新規語彙素獲得の試み. 言語資源活用ワークショップ 発表論文集, No. 3, pp. 586-592, 2018.

[12] 佐藤敏紀, 橋本泰一, 奥村学. 単語分かち書き辞書 mecab-ipadic-neologd の実装と情報検索における効果的な使用方法の検討. 言語処理学会第 23 回年次大会 (NLP2017), pp. 875-878. 言語処理学会, 2017.

[13] 株式会社ドワンゴ. ニコニコ動画コメント等データ. text(json), 2018. 国立情報学研究所情報学研究データ リポジトリ.


# 対話型検索に向けた Semantic Parsing の データ生成フレームワークの提案

丸山拓海椎橋怜史谷山徹神谷慶嶋村昌義
株式会社 LIFULL
\{MaruyamaTakumi, ShiibashiSatoshi, TaniyamaToru, KamiyaKei,
ShimamuraMasayoshi\}@lifull.com

## 1 はじめに

弊社では「LIFULL HOME'S 住まいの窓口 ${ }^{11} 」 と$ いう，家探しや家づくりに関することを専属アドバ イザに無料で相談出来るサービスを運営している.本サービスは実際の店舗だけでなく, ビデオ通話や LINE 経由の相談密口も用意されており，アドバイ ザとの対話を経て，より好みに合った物件探しをす ることができる。一般的に，対話業務を効率化する ために自動応答チャットボットが活用される傾向が あるため，今回我々は対話業務の自動化を想定し，住まい探しに関するユーザ発話の言語解析を試み た. 具体的には, ユーザ発話を適切な論理形式へと 変換する Semantic Parsing とそのデータ構築に取り 組んだ。

Semantic Parsing とは, 自然言語文を特定のアプリ ケーションのための論理形式へと変換するタスク である.ここでいう論理形式とは, ラムダ式 [1] や $\mathrm{SQL}$ 文 $[2,3,4]$, プログラミング言語 [5] などの形式 を指す.また, 独自定義のツリ一構造 $[6,7]$ を利用 している研究も存在する。自然言語をこのような 特定の形式に変換することで, ユーザ発話を入力と した情報検索や AI アシスタントの制御が可能とな る.しかしながら, 論理形式をアノテーションす るには一定レベルの専門知識が必要とされるため, データセットの構築は容易ではない.

そこで，我々は Wang ら [8] の英語を対象とした データ構築手法を参考に, 日本語に合わせた文法規則の定義と対話文脈への拡張を行い, 論理形式アノ テーションを言い換え作業に変換する新たなデータ 構築フレームワークの作成を試みた。本論文の貢献 を以下に示す.

・日本語 Semantic Parsing データセットを効率的

に開発するフレームワークの提案
- 対話履歴を利用した実験により，提案手法で構築したデータの効果を検証

## 2 関連研究

Semantic Parsing は知識データベースに対する質問応答や AIアシスタントの自然言語による制御など 幅広い分野への応用が期待されるタスクである.

Semantic Parsing を行う方法として, 組合せ範疇文法に基づく手法 $[1,9]$ や, 質問応答ペアから学習す る方法 [10] など様々な手法が提案されている. 近年では, 深層学習をベースとした系列変換モデルに よる手法も数多く提案されている $[11,12,13,14]$. その一方で, データセットの構築に専門的知識が必要とされることから，コストが非常に高く，新規ド メインへの適用の難しさが課題となっている.

そこで, Wang ら [8] は, ドメインに依存しない文法規則とドメイン固有の語彙規則の組み合わせから 擬似的な「自然言語文-論理形式ペア」を生成した のち，自然言語文側を人手で言い換えることで，よ り流暢かつ多様性のあるデータ構築を目指した。

## 3 データ生成手法

本論文で提案するデータ生成手法の手順を図 1 に 示す. 大まかな流れは次の通りである: (1) ドメイン 固有の語彙規則 (3.2 節)を定義したのち, それらを (2) 文法規則 (3.3 節)によって組み合わせることで擬似的な文と論理形式のぺアを生成する。その後，(3)擬似生成文を人手で言い換えることで，(4) 言い換 え文と論理形式のペアを獲得する (3.4 節). このよ うに，擬似生成文を経由することで，専門的知識が 必要とされる論理形式のアノテーション作業が言い 換え作業に置き換わり，より容易にデータ構築する ことが可能となる。ポイントは擬似データ生成部

## 言い換え-論理形式のペア

図 1 擬似データ生成フロー

分である.このステップでは, 対象となるドメイン ごとに構築する語彙規則を，フレームワーク側で提供するドメイン非依存の文法規則により適切に組み 合わせ, 自然言語文と Lambda-DCS(3.1 節) と呼ばれ る論理形式のペアを生成する. 詳細は, 3.2 節およ び 3.3 節で述べる.

## 3.1 Lambda-DCS

Lambda-DCS[15] とは, Semanitc Parsing における 知識グラフを背景とした論理形式の 1 つである.具体的には, 名詞や数值表現 (e.g. Apartment, 1LDK) などをノードとし, その関係性 (e.g. floorPlan) を エッジとするグラフで表現される。このグラフ上 のノードを辿っていくことで, 任意の検索対象を

現する場合, Lambda-DCS では, floorPlan.1LDK のよ うに記述する.このように，ノード (1LDK) とエッ表 1 語彙規則の例

住まい探しドメイン

（1）賃貸アパート $\rightarrow$ TYPENP[Apartment]

(2) 1LDK $\rightarrow$ NUM[1LDK]

(3) 間取り $\rightarrow \mathrm{NP} / \mathrm{ga}[$ floorPlan]

(4) 賃料 $\rightarrow \mathrm{NP} / \mathrm{ga}[$ rent]

(5) ペット入居可 $\rightarrow$ NP/no[pet_friendly]

表 2 文法規則の例文法規則:基本

$\begin{array}{ll}\text { (1) } \mathrm{NP} / \mathrm{no}[r] \text { の TYPENP }[x] & \rightarrow \mathrm{NP}[\text { type } . x \wedge r] \\ \text { (2) } \mathrm{NP} / \mathrm{ga}[r] \text { が } \mathrm{NUM}[n] & \rightarrow \mathrm{NP} / \mathrm{no}[r . n] \\ \text { (3) } \mathrm{AP}[r] \mathrm{NP}[x] & \rightarrow \mathrm{NP}[x \wedge r] \\ \text { (4) } \mathrm{NP} / \mathrm{no}[r] \text { ではない } & \rightarrow \mathrm{AP}[\neg(r)] \\ \text { (5) } \mathrm{NP}[\mathrm{x}] \text { か } \mathrm{NP}[\mathrm{y}] & \rightarrow \mathrm{NP}[(x \vee y)]\end{array}$

文法規則:比較級 - 最上級

(6) $\mathrm{NP} / \mathrm{ga}[r]$ が $\mathrm{NUM}[n]$ 以上 $\rightarrow \mathrm{NP} / \mathrm{no}[r . \geq . n]$

(7) $\mathrm{NP} / \mathrm{ga}[r]$ が $\mathrm{NUM}[n]$ 以下 $\rightarrow \mathrm{NP} / \mathrm{no}[r . \leq . n]$

(8) $\mathrm{NP}[x]$ で最も $\mathrm{AP}[r] \rightarrow \mathrm{NP}[\operatorname{argmax}(r, x)]$

文法規則:合計・平均

(9) $\mathrm{NP}[x]$ の $\mathrm{NP} / \mathrm{ga}[r]$ の合計 $\rightarrow \mathrm{NP}[\operatorname{sum}(r, x)]$

(10) $\mathrm{NP}[x]$ の $\mathrm{NP} / \mathrm{ga}[r]$ の平均 $\rightarrow \mathrm{NP}[\operatorname{avg}(r, x)]$文法規則:条件追加 - 削除 - 置換

(11) $\mathrm{NP}[x]$ を追加 $\rightarrow \mathrm{NP}[\operatorname{append}(x)]$

(12) $\mathrm{NP}[x]$ を削除 $\rightarrow \mathrm{NP}[\operatorname{delete}(x)]$

(13) $\mathrm{NP}[\mathrm{x}]$ を $\mathrm{NP}[\mathrm{y}]$ に置換 $\rightarrow \mathrm{NP}[\operatorname{replace}(x, y)]$

ジ (floorPlan) を結合する際に “.”を用いて表現する. また, 論理積 $\wedge$ や論理和 $\vee$, 否定論理 っを利用し,条件を組み合わせていくことで更に複雑な表現を実現する。より詳細には Liang の文献 [15] を参照され たい.

## 3.2 語彙規則

語彙規則では, 3.1 節で述べたグラフのノードと エッジに，対応する自然言語と論理形式を定義す る. 具体的には, 「自然言語 $\rightarrow$ 文法ラベル [論理形式」のような形式を用いて定義する。ここで「住ま い探し」ドメインを例に考えると (表 1), ノードと して (1) 賃貸アパートや (2)1LDK, エッジとして (3)間取りや (4) 賃料などが考えられる. これらを, 文法ラベル (e.g. TYPENP, NUM, NP/no) と文法規則を 用いて適切に組み合わせることで，擬似データを生成する.

## 3.3 文法規則

文法規則では，文法ラベルの組み合わせによる変換規則を記述する (表 2). 生成する自然言語は日本

## 文法ラベル(ブロックの色)に応じて 適切に組み合わせると...

図 2 擬似データ生成例

語を対象としているため, Wang ら [8] の規則とは大 きく異なる規則を作成した。ただし, Wang らの規則と同様に比較級や最上級, 平均などの基本的な表現は網羅している.

近年の Semantic Parsing では, 対話履歴に基づい て論理形式をアノテーションしたデータセット [16] や対話履歴を入力として扱うモデル [13] が提案され ているが，今回は問題を簡略化するため 1 発話単位 での解析に焦点を当てている. そのうえで, 前後の 対話文脈の内容に対して, 条件の追加や修正ができ るように, 表 2 の (11),(12),(13)のような追加・削除・置換の規則を加えている。

これらの文法規則と語彙規則で定義した文法ラベルに基づいて, 語句と論理形式を適切 に組み合わせることで擬似的な自然言語文と 論理形式のペアを生成する. 例えば, 語彙規則 (表 1) の (1)，(2)，（3）と文法規則 (表 2) の (1), (2)を文法ラベルに従って適切に組み合わせ ると, 図 2 に示すように, “NP[NP/no[NP/ga[間取 り] が NUM[1LDK]] の TYPENP[賃貸アパート]] $\rightarrow$ type.Apartment $\wedge$ floorPlan.1LDK”というペアが得ら れる.

しかし，文法ラベルだけでは不自然な組み合わ せが生成される恐れがある. 例えば語彙規則 (表 1) の (2), (4) と文法規則 (表 2) の（2）の組み合わせか ら, “NP/ga[賃料] が NUM[1LDK] $\rightarrow$ rent.1LDK”など表 3 生成データ例

擬似生成 書斎が付いている 築年数が古い という条件を追加

言い換え 書斎が必要です. 築年数は古くて も構いません.

論理形式 append( ageOfHouse.Old $\wedge$ has_study)

擬似生成 既にリフォーム・リノベーション

されている賃貸戸建ての中で最 も賃料が安いもの

言い換え リノベーション済みの賃貸戸建て の中で一番安いところだとどんな 感じですか?

論理形式 $\operatorname{argmax}($ rent.Cheap, type.RentalHouse $\wedge$ is_renovated)

が生成されてしまう。そこで，語彙規則を定義す る際には，それぞれに意味的な型を持たせて，そ の型制約により不自然な組み合わせの生成を抑制 する。例えば，次のような生成途中の状態を考え る: “NP/ga[間取り] が $\mathrm{NUM}[x] \rightarrow$ floorPlan. $x$ ”. ここ で，既に “floorPlan” が確定していることから, $x$ の值 を決定する際には間取りを表す具体的な数值のみ e.g.) ワンルーム, 1K, 1LDK, 2K, ... しか受け付けな いといった制約を与える.

## 3.4 擬似生成文の言い換え

獲得した擬似生成文と論理形式のペアのうち，擬似生成文側を人手で言い換えることで，より流暢か つ多様性のあるデータの構築を目指す。言い換え 作業は, 本論文の著者 5 人で行った。構築したデー タ例を表 3 に示す。

また, 5 人の間で, 共通 20 文の言い換え作業を 行い，作業者間の言い換えにおける類似性を BLEU によって評価した (図 3). その結果, BLEU:0.1〜0.5 辺りに集中していることから，言い換え元 (擬似生成文) が共通していても作業者によって表現が異な り, 多様な言い換え表現を得られていることが分 かった。

## 4 実験

提案手法により生成したデータを Transformer[17] に学習させ, 実際に自然言語文から論理形式への変換することで, データ生成手法の効果を検証する.評価には，擬似生成文の言い換えによって得られた 評価セット 125 ペアおよび住まいの密口の対話履歴を参考に構築した評価セット 173 ペアの 2 つを 利用した。学習には言い換えデータ 1,229 ペアと,
表 4 実験結果

図 3 作業者間の言い換えの類似性

事前学習用に擬似生成データ 50,496 ペアを用いた。 また, Encoderに学習済み $B E R T^{2}$ を利用し [18], 事前学習の効果を比較した. Transformer $の$ Encoder お よび Decoder の各パラメータは BERT[19] を参考に した.

## 4.1 実験結果

実験では学習方法および学習データの異なる次の 4 つの手法を比較した: (a) 言い換え文一論理形式ぺ アのみを学習データとしたモデル，(b) 擬似生成文一論理形式ペアを事前学習したのちに言い換え文-論理形式ペアで Fine-tuning したモデル，(c) 事前学習済み BERT を Encoder として与えたのちに言い換え 文-論理形式ペアで Fine-tuning したモデル， (d) 擬似生成文一論理形式ペアのみを学習データとしたモデ ル (表 4). 評価には, BLEU および正解の論理形式 と完全一致 (Exact) ・ 1 つ以上の項が一致 (Partial) す る出力をした割合を指標に用いる.

言い換え文評価セットと対話履歴評価セットの結果を比較すると傾向に大きな違いはなく, 提案した 生成手法が同じ方法で構築された言い換え文評価

図 4 データサイズとモデルの性能

セットだけでなく目的の対話履歴の解析にも有効で あることが分かる。さらに，(a) 言い換えデータの みの学習と (d) 擬似データのみの学習結果の差から,人手による言い換え作業の効果が見て取れる.

対話履歴評価セットにおける Partial および Exact に注目すると，まだ実応用できる精度とは言い難い が，図 4 に注目すると，さらにデータサイズを拡張 することで，性能改善の見込みがあることが分か る.今後は，モデルの性能改善に寄与する学習デー タを効率的に収集する方法を検討していきたい.

## 5 おわりに

本論文では，語彙規則と文法規則の組み合わせ から自然言語文一論理形式ぺアを生成する，新たな データ構築手法を提案した。自動生成された擬似 データを経由することで，専門知識が必要とされる 論理形式のアノテーションが擬似生成文の言い換 え作業に置き換えられ，より容易にデータセットを 作ることが可能となった。生成データを学習した変換モデルにより，対話履歴を論理形式に変換する実験を行い，提案したデータ生成手法の有効性を確認 した.

## 参考文献

[1] Qingqing Cai and Alexander Yates. Large-scale semantic parsing via schema matching and lexicon extension. In Proceedings of the 51 st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 423-433, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[2] Victor Zhong, Caiming Xiong, and Richard Socher. Seq2sql: Generating structured queries from natural language using reinforcement learning. CoRR, Vol. abs/1709.00103, , 2017.

[3] Catherine Finegan-Dollak, Jonathan K. Kummerfeld, Li Zhang, Karthik Ramanathan, Sesh Sadasivam, Rui Zhang, and Dragomir Radev. Improving text-to-SQL evaluation methodology. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 351-360, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[4] Tao Yu, Rui Zhang, Kai Yang, Michihiro Yasunaga, Dongxu Wang, Zifan Li, James Ma, Irene Li, Qingning Yao, Shanelle Roman, Zilin Zhang, and Dragomir Radev. Spider: A large-scale human-labeled dataset for complex and cross-domain semantic parsing and text-toSQL task. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 3911-3921, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[5] Y. Oda, H. Fudaba, G. Neubig, H. Hata, S. Sakti, T. Toda, and S. Nakamura. Learning to generate pseudo-code from source code using statistical machine translation. In 2015 30th IEEE/ACM International Conference on Automated Software Engineering (ASE), pp. 574-584, 2015.

[6] Chris Quirk, Raymond Mooney, and Michel Galley. Language to code: Learning semantic parsers for if-this-thenthat recipes. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 878-888, Beijing, China, July 2015. Association for Computational Linguistics.

[7] Kavya Srinet, Yacine Jernite, Jonathan Gray, and Arthur Szlam. CraftAssist instruction parsing: Semantic parsing for a voxel-world assistant. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4693-4714, Online, July 2020. Association for Computational Linguistics.

[8] Yushi Wang, Jonathan Berant, and Percy Liang. Building a semantic parser overnight. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1332-1342, Beijing, China, July 2015. Association for Computational Linguistics.

[9] Chitta Baral, Juraj Dzifcak, Marcos Alvarez Gonzalez, and Jiayu Zhou. Using inverse lambda and generalization to translate English to formal languages. In Proceedings of the Ninth International Conference on Computational Semantics (IWCS 2011), 2011.

[10] Jonathan Berant, Andrew Chou, Roy Frostig, and Percy Liang. Semantic parsing on Freebase from questionanswer pairs. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1533-1544, Seattle, Washington, USA, October 2013. Association for Computational Linguistics.

[11] Li Dong and Mirella Lapata. Language to logical form with neural attention. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 33-43, Berlin, Germany, August 2016. Association for Computational Linguistics.

[12] Jayant Krishnamurthy, Pradeep Dasigi, and Matt Gardner. Neural semantic parsing with type constraints for semistructured tables. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1516-1526, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[13] Alane Suhr, Srinivasan Iyer, and Yoav Artzi. Learning to map context-dependent sentences to executable formal queries. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2238-2249, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[14] Zhichu Lu, Forough Arabshahi, Igor Labutov, and Tom Mitchell. Look-up and adapt: A one-shot semantic parser. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 1129-1139, Hong Kong, China, November 2019. Association for Computational Linguistics.

[15] Percy Liang. Lambda dependency-based compositional semantics. CoRR, Vol. abs/1309.4408, , 2013.

[16] Shashank Srivastava, Amos Azaria, and Tom Mitchell. Parsing natural language conversations using contextual cues. In Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence, IJCAI-17, pp. 4089-4095, 2017.

[17] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[18] Sascha Rothe, Shashi Narayan, and Aliaksei Severyn. Leveraging pre-trained checkpoints for sequence generation tasks. arXiv, pp. arXiv-1907, 2019.

[19] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.


# Winograd Schema Challenge への ニューラル言語モデルの適用における人名の影響

米川和仁 松崎拓也
東京理科大学大学院 理学研究科 応用数学専攻
1419523@ed.tus.ac.jp
matuzaki@rs.tus.ac.jp

## 1 はじめに

機械学習モデルが獲得した常識的知識を評価する タスクの一つとして，Winograd Schema Challenge (以降，WSC) [7] というものが構想された. WSC にお ける問題文の例を以下に示す.

When Debbie splashed Tina, she got wet.

この例に対して，回答者は先行詞候補 Debbie と Tina から代名詞 she に対応する先行詞を特定することを 求められる。適切に解くためには「水をかけられた ら濡れる」といった常識的な知識が必要となる. し かし，このような知識は明文化されにくい. そのた め, 単語の共起などの単純な統計的手法では WSC に対して十分な精度を得ることが難しいとされて いる.

一方で，近年の研究では BERT [3] などのニュー ラル言語モデルによるWSC に対する大幅な精度向上が報告されている $[5,10,12]$.このことから， ニューラル言語モデルが常識的な知識を獲得しつ つあるのではないかと考えられる．BERT 等に基 づく手法の訓練は，大量の教師無しデータによる pre-training と比較的少量の教師付きデータによる fine-tuning の 2 つの段階から成る.この学習方法は 従来の手法と大きく異なる特徴の一つであり，大幅 な精度向上の理由の一つと考えられている。しかし ながら，各段階においてデータセットからどの様な 知識が抽出されているかは明らかでない。

本研究では，WSCへのニューラル言語モデルの 適用において，先行詞候補である人名がモデルの予測に与える影響を分析した. 結果として，人名の組 み合わせの変化がモデルの予測に大きく影響する問題の存在が確認できた. また，確認された人名の影響が fine-tuning に使用したデータセットにおいて先行詞候補として出現する人名の偏りによるものでは ないことがわかった.

## 2 関連研究

機械学習手法を用いて WSC を解くために，多く の常識的知識をどの様に素性として表現するかが 議論されてきた. Rahman ら [9] は素性として，「A

といった事態間知識を機械的に収集したものを用 いている。他にも，彼らは接続詞や単語の極性, FrameNetなどを素性として利用している.

人手による素性抽出の取り組みに対して，ニュー ラル言語モデルによる WSCへのアプローチが盛ん になりつつある。Kocijan ら [5] は BERTを用いた手法を提案している。彼らの手法は, [MASK] トーク ンに置き換えられた代名詞の部分に先行詞候補のど ちらが当てはまるのかをモデルに学習させるという ものである.この手法によって，WSC に対する機械学習手法の精度はニューラル言語モデルを用いな い手法に比べ 8.8 ポイントも向上した.

この様な精度向上への取り組みの一方で，モデル が本当に常識的知識を基に WSC を解いているのか という議論が注目されている. Abdou ら [1] は，先行詞の性別の変更や同義語への置換などの言語的摄動に対してモデルによる予測が大きく変化すること を示している。また，同様の摂動に対して人間の回答が安定していることを確認している．以上の結果 から，彼らはモデルが論理的根拠を背景とした回答 を常にしているわけではないと主張している.

## 3 準備

本節では，本研究で用いたデータセットや手法の 詳細について述べる。

## 3.1 Winogrande

近年の研究では，オリジナルの WSC データセッ トの一部は統計的手法でも解くことが可能であるこ

とが報告されている [13].また，データセットに は 273 件の問題しか含まれておらず，訓練及び評価 データをどのように分割すべきかという問題も議論 されてきた.

本研究では，WSC データセットの一つである Winograndeを訓練及び評価データとして用いた. Winogrande は，上で述べたオリジナルの WSC デー タセットの弱点を改良したデータセットとされてい る [11].

本論文でのニューラル言語モデルに対する Winogrande の入力例を表 1 に示す. モデルへの入力文は代名詞（_）を先行詞候補（太字）で穴埋めした ものであり, 各問題に対して2つ用意される. この 2 つの文を同一のモデルへと入力し, $[$ CLS] ベクト ルと分類のためのパラメータベクトルとの内積が大 きい方の文を回答として選択する. Winogrande に対 するニューラル言語モデルの精度を表 2 に示す. 表中の RoBERTa-large（人名）は後述する先行詞候補 がいずれも人名である問題に対する精度である.

## 3.2 影響関数

あるテストサンプルの予測に特定の学習サンプ ルが与える影響を定量的に解析する場合，学習サン プルを 1つずつ除いたデータでモデルを再学習さ せるという方法が考えられる. この手法は単純であ る一方で，解析にかかる時間とコストが膨大になる という問題がある．影響関数 [6] は，この問題を解決し効率的に各訓練データの影響を測ることを可能にする手法である．まず，以下の式で訓練データ $\left.\{\left(x_{1}, y_{1}\right), \ldots,\left(x_{n}, y_{n}\right)\right.\}$ から学習サンプル $\left(x_{i}, y_{i}\right)$ を取 り除いた場合のモデルのパラメータ $\theta$ の変化 $\theta_{\text {change }}$ を求める。

$
\theta_{\text {change }}=-\left(\frac{1}{n} \sum_{j=1}^{n} \nabla_{\theta}^{2} L\left(x_{j}, y_{j}, \hat{\theta}\right)\right)^{-1} \nabla_{\theta} L\left(x_{i}, y_{i}, \hat{\theta}\right)
$

ここで， $L$ は学習に用いた損失関数， $\hat{\theta}$ は学習済 みのモデルのパラメータを示す. 次に，連鎖律を適用しテストサンプル $\left(x_{\text {test }}, y_{\text {test }}\right)$ に対する損失の変化 $L_{\text {change }}$ を以下の式で求める.

$
L_{\text {change }}=\nabla_{\theta} L\left(x_{\text {test }}, y_{\text {test }}, \hat{\theta}\right)^{\top} \theta_{\text {change }}
$

この $L_{\text {change }}$ を基に，あるテストサンプルの予測に 学習サンプルが与える影響を定量的に評価できる。 Han ら [4] は，この手法が BERT の fine-tuning で用い られるデータセットの分析方法として有効であると 示している.

## 4 手法

本研究は, 先行詞候補がいずれも人名である問題 を対象として，人名に対する摂動によるモデルの挙動の変化を調べる. 具体的な摂動の手法は，表 1 に 示すように先行詞候補を異なる人名で置き換えると いうものである．摂動に用いる人名及び対象となる 問題は CoreNLP [2] の Stanford NER (3 class)を用い て抽出した. Winogrande の訓練データ全体に対し検出された 63 個の人名を組み合わせて, 問題当たり に 3,905 件の摂動例を生成した. また，抽出された 問題に対する RoBERTa [8] の精度を表 2 に示す.

## 5 実験

本節では，前節で述べた摂動がニューラル言語モ デルに与える影響について分析を行う。まず，摂動 による予測値の変化の有無について確認する. 次 に, 予測値の変化と問題文中の文法誤りなどノイズ 的要素の関係について述べる. 最後に, fine-tuning で用いた訓練データが摂動による予測値の変化の原因となっているのかについて分析を行う.

## 5.1 実験設定

Winogrande に対して最も精度が良い RoBERTaを 摄動実験の対象とする. 摂動は評価データのみに与 え，38,000 件の訓練データで fine-tuning されたモデ ルの, 評価データに対する予測スコアの変化を観察 した. 本研究における予測スコアとは，代名詞を正 しい先行詞候補で置き換えた問題文に対する出力値 のことである.

## 5.2 摂動の影響

まず，各問題における摂動の影響の度合いを測 る. 影響の度合いを示す score $_{\text {diff }}$ は，原文における 予測スコア score と各摄動例における予測スコア ${ }^{\text {score }}{ }_{i}$ の差分の平均として計算する:

$
\text { score }_{\text {diff }}=\frac{1}{N} \sum_{i=1}^{N}\left(\text { score }_{i}{ }_{i}-\text { score }\right)
$

## ここで $N$ は摄動例の件数である.

摂動による予測スコアの変化の分布を図 1 に示 す. 図 1 の 0 付近のビンから，1684 件中 1400 件ほ どのテストデータで score $_{\text {diff }}$ の絶対値が 0.1 未満で あることがわかる.このことから，RoBERTaは人名 に関する単純な摂動の影響に対して頑健であると考 えられる。一方で，200 件ほどの問題で摄動の影響

表 2 Winogrande に対する各モデルの正解率

図 1 摄動による予測スコアの変化の分布

が観測された.

## 5.3 摂動とノイズの関係

評価データにおける問題文と摂動の影響の例を表 3 に示す. 摄動の影響を大きく受けた問題について 見てみると文法的もしくは意味的な誤りなどのノイ ズが含まれた文が見られた. 例えば，番号 1 の問題 では文中の they という代名詞が指し示す対象が不明瞭である. また，番号 6 の問題のように代名詞の直前に冠詞がついているものも確認された. その一方 で，ノイズがあるにも関わらず摂動の影響を受けて いない問題も多く見られた. 例えば，番号 3 の問題 では trilingual な人物を選択する必要があるが，先行詞候補はどちらも trilingual では無い.このようなノ イズがあるにも関わらず，番号 3 の問題の score $_{\text {diff }}$ は $1.31 \times 10^{-4}$ と非常に小さい. したがって，ノイズ と摂動の影響の間に強い関係があると考えるのは難 しい.

図 2 人名の組み合わせによる予測スコアの分布.縦軸が正解，横軸が誤りの先行詞候補を表す。

## 5.4 摂動と人名の関係

特定の人名に対して予測スコアの偏りがあるの か，すなわち特定の人名に対して大きな/小さなスコ アが付与される傾向の有無を検証する．図 2 に，表 3 の番号 2 の問題に対する各摂動についての予測ス コアの分布 (一部) を示す. 先行詞候補の組み合わ せによって，予測スコアが大幅に変化していること がわかる．また，この図で見られるような縦及び横方向にのびる縞模様が多くの問題で確認された. 例 えば，Joseph や Christopher という人名が正解とな る摂動例はもう一方の人名とのどの組み合わせでも ほぼ一貫して高い予測スコアを示している。このこ とから，モデルの予測と人名の間に強い関係が存在 する場合があると考えられる。

## 5.5 訓練データの影響

摂動例において，特定の人名に対する予測スコア が高くなる例が見られた。このことから，訓練デー タにおいて正解になりやすい人名がテストデータ で選択されやすくなっていることが予想される。本項ではこれを検証する．各摂動例に対して，影響が
表 3 摂動の影響の例

図 3 訓練データにおいて正解となる先行詞候補の出現頻度.

縦軸が摄動例（正解-誤り），横軸が訓練データにおける正解の先行詞候補を示す.

大きい訓練データの上位 3000 件を，影響関数の值 に基づき抽出した. 各摄動例に対し抽出された訓練 データ中での，正解となる人名の出現頻度を図 3 に 示す. 図は表 3 における番号 2 の問題に対する結果 の一部である。各行は一つの摄動例を表し，図に示 した 13 の摄動例は全ての摄動例からランダムサン プリングしたものである.また，各列は訓練デー タにおける正解の先行詞候補を表し，訓練データ に含まれる全ての先行詞候補から図に示した 13 個 の摄動例に用いた人名のみ抽出している. 図 3 か ら, Christine や Leslieの様にどの摂動例に対しても，影響が大きい訓練データに正解として現れる数が ほとんど変化しない人名が多く見られる。一方で， Matthew や Samuel の様に出現頻度が大きく変化して いる列も確認できる。この様な列で確認された偏り の例として, Matthew という先行詞候補の出現頻度 が (Dennis-Kyle) の組み合わせに対して高くなるとい うものがあげられる。このような例は他にもいくつ
か確認できたが，摄動に用いられた人名と同一のも のが，摂動例に対し大きな影響を持つ訓練データの 中で特に多い/少ないという例は確認できなかった.以上のことから，前節で確認された特定の人名に対 する予測スコアの偏りは Winogrande の訓練データ に起因するものではないと考えられる。

## 6 おわりに

本研究では，人名の変更という摄動によってモ デルの挙動がどう変化するかを分析した。結果と して，特定の人名に対して極端な予測を行う問題 の存在を示した. しかし，確認された人名への偏 りが fine-tuning に用いられたデータセットによるも のではないことを確認した。よって，この偏りは pre-training に用いられたデータに起因すると予想さ れる. 今後の課題としては，今回確認された偏りが pre-trainig に用いられたデータセットのどの部分に よるものかについての分析が挙げられる.

## 参考文献

[1] Mostafa Abdou, Vinit Ravishankar, Maria Barrett, Yonatan Belinkov, Desmond Elliott and Anders Søgaard. The Sensitivity of Language Models and Humans to Winograd Schema Perturbations. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. 2020

[2] Manning, Christopher D., Mihai Surdeanu, John Bauer, Jenny Finkel, Steven J. Bethard, and David McClosky. The Stanford CoreNLP Natural Language Processing Toolkit In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics: System Demonstrations. 2014.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers). 2019.

[4] Xiaochuang Han, Byron C. Wallace, and Yulia Tsvetkov. Explaining Black Box Predictions and Unveiling Data Artifacts through Influence Functions. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. 2020.

[5] Vid Kocijan, Ana-Maria Cretu, Oana-Maria Camburu, Yordan Yordanov and Thomas Lukasiewicz. A Surprisingly Robust Trick for the Winograd Schema Challenge. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. 2019.

[6] Pang Wei Koh and Percy Liang. Understanding black-box predictions via influence functions. Proceedings of the 34th International Conference on Machine Learning. 2017.

[7] Hector Levesque, Ernest Davis, and Leora Morgenstern. The winograd schema challenge. In Thirteenth International Conference on the Principles of Knowledge Representation and Reasoning. 2012.

[8] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692. 2019.

[9] Altaf Rahman and Vincent Ng. Resolving complex cases of definite pronouns: The winograd schema challenge. In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning. 2012.

[10] Yu-Ping Ruan, Xiaodan Zhu, Zhen-Hua Ling, Zhan Shi, Quan Liu, and Si Wei. Exploring Unsupervised Pretraining and Sentence Structure Modelling for Winograd Schema Challenge. arXiv:1904.09705. 2019

[11] Keisuke Sakaguchi, Ronan Le Bras, Chandra Bhagavatula, and Yejin Choi. Winogrande: An adversarial winograd schema challenge at scale. Proceedings of the AAAI Conference on Artificial Intelligence. 2019.

[12] Maarten Sap, Hannah Rashkin, Derek Chen, Ronan Le Bras, and Yejin Choi. Social IQa: Commonsense Rea- soning about Social Interactions. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). 2019.

[13] Paul Trichelair, Ali Emami, Adam Trischler, Kaheer Suleman, and Jackie Chi Kit Cheung. How Reasonable are Common-Sense Reasoning Tasks: A Case-Study on the Winograd Schema Challenge and SWAG. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP). 2019


# 扇情的な記事判定に向けた定義作成とアノテーション

谷口祐太郎 上村真史 小澤俊介 関喜史
株式会社 Gunosy
}

\{yutaro.taniguchi, masashi.uemura, shunsuke.kozawa, yoshifumi.seki\}@gunosy.com
## 1 はじめに

推薦システムではクリック率が高いアイテムが推薦されやすい傾向にあり，その結果我々が提供する ニュースアプリ「グノシー」では，推薦記事の中の 性的な記事・攻撃的な記事・クリックベイト的な記事の割合が大きくなるという課題がある ${ }^{1)}$ このよ うな記事を「扇情的な記事」と定義し，サービス内 での表示を抑制しより良いユーザ体験の実現を目指 すため，定義に基づいてデータセットを作成，さら に自動で判定するシステムを構築する。

類似の取り組みとして, ニュースの品質の判定 [1]，クリックベイトの判定 [2,3]，ニュースの感情分析 $[4,5]$ などがある. しかしいずれも本研究の目的には不十分であり, 独自のデータ定義とデータ セットの作成が必要である。データセットの作成は 自然言語処理の様々な分野で行われており $[6,7,8]$,文書・記事の品質に関する定義・アノテーションと しては $[9,10,11]$ が挙げられる. [9] は類似した定義 を提案しているが，本研究ではアプリでの表示抑制 を前提とする，より詳細にカテゴリ分けされた定義 を作成した。

扇情的な記事について，「定義の作成」，「ラベル データの作成」,「モデルの作成と評価」の 3 つの工程を行った. 我々の知る限り，扇情的な記事に関す るデータセットで利用可能なものはないため，定義, データセットの構築から行い, 構築したデータ セットをもとにモデルの作成と評価を行う．以降の 章でそれぞれの工程について詳しく述べる。

## 2 扇情的な記事の定義作成

扇情的な記事の定義を作成する。一般に「扇情的」といったとき，様々な定義・側面があるが，本研究では「サービス内でのユーザ満足度の低下を防

ぐ」という目的に沿うように定義する.この定義作成は主に 3 人の作業者によって行われた. 対象とす る記事のカテゴリは芸能を扱う記事のカテゴリであ るエンタメのみとする ${ }^{21}$. 今後, 必要性・実現可能性に応じて対象カテゴリを拡張する。

## 2.1 定義作成の手順

以下に定義作成の手順を示す.

1. 記事分析 一定数の記事に対して，各作業者 が直感的に「扇情的だと思ったか否か」を判定 し，それらを原因別に分類する。例えば，「表現が過激」・「タイトルが誤解を招く」・「画像が アダルト」・「中傷を含む」などである．

2. 仮定義作成 仮分類をもとに作業者間で議論 し，分類カテゴリと定義を作成する。

3. 仮ラベリング 暫定の定義にしたがって記事に 対してラベリングを行う.

4. 議論 仮ラベリングの結果を照合し，作業者間 で判定が不一致であった事例や，各人が判定に 迷った事例について議論をする．議論内容の事例を付録 A に示す。

5. 定義作成 (修正) 議論結果をもとに定義を修正 する。

6. 3〜5を繰り返し，より要件を満たすように定義 を修正していく。

定義の修正は主に以下の 2 種類がある.

・仮ラベリングを行うことで作業者間での意識の 差が判明し，議論によって定義がより明瞭な言 い回しに改善される.

・仮ラベリングを行うことで新たな種類の事例が 発見され，議論によって定義に追加される。ま た，必要に応じて削除・統合される。

2）グノシーにおいて記事は分類システムによって予め定義さ れたカテゴリに振り分けられている。当初は他のカテゴリの 記事も対象としていたが，「エンタメ以外のカテゴリでは扇情的な記事が少ない」・「政治カテゴリなどは扇情的かどうかの 判断が難しい」などの理由からエンタメのみとした.
表 1 「扇情的な記事」の定義のクラス

作業者間の議論だけでは判断しかねるケースでは，社内の他社員の意見や，社内や他社メディアのコン テンツポリシーなどを参考にした。

手順 3〜5を 8 回繰り返し定義が完成した. 仮ラ ベリングの記事数はサイクルによって異なるが， 1 人 100～200 記事程度である. また， 3 人の作業者の うち 2 人のみが仮ラベリングを行う場合もあった.

## 2.2 定義

構築した「扇情的な記事」の定義は，5つのクラ ス，各クラスに該当するための条件 (以下，クラス 条件), 注意事項で構成されている．5つのクラスラ ベルとその説明を表 1 に示す. 定義の完全版は事業 の関係上非公開としているが，今後の公開も視野に 入れている. 例えば SEXUAL クラスのクラス条件 は，「画像がアダルトである」，「不適切な文言がタ イトルに含まれる」などである．また，クラスラベ ルは背反ではなく，扇情的な記事を漏れがないよう に扱うためのものである. よって， 1 記事に対して 複数のクラスが当てはまる場合があり, 実際にデー タセットを作成するときは最もよくあてはまるクラ スをラベリングする.

## 2.3 作業者間のラベル一致度の変化

作業者間での議論を重ね，認識合わせ・定義改善 を行うにつれ，二値ラベルの作業者間の一致度は向上した. 2 回目，6回目，8 回目の仮ラベリングにお ける Fleiss' kappa[12], Krippendorff's alpha[13] を表 2 に示す.また, 3 人中任意の 2 人の Cohen's kappa[14]表 2 作業者間でのラベル一致率の変化

の値も同じく増加する傾向であった. なお，8 回目 の仮ラベリングの後，データセットのための本ラベ リングが行われた.

## 3 扇情的な記事のデータセット作成

データセットの概要を示す. 対象は 2019 年 8 月〜2020 年 3 月のエンタメカテゴリの記事である.特定の期間の話題に偏ることを防ぐため半年以上 の期間とした. 記事数は 2,186 記事である. 記事を ランダムに抽出すると，正例が極めて少ない割合に なる．そこで，社内の専門家によって扇情的な記事 が含まれやすいと判断された特定メディアとそう でないメディアから同程度の記事数を取得する。メ ディア分類となることを避けるため，各メディアの 正例・負例の割合が同程度になるようにする。

作業者は議論・仮ラベリングによって十分に教育 されているとみなし，効率を重視して 1 記事につい て 1 人のみのラベリングとした. 1 記事に対して，以下の情報をアノテーションする．以下の情報のう ち判定を行う順番は任意でよいとした。

・「扇情的」であるかどうか

・「扇情的」ならば定義したクラスのうちどれに 最もよく当てはまるか

・「扇情的」ならば定義したクラス条件のうちど れに最もよく当てはまるか

ラベル・クラスの内訳を表 3 に示す.

## 4 扇情的な記事判定モデルの作成と 評価

構築したデータセットを元にした，扇情的な記事 を判定するモデルの作成と評価について述べる.

## 4.1 タスクの定義

SEXUAL，VULGAR ラベルを判定するタスクを Task1, OFFENSIVE, CLICKBAIT ラベルを判定する タスクを Task2 とする.これは，扇情的であるラべ ルの記事を分析した結果，SEXUAL，VULGARラベ ルが振られた記事，また OFFENSIVE，CLICKBAIT ラベルが振られた記事のそれぞれで書かれ方やサム ネイルなどの性質が類似していたためである.

## 4.2 モデルの作成

Task1，2 それぞれについて，ルールベースと SVM の 2 種類のモデルを作成する. また，提供元が特定 メディアであるかどうかを判定結果とする手法を ベースラインとして比較する.

ルールベース Task1 については，記事のサムネ イル画像による判定，記事のテキストによる判定の OR 結合を判定結果とする. サムネイルの画像判定 には Amazon Rekognition ${ }^{3}$ を用いてラベルを付与し，特定のラベル（例えば， Explicit Nudity や Suggestive） が付与されていた場合，正例と判定する。また，記事テキストによる判定では，あらかじめ選定した 特徵語が 1 語以上記事タイトル・本文に含まれて いる場合，正例と判定する. 特徴語は, SEXUAL, VULGAR ラベルの記事を分析し, 出現しやすい単語 (「グラビア」,「セクシー」など) を人手で選定し たものである.

Task2 については，記事のテキスト，発信元のメ ディア情報，本文の長さをもとにしたスコアリング による判定を行う．記事テキストによる判定では， あらかじめ選定した特徴語ごとに割り当てたスコア をもとに，テキストに含まれる特徴語のスコア合計値を算出して判定を行う. さらに，提供元が特定メ ディアでない場合および記事本文の文字数が $t_{w}$ 以上の場合は減点を行う. これは記事が調査に基づい た内容で扇情的でないことが多いためである. 最終的なスコアが $t$ 以上であれば正例と判定する．特徴語の例およびスコアリングのルールの詳細を付録 C に示す.

SVM SVM(Support Vector Machine)[15] を用いて 扇情的な記事かどうかの分類を行う. Task1，2とも に，記事のタイトルと本文から算出した TF-IDF を 特徴量として用いる. 形態素解析には $\mathrm{MeCab}^{4)}$, 辞

表 4 各データセットの正例負例内訳

表 5 各タスクにおけるモデル毎の Precision，Recall，

書は NEologd ${ }^{5}$ を用いる. Task1についてのみ，SVM による判定と画像による判定の OR 結合を判定結果 とするようにした.

## 4.3 実験条件

全 2,186 記事のうち数が少ない VAGUE，その他う ベルの 3 件を除いて，1,263 件を検証用，920 件を評価用とする。 モデルの評価には，Precision，Recall， f1-score を用いる。検証用データを用いて，ルール ベースモデルの特徴語の選択，また，SVM の学習を 行い，評価用データを用いて性能を算出する．Task2 のルールベースモデルにおいて $, t=0.20, t_{w}=3000$ と定めた。これは検証用のデータを用いて Precision と Recall のバランスを考慮して決定した。

2 つのタスクではそれぞれ正例のデータとし て異なる記事を利用する. Task1 では SEXUAL， VULGAR のいずれかのラベルが付与された記事, Task2 では OFFENSIVE，CLICKBAIT のいずれかの ラベルが付与された記事を正例として用いる．負例 として用いる記事はタスクによらず共通である．表 4 にデータの内訳を示す.

## 4.4 実験結果

表 5 に各タスクにおけるモデルの性能を示す.い ずれのタスクにおいても，ルールベース手法（以下， RB）と SVM 手法（以下，SVM）は，ともにべース ラインの性能を上回る結果となった。

Task1 においては, Amazon Rekognition の判定結果 を用いることで，肌露出が多い画像が含まれる記事 を正しく判定することができた．RB とSVMを比較 すると，Precision は SVM がRB よりも 17.3 ポイン 卜高いのに対し, Recall はRB が SVM より 9.3 ポイ

表 6 誤判定傾向・事例

 &  \\

図1 各タスクにおけるモデル毎の PR 曲線

ント高いという結果となった.

Task2 においては，RB が SVM より Precision が 8.4 ポイント, Recall が 2.5 ポイント高い結果になった. また，Task2における f1-score は Task1 と比較して全体的に低い傾向になった.

図 1 に Precision-Recall 曲線を示す. 例えば Recall が 0.80 のとき Precision は Task1 では 0.87, Task2 で は 0.53 という結果であった. 実サービスでは正例 の取りこぼしを少なくすることが重要であるとし て，Recall を優先することを想定している．付録 C に Task2-ルールベースモデルのルールごとの性能を 示す.

## 4.5 考察

扇情的な記事判定での誤判定をもとに考察を行 う. 表 6 に各タスクの誤判定例を示す.

Task1 においては，正例に特定の語が出現しやす く，サムネイルもグラビアなど識別しやすいものが 多いため，ルールベース，SVM 問わず一定の割合を 正しく識別できた. RB の誤判定として目立つのは，非扇情的な文脈で特徴語を含む記事を，誤って扇情的な記事と判定する場合である. 例えば，「グラビ
ア」という特徴語はグラビアアイドルの肌の露出が 多い画像を含むような記事を想定して追加したもの だが，単なる肩書きとして「グラビアアイドル」と いう語を含む非扇情的な文章で誤判定してしまう. このため Recall は高くなるものの，Precision は低下 したと考えられる。しかし FN 例にあるように，写真集を紹介する非扇情的な記事は，文体や出現語も 正例とほとんど差がないため識別が難しい.

Task2 は手法を問わず Task1 よりも性能が低い. 人手での判定も困難な記事が多いことが要因の一つ である．具体的には，FP例にあるような批判を表 す文言について，過剰に一個人を中傷するものなの か，ただ注意喚起を行うものなのかの区別が難し く，どこからが扇情的に当てはまるのか人によって も判断が異なるため，モデルでも識別することが難 しい.また，OFFENSIVE，CLICKBAIT ラベルの記事は表現が多様で，攻撃的な語は含まれないが攻撃的な意見を含む扇情的な記事も多く存在するため，文章の解釈が行えず手法を問わず性能が低い結果と なった。

## 5 まとめ・今後の課題

ニュースサービスにおいて好ましくない影響を 与える可能性がある記事を「扇情的な記事」とし て，複数の作業者が議論を行い定義を改善すると いうループを 8 回行い 5 クラスから構成される定義を構築した. 定義に基づき，データセットを作成，自動判定するモデルを提案し，ルールベース 手法・SVM 手法ともに, ベースラインよりも高い Precision, Recall を導いた。

今後は，ルールの改善 (特徴語の追加) や識別器の 工夫により性能の向上を目指すとともに，定義の修正・対象カテゴリの拡張・データセットの拡張にも 着手する。

## 参考文献

[1] Yen-Hao Huang, Ting-Wei Liu, Ssu-Rui Lee, Fernando Henrique Calderon Alvarado, and Yi-Shin Chen. Conquering cross-source failure for news credibility: Learning generalizable representations beyond content embedding. In Proceedings of The Web Conference 2020, WWW '20, p. 774-784, New York, NY, USA, 2020. Association for Computing Machinery.

[2] Ankesh Anand, Tanmoy Chakraborty, and Noseong Park. We used neural networks to detect clickbaits: You won' $t$ believe what happened next! In European Conference on Information Retrieval, pp. 541-547. Springer, 2017.

[3] Hai-Tao Zheng, Xin Yao, Yong Jiang, Shu-Tao Xia, and Xi Xiao. Boost clickbait detection based on user behavior analysis. In Asia-Pacific Web (APWeb) and Web-Age Information Management (WAIM) Joint Conference on Web and Big Data, pp. 73-80. Springer, 2017.

[4] Julio Rieis, Fabrício de Souza, Pedro Vaz de Melo, Raquel Prates, Haewoon Kwak, and Jisun An. Breaking the news: First impressions matter on online news. In Proceedings of the International AAAI Conference on Web and Social Media, Vol. 9, 2015.

[5] Antony Samuels and John Mcgonical. News sentiment analysis, 2020

[6] 東中竜一郎, 光田航, 増村亮, 斉藤いつみ, 青野裕司.雑談要約技術に向けた取り組み. 言語処理学会第 26 回年次大会 発表論文集, pp. 1519-1522, 2020.

[7] 対話的議論の自動評価に向けたディベートデータ セットの構築. 言語処理学会 第 26 回年次大会 発表論文集, pp. 708-711, 2020.

[8] 仁木裕太, 坂地泰紀, 松島裕康, 和泉潔. 因果判定デー タセットの構築と原因結果表現抽出への拡張. 言語処理学会 第 26 回年次大会 発表論文集, pp. 557-560, 2020.

[9] Hongyu Lu, Min Zhang, Weizhi Ma, Yunqiu Shao, Yiqun Liu, and Shaoping Ma. Quality effects on user preferences and behaviorsin mobile news streaming. In The World Wide Web Conference, WWW '19, p. 1187-1197, New York, NY, USA, 2019. Association for Computing Machinery.

[10] 渋木英潔, 中野正寛, 宮崎林太郎, 石下円香, 金子浩一, 永井隆広, 森辰則. 情報信憑性判断支援のための web 文書向け要約生成タスクにおけるアノテーショ ン. 自然言語処理, Vol. 21, No. 2, pp. 157-212, 2014

[11] Ioannis Arapakis, Filipa Peleja, Barla Berkant, and Joao Magalhaes. Linguistic benchmarks of online news article quality. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1893-1902, Berlin, Germany, August 2016. Association for Computational Linguistics.

[12] Joseph L Fleiss, Bruce Levin, and Myunghee Cho Paik. Statistical methods for rates and proportions. john wiley \& sons, 2013.

[13] Andrew F Hayes and Klaus Krippendorff. Answering the call for a standard reliability measure for coding data. Communication methods and measures, Vol. 1, No. 1, pp. 7789, 2007.

[14] Jacob Cohen. A coefficient of agreement for nomi- nal scales. Educational and psychological measurement, Vol. 20, No. 1, pp. 37-46, 1960.

[15] Bernhard E. Boser, Isabelle M. Guyon, and Vladimir N. Vapnik. A training algorithm for optimal margin classifiers. In Proceedings of the Fifth Annual Workshop on Computational Learning Theory, COLT '92, p. 144-152, New York, NY, USA, 1992. Association for Computing Machinery.
表 7 議論例

「VAGUE」(不明瞭)クラスは 「タイトルから内容が想像で きない」場合に付与される が，想像できるかどうかは 読み手の知識によって変わ るのではないか.読み手に背景知識があった としても, 何についての記事 か理解できないような場合 は「VAGUE」クラスとする。伝えたい事象に関する単語 が含まれているなど，背景知識があれば理解できるよ うになっていれば「VAGUE」 クラスには含めない。

## A 議論例

表 7 に定義作成の過程の議論の例を示す.

## B 定義の変更例

1. ワイドショーでの芸能人のコメントを取り上げ た記事などの事例を参考に「内容が薄い」とい うクラスを設けていたが，議論の結果，それだ けで扇情的と判定するのは厳しすぎるという結論に至り, 廃止された. ただし, 匿名によるネ ガティブなバッシングを取り上げて作成された 記事や，攻撃的なコメントを取り上げた記事は 「OFFENSIVE」クラスとして扇情的であると判定することにした.

2.「有名人による SNS の投稿画像の場合は肌の露出が多くても扇情的でないとする」という基準 だったが，「プッシュ通知に適切かどうか」な ど本来の目的を考慮して議論した結果，肌の露出が多い記事は基本的に扇情的であると判定す ることにした。

3.「卑俗なテレビ番組の内容を伝える記事は，事実をそのまま伝えているため扇情的でない」と いう基準だったが，変更例 2 同様，本来の目的

表 8 Task2 特徴語の分類とその例

 & 「批判殺到」, 「厳しい声 \\

表 9 Task2ルールベースモデルのスコアリングルール

表 10 Task2 ルールベースモデルの各ルールでの性能比較、ルールにおいて, A は特徴語 (弱・中・強), $\mathrm{A}^{\prime}$ は特徴語 (弱・中・強・反)， $\mathrm{B}$ は特定メディア， $\mathrm{C}$ は本文の長さ

を考慮して議論した結果，扇情的の定義に含め るという結論に至った。

## C Task2 ルールベースモデルの詳細

Task2 に向けたルールベースモデルについて，特徵語の分類を表 8 に，スコアリングのルールを表 9 に示す。

また，Task2 に向けたルールベースモデルにおけ る，ルールごとの性能の比較を表 10 に示す.


# 研究データ検索における論文上の引用文脈の利用

角掛正弥
名古屋大学大学院情報学研究科
tsunokake.masaya@a.mbox. nagoya-u.ac.jp
}

松原茂樹
名古屋大学情報連携推進本部
matubara@nagoya-u.jp

## 1 まえがき

オープンサイエンスは, 論文や研究データなど研究成果の共有や利活用を促進する活動である. 近年, データ中心科学の広まりと共に, 研究データの 公表や論文での引用が増えており, 研究データを共有する取り組みが進んでいる．例えば，特定の分野 を対象とした研究データリポジトリの構築 [1], ある いは, The Australian National Data Service (ANDS) ${ }^{1)}$, European Open Science Cloud (EOSC) ${ }^{2}$, The National Data Service (NDA) 3 ) ど国家的単位での研究データ 管理基盤の構築も進んでいる.

研究データへのアクセス性向上において重要な役割を担うのが検索システムである. 研究データの検索は, 一般に, 研究データの作成者が登録する4) 义 タデータに基づき行われる。しかし, 作成者による メタデータだけでは, 利用者が発行するクエリに対応するには十分でなく, 提示すべき研究データを検索結果として提示できない可能性がある. その理由 は，メタデータの記述が不十分であること $[2,3]$ や，作成者が想定していない研究データの特徴や用途が 存在する可能性があるためである.

本稿では, 「研究データの検索において論文上の 引用文脈を利用することは有用である」という仮説 を設定し，これを検証する。論文における研究デー タの引用文脈を収集し，それを研究データのメタ データに追加することで, 既存のメタデータとは異 なる言い回しや表現, 作成者が想定していない特徴 や用途などを獲得できる可能性がある。これによ り, 研究データに関する記述が拡充され, 研究デー タへのアクセス性向上が期待できる.

本研究では，まず，引用文脈をメタデータに加え ることで, 研究データに関する記述を拡充できるか

) https://www.ands.org.au/

2) https://ec.europa.eu/research/openscience/index.cfm? pg=open-science-cloud

3) http://www.nationaldataservice.org/

4）リポジトリの管理者が作成することもある.
を調査した。具体的には，メタデータとして与えら れている研究データに関する説明文書と, 論文にお ける引用文脈を比較し，その重複を調査した。次 に，メタデータへの引用文脈の追加前には検索結果 として提示されなかった研究データが，追加により 提示できるようになるかの検証実験を行った。

## 2 研究データの検索と引用文脈

データセットの検索手法について研究がされてい る [3]. 実際の検索サービスとして, Google Dataset Search $^{5)}$ [2] が存在する. 同様に, 研究データを対象 とした検索サービス DataCite Search ${ }^{6)}$ が存在する.研究データとは, 研究の過程で収集・生成されたデ ジタル情報であり，プログラムやソフトウェア等の ツールや，計測・試験データが一定の形式で整理さ れたデータセット等を含む7) . Zenodo ${ }^{8}$ や Mendeley Data $^{9}$ においても研究データを検索できる.

研究データの検索は, 各研究データに付与され たメタデータに対するキーワード検索で実現され る.メタデータとは, 名称, 作成者, 出版年, 種類 など，その研究データに関する各種情報を記述す るデータである．例として，言語資源メタデータ データベース $\mathrm{SHACHI}^{10)}[5]$ における, WordNet[6] のメタデータの一部を表 1 に示す.このメタデー タは, DublinCore ${ }^{11)}$ に準拠したメタデータ語彙で 記述されている.メタデータ語彙には, DCAT[7], schema.org[8], DataCite Metadata Schema[9] などが存在し，これらに従いメタデータを記述すること で一貫性を保持できる。メタデータには，データ セットに関する説明を記す項目（以下，内容記述 (Description)) がある.

5) https://datasetsearch.research.google.com/

6) https://search.datacite.org/

7）一方で，包括的な定義を与えるのは難しく [4], その定義は 文脈によって異なる側面もある.

8) https://zenodo.org/

9) https://data.mendeley.com/

10) http://shachi.org/

11) http://dublincore.org/
表 1 SHACHI における WordNet のメタデータ（一部）

 &  \\

一般的に, 研究データの作成者がそのメタデータ を登録する. しかし, 作成者によるメタデータだけ では，提示すべき研究データを検索結果として提示 できない可能性がある．なぜなら，メタデータの記述が不十分な場合や, 作成者が想定していない研究 データの特徴や用途が存在し得るからである.

メタデータにおける内容記述を充実させること で，マッチするクエリが増加する. 内容記述を拡充 する方策として，論文における引用文脈を用いるこ とが考えられる. 論文で研究データを引用する際,著者はその説明や用途等を引用文脈に記述する．引用文脈を利用することで, 研究データに関する記述 を機械的に収集でき, 異なる言い回しや表現の獲得 による量的な充実が期待できる.

加えて, 引用文脈を記した著者は作成者とは異な るため, 作成者が想定していない研究データの特徴 や性質, 関連トピック, 用途などを拡充できる可能性がある．特に用途に関しては，利用者が新たに作 り出す可能性もある．実際，論文から用途情報を自動獲得する研究 [10] も行われている. 引用文脈を収集することで，質的な充実も期待できる。

Singhal ら [11] は, 利用者自身の研究の文脈に沿つ たキーワードをクエリとする研究データ検索システ ムを提案している．検索対象となるメタデータとし て, 引用された論文のタイトルやタグ情報を用いて いる. しかし, これらは研究データについて直接記 した情報ではなく, 研究データの特徴や用途などと は関係しない可能性が高い. 本研究では, 引用文脈 をメタデータとして直接利用することを想定する。

本稿では，「研究データの検索において論文上の 引用文脈を利用することは有用である」という仮説
を設定し，実験的にこれを検証する。

## 3 内容記述と引用文脈の関係

本節では，メタデータへの引用文脈の追加によ り, 研究データに関する記述を拡充できるか否かに ついて，調査した結果を述べる。

## 3.1 調査方針

メタデータに引用文脈を加えたとしても，その内容が既存のメタデータの内容記述に対し重なりが 大きいようなら，量的に拡充できているとは言えな い. 本研究では, キーワード検索を想定し, 同一の 研究データに対する内容記述と引用文脈の語彙を比較することで，その重複度を調査する。

## 3.2 調査用データの作成

調査にあたり, 同一の研究データに対する内容記述と引用文脈を対応付けたデータセットを作成 した.

引用文脈の抽出対象論文として，2000 年～2019 年の ACL, NAACL, EMNLP における本会議論文を ACL Anthology ${ }^{12)}$ から収集し, PDFNLT ${ }^{13)}$ [12]により テキスト化した。収集した論文数は 11,855 件であっ た. 明示的な研究データの引用として URLに着目 し $[13,14]$, URL が記載された段落を抽出した. 抽出された段落は 31,637 件であった。なお, 脚注や 参考文献に記載された URL については，その本文中での引用箇所を特定したうえで段落を抽出して いる.

研究データの内容記述の収集には, $\mathrm{LDC}^{14)}$ と SHACHI[5]を利用した．LDCの利用では，抽出した 段落に記載されている URLのうち，LDC のカタロ グページを示す URLについて, そのリンク先から 内容記述を取得した ${ }^{15)}$ 。また，SHACHI では言語資源のメタデータとして, 内容記述と所在を示す URL 等が与えられている.これらを収集することによ り, 論文から抽出した段落文と SHACHI の内容記述 をURLで対応付けた。

対応付けられた研究データの内容記述と引用文脈 の文書対のうち, 同一の研究データを指していない

表 2 内容記述と引用文脈の重複度

 &  & Jaccard & Dice & Simpson \\

もの ${ }^{16)}$ や引用文脈が正しく抽出されなかったものを 除外し，データセットを作成した。文書対の総数は 395 件, 研究データの種類数は 98 件となった.

## 3.3 内容記述と引用文脈の重複度

3.2 節のデータセットを用い, 内容記述と引用文脈の語彙の重複度を算出する. 語彙は, 以下の手順 で前処理を行った後，重複を除去し作成する.

1. 文書のトークン化

2. 重要でない単語17)を削除

3. 見出し語化, 及び小文字化

トークン・見出し語化，ストップワードの判定には $\mathrm{spaCy}^{18)}$ を用いた. 手順 2 で，検索においてクエリ として用いられる可能性が低い単語を取り除く.語彙の重複度は, Jaccard 係数, Dice 係数, Simpson 係数により算出した. 表 2 に算出結果を示す. 語彙 サイズが大きく異なるものの，いずれの係数も平均值や中央值の值が非常に低いことがわかる.

しかし，全く関係のない文書と内容記述の語彙を 対象とした場合も, その重複度は低くなる. そこ で, 内容記述と, それとは内容的に関連が低い文書 との対を作成し, 重複度を算出する. その分布を,内容記述と引用文脈の文書対における分布と比較 し，内容的な関連性は保ちながらも，引用文脈によ る拡充が可能であるかを検査する。一方で，関連が 高すぎては拡充の効果が見られないため, 内容的に 強く関連する文書対も作成し, その重複度の分布と も比較する. 異なる研究データ同士の内容記述は,関連が低いと考えられる。そこで，3.2 節で収集し た全ての内容記述から文書対を作成し, これを関連 が低い文書対とした。得られた文書対は 4,560 件で

図 1 各文書対における Simpson 係数の分布 (引用段落単位)

図 2 各文書対における Simpson 係数の分布 (引用文単位)

あった。一方，LDCでは研究データの内容記述以外 にその README ファイルも配布されている場合が ある.これらはいずれも作成者による同じ研究デー タに関する文書なので, 関連が高いと考えられる。 そこで，関連の高い文書対として，研究データの内容記述と README の文書対を作成した。得られた 文書対は 40 件であった.

図 1 に結果を示す. 比較する語彙同士のサイズが 大きく異なることが多いため, 語彙サイズに頑健な Simpson 係数のみを表示している. 関連が低い文書対は Simpson 係数の分布が低い位置に分布し, 関連 が高い文書対は Simpson 係数の分布が高い位置に分布している. 内容記述と引用文脈の文書対では，そ の Simpson 係数の分布が上記 2 つの中間に位置して いる. 内容記述と引用文脈には関連が高い文書対ほ どの重複が存在せず，引用文脈をメタデータに加え ることで記述を拡充できると考えられる。一方で，関連の低い文書対と比べると，高い位置に Simpson 係数が分布しており，内容記述と引用文脈との間に は一定程度の関連が認められる。引用文脈をメタ
表 3 クエリにマッチした引用文脈の例

 & 20 Newsgroups & OntoNotes Release 4.0 &  \\

データに加えることで，効果のある拡充が行えるこ とを示している。

ここまで述べてきた引用文脈は，抽出した引用箇所を含む段落（以下, 引用段落）をそのまま利用し た結果である. 引用段落は数文に渡る引用文脈を網羅することが可能な一方で, 引用文脈でない文を含屯可能性もある. そこで, 引用箇所に対応する 1 文 のみ (以下, 引用文)を用いて同様の調査を行った。図 2 に, Simpson 係数の算出に引用文を用いた場合 の分布を示す. 図 1 と比較して, 内容記述と引用文脈の文書対分布は右ヘシフトしており, 引用文脈で ない文を除外できていることがわかる。一方で，関連が高い文書対に比べると分布は左に位置してい る. 内容記述と引用文の文書対のほとんどが 0.5 以下であり，記述を拡充する効果が期待できる.

## 4 研究データ検索における有用性

引用文脈の追加による研究データに関する記述の 拡充が，検索において有用であることを検証する。検索対象が，1）内容記述のみ，2）内容記述と引用文脈, の 2 条件で研究データ検索実験を行い, 発見できる研究データ数を比較する.

## 4.1 検索実験の設定

利用者が研究データを検索する際のキーワードと して研究トピックや用途が考えられる. そこで, 研究データを使用した過去の事例から用途を収集し,検索実験のクエリとする．収集には LREMap ${ }^{19)}$ を用 いた. LREMap は，研究で使用・作成された言語資源のメタデータが登録されているリポジトリであ る. 論文を投稿する際に, 著者が使用・作成した言語資源をこのリポジトリに登録する.メタデータに は, 言語資源の名称, 種類, 用途などの様々な情報 が記述される. 用途情報は, LREMap 側で定義され たものから選択する，もしくは，著者自身が自由に 記述することで作成される. LREMap に登録されて いる言語資源の使用事例を収集することにより, 多様な用途情報を獲得できる。

19) https://lremap.elra.info/
LREMap から収集した全用途情報のうち,「,」を 含む場合そこで分割し，クエリセットを作成した。作成したクエリの種類数は 728 件である。 なお, 本実験では，メタデータに加える引用文脈をできる限 り研究データに関する記述に絞るため, 引用文のみ を引用文脈とした。

## 4.2 実験結果

3.2 節で作成した引用文と内容記述の文書対デー タを検索対象として実験を行った。

引用文脈を加えることにより, 研究データ発見数 が増えたクエリが 36 件存在した. 引用文脈を用い ることにより，内容記述のみでは発見できなかった 研究データにマッチできた事例を表 3 に示す. クエ リに対して，拡充した記述が有効に働いていること がわかる.

適合性も考慮した実験結果を示すため, クエリ とマッチした引用文の全ぺアについて適当である か否かを確認し, 適当でないマッチは行わないよ うに再度検索実験を行った. その結果, 引用文脈 を加えることにより研究データ発見数が増えたク エリは 29 件であった。その一覧を付録の表 4 に示 す. 引用文脈の追加により, 研究データの発見数が 増加することを確認した。なお，クエリとマッチし た引用文のペアのうち, 適当であったものの割合は 0.788(93/118) であった.

## 5 あとがき

本稿では, 「研究データの検索において論文上の 引用文脈を利用することは有用である」という仮説 を設定し, 実験による検証結果について述べた。ま ず，既存のメタデータにおける研究データに関する 説明と論文の引用文脈について, その重複度を調查した。調査結果から, 引用文脈を利用すること で，効果のある拡充を行えることがわかった。次 に，LREMap から収集した用途情報を用い検索実験 を行った。引用文脈を用いた拡充により，発見でき る研究データ数が増加し, 研究データの検索におけ る引用文脈の有用性を確認した。

## 参考文献

[1]大向一輝. オープンサイエンスと研究データ共有. 心理学評論, Vol. 61, No. 1, pp. 13-21, 2018.

[2]Dan Brickley, Matthew Burgess, and Natalya Fridman Noy. Google dataset search: Building a search engine for datasets in an open web ecosystem. In Proceedings of The World Wide Web Conference, pp. 1365-1375, 2019.

[3]Adriane Chapman, Elena Simperl, Laura Koesten, George Konstantinidis, Luis-Daniel Ibáñez, Emilia Kacprzak, and Paul Groth. Dataset search: a survey. The VLDB Journal, Vol. 29, No. 1, pp. 251-272, 2020.

[4]The Australian National Data Service. What is research data, 2017 (2021-01 閲 覧). https: //www.ands.org.au/__data/assets/pdf_file/0006/ 731823/Whatis-research-data.pdf.

[5]Hitomi Tohyama, Shunsuke Kozawa, Kiyotaka Uchimoto, Shigeki Matsubara, and Hitoshi Isahara. Construction of an infrastructure for providing users with suitable language resources. In Proceedings in 22nd International Conference on Computational Linguistics: Companion volume: Posters, pp. 119-122, 2008 .

[6]George A. Miller. Wordnet: A lexical database for english. Communications of the ACM, Vol. 38, No. 11, pp. 39-41, 1995.

[7]Riccardo Albertoni, David Browning, Simon Cox, Alejandra Gonzalez Beltran, Andrea Perego, and Peter Winstanley. Data catalog vocabulary (dcat) - version 2. In W3C Recommendation, 2020（2021-01 閲覧）. https: //www.w3.org/TR/vocab-dcat-2/.

[8]Ramanathan V. Guha, Dan Brickley, and Steve Macbeth. Schema.org: Evolution of structured data on the web. Communications of the ACM, Vol. 59, No. 2, pp. 44-51, 2016.

[9]DataCite Metadata Working Group. Datacite metadata schema documentation for the publication and citation of research data (version 4.3), 2019 （2021-01 閲覧）. https: //doi.org/10.14454/7xq3-zf69.

[10] 小澤俊介, 遠山仁美, 内元清貴, 松原茂樹. 言語資源の用途情報の獲得と利用. 電子情報通信学会論文誌 A, Vol. 95-A, No. 7, pp. 611-622, 2012.

[11]Ayush Singhal, Ravindra Kasturi, and Jaideep Srivastava. Datagopher: Context-based search for research datasets. In Proceedings of the 2014 IEEE 15th International Conference on Information Reuse and Integration (IEEE IRI 2014), pp. 749-756, 2014.

[12]Takeshi Abekawa and Akiko Aizawa. Sidenoter: scholarly paper browsing system based on pdf restructuring and text annotation. In Proceedings of the 26th International Conference on Computational Linguistics: System Demonstrations, pp. 136-140, 2016.

[13]角掛正弥, 松原茂樹. 論文で引用された研究データの同定と分類. 電気学会論文誌 C（電子・情報・システム 部門誌）, Vol. 140, No. 12, pp. 1357-1364, 2020.

[14]Hidetsugu Nanba. Construction of an academic resource repository. In Proceedings of Toward Effective Support for Academic Information Search Workshop at ICADL-2018, pp. $8-14,2018$.

## A 付録

表 4 研究データ発見数が増えたクエリ一覧

 &  \\


# 要約付き宿検索対話コーパス

林部祐太
株式会社リクルート Megagon Labs, Tokyo, Japan
hayashibe@megagon.ai

## 1 はじめに

宿を探しているカスタマーへの接客では，オペ レータは宿が満たすべき要件を整理して検索し，検索結果を基に適切な宿を提案する。カスタマーが最初から要件を列挙できることはほとんど無く，漠然 とした希望しか持っていないこともしばしば有る. そのため，要件の整理にはカスタマーの発話の意図 を的確に解釈するだけでなく，質問・補足・提案な どしてカスタマーの希望を言語化する手助けが必要である。本研究ではその整理の過程を分析するた め，宿を検索する際の要件を列挙した時点までの対話を収集し，次の 3 つのアノテーションを行う。

1つ目は要約文で，省略されている言葉を補いな がら，発話文を簡潔に要約する。例えば，「それが いいです」といった発話文に対して「朝食はバイキ ングを希望する」といったような要約文を作成す る。これは，発話が何を意図しているのかを解釈す るためである。

2 つ目は，発話文と要約文の語句の対応付けであ る。例えば，「それが」と「朝食はバイキングを」，「いいです」と「希望する」をそれぞれ対応付ける。 これは，どのような言い換えや補足によって要約が 生成されたのかを明らかにするためである。

3つ目は，要約文とオペレータが列挙した要件の 対応付けである．これは，どのようにして要約文が 取捨選択され要件としてまとめられるのかを明らか にするためである.

我々は 210 対話を収集し，要約文 3,282 文と 2,134 個の要件，およびそれらの対応付けがアノテーショ ンされているコーパスを構築した。このコーパスは 談話理解，要約生成，対話応答生成など幅広い言語処理の研究に役立てられると考えている。

## 2 宿検索対話の収集

日本語テキスト対話による架空の宿予約サービ スを想定し，カスタマーとオペレータを演じる 2 名
による対話を，オンライン対話プラットフォーム Slack ${ }^{1)}$ で収集した。カスタマーは宿泊先に関する希望をオペレータに伝え，オペレータはそれを具体的 な要件まで掘り下げる，宿を大まかに絞り込むのに 十分と思われる具体的な要件が挙げられるように なった時点で対話は終了とした。

## 2.1 参加者

参加者は全員, 日本語母語話者かつ Slack 経験者とした。カスタマー役は 35 名に依頼した。オぺ レータ役は, 観光業界での接客経験者と, 未経験者 の 2 名に依頼した。カスタマーとオペレータのペア 1 組がそれぞれ 6 対話行い，合計 $210(=35 \times 6)$ 対話を収集した。このうち，接客経験者がオペレータ である対話は 126 対話である。

## 2.2 前提条件と対話内容

各対話には次の要素と制約からなる「前提条件」 をランダムに与え，対話の冒頭でカスタマーとオぺ レータの双方に表示した。

・対話が行われる日付 : 年は無く月と日のみ

$\cdot$予約する日付：対話が行われる日付から 3 か月以内の日程で，日付もしくは月の上旬，中旬，下旬のいずれか

-予約する日数：1 日以上 4 日以下

・エリア：47 都道府県，東北地方，関西地方，四国地方，九州地方の 51 種のうちいずれか
- 人数 : 大人は 1 人以上，子ども（小学生以下） は 0 人以上で，合計 1 人以上 4 人以下

カスタマーへは，この前提条件にしたがってアド リブを交え，漠然とした希望をオペレー夕に伝える よう指示した。オペレータへは，宿を大まかに絞り 込むのに十分と思われる具体的な要件が挙げられる ようになった時，対話を終了する合図を記入し，そ れら要件を箇条書きで列挙して対話を終了するよう

1) https://slack.com/
表 1 収集した対話の例。O はオペレータ，C はカスタマー，山は改行を示す。表 2 で例示に用いた文は太字で示す.日付：6月6日『予約する日付：7月 5 日から 4 泊『エリア：京都府『人数：大人 2 人, 子ども 2 人

$\mathrm{O}$ この度はご利用いただきまして、ありがとうございます。『ご宿泊先につきまして、お客様のご希望をお聞かせ いただけますでしょうか。

C 夫と幼稚園児の子供2名と京都に行きたいとおもっています。

O さようでございますか。京都の行先は京都市内でしょうか？それとも、丹後地方など別の地域でしょうか？

C 朝食はバイキング希望です。夕食は外で食べる予定です。

O 承知しました。それでは朝食のみ付いたプランをお調べします。『ほかにご希望はございますでしょうか？

C コンビニが宿の近くにあるといいですね。

Ｏ かしこまりました。それでは、コンビニが近くにあるお宿を打調べします。『ご宿泊のお日付と宿泊日数はいか がなさいますか?

C 7 月 5 日から 4 泊です。

O かしこまりました。 4 泊となりますと、観光以外にも打時間があるかと思います。『幼稚園监のお子様ですと、 7 月は水遊びができると、お喜びいただけるかと思いますが、鴨川沿いのお宿はいかがでしょうか？

C それはとてもいいですね。鴨川で水遊びできるんですね。知らなかったです。

(略)

Ｏ かしこまりました。お子様連れに優しいお宿をお調べします。『それでは、以下のご希望条件に合うお宿をお探 しいたします。

イキングを希望。『・コンビニが近くにある宿を希望。凸・鴨川治いの宿を希望。『・お子様連犯に優しい宿を 希望。

指示した。また，次の補足事項も双方に案内した。

・対話の中で宿泊先を決定する必要はない
- 前提条件に記載された情報も漠然としているた め，対話の中でこれを掘り下げるのも可

・前提条件の情報が，対話中に変更されても可

-旅行プランの計画ではなく, あくまで宿に関す る話題をメインとする

## 2.3 収集結果

1 対話におけるターン2) は最小 11 回，最大 35 回，平均 19.0 回, 合計 3,997 回だった。また, 文境界を アノテーションし， 1 対話あたりの文数を数えた ところ, 最小 31 文, 最大 78 文, 平均 51.5 文, 合計 10,814 文だった。

対話の例を表 1 に示す3). 7 月に子どもと京都旅行という希望から，オペレータは「水遊びができる 鴨川沿いの宿」というカスタマーが当初考えていな かった要件を引き出している. そして, 対話の最後 では要件が箇条書きで 11 件列挙されている.

## 3 要約アノテーション

表 2 作成した要約文の例

(1) 発話文 朝食はバイキング希望です。

自動要約文 朝食が希望だ。要約文 朝食はバイキング希望だ。

(2) 発話文 夕食は外で食べる予定です。

自動要約文 [著者] が外で[不特定:人] に夕食を食べる。要約文 夕食は外で食べる予定だ。

(3) 発話文 それはとてもいいですね。

自動要約文 それが良い。要約文 水遊びができる鴨川沿いの宿がよい。

(4) 発話文 知らなかったです。

自動要約文 [著者]が良いを知らない。

要約文 鴨川で水遊びできるのを [customer] が知ら なかつた。

## 3.1 要約文の作成

カスタマーの各発話に対して，意図の解釈結果と して「要約文」をアノテーションした。表 2 に例を 示す.

このアノテーションの前処理として, JUMAN++4) [1] (Revision.1ee40d7) と KNP5) (Revision.165d699a) [2] で発話文を述語項構造解析した. そして項構造から 自然文へ変換する簡易的なルールを作り，各発話の 「自動要約文」を作成した。この自動要約文は流暢 でなかったり, 意味的に誤っていたり, 省略の補完 が不完全だったりするので，人手で修正し，常体で 要約文を作成した。なお， 1 つの発話から複数の要

表 3 要約文と発話文の対応付けの例. 同じ番号を添えた 下線で対応を示し, 生成に発話文外の情報を必要とする 箇所にはネを付与している。

要約文 朝食は1

(2) 発話文 多食は 4 外で食べる 5 予定です6。要約文 多食は 4 外で食べる 5 予定だ 6 。

(3) 発話文 それは 7 とてもいいですね $_{8}$ 。要約文 水遊びができる鴨川沿いの宿が7よい。

(4) 発話文 知らなかったです。9 要約文 鴨川で水遊びできるのをォ [customer]がォ 知らなかった9。

表 4 要約文と要件の対応付けの例

(1) 要約文 朝食はバイキング希望だ。要件食事は朝食のみで、バイキングを希望

（2）要約文 夕食は外で食べる予定だ。要件食事は朝食のみで、バイキングを希望

(3) 要約文 水遊びができる鴨川沿いの宿がよい。要件鴨川沿いの宿を希望

(4) 要約文 鴨川で水遊びできるのを[customer] が知ら なかつた。要件

約文が作られることもありうる。

表 2 において, (1), (2), (4) は, 項構造解析が誤っ ていたため修正した事例である。（3）は，照応表現「それ」を適切な先行詞に修正した事例である。

## 3.2 要約文と発話文の対応付け

要約文と発話文の間で語句の対応付けを行った。表 3 に例を示す。対応付けの単位は要約文の述語と 項を原則とした。例えば (3)では述語とその項の計 2 箇所それぞれに対応付けがなされている. 発話文 での「いいですね」が要約分では簡潔に「よい」と なっていることが分かる．また要約文の「水遊びが できる鴨川沿いの宿が」は発話文の「それは」に対応しているが，この生成には発話文外の情報を必要 とする。そのような生成に文外情報を必要とする箇所には印を別途付けた。

## 3.3 要約文と要件の対応付け

オペレータの列挙した要件と, 作成した要約文の 対応付けを行った。表 4 に例を示す。多くは一対一対応しているが，(1) と (2)のように複数の要約文が 同じ要件に対応していることがある。なお，(4)の ようにどの要件にも対応していない要約文もあり 得る.表 5 発話文と完全一致しない要約文箇所の例（抜粋）

表 6 要件との対応が無いまたは複数有る要約文の例

要約文対応する要件

(5) コネクティングルームが何か

知りたい。

(6) 食べるのが大好きだ。

(7) 高校からの友人 4 人で九州へ 旅行へ行きたい。

-人数は大人 4 名

(8) 露天風呂があって、早朝も入

・宿泊地は長崎か熊本

浴ができる旅館がよい。

・宿は旅館

・露天風呂がある

・早朝に入浴ができる

## 4 コーパスの分析

## 4.1 要約文と発話文の対応の分析

発話文と要約文の対応付けは，75 対話 1,268 文 の要約文に対して現在アノテーションを終えてい $3^{6)}$.これら要約文の全 3,724 箇所のうち生成に文外情報を必要としない箇所は 2,812 箇所, 必要とす る箇所は 912 箇所だった。

前者の 2,812 箇所のうち, 発話の文字列と完全一致する箇所は 1,111 箇所，しない箇所は 1,701 箇所で あった. 発話文箇所の異なり総数は 1,905 種類だっ たのが，対応する要約文箇所は 1,687 種類であった。完全一致はしない対応の例を表 5 に示す。「重視す ることは見られることです」という㔯長な表現が 「見たい」と簡潔に要約されていたり，「いいです」「いいですね」「助かります」など複数の表現が「良 い」と要約されていることが分かる.

後者の 912 箇所のうち，694 箇所は発話文に対応 する箇所が有った，例えば，ある「はい。」という発話の要約文は「温泉付きの宿で良い。」とアノテー ションされているが，これはオペレータの「お宿の

6）残りの要約文についても付与する予定である。

タイプは温泉付きの旅館でよろしいでしょうか？」 という発話に対する返答で，文脈が分からなければ この要約は生成できない。このように「良い」とい う要約でも発話によっては文外情報が生成に必要な 場合があった。

後者の 912 箇所のうち, 218 箇所は発話文に対応 する箇所が無かった。例えば，「お食事はいかがい たしましょうか？」というオペレータの質問に対す るカスタマーの返答「夜はなくて大丈夫で、朝は あってもなくても大丈夫です。何か軽いもので問題 ないです。」の第 2 文の要約文は「朝食は軽いものが 良い。とアノテーションされていて,「朝食は」に 対応する箇所は発話文内には無い。この「朝食は」 の生成には，文脈を理解した上で第 1 文の「朝」が 「朝食」を意味しているという推論が必要である.

## 4.2 要約文と要件の対応の分析

210 対話中カスタマーの発話 3,030 文にアノテー ションされている 3,282 の要約文のうち，2,634 文 はオペレータが列挙した要件との対応が有った。一方， 648 文は対応が無かった。これは，カスタマー の質問や感想であるためであったり, 途中でその希望が破棄されたためであったりするなどの理由に よる。

要件との対応が無いまたは複数有る要約文の例を 表 6 に示す.(5),(6) はカスタマーの質問や感想で あったりして，要件とは関係ない要約文である。そ のため対応する要件が無い. (7), (8) は対応する要件 が複数有る要約文である. 要約文が対応している要件の数は， 619 文が 0 個，2,308 文が 1 個， 301 文が 2 個， 47 文が 3 個， 7 文が 4 個だった.

## 5 関連研究

## 5.1 不動産検索対話コーパス

横野らは複数のアノテータが協力して擬似的に対話を収集する手法を提案し，物件を探す客と不動産業者の間での対話からなる, 不動産検索対話コーパ スを構築した $[3,4]$.

福永らは沿線, 収納, 賃料, 間取りといった 38 種類のデータベースフィールドタグを不動産情報サイ 卜 SUUMO で不動産を検索する際に指定可能な検索条件をもとに定義し, 不動産検索対話コーパスの各発話に対しアノテーションした $[5,6]$. 彼らはどの データベースフィールドにも明示的に言及してい
ない「一人暮らしをしたい」といったような情報を 「非明示条件」とよび，常識や経験的な知識により 「一人暮らしならば一般的に物件の間取りは $1 \mathrm{LDK}$以下である」ため「間取り $\leq 1 \mathrm{LDK}$ といったよう な検索条件に変換できるとした。 そして, 非明示条件を含む発話に対しても夕グをアノテーションし た. さらに，夕グアノテーションの根拠となる単語 もアノテーションした.

彼らは検索の要件をタグとフィールド値への変換 して表現しょうとしているが，我々は自然文への変換（要約）で表現する点が異なる。カスタマーの希望は多種多様であるため, 事前定義した有限個の要件に変換するのは情報の欠損が大きいと考える。

## 5.2 Kyutech Corpus

Kyutech Corpus[7, 8] は 4 名の議論 9 回分の音声書 き起こしである。コーパスの各転記単位 [9] には価格, 地域といった 28 種のトピックタグが少なくと も1つアノテーションされている。また，各対話に つき 3 つの要約が 250 字以上 500 文字以内でア， テーションされている。これは，「対話の内容を知 らない人が読んだ場合でも，議論の内容を理解でき る」ことを趣旨として 3 人のアノテーションにより それぞれ作成された。

山村らは要約文へトピックタグや各発話と対応 の有無のアノテーションを Kyutech Corpus に行った $[10,11]$. また, 要約と対応付けされている発話文を 重要文とし, 重要文抽出の実験も行った。彼らは抽象化したトピックタグを介して, 内容の一致箇所を 分析しているが, 我々は具体的な一致語句をア, テーションすることにより分析した。これにより，要約の際にどのように抽象化が行われるかの詳しい 分析が可能となった。

## 6 おわりに

宿検索を目的とした対話においてカスタマーの希望がどのように具体的な要件として整理されていく のかを分析するため，対話デー夕を収集し，発話の 要約文・要件との対応関係のアノテーションなどを 行った. 今後は，構築したコーパスを用いて，要約文や要件の自動生成に取り組む予定である。

謝辞：アノテーションを行っていただき，多くの示唆に富んだご意見をくださった山下華代氏に感謝し ます。また，有益な助言していただいた荒瀬由紀准教授に感謝します。

## 参考文献

[1] Arseny Tolmachev, Daisuke Kawahara, et al. Design and Structure of The Juman++ Morphological Analyzer Toolkit. 自然言語処理, Vol. 27, No. 1, pp. 89-132, 2020.

[2] 河原大輔, 黒橋禎夫. 自動構築した格フレーム辞書と 先行詞の位置選好順序を用いた省略解析. 自然言語処理, Vol. 11, No. 3, pp. 3-19, 2004.

[3] 横野光, 高橋哲朗. クラウドソーシングを用いた対話 コーパス構築. 言語処理学会年次大会, pp. 783-786, 2017.

[4] Tetsuro Takahashi and Hikaru Yokono. Two person dialogue corpus made by multiple crowd-workers. In Proceedings of the 8th International Workshop on Spoken Dialogue Systems, 2017.

[5] Shun-ya Fukunaga, Hitoshi Nishikawa, et al. Analysis of Implicit Conditions in Database Search Dialogues. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation, pp. 2741-2745, 2018.

[6] 福永隼也, 西川仁ほか. タスク指向対話における ユーザ要求の理解とその根拠の抽出. 自然言語処理, Vol. 26, No. 1, pp. 121-154, 2019.

[7] 嶋田和孝, 山村崇ほか. Kyutech コーパス：意思決定 タスクを対象とした複数人対話コーパス. 言語処理学会年次大会, pp. 1097-1100, 2016.

[8] Takashi Yamamura, Kazutaka Shimada, et al. The Kyutech corpus and topic segmentation using a combined method. In Proceedings of the 12th Workshop on Asian Language Resources, pp. 95-104, 2016.

[9] 小磯花絵, 西川賢哉ほか. 転記テキスト. 国立国語研究所報告 No. 124 日本語話し言葉コーパスの構築法, pp. 23-132. 2006.

[10] 山村崇, 嶋田和孝. Kyutech コーパスにおける抜粋要約のアノテーションと分析. 言語処理学会年次大会, pp. 146-149, 2017.

[11] Takashi Yamamura and Kazutaka Shimada. Annotation and Analysis of Extractive Summaries for the Kyutech Corpus. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation, pp. 3216-3220, 2018


# レシピ解析の現状と課題: Cookpad Parsed Corpus を例として

平松淳 原島 純
クックパッド株式会社
\{himkt, jun-harashima\}@cookpad.com

## 1 はじめに

インターネット上にレシピを投稿する行為が一般的になり，計算機で処理できる電子化されたレシピ が増加している。これにより, レシピデータの解析 への注目が高まり，様々なデータセットが整備され ている $[1,2,3]$. レシピデータが公開されたことで， データを利用した応用的な研究トピックにも関心が 集まり, レシピ検索 $[3,4]$, レシピ生成 $[5,6]$, レシ ピ質問応答 [7], そしてカロリー推定 [8] のような応用的なタスクも提案されている。

レシピ研究が活発になった一方，レシピテキスト を解析するための基礎的な言語資源は未だ充分に整備されていない. 利用可能な既存の言語資源の多く は新聞記事データなどを基に構築されている $[9,10]$ が，レシピテキストにはこのようなデータには出現しない用語が数多く存在する。例えば「炒める」「募込む」のような調理動作に関する表現は新聞記事にあまり出現しない. また，「おにぎらず」のよ うな新語も日々レシピテキストの中で誕生してい る.このような用語を含むレシピドメインのコーパ スを構築し, 言語解析器を開発することで, レシピ 解析の精度を改善できると考えられる。

この課題に対し, 著者ら [11] は Cookpad Parsed Corpus (CPC) を提案した. CPC にはレシピサービス のクックパッド ${ }^{11}$ に投稿されたレシピから無作為に 抽出した 500 品のデータが含まれており, 各レシピ のタイトルおよび調理手順に形態素, 固有表現, そ して係り受けの情報が付与されている.

本稿では， CPC のアノテーション情報について 簡単に解説し，CPCを用いたベンチマーク実験の 設定・結果を報告する．その後，各実験において明 らかになったレシピ解析の現状と課題について考察 する. また, 本研究で使用したソースコードおよび Dockerfileを GitHub ${ }^{2)}$ で公開する.

## 2 関連研究

日本語のレシピドメインの言語資源に関する研究 として, Mori ら [12]によるフローグラフコーパス が存在する. Mori らはクックパッドに投稿された レシピから 266 品のレシピを抽出し, 調理手順のテ キストに対してグラフ形式の情報を付与した $\mathrm{r}$ - $\mathrm{FG}$ コーパスを提案した. Yamakata ら [13] も英語のレ シピで同様のコーパスを提案している。 また, 笹田 ら [14] はクックパッドから無作為に抽出した 436 件 のレシピに対し, Mori らの研究で定義された固有表現タグに基づく固有表現情報を付与した。

言語以外のデータセットとして，西村ら [15] は r-FGコーパスを基に，各レシピの画像に対してバウ ンディングボックスを付与し, r-FGコーパス中の料理用語に対応させた r-FG-BB データセットを提案し た. 西村らはレシピ画像中のバウンディングボック スが示すエンティティをレシピテキスト中から発見 するタスクに取り組み，レシピにおける言語と画像 を組み合わせた研究の可能性を示した。

これに対し, CPC は 500 品のレシピに対して形態素，固有表現，係り受けの情報を付与した. CPC は Cookpad Recipe Dataset (CRD) [2] から無作為に抽出した 500 レシピに対してアノテーションを実施 している.さらに， CPC は Cookpad Image Dataset (CID) [16] と互換性がある. CID は CRD に含まれ るレシピについて, 完成写真, および調理手順写真 474 万枚の画像を収録したデータセットである. CPC と CIDを組み合わせることで，言語と画像を組 み合わせた研究が可能である.

## 3 Cookpad Parsed Corpus

CPC では図 1 のようなフォーマットでアノテー ションが実施されている.1つの調理手順 (Step) は複数の文を含む可能性があるため，Step の中に Sentence が存在する. 本章では CPC の形態素, 固有表現，そして係り受け情報について簡単に述べる。

図 1: CPC のアノテーション例

表 1: 固有表現タグの一覧

## 3.1 形態素

CPC のテキストには IPA 品詞体型をベースにし た形態素情報が付与されている. 形態素のアノテー ション作業は文の分割，自動解析，そして解析結果 の修正の 3 ステップで実施した. まず人手で文境界 の判定を実施した. その後，各文を MeCab [17] およ び mecab-ipadic を用いて解析した. 最後に解析結果 を人手で確認し，誤った形態素情報を修正した.

## 3.2 固有表現

レシピテキストには様々な料理ドメインの用語が 出現する. 食材, 調理器具, 調理動作 (例. 切る, 煮表 2: 実験データの統計量

る, 炒める)，分量・時間 (例. $200 \mathrm{~g}, 1$ カップ, 1 時間,冷めるまで) など，多様な用語が存在する。

CPC では笹田ら [14] の用語タグを参考に表 1 に 示すような用語タグを定義した. CPC の用語タグは 笹田らが定義したものより細分化されている. 例え ば，笹田らのコーパスでは食材を表すタグは “F”で あるが， CPC では “Fi”，“Fe”などのタグの細分化さ れたタグを定義している。これは，レシピ中に出現 する食材の中には調理中に除去される部分（例. 魚 の「わた」）が存在し，それらは調理中に使われる材料とは区別すべきであると考えたためである.

固有表現のアノテーションはIOB2 形式で実施さ れている. 図 1 のように，各形態素に対して “B-Fi” "I-Fi" “O"のようなタグが付与されている.

## 3.3 係り受け

CPC のテキストには文節同士の係り受け情報も 付与されている。図 1 の例において，各文節の先頭 には“*”から始まる行が存在し，文節の ID (0 オリ ジン), 係り先文節 ID + 係り受けラベル, 主辞/機能語 フィールド, 文節ラベルの情報が記述されている.係り受けのアノテーションは自動解析と結果の修正 からなる 2 ステップで実施した. はじめにテキスト を CaboCha [18] で解析し，その後誤った文節の区切 りおよび係り受けを人手で修正した。

## 4 実験

本章では CPC のベンチマークタスクの実験設定, およびそれぞれの結果について報告する．実験の際 は CPC を訓練・検証・評価のために 3 つに分割して おり，各データに含まれる文，形態素，固有表現， そして文節の数は表 2 に示す通りである。

## 4.1 形態素解析

形態素解析の実験には MeCab [17]を利用した. 辞書として mecab-ipadic および mecab-ipadic をべース に CPC でパラメータを再学習した mecab-ipadic-cpc
表 3: 形態素解析の実験結果

の2つを用意し，性能を比較した。

実験結果を表 3 に示す。評価指標は単語分割の 精度・再現率・ $\mathrm{F}$ 値，および単語の素性の完全一致の精度・再現率・ $\mathrm{F}$ 值とした. ここで，単語の素性とは単語の読み, 品詞, 活用形などの情報を指 す. 単語分割・素性完全一致両者の指標において, mecab-ipadic-cpc が mecab-ipadic を上回っている.こ の結果から， CPC の有用性が確認できた。

一方で, Kudo ら [17] は新聞記事を基にして構築 されたコーパスにおいて同様の実験を実施し，素性完全一致の評価で 96 ポイント以上の精度を報告し ている.このことから，レシピテキストの形態素解析にはまだ改善の余地があることが示唆される。

mecab-ipadic-cpc の解析結果について調査したと ころ，カタカナの単語のひらがな表記や略語を含 む誤りが存在することがわかった.「チーズクリー ムサラミあすぱら パスタ」というレシピタイトル を例に挙げる. mecab-ipadic-cpc はこれを「チーズ/ クリーム/サラミ/あす/ぱら/パスタ」と分割し た.「あすぱら」は本来 1 単語になるべきだが，「あ す(明日)」が辞書に含まれていたため，このように 2つの形態素に分離してしまったと考えられる.

略語を含む誤りの例として「新じゃがは $2 \sim 3$ 等分に切る」というレシピテキストの解析結果を示 す. mecab-ipadic-cpc はこのテキストを「新/じゃが /は/ 2 /〜/3 /等分/に/切る」と正しく分割し た.しかしながら，素性をみると「じゃが」の品詞 として「接続詞」が予測されていた. これは解析器 が「じゃが(じゃがいも)」を「〜じゃが」のような 逆接の接続詞として認識した結果である. CPCを用 いた再学習の有用性は示された一方, ユーザ投稿型 レシピサービス特有の難しさも明らかになった.

## 4.2 固有表現抽出

CPC の固有表現タグに基づいて訓練された既存の 固有表現抽出モデルは存在しない. このため, 既存 の 2 種類の手法を用いてモデルを訓練し，参考値と してそれぞれのモデルの性能を報告する。表 4: 固有表現抽出の実験結果

表 5: 係り受け解析の実験結果

1つ目の手法は PWNER [19]である. PWNER は点推定と動的計画法に基づく手法であり。笹田ら [14] によるレシピ用語の抽出の研究で利用されている。本研究における実験では，パラメータはすべてデ フォルトのものを利用した。

もう1つの手法は BiLSTM-CRF [20] である. BiLSTM-CRF の実装は pyner [21]を利用した. BiLSTM-CRF には文字レベルの特徴量と単語レ ベルの特徴量が存在する. 文字レベルの特徴量につ いては 25 次元の文字分散表現を 50 次元の Bi-LSTM に入力して抽出し, 単語レベルの特徵量について は文字レベルの特徴量と 100 次元の単語分散表現 を結合した 150 次元の特徴ベクトルを 200 次元の Bi-LSTM に入力して抽出している. モデルの訓練に は SGD を利用し，学習率は 0.01 ，バッチサイズは 10 に設定した. また，勾配のクリッピングを実施し ており，しきい値は 5.0 とした.

実験結果を表 4 に示す。評価指標は単語レベルの 正解率，フレーズレベルの精度・再現率・ $\mathrm{F}$ 値であ る. フレーズレベルの指標については各固有表現タ グの指標の平均をとる. BiLSTM-CRF が PWNER よ りよい性能を発揮していることが確認できる.

BiLSTM-CRFがどのような入力に対して誤った予測をしているのか調査したところ，特に未知語を含 む固有表現の抽出に失敗していることがわかった.例えば，「トマト/の/水蔒/缶/を/加える/と/、 /気分/が/変わり/ます」という文の「気分」に対 して，BiLSTM-CRF は「Fa (食材の状態)」のカテゴ リを予測していた。「気分」はレシピ作者の感情で
表 6: アノテーション誤りの例 (“/l” は文節の区切りを表す)

 &  &  &  \\

あり，該当する固有表現タグは存在しないため，本来は「O」と予測するべきであった.「気分」は CPC にほとんど出現しない単語だったため未知語であ り，BiLSTM-CRF には「(食材の) 色が変わる」のよ うな表現と区別できなかったためにこのような予測誤りをしたと考えられる。BiLSTM-CRFが予測誤り をしたフレーズは 301 件あり，このうち 109 件は 1 つ以上の未知語を含むフレーズであった.

## 4.3 係り受け解析

係り受け解析の実験には CaboCha [18] を利用し た. CaboCha 付属のモデル，および付属モデルのパ ラメータを CPC で再学習したモデルを比較した. ${ }^{3)}$再学習にはデフォルトのパラメータを利用した。

実験結果を表 5 に示す。評価指標は全文節の係 り受け正解率 (level0)，最後の文節以外の正解率 (level1), 最後および最後から 2 番目以外の文節の正解率 (level2), 文全体での正解率 (sentence) である.末尾の文節，およびその前の文節は係り先の推定 が容易であるため，それらを除外した level1 および level2 の正解率は level0 と比較すると低いことが確認できる．すべての評価方法において，CPC で再学習したモデルの正解率が学習済みモデルの正解率 を上回っており， CPC の有用性が確認できた。な お，解析誤りを調査したが形態素解析や固有表現抽出のようなレシピ特有の誤りは見つからなかった.

## 5 分野固有のアノテーションミス

CPC のアノテーション結果を見直したところ，少 ないながら表 6 のようなアノテーション誤りを発見 した。誤りは大きく分けると文節境界に関わるもの

と文境界に関わるものの 2 種類が存在した.

1 つ目の例は「長ネギを並べてワインコンソメを 入れて」という文を「長ネギを/並べて/ワインコ ンソメを/入れて」のような文節に分割している. しかしながら，レシピの材料闌を確認したところ 「ワイン」「コンソメ」は独立した材料であり，実際 には「長ネギを/並べて/ワイン/コンソメを/入れ て」のような文節に分割しなければならなかった。

2 つ目の例は文境界に関する誤りである。「電子 レンジ (600w 設定) で焼く [EOS] 4～5 分ほど加熱処理をしておく」と2つの文に分割されているが，「焼 く」は「約」の誤りであり，正しくは「電子レンジ (600w 設定) で焼く (約) 4 5 分ほど加熱処理をして おく」となるべきであった．調理手順で実際に食材 を加熱しており「焼く」と誤字があっても意味が成立してしまっていた。また，後続の文も単体で成立 しており，発見しにくい誤りであった.

現在公開されている CPC (version 1.0)ではこれら のアノテーション誤りはそのまま残されているが，今後のバージョンアップ時に修正する予定である.

## 6 結論

本研究では $\mathrm{CPC}$ を用いて実施したレシピ解析に ついて，実験の詳細を述べ，現状と課題を報告し た. CPCを用いた解析器の再学習によって各タスク の性能が改善し，CPC の有用性が確認された。

また，各タスクの実験結果のエラー分析を実施 し，形態素解析，固有表現抽出でレシピ固有の解析誤りを発見した. さらに，料理の知識，およびレシ ピ特有のひらがな表記や略語に関する知識が必要と なるアノテーションが難しい事例を発見した. 今後 もこれらの事例を活用し，CPC の拡充およびレシ ピ解析の改善に取り組む予定である。

## 参考文献

[1]Dan Tasse and Noah A. Smith. SOUR CREAM: Toward Semantic Processing of Recipes. Technical report, Carnegie Mellon University, 2008.

[2]Jun Harashima, Michiaki Ariga, Kenta Murata, and Masayuki Ioki. A Large-scale Recipe and Meal Data Collection as Infrastructure for Food Research. In Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC 2016), pp. 2455-2459, 2016.

[3]Amaia Salvador, Nicholas Hynes, Yusuf Aytar, Javier Marin, Ferda Ofli, Ingmar Weber, and Antonio Torralba. Learning Cross-modal Embeddings for Cooking Recipes and Food Images. In Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2017), pp. 3020-3028, 2017.

[4]Micael Carvalho, Rémi Cadène, David Picard, Laure Soulier, Nicolas Thome, and Matthieu Cord. Cross-Modal Retrieval in the Cooking Context: Learning Semantic Text-Image Embeddings. In Proceedings of the 41th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2018), pp. 35-44, 2018.

[5]Chloé Kiddon, Luke Zettlemoyer, and Yejin Choi. Globally Coherent Text Generation with Neural Checklist Models. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing (EMNLP 2016), pp. 329-339, 2016.

[6]Amaia Salvador, Michal Drozdzal, Xavier Giro i Nieto, and Adriana Romero. Inverse Cooking: Recipe Generation from Food Images. In Proceedings of the 2019 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2019), 2019.

[7]Semih Yagcioglu, Aykut Erdem, Erkut Erdem, and Nazli Ikizler-Cinbis. RecipeQA: A Challenge Dataset for Multimodal Comprehension of Cooking Recipes. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP 2018), pp. 1358-1368, 2018.

[8]Jun Harashima, Makoto Hiramatsu, and Satoshi Sanjo. Calorie Estimation in a Real-World Recipe Service. In Proceedings of the 32nd Annual Conference on Innovative Applications of Artificial Intelligence (IAAI-20), pp. 13306-13313, 2020.

[9]Daisuke Kawahara, Sadao Kurohashi, and Kôiti Hashida. Construction of a Japanese Relevance-tagged Corpus. In Proceedings of the 3rd International Conference on Language Resources and Evaluation (LREC 2002), pp. 20082013, 2002.

[10]Ryu Iida, Mamoru Komachi, Kentaro Inui, and Yuji Matsumoto. Annotating a Japanese text corpus with predicateargument and coreference relations. In Proceedings of the Linguistic Annotation Workshop (LAW 2007), pp. 132-139, 2007.

[11]Jun Harashima and Makoto Hiramatsu. Cookpad Parsed Corpus: Linguistic Annotations of Japanese Recipes. In Proceedings of the 14th Linguistic Annotation Workshop (LAW 2020), pp. 87-92, 2020.

[12]Shinsuke Mori, Hirokuni Maeta, Yoko Yamakata, and Tetsuro Sasada. Flow Graph Corpus from Recipe Texts. In
Proceedings of the 9th International Conference on Language Resources and Evaluation (LREC 2014), pp. 23702377, 2014.

[13]Yoko Yamakata, Shinsuke Mori, and John Carroll. English recipe flow graph corpus. In Proceedings of The 12th Language Resources and Evaluation Conference (LREC 2020), pp. 5187-5194, 2020.

[14]Tetsuro Sasada, Shinsuke Mori, Tatsuya Kawahara, and Yoko Yamakata. Named Entity Recognizer Trainable from Partially Annotated Data. In Proceedings of the 14th International Conference of the Pacific Association for Computational Linguistics (PACLING 2015), pp. 148-160, 2015.

[15]Taichi Nishimura, Suzushi Tomori, Hayato Hashimoto, Atsushi Hashimoto, Yoko Yamakata, Jun Harashima, Yoshitaka Ushiku, and Shinsuke Mori. Visual grounding annotation of recipe flow graph. In Proceedings of the 12th Language Resources and Evaluation Conference (LREC 2020), pp. 42754284, 2020.

[16]Jun Harashima, Yuichiro Someya, and Yohei Kikuta. Cookpad Image Dataset: An Image Collection as Infrastructure for Food Research. In Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2017), pp. 1229-1232, 2017.

[17]Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing (EMNLP 2004), pp. 230-237, 2004.

[18]Taku Kudo and Yuji Matsumoto. Japanese dependency analysis using cascaded chunking. In Proceedings of the 6th Conference on Natural Language Learning 2002 (CoNLL2002), 2002.

[19]PWNER. http://www. lsta.media.kyoto-u.ac.jp/ resource/tool/PWNER/. Accessed: 2021-01-09.

[20]Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural Architectures for Named Entity Recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2016), pp. 260-270, 2016.

[21]pyner. https::/github.com/himkt/pyner. Accessed: 2021-01-09.


# Wikipedia を用いた日本語の固有表現抽出のデータセットの構築

近江崇宏
ストックマーク株式会社
takahiro.omi@stockmark.co.jp

## 1 はじめに

固有表現抽出（認識）は，人名・組織名といった 固有名詞や日付，数値表現を抽出する自然言語処理 の基本的な技術である. 固有表現抽出は文章の構造化や，人名などのプライバシーに関わる部分のマス キングなどの応用が考えられる。

固有表現抽出器の作成には，コーパスに対して固有表現を付与したデータセットが必要になる. 日本語のデータセットに関しては、広く公開されている ものとして（無料であり、利用に登録などが必要の ないもの），京都大学ウェブ文書リードコーパス

[1] や, UD_Japanese-GSD データセット [2]に対し て固有表現情報を付与したもの［3] などがある。我々は最近新たにWikipediaを用いて日本語の固有表現抽出のためのデータセットを構築して、公開を 行った [4]. 本論文の主目的は, まずこのデータセ ットについての詳細な内容を記述することである. また，このデータセットから BERT[5]をファインチ ユーニングした固有表現抽出器を作成し, その性能 の評価も行う。

## 2 データセット

## 2. 1 固有表現の種類

本データセットでは, 応用上重要な固有名詞のみ を扱った. 日付や数値表現については，今後取り入 れていくことを検討している。データセットで扱わ れている固有表現のカテゴリーは「人名」,「法人名」,「政治的組織名」,「その他の組織名」,「地名」,「施設名」,「製品名」,「イベント名」の 8 種類 であり，その概要は表 1 にまとめられている。 それ ぞれのカテゴリーに対応する, 関根の拡張固有表現階層［6]で定義されている固有表現の種類について も，表 1 にまとめられている.

## 2. 2 データセットの作成

本データセットは日本語版の Wikipediaを用いて 作成された。まず，各記事から Wikiextractor [7] を用いて本文を抽出し，本文を文単位に分割し，前処理を行った. 前処理の具体的な内容は, 文字列の 正規化 (NFKC), 括弧の削除である. その後, 効率的 にアノテーションを行うため，ストックマーク社作成の固有表現抽出器（非公開）を用いて, 固有表現抽出を行い，何らかの固有表現が含まれていると判定された文を選び出し，人の手によるアノテーショ ンを行った. また固有表現の各カテゴリーで固有表現が 1000 以上含まれるような調整も行った.

最終的には，4859 文に対してアノテーションを 行い，その中に含まれる各カテゴリーの固有表現数 は表 1 にまとめられている。また, 負例として, 固有表現が含まれていないデータも 484 文加えたた め, データセットに含まれる文の合計は 5343 であ る.

## 2.3 データセットの公開

データセットはまず，バージョン 1 として 2020/12/15に[4]において公開された. その後, デ 一夕の修正及び追加を行い, バージョン 2 が作成さ れた. 今回の論文はこのバージョン 2 について記述 する. バージョン 2 も同一のレポジトリで公開され る予定である.

## 3 BERT を用いた固有表現抽出器の性

## 能評価

この章では，本データセットにより, どの程度の性能の固有表現抽出器が作成できるかを定量的に評価 する。そのために，BERT[5]を用いて実験を行なつ た. ここでは試行毎にデータセットからランダムに 選び出された 8 割のデータを用いて BERT をファイ ンチューニングし，残りの 2 割のデータをテストデ 一夕として用いて, ファインチューニングされた BERT の性能を評価した。表 2 は適合率, 再現率, $\mathrm{F}$

 \\

表 1 : 固有表現のカテゴリー

表 2 : BERTを用いた固有表現抽出の性能評価

値を固有表現のカテゴリー毎と全体で調べた結果で ある(数値は 10 回の試行の平均値である).カテゴ リー全体での $\mathrm{F}$ 值は 86\%程度であった．基本的には データセットに含まれる固有表現の数が多いカテゴ リーほど $\mathrm{F}$ 值が高い傾向がある。概初 2000 以上の 固有表現が含まれるカテゴリー（人名，法人名，地名）では $\mathrm{F}$ 値が約 $90 \%$ であった. それ以外の，約 1000 程度の固有表現が含まれるカテゴリーでは概将，F 值は約 $80 \%$ 程度であったが，製品名のカテゴ リーだけは $\mathrm{F}$ 值が $73 \%$ であった．各カテゴリーの固有表現抽出の難易度により $\mathrm{F}$ 値はばらつくが，デー タセットに固有表現が約 1000 含まれているカテゴ リーでは $\mathrm{F}$ 值は 80\%程度, 2000 以上含まれているカ テゴリーでは $\mathrm{F}$ 值が $90 \%$ 程度になると，この結果か らは類推される。これは目的に応じて, どの程度の 規模のデータセットを作れば良いかということに一 つの目安を与えると考えられる。

## 4 まとめ

本論文では Wikipedia を用いた日本語の固有表現抽出のためのデータセットについて詳細な記述を与え るとともに，本データセットを用いた時に，どの程度の性能の固有表現抽出器が作成できるかについて も，BERTを用いて評価を行った。

## 参考文献

1. 萩行正嗣, 河原大輔, 黑橋禎夫．多様な文書の 書き始めに対する意味関係タグ付きコーパスの構築 とその分析，自然言語処理，Vol. 21，No. 2, pp. 213-248, 2014. http://nlp. ist.i.kyotou. ac. jp/?KWDLC

2. 浅原正幸，金山博，宮尾祐介，田中貴秋，大村舞, 村脇有吾, 松本裕治. Universal Dependencies 日本語コーパス, 自然言語処理, Vol 26, No. 1, pp. 3-36, 2019.

https://universaldependencies. org/treebanks/ja gsd/index. html

3. 松田宽, 若狭絢, 山下華代, 大村舞, 浅原正幸. UD Japanese GSD の再整備と固有表現情報付与, 言語処理学会第 26 回年次大会発表論文集 https://github.com/megagonlabs/UD_Japanese--

GSD/releases/tag/v2. 6-NE

4. https://github.com/stockmarkteam/ner-

wikipedia-dataset
5. Devlin, Jacob, et al., "Bert: Pre-training of deep bidirectional transformers for langua ge understanding." arXiv preprint arXiv:1810. 04805 (2018).

6. Sekine, Satoshi, Kiyoshi Sudo, and Chikashi Nobata. "Extended Named Entity Hierarchy." LR EC. 2002.

7. https://github.com/attardi/wikiextractor