# 学術論文における関連研究の執筆支援のための 被引用論文の推定

小山康平 ${ }^{1}$ 南泰浩 ${ }^{1}$ 成松宏美 ${ }^{2}$ 堂坂浩二 ${ }^{3}$
東中竜一郎 ${ }^{2}$ 田盛大悟 4 平博順 4
1 電気通信大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
3 秋田県立大学 4 大阪工業大学
k1710245@edu.cc.uec.ac.jp, minami.yasuhiro@is.uec.ac.jp
\{hiromi.narimatsu.eg, ryuichiro.higashinaka.tp\}@hco.ntt.co.jp
dohsaka@akita-pu.ac.jp, elb17043@st.oit.ac.jp, hirotoshi.taira@oit.ac.jp

## 1 はじめに

様々な科学技術研究の発展に伴い，分野を超えた研究も多数行われるようになってきた. これに伴い，研究者が学術論文を執筆する際，比較すべき主要アプローチやベース手法を把握するために，関連する数多くの論文を調査することに大きな労力を払うことになっている．我々は，このような研究者の論文執筆を支援するために，論文中の関連研究の章における論文同士の引用関係に着目した。これは，関連研究の章には，その論文に対する，主要アプローチやベース手法の引用がされ，その分野に対する多くの基本情報が含まれているからである.

論文を執筆する際，自分の主張をより強固にするため，引用文献を参照することは重要である．しかし，膨大な論文の中から適切な引用文献を用意することは特に研究者の労力を必要とする．例えば，研究者が自身の専門分野外の事実に関する主張を書くとき，その主張の根拠となる論文を膨大な論文の中から検索しなければならない，加えて，検索した論文を間違った形で引用しないよう注意深く，その論文を読み込まなくてはならない。もし，引用対象として適切ではないと気づいたときには，再度検索からやり直さなくてはならない.

このように考察すると，引用論文を精査する労力を軽減できれば，多くの研究者の支援ができると思われる，本稿では研究者を支援するため，関連研究の文章及びその引用関係の情報を用いて，どの論文を引用するべきかを割り当てるタスクを設定した
（引用文献割り当てタスク）。論文に引用を付ける際，筆者が関連文献の候補を用意するだけで，引用文に適切な引用文献を割り当てることができれば，労力を軽減することができる. 今回の研究では，これを実現するデータセットとして 3.1 節に示すデー タセットを使用した。このデータセットには論文の引用関係や関連研究の情報が含まれており,サーべイ論文の自動生成タスクなど，複数のタスクで利用することも考慮されている [1]. このタスクの前段階として引用元論文と被引用論文のペアが適切であるかどうかの判定を行うタスクも同時に設定した (引用文・被引用文献ペア適正性判定タスク)。論文執筆者が根拠を示す引用文献を仮に付与した場合， その被引用文献が本当に対応するものであるかを確かめるためには，研究者はその論文を読み込まなくてはならない，その労力を軽減するためにこのタスクを考えた。この引用文・被引用文献ペア適正性判定を最初に行い，その結果を用いて，引用文献割り当てタスクを実現する。

## 2 関連研究

Michael らは対象の文章に引用を付けるべきかを推定するモデルの検討をしている [2]. しかし，実際に論文を執筆する研究者を支援するためには，それだけでは不十分である。なぜなら，引用が必要な文であることが分かるだけでは，研究者が引用文献を調べる労力自体は十分に軽減されないからである.今回の実験では対象の文章に，被引用文献のアブストラクトを用いて，適切な引用文献を割り当て

る.これにより，労力の削減を図ることができる。

飯沼らは，最新の研究情報が反映されていないサーベイ論文に，追加するべき新たな引用文献の推定方法を提案している [3]. 彼らの研究は, 引用文献を推定する点では我々の研究と類似している。 しかし，古いサーベイ論文で引用している文献を入力としているために，一から論文を作成する場合の支援には適していない. また，使用しているデータセットの種類が 4 種類の書籍のみであるため，書籍の筆者の記述の傾向を推定に含んでいる可能性がある. 我々の研究では，様々な筆者の論文データを使用するとともに，一から論文を作成する研究者に向けたタスクを検討する。

## 3 タスクの設定

## 3.1 データ作成

図 1 データ作成の概略

実験に使用するデータセットは，研究者支援の様々なタスクを共通のデータセットで実施できることを目標に作成した. 引用元論文のデータとして Axcell[4] のデータを使用した. AxCell は ArXiv から約 10 万件の論文データを取得した. このデータには，論文の Pdf データ，図表データ，Tex ソース， bib, bblソースが含まれている. このうち, Texソー スと bib，bblソースを活用することで論文同士の引用関係を抽出する. 今回は関連研究の章に着目しているため, Tex ソースから関連研究の章を抽出した.抽出できたデータ数は約 3 万件である. この 3 万件の関連研究の章から，lcite \{\}$を$ 含む文章を取り出し, bib，bblファイルからタイトルを抽出した. この際，bibファイルがない論文が多く存在していたので，主にbblファイルに正規表現をかけることに
よってタイトルを抽出した. 抽出し終えたタイトルは， arXiv の APIを用いて検索をかけ PDF，Abstract のデータを取り出した. 今回はこの工程を通して， ( Icite\{\}を含む文章，引用論文の Abstract)のデータを 2 万件作成した。

## 3.2 引用文・被引用文献ペア適正性判定タ スク

引用元論文と被引用論文のペアが適切であるかどうかの判定をするタスクを行う．入力には引用元論文の引用部分の文章と被引用論文のアブストラクトを使用する．入力の負例として、被引用論文として不適切なアブストラクトを用いたデータを用意する. 負例は被引用論文のアブストラクトを同じ論文の関連研究の章で引用されている別の論文のアブストラクトに置き換えて作成した. 実際に筆者が関連文献の候補を用意する際，引用元論文と被引用論文のペアは意味合いが近くなっていることが予想される.このタスクの被引用論文を完全にランダムにしてしまうと，意味合いが全く異なるぺアのみを負例として学習してしまい，わずかに意味合いが違う負例ペアを区別できない可能性がある。一方，同じ論文で引用されている引用元論文と被引用論文候補のペアは内容が大きく離れていることは少ない，細かい意味合いの違いを抽出するためにも, 被引用論文の候補として, 同じ論文で引用されている引用論文を使用する。これらの正例・負例データを用いて学習を行い，正例である確率を出力とするモデルの作成をする。

<引用元論文の引用部分の文章> <SEP><被引用論文のアブストラクト>

図 2 実験の概略

## 3.3 引用文献割り当てタスク

論文に引用を付ける際，筆者が関連文献の候補を用意するだけで，引用文に適切な引用を割り当てることができるよう，関連文献の候補の中から正しい被引用論文を推定するタスクに取り組んだ。引用元論文と被引用論文の候補を用意し，被引用論文それぞれに 3.2 節と同様の操作をする. この時，最も適
切である確率の高かった論文候補を適切な被引用論文とする。また，引用文・被引用文献ぺア適正性判定タスクで作成したモデルが，細かい意味合いの違いを抽出できるか確認するために, 被引用論文の候補は同じ引用元論文の関連研究の章で引用されている被引用論文を使用した。

図 3 実験の概略

## 4 実験

## 4.1 引用文・被引用文献ペア適正性判定タ スク

## 4.1.1 比較手法

実験に使用したモデルは Random, Word2Vec, BERT, XLNet $の 4$ 種類である.

Random 5 割の確率で正例と判定し，5 割の確率で負例と判定するモデル．この手法を実験のベースライン手法とする.

Word2Vec ベクトル化した文章同士の類似度を計算することで判定をするモデル．類似度が間値よりも高ければ正例と判定し, 閾値よりも低ければ負例と判定する。間値は $\operatorname{dev}$ データを用いて設定する．入力は, ベース論文の引用部分の文章と被引用論文のアブストラクトである.

BERT, XLNet huggingface の事前学習モデルをファインチューニングしてモデルを作成した. 入力は，(< ベース論文の引用部分の文章> <SEP> <被引用論文の Abstract>) とした. 出力は, 被引用論文が適切である確率とした. 学習率は 1e-4, epoch 数は 75 とした. 今回の実験では，モデルが出力した確率が 0.5 以上の時は正例と推定し, 0.5 未満と推定した時は負例と推定した。

## 4.1.2 共通設定

データセットとして, 3.1 節で作成したものを正例として使用した.このデータセットを基に (Icite \{\}表 1 引用文・被引用文献ぺア適正性判定タスク

を含む文章，同じ論文内の別の個所で言及された引用論文のアブストラクト) の形の負例データを正例と同数作成した. 合計データ数は (train/dev/test), $(36,000 / 3,000 / 3,000)$ となった. また，評価指標として Accuracy, Precision, Recall, F-measure を計算した.

## 4.1.3 結果

## 4.2 評価

表 1 で示す通り，引用文・被引用文献ペア適正性判定タスクでは，BERT，XLNet は全ての評価指標でベースラインを大きく上回る結果を出すことができた。これにより，引用文献割り当てタスクでは正しい被引用論文を推定できることが期待できる。一方で，Word2Vecは Recall こそ BERT，XLNetに迫る結果になったものの, Accuracy, Precision はべースラインとなる Randomをわずかに上回るだけの結果となった.

## 4.3 引用文献割り当てタスク

## 4.3.1 比較手法

実験に使用したモデルは，Random，Word2Vec[5]， BERT[6], XLNet[7]の 4 種類である.

Random 被引用論文候補の中からランダムに選ばれた論文を推定された被引用論文とする。この手法を実験のベースライン手法とする.

Word2Vec 4.1 節と同様の処理を全ての被引用論文候補に行う.その結果，類似度が閾値を超えたデータのうち，最も類似度が高い論文を被引用論文と推定する。

BERT, XLNet 4.1 節と同様の処理を全ての被引用論文候補に行う. その結果，適正である確率が 0.5 を超えた被引用論文候補のうち，最も適正である確率が高い論文を被引用論文と推定する。
表 2 引用文献割り当てタスクの結果

## 4.3.2 共通設定

BERT，XLNet モデルは 4.1 で学習させたモデルを用いた。

被引用の候補となる論文の Abstract に対して，4.1 と同様の計算を行い，最も確率の高い被引用候補となる論文を推定された被引用論文とした. 被引用の論文候補は，引用元論文のほかの個所で引用されている論文のうち，取得できたデータ全てとした. データセットには 4.1 で使用した Test データのうち実験に適した 600 件を使用した. 評価指標として Accuracy を計算した.

## 4.3.3 結果

 & We show that even when face images are unconstrained and ... \\

図 4 XLNet の引用文・被引用文献ペア適正性判定タスク正解例

 \\

図 5 XLNet の引用文・被引用文献ペア適正性判定タスク不正解例

## 4.4 評価

表 2 で示す通り，引用文・被引用文献ペア適正性判定タスクと同様に，引用文割り当てタスクでも， BERT, XLNet は Random, Word2Vec を大きく上回り，高精度となった. BERT, XLNet はどちらも 7 割を超える正解率を出すことができ，このデータセットを用いた被引用論文の推定は十分に可能であるといえる。

実際に引用文の適性判定が行われた結果を確認してみる。表 (4) は XLNet が正しく被引用論文を識別できた結果である. 引用元論文の文章では，画像中の顔を入れ替える技術について述べられていて，被引用論文のアブストラクトでも画像中の顔に関する言及がされている．どちらも同じ内容であるため，正しく推定できていることが分かる。方，表 (5) は XLNet が正しく被引用論文を識別できなかった結果である. 引用元論文の文章と被引用論文のアブストラクトのどちらの文章でも “voting games"について言及されているため，意味合いの近い文章を識別することはできているようである.

## 5 おわりに

本研究では，研究者支援の様々なタスクにも使用できることを目的にデータセットを作成し，引用文対引用文献適正判定タスクと引用文献割り当てタスクという二つのタスクを設定し，各種の手法による評価を行った. どちらのタスクでも，BERT， XLNet モデルは高い精度を出すことができた. 一方で Word2Vec の精度は，高くなかった. すべての手法での誤認識には，引用部分の文章が被引用論文のアブストラクトに比べるとかなり短いことが影響していると思われる. この改善点として，入力の文章に引用部分の文章だけではなく，範囲をさらに広げて引用部分のパラグラフを使用することがあげられる. 今後は，入力やモデルを改善による精度の向上と，共通データセットを用いた更なる論文執筆者支援タスクに取り組みたい。

## 参考文献

[1] 成松宏美, 小山康平, 堂坂浩二, 田盛大悟, 東中竜一郎,南泰浩, 平博順. 学術論文における関連研究の執筆支援のためのタスク設計およびデータ構築. 言語処理学会第 26 回年次大会, 2021.

[2] Michael Färber, Alexander Thiemann, and Adam Jatowt. To cite, or not to cite? detecting citation contexts in text. In Gabriella Pasi, Benjamin Piwowarski, Leif Azzopardi, and Allan Hanbury, editors, Advances in Information Retrieval, pp. 598-603, Cham, 2018. Springer International Publishing.

[3] 飯沼俊平, 難波英嗣, 竹澤寿幸, 広島市立大学大学院情報科学研究科. サーベイ論文作成支援のための引用論文推薦, 2015.

[4] Marcin Kardas, Piotr Czapla, Pontus Stenetorp, Sebastian Ruder, Sebastian Riedel, Ross Taylor, and Robert Stojnic. Axcell: Automatic extraction of results from machine learning papers, 2020.

[5] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781, 2013.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018

[7] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R Salakhutdinov, and Quoc V Le. Xlnet: Generalized autoregressive pretraining for language understanding. In Advances in neural information processing systems, pp. 5753-5763, 2019.


# L2-constrained Focal Lossを導入した BERT による文書の著者推定

落合晃汰青野雅樹
豊橋技術科学大学知能・情報工学課程
ochiai@kde.cs.tut.ac.jp, aono@cs.tut.ac.jp

## 1 はじめに

近年,SNS やネットニュースなどのネットワークサービスの発達により, 情報をインターネットから簡単に入手することができる.しかし,このようなインターネット上の情報には著者の情報が含まれていないことが多い. 著者の情報は情報の信憑性を判断する際に重要であるため, 文章の著者推定問題は重要なタスクである. 匿名で記述された文章の著者推定, 盗作や転載の検出, 類似性の高い文章の推薦など, 幅広く応用できる. 本研究では, 50 人の著者によって書かれた企業や業界に関するニュースからなる C50 データセットと 53 人の著者によって書かれたツイートからなる PAN 2016 Author Profiling Task の Twitter データセットを用いて,L2-constrained Focal Loss を導入した BERTを用いた文章の著者推定手法を提案する。

## 2 関連研究

## 2.1 BERT

BERT(Bidirectional Encoder Representationsfrom Transformers) [1] は 2018 年に Google が発表した言語処理モデルである. 複数の双方向 Transformer に基づくエンコーダーであり, 単語列を入力として各単語に対応する分散表現を出力する. また,BERT は大規模コーパスを用いて教師なしの事前学習を行うことで性能を向上させている. 事前学習には MaskedLM (Masked Language Model) と次文予測 (Next Sentence Prediction)の2つのタスクを用いてモデルの学習を行っている.これら 2 つのタスクによって事前学習されたモデルに転移学習やファインチューニングを施すことで高い精度を実現している。

## 2.2 $\quad L_{2$-constrained Softmax Loss}

$L_{2}$-constrained Softmax Loss[2] は2017 年に顔識別の DCNN(Deep Convolutional Neural Network) の精度向上のために提案された損失関数である. $L_{2}$-constrained Softmax Loss では Softmax Loss にネットワーク出力の L2ノルムがある定数 aになるように制約を加える.これによって同一クラスのコサイン類似度が大きく, 違うクラスのコサイン類似度が小さくなるように学習されるという特徴がある. L2-constrained Softmax Loss の式は以下のようになる.

$
\begin{aligned}
& \operatorname{minimize}-\frac{1}{M} \sum_{i=1}^{M} \log \frac{e^{W_{y_{i}}^{T} f\left(x_{i}\right)+b_{y_{i}}}}{\sum_{j=1}^{C} e^{W_{j}^{T} f\left(x_{i}\right)+b_{j}}} \\
& \text { subject to }\left.\|f\left(x_{i}\right)\right.\|_{2}=\alpha, \forall i=1,2, \ldots M
\end{aligned}
$

## 2.3 Focal Loss

Focal Loss[3] 2017 年に FAIR(Facebook AI Research) が発表した物体検出モデルである RetinaNet に使われている損失関数である. Focal Loss は物体検出において背景と背景以外のクラス間の不均衡の問題を解決するために提案された. このクラス間の不均衡によって, 学習の殆どが簡単な背景判定に支配されてしまう.この問題を解決するため Focal Loss では簡単に分類が成功している事例の損失を小さくしている.これにより，より難しく注目すべき事例が学習に強く寄与するようになる. Focal Loss の式は以下のようになる。

$
F L\left(p_{t}\right)=-\left(1-p_{t}\right)^{\gamma} \log \left(p_{t}\right)
$

このとき $\gamma$ はどのくらい簡単に分類が成功している事例の損失を減衰するかを決定するパラメータで， これによって簡単に分類が成功している事例の損失への寄与が小さくなる.これによって, より難しく注目すべき事例が学習に強く寄与できるようになる。

図 1 BERT ベースラインモデル

## 3 ベースラインモデルと提案手法

以下では提案する手法及びベースラインモデルについて説明する。

## 3.1 LSTM ベースラインモデル

LSTM ベースラインモデルは fastText[4] を Embedding layer として用いた LSTM モデルである.fastText の分散表現は UMBC Webbase コーパス, および statmt.org ニュースデータセットでトレーニングされた 100 万語のベクトルとなっている. モデルは 1 層の単方向 LSTM であり,隠れ層の次元は 768 次元で分散表現の次元数は 300 次元とした.

## 3.2 BERT ベースラインモデル

本研究で使用する BERT は Transformer が 12 層でトークンの次元数は 768 となっているモデルで,Wikipediaコーパスと BooksCorpus で事前学習されたものを使用している [5]. BERT ベースラインモデルはこの学習済み BERT をファインチューニングしたモデルである. 図 1 にモデルの概要を示す.

3.3 L2-constrained Softmax Loss を導入した BERT モデル

BERT ベースラインモデルに変更を加えたモデルとして L2-constrained Softmax Loss を導入したモデルを構築する. 出力の L2ノルムが定数 a になるように制約を加えて,Softmax Lossを用いることで実現する。

図 2 L2-constrained Focal Loss を用いた BERT モデル

## 3.4 Focal Loss 導入した BERT モデル

Focal Loss を導入した BERT モデルでは BERT ベースラインモデルで使用している Softmax Loss を Focal Loss に変更することで実現する.

## 3.5 L2-constrained Focal Loss を導入した BERT モデル

さらに変更を加えたモデルとして,L2-constrained レイヤーと Focal Loss を導入したモデルを構築する.3.3 節の L2-constrained Softmax Loss を用いた BERT モデルで使用している Softmax Loss を Focal Loss に変更することで実現する. 図 2 にモデルの概要を示す.

## 4 実験

提案した BERT モデルを使用して文書の著者を推定する.

## 4.1 データセット

本研究では,C50 dataset[6] と Twitter データセット [7] の2つのデータセットを使用する.
表 1 各モデルの実験結果

 & - & 64.49 & - & - \\

## 4.1.1C50 データセット

C50 データセットはRCV1(Reuters Corpus Volume 1) の一部からなるロイターニュースの記事のデー タセットである. 企業及び産業について書かれた英語のニュース記事のデータセットであり,50人の著者によって書かれた記事がまとめられている. 訓練データは著者あたり 50 本の合計 2500 本の記事で構成され, テストデータには訓練データと重複しない著者あたり 50 本の 2500 本が使用されている. C50 データセットの最大トークン数は BERT の tokenizer で分割した際 1874 語である.BERT で読み込める最大トークン数は 512 語であるため, そのまま読み込むことができない. そのため本実験では先頭の 512 語のみを使用する。

## 4.1.2 Twitter データセット

Twitter データセットは PAN 2016 Author Profiling Task データセットのツイートからなる. PAN 2016 Author Profiling Task データセットから,53 人のユー ザーを収集し, ユーザーあたり 900 ツイートを使用する. 訓練データは著者あたり 800 のツイートの合計 42400 のツイートで構成され, テストデータには訓練データと重複しないユーザーあたり 100 のツイートの 5300 のツイートが使用されている.

## 4.2 評価指標

データ数は各クラス間で同じであるため, 評価指標には Accuracy のみを用いる.

## 4.3 モデルパラメータ

最適化には AdamW を用い, ミニバッチサイズは 8, ドロップアウト率は 0.1 とした. 20 エポック学習を行った際のモデルの性能を評価する。

## 4.3.1 パラメータ調整

L2-constrained Softmax Loss を導入した BERT モデル,Focal Loss を導入した BERT モデル, L2-constrained Focal Loss を導入した BERT モデルについてはそれぞれパラメータ調整を行った. L2-constrained レイヤーのパラメータ $\alpha$ は 8 から 32 までを 4 刻みで変更して実験を行い,Focal Loss のパラメータ $\gamma$ は 1 から 5 までを 1 刻みで変更して実験を行った。

## 4.4 実験結果

節 3 で示した 5 つの手法について実験を行った. なお L2-constrained Softmax Loss と Focal Loss のパラメータの値は節 4.3.1 で示した方法で実験し, 各手法で最高性能を示した値を使用する. SVM(support vector machine) を使用した著者推定の先行研究 [8] の結果と本実験の結果をまとめたものを表 1 に示す. LSTM ベースラインモデルでは SVM を用いた先行研究の精度を上回ることはできなかった. しかし,BERT ベースラインモデルは両方のデータセットで先行研究を上回った. また, 両方のデータセットにて L2-constrained Softmax Loss を導入した BERT モデルと Focal Loss を導入した BERT モデルは BERT ベースラインモデルよりも分類精度は向上した. さらに,L2-constrained Focal Loss を導入した BERT モデ

図 3 Twitter データセットでの BERT モデルの分散表現

ルはより高い精度となった. 図 3, 図 4 に Twitter データセットでの BERT ベースモデルの出力 ([CLS] トークンの 768 次元の分散表現) と L2-constrained Focal Loss を導入した BERT モデルの出力をそれぞれ t-SNE により次元圧縮したものを示す.

## 4.5 考察

表 1 より,L2-constrained Softmax Loss を導入した BERT モデルと Focal Loss を導入した BERT モデルそれぞれについて BERT ベースラインモデルと比較して精度が向上することが確認できた。また,L2-constrained Softmax Loss を導入した BERT モデルと Focal Loss を導入した BERT モデルそれぞれの精度は C50 データセットについては $69.60 \%$ で同じであり,Twitter データセットについては $0.18 \%$ の差のみであった. そのため, 最高精度を記録した L2-constrained Focal Loss を BERT に導入したモデルでもバランス良く作用して精度の向上につながっていると考えられる。また, 図 3 , 図 4 より L2-constrained Focal Loss を BERT に導入することで分散表現についても BERT ベースラインモデルと比較して各ラベルがよりまとまったクラスタを形成していることが確認でき,これにより分類の精度が向上していると考えられる。

## 5 おわりに

本研究では,L2-constrained Softmax と Focal Loss を導入した BERT を用いた文書の著者推定モデルを提案した. 実験では, ベースラインと比較し精度が向上した.さらに,BERT の分散表現についても各ラベル

図 4 L2-constrained Focal Loss を導入した BERT モデルの分散表現

がよりまとまったクラスタを形成するようになっていることが確認できた. 今後の課題としては BERT の複数の層の出力の平均や和を利用したモデルや BERT から発展した Transformer ベースのモデルについても L2-constrained Focal Loss を利用することができないかについての検討も行っていきたいと考えている.

## 謝辞

本研究の一部は, 科研費基盤（B）(課題番号 17H01746）の支援を受けて遂行した.

## 参考文献

[1]Jacob Devlin, Ming-Wei Chang, Keton Lee, and Kristina Toutanova. 2018. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv preprint arXiv:1810.04805

[2]Rajeev Ranjan, Carlos D. Castillo, and Rama Chellappa. 2017. L2-constrained Softmax Loss for Discriminative Face Verification. arXiv preprint arXiv:1703.09507.

[3]Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, and Piotr Dollár. 2018. Focal Loss for Dense Object Detection. arXiv preprint arXiv:1708.02002

[4]English word vectors - fastText. https://fasttext.cc/ docs/en/english-vectors. html. Accessed: 2021-01-05.

[5]bert-base-uncased $\cdot$ Hugging Face. https://huggingface . co/bert-base-uncased. Accessed: 2021-01-05.

[6]C50 dataset. https://archive.ics.uci.edu/ml/ datasets/Reuter_50_50. Accessed: 2021-01-05.

[7]Pan 2016 author profiling task. http://pan.webis.de/ clef16/pan16-web/author-profiling.html. Accessed: 2021-01-05.

[8]Shofi Nur Fathiya. Author Identication Focusing on Semantic and Syntactic Features Extracted from Long and Short Texts. Toyohashi University of Technology, 2017.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 学術論文における関連研究の執筆支援のための タスク設計およびデータ構築

${ }^{1} \mathrm{NTT}$ コミュニケーション科学基礎研究所 2 電気通信大学
3 秋田県立大学 4 大阪工業大学
\{hiromi.narimatsu.eg, ryuichiro.higashinaka.tp\}@hco.ntt.co.jp
k1710245@edu.cc.uec.ac.jp, dohsaka@akita-pu.ac.jp, e1b17043@st.oit.ac.jp
minami.yasuhiro@is.uec.ac.jp, hirotoshi.taira@oit.ac.jp

## 1 はじめに

学術論文を執筆する際，関連する文献の調査および適切な引用は重要である. 新しいテーマの研究を始めるときや研究課題に対する新しいアプローチについて考えるとき，過去の研究に立脚し，また，論文を執筆する際には，記述内容の根拠について，参考文献を正しく示すことが求められる。これらは重要な研究活動の一環ではあるものの, 分野の広がりや対象とすべき論文の増加から，その調査および執筆を支援することを目的とした研究が行われてきた $[1,2]$. 従来は研究者による文献調査の量を減らすという観点で, 関連研究の要約を目的とした研究が多かったが $[1,3]$, 近年では大規模な文献データが手に入るようになってきたことから，学術論文の執筆を直接的に支援する引用文献推薦や関連研究の章に書かれる引用文生成の手法が研究されてきた。たとえば，生命科学や生物医学分野の論文の検索エンジンである PubMed ${ }^{1}$ から取得した文献を主に用い， キーワードだけでなく内容も踏まえて引用すべき文献を推定する手法を提案するものや [4], 関連研究を自動生成する手法 [5], 執筆・査読の効率化を目的として，対象となる文に引用が必要かを判定する手法 [6] が提案されている.

これらの研究は，いずれも論文執筆の効率化という同じ目標を目指しているものの，それぞれ独立して研究が行われてきた。近年では, 論文データベー スの API の公開によって，論文が容易に手に入るよ

1) https://pubmed.ncbi.nlm.nih.gov/
うになり，こうした研究論文を扱うタスクが共有タスクになりつつある $[7,8,9]$ が，いずれも異なるタスクを目的としており，統合的な性能評価ができる状態にはない。一方で，論文執筆支援の実用化という観点から考えると, 引用すべき文献の推薦, 引用すべき文の判定，関連研究の自動生成は連続した研究活動であり, 同じデータを対象とした統合的な性能評価ができることが望ましいと考えられる.

そこで，我々は，関連研究の統合的な執筆支援を目的として，必要なタスクおよび同じデータを元にタスクデータを構築する手法を提案する．統合的な執筆支援を目的とすることで，これまでに取り組まれてこなかったタスクに気づくことができる可能性がある。また，一つのデータを元にタスクデータの構築ができれば，タスク間での同一モデルの適用が検討でき，各タスクの精度の直接比較が可能となるため, タスクの違いや難しさも評価可能になると考えられる。本稿では, 関連研究に着目した論文執筆に関わる目標とそれに必要なタスクを定義し，タスクデータの構築方法について述べる。

## 2 関連研究

論文において関連研究の章は, 自らの研究の位置付けを明確化するために重要である。しかし, 文献の検索ならびに精読に多くの時間を割かなければならないことから，その効率化が期待されており，多くの研究がなされてきた。

論文執筆支援を目的とした研究の初期において，論文全体を読まなくても論文の要旨および主張を把握できるよう, 目的, 課題, 手法の観点での要約 [1]

図 1 関連研究に着目した統合的な論文執筆支援の流れ

や，該当論文に関する引用文を用いた要約手法が提案されてきた [3]. 学術論文の要約は, 一般文書の要約と異なる難しさが指摘されており, 今も継続して研究されている [10]. しかし, 論文執筆支援という観点では, 研究者は別途読むべき論文を探す必要があり，支援としては十分でない.

近年では論文データの取得が容易になってきたことから, 引用すべき論文の推薦を目的とした研究も行われている. 多くの既存研究は, 他でも引用されている権威ある文献を推薦, キーワードの近い文献を推薦する方法が主であったが，近年では他では引用されていない重要な文献や異なる技術用語を使用しているが類似している研究も見つけられるよう，大規模なデータを構築して引用関係の意味ネットワークを考慮した推薦手法も提案されている $[11,4]$. これらは関連研究を推薦するという観点において有益であるものの, さらに細かい, 引用文に対する引用文献の推薦などは対象とされておらず,本タスクを行うには別途タスクデータの構築が必要となる.

使用データや方法, 問題点などのカテゴリに分類して文献を推薦する手法も提案されているが [12],引用文として記述したものの根拠として, 引用すべき文献を提示するタスクとはなっていない.

執筆・査読の効率化を目的とした研究として, 引用が必要な文かどうかを判定するタスクもある [6]. この引用要否判定タスクは，執筆において引用漏れを防止する, 論文チェックの観点でも重要なタスクではあるが, 引用要否判定に続いて, 引用すべき文献を推薦するタスクまでつなげて手法の開発や評価ができることが望ましい. 従来研究 [6] では, 科学論文の大規模データを使用し公開しているものの,

 \\

## 表 1 タスクの定義

文献の推薦タスクに使用できるデータにはなっておらず，続くフェーズで期待される文献推薦を行うには別途データ収集および構築が必要となる.

さらに，関連研究の章の一部である引用文を被引用文献から自動生成する手法 [5] も提案されているが，データ数が少なく，同一著者の他の文献や，代表的な引用文の書き方などルールベースの手法にとどまっている.

そこで，我々は，関連研究に関わる論文執筆の支援を目的として, 連続的かつ必要なタスクを設計し，それらのタスクを統合的に評価できる環境を提供としてタスク用データの構築を行う。

## 3 タスクの定義

我々の目指す統合的な支援の流れを図 1 に示す.研究を始める段階では, “自分なりに調べた従来研究を元に課題とアプローチを検討したが他に類似する研究があるかもしれない”と思い，関連研究を探し求める。こうした状況においては, 課題とアプローチが記述された研究方針を入力として，関連する文献が推薦されることが望まれる [13](図の (1)). また, 原稿執筆の段階では, 一通りの草案を書いてみたが，引用すべき箇所に引用がなされていなかったり, 適切な引用がなされていないことも起こりうる.したがって, 引用が漏れている文の提示 [6] や (図の (2)), 異なる文献が引用されている箇所の特定 (図の (3)), さらに適切な引用文献の提示 (図の (4)) が期待される。さらには，“一通り研究を終えたものの引用すべき何かが漏れている可能性がある”という状況においては, 引用すべき文献と共に, 該当する研究に対してどんな観点での引用が望ましいか

図 2 タスクデータの生成

の位置付けを整理した文章が提示される [5] ことが期待される (図の (5)). そこで, 我々の目標に必要なタスクを表 1 のように定義した．以降，入力として用いる研究方針や原稿草案のことを, ベース論文と呼ぶこととする.

## 4 デー夕構築

データの構築方法について，図 2 を用いて説明する. 論文がたくさん収録されているデータベースを大規模文献 DB と呼ぶ.

はじめに，ベース論文と大規模文献 DB から，夕スクデータに用いる素材，すなわちアブストラク卜, 関連研究の章を除いた論文全体, 関連研究の章を抽出する。また引用文献については，タイトルと著者名を用いて大規模文献 DB と照合し, タイトル，著者， $\operatorname{arXiv}$ の ID およびアブスト/論文本文をぺアにしておく.

最後に素材を元に，タスクデータを生成する。生成方法の全体像を図に示し，データの詳細を以下に述べる.

(1) 読むべき文献の推薦

ベース論文のアブストラクトと引用文献のアブストラクト/論文本文の集合をデータとして作成する.研究方針の状態であるため, アブストラクトのうち, 実験結果に関する記述をルールベースで省いたアブストラクトを入力として，該当する論文の関連研究の章で引用されている文献のリストを正解とす
る.

(2) 引用要否判定タスク

図には含めていないが，ベース論文のイントロおよび関連研究の章を対象とする．ベース論文中で引用されている文は引用が必要な文と見なし，各文に対して，引用が必要な文かどうかを判定する.

(3) 引用文献割当タスク／引用文・被引用文献ペア適正判定タスク

ベース論文の関連研究の章を対象とする。ベース論文中で引用されている文は正しく引用していると見なし, 引用のある各文 (文の長さによって前後の文を含める）に対して，適切に引用されているかを推定する。

(4) 引用文に対応する文献を推薦

ベース論文の関連研究の章を対象とする. ベース論文中で引用されている文は正しく引用していると見なし, 引用のある各文 (文の長さによって前後の文を含める）に対して，ベース論文で引用している文献リストから，どの文献を引用すべきかを推定する.

(5) 関連研究の章の自動生成

ベース論文の関連研究の章を対象とする、ベース論文の引用方法は，その論文の観点で適切に引用されていると見なす。関連研究の章（もしくはそのうちの 1 段落）の抜いた該当論文を入力した時に，その関連研究の章 (もしくは 1 段落)を自動で生成する.

図 3 関連研究で引用されている文献のうち本文が取得できる文献の割合（縦軸）と該当する文献の割合（横軸）

## 5 評価

3 節で定義したサブタスクのうち, 従来研究で解かれていないタスク (3)のうち (3)-2 の引用文献が正しいかどうかを判定するタスクのについて，ベースラインの性能を評価する。

タスクデータは, Leaderbord 自動生成を目的としたタスクデータとして公開されている AxCell[8] を元に取得した 29,121 件の論文をべース論文として構築した。大規模文献 DBについては, $\operatorname{arXiv} \mathrm{API}^{22}$ から可能な限り取得した文献を格納した。なお, 関連研究で引用されている文献のうち, 全ての文献の tex のソースもしくは PDF が取得できる論文の割合は，全体の 6 割程度の 21,351 件であった。図 3 に，関連研究で引用されている文献のうち, tex のソー スもしくは PDF が取得できる文献の割合およびそれに該当する文献の割合の内訳を示す.

従来のベースとして, Word2Vec[14]と，近年の大規模汎用言語モデルの元となった BERT[15] を用いて性能を評価する。

BERT[15] では, bert-base-uncased のモデル3)を用い, Document Classification Task のモデルを以下のフォーマットで学習した. 引用文とその引用箇所で引用されている文献のアブストラクトのペアを正例, 同じ関連研究の章で引用されている他の文献のアブストラクトをぺアとしたときを負例として用いた。学習データは, 正例負例ともに 18,000 ずつ, $\operatorname{dev}$ として 3,000 , テストに 3,000 用いた。また Word2Vec [14] は, 文の平均ベクトルの類似度で判定したときのスコアを比較した。結果を表 2 に示す.評価した性能を表 2 示す.

図 4 BERT に入力したデータのフォーマット

表 2 Word2Vec と BERT の転移学習をした場合のタスク (3)-2 の精度

約 8 割程度の正解率であることから, 判定不可能ではないタスクであると言える。また, Word2Vec ベースと比較すると約 20 ポイントの伸びがあることから，文脈を踏まえた分散表現により，より高い精度で解ける可能性があると言える。

なお, 本タスクの詳細な解法については, 文献 [16] に記述している.

## 6 おわりに

本研究では，研究者の研究調査および論文執筆における関連研究の引用および生成に関わる統合的な執筆支援を目的として，関連研究に関わる様々な既存のタスクを統合した新たなデータセット構築方法および 5 つのタスクを定義した。

定義した 5 つのタスクのうち, 本稿で新たに定義した正しい引用文献かどうかの判定タスクにおいて，近年の言語処理技術のベースとなっている BERTを転移学習した場合の結果を示した．現状の引用文と引用文献のアブストラクトのペアの正しさを判定するモデルの性能は 8 割程度であるが，論文全体を用いることでさらに精度向上が期待される。

今後は論文全体を入力とした判定モデルの構築手法を検討し，タスクの精度向上に取り組む。また，未着手のその他のタスクについても取り組み，統合的に論文執筆を支援する仕組みの実現を目指す.

## 参考文献

[1] Simone Teufel and Marc Moens. Summarizing scientific articles: experiments with relevance and rhetorical status. Computational linguistics, Vol. 28, No. 4, pp. 409-445, 2002.

[2] X. Bai, M. Wang, I. Lee, Z. Yang, X. Kong, and F. Xia. Scientific paper recommendation: A survey. IEEE Access, Vol. 7, pp. 9324-9339, 2019.

[3] Vahed Qazvinian and Dragomir R. Radev. Scientific paper summarization using citation summary networks. In Proceedings of the 22nd International Conference on Computational Linguistics (Coling 2008), pp. 689-696, Manchester, UK, August 2008. Coling 2008 Organizing Committee.

[4] Chandra Bhagavatula, Sergey Feldman, Russell Power, and Waleed Ammar. Content-based citation recommendation. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 238-251, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[5] Saif Mohammad, Bonnie Dorr, Melissa Egan, Ahmed Hassan, Pradeep Muthukrishan, Vahed Qazvinian, Dragomir Radev, and David Zajic. Using citations to generate surveys of scientific paradigms. In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, NAACL'09, p. 584-592, USA, 2009. Association for Computational Linguistics.

[6] Michael Färber, Alexander Thiemann, and Adam Jatowt. To cite, or not to cite? detecting citation contexts in text. In Gabriella Pasi, Benjamin Piwowarski, Leif Azzopardi, and Allan Hanbury, editors, Advances in Information Retrieval, pp. 598-603, Cham, 2018. Springer International Publishing.

[7] Michael Färber and Adam Jatowt. Citation recommendation: approaches and datasets. International Journal on Digital Libraries, Vol. 21, No. 4, p. 375-405, Aug 2020.

[8] Marcin Kardas, Piotr Czapla, Pontus Stenetorp, Sebastian Ruder, Sebastian Riedel, Ross Taylor, and Robert Stojnic. Axcell: Automatic extraction of results from machine learning papers. arXiv preprint arXiv:2004.14356, 2020.

[9] Tarek Saier and Michael Färber. unarxive: a large scholarly data set with publications' full-text, annotated in-text citations, and links to metadata. aScientometrics, Vol. 125, No. 3, pp. 3085-3108, 2020.

[10] Michihiro Yasunaga, Jungo Kasai, Rui Zhang, Alexander R Fabbri, Irene Li, Dan Friedman, and Dragomir R Radev. Scisummnet: A large annotated corpus and content-impact models for scientific paper summarization with citation networks. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, pp. 7386-7393, 2019.

[11] T. Chakraborty, N. Modani, R. Narayanam, and S. Nagar. Discern: A diversified citation recommendation system for scientific queries. In 2015 IEEE 31st International Conference on Data Engineering, pp. 555-566, 2015.

[12] Pavlos Kefalas Waheed Ahmad Abro Bahadar Ali Zafar Ali, Guilin Qi. A graph-based taxonomy of citation recommendation models. Artificial Intelligence Review, Vol. 53, No. 7, pp. 1573-7462, 2020.

[13] Khalid Haruna, Maizatul Akmar Ismail, Abdullahi Baffa Bichi, Victor Chang, Sutrisna Wibawa, and Tutut Herawan. A citation-based recommender system for scholarly paper recommendation. In International Conference on Computational Science and Its Applications, pp. 514-525. Springer, 2018.

[14] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781, 2013.

[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint
arXiv:1810.04805, 2018.

[16] 小山康平, 南泰浩, 成松宏美, 堂坂浩二, 田盛大悟, 東中竜一郎, 平博順. 学術論文における関連研究の執筆支援のための被引用論文の推定. 言語処理学会第 26 回年次大会, 2021


# アノテーション漏れ推定を用いたエンティティ抽出

伊藤雅弘山崎智弘
株式会社東芝 研究開発センター
知能化システム研究所 アナリティクスA I ラボラトリー
\{masahiro20.ito, tomohiro2.yamasaki\}@toshiba.co.jp

## 1 はじめに

近年の団塊世代の退職と少子化による労働人口の減少に伴い，産業界では業務に関するノウハウの喪失や継承が関心事となっている。なぜなら，電力・化学プラントなどの建設・運用・保守には， ベテランの長年の経験が重要となるからである．我々は，過去に発生したトラブルの報告書に記録されているベテランのノウハウを，現状の業務や新人の教育に用いる取り組みを進めている。特に，過去の大量の報告書からトラブルに関係するイベント(「配管に亀裂」「水位が低下」など）を抽出し，因果関係として構造化することによって,「特定の原因により引き起こされるリスク」や「トラブルを引き起こした原因」 を分析する技術開発に注力している。

我々の構造化プロセスは，まず報告書からトラブルの原因や結果になりうるイベントを系列ラベリング [1] にて抽出し, 次に抽出されたイベント間に因果関係があるかを推定する。この 2 段階のプロセスでは，前段でイベントの抽出漏れがあると，後段で正しい因果関係を推定することができない。そのため，前段のイベント抽出はある程度の正しさは担保しつつもなるべく多くのイベントを後段に提供できること，つまり再現率が高いことが望まれる.

再現率を高めるためには系列ラベリングにおける 「学習時の目的関数を工夫する」「イベントを示すラベルかどうかの推定值に対する閾値を変更する」なども考えられる。これら方法では，学習データ自体はそのまま用いている。一方で，本研究では学習の情報源となるアノテーションデータのエンティティ付与漏れ（アノテーション漏れ）に着目する.ここでエンティティとは，系列ラベリングでの抽出対象となるイベントや固有表現などが該当する。一般的に，学習データに用いることができる規模で完全に正しいアノテーションデータを作成することは困難である。既存研究 [2] でも，固有表現抽出のデータセットである CoNLL2003 [3] におけるアノテーシ
ヨン誤りが指摘されている. 我々もイベント抽出の再現率低下の要因分析をした結果，トラブル報告書内のイベントにアノテーション漏れが存在することが分かっている. エンティティに対するアノテーシヨン漏れがあると，一部のエンティティの特徴を学習できず抽出漏れの要因になると考えられる.

そこで本研究では，アノテーション漏れを推定しそのエンティティを学習データに追加することによって，系列ラベリングを用いたエンティティ抽出の再現率を向上させる方法を提案する.

## 2 関連研究

これまでの因果関係抽出の研究としては $[4,5]$ などがあるが，その中でのイベント抽出手法には，主にルールベースと系列ラベリングによる機械学習ベースがある．[4] はルールベースの手法で，手がかり表現を含む文節を基点に，係り受け解析を用いて前後の一定の範囲を原因・結果として抽出する.

一方 [5] は系列ラベリングを用いた手法である。文を形態素などのトークンに分割し， 1 文中に存在する原因・結果それぞれのイベント範囲の各トークンに対しCause, Effect のラベルを付与した学習データを用意する。そして，未知の文における原因イベント・結果イベント部分のラベルを推定するモデルを学習する。本研究では，この系列ラベリングを用いてイベントを抽出する。

系列ラベリングの手法としては近年 Bi-LSTM ベ一スの手法が盛んに提案され，高い性能を達成している $[1,6]$. これらの手法は, 文字や単語の埋め込みベクトルを Bi-LSTM に与え，最終層で CRF を用いてラベルを推定している。一方 [2] は，アノテーション誤りを含んだ不完全なデータセットにおいて，誤りを含む可能性が高い文を推定し，その文の重みを低くして学習することで，系列ラベリングの性能を向上させる CrossWeigh という手法を提案している. [7] も同様に不完全なデータセットでの学習性能の向上を取り扱っている。しかし，この研究はラ

ベル無しデータに対してルールや辞書に基づき機械的にラベリングしたものを不完全 (ノイジー) なデ一夕として扱っているため，アノテーションデータに誤りが含まれるという [2] や本研究の問題設定とは異なる。

## 3 提案手法

本研究では, 前節で述べた CrossWeigh [2] と同様にアノテーション誤りを含んだ学習データを取り扱う。先に述べたように，機械学習用のデータセットに対してアノテーション作業を実施したとしても, 完全に正しいデータを作成することは困難である.これは, 特に定義が明確にできないエンティテイに対しては顕著であると考えられる。例えば，本研究で取り扱う「トラブル報告書におけるトラブルの原因・結果となるイベント」は, 「人名」に比べて明確に定義することが困難で系列も長い。その場合, エンティティの過不足やテキスト範囲の摇孔が大きくなる.

[2] は学習データからアノテーション誤りを含む可能性があるデータ（文を構成するトークンの系列とそのラベル）を推定し，文単位で学習時の重みを低くする。つまり当該文の学習への影響を小さくしている。 [2] は誤った情報を取り除くため，主に適合率を向上させる効果が高いと考えられる一方，再現率の向上はあまり見込めない. また予備実験において，エンティティのテキスト範囲（エンティテイ範囲）の摇れが比較的大きな”イベント”という対象では学習データの多くの文がアノテーション誤りと推定されてしまい, 逆に性能低下を引き起こすことが分かっている.

先に述べたように，エンティティ抽出結果を後段の関係抽出処理で用いる場合は，そもそも正しいエンティティが抽出されていなければ正しい関係を生成することができない. そのため, 適合率より再現率を重視した性能向上手法が必要となる. そこで本研究では，アノテーション誤りのうちアノテーション漏れと考えられるエンティティを推定し, そのエンティティを学習データに追加するという再現率向上を重視した手法を提案する。これは, 誤った情報を取り除く [2] とは逆のアプローチである.

学習データにエンティティを追加することで, 当然再現率の向上が想定される. しかし, 追加するエンティティを注意深く選定しなければ，ノイズとなるエンティティが増え適合率が大きく下がると考え
られる。提案手法では，以下の 3 つの工夫を導入することにより，適合率の低下をなるべく抑制しつ

つ，再現率の向上を目指す.

(A) 学習データの異なるサブセットを用いて学習した複数モデルによる投票によって，推定エラ一ではなくアノテーション漏れのみを学習デ一夕に追加できる確率を高める。これは，ノイズとなるエンティティが追加されることを抑制する.

(B) (A)において投票数に応じて追加するエンティティを選定する際，範囲が類似するエンティテイを「エンティティグループ」としてまとめて扱うことにより，エンティティ範囲の厳密性にこだわらず，追加すべきエンティティ周辺を浮かび上がらせる.

(C) (A)での投票結果を用いて,エンティティグルー プに属する推定範囲の異なるエンティティから，より正しいものを選択できる確率を高める。 これは, 追加されるエンティティ範囲のノイズ除去として機能することが期待される.

以下に提案手法のアルゴリズムを示す.

(1) 学習に用いるアノテーションデータをランダムに並べ替え， $\mathrm{k}$ 分割交差検証にて上記アノテ ーションデータのすべての文からエンティテイを抽出する.

(2) 抽出されたエンティティのうち, アノテーションされていなかったエンティティを記録する。

(3) (1)〜(2)をt回繰り返す.

例えば， $\mathrm{t}=4$ の場合，下図のように 4 つの異なるモデルがそれぞれエンティティ範囲を推定する.

## モデル1 発電設備における配管の溶接不良に伴って、

モデル2 発電設備における配管の溶接不良に伴って、

モデル3 発電設備における配管の溶接不良に伴って、

モデル4 発電設備における配管の溶接不良に伴つて、

(4) 推定されたエンティティ範囲が同一のものの個数を，各エンティティ範囲の「投票数」としてカウントする.

(5) 範囲が類似するエンティティを「エンティティグループ」としてまとめ，エンティティグルー プに属するエンティティの投票数を合計する.範囲が類似するエンティティの判定方法は,「1
形態素でも重複する」や「末尾 $\mathrm{n}$ 形態素のいずれかが重複する」などが考えられる。例えば，下図のように類似する範囲をまとめ上げたエンティティグループが作成される.

文: 配管の溶接不良に伴つて，接合部付近より...

(6) 投票数が $\mathrm{t} \cdot \alpha(0 \leq \alpha<1)$ 以上のエンティテイグループを選出する， $\alpha$ は，同じ文を $\mathrm{t}$ 回異なるモデルで推定したうち, どのぐらいの割合の投票数があれば追加するエンティティグル ープとして選出するかの基準である。

(7) 選出されたエンティティグループそれぞれに対し, 属する複数のエンティティの中で最も投票数の多いエンティティを学習データに追加する.

文: 配管の溶接不良に伴って，接合部付近より...

## 4 評価実験

提案手法の効果を検証のために実施した実験について述べる。 パラメータは以下の通りとした。

k（交差検証における分割数）：10

$\mathrm{t}$ (交差検証の繰り返し回数) : 20

$\alpha$ (エンティティグループの選出基準）：

$0.8, \quad 0.6, \quad 0.4, \quad 0.2, \quad 0.0$

$\alpha$ が 0.0 の時にすべてのエンティティグループが学習データに追加され， $\alpha$ が 1.0 の時にいずれのエンティティも追加されない.

提案手法における範囲が類似するエンティティの判定方法は「エンティティ末尾 5 形態素のいずれかが重複する」とした。例えば「発電/設備/の/配管/ に/龟裂」と「配管/に/亀裂」は類似と判定される.表 2 データ数（電力プラントトラブル報告書）

これは，日本語のトラブルに関するイベントにおいて「水漏れ」「亀裂」など主要な現象（動作）が末尾付近に出現することが多いため，その部分の抽出を重視し，それ以外のトラブルの対象・条件などの記述の抽出範囲の摇孔を許容するためである。なおこの方法では, 5 形態素以下のエンティティ同士では「1 形態素でも重複する」と等しくなる.

系列ラベリングモデルは Bi-LSTM-CRF [1] をべ一スとし，学習済み BERT モデル $[8,9]$ から得られた単語ベクトルを Bi-LSTMへの入力として与えた. オリジナルの学習データおよび提案手法によりエンティティが追加された学習データを用いて 3 回学習し, それぞれの抽出性能の平均値を算出した。

上記設定で実施した以下 2 種類の抽出タスクによる評価について述べる。

## 4.1 トラブルイベント抽出による評価

電力プラントに関するトラブル報告書（日本語） を用いたトラブルイベント抽出による評価実験を行った.この報告書には，トラブルに関わるイベントとその因果関係がアノテーションされており，デー 夕数は表 1 の通りである。また，性能値算出時の 「エンティティが抽出できたか」の判定はエンティティ範囲の完全一致が通常であるが，本実験では先述したイベントの特性から「エンティティ末尾 5 形態素のいずれかが重複する」とした.

実験結果を表 2 に示す. 提案手法によりエンテイティが追加された学習データを用いた結果, オリジナルのアノテーションデータを用いた場合と比ベ，再現率が向上した。一方，エンティティを追加することによって想定通り適合率は下がった。しか

表 1 評価結果（電カプラントトラブル報告書）

表 3 データ数（CoNLL2003）

し，パラメータ $\alpha$ を高くすることによってその程度が緩和される傾向であることから，(A)～(C)の工夫がノイズ除去として機能していることが確認できた.この再現率向上効果とノイズ除去効果のバランスは，データセットやモデルにより変化すると考えられる。本実験では $\alpha=0.6$ で最も高い $\mathrm{F}$ 値となっており，提案手法により $\mathrm{F}$ 值を維持もしくは向上させつつ, 再現率を向上できることを確認した.

## 4.2 固有表現抽出による評価

提案手法は, 本研究におけるイベントのようにアノテーション摇れが大きい対象に特に有効であると考えられる。一方，一般的な固有表現抽出タスクへの有効性は明らかでないため, 広く用いられている CoNLL2003 コーパス（英語）による評価を実施した. 当該コーパスには, 人名, 地名, 組織名, その他の 4 種の固有表現がタグ付けされており，データ数は表 3 の通りである. エンティティが抽出できたかの判定はエンティティ範囲の完全一致とした.

実験において, アノテーション漏れを疑似的に再現するため, 学習データから個々のエンティティを一定確率 (削除確率) で削除した. 例えば, 削除確率 0.1 だとおおよそ $10 \%$ のエンティティが学習デー タから削除される. 削除確率 $0.1 \sim 0.5$ の学習データで実験した結果を表 4 に示す. 削除確率の増加に伴って再現率が低下していることが分かる.

まず，削除確率 0.1 のデータを用いて提案手法を適用した結果を表 5 に示す. パラメータ $\alpha$ を下げるに伴って適合率が低下し再現率が向上する傾向は, 先述のトラブル報告書における評価と同様である. そして,$\alpha=0.4$ で $\mathrm{F}$ 值が最大となっており, エ

表 4 エンティティ削除データでの性能

表 5 評価結果（CoNLL2003, 削除確率 0.1）

ンティティを削除していないオリジナルの学習デー タを用いた結果と比べても同等以上となっている.

次に, 削除確率 0.3 のデータを用いて, 提案手法を適用した結果を表 6 に示す.ここでもパラメー タ $\alpha$ に対する適合率・再現率の傾向は同様であるが，適合率低下より再現率の向上効果が高いため,推定されたすべてのエンティティグループを追加対象とする $\alpha=0.0$ で $\mathrm{F}$ 值が最大となった. つまり, 削除確率 0.3 のデータにおいては, 提案手法で述べたエンティティグループを用いたノイズ除去の工夫は必要ではないことを示している.

## 5 おわりに

本研究では, エンティティのアノテーション漏れを含む不完全なデータセットにおいて，アノテーション漏れのエンティティを推定しデータセットに追加して学習させるという, 再現率を重視したエンテイティ抽出の性能改善手法を提案した. 評価実験により，提案手法がエンティティ追加によるノイズを抑えつつ, 再現率の向上を実現できることを示した.

一方，パラメータ $\alpha$ はデータセットの条件により最適値が異なるため, 今後提案手法が効果を発揮するようなデータセットの品質とパラメータ $\alpha$ の組み合わせ条件を調査する。また，アノテーション誤りの可能性のある文の重みを下げる手法 [2] と組み合わせ, 適合率・再現率の両面から性能向上させるアプローチも検討する.

表 6 評価結果（CoNLL2003, 削除確率 0.3）

## 参考文献

1. Lample, Guillaume, et al. Neural Architectures for Named Entity Recognition. : Proceedings of NAACL 2016, 2016.

2. Wang, Zihan, et al. CrossWeigh: Training Named Entity Tagger from Imperfect Annotations. : Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), 2019.

3. Tjong Kim Sang, Erik F. and De Meulder, Fien. Introduction to the CoNLL-2003 Shared Task: Language-Independent Named Entity Recognition. : Proceedings of CoNLL-2003, 2003.

4. 坂地泰紀, 酒井浩之, 増山繁. 決算短信 PDF からの原因・結果表現の抽出. : 電子情報通信学会論文誌 D, 2015 .

5. Dasgupta, Tirthankar, et al. Automatic Extraction of Causal Relations from Text using Linguistically Informed Deep Neural Networks. : Proceedings of the 19th Annual SIGdial Meeting on Discourse and Dialogue, 2018.

6. Akbik, Alan, Blythe, Duncan and Vollgraf, Roland.

Contextual String Embeddings for Sequence Labeling. : COLING 2018, 27th International Conference on Computational Linguistics, 2018.

7. Hedderich, Michael A. and Klakow, Dietrich.

Training a Neural Network in a Low-Resource Setting on Automatically. : Proceedings of the Workshop on Deep Learning Approaches for Low-Resource NLP, 2018.

8. (オンライン) 2021 年 1 月 14 日.

https://github.com/cl-tohoku/bert-japanese.

9. (オンライン) 2021 年 1 月 14 日.

https://huggingface.co/bert-base-uncased.


# Relation Extraction Task for Inorganic Material Synthesis Procedure

Shanshan Liu
RIKEN, AIP
shanshan. liuQriken.jp

## 1 Introduction

To transform the knowledge existing in natural language text into a structured form, named entity recognition (NER) and relation extraction (RE) technologies are essential. Early methods are mostly pipelined, that is, first identify entities in the text then classify the relationships between entities. End-to-end RE methods that learn entity labels and relation labels together to take the interaction between entities into consideration during training become popular recently (like DyGIE framework [1]). Although the joint learning methods perform well on many standard benchmarks (ACE05, DocRED [2], CDR, SciREC and so on), the research of [3] shows that the pipeline methods can achieve state-of-the-art (SOTA) results over the existing joint learning methods. In addition, although there are many researches on RE, they still have not been verified on more practical issues. This is mainly due to the simple problem background of the current dataset, mostly are for sentence-level relation, with only one pair of entities in a sentence; or for document-level relation, but only one relation instance is annotated in one document (CDR [4]). In addition to the complexity of the relationships, there are also limitations in the knowledge domain - most of datasets are from news (ACE05), computer science (DocRED, SciERC) or biomedical fields (CDR, GDA), datasets from other fields are rarely reported.

In this paper, we give a more challenging task, the RE task in the inorganic material synthesis procedure (abbreviated as "procedure") extraction. The pipeline extraction of procedures consists of three sub-tasks namely, extracting text blocks containing procedure information from the original paper, performing named entity recognition on the text blocks, and classifying the identified entity pairs. [5] has made a good effort on procedure extraction. They made a definition of procedure and researched the models for the block extraction and NER task.

\author{
Yuji Matsumoto \\ RIKEN, AIP \\ yuji.matsumoto@riken.jp
}

We evaluated the performance of the existing documentlevel relation extraction methods in two scenarios. In the first one, the text blocks and entities are all gold annotations. This is also the standard task of most RE researches. The second scenario is to use the result of the text block extractor, and the entities predicted by the named entity recognizer. It is the situation that the relation extractor faces in the pipelined knowledge extraction. We only applied the best method in standard RE task to the pipelined procedure extraction.

The models used in this work include the Bi-LSTM model, which is widely used in various knowledge domains, and the ATLOP [6], which is a SOTA model for extracting document-level relations. In view of that the knowledge of chemical domain is to be extracted, we choose the pre-trained language model SciBERT [7] to generate word representations. The dataset used for evaluation in our work is based on the dataset mentioned in [5], however, the number of papers is increased and each paper has procedure information.

Our contributions can be concluded in threefold:
- We evaluate two models' performance on a specific task that is close to the real need - to capture the relations in inorganic material synthesis procedure.
- We notice that the results of procedure extraction are similar to other tasks that also use named entity recognition and relationship extraction for knowledge extraction. The SOTA result on ACE05 dataset, ACE04 dataset and our procedure dataset are 67.8, 62.2 and 67.92 respectively.
- We introduce two effective techniques for the RE task of procedure extraction. The rule_top component helps to select the best types from several positive types predicted by multi-label binary classification models. The entity typemarker achieved the highest F1 score of 93.7 when the inputs of RE are gold.

Table 1 Statistics of entities in procedure dataset

Dataset statistics about the number of named entities for training (\#Train), development (\#Dev), testing (\#Test) and of all papers (\#All).

Table 2 Statistics of relations in procedure dataset

## 2 Methodology

## 2.1 Task definition

The definition of the procedure follows [5]. A procedure is represented by four types of entities and five types of relations. Four types of entities are "Material", "Condition", "Method", and "Process". Five types of relations are from "Process" to all four types of entities. If the tail entity is "Material", two relation types are possible: "Input_of", "Output_of"; if the tail entity is "Condition" or "Method", the relation type is "Condition_of" or "Method_of" respectively. Two "Process" entities are linked by "Next_of" relationship.

We evaluate the RE methods in two scenarios. One is the standard RE task, meaning that the inputs of RE methods are gold text blocks and only human-annotated entities. The other one is the RE task in a pipelined procedure extraction. In this situation, the inputs of RE methods contains 3 combinations: the gold named entities (NEs) in the predicted blocks, the predicted NEs in the gold blocks, and the predicted NEs in the predicted blocks. The outputs of the RE task are the outputs of the procedure extraction if the inputs of the RE task are predicted NEs in the predicted blocks.

## 2.2 Model

In this section, we give the details of the methods applied in experiments.

Standard Relation Extraction One of our baseline is the rule-based relation extractor in [5] with small changes. We select the longest material entity in each document as output, while other materials are inputs of procedures. We add a candidate condition list, to deal with the situation that a material entity may play a role as a condition of the process. For a material entity in this list, the relationship contains it is labeled as "Condition_of".

Two neural network (NN) methods are applied in standard RE task. Benefit from the capability to process the long input max to 1024 tokens, the combination of the Glove embedding, Bi-LSTM encoder and Bilinear layer decoder (abbreviated as "Bi-LSTM") is used as a baseline in both sentence-level and document-level RE tasks [2]. We apply this method to see the performance of simple $\mathrm{NN}$-based method on complex issues. To research whether the novel techniques perform well in standard benchmarks are effective in other domains, we apply the model ALTOP. ALTOP utilizes the BERT-based pre-trained language model which is better than GloVe in recent works. Two techniques in ALTOP make it achieved SOTA on DocRED datasets: adaptive thresholding loss to reduce decision errors during inference, and localized context pooling to better use of the local context of the entities.

Pipelined procedure extraction As with [5], we use a pipelined approach to extract the procedures which includes three sub-tasks: extracting text blocks containing procedure information from the original chemical paper, performing named entity recognition on the text blocks, and classifying the identified entity-pairs. Our research only focuses on the RE task, so we use the best performing strategy in block extraction and named entity recognition published by [5]. The output of the block extractor is generated based on the classification of a sentence classifier that predicts whether a sentence is in a block that describes a procedure. The classifier is in the architecture of SciBERT, multi-layer perceptrons, and a SoftMax layer. The NER model utilizes SciBERT to generate token vectors, 2layer Bi-LSTM to encode sentence-level information, and a SoftMax layer to predict the token label.

Technique for the procedure extraction To reduce the false positive instances predicted by multi-label binary classification, we provide a rule_top component. In our definition of relations, the head entity of each relation must be "Process", and a tail entity only links to one head entity most of the time. When several head entities are predicted

Table 3 Result of block extraction

positive for a tail entity by the RE model, the rule_top component only outputs the head with the highest score predicted by the model and treats others as negative instances.

Inspiring by the work by [3], we try to import entity typemarker in our method. Two relation models with typemarker are published in [3]. One considers every pair of entities independently by inserting typed entity markers, which means a sentence will be encoded several times if it contains multiple entity pairs. This is time-consuming in our task because we need to process long texts while multiple relations may appear in each input text. They also provide a relation model with batch computations, that typemarker and corresponding entity token (the start marker to the first token of an entity, the end marker to the last token) share the positional embedding. The ALTOP model is designed to utilize the positional information encoded by BERT instead of additional positional feature. There is still a way to insert typemarker, which is simple and practical. After the input text is tokenized by the BERT-based tokenizer, "*" is inserted into the sentence before and after each entity in ALTOP. We change the "*" mark into typemarker. Given an entity, we concatenate "E:" or "/E:" to the first three letters of the entity type as its typemarkers. For example, the typemarker of "Material" will be "<E:Mat>" and "</E:Mat>". The typemarkers are different for the head and tail entities in [3], while we do not design different markers for head and tail entities.

## 3 Experiment

## 3.1 Dataset

The procedure dataset ${ }^{1)}$ we used contains 241 thermoelectric material papers annotated by chemistry experts, including entity and relation labels. Each paper contains at least one procedure. 193 papers are used for training, 24 for development, and the remaining 24 for evaluation, all selected randomly. The dataset statistics are shown in Table 1 and Table 2.

Table 4 Result of named entity recognition

"Pred_g" is the NER model trained on the gold blocks, while "pred_p" is trained on the predicted blocks.

## 3.2 Experiment setting

For the Bi-LSTM RE model, we implement a model same as the one implemented in [2]. For the ALTOP RE model, we select scibert_scivocab_cased as the pre-trained model. The batch sizes for training and testing are 4 and 8 respectively. We set a learning rate of $1 \mathrm{e}-5$ for weights in the pre-trained model, $5 \mathrm{e}-5$ for others, with a linear warmup for the first $6 \%$ steps followed by a linear decay to 0 . For the block extractor, we follow [5] to train a sentence classifier and construct predicted blocks. The performance of the block extractor is shown in Table 3. $98.98 \%$ of the sentences with procedure information are successfully extracted. Two named entity recognizers are trained with different inputs but with the same architecture and setting followed as [5]. The "pred_g" is the NER model trained on the annotated entities in gold blocks, while "pred_p" is trained on the predicted blocks with annotated entity labels. Table 4 presents the results of our NER models. The max sequence length of both NER and RE tasks is 1024.

## 4 Result and Discussion

RE models are compared in the standard RE task that the gold blocks and gold entity labels are given. The best $\mathrm{RE}$ model is applied in the procedure extraction, while the RE model has to face more noise because the blocks are predicted, or the named entities are results of NER models. Standard RE task The experimental results of standard RE task are shown in Table 5. Following previous works, we use Precision, Recall and F1 scores in evaluation.

The first we noticed is the good performance of the rulebased approach. Although the rules we used are intuitive, the rule-based have an accuracy of 90.26. In most of other

Table 6 ALTOP + rule_top

ignoring the missed relations caused by entity missing

ALTOP + rule_top is trained on the gold NEs in gold blocks. "Covered Rel" is the relationships that both its head entity and tail entity are identified by the NER models.

Table 7 ALTOP + rule top in procedure extraction

tasks, NN-based methods can capture positive examples outside the rules and have a higher recall. In our task, there is a difference between the simple Bi-LSTM model and the rule-based method, except that Bi-LSTM performs worse than the rules, especially in the recall. This situation may be caused by the simplicity of the procedure dataset - the text order of a series of processes is the same as the actual processing order, and the description of procedures is in a certain form that matches with our rules.

Even though the simple NN-based model fails to outperform the rule-based method, the pre-trained language model and novel techniques help ATLOP win the game in this round with an F1 score of 89.68. And the rule_top component does reduce the count of false-positive instances, bringing us a high precision of 95.00. Comparing to the performance of the ATLOP, the Bi-LSTM model is not good enough in distinguishing between two head entities given a tail entity. The human-check of error predictions proves that the Bi-LSTM model may link a tail entity to an incorrect head entity close to the correct answer, even if two head entities are not semantically similar.

Pipelined procedure extraction For the RE task in procedure extraction, performances of the models are shown in Tables $6,7,8$. Table 6 shows the results not taken the missed relations caused by missed entities into account. As is shown: 1) The impact brought by the NER models is greater than the block extractor. Performance of gold NEs in the predicted blocks gets 4 points lower than gold NEs in the gold blocks; on the predicted block, passing the pred_g model's output to the RE task decreases $18.5 \%$ of
Table 8 ALTOP + rule_top in procedure extraction with/without typemarker

ALTOP + rule_top model with/without typemarker is trained on the gold NEs in gold blocks.

performance than gold NEs. 2) An NER model trained on the predicted blocks can reduce the false-positive entities appeared in the false sentences in the predicted block. The pred_p model achieves 3.22 points higher than pred_g. 3) Even though the NER model achieved over 80.0 recall, the missed relations caused by entity missing have big effects. Only $77.33 \%$ of real relations can be observed after block extraction and NER.

Taking the missed relations by the errors of NER into consideration, the recall of each combination of inputs reduces (See Table 7). The results on the pred_p NEs in predicted blocks are the final performance of procedure extraction. The pipelined methods taken ALTOP + rule_of model as RE model can capture $66.67 \%$ of relations in procedures, while $77.33 \%$ of the predictions are correct.

Results by the ALTOP model with or without typemarker are shown in Table 8. In the standard RE task, typemarker contributes 1.69 points in the F1 score, while it brings no improvement in the other situations. We think typemarkers help the model better fit into data, losing a degree of generalization ability to unobserved instances during training.

## 5 Conclusion

We experiment with two models that reported good performance in other works on the relation extraction of inorganic material synthesis procedures. We provide simple techniques, the rule_of component and entity typemarker to help existed methods get better performance on a specific task. We find the missed named entities during named entity recognition cause a great effect on the pipelined knowledge extraction. For that, we summarized two potential directions as our future works: improving the accuracy of named entity recognition, and improving the ability of the relation extraction model to distinguish between false-positive entities and real entities.

## References

[1] David Wadden, Ulme Wennberg, Yi Luan, and Hannaneh Hajishirzi. Entity, relation, and event extraction with contextualized span representations. arXiv preprint arXiv:1909.03546, 2019.

[2] Yuan Yao, Deming Ye, Peng Li, Xu Han, Yankai Lin, Zhenghao Liu, Zhiyuan Liu, Lixin Huang, Jie Zhou, and Maosong Sun. Docred: A large-scale document-level relation extraction dataset. arXiv preprint arXiv:1906.06127, 2019.

[3] Zexuan Zhong and Danqi Chen. A frustratingly easy approach for joint entity and relation extraction. arXiv preprint arXiv:2010.12812, 2020.

[4] Jiao Li, Yueping Sun, Robin J Johnson, Daniela Sciaky, Chih-Hsuan Wei, Robert Leaman, Allan Peter Davis, Carolyn J Mattingly, Thomas C Wiegers, and Zhiyong Lu. Biocreative $\mathrm{v}$ cdr task corpus: a resource for chemical disease relation extraction. Database, Vol. 2016, 2016.

[5] Shanshan Liu, Mutsunori Uenuma, Hiroyuki Shindo, and Yuji Matsumoto. Extraction of the material synthesis procedure. Fourth International Workshop on SCIentific DOCument Analysis (SCIDOCA2020), 2020.

[6] Wenxuan Zhou, Kevin Huang, Tengyu Ma, and Jing Huang. Document-level relation extraction with adaptive thresholding and localized context pooling. arXiv preprint arXiv:2010.11304, 2020.

[7] Iz Beltagy, Kyle Lo, and Arman Cohan. Scibert: A pretrained language model for scientific text. arXiv preprint arXiv:1903.10676, 2019.


# BERT を用いた Table-Filling による固有表現抽出と関係抽出

Youmi Ma 平岡達也 岡崎直観
東京工業大学
\{youmi.ma, tatsuya.hiraoka\}@nlp.c.titech.ac.jp
okazaki@c.titech.ac.jp

## 1 はじめに

固有表現およびその組である関係の抽出は，コンピュータによる情報抽出や知識獲得において重要な課題である $[1,2]$. 固有表現と関係を同時に抽出する手法のひとつとして，Table-Filling を用いたものがある [3]. Table-Filling を用いた手法では，図 1 のように，表の対角要素に固有表現のラベルを，非対角要素に関係のラベルを配置することにして，二つの抽出タスクをひとつの表を埋める問題に帰着させる.しかし， Table-Filling を用いた手法で高い精度を達成するためには，固有表現や関係の分類に用いる特徴量や，表を埋める順序（デコーディング順序）を緻密に設計する必要がある $[3,4,5,6]$.

近年，事前学習済み言語モデルを用いて固有表現と関係を同時に推定するモデルが提案されている $[4,7,8]$. 本稿では，文脈を考慮した単語埋め込みを用いることで，特徵量選択とデコーディング順序の問題を同時に解決する新たな Table-Filling に基づく固有表現抽出・関係抽出のモデルを提案する。提案手法では特徴量選択の問題を解決するために，事前学習済みの BERT モデル [9] で入力文をエンコー ドし，文脈を考慮した単語埋め込みを得る．単語埋め込みをスパン単位でプーリングした値を固有表現の特徴量とし，表の対角要素を埋める. 固有表現の特徴量で表の対角要素を埋め，これをもとに関係を表す非対角要素を一挙に埋めることで，デコーディングにおいて順序の考慮を不要とする。

CoNLL04 [10] と ACE05ํำデータセトを用いた実験を通して，提案手法はシンプルであるが，最高性能に匹敵することを確認した。また，提案手法においてデコーディング順序を考慮したモデル設計とした場合でも，デコーディング順序が性能に大きな影響を与えないことを確認した。さらに実験と分析を通して，固有表現抽出器を同時に学習することで埋

1) https://catalog.ldc.upenn.edu/LDC2006T06

図 1 Table-Filling の概要. セル内の数字は表を埋める （デコーディング）順序を示し，」は対応する関係がないことを示す.

め込み表現の学習が効果的に行われ，関係抽出器の性能向上に繋がることを確認した2).

## 2 提案手法

本研究の目的は, 長さ $n$ の単語列 $w_{1}, w_{2}, \cdots, w_{n}$ が与えられた時に，関係を $\left(\mathrm{a}_{0}\left.\langle\mathrm{t}_{0}\right.\rangle\right.$, relation, $\left.\mathrm{a}_{1}\left.\langle\mathrm{t}_{1}\right.\rangle\right)$ の形で抽出することである。ただし， $\mathrm{t}_{0}, \mathrm{t}_{1}$ はそれぞれ 1 つ以上の $w_{n}$ から成る固有表現 $a_{0}, a_{1}$ に対応するラ

Rを関係のラベルの集合とする。

提案手法では図 1 のように，表を用いて固有表現と関係のラベル空間を表現する。具体的には， $n \times n$ の上三角行列 $\boldsymbol{Y}$ を定義する. 対角成分 $\boldsymbol{Y}_{i, i} \in \mathscr{E}$ は $i$ 番目の単語に対応する固有表現のラベルであり, 非対角成分 $\boldsymbol{Y}_{i, j} \in \mathscr{R}$ は $i$ 番目の単語から $j$ 番目の単語への関係のラベルである. Zhang ら [6] による研究と同様に, 行列の下半分は使用

2）本稿で紹介されたモデルは，https://github.com/YoumiMa/ Enhanced_TFにて公開している.

図 2 固有表現抽出器の概要.

しない。また，固有表現が複数の単語にまたがる場合は, 固有表現を構成する全ての単語の要素に対して関係ラベルを付与する。例えば図 1 では,

し，関係 $\overrightarrow{\text { LIVEIN }}$ は「Johanson」に対応する $\boldsymbol{Y}_{1,5}$ と 「Smith」に対応する $\boldsymbol{Y}_{2,5}$ の両方に付与される.

提案手法は固有表現抽出器と関係抽出器を事前学習済みの BERT エンコーダの出力層に積み重ねる。図 2 と図 3 のように，各単語埋め込みをサブワード埋め込みからプーリングして計算し（\$2.1），固有表現抽出（\$2.2）と関係抽出（\$2.3）を行う。

## 2.1 単語埋め込み

BERT は WordPiece を用いて単語をサブワード化するため，単語単位のタスクである固有表現抽出を解くためには，サブワード埋め込みを単語単位に変換する必要がある．本研究では，単語を構成する全てのサブワード埋め込みの最大プーリングによって，単語埋め込みを計算する [9].

$
\boldsymbol{e}_{w_{i}}=f\left(\boldsymbol{e}_{t_{i, 1}}, \boldsymbol{e}_{t_{i, 2}}, \cdots, \boldsymbol{e}_{t_{i, s}}\right) .
$

単語 $w_{i}$ はサブワード $t_{i, 1}, t_{i, 2}, \cdots, t_{i, s}$ から構成され, $\boldsymbol{e}_{w_{i}}$ と $\boldsymbol{e}_{t_{i, k}}$ はそれぞれ単語 $w_{i}$ とサブワード $t_{i, k}$ の埋め込みを示し， $f(\cdot)$ は最大プーリング関数である.

## 2.2 固有表現抽出

固有表現のラベルを BILOU 方式 [11] で表現することで，固有表現抽出を系列ラベリング問題として扱う。提案手法では, Zhang ら [6] に倣い，固有表現

図 3 関係抽出器の概要.

埋め込みをスパン単位で取り扱う。

具体的に，位置 $i$ の単語 $w_{i}$ に対し，固有表現の予

連結（ $\oplus ）$ である.

$
\boldsymbol{h}_{i}^{(\text {ent })}=\boldsymbol{e}_{w_{i}} \oplus \boldsymbol{l}_{y_{i-1}} \oplus f\left(\boldsymbol{e}_{w_{\text {first }(i-1)}}, \cdots, \boldsymbol{e}_{w_{i-1}}\right) .
$

ただし， $\boldsymbol{l}_{y_{i-1}}$ は直前の位置 $i-1$ の単語 $w_{i-1}$ の固有表現ラベルの埋め込み, $f\left(\boldsymbol{e}_{w_{\text {first }(i-1)}}, \cdots, \boldsymbol{e}_{w_{i-1}}\right)$ は直前のスパンの埋め込み（該当する全ての単語埋め込みの最大プーリング）を示す。また，first $(i)$ は単語 $w_{i}$ を含むスパンの先頭位置を示す3)。なお，初期位置 $i=1$ については，直前の位置の固有表現ラベル $y_{0}$ にはスパンでないことを示すラベルである Outside（0）を用い， $\boldsymbol{e}_{w_{0}}$ には零ベクトルを用いる.

単語 $w_{i}$ の固有表現ラベルを予測するために用いる確率分布 $\hat{\boldsymbol{y}}_{i}$ は，全結合層とソフトマックス関数 $\sigma$ を用いて計算する。

$
\hat{\boldsymbol{y}}_{i}=\sigma\left(\boldsymbol{W}^{(\mathrm{ent})} \boldsymbol{h}_{i}^{(\mathrm{ent})}+\boldsymbol{b}^{(\mathrm{ent})}\right)
$

$\hat{\boldsymbol{y}}_{i}$ から確率が最大となるラベルを選ぶことで，行列の対応する成分 $\boldsymbol{Y}_{i, i}\left(=y_{i}\right)$ を埋める. 提案手法は,行列の対角成分 $\boldsymbol{Y}_{i, i}$ を $i=1$ から $i=n$ まで埋めることによって，固有表現抽出を行う。

## 2.3 関係抽出

関係抽出は $\$ 2.2$ の予測結果に基づいて行う. 関係抽出器は，行列の対角成分に埋められた固有表現のラベル情報を用いて，非対角成分を同時に予測する. 各単語対の関係ラベル空間においての確率分布は，内積を用いて計算する4)。

単語 $w_{i}$ に対し，関係の予測で用いる埋め込み $\boldsymbol{h}_{i}^{(\mathrm{rel})}$ は，固有表現のスパンの埋め込み $z_{i}$ と固有表

3）例えば，図 2 で示した文を処理する際に，「John Smith」は 2 単語から構成されるスパンが固有表現として識別されるため, first $(1)=$ first $(2)=1$ である.

4）Deep Bi-affine Attention [12,13] を用いた計算と比較した結果，内積だけで十分であることを事前の実験からわかった。
現のラベルの埋め込み $l_{y_{i}}$ の連結 $(\oplus)$ である. さらにスパンの埋め込み $z_{i}$ は，単語 $w_{i}$ に対応するスパン範囲の全ての単語埋め込みから計算する。

$
\begin{gathered}
\boldsymbol{h}_{i}^{(\mathrm{rel})}=z_{i} \oplus \boldsymbol{l}_{y_{i}} \\
z_{i}=f\left(\boldsymbol{e}_{w_{\text {first }(i)}}, \cdots, \boldsymbol{e}_{w_{i}}, \cdots, \boldsymbol{e}_{w_{\text {last }(i)}}\right)
\end{gathered}
$

ここで last $(i)$ は $\$ 2.2$ で定義された first $(i)$ と同様に，単語 $w_{i}$ を含む固有表現のスパンの末尾位置を示す. つまり， $z_{i}$ は first $(i)$ から last $(i)$ までの単語の埋め込みの最大プーリングである.

関係の予測を行うために， $\boldsymbol{h}_{i}^{(\text {rel) }}$ に対して，行列 $\boldsymbol{W}_{r}^{(q)}, \boldsymbol{W}_{r}^{(k)} \in \mathbb{R}^{d_{\text {att }} X d_{\text {rel }}}$ とバイアス $\boldsymbol{b}_{r}^{(q)}, \boldsymbol{b}_{r}^{(k)} \in \mathbb{R}^{d_{\text {att }}}$ を用いた線形変換を行う.

$
\begin{aligned}
& \boldsymbol{q}_{i, r}=\boldsymbol{W}_{r}^{(q)} \boldsymbol{h}_{i}^{(\mathrm{rel})}+\boldsymbol{b}_{r}^{(q)} \\
& \boldsymbol{k}_{i, r}=\boldsymbol{W}_{r}^{(k)} \boldsymbol{h}_{i}^{(\mathrm{rel})}+\boldsymbol{b}_{r}^{(k)}
\end{aligned}
$

ただし， $d_{\mathrm{rel}}$ は $\boldsymbol{h}_{i}^{(\mathrm{rel})}$ の次元数， $d_{\mathrm{att}}$ は変換後の次元数である. 全ての $r \in \mathscr{R}$ と $i \in\{1, \cdots, n\}$ を集めたテンソルを $\mathrm{Q} \in \mathbb{R}^{n \times|\mathscr{R}| \times d_{\text {att }}}$ と $\mathrm{K} \in \mathbb{R}^{n \times|\mathscr{R}| \times d_{\text {att }}}$ とする.

$
\begin{aligned}
& \mathrm{Q}_{i, r,:}=\boldsymbol{q}_{i, r}=\boldsymbol{W}_{r}^{(q)} \boldsymbol{h}_{i}^{(\mathrm{rel})}+\boldsymbol{b}_{r}^{(q)}, \\
& \mathrm{K}_{i, r,:}=\boldsymbol{k}_{i, r}=\boldsymbol{W}_{r}^{(k)} \boldsymbol{h}_{i}^{(\mathrm{rel})}+\boldsymbol{b}_{r}^{(k)} .
\end{aligned}
$

各単語対 $\left(w_{i}, w_{j}\right)(1 \leq i<j \leq n)$ に対する関係空間 $\mathscr{R} て ゙$ 確率分布は，内積とソフトマックス関数により計算する ${ }^{5)}$.

$
\hat{\boldsymbol{y}}_{i, j}=\sigma\left(\mathbf{Q K}^{\top}\right)_{i, j,:} \cdot
$

$\hat{y}_{i, j}$ から確率が最大となるラベルを選び，行列で対応する要素 $\boldsymbol{Y}_{i, j}$ に埋めることによって，関係を特定する。提案手法は式 (10)を用いて，非対角成分を一斉（独立）に埋めるため，関係の予測結果の間に依存関係がない。なお，学習時には式 (5)を以下のように置き換えることで，学習が安定することが経験的にわかっている.

$
z_{i}=\boldsymbol{e}_{w_{i}}
$

これにより，単語単位で誤差逆伝播を行うことができ，プーリング操作による複雑なパラメータ更新を避けることでモデルの性能向上に寄与する。

## 2.4 学習と予測

固有表現抽出と関係抽出の交差エントロピーの総和を損失関数とする。固有表現抽出では Zhang

 & 67.8 \\

表 1 固有表現抽出と関係抽出の実験結果. NER は固有表現抽出の結果，RE は固有表現ラベルを用いない関係抽出の結果，RE+は固有表現ラベルを用いた関係抽出の結果である。†は BERT-base，‡は BERT-large，。は ALBERT

ら [6] に倣い，学習時は正解のスパンとラベルを使い，予測時は貪欲法で得られたスパンとラベルを用いる。関係抽出では，学習時と予測時のいずれも固有表現抽出器が予測したスパンとラベルを用いる。

## 3 実験と考察

## 3.1 実験結果

提案手法の性能を確かめるために, CoNLL04 [10] と ACE05 の 2 つのデータセットで実験し，その性能を表 1 に示した. 実験結果から，提案手法は関係抽出（REと $\mathrm{RE}+$ ）において，両データセットの最高性能モデルに匹敵する性能を持つことを確認した。特に，提案手法と同じくBERT をエンコーダとして用いる Eberts と Ulges の手法 [7] や Wadden らの手法 [17] の性能を上回ることから，提案手法の構造が性能向上に寄与することが確かめられた. Wang と Lu [4] の手法は ALBERT [19] をエンコーダとして使うことで高い性能を達成しているが，エンコーダを BERT に揃えると，提案手法と同等の性能であった.

ところが，ACE05 での固有表現抽出（NER）において，提案手法は比較手法である Wadden らの手法 [17] より低い精度を示している。これは比較手法が文書単位を入力とし， [SEP] で分割された複数の文に対して予測を行うため，文単位で予測を行う提案手法と実験設定が異なるからである。提案手法の固有表現抽出器に文書単位の入力を与えると，性能
表 2 文書単位で固有表現抽出を行う実験の結果（ACE05

表 3 デコーディング順序に関する対照実験の結果 (CoNLL04 テストデータ)．全ての関係を一斉に予測するモデルと，順序を考慮して予測するモデルを比較する。

が比較手法に匹敵することを表 2 に示した.

## 3.2 デコーディング順序による影響

Table-Filling を用いた既存手法は予め定義された順序に従い，モデルの出力結果を考慮しつつ，表をセルごと埋める $[3,5,6]$. これらの研究は前の予測結果が以後の予測に役立つと仮定しているが，提案手法では内積で表の非対角成分をまとめて予測するため，各セルの予測は互いに独立である。

提案手法においてデコーディング順序を考慮する必要がないことを示すために，順序を考慮してデコーディングを行う実験設定での性能を確認する. 具体的には，単語対 $\left(w_{i}, w_{j}\right)$ の関係を予測する時に, 左のセル $\left(w_{i}, w_{j-1}\right)$ と下のセル $\left(w_{i+1}, w_{j}\right)$ の情報を用いる。これにより，表の左下から右上へと順番にデコーディングを行う手法を用意し，その性能を表 3 に示した.

実験結果より，デコーディング順序を考慮することによる性能向上は得られなかった.これは， BERT が長距離の依存関係を考慮して入力文をエンコードするため，前の予測結果を考慮して逐次的に予測を行う必要が無くなったためと考えられる.

## 3.3 同時学習による影響

既存研究は，固有表現抽出と関係抽出の同時学習はタスク間の依存関係を暗黙的にモデル化し，全体の性能に寄与すると報告している $[8,20,21]$. 提案手法において両タスクを同時にモデル化するメリットはどのくらいあるのだろうか？そこで，固有表現の認識結果から，固有表現のセグメント情報やカテゴリ情報を隠したとき，関係抽出の性能がどのような影響を受けるのかを調査した，具体的には，固有表 4 固有表現抽出器の学習・予測設定を変更することによる関係抽出器の性能変化 (CoNLL04テストデータ).

「Seg.」はセグメント情報，「Cat.」はカテゴリ情報を示す. また，+は固有表現のラベルをランダムに選んだ結果，

は正解の固有表現のラベルを使った結果である.

表現ラベル（例：B-PER）から，セグメント情報だけを残したり（例：B），カテゴリ情報（例：PER）だけを残して，関係抽出器の性能を測定した（表 4).

従来，固有表現抽出の性能が関係抽出の性能に影響を与えると考えられてきたが，提案手法では，カテゴリを用いずにセグメントだけを利用して関係抽出モデルの学習や予測を行っても，性能に大きな差は現れないことが分かった.これは BERTをエンコーダとして用いたため, 固有表現のカテゴリは埋め込みから推測可能な場合が多く，カテゴリ情報を明示的に与えなくても関係が予測できてしまったためと考えられる．また，予測時に固有表現のセグメントのラベルをランダムに書き換えた場合は，固有表現のスパンの情報が得られなくなり，関係抽出の性能低下を引き起こす。一方で，正解のスパンを関係抽出器に与えると，大幅な性能向上が見られる. さらに，固有表現抽出器の学習を加えることで，性能が向上した。これは関係抽出器にとって，固有表現の正確なスパン情報が重要であること，固有表現抽出の学習を行うことによる BERT の単語埋め込みの改善が得られることを示唆している.

## 4 おわりに

本研究では，Table-Filling に基づき，固有表現と関係を同時に抽出するモデルを提案した。文脈を考慮した単語埋め込みの活用により, 従来手法の特徴量選択とデコーディング順序に関する課題を撤廃できることを示した．実験結果により，提案手法は CoNLL04 [10] と ACE05 の 2 つのデータセットで最高性能に匹敵する性能を示すことを確認した.

謝辞この成果は、国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）の委託業務 （JPNP18002）の結果得られたものです。

## 参考文献

[1] Dmitry Zelenko, Chinatsu Aone, and Anthony Richardella. Kernel methods for relation extraction. Journal of Machine Learning Research, Vol. 3, p. 1083-1106, 2003.

[2] GuoDong Zhou, Jian Su, Jie Zhang, and Min Zhang. Exploring various knowledge in relation extraction. In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics (ACL), pp. 427-434, 2005.

[3] Makoto Miwa and Yutaka Sasaki. Modeling joint entity and relation extraction with table representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1858-1869, 2014.

[4] Jue Wang and Wei Lu. Two are better than one: Joint entity and relation extraction with table-sequence encoders. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1706-1721, 2020.

[5] Pankaj Gupta, Hinrich Schütze, and Bernt Andrassy. Table filling multi-task recurrent neural network for joint entity and relation extraction. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers (COLING), pp. 2537-2547, 2016.

[6] Meishan Zhang, Yue Zhang, and Guohong Fu. End-to-end neural relation extraction with global optimization. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1730-1740, 2017.

[7] Markus Eberts and Adrian Ulges. Span-based joint entity and relation extraction with transformer pre-training. In 24th European Conference on Artificial Intelligence (ECAI), 2020.

[8] Ying Lin, Heng Ji, Fei Huang, and Lingfei Wu. A joint neural model for information extraction with global features. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 7999-8009, 2020.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (NAACL), pp. 4171-4186, 2019.

[10] Dan Roth and Wen-tau Yih. A linear programming formulation for global inference in natural language tasks. In Proceedings of the Eighth Conference on Computational Natural Language Learning (CoNLL-2004) at HLT-NAACL 2004, pp. 1-8, 2004.

[11] Lev Ratinov and Dan Roth. Design challenges and misconceptions in named entity recognition. In Proceedings of the Thirteenth Conference on Computational Natural Language Learning (CoNLL-2009), pp. 147-155, 2009.

[12] Timothy Dozat and Christopher D. Manning. Deep biaffine attention for neural dependency parsing. In International Conference on Learning Representations (ICLR), 2017.

[13] Dat Quoc Nguyen and Karin Verspoor. End-to-end neural relation extraction using deep biaffine attention. In Proceedings of the 41st European Conference on Information Retrieval (ECIR), 2019.

[14] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems (NeurIPS), pp. 5998-6008, 2017.

[15] Xiaoya Li, Fan Yin, Zijun Sun, Xiayu Li, Arianna Yuan, Duo Chai, Mingxin Zhou, and Jiwei Li. Entity-relation extraction as multi-turn question answering. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1340-1350, 2019.

[16] Kalpit Dixit and Yaser Al-Onaizan. Span-level model for relation extraction. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 5308-5314, 2019.
[17] David Wadden, Ulme Wennberg, Yi Luan, and Hannaneh Hajishirzi. Entity, relation, and event extraction with contextualized span representations. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5784-5789, 2019.

[18] Yijun Wang, Changzhi Sun, Yuanbin Wu, Junchi Yan, Peng Gao, and Guotong Xie. Pre-training entity relation encoder with intraspan and inter-span information. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1692-1705, 2020.

[19] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations. In International Conference on Learning Representations (ICLR), 2020.

[20] Makoto Miwa and Mohit Bansal. End-to-end relation extraction using LSTMs on sequences and tree structures. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1105-1116, 2016.

[21] Mandar Joshi, Danqi Chen, Yinhan Liu, Daniel S. Weld, Luke Zettlemoyer, and Omer Levy. SpanBERT: Improving pre-training by representing and predicting spans. Transactions of the Association for Computational Linguistics (TACL), Vol. 8, pp. 64-77, 2020.

[22] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, and Jamie Brew. Huggingface's transformers: State-of-the-art natural language processing. CoRR, Vol. abs/1910.03771, , 2019.

[23] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations (ICLR), 2019.

[24] Qi Li and Heng Ji. Incremental joint extraction of entity mentions and relations. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (ACL), pp. 402-412, 2014.

[25] Yi Luan, Dave Wadden, Luheng He, Amy Shah, Mari Ostendorf, and Hannaneh Hajishirzi. A general framework for information extraction using dynamic span graphs. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (NAACL), pp. 3036-3046, 2019.

## A 実験設定

提案手法は HuggingFace Transformers [22] 用いて実装し, NVIDIA Tesla V100(16 GiB) で実験を行った. 本稿で報告された全ての実験結果は，5つの異なるランダムシードを用いて学習を行い，その平均値である.

なお，モデルには事前学習済みのパラメータとランダムな初期状態にあるパラメータが両方存在するため，一様な学習率を設定することはモデルの訓練において不適切だと考えられる。よって, Wadden ら [17] に倣い, 両抽出器と事前学習済みの BERT モデルを異なる学習率を用いて訓練する。訓練時のパラメータ更新は，AdamW [23]を用いる。

## A. 1 データセット

データセットの分割などの前処理と実験設定は既存研究に従う.

CoNLL04 固有表現が 4 種類，関係が 5 種類定義されている. Eberts と Ulges [7] と Gupta ら [5] の分割に従い，まずデータセットを訓練・検証・テストデータに分け，訓練データと検証データで八イパー パラメータを選択する。次に訓練データと検証デー タをあわせて訓練を行い，得られたモデルの性能をテストデータを用いて評価する $[3,6,24]$.

ACE05 固有表現が 7 種類, 関係が 6 種類定義されている. Wadden ら [17] の前処理スクリプト6)を用いることにより, 既存研究と同じ分割を作成し

要素として記述された箇所を固有表現のスパンとして扱う $[8,20,24,25]$.

## A. 2 ハイパーパラメータ

提案手法により導入されたハイパーパラメータとその値を表 5 に示す。ハイパーパラメータの選択は，それぞれのデータセットの検証データを用いて行う. ただし, 訓練時に使われたスケジュー ラーは，まず学習率をゼロから表に示した値まで $\{$ ウォームアップ期間 $\} \times\{$ エポック数 $\}$ のエポックをかけて線形に上昇させ，次に余弦関数で減衰させるものである.表 5 ハイパーパラメータの概要

表 6 アブレーションスタディの結果（CoNLL04 テストデータ).「-ラベル」は式 2 と式 4 からラベルの埋め込みを削ったモデル，「-スパン」は式２からスパンの埋め込みを削ったモデル，「-両方」は両方を削ったモデルを示す.

## B 特徴量による影響

提案手法で特徴量として用いたスパンの埋め込みとラベルの埋め込み（式 2 と式 11）がモデルに与える影響を調べるために，各埋め込みを削った場合の実験を行い，結果を表 6 に示す. 式 2 からスパンの埋め込み $f\left(\boldsymbol{e}_{w_{\text {first }(i-1)}}, \cdots, \boldsymbol{e}_{w_{i-1}}\right)$ を削る目的は，スパン単位のパラメータ更新を防止し，スパンの埋め込み表現を学習させないことである.

スパンの埋め込み表現を学習させないことにより, 関係抽出器の性能低下が表 6 から見られた. これはスパンの埋め込みが提案手法において重要であることを示し， 83.3 の結論を裏付ける結果だと考えられる。

6) https://github.com/dwadden/dygiepp


# 業績要因の極性付与を目的とした文の区切り位置推定

高野海斗
成蹊大学
dd186201@cc.seikei.ac.jp
酒井浩之
成蹊大学
h-sakai@st.seikei.ac.jp
中川慧
野村アセットマネジメント株式会社
k-nakagawa@nomura-am.co.jp

## 1 はじめに

近年，機械学習などの手法が注目を集め，様々な分野への応用研究が活発に行われている. 金融業界でも人工知能分野の手法や技術を金融市場における様々な場面に応用することが期待されており，膨大な金融情報を分析し投資判断を支援する技術にも注目が集まっている $[1,2,3]$.

一般に金融テキストには結果（事実）と評価が混在している。例えば，「今期の $\left.\mathrm{EPS}^{1}\right)$ は 100 円であり，経営努力が実った.」と「今期の EPS は 100 円であり，経営陣の見通しの甘さが露呈した.」というテキストには，今期の EPS は 100 円であるという同一の結果を両方とも伝えているものの，評価は正反対の内容を伝えている.このように，金融では同一の結果に対してどのような評価，すなわち極性を付与するかという点に市場あるいは投資家のセンチメントが含まれる。また結果を表す情報は財務デー タあるいは経済データが多く，定量的に取得・分析できるのに対して，評価情報はテキストにのみ存在する情報である。このように，金融テキストの極性付与は投資意思決定において重要なタスクである.

しかしながら，既存の金融テキストへの極性付与は，極性語とその極性値が組となった極性辞書を用いたものが多い [4]. 極性辞書を用いた文への極性付与の問題点としては，文脈を考慮せずに極性値によるスコア付けが行われる点である．例えば，「コロナ感染者数の増加 (2.312) に伴い、売上高は減少 (-1.998)いたしました。のような文の極性は， 0.314 （ポジティブ）となるが，明らかにネガティブな文である．例に挙げたように，何が増加したかによって，「増加」のスコアを変化させるべきだが，一般

的な極性辞書は，そのような問題に対処できない。解決策として，「感染者数の増加 (-1.315)」，「売上の増加 (3.312)」のように表現を拡張した辞書を作成することが挙げられる [5]. しかし，全ての表現を辞書で作成することは困難であり，類似表現に対しても，辞書に登録されていなければ極性を付与できない問題がある。また，表現を拡張できたとしても，「見込んでいた売上減少はなかったものの、」のうな否定表現などに対応できないことも問題点として挙げられる。

したがって，これらの問題に対処するために，文脈を考慮した上で文に対して極性付与を行うことが必要である。しかし，極性辞書を用いた文の極性付与に対して，深層学習モデルなどを用いて文に極性付与を行う場合には，解釈性の問題が残る [6].

そこで，入力文全体に対して極性を付与するのではなく，ポジティブなことが記述されている部分， ネガティブなことが記述されている部分，結果について記載されている部分に分割し，その上で分割した各部分に対して極性付与を行うことが可能なモデルの作成を研究目標とする。文を分割し，極性付与を行うイメージは以下の通りである。

最終的な研究目標

(+2.5) 収益合計は、投資信託ビジネスや投資顧問ビジネスでの資金流入が運用資産残高の拡大に寄与し、(+0.5) 引き続きビジネスは堅調だったものの、(-25.0) アメリカン・センチュリー・ インベストメンツ関連損益が収益を押し下げました。

短く分割した各部分に対して，文脈を考慮し極性を付与することで，文全体に極性付与を行うよりも，解釈性の高い出力を得ることが可能となる.

そのための第一段階として，本研究では，文を分割することが可能であるかの検討を行った．具体的には, 高野らの研究 [7] で抽出した業績要因文 ${ }^{2}$ に対して，人手で文を分割するための正解 Tag をアノテーションし (111 文), 事前学習済みモデルである BERT と BiLSTM モデルを組み合わせたモデルの学習を行い，このモデルを用いることで分割が可能であることを示した.

## 2 文の区切り位置と定義

本研究では，業績要因文をポジティブな要因が記述されている部分，ネガティブな要因が記述されている部分，結果について記載されている部分に分けることが目的である。まず，本研究で扱う業績要因文は以下のような文を指す。

業績要因文の例

広州においては、年間を通して生産活動に変動はあったものの、全体としては生産活動が好調に推移したことから、売上高は前年同期を上回る状況で推移いたしましたが、償却費及び労務費などの固定費の負担が増加したことにより利益は前年同期を下回る状況で推移いたしました。

本研究の目的は，上記のようなテキストを入力とし，以下に示すような分割を行うことが可能なモデルを学習させることである.

## 業績要因文の分割例

[B_Cause_Nega] 広州においては、年間を通して生産活動に変動はあったものの、 [E_Cause_Nega] [B_Cause_Posi] 全体としては生産活動が好調に推移したことから、 [E_Cause_Posi] [B_Result] 売上高は前年同期を上回る状況で推移いたしましたが、[E_Result] [B_Cause_Nega] 償却費及び労務費などの固定費の負担が増加したことにより [E_Cause_Nega] [B_Result $]$ 利益は前年同期を下回る状況で推移いたしました。[E_Result]

文の区切り位置は，語尾を変更し，接続詞などの表現を用いることで，文をつなぎ直すことが可能になる位置とする。例えば，上記の文であれば，「〜

2）企業を分析するにあたり，企業が公開している金融テキス卜に含まれる業績要因についての記載は，特に重要な情報であり，これらの文を本研究では業績要因文と呼ぶ [8].変動はあったものの、全体としては〜」は，「〜変動があった。」，「しかし，全体としては〜」と変更することが可能であるため，区切り位置となっており，「〜が増加したことにより利益は〜」は，「〜が増加した。」，「その結果、利益は〜」と変更することが可能であるため，区切り位置となっている。また，本研究では分割の際に，文の分割した部分が，1.「ポジティブな要因が記述されている」，2.「ネガティブな要因が記述されている」，3.「結果について記載されている」のいずれかに分類も行う.

本研究では，学習データを人手にてアノテーションすることで作成する．そのために，まず学習デー タとなる業績要因文に対して Tokenizerを使用し, Token に分割する3). Token に分割した学習データに対して，人手でアノテーションした例を付録の表 3 に示す.

次に，本研究で使用する Tag について説明する.本研究で使用する Tag は，以下の9つである.

CLS: 文の開始位置

SEP: 文の終了位置

B_Cause_Posi: ポジティブ要因の開始位置 E_Cause_Posi: ポジティブ要因の終了位置 B_Cause_Nega: ネガティブ要因の開始位置 E_Cause_Nega: ネガティブ要因の終了位置 B_Result: 結果についての記載の開始位置 E_Result: 結果についての記載の終了位置 Other: 上記以外

これらの Tag を用いることで，分割位置を推定し，分類も同時に行う.

結果についての記載に関して，ポジティブとネガティブを付与しなかったのは，「売上高は○○百万円でした。のような記述において，企業の規模によって同じ金額でもポジティブ・ネガティブが異なり，判断が難しいためである.

## 3 関連研究

文を分割するための研究は，文の自動要約に関する分野で研究が行われている。例えば，大野らは，学生のレポートが読みにくくなっている原因の一つに，修飾節が連なることによる文の長文化を挙げており，この長文を機械的に短文に変換する研究を行っている [9]. この研究では，文の修飾節として補足節・連体節・副詞節を自動的に判定する方法を

3）本研究では，東北大学の乾研究室が公開している学習済み BERT を使用するため，それに合わせた Tokenizer を使用した.
提案している。また，金融テキストと同様に，長文が多く出現するテキストとしてニュース原稿がある.ニュース原稿は，そのまま字幕にすると長すぎ場合が多い. そこで，自動的に長文を複数の短文に分割する研究が行われている $[10,11]$.

これらの文分割の先行研究と本研究の大きな違いは, 品詞情報を利用していない点である. 入力となる文が業績要因文に限定されていることや，大量の教師なしデータを用いた事前学習済みモデルにより，同じような文脈で出現する Token に対しては似たような分散表現が与えられている可能性が高く，人手にて少量の学習データを作成することで，品詞情報を考慮しなくても分割が可能である.

また, 本研究はセンチメント分析の一環でもある [12]. 極性付与を行う方法の一つには，1 章でも述べたように極性辞書を用いた方法があるが，広く利用されている一般的な極性辞書 (Harvard-IV-4 TagNeg）に含まれるネガティブ表現が，金融の分野において, 約 4 分の 3 も該当しないことを示した研究もある [13]. したがって, センチメント分析を行うためには，その目的に特化した極性辞書や極性付与モデルを使用する必要がある. 多くの金融極性辞書は，市場分析を目的に作成されているが，本研究では，企業の業績状況の分析に特化した極性付与を可能にすることを最終目標としている.

## 4 使用するデータ

本研究で扱う業績要因文は，高野らの手法 [7] を用いて，有価証券報告書から抽出したものを使用する.この業績要因文には，事業セグメントと業績結果文 ${ }^{4}$ が紐づいてる. 本研究では, 人手で作成可能な少量の学習データで学習を行う必要がある. そこで，学習データを少しでも多様性のあるものにするために，アノテーションを行う業績要因文の事業セグメントが一致しないように，ランダムサンプリングを行うことで，似たような事業に関する業績要因文が学習データに含まれないようにする工夫をしている.

ランダムサンプリングした業績要因文に対して， アノテーションを行い，111 文の学習データを作成した. アノテーションは，付録の表 3 に示したように, 分割部分の先頭の Token と最後の Token に対して，Tag 付けを行った. また，学習データで用意したデータとは別に，評

価を行うためのテストデータを人手にて，20 文作成した。学習データと似たような業績要因文になることを避けるために, 学習データに使用した業績要因文とは，付与されている事業セグメントが異なる業績要因文を対象にした.

## 5 使用するモデル

本研究では，人手で学習データを作成するため,大量のデータを生成できない. そこで，少量のデー タを Fine Tuning することで良好な結果が得られることが報告されている事前学習済み BERTを利用する [14]. 事前学習済み BERT は, 東北大学の乾研究室が公開しているものを使用した ${ }^{5)}$.

BERT は，Transformer の Encoder 部分を重ねたモデルであり, Transformer 層が全 12 層ある. 本研究では，入力層から前半 6 層までのパラメータを固定した上で，後半 7 層から 12 層のパラメータを Fine Tuning することにした.

## 5.1 Simple BERT Model

事前学習済み BERT に対して，Token に分割した業績要因文を入力し, BERT の最終層からの各 Token の出力 768 次元に対して, 線形変換を行うことで, Tag の推定を行うシンプルなモデルを Simple BERT Model とする. モデルのイメージ図を付録の図 1 に示す.

## 5.2 BERT BiLSTM Model

入力文に対して，Tag 付けを行うことで固有表現抽出を行う研究では, 回帰型の深層学習モデルである LSTM などが有効であることが多い $[15,16]$. そこで本研究では，事前学習済み BERT に対して， Token に分割した業績要因文を入力し，BERT の最終層からの各 Token の出力を, BiLSTM モデル6)入力し, その出力に対して線形変換を行うことで, Tag の予測を行うモデルを BERT BiLSTM Model とする7). モデルのイメージ図を付録の図 2 に示す.

## 6 モデルの学習

モデルの学習は, $\mathrm{K}$ 分割交差検証法 (K-Fold Cross Validation) で行った. 本研究では $K=10$ とし, 学習データをランダムに 10 分割し， 9 割を訓練デー

表 $1 \mathrm{~K}$ 分割交差検証の結果

タ，1割を検証データとしてモデルを学習させた。 エポック数は 100 回とし，モデルの評価指標は， Macro-F1 と Micro-F1 を計算し，どのエポックのモデルを保存するかは，Macro-F1 が一番高いものを選択する8). Macro-F1を評価指標に使用した理由は，「Other」の Tag 割合が他の Tag に比べて非常に多いため，全ての予測を「Other」にすることで，スコアが高くなってしまう評価指標である Accuracy よりも，良好なモデルを選択できる可能性が高いからである．また， Micro-F1 は，Tag の割合が大きい Tag の影響を受けやすいため，Macro-F1 を評価指標に採用した.

loss を計算するための損失関数は，多クラス分類であるためクロスエントロピーを使用した。しかし，前述した通り，「Other」の Tag 割合が他の Tag に比べて非常に多い不均衡なデータであるため，loss の計算では，学習データに付与された Tag の出現頻度によって重み付けを行った。

最適化関数は Adam を使用し, lr（学習率）以外はデフォルトのまま使用した. $1 \mathrm{l}$ の值は, 出力層に近い層を大きく設定し，入力層に近い層は小さく設定した。これは，学習済みモデルである BERT の Transformer 層のパラメータを微調整しつつ，ランダムに初期値を決めている最終層の線形変換や， BiLSTM 層のパラメータを重点的に学習させるための工夫である．詳細な $\operatorname{lr}$ の値については，付録の表 4 に示す.

モデル学習時の検証データによる各モデルの評価を平均した結果を表 1 に示す.

## 7 評価

学習したモデルの性能を評価するために，人手で作成したテストデータを用いて評価を行った. 学習データを 10 分割して，交差検証を行っていることから，同じ数のモデルが存在するため，各モデルに対して，テストデータを入力し，各モデルの出力結果の多数決で Token に対する Tag の決定を行った.

評価結果を表 2 に示す。また，BERT BiLSTM Model に業績要因文を入力し得られる結果を付録

8） Macro-F1の值が同一の場合は，エポック数の少ないものを選択する。

## （A.1）に示す.

## 8 考察

表 1 に示した交差検証の結果と表 2 に示した評価結果から，シンプルな BERT モデルよりも， BiLSTM 層を追加したモデルの方が良好な結果であり，Macro-F1 も 0.924 と良好な結果であった。

正しい Tag の推定が行えなかった業績要因文を確認したところ，付録（A.1）に示した「～労務費が増加したこと等により、」ようなネガティブな分割部分に対して，ポジティブであると誤推定していた. これは，「増加」という単語がポジティブな分割に出現しやすい傾向があることが原因である．本研究で使用した業績要因文は，業績結果文から抽出できる数値情報が紐づいているため，「増加」が含まれているが，業績が前年度から大幅に下がっている業績要因文を抽出し，学習データを増やすことで解決できないか，今後検討を行っていきたいと考えている。また，「減少」が含まれているが，業績が前年度から大幅に上がっている業績要因文など，紐づいている情報などをうまく活用して，意図的に分類が難しい学習データを 100 文ほど増やすことで，推定にどのような影響があるのかの分析も行っていきたいと考えている.

## 9 まとめと今後の展望

本研究によって，少量のデータを人手で作成し，事前学習済みモデルを利用したモデルを用いることで，業績要因文の分割が可能であることを示した。業績要因文は，1文でいくつかの要因について記載されているものが多く，ポジティブなこととネガティブなことの両方が記述されている文も多いが，本研究で学習したモデルを用いることで，それらを分割することが可能である.

本研究で使用した業績要因文は，高野らの研究 [7] で抽出した業績結果文が紐づいたテキストデー タであるため，今後は，これらの業績結果文に含まれる数値情報を目的変数とし，分割したポジティブな記述とネガティブな記述を入力とすることで，入力テキストに対して，極性付与を行うモデルの検討を行っていく予定である。

## 参考文献

[1] 和泉潔, 松井藤五郎. 金融市場における最新情報技術：8. 金融テキストマイニング研究の紹介. 情報処理, Vol. 53, No. 9, pp. 932-937, 2012.

[2] 藏本貴久, 和泉潔, 吉村忍, 石田智也, 中嶋啓浩, 松井藤五郎, 吉田稔, 中川裕志. 新聞記事のテキストマイニングによる長期市場動向の分析. 人工知能学会論文誌, Vol. 28, No. 3, pp. 291-296, 2013.

[3] 和泉潔, 坂地泰紀, 伊藤友貴, 伊藤諒. 金融テキストマイニングの最新技術動向 (特集 ai の金融応用 (実践編)). 証券アナリストジャーナル, Vol. 55 , No. 10, pp. 28-36, 2017.

[4] Tomoki Ito, Hiroki Sakaji, Kota Tsubouchi, Kiyoshi Izumi, and Tatsuo Yamashita. Text-visualizing neural network model: understanding online financial textual data. In Pacific-Asia Conference on Knowledge Discovery and Data Mining, pp. 247-259, 2018.

[5] 今井康太, 酒井浩之, 高野海斗, 北島良三, 未廣徹, 稲垣真太郎, 木村柚里. 債券市場における金融極性辞書の自動構築. 第 25 回金融情報学研究会, pp. 38-43, 2020.

[6] David Gunning and David William Aha. DARPA's explainable artificial intelligence program. AI Magazine, Vol. 40, No. 2, pp. 44-58, 2019.

[7] 高野海斗, 酒井浩之, 北島良三. 有価証券報告書からの事業セグメント付与された業績要因文・業績結果文の抽出. 人工知能学会論文誌, Vol. 34, No. $5, \mathrm{pp}$. 1-22, 2019.

[8] 酒井浩之, 松下和暉, 北島良三. 学習データの自動生成による決算短信からの業績要因文の抽出. 日本知能情報ファジィ学会誌, Vol. 31, No. 2, pp. 653-661, 2019.

[9]博之大野, 宏誠稲積. 修飾節に着目した長文における短文化への試み. Technical Report 12, 東京医療保健大学, 青山学院大学, 2020.

[10] 福島孝博, 江原暉将, 白井克彦. 短文分割の自動要約への効果. 自然言語処理, Vol. 6, No. 6, pp. 131-147, 1999.

[11] 江原暉将, 福島孝博, 和田裕二, 白井克彦. 聴覚障害者向け字幕放送のためのニュース文自動短文分割. Technical Report 65(2000-NL-138), 通信・放送機構／ NHK, 通信・放送機構 / 追手門学院大学, 通信・放送機構, 通信・放送機構/早稲田大学, 2000 .

[12] Kumar Ravi and Vadlamani Ravi. A survey on opinion mining and sentiment analysis: Tasks, approaches and applications. Knowledge-Based Systems, Vol. 89, pp. 1446, 2015.

[13] Tim Loughran and Bill Mcdonald. When is a liability not a liability? textual analysis, dictionaries, and $10-\mathrm{Ks}$. The Journal of Finance, Vol. 66, No. 1, pp. 35-65, 2011.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[15] Mike Schuster and Kuldip K. Paliwal. Bidirectional re- current neural networks. IEEE Transactions on Signal Processing, Vol. 45, No. 11, pp. 2673-2681, 1997.

[16] Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[17] Alex Graves and Jürgen Schmidhuber. Framewise phoneme classification with bidirectional LSTM networks. In Proceedings. 2005 IEEE International Joint Conference on Neural Networks, 2005., Vol. 4, pp. 2047-2052, 2005.

[18] Alex Graves, Navdeep Jaitly, and Abdel rahman Mohamed. Hybrid speech recognition with deep bidirectional LSTM. In 2013 IEEE Workshop on Automatic Speech Recognition and Understanding, pp. 273-278, 2013.

## A 付録

## A. 1 テストデータの出力結果

$\left[\begin{array}{l}\text { 分割に成功した文一 } \\ \text { ・[B_Cause_Posi] 電線事業につきましては、当 } \\ \text { 事業の主要な市場である建設・電販向けの売 } \\ \text { 上は、公共事業・設備投資の持ち直しがみられ } \\ \text { るものの、[E_Cause_Posi] [B_Cause_Nega] 銅価 } \\ \text { 格が前連結会計年度よりも大幅にダウンして } \\ \text { いる影響で [E_Cause_Nega] [B_Result] 売上高は } \\ \text { 5,741百万円 (前年同期比 9.3\%減)と減少しまし } \\ \text { た。[E_Result] } \\ \text { ・[B_Cause_Posi] 電子デバイスにつきまし } \\ \text { ては、マイコンは堅調に推移しましたが、 } \\ \text { [E_Cause_Posi] [B_Cause_Nega] パワー半導体が } \\ \text { 大きく減少しました。[E_Cause_Nega] }\end{array}\right.$

図 1 Simple BERT Model のイメージ図

図 2 BERT BiLSTM Model のイメージ図

表 4 モデルの各層の学習率


# 大喜利における回答の面白さに関する定量的分析一お題と回答の意味的類似度からの考察一

戎達也
同志社大学 文化情報学部
cgjb0020@mail4.doshisha.ac.jp
}

原 尚幸
同志社大学 文化情報学部
hhara@mail.doshisha.ac.jp

## 1 はじめに

大喜利とは寄席演芸に端を発する芸能の一種である。現在では出されたお題に対して面白い回答を出すという競技としての大喜利が確立されており、趣味として楽しむコミュニティも存在している。

大喜利において評価されるのは、回答がいかに面白いかという点であり、そのためにはお題からどの程度ズレた回答を出すかが肝心であるとされている。このお題からのズレの程度を言語化する際に、大喜利プレイヤーは「お題と回答の距離」という言葉を用いることがある。そして、お題との距離が適切であれば回答が面白くなりやすいという。つまり、お題から飛躍し過ぎた回答は、見ている人からすると意味がわからないため面白くなりづらく、また、お題に素直に答え過ぎるのもクイズのようなものであり、意外性がなく面白くなりづらいというわけである。本研究では、この回答のお題からの距離と面白さの関係について、定量的に考察する。

## 2 本研究の目的

大喜利においては、多くの場合お題を言い換えただけのような回答だとお題と近く、お題と意味が大きく異なる回答はお題から遠いとされる。そのため、本研究では BERT[1] を用いてお題と回答の文章をべクトル表現に落とし込み、そのコサイン類似度をどれだけお題に近い回答であるかの指標と考元、面白さとの関係を明らかにする。BERTについては、東北大学の乾・鈴木研究室が公開しているモデルを使用した ${ }^{1)}$ 。面白さと発想の飛躍度の関係は、大喜利に限らないユーモアにおける大きな関心事であり、これを明らかにできれば幅広い分野で応用できる可能性がある。また、大喜利経験者とそうでない人との間で、面白い回答が集中している距離が異

なるのかを見ることで、発想の飛躍度と面白さの関係を見る際の面白さの評価が演者と観客のどちらによるものかを考慮する必要性についても考察する。

## 3 関連研究

大喜利回答の面白さについて自然言語処理を用いて説明する研究として、中川ら [2] がある。中川ら [2] は質問調査で収集した大喜利回答の「お題との関係性」、「わかりやすさ」、「新しさ」に加えて平均単語難易度、トピックベクトル、Word2Vec で算出した文章ベクトルのコサイン類似度から面白さを予測する回帰モデルを作成し、同じく質問調査で収集した「面白さ」の説明を試みるというものであったが、機械的に算出された特徴量の有効性は低かったと述べられている。また、それらの特徴量と各質問項目で強い相関がみられる組み合わせは存在しなかったという。しかしながら、質問調査で収集した特徴量は客観性を欠いており、これらの特徵量の全てに面白さとの強い相関が表れているのも「面白いから新しいのであろう」といった考えの影響を受けている可能性がある。また、中川ら [2] では具体的にどのような回答が面白くなりやすいのかについて触れられておらず、面白さと各要素の関係が示されていない。本研究ではこれらの点を改善し、回答の面白さと、客観的な手掛かりであるお題との文章類似度の関係を明らかにする。

## 4 分析

## 4.1 アンケートについて

4 つのお題と各 60 答の回答を作成した。それぞれ 0 点（全く面白くない）から 4 点（とても面白い） の 5 択から回答してもらう形式のアンケート調査を Google フォームを用いて実施した。各回答とお題の文章類似度がお題からの距離を反映していると考

え、面白さとの関係を明らかにする。

## 4.2 分析手法

笑いのツボ、すなわち採点傾向の特徴を把握することで距離と面白さの評価の関係を確認するために、アンケート協力者ごとの採点を順位データとして扱い、スピアマンの順位相関係数を 1 から引いたものを距離として定義し、階層的クラスター分析を行った。各お題ごとに、ウォード法を用いてアンケート協力者の採点傾向を 5 つのクラスターに分類した。また、採点傾向の違いを明らかにするため、 クラスターごとに、各アンケート協力者ごとに標準化した面白さの点数の平均とお題との文章類似度についてカーネル分位点回帰を推定し、両者の関係について考察を行った。

## 4.3 分析結果

各お題について先述したクラスター分析を行った。 4 つのお題を順に A,B,C,D と呼ぶことにし、それぞれのお題ごとに採点傾向を 5 つのクラスターに分類した。各クラスターに属するアンケート協力者について、大喜利経験があると回答した人の数、ないと回答した人の数の内訳が以下の表 1 である。お題ごとに有意水準を $5 \%$ としたカイ二乗検定及び残差分析を行い、有意に多かった値の右側には $\mathbf{\Delta}$ を、少なかった値の右側にはマを書いている。

このように、多くの組み合わせで大喜利経験の有無に有意差がみられ、採点傾向の違いの要因のひとつに経験の有無があることが分かった。

4 つのお題それぞれで、クラスターごとに、BERT で求めた文章類似度と面白さの評価について $5 \%$ 点、 50\%点、95\%点でカーネル分位点回帰曲線を推定し、順にプロットした（図 1-20）。回答の面白さの得点は、各アンケート協力者ごとに標準化した得点のクラスターごとの平均を用いている。なお、カーネル関数には anova 関数を使用した。お題ごとに各クラスターの特徴を述べる。

図 1 得点傾向 $(A 1)$

図 3 得点傾向 (A3)

図 5 得点傾向 (A5)

お題 A（夏祭りなのに全然盛り上がらなかった理由）での採点傾向のクラスタリングの結果について述べる。 $A 1$ では $95 \%$ 分位点回帰曲線にお題との文章類似度が 0.67 である「商品が後日届くタイプの屋台ばかりだ」という回答を頂点とする山形が特徴的な採点傾向がみられる。また、 $50 \%$ 分位点回帰曲線にも山形がみられ、お題と回答の距離が比較的評価に影響している様子が表れている。

大喜利経験者の多く属している A2 では 95\%分位点回帰曲線にお題との文章類似度が 0.70 である「デカい屋台が全てを売っている」を頂点とする大きな山形が特徴的な採点傾向が表れており、回答が非常に面白いものになる可能性のある距離が存在する様子が表れている。 $A 3$ でも同じ点を頂点とする山形がみられるが、その傾向は緩やかである。

$A 4$ では $95 \%$ 分位点回帰曲線にお題との文章類似度が 0.69 である「どの屋台でも「逃げろ」と書いた紙を渡される」を頂点とする緩やかな山形がみられるが、全体的には $50 \%$ 分位点回帰曲線において文章類似度が高くなるにつれて評価が下がっていく傾向が見られ、比較的お題から遠い回答を好む傾向のあるクラスターであるといえる。

$A 5$ は大喜利経験のない人が多く含まれるクラスターである。お題との文章類似度が 0.76 である「早朝にやることではない」が最も高い得点となっており、95\% 分位点回帰曲線にも盛り上がりがみられる。また、似た盛り上がりは $50 \%$ 分位点回帰曲線にも表れており、平均的に回答が面白くなりやすいお題からの距離が存在する様子がうかがえる。

図 7 得点傾向 $(B 2)$

図 8 得点傾向 (B3)

図 9 得点傾向 $(B 4)$

図 10 得点傾向 (B5)

お題 B（店主がバカなペットショップ）での採点傾向のクラスタリングの結果について述べる。 $B 1$ に属している 17 名のうち 15 名が大喜利経験がないと回答している。このクラスターでは回答が面白くなりやすい適切な距離が存在するというより、むしろ最も得点が低かった「犬をつい癖で蹴ってしまい、後悔している」の存在する文章類似度 0.71 の点あたりの面白くなりにくい避けるべき距離が存在す

も表れている。

$B 2$ は他のクラスターと比べてお題からの距離の採点への影響が小さい。このクラスターには大喜利経験者が多く属しており、これは大喜利経験者のほうがお題と回答の距離の面白さの評価への影響が小さい可能性を示唆している。

B3 では、お題との文章類似度が 0.71 である「隣の市にも看板を出している」付近を底とする形で評価が下がる谷型と、お題との文章類似度が 0.77 である「鳥のコーナーに chicken と書かれている」付近を頂点とするように評価が上がる山形を合わせたような形がいずれの点での分位点回帰曲線にも表れており、特に評価の高い回答や特に評価の低い回答のみならず全回答に当てはまる採点傾向が表れている。

$B 4$ でも $B 3$ と似た形状が表れているものの、B3 の時ほどはっきりとした表れ方ではなく、面白さの評価への距離の影響が小さいことが分かる。

$B 5$ は $B 2$ に似た得点傾向がみられるクラスターであるが、 $50 \%$ 分位点回帰曲線を見ると $B 2$ よりもお題から近い回答の評価が低くなっている。

図 11 得点傾向 $(C 1)$

図 12 得点傾向 $(C 2)$

図 13 得点傾向 $(C 3)$

図 14 得点傾向 $(C 4)$

図 15 得点傾向 $(C 5$ )

お題 C（かなり面倒くさい寿司屋）での採点傾向のクラスタリングの結果について述べる。 1 では、 $95 \%$ 分位点回帰曲線に、お題との文章類似度が 0.71 の「板前がお互いをオリンポス十二神から取った源氏名で呼びあっている」と、 0.77 の「店内でカッパ寿司のテーマの逆再生を延々と流している」を頂点とする 2 つの山が連なったような形状がみられる。

C2 には大喜利経験者が多く属している。95\%分位点回帰曲線に、お題との文章類似度が 0.66 である $「 30$ 種類のシャリから選ばされる」と、 0.78 である 「サバ程度でもいちいち解体ショーをやる」を頂点とする 2 つの山が連なったような形状がみられる。文章類似度が低くても評価されている回答もあるものの、 $50 \%$ 分位点回帰曲線に表れているように、お題との文章類似度が高い回答を比較的高く評価する傾向がある。

C4 は大喜利経験者が多く属している。また、 $5 \%$分位点回帰曲線が、お題との文章類似度が 0.78 である「客に仕入れを任せてくる」付近を底とする大きな谷になっており、回答が面白くないものになりやすい避けるべき距離の存在を示唆している。このお題では $C 2$ と $C 4$ に大喜利経験者が多いが、この二つのクラスターで採点傾向は大きく異なり、大喜利経験者であるからといって同じような特徴のある採点をするわけではないことが分かる。

$C 5$ は大喜利経験のない人が多いクラスターである。 $50 \%$ 分位点回帰曲線では 2 つの山形が連なったような形状が確認できるが、 $5 \%$ よび $95 \%$ 分位点回帰曲線にはそのような傾向は見られない。

図 16 得点傾向 $(D 1)$

図 17 得点傾向 (D2)

図 18 得点傾向 (D3)

図 19 得点傾向 (D4)

図 20 得点傾向 (D5)

お題 D（美術館に忍び込んだ泥棒が何も盗まずに帰った理由）の採点についてクラスタリングを行った。D1 には、大喜利経験者が多く属している。D3 と同様にお題との文章類似度が最も高い 0.79 であった「盗んじゃダメなやつしかなかった」が最高得点を獲得しているのが特徴的であるが、 $50 \%$ 分位点回帰曲線のとおり、全体的に文章類似度が高い回答に高得点をつける傾向があるわけではない。

$D 2$ も大喜利経験者が多く属しているクラスター であるが、 $D 1$ と似た特徴が表れることはなかった。 $50 \%$ 分位点回帰曲線にはこのクラスターで最高得点を獲得している「警備員の早歩きがもう「探す」方向性になってる」が存在する 0.76 付近を頂上とするふくらみが見られ、回答が面白くなりやすい距離であると推測される。

$D 4$ は 95\%分位点回帰曲線を見るとお題との文章類似度が 0.70 であった「めちゃくちゃバレていたのか、他の客に「手伝いましょうか？」と声をかけられた」付近を頂点とする山形が表れている。しかし、その付近は $50 \%$ 点および $5 \%$ 分位点回帰曲線では評価が下がっている距離であり、リスキーだがかなり面白い回答になる可能性はある距離である。

$D 5$ には、大喜利経験のない人が多く属している。 お題との文章類似度が 0.71 である「閉館後にも楽しめる作りになっていて普通に楽しめた」が高く評価されており、95\%分位点回帰曲線には多少の盛り上がりもみられるが、 $50 \%$ 分位点回帰曲線を見ると全体的な傾向とはいえないことが分かる。

4 つのお題それぞれについてクラスター分析を

行った結果、どのお題でも大喜利経験の有無の項目について有意差がみられるクラスターが存在した。 これは経験の有無が採点傾向の違いの要因となっているということであり、ユーモアに関する分析を行う際に採点者の属性を考慮する必要があることを示唆している。連続する 2 題の採点を行った協力者がそれぞれのお題でどのクラスターに属しているのかのクロス集計表を作成した（表 2-5）。フィッシャー 正確確率検定で多重比較を行い、p 值が $5 \%$ を下回った組み合わせとなった値の右側に、多い場合は $\boldsymbol{\Delta} 、$少ない場合はマを書いている。

表 2 お題 A とお題 B の

 & 520 & 15 & 13 \\

表 4 お題 C とお題 D の

表 3 お題 B とお題 C の

} \\

表 5 お題 D とお題 A の

} \\

お題間のクラスターの対応を見たところ、有意差のある組み合わせが多く確認できた。これは、単なるあるお題での採点傾向の近さであるクラスタリングの結果が、他のお題においても似たような結果になるということであり、人それぞれの採点傾向はお題をまたいでも存在することが分かった。しかしながら、あるお題で単純な山形の採点傾向がある人が別のお題でも同様の傾向があるかというと必ずしもそうではなく、お題からの距離と面白さの評価の関係にはお題ごとに違いがあった。

## 5 おわりに

今回の研究では、多くのクラスターにおいて面白さの評価とお題からの距離に関係が確認され、面白さについて研究する際の文章類似度の有効性が明らかにできた。今後は漫才におけるフリからのボケの飛躍度といったことへの応用可能性も感じられ、今後の自然言語処理を応用したユーモアサイエンスの研究の発展に期待したい。

## 参考文献

[1]Devlin, J., CHang, M.W., Lee, K and Toutanova K. (2019). Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL-HLT 2019, 4171-4186.

[2] 中川裕貴, 村脇有吾, 河原大輔, 黒橋禎夫.(2019). クラウドソーシングによる大喜利の面白さの構成要素の分析, 言語処理学会第 25 回年次大会発表論文集,pp.233-236

## A 付録

各回答のお題との文章類似度と、アンケート調査によって得られた面白さの評価の詳細についてまとめたのが、以下の表 6 から 9 である。

表 8 お題 C「かなり面倒くさい寿司屋」

表 9 お題 D「美術館に忍び込んだ泥棒が何も盗まずに帰った理由」


# 議事録の質疑応答の対応関係に基づくクラスタリングによる 議題の抽出

大杉了斗
豊橋技術科学大学
ohsugi.ryoto.dv@tut.jp
}

秋葉友良
豊橋技術科学大学
akiba@cs.tut.jp
}

増山繁
東京理科大学
masuyama@rs.tus.ac.jp

## 1 はじめに

新型コロナウイルス感染症の流行に伴い, 政府や地方議会の対策をすばやく市民に伝える重要性が高まっている.しかし, 会議内容を要約して市民に伝えるためには, 長い時間や手間を要する.この問題に対処するため, 2020 年開催のワークショップ NTCIR 15 における QA Lab-PoliInfo タスクのサブタスクとして, 新たに Topic Detection タスクが設立された.このタスクの目的は, 東京都議会の議事録から議題の一覧を提示することである. [1]

本稿では,このタスクに取り組んだ手法を提案する. 提案手法は会議の質疑応答の関係に着目し,この関係を利用しない手法に比べ性能が向上していることを示す.

## 2 タスク概要

Topic Detection タスクの目的は, 議事録 (2.1 節) から「議題（トピック）の一覧」を議員ごとに提示することである. どのような粒度のトピックを, どのように提示するかについてはタスクで定められておらず, 出力するトピックの定義は参加者によって異なる. そこで本研究では, 都議会だより (2.2 節) のサブトピックに着目した. 都議会だよりとは, 議会の活動を知らせる広報紙のことで, 新聞折り込みや都の施設, 公共機関空口で配布される. そのため, 都議会だよりのトピックの粒度や提示方法は, タスクの背景である市民に伝えるということに適していると考えられる.また, 都議会だよりは議会職員により人手で作成されているため, 信頼性も高い. よって本研究では, 都議会だよりのサブトピックにできるだけ類似するトピックのリストを出力するシステムの構築を目的とする。

コミュニケーションについてのご質問がございました。¥n 都民が誤った情報に惑わされることなく、感染症を正しく恐れ、予防に向けた適切な行動をとるためには、収集した情報に専門家の知見もいただきながら、わかりやすいメッセージを発信することが重要です。...

図 1 Topic Detection タスクにおける議事録の例

## 2.1 議事録

Topic Detection タスクにおける議事録1) の例を図 1 に示す. 議事録は会議の発言を書き起こしたもので,会議の日付や会議名に加え, 発話者名と発話内容のペアのリストが含まれる. 会議は質問者がまとめて質問をし, 知事や委員会長が各質問に回答するという一括質問一括答弁方式がとられている。

## 2.2 都議会だより

都議会だより2) の例を図 2 に示す. 都議会だよりは議事録を要約したもので, 内容はメイントピック,議員名, サブトピックと要約の一覧から構成される. サブトピックは図 2 の「新型コロナ対策」と「災害対策」であり,短いフレーズで表現される。

1) https://www.gikai.metro.tokyo.jp/record/proceedings/

2) https://www.gikai.metro.tokyo.jp/newsletter/

## 介護事業者のICT導入支援を 災害時の情報連絡体制の強化を

たきぐち学 (都ファースト)

〔1〕都独自で感染拡大のフェーズに応じた公表基準を定めるべき。〔2〕ウィズコロナの介護のあり方を見据えタブレット等介護事業者の ICT導入の更なる強化を。

福祉保健局長〔1〕第二波に備え都の公表基準を整理。〔2〕補助対象を全サービス種別に拡大し補助基準額引き上げ等ICT機器導入促進。

図 2 都議会だよりの例

## 3 提案手法

提案手法の処理の流れを図 3 に示す. まずは候補となるトピックを抽出する (3.1 節). この候補トピックは大量に抽出されるため, 似た意味を持つ候補卜ピックをまとめるためクラスタリングを行う $(3.2$節). クラスタリングは質問からの候補と回答からの候補を分けて 2 回行う. その後, 互いのクラスタを結合する (3.3 節). 最後に結合したクラスタから最終的に出力するトピックを選択する (3.4 節).

## 3.1 候補トピック抽出

議事録の質問と回答部分から,候補トピックを抽出する. 図 3 における Step 1 の処理である.トピックは「〜について」という語句の前方に存在する場合が多いため, 正規表現を使ってこの部分を抽出する。本研究では,以下の正規表現を使用した.

(名詞｜接続助詞以外の助詞 $\mid$ 接頭詞 $\mid$ 自立動詞）+について

正規表現の前半部分は, 品詞にマッチする. 品詞の特定には $\mathrm{MeCab}$ [2] を用いた. 品詞部分を抽出し, このフレーズを候補トピックと定義する. また, 候補を区別するため, 質問側から抽出された候補は質問候補, 回答側から抽出された候補は回答候補と定義する. さらに抽出精度を高めるため, 以下のような処理を行った。
- 抽出位置が文頭以外の場合は不適切なトピック

図 3 提案手法の概略

である可能性が高いため,この候補トピックは除外する。

・単語の区切りとして「,」が使われる場合があるため,「,」の前方の単語が名詞の場合は「,」 を「・」に変換して抽出する。

## 3.2 クラスタリング

候補トピックをクラスタリングする，図３における Step 2 の処理である. クラスタリングの際に候補トピック同士の比較を行う必要があるため, 前処理として候補トピックを事前訓練済み Sentence BERT(SBERT)[3] の埋め込みに変換する. SBERT は, Siamese Network を組み込んだ BERT モデルで, 意味的に近いデータは埋め込み空間での距離が近くなるように学習されている. そのため, 通常の BERT よりも高い精度で埋め込み間の距離を求めることができる. 本研究では, 事前訓練された日本語用の Sentence BERT モデル [4]を用いた. クラスタリングは質問候

図4 クラスタの結合例

補と回答候補を分けて行う. クラスタリングアルゴリズムには scikit-learn の階層型クラスタリング [5] を用いた. 結合方法はウォード法, メトリックにはコサイン距離を用いた. クラスタ数は距離のしきい值により決定される. 本研究では, 過去の都議会だよりのサブトピック数を参考にして, しきい值を 28.0 に決定した. クラスタ群を区別するため, 質問候補をクラスタリングしたものを質問クラスタ, 回答候補を回答クラスタと定義する.

## 3.3 クラスタ結合

質問クラスタと回答クラスタを結合する. 図 3 における Step 3 の処理である. 結合の例を図 4 に示す. まず,クラスタ数が少ない側（例では質問側）から，最も類似度が高い反対側のクラスタを参照する. 類似度はクラスタの重心のコサイン類似度を用いる。次に, クラスタ数が多い側（例では回答側）のクラスタと,参照されている反対側のクラスタを結合する. この結合したクラスタは, 結合クラスタと定義する.

## 3.4 候補トピック選択

それぞれの結合クラスタから, 出力トピックを 1 つ選ぶ. 図 3 における Step 4 の処理である. 候補卜ピックの埋め込みとクラスタの重心とのコサイン類似度を計算し, 類似度が最も高い候補トピックを選択する. 選択した候補トピックは最終的な出力となりここれを出力トピックと定義する。

## 4 実験方法

## 4.1 評価方法

Topic Detection タスクはオープンタスクであり, 評価は行われない. しかし, 入力データに使用した議事録の都議会だよりは既に発行されているため, 人手により評価を行った. 各出力トピックに対して, その

図 5 手法の比較

トピックが都議会だよりに含まれていれば正解, 含まれていなければ不正解を割り当てる. 正解数を力ウントし, Precision, Recall, F 値を計算する.ここで正解数をカウントする際, 同じ内容の出力トピックがあった場合（具体的には, 複数の出力トピックが同じ都議会だよりのサブトピックと関連している場合）は, 1 つとしてカウントする.これはクラスタリングの目的が重複を除去することであり, 重複を正解としてカウントすることは適切でないためである.

## 4.2 分割なしクラスタリング手法

評価結果の比較のため, 質問, 回答を区別せずにクラスタリングする手法も実装した. 提案手法との違いを図 5 に示す. 提案手法では, 候補トピックを質問候補と回答候補に分割して 2 回クラスタリングを実行する. 対してこの手法では, 質問候補と回答候補で分割せずまとめてからクラスタリングを実行する。

## 5 実験結果

出力例として出力トピックと,それに対応する都議会だよりのサブトピックを表 1 に示す. 出力トピックは都議会だよりとの比較のため, 並び替えている.

評価結果を表 2 に示す。「分割なし」は 4.2 節の手法で，「分割あり」は 3 節の提案手法を表している.質問と回答を分けてクラスタリングした提案手法では, 分けずにクラスタリングした手法と比べて $\mathrm{F}$ 值が 0.44 向上した.
表 1 出力結果の例

 & 大会経費の剩余金 \\

表 2 評価結果

## 6 考察

提案手法による性能向上の理由として考えられることは,クラスタの質が向上することが挙げられる. 分割なしクラスタリングでは, 一度に入力する候補数が増え, 関連性が低い候補トピックまで同一のクラスタに含まれてしまうことがある.このような候補トピックは重心の値をずらしてしまい, 出力トピックの選択に悪影響を与えてしまう. そこで分割してクラスタリングすることで,このような問題を避けられていると考えられる。

また, どちらの手法でも $\mathrm{F}$ 値が低くなってしまった. Recall に対して Precision が低い值であることから, Precision が F 値を低下させているとわかる. Precision 低下の原因として, 全てのトピックが都議会だよりに掲載されるわけではないということが挙げられる.これにより正解トピック数が減ることで,正解数も減り, Precision が下がってしまう（Recall は正解数を分母に持つため影響を受けない）. 都議会だよりのトピックに欠けがある点については， Ogawa ら [6] の論文でも言及されている. Precision の低下は本研究の問題設定によるものであり,これを解決するためにはネットリポート3)などの別の要約データを用いる事が必要である.

## 7 関連研究

トピックに関する研究は多く, 例えばトピックモデルが挙げられる.トピックモデルの実装として LDA[7] が広く使われている. LDA は文書中に存在する潜在的なトピックを, 単語の確率分布として表現するモデルである.このトピックの表現方法が本研究との大きな違いである. LDA におけるトピックは, 具体的なテキスト表現を持たない. 一方で本研究のトピックは, 文書中に出現する具体的なテキストを表現している.このテキストを抽出することが本研究の目的である.

次に, Topic Detection タスクにおける他参加者の研究を紹介する. Ogawa ら [6] は, 本研究と同様に, 都議会だよりのサブトピックのような短いフレーズを抽出している. 本研究との違いは問題設定で, 議論の対象となったトピックを全て抽出するという問題設定になっており, 自動的なクラスタリングは行っていない. Hirai ら [8] は, 単語の共起構造と LDAを用いた手法により，トピックの抽出を行っている。トピックの表現は, 本研究と同様に短いフレーズである.しかし, 都議会だよりのような具体的なターゲットは想定していない. Ibrkチームは, doc2vec による分散表現と k-means によるクラスタリングにより， トピックを抽出している. 本研究とは, 問題設定とトピックの定義が大きく異なる. 問題設定は, あらかじめキーワード（「新型コロナウイルス」など）を設定しておき, それに関する 20 つの単語集合を求めるというものである. また,トピックの表現はフレーズではなく単語集合である。

## 8 おわりに

本研究では, Topic Detection タスクに取り組んだ手法を提案した. 議事録の関係に着目した手法を提案し, この関係を利用しない手法に比べ性能が向上していることも確認した. 今後の課題は, さらに議事録の特徴に着目し, 議事録上での抽出位置を利用した手法等を検討したい.

## 謝辞

本研究は JSPS 科研費 $19 K 11980$ の助成を受けた.

## 参考文献

[1]Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, YuzuUchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mitamura, Masaharu Yoshioka, Tomoyoshi Akiba, YasuhiroOgawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, KenjiAraki, Satoshi Sekine, and Noriko Kando. Overview of thentcir-15 qa lab-poliinfo-2 task. In Proceedings of The 15th NTCIRConference, 122020.

[2]Taku Kudo, Nippon Telegraph, and Telephone. Mecab, 2001. https://taku910.github.io/mecab/.

[3]Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, 112019.

[4]Sentence embeddings with bert \& xlnet, 2019. https:// github.com/sonoisa/sentence-transformers.

[5]Clustering — scikit-learn, 2007. https://scikit-learn. org/stable/modules/clustering.html.

[6]Yasuhiro Ogawa, Yuta Ikari, Takahiro Komamizu, and Katsuhiko Toyama. Nukl at the ntcir-15 qa lab-poliinfo-2 task. In Proceedings of the 15th NTCIR Conference on Evaluation of Information Access Technologies, 2020.

[7]David M. Blei, Andrew Y. Ng, and Michael I. Jordan. Latent dirichlet allocation. In Journal of Machine Learning Research 3, 2003.

[8]Yuya HIRAI, Yo AMANO, and Kazuhiro TAKEUCHI. Ntcir15 qa lab-poliinfo2 dialog topic detection based on discussion structure graph. In Proceedings of the 15th NTCIR Conference on Evaluation of Information Access Technologies, 2020.