# ロジスティック回帰を用いた MC バトルにおける MC 推定

吉實隼稀 但馬康宏
岡山県立大学大学院 情報系工学研究科システム工学専攻
sk621062@cse.oka-pu.ac.jp

## 概要

本研究ではロジスティック回帰を用いて $\mathrm{MC}$ バト ルの歌詞を解析し， $\mathrm{MC}$ 推定，各 MC の個性を捉え ることを目的とした。異なるスタイルを持った 7 人 の $\mathrm{MC}$ を研究対象とし, 検証を行った. 地名を発し た数の対戦相手との差やアンサー単語の平均回数の 対戦相手との差が MC の個性を推し量るに有効な説明変数であることが示され，各 MC の回帰係数べク

られ， $\mathrm{MC}$ ごとの個性を捉えられた。

## 1 はじめに

$\mathrm{MC}$ バトルは元々ラッパーの生活の延長上に存在 していた．ラッパーの余興，テクニックを魅せる手段の一つであり, HIPHOP 文化に含まれる. HIPHOP は 1970 年代のアメリカで生まれた文化であり，ラ ップ, ブレイクダンス, グラフィティ, DJ プレイな どの要素が存在している.ラップは歌唱法の一つで あり,似た言葉や語尾が同じ言葉を繰り返す韻を踏 むのが特徵的で口語に近い抑揚をつけて発声する。 ラップの要素には「内容」,「フロウ(リズム, 韻)」,

「話し方」などが含まれる。ラップの手法にフリー スタイルラップというものがある. ラッパーが即興 で韻を踏みながらラップをする表現技法である。や がて， $\mathrm{MC}$ バトルの規模が大きくなり, バトルの舞台とヒップホップシーンが分離し始める。しかし,

トルの魅力は HIPHOP に馴染みがないと理解し難い 側面がある。そこで本研究では $\mathrm{MC}$ バトルの歌詞を 分析し, 各 MC の特徵を抽出することで初見の人で もどこに注目すればいいのか明確になると考えた。 そこで，本研究ではロジスティック回帰を用いて $\mathrm{MC}$ バトルの歌詞を解析し, $\mathrm{MC}$ 推定, 各 MC の個性を捉えることを目的とした。

## 2 関連研究

歌詞やテキストデータの分析，分類を行った研究
は多数存在している.

秋元ら[1]による研究では Word2Vec や fastText を 用いて特定作詞家による楽曲分類, TF-IDF を用いて 作詞家間の対比を行っている．各作詞家の語句選択 における特徴を掴む手がかりを得た。山下・萩野ら [2]による研究では品詞に着目し, ユーザの心理的状況に適する歌詞の選曲を支援する方法の一つとして，歌詞から特徴語と名付けた動詞と形容詞を抽出して いる. 抽出された語を代表語とし，その代表語とユ 一ザ気分の関係をモデル化する方法が提案されてい る. 篠井ら[3]による研究では Wikipedia 記事と Web の感想記事のデータを用いて，各アーティストの特徵量を算出, 可視化している. 得られた特徵量に対 しジャンル分類, 評価結果が示されている. 浅野,山下，松林ら[4]による研究ではロジスティック回帰 やランダムフォレストを用いて，Twitter のツイート 情報から高専生か否かの分類が行われた。 中村, 山口ら[5]による研究では SVM 及び DNN を用いて主観文書を学習及び分類して分類結果の有効性につい て考察されている。山田，櫨山[6]による研究ではア プリケーションレビューのデータセットを使用し，教師あり学習によるアプリケーションレビューの分類が行われた. 分類器の構築に用いる特徴量として Bag of Words, 感情分析の値が利用されていた. 坂井,谷岡, 松浦, 後藤, 和田ら[7]による研究ではロジス ティック回帰分析を用いて野球の打撃能力評価指標 の提案が行われている. グランド内の情報を説明変数，打撃結果を目的変数として回帰モデルが作成さ れた。

自然言語処理や機械学習を駆使して多岐に渡る分野の研究が行われてきた. 本研究でも上記の関連研究を参考に研究を行った。

## $3 \mathrm{MC$ バトルの詳細}

本研究の主題である $\mathrm{MC}$ バトルについて説明する． $\mathrm{MC}$ バトルに関わる人は主に, $\mathrm{MC}, \mathrm{DJ}$, 司会, 観客 である。司会はバトルの進行役であり観客の反応を 伺ってバトルの勝敗を決定する. DJ はバトル中に音源を流す役割を担っている。バトル前にじゃんけん で先攻，後攻を決める。バトルは後攻の方が有利で

あるため先攻はビートと小節の選択権がある。選択権を持つ MC はその場にいる複数人の DJ が用意し てきたビートを視聴し，ビートを選択する. 小節数 やターン数は大会によるが, 8 小節 2 ターン, 8 小節 3 ターン, 8 小節 4 ターン, 16 小節 2 ターンが主で ある. バトル中は決められた小節内でラップする.相手のターン中にラップをしてはならない。また,言葉だけで闘うため, 基本的に相手の体に触れては いけない. バトル終了後, 司会が観客に勝利したと 思う方に手と声を挙げるように促す. 拮抗した場合 は司会者の判断で先攻, 後攻入れ替わって再度バト ルを行う。

## 3.1 審査基準

バトルには明確な審査基準は存在していない。ど ちらが格好良いか，面白いか，ラップが上手いか，印象に残ったか，即興性が高いかなど，注目してい る点は人それぞれである。観客を盛り上げるために 主に以下の表現技法がある.

・アンサー ・パンチライン・ヴァイブス

・ライム・フロウ

これらの表現技法を本稿ではスキルと呼ぶことにす る. フロウは歌詞のみでは検出できないため, 研究対象外とした。

## 4 スキル

3.1 節の表現技法について説明する.

「アンサー」は相手のブレた論点にツッコミを入れ， ディスられた内容を否定して自分自身の考えを言う ことである．記憶に残るのが「パンチライン」であ り, 誰も使用したことがない独特なキーワードセン スが求められる. 「ヴァイブス」は観客を盛り上げ て観客を味方につける一つのスキルであり, 声のト ーンや言葉, 声の張り上げ等で観客に情熱や気合を 伝える. 語尾が名詞ではなくなる特徴がある.また，早口になって 1 小節あたりに含まれる言葉数が多く なる.「ライム」は単語の母音を重衩合わせたもの で韻を踏むとも言う。「フロウ」はビートに対する アプローチの種類, 歌いまわし, 抑揚の付け方, ラ ップの展開など，いろんな解釈がある。[8]

各 MC が特化しているスキルは三者三様であり，各 MCには個性（スタイル）を感じられる。

## 5 使用したデータ

本研究で用いたデータは[9][10][11][12]等が YouTube にアップロードしているバトル動画とした.基本的にバトルは $\mathrm{MC}$ 同士， $1 \mathrm{vs} 1$ だが， 3 vs 3 の団体戦も存在する. 本研究では団体戦は対象としてい ない. バトルの歌詞データは合計 300 個用意した.対象とした MC はDOTAMA」,「R 指定」,「NAIKA $\mathrm{MC}\rfloor, 「 ニ カ ゙ リ 」, 「 \mathrm{MU}-\mathrm{TON} 」$,「晋平太」,「呂布カルマ」の7 名. それぞれ違うスタイルを持ち合 わせた MC である. データの内訳を付録の表 1 に示 す. 歌詞情報は動画の字幕や[13][14]を参考に作成し た. 歌詞データの形式は付録の図 1 に示す.

## 6 分析方法

分析には python ライブラリである scikit-learn のロ ジスティック回帰分析を用いた。ロジスティック関数に含まれるzは総入力である.

$
\varphi(z)=\frac{1}{1-e^{-z}}
$

$z$ は回帰係数とサンプルの特徴量の線形結合であ り，以下のように計算ができる.

$
z=\boldsymbol{w}^{T} \boldsymbol{x}=w_{0}+w_{1} x_{1}+\cdots+w_{m} x_{m}
$

学習された回帰係数べクトル $\boldsymbol{w}$ と説明変数 $x_{i}$ の値 が与えられた時, 目的変数のクラス分類を行うこと が可能である. [15]本研究では目的変数を MCとし.

説明変数は 4 節のスキルと MC の個性を表すと考え られる要素に基づいて以下の 11 個とした.

・ライムスコア : $x_{1}$

・ライムスコアの対戦相手との差 : $x_{2}$

・アンサー単語の平均数の対戦相手との差 : $x_{3}$

・アンサーした回数の対戦相手との差 : $x_{4}$

・ パンチラインスコア : $x_{5}$

・ パンチラインスコアの対戦相手との差 : $x_{6}$

・ヴァイブス単語数の対戦相手との差 : $x_{7}$

・地名を発言した回数の対戦相手との差 : $x_{8}$
- 名詞の割合 : $x_{9}$
- 総単語数の対戦相手との差 : $x_{10}$
- 総発音数の対戦相手との差 : $x_{11}$

本研究では二値分類器を多クラス問題に拡張する ための手法である一対他（One-vs-Rest:OvR）[15]を 使って $\mathrm{MC}$ ごとに分類器の性能を検証した. また,性能の評価には $\mathrm{K}$ 分割交差検証法を使用した. 本研究では $\mathrm{K}=5$ とし, スコアの平均値を推定結果とした.

## 6.1 ライム: $x_{1, x_{2}$}

図 2はライムスコアの算出方法であり, 本研究で は脚韻のみを考慮した。

図 2 ライムスコアの算出例

## 6.2 アンサー : $x_{3, x_{4}$}

アンサー単語の平均数の対戦相手との差とアンサ 一した回数の対戦相手との差の算出方法を図 3 に示 す. 本研究では対戦相手が前のターンで使用した単語と同じ単語を使用することをアンサーとした. 対象の単語は名詞のみとした。

図 3 アンサー回数の差, 平均の算出例

## 6.3 パンチライン : $x_{5, x_{6}$}

パンチラインスコアは TF-IDF を用いて算出して いる. $\mathrm{TF}$ 值 $t f(t, d)$ は各バトル $d$ の各単語 $t$ として算出. $\operatorname{IDF}$ 值 $\operatorname{idf}(t)$ は全バトルの各単語 $t$ として算出. また, 単語 $t$ は名詞のみを対象としている。 バ トルにおける TF-IDF 值が上位 10 個の単語を合計 したものをパンチラインスコアとした.

## 6.4 ヴァイブス : $x_{7$}

本研究で対象としたヴァイブス単語を示す.「だ」「ぜ」「たい」「だぜ」「ねえ」「だろ」「だぞ」「だよ」「じゃねえか」「ねえよ」地名の抽出は形態素解析 janome を使用し, 「地域」 カテゴリーに該当した単語とした。

## 7 結果

本研究では全バトルデータ 300 個の内, 240 個を 学習データ, 60 個をテストデータとして検証を行っ た. また性能評価の指標は F1 值とした. F1 值を評価指標にした理由は，一体他手法において，One（該当 $\mathrm{MC}$ ）の割合に比べて Rest（該当 MC 以外)の割合 が非常に大きく, 全ての予測を Rest にすることで, スコアが高くなってしまう評価指標である Accuracy よりも良好なモデルを選択できると考えたからであ る. 7 人それぞれの $\mathrm{MC}$ の性能の結果を付録の表 2 に示す.

次に, F1 值が最大時の各 MC の回帰係数を降順に 並べたものを表 3 9 に示す. これは数值が高い係数 ほど目的変数を決定づける影響が大きいと解釈でき る. また, F1 值が最大時の各 MC の回帰係数ベクト ル $\boldsymbol{w}$ がなす角度を付録の表 10 に示す。

## 8 考察

表 2 より「DOTAMA」「R 指定」「ムートン」の $\mathrm{F} 1$ 值が 0.6 以上となり, 対象 MC の中で比較的良好 な結果を示した. 表 3 9 から各 MC の考察をする.「DOTAMA」はアンサー単語の平均回数の対戦相手 との差が最も高い値を示しており, 著者の印象通り であった.「R 指定」は多くのスキルを持ち合わせ ている MCであり，ヴァイブス，ライムに関する項目が上位であるため, F1 值が高くなったと考えられ る.また, 実際にバトルで地名を発することも多く, それが結果に現れていた。一方，パンチラインスコ アの值が最も低い結果となっており，実際のバトル での印象と異なるため, パンチラインスコアの算出方法を改善する必要がある.「ムートン」はフロウ とパンチラインを得意とする MCであり，地名を発 することも多く，結果にも現れていた.「ニガリ」
「晋平太」「呂布カルマ」は 1 値が 0.5 以下を示す 結果となった.「ニガリ」はフロウを得意とする夕 イプであり，フロウを表現する説明変数がなかった ため F1 値が低くなったと考えられる。「晋平太」は ライムを得意とする MCだが，ライムスコアとライ ムスコアの対戦相手との差の値が小さい結果を示し た.これは, 本研究では脚韻のみを対象としており,頭韻や文中の韻を考慮できていないからと考えられ る.「呂布カルマ」はパンチラインやアンサーを得意とする MC だが， パンチラインスコアの差が負の 値を示していることから F1 值が低い結果になった と思われる。また, 呂布カルマは強烈なディスリス ペクトを武器にしているため，ディスリスペクトを 表現する説明変数を加える検討が必要である.

表 10 より, 各 MC の重みベクトル $\boldsymbol{w}$ がなす角度が 最低值 $26.3^{\circ}$, 最高値 $61.1^{\circ}$ を示しており, 本研究 で対象とした MC 7 人それぞれ個性があることが示 された。

## 9 まとめ

本研究ではロジスティック回帰を用いて $\mathrm{MC}$ バト ルの歌詞から $\mathrm{MC}$ 推定, $\mathrm{MC}$ ごとの個性を捉えるこ とを行った. 地名を発した数の対戦相手との差やア ンサー単語の平均回数の対戦相手との差が MC の個性を推し量るに有効な説明変数であることが示され た. 今後は推定の精度が向上するよう, 各種スコア の算出方法の改善, ディスリスペクト等の有効な説明変数を新たに加えることやロジスティック回帰分析以外の分析方法による検証が必要である.

## 表 3 DOTAMA

表 4 NAIKA MC

表 7 ムートン

表 9 呂布カルマ

## 表 8 晋平太

$w_{3} \quad 0.378351$

$w_{5} \quad 0.274882$

$w_{8} \quad 0.082565$

$w_{4} \quad 0.033094$

$\begin{array}{ll}w_{10} & 0.024409\end{array}$

$w_{7} \quad 0.006827$

$w_{2} \quad 0.001677$

$w_{1} \quad 0.000894$

$w_{9} \quad-0.01216$

$w_{11} \quad-0.01412$

$w_{6} \quad-0.18754$

## 参考文献

1. 秋岡明香, 意味ベクトルを用いた J-POP 歌詞の 文体分析, 情報処理学会, 第 82 回全国大会講演論文集, 2020 巻 1 号, p313-314, 2020 年

2. 山下佑子 荻野晃大, 楽曲のサビを構成する動詞・形容詞の代表語への集約と気分語の関係の 分析-歌詞全体とサビ部分の比較を通して，情報処理学会, 研究報告音楽情報科学 (MUS), 2015MUS-107, 57 号, p1-6, 2015 年

3. 篠井暖, ArtistVector : Web 文書分散表現による アーティスト特徴量獲得, 情報処理学会, 研究報告自然言語処理（NL），2018-NL-236，3 号, p1-7, 2018 年

4. 浅妻佑弥 山下晃弘 松林勝志, SNS 上への発言 の特徴分析に基づくユーザの属性推定，情報処理学会, 第 80 回全国大会講演論文集, 2018 巻 1 号, p541-542, 2018 年

5. 中村鴻介 山口実靖, 機械学習による主観文書分類結果の解釈性の付与に関する-考察, Web とデ ータベースに関するフォーラム, 情報処理学会, WebDB Forum 2019 論文集, p17-20，2019 年

6. 山田侑樹 櫨山淳雄, fastText を用いたアプリケ ーションレビューの分類と局所的な説明の付与 による考察, 情報処理学会, ソフトウェアエン ジニアリングシンポジウム 2020, p219-225, 2020 年

7. 坂井衛 谷岡広樹 松浦健二 後藤田中 和田智仁, ロジスティック回帰分析を用いた打撃能力評価指標の提案, 情報処理学会, 研究報告数理モデ ル化と問題解決（MPS）, 2020-MPS-127，8 号, p1-6, 2020 年

8. 晋平太, フリースタイル・ラップの教科書 $\mathrm{MC}$ バトルははじめの一歩，イースト・プレス, 2016 年

9. 戦国 MC battle, https://youtube.com/senritumc

10. ikftv , https://www.youtube.com/ifktv

11. 凱旋 MCbattle, https://youtube.com/channel/UCe_EvY8GrvYgx8Pb wRBc75g

12. UMB, https://www.youtube.com/umbofficial
13. $\mathrm{MC}$ バトルリリック https://ameblo.jp/tempest156/

14. MC battle リリックまとめ, http://mc-battle.info/
15. Sebastian Raschka, Python 機械学習プログラミ ング 達人データサイエンティストによる理論 と実践，インプレス，2016 年

## A 付録

表 1 データの内訳

## [R指定]

ビートでは逃げない

2 しっかりと魂のぶつかり合いがしたい

3 なあ本戦で何度だって

4 戦うチャンスはあったのに今日が初めてだぜ

5 なあ輪入さんいろいろあって

6 戦えなかったか今日せっかくのチャンス

7 魄のぶつかり合いとやら

8 あんたの言葉の重外をぶつけてくれよ

[輪入道]

まずは絶対お前はネ夕仕迄んで

来ると思ってたけじ意外上意気込んでる

オッケーいいねそのバイブスのままやろうぜ

俺だってお前のことぶっ殺したかったぜ

yeah ライブやった後なのに

こい全然声枯れてれっ バイブス足らねっ

マイク掴んで何が言いて元

それをらゃんと最後に伝えるのはじっらか見極めてくれ

図 1 テキストデータの形式

表 $2 \mathrm{~K}$ 分割交差検証の結果

表 10 各 MC の回帰係数ベクトル $w$ がなす角度


# 製品特徵に基づく製品発表プレスリリースの関連特許自動判定

中山優輝 酒井浩之 永並健吾
成蹊大学 理工学部 情報科学科
us182093@cc. seikei.ac.jp \{h-sakai, kengo-enami\}@st. seikei. ac.jp

## 概要

本研究では，製品発表プレスリリースと関連のあ る特許を自動的に判定する手法を提案する．特許明細書から BERT[2]を用いて「発明を使用することに よりもたらされる効果が記述してある表現」(以下，重要文）を抽出し，その後，特定の文末表現を用い ることで重要文から「製品の特徴を示すキーワード」

（以下，重要語）を抽出する. これにより製品特徴 の表現とは無関係な文と語の除去を図り，プレスリ リースの製品と関連のある特許の検索精度向上を目指す.

## 1. はじめに

特許は企業の原動力となる新技術やビジネスの大事な指標の一つであり, 他社における先行特許を調查することは極めて重要である. またそのような調査では，単に開発製品と関連のある技術分野の特許 を調查対象とするだけでなく, 競合している他社の 特許と製品の双方に着目し, より細部での関連性を 対象として特許を特定することが必要とされてい

る. しかしながら, 文書から製品の機能に関する特徴的な技術を十全に把握し, かつ膨大にある特許明細書から当該製品と関係のある特許を見つけ出すこ とは容易ではない.

そこで本研究では，特許明細書と製品発表プレス リリースの双方から，重要文と重要語を抽出するこ とで，対象としたプレスリリース記事と関連のある 特許明細書を自動的に判定することを目的とする.例えば，「カメラ」の製品発表プレスリリースを入力とした場合，「レンズ」や「画像素子」に関する 特許が, 関連性があると自動的に判定され, 関連特許検索に応用可能な技術である。

本研究により，発表された製品に導入された技術 に関する特許を素早く検索することが可能となり，競合している他社製品の特許を簡単に把握すること ができるようになる.関連研究に，関連特許検索を二値分類問題として 扱った文献[1]があるが，こちらは BERT[2]が用い られているものの，対象にはノイズとなる語も含ま れており，正例負例が不均一となる特許検索を主と した言語モデルには適していない。また，特許文献 における発明の作用・効果を抽出する手法[3]があ り, こちらは対象とは無関係とされる文や句の除去 が人手で行われ，最終的に残った文章について SVM を使用することで重要文抽出を試みていた。同様に特許の機能表現に着目した類似特許検索法が 提案された文献[4]では，相互情報量を使用するこ とで文章を短文に分割し，語の従属関係に基づいた 類似度計算が行われている. 先の両文献については いずれも BERTを使用した重要文の自動抽出が試 みられていない点で本研究とは異なっている.

その他，関連研究として文献[5]があるが，当該文献では関連度計算に用いられる特許文の対象が人手 によって絞り込まれており，特許のもたらす効果と は無関係な記述が多く存在していた。また, 関連度計算においては文書の分散表現が用いられておら ず，語の意味関係が考慮できていない。それに対し て本研究では，特許明細書と製品発表プレスリリー スの双方から BERTを使用して重要文を抽出する ことでノイズとなる文章を除去し，Word2Vec を使用した文書の分散表現を用いることで語の意味関係 を考慮した関連特許検索手法を提案する。

## 2. 提案手法

本提案手法は以下の 3 つの Step で構成される.

Step1: BERT を用いて，特許明細書及びプレスリリ 一ス記事からそれぞれ重要文を抽出

Step2: Step1 で抽出された重要文から重要語をそれ ぞれ抽出

Step3: Step2 で抽出された重要語を用いて, プレス リリース記事の関連特許を検索
本研究では 2017 年度に受理された特許データ 446,644 件，及び日経プレスリリース記事の「情報・通信」と「素材・エネルギー」に関する 16,180 記事を使用する。

## 2.1. BERT を用いた重要文抽出

BERT を用いることで，例えば「本発明によれ ば、ステイプル処理やパンチ処理等の後処理を伴う 印刷において印刷において試し印刷をした場合にお ける記録紙の無駄を削減することができる」などの 文を抽出し，「無駅を削減する」といったような 『発明を使用することによりもたらされる効果』の 記述を重要文として抽出する。 また，重要文を抽出 することで製品特徴とは無関係なノイズとなる文の 除去が可能となる.

## 2.1.1. BERT の学習データ

BERT の学習データは全 8 種ある特許 IPC につい て 1 種 1,500 件として無作為に選んだ計 12,000 件の 特許データから, それぞれ正例・負例 10,000 文を 無作為に抽出し，計 20,000 文を使用する.

正例に関しては「発明を使用することによりもた らされる効果が記述してある表現」が特許における 「発明の効果」（advantageous effects）に記載され ている文と同義であるという仮定に基づき無作為に 抽出を行った。また，負例に関しては「重要文とは 無関係な文」が特許における「実施例」 (embodiments example) に記載されている文と同義であるという仮定に基づき無作為に抽出を行っ た.

## 2.1.2. BERT を用いた特許の重要文抽出

特許明細書の重要文抽出において使用する BERT モデルは 2.1.1.で作成したデータを学習データとし たモデルとし, テストデータを企業ごとの特許明細書とする. 表 1 にテストデータとして用意した企業 とその特許データ数の一部を示す。

表 1 各企業と特許データ数（テストデータ）

## 2.1.3. BERT を用いたプレスリリース記事 の重要文抽出

プレスリリース記事には「素材」や「厚み」とい った商品の仕様が箇条書きとなっている文章や, 製品とは無関係な「開発企業の説明」などのノイズと なる文章が含まれている。そのため, 特許と同様に BERT を用いることで重要文を抽出し，ノイズ文の 除去を行なう，プレスリリース記事の重要文抽出に おいて使用する BERT モデルは 2.1.2.で使用したモ デルと同一とし，テストデータを表 1 で示された企業に関するプレスリリース各 1 記事とする。

## 2.2. 文末表現に着目した重要語抽出

次に, BERTによって抽出された重要文から重要語を取得する. 例えば，「お客様の投資負担軽減及 び売電事業に貢献します。」という文から「貢献し ます。」という文末表現に係っている文節に含まれ る『売電事業』や『投資負担軽減』を取得すること で重要語を抽出し, さらに『お客様』といった製品 の特徴とは無関係な語の除去を行なう。こうして，重要文からさらに重要語を抽出することで精度の向上を図る。

文末表現の取得について, 特許明細書からは BERT の学習データである 12,000 件の「発明の効果」に関する文章 58,959 文を使用し，プレスリリ 一ス記事からは「情報・通信」と「素材・エネルギ 一」に関する 16,180 記事について BERT を用いて 抽出された 99,201 文を使用した。また，プレスリ リース記事の文抽出に用いた BERT モデルは 2.1.2. で使用したモデルと同一とした。重要語の取得は以下の 3 つの Step で構成される.

Step1: 人手で選定された文末表現から，文末表現 に係っている文節に含まれる語を抽出

Step2: Step1 で抽出された語が含まれる文節が係っ ている文末表現を再取得

Step3: Step2 で取得された文末表現を用いて，特許明細書, および，プレスリリース記事から重要語を抽出

以下, Step1 の具体例を図 1, Step2 の具体例を図 2 に示す. 図の赤字は重要語, 青字は文末表現をそれ ぞれ表す.

このような酸素拡散層は酸素コレクターに捕捉さ れた酸素を広い範囲に拡散し、タイヤ外部への酸素の排出を促進する。

※文末表現「促進する。」を選定した場合，

「酸素拡散層」「拡散」「排出」が抽出される.

図 1 選定した文末表現からの語の抽出例 (Step1)

酸素コレクターがカーカス層の巻き上げ部に対応 する部位に埋設される場合、酸素コレクターより もタイヤ外表面側で酸素輸送コードと近接する位置に織布又はメッシュを含む酸素拡散層を設ける ことが好ましい。

※Step1 で抽出された「酸素拡散層」から，新たに文末表現「好ましい。」を取得する。

図 2 Step1 で抽出された語から文末表現を再取得 (Step2)

## 2.3. プレスリリース記事の関連特許検索

2.2.で抽出された重要語に Word2Vec を使用する ことで各文書（特許明細書，および，プレスリリー ス記事）を固定長のベクトル（分散表現）として表現する。これにより文書間で同一名詞が出現してい ない場合でも類似度計算を行い，関連文書を検索す ることができる. 文書の分散表現は, 各重要語の分散表現を用いて式(1)で求める。

$
\text { DocVec }=\frac{1}{n} \sum_{i=1}^{n} \text { WordVec }_{i}
$

WordVec ：文書に含まれる重要語 $\mathbf{i}$ の分散表現

$n$ : 文書内に含まれる重要語の数

プレスリリース記事 $\mathrm{D}$ と特許明細書 $\mathrm{T}$ 間の類似度計算にはベクトル空間モデルに基づいて, コサイン 類似度を使用する。

## 3. 評価

重要文抽出に使用する BERT については，バッ チサイズを 128 , エポック数を 5 として実験を行な った. また, 文末表現・重要語抽出において形態素解析器は MeCab を使用した。ここで文末表現につ いては閾値を DF 值 5 以上，IDF 值 2 以上のものを 抽出し, 重要語についての DF 值, IDF 值の閾値は 文末表現同様，かつ「英数字」「記号」が含まれて いる語を除いた 2 文字以上の複合名詞として抽出を行なった。また，文書の分散表現を求めるうえで使用する Word2Vec は約 2GB の Wikipedia データを用 いて作成されたモデルとした. なお, 作成した Word2Vec のモデルは, 複合名詞を 1 つの語として 扱ったモデルであり, 複合語の分散表現を得ること ができるものである.

上記によって, 文末表現については最終的に特許 から計 4,182 個，プレスリリース記事から計 1,816 個が取得された。

評価における比較手法として, 特許明細書・プレ スリリース記事 8 記事（P1〜P8）に対して重要文抽出を行わずに類似特許を求めた場合と，重要文抽出を行った場合，提案手法である重要文抽出と文末表現を使用した検索結果それぞれ上位 10 件及び上位 20 件における精度を表 2 に示す。

表 2 各プレスリリース記事の類似特許検索精度

 &  &  &  \\

（上位 10 件の精度 / 上位 20 件の精度）

P1: 富士ゼロックス、欧州医療機器規則に対応する 取扱説明書の多言語翻訳サービスを提供開始

P2: 富士ゼロックス、複合機アプリケーション「ク ラウド連携アプリケーション for DX Suite」を 提供開始

P3: 富士電機、太陽光発電設備のコスト削減を実現 する蓄電池併設型マルチ PCS を発売

P4: 富士電機、第 7 世代「X シリーズ」IGBT モジ ユールの系列を拡大 $-1,700 \mathrm{~V}$ 耐圧製品のサンプ ル出荷を開始

P5: NTT、秘密計算システム「算師」の試用提供を 開始一大切なデータを安心・安全に利活用

P6: ソニー、大口径超広角ズームレンズ Gマスタ

一「FE12-24mmF2.8GM」を発売

P7: 村田製作所、サイバートラスト社のセキュア IoT プラットフォーム対応の MCU 内蔵 Wi-Fi モ ジュールを商品化

P8: 大日本印刷、評価分析機能付きデジタルテスト システムを開発

また, 例として，P6 における類似特許の検索結果上位 20 件を図 3 に示す. ここで, 図の赤字は,評価の結果, プレスリリース P6 の関連特許として 適していると判定したものである.

図 3 P6 における類似特許の検索結果

## 4. 考察

全体のプレスリリース記事に関して，提案手法で ある「BERT における重要文抽出」と「文末表現を 用いた重要語抽出」を行なうことで精度は最大 $90 \%$, 精度向上率については重要文抽出を行なって いないものと比較して最大 $80 \%$ の向上を示した.

また，プレスリリース記事 P2・P7 については，上位 20 件の精度が上位 10 件の精度の半分となって いるが，これは類似特許が上位 10 件のうちに偏っ ているためである．前提として，本研究では 2017 年度に受理された特許を企業ごとに対象としている ため，1つのプレスリリース記事に類似する特許が 一定数以上あるとは限らない。 そのため, 精度は低 くとも類似特許検索としては十分な性能であると考 えられる。

また，P5 については他の記事と比較して提案手法における精度の向上があまり測れていない.ここ で, 図 4 にてP5, 図 5 にて P6 で抽出された重要語 を記す。利活用,日本電信電話, 日本電信電話株式会社,昨今, イノベーション,変化,トランスフォーメーション,デ ジタル,要因,解消,運用,利点,開示,データ運用,改良

図 4 P5 で抽出された重要語

軽量,小型軽量,マスター,小型,ならでは,描写,撮影,堅牢性,堅牢,迫力,画角,被写体,最先端技術,光学,最先端,設計,光学設計,調整,像面,レンズ,徹底的,湾曲,コ ーティング,フレア,ナノ,大幅,ズーム,距離,ズーム全域,近接,搭載,能力,全域, リニア,モーター,リニアモー ター,性能,インナーフォーカス,インナー,フォーカ ス,変動,好み,合わせ,マニュアル,リング,フォーカス リング,ピント,配慮

## 図 5 P6 で抽出された重要語

プレスリリース記事 2 記事で抽出されたそれぞれ の重要語を比較すると, 抽出された重要語の多い P6 のほうが，重要語があまり抽出されていない P5 よりも表 2 において精度が劣っていることが分か る. P5 で抽出された重要語が少ない原因として, 2.2.にて獲得された文末表現が P5 の記事文中に十分に含まれていないことが挙げられる. そのため，重要語を抽出できる文末表現の取得数を増やす手法 が必要であると考える.

## 5. むすび

本研究では，製品発表プレスリリースと関連のあ る特許を自動的に判定する手法を提案した. 評価の 結果, 特許明細書・プレスリリース記事の双方につ いて「BERTを用いた重要文抽出」並びに「文末表現を用いた重要語抽出」を行なうことで，類似特許検索の精度向上が見込めることを示した.

しかしながら，一部のプレスリリース記事におい て重要語の抽出が十分でなかったことから, 満足さ れる精度を示さない記事も見受けられることが分か った. 今後は適切な文末表現の取得数を増やすこと で，類似特許検索において有用に活用できるような 手法を検討していくことが求められる.

## 参考文献

[1] Dylan Myungchul Kang, Charles Cheolgi Lee, Suan Lee, Wookey Lee, "Patent Prior Art Search using Deep Learning Language Model”, IDEAS '20: Proceedings of the 24th Symposium on International Database Engineering \& Applications (2020)

[2] Devlin, Jacob, et al, "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." , arXiv preprint arXiv:1810.04805 (2018).

[3] 原田綾花，太田貴久，小林暁雄，増山繁，野中尋史，酒井浩之，“特許文書からの発明に関す る特徴的技術とその効果の抽出”，言語処理学会第 19 回年次大会発表論文集，pp512-515, 2013.

[4] Jian-Hong Ma, Ning-Ning Wang, Shuang Yao, ZiMo Wei, Shuai Jin, "Similar Patent Search Method Based on a Functional Information Fusion”, IDEAS '20: Proceedings of the 24th Symposium on International Database Engineering \& Applications (2018)

[5] 酒井浩之，増山繁，“製品特徴に基づく製品発表プレスリリースと特許との関連性の判定”,言語処理学会第 19 回年次大会発表論文集, pp725-728, 2013.


# 業績要因・結果を用いた特許の価値判定のための関連性推定

三田英理 酒井浩之 永並健吾
成蹊大学 理工学部 情報科学科
us182054@cc.seikei.ac.jp \{h-sakai, kengo-enami\}@st.seikei.ac.jp

## 概要

決算短信の業績要因と特許を関連付け, 業績要因 のセグメントの業績結果から特許の価値判定の為の 関連性推定を行う。具体的には，特許と業績要因を 類似度推定により関連付けを行う。そこで取得した 業績要因を基に, 対応する業績結果を取得し, 最終的に特許・業績要因・業績結果の3つを関連付ける。 3 つを関連付けることにより, 特許が属するセグメ ントの業績結果から, 出願企業における特許の価値 を判定することが可能となる．評価実験では，無作為に選んだ 100 件の特許に判定を行い, 76 件が関連付けに成功した。

## 1. はじめに

企業にとって, 競合他社の特許を検索し, 先行技術がないか，自社の製品が他社の特許を侵害してい ないかを調べることは重要である。そのため, 知財戦略や研究開発戦略の立案の際, 特許文書を対象と した技術調査を行う必要がある。しかし, 年間に出願される特許の数は膨大であり，1つの企業が出願 する特許数も多い. そのため, たとえ業種を絞った としても，全ての特許を対象として調査することは 多大なコストがかかり，できるだけその企業にとつ て価値のある重要な特許のみを調査対象としたい。 ここで, 企業にとって重要な特許とは, その企業が 展開している事業（セグメント）の中でも主力とな る事業に関連している特許である。しかし, 手作業 で競合他社の特許の価値を判定するには，まず，多 くの文章量である特許文書からその特許に対応する 事業を探し出さなければならない。そして, その事業が企業にどの程度影響を与える可能性があるかを 計算する. これは非常に手間のかかる作業であるた め，効率的な支援技術が必要である。

そこで本研究では, 特許と出願企業の決算短信に おける業績要因 [1] とを関連付け, 業績要因が属する事業セグメントの業績結果から，その特許の関連性推定を行う手法を提案する．そして，特許を出願し た企業においてどれくらいの価値のあるものである かを推定する。 すなわち, 特許の対応する事業セグ メントの売り上げがその企業全体の売り上げの割合 を占めるかで，その特許の価値を判定する。

特許分析に関する関連研究として, 佐々木らは,特許文献中の重要語を用いた $\mathrm{F}$ タームの自動付与を 行っている [2]. 酒井らは, 技術調査に必要な情報を 「ができる。」と「が可能である。」といった表現 を，手がかり表現の種として与えることで，特許か ら自動的に抽出する手法を提案している [3].これら の研究に対して本研究では, 特許の出願企業におけ る価値を判定するための情報を，その企業の決算短信の情報を用いて推定するためのものであり, 特許 の価値判定のための情報抽出，および関連性推定を 行う点が異なる.

## 2. 提案手法

本手法の概要を以下に示す.

Step1：特許文書に付与されているIPC タグを用い，出願企業が発行している決算短信における, その 特許に最も関連する業績要因文を推定する。

Step2: Step 1で特許と関連があると推定された業績要因文に対応する業績結果文を推定する.

Step3：推定された業績結果文から，その業績結果 の対象としている事業セグメントにおける売上高や営業利益を抽出する。

Step4: その企業全体の売上高や営業利益と, Step 3 で抽出された, 特許に関連している事業セグメ ントの売上高や営業利益を比べ, 全体における割合からその企業における特許の価値を判定する。

本研究にて使用する特許文書は 2017 年に出願さ れた特許のうち，上場企業のものを使用する。決算短信は 2015 年から 2020 年のデータを使用する.

## 2. 1 特許文書と業績要因文との関連付け

## 2. 1. 1 特許文書の分散表現

特許文書と決算短信の業績要因文との関連付けの ための類似度計算の準備として， word2vec[4]によ る特許文書の分散表現を作成する. 本研究では，特許文書に付与されている国際特許分類(IPC) ${ }^{i}$ から名詞を取得し, 分散表現を作成する. なお, word2vec の分散表現モデルは上場企業の有価証券報告書

（30587 個）から作成したものを使用し，次元数は 300 とした. 分散表現モデルの作成に有価証券報告書を用いた理由は，大量の文書が容易に入手できる ことと, 特許と決算短信で同じ分散表現モデルを使用する必要があるため, 特許よりも決算短信に近い 文体である有価証券報告書を用いた.

IPC は，特許の分野に適当であると認められる全知識体系を，セクションからサブグループまでの階層構造で表現している。したがって，特許文書中の IPC から上の階層のもので構成される名詞から, 特許の分散表現を作成する。この名詞の分散表現ベク トルの平均を求めることで，特許の分散表現を得 た. 名詞の抽出には, 形態素解析器 MeCabを使用 した.

## 2. 1.2 業績要因文の分散表現

企業ごとの業績要因文の分散表現を作成する。こ こで, 決算短信からの業績要因文は, 酒井らの手法 [1]を使用して抽出した．業績要因文ごとに複合名詞を取得し，2.1.1.節と同様に word2vec を用いて分散表現を得る，word2vec のモデルは，2.1.1節と同 じ，有価証券報告書から作成したものである，業績要因文の分散表現も, その文に含まれる名詞の分散表現ベクトルの平均を求めることで得た.

## 2.1. 3 特許と業績要因文との関連性推定

特許文書から作成した分散表現 A と業績要因文か ら作成した分散表現 Bを比較して, 特許と業績要因文との類似度を計算する。

類似度としてコサイン類似度を求めることで，特許文書に対して関連性の高い業績要因文を得ること ができる。ここで，求めた類似度のうち値が大きか った上位 5 文の業績要因文を特許文書との関連性の高い業績要因文とした.

## 2.2 業績要因文に対応する業績結果の抽出

2.1 節で特許文書と関連付けを行った業績要因文 に対して, 対応する業績結果の取得を行う.ここで，業績結果として，以下の 2 以の条件をともに満たす 文を抽出する。
- “売上高”“営業利益”“純利益”のいずれ かを含む

・“万円”“億円”のいずれかを含む

業績結果は業績要因文と同じ文，もしくは直後の 文に含まれているという特徴を利用した.例として，「島津製作所」の「医用機器事業国内市場」に関す る業績要因文と,その後ろ 4 文を以下に示す.なお,

1 文目が業績要因文である.

- I I . 医用機器事業国内市場は、内外メーカの競合激化による 価格低下が進むなか、早期ガン検診に適した P E T (陽電子放射断層撮影装置）、FPD（フラット パネル ディテクタ）搭載の循環器 $\mathrm{X}$ 線検査システムなどの新製品を中心に好調に 推移しました

・海外市場につきましては、低調でありました

-この結果、当事業の売上高は 442 億 9 千万円（前期比 6. $8 \%$ 増) 、営業利益は 22 億 9 千 9 百万円 (同 71 . $7 \%$ 増）となりました

- I I I . 航空 - 産業機器事業航空機器は、防衛予算の抑制や民間航空機需要の低迷など厳しい事業環境が続くなか、国内市場、海外市場ともに低調に推移しました

- 産業機器は、半導体・I T 関連設備投資の増加に伴い、半導体製造装置向けターボ分子ポンプ、太陽電池用成膜装置、ガラス ワインダーなどの需要が拡大し、また、産業車両や建設機械向 け小型ギアポンプなど油圧機器も好調に推移しました

例において，業績要因文から 2 文目（先頭からは 3 文目)に業績要因文に対応する業績結果文がある. このように，決算短信では業績結果を含む文は業績要因文の周辺に記載されている. ほとんどの業績要因・業績結果はこの規則に沿って記載されているた め、これを利用した抽出を行う．具体的な抽出手順 は以下の通りである.

Step1：類似度が最も高かった業績要因文を含む 後ろ 5 文を抽出して上記のキーワード検索を行 う.

Step2: キーワードに一致する語があった場合は， その文章を業績結果として抽出する.

Step3: キーワードに一致する語がなかった場合 は，2 番目に類似度が高かった業績要因文に対し てキーワード検索を行う。

以上の手順を 5 番目に類似度が高かった業績要因文まで繰り返し行うことで, 業績要因文に対応する 業績結果文の抽出を行った.

## 3. 評価

まず，分散表現を用いた類似度計算により取得し た業績要因文と特許に対して, 正しく関連付けが行 われているかどうかの評価を行う. 特許に対する最 も高い類似度の業績要因文を記載した例を以下に示 す.

■企業名： 積水化成品工業株式会社

- 特許：容器

- 類似度 : 0.80565

・業績要因文 : 自動車部材・産業包装材関連では、「ピオセラ

ン」（ポリスチレン・ポリオレフィン複合樹脂発泡体）は、世界同時不況後の販売回復に加え、中国での需要拡大などにより 前期から売上が増加しました

表 1 に最も高い値の類似度の分布を示す. 特許文書に対して最も高い值となる業績要因文の類似度は 0.7 から 0.8 を中心に見られ, $97.9 \%$ が 0.6 以上とな った.

表 1 特許に対する類似度の分布

 & $\sim 0.5$ & $0.5 \sim 0.6$ & $0.6 \sim 0.7$ & $0.7 \sim 0.8$ & $0.8 \sim$ \\

続いて, 取得した業績結果に対する評価を行う. 2.1 節で抽出した業績要因文に対してどの程度の割合で業績結果が取得できているかに着目する. 業績要因文 65,443 件に対して本手法を実行した結果,取得した業績結果は 55,290 件であり，84.5\%となっ た.

最後に, 特許文書と業績要因, 業績結果の3つが 正しく関連付けできているかについて評価を行う。 この評価は取得した特許, 業績要因, 業績結果の対応から 100 件を無作為に選び, 手作業で評価を行っ た. 100 件のらち, 特許と業績結果の関連付けがで きたものが 76 件となった. 例として本手法にて関連性ありと推定した 2 件の特許, 業績要因, 業績結果の対応を以下に示す.

■企業名： アサヒグループホールディングス

・特許タイトル：血中アセトアルデヒド低減剤

・業績要因文 : 国内食品事業「アサヒフードアンドヘルスケア 株式会社」については、指定医薬部外品『エビオス錠』やサプ リメント『ディアナチュラ』などの主要商品に加え、ダイエッ トサポート食品『スリムアップスリム』や栄養調整食品『1本満足バー』なども好調に推移したことなどにより、売上高が前年同期より伸長しました

- 業績結果文 : 以上の結果、食品事業の売上高は、東日本大震災の影響を受けたものの、グループ各社が主力商品のブランド 強化に取り組んだことにより、前年同期比 4５５％増の 4 76 億 3 千 3 百万円となりました

■企業名：出光興産

・特許タイトル： グリース組成物

- 業績要因文 : また、従来の結晶性ポリプロピレン樹脂と比べ

て大幅に融点が低く軟質特性を有する機能性軟質ポリプロピレ

ン(商品名 : エルモーデュ®) については、従来からの衛生材向け接着基剤、不織布の改質材などに加え新たな用途開拓に国内外で取り組みました

- 業績結果文 : 以上の結果、石油化学製品セグメントの売上高 は、ナフサ価格が上昇したことなどにより $5 ， 007$ 億円（前期比 $+8.6 \% ）$ となりました

## 4. 考察

まず，特許文書と業績要因の関連付けに関する考察をする。特許文書 65,443 件のうち， $84 \%$ が 0.7 以上の類似度となった. 特許文書の IPC 分類の名詞 における分散表現の平均と, 業績要因文の複合名詞 における分散表現の平均で類似度を計算したことを 踏まえると, 高い值となった. 他にも特許文書の請求項に含まれる全ての名詞による分散表現を用いた 手法などが考えられたが，その場合，より専門的な 単語が多く含まれる一方で, ノイズとなる単語もま た多く含まれてしまうため，精度が落ちると考え る.

続いて, 業績要因文に対応する業績結果の取得率 に関して，業績要因文を含む後ろ 5 文においてキー ワード検索にて関連付けを行った. その結果, 取得率は $84.5 \%$ となり良好な値となった. 正しく業績結果が抽出できなかった場合の傾向として, 業績要因文は正しく抽出できているが，5 行以内に業績結果 が記載されている文が存在しない場合が多くみられ た.しかし, このような状況に対応するため, 抽出対象の文数を増やしてしまうと, 異なる事業セグメ ントの業績結果を抽出する可能性が高くなる. そこ

で，「売上高」等のキーワード検索だけでなく, 業績要因のセグメントと異なるセグメントになり得る 語が見つかった場合に，抽出することがないような 処理を追加することで改善できると考える.

最後に, 特許文書・業績要因・業績結果の 3 つの 関連付けに対して考察を行う. 人手で評価を行った 結果, 100 件のうち 76 件が成功していた. つま り，業績結果が取得できたものに関しては比較的高 い精度で関連付けができていると考える。

## 5. 特許の価値判定の試み

特許, 業績要因, 業績結果の 3 つの情報が関連付 けできたことにより, その特許文書の出願企業にお ける重要性を判断することが可能となる。例とし て, 実際に取得した業績結果と出願企業の当期間の 全体売上高の比較を行うことで，特許の価値判定を 試みる。

日立製作所：

・特許タイトル 半導体検查装置、及び荷電粒子線を用いた検查方法

・当期間における全体売上高

90,410 億円

・業績結果における売上高

10,143 億円 $(11.2 \%)$

ロリョービ：

・特許タイトル 真空ダイカスト装置および真空ダイカスト法

・当期間における全体の売上高 170,973 百万円

・業績結果における売上高104,094 百万円 (60.8\%)

このことから，リョービの「真空ダイカスト装置 および真空ダイカスト法」の特許に関する事業の売

な影響を与える可能性を持つ特許であると推定でき る。実際に，リョービは独立系ダイカスト専業首位 の企業であり，そのような企業にとって「真空ダイ カスト装置および真空ダイカスト法」に関する特許 は大きな価値があると考える。

対して, 日立製作所の「半導体検査装置、及び荷電粒子線を用いた検査方法」の特許に関する事業の

り大きな影響はない。日立製作所は様々な事業を行 っており，その中で「半導体検査装置」が占める割合は大きくなく，従って，当該特許は日立製作所に とって影響は少ない。

以上のように，業績要因・業績結果を用いて特許 に関連する事業を推定することで，その特許が企業 に与える影響力を推測することが可能となる.

## 6. むすび

本研究では，特許の出願企業における決算短信の 業績要因・業績結果を用いて，特許がその企業にと ってどの程度重要であるか推定するための情報を抽出する手法を提案した．特許文書の分散表現と業績要因文の分散表現により類似度計算を行うことで関連性を推定し，さらに，業績要因文に対応する業績結果文を取得することで，特許の価値を判定するた めの情報を得ることができた。

評価の結果, 業績要因に対して取得できた業績結果は $84.5 \%, 100$ 件の特許に対して，業績要因，業績結果の関連付けができたものが 76 件となり, 比較的良好な結果を得ることができた。

今後の課題として，今回の手法では，1つの特許 が複数事業に影響を与える可能性に関してのアプロ 一チができていないため, 複数事業への対応が必要 であると考える

## 参考文献

[1] 酒井 浩之, 松下 和暉, 北島 良三:“学習データの自動生成に よる決算短信からの業績要因文の抽出”, 日本知能情報ファ ジィ学会誌, vol. 31, no. 2, pp. 653-661, 2019

[2] 佐々木 深, 綱川隆司, 西田 昌史, 西村 雅史： “特許文献中の重要語を用いた F ターム自動付与”，言語処理学会 第 23 回年次大会発表論文集, pp.450-453, 2017

[3] 酒井 浩之，野中 尋史，増山繁：“特許明細書からの技術課題情報の抽出”, 人工知能学会論文誌, vol.24, no.6,pp.531-540, 2009.

[4] Yoav Goldberg, Omer Levy: "word2vec Explained: deriving Mikolov et al.'s negative-sampling word-embedding method", arxiv 1402.3722, 2014.


# 共有タスクへの結果提出を通した生徒モデルの共同教育手法

中山功太 ${ }^{1,2}$ 栗田修平 1 小林暁雄 ${ }^{3}$
馬場雪乃 $1,4 \quad$ 関根聡 ${ }^{1}$
1 理化学研究所 AIP 2 筑波大学大学院理工情報生命学術院
3 農業・食品産業技術総合研究機構 4 筑波大学システム情報系
\{kouta.nakayama, shuhei.kurita, satoshi.sekine\}@riken.jp
akio.kobayashi@naro.go.jp baba@cs.tsukuba.ac.jp

## 概要

本論文では、共有タスクに提出されたシステム結果を用いて新規システムを構築する手法を提案す る。本手法により、共有タスクはシステム開発にお ける技術革新のみでなく、実際に自然言語処理アプ リケーションに汎用可能なシステムの公開が可能と なる。提案手法は知識蒸溜から着想を得ており、共有タスクの参加システムを教師として扱い、新規深層学習モデルを生徒として学習することで、参加シ ステムの長所を生かしたシステムを構築する。本手法を日本語 Wikipedia からの属性抽出タスクである 森羅 2019 へ提出されたシステム結果に対し適用し たところ、最良のシステムよりも高性能であり、最良のシステム群と同等性能のシステムを獲得でき た。本実験で用いたコードは公開してあり、更なる 研究へ適用可能である。1)

## 1 はじめに

多くの参加者が共通のタスクに取り組むといった 共有タスクは、自然言語処理技術の発展に大きく貢献している。だが、多くのタスクが参加者にシステ 厶出力や手法説明のみの提出を要求しており、シス テム自体の提出が要求されることは稀である。その ため、多くのシステムが実際の自然言語処理アプリ ケーションで使用されることなく放棄されている。我々は共有タスクに提出されたシステムの多くは、 たとえ最良の結果を取得しておらずとも分野全体の 革新のため有用なリソースであると考えている。だ が、システム自体の提出は、ライセンスや実行環境 の整備といった点で非常に困難である。そのため本論文では、複数の参加者が提出したシステム結果を 用いて参加システムの強みを活かした新規システム

1) https://github.com/k141303/co_teaching_scheme
を構築する手法の提案を行う。提案手法は知識蒸溜 $[1,2]$ から着想を得ており、 タスク参加システムを教師として扱い、提出結果を 通して生徒である新規深層学習モデルを学習するこ とで、新規システム構築を行う。共有タスクの参加者が共同で単一の生徒を教えるといった形式をとる 都合上、我々は本手法を「共同教育」と呼ぶ。共同教育は、共有タスクにおいて他の自然言語処理アプ リケーションに汎用可能なシステムを公開でき、タ スクにおいて最良結果を残せなかったチームを含め 多くの努力を活用できるといった利点がある。

我々は共同教育を、日本語 Wikipedia からの属性值抽出タスクである森羅 2019 に適用する。本タス クは全ての Wikipedia ページの構造化を目指してお り、参加者は評価データ以外の範囲のラベルなし データに対する予測結果の提出も求められる。実験 の結果、提案手法は共有タスクに提出された最良の システムよりも高性能であり、最良のシステム群と 同等性能のシステムを獲得できた。

## 2 関連研究

## 2.1 知識蒸溜

知識蒸溜 (Knowledge Distillation)[1,2] は主に深層学習モデルの圧縮に用いられる手法であり、モデル 性能を低下させず総パラメーター数を減らすことを 目的としている。具体的には教師と呼ばれる大規模 なモデルの結果を用いて、生徒と呼ばれる比較的小規模な新規モデルを学習することでモデルの圧縮 を達成する。多くの場合、教師は学習データを用い て学習され、その際利用された学習データは生徒の 学習にも転用される。知識蒸留の手法は応答べース $[1,2]$ と特徴べース [3] に分けることができる。前者は教師の出力を、後者は教師の内部パラメーター

図 1 共同教育で用いる生徒モデル概要図

を生徒の学習に用いている。また、生徒の学習中に 教師のパラメーターも更新するオンライン蒸留 [4] と、教師のパラメーターを固定するオフライン学習 $[1,2]$ に分けることもできる。本論文の設定は、教師自体にアクセスできないため、提案手法は応答 ベースのオフライン蒸留手法である。

## 2.2 半教師あり学習

本手法は、ラベル無しデータに対する教師の予測 を生徒の学習に用いる点で半教師あり学習 [5] や共学習 (Co-Training)[6] の一種である。半教師あり学習 は、学習済みモデルの予測のうち確信度の高い予測 を学習データに追加し、モデルを再学習することで より堅牢な機械学習モデルを構築する手法である。共学習は、半教師あり学習の応用であり、確信度 を 2 つ以上のモデルにより算出する。我々の知る限 り、共有タスクの結果を用いて学習データを拡張し た研究はない。

## 3 提案手法: 共同教育

共有タスクに提出されたシステム結果から新規モ デルを学習する共同教育を提案する。以下では、シ ステムを教師、新規モデルを生徒と呼ぶ。共同教育 を行うために必要なデータは、教師の予測結果と共有タスクで配布された学習データであり、これらが 公開されていればタスク終了後であっても適用可能 である。ただし、教師の予測データは多い方が良い ため、共有タスク実施時に評価データ以外の範囲の ラベル無しデータに対する予測提出が要求されるこ とが好ましい。

提案手法で用いる生徒モデルの概要を図 1 に示 す。生徒モデルは、共有モデル $\theta^{\text {sh }}$ と各教師に対応 する個別出力層 $\theta^{j}(j \in\{1,2, \ldots, S\})$ と出力層 $\theta^{\text {out }}$ か ら成る。ここで $S$ は教師システムの総数である。生徒モデルの入力を $x_{i}$ とする。生徒モデルの学習は以下の誤差の最小化により行われる。

教師との誤差教師システム $j$ の出力結果 $y_{i}^{j}$ に対応する生徒モデルの予測 $z_{i}^{j}$ との誤差 を $L^{\mathrm{t}}\left(z_{i}^{j}, y_{i}^{j}\right)$ とし、全教師とのロスはその平均 $L^{\mathrm{t}}\left(z_{i}, y_{i}\right)=\frac{1}{S} \sum_{j=1}^{S} L^{\mathrm{t}}\left(z_{i}^{j}, y_{i}^{j}\right)$ とする。

学習データとの誤差 学習データ $y_{i}^{g}$ と生徒モデ ルの予測 $z_{i}^{\text {out }}$ との誤差を $L^{\mathrm{g}}\left(z_{i}^{\text {out }}, y_{i}^{\mathrm{g}}\right)$ とする。

入力 $x_{i}$ に対する学習データのラベル $y_{i}^{\mathrm{g}}$ が存在 しない場合は、教師との誤差 $L\left(z_{i}, y_{i}\right)=L^{\mathrm{t}}\left(z_{i}, y_{i}\right)$ のみ最小化し、それ以外の場合は、両者の平均 $L\left(z_{i}, z_{i}^{\text {out }}, y_{i}, y_{i}^{\mathrm{g}}\right)=\frac{1}{2}\left(L^{\mathrm{t}}\left(z_{i}, y_{i}\right)+L^{\mathrm{g}}\left(z_{i}^{\text {out }}, y_{i}^{\mathrm{g}}\right)\right)$ を最小化 する。最終的な予測確率は、個別出力層の平均予測確率 $p_{i}^{\text {mean }}=\frac{1}{S} \sum_{j=1}^{S} \operatorname{softmax}\left(z_{i}^{j}\right)$ と出力層の予測確率 $p_{i}^{\text {out }}=\operatorname{softmax}\left(z_{i}^{\text {out }}\right)$ の平均 $p_{i}=\frac{1}{2}\left(p_{i}^{\text {mean }}+p_{i}^{\text {out }}\right)$ と する。

## 4 実験設定

## 4.1 森羅 2019

森羅は Wikipedia の構造化を目指すプロジェクト である。森羅 2019 は日本語 Wikipediaを対象とし ており、拡張固有表現 [7] にカテゴリー分けされ た Wikipedia 記事 [8] から、同表現で定義された属性に対応する属性値の抽出を行う共有タスクであ る。例えば「人名」カテゴリーに分類された「木村拓哉」の記事から、属性「生年月日」に対する、属性値「1972 年 11 月 13 日」を抽出する。本タスクで は、属性値の表層文字でなく出現位置の抽出も行う 必要がある。森羅 2019 では 33 カテゴリーを対象と しており、JP-5（5 カテゴリー）、組織名（14 カテゴ リー)、地名（14 カテゴリー）のサブタスクに分か れている。各カテゴリーには 269～308,610 件の記事が割り当てられており、学習データとして 147 1,000 件の記事に対してアノテーションラベルが付与されている。森羅タスクは Wikipedia の全記事の
構造化を目指しており、参加者は参加するカテゴ リーに割り当てられた記事全てに対する予測結果を 提出する必要がある。

森羅 2019 には合計 9 チームが参加し、各カテゴ リーに対して6から9チームが参加している。参加者が用いた手法は、CRF や SVM などの機械学習、深層学習、DrQAなどの機械読解など様々である。

森羅 2019 は、全てのシステム予測結果とタスク で共有された学習データに加え、アンサンブル研究用に「市区町村名」カテゴリーと「湖沼名」カテゴ リーに対する開発データを配布している。我々はこ れら開発データは学習には用いず、 5.3 章の分析の みに使用する。

## 4.2 共同教育の適用

提案手法の有効性を示すため、 4.1 節で述べた森羅 2019 の配布データを用いて生徒モデルを学習す る。システム結果と学習データは、文章と文章に 対する属性値の出現位置で構成されており、我々 は系列ラベリングタスクとして扱うため、出現位置をIOB2 タグ [9] に変換する。本タスクでは、異 なる属性において属性値が重複する場合があるた め、各属性毎に IOB2 のタグを割り当てる。つま り、大力 $x_{i}$ の $j$ 番目の単語 $x_{i, j}$ に対して、ラベル $y_{i, j} \in\{I, O, B\}^{c}$ を割り当てる。ここで、 $c$ はカテゴ リーに割り当てられた属性の数である。

共有モデル $\theta^{\text {sh }}$ には BERT-base [10] を用い、各個別出力層 $\theta^{j}$ 、出力層 $\theta^{\text {out }}$ には 1 層の全結合層を用 いる。BERT は RoBERTa [11] と同様の手順で日本語 Wikipediaを用いて学習する。不均衡なクラス分布 に対応するため、損失関数は Class Balanced Loss [12] と Focal Loss [13]を用いる。

生徒モデルは各カテゴリー毎に学習し、計算コス トの問題から使用する記事数を最大 2,000 件に制限 する。この中には全てのラベル付きデータの範囲が 含まれる。ラベル付きデータのうち $10 \%$ を開発デー タとして使用し、残りを学習に使用する。

生徒モデルの学習における最適化アルゴリズム に Adam を選択する。学習率は $\alpha_{l r}=5 \times 10^{-5}$ 、Adam に関する残りのハイパーパラメーターは $\beta_{1}=0.9$ 、 $\beta_{2}=0.999, 、 \epsilon=10^{-8}$ を使用する。また、計算効率を 高めるため、混合精度計算モジュールである apex ${ }^{2}$ を使用する。バッチサイズは $\{8,16,32\}$ から、Class Balanced Loss で使用する $\gamma$ は $\{0.999,0.9999,0.99999\}$

2) https://nvidia.github.io/apex/amp.html
からグリッドサーチにより決定する。また、Class Balanced Loss で用いるクラス統計は学習データのみ から取得する。

## 5 実験結果

本章のスコアは指定がない場合全てマイクロ平均 F1 により算出される。これは森羅 2019 のスコア指標に準拠している。

## 5.1 サブクラス毎の結果

サブクラス毎の実験結果を表 1 に示す。サブクラ スの全てのカテゴリーに参加したチームのみを記載 している。共同教育は全体において、参加チームの うち最良スコアであるチーム 10 と比較し 2.38 の向上を獲得している。これは、様々な教師の強みを統合した結果であり、森羅 2019 はチーム 10 のシステ ムより優れた性能のシステムを公開できることを意味する。組織名サブクラスにおいてはチーム 10 に 劣っているが差分は-0.36 と僅かである。

BERT は学習データのみで学習した場合の結果 である。BERT は共同教育の結果と比較して大幅に 劣っていることから、共同教育の向上が BERT の性能によるものでないことがわかる。また、自己教育 は BERT の結果を教師として用いた場合の結果で ある。自己教育は共同教育の結果と比較して大幅に 劣っていることから、共同教育の向上がラベル無し データを用いたデータ拡張によるものではなく、教師システムからの学習によるものであることがわ かる。

## 5.2 カテゴリー毎の結果

誌面の都合上、カテゴリー毎のスコアは付録表 2 に示す。各カテゴリー毎に最良のシステムを採用し た場合のスコアのマクロ平均は 61.96 であるのに対 し、共同教育のマクロ平均は 62.01 であり同等以上 の性能が示された。参加チームのうちいずれかのカ テゴリーで最良スコアを獲得したのは 5 チームであ る。もし、森羅 2019 で最良のシステム結果を公開 する場合、以上の 5 チームにシステム提出を依頼す る必要があるが、共同教育を用いた場合、同等の性能のシステムを公開できることとなる。これは提案手法の優位性を強く示す結果である。

カテゴリー毎に見た場合、共同教育は 18 カテゴ リーにおいて参加チームの最良スコアを上回ってい るが、残りの 15 カテゴリーでは下回っている。図

表 1 サブクラス毎の実験結果

図 21 位と 2 位の参加システムのスコア差分と共同教育 によるスコア向上の相関

図 3 生徒の学習に使用する記事数とスコアの関係

2 に、 1 位と 2 位の参加システムのスコア差分と共同教育によるスコア向上の相関を示す。両者の相関係数は $r=-0.519$ であり、負の相関が見られる。3） つまり、最良の教師のみが優れている場合におい て、共同教育が効果的に機能していないことが分か る。現在の手法では、全ての教師との誤差を平均化 しているため、多数決の結果は生徒モデルの勾配更新に大きな影響を及ぼす。そのため、単一の教師の みが優れているような場合では、生徒の学習に反映 されないと考えられる。例えば MGDA [14] 等のよ うな学習中に動的に誤差の重みづけする手法を用い
$ は $\mathrm{t}$ 検定により $p<0.01$ で統計的
} に有意である。
ることで、以上のような場合に対処できる可能性が ある。

## 5.3 使用する記事数に関する分析

本実験では、生徒の学習に最大 2,000 件の記事を使用しているが、カテゴリーにおいてはよ り多くの記事を使用可能である。市区町村名力 テゴリーにおいて生徒の学習に用いる記事数を $\{2,000,5,000,10,000\}$ と変化させて、森羅 2019 で配布されている開発データで評価した結果を図 3 に示 す。4) 最終出力 $p$ を用いた場合 5,000 記事まではスコ アの向上が見られるが、 10,000 記事では低下してい る。使用する記事数が多くなると、教師と比較して 学習データが生徒モデルに与える影響が小さくなる が、この場合は両者の誤差のバランスを調節する重 みを導入する必要があると考えられる。また、出力層の出力 $p^{\text {out }}$ より個別出力層の出力平均 $p^{\text {mean }}$ が一貫して優れている。これは生徒が教師から得ている 情報に非常に価値があることを示している。

## 6 おわりに

本論文では、共有タスクに提出されたシステム結果を用いて新規モデルを学習する手法である共同教育を提案した。本手法により、共有タスクは参加者 にシステム自体の提供を要求せずとも、自然言語ア プリケーションに汎用可能なシステムを公開するこ とができる。本手法の有効性を示すため、実際の共有タスクである森羅 2019 により提供されたデータ に対して共同教育を適用した。その結果、最良のシ ステムよりも高性能であり、最良のシステム群と同等性能のシステムを獲得できた。今後は本手法が多 くの共有タスクで適用され、システム開発に注ぎ込 まれた参加者の努力がより活用されることを願う。

4）この際使用するハイパーパラメーターは 4.2 章で使用し たものと同じであるが、バッチサイズのみ 2,000 記事の場合 $\{8,16,32\} 、 5,000$ 記事の場合 $\{20,40,80\} 、 10,000$ 記事の場合 $\{40,80,160\}$ からグリッドサーチにより選択する。

## 謝辞

本研究は JST、ACT-X、JPMJAX20AI および JSPS

科研費 JP20269633、JST さきがけ JPMJPR20C2 の支援を受けたものです。

## 参考文献

[1] Jimmy Ba and Rich Caruana. Do deep nets really need to be deep? In Z. Ghahramani, M. Welling, C. Cortes, N. Lawrence, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 27. Curran Associates, Inc., 2014.

[2] Geoffrey Hinton, Oriol Vinyals, and Jeffrey Dean. Distilling the knowledge in a neural network. In NIPS Deep Learning and Representation Learning Workshop, 2015.

[3] Adriana Romero, Nicolas Ballas, Samira Ebrahimi Kahou, Antoine Chassang, Carlo Gatta, and Y. Bengio. Fitnets: Hints for thin deep nets. arXiv, 122014.

[4] Ying Zhang, Tao Xiang, Timothy M. Hospedales, and Huchuan Lu. Deep mutual learning. In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 4320-4328, 2018.

[5] David Yarowsky. Unsupervised word sense disambiguation rivaling supervised methods. In 33rd Annual Meeting of the Association for Computational Linguistics, $\mathrm{pp}$. 189-196, Cambridge, Massachusetts, USA, June 1995. Association for Computational Linguistics.

[6] Avrim Blum and Tom Mitchell. Combining labeled and unlabeled data with co-training. In Proceedings of the Eleventh Annual Conference on Computational Learning Theory, COLT' 98, pp. 92-100, New York, NY, USA, 1998. Association for Computing Machinery.

[7] Sekine Satoshi. Extended named entity ontology with attribute information. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Morocco, May 2008. European Language Resources Association (ELRA).

[8] Masatoshi Suzuki, Koji Matsuda, Satoshi Sekine, Naoaki Okazaki, and Kentaro Inui. A joint neural model for finegrained named entity classification of wikipedia articles. IEICE Transactions on Information and Systems, Vol. E101.D, No. 1, pp. 73-81, 2018.

[9] Erik F. Tjong Kim Sang and Jorn Veenstra. Representing text chunks. In Ninth Conference of the European Chapter of the Association for Computational Linguistics, pp. 173-179, Bergen, Norway, June 1999. Association for Computational Linguistics.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[11] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Man- dar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized bert pretraining approach, 2019.

[12] Yin Cui, Menglin Jia, Tsung-Yi Lin, Yang Song, and Serge Belongie. Class-balanced loss based on effective number of samples, 2019.

[13] Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, and Piotr Dollar. Focal loss for dense object detection. In Proceedings of the IEEE International Conference on Computer Vision (ICCV), Oct 2017.

[14] Ozan Sener and Vladlen Koltun. Multi-task learning as multi-objective optimization. In $\mathrm{S}$. Bengio, $\mathrm{H}$. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 31. Curran Associates, Inc., 2018.

} & \multirow{2}{*}{} \\

表 2 カテゴリー毎の結果


# 金融文書を用いた追加事前学習言語モデルの構築と検証

鈴木雅弘 ${ }^{1}$ 坂地泰紀 ${ }^{1}$ 和泉潔 ${ }^{1}$ 石川康 ${ }^{2}$
1 東京大学大学院 工学系研究科 2 日興アセットマネジメント株式会社
b2019msuzuki@socsim.org
\{sakaji,izumi\}@sys.t.u-tokyo.ac.jp yasushi.ishikawa@nikkoam.com

## 概要

本研究では，汎用言語コーパスを用いて事前学習 を行った BERT モデルに対し，金融コーパスを用い て追加で事前学習 (追加事前学習)を行う方が有用 であるか検証を行う．追加事前学習を行ったモデル を2つの金融テキストを用いたタスクに適用し，追加事前学習を行うことで，汎用言語コーパスによる 事前学習モデルを上回る性能を持つことを示す。ま た，Tokenizer を構築する際のコーパスの比較を行っ た. 追加事前学習モデルの Tokenizer に用いるコー パスにおいて，汎用言語コーパスのみによるモデル と金融コーパスを用いたモデルの間に性能差は見ら れなかった。

## 1 はじめに

近年，決算短信や有価証券報告書，ニュース記事 や証券レポートなど，インターネットで閲覧可能な 金融文書が豊富に存在する．金融関連のテキストの 分析は投資やマーケット分析に役立つ一方で，毎日大量に作成されるテキストを人手によって全て分析することは難しい，そのため，近年盛んにおこな われているのが，金融文書に自然言語処理 (NLP) を 適用する金融テキストマイニングである．機械学習 を用いた金融関連のツイートのセンチメント分析 $[1,2]$ をはじめとして，金融分野における自然言語処理に，機械学習を適用する研究が多く存在する $[3,4]$.

本研究では，日本語金融コーパスによって追加事前学習を行った BERT モデルについて, 汎用言語 コーパスから事前学習を行ったモデルと比較を行 う. BERT[5] は事前学習によって各言語タスクの精度を大幅に改善したモデルである．BERTでは，ま ず大規模言語コーパスから事前学習し, その後出力 に近いレイヤーのみを学習させるファインチューニ ングを組み合わせる．日本語においてもWikipedia
の記事から事前学習された BERT モデルが提案され ている [6] ${ }^{1)}$. しかし金融コーパスと一般的なコーパ スとの間で語彙や表現の違いが大きいため，一般的 なコーパスのみで学習したモデルは金融テキストマ イニングのタスクに最適とは言えない。金融ドメイ ンに適合させたモデルとして, Zuang ら [7] や鈴木 ら [8] によって，金融コーパスを用いて事前学習を 行ったモデルが提案されている. しかしこれらは，事前学習に適用できるコーパスが十分に大きい場合 にのみ適用できる．事前学習に用いるコーパスが小 さい場合にゼロから事前学習を行うと, 言語モデル として性能が低くなる可能性がある。その場合，金融ドメインのテキストデータを用いてゼロから事前学習を行うよりも，一度 Wikipedia などの汎用的な 大規模コーパスを用いて事前学習を行ったモデルに 対し, 追加で事前学習をファインチューニングのよ うに行う方が精度が高くなる可能性がある．そのた め, 本研究では Wikipedia を用いて構築された事前学習モデルに対し, 金融コーパスを用いて追加で事前学習 (追加事前学習) を行う. 構築したモデルと， Wikipedia のみによる事前学習モデルと比較し, 追加事前学習を行うことの効果を示す. そのためにこ れらのモデルに対して金融ドメインのテキストを対象とした 2 つの評価実験を行う．その際，Wikipedia から構築された Tokenizer と, Wikipedia・金融コー パスから構築された Tokenizer を用いた 2 つの追加事前学習モデルを構築し, Tokenizerを構築する際 のコーパスによる性能の差の検証を行う。また金融 コーパスを用いてゼロから事前学習を行ったモデル などとも比較を行う.

本研究の貢献は以下の通りである.

-日本語の金融コーパスで行う BERT の追加事前学習を提案する。

・構築した追加事前学習モデルとベースラインで

1) https://github.com/cl-tohoku/bert-japanese
表 1 各コーパスによって構築された語彙から，「デリバ ティブ取引には，先物取引やスワップ取引がある」とい う文をトークン分割する例。"\#"はサブワードに分割さ れた語のうち，先頭でないものに付与される。

 &  \\

ある Wikipedia による事前学習モデルの，金融 テキストを用いたタスクにおける性能を比較 する。

・追加事前学習モデルにおいて，Tokenizer を構築 するためのコーパスの違いがモデルの性能に与 える影響を検証する。

## 2 モデルの構築

本研究では，一度 Wikipedia 9 日本語記事を用い て事前学習を行ったモデルに対し，金融コーパス を用いて追加事前学習を行う. BERT の事前学習 は, 単語の穴埋め (Masked LM) と 2 文の接続性の判定 (Next sentence prediction) の 2 つのタスクの学習に よって行われる。追加事前学習でも，BERT の事前学習と同じタスクを行う.

本研究では，2 つの BERT-small モデルを構築す る. 1 つ目は, Wikipediaを用いて Tokenizerの構築 と事前学習を行ったモデル2)に対し，金融コーパス を用いて追加事前学習を行うモデルである.これ は，汎用的な言語コーパスを用いて事前学習を行っ たモデルに対し, 金融ドメインを用いて追加で事前学習を行う際の標準的な学習構成と言える. 2 つ目 は，Wikipediaと金融コーパスを用いて Tokenizer の 構築を行い，Wikipedia コーパスを用いて事前学習 を行い，金融コーパスを用いて追加事前学習を行 うものである. 追加事前学習では，入力文をトー クン列に分割する Tokenizer は事前学習と同じもの を用いる必要がある. そのため 1 つ目のモデルで は Wikipedia 由来のコーパスを用いることになるが， ドメインに特化したモデルではそのドメインに適 した Tokenizer を用いる方がより高い精度が得られ る可能性がある．実際に構築した Tokenizerによる，金融テキストのトークン分割の例を表 1 に示す. 金融ドメイン特有の語である「デリバティブ」や「ス

ワップ」について，Wikipedia・金融コーパスを用 いて構築した Tokenizer では 1 トークンとして認識 する。一方 Wikipediaを用いて構築した Tokenizer で は，「デリ/バ/ティブ」や「スワハップ」のように複数 トークンに分割されてしまう. 1 つ目と 2 つ目のモ デルの比較により，Tokenizer を構築する際に用いる コーパスによるモデルの性能を比較する.

2 つ目のモデルの構築にあたり, Wikipedia・金融 コーパスを用いて構築した Tokenizer を利用して， Wikipediaを用いて事前学習を行ったモデルは公開 されていない. そのため, 本研究では前述の事前学習モデルの構築も行う. 構築のためのパラメータに は，文献 [9] で述べられている BERT-small の設定を 用いる。学習率は, 追加事前学習では 1e-4(土台とな る BERT-small モデルの事前学習では 5e-4) とする. これは，BERT の公式リポジトリ3)にて，追加事前学習時には事前学習より小さい学習率を用いること が推奨されているためである.

## 3 使用データ

追加事前学習に用いる金融コーパスのテキスト データとして，2 種類のデータを用いる．1つ目は 2012 年 10 月 9 日から 2020 年 12 月 31 日にかけて 開示された決算短信等のデータである. 2 つ目は $\mathrm{EDINET}^{4}$ にて，2018 年 2 月 8 日から 2020 年 12 月 31 日にかけて開示された有価証券報告書等の 2 種類 データを用いる。これらのデータセットから，金融 コーパス (約 2,700万文) を作成した.

また, Wikipedia の日本語記事として，2021 年 6 月 1 日時点で作成されたダンプファイルから約 2000 万文のコーパスを作成する。

## 4 評価実験

事前学習や追加事前学習によって構築したモデ ルに対し，ファインチューニングによる評価実験を 行い性能を評価する。本研究では 2 つの評価実験を 行う.

1 つ目として，金融テキストの1つであるアナリ ストレポートを用いた実験を行う，アナリストレ ポートの発行日と，発行日から 12 週間後の TOPIX に対する銘柄の超過リターンの正負についての 2 值分類を行う，アナリストレポートを用いた超過リ ターン予測については，鈴木ら [10] が取り組んでお

図 1 chABSA-dataset を用いた Aspect-Based Sentiment Analysis に関する実験の概要図. 入力として，「ライフサ イエンス事業は増収となった」という文とセンチメント の Target「ライフサイエンス事業」が与えられる. 入力文 は「ライフ/サイエンス/事業/は/増収/とななっ/た」とトー クン分割され, BERT に入力される. BERT の最終層の隠 れ層の出力のうち，[CLS] トークンと，Target である「ラ イフ」「サイエンス」「事業」の各トークンの出力が合計さ れる. MLP と Softmax によって処理され Target のポジ ティブ/ネガティブの予測を行う.

り，彼らはLSTMを用いて純利益予測を行った。国内の大手証券会社が 2016 年 1 月から 2020 年 9 月に かけて発行した 78,656 本のアナリストレポートに 含まれる本文を用いる，入力するアナリストレポー トの本文のトークンインデックス列 $w$ を BERTに入力する. 入力トークン列 $\boldsymbol{w}$ から得られる BERT の最終層の隠れ層の出力を $\operatorname{BERT}(\boldsymbol{w}) \in \mathbb{R}^{n \times d}$ と表す.こ こで $d=256$ は BERT の隠れ層の次元数である. ま た BERT の出力の $i$ 番目の成分を $\operatorname{BERT}(w)_{i} \in \mathbb{R}^{d}$ と 表す. BERT の出力のうち文頭 (インデックスが 0 ) の [CLS] トークンについての出力 $h_{\text {analyst }} \in \mathbb{R}^{d}$ を式 (1)より得る.

$
h_{\text {analyst }}=\operatorname{BERT}(\boldsymbol{w})_{0}
$

2 値分類の出力 $y \in \mathbb{R}^{2}$ は式 (2)(3) によって得られる.

$
\begin{aligned}
& s_{\text {analyst }}=\operatorname{Dropout}\left(\tanh \left(h_{\text {analyst }} W_{1}+b_{1}\right)\right) \\
& y_{\text {analyst }}=\operatorname{softmax}\left(s_{\text {analyst }} W_{2}+b_{2}\right)
\end{aligned}
$

ここで Dropout($\cdot$) は Srivastava ら [11] が提案した Dropout を適用することを示し， $W_{1} \in \mathbb{R}^{d \times d}, W_{2} \in$ $\mathbb{R}^{2 \times d}, b_{1} \in \mathbb{R}^{d}, b_{2} \in \mathbb{R}^{2}$ は学習可能なパラメータで ある。
2 つ目として，TIS 株式会社が公開している chABSA-dataset ${ }^{5}$ を用いて, Aspect-Based Sentiment Analysis に関する実験を行う．この実験では，図 1 のように入力に文と Target 表現を入力し，その表現に関する文内でのセンチメントを出力するとい う問題設定にする. chABSA-dataset には，Positive, Negative, Neutralのタグが付与されていたが, Neutral が他のタグに対して大幅に少なかったことから， Neutralを除外して実験を行う．入力文をトークナイ ズして得られるトークン列を $\boldsymbol{w}=\left[w_{0}, w_{1}, \cdots, w_{n-1}\right]$ とする。BERTでは， $w_{0}$ は文頭に挿入される [CLS] トークンとなる。 センチメント予測の Target トーク ン列のインデックス番号の集合を $S \subset\{1, \cdots, n-1\}$ とする. [CLS] トークンと Target のトークン列を，式(4)のように足し合わせ， $h_{\mathrm{chABSA}} \in \mathbb{R}^{d}$ を得る.

$
h_{\mathrm{chABSA}}=\sum_{i \in(\{0\} \cup S)} \operatorname{BERT}(\boldsymbol{w})_{i}
$

3 層の MLPによって式 (5)(6) のように Positive/Negative の確率 $y_{\text {chABSA }} \in \mathbb{R}^{2}$ を出力として 得る.

$
\begin{aligned}
s_{\mathrm{chABSA}} & =\tanh \left(h_{\mathrm{chABSA}} W_{3}+b_{3}\right. \\
y_{\mathrm{chABSA}} & \left.=\operatorname{softmax}\left(s_{\mathrm{chABSA}}\right) W_{4}+b_{4}\right)
\end{aligned}
$

ここで, $W_{3} \in \mathbb{R}^{d \times d}, W_{4} \in \mathbb{R}^{d \times 2}, b_{3} \in \mathbb{R}^{d}, b_{4} \in \mathbb{R}^{2}$ は学習可能なパラメータである. 7,165 件のデータのう ち，64\%を学習データに，16\%を検証データに， $20 \%$ をテストデータに割り当てる。

比較として，鈴木ら [8] が構築した Wikipedia に よって事前学習を行った BERT-small モデル6)と Wikipedia・金融コーパスを用いて事前学習を行った BERT-small モデル7)についても評価実験を行う.

## 5 結果と考察

実験結果を表 2 に示す. 純利益予測では, Wikipedia と金融コーパスを組み合わせて Tokenizer を作成し, 金融コーパスで追加事前学習を行った モデルの精度が最も高かった. chABSAを用いた実験では，Wikipediaと金融コーパスを組み合わせて Tokenizer の作成と事前学習を行ったモデルが最も精度が高かった. 両実験では, Wikipedia のみで事前学習を行ったモデルよりも，金融コーパスを用いた 他の学習方法を採用したモデルの方が精度が高かっ

表 2 実験結果. F1 はマクロ平均である．学習コーパスの「Wikipedia $\rightarrow$ 金融」は，Wikipediaコーパスを用いて事前学習を行い，そこから金融コーパスを用いて追加事前学習を行うことを示す.

た.これらより，金融コーパスを用いた追加事前学習の効果があったといえる.

追加事前学習モデルを行ったモデルを比較する と, 純利益予測の実験では Tokenizer が Wikipedia・金融コーパスのモデルの方が精度が高かったのに 対し，chABSA の実験では Tokenizer が Wikipedia の モデルの方が精度が高かった. これは，アナリス トレポートを用いた純利益予測の実験では単語 の認識が予測に有効だったと考えられる一方で， chABSA を用いた実験では，Target となるトークン 列の範囲が入力で与えられるため, 金融ドメインに 特化した Tokenizer よりも，幅広い文章に対応でき る Wikipedia による Tokenizer の方が精度が高くなっ た可能性がある. 本実験においては Tokenizer の違 いによる精度の差は明確ではなかった。

追加事前学習を行ったモデルと, Wikipedia・金融 コーパスを用いて事前学習を行ったモデルを比較す ると，純利益予測では追加事前学習を行ったモデル の方が精度が高かったのに対し, chABSA を用いた タスクでは事前学習を行ったモデルの方が精度が高 かった。純利益予測ではアナリストレポートを用い ているため，決算短信と有価証券報告書による金融 コーパスとは文章の構成が異なっている. そのため Wikipediaを用いて一般的な日本語について事前学習を行い，その後金融コーパスにチューニングする 順番によって追加事前学習モデルの精度の方が高く なった可能性がある. 一方で chABSA は有価証券報告書のデータを用いているため, ゼロから有価証券報告書を含む金融コーパスで事前学習を行った方が 効率よく学習できたために, 事前学習モデルの精度 の方が高くなったと考えられる。

アナリストレポートを用いた純利益予測ではモ デル間に chABSAを用いた実験ほど差が現れなかっ た. これはアナリストレポートが純粋な金融テキス トを対象としたタスクとしては不十分だった可能性がある，アナリストレポートを用いた純利益予測 は，マーケットや情勢の急激な変化が起こった場合
テキストのみから全てを正しく予測することは困難 である. またアナリストによって能力の差があるた め，必ずしも正しい予測ができるわけではない．更 に，本実験で使用したモデルの大きさがデータセッ トに対して適切ではなかった可能性がある．純利益予測にて用いたアナリストレポートと, chABSA で用いたテキストデータのトークン数の中央值は, それぞれ約 500 トークンと約 55 トークンであっ た. BERT の small サイズでは最大 128 トークンと なるため，純利益予測では small サイズが入力可能 なトークンが少なく不十分だった可能性がある.

## 6 まとめ

本研究では，汎用的言語コーパスである Wikipedia によって構築された事前学習モデルに，金融コーパ スを用いた更なる事前学習である追加事前学習を 提案した. Wikipediaを用いて事前学習を行ったモ デルに対し, 追加事前学習を行ったモデルを構築し た. 構築したモデルは，金融テキストを対象とした タスクにおいて Wikipedia のみから構築された事前学習モデルを上回る精度を示した. また, 追加事前学習モデルにおける Tokenizer について，構築する 際のコーパスの比較を行った. Wikipedia のみを用 いて構築した Tokenizer によるモデルと, Wikipedia・金融コーパスを用いて構築した Tokenizer によるモ デルの間に，明確な性能差は見られなかった.

今後の課題として, 事前学習や追加事前学習に用 いるコーパスの拡張があげられる。本研究では決算短信や有価証券報告書といった，文章のフォーマッ トが似ているコーパスのみを用いて追加事前学習や 事前学習を行っている. 金融分野に関連したニュー ス記事など，より幅広いコーパスを用いて学習を行 うことで，より様々な表現の獲得が期待される。

## 謝辞

本研究は JSPS 科研費 JP21K12010 と JST 未来社会創造事業 JPMJMI20B1 の助成を受けたものです.

## 参考文献

[1] Nuno Oliveira, Paulo Cortez, and Nelson Areal. The impact of microblogging data for stock market prediction: Using twitter to predict returns, volatility, trading volume and survey sentiment indices. Expert Systems with Applications, Vol. 73, pp. 125 - 144, 2017.

[2] Gabriele Ranco, Darko Aleksovski, Guido Caldarelli, Miha Grčar, and Igor Mozetič. The effects of twitter sentiment on stock price returns. PLoS ONE, Vol. 10, No. 9, 2015.

[3] B. Shravan Kumar and Vadlamani Ravi. A survey of the applications of text mining in financial domain. KnowledgeBased Systems, Vol. 114, pp. 128-147, 2016.

[4] Li Guo, Feng Shi, and Jun Tu. Textual analysis and machine leaning: Crack unstructured data in finance and accounting. The Journal of Finance and Data Science, Vol. 2, No. 3, pp. 153-170, 2016.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. CoRR, Vol. abs/1810.04805, , 2018.

[6] 柴田知秀, 河原大輔, 黒橋禎夫. Bert による日本語構文解析の精度向上. 言語処理学会 第 25 回年次大会, 2019.

[7] Zhuang Liu, Degen Huang, Kaiyu Huang, Zhuang Li, and Jun Zhao. Finbert: A pre-trained financial language representation model for financial text mining. In Christian Bessiere, editor, Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, IJCAI-20, pp. 4513-4519. International Joint Conferences on Artificial Intelligence Organization, 7 2020. Special Track on AI in FinTech.

[8] 鈴木雅弘, 坂地泰紀, 平野正徳, 和泉潔. 金融文書を用 いた事前学習言語モデルの構築と検証. 人工知能学会第 27 回金融情報学研究会 (SIG-FIN), oct 2021 .

[9] Kevin Clark, Minh-Thang Luong, Quoc V. Le, and Christopher D. Manning. Electra: Pre-training text encoders as discriminators rather than generators, 2020.

[10] 鈴木雅弘, 堅木聖也, 坂地泰紀, 和泉潔, 石川康. テ キストマイニングによるアナリストレポートを用 いた株価動向予測. 言語処理学会第 26 回年次大会 (NLP2020), mar 2020.

[11] Geoffrey E. Hinton, Nitish Srivastava, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Improving neural networks by preventing co-adaptation of feature detectors. CoRR, Vol. abs/1207.0580, , 2012.


# テキストセグメンテーションモデルの ドメイン汎化性向上に向けたデータ拡張手法

久島務嗣 1 小林優佳 ${ }^{1}$ 吉田尚水 ${ }^{1}$
永江尚義 ${ }^{1}$ 岩田憲治 ${ }^{1}$
1 株式会社 東芝 研究開発センター
tsuyoshi2.kushima@toshiba.co.jp

## 概要

近年では，大規模コーパスと深層学習を用いた高性能なテキストセグメンテーションモデルが提案さ れている。しかし，既存手法は学習コーパスと異な るドメインのテキストでは顕著に性能が低下する。 コーパスによって使われる名詞が大きく異なり，か つ，名詞に依存したモデルが学習されていること が，このドメイン汎化性低下の原因である可能性が ある。そこで，本稿では名詞置換によるデータ拡張 によって，ドメイン汎化性能の改善を試みる. 実験 の結果, ドメイン外の評価コーパスにおいて, 名詞置換によって平均で $\mathrm{F}$ 值で $6.46, \mathrm{Pk}$ スコアで 1.89 それぞれ改善し，名詞置換の効果を確認した。

## 1 はじめに

書籍や文書といった人によって作られたテキス トは，章立てや段落などの構造を持つ.この構造情報は，高度なテキスト分析において有用である. し かし, 自動化技術の発達によって，音声認識による 音声書き起こしといった，構造を持たないテキスト が大量に存在するようになった。構造を持たないテ キストの分析は容易でないため，高性能なテキスト 構造化技術が求められている. テキスト構造化技術 の 1 つにテキストセグメンテーションがある.これ は，構造を持たないテキストを意味的関連性がある 複数の文のまとまり (セグメント) に分割し，構造化 する技術である．近年では，大規模コーパスと深層学習を用いた手法が提案され $[1,2,3,4]$, 高性能な 構造化が可能となってきている.

しかし，既存手法で高い性能が発揮できるテ キストは学習データと似たテキストに限られる。 Wikipedia や教科書といった，コーパスのテキスト の種類である書式とトピックをドメインとすると，学習データとドメインが異なるテキストでは顕著に 性能が低下する [3]. そのため, 汎用的なモデルの 実現には，ドメイン汎化性の向上が課題である.

このドメイン汎化性が低い原因として，モデルが 学習データの名詞に過学習していることが考えら れる. [3] で使われたコーパスを分析した結果，名詞は語彙の過半数を占め, 学習データの語彙と評価 コーパスの語彙との一致率が他の品詞に比べて低い ことが分かった. したがって，学習データで高い性能を発揮するには，名詞に依存したモデルを学習す る必要があり，さらに，名詞はコーパスによって大 きく分布が異なるため, ドメイン汎化性が低下して いると考えられる. よって，学習データのテキスト 中の名詞を他の名詞に置換することで，特定の名詞 に依存しない推定が可能になり，ドメイン汎化性能 が向上すると期待される.

そこで，本稿では，名詞置換によって拡張した コーパスを使ってテキストセグメンテーションモデ ルを学習することで，モデルのドメイン汎化性を向上させる方法を提案する．また，置換対象とする品詞の比較実験によって, 名詞置換は他の品詞に比べ てモデルの汎化性向上に有効であることを示す.

まず，2 章で関連研究を挙げ，テキストセグメン テーションの課題を詳細に述べる。 3 章で具体的な データ拡張手法を説明し，4 章で実験の詳細，5 章 で結果と考察をそれぞれ述べる. 6 章では最後に本稿のまとめと今後の課題について述べる.

## 2 関連研究

深層学習を用いた既存研究は, Glavǎs ら [1], Lukasik ら [2], Xing ら [3] の研究がある. これらの 研究の学習・評価に用いられるコーパスを表 1 に示 す. Section[5] とWiki-727k[4] は，それぞれ学習デー タ・検証データ・評価データを含むコーパスである。
表 1 コーパス統計量

表 2 品詞別 語彙占有率

Glavǎs らは，Wiki-727kを学習に用い，複数の評価コーパスで評価を行っている. モデルの汎化性評価には，学習データと異なるドメインのコーパスで 評価する必要がある。しかし, Glavǎs らは, Wiki 書式のコーパスと疑似的に生成されたコーパスでしか 評価を行っておらず，モデルの汎化性の評価は十分 でない. Lukasik らも同様に, 十分なドメイン汎化性評価を行っていない。

一方で，Xing らは，Sectionを学習に用い，表 1 の 評価コーパスで評価を行っている. 学習データとド メインが異なる Elements・Wiki-50・Clinical によっ てモデルの汎化性を評価しているが，評価データと 3 つの評価コーパスの性能に乘離がある.

以上の様に，深層学習によってテキストセグメン テーションモデルを学習する既存研究では, モデル の汎化性評価が行われているものが少なく，行われ ていても, 評価データの性能とドメインの異なる コーパスの性能に大きな乘離がある．様々なテキス トに汎用的に利用できるテキストセグメンテーショ ンモデルの開発には，モデルの汎化性を向上し, こ の乘離を埋めることが重要である.

## 3 提案手法

表 1 に示した評価コーパスの, 品詞別の語彙占有率を表 2 に, Section の学習データと各評価コーパス
との品詞別単語一致率を表 3 に，それぞれ示す. 表 2, 表 3 には, 語彙に占める割合の多い品詞上位 4 種 のみを示している（詳細は付録参照のこと）、いず れのコーパスにおいても, 名詞が語彙の過半数を占 めており，学習データの語彙との一致率は名詞が最 も低い。したがって，学習データで高い性能を発揮 するには，名詞に基づいた学習が必要となり，さら に, 他の品詞に比べて, 名詞はコーパスによって分布が大きく異なるため， ドメイン汎化性の低下の原因になっている可能性がある. そこで，学習データ 中の名詞を置換するデータ拡張によって, 名詞に過学習せず，未知の名詞に頑健なモデルが学習され， モデルのドメイン汎化性が向上すると考える.

本稿で提案する名詞置換によるデータ拡張の例を 表 4 に示す. 表 4 の original には置換前のテキスト を， single と rand は 2 つの置換方法の例を，色付き 単語は抽出された名詞を，それぞれ表す. 提案手法 では，テキストから名詞を抽出し，抽出された名詞 を学習データ内の他の名詞に置換する。

名詞の置換方法には, 表 4 に示した rand と single の 2 つの置換方法を検討した. single は，置換先と 置換元の名詞を 1 対 1 で対応付け，その対応に従っ て置換を行う方法である。一方， rand は 1 対 1 の対応付けをせず，名詞が出現する度にランダムに他の 名詞に置換する方法である。したがって， rand は同 じ名詞であっても異なる名詞に置換され得る. 表 4 に示す例では, original には「Aleppo」という名詞が 2 回現れている. singleでは,「Aleppo」に「Gittinger」 が対応付いているため, 2 回とも「Gittinger」に置換されている。一方, rand では, 同じ名詞であっ ても毎回異なる名詞に置換され得るため, 1 回目は 「Gittinger」に，2 回目は「Agustina」に置換されてい る.なお，「Gittinger」と「Agustina」は学習データか ら抽出された名詞である。

また，複数の単語から成る名詞も存在するが，複数語の名詞を置換の単位にすると, single が適用で きないため，置換の単位は 1 つの単語とした。

Gittinger has scarcely been touched by Espares since the modern hypertrophy occupies its ancient Wasserviertel. Gittinger appears in historical inhabitants as an important hypertrophy much earlier than Ariqueanos.

## rand

Gittinger has scarcely been touched by Espares since the modern hypertrophy occupies its ancient Wasserviertel. Agustina appears in historical inhabitants as an important Biodiversität much earlier than Ariqueanos.

## 4 実験

## 4.1 設定

実験に用いるモデルの概要図を図 1 に示す. 図 1 中の $S_{i}$ は文， $\mathbf{t}_{\mathbf{j}}$ は文 $\mathbf{S}_{\mathbf{i}}$ を構成するサブワード， $\mathbf{f}_{\mathbf{i}}$ は文 $S_{i}$ の特徴量， $p_{i}$ は文 $S_{i}$ がセグメント終端であ る確率，をそれぞれ表す。本稿では，文エンコード 用 (前段) とセグメント終端推定用 ( 後段) に $2 \supset$ の事前学習済み BERT を用いる，Hier.BERT[2] を使用した。事前学習済み BERT は，Python のオープン ソースライブラリである transformers ${ }^{1)}$ を使用した。

名詞置換は，エポック開始時に毎回実施した。ま た，名詞置換は $1 / 2$ の確率で行われ，置換するか否 かの判定はテキスト単位で行った. 単語の抽出・品詞の特定には，Python のオープンソースライブラリ である $\mathrm{spaCy}^{2}$ を利用した。

名詞置換の有効性検証のため，動詞も対象とし て実験を行った．動詞は，語彙の占有率が名詞に 次いで高く, 名詞と同様に文の意味に大きくかか わるため，比較対象とした. よって，実験条件は置換方法 2 種 (single $\cdot$ rand) と置換対象 2 種（名詞： NOUN・動詞：VERB）の組み合わせで，NOUN single $\cdot$ NOUN $_{\text {rand }} \cdot$ VERB $_{\text {single }} \cdot$ VERB $_{\text {rand }}$ の 4 種となる。名詞と同様に，動詞も置換の単位は 1 つの単語で ある。また，動詞は，活用を無視して置換すると，意味不明な文になったり，文法的に誤った文となっ てしまう．そのため，動詞の置換は，置換先の動詞 を置換元の動詞に合わせて活用させて置換を行う。 ハイパパラメータの選定には Mosbach ら [8] を 参考にして，学習率は $\left[2 \mathrm{e}^{-6}, 5 \mathrm{e}^{-6}, 1 \mathrm{e}^{-5}, 2 \mathrm{e}^{-5}\right]$ か ら，学習エポック数は $[20,30,40,50]$ から，そ れぞれ検証データでの $\mathrm{F}$ 值が最大になるもの を選択した。また， Warmup も適用し，学習率を 変化させるエポック数は，学習エポック数の

1) https://github.com/huggingface/transformers

2) https://github.com/explosion/spaCy

図 1 モデルの概要図

$[10 \%, 20 \%, 30 \%, 40 \%, 50 \%]$ から検証データでの F 値が最大になるものを選択した。なお，Warmup で は学習率は線形に変化させた。

Lukasik ら [2] は，テキストの文数と文の文字数と を制限し，計算コストを下げた上で Hier.BERT の学習を行っている。本稿でも同様に，文字数を 64 文字，文数を 128 文にそれぞれ制限して学習を行っ た. 文字数が 64 文字を超える場合には，文を分割 し複数の文として前段の BERT に入力し，分割され た文を後段の BERT に入力するときには，分割され た文に同じ位置ラベルを与えて入力した。最後の全結合層に分割された文を入力するときには，分割さ れた文の特徴量を平均した特徴量を入力した. 文数 が 128 文を超える場合には，テキストを分割し，複数の学習データとした．評価時は，窓幅 128 文の窓 を 1 文ずつスライドさせ，各文の推定結果を平均す ることで，最終推定結果を取得した。

## 4.2 評価

学習には Sectionを使用し，評価コーパスには Section の評価データ・Cities・Elements・Wiki-50・ Clinical の 5 つのコーパスを用いた. Section は Wiki 書式で都市と疾患のトピックを含むため，Elements・
表 5 評価結果 ( $\mathrm{F}$ 値 / $\mathrm{P}_{\mathrm{k}}$ スコア)

Wiki-50・Clinical の 3 つのコーパスをドメイン外 （OOD：Out-Of-Domain）として， ドメイン汎化性能 の評価に用いた. Cities はドメイン内のコーパスと なるため評価の対象ではないが，Xing らとの比較の ために評価に用いた。

評価指標には， $\mathrm{F}$ 値と $\mathrm{P}_{\mathrm{k}}$ スコア [9]を用いた。 $\mathrm{P}_{\mathrm{k}}$ スコアは，窓幅 $\mathrm{k}$ 分の検出誤りを許す指標で，テキ ストセグメンテーションモデルの評価によく用いら れる. $\mathrm{P}_{\mathrm{k}}$ スコアは, Python のオープンソースライブ ラリである segeval ${ }^{3)}$ を用いて計算した。

実験は，データ拡張を適用しない baseline と， $\mathbf{N O U N}_{\text {single }} \cdot$ NOUN $_{\text {rand }} \cdot \mathrm{VERB}_{\text {single }} \cdot \mathrm{VERB}_{\text {rand }}$ の 4 条件，合わせての 5 つの実験条件で行った. 各実験条件に対して 5 つの seedで実験を行い，それぞれの 結果の平均に対して評価を行った.

## 5 考察

実験の結果を表 5 に示す.表 5 中の OOD-Ave は OOD とした 3 つのコーパスの平均値を表す. 各条件で最も高い数値を太字で示す.

baseline と 4 つの実験条件の OOD-Aveを比較す

換対象とする品詞の違いによる改善幅の差を比較 すると, NOUN ${ }_{\text {single }}$ と NOUN $\mathbf{r a n d}$ を平均すると, F 值で 6.46, Pk スコアで 1.89 それぞれ改善したが, VERB $_{\text {single }}$ と VERB rand を平均すると, baseline に比 べて性能が劣化した. よって, 名詞を対象として置換するデータ拡張がドメイン汎化性の向上に有効で あることが確認された。

名詞を置換対象とした条件の効果が高かった 原因として, 名詞への過学習が抑えられた可能性

るため，単語に依存しない推定を行う. したがっ て, NOUN ${ }_{\text {rand }}$ の学習データにおける $\mathrm{F}$ 值と Pk ス コアを上回るためには, 名詞に基づいた推定が必要となる. よって, 名詞を置換対象とした条件以外では, NOUN $\mathbf{r a n d}$ 相当の性能に達した後の学習で

は, 名詞への過学習が起こっていると考えられる。 NOUN $_{\text {single }}$ と NOUN ${ }_{\text {rand }}$ の学習データにおける $\mathrm{F}$ 值 と $\mathrm{Pk}$ スコアは, 他の条件よりも劣化しているため,名詞を置換対象とした条件以外では名詞への過学習 が起こっていたと考えられる.これが抑制されたた め, 名詞置換ではドメイン汎化性が向上したと考え られる。これは，名詞への過学習がドメイン汎化性低下の原因になっている仮説を支持する。

一般にテキストセグメンテーションにおいては，名詞の一貫性は重要な判断基準となり得る。そのた め, NOUN rand $^{\text {よりも， NOUN } \text { single }}$ の方が改善幅が 大きいことが期待される。しかし，置換方法による 差が見られないという結果は，モデルが名詞の一貫性を考慮した推定をあまりしていないことを示唆す る.よって，名詞の一貫性を考慮する機構等で，更 にドメイン汎化性の改善ができる可能性がある。

また，個別のコーパスの結果を見ると，Cities と Elements は Xing らの結果を上回っているが, Clinical では，非常に低い結果となった. Clinicalでは，他の コーパスの傾向と異なり, recall よりも precision が 低い結果となっており，セグメント終端の誤検出が 多い（詳細は付録参照のこと）。これは，コーパス の書式によってセグメントの粒度が異なることに起因すると考えられる（表 1)。セグメント分割粒度を 調整可能なモデルによって, Clinical においても適切なセグメンテーションができると考えられる.

## 6 おわりに

本稿では，ドメイン汎化性能の高いテキストセグ メンテーションの実現に向け，名詞置換によるデー 夕拡張手法を提案した. 実験の結果，名詞を置換す るデータ拡張によって，平均して $\mathrm{F}$ 值で $6.46, \mathrm{Pk}$ ス コアで 1.89 それぞれ改善し, 効果を確認した. 評価コーパスの内，2つのコーパスではSOTA 手法を 上回ったが，1 つのコーパスでは非常に低い結果と なった. 名詞の一貫性を考慮する手法や，セグメン 卜粒度を調整可能な手法によって，更にドメイン汎化性能を向上することが今後の課題である.

## 参考文献

[1] Goran Glavǎs and Swapna Somasundaran. Two-level transformer and auxiliary coherence modeling for improved text segmentation. In Proceedings of the 34th Association for the Advancement of Artificial Intelligence, 2020.

[2] Michal Lukasik, Boris Dadachev, Kishore Papineni, and Gonçalo Simões. Text segmentation by cross segment attention. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 4707-4716, 2020.

[3] Linzi Xing, Brad Hackinenz, Giuseppe Carenini, and Francesco Trebbi. Improving context modeling in neural topic segmentation. In Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing, pp. 626$-636,2020$.

[4] Omri Koshorek, Adir Cohen, Noam Mor, Michael Rotman, and Jonathan Berant. Text segmentation as a supervised learning task. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics, pp. 469-473.

[5] Sebastian Arnold, Rudolf Schneider, Philippe CudréMauroux, Felix A. Gers, and Alexander Löser. Sector: A neural model for coherent topic segmentation and classification. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 169-184, 2019.

[6] Harr Chen, S.R.K. Branavan, Regina Barzilay, and David R. Karger. Global models of document structure using latent permutations. In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 371-379, 2009.

[7] Jacob Eisenstein and Regina Barzilay. Bayesian unsupervised topic segmentation. In Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing, pp. 334-343, 2008.

[8] Marius Mosbach, Maksym Andriushchenko, and Dietrich Klakow. On the stability of fine-tuning bert: Misconceptions, explanations, and strong baselines. In International Conference on Learning Representations, 2021.

[9] Doug Beeferman, Adam Berger, and John Lafferty. Statistical models for text segmentation. Machine Learning, Vol. 34, No. 1, pp. 177-210, 1999.

## A 参考情報

表 A. 1 品詞別 語彙分析結果（語彙数/一致率）

表 A. 2 実験結果 詳細


# Transformer モデルのニューロンには 局所的に概念についての知識がエンコードされている

有山知希 ${ }^{1}$ Benjamin Heinzerling ${ }^{2,1}$ 乾健太郎 ${ }^{1,2}$
1 東北大学 2 理化学研究所
tomoki.ariyama.s3@dc.tohoku.ac.jp
benjamin.heinzerling@riken.jp, inui@ecei.tohoku.ac.jp

## 概要

事前学習言語モデルには，マスク穴埋め問題を解 くことが出来ることから何らかの形で知識が保存さ れていると考えられているが，その保存形態につい ては未だよく分かっていない. そこで本研究では，知識が言語モデル内のパラメータに「局所的に」エ ンコードされているという仮定の下，メモリとして も働くとされる Transformer の Feed-Forward 層に着目して，ある概念についての知識がエンコードされ ている特定のニューロンが存在することを確認し た. また，概念を表す単語の品詞によって，知識の 保存形態が異なる可能性が示唆された。

## 1 はじめに

事前学習言語モデルの中には，穴埋め文，例えば 「—が出来ることの一つはニャーと鳴くことです。」 という文が与えられた場合に，穴埋め部分に「子猫」が入ると予測できるものが存在する。このよう な言語モデルは学習の結果, 図 1 に示すように何ら かの形でモデル内に子猫についての知識が保存され ていると考えられる。しかし，この知識がどのよう な形で言語モデル内に保存されているか，というこ とは未だ解明されていない.

そこで我々は，ある概念1) ${ }^{1}$ につての知識は言語 モデルの一部のパラメータにエンコードされてい る，すなわち「局所的に」保存されているという仮定を置き，Transformer[1]の Feed-Forward 層（以下，「FF 層」と呼ぶ）を調査することにした。これは Transformer の FF 層は key-value メモリと同様の働き をすることが Geva らによって報告されており [2]， そのため $\mathrm{FF}$ 層には概念についての知識がエンコー

1）本論文において「概念」とは，名詞や固有名詞等で表され る「エンティティ」や，動詞や形容詞等で表される「動作」「性質」などを全て含めた単語，として定義する

図 1 子猫に関する知識はどのように保存されているか？

ドされている可能性が高いと考えたためである.

Transformer の FF 層を分析する手法については， $\mathrm{FF}$ 層の中間表現をニューロンと見立てた時に，入力に反応する特定のニューロンを帰属法を用いて探 す手法が Dai らによって提案されている [3]. そこ で我々はこの手法を用い，ある概念についての知識 が特定のニューロンにエンコードされているかを調査し，その知識がエンコードされていると判断され たニューロンの活性値を編集すると，その概念を正解とする穴埋め問題を解く際の正解を選ぶ確率が変化することを確認する。

## 2 手法

実験手法を説明するにあたり，まず本論文で 用いる「ニューロン」という言葉について説明す る. 本論文におけるニューロンとは, Transformer の encoder を構成する一モジュールである FF 層におい て，第一線形層の出力を活性化関数にかけたものを 指す. $\mathrm{FF}$ 層の式は入力を $x$, 第一・第二線形層の重 み・バイアス項をそれぞれ $W_{1}, b_{1}, W_{2}, b_{2}$ で表し, 活性化関数に GELU[4]を用いることにすると，次のよ

図 2 知識帰属法と実験のイメージ．知識帰属法では，モデルがプロンプトのマスク部分を予測する際の，FF 層におけ る各ニューロンの活性値を用いて各貢献度を計算し，それらを元に知識ニューロンを探し出す. 実験では，知識ニュー ロンの活性值を抑制・増幅したモデルに再度プロンプトを解かせ，モデルの予測がどのように変化するかを観察する.

うに表される。

$
\mathrm{FF}(x)=\left(\operatorname{GELU}\left(x W_{1}+b_{1}\right)\right) W_{2}+b_{2}
$

すなわち， “ $\operatorname{GELU}\left(x W_{1}+b_{1}\right) ”$ の部分がニューロンに 対応し，その値がニューロンの活性値となる.

## 2.1 知識ニューロンを探すためのタスク

ある概念に紐づくニューロン（以下，「知識ニュー ロン」と呼ぶ）を探すためのタスクとして，穴埋め 文（以下，「プロンプト」と呼ぶ）の穴埋め部分を予測するタスクを言語モデルに解かせる．プロンプト は，その概念が穴埋め部分，すなわち [MASK] トー クンとなるようにデータセットから作成する. プロ ンプトの一例を以下に示す. 下記例の [MASK] トー クンに対応する概念は “kittens”である.
- [MASK] will grow and become cats.

## 2.2 知識帰属法

この節では, Dai ら [3] によって提案された, 知識 ニューロンを探すための手法である知識帰属法につ いて説明する (図 2 参照).

知識ニューロンを探すため，事前学習言語モデ ルにおける各ニューロンの，「言語モデルが，ある プロンプト $x$ について正しい答えを出力する確率 $\mathrm{P}_{x}\left(\hat{w}_{i}^{(l)}\right)$ 」に貢献する度合いを測定する. ここで確率 $\mathrm{P}_{x}\left(\hat{w}_{i}^{(l)}\right)$ は， $y^{*}$ を正しい答え， $w_{i}^{(l)}$ を $l$ 番目の $\mathrm{FF}$ 層 の $i$ 番目のニューロン， $\hat{w}_{i}^{(l)}$ をののューロンの活性値とすると，次の式 1 のように表される。

$
\mathrm{P}_{x}\left(\hat{w}_{i}^{(l)}\right)=p\left(y^{*} \mid w_{i}^{(l)}=\hat{w}_{i}^{(l)}\right)
$

この確率について, Sundararajan ら [5] の “Integrated Gradients”という帰属法を用い， $w_{i}^{(l)} 0$ から事前学習言語モデルによって計算された元の活性值 $\bar{w}_{i}^{(l)}$ まで徐々に変化させ，それに伴って変化する，確率 $\mathrm{P}_{x}\left(\hat{w}_{i}^{(l)}\right)$ に対する勾配 $\frac{\partial \mathrm{P}_{x}\left(\alpha \bar{w}_{i}^{(l)}\right)}{\partial w_{i}^{(l)}}$ を積分することで，今考えているニューロン $w_{i}^{(l)}$ の貢献度 $\operatorname{Attr}\left(w_{i}^{(l)}\right)$ を 計算することができる.

$
\operatorname{Attr}\left(w_{i}^{(l)}\right)=\bar{w}_{i}^{(l)} \int_{\alpha=0}^{1} \frac{\partial \mathrm{P}_{x}\left(\alpha \bar{w}_{i}^{(l)}\right)}{\partial w_{i}^{(l)}} d \alpha
$

この值が大きいほど，プロンプト $x$ に強く反応する ニューロンであると判定する.この手法を用いて， あるプロンプトについてモデル内の全てのニューロ ンの貢献度を計算し，その中での貢献度の閾値 $t$ を 超えるニューロンのみを選ぶことにする.

しかし，上述のようにある一つのプロンプトにつ いてのニューロンを探し出しても，それらのニュー ロンは本当に知識ニューロンであるとは限らない. なぜならば，そのプロンプトの構文情報を表現して しまっているような「偽陽性の」ニューロンが存在 している可能性があるためである. そこで目的とす る知識ニューロンを，先述の貢献度によって選出さ れたニューロンに対して精製作業を加えた以下の方法で手に入れる：

1. ある概念が正解となるプロンプトを，構文や含 まれる語彙が異なるようにして複数用意する

2. 各プロンプトについて, 各ニューロンの貢献度 を計算する

3. 各プロンプトについて, 閾値 $t$ を超える貢献度 を持つニューロンのみを選出する

4. 全てのプロンプト間での共有率の閾值 $p \%$ を設定し， $p \%$ 以上のプロンプトで共有されている ニューロンのみを残す

最後のステップで残ったニューロンは，各プロンプ トで共有されている要素，すなわち概念と紐づく ニューロン（=知識ニューロン）である.

図 3 活性値を抑制した際の各プロンプトに対する正解を選ぶ確率の変化例

図 4 活性值を増幅した際の各プロンプトに対する正解を選ぶ確率の変化例

## 3 実験

Dai ら [3] は 2.2 節の手法を用いて高々数十種類の 関係（例えば“born in”）の知識ニューロンが存在す るかを調べるに留まっていた。一方我々は，それよ りはるかに種類の多い概念についても個別の概念に 対応する知識ニューロンが存在するかを調べる.

## 3.1 設定

プロンプトについては，英語のデータセットで ある LAMA[6] の ConceptNet 部分を用いて relation の subject 部分をマスクし，最終的に 742 個の概念について作成した. 事前学習言語モデルには, HuggingFace Transformers[7] で公開された "bert-baseuncased"を使用した. 2.2 節で述べた各プロンプト における閾值 $t$ は最も大きい貢献度の 0.2 倍とし, プロンプト間の共有率 $p$ は $50 \%$ に設定した。なお，実験に使用したコードはすべて公開する2).

## 3.2 知識ニューロンと知識のエンコード

2.2 節の手法により得られた知識ニューロンの活性值 $\bar{w}_{i}^{(l)}$ を編集したモデルに「その知識ニューロン が紐づく概念が正解のプロンプト」と「全く関係の ない概念が正解のプロンプト」のそれぞれを解かせ て正解を選ぶ確率を調査し，活性值を変化させる前 の確率との変化量を比較する。もし無関係の概念の

2) https://github.com/tomokiariyama/concept-neurons.git
プロンプトを解いた際の正解を選ぶ確率にのみ変化 が見られなければ，その知識ニューロンには紐づく 概念についての知識のみがエンコードされていると 考えられる3). また, 活性値は 0 にする（抑制）元 の活性值 $\bar{w}_{i}^{(l)}$ の 2 倍にする（増幅）の二通りの編集方法を実験する．直感的には，抑制は知識ニューロ ンを取り除く操作でモデルはその知識ニューロンが 紐づく概念を忘れ，逆に増幅は知識ニューロンが紐 づく概念を強化する。

## 3.3 概念の品詞によって, 活性値の編集に よる影響に違いがあるか

言語モデルが概念の品詞を区別できるとすれば， それは品詞によって知識の保存形態が異なるためで あるという仮定の下，各概念を品詞ごとに分けた上 で 3.2 節と同様の実験を行い, 品詞の違いによる活性值編集の影響の差異を観察する，実験では，品詞分類は形態素解析器である nltk[8] を用いて「名詞」 と「動詞・形容詞・副詞」の二種類に分類した.

## 4 実験結果

## 4.1 知識ニューロンと知識のエンコード

図 3 に抑制時のグラフを，図 4 に増幅時のグラフ を示す. 各図の概念は，冒頭で例として取り上げた 子猫 (=“kitten”) と辞書順にその周辺の綴りを持つも のを選出した. 図 3,4 より，その知識ニューロン

図 5 活性値を抑制した際の全概念についての正解を選ぶ 確率の変化

図 6 活性値を増幅した際の全概念についての正解を選ぶ 確率の変化

が紐づく概念が正解のプロンプトを解かせると，活性値の編集に応じて正解を選ぶ確率が大きく増減す るが，無関係の概念が正解のプロンプトに対しては 影響がほとんど見られなかった.しかし全ての概念 についてそのような傾向が見られたわけではなく， “knife" のように知識ニューロンの活性値の抑制に 伴って紐づくプロンプトの正解を選ぶ確率が増加か つ活性値の増幅に伴って正解を選ぶ確率が減少する といった事例や，“organism”のように抑制・増幅に 関わらず紐づくプロンプトの正解を選ぶ確率が減少 する事例も見られた。

また，使用した全ての概念についての，正解を選 ぶ確率の変化をヒストグラムに表したものを図 $5 ， 6$ に示す. この図 $5 ， 6$ から，知識ニューロンの活性值を編集した際，その知識ニューロンに紐づくプロ ンプトを解かせた場合には正解を選ぶ確率に対して 影響が見られ，紐づかないプロンプトを解かせた場合にはほとんど影響がないことが確認できる。すな わち，多くの知識ニューロンは確かに紐づく概念に ついての知識がエンコードされているニューロンで あり，知識が局所性を伴って Transformer の FF 層の 中にエンコードされていることが確認された.

図 7 活性値を抑制してそのニューロンに紐づくプロンプ トを予測した際の, 品詞ごとの正解を選ぶ確率

図 8 活性値を増幅してそのニューロンに紐づくプロンプ 卜を予測した際の，品詞ごとの正解を選ぶ確率

## 4.2 概念の品詞によって, 活性値の編集に よる影響に違いがあるか

図 7 に知識ニューロンの活性値を抑制してその 知識ニューロンが紐づくプロンプトを解かせ，概念 の品詞に応じて正解を選ぶ確率の変化を表したも のを，図 8 に同様に活性値を増幅した場合の結果を 示す. グラフの概形を比較すると, 図 8 では概形に 大きな違いは認められなかったものの, 図 7 では名詞は $-25 \sim-20 \%$ 付近にピークがあるのに対し，動詞・形容詞・副詞は $0 \sim 5 \%$ 付近が最も件数が多い. これは，名詞の方がより局所的な傾向を持つことを 示しており, 品詞によって知識の保存形態が異なる 可能性が示唆された.

## 5 おわりに

本研究では, 概念についての知識が Transformer の $\mathrm{FF}$ 層の中で局所的にエンコードされていること を確認した。 ある概念についての知識が保存されて いると考えられる知識ニューロンの活性値を編集し た際，多くの場合その概念についてのプロンプトの みが解けなくなり，他の概念についてのプロンプト に対しては影響が殆ど見られないことも確認した。 また，概念を品詞ごとに分類して影響の差異を調べ た結果，品詞によって知識の保存形態が異なる可能性が示唆された。一方で，なぜ知識ニューロンの活性値を編集しても影響がほとんど見られない，もし くは想定とは逆の影響が観察される概念が存在する のか，ということは研究課題として残っている.

## 謝辞

本研究は，JST/CREST (JPMJCR20D2) および JSPS

科研費 (JP19H04425，JP21K17814) の助成を受けた.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the 31st Conference on Neural Information Processing Systems (NIPS), 2017.

[2] Mor Geva, Roei Schuster, Jonathan Berant, and Omer Levy. Transformer feed-forward layers are key-value memories. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 54845495.

[3] Damai Dai, Li Dong, Yaru Hao, Zhifang Sui, and Furu Wei. Knowledge neurons in pretrained transformers. arXiv:2104.08696, 2021.

[4] Dan Hendrycks and Kevin Gimpel. Gaussian error linear units (gelus). arXiv preprint arXiv:1606.08415, 2016.

[5] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic attribution for deep networks. In Proceedings of the 34th International Conference on Machine Learning, Vol. 70, pp. 3319-3328, 2017.

[6] A. H. Miller P. Lewis A. Bakhtin Y. Wu F. Petroni, T. Rocktäschel and S. Riedel. Language models as knowledge bases? In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2463-2473.

[7] Hugging Face. Transformers,（2022-01 閲覧）. https: //huggingface.co/docs/transformers/index.

[8] NLTK :: Natural Language Toolkit,（2022-01 閲覧）. https://www.nltk.org/.


# 関係間の関係性を考慮した時間関係グラフ改善のための グローバル反復辺編集器

牧野晃平 三輪誠 佐々木裕
豊田工業大学
\{sd21505, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

時間関係抽出では，イベント間の相対的な時間を 考慮する際に，時間関係間の関係性が重要となるこ とがある。しかし，既存の手法ではこのような時間関係間の関係性を考慮せず，個別に時間関係を抽出 しているものが多い. そこで，本研究では，既存手法に接続可能な，グローバルに時間関係間の関係性 を考慮したモデルとして，既存手法の出力をもとに 時間関係グラフを反復的に改善するグローバル反復辺編集器 GIEEを提案する. 実験では, 時間関係抽出の評価用データセットである MATRES について 提案手法を評価し, 提案手法が異なる 2 つの既存手法の性能を一貫して向上できることを確認した.

## 1 序論

文書中のイベント間の時間的な関係性を対象と し，文内および文をまたいだイベント間の時間関係 を抽出する時間関係抽出は, 自然言語で記述された 文書中の情報を構造化するのに重要なタスクであ る。時間関係は関係がイベントを共有するフローグ ラフの様に表現されたり, 事前の事前のイベントは 事前のイベントであるというような時間的な制約が 存在したりするなど, 時間関係抽出は一般的な関係抽出 $[1,2]$ とは異なるため，時間関係を抽出するた めの特有な手法が提案されている $[3,4]$.

時間関係抽出ではイベント間の相対的な時間を対象とするため，関係を個別に分類するだけでなく，時間関係間の関係性を考慮することが重要になる。実際に TempEval-3 [5] や MATRES [6] のような既存 の時間関係抽出用コーパスでは，ニュース記事など の文章に記述されたイベントの絶対的な発生時間は 一部しか記述されておらず，イベント同士の相対的 な時間関係によって発生時間を表現している.

一方で，既存の高性能な手法は時間関係同士の関

図 1 反復的な辺編集

係を考慮できていない．Wenと Ji はイベント間の相対的な時間を直接予測している [7]. Mathur らは複数のグラフ表現を組み合わせ，時間とイベント間の 関係性をモデル化したが，時間関係間の関係性は考慮できていない [4]. このような既存手法の利点を 保持したまま，異なる構造・実装のモデルに対して 関係間の関係性を直接導入するのはコストが高いた め，関係間の関係性を既存手法に容易に導入できる 手法が必要である.

以上のことから，本研究では，文書検索のリラン キングのように [8], 既存の関係抽出手法の出力を 全体を見ながら再評価し，関係を編集することで関係間の関連性を考慮するモデルとして，グローバル 反復辺編集器（Global Iterative Edge-Editor; GIEE）を 提案する. 本手法では，入力となる文書と時間関係 グラフを用いて，文書の文脈表現に加え，時間関係 グラフの表現を利用することで，全体の時間関係間 の関係性を考慮した辺の編集を行う. 更に，編集さ れたグラフを繰り返し編集することで，入力された 辺間だけでなく, 編集された辺同士の相互関係を含 めてグラフ全体で考慮する。

本研究の貢献は以下の 3 点である.
- 関係間の関係性を考慮するため，既存手法の出力を編集するという，既存手法に容易に導入可能な問題設定を提案した.

・時間関係グラフの表現を利用する，時間関係間全体の関係性を考慮した時間関係抽出モデルで あるグローバル反復辺編集器 GIEEを提案した。
- 異なる 2 つの既存手法の後続に提案手法を接続 することで，いずれの手法についても，もとの 抽出性能を改善できることを示した。

## 2 提案手法

本研究では，既存の時間関係抽出手法に対して関係間の関係性の観点を導入するため，既存手法で抽出した時間関係グラフを編集するモデルとして，グ ローバル反復辺編集器 GIEE を提案する. 時間関係 グラフはイベントを節点, 時間関係を辺として表現 される。GIEEでは図 1 のように，時間関係全体の 関係間相互関係を考慮した辺編集器 (Edge-Editor; EE）を反復的に利用することで，既存手法で抽出 したグラフの辺間のみならず，編集された辺も含め た，辺間の関係性をグラフ全体で考慮することを目指す.ここでは，このEEとGIEEについてそれぞ れ説明し, その後, それらを使った予測と学習, 既存手法との接続について説明する.

## 2.1 辺編集器

まず辺同士の相互関係を考慮して辺を編集する深層学習ベースの辺編集器 $\mathrm{EE}$ について説明する. $\mathrm{EE}$ では BigBird [9] や Longformer [10] のような文書単位 の事前学習モデルを用いて得られる文脈表現と，グ ラフニューラルネットワーク（GNN）を用いて作成 する入力の時間関係グラフ $G^{i n}=\mathscr{G}\left(N, E^{i n}\right)$ の表現 から対象の辺に接続している節点ペアを分類して辺 を編集することで編集後のグラフ $G^{\text {out }}=\mathscr{G}\left(N, E^{\text {out }}\right)$ を出力する. モデルのパラメタを $\theta$ とすると $\mathrm{EE}$ は 以下のように表現できる.

$
G^{\text {out }}=\operatorname{EE}\left(\operatorname{doc}, G^{\text {in }} ; \theta\right)
$

辺の編集は以下の 3 ステップで行う. (1) 事前学習モデルによって節点の初期表現としてイベントの 文脈表現を作成する。（2）関係間の関係性を考慮す るために GNNを利用して入力グラフの構造情報を 埋め込んだ節点の表現を作成する。（3）節点ペアの 表現と編集前の辺の表現から辺を分類して編集後の グラフを作成する.

イベントの初期表現は，イベントを構成するトー クンの文脈表現を集約して作成する. 文長 $T$ の入力文書 doc を事前学習モデルによって埋め込んだトー

クンの表現 $X=\left[x_{1}, x_{2}, \cdots, x_{T}\right]$ の次元を線形層で減 らしたものに対して, $i$ 番目の節点の初期表現 $\boldsymbol{n}_{i}^{0}$ は 始点のトークンと終点のトークンとその間の表現の 平均を取って表現を作成する。

次に関係間の関係性をグラフ全体で考慮するため に入力グラフの構造表現を GNNによって埋め込む.具体的には関係ラベルの違いを捉えるために，異種 グラフが扱える Relational Graph Convolution Network （RGCN）[11]を $L$ 層積み重ねて $L$-hop の関係性を考慮した表現を作成する. $l$ 番目の層の節点の表現は, $\sigma(\boldsymbol{x})$ をシグモイド関数， $\boldsymbol{W}^{\text {self }}$ を自己ループのため のパラメタ，RGCN の引数を節点の表現と辺する と，以下のように表現できる。

$
\boldsymbol{n}_{i}^{l}=\boldsymbol{n}_{i}^{l-1} \boldsymbol{W}^{\text {self } \top}+\sigma\left(\operatorname{RGCN}\left(\boldsymbol{n}, E^{i n}\right)\right)
$

最後に，それぞれの節点ペア $\left(N_{i}, N_{j}\right)$ 間の辺を， その表現 $v_{i j}$ から同時に分類する. $v_{i j}$ は以下のよう に, $\operatorname{RGCN}$ の $L$ 層目の節点ぺアの表現 $\boldsymbol{n}_{i}^{L} と \boldsymbol{n}_{j}^{L}$, 編集前の辺のクラスを埋め込んだ $\boldsymbol{u}_{i j}=\operatorname{Embed}\left(E_{i j}^{i n}\right)$ を 結合した表現とする.

$
\boldsymbol{v}_{i j}=\left[\boldsymbol{n}_{i}^{L} ; \boldsymbol{n}_{j}^{L} ; \boldsymbol{u}_{i j}\right]
$

関係なしを含むクラス全体 $C$ の内，クラス $c$ に対 して用意した重み $w_{c}^{\text {edit } に よ る ~} \boldsymbol{v}_{i j}$ の重み付き和に よってスコア $z_{i j, c}$ を算出し, スコアが最大となるク ラスを選択することで編集を行う。

$
\begin{aligned}
z_{i j, c} & =\boldsymbol{w}_{c}^{e d i t} \boldsymbol{v}_{i j}^{\top} \\
E_{i j}^{o u t} & =\underset{c \in C}{\arg \max } p_{i j, c}
\end{aligned}
$

## 2.2 反復的な編集

EEにより辺を一度のみ編集した場合には，全て の辺が入力されたグラフの表現のみに基づいて同時 に編集されるため，編集結果の辺を含めた辺間の関係性を考慮出来ていない. そこで GIEEでは, 反復的に EEを利用して編集することで，グラフ全体で

の整合性がとれた辺編集を目指す，具体的には，ア ルゴリズム1のように，EEを繰り返し利用し，同じ 辺を複数回にわたって繰り返し編集することで，以前に編集した辺との関係性も考慮する。このとき， $\mathrm{EE}$ のパラメタを全ての反復で同一のパラメタとす るか $\left(\theta_{1}=\theta_{2}=\cdots=\theta_{I}\right)$, 全ての反復で別のパラメ タを使うかは，チューニングによって決定する。

## 2.3 アンサンブルを用いた予測

GIEE では同一の辺を複数回予測した結果が編集履歴として得られるため，その履歴を有効利用し，予測結果のアンサンブルを行い，抽出性能向上を目指す. それぞれの反復では異なるグラフを入力とし て予測をするため，アンサンブルするのに適してい ると言える. アンサンブルの方法は, 反復ごとの $z_{i j, c}$ の最大値・平均値・投票・アンサンブルなし（最後の反復の出力を使用）の 4 種類の中からチューニ ングで最も高い性能が得られたものを利用する。

## 2.4 学習

モデルの学習は, 各反復で予測されたグラフの 対数尤度を最大化すると同時に，アンサンブルで 得られた予測の対数尤度を最大化するための損失 $L^{\text {ens }}$ に対してもパラメタを最適化する. 反復的な編集に対する損失を $L^{i t r}$ とすると損失関数は $(1-\lambda) L^{i t r}+\lambda L^{\text {ens }}$ として学習する。

## 2.5 既存手法との接続

既存手法と本提案手法を接続し, 時間関係抽出に おいて関係間の関係性を考慮するために，提案手法 の入力 $G^{i n}$ の辺 $E^{i n}$ を既存の手法で抽出した時間関係として，パラメタを最適化する。このようにする ことで, 追加の実装を必要なしに, 既存手法の出力 を活かしつつ，容易に関係間の関係性を導入するこ とが可能になる.

## 3 評価

## 3.1 評価設定

提案手法の評価は時間関係抽出の評価における デファクトスタンダードとなっている MATRES コーパス [6] を用いて評価する. MATRES では時間関係のラベルが BEFORE, AFTER, EQUAL, VAGUE の 4 つのラベルが存在し, 既存研究 [12] と同様に VAGUE は負例として扱い，評価には含めないもの表 1 MATRES に対する既存手法との比較

とする. データは Wen と Ji [7] と同様に分割して，訓練，開発，評価用データはそれぞれ $234 ， 21 ， 20$件で，それぞれ含まれる関係数は $10,884 ， 1,852,818$件である. 評価は関係に対する $\mathrm{F}$ 値で， 3 回実験し たときの平均値を用いる.

評価は既存手法の出力をモデルの入力として最適化したものを既存手法の性能と比較する. 最先端 の手法の内，抽出結果が得られるもの [7,13] に限定し，再現実験によって得られた出力をモデルの入力として利用した. また, 入力のグラフの辺を空と した場合（スクラッチ）に対する抽出性能も確認す る. モデルの最適化には Adam [14]を用いた. モデ ルで利用する事前学習モデルは, 文書単位の事前学習モデルの中でも高い性能である BigBird [9] の重み を固定して利用する。 ハイパーパラメタチューニン グは Optuna [15]を用いて, Wen と Ji[7] の手法の出力に対して行い，その詳細は付録 $\mathrm{A}$ に示した.

## 3.2 結果

表 1 の結果では，スクラッチの場合は他の手法と 比較しても大幅に低い性能しか得られていないに もかかわらず，既存の手法に対して GIEEを適用す ると，編集前と比べて性能が一貫して向上している ことが確認できる。一方で，論文で報告されている スコアや最先端の結果と比較すると劣っているが, これは編集前の時点での性能が低かったことに起因すると考えられる. ベースラインとなるモデルの チューニングおよび選定は今後の課題である。 以上 のことから, GIEE は入力されたグラフ上で辺間の 関係性をグラフ全体で考慮することで，抽出性能を 向上させる効果を持つと言える.

## 4 解析

提案モデルの動作メカニズムを解明するため，八 イパーパラメタチューニングで得られた特徴的な パラメタの考察と, 反復ごとに出力されるグラフの

図 2 反復ごとの抽出性能. 水平線はアンサンブルしたと きの $\mathrm{F}$ 値，反復回数 0 は編集前の $\mathrm{F}$ 値を示している.

抽出性能について議論する。アブレーションの結果 を表 2 に示した. ハイパーパラメタチューニングで 得られたパラメタとして特徴的だったのは，全ての $\theta$ を同一にする点である. これは，全く同じパラメ タのモデルで自己回帰してその出力をアンサンブ ルするのが最も良い性能となる，ということを示し ており，モデルのパラメタ数を増やすことなく性能 を向上させることができる。また，アブレーション によって確認された，モデルに最も寄与していた点 は， $u_{i j}$ による入力されたグラフの情報を保持する 機構であり，これを除くと $3 \%$ ポイント以上性能が 低下した。次に影響があったのは時間関係全体の 相互関係を確認するための RGCN の層の数 $L$ で， RGCN を利用しない場合においては約 $1 \%$性能が低下した. この結果から，既存手法に対して 関係間の関係性を導入することで性能が向上したと いうことが確認でき，関係間の関係性を考慮する重要性が確認できた。アブレーションに関する解析の 詳細は付録 B に示す。

図 2 の Wen と Ji+GIEE における最高性能のモデル の反復ごとの結果を確認すると，どの場合において も編集前に比べて徐々に抽出性能が向上し，その後低下していることが確認できる．アブレーションの 結果から $I<5$ の場合には性能が低下していること から，前半の反復では抽出出来ていない部分を後半 の反復で抽出しようとして反復単体の性能は低下し ているのではないかと考えられる。最終的なアンサ ンブルとそれぞれの反復を比較すると，ほとんどの 反復で下回っているが，同じパラメタのモデルに対 して少し異なるグラフを入力してアンサンブルした ことで性能が向上した. これは性能が低くなってい表 2 Ablation study

る後半の反復も有意義な情報を提供していることを 示している。

## 5 関連研究

文単位の関係抽出では関係グラフ上での表現を利用した手法が提案されているが，文書単位に適用す るのは計算コスト上難しいという問題がある [16].文書単位の関係抽出では文書のグラフを構築して用語間の関係性をモデル化した手法が提案されている $[17,18]$. しかしながら，関係を辺としてグラフを構築していない.このような中で，文書単位の関係抽出において順次的に関係グラフの辺を編集する手法 [19] が提案されたが，編集された辺同士の関係性が 考慮できておらず，時間関係抽出にも適用されてい ない.

## 6 結論

本研究では時間関係抽出において，既存手法に対 して容易に接続可能で時間関係グラフ全体の関係間の関係性を考慮可能なモデルとして，既存手法が 出力した時間関係グラフをグローバル反復辺編集器 GIEE によって編集する方法を提案した. 実験で は2つの既存手法に提案手法を適用し，いずれの手法についても性能を向上させることができ，関係間 の関係性を導入する有効性が確認できた。今後の課題は，本研究で提案した編集する機構がどのように 作用しているのか更なる調査を行い，単一のコーパ スのみでなく，他のコーパスでの調査を進める。ま た，本提案のように，既存の抽出手法に対して接続 するような設定において，更に効果的な方策がない か調査する。

## 参考文献

[1] Yuan Yao, Deming Ye, Peng Li, Xu Han, Yankai Lin, Zhenghao Liu, Zhiyuan Liu, Lixin Huang, Jie Zhou, and Maosong Sun. DocRED: A large-scale document-level relation extraction dataset. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 764-777, Florence, Italy, July 2019. Association for Computational Linguistics.

[2] Iris Hendrickx, Su Nam Kim, Zornitsa Kozareva, Preslav Nakov, Diarmuid Ó Séaghdha, Sebastian Padó, Marco Pennacchiotti, Lorenza Romano, and Stan Szpakowicz. SemEval-2010 task 8: Multi-way classification of semantic relations between pairs of nominals. In Proceedings of the 5th International Workshop on Semantic Evaluation, pp. 33-38, Uppsala, Sweden, July 2010. Association for Computational Linguistics.

[3] Rujun Han, Xiang Ren, and Nanyun Peng. ECONET: Effective continual pretraining of language models for event temporal reasoning. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 5367-5380, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[4] Puneet Mathur, Rajiv Jain, Franck Dernoncourt, Vlad Morariu, Quan Hung Tran, and Dinesh Manocha. TIMERS: Document-level temporal relation extraction. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 524-533, Online, August 2021. Association for Computational Linguistics.

[5] Naushad UzZaman, Hector Llorens, Leon Derczynski, James Allen, Marc Verhagen, and James Pustejovsky. SemEval-2013 task 1: TempEval-3: Evaluating time expressions, events, and temporal relations. In Second Joint Conference on Lexical and Computational Semantics ('SEM), Volume 2: Proceedings of the Seventh International Workshop on Semantic Evaluation (SemEval 2013), pp. 1-9, Atlanta, Georgia, USA, June 2013. Association for Computational Linguistics.

[6] Qiang Ning, Hao Wu, and Dan Roth. A multi-axis annotation scheme for event temporal relations. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1318-1328, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[7] Haoyang Wen and Heng Ji. Utilizing relative event time to enhance event-event temporal relation extraction. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 10431-10437, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[8] Qiang Sheng, Juan Cao, Xueyao Zhang, Xirong Li, and Lei Zhong. Article reranking by memory-enhanced key sentence matching for detecting previously fact-checked claims. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 5468-5481, Online, August 2021. Association for Computational Linguistics.

[9] Manzil Zaheer, Guru Guruganesh, Kumar Avinava Dubey, Joshua Ainslie, Chris Alberti, Santiago Ontanon, Philip Pham, Anirudh Ravula, Qifan Wang, Li Yang, et al. Big bird: Transformers for longer sequences. Advances in Neural Information Processing Systems, Vol. 33, , 2020.

[10] Iz Beltagy, Matthew E. Peters, and Arman Cohan. Longformer: The long-document transformer. arXiv:2004.05150, 2020.

[11] Michael Schlichtkrull, Thomas N. Kipf, Peter Bloem, Rianne van den Berg, Ivan Titov, and Max Welling. Modeling relational data with graph convolutional networks. In Aldo Gangemi, Roberto Navigli, Maria-Esther Vidal, Pascal Hitzler, Raphaël Troncy, Laura
Hollink, Anna Tordai, and Mehwish Alam, editors, The Semantic Web, pp. 593-607, Cham, 2018. Springer International Publishing.

[12] Miguel Ballesteros, Rishita Anubhai, Shuai Wang, Nima Pourdamghani, Yogarshi Vyas, Jie Ma, Parminder Bhatia, Kathleen McKeown, and Yaser Al-Onaizan. Severing the edge between before and after: Neural architectures for temporal ordering of events. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5412-5417, Online, November 2020. Association for Computational Linguistics.

[13] Xinyu Zhao, Shih-Ting Lin, and Greg Durrett. Effective distant supervision for temporal relation extraction. In Proceedings of the Second Workshop on Domain Adaptation for NLP, pp. 195203, Kyiv, Ukraine, April 2021. Association for Computational Linguistics.

[14] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

[15] Takuya Akiba, Shotaro Sano, Toshihiko Yanase, Takeru Ohta, and Masanori Koyama. Optuna: A next-generation hyperparameter optimization framework. In Proceedings of the 25rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2019.

[16] Tsu-Jui Fu, Peng-Hsuan Li, and Wei-Yun Ma. GraphRel: Modeling text as relational graphs for joint entity and relation extraction. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1409-1418, Florence, Italy, July 2019. Association for Computational Linguistics.

[17] Fenia Christopoulou, Makoto Miwa, and Sophia Ananiadou. Connecting the dots: Document-level neural relation extraction with edge-oriented graphs. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4925-4936, Hong Kong, China, November 2019. Association for Computational Linguistics.

[18] Guoshun Nan, Zhijiang Guo, Ivan Sekulic, and Wei Lu. Reasoning with latent structure refinement for document-level relation extraction. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1546-1557, Online, July 2020. Association for Computational Linguistics.

[19] Kohei Makino, Makoto Miwa, and Yutaka Sasaki. A neural edgeediting approach for document-level relation graph extraction. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 2653-2662, Online, August 2021. Association for Computational Linguistics.

[20] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: a simple way to prevent neural networks from overfitting. The Journal of Machine Learning Research, Vol. 15, No. 1, pp. 1929-1958, 2014.

[21] James Bergstra, Rémi Bardenet, Yoshua Bengio, and Balázs Kégl. Algorithms for hyper-parameter optimization. In J. Shawe-Taylor, R. Zemel, P. Bartlett, F. Pereira, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 24, pp. 2546-2554. Curran Associates, Inc., 2011.

[22] Liam Li, Kevin Jamieson, Afshin Rostamizadeh, Ekaterina Gonina, Jonathan Ben-tzur, Moritz Hardt, Benjamin Recht, and Ameet Talwalkar. A system for massively parallel hyperparameter tuning. In I. Dhillon, D. Papailiopoulos, and V. Sze, editors, Proceedings of Machine Learning and Systems, Vol. 2, pp. 230-246, 2020 .

## 付録

## A チューニングの詳細

モデルの学習時には正則化のためにドロップアウ ト [20] を加える. ドロップアウトは入力 $\boldsymbol{X}$, 出力層 の前の $\boldsymbol{v}_{i j}$ に対するもの，それ以外の隠れ層全てに 対するものの 3 種類に分けて，それぞれのドロップ アウト率をハイパーパラメタとする．チューニング 時には提案したモデルに追加して，EE の代わりに 順次的な編集 [19] を反復的に行えるように， $d_{\text {max }}$ というパラメタを追加し,$d_{\text {max }}=1$ の場合には $\mathrm{EE}$ と同一, $d_{\text {max }}>2$ の場合には文内の節点ペア，隣接文の節点ペアと徐々に離れたものを順次的に編集で きるようにした.また，アンサンブルについては， どの反復を重要視して優先的に利用するか重みづけ できるパラメタとして， $\sum_{k=1}^{K} w_{k}$ の条件で $k$ 番目の 反復の重みを $w_{k}$ とした. 重みづけを利用する場合 は，例えば平均でのアンサンブルは学習可能な重み を利用した重み付き平均に変化する。

ハイパーパラメタチューニングは Optuna [15]を用 いて，枝刈りされたものも含めて 1,000 回の試行で 開発データに対する $\mathrm{F}$ 値が最大となるパラメタを探索した。パラメタのサンプリングには木構造 Parzen 推定 [21], 探索の枝刈りアルゴリズムは論文中の パラメタを $s=1, \eta=2, r=0.15$ とした Successive Halving アルゴリズム [22]を利用した. チューニ ングは複数のマシンで分散して行い，NVIDIA 社 の GTX 1080Ti，RTX 3090，Tesla V100，TITAN V の GPU が搭載されたマシンを利用した.

探索空間とチューニングによって得られたパラメ タは表 3 に示した. チューニングしたパラメタは表 の上から, Adam の学習率, 3 種類のドロップアウト 率, $\mathrm{RGCN}$ の層の数 $L, \mathrm{RGCN}$ に逆方向の辺を追加 する双方向 RGCN とするかどうか, 全体的な隠れ層 の次元数, 編集前の辺の埋め込み $u_{i j}$ の次元数, 反復回数 $I$, アンサンブルの種類, アンサンブルの重 み $w_{k}$ の有無，アンサンブルの損失の重み $\lambda, \theta$ およ び順次的な編集の順次毎の $\theta$ をすべて同じものに するかどうか，順次の最大値 $d_{\text {max }}$ の計 15 個であ る. チューニングの結果から，順次的な編集は必要 なく，すべての辺を同時に繰り返し編集する方がよ いということが確認できた.表 3 ハイパーパラメタチューニングの探索空間と結果

 & 平均値 \\

## B Ablation study

性能向上がモデルの何に起因しているのか確認 するために，表 2 に示したようなアブレーションを 行った. アブレーションは最も高い性能を示した Wen と Ji+GIEE に対して行った. また，別途入力に 完全に正解を与えた場合（Gold）についても検証し た. アブレーションにおいても 3 回実験を行った際 の平均の $\mathrm{F}$ 值で評価した.

まず反復回数 $I$ を減らした場合には，全ての場合 に対して開発・評価ともに僅かに性能が低下してい ることが確認できる。編集前の辺の埋め込み $u_{i j}$ を 消去した場合には編集前と比べても性能が大きく 低下しており，編集前の情報を損なわないために重要な役割であると確認できる. アンサンブルの損

にはどちらも評価データに対する性能が低下して おり，この損失の必要性が確認できる. RGCN の層 の数 $L$ については，グラフの構造情報が欠損する $L=0$ のケースにおいては編集前より性能が低下し ている. $L=1$ としたケースでも依然として性能が 低いままである。また， Gold の場合では完全に入力 を再現できており，入力を完全に保持することが可能であると確認できた. 以上の結果から，我々の提案に大きく寄与しているのは，編集前の入力グラフ を保持する機構とグローバルに関係間の関係性を考慮する点で，既存手法に対して関係間の関係性を導入する重要性が確認できる.


# Improving Medical Relation Extraction with Distantly Supervised Pre-training

Zhen Wan Fei Cheng Zhuoyuan Mao Qianying Liu Haiyue Song Sadao Kurohashi
Kyoto University
\{ZhenWan, zhuoyuanmao, ying, song\}nlp.ist.i.kyoto-u.ac.jp
\{feicheng, kuro\}i.kyoto-u.ac.jp
}

\begin{abstract}
Relation extraction (RE) is used to populate knowledge bases that are important to many applications. Traditional RE task largely relies on the sufficiency of labeled training data, but for medical domain relation extraction, it is costly and time-consuming to construct large labeled training data. Meanwhile, there are many available unlabeled medical corpora. To utilize both the abundance of raw corpora and the accuracy of annotated datasets, we propose a two-stage framework to pre-train models on an intermediate task for improving the target RE task performance. In the first stage, we also introduce a distant supervision based method to construct the training data for the intermediate task. The empirical results suggest the proposal significantly improve the target RE task.
\end{abstract
## 1 Introduction

Relation extraction is the task of extracting semantic relationships from a text. Such a relationship occurs between one or more entities of a certain type (eg: person, organization) and belongs to a particular semantic category (eg: date of birth, employed by). Consider the sentence "Joe Biden in the president of America" in figure 1. Here, the relation "president of" connects the subject entity "Joe Biden" to the object entity "America". Relation extraction has many applications in information extraction, creating or extending knowledge bases, automatically annotating structured information found in text and recently, in evaluating the factual consistency of abstractive text summarization. With the recent advance of deep learning, neural relation extraction (NRE) models (Baldini Soares et al [1];Zeng et al [2];Zhang et al [3]; Chen et al [4]) have achieved the latest state-of-the-art results and some of them are even comparable with human performance on several public RE benchmarks.

Figure 1 An example for relation extraction to identify relationship between entites mentioned in the text.

However, The success of NRE models on current RE benchmarks largely relies on the sufficiency of training data, but manual annotation is costly and time-consuming in specific domain, such as medical relation extraction. In this case, the insufficient amount of training data may be the reason that hinders the good results of relation extraction tasks. Meanwhile, although The labeling of medical datasets is a complex problem, there are many available unlabeled medical texts. The existence of such rich raw corpora makes us wonder: Can we utilize large raw corpora to improve RE on annotated datasets ?

In this article, we propose a two-stage fine-tuning framework for solving this question. In the first stage, we pretrain models on an intermediate task with weak supervision extracted from large raw corpora, and then in the second stage, we can further fine-tune the output trained models on the original annotated dataset, which is our target relation extraction task. Through such a framework, we can both take advantage of the abundant data brought by distant supervision (DS) and maintain the accuracy brought by manual annotation data.

The idea of a pre-training and fine-tuning framework has been a new trend in the relation extraction field (Peng et al [5], Robert Ormandi et al [6]). The recent work Contrastive Pre-training (CP) by Peng et al [5] has confirmed the effectiveness of the pre-training stage to improve the final target relation extraction task. In their work, they first generate a dataset from Wikipedia data by distant supervi-
sion and use this constructed dataset as a pre-training step. Given a triplet in the knowledge base (KB) containing a particular entity pair and their corresponding relation type, any sentence from the raw text sharing the same two entity pairs at the same time will be extracted and labeled the corresponding relation type as shown in figure 2. As for the second fine-tuning stage, Peng et al [5] further fine-tune the model on various target datasets to figure out whether the pre-training step can improve the final performance of the relation extraction task on each dataset.

There are two limitations of their framework. 1) The intermediate pre-training data extracted from wikipedia has a different domain from multiple target datasets. This inconsistency between two stages may lead to unreliable influence on the target task. 2) KBs are not always available in a specific domain, such as the medical domain. Instead of relying on an existing $\mathrm{KB}$, we propose to induce a triplet set from the target manual annotated dataset so that we can generate a distantly supervised dataset for pre-training. In this way, we can ensure consistency between the two steps and avoid the lack of available KBs in the medical domain. In the section 3, we will introduce the details to construct the distantly supervised dataset, and to use two state-of-the-art (SOTA) distant supervision approaches in the pre-training stage. Then in section 4 , we will implement experiments to figure out whether the pre-training stage can improve the final target relation extraction task.

Figure 2 A distant supervision example, from the triplet in the $\mathrm{KB}$, we can align entity pairs with relation to the text to construct a labeled instance.

Generally, we summarize our contributions as follows:
- We introduce a two-stage framework by leveraging the intermediate task in the first stage to improve the target relation extraction task in the second stage.
- We construct intermediate medical RE dataset distantly supervised by the triplets derived from the manual target data, which can serve various future applications.

## 2 Related Work

With awareness of the existing DS noise, Surdeanu et al [7]introduces the multi-instance learning (MIL) framework to distantly supervised relation extraction (DSRE) by dividing training instances into several bags and using bags as new data units. Regarding the strategy for selecting instances inside the bag, the soft attention mechanism proposed by Lin et al [8] is widely used for its better performance than the hard selection method. The ability to form accurate representations from noisy data makes the MIL framework soon become a paradigm of following-up works.

More recently, Chen et al [9] argues that the longstanding MIL framework can not effectively utilize abundant instances inside MIL bags, they propose a novel contrastive instance learning (CIL) method to boost the distantly supervised relation extraction (DSRE) model performances under the MIL framework. In detail, they regard the initial MIL framework as the bag encoder, which provides relatively accurate representations for different relational triples. Then they develop contrastive instance learning (CIL) to utilize each instance in an unsupervised manner: In short, the goal of their CIL is that the instances sharing the same relational triples (i.e.positive pairs) ought to be close in the semantic space, while the representations of instances with different relational triples (i.e.negative pairs) should be far away. They achieve dramatic improvement on various benchmarks, but as it is a MIL-based method, the reliability of MIL strategy and the noise in DS data still constrain the RE task performance.

In order to reduce the influence of noise labeling in the DS part, another recent work CP [5] has removed the MIL loss in their pre-training stage on DS data, the objective function only focuses on contrastive learning loss to avoid the noise labeling. Their final results on target fine-tuning datasets confirm the effectiveness of the contrastive learning loss in pre-training step.

## 3 Proposed Method

In this section, we first present an overview of our proposed approach in Section 3.1 and then detail our approach in Section 3.2, 3.3.

Table 1 Statistics of i2b2 2010VA, \# Rel denotes the number of relation types. \# Train, \# Dev, \# Test denote the number of instances in train, dev and test.

## 3.1 Overview

The traditional supervised relation extraction task is based on a human-annotated dataset. However, with the large corpora as external knowledge, the task now starts from an annotated dataset, then extracts proper sentences from raw corpora by distant supervision, and uses this generated dataset as a pre-training step to improve the relation extraction task on the original annotated dataset. We show the overview of our proposal in the figure 3.

## 3.2 External Datasets Construction

i2b2 2010VA shared task collection consists of 170 documents for training and 256 documents for testing, which is the subset of the original dataset [10]. The dataset was collected from three different hospitals and was annotated by medical practitioners for eight types of relations between problems and treatments.

This is our final target dataset, and to construct a knowledge base for distant supervision, normally, we can randomly select two entities from the i2b2 2010VA dataset and combine them with their labeled relation type to generate a triplet. However, this random strategy may involve too many entity pairs, including cross sentence pairs whose relation types are hard to confirm. To make the task more realistic, we will focus on each sentence. First, extract all entities in the particular sentence, and if any two of them are labeled a relation type, they will generate a triplet with a particular relation. Otherwise, they will still generate a triplet but labeled NA (no relation)

Normally, we can randomly select two entities from the annotated dataset and combine them with their labeled relation type to generate a triplet. However, this random strategy may involve too many entity pairs, including cross sentence pairs whose relation types are hard to confirm. To make the task more realistic, we will focus on each sentence. First, extract all entities in the particular sentence, and if any two of them are labeled a relation type, they will generate a triplet with a particular relation. Other-

Table 2 Statistics of DS dataset from MIMIC-III, \# Triplets denotes the number of triplets in the KB generated from i2b2 2010VA, and NA denoted no-relation triplets.

wise, they will still generate a triplet but labeled NA (no relation). For example,

After constructing the knowledge base, we can extract valuable sentences from raw text based on each triplet in the KB. The strategy here is a standard distant supervision method as in Introduction. To balance the number of sentences extracted by each triplet, we also add an upper bound to the number of extracted sentences. As i2b2 2010VA is a medical domain dataset, for the purpose of consistency, we then choose MIMIC-III ( 'Medical Information Mart for Intensive Care' ) as the raw text to extract sentences.

MIMIC-III is a large, single-center database comprising information relating to patients admitted to critical care units at a large tertiary care hospital. Data includes vital signs, medications, laboratory measurements, observations and notes charted by care providers, fluid balance, procedure codes, diagnostic codes, imaging reports, hospital length of stay, survival data, and more. The database supports applications including academic and industrial research, quality improvement initiatives, and higher education coursework.

## 3.3 Two-Stage Framework

Pre-training Stage The goal of the pre-training step is both to utilize extracted sentences from large raw corpora and to avoid noise in the distant supervision method. We leverage two introduced SOTA contrastive learning methods (CIL, CP) to solve the first-stage distant supervision pre-training. CIL use bag-level information to construct postive and negative pairs for contrastive learning, and $\mathrm{CP}$ instead focuses on relation-level information to construct positive and negative pairs.

Fine-tuning Stage After the pre-training step, the output model will be regarded as the input model in the final fine-tuning (FT) step, here we treated the relation extraction task as a sentence classification by replacing two named entities in the sentence with predefined tags (e.g., @GENE\$, @DRUG\$) (Lee et al [11]). For example, we used “@CHEMICAL\$ protected against the RTI76-induced inhibition of @GENE\$ binding.” to replace

Figure 3 Overview of our proposed approach.

the original sentence "Citalopram protected against the RTI-76-induced inhibition of SERT binding." in which "citalopram" and "SERT" has a chemicalgene relation. The only difference is that the input model will be a pretrained language model for traditional relation extraction such as BERT, and the input model is the output model from the pre-training step for this task.

## 4 Experiment

## 4.1 Baselines

Our task is to improve the RE on i2b2 2010VA dataset, and the fundamental baseline is to directly fine-tune (FT) language models on i2b2 2010VA without the pre-training step. At the same time, we choose two introduced SOTA methods, CIL [9] + FT and CP [5] + FT to utilize the pretraining step best. As for the experiment settings of CIL + FT and CP + FT, we follow the default hyper-parameters in their papers. The implementation of $\mathrm{CP}$ can be found on their website ${ }^{1)}$, and we also receive the codes for CIL from its author via email.

We use both Bert-base-uncased [12] and the SOTA medical domain BlueBert [13] as the pre-trained language model to better evaluate the performance.

## 4.2 Results

We summarize the model performances of directly finetuning and two-step models in the Table 3. From the results, we can observe that: (1) For both bert-base-uncased and the SOTA BlueBert, with the external pre-training step, both CIL and CP improve the final performance. (2) The

Table 3 Overall results.

SOTA BlueBert can obviously improve the medical relation extraction task. (3) Compared with the CIL method, $\mathrm{CP}$ achieves a better result on final evaluation, we assume that as CIL is a MIL based framework, its MIL loss may include more noise generated from distant supervision, which somehow leads to a worse result in the final fine-tuning.

## 5 Conclusion

We introduce a two-stage framework to improve the traditional medical relation extraction. Experiment results show that through this framework, we can benefit both from the abundance of training data by distant supervision and the accuracy of the human-annotated dataset. We also propose a method to generate a distantly supervised dataset from raw corpora based on the annotated dataset without relying on an exisiting $\mathrm{KB}$, which we can use for future purposes.

## References

[1] Livio Baldini Soares, Nicholas FitzGerald, Jeffrey Ling, and Tom Kwiatkowski. Matching the blanks: Distributional similarity for relation learning. In Proceedings of
the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2895-2905, Florence, Italy, July 2019. Association for Computational Linguistics.

[2] Daojian Zeng, Haoran Zhang, and Qianying Liu. Copymtl: Copy mechanism for joint extraction of entities and relations with multi-task learning. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 9507-9514, Apr. 2020.

[3] Ranran Haoran Zhang, Qianying Liu, Aysa Xuemo Fan, Heng Ji, Daojian Zeng, Fei Cheng, Daisuke Kawahara, and Sadao Kurohashi. Minimize exposure bias of seq2seq models in joint entity and relation extraction, 2020

[4] Zexuan Zhong and Danqi Chen. A frustratingly easy approach for entity and relation extraction. In North American Association for Computational Linguistics (NAACL), 2021.

[5] Hao Peng, Tianyu Gao, Xu Han, Yankai Lin, Peng Li, Zhiyuan Liu, Maosong Sun, and Jie Zhou. Learning from context or names? an empirical study on neural relation extraction, 2020.

[6] Róbert Ormándi, Mohammad Saleh, Erin Winter, and Vinay Rao. Webred: Effective pretraining and finetuning for relation extraction on the web. CoRR, Vol. abs/2102.09681, , 2021.

[7] Mihai Surdeanu, Julie Tibshirani, Ramesh Nallapati, and Christopher D. Manning. Multi-instance multi-label learning for relation extraction. In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, pp. 455-465, Jeju Island, Korea, July 2012. Association for Computational Linguistics.

[8] Yankai Lin, Shiqi Shen, Zhiyuan Liu, Huanbo Luan, and Maosong Sun. Neural relation extraction with selective attention over instances. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2124-2133, Berlin, Germany, August 2016. Association for Computational Linguistics.

[9] Tao Chen, Haizhou Shi, Siliang Tang, Zhigang Chen, Fei Wu, and Yueting Zhuang. CIL: Contrastive instance learning framework for distantly supervised relation extraction. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 6191-6200, Online, August 2021. Association for Computational Linguistics.

[10] Özlem Uzuner, Brett R South, Shuying Shen, and Scott L DuVall. 2010 i2b2/VA challenge on concepts, assertions, and relations in clinical text. Journal of the American Medical Informatics Association, Vol. 18, No. 5, pp. 552-556, 062011.

[11] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. Biobert: a pre-trained biomedical language representation model for biomedical text mining, 2019

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] Yifan Peng, Shankai Yan, and Zhiyong Lu. Transfer learning in biomedical natural language processing: An evaluation of bert and elmo on ten benchmarking datasets, 2019.