# 論文の要旨からのタイトル生成における キーワードと分野別 fine-tuning の効果

金野佑太
茨城大学 工学部
17t4039x@vc.ibaraki.ac.jp
}

古宮嘉那子
茨城大学 理工学研究科
kanako.komiya.nlp@vc.ibaraki.ac.jp

## 1 はじめに

本稿では、Encoder-Decoder モデルにより論文の要旨からタイトルの生成を行う際に、論文の要旨に キーワードを追加する手法と、論文の分野ごとに fine-tuning する手法の効果について検証する。訓練 データに、論文の要旨のみを使用したモデル、論文 のキーワードのみを使用したモデル、論文の要旨と キーワードを使用したモデルの合計 3 つのモデルを 作成し、スコアの比較を行った。また、様々な学会 に投稿された論文のデータを用いてモデルを作成 し、電子情報通信学会と日本建築学会に投稿された 論文のデータを使用して fine-tuning を行った。テス トデータには、電子情報通信学会、日本建築学会、情報処理学会、土木学会、高分子学会の 5 つの学会 のデータを使用した。評価には要約用の評価指標で ある ROUGEを用いた。

実験の結果、論文の要旨にキーワードを追加する ことで ROUGE スコアの改善は見られなかったが、論文の分野ごとに fine-tuning することでROUGE ス コアの向上が見られた。

## 2 関連研究

文書要約の研究はこれまでに多く行われてお り、様々なモデルが考案されている。See ら [1] は、 Pointer を介して入力系列から単語をコピーする Pointer-Generator と、入力系列中の要約された内容 を追跡する Coverage Vector を使用するモデルを提案 した。その結果、要約の不正確さと単語の繰り返し 出力を低減することを示した。本研究では、キー ワードを利用した文書要約の効果を検証している。 キーワードを利用した文書生成の研究には、[2] が ある。また、本研究では論文のタイトルと要旨を研究に用いているが、これらから特徴語を抽出する研究には [3] がある。

## 3 提案手法

## 3.1 Encoder-Decoder モデルによる論文要旨からのタイトル生成

本稿では、Encoder-Decoder モデルによる論文の 要旨からのタイトル生成において、論文の要旨に キーワードを追加する手法と、論文の分野ごとに fine-tuning する手法の効果について検証する。

システムの入力には論文の要旨を単語分割した系列データを使用する。単語分割には形態素解析器で ある $\mathrm{MeCab}^{1)}$ を使用した。Encoder では入力となる 系列データが Embedding 層で単語分散表現へと変換 され、RNN 層により隠れ状態ベクトルが算出され る。RNN 層では LSTM を利用し、Forward LSTM 層 と Backward LSTM の 2 層を持つ BiLSTM を使用し た。Decoder では隠れ状態べクトルと単語分散表現 を用いてタイトルとなるターゲット系列が生成さ れる。

## 3.2 論文のキーワードの追加

本実験では、Encoder-Decoder モデルへの入力とし て、論文のキーワードの果たす効果について検証す る。本研究で使用した入力データの形態は以下の 3 通りである。

・要旨のみ

・キーワードのみ

・要旨とキーワード

要旨は MeCabを用いて単語分割した系列データ、 キーワードはキーワードのリストを空白区切りの系列データとして扱う。

論文の要旨にキーワードを追加するのは、タイト ルにほぼ必須とも言える重要な単語が欠落すること を防ぐ効果を期待している。


## 3.3 分野別 fine-tuning

本実験では、論文の分野ごとに fine-tuning するこ とによる論文要旨からのタイトル生成の効果につい て検証する。

3.2 節で述べた要旨のみを入力データとしたモデ ルに対して、特定の分野の論文を訓練データとして fine-tuning を行った。要旨のみを入力データとした モデルは複数の分野の論文を訓練データとして作成 するため、これを General モデルとする。実験では、 General モデルと fine-tuning したモデルの ROUGE ス コアを比較する。

論文の分野ごとに fine-tuning を行うのは、タイト ルを生成したい論文の分野が既にわかっているとき に同じ分野の論文で訓練されたモデルの方が高い精度を出すことを期待している。

## 4 実験

## 4.1 モデル

モデルの構築には、See らの実装を参考にしたモ デルである OpenNMT BRNN(1layer, emb128, hid512) モデルのパラメータを使用した。実験では LSTM を用いた Attention 付き Encoder-Decoder モデルを使用した。Encoder-Decoder ともに単語ベクトルサイ ズを 128、次元数を 512 とする 1 層 LSTM を使用 した。Encoder では双方向 LSTM(Bidirectional LSTM) を使用し、各方向の次元数をそれぞれ 256 とした。 Attention 層には Bahdanau ら [4] の注意機構 MLP を 使用した。最適化アルゴリズムには adagrad を使用 し、学習率を 0.15 にした。そして、モデルがソース から単語をコピーするためのコピー機構を導入し た。また、実装にはオープンソースのニューラル機械翻訳及びニューラルシーケンス間学習のための ツールである OpenNMT ${ }^{2}$ を使用した。

## 4.2 データセット

実験に使用するコーパスに NII Testbeds and Community for Information access Research (NTCIR ${ }^{3}$ ) はが提供するデータセット NTCIR-1 と NTCIR-2を 用いた。NTCIR-1 と NTCIR-2 はそれぞれ学会発表 データベースからデータを収集したもので、論文の 要旨やタイトル、主催学協会名や著者が付与した


表 1 学会別のコーパス (組数)

表 2 キーワードに関する実験に使用するコーパス (組数)

キーワードのリストなどが含まれている。

論文のキーワードに関する実験では、学習、開発、テストに使用するデータは学会別に分割した。 データ数が多かった上位 5 つの学会である、電子情報通信学会、日本建築学会、情報処理学会、土木学会、高分子学会とその他の学会に対してそれぞれ分割を行った。使用したデータの組数は表 1 に示す。全体ではその他の学会を含め 69 個の学会が存在す る。また、キーワードが付与されていない論文デー タも存在するため、キーワードありのデータは全て のデータよりも数が少なくなっている。

各学会の学習、開発、テストデータの分割の仕方 は以下の通りである。電子情報通信学会と日本建築学会のテストデータは fine-tuning 用としても使用す るため割合が多くなっている。
- 電子情報通信学会 $=(4: 1: 5)$
- 日本建築学会 $=(4: 1: 5)$
- 情報処理学会 $=(3: 1: 1)$
- 土木学会 $=(3: 1: 1)$
- 高分子学会= $=(3: 1: 1)$

-その他の学会 $=(4: 1: 0)$

要旨のみ、キーワードのみ、要旨とキーワードを 入力とするモデルに使用するデータの組数は表 2 に 示す。

分野別 fine-tuning の実験に使用する学会はデータ 数が多い上位 2 つの学会である電子情報通信学会と 日本建築学会を使用する。fine-tuning には、General モデルの学習データと開発データ以外のデータを 使用した。fine-tuning 用の電子情報通信学会と日本建築学会のデータは 5 分割し、3:1:1 の割合で学習
表 3 分野別 fine-tuning の実験に使用するコーパス (組数)

データ、開発データ、テストデータとして使用し、 5 分割交差検定を行った。テストデータには General モデルと同様に 5 つの学会のデータを使用した。実験に使用したデータの組数は表 3 に示す。括弧内は General モデルの作成に使用するデータ数である。

## 4.3 評価

評価には、テキスト要約用の評価指標である ROUGE[5]を使用した。ROUGEには様々なバリ エーションがあるが、本実験では以下の 3 つの指標 を用いる。

## - ROUGE-1
- ROUGE-2
- ROUGE-L

ROUGE-N(N=1,2,...) は N-gram 単位での単語の一致率で評価する手法である。ROUGE-N のスコアは 再現率と適合率の調和平均である $\mathrm{F}$ 値に等しい。再現率は、正解データの単語数のうち予測データと一致した単語数の割合を表し、式 (1)のように計算で きる。また、適合率は、予測データの単語数のうち 正解データと一致した単語数の割合を表し、式 (2) のように計算できる。ただし、Count ${ }_{\text {macth }}$ は正解 データと予測データの n-gram が一致している場合 に 1 を返す関数であり、ref は参照要約である正解 データ、sum は候補要約である予測データを表す。

$
\begin{aligned}
& \frac{\sum_{S \in \text { ref }} \sum_{\text {gram }_{n} \in S} \text { Count }_{\text {match }}\left(\text { gram }_{n}\right)}{\left.\sum_{S \in \text { ref }} \sum_{\text {gram }_{n} \in S} \operatorname{Count} \text { gram }_{n}\right)} \\
& \frac{\sum_{S \in \text { sum }} \sum_{\text {gram }_{n} \in S} \operatorname{Count}_{\text {match }}\left(\text { gram }_{n}\right)}{\left.\sum_{S \in \text { sum }} \sum_{\text {gram }_{n} \in S} \operatorname{Count} \text { gram }_{n}\right)}
\end{aligned}
$

ROUGE-L は、正解データと予測データで一致 する最大のシーケンス Longest Common Subsequence （LCS）で評価する手法である。ROUGE-L のスコア は ROUGE-N と同様に再現率と適合率の調和平均に

等しい。単語数が $m$ の正解データXと単語数が $n$ の予測データ Yを用いて、再現率と適合率はそれぞ れ式 (3) と式 (4) のように計算できる。ただし、LCS は2つの一致する最大のシーケンス長を表す。

$
R_{l c s}=\frac{L C S(X, Y)}{m}
$

$
P_{l c s}=\frac{\operatorname{LCS}(X, Y)}{n}
$

論文のキーワードに関する実験では、要旨のみ、 キーワードのみ、要旨とキーワードの 3 つのモデル に対してスコアの比較を行った。電子情報通信学会、日本建築学会、情報処理学会、土木学会、高分子学会をテストデータとし、各テストデータに対し て ROUGE スコアを算出してマイクロ平均をとった ものを最終的なスコアとして使用した。

分野別 fine-tuning の実験では、General モデルと 電子情報通信学会で fine-tuning したモデル、日本建築学会で fine-tuning したモデルの比較を行う。 fine-tuning したモデルは 5 分割交差検定を行ってい るため、 5 回分の平均をとったものを最終的なスコ アとして使用した。

## 5 実験結果

表 4 に要旨のみ、キーワードのみ、要旨とキー ワードをそれぞれ入力としたモデルの ROUGE スコ アを示す。R1F、R2F、RLF はそれぞれ ROUGE-1、 ROUGE-2、ROUGE-LのＦ值を表す。R1F、R2F、RLF すべてにおいて、要旨のみ、要旨とキーワード、 キーワードのみの順に ROUGE スコアが高い結果と なった。

次に、表 5 に General モデルと電子情報通信学会 で fine-tuning したモデル、日本建築学会で fine-tuning したモデルのテストデータ別の ROUGE スコアを示 す。電子情報通信学会で fine-tuning したモデルは、電子情報通信学会をテストデータとしたときが最 もスコアが高く、General モデルの電子情報通信学会のスコアを R1F が 0.017、R2F が 0.009、RLF が

0.020 上回った。また、日本建築学会で fine-tuning し たモデルは、日本建築学会をテストデータとしたと きが最もスコアが高く、General モデルの日本建築学会のスコアを R1F が 0.042、R2F が 0.014、RLFが 0.033 上回った。

## 6 考察

入力にキーワードを利用することによる ROUGE スコアの向上は見られなかった。キーワードを利用したモデルの訓練データは少なくなっているが、 97.6\%以上に当たる量を利用しており、その差は僅 かなため大きな影響があるとは考えづらい。実験で はモデルの学習に要約に適したオプションを使用し たが、キーワードのみを入力としたモデルを学習す る際は、文章生成に適したオプションを使用するこ とで ROUGE スコアが改善されるのではないかと考 えられる。また、要旨とキーワードを入力としたモ デルは、キーワードを直接入力に組み込むのではな く、出力に組み込めるようにモデルを変更すること でROUGE スコアが改善される可能性がある。その 際は、実際にキーワードがタイトルにどの程度含ま れているかを調査し、どのくらいの効果があるのか を検証する必要がある。

論文の分野別 fine-tuning をすることによって ROUGE スコアの向上が見られた。つまり、ある学会の論文データで fine-tuning したモデルはその学会 の ROUGE スコアを向上させることができる。ま
た、電子情報通信学会で fine-tuning したモデルは、情報処理学会のスコアを R1F が 0.011、RLF が 0.013 上回り、日本建築学会で fine-tuning したモデルは、電子情報通信学会のスコアを R1F が 0.021、R2F が 0.022、RLFが 0.022 下回った。この結果から、論文 の分野別 fine-tuning には、他の分野のスコアも大き く変化させることが確認できた。しかし、電子情報通信学会と情報処理学会のように分野が似ている学会であってもスコアの向上に大きく寄与しないこと もあり、どの分野にどのような相関があるのかなど を明確に示すには至らなかった。

## 7 おわりに

本研究では、LSTMを用いて Attention付き EncoderDecoder モデルにより論文の要旨からタイトル生成 を行い、論文の要旨にキーワードを追加する手法 と、論文の分野ごとに fine-tuning する手法の効果を 検証した。実験の結果、論文の要旨にキーワードを 追加することで ROUGE スコアの改善は見られな かったが、論文の分野ごとに fine-tuning することで ROUGE スコアの向上が見られた。

今後の展望としては、実際にキーワードがタイト ルにどの程度含まれているかを調査してどのくらい の効果があるのかを検証し、その上でキーワードを 直接出力に組み込めるようにモデルを変更するなど が考えられる。分野別 fine-tuning においてはそれぞ れの分野の相関性を求め、類似する分野の論文デー タを利用することでより大規模なデータで実験を行 うことなどが考えられる。

## 謝辞

本研究は、茨城大学の特色研究加速イニシアティ ブ個人研究支援型「自然言語処理、データマイニン グに関する研究」に対する研究支援およびJSPS 科研費 17KK0002 の助成を受けたものです。

## 参考文献

[1]Liu P.J. See, A. and C.D. Manning. Get to the point: Summarization with pointer-generator networks. ACL, p. 1073-1083, 2017.

[2]張浩達, 上垣外英剛, 高村大也, 奥村学. 複数の言語モデ ルを考慮したキーワードからの広告文生成. 第 34 回人工知能学会全国大会論文集, pp. 2H6-GS-9-04, 2020.

[3]菊地真人, 山内達登, BUI Tuan Thanh, 梅村恭司. 特徴語抽出の精度改善に向けた反復度と条件付き確率の比較. 第 34 回人工知能学会全国大会論文集, pp. 4Rin1-53, 2020.

[4]Cho K. Bahdanau, D. and Y. Bengio. Neural machine translation by jointly learning to align and translate. ICLR, 2014.

[5]Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. $A C L$, p. 74-81, 2004.
 金野佑太 茨城大学 工学部 17t4039x@vc.ibaraki.ac.jp }  古宮嘉那子 茨城大学 理工学研究科 kanako.komiya.nlp@vc.ibaraki.ac.jp  