# 単語を共有する文書グラフを用いた文書分類

井田 龍希 三輪誠 佐々木裕
豊田工業大学
\{sd18006, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

文書分類において，文書のテキスト情報を BERT でエンコードして分類する手法が主流である。一方 で，文書とそれが共有する単語を節点とした文書グ ラフを利用し文書間の関係を考慮した文書分類が提案されている．それぞれの手法は，文書の異なる観点を捉えていると考えられ，両方を活かした文書分類ができれば精度の向上が期待できる。そこで，本研究では BERT を利用して文書グラフの文書・単語節点表現を初期化し，両者の利点を効果的に利用す る手法を提案する. 実験では，本手法による精度向上を確認し，文書内のテキスト情報と文書グラフを 利用することの有用性を示した. また，文書分類に おける文書グラフの単語節点の影響も調査した。

## 1 序論

文書分類においては，文書のテキスト情報のみ を利用して分類を行う手法が主流である。近年，大量のデータで事前学習をした BERT (Bidirectional Encoder Representations from Transformers) [1] を用い ることで，少ないデータで微調整をするだけでタス クに特化したモデルが作成でき，大量のテキスト データによる事前学習と文書内のテキスト情報を考慮した表現によって高い精度が達成されている。

一方で，文書間の関係を表した文書グラフを利用 した文書分類が提案されている。 Yao ら [2] は，文書と単語を節点とし，文書節点とその文書に出現す る単語節点の間・関連度の高い単語間それぞれに辺 を張った文書グラフを用いて，文書分類を行ってい る.この文書グラフにより，共通した単語を持つ文書節点がその単語節点を介してつながり，文書間の 関係を考慮した文書分類ができる。

それぞれの手法は文書内のテキスト情報と文書間 の関係を表す文書グラフという文書の異なる観点を 捉えていると考えられるので，この両方を活かした 文書分類ができれば，より高い精度が達成できると複数の文書

図 1 提案手法の概要

期待できる。これまで，文書節点の表現に BERTを 利用した文書グラフを用いて文書分類を行う手法 [3] が提案されているが，単語は文書をつなぐ節点と してのみ利用されており，文書グラフとテキスト情報のつながりが文書節点のみになってしまっている ので，両者が十分に連携できているとは言えない.

そこで，本研究では，BERT を利用して文書グラ フの全節点にテキスト情報を追加し，テキスト情報 と文書グラフを密接に連携させ，両者をより効果的 に利用する文書分類の実現を目指す。

## 2 関連研究

文書分類には文書のテキスト情報のみを使用する 手法と文書間の関係を考慮する手法がある。

文書のテキスト情報のみを使う手法では BERTを 用いた手法が高い精度を達成している。この手法で は BERT でテキストをエンコードして得られた表現 を使って文書分類を行う．大量のデータで事前学習 した BERTを少ないデータで文書分類に特化するよ うに学習させることで，文書全体の文脈を考慮した 表現が得られ高い精度が達成できる。

文書間の関係を考慮する手法では，文書グラフ を用いた手法があり，Yao らは文書と単語を節点と

し，文書節点とその文書に出現する単語節点の間に TF-IDF 值で重み付けした辺・PMI の值によって関連度が高いとみなされた単語節点間の辺の 2 種類 の辺を張った文書グラフを用いた文書分類を提案 した. Yao らは節点に接続する辺を通して周りの節点からの情報をその節点に集約するグラフ畳み込 みネットワーク (GCN; Graph Convolutional Network) [4] を用いて, 文書グラフの節点表現をグラフ構造 を考慮するように更新し，分類に利用している。さ らに，BertGCN[3] では，文書節点の表現に BERTを 利用し, 文書グラフに文書のテキスト情報を追加す る手法を提案し，高い精度を達成している。

## 3 提案手法

本研究では，テキスト情報と文書グラフの情報の 両方を効果的に利用する文書分類モデルを提案す る. 両方を利用した BertGCN[3] に対して, 本研究 では，より密接な情報の連携を目指して，文書・単語節点の両方を BERT で初期化した文書グラフを用 いて文書分類をする。ここでは，この文書グラフの 作成方法について説明した後に文書分類に用いるモ デルについて説明したのちに，学習と予測について 説明する。

## 3.1 モデル

文書グラフの作成の概要を図 2 に示す. 本研究で は Yao らが提案した文書と単語を節点とする文書グ ラフとそのモデルを基盤として，文書・単語の両方 の節点に BERT の表現を追加して使用する。まず，文書のテキスト情報を BERT でエンコードして各 トークンの表現を得る. BERT の出力の [CLS]トー クンは文全体を表す表現になっているので，[CLS] トークンの表現を文書の初期表現として，TextGCN の表現である one-hot ベクトルに結合する.この際， BERT の表現のスケールを one-hot ベクトルのスケー ルと合わせるために，BERT の表現はL2 正規化した ものを用いる．単語の表現についても同様に BERT の表現を追加する. 単語の表現については，BERT ではサブワードをトークンの単位として表現してい るため，サブワードの表現を平均としたものを利用 する．今回使用する文書グラフでは，同じ表層の単語が複数回登場した際にもその単語の節点は一つし か用意しないので，すべての出現での表現の平均を その単語の表現とする. この文書グラフの節点表現 を GCNを用いて更新し，その表現を使って文書分類を行う。

## 3.2 学習

文書グラフの節点表現を GCN で更新してその表現で文書分類を行うため, 学習の時点で評価用の データが文書グラフに含まれている必要があり，含 まれていない文書についての予測はできない。その ため，学習は，分類対象のデータを利用するトラン スダクティブ学習の設定で行う，具体的には，ま ず，評価用データのラベルを隠した上で，訓練・評価用データを両方含む文書グラフを作成し，訓練 データのラベルを利用して学習することで節点の 表現を更新する。学習は交差エントロピーを損失関数として用いる．BertGCN では，BERTを微調整 (fine-tuning) しながら GCN を学習させるが，本研究 では，簡単のため，BERT から得られた表現は固定 して用いる. BERT と GCN の同時学習は今後の課題である.

## 3.3 予測

学習によって，評価用データの文書節点の表現が 更新されているため，この表現を利用して分類を行 い，評価用データに含まれる文書のラベルを予測 する。

## 4 実験と考察

## 4.1 実験設定

提案手法の評価には, 医学文献の要旨のデータ セットである Ohsumed と映画評論のデータセット である Movie Reviewを使用した. Ohsumedではそれ ぞれの文書に 23 種類の心血管系疾患のカテゴリの うち 1 つ以上のカテゴリを付与されている. 本研究 では，単一ラベルの文書の分類にのみ注目している ので，既存研究 [2] と同様に複数ラベルを持つデー タを除外した。この結果，訓練，評価用データはそ れぞれ 3,357 件，4,043 件となった. Movie Review は 肯定的な評論 5,331 件と否定的な評論 5,331 件を含 む 2 值分類のデータセットで，訓練，評価用データ はそれぞれ 7,108 件，3,554 件であった. 実装には， Python 3.8.8を使い，事前学習モデルを使うために Transformers 4.5.1[5]，モデルの作成のために Pytorch 1.8.0[6]，DGL 0.7.2[7] を用いた. 評価においては,訓練データを 5 分割交差検証をして 5 つのモデルを 作成した。それぞれのモデルで評価用データの予測

図 2 文書グラフの作成

をして，その評価の平均を最終的な予測結果として 報告する. 評価指標には Accuracy を用いた. 最適化手法には Adam[8]を使用した。

BERT は, Movie Review には BERT-base-uncased[1] を，Ohsumed には科学文献で事前学習をしている SciBERT[9]を用いた.

ベースラインモデルとして，BERT のみを利用し た文書分類モデル (BERT) と文書グラフのみを利用 した文書分類モデル $(\mathrm{GCN})$ を用意した. BERT のみ を使用した文書分類モデルとしては，BERT でテキ スト情報をエンコードして得られた出力の [CLS] トークンの表現を全結合層により予測するモデル を用意した. 一般的に，BERT などの事前学習モデ ルは微調整して, タスクに特化させることで高い性能が達成できると知られている. しかし, 本研究の 提案手法ではテキスト情報を BERT に入力して，そ の出力を文書グラフの初期表現としているだけで， BERT を微調整せずに使っている。このことから，公平な比較を行うため，このベースラインにおいて も同様に BERT は微調整せずに全結合層のみを学習することとした. 文書グラフのみを利用したべー スラインでは，TextGCNに倣い，節点表現を one-hot ベクトルで初期化した文書グラフを使って文書分類 するモデルを用いた.

## 4.2 結果

実験結果を表 1 に示す. 文書節点のみを BERTで 初期化した文書グラフを使用したときに, Ohsumed
については正解率は低下したものの，Movie Review については文書グラフを使用したべースラインょり も高い正解率を達成できた. また，BERT の文書情報のみを用いたベースラインと比較しても精度の改善が見られた. さらに，単語節点も BERTで初期化 した文書グラフを使用したときには両方で正解率の 改善が見られた。

単語節点の初期化については，提案手法の文書中 に出現した単語の表現を利用する方法と単語の表層 だけを BERTを通して表現を得る手法で比較を行っ た. 単語の表層のみを使用する方法では，その単語 のみを BERT に入力してそのサブワードの表現の平均を単語節点の初期表現とした. Ohsumed, Movie Review どちらのデータセットでも表層だけを用い た手法よりも提案手法の文章中に出現した単語の表現を用いた手法が高い正解率を示した. これは，文章中に出現した単語の文脈情報が文書グラフを用い た分類において，有用であることを示している.

## 5 単語節点の影響の調査

提案手法では, 文書に登場するすべての単語を節点として持つ文書グラフを使用した. 文書グラフを 利用した文書分類においては，単語節点が文書節点 の間をつなぐため，単語節点が文書間の関係を表現 できることが重要である. このことから，単語節点 の選択が性能にどのように寄与するかの解析を行っ た.ここでは，文書が単語を共有する割合が重要で あると考え，単語が共通して現れる文書の数に着目
表 1 文書分類の正解率 (\%). Ohsumed には SciBERT を, Movie Review (MR) には BERTを用いた。

した.このため，それぞれの単語についてその単語 が現れる文書の数を数え，その数によって，その単語を文書グラフの節点とするかどうかを閾値によっ て決定した。その間値を変えて Ohsumed を用いて 解析した結果を，図 3 ，図 4 に示す。それぞれ，節点の表現を one-hot ベクトルで初期化した文書グラ フ・文書節点のみを BERT で初期化した文書グラフ での結果である．横軸が節点とするかどうかの登場回数の下限の閾値，縦軸が上限の閾値となる. 図に 示す数值は 5 分割交差検証における訓練データ上で の正解率である.

図 3，図 4 の両方で，2 個以上 1,000 個以下の文書 に登場する単語のみを節点としたときに最も高い精度となった. 1 つの文書にしか登場しない単語がネ ガティブな影響を与えているのは，文書グラフを利用した文書分類では，単語節点が 2 つの文書をつな ぐため文書間の関係を考慮した文書分類ができる が，1つの文書としかつながらない単語節点からは 文書間の関係を表現することができないためである と考えられる. また, 多くの文書で登場する単語に ついても，多くの文書がその単語によってつながれ てしまうため，カテゴリの異なる文書が近くなって しまい，正解率が下がってしまったのではないかと 考えられる。

## 6 結論

本研究では，文書情報と文書グラフの両方を効果的に利用できる文書分類モデルを目指し，文書グラ フの文書・単語の節点の両方を BERT で初期化し て，GCNを学習することで，文書分類を行う手法 を提案した. Ohsumed, Movie Review の 2 つのデー タセットに対して評価を行った結果として, 文書節点の初期値として BERT の表現を用いることで Ohsumed データについては性能が低下したものの, Movie Review データについては性能の向上が得られ た. 単語節点を BERT で初期化した場合については 両方のデータで性能の向上が得られた. また, 単語

図 3 単語節点の数による正解率の比較

図 4 単語節点の数による精度比較

節点を BERT で初期化する際は表層よりも文脈を含 めた表現を用いるほうが良いことがわかった. さら に，単語節点を対象に，文書グラフの作り方につい ても評価を行い，文書グラフを利用した文書分類に おいて，1 つの文書としかつながらない単語節点や 多くの文書とつながる単語節点は性能に悪影響をを 与えること示した.

今後は，単語だけでなく言及や用語などの異なる 要素や異なる構成を取り入れた文書グラフなど，よ り文書分類に適した文書グラフの作り方について検討を行う。また，BERT の微調整を GCN と同時に 行う手法についても検討を行い，より効果的な文書情報と文書グラフ情報の利用方法を模索していき たい.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. NAACL-HLT, 2019.

[2] Liang Yao, Chengsheng Mao, and Yuan Luo. Graph convolutional networks for text classification. In Proceedings of the AAAI conference on artificial intelligence, Vol. 33, pp. 7370-7377, 2019

[3] Yuxiao Lin, Yuxian Meng, Xiaofei Sun, Qinghong Han, Kun Kuang, Jiwei Li, and Fei Wu. BertGCN: Transductive text classification by combining GNN and BERT. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 1456-1462, Online, August 2021. Association for Computational Linguistics.

[4] Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. In International Conference on Learning Representations (ICLR), 2017.

[5] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Huggingface's transformers: State-of-the-art natural language processing. arXiv preprint arXiv:1910.03771, 2019.

[6] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, et al. Pytorch: An imperative style, high-performance deep learning library. Advances in neural information processing systems, Vol. 32, pp. 8026-8037, 2019.

[7] Minjie Wang, Da Zheng, Zihao Ye, Quan Gan, Mufei Li, Xiang Song, Jinjing Zhou, Chao Ma, Lingfan Yu, Yu Gai, et al. Deep graph library: A graph-centric, highlyperformant package for graph neural networks. arXiv preprint arXiv:1909.01315, 2019.

[8] Diederik Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of the 3rd International Conference for Learning Representations, 2015.

[9] Iz Beltagy, Kyle Lo, and Arman Cohan. Scibert: A pretrained language model for scientific text. arXiv preprint arXiv:1903.10676, 2019.

[10] Takuya Akiba, Shotaro Sano, Toshihiko Yanase, Takeru Ohta, and Masanori Koyama. Optuna: A next-generation hyperparameter optimization framework. In Proceedings of the 25th ACM SIGKDD international conference on knowledge discovery \& data mining, pp. 2623-2631, 2019.

[11] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: a simple way to prevent neural networks from overfitting. The journal of machine learning research, Vol. 15, No. 1, pp. 1929-1958, 2014.

## 付録

## A チューニングの詳細

Adam の学習率，GCN の隠れ層の次元数，ドロップアウト率の三個のハイパーパラメータを Optuna[10]を 用いてチューニングした. ドロップアウト [11] は訓練データでの過学習を防ぐために二層の $\mathrm{GCN}$ の層の間 に加えた.チューニングは複数のマシンで行い，NVIDIA 社の TITAN V，RTX A6000を用いた. チューニン グによって得られたハイパーパラメタは表 2 に示す.

表 2 チューニングの結果


 井田 龍希 三輪誠 佐々木裕 豊田工業大学 \{sd18006, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp  