# 「文書レベル関係抽出における根拠認識の統合」の完成まで

馬 尤咪 $\dagger$
## 1 はじめに

本稿では言語処理学会第 29 回年次大会 (NLP2023) において論文賞を受賞した研究「文書レべル関係抽出における根拠認識の統合」（Ma 他 2023）の概要と遂行過程を紹介する．ふりかえると本研究の鍵は各段階における積極的な状況整理であり，自分の置かれた状況を見極めていたからこそ，研究の方針を決めることができた，本稿ではその研究過程と得られた学びを紹介し，似た境遇にあるどなたかの参考と励みになれると幸いである.

## 2 本研究の概要

質疑応答をはじめ，自然言語処理技術が用いられる多くの場面では，事実知識に基づいた回答の自動生成が期待されている。事実知識を効率よく蓄積するため，テキストから自動的に知識を獲得し, 知識ベースを構築することは重要な課題である。本研究で取り組む文書レベル関係抽出 (DocRE: Document-level Relation Extraction) タスクは, まさに文書からの知識ベース構築を目指している.

DocRE は文書におけるすべてのエンティティ（実体）の組の関係を認識するタスクである．関係抽出の研究は文内に閉じて関係を認識する夕スク設定が多いが，テキスト中で複数の文にまたがって表現される関係は対象外となってしまうため, 適用範囲が狭い。これに対して, DocRE は複数の文で言及される関係にも対応できる。一方，DocRE を解くには複数の文の情報の取捨選択や統合をしながらエンティティ間の関係を推定する必要があるため，通常の関係抽出より難しい設定でもある。情報の取捨選択によく用いられるのは根拠 (evidence) である。根拠は，関係を推定するために必要最小限かつ十分な情報を含む文の集合と定義され，DocRE で広く用いられるデータセット DocRED (Yao et al. 2019) でラベル付けされている（図 $1 \mathrm{a}^{1}$ ).

既存研究では DocRE のサブタスクとして根拠認識も行うことが多かった (Huang et al. 2021; Xie et al. 2022; Xiao et al. 2022). これらの研究は, エンティティ組の埋め込みと文の埋め込みを入力として，文がエンティティ組の関係の根拠である確率を出力する根拠認識器を学習する。この


(a) アノテーションの例 (Yao et al. 2019)

(b) DREEAM の概要

図 1 DocRE のアノテーション例及び提案手法 (DREEAM) の概要

ような設計では，根拠認識と DocRE は別々にモデル化されてしまい，両タスクの関連性を考慮できない。本研究では，根拠認識を DocRE モデルに統合する手法 DREEAM を提案した。

DREEAM のアイデアはシンプルである，長いテキストが与えられ，特定の情報を探すよう指示された時，人間は関連性の低い情報を読み飛ばすように，モデルにも読み飛ばしの知識を身につけてもらいたい。そこで，人間が特定のエンティティ組の関係を判断する際は根拠に注目すると仮定し，モデルも同じく根拠に注目させるように誘導する。具体的には，根拠の人手アノテーションを根拠分布に変換し, エンコーダの自己注意機構から算出した単語重要度の教師信号とする。これにより，関係予測の根拠に高い重みを配分するよう，エンコーダの自己注意機構を誘導できる。また，推論時は文の重要度を単語重要度の和とし, 重要度の高い文を根拠とすることで, 根拠認識器を撤廃し，モデルのパラメータ数やメモリ使用量の削減も実現した。これは本研究において，筆者が最も嬉しく思うところでもある。

さらにDREEAM を活用して, 根拠ラベルのないデータに根拠を自動付与し, モデルの学習に用いた（図 $1 \mathrm{~b}$ ).これは DocRE，特に根拠認識においての教師データ不足を緩和するための策である。まず人手でラベル付けされた少量の正解データでDREEAM を学習しておき，それを教師モデルとする．次に根拠ラベルの無いデータを教師モデルに入力し，疑似的な根拠を推測させる．得られた疑似根拠は教師モデルが持つ根拠認識に関する知識の表れとして，もう一つのモデル，すなわち学生モデルに模倣させることで，根拠認識に関する知識を学げせる．さらに正解データでファインチューニングを行なった学生モデルは，DocRED において DocRE と根拠認識の両方で世界最高性能 (SOTA) を達成できた。

## 3 本研究の遂行過程をふりかえって

ふりかえると，本研究を遂行できた鍵は，各段階における積極的な状況整理であった。

## 3.1 テーマ選び：一歩踏み込んでからの状況整理

修論のテーマは文に閉じた固有表現抽出及び関係抽出だった。割と早い段階で学会論文に仕上げたが，国際会議・ジャーナルへの挑戦は四戦四敗で終わった，幸いなことに，行き場を無くしかけていた研究を本論文誌が採択してくださった (Ma et al. 2022). 2021 年 9 月から博士課程に進学し，博士号の取得という目標を見据え，同じテーマで挑むべきかについて迷いが生じたため，一度状況整理の時間を設けるようにした。

状況整理期間では, 取り掛かっていたテーマのコミュニティの動向を調べつつ，それを個人の研究に対する価値観と照らし合わせ，「もしこの方向に進んだら何ができるのか」を整理した．当時, 文に閉じた情報抽出に限らず，テキストから構造化情報を取り出すことを目的とした構造化予測 (Structured Prediction) タスクを sequence-to-sequence タスクに落とし迄む手法が頭角を現し，注目を集めた (Paolini et al. 2021).これらの手法は入出力側のテキストを緻密に設計し，構造化情報をテキストにエンコードさせた。複数の構造化予測タスクを統一された朹組みで解ける良い試みとは思ったが，より計算量の大きい生成タスクに解析タスクを落とし达むことが腑に落ちずにいた. 一方, 個人の研究遂行経験を振り返ると, 当時の実験設定でモデルがアノテーション通りに予測できなかった事例は，人間にとっても判断に迷うものであると感じ，同じベンチマークで粘るモチベーションはさほど高くなかった。このようなサーベイと自問自答を繰り返した結果, 同じテー マを続けるのは難しいと判断し，他を探すことにした，後に，長文解析への関心から DocRE に落ち着いた，踏み切るまでに時間がかかったが，正しい選択をしたと思う．気長に見守ってくださった指導教員の岡崎直観教授に深く感謝する.

テーマを決めるのにあたり，気分転換がてらに参加した学外実習が助力となった。進学してから 2 ヶ月が経ち, 博論の方向性が決められずにいたため, インスピレーションを求めて NTT 人間情報研究所の冬季学外実習に参加し, クエリ指向型長文要約 (QFS) についての研究に取り組んた 2 .情報抽出とかけ離れた馴染みのないテーマであったため, 指導者の西田光甫氏と責任者の西田京介氏など，多くの方のご厄介になったが，大変貴重な経験だった，博論のテーマをDocRE に舵を切れたのも，QFS の課題であるクエリによる情報の取捨選択と DocREの課題であるエンティティの組による情報の取捨選択につながりを感じたからだと思う，QFS の研究に踏み込んだ経験も，実質状況整理の一環になったと感じた.

## 3.2 研究遂行 : 一歩引いてからの状況整理

原論文の雛形は EACL 2023 に採択されているが (Ma et al. 2023), 起稿当時は異なるストーリー を予想していた，当初では，提案手法の性能はSOTA を超えられず，数ヶ月の試行錯誤を繰り返しても性能改善の目処が立たなかったため, 仕方なく本研究をまとめて次に取り掛からうとした。と


ころが，論文の執筆は一歩引いてからの状況整理となり，転機をもたらした.

論文執筆のため, 研究遂行過程で行われた試みと関連研究で報告された試みを一通り整理し，提案手法の立ち位置を確立しようとした。このおかげで, 曖昧だった関連研究との繋がりが明白となり，全体像が見えてきた．実験の手を止め，一歩引いて全体像を眺めたところ，「検証できたこと」 と「検証できていないこと」を区別できるようになり，根拠認識の疑似ラべル付与はまだ未踏であることに気付けた。早速 DREEAM を活用した疑似根拠付与実験を試みたところ，性能が向上し， SOTAを越すことができた。これらの実験結果が得られたのは締め切りの 2 週間前であり，その後原稿を大幅に修正すべく苦労したが，最終的には納得のいく出来まで仕上げることができた。この経験から，一心不乱に実験を進めることは研究の礎石を築くが，時折一歩引いて全体像を把握しておくことこそ，芯の通る研究ができる重要なステップであると思った．

研究の全体像を把握するのにあたり，早期の起稿が有用であると感じた。上述の通り，筆を動かすことは情報や思考をまとめるのに非常に役立つものであった．今回は締切の 1 ヶ月前に執筆し始めたが，テーマを決めた時点で論文を起稿し，実験を進めるのと同時に原稿を修正していく戦略をとっていたら，より効率よく研究を進められたのかもしれない.

## 3.3 余談：提案手法の呼称について

論文執筆当初では提案手法を「DREviA ${ }^{3}$ (ドレービア)」と呼称していた.「DREEAM ${ }^{4}$ (ドリー ム)」という印象に残る呼称は, 原稿の校正で助力いただいた岡崎研究室の Macro Cognetta 氏のアイデアである。本稿の所々で述べられたように，本研究は多くの方々から支えられたからこそ成し遂げたものである。この度は数多くの優れた投稿から本論文を選出し，優秀と評価いただいたのは実に予想外であり，身に余る光栄だとも思ったが，筆者一人だけでは決して成就できなかった。 これを励みに，今後も堅実に研究を進めていきたい。

## 4 おわりに

本稿では NLP2023で発表された主著論文「文書レベル関係抽出における根拠認識の統合」の概要と研究過程を紹介した，生成 AI が注目を浴び続ける今, 解析タスクの存在感は薄れていく一方だが，テキストや事実に忠実な解析はモデルの信憑性や解釈性を向上し，人間と AIが「分かり合える」社会を築いていく上での助力になると信じたい。また，研究が行き詰まると感じた時は，一度落ち着いて状況を整理しておくと打開策が見えてくるかもしれないことを，本稿を通して筆者のような若手研究者に伝えられると幸いである.
^{3}$ Document-level Relation Extraction with Evidence-guided Attention

 }^{4}$ Document-level Relation Extraction with Evidence-guided Attention Mechanism


## 謝 辞

此度の受賞にあたり, 賞選考に携わった NLP2023 選考委員会の万々に深く感謝を申し上げます. また，本記事執筆の機会をくださった編集委員の方々にも感謝を申し上げます。本稿の執筆にあたり，原論文の共著者のみなさまからコメントを頂きました.

## 参考文献

Huang, Q., Zhu, S., Feng, Y., Ye, Y., Lai, Y., and Zhao, D. (2021). "Three Sentences Are All You Need: Local Path Enhanced Document Relation Extraction." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 998-1004, Online. Association for Computational Linguistics.

Ma, Y., Hiraoka, T., and Okazaki, N. (2022). "Named Entity Recognition and Relation Extraction Using Enhanced Table Filling by Contextualized Representations." Journal of Natural Language Processing, 29 (1), pp. 187-223.

Ma, Y., Wang, A., and Okazaki, N. (2023). "DREEAM: Guiding Attention with Evidence for Improving Document-Level Relation Extraction." In Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics, pp. 1971-1983, Dubrovnik, Croatia. Association for Computational Linguistics.

Ma Youmi, Wang An, 岡崎直観 (2023). 文書レベル関係抽出における根拠認識の統合. 言語処理学会第 29 回年次大会 (NLP2023), B3-3 号, pp. 605-610. [Y. Ma et al. (2023). Incorporating Evidence Retrieval into Document-Level Relation Extraction. Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, B3-3, pp. 605-610.].

Paolini, G., Athiwaratkun, B., Krone, J., Ma, J., Achille, A., ANUBHAI, R., dos Santos, C. N., Xiang, B., and Soatto, S. (2021). "Structured Prediction as Translation between Augmented Natural Languages." In International Conference on Learning Representations.

Xiao, Y., Zhang, Z., Mao, Y., Yang, C., and Han, J. (2022). "SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction." In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2395-2409, Seattle, United States. Association for Computational Linguistics.

Xie, Y., Shen, J., Li, S., Mao, Y., and Han, J. (2022). "Eider: Empowering Document-level Relation Extraction with Efficient Evidence Extraction and Inference-stage Fusion." In

Findings of the Association for Computational Linguistics: ACL 2022, pp. 257-268, Dublin, Ireland. Association for Computational Linguistics.

Yao, Y., Ye, D., Li, P., Han, X., Lin, Y., Liu, Z., Liu, Z., Huang, L., Zhou, J., and Sun, M. (2019).

"DocRED: A Large-Scale Document-Level Relation Extraction Dataset." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 764-777, Florence, Italy. Association for Computational Linguistics.

## 略歴

馬尤咪: 2019 年 7 月上海科技大学情報科学専攻学部課程卒業. 2021 年 9 月東京工業大学情報理工学院修士課程修了. 同年 9 月より東京工業大学情報理工学院知能情報コース博士課程学生.