# 学会記事
## 「論述構造解析におけるスパン分散表現」の研究を通して

\author{
栗林樹生 ${ }^{\dagger, \dagger \dagger}$
}

## 1 はじめに

本稿では言語処理学会最優秀賞をいたたいた「論述構造解析におけるスパン分散表現」(以降，原論文）について解説する。原論文では，問題解決や合意形成において重要な言語活動である議論が解析の対象となっている。具体的には, 作文といった独話的な論述文の談話構造を解析する論述構造解析というタスクに取り組んだ。論文構造解析の処理単位である論述単位（文や節に対応し, この研究ではスパンと呼ぶ）について，その分散表現を計算する機構を改良し,性能向上を実現した。原論文の概要については，2節で更に紹介する。

ところで, 論述構造の解析は私が研究室に配属されて最初に取り組んだテーマであった. 研究室に配属された当時の私の関心は「言語のような曖昧なものを計算機によってきっちり分かりたい」ぐらいの漠然としたものだったので，まず何か研究を進めながら自分の興味や面白いと感じることを更に具体的にしていこうと考えていた。すなわち原論文は，自身の研究に対する興味や研究スタイルのようなものが形成されていく過渡期の中で取り組んだ研究であった。そのような過渡期の中では,「こういう研究が面白いな, やってみたいな」という自分の理想が少しずつ見えてくると共に，その理想と今行っている研究（原論文）との間で少なからず葛藤が生まれることもあった。 せっかくなので記憶が新鮮なうちに, 自分がどのようなことを考えて研究を遂行していたかについても 3 節で触れたい.

## 2 原論文の概要

論述構造解析では，与えられた論述文について，談話単位（文や節）間の論述的な関係（支持や反論）や談話単位の機能（根拠や主張）などの構造の同定を行う（Stab and Gurevych 2017）.原論文では，文章中の大域的な文脈情報をうまく活用することが本タスクを解く鍵であると仮説を立て, 談話単位（スパン）の表現をエンコードする際に積極的に周辺文脈情報を取り入れるよう，スパン分散表現のエンコーダ部分の改良を行っている.

周辺文脈を積極的に見る動機として，例えば論述文における談話単位の役割は，談話単位を


図 1 論述文の例とモデルの概要. ADU は論述単位, AM は接続表現, $A C$ は命題を指す.

構成する語のみから推測することはしばしば困難であり，論述文中の周辺文脈を見て初めて予測が可能になる.「りんごには栄養がある」という発話の機能はこの情報だけでは考えることができず，「毎朝りんごを食べるべきた」に続く発話であれば主張を支える根拠となるし，「果物は体に悪い」に続く発話であれば対立意見となる。また，論述文には典型的ないわゆる議論の流れが存在する. 例えば，一旦想定される反論をあげて，その反論に対して反論し返すことで，自身の意見の説得力を上げるといった戦略はしげしげとられる。このような大域的な構造の傾向を捉えることも，各論述関係の予測において重要であると考えられる.

具体的な改良としては, 談話単位 (ADU) を接続表現 (AM) と命題 (AC) に分離し, 多粒度で文脈情報を考慮する試みをしている（図 1)。例えば，AM の系列からは論題に非依存な文章の 「型」を捉えることを期待し，ACの系列からは語彙的な結束性やより深い意味理解に基づくモデル化を期待している．特に本タスクはデータセットのサイズが小さいため, アーキテクチャの工夫から，論述文の傾向を効率的に捉えることが可能な帰納バイアスをモデルに与えることを期待している。

実験から，提案法は特に複雑な構造をもつ（深い木となる）論述文において良い性能を示した. また, 典型的な論述の流れである, 一旦想定反論をあげて反論し返すといった典型的な構造（反論の連鎖）の解析においても良い性能を示した. 更に, BERT などの強力な言語モデルから得られる分散表現と組み合わせた際にも，提案手法は良い傾向を示した。

## 3 研究を遂行する中で

原論文は, 論述構造解析タスクで高性能なモデルを提案した研究である. 冒頭でも述べたが,論述構造解析は研究の一周目として取り組んでみたテーマであり, 本研究を通して自分の研究の方向や興味をさらに具体化していこうと考えていた. そのような過程の中で研究について考えさせられたことや, 今となって感じる反省点などを, 一学生の当時の記憶に遡って書いてみる.

## 3.1 タスクでスコアを上げる意義

様々な研究に触れる中で, 自分が自然言語処理という分野に対して抱く魅力の原点は, やはり漠然としているものの「言語のような曖昧なものを計算機によって分かりたい（分かれるかという問いも含む)」というところにあると感じた. したがって，言語に対する関心を直接活力にして研究を行うほうが，自分の場合は向いているかもしれないと感じた。そのような視点に立った時に, 既存のタスクでスコアを向上させるという行為が, 何かを分かるために必須の営みではないように見え, そもそもなぜ自分たちは研究においてしばしばタスクを解き, 性能向上を示すのかを見失わないようにする必要があると感じた. これを整理しないと, 盲目的に目前のタスクを解いたり，逆にタスクを解くことを否応なしに否定してしまったりするかもしれないし, 当時自分が行おうとしていた研究（後の原論文）についても意義を見失いかねないと感じた。ちょっと当たり前のことかもしれないが, 既存タスクにおける性能向上に率先して取り組む理由として考えられるものを, 思いつくところで 4 つほど挙げて整理し, その後原論文について振り返ってみる：

（1）そのタスクを解ききると何かについて分かったことになる

(2) そのタスクにおける性能向上が誰かの役に立つ

（3）その性能向上から何かが検証される

(4) 自分の成長やコンペティションなどへの挑戦のため

（1）そのタスクを解ききると何かについて分かったことになる：そのタスクを解くことで何か（例えば，言語そのものやモデルの言語理解力など）について直接分かることができる，ある種理想的な夕スクに取り組んでいる場合である。つまり，科学的な関心の元でタスクを解くことが目的となる.このような研究を遂行する前の段階として,「その理想的なタスクとは何か」 という問い自体が非常に大きなものであるとも感じる.

(2) そのタスクにおける性能向上が誰かの役に立つ: 工学的な動機でそのタスクを解くことが目的になる。そのタスクを解くことで実現される技術により人文学系の研究などが進む場合は，(1)と (2)を両立しているとも考えられる.

（3）その性能向上から何かが検証される：提起された問いや仮説がタスクにおける性能の比較等を以て検証される．例えば，機械学習アルゴリズムに関する仮説を検証するために，典型
的なタスクの例として文書分類タスクをとりあげ，提案アルゴリズムによって確かに性能が向上することを実演（デモンストレーション）する。この研究を遂行した研究者にとっては，おそらく文書分類タスクそのものを解くことは目的でなく，仮説を検証する手段にすぎない.

自然言語処理で既存のタスクに乗っかる研究の場合は, (2) と (3) を両立する研究, すなわち実社会の問題に動機づけられるタスクに挑戦し，そのタスクをより良く解く方法について仮説を立て，タスクにおける性能を指標として仮説の検証を行うというものが多いと感じる。原論文でも，論述構造解析タスクを解くこと自体の意義を見据えながら，言語的な観察 (Kuribayashi et al. 2017) に基いてより良い論述構造解析モデルについて仮説を立て, 実際にそのモデルで夕スクを解いた際の性能向上を示すことで仮説を検証している。この場合，タスクを解く意義は二つの面を持ち, 社会に存在する問題の解決に近づくという点で目的であり，そのタスクにおけるより良いモデルについて分かりを得るため，仮説を検証するための手段でもある。自分が初めて論文の執筆に取り組んだときに，提案法が示す性能の良さそのものを主張するといった， タスクを解くことを目的とした側面にとらわれてしまい，何が検証され分かったのかという検証の手段としての視点が欠けていたと感じている.

（4）自分の成長やコンペティションなどへの挑戦のため: ここまでなぜそのタスクを解くかという意義を, タスクや性能向上そのものに見出してきたが, 研究活動というものを広く捉えると，その理由は自分の成長や挑戦などにあっても良いと思う。特に私のように明確な興味を言語化できない状態で研究室に入った場合は, 「私の興味とは」というような, ともすると終わりのない内省から始めるのではなく, 研究の勘所を手に入れるという目的のもと, まずはコミュニティの前提（既存タスク）に従って研究を回してみるのもよい経験だと個人的には感じた. そして何か面白そうなテーマが見えてきたら, 最初の研究テーマに縛られずに柔軟に色々な研究をしてみればいいと思う（もちろん一貫性があれば理想的だが），実際のところ，この研究に伴った一連の活動を通して，研究について多くのことを学ぶことができた. まさしく武道・芸道でいうところの「守破離」の「守」に対応するような研究活動であったと振り返る.

## 3.2 「トリビアルな手法である」という指摘

他に印象的な出来事を振り返ると，ある会議に論文を投稿した際に， “I think the proposed method is trivial.”という査読が返ってきた．当時の自分は手法そのものが魅力的でないと解釈し，もっとすごい手法を提案すればよいのか？と迷ってしまった. ここで，“trivial”とか「すごい」が何を指しているのかが曖昧であるが，特に研究の右も左も分からない時に言われると $\lceil$ trivial $=$ 式や実装面での些細な変更」,「すごい＝難解な理論や複雑なモデル」という解釈に繋がってしまう懸念があるのではないかと感じた。 その解釈は良くない方向にあり, 複雑なモデルや改良で良い結果が得られることよりも，些細でシンプルな改良のみで良い結果が得られることの方がずっと評価されるべきである。シンプルな手法に対して “trivial”と指摘された場合

は，手法そのものの更なる改良に走る前に，そのシンプルな変更を行う必然性や意図が相手に伝わっていない可能性をまずは考えるべきではないかと感じた.

## 4 今後の展望・おわりに

最近は, 言語・ヒトに対する関心のもと, 言語モデルの認知的な妥当性に焦点を当てた研究を行ってきた. これまでの経験を踏まえて，談話処理と人の文章処理の認知モデルといった趣向の研究は, 是非今後取り組んでみようと検討している。 近年, 人の文処理の計算モデルとしての言語モデルの認知的妥当性が注目されているが, 文を超えた談話レベルの人の文処理の計算モデルなどについては，まだまだ議論が非常に限られていると感じる，例えば，談話構造を明示的に考慮する文章の計算モデルは人の談話処理活動をうまくモデリングできるだろうか. また方向性は変わるが，マルチモーダル（言語と画像）な計算モデル (Ramesh et al. 2021)の認知的側面の分析についても，言語に対する理解を画像で直接説明させることができる点で非常に興味深いと感じている。例えば，「頭が赤い魚を食べた猫」に対して彼らはどんな絵を見せてくるだろうか.

本記事の執筆を通して, 改めて自身の研究について整理し，振り返ることができた。最優秀論文賞という栄誉ある賞に選考いたたきき，更にこのような記事の執筆機会を与えてくたさった編集委員の方々をはじめ, 研究室のメンバーなど研究生活を送る上で欠かすことのできなかった方々への感謝の意を述べて, 本記事を締めたい.

## 参考文献

Kuribayashi, T., Reisert, P., Inoue, N., and Inui, K. (2017). "Examining Macro-level Argumentative Structure Features for Argumentative Relation Identification." IPSJ SIG Technical Report, 2017-NL-234, pp. 1-6.

Ramesh, A., Pavlov, M., Goh, G., Gray, S., Voss, C., Radford, A., Chen, M., and Sutskever, I. (2021). "Zero-shot Text-to-image Generation." arXiv preprint arXiv:2102.12092.

Stab, C. and Gurevych, I. (2017). "Parsing Argumentation Structures in Persuasive Essays." Proceedings of $C L, 43$ (3), pp. 619-659.

## 略歴

栗林樹生 : 2020 年東北大学大学院情報科学研究科修士課程修了. 現在, 東北大

学大学院情報科学研究科にて博士課程取得に向けて研究を進めている. 2020 年より日本学術振興会特別研究員 (DC1). Langsmith 株式会社共同創業者.