# 論述構造解析におけるスパン分散表現

Paul Reiser ${ }^{\dagger+\dagger}$ ・三好 利昇 ${ }^{+\dagger \dagger} \cdot$ 乾 健太郎 ${ }^{\dagger,+\dagger \dagger}$

論述構造解析は, 小論文などの論述文を解析対象とし, 節や文といった談話単位の 役割（主張，根拠など），談話単位間の関係（支持，反論など）を予測するタスクで ある。論述文の自動評価や意見の集約などへの応用可能性から，本タスクは注目を 集めている。論述構造解析では, 談話単位（スパン）が処理の基本単位となるため, スパンに対する特徴ベクトル表現（分散表現）を，どのように計算するかはモデル設計における重要な点である。本研究では，自然言語処理の諸タスクにおけるスパン 分散表現の研究を踏まえ, 論述構造解析に打いて効果的な談話単位のスパン分散表現の獲得方法を提案する。文章中の機能的な表現（接続表現）と論理的な筋を構成 する内容（命題）というそれぞれの粒度で文章の大域的な文脈情報を捉えることが 重要であるという仮定に基づき, 提案法では各談話単位に複数のレべルの大域的な 文脈情報を取り込む。本スパン分散表現を用いることにより，特にこれまでの手法 では同定が困難であった複雑な構造をもつ論述文において，解析性能が向上し，複数のベンチマークデータセット上で最高性能を更新した。また，BERTなどの強力 な言語モデルから得られる単語分散表現を用いた際にも, 既存のスパン分散表現獲得方法では十分な性能が得られないが，提案手法によりスパン分散表現の獲得方法 を工夫することで，性能が大きく向上することを報告する。

キーワード：議論マイニング, 談話構造予測, スパン分散表現
## An Empirical Study of Span Representations in Argumentation Structure Parsing

Paul Reisert ${ }^{\dagger \dagger \dagger}$, Toshinori Miyoshi ${ }^{\dagger \dagger \dagger}$ and Kentaro InuI ${ }^{\dagger, \dagger \dagger \dagger}$

Argumentation Structure Parsing (ASP) is the task of predicting the roles of argumentative units (e.g., claim, premise) and the relations between the units (e.g., support, attack) in an argumentative text. ASP has received a great deal of attention due to its usefulness for applications such as automatic assessment of argumentative
_{j}-\mathbf{h}_{i-1}\right)$ を用い，文脈情報を取り入れたスパン分散表現を計算する。論述文中の談話単位の解釈において文脈情報は重要であり (Nguyen and Litman 2016; Lawrence and Reed 2019)，例えば，「りんごには栄養がある」という発話の機能は，「毎朝りんごを食べるべきだ」に続く発話であれば，主張を支持していることになるが，「果物は体に悪い」に対する発話であれば反論になる．本研究でも，文脈を考慮したスパン分散表現獲得法である LSTM-minusをベースとし，より効果的なスパン分散表現について研究を行う.

## 3 モデル

論述構造解析モデルの概要, 及び提案手法について説明する.

## 3.1 モデルの概要

論述構造解析は, (i) 論述単位分割, (ii) 論述関係認識, (iii) 論述関係タイプ分類, (iv) 論述単位タイプ分類の 4 つのサブタスクによって構成される. 既存研究 (Potash et al. 2017; Niculae et al. 2017; Peldszus and Stede 2015) に従い, 本研究では論述単位は分割済みであると仮定する. 論述構造解析モデルは論述文を入力とし, 各論述単位のスパン分散表現を計算する $(3.2$, $3.3,3.4$ 節). その後, 各論述単位間の論述関係の有無, 各論述関係のタイプ分類, 各論述単位のタイプ分類を行う ( 3.5 節).

## 3.2 スパンの種類

論述文は $T$ 個の単語 $w_{1: T}=\left(w_{1}, w_{2}, \cdots, w_{T}\right)$ で構成され, $K$ 個の論述単位スパン $S_{1: K}^{\mathrm{ADU}}=$ $\left(s_{1}^{\mathrm{ADU}}, s_{2}^{\mathrm{ADU}}, \cdots, s_{K}^{\mathrm{ADU}}\right)$ をも.ここでスパン $s_{k}^{\mathrm{ADU}}$ は, 単語インデックス $i_{k}, j_{k}$ を用いて $\left(i_{k}, j_{k}\right)$
(i) 接続表現と命題の区別なし (LSTMモデル)

(ii) 接続表現と命題の区別あり (LSTM+distモデル)

ADU

図 2 論述文の例と，接続表現と命題の区別をする／しないモデルの概要. ADU は論述単位, AM は接続表現, AC は命題を指す.

と表す $\left(1 \leq i_{k} \leq j_{k} \leq T\right)$. 本研究では，各論述単位 $s_{k}^{\mathrm{ADU}}$ をさらに接続表現 $s_{k}^{\mathrm{AM}}$ と命題 $s_{k}^{\mathrm{AC}}$ に分解する。本研究で扱う英語の論述文では，接続表現は論述単位の先頭に存在し，命題は論述単位中の接続表現より後ろとする (図 2 下). すなわち, 各論述単位 $s_{k}^{\mathrm{ADU}}=\left(i_{k}, j_{k}\right)$ は, 単語インデックス $\ell_{k}\left(i_{k} \leq \ell_{k}<j_{k}\right)$ を用いて，接続表現 $s_{k}^{\mathrm{AM}}=\left(i_{k}, \ell_{k}\right)$ と命題 $s_{k}^{\mathrm{AC}}=\left(\ell_{k}+1, j_{k}\right)$ に分割できる ${ }^{1}$ 。論述文中に論述単位が $K$ 個存在する場合, 接続表現および命題も $K$ 個ずつ存在する.以降, 論述単位を ADU (argumentative discourse unit), 命題を AC (argument component),接続表現を AM (argumentative marker)と表す.

## 3.3 LSTM-minus に基づくスパン分散表現

はじめに，言語処理他タスクで有効なスパン分散表現である LSTM-minus (Wang and Chang 2016) に基づく，論述構造解析モデルを設計する（図 2 左)、本モデルでは， AC と AM 区別


せず， ADU を一つのスパンとして扱う． $\mathrm{ADU}$ スパン $s_{k}^{\mathrm{ADU}}=\left(i_{k}, j_{k}\right)$ のスパン分散表現 $\mathbf{h}_{k}^{\mathrm{ADU}}$ を以下のように得る。

$
\begin{aligned}
\mathbf{w}_{1: T} & =f^{\mathrm{emb}}\left(w_{1: T}\right) \\
\mathbf{h}_{1: T} & =\operatorname{BiLSTM}\left(\mathbf{w}_{1: T}\right) \\
\mathbf{h}_{k}^{\mathrm{ADU}} & =\left[\overrightarrow{\mathbf{h}}_{j_{k}}-\overrightarrow{\mathbf{h}}_{i_{k}-1} ; \overleftarrow{\mathbf{h}}_{i_{k}}-\overleftarrow{\mathbf{h}}_{j_{k}+1} ; \overrightarrow{\mathbf{h}}_{i_{k}-1} ; \overleftarrow{\mathbf{h}}_{j_{k}+1} ; \phi\left(w_{i_{k}: j_{k}}\right)\right]
\end{aligned}
$

ここで, 単語埋め込み層 $f^{\mathrm{emb}}$ は, 入力系列 $w_{1: T}$ を単語分散表現の系列 $\mathbf{w}_{1: T}$ に変換する. BiLSTM レイヤは $\mathbf{w}_{1: T}$ を入力とし，隠れ層の系列 $\mathbf{h}_{1: T}$ を出力する． $\mathbf{h}_{1: T}$ から，各 $\mathrm{ADU}$ スパン $s_{k}^{\mathrm{ADU}}$ について LSTM-minus ベースのスパン分散表現 $\mathbf{h}_{k}^{\mathrm{ADU}}$ を計算する. なお, 既存研究 (Potash et al. 2017) に従い, 各スパン分散表現に特徴ベクトル $\phi\left(w_{i: j}\right)$ を追加している ${ }^{2}$. 本スパン分散表現を用いたモデルを LSTM モデルと呼ぶ.

## 3.4 接続表現と命題を区別したスパン分散表現

LSTM-minus に基づくスパン分散表現の拡張として，AM と AC を区別したスパン分散表現を用いる (図 2 右)，AC は論述の論理的な筋を構成する考えや事実，AM は However どの論の流れを汲み取る上で標識となる接続表現に対応する。ACの内容は論述のテーマに依存するのに対し，AMは論述のテーマに非依存であるなど， AC と AM は異なる性質を持つ.

各論述単位 $s_{k}^{\mathrm{ADU}}$ を接続表現 $s_{k}^{\mathrm{AM}}$ と命題 $s_{k}^{\mathrm{AC}}$ に分解する. LSTM スパンモデルと同様に，各 $\mathrm{AM}$ スパン $s_{k}^{\mathrm{AM}}$ をスパン分散表現 $\mathbf{h}_{k}^{\mathrm{AM}}$ に，各 $\mathrm{AC}$ スパン $s_{k}^{\mathrm{AC}}$ をスパン分散表現 $\mathbf{h}_{k}^{\mathrm{AC}}$ にエンコードする。 $K$ 個の $\mathrm{AM} / \mathrm{AC}$ スパン分散表現の系列をそれぞれ, $H_{1: K}^{\mathrm{AM}}=\left(\mathbf{h}_{1}^{\mathrm{AM}}, \mathbf{h}_{2}^{\mathrm{AM}}, \cdots, \mathbf{h}_{K}^{\mathrm{AM}}\right)$, $H_{1: K}^{\mathrm{AC}}=\left(\mathbf{h}_{1}^{\mathrm{AC}}, \mathbf{h}_{2}^{\mathrm{AC}}, \cdots, \mathbf{h}_{K}^{\mathrm{AC}}\right)$ と表す.

$H_{1: K}^{\mathrm{AM}}$ と $H_{1: K}^{\mathrm{AC}}$ について，異なる BiLSTM を用いてそれぞれ文脈情報を取り入れる.

$
\begin{aligned}
& H_{1: K}^{\mathrm{AM} \_c t x}=\operatorname{BiLSTM}^{\mathrm{AM}}\left(H_{1: K}^{\mathrm{AM}}\right) \\
& H_{1: K}^{\mathrm{AC} \_ \text {ctx }}=\operatorname{BiLSTM}^{\mathrm{AC}}\left(H_{1: K}^{\mathrm{AC}}\right) .
\end{aligned}
$

ここで $H_{1: M}^{\mathrm{AM} \_c t x}=\left(\mathbf{h}_{1}^{\mathrm{AM} \_c t x}, \mathbf{h}_{2}^{\mathrm{AM} \_c t x}, \cdots, \mathbf{h}_{K}^{\mathrm{AM} \_c t x}\right)$ と $H_{1: K}^{\mathrm{AC} \_c t x}=\left(\mathbf{h}_{1}^{\mathrm{AC} \_c t x}, \mathbf{h}_{2}^{\mathrm{AC} \_c t x}, \cdots, \mathbf{h}_{K}^{\mathrm{AC} \_c t x}\right)$ は，それぞれ文脈情報を取り込んだ $K$ 個の $\mathrm{AM} / \mathrm{AC}$ スパン分散表現の系列を表す.

$\mathrm{AM}$ と $\mathrm{AC}$ 別々に処理することで，複数の観点における論の大域的な流れを捉える。例えば，直前の談話単位が譲歩 (of course...) をしていた場合，その直後の談話単位では譲歩の内容に反論し返す（ATTACK 関係をもつ）のが自然である。譲歩している節では対立する見解が述べられていると考えられ，自分の主張にとって不利な見解には直ちに反論しなければ，論述文の説得力が低下する恐れがあるからだ。このような特徴量は BiLSTM ${ }^{\mathrm{AM}}$ によって捉える。ま


た,一つのテーマについて論じられている文章であっても，しばしば論述の中では様々な論点が挙げられ，テーマに対して多角的に批判・分析が行われる。近い話題について議論している談話単位同士は，論述関係を共有している可能性が高いと考える。このような話題, 結束性の変化は BiLSTM ${ }^{\mathrm{AC}}$ によって捉える.

各 $\mathrm{ADU}$ スパン $s_{k}^{\mathrm{ADU}}$ を, $\mathbf{h}_{k}^{\mathrm{AM}-\mathrm{ctx}}$ と $\mathbf{h}_{k}^{\mathrm{AC}-\mathrm{ctx}}, \mathrm{LSTM}$ モデルと同様の特徴ベクトル $\phi\left(w_{i_{k}: j_{k}}\right)$ を用いて以下のように表す.

$
\mathbf{h}_{k}^{\text {ADU_dist }}=\left[\mathbf{h}_{k}^{\text {AM_ctx }} ; \mathbf{h}_{k}^{\text {AC_ctx }} ; \phi\left(w_{i_{k}: j_{k}}\right)\right] .
$

本スパン分散表現を用いたモデルを LSTM+dist モデルと呼ぶ.

## 3.5 出力層

以降は LSTM モデル，LSTM+dist モデルで共通のレイヤとなる． 3.3 節または 3.4 節で得られた, $\mathrm{ADU}$ スパン $s_{k}^{\mathrm{ADU}}$ に対する分散表現を $\mathbf{h}_{k}^{\mathrm{ADU}}$ と表記し $3, K$ 個のスパン分散表現の系列を $H_{1: K}^{\mathrm{ADU}}=\left(\mathbf{h}_{1}^{\mathrm{ADU}}, \mathbf{h}_{2}^{\mathrm{ADU}}, \cdots, \mathbf{h}_{K}^{\mathrm{ADU}}\right)$ とする. $H_{1: K}^{\mathrm{ADU}}$ を BiLSTM に入力し, $\mathrm{ADU}$ のレベルでスパン分散表現に文脈情報を取り入れる.

$
H_{1: K}^{\mathrm{ADU} \_\mathrm{ctx}}=\operatorname{BiLSTM}\left(H_{1: K}^{\mathrm{ADU}}\right) .
$

LSTM モデルと LSTM+dist モデルを平等に比較するため, LSTM+dist モデルでは, 式 1 における BiLSTM の層数を減らし，LSTM モデルとパラメータ数を揃えている．得られた ADU スパン分散表現 $H_{1: K}^{\mathrm{ADU}}{ }^{\mathrm{A} c t x}=\left(\mathbf{h}_{1}^{\mathrm{ADU} \_c t x}, \mathbf{h}_{2}^{\mathrm{ADU}}{ }^{\mathrm{A} c t x}, \cdots, \mathbf{h}_{K}^{\mathrm{ADU}}{ }^{\mathrm{ADtx}}\right)$ をもとに，それぞれのサブタスクにおけるクラスの確率分布を求める。サブタスクは, (i) 論述関係認識, (ii) 論述関係タイプの分類, (iii) 論述単位のタイプの分類の 3 つである。いずれのタスクも，各 ADUに対する多クラス分類問題として定義される。 以降簡略化のため, 論述単位 $s_{k}^{\mathrm{ADU}}$ のスパン分散表現 $\mathbf{h}_{k}^{\mathrm{ADU}}$ _ctx を $\mathbf{h}_{k}$ と表記する。

論述関係認識. 論述関係認識レイヤでは, スパン $s_{m}^{\mathrm{ADU}}$ がスパン $s_{n}^{\mathrm{ADU}}$ に対して有向辺を張る確率を以下のように計算する。

$
\begin{aligned}
\text { score }_{m, n}^{\text {link }} & =\mathbf{w}^{\text {link }} \cdot\left[\mathbf{h}_{m} ; \mathbf{h}_{n} ; \mathbf{h}_{m} \odot \mathbf{h}_{n} ; \phi(m, n)\right] \\
\mathrm{P}\left(n \mid s_{m}^{\mathrm{ADU}}\right) & =\frac{\exp \left(\mathrm{score}_{m, n}^{\mathrm{link}}\right)}{\sum_{n^{\prime}=1}^{K} \exp \left(\mathrm{score}_{m, n^{\prime}}^{\text {link }}\right)}
\end{aligned}
$

ここで $\mathbf{w}^{\text {link }}$ は学習対象となるパラメータである. $\phi(m, n)$ は, $m$ 番目のスパンと $n$ 番目のスパンの間の相対的な距離を示す one-hot vectorである。本研究で扱うデータセットでは, 論述構
^{3}$ LSTM モデルの場合, 3.3 節における $\mathbf{h}_{k}^{\mathrm{ADU}}, \mathrm{LSTM}+\operatorname{dist}$ モデルの場合, 3.4 節における $\mathbf{h}_{k}^{\mathrm{ADU}}$ _dist $に$ 対応する.
}
造は木構造として付与されており, 出力に木の制約を課すため, 各 ADU 間に有向辺が貼られる確率 $\mathrm{P}(n \mid m)$ をもとに，Chu-Liu/Edmonds アルゴリズムを用いてデコードした.

論述関係タイプの分類. スパン $s_{o}^{\mathrm{ADU}}$ が論述関係タイプ $r$ に分類される確率を，スパン分散表現 $\mathbf{h}_{o}$ をもとに以下のように計算する.

$
\begin{aligned}
\text { score }_{o, r}^{\text {link-type }} & =\mathbf{w}_{r}^{\text {link-type }} \cdot \mathbf{h}_{o}+b_{r}^{\text {link-type }} \\
\mathrm{P}\left(r \mid s_{o}^{\mathrm{ADU}}\right) & =\frac{\exp \left(\mathrm{score}_{o, r}^{\text {link-type }}\right)}{\sum_{r^{\prime} \in \mathcal{R}} \exp \left(\text { score }_{o, r^{\prime}}^{\text {link-type }}\right)}
\end{aligned}
$

ここで, $\mathbf{w}_{r}^{\text {link-type }}, b_{r}^{\text {link-type }}$ は学習対象となるパラメータである. また, $\mathcal{R}=\{$ SUPPORT, ATTACK $\}$ である。既存研究に従い，各 ADU スパンを係り元とする論述関係のタイプの分類という形で各 ADU スパン分散表現をもとに予測を行う。また，本研究で用いるデータセットの一つである Persuasive essay corpus (PEC) (Stab and Gurevych 2017)では, ClAIm に筆者と同じ立場か異なる立場かというスタンスのラベルが付与されている．既存研究に従い, PECでは本スタンスの分類も論述関係タイプ分類問題として扱う.

が論述単位タイプに分類される確率 $\mathrm{P}\left(r \mid s_{o}^{\mathrm{ADU}}\right)$ を，スパン分散表現 $\mathbf{h}_{o}$ をもとに求める.

## 3.6 学習

以下の訓練データセット $\mathcal{D}$ を用いる.

$
\begin{aligned}
\mathcal{D} & =\left.\{\left(X, Y^{\text {link }}, Y^{\text {link-type }}, Y^{\text {ac-type }}\right)_{d}\right.\}_{d=1}^{|\mathcal{D}|}, \\
X & =\left.\{w_{1: T}, S_{1: K}^{\mathrm{ADU}}, S_{1: K}^{\mathrm{AM}}, S_{1: K}^{\mathrm{AC}}\right.\}, \\
Y^{\text {link }} & =\left.\{h_{1}, \cdots, h_{K}\right.\}, \\
Y^{\text {link-type }} & =\left.\{t_{1}, \cdots, t_{K}\right.\}, \\
Y^{\text {ac-type }} & =\left.\{r_{1}, \cdots, r_{K}\right.\}
\end{aligned}
$

ここで, $h_{k} \in\{\operatorname{root}, 1,2, \cdots, K\}, \quad t_{k} \in\{$ Support, Attack $\}, r_{k} \in\{$ MajorClaim, Claim, PREMISE $\}^{4}$ である. マルチタスク学習が有効であるという既存研究 (Potash et al. 2017; Stab and Gurevych 2017) の知見に従い, 本研究ではこれら 3 つのサブタスクをマルチタスクで解く.以下の式より，モデルパラメータ $\hat{\theta} を$ 得る。

$
\hat{\theta}=\underset{\theta}{\arg \min } \mathcal{L}(\theta),
$
^{4}$ microtext corpus (Peldszus and Stede 2016) では, MAJORCLAIM クラスは存在しない.
}

$
\begin{aligned}
& \mathcal{L}(\theta)=-\sum_{\left(X, Y^{\text {link }}, Y^{\text {link-type }}, Y^{\text {ac-type }}\right) \in \mathcal{D}}\left(\alpha \ell_{\theta}^{\text {link }}\left(X, Y^{\text {link }}\right)+\beta \ell_{\theta}^{\text {link-type }}\left(X, Y^{\text {link-type }}\right)+(1-\alpha-\beta) \ell_{\theta}^{\text {ac-type }}\left(X, Y^{\text {ac-type }}\right)\right), \\
&
\end{aligned}
$

ここで， $\alpha$ と $\beta$ は各サブタスクに対応する損失関数の重みを決める係数であり，人手により決定するハイパーパラメータである。ただし， $\alpha \geq 0, \beta \geq 0, \alpha+\beta \leq 1$ とする.また，各サブタスクの損失関数は以下のように表される.

$
\begin{aligned}
\ell_{\theta}^{\text {link }}\left(X, Y^{\text {link }}\right) & =\sum_{k \in\{1,2, \cdots, K\}} \log \mathrm{P}_{\theta}\left(h_{k} \mid s_{k}^{\mathrm{ADU}}\right), \\
\ell_{\theta}^{\text {link-type }}\left(X, Y^{\text {link-type }}\right) & =\sum_{k \in\{1,2, \cdots, K\}} \log \mathrm{P}_{\theta}\left(t_{k} \mid s_{k}^{\mathrm{ADU}}\right), \\
\ell_{\theta}^{\text {ac-type }}\left(X, Y^{\text {ac-type }}\right) & =\sum_{k \in\{1,2, \cdots, K\}} \log \mathrm{P}_{\theta}\left(r_{k} \mid s_{k}^{\mathrm{ADU}}\right) .
\end{aligned}
$

学習時のハイパーパラメータは, 付録表 11 に記載する.

## 4 実験

## 4.1 実験設定

データセット. 本研究では, Persuasive essay corpus (PEC) (Stab and Gurevych 2017) と, arg-microtext corpus (MTC) (Peldszus and Stede 2016)の 2 つのベンチマークデータセットを用いる．PECはオンラインフォーラム5に投稿された 402 作文 ( 1,833 段落）からなる．PECにおける論述構造は各段落内に閉じているため, 既存研究に従い, 各段落を入力としてタスクを解いた。データセット作成者 (Stab and Gurevych 2017) が定めた訓練／評価データの分割を用い,学習データから無作為に選ばれた $10 \%$ のデータを開発データとした. また, 既存研究 (Potash et al. 2017) に従い, PEC におけるスコアについては, 異なるシードを用いて行った 3 回の試行の平均を報告した．MTC は，様々な年齢や教育課程のドイツ語話者によって書かれた 112 テキストを，英語に翻訳したもので構成される (Peldszus and Stede 2016). 本データセットは規模が小さいため, 既存研究 (Peldszus and Stede 2015)の分割に従い, 5 分割交差検証を分割の仕方を変えて 10 回行った際の平均スコアを報告する．表 1 に PEC と MTC の統計を示す. PECは MTC のおよそ 10 倍大きいデータセットである。表中の論述構造の深さは，それぞれの段落における論述構造の深さの平均値であり, ルートオブジェクトは深さの計算に含めていない. 例えば CLAIM とそれに直接掛かる PREMISEのみが存在する場合は, 段落の深さは 1 とする。また，PECにおける導入の段落など論述関係が存在しない段落は計算から外した．MTCの方が比較的深い構造を有しているが，これは，MTC データの収集時に「なるべく反論を含めるこ
^{5}$ https://essayforum.com/
}
表 1 PEC と MTC の統計

と」など論述構造が複雑になる方向の指示がされていることが原因であると考えている.

接続表現の抽出．PPEと MTCで付与されているスパンが異なる．PECでは，ACスパンは付与されているものの，AM スパンは付与されていない。本研究では，ルールに基づいて AM スパンを抽出した，各 $\mathrm{AC}$ が属する文のうち， $\mathrm{AC}$ に先行する部分を $\mathrm{AM}$ スパンとする．たたし， $\mathrm{AM}$ スパンは他の $\mathrm{AC}$ スパンと重ならない。また，AMにおいて主節・従属節の区別を明確にするため, AM スパンに前の文の終了記号 (i.e., ., !, and ?) やテキストの始まりを示す特殊記号を含めた。例として，以下の二つの文における節 BのAM を考える。

(1) a. $A$. Because $B, C$.
b. $A$ because $B$. $C$.

例 (1)-a において B は C の従属節であり，例 (1)-bにおいて B は A の従属節である。節 B の AMを，例 (1)-aでは “. Because”，例 (1)-bでは “because”として抽出した. ADUが AM を持たない場合は，前の文の終了記号やテキストの始まりを示す特殊記号のみが AM となる．PEC データセットでは， $63 \%$ の ADUが終了記号以外の単語を含む AM を持っていた. AC と対応する AM を合わせて，ADUスパンとした。

MTC では, ADU が付与されており，AC と AM の区別はついていない。そこで，PECで同定した AM と Penn Discourse TreeBank (PDTB) (Prasad et al. 2008)における談話標識のリストをもとに AM のリストを作成し，各 ADU から AM を抽出した6（表 2)，AM のリストには
^{6} \mathrm{AM}$ リスト作成段階では, 前の文の終了記号 (i.e., ., !, and ?) やテキストの始まりを示す特殊記号は含めず, ADU から AM を抽出する段階で, それらの記号を AM スパンの一部として追加した。
}

1,131 の表現（平均 5.38 トークン）が含まれ，うちPDTB から収集した表現が 173 種類，PEC から収集した表現が 958 種類である。各ADUについて，AM リスト中に存在する表現が ADU の先頭に存在する場合, 最長一致するフレーズをその ADU の AM とした. ADU 中の AM 以外の箇所は ACとした，MTC 中の ADUのうち，およそ $48 \%$ AM が付与された.

AM が文頭以外に出現した場合 (Others, however, think that these children may disrupt their school work and should be allowed to leave school early to find a job.)，AM と AC 区別すると $\mathrm{AC}$ が複数のスパンに分かれてしまう。従ってこのようなケースでは，AMに対応する表現は存在しないとみなした，AM が ADU の途中に挿入される事例は稀であり，例えば “, however,"が存在する ADU は，PEC 中の全 ADU のうち $1 \%$ 程度である.

MTC 上で，本アプローチによる AM の同定性能を調べた．MTC からランダムに抽出した 100 個の ADU について，人手で AM スパンのアノテーションを行い，本アプローチによる AM の抽出結果を評価した（表 3)，表中のスコア7は，AM スパンの完全一致を正解とみなして計算している。抽出された結果を観察すると，“but”などの典型的な AM は概ね抽出できているものの，例えば “This would mean that” などの長い表現については抽出漏れが目立ち, 改善の余地があった，実験では，本アプローチで同定した AM の情報を活用し，MTC 上で性能が向上

表 2 接続表現の例

表 3 接続表現の同定性能

^{7}$ https://github.com/davidsbatista/NER-Evaluation によって, exact スコアを求めた.
}

していることから，ある程度妥当な同定が実現できていると解釈している.

単語表現. 単語表現の獲得手段として, GloVe (Pennington, Socher, and Manning 2014), ELMo (Peters, Neumann, Iyyer, Gardner, Clark, Lee, and Zettlemoyer 2018), BERT (Devlin, Chang, Lee, and Toutanova 2019), RoBERTa (Liu, Ott, Goyal, Du, Joshi, Chen, Levy, Lewis, Zettlemoyer, and Stoyanov 2019), XLNET (Yang, Dai, Yang, Carbonell, Salakhutdinov, and Le 2019)を用いた. ELMo を用いた実験では， 1 層目から 3 層目の表現の平均8を用いた．BERT， RoBERTa, XLNET を用いた単語表現については, Transformers (Wolf, Debut, Sanh, Chaumond, Delangue, Moi, Cistac, Rault, Louf, Funtowicz, et al. 2019)で公開されている事前学習済みモデル9に文章を入力し，各トークンに対応する中間表現を獲得した．各層から獲得した中間表現の重みつき和を対応するトークンの表現とし, 重みはタスク依存で学習した. トークンが複数のサブワードに分割される場合は, それらのサブワードに対応する表現の平均をトークンの表現とした.

ベースライン. 既存の論述構造解析モデル (Potash et al. 2017) で活用されているスパン分散表現を用い, LSTM-Minus に基づくスパン分散表現と比較した. Potash らのスパン分散表現では，スパン中の単語ベクトルの平均などが用いられており，以降このスパン分散表現を用いたモデルを BoW モデル (Bag-of-Words) と呼ぶ. 詳細な実装は付録に記載する.

## 4.2 結果

既存研究に従い, 3 タスクそれぞれにおける F1 スコアと, モデルの総合的な性能として 3 夕スクのF1スコアの平均を報告する。各タスクの MacroF1 スコアについて, ブートストラップ法 (Koehn 2004) で検定を行った (Dror, Baumer, Shlomov, and Reichart 2018).

表 4 に PEC 上での実験結果を, 表 5 に MTC 上での実験結果を示す. 結果から, (i) BoW モデルに比べて，LSTM モデルの方が良い性能を示していること， (ii) AC と AM の区別を行うモデル (LSTM+dist) が, 区別を行わないモデル (LSTM) よりも良い性能を示していること, (iii) これらの傾向は, 異なるデータセット, 異なる単語表現を用いた場合も概ね一貫していることがわかる．XLNET やRoBERTa を用いた実験結果においてもべースライン $(\mathrm{BoW})$ の性能が低いことから，強力な言語モデルから得られた単語表現を活用するだけでは十分な性能は引き出せず，これらの単語表現を用いてどのようにスパン分散表現を獲得するかが更なる精度向上の鍵であると分かる.

LSTM-minus ベースのスパン分散表現を用いたことによる性能向上 (LSTM $>$ BoW) は特に PEC 上で顕著である（表 4)，MTC 上では性能向上の傾向が比較的小さいが（表 5), MTC が小規模なデータセットであるため, LSTM-minus スパン分散表現の抽出に用いるパラメータを

表 4 PEC 上での LSTM+dist, LSTM, BoW モデルの性能比較

} & \multicolumn{3}{|c|}{ 論述関係認識 } & \multicolumn{3}{|c|}{ 論述関係タイプ分類 } & \multicolumn{4}{|c|}{ 論述単位タイプ分類 } \\

MC は MAJORCLAIM の略である。†がついている LSTM モデルの結果は, BoW モデルの結果と統計的に有意に差がある $(p<0.05)$ ことを示す. ‡がついている LSTM+dist モデルの結果は, LSTM モデルの結果と統計的に有意に差がある $(p<0.05)$ ことを示す.

表 5 MTC 上での LSTM+dist, LSTM, BoW モデルの性能比較

} & \multicolumn{3}{|c|}{ 論述関係認識 } & \multicolumn{3}{|c|}{ 論述関係タイプ分類 } & \multicolumn{3}{|c|}{ 論述単位タイプ分類 } \\

†がついている LSTM モデルの結果は, BoW モデルの結果と統計的に有意に差がある $(p<0.05)$ ことを示す.‡がついている LSTM+dist モデルの結果は，LSTM モデルの結果と統計的に有意に差がある $(p<0.05)$ ことを示す.

十分に学習できなかったことなどが原因として考えられる。また， AC と AM の区別による性能向上 (LSTM+dist > LSTM) は，特に MTC 上で大きい（表 5)，MTCデータセットは，PEC に比べて SUPPORT に対する ATTACK 関係の比率が高いことから，対立意見を踏まえて譲歩し，反論し返すなどの複雑な構造を持つ文章が多いことが考えられる． $\mathrm{AC} \cdot \mathrm{AM}$ ごとの流れ（例え
表 6 PEC における既存研究との性能比較

 & \multicolumn{2}{|c|}{ 論述関係認識 } &  & \multicolumn{2}{|c|}{ 論述関係タイプ分類 } &  & \multicolumn{4}{|c|}{ 論述単位タイプ分類 } \\

MC は MajorCLaim の略である．Potash+ 2017 の結果は，再実装によるものである。

表 7 MTC における既存研究との性能比較

} & \multicolumn{3}{|c|}{} & \multicolumn{3}{|c|}{} & \multicolumn{3}{|c|}{} \\

Potash+ 2017 の結果は，再実装によるものである

ば， of course $\rightarrow$ butなどの接続表現の系列）を追うことにより，このような複雑な文章においても頑健に解析できたのではないかと考える。また，PECデータセットは非常に多様なトピックに関する作文で構成されるのに対し，MTC データセットには同じトピックに関する論述が複数含まれている，そのため MTC では，トピックの影響が大きい AC のレべルにおいても，同一トピックの他の論述文から学習したパターンを，新たな論述の解析に転用しやすかった可能性が考えられる。例えば模擬試験における作文の自動評価への論述構造解析の応用などを考えると, 特定のテーマに関する論述文が複数存在する MTC の状況は自然である.

LSTM+dist モデルと既存研究における結果との比較を表 6 と表 7 に示す. スパン分散表現の工夫と最先端のモデルから得られた単語表現を組み合わせることで，PECにおいて論述関係認識における Link 有りクラスの F1 値を 10 ポイント近く向上させる $(60.8 \rightarrow 70.3)$ など, 解析性能を大きく更新した。強力な言語モデルによる単語べクトルを用いた場合も，BoW(XLNET) と Potash+ 2017 の比較から，スパン表現の獲得方法次第では既存のモデルと大きく変わらない

図 3 深さごとの論述関係認識タスクにおける精度

性能を示すことが分かり, LSTM $+\operatorname{dist}(X L N E T)$ と BoW(XLNET) の比較から，提案法によるスパン表現によって性能が大きく向上することが分かる。また，スパン分散表現獲得法により談話レベルの文脈を積極的に取り入れることで，論述構造解析における性能が大きく向上することから，単語の穴埋めや次の文の予測といった言語モデルの目的関数によって得られた単語分散表現そのものには，周囲の論の流れといった談話的な文脈情報は十分に含まれていない可能性があることも示唆される.

## 5 分析

論述構造解析において主要に取り組まれてきた論述関係認識・分類タスクに着目し, 予測の難しいインスタンスや既存のモデルとの出力傾向の違いについて分析する。本分析では, 比較的規模の大きい PECの開発データを用いた。

## 5.1 論述構造の深さ

既存研究 (Stab and Gurevych 2017) では, 論述構造解析モデルが正解の木よりも浅い木を予測しがちであることが指摘されていた。この指摘を踏まえ，木の深さと予測性能の観点から，既存のモデルと本研究における提案モデルを比較する. 図 3 に, ルートオブジェクトの認識精度（深さ0), 深さ 1 の ADU から出る関係の認識精度, 深さ 2 以上の ADU から出る関係の認識精度を示す. 各数値は正しい親を当てることができたかの正解率を示す. 全体的な傾向として,正解の構造において深い位置にある論述関係ほど，予測が難しいことが分かる．深さ 2 以上の関係の予測精度に着目すると，既存のモデル (Potash+2017) の予測精度は大きく低下しているのに対し，スパン分散表現に多粒度の文脈情報を取り达んでいる LSTM+dist モデルは，比較的
(i) Potash+ 2017

(ii) LSTM+dist

(GloVe, ELMo, BERT, RoBERTa, XLNET)

図 4 既存のモデルと LSTM+dist モデルの予測結果の例

頑健に予測できていることが分かる。これらの結果から，深い位置の関係を予測する際には文脈情報が手がかりとなり，文脈情報をスパン表現にどのように取り达むかが予測において重要であることが示唆される。

論述構造が深くなる典型的なケースとして，一旦想定される対立意見を述べそれに対して反論し返すという，ATTACK 関係の連鎖が挙げられる (Peldszus and Stede 2013; Freeman 2011).図 4 は, ATTACK が連鎖する部分構造（論述単位 $4 \rightarrow$ 論述単位 $3 \rightarrow$ 論述単位 1 ）を持つ論述構造の例と, 既存モデルの予測および提案モデルの予測結果である。既存のモデルは予測に失敗しているが，LSTM+dist モデルは正しく予測できている。表 8 に，ATTACK 関係が連鎖している部分構造における論述関係の予測精度を示す. LSTM+dist モデルが良い性能を示していることから，AC と AM の区別が予測に良い影響を与えていることが分かる．異なる立場の意見を挙げて議論を進める文章では，何が自分の主張で何が対立意見なのかを読み手が追いやすいよう，接続表現 (AM) が頻繁に用いられると考えられる。従って, of course $\rightarrow$ but といった AM の流れが予測の手がかかりになったと考えられる。また，このような部分構造は特に MTC で頻繁に観察され，MTC において LSTM モデルと LSTM+dist モデルの性能差が大きい理由の一つであるとも考えられる。

木の深さと論述関係分類性能についても分析を行う．正解の木における深さごとの論述関係分類性能を求めた（表 9). 深さ 0 における論述関係分類は CLAIM が作文の筆者自身の立場のものであるか，対立する立場のものであるかという問題に対応し，特に深さ 0 における予測性能が LSTM+dist を用いた場合に一貫して向上していることが分かる。この結果は，論述関係認識において深い位置の ADU の係り先の予測精度が向上している傾向と対照的である.

CLAIM の立場を推測するためには，その主張が周囲のADUから反論されているのか, 補強されているのかといった大域的な論の流れが手がかりとなると考えられる．様々な粒度で大域的
表 8 ATTACK 関係が連鎖している部分構造における論述関係の予測精度

表 9 深さごとの論述関係分類性能

値は Macro F1 值である.
表 10 接続表現の有無と論述関係認識性能.

な文脈を汲み取る LSTM+dist モデルが，深さ 0 における論述関係分類性能の向上に有効であったと考えられる。また，表 8 における ATTACK関係の連鎖の分析では，筆者に対立する立場の CLAIM とそれに反論し返す PREMISE といった部分構造の予測性能も対象となっている。対立的な CLAIM は周囲の PREMISE によって再反論されやすいという高次の傾向が存在し (Kuribayashi, Reisert, Inoue, and Inui 2017), LSTM+dist モデルが対立する CLAIM をうまく同定できることで，付近に存在する PREMISE の係り先（反論先）を予測する手がかかりとなり，表 8 みられるようなマクロな構造の解析性能の向上や, 図 3 でみられるような深い位置の PREMISE の係り先の予測性能の向上に影響を与えていると考えている.

## 5.2 接続表現の有無

本研究では，論述文における接続表現 (AM) に焦点を当ててモデルの改良を行ったため，分析においても接続表現に焦点を当て，接続表現をもつ／もたないADUから出る論述関係の認識精度について調査する．表 10 に分析結果を示す。各数値は正しい親を当てることができたかの正解率を示す。全体の傾向として，接続表現のある ADU よりも，接続表現のない ADU の方が論述関係の予測精度が低いことが観察される。この傾向は，PDTBスタイルの談話関係認識などにおいて, 談話標識が表示されていない非明示的な談話関係の認識性能が難しいこと

と一貫している， BoW モデルと比較すると，LSTM モデルや LSTM+dist モデルでは，接続表現の有無にかかわらず性能が向上している。また, LSTM モデルと LSTM+dist モデルの結果を比べると，特に接続表現のない ADU において，LSTM+dist モデルによる性能の改善幅が大きい傾向が観察された。論述文の論の流れには談話のレベルで一定のパターンがあると考えられ，周囲の論の流れが接続表現のない ADU の役割を推定する上で手がかかりになると考えられる。LSTM+distによって得られた多粒度の文脈情報が，接続表現のないADUに関する解析に役立っていることが示唆される.

## 6 まとめ

本研究では, 論述構造解析において効果的なスパン分散表現獲得手法を提案し, 実験結果から，接続表現と命題をネットワーク内で明示的に区別し，スパン分散表現に多粒度の文脈を取り込むことの重要性を示した。分析から，深い論述構造をもつ論述文において特に解析構造が向上することが明らかになった，今後の展望として，論述単位の分割も含めて全てのサブタスクを一気通貫学習で解くことや, 修辞構造理論に基づく談話構造の解析や, 論述構造に関連した他タスク (Trautmann, Daxenberger, Stab, Schütze, and Gurevych 2020)における，本手法の有効性の検証を行いたい。

## 謝 辞

本研究の一部は The 57th Annual Meeting of the Association for Computational Linguistics (ACL 2019) で発表したものです (Kuribayashi, Ouchi, Inoue, Reisert, Miyoshi, Suzuki, and Inui 2019). また, 本研究の一部は JST CREST（課題番号：JPMJCR1513）の支援を受けて行いました.

## 参考文献

Afantenos, S., Peldszus, A., and Stede, M. (2018). "Comparing Decoding Mechanisms for Parsing Argumentative Structures." Argument \& Computation, 9 (3), pp. 177-192.

Braud, C. and Denis, P. (2016). "Learning Connective-based Word Representations for Implicit Discourse Relation Identification." In Proceedings of the EMNLP 2016, pp. 203-213.

Cabrio, E. and Villata, S. (2018). "Five Years of Argument Mining: A Data-driven Analysis." In Proceedings of the IJCAI 2018, pp. 5427-5433.

De Beaugrande, R. and Dressler, W. U. (1981). Introduction to Text Linguistics. Routledge.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the NAACL 2019, pp. 4171-4186.

Dror, R., Baumer, G., Shlomov, S., and Reichart, R. (2018). "The Hitchhiker's Guide to Testing Statistical Significance in Natural Language Processing." In Proceedings of the ACL 2018, pp. 1383-1392.

Eger, S., Daxenberger, J., and Gurevych, I. (2017). "Neural End-to-End Learning for Computational Argumentation Mining." In Proceedings of the ACL 2017, pp. 11-22.

Freeman, J. B. (2011). Dialectics and the Macrostructure of Arguments: A Theory of Argument Structure, Vol. 10. Walter de Gruyter.

Habernal, I. and Gurevych, I. (2017). "Argumentation Mining in User-generated Web Discourse." Computational Linguistics, 43 (1), pp. 125-179.

Halliday, M. A. K. and Hasan, R. (2014). Cohesion in English. Routledge.

He, L., Lee, K., Levy, O., and Zettlemoyer, L. (2018). "Jointly Predicting Predicates and Arguments in Neural Semantic Role Labeling." In Proceedings of the ACL 2018, pp. 364-369.

Ke, Z., Carlile, W., Gurrapadi, N., and Ng, V. (2018). "Learning to Give Feedback: Modeling Attributes Affecting Argument Persuasiveness in Student Essays." In Proceedings of the 27th IJCAI, pp. 4130-4136.

Kitaev, N. and Klein, D. (2018). "Constituency Parsing with a Self-Attentive Encoder." In Proceedings of the ACL 2018, pp. 2676-2686.

Koehn, P. (2004). "Statistical Significance Tests for Machine Translation Evaluation." In Proceedings of the EMNLP 2004, pp. 388-395.

Kuribayashi, T., Ouchi, H., Inoue, N., Reisert, P., Miyoshi, T., Suzuki, J., and Inui, K. (2019). "An Empirical Study of Span Representations in Argumentation Structure Parsing." In Proceedings of ACL2019, pp. 4691-4698, Florence, Italy. Association for Computational Linguistics.

Kuribayashi, T., Reisert, P., Inoue, N., and Inui, K. (2017). "Examining Macro-level Argumentative Structure Features for Argumentative Relation Identification." IPSJ SIG Technical Report, 2017-NL-234, pp. 1-6.

Lawrence, J. and Reed, C. (2019). "Argument Mining: A Survey." Computational Linguistics, 45, pp. 765-818.

Lee, K., He, L., Lewis, M., and Zettlemoyer, L. (2017). "End-to-end Neural Coreference Resolution." In Proceedings of the EMNLP 2017, pp. 188-197.

Lee, K., He, L., and Zettlemoyer, L. (2018). "Higher-Order Coreference Resolution with Coarse-

to-Fine Inference." In Proceedings of the NAACL-HLT 2018, pp. 687-692.

Li, Q., Li, T., and Chang, B. (2016). "Discourse Parsing with Attention-based Hierarchical Neural Networks." In Proceedings of the EMNLP 2016, pp. 362-371.

Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., and Stoyanov, V. (2019). "RoBERTa: A Robustly Optimized BERT Pretraining Approach.".

Mann, W. C. and Thompson, S. A. (1987). "Rhetorical Structure Theory: Description and Construction of Text Structures." In Natural Language Generation, pp. 85-95.

Marcu, D. (2000). The Theory and Practice of Discourse Parsing and Summarization. MIT press.

Mochales, R. and Moens, M.-F. (2011). "Argumentation Mining." Artificial Intelligence and Law, 19 (1), pp. 1-22.

Nguyen, H. and Litman, D. (2016). "Context-aware Argumentative Relation Mining." In Proceedings of the ACL 2016, pp. 1127-1137.

Nguyen, H. V. and Litman, D. J. (2018). "Argument Mining for Improving the Automated Scoring of Persuasive Essays." In Proceedings of the AAAI 2018, pp. 5892-5899.

Niculae, V., Park, J., and Cardie, C. (2017). "Argument Mining with Structured SVMs and RNNs." In Proceedings of the ACL 2017, pp. 985-995.

Ouchi, H., Shindo, H., and Matsumoto, Y. (2018). "A Span Selection Model for Semantic Role Labeling." In Proceedings of the EMNLP 2018, pp. 1630-1642.

Pan, B., Yang, Y., Zhao, Z., Zhuang, Y., Cai, D., and He, X. (2018). "Discourse Marker Augmented Network with Reinforcement Learning for Natural Language Inference." In Proceedings of the ACL 2018, pp. 989-999.

Peldszus, A. and Stede, M. (2013). "From Argument Diagrams to Argumentation Mining in Texts: A Survey." International Journal of Cognitive Informatics and Natural Intelligence, 7 (1), pp. 1-31.

Peldszus, A. and Stede, M. (2015). "Joint Prediction in MST-style Discourse Parsing for Argumentation Mining." In Proceedings of the EMNLP 2015, pp. 938-948.

Peldszus, A. and Stede, M. (2016). "An Annotated Corpus of Argumentative Microtexts." In Argumentation and Reasoned Action: Proceedings of the 1st European Conference on Argumentation, pp. 801-815.

Pennington, J., Socher, R., and Manning, C. D. (2014). "GloVe: Global Vectors for Word Representation." In Proceedings of the EMNLP 2014, pp. 1532-1543.

Peters, M., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., and Zettlemoyer, L. (2018). "Deep Contextualized Word Representations." In Proceedings of the NAACL-HLT

2018, pp. 2227-2237.

Potash, P., Romanov, A., and Rumshisky, A. (2017). "Here's My Point: Joint Pointer Architecture for Argument Mining." In Proceedings of the EMNLP 2017, pp. 1375-1384.

Prasad, R., Dinesh, N., Lee, A., Miltsakaki, E., Robaldo, L., Joshi, A. K., and Webber, B. L. (2008). "The Penn Discourse TreeBank 2.0." In Proceedings of the 6th Conference on Language Resources and Evaluation, pp. 2961-2968.

Reed, C. (2006). "Preliminary Results from an Argument Corpus." In Bermúdez, E. M. and Miyares, L. R. (Eds.), Linguistics in the Twenty-first Century. Citeseer.

Reimers, N., Schiller, B., Beck, T., Daxenberger, J., Stab, C., and Gurevych, I. (2019). "Classification and Clustering of Arguments with Contextualized Word Embeddings." In Proceedings of the ACL 2019, pp. 567-578.

Reisert, P., Vallejo, G., Inoue, N., Gurevych, I., and Inui, K. (2019). "An Annotation Protocol for Collecting User-Generated Counter-Arguments Using Crowdsourcing." In Proceedings of the AIED 2019, pp. 232-236.

Sileo, D., Van-De-Cruys, T., Pradel, C., and Muller, P. (2019). "Mining Discourse Markers for Unsupervised Sentence Representation Learning." In Proceedings of the NAACL-HLT 2019, pp. 3477-3486.

Stab, C. and Gurevych, I. (2014). "Identifying Argumentative Discourse Structures in Persuasive Essays." In Proceedings of the EMNLP 2014, pp. 46-56.

Stab, C. and Gurevych, I. (2016). "Recognizing Insufficiently Supported Arguments in Argumentative Essays." In Proceedings of the EACL 2016, pp. 980-990.

Stab, C. and Gurevych, I. (2017). "Parsing Argumentation Structures in Persuasive Essays." In Proceedings of $C L$, Vol. 43, pp. 619-659. MIT Press.

Stab, C., Miller, T., Schiller, B., Rai, P., and Gurevych, I. (2018). "Cross-topic Argument Mining from Heterogeneous Sources." In Proceedings of the EMNLP2018, pp. 3664-3674.

Stede, M., Afantenos, S., Peldszus, A., Asher, N., and Perret, J. (2016). "Parallel Discourse Annotations on a Corpus of Short Texts." In Proceedings of the LREC 2016, pp. 1051-1058.

Stern, M., Andreas, J., and Klein, D. (2017). "A Minimal Span-Based Neural Constituency Parser." In Proceedings of the ACL 2017, pp. 818-827.

Toulmin, S. E. (1958). The Uses of Argument. Cambridge Univ. Press (Cambridge).

Trautmann, D., Daxenberger, J., Stab, C., Schütze, H., and Gurevych, I. (2020). "FineGrained Argument Unit Recognition and Classification." In Proceedings of the AAAI 2020, pp. 9048-9056.

Wachsmuth, H., Naderi, N., Hou, Y., Bilu, Y., Prabhakaran, V., Thijmm, T. A., Hirst, G., and

Stein, B. (2017). "Computational Argumentation Quality Assessment in Natural Language." Proceedings of the EACL2017, pp. 176-187.

Wang, W. and Chang, B. (2016). "Graph-based Dependency Parsing with Bidirectional LSTM." In Proceedings of the ACL 2016, pp. 2306-2315.

Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., Cistac, P., Rault, T., Louf, R., Funtowicz, M., et al. (2019). "Transformers: State-of-the-art Natural Language Processing." arXiv preprint arXiv:1910.03771.

Yang, Z., Dai, Z., Yang, Y., Carbonell, J., Salakhutdinov, R. R., and Le, Q. V. (2019). "Xlnet: Generalized Autoregressive Pretraining for Language Understanding." In Proceedings of the NIPS 2019, pp. 5754-5764.

## 付録

## A 追加素性

既存研究 (Potash et al. 2017) に従い，ADU に関する以下の離散的な特徴量を用いた
- ADU 中に出現する単語の集合（出現単語に対応する次元が 1 , それ以外が 0 である語彙数長のベクトル)
- ADU 中に含まれる単語の分散表現について, average, max, min プーリングを施したもの
- 論述全体の中で何番目の ADU か (one-hot-vector)
- 段落内で何番目の ADU か (one-hot-vector)
- ADU が論述文中で, 最初の段落, 最後の段落, それ以外の段落のいずれに属するか (onehot-vector)

Potash らに従い, これらの特徴から得られた離散特徴べクトルを全結合層によって, 連続的な特徴表現に変換した. 特徴表現の次元数は, LSTM, LSTM+dist モデルでは 512 次元, BoW モデルでは LSTM-Minusベースのスパン表現の次元数と合わせるため 1536 次元にしている。また，単語の分散表現を用いた素性については，各実験設定で用いた分散表現と同じもの（例えば，XLNET の各層から得られた分散表現の重みつき和）を用いている.
表 11 ハイパーパラメータの一覧

## B ハイパーパラメータ

表 11 にハイパーパラメータを示す. LSTMは1層のものを用いた．BoW, LSTM, and LSTMdist モデルをパラメータ数の観点で正当に比較するため，LSTM モデルでは BiLSTM の隠れ層の次元を大きくし，ADU レベルの LSTM の層の数を 2 層にしている． BoW モデルでは， パラメータ数を増やしても性能がほとんど変わらなかったため表 11 の通りのハイパーパラメータを用いている.

## 略厤

栗林樹生：2020 年東北大学大学院情報科学研究科博士前期課程修了. 現在,

東北大学大学院情報科学研究科にて博士課程取得に向けて研究を進めている. 2020 年より日本学術振興会特別研究員 (DC1). Langsmith 株式会社共同創業者.

大内啓樹：奈良先端科学技術大学院情報科学研究科にて，2015 年博士前期課程修了. 2018 年博士後期課程修了. 2018 年より理化学研究所革新知能統合研究センター特別研究員.
井之上直也：2013 年東北大学大学院情報科学研究科博士後期課程修了. 株式会社デンソー基礎研究所研究員, 東北大学大学院情報科学研究科助教, 理化学研究所客員研究員を経て, 2020 年より Stony Brook University 研究員.

鈴木潤：2001 年から 2018 年まで日本電信電話株式会社コミュニケーション科学基礎研究所研究員 (主任研究員/特別研究員). 2005 年奈良先端科学技術大学院情報科学研究科博士後期課程修了. 現在, 東北大学デー夕駆動科学・ $\mathrm{AI}$ 教育研究センター教授.

Paul Reisert：2017 年東北大学大学院情報科学研究科博士後期課程修了. 2017 年より理化学研究所革新知能統合研究センター特別研究員.

三好利昇 : 2002 年京都大学理学部卒業. 2007 年同大学院情報学研究科博士課程修了．博士 (情報学)．同年，（株）日立製作所中央研究所に入社．現在，日立製作所研究開発グループテクノロジーイノベーションセンタに勤務. 自然言語処理などの研究に従事.

乾健太郎：1995 年東京工業大学大学院情報理工学研究科博士課程修了. 2010 年より東北大学大学院情報科学研究科教授. 2016 年より理化学研究所 AIP センター自然言語理解チームリーダー兼任.

(2020 年 4 月 1 日受付)

(2020 年 7 月 1 日再受付)

$(2020$ 年 8 月 19 日採録)