# 論述構造解析におけるスパン分散表現

Paul Reiser ${ }^{\dagger+\dagger}$ ・三好 利昇 ${ }^{+\dagger \dagger} \cdot$ 乾 健太郎 ${ }^{\dagger,+\dagger \dagger}$

論述構造解析は, 小論文などの論述文を解析対象とし, 節や文といった談話単位の 役割（主張，根拠など），談話単位間の関係（支持，反論など）を予測するタスクで ある。論述文の自動評価や意見の集約などへの応用可能性から，本タスクは注目を 集めている。論述構造解析では, 談話単位（スパン）が処理の基本単位となるため, スパンに対する特徴ベクトル表現（分散表現）を，どのように計算するかはモデル設計における重要な点である。本研究では，自然言語処理の諸タスクにおけるスパン 分散表現の研究を踏まえ, 論述構造解析に打いて効果的な談話単位のスパン分散表現の獲得方法を提案する。文章中の機能的な表現（接続表現）と論理的な筋を構成 する内容（命題）というそれぞれの粒度で文章の大域的な文脈情報を捉えることが 重要であるという仮定に基づき, 提案法では各談話単位に複数のレべルの大域的な 文脈情報を取り込む。本スパン分散表現を用いることにより，特にこれまでの手法 では同定が困難であった複雑な構造をもつ論述文において，解析性能が向上し，複数のベンチマークデータセット上で最高性能を更新した。また，BERTなどの強力 な言語モデルから得られる単語分散表現を用いた際にも, 既存のスパン分散表現獲得方法では十分な性能が得られないが，提案手法によりスパン分散表現の獲得方法 を工夫することで，性能が大きく向上することを報告する。

キーワード：議論マイニング, 談話構造予測, スパン分散表現
## An Empirical Study of Span Representations in Argumentation Structure Parsing

Paul Reisert ${ }^{\dagger \dagger \dagger}$, Toshinori Miyoshi ${ }^{\dagger \dagger \dagger}$ and Kentaro InuI ${ }^{\dagger, \dagger \dagger \dagger}$

Argumentation Structure Parsing (ASP) is the task of predicting the roles of argumentative units (e.g., claim, premise) and the relations between the units (e.g., support, attack) in an argumentative text. ASP has received a great deal of attention due to its usefulness for applications such as automatic assessment of argumentative
_{j}-\mathbf{h}_{i-1}\right)$ を用い，文脈情報を取り入れたスパン分散表現を計算する。論述文中の談話単位の解釈におい て文脈情報は重要であり (Nguyen and Litman 2016; Lawrence and Reed 2019)，例えば，「りん ごには栄養がある」という発話の機能は，「毎朝りんごを食べるべきだ」に続く発話であれば，主張を支持していることになるが，「果物は体に悪い」に対する発話であれば反論になる．本研究でも，文脈を考慮したスパン分散表現獲得法である LSTM-minusをベースとし，より効果的 なスパン分散表現について研究を行う.

## 3 モデル

論述構造解析モデルの概要, 及び提案手法について説明する.

## 3.1 モデルの概要

論述構造解析は, (i) 論述単位分割, (ii) 論述関係認識, (iii) 論述関係タイプ分類, (iv) 論述単位タイプ分類の 4 つのサブタスクによって構成される. 既存研究 (Potash et al. 2017; Niculae et al. 2017; Peldszus and Stede 2015) に従い, 本研究では論述単位は分割済みであると仮定す る. 論述構造解析モデルは論述文を入力とし, 各論述単位のスパン分散表現を計算する $(3.2$, $3.3,3.4$ 節). その後, 各論述単位間の論述関係の有無, 各論述関係のタイプ分類, 各論述単位 のタイプ分類を行う ( 3.5 節).

## 3.2 スパンの種類

論述文は $T$ 個の単語 $w_{1: T}=\left(w_{1}, w_{2}, \cdots, w_{T}\right)$ で構成され, $K$ 個の論述単位スパン $S_{1: K}^{\mathrm{ADU}}=$ $\left(s_{1}^{\mathrm{ADU}}, s_{2}^{\mathrm{ADU}}, \cdots, s_{K}^{\mathrm{ADU}}\right)$ をも.ここでスパン $s_{k}^{\mathrm{ADU}}$ は, 単語インデックス $i_{k}, j_{k}$ を用いて $\left(i_{k}, j_{k}\right)$
(i) 接続表現と命題の区別なし (LSTMモデル)

(ii) 接続表現と命題の区別あり (LSTM+distモデル)

ADU

図 2 論述文の例と，接続表現と命題の区別をする／しないモデルの概要. ADU は論述単位, AM は接続表現, AC は命題を指す.

と表す $\left(1 \leq i_{k} \leq j_{k} \leq T\right)$. 本研究では，各論述単位 $s_{k}^{\mathrm{ADU}}$ をさらに接続表現 $s_{k}^{\mathrm{AM}}$ と命題 $s_{k}^{\mathrm{AC}}$ に 分解する。本研究で扱う英語の論述文では，接続表現は論述単位の先頭に存在し，命題は論述単位中の接続表現より後ろとする (図 2 下). すなわち, 各論述単位 $s_{k}^{\mathrm{ADU}}=\left(i_{k}, j_{k}\right)$ は, 単語イ ンデックス $\ell_{k}\left(i_{k} \leq \ell_{k}<j_{k}\right)$ を用いて，接続表現 $s_{k}^{\mathrm{AM}}=\left(i_{k}, \ell_{k}\right)$ と命題 $s_{k}^{\mathrm{AC}}=\left(\ell_{k}+1, j_{k}\right)$ に分割 できる ${ }^{1}$ 。論述文中に論述単位が $K$ 個存在する場合, 接続表現および命題も $K$ 個ずつ存在する.以降, 論述単位を ADU (argumentative discourse unit), 命題を AC (argument component),接続表現を AM (argumentative marker)と表す.

## 3.3 LSTM-minus に基づくスパン分散表現

はじめに，言語処理他タスクで有効なスパン分散表現である LSTM-minus (Wang and Chang 2016) に基づく，論述構造解析モデルを設計する（図 2 左)、本モデルでは， AC と AM 区別

せず， ADU を一つのスパンとして扱う． $\mathrm{ADU}$ スパン $s_{k}^{\mathrm{ADU}}=\left(i_{k}, j_{k}\right)$ のスパン分散表現 $\mathbf{h}_{k}^{\mathrm{ADU}}$ を以下のように得る。

$
\begin{aligned}
\mathbf{w}_{1: T} & =f^{\mathrm{emb}}\left(w_{1: T}\right) \\
\mathbf{h}_{1: T} & =\operatorname{BiLSTM}\left(\mathbf{w}_{1: T}\right) \\
\mathbf{h}_{k}^{\mathrm{ADU}} & =\left[\overrightarrow{\mathbf{h}}_{j_{k}}-\overrightarrow{\mathbf{h}}_{i_{k}-1} ; \overleftarrow{\mathbf{h}}_{i_{k}}-\overleftarrow{\mathbf{h}}_{j_{k}+1} ; \overrightarrow{\mathbf{h}}_{i_{k}-1} ; \overleftarrow{\mathbf{h}}_{j_{k}+1} ; \phi\left(w_{i_{k}: j_{k}}\right)\right]
\end{aligned}
$

ここで, 単語埋め込み層 $f^{\mathrm{emb}}$ は, 入力系列 $w_{1: T}$ を単語分散表現の系列 $\mathbf{w}_{1: T}$ に変換する. BiLSTM レイヤは $\mathbf{w}_{1: T}$ を入力とし，隠れ層の系列 $\mathbf{h}_{1: T}$ を出力する． $\mathbf{h}_{1: T}$ から，各 $\mathrm{ADU}$ スパン $s_{k}^{\mathrm{ADU}}$ に ついて LSTM-minus ベースのスパン分散表現 $\mathbf{h}_{k}^{\mathrm{ADU}}$ を計算する. なお, 既存研究 (Potash et al. 2017) に従い, 各スパン分散表現に特徴ベクトル $\phi\left(w_{i: j}\right)$ を追加している ${ }^{2}$. 本スパン分散表現 を用いたモデルを LSTM モデルと呼ぶ.

## 3.4 接続表現と命題を区別したスパン分散表現

LSTM-minus に基づくスパン分散表現の拡張として，AM と AC を区別したスパン分散表現 を用いる (図 2 右)，AC は論述の論理的な筋を構成する考えや事実，AM は However どの論 の流れを汲み取る上で標識となる接続表現に対応する。ACの内容は論述のテーマに依存する のに対し，AMは論述のテーマに非依存であるなど， AC と AM は異なる性質を持つ.

各論述単位 $s_{k}^{\mathrm{ADU}}$ を接続表現 $s_{k}^{\mathrm{AM}}$ と命題 $s_{k}^{\mathrm{AC}}$ に分解する. LSTM スパンモデルと同様に，各 $\mathrm{AM}$ スパン $s_{k}^{\mathrm{AM}}$ をスパン分散表現 $\mathbf{h}_{k}^{\mathrm{AM}}$ に，各 $\mathrm{AC}$ スパン $s_{k}^{\mathrm{AC}}$ をスパン分散表現 $\mathbf{h}_{k}^{\mathrm{AC}}$ にエン コードする。 $K$ 個の $\mathrm{AM} / \mathrm{AC}$ スパン分散表現の系列をそれぞれ, $H_{1: K}^{\mathrm{AM}}=\left(\mathbf{h}_{1}^{\mathrm{AM}}, \mathbf{h}_{2}^{\mathrm{AM}}, \cdots, \mathbf{h}_{K}^{\mathrm{AM}}\right)$, $H_{1: K}^{\mathrm{AC}}=\left(\mathbf{h}_{1}^{\mathrm{AC}}, \mathbf{h}_{2}^{\mathrm{AC}}, \cdots, \mathbf{h}_{K}^{\mathrm{AC}}\right)$ と表す.

$H_{1: K}^{\mathrm{AM}}$ と $H_{1: K}^{\mathrm{AC}}$ について，異なる BiLSTM を用いてそれぞれ文脈情報を取り入れる.

$
\begin{aligned}
& H_{1: K}^{\mathrm{AM} \_c t x}=\operatorname{BiLSTM}^{\mathrm{AM}}\left(H_{1: K}^{\mathrm{AM}}\right) \\
& H_{1: K}^{\mathrm{AC} \_ \text {ctx }}=\operatorname{BiLSTM}^{\mathrm{AC}}\left(H_{1: K}^{\mathrm{AC}}\right) .
\end{aligned}
$

ここで $H_{1: M}^{\mathrm{AM} \_c t x}=\left(\mathbf{h}_{1}^{\mathrm{AM} \_c t x}, \mathbf{h}_{2}^{\mathrm{AM} \_c t x}, \cdots, \mathbf{h}_{K}^{\mathrm{AM} \_c t x}\right)$ と $H_{1: K}^{\mathrm{AC} \_c t x}=\left(\mathbf{h}_{1}^{\mathrm{AC} \_c t x}, \mathbf{h}_{2}^{\mathrm{AC} \_c t x}, \cdots, \mathbf{h}_{K}^{\mathrm{AC} \_c t x}\right)$ は，それぞれ文脈情報を取り込んだ $K$ 個の $\mathrm{AM} / \mathrm{AC}$ スパン分散表現の系列を表す.

$\mathrm{AM}$ と $\mathrm{AC}$ 別々に処理することで，複数の観点における論の大域的な流れを捉える。例え ば，直前の談話単位が譲歩 (of course...) をしていた場合，その直後の談話単位では譲歩の内容 に反論し返す（ATTACK 関係をもつ）のが自然である。譲歩している節では対立する見解が述 べられていると考えられ，自分の主張にとって不利な見解には直ちに反論しなければ，論述文 の説得力が低下する恐れがあるからだ。このような特徴量は BiLSTM ${ }^{\mathrm{AM}}$ によって捉える。ま

た,一つのテーマについて論じられている文章であっても，しばしば論述の中では様々な論点 が挙げられ，テーマに対して多角的に批判・分析が行われる。近い話題について議論している 談話単位同士は，論述関係を共有している可能性が高いと考える。このような話題, 結束性の 変化は BiLSTM ${ }^{\mathrm{AC}}$ によって捉える.

各 $\mathrm{ADU}$ スパン $s_{k}^{\mathrm{ADU}}$ を, $\mathbf{h}_{k}^{\mathrm{AM}-\mathrm{ctx}}$ と $\mathbf{h}_{k}^{\mathrm{AC}-\mathrm{ctx}}, \mathrm{LSTM}$ モデルと同様の特徴ベクトル $\phi\left(w_{i_{k}: j_{k}}\right)$ を用いて以下のように表す.

$
\mathbf{h}_{k}^{\text {ADU_dist }}=\left[\mathbf{h}_{k}^{\text {AM_ctx }} ; \mathbf{h}_{k}^{\text {AC_ctx }} ; \phi\left(w_{i_{k}: j_{k}}\right)\right] .
$

本スパン分散表現を用いたモデルを LSTM+dist モデルと呼ぶ.

## 3.5 出力層

以降は LSTM モデル，LSTM+dist モデルで共通のレイヤとなる． 3.3 節または 3.4 節で得ら れた, $\mathrm{ADU}$ スパン $s_{k}^{\mathrm{ADU}}$ に対する分散表現を $\mathbf{h}_{k}^{\mathrm{ADU}}$ と表記し $3, K$ 個のスパン分散表現の系列 を $H_{1: K}^{\mathrm{ADU}}=\left(\mathbf{h}_{1}^{\mathrm{ADU}}, \mathbf{h}_{2}^{\mathrm{ADU}}, \cdots, \mathbf{h}_{K}^{\mathrm{ADU}}\right)$ とする. $H_{1: K}^{\mathrm{ADU}}$ を BiLSTM に入力し, $\mathrm{ADU}$ のレベルでス パン分散表現に文脈情報を取り入れる.

$
H_{1: K}^{\mathrm{ADU} \_\mathrm{ctx}}=\operatorname{BiLSTM}\left(H_{1: K}^{\mathrm{ADU}}\right) .
$

LSTM モデルと LSTM+dist モデルを平等に比較するため, LSTM+dist モデルでは, 式 1 にお ける BiLSTM の層数を減らし，LSTM モデルとパラメータ数を揃えている．得られた ADU ス パン分散表現 $H_{1: K}^{\mathrm{ADU}}{ }^{\mathrm{A} c t x}=\left(\mathbf{h}_{1}^{\mathrm{ADU} \_c t x}, \mathbf{h}_{2}^{\mathrm{ADU}}{ }^{\mathrm{A} c t x}, \cdots, \mathbf{h}_{K}^{\mathrm{ADU}}{ }^{\mathrm{ADtx}}\right)$ をもとに，それぞれのサブタスク におけるクラスの確率分布を求める。サブタスクは, (i) 論述関係認識, (ii) 論述関係タイプの 分類, (iii) 論述単位のタイプの分類の 3 つである。いずれのタスクも，各 ADUに対する多クラ ス分類問題として定義される。 以降簡略化のため, 論述単位 $s_{k}^{\mathrm{ADU}}$ のスパン分散表現 $\mathbf{h}_{k}^{\mathrm{ADU}}$ _ctx を $\mathbf{h}_{k}$ と表記する。

論述関係認識. 論述関係認識レイヤでは, スパン $s_{m}^{\mathrm{ADU}}$ がスパン $s_{n}^{\mathrm{ADU}}$ に対して有向辺を張る 確率を以下のように計算する。

$
\begin{aligned}
\text { score }_{m, n}^{\text {link }} & =\mathbf{w}^{\text {link }} \cdot\left[\mathbf{h}_{m} ; \mathbf{h}_{n} ; \mathbf{h}_{m} \odot \mathbf{h}_{n} ; \phi(m, n)\right] \\
\mathrm{P}\left(n \mid s_{m}^{\mathrm{ADU}}\right) & =\frac{\exp \left(\mathrm{score}_{m, n}^{\mathrm{link}}\right)}{\sum_{n^{\prime}=1}^{K} \exp \left(\mathrm{score}_{m, n^{\prime}}^{\text {link }}\right)}
\end{aligned}
$

ここで $\mathbf{w}^{\text {link }}$ は学習対象となるパラメータである. $\phi(m, n)$ は, $m$ 番目のスパンと $n$ 番目のスパ ンの間の相対的な距離を示す one-hot vectorである。本研究で扱うデータセットでは, 論述構
^{3}$ LSTM モデルの場合, 3.3 節における $\mathbf{h}_{k}^{\mathrm{ADU}}, \mathrm{LSTM}+\operatorname{dist}$ モデルの場合, 3.4 節における $\mathbf{h}_{k}^{\mathrm{ADU}}$ _dist $に$ 対応する.
}
造は木構造として付与されており, 出力に木の制約を課すため, 各 ADU 間に有向辺が貼られ る確率 $\mathrm{P}(n \mid m)$ をもとに，Chu-Liu/Edmonds アルゴリズムを用いてデコードした.

論述関係タイプの分類. スパン $s_{o}^{\mathrm{ADU}}$ が論述関係タイプ $r$ に分類される確率を，スパン分散表現 $\mathbf{h}_{o}$ をもとに以下のように計算する.

$
\begin{aligned}
\text { score }_{o, r}^{\text {link-type }} & =\mathbf{w}_{r}^{\text {link-type }} \cdot \mathbf{h}_{o}+b_{r}^{\text {link-type }} \\
\mathrm{P}\left(r \mid s_{o}^{\mathrm{ADU}}\right) & =\frac{\exp \left(\mathrm{score}_{o, r}^{\text {link-type }}\right)}{\sum_{r^{\prime} \in \mathcal{R}} \exp \left(\text { score }_{o, r^{\prime}}^{\text {link-type }}\right)}
\end{aligned}
$

ここで, $\mathbf{w}_{r}^{\text {link-type }}, b_{r}^{\text {link-type }}$ は学習対象となるパラメータである. また, $\mathcal{R}=\{$ SUPPORT, ATTACK $\}$ である。既存研究に従い，各 ADU スパンを係り元とする論述関係のタイプの分類という形で 各 ADU スパン分散表現をもとに予測を行う。また，本研究で用いるデータセットの一つであ る Persuasive essay corpus (PEC) (Stab and Gurevych 2017)では, ClAIm に筆者と同じ立場か 異なる立場かというスタンスのラベルが付与されている．既存研究に従い, PECでは本スタン スの分類も論述関係タイプ分類問題として扱う.

が論述単位タイプに分類される確率 $\mathrm{P}\left(r \mid s_{o}^{\mathrm{ADU}}\right)$ を，スパン分散表現 $\mathbf{h}_{o}$ をもとに求める.

## 3.6 学習

以下の訓練データセット $\mathcal{D}$ を用いる.

$
\begin{aligned}
\mathcal{D} & =\left.\{\left(X, Y^{\text {link }}, Y^{\text {link-type }}, Y^{\text {ac-type }}\right)_{d}\right.\}_{d=1}^{|\mathcal{D}|}, \\
X & =\left.\{w_{1: T}, S_{1: K}^{\mathrm{ADU}}, S_{1: K}^{\mathrm{AM}}, S_{1: K}^{\mathrm{AC}}\right.\}, \\
Y^{\text {link }} & =\left.\{h_{1}, \cdots, h_{K}\right.\}, \\
Y^{\text {link-type }} & =\left.\{t_{1}, \cdots, t_{K}\right.\}, \\
Y^{\text {ac-type }} & =\left.\{r_{1}, \cdots, r_{K}\right.\}
\end{aligned}
$

ここで, $h_{k} \in\{\operatorname{root}, 1,2, \cdots, K\}, \quad t_{k} \in\{$ Support, Attack $\}, r_{k} \in\{$ MajorClaim, Claim, PREMISE $\}^{4}$ である. マルチタスク学習が有効であるという既存研究 (Potash et al. 2017; Stab and Gurevych 2017) の知見に従い, 本研究ではこれら 3 つのサブタスクをマルチタスクで解く.以下の式より，モデルパラメータ $\hat{\theta} を$ 得る。

$
\hat{\theta}=\underset{\theta}{\arg \min } \mathcal{L}(\theta),
$
^{4}$ microtext corpus (Peldszus and Stede 2016) では, MAJORCLAIM クラスは存在しない.
}

$
\begin{aligned}
& \mathcal{L}(\theta)=-\sum_{\left(X, Y^{\text {link }}, Y^{\text {link-type }}, Y^{\text {ac-type }}\right) \in \mathcal{D}}\left(\alpha \ell_{\theta}^{\text {link }}\left(X, Y^{\text {link }}\right)+\beta \ell_{\theta}^{\text {link-type }}\left(X, Y^{\text {link-type }}\right)+(1-\alpha-\beta) \ell_{\theta}^{\text {ac-type }}\left(X, Y^{\text {ac-type }}\right)\right), \\
&
\end{aligned}
$

ここで， $\alpha$ と $\beta$ は各サブタスクに対応する損失関数の重みを決める係数であり，人手により決定するハイパーパラメータである。ただし， $\alpha \geq 0, \beta \geq 0, \alpha+\beta \leq 1$ とする.また，各サブタ スクの損失関数は以下のように表される.

$
\begin{aligned}
\ell_{\theta}^{\text {link }}\left(X, Y^{\text {link }}\right) & =\sum_{k \in\{1,2, \cdots, K\}} \log \mathrm{P}_{\theta}\left(h_{k} \mid s_{k}^{\mathrm{ADU}}\right), \\
\ell_{\theta}^{\text {link-type }}\left(X, Y^{\text {link-type }}\right) & =\sum_{k \in\{1,2, \cdots, K\}} \log \mathrm{P}_{\theta}\left(t_{k} \mid s_{k}^{\mathrm{ADU}}\right), \\
\ell_{\theta}^{\text {ac-type }}\left(X, Y^{\text {ac-type }}\right) & =\sum_{k \in\{1,2, \cdots, K\}} \log \mathrm{P}_{\theta}\left(r_{k} \mid s_{k}^{\mathrm{ADU}}\right) .
\end{aligned}
$

学習時のハイパーパラメータは, 付録表 11 に記載する.

## 4 実験

## 4.1 実験設定

データセット. 本研究では, Persuasive essay corpus (PEC) (Stab and Gurevych 2017) と, arg-microtext corpus (MTC) (Peldszus and Stede 2016)の 2 つのベンチマークデータセットを 用いる．PECはオンラインフォーラム5に投稿された 402 作文 ( 1,833 段落）からなる．PECに おける論述構造は各段落内に閉じているため, 既存研究に従い, 各段落を入力としてタスクを解 いた。データセット作成者 (Stab and Gurevych 2017) が定めた訓練／評価データの分割を用い,学習データから無作為に選ばれた $10 \%$ のデータを開発データとした. また, 既存研究 (Potash et al. 2017) に従い, PEC におけるスコアについては, 異なるシードを用いて行った 3 回の試行 の平均を報告した．MTC は，様々な年齢や教育課程のドイツ語話者によって書かれた 112 テキ ストを，英語に翻訳したもので構成される (Peldszus and Stede 2016). 本データセットは規模 が小さいため, 既存研究 (Peldszus and Stede 2015)の分割に従い, 5 分割交差検証を分割の仕方 を変えて 10 回行った際の平均スコアを報告する．表 1 に PEC と MTC の統計を示す. PECは MTC のおよそ 10 倍大きいデータセットである。表中の論述構造の深さは，それぞれの段落に おける論述構造の深さの平均値であり, ルートオブジェクトは深さの計算に含めていない. 例 えば CLAIM とそれに直接掛かる PREMISEのみが存在する場合は, 段落の深さは 1 とする。ま た，PECにおける導入の段落など論述関係が存在しない段落は計算から外した．MTCの方が 比較的深い構造を有しているが，これは，MTC データの収集時に「なるべく反論を含めるこ
^{5}$ https://essayforum.com/
}
表 1 PEC と MTC の統計

と」など論述構造が複雑になる方向の指示がされていることが原因であると考えている.

接続表現の抽出．PPEと MTCで付与されているスパンが異なる．PECでは，ACスパンは 付与されているものの，AM スパンは付与されていない。本研究では，ルールに基づいて AM スパンを抽出した，各 $\mathrm{AC}$ が属する文のうち， $\mathrm{AC}$ に先行する部分を $\mathrm{AM}$ スパンとする．たた し， $\mathrm{AM}$ スパンは他の $\mathrm{AC}$ スパンと重ならない。また，AMにおいて主節・従属節の区別を明確 にするため, AM スパンに前の文の終了記号 (i.e., ., !, and ?) やテキストの始まりを示す特殊記号を含めた。例として，以下の二つの文における節 BのAM を考える。

(1) a. $A$. Because $B, C$.
b. $A$ because $B$. $C$.

例 (1)-a において B は C の従属節であり，例 (1)-bにおいて B は A の従属節である。節 B の AMを，例 (1)-aでは “. Because”，例 (1)-bでは “because”として抽出した. ADUが AM を持 たない場合は，前の文の終了記号やテキストの始まりを示す特殊記号のみが AM となる．PEC データセットでは， $63 \%$ の ADUが終了記号以外の単語を含む AM を持っていた. AC と対応す る AM を合わせて，ADUスパンとした。

MTC では, ADU が付与されており，AC と AM の区別はついていない。そこで，PECで同定した AM と Penn Discourse TreeBank (PDTB) (Prasad et al. 2008)における談話標識のリス トをもとに AM のリストを作成し，各 ADU から AM を抽出した6（表 2)，AM のリストには
^{6} \mathrm{AM}$ リスト作成段階では, 前の文の終了記号 (i.e., ., !, and ?) やテキストの始まりを示す特殊記号は含めず, ADU から AM を抽出する段階で, それらの記号を AM スパンの一部として追加した。
}

1,131 の表現（平均 5.38 トークン）が含まれ，うちPDTB から収集した表現が 173 種類，PEC から収集した表現が 958 種類である。各ADUについて，AM リスト中に存在する表現が ADU の先頭に存在する場合, 最長一致するフレーズをその ADU の AM とした. ADU 中の AM 以外 の箇所は ACとした，MTC 中の ADUのうち，およそ $48 \%$ AM が付与された.

AM が文頭以外に出現した場合 (Others, however, think that these children may disrupt their school work and should be allowed to leave school early to find a job.)，AM と AC 区別すると $\mathrm{AC}$ が複数のスパンに分かれてしまう。従ってこのようなケースでは，AMに対応する表現は存在しないとみなした，AM が ADU の途中に挿入される事例は稀であり，例えば “, however,"が 存在する ADU は，PEC 中の全 ADU のうち $1 \%$ 程度である.

MTC 上で，本アプローチによる AM の同定性能を調べた．MTC からランダムに抽出した 100 個の ADU について，人手で AM スパンのアノテーションを行い，本アプローチによる AM の抽出結果を評価した（表 3)，表中のスコア7は，AM スパンの完全一致を正解とみなして計算 している。抽出された結果を観察すると，“but”などの典型的な AM は概ね抽出できているも のの，例えば “This would mean that” などの長い表現については抽出漏れが目立ち, 改善の余地があった，実験では，本アプローチで同定した AM の情報を活用し，MTC 上で性能が向上

表 2 接続表現の例

表 3 接続表現の同定性能

^{7}$ https://github.com/davidsbatista/NER-Evaluation によって, exact スコアを求めた.
}

していることから，ある程度妥当な同定が実現できていると解釈している.

単語表現. 単語表現の獲得手段として, GloVe (Pennington, Socher, and Manning 2014), ELMo (Peters, Neumann, Iyyer, Gardner, Clark, Lee, and Zettlemoyer 2018), BERT (Devlin, Chang, Lee, and Toutanova 2019), RoBERTa (Liu, Ott, Goyal, Du, Joshi, Chen, Levy, Lewis, Zettlemoyer, and Stoyanov 2019), XLNET (Yang, Dai, Yang, Carbonell, Salakhutdinov, and Le 2019)を用いた. ELMo を用いた実験では， 1 層目から 3 層目の表現の平均8を用いた．BERT， RoBERTa, XLNET を用いた単語表現については, Transformers (Wolf, Debut, Sanh, Chaumond, Delangue, Moi, Cistac, Rault, Louf, Funtowicz, et al. 2019)で公開されている事前学習済みモデ ル9に文章を入力し，各トークンに対応する中間表現を獲得した．各層から獲得した中間表現の 重みつき和を対応するトークンの表現とし, 重みはタスク依存で学習した. トークンが複数の サブワードに分割される場合は, それらのサブワードに対応する表現の平均をトークンの表現 とした.

ベースライン. 既存の論述構造解析モデル (Potash et al. 2017) で活用されているスパン分散表現を用い, LSTM-Minus に基づくスパン分散表現と比較した. Potash らのスパン分散表現で は，スパン中の単語ベクトルの平均などが用いられており，以降このスパン分散表現を用いた モデルを BoW モデル (Bag-of-Words) と呼ぶ. 詳細な実装は付録に記載する.

## 4.2 結果

既存研究に従い, 3 タスクそれぞれにおける F1 スコアと, モデルの総合的な性能として 3 夕 スクのF1スコアの平均を報告する。各タスクの MacroF1 スコアについて, ブートストラップ 法 (Koehn 2004) で検定を行った (Dror, Baumer, Shlomov, and Reichart 2018).

表 4 に PEC 上での実験結果を, 表 5 に MTC 上での実験結果を示す. 結果から, (i) BoW モ デルに比べて，LSTM モデルの方が良い性能を示していること， (ii) AC と AM の区別を行うモ デル (LSTM+dist) が, 区別を行わないモデル (LSTM) よりも良い性能を示していること, (iii) これらの傾向は, 異なるデータセット, 異なる単語表現を用いた場合も概ね一貫していること がわかる．XLNET やRoBERTa を用いた実験結果においてもべースライン $(\mathrm{BoW})$ の性能が低 いことから，強力な言語モデルから得られた単語表現を活用するだけでは十分な性能は引き出 せず，これらの単語表現を用いてどのようにスパン分散表現を獲得するかが更なる精度向上の 鍵であると分かる.

LSTM-minus ベースのスパン分散表現を用いたことによる性能向上 (LSTM $>$ BoW) は特に PEC 上で顕著である（表 4)，MTC 上では性能向上の傾向が比較的小さいが（表 5), MTC が 小規模なデータセットであるため, LSTM-minus スパン分散表現の抽出に用いるパラメータを

表 4 PEC 上での LSTM+dist, LSTM, BoW モデルの性能比較

} & \multicolumn{3}{|c|}{ 論述関係認識 } & \multicolumn{3}{|c|}{ 論述関係タイプ分類 } & \multicolumn{4}{|c|}{ 論述単位タイプ分類 } \\

MC は MAJORCLAIM の略である。†がついている LSTM モデルの結果は, BoW モデルの結果と統計的 に有意に差がある $(p<0.05)$ ことを示す. ‡がついている LSTM+dist モデルの結果は, LSTM モデルの 結果と統計的に有意に差がある $(p<0.05)$ ことを示す.

表 5 MTC 上での LSTM+dist, LSTM, BoW モデルの性能比較

} & \multicolumn{3}{|c|}{ 論述関係認識 } & \multicolumn{3}{|c|}{ 論述関係タイプ分類 } & \multicolumn{3}{|c|}{ 論述単位タイプ分類 } \\

†がついている LSTM モデルの結果は, BoW モデルの結果と統計的に有意に差がある $(p<0.05)$ こと を示す.‡がついている LSTM+dist モデルの結果は，LSTM モデルの結果と統計的に有意に差がある $(p<0.05)$ ことを示す.

十分に学習できなかったことなどが原因として考えられる。また， AC と AM の区別による性能向上 (LSTM+dist > LSTM) は，特に MTC 上で大きい（表 5)，MTCデータセットは，PEC に比べて SUPPORT に対する ATTACK 関係の比率が高いことから，対立意見を踏まえて譲歩し，反論し返すなどの複雑な構造を持つ文章が多いことが考えられる． $\mathrm{AC} \cdot \mathrm{AM}$ ごとの流れ（例え
表 6 PEC における既存研究との性能比較

 & \multicolumn{2}{|c|}{ 論述関係認識 } &  & \multicolumn{2}{|c|}{ 論述関係タイプ分類 } &  & \multicolumn{4}{|c|}{ 論述単位タイプ分類 } \\

MC は MajorCLaim の略である．Potash+ 2017 の結果は，再実装によるものである。

表 7 MTC における既存研究との性能比較

} & \multicolumn{3}{|c|}{} & \multicolumn{3}{|c|}{} & \multicolumn{3}{|c|}{} \\

Potash+ 2017 の結果は，再実装によるものである

ば， of course $\rightarrow$ butなどの接続表現の系列）を追うことにより，このような複雑な文章におい ても頑健に解析できたのではないかと考える。また，PECデータセットは非常に多様なトピッ クに関する作文で構成されるのに対し，MTC データセットには同じトピックに関する論述が複数含まれている，そのため MTC では，トピックの影響が大きい AC のレべルにおいても，同一トピックの他の論述文から学習したパターンを，新たな論述の解析に転用しやすかった可能性が考えられる。例えば模擬試験における作文の自動評価への論述構造解析の応用などを考え ると, 特定のテーマに関する論述文が複数存在する MTC の状況は自然である.

LSTM+dist モデルと既存研究における結果との比較を表 6 と表 7 に示す. スパン分散表現 の工夫と最先端のモデルから得られた単語表現を組み合わせることで，PECにおいて論述関係認識における Link 有りクラスの F1 値を 10 ポイント近く向上させる $(60.8 \rightarrow 70.3)$ など, 解析性能を大きく更新した。強力な言語モデルによる単語べクトルを用いた場合も，BoW(XLNET) と Potash+ 2017 の比較から，スパン表現の獲得方法次第では既存のモデルと大きく変わらない

図 3 深さごとの論述関係認識タスクにおける精度

性能を示すことが分かり, LSTM $+\operatorname{dist}(X L N E T)$ と BoW(XLNET) の比較から，提案法による スパン表現によって性能が大きく向上することが分かる。また，スパン分散表現獲得法により 談話レベルの文脈を積極的に取り入れることで，論述構造解析における性能が大きく向上する ことから，単語の穴埋めや次の文の予測といった言語モデルの目的関数によって得られた単語分散表現そのものには，周囲の論の流れといった談話的な文脈情報は十分に含まれていない可能性があることも示唆される.

## 5 分析

論述構造解析において主要に取り組まれてきた論述関係認識・分類タスクに着目し, 予測の 難しいインスタンスや既存のモデルとの出力傾向の違いについて分析する。本分析では, 比較的規模の大きい PECの開発データを用いた。

## 5.1 論述構造の深さ

既存研究 (Stab and Gurevych 2017) では, 論述構造解析モデルが正解の木よりも浅い木を予測しがちであることが指摘されていた。この指摘を踏まえ，木の深さと予測性能の観点から，既存のモデルと本研究における提案モデルを比較する. 図 3 に, ルートオブジェクトの認識精度（深さ0), 深さ 1 の ADU から出る関係の認識精度, 深さ 2 以上の ADU から出る関係の認識精度を示す. 各数値は正しい親を当てることができたかの正解率を示す. 全体的な傾向として,正解の構造において深い位置にある論述関係ほど，予測が難しいことが分かる．深さ 2 以上の 関係の予測精度に着目すると，既存のモデル (Potash+2017) の予測精度は大きく低下している のに対し，スパン分散表現に多粒度の文脈情報を取り达んでいる LSTM+dist モデルは，比較的
(i) Potash+ 2017

(ii) LSTM+dist

(GloVe, ELMo, BERT, RoBERTa, XLNET)

図 4 既存のモデルと LSTM+dist モデルの予測結果の例

頑健に予測できていることが分かる。これらの結果から，深い位置の関係を予測する際には文脈情報が手がかりとなり，文脈情報をスパン表現にどのように取り达むかが予測において重要 であることが示唆される。

論述構造が深くなる典型的なケースとして，一旦想定される対立意見を述べそれに対して反論し返すという，ATTACK 関係の連鎖が挙げられる (Peldszus and Stede 2013; Freeman 2011).図 4 は, ATTACK が連鎖する部分構造（論述単位 $4 \rightarrow$ 論述単位 $3 \rightarrow$ 論述単位 1 ）を持つ論述構造 の例と, 既存モデルの予測および提案モデルの予測結果である。既存のモデルは予測に失敗し ているが，LSTM+dist モデルは正しく予測できている。表 8 に，ATTACK 関係が連鎖している 部分構造における論述関係の予測精度を示す. LSTM+dist モデルが良い性能を示していること から，AC と AM の区別が予測に良い影響を与えていることが分かる．異なる立場の意見を挙 げて議論を進める文章では，何が自分の主張で何が対立意見なのかを読み手が追いやすいよう，接続表現 (AM) が頻繁に用いられると考えられる。従って, of course $\rightarrow$ but といった AM の流 れが予測の手がかかりになったと考えられる。また，このような部分構造は特に MTC で頻繁 に観察され，MTC において LSTM モデルと LSTM+dist モデルの性能差が大きい理由の一つで あるとも考えられる。

木の深さと論述関係分類性能についても分析を行う．正解の木における深さごとの論述関係分類性能を求めた（表 9). 深さ 0 における論述関係分類は CLAIM が作文の筆者自身の立場のも のであるか，対立する立場のものであるかという問題に対応し，特に深さ 0 における予測性能 が LSTM+dist を用いた場合に一貫して向上していることが分かる。この結果は，論述関係認識において深い位置の ADU の係り先の予測精度が向上している傾向と対照的である.

CLAIM の立場を推測するためには，その主張が周囲のADUから反論されているのか, 補強さ れているのかといった大域的な論の流れが手がかりとなると考えられる．様々な粒度で大域的
表 8 ATTACK 関係が連鎖している部分構造における論述関係の予測精度

表 9 深さごとの論述関係分類性能

値は Macro F1 值である.
表 10 接続表現の有無と論述関係認識性能.

な文脈を汲み取る LSTM+dist モデルが，深さ 0 における論述関係分類性能の向上に有効であっ たと考えられる。また，表 8 における ATTACK関係の連鎖の分析では，筆者に対立する立場の CLAIM とそれに反論し返す PREMISE といった部分構造の予測性能も対象となっている。対立的 な CLAIM は周囲の PREMISE によって再反論されやすいという高次の傾向が存在し (Kuribayashi, Reisert, Inoue, and Inui 2017), LSTM+dist モデルが対立する CLAIM をうまく同定できること で，付近に存在する PREMISE の係り先（反論先）を予測する手がかかりとなり，表 8 みられ るようなマクロな構造の解析性能の向上や, 図 3 でみられるような深い位置の PREMISE の係り 先の予測性能の向上に影響を与えていると考えている.

## 5.2 接続表現の有無

本研究では，論述文における接続表現 (AM) に焦点を当ててモデルの改良を行ったため，分析においても接続表現に焦点を当て，接続表現をもつ／もたないADUから出る論述関係の認識精度について調査する．表 10 に分析結果を示す。各数値は正しい親を当てることができた かの正解率を示す。全体の傾向として，接続表現のある ADU よりも，接続表現のない ADU の方が論述関係の予測精度が低いことが観察される。この傾向は，PDTBスタイルの談話関係認識などにおいて, 談話標識が表示されていない非明示的な談話関係の認識性能が難しいこと

と一貫している， BoW モデルと比較すると，LSTM モデルや LSTM+dist モデルでは，接続表現の有無にかかわらず性能が向上している。また, LSTM モデルと LSTM+dist モデルの結果 を比べると，特に接続表現のない ADU において，LSTM+dist モデルによる性能の改善幅が大 きい傾向が観察された。論述文の論の流れには談話のレベルで一定のパターンがあると考えら れ，周囲の論の流れが接続表現のない ADU の役割を推定する上で手がかかりになると考えら れる。LSTM+distによって得られた多粒度の文脈情報が，接続表現のないADUに関する解析 に役立っていることが示唆される.

## 6 まとめ

本研究では, 論述構造解析において効果的なスパン分散表現獲得手法を提案し, 実験結果か ら，接続表現と命題をネットワーク内で明示的に区別し，スパン分散表現に多粒度の文脈を取 り込むことの重要性を示した。分析から，深い論述構造をもつ論述文において特に解析構造が 向上することが明らかになった，今後の展望として，論述単位の分割も含めて全てのサブタス クを一気通貫学習で解くことや, 修辞構造理論に基づく談話構造の解析や, 論述構造に関連し た他タスク (Trautmann, Daxenberger, Stab, Schütze, and Gurevych 2020)における，本手法の 有効性の検証を行いたい。

## 謝 辞

本研究の一部は The 57th Annual Meeting of the Association for Computational Linguistics (ACL 2019) で発表したものです (Kuribayashi, Ouchi, Inoue, Reisert, Miyoshi, Suzuki, and Inui 2019). また, 本研究の一部は JST CREST（課題番号：JPMJCR1513）の支援を受けて行いま した.

## 参考文献

Afantenos, S., Peldszus, A., and Stede, M. (2018). "Comparing Decoding Mechanisms for Parsing Argumentative Structures." Argument \& Computation, 9 (3), pp. 177-192.

Braud, C. and Denis, P. (2016). "Learning Connective-based Word Representations for Implicit Discourse Relation Identification." In Proceedings of the EMNLP 2016, pp. 203-213.

Cabrio, E. and Villata, S. (2018). "Five Years of Argument Mining: A Data-driven Analysis." In Proceedings of the IJCAI 2018, pp. 5427-5433.

De Beaugrande, R. and Dressler, W. U. (1981). Introduction to Text Linguistics. Routledge.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the NAACL 2019, pp. 4171-4186.

Dror, R., Baumer, G., Shlomov, S., and Reichart, R. (2018). "The Hitchhiker's Guide to Testing Statistical Significance in Natural Language Processing." In Proceedings of the ACL 2018, pp. 1383-1392.

Eger, S., Daxenberger, J., and Gurevych, I. (2017). "Neural End-to-End Learning for Computational Argumentation Mining." In Proceedings of the ACL 2017, pp. 11-22.

Freeman, J. B. (2011). Dialectics and the Macrostructure of Arguments: A Theory of Argument Structure, Vol. 10. Walter de Gruyter.

Habernal, I. and Gurevych, I. (2017). "Argumentation Mining in User-generated Web Discourse." Computational Linguistics, 43 (1), pp. 125-179.

Halliday, M. A. K. and Hasan, R. (2014). Cohesion in English. Routledge.

He, L., Lee, K., Levy, O., and Zettlemoyer, L. (2018). "Jointly Predicting Predicates and Arguments in Neural Semantic Role Labeling." In Proceedings of the ACL 2018, pp. 364-369.

Ke, Z., Carlile, W., Gurrapadi, N., and Ng, V. (2018). "Learning to Give Feedback: Modeling Attributes Affecting Argument Persuasiveness in Student Essays." In Proceedings of the 27th IJCAI, pp. 4130-4136.

Kitaev, N. and Klein, D. (2018). "Constituency Parsing with a Self-Attentive Encoder." In Proceedings of the ACL 2018, pp. 2676-2686.

Koehn, P. (2004). "Statistical Significance Tests for Machine Translation Evaluation." In Proceedings of the EMNLP 2004, pp. 388-395.

Kuribayashi, T., Ouchi, H., Inoue, N., Reisert, P., Miyoshi, T., Suzuki, J., and Inui, K. (2019). "An Empirical Study of Span Representations in Argumentation Structure Parsing." In Proceedings of ACL2019, pp. 4691-4698, Florence, Italy. Association for Computational Linguistics.

Kuribayashi, T., Reisert, P., Inoue, N., and Inui, K. (2017). "Examining Macro-level Argumentative Structure Features for Argumentative Relation Identification." IPSJ SIG Technical Report, 2017-NL-234, pp. 1-6.

Lawrence, J. and Reed, C. (2019). "Argument Mining: A Survey." Computational Linguistics, 45, pp. 765-818.

Lee, K., He, L., Lewis, M., and Zettlemoyer, L. (2017). "End-to-end Neural Coreference Resolution." In Proceedings of the EMNLP 2017, pp. 188-197.

Lee, K., He, L., and Zettlemoyer, L. (2018). "Higher-Order Coreference Resolution with Coarse-

to-Fine Inference." In Proceedings of the NAACL-HLT 2018, pp. 687-692.

Li, Q., Li, T., and Chang, B. (2016). "Discourse Parsing with Attention-based Hierarchical Neural Networks." In Proceedings of the EMNLP 2016, pp. 362-371.

Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., and Stoyanov, V. (2019). "RoBERTa: A Robustly Optimized BERT Pretraining Approach.".

Mann, W. C. and Thompson, S. A. (1987). "Rhetorical Structure Theory: Description and Construction of Text Structures." In Natural Language Generation, pp. 85-95.

Marcu, D. (2000). The Theory and Practice of Discourse Parsing and Summarization. MIT press.

Mochales, R. and Moens, M.-F. (2011). "Argumentation Mining." Artificial Intelligence and Law, 19 (1), pp. 1-22.

Nguyen, H. and Litman, D. (2016). "Context-aware Argumentative Relation Mining." In Proceedings of the ACL 2016, pp. 1127-1137.

Nguyen, H. V. and Litman, D. J. (2018). "Argument Mining for Improving the Automated Scoring of Persuasive Essays." In Proceedings of the AAAI 2018, pp. 5892-5899.

Niculae, V., Park, J., and Cardie, C. (2017). "Argument Mining with Structured SVMs and RNNs." In Proceedings of the ACL 2017, pp. 985-995.

Ouchi, H., Shindo, H., and Matsumoto, Y. (2018). "A Span Selection Model for Semantic Role Labeling." In Proceedings of the EMNLP 2018, pp. 1630-1642.

Pan, B., Yang, Y., Zhao, Z., Zhuang, Y., Cai, D., and He, X. (2018). "Discourse Marker Augmented Network with Reinforcement Learning for Natural Language Inference." In Proceedings of the ACL 2018, pp. 989-999.

Peldszus, A. and Stede, M. (2013). "From Argument Diagrams to Argumentation Mining in Texts: A Survey." International Journal of Cognitive Informatics and Natural Intelligence, 7 (1), pp. 1-31.

Peldszus, A. and Stede, M. (2015). "Joint Prediction in MST-style Discourse Parsing for Argumentation Mining." In Proceedings of the EMNLP 2015, pp. 938-948.

Peldszus, A. and Stede, M. (2016). "An Annotated Corpus of Argumentative Microtexts." In Argumentation and Reasoned Action: Proceedings of the 1st European Conference on Argumentation, pp. 801-815.

Pennington, J., Socher, R., and Manning, C. D. (2014). "GloVe: Global Vectors for Word Representation." In Proceedings of the EMNLP 2014, pp. 1532-1543.

Peters, M., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., and Zettlemoyer, L. (2018). "Deep Contextualized Word Representations." In Proceedings of the NAACL-HLT

2018, pp. 2227-2237.

Potash, P., Romanov, A., and Rumshisky, A. (2017). "Here's My Point: Joint Pointer Architecture for Argument Mining." In Proceedings of the EMNLP 2017, pp. 1375-1384.

Prasad, R., Dinesh, N., Lee, A., Miltsakaki, E., Robaldo, L., Joshi, A. K., and Webber, B. L. (2008). "The Penn Discourse TreeBank 2.0." In Proceedings of the 6th Conference on Language Resources and Evaluation, pp. 2961-2968.

Reed, C. (2006). "Preliminary Results from an Argument Corpus." In Bermúdez, E. M. and Miyares, L. R. (Eds.), Linguistics in the Twenty-first Century. Citeseer.

Reimers, N., Schiller, B., Beck, T., Daxenberger, J., Stab, C., and Gurevych, I. (2019). "Classification and Clustering of Arguments with Contextualized Word Embeddings." In Proceedings of the ACL 2019, pp. 567-578.

Reisert, P., Vallejo, G., Inoue, N., Gurevych, I., and Inui, K. (2019). "An Annotation Protocol for Collecting User-Generated Counter-Arguments Using Crowdsourcing." In Proceedings of the AIED 2019, pp. 232-236.

Sileo, D., Van-De-Cruys, T., Pradel, C., and Muller, P. (2019). "Mining Discourse Markers for Unsupervised Sentence Representation Learning." In Proceedings of the NAACL-HLT 2019, pp. 3477-3486.

Stab, C. and Gurevych, I. (2014). "Identifying Argumentative Discourse Structures in Persuasive Essays." In Proceedings of the EMNLP 2014, pp. 46-56.

Stab, C. and Gurevych, I. (2016). "Recognizing Insufficiently Supported Arguments in Argumentative Essays." In Proceedings of the EACL 2016, pp. 980-990.

Stab, C. and Gurevych, I. (2017). "Parsing Argumentation Structures in Persuasive Essays." In Proceedings of $C L$, Vol. 43, pp. 619-659. MIT Press.

Stab, C., Miller, T., Schiller, B., Rai, P., and Gurevych, I. (2018). "Cross-topic Argument Mining from Heterogeneous Sources." In Proceedings of the EMNLP2018, pp. 3664-3674.

Stede, M., Afantenos, S., Peldszus, A., Asher, N., and Perret, J. (2016). "Parallel Discourse Annotations on a Corpus of Short Texts." In Proceedings of the LREC 2016, pp. 1051-1058.

Stern, M., Andreas, J., and Klein, D. (2017). "A Minimal Span-Based Neural Constituency Parser." In Proceedings of the ACL 2017, pp. 818-827.

Toulmin, S. E. (1958). The Uses of Argument. Cambridge Univ. Press (Cambridge).

Trautmann, D., Daxenberger, J., Stab, C., Schütze, H., and Gurevych, I. (2020). "FineGrained Argument Unit Recognition and Classification." In Proceedings of the AAAI 2020, pp. 9048-9056.

Wachsmuth, H., Naderi, N., Hou, Y., Bilu, Y., Prabhakaran, V., Thijmm, T. A., Hirst, G., and

Stein, B. (2017). "Computational Argumentation Quality Assessment in Natural Language." Proceedings of the EACL2017, pp. 176-187.

Wang, W. and Chang, B. (2016). "Graph-based Dependency Parsing with Bidirectional LSTM." In Proceedings of the ACL 2016, pp. 2306-2315.

Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., Cistac, P., Rault, T., Louf, R., Funtowicz, M., et al. (2019). "Transformers: State-of-the-art Natural Language Processing." arXiv preprint arXiv:1910.03771.

Yang, Z., Dai, Z., Yang, Y., Carbonell, J., Salakhutdinov, R. R., and Le, Q. V. (2019). "Xlnet: Generalized Autoregressive Pretraining for Language Understanding." In Proceedings of the NIPS 2019, pp. 5754-5764.

## 付録

## A 追加素性

既存研究 (Potash et al. 2017) に従い，ADU に関する以下の離散的な特徴量を用いた
- ADU 中に出現する単語の集合（出現単語に対応する次元が 1 , それ以外が 0 である語彙数長のベクトル)
- ADU 中に含まれる単語の分散表現について, average, max, min プーリングを施したもの
- 論述全体の中で何番目の ADU か (one-hot-vector)
- 段落内で何番目の ADU か (one-hot-vector)
- ADU が論述文中で, 最初の段落, 最後の段落, それ以外の段落のいずれに属するか (onehot-vector)

Potash らに従い, これらの特徴から得られた離散特徴べクトルを全結合層によって, 連続的 な特徴表現に変換した. 特徴表現の次元数は, LSTM, LSTM+dist モデルでは 512 次元, BoW モデルでは LSTM-Minusベースのスパン表現の次元数と合わせるため 1536 次元にしている。ま た，単語の分散表現を用いた素性については，各実験設定で用いた分散表現と同じもの（例え ば，XLNET の各層から得られた分散表現の重みつき和）を用いている.
表 11 ハイパーパラメータの一覧

## B ハイパーパラメータ

表 11 にハイパーパラメータを示す. LSTMは1層のものを用いた．BoW, LSTM, and LSTMdist モデルをパラメータ数の観点で正当に比較するため，LSTM モデルでは BiLSTM の隠れ層 の次元を大きくし，ADU レベルの LSTM の層の数を 2 層にしている． BoW モデルでは， パラ メータ数を増やしても性能がほとんど変わらなかったため表 11 の通りのハイパーパラメータ を用いている.

## 略厤

栗林 樹生：2020 年東北大学大学院情報科学研究科博士前期課程修了. 現在,

東北大学大学院情報科学研究科にて博士課程取得に向けて研究を進めている. 2020 年より日本学術振興会特別研究員 (DC1). Langsmith 株式会社共同創業者.

大内 啓樹：奈良先端科学技術大学院情報科学研究科にて，2015 年博士前期課程修了. 2018 年博士後期課程修了. 2018 年より理化学研究所革新知能統合研究センター特別研究員.
井之上直也：2013 年東北大学大学院情報科学研究科博士後期課程修了. 株式会社デンソー基礎研究所研究員, 東北大学大学院情報科学研究科助教, 理化学研究所客員研究員を経て, 2020 年より Stony Brook University 研究員.

鈴木 潤：2001 年から 2018 年まで日本電信電話株式会社 コミュニケーション 科学基礎研究所研究員 (主任研究員/特別研究員). 2005 年奈良先端科学技術大学院情報科学研究科博士後期課程修了. 現在, 東北大学デー夕駆動科学・ $\mathrm{AI}$ 教育研究センター教授.

Paul Reisert：2017 年東北大学大学院情報科学研究科博士後期課程修了. 2017 年より理化学研究所革新知能統合研究センター特別研究員.

三好 利昇 : 2002 年京都大学理学部卒業. 2007 年同大学院情報学研究科博士課程修了．博士 (情報学)．同年，（株）日立製作所中央研究所に入社．現在，日立製作所 研究開発グループ テクノロジーイノベーションセンタに勤務. 自然言語処理などの研究に従事.

乾 健太郎：1995 年東京工業大学大学院情報理工学研究科博士課程修了. 2010 年より東北大学大学院情報科学研究科教授. 2016 年より理化学研究所 AIP セ ンター自然言語理解チームリーダー兼任.

(2020 年 4 月 1 日 受付)

(2020 年 7 月 1 日 再受付)

$(2020$ 年 8 月 19 日 採録)


# 日本語の語彙平易化のための言語資源の整備

梶原 智之 $\dagger$ ・西原 大貴 ${ }^{\dagger}$ - 小平 知範 ${ }^{+\dagger}$ - 小町 守 $+\dagger+\dagger$
}

本研究では, 日本語の語彙平易化のために, 評価用データセット・辞書・実装や評価を支援するツールキットの 3 種類の言語資源を整備する。我々は既存の小規模な 単語難易度辞書をもとに単語難易度の推定器を訓練し, 大規模な日本語の単語難易度辞書および難解な単語から平易な単語への言い換え辞書を自動構築する. 本研究 で構築する評価用データセットを用いた評価実験によって, この辞書に基づく語彙平易化システムが高い性能を達成することを示す. 我々のツールキットは, 辞書の 他, 語彙平易化パイプラインにおける主要な手法を実装しており, これらの手法を 組み合わせたシステムの構築および構築したシステムの自動評価の機能を提供する. キーワード：語彙平易化，単語難易度
## Language Resources for Japanese Lexical Simplification

\author{
Tomoyuki Kajiwara $^{\dagger}$, Daiki Nishihara ${ }^{\dagger \dagger}$, Tomonori Kodaira ${ }^{\dagger \dagger \dagger}$ and \\ Mamoru Komachi ${ }^{\dagger \dagger \dagger \dagger}$
}

This study introduces three language resources for Japanese lexical simplification: 1) an evaluation dataset, 2) lexica, and 3) a toolkit that can be used to develop and benchmark Japanese lexical simplification systems. The word complexity lexicon adopted in this study was automatically expanded using a classifier trained on a small word complexity lexicon created by Japanese language teachers. Based on this word complexity estimator, simplified word pairs were extracted from a large-scale synonym lexicon, and a simplified synonym lexicon that is useful for lexical simplification was developed. In addition, a Python library, which implements automatic evaluation and key methods in each subtask to ease the construction process of a lexical simplification pipeline, was developed. The experimental results on the developed evaluation dataset revealed that the proposed method, which is based on the developed lexicon, achieves the highest performance of Japanese lexical simplification.

Key Words: Lexical Simplification, Word Complexity

## 1 はじめに

近年, 言語学習者 (Petersen and Ostendorf 2007) や子ども (Belder and Moens 2010) を対象 に，テキストを平易に書き換えるテキスト平易化 (Shardlow 2014; Alva-Manchego, Scarton, and Specia 2020)の研究が注目を集めており，特に難解な語句を平易な語句に言い換える語彙平易化 (Paetzold and Specia 2017a) が英語を中心に研究されている. 語彙平易化では， 入力文の文法構造を保持したまま，難解な語句を文脈に応じて平易な語句に言い換える。この技術は，言語学習者や子どもの文章読解支援に応用されるだけでなく, 機械翻訳 (Štajner and Popović 2016) をはじめとする他の自然言語処理応用タスクの前処理としても有用である.

本タスクは，平易に書かれたコーパス (Simple English Wikipedia ${ }^{1}$ ), 難解な文と平易な文の パラレルコーパス (Zhu, Bernhard, and Gurevych 2010), 難解な語句から平易な語句への言い換 え辞書 (Pavlick and Callison-Burch 2016), 評価用データセット (Specia, Jauhar, and Mihalcea 2012) やツールキット (Paetzold and Specia 2015) など, 言語資源が豊富な英語を中心に研究され てきた. しかし, 日本語ではこれらの語彙平易化のための言語資源が充分に整備されていない.語彙平易化は，以下の 4 つのサブタスク (Shardlow 2014)を通して実現される.
- 難解語の検出 : 入力文中のどの単語が難解かを判定し, 語彙平易化の対象単語を決定する.
- 言い換え候補の生成：対象単語の同義語を文脈を考慮せずに広く収集する.
- 言い換え候補の選択：文脈を考慮して，対象単語の言い換えを選択する．
- 難易度に基づく並び替え：候補を平易な順に並び替え，最も平易な言い換えを出力する.図 1 に示すように，これらは単語の難易度推定に関する夕スクと語彙的換言に関するタスクに 大別できる。本研究では, 単語の難易度推定に関する「難解語の検出」および「難易度に基づ く並び替え」のサブタスクに焦点を当て, 日本語の語彙平易化のための言語資源をを構築する.本研究の貢献は次の 3 つである.

・日本語の語彙平易化のための評価用データセットを改良した.
- 大規模な日本語の単語難易度辞書および難解 平易の言い換え辞書を構築した。

・日本語の語彙平易化システムを構築するためのツールキットを公開した.

本稿の構成を示す. 2 章では，言語資源を中心に語彙平易化の関連研究を紹介する． 3 章で は, 先行研究 (Kajiwara and Yamamoto 2015) で構築した日本語の語彙平易化のための評価用 データセットを改良する．４章では，単語の難易度を推定する分類器を訓練し，大規模な日本語の単語難易度辞書を構築する。また, この分類器をもとに，難解な単語と平易な単語の言い 換え辞書も構築する， 5 章では， 3 章で構築した評価用データセットの上で， 4 章で構築した辞書に基づく語彙平易化システムの性能を評価する。最後に 6 章で，本研究のまとめを述べる.

図 1 語彙平易化の流れ

## 2 関連研究

本章では，言語資源を中心に語彙平易化の関連研究を紹介する.

## 2.1 語彙平易化のための評価用データセット

語彙平易化のための初期の評価用データセットとして, SemEval-2007の語彙的換言タスク (McCarthy and Navigli 2007) の評価用データセット3に難易度を付与したものがある．語彙的換言タスクは，文脈中で対象単語と置換可能な単語を見つけるタスクである。語彙的換言タスク の評価用データセットでは， 201 種類の対象単語（内容語）について，各単語を含む 10 種類ず つの文が英語の均衡コーパスから抽出されている。注釈者は英語母語話者 5 名であり，文脈を 考慮しつつ対象単語の言い換えを最大 3 つずつ付与している. SemEval-2012の語彙平易化タス ク (Specia et al. 2012) では，この言い換えリストを難易度の観点から英語非母語話者 5 名がラ ンキングしたデータセッドが公開された. LSeval ${ }^{5}$ (Belder and Moens 2012) も, SemEval-2007 の語彙的換言タスクのデータセットに難易度ランキングを付与した語彙平易化のための評価用 データセットである。ただし, LSevalでは, Simple English Wikipediaのの Basic English 単語リ スト6などを参考に充分に平易な単語を対象単語から除外し， 43 種類の対象単語についての言 い換えリストをクラウドソーシングを用いてランキングした.

SemEval や LSeval とは異なり, LexMTurk ${ }^{7}$ (Horn, Manduca, and Kauchak 2014) では対象単語の平易な言い換えを直接収集した。 English Wikipedia から抽出した 500 文に各 1 単語の対象単語が設定されており，クラウドソーシングで 50 人の注釈者が文脈を考慮した平易な言い換え を付与した. 対象単語には, English Wikipediaと Simple English Wikipediaのパラレルコーパ ス (Coster and Kauchak 2011)のうち，難解文中の平易に書き換えられた単語が選ばれている.
^{5} \mathrm{http} / / /$ people.cs.kuleuven.be/ jan.debelder/lseval.zip

${ }^{6}$ https://simple.wikipedia.org/wiki/Wikipedia:Basic_English_combined_wordlist

7 https://cs.pomona.edu/ dkauchak/simplification/
}
表 1 難解な文と平易な文のパラレルコーパスの一覧

近年の語彙平易化の研究 (Paetzold and Specia 2017b; Qiang, Li, Zhu, Yuan, and Wu 2020) では, LSeval と LexMTurkを組み合わせた BenchLS ${ }^{8}$ (Paetzold and Specia 2016a) や NNSeval ${ }^{9}$ (Paetzold and Specia 2016b) が利用されている. BenchLS は LSeval と LexMTurkを組み合わせ てスペルミスなどを修正した 929 件のデータセットであり, NNSeval は BenchLS から難解な言 い換えを削除した 239 件のデータセットである.

日本語では, 語彙平易化のための評価用データセットとして, SNOW E4 $4^{10}$ (Kajiwara and Yamamoto 2015) が公開されている. これは, LSeval と同様に, まず語彙的換言のための評価用 データセットを構築し, 言い換えリストを難易度の観点からランキングして作られた 2,330 件 のデータセットである. しかし, LSeval とは異なりドメインが新聞記事に限定されていること や，LexMTurk とは異なり文中に対象単語以外にも難解な表現が出現することなど，いくつか の問題があるため, 本研究ではこれを改良して新しい評価用データセットを構築する.

## 2.2 難解な文と平易な文のパラレルコーパス

English Wikipedia と Simple English Wikipedia を難解なテキストと平易なテキストのコンパ ラブルコーパスと考え, 文アライメントによって自動構築されたテキスト平易化のためのパラ レルコーパス（表 1）がある. 初期の研究 (Zhu et al. 2010; Coster and Kauchak 2011)では, TF-IDF によって重み付けされた Bag-of-Words 表現の余弦類似度によって難解な文と平易な 文のパラレルコーパスが構築された。近年の研究 (Hwang et al. 2015; Kajiwara and Komachi 2016) では, 辞書や単語分散表現に基づく単語間の類似度を考慮した文アライメントが利用され ている。また，英語のニュースを記者が平易に書き換えた Newsela (Xu et al. 2015) は，テキス 卜平易化のための高品質なパラレルコーパスである. 英語の語彙平易化では, これらのパラレ

ルコーパスを用いて，難解な単語から平易な単語への言い換え規則を獲得する手法 (Horn et al. 2014; Paetzold and Specia 2017b) が提案されている.

日本語では, SNOW T15 ${ }^{11}$ (Maruyama and Yamamoto 2018) およびSNOW T23 ${ }^{12}$ (Katsuta and Yamamoto 2018)のやさしい日本語コーパスが公開されている. SNOW T15は，日英対訳 コーパス ${ }^{13}$ の日本語側を著者らが 2,000 語 ${ }^{14}$ のさしい日本語へ書き換えた 5 万文対のパラレル コーパスである. SNOW T23 は, SNOW T15と同様に，クラウドソーシングによってやさし い日本語へ書き換えた 3.5 万文対のパラレルコーパスである. 本研究では, 英語の先行研究と 同様に, これらのパラレルコーパスを用いて日本語の語彙平易化を行う.

## 2.3 単語難易度辞書または言い換え辞書

大規模な言い換え辞書 PPDB ${ }^{15}$ (Ganitkevitch, Durme, and Callison-Burch 2013; Pavlick, Rastogi, Ganitkevitch, Durme, and Callison-Burch 2015)のうち, 難解な語句から平易な語句への言 い換えのみを抽出した Simple PPDB ${ }^{16}$ (Pavlick and Nenkova 2015; Pavlick and Callison-Burch 2016) が語彙平易化のために利用されている. Pavlick and Callison-Burch (2016) は, 文字数・単語数・頻度・品詞・単語分散表現などを素性とするロジスティック回帰モデルを訓練し，言 い換え対のどちらの語句がより平易かを推定する分類器を構築した。この分類器は，言い換え 辞書から抽出された 3,758 対の語句に対してクラウドソーシングでどちらがより平易かを注釈付けしたデータセットを用いて訓練された. この分類器を PPDB に適用し， 450 万対の難解 $\rightarrow$平易の言い換えが Simple PPDBとして公開されている.

Maddela and Xu (2018)は, Google 1T Ngram Corpus ${ }^{17}$ のうち高頻度な 15,000 単語に対して, 11 人の英語非母語話者が 6 段階の難易度 (Very Complex/Simple, Complex/Simple, Moderately Complex/Simple) を付与した単語難易度辞書 ${ }^{18}$ を構築した。そして, Pavlick and Callison-Burch （2016）の素性に単語難易度を加えた素性を用いて，ニューラルネットワークに基づく難易度の 推定器を訓練し，1,000万対を超える大規模な難解 $\rightarrow$ 平易の言い換え辞書を公開した.

日本語では, 日本語学習者向けに作成された日本語能力試験出題基準語彙表 ${ }^{19}$ や日本語教育語彙表 20 を, 単語難易度辞書として利用できる。 日本語能力試験出題基準語彙表では, 教科書 などから選定された約 8,000 単語について, 日本語教育の専門家が 4 段階（1 級から 4 級まで）

表 2 日本語教育語彙表の例

初級前半： 新しい，家，行く，今, 大きい，教える，男，同じ，女，買う 初級後半： 間，上げる，一緒，入れる，多い，大きな，置く，思う，顔，彼女

中級前半：合わせる，受ける，多く，行う，返る，掛かる，形，関係，国民，情報中級後半： 得る, 及び, 掛ける, 可能性, 気, 企業, 加える, 示す, 重要, 状況

上級前半： 確保，感じる，観点，極めて，裁判，定める，施策，実態，推移，推進上級後半：一環, 講ずる, 里, 訴訟, 太刀, 調停, 転ずる, あしらう, 値する, 厚紙

の難易度を付与している。 4 級が 150 時間程度の日本語学習を想定した初歩的な 800 語, 3 級 が 300 時間程度の日本語学習を想定した基本的な 1,500 語, 2 級が 600 時間程度の日本語学習を 想定したやや高度な 6,000 語， 1 級が 900 時間程度に日本語学習を想定した高度な 1 万語，と いうのが目安である。日本語教育語彙表では，教科書および現代日本語書き言葉均衡コーパス (Maekawa, Yamazaki, Maruyama, Yamaguchi, Ogura, Kashino, Ogiso, Koiso, and Den 2010) 加 ら選定された約 18,000 単語について, 日本語教師 5 名が 6 段階（初級前半・後半, 中級前半・後半, 上級前半・後半）の難易度を付与している。本研究では，収録語数の多い日本語教育語彙表 （表 2）を用いて単語難易度の推定器を訓練し，より大規模な単語難易度辞書を自動構築する.

## 2.4 語彙平易化システム

語彙平易化の初期の研究 (Devlin and Tait 1998; Belder and Moens 2010) では, WordNet (Miller 1995) から対象単語の同義語リストを獲得し, その中で最も高頻度な単語を対象単語と 置換した。これは単純なアプローチであるが，以降の多くの手法も，候補の獲得（図 1 の語彙的換言タスク）およびランキング（図 1 の単語の難易度推定タスク）の 2 つのステップ 21 から なる。

言い換え候補の獲得手法は，辞書に基づく手法・パラレルコーパスに基づく手法・分布類似度 に基づく手法の 3 つに大別できる。辞書に基づく手法は，Devlin and Tait (1998)の WordNet に 始まり，近年では単語だけでなく句も扱える Simple PPDB (Pavlick and Callison-Burch 2016) が 利用されている。 パラレルコーパスに基づく手法では, Horn et al. (2014)が難解な文と平易な文 からなるテキスト平易化のためのパラレルコーパスを用いて， GIZA++ (Och and Ney 2003)の 単語アライメントによって言い換え候補を獲得した。分布類似度に基づく手法は, Biran, Brody， and Elhadad (2011) が WordNet の同義語の中から文脈べクトル間の余弦類似度によって言い換 え候補を選択しており，近年の研究 (Glavaš and Štajner 2015; Paetzold and Specia 2016b)では word2vec (Mikolov, Chen, Corrado, and Dean 2013)などの単語分散表現間の余弦類似度によっ

て言い換え候補を獲得している。最新の研究 (Qiang et al. 2020)では，文脈を考慮する単語分散表現 BERT (Devlin, Chang, Lee, and Toutanova 2019) を用いて言い換え候補を獲得している.

言い換え候補のランキング手法は，頻度に基づく手法と平均ランキングに基づく手法に大別 できる，頻度に基づく手法は，Devlin and Tait (1998)の 1-gram 頻度に始まり，近年では文脈 (対象単語の周辺単語）も考慮する 5-gram 頻度 (Paetzold and Specia 2016b) が利用されている.平均ランキングに基づく手法では，Glavaš and Štajner (2015) が単語類似度（対象単語と言い換 え候補の単語分散表現間の余弦類似度) ・文脈類似度（対象単語の周辺単語と言い換え候補の単語分散表現間の余弦類似度)・1-gram 頻度・5-gram 頻度のそれぞれで言い換え候補をランキン グし, その平均順位が最も高い候補を選択した。最新の研究 (Qiang et al. 2020)では, Glavaš and Štajner (2015) の平均ランキングのうち, 文脈類似度と 5-gram 頻度（言語モデルスコア） を BERT (Devlin et al. 2019) のマスク言語モデルによって改良した平均ランキングが提案され ており，英語の語彙平易化において最高性能を達成している。

英語では，これらの各手法を実装した語彙平易化システムを構築するためのツールキット ${ }^{22}$ (Paetzold and Specia 2015) が公開されている。本研究では, これらの言い換え候補の獲得手法 およびランキング手法を実装した日本語の語彙平易化システムを構築するためのツールキット を公開し，我々の評価用データセット上での各手法の性能を比較する.

## 3 日本語の語彙平易化のための評価用データセットの改良

本章では, 日本語における既存の語彙平易化の評価用データセット (Kajiwara and Yamamoto 2015)の課題を整理し，それらを改良した新しい評価用データセット ${ }^{23}$ を構築する.

## 3.1 既存の評価用データセット

日本語の語彙平易化の評価用データセットである SNOW E4 (Kajiwara and Yamamoto 2015) は, SemEval (Specia et al. 2012)および LSeval (Belder and Moens 2012)の英語の語彙平易化の 評価用データセットと同じく，語彙的換言タスクのデータセットにおける同義語リストを難易度でランキングすることによって構築されている，以下に，データセットの構築手順を示す。

(1) 対象単語の選定 新聞記事から抽出した 2,330 文について, それぞれ 1 単語の内容語を語彙平易化の対象単語として選定した。

(2) 言い換え候補の生成 クラウドソーシングを用いて文ごとに 5 人の注釈者を雇用し，文脈 を考慮して対象単語の言い換え候補を収集した。

表 3 SNOW E4 データセットにおける語彙平易化の例

(3) 言い換え候補の選択 手順 (2) とは別の 5 人の注釈者を用意し，過半数が適切な言い換えで あると評価した言い換え候補のみを残した。

（4）難易度に基づく並び替え 5 人の注积者が，手順 (3)の言い換え候補を平易な順にランキン グした，それぞれの注釈者は全ての言い換え候補に重複なく順位を割り当て，最終的に 5 人の平均順位によってひとつのランキングに統合した.

表 3 に，SNOW E4 データセットの例を示す。言い換え候補の中には，対象単語「じきに」が 含まれ，これは 4 番目に平易な単語である。この例では，システムが「もうすぐ」「すぐに」「た だちに」のいずれかを出力できれば正解となる.

表 4 に, 英語の先行研究も含めた語彙平易化の評価用データセットの特性を示す. 英語の先行研究と比較したときに, 日本語の語彙平易化の評価用データセットである SNOW E4 には以下の 3 つの課題があることがわかる.

課題 (1) テキストのドメインが限定されている SemEval (Specia et al. 2012) や LSeval (Belder and Moens 2012) は均衡コーパス (Sharoff 2006) からテキストを抽出しており，多様な ドメインを網羅している。一方で, SNOW E4 は新聞記事からテキストを抽出しており， ドメインが限定されている.

課題 (2) 対象単語を平易化しても文中に難解語が残る LexMTurk (Horn et al. 2014)では，テ キスト平易化のための難解文と平易文からなるパラレルコーパスにおける平易化された 単語とその文脈を用いて語彙平易化のデータセットを構築している。対象単語以外の単語は難解文と平易文の間で共通のため, これらは充分に平易な表現であると考えること ができる. Specia et al. (2012)が指摘しているように，難解な表現は難解な文中で出現 し, 平易な表現は平易な文中で出現するのが自然だと考えられるため, 語彙平易化の文脈（対象単語以外の単語）は平易な表現で構成されることが理想である. SNOW E4で は，文脈の難易度が考慮されていないため，表 3 の「雪溪」のように，対象単語を平易化しても文中に難解な表現が残ってしまう。

課題 (3) 難易度ランキングに同順が考慮されていない LSeval (Belder and Moens 2012)では,各注釈者が言い換え候補を平易な順に並び替える際に，同程度の難易度の単語を同順に まとめることを認めている。一方で，SNOW E4では注釈者は全ての単語に異なる難易度を割り当てる，表 3 の「もうすぐ」と「すぐに」のように，同程度の難易度の言い換 え候補がある場合，これは注釈者間でのランキングの一貫性を損なう原因となる。
表 4 語彙平易化の評価用データセットの特性

## 3.2 評価用データセットの改良

3.1 節で挙げた 3 つの課題を解決するために，(1) 対象単語の選定および (4) 難易度に基づく並 び替えのステップを改良し，新たに日本語の評価用データセットを構築した. クラウドソーシ ング24を用いて注釈者を雇用するが, 過去の作業承認率が $95 \%$ 以上である注釈者のみを選んた.

## 3.2.1 対象単語の選定

課題 (1)に対処するために, 我々は現代日本語書き言葉均衡コーパス (Maekawa et al. 2010) から文を抽出した。なお，長文や短文を避けるために，形態素数を 7 から 35 までに制限した。

課題 (2) に対処するために, 対象単語のみが難解である文を選択した. 本研究では, 日本語教育語彙表 20 (Sunakawa, Lee, and Takahara 2012) における上級の単語を難解語とした.

その他の手順は基本的に SNOW E4 に従った。対象単語として, 名詞 - 動詞・形容詞 - 形容動詞・副詞・サ変名詞・サ変動詞の7つの品詞を扱った。なお，複合語の一部を置き換えると 意味を保持できない場合が多いので, 対象単語が複合語の一部である場合はその文を除外した.日英の先行研究 (Specia et al. 2012; Belder and Moens 2012; Kajiwara and Yamamoto 2015) に 従い，各対象単語に対して 10 種類の文を扱った。以上の条件を満たすように品詞ごとに 30 種類の対象単語を無作為に選択し, 合計 2,100 文 $(7$ 品詞 $\times 30$ 単語 $\times 10$ 文) を選定した。

## 3.2 .2 言い換え候補の生成および選択

SNOW E4に従い，クラウドソーシングを用いて 5 人の注釈者を雇用し，文脈を考慮して対象単語の言い換えを収集した。その後, 別の 5 人の注釈者を雇用し, 過半数が適切な言い換えで あると評価した言い換え候補のみを残した。なお，適切な言い換え候補が得られない文がある 場合, その対象単語は全てデータセットから除外した。これによって 9 単語 $\times 10$ 文を除外し,次節では残りの 2,010 文について難易度に基づく並び替えを行った。

表 5 我々のデータセットにおける語彙平易化の例

適切な言い換え候補が得られなかった例には「〜実にバラエティーに富んでいる」の「富む」 に対する「豊富」「豊か」のような候補がある。棄却された候補の多くは，意味的には対象単語 と対応するものの，対象単語の周辺の語句との接続が悪く置換できない例であった。これらは,単語単位ではなく,「バラエティーに富んでいる」のような句の単位で言い換えるのが適切であ り，今後の課題である。なお，他の文においては「起業精神に富む若い不動産業者によって〜」 の「富む」に対する「あふれる」「満ち溢れる」など，適切な言い換え候補が得られていた。

SNOW E4では, 各対象単語に対して平均 4.5 単語の言い換え候補が付与された。本研究で も，言い換え候補の生成および選択のステップは同様の作業を行ったため，平均 4.3 単語と同程度の言い換え候補が付与された。言い換え候補の選択ステップにおける注釈の一致率 (Fleiss' Kappa) は, SNOW E4 では $\kappa=0.664$, 本研究では $\kappa=0.669$ と, 同程度で概ね一致していた.

## 3.2 .3 難易度に基づく並び替え

クラウドソーシングで文ごとに 5 人の注釈者を雇用 25 L, 文脈を考慮して対象単語および言い 換え候補を平易な順に並び替えた，課題 (3) に対処するために，同程度の難易度である単語は同順にまとめた．難易度に基づく並び替えステップにおけるスピアマンの順位相関26は，SNOW $\mathrm{E} 4$ では $\rho=0.332$ だが，同順を考慮する改良により本研究では $\rho=0.575$ と大幅に改善された. また, データセットの品質改善のために, LSeval (Belder and Moens 2012) で実施されているよ うに，信頼度の低い注釈者を除外した，本研究では，ランキングから注釈者の信頼度を推定で きる Matsui, Baba, Kamishima, and Kashima (2014)の手法を用いて，除外する注釈者を選択し た.そして，信頼度が平均値よりも 0.05 以上低い注釈者（140人中の 9 人）を除外した。これに よって，並び替えステップにおけるスピアマンの順位相関は， $\rho=0.602$ に更に改善された。最終的に, SemEval (Specia et al. 2012) や SNOW E4 (Kajiwara and Yamamoto 2015) と同様に,複数人のランキングを平均 27 して統合ランキングを求めた.

表 5 に, 本研究で構築したデータセットの例を示す。言い換え候補の中には, 対象単語「専 ら」が含まれ，これは「偏に」とともに 3 番目に平易な単語である。この例では，システムが 「主に」または「ひたすら」を出力できれば正解となる.

## 4 日本語の語彙平易化のための辞書の構築

本章では, 日本語の語彙平易化のために，2つの大規模な辞書 28 を構築する。まず 4.1 節では,日本語教育語彙表 ${ }^{20}$ (Sunakawa et al. 2012) を教師データとして単語の難易度を推定する分類器を訓練する。そして, この分類器を用いて語彙全体に対して単語の難易度を推定し, 大規模 な日本語の単語難易度辞書を構築する。次に 4.2 節では, この分類器を大規模な日本語の言い 換え辞書に適用し，難解な単語から平易な単語への言い換え辞書を構築する。

## 4.1 単語難易度辞書の構築

日本語の単語難易度辞書である日本語教育語彙表は, 日本語教師によって構築された高品質 な単語難易度辞書であるが，人手で構築されているため収録語数が少ない．本研究では，語彙平易化をはじめとする自然言語処理タスクでの利用を想定して，日本語教育語彙表をもとに，よ り大規模な日本語の単語難易度辞書を自動構築する。

## 4.1.1 提案手法

大規模な日本語の単語難易度辞書を構築するために，日本語教育語彙表の 3 段階の難易度 （初級・中級・上級）を推定する多クラス分類器を訓練する。本研究では, 品詞・語種・文字頻度・単語頻度・単語分散表現の 5 種類の素性を用いる。文字頻度の素性としては，単語を構成す る各文字の頻度のうち, 最大值および最小値を利用する。なお, 英語の先行研究 (Pavlick and Callison-Burch 2016; Maddela and Xu 2018) で利用されている文字数の情報も素性として検討 したが，日本語の単語難易度の推定には貢献しなかった。

## 4.1.2 実験設定

文字と単語の頻度を数えるために，日本語 Wikipedia ${ }^{29}$ 利用した. Wikipedia は WikiExtractor ${ }^{30}$ で本文を抽出し, MeCab (Kudo, Yamamoto, and Matsumoto 2004) と IPADIC-2.7.0を用 いて単語分割した。複数のコーパスから単語頻度を数えることが単語難易度の推定に貢献する ことが知られている (Kajiwara and Komachi 2018)ので, 本研究では Wikipediaの他に, 現代日本語書き言葉均衡コーパス (Maekawa et al. 2010)の単語頻度リスト31を併用した. 品詞およ び語種は現代日本語書き言葉均衡コーパスの単語頻度リストに登録されている情報を利用した.単語分散表現は新聞記事約 800 万記事を用いて訓練された朝日新聞単語べクトル 32 の 300 次元

表 6 日本語教育語彙表の単語種類数

の Skip-gram モデル (Mikolov et al. 2013)を利用した.なお, Skip-gram モデルとともに公開 されている CBOW モデル (Mikolov et al. 2013) および GloVe モデル (Pennington, Socher, and Manning 2014) も検討したが， Skip-gram が最高性能を達成した.

日本語教育語彙表を 8:1:1の割合で訓練・検証・評価セット（表 6 ）に分割して実験した，表 6 の未知語は，素性抽出に利用した Wikipedia・現代日本語書き言葉均衡コーパス・朝日新聞単語 ベクトルの共通語彙に含まれない単語である。未知語の内訳は， 7 割が「運転免許証」「おはよ うございます」などの複合語や定型句， 2 割が「天ぷら／天麥羅」のような表記ゆれであった.

分類器には $\mathrm{SVM}^{33}$ の RBF カーネルを利用し， C と gamma のパラメータには $\{0.001,0.01,0.1$, $1.0,10.0\}$ の中から検証セットで最高の性能を達成する組み合わせを選んだ。なお，分類器とし てランダムフォレストおよび多層パーセプトロンも検討したが, SVM が最高性能を達成した.比較のために， Ranking $\operatorname{SVM}^{34}$ (Joachims 2006)を用いたランキング学習も試した。素性は SVM と同じとし, C のパラメータは $\{0.0001,0.001,0.01\}$ から検証セットを用いて探索した.

## 4.1.3実験結果

評価セットにおける単語難易度推定の性能を表 7 に示す. 5 種類の素性を考慮する提案手法 が，個別の素性のみを考慮する比較手法やランキング学習に基づく手法よりも高い Accuracy お よび低い Mean Absolute Errorを達成した。また，表 7 中段のアブレーション分析からは，い ずれの素性を除いても性能が低下することから，全ての素性がそれぞれ性能改善に貢献してい ることがわかった.

## 4.1.4辞書の構築

本実験の素性抽出に利用した Wikipedia・現代日本語書き言葉均衡コーパス・朝日新聞単語

表 7 単語難易度推定の性能評価

表 8 单語難易度辞書の例

表 9 単語難易度辞書の規模の比較

ベクトルの共通語彙である 67,901 単語について単語難易度を推定し, 大規模な日本語の単語難易度辞書を構築した。表 8 に辞書の例を，表 9 に辞書の規模を示す。

## 4.2 平易な言い換え辞書の構築

英語の先行研究である Simple PPDB (Pavlick and Nenkova 2015; Pavlick and Callison-Burch 2016; Maddela and Xu 2018) に倣って，大規模な言い換え辞書のうち難解な表現から平易な表現への言い換えのみを抽出した語彙平易化のための言い換え辞書を自動構築する。本研究では, 4.1 節で構築した難易度推定器が単語を対象としているため, 難解な単語から平易な単語への言 い換え対のみを扱う。フレーズへの拡張は今後の課題である.
表 10 日本語教育語彙表からサンプリングした単語対数

表 11 単語対の難易度推定の性能評価

## 4.2.1 提案手法

単語対の難易度推定のために, 各単語対 $\{$ 単語 1 , 単語 2$\}$ を「単語 1 の方が難解」「単語 2 の方 が難解」「同じ難易度」の 3 クラスに分類する．各単語の難易度は， 4.1 節で構築した分類器を 用いて推定する。そして，上級 $\rightarrow$ 中級・上級 $\rightarrow$ 初級・中級 $\rightarrow$ 初級のいずれかの関係にある単語対を「単語 1 の方が難解」に分類する。同様に，中級 $\rightarrow$ 上級・初級 $\rightarrow$ 中級・初級 $\rightarrow$ 上級のいずれ かの関係にある対は「単語 2 の方が難解」に分類し, その他の対は「同じ難易度」に分類する.

## 4.2.2 実験設定

素性および分類器に関する実験設定は 4.1.2 節と共通である。単語対における難易度推定の性能を評価するため，表 10 に示すように，表 6 の評価セットから無作為に抽出した 1 千単語対を 用いる。ただし，これらの単語対は難易度のみを考慮して集めており，言い換え対ではない.

## 4.2.3 実験結果

単語対の難易度推定の分類性能を表 11 に示す. 4.1.3 節の実験結果と同じく, 5 種類の素性を 考慮する提案手法が, 最頻クラスのベースラインや個別の素性のみを考慮する比較手法よりも
表 12 平易な言い換え辞書の規模と例

高い Accuracy および低い Mean Absolute Error を達成した. また, 表 11 下段のアブレーショ ン分析からは，いずれの素性を除いても性能が低下することから，全ての素性がそれぞれ性能改善に貢献していることがわかった.

## 4.2.4 辞書の構築

大規模な日本語の言い換え辞書 35 (Mizukami, Neubig, Sakti, Toda, and Nakamura 2014)のう ち，難解な単語から平易な単語への言い換え対のみを抽出し，語彙平易化のための言い換え辞書を構築した. 表 12 に, 辞書の例を示す. 抽出した平易な言い換えは 58,738 単語対であった.

## 5 日本語の語彙平易化のためのツールキットの構築

本章では，英語の先行研究である LEXenstein ${ }^{22}$ (Paetzold and Specia 2015) に相当する，語彙平易化の代表的な手法を日本語向けに調整して実装したツールキット 28 について説明する. この Python ライブラリを用いることで，日本語の語彙平易化システムを構築し， 3 章の評価用データセットにおける性能を自動評価することができる。ただし，語彙平易化の対象単語は データセットの入力として与えられるため，難解語の検出は扱わない.

5.1 節では, 図 1 の言い換え候補の生成および言い換え候補の選択に相当する言い換え候補の 獲得手法について説明する．次に，5.2 節では，図 1 の難易度に基づく並び替えに相当する言い 換え候補のランキング手法について説明する。最後に，5.3節では，各手法の性能を評価する。

## 5.1 言い換え候補の獲得

2.4 節で述べたように，言い換え候補の獲得は, 辞書に基づく手法・パラレルコーパスに基づ く手法・分布類似度に基づく手法の 3 つに大別できる，本ツールキットでは，このいずれかの 手法を用いて言い換え候補を獲得する.

辞書に基づく手法・パラレルコーパスに基づく手法辞書に基づく手法 (Devlin and Tait 1998; Belder and Moens 2010; Pavlick and Nenkova 2015; Pavlick and Callison-Burch 2016; Maddela and Xu 2018) およびパラレルコーパスに基づく手法 (Horn et al. 2014)を扱う ために，言い換えの単語対を記述したタブ区切りテキストを入力として受け取る.

分布類似度に基づく手法 分布類似度に基づく手法 (Glavaš and Štajner 2015; Paetzold and Specia 2016b; Qiang et al. 2020)を扱うために，word2vec 形式36の単語分散表現または Transformers 形式37の BERT モデルを入力として受け取る.

## 5.2 言い換え候補のランキング

2.4 節で述べたように，候補のランキングは，頻度に基づく手法と平均ランキングに基づく手法に大別できる。本ッールキットでは，このいずれかの手法を用いて平易な同義語を選択する.頻度に基づく手法 頻度に基づく手法 (Devlin and Tait 1998; Belder and Moens 2010; Specia et al. 2012; Paetzold and Specia 2016b)を扱うために, ARPA 形式の $N$-gram 言語モデ ルを入力として受け取る. 先行研究 (Paetzold and Specia 2016b) に従い, 例えば 5-gram 言語モデルを利用する際には，対象単語の前後 2 単語ずつを文脈として利用する。

平均ランキングに基づく手法 平均ランキングに基づく手法 (Glavaš and Štajner 2015; Qiang et al. 2020)を扱うために, word2vec 形式の単語分散表現・ARPA 形式の $N$-gram 言語モデ ル・タブ区切りテキスト形式の単語頻度辞書を入力として受け取る. Qiang et al. (2020) の平均ランキング38を扱うためには， Transformers 形式の BERT モデルも入力する.

## 5.3 評価実験

語彙平易化の代表的な手法を日本語化し, 3 章の評価用データセットにおける性能を評価する.

## 5.3.1 候補の獲得手法の評価

Simple PPDB辞書に基づくPavlick and Callison-Burch (2016)の手法に相当する．4 章で構築した平易な言い換え辞書を用いて言い換え候補を獲得する。

GIZA++ パラレルコーパスに基づくHorn et al. (2014)の手法に相当する. SNOW T15 ${ }^{11}$ お よび SNOW T23 $2{ }^{12}$ の 8.5 万文対のやさしい日本語コーパス (Maruyama and Yamamoto 2018; Katsuta and Yamamoto 2018) を用いて, GIZA++ (Och and Ney 2003) によって 単語アライメントをとり，言い換え候補を獲得する。

表 13 候補の獲得手法の評価

表 14 ランキング手法の評価

word2vec 分布類似度に基づくGlavaš and Štajner (2015)の手法に相当する．朝日新聞単語 ベクトル 30 の 300 次元の Skip-gram モデル (Mikolov et al. 2013)を用いて, 対象単語と の余弦類似度が高い順に 10 単語の言い換え候補を獲得する。

BERT 分布類似度に基づく Qiang et al. (2020)の手法に相当する。 日本語 BERT ${ }^{39}$ を用いて,対象単語をマスクしたマスク言語モデルのスコアが高い順に 10 単語の候補を獲得する.先行研究 (Paetzold and Specia 2016a, 2016b, 2017a) に従い, 評価指標として Potential ・ Precision・Recall・F1 スコアの 4 つを用いる. Potential とは， 1 単語以上の正解単語 40 を言い換え 候補として獲得できた事例の割合である.

表 13 に，候補の獲得手法の評価の結果を示す。BERT は， 4 手法の中で唯一文脈を考慮して 候補を獲得するため，多くの評価指標において最高性能を達成した，GIZA++は，文脈を考慮 しないものの同義性の高い候補を獲得するため, Precision が高い. word2vec は, 必ずしも同義 とは限らない類義語を候補として獲得するため, Precisionが低い. Simple PPDBは，大規模な 辞書を用いるため, Recall が高い.

## 5.3.2 ランキング手法の評価

言い換え候補として正解セットが与えられる設定で，以下の 2 つのランキング手法を評価する.

5-gram 言語モデル 頻度に基づく Paetzold and Specia (2016b)の手法に相当する. 日本語

Wikipedia ${ }^{29}$ を MeCab (Kudo et al. 2004) と IPADIC-2.7.0を用いて単語分割し，KenLM (Heafield 2011) によって 5-gram 言語モデルを訓練する.

平均ランキング 平均ランキングに基づく Glavaš and Štajner (2015)の手法に相当する. 朝日新聞単語ベクトル 32 の 300 次元の Skip-gram モデル (Mikolov et al. 2013) を用いて単語類似度および文脈類似度のランキングを作り，日本語 Wikipediaを用いて 1-gram 頻度お よび 5-gram 頻度のランキングを作り，これら 4 つの平均ランキングを使用する。先行研究 (Specia et al. 2012; Paetzold and Specia 2016b, 2017a) に従い, 評価指標として

表 15 語彙平易化のパイプライン評価

TRankを用いる，TRankとは，1位にランキングされた候補が対象単語よりも平易な言い換え である事例の割合である。

表 14 に，ランキング手法の評価の結果を示す. 1-gram 頻度や単語類似度など，5-gram 頻度以外の情報も考慮する平均ランキングがより高い性能を達成した。なお， 3 章で説明したとお り, 我々の評価用データセットは現代日本語書き言葉均衡コーパスをもとに作られているため,本評価は書き言葉に関する語彙平易化の評価であることに注意されたい.

## 5.3.3 パイプライン評価

5.3.1 節および 5.3.2 節の各手法を組み合わせ，語彙平易化の総合的な性能を評価する。ここ で, word $2 \mathrm{vec}$ で候補を獲得し平均ランキングでランキングを行う手法は, 英語の先行研究であ る LigHT-LS (Glavaš and Štajner 2015) に相当する。語彙平易化のサーベイ論文 (Paetzold and Specia 2017a)では，英語のベンチマークにおいて LIGHT-LS が最高の Accuracy を達成してい る。また, BERT で候補を獲得し平均ランキングでランキングを行う手法は, 英語の語彙平易化における最新の研究である BERT-LS (Qiang et al. 2020) に相当する. 本研究でも, BERT-LS の平均ランキングは Qiang et al. (2020) と同じく, BERT (Devlin et al. 2019) のマスク言語モ デルによる改良版を用いる.

先行研究 (Horn et al. 2014; Glavaš and Štajner 2015) に従い, 評価指標として Changed Proportion・Precision・Accuracyの 3つを用いる. Changed Proportion は, システムが書き換えを 行った事例の割合である。 Precision は，システムが書き換えを行った事例のうち，出力単語が 正解単語集合 (平易な言い換え) に含まれる割合である. Accuracy は, システム出力の単語が正解単語集合に含まれる事例の割合であり, Changed Proportion と Precision の積で計算される.表 15 に，パイプライン評価の結果を示す.5.3.1節の実験結果と同様に，文脈を考慮して候補 を獲得する BERT-LS が最高の Accuracyを達成した。サブワード単位で処理を行う BERT-LS は未知語の問題がないため, Changed Proportion も満点である。一方で, Precision の観点では 我々の言い換え辞書に基づく Simple PPDB（平均ランキング）が最高性能を達成した. Simple

PPDB では単語難易度の推定によって平易な言い換えを候補に含められるため，辞書の網羅性 では BERT-LSに及ばないものの，書き換えを行った場合には正しく平易な言い換えを出力で きる。 ランキング手法に着目すると, Simple PPDBによる候補獲得に対しては平均ランキング が，GIZA++による候補獲得に対しては 5-gram 言語モデルのランキングが高い性能を示したた め，候補獲得の手法ごとに相性の良いランキング手法を選ぶ必要がある.

## 6 おわりに

本研究では, 日本語の語彙平易化のために， 3 種類の言語資源を整備した. まず 3 章では, 評価用データセットを改良した，多様なドメインを対象に，対象単語と文脈との難易度の一貫性 および単語難易度アノテーションの一貫性を改善した。次に 4 章では，語彙平易化のための辞書を構築した，単語難易度の推定器をもとに，大規模な単語難易度辞書および難解な単語から 平易な単語への言い換え辞書を自動構築した。最後に 5 章では，語彙平易化システムを実装す るためのツールキットを構築した。本ッールキットを用いることで，言い換え候補の獲得およ びランキングの 2 ステップからなる語彙平易化システムを構築し, 性能を自動評価することが できる，評価実験の結果，文脈を考慮して言い換え候補を獲得する BERT に基づく手法が最高 の Accuracy を達成し, 本研究で構築した辞書に基づく手法が最高の Precision を達成した。

本研究を含む語彙平易化の研究の多くは, クラウドソーシングを用いて構築された評価用デー タセットで実験している。しかし，クラウドソーシングで雇用できる注釈者は，基本的には英語/日本語を母語とする大人であり, 学習者や子どもなどの語彙平易化の主な対象者ではない. そのため, 本研究を含む語彙平易化システムの多くは, 対象言語を母語とする大人のための語彙平易化システムである。実際のターゲットユーザによる難易度ランキングを収集し，それに 適した語彙平易化システムを開発することが，今後の課題である。また, 句の難易度推定や句 の平易化など，より広い単位への拡張にも取り組みたい.

## 参考文献

Alva-Manchego, F., Scarton, C., and Specia, L. (2020). "Data-Driven Sentence Simplification: Survey and Benchmark." Computational Linguistics, 46 (1), pp. 135-187.

Belder, J. D. and Moens, M.-F. (2010). "Text Simplification for Children." In Proceedings of the SIGIR Workshop on Accessible Search Systems, pp. 19-26.

Belder, J. D. and Moens, M.-F. (2012). "A Dataset for the Evaluation of Lexical Simplification." In Proceedings of the 13th International Conference on Computational Linguistics and Intelligent Text Processing, pp. 426-437.

Biran, O., Brody, S., and Elhadad, N. (2011). "Putting it Simply: a Context-Aware Approach to Lexical Simplification." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 496-501.

Coster, W. and Kauchak, D. (2011). "Simple English Wikipedia: A New Text Simplification Task." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 665-669.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186.

Devlin, S. and Tait, J. (1998). "The Use of a Psycholinguistic Database in the Simplification of Text for Aphasic Readers." Linguistic Databases, pp. 161-173.

Ganitkevitch, J., Durme, B. V., and Callison-Burch, C. (2013). "PPDB: The Paraphrase Database." In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 758-764.

Glavaš, G. and Štajner, S. (2015). "Simplifying Lexical Simplification: Do We Need Simplified Corpora?" In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, pp. 63-68.

Heafield, K. (2011). "KenLM: Faster and Smaller Language Model Queries." In Proceedings of the 6th Workshop on Statistical Machine Translation, pp. 187-197.

Horn, C., Manduca, C., and Kauchak, D. (2014). "Learning a Lexical Simplifier Using Wikipedia." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 458-463.

Hwang, W., Hajishirzi, H., Ostendorf, M., and Wu, W. (2015). "Aligning Sentences from Standard Wikipedia to Simple Wikipedia." In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 211-217.

Joachims, T. (2006). "Training Linear SVMs in Linear Time." In Proceedings of the 12th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 217-226.

Kajiwara, T. and Komachi, M. (2016). "Building a Monolingual Parallel Corpus for Text Simplification Using Sentence Similarity Based on Alignment between Word Embeddings." In Proceedings of the 26th International Conference on Computational Linguistics: Technical Papers, pp. 1147-1158.
梶原智之, 小町守 (2017). “Simple PPDB: Japanese.” 言語処理学会第 23 回年次大会, pp. 529-532.

Kajiwara, T. and Komachi, M. (2018). "Complex Word Identification Based on Frequency in a Learner Corpus." In Proceedings of the 13th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 195-199.

Kajiwara, T. and Yamamoto, K. (2015). "Evaluation Dataset and System for Japanese Lexical Simplification." In Proceedings of the ACL-IJCNLP 2015 Student Research Workshop, pp. 35-40.

Katsuta, A. and Yamamoto, K. (2018). "Crowdsourced Corpus of Sentence Simplification with Core Vocabulary." In Proceedings of the 11th International Conference on Language Resources and Evaluation, pp. 461-466.

小平知範, 梶原智之, 小町守 (2016). 均衡コーパスを用いた日本語語彙平易化データセットの 構築. 言語処理学会第 22 回年次大会, pp. 258-261.

Kodaira, T., Kajiwara, T., and Komachi, M. (2016). "Controlled and Balanced Dataset for Japanese Lexical Simplification." In Proceedings of the ACL 2016 Student Research Workshop, pp. 1-7.

Kudo, T., Yamamoto, K., and Matsumoto, Y. (2004). "Applying Conditional Random Fields to Japanese Morphological Analysis." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237.

Maddela, M. and Xu, W. (2018). "A Word-Complexity Lexicon and A Neural Readability Ranking Model for Lexical Simplification." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 3749-3760.

Maekawa, K., Yamazaki, M., Maruyama, T., Yamaguchi, M., Ogura, H., Kashino, W., Ogiso, T., Koiso, H., and Den, Y. (2010). "Design, Compilation, and Preliminary Analyses of Balanced Corpus of Contemporary Written Japanese." In Proceedings of the 7th Conference on International Language Resources and Evaluation, pp. 1483-1486.

Maruyama, T. and Yamamoto, K. (2018). "Simplified Corpus with Core Vocabulary." In Proceedings of the 11th International Conference on Language Resources and Evaluation, pp. 1153-1160.

Matsui, T., Baba, Y., Kamishima, T., and Kashima, H. (2014). "Crowdordering." In Proceedings of the 18th Pacific-Asia Conference on Knowledge Discovery and Data Mining, pp. 336-347.

McCarthy, D. and Navigli, R. (2007). "SemEval-2007 Task 10: English Lexical Substitution Task." In Proceedings of the 4th International Workshop on Semantic Evaluations, pp. 48-53.

Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013). "Efficient Estimation of Word Representations in Vector Space." In Proceedings of Workshop at the International Conference on

Learning Representations, pp. 1-12.

Miller, G. A. (1995). "WordNet: A Lexical Database for English." Communications of the ACM, 38 (11), pp. 39-41.

Mizukami, M., Neubig, G., Sakti, S., Toda, T., and Nakamura, S. (2014). "Building a Free, General-Domain Paraphrase Database for Japanese." In Proceedings of the 17th Oriental COCOSDA Conference, pp. 129-133.

Nishihara, D. and Kajiwara, T. (2020). "Word Complexity Estimation for Japanese Lexical Simplification." In Proceedings of the 12th International Conference on Language Resources and Evaluation, pp. 3107-3113.

Och, F. J. and Ney, H. (2003). "A Systematic Comparison of Various Statistical Alignment Models." Computational Linguistics, 29 (1), pp. 19-51.

Paetzold, G. H. and Specia, L. (2015). "LEXenstein: A Framework for Lexical Simplification." In Proceedings of ACL-IJCNLP 2015 System Demonstrations, pp. 85-90.

Paetzold, G. H. and Specia, L. (2016a). "Benchmarking Lexical Simplification Systems." In Proceedings of the 10th International Conference on Language Resources and Evaluation, pp. 3074-3080.

Paetzold, G. H. and Specia, L. (2016b). "Unsupervised Lexical Simplification for NonNative Speakers." In Proceedings of the 30th AAAI Conference on Artificial Intelligence, pp. 3761-3767.

Paetzold, G. H. and Specia, L. (2017a). "A Survey on Lexical Simplification." Journal of Artificial Intelligence Research, 60, pp. 549-593.

Paetzold, G. H. and Specia, L. (2017b). "Lexical Simplification with Neural Ranking." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, pp. 34-40.

Pavlick, E. and Callison-Burch, C. (2016). "Simple PPDB: A Paraphrase Database for Simplification." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 143-148.

Pavlick, E. and Nenkova, A. (2015). "Inducing Lexical Style Properties for Paraphrase and Genre Differentiation." In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 218-224.

Pavlick, E., Rastogi, P., Ganitkevitch, J., Durme, B. V., and Callison-Burch, C. (2015). "PPDB 2.0: Better Paraphrase Ranking, Fine-grained Entailment Relations, Word Embeddings, and Style Classification." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language

Processing, pp. 425-430.

Pennington, J., Socher, R., and Manning, C. D. (2014). "GloVe: Global Vectors for Word Representation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1532-1543.

Petersen, S. E. and Ostendorf, M. (2007). "Text Simplification for Language Learners: A Corpus Analysis." In Proceedings of Workshop on Speech and Language Technology in Education, pp. 69-72.

Qiang, J., Li, Y., Zhu, Y., Yuan, Y., and Wu, X. (2020). "Lexical Simplification with Pretrained Encoders." In Proceedings of the 34th AAAI Conference on Artificial Intelligence, pp. 8649-8656.

Shardlow, M. (2014). "A Survey of Automated Text Simplification." International Journal of Advanced Computer Science and Applications, Special Issue on Natural Language Processing, pp. 58-70.

Sharoff, S. (2006). "Open-Source Corpora: Using the Net to Fish for Linguistic Data." International Journal of Corpus Linguistics, 11 (4), pp. 435-462.

Specia, L., Jauhar, S. K., and Mihalcea, R. (2012). "SemEval-2012 Task 1: English Lexical Simplification." In Proceedings of the ${ }^{*} S E M$ 2012: The 1st Joint Conference on Lexical and Computational Semantics, pp. 347-355.

Štajner, S. and Popović, M. (2016). "Can Text Simplification Help Machine Translation?" Baltic Journal of Modern Computing, 4 (2), pp. 230-242.

Sunakawa, Y., Lee, J., and Takahara, M. (2012). The Construction of a Database to Support the Compilation of Japanese Learners' Dictionaries. Acta Linguistica Asiatica, 2 (2), pp. 97-115.

Xu, W., Callison-Burch, C., and Napoles, C. (2015). "Problems in Current Text Simplification Research: New Data Can Help." Transactions of the Association for Computational Linguistics, 3, pp. 283-297.

Zhang, X. and Lapata, M. (2017). "Sentence Simplification with Deep Reinforcement Learning." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 584-594.

Zhu, Z., Bernhard, D., and Gurevych, I. (2010). "A Monolingual Tree-based Translation Model for Sentence Simplification." In Proceedings of the 23rd International Conference on Computational Linguistics, pp. 1353-1361.

## 略歴

梶原 智之：2013 年長岡技術科学大学工学部電気電子情報工学課程卒業. 2015
年同大学大学院工学研究科修士課程修了. 2018 年首都大学東京大学院システ ムデザイン研究科博士後期課程修了. 博士 (工学)。同年より大阪大学データ ビリティフロンティア機構特任助教. 自然言語処理の研究に従事. 情報処理学会, 人工知能学会, 言語処理学会各会員.

西原 大貴：2019 年大阪大学工学部電子情報工学科卒業. 同年大阪大学大学院情報科学研究科マルチメディア工学専攻に進学. 現在に至る. 自然言語処理 の研究に従事.

小平 知範：2016 年首都大学東京システムデザイン学部システムデザイン学科卒業. 2018 年同大学大学院システムデザイン研究科博士前期課程修了. 修士 (工学).

小町 守：2005 年東京大学教養学部基礎科学科科学史・科学哲学分科卒業. 2007 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2008 年より日本学術振興会特別研究員 (DC2) を経て, 2010 年博士後期課程修了.博士 (工学)。同年より同研究科助教を経て，2013 年より首都大学東京 $(2020$年より東京都立大学に名称変更) システムデザイン学部准教授. 大規模なコー パスを用いた意味解析および統計的自然言語処理に関心がある. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/