# テキストベクトルの重みづけを用いた タスクに対する単語分割の最適化

平岡 達也 $\dagger \cdot$ 高瀬 翔 $\dagger \cdot$ 内海 慶 ${ }^{\dagger} \cdot$ 欅 惇志 $\dagger+$ ・岡崎 直観 $\dagger$

これまでの自然言語処理において単語分割は，後段タスクに依存しない前処理として行 われてきた。そのため，単語分割済みのデータを用いて後段タスクを学習し，後段モ デル性能を評価するまで単語分割が適切であったかはわからない。この問題を解決す るため本稿は後段タスクに応じて適切な単語分割を行うための新たな手法を提案する。本稿で提案する手法 $(\mathrm{OpTok}=$ Optimizing Tokenization) は後段タスクの学習損失値 に基づいて，適切な単語分割の確率が高くなるように更新される。OpTok は文書分類 のように文べクトルを計算に用いるタスクに使用することが可能であり，実験結果より 提案手法は感情分析や Textual Entailment などの文書分類の性能向上に寄与し, 中国語, 日本語, 英語の三言語に適用可能であることを確認した。さらに，近年注目を集め ている BERT に対して提案手法を適用することで, さらなる性能の向上が得られるこ とを確認した。

キーワード : 単語分割, 文書分類
## Optimizing Word Segmentation for Downstream Tasks by Weighting Text Vector

\author{
Tatsuya Hiraoka ${ }^{\dagger}$, Sho Takase ${ }^{\dagger}$, Kei Uchiumi ${ }^{\dagger \dagger}$, Atsushi Keyaki ${ }^{\dagger \dagger}$ and \\ NAOAKI OKAZAKI ${ }^{\dagger}$
}

In traditional NLP, we tokenize a sentence as a preprocessing, and thus the tokenization is unrelated to a downstream task. To address this issue, we propose a novel method to explore an appropriate tokenization for the downstream task. Our proposed method, Optimizing Tokenization (OpTok), is trained to assign a high probability to such appropriate tokenization based on the downstream task loss. OpTok can be used for any downstream task which uses a sentence vector representation such as text classification. Experimental results demonstrate that OpTok improves the performance of sentiment analysis, genre prediction, rating prediction, and textual entailment. The results also show that the proposed method is applicable to Chinese, Japanese, and English. In addition, we introduce OpTok into BERT, the state-ofthe-art contextualized embeddings, and report a positive effect on the performance.

Key Words: Word Segmentation, Tokenization, Text Classification

## 1 はじめに

入力文を単語の系列へと変換する単語分割は自然言語処理における重要な処理である．中国語 や日本語のように単語境界をスペースなどで明示しない言語を処理する場合は，一般的に入力とな る自然文を単語列へと分割する必要がある。また英語のようにスペースで単語区切りを明示する言語であっても，単語よりも小さい適切な単位に再分割を行うことがタスクを解く上で重要である (Peng and Dredze 2015, 2016; Sennrich et al. 2016; He and Sun 2017; A and Augenstein 2020; Bollegala et al. 2020).

従来の自然言語処理において単語分割は，モデルの学習の前に行い，学習を通して変更されるこ とがない不可逆的な前処理として行われてきた。図 1(a)に示すように，学習済みの単語分割モデ ルを用いて入力文を単語列へと変換し，これを後段タスクを解くためのモデル（後段モデル）へと 入力するという処理過程が一般的である。この単語分割では, 学習済みの単語分割モデルに基づい て入力文を尤もらしい単語列へと分割する。しかし，そのようにして得られた単語分割が後段タス クを解く上で有効であるかは不明であり，実際にその単語分割を用いて学習した後段モデルの性能 を比較してみなければ単語分割の評価はできない.

近年の研究では，単語分割をサンプリングし，様々な単語分割を用いて後段タスクを学習すること で，後段モデルの性能が向上することが示されている (Kudo 2018; Hiraoka et al. 2019; Provilkov et al. 2019). このような方策は未知語や表記摇れに頑健な後段モデルを作成するという点におい て優れているが，後段タスクそのものに単語分割を最適化するという点については考慮されていな

(a) 従来の不可逆な単語分割

(b) 後段タスクへの単語分割の最適化（提案手法）

図 1 自然言語処理における (a) 従来の不可逆な単語分割と, (b) 本稿で提案する後段タスクに対して単語分割を最適化する手法の概要. 提案手法は後段タスクの学習損失値を用いて, 後段タスクの性能が向上す るような単語分割が得られるように単語分割モデルを直接最適化する.

い. 後段タスクに適した単語分割が獲得できれば，後段モデルの性能のさらなる向上が得られると 期待される。

また，複数の単語分割の候補を同時に使用することで，単語分割に起因する後段タスクの性能低下を防ぐ方法も提案されている (Chen et al. 2017; Zhang and Yang 2018; Yang et al. 2018).こ の方法では，LSTM (Hochreiter and Schmidhuber 1997)をべースとした機構を用いて，入力文に ついて可能なあらゆる単語分割を考慮しながら文べクトルを計算する。この方法は単語分割の失敗 が後段タスクへ伝搬することを防ぐことができるが，可能なあらゆる単語分割について毎回計算を 行う必要があるため計算コストが大きい.

これまでのアプローチとは異なり, 本研究では後段タスクを学習するために適切な単語分割を,後段タスクの学習と同時に自動で獲得することを目的とする。本稿では図 1(b)に示すように，後段タスクとそれを学習する後段モデルに基づいて単語分割モデルを最適化する新たな手法を提案す る. 提案手法は, 入力文の複数の単語分割候補を用いて文べクトルを作成し, 後段モデルへと入力 する．後段モデルの学習損失値が下がるように単語分割モデルを更新することで，単語分割モデル は後段タスクを解くために有用な単語分割候補を出力するように学習される。

提案手法は，入力文を文べクトルへと変換して利用する様々なタスクに利用することが可能であ る。本稿では中国語，日本語，英語における文書分類の複数タスクで実験を行い，提案手法の有効性を確認した。さらに，提案手法は大規模コーパスで事前学習を行ったエンコーダーに対しても適用可能であることを示す。様々なタスクで性能の向上が報告されている事前学習済みエンコーダー である BERT (Devlin et al. 2018)に対して提案手法を適用し，その性能が向上することを実験に より示す.

## 2 提案手法: OpTok

## 2.1 手法概要

本稿では，後段タスクに対して単語分割を最適化する新たな手法 (OpTok: Optimizing Tokenization) を提案する。提案手法は後段タスクを学習する上で適切な単語分割，すなわち後段タスクの性能が向上するような単語分割を学習する。形式的には, 提案手法は入力文 $s$ を語彙に 含まれる単語 $w \in V$ の系列 $s^{\prime}=w_{1} \ldots w_{i} \ldots w_{I}$ へと変換する. ここで $I$ は文に含まれる単語の個数 である。また， $q(\cdot)$ を後段タスクの評価関数， $z$ を後段タスクの正解データ， $f(\cdot)$ をニューラルネッ トワークを用いた後段モデルとしたとき，本研究の目的は後段タスクのスコアが最大となるような $s^{\prime}$, すなわち $\operatorname{argmax}_{s^{\prime}}\left(q\left(z, f\left(s^{\prime}\right)\right)\right)$ を求めることである.

OpTokを後段タスクのスコア $\left(q\left(z, f\left(s^{\prime}\right)\right)\right)$ に基づいて学習することで, $\operatorname{argmax}_{s^{\prime}}\left(q\left(z, f\left(s^{\prime}\right)\right)\right)$ を 満たすような単語分割 $s^{\prime}$ を獲得する。 すなわち, 単語分割を前処理として行ってから後段モデルを 学習するという従来のパイプライン式の学習とは異なり, 本研究では単語分割モデルである提案手

図 2 提案手法による, 3-best 分割を用いた文べクトル $\boldsymbol{h}_{s}$ の計算の概要（学習時）。評価時は従来と同様, 1-best 分割を用いた文べクトルの計算を行う．実線による矢印は誤差逆伝播法によって微分可能な処理を表す. Embedding のパラメータは更新可能だが，本稿での実験では更新を行わない． Encoder は ニューラルネットワークを用いたエンコーダーで，分割済みの単語列を文べクトルへと変換する様々な モジュールを使用することができる。また, Downstream Model は後段タスクを解くためのニューラ ルネットワークであり，文書分類の場合は MLP などを用いる。

法と後段モデルを同時に最適化する。 ある文に対して, OpTokは複数の単語分割の候補を出力し,候補のうち後段タスクのスコアが高くなるような単語分割に高い確率を割り当てるように学習を行 う。評価時にはその時点の OpTokのパラメータに基づき, 最も確率の高い単語分割を出力し, 後段モデルへと入力することで計算コストを削減する.

図 2 は提案手法である OpTokによる学習時の計算の概要を示している. OpTok はニューラル言語モデルを持ち, そのパラメータに基づいて $N$-best の単語分割を求める。各単語分割候補はニュー ラルエンコーダーで文べクトルへと変換され，さらに文べクトルは単語分割候補の確率に基づいて 重み付けされる。各単語分割候補の文ベクトルの重み付き和を, 通常の文ベクトルと同様に後段モ デルへと入力する。後段モデルの学習損失値に対して誤差逆伝搬法を用いることで, OpTok は後段タスクの性能が向上するような単語分割に対して高い確率を付与するように学習される。 かくし て提案手法は, 後段モデルの学習と同時に $\operatorname{argmax}_{s^{\prime}}\left(q\left(z, f\left(s^{\prime}\right)\right)\right)$ を満たすような $s^{\prime} を$ 求める. 本章 では，これらの処理を順に説明する。

## 2.2 ニューラルユニグラム言語モデル

OpTok は単語の確率 $p(w)$ をニューラルユニグラム言語モデルを用いて次のように計算する.

$
\begin{aligned}
d_{w} & =\operatorname{MLP}\left(\boldsymbol{v}_{w}\right) \\
p(w) & =\frac{\exp \left(d_{w}\right)}{\sum_{\hat{w} \in V} \exp \left(d_{\hat{w}}\right)} .
\end{aligned}
$

ここで MLP は学習可能なパラメータを持つ多層パーセプトロン, $\boldsymbol{v}_{w}$ は単語 $w$ の分散表現である.

学習を安定させるために，本研究ではユニグラム確率の平滑化を行う (Kudo 2018). 具体的に

は，ハイパーパラメータ $\alpha$ を用いて $p^{*}(w)=\frac{p(w)^{\alpha}}{\sum_{\hat{w} \in V} p(\hat{w})^{\alpha}}$ と平滑化したユニグラム確率を用いる.平滑化された単語のユニグラム確率を用いて文の確率を次のように計算し，これに基づいて文を単語列へと分割する。

$
p\left(s^{\prime}\right)=\prod_{w \in s^{\prime}} p^{*}(w)
$

単語分割に用いる語彙 $V$ は, 予め適当な大きさになるように初期化する。語彙に含まれる単語の 初期化には, 配布されている学習済みの単語分割モデル (Kudo 2006; Yang et al. 2017) や, 教師な し単語分割手法 (Goldwater et al. 2006; Mochihashi et al. 2009; Sennrich et al. 2016) を用いて獲得された語彙を使用することができる。本研究では，ニューラルネットワークを用いた自然言語処理において広く使用されている教師なし単語分割手法である SentencePiece (Kudo and Richardson 2018)を用いて語彙の初期化を行う.

## 2.3 単語分割を最適化するための機構

学習時, OpTok は複数の単語分割候補の文ベクトルを計算し, 各単語分割候補の確率によって それらを一つの文べクトルへと変換する。

まず，ある入力文 $s$ の $N$-best の単語分割候補 $s_{1}^{\prime}, \ldots, s_{n}, \ldots, s_{N}^{\prime}$ を求める. $N$-best の単語分割は, 2.2 節で得られた単語確率に対して Forward-DP Backward-A*アルゴリズム (Nagata 1994)を適用 することで得られる.

次に，それぞれの単語分割候補 $s_{n}^{\prime}$ を文ベクトル $\boldsymbol{h}_{s_{n}^{\prime}}$ へと変換する.

$
\boldsymbol{h}_{s_{n}^{\prime}}=g\left(s_{n}^{\prime}\right)
$

ここで $g(\cdot)$ は単語列を一つのベクトルへと変換するニューラルエンコーダーで, CNN や BiLSTM,注意機構などを用いたものを想定している。なお, ニューラルエンコーダーに入力する単語分散表現は, ニューラルユニグラム言語モデル（2.2 節）で使用したものと共有することで，学習が安定 することが経験的に分かっている.

最後に, 入力文の最終的な文べクトル $\boldsymbol{h}_{s}$ として, 式 (3) で求めた各単語分割候補の確率を用い て各文ベクトルの重み付き和を計算する。

$
\begin{gathered}
a_{n}=\frac{p\left(s_{n}^{\prime}\right)}{\sum_{m=1}^{N} p\left(s_{m}^{\prime}\right)} \\
\boldsymbol{h}_{s}=\sum_{n=1}^{N} a_{n} \boldsymbol{h}_{s_{n}^{\prime}}
\end{gathered}
$

自然言語処理で一般的に使用される注意機構と同様, 各単語分割候補の文べクトルに対する重みは
$\sum_{n=1}^{N} a_{n}=1$ を満たすように正規化される 1.

このようにして計算した文べクトル $h_{s}$ は，通常のニューラルエンコーダーを用いて計算された 文べクトルと同じように使用することができる，例えば， $\boldsymbol{h}_{s}$ をラベルサイズのベクトルへと変換す る MLP に入力することで，ニューラル文書分類器を作成することができる．文べクトル $\boldsymbol{h}_{s}$ を後段モデルに入力して計算された正解ラベルとの交差エントロピー損失を用いてモデル全体を更新す ることで，OpTokの持つニューラルユニグラム言語モデルは後段タスクに有用な単語分割に対し て高い確率を付与するように学習される。評価時には，ビタビアルゴリズム (Viterbi 1967)によっ て最も確率の高い単語分割を求めることで, OpTokにより学習されたタスクに適した単語分割を 得ることができる。

なお, 本研究は複数の単語分割候補を用いて後段モデルの学習を行うという点において, サブ ワード正則化との関係が深い. サブワード正則化 (Kudo 2018)では, 学習損失値をサブワード分割 の期待値によって重みづけることで, 複数のサブワード分割を考慮した後段モデルの学習を目的と している。一方で提案手法の式 (4) では, 単語分割の確率によってエンコードされた文べクトルを 重みづけすることで, 複数の単語分割を用いた後段モデルの学習を行う。また, 提案手法ではサブ ワード正則化とは異なり, 単語分割の確率を求めるための言語モデルのパラメータが学習と同時に 更新される点で異なっている.

## 2.4 語彙の制約

タスクに対して適切な単語分割を求める時, 単語長がより長く後段タスクに特徴的な単語を用い て単語分割を行うことが一つの局所最適解となる。これは Length Bias 問題 (Lafferty et al. 2001; Kudo et al. 2004) として知られており，提案手法のように単語分割の確率をユニグラム確率の積で 計算する場合は, トークン数が少なくなるような単語分割, すなわち単語長が長い単語を多く含む 単語分割が優先的に選ばれてしまう，本研究においては，学習時にこうした低頻度かつ長い単語を 用いることが後段モデルの過学習につながり, 後段タスクの性能低下を引き起こす.これを防ぐた め, 本研究では学習時の語彙の規模に対して制約を導入する．具体的に，OpTokは各ミニバッチ学習ごとに本来の語彙 $V$ から単語をサンプリングすることで, $\left|V^{\prime}\right|<|V|$ となるように単語数が制限 された語彙 $V^{\prime}$ (制限付き語彙と呼ぶ）を作成し，これを用いてミニバッチ学習を行う。ここで制限付き語彙のサイズ $\left|V^{\prime}\right|$ はハイパーパラメータであり, 本来の語彙 $V$ からの単語のサンプリングに は平滑化されたユニグラム確率 $p^{*}(w)$ を使用する（2.2 節）。また, 長さが 1 の単語は必ず $V^{\prime} に$ 含 まれるように制約を設け, 制限付き語彙 $V^{\prime}$ に含まれる単語の確率をノーマライズすることで, 新 たなユニグラム確率を得る. OpTok は本来の語彙 $V$ に含まれる全ての単語について単語分散表現 を保持するが，サンプリングによって $V^{\prime}$ から除外された単語は未知語として扱う． $V^{\prime}$ はミニバッ

チ学習ごとに作成し直すため, ユニグラム確率が高い単語ほど頻繁にサンプリングされ，パラメー 夕の更新機会が与えられる。評価時には, 式 (2) によって得られる学習済みの単語のユニグラム確率に基づいて上位 $\left|V^{\prime}\right|$ 単語を $V$ から選択して使用する。

高頻度な単語は一般的に単語長が短いため, サンプリング後の $V^{\prime} に は$ 短い単語が多く含まれる。 これにより，提案手法の学習時に長く特徴的な単語を含まない単語分割を使用することができ, 結果として短く汎用的な単語を用いた単語分割を採用することが可能となる。この処理は Continuous Cache を用いた語彙削減手法に由来している (Grave et al. 2016; Kawakami et al. 2017).

また，このようにサンプリングによって制限付き語彙を作成することで，ミニバッチごとに学習時の $N$-best の単語分割候補が多様化し, サブワード正則化を用いた後段モデルの学習が可能とな る. 2.2 節で導入したユニグラム確率の平滑化のためのハイパーパラメータ $\alpha$ を用いることで, 単

率の分布は一様分布に近くなり， $V^{\prime}$ を構成する単語はより多様なものになる.

## 2.5 言語モデルの性質の維持

OpTok による単語分割の最適化は後段タスクの損失関数のみに依存しているため, OpTok のユ ニグラム言語モデルは学習コーパスに含まれる単語の頻度を反映したものから乘離してしまう可能性がある。一方で, 学習コーパスの単語頻度を反映したユニグラム言語モデルが要求される場面 もある．例えば本研究においては，ラベルに偏りのあるデータを扱う場合に，少量ラベルに偶然現 れた低頻度語を獲得する可能性がある。言語モデルがこうした低頻度の単語に高い確率を与えた場合, 2.4 節で導入した語彙のサンプリングが N-best の多様性を失わせ, 局所解から抜け出しにくく なることが考えられる。

これを防ぐためには，OpTokのユニグラム言語モデルが実際の単語の頻度をある程度反映した ものである必要がある。そのような場合には, 次のように教師なし単語分割とニューラル EM アル ゴリズム (Deligne and Bimbot 1995; Liang and Klein 2009; Tran et al. 2016)に基き，入力文 $s$ に ついて言語モデルを更新するための損失関数を用いることができる.

$
\mathcal{L}_{s}^{\operatorname{lm}}=-\sum_{n=1}^{N} a_{n} \sum_{w \in s_{n}^{\prime}} \log p^{*}(w)
$

$\mathcal{L}_{s}^{\operatorname{lm}}$ と後段タスクの損失値の重み付き和に対して誤差逆伝搬を用いることで，言語モデルの性質を 維持しつつ単語分割の最適化を行う. 文書分類の場合であれば，入力文に対する予測ラベルと正解 ラベルとの交差エントロピー損失 $\mathcal{L}_{s}^{\mathrm{cl}}$ を用いた次の重み付き和に対して最適化を行う.

$
\mathcal{L}_{s}=\mathcal{L}_{s}^{\mathrm{cl}}+\mu \mathcal{L}_{s}^{\mathrm{lm}},
$

ここで $\mu$ はハイパーパラメータであり，より大きな $\mu$ を用いるほど OpTok に含まれるニューラル

ユニグラム言語モデルは学習デー夕における単語の出現頻度を反映したものになる。

## 3 実験

本研究ではタスクに応じて単語分割を最適化することで，後段タスクの性能の向上を目指す. 本章では提案手法である OpTokを複数の文書分類タスクに適用し，その効果を評価する。

## 3.1 データセット

テキストを入力とし，そのラベルを予測する文書分類によって，提案手法 OpTok の評価を行う.提案手法が言語によらず有効であることを確認するために，中国語，日本語，英語のデータセット を用いる。本研究ではタスクに応じて適切な単語分割を学習する手法を提案しているため，イン フォーマルな文体を多く含み，単語分割の差が文書分類の性能差として出やすいと考えられる SNS コーパスを用いた感情分析タスクを用いる。また，中国語，日本語，英語において，同一のテキスト に対して二つのタスクが設定されているデータセットを用いることで，提案手法がタスクごとに異 なる単語分割を学習できているかを確認する。さらに，二つの入力文を用いる Textual Entailment タスクを用いることで，提案手法が複数の入力を必要とするタスクであっても適用できることを確認する。各データセットについて，順に説明する。

$\operatorname{Weibo}(\mathbf{Z h})^{2}$ は， 中国語の SNS から作成された感情分析タスクのデータセットである. 各テキスト には Positive・Negative のいずれかのラベルが付与されている。配布されているデータはすでに前処理として単語分割が行われているため, デトークナイズとしてスペース記号を除去して使用する.

Twitter $(\mathrm{Ja})^{3}$ は，日本語の SNS から作成された感情分析タスクのデータセットである。本データ セットは家電機器などの製品に関するテキストを収集し，対象の製品について Positive・Negative $\cdot$ Neutral ・ Both of Positive and Negative・Unrelated の５つのラベルが各テキストに最低 1 つ付与 されている. 配布されているデータのうち 2018 年夏の時点で 352,554 件にアクセスでき，本研究 ではこれらのうち Positive・Negative・Neutral の 3 ラベルのうちいずれか 1 つのが付与された テキストのみを使用して実験を行う。

Twitter(En) 4 は英語の SNS から作成された感情分析タスクのデータセットで，各テキストは Positive・Negative のいずれかのラベルが付与されている. 本研究の実験では，小文字化などの前処理を行わずに用いる.

SNLI (Bowman et al. 2015) は自然言語処理において広く使用されている Texutual Entailment 夕 スクのデータセットで, 英語で記述されている。二つの文の含意関係を分類するタスクであるため,

本データセットの入力は 2 文となる，本データセットを，提案手法が複数の入力を必要とする夕ス クに適用可能であることを検証するために使用する。学習・検証・評価にはそれぞれデフォルトの 分割を用い，既存研究に倣ってラベルが付与されたデータのみを使用する.

Amazon: Genre\&Rating(En) は Amazon product data ${ }^{5}$ を用いて作成した英語のデータセット である。元となるコーパスは 24 種の製品ジャンルについてユーザーのレビューが収録されており，各レビューにはユーザー自身が設定した 1 から 5 までのレートが付与されている。本研究では，各製品ジャンルから 5,000 件ずつサンプリングし，レビューテキストを入力としたジャンル予測タス クとレート予測タスクとして使用する。本データセットは同一のテキストに対して二つのタスクが 設定されているため, 提案手法がタスクに応じて異なる単語分割を学習できているかを検証するこ とができる。テキストの長さはレビューごとに大きく異なるため，スペース記号区切りで 200 単語 を上限とし，これを超えないようにレビューテキストをサンプリングした.

JD.com: Genre\&Rating(Zh) は, 中国の電子商取引サイトである JD.com に投稿されたレビュー を用いて作成された中国語のデータセットである (Zhang et al. 2015)6. 各レビューには商品のジャ ンルと，ユーザーが設定した 1 から 5 までのレートが付与されている. Genre\&Rating(En)データ セットと同様にして, レビューデータセットからジャンル予測タスクとレート予測タスクを作成し た. 充分なサンプル数を持つ 13 ジャンル7を選択し，各ジャンルごとに 30,000 件ずつ，レートが 均等になるようにレビューデータをサンプリングした，使用するレビューテキストは，その文字数 が 3 から 100 に収まるようにサンプリングを行った.

Rakuten: Genre\&Rating(Ja) は, 日本の電子商取引サイトである楽天市場に投稿されたレビュー を用いて作成された日本語のデータセットである (Rakuten 2014). 各レビューには商品のジャンル とユーザーが設定した 1 から 5 までのレートが付与されている. JD.com から作成したデータセッ トと同様に，充分なサンプル数を持つ 21 ジャンル8 を選択し，各ジャンルと各レートからそれぞれ 5,000 件ずつレビューデータをサンプリングした. 2015 年のレビューデータを使用し，レビュー本文の文字数が 100 に収まるようにサンプリングを行った.

SNLI 以外のタスクについては，8:1:1 となるようにデータセットをランダムに分割し，それぞ れ学習・検証・評価データセットとして使用する，Genre\&Rating タスクについても同様に，ジャ ンル比が等しくなるような制約のもとランダムに 8:1:1 に分割した。なお，ジャンル予測タスクと レート予測タスクでは同じデータの分割を使用する。表 1 に感情分析データセットの概要を示し

た.また, 英語のジャンル・レート予測タスクについては表 2 にジャンルとレートのサンプル件数 を示した。

表 1 感情分析タスクのデータセット概要.

表 2 Amazon product data から作成した Genre\&Rating 予測タスクのデータセット概要

## 3.2 実験設定

OpTok のニューラルユニグラム言語モデルについて, 式 (1) の MLP として 2 層のパーセプトロ ンを使用する。式 (4)の $\boldsymbol{h}_{s^{\prime}}$ を計算するためのエンコーダー $g(\cdot)$ として, 注意機構と線形層を接続 したエンコーダー (Attention) と，BiLSTM と線形層を接続したエンコーダー (BiLSTM) の二種類 を用意した。これは提案手法がエンコーダーの種類によらず性能の向上に寄与することを確認する ためである。注意機構を用いたエンコーダーでは，単語列の分散表現の重み付き和を線形層に入力 することで文べクトルを計算する。また，BiLSTM を用いたエンコーダーでは，分割された単語列 の分散表現を BiLSTM に入力し, その出力の Max-Pooling を線形層に入力することで文べクトル を計算する。これらの処理において，活性化関数として $\tanh を$ 線形層の前後に使用した。それぞ れのエンコーダーの計算の概要を図 3 に示した.

文書分類の後段モデルとして 3 層の MLP を使用し，文べクトルをラベルサイズのベクトルへと 変換する。この時, MLPへの入力となる文ベクトルに $50 \%$ のドロップアウトを適用した. SNLIに ついては, text と hypothesisの双方に対して同じエンコーダーを使用し, それぞれの出力のべクト ル結合を文べクトルとして後段モデルへと入力する.

提案手法との比較には，広く使用されている単語分割モデルである SentencePiece (Kudo and Richardson 2018)を用いる。具体的には，SentencePieceによって分割された単語列を文べクトル へと変換し, 後段モデルへと入力する。 すなわち, 提案手法のうちニューラルユニグラム言語モデル

(a) Attention エンコーダー

(b) BiLSTM エンコーダー

図 3 実験で使用するエンコーダーの概要. 単語分割済みの文 $s^{\prime}$ に含まれる単語の系列 $w_{1}, w_{2}, w_{3}$ に対応す る単語分散表現 $\boldsymbol{v}_{w_{1}}, \boldsymbol{v}_{w_{2}}, \boldsymbol{v}_{w_{3}}$ について，それぞれのエンコーダーで文べクトル $\boldsymbol{h}_{s^{\prime}}$ を計算する処理の 概要を示す.

を SentencePiece に置き換え，入力文を分割するモデルをベースラインとする．複数の研究によっ て, 決定的な単語分割ではなく確率的な単語分割を用いて後段モデルを学習するサブワード正則化 によって性能の向上が得られることが示されている (Kudo 2018; Hiraoka et al. 2019; Provilkov et al. 2019)，そのため, 本研究においてもサブワード正則化を用いた SentencePiece をべースライ ンモデルとして使用する.

SentencePiece のモデルは各データセットの学習データを用いて学習した。語彙のサイズは $8 \mathrm{~K}$, 16K, 24K, 32K を探索し, Twitter(Ja)とTwitter(En), Genre\&Rating(Zh)については $16 \mathrm{~K} を$ 選択し, Weibo(Zh)とSNLI, Genre\&Rating(En), Genre\&Rating(Ja)については 32Kを選択した. また, 学習済みの SentencePieceの語彙を用いて提案手法 OpTokの語彙を初期化し，ニューラルユ ニグラム言語モデルについても SentencePiece によって推定された単語確率との KL ダイバージェ ンスが小さくなるように事前学習し初期化した。

単語分散表現は各データセットの学習データを用いて双方向言語モデルで事前学習し, 文書分類 の学習時には固定した. 後段タスクに対して適切な単語分割は事前学習時に不明であるため, 双方向言語モデルは SentencePiece によるサブワード正則化を用いて学習した. Genre\&Rating タスク については, 同じ単語分散表現を用いて学習を行った. 全てのデータセットについて, 外部データ による事前学習は行っていない.

提案手法とベースライン手法を用いた文書分類の学習には, 正解ラベルに対する交差エントロ ピー損失を用いる。 パラメータの最適化には Adam (Kingma and Ba 2014)を用い, PyTorchのデ フォルトの設定を用いた。

OpTok と SentencePiece の双方で使用する単語確率の平滑化のためのハイパーパラメータ $\alpha$ は 既存研究 (Kudo 2018) に倣い $\alpha=0.2$ とした. 提案手法の学習において, $N$-best 分割については $N=3$, 制限付き語彙の大きさ $\left|V^{\prime}\right|$ は本来の語彙の大きさの半分とした. すなわち, Twitter(Ja)と Twitter(En), Genre\&Rating(Zh)については $\left|V^{\prime}\right|=8,000$, Weibo(Zh), SNLI, Genre\&Rating(En), Genre\&Rating(Ja)については $\left|V^{\prime}\right|=16,000$ である. 評価時には，学習された言語モデルに基づ いて上位 $\left|V^{\prime}\right|$ 単語を語彙として選択し，1-best 分割を用いてラベルの予測を行う。本節の実験で は提案手法の効果を調べるために，言語モデルの性質を維持するための損失関数への重みは $\mu=0$ とした。本稿における全ての実験結果について，事前学習部分を除く全ての学習可能パラメータを ランダムに初期化し, 5 回の試行結果の平均 F1 値を報告する。また, 文書分類の最大学習エポッ クは 20 とし, 各試行において検証データで最大性能となるモデルを選択し, 評価データで評価を 行った.

提案手法の実装と実験に使用したソースコードは GitHubにて公開している9.

## 3.3 実験結果

OpTok と SentencePiece による単語分割手法を用いて後段モデルを学習し，その実験結果を表 3 に示した. SentencePiece については，提案手法における制限付き語彙と本来の語彙それぞれと同 じ大きさの語彙を持つ設定 (SentencePiece, SentnecePiece x2) で実験を行った.

実験結果より，多くの各言語・各タスクの組み合わせにおいて提案手法は文書分類の性能向上に 寄与することを確認した。また多くの実験設定において, OpTokの性能は SentencePieceのどちら の語彙の大きさの設定による性能よりも高いことが示された。注意機構を用いたエンコーダーと， BiLSTM を用いたエンコーダーのどちらを使用した場合であっても，提案手法は SentenecePiece による単語分割を用いた手法の性能を上回ることから，提案手法は使用するエンコーダーに関わら ず従来の単語分割手法と比べて性能の向上に貢献することを確認した． SNLIにおける実験結果か らは, 複数の入力文を要求するタスクであっても提案手法を用いることで性能向上に寄与すること が示された，さらに，OpTok はインフォーマルな表現を多く含むデータセット（SNSでの感情分析 と Genre\&Rating タスク）に限らず，SNLIのようにフォーマルな表現を含むデータセットであっ

(a) 感情分析タスクと SNLI での実験

(b) レビューデータを用いた実験

表 3 文書分類での実験結果。太字は各データセットでの最大値を表す。|vocab| は SencencePiece/SentencePiece x2 それぞれの語彙の大きさを表し, これは OpTokの制限付き/本来の語彙の 大きさと同じである.

ても性能向上に貢献することが確認された.

提案手法は評価時に本来の語彙の半分の大きさの語彙のみを使用している。このことから，提案手法はタスクを解くために有用な語彙を選択することで，語彙削減に貢献していると考えることが できる.

注意機構によるエンコーダーを用いた Rating (En) タスクでは，提案手法による性能の低下が確認された。これは表 2 に見られるような, ラベルの極端な偏りに起因すると考えられる，注意機構 によるエンコーダーは BiLSTM によるエンコーダーに比べて単語の並びを考慮しないため，文べ クトルに与える単語分割の影響が大きい。また， Rating(En)においてレートが 5 となるような高評価レビューを検出するためには，肯定的なキーワードを認識できれば良い。これにより，OpTok は easy-positive である高評価レビューに特徴的なキーワードのみを有用な語彙として選択し, 低評価レビューの検出に有効な単語を語彙から落としてしまっているために性能が低下したと考えら れる。こうしたラべルの偏りに起因する性能の低下については, 偏りを考慮して学習を行うような 損失関数 (Li et al. 2020b) を採用することで防ぐことが可能であると考えられる.

## 4 分析

## 4.1 単語分割のみによる性能向上

3.3 節の結果からだけでは, 性能向上が提案手法で単語分割モデルと後段モデルを同時に最適化 したことに起因するものであるかは不明瞭である。 そこで, 本節では単語分割の最適化そのものが,後段タスクの性能向上に貢献しているかを調べる。単語分割の最適化のみの影響を調べるために,文書分類を OpTok に含まれるニューラルユニグラム言語モデルのみで学習する。 すなわち，後段 モデルと OpTok に含まれるニューラルエンコーダーのパラメータをランダムに初期化し, 固定す ることで単語分割の更新のみによる性能向上を確認する。ニューラルユニグラム言語モデルのパラ メータのみを更新し, 学習損失值と検証デー夕における $\mathrm{F} 1$ 值の推移を観察し, 単語分割の最適化 によって性能の向上が得られることを確認する。

本実験を 3 節で用いた Twitter(Ja) データセットにおいて行い，その結果を図 4 に示した. 図 4 は学習データにおける損失值と検証データにおける $\mathrm{F} 1$ 值について, それぞれ学習開始時の値からの 差をエポックごとに示した。図より, 学習エポックの増加に伴って学習損失值が下がり, 検証デー 夕における $\mathrm{F} 1$ 値は上昇している。このことから，提案手法は後段タスクの損失関数を用いて，そ の性能が向上するような学習ができていることが示された。また，この結果は 3.3 節における全体的な性能の向上に単語分割の最適化手法そのものが寄与していることを示唆している.

## 4.2 タスク指向の単語分割

提案手法によって獲得される単語分割が後段タスクに応じて異なる物であるかを調べる。本節 では，3章での実験で用いた英語・中国語・日本語の Genre\&Rating タスクにおいて，提案手法が どのような単語分割を学習したかを定性的に分析する。なお, Genre\&Rating タスクに用いたデー タセットは同一のテキストに対して異なる二つの後段タスクが設定されている。また，本節では BiLSTM によるエンコーダーを用いた実験設定によって得られた単語分割を比較する.

表 4 はジャンル予測タスクとレート予測タスクにおいて, 提案手法が学習した言語モデルに基づ

図 4 Twitter(Ja) データセットでの, OpTokによる単語分割の更新のみを用いた性能の推移. 検証データ での F1 值と学習データでの損失値について, 学習開始時の値からのエポックごとの差の推移を示す.

表 4 提案手法を用いた Genre\&Rating データセットの学習において，学習開始時に比べてユニグラム確率 が大きく向上した単語の上位 15 件.

き，学習開始時に比べてユニグラム確率が大きく上がった単語の上位 15 件を示す. 表より，提案手法によって学習を行ったニューラルユニグラム言語モデルは, ジャンル予測・レート予測のそれ ぞれで有用と考えられる単語に対して高い確率を与えるように更新されていることがわかる．例え ば英語の Amazon データセットにおいて「zombie」という単語はジャンルを予測するために重要 な手がかりとなり，「bad」はレート予測に有効であると考えられる.

また, 中国語の JD.com データセットにおいては,「车」「衣」などのジャンル予測に有用とみら れる単語や，「清」「差的」などのレート予測に有用な単語の確率がそれぞれ上昇していることが確認できる.

日本語の Rakuten データセットでは，「污れ」「足」などの単語の確率がジャンル予測タスクで の学習で上昇し，レート予測タスクでは「とても」「気になる点」などの単語の確率が上昇してい る.レビューでは「星 4 つ」のように，レートを直接明記する例も存在しており, 日本語のレート 予測の学習で「星」という単語の確率が上昇している点も特筆すべきである.

中国語と日本語のジャンル予測タスクでは, それぞれ「的」「了」や「が」「の」のような機能語 の確率が大きく上昇している。これは，ジャンル予測タスクにおいて名詞を適切に切り出すことが 性能の向上につながり，その区切りを判別するために機能語が有効であるためだと考えられる.

これらの結果から, OpTokは後段タスクを解く上で有効と考えられる単語をより多く使用して 単語分割を行うモデルとして学習されることが確認された。なお, 2.5 節で説明した通り, 本実験 では言語モデルの性質を維持するような損失関数を用いていないため, 学習済みの各単語の確率が 極端な値になる場合がある。

検証デー夕に含まれる入力文のうち，提案手法によって獲得された後段タスクごとの単語分割の 差が顕著である英語，中国語，日本語それぞれの例を表 5 に示した，表において， SentencePiece は語彙の規模を $16 \mathrm{~K}$ としたモデルの単語分割の結果を示し, 提案手法は $32 \mathrm{~K}$ の語彙を用いて学習 し単語のスコアが高い上位 $16 \mathrm{~K}$ 単語を用いた単語分割の結果を示した.

英語のジャンル予測タスクに対して最適化を行った場合は「book / s」のように，ジャンルを予測するために重要であると考えられる単語の屈折語尾を切り落とす単語分割が見られる。これによ り, 屈折によらず「book」という単語を認識できるため, 正しいラベルである Bookジャンルを適切に予測することができると考えられる。一方でレート予測タスクに対して最適化を行った場合は 「interest / ing」のように，レートを予測するために有用であると考えられる「interest」という単語を適切に捉えるために，その派生語尾を切り落とす分割が見られる。これにより，「interested」 や「interests」といった単語を「interest / ing」と同じように捉えることができ，レート予測の性能向上をもたらすと考えられる。また，ジャンル予測で学習された単語分割は「interesting」を分割せず，レート予測では「books」を分割していない.

中国語の例においても，ジャンル予測とレート予測によって獲得された単語分割の差が確認でき る. ジャンル予測で学習したモデルでは「指纹」や「操作」など，正しいジャンルである「携帯電

 \\

表 5 異なるタスクにおいて，提案手法 OpTokによって獲得された単語分割の例と, ベースラインである SentencePiece による単語分割の例. 同じテキストに対して, ジャンル予測とレート予測の異なるタス クを学習した．手法間で特筆すべき分割の差が見られる箇所を太字で示した.

話/デジタル」を予測するために有用な単語を分割せずに残している一方で, ジャンル予測に不要 と考えられる「不好」は分割して語彙から落としていることがわかる. 対してレート予測で学習し たモデルは「不好」を連結し，「指纹」や「操作」を語彙から落としている。さらに，中国語の否定極性表現である「一点都」を切り出すことで，「一点都不」や「一点都没」などの表現を統一的 に認識できるように学習できている。また, SentencePieceでは単語として認識していた「防指纹」 や「而且」について, 提案手法ではどちらも使用していない点が特徴的である。「防指纹」は耐指紋コーティングを表すが，使用したデータセットでは単純に「指纹」について触れるレビューが多 く，そのほとんどが「防指纹」を含むレビューと同じジャンルであるために語彙削減として「防指纹」を語彙から落としたと考えられる。また「而且」は「また」などを表す接続詞で，ジャンル予測とレート予測の双方において意味を持たない単語であり，語彙から削除されたと考えられる.

日本語の例では, ジャンル予測で学習したモデルは「メイク」を連結しており，レート予測で 学習したモデルは「ませんでした」という否定フレーズを連結することで，それぞれのタスクに 応じた分割が獲得されていることが確認できる。特に単語「メイク」は $32 \mathrm{~K}$ の語彙の規模を持つ SentencePiece モデルには含まれているが，16K のモデルには含まれていないため SentencePiece では「メ/イ/ク」と分割されている。一方で, $32 \mathrm{~K}$ の語彙をもとに提案手法で $16 \mathrm{~K}$ 単語を選択し た場合は「メイク」という単語が含まれているため, 分割に使用することができている。この結果 は，提案手法を用いた素性選択がタスクを考慮したものであることを示唆している。

これらの事例より提案手法は英語, 中国語, 日本語において, 後段タスクに応じて適切な単語分割を獲得していることが確認された.

## 4.3 PMI を用いた素性選択との関係

本研究は後段タスクに対して適切な語彙を選択するという側面において，これまでの自然言語処理で研究されてきた素性選択との関わりが深い。本節ではレビューデータを用いた実験を通して，文書分類のタスクにおけるラベルと単語の PMI を用いた素性選択手法 (Sebastiani 2002; Church and Hanks 1990)に関する比較を行う.

まず提案手法による文書分類の性能と，PMI を用いて素性選択を行う手法の文書分類の性能を 比較する．PMI を用いた素性選択では，以下の二つの指標で単語とラベルの共起スコアを計算した (Xu et al. 2007).

$
\begin{aligned}
\operatorname{PMI}(w, l) & =\log \frac{p(l \mid w)}{p(l)} \\
\operatorname{PMI}_{\text {max }}(w) & =\max _{l \in L} \operatorname{PMI}(w, l) \\
\operatorname{PMI}_{\text {ave }}(w) & =\sum_{l \in L} p(l) \operatorname{PMI}(w, l)
\end{aligned}
$

ここで $w$ は単語， $l$ は文書分類のラベル集合 $L$ に含まれるラベルである。また, PMI のスコアは学習データ中の全ての文字 N-gram を対象として計算する。実験では SentencePiece で学習した $32 \mathrm{~K}$ の語彙に含まれる単語について $\mathrm{PMI}_{\max }(w)$ と $\mathrm{PMI}_{\mathrm{ave}}(w)$ を計算し，それぞれの指標でスコアの高 い上位 $16 \mathrm{~K}$ 単語を選択した。ただし未知文字を防ぐために，長さが 1 の単語は必ず語彙に含まれる ように選択を行った。さらに，選択した語彙をもとにEM アルゴリズム (Deligne and Bimbot 1995; Liang and Klein 2009; Kudo and Richardson 2018)を用いて単語の出現確率を推定し, サブワード 正則化を用いた文書分類の学習を行った。文書分類の学習には， 3 章の実験で用いた BiLSTM エン コーダーによる分類器を使用し，その結果を表 6 に示した。結果より，SentencePiece で作成した語彙から PMI を用いて素性選択を行う手法の性能は, SentencePieceの $16 \mathrm{~K}$ 語彙を用いた手法や提案手法の性能を下回っている。ここから，PMIのみを用いた素朴な素性選択に比べて SentencePiece を用いた言語モデルベースでの素性選択や，提案手法によるモデルのパラメータを考慮した語彙の 選択が性能向上に寄与することがわかった.

表 6 SentencePieceによる $32 \mathrm{~K}$ 語彙から PMI を用いて16K 単語を素性選択した手法と, SentencePiece に よる単語分割手法, 提案手法のレビューデー夕における文書分類での実験結果.

表 7 SentencePiece と提案手法それぞれの単語分割において，単語分割済み文中に含まれる単語のうち正解 ラベルとの PMI が最も高い単語の PMI スコアの平均，数値が高いほど，正解ラべルに特徴的な単語 を多く含む単語分割であることを表す。

次に, SentencePiece を用いた単語分割と提案手法による単語分割を PMI の観点から比較する.正解ラベルとの PMI が高い単語が含まれているかどうかは，その単語分割が文書分類タスクに 対して適切なものであるかを測る指標になると考えられる。そこで，ある文 $s$ を単語分割した $s^{\prime}$ に含まれる単語のうち, 最もその文の正解ラベル $l$ との PMI が高い単語の PMI スコアの平均, $\frac{1}{|D|} \sum_{s^{\prime} \in D} \max _{w \in s^{\prime}} \operatorname{PMI}(w, l)$ を用いて, SentencePiece と提案手法の単語分割を比較する. ここで $D$ は単語分割済みの学習データである。このスコアが高いほど，単語分割済みの文が正解ラベルに 特徴的な単語を含んでいることを示す. SentencePiece と提案手法それぞれの単語分割についてこ のスコアを計算した結果を表 7 に示した．表より，提案手法による単語分割は SentencePiece に比 ベてこのスコアの値が高く, 各文の正解ラベルに特徴的な単語を用いた単語分割が行えていること が確認された。

これらの検証結果から，言語モデルベースの SentencePiece や提案手法に比べて, PMI のみを用 いた素性選択手法は性能向上に貢献しないことが分かった. 一方で, 提案手法は SentencePiece の 単語分割に比べて, 正解ラベルとの PMI が高くなるような単語を用いた単語分割を学習できてい ることが分かった. ここから，提案手法は SentencePiece による言語モデルベースの素性選択の性質を残しつつ，正解ラベルとの関係が深い素性を選択することで，性能の向上が得られていると考 えられる。

## 4.4 ハイパーパラメータによる影響

本研究では提案手法の OpTok について, 語彙の大きさの制限と $N$-best 分割, 言語モデルの性質 の維持について三つのハイパーパラメータを導入した。本節では, これらのハイパーパラメータが 性能に与える影響について，感情分析タスクを用いて分析する。

図 5a は制限付き語彙の大きさが各言語の性能に与える影響について報告したものである。制限付き語彙の大きさを本来の語彙に対して $25 \%, 50 \%$ （デフォルトの実験設定）, $75 \%, 100 \%$ と変化 させ，感情分析タスクにおける性能の変化を分析した，図では 5 回の試行による平均 $\mathrm{F} 1$ 値につい て, 表 3 で報告した値からの差を示した. 図より, 語彙の大きさを $50 \%$ に縮小する設定が日本語 と英語において最も性能が高く，語彙を制限することで提案手法の性能が向上することが確認され

- - - Weibo(Zh) - - Twitter(Ja) - - Twitter(En)

(a) 制限付き語彙の大きさによる性能の差

(b) $N$ による性能の差

図 5 提案手法で用いる語彙の大きさ $\left|V^{\prime}\right|$ と分割候補の数 $N$ を異なる値にした時の性能. 表 3 で報告した感情分析タスクの F1 值からの差を示す.

た。一方で，図より制限付き語彙の大きさを小さくするほど，中国語での性能が低下することが示 された。結果より Weibo $(\mathrm{Zh})$ データセットにおいて， $32 \mathrm{~K}$ の大きさを持つ本来の語彙のうち全体 (100\%) を用いることで F1 値が 93.14 に到達することがわかった。これは表 3 で報告した OpTok の F1 値よりも 0.32 高い数値である。この結果は, 中国語のように文字種が非常に多い言語におい て，語彙の大きさを制限することで後段タスクを解くための有用な単語を語彙に含めることができ ず，学習と評価の双方で未知語を多く発生させてしまうことに起因すると考えられる，中国語に関 するこの分析は, 既存研究で報告されている分析とも合致する (Hiraoka et al. 2019).

図 5bは OpTokのハイパーパラメータのうち, 単語分割候補の数を表す $N$ が感情分析タスクに与 える影響を示している。図より全ての言語において $N=3$ を用いる設定が最も性能が高く, $N$ を大 きくすることで性能が低下する傾向にあることが示された．提案手法を用いた学習では $N$-best に 含まれる全ての単語分割を用いてエンコーダーと後段モデルを学習する一方で, 評価時には 1-best 分割を用いるという学習と評価時のギャップが，この傾向を引き起こしていると考えられる。より 大きな $N$ を設定することで，文書分類のための後段モデルである MLP は複数の単語分割について の文べクトルの重み付き和を用いて学習を行う。一方で評価時には 1-best の単語分割による文べ クトルのみが入力され, このギャップのために性能が低下すると考えられる。

2.5 節では OpTok で獲得される言語モデルの性質を維持するためのハイパーパラメータ $\mu$ を導入した，大きい $\mu$ を設定することで，式 (8)における言語モデルの性質を保つための損失值 $\mathcal{L}_{s}^{\operatorname{lm}}$ が 学習に与える影響が大きくなり, OpTokのニューラルユニグラム言語モデルはコーパスに含まれ る単語の頻度を反映したものになる． 3 章の実験では提案手法の効果を調べるために $\mu=0$ と設定 していたが，本節では異なる $\mu$ を設定することで言語モデルの性質が維持されることと，これが 感情分析タスクに与える影響を調べる。図 $6 \mathrm{a}$ は異なる $\mu$ を用いて学習した OpTok を用いて学習 データを1-best 分割し，そのパープレキシティを示したものである。より大きな $\mu$ を用いること

(a) $\mu$ によるパープレキシティの差

(b) $\mu$ による性能の差

図 6 提案手法において, 言語モデルの性質を維持するための損失値の重み $\mu$ による性能の差と, 学習デー 夕のベスト分割に対するパープレキシティの差.

でパープレキシティが下がる傾向にあることが確認され, OpTokのニューラルユニグラム言語モ デルが学習データにおける単語の出現頻度を反映したものになっていることがわかる。また，中国語，日本語，英語において，異なる $\mu$ を用いて学習したモデルの性能を図 $6 \mathrm{~b}$ に示した，図では，表 3 で報告した値 $(\mu=0)$ からの差を示している。結果より，言語モデルの性質を保つことが性能 に与える影響は言語ごとに異なることがわかる。 中国語と日本語では，適切な $\mu$ を設定することで 性能の向上が見られ， $\mu$ が大きすぎる場合には性能が低下することが確認された。一方で英語では $\mu$ の値による一貫した傾向は見られなかった。こうした $\mu$ による性能の差は, 各言語間にある単語分割の曖昧性の差によって引き起こされていると考えられる。中国語と日本語は単語境界を明示し ないため単語分割の曖昧性が大きく, 同じ文字列が異なる文脈に現れることが多い. そのため, 適切に $\mu$ を選択して言語モデルの性質を保持することで極端なスコアを持つ単語が減り, 単語分割に 一貫性が得られるために性能が安定すると考えられる。一方で英語は事前にスペース記号で単語境界を明示する言語であるため単語分割の曖昧性が小さく, 言語モデルの性質を保持することによる 影響が少ないと考えられる。

## 4.5 BERT への応用

大規模なコーパスを用いて事前学習を行った言語モデルを活用した自然言語処理に関する研究が 多く手掛けられている。こうした事前学習済みの言語モデルは文べクトルを出力するエンコーダー として使用することができ，提案手法のエンコーダーとして使用することができる．本節では，多 くの自然言語処理のタスクで性能の向上が報告されている BERT(Devlin et al. 2018)について，提案手法を適用し Twitter(En)と Genre\&Rating(En) データセットでの評価を行う.

3 章での実験設定のうち, 提案手法に用いるニューラルエンコーダーを BERTへと変更し, 同様

表 8 英語で記述されたデータセットにおける $\mathrm{BERT}_{\text {base }}$ を用いた実験結果（F1 値）。手法間での最高値を 太字で示した.

の実験を行う，本実験で使用する BERT モデルとして， HuggingFace ${ }^{10}$ が配布している BERT base を利用した，前述の実験と同様に単語分散表現のみを固定し，その他のパラメータを fine-tune す る. BERT $_{\text {base }}$ のために用意されているトークナイザは WordPiece に基づいており，最長一致アル ゴリズムでの単語分割を前提としているため各単語の確率は配布されていない。そこで本実験では EM アルゴリズム (Deligne and Bimbot 1995; Liang and Klein 2009; Kudo and Richardson 2018) を用いて，配布されている語彙に含まれる単語の確率を各データセットの学習データについて推定 し, これを提案手法のニューラルユニグラム言語モデルの初期値とした. 配布されている $\mathrm{BERT}_{\text {base }}$ の語彙には各データセットに出現しない単語が多く含まれており，制限付き語彙を使用することで

のパラメータの fine-tune については AdamW (Loshchilov and Hutter 2017)を用い, OpTok に含 まれるニューラルユニグラム言語モデルのパラメータについては Adamによる更新を行う.

致アルゴリズムを用いて WordPieceでの分割を行ったデータを用いている。+Sampling tokenization による実験では，上述したEM アルゴリズムによる単語確率の推定値を用いて， SentnecePiece に よるサブワード正則化と同様に確率的な単語分割を用いた学習を行った。

実験結果より，事前学習済みの BERT を用いることで表 3 で報告した値に比べ，どのデータセッ トでも性能が向上することが確認された。 さらに，提案手法である OpTok に BERT を組み込むこ とで，オリジナルの BERT や確率的な単語分割を用いて学習する手法の性能を上回ることがわかっ た. 以上の結果から，OpTok は自然言語処理で広く使われている事前学習モデルを組み达んだモ デルであっても，単語分割を最適化することで性能の向上に寄与することが示された.

## 5 関連研究

ニューラルネットワークを用いた自然言語処理において，単語分割の観点から処理性能の向上を 目指す研究は数多く手掛けられてきた。単語分割に起因する処理性能の低下を防ぐ方法として, 複

数の単語分割を同時に使用する手法が挙げられる。ニューラルネットワークを用いた枠組みにおい ては，LSTM の系列処理をラティス状に拡張することで，複数の単語分割を入力として受け取る 手法が提案されている (Chen et al. 2017; Zhang and Yang 2018; Yang et al. 2018). これにより,様々な単語分割の可能性を同時に考慮しながら夕スクの学習が可能となり，中国語の教師あり単語分割タスクや固有表現抽出タスクで性能の向上が報告されている。また, Transformer の枠組みで 単語分割の複数の可能性をラティスとして考慮する手法も提案されており, 中英翻訳タスク (Xiao et al. 2019) や中国語の固有表現抽出タスク (Li et al. 2020a) での性能向上が報告されている. こ れらの手法は複数の単語分割候補を同時に使用することで，決定的な単語分割の失敗による性能低下を防ぐことができる.

確率的な単語分割を行うサブワード正則化 (Kudo 2018; Kudo and Richardson 2018) では, 学習 エポックごとに単語分割を言語モデルにしたがってサンプリングすることで複数の単語分割候補を 用いたモデルの学習を行う。これにより，一つの学習事例を複数の単語分割を用いて学習するデー 夕拡張として性能の向上に繋がるだけでなく, 未知の文字列に対してもロバストなモデルを学習す ることが可能である. SentencePiece によるサブワード正則化を用いることで，ニューラル機械翻訳の複数の言語対において性能の向上が得られることが報告されている. BPE-dropoutによるサ ブワード正則化では，Byte Pair Encoding を用いたサブワード分割におけるトークンの結合処理を ランダムにスキップすることで，複数の単語分割候補を生成する (Provilkov et al. 2019). 言語モ デルを用いずに単語分割のサンプリングを行うことで，より多くの単語分割候補を用いてモデルを 学習することができ，機械翻訳タスクにおける性能の向上が報告されている．また，教師なし単語分割手法をサブワード正則化に組み迄むことで，学習が進むに従って確率的な単語分割から決定的 な単語分割へとスケジューリングし，学習性能を安定させる手法も提案されている (Hiraoka et al. 2019).

タスクに対して最適な単語分割を求める試みは, 主に機械翻訳分野において研究されてきた。 ア ラインメントモデルのようにシンプルな機械翻訳手法を基準としてソース言語とターゲット言語の 単語分割を決定することで，より複雑な機械翻訳モデルにおいても性能向上が見られることが報告 されている (Xu et al. 2008; Chung and Gildea 2009; Nguyen et al. 2010; Mermer et al. 2013).近年の研究では，ニューラル機械翻訳における単語分割の最適化が試みられている. Incremental BPE は, Byte Pair Encoding によるサブワード分割の適切な分割粒度を，ニューラル機械翻訳器 の損失値を用いて自動決定する手法である (He et al. 2020). Dynamic Programming Encoding に よる単語分割では, Seq2Seq モデルを用いた文字列から単語列への変換手法 (Chan et al. 2016)を 拡張し, ソース言語からターゲット言語を出力する上でより適切な単語分割を選択する手法を提案 した (He et al. 2020). 我々の研究はこれらの既存研究と比較し, 様々なニューラルエンコーダー に適用可能である点と, 後段タスクに対する学習損失值からの誤差逆伝搬のみを用いて, 人手で設定した基準を用いず直接的に単語分割を後段タスクに対して最適化するという点で異なっている.

また工藤 (2005) では，形態素解析器による単語分割の確率を用いて Bag-of-Wordsベクトルの重 みづけを行うことでテキスト分類タスクの性能向上を報告している。提案手法はニューラルネット ワークを用い，単語分割の確率そのものをタスクとモデルに対して最適化するという点において， この手法を拡張したものであると捉えることができる。

## 6 おわりに

本稿では，後段タスクに対して単語分割を最適化する手法であるOpTokを提案した．OpTokを 後段モデルに接続し, 一般的な後段タスクの学習と同様にパラメータを更新することで, 後段タス クを解く上で有用な単語分割が学習される。実験結果より，提案手法は後段タスクに応じて適切な 単語分割を獲得し, 複数の言語における文書分類において性能の向上に起用することが確認された. また，提案手法の分析を通して，OpTokを用いることで後段タスクを学習するための損失関数のみ を用いて単語分割の最適化を行うことができ，これが性能の向上をもたらすことを示した。 さらに 英語のデータセットでは OpTok に BERT を組み込むことによる性能の向上を確認し，大規模コー パスで事前学習された言語モデルを用いた自然言語処理についても，提案手法が適用可能であるこ とを示した。

提案手法は文べクトルを使用する様々な自然言語処理に適用することができるが，系列ラベリン グや生成を伴うタスクに使用することは難しい，今後の研究では，単語の生成を伴うタスクに対し ても提案手法を適用できるように拡張を施し，機械翻訳タスクや文書要約タスクでの実験と分析を 行う。

## 謝 辞

本研究成果は, 国立研究開発法人情報通信研究機構 (NICT) の委託研究により得られたもので す.また本論文の内容の一部は Findings of ACL: EMNLP 2020 に採択されたものです (Hiraoka et al. 2020).

## 参考文献

A, P. and Augenstein, I. (2020). "2kenize: Tying Subword Sequences for Chinese Script Conversion." arXiv preprint arXiv:2005.03375.

Bollegala, D., Kiryo, R., Tsujino, K., and Yukawa, H. (2020). "Language-Independent Tokenisation Rivals Language-Specific Tokenisation for Word Similarity Prediction." arXiv preprint arXiv:2002.11004.

Bowman, S., Angeli, G., Potts, C., and Manning, C. D. (2015). "A Large Annotated Corpus for Learning Natural Language Inference." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642.

Chan, W., Zhang, Y., Le, Q., and Jaitly, N. (2016). "Latent Sequence Decompositions." arXiv preprint arXiv:1610.03035.

Chen, X., Shi, Z., Qiu, X., and Huang, X. (2017). "DAG-based Long Short-Term Memory for Neural Word Segmentation." arXiv preprint arXiv:1707.00248.

Chung, T. and Gildea, D. (2009). "Unsupervised Tokenization for Machine Translation." In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing: Volume 2-Volume 2, pp. 718-726. Association for Computational Linguistics.

Church, K. and Hanks, P. (1990). "Word Association Norms, Mutual Information, and Lexicography." Computational linguistics, 16 (1), pp. 22-29.

Deligne, S. and Bimbot, F. (1995). "Language Modeling by Variable Length Sequences: Theoretical Formulation and Evaluation of Multigrams." In 1995 International Conference on Acoustics, Speech, and Signal Processing, Vol. 1, pp. 169-172. IEEE.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2018). "Bert: Pre-training of Deep Bidirectional Transformers for Language Understanding." arXiv preprint arXiv:1810.04805.

Goldwater, S., Griffiths, T. L., and Johnson, M. (2006). "Contextual Dependencies in Unsupervised Word Segmentation." In Proceedings of the 21st International Conference on Computational Linguistics and the 44th annual meeting of the Association for Computational Linguistics, pp. 673-680. Association for Computational Linguistics.

Grave, E., Joulin, A., and Usunier, N. (2016). "Improving Neural Language Models with a Continuous Cache." arXiv preprint arXiv:1612.04426.

He, H. and Sun, X. (2017). "F-Score Driven Max Margin Neural Network for Named Entity Recognition in Chinese Social Media." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 713-718.

He, X., Haffari, G., and Norouzi, M. (2020). "Dynamic Programming Encoding for Subword Segmentation in Neural Machine Translation." arXiv preprint arXiv:2005.06606.

Hiraoka, T., Shindo, H., and Matsumoto, Y. (2019). "Stochastic Tokenization with a Language Model for Neural Text Classification." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1620-1629.

Hiraoka, T., Takase, S., Uchiumi, K., Keyaki, A., and Okazaki, N. (2020). "Optimizing Word Segmentation for Downstream Task." In Findings of the Association for Computational Lin-
guistics: EMNLP 2020, pp. 1341-1351, Online. Association for Computational Linguistics. Hochreiter, S. and Schmidhuber, J. (1997). "Long Short-term Memory." Neural Computation, 9 (8), pp. 1735-1780.

Jang, E., Gu, S., and Poole, B. (2016). "Categorical Reparameterization with Gumbel-softmax." arXiv preprint arXiv:1611.01144.

Kawakami, K., Dyer, C., and Blunsom, P. (2017). "Learning to Create and Reuse Words in OpenVocabulary Neural Language Modeling." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), Vol. 1, pp. 1492-1502.

Kingma, D. P. and Ba, J. (2014). "Adam: A Method for Stochastic Optimization." arXiv preprint arXiv:1412.6980.

工藤拓 (2005). 形態素周辺確率を用いた分かち書きの一般化とその応用. 言語処理学会全国大会論文集 NLP-2005. [T. Kudo (2005). Keitaiso Shuhen Kakuritsu o Mochiita Wakachi-Gaki no Ippan-ka to Sono Ouyou. Proceedings of the 11th Annual Meeting of the Association for Natural Language Processing].

Kudo, T. (2006). "MeCab: Yet Another Part-of-Speech and Morphological Analyzer." http: //taku910.github.io/mecab/.

Kudo, T. (2018). "Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75.

Kudo, T. and Richardson, J. (2018). "SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71.

Kudo, T., Yamamoto, K., and Matsumoto, Y. (2004). "Applying Conditional Random Fields to Japanese Morphological Analysis." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain. Association for Computational Linguistics.

Lafferty, J. D., McCallum, A., and Pereira, F. C. (2001). "Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data." In ICML.

Li, X., Yan, H., Qiu, X., and Huang, X. (2020a). "FLAT: Chinese NER Using Flat-Lattice Transformer." arXiv preprint arXiv:2004.11795.

Li, X., Sun, X., Meng, Y., Liang, J., Wu, F., and Li, J. (2020b). "Dice Loss for Data-imbalanced NLP Tasks." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 465-476, Online. Association for Computational Linguistics.

Liang, P. and Klein, D. (2009). "Online EM for Unsupervised Models." In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 611-619.

Loshchilov, I. and Hutter, F. (2017). "Decoupled Weight Decay Regularization." arXiv preprint arXiv:1711.05101.

Mermer, C., Saraclar, M., and Sarikaya, R. (2013). "Improving Statistical Machine Translation using Bayesian Word Alignment and Gibbs Sampling." IEEE Transactions on Audio, Speech, and Language Processing, 21 (5), pp. 1090-1101.

Mochihashi, D., Yamada, T., and Ueda, N. (2009). "Bayesian Unsupervised Word Segmentation with Nested Pitman-Yor Language Modeling." In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP: Volume 1-Volume 1, pp. 100-108. Association for Computational Linguistics.

Nagata, M. (1994). "A Stochastic Japanese Morphological Analyzer using a Forward-DP Backward-A* N-best Search Algorithm." In Proceedings of the 15th conference on Computational linguistics-Volume 1, pp. 201-207. Association for Computational Linguistics.

Nguyen, T., Vogel, S., and Smith, N. A. (2010). "Nonparametric Word Segmentation for Machine Translation." In Proceedings of the 23rd International Conference on Computational Linguistics, pp. 815-823. Association for Computational Linguistics.

Peng, N. and Dredze, M. (2015). "Named Entity Recognition for Chinese Social Media with Jointly Trained Embeddings." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 548-554.

Peng, N. and Dredze, M. (2016). "Improving Named Entity Recognition for Chinese Social Media with Word Segmentation Representation Learning." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 149-155.

Provilkov, I., Emelianenko, D., and Voita, E. (2019). "BPE-Dropout: Simple and Effective Subword Regularization." arXiv preprint arXiv:1910.13267.

Rakuten, Inc. (2014). "Rakuten Dataset." Informatics Research Data Repository, National Institute of informatics. (dataset). https://doi.org/10.32130/idr.2.0.

Sebastiani, F. (2002). "Machine Learning in Automated Text Categorization." ACM computing surveys (CSUR), 34 (1), pp. 1-47.

Sennrich, R., Haddow, B., and Birch, A. (2016). "Neural Machine Translation of Rare Words with Subword Units." In Proceedings of the 54th Annual Meeting of the Association for

Computational Linguistics (Volume 1: Long Papers), Vol. 1, pp. P1715-1725.

Tran, K. M., Bisk, Y., Vaswani, A., Marcu, D., and Knight, K. (2016). "Unsupervised Neural Hidden Markov Models." In Proceedings of the Workshop on Structured Prediction for NLP, pp. 63-71.

Viterbi, A. (1967). "Error Bounds for Convolutional Codes and an Asymptotically Optimum Decoding Algorithm." IEEE transactions on Information Theory, 13 (2), pp. 260-269.

Xiao, F., Li, J., Zhao, H., Wang, R., and Chen, K. (2019). "Lattice-based Transformer Encoder for Neural Machine Translation." arXiv preprint arXiv:1906.01282.

Xu, J., Gao, J., Toutanova, K., and Ney, H. (2008). "Bayesian Semi-supervised Chinese Word Segmentation for Statistical Machine Translation." In Proceedings of the 22nd International Conference on Computational Linguistics-Volume 1, pp. 1017-1024. Association for Computational Linguistics.

Xu, Y., Jones, G. J., Li, J., Wang, B., and Sun, C. (2007). "A Study on Mutual Informationbased Feature Selection for Text Categorization." Journal of Computational Information Systems, 3 (3), pp. 1007-1012.

Yang, J., Zhang, Y., and Dong, F. (2017). "Neural Word Segmentation with Rich Pretraining." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 839-849.

Yang, J., Zhang, Y., and Liang, S. (2018). "Subword Encoding in Lattice LSTM for Chinese Word Segmentation." arXiv preprint arXiv:1810.12594.

Zhang, Y., Zhang, M., Zhang, Y., Lai, G., Liu, Y., Zhang, H., and Ma, S. (2015). "Daily-aware Personalized Recommendation Based on Feature-level Time Series Analysis." In Proceedings of the 24th International Conference on World Wide Web, pp. 1373-1383.

Zhang, Y. and Yang, J. (2018). "Chinese NER Using Lattice LSTM." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1554-1564.

## 略歴

平岡達也：2017 年早稲田大学教育学部卒業. 2019 年奈良先端科学技術大学院大学情報科学研究科卒業, 修士 (工学). 同年 4 月より東京工業大学情報理工学院博士後期課程に在学中. 言語処理学会, ACL 各会員.

高瀬翔：2012 年東北大学工学部卒業. 2014 年東北大学大学院情報科学研究科博士前期課程修了. 2017 年東北大学大学院情報科学研究科博士後期課程修了.博士 (情報科学)。NTTコミュニケーション科学基礎研究所でのリサーチアソ

シエイト, 東京工業大学での研究員を経て, 2020 年 4 月より東京工業大学助教.自然言語処理の研究に従事. 言語処理学会, ACL 各会員.

内海慶：2006 年筑波大学大学院図書館情報学メディア研究科博士前期課程修了. 修士 (情報学). 同年 2013 年ヤフー株式会社にて自然言語処理の研究開発 に従事. 2013 年株式会社デンソーアイティーラボラトリ入社. 2021 年現在, 同社在職中. 自然言語処理の研究に従事. 言語処理学会会員

欅惇志: 株式会社デンソーアイティーラボラトリアソシエイトリサーチャ. 博士 (工学). 2014 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．2012 2014 年日本学術振興会特別研究員 (DC2). 2013 年マイクロソフ ト・リサーチアジアリサーチインターン． 2014～2019 年東京工業大学情報理工学院助教. 2016 2017 年シンガポール国立大学客員研究員. ACM, 電子情報通信学会, 日本データベース学会, 言語処理学会, 人工知能学会各会員.

岡崎 直観: 2007 年東京大学大学院情報理工学系研究科博士課程修了. 東京大学大学院情報理工学系研究科 - 特任研究員, 東北大学大学院情報科学研究科准教授 を経て, 2017 年 8 月より東京工業大学情報理工学院教授. 言語処理学会, 人工知能学会, 情報処理学会, ACL 各会員.


# 会話文における暗黙的引用を利用した抽出型教師なし要約

狩野 竜示 $\dagger,+\dagger$ ・谷口 友紀 $\dagger \cdot$ 大熊 智子†
}

本研究では，返信を伴う会話形式のテキストを対象とした，教師なし抽出型ニュー ラル要約モデル Implicit Quote Extractor (IQE) を提案する. 引用は投稿やメール に返信する際，言及している箇所を強調するために使われる。高頻度に引用される 箇所は重要であるとの仮説の元, 我々は引用を要約として抽出するモデルを提案す る.ほとんどの返信は明示的な引用を含まない。そのため, 引用を直接要約モデル の教師データとして使うことは難しい. しかしながら, 明示されていなかったとし ても，返信は返信元の文章のある箇所に必ず言及している。返信が投稿のどの箇所 に言及しているかは, 返信内容から推測できるため, 明示的な引用を用いずに，返信のみから本来引用されるべき箇所を推定することが可能である。この箇所を暗黙的引用 (Implicit quote) と呼ぶ. 提案モデルである IQE は, 返信を用いて暗黙的引用を推定する機構を備える。IQEの学習タスクは，あるテキスト（返信候補）が，あ る投稿に対する実際の返信になっているかを判定することである．IQE は，数文を 投稿から抽出し, それを返信候補の真偽判定の特徴量とする. IQE は返信候補の真偽判定の性能を向上させるように文抽出のパラメータを学習するため, 返信が言及 しやすい文を要約として抽出するようになる，我々は本モデルを 2 つのメールデー タセットと 1 つのソーシャルメディアデータセットで評価し, 本モデルが要約タス クに有用であることを示す. 更に，提案モデルが引用を抽出できる点，また，提案 モデルが従来モデルが抽出できない重要文を抽出可能であるという点を実験によっ て検証し，それを支持する結果を得た。

キーワード：要約, 教師なし学習, 抽出型, 引用, 会話文, メール, ソーシャルメディア
## Identifying Implicit Quotes for Unsupervised Extractive Summarization for Conversational Texts

\author{
Ryuji Kano ${ }^{\dagger, \dagger \dagger}$, Tomoki Taniguchi ${ }^{\dagger}$ and Tomoko Ohкuma ${ }^{\dagger}$
}

\begin{abstract}
We propose Implicit Quote Extractor, an end-to-end unsupervised extractive neural summarization model for conversational texts. When we reply to posts, quotes are used to highlight important parts of texts. We aim to extract quoted sentences as summaries. Most replies do not include quotes, so it is difficult to use quotes as supervision. However, even if it is not explicitly shown, replies always refer to certain parts of texts, and those parts can be presumed from the content of a reply. Those parts we call implicit quotes. Using replies, Implicit Quote Extractor aims to extract
\end{abstract}

implicit quotes as summaries. The training task of the model is to predict whether a reply candidate is a true reply to a post. As a feature for prediction, the model has to choose a few sentences from the post. To predict accurately, the model adjusts the parameters to extract sentences that replies frequently refer to. We evaluate our model on two email datasets and one social media dataset, and confirm that our model is useful for extractive summarization. We further discuss two topics; one is whether quote extraction is an important factor for summarization, and the other is whether our model can capture salient sentences that conventional methods cannot.

Key Words: Summarization, Unsupervised, Extractive, Quote, Conversation, Email, Social Media

## 1 はじめに

インターネット上の会話が活発化するにつれ，会話文の自動要約技術の必要性は益々増して いる. ニューラルネットワークを使用したモデルは教師あり要約において, 高い性能を発揮し ているが，教師なし要約への応用は未だ限定的である，教師あり要約モデルの学習には，数万 の要約-本文対が必要になる。 あらゆるドメインにおいてこれらの対データを用意することは現実的ではないため，教師なし要約の手法が求められている．我々は返信を伴う会話形式のテキ ストを対象とした教師なし要約手法を提案する.

過去, 多くの教師なし要約手法が提案されてきた. 文の類似度グラフの Centrality を使用した 手法は強力な教師なし要約手法であり (Mihalcea and Tarau 2004; Erkan and Radev 2004; Zheng and Lapata 2019), 会話文の要約にも応用されている (Mehdad et al. 2014; Shang et al. 2018). Centrality の他にも, 文の特徴量ベクトルの Centroid (Gholipour Ghalandari 2017), KullbackLeibler divergence (Haghighi and Vanderwende 2009), Reconstruction Loss (He et al. 2012; Liu et al. 2015; Ma et al. 2016), 単語をノードとした有向グラフの経路スコア計算 (Mehdad et al. 2014; Shang et al. 2018)などが，要約に使われている，上記全ての手法の前提にあるのは，重要なトピックは文書中に高頻度に言及されるという点である。しかし, 重要なトピックは必ず しも高頻度に言及されるわけではない。そのため，もし重要なトピックの言及回数が少ない場合，上記手法は重要文の抽出に失敗する。より高精度の要約を実現するためには，“頻度”とは 異なる文書の側面に着目する必要がある。

頻度とは異なる文書の重要度の指標として, 我々は “引用のされやすさ”に着目する。我々は, メールや投稿文に返信する際，投稿の一部分を引用することがある．具体例を図 1 に示す．右側 の返信の例にあるように。引用文は，引用符“>”から始まり，返信先の投稿文中の文・フレー ズと一致する箇所を指す。高頻度に引用される箇所は重要であると考えられるため，引用され る箇所を予測できれば，本文中で言及される頻度に関わらず，重要な情報を含む文を抽出できる

図 1 投稿と引用付きの返信と引用無しの返信の例。暗黙的引用は，返信が言及している投稿の一部であ るが，返信には明示的に示されていないものを指す.

と考えられる. 過去の研究に, 引用を要約モデルに補助的に利用したものがある. Carenini は,引用文に現れる単語に重み付けをし, Centroid ベースの要約手法の精度を向上させた (Carenini et al. 2007; Oya and Carenini 2014). ただし, ほとんどの返信は明示的な引用を含まない. そ のため，引用を直接教師データとして扱うことは難しい，我々は，引用文を教師として使用せ ずに引用箇所を抽出できるモデル，Implicit Quote Extractor（IQE：暗黙的引用抽出器）を提案 する。図 1 に示す例のように，引用文は返信が言及している投稿の箇所であるため，明示的な 引用が無い場合にも，返信内容から本来引用されるべき箇所を間接的に特定できる。これを暗黙的引用と呼称する.

IQE は，返信によって言及される箇所を特定することにより, 明示的な引用なしに，引用箇所を抽出することを目指す．IQE は投稿と返信候補のみを学習に使用し，明示的な引用を使用 しない，返信候補は，投稿に対する実際の返信，あるいはランダムにサンプリングされた返信 である，学習タスクは，返信候補が実際の返信であるかどうかを判定することである．IQE は，投稿から少数の文を抽出し，これを真偽判定の特徴量に使う．IQE は返信候補の真偽判定の性能を向上させるように文抽出のパラメータを学習するので，返信が言及しやすい文を要約とし て抽出するようになる。要約は本文のみから作成する必要があり, 返信に依存してはならない. そのため, IQE は抽出文の選択に，返信の特徴量を使わない。すなわち, IQE は学習時にのみ 返信を必要とし，評価時には必要としない，IQEが抽出するのは返信に依存した引用箇所では 無く，返信によって最も引用されやすい箇所となる.

IQE を 2 つのメールデータセット, Enron 要約データセット (Loza et al. 2014)の業務メール と私用メールで評価し, また, ソーシャルメディアのデータセットとして, Reddit TIFUデータ セット (Kim et al. 2019) でも評価を行い, 多くのべースラインの性能を上回ることを確認した.提案したモデルは 2 つの仮説に基づいている．1つは提案モデルが引用を抽出できるという
点である．IQE は引用抽出を目的としているが，引用を教師として使用していないため，実際 に引用される文を抽出できるかは明らかでない，そのため，我々は，提案モデルがどの程度引用を抽出できるか評価する。もう 1 つ仮説は，引用は要約として有用であるという点である.先行研究 (Carenini et al. 2007; Oya and Carenini 2014) は引用文を利用して, Centroid 要約モ デルの性能を向上させ，引用が要約に有効であることを示した．しかしながら，これらの先行研究は引用を補助的な特徵量として使用しているため, 引用それ自体が要約になりうるかは明 らかでない。これを検証するため，我々は引用を要約とみなし，そのROUGE 值を評価するこ とで，引用が要約として有用であるかを評価する。

引用が多数存在する Reddit データセットで，上記 2 点の仮説を検証し，仮説を裏付ける結果 を得た。また, 定量的, 定性的 2 つの観点で, 頻度べースの既存手法が抽出できない重要文を 提案モデルが抽出できることを示した.

本研究の貢献は以下の 3 つである.
- 言及頻度に依存した従来の教師なし抽出型要約手法の問題点を指摘し，新たな文書の重要度の指標として“返信による引用のされやすさ”を提案，実験により有効性を示した。
- End-to-end で学習可能な教師なし抽出型要約モデル, Implicit Quote Extractor (IQE) を 提案し, ベースラインと同等の性能を示すことを 2 つのメールデータセットと 1 つのソー シャルメディアデータセットを対象にした評価実験によって示した.

・ 引用を実際に含むソーシャルメディアデータセットを使い，提案モデルが引用を抽出し やすいこと，また，引用が要約に有用であることを示した.

## 2 関連研究

要約手法は 2 つの方法に大別される。抽出型要約 (Extractive Summarization) と生成型要約 (Abstractive Summarization)である。これまで提案されてきたほとんどの教師なし要約手法は 抽出型である．教師あり要約においては，ニューラルネットワークを使用した手法が多く提案 され発展を遂げているが，教師なし抽出型要約においては古典的手法が現在でも強力である.

文の類似度グラフの Centrality (Mihalcea and Tarau 2004; Erkan and Radev 2004; Zheng and Lapata 2019), Bag-of-words などの文の特徴量ベクトルの Centroid (Gholipour Ghalandari 2017) を利用した手法は教師なし抽出型要約における主要な手法とされてきた。その他にも，抽出文 の特徴量ベクトル（単語の頻度ベクトルや Paragraph Vector などを使用）から本文の特徴量 ベクトルを復元する Reconstruction Loss (He et al. 2012; Liu et al. 2015; Ma et al. 2016)を用 いたものや，抽出文と文全体の Unigram 単語分布の Kullback-Leibler divergence (Haghighi and Vanderwende 2009)を利用した手法がある。単語をノードとしたグラフの経路スコア計算を用 いた手法 (Mehdad et al. 2014; Shang et al. 2018) は, 複数文圧縮アルゴリズム (Filippova 2010)

## に依拠している.

ニューラルネットワークを利用した教師なし抽出型要約手法もいくつか存在する． Skipgram から得られた単語べクトルの和を文ベクトルとして, サブモジュラ最適化を行う手法 (Kågebäck et al. 2014) や，Paragraph Vectorを用いて計算された抽出文と全文の特徴量の誤差を最小化する 手法 (Ma et al. 2016), CNN 言語モデルや BERT の特徴量を TextRank に適用する手法 (Yin and Pei 2015; Zheng and Lapata 2019) が提案されている. これらは事前学習されたニューラルネッ トワークを特徴量抽出器として用いて, 既存の要約モデルに適用しているが, 我々は end-to-end での学習が可能なフレームワークを提示する。

End-to-end で学習可能なニューラルネットワークベースの要約モデルは, 生成型のモデルが いくつか提案されている。文圧縮においては，シャッフルされた単語を元の順番に並び替える タスクを使用したもの (Fevry and Phang 2018)，圧縮された文から元の文を復元するタスクを 使用したもの (Baziotis et al. 2019) がある. レビュー文の生成型要約として, 木構造の親ノー ドから要約生成を行うもの (Isonuma et al. 2019), レビュー文の特徴量ベクトルの平均ベクトル から要約を生成する手法 (Chu and Liu 2019), VAE (Variational Auto-Encoder) の事前分布を 要約生成に応用したもの (Amplayo and Lapata 2020) がある。他に，マスクされた文を復元す るタスクを要約生成に応用した研究がある (Laban et al. 2020).

メール，チャット，ソーシャルメディアなどのオンライン会話の要約は古くから研究されて いる. ニューラルネットワークを利用した要約モデルが台頭している一方, 会話文の要約には 非ニューラルモデルが使われている．既存手法として，単語をノードとしたグラフの経路スコ ア計算を利用したもの (Mehdad et al. 2014; Shang et al. 2018)がある. Dialogue Act 分類は,文をその役割（例：質問，回答，挨拶など）ごとに分類するタスクであるが，会話文の要約研究にも応用されている (Bhatia et al. 2014; Oya and Carenini 2014).

引用は要約の重要な要素になりうる。我々は返信する際, 重要な箇所を強調するため, 引用 を利用する. 引用を特徴量として活用した研究として, 引用に出現した単語に重み付けをして, Centroid ベースの手法を改善したものがある (Carenini et al. 2007; Oya and Carenini 2014). こ の先行研究では, 引用を補助的な特徴量として使用したが，本研究では，引用のみに着目する. また，本研究では明示的な引用を教師信号として使わずに，暗黙的引用を抽出する.

## 3 提案モデル

本研究では, 教師なし抽出型要約モデルである Implicit Quote Extractor (IQE) を提案する.図 2 にモデルの概要を示す。学習時のモデルの入力は投稿と返信候補である。返信候補は，投稿に対する真，あるいは偽の返信である，IQEの学習タスクは返信候補が真であるか偽である かを判定することである.

図 2 提案モデル, Implicit Quote Extractor (IQE)の概要図. Extractor は, 投稿の文をいくつか抽出し,返信候補が投稿に対する真の返信であるかの予測に利用する． $k$ と $j$ はから $\mathrm{N}$ の整数である.

IQE は 3 つの構成要素から成る. Encoder, Extractor, Predictorである. Encoder は, 投稿文の特徵量を計算する。 Extractor は少数の文を投稿から抽出する。この抽出文はテスト時には 要約として使用される. Predictor は Extractor が抽出した投稿の文を用いて, 返信候補の真偽 を判定する。各構成要素の詳細を以下に説明する。

Encoder Encoder は投稿の特徴量を計算する。まず，投稿を $N$ 個の文 $\left.\{s_{1}^{p}, s_{2}^{p}, \ldots, s_{N}^{p}\right.\}$ に分割 する. 各文 $s_{i}^{p}(i \in\{1, \ldots, N\})$ は $K_{i}$ 個の単語 $W_{i}^{p}=\left.\{w_{i 1}^{p}, w_{i 2}^{p}, \ldots, w_{i K_{i}}^{p}\right.\}$ を含む. 単語は単語埋 め达み層を通じて, 連続空間のベクトル $X_{i}^{p}=\left.\{\boldsymbol{x}_{i 1}^{p}, \boldsymbol{x}_{i 2}^{p}, \ldots, \boldsymbol{x}_{i K_{i}}^{p}\right.\}$ に埋め达まれる. 各文の特徴量 $\boldsymbol{h}_{i}^{p}$ は各埋め込み単語ベクトルを双方向 Long Short-Term Memory (BiLSTM) に入力し, 最初と最後の隠れ層を結合することで得る。

$
\boldsymbol{h}_{i}^{p}=\operatorname{BiLSTM}\left(X_{i}^{p}\right)
$

Extractor Extractor は Attention 機構を用いて返信候補の真偽判定に利用する少数の文を投稿から抽出する。IQEが正確な判定を行うようパラメータを学習する過程で, Extractor は返信 が言及しやすい文を抽出するように学習する。これは, 返信に言及されない文は返信候補の真偽判定に有用では無いからである。 Extractor は抽出文の選択に返信の特徵量を使わないことに 注意されたい．これは，要約の抽出処理を返信に依存させないようにするためである．IQE は 学習時にのみ返信を必要とし, 評価時には返信なしで要約を抽出することができる.

我々は Extractor における特徴量計算器としてLSTM を使用する. Extractorの隠れ層の初期値 $\boldsymbol{h}_{0}^{\text {ext }}$ として, Encoderの隠れ層 $\boldsymbol{h}_{i}^{p}$ の平均値を使用する. Extractor の隠れ層 $\boldsymbol{h}_{t}^{\text {ext }}$ は入力べ

クトル $\boldsymbol{x}_{t-1}^{e x t}$ を逐次的に入力することで更新される. この逐次的な更新は, 抽出したい文の数 $L$回分行われる.

$
\boldsymbol{h}_{t}^{e x t}= \begin{cases}\frac{1}{N} \sum_{i=1}^{N} \boldsymbol{h}_{i}^{p} & (t=0) \\ \operatorname{LSTM}\left(\boldsymbol{x}_{t-1}^{e x t}\right) & (1 \leq t \leq L)\end{cases}
$

Extractorの LSTMへの入力ベクトル $\boldsymbol{x}_{t}^{e x t}(0 \leq t \leq L)$ は, 以下のように計算される.

$
\boldsymbol{x}_{t}^{e x t}= \begin{cases}\boldsymbol{p} & (t=0) \\ \sum_{i=1}^{N} \alpha_{t i} \boldsymbol{h}_{i}^{p} & (1 \leq t \leq L)\end{cases}
$

$t=0$ の時, $\boldsymbol{x}_{t}^{e x t}$ はパラメータベクトル $\boldsymbol{p}$ であるが, $t>0$ の時, Encoder で計算された投稿文 の特徵量べクトル $\boldsymbol{h}_{i}^{p}$ の線形和である。この線形和は, Attention 機構によって計算される。図 2 に示すように Extractor は LSTM と Attention 機構を用いて逐次的に文を抽出する。図の $\boldsymbol{h}_{k}^{p}$ および， $\boldsymbol{h}_{j}^{p}$ は抽出された投稿の文を示し， $k$, および $j$ は， 1 から $\mathrm{N}$ の整数である. Attention 機構を用いて抽出する投稿文を一意に決定するには, Attention の重みベクトルを one-hot にす る必要がある。このため, 学習時には Gumbel Softmax (Jang et al. 2017)を使用する. one-hot 化された Attentionの重み $\boldsymbol{\alpha}_{t}=\left.\{\alpha_{t i}\right.\}$ は，以下の式によって計算される。ここで， $t$ は 1 から $L$ までの整数である.

$
\begin{gathered}
u_{i} \sim \operatorname{Uniform}(0,1) \\
g_{i}=-\log \left(-\log u_{i}\right) \\
a_{t i}=\boldsymbol{c}^{T} \tanh \left(\boldsymbol{h}_{t}^{e x t}+\boldsymbol{h}_{i}^{p}\right) \\
\pi_{t i}=\frac{\exp a_{t i}}{\sum_{k=1}^{N} \exp a_{t k}} \\
\alpha_{t i}=\frac{\exp \left(\log \pi_{t i}+g_{i}\right) / \tau}{\sum_{k=1}^{N} \exp \left(\log \pi_{t k}+g_{k}\right) / \tau}
\end{gathered}
$

式 (4)(5)のように, Gumbel ノイズ $\boldsymbol{g}=\left.\{g_{i}\right.\}$ を, 一様分布からサンプリングされたノイズ $\boldsymbol{u}=\left.\{u_{i}\right.\}$ を用いて生成する. 次に式 (6)のように，重み $a_{t i}$ を, Extractor の隠れ層 $\boldsymbol{h}_{t}^{e x t}$ と Encoder が計算した各投稿文の特徴量ベクトル $\boldsymbol{h}_{i}^{p}$ から計算する. 重みベクトル $\boldsymbol{a}_{t}=\left.\{a_{t i}\right.\}$ は,式 (7)(8)を通じて, one-hot に近い重みべクトル $\boldsymbol{\alpha}_{t}=\left.\{\alpha_{t i}\right.\}$ に変換される. $\boldsymbol{c}$ はパラメータベク トルであり, 温度定数 $\tau$ は 0.1 に固定した。

Predictor 抽出された投稿の文と返信候補の特徴量を使い, Predictor は返信候補が実際の返信であるかどうかを判定する。実際の投稿に正のラベル，ランダムにサンプリングされた返信候補に負のラベルを付与した。返信候補 $R=\left.\{s_{1}^{r}, s_{2}^{r}, \ldots, s_{M}^{r}\right.\}$ は $M$ 個の文から成ると仮定する. これらの文の特徵量べクトル $\boldsymbol{h}_{j}^{r}(j \in\{1, \ldots, M\})$ は, 数式 (1) と同様に計算される.
投稿と返信候補の関係の計算に, Decomposable Attention (Parikh et al. 2016)を使用する. Decomposable Attention は，2つのテキストを文ごとに分解し，テキスト間の関係性予測に使用するモデルである. IQE も同様に，投稿を文単位に分割して 2 つの文集合の関係性を計算す るため，同様の機構を持つモデルとして，Decomposable Attention を採用した，抽出された文 のベクトル $\boldsymbol{x}_{t}^{e x t}$, および返信の文のベクトル $\boldsymbol{h}_{j}^{r}$ を Decomposable Attention に入力し, 得られ た出力をシグモイド関数に入力することで, 二值分類の確率值 $y$ を得る.

$
y=\operatorname{sigmoid}\left(\text { Decomposable Attention }\left(\boldsymbol{x}_{1}^{e x t}, \ldots, \boldsymbol{x}_{L}^{e x t}, \boldsymbol{h}_{1}^{r}, \ldots, \boldsymbol{h}_{M}^{r}\right)\right)
$

この分類タスクの損失関数 $\mathcal{L}_{r e p}$ は，以下のように Cross Entropyを用いて計算される。 $t_{r e p}$ は返信候補が実際の返信である時 1 であり，そうでない時には 0 である.

$
\mathcal{L}_{r e p}=-t_{r e p} \log y-\left(1-t_{r e p}\right) \log (1-y)
$

## 4 実験

我々は， 2 種類のデータセットで学習と評価を行う．1つはメールデータであり，もう 1 つは ソーシャルメディア Reddit のデータセットである.

## 4.1 メールデータセット

我々は Avocado collection ${ }^{1}$ を学習に使用する. Avocado collection は倒産した IT 企業から得 た 279 のアカウントの公開メールデータセットである。このデータセットから, 投稿と返信の 対を収集し，モデルの学習データを作った。

投稿と返信の対の内，単語数が 50 語以下の投稿，あるいは 25 語以下の返信を含む対を除去し た.この前処理の後， 56,174 の対を得た。ランダムサンプリングにより，誤った投稿と返信の 対を取得する．実際の投稿と返信の対に正のラベル，誤った投稿と返信の対に負のラベルを付与した. 正のラベル, 負のラベルの数は同数である。 すなわち, 合計して, 112,348 の対を得た.

評価のため, Enron 要約データセットを使用する (Loza et al. 2014). このデータセットは 2 つ の評価データセットから成る. ECS (Enron Corporate Single) と EPS (Enron Personal Single) である．ECS は業務用メールのデータセットであり，EPS は私用メールのデータセットである.各メールの要約は 2 名のアノテーターによって，2つずつ作成されている。表 1 に，これらの データセットの概要を示す。これらのデータセットは開発データセットを含まないため, ECS の開発データセットをEPS, EPS の開発データセットをECS とした。開発データセットは, 評価に使うモデルの決定に使用する.

} & \multicolumn{3}{|c|}{ 要約 } & \multicolumn{3}{|c|}{ 本文 } \\

表 1 評価データセットの概要.

## 4.2 Reddit TIFU データセット

Reddit TIFUデータセット (Kim et al. 2019) は, tldr タグを要約タスクに応用したデータセッ トである. tldr は "too long didnt read” の略である. Redditの TIFU と呼ばれるオンライン掲示板では，本文が長すぎる時に要約を tldr として記す慣習がある。我々はメールデータセット と同様の前処理を TIFUデータセットに対しても行う.

既存研究 (Kim et al. 2019) で公開された TIFU データセットには返信データが付いていない ため，我々は $\operatorname{praw}^{2}$ を用いてこれを収集した．結果，183,500の投稿と返信の対を得た．ランダ ムサンプリングにより, 負のラベルの付いた対を同数得て, 学習データとして合計 367,000 対 を得た．学習データに含まれていない投稿と tldrの対の内, tldrの単語長が 20 以上のものを 2,500 対得て，1,240を開発データセット，もう 1,260 を評価データセットとした． TIFU の評価 データセットの概要をメールデータセットと同じく表 1 に記す.

## 4.3 学習

単語埋め込み層と LSTM の隠れ層の次元はそれぞれ 100 とした。単語数は 30,000 とした. メールやソーシャルメディアの投稿と返信を文に分割した後に単語に分割した。分割には nltk の tokenizer ${ }^{3}$ を用いた。文数の上限を 30 文, 各文の単語数の上限を 200 語とした。学習の epoch 数を 10 とし，ミニバッチサイズは 64 , optimizer として Adam (Kingma and Ba 2015) を用い た. Adamのパラメータとして， $\alpha=0.001, \beta_{1}=0.9, \beta_{2}=0.999, e p s=1 e-8$ を用いた.

最初の数 epoch では Extractor を使用せずに，投稿の全ての文を返信候補の真偽判定に使用す る.これは Extractor と Predictor をそれぞれ効率的に学習するためである. Extractor はどの 文を抽出すべきかを学習するが，Predictor は投稿と返信候補の関係を学習する。そのため， 2 つの構成要素が別々のことを同時に学習しなければならない。一般に, 複数の構成要素を持つ モデルは, 各構成要素を事前学習しておいた方が高性能になる (Hashimoto et al. 2017). その ため, 最初の数 epoch では Predictor のみを学習し, Extractorを学習しない。この閥値は, 全

投稿文を返信候補の真偽判定に利用した時の分類精度 (F1-score) が収束する epoch 数から決定 する.

学習時には, Extractor が抽出する文数 $L$ を 1 から 4 にランダムに変化させた. 投稿あるい は返信候補のテキスト中に出現する固有表現（人物，場所，組織）を, Stanford Named Entity Recognizer (NER)4を用いてタグに置換した. これは，モデルがただ固有表現のみを抽出の判断材料に使うことを防ぐためである。単語埋め込み層のべクトルは Skipgram を用いて事前学習 したものを初期値とした。その際，学習には IQE 自体の学習データと同じデータを使用した.我々は同じ実験を 5 回繰り返し，平均値を結果として計算する。これは，学習パラメータの初期値や最適化の際の乱数の影響を小さくするためである.

## 4.4 評価

評価時には， Encoder と Extractorのみを使用し， Predictor を使用しない. IQE とべースラ イン要約モデルは 3 文を要約として抽出する。先行研究に倣い, 我々は ROUGE-1, ROUGE-2, ROUGE-L の F1 值のデー夕毎の平均値を評価に使用する (Lin 2004). 各モデルは 3 文を抽出 し, 評価に使用する. ROUGE の計算には ROUGE 2.0 (Ganesan 2015) を使用する. この時, stemming, 同義語処理, および stop word は使用していない. 開発データの評価指標として, ROUGE-1の F1 值を使用する.

## 4.5 ベースラインモデル

ベースラインモデルとして, TextRank (Mihalcea and Tarau 2004), LexRank (Erkan and Radev 2004), KL-Sum (Haghighi and Vanderwende 2009), PacSum (idf), PacSum (BERT) (Zheng and Lapata 2019), Lead, そして Random を使用する.

TextRank，および LexRank はグラフ Centrality ベースの手法で，教師なし要約において長 らく強力な手法として認められてきた。PacSum はTextRankを改良した手法である。これは， Centrality に加え, 文の順番を特徴量として利用する。PacSum は文の類似度グラフ計算に, 古典的な単語の共起度に idf を積算したものを用いることもできるが, BERT (Devlin et al. 2019) などのニューラルネットワークの分散表現を利用しても有効性を発揮する．本実験では，前者 のモデル PacSum (idf) と，後者のモデル PacSum (BERT) 両方で実験を行う． KL-Sum は抽出 された文と本文が同じ単語分布を持つように KL Divergence を用いて制約をかける手法である. Lead は最初の数文を抽出する手法であるが，ニュース記事要約において強力な手法とされて きた。加えて，ベースラインとして IQETextRankを使用する。これは文同士の類似度として， IQE の Encoder の文ベクトルの Cosine 類似度を使用した TextRankのモデルである。このモデ
^{4}$ https://nlp.stanford.edu/software/CRF-NER.shtml
}

ルで実験を行う理由は，我々の提案手法の性能が単にニューラルネットワーク由来でないこと を示すためである。

## 5 結果と考察

表 $2 ， 3 ， 4$ にそれぞれの評価データセットに対する結果を示す. 表中の†は，提案手法 IQE （固有表現置換有り）が有意に勝っている箇所，曰は，IQEが優位に劣っている箇所を示してい る。有意差検定には Paired Bootstrap Resampling (Koehn 2004)を使用した. 各モデルの出力

表 2 ECS データセットにおける結果．太字は最も良い結果を，下線は 2 番目に良い結果を示している.提案手法の $\pm$ は, 5 回実験した際の標準偏差を示す.†は提案手法 IQE が有意に勝っている箇所,曰は提案手法 IQE が優位に劣っている箇所を示す ( $\mathrm{p}<0.05$; Paired Bootstrap Resampling).

表 3 EPS データセットに打ける結果，太字は最も良い結果を，下線は 2 番目に良い結果を示している.提案手法の $\pm$ は, 5 回実験した際の標準偏差を示す.†は提案手法 IQE が有意に勝っている箇所,曰は提案手法 IQE が優位に劣っている箇所を示す ( $\mathrm{p}<0.05$; Paired Bootstrap Resampling).

表 4 TIFU tldr データセットにおける結果．太字は最も良い結果を，下線は 2 番目に良い結果を示して いる。提案手法の土は， 5 回実験した際の標準偏差を示す。†は提案手法 IQE が有意に勝っている 箇所，曰は提案手法 IQE が優位に劣っている箇所を示す ( $\mathrm{p}<0.05$; Paired Bootstrap Resampling).

の評価値を評価データの総数の半分に当たる回数分, 重複有りでランダムサンプリングし, 提案手法の性能が上回る確率を 1,000 試行行うことで計算する. 我々の提案手法 IQE はメールデー タセット (ECS, EPS) において, ROUGE-2-F の評価值が PacSum (BERT) に及ばなかったも のの，他の多くのベースラインモデルの性能を評価指標において上回った. Reddit TIFUデー タセットにおいては, IQE は TextRank 以外のベースラインモデルの性能を上回った.

ECS，およびEPS データセットにおいて，IQETextRankは性能面において，IQEを大きく下回った。これは, 提案手法の有効性が単にニューラルネットワーク由来のものでは無いことを 支持する．過去の研究 (Zheng and Lapata 2019) においても, TextRankのグラフの類似度計算 にニューラルネットワークの特徴量を利用したモデルは性能が低下することが報告されている.

提案手法は ECS データセットよりも EPS データセットにおいて, より大きくLexRank や TextRankを上回った. この理由は表 1 に記されたデータセットの概要から説明できる。各文中の平均単語数は EPS の方が少ない. LexRankやTextRankのようなべースラインモデルは単語の共起情報を利用した文類似度を文抽出に利用する。そのため, 文長が短ければ共起ネット ワークは疎になり，文間の関係性をうまく捉えられなくなり，性能が低下する。

Reddit TIFU データセットにおいて, LexRank や PacSum の ROUGE 值は低い結果となった. これは，idf や順序情報が Reddit TIFU データにおいて有効でないことを示唆している。また，提案手法は Reddit TIFU データセットにおいて，TextRankより低性能となった。考えられる 理由として, IQE の学習が Reddit データにおいて, メールデータより難しいということが挙げ られる。IQE の返信候補の真偽判定の精度 (F1-score) は, 5 回平均で, メールデータでは 0.803 であったが，Redditデータでは 0.741 であった。この理由には，それぞれのデータの投稿数の
長さと，返信の長さが関連している，IQEは，投稿から一部の文のみを，返信候補の真偽判定 に使用する。そのため，投稿が長ければ長いほど，返信が言及しやすい文を抽出する難易度が 増加する. 反対に，返信は長ければ長いほど判断材料が増えるため, 抽出した文が返信と関係 しているかの判断が容易になる。学習データにおけるメールデータの投稿の平均文数, 返信の 平均単語長はそれぞれ 7.7, 150.0であるが, Redditデー夕の投稿の文数, 返信の平均単語長は それぞれ，16.9，101.5であった。このことが Reddit データにおける学習の難しさを示してい る. 返信の長さに差が生じている理由は, Reddit は誰でも返信ができるという特性があり, そ れにより，メールと比べてユーザーが重要箇所に返信しなければならないという義務感を持ち にくいという点が考えられる。

## 5.1 引用抽出性能と要約性能との関係

提案モデルはメールデータセットにおいて高い性能を発揮したが，2つの疑問が残る．1つは,提案モデルは引用を直接教師データとはしておらず, そのため提案モデルが実際に引用箇所を 抽出しやすいのか不明確であるという点である。もう1つの疑問は, 引用と要約性能の関係に ついてである。我々は Carenini らの先行研究 (Carenini et al. 2007; Oya and Carenini 2014)に 従い, 引用が要約に有用だと仮定した. しかし, この先行研究では引用を補助的な特徴量とし て使用しているので, 引用自体が要約に有用なのか明らかでない.これら 2 の疑問を明らか にするために，2つの実験を行った.

4.1 章で使用した Enron データセット (Loza et al. 2014)には引用を含む返信がほとんど存在 しない，そのため，実験において我々は Reddit TIFU データセットと prawを通じて得た返信 を利用する。このデータセットは 4.2 章で説明したものであり，ここから引用を含む返信を抽出する。ここで，“>”という記号から始まり，かつ返信先の投稿に含まれている文を引用と定義する。合計して，1,969の投稿と引用を含む返信の対を得た，返信で引用される文を，要約モ デルがどの程度正確に投稿から抽出できるか, また, 引用が要約として有用でありうるかを, こ れらのデータを用いて評価する。比較には, 表 4 において, 最も良い結果を出した TextRankを 用いる。

提案モデルの引用抽出性能要約モデルの引用抽出能力を評価するため, 引用抽出を情報抽出 タスクとみなし, Precision $@ 3(\mathrm{prec} @ 3)$ で評価した. これは, 各要約モデルが抽出した 3 つの文 の中にどの程度引用文が含まれているかを示す. 表 5 に結果を示す. IQE は TextRank, そして Random より引用を抽出する性能が高いことを示している.

被引用箇所は要約になりうるか？ 引用が要約として有用であるかを検証するため, 我々は引用自体を要約とみなし，そのROUGE 値を計算した。我々は前項で説明した Reddit から得た引用データ 1,969 を引用の文数に応じて分類し，それぞれ ROUGE 值を計算した. また比較のた め, TextRank やランダムに同数の文を取得した場合 (Random) の ROUGE 值も計算した。表

6 に結果を示す. 引用文の文数が 1 文あるいは 2 文の時, 引用 (Quote) は, TextRank の性能を ROUGE-2-F，ROUGE-L-F において上回った。この結果は，引用が要約として有効であるとい う仮説を支持する。引用が 3 文である時，性能は著しく減少した。これは引用が基本的に連続 した文であるという制約があるのに対し，TextRankは文の順序を問わず，最適な文を自由に抽出できるからと考えられる。

## 5.2 Ablation Tests

固有表現置換の影響 固有表現の影響を調べるため，固有表現置換を行わない場合の結果を議論する，表 7 のメールデータにおける結果は，固有表現置換は性能向上に寄与することを示し ている。これは, 人名, 地名, 組織名は正しい返信を判定する際の大きなヒントになり得るか

表 5 各モデルの引用抽出性能.

表 6 引用を抽出要約とみなした時の ROUGE. 太字は最も良い結果を示している.

表 7 Ablation test の結果. 固有表現置換や事前学習を行わない場合の結果を示す.†は IQE が有意に 勝っている箇所を示す ( $\mathrm{p}<0.05$; Paired Bootstrap Resampling).

らと考えられる。例えば，投稿と返信が同じ人物の名前に言及していると，モデルは人物名を 含む文を単純に抽出するようになる。固有表現の置換は，固有表現ではなく意味的に返信に関連する文をモデルに抽出させることを促す.

しかしながら，表 7 が示すように，Reddit TIFU データセットでは固有表現置換はあまり性能に影響を与えなかった. Reddit は匿名掲示板であるため, 投稿は特定の人物名に言及しにく いと考えられる。そのため, 固有表現が投稿と返信候補の真偽判定の手がかりにはなりにくい.事前学習の影響 4.3 章で説明したように, 我々は Predictor を最初の数 epoch で事前学習した. これは Extractor と Predictor を別々に学習するためである。表 7 に Predictor の事前学習の影響の結果を示す。事前学習なしでは, 性能は低下した。これは各構成要素を別々に学習させる ことの重要性を示している.

## 5.3 既存手法との相違点

1 章で述べたように，ほとんどの既存の教師なし要約手法は重要なトピックが高頻度に言及さ れるという仮定に基づいている。TextRankはその好例である。TextRank は文の類似度グラフ の Centrality を重要文抽出に使用する。多くの場合 Centrality の指標として PageRank が使わ れる。すなわち，TextRankは PageRankの高い文を要約として抽出する。 ある文の PageRank が高いということは，その文が他の多くの文と類似度が高いことを意味している．これはその 文が言及する話題に他の文も言及していることを示す. 我々は, 重要なトピックは必ずしも頻繁に言及されるわけではないと考え, 言及頻度とは異なる性質に着目した. それは返信による 引用のされやすさ，である.

TextRank と比較し, 我々の提案手法が Centralityベースの手法では捉えきれない重要文を抽出できることを示す. 図 3 に最大 PageRank と各モデルが抽出する文の ROUGE-1-F の関係性を

図 3 ECS およびEPS データセットの各メールにおいて, 最大の PageRank と ROUGE-1-F の相関を示 した図，X軸は，四捨五入された最大 PageRankを，Y 軸はROUGE-1-Fを，エラーバーは標準誤差を示している.
示す. 各テキストを文に分割し，文毎に PageRankを計算する。その内，最大の PageRankを小数点第一位で四捨五入し, 同一の最大 PageRank 值を持つデータ間の ROUGE-1-F の標準誤差を エラーバーとして示す。使用したデータは ECS と EPSであり，ROUGE 値は各モデルが 1 文要約として抽出した時の値を示している。図より，TextRankが抽出する文の ROUGE-1-F は，最大 PageRank と比例して増加する. 最大 PageRank が低い時, IQE が抽出した文の ROUGE-1-F 値は，TextRankを上回る。これは，提案手法が言及回数の少ない場合にも，重要文を捉えられ るという仮説を支持している.

表 8 に IQE と TextRankがそれぞれ抽出した要約の具体例（EPSデータセット）を示す。参

## 本文 \\ Just got your email address from Rachel.

Congrats on your promotion.

I'm sure it's going to be alot different for you but it sounds like a great deal.

My hubby and' I moved out to Katy a few months ago.

I love it there - my parents live about 10 minutes away.

New news from me - I'm having a baby - due in June.

I can't even believe it myself.

The thought of me being a mother is downright scary but I figure since I'm almost 30, I probably need to start growing up.

I'm really excited though.

Rachel is coming to visit me in a couple of weeks.

You planning on coming in for any of the rodeo stuff?

You'll never guess who I got in touch with about a month ago.

It was the weirdest thing - heather evans.

I hadn't talked to her in about 10 years.

Seems like she's doing well but I can never really tell with her.

Anyway, I'll let you go.

Got ta get back to work.

Looking forward to hearing back from ya.

## 参照要約

The sender wants to congratulate the recipient for his/her new promotion, as well as, updating him/her about her life. The sender just move out to Katy few months ago.

She is having a baby due in June.

She is scared of being a mother but also pretty exited about it.

Rachel is coming to visit her in couple of weeks and she is asking if he/she will join for any of the rodeo stuff.

She run into heather evans which she hadn't talked in 10 years.

表 8 Implicit Quote Extractor (IQE) (bold) とTextRank (italic)によって抽出された EPSデータ セットの文の具体例.

表 9 Implicit Quote Extractor (IQE) (bold)とTextRank (italic)によって抽出された Reddit TIFU データセットの文の具体例.

照要約は，メールの受信者の昇進や発信者の出産に言及している. これらは本文で一度しか言及されていないため, TextRankはそれらの文の抽出に失敗しているが，我々の提案モデルは正 しくそれらの文を抽出できている。それは，こうしたトピックが返信によって言及されやすい からである。実際, 学習に使用した Avocado Mail Collectionデー夕の返信で, baby, promoted, promotion はそれぞれ 566 回，58 回，456 回言及されている。表 9 に載せた Reddit TIFU デー タセットの具体例にも同様の傾向が見られる。すなわち, kitten や squirrel は一度しか言及され ていないため，TextRank はそれらの文の抽出に失敗しているが，提案モデル IQE はそれらの 文を抽出できている.

## 6 結論

本稿では，従来手法とは異なる文の重要度の指標である “引用のされやすさ”に着目した教師なし抽出型要約モデル Implicit Quote Extractorを提案し, その有効性を 2 つのメールデー タセット（ECS と EPS）と 1 つのソーシャルメディアデータセット (Reddit TIFU) を対象にし た評価実験で示した，我々は，従来手法とは異なる指標に着目したが，従来手法で用いられた “言及頻度”も依然として重要であるため, これら両方の側面を考慮するモデルの考案が今後の 課題となる．また，提案モデルがより引用を抽出しやすく，かつ引用が要約に有用であるとす る仮説を，Reddit TIFUデータセットを用いて検証し，仮説を支持する結果を得たが，メール データセットでは検証できなかった。メールデータセットは引用を含む返信と参照要約を同時

に持つデータを含んでいなかったからである。我々の仮説がメールやその他のデータセットで も有効であるかを検証することが今後の課題である.

## 謝 辞

東京工業大学奥村・高村・船越研の皆様には研究の方針に関して様々なアドバイスを頂きま

した.ここに感謝の意を表します。本研究は, The 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing (AACL-ICJNLP 2020) の発表 "Identifying Implicit Quotes for Unsupervised Extractive Summarization of Conversations" で報告した研究に，追加実験を加え，加筆修正したものです.

## 参考文献

Amplayo, R. K. and Lapata, M. (2020). "Unsupervised Opinion Summarization with Noising and Denoising." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1934-1945, Online. Association for Computational Linguistics.

Baziotis, C., Androutsopoulos, I., Konstas, I., and Potamianos, A. (2019). "SEQ^3: Differentiable Sequence-to-Sequence-to-Sequence Autoencoder for Unsupervised Abstractive Sentence Compression." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 673-681. Association for Computational Linguistics.

Bhatia, S., Biyani, P., and Mitra, P. (2014). "Summarizing Online Forum Discussions - Can Dialog Acts of Individual Messages Help?" In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2127-2131. Association for Computational Linguistics.

Carenini, G., Ng, R. T., and Zhou, X. (2007). "Summarizing Email Conversations with Clue Words." In Proceedings of the 16th International Conference on World Wide Web, WWW '07, pp. 91-100. ACM.

Chu, E. and Liu, P. J. (2019). "MeanSum: A Neural Model for Unsupervised Multi-Document Abstractive Summarization." In Proceedings of the 36th International Conference on Machine Learning, ICML 2019, pp. 1223-1232.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference
of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

Erkan, G. and Radev, D. R. (2004). "LexRank: Graph-based Lexical Centrality As Salience in Text Summarization." J. Artif. Int. Res., 22 (1), pp. 457-479.

Fevry, T. and Phang, J. (2018). "Unsupervised Sentence Compression using Denoising AutoEncoders." In Proceedings of the 22nd Conference on Computational Natural Language Learning, pp. 413-422. Association for Computational Linguistics.

Filippova, K. (2010). "Multi-Sentence Compression: Finding Shortest Paths in Word Graphs."

In Proceedings of the 23rd International Conference on Computational Linguistics (Coling 2010), pp. 322-330, Beijing, China. Coling 2010 Organizing Committee.

Ganesan, K. (2015). "ROUGE 2.0: Updated and Improved Measures for Evaluation of Summarization Tasks.".

Gholipour Ghalandari, D. (2017). "Revisiting the Centroid-based Method: A Strong Baseline for Multi-Document Summarization." In Proceedings of the Workshop on New Frontiers in Summarization, pp. 85-90. Association for Computational Linguistics.

Haghighi, A. and Vanderwende, L. (2009). "Exploring Content Models for Multi-Document Summarization." In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 362-370, Boulder, Colorado. Association for Computational Linguistics.

Hashimoto, K., Xiong, C., Tsuruoka, Y., and Socher, R. (2017). "A Joint Many-Task Model: Growing a Neural Network for Multiple NLP Tasks." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1923-1933, Copenhagen, Denmark. Association for Computational Linguistics.

He, Z., Chen, C., Bu, J., Wang, C., Zhang, L., Cai, D., and He, X. (2012). "Document Summarization Based on Data Reconstruction." In Proceedings of the 26th AAAI Conference on Artificial Intelligence, AAAI '12, pp. 620-626. AAAI Press.

Isonuma, M., Mori, J., and Sakata, I. (2019). "Unsupervised Neural Single-Document Summarization of Reviews via Learning Latent Discourse Structure and its Ranking." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2142-2152. Association for Computational Linguistics.

Jang, E., Gu, S., and Poole, B. (2017). "Categorical Reparameterization with Gumbel-Softmax."

In 5th International Conference on Learning Representations, ICLR 2017.

Kågebäck, M., Mogren, O., Tahmasebi, N., and Dubhashi, D. (2014). "Extractive Summarization
using Continuous Vector Space Models." In Proceedings of the 2nd Workshop on Continuous Vector Space Models and their Compositionality (CVSC), pp. 31-39. Association for Computational Linguistics.

Kim, B., Kim, H., and Kim, G. (2019). "Abstractive Summarization of Reddit Posts with Multilevel Memory Networks." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2519-2531. Association for Computational Linguistics.

Kingma, D. P. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In 3rd International Conference on Learning Representations, ICLR 2015.

Koehn, P. (2004). "Statistical Significance Tests for Machine Translation Evaluation." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 388-395, Barcelona, Spain. Association for Computational Linguistics.

Laban, P., Hsi, A., Canny, J., and Hearst, M. A. (2020). "The Summary Loop: Learning to Write Abstractive Summaries Without Examples." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5135-5150, Online. Association for Computational Linguistics.

Lin, C.-Y. (2004). "ROUGE: A Package for Automatic Evaluation of Summaries." In Text Summarization Branches Out, pp. 74-81. Association for Computational Linguistics.

Liu, H., Yu, H., and Deng, Z.-H. (2015). "Multi-document Summarization Based on Two-level Sparse Representation Model." In Proceedings of the 29th AAAI Conference on Artificial Intelligence, AAAI '15, pp. 196-202. AAAI Press.

Loza, V., Lahiri, S., Mihalcea, R., and Lai, P.-H. (2014). "Building a Dataset for Summarization and Keyword Extraction from Emails." In Proceedings of the 9th International Conference on Language Resources and Evaluation (LREC-2014), pp. 2441-2446. European Languages Resources Association (ELRA).

Ma, S., Deng, Z.-H., and Yang, Y. (2016). "An Unsupervised Multi-Document Summarization Framework Based on Neural Document Model." In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 1514-1523. The COLING 2016 Organizing Committee.

Mehdad, Y., Carenini, G., and Ng, R. T. (2014). "Abstractive Summarization of Spoken and Written Conversations Based on Phrasal Queries." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1220-1230. Association for Computational Linguistics.

Mihalcea, R. and Tarau, P. (2004). "TextRank: Bringing Order into Text." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 404-411. Association for Computational Linguistics.

Oya, T. and Carenini, G. (2014). "Extractive Summarization and Dialogue Act Modeling on Email Threads: An Integrated Probabilistic Approach." In Proceedings of the 15th Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL), pp. 133-140. Association for Computational Linguistics.

Parikh, A., Täckström, O., Das, D., and Uszkoreit, J. (2016). "A Decomposable Attention Model for Natural Language Inference." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2249-2255. Association for Computational Linguistics.

Shang, G., Ding, W., Zhang, Z., Tixier, A., Meladianos, P., Vazirgiannis, M., and Lorré, J.-P. (2018). "Unsupervised Abstractive Meeting Summarization with Multi-Sentence Compression and Budgeted Submodular Maximization." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 664-674. Association for Computational Linguistics.

Yin, W. and Pei, Y. (2015). "Optimizing Sentence Modeling and Selection for Document Summarization." In Proceedings of the 24th International Conference on Artificial Intelligence, IJCAI '15, pp. 1383-1389. AAAI Press.

Zheng, H. and Lapata, M. (2019). "Sentence Centrality Revisited for Unsupervised Summarization." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 6236-6247. Association for Computational Linguistics.

## 略歴

狩野 竜示：2011 年東京大学理学部生物学科卒業. 2013 年同大学院情報理工学系研究科知能機械情報学専攻修了。2013 年から 2020 年まで富士ゼロックス 株式会社に勤務. 2019 年より東京工業大学工学院情報通信コース博士課程に 在籍。2020 年より富士フイルム株式会社画像技術センターにおいて, 医療言語処理, 要約関連の研究に従事.

谷口 友紀：2004 年神戸大学大学院自然科学研究科修士課程修了. 同年, 富士 ゼロックス株式会社入社. 現在, 富士フイルム株式会社画像技術センターに おいて, 医療言語処理, 情報抽出の研究に従事. 言語処理学会会員.

大熊 智子：1996 年慶應義塾大学政策・メディア研究科修士課程修了. 同年, 富士ゼロックス株式会社入社. 現在, 富士フイルム株式会社画像技術センター

において, 医療言語処理, 情報抽出の研究に従事. 言語処理学会理事. 博士 (学術).

(2020 年 10 月 29 日 受付)

(2021 年 2 月 8 日 再受付)

(2021 年 3 月 10 日 採録)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/