# ニューラル機械翻訳における単語報酬モデルに基づく 対訳辞書の利用

竹林 佑斗 $\dagger \cdot$ Chenhui $\mathrm{Chu}^{\dagger \dagger} \cdot$ 荒瀬 由紀 ${ }^{\dagger \dagger}$. 永田 昌明
}

ニューラル機械翻訳は従来手法の句に基づく統計的機械翻訳に比べて，文法的に流暢な翻訳を出力できる。しかし訳抜けや過剩翻訳などの問題が指摘されており，翻訳精度に改善の余地がある。このような問題に対して従来の句に基づく統計的機械翻訳では，対訳辞書を用いてデコーダ制約を実装することにより翻訳精度を改善し ていたが，ニューラル機械翻訳では対訳辞書を有効活用するアプローチが明らかで はない。本稿では対訳辞書を単語報酬モデルによりニューラル機械翻訳に適用する 手法を提案する。提案手法は，テスト時のデコーディングの際に対訳辞書に存在す る単語に報酬を与えることでそれらの出現確率を高め, 翻訳精度の向上を図る。提案手法は辞書をニューラル機械翻訳モデルとは独立して適用するため, 辞書の更新 や変更を簡単に行える利点がある。また指定された語彙を出力するよう制約を加え る方法より少ない計算量で翻訳精度を改善できる。 さらにアテンションを利用して 対訳辞書を活用する手法と組み合わせると性能を改善できることを実験的に示した。 キーワード：ニューラル機械翻訳，対訳辞書，単語報酬モデル
## Word Rewarding Model Using a Bilingual Dictionary for Neural Machine Translations

\author{
Yuto Takebayashi ${ }^{\dagger}$, Chenhui $\mathrm{Chu}^{\dagger}$, Yuki Arase $^{\dagger}$ and Masaaki Nagata ${ }^{\dagger \dagger}$
}

Even though outputs of neural machine translation are more fluent compared to those of conventional phrase-based statistical machine translation, under and over generation are still major problems. While the translation quality of phrase-based statistical machine translation has improved due to the use of a bilingual dictionary by the decoder constraint, the same approach cannot be directly applied to neural machine translation. This paper proposes a rewarding model to apply the bilingual dictionary to neural machine translation. The proposed model first predicts the target words for the translation using the bilingual dictionary and then increases their decoder output probabilities at an inference. As the model uses the bilingual dictionary as an independent resource for the neural model, it can easily update or change the dictionary if required. The proposed model was found to improve translation quality even though

it has less computational complexity than lexically constrained decoding that forces output of specified words. The results also confirmed that when combined with a method that biased the decoder to output dictionary entries using attention weights, the proposed method further improved the translation quality.

Key Words: Neural Machine Translation, Bilingual Dictionary, Word Rewarding

## 1 はじめに

ニューラル機械翻訳は従来手法の句に基づく統計的機械翻訳に比べて，文法的に流暢な翻訳を 出力できる。しかし訳抜けや過剰翻訳などの問題が指摘されており，翻訳精度に改善の余地が ある (Koehn and Knowles 2017).このような問題に対して句に基づく統計的機械翻訳では，対訳辞書を用いてデコーダ制約 (Koehn, Hoang, Birch, Callison-Burch, Federico, Bertoldi, Cowan, Shen, Moran, Zens, Dyer, Bojar, Constantin, and Herbst 2007)を実装することにより翻訳精度 を改善していたが，ニューラル機械翻訳では対訳辞書を有効活用するアプローチが明らかでは ない.ニューラル機械翻訳において対訳辞書を使用して翻訳精度を向上させる先行研究として， モデル訓練時に対訳辞書を用いて単語翻訳確率にバイアスをかける手法 (Arthur, Neubig, and Nakamura 2016) があげられる. この手法ではモデルの訓練が対訳辞書に依存しているため, 辞書の更新や変更は容易ではない.

本稿ではニューラル機械翻訳システムの翻訳精度の向上を目的として，単語報酬モデルによ り対訳辞書をニューラル機械翻訳に適用する手法を提案する ${ }^{1}$ 。単語報酬モデルは正しい翻訳文に出現すると期待される単語集合を辞書引きにより入力文から予測する “目的単語予測” と,得られた単語集合を用いてそれらの出力確率を調整する “単語報酬付加” から構成される。提案手法は訓練済みの翻訳モデルのデコーダにおいて，予測された単語の翻訳確率に一定の増分を 加えるのみであるため，既存の翻訳モデルを再訓練する必要がない. このため，本手法は既存 の訓練済みニューラル機械翻訳システムのデコーダに実装することで機能し，また辞書の更新 や変更も容易に行える利点がある。

日英と英日方向の翻訳実験を行った結果，対訳辞書を用いた単語報酬モデルは翻訳精度を有意に改善できることを示した。また，テスト時のデコーディングの際に既存手法 (Arthur et al. 2016) と組み合わせると，それぞれを単一で用いたときよりも翻訳精度が向上することを実験的 に示した。

本稿の構成は以下の通りである。まず 2 章で提案手法が前提とする注意機構付きのエンコー ダ・デコーダモデルについて説明したのち， 3 章で提案手法である単語報酬モデルについて述

べる． 4 章では実験設定を述べ，5 章では対訳辞書の性質が提案手法に与える影響を検証するた め, シミュレーションによる辞書を用いた実験を行う， 6 章では実際に利用可能な対訳辞書を 用いて提案手法の性能を示し， 7 章では既存手法との比較を行う。 8 章では関連研究について議論し, 9 章で本稿のまとめとする.

## 2 注意機構付きニューラル機械翻訳

ニューラル機械翻訳における典型的なモデルとして, 注意機構付きのエンコーダ・デコーダ モデル (Bahdanau, Cho, and Bengio 2015; Luong, Pham, and Manning 2015) があげられる. エ ンコーダは入力系列 $X$ をべクトル化し, デコーダはそのベクトルを用いて出力系列 $Y$ を出力す る. 入力系列中の $i$ 番目の要素を $x_{i} \in \mathbb{R}^{v_{s}}$, 同様に出力系列中の $j$ 番目の要素を $y_{j} \in \mathbb{R}^{v_{t}}$ と表記する.ここで $v_{s}$ と $v_{t}$ はそれぞれ入力系列と出力系列の語彙サイズである.

ある入力系列 $X$ が与えられたときに, ある長さ $m$ の出力系列 $Y$ を生成する確率 $p(Y \mid X)$ は,以下のように表される。

$
p(Y \mid X ; \theta)=\prod_{j=1}^{m} p\left(y_{j} \mid y_{<j}, X ; \theta\right)
$

ここで, $\theta$ はパラメータの集合で $y_{<j}=y_{1}, \cdots, y_{j-1}$ である. 対訳コーパス $C=\{(X, Y)\}$ が与え られたとき, 訓練時の目的は $\theta$ に関するクロスエントロピー損失 $L_{\theta}$ を最小化することである.

$
L_{\theta}=-\sum_{(X, Y) \in C} \log p(Y \mid X ; \theta)
$

本稿では双方向の long short-term memory (LSTM) を使用し, 順方向と逆方向からエンコー ドする。ステップ $i$ において，順方向の隠れ状態べクトル $\hat{\mathbf{h}}_{i} \in \mathbb{R}^{d_{h}}$ と逆方向の隠れ状態べク トル $\tilde{\mathbf{h}}_{i} \in \mathbb{R}^{d_{h}}$ を加算した隠れ状態を $\mathbf{h}_{i}=\hat{\mathbf{h}}_{i}+\tilde{\mathbf{h}}_{i}$ と表す.この隠れ状態を用いて入力系列 $X$ は $\mathbf{h} \in \mathbb{R}^{d_{h} \times n}=\mathbf{h}_{1}, \ldots, \mathbf{h}_{n}$ にマップされる. $n$ は入力系列の長さである. ニューラル機械翻訳 では翻訳精度向上に注意機構の有効性が示されている。注意機構では, デコーダが Recurrent Neural Network (RNN) によって隠れ状態べクトル $\mathbf{s}_{j}$ を計算する際，エンコーダが出力したそ れぞれの隠れ状態 $\mathbf{h}_{i}$ を直接的に参照する。デコーディングステップ $j$ において，隠れ状態 $\mathbf{h}_{i}$ の重要度を示すスカラー值の重みを $a_{j i}$ とすると， $a_{j i}$ による $\mathbf{h}_{i}$ の重み付き平均 $\mathbf{c}_{j}^{\prime} \in \mathbb{R}^{d_{h}}$ は, $\mathbf{c}_{j}^{\prime}=\sum_{i=1}^{n} a_{j i} \mathbf{h}_{i}$ と計算される。そして，デコーダの出力層で以下の計算を行う.

$
\begin{aligned}
& \mathbf{o}_{\mathbf{j}}=\mathbf{W}_{o} \mathbf{c}_{j}+\mathbf{b}_{o}, \\
& \mathbf{c}_{j}=\tanh \left(\mathbf{W}_{c}\left[\mathbf{c}_{j}^{\prime} ; \mathbf{s}_{j}\right]\right) .
\end{aligned}
$

ここで $\mathbf{c}_{j} \in \mathbb{R}^{d_{h}}, \mathbf{W}_{o} \in \mathbb{R}^{v_{t} \times d_{h}}$ と $\mathbf{W}_{c} \in \mathbb{R}^{d_{h} \times 2 d_{h}}$ は変換行列, $\mathbf{b}_{o} \in \mathbb{R}^{v_{t}}$ はバイアス項のべクト ル, $[\cdot ; \cdot]$ はベクトルの結合を表す. 出力単語の確率ベクトル $\hat{y}_{j} \in \mathbb{R}^{v_{t}}$ は $\operatorname{softmax}$ 関数を用いて,

$
\hat{y}_{j}=\frac{\exp \left(\mathbf{o}_{\mathrm{j}}\right)}{\sum_{k} \exp \left(\mathrm{o}_{\mathrm{jk}}\right)}
$

と表される。ここで $o_{j k}$ はベクトル $\mathbf{o}_{j}$ の $k$ 番目の要素である.

## 3 単語報酬モデル

本章では，提案する単語報酬モデルの各要素について説明する，単語報酬モデルは大きく 2 つの要素に分けられる。

## - 対訳辞書による目的単語予測

入力文から正しい翻訳文に出現すると期待される単語の集合を，対訳辞書を用いて予測 する。本稿では人手で作られた辞書と自動で構築された辞書の 2 つを使用した.

## - 予測された単語集合を用いた翻訳確率への報酬付加

目的単語予測で得られた単語集合を用いて, それらが出力される確率を調整する。具体的にはデコーダが単語翻訳確率を出力する際, 目的単語予測で予測された単語の翻訳確率に一定の値を足すことでそれらを出力しやすくする.

## 3.1 対訳辞書による目的単語予測

本節では目的単語予測において使用する, 人手で作られた辞書と自動で構築された辞書につ いて説明する。

## 3.1.1 人手で作成された辞書での目的単語予測

人手で作成された辞書は，対象領域に対するカバレッジは限られているものの信頼性のある 対訳情報を提供している，辞書引きの際には，辞書引きする単語を原型に戻すことが必要であ る.したがって，人手で作成された辞書を用いる際は，目的単語集合を予測するために，原言語文に含まれる単語の原型を辞書引きすることとした。

## 3.1.2自動で構築された辞書での目的単語予測

IBM モデルや句に基づく統計的機械翻訳 (Koehn et al. 2007; Brown, Della Pietra, Della Pietra, and Mercer 1993)の翻訳モデルが対訳辞書として広く活用されている. 辞書の構築のためにこ れらの翻訳モデルを活用する最大の利点は, 辞書の構築に訓練セットを用いることで辞書のド メインと翻訳時の目的単語のドメインを合わせられることである. 加えて, 訓練セットに出現 する活用語や派生語を使用できる。欠点としては，アライメントの失敗が含まれるため，人手

の辞書と比べて信頼性が低いことがあげられる.

本稿では辞書を自動で構築するために，IBM 翻訳モデル (Brown et al. 1993)の実装である GIZA++ツールキット2を用いる。そしてMoses (Koehn et al. 2007) を用いて grow-diag-finaland ヒューリスティックを適用し，単語間の単語翻訳確率を計算する。単語翻訳確率はアライ メントを用いて，順方向と逆方向の両方向でそれぞれ計算される。ある 2 つの言語が与えら れたとき, source-to-target 方向のコーパスに適用した場合に得られる順方向の単語翻訳確率, target-to-source 方向のコーパスに適用した場合に得られる逆方向の単語翻訳確率をそれぞれ， $P_{f w}\left(w_{t} \mid w_{s}\right), \quad P_{b w}\left(w_{s} \mid w_{t}\right)$ と表す. ここで， $w_{s}$ は原言語側のある単語, $w_{t}$ は目的言語側のある 単語である。このとき単語の翻訳スコアを

$
P\left(w_{t} \mid w_{s}\right)=\sqrt{P_{f w}\left(w_{t} \mid w_{s}\right) P_{b w}\left(w_{s} \mid w_{t}\right)}
$

と定義する. 出現回数が少ない単語対は情報が少ないため正確に確率を計算することができず,対訳確率が不適切に大きくなるときがある。そのような場合に対処するため，相乗平均を取り 不適切に高い確率を抑える。目的単語集合の Precision と Recall を制御するため，開発セットで チューニングできるように䦭値 $\delta$ を導入した。アライメントでは各単語間に翻訳確率が付与さ れるが，その翻訳確率が間値 $\delta$ より低い単語は目的単語集合に加えないものとした。

## 3.1.3単語とサブワードによるマッチング方法

サブワード単位で翻訳を行うことにより未知語問題の解決に繋がることが広く知られている (Sennrich, Haddow, and Birch 2016)。本稿では，単語報酬モデルを byte pair encoding (BPE) (Sennrich et al. 2016) に基づいたニューラル機械翻訳にも適用可能にするため，目的単語予測 に用いた辞書に BPE を適用する。

辞書のエントリと原言語文の両方に，まず対訳コーパスで訓練された BPE モデルを適用し，次に原言語文に含まれる文字と辞書のエントリとをマッチングする。ここで本稿では，完全一致と部分一致という 2 つのマッチング方法を考える．BPE 適用後, 辞書の見出し語は複数のサ ブワードによって構成され, 見出し語 $w$ は $w=w_{1}, \ldots, w_{k}$ と表される. 完全一致は Precision を重視した手法であり， $w$ が以下を満たすとき入力系列 $X$ とマッチするとみなす；

$
w_{1}, \ldots, w_{k} \in X, \forall i \in\{1, \ldots, k-1\}, w_{i}=x_{j} \Leftrightarrow w_{i+1}=x_{j+1} .
$

部分一致は Recall を重視した手法で， $w$ が以下を満たすとき入力系列中の単語 $x$ とマッチする とみなす；

$
\exists w_{i} \in w, w_{i} \in X
$
^{2}$ https://github.com/moses-smt/giza-pp
}
どちらのマッチング方法でも，wの翻訳は目的単語集合に追加される。ある原言語文において，完全一致で得られた目的単語集合は部分一致で得られたものの部分集合になる.

ク"）その翻訳が “New Y@@ or@@ k”であるときを考える。入力系列に“ニュー@@”と“ヨー ク”が $x_{i}=$ “ニュー@@”, $x_{i+1}=$ “ヨーク”と連続して出現した場合, 完全一致でも部分一致でも マッチし, 目的単語集合に“New", “Y@@”, “or@@”および“k”が追加される。一方入力系列に “ニュー@@”か“ヨーク”のどちらかのみが出現する場合および，“ニュー@@”と“ヨーク”が出

一致ではマッチし目的単語集合に“New”, “Y@@”, “or@@”および“k”を追加する”3.

## 3.2 予測された単語集合を用いた翻訳確率への報酬付加

目的単語集合に含まれる単語が出力されやすくなるよう, 図 1 で示すようにデコーダで単語翻訳確率に報酬を付加する。具体的には，目的単語予測で正しい翻訳文に出現すると期待され る単語の集合 $D_{f 2 e}$ を取得し, 単語が $D_{f 2 e}$ に入っていればその単語の翻訳確率に報酬を足して,出力されやすくする。したがって事後確率は以下のように表される。

$
Q\left(y_{j} \mid y_{<j}, X\right)=\log p\left(y_{j} \mid y_{<j}, X\right)+\lambda r_{y_{j}},
$

図 1 デコーディングステップ $j$ における単語報酬モデル：予測された目的単語集合 $D_{f 2 e}$ に含まれる単

機構は省略している。

ここで，入は単語報酬重みであり，開発セットによってチューニングされるハイパーパラメー 夕である。この単語報酬モデルにより，正解単語を含む単語集合の確率を引き上げ，正解単語 を訳出しやすくなると期待できる。本稿では 2 值の報酬値を用いる 4.

$
r_{y_{j}}= \begin{cases}1 & \left(y_{j} \in D_{f 2 e}\right) \\ 0 & \text { (otherwise) }\end{cases}
$

最終的に出力文 $\hat{Y}$ は以下のようになる.

$
\hat{Y}=\arg \max _{Y} \sum_{j=1}^{m} Q\left(y_{j} \mid y_{<j}, X\right)
$

## 4 実験設定

本稿では単語報酬モデルの性能を評価するため，日本語から英語，英語から日本語への翻訳精度を話し言葉ドメインと書き言葉ドメインで実験した。

## 4.1 対訳コーパス

話し言葉ドメインとして IWSLT 2017 日本語-英語タスクを使用する。これは TED Talks 字幕データであり, WIT プロジェクト (Cettolo, Girardi, and Federico 2012) で提供されているも のである。このIWSLT タスクは訓練セットとして 22.3 万文の対訳コーパスが利用できる。本稿では開発セットに $\operatorname{dev} 2010$ をテストセットに test 2010 を用いた。それぞれ 871 文, 1,549 文 である.

書き言葉ドメインとして日本語-英語の科学技術論文である ASPEC $^{5}$ (Nakazawa, Yaguchi, Uchimoto, Utiyama, Sumita, Kurohashi, and Isahara 2016)を使用する.これは Workshop on Asian Translation (WAT) ${ }^{6}$ (Nakazawa, Higashiyama, Ding, Mino, Goto, Kazawa, Oda, Neubig, and Kurohashi 2017)のサブタスクとして提供されているものである. 先行研究 (Morishita, Suzuki, and Nagata 2017) の設定に従い，訓練セットとして 300 万文ある中から初めの 200 万文 を用いる。これは最後の 100 万文はノイズを多く含んでいるためである。ASPEC タスクは開発とテストセットにそれぞれ 1,790 文と 1,812 文がある.

本稿では日本語-英語と英語-日本語翻訳実験を上記の 2 つのタスクにおいて行う。以降では IWSLT の日本語から英語方向, IWSLT の英語から日本語方向, ASPEC の日本語から英語方向
^{4} r_{y_{j}}$ に式 $(1)$ 左辺の $P\left(w_{t} \mid w_{s}\right)$ を用いた実験も行ったが，2 値の報酬値を用いたときより翻訳精度が劣る結果となっ た。このときのある目的単語 $w_{t}$ の報酬値には， 入力系列中の単語から辞書引きしたときの対訳確率の平均値を用 いた。

5 http://lotus.kuee.kyoto-u.ac.jp/ASPEC/

 }^{6}$ http://orchid.kuee.kyoto-u.ac.jp/WAT/

および ASPECの英語から日本語方向のタスクをそれぞれ, IWSLT 日英, IWSLT 英日, ASPEC 日英および ASPEC 英日と表記する。

## 4.2 対訳辞書

人手で作成された辞書として，情報通信研究機構によって公開されている EDR 英日対訳辞書および EDR 日英対訳辞書 7 を使用する。英日と日英のエントリペア数はそれぞれ 67.6 万と 105.2 万であった. 辞書の自動構築にはベースラインNMT を学習した訓練コーパスを用いた.日英方向の辞書引きを行うとき，辞書引きされた単語には複数形などの派生語が含まれない. この問題に対処する方法として, XTAG プロジェクトの辞書を使って英語の派生単語を抽出し, EDR 辞書で得られた英単語の全ての派生語を単語集合に追加する。XTAG は TreeTagger ${ }^{8}$ で英語の形態素解析辞書として使われている。派生単語を追加していないものを EDR，全ての派生単語を EDR に追加したものをXTAGと表記する。

辞書引きの方法としては, 原言語文の各単語を原型に戻し, それらを EDR やXTAGなどの辞書のエンティティとマッチングする。単語を原型に戻す処理には日本語側には形態素解析器の $\mathrm{MeCab}^{9}$ を，英語側には TreeTagger を用いる，例えば，日本語-英語方向の目的単語予測を考え る。“書いた”という単語が原言語文に入っていた場合, 形態素解析の結果得られる原型の “書 く”を辞書引きする。“書く”という単語を辞書引きしたとき“write”という単語が得られたとす ると, EDR 辞書では目的単語集合には “write”のみを追加する。一方XTAG 辞書では, “write" の活用形である“wrote”と“written”を，目的単語集合に追加する。

## 4.3 ニューラル機械翻訳システムと単語報酬モデル

本稿では LSTM を用いた注意機構付きエンコーダ・デコーダモデルの mlpnlp-nmt システム 10 をベースのニューラル機械翻訳モデルとし，単語報酬モデルは mlpnlp-nmt システムのデコーダ に対して実装する ${ }^{11}$. mlpnlp-nmt は WAT 2017 (Nakazawa et al. 2017)の ASPEC 日英, ASPEC 英日人手評価において最高精度を達成したモデルである.

ハイパーパラメータの設定は Morishita ら (Morishita et al. 2017)に従う. 原言語側, 目的言語側の単語埋め込み層, LSTM の隠れ層, 注意機構の隠れ層は全て 512 次元に設定する。エンコー ダとデコーダにはそれぞれ 2 層の LSTMを用いる。学習アルゴリズムには，学習率 1.0 , ドロッ プアウト率 30\% で確率的勾配降下法 (Stochastic gradient descent: SGD) (Robbins and Monro

1951)を用いる. ミニバッチサイズは 128 に設定する。訓練エポックは IWSLT 日英, IWSLT 英日, ASPEC 日英および ASPEC 英日の全てで 20 に設定し, 開発セットで最も良い性能を達成 したものを用いる。エポック数はそれぞれ $11,20,13$ および 13 であった. テスト時のデコー ディングにおいてはビーム幅を 5 に設定し，ビーム探索を行う。

単語報酬モデルで, 式 (2) の単語報酬重み $\lambda$ と辞書の間値 $\delta$ は開発セットでグリッド探索を 用いてチューニングした。このとき $\lambda$ は 0.1 から 1.0 まで 0.1 刻みで変化させる。辞書の閥値 $\delta$ は自動で構築された辞書の確率が低い単語を枝刈りする役割を担うが，これは $0,0.0001,0.001$, 0.01 および 0.1 を試し, 単語報酬重み $\lambda$ と合わせてグリッド探索し最高精度を出す組み合わせ を採用する。

対訳コーパスと対訳辞書の前処理としては，日本語側の文と辞書のエントリを $\mathrm{MeCab}$ を用 いて形態素単位に分割し, 英語側の文と辞書のエントリは Mosesの tokenizer.perlスクリプト 12 を使用し単語に分割し, truecase.perlスクリプト13を用いて表記統一処理を行う。さらに joint BPE (Sennrich et al. 2016) を用いて単語をサブワードに切り分ける.このときのマージオぺ レーションの回数は 32,000 とする。最終的な IWSLT の語彙サイズは日本語と英語でそれぞれ 21,534 と 18,022 であった. ASPECの語彙サイズは日本語と英語でそれぞれ 28,852 と 22,340 であった。

## 5 シミュレーション辞書を用いた実験

目的単語予測の性能の変化による翻訳精度への影響を調べるため, 参照訳に対する目的単語集合の Precision/Recall を人為的に変化させて，そのときの BLEU スコアへの影響を調査する. ここでは対訳コーパスの分量によるニューラル機械翻訳モデルの性能変動が分析に影響するの を避けるため, ASPEC を用いて英日方向の実験を行った.

## 5.1 オラクル辞書

ある入力系列 $X$ が与えられたとき, 正解データである出力系列 $Y=y_{1}, y_{2}, \ldots, y_{m}$ のトークン を過不足なく予測できる理想的な辞書を，オラクル辞書と定義する。オラクル辞書で単語予測 を行った場合，その予測性能は Precision/Recall 共に100\%である.

実際にオラクル辞書を作成することは不可能であるため, $k$ 番目の原言語文 $X_{k}$ を翻訳する 際，対訳コーパス中の対応する出力系列（参照訳） $Y_{k}$ に含まれる単語を過不足なく抽出し目的単語辞書に追加することで擬似的にオラクル辞書を作成した ${ }^{14}$.

## 5.2 目的単語集合の Precision/Recall の制御

参照訳に対する目的単語集合の Precision/Recall の制御方法を説明する。手順としては，まず 5.1 節で説明したオラクル辞書を用いて Precision/Recall が共に $100 \%$ である目的単語集合を作成してから，以下に示す処理を実行して Precision/Recall を制御する。
- Precision の制御

3.1.2 項で説明した GIZA 辞書で単語翻訳確率が高い上位の単語を目的単語集合に追加す る.ここで追加する単語は目的単語集合に含まれないものを選ぶことで Precision を低下 させる.
- Recall の制御

目的単語集合から参照訳に含まれる単語をランダムに削除することで Recall を低下さ せる.

追加/削除する単語数を制御することで，目的とするPrecision/Recall に調節する。

## 5.3 目的単語集合の Precision/Recall の変化による翻訳精度への影響評価

開発セットの BLEU スコアの最大值を調査したところ，それぞれ 51.24 と 40.45 であり，単語報酬モデルを用いないべースライン (nlpmlp-nmt) から 11.74 と 0.95 の増加であった。また, そ のときの入の値はそれぞれ 2.7 と 0.6 であった.

ASPEC 英日方向の開発セットで $\lambda=0.6,2.7$ に設定し Precision/Recall をそれぞれ 10\%〜 $100 \%$ まで $10 \%$ 刻みで変化させたときの BLEU スコアをそれぞれ図 2 に示す。青色はべース ラインより低い BLEU スコアを，赤色はベースラインよりも高いBLEU スコアを示しており，白色はベースラインの BLEU スコア (39.50) のものを表す。色が濃いセルほどベースラインの BLEU スコアからの変化量が大きいセルである。結果より Precision/Recall 共に 100\%に近い方 が BLEU スコアは高い傾向にあることがわかった。さらに, Precision が低い場合は Recall を 高くする, 反対に Recall が低い場合は Precision を高くすることで, ベースラインよりも BLEU スコアが向上することが示された. $\lambda=2.7$ と設定したときの方が $\lambda=0.6$ と設定したときよ

る単語が目的単語集合の予測性能に依存するためであると考えられる。また $\lambda=0.6$ と設定し たときの方が $\lambda=2.7$ と設定したときより，BLEU スコアが増加する Precision/Recall の組み合 わせが多い. したがって, 目的単語予測の性能が高くないときは入の值を小さくすることで, BLEU スコアを改善できることがわかる，以上より，辞書引きした単語の予測精度が高いとき 単語報酬モデルは翻訳精度を大きく向上できることが明らかとなり，対訳辞書をテスト時のデ コーディングに用いる提案手法の妥当性が示された.

## Precision

Baseline

## Precision

Baseline

図 2 ASPEC 英日方向の開発セットで Precision/Recall をそれぞれ $10 \% \sim 100 \%$ に変化させたときの BLEU スコアの結果（左図： $\lambda=0.6$, 右図 $: \lambda=2.7$ ).

## 6 実際の辞書を用いた評価

本章では目的単語予測に実際の辞書を用いたときの，単語報酬モデルの翻訳精度を評価する。

## 6.1 テストセットでの翻訳結果

表 1 にIWSLT，ASPECのそれぞれのテストセットにおける，単語報酬モデルを用いないべー スライン，提案手法およびオラクル辞書を用いた際の BLEU スコアを示す。丸括弧の中には目的単語予測で得られた単語集合の参照訳に対する Precision/Recall を示す. 太字は $p<0.01$ で ベースラインに統計的有意差があるものを示す. 有意差の検定には bootstrap resampling 検定 (Koehn 2004) を用いた ${ }^{15}$.このとき辞書の間值 $\delta$ と報酬重み $\lambda$ は 4.3 節で述べた通りグリッド 探索を行い求めた．例えば GIZA（完全一致）のIWSLT 日英, IWSLT 英日, ASPEC 日英およ び ASPEC 英日での辞書の閾値 $\delta$ はそれぞれ $0.001,0.01,0.0001$ および 0.001 であり，報酬重み $\lambda$ の値はそれぞれ $0.5 ， 0.4 ， 0.4$ および 0.5 であった。表 1 の全ての設定で用いた辞書の閾値 $\delta$ と単語報酬重み $\lambda$ は付録に記述する。ベースラインと比較して，提案手法において有意に BLEU ス コアが増加していることが分かる，全体としては高い Recall をもつ手法が，より大きいBLEU

スコアの増加を示した，IWSLTでは，実際の辞書を用いた手法の最大のスコアは日英，英日で それぞれ，GIZA 完全一致の $10.36 ， 10.88$ であり，オラクル辞書を用いた手法のスコアである 17.68，20.26 とは差がある。これは GIZA 完全一致は日英，英日でそれぞれ Recall は $85.98 \%$ ， $72.92 \%$ と高い值を達成しているが，Precision が $0.27 \% ， 2.56 \%$ と低いためと考えられる。

書き言葉ドメインである ASPEC タスクでは，英日方向に EDR 完全一致を適用したとき以外は全て有意に翻訳精度が向上した。2017 年のWAT の翻訳タスクにおいて, ASPEC 日英と ASPEC 英日で本稿の実験設定と同じ単一のモデルによる最高精度はそれぞれ 27.62 (NTT) と 39.71 (NTT) である。提案手法ではそれぞれ 28.29，40.07を達成しており，WAT 2017 の単一 モデルの最高精度をそれぞれ 0.67 および 0.36 向上している.

提案法の適用によって訳出する単語にどのように影響するのかを分析するため，辞書のエント リが出力系列に出現する割合を測った．ASPEC 日英のベースラインの訳文では $34.72 \%, E D R$完全一致を用いたときは $36.38 \%$ であったため EDR を用いて約 $1.7 \%$ の単語は EDR 辞書によっ て出現したと言える。同様に ASPEC 日英のベースラインとXTAG 完全一致で, 辞書のエント リが出力系列に出現した割合を測ったところ，それぞれ $38.19 \%, 41.76 \%$ であり約 $3.6 \%$ の増加 であった。したがって，辞書によって出力系列に出現する単語が変化していることがわかる. EDR 日英辞書のエントリペアは 671,649 であるがユニークな日本語側の単語数は 227,553 であ る.このことより日本語 1 単語につき平均約 3 単語の英語が辞書引きされるため Precision は $33 \%$ 程度が上限である。したがって EDRのような人手で作成された辞書でも Precision が低い 結果となったと考えられる。

表 1 テストセットにおける各手法の BLEU スコアの比較

丸括弧の中には目的単語予測で得られた単語集合の参照訳に対する Precision/Recallを示す.太字は $p<0.01$ でベースラインよりも統計的有意差があるものを示す. IWSLT 日英, IWSLT 英日, ASPEC 日英および ASPEC 英日での最大の上昇はそれぞれ， $0.39,0.62,1.08$ および 0.57 である. XTAG は EDR で辞書引き された英単語の複数形をその単語集合に加えたものであるため, 日英方向の結果のみである.

## 6.2 分析

本節では提案手法の効果を定性的に分析するため, translation edit rate (TER) (Snover, Dorr, Schwartz, Micciulla, and Makhoul 2006) を用いた訳抜け単語と過剰翻訳単語の分析 (6.2.1 項), および翻訳例を用いた翻訳結果の分析（6.2.2 項）を行う.

## 6.2.1 TER を用いた訳抜け単語数と過剩翻訳単語数の分析

TER を求める際に得られる編集操作の集合を用いて，ニューラル機械翻訳における主要な問題である訳抜けと過剰翻訳について分析した。訳抜け単語数と過剰翻訳単語数は，TERを用い て編集の種類を数えることで簡易的に評価した。本稿では一文中における“挿入”の回数と“削除”の回数をそれぞれ訳抜け単語数と過剰翻訳単語数と定義した。

訳抜け単語数と過剩翻訳単語数を測定した結果を表 2 に示す。結果より, 訳抜け単語は, 提案手法のどの辞書を用いたときでも改善できていることがわかる．特にオラクル辞書を用いた ときは平均で 1.2 単語減少できている。過剩翻訳に関しては, 訳抜けとは逆に提案手法のいか なる辞書を用いた場合でも悪化している。これは報酬を付加し続けるという手法の特性上, 一度ある単語を生成した後も同じ単語に出現を促進するバイアスをかけるためである。この問題 に対しては一度出力された単語には報酬を掛けないという方法である大域的制約で回避できる と考えられる。大域的制約のモデルの検討は今後の課題である。 また，オラクル辞書を用いた ときに一番多く過剰翻訳単語を出力してしまっているが, これはオラクル辞書の信頼性が高い ため単語報酬重み $\lambda$ 大きくしてしまうことで生じる問題と思われる。入が高いとデコーダが 出力した翻訳確率を疎かにして, 目的単語集合に存在する単語を複数回出力してしまうためで あると考えられる。

表 2 テストセットにおける，TERによって計算された 1 文中の平均の訳抜け単語数と過剩翻訳単語数

太字のスコアは最も訳拔け／過剩翻訳単語数が少ないものを示す.

## 6.2.2 翻訳例

翻訳例を用いて単語報酬確率の翻訳結果の分析を行った。ここでは辞書の中で一貫して性能向上していた GIZA 部分一致を用いて分析した。表 3 および表 4 に ASPEC 日英におけるべー スラインと単語報酬モデル（GIZA 部分一致）の翻訳例を示す。表 3 はべースラインで発生して いる訳抜けが単語報酬モデルによって解消されている例である。 ベースラインでは参照訳中に ある“(congenital immunity )”というフレーズと "cancer of"というフレーズが存在しないが,単語報酬モデルでは出力されている。これは単語報酬モデルが理想的に働いた形である。表 4 はベースラインで発生している訳抜けが単語報酬モデルによって解消されているが，過剩翻訳 が残っている例である。ベースラインでは参照訳中にある "blood collection is indispensable"と いうフレーズが存在しないが，単語報酬モデルでは出力されている。しかし，結果として“is indispensable" が過剩翻訳してしまっている。これは，一度ある単語を出力した後も同じ単語 に報酬をかけ続けるという手法上，誤った場所に出力される単語を制御できないためと考えら れる。

表 3 ASPEC 日英における単語報酬モデル（GIZA 部分一致）で訳抜けが解消されている例

 \\

“( congenital immunity )"というフレーズと "cancer of”というフレーズが，単語報酬モデルでは出力さ れている.

表 4 ASPEC 日英における単語報酬モデル（GIZA 部分一致）で訳抜けが改善している部分はあるが重複が残ってしまっている例

 \\

"blood collection is indispensable" というフレーズはベースラインでは出力されていないが, 単語報酬モ デルでは出力された。しかし依然として誤った場所に“is indispensable”が出力されている.

## 7 既存手法との比較

ニューラル機械翻訳において訓練時に対訳辞書を用いる手法が Arhur ら (Arthur et al. 2016) によって提案されている. Arthurらの手法と単語報酬モデルは, 辞書を用いる点や単語対訳確率にバイアスをかける点が共通している。本章では Arthur らの手法と本稿で提案した単語報酬 モデルを比較する.

## 7.1 実験設定

提案手法のベースラインである nlpmlp-nmtに Arthur らの手法を組み合わせた実験を行う。モ デルには 6 章で用いたものと同じものを使用する. 用いたコーパスは IWSLT 英日およびASPEC 英日であり, それらのコーパスの前処理やパラメータ設定方法は 4 章で述べたとおりである. Arthur らの手法では単語対訳確率が必要なため, BPE 処理を行った後のコーパスから Moses の Toolkit を用いてサブワードレベルの単語対訳確率を得たものを辞書として用いた. Arthur 法 を組み込んだ nlpmlp-nmt モデルの訓練は学習に非常に時間がかかるため, ここでモデルの最適化は行わず，テストの際のデコーディング時に，辞書の単語対訳確率と単語翻訳確率を線形補間する linear ${ }^{16}$ 用いて出力単語の確率を変更する. ある目的単語について入力系列の各単語と の対訳確率にその単語へのアテンションを掛けて総和を求めた確率を $p_{l}$, 翻訳モデルが求めた 確率を $p_{m}$ とすると, Arthur 法の linear は目的単語の出現確率 $p_{o}$ を線形補間の重み $\gamma$ 用いて 次式のように求める.

$
p_{o}=\gamma p_{l}+(1-\gamma) p_{m}
$

Arthur 法と提案法を併用する際には，単語翻訳確率を Arthur 法で得られる出現確率 $p_{o}$ に置き 換えて次式により事後確率を求める.

$
Q\left(y_{j} \mid y_{<j}, X\right)=\log p_{o}\left(y_{j} \mid y_{<j}, X\right)+\lambda r_{y_{j}} .
$

Arthur らの手法と単語報酬モデルを組み合わせる際はまず単語報酬モデルでパラメータチュー ニングしたパラメータを固定して, Arthurらの手法のパラメータをチューニングした.

## 7.2 実験結果

表 5 にベースライン (nlpmlp-nmt)，テスト時のデコーディングに Arthur らの手法を組み合 わせたとき，単語報酬モデルを適用したときおよび両方の手法を併用したときの BLEU スコア を示す。線形補間の重みを決める $\gamma$ は $0.05,0.14,0.29,0.50,0.71,0.86,0.95$ を試して開発セッ

表 5 nlpmlp-nmt, Arthur らの手法，単語報酬モデル，および Arthur らの手法と単語報酬モデルを併用 したときの BLEU スコア

太字は $p<0.01$ でベースラインである nlpmlp-nmt から統計的有意差があるものを示す.

トで最も良かった設定を用いる。パラメータを $(\delta, \lambda, \gamma)$ と表現すると，Arthur 法と提案手法を 併用したときのパラメータは IWSLT と ASPEC でそれぞれ $(0.001,0.4,0.14)$ と $(0.001,0.4,0.05)$ であった。それ以外の全ての設定でのパラメータは付録の表 8 に記述する.

結果よりテスト時のデコーダに Arthur 法を組み込んだものはべースラインからほとんど変化 がなかったが，単語報酬モデルと併用すると単語報酬モデルのみを用いるときよりも BLEU ス コアが増加している。このことより, Arthurらの手法と提案手法である単語報酬モデルは対立 するものではなく併用可能であること，併用することでより高い翻訳精度を示すことを確認し た. Arthur らの手法は低頻度語の翻訳精度向上を目的としているため，今回の実験設定では翻訳精度が向上しなかったと考えられる。一方で提案手法は辞書に存在する単語の出現確率にバ イアスを付加することで，低頻度語に限らず精度向上を目的としているため，両方の夕スクに おいて翻訳精度が向上したのだと考えられる。

我々の実装において Arthur 法のように訓練時に辞書を活用する方法を検討することは今後 の課題である。しかし，テスト時のデコーディングにおいて開発セットを使ってハイパーパラ メータを調整しても Arthur 法は単独ではあまり効果がなかったので，訓練時に Arthur 法を使用してモデルを最適化してもあまり効果がない可能性がある.

## 8 関連研究

ニューラル言語生成の分野では, 単語やフレーズを予測し出力する手法は多く研究がなさ れている。単語選択のハードな制約として, ニューラル機械翻訳におけるグリッドビーム探索 (Hokamp and Liu 2017) が提案されている. これはテスト時にユーザが指定した単語を全ての デコーディングステップで強制的に訳出し，スコアの高い上位 $\mathrm{k}$ 件を保持するという手法であ る。ユーザが指定した単語を含む文の中でスコアの高いものを翻訳結果とするため，指定した 単語を必ず含む文を選択できる。それ以外にはアテンション最大の原言語の単語に対して指定 された目的言語の単語がその単語を含む一定のウインドウの中で出力されるかをチェックする
方法 (Chatterjee, Negri, Turchi, Federico, Specia, and Blain 2017) やアテンション最大の原言語 の単語に対して指定された目的言語の単語を出力し, 以後その原言語への単語のアテンション をマスクして指定した単語が再び出力されることを防ぐ方法 (Hasler, de Gispert, Iglesias, and Byrne 2018) がある。また, グリッドビーム探索手法には，指定単語数に対してビーム幅が線形 に増えるという問題があるが，独自のスコアリングに基づいてそれぞれの語彙的制約に割り当 てるビームの数を動的に変化させることによりビームの総数を一定に保つ手法 (Post and Vilar 2018) も提案されている。これらの手法はデコーダに制約を与えるという点で提案手法と共通 しているが，ユーザが所望する単語を訳出することを目的としており，またその単語をユーザ が指定する必要がある。提案手法は対訳辞書を用いてデコーダに制約を与えることで翻訳精度 を向上することを目的としており，ある単語が必ず訳出されることは保証しない．それにより 厳密に単語を指定をせずとも，辞書を用いることにより翻訳精度を向上させることに成功した。

デコーダにおいて目的単語予測を行う研究も盛んに行われている (Shi and Knight 2017;

Sankaran, Freitag, and Al-Onaizan 2017; Mi, Wang, and Ittycheriah 2016). これらは単語予測を行いテスト時のデコーディングの際に語彙を制限することで，ソフトマックス関数の計算コ ストを下げて速度向上を目指している。また，デコーダの隠れ層における出力単語の情報を正確にするため，隠れ層から出力単語を予測しそのエラーを最小化するよう訓練する手法 (Weng, Huang, Zheng, Dai, and Chen 2017) が提案されている. 提案手法は対訳辞書を用いた目的単語予測によりニューラル機械翻訳における辞書の活用を実現したものであり，これらの研究とは 異なる。

## 9 おわりに

本稿ではニューラル機械翻訳における単語報酬モデルによる対訳辞書の活用手法を提案した。実験結果より目的単語予測の性能が十分高ければ，提案手法である単語報酬モデルによって翻訳精度が大幅に向上することを示した。また，目的単語予測に現実的に利用可能な対訳辞書を 用いた場合でも翻訳精度が有意に向上することを示した。さらにニューラル機械翻訳において 辞書を用いる先行研究との比較実験より, 実験した IWSLT タスクと ASPEC タスクでは先行研究を上回り翻訳精度が向上していることを示した。また先行研究と提案手法を組み合わせると それぞれを単一で用いるよりも翻訳精度を向上することができたことから, 実験的に先行研究 と提案手法は対立するものではなく組み合わせ可能であることを示した．提案手法は実装が簡潔で訓練済みのデコーダに簡単に適用でき，また辞書の更新や変更が容易であるという利点を もつ.

今後の課題としては, 一度出力された単語には報酬を付加しないという大域的制約による過剰翻訳への対処が考えられる。また Transformer (Vaswani, Shazeer, Parmar, Uszkoreit, Jones,

Gomez, Kaiser, and Polosukhin 2017) は現在の最先端のニューラル機械翻訳モデルであるため,単語報酬モデルを Transformer へ組み込むことも今後の課題である.

## 謝 辞

本研究は, 日本電信電話株式会社コミュニケーション科学基礎研究所の助成を受けたものです.

## 参考文献

Arthur, P., Neubig, G., and Nakamura, S. (2016). "Incorporating Discrete Translation Lexicons into Neural Machine Translation." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1557-1567.

Bahdanau, D., Cho, K., and Bengio, Y. (2015). "Neural Machine Translation by Jointly Learning to Align and Translate." In Proceedings of the 3rd International Conference on Learning Representations.

Brown, P. F., Della Pietra, S. A., Della Pietra, V. J., and Mercer, R. L. (1993). "The Mathematics of Statistical Machine Translation: Parameter Estimation." Computational Linguistics, 19 (2), pp. 263-312.

Cettolo, M., Girardi, C., and Federico, M. (2012). "WIT³ Web Inventory of Transcribed and Translated Talks." In Proceedings of the 16th Conference of the European Association for Machine Translation, pp. 261-268.

Chatterjee, R., Negri, M., Turchi, M., Federico, M., Specia, L., and Blain, F. (2017). "Guiding Neural Machine Translation Decoding with External Knowledge." In Proceedings of the 2nd Conference on Machine Translation, pp. 157-168, Copenhagen, Denmark.

Hasler, E., de Gispert, A., Iglesias, G., and Byrne, B. (2018). "Neural Machine Translation Decoding with Terminology Constraints." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 506-512, New Orleans, Louisiana.

Hokamp, C. and Liu, Q. (2017). "Lexically Constrained Decoding for Sequence Generation Using Grid Beam Search." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 1535-1546.

Koehn, P. (2004). "Statistical Significance Tests for Machine Translation Evaluation." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 388-395.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constantin, A., and Herbst, E. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180.

Koehn, P. and Knowles, R. (2017). "Six Challenges for Neural Machine Translation." In Proceedings of the 1st Workshop on Neural Machine Translation, pp. 28-39.

Luong, T., Pham, H., and Manning, C. D. (2015). "Effective Approaches to Attention-based Neural Machine Translation." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421.

Mi, H., Wang, Z., and Ittycheriah, A. (2016). "Vocabulary Manipulation for Neural Machine Translation." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 124-129.

Morishita, M., Suzuki, J., and Nagata, M. (2017). "NTT Neural Machine Translation Systems at WAT 2017." In Proceedings of the 4th Workshop on Asian Translation, pp. 89-94.

Nakazawa, T., Higashiyama, S., Ding, C., Mino, H., Goto, I., Kazawa, H., Oda, Y., Neubig, G., and Kurohashi, S. (2017). "Overview of the 4th Workshop on Asian Translation." In Proceedings of the 4th Workshop on Asian Translation, pp. 1-54.

Nakazawa, T., Yaguchi, M., Uchimoto, K., Utiyama, M., Sumita, E., Kurohashi, S., and Isahara, H. (2016). "ASPEC: Asian Scientific Paper Excerpt Corpus." In Proceedings of the 10th International Conference on Language Resources and Evaluation, pp. 2204-2208.

Post, M. and Vilar, D. (2018). "Fast Lexically Constrained Decoding with Dynamic Beam Allocation for Neural Machine Translation." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1314-1324.

Robbins, H. and Monro, S. (1951). "A Stochastic Approximation Method." Annals of Mathematical Statistics, 22, pp. 400-407.

Sankaran, B., Freitag, M., and Al-Onaizan, Y. (2017). "Attention-based Vocabulary Selection for NMT Decoding." CoRR, abs/1706.03824.

Sennrich, R., Haddow, B., and Birch, A. (2016). "Neural Machine Translation of Rare Words with Subword Units." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 1715-1725.

Shi, X. and Knight, K. (2017). "Speeding Up Neural Machine Translation Decoding by Shrinking Run-time Vocabulary." In Proceedings of the 55th Annual Meeting of the Association for

Computational Linguistics, pp. 574-579.

Snover, M., Dorr, B., Schwartz, R., Micciulla, L., and Makhoul, J. (2006). "A Study of Translation Edit Rate with Targeted Human Annotation." In Proceedings of the 7th Conference of the Association for Machine Translation in the Americas, pp. 223-231.

Takebayashi, Y., Chu, C., Arase, Y., and Nagata, M. (2018). "Word Rewarding for Adequate Neural Machine Translation." In Proceedings of the 15th International Workshop on Spoken Language Translation, pp. 14-22.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L. u., and Polosukhin, I. (2017). "Attention is All you Need." In Advances in Neural Information Processing Systems 30, pp. 5998-6008.

Weng, R., Huang, S., Zheng, Z., Dai, X.-Y., and Chen, J. (2017). "Neural Machine Translation with Word Predictions." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 136-145.

## 付録

A 6.1 節で用いたパラメーター覧

表 6 表 1 のテストセットにおける各設定で用いた単語報酬重み $\lambda$

表 7 表 1 のテストセットにおける各設定で用いた辞書の閥値 $\delta$

表 8 表 5 のテストセットにおける各設定で用いた辞書の間値 $\delta$, 単語報酬重み $\lambda$ および Arthur 法の線形補間の重み $\delta$

## 略歴

竹林 佑斗：2017 年大阪大学工学部電子情報工学科卒業. 2019 年大阪大学大学院情報科学研究科博士前期課程修了. 同年, 株式会社ワークスアプリケー ションズに入社. ACL 会員.

Chenhui Chu: 2008 年重慶大学ソフトウェア工学部卒業. 2012 年に京都大学大学院情報学研究科修士課程修了. 2015 年同大学院博士課程修了. 博士（情報学)。日本学術振興会特別研究員 DC2, 国立研究開発法人科学技術振興機構研究員を経て, 2017 年より大阪大学データビリティフロンティア機構特任助教. 機械翻訳, 自然言語処理の研究に従事. 言語処理学会, 人工知能学会, ACL，各会員.

荒瀬 由紀：2006 年大阪大学工学部電子情報エネルギー工学科卒業. 2007 年同大学院情報科学研究科博士前期課程, 2010 年同博士後期課程修了. 博士（情報科学)。同年, Microsoft Research Asiaに入社, 自然言語処理に関する研究開発に従事. 2014 年より大阪大学大学院情報科学研究科マルチメディア工学専攻准教授, 現在に至る。言い換え表現抽出および生成, 機械翻訳技術,言語教育支援，対話システム研究に興味を持つ.

永田 昌明：1987 年京都大学大学院工学研究科修士課程修了. 同年, 日本電信電話株式会社入社. 現在, コミュニケーション科学研究所上席特別研究員.工学博士．機械翻訳，自然言語処理の研究に従事，電子情報通信学会，情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.


# Bayesian Linear Mixed Model による 単語親密度推定と位相情報付与

浅原 正幸 $\dagger$
}

本論文では『分類語彙表増補改訂版データベース』に対する単語親密度推定手法につい て述べる。分類語彙表に収録されている 96,557 項目に対する評定情報を Yahoo! クラ ウドソーシングを用いて収集した. 1 項目あたり最低 16 人（異なり 3,392 人）の研究協力者に，内省に基づいて「知っている」「書く」「読む」「話す」「聞く」の評定情報付与を依頼した. 研究協力者の評定情報から単語親密度をべイジアン線形混合モデルによ り推定した。また, 推定された単語親密度と分類語彙表の語義情報との関連性について 調査した。

キーワード：単語親密度，ベイジアン線形混合モデル，クラウドソーシング，位相情報
## Word Familiarity Rate and Register Type Estimation Using a Bayesian Linear Mixed Model

\author{
Masayuki Asahara ${ }^{\dagger}$
}

This paper presents research on word familiarity rate estimation using the 'Word List by Semantic Principles'. We collected rating information on 96,557 words in the 'Word List by Semantic Principles' via Yahoo! crowdsourcing. We asked 3,392 subject participants to use their introspection to rate the familiarity and register information of words based on the five perspectives of 'KNOW', 'WRITE', 'READ', 'SPEAK', and 'LISTEN', and each word was rated by at least 16 subject participants. We used Bayesian linear mixed models to estimate the word familiarity rates. We also explored the ratings with the semantic labels used in the 'Word List by Semantic Principles'.

Key Words: Word Familiarity Rate, Bayesian Linear Mixed Model, Crowd-sourcing, Register

## 1 はじめに

辞書は言葉に関するさまざまな特徴を集積したものである．発音・形態論情報・品詞・単語分類・統語情報・意味情報・位相・語源・語釈などにより整理される。単語の使用実態に基づく言葉の特徵として単語親密度がある。単語親密度は, 人々がどのくらいその単語を知っているのか・使うの

かといった，人の主観的な評価に基づく指標である．NTT コミュニーケーション科学基礎研究所 による『日本語の語彙特性』(天野，近藤 1999）は，単語親密度を含む情報を『新明解国語辞典第四版』の見出し項目約 80,000 語について付与した。また同デー夕は朝日新聞の 1985 年から 1998 年の 14 年分の記事データにおける頻度情報も含む。しかしながら，評定情報の収集や頻度情報が 20 年以上前のものである.

本研究では，最近の単語親密度を評定することを試みる，日本語のシソーラスである『分類語彙表増補改訂版』(国立国語研究所 2004) の電子化データ『分類語彙表増補改訂版データベース』(以下「分類語彙表 DB」と呼ぶ）の語彙項目 94,838 語を対象に，単語親密度付与を行った．評定値の 収集にあたっては,「知っている」の観点のほか, 生産過程 $\Leftrightarrow$ 受容過程や書記言語 $\Leftrightarrow$ 音声言語の位相情報を含めるために，「書く」「読む」「話す」「聞く」の 4 つの位相情報についても質問事項に含 めた。安価に，そして，継続的に調査を行うためにクラウドソーシングにより評定値の収集を行っ た.しかしながら,「日本語の語彙特性」の調査のように研究協力者に対する統制などに制約があ り，研究協力者の個体差の影響を受ける問題がある。この問題を緩和するために，収集されたデー 夕をベイジアン線形混合モデル (Bayesian Linear Mixed Model: BLMM) (Sorensen, Hohenstein, and Vasishth 2016) によりモデル化を行う。またシソーラスに単語親密度を付与することにより，統語分類・意味分類に基づく親密度・位相情報の評価もできるようになった.

本研究の貢献は以下の通りである：
- 日本語の大規模シソーラスに対する単語親密度情報の網羅的収集を行った.

・ 単語親密度の評定にクラウドソーシングを用いた.
- 単語親密度の観点において「知っている」だけでなく，「書く」「読む」「話す」「聞く」の 4 つの位相情報についても検討し，単語の位相情報も評価した。これにより, 生産過程 $\Leftrightarrow$ 受容過程や書記言語 $\Leftrightarrow$ 音声言語の対照比較ができる.
- 単語親密度の統計処理にベイジアン線形混合モデルを導入し, 研究協力者の個体差の影響の 軽減を行った.
- 語彙項目は分類語彙表 DB の見出し語を用いた。分類語彙表の統語・意味分類に対して親密度が推定できるほか, UniDic と分類語彙表の対応表 (近藤, 田中 2020) と形態素解析器 を用いて親密度を自動付与できる，さらに，『岩波国語辞典第五版』の語釈文と分類語彙表 の対応表 (呉, 近藤, 森山, 荻原, 加藤, 浅原 2019) の整備も進んでおり，語釈文との対照 できる.

本稿の構成は以下の通りである． 2 節では関連研究について示す． 3 節ではクラウドソーシング に基づく単語親密度推定手法について示す. 4 節で結果を示し， 5 節にまとめと今後の展開につい て示す.

## 2 関連研究

『日本語の語彙特性』 (天野, 近藤 1999) の単語親密度は, 主観的な単語のなじみの程度とし, 18 歳以上 30 歳未満の 40 人に対してアンケート調查により収集したものである. 刺激を，「音声の み」「文字のみ」「音声と文字の両方」の 3 つの手法で呈示し，1-7の７段階評定を「できるだけま んべんなく」付与するように教示したうえで収集した。対象は『新明解国語辞典』第四版の見出し 語 69,084 語とし，表記ゆれに基づき 88,569 パターンの刺激による。評定データは 1995 年 9 月か ら 1996 年 7 月にかけて, NTT 研究所内で収集された. 機関内で収集したために，教示により統制 してデータを収集しているが，公開評定デー夕は 40 人の評定値の平均値による. 研究協力者の個体差の影響を軽減するために，より洗練された統計処理が必要である.

また, 『日本語の語彙特性』は, 客観的な単語のなじみの程度として, テキストコーパスの出現頻度に基づく評定情報も含まれている。 14 年分（1985-1998 年）の朝日新聞の新聞記事を形態素解析器『すもも』で解析したうえで, 頻度情報をデータベース化した. Tanaka-Ishii and Terada (2011) は, 単語親密度と大規模コーパス頻度情報との相関について調査した. 水谷, 河原, 黒橋 $(2018)$ は 単語基本語情報を推定するために，各種語彙表のほか， ウェブコーパスの頻度情報を用いた。

岡久, 久保, 水谷, 河原, 黒橋 (2019) は, 単語の定義（語釈）-被定義（見出し語）関係を用い て，単語の基本度の推定を行った。語釈文の収集にクラウドソーシングを用いた。11,936 語（被定義語）を対象として 1 語あたり 10 人分の語釈文を収集し，基礎データとした，定義－被定義関係 は, シソーラスへの写像 (正津, 白井, 徳永, 田中 2001)に用いられる。また, 単語の基本度を数値化する基本的な考え方は野呂, 徳田 (2007)による.

水谷, 河原, 黒橋 (2019) は, 『JUMAN++』の単語辞書に掲載されている単語 26,000 語を対象 にクラウドソーシングを用いて，「習得時期」を「小学生になる前」「小学校低学年」「小学校高学年」「中学生になった頃」「単語の意味を知らない／見聞きしたことがない」の５段階で収集した。 1 単語あたり 20 人の評定値を収集し, 平均値により単語難易度データベースを構築した.

## 3 手法

本節では, 単語親密度・位相情報の収集方法について示す.はじめに, 収集対象の語彙項目の母集団である分類語彙表 DB について示す. 次に, 質問紙の構成について示す. 最後に, 統計処理手法について示す。なお, 本手法は 2017 年に, 形容詞・副詞・連体詞のみを対象として, 全体の 10 分の1の規模で実行可能性を調査した (浅原 2017) うえで，再設計したものである.

## 3.1 分類語彙表の分類番号の例

『分類語彙表』は現代日本語を対象としたシソーラスで，岩波国語辞典の語彙項目から約 30,000 語が選ばれて採録された。 1964 年に初版 (国立国語研究所 1964)が公刊された.その後, 2004 年 に増補改訂版が公刊され，増補改訂版の CSV ファイル（分類語彙表 DB）が研究用途に公開され $た^{1}$.

分類語彙表 DB は，区切り文字を入れて 101,070 の語彙項目からなり，4つの統語分類である類 （体・用・相・他）と，階層的な意味分類が付与されている. 各項目の分類は 5 ケ夕の数字による分類番号で示され，統語分類は 1 ケタ目，意味分類は小数点以下 4 ケタで表現する，意味分類の 1 ケ 夕目が部門，2 ケ夕目までは中項目，4 ケ夕すべてが分類項目を表す。表 1 に，分類番号「1.1642」 が割り当てられた「昨年」の例を示す。ここで，1ケ夕目「1」は，体の類を表す。小数点以下 4 ケ 夕の「.1642」は階層的な意味分類を表し，1ケ夕目「.1」が部門「関係」を，2 ケ夕目まで「.16」 が中項目「時間」を，4ケ夕「.1642」が分類項目「過去」を表す.

## 3.2 質問紙の構成

本節では，単語親密度を推定するにあたって利用した，質問紙の構成について示す。質問紙は， Yahoo! クラウドソーシング上のフォームで構成する. クラウドソーシングを用いることにより， 96,557 語 ${ }^{2}$ に対して, 短期間に低コストで評定情報を収集が可能である。まず, 質問紙の構成として,書記刺激で呈示された語を知っているかどうか $(\mathrm{KNOW})$ について確認する。音声刺激で呈示しな い代わりに書記言語（書く (WRITE) ・読む $(\mathrm{READ}))$ ・音声言語 $($ 話す $(\mathrm{SPEAK}) \cdot$ 聞く $(\mathrm{LISTEN})$ ) で利用されるかの観点を導入し, 位相情報を推定する。さらに, 生産過程（書く (WRITE) ・話す $(\mathrm{SPEAK}))$ ・受容過程（読む $(\mathrm{READ}) ・$ 聞く (LISTEN)）の観点を導入した. 以下に質問項目の 5 つの観点について示す：

KNOW: 知っている 単語の意味を知っていますか？

全く知らない $(1)-(5)$ よく知っている

表 1 分類語彙表 DB

 & \multicolumn{3}{|c}{ 意味分類 } \\
\cline { 2 - 4 } & 部門 & 中項目 & 分類項目 \\

1. & .1 & .16 & .1642 \\

WRITE: 書く どのくらい普段書いているものに出現しますか？

全く出現しない $(1)-(5)$ よく出現する

READ: 読む どのくらい普段読んでいるものに出現しますか？

全く出現しない $(1)-(5)$ よく出現する

SPEAK: 話すどのくらい普段話すときに出現しますか？

全く出現しない $(1)-(5)$ よく出現する

LISTEN: 聞くどのくらい普段聞くときに出現しますか?

全く出現しない $(1)-(5)$ よく出現する

図 1 に調査に用いた質問紙を示す。評定情報は，（1）全く知らない／全く出現しない，(2) あま り知らない／あまり出現しない， (3) どちらともいえない，(4) 何となく知っている／たまに出現す る，(5)よく知っている／よく出現するの 5 段階で収集するが，リッカート尺度としては収集しな かった。これは, 2017 年の事前調査で数値だけ見て, 全く反対の評定値を付与した研究協力者が 散見されたため，それを回避するために行った。また，調査環境の制約により，天野，近藤 (1999)

図 1 クラウドソーシング上のフォームで構成した質問紙の例

が実験室で行ったように音声刺激を呈示することは行わない。なお，本質問紙調査では，多義語の 異なる語義についての評定（単語心象性）は行わない．研究協力者には「参考情報」として，質問紙の末尾に分類語彙表の分類項目を示す程度にとどめた。

本調査は異なりで 3,392 人の 20 歳以上の Yahoo! クラウドソーシングのアカウントを持ってい る方を対象に，2018 年 11 月に実施した。1つの見出し語あたり少なくとも 16 回答を得た結果，有効データポイント数は $1,617,184$ であった. 収集の要した費用は $1,455,494$ 円であった.

## 3.3 統計モデル

収集した評定デー夕は研究協力者ごと個体差がある。この個体差は，研究協力者の語彙力や回答の傾向に依存するバイアスである。この個体差をべイジアン線形混合モデルのランダム効果によ りモデル化し, 個体差の影響を軽減する。また, 単語親密度情報も単語の特性としてランダム効果によりモデル化する。グラフィカルモデルを図 2 に示す. $N_{\text {word }}$ は語彙項目 $\times 5$ 観点 $(\mathrm{KNOW}$, WRITE, READ, SPEAK, LISTEN) の定義域, $N_{\text {subj }}$ は研究協力者の数で, それぞれ単語・観点 のインデックス $i: 1 \ldots N_{w o r d}$, 研究協力者のインデックス $j: 1 \ldots N_{s u b j}$ とする. $y^{(i)(j)}$ は語彙項目 $\times 5$ 観点 $\left(\right.$ KNOW, WRITE, READ, SPEAK, LISTEN) の値域で, $y$ は平均 $\mu^{(i)(j)}$ 標準偏差 $\sigma$ によって定義される正規分布とする：

$
y^{(i)(j)} \sim \operatorname{Normal}\left(\mu^{(i)(j)}, \sigma\right) .
$

$\sigma$ は標準偏差としてのハイパーパラメータで, $\mu^{(i)(j)}$ は, 切片 $\alpha$ と語彙項目 $\times 5$ 観点のランダム効果 $\gamma_{w o r d}^{(i)}$ と研究協力者のランダム効果 $\gamma_{s u b j}^{(j)}$ の線形式で定義する:

$
\mu^{(i)(j)=\alpha+\gamma_{w o r d}^{(i)}+\gamma_{s u b j}^{(j)}}
$

図 2 統計モデル
語彙項目 $\times 5$ 観点のランダム効果 $\gamma_{w o r d}^{(i)}$ と研究協力者のランダム効果 $\gamma_{s u b j}^{(j)}$ は, それぞれハイパー パラメータ平均 $\mu_{w o r d}, \mu_{s u b j}$, 分散 $\sigma_{w o r d}, \sigma_{s u b j}$ によって定義される正規分布によりモデル化する:

$
\begin{gathered}
\gamma_{w o r d}^{(i)} \sim \operatorname{Normal}\left(\mu_{w o r d}, \sigma_{w o r d}\right) \\
\gamma_{s u b j}^{(j)} \sim \operatorname{Normal}\left(\mu_{s u b j}, \sigma_{\text {subj }}\right)
\end{gathered}
$

このうち単語親密度はランダム効果 $\gamma_{w o r d}^{(i)}$ の推定値である. 一方, 研究協力者の個体差はランダム 効果 $\gamma_{s u b j}^{(j)}$ の推定値であるが, 結果的に研究協力者の語彙力の評価値となる. ハイパーパラメータ はデータから推定を試みた結果, 収束しなかったために, 平均 $\mu_{w o r d}, \mu_{s u b j}$ を 0.0 , 標準偏差 $\sigma_{w o r d}$, $\sigma_{\text {subj }}$ を 1.0 とした.

推定には R と Stan を用いた. warm-up 100 iteration のあと, 5,000 iteration $\times 4$ chains 並列 でシミュレーションし, すべてのモデルは収束した.

## 4 推定した単語親密度・位相情報の分析

本節では, 推定された単語親密度の質的評価を行う， 4.1 節に, 得られた 5 観点の評定値の分布 と, 研究協力者の個体差の分布について示す. 4.2 節で各観点の上位 10 語・下位 10 語について確認する．4.3 節で分類語彙表の中項目（意味分類の第 2 レベル）による上位 10 カテゴリ・下位 10 カテゴリについて確認する. 4.4 節にベイジアン線形混合モデルの効果について示し, 4.5 節に『日本語の語彙特性』との比較を示す. 4.6 節に結果のまとめを示す.

## 4.1 分布

図 3 に推定された単語親密度のヒストグラムを示す. $\mathrm{x}$ 軸が 単語親密度に相当する $\gamma_{w o r d}^{(i)}$ で, $\mathrm{y}$軸がそのビン（ビンの幅 0.1 ）に入る頻度である．5 観点ごとに集計されており，KNOW が他の観点よりも高い単語親密度にある傾向がみられる。受容過程である READ と LISTENが高く, 生産過程である WRITE と SPEAK は低い傾向がみられた。言語の運用において，知識>受容>生産 の順に語彙数が分布していることがわかる。また，值が大体 -2 から 2 に分布しており，おおよそ 5 段階評価の值としてそのまま利用できる.

図 4 に推定された研究協力者の個体差のヒストグラムを示す. $\mathrm{x}$ 軸が研究協力者の個体差 $\gamma_{s u b j}^{(j)}$ で， y 軸がビン（ビンの幅 0.1 ）に入る頻度である，標準正規分布でモデル化しているために，グ ラフもその形状になる。今回は利用しないが, この値は研究協力者の語彙力としてそのまま利用す ることができる.

他の分布に基づく個体差のモデル化については今後の検討課題とする. 例えば, 研究協力者の分布について標準正規分布とせずにモデル化を試みたが収束しなかった．今後，年次でデータを収集

WRITE

READ

LISTEN

図 3 推定した単語親密度 $\left(\gamma_{\text {word }}^{(i)}\right): 5$ 観点の分布

Subjects

図 4 推定した研究協力者の個体差の分布 $\left(\gamma_{s u b j}^{(j)}\right)$

し拡充することで，他の分布に基づくモデル化を進めるとともに，調査年の要因を入れることで経年変化の調査を進めたい.

## 4.2 見出し語に対する評価

本節では，推定された単語親密度の上位 10 件・下位 10 件について確認する。

## 4.2.1「知っている」

まず，最初に「知っている」(KNOW) の上位 10 件・下位 10 件について確認する。表 2 と表 3 に上位 10 件・下位 10 件の事例を評定値と『国語研日本語ウェブコーパス』(NWJC)(Asahara, Maekawa, Imada, Kato, and Konishi 2014) の検索系『梵天』文字列検索 (浅原，河原，大場，前川 2018) のヒット件数とともに示す. 検索時にはルビは削除した。 上位 10 件には日常生活でよく 利用する用語が出現し，下位 10 件には近年あまり使われない語が出現する。なお，活用語は基本形で調查したため，活用しない語よりも頻度が低い傾向にある。

梵天の文字列検索のヒット件数は活用語においては基本形のみの件数であり，低くなる傾向にあ る. さらにカタカナ語「スフ」は他の語の部分文字列になりやすいために件数が高くなる傾向がみ られる，頻度情報との対照は，以上の注意が必要だが，基本的には高頻度語が上位に，低頻度語が 下位に位置する。

また, WRITE, READ, SPEAK, LISTEN の単体の 4 観点についても基本的には同様の語彙が みられた。詳細な議論については, 次小節以降の書記言語・音声言語もしくは生産過程・受容過程 の観点による分析で示す.

表 2 「知っている」上位 10 件 (KNOW)

表 3 「知っている」下位 10 件 (KNOW)

## 4.2.2 書記言語・音声言語

次に, 書記言語 (WRITE/READ) と音声言語 (SPEAK/LISTEN) の傾向を確認した。『日本語 の語彙特性』の調査では，書記刺激と音声刺激の 2 つの刺激により統制するが，本実験では直接言語運用実態を質問することによる。ここでは書記－音声 (WRITE + READ - SPEAK - LISTEN) の値を評価した。この値が正である場合に書記言語選好であり，この値が負である場合に音声言語選好である。

表 4 に書記言語選好上位 10 件（書記 - 音声 が正の値）を示す. 記号関連の「アンパサンド」「句読点」や，手紙や文書で用いられる「上記」「追伸」「記」「前略」「下記」などがみられた．表 5 に音声言語選好上位 10 件（書記 - 音声が負の値）を示す.「先っちょ」「バイバイ」「まんま」「どっ こいしょ」など，話しことばが多くみられた。

## 4.2.3 生産過程・受容過程

本節では生産過程 (WRITE, SPEAK) と受容過程 (READ, LISTEN)の差について評価する。具体的には, 生産 - 受容 $($ WRITE + SPEAK - READ - LISTEN) の正負により検討する。この観点は過去の研究では，管見の限り調査されていない.

表 6 に生産過程選好上位 10 件を示す. 基本的には受容過程のほうが生産過程よりも親密度が高 くなる傾向になるために，值は正であっても小さい，得られた語彙は，特定分野の専門用語が多 かった．例えば，「毛管」「絆創膏」のような看護医療用語であったり，「吟詠する」など詩吟の用語であったりした．表 7 に受容過程選好上位 10 件を示す.「殺害」「書類送検」などの報道記事な どで出現する語や, 当時の大河ドラマの主人公「西郷隆盛」が上位にみられた。生産過程選好か受容過程選好かは，特定の分野で用いられる用語か，マスメディアで用いられる用語かを反映させて いることがわかる.

表 4 書記言語選好上位 10 件

表 5 音声言語選好上位 10 件

## $4.3 『$ 分類語彙表』の分類に基づく評価

本節では分類語彙表の分類に基づく評価を行う。分類語彙表の中項目まで（小数点以下 2 ケ夕） で推定した結果の平均を取り，値の上位カテゴリ・下位カテゴリについて分析を行う.

## 4.3.1 「知っている」

表 8 , 表 9 に「知っている」分類語彙表の中項目カテゴリ上位・下位 10 件を示す. 相・用の類が 上位傾向にあり，体の類が下位傾向にある。「知っている」上位カテゴリは 3.53 (相-自然-生物) で 「女性的」 $(\mathrm{KNOW}=1.81)$, 「男性的」 $(\mathrm{KNOW}=1.71)$ などの単語が含まれる.「知っている」下位 カテゴリは 3.52 (相-自然-天地) で「蕭条」 $(\mathrm{KNOW}=-1.46)$ ，「巍巍」 $(\mathrm{KNOW}=-1.35)$ などが含ま れる。

表 6 生産過程選好上位 10 件

表 8 「知っている」上位カテゴリ

表 7 受容過程選好上位 10 件

表 9 「知っている」下位カテゴリ

## 4.3.2 書記言語・音声言語

表 10 , 表 11 に書記言語選好カテゴリと音声言語選好カテゴリを示す. 体の類の活動・主体が書記言語選好である傾向がみられる。一方，他の類の呼びかけ・感動や相の類が音声言語選好である 傾向がみられる．最も書記言語選好であるカテゴリは 1.31 (体-活動-言語) で，「上記」(WRITE + READ - SPEAK - LISTEN $=3.87)$, 「追伸」 $($ WRITE + READ - SPEAK - LISTEN = 2.65) な どの用語が見られた。もっとも音声言語選好であるカテゴリは 4.32 (他-呼びかけ) で「もしもし」 $($ WRITE + READ - SPEAK - LISTEN $=-1.75)$ が含まれる.

## 4.3.3 生産過程・受容過程

表 12 , 表 13 に生産過程選好カテゴリと受容過程選好カテゴリを示す.

一般的に, 受容過程の値 (READ, LISTEN) のほうが, 生産過程の値 (WRITE, SPEAK) より

表 10 書記言語選好カテゴリ

表 11 音声言語選好カテゴリ

表 13 受容過程選好カテゴリ

も大きい傾向にある.このため, 生産 - 受容 (WRITE + SPEAK - READ - LISTEN) の值は, カテゴリレベルでは生産過程選好のものでも負になる。生産過程選好のカテゴリは 4.50 (他-動物の鳴き声) で「げろげろ」 (WRITE + SPEAK - READ - LISTEN = 0.45) や「かーかー」 $($ WRITE + SPEAK - READ - LISTEN = 0.23) が含まれる. 受容過程選好のカテゴリは 1.27 (体-主体-機関) で「厚生労働省」(WRITE + SPEAK - READ - LISTEN $=-2.23)$ や金融庁」 $($ WRITE + SPEAK - READ - LISTEN $=-2.18)$ が含まれる.

## 4.4 ベイジアン線形混合モデルの効果

本節ではべイジアン線形混合モデルを用いた効果について概説する。

混合モデルを用いた効果として，得られた評価情報を稠密にすることがあげられる．図 5 に日本語の語彙特性』の書記音声刺激の評定値の分布を, 図 6 に統計処理前の評定値の分布（知ってい る）を，図 7 に統計処理後の評定值の分布（知っている）を，ビンの幅を 0.01 にしたヒストグラ

図 5 『日本語の語彙特性』の評定値の分布（書記音声刺激）

図 6 統計処理前の評定値の分布（知っている）

図 7 統計処理後の評定値の分布（知っている）

ムにより示す. 『日本語の語彙特性』においては各語 40 人の評定値のため $1 / 40=0.025$ 単位の離散的な値となる。本データにおいても各語 16 人の評定値のため，統計処理をしなかった場合には $1 / 16=0.0625$ 単位の離散的な値となる. 同じ評定値を持つ語が多く, 事例がないビンも出現し,分布が疎になる（図 5, 図 6). 例えば，評定値（知っている）が最高の 5.0 である項目は 410 事例 あり，これらの同じ評定値が割り当てられている事例間の差異が得られない。一方，統計処理をし た場合には，適切に平滑化が行われ，すべてのビンに項目が含まれ，分布が密になる（図 7).

本研究ではランダム切片に基づく平滑化を行う．この平滑化においては，評定値の研究協力者ご との平均値が用いられる。回答する評定値が高い研究協力者群に対しては, その研究協力者ごとの 平均值に応じて評定值を減じ，回答する評定値が低い研究協力者群に対しては，その研究協力者ご との平均値に応じて評定值を増じる。これにより，研究協力者の回答の個体差をモデル化したうえ で, 1 研究協力者内の語彙項目ごとの回答の差異に基づいて，語彙項目の評定値をモデル化するこ とができる。，他の平滑化手法として，ランダム傾きに基づく平滑化がある。この平滑化においては,研究協力者ごとの分散に応じて，評定値を増減する.

ベイジアン線形混合モデルは，この平滑化を含む線形モデルを，事後分布を生成するランダムサ ンプリングによりベイズ推定するものである．本研究ではランダム切片モデルのみならず，ランダ 傾きモデルについても検討したが, 収束しなかった。 今後, データを増やして, よりあてはまり のよいモデルを検討したい.

## 4.5 『日本語の語彙特性』単語親密度との比較

本節では, 『日本語の語彙特性』(天野, 近藤 1999) の単語親密度との比較を行う。『日本語の語彙特性』と本データとで, 表記と読みが同じ語彙項目が 41,634 対あった. 『日本語の語彙特性』デー 夕においては，書記音声刺激・音声刺激・書記刺激の 3 つを比較対象とする。本データにおいては 推定した 11 個の項目すべてを比較対象とする．本デー夕は，表記と読みが同じであるが語義が異 なる語彙項目がある。この場合，「知っている」の評定値が最も高いものを対照する．対照はスピ アマンの順位相関係数に基づく，夕イの場合は同順位の平均値を用いる補正を行う．表 14 に書記音声刺激に対する相関係数，表 15 に音声刺激に対する相関係数，表 16 に書記刺激に対する相関係数を示す. 全ての検定において $p<0.01$ であった.

本データの「書記-音声」「生産-受容」以外の指標は, 『日本語の語彙特性』のいずれとも正の相関

表 14 『日本語の語彙特性』書記音声刺激と本データとの比較（順位相関係数）

表 15 『日本語の語彙特性』音声刺激と本データとの比較（順位相関係数）

表 16 『日本語の語彙特性』書記刺激と本データとの比較（順位相関係数）

があることがわかる。そのなかでも書記音声刺激・書記刺激と強い正の相関があることがわかる.

「書記-音声」「生産-受容」については中程度の負の相関がある。

## 4.6 結果のまとめ

まず，調查結果の分布をみると「知っている」>「読む」「聞く」>「書く」「話す」と，言語運用の負荷レベルで評定値に差異が出ることが明らかになった.

「知っている」「書く」「読む」「話す」「聞く」の５観点の親密度上位語・下位語を確認すると， ほぼ同じ語が分布することが確認できた。このため, 書記言語 $\Leftrightarrow$ 音声言語, 生産過程 $\Leftrightarrow$ 受容過程 の 2 軸で分析することを試みた，具体的には対となる值を引き算することで，評定値の偏りがある 語の上位 10 件について検討した，書記言語選好・音声言語選好の対照分析においては，書きこと ば・話しことばの語彙を適切にモデル化できていることを確認した. また, 生産過程選好・受容過程選好の対照分析においては, 特定分野の用語・マスメディアの用語といった比較ができることが わかった。 さらに分類語彙表の中項目までのカテゴリ情報で同様の分析を試みた。用・相の類のほ うが体の類よりも親密度が高い語が多いことがわかった。また体の類の活動・主体が書記言語選好 で，他の類の呼びかけ$\cdot$感動が音声言語選好であった。生産過程選好のカテゴリとして他の類が多 くみられる一方, 受容過程選好のカテゴリは体の類の主体・活動, 用の類の活動など, マスメディ アで用いられやすい語が多かった。

ランダム切片を用いたべイジアン線形混合モデルにより，同順位の語彙項目を多く含む疎な評定値を, 研究協力者の個体差を考慮した密な評定値に変換できることを図 6 , 図 7 の対比により示し た.また，先行研究の『日本語の語彙特性』との相関について検討した（表 14 ，表 15，表 16）.

## 5 おわりに

本稿では，分類語彙表 DB の見出し語に対する単語親密度付与について解説した．短期間で安価に作業を進めるためにクラウドソーシングを用いて， 1 見出し語あたり 16 人の評定値を付与し た. 得られたデータをべイジアン線形混合モデルのランダム効果を用いて，親密度と研究協力者の 個体差を同時にモデル化を行い，研究協力者の評定値のバイアスを吸収した．評定する観点として 「知っている」だけでなく，「書く」「読む」「話す」「聞く」を含めた 5 観点を導入した。これによ り，書記言語 $\Leftrightarrow$ 音声言語・生産過程 $\Leftrightarrow$ 需要過程の 2 軸の位相情報を導入する．軸の反対方向の観点との差分を取ることにより，言語使用に偏りがある語を抽出することができた. UniDic-分類語彙表対応表 (近藤, 田中 2020) が整備されており, 言語資源を組み合わせることで形態素解析結果 に単語親密度を割り当てることも可能である.

構築したデータは https://github.com/masayu-a/WLSP-familiarity/ で配布するほか, 辞書検索ツール CradleExpress https://cradle.ninjal.ac.jp/ で閲覧可能である.

以下, 今後の課題について示す. 本研究では, 研究協力者の評定值の個体差を標準正規分布によ りモデル化した，他のモデルについても検討したが，現状のデータポイント量では収束が困難で あった．今後，年次でデータを拡充することで適切なモデル化をすすめたい．その際には調査年の 要因を含めるとともに，語彙を UniDic の語彙素から表記ゆれを展開するなど表記間の差異につい ても検討したい.

また, 本データの単語親密度, 『現代日本語書き言葉均衡コーパス』に対する分類語彙表番号付与データ (加藤, 浅原, 山崎 2019), 岩波国語辞典の語釈文 (呉他 2019)の定義-被定義関係などを 用いて, 単語心象性の調查を行う。単語心象性は, 多義語の語義ごとの親密度を推定するものであ る. 刺激呈示時に語義の情報を結びつける必要がある。本研究では質問紙の末尾に参考情報として 分類語彙表の分類項目の情報を示しているが，ほとんどの研究協力者が語義を意識していないと考 える。用例や語釈文などの情報を用いて, 明示的に語義を示すことで, 語義ごとの親密度である単語心象性の調査を進めたい.

## 謝 辞

本研究は, 国立国語研究所コーパス開発センター共同研究プロジェクト「コーパスアノテーション の拡張・統合・自動化に関する基礎研究」によるものです. 本研究の一部は JSPS 科研費 基盤研究 (A) 17H00917, 基盤研究 (C) 19K00591, 基盤研究 (C) 19K00655, 挑戦的研究 (萌芽) 18K18519,新学術領域研究 $18 \mathrm{H} 05521$ の助成を受けたものです.

## 参考文献

天野成昭, 近藤公久（編）(1999). 日本語の語彙特性. 三省堂, 東京.

浅原正幸 (2017). 『分類語彙表』に対する単語親密度推定一相の類を中心に一. 電気情報通信学会

思考と言語研究会 (TL), TL2017-22, pp. 45-50.

浅原正幸, 河原一哉, 大場寧子, 前川喜久雄 (2018).『国語研日本語ウェブコーパス』とその検索

系『梵天』。情報処理学会論文誌, 59 (2), pp. 299-305.

Asahara, M., Maekawa, K., Imada, M., Kato, S., and Konishi, H. (2014). "Archiving and

Analysing Techniques of the Ultra-Large-Scale Web-Based Corpus Project of NINJAL,

Japan." Alexandria, 1-2, pp. 129-148.

加藤祥, 浅原正幸, 山崎誠 (2019). 分類語彙表番号を付与した『現代日本語書き言葉均衡コーパス』

の書籍・新聞・雑誌デー夕. 日本語の研究, $15(2)$, pp. 134-141.

国立国語研究所 (1964). 分類語彙表. 秀英出版, 東京.

国立国語研究所 (2004). 分類語彙表増補改訂版. 大日本図書, 東京.

近藤明日子, 田中牧郎 (2020).「分類語彙表番号一UniDic 語彙素番号対応表」の構築. 国立国語研

究所論集, 18, pp. 77-91.

水谷勇介，河原大輔，黑橋禎夫 (2018). 日本語単語の難易度推定の試み. 言語処理学会第 25 回年

次大会発表論文集, pp. 670-673.

水谷勇介，河原大輔，黒橋禎夫 (2019). クラウドソーシングを用いた習得時期の想起質問に基づく

単語難易度データベースの構築. 言語処理学会第 25 回年次大会発表論文集, pp. 1503-1506.

野呂智哉, 徳田雄洋 (2007). 語釈文記述のための日本語定義語彙の構築に関する一考察. 言語処理

学会第 13 回年次大会発表論文集, pp. 626-629.

岡久太郎, 久保圭, 水谷勇介，河原大輔，黒橋禎夫 (2019). クラウドソーシングにより収集した語

釈文を基にした単語の基本度推定. 言語処理学会第 25 回年次大会発表論文集, pp. 1499-1502.

正津康弘，白井清昭，德永健伸，田中穂積 (2001). 国語辞典の語釈文の解析と語義のシソーラスヘ のマッピング.第 15 回人工知能学会全国大会論文集, 2B2-01.

Sorensen, T., Hohenstein, S., and Vasishth, S. (2016). "Bayesian Linear Mixed Models Using Stan:

A Tutorial for Psychologists, Linguists, and Cognitive Scientists." Quantitative Methods for Psychology, 12 (3), pp. 175-200.

Tanaka-Ishii, K. and Terada, H. (2011). "Word Familiarity and Frequency." Studia Linguistica, $65(1)$, pp. 96-116.

呉佩珣, 近藤森音，森山奈々美，荻原亜彩美，加藤祥，浅原正幸 (2019). 『分類語彙表』と『岩波国語辞典第五版タグ付きコーパス 2004』の対応表. 言語資源活用ワークショップ 2019 発表論文集, pp. 337-342.

## 略歴

浅原 正幸: 2003 年奈良先端科学技術大学院大学情報科学研究博士後期課程修了. 2004 年より同大学助教. 2012 年より人間文化研究機構国立国語研究所コーパ ス開発センター特任准教授. 2019 年より同教授. 博士 (工学). 言語処理学会,日本言語学会, 日本語学会各会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 抽出型オラクル要約の人手評価
## 平尾努 $\dagger \cdot$ 西野 正彬 $\dagger \cdot$ 永田 昌明 $\dagger$

本稿では, 抽出型要約手法におけるオラクル要約, すなわち自動評価スコアを最大化 する要約を生成するための整数計画問題による定式化を示し, 抽出型要約システム が到達可能な自動評価スコアの上限値を明らかにする。そして，オラクル要約の妥当性を検証するため, ピラミッド法と Document Understanding Conference (DUC) で利用されたQuality Questions を用いて内容と言語品質の双方の観点から人手評価 を行う. 文抽出, Elementary Discourse Unit (EDU) 抽出, 根付き部分木抽出の 3 種 の抽出型要約手法を対象とし, Text Analysis Conference (TAC) 2009/2011 のデータ セットを用いて ROUGE と BasicElements (BE)を最大化するオラクル要約を生成 してそれらを評価した。その結果, 抽出型オラクル要約の自動評価のスコア, ピラ ミッド法による評価スコアは現状の要約システムのスコアよりも明らかに優れてい ることがわかった。一方, 言語品質に関しては現状の要約システムと差がない, あ るいは劣る結果となった。これらより, 抽出だけでもまだ良い要約を生成できる余地がある一方，言語品質を改善する必要が明らかとなった.

キーワード：オラクル要約，抽出型要約, 整数計画問題

## Manual Evaluations of Extractive Oracle Summaries

\author{
Tsutomu $^{\prime} \operatorname{HiraO}^{\dagger}$, Masaaki Nishino $^{\dagger}$ and Masaaki Nagata ${ }^{\dagger}$
}

In this paper, we derive the Integer Linear Programming (ILP) formulations to obtain extractive oracle summaries to reveal the upper bound automatic score of the extractive summarization paradigm. Then, we manually evaluate the oracle summaries in terms of the pyramid method and Quality Questions to assess the validity of the oracle summaries. We evaluated three kinds of extractive oracle summaries, sentence extraction, Elementary Discourse Unit (EDU) extraction, and subtree extraction, against ROUGE and Basic Elements (BE) on Text Analysis Conference (TAC) 2009/2011 data sets. The results demonstrated the pyramid scores and automatic scores of the oracle summaries are quite high, but the linguistic quality of them is not so good. The results imply that we can generate informative summaries by extraction, but we have to improve the linguistic quality of the summaries.

Key Words: Oracle Summaries, Extractive Summarization, Integer Linear Programming

## 1 はじめに

流暢な文の生成を可能にするニューラルネットワークによる系列変換モデル (Sutskever， Vinyals, and Le 2014；Bahdanau, Cho, and Bengio 2014）の発展は，文生成を利用する自然言語処理タスクに大きな恩恵をもたらした。文書要約タスクも例外ではなく, Rush, Chopra, and Weston (2015) 以降, 系列変換モデルを用いた生成型要約 (abstractive summarization) の研究が盛んに行われており, ヘッドライン生成, 単一文書要約ではそれが顕著である。一方, 文書 の一部を抜き出すことで要約を生成する抽出型要約 ${ }^{1}$ (extractive summarization) の研究は脈々 と続いているものの生成型要約の研究と比較すると数は少なくなってきた. たとえば， 2019 年開催の第 57 回 Association for Computational Linguistics (ACL) では, 抽出型要約手法に関す る発表は約 5 件であったが生成型要約手法に関する発表は約 15 件であり, 生成型要約手法に注目が集まっていることがよくわかる。このように自動要約研究の主流は抽出から生成へと移り 変わりつつある。では，抽出型要約は終わってしまった研究，すなわち，継続する価值のない 研究なのだろうか？この疑問に答えるためには，抽出型要約手法の上限，つまり抽出型要約で どれほど人間の要約に近づけるかを知る必要がある。抽出型要約手法の上限が十分高い水準に あるのならば，研究を続ける価値があるし，そうでないのならば続ける価値はない．自動要約手法のパラダイムが移りつつあるいまだからこそ，抽出型要約手法の上限を明らかにすること は自動要約研究の今後の発展に大きな意味を持つと考える。

本稿では人間が生成した参照要約に対する自動評価スコアを最大化する抽出による要約，す なわち抽出型オラクル要約を上限の要約とみなす。そして，それを得るための整数計画問題 による定式化を提案し，自動評価という観点から抽出型要約手法の到達点を調べる。次に，そ の妥当性をより詳細に検証するため，ピラミッド法 (Nenkova and Passonneau 2004; Nenkova， Passonneau, and McKeown 2007), Document Understanding Conference (DUC) ${ }^{2}$ で用いられた Quality Questions (Trang Dang 2006) を用いて内容と言語品質の両側面から人手で評価し，そ れが人間にとってどの程度良い要約なのかを検証する。

Text Analysis Conference (TAC) ${ }^{3}$ 2009/2011 のデータセットを用いて，自動評価指標である ROUGE-2 (Lin 2004), Basic Elements (BE) (Hovy, Lin, Zhou, and Fukumoto 2006) に対する文抽出, Elementary Discourse Unit (EDU) 抽出, 根付き部分木抽出の 3 種の抽出型オラクル要約 を生成し，上記の観点でそれらを評価したところ，(1) 自動評価スコアはいずれの抽出型オラ クル要約も非常に高く, 現状のシステム要約のスコアと比較すると差が大きいことがわかった. (2) ピラミッド法による評価結果から, 要約の内容評価という点でも優れていることがわかっ
^{3}$ https://tac.nist.gov
}

た. (3)しかし, Quality Questionsによる言語品質評価の結果は, 現状の要約システムと大差 ない, あるいは劣る結果となった。これらより, 抽出型要約手法で重要情報に富んだ要約を生成できることが明らかとなった。つまり, 抽出型要約は今後も続けていく価値のある研究であ ることが示された. その一方, 言語品質には改善の余地があることも明らかとなった.

## 2 抽出型オラクル要約の定義

オラクル要約とは参照要約にもっとも類似し，かつシステムが生成可能な要約を指す. 生成型要約の場合, その要約生成の仕組みに一切の制約がないため, 実際にそれが生成可能かどう かの議論はあるが，オラクル要約は参照要約そのものになる。一方，抽出型要約は原文書中の テキストユニットを切り貼りして要約を生成するため，参照要約を再現することは基本的には 不可能である. よって, 抽出型オラクル要約（以降，オラクル要約）は参照要約との間の類似尺度を最大化する原文書中のテキストユニットの集合と定義できる。一般的には，ROUGE やBE などの自動評価指標が類似尺度として利用されるので, 自動評価指標 (ROUGE-2/BE) を $f($ ),参照要約の集合を $\mathcal{R}$ ，原文書におけるテキストユニット集合を $\mathcal{D}$ とすると，オラクル要約は以下の定義となる.

$
\begin{aligned}
& \qquad O=\underset{S \subseteq \mathcal{D}}{\operatorname{argmax}} f(\mathcal{R}, S), \\
& \text { subject to } \quad \ell(S) \leq L .
\end{aligned}
$

$\ell()$ は要約の長さを返す関数であり， $L$ はあらかじめ与えられた要約長である。そして, $f()$ は 以下の式で与えられる。

$
f(\mathcal{R}, S)=\frac{\sum_{i=1}^{|\mathcal{R}|} \sum_{j=1}^{\left|U_{\mathcal{R}}\right|} \min \left.\{N\left(u_{j}, R_{i}\right), N\left(u_{j}, S\right)\right.\}}{\sum_{i=1}^{|\mathcal{R}|} \sum_{j=1}^{\left|U_{\mathcal{R}}\right|} N\left(u_{j}, R_{i}\right)}
$

$U_{\mathcal{R}}$ は自動評価スコアの計算に利用する基本ユニットの参照要約全体における集合である. ROUGE-2 であればバイグラム集合，BEであれば依存関係にある単語対とその関係ラベルから なるタプル集合をあらわす. $u_{j}$ はその $j$ 番目の要素である. $N\left(u_{j}, R_{i}\right)$ は $u_{j}$ の $R_{i}$ における頻度， $N\left(u_{j}, S\right)$ は $u_{j}$ の $S$ における頻度である。式 (2)の分母は $S$ に依存しないため，分子を最大化すればオラクル要約を得ることができる。式 $(2)$ より，関数 $f()$ の分子は $u_{j}$ の重みを $S$ にお ける頻度 $N\left(u_{j}, S\right)$ と $R_{i}$ における頻度 $N\left(u_{j}, R_{i}\right)$ のどちらか小さい方として, すべてのユニット に対してその和を計算したものである。 よって式 (1)の最適化問題は, $N\left(u_{j}, R_{i}\right)$ があらかじめ 決まった値であることを考慮すると，長さ制約のもと，ユニット $u_{j}$ の被覆回数を $N\left(u_{j}, R_{i}\right)$ まで はカウントしつつその和を最大化するよう $\mathcal{D}$ の部分集合 $S$ を選択する問題となる。これは一種 の Max- $k$-Cover 問題であり，NP 困難であることが示されている (Feige 1998; Feige, Mirrokni，
and Vondrák 2011) . そして, この問題に対し疑多項式時間で厳密解を得ることのできるアル ゴリズムが知られていないことから，本稿では整数計画問題による定式化を提案し，ソルバを 利用することでオラクル要約を生成する.

## 3 整数計画問題によるオラクル要約の生成の定式化

本稿では，文抽出，EDU 抽出，根付き部分木抽出の 3 種の抽出型オラクル要約を生成するた めの整数計画問題による定式化を提案する．オラクル要約を得るための自動評価指標としては, TAC の公式指標として用いられた ROUGE-2 と BE を利用する。 よって，スコア計算の基本ユ ニットはバイグラム，係り受け関係にある 2 つの単語と関係ラベルのタプルとなる。なお，以下の定式化では原文中の文，EDU，チャンク（依存構造木のノード），単語にはユニークなイン デックスが割り当てられていることを想定している（図 1 参照）.

$S_{1} \quad$ [The amphibians] [have] [wet] [skin] [and live] [near water] [.]

$S_{2}$ [Larvae] [amphibians] [and fishes] [have] [gills] [and live] [in water] [.]

Subtree extraction

$u_{j}=$ "amphibians have" $V_{u_{j}}=\{(2,3),(12,15),(22,28)\}$

$s_{3}$ [Amphibians] [that] [include] [frogs] [and newts] [have] [a backbone] [.

図 1 単語, チャンク, EDU, 文の関係。実線矢印はチャンク間の係り受け関係をあらわす.
^{4}$ ROUGE が劣モジュラ関数であることが Lin ら (2011)によって証明されており，劣モジュラ関数の最大化が NP 困難であることが Feige ら (2011) によって示されていることから, 式 (1) の最適化問題が NP 困難であるという こともできる.
}

## 3.1 文抽出によるオラクル要約

文抽出型要約は広く利用される要約手法である。もっとも古典的な手法であり, 1958 年より その研究が始まったと言われている (Luhn 1958)，文抽出によるオラクル要約を得るための整数計画問題による定式化は以下となる.

$
\begin{array}{cll}
\operatorname{maximize} & \sum_{i=1}^{|\mathcal{R}|} \sum_{j=1}^{\left|U_{\mathcal{R}}\right|} z_{i, j} & \\
\text { subject to } & N\left(u_{j}, R_{i}\right) \geq z_{i, j} & \forall i, j \\
& \sum_{p \in V_{u_{j}}} t_{p} \geq z_{i, j} & \forall i, j \\
& s_{\mathrm{id}(p)} \geq t_{p} & \forall p \in V_{u_{j}} \\
& \sum_{k=1}^{|\mathcal{D}|} \ell_{k} s_{k} \leq L & \\
& s_{k} \in\{0,1\} & \forall k \\
t_{p} \in\{0,1\} & \forall p \\
z_{i, j} \in \mathbb{Z}_{\geq 0} & \forall i, j
\end{array}
$

式 (3) は式 (2) の分子を最大化するための目的関数であり, 解として得られる $z_{i, j}$ は式 (2) にお ける $\min \left(N\left(u_{j}, R_{i}\right), N\left(u_{j}, S\right)\right)$ と一致する.ここで, $z_{i, j}$ が $u_{j}$ の $i$ 番目の参照要約における頻度 と要約 $S$ における頻度のうち, 小さい方の値をとるようにするための制約が式 (4) と (5)であ る. 式 (4)より, $z_{i, j}$ は $u_{j}$ の $i$ 番目の参照要約における頻度よりも小さいことが保証され，式 (5)より， $z_{i, j}$ は原文書における $u_{j}$ の頻度よりも小さいことが保証される。したがって， $z_{i, j}$ は $i$ 番目の参照要約における $u_{j}$ の頻度, 原文書における $u_{j}$ の頻度の双方よりも小さい值をとる. なお，原文書における $u_{j}$ のすべての出現をその左側の単語の出現位置をあらわすインデックス と右側の単語の出現位置をあらわすインデックスのペアの集合 $V_{u_{j}}$ としてあらわす. $t_{p}$ は 0/1 変数であり, $t_{p}=1$ のときに $V_{u_{j}}$ 中の単語の出現位置インデックスペア $p$ に対応する基本ユニッ トがオラクル要約に採用される。 $\operatorname{id}(p)$ は， $p$ に対応する基本ユニットが出現する文番号を返す 関数であり, 式 (6) は基本ユニットと文の間の依存関係をあらわす. $t_{p}=1$ のときには, $p$ に対応する基本ユニットを含む $\operatorname{id}(p)$ の文がオラクル要約に採用される。 すなわち任意の文をオラク ル要約に採用するか否かをあらわす $0 / 1$ 変数 $s_{\mathrm{id}(p)}$ が 1 となる. 式 (7) はオラクル要約の長さ制約をあらわし， $\ell_{k}$ は $k$ 番目の文の長さ，ここでは単語数をあらわす。 $L$ はあらかじめ与えられ た単語数の上限をあらわす。なお， $\mathbb{Z}_{\geq 0}$ は非負整数集合をあらわす.

図 1 の例を用いて説明する。いま， $u_{j}$ として “and live”というバイグラムを考える．このバ イグラムは単語インデックス $(6,7)$ と $(17,18)$ に出現しているので $V_{u_{j}}=\{(6,7),(17,18)\}$ となる. $t_{(6,7)}=1$ のときには, “and 6 live $_{7}$ ” がオラクル要約に採用され, $\operatorname{id}(6,7)=1$ より, $s_{1}$ がオラク ル要約に採用される。同様に, $t_{(17,18)}=1$ のときには, “ $\mathrm{and}_{17}$ live $_{18} ”$ がオラクル要約に採用さ

れ, $\operatorname{id}(17,18)=2$ より, $s_{2}$ がオラクル要約に採用される. この整数計画問題をソルバを用いて 解いた後, $s_{k}=1$ となる文を集めれば文抽出によるオラクル要約を得ることができる.

なお，ROUGE-2ではなく BE に対するオラクル要約を得る時には， $u_{j}$ の出現に対応する単語インデックスペアが連続するとは限らないだけで，それ以外に ROUGE-2 の場合との違いは ない.

## 3.2 EDU の抽出によるオラクル要約

Elementary Discourse Unit (EDU) とは, Rhetorical Structure Theory (RST) (Mann and Thompson 1988) における修辞構造木の葉であり，およそ節に相当する。よって EDU は多 くの場合文よりも小さい. Li, Thadani, and Stent (2016) はピラミッド法 (Nenkova et al. 2007) における Summary Content Unit (SCU)（詳細は後述する）が EDU とよく一致することをヒ ントに EDU 抽出による要約手法 (near-extractive summarization) を提案し，その有効性を示 した. EDU 抽出によるオラクル要約生成は基本的には文抽出によるオラクル要約生成と同じで あるが，それが文よりも小さいテキストユニットであるため，いくつかの制約を追加する必要 がある。 EDU 抽出によるオラクル要約を得るための整数計画問題による定式化は以下となる.

$
\begin{array}{ccl}
\operatorname{maximize} & \sum_{i=1}^{|\mathcal{R}|} \sum_{j=1}^{\left|U_{\mathcal{R}}\right|} z_{i, j}-\sum_{k=1}^{|\mathcal{D}|} s_{k} & \\
\text { subject to } & N\left(u_{j}, R_{i}\right) \geq z_{i, j} & \forall i, j \\
\sum_{p \in V_{u_{j}}} t_{p} \geq z_{i, j} & \forall i, j \\
e_{\text {left }_{e}(p)} \geq t_{p} & \forall p \in V_{u_{j}} \\
e_{\text {right }_{e}(p)} \geq t_{p} & \forall p \in V_{u_{j}} \\
e_{g} \leq 1-t_{p} & \forall g \in D_{p}, \forall p \in V_{u_{j}} \\
s_{\text {id }(n)} \geq e_{n} & \forall n \\
\sum_{n=1}^{|\mathcal{E}|} \ell_{n} e_{n} \leq L & \\
t_{p} \in\{0,1\} \forall p & e_{n} \in\{0,1\} \forall n \\
s_{k} \in\{0,1\} \forall k & z_{i, j} \in \mathbb{Z}_{\geq 0} \forall i, j
\end{array}
$

EDU のような文よりも小さいユニットを抽出することでオラクル要約を生成する場合, 抽出 に何らかの制約を導入しなければ，バイグラム，係り受け関係にある単語対をカバーするよう 多くの文からばらばらに EDU が抽出される。すると, ROUGE-2/BE は高いものの断片化さ れた可読性の低いオラクル要約となってしまう。これを避けるため, Morita ら (2013) になら い, 目的関数 (3) にぺナルティを導入し, 選択した EDU の元となる文の数がなるべく少なく なるようにする。式 (11) の第 2 項は抽出した EDU が属する文の異なり数をあらわすので，多

くの文から EDU を抽出する場合には目的関数の値が小さく, 少ない文から EDU を抽出する場合には目的関数の值が大きくなるようになる。式 (12), (13) は文抽出の場合と同様で式 (2) の 分子を表現するための制約である。式 (14), (15) は単語インデックスペアと EDU インデック スとの依存関係をあらわしており, $\operatorname{left}_{e}(p), \operatorname{right}_{e}(p)$ は, ペアの左側の単語インデックスが属 する EDU のインデックス，右側の単語インデックスが属するEDU のインデックスである。 す なわち，インデックスペアが $p$ であるバイグラムをオラクル要約に採用するとき，その左側の 単語が属する EDU とその右側の単語が属する EDU を同時にオラクル要約に採用することを示 す。さらに，EDU という文よりも小さなユニットを抽出するため，原文書ではスキップのある バイグラムをオラクル要約では単なるバイグラムとして採用することができる。つまり，任意 の EDU の最後の単語とそれよりも右側の EDU の最初の単語で構成される原文書中のスキップ バイグラムはオラクル要約ではバイグラムとして採用可能である。ただし，その際には左右の 単語を含む EDU に挟まれた EDU はオラクル要約に採用できない。式 (16) はその制約をあら わしており， $D_{p}$ は単語インデックスペアの左側の単語が属する EDU のインデックスと右側の 単語が属する EDU のインデックスに挟まれた EDU インデックスの集合をあらわす。つまり， $D_{p}=\left.\{\operatorname{left}_{e}(p)+1, \ldots, \operatorname{right}_{e}(p)-1\right.\}$ である. 式 (17) は長さ制約をあらわしており， $\ell_{n}$ は $n$ 番目の EDU の単語数, $\mathcal{E}$ は原文書中の EDU の集合をあらわす.

図 1 の例で説明する。 $u_{j}$ として “amphibians and”というバイグラムを考える．スキップを 許すと図の例では $(2,6),(12,13),(12,17),(22,26)$ という 4 つの単語インデックスペアがそれ に該当する。ここで, $(2,6)$ と $(12,17)$ は EDU の最後の単語と最初の単語で構成されるスキップ バイグラムではないことからオラクル要約に採用することはできないので無視する。よって, $V_{u_{j}}=\{(12,13),(22,26)\}$ となる. “amphibians ${ }_{12} \operatorname{and}_{13}$ ”をオラクル要約に採用する時, 2 つの単語を含む EDU は連続しているため, $D_{(12,13)}=\phi$ となる. $\operatorname{left}_{e}(12,13)=3, \operatorname{right}_{e}(12,13)=3$ より，インデックスが 3 である EDU のみがオラクル要約に採用される。 そして, $\operatorname{id}(3)=2$ より, $s_{2}=1$ となる. 一方, “amphibians ${ }_{22} \operatorname{and}_{26}$ ”をオラクル要約に採用するとき, left $_{e}(22,26)=5$, $\operatorname{right}_{e}(22,26)=7$ より, 2 つの EDU に挟まれた EDU のインデックスが 6 であることから, $D_{(22,26)}=\{6\}$ となる. よって, インデックス 5 と 7 の EDU がオラクル要約に同時に採用され, インデックス 6 の EDU は採用されない. また, $\operatorname{id}(5)=\operatorname{id}(7)=3$ より, $s_{3}=1$ となる. 整数計画問題を解いた後, $e_{n}=1$ となる $\mathrm{EDU}$ 集めることで $\mathrm{EDU}$ 抽出によるオラクル要約を得るこ とができる.

なお, ROUGE-2ではなくBEに対してオラクル要約を生成する時, 係り受け関係にある単語対が連続して出現する必要がないため, 式 (16) を無視すればよい. それ以外は ROUGE-2 の場合と同じである.

## 3.3 根付き部分木の抽出によるオラクル要約

根付き部分木の抽出による要約は圧縮型要約 (compressive summarization) (Martins and Smith 2009; Berg-Kirkpatrick, Gillick, and Klein 2011; Almeida and Martins 2013) とも呼ばれ，文抽出と文圧縮を統合した要約手法である。文書中の文は構文木として表現され，その根付き部分木を抽出することで要約を生成する。構文木としては句構造木, 依存構造木の双方とも用いら れるが，本稿では依存構造木を利用する。なお，依存構造木は Filippova and Altun (2013)の ルールに従い，単語の依存関係でなくフレーズをチャンクとするチャンク間の依存構造へと変換しておく．根付き部分木抽出によるオラクル要約生成を得るための整数計画問題による定式化は以下の式となる.

$
\begin{aligned}
& \operatorname{maximize} \quad \sum_{i=1}^{|\mathcal{R}|} \sum_{j=1}^{\left|U_{\mathcal{R}}\right|} z_{i, j}-\sum_{k=1}^{|\mathcal{D}|} s_{k} \\
& \text { subject to } \quad N\left(u_{j}, R_{i}\right) \geq z_{i, j} \quad \forall i, j \\
& \sum_{p \in V_{u_{j}}} t_{p} \geq z_{i, j} \quad \forall i, j \\
& c_{\text {left }_{c}(p)} \geq t_{p} \quad \forall p \in V_{u_{j}} \\
& c_{\text {right }_{c}(p)} \geq t_{p} \quad \forall p \in V_{u_{j}} \\
& c_{g} \leq 1-t_{p} \quad \forall g \in D_{p}, \forall p \in V_{u_{j}} \\
& s_{\mathrm{id}(n)} \geq c_{n} \quad \forall n \\
& c_{\text {parent }(n)} \geq c_{n} \quad \forall n \\
& \sum_{n=1}^{|\mathcal{C}|} \ell_{n} c_{n} \leq L \\
& t_{p} \in\{0,1\} \forall p \quad c_{r} \in\{0,1\} \forall r \\
& s_{k} \in\{0,1\} \forall k \quad z_{i, j} \in \mathbb{Z}_{\geq 0} \forall i, j .
\end{aligned}
$

EDU 抽出によるオラクル要約生成の定式化とほぼ同等であり, 式 (21)-(23) までは同じである. $\operatorname{left}_{c}(p)$ は $p$ に対応するバイグラムの左側の単語が属するチャンクのインデックス, $\operatorname{right}_{c}(p)$ は 右側の単語が属するチャンクのインデックスであり， $c_{n}$ は $n$ 番目のチャンクをオラクル要約に 採用する場合に 1 , そうでない場合に 0 をとる $0 / 1$ 変数である。式 $(24),(25)$ より, $p$ に対応す るバイグラムをオラクル要約に採用する場合, 左側の単語が属するチャンクと右側の単語が属 するチャンクの双方を同時にオラクル要約に採用しなければならない. そして， 2 つのチャン クが連続していない場合にはそれらに挟まれたすべてのチャンクをオラクル要約に採用しない.式 $(26)$ がその制約であり， $D_{p}=\left.\{\operatorname{left}_{c}(p)+1, \ldots, \operatorname{right}_{c}(p)-1\right.\}$ が左側の単語が属するチャンク と右側の単語が属するチャンクに挟まれたチャンクの集合をあらわす。式 (27) はチャンクと文 の依存関係をあらわし， $n$ 番目のチャンクをオラクル要約に採用すると，それを含む文に対応 する $0 / 1$ 変数 $s_{\mathrm{id}(n)}$ が 1 となる. 式 (28) は抽出したチャンクが文の依存構造木の根付き部分木

となるための制約である。 $n$ 番目のチャンクをオラクル要約に採用すると，その依存構造木に おける親のチャンクである $c_{\text {parent }(n)}$ もオラクル要約に採用される. 式 (29) はオラクル要約の 長さ制約をあらわし， $\ell_{n}$ は $n$ 番目のチャンクの長さ，C は原文書中のチャンク集合をあらわす.

図 1 の例を用いて説明する。 $u_{j}$ として “amphibians have”というバイグラムを考える。 スキッ プ5も考慮した上で “amphibians have”となる単語インデックスペアは $(2,3),(12,15),(22,28)$ であるから， $V_{u_{j}}=\{(2,3),(12,15),(22,28)\}$ となる. “amphibians ${ }_{2}$ have $_{3}$ ”をオラクル要約に採用するとき, $\operatorname{left}_{c}(2,3)=1, \operatorname{right}_{c}(2,3)=2$ より， $D_{(2,3)}=\phi$ となるので， $c_{1}, c_{2}$ を同時に オラクル要約に採用するだけでよい。そして, $\operatorname{id}(1)=\operatorname{id}(2)=1$ より， $s_{1}=1$ となる。ま た, $\operatorname{parent}(1)=2, \operatorname{parent}(2)=\operatorname{Root}$ なので，式 $(28)$ の制約によって新たに採用するチャン クは存在しない. “amphibians 12 have $_{15}$ ”をオラクル要約に採用するとき, $\operatorname{left}_{c}(12,15)=9$, $\operatorname{right}_{c}(12,15)=11$ より， $D_{(12,15)}=\{10\}$ となり， $c_{9} ， c_{11}$ を同時にオラクル要約に採用し， $c_{10}$ を採用しない。そして, $\operatorname{id}(9)=\operatorname{id}(11)=2$ より, $s_{2}=1$ となる. また, $\operatorname{parent}(12)=15$, parent(15) = Root であるから式 (28) の制約によって新たに採用するチャンクは存在しない. “amphibians 22 have 28 "をオラクル要約に採用するには, $c_{16}$ と $c_{21}$ を同時にオラクル要約に採用 し， $c_{17}$ から $c_{20}$ までを採用しない. そして， $s_{3}=1$ となり, 式 $(28)$ の制約によって新たに採用 するチャンクも存在しない. この整数計画問題を解いた後, $c_{n}=1$ となるチャンクを集めるこ とで根付き部分木抽出によるオラクル要約を得ることができる.

$\mathrm{BE}$ の場合には, EDU 抽出によるオラクル要約生成の場合と同じく係り受け関係にあるチャ ンクが連続する必要はないため, ユニットの左側の単語が属するチャンクと右側の単語が属す るチャンクに挟まれたチャンク集合を削除する必要はない，よって，式 (26)を無視する.

## 4 人手評価の方法

オラクル要約の妥当性を調べるため, 内容と言語品質という 2 の観点からそれぞれ人手で 評価を行う，以下，内容評価に用いたピラミッド法, 言語品質評価に用いた Quality Questions について説明する。

## 4.1 ピラミッド法による内容評価

ピラミッド法 (Nenkova and Passonneau 2004; Nenkova et al. 2007) は, 要約の内容評価を評価者の直感に頼らず，根拠をもって評価する手法である．ピラミッド評価では 1 つ要約課題 に対して複数の参照要約が与えられることが前提となっており，それらに基づきピラミッドを 構築するステップと構築したピラミッドに基づき評価対象要約のスコアを決定するステップか
^{5} \mathrm{EDU}$ 抽出と同じく, チャンクの最後の単語とそれより右のチャンクの最初の単語からなるスキップバイグラムの みを考える。
}

らなる.

まず，評価者はそれぞれの参照要約から Summary Content Unit (SCU) と呼ばれるユニット を同定し，それに言及する参照要約の数でその重みを決定する．SCU は参照要約内で言及され る事象であり，節相当のユニットである。図 2 に SCU の例を示す。図中の Con. は contributor と呼ばれ，SCU に対応する参照要約中の実際の文字列である．Label は Contributor に対して人間が割り当てた簡潔なラベルである。図の上段の 4 つの contributor, 下段の 3 つの contributor はそれぞれ同じ意味を持つ。また，上段の SCU は contributor の数が 4 であることからその重み は 4 となり，下段の SCU の重みは 3 である。つまり，K個の参照要約が与えられた場合，SCU が取りうる最大の重みは $K$ であり，最小の重みは 1 となる。一般的に SCU の重みが大きくな ると異なる SCU の数は少なくなり，小さくなると異なる SCU の数が多くなる。これを図示す るとピラミッド（三角形）を想起させることからピラミッド法と名付けられた.

次に，評価対象要約に対しても同様にSCU を同定し，ピラミッドのSCU と評価対象要約の SCU の対応関係を決定した後，評価スコアを以下の式で決定する。

$
\operatorname{Pyr}(\mathcal{R}, S)=\frac{\sum_{e_{r} \in \mathcal{R}} \sum_{e_{s} \in S} W\left(e_{r}\right) b\left(e_{r}, e_{s}\right)}{\sum_{e_{k} \in \mathcal{R}_{\text {top }-M}} W\left(e_{k}\right)}
$

$e_{r}$ はピラミッドの $\mathrm{SCU}, e_{s}$ は評価対象要約の $\mathrm{SCU}$ をらわし， $W()$ は $\mathrm{SCU}$ の重みを返す関数, $b\left(e_{r}, e_{s}\right)$ は 2 つ $\mathrm{SCU}$ の間に対応関係が与えられていれば 1 , そうでなければ 0 を返す関数である。また， $\mathcal{R}_{\mathrm{top}-M}$ は，ピラミッドの重みが上位 $M$ 件の SCU の集合であり， $M$ は，参照要約中の平均 SCU 数である. 式 (32)より, 要約の人手評価でよく用いられる 5 段階評価など とは異なり，ピラミッドというスコア決定の基準が与えられるため，その評価には客観性が期

Label Kozlowski and Swartz's trial ended in mistrial

Con. 1 The first grand larceny trial of former Tyco CEO Dennis Kozlowski and codefendant Mark Swartz ended in mistrial

Con. 2 The first unfocused, lengthy trial...was aborted after juror intimidation

Con. 3 The first trial ended in a hung jury

Con. 4 A trial of Kozlowski and Swartz ended in a hung jury

Label Kozlowski faces tax charges

Con. 1 Kozlowski still faces separate tax, conspiracy, falsifying business records and evidence tampering charges

Con. 2 charges against Kozlowski... he failed to pay sales taxes

Con. 3 He is accused...avoid paying over $\$ 1 \mathrm{M}$ tax

図 $2 \mathrm{SCU}$ とそれに対応する contributors とラベルの例. トピック ID“D0928", “Trials of Tyco's Dennis Kozlowski"より.
表 1 言語品質評価のための Quality Questions

 \\

待できる. しかし, 何を SCU とするのか, ピラミッド中の SCU と評価対象要約との間の SCU が意味的に一致するかどうかについては評価者によって判断が摇れることがありえる.

## 4.2 Quality Questionsによる言語品質評価

要約の言語品質には，DUC で提案された Quality Questions (Trang Dang 2006) を利用し た。表 1 に詳細を示す。Grammaticality は可読性に影響を与える文レベルでの文法ミスを評価 する. Non-redundancy は, 事象の繰り返しや固有表現の繰り返しなど冗長な表現を評価する. Referential clarity は，参照表現が指す実体が要約中に含まれるかを評価する．Focusは要約の 焦点が定まっているか，Structure and Coherence は要約の構成，結束性を評価する。いずれの 観点も 5 段階 ( 5 が最高) で評価する.

## 5 実験

## 5.1 設定

最大化する自動評価指標には，ROUGE-2 と BE を採用し，TAC-2009/2011 の複数文書要約 タスクのデータセットに対し 3 種の抽出型オラクルを生成する。それぞれのデータセットには 44 トピック (文書セット）が与えられ，各トピックには新聞記事が 10 記事, 参照要約が 4 つ含

まれる。なお，要約システムは各トピックに対し 100 単語以内で要約を生成することが求めら れるのでオラクル要約の長さの上限も 100 単語となる.

また，EDU 抽出によるオラクル要約を生成するため，3 層の双方向 LSTM を用いたセグメン 夕を実装し，RST Discourse Treebank (RST DT) (Carlson, Marcu, and Okurowski 2001)を用 いて訓練した。EDU 境界の認定性能は RST DT のテストセットで F 值が 0.9 程度である。根付き部分木抽出によるオラクル要約の生成のため, Stanford Parser (de Marneffe, MacCartney, and Manning 2006) を用いて単語依存構造木を構築し, Filippova ら (2013) のルールを用いて チャンク間の依存構造木へと変換した.

比較評価のため, TAC-2009 で最も良い成績を残したシステム peer_40 (Gillick, Favre, HakkaniTur, Bohnet, Liu, and Xie 2009) ${ }^{6}$, TAC-2011で最も良い成績を残したシステム peer_22 (Li, Hu， Li, Wan, and Xiao 2011)7を評価対象に含めた。また，TAC-2009に対しては，人間による文抽出 HEXTAC も評価対象とした. HEXTAC は各トピックに対し 5 名の被験者が文抽出により要約 を生成した後, それらの多数決で要約を生成する手法である。被験者は計算機科学分野の研究者である。

なお，ピラミッド評価の際には，TAC-2009/2011 で作成されたピラミッドを再利用し，評価対象要約における SCU の同定および既存ピラミッドの SCU と評価対象要約の SCU の対応付け のみを新たに行った。なお，1トピックあたりの参照要約数は 4 なので， SCU の重みの最大値 は 4 である. 対応付け，スコア計算にはピラミッド評価ツール DUCView-1.4.jar を利用した. ピラミッド評価, Quality Questions とも1つのトピックに対し 1 名の被験者が全ての要約を評価した。

## 5.2 結果と考察

## 自動評価結果

人手評価結果を示す前に, 自動評価という観点からの抽出型オラクル要約の ROUGE-2, BE スコアの到達点を表 2 に示す. なお, 表中の “Best” は peer_40 と peer_22 のスコアである.表より，双方のデータセットとも EDU 抽出，根付き部分木抽出，文抽出の順でスコアが高い. EDU 抽出，根付き部分木抽出は文よりも小さな単位を抽出するので，ある長さの制約のもとで 多くの情報を詰め込むことが可能なことから妥当な結果である. Best と比較するとその差は非常に大きく, ROUGE-2 では 0.1 から 0.13 ポイント，BEでは 0.13 から 0.17 ポイントの差であ る。なお，TAC-2009/2011のデータセットにおける現在の ROUGE-2 のベストスコアはそれぞ れ 0.128 (Li, Liu, and Zhao 2015), 0.144 (Li, Liu, Weng, and Liu 2013) であり 8 , これらスコア

とオラクル要約のスコアを比較してもその差は非常に大きい，特に，古典的な文抽出型オラク ル要約であっても極めて高い自動評価スコアを獲得していることから，自動評価という観点で はあるが現在の要約システムは抽出型要約の上限には程遠いことがわかる.

## ピラミッド評価の結果

表 3 にピラミッド評価と Quality Questions の結果を示す.カッコ内の数値は分散をあらわ す.オラクル要約間を比較すると自動評価指標の場合と同様の傾向を示しており，EDU 抽出，根付き部分木抽出, 文抽出の順にスコアが高い. $\mathrm{TAC}$ 参加システムと比較するとこれも自動評価指標の場合と同じくその差は大きい。この結果をより詳細に分析するため, 各オラクル要約 と参照要約に含まれる平均部分文数を調べた。その結果を表 4 に示す。表より，1つの要約に

表 2 抽出型オラクル要約の自動評価スコア

Sent. は文抽出, EDU は EDU 抽出, Subtree は根付き部分木抽出をあらわす.

表 3 ピラミッド評価と Qualiry Questions の結果

表 4 各要約の平均部分文数

含まれる平均部分文数は， EDU 抽出，根付き部分木抽出，文抽出の順に多い. EDU 抽出は $3-4$文，根付き部分木抽出は 2 文程度，文抽出よりも文数が多い. また参照要約は根付き部分木抽出の場合に比べ 1 文弱程度, 文数が少ない，先に述べたとおり，EDU や根付き部分木は，文抽出よりもより多くの部分文を要約に含めることができる。 よって，SCUがうまく部分文に含ま れていれば高いピラミッドスコアを達成できる．Li ら（2016）は SCU と EDU は一致すること が多いことを報告しており，この実験結果を支持している。これらの結果は，原文書の一部を 抽出するだけで，自動評価だけでなく人手の内容評価も高い要約が生成可能であることを示し ている.

なお，人間による文抽出である HEXTAC のスコアは，要約システムとほぼ変わらずオラクル 要約に対しては大きく劣る結果となった。HEXTAC はそもそも参照要約を再現するように生成 されていないこと，参照要約は NIST が訓練した情報分析のエキスパートが生成していることに 対し, HEXTAC は計算機科学の研究者が要約を生成していることが原因であろう．HEXTAC の 5 名の要約作成者間の文抽出に対する一致が低いことも報告されており (Genest, Lapalme, and Yousfi-Monod 2009), 非エキスパートによる要約に問題があったのではないかと考える.

## Quality Questions の結果

自動評価とピラミッド評価においてオラクル要約は非常に高い評価を得たが, 表 3 より, Quality Questions の結果は既存の要約システムと同等か劣る結果となった。要約システムがどの項目 においても 4 以上のスコアを得ていることに対し，オラクル要約のスコアは， TAC-2009の場合 にはすべての項目で 4 未満，TAC-2011の場合には文抽出オラクル要約のみがシステムと同等の 4 程度のスコアである。 TAC-2009/2011とも文抽出オラクル要約の Grammaticality スコアが要約システムよりも低く， TAC-2009では 4 未満である。TACでは原文書に対して文区切りは与 えられず，何らかの方法で文境界を認定しなければならない．文区切りには Stanford CoreNLP を用いて同定したが，引用符号やカッコの対応がとれていない文があり，これらが悪影響を 与えた。さらに，原文書に含まれる名詞句だけの短い文（記事の小見出し）を抽出した際にも Grammaticality スコアが低いと判断された．EDU 抽出，根付き部分木抽出の Grammaticality

スコアはさらに低く, EDU 抽出は 2 から 3 程度でしかない. 文の一部を抽出することにより文頭が大文字でない場合があること，EDU セグメンタのエラーにより非文法的な EDU が生成さ れること, 依存構造解析のエラーにより根付き部分木の文法性が損なわれることが原因である.文頭が小文字であればそれを大文字にすることは自動的にできるが，後者の 2 つの事象につい ては解析器の性能が完璧でない限り避けることができない。つまり，部分文を抽出する限りあ る程度文法的な誤りが含まれることは避けられない. Non-redundancy, Referential clarity が低 い原因として，EDU，根付き部分木抽出は参照要約での出現回数程度，固有表現を繰り返し抽出するものの，人間のように参照表現を織り交ぜて表現することができないため，単なる固有表現の繰り返しとなってしまい冗長に感じること, そもそも要約生成法に参照表現とその実体 を対応付ける機構がないため，部分文の数が多いと参照表現が指すものが曖昧になる可能性が 高くなることが原因である．さらに，部分文は接続詞を欠くことが多いこと，部分文の数が多 いことで情報が断片化してしまうことにより文脈が損なわれることが多々ある。その結果，焦点や結束性という観点で低い評価となってしまう.

図 3 に参照要約, 各種法によるオラクル要約, peer_40の要約例を示す.オラクル要約の生成 の際に最大化する自動評価スコアには BE を用いた. オラクル要約は参照要約との間の BE ス コアを最大化しているため，当然であるが，参照要約の内容をよく反映している．特に，EDU 抽出, 根付き部分木抽出は文の数が多いためより多くの内容で参照要約と一致している。 シス テム要約 peer_40 は参照要約を考慮せずに作成された要約であるため, オラクル要約と比較す ると参照要約との間の内容の一致は高くない. 一方, 要約の言語品質に着目すると, EDU 抽出,根付き部分木抽出には先頭が大文字でない文が含まれており，Grammaticality が低い．また，文抽出と比較すると，固有表現の繰り返し回数が多く人名の参照に対して一貫性がない. たと えば, “L. Dennis Kozlowski”に対し, 参照要約では初出時がフルネーム, 2 回目以降は姓だけ であることに対し, EDU 抽出, 根付き部分木抽出は, 初出時に姓のみ, 2 回目がフルネームと なっている.

なお，部分文の数が多いことが Quality Questions の評価を下げる要因であるのなら，それを 抑制すればよい. オラクル要約に採用する部分文の数をさらに抑制するには式 (11), (21)のぺ ナルティ項に対する重みを 1 よりも大きくすればよいことから， TAC-2009 のデータセットを対象として, EDU 抽出, 根付き部分木抽出の双方のペナルティ項に対する重みを $\alpha$ として 1 から 0.5 刻みで 3.5 まで変化させ，要約あたりの平均文数，ROUGE- 2 スコアの変化を調べた．その 結果を図 4 に示す. 図より， $\alpha$ を大きくするにつれて平均文数が減っており Quality Questions による言語品質の評価が向上することが期待できる。一方，ROUGE-2 スコアは低下してしま う．つまり，単純に部分文の数を抑制しただけでは要約の内容が劣化することを示している.

以上より，抽出型要約手法により情報に富んだ要約を生成できることがわかったが，その言語品質は決して高いとは言えず改善が必要であることが明らかとなった. ピラミッド評価で高

Ref. In January 2005, Dennis Koslowski and Mark Swartz, former top executives of Tyco International Ltd., went on trial in New York a second time for stealing $\$ 600$ million from the company. The first trial ended in a hung jury. Prosecutors claim the two men illegally awarded themselves millions of dollars in bonuses and concealed them from the company's board and shareholders. A judge refused to combine a retrial of larceny charges against Kozlowski with charges he failed to pay sales taxes on $\$ 13$ million worth of art. If convicted, Koslowski and Swartz each could face 25 years in prison.

Sent. A judge refused to combine a retrial of larceny charges against former Tyco International Ltd. chief executive L. Dennis Kozlowski with a trial on charges that he failed to pay sales taxes on $\$ 13$ million worth of art. Prosecutors are saying the two men had illegally awarded themselves millions of dollars in bonuses and concealed them from the company's board and shareholders. Former top executives L. Dennis Kozlowski and Mark Swartz are awaiting retrial in federal court in New York on charges of stealing $\$ 600$ million (euro 483.33 million) from the company. Their first trial resulted in a hung jury.

EDU The first trial of Kozlowski and Tyco chief financial officer Mark Swartz ended in a sensational mistrial. A judge refused to combine a retrial of larceny charges against former Tyco International Ltd. chief executive L. Dennis Kozlowski with a trial on charges that he failed to pay sales taxes on $\$ 13$ million worth of art. the two men had illegally awarded themselves millions of dollars in bonuses and concealed them from the company's board and shareholders. Former top executives L. Dennis Kozlowski and Mark Swartz are awaiting retrial in federal court in New York on charges of stealing $\$ 600$ million from the company.

Subtree The first trial of Kozlowski and Tyco Mark Swartz ended in a mistrial. A judge refused to combine a retrial of larceny charges against former Tyco International Ltd. executive L. Dennis Kozlowski with a trial on charges that he failed to pay sales taxes on $\$ 13$ million worth. If convicted, Kozlowski each could face up to 25 years in prison. Prosecutors are saying the two men had illegally awarded themselves millions of dollars in bonuses and concealed them from the company's board and shareholders. top executives are awaiting retrial in court in New York on charges of stealing $\$ 600$ million from the company.

peer_40 The retrial of two top Tyco International executives accused of stealing $\$ 600$ million of company money to finance lifestyles of gaudy excess is set to begin next week. Kozlowski, Tyco's former chief executive, and his one-time chief financial officer Swartz are accused of grand larceny, securities fraud and conspiracy in an alleged plot to loot the company and cheat shareholders. Defense lawyers said Kozlowski and Swartz earned every penny they got from Tyco. Former top executives L. Dennis Kozlowski and Mark Swartz are awaiting retrial in federal court in New York on charges of stealing $\$ 600$ million from the company.

図 3 トピック ID“D0928”, “Trials of Tyco's Dennis Kozlowski”に対する要約.

4 ペナルティの重みを変化させた場合の ROUGE-2, 部分文数の変化

い評価が期待できるほどの高い自動評価スコアを維持しつつ言語品質をいかに高めていくかが 抽出型要約の重要な研究ポイントとなるであろう.

## 6 おわりに

本稿では文抽出， EDU 抽出，根付き部分木抽出という 3 種の抽出型要約手法によるオラクル 要約，すなわち ROUGE-2 あるいは BE スコアを最大化する要約を生成するための整数計画問題による定式化を提案し, それらの上限を明らかにした. オラクル要約の自動評価スコアは現状の要約システムのスコアよりも明らかに高く, 抽出型要約手法にはまだ研究の余地が残され ていることがわかった。そして，オラクル要約の内容評価と言語品質評価をピラミッド評価と Quality Questions を用いて人手で評価しその妥当性を検証した結果, 自動評価スコアと同様, オラクル要約のピラミッドスコアは非常に高いことがわかった。一方, Quality Questions の結果から, EDU 抽出, 根付き部分木抽出の場合, 解析器の誤りなどにより部分文の文法性が低下 し，それにより要約全体の言語品質が大きく低下することが明らかとなった.これらの結果よ り, 抽出型要約手法はまだまだ有望な要約手法であり, 今後も研究を続ける価値があることが 明らかとなった。一方, 言語品質を担保するための研究が重要であることも明らかとなった.

## 謝 辞

有益なコメントをくださった査読者, 担当編集委員の皆様に感謝いたします。本研究の一

部は The 15th European Chapter of Association for Computational Linguistics (EACL) での 発表 (Hirao, Nishino, Suzuki, and Nagata 2017b) と The 55th Association for Computational Linguistics (ACL) での発表 (Hirao, Nishino, and Nagata 2017a)に基づいています.

## 参考文献

Almeida, M. B. and Martins, A. F. (2013). "Fast and Robust Compressive Summarization with Dual Decomposition and Multi-Task Learning." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (ACL), pp. 196-206.

Bahdanau, D., Cho, K., and Bengio, Y. (2014). "Neural Machine Translation by Jointly Learning to Align and Translate." CoRR, abs/1409.0473.

Berg-Kirkpatrick, T., Gillick, D., and Klein, D. (2011). "Jointly Learning to Extract and Compress." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 481-490.

Carlson, L., Marcu, D., and Okurowski, M. E. (2001). "Building a Discourse-Tagged Corpus in the Framework of Rhetorical Structure Theory." In Proceedings of the SIGDIAL01, pp. 1-10. de Marneffe, M.-C., MacCartney, B., and Manning, C. D. (2006). "Generating Typed Dependency Parses from Phrase Structure Parses." In Proceedings of the Fifth International Conference on Language Resources and Evaluation (LREC), pp. 449-454.

Feige, U. (1998). "A Threshold of $\ln n$ for Approximating Set Cover." Journal of the ACM, 45 (4), pp. 634-652.

Feige, U., Mirrokni, V. S., and Vondrák, J. (2011). "Maximizing Non-monotone Submodular Functions." SIAM Journal on Computing, 40 (4), pp. 1133-1153.

Filippova, K. and Altun, Y. (2013). "Overcoming the Lack of Parallel Data in Sentence Compression." In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1481-1491.

Genest, P.-E., Lapalme, G., and Yousfi-Monod, M. (2009). "HEXTAC: The Creation of a Manual Extractive Run." In Proceedings of the Second Text Analysis Conference (TAC).

Gillick, D. and Favre, B. (2009). "A Scalable Global Model for Summarization." In Proceedings of the Workshop on Integer Linear Programming for Natural Language Processing, pp. 10-18.

Gillick, D., Favre, B., Hakkani-Tur, D., Bohnet, B., Liu, Y., and Xie, S. (2009). "The ICSI/UTD Summarization System at TAC 2009." In Proceedings of Second the Text Analysis Conference (TAC).

Hirao, T., Nishino, M., and Nagata, M. (2017a). "Oracle Summaries of Compressive Summarization." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 275-280.

Hirao, T., Nishino, M., Suzuki, J., and Nagata, M. (2017b). "Enumeration of Extractive Oracle Summaries." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics (EACL), pp. 386-396.

Hovy, E., Lin, C.-Y., Zhou, L., and Fukumoto, J. (2006). "Automated Summarization Evaluation with Basic Elements." In In Proceedings of the Fifth International Conference on Language Resources and Evaluation (LREC), pp. 889-902.

Li, C., Liu, F., Weng, F., and Liu, Y. (2013). "Document Summarization via Guided Sentence Compression." In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 490-500.

Li, C., Liu, Y., and Zhao, L. (2015). "Using External Resources and Joint Learning for Bigram Weighting in ILP-Based Multi-Document Summarization." In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL): Human Language Technologies (HLT), pp. 778-787.

Li, H., Hu, Y., Li, Z., Wan, X., and Xiao, J. (2011). "PKUTM Participation in TAC2011." In Proceedings of the 4 th Text Analysis Conference (TAC).

Li, J. J., Thadani, K., and Stent, A. (2016). "The Role of Discourse Units in Near-Extractive Summarization." In Proceedings of the 17th Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL), pp. 137-147.

Lin, C.-Y. (2004). "ROUGE: A Package for Automatic Evaluation of Summaries." In Proceedings of Workshop on Text Summarization Branches Out, pp. 74-81.

Lin, H. and Bilmes, J. (2011). "A Class of Submodular Functions for Document Summarization." In Proceedings of the 49th Association for Computational Linguistics: Human Language Technologies (ACL-HLT), pp. 510-520.

Luhn, H. P. (1958). "The Automatic Creation of Literature Abstracts." IBM Journal of Research and Development, 2 (2), pp. 159-165.

Mann, W. C. and Thompson, S. A. (1988). "Rhetorical Structure Theory: Toward a Functional Theory of Text Organization." Text, 8 (3), pp. 243-281.

Martins, A. and Smith, N. A. (2009). "Summarization with a Joint Model for Sentence Extraction and Compression." In Proceedings of the Workshop on Integer Linear Programming for Natural Language Processing, pp. 1-9.

Morita, H., Sasano, R., Takamura, H., and Okumura, M. (2013). "Subtree Extractive Summarization via Submodular Maximization." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1023-1032.

Nenkova, A. and Passonneau, R. (2004). "Evaluating Content Selection in Summarization: The Pyramid Method." In Proceedings of the Human Language Technology Conference of the North American Chapter of the Association for Computational Linguistics: HLT-NAACL 2004, pp. 145-152.

Nenkova, A., Passonneau, R., and McKeown, K. (2007). "The Pyramid Method: Incorporating Human Content Selection Variation in Summarization Evaluation." ACM Transaction Speech and Language Processing, 4 (2), p. 4-es.

Rush, A. M., Chopra, S., and Weston, J. (2015). "A Neural Attention Model for Abstractive Sentence Summarization." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 379-389.

Sutskever, I., Vinyals, O., and Le, Q. V. (2014). "Sequence to Sequence Learning with Neural Networks." In Advances in Neural Information Processing Systems, NIPS'14, pp. 3104-3112.

Trang Dang, H. (2006). "Overview of DUC 2006." In Proceedings of the Document Understanding Conference (DUC).

## 略歴

平尾努：1997 年奈良先端科学技術大学院大情報科学研究科博士前期課程修了. 同年, 株式会社 NTT データ入社. 2000 年より日本電信電話株式会社 コ ミュニケーション科学基礎研究所. 博士 (工学). 自然言語処理の研究に従事. 情報処理学会, 言語処理学会, ACL 各会員.

西野 正彬 : 2008 年京都大学大学院情報学研究科修士課程修了. 同年, 日本電信電話株式会社入社. 現在, コミュニケーション科学基礎研究所. 博士（情報学). 自然言語処理, アルゴリズムの研究に従事. 情報処理学会, 人工知能学会, 言語処理学会各会員.

永田 昌明：1987 年京都大学大学院工学研究科修士課程修了. 同年, 日本電信電話株式会社入社. 現在, コミュニケーション科学研究所 上席特別研究員.工学博士. 自然言語処理の研究に従事. 電子情報通信学会, 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

(2019 年 9 月 30 日 受付)

(2019 年 12 月 19 日 再受付)

(2020 年 2 月 4 日 採録)