# 商品の属性値抽出タスクにおけるエラー分析

新里 圭司 $\dagger$ ・関根聡 $\dagger$ ・村上 浩司 $\dagger$
}

本稿では商品の属性値抽出タスクにおけるエラー分析のひとつの事例研究について 報告する。具体的には, 属性値辞書を用いた単純な辞書マッチに基づく属性値抽出 システムを構築し, 人手により属性値がアノテーションされたコーパスに対してシ ステムを適用することで明らかとなる False-positive, False-negative 事例の分析を 行った. 属性値辞書は商品説明文に含まれる表や箇条書きなどの半構造化デー夕を 解析することで得られる自動構築したものを用いた。 エラー分析は実際のオンライ ンショッピングサイトで用いられている 5 つの商品カテゴリから抽出した 100 商品 ページに対して行った。そして分析を通してボトムアップ的に各事例の分類を行っ てエラーのカテゴリ化を試みた。本稿ではエラーカテゴリおよびその実例を示すた けでなく，誤り事例を無くすために必要な処理・データについても検討する。

キーワード：商品の属性値抽出, オンラインショッピング, エラー分析, エラーのカテゴリ化
## Error Analysis on Product Attribute Value Extraction

\author{
KeIdi Shinzato $^{\dagger}$, Satoshi SeKine ${ }^{\dagger \dagger}$ and Koji Murakami ${ }^{\dagger}$
}

This paper reports error analysis results on the product attribute value extraction task. We built the system that extracted attribute values from product descriptions by simply matching the descriptions and entries in an attribute value dictionary. The dictionary is automatically constructed by parsing semi-structured data such as tables and itemizations in product descriptions. We run the extraction system on the corpus where product attribute values were annotated by a single subject, and then investigated false-positives and false-negatives. We conducted the error analysis procedure on 100 product pages extracted from five different product categories of an actual e-commerce site, and designed error type categories according to the results of the error analysis on those product pages. In addition to show the error type categories and their instances, we also discuss processing and data resources required for reducing the number of error instances.

Key Words: Product Attribute Value Extraction, Online Shopping, Error Analysis, Error Type Category

## 1 はじめに

場所や時間を気にすることなく買い物可能なオンラインショッピングサイトは重要なライフ ラインになりつつある。オンラインショッピングサイトでは商品に関する説明はテキスト形式 で提供されるため, この商品説明文から商品の属性-属性值を抽出し構造化された商品デー夕を 作成する属性值抽出技術は実世界でのニーズが高い。ここで「商品説明文から商品の属性值を 抽出する」とは, 例えばワインに関係した以下の文が入力された時, (生産地, フランス), (ぶ どう品種, シャルドネ), (タイプ, 辛口) といった属性と属性值の組を抽出することを指す.

・フランス産のシャルドネを配した辛ロワイン.

このような商品の属性值抽出が実現できれば, 他の商品のレコメンドやファセット検索での利用，詳細なマーケティング分析1等が可能になる。

商品の属性値抽出タスクは従来より多くの研究がなされており, 少数のパターンにより属性値の獲得を試みる手法 (Mauge, Rohanimanesh, and Ruvini 2012), 事前に人手または自動で構築 した属性値辞書に基づいて属性値抽出モデルを学習する手法 (Ghani, Probst, Liu, Krema, and Fano 2006; Probst, Ghani, Krema, Fano, and Liu 2007; Putthividhya and Hu 2011; Bing, Wong, and Lam 2012; Shinzato and Sekine 2013)，トピックモデルにより属性値を獲得する手法(Wong， Wong, and Lam 2008) など様々な手法が提案されている.

本研究の目的は商品属性値抽出タスクに内在している研究課題を洗い出し, 抽出システムを 構築する上でどのような点を考慮すべきか，またどの部分に注力するべきかという点を明らか にすることである。夕スクに内在する研究課題を洗い出すため, 属性-属性値辞書に基づく単純 なシステムを実装し，このシステムが抽出した結果の False-positve, False-negative 事例の分析 を行った．エラー分析という観点では，Shinzato らがワインとシャンプーカテゴリに対して得 られた結果から無作為に 50 件ずつ False-positive 事例を抽出し，エラーの原因を調査している (Shinzato and Sekine 2013). これに対し本研究では 5 の商品カテゴリから 20 件ずつ商品ペー ジを選びだして作成した 100 件のデータ（2,381文）を対象に分析を行い，分析を通してボトム アップ的に各事例の分類を行ってエラーのカテゴリ化を試みた。システムのエラー分析を行い, システム固有の問題点を明らかにすることはこれまでも行われてきたが，この規模のデー夕に 対して商品属性値抽出タスクに内在するエラーのタイプを調查し，カテゴリ化を行った研究は 筆者らの知る限りない.

後述するように, 今回分析対象としたデータは属性-属性値辞書に基づく単純な抽出システム の出力結果であるが，これは Distant supervision (Mintz, Bills, Snow, and Jurafsky 2009)に基 づく情報抽出手法で行われる夕グ付きコーパス作成処理と見なすことができる。したがって，

本研究で得られた知見は商品属性値抽出タスクだけでなく, 一般のドメインにおける情報抽出 タスクにおいても有用であると考えられる。

## 2 分析対象データ

楽天データ公開 2 より配布されている商品データから, 論文 (Shinzato and Sekine 2013) を参考に，ワイン, シャンプー, プリンターインク, Tシャツ, キャットフードカテゴリに登録され ている商品ページを無作為に 20 件ずつ, 計 100 件抽出した。 そして，抽出したぺージをブロッ ク要素タグ，記号3を手がかりに文に分割した。

カテゴリ毎に分析対象とした属性を表 1 に示す。これらの属性は論文 (Shinzato and Sekine 2013) で抽出対象とされたものに以下の修正を加えたものである.

・同じ意味を表す属性名を人手で統合した.

・誤った属性を人手で削除した。
- ブランド名, 商品名, メーカー名などの重要な属性が抽出対象となっていなかったので, これらを分析対象として加えた。

続いて, 各商品ページのタイトル, 商品説明文, 販売方法別説明文に含まれる属性値を 1 名 の作業者によりアノテーションした。アノテーション時には, 後述する 3.2.1節の方法で作成し た属性-属性值のリストを提示し, これらと類似する表現をアノテーションするよう依頼した。 また。アノテーションにあたり作業者に以下の点を指示した.

長い表現をとる 属性値を $v$, 任意の語を $w$ とした時, 表現「 $w$ の $v$ が属性値として見なせる

場合, $w$ もまた属性值として見なせる場合であっても「 $w$ の $v$ を 1 の属性値としてア ノテーションする。例えば「フランスのブルゴーニュ産ワインです」という文があった 場合,「フランス」，「ブルゴーニユ産」をそれぞれアノテーションするのではなく，「フ

表 1 対象カテゴリ, 対象属性および対象データの規模. 商品ページ数は各カテゴリ共に 20 件.

$3 \llbracket, \rrbracket, \circ, ?, !, ग, ※, \bigcirc, \bigcirc, O, \star, \uparrow$,
『』) に出現している場合は区切らない.
$\mathbf{\square}, \square, \boldsymbol{\nabla}, \nabla, \boldsymbol{\Delta}, \triangle, \diamond, \diamond, 《, \gg, \ll$. ただし, これらが括弧内（「」,

ランスのブルゴーニュ産」をアノテーションする.

記号で区切る記号を挟んで属性値が列挙されている場合は別々にアノテーションする。例え ば，「フランス・ブルゴーニュ産ワインです」という文があった場合, 記号「・」で区切り，

「フランス」，「ブルゴーニュ産」をそれぞれアノテーションする。ただし固有名詞 (e.g.,「カベルネ・ソーヴィニョン」), 数値 (e.g.,「3,000 ml」), サイズ (e.g., 「19.5×24.1×8.0 $\mathrm{cm}\rfloor$ ), 数値の範囲 (e.g., 「10〜15cm」) の場合は例外とし, 記号があっても区切らない.括弧の扱い 括弧の直前，中にある表現が共に属性值と見なせる場合は別々にアノテーション する。例えば「ブルゴーニュ (フランス) のワインです.」の場合,「ブルゴーニュ」,「フ ランス」を個別にアノテーションする。一方,「シャルドネ $(100 \%)\rfloor$ の場合は,「シャ ルドネ $(100 \%)$ 」をアノテーションする.

以上の作業により得られた分析対象データの規模を表 1 の文数および属性値数列に示す. カテ ゴリ毎に文数およびアノテーションされた属性值数に差があることがわかる.

## 3 商品の属性値抽出システム

本節では商品の属性值を商品説明文から抽出するシステムについて述べる。本研究で用いる 情報抽出システムは，オンラインショッピングサイト上の商品データの特徴を考慮したもので あるため, まず商品データの特徴について整理する.

(a) 表

(b) 箇条書き

図 1 商品ページ中に含まれる半構造化データ（枠で囲まれた部分）

## 3.1 商品データの特徵

オンラインショッピングサイト上の商品データの特徵として以下の点が挙げられる.

(1) 商品カテゴリ数が多い.

（2）一部の商品ぺージには表や箇条書きなどの形式で整理された属性情報が含まれている.一般にオンラインショッピングサイトの商品カテゴリ数は多く，例えば，今回分析対象とした 楽天では 4 万以上のカテゴリが存在する。そのため, それぞれのカテゴリにおいて学習デー夕 を準備することはとてもコストの高い作業となるため現実的ではない.その一方で，一部の商品ページにおいては，図 1 に挙げたように商品の属性情報が表や箇条書きなどを使って整理さ れている場合がある. これら半構造化データはショッピングサイトに出店している店舗ごとに その形式が異なるものの，いくつかのパターンを用いれば，そこから属性-属性値情報をある程度の精度で抽出することができる。例えば, Shinzato ら (Shinzato and Sekine 2013) は簡単な正規表現パターンを適用することで，ワインとシャンプーカテゴリに対して $70 \%$ 程度の精度で属性-属性値辞書が構築できたと報告している。

## 3.2 抽出システム

タスクに内在する研究課題を明らかにするためには, 少なくとも 2 つの方法が考えられる。 1 つは複数のシステムを同じデータで実行し, 多くのシステムがエラーとなる事例の分析を通し てタスクの研究課題を明らかにする方法である。もう1つはシステムがシンプルでどのような 動きになっているかをグラスボックス的に分析できるものを実行し，その結果を基に課題を明 らかにする方法である。今回の商品属性值抽出夕スクは, 標準的な夕グ付きコーパスや属性値抽出のためのソフトウェア等が公開されているわけではないため, 多くのシステムを実行させ ることは現実的ではない. そこで，今回のエラー分析は 2 つ目の方法により行った. 具体的に は, 商品ページに含まれる半構造化データから属性-属性値辞書を自動構築し, この辞書を使っ た辞書マッチによって商品ページのタイトル, 商品説明文, 販売方法別説明文から属性値を抽出する。この辞書マッチに基づくシステムは, 辞書に属性値が登録されているか否かで属性値 の抽出を行うためエラーの原因の特定が容易である。このような単純なシステムのエラー分析 を行うことで，このタスクに含まれるエラーのタイプおよびその割合が明らかとなり，この結果は複雑なシステムを実装する際も，その素性の設計や重みの調整などに役立つと考えられる。

近年, 図 2 に示すような Distant supervision に基づく情報抽出手法が多く提案されている (Mintz et al. 2009; Wu and Weld 2010; Takamatsu, Sato, and Nakagawa 2012; Ritter, Zettlemoyer, Mausam, and Etzioni 2013; Xu, Hoffmann, Zhao, and Grishman 2013). これらは Freebase や Wikipediaの Infoboxなどの人手で整備された辞書を活用してテキストデータに対し自動でアノ テーションし，これを訓練データとして抽出規則を学習する。本手法で Freebase や Wikiepdia の Infoboxを用いない理由は, これら辞書にはオンラインショッピングで有用となる商品の属

抽出モデル

図 2 Distant supervision の流孔

性-属性值が記述されていない商品カテゴリが多く, 教師データを自動構築する際の辞書デー夕 としては利用できないためである。

本手法は単純なものであるが, これは Distant supervision における初期タグ付きデータ作成部分に相当する（図 2 の破線の部分），多くの手法では，この後, 固有表現抽出と組み合わせ たフィルタリングや，統計量を用いたフィルタリング等の処理を行ってタグ付きコーパスから False-positive, False-negative を減らすように工夫している (Roth, Barth, Wiegand, and Klakow 2013). そのため, 本研究で得られたエラー分析の結果は商品の属性値抽出のみならず, Distant supervision に基づく一般の情報抽出タスクにおいても， どのようなエラーについて後続のフィ ルタリング処理で考慮しないといけないのかを示唆する有用な知見になると考えられる．

以下, 属性-属性値辞書の構築方法, および辞書に基づく属性値抽出方法について述べる。

## 3.2.1 属性-属性値辞書の構築

属性-属性值辞書の構築は Shinzato らの手法 (Shinzato and Sekine 2013) に基づいて行った. この手法は「属性-属性値の抽出」，「同じ意味を持つ属性の集約」の 2 つの処理からなる.

属性-属性值の抽出 前述したように一部の商品ぺージには表や箇条書きなどの半構造化デー夕 が含まれており，辞書の構築にはこれらのデータを利用する。まずドメイン特有の属性を得るた め，正規表現パターン $<\mathrm{TH} . * ?>.+?</ \mathrm{TH}>$ を使って表のヘッダーから属性を獲得する（<TH> は表のヘッダーを表す HTML タグ)，獲得された属性のうち「保存方法」「その他」「商品説明」「広告文責」「特徴」「仕様」は適切な属性と見なせないため除く.

続いて属性-属性值の組を抽出するため, 以下の正規表現パターンを商品ページに適用し, [ANY] にマッチした表現を $[$ ATTR $]$ に対応する属性の値として抽出する.

P1: $\quad<\mathrm{T}(\mathrm{H} \mid \mathrm{D}) . * ?>[\mathrm{ATTR}]</ \mathrm{T}(\mathrm{H} \mid \mathrm{D})><\mathrm{TD} . * ?>[\mathrm{ANY}]</ \mathrm{TD}>$

P2: $\quad[\mathrm{P}][$ ATTR $][\mathrm{S}][$ ANY $][\mathrm{P}]$

P3: $\quad[\mathrm{P}][$ ATTR $][$ ANY $][\mathrm{P}]$

P4: $[$ ATTR $][S][A N Y][A T T R][S]$

ここで [ATTR] は事前に獲得しておいた属性を表す文字列, [ANY] は任意の文字列, [P] はO，

字を表す.なお $\mathrm{P} 4$ において, [ANY] は最初に出現した $[$ ATTR] の値とする.

抽出された属性-属性値の組に対して, それらを表や箇条書きなどの形式で記述した店舗の異 なり数を計数する。この店舗の異なり数を以降では店舗頻度と呼ぶ. この店舗頻度が高いほど 抽出された属性-属性値が正しい関係にあることが報告されており (Shinzato and Sekine 2013),次節で述べる属性値抽出システムでは, 店舗頻度を用いて属性値の曖昧性解消を行っている。

同じ意味を持つ属性の集約 前述の方法で抽出した属性-属性値には属性の表記に摇れがある. これは商品データを店舗が記述するための標準的な方法（規則）がないためである。例えば,「イタリア」「フランス」はワインカテゴリにおいて「生産地」であるが, 店舗 $m_{1}$ は「生産地」,店舗 $m_{2}$ は「生産国」として記述することがある. そこで Shinzato らは「属性 $a, b$ が同一の半構造化データに出現しておらず， $a, b$ が店舗頻度の高い同一の属性値をとる場合， $a, b$ は同義であ る」という仮説を用いて表記の摇れた属性の認識・集約を行っている。具体的には，まず，店舗頻度が $N$ を超える属性-属性值を対象に, 同じ属性値を持つ属性のベクトル $\left(a_{1}, a_{2}\right)$ を生成す る. そして，属性 $a_{1}, a_{2}$ が同一の半構造化デー夕に含まれているかどうかチェックし，含まれ ていなければそれらを同義語と見なす. $N$ は $N=\max \left(2, M_{S} / m\right)$ で求まる値であり， $M_{S}$ は対象カテゴリにおいて半構造化データを提供している店舗数を表す。 $m$ は店舗頻度の間値を決定 するパラメータであり, 本手法では経験的に 100 としている.この処理により, 例えばワイン カテゴリであれば $v_{1}=$ (生産国, 生産地 $), v_{2}=$ (ぶどう品種, 品種) が得られる. 得られた属性のべ クトルの集合 $\left(\left.\{v_{1}, v_{2}, \cdots\right.\}\right)$ を $S_{a t t r}$ で表す.

続いて, 属性ベクトルの集合 $S_{a t t r}$ の中で類似度の高い属性のベクトル同士をマージする. 例 えば, (地域,生産国,生産地)は, (地域,生産国), (生産国,生産地)をマージすることで得られ る. ベクトル間の類似度はコサイン尺度で求め, マージ処理は類似度の最大值が 0.5 を下回る まで繰り返し行う。この閾値 0.5 は経験的に決定した.

以上の操作を楽天市場のワイン, シャンプー, プリンターインク, $\mathrm{T}$ シャツ, キャットフード カテゴリに登録されている商品データに対して適用した. 獲得された属性-属性値をカテゴリ毎 に 400 件無作為に抽出し, 正しい関係になっているかどうかを 1 人の被験者により評価した.獲得された属性-属性値の数, および正解率を表 2 に示す. T シャツカテゴリで極端に低い精度

(43.5\%) が得られたが，それ以外は Shinzato らの報告と同程度，もしくはより高い精度が達成 できていることがわかる.

最後にワインカテゴリに対して獲得された属性-属性值の例を表 3 に示す. 括弧（[ ] ）内の数字は店舗頻度を表す。

## 3.2.2 属性値の抽出

まず入力文を形態素解析し，属性-属性値辞書中の属性値と最長一致した形態素列を対応する 属性の値として抽出する。この時, 抽出された属性值からさらに別の属性値を取ることは考え ない。また，誤抽出の影響を少なくするため属性值が数值のみからなる場合は抽出しなかった。形態素解析器には JUMAN 7.014を用いた。一部の表現は複数の属性の値となることがあるた め抽出時に曖昧性を解消する必要がある。例えば「 $55 \mathrm{~cm} 」$ は $\mathrm{T}$ シャカテゴリの属性「身幅」,

表 2 属性-属性値の数と正解率

表 3 ワインカテゴリに登録された商品データから自動構築した属性-属性値辞書の例

 \\

[ ] 内の数字は店舗頻度を表す.
^{4}$ http://nlp.ist.i.kyoto-u.ac.jp/index.php?JUMAN
}
「着丈」のどちらの値にもなりえる。本システムでは店舗頻度が高いほど自動抽出された属性属性值の信頼性が高いことに注目し, 複数の属性が考えられる場合は店舗頻度の高い属性の値 として抽出した。先程の例の場合，(身幅， $55 \mathrm{~cm}$ )の店舗頻度は 35 , (着丈， $55 \mathrm{~cm}$ )の店舗頻度は 7 であるため, T シャツカテゴリでは, 表現「55 cm」は「身幅」の属性値として常に抽出される.

## 4 エラー分析

2節で述べたデー夕に対し属性值の抽出を行った時の True-positive/False-positive/False-negative の事例数および精度 (Prec.) と再現率 (Recall) を表 4 に示す. 5 カテゴリ中 3 カテゴリでは, 辞書の正解率は $80 \%$ に近かったにも関わらず，それらを用いて行った自動抽出の精度は $50 \%$ 程度 であることがわかる.

以下では，まず，False-positive, False-negativeの事例について分析し，各エラーを除くため にどのような処理・データが必要となるかを検討する， 4.3 節では，エラー分析を通して得られ た知見のうち, Distant supervision に基づく一般の情報抽出タスクにおいても有用なものにつ いて考える。

## 4.1 False-positive の分析

False-positive となった 1,057 事例について, 以下の項目を順次チェックすることで分類を試 みた。

（1）誤った属性-属性値に基づいて属性値が抽出されている

(2) 属性値を抽出するべき商品ぺージでない

(3) 商品と関係ないパッセージから属性値が抽出されている

分類の結果を表 5 に示す。表より誤った辞書エントリに起因する誤抽出が多いことがわかる.各チェック項目の詳細については 4.1.1 節, 4.1.2 節, 4.1.3 節で述べる.

表 4 True-positive/False-positive/False-negative の数および精度と再現率

表 5 事前チェック項目の該当事例数

 & ワイン & シャンプー &  & $\mathrm{T}$ シャツ &  \\

チェック項目 (1), (2), (3) をパスした抽出結果は, 適切な商品ページの適切なパッセージか ら適切な属性-属性値に基づいて抽出されたものであるにも関わらず誤抽出と判断されたもので ある。そこで，残った事例を調査し，何が原因なのかを検討した。この結果については 4.1.4 節 で述べる。

## 4.1.1誤った属性-属性值に基づいて属性値が抽出されている

属性値の抽出は商品ページの半構造化データより構築した辞書に基づいて行っている. 辞書 は自動構築しているため，誤った属性-属性值の組も含まれている。そこでまず，誤った属性-属性値に基づいて抽出された結果であるかどうかを確認した。この項目に該当する事例数は 712 であり，False-positive 事例の $67.4 \%$ に相当する。自明ではあるが，高い精度で辞書を構築する ことが，辞書べースの情報抽出システムにおいて重要であることがわかる。

この項目に該当する事例を減らすためには辞書構築の方法を見直す必要がある．今回は表・箇条書きデータに注目して辞書を構築しているため，辞書構築の精度を改善するためには，商品ページ中のこれら半構造化データの解析をより正確に行う必要があるだろう。また，表・箇条書き以外の手がかり（例えば語彙統語パターン）を取り入れることも辞書構築の精度向上に 有効であると考えられる。

次に人手でチェックするなどして属性-属性值辞書に含まれる誤ったエントリを削除した場合,辞書マッチに基づく抽出システムの精度がどの程度改善されるのかについて確認する。誤った 属性-属性値に基づいて抽出されてしまった事例を除いた後, 再度計算したカテゴリ毎の精度を 表 6 に示す. 表 4 および表 6 を比べると，平均で精度が $45.2 \%$ から $71.6 \%$ に改善されていること がわかる。この結果から，エントリが全て正しい辞書を用いたとしても 3 割程度は誤抽出とな ることがわかる。
表 6 エントリが全て正しい辞書を用いた場合の精度

## 4.1.2属性値を抽出するべき商品ページでない

楽天では商品ページを商品カテゴリに登録する作業は店舗によって行われており，そこには 誤りが含まれている。そこで誤って分析対象カテゴリに登録された商品ぺージかどうかを確認 した，誤ったカテゴリに登録されている商品ぺージは今回のデータセット中に 4 件 5 あり, そこ に含まれる False-positive 事例数は 53 件 $(5.0 \%)$ であった。

このような誤りを除くためには，与えられた商品ページが商品カテゴリに該当するものであ るかどうかを判定する処理が必要である．例えば，村上ら（村上，関根 2012)は辞書に基づく方法で商品ページが正しい商品カテゴリに登録されているかを判定する手法を提案している。こ のような手法を用いることで，この項目に該当する事例を減らすことができると考えられる.

## 4.1.3商品と関係ないパッセージから属性値が抽出されている

商品ページには当該ページで販売している商品以外のことについて記述されることも多い.例えば，商品ぺージ閲覧者を店舗サイト内で回遊させるために，当該ぺージで販売されている 商品以外の商品の広告を掲載していたり，検索結果に頻繁に表示されるようキーワードスタッ フィングが行われている商品ページがある。 そこで 3 番目の項目として, 当該ぺージにて販売さ れている商品に関係ないパッセージから属性値抽出が行われたかどうかを確認した。結果, 99 件 $(9.4 \%)$ の事例がこの項目に該当した。このうち 90 件は以下のような他の商品へのナビゲー ションであった（括弧内はカテゴリ名）.

$\cdot$ その他のシャンパンタイプ\&スパーク\&ワイン関連はコチラをクリック ※順次追加中! (ワイン)

・ ミルボンメーカー一覧はこちら（シャンプー）
- 色違い”ナチュラル色” ', THERE ARE WAVES NAT', クルーネック Tシャツ（T シャツ）

・《チャオ缶 国産原産国》(キャットフード)
$ シャツカテゴリに帽子, キーホルダーが登録されていた.
}
他の商品ページへのリンクが埋め込まれているかどうかの確認や, 他の商品へのナビゲーショ ンは複数の商品ページに対して設置されることが多いため，商品ぺージのテンプレートを認識 した結果を利用することで，このような事例は減らせるのではないかと考えられる。

残りの 9 件はキーワードスタッフィングが行われた領域から抽出されたものであった. 前処理としてキーワードスタッフィングが行われているかどうかを判定することで，これらの事例 を削除することが期待できる.

## 4.1.4 残りの誤り事例はどんなものか？

ここまでの項目をパスした抽出結果は, 適切な商品ページの適切なパッセージから適切な属性-属性値に基づいて抽出されたものであるが誤抽出となった事例である。このような誤りは 193 件 $(18.2 \%)$ あり，これら事例を重複を考慮して分類すると表 7 のようになった.

以下エラータイプ毎に事例を列挙するとともに，エラーを除くために必要となる処理・デー 夕について検討する。

人手アノテーションと部分一致 人手アノテーションと部分一致している事例が 84 件あった. このうち以下の例のように正解とみなしても問題ない事例が 37 件あった（太字が人手アノテー

表 7 各商品カテゴリにおける誤りの種類とその事例数.

 & ワイン & シャンプー &  & T シャツ &  \\

ション, 下線が自動抽出結果).

・ドメーヌ・レ・グリフェはボジョレーの南産地に位置する歴史あるドメーヌです。
- 国内製製造国 ヘアケア品
- 薄手のコットン素材素材で着心地抜群。
- 表記 Lサイズ

これらは「どのような表現を属性値として抽出するか」という属性値の定義と関係している．定義は抽出結果を利用するアプリケーションに依存する部分であり, アプリケーションによって は上に挙げた抽出結果でも問題ない場合がある。そのため, これらは False-positiveであるが, ほぼ正解と見なしても問題ないと考えられる.

残りの 47 件中 41 件はシャンプーの成分に関するものであり, 以下の例のように人手アノテー ションと部分一致しているものの，これが抽出されても意味をなさないものであった.

・ 2 -アルキル - N - カルボキシメチルヒドロキシエチルイミダゾリニウムべタイン、ラ ウロイルメチルーB－アラニン成分 N A 液、ヤシ油脂肪酸アミドプロピルベタイン液 このような事例は属性-属性値辞書のカバレージを改善することで減らせると考えられる.

他のエンティティの部分文字列からの抽出 次に多かった誤りは他のエンティティの部分文字列から抽出している事例であり 40 件あった. これらはエンティティのタイプから組織名やイベ ント名, 型番, ブランド名などの固有表現, ドメイン固有の用語, 一般的な名詞句に分類できた.固有表現の一部から抽出されていた例を示す（太字が固有表現相当の表現）.
- フランス産地 革命の戦いの舞台にもなった歴史あるシャトー。

・また、フランスで最も古いＡＯＣ、ブランケット・ド・リムー産地を産出します。
- 醸造方法もシャトー・マルゴー産地と 同じ手法をとって、セカンドながらも品質は他 の特級シャトーに匹敵するほどです。
- 2011 年度のトロフィー・リョン・ボジョレー産地・ヌーヴォーコンクールでは見事金賞を受賞!
- 1 円 3 個までリピート歓迎 CANON (キヤノン) 対応の純正互換インクカートリッ ジBCI - 6 PM（残量表示機能付）（関連商品 B C I - 6 B Kュラ- B C I - 6 C BCI - 6 M BCI -6 Y $\quad$ BCI -6 PC $\quad$ BCI -6 PM $\quad$ BCI $-6 \mathrm{R} \quad$ B C I - 6 G)
- アメリカンイーグル (AMERICAN EAGLE)は、ABERCROMB I Eブランド

\& FITCH(アバクロンビー\&フィッチ）と並んで人気のカジュアルブランドで、北米では 800 店舗の直営店を持っています。

・ ブラック色メタル ページ正規ライセンスTシャツ販売

このような事例は全部で 25 件あり，前処理として固有表現認識を行い，固有表現の一部からは
属性値を抽出しない, 等のルールを適用することで事例を減らすことができると考えられる。 たた，ブランド名等は従来の固有表現タイプではカバーされていないため, 従来にはない夕イ プの固有表現の認識技術が求められる.

次にドメイン固有の用語から抽出していた例を示す.

・ ボジョレー産地・ヌーヴォー2 013 年（新酒）!

・ パーマ・デジパー（デジタルパーマ）・縮毛矯正ストレートパーマ エアウエーブ・水成分 パーマ・フィルムパーマなどパーマのウエーブを長持ちさせたい方に。

このような例は全部で 12 件であった. 固有表現の場合と同様に，ドメイン毎に専門性の高い用語を抽出するなどし, 用語の部分文字列からは属性値を抽出しないなどのルールを設ける必要 があると考えられる。

最後に名詞句の一部から抽出されていた事例を示す.このような事例は以下の 3 件であった.

・ 2 位にルイ・ロデレール・ブリュット、 7 位にテタンジュ・ブリュットなど 大手の シャンパンタイプハウスも名を連ねています。

・ ジョエル・ファルメ氏が引き継いたころは、栽培した葡萄をシャンパンタイプメーカーに 売っていましたが、現在は、葡萄の栽培・醇造・瓶詰めまで行うＲＭ（レコルタン・マ ニピュラン) です。
- アメリカ製造国 各種機関で厳しい環境基準をクリアした分解作用で污れだけ分解してく れるから髪や頭皮を傷めません。

これらを除くためには名詞句の構造を解析し, 主辞以外の部分からは属性値を抽出しない, 等 の処理が考えられる。

当該商品の属性値の説明とは関係ない記述からの抽出 このような事例は 37 件あった. 以下に 例を示す。

・ スペイン産地のロマネ・コンティで知られるヴェガ・シシリア社がハンガリーで造るワ イン。

・ 米国ではアメリカンイーグル、アバクロ、GAPブランド（ギャップ）は３大アメカジブ ランドとして、3つとも同じくらいの知名度となっています。
- M，L モデル着用サイズ：M（モデル 身長： $170 \mathrm{CM}$, 体重：58 K , ウ

首周り：37 CM)
- 成猫体重 $1 \mathrm{KG}$ 内容量当り 1 日約 1.4 袋を目安として、1 日の給与量を 2 回以上に分け て与えてください。

・レビューで $5 \%$ 粗脂肪 OF F ククーポン!

上の例からわかるように，ワインはワイナリーに関する記述から， T シャツはブランドの説明

およびモデルの体型に関する記述から，キャットフードはその利用方法やクーポンに関する記述から誤った情報が抽出されている。このような誤抽出を除くためには, 商品ページ内の各文 が何について言及しているのかといった文中の主題を認識する必要がある.

属性値の多義性に起因する誤抽出 このような事例は 33 件あった. この中で最も多かったタイ プはサイズに関する属性値であり, 16 件であった。以下に例を示す.

- 54 . $5 \mathrm{CM}_{\text {身幅 }}$

1つ目の例のように，サイズに関する情報は属性名とともに属性値が記述されることがあるた め, 属性名に相当する表現と属性値がどのくらい離れた場所に記述されているか, という指標を 考慮することで誤りを減らせる可能性がある．２つ目の例は表のセルに記述されたものであっ た. そのため，表形式で記述されたデータの理解も重要な処理と考えられる.

次に多かったタイプは割合に関する表現であった。このタイプの事例は 9 件であった。以下 にその例を示す。

- 粗たん白質： $4.0 \%$ 以上粗脂肪、粗脂肪： $0.1 \%$ 以上、粗緎維： $0.1 \%$ 以下、粗灰分：1.0\%以下、水分：9 4.0\%以下、エネルギー：約 $15 \mathrm{KCAL}$ ／袋
- $0.05 \%$ 以上粗脂肪

1つ目の例のように混合比が素材と一緒に併記されることがある。そのため, 素材に相当する 表現の間に挟まれる割合表現を抽出対象としないことでエラーを減らせると考えられる。サイ ズ同様，割合についても 2 つ目の例のように属性名にあたる表現と併記されることがあるため,属性名との距離を考慮することである程度事例数を減らすことが期待できる。また割合も表形式のデータで記述されることがあるため, 表デー夕の理解は重要であろう.

以下は本来であれば，ワインの属性「タイプ」の値として抽出されるべきであるが，地名と して抽出されてしまった例である.

・NYタイムズで、ベストシャンパーニュ産地（４０ドル以下）に選ばれました。
- モエ・シャンドン・ドンペリニョンの最高級品、通称「ドンペリ・ゴールド」最高の葡萄を熟成させ生産量が極めて少なく本場フランスと日本でしか手に入れることのできな い究極の「公のシャンパーニユ産地」と呼ばれています。

このような地名に関係した誤りは 3 件あり, サイズ，割合表現についで多かった。最初の例は $\lceil 40$ ドル以下」, 次の例は「幻の」や「フランスと日本でしか手に入れることのできない」とい う表現から「シャンパーニュ」が「地名」ではなく「タイプ」の意味で使われていることがわ かる.このことから, 属性値の周辺の語彙を見ることで多義性解消を行う従来手法で解決でき そうである。しかし従来手法は機械学習に基づくものが多く, 教師データを曖昧性のある属性
值ごとに作成するのは膨大なコストがかかる。 そのため, 教師なし学習に基づく解消方法が求 められる。

メトニミーに起因する誤抽出 このタイプに該当する事例は 5 件あり，すべて「ボジョレー」に 関するものであった。以下に例を示す.

・本物のボジョレー産地の味わいを 感じさせてくれる、自然派!

・ ボジョレー産地に求める要素をすべて備えていると言っても過言ではありません。

「ボジョレー」はワインの産地の 1 つであるが，ここでは産地としてではなく，「ボジョレー産 のワイン」という意味で用いられている。咧は「の味わい」という表現に注目することで 「産地」でないことがわかる。 その一方で下の例は文単体では「産地」という理解も可能である. しかしながら，当該文の直前の文が「彼らのスタイルは飲み心地が良く、フルーティで果実味 が豊か。」であることを考えると「産地」ではないことがわかる。このタイプのエラー事例を減 らすには，ある表現がメトニミーなのかどうかを判定する処理が必要であり，さらに 2 つ目の 例のように一文中の情報では判定できない事例もあるため, 文を跨いだ解析が求められる.

形態素解析器の過分割による誤抽出 形態素解析器により過分割されたために誤って抽出され た事例が 1 件あった。以下に示す.

## ・トカイ・フルミント・ドライ・マンデュラス品種［２０００６］（オレムス）

マンデュラス (mandulas) とはハンガリー語でアーモンドを意味する語である. 形態素解析器の 辞書にマンデュラスが登録されていなかったため，過分割されてしまい誤った属性値が抽出さ れていた。しかしながら，マンデュラスのような語が形態素解析器の辞書にあらかじめ登録さ れていることは期待できないため，あるドメインに関するテキスト集合から自動的に語彙を獲得し, 形態素解析器の辞書を動的に拡充する手法 (例えば, 村脇らの手法 (村脇, 黒橋 2010)) が必要であると考えられる。

商品ページ内の誤った情報からの抽出 誤った情報が商品ページに記述されており, そこから 誤った属性值が抽出されている事例が 1 件あった. 以下に示す.

$\cdot$アリミノ ミントシャンプー フローズンクール $220 \mathrm{ML}$ 容量

商品タイトルには $1000 \mathrm{ml}$ と記述されており, 商品画像も $1000 \mathrm{ml}$ のものであったことから $220 \mathrm{ml}$ は誤りであることがわかった。このように抽出元となるテキストの信頼度や，画像データなど のテキスト以外の情報を考慮することも精度の向上に必要である.

## 4.2 False-negative の分析

False-negative に該当する事例は全部で 831 件あった，分析にあたり，まず，キャットフード カテゴリについては全 18 件, キャットフード以外のカテゴリからは無作為に 50 件ずつ選び出 した。そして，以下の条件のいずれかに一致する事例を削除して残った 188 件について分析を 行った.
- 誤ったカテゴリに登録された商品ページ.
- 人手アノテーションと部分一致し，かつ正解と見なしても問題ないもの.

分析の結果, False-negative 事例は (1) 異表記すら辞書に含まれていない, (2) 異表記は辞書に含 まれている，(3) 抽出手法の問題の 3 種類に分類できた。本節では各タイプについて述べる.

## 4.2.1異表記すら辞書に含まれていない

当該表現たけけでなく, その異表記すら辞書に含まれていない事例が 100 件 $(53.2 \%)$ あった.表 8 に異表記が辞書に含まれていない属性値のタイプと例を示す。組織名, 地名, 割合表現, 人名など既存の固有表現のタイプが見てとれる。そのため, 固有表現のタイプと属性の間に変換 ルールを設けることで，辞書に含まれていない属性值についても固有表現認識技術を用いるこ とで抽出できる可能性がある。しかしながら, この操作によって False-positive の数が増えてし まう可能性があることに留意する必要がある.

表 8 異表記すら辞書に含まれていない属性値の例

 \\

## 4.2 .2 異表記は辞書に含まれている

属性値自身は辞書に含まれていないが，その異表記が辞書に含まれている事例は 69 件 $(36.7 \%)$ あった．異表記のタイプ，各タイプの数および例を表 9 に示す. 空白，中黒，ハイフンの有無 や入れ替わり, 長音とハイフンの入れ替わり, 接辞の有無, 翻字の違い, 小数点の扱い, 送り 仮名の有無など，テキスト中と辞書中の表現の柔軟なマッチングを行うことで改善できる事例 が多いことがわかる，その一方で，略語，翻訳，言い換えなど事前の知識獲得処理を必要とす る事例も見られる。

## 4.2.3 抽出手法の問題

辞書に正しい属性-属性値の組が登録されているにも関わらず 3 節で述べた手法の問題により 抽出されなかった事例が 19 件 $(10.1 \%)$ あった。この中で最も多かったタイプは数値単体からな る属性値であった（13 件)，誤抽出の影響を減らすため数値のみの属性値は抽出しないように したことが原因である，数値に関する抽出手法を洗練することで，このタイプの誤りは減らせ ると考えられる。

残り 6 件のうち 3 件は，辞書エントリとテキストの最長一致による属性値抽出方法が問題と なっていた，具体的には，正解の属性値（例えば，(メーカー, デミ コスメティクス)）より も文字列長の長い誤った属性値（例えば，(メーカー, 日華化学株式会社デミコスメティク ス)）が先に抽出されてしまい，正しい属性値が抽出されなくなっていた。文字列長だけではな

表 9 テキスト中の表現と辞書エントリの表記の違い

 & 18 & P I XUS $990 \mathrm{I}$ & P I XUS 990 I \\

く, 属性-属性値としての正しさも考慮に入れて抽出を行うことで改善できる可能性がある.

残りの 3 件は属性値に多義性がある場合であった。属性値抽出を行う際, 店舗頻度をもとに 多義性解消を行っているが，この処理が誤っていた。そのため, 店舗頻度だけでなく, 前後の 文脈を考慮するなどして多義性解消を行う必要があると考えられる。

## 4.3 Distant supervision に基づく一般の情報抽出タスクに対して有用な知見

一般に Distant supervision に基づく情報抽出手法では, Freebase や Wikipedia の Infobox な どの人手で整備された辞書に登録されているエンティティ（もしくはエンティティの組）がテ キストに出現している際，エンティティに紐づいている辞書内の情報（例えば，エンティティ のタイプやエンティティ間の関係）を当該テキストに付与することで教師データを自動的に作成する。例えば Distant supervisionの考え方を一般的な関係抽出タスクに初めて用いた Mintz ら (Mintz et al. 2009)の手法では，まず固有表現抽出器をテキストに対して適用し, 任意の文 $s$ に固有表現 $e_{1}, e_{2}$ が含まれ，かつ Freebase に< $e_{1}, e_{2}, r>$ というレコードが登録されている 時, 文 $s$ を関係 $r$ の学習データとして利用する。

Distant supervision に基づく方法で教師データを作成する際, エンティティの誤認識が問題 となる. どのような誤認識のタイプがあるのか, という点で 4.1 .4 節で述べた以下のエラーカテ ゴリは Distant supervision に基づく一般の情報抽出においても有用な知見になると考えられる.
- 他のエンティティの部分文字列からの抽出
- 形態素解析器の過分割による誤抽出
- 属性値の多義性に起因する誤抽出

・メトニミーに起因する誤抽出

「他のエンティティの部分文字列からの抽出」に関しては, 固有表現の認識を事前に行うことで, ある程度の誤認識は減らせるかもしれない. しかしながら, 4.1.4節で述べたように, 従来の固有表現抽出で定義されたタイプ以外の表現の認識も求められることから, 依然としてこの問題点は考慮する必要がある。「形態素解析器の過分割による誤抽出」についても, 固有表現の認識 に失敗する可能性があるため, タグ付け対象となるテキストのドメインに特化した表現の自動獲得手法が求められる。

関係抽出では「文に 2 つのエンティティが含まれている」という条件が各エンティティの多義性解消の手がかりになると考えられるが，この条件だけで全ての多義性を解消できるとは考 えにくい.また, 固有表現抽出のような 1 つエンティティを対象としたタスクの場合は上述の 条件が適用できない。そのため，「エンティティがどの意味で用いられているのか」を認識する ことが一般の情報抽出においても重要である。このことから，「属性値の多義性に起因する誤抽出」および「メトニミーに起因する誤抽出」で列挙した事例については, 商品属性值抽出タス クに限らず，一般の情報抽出においても考慮する必要があるだろう。

エンティティの誤認識以外には，エンティティが出現しているにも関わらず認識されない

False-negative の問題がある。この問題のうち, 異表記が辞書に含まれているエンティティにつ いては 4.2.2 節で得られた結果が役立つと考えられる。この結果は, 辞書中とテキスト中の表現 のマッチングを行う際，どのような「ずれ」について考慮しなければならないか，を検討する 1 つの知見になりえる.

## 5 おわりに

本稿では商品の属性値抽出タスクにおけるエラー分析のひとつの事例研究について述べた. まず，楽天市場のワイン，シャンプー，プリンターインク， Tシャツ，キャットフードカテゴ リに登録された商品データ 100 件に対して, 人手で属性值のアノテーションを行った。次に属性-属性值辞書に基づく情報抽出システムを実装し，このシステムを属性値がアノテーションさ れた商品データに対して適用した。その結果明らかとなる False-positive, False-negtive 事例を 調査し, 各事例をそのエラーのタイプに応じて分類した. こjすることで, 商品属性值抽出夕 スクに内在する研究課題を洗い出し, 抽出システムを構築する上でどのような点を考慮するべ きか，またどのような点に注力するべきかという部分を明らかにした。

本研究で行ったエラー分析の結果, より高い精度で属性値を抽出するためには, 以下の処理・ データが必要になることがわかった.
- 質とカバレージの高い属性-属性値辞書

・適切でない商品カテゴリに登録されている商品ページの検出
- 商品ページで販売されている商品と関係のあるパッセージの同定

・ブランド名や商品名といったオンラインショッピングに特化した固有表現の認識
- 商品説明文中の主題の認識
- 属性値を抽出する際の多義性解消技術
- メトニミーの認識
- 商品説明文中に含まれる表形式データの解釈
- 知識獲得 (新規辞書エントリの獲得, 辞書エントリの同義語獲得, 形態素解析辞書の動的 な拡張)

・ 辞書エントリとテキスト中の表現の柔軟なマッチング

エラー分析に用いた属性值抽出システムは, Distant supervision における夕グ付きデータ作成方法と見なせる。そのため, 今後は本稿で挙げた問題点を考慮した高品質な夕グ付きコーパス 作成方法を実装し, それを基にした機械学習べースの属性値抽出システムの開発を考えている.

## 参考文献

Bing, L., Wong, T.-L., and Lam, W. (2012). "Unsupervised Extraction of Popular Product Attributes from Web Sites." In Proceedings of the 8th Asia Information Retrieval Societies Conference, pp. 437-446.

Ghani, R., Probst, K., Liu, Y., Krema, M., and Fano, A. (2006). "Text Mining for Product Attribute Extraction." ACM SIGKDD Explorations Newsletter, 8 (1), pp. 41-48.

Mauge, K., Rohanimanesh, K., and Ruvini, J.-D. (2012). "Structuring E-Commerce Inventory." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 805-814.

Mintz, M., Bills, S., Snow, R., and Jurafsky, D. (2009). "Distant Supervision for Relation Extraction without Labeled Data." In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 1003-1011.

村上浩司, 関根聡 (2012). カテゴリに強く関連する語の発見と商品データクリーニングへの適用. 言語処理学会第 18 回年次大会発表論文集, pp. 195-198.

村脇有吾, 黒橋禎夫 (2010). 形態論的制約を用いたオンライン未知語獲得. 自然言語処理, 17 (1), pp. 55-75.

Probst, K., Ghani, R., Krema, M., Fano, A., and Liu, Y. (2007). "Semi-supervised Learning of Attribute-value Pairs from Product Descriptions." In Proceedings of the 20th International Joint Conference in Artificial Intelligence, pp. 2838-2843.

Putthividhya, D. and Hu, J. (2011). "Bootstrapped Named Entity Recognition for Product Attribute Extraction." In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, pp. 1557-1567.

Ritter, A., Zettlemoyer, L., Mausam, and Etzioni, O. (2013). "Modeling Missing Data in Distant Supervision for Information Extraction." In Transactions of the Association of Computational Linguistics - Volume 1, pp. 367-378.

Roth, B., Barth, T., Wiegand, M., and Klakow, D. (2013). "A Survey of Noise Reduction Methods for Distant Supervision." In Proceedings of the 2013 Workshop on Automated Knowledge Base Construction, pp. 73-78.

Shinzato, K. and Sekine, S. (2013). "Unsupervised Extraction of Attributes and Their Values from Product Description." In Proceedings of the 6th International Joint Conference on Natural Language Processing, pp. 1339-1347.

Takamatsu, S., Sato, I., and Nakagawa, H. (2012). "Reducing Wrong Labels in Distant Supervi-
sion for Relation Extraction." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 721-729.

Wong, T.-L., Wong, T.-S., and Lam, W. (2008). "An Unsupervised Approach for Product Record Normalization across Different Web Sites." In Proceedings of the 23rd AAAI Conference on Artificial Intelligence, pp. 1249-1254.

Wu, F. and Weld, D. S. (2010). "Open Information Extraction Using Wikipedia." In Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics, pp. 118-127.

Xu, W., Hoffmann, R., Zhao, L., and Grishman, R. (2013). "Filling Knowledge Base Gaps for Distant Supervision of Relation Extraction." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 665-670.

## 略厤

新里 圭司：2006 年北陸先端科学技術大学院大学情報科学研究科博士後期課程

修了. 博士 (情報科学). 京都大学大学院情報学研究科特任助教, 特定研究員 を経て，2011 年から楽天技術研究所．自然言語処理，特に，知識獲得，情報抽出, 評判分析の研究に従事.

関根聡：New York University, Associate Research Professor. 1998 年 NYU Ph.D.. 松下電器産業, University of Manchester, ソニー CSL, MSR, 楽天技術研究所ニューヨークなどでの研究職を歴任. ランゲージ・クラフト代表.専門は自然言語処理, 特に情報抽出, 固有表現抽出, 質問応答の研究に従事.村上 浩司: 2004 年北海道大学大学院工学研究科博士課程単位取得退学. ニュー ヨーク大学コンピュータサイエンス学科, 東京工業大学統合研究院, 奈良先端科学技術大学院大学情報科学研究科を経て 2010 年より楽天技術研究所ニュー ヨークに所属. 博士 (工学). 自然言語処理の研究に従事.

$(2015$ 年 5 月 21 日 受付 $)$
$(2015$ 年 8 月 6 日 再受付)
$(2015$ 年 11 月 3 日 採録)


# 自動要約における誤り分析の枠組み

西川 仁 ${ }^{\dagger}$
}

本稿では自動要約システムの誤り分析の枠組みを提案する。この誤り分析の枠組み は, 要約が満たすべき 3 つの要件と誤った要約が生じる 5 つの原因からなり, 要約 の誤りをこれらからなる 15 種類の組み合わせに分類する。また, システム要約にお いて 15 種類の誤りのうちどの誤りが生じているかを調査する方法もあわせて提案す る。提案する誤り分析の枠組みに基づき，本稿ではまず，システム要約を分析した 結果を報告する。さらに，分析の結果に基づいて要約システムを改良し，誤り分析 の結果として得られる知見を用いてシステムを改良することでシステム要約の品質 が改善されることを示す。

キーワード：自動要約，誤り分析
## Error Analysis Framework for Automatic Summarization

\author{
Hitoshi NishikaWa ${ }^{\dagger}$
}

\begin{abstract}
We propose an error analysis framework for automatic summarization. The framework presented herein incorporates five problems that cause automatic summarization systems to produce errors and three metrics for quality. We classify errors in automatic summaries into 15 categories comprising a combination of the three quality metrics and five problems. We also present a method to classify automatic-summary errors into these categories. Using our error analysis framework, we analyze the errors in an automatic summary produced by our system and present the results. We use these results to refine our system and then show that the quality of the automatic summary is improved. The error analysis framework that we propose is demonstrably useful for improving the quality of an automatic summarization system.
\end{abstract}

Key Words: Automatic Summarization, Error Analysis

## 1 はじめに

自動要約の入出力は特徴的である。多くの場合, 自動要約の入出力はいずれも, 自然言語で 書かれた, 複数の文からなる文章である。自動要約と同様に入出力がともに自然言語である自然言語処理課題として機械翻訳や対話，質問応答が挙げられる。機械翻訳や対話の入出力が基本的にはいずれも文であるのに対して, 自動要約や一部の質問応答は基本的には入出力がいず

れも文章である点が特徴的である。また形態素解析や係り受け解析などの自然言語解析課題に おいては, 入力は文であるが, これらの出力は品詞列や係り受け構造などの中間表現であり, 自然言語ではない．談話構造解析は文章を入力として想定するものの，やはり出力は自然言語で はない.

この特徴的な入出力が原因となり, 自動要約の誤り分析は容易ではない. 自動要約研究の題材として広く用いられるコーパスの多くは数十から数百の入力文書と参照要約 ${ }^{1}$ の組からなる が，入出力が文章であるがために，詳しくは 3 節で述べるが，自動要約の誤りの分析において は考慮しなければならない要素が多い，そのため，数十の入力文書と参照要約の組といった入出力の規模でも，分析には多大な時間を要することになる。人手による詳細な分析を必要とし ない簡便な自動要約の評価方法として ROUGE (Lin 2004) があるが， ROUGE による評価で は取りこぼされる現象が自動要約課題に存在することも事実であり，詳細な分析が十分になさ れているとはいいがたい。そのため, 何らかの誤りを含むと思われる要約をどのように分析す ればよいのかという体系的な方法論は存在せず，したがって自動要約分野の研究者が各々の方法論をもって分析を行っているのが現状と思われる.

この状況を鑑み，本稿では，自動要約における誤り分析の枠組みを提案する．まず，要約シ ステムが作成する要約が満たすべき 3 つの要件を提案する。また, 要約システムがこれらの要件を満たせない原因を 5 つ提案する．3つの要件と 5 つの原因から， 15 種類の具体的な誤りが 定義され，本稿では，自動要約における誤りはこれらのいずれかに分類される。

本稿の構成は以下の通りである。 2 節では本稿が置く基本的な前提について説明し, 本稿で の議論の範囲を明らかにする．３節では誤り分析の枠組みを提案し，自動要約の誤りが提案す る 15 種類の誤りのいずれかに分類できることを示す. 4 節では実際の要約例に含まれる誤りを 提案した朹組みに基づいて分析した結果を示す. 5 節では 4 節で得られた分析の結果に基づい て要約システムを改良し，要約の品質が改善することを示す。 6 節では関連研究について述べ る。 7 節では本稿をまとめ, 今後の展望について述べる.

## 2 基本的な前提

一般に，誤りといえば，本来得られるべき何らかの正しい結果があるものの，それとは異な る，すなわち正しくない別の結果が得られた際にそれを指していうものである。文書分類であ れば与えられた文書を正しい分類先に分類できなかった際にそれを誤りということができる。 そのため，何らかの正しい結果，すなわち正解が定まらなけれげ誤りも定めることができない.

自動要約においては，この正解，すなわち参照要約 2 すささか一意に定めづらい 3 。自動要約課題において, 複数の作業者に参照要約の作成を依頼したとき, 作業者に与える指示にもよ るものの，まったく同一の参照要約が作成されるということはまずない。そのため，ある参照要約を基準とした際には誤りとなる要約が, 別の要約を基準とした際には誤りとならないこと がある。

本稿では, この問題は脇に置く。すなわち, ある 1 つの参照要約が存在するとき，それと要約システムが作成した要約（以下，便宜的にこれをシステム要約と呼ぶ）とを比較し，その差分を誤りとする。すなわち，何か差分があれば誤りを含むし，そうでなければ誤りを含まない.誤りについては次節にて述べる。この単純化は以下の理由に基づく：
- 単一の参照要約の誤り分析の枠組みが存在しない状況において, 複数の参照要約の誤り 分析の枠組みを設定するのは困難であること。
- 単一の参照要約の誤り分析の枠組みを設定できれば, それに基づいて複数の参照要約が 存在する場合を検討することができること。

これらの点から, 本稿でのこの単純化は, 問題の過度な単純化ではなく, 合理的な問題の分割であると考える。

また, 自動要約課題には, 入力文書が単一である場合と複数である場合, 要約システムが特に焦点を当てて出力するべき情報がクエリなどを通じて与えられる場合と与えられない場合などの下位分類が存在する。また，テキスト以外にも映像などの自動要約を考えることもできる．本稿で は, 対象はテキストに限定することとし, また自動要約課題の最も単純な形態である, 単一文書が 入力として与えられ，特にクエリなどは別途与えられない状況を仮定することとする。 さらに,要約の対象となるテキストの種類についても新聞記事 (Luhn 1958; Aone, Okurowski, Gorlinsky, and Larsen 1999), 技術文献 (Luhn 1958; Edmundson 1969; Pollock and Zamora 1975), メール (Muresan, Tzoukermann, and Klavans 2001; Sandu, Carenini, Murray, and Ng 2010), マイクロ ブログ (Sharifi, Hutton, and Kalita 2010; Takamura, Yokono, and Okumura 2011)など様々なテ キストを考えることができるが，本稿ではこれまで単一文書要約課題において広く研究されて きた新聞記事を特に分析の対象として扱う。参照要約に関する仮定とそれに伴う単純化と同様 に, 本稿では, まず自動要約課題の最も単純な形態の誤り分析を扱うことによって, 自動要約 の基本的な誤り分析の枠組みを検討する。より複雑な自動要約課題の誤り分析については将来 の課題とする。

これらの点を踏まえて，本稿が示す自動要約の誤り分析の枠組みの限界を述べておく．
- 上で述べたように, 本稿が提案する自動要約の誤り分析の枠組みは多くの仮定に基づい

ており，それらの仮定が成り立たない状況においては必ずしも有効に働くものではない.
- また，提案する誤り分析の枠組みに基づいて，本稿において行われる分析は，ある単一 の要約システムを利用し，またある単一の入力文書を用いて行われるため，その結果が 一般的なものであるとは必ずしもいうことはできない.
- 本稿で示す分析の枠組みに基づいて行われた分析は, 枠組みを提案した著者による分析 であり，そのため複数の異なる分析者間での結果の一致については議論されていない.

上に示すように, 本稿で示す自動要約の誤り分析の朹組みは完全なものでは決してない. 本稿の目的は，あくまで，自動要約の基本的な誤り分析の枠組みを提案することにあり，より広範な自動要約課題への適用や，異なる複数の分析者による分析結果の一致に関する議論などは 将来の課題である.

## 3 誤り分析の枠組み

ここではまず，自動要約が最低限満たすべき原則を 3 つ述べ，それが満たされないときに誤 りが生じることを説明する。次に，誤りの原因を 5 つ取り上げる。最後に，これらの組み合わ せから要約の誤りが 15 種類に分類されることをみる.

## 3.1 自動要約の誤りの種類

本稿で扱う自動要約課題は入力および出力がいずれもテキストである。また，少なくとも人間がそのテキストを読解することを想定している 4 . そのため, 要約システムが出力するテキス 卜，すなわち要約は，まず何よりも人間が読解可能である必要があろう。すなわち，想定され る読者が読み取れるような言語で記述されていることや，非文法的な文などが含まれていない ことが必要であろう.

次に, 要約は, 入力されたテキストから読み取れる情報のうちのいずれかのみを選択して出力するものである。そのため, 当然のこととして, 要約システムは入力されたテキストから読 み取れることのみが含まれる要約を出力する必要がある。 すなわち, 入力されたテキストと矛盾する内容や, 入力されたテキストが含意しない内容を含む要約を出力することは許されない であろう。

最後に, 要約は, 字義通り, 入力されたテキストから読み取れる情報のうち, 重要だと思わ れる情報のみを含んでいる必要がある.

これらの点をまとめると, 要約システムによって生成される要約は, 以下の 3 つ原則を満 たすべきと考えられる：

（1）出力から情報を読み取れること。情報を読み取れないような文章が出力されていないこ と。情報を読み取れないような文が出力された場合には，以下の 3 つのケースが考えら れる.

（a）要約がユーザの要求とは異なる言語で出力されている場合や，要約システムがそ の内部処理において利用している制御記号などが出力されており, 要約から文意 を読み取れない場合. 何らかの理由により要約が出力されない場合も含む.

(b) 文法的でない文（非文）が要約を構成しており，要約の文意が取れない場合.

(c) 個別の文は文法的であるが, 要約を構成する文同士の論理関係などが明らかでな く, 全体として文意が取れない文章が要約となっている場合.

本稿ではこれら 3 点をまとめて, 内容を適切に読み取ることのできない要約を便宜的に 「非文章」と呼ぶ.

（2）読み取れる情報が，入力と矛盾せず，入力が出力を含意すること。読み手が入力を読ん だ際と出力を読んだ際に異なる結論に至らないこと。

（3）出力から読み取れる情報が，入力および読み手の希望を鑑みて，重要であると思われる こと. 重要でない，枝葉末節の情報が出力に含まれないこと.

これらの原則が満たされない場合を誤りとして，自動要約の誤りの分析における 3 つの観点 が導出できる：

（1）非文章の出力：要約システムが出力した文章から文意が読み取れない場合, それは誤り となる.この観点は自動要約の言語的品質の評価 (National Institute of Standards and Technology 2007; Nenkova and McKeown 2011) と概ね対応する.この観点の誤りはシス テム要約のみで検出することができる.

（2）文意の歪曲：要約から読み取れる情報が, 入力文書に記載されている情報と矛盾する場合, それは誤りとなる。この観点を評価するためには入力文書とシステム要約が必要と なる。この観点はこれまで自動要約において大きく取り上げられてこなかった。これに は 2 つの理由が考えられる。第 1 に, 現時点では, この観点に関してシステム要約を評価するためには人手での丁寧な読解が不可欠であり, そのため非常に費用がかかり実施 しづらいということが挙げられる。上で述べた (1)については出力されたシステム要約 のみを人手で確認すればよく, また次に述べる (3)については参照要約とシステム要約 の機械的な比較によって人手をかけずに一定の評価が可能である。これらに対して, (2) を評価するためには入力文書とシステム要約の両方を評価者が読解した上で, 内容の無矛盾を確認しなければならず，その費用は多大なものとなる，第 2 に，文の書き換えな どを行わずに単に重要文を選択するだけの手法などで要約を作成した場合, 文意の歪曲

はさほど頻繁には生じず5，そのため誤りとしてこれまで重要視されてこなかったという ことも考えられる。

文意の歪曲の例を表 1 および表 2 に示す。表 1 は TSC- 2 のデータ6に含まれる文書番号 981225042 のテキストから要約システム7によって作成されたシステム要約であり, 表 2 は元のテキストである。表 1 に示すシステム要約の 4 文めの冒頭には,「このため」とあ り，「輸出に過度に依存しない国内生産体制が急務」である原因が前の文で述べられてい ることが示唆されている。システム要約を読むと,「トヨタ自動車が検討し始めた生産能力の削減」およびそれに伴う「雇用や地域経済への影響」がこの原因であるように読解 できる。一方，表 2 に示す元の入力文書を読むと， 11 文めの「輸出に過度に依存しない 国内生産体制が急務」の原因は，「国内販売は、保有期間の長期化もあり新車需要の大き な伸びは期待できない」であることがわかる。この例では, システム要約と入力文書と で，読解した際に別の読みが可能になっており，そのためシステム要約が，入力文書で 述べられている本来の文意を歪曲している。

（3） 重要部同定の失敗：要約から読み取れる情報の中に入力文書および読み手の希望を鑑み て重要でないものが混ざっているとき, それは誤りとなる。同様に, 入力文書および読 み手の希望を鑑みて重要であると思われる情報が要約に含まれていない場合もそれは誤 りとなる。この観点は内容性の評価に概ね対応する (Nenkova and McKeown 2011) . こ の観点を評価するためには参照要約とシステム要約が必要となる.

この 3 つの観点が，要約システムの誤りを考える際に，最初の分類としてあらわれるものと 思われる。

表 1 文書番号 981225042 のシステム要約

(1) トヨタ自動車が、生産能力の削減を検討し始めた。

(2) 約 380 万台といわれる国内の能力を今後 3 年間で 30 万台削減する方向で、系列車体メー カーである関東自動車工業（神奈川県横須賀市）の一部工場などが閉鎖対象に挙がっている。

(3) 現在、自動車業界の国内過剩生産力は約３００万台といわれているが、今後、部品メーカーな どを巻き込んだ雇用や、地域経済への影響も広がりそうだ。

(4)このため、輸出に過度に依存しない国内生産体制が急務になっている。

（5）また、工場を閉鎖すれば、需要が上向いた時、即座に増産ができず、国内販売シェアを落とす 恐れもあるため、「稼働率は 8 割程度がちょうどいい」(同社幹部) とも語っていた。

（6） 今後の競争力を左右する環境対応技術や、高度道路交通システム（ＩＴＳ）などの開発投資に は巨額の資金が必要になる。

表 2 文書番号 981225042 のテキスト

(1) トヨタ自動車が、生産能力の削減を検討し始めた。

(2) 約 380 万台といわれる国内の能力を今後 3 年間で 30 万台削減する方向で、系列車体メー カーである関東自動車工業（神奈川県横須賀市）の一部工場などが閉鎖対象に挙がっている。

（3）業績が悪化している日産自動車や三菱自動車工業に続き、業界最大手のトヨタが大掛かりなリ ストラに乗り出したことで、激化する国際競争の中、「雇用維持」を前提にした生産体制の継続が困難な状況にあることが鮮明になった。

（4）現在、自動車業界の国内過剩生産力は約３００万台といわれているが、今後、部品メーカーな どを巻き迄んだ雇用や、地域経済への影響も広がりそうだ。

（5）トヨ夕の国内生産拠点は6カ所の組み立て工場のほか、トヨタ車体、ダイハツ工業、日野自動車工業など委託工場を合わせると約 20 カ所。

(6) ピークの1990年には約420万台を生産した。

（7）しかし、バブル崩壊以降の自動車需要の長期低迷と海外生産の拡大で、98 年の国内生産台数 は317万台（前年比 $9 \%$ 減）と、90年と比べて100万台余り減少した。

(8) うち、4 割強の 147 万台は欧米中心の輸出向け。

(9) しかし、2001年にはフランスに建設中の欧州第2工場が生産を始める。

(10) 国内販売は、保有期間の長期化もあり新車需要の大きな伸びは期待できない。

(11)このため、輸出に過度に依存しない国内生産体制が急務になっている。

(12）奥田碩社長はこれまで、雇用最優先の経営姿勢を強調し、「国内で３００万～350万台の生産があれば雇用は維持できる」と述べていた。

（13）また、工場を閉鎖すれば、需要が上向いた時、即座に増産ができず、国内販売シェアを落とす 恐れもあるため、「稼働率は 8 割程度がちょうどいい」(同社幹部) とも語っていた。

（14）しかし、独ダイムラー・ベンツと米クライスラーが国境を越えて合併するなど、国際競争は一段と激化している。

（15） 今後の競争力を左右する環境対応技術や、高度道路交通システム（ＩＴＳ）などの開発投資に は巨額の資金が必要になる。

(16)「99年は優勝劣敗が決する重要な時期。従来以上にコスト競争力を高める必要がある」(奥田社長）との判断から、国内生産能力の削減に踏み切った。

(17) 売上高に対する利益率で、日本メーカーは欧米勢に大きく立ち遅れている。

（18）「高コストを温存していては国際競争に生き残れない」（南光成・日産自動車副社長）との認識は業界共通のものになりつつある。

毎日新聞'98 データ集より引用した。

## 3.2 要約システムの誤りの原因

近年の要約システムの多くは Multi-Candidate Reduction Framework (Zajic, Dorr, Lin, and Richard 2007; Jurafsky and Martin 2008) に従っているとみなせる.これは, 入力された文書 を，文分割などによって文 8 に分割する機構 (Gillick 2009), 得られた文を文短縮 (Jing 2000;

Knight and Marcu 2002) などによって別の表現に書き換え元の入力のある種の亜種を生成する 機構，そののちにそれらの中から要約長などの要件を満たすものを選択し要約を生成する機構 からなる (Filatova and Hatzivassiloglou 2004; McDonald 2007)。最後の要約を生成する機構は さらに, 文の組み合わせの中から要約として適切なものに高いスコアを与える機構と高いスコ アを持つものを探索する機構に分割できる。 さらに，文の組み合わせの中から要約として適切 なものに高いスコアを与える際には，典型的には機械学習が用いられるため，学習が正しくな されているか否かと, 適切な特徴量が設定されているかの 2 点を考慮する必要がある.

これらのことから，文分割に関する問題は要約以前の前処理の問題として脇に置くと，近年 の要約システムは以下の構成要素からなる。

(1) 入力された文などの言語単位を別の表現に書き換える機構.

(2) 要約としてふさわしい文などの単位に高いスコアを与えるための機械学習に関する機構.

(3) 文などの単位に特徴量を与える機構.

(4) 要約としてふさわしい文などを探索する機構.

典型的な要約システムを構成する上述の要素を踏まえると, 要約システムが前節の原則を満 たせず，誤りを生じさせる原因には以下の観点が考えられる：

(1) 操作の不足: 要約システムが, 人間の作業者がテキストに対して施す操作と同等の機構を 保持してないことに伴って生じる誤り。言い換えなどの操作ができないために入力され た文を短縮することができず，人間と同等の情報量を要約に含めることができない場合 や，要約システムが入力された文において省略されているゼロ代名詞を復元できず，要約の文意を損なう場合が含まれる。

（2）特徵量の不足：特徴量が不足している場合.この場合は 2 つにわけることができる.

(a) 特徴量の設定不足：要約システムにおいて設定されていない特徴量が要約の作成 において重要な役割を果たすと思われる場合．段落に関する情報を入力文書から 得ることができ，かつその情報が要約の作成において重要な役割を果たすと目され るのにもかかわらず，要約システムはそれを特徴量として認識できない場合など。

(b) 言語解析の失敗: 解析器が誤り, 特徵量として設定されている情報が正しく取得 できなかった場合. 固有表現認識器が固有表現を認識し損ね, 要約システムがそ れを特徴量として利用できなかった場合など。

(3) パラメタの誤り：訓練事例の不足, 不適切な学習手法の利用などによって, 推定された パラメタが精度よく推定されていない場合.

（4）探索の誤り：探索誤りのために誤った要約を生成した場合. 重要文集合の選択において，本来はより良好な文の組み合わせがあるにもかかわらず，探索誤りによって不適切な文 の集合を出力として選択した場合など.

（5） 情報の不足:そもそも要約システムに対して入力された情報だけでは参照要約まで到達で

きない場合. 人間の要約作成者が入力以外の情報源を利用して要約を作成した場合など. 6 節で述べるが, これらの誤りの原因はより詳細化することが可能である。一方, 自動要約 には単一文書要約と複数文書要約といういささか風合いの異なる 2 つの下位課題が存在し，ま た文短縮なども独立した課題として扱いうる。そのため，個々の要約システムの設計の詳細は 様々であり, 誤りの原因の詳細は分析の対象とする要約システムの設計の詳細に依存する. こ のことを鑑み，本稿ではより詳細な誤りの原因には踏み込まず，多くの要約システムにおいて 共通する機構に基づき，誤りの原因として上の 5 種類の原因を定義する 9.

## 3.3 自動要約の誤り分析の枠組み

3.1 節で述べた 3 種類の誤りの種類と， 3.2 節で述べた 5 種類の誤りの原因から, 自動要約 における誤りは 15 種類のいずれかに分類できると期待できる。これをまとめたものを表 3 に 示す.

なお, これらとは別に, 参照要約作成者の読みが誤っていると思われる場合など, そもそも 参照要約が信頼できないと思われる場合がありうるが，ここではそれは除外し，あくまで参照要約が正しく，機械はそれを模倣することのみを考えればよいという場合を想定した。

次に，分析の枠組みを自動要約の結果に適用する際の具体的な方法を表 4 に示す。表 4 は, あ る誤りの種類がある誤りの原因によって生じる際に，どのようにそれを同定できるかをまとめ たものである.

## 3.4 誤り分析の手続き

本稿で提案する枠組みに基づく誤りの分析は, 一例として, 以下の手続きで行うことができる.

（1）非文章の出力：まず，要約システムが出力したシステム要約を読解し, 非文章が出力さ れていないか確認する。主語や述語などが存在しない非文が存在しないか, また談話構造が不明瞭で文章全体から意味が取れなくなっていないかを確認する。非文章が生じて いた場合は，その原因を特定する。例えば，主語が存在しない文が存在し，文脈からも その主語を読み取ることができず，そのためその文の文意を正しくとることができない 場合, そのような文が生じた原因を特定する。このとき, 入力文書とシステム要約でそ の文が異なる場合，すなわちその文をシステムが書き換えたか否かを確認する必要があ る．仮に書き換えたのであれば，なぜその書き換えが発生したかを特定する.

表 3 自動要約の誤り分析の枠組み

 &  &  \\

表 4 自動要約の誤り分析の枠組みの適用方法

（2）文意の歪曲：次に，入力文書の文意がシステム要約において歪曲されていないかを確認 する.この作業には, 入力文書の読解と, システム要約の読解の両方が必要である. シ ステム要約から, 入力文書に含まれていない情報や, あるいは入力文書と矛盾する情報 が読み取れる場合は，要約システムによって入力文書の文意が歪曲されていることにな る. 文意が歪曲されている場合は, なぜ歪曲が生じたのか確認する。抽出型の要約シス テムにおいてこの誤りが生じる状況の 1 つは, 主語が省略されている文がシステム要約 において誤った文脈におかれることで，読者が，入力文書での本来の主語とは異なる主語を文にあてはめてしまい，その結果として誤った解釈に至る状況である。他にも，談
話標識が入力文書と異なる文脈におかれることで，前後の文から異なる解釈を得ること できる場合もある。 3.1 節で示した例はこの場合である。書き換えまで行う要約システム であれば，入力文書と異なる表現が用いられることで文意が変化していないか確認する。 このような文意の歪曲が生じている場合は, どのような修正をシステム要約に加えるこ とで，正しい文意を得ることができるか確認する，上の例では，省略された主語を復元 する機構の追加，談話標識を除去，あるいは修正する機構の追加などが考えられ，これ らを要約システムが備えていないために誤りが生じたと考えられる場合は「操作の不足」 が原因となろう。一方, これらの機構が存在しているにもかかわらず文意の歪曲が生じ た場合は，パラメタの誤りや特徴量の不足を調査する必要がある.

（3）重要部同定の失敗: 最後に, 参照要約とシステム要約を比較し, 参照要約に含まれている がシステム要約には含まれていない情報がないか確認する。この確認には ROUGE (Lin 2004), Basic Element (Hovy, Lin, Zhou, and Fukumoto 2006)などを援用することが可能 であろう。参照要約に含まれている重要な情報がシステム要約に含まれていない場合に は，その情報がシステム要約に含まれなかった理由を調査する。特に，パラメタが正し く学習されているか，またそのような情報を重要な情報であると特定するための特徴量 が設定されているかを確認する必要があろう.

## 4 分析の実践

本節では前節で提示した分析の枠組みを，本稿で分析の対象とした文書に対して適用する。 まず，分析の枠組みを適用するシステム要約を作成する。次に，それらに対して人手による分析を行い，その後分析の結果を提案した分析の枠組みに基づいて整理する。

## 4.1 実験設定

## 4.1.1 データ

実験には，自動要約の評価型プロジェクトである TSC-210のデータを用いた．TSC-2 のデー 夕は 60 記事からなり, 各文書に対して 3 人の作業者が参照要約を付与している。また, 各文書 に対して長い参照要約と短い参照要約の 2 種類が付与されている。今回は特に分析の対象とし て文書番号 990305053 のテキストを用いた。参照要約には, 作成者 1 による長い参照要約を用 いた. 文書番号 990305053 のテキストの長い参照要約の長さは 495 文字であり，要約システム を動作させる際には 495 文字以内の要約を作成するようにした.

## 4.1.2 要約システム

要約システムについては, 西川らによる単一文書要約システム (Nishikawa, Arita, Tanaka, Hirao, Makino, and Matsuo 2014) を利用した. 西川らの要約システムは, 入力として単一文書 を想定しており，特に単一の新聞記事を入力として想定している。また, クエリの入力は想定 していない。要約の手法は Multi-Candidate Reduction Framework (Zajic et al. 2007; Jurafsky and Martin 2008) に基づいており，まず入力された各文の亜種を文短縮を利用して生成し，そ の後に元の文とそれらの文の亜種からなる文の集合の中で, 文の重要度と文間の結束性が最も 高くなる文の系列のうち, 要約長の制限を満たすものを選び出すものである. 文短縮を利用す ることもできるものの, 西川らの要約システムは文短縮が行われた文が要約に選択されること があまり多くないため, 今回は文短縮を用いずに要約を出力させた.

## 4.2 結果

表 6 に入力文書（文書番号 990305053）を示す.太字は入力文書と参照要約とで文アライメ ントを取り，対応づけが取れた文同士において共通の単語である。下線は要約システムによっ て重要文と認定された文である。表 7 に参照要約を示す。分析の対象となると思われる点につ いては下線を加え, どのような現象が生じているか下線の後に上付き文字で示した. 表 8 にシ ステム要約を示す。太字は参照要約とシステム要約とで文アライメントを取り, 対応づけが取 れた文同士において共通の単語である。表 7 と同様に分析の対象となると思われる点について 下線を加え, どのような現象が生じているか下線で示された部分の後に加筆した. 表 5 に入力文書および参照要約，システム要約の統計量を示しておく。

## 4.3 誤り分析

## 4.3.1重要部の同定の失敗

まず，ROUGE-1 (Lin 2004)の值は 0.385 であった ${ }^{11}$. 文単位でみると, システム要約に含 まれる文のうち, 完全に参照要約に含まれない文は 2 文めと 11 文のみであり, 11 文中 2 文に

表 5 入力文書および参照要約, システム要約の統計量.

^{11}$ ROUGE-1 は抽出的な要約手法に基づく要約システムを評価する際に広く用いられている指標であり，また新聞記事においては人手による評価と強い相関があることが知られている (Lin 2004)．そのため, まずこれを用いて, 要約システムが出力した要約の品質を大まかに把握することにした.
}
表 6 文書番号 990305053 のテキスト

（1） 中国の国会、全国人民代表大会（全人代）が 5 日から始まる。

（2）朱鎔基首相の「政府活動報告」と予算案を審議し、私有制経済の存在を保障する憲法の一部改正などを行う予定だ。

（3）昨年 の全人代で、新首相に選ばれた朱首相は、「8\%成長」と「三つの実行」（国有企業改革、金融体制改革、行政機構改革の 3 年以内解決）などを公約した。

(4) 国有企業改革、行政機構改革 は計二千数百万人規模の大リストラ計画であり、「命をかけてやる」と言い切った首相の 強い決意に称賛の声があがった。

(5) 本来なら改革 2 年目の今年が正念場となるはずである。

（6）ところ が現実には、改革の熱気は薄い。

（7）アジア金融危機の影響が中国に及び、経済環境 が急速に悪化した。

(8) 改革で生まれる失業者を他の産業に吸収できない。

(9) 改革のテンポを緩めても、社会不安を抑え込むべきだという空気 が強まっている。

(10) 安定追求との ジレンマがあっても 意志の強いことで知られる 朱首相は改革路線を貫くと期待したい。

(11) しかし、中国の経済が悪化するとともに、中国に対する信頼を摇るがせるような 問題もいくつか発生している。

(12) 例えば、朱首相が昨年公約 した「8\%成長 の確保」は、7・8\%に終わった。

(13) ほぼ8\%であり、公約は達成されたとされた。

(14) だ が 西側の経済 専門家から は「本当は $7 \cdot 8 \%$ より低いのではないか」という疑問 が出されている。

（15）電力消費量 や国内輸送量 が増えていないのに、国内総生産（GDP） が増えるのはおか しいと統計の公正さに疑問が出された。

(16) 広東省など 地方の成長率が $10 \%$ を超えた のも水増しを疑われている。

(17) 金融改革 については、外資の 取り扱いで大きく摇れている。

（18）昨年秋、突然倒産した広東国際信託投資公司（ＧＩＴＩＣ）の負債の処理について、「正規に 登録された外資は返済を保証する」という中国政府の方針が、今年になって引っくり返った。

(19) 外資は「貸手にも責任がある」と突き放された。

（20）各地方の国際信託投資公司（ＩＴＩＣ）にも同様の問題が飛び火している。

(21) そこでも同じ方針が貫かれると、今後中国へ向かう勇気のある外資はなくなるかもしれない。

(22) 香港に対 しても、最近の中国の姿勢 は、硬直した感じが否めない。

（23）香港人が中国国内でもうけた子供に香港居留権があると判断した香港の裁判所を、中国当局者が激しく批判した。

（24）「香港基本法」の解釈権は中国の全人代にある。

（25）一地方政府にすぎない香港の裁判所に解釈権はない、という趣旨たっった。

（26）香港の最終審長官が、「全人代の解釈権を侵害する意図はない」と釈明して収拾された。

（27）だが「1 国 2 制度」に対する香港市民の自信はこの一件で急落した。

（28） 中国の国有企業は、香港の株式市場で資金を調達する予定たった。

（29）ところが香港の不況で、上場延期に追い达まれている。

（30）香港の繁栄回復が、中国の改革 と切り離せないことを肝に銘じているのは中国のはずだ。

(31) にもかかわらず、中国の対応はあまりにも 官僚主義的 だった。

(32)改革の直面する困難が大きければ大きいほど、柔軟な対応が必要になるだろう。

毎日新聞'99デー夕集より引用した。太字は入力文書と参照要約とで対応づけが取れた文における共通の 単語である。下線は要約システムによる重要文である.
表 7 文書番号 990305053 の参照要約

（1） 中国の国会、全国人民代表大会が始まる。

(2) 昨年、朱首相は「8\%成長」と「三つの実行」などを公約した。

(3) 国有企業改革や行政機構改革 など省略を「命をかけてやる」と言い切った首相の決意に称賛 の声があがった。

（4）本来なら改革 2 年目の今年が正念場となるはずだが、現実には改革の熱意は薄い。文融合

も強まっている。文融合

（6）この省略 ジレンマがあっても、朱首相は改革路線を貫くと期待したい。

(7) しかし、経済悪化とともに、問題もいくつか発生している。

（8）公約の $8 \%$ 成長は $7 \cdot 8 \%$ ・たったが、本当はこの数字より低いのではないかという疑問が専門家からも出されている。

（9）また参照要約の信頼性、電力消費量が増えないのに、国内総生産が増えるのはおかしいと統計の公正さにも疑問が出された。

（10）地方の成長率が１０％を超えたことも水増しを疑われている。

（11） 金融改革も、外貨の扱いで大きく摇れており、香港に対する姿勢も、硬直した感じが否めない。

（12）香港の繁栄が中国改革と切り離せないことが、分かっているはずなのに、中国の対応は官僚主義的である。文融合

(13) 改革の困難が大きければ大きいほど、柔軟な対応が必要だろう。

下線とその後の上付き文字はその部分においてどのような現象が生じているかを示したものである.

表 8 文書番号 990305053 のシステム要約

（1） 中国の国会、全国人民代表大会（全人代)括弧の除去 が5 日から始まる。

（2）朱鎔基首相の「政府活動報告」と予算案を審議し、私有制経済の存在を保障する憲法の一部改正などを行う予定だ。重要部同定の失敗

（3）昨年の全人代で、新首相に選ばれた 朱首相は 、「8\%成長」と「三つの実行」（国有企業改革、金融体制改革、行政機構改革の 3 年以内解決) 括弧の除去 などを公約した。文短編

（4）国有企業改革、行政機構改革 は計二千数百万人規模の大リストラ計画であり、「命をかけて やる」と言い切った首相の強い決意に称賛の声があがった。

(5) 本来なら改革 2 年目の今年が正念場となるはずである。

（6）アジア金融危機の影響が 中国 に及び、経済環境が 急速に 悪化した。

（7）改革のテンポを緩めても、社会不安を抑え込むべきだという空気が強まっている。文矮縮

（8）安定追求との ジレンマがあっても 意志の強いことで知られる 朱首相は改革路線を貫くと期待したい。文短縮

（9）しかし、中国の 経済 が 悪化 するとともに、中国に対する信頼を摇るがせるような 問題 もいくつか発生している。文短縮

(10) 例えば、朱首相が昨年 公約 した「 $8 \%$ 成長 の確保」は、 7 ・8\% に終わった。

太字は入力文書と参照要約とで対応づけが取れた文における共通の単語である。下線とその後の上付き文字は表 7 と同様である.

とどまっている。このことから，要約システムの精度（適合率）は $\frac{9}{11}$ に達しており，要約シ ステムは高精度に重要文を同定していることがわかる。一方，再現率の観点から見ると，参照要約は入力文書 33 文のうち 15 文を要約として採用しており12, 再現率は $\frac{9}{15}$ に留まっている.再現率はまだ大きく改善の余地が残されているため，文と単語という差異はあるが，同様に再現率を評価する ROUGE-1の値についても改善の余地があると思われる.

次に，重要部同定の失敗の原因を探る。表 6 を見ると，要約システムは特に後半の文を選択 できていない，これは，要約システムが入力文書における話題の遷移を捕捉できていないため であると思われる。入力文書において，どのように話題が遷移しているかを表 9 に示す。全人代が開催されるということ（話題 1）と中国の改革とその行く末が危ぶまれるということ（話題 2-4）と，その具体的な例（話題 5-6）が並び，最後の文は入力文書のまとめとなっている．参照要約を見ると，参照要約の作成者はできる限りこれらの情報を網羅的に要約に含めることを 狙っていることが読み取れる。要約システムが後半の文を選択できなかったのはこのような話題の構造を理解することができなかったためで，この構造を要約システムに理解させることは 重要部の同定に決定的に重要である ${ }^{13}$.

## 4.3.2 括弧の除去

表 6 の例において頻繁に行われている操作の 1 つは括弧の除去である。括弧を通じて提供 されている補足的な情報は全て要約から除去されていることがわかる。これによって文を短く し文字数を減らすことができるため, 要約システムもこの操作を実行できるようにする必要が ある。

表 9 入力文書に含まれる話題の遷移

## 4.3.3 文短縮・言い換え

表 6 を見ると，文書全体にわたって文の書き換えが行われていることがわかる．不要な修飾節などを除去し文を短く書き換える操作は文短縮あるいは文圧縮と呼ばれており (Nenkova and McKeown 2011), この表 6 の例でも文 1 , 文 10 などで典型的に行われている. 文短縮は, 典型的には係り受け木の枝刈りを通じて行われるが, 参照要約に含まれる文のうち係り受け木の枝刈りによって実現できるものは少数であり，参照要約作成者はより洗練された，言い換えなど の操作を通じて参照要約を作成していることがわかる.

## 4.3.4 文融合

異なる複数の文から 1 つの文を作成することは文融合と呼ばれている (Barzilay and McKeown 2005). 参照要約を見ると, この文融合が行われていることがわかる. 表 10 から 13 にその例を 示す. 参照要約の中では 4 回この操作が行われており, 入力文書における表現と比べ情報量を 維持したまま文字数の削減が行われている。これらの操作によって削減された文字数を利用し て参照要約作成者はさらに情報を要約に詰め达んでおり,この操作を行う機構を持たない要約 システムは再現率において劣後せざるを得ない.

表 10 文融合の例 1

 \\

文頭の数字はそれぞれ入力文書および参照要約中での文番号である.

表 11 文融合の例 2

 \\

文頭の数字はそれぞれ入力文書打よび参照要約中での文番号である.

表 12 文融合の例 3

 \\

文頭の数字はそれぞれ入力文書および参照要約中での文番号である.

## 4.3.5 省略

便宜的に「省略」としたが，「この」や「など」の表現を用いて，入力文書における情報を除去している箇所がある，表 14 に示す参照要約の文 3 では，朱首相の「三つの実行」のうち金融機構改革が失われており，これが「など」として表現されている。また表 15 に示す参照要約の 文 6 では, 「改革と安定追求のジレンマ」を「この」で表現しており，同様に文字数を節約して いる.

## 4.3.6 参照要約の信頼性

一方，参照要約の品質が疑われる部分もある。 入力文書の文 14 と文 15 とは並列の関係には ないと思われるため, 参照要約の文 9 先頭の接続詞「また」は要約作成者の読みの誤りを示唆 している.

## 4.4 誤り分析の枠組みの適用

ここまでの分析を，本稿で提案した誤り分析の枠組みに適用した結果を表 16 に示す. 表 16 に示されているように，今回は文短縮などの書き換え機構を利用していないため, 非文が出力 されることはなかった。一方で，文を短く書き換える操作を行えないため，情報の被覆におい て参照要約に大きく劣後しており，これが低い再現率の直接の原因となっている。

表 13 文融合の例 4

 \\

文頭の数字はそれぞれ入力文書および参照要約中での文番号である.

表 14 省略の例 1

 \\

文頭の数字はそれぞれ入力文書および参照要約中での文番号である.

表 15 省略の例 2

 \\

文頭の数字はそれぞれ入力文書および参照要約中での文番号である.
表 16 自動要約の誤り分析の一例.

## 5 分析に基づく要約システムの改良

本節では，4節で述べた分析に基づいて実際に要約システムを改良した結果について述べる.

5.1 節では要約システムに文の書き換え操作を追加する． 5.2 節では要約システムに特徴量を 追加する．5.3 節ではパラメ夕の調整を行う．5.4 節ではこれらの改良によってなされた要約の 改善について議論する。 5.5 節では, 改良したシステムを文書番号 990305053 以外のテキストに
適用し，本節で行った改良の効果をみる.

なお，本節での改良が要約システムを真に改良としたと言うことは難しい。要約システムが 真に改良されたと言うためには，少なくとも，ある特定の分野における複数の異なる入力文書 を用意し, これらから生成される要約の品質が, 改良前の要約システムのそれと比べて改善さ れていることを検証する必要がある。この点を踏まえ，本稿における本節の意義は以下の 2 点 にある：
- 4 節で述べた分析に基づいて行うことができる要約システムの改良方法について具体的 に述べること。
- 本稿で提案している分析が, 少なくとも, ある入力文書の要約システムによる要約結果 を人手で分析し, それに基づいて要約システムの改良を行うことによって，その入力文書を要約する限りにおいては，よりよい要約を出力するために役立つということを示す こと.

## 5.1 文の書き換え操作の追加

表 16 に示したように，今回の事例において操作の不足は深刻な問題である。そのため, 参照要約において行われている書き換え操作の一部を要約システムも行えるようにした.

## 5.1.1 括弧の除去

西川らの要約システムは括弧を除去する機能を持つ14ため, この機能を動作させるようにした.

## 5.1.2 文短縮

同様に，文短縮機能も動作させるようにした。

## 5.1.3 文融合

西川らの要約システムは文融合の機能を持たないため，表 10 から 13 に示した文融合が行わ れた文を人手で作成し，要約システムが選択可能な文集合に加えた。

## 5.1.4 省略

文融合と同様に, 省略が行われている文についても人手で参照要約と同様の文を作成し, そ れを要約システムが選択可能な文集合に加えた。具体的には，表 14 および 15 の参照要約の文 を入力文書の文の書き換え後の文として要約システムに追加した.

## 5.2 特徵量の追加

表 16 に示したように，一部の特徴量を要約システムが認識できないことは要約の作成に悪影響を与えている。そのため, 分析の結果として重要と思われた特徵量を追加した.

## 5.2.1段落情報に関する特徵量

4.3.1 節で述べたように, 重要文の同定に失敗した主因の 1 つは入力文書の話題の遷移を捉え ることができないためであった。西川らの要約システムは段落に関する情報を特徴量として利用することができるため，入力文書に表 9 に基づいて段落情報を付与した，具体的には，同一 の話題番号に属する文は同一の段落に属するものとした. 西川らの要約システムは段落の先頭 の文を重要文として選択する傾向があるため, これによって各話題の先頭の文を重要文として 選択できると期待できる。

## 5.2.2 最後の文に関する特徴量

表 7 の参照要約を見ると, 入力文書の最後の文を入力文書におけるある種のまとめとして重要文とみなしていることがわかる。この点を鑑み，最後の文にはその文が最後の文であるとわ かる特徴量を追加した。

## 5.3 パラメタの調整

最後に，パラメタの調整を人手で行った。 パラメタの調整は, 調整後に要約システムが生成 する要約が参照要約に近づくように人手で各特徴量の重みを調整することで行った. 具体的に 行ったのは以下の調整である：
- 括弧が含まれる文の重要度を下げるようにした．参照要約においては入力文書に含まれ る括弧は全て除去されているため, これが除去されるようにした.
- 冒頭の段落に含まれる文の重要度を下げるようにした。通常, 新聞記事は逆三角形と呼 ばれる構造をなしており (一般社団法人共同通信社 2010), 冒頭の段落がほぼ当該記事の 要約をなしている。そのため，西川らの要約システムは冒頭の段落に含まれる文に大き な重みを与えている。しかし, 今回分析の対象とした入力文書はいささか散文的であり, その点を鑑みてか参照要約の作成者は記事の冒頭以外からも多く文を選択している。こ のことから，冒頭の段落に含まれる文の重みを小さくし，文書全体から文が選ばれるよ うにした。
- 長い文が選ばれづらくなるようにした，参照要約は長い文をあまり含んでおらず，文短縮や文融合, 省略が施された短い文を含んでいる。 そのため, それらの文が選ばれやす くなるように文の長さに対して負の重みを与えた.
- 百分率の固有表現を含む文が選ばれやすくした，参照要約には中国の経済成長に関する 具体的な百分率が含まれており，これらの情報が要約に含まれるように百分率の固有表現の重みを大きくした。
- 類似する文が選ばれづらくした。西川らの要約システムは文同士の類似度を特徴量とし て設定しており，類似した文が要約に選択されやすくなっている。しかし，今回分析の 対象とした入力文書の参照要約を見る限り，参照要約の作成者はできるだけ幅広い話題 を入力文書において網羅しようとしているように観察される。そのため，むしろ類似す る文は要約に含まれないようにした方がよいと思われたため，類似する文が選ばれづら くなるようにした.
- 段落の先頭の文の重みを大きくした，5.2.1 節で述べたように，参照要約の作成者は入力文書に含まれる様々な話題を網羅するように要約を作成したように思われる。特に，各話題に関する段落の先頭の文を参照要約の作成者は参照要約に含ませているように観察 されるため, これらが要約に含まれやすくなるようにした。
- 最後の文の重みに大きな値を与えた。5.2.2 節で述べた特徴量は新しく追加したものであ るため, 当該特徵量に対する重みがパラメ夕集合内には存在しない。そのため, 最後の 文が選ばれるように最後の文であることを示す特徴量に大きな重みを与えた。

## 5.4 結果と考察

書き換え操作を追加したのちのシステム要約を表 17 に示す。書き換え操作および特徴量を追加したのちのシステム要約を表 18 に示す。書き換え操作, 特徴量およびパラメ夕調整を追加し たのちのシステム要約を表 19 に示す.これらの要約システムの改良による ROUGE の変化を 表 20 に示す. Rw は書き換え操作が追加された要約の評価, $\mathrm{Rw}+\mathrm{Ft}$ は書き換え操作および特徴量が追加された要約の評価, $\mathrm{Rw}+\mathrm{Ft}+\mathrm{Pm}$ は書き換え操作, 特徴量, およびパラメ夕調整 が追加された要約の評価である。 $\Delta$ で示した数値はある改良によってどの程度 ROUGE-1 の値 が改善したかを示す.

なお，本節の目的は，書き換え操作の追加，特徴量の追加，パラメ夕調整それぞれの ROUGE への影響を見ることそのものにはなく, 各改良によってどのような変化がシステム要約に生じ るかを見ることにある。また，これらの改良は，後で述べるように 3 つ全てを合わせたときに こそ大きく要約に影響を及ぼすものであるため，個別の改良の影響に必ずしも注目するもので はないことに注意されたい.

書き換え操作の追加によっていくらか ROUGE が改善されたものの, 表 17 が示すように，書 き換え後の文の一部は要約システムによって選択されておらず，その効果が十分に発揮されて いない。そのため， ROUGEの改善も必ずしも大きなものではない．このことから，単に書き 換え操作を追加するだけではなく, 書き換え後の文が重要文として選択されるように特徴量お
表 17 書き換え操作を追加したのちの文書番号 990305053 のシステム要約

（1） 中国の国会、全国人民代表大会（全人代）が5 日から始まる。

（2）昨年の全人代で、新首相に選ばれた朱首相は、「8\%成長」と「三つの実行」（国有企業改革、金融体制改革、行政機構改革の 3 年以内解決）などを公約した。

(3) 国有企業改革、行政機構改革は計二千数百万人規模の大リストラ計画であり、「命をかけてや る」と言い切った首相の強い決意に称賛の声があがった。

（4）本来なら改革 2 年目の今年が正念場となるはずだが、現実には改革の熱意は薄い。

（5）アジア金融危機の影響が中国に及び、経済環境が急速に悪化した。改革のテンポを緩めても、社会不安を抑え込むべきだという空気が強まっている。

（6）安定追求とのジレンマがあっても意志の強いことで知られる朱首相は改革路線を貫くと期待し たい。

（7）しかし、中国の経済が悪化するとともに、中国に対する信頼を摇るがせるような問題もいくつ か発生している。

（8）例えば、朱首相が昨年公約した「8\%成長の確保」は、7・8\%に終わった。

（9）香港人が中国国内でもうけた子供に香港居留権があると判断した香港の裁判所を、中国当局者 が激しく批判した。

（10）香港の最終審長官が、「全人代の解釈権を侵害する意図はない」と釈明して収拾された。

表 18 書き換え操作および特徴量を追加したのちの文書番号 990305053 のシステム要約

（1）中国の国会、全国人民代表大会が5日から始まる。

（2）朱鎔基首相の「政府活動報告」と予算案を審議し、私有制経済の存在を保障する憲法の一部改正などを行う予定だ。

（3）昨年の全人代で、新首相に選ばれた朱首相は、「8\%成長」と「三つの実行」(国有企業改革、金融体制改革、行政機構改革の 3 年以内解決）などを公約した。

（4） 国有企業改革や行政機構改革などを「命をかけてやる」と言い切った首相の決意に称賛の声が あがった。

（5）本来なら改革 2 年目の今年が正念場となるはずだが、現実には改革の熱意は薄い。

(6) アジア金融危機の影響が中国に及び、経済環境が急速に悪化した。

(7) 改革のテンポを緩めても、社会不安を抑え迄むべきだという空気が強まっている。

（8）安定追求とのジレンマがあっても意志の強いことで知られる朱首相は改革路線を貫くと期待し たい。

（9）しかし、中国の経済が悪化するとともに、中国に対する信頼を摇るがせるような問題もいくつ か発生している。

（10）香港人が中国国内でもうけた子供に香港居留権があると判断した香港の裁判所を、中国当局者 が激しく批判した。

（11）香港の繁栄が中国改革と切り離せないことが、分かっているはずなのに、中国の対応は官僚主義的である。
表 19 書き換え操作, 特徴量およびパラメ夕調整を追加したのちの文書番号 990305053 のシステム要約

（1） 中国の国会、全国人民代表大会が5 日から始まる。

（2）昨年の全人代で、新首相に選ばれた朱首相は、「8\%成長」と「三つの実行」などを公約した。

(3) 国有企業改革や行政機構改革などを「命をかけてやる」と言い切った首相の決意に称賛の声が あがった。

（4）本来なら改革 2 年目の今年が正念場となるはずだが，現実には改革の熱意は薄い。

(5) アジア金融危機の影響が中国に及び、経済環境が急速に悪化した。

（6）改革のテンポを緩めても、社会不安を抑え达むべきだという空気が強まっている。

(7)このジレンマがあっても、朱首相は改革路線を貫くと期待したい。

（8）しかし、中国の経済が悪化するとともに、中国に対する信頼を摇るがせるような問題もいくつ か発生している。

(9) 例えば、朱首相が昨年公約した「8\%成長の確保」は、7・8\%に終わった。

(10）広東省など地方の成長率が１０％を超えたのも水増しを疑われている。

（11）金融改革も、外貨の扱いで大きく摇れており、香港に対する姿勢も、硬直した感じが否めない。

（12）香港人が中国国内でもうけた子供に香港居留権があると判断した香港の裁判所を、中国当局者 が激しく批判した。

(13) 改革の直面する困難が大きければ大きいほど、柔軟な対応が必要になるだろう。

表 20 要約システムの改良による ROUGE の変化

よびパラメタを調整しないといけないことがわかる.

次に，特徴量の追加による影響についてみる。表 20 が示すように，特徴量の追加により，大 きくROUGE が改善されていることがわかる。これは全て段落情報に関する特徴量の影響であ る。最後の文に関する特徴量は新しく追加したものであるため，この時点では生成される要約 に対して影響を与えない。参照要約の作成者は入力文書に含まれる各話題からそれらに対応す る文を選択しているため，段落情報を通じてこの情報を要約システムが利用できるようになっ た影響は大きい.

最後に, パラメタの調整による影響をみる。表 20 が示すように, パラメタの調整により ROUGE が劇的に改善されていることがわかる。表 19 に示す要約には参照要約に含まれていない文が 1 つだけ含まれているものの（文12），参照要約にかなり類似した要約を生成することに成功し ている.このことから, 適切な書き換え操作と特徴量を追加した上で適切なパラメ夕を得るこ とができれば，参照要約に近い要約を生成できることがわかる。

ROUGE とは別に，表 21 に各システム要約から読み取れる参照要約中に含まれる言明を示 す。参照要約は 20 の言明からなる。 パラメタの調整まで加えた最良のものでも 16 個の言明を 含むに留まっており，4個の言明を取りこぼしている。特に 13 番目の言明についてはいずれの システム要約も選択することができておらず,これを選択するためにはより詳細な特徴量を設定するなどの工夫が必要であろう.

## 5.5 他の文書に対する適用

最後に, 改良前の要約システムによるシステム要約と, 改良を加えた要約システムによるシ ステム要約を比較した，TSC-2のデータに含まれる残りの 59 文書を入力とし, 改良前後の要約 システムで要約を作成した， 4 節と同様に，長い方の参照要約を参照要約とし，要約システム

表 21 システム要約から読み取ることができる参照要約中の言明

 & 0 & O & O & O \\

表 22 文書番号 990305053 以外の文書を入力とした場合の ROUGE による評価結果

が各文書の要約を作成する際には参照要約の長さ以内の要約を作成するようにした． ROUGE-1 で評価を行った結果を表 22 に示す.

有意水準 $\alpha$ は 0.05 としてウィルコクソンの符号順位検定 (Wilcoxon 1945) を用いて検定を行っ たところ, 改良前後での ROUGE-1 の変化は有意であった. 要約システムに加えた改良はあく まで文書番号 990305053 に特化したものとなっているため, 改善は大きくないものの, 文書番号 990305053 に基づいて行った改良が他の文書に対しても有効に働いたことがわかる。ある特定の文書ではなく，あるコーパスを構成する全ての文書に対するシステム要約の品質を全体的 に向上させようとする際には，例えば，そのコーパスを構成する文書の中から代表性を持つ文書を特定し，そのような文書を集中的に分析し要約システムを改良するといった手段が考えら れる。

## 6 関連研究

## 6.1 自動要約の誤り分析

要約システムから出力された要約を評価する方法は大きく 2 つにわけられる (Spärck Jones 2007)．1つは内的な評価で，要約そのものの品質を評価するものである。もう1つは外的な評価で，要約の品質を他の課題を通じて評価するものである。後者は, 例えば, 異なる要約シス テムから出力された要約を用いて同一の情報検索課題を解き，より良好な検索結果が得られた 要約システムをよい要約システムとするものである (Nomoto and Matsumoto 1997)．本稿は特 に要約そのものの品質を扱うため, ここでは前者に焦点を当てる.

要約そのものの品質は 2 つの観点から評価されてきた (Nenkova and McKeown 2011)．1つ は要約の内容性であり, 入力文書に含まれる重要な情報がシステム要約にも含まれているか評価するものである。もう1つは要約の言語的品質であり, システム要約が読みやすいものになっ ているかを評価するものである。これらはそれぞれ，前者については本稿における「重要部同定の失敗」，後者については「非文章の出力」と対応している.

要約の内容性については，人間の作業者が重要文として認定した文を要約システムが重要文 として認定できた割合に基づいて評価するもの (奥村，難波 2005)，システム要約と参照要約 の, n-gram 頻度分布の類似度に基づいて評価するもの (Lin 2004), 人手によって複数の参照要
約に頻繁に出現する情報を特定し，それが要約に含まれる数に基づいて評価するもの (Nenkova， Passonneau, and McKeown 2007) などの評価方法がある.

要約の内容性を改善するための網羅的な分析として, Paice による分析がある (Paice 1990).

Paice は, 文を選択する際の特徴量である, 手がかり語の有無や文の位置, 入力文書のタイトル に含まれる語の有無などの効果を論じた，Paiceのこの分析は，「重要部同定の失敗」に関する 「特徵量の設定不足」に該当する分析といえる.

Hirao らは，機械学習を用いて重要文同定を行った際のパラメ夕について分析している (Hirao, Isozaki, Maeda, and Matsumoto 2002). 機械学習を通じて得られたパラメタの傾向を観察する ことで，有効に働く特徴量を簡便に分析することができる. Hirao らのこの分析は， Paiceの 分析と同様に,「重要部同定の失敗」に関する「特徴量の設定不足」に該当する分析といえる.

要約の言語的品質については, 一般に, 要約の言語的品質を測定するためのテスト (National Institute of Standards and Technology 2007) を通じて評価される。言語的品質に関する分析と しては，Vanderwende らが文の書き換えが引き起こす問題を (Vanderwende, Suzuki, Brockett, and Nenkova 2007), Nenkova が照応詞が引き起こす問題を指摘している (Nenkova 2008).

Vanderwende らは，要約の内容性を改善するために，入力文書に含まれる不要な節や句を除去することを提案した (Vanderwende et al. 2007). この方法によってより要約の内容性が改善 されることを Vanderwende らは示したが，その一方で文の書き換えによって非文法的な文が生成され，これが要約に含まれることで要約の言語的品質が低下することも指摘した. 特に，文 の書き換えの結果，コンマ，ピリオドが誤った位置に置かれることが頻繁に問題となることを 示した. Vanderwende らのこの分析は, 「操作の不足」が「非文章の出力」を招くことを指摘す るものといえる。

Nenkova は，要約に含まれる照応詞が問題を引き起こすことを指摘した (Nenkova 2008)．特 に, 言語的品質の観点において, 先行詞が不明膫な照応詞が出現することで, 要約の品質が低下 することを指摘した．Nenkova は実際に，要約を構成する文の名詞句を書き換える要約システ ムと，単に文を選択するだの要約システムの，それぞれから出力された要約の言語的品質を比較した. Nenkovaは，前者が出力した要約は，書き換えに伴い統語的に正しくない文が生成され ることがあること, また同一の名詞句が過剩に繰り返されることがあることから, 後者に比べて 著しくその言語的品質が悪化することを報告している. Nenkovaのこの分析は, Vanderwende らと同様に，「操作の不足」が「非文章の出力」を招くことを指摘するものといえる.

照応詞の問題は Paice (Paice 1990) や Nanba ら (Nanba and Okumura 2000) も指摘している. Paice (Paice 1990) と Nenkova (Nenkova 2008)の研究の間には約 20 年の時間の経過があるが,依然として照応詞の問題は自動要約における難題である.

最後に, 上で述べた, これまで自動要約において行われてきた分析と, 本稿で提案する分析の 枠組みを比較しておく。まず，「文意の歪曲」という観点がこれまでの自動要約研究では指摘さ

れてこなかった. この点については, 3.1 節で述べたように, 分析に要する費用の大きさが原因 となって，あまり指摘されてこなかったものと思われる。加えて，これまで行われてきた分析 は，本稿におけるある特定の観点の誤りがある特定の原因によってもたらされるといった，い わば局所的なものであったのに対して，本稿で提案する誤り分析の朹組みは，これまで行われ てきた分析を系統的に包含する点に特徴がある.

## 6.2 他の自然言語処理課題における誤り分析

ここでは，自動要約と同様に自然言語を生成する課題として機械翻訳を，また自動要約とは 異なり自然言語を解析する課題として語義曖昧性解消を取り上げ，それぞれ本稿で取り扱った 自動要約の誤り分析と比較する。

まず，赤部らによる機械翻訳の誤り分析 (赤部, Neubig, 工藤, Richardson, 中澤, 星野 2015) を取り上げる。機械翻訳は自動要約と同様にテキストを入力としてテキストを出力する課題で あり，誤り分析の形態も似通ったものになると考えられる。赤部らは誤り分析を 2 種類に分類 している ${ }^{15} .1$ つはブラックボックス分析であり, システムの出力にのみ着目して誤りを分析す るものである。もう1つはグラスボックス分析であり，システム内部の性質に着目して誤りを 分析するものである。本稿で扱った誤り分析は要約システム内部の構成要素に着目しているた め，グラスボックス分析に相当する。本稿の 3.1 節で提案した誤りの種類のみに注目して誤り 分析を行うのであればこれはブラックボックス分析になる.

赤部らの提案しているブラックボックス分析の誤り体系は, 出力のみを分析するものであり, その点において本稿の 3.1 節と概ね対応している。本稿の提案した要約の誤りの種類は赤部ら のブラックボックス分析の誤り体系を抽象化したものになっている。例えば，自動要約の誤り の種類の 2 つめ「入力が出力を含意しない」の原因の 1 つとして赤部らのブラックボックス分析の誤り体系の「モダリティ」を考えることができる。自動要約の満たすべき要件を敷衍し機械翻訳の誤りを考えると，「出力から（目標言語で）情報が読み取れること」「（言語は異なるも のの）入出力が意味的に等価であること」の２点を要件として考えることができ，その点にお いて赤部らの提案したブラックボックス分析の誤り体系の一部は自動要約の誤り分析のより具体的な誤りの分類として考えることもできょう.

本稿の提案した要約の誤りの種類と赤部らのブラックボックス分析の誤りの体系を比較する と, 自動要約と機械翻訳には 2 つの違いがあることがわかる。1つは非文章の存在である。自動要約の出力は多くの場合, 文ではなくて文章であるため, 文としては解釈できても文章として は適切に解釈できない場合が生じる。一方, 現在の機械翻訳は基本的には文単位の処理を行っ

ている16.もう 1 つは，自動要約の満たすべき要件の 3 つめ「入力および読み手の希望を鑑み て重要な情報のみが出力に含まれること」という点である。自動要約はその名の通り, 重要な 情報のみを読み手に提示することが目標であるが，機械翻訳は入力を目標の言語に入力と意味的に等価に変換することが目標であり, 重要な情報を選別するという要件が存在しない.

赤部らが提案したもう 1 つの誤り体系である, グラスボックス分析の誤り体系は本稿の 3.2 節 で提案した要約の誤りの原因にほぼ直接対応している。対応を表 23 に示す。表 23 に示すよう に, 自動要約の誤りの原因と赤部らのグラスボックス分析の誤り体系はほぼ直接対応している。 これは, 現在の自動要約システムも機械翻訳システムも，自然言語の入力に形態素解析器など の基本的な解析器を用いて適切な解析を加える機構, 入力を入力とは異なる表現に変換する機構, 変換された表現の中で正しいと思われるものに高いスコアを与える機構, 高いスコアが与 えられる表現を探索する機構の 4 点をその基盤としているためである.

次に, 自然言語の解析を目的とする課題として語義曖昧性解消課題の誤り解析を取り上げる.新納らは 7 名の分析者による誤り分析の結果を統合し, 語義曖昧性解消課題において生じる誤 りの原因を 9 種類に分類している (新納, 白井, 村田, 福本, 藤田, 佐々木, 古宮, 乾 2015).語義曖昧性課題における誤りは正しい語義に単語を分類することができないがために生じるも のであり，その点において本稿で提案した自動要約の誤りの種類や赤部らのブラックボックス 分析の誤りの体系のように複数の誤りの種類は存在せず，単に誤分類のみが誤りとなっている.

新納らの提案した 9 種類の誤り原因は, 本稿で提案した 5 種類の誤りの原因の一部を詳細化 したものとみなせる。対応を表 24 に示す。語義曖昧性解消課題は自然言語の生成を行わないた め, 当然, 書き換え操作の不足に対応する誤りは存在しない。同様に, 候補となる語義のいず

表 23 自動要約の誤りの原因と機械翻訳のグラスボックス分析の誤り体系との対応

 \\

& ることと直接対応する. \\

表 24 自動要約の誤りの原因と語義曖昧性解消の誤りの原因の対応

れかに単語を分類する問題であるため, 複雑な探索も行う必要がなく, そのため探索の誤りも 存在しない.

## 7 おわりに

本稿では，自動要約の誤り分析を扱った。自動要約の誤りの分類を提案し，それを利用して 1つの文書の分析結果を分類した。また，どのような誤りが生じているかを調査するための具体的な方法についても提案した。 それらを用いて，ある文書をある要約システムを用いて要約 したとき，内部でどのような誤りが生じているか分析した。さらに，分析の結果を踏まえて要約システムに改良を施し，その結果を報告した。

本稿で提案した朹組みについては，今後，提案した分類をより精緻化し，個別の分析事例を 蓄積していく予定である。特に，今後，重要となるであろう分析は「操作の不足」と「文意の 歪曲」の点にあると思われる。「文意の歪曲」についてはこれまで十分にその問題点が指摘され ていないが, 要約システムが出力する要約を, 入力文書と矛盾したものにしてしまうという点 において, 要約システムの致命的な問題になりうる. そのため, このような問題のあるシステ 么要約を少ない費用で検出する仕組みが必要になるだろう。また，「文意の歪曲」を防ぐには洗練された書き換え操作が必要であり,「文意の歪曲」を防ぐ機構の分析も重要である.

## 謝 辞

究に基づくものである。その過程において, 国立国語研究所浅原正幸准教授, 東京工業大学奥村学教授, 東京工業大学菊池悠太氏, 早稲田大学酒井哲也教授, 九州工業大学嶋田和孝准教授, ニューヨーク大学関根聡研究准教授, 東京工業大学高村大也准教授, 日本電信電話株式会社平尾努研究主任, および京都大学森田一研究員よりご助言を頂戴した。記して感謝する。

また, 論文の採録に際しては担当編集委員および 2 名の査読者の方々より様々なご助言を頂戴した。記して感謝する。

## 参考文献

赤部晃一, Neubig Graham, 工藤拓, Richardson John, 中澤敏明, 星野翔 (2015). Project Next における機械翻訳の誤り分析. 言語処理学会第 19 回年次大会ワークショップ「自然言語処理におけるエラー分析」発表論文集.

Aone, C., Okurowski, M. E., Gorlinsky, J., and Larsen, B. (1999). "A Trainable Summarizer with Knowledge Acquired from Robust NLP Techniques." In Mani, I. and Maybury, M. T. (Eds.), Advances in Automatic Text Summarization, pp. 71-80. MIT Press.

Barzilay, R. and McKeown, K. R. (2005). "Sentence Fusion for Multidocument News Summarization." Computational Linguistics, 31 (3), pp. 297-328.

Edmundson, H. P. (1969). "New Methods in Automatic Extracting." Journal of ACM, 16 (2), pp. 264-285.

Filatova, E. and Hatzivassiloglou, V. (2004). "A Formal Model for Information Selection in Multi-Sentence Text Extraction." In Proceedings of Coling 2004, pp. 397-403.

Gillick, D. (2009). "Sentence Boundary Detection and the Problem with the U.S." In Proceedings of NAACL HLT 2009: Short Papers, pp. 241-244.

Hardmeier, C., Nivre, J., and Tiedemann, J. (2012). "Document-Wide Decoding for PhraseBased Statistical Machine Translation." In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL), pp. 1179-1190.

Hirao, T., Isozaki, H., Maeda, E., and Matsumoto, Y. (2002). "Extracting Important Sentences with Support Vector Machines." In Proceedings of the 19th International Conference on Computational Linguistics (COLING), pp. 342-348.

Hovy, E., Lin, C.-Y., Zhou, L., and Fukumoto, J. (2006). "Automated Summarization Evaluation with Basic Elements." In Proceedings of the 5th Conference on Language Resources and Evaluation (LREC), pp. 604-611.

Jing, H. (2000). "Sentence Reduction for Automatic Text Summarization." In Proceedings of the 6th Conference on Applied Natural Language Processing (ANLP), pp. 310-315.

Jurafsky, D. and Martin, J. H. (2008). Speech and Language Processing (2nd Edition). Prentice Hall.

Knight, K. and Marcu, D. (2002). "Summarization beyond Sentence Extraction: A Probabilistic Approach to Sentence Compression." Artificial Intelligence, 1 (139), pp. 91-107.

一般社団法人共同通信社 (2010). 記者ハンドブック新聞用字用語集 (第 12 版). 共同通信社.

Lin, C.-Y. (2004). "ROUGE: A Package for Automatic Evaluation of Summaries." In Proceedings of ACL Workshop Text Summarization Branches Out, pp. 74-81.

Luhn, H. P. (1958). "The Automatic Creation of Literature Abstracts." IBM Journal of Research and Development, 22 (2), pp. 159-165.

McDonald, R. (2007). "A Study of Global Inference Algorithms in Multi-document Summarization." In Proceedings of the 29th European Conference on Information Retrieval (ECIR), pp. 557-564.

Muresan, S., Tzoukermann, E., and Klavans, J. (2001). "Combining Linguistic and Machine Learning Techniques for Email Summarization." In Proceedings of CoNLL 2001 Workshop at ACL/EACL 2001 Conference, pp. 152-159.

Nanba, H. and Okumura, M. (2000). "Producing More Readable Extracts by Revising Them." In Proceedings of the 19th International Conference on Computational Linguistics (COLING), pp. 1071-1075.

National Institute of Standards and Technology (2007). "The Linguistic Quality Questions." http://www-nlpir.nist.gov/projects/duc/duc2007/quality-questions.txt.

Nenkova, A. (2008). "Entity-driven Rewrite for Multi-document Summarization." In Proceedings of the 3rd International Conference on Natural Language Processing (IJNLP), pp. 118-125.

Nenkova, A. and McKeown, K. (2011). Automatic Summarization. Now Publishers.

Nenkova, A., Passonneau, R., and McKeown, K. (2007). "The Pyramid Method: Incorporating Human Content Selection Variation in Summarization Evaluation." ACM Transactions on Speech and Language Processing, 4 (2), pp. 1-23.

Nishikawa, H., Arita, K., Tanaka, K., Hirao, T., Makino, T., and Matsuo, Y. (2014). "Learning to Generate Coherent Summary with Discriminative Hidden Semi-Markov Model." In Proceedings of the 25th International Conference on Computational Linguistics (COLING), pp. 1648-1659.

Nomoto, T. and Matsumoto, Y. (1997). "A New Approach to Unsupervised Text Summarization." In Proceedings of the 24th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 26-34.

奥村学，難波英嗣 (2005). テキスト自動要約. オーム社.

Olive, J., Christianson, C., and McCary, J. (Eds.) (2011). Handbook of Natural Language Processing and Machine Translation. Springer New York.

Paice, C. D. (1990). "Constructing Literature Abstracts by Computer: Techniques and Prospects." Information Processing $\& 9$ Management, 26 (1), pp. 171-186.

Pollock, J. J. and Zamora, A. (1975). "Automatic Abstracting Research at Chemical Abstracts Service." Journal of Chemical Information and Computer Sciences, 15 (4), pp. 226-232.

Sandu, O., Carenini, G., Murray, G., and Ng, R. (2010). "Domain Adaptation to Summarize Human Conversations." In Proceedings of ACL Workshop on Domain Adaptation in NLP, pp. 16-22.

Sharifi, B., Hutton, M.-A., and Kalita, J. (2010). "Summarizing Microblogs Automatically." In Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 685-688.

新納浩幸, 白井清昭, 村田真樹, 福本文代, 藤田早苗, 佐々木稔, 古宮嘉那子, 乾孝司 (2015).語義曖昧性解消の誤り分析. 言語処理学会第 19 回年次大会ワークショップ「自然言語処理 におけるエラー分析」発表論文集.

Spärck Jones, K. (2007). "Automatic Summarising: The State of the Art." Information Processing $\mathcal{E}$ Management, 43, pp. 1449-1481.

Takamura, H., Yokono, H., and Okumura, M. (2011). "Summarizing a Document Stream." In Proceedings of the 33rd European Conference on Information Retrieval (ECIR), pp. 177-188.

Vanderwende, L., Suzuki, H., Brockett, C., and Nenkova, A. (2007). "Beyond SumBasic: Taskfocused Summarization with Sentence Simplification and Lexical Expansion." Information Processing 83 Management, 43 (6), pp. 1606-1618.

渡辺太郎，今村賢治，賀沢秀人，Neubig Graham，中澤敏明 (2014). 機械翻訳. コロナ社.

Wilcoxon, F. (1945). "Individual Comparisons by Ranking Methods." Biometrics Bulletin, 1 (6), pp. 80-83.

Xiong, D., Ding, Y., Zhang, M., and Tan, L. C. (2013). "Lexical Chain Based Cohesion Models
for Document-Level Statistical Machine Translation." In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1563-1573.

Zajic, D. M., Dorr, B. J., Lin, J., and Richard, S. (2007). "Multi-Candidate Reduction: Sentence Compression as a Tool for Document Summarization Tasks." Information Processing 8 Management, 43, pp. 1549-1570.

## 略歴

西川仁：2006 年慶應義塾大学総合政策学部卒業. 2008 年同大学大学院政策・メディア研究科修士課程修了. 同年日本電信電話株式会社入社. 2013 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 博士 (工学). NTT メディアインテリジェンス研究所研究員を経て, 2015 年より東京工業大学大学院情報理工学研究科計算工学専攻助教. 自然言語処理, 特に自動要約の研究に従事. The Association for Computational Linguistics, 人工知能学会, 情報処理学会, 各会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/