# 自動要約における誤り分析の枠組み

西川 仁 ${ }^{\dagger}$
}

本稿では自動要約システムの誤り分析の枠組みを提案する。この誤り分析の枠組み は, 要約が満たすべき 3 つの要件と誤った要約が生じる 5 つの原因からなり, 要約 の誤りをこれらからなる 15 種類の組み合わせに分類する。また, システム要約にお いて 15 種類の誤りのうちどの誤りが生じているかを調査する方法もあわせて提案す る。提案する誤り分析の枠組みに基づき，本稿ではまず，システム要約を分析した 結果を報告する。さらに，分析の結果に基づいて要約システムを改良し，誤り分析 の結果として得られる知見を用いてシステムを改良することでシステム要約の品質 が改善されることを示す。

キーワード：自動要約，誤り分析
## Error Analysis Framework for Automatic Summarization

\author{
Hitoshi NishikaWa ${ }^{\dagger}$
}

\begin{abstract}
We propose an error analysis framework for automatic summarization. The framework presented herein incorporates five problems that cause automatic summarization systems to produce errors and three metrics for quality. We classify errors in automatic summaries into 15 categories comprising a combination of the three quality metrics and five problems. We also present a method to classify automatic-summary errors into these categories. Using our error analysis framework, we analyze the errors in an automatic summary produced by our system and present the results. We use these results to refine our system and then show that the quality of the automatic summary is improved. The error analysis framework that we propose is demonstrably useful for improving the quality of an automatic summarization system.
\end{abstract}

Key Words: Automatic Summarization, Error Analysis

## 1 はじめに

自動要約の入出力は特徴的である。多くの場合, 自動要約の入出力はいずれも, 自然言語で書かれた, 複数の文からなる文章である。自動要約と同様に入出力がともに自然言語である自然言語処理課題として機械翻訳や対話，質問応答が挙げられる。機械翻訳や対話の入出力が基本的にはいずれも文であるのに対して, 自動要約や一部の質問応答は基本的には入出力がいず


れも文章である点が特徴的である。また形態素解析や係り受け解析などの自然言語解析課題においては, 入力は文であるが, これらの出力は品詞列や係り受け構造などの中間表現であり, 自然言語ではない．談話構造解析は文章を入力として想定するものの，やはり出力は自然言語ではない.

この特徴的な入出力が原因となり, 自動要約の誤り分析は容易ではない. 自動要約研究の題材として広く用いられるコーパスの多くは数十から数百の入力文書と参照要約 ${ }^{1}$ の組からなるが，入出力が文章であるがために，詳しくは 3 節で述べるが，自動要約の誤りの分析においては考慮しなければならない要素が多い，そのため，数十の入力文書と参照要約の組といった入出力の規模でも，分析には多大な時間を要することになる。人手による詳細な分析を必要としない簡便な自動要約の評価方法として ROUGE (Lin 2004) があるが， ROUGE による評価では取りこぼされる現象が自動要約課題に存在することも事実であり，詳細な分析が十分になされているとはいいがたい。そのため, 何らかの誤りを含むと思われる要約をどのように分析すればよいのかという体系的な方法論は存在せず，したがって自動要約分野の研究者が各々の方法論をもって分析を行っているのが現状と思われる.

この状況を鑑み，本稿では，自動要約における誤り分析の枠組みを提案する．まず，要約システムが作成する要約が満たすべき 3 つの要件を提案する。また, 要約システムがこれらの要件を満たせない原因を 5 つ提案する．3つの要件と 5 つの原因から， 15 種類の具体的な誤りが定義され，本稿では，自動要約における誤りはこれらのいずれかに分類される。

本稿の構成は以下の通りである。 2 節では本稿が置く基本的な前提について説明し, 本稿での議論の範囲を明らかにする．３節では誤り分析の枠組みを提案し，自動要約の誤りが提案する 15 種類の誤りのいずれかに分類できることを示す. 4 節では実際の要約例に含まれる誤りを提案した朹組みに基づいて分析した結果を示す. 5 節では 4 節で得られた分析の結果に基づいて要約システムを改良し，要約の品質が改善することを示す。 6 節では関連研究について述べる。 7 節では本稿をまとめ, 今後の展望について述べる.

## 2 基本的な前提

一般に，誤りといえば，本来得られるべき何らかの正しい結果があるものの，それとは異なる，すなわち正しくない別の結果が得られた際にそれを指していうものである。文書分類であれば与えられた文書を正しい分類先に分類できなかった際にそれを誤りということができる。 そのため，何らかの正しい結果，すなわち正解が定まらなけれげ誤りも定めることができない.

自動要約においては，この正解，すなわち参照要約 2 すささか一意に定めづらい 3 。自動要約課題において, 複数の作業者に参照要約の作成を依頼したとき, 作業者に与える指示にもよるものの，まったく同一の参照要約が作成されるということはまずない。そのため，ある参照要約を基準とした際には誤りとなる要約が, 別の要約を基準とした際には誤りとならないことがある。

本稿では, この問題は脇に置く。すなわち, ある 1 つの参照要約が存在するとき，それと要約システムが作成した要約（以下，便宜的にこれをシステム要約と呼ぶ）とを比較し，その差分を誤りとする。すなわち，何か差分があれば誤りを含むし，そうでなければ誤りを含まない.誤りについては次節にて述べる。この単純化は以下の理由に基づく：
- 単一の参照要約の誤り分析の枠組みが存在しない状況において, 複数の参照要約の誤り分析の枠組みを設定するのは困難であること。
- 単一の参照要約の誤り分析の枠組みを設定できれば, それに基づいて複数の参照要約が存在する場合を検討することができること。

これらの点から, 本稿でのこの単純化は, 問題の過度な単純化ではなく, 合理的な問題の分割であると考える。

また, 自動要約課題には, 入力文書が単一である場合と複数である場合, 要約システムが特に焦点を当てて出力するべき情報がクエリなどを通じて与えられる場合と与えられない場合などの下位分類が存在する。また，テキスト以外にも映像などの自動要約を考えることもできる．本稿では, 対象はテキストに限定することとし, また自動要約課題の最も単純な形態である, 単一文書が入力として与えられ，特にクエリなどは別途与えられない状況を仮定することとする。 さらに,要約の対象となるテキストの種類についても新聞記事 (Luhn 1958; Aone, Okurowski, Gorlinsky, and Larsen 1999), 技術文献 (Luhn 1958; Edmundson 1969; Pollock and Zamora 1975), メール (Muresan, Tzoukermann, and Klavans 2001; Sandu, Carenini, Murray, and Ng 2010), マイクロブログ (Sharifi, Hutton, and Kalita 2010; Takamura, Yokono, and Okumura 2011)など様々なテキストを考えることができるが，本稿ではこれまで単一文書要約課題において広く研究されてきた新聞記事を特に分析の対象として扱う。参照要約に関する仮定とそれに伴う単純化と同様に, 本稿では, まず自動要約課題の最も単純な形態の誤り分析を扱うことによって, 自動要約の基本的な誤り分析の枠組みを検討する。より複雑な自動要約課題の誤り分析については将来の課題とする。

これらの点を踏まえて，本稿が示す自動要約の誤り分析の枠組みの限界を述べておく．
- 上で述べたように, 本稿が提案する自動要約の誤り分析の枠組みは多くの仮定に基づい


ており，それらの仮定が成り立たない状況においては必ずしも有効に働くものではない.
- また，提案する誤り分析の枠組みに基づいて，本稿において行われる分析は，ある単一の要約システムを利用し，またある単一の入力文書を用いて行われるため，その結果が一般的なものであるとは必ずしもいうことはできない.
- 本稿で示す分析の枠組みに基づいて行われた分析は, 枠組みを提案した著者による分析であり，そのため複数の異なる分析者間での結果の一致については議論されていない.

上に示すように, 本稿で示す自動要約の誤り分析の朹組みは完全なものでは決してない. 本稿の目的は，あくまで，自動要約の基本的な誤り分析の枠組みを提案することにあり，より広範な自動要約課題への適用や，異なる複数の分析者による分析結果の一致に関する議論などは将来の課題である.

## 3 誤り分析の枠組み

ここではまず，自動要約が最低限満たすべき原則を 3 つ述べ，それが満たされないときに誤りが生じることを説明する。次に，誤りの原因を 5 つ取り上げる。最後に，これらの組み合わせから要約の誤りが 15 種類に分類されることをみる.

## 3.1 自動要約の誤りの種類

本稿で扱う自動要約課題は入力および出力がいずれもテキストである。また，少なくとも人間がそのテキストを読解することを想定している 4 . そのため, 要約システムが出力するテキス卜，すなわち要約は，まず何よりも人間が読解可能である必要があろう。すなわち，想定される読者が読み取れるような言語で記述されていることや，非文法的な文などが含まれていないことが必要であろう.

次に, 要約は, 入力されたテキストから読み取れる情報のうちのいずれかのみを選択して出力するものである。そのため, 当然のこととして, 要約システムは入力されたテキストから読み取れることのみが含まれる要約を出力する必要がある。 すなわち, 入力されたテキストと矛盾する内容や, 入力されたテキストが含意しない内容を含む要約を出力することは許されないであろう。

最後に, 要約は, 字義通り, 入力されたテキストから読み取れる情報のうち, 重要だと思われる情報のみを含んでいる必要がある.

これらの点をまとめると, 要約システムによって生成される要約は, 以下の 3 つ原則を満たすべきと考えられる：


（1）出力から情報を読み取れること。情報を読み取れないような文章が出力されていないこと。情報を読み取れないような文が出力された場合には，以下の 3 つのケースが考えられる.

（a）要約がユーザの要求とは異なる言語で出力されている場合や，要約システムがその内部処理において利用している制御記号などが出力されており, 要約から文意を読み取れない場合. 何らかの理由により要約が出力されない場合も含む.

(b) 文法的でない文（非文）が要約を構成しており，要約の文意が取れない場合.

(c) 個別の文は文法的であるが, 要約を構成する文同士の論理関係などが明らかでなく, 全体として文意が取れない文章が要約となっている場合.

本稿ではこれら 3 点をまとめて, 内容を適切に読み取ることのできない要約を便宜的に 「非文章」と呼ぶ.

（2）読み取れる情報が，入力と矛盾せず，入力が出力を含意すること。読み手が入力を読んだ際と出力を読んだ際に異なる結論に至らないこと。

（3）出力から読み取れる情報が，入力および読み手の希望を鑑みて，重要であると思われること. 重要でない，枝葉末節の情報が出力に含まれないこと.

これらの原則が満たされない場合を誤りとして，自動要約の誤りの分析における 3 つの観点が導出できる：

（1）非文章の出力：要約システムが出力した文章から文意が読み取れない場合, それは誤りとなる.この観点は自動要約の言語的品質の評価 (National Institute of Standards and Technology 2007; Nenkova and McKeown 2011) と概ね対応する.この観点の誤りはシステム要約のみで検出することができる.

（2）文意の歪曲：要約から読み取れる情報が, 入力文書に記載されている情報と矛盾する場合, それは誤りとなる。この観点を評価するためには入力文書とシステム要約が必要となる。この観点はこれまで自動要約において大きく取り上げられてこなかった。これには 2 つの理由が考えられる。第 1 に, 現時点では, この観点に関してシステム要約を評価するためには人手での丁寧な読解が不可欠であり, そのため非常に費用がかかり実施しづらいということが挙げられる。上で述べた (1)については出力されたシステム要約のみを人手で確認すればよく, また次に述べる (3)については参照要約とシステム要約の機械的な比較によって人手をかけずに一定の評価が可能である。これらに対して, (2) を評価するためには入力文書とシステム要約の両方を評価者が読解した上で, 内容の無矛盾を確認しなければならず，その費用は多大なものとなる，第 2 に，文の書き換えなどを行わずに単に重要文を選択するだけの手法などで要約を作成した場合, 文意の歪曲

はさほど頻繁には生じず5，そのため誤りとしてこれまで重要視されてこなかったということも考えられる。

文意の歪曲の例を表 1 および表 2 に示す。表 1 は TSC- 2 のデータ6に含まれる文書番号 981225042 のテキストから要約システム7によって作成されたシステム要約であり, 表 2 は元のテキストである。表 1 に示すシステム要約の 4 文めの冒頭には,「このため」とあり，「輸出に過度に依存しない国内生産体制が急務」である原因が前の文で述べられていることが示唆されている。システム要約を読むと,「トヨタ自動車が検討し始めた生産能力の削減」およびそれに伴う「雇用や地域経済への影響」がこの原因であるように読解できる。一方，表 2 に示す元の入力文書を読むと， 11 文めの「輸出に過度に依存しない国内生産体制が急務」の原因は，「国内販売は、保有期間の長期化もあり新車需要の大きな伸びは期待できない」であることがわかる。この例では, システム要約と入力文書とで，読解した際に別の読みが可能になっており，そのためシステム要約が，入力文書で述べられている本来の文意を歪曲している。

（3） 重要部同定の失敗：要約から読み取れる情報の中に入力文書および読み手の希望を鑑みて重要でないものが混ざっているとき, それは誤りとなる。同様に, 入力文書および読み手の希望を鑑みて重要であると思われる情報が要約に含まれていない場合もそれは誤りとなる。この観点は内容性の評価に概ね対応する (Nenkova and McKeown 2011) . この観点を評価するためには参照要約とシステム要約が必要となる.

この 3 つの観点が，要約システムの誤りを考える際に，最初の分類としてあらわれるものと思われる。

表 1 文書番号 981225042 のシステム要約

(1) トヨタ自動車が、生産能力の削減を検討し始めた。

(2) 約 380 万台といわれる国内の能力を今後 3 年間で 30 万台削減する方向で、系列車体メー カーである関東自動車工業（神奈川県横須賀市）の一部工場などが閉鎖対象に挙がっている。

(3) 現在、自動車業界の国内過剩生産力は約３００万台といわれているが、今後、部品メーカーなどを巻き込んだ雇用や、地域経済への影響も広がりそうだ。

(4)このため、輸出に過度に依存しない国内生産体制が急務になっている。

（5）また、工場を閉鎖すれば、需要が上向いた時、即座に増産ができず、国内販売シェアを落とす恐れもあるため、「稼働率は 8 割程度がちょうどいい」(同社幹部) とも語っていた。

（6） 今後の競争力を左右する環境対応技術や、高度道路交通システム（ＩＴＳ）などの開発投資には巨額の資金が必要になる。

表 2 文書番号 981225042 のテキスト

(1) トヨタ自動車が、生産能力の削減を検討し始めた。

(2) 約 380 万台といわれる国内の能力を今後 3 年間で 30 万台削減する方向で、系列車体メー カーである関東自動車工業（神奈川県横須賀市）の一部工場などが閉鎖対象に挙がっている。

（3）業績が悪化している日産自動車や三菱自動車工業に続き、業界最大手のトヨタが大掛かりなリストラに乗り出したことで、激化する国際競争の中、「雇用維持」を前提にした生産体制の継続が困難な状況にあることが鮮明になった。

（4）現在、自動車業界の国内過剩生産力は約３００万台といわれているが、今後、部品メーカーなどを巻き迄んだ雇用や、地域経済への影響も広がりそうだ。

（5）トヨ夕の国内生産拠点は6カ所の組み立て工場のほか、トヨタ車体、ダイハツ工業、日野自動車工業など委託工場を合わせると約 20 カ所。

(6) ピークの1990年には約420万台を生産した。

（7）しかし、バブル崩壊以降の自動車需要の長期低迷と海外生産の拡大で、98 年の国内生産台数は317万台（前年比 $9 \%$ 減）と、90年と比べて100万台余り減少した。

(8) うち、4 割強の 147 万台は欧米中心の輸出向け。

(9) しかし、2001年にはフランスに建設中の欧州第2工場が生産を始める。

(10) 国内販売は、保有期間の長期化もあり新車需要の大きな伸びは期待できない。

(11)このため、輸出に過度に依存しない国内生産体制が急務になっている。

(12）奥田碩社長はこれまで、雇用最優先の経営姿勢を強調し、「国内で３００万～350万台の生産があれば雇用は維持できる」と述べていた。

（13）また、工場を閉鎖すれば、需要が上向いた時、即座に増産ができず、国内販売シェアを落とす恐れもあるため、「稼働率は 8 割程度がちょうどいい」(同社幹部) とも語っていた。

（14）しかし、独ダイムラー・ベンツと米クライスラーが国境を越えて合併するなど、国際競争は一段と激化している。

（15） 今後の競争力を左右する環境対応技術や、高度道路交通システム（ＩＴＳ）などの開発投資には巨額の資金が必要になる。

(16)「99年は優勝劣敗が決する重要な時期。従来以上にコスト競争力を高める必要がある」(奥田社長）との判断から、国内生産能力の削減に踏み切った。

(17) 売上高に対する利益率で、日本メーカーは欧米勢に大きく立ち遅れている。

（18）「高コストを温存していては国際競争に生き残れない」（南光成・日産自動車副社長）との認識は業界共通のものになりつつある。

毎日新聞'98 データ集より引用した。

## 3.2 要約システムの誤りの原因

近年の要約システムの多くは Multi-Candidate Reduction Framework (Zajic, Dorr, Lin, and Richard 2007; Jurafsky and Martin 2008) に従っているとみなせる.これは, 入力された文書を，文分割などによって文 8 に分割する機構 (Gillick 2009), 得られた文を文短縮 (Jing 2000;


Knight and Marcu 2002) などによって別の表現に書き換え元の入力のある種の亜種を生成する機構，そののちにそれらの中から要約長などの要件を満たすものを選択し要約を生成する機構からなる (Filatova and Hatzivassiloglou 2004; McDonald 2007)。最後の要約を生成する機構はさらに, 文の組み合わせの中から要約として適切なものに高いスコアを与える機構と高いスコアを持つものを探索する機構に分割できる。 さらに，文の組み合わせの中から要約として適切なものに高いスコアを与える際には，典型的には機械学習が用いられるため，学習が正しくなされているか否かと, 適切な特徴量が設定されているかの 2 点を考慮する必要がある.

これらのことから，文分割に関する問題は要約以前の前処理の問題として脇に置くと，近年の要約システムは以下の構成要素からなる。

(1) 入力された文などの言語単位を別の表現に書き換える機構.

(2) 要約としてふさわしい文などの単位に高いスコアを与えるための機械学習に関する機構.

(3) 文などの単位に特徴量を与える機構.

(4) 要約としてふさわしい文などを探索する機構.

典型的な要約システムを構成する上述の要素を踏まえると, 要約システムが前節の原則を満たせず，誤りを生じさせる原因には以下の観点が考えられる：

(1) 操作の不足: 要約システムが, 人間の作業者がテキストに対して施す操作と同等の機構を保持してないことに伴って生じる誤り。言い換えなどの操作ができないために入力された文を短縮することができず，人間と同等の情報量を要約に含めることができない場合や，要約システムが入力された文において省略されているゼロ代名詞を復元できず，要約の文意を損なう場合が含まれる。

（2）特徵量の不足：特徴量が不足している場合.この場合は 2 つにわけることができる.

(a) 特徴量の設定不足：要約システムにおいて設定されていない特徴量が要約の作成において重要な役割を果たすと思われる場合．段落に関する情報を入力文書から得ることができ，かつその情報が要約の作成において重要な役割を果たすと目されるのにもかかわらず，要約システムはそれを特徴量として認識できない場合など。

(b) 言語解析の失敗: 解析器が誤り, 特徵量として設定されている情報が正しく取得できなかった場合. 固有表現認識器が固有表現を認識し損ね, 要約システムがそれを特徴量として利用できなかった場合など。

(3) パラメタの誤り：訓練事例の不足, 不適切な学習手法の利用などによって, 推定されたパラメタが精度よく推定されていない場合.

（4）探索の誤り：探索誤りのために誤った要約を生成した場合. 重要文集合の選択において，本来はより良好な文の組み合わせがあるにもかかわらず，探索誤りによって不適切な文の集合を出力として選択した場合など.

（5） 情報の不足:そもそも要約システムに対して入力された情報だけでは参照要約まで到達で

きない場合. 人間の要約作成者が入力以外の情報源を利用して要約を作成した場合など. 6 節で述べるが, これらの誤りの原因はより詳細化することが可能である。一方, 自動要約には単一文書要約と複数文書要約といういささか風合いの異なる 2 つの下位課題が存在し，また文短縮なども独立した課題として扱いうる。そのため，個々の要約システムの設計の詳細は様々であり, 誤りの原因の詳細は分析の対象とする要約システムの設計の詳細に依存する. このことを鑑み，本稿ではより詳細な誤りの原因には踏み込まず，多くの要約システムにおいて共通する機構に基づき，誤りの原因として上の 5 種類の原因を定義する 9.

## 3.3 自動要約の誤り分析の枠組み

3.1 節で述べた 3 種類の誤りの種類と， 3.2 節で述べた 5 種類の誤りの原因から, 自動要約における誤りは 15 種類のいずれかに分類できると期待できる。これをまとめたものを表 3 に示す.

なお, これらとは別に, 参照要約作成者の読みが誤っていると思われる場合など, そもそも参照要約が信頼できないと思われる場合がありうるが，ここではそれは除外し，あくまで参照要約が正しく，機械はそれを模倣することのみを考えればよいという場合を想定した。

次に，分析の枠組みを自動要約の結果に適用する際の具体的な方法を表 4 に示す。表 4 は, ある誤りの種類がある誤りの原因によって生じる際に，どのようにそれを同定できるかをまとめたものである.

## 3.4 誤り分析の手続き

本稿で提案する枠組みに基づく誤りの分析は, 一例として, 以下の手続きで行うことができる.

（1）非文章の出力：まず，要約システムが出力したシステム要約を読解し, 非文章が出力されていないか確認する。主語や述語などが存在しない非文が存在しないか, また談話構造が不明瞭で文章全体から意味が取れなくなっていないかを確認する。非文章が生じていた場合は，その原因を特定する。例えば，主語が存在しない文が存在し，文脈からもその主語を読み取ることができず，そのためその文の文意を正しくとることができない場合, そのような文が生じた原因を特定する。このとき, 入力文書とシステム要約でその文が異なる場合，すなわちその文をシステムが書き換えたか否かを確認する必要がある．仮に書き換えたのであれば，なぜその書き換えが発生したかを特定する.

表 3 自動要約の誤り分析の枠組み

 &  &  \\

表 4 自動要約の誤り分析の枠組みの適用方法

（2）文意の歪曲：次に，入力文書の文意がシステム要約において歪曲されていないかを確認する.この作業には, 入力文書の読解と, システム要約の読解の両方が必要である. システム要約から, 入力文書に含まれていない情報や, あるいは入力文書と矛盾する情報が読み取れる場合は，要約システムによって入力文書の文意が歪曲されていることになる. 文意が歪曲されている場合は, なぜ歪曲が生じたのか確認する。抽出型の要約システムにおいてこの誤りが生じる状況の 1 つは, 主語が省略されている文がシステム要約において誤った文脈におかれることで，読者が，入力文書での本来の主語とは異なる主語を文にあてはめてしまい，その結果として誤った解釈に至る状況である。他にも，談
話標識が入力文書と異なる文脈におかれることで，前後の文から異なる解釈を得ることできる場合もある。 3.1 節で示した例はこの場合である。書き換えまで行う要約システムであれば，入力文書と異なる表現が用いられることで文意が変化していないか確認する。 このような文意の歪曲が生じている場合は, どのような修正をシステム要約に加えることで，正しい文意を得ることができるか確認する，上の例では，省略された主語を復元する機構の追加，談話標識を除去，あるいは修正する機構の追加などが考えられ，これらを要約システムが備えていないために誤りが生じたと考えられる場合は「操作の不足」 が原因となろう。一方, これらの機構が存在しているにもかかわらず文意の歪曲が生じた場合は，パラメタの誤りや特徴量の不足を調査する必要がある.

（3）重要部同定の失敗: 最後に, 参照要約とシステム要約を比較し, 参照要約に含まれているがシステム要約には含まれていない情報がないか確認する。この確認には ROUGE (Lin 2004), Basic Element (Hovy, Lin, Zhou, and Fukumoto 2006)などを援用することが可能であろう。参照要約に含まれている重要な情報がシステム要約に含まれていない場合には，その情報がシステム要約に含まれなかった理由を調査する。特に，パラメタが正しく学習されているか，またそのような情報を重要な情報であると特定するための特徴量が設定されているかを確認する必要があろう.

## 4 分析の実践

本節では前節で提示した分析の枠組みを，本稿で分析の対象とした文書に対して適用する。 まず，分析の枠組みを適用するシステム要約を作成する。次に，それらに対して人手による分析を行い，その後分析の結果を提案した分析の枠組みに基づいて整理する。

## 4.1 実験設定

## 4.1.1 データ

実験には，自動要約の評価型プロジェクトである TSC-210のデータを用いた．TSC-2 のデー 夕は 60 記事からなり, 各文書に対して 3 人の作業者が参照要約を付与している。また, 各文書に対して長い参照要約と短い参照要約の 2 種類が付与されている。今回は特に分析の対象として文書番号 990305053 のテキストを用いた。参照要約には, 作成者 1 による長い参照要約を用いた. 文書番号 990305053 のテキストの長い参照要約の長さは 495 文字であり，要約システムを動作させる際には 495 文字以内の要約を作成するようにした.


## 4.1.2 要約システム

要約システムについては, 西川らによる単一文書要約システム (Nishikawa, Arita, Tanaka, Hirao, Makino, and Matsuo 2014) を利用した. 西川らの要約システムは, 入力として単一文書を想定しており，特に単一の新聞記事を入力として想定している。また, クエリの入力は想定していない。要約の手法は Multi-Candidate Reduction Framework (Zajic et al. 2007; Jurafsky and Martin 2008) に基づいており，まず入力された各文の亜種を文短縮を利用して生成し，その後に元の文とそれらの文の亜種からなる文の集合の中で, 文の重要度と文間の結束性が最も高くなる文の系列のうち, 要約長の制限を満たすものを選び出すものである. 文短縮を利用することもできるものの, 西川らの要約システムは文短縮が行われた文が要約に選択されることがあまり多くないため, 今回は文短縮を用いずに要約を出力させた.

## 4.2 結果

表 6 に入力文書（文書番号 990305053）を示す.太字は入力文書と参照要約とで文アライメントを取り，対応づけが取れた文同士において共通の単語である。下線は要約システムによって重要文と認定された文である。表 7 に参照要約を示す。分析の対象となると思われる点については下線を加え, どのような現象が生じているか下線の後に上付き文字で示した. 表 8 にシステム要約を示す。太字は参照要約とシステム要約とで文アライメントを取り, 対応づけが取れた文同士において共通の単語である。表 7 と同様に分析の対象となると思われる点について下線を加え, どのような現象が生じているか下線で示された部分の後に加筆した. 表 5 に入力文書および参照要約，システム要約の統計量を示しておく。

## 4.3 誤り分析

## 4.3.1重要部の同定の失敗

まず，ROUGE-1 (Lin 2004)の值は 0.385 であった ${ }^{11}$. 文単位でみると, システム要約に含まれる文のうち, 完全に参照要約に含まれない文は 2 文めと 11 文のみであり, 11 文中 2 文に

表 5 入力文書および参照要約, システム要約の統計量.

^{11}$ ROUGE-1 は抽出的な要約手法に基づく要約システムを評価する際に広く用いられている指標であり，また新聞記事においては人手による評価と強い相関があることが知られている (Lin 2004)．そのため, まずこれを用いて, 要約システムが出力した要約の品質を大まかに把握することにした.
}
表 6 文書番号 990305053 のテキスト

（1） 中国の国会、全国人民代表大会（全人代）が 5 日から始まる。

（2）朱鎔基首相の「政府活動報告」と予算案を審議し、私有制経済の存在を保障する憲法の一部改正などを行う予定だ。

（3）昨年の全人代で、新首相に選ばれた朱首相は、「8\%成長」と「三つの実行」（国有企業改革、金融体制改革、行政機構改革の 3 年以内解決）などを公約した。

(4) 国有企業改革、行政機構改革は計二千数百万人規模の大リストラ計画であり、「命をかけてやる」と言い切った首相の強い決意に称賛の声があがった。

(5) 本来なら改革 2 年目の今年が正念場となるはずである。

（6）ところが現実には、改革の熱気は薄い。

（7）アジア金融危機の影響が中国に及び、経済環境が急速に悪化した。

(8) 改革で生まれる失業者を他の産業に吸収できない。

(9) 改革のテンポを緩めても、社会不安を抑え込むべきだという空気が強まっている。

(10) 安定追求とのジレンマがあっても意志の強いことで知られる朱首相は改革路線を貫くと期待したい。

(11) しかし、中国の経済が悪化するとともに、中国に対する信頼を摇るがせるような問題もいくつか発生している。

(12) 例えば、朱首相が昨年公約した「8\%成長の確保」は、7・8\%に終わった。

(13) ほぼ8\%であり、公約は達成されたとされた。

(14) だが西側の経済専門家からは「本当は $7 \cdot 8 \%$ より低いのではないか」という疑問が出されている。

（15）電力消費量や国内輸送量が増えていないのに、国内総生産（GDP） が増えるのはおかしいと統計の公正さに疑問が出された。

(16) 広東省など地方の成長率が $10 \%$ を超えたのも水増しを疑われている。

(17) 金融改革については、外資の取り扱いで大きく摇れている。

（18）昨年秋、突然倒産した広東国際信託投資公司（ＧＩＴＩＣ）の負債の処理について、「正規に登録された外資は返済を保証する」という中国政府の方針が、今年になって引っくり返った。

(19) 外資は「貸手にも責任がある」と突き放された。

（20）各地方の国際信託投資公司（ＩＴＩＣ）にも同様の問題が飛び火している。

(21) そこでも同じ方針が貫かれると、今後中国へ向かう勇気のある外資はなくなるかもしれない。

(22) 香港に対しても、最近の中国の姿勢は、硬直した感じが否めない。

（23）香港人が中国国内でもうけた子供に香港居留権があると判断した香港の裁判所を、中国当局者が激しく批判した。

（24）「香港基本法」の解釈権は中国の全人代にある。

（25）一地方政府にすぎない香港の裁判所に解釈権はない、という趣旨たっった。

（26）香港の最終審長官が、「全人代の解釈権を侵害する意図はない」と釈明して収拾された。

（27）だが「1 国 2 制度」に対する香港市民の自信はこの一件で急落した。

（28） 中国の国有企業は、香港の株式市場で資金を調達する予定たった。

（29）ところが香港の不況で、上場延期に追い达まれている。

（30）香港の繁栄回復が、中国の改革と切り離せないことを肝に銘じているのは中国のはずだ。

(31) にもかかわらず、中国の対応はあまりにも官僚主義的だった。

(32)改革の直面する困難が大きければ大きいほど、柔軟な対応が必要になるだろう。

毎日新聞'99デー夕集より引用した。太字は入力文書と参照要約とで対応づけが取れた文における共通の単語である。下線は要約システムによる重要文である.
表 7 文書番号 990305053 の参照要約

（1） 中国の国会、全国人民代表大会が始まる。

(2) 昨年、朱首相は「8\%成長」と「三つの実行」などを公約した。

(3) 国有企業改革や行政機構改革など省略を「命をかけてやる」と言い切った首相の決意に称賛の声があがった。

（4）本来なら改革 2 年目の今年が正念場となるはずだが、現実には改革の熱意は薄い。文融合

も強まっている。文融合

（6）この省略ジレンマがあっても、朱首相は改革路線を貫くと期待したい。

(7) しかし、経済悪化とともに、問題もいくつか発生している。

（8）公約の $8 \%$ 成長は $7 \cdot 8 \%$ ・たったが、本当はこの数字より低いのではないかという疑問が専門家からも出されている。

（9）また参照要約の信頼性、電力消費量が増えないのに、国内総生産が増えるのはおかしいと統計の公正さにも疑問が出された。

（10）地方の成長率が１０％を超えたことも水増しを疑われている。

（11） 金融改革も、外貨の扱いで大きく摇れており、香港に対する姿勢も、硬直した感じが否めない。

（12）香港の繁栄が中国改革と切り離せないことが、分かっているはずなのに、中国の対応は官僚主義的である。文融合

(13) 改革の困難が大きければ大きいほど、柔軟な対応が必要だろう。

下線とその後の上付き文字はその部分においてどのような現象が生じているかを示したものである.

表 8 文書番号 990305053 のシステム要約

（1） 中国の国会、全国人民代表大会（全人代)括弧の除去が5 日から始まる。

（2）朱鎔基首相の「政府活動報告」と予算案を審議し、私有制経済の存在を保障する憲法の一部改正などを行う予定だ。重要部同定の失敗

（3）昨年の全人代で、新首相に選ばれた朱首相は 、「8\%成長」と「三つの実行」（国有企業改革、金融体制改革、行政機構改革の 3 年以内解決) 括弧の除去などを公約した。文短編

（4）国有企業改革、行政機構改革は計二千数百万人規模の大リストラ計画であり、「命をかけてやる」と言い切った首相の強い決意に称賛の声があがった。

(5) 本来なら改革 2 年目の今年が正念場となるはずである。

（6）アジア金融危機の影響が中国に及び、経済環境が急速に悪化した。

（7）改革のテンポを緩めても、社会不安を抑え込むべきだという空気が強まっている。文矮縮

（8）安定追求とのジレンマがあっても意志の強いことで知られる朱首相は改革路線を貫くと期待したい。文短縮

（9）しかし、中国の経済が悪化するとともに、中国に対する信頼を摇るがせるような問題もいくつか発生している。文短縮

(10) 例えば、朱首相が昨年公約した「 $8 \%$ 成長の確保」は、 7 ・8\% に終わった。

太字は入力文書と参照要約とで対応づけが取れた文における共通の単語である。下線とその後の上付き文字は表 7 と同様である.

とどまっている。このことから，要約システムの精度（適合率）は $\frac{9}{11}$ に達しており，要約システムは高精度に重要文を同定していることがわかる。一方，再現率の観点から見ると，参照要約は入力文書 33 文のうち 15 文を要約として採用しており12, 再現率は $\frac{9}{15}$ に留まっている.再現率はまだ大きく改善の余地が残されているため，文と単語という差異はあるが，同様に再現率を評価する ROUGE-1の値についても改善の余地があると思われる.

次に，重要部同定の失敗の原因を探る。表 6 を見ると，要約システムは特に後半の文を選択できていない，これは，要約システムが入力文書における話題の遷移を捕捉できていないためであると思われる。入力文書において，どのように話題が遷移しているかを表 9 に示す。全人代が開催されるということ（話題 1）と中国の改革とその行く末が危ぶまれるということ（話題 2-4）と，その具体的な例（話題 5-6）が並び，最後の文は入力文書のまとめとなっている．参照要約を見ると，参照要約の作成者はできる限りこれらの情報を網羅的に要約に含めることを狙っていることが読み取れる。要約システムが後半の文を選択できなかったのはこのような話題の構造を理解することができなかったためで，この構造を要約システムに理解させることは重要部の同定に決定的に重要である ${ }^{13}$.

## 4.3.2 括弧の除去

表 6 の例において頻繁に行われている操作の 1 つは括弧の除去である。括弧を通じて提供されている補足的な情報は全て要約から除去されていることがわかる。これによって文を短くし文字数を減らすことができるため, 要約システムもこの操作を実行できるようにする必要がある。

表 9 入力文書に含まれる話題の遷移



## 4.3.3 文短縮・言い換え

表 6 を見ると，文書全体にわたって文の書き換えが行われていることがわかる．不要な修飾節などを除去し文を短く書き換える操作は文短縮あるいは文圧縮と呼ばれており (Nenkova and McKeown 2011), この表 6 の例でも文 1 , 文 10 などで典型的に行われている. 文短縮は, 典型的には係り受け木の枝刈りを通じて行われるが, 参照要約に含まれる文のうち係り受け木の枝刈りによって実現できるものは少数であり，参照要約作成者はより洗練された，言い換えなどの操作を通じて参照要約を作成していることがわかる.

## 4.3.4 文融合

異なる複数の文から 1 つの文を作成することは文融合と呼ばれている (Barzilay and McKeown 2005). 参照要約を見ると, この文融合が行われていることがわかる. 表 10 から 13 にその例を示す. 参照要約の中では 4 回この操作が行われており, 入力文書における表現と比べ情報量を維持したまま文字数の削減が行われている。これらの操作によって削減された文字数を利用して参照要約作成者はさらに情報を要約に詰め达んでおり,この操作を行う機構を持たない要約システムは再現率において劣後せざるを得ない.

表 10 文融合の例 1

 \\

文頭の数字はそれぞれ入力文書および参照要約中での文番号である.

表 11 文融合の例 2

 \\

文頭の数字はそれぞれ入力文書打よび参照要約中での文番号である.

表 12 文融合の例 3

 \\

文頭の数字はそれぞれ入力文書および参照要約中での文番号である.

## 4.3.5 省略

便宜的に「省略」としたが，「この」や「など」の表現を用いて，入力文書における情報を除去している箇所がある，表 14 に示す参照要約の文 3 では，朱首相の「三つの実行」のうち金融機構改革が失われており，これが「など」として表現されている。また表 15 に示す参照要約の文 6 では, 「改革と安定追求のジレンマ」を「この」で表現しており，同様に文字数を節約している.

## 4.3.6 参照要約の信頼性

一方，参照要約の品質が疑われる部分もある。 入力文書の文 14 と文 15 とは並列の関係にはないと思われるため, 参照要約の文 9 先頭の接続詞「また」は要約作成者の読みの誤りを示唆している.

## 4.4 誤り分析の枠組みの適用

ここまでの分析を，本稿で提案した誤り分析の枠組みに適用した結果を表 16 に示す. 表 16 に示されているように，今回は文短縮などの書き換え機構を利用していないため, 非文が出力されることはなかった。一方で，文を短く書き換える操作を行えないため，情報の被覆において参照要約に大きく劣後しており，これが低い再現率の直接の原因となっている。

表 13 文融合の例 4

 \\

文頭の数字はそれぞれ入力文書および参照要約中での文番号である.

表 14 省略の例 1

 \\

文頭の数字はそれぞれ入力文書および参照要約中での文番号である.

表 15 省略の例 2

 \\

文頭の数字はそれぞれ入力文書および参照要約中での文番号である.
表 16 自動要約の誤り分析の一例.

## 5 分析に基づく要約システムの改良

本節では，4節で述べた分析に基づいて実際に要約システムを改良した結果について述べる.

5.1 節では要約システムに文の書き換え操作を追加する． 5.2 節では要約システムに特徴量を追加する．5.3 節ではパラメ夕の調整を行う．5.4 節ではこれらの改良によってなされた要約の改善について議論する。 5.5 節では, 改良したシステムを文書番号 990305053 以外のテキストに
適用し，本節で行った改良の効果をみる.

なお，本節での改良が要約システムを真に改良としたと言うことは難しい。要約システムが真に改良されたと言うためには，少なくとも，ある特定の分野における複数の異なる入力文書を用意し, これらから生成される要約の品質が, 改良前の要約システムのそれと比べて改善されていることを検証する必要がある。この点を踏まえ，本稿における本節の意義は以下の 2 点にある：
- 4 節で述べた分析に基づいて行うことができる要約システムの改良方法について具体的に述べること。
- 本稿で提案している分析が, 少なくとも, ある入力文書の要約システムによる要約結果を人手で分析し, それに基づいて要約システムの改良を行うことによって，その入力文書を要約する限りにおいては，よりよい要約を出力するために役立つということを示すこと.

## 5.1 文の書き換え操作の追加

表 16 に示したように，今回の事例において操作の不足は深刻な問題である。そのため, 参照要約において行われている書き換え操作の一部を要約システムも行えるようにした.

## 5.1.1 括弧の除去

西川らの要約システムは括弧を除去する機能を持つ14ため, この機能を動作させるようにした.

## 5.1.2 文短縮

同様に，文短縮機能も動作させるようにした。

## 5.1.3 文融合

西川らの要約システムは文融合の機能を持たないため，表 10 から 13 に示した文融合が行われた文を人手で作成し，要約システムが選択可能な文集合に加えた。

## 5.1.4 省略

文融合と同様に, 省略が行われている文についても人手で参照要約と同様の文を作成し, それを要約システムが選択可能な文集合に加えた。具体的には，表 14 および 15 の参照要約の文を入力文書の文の書き換え後の文として要約システムに追加した.


## 5.2 特徵量の追加

表 16 に示したように，一部の特徴量を要約システムが認識できないことは要約の作成に悪影響を与えている。そのため, 分析の結果として重要と思われた特徵量を追加した.

## 5.2.1段落情報に関する特徵量

4.3.1 節で述べたように, 重要文の同定に失敗した主因の 1 つは入力文書の話題の遷移を捉えることができないためであった。西川らの要約システムは段落に関する情報を特徴量として利用することができるため，入力文書に表 9 に基づいて段落情報を付与した，具体的には，同一の話題番号に属する文は同一の段落に属するものとした. 西川らの要約システムは段落の先頭の文を重要文として選択する傾向があるため, これによって各話題の先頭の文を重要文として選択できると期待できる。

## 5.2.2 最後の文に関する特徴量

表 7 の参照要約を見ると, 入力文書の最後の文を入力文書におけるある種のまとめとして重要文とみなしていることがわかる。この点を鑑み，最後の文にはその文が最後の文であるとわかる特徴量を追加した。

## 5.3 パラメタの調整

最後に，パラメタの調整を人手で行った。 パラメタの調整は, 調整後に要約システムが生成する要約が参照要約に近づくように人手で各特徴量の重みを調整することで行った. 具体的に行ったのは以下の調整である：
- 括弧が含まれる文の重要度を下げるようにした．参照要約においては入力文書に含まれる括弧は全て除去されているため, これが除去されるようにした.
- 冒頭の段落に含まれる文の重要度を下げるようにした。通常, 新聞記事は逆三角形と呼ばれる構造をなしており (一般社団法人共同通信社 2010), 冒頭の段落がほぼ当該記事の要約をなしている。そのため，西川らの要約システムは冒頭の段落に含まれる文に大きな重みを与えている。しかし, 今回分析の対象とした入力文書はいささか散文的であり, その点を鑑みてか参照要約の作成者は記事の冒頭以外からも多く文を選択している。このことから，冒頭の段落に含まれる文の重みを小さくし，文書全体から文が選ばれるようにした。
- 長い文が選ばれづらくなるようにした，参照要約は長い文をあまり含んでおらず，文短縮や文融合, 省略が施された短い文を含んでいる。 そのため, それらの文が選ばれやすくなるように文の長さに対して負の重みを与えた.
- 百分率の固有表現を含む文が選ばれやすくした，参照要約には中国の経済成長に関する具体的な百分率が含まれており，これらの情報が要約に含まれるように百分率の固有表現の重みを大きくした。
- 類似する文が選ばれづらくした。西川らの要約システムは文同士の類似度を特徴量として設定しており，類似した文が要約に選択されやすくなっている。しかし，今回分析の対象とした入力文書の参照要約を見る限り，参照要約の作成者はできるだけ幅広い話題を入力文書において網羅しようとしているように観察される。そのため，むしろ類似する文は要約に含まれないようにした方がよいと思われたため，類似する文が選ばれづらくなるようにした.
- 段落の先頭の文の重みを大きくした，5.2.1 節で述べたように，参照要約の作成者は入力文書に含まれる様々な話題を網羅するように要約を作成したように思われる。特に，各話題に関する段落の先頭の文を参照要約の作成者は参照要約に含ませているように観察されるため, これらが要約に含まれやすくなるようにした。
- 最後の文の重みに大きな値を与えた。5.2.2 節で述べた特徴量は新しく追加したものであるため, 当該特徵量に対する重みがパラメ夕集合内には存在しない。そのため, 最後の文が選ばれるように最後の文であることを示す特徴量に大きな重みを与えた。

## 5.4 結果と考察

書き換え操作を追加したのちのシステム要約を表 17 に示す。書き換え操作および特徴量を追加したのちのシステム要約を表 18 に示す。書き換え操作, 特徴量およびパラメ夕調整を追加したのちのシステム要約を表 19 に示す.これらの要約システムの改良による ROUGE の変化を表 20 に示す. Rw は書き換え操作が追加された要約の評価, $\mathrm{Rw}+\mathrm{Ft}$ は書き換え操作および特徴量が追加された要約の評価, $\mathrm{Rw}+\mathrm{Ft}+\mathrm{Pm}$ は書き換え操作, 特徴量, およびパラメ夕調整が追加された要約の評価である。 $\Delta$ で示した数値はある改良によってどの程度 ROUGE-1 の値が改善したかを示す.

なお，本節の目的は，書き換え操作の追加，特徴量の追加，パラメ夕調整それぞれの ROUGE への影響を見ることそのものにはなく, 各改良によってどのような変化がシステム要約に生じるかを見ることにある。また，これらの改良は，後で述べるように 3 つ全てを合わせたときにこそ大きく要約に影響を及ぼすものであるため，個別の改良の影響に必ずしも注目するものではないことに注意されたい.

書き換え操作の追加によっていくらか ROUGE が改善されたものの, 表 17 が示すように，書き換え後の文の一部は要約システムによって選択されておらず，その効果が十分に発揮されていない。そのため， ROUGEの改善も必ずしも大きなものではない．このことから，単に書き換え操作を追加するだけではなく, 書き換え後の文が重要文として選択されるように特徴量お
表 17 書き換え操作を追加したのちの文書番号 990305053 のシステム要約

（1） 中国の国会、全国人民代表大会（全人代）が5 日から始まる。

（2）昨年の全人代で、新首相に選ばれた朱首相は、「8\%成長」と「三つの実行」（国有企業改革、金融体制改革、行政機構改革の 3 年以内解決）などを公約した。

(3) 国有企業改革、行政機構改革は計二千数百万人規模の大リストラ計画であり、「命をかけてやる」と言い切った首相の強い決意に称賛の声があがった。

（4）本来なら改革 2 年目の今年が正念場となるはずだが、現実には改革の熱意は薄い。

（5）アジア金融危機の影響が中国に及び、経済環境が急速に悪化した。改革のテンポを緩めても、社会不安を抑え込むべきだという空気が強まっている。

（6）安定追求とのジレンマがあっても意志の強いことで知られる朱首相は改革路線を貫くと期待したい。

（7）しかし、中国の経済が悪化するとともに、中国に対する信頼を摇るがせるような問題もいくつか発生している。

（8）例えば、朱首相が昨年公約した「8\%成長の確保」は、7・8\%に終わった。

（9）香港人が中国国内でもうけた子供に香港居留権があると判断した香港の裁判所を、中国当局者が激しく批判した。

（10）香港の最終審長官が、「全人代の解釈権を侵害する意図はない」と釈明して収拾された。

表 18 書き換え操作および特徴量を追加したのちの文書番号 990305053 のシステム要約

（1）中国の国会、全国人民代表大会が5日から始まる。

（2）朱鎔基首相の「政府活動報告」と予算案を審議し、私有制経済の存在を保障する憲法の一部改正などを行う予定だ。

（3）昨年の全人代で、新首相に選ばれた朱首相は、「8\%成長」と「三つの実行」(国有企業改革、金融体制改革、行政機構改革の 3 年以内解決）などを公約した。

（4） 国有企業改革や行政機構改革などを「命をかけてやる」と言い切った首相の決意に称賛の声があがった。

（5）本来なら改革 2 年目の今年が正念場となるはずだが、現実には改革の熱意は薄い。

(6) アジア金融危機の影響が中国に及び、経済環境が急速に悪化した。

(7) 改革のテンポを緩めても、社会不安を抑え迄むべきだという空気が強まっている。

（8）安定追求とのジレンマがあっても意志の強いことで知られる朱首相は改革路線を貫くと期待したい。

（9）しかし、中国の経済が悪化するとともに、中国に対する信頼を摇るがせるような問題もいくつか発生している。

（10）香港人が中国国内でもうけた子供に香港居留権があると判断した香港の裁判所を、中国当局者が激しく批判した。

（11）香港の繁栄が中国改革と切り離せないことが、分かっているはずなのに、中国の対応は官僚主義的である。
表 19 書き換え操作, 特徴量およびパラメ夕調整を追加したのちの文書番号 990305053 のシステム要約

（1） 中国の国会、全国人民代表大会が5 日から始まる。

（2）昨年の全人代で、新首相に選ばれた朱首相は、「8\%成長」と「三つの実行」などを公約した。

(3) 国有企業改革や行政機構改革などを「命をかけてやる」と言い切った首相の決意に称賛の声があがった。

（4）本来なら改革 2 年目の今年が正念場となるはずだが，現実には改革の熱意は薄い。

(5) アジア金融危機の影響が中国に及び、経済環境が急速に悪化した。

（6）改革のテンポを緩めても、社会不安を抑え达むべきだという空気が強まっている。

(7)このジレンマがあっても、朱首相は改革路線を貫くと期待したい。

（8）しかし、中国の経済が悪化するとともに、中国に対する信頼を摇るがせるような問題もいくつか発生している。

(9) 例えば、朱首相が昨年公約した「8\%成長の確保」は、7・8\%に終わった。

(10）広東省など地方の成長率が１０％を超えたのも水増しを疑われている。

（11）金融改革も、外貨の扱いで大きく摇れており、香港に対する姿勢も、硬直した感じが否めない。

（12）香港人が中国国内でもうけた子供に香港居留権があると判断した香港の裁判所を、中国当局者が激しく批判した。

(13) 改革の直面する困難が大きければ大きいほど、柔軟な対応が必要になるだろう。

表 20 要約システムの改良による ROUGE の変化

よびパラメタを調整しないといけないことがわかる.

次に，特徴量の追加による影響についてみる。表 20 が示すように，特徴量の追加により，大きくROUGE が改善されていることがわかる。これは全て段落情報に関する特徴量の影響である。最後の文に関する特徴量は新しく追加したものであるため，この時点では生成される要約に対して影響を与えない。参照要約の作成者は入力文書に含まれる各話題からそれらに対応する文を選択しているため，段落情報を通じてこの情報を要約システムが利用できるようになった影響は大きい.

最後に, パラメタの調整による影響をみる。表 20 が示すように, パラメタの調整により ROUGE が劇的に改善されていることがわかる。表 19 に示す要約には参照要約に含まれていない文が 1 つだけ含まれているものの（文12），参照要約にかなり類似した要約を生成することに成功している.このことから, 適切な書き換え操作と特徴量を追加した上で適切なパラメ夕を得ることができれば，参照要約に近い要約を生成できることがわかる。

ROUGE とは別に，表 21 に各システム要約から読み取れる参照要約中に含まれる言明を示す。参照要約は 20 の言明からなる。 パラメタの調整まで加えた最良のものでも 16 個の言明を含むに留まっており，4個の言明を取りこぼしている。特に 13 番目の言明についてはいずれのシステム要約も選択することができておらず,これを選択するためにはより詳細な特徴量を設定するなどの工夫が必要であろう.

## 5.5 他の文書に対する適用

最後に, 改良前の要約システムによるシステム要約と, 改良を加えた要約システムによるシステム要約を比較した，TSC-2のデータに含まれる残りの 59 文書を入力とし, 改良前後の要約システムで要約を作成した， 4 節と同様に，長い方の参照要約を参照要約とし，要約システム

表 21 システム要約から読み取ることができる参照要約中の言明

 & 0 & O & O & O \\

表 22 文書番号 990305053 以外の文書を入力とした場合の ROUGE による評価結果

が各文書の要約を作成する際には参照要約の長さ以内の要約を作成するようにした． ROUGE-1 で評価を行った結果を表 22 に示す.

有意水準 $\alpha$ は 0.05 としてウィルコクソンの符号順位検定 (Wilcoxon 1945) を用いて検定を行ったところ, 改良前後での ROUGE-1 の変化は有意であった. 要約システムに加えた改良はあくまで文書番号 990305053 に特化したものとなっているため, 改善は大きくないものの, 文書番号 990305053 に基づいて行った改良が他の文書に対しても有効に働いたことがわかる。ある特定の文書ではなく，あるコーパスを構成する全ての文書に対するシステム要約の品質を全体的に向上させようとする際には，例えば，そのコーパスを構成する文書の中から代表性を持つ文書を特定し，そのような文書を集中的に分析し要約システムを改良するといった手段が考えられる。

## 6 関連研究

## 6.1 自動要約の誤り分析

要約システムから出力された要約を評価する方法は大きく 2 つにわけられる (Spärck Jones 2007)．1つは内的な評価で，要約そのものの品質を評価するものである。もう1つは外的な評価で，要約の品質を他の課題を通じて評価するものである。後者は, 例えば, 異なる要約システムから出力された要約を用いて同一の情報検索課題を解き，より良好な検索結果が得られた要約システムをよい要約システムとするものである (Nomoto and Matsumoto 1997)．本稿は特に要約そのものの品質を扱うため, ここでは前者に焦点を当てる.

要約そのものの品質は 2 つの観点から評価されてきた (Nenkova and McKeown 2011)．1つは要約の内容性であり, 入力文書に含まれる重要な情報がシステム要約にも含まれているか評価するものである。もう1つは要約の言語的品質であり, システム要約が読みやすいものになっているかを評価するものである。これらはそれぞれ，前者については本稿における「重要部同定の失敗」，後者については「非文章の出力」と対応している.

要約の内容性については，人間の作業者が重要文として認定した文を要約システムが重要文として認定できた割合に基づいて評価するもの (奥村，難波 2005)，システム要約と参照要約の, n-gram 頻度分布の類似度に基づいて評価するもの (Lin 2004), 人手によって複数の参照要
約に頻繁に出現する情報を特定し，それが要約に含まれる数に基づいて評価するもの (Nenkova， Passonneau, and McKeown 2007) などの評価方法がある.

要約の内容性を改善するための網羅的な分析として, Paice による分析がある (Paice 1990).

Paice は, 文を選択する際の特徴量である, 手がかり語の有無や文の位置, 入力文書のタイトルに含まれる語の有無などの効果を論じた，Paiceのこの分析は，「重要部同定の失敗」に関する 「特徵量の設定不足」に該当する分析といえる.

Hirao らは，機械学習を用いて重要文同定を行った際のパラメ夕について分析している (Hirao, Isozaki, Maeda, and Matsumoto 2002). 機械学習を通じて得られたパラメタの傾向を観察することで，有効に働く特徴量を簡便に分析することができる. Hirao らのこの分析は， Paiceの分析と同様に,「重要部同定の失敗」に関する「特徴量の設定不足」に該当する分析といえる.

要約の言語的品質については, 一般に, 要約の言語的品質を測定するためのテスト (National Institute of Standards and Technology 2007) を通じて評価される。言語的品質に関する分析としては，Vanderwende らが文の書き換えが引き起こす問題を (Vanderwende, Suzuki, Brockett, and Nenkova 2007), Nenkova が照応詞が引き起こす問題を指摘している (Nenkova 2008).

Vanderwende らは，要約の内容性を改善するために，入力文書に含まれる不要な節や句を除去することを提案した (Vanderwende et al. 2007). この方法によってより要約の内容性が改善されることを Vanderwende らは示したが，その一方で文の書き換えによって非文法的な文が生成され，これが要約に含まれることで要約の言語的品質が低下することも指摘した. 特に，文の書き換えの結果，コンマ，ピリオドが誤った位置に置かれることが頻繁に問題となることを示した. Vanderwende らのこの分析は, 「操作の不足」が「非文章の出力」を招くことを指摘するものといえる。

Nenkova は，要約に含まれる照応詞が問題を引き起こすことを指摘した (Nenkova 2008)．特に, 言語的品質の観点において, 先行詞が不明膫な照応詞が出現することで, 要約の品質が低下することを指摘した．Nenkova は実際に，要約を構成する文の名詞句を書き換える要約システムと，単に文を選択するだの要約システムの，それぞれから出力された要約の言語的品質を比較した. Nenkovaは，前者が出力した要約は，書き換えに伴い統語的に正しくない文が生成されることがあること, また同一の名詞句が過剩に繰り返されることがあることから, 後者に比べて著しくその言語的品質が悪化することを報告している. Nenkovaのこの分析は, Vanderwende らと同様に，「操作の不足」が「非文章の出力」を招くことを指摘するものといえる.

照応詞の問題は Paice (Paice 1990) や Nanba ら (Nanba and Okumura 2000) も指摘している. Paice (Paice 1990) と Nenkova (Nenkova 2008)の研究の間には約 20 年の時間の経過があるが,依然として照応詞の問題は自動要約における難題である.

最後に, 上で述べた, これまで自動要約において行われてきた分析と, 本稿で提案する分析の枠組みを比較しておく。まず，「文意の歪曲」という観点がこれまでの自動要約研究では指摘さ

れてこなかった. この点については, 3.1 節で述べたように, 分析に要する費用の大きさが原因となって，あまり指摘されてこなかったものと思われる。加えて，これまで行われてきた分析は，本稿におけるある特定の観点の誤りがある特定の原因によってもたらされるといった，いわば局所的なものであったのに対して，本稿で提案する誤り分析の朹組みは，これまで行われてきた分析を系統的に包含する点に特徴がある.

## 6.2 他の自然言語処理課題における誤り分析

ここでは，自動要約と同様に自然言語を生成する課題として機械翻訳を，また自動要約とは異なり自然言語を解析する課題として語義曖昧性解消を取り上げ，それぞれ本稿で取り扱った自動要約の誤り分析と比較する。

まず，赤部らによる機械翻訳の誤り分析 (赤部, Neubig, 工藤, Richardson, 中澤, 星野 2015) を取り上げる。機械翻訳は自動要約と同様にテキストを入力としてテキストを出力する課題であり，誤り分析の形態も似通ったものになると考えられる。赤部らは誤り分析を 2 種類に分類している ${ }^{15} .1$ つはブラックボックス分析であり, システムの出力にのみ着目して誤りを分析するものである。もう1つはグラスボックス分析であり，システム内部の性質に着目して誤りを分析するものである。本稿で扱った誤り分析は要約システム内部の構成要素に着目しているため，グラスボックス分析に相当する。本稿の 3.1 節で提案した誤りの種類のみに注目して誤り分析を行うのであればこれはブラックボックス分析になる.

赤部らの提案しているブラックボックス分析の誤り体系は, 出力のみを分析するものであり, その点において本稿の 3.1 節と概ね対応している。本稿の提案した要約の誤りの種類は赤部らのブラックボックス分析の誤り体系を抽象化したものになっている。例えば，自動要約の誤りの種類の 2 つめ「入力が出力を含意しない」の原因の 1 つとして赤部らのブラックボックス分析の誤り体系の「モダリティ」を考えることができる。自動要約の満たすべき要件を敷衍し機械翻訳の誤りを考えると，「出力から（目標言語で）情報が読み取れること」「（言語は異なるものの）入出力が意味的に等価であること」の２点を要件として考えることができ，その点において赤部らの提案したブラックボックス分析の誤り体系の一部は自動要約の誤り分析のより具体的な誤りの分類として考えることもできょう.

本稿の提案した要約の誤りの種類と赤部らのブラックボックス分析の誤りの体系を比較すると, 自動要約と機械翻訳には 2 つの違いがあることがわかる。1つは非文章の存在である。自動要約の出力は多くの場合, 文ではなくて文章であるため, 文としては解釈できても文章としては適切に解釈できない場合が生じる。一方, 現在の機械翻訳は基本的には文単位の処理を行っ


ている16.もう 1 つは，自動要約の満たすべき要件の 3 つめ「入力および読み手の希望を鑑みて重要な情報のみが出力に含まれること」という点である。自動要約はその名の通り, 重要な情報のみを読み手に提示することが目標であるが，機械翻訳は入力を目標の言語に入力と意味的に等価に変換することが目標であり, 重要な情報を選別するという要件が存在しない.

赤部らが提案したもう 1 つの誤り体系である, グラスボックス分析の誤り体系は本稿の 3.2 節で提案した要約の誤りの原因にほぼ直接対応している。対応を表 23 に示す。表 23 に示すように, 自動要約の誤りの原因と赤部らのグラスボックス分析の誤り体系はほぼ直接対応している。 これは, 現在の自動要約システムも機械翻訳システムも，自然言語の入力に形態素解析器などの基本的な解析器を用いて適切な解析を加える機構, 入力を入力とは異なる表現に変換する機構, 変換された表現の中で正しいと思われるものに高いスコアを与える機構, 高いスコアが与えられる表現を探索する機構の 4 点をその基盤としているためである.

次に, 自然言語の解析を目的とする課題として語義曖昧性解消課題の誤り解析を取り上げる.新納らは 7 名の分析者による誤り分析の結果を統合し, 語義曖昧性解消課題において生じる誤りの原因を 9 種類に分類している (新納, 白井, 村田, 福本, 藤田, 佐々木, 古宮, 乾 2015).語義曖昧性課題における誤りは正しい語義に単語を分類することができないがために生じるものであり，その点において本稿で提案した自動要約の誤りの種類や赤部らのブラックボックス分析の誤りの体系のように複数の誤りの種類は存在せず，単に誤分類のみが誤りとなっている.

新納らの提案した 9 種類の誤り原因は, 本稿で提案した 5 種類の誤りの原因の一部を詳細化したものとみなせる。対応を表 24 に示す。語義曖昧性解消課題は自然言語の生成を行わないため, 当然, 書き換え操作の不足に対応する誤りは存在しない。同様に, 候補となる語義のいず

表 23 自動要約の誤りの原因と機械翻訳のグラスボックス分析の誤り体系との対応

 \\

& ることと直接対応する. \\


表 24 自動要約の誤りの原因と語義曖昧性解消の誤りの原因の対応

れかに単語を分類する問題であるため, 複雑な探索も行う必要がなく, そのため探索の誤りも存在しない.

## 7 おわりに

本稿では，自動要約の誤り分析を扱った。自動要約の誤りの分類を提案し，それを利用して 1つの文書の分析結果を分類した。また，どのような誤りが生じているかを調査するための具体的な方法についても提案した。 それらを用いて，ある文書をある要約システムを用いて要約したとき，内部でどのような誤りが生じているか分析した。さらに，分析の結果を踏まえて要約システムに改良を施し，その結果を報告した。

本稿で提案した朹組みについては，今後，提案した分類をより精緻化し，個別の分析事例を蓄積していく予定である。特に，今後，重要となるであろう分析は「操作の不足」と「文意の歪曲」の点にあると思われる。「文意の歪曲」についてはこれまで十分にその問題点が指摘されていないが, 要約システムが出力する要約を, 入力文書と矛盾したものにしてしまうという点において, 要約システムの致命的な問題になりうる. そのため, このような問題のあるシステ么要約を少ない費用で検出する仕組みが必要になるだろう。また，「文意の歪曲」を防ぐには洗練された書き換え操作が必要であり,「文意の歪曲」を防ぐ機構の分析も重要である.

## 謝 辞

究に基づくものである。その過程において, 国立国語研究所浅原正幸准教授, 東京工業大学奥村学教授, 東京工業大学菊池悠太氏, 早稲田大学酒井哲也教授, 九州工業大学嶋田和孝准教授, ニューヨーク大学関根聡研究准教授, 東京工業大学高村大也准教授, 日本電信電話株式会社平尾努研究主任, および京都大学森田一研究員よりご助言を頂戴した。記して感謝する。

また, 論文の採録に際しては担当編集委員および 2 名の査読者の方々より様々なご助言を頂戴した。記して感謝する。

## 参考文献

赤部晃一, Neubig Graham, 工藤拓, Richardson John, 中澤敏明, 星野翔 (2015). Project Next における機械翻訳の誤り分析. 言語処理学会第 19 回年次大会ワークショップ「自然言語処理におけるエラー分析」発表論文集.

Aone, C., Okurowski, M. E., Gorlinsky, J., and Larsen, B. (1999). "A Trainable Summarizer with Knowledge Acquired from Robust NLP Techniques." In Mani, I. and Maybury, M. T. (Eds.), Advances in Automatic Text Summarization, pp. 71-80. MIT Press.

Barzilay, R. and McKeown, K. R. (2005). "Sentence Fusion for Multidocument News Summarization." Computational Linguistics, 31 (3), pp. 297-328.

Edmundson, H. P. (1969). "New Methods in Automatic Extracting." Journal of ACM, 16 (2), pp. 264-285.

Filatova, E. and Hatzivassiloglou, V. (2004). "A Formal Model for Information Selection in Multi-Sentence Text Extraction." In Proceedings of Coling 2004, pp. 397-403.

Gillick, D. (2009). "Sentence Boundary Detection and the Problem with the U.S." In Proceedings of NAACL HLT 2009: Short Papers, pp. 241-244.

Hardmeier, C., Nivre, J., and Tiedemann, J. (2012). "Document-Wide Decoding for PhraseBased Statistical Machine Translation." In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL), pp. 1179-1190.


Hirao, T., Isozaki, H., Maeda, E., and Matsumoto, Y. (2002). "Extracting Important Sentences with Support Vector Machines." In Proceedings of the 19th International Conference on Computational Linguistics (COLING), pp. 342-348.

Hovy, E., Lin, C.-Y., Zhou, L., and Fukumoto, J. (2006). "Automated Summarization Evaluation with Basic Elements." In Proceedings of the 5th Conference on Language Resources and Evaluation (LREC), pp. 604-611.

Jing, H. (2000). "Sentence Reduction for Automatic Text Summarization." In Proceedings of the 6th Conference on Applied Natural Language Processing (ANLP), pp. 310-315.

Jurafsky, D. and Martin, J. H. (2008). Speech and Language Processing (2nd Edition). Prentice Hall.

Knight, K. and Marcu, D. (2002). "Summarization beyond Sentence Extraction: A Probabilistic Approach to Sentence Compression." Artificial Intelligence, 1 (139), pp. 91-107.

一般社団法人共同通信社 (2010). 記者ハンドブック新聞用字用語集 (第 12 版). 共同通信社.

Lin, C.-Y. (2004). "ROUGE: A Package for Automatic Evaluation of Summaries." In Proceedings of ACL Workshop Text Summarization Branches Out, pp. 74-81.

Luhn, H. P. (1958). "The Automatic Creation of Literature Abstracts." IBM Journal of Research and Development, 22 (2), pp. 159-165.

McDonald, R. (2007). "A Study of Global Inference Algorithms in Multi-document Summarization." In Proceedings of the 29th European Conference on Information Retrieval (ECIR), pp. 557-564.

Muresan, S., Tzoukermann, E., and Klavans, J. (2001). "Combining Linguistic and Machine Learning Techniques for Email Summarization." In Proceedings of CoNLL 2001 Workshop at ACL/EACL 2001 Conference, pp. 152-159.

Nanba, H. and Okumura, M. (2000). "Producing More Readable Extracts by Revising Them." In Proceedings of the 19th International Conference on Computational Linguistics (COLING), pp. 1071-1075.

National Institute of Standards and Technology (2007). "The Linguistic Quality Questions." http://www-nlpir.nist.gov/projects/duc/duc2007/quality-questions.txt.

Nenkova, A. (2008). "Entity-driven Rewrite for Multi-document Summarization." In Proceedings of the 3rd International Conference on Natural Language Processing (IJNLP), pp. 118-125.

Nenkova, A. and McKeown, K. (2011). Automatic Summarization. Now Publishers.

Nenkova, A., Passonneau, R., and McKeown, K. (2007). "The Pyramid Method: Incorporating Human Content Selection Variation in Summarization Evaluation." ACM Transactions on Speech and Language Processing, 4 (2), pp. 1-23.

Nishikawa, H., Arita, K., Tanaka, K., Hirao, T., Makino, T., and Matsuo, Y. (2014). "Learning to Generate Coherent Summary with Discriminative Hidden Semi-Markov Model." In Proceedings of the 25th International Conference on Computational Linguistics (COLING), pp. 1648-1659.

Nomoto, T. and Matsumoto, Y. (1997). "A New Approach to Unsupervised Text Summarization." In Proceedings of the 24th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 26-34.

奥村学，難波英嗣 (2005). テキスト自動要約. オーム社.

Olive, J., Christianson, C., and McCary, J. (Eds.) (2011). Handbook of Natural Language Processing and Machine Translation. Springer New York.

Paice, C. D. (1990). "Constructing Literature Abstracts by Computer: Techniques and Prospects." Information Processing $\& 9$ Management, 26 (1), pp. 171-186.

Pollock, J. J. and Zamora, A. (1975). "Automatic Abstracting Research at Chemical Abstracts Service." Journal of Chemical Information and Computer Sciences, 15 (4), pp. 226-232.

Sandu, O., Carenini, G., Murray, G., and Ng, R. (2010). "Domain Adaptation to Summarize Human Conversations." In Proceedings of ACL Workshop on Domain Adaptation in NLP, pp. 16-22.

Sharifi, B., Hutton, M.-A., and Kalita, J. (2010). "Summarizing Microblogs Automatically." In Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 685-688.

新納浩幸, 白井清昭, 村田真樹, 福本文代, 藤田早苗, 佐々木稔, 古宮嘉那子, 乾孝司 (2015).語義曖昧性解消の誤り分析. 言語処理学会第 19 回年次大会ワークショップ「自然言語処理におけるエラー分析」発表論文集.

Spärck Jones, K. (2007). "Automatic Summarising: The State of the Art." Information Processing $\mathcal{E}$ Management, 43, pp. 1449-1481.

Takamura, H., Yokono, H., and Okumura, M. (2011). "Summarizing a Document Stream." In Proceedings of the 33rd European Conference on Information Retrieval (ECIR), pp. 177-188.

Vanderwende, L., Suzuki, H., Brockett, C., and Nenkova, A. (2007). "Beyond SumBasic: Taskfocused Summarization with Sentence Simplification and Lexical Expansion." Information Processing 83 Management, 43 (6), pp. 1606-1618.

渡辺太郎，今村賢治，賀沢秀人，Neubig Graham，中澤敏明 (2014). 機械翻訳. コロナ社.

Wilcoxon, F. (1945). "Individual Comparisons by Ranking Methods." Biometrics Bulletin, 1 (6), pp. 80-83.

Xiong, D., Ding, Y., Zhang, M., and Tan, L. C. (2013). "Lexical Chain Based Cohesion Models
for Document-Level Statistical Machine Translation." In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1563-1573.

Zajic, D. M., Dorr, B. J., Lin, J., and Richard, S. (2007). "Multi-Candidate Reduction: Sentence Compression as a Tool for Document Summarization Tasks." Information Processing 8 Management, 43, pp. 1549-1570.

## 略歴

西川仁：2006 年慶應義塾大学総合政策学部卒業. 2008 年同大学大学院政策・メディア研究科修士課程修了. 同年日本電信電話株式会社入社. 2013 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 博士 (工学). NTT メディアインテリジェンス研究所研究員を経て, 2015 年より東京工業大学大学院情報理工学研究科計算工学専攻助教. 自然言語処理, 特に自動要約の研究に従事. The Association for Computational Linguistics, 人工知能学会, 情報処理学会, 各会員.

