# 健康危機管理と自然言語処理
## 奥村 貴史 $\dagger$ ・金谷 泰宏计

災害は被災地住民の健康に多大な影響を及ぼし，その対応に際し保健医療分野に膨大な文書を生じる。そこで，妆害時の保健医療活動を支援するため，自然言語処理に よる各種文書の効率的処理が期待されている。 本稿では, 保健医療の観点から, そ うした情報の特性を被災者，被災者集団，支援者のそれぞれについて整理したうえ で，自然言語処理が有効と考えられる諸課題を列挙する。そのうえで， 2011 年に発生した東日本大震災において筆者らが関わった日本栄養士会支援活動報告, 石巻圈合同救護チーム災害カルテ, 医療や公衆衛生系メーリングリスト情報の 3 つの事例 を紹介し, 「健康危機管理」に自然言語処理が果たしうる貢献について検討する.こ れらの事例に示されるように，災害時には保健医療に関わる膨大なテキストが発生 するものの, 保健医療分野の専門家は大量の自由記載文を効率的に処理する手段を 有していない。今後, 東日本大震災において生じたデー夕を活用し, 保健医療情報 における大量の自由記載文を効率的に処理する備えを行っておくことが望ましい． キーワード：健康危機管理，公衆衛生，自然言語処理

## Health Crisis Management and Natural Language Processing

\author{
Takashi Okumura ${ }^{\dagger}$ and Yasuhiro Kanatani $^{\dagger \dagger}$
}

Disasters may cause a variety of health problems in the victim population, and public health authorities are forced to assess such situations rapidly in order to take appropriate countermeasures. This process may involve the processing of numerous unstructured texts, and hence, natural language processing (NLP) has significant application potential in the field of crisis response. This report classifies the information related to public health in a crisis situation into three categories-victims, victim groups, and care providers - and summarizes the characteristics of these categories to clarify the tasks suitable for NLP. This analysis is followed by three case studies of the Great East Japan Earthquake response. These case studies illustrate the contribution of NLP in an actual health crisis and suggest that the authorities do not possess appropriate means to process the texts that may accumulate in such a situation. The archive of the earthquake would be the best source for the analysis to prepare for future disasters.

Key Words: health crisis management, public health, natural language processing

## 1 はじめに

災害は，住居や道路などに対する物的損害だけでなく，被災地内外の住民に対する健康への 影響も及ぼしうる。そこで，従来の防災における危機管理の考えを援用し，健康における危機管理という概念が発達しつつある。この「健康危機管理」は, わが国の行政において, 災害, 感染症, 食品安全, 医療安全, 介護等安全, 生活環境安全, 原因不明の健康危機といった 12 分野 に整理されており, 厚生労働省を中心として, それぞれの分野において生じうる健康問題とそ の対応策に関する知見の蓄積が進められている (谷畑, 奥村, 水島, 金谷 2012).

こうした健康危機においては, 適切な意思決定のためにできる限り効率的に事態の全体像を 把握する必要性がある。しかし, 2009 年に生じた新型インフルエンザによるパンデミックでは,国内の発症者や疑い症例の急激な増加に対し，状況把握に困難が生じていた (奥村 2009)， 2011 年に生じた東日本大震災においては，被災地の行政機能が失われ，通信インフラへの被害も合 わさって, 被災地の基本的な状況把握すら困難な状態が生じた (震災対応セミナー実行委員会 2012). とりわけ, 災害初期の混乱期においては, 事態の全体像を迅速に把握する必要があり,情報の厳密性よりも行動に結びつく実用性や迅速性が優先されうる (國井 2012).この「膨大な テキスト情報が発生」し, また,「情報の厳密性よりも迅速性が優先される」という特徴は, 自然言語処理が健康危機管理に大きく貢献しうる可能性を示している.

そこで本稿では, 健康危機における情報と自然言語処理との関係について整理し, 自然言語処理が健康危機管理に果たしうる役割について検討する。まず, 次章では, 健康危機における 情報とその特徴について整理する， 3 章では，筆者らが関わった東日本大震災に対する保健医療分野の情報と自然言語処理との関わりをまとめ，4 章において提言を記す.

## 2 健康危機管理における情報とその特徵

震災やパンデミックにより引き起こされる健康危機時においては, 被災者に関する医学的情報や医療機関の損害情報, 支援物資に関する情報など，様々な情報が生じることになる，実際，東日本大震災の後には，災害支援における情報の処理に様々な課題が生じ，その効率化に向け て多くの情報システムが開発された (Utani, Mizumoto, and Okumura 2011). 以下では, 保健医療活動の観点から, 情報を対象毎に分類し, その特徴を整理する。

## 2.1 被災者に関する情報

まず，個々の被災者に関する健康情報が挙げられる，災害による怪我などの急性疾患に関す る情報の他, 持病や内服薬に関する情報, 栄養状態に関する情報は, 適切な医学的管理に欠か せない，一方で，緊急時においては，利用できる検査や医薬品にも限りがあり，また，患者の
診療記録についても，通常時とは異なった簡潔さが求められることになる。患者の状態を緊急度により分類する「トリアージタグ」は，患者情報を極限まで簡素化したもので，言語表現が 関与する余地は夕グに含まれる特記事項欄の記載に限られている。これは極端な例ではあるが,災害時においては，災害用カルテの利用など多かれ少なかれ診療記録にも大幅な省力化が図ら れる傾向がある。

こうした患者情報は，電子化されているケースもあれば，混乱する被災地の医療現場で必要最小限の記録を残すために紙に記載されているケース，さらには，紙への記載すら困難な状況下で患部に巻いた包帯の上に最小限の処置内容と指示のみを記載する例などもあり，すべてが 自然言語処理の対象として適した形態とは言えない。しかしながら,こうした個々の被災者に 関する医学情報は，適切に処理することにより様々な活用が可能である。まず，i) 多数の患者情報の中から，特別な治療が必要なケースなど，条件に見合った患者を抽出する活用が考えら れる。ただし，緊急性の高い患者については，直接診察にあたる医師により対応が行われるは ずであり，また，直接診察以上の情報をカルテ解析より見出すことには本質的な困難さがある.次に，ii) 多数の患者情報の中から，症状や疾患に関する一定の傾向を読み取り，支援や対策に 生かすという目的が考えられる。たとえば, 感染症の集団発生や呼吸器疾患の上昇などが把握 できれば，必要な予防を講じることが出来る。カルテ解析は, 医師による労働集約的な作業が 求められるために非常時に行うには困難が伴うが，自然言語処理により改善がもたらされる可能性がある，最後に，iii）歯科カルテ等を用いることで，ご遺体等の個人同定が行われるケース がある。ただし, 遺体側の特徴として, 歯科治療跡が保存性, 視認性共に優れることから, こ のケースにおいて自然言語処理が関与しうる余地は未知数である.

## 2.2 被災者集団に関する情報

被災者の状況の詳細な把握に際しては，上述のように個人毎の情報管理が求められる。しか しながら，発災初期など，数百人が収容された避難所から個々人の医学情報を正確に収集，管理することは容易ではない，そこで，とりわけ発災直後の混乱期において，避難所毎の大まか な人数や電気, ガス, 水道, 食料等, 集団に関する情報の収集と共有が優先されることになる.保健医療の観点からは, これらに加えて, 特別な配慮が求められる妊婦の数や, 乳児や高齢者な どの災害弱者数，衛生状態，食事の加熱の有無等が求められる。さらに，支援に際しては，定量的な情報だけでなく, 被災地域のニーズや避難所で行われている工夫等が文字情報として収集されうる。

こうした現地報告からは, 様々な情報の抽出と分析が可能である。その中でも, 保健医療系 の domain expert が抽出したいとした情報は，後述する被災地支援活動を行った栄養士の現地報告会 (須藤 2012) での意見を分析すると，主に 4 種類に分類された。まず，i) 要所を押さえ た記録の「要約」が挙げられた。とりわけ，保健医療分野では多くの支援が交代制により行わ

るため, 後発チームが支援先においてなされている活動の概要や目下の課題を効率良く知りた いというニーズが少なくない. したがって, 先発チームの報告を効率的に要約する技術により,報告する先発チーム, 報告を受ける後発チームの双方の負担を軽减できる可能性がある。また, ii) 報告文書には， べストプラクティスや避けるべき行動などの現場で見出された様々な知見が 含まれる。報告文書の解析に際しては, こうした情報を適切にまとめることで, 今後の活動ガ イドラインの反映に繋げたいという要望も挙げられた．妆害時のさまざまな記録から作成され たガイドラインとしては，たとえば，阪神淡路大震災後に編纂された資料が参考となるだう (内閣府 1999)．さらに， iii) 災害やその支援において生じた事態と対応を整理し記録する「適切な整理と保存」へのニーズも認められた. この震災対応のアーカイブ化については, 国立国会図書館 (国立国会図書館 2012) や東北大学 (東北大学災害科学国際研究所 2012) を初めとした 多くの試みがあるが，保健医療系では体系的な取り組みがなされておらず，情報系研究者によ る支援が望まれている。最後に，iv) 過去の報告内容を分析することで，状況把握の適切化・迅速化・省力化に向けた「報告書式の改善」に繋げたいという要望が存在した. 現地状況をより 詳細に把握するために報告が詳細化すると，報告者の負担が増してしまう．しかし，苦労をし て報告した情報も, 被災地の状況や今後の災害対応に生かされなければ, 報告者の士気を保つ ことが困難である。そこで，報告書式や手法そのものを過去の経験に基づき改善して欲しいと いう要望が生じることになる。これら四種の希望は，栄養士に限らず，広く保健医療系の支援活動に当てはまる一般性を有すると考えられる.

## 2.3 支援者に関する情報

次に，支援者側の情報が挙げられる。災害時の保健医療情報としては, 被災者や避難所の情報に注目が集まるが，医療支援は，医師や歯科医師, 看護師, 保健師, 薬剤師等, 他職種の連携により初めて機能する。したがって，適切な医療支援を行うためには，支援者側の情報を効率的に収集すると共に, 被災地ニーズと支援者とのマッチングを最適化していかなければなら ない. また, 行政における支援には厳密な労務管理が求められるために, 活動報告を適切に収集, 管理することは行政上の要請でもある.

こうした情報は, 派遣前に収集される属性情報と, 派遣してから継続的に収集される活動情報に分類される。前者は, 派遣チームの編成, 派遣先, スケジュール等のマッチングに役立て るもので，言語表現が関与する余地が少ない。一方，後者は，支援者の専門性に基づく現地の 課題や対応等が収集しうる可能性がある他，支援にまつわる各種の意思決定を評価，改善して いくための基礎資料となりうる。実際, 東日本大震災においては, 日々届けられる派遣行政官 の日報を人事部門が目視確認し，支援の改善に繋げていた自治体があったという。また，支援者は，多くの遺体や苦境に喘ぐ避難民に接することでストレスが生じがちであり，報告書を通 じて支援者側のメンタルヘルスを適切に管理する仕組みも検討の余地がある.

## 2.4 まとめ

このように，健康危機管理においては被災者や支援者に関する情報が欠かせない，上述の例 では, 被災者情報のフィルタリング, 情報抽出, 個人同定, 被災者集団情報からの文書要約, 情報抽出，文書分類ないし情報検索技術，支援者情報からの情報抽出等が求められていることを 示した。また，支援活動の最適化にとっては，上記以外にも，被害を受けていない都道府県に おける透析施設や老人保健施設の情報など被災地以外の情報も欠かせない．被災地以外からの 情報は，定量的情報が多いが，たとえば，パンデミック対応においては，海外から刻々ともた らされる感染情報や治療効果に関する最新情報の整理など，自然言語処理が貢献しうる余地は 少なくない。これらは, 高い精度よりも効率性が重視される処理であり, 多少の不完全性を許容しうる点でも，自然言語処理の有望な応用分野であると言える.

一方, 健康危機時に発生する情報には, 下記の点で, 自然言語処理を応用していく上での障害がある。まず，医療や医学に関する情報は専門性が高いことが一般的であり，些細な情報の 解釈においても医学や栄養学などの domain knowledge が求められる。たとえば，降圧薬と抗精神薬が足らないという情報に触れた際，どちらがより重要か，あるいは緊急性が高いか，とい う解釈は，医学知識の有無により大きく異なるだろう。また，医療や公衆衛生に関わる情報に は，公的機関が関与することが多く, 収集した情報に個人情報保護の制約が課され自由な解析 や活用が困難となるケースが少なくない，さらに，公的機関には，様々な情報が集まり易い一方で, 情報系人材が少なく, また, 予算上, 外部に技術支援や情報解析を依頼することが困難と なりがちであることから, 収集された情報が有効活用されないケースが往々にして生じる。こ れらの条件は，健康危機管理における自然言語処理研究を進めるうえで大きな障害となりうる が, 東日本大震災を経て, 保健医療分野における情報処理の効率化に向けた問題意識は関係者間で共有されつつあり，次に述べるような試験的な試みが進められている。

## 3 東日本大震災における健康危機と自然言語処理

本章では, 以上の観点から, 東日本大震災において筆者らが関わった保健医療分野の言語処理について概要を整理する。

## 3.1 日本栄養士会 支援活動報告

東日本大震災においては, 東北地方沿岸部を中心に広範囲に渡って甚大な被害が生じた。そ のために, 避難所に 1 次避難した被災者のための仮設住宅が行き渡るまでにも時間が掛かり, また, 2 次避難後にも，物流等の問題から被災者が口にしうる食事のほとんどが配給によるも のとなりえた。そこで，栄養の偏りによる健康被害を避けるため, 栄養士の職能団体である公益社団法人日本栄養士会が被災地における栄養管理に取り組んだ。栄養士による災害支援は新
潟県中越地震 (2004), 能登半島地震 (2007) より開始され, これらの震災においては被災者の個人単位での栄養指導と記録も試みられていた。一方，東日本大震災においては，支援者単位で の活動報告が行われた。

図 1 に，今回用いられた活動報告書式を示す。震災後，MS Word，PDF，手書きと，複数の 形式で，合計 4103 件の活動支援報告書が収集され，その後，数値や自由記載文が混在した MS Excel 形式へと統合した $(1,524 \mathrm{~KB})$. 下記に，報告書式に含まれる一日の活動内容についての 文例を記す。

## $0 \bigcirc \bigcirc$ 病院医師宿舎到着海外支援物資の缶詰の試食と記録 試作全体的にスパイシーな味付けが多いが，いわしの油浸けはアレンジの仕方によっては和風 になるので，避難所で実践してもらえれば，と思う。

## ○○○小学校到着

居住者数 104 名 体育館が避難所 トイレ使用可 自衛隊の風呂装備あり 配食 自衛隊（ごはん・汁物） ニッコー（おかず）夜に明朝のパンと飲み物を配る 体育館内をラウンド式に巡回させてもらう

・下痢の方の水分補給について相談を受ける 本部の方に食事についてのアンケートをみせてもらう.漁港らしく，魚や刺身が食べたいと書いてあるものが多い.冷やし中華の要望 : 季節が変わり長期化していることを意味している.昼前, 配食の仕分け作業が始まったので見学させてもらう.

(エンボス，アルコール，マスク使用. バンダナ着用.)

今回は, 活動報告書式の構造化が不十分であったため, 以上のように，支援対象の避難所の 状況報告と, 具体的な活動内容, その評価が混在した文となっている，今後，報告書式を改良 することにより, 現地の避難者数や衛生状態などに関するより効率的な情報集積が可能となる ことが伺われる。一方で，「冷やし中華への要望」というエピソードからは，支援活動において は, 単なるカロリー量や栄養素などの数量的な問題を解決するだけなく, 調理法やメニューな ど様々なレベルでの問題解決が求められている点, ならびに, 数値情報からは読み取りえない 質的情報を扱う必要が理解されよう.

## 災客支援現地活動報告 (楼式1)

図 1 支援活動報告書式

次に, 報告書式中の「今日の思い」と題された一日の感想欄に記載された文例を記す.

「元の生活に戻していく」ことを目標に医療支援が縮小・撤退していく中で，過剩診療に ならないように支援することの難しさを痛感した．栄養剤の配布についてもいつまでも支援できるわけではないので，今後は購入してもらうかもしくは市販食品での代替を念頭に 入れて栄養ケアプランを考える必要性がある。また，患者を見ている家族も被災者である ことから，患者の栄養状態だけを見るのではなく，周りの状況をよく理解した上で食事相談をしなくてはならないと思った。

災害支援においては，まず被災地全体のアセスメントを行い，必要物資の量的なマッチング を行う。しかしながら，人間的な生活を回復していく過程においては，事前に想定された調査項目に基づく量的情報の集積だけではなく, 現地の様々な状況に関する質的情報が欠かせない.上述の例では，栄養剤を配布することにより数値の上では現地ニーズを満たしても，適切な撤退戦略を立案するためには地域毎の特性や復興計画, 進渉状況を考慮することが不可欠である ことが読み取れる。そのためには，オペレーションズリサーチのような最適化技術だけではな く, 現地に関する膨大な自由記載文から状況や課題, 解決提案等を効率的に抽出する技術が不可欠であり，自然言語処理が災害支援に大きく貢献しうる可能性が示唆される.

そこで，筆者らのグループでは，今回の支援活動報告を活用した自然言語処理研究を支援し て来た (岡崎, 鍋島, 乾 2012; 荒牧 2012; 風間 2012).また, 上述のように, 避難所の状況, 活動内容, その評価等が混在した文章からの情報抽出は効率が悪いために, より効率的な解析に 向けて，支援活動報告における数值等の構造化された情報と自由記載文のべストミックスにつ いての考察を試みた (奥村, 金谷 2012). さらに, 報告の自由記載欄に支援者自身の急性ストレ スの兆候が認められたことから, 支援者の活動報告の解析によるストレス症状と早期発見によ る PTSD (Posttraumatic stress disorder) 対策について，検討を行っている.

## 3.2 石巻圏合同救護チーム 災害時用カルテ

災害時の医療支援においては，メンバーが入れ替わる医療チームにより医療が供給されるこ とになるため, かかりつけ医などが継続して治療に当たる平常時以上に診療記録の重要性が高 まる。また, 通院中の医療機関におけるカルテを継続利用することが困難なために，医療支援 にあたる団体等が災害時用カルテ（災害時救護記録）を用いるケースもある.

今回の東日本大震災において, 石巻圈では広範な範囲に渡り医療機関が深刻な被害を受けた。 そこで, 全国より日本赤十字や医師会など様々な組織が医療支援に訪れたが, それぞれの医療 チームは短期滞在であったため, どのチームがどの地域で何をするのかの調整が求められた. ま た, 数多くの避難所から統一的な情報収集体制を構築する必要に迫られた. そこで, 石巻圏合同救護チームは, 広範な医療圈を 15 のエリアに分割し, エリア内の情報集約や短期滞在する医療 チーム間での引き継ぎをエリアの責任者に託す分割統治戦略を取った. その際, 石巻圏合同救護チームの本部がある石巻赤十字病院が主導し, 災害時用カルテの運用を行った (田中 2012).

図 2 に, 今回用いられたカルテの書式を示す. 震災後, 合計 25,387 枚のカルテが収集され,現在, 全カルテが PDF 化されている (3.19 GB). このうち, とりわけ患者の多いエリア 6,7 の 9,209 人分のカルテについて, 氏名, 年齢, 性別, 既往歴, 診断, 処方等の情報を目視で抽出し, 本災害カルテに即して設計したデータベースに入力し， 1 診療を 1 レコードとしてデー 夕化を行った結果, 合計 23,645 件のデータ化が完了している. 図 2 に示されるように, カルテ においては略称や特殊な表現が多く, 医学知識がなければ記載されている情報を読み取ること ができない，そのために，データ入力が高コストとなりがちであり, 収集した全力ルテをデー 夕化することができていない，また，データ化においては，カルテに記載された現病歴（疾患 の発症から受診に至る経緯が文章で記載されたもの）等のテキストが割愛されている。そのた めに, 今回収集されたカルテの本格的な解析においては，データベースをインデックスとして 使用し, 条件に当てはまる患者を抽出した上で, 必要な情報抽出を再びPDF から行う必要があ る．たとえば，本データベースを利用してとある薬剤が処方された患者を抽出することは可能 であるが，その処方が震災前より内服していた薬を在庫のある薬に切り替えた結果であるのか,震災により新たに生じた症状に対して処方した結果であるのかを知るためには，専門家が PDF

図 2 災害カルテの例

を目視確認する必要がある。

災害時に集積されるカルテは，災害による健康への影響に関する貴重な一次情報である。そ のために，迅速な分析により，地域に生じた新たな感染症や慢性疾患の増悪等の情報が得られ，効果的な被災地支援に繋がりうる。また，事後解析により将来の災害にも役立ちうることにな る。一方で，カルテの解析には専門知識が不可欠であり，プライバシーの問題も生じることか ら，効果的な解析手段が無ければ，折角の情報が死蔵されてしまう懸念がある．とりわけ，「災害により引き起こされたと考えられる病態に関する情報の抽出」は, 既存のカルテ解析とは異 なる課題であるため, 今後, 災害カルテのデジタル化と効率的な解析に向けた自然言語処理技術の発展が望まれる.

## 3.3 医療・公衆衛生系メーリングリスト情報

被災地では，震災後から，行政が主導するDMAT（妆害派遣医療チーム：Disaster Medical Assistance Team), 日本医師会による JMAT (Japan Medical Assosiation Team) や日本赤十字社, 日本プライマリケア医学会による PCAT 等の医療支援チームが数多く活動した。また，保健所等において公衆衛生に携わる公衆衛生医師や保健師等の派遣や, 東日本大震災リハビリテー ション支援関連 10 団体など，職能団体による支援も数多くなされた.これらの活動により被贸地入りした医療従事者は, 震災直後より, 学会や各種団体, 同密会等の組織が維持するメーリン グリストに多くの現地報告を投稿した。一例として，筆者の所属するメーリングリストに 2011
年 3 月 14 日に投稿された現地報告の抜粋を以下に示す.

同日朝より○○地区の災害現場の担当となり，要救護者の対応や死亡確認などを行いまし た．津波による影響で民家はすべて崩壊していましたが，歩行困難患者と低体温患者を数名処置し病院に搬送しました。ただし, その午後および翌日は死亡者の確認がほとんどと いう残念な状況でした．消防および救急隊，自衛隊と一緒になって活動しましたが足場も 悪いため死亡者も見た目で分かるところ以外の検索は困難であり，時折来る津波警報で撤退し, 落ち着いたら再び現場に戻るを繰り返していました。死亡者も多くその場から回収 できない状態です。DMAT として現場ではあまり役に立てず，本当に心が痛みました。

例文に示されているように，本報告には，ｉ）現地の客観的な情報（津波の影響で民家はすべ て崩壊), ii) 具体的な活動内容 (軽症例の処置と死亡確認), iii) 活動の医学的な評価 (DMAT は現場で役に立たなかった)，iv) 報告者の主観的な感想（心が痛んだ）が混在している。しか しながら, 高度に訓練を積んだ医療従事者による現地報告には, 要所を押さえた現地情報や活動の評価等の貴重な情報が，発災後の早い段階から含まれていたことが分かる.

災害時における被災情報をソーシャルネットワークから抽出する試みにおいては，発信者の 匿名性や伝聞情報による摚乱が課題となる。一方で, 医療従事者によるメーリングリストは，報告者の特定が容易であり, 情報源としての確度が高い. また, 情報の専門性も高く, 投稿数も豊富であった。そのために，災害の支援活動初期に生じる膨大なテキストからこれらの情報を効率的に抽出する技術は，その後の災害支援活動にとって極めて有益となる可能性がある。一方 で，メーリングリストへの投稿文は構造を持たないことに加えて，人命に関わる意思決定に関係することから情報抽出の精度が求められ，自然言語処理には適さない課題かも知れない。し かしながら，自然言語処理を活用した各種ツールが大量の情報整理を効率化する可能性は依然 として高く，首都圈における大規模災害時等，多量の情報が発生することが想定される災害へ の備えとして, 求められる自然言語処理技術のあり方を検討しておくことが望ましい.

## 4 おわりに

わが国は，地震や風水害が多いだけでなく，狭い国土に多くの国民が住むことから，高度成長期に多発した環境污染問題など，大規模な健康問題が生じるリスクを常に抱えている。 とり わけ，首都圈直下型地震のような大災害やパンデミックは常に発生する可能性があり, これら の際には保健医療に関わる膨大なテキストが発生しうる。そこで, 厚生労働省も, 健康危機へ

の備えとして, 既知の経験を収集し (谷畑 他 2012), 避難者情報の効率的な把握と共有に向けた 研究投資を行ってきた (水島，金谷，藤井 2012).

しかしながら，情報の柔軟性を担保するうえで必要となる自由記載文に対しては，依然，効率的な処理手段を欠いている，具体的には，被災者情報のフィルタリング，情報抽出，個人同定，被災者集団情報からの文書要約，情報抽出，文書分類ないし情報検索技術，支援報告からの情報抽出等は，ほとんど手付かずの状況にある。一方，これらはまさに自然言語処理が取り組ん できた課題であり，東日本大震災の教訓を生かすうえでも，今回の焱害が遺した教訓とデー夕 を元に保健医療情報における大量の自由記載文を効率的に処理する備えを行っておくことが望 ましい，筆者らも，可能な限りでの情報の保存と研究利用に向けた環境整備に努めており，今後, 自然言語処理研究者による集積したデータの活用と研究分野としての発展を願っている.

## 謝 辞

本稿の背景となった，東日本大震災における保健医療分野の対応を自然言語処理を用いてご 支援頂く試みにおいては，グーグル株式会社 賀沢秀人氏に多大なご尽力を賜った。また，奈良先端大 松本裕治先生, 東北大学 乾健太郎先生, 情報通信研究機構 鳥澤健太郎先生, 東北大学 岡崎直観先生, 東京工業大学 橋本泰一先生, 東京大学 荒牧英治先生, 富士通研究所 落谷亮氏の各先生方からは, 多くの御助言を頂き, また, 実際の解析の労をお取り頂いた. お茶の水女子大学 須藤紀子先生, 国立健康 - 栄養研究所 笠岡（坪山）宜代先生, 日本栄養士会 下浦佳之理事, 清水詳子様には，災害時の栄養管理に関する自然言語処理に関して御指導を賜った。また，査読者の方々には，有益なご助言を多数頂いた。この場をお借りし深謝申 し上げます.

## 参考文献

荒牧英治 (2012). 言語処理による分析一支援物資の分析. 日本栄養士会雑誌, p. 8.風間淳一 (2012). 言語処理による分析一活動報告の評価情報分析. 日本栄養士会雑誌, p. 9 .

国立国会図書館 (2012). 東日本大震災アーカイブ. http://kn.ndl.go.jp/.

國井修（編）(2012). 災害時の公衆衛生一私たちにできること. 南山堂.

水島洋, 金谷泰宏, 藤井仁 (2012). モバイル端末とクラウド，CRM を活用した災害時健康支援

システムの構築. モバイルヘルスシンポジウム 2012.

内閣府 (1999). 阪神・淡路大震災教訓情報資料集.

http://www.bousai.go.jp/kyoiku/kyokun/hanshin_awaji/data/.

岡崎直観，鍋島啓太，乾健太郎 (2012). 言語処理による分析一日本栄養士会活動報告の分析. 日
本栄養士会雑誌, pp. 6-8.

奥村貴史 (2009). 新型インフルエンザ対策を契機とした国立保健医療科学院における反復型開

発による感染症サーベイランスシステムの構築. 保健医療科学, 58 (3), pp. 260-264.

奥村貴史，金谷泰宏 (2012). 災害時における支援活動報告. 日本栄養士会雑誌, pp. 12-13.

震災対応セミナー実行委員会 (2012). 3.11 大震災の記録一中央省庁・被災自治体・各士業等の

対応. 民事法研究会.

須藤紀子 (2012). 東日本大震災における被災地以外の行政栄養士による食生活支援の報告会. 厚

生労働科学研究費補助金 健康安全・危機管理対策総合研究事業『地域健康安全を推進するた

めの人材養成・確保のあり方に関する研究』平成 23 年度総括・分担研究報告書, pp. 126-152.

田中博 (2012). 災害時と震災後の医療 IT 体制：そのグランドデザイン。情報管理, 54 (12),

pp. 825-835.

谷畑健生，奥村貴史，水島洋，金谷泰宏 (2012). 健康危機発生時に向けた保健医療情報基盤の

構築と活用. 保健医療科学, 61 (4), pp. 344-347.

東北大学災害科学国際研究所 (2012). みちのく震録伝. http://shinrokuden.irides.tohoku.

ac.jp/.

Utani, A., Mizumoto, T., and Okumura, T. (2011). "How Geeks Responded to a Catastrophic

Disaster of a High-tech Country: Rapid Development of Counter-disaster Systems for the

Great East Japan Earthquake of March 2011." In Proceedings of Special Workshop on

Internet and Disasters (SWID 11).

## 略歴

奥村 貴史：1998 年慶應義塾大学大学院修了。2007 年国立旭川医科大学医学部医学科卒業, 同年ピッツバーグ大学大学院計算機科学科にて Ph.D. (Computer Science). 2009 年国立保健医療科学院研究情報センター情報評価室長, 2011 年より研究情報支援研究センター特命上席主任研究官.

金谷 泰宏：1988 年防衛医科大学校卒業, 医学博士, 1999 年厚生省保健医療局

エイズ疾病対策課課長補佐, 2003 年防衛医科大学校防衛医学研究センター准教授，2009 年国立保健医療科学院政策科学部長，2011 年より同院健康危機管理研究部長.


# 複数の言語的特徴を用いた日本語述部の同義判定

泉 朋子 $\dagger,+\dagger$ - 柴田 知秀 $\dagger \dagger$ - 齋藤 邦子 $\dagger \cdot$ 松尾 義博 $\dagger$ - 黒橋 禎夫 ${ }^{\dagger \dagger}$

大量のテキストから有益な情報を抽出するテキストマイニング技術では，ユーザの 苦情や要望を表す述部表現の多様性が大きな問題となる。本稿では, 同じ出来事を 表している述部表現をまとめ上げるため,「メモリを消費している」と「メモリを 食っている」の「消費している」と「食っている」のような述部表現を対象に, 異 なる 2 つの述部が同義か否かを認識する同義判定を行う。述部の言語構造分析をも とに, 「辞書定義文」,「用言属性」,「分布類似度」,「機能表現」という複数の言語知識を用い，それらを素性とした識別学習で同義判定を行った，実験の結果，既存手法に比べ，高い精度で述部の同義性を判定することが可能になった。

キーワード：同義判定，述部，機能表現，テキストマイニング，言い換え，分布類似度
## Recognizing Semantically Equivalent Predicate Phrases Based on Several Linguistic Clues

\author{
Tomoko Izumi ${ }^{\dagger, \dagger \dagger}$, Tomohide Shibata ${ }^{\dagger \dagger}$, Kuniko Saito $^{\dagger}$, Yoshihiro Matsuo ${ }^{\dagger}$ \\ and Sadao Kurohashi ${ }^{\dagger \dagger}$
}

This paper proposes the recognition of semantically equivalent predicate phrases such as "consumes" and "eats" in "it consumes/eats a lot of memory." Differences in predicate expressions pose a serious problem in natural language processing applications such as text mining, which extracts text data according to a user's needs and wants. We propose a novel technique that uses various linguistic clues ranging from abstract semantic features to contextual features in order to detect a semantic similarity in different predicates. The results indicate that our proposed method achieved the highest f-score compared with baseline methods.

Key Words: synonym recognition, predicate phrases, functional expressions, text mining, paraphrasing, distributional similarity

## 1 はじめに

近年，新聞や Web 上のブログだけではなく，ツイートや音声対話ログなど様々な分野のテキ スト情報を利用することが可能である。これらの多様なテキストから欲しい情報を抽出する検索技術や，有益な情報のみを自動で抽出・分析するテキストマイニング技術では，表現の違い

に頑健な意味を軸にした情報抽出が求められている．たとえば，お客様の声を分析するコール センタマイニング（e.g., 那須川 2001）では，下記の a, bの表現を，「同義である」と正しく認識・集計する必要がある。

(1) a. メモリを消費している

b. メモリを食っている

(2) a. キーボードが壊れた

b. キーボードが故障した

検索においても，「キーボード壊れた」で検索した際に，「キーボード故障した」が含まれ ているテキストも表示されれば，よりユーザの意図を理解した検索が行えると考えられる．

テキストマイニングのようなユーザの声の抽出・分析において重要となるのは，「消費してい る」，「壊れた」などといった述部である，述部は，文情報の核を表しており，商品の評判（e.g.，満足している）や苦情 (e.g., 壊れた, 使いにくい), ユーザの経験 (e.g., 堪能した) や要望 (e.g.,直してほしい) などを表す.

しかし，あらゆる分野，文体のテキストを対象とした場合，述部の多様性が顕著になる。た とえば,「正常な動作が損なわれる」という出来事を表現する場合, 新聞などフォーマルな文書 では「故障する」と表現されることが多いが，ブログなどインフォーマルな文書では「壊れる」 と表現されることが多い1. テキストの種類により同じ出来事でも異なる文字列で表現されるた め, 異なる分野のテキストを統合した情報抽出や, テキストマイニングを行う場合は, 述部の 同義性を計算機で正しく認識して分析しなくてはいけない。述部の同義性を計算機で識別する ことができれば，テキストマイニングなどにおいて，同義表現を正しくまとめ上げ，高精度に 集計・分析を行うことが可能となる．また，検索技術においては，表現が異なるが同じことを 表しているテキストを拾い上げることができ, 再現率の向上が期待できる.

本稿では, 日本語の述部に焦点を置き, 異なる 2 つの述部が同義か否かを判別する述部の同義判定手法を提案する，既存の手法では，単一のリソースにのみ依存しているために，まとめ 上げられる述部の数が少ないという再現率の問題や, 異なる意味のものまで誤ってまとめ上げ てしまうという精度の問題がある。そこで本稿では, 述部の言語的構造を分析し, 同義述部の 認識という観点で必要な「述部の語義（辞書定義文)」,「抽象的な意味属性 (用言属性)」,「文脈 (分布類似度) , 「時制・否定・モダリティ（機能表現) 」といった言語情報を複数の言語リソー スから抽出することで，精度と再現率の双方のバランスをとった述部のまとめ上げを行う．な お, 本稿では「消費/し/て/いる」などの「内容語＋機能表現」を述部と定義し，「メモリを - 消費している」と言った「項 - 述部」を単位として述部の同義判定を行う.
^{1} 2007$ 年の毎日新聞では,「故障する」と「壊れる」の出現頻度の比が「1:2.5」である. 一方, 2007 年 4 月のブロ グでは「故障する」と「壊れる」の出現頻度の比が「1：42」であり，「壊れる」と「故障する」は意味が完全に 1 対 1 対応するわけではないものの, 出現頻度の比がテキストによって大きく異なる.
}
本稿の構成は次のとおりである。 2 節では, 関連研究とその問題点について論じる。 3 節で は，述部の言語構造について論じる。 4 節では, 本稿の提案手法である複数の言語的特徴を用 いた同義判定について述べる，5 節では，同義述部コーパスについて述べる，6節， 7 節では述部の同義判定実験とその考察を行う．8節は結論である。

## 2 関連研究

## 2.1 辞書を用いた言い換え研究

2 つの異なる表現が同義か否かを判別する研究のひとつとして，述部を対象にした言い換え 研究がある。藤田・降幡・乾・松本 (2004) は, 語彙概念構造 (Lexical Conceptual Structure; Jackendoff 1992; 竹内，乾，藤田 2006）を用いて，「株価の変動が為替に影響を与えた」のよう な述部が機能動詞構造で構成されている文を，「株価の変動が為替に影響した」といった単純 な述部に変換する言い換えを行っている。同様に，鍜治・黒橋 (2004) は，「名詞 + 格助詞 + 動詞」の構造をもつ述部を対象に「「非難を浴びる」と言った迂言表現や，「貯金をためる」と言っ た重複表現の認識と言い換えを，国語辞典からの定義文を手掛かりに行っている．松吉・佐藤 (2008) は, 階層構造化された日本語の機能表現辞書 (松吉, 佐藤, 宇津呂 2007) をもとに,「や るしか／ない」の機能表現にあたる「しか／ない」を，「やらざる／を／得ない」という別の表現に自動で言い換える方法を提案している.

述部を対象とした言い換えの研究を用いて，複数の言い換え表現をあらかじめ生成すること で，本稿が目的とする同義述部のまとめ上げが可能である。しかし，語彙概念辞書などの特殊 な言語リソースを用いて言い換えを生成する場合, リソースの規模が十分でなければ，ブログ などの幅広い表現を扱う際にカバレッジが問題となる.

## 2.2 コーパスからの分布類似度計算

2 つの異なる表現の意味が似ているか否かを判定する研究に，大量のコーパスを用いた分布類似度の研究がある (Curran 2004; Dagan, Lee, and Pereira 1999; Lee 1999; Lin 1998). 分布類似度とは, 文脈が似ている単語は意味も似ているという分布仮説 (Firth 1957) に基づき, 対象 の単語の周辺に現れる単語（文脈）を素性として計算される単語の類似度である。

Szpektor and Dagan (2008) は, “X takes a nap”と “X sleeps"の関係のように, 述部と 1 つ の変数を単位として分布類似度計算を行い，述部を対象に含意ルールの獲得を行った。柴田・黒橋 (2010) は，「景気が冷え込む」の「冷え込む」と「景気が悪化する」の「悪化する」のよ うに組み合わさる項によって同義になる表現をも考慮し，大規模コーパスから項と述部 (e.g.,景気が - 悪化）を単位にした分布類似度べクトルを用いて同義語獲得を行った。

大規模コーパスから周辺単語を用いて単語の意味類似度を測る分布類似度計算は, WordNet

などの特定の言語リソースを用いる手法に比べてバリエーションに富んだ表現を獲得すること が可能である。しかし, 分布類似度計算には柴田・黒橋 (2010)で述べられているように， 2 つ の問題がある．1つ目は，反義関係にある単語の類似度が高くなってしまう問題である。「泳ぎ が得意だ」と「泳ぎが苦手た」のように, 反義関係の単語は同一の文脈で現れることができ, 結果として類似度が高くなる。2つ目は，時間経過を表す述部同士の類似度が高くなる問題であ る．たとえば，「(小鼻の脇などの狭い場所には）ブラシを使って粉を取って，（粉を）つけます」 の「粉を取る」と「粉をつける」のような時間経過の関係にある述部の場合, 下記のように類似した文脈で出現しやすい.

(3)「粉を取る」と「粉をつける」の文脈の例

2 の文があった場合，双方とも「ブラシを使う」や「パフを使う」という「項 - 述部」を共有しているため，「粉を取る」と「粉をつける」という時間経過を表す述部同士の類似度が高く なってしまう.

Yih and Qazvinian (2012) は, Wikipedia と Web スニペットを用いて計算した分布類似度や, WordNet などのシソーラスで計算された類似度を統合することで, 語の関連度を計算している。 しかし, 複数の類似度の平均值をとっているだけであり, それぞれの類似度に重みづけがされ ていない。また, 類似度のみを手掛かりとしているため, 反義表現と同義表現の識別は困難で ある.

## 2.3 教師あり学習を用いた同義判定

教師あり学習として同義表現の識別や獲得を行っている研究として Hashimoto, Torisawa, De Saeger, Kazama, and Kurohashi (2011)がある. Hashimoto et al. (2011)では, Webコーパスか ら定義文を自動で抽出し, 同じコンセプトを表している定義文ぺアから大量の言い換え表現を 獲得している．例えば，“Osteoporosis（骨粗䯿症）”というコンセプトを定義している文のぺ アから, “makes bones fragile（骨がもろくなる）”と “increases the risk of bone fracture（骨折 リスクを高める) ”といった言い換え表現を獲得している. しかし, Hashimoto et al. (2011)で

は，言い換え表現の獲得に定義文を用いているため, 獲得される表現は必ず何らかのコンセプ トを説明している表現（もしくはその一部）になる。そのため，対象の同義表現によって説明 されるコンセプトが存在しない場合は，定義文からそれら同義表現を獲得することが不可能で ある．例えば，「食パン - が - 出来上がった」と「食パン - が - 焼けた」のような表現で定義さ れるコンセプトは想像が難しいため，定義文にも出現しづらい表現であると考えられる．本稿 が目的とする意見集約などのマイニングにおけるまとめ上げを行うためには，定義文に出てこ ない表現（すなわち, それらの表現によって説明されるコンセプトが存在しない場合）に対す るカバレッジを補う必要がある。つまり，定義文という制約を加えずにブログなどの多様な表現を含む幅広い言語リソースを用いて，高い精度で同義表現の識別をする必要がある.

Hagiwara (2008) は, 分布類似度の素性と文中の単語ぺアの統語構造を組み合わせて, 教師あ り学習の識別問題として, 分布類似度単体よりも高精度に同義識別を行った.しかし, Hagiwara (2008)の手法では，コーパスからの言語情報のみしか用いておらず，分布類似度が不得意とす る反義単語と同義単語の識別の有効性については述べられていない. Turney (2008)は, 同義語 (synonym) ・儀語 (antonym) ・関連語 (association) という3つの異なる意味関係を表す単語 ペアを対象に，コーパスの周辺単語情報を素性とした識別学習を行った. Turney (2008)の手法 は，あらゆる意味関係もひとつのアルゴリズムで分類できるという点で有益だが，彼が述べて いるように，同義を認識するタスクに特化した場合, 複数のアルゴリズムや言語情報を組み合 わせた手法 (Turney, Littman, Bigham, and Shnayder, 2003) に対して精度が劣ってしまう.

Weisman, Berant, Szpektor, and Dagan (2012)は, “snore（いびきをかく）”と “sleep（寝る）” といった含意関係（snore は sleep を含意する）にある動詞ぺアを対象に，文，文書, 文書全体 それぞれにおける動詞ぺアの共起情報を用いて含意関係の認識を行った. 含意関係を認識する うえで必要な情報を言語学的に分析し, 動詞のクラスや, 副詞を素性とした分布類似度など新 しい言語情報を入れることで，既存の手法に比べて高精度に含意関係の認識を行った。しかし， Weisman et al. (2012)は英語の動詞を対象としており，素性も英語に特化したものがある。例 えば, “cover up”のような phrasal verbs (句動詞) に対して, “up”などの particle と共起しや すいかを手掛かりに，動詞の意味の一般性を計測しており，英語のような句動詞をもたない日本語で同様の事を行うのは困難である。また，日本語のように動詞以外の単語が述部に現れた り，複数の文末表現と組み合わさって述部を構成する言語を対象にする場合には，それらの意味を表現する素性を工夫する必要がある.

## 3 述部の言語的特徵

2 節で述べたように，既存手法を日本語の述部の同義判定にそのまま適用した場合, 再現率 もしくは精度に問題が出る。そこで，本節では述部の同義性を正しく計算機で判別するために
必要な情報を考察するため, 述部の言語構造を言語学的な視点で分析する。本稿の対象である 述部は，(4)のように内容語と複数の機能語の集まりである「機能表現」(松吉 他 2007) で構成 されている.「/」は形態素の区切りを表す.

(4) 捨て／【内容語】なく／て／は／いけ／ない【機能表現】

述部の主な意味は, 動詞, 形容詞, 形容動詞, 名詞などの内容語が担っており, 機能表現は内容語で表現される意味に対し，時制（アスペクト），モダリティ，否定などの意味を加えている (Narrog 2005; Portner 2005).

ここで，述部の主な意味を担っている内容語の言語構造を考える。図 1 は Ramchand (2010, p. 4) から抜粋した動詞 “run” の言語的情報を, 複数の言語レベルに分類したものである"2. 図 1 の, “+dynamic"と “-telic"は, "run”という動詞そのものが，動作の変化を伴う動詞であ るが (+dynamic), 動作に終点がない動詞 (-telic) であることを表している（Dowty (1979)の “Activities", 金田一 (1976)の「継続動詞」を表している).

図 1 が表すように，述部の意味を考えた場合，複数の言語レベルの要素が絡み合って意味を 構成していることがわかる，我々が知らない単語に出くわした場合，その単語の意味を理解す るために，辞書を引いたり (Lexical-Encyclopedic information), 周辺単語を手掛かりに推測した り (Syntax, Context)，また見覚えのある単語であればその本来の意味から派生されそうな意味 (Semantic) を考え, 対象単語の言語情報をできるだけ集めて意味を理解する。さらに，時制や 否定, モダリティ表現なども手掛かりに，述部の意味を推測する。つまり，図 1 の複数の言語

 \\

図 1 動詞 “run” の言語構造

的情報を埋めていくことで，意味を理解すると考えることができる ${ }^{3}$.

計算機に意味を理解させるためには, これらの複数の言語的特徴を与えなくてはいけないと 言える。そこで，本稿では述部の言語情報を複数のレベルに分類し，同義述部の認識という観点で必要な情報を用いて，計算機に同義の述部を認識させる.

## 4 提案手法：複数の言語的特徴を用いた同義判定

本稿では，述部の同義判定を行うために，4つの言語情報を素性とし，識別学習を用いて同義 か否かを判定する。処理の流れを図 2 に示す. 4 つの言語情報は，「辞書定義文」，「用言属性」，「分布類似度」，「機能表現」である。以下に素性の具体的な説明を行う。

図 2 同義判定処理フロー
^{3}$ Phonetics/Phonology のような音の情報に関しては, オノマトぺを除き意味と直接かかわりがないため, 本提案手法の言語情報には取り入れない.
}

## 4.1 辞書定義文を用いた相互補完性・定義文類似性

述部の同義性を判別するためには, まず単語そのものの定義が必要となる (Lexical-Encyclopedic information). 我々が，単語の意味を調べるために辞書を用いるように，本稿でも国語辞書の定義文からの情報を素性として用いる。なお, 国語辞書などの定義文は, 言い換え研究において も有効性が確認されている. (e.g., 土屋 - 黒橋 2000 ; 藤田 ・乾 2001; 鍜治, 河原, 黒橋, 佐藤 2003)

述部の同義性を判別するという目的で, 辞書定義文を考察すると， 2 つの有益な特徴を見出 すことができる，1つ目は，同義の述部同士は, お互いの定義文内に現れやすいという点であ る.これを，定義文の相互補完性とここでは呼ぶ，下記は，同義述部のペアである「出来上が る」と「完成する」の定義文の一例である.

(5) [出来上がる]

$
\text { 定義文：すっかりできる．完成する. }
$

(6) [完成する]

$
\text { 定義文：すっかりできあがること. 全部しあげること. }
$

「出来上がる」の意味を定義するために, 同義の「完成する」という述部を用いており, 同様に,「完成する」の意味を定義するために，同義の「できあがる（出来上がる）」という述部を用いて いる。このように，同じ意味をあらわす述部同士は，お互いの定義文内に現れやすいという特徵がある。そこで， 2 つの述部が与えられた際に，それぞれの述部に対して「相手述部の辞書定義文内に現れるか」という相互補完性の有無を第一の素性として用いる。また，「プリンターが - 動かない」といった「項 - 述部」の単位で同義判定を行うため, 項（プリンター）もしくは 項と同様の名詞クラスが相手の定義文に現れたか否かも素性として用いる. 名詞クラスは, 日本語語彙大系 (池原, 宮崎, 白井, 横尾, 中岩, 小倉, 大山, 林 1999)の一般名詞意味属性を用 いる.

次に, 意味が似ている述部同士は, 定義文同士も似ているという特徵がある. 下記は, 「高値 た」と「高い」という同義の述部の定義文の一例である.

(7) [高い]

定義文：買うのに多額の金銭がかかる，量や質にくらべて，值段が多い.

(8) [高値 $]$

定義文：値段が高いこと。高い値段.

(7), (8) が示すように, 双方の定義文に「値段」という単語が含まれている。そこで, これら の定義文同士の語彙の重なりを，定義文間の内容語の重なり数を用いて素性とする.

このように, 同義判別に必要な Lexical-encyclopedic な情報として, 辞書定義文の相互補完性 と定義文中の語彙の重なりを素性として用いる。なお，「辞書定義文内に相互補完性があり，か つ片方の述部にのみに否定表現が入っているか否か」を区別する素性も作成した。これは，本
稿が機能表現を含んだ述部を対象としており，機能表現に含まれる否定表現が同義関係を逆転 させてしまうために特別に組み込んだ素性である.

## 4.2 用言属性を用いた述部の抽象的意味属性

同義の述部は, 辞書的な意味だけではなく, より抽象的な意味レベル (Semantics) でも共通性 があると考えられる. 例えば (9) の同義述部は, 日本語語彙大系 (池原 他 1999) において以下 のような用言属性を持つ.

(9) 用言属性の例

a. 出来上がる 【生成】

b. 完成する

【生成】，【属性変化】

双方とも，「新しく何かを作り上げる」事を意味する，「生成」という属性を共通に保持して いる.

そこで，同義判定に必要な Semantic レベルの素性として，日本語語彙大系 (池原 他 1999)の 用言属性を用いて，述部同士の抽象的な意味の重なりを抽出する。日本語語彙大系の用言属性 には,「生成」,「知覚状態」,「物理的移動」など 36 種類の用言属性ラベルがあり，それらが階層的に構造化されている（図 3). これらの用言属性を用いて，次の 2 種類の素性を抽出する.

1つ目は，共通して保持している用言属性そのものである．(9)の場合,「出来上がる」と「完成する」が共通して保持している「生成」という用言属性を素性として用いる．2つ目は, 用言属性の重なり度合いである。(9b) が表すように，1つの述部が複数の用言属性を持つ場合があ る. 複数の用言属性が付与されている場合, それらの重なりが大きければ大きいほど, 2 つの述部は似ていると考えられる。また，重なっている用言属性がより具体的であればあるほど，よ り類似していると考えられる。

そこで，用言属性の重なり度というものを用いて，2つの述部の用言属性の共通性を計算す る. より詳細なレベルで用言属性が重なっている方がより共通性が高いと言えるため, 重なり 度の算出の際に，下層の用言属性に重みをつける。重みは, ヒューリスティックに決定した。下記が，用言属性の重なり度の算出方法である。

(|Pred1 の階層 1 用言属性集合 $\cap \operatorname{Pred} 2$ の階層 1 用言属性集合 $\mid) * 1$

$+(\mid \operatorname{Pred} 1$ の階層 2 の用言属性集合 $\cap \operatorname{Pred} 2$ の階層 2 の用言属性集合 $\mid) * 1.5$

$+(\mid \operatorname{Pred} 1$ の階層 3 の用言属性集合 $\cap \operatorname{Pred} 2$ の階層 3 の用言属性集合 $\mid) * 2.0$
- 用言属性重なり度 $=\frac{+(\mid \operatorname{Pr} d 1 \text { の階層 } 4 \text { の用言属性集合 } \cap \operatorname{Pred} 2 \text { の階層 } 4 \text { の用言属性集合 } \mid) * 2.5}{(\mid \operatorname{Pr} d 1 \text { の用言属性集合 } \cup \operatorname{Pr} 2 \mathrm{C} 2 \text { の用言属性集合 } \mid)}$ これらの用言属性を用いることで，辞書定義文など語義そのものの重なり以外に，抽象的な意味レベル (Semantics)での共通性を素性として用いることができる.

図 3 日本語語彙大系用言属性 (池原 他 1999)

## 4.3 分布類似度

述部が同義であれば，それら述部が現れる文脈も類似していると考えられる．Firth (1957)で 述べられたように，対象の述部がどのような単語とともに現れるかが，述部の意味類似度を測 るための重要な言語情報となる。

そこで, 本稿ではこれらの周辺の項や文脈の情報を, 分布類似度の値を用いて表す。分布類似度の計算は, 柴田・黒橋 (2010)の手法を用いて,「項 - 述部」もしくは「述部」を単位として 行う，柴田・黒橋 (2010)は，「メモリを－消費している」のような「項 - 述部」，もしくは「消費する」という述部を単位 (u)として, 係り受け関係にある単語を素性に, 分布類似度の計算 を行っている。素性は, 対象の単位 $(\mathrm{u})$ に前出する素性を pre, 対象の単位 (u) に後続する素性 を postとして抽出する。例えば，「ソフトが常駐し，メモリを消費している」というような文 があった場合，「メモリを－消費する」に対して，素性「常駐する：pre」を抽出する。(10)が
具体的な素性の種類である.

（10）柴田・黒橋 (2010)の類似度計算の単位と素性（e.g.,メモリを－消費する）

 &  \\

分布類似度の計算は, Curran (2004)をもとに, 下記のように weight 関数と measure 関数に 分けて行う， weight 関数は, 素性べクトルの值を適切な値に変換するためのものであり, 柴田・黒橋 (2010) では，下記のように定義した.

$\cdot$ weight 関数

$
\text { weight }= \begin{cases}1 & (\mathrm{MI}>0) \\ 0 & (\text { Otherwise })\end{cases}
$

$M I$ は，下記の式を用いて計算する， $\mathrm{P}(\mathrm{u})$ は，素性べクトルを作る対象単位 $(\mathrm{u})$ の出現確率 を表す（すなわち，「項 - 述部」また「述部」の出現確率)，P(f) は，対象に対する素性 (f) の出現確率を表す（すなわち，対象単位と係り受け関係にある格要素もしくは述部)．P(u,f) は分布類似度計算の対象単位とその素性の共起確率である。

$
\mathrm{MI}=\log \frac{\mathrm{P}(\mathrm{u}, \mathrm{f})}{\mathrm{P}(\mathrm{u}) \mathrm{P}(\mathrm{f})}
$

分布類似度の計算には, JACCARD 係数と SIMPSON 係数の平均値を用いる. JACCARD 係数は，分布類似度を計算する対象 $(\mathrm{u})$ （項 - 述部もしくは述部）が共通して持つ素性 (f) を，そ れぞれがもつ素性の和集合で割った値である. SIMPSON 係数は，2つの対象が共通して持つ素性を，2つの対象の間で素性の数が少ない方の素性の数で割った值である.

$\cdot$ measure 関数

$
\begin{gathered}
\text { measure }=\frac{1}{2}(\mathrm{JACCARD}+\text { SIMPSON }) \\
\mathrm{JACCARD}=\frac{|(\mathrm{u} 1, *) \cap(\mathrm{u} 2, *)|}{|(\mathrm{u} 1, *) \cup(\mathrm{u} 2, *)|}
\end{gathered}
$

$
\operatorname{SIMPSON}=\frac{|(\mathrm{u} 1, *) \cap(\mathrm{u} 2, *)|}{\min (|\mathrm{u} 1, *|,|\mathrm{u} 2, *|)}
$

where

$
(u, *) \equiv\{f \mid \operatorname{weight}(\mathrm{u}, \mathrm{f})=1\}
$

上記で算出された，述部および項 - 述部を単位とした分布類似度を文脈 (Context)の情報とし て用いる.

## 4.4 述部の機能表現

述部は「内容語」と「機能表現」から構成されている.この, 機能表現の意味そのものも述部の同義性に影響する。

(11) a. 辞書に - 入って/い/ない【てい（る）：継続】【ない：否定】

b. 辞書に - 載って/い/ない【てい（る）：継続】【ない：否定】

c. 辞書に - 載る

(11a) と (11b) は, 機能表現「て/い/ない」を共有しており, 同義述部になるが，機能表現 を共有しない (11a) と (11c) は同義ではない. このように, 述部の機能表現が重なっているか否 かにより，同義か否かが変わってくる.

そこで, 松吉 他 (2007) の日本語機能表現辞書を用いて, 述部の機能表現に「継続」や「否定」 と言った意味ラベルを付与し，対象述部の機能表現の意味ラベルが重なっている場合に，その 重なった意味ラベルを素性として抽出する。またどの程度，機能表現の意味を共有しているか を表す指標として，意味ラベルの重なり率を素性として用いる，意味ラベルの重なり率は，下記のように算出する.

機能表現意味ラベル重なり率 $=\frac{(\mid \text { 述部 } 1 \text { の意味ラベルの集合 } \cap \text { 述部 } 2 \text { の意味ラベルの集合 } \mid)}{(\mid \text { 述部 } 1 \text { の意味ラベルの集合 } \cup \text { 述部 } 2 \text { の意味ラベルの集合 } \mid)}$

以上のように, 提案手法では, 「辞書定義文」, 「用言属性」,「分布類似度」,「機能表現」という 4 つの異なる言語的特徴を用いて, 述部の同義判定を行う。素性の一覧を表 1 に示す.

## 5 同義述部コーパスの作成

同義判定モデルの作成と提案手法の評価のため，「メモリを - 消費している」のような「項 述部」を単位とした同義述部コーパスを作成した。

2010 年 4 月のブログからランダム抽出した約 810 万文を対象に, 係り受け関係にある「項 述部」を抽出した。述部は, Izumi, Imamura, Kikui, and Sato (2010)を用いて，述部の機能表現から終助詞など出来事の意味に影響を与えない表現を自動で削除し, 単純な述部表現に正規
表 1 素性一覧

} & 辞書定義文と述部（および項）の相互補完性 \\

化した。項は, 日本語語彙大系 (池原 他 1999)の具体名詞に属する名詞のブログ出現頻度上位 700 語を使用した。

抽出した「項 - 述部」の集合から, 項をキーとして「同義」,「含意」,「推意」,「反義」,「その 他」の意味関係に属する述部のぺアを抽出した。これらの意味関係を明確にするため, Chierchia and McConnell-Ginet (2000) を参考に，異なる 2 つの述部の意味関係を下記のように 5 種類に 分類し，言語テストを作成した。これに基づき作業者は「同義」「含意」、「推意」，「反義」，「そ の他」を判断した。（＃は「文法的には正しいが意味的におかしい文」を表す.）

$\cdot$ 同義 (Mutual Entailment)

定義：表層が異なる 2 つの述部が同じ出来事 (Event)を表している

言語テスト 1 : 片方の述部を否定すると，意味が通じない

$
\begin{aligned}
& \times 「 \text { 述部 } \mathrm{A}, \text { でも, }, \text { 述部 } \mathrm{B} \text { という訳ではない」 } \\
& \times \text { 「述部 } \mathrm{B}, \text { でも, 述部 } \mathrm{A} \text { という訳ではない」 }
\end{aligned}
$

例：＃「土産を買った. でも，（その土産を）購入したという訳ではない.」

言語テスト 2 : 片方の述部を推測表現（または疑問表現）にすると，意味が通じない

$
\begin{aligned}
& \times 「 \text { 述部 } \mathrm{A} \text {, 述部 } \mathrm{B} \text { かも知れない/のか？」 } \\
& \times 「 \text { 述部 } \mathrm{B} \text {, 述部 } \mathrm{A} \text { かも知れない/のか？」 }
\end{aligned}
$

例：＃「土産を購入した。（その土産を）買ったかも知れない/のか？」

$\cdot$含意 (Entailment, 「衝動買いした」は「買った」を含意する)

定義：どちらか一方の述部がもう一方の述部の意味を包含していること

言語テスト：含意されている述部を否定することができない

$\times$ 「述部 $\mathrm{A}$, でも，述部 Bという訳ではない」
「述部 B，でも，述部 Aという訳ではない」

例：：「土産を衝動買いした。でも，（その土産を）買ったという訳ではない.」

○「土産を買った. でも，衝動買いしたという訳ではない.」

$\cdot$ 推意 (Implicature,「（土産が）打買い得だった」は「（土産を）買った」を推測させる）

定義：どちらか一方の述部によってもう一方の述部が「自然に推測される」

言語テスト：もう一方の述部が自然に推測されるが，含意と異なり推測される述部を

否定することができる

○「述部 $\mathrm{A}$ ，でも，述部Bという訳ではない」

「述部 $\mathrm{B}$ ，でも，述部 $\mathrm{A}$ という訳ではない」

例：○「土産がお買い得だった. でも，買ったという訳ではない.」

$\cdot$ 反義 (Contradiction)

定義：表層が異なる 2 つの述部に打いて，両方の述部が真であることが成立しない

言語テスト：両方の述部を「でも」でつなげると，意味が矛盾する

$\times 「$ 述部 A. でも述部 B」

$\times$ 「述部 B。でも述部 $\mathrm{A}\rfloor$

例：＃「土産が多い．でも，（その土産が）少ない.」

$\cdot$ その他 (Others)

定義：異なる 2 つの述部において意味的な関係がない

上記の言語テストをもとに，同義述部コーパスを作成した，コーパスは， 1 次作業者が述部 ペアの作成・意味関係の付与を行い，1 次評価者が指針にあっているか否かを評価した 4 ． 2 人 が合意した意味関係を付与したデータを 1 次データとし， 2 次作業者と 2 次評価者（第一著者） が 1 次データの修正（2 次作業者）とそのチェック（2 次評価者）を行った。その際，「推意」 に関する述部ぺアに関しては 1 次データでの一致率が良くなかったため，本研究のデータから 排除した。これは，推意の定義にある「自然に推測される」という判断に個人差があるからだ と考えられる。最終的には，「同義」，「含意」、「反義」、「その他」の意味関係に対し，4名の合意が取れた述部ぺアを使用した。下記が，作成されたデータの例と総数である。

(12) 同義ペア (2,843ペア)

車が - ぶつかっていた

車が - 衝突していた

食パンが - 出来上がった

食パンが - 焼けた

バスが - 発車した

バスが - 発した

(13）含意ペア $(2,368$ ペア)

時計をーチェックした時計をー見た

庭を・散策した庭を・歩いた
^{4} 1$ 次作業者と 1 次評価者の一致率（kappa 率）は 0.85 であった.
}

バッグを - 新調した

(14)

反義ペア $(2,227$ ペア $)$

車が - 渋滞していた

食パンをー購入した

バスを - 降りた

(15)

その他ペア $(4,948$ ペア $)$

車が - ぶつかっていた

食パンにー挟んだ

バスをー降りた
バッグを－買った

車が - 流れていた

食パンが - 売り切れていた

バスに - 乗った

車を - 止める

食パンが - 焼けた

バスに - 間に合った

## 6 実験

5 節で作成した同義述部コーパスを用いて提案手法の評価を行った。辞書定義文素性の抽出 には，金田一・池田 (1988)の「学研国語大辞典第二版」を，抽象的な意味属性の抽出には，日本語語彙大系 (池原 他 1999) の「用言属性」を用いる。分布類似度計算には, 柴田・黒橋 (2010) と同様の手法で作成された「項 - 述部」の分布類似度モデルと，「述部」のみを単位とした分布類似度モデルを用いる。素性べクトルの構築には，Web10 億ページから抽出し，重複を除いた 約 69 億文を用いた．機能表現の特徴抽出に関しては，松吉 他 (2007) の日本語機能表現辞書に ある機能表現の意味カテゴリーのラベルを用いる。この意味ラベルの付与には, 今村, 泉, 菊井,佐藤 $(2011)$ のタガーを用いる。

## 6.1 学習データ

5 節で作成した同義述部コーパスから, 本稿で使用するリソースである学研国語大辞典と語彙大系の用言属性にエントリがあり，かつ分布類似度計算の「項 - 述部」の出現頻度 10 以上の データのみを選出した。項が 422 種類からなる「同義」,「含意」,「反義」,「その他」の述部ぺ アのうち, 91 種類の項に対する述部ぺアは, 本提案手法の言語的特徴を分析するための考察用 データ（372ペア， held out data）として用い, 実験には使用しなかった. 残りを学習データ （3,503 ゚ア）とし，「同義」と「含意」の述部ぺアを正例，「反義」と「その他」のペアを負例と して同義判定モデルの学習を行った。学習には LIBSVM (Chang \& Lin 2011)を使用し, 実験の 評価には， 5 分割交差検定を行い，学習データの $4 / 5$ を用いてトレーニングを行い，残りの $1 / 5$ で評価し，これを 5 回繰り返した ${ }^{5}$ ，学習データに属する「同義」，「含意」，「反義」，「その他」 の述部ペアの数は下記のとおりである.

・学習データの内訳
- 同義ペア (956ペア)
- 含意ペア (669ペア)
- 反義ペア $(758$ ペア)
- その他ぺア $(1,120$ ペア)

## 6.2 比較手法

Baseline として, 次にあげる手法と比較した. 1 つ目が, 既存の大規模語彙シソーラスである 日本語 WordNet (Bond, Isahara, Fujita, Uchimoto, Kuribayashi, and Kanzaki 2009)を用いた方法である．２節で述べたように，既存の言い換え研究ではシソーラスなどの特定の言語資源を用 いて言い換えを行う。そこで，本稿では大規模シソーラスである WordNet を用いて，入力され た述部が同じ Synsetに属していれば，同義とみなす方法で同義判定を行った， 2 つ目，3つ目は 分布類似度のみを用いて同義判定を行う手法である. Baseline2 (DistPAVerb- $\theta$ ) は，提案手法の 素性のひとつである項 - 述部と述部単体の分布類似度を用いて, これらが特定の閾値以上の場合 は，正例とみなす方法である. Baseline3 (DistMultiAve- $\theta)^{6}$ は, Yih and Qazvinian (2012)の方法をもとに, 本提案手法で用いた言語資源である大規模コーパスからの分布類似度（項 - 述部と 述部), 辞書定義文を用いた分布類似度, 語彙大系の属性から生成した分布類似度をそれぞれ計算し, その平均値を用いて, 特定の閾値以上のものを正例とみなした. 辞書定義文に関しては,対象の単語の定義文内にある内容語とその出現頻度をべクトルの素性とした. 用言属性に関して は, 対象の単語が持つ用言属性を用いてべクトルを構築した. Baseline 2 と Baseline3 の間値調整 には，提案手法同様に，5 分割交差検定を行い，学習デー夕の $4 / 5$ を用いて $\mathrm{F}$ 値が最大になる閥値を求め, その閾値を用いて残りの $1 / 5$ の評価を行うという方法を 5 回繰り返した. Baseline4〜 Baseline7 は, 本提案手法で提案した特徴である「辞書定義文素性 (Definition-SVM)」,「用言属性素性 (PredClass-SVM)」,「分布類似度素性 (DistPAVerb-SVM)」,「機能表現素性 (Func-SVM)」 それぞれ単体を用いてSVM で同義判定を行う手法である。これらも，5分割交差検定を行う。

$\cdot$ 比較手法
- Baseline1 (WordNet)

日本語 WordNet (Bond et al. 2009) の Synset にあれば「正例」
- Baseline2 (DistPAVerb- $\theta$ )

項 - 述部もしくは述部単体の分布類似度が閾値以上のものを「正例」
- Baseline3 (DistMultiAve-SVM)

大規模コーパス，辞書定義文，用言属性から個別に計算した分布類似度の平均を用いて
^{6}$ Yih and Qazvinian (2012) で提案された複数の類似度の平均値という意味で, Dist(ributional similarity) Multi(model) Ave(rage) と呼ぶ.
}
閾值以上のものを「正例」
- Baseline4 7 (Definition-SVM, PredClass-SVM, DistPAVerb-SVM, Func-SVM)

提案手法の素性単体を用いて SVM で同義判定を行う

評価は, Precision (精度), Recall (再現率), $\mathrm{F}$ 值を用いて行う。なお, 精度の比較には 5 分割交差検定の平均値を用いる.

$\cdot$ 精度評価の指標

$
\begin{aligned}
& \text { Precision }(\text { 精度 })=\frac{\mid \text { 正解の同義の集合へシステムが同義と判別した集合 } \mid}{\mid \text { システムが同義と判別した集合 } \mid} \\
& \text { Recall }(\text { 再現率 })=\frac{\mid \text { 正解の同義の集合 } \cap \text { システムが同義と判別した集合 } \mid}{\mid \text { 正解の同義の集合 } \mid} \\
& \mathrm{F} \text { 值 }=\frac{2 * \text { Precision } * \text { Recall }}{\text { Precision }+ \text { Recall }}
\end{aligned}
$

## 6.3 結果

表 2 が示すように, 提案手法が最も高い $\mathrm{F}$ 値を示した. BL1 (WordNet)の場合, Precision が 0.873 と一番高いが, Recall が 0.331 と一番低い. 一方, Yih and Qazvinian (2012)をもとに複数 の類似度計算の平均を取る BL3 (DistMultiAve- $\theta$ ) の場合, Recall がすべての手法の中で一番高 いものの, Precisionが 0.537 と最も低い値を出しており, 提案手法のように教師あり識別問題と して同義述部の判定を行う事の有効性が確認できた。また，本提案手法の素性を単体で用いる よりも（BL4～BL7），すべての素性を用いた方が精度が高いことから，複数の言語的特徴を組 み合わせた同義判定の有効性が確認できた。なお，比較手法と提案手法との $\mathrm{F}$ 值には $\mathrm{p}<0.01$

表 2 実験結果

で統計的な有意差があった.

次に，どの素性が有効であるかを調べるために，提案手法から各素性を除いた Ablation テス トを行った。すべての素性において，それぞれの素性を抜いた場合に $\mathrm{F}$ 値が低下し，分布類似度と用言属性の素性を抜いた場合には $\mathrm{F}$ 值に統計的な有意差が出た. 特に，分布類似度の素性 を抜いた場合, Precision, Recall, F 值すべてが低下したため, 大規模コーパスから計算した分布類似度が同義判定の素性として一番効果があった。

## 7 考察

同義・類義表現等を集めた大規模シソーラスである日本語 WordNet (Bond et al., 2009)を用 いた場合, 同義まとめ上げの Precision は高いものの (0.873), Recall が低かった (0.331). 実験 で用いたデータは, 提案手法の個々の素性の精度を正確に測るため, 学研国語大辞典と日本語語彙大系に存在し, かつ分布類似度計算の「項 - 述部」の出現頻度 10 以上のデータのみ使用す るという制約を加えた。そのため, 正確な比較は難しいものの, 語彙大系や国語辞書などにエ ントリがある語彙のみを対象にした場合でも, WordNetのような大規模シソーラスの Synsets だけでは，カバーできない同義表現があると考えられる，下記は，BL1 (WordNet) で同義と判定することができなかった同義述部表現の一例である.

(16) a. メモリを一食っている

b. メモリを - 消費している

(17) a. 酒を 一満喫する

b. 酒を一楽しむ

上記の例は，本提案手法では，正しく「同義である」と判別された述部ぺアである.

一方，大規模コーパスから構築した分布類似度計算のみを用いた場合 (BL2 (DistPAVerb- $\theta$ ),

BL3 (DistMultiAve- $\theta$ )), Recall は最も高い值を出したものの，下記のように，「反義述部ペア」 や「時間経過を表す述部ぺア」も高い類似度を出してしまい, Precision が低下してしまった。

（18）分布類似度が閾値以上の反義ペア

a. ハンドルを - 握る

b. ハンドルを－離す

（19）分布類似度が閾値以上の時間経過を表す述部ぺア

a. カレーを - 食べた

b. カレーが - 美味しかった

これらは, 本提案手法では, 正しく「同義ではない」と認識された.
^{7} \mathrm{~F}$ 值の結果をもとに, $\mathrm{t}$ 検定を行った.
}

このように，提案手法では，従来の大規模シソーラスでは同義と判断できなかった幅広い同義の述部を認識しつつ, 同義ではない述部を正しく判別することができた。分布類似度が高い 值を出してしまう反義関係・時間経過を表す述部の識別が，本提案手法で正しく行われたのに は次のような理由があると考えられる。第一に，反義関係の識別に辞書定義文からの素性が効 いた点である，下記の，動詞「握る」の定義文が表すように，辞書定義文には，同義の単語を 使ってその語彙の意味を定義する傾向があるが，反義の単語を使って定義することが少ない.

(20)「握る」の定義文の一例

物をつかんだり持ったりする。

「握る」という単語を別の同義の単語である「つかむ」や類義表現である「持つ」という単語で 表現しており,「離さない事」のように, 反対の意味を表す単語にさらに否定表現をつけて定義 することが少ない。相互補完性や語彙の重なりを特徴としたことで，同義述部を認識するだけ でなく，同義ではない述部を正しく排除することができたと考えられる。

次に, 時間経過を表す述部ぺアも, 本提案手法では正しく「同義ではない」と識別できた。こ れは，抽象的な述部の意味を表す用言属性の重なりを素性として加えたことによるものと考え られる。

（21）時間経過を表す述部ぺアの用言属性

a. 食べた【身体動作】,【状態】

b. 美味しかった【属性】

上記のように，「食べた」と「美味しかった」は時間経過の関係を表す述部ではあるが，同義 の述部と異なり，必ずしも同じ意味属性を持っているとは限らない。そのため, 用言属性にも 重なりがなく，正しく「同義ではない」と判別できたと考えられる.

このように, 提案手法では, WordNetのような大規模シソーラスと同等の Precision を保ちつ つ，Recall をあげることできた。述部の言語構造に関する分析をもとに，複数の言語情報を素性として組み込むことによって, 同義の述部は同義, それ以外の述部は同義ではないと正しく 判別できるようになった.

一方，提案手法でうまく同義と識別できなかった述部ペアは，片方の内容語が「入れる」の ように多義性の高い述部ぺアや，内容語と機能表現の意味の組み合わせを考慮しなくてはいけ ない同義述部ぺアであった。

(22) a. カラオケに - 入れてほしい（入れる＋願望）

b. カラオケに - 参加したい（参加する＋願望）

(23) a. 筆が - 重い

b. 筆が - 進まない（進む＋否定）

（24） a. マンガが - 大好きだ（大好き）

b. マンガに - はまっている（はまる＋継続）
提案手法では, 「否定」や「継続」など機能表現が共有されていると素性として考慮されるが,上記の例のように，片方にのみ特定の機能表現が入ることによって同義になる述部を識別する ことは不可能である．今後は，機能表現の素性の加え方を工夫し，上記のように特定の機能表現をもった述部とのみ同義になるような述部ぺアの同義判定も考慮していきたい。また，本提案手法では項にあたる名詞句は同じ条件での同義判定であるため，「景気が - 冷え込む」と「経済が - 悪化する」のように名詞句が異なる場合の同義判定への適用には，名詞句のまとめ上げ も検討する必要がある，今後は，項が異なる場合の同義判定も考慮し，大規模データからの情報抽出・集計を行うマイニングでの本提案手法の有効性を検討したい。

## 8 結論

本稿では，「メモリを消費している」と「メモリを食っている」の「消費している」と「食って いる」といった内容語と機能表現からなる述部を対象に，異なる 2 つの述部が同義か否かを判定する同義判定手法を提案した。述部の言語構造に着目し, 同義述部を認識するという観点で 必要な特徴を複数の言語的レベルで分析した。これらの分析をもとに，述部の同義判定に「辞書定義文」,「用言属性」,「分布類似度」、「機能表現」という 4 つの言語知識を用いた．実験の 結果，既存の分布類似度のみを用いた手法では判別できなかった反義・時間経過関係の述部を 正しく識別しつつ，大規模シソーラスではカバーできなかった多様な同義述部の識別が可能と なった．さらに，文情報の核を表す述部単体の同義判定だけではなく，「メモリを消費している」 と「メモリを食っている」のように項が加わることで同義となる表現も扱うことが出来るよう になり，テキストに記述されている評判や苦情，ユーザの経験など重要な情報を表す表現の抽出やまとめ上げが可能になると考える。

今後は, これらの同義判定を実際のテキストマイニングアプリケーションに用いることで同義述部まとめ上げの効果を明確にするとともに，本提案手法で考察した複数の言語的特徴を用 いて，反義関係の識別など他の意味関係抽出への適用性を検討したい.

## 参考文献

Bond, F., Isahara, H., Fujita, S., Uchimoto, K., Kuribayashi, T. and Kanzaki, K. (2009). "Enhancing the Japanese WordNet." In Proceedings of the 7th Workshop on Asian Language Resources, in Conjunction with ACL-IJCNLP 2009, pp. 1-8, Singapore.

Chang, C.-C. and Lin, C.-J. (2011). "LIBSVM: A Library for Support Vector Machines." ACM Transactions on Intelligent Systems and Technology (TIST), 2(3), No. 27, pp. 1-27.

Chierchia, G. and McConnell-Ginet, S. (2000). Meaning and Grammar: An Introduction to Se-
mantics (2nd ed). Cambridge, MA: The MIT Press.

Curran, J. R. (2004). From Distributional to Semantic Similarity. Doctoral Dissertation, University of Edinburgh, United Kingdom.

Dagan, I., Lee, L. and Pereira, F. C. N. (1999). "Similarity-Based Models of Word Cooccurrence Probabilities." Machine Learning - Special Issue on Natural Language Learning, 34(1-3), pp. 43-69.

Dowty, D. (1979). Word Meaning and Montague Grammar: The Semantics of Verbs and Times in Generative Semantics and in Montague's PTQ. Dordrecht: D. Reidel.

Firth, J. (1957). "A Synopsis of Linguistic Theory, 1930-1955." Studies in Linguistic Analysis, pp. 10-32.

藤田篤, 乾健太郎 (2001). 語釈文を利用した普通名詞の同概念語への言い換え. 言語処理学会第 7 回年次大会発表論文集, pp. 331-334.

藤田篤, 乾健太郎 (2004). 言い換え技術に関する研究動向. 自然言語処理, 11(5), pp. 151-198.

藤田篤, 降幡建太郎, 乾健太郎, 松本裕治 (2004). 語彙概念構造に基づく言い換え生成一機能動

詞構文の言い換えを例題に。情報処理学会論文誌, 47 (6), pp. 1963-1975.

Hagiwara, M. (2008). "A Supervised Learning Approach to Automatic Synonym Identification based on Distributional Features." In Proceedings of the ACL-08: HLT Student Research Workshop (Companion Volume), pp. 1-6.

Hashimoto, C., Torisawa, K., De Saeger, S., Kazama, J. and Kurohashi, S. (2011). "Extracting Paraphrases from Definition Sentences on the Web." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics, pp. 1087-1097.

池原悟, 宮崎正弘, 白井諭, 横尾昭男, 中岩浩巳, 小倉健太郎, 大山芳史, 林良彦 (1999). 日本語語彙大系 CD-ROM 版. 岩波書店.

今村賢治, 泉朋子, 菊井玄一郎, 佐藤理史 (2011). 述部機能表現の意味ラベルタガー. 言語処理学会第 17 回年次大会発表論文集, pp. 308-311.

Izumi, T., Imamura, K., Kikui, G. and Sato, S. (2010). "Standardizing Complex Functional Expressions in Japanese Predicates: Applying Theoretically-based Paraphrasing Rules." In Proceedings of the Workshop on Multiword Expressions: from Theory to Applications, pp. 6371.

Jackendoff, R. S. (1992). Semantic Structure. Cambridge, MA: The MIT Press.

鍜治伸裕, 河原大輔, 黒橋禎夫, 佐藤理史 (2003). 格フレームの対応付けに基づく用言の言い換之. 自然言語処理, $10(4)$, pp. 65-81.

鍜治伸裕, 黒橋禎夫 (2004). 迂言表現と重複表現の言い換え. 自然言語処理, 11 (1), pp. 83-106.金田一春彦 (1976). 日本語動詞のアスペクト。むぎ書房.
金田一春彦, 池田弥三郎 (1988). 学研国語大辞典 第二版. 学習研究社.

Lee, L. (1999). "Measures of Distributional Similarity." In Proceedings of the 37th Annual Meeting of the Association for Computational Linguistics, pp. 25-32.

Lin, D. (1998). "An Information-Theoretic Definition of Similarity." In Proceedings of the 15th International Conference on Machine Learning, pp. 296-394.

松吉俊, 佐藤理史, 宇津呂武仁 (2007). 日本語機能表現辞書の編纂. 自然言語処理, 14 (5), pp. 123146.

松吉俊, 佐藤理史 (2008). 文体と難易度を制御可能な日本語機能表現の言い換え. 自然言語処理, 15 (2), pp. 75-99.

Narrog, H. (2005). "On Defining Modality Again." Language Sciences, 27(2), pp. 165-192.

那須川哲哉 (2001).コールセンターにおけるテキストマイニング. 人工知能学会誌, 16 (2), pp. 219-225.

Portner, Paul H. (2005). What is meaning?: Fundamentals of formal semantics. Malden, MA: Blackwell.

Ramchand, G. C. (2010). Verb Meaning and the Lexicon: A First-Phase Syntax. New York: Cambridge University Press.

柴田知秀, 黒橋禎夫 (2010). 文脈に依存した述語の同義関係獲得. 情報処理学会研究報告 (IPSJ SIG Technical Report), pp. 1-6.

Szpektor, I. and Dagan, I. (2008). Learning Entailment Rules for Unary Templates. In Proceedings of the 22nd International Conference on Computational Linguistics (Coling 2008), pp. 849856 .

竹内孔一, 乾健太郎, 藤田篤 (2006). 語彙概念構造に基づく日本語動詞の統語・意味特性の記述.影山太郎 (編).レキシコンフォーラム No. 2, pp. 85-120. ひつじ書房.

土屋雅稔, 黒橋禎夫 (2000). MDL 原理に基づく辞書定義文の圧縮と共通性の発見. 情報処理学会自然言語処理研究会 (NL-140-7), pp. 47-54.

Turney, P. (2008). "A Uniform Approach to Analogies, Synonyms, Antonyms and Associations." In Proceedings of the 22nd International Conference on Computational Linguistics, pp. 905912 .

Turney, P., Littman, M., Bigham, J. and Shnayder, V. (2003). "Combining Independent Modules to Solve Multiple-choice Synonym and Analogy Problems." In Proceedings of the International Conference on Recent Advances in Natural Language Processing, pp. 482-489.

Weisman, H., Berant, J., Szpektor, I. and Dagan, I. (2012). "Learning Verb Inference Rules from Linguistically-Motivated Evidence." In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language

Learning, pp. 194-204.

Yih, W. and Qazivinian, V. (2012). "Measuring Word Relatedness Using Heterogeneous Vector Space Models." In Proceedings of 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 616-620.

## 略歴

泉 朋子：2005 年北海道教育大学国際理解教育課程卒業, 2007 年ボストン大学大学院人文科学部応用言語学科修了, 2008 年日本電信電話株式会社入社.現在, NTT メディアインテリジェンス研究所研究員, 京都大学大学院情報学研究科博士後期課程在学. 自然言語処理研究開発に従事. 言語処理学会会員.

柴田 知秀：2002 年東京大学工学部電子情報工学科卒業, 2007 年東京大学大学院情報理工学系研究科博士課程修了. 博士 (情報理工学). 京都大学大学院情報学研究科特任助教を経て, 2009 年より同助教, 現在に至る. 自然言語処理 の研究に従事. 言語処理学会, 情報処理学会, 各会員.

齋藤 邦子：1996 年東京大学理学部化学科卒業, 1998 年同大学院修士課程修了,同年日本電信電話株式会社入社. 現在, NTTメディアインテリジェンス研究所主任研究員. 自然言語処理研究開発に従事. 言語処理学会, 情報処理学会,各会員.

松尾 義博: 1988 年大阪大学理学部物理学科卒業, 1990 年同大大学院研究科博士前期課程修了, 同年日本電信電話株式会社入社. 現在, NTTメディアイン テリジェンス研究所主幹研究員. 機械翻訳, 自然言語処理の研究に従事. 情報処理学会, 言語処理学会, 各会員.

黒橋 禎夫：1994 年京都大学大学院工学研究科電気工学第二専攻博士課程修了.博士 (工学). 2006 年 4 月より京都大学大学院情報学研究科教授. 自然言語処理, 知識情報処理の研究に従事. 言語処理学会 10 周年記念論文賞等を受賞.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 冗長性制約付きナップサック問題に基づく複数文書要約モデル

本論文では，複数文書要約を壳長性制約付きナップサック問題として捉える。この 問題に基づく要約モデルは, ナップサック問題に基づく要約モデルに対し, 壳長性 を削減するための制約を加えることで得られる。この問題は NP 困難であり, 計算量が大きいことから, 高速に求解するための近似解法として, ラグランジュヒュー リスティックに基づくデコーディングアルゴリズムを提案する． ROUGE に基づく 評価によれば, 我々の提案する要約モデルは, モデルの最適解において, 最大被覆問題に基づく要約モデルを上回る性能を持つ。要約の速度に関しても評価を行い,我々の提案するデコーディングアルゴリズムは最大被覆問題に基づく要約モデルの 最適解と同水準の近似解を, 整数計画ソルバーと比べ 100 倍以上高速に発見できる ことがわかった。

キーワード : 自動要約, 複数文書要約, ナップサック問題, 最大被覆問題, ラグランジュ緩和
## Multi-Document Summarization Model Based on Redundancy-Constrained Knapsack Problem

\author{
Hitoshi Nishikawa ${ }^{\dagger, \dagger}$, Tsutomu Hirao ${ }^{\dagger \dagger}$, Toshiro Makino ${ }^{\dagger}$, \\ Yoshihiro Matsuo $^{\dagger}$ and Yuji Matsumoto ${ }^{\dagger \dagger}$
}

In this study, we regard multi-document summarization as a redundancy-constrained knapsack problem. The summarization model based on this formulation is obtained by adding a constraint that curbs redundancy in the summary to a summarization model based on the Knapsack problem. As the redundancy-constrained knapsack problem is an NP-hard problem and its computational cost is high, we propose a fast decoding method based on the Lagrange heuristic to quickly locate an approximate solution. Experiments based on ROUGE evaluation show that our proposed model outperforms the state-of-the-art text summarization model, the maximum coverage model, in finding the optimal solution. We also show that our decoding method finds a good approximate solution, which is comparable to the optimal solution of the maximum coverage model, more than 100 times faster than an integer linear programming solver.

Key Words: Automatic Summarization, Multi-Document Summarization, Knapsack Problem, Maximum Coverage Problem, Lagrange Relaxation

## 1 はじめに

現在の自動要約の多くは文を単位にした処理を行っている (奥村，難波 2005). 具体的には， まず入力された文書集合を文分割器を用いて文集合に変換する。次に，文集合から，要約長を 満たす文の組み合わせを, 要約としての善し悪しを与える何らかの基準に基づいて選び出す.最後に，選び出された文に適当な順序を与えることによって要約は生成される.

近年では, 複数文書の自動要約は最大被覆問題の形で定式化されることが多い (Filatova and Hatzivassiloglou 2004; Yih, Goodman, Vanderwende, and Suzuki 2007; 高村, 奥村 2008; Gillick and Favre 2009; Higashinaka, Minami, Nishikawa, Dohsaka, Meguro, Kobashikawa, Masataki, Yoshioka, Takahashi, and Kikui 2010; 西川, 長谷川, 松尾, 菊井 2013). これは, 入力文書集合 に含まれる単語のユニグラムやバイグラムといった単位を，与えられた要約長を満たす文の集合によってできる限り被覆することによって要約を生成するものである. 最大被覆問題に基づ 〈要約モデル ${ }^{1}$ (以降, 最大被覆モデルと呼ぶ）は, 複数文書要約において問題となる要約の冗長性をうまく取り扱うことができるため，複数文書要約モデルとして高い能力を持つことが実証されている (高村，奥村 2008; Gillick and Favre 2009)。しかし，その計算複雑性は NP 困難 である (Khuller, Moss, and Naor 1999) ため, 入力文書集合が大規模になった場合, 最適解を求 める際に多大な時間を要する恐れがある。本論文で後に詳述する実験では, 30 種類の入力文書集合を要約するために 1 週間以上の時間を要した。平均すると，1つの入力文書集合を要約す るために 8 時間以上を要しており，これではとても実用的とは言えない.

一方，ナップサック問題として自動要約を定式化した場合，動的計画法を用いることで擬多項式時間で最適解を得ることができる (Korte and Vygen 2008; 平尾, 鈴木, 磯崎 2009b). ナッ プサック問題に基づく要約モデル（以降, ナップサックモデルと呼ぶ）では，個別の文に重要度を与え, 与えられた要約長内で文の重要度の和を最大化する問題として自動要約は表現され る.この問題は個別の文にスコアを与え, 文のスコアの和を最大化する形式であるため, 要約 に含まれる壳長性が考慮されない。そのため, 最大被覆モデルとは異なり冗長な要約を生成す る恐れがある。

最大被覆モデルとナップサックモデルを比較すると, 前者は複数文書要約モデルとして高い 性能を持つものの求解に時間を要する。一方, 後者は複数文書要約モデルとしての性能は芳し くないものの高速に求解できる.

本論文では，このトレードオフを解決する要約モデルを提案する。本論文の提案する要約モ デルは，動的計画法によって擬多項式時間で最適解を得られるナップサック問題の性質を活か

表 1 冗長性制約付きナップサックモデルの優位性

しつつ，要約の朵長性を制限する制約を陽に加えたものである，以降，本論文ではこの複数文書要約モデルを壳長性制約付きナップサックモデルと呼ぶことにする.

冗長性を制限する制約をナップサックモデルに加えることで冗長性の少ない要約を得ること ができるが, 再び最適解の求解は困難となるため, 本論文では, ラグランジュヒューリスティッ ク (Haddadi 1997; Umetani and Yagiura 2007) を用いて壳長性制約付きナップサックモデルの 近似解を得る方法を提案する。 ラグランジュヒューリスティックはラグランジュ緩和によって 得られる緩和解から何らかのヒユーリスティックを用いて実行可能解を得るもので, 集合被覆問題において良好な近似解が得られることが知られている (Umetani and Yagiura 2007).

本論文の貢献は, 新しい要約モデル（㔯長性制約付きナップサックモデル）の開発, および 当該モデルに対する最適化手法の提案（ラグランジュヒューリスティックによるデコーディン グ）の両者にある. 艺長性制約付きナップサックモデルの, 最大被覆モデルおよびナップサッ クモデルに対する優位性を表 1 に示す。提案する要約モデルを提案する最適化手法でデコード することで, 最大被覆モデルの要約品質を, ナップサックモデルの要約速度に近い速度で得る ことができる.

以下， 2 節では関連研究について述べる。 3 節では提案する要約モデルについて述べる. 4 節 では，デコーディングのためのアルゴリズムについて述べる。 5 節では提案手法の性能を実験 によって検証する。 6 節では本論文についてまとめる.

## 2 関連研究

複数文書要約においては，要約の冗長性に対する対処が重要な課題の 1 つである (奥村，難波 2005). 複数の文書から 1 つの要約を生成する際に, 複数の文書が類似する情報を含んでいると きには，類似する情報がいずれも要約に含まれる恐れがある．複数文書要約の目的を鑑みると，類似する情報が要約に 2 度含まれることは好ましくないため, この問題に対処する必要がある.

この冗長性に対する対処として, Filatova らによって最大被覆問題による要約モデルが提案 された (Filatova and Hatzivassiloglou 2004)。最大被覆問題による要約モデルは文の集合と要約長を入力とする．集合中の文はそれぞれ何らかの概念を含んでおり，この概念はその性質に応 じて重要度を持っている。概念はユニグラムやバイグラムなど, 文から抽出できる何らかの単
位である。また，文はそれぞれその単語数や文字数に応じて，長さを持っている．最大被覆問題の最適解は，合計の長さが要約長を超えない文の集合のうち，集合中の文が持っている概念 の重要度の和が最大となるものである。ただし，文の集合に含まれる概念の重要度の和を計算 するときには，同じ概念は一度しか数えない，例えば，文の集合にある概念が 3 つ含まれてい たとしても，最大被覆問題においては，文の集合に含まれる概念の重要度の和は，その概念が 1 つしか含まれないときと同じである.

複数文書の要約を最大被覆問題として考えた場合, 同じ概念は一度しか数えないという性質 が重要な役割を果たす。すなわち, 文が含む概念を情報とすると, 同じ情報を 3 つ含んだ要約 も同じ情報を 1 つ含んだ要約も解としての良さは同じであり，よりよい解はより多様な情報を 含んだ解である.

このような, 多様な情報を含んだ解がより良好な解であるという最大被覆問題の性質は, 複数文書要約に必要なモデルの性質として適切であり，これまで最大被覆問題に基づいた要約モ デルがいくつも提案されてきた. Filatova らは単語を概念として, 重要度を tf-idfで与え, これ を貪欲法 (Khuller et al. 1999) で解いた. Yih らはスタックデコーダ (Jelinek 1969) を用いてこ れを解いた (Yih et al. 2007). 高村らはこれに整数計画問題としての厳密な定式を与え, 近似解法と分枝限定法による結果を報告した (高村, 奥村 2008). Gillick らも同様に整数計画問題と しての定式を与え結果を報告した (Gillick and Favre 2009). これらは全て新聞記事を要約の対象としているが，他の領域を対象にした複数文書要約も行われている。東中らはコンタクトセ ンタログを要約の対象として, 発話を文, 発話に含まれる単語を概念とする要約モデルを提案 した (Higashinaka et al. 2010). 西川らはレビュー文書集合を要約の対象として, 商品やサービ スに対して評価を行っている記述を概念の単位とする複数文書要約モデルを提案した (西川他 2013).

最大被覆問題は NP 困難である (Khuller et al. 1999) ため, 解の探索が重要な課題である。貪欲法のような単純な探索法を用いた場合，良好な解を得られる可能性は必ずしも高くないもの の, 高速に解を得られる. Khuller らによって提案された貪欲法による最大被覆問題の解は, 最悪でも最適解の目的関数値の $(1-1 / e) / 2$ を達成する (Khuller et al. 1999). 高村らはこれを複数文書要約に応用して結果を報告している (高村, 奥村 2008). スタックデコーダのようなより 複雑な探索法を用いることによってより良好な解を得られる可能性が高まるが, 探索に要する 時間も増加する。分枝限定法を用いることで最適解を得ることができるものの, 問題の規模が 増加するにつれて探索に要する時間は著しく増加する.

単一文書要約に目を向けると, 単一文書要約は冗長性が問題となる恐れが少ないため, 兮長性を加味しない手法を利用することができる，単一文書要約は，ナップサック問題として定式化できる (McDonald 2007; 平尾 他 2009b). ナップサック問題による要約モデルも文の集合と 要約長を入力とする。最大被覆問題と異なり，ナップサック問題はそれぞれの文が直接重要度

を持っている.ナップサック問題の最適解は, 合計の長さが要約長を超えない文の集合のうち,集合を構成する文の重要度の和が最大となるものである.ナップサック問題の最適解は動的計画法の一種である動的計画ナップサックアルゴリズムによって擬多項式時間で求めることがで きる (Korte and Vygen 2008). そのため, ナップサック問題の最適解は高速に求めることがで きる。しかし，ナップサック問題は文に対して直接重要度を定義し，その和を最大化するもの であるため，壳長性を削減する仕組みを持たない。従って，複数文書要約に適用した場合，䒕長な要約が生成される恐れがある.

先に述べたように，最大被覆問題は複数文書要約に適した性質を持っているものの，良好な 解の探索には多大な時間を要する。一方，ナップサック問題は複数文書要約に適さないものの,最適解の探索は容易である。本論文で提案する方法は, このトレードオフを解決するため, ナッ プサック問題に対して冗長性を削減する制約を加えたものである.

## 3 最大被覆モデルとナップサックモデル

ここでは最大被覆問題に基づいた要約モデル, 最大被覆モデルと, ナップサック問題に基づ いた要約モデル, ナップサックモデルを比較する.

## 3.1 最大被覆モデル

$n$ 文の入力および，それらに含まれる $m$ 個の概念を考える。概念は先に述べたよう単語のユ ニグラムやバイグラムなどであるが，文中から抽出できる他の何らかの情報でもよい． $\mathrm{x}$ を文 $i$ が要約に含まれる際に $x_{i}=1$ となる決定変数を要素とするべクトルとする. $\mathbf{z}$ を概念 $j$ が要約 に含まれる際に $z_{j}=1$ となる決定変数を要素とするべクトルとする． $\mathbf{w}$ を概念 $j$ の重要度 $w_{j}$ を要素とするべクトルとする．行列 A の要素 $a_{j, i}$ を文 $i$ に含まれる概念 $j$ の数とする. l を文 $i$ の長さ $l_{i}$ を要素とするべクトルとする． $K$ を要約長とする．このとき，最大被覆問題は以下 のように定式化される。

$
\begin{array}{ll}
\max _{\mathbf{z}} & \mathbf{w}^{\top} \mathbf{z} \\
\text { s.t. } & \mathbf{A x} \geq \mathbf{z} \\
& \mathbf{x} \in\{0,1\}^{n} \\
& \mathbf{z} \in\{0,1\}^{m} \\
& \mathbf{l}^{\top} \mathbf{x} \leq K
\end{array}
$
式 (1) が目的関数であり, 式 $(2)^{2}$ から 式 (5) が制約である. 式 (4) が示すように $\mathbf{z}$ の要素は 0 あるいは 1 である. もし概念 $z_{j}$ が要約に含まれれば, $z_{j}=1$ となり, その重要度 $w_{j}$ は目的関数に加算される。可能であれば全ての概念を要約に含めたいが，要約長の制限によってはそ れは許されない，式 $(2)$ が示すように，概念 $z_{j}$ を要約に含めるためには， $z_{j}$ を含むいずれか の文が要約として選択されていなければならない. 仮に文 $x_{i}$ が要約に含まれた場合, 式 (5)の 左辺の値は $l_{i}$ だけ増える。式 (5) によって要約として選択された文の長さの合計は $K$ を超え ることが許されない. 式 (3) の示すように $\mathrm{x}$ の要素は 0 あるいは 1 である. このことは 1 つの 文は一度しか要約に含めないことを示す。

これらのことから, 最大被覆モデルの最適解は, 要約長を満たす文の組み合わせを全て試し,全ての組み合わせに対して $\mathbf{z}$ を計算し， $\mathbf{w}$ とかけあわせ，かけあわせた値が最大となる文の組 み合わせを探し出せば見つけられるとわかる。しかし，一部の組み合わせは要約長を満たさな

することは困難である。

## 3.2 ナップサックモデル

次に，ナップサック問題に目を向けることにする． $\mathbf{x}$ を文 $i$ が要約に含まれる際に $x_{i}=1$ と なる決定変数を要素とするべクトルとする。 $\mathbf{z}$ を概念 $j$ が要約に含まれる際に $z_{j}=1$ となる 決定変数を要素とするべクトルとする。上述した最大被覆モデルと同様の記法に従ってナップ サックモデルを記述すると以下のようになる.

$
\begin{array}{cl}
\max _{\mathbf{z}} & \mathbf{w}^{\top} \mathbf{z} \\
\text { s.t. } & \mathbf{A x}=\mathbf{z} \\
& \mathbf{x} \in\{0,1\}^{n} \\
& \mathbf{z} \in\left(\mathbb{N}^{0}\right)^{m} \\
& \mathbf{l}^{\top} \mathbf{x} \leq K
\end{array}
$

ここで， $\mathbb{N}^{0}$ は， 0 を含む， 0 以上の自然数である. 目的関数である式 (6), 1 つ文は一度し か要約に含めないとする制約である式 (8), 要約の長さに関する制約である式 (10) は最大被覆 モデルと変わらないものの, 式 (2) と式 (7), 式 (4) と式 (9) がそれぞれ異なる.

式 (4) ではべクトル z は 0 と 1 を要素とするべクトルであったが, 式 (9) ではべクトル $\mathbf{z}$ は 0 以上の自然数を要素とするべクトルである．最大被覆モデルでは要約に同じ概念が何個含ま
$ と $\mathbf{b}$ に大小関係 $\mathbf{a} \geq \mathbf{b}$ が成り立つのは, ベクトル $\mathbf{a}$ の要素 $a_{i}$ とべクトル $\mathbf{b}$ の 要素 $b_{i}$ に $a_{i} \geq b_{i}(\forall i)$ が成り立つときとする.
}

れていようともそれぞれの概念について目的関数において一度しかその重要度を加算しなかっ た. それに対してナップサックモデルでは要約に同じ概念が複数含まれていた場合その数だけ 重要度を目的関数において加算する。この性質のため, ナップサックモデルを用いて複数文書要約を行った場合には冗長な要約ができる可能性が高く，したがって，ナップサックモデルの 複数文書要約における性能は芳しいものではない.

式 (7) は，式 (2) と異なり，文が含む概念の数をそのままべクトル $\mathbf{z}$ に反映させる．例え ば，文 1 は概念 5 を 2 つ含むとすると， $a_{5,1}=2$ である。文 2 は概念 5 を 1 つ含むとすると， $a_{5,2}=1$ である. 文 1 と文 2 のいずれもが要約に選ばれたとすると（すなわち $x_{1}=1, x_{2}=1$ ）,式 (7) から, $z_{5}=a_{5,1} \times x_{1}+a_{5,2} \times x_{2}=2 \times 1+1 \times 1=3$ となり概念 5 は要約に 3 つ含まれる ことになる.

## 4 冗長性制約付きナップサックモデル

## 4.1 ナップサックモデルへの冗長性制約の付与

前節で述べたように，最大被覆問題が冗長性に強い理由は式 (4) にあり，ナップサックモデ ルが冗長性に弱い理由は式 (9) であった。 そこで，式 (9) に工夫を施すことでナップサックモ デルの宇長性を抑制することを考える。すなわち，ある単語が要約に含まれる回数を直接制御 することで，ナップサックモデルの冗長性を削減する。本論文の主たる貢献はここにある.

$
\begin{array}{ll}
\max _{\mathbf{z}} & \mathbf{w}^{\top} \mathbf{z} \\
\text { s.t. } & \mathbf{A} \mathbf{x}=\mathbf{z} \\
& \mathbf{x} \in\{0,1\}^{n} \\
& \mathbf{z} \in\left.\{z_{j} \mid \mathbb{N}^{0} \cap\left[0, r_{j}\right]\right.\}^{m} \\
& \mathbf{l}^{\top} \mathbf{x} \leq K
\end{array}
$

式 (14) は, ベクトル $\mathrm{z}$ の各要素は 0 以上 $r_{j}$ 以下の自然数であることを示す. すなわち, 各概念が要約に含まれてよい個数を制限するべクトル $\mathbf{r}=\left(r_{1}, r_{2}, \ldots, r_{m}\right)$ を考え，これによって 要約の艺長性を削減する。本論文では式 (11) から式 (15) で記述される要約モデルを壳長性制約付きナップサックモデルと呼ぶ.

このモデルは最大被覆モデルと等価ではない，最大被覆モデルは，要約に概念が複数含まれ ることを許す。ただし，目的関数を計算する上では 1 つの概念の重要度は一度しか加えない。 それに対し，壳長性制約付きナップサックモデルは，ある概念が要約に含まれる数を直接制限

する ${ }^{3}$.

上に述べた例と同じように, 文 1 は概念 5 を 2 つ含み $\left(a_{5,1}=2\right)$, 文 2 は概念 5 を 1 つ含 むとする $\left(a_{5,2}=1\right)$. このとき $r_{5}=2$ であったとすると, 文 1 と文 2 を同時に要約に含めるこ とはできない，概念 5 は要約には 2 つしか含めることができないが，文 1 と文 2 いずれも要約 に含めてしまうと要約には概念 5 が 3 つ含まれてしまうからである．最大被覆モデルでは，長 さの制約に違反しない限り，このような組み合わせも許される。一方，朵長性制約付きナップ サックモデルでは式 (14) が示す制約を違反する組み合わせは許されない.

ナップサックモデルに式 (14) が示す冗長性に関する制約（以下，㔯長性制約と呼ぶ）を加え ることで冗長性を削減することができるが，動的計画ナップサックアルゴリズムで擬多項式時間で最適解を求めることはできなくなる 4 . 穴長性制約付きナップサックモデルを動的計画法で 解くことは可能だが5, 宇長性制約を考慮するためには，探索の過程において，ある時点での要約に含まれる概念の数を記録しておかなけれげならない。ある時点において要約に含まれる概念の数の組み合わせは複数存在するため, これによって探索空間が増大してしまい, 素早い求解ができなくなる.

## 4.2 几長性制約のラグランジュ緩和

この冗長性制約付きナップサックモデルからて長性制約を除去すれば，元のナップサックモ デルが得られる。そこで，この壳長性制約をラグランジュ緩和 (Korte and Vygen 2008) する。以下は，式 (14)を緩和し， ベクトル $\mathbf{r}$ による宇長性制約を目的関数に組み込んだものである.

$
\begin{array}{ll}
\max _{\mathbf{z}} & \mathbf{w}^{\top} \mathbf{z}+\boldsymbol{\lambda}(\mathbf{r}-\mathbf{z}) \\
\text { s.t. } & \mathbf{A x}=\mathbf{z} \\
& \mathbf{x} \in\{0,1\}^{n} \\
& \mathbf{z} \in\left(\mathbb{N}^{0}\right)^{m} \\
& \boldsymbol{\lambda} \in\left(\mathbb{R}^{+}\right)^{m} \\
& \mathbf{l}^{\top} \mathbf{x} \leq K
\end{array}
$

$\boldsymbol{\lambda}=\left(\lambda_{1}, \lambda_{2}, \ldots, \lambda_{m}\right)$ は非負のラグランジュ乗数ベクトルである. 式 (16) から式 $(21)$ は, 目的関数である式 (16) の 2 つ目の項 $\boldsymbol{\lambda}(\mathbf{r}-\mathbf{z})$ および式 (20) を除いてナップサックモデルと同じ
$ を通じて排他的な制約が与えられているものとみなすと，㔯長制約付きナップサック モデルは，排他制約付きナップサックモデル（Yamada, Kataoka, and Watanabe 2002) とみなせる。，例えば，上 に述べた文 1 と文 2 は概念 5 のためにいずれか一方しか要約に含めることができないという制約は， $x_{1}+x_{2} \leq 1$ と記述することができる。

4 正確には， $n$ に関しては擬多項式時間であるが， $m$ に関しては指数時間となるため, 素早い求解ができない.

5 もちろん, 穴長性制約付きナップサックモデルを整数計画ソルバーで解くことも可能である. 本論文では, 兮長性制約付きナップサックモデルを整数計画ソルバーで解くことでその最適解を求める.
}

である。このラグランジュ緩和問題は, 要約に含まれる概念 $j$ の個数 $z_{j}$ が $r_{j}$ を超えた際に,非負のラグランジュ乗数 $\lambda_{j}$ を通じて目的関数に罰を与える，例えば，あるとき，概念 5 が要約に 3 つ含まれている $\left(z_{5}=3\right)$ が, ベクトル $\mathbf{r}$ によって要約に 2 つまでしか含めてはならない と制限されている $\left(r_{5}=2\right)$ とする。また，ラグランジュ乗数 $\lambda_{5}$ が 1 だったとする. このとき $\lambda_{j}\left(r_{5}-z_{5}\right)=1(2-3)=-1$ となり, 目的関数は低下する. $\boldsymbol{\lambda}$ の調整は, この緩和問題のラグ ランジュ双対問題 $L(\boldsymbol{\lambda})=\min _{\lambda}\left.\{\max _{\mathbf{z}} \mathbf{w}^{\top} \mathbf{z}+\boldsymbol{\lambda}(\mathbf{r}-\mathbf{z})\right.\}$ を解くことで行う.

このように， $\lambda$ を適切に調整し, 壳長性の原因となりやすい概念の重要度を低下させること で，動的計画ナップサックアルゴリズムによって元のナップサックモデルを解いた際でも複数文書要約として良好な解を得ようとするのが本論文の提案である。具体的なデコーディングの 方法については次節で述べる.

## 5 デコーディング

デコーディングで必要になるのは，ラグランジュ乗数ベクトル $\boldsymbol{\lambda}$ の値を適切に設定すること である．入の值が適切に設定されていれば，あとはそれを動的計画ナップサックアルゴリズム で解くだけでよい． $\lambda$ は前節で述べたラグランジュ双対問題を解くことで得られる。このラグ ランジュ双対問題は最小化の中に最大化が入れ子になっており, 最適化が困難であるものの, 劣勾配法 (Korte and Vygen 2008) を用いると良好な近似解が高速に得られることが知られている (Umetani and Yagiura 2007). 劣勾配法は, 初期値として適当な $\boldsymbol{\lambda}$ を設定し， $\boldsymbol{\lambda}$ の値を繰り返 し更新していくものである.

このとき, 一度にどの程度 $\lambda_{j}$ の値を動かすか, という点が問題となる. 一度に大きく値を動 かせばデコーディングに要する時間が短くなると考えられるものの, 最適解から離れてしまう 可能性もある。そこで，本論文ではラグランジュヒューリスティック (Haddadi 1997)を利用す る。 ラグランジュヒューリスティックは，ラグランジュ乗数を更新するとき，上界と下界の差 を利用してステップサイズを調整する。また，下界を計算する際に，ヒューリスティックを利用する.

上界はある反復におけるラグランジュ緩和問題の解である。壳長性制約が緩和されているた め, 穴長性制約付きナップサックモデルの緩和問題の最適解の目的関数値は, 明らかに緩和さ れていない元問題の最適解の目的関数値より高い. 劣勾配法によってラグランジュ乗数を更新 していく過程で，ラグランジュ緩和問題の解は，制約に違反している解，すなわち実行不能解 から，徐々に目的関数值を低下させながら実行可能解に近づいてい。

下界はなんらかのヒューリスティックによって得られる実行可能解である。本論文では, Haddadi による方法 (Haddadi 1997) と同様に，貪欲法 (Khuller et al. 1999)を用いて実行可能解を復元する。詳細については次節で述べる。

ラグランジュヒューリスティックによるデコーディングの具体的なアルゴリズムを Algorithm 1 に示す. Algorithm 1 の基本的な手順は以下のようになる.

(1) ラグランジュ乗数ベクトル $\boldsymbol{\lambda}$ を適当な値に初期化する.

（2）以下の手続きを既定回数だけ繰り返す.

(a) 動的計画ナップサックアルゴリズムで式 の最適解を得る.

（b）ａで得た最適解が制約を満たしているときはそれを下界とし，(3)へ，そうでなけ ればヒューリスティックを用いて実行可能解を得る.

（c）bで得た実行可能解がこれまでの下界を上回るものであれば，下界を更新する。

(3) 下界を出力して終了する.

$\alpha$ は $\boldsymbol{\lambda}$ のステップサイズを調整するパラメータである. ベクトル $\mathrm{s}=\left(s_{1}, s_{2}, \ldots, s_{n}\right)$ の要素 $s_{i}$ は文 $i$ の重要度をあらわす。各文の重要度は関数 sentence によって計算される。関数 $d p k p$ は動的計画ナップサックアルゴリズムである. 動的計画ナップサックアルゴリズムの詳細は Algorithm 2 に示す. $b_{l}$ と $b_{u}$ はそれぞれ目的関数の下界と上界である. これらは $\boldsymbol{\lambda}$ のス テップサイズの調整に利用される。関数 score は要約 $\mathbf{x}$ の重要度を計算する. 関数 count は要約 $\mathrm{x}$ に含まれる概念の数 $\mathbf{z}$ を返す. $\mathbf{x}_{l}$ は下界 $b_{l}$ に対応する解である.

ラグランジュ緩和問題の劣勾配ベクトル $\mathbf{d}=\left(d_{1}, d_{2}, \ldots, d_{m}\right)$ は以下のようになる.

$
d_{j}=r_{j}-z_{j}
$

ラグランジュ緩和された集合被覆問題に対する Umetani らの更新式に基づき (Umetani and Yagiura 2007), ラグランジュ乗数は以下の更新式によって更新する.

$
\lambda_{j}^{\text {new }} \leftarrow \max \left(\lambda_{j}^{\text {old }}+\alpha \frac{b_{u}-b_{l}}{\|\mathbf{d}\|^{2}}\left(z_{j}-r_{j}\right), 0\right)
$

$\alpha$ は更新幅を調整するパラメータである。更新式の基本的な考え方は, 上界 $b_{u}$ と下界 $b_{l}$ の 差が大きい際には更新幅を大きくしつつ, 劣勾配べクトルに従ってラグランジュ乗数を更新し ていくというものである.

## 5.1 貪欲法による実行可能解の復元

ラグランジュヒューリスティックは, 実行不能解から実行可能解を何らかのヒューリスティッ クを用いて復元するものである。本論文では，以下の手続きで実行可能解を復元する.

(1) 制約に違反している概念を含む文のうち，最も重要度が低いものを要約から除去する。

（2）要約がまだ制約を満たさない場合は (1)へ，要約が制約を満たした場合は，要約に含ま れていない文と, 要約長 $K$ と制約を満たした要約の長さの差から, 部分問題を生成し, これを貪欲法で解く。

例えば，要約長が 300 文字であったとする。制約に違反する文を除去し，制約を満たした要約の長さが 200 文字だったとすると， 100 文字分まだ要約に文を含めることができる。そこで， まだ要約に含まれていない文を，100 文字分，貪欲法 (Khuller et al. 1999) を用いて要約に含め ることで，実行可能解を求める.

## 5.2 動的計画ナップサックアルゴリズム

ナップサックモデルのデコーディングは動的計画ナップサックアルゴリズムを用いて行う.具体的なアルゴリズムは Algorithm 2 に示す.

動的計画ナップサックアルゴリズムでは， $(n+1) \times(K+1)$ 次元の表 $T$ と $U$ を用意し，こ れに計算の過程を保存していく。表 $T$ の要素 $T[i][k]$ は，文 1 から文 $i$ までが与えられており，最大要約長が $k$ であったときのナップサックモデルの最適解の目的関数値を格納している。表 $U$ の要素 $U[i][k]$ は， $T[i][k]$ の値を計算する際に，すなわちその時点での最適値を計算する際に 文 $i$ を要約に利用している場合は 1 , そうでない場合は 0 を格納している。すなわち， $T[n][K]$ まで計算し終わった時点で，最大要約長が $K$ で文 1 から文 $n$ までが使われた場合にどの文が 要約に含まれるか表 $U$ に格納されている。そのため, $U[n][K]$ まで表を埋めたのち, $U[n][K]$ に到達するまでの過程を逆にたどることで，ナップサックモデルの最適解を得ることができる。

## 6 実験

本節では提案した手法の性能を評価した結果について報告する. 本節では, 6.1 で述べる手法 を用いて, 6.2 で述べる文書集合を要約し, 生成された要約を 6.3 で述べる評価手法で評価す る. 6.1 で述べる手法が必要とするパラメータの設定については 6.4 で述べる。結果とその考察については 6.5 で述べる.

## 6.1 比較手法

以下の手法を比較した。

（1） RCKM 提案手法. 兮長性制約付きナップサックモデルを整数計画ソルバーを用いて デコードしたもの. 艺長性制約付きナップサックモデルの最適解における性能を示す.

ソルバーは lp_solve ${ }^{6}$ を用いた 7 .

（2） RCLM-LH 提案手法. 宇長性制約付きナップサックモデルを本論文で提案するラグ ランジュヒューリスティックを用いてデコードしたもの．提案するデコーディングアル ゴリズムによって得られる近似解の性能を示す.

(3) MCM ベースライン。最大被覆モデルをソルバーを用いてデコードしたもの.

（4） MCM-GR ベースライン。最大被覆モデルを貪欲法を用いてデコードしたもの.

（5） KM年、スライン。ナップサックモデルを動的計画ナップサックアルゴリズムでデ コードしたもの.

（6）ＨUMAN 達成しうる性能の上限を調べるため, 複数の参照要約を用いて, 性能の上限を求める. 6.2 節で述べるコーパスのうち, レビューコーパスは 1 つの評価セットに 対して 4つの参照要約が付与されているため, 参照要約同士を比較することで性能の上限を示すことが可能である．4つの参照要約があるため，それらの 6 つの組み合わせの うち, 6.3 節で述べる評価尺度 ROUGE の値が最も高いものを性能の上限として採用す る 8 . なお， 6.2 節で述べるコーパスのうち， TSC-3 は 1 つの評価セットに対して 1 つの 参照要約しか付与されていないため，これを計算できるのはレビューのみである.

RCKM-LH，MCM-GR および KM のデコーダは Perl で実装した．全てのプログラムは Intel Xeon X5560 (Quad Core) $2.8 \mathrm{GHz}$ CPU を 2 つ, $64 \mathrm{G}$ バイトのメモリを搭載した計算機上で動作させた.

## 6.2 コーパス

上の手法を以下の 2 種類のコーパスによって評価した。

(1) TSC-3 TSC-3 コーパス (Hirao, Fukushima, Okumura, Nobata, and Nanba 2004)は自動要約のシェアード・タスク Text Summarization Challenge 39 で用いられたコーパスで,複数文書要約の評価セットを含む。要約の対象となる文書は新聞記事であり, 記事は毎日新聞および読売新聞から収集されている。それぞれの評価セットは企業買収やテロな ど特定のトピックに関する新聞記事から構成されている。評価セットは 30 セットからな る. 1 セットは新聞記事 10 記事前後からなり，1つの評価セットに含まれる記事の文字数の和は平均して約 6,564 文字である。評価セット全体では 352 記事 3,587 文が含まれ る。それぞれの評価セットに対しては人間の作業者が短い要約と長い要約の 2 種類の参照要約を付与している. Hirao らによれば, 参照要約の付与に際し, 作業者は要約の対象

表 2 評価に用いたコーパスの統計量

平均記事数, 平均文数, 平均文字数は全て 1 つの評価セットあたりの数である.

となる記事を全て読んだのち，当該記事集合にふさわしい要約を作成した (Hirao et al. 2004). 短い要約は平均して約 413 文字であり, 要約率 10 にして約 $6 \%$, 長い要約は平均

価を行った，評価セットごとに参照要約の長さが異なるため，要約を生成する際には参照要約と同じ長さを要約長として与え要約を生成した。すなわち，本コーパスを用いた 際には，平均として，約 12 記事からなる約 6,564 文字の記事集合を入力とし，約 413 文字の要約を生成する，要約率約 $6 \%$ の要約タスクとなる。

（2）レビュー新聞記事とは異なるドメインで提案する要約モデルを評価するため, レビュー 記事を用いて評価を行った。インターネット上のレビューサイトから飲食店 30 店舗に 関するレビュー記事を収集し，これを 30 セットの複数文書要約の評価セットとした。 1 セットはレビュー記事 15 記事前後からなり，1つの評価セットに含まれる記事の文字数 の和は平均して約 2,472 文字である。評価セット全体では 468 記事 2,275 文が含まれる. それぞれの評価セットに対しては 4 人の作業者が参照要約を付与しており, 作業者は要約の対象となる記事を全て読んだのち，当該記事集合にふさわしい要約を作成した．要約長はすべて 200 文字を上限とした。そのため，実験において要約を生成する際には一律 200 文字を要約長として要約を生成した，従って，要約率は平均して $8 \%$ である。本 コーパスを用いた際には，平均として，約 16 記事からなる約 2,472 文字の記事集合を入力とし, 200 文字の要約を生成する，要約率約 $8 \%$ の要約タスクとなる.

表 2 にコーパスに関する統計量をまとめておく.

## 6.3 評価尺度

我々の提案する手法を評価するため，以下の 2 つの尺度を用いた。

(1) 要約品質 要約の品質の評価には要約の自動評価尺度である ROUGE (Lin 2004) を用い
{8000}$ となる.

11 Hirao らによれば, 参照要約の作成時には作業者に対して, 短い要約については要約率 $5 \%$ 程度の要約を, 長い要約については要約率 $10 \%$ 程度の要約を作成するように指示を与えたとしている (Hirao et al. 2004). 本論文で計測 した値とは多少の差があるものの，5\%，10\%という値はあくまで目処として与えたものであると述べられているた め, 作業者はこれらの指示より多少長い要約を作成したものと思われる。
}

た. ROUGE の亜種のうち，ROUGE-1 および ROUGE-2 を評価に利用した。なお，平尾らは，参照要約の ROUGE 值を計算する際には，文を構成するすべての単語ではなく て, 内容語 12 のみを用いて計算を行った方が人間による評価と相関が高い結果が得られ ると報告している (平尾, 奥村, 磯崎 2006). そのため, 本論文でも ROUGE 值を計算 する際には内容語のみを用いた。生成された要約を単語に分割し品詞を付与する際には Fuchi らによる形態素解析器 (Fuchi and Takagi 1998) を利用した. ROUGE 値を算出す るプログラムは Lin の文献 (Lin 2004) に従い独自に実装した。なお，レビューコーパ スについては 1 セットに対して複数の参照要約が付与されているため, 評価の際には,当該セットに付与されているすべての参照要約に対して ROUGE 值を求め, 最も高い ROUGE 值をその要約の ROUGE 値とした。この ROUGE 値の計算方針は Lin の提案 によるものである (Lin 2004)。これは，ある入力文書集合に対して妥当な要約は複数存在し得ると考えられることから，参照要約の中で機械による要約にとって最も近いもの との ROUGE 値をもってその要約の評価とするためである ${ }^{13}$.

(2) 要約速度要約の生成までの速度を計測した。いずれのコーパスでも, 30 セットすべて を要約するまでの時間を計測した。

なお，要約品質の検定にはウィルコクソンの符号順位検定 (Wilcoxon 1945) を用いた. 多重比較となるため, 全体の有意水準は 0.05 とした上で， $p$ 値の大きさに従って検定それぞれにお いて有意水準をホルム法 (Holm 1979) で調整した.

## 6.4 パラメータ

本節では要約に際して必要なパラメータの設定について述べる。以下に述べるパラメータの うち，概念重要度は全ての手法が利用する。概念壳長性は RCKM および RCKM-LH が利用する。ステップサイズおよびイテレーションは RCKM-LH のみが利用する.

## 6.4.1 概念重要度

概念 $j$ およびその重要度 $w_{j}$ はコーパスに合わせそれぞれ以下のように設定した。

(1) TSC-3 概念 $j$ は内容語とし, その重み $w_{j}$ は tf-idf (Filatova and Hatzivassiloglou 2004; Clarke and Lapata 2007) に基づき， $w_{j}=t f_{j} \log \left(\frac{N}{d f_{j}}\right)$ とした. ここで， $t f_{j}$ は要約の対象 となる入力文書集合中での内容語 $j$ の出現頻度, $d f_{j}$ は新聞記事コーパス中で内容語 $j$ を含む記事の数，N は新聞記事コーパスに含まれる記事の総数である。新聞記事コーパ

付与する際には Fuchi らによる形態素解析器 (Fuchi and Takagi 1998) を利用した.

（2）レビュー レビューを要約の対象としたため，概念 $j$ として評価情報を利用した。評価情報の定義とその抽出方法は西川らによるもの (西川 他 2013) に従った ${ }^{15}$. 概念 $j$ の重 み $w_{j}$ は当該評価情報の入力文書集合中での出現頻度を利用した。評価情報を文中から抽出する際，形態素解析には Fuchi らによる形態素解析器 (Fuchi and Takagi 1998) を，係 り受け解析には Imamura らによる係り受け解析器 (Imamura, Kikui, and Yasuda 2007) を，評洒表現辞書は浅野らによる評価表現辞書 (浅野，平野，小林，松尾 2008)をそれ ぞれ利用した。

なお，本論文では内容語を概念としてレビューを対象に要約を実施する実験は行わない，西川らは，内容語を概念としてレビューを対象に要約を実施した場合，評価情報を用いた場合と比 べ良好な結果を得ることができなかったと報告している (西川他 2013). 彼らはこの結果につ いて, レビューの要約においては焦点となる情報が評価情報であるため, それを被覆の対象と しなければ良好な結果が得られないと結論づけており, これは妥当な解釈であると考えられる。

同様に，評価情報を概念として新聞記事を対象に要約を実施する実験も行わない.これは，予備実験として，新聞記事に付録記載の評価情報抽出を行ったところ，ほとんど評価情報が抽出 されず，従って評価情報を概念として新聞記事を対象に要約を行っても意味のある結果は期待 できないと考えられるためである。新聞記事においては「〜はよかった」「〜は悪かった」とい うような何らかの評価に関する記述があまり存在しない。そのため評価情報は新聞記事を対象 として要約を実施する際に有効な概念であるとは言えない.

## 6.4.2 概念冗長性

冗長性パラメータ $r_{j}$ は以下の 4 種類を設定した。

（1） ON 概念冗長性を 1 とする。これは，同じ概念が 2 回以上要約に出現することを禁じ る. すなわち $r_{j}=1$ である. この制約を用いた場合, 同一の概念は一度しか要約中に出現することができず，そのため最大被覆問題と同様に冗㔯長性が削減されることが期待さ れる。最大被覆問題とこの制約を用いた艺長性制約付きナップサックモデルの差異は,前者は目的関数を利用して冗長性を削減するのに対し, 後者は制約を用いて冗長性を削減することにある.

（2） KL 概念 $j$ の入力文書集合中の出現頻度に, 要約長 $K$ と入力文書集合のサイズ $L=\sum_{i=1}^{n} l_{i}$ の比をかけたものとする。ただし，值が小数となることが多いため，その 場合は值を切り上げることとした. すなわち $r_{j}=\left.\lceil t f_{j} \frac{K}{L}\right.\rceil$ である. この制約を用いた場合, 入力文書集合中での概念の出現頻度の分布が, 要約長を加味した上で要約にも同程

度再現されることが期待される。

（3） SR 概念冗長性を, 各単語の入力文書集合中での出現回数の平方根とする. KL と同様, 值が小数となることが多いが，その場合は値を切り下げることとした. これは $\mathbf{K L}$ では $r_{j}$ の值が 1 未満になることがあるのに対し, 平方根を取る場合はその恐れがない ためである. すなわち $r_{j}=\left.\lfloor\sqrt{t f_{j}}\right.\rfloor$ である.この制約は $\mathbf{K L}$ と異なり要約長の影響を 受けない。また，KL に比べ冗長性に寛容である。

（4） RF 概念冗長性を，参照要約に含まれる概念の数とした. これは，概念冗長性が理想的 に設定された場合の性能を示している。なお，レビューコーパスについては複数の参照要約が存在するため, 同一の概念については複数の参照要約の平均を取り, 小数となっ た場合は値を切り上げることとした.

これらは 2 つのコーパスで共通である.

## 6.4.3 ステップサイズ

$\alpha$ は最初は 1 とし, 以降, ラグランジュ乗数がアップデートされた回数の逆数とした。すな わち, 最初のアップデートの際は $\alpha$ は 1 であり, 次のアップデートの際は $\frac{1}{2}$, さらに次のアッ プデートの際には $\frac{1}{3}$ となる.

## 6.4.4 イテレーション

ラグランジュヒューリスティックによるデコーディングの際にはイテレーションの回数 $T$ を 調整することができる。イテレーションの回数は 10 回と 100 回とし, それぞれ RCKM-LH(10) と RCKM-LH(100) として示す.

## 6.5 結果と考察

要約品質の評価を表 3 に，要約時間の評価を表 4 に示す.

TSC-3 コーパスにおける評価の結果から述べる。まず， RCKM と MCM， KM の差異に 目を向ける。RCKM の中では RF が最も高いROUGE 值を得ており, 次いで SR という結果となった． RF および $\mathrm{SR}$ はその最適解において MCM を有意に上回っていた. 提案する ラグランジュヒューリスティックによるデコーディングを用いた場合 RCKM-LH では，イ テレーション回数が 10 回の場合でも 100 回の場でも，RF は MCM を有意に上回っている一方，SR は MCM と有意な差がなかった。表 4 に示すように，提案するデコーディング法は ソルバーによるデコーディングと比べ高速に要約を生成できており, MCM と同水準以上の要約を高速に生成できることがわかる．MCM と MCM-GR を比べると, 貪欲法はソルバーに 比べ高速にデコーディングを行うことができるものの，MCM-GR の方が有意に ROUGE 值 が低く, 探索誤りが生じていることがわかる．KM と MCM の間に有意差はなかったものの,
表 3 要約品質の評価

表 4 要約時間の評価

単位はすべて秒である。
全体として MCM がより高い ROUGE 值を示した.

提案する要約モデル RCKM は，㔯長性パラメータを RF あるいは $\mathrm{SR}$ とした際に MCM に比べ優れている。この理由は，参照要約は単語のレべルにおいてある程度の壳長性を持って いるためである。図 1 は，TSC-3コーパスに含まれる参照要約の 1 つである. 同一の内容語は ゴシック体として示してある。図 1 から，明らかに参照要約は単語のレベルにおいて壳長性を 持つことがわかる.

図 2 は TSC-3コーパスを用いた実験における冗長性の分布である．縦軸に内容語の種類，横軸に同一の参照要約中での出現頻度をとりプロットした。点は, 参照要約, 6.4 節で述べた方法 によって設定された艺長性パラメータ，および各手法によって実際に生成された要約における 壳長性の分布を示している。例えば，TSC-3 コーパスに含まれる 2093 種類の内容語は同一の 参照要約に一度しか出現しない. 一方, 10 種類の内容語は, 同一の参照要約に 10 回以上出現す ることがある，図 1 および図 2 が示すように，ある 1 つの参照要約において, 同一の単語が 複数回出現することは何ら珍しいことではない.

提案する冗長性制約付きナップサックモデル RCKM は，壳長性パラメータを通じ，生成 する要約に一定の冗長性を許容することができる。一方，最大被覆モデル MCM は壳長性を 忌避する. 実際に図 2 が示すように，MCM が生成する要約は参照要約に比べ冗長性が低い. そのため, 図 1 のように 1 つの参照要約において同一の単語が複数回出現するという現象を十分に捉えることができない。それに対し，ナップサックモデル $\mathbf{K M}$ が生成する要約は高い冗長性を持つ. 図 2 が示すように, 要約中に 4 回以上出現する単語の種類が参照要約に比べて多 く, 特に 10 回以上出現する単語が 42 種類存在している.このように過度に壳長な要約を生成 する性質は複数文書要約にとっては好ましいものではない.

図 2 を見ると, 朵長性パラメータ SR は参照要約の壳長性に近い艺長性を有する要約を実現

\begin{abstract}
エチオピア 北部の約 250 万年前の地層で米国・エチオピア・日本の研究チームが発見した人骨 化石 が、猿人 から 原人へ 進化する過程にある 新種 の猿人 であることが分かった。現代人の直接の祖先とされる約 200 万年前の 原人、ホモ ・ハビリスとそれ以前の猿人 の間をつなぐ化石 はなく、人類 の進化のミッシングリンクとされてきた。この化石 は 新種 の猿人 化石 として、現地語で「驚 き」を意味する言葉から「ガルヒ 猿人」と名づけられた。今回発掘された手足の 骨 は、長さのバラ ンスが約 320 万年前のアファール 猿人、約 170 万年前の原人、ホモ・エレクトスの中間にあた る。二足歩行に適するよう脚が長くなっていたとみられる。また、石器 で切り取られた跡のある大型動物レイヨウの 骨 なども見つかった。人類 が肉食をしたことを示す最古 の証拠で、石器 を実際 に使用した跡としても 最古となる。
\end{abstract}

図 1 TSC-3 コーパスに含まれる参照要約の 1 つ

2 回以上出現する内容語はゴシック体として示した. 他の処理と同様に, 単語境界および品詞の同定は Fuchi らによる形態素解析器 (Fuchi and Takagi 1998) によった.

図 2 TSC-3 コーパスを用いた実験における壳長性の分布

縦軸に内容語の種類, 横軸に同一の参照要約中での出現頻度をとりプロットした. 縦軸は対数スケールと なっていることに注意されたい. 凡例の Reference は, TSC-3 コーパスの参照要約に含まれる内容語の 艺長性の分布である。すなわち， TSC-3 コーパスの参照要約に含まれる内容語のうち， 2,093 種類は同一 の参照要約に 1 回しか出現しないが, 10 種類は, 同一の参照要約に 10 回以上出現することがある. 凡例 の Const-ON, Const-KL および Const-SR はそれぞれ 6.4 節で述べた冗長性パラメータ ON， KL およ び SR に従って計算された概念冗長性の分布である。例えば， SR は 2,159 種類の単語に同一の要約中 において 2 回まで出現することを許している. 凡例の Summ-ON, Summ-KL, Summ-SR, Summ-RF, Summ-MCM および Summ-KM はそれぞれ実際に生成された要約における冗長性の分布である. SummON，Summ-KL，Summ-SR および Summ-RF は冗長性制約付きナップサックモデル RCKM にそれぞ れ壳長性パラメータ ON， KL，SR および RF を与え，ソルバーを用いてデコードし生成された要約の 壳長性である. Summ-MCM は最大被覆モデル MCM をソルバーを用いてデコードし生成された要約の 冗長性である. Summ-KM はナップサックモデルを動的計画ナップサックアルゴリズムを用いてデコー ドし生成された要約の壳長性である.

できている，全体的な傾向として，ナップサックモデルでは，要約中にある回数だけ出現する 単語の種類は左から右に向かってなだらかに減少していく.これは, 要約中に 1 度しか出現し ない概念の種類と, 何度も出現する概念の種類にあまり差がないことを示しており，すなわち，何度も出現する概念の種類が相対的に多いことを示している。一方, 最大被覆モデルは左から 右に向かって急峻な勾配で種類が減少していく。これは, 要約中に 1 度しか出現しない概念の 種類が相対的に多いことを示している，参照要約の壳長性は, これらナップサックモデルと最大被覆モデルの中間を取るように推移しており, 艺長性パラメータ SRによって生成された要
約の冗長性も, 参照要約の冗長性に近い位置で推移している。このように参照要約に近い冗長性を再現できたため，SR は良好な性能を示すことができたものと考えられる．

ナップサックモデルのような過度の壳長性は複数文書要約において問題となる一方, 同一の 単語，あるいは関連する単語が前後の文に出現する性質は，自動要約の分野において Lexical chain と呼ばれており, 重要文抽出の際の重要な手がかりとして利用されている (Barzilay and Elhadad 1997; Clarke and Lapata 2007). RCKM はこの性質を捉えることができたというこ ともできよう.

テキスト一貫性に関する研究においても，人手によって書かれたテキストにおいて同一の単語が同一のテキストに複数回出現するという性質は利用されている。テキストの一貫性を評価 する手法の 1 つである Entity grid は，連続する 2 つの文における，単語の意味役割の変化を特徵量として用いており (Barzilay and Lapata 2005, 2008; 横野, 奥村 2010), 同一の単語が同一 のテキストに複数回出現するという仮定を置いている。参照要約は人手によって書かれたもの であるため，テキスト一貫性の観点からこの性質を持っていると考えることができる。このこ とから，壳長性パラメータ r はテキスト一貫性の観点から設定することもできよう.

次に, 壳長性パラメータについて述べる。 RCKM の中では RF が最も良好な性能を示し, ついで $\mathbf{S R}, \mathrm{KL}, \mathrm{ON}$ となった.

参照要約の冗長性を模倣した場合が最良の結果を得たことから, 壳長性の設定は RCKM に とって重要であると言える。壳長性パラメータ $\mathbf{r}$ を正確に設定するためには, 入力文書集合と 参照要約の組から回帰モデルを構築し, 各単語の参照要約における適切な出現頻度を予測する ことも考えられよう。

ON に目を向けると，ON の生成した要約の品質は $\mathrm{SR}$ や $\mathrm{KL}$ に比べて著しく悪い。これ は，上に述べたように，テキスト一貫性の観点から説明できる。同一の単語は一度しか要約に 出現できないという ON の制約は，上に述べた性質を持ったテキストを生成することを許さな い.このため一貫性を欠いたテキストを生成してしまい，これは人間による要約を模倣すると いう観点からは大きな問題がある.

SR と KL を比較すると, 有意に SR の ROUGE 值が高かった. 図 2 の Const-KL が示す ように，KLによる冗長性の制約は参照要約の壳長性をうまく模倣しているものの， 2 回以上の 出現を許す単語の種類が参照要約に比べて少ない. TSC-3 コーパスの評価セットの要約率は平均して $6 \%$ 前後であるため, KL は要約長に影響され苍長性について厳しい制約を要約に課す. このため, Summ-KL が示すように，要約に十分な苍長性を許すことができず，SR に比べて ROUGE 值において劣後したものと考えられる.

一方, Const-SR は全体的に高い艺長性を許すものとなっているが，実際に生成された要約の 冗長性 Summ-SR は参照要約の壳長性に近い.SRによって生成された要約を確認すると, 高 い壳長性の原因となり要約の品質の低下を招く概念の冗長性を抑制しつつ, 概念重要度に従っ

て他の概念を要約に組み込んでおり，これが良好な ROUGE 値を得た理由と考えられる。次にレビューにおける評価の結果について述べる。 RCKM と MCM，KM の差異につい て目を向けると，KM は MCM と比べ有意に ROUGE 値が低かった，TSC-3 での評価と異 なり， MCM と MCM-GR の間に有意な差はなかった。また， MCM と RCKM の全ての 手法の間にも有意な差はなかった，RCKM の中でも，壳長性パラメータによる有意な差はな かった，一方，TSC-3 での評価と同様に，表 4 が示すように提案するデコーディング法はソル バーと比べ高速に要約を生成できており，MCM と同水準の要約を高速に生成できることがわ かる.

HUMAN に対してはいずれの手法も及ばなかった. これには 2 つ理由があると考えられ る. 1 つは概念重要度の設定である。今回は要約対象の文書集合中での評価情報の頻度を概念重要度として用いたが, 参照要約を用いて概念重要度を学習することでより良好な ROUGE 値 を得られる可能性がある。もう 1 つは文の選択のみで要約を作成することの限界である。前述 したように，レビューコーパスの参照要約は人間によって自由に記述されているため, 文の選択だけでは参照要約と同水準の要約に到達することは難しいと考えられる。この点の解決のた めには，文短縮 (平尾，鈴木，磯崎 2009a) など，文を書き換える処理を要約の過程に加える必要があろう.

TSC-3 とレビューを比較すると，前者においては RCKM が MCM を上回る性能を持つ ものの, 後者においてはそれらの間に差がない.これらは新聞記事の要約とレビュー記事の要約の差異を端的に表している。前者は単語を被覆の対象としているため, 上に示したように, 1 つの要約に複数の単語が含まれることを許すことによって，より高いROUGE 値を得ることが できる。一方, 後者が被覆の対象とするものは評価情報であり，ある特定の評価情報は 1 つの 要約に 1 つだけ入っていれば十分である。これは，TSC-3 においては劣った要約品質を示した ON が，レビューにおいては他の手法と同水準の要約品質を示していることからもわかる.

図 3 は, レビューコーパスに含まれる評価情報を, 縦軸に評価情報の種類, 横軸に同一の参照要約中での出現頻度をとりプロットしたものである. 図 2 と比較するとその差は明らかであ り, レビューでは参照要約においてある特定の評価情報は 1 度しか出現しないことがほとんど である。

最後に, 提案したラグランジュヒューリスティックによる近似解法の近似精度についても述 べておく，近似精度を表 5 に示す。数値は，ソルバーによって得られた最適解の目的関数値を 100 としたときの，近似解法による解の目的関数値を百分率で示したものである．計算にあたっ ては，いずれも朵長性パラメータは SR とし， 30 セットそれぞれの近似精度の平均を取った。表 5 が示すように，提案する近似解法は良好な近似精度を持つことがわかる。

図 3 レビューコーパスを用いた実験における壳長性の分布

縦軸に評価情報の種類, 横軸に同一の参照要約中での出現頻度をとりプロットした. 縦軸は対数スケールと なっていることに注意されたい. 凡例の Reference は, レビューコーパスの参照要約に含まれる内容語の冗長性の分布である。すなわち, レビューコーパスの参照要約に含まれる内容語のうち, 509 種類は同一の参照要約に 1 回だけ出現し， 6 種類は 2 回， 1 種類は 3 回出現することがある. 凡例の Const-ON, Const-KL および Const-SR はそれぞれ 6.4 節で述べた圥長性パラメータ ON， KL および SR に従って計算され た概念冗長性の分布である。 凡例の Summ-ON, Summ-KL, Summ-SR, Summ-RF, Summ-MCM およ び Summ-KM はそれぞれ実際に生成された要約における冗長性の分布である. Summ-ON, Summ-KL, Summ-SR および Summ-RF は壳長性制約付きナップサックモデル RCKM にそれぞれ壳長性パラメー 夕 ON， KL， SR および RF を与え, ソルバーを用いてデコードし生成された要約の壳長性である. Summ-MCM は最大被覆モデル MCM をソルバーを用いてデコードし生成された要約の宇長性である. Summ-KM はナップサックモデルを動的計画ナップサックアルゴリズムを用いてデコードし生成された 要約の壳長性である.

表 5 近似精度

## 7 まとめ

本論文では, 複数文書要約において重要なモデルである最大被覆モデルのデコーディングを 高速化することを企図し, 要約に含めるべき単語数を直接制御する冗長性制約付きナップサッ ク問題に基づく要約モデルを提案した。本論文の新規性および貢献を以下にまとめる.
- 元長性制約付きナップサック問題に基づく要約モデルは, その最適解において, 最大被覆問題を用いた要約モデルに対して，ROUGE (Lin 2004) において同等以上の性能を持 つことを示した。

・ ラグランジュヒューリスティクスに基づくデコーディング法によって得られる近似解は,最大被覆問題の最適解と ROUGE において同等であることを示した。
- 提案手法のデコーディング速度は, 整数計画ソルバーによる最大被覆問題のデコーディ ング速度より 100 倍以上高速であることを示した.

今後の課題としては, 上で述べたように圥長性パラメータをテキスト一貫性の観点から推定 することを検討している．また， 壳長性パラメータを入力文書集合と参照要約の組から推定す ることも検討している。

## 謝 辞

本論文の執筆にあたり, NTTコミュニケーション科学基礎研究所の西野正彬研究員より有益 なご助言を頂戴した，記して感謝する。また，査読者および担当編集委員の方々，編集委員会 より様々な有益なご助言を頂戴した。記して感謝する。

## 参考文献

浅野久子, 平野徹, 小林のぞみ, 松尾義博 (2008). Web 上の口コミを分析する評判情報インデ クシング技術. NTT 技術ジャーナル, 20 (6), pp. 12-15.

Barzilay, R. and Elhadad, M. (1997). "Using Lexical Chains for Text Summarization." In Proceedings of the Intelligent Scalable Text Summarization Workshop (ISTS), pp. 10-17.

Barzilay, R. and Lapata, M. (2005). "Modeling Local Coherence: An Entity-based Approach."

In Proceedings of the 43rd Annual Meeting on Association for Computational Linguistics (ACL), pp. 141-148.

Barzilay, R. and Lapata, M. (2008). "Modeling Local Coherence: An Entity-based Approach." Computational Linguistics, 34 (1), pp. 1-34.

Clarke, J. and Lapata, M. (2007). "Modelling Compression with Discourse Constraints." In Pro-
ceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL), pp. 1-11.

Filatova, E. and Hatzivassiloglou, V. (2004). "A Formal Model for Information Selection in Multi-Sentence Text Extraction." In Proceedings of Coling 2004, pp. 397-403.

Fuchi, T. and Takagi, S. (1998). "Japanese Morphological Analyzer Using Word Co-occurrence: JTAG." In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and the 17th International Conference on Computational Linguistics (ACLCOLING), pp. 409-413.

Gillick, D. and Favre, B. (2009). "A Scalable Global Model for Summarization." In Proceedings of the Workshop on Integer Linear Programming for Natural Language Processing, pp. 10-18.

Haddadi, S. (1997). "Simple Lagrangian Heuristic for the Set Covering Problem." European Journal of Operational Research, 97, pp. 200-204.

Higashinaka, R., Minami, Y., Nishikawa, H., Dohsaka, K., Meguro, T., Kobashikawa, S., Masataki, H., Yoshioka, O., Takahashi, S., and Kikui, G. (2010). "Improving HMM-based Extractive Summarization for Multi-Domain Contact Center Dialogues." In Proceedings of the IEEE Workshop on Spoken Language Technology (SLT), pp. 61-66.

平尾努, 奥村学, 磯崎秀樹 (2006). 拡張ストリングカーネルを用いた要約システム自動評価法.情報処理学会論文誌, 47 (6), pp. 1753-1766.

平尾努, 鈴木潤, 磯崎秀樹 (2009a). 構文情報に依存しない文短縮手法. 情報処理学会論文誌： データベース, $2(1)$, pp. 1-9.

平尾努, 鈴木潤, 磯崎秀樹 $(2009 b)$. 最適化問題としての文書要約. 人工知能学会論文誌, $24(2)$, pp. 223-231.

Hirao, T., Fukushima, T., Okumura, M., Nobata, C., and Nanba, H. (2004). "Corpus and Evaluation Measures for Multiple Document Summarization with Multiple Sources." In Proceedings of Coling 2004, pp. 446-452.

Holm, S. (1979). "A Simple Sequentially Rejective Multiple Test Procedure." Scandinavian Journal of Statistics, 6 (2), pp. 65-70.

Imamura, K., Kikui, G., and Yasuda, N. (2007). "Japanese Dependency Parsing Using Sequential Labeling for Semi-spoken Language." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 225-228.

Jelinek, F. (1969). "Fast Sequential Decoding Algorithm Using a Stack." IBM Journal of Research and Development, 13 (6), pp. 675-685.

Khuller, S., Moss, A., and Naor, J. (1999). "The Budgeted Maximum Coverage Problem."

Information Processing Letters, 70 (1), pp. 39-45.

Korte, B. and Vygen, J. (2008). Combinatorial Optimization (3rd edition). Springer-Verlag.

Lin, C.-Y. (2004). "ROUGE: A Package for Automatic Evaluation of Summaries." In Proceedings of ACL Workshop Text Summarization Branches Out, pp. 74-81.

McDonald, R. (2007). "A Study of Global Inference Algorithms in Multi-document Summarization." In Proceedings of the 29th European Conference on Information Retrieval (ECIR), pp. 557-564.

西川仁, 長谷川隆明, 松尾義博, 菊井玄一郎 (2013). 文の選択と順序付けを同時に行う評価文書要約モデル. 人工知能学会論文誌, 28 (1), pp. 88-99.

奥村学，難波英嗣 (2005). テキスト自動要約. オーム社.

高村大也, 奥村学 (2008). 最大被覆問題とその変種による文書要約モデル. 人工知能学会論文誌, $23(6)$, pp. 505-513.

Umetani, S. and Yagiura, M. (2007). "Relaxation Heuristics for the Set Covering Problem." Journal of the Operations Research Society of Japan, 50, pp. 350-375.

Wilcoxon, F. (1945). "Individual Comparisons by Ranking Methods." Biometrics Bulletin, 1 (6), pp. 80-83.

Yamada, T., Kataoka, S., and Watanabe, K. (2002). "Heuristic and Exact Algorithms for the Disjunctively Constrained Knapsack Problem." Journal of Information Processing, 43 (9), pp. 2864-2870.

Yih, W.-t., Goodman, J., Vanderwende, L., and Suzuki, H. (2007). "Multi-document Summarization by Maximizing Informative Content-words." In IJCAI'07: Proceedings of the 20th international joint conference on Artifical intelligence, pp. 1776-1782.

横野光, 奥村学 (2010). テキスト結束性を考慮した entity gridに基づく局所的一貫性モデル. 自然言語処理, $\mathbf{1 7}$ (1), pp. 161-182.

## 付録

## A 評価情報の抽出方法

まず，評洒情報について述べる，西川らの提案 (西川他 2013) と同様に，本論文では，評価情報を評価属性 aspect と評価極性 polarity $\in\{-1,0,1\}$ の組 $e=($ aspect, polarity $)$ として考え る。評価属性は, 何らかの対象が評価される際の観点を示す。評価極性は, 対象が評価属性に 関してポジティブな評価をされているときに 1 , ネガティブな評価をされているときに -1 , ど

ちらとも言えないときに 0 の 3 値を取るものとする。一例として, 「このデジタルカメラは画質がよい」という表現を考える。この表現の評価属性は「画質」である。また，評価表現「よ い」はポジティブな評価であることから，評価極性は 1 となる。そのため, この表現から評価情報 $e=($ 画質, 1$)$ が得られる.

評価情報は以下のように抽出する.

(1) 文に係り受け解析を行う.

（2）評価表現とその評価極性の組を格納した辞書（評価表現辞書）と係り受け解析の結果を 照合し，評価表現とその評価極性を得る.

（3）係り受け木で，評価表現に係っている名詞を評価属性とする.

（4）得られた評価属性と評価極性を出力する.

## 略歴

西川仁：2006 年慶應義塾大学総合政策学部卒業. 2008 年同大学大学院政策・

メディア研究科修士課程修了. 同年日本電信電話株式会社入社. 現在 NTT メディアインテリジェンス研究所研究員. 2012 年より奈良先端科学技術大学大学院博士後期課程在学中. 自然言語処理の研究開発に従事. 言語処理学会,情報処理学会, 人工知能学会, ACL 各会員.

平尾努：1995 年関西大学工学部電気工学科卒業. 1997 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 同年株式会社 NTT データ入社. 2000 年より NTTコミュニケーション科学基礎研究所に所属. 博士（工学). 自然言語処理の研究に従事. 言語処理学会, 情報処理学会, ACL 各会員.

牧野 俊朗 : 1987 年東京大学工学部電子工学科卒業, 1992 年同大学院博士課程修了. 同年日本電信電話株式会社入社. 現在 NTT メディアインテリジェン 丆研究所主幹研究員. 博士 (工学). 知識獲得, 推論手法, 自然言語処理など に関する研究開発に従事.

松尾 義博: 1988 年大阪大学理学部物理学科卒業. 1990 年同大学大学院研究科博士前期課程修了. 同年日本電信電話株式会社入社. 現在 NTT メディアイ ンテリジェンス研究所音声・言語基盤技術グループリーダ。機械翻訳，自然言語処理の研究に従事. 言語処理学会, 情報処理学会各会員.

松本 裕治：1977 年京都大学工学部情報工学科卒業. 1979 年同大学大学院工学研究科修士課程情報工学専攻修了. 同年電子技術総合研究所入所. 1984 85 年英国インペリアルカレッジ客員研究員. $1985 \sim 87$ 年財団法人新世代コン ピュータ技術開発機構に出向. 京都大学助教授を経て, 1993 年より奈良先端科学技術大学院大学教授, 現在に至る. 工学博士．専門は自然言語処理．言
語処理学会, 情報処理学会, 人工知能学会, 認知科学会, AAAI, ACL, ACM 各会員. 情報処理学会フェロー. ACL Fellow.

(2013 年 3 月 11 日 受付)

(2013 年 6 月 3 日 再受付)

(2013 年 7 月 9 日 採録)