# 地方議会会議録コーパスの構築および政治情報システム構築を
## 目標としたアノテーションの一提案

筒井貴士 $^{\dagger} \cdot$ 我満拓弥 ${ }^{\dagger} \cdot$ 大城卓 $\dagger \cdot$ 菅原晃平 $^{\dagger} \cdot$ 永井隆広 $^{\dagger} \cdot$渋木英潔 ${ }^{\dagger \dagger} \cdot$ 木村泰知 ${ }^{+\dagger \dagger} \cdot$ 森辰則 ${ }^{+\dagger}$

近年, 国会や地方議会などの会議録が Web 上に公開されている。会議録は, 首長や議員の議論が書き起こされた話し言葉のデータであり，長い年月の議論が記録された通時的なデータであることから, 政治学, 経済学, 言語学, 情報工学等の様々な分野において研究の対象とされている. 国会会議録を利用した研究は会議録の整備が進んでいることから，多くの分野で行われている。その一方で，地方議会会議録を利用した研究については，各分野で研究が行われているものの，自治体により Web 上で公開されている形式が異なることが多いため, 収集作業や整形作業に労力がかかっている．また，各研究者が重複するデータの電子化作業を個別に行っているといった非効率な状況も招いている。このような背景から, 我々は多くの研究者が利用することを目的として，地方議会会議録を収集し，地方議会会議録コーパスを構築した，本稿では，我々が構築した地方議会会議録コーパスについて論ずる。同コー パスは, Web 上で公開されている全国の地方議会会議録を対象として，「いつ」「どの会議で」「どの議員が」「何を発言したのか」などの各種情報を付与し, 検索可能な形式で収録した。また，我々は会議録における発言を基に利用者と政治的に近い考えをもつ議員を判断して提示するシステムを最終的な目的としており，その開発に向けて，分析，評価用のデータ作成のために会議録中の議員の政治的課題に対する賛否とその積極性に関する注釈付けをコーパスの一部に対して行った。本稿では，注釈付けを行った結果についても報告する.

キーワード：注釈付け，地方議会会議録コーパス，地方政治，政治情報システム

## Construction of Regional Assembly Minutes Corpus and a Proposal for Annotation Scheme for Implementing Political Information System

\author{
Takashi Tsutsui $^{\dagger}$, Takuya Gaman $^{\dagger \dagger}$, Takashi Oshiro ${ }^{\dagger}$, Kohei Sugawara ${ }^{\dagger}$,
} Takahiro Nagai ${ }^{\dagger}$, Hideyuki Shibuki ${ }^{\dagger \dagger}$, Yasutomo Kimura ${ }^{\dagger \dagger \dagger}$ and Tatsunori Mori ${ }^{\dagger \dagger \dagger}$

In recent years, minutes of regional assemblies and the National Diet have been published on the web. Those minutes have long recorded transcribed discussions of mayors and members of assemblies. Therefore, they are a target of study in various fields such as politics, economics, linguistics, information engineering. Since the minutes of the National Diet are maintained in electronic form and freely available via a search system, many researchers have utilized the minutes as a target of study. Minutes of regional assembly meetings are also the focus of researchers in various fields. However, researchers have had trouble gathering and preparing minutes for their study, because the way in which minutes are made available to the public varies assembly by assembly. It is very inefficient for each researcher to make the effort to digitize minutes separately. To improve the situation and contribute to research communities, we have collected regional minutes of assemblies and constructed the corpus of regional assembly minutes. In this paper, we discussed the construction of the corpus of regional assembly minutes. The corpus records minutes from regional assemblies all over Japan that are available on the web. We added additional information to the corpus, such as "date," "name of meeting," "name of speaker," "text of statement," so that users may search statements across the corpus using such information. The final goal of our project is to build a political information system that can recommend a suitable person, or members of an assembly, according to the consistency between users' opinions and statements of assembly members. As a preliminary step of development, we annotated a part of the corpus with information about the speaker' s attitude to specific political subjects, including degree of approval/disapproval. In this paper, we also report the result of the annotation.

Key Words: Annotation, Regional Assembly Minutes Corpus, Local Politics, Political Information System

## 1 はじめに

平成 11 年から政府主導で行われた平成の大合併や, 平成 19 年より施行された地方分権改革推進法など，地方政治を重視する取り組みが盛んに行われていたのは記憶に新しい。一方で，有権者の政治離れが深刻な問題となって久しく, 平成 25 年 7 月 21 日の第 23 回参議院議員通常選挙における選挙区選挙では $52.61 \%$ の投票率 ${ }^{1}$ となり, 参議院議員通常選挙において過去 3 番目に低い値となった。地方政治の場合, 平成 23 年 4 月の第 17 回統一地方選挙の投票率は, $48.15 \%$ 2であり, さらに低い値となっている.

地方政治に対する有権者の政治離れの原因には幾つか考えられるが，その一因に地方議会議員およびその活動の認知度の低さがあげられる. 現状では, 政治情報を入手するソースとして
^{1}$ http://www.soumu.go.jp/senkyo/senkyo_s/data/sangiin23/index.html

2 http://www.soumu.go.jp/senkyo/senkyo_s/data/chihou/ichiran.html
}

テレビや新聞などのマスメディアが占める割合が大きいが，このようなマスメディアに首長以外の地方議会議員が取り上げられることはほとんどない. 地方議会議員は国会議員と同様に住民による選挙によって選ばれ，かつ，国政よりも身近な存在であるべきであるにもかかわらず， その活動に関する認知度が低いのは大きな問題であると考える。そこで, 住民に提供される地方政治の情報，特に地方議会議員に関する情報量の不足を解決するための方法の一つとして， Web 上の情報を有効に利用することを考える．Web 上に存在する議員の情報には，議員や政党のホームページ，ニュースサイトの政治ニュース，議員のブログや Twitter なとの SNS，マニフェスト，議会の会議録などがある。このうち会議録には，議員からの一方的な情報発信ではなく, 議論や反対意見などのやりとりが含まれ，公の場における各議員の活動や考え方を知ることができる．また，研究対象として会議録を見た場合，会議録は，首長や議員の議論が書き起こされた話し言葉のデータであり，長い年月の議論が記録された通時的なデータであることから, 政治学, 経済学, 言語学, 情報工学等の様々な分野における研究対象のデータとして利用されている.

例えば，政治学の分野では，平成の大合併前後に行われた市長選挙についての分析を行い，合併を行った市と行わなかった市の違いを当選者の属性から比較した平野 (平野 2008) の研究, 合併が地方議会や議員の活動に対して与えた影響を 856 議員にアンケート調査することで分析を行った森脇 (森脇 2008) の研究などがある. また, 経済学の分野では, 「小規模自治体の多選首長は合併に消極的」という仮説を検証するために, 全国の地方議員, 首長の情報を人手で調査した川浦 (川浦 2009; Kawaura 2010) の研究など, 言語学の分野では, 「去った○日」という表現 （「去る○日」の意）が那覇市の会議録に見られることを指摘した井上 (井上 2013), 「めっちゃんこ」が名古屋市の会議録に見られることを指摘した山下 ${ }^{3}$, 形態素 N-gram を用いて地方議会会議録の地域差を捉える方法について検討した高丸ら (高丸, 木村 2010; 高丸 2011, 2013), 発言者の出身地域とオノマトぺの使用頻度についての分析を行った平田ら (平田, 中村, 小松, 秋田 2012) などの研究が存在する。情報工学の分野においても，特徴的な表層表現を手掛かりに国会会議録を対象とした自動要約を行った川端ら (川端, 山本 2007) や山本ら (山本, 安達 2005) の研究, 住民の潜在的な関心を明確化するための能動的質問生成手法を提案した木村ら (木村,渋木, 高丸, 乙武, 小林, 森 2011) の研究などが存在し, 海外でも, 会議録中の発言を元にイデオロギーを分類する Yu et al.(Yu, Kaufmann, and Diermeier 2008)や，会議録で用いられている語句を可視化する Geode et al.(de Goede, van Wees, Marx, and Reinanda 2013) などの研究が行われている。

これらの研究を行う上で基礎となる会議録のデータであるが, 国会の場合, 国立国会図書館
^{3}$ http://dictionary.sanseido-publ.co.jp/wp/2012/07/07/
}

により会議録サイト ${ }^{4}$ が整備されており, 第 1 回国会（昭和 22 年）以降のすべての会議録がテキストデータとして公開され, 検索システムによって検索を行うことができる。一方で, 地方議会会議録の場合, 全ての自治体の会議録をまとめているサイトは存在せず, 自治体ごとに参照する必要がある。加えて, 自治体により Web 上で公開されている形式が異なることが多いため,統一的に各自治体の会議録を扱おうとすれば収集作業や整形作業に労力がかかる．また，各研究者が重複するデータの電子化作業を個別に行っているといった非効率な状況も招いている.

このような背景から, 我々は地方政治に関する研究の活性化・学際的応用を目指して, 研究者が利用可能な地方議会会議録コーパスの構築を行っている.コーパスの構築にあたっては,木村ら (木村, 渋木, 高丸 2009) や乙武ら (乙武, 高丸, 渋木, 木村, 荒木 2009)において行われた，北海道の地方議会会議録データの自動収集や加工の技術を参考にし，全国の市町村の議会会議録を対象としたコーパス構築を行うこととした。地方議会会議録コーパスは, Web上で公開されている全国の地方議会会議録を対象として，「いつ」「どの会議で」「どの議員が」「何を発言したのか」を，発言に対して市町村や議会種別, 年度や発言者名などの各種情報を付与することで構築し，検索可能な形式で収録する。また，近年，ヨーロッパでは VoteMatch ${ }^{5}$ と呼ばれる投票支援ツールが多くの利用者を獲得しており (上神 2006 ; 上神, 堤 2008 ; 上神, 佐藤 2009), 日本でも「投票ぴったん 6 」などの日本語版ボートマッチシステムが利用されていること, さらに平成 25 年 4 月 19 日から公職選挙法が一部改正され7，インターネットなどを利用した選挙運動のうち一定のものが解禁されたことなどから, 我々は, 地方議会会議録コーパスを用いて，会議録における発言を基に利用者と政治的に近い考えをもつ議員を判断して提示するシステムを最終的な目的としている.

さて, 地方議会会議録コーパスを構築すると，会議録を文字列や単語で検索することができるようになる。さらに，会議録の書誌情報や議員情報に基づいて簡単な注釈付けを行うことにより, 年度や地域をまたいだ比較検討や, 地域ごとの表現の差の分析などを行うことが可能となる.その一方で，我々が構築を目指しているシステムは利用者と政治的に近い議員を判断し利用者に提示するものであるため，会議録の書誌情報や発言議員名といった簡単な注釈付けのみでは議員の施策や事業に対する意見の判別を行うことができず不十分である. すなわち, 議員の発言の中にある施策や事業に対する意見のように, 下位構造が存在し, それらが結び付くことで一つの情報となるものに対しての分析を行うことは, 会議録の文字列検索のみでは難しい.政治的な考えの近さは，一般に，施策や事業などへの賛否の一致度合いにより推測できると考えられ, 上神ら (上神 2006 ; 上神, 堤 2008 ; 上神, 佐藤 2009) などのボートマッチシステムで
^{4}$ http://kokkai.ndl.go.jp/

5 http://www.votematch.net

6 http://www.votematch.jpn.org/

 }^{7}$ http://http://www.soumu.go.jp/senkyo/senkyo_s/naruhodo/naruhodo10.html

も, この考え方に基づいている，さらに，議員の施策や事業に関する賛否の意見には，同じ賛成の立場をとる議員の間でもその賛成の度合いには差が存在している。例えば，「昨年度は○○ などの事業に取り組んできた」と発言した議員と「○○などの事業を行うのもやむを得ない」 と発言した議員では，前者の方が既に自らが取り組んでいることを表明していることから，より積極的に賛成であると考えられる，積極的に賛成である議員の方が，消極的に賛成である議員よりも，彼らが賛成する施策や事業の実現に向けて尽力すると考えられるため，当該の施策や事業を実現してほしい利用者には，積極的に賛成である議員の方を提示することが望ましい． また，消極的に反対の意見を示している議員よりも，積極的に反対の意見を示している議員の方が，彼らが反対する施策や事業を廃止することに注力すると考えられるため，反対の立場を取る議員に対しても同様の考えが成り立つ。このように賛否に加えて積極性を考慮して, 利用者と近い考えをもつ議員を判断する必要がある，以上の背景から，我々は，比較的簡単な処理により自動的に付与できる夕グを地方議会会議録コーパス全体に付与するとともに，上記の政治情報システムの検討のために，会議録の一部に対して，議員の施策・事業に対する賛否とその積極性に関連する情報の注釈付けを行うこととした。

本稿ではまず 2 節で関連研究について述べ， 3 節では地方議会会議録の収集及び地方議会会議録コーパスの構築について説明する. 次に，4節では地方議会会議録コーパスの一部に対して我々が付与したタグの仕様や注釈結果の統計とその分析及び残された課題について述べる。最後に 5 節でまとめる.

## 2 関連研究

本節では，本稿に関連する各種研究について説明する。

## 2.1 会議録を対象とした研究

会議録を対象とした研究としては，以前より国会会議録を対象とした研究が行われてきた。川端ら (川端, 山本 2007) や山本ら (山本, 安達 2005) は特徴的な表層表現を手掛かりに国会会議録を対象とした自動要約を行っている。平田ら (平田他 2012) は, 発言者の出身地域とオ) マトペの使用頻度についての分析を行っている. また, 国会会議録検索システムというシステムが公開されており，国会の会議録を自由に検索・閲覧することができる。これに対し，地方議会会議録のもつ会議録検索システムは, 市町村ごとに様式が異なっているため, 複数の市町村の会議録を対象に研究を行おうとした場合にそのまま利用することは難しい，そこで，地方議会会議録を収集して統一された書式に整形する必要がある.

これに関連し，木村ら (木村他 2009) や乙武ら (乙武他 2009) は北海道内の各市町村を対象に地方議会会議録の自動収集に向けた公開パタンの分析を行っている. 51 種類の収集パタンに

よる自動収集プログラムを用いて約 $94 \%$ の自治体から会議録の収集に成功している. この成果を参考にしつつ，我々は，各自治体が会議録を公開している形式を分析し，全国規模の会議録の収集を行った。

## 2.2 コーパス構築に関する研究

Web 文書を対象としコーパスを構築する研究では, 以下の研究が存在する. 関口ら (関口, 山本 2003) は Web 文書を収集し, HTML タグや日本語文章の書法を用い，質の面での改善を行うことでWebコーパスを作成した. 橋本ら (橋本, 黒橋, 河原, 新里, 永田 2011) は, ブログを対象とした自然言語処理の高精度化への寄与を目的とし, 81 名の大学生に 4 つのテーマで執筆させた 249 記事のブログに, 文境界, 形態素, 係り受け, 格・省略・照応, 固有表現, 評価表現に関する注釈付けを行った. Ptaszynski et al.(Ptaszynski, Rzepka, Araki, and Momouchi 2012) は，日本語のブログを自動収集して構築した，3.5 億文からなるコーパス YACIS に対して自動的に感情情報を付与した。また, 飯田ら (飯田, 小町, 乾, 松本 2008) は新聞記事を対象とし,述語項構造・共参照夕グを付与する基準について報告し, 事態性名詞のタグ付与において，具体物の夕グ付与と項のタグ付与を独立に行うことで作業品質を向上させている. しかしながら,本研究でコーパス構築の対象としたデータは地方議会会議録であり, これらのコーパス構築の手法とは対象とするデータが異なる.

## 2.3 主観的な情報の注釈付けに関する研究

本研究は政治的課題に対する賛否と積極性に関する注釈付けを行っており, 主観的な注釈付けの一つである。主観的な注釈付けとしては, 以下の研究がある. Weibe et al.(Weibe, Wilson, and Cardie 2005)は，意見などの private state をニュース記事の句に対して注釈付けを行っている。松吉ら (松吉, 江口, 佐尾, 村上, 乾, 松本 2010)は, 書き手が表明する真偽判断, 価値判断などの事象に対する総合的な情報を表すタグの体系を提案し，これに基づくコーパスを基礎とした解析システムを提案した。また, 評判情報に関する研究では, 小林ら (小林, 乾, 松本 2006) は主観的評価の構成要素を「根拠」「評価」「態度」の3つの要素に分類したうえでの注釈付きコーパスの作成を行っている。宮崎ら (宮崎, 森 2010) は, Web 文書を対象に, 製品の様態と評価とを分離した評判情報のモデルを提案し，評判情報コーパス構築の際の注釈者間の注釈摇れを削減する方法を論じている。大城ら (大城, 渡邊, 渋木, 木村, 森 2012) は, 施策や事業に対する賛否の意見を, 構造的に捉えるための注釈付けタグセットを提案し，その有効性を確認した。

我々の提案する注釈付けは，意見や評判情報の注釈付けと同様に文中のある部分に対して極性を付与するという点で共通しているが，極性に加えて程度を表す積極性の情報を注釈付けしている点でこれらの研究と異なる。積極性の情報を注釈付けすることの有用性については，次
節で説明する。

## 2.4 ボートマッチに関する研究

ボートマッチは選挙に関するインターネットサービスの一種で，有権者と立候補者，または有権者と政党の考え方の一致度を測定することができるシステムである。上神ら (上神 2006 ; 上神, 堤 2008 ; 上神, 佐藤 2009) はコンピュータによりコーディングを自動化する手法を提案しマニフェストの分析の自動化を行い，それを用いてボートマッチシステム「投票ぴったん」を作成した。また，毎日新聞の「えらぼーと」8などが公開されている.

木村ら (木村他 2011) は意思決定の際に用いられる決定木を用い，「決定木において同じ経路を選択する相手は同じ考え方をする相手とみなすことができる」という仮説のもとに, 利用者の政治的興味や関心を同定するための質問生成手法を提案している.

我々の場合, 賛否に加え積極性についても考慮し注釈付けを行うため, 既存のボートマッチシステムでは比較を行うのが難しいある施策や事業に対し同意見の議員を積極性という尺度を用いて分類することが可能となる。それにより，「昨年度は○○などの事業に取り組んできた」 と発言した議員と，「○○などの事業を行うのもやむを得ない」と発言した議員のように，どちらも賛成の意思を示しているが積極性の度合いが異なる場合に, 我々の提案する注釈付け手法を用いれば，前者の議員がより積極的に賛成であると注釈付けることが可能である。これにより, 当該の施策や事業を実現してほしい利用者に対し, その意見により近い前者の議員を提示することが可能となる.

## 3 地方議会会議録コーパス

本節では，地方議会会議録の収集および地方議会会議録コーパスを構築するプロジェクトの概要及び，構築された地方議会会議録コーパスについて説明する.

## 3.1 プロジェクトの目的

本プロジェクトは, 地方政治に関する研究の活性化・学際的応用を目指して, 研究者が利用可能な地方議会会議録コーパスを全国規模で構築しWeb 上で提供することを目的とする。また, そのコーパスを利用した政治学, 社会言語学, 情報工学の研究を行い, その成果を学際的に応用した政治情報システムの開発を行う. プロジェクトの全体像を図 1 に示す.

## 3.2 地方議会会議録の収集

全都道府県の県庁所在地と政令指定都市の計 51 市町村の会議録について平成 17 年から平成 22 年を対象に収集を行った。市町村の会議録の多くは, Web 上で専用の会議録検索システムを通して公開されている。その会議録システムは表 1 に示すように大きく分けて 4 つの会社が会議録検索システムを提供しており，それぞれ付録 $\mathrm{A}$ に示すクロールプログラムを構築し収集を行った。なお，その他に該当するのは秋田市のみで，独自の会議録検索システムを作っていたため人手により会議録を収集した。

図 1 プロジェクトの全体像

表 151 市町村の会議録検索システム

筒井, 我満, 大城, 菅原, 永井, 渋木, 木村, 森地方議会会議録コーパスと政治情報システム構築のためのアノテーション

## 3.3 地方議会会議録コーパスの構築

利用者の利便性を考慮し，付録Ａの方法により収集した会議録に対し表 2 に示す付随情報を付与し，データベース化を行った。その際には必要な発言のみを簡単に参照できるように会議録を発言単位に分割した。発言単位の分割については，句点や括弧などを区切りにしており， その際に HTML タグはすべて取り除いている。 以下，発言に付与する項目について説明する。「発言 ID」は各発言の識別を行うため,「市町村コード」は市町村ごとの検索のため,「議会名」 は議会ごとの検索のため,「議会種別コード」市町村によって名称の違う議会名を分類するためにそれぞれ必要となる。「年度」,「回」,「月」,「号」,「日付」については時間情報として重要なため必要である．「表題」はページのタイトルとして，「段落番号」は段落ごとの抽出を容易にするため，「役職名」は会議によって議員の役職が変わることがあるため，「発言者名」は会議録中の文字列をそのまま保持するため，また，発言者が議員であるとは限らないため，「議員 ID」 は議員の識別のためにそれぞれ必要である.「ファイルのパス」は元ファイルを参照することを容易にするため，「その他」は発言とそれ以外の内容を区別するためにそれぞれ必要となる。

例えば，図 2 のような会議録が与えられたとき，下線部の発言に対して表 3 のように情報が付与され, 図 3 の様になる.

「発言 ID」は会議録では 2 番目の発言であることを表している。「市町村コード」は総務省により割り当てられた地方公共団体コードを指す。「議会種別コード」は定例会と臨時会には個別

表 2 発言に付与する項目

○議長 (櫻井正富君） 次に、日程第 3 議案第 1 号から日程第 55 議案第 53 号までの 53 案を一括議題といたします。
市長から、上程議案前部に対する提案理由の説明を求めます。 なお、提案理由の説明に合わせて、新年度に臨む所信の表明を行いたい旨の申し出がありますので、 これを許します。くbr>市長宮島雅展君

（市長宮島雅展君登壇）

○市長（宮島雅展君） 本日ここに、3 月市議会定例会を開会するに当たり、私の市政運営に対する所信の一端と、議案第 1 号から議案第 15 号までの平成 22 年度予算の概要につきまして述べさせていただきたいと存じます。

図 2 甲府市議会会議録の例

表 3 発言に対する情報付与の例

のコードが割り当てられているが，その他の委員会は市町村によって異なるためその他と一括りにしている。「年度」は表題に含まれる和暦を西暦に直している。「回」は表題に「第○回定例会」のように書かれているものもあるが, 例のように「○月定例会」と書かれているものは,元ファイルが配置されていた同一ディレクトリ内の定例会の開催月を比較して何回目であるか
$2,19201,0010,2010,1,3$, 定例会, 1,0301, 平成 22 年 3 月定例会, 2, 議長, 櫻井正富, $1, /$ 甲府市議会/2010/平成 22 年 3 月定例会/ 平成 22 年 3 月定例会（第 1 号）.txt, “市長から、上程議案前部に対する提案理由の説明を求めます。”

図 3 図 2 中の下線部に対して付与を行った結果

を推定している．「議会名」は表題から日付や回などを省くことで生成される．「号」はファイル名より会議が 1 日目であることを表している。「日付」はこの例の中には現れていないが，会議録の HTML タグの中に現れるものを抽出している.「表題」は会議録の HTML ファイルにある title 要素であるが, titleがない場合はファイル名から「平成〜年○○会」までを抽出している.「段落番号」は 2 番目の段落であることを表している。なお, 段落の区切りは br タグにより判別される.「役職名」と「発言者名」は, 発言者の発言の最初に,「○役職名（発言者名君)」のような表現で現れるものを抽出している.「議員 ID」は全国の地方議員の一覧を別途用意し, すべての議員に割り振った.「ファイルのパス」は収集したファイルの保存場所を示している.「発言」には，該当する 1 文の発言を文字列で保存している.「その他」には発言以外の会議録の内容, 例えば「(市長宮島雅展君登壇 $)$ のような記述が入れられる.

## 3.4 地方議会会議録コーパスを用いた研究

前節の手法により構築した地方議会会議録コーパス及びそのデータベースにより, 全国の地方議会会議録に対し，「いつ」、「どの会議で」,「どの議員が」,「何を発言したのか」について検索を行うことが可能となる。これを受けて, 今後, 政治学, 社会言語学, 情報工学といった各分野での研究が期待されるが, 以下では現時点で行われている, 地方議会会議録コーパスを用いた情報工学と社会言語学の研究について紹介する.

## 3.4.1 情報工学の研究

情報工学の分野では，会議録に含まれるテキストから，政治的課題の表現や要求表現の自動抽出, 抽出データの関係推定などを用いて, 住民, 自治体職員, 政治家などに有益な情報を提供する研究が行われている。

会議録は定例会だけでも膨大な量であり, 北海道小樽市の市議会会議録の場合, 定例会 1 回分の会議録だけで A4 判にすると 200 ページを超える. 木村ら (木村他 2011) は，大量のテキストデータに対して能動的にアクセスし，これらのデータを読む住民が少ないと考え政治的課題の関心を明確にするための質問をシステムから利用者に行うことで, 利用者の考えに近い議員を提示する方法を提案している。
会議録に含まれる重要部分を抽出する研究も行われている。葦原ら (葦原, 木村, 荒木 2012) は, 会議録に含まれる重要な内容が議員からの質問に含まれることが多いことに着目し, 議員の質問から要求表現を抽出する研究を行っている.

他には, 大城ら (大城他 2012) は施策や事業に対する賛否の意見を, 構造的にとらえるための注釈付けタグセットを提案している。議員の施策や事業の意見について注釈付けを行うという点では共通しているが，同じ賛成（もしくは反対）を示す議員に対しその積極性を考慮するという点で本研究とは異なっている.

## 3.4.2 言語学の研究

地方議会会議録は, 社会言語学, 日本語学, 方言学などの研究に寄与する言語資源であると考えられる.しかし, 会議録は議会における発言を一字一句厳密に記録しているわけではなく,文章としての読みやすさを考慮して，意味内容が大きく変わらない範囲で修正（整文）が加えられている。高丸ら (高丸, 木村 2010 ; 高丸 2011, 2013) は地方議会会議録の言語資源としての性質を明らかにするための基礎研究として, 複数の地方議会会議録における整文の状況を分析し，実態を比較した。

整文の過程において，圥長な表現の削除や言い間違いや方言語彙の修正などが行われているため，地方議会会議録コーパスを用い話し言葉などに含まれる非流暢性を分析することは困難であると考えられるが，本コーパスは通時性・共時性を併せ持つ言語資源であるため，新しい文法表現の需要の実態や議会用語の変遷等を分析することが可能である。さらに，整文の担当者がある表現が方言であることに気付かないことや，発言者の口調を維持するために，方言であっても整文されずに残されることがあることといった理由により，会議録に現れる方言等を分析することが可能である. 現在これらの観点に基づく研究への本コーパスの活用が進められている.

## 4 賛否の積極性に関する注釈付け

3 節で説明した地方議会会議録コーパスにより, 発言（文）や方言のような表層的な表現の検索や分析は可能となった.しかし, 我々が開発を目指している, 利用者の考えに近い議員を提示するシステムを構築するためには，ある議員の施策や事業に対する意見, 例えばその賛否や積極性を判定する必要がある．意見は複数の形態素等の要素を組み合わせることにより表されるものであると考えられるため, 先に述べたプレインテキストに基づくコーパスの構築のみでは不十分であると考え，会議録中に表れる政治的課題や政策に対する賛否およびその積極性に関する注釈付けを行うこととした。

本節では, まず賛否の積極性に関する情報に関して考察し, 注釈すべき情報の定義を行う。付
与した XML 形式のタグの仕様と付与の基準について説明した後, 注釈付け結果の統計を示す.最後に，夕グに関する課題について述べる.

## 4.1 賛否の積極性に関する情報

賛否の積極性について考えるにあたり，会議録中の賛否を表明する発言を観察し，それらについて分析を行った，図 4 に，会議録の構成を 5 つの場面の観点から例文とともに示す.

図 4 に示した 5 つの場面の内，(i) から (iv) の場面において施策や事業およびそれに関する賛否を表す文や表現が現れることが多く, 一方で (v)の場面ではほとんど現れなかった.

次に，議員が施策や事業に関する意見を述べる際の発言の例を図 5 に示す。施策や事業に関する意見を表す文は，例文 (1)の下線部 (a)のように施策や事業そのものを表す表現と，下線部 (b) のように発言者の施策や事業に関する意見の表現の 2 つから構成されると考えることができ

（i） 質問 (会派の代表としての代表質問、一議員としての一般質問の 2 種類がある)例:私は、自民党横浜市議団を代表いたしまして、市政運営の重要課題について中田市長並びに田村教育長に質問いたします。(中略）そこで、開国博Y 150 成功に向け重要な時期となる夏休みの集客策について市長の考えを伺います。

(ii) 質問に対する回答

例:順次お答えを申し上げます。(中略）ヒルサイドエリアでの周辺地域の盛り上げ策でありますけれども、(中略)プレイベントの実施などを予定しております。

（iii） 討論（基本的に返答はない）

例:私は、日本共産党を代表して、今定例会に提出された市第 1 号議案横浜市職員に対する期末手当及び勤勉手当に関する条例の一部改正について反対の討論を行います。(中略) 今回の政治的で異常な勧告を認めるわけにはいきません。

(iv) 議案、法案等の説明

例:市第 22 号議案について御説明いたします。本案は、一般会計補正予算（第 2 号）でありまして、がん検診事業について国補正予算による国庫補助事業の詳細が示されたことから、本市における当該事業の迅速かつ円滑な実施を図るため、国庫支出金を財源として健康福祉費を 14 億 8675 万余円増額しようとするものであります。

（v）議長などによる挨拶、議決、各報告

例:ただいま書記に報告させましたとおり、現在着席議員数は 87 人であります。これより本日の会議を開きます。

図 4 会議録の場面構成
（1）（a)生産年齢人口相の市民の定着が (b) 必要と考えますが、将来に向けた本市の都市経営の在り方についてどのようにお考えなのかをお伺いします。

（2）（c）トンネル工事の開始に向けて (d) 積極的に取り組んでまいりたいと思います

（3）開港以来横浜に培われた

(e)国際性をさらに飛躍させていくという取り組みをこの近年

(f)強化しているわけでありまして、

（4）新型インフルエンザの国内発生後、直ちに発熱外来を 9 力所開設することができまして、その後さらに 4 カ所の $(\mathrm{g})$ 増設を行いました。

（5） 2007 年からの団塊の世代の大量退職が始まり、時間的ゆとりを持つ高齢層の増加に加え、若年層についても余暇に対する意識の変化などにより、 (h) 観光産業は今後の拡大が見込める成長産業と言えます。

(中略)

そこで、(i)国際観光コンベンション振興に関する市長の基本的な考え方についてお伺いいたします。

（6）（j)二律に大幅な削減を行うような過度な見直しは $(\mathrm{k})$ すべきでないと

(1)要請してきたところです

（7） （m) 発熱相談センターのオペレーターへの看護師の配置ということでありますけれども、発熱相談センターは、現在、オペレーターが相談シートに基づいて電話で相談を聞き取って、その内容をもとに医師、看護師を含む職員が判断を行うということにしているわけであります。職員は医療相談や発熱外来受診についての判断、医療機関との調整などを行っており、これは $(\mathrm{n}$ 適切に対応できていると思います。

（8）（o）緊急借換支援資金の実施期間の延長についてでありますが、緊急借換支援資金は、現下の厳しい経済状況を考慮して、借入金の返済負担の軽減を図るために緊急対策として創設をしたものでありまして、 $(\mathrm{p})$ 本年度末までの時限措置によって実施をしているものでございます。

（9）一方で競争を廃止した教育についても一部行われ、

(q)市民からも疑問の声が上がったと聞いております。

図 5 施策や事業に関する意見を含む文の例

る.なお，発言者としては，一般の議員に加えて，自治体の首長及び部局長，委員長，議長なども現れる。

まず，施策や事業の表現についての分析結果について述べる，例文 (2)では，施策や事業は下線部 (c)の複合名詞 1 語で表されているが, 例文 (1)の下線部 (a) や例文 (3) の下線部 (e), 例
文 $(7)$ の下線部 $(\mathrm{m})$ のようにより大きな名詞句で 1 つの施策や事業が表現されているものも多く存在しており，いずれの場合も連続する文字列で現れていることが多かった．また，例文 (4) のように，施策や事業は現れていないが，その実施の度合いのみを述べている文も多く存在していた.

次に，施策や事業に対する賛否の表現についての分析結果を述べる。例文 (1) から例文 (5) までのように，施策や事業に関して賛成を述べる表現と, 例文 (6), (7) のような施策や事業に対して反対を述べる表現がある。その比率としては賛成が非常に多かった。これは自分の関心のある施策や事業と，行政側に実現させたい施策や事業について言及することが非常に多く見られたことによるものであると思われる，賛成を述べる際には，例文 (1) の下線部 (b) や，例文 (5)の下線部 (h)のように明確に賛成の意思を表す文が非常に多く見られた。下線部 (d)のように「積極的に」などの言葉が入り，積極的な意思を示す表現も見られた. 反対を述べる際には，賛成の場合と同様に例文 (6) の下線部 (k) と (l)のように明確に反対の意思を表明する文も存在するが，例文 (7) のように，現状で十分であり，新たな行動を起こす必要がないため，下線部 (m) の施策や事業には賛成ではないというように, 消極的に反対を述べる文も存在していた.

また，例文 (5)の下線部 (h) と (i)のように，施策や事業を表す表現が意見を表明する文以降の文で発言され，それ以前の文にその施策や事業に対する説明があり，それが施策や事業に対する意見の理由となるような文も存在していた。他にも例文 (9) のように，自らの意見ではなく市民の声として施策や事業に対して意見を述べる文も見られた.

さらに，同じように賛成の立場（もしくは，反対の立場）を表明していても，言及する施策や事業がどのくらい実現されているかの度合いにも差が見られた。その度合いは図 6 に示す 4 つに大別することができた。ここで，議員の施策や事業に関する意見を表明する発言を読み，そ

度合い 1 例文 (1) の下線部 (b) や例文 (2) の下線部 (d) のようにまだ取り組んでおらず，意見を述べただけの状態.「〜すべき」「〜したい」,「〜と思う, 考える」等の意思を表す表現が主に見られた。

度合い 2 例文 (3) の下線部 (f) のように実際に取り組み始めてはいるが，まだ終了していない状態.「〜している」，「〜してきた」のように進行相の表現が多く見られた。

度合い 3 例文 (4) の下線部 (g) のように政治課題に取り組み, それがすでに終了している状態.「〜 した」のように過去時制の表現が多く見られた。

度合い 4 例文 (5) のように, 政治課題に着手している, もしくはもう既に完了していて更に行動を拡大しょうとしている状態.

図 6 施策や事業の実現の度合い

の賛否への積極性を判断する場合を内省すると，積極性を判断するための手掛かりとして，少なくとも以下の 3 点があった， 1 点目は，発言中の「やむを得ない」などのほかに手立てがないことを示す表現である. この表現がある場合, 消極的な賛成（もしくは, 反対）であることが読み取れる。しかしながら，会議録の場合，一般的には積極性を示すはずの表現の存在が必ずしも字義通りの積極性を示すとは限らない，例えば，「取り組まねばならないと考えている」 という表現の場合，一般的には積極的な賛成を示していると考えられるが，会議録における議員の発言においては，この表現だけをもって，積極的な賛成であると判断することは不適切である。なぜなら，会議録には特有の表現や言い回しがあり，議員は施策や事業に積極的に取り組むことが当然として捉えられているため, 積極的であることを示す表現が常時の表現となっていることが多い，一方，消極的であることを示す表現に関しては，例えば「大幅な繰り入れについてはおのずから限界があると考えるので，値上げについては賛成とは言えないが，やむを得ないと考える」のように，現状が非常に厳しいため本心では実施したくないのだが現状を鑑みると実施せざるを得ないという意図で発言したと読み取れ，消極性が感じられる。すなわち, 積極的であることを示す表現が常時の表現のため, 表現が積極的なものに偏っており, 積極的か消極的かを示す表現で，非対称性があるように思われる.

2 点目は，言及された施策や事業の具体性である。積極的であるように読み取れる場合, その施策や事業への言及が具体的であることが多い，例えば，単に「取り組まねばならない」という発言よりも「○○といった理由により $\triangle$ 月までに取り組まねばならない」という発言の方が，積極的に取り組むという意思を読み取ることができる，具体性の有無を判断する手掛かりとして，実現したい施策や事業の詳細な内容や，現状を数値などを踏まえて言及するような構造等が考えられるが，本稿では施策や事業に対する意見の根拠となる理由に着目し, 理由が述べられている文には具体性があると考えた。

3 点目は，言及された施策や事業の実現度合いである。すなわち, これから取り組みたいという意思を表明しているだけのか, それとも, 既に施策や事業の一部に着手しているのか, といった違いにより，賛否の積極性を読み取ることができると考えられる.

施策や事業に対する賛否の積極性を判断する上で，上記の 3 点が手がかりになるということは仮説であるが，賛否の積極性に対する人間の判断結果と共に，これらの手がかりに関する表現の注釈付けを行うことにより, その仮説の分析，および，その分析結果に基ついて構築された積極性判断のための仕組みが正しく動作しうるかどうかの確認が可能となる.

## 4.2 賛否の積極性に関する注釈付け

本稿では，地方議会会議録コーパスに収録されている，札幌市，横浜市，京都市，北九州市の 4 市の 2010 年の第 2 回定例会を対象に注釈付けを行った.この 4 市を対象とした理由は, 政令指定都市であること, 全国に散らばっていること, 同一の記述形式の会議録を採用している

ことの 3 点による. 注釈付けを行う単位として, 「発話」,「段落」,「文」,「文字列」の 4 つの単位を用い，「文」，「段落」、「発話」を以下のように定義した。まず，4市の会議録の記述形式では，全ての文の最後が句点で終わっていることから，句点を「文」の境界とした．次に，同一の話題に関する文は 1 つの段落にまとめて記述されており, 全ての段落の最初には空白が存在することから，行頭の空白を「段落」の境界とした，最後に，文の発言者に関する情報がコー パス中に収録されているため，発言者が同一人物である文の連続を 1 つの「発話」とした。

4.1 節での議論を基に，表 4 に示す 11 種類の夕グに関して注积付けを行うこととした．先に述べた 4 つの都市に対して， 8 人の注釈者が 1 人 2 都市ずつ担当し注釈付けを行い， 1 都市につき 4 つのコーパスを作成することとした，注釈者の育った言語環境は全員日本語で，出身地は神奈川県が 3 人, 静岡県が 2 人, 愛知県が 1 人, 岡山県が 1 人, 佐賀県が 1 人であった. 注积作業にかかった時間は，おおむね 1 都市につき 15 時間から 20 時間程度であった。各注釈の説明を以下に述べる。

(1) 番目は, 発言がどのようなシーンでなされたかの注釈であり，発話単位で付与する，議員が意見を述べることが多いシーンについて，発言が行われる場面ごとの比較や分析を行えるよう「質問」，「回答」，「討論」，「説明」の 4 シーンを想定し，各シーンを以下のように定義した.
- 「質問」: 発言中に他者に対して回答を求める文が存在している.
- 「回答」: 発言中に他者からの質問に対する回答となる文が存在している.
- 「討論」: 自分の意見を一方的に表明している文が存在している.
- 「説明」: 議案等の内容を説明する文が存在している.

上記の 4 シーンに当てはまらないシーンは「その他」として注釈づけを行った。シーンは排他的に注釈付けられる。すなわち，注釈者は上記の 4 シーンに「その他」を加えた 5 つのうちか

表 4 注釈の一覧

ら 1 つを選ぶ。作業効率の観点から,「その他」のシーンにおける発言には (2) 以降の注釈付けを行わなかった。

(2) 番目は, 発言者の関心がある施策や事業に関する注釈であり, 文字列単位で付与する。発言中に含まれる施策や事業を示す文字列を同定するとともに, これに対し, 「賛成 (推進)」,「反対 (廃止)」，「その他」の何れかの極性を付与する。これにより，発言に対する賛否の自動判定を行うための機械学習の教師情報として，注釈付けを行ったコーパスを利用できる．極性の判断は前後の文脈に現れる記述により，作業者の主観に基づいて行われた。施策や事業に関する注釈付けは次のような形で行われる。

<Policy Polarity="賛成">A N A 5 路線の存続</Policy>

この例では, 「ANA 5 路線の存続」という施策に対し, 発言者は賛成の意思を立場を示している。

(3) 番目は, 発言内容のカテゴリーに関する注釈であり, 段落単位で付与する．カテゴリー は, 木村ら (木村, 渋木, 高丸, 小林, 森 2010)の政治的カテゴリーを参考に, 比較的議題に挙げられることが多い, 「医療」,「教育」,「環境」,「観光」,「防災」,「公共」の 6 カテゴリーを対象とした．1つの段落に複数のカテゴリーを付与することを許可している．また，発言内容がどのカテゴリーにも属さない場合には「その他」として注釈付けを行った.

(4) 番目は, 質問と回答の対応付けに関する注釈であり, 段落単位で付与する. 質問の段落から回答の段落へと 1 対 1 で対応付けており, もしも, 回答が複数の段落にまたがっている場合は最初の段落に対応付けを行った。段落に対する注釈付けは次のような形で行われる。これにより，ある議員の質問とそれに対する行政側の回答が結び付き，施策・事業ごとの議員の意見と行政側の意見を 1 つの組として分析が可能となる.

<Paragraph Id="P338" CorrespondingAnswerParagraphID="P438" Category="医療">

この例では, 338 番目の段落は医療のカテゴリーについて発言しており, その段落の中で現れた質問は，438 段落で回答されていることを表している.

(5) 番目は，疑問文かどうかを判断した結果の注釈であり，文単位で付与する，本稿での疑問文とは，他者の回答を要求する文と定義しており，「○○についてお聞かせ願いたい」といった表現であっても疑問文とした.

(6) 番目は, 意見性がある文かどうかを判断した結果の注釈であり, 文単位で付与する。本稿での意見性がある文とは，「○○すべきだ」，「 $\triangle \triangle$ の方が良いと考えられる」といった意見であることが明確に示されている文と定義している.

(7) 番目は, 発言者本人の意見である文かどうかを判断した結果の注釈であり, 文単位で付与する.

(8) 番目は，発言内容の中核となる文に関する注釈である，本稿での中核となる文とは，発言内容を端的に述べている文と定義している。我々は，システムが利用者に発言内容を提示する
際には，発言内容の整理・要約を行う必要があると考えており, 整理・要約を行うための情報として利用することを想定している，（2）の施策・事業を注釈を含む文，または，(6)の意見性があると判断された文を含む段落には，最低でも 1 文は中核となる文を選定し注釈付けを行うこととした.

（9）番目は，（2）の施策・事業の極性または (6) の意見性がある文と，その理由となる文との対応付けに関する注釈である。理由となる文から，(2)で選択された施策・事業または (6) の意見性がある文へと 1 対多で対応付けを行っている。これらが複数存在することにより，理由となる文の集合と，(2) ならびに (6) に属する文の集合の間に多対多の関係が成り立つ. これにより，施策や事業に対する賛否の現れ方や，どのような発言が賛否の理由となるのかについての分析が可能となる.

(10) 番目は，発言時点で文中の意見がどの程度実現されているかの注釈であり，文単位で付与する．実現の程度として，「表明」，「着手」，「完了」，「拡大」の 4 つの状態を以下のように定義した。

・「表明」: 何も実現できていない状態. やるべきという意思を表明したたけの状態.
- 「着手」: 実現のために行動を開始した状態. 現在進行中であり, 目標は達成されていない.

-「完了」: すでに目標を達成した状態. 現在は行動していない.
- 「拡大」: すでに目標を達成しており, さらなる成果を求めて行動したい(している)状態.

(2) の施策・事業を注釈した文には必ず付与することとした.

(11) 番目は，総合的に見て，文中の意見がどの程度説得性がありそうか（目標を実現できそうか）に関する注釈であり，文単位で付与する。説得性の判断は前後の文脈を考慮した作業者の主観に基づいて行われ，(2)の施策・事業に関する注积付けを行った文には必ず付与することとした，前述の理由の対応付けや意見性の有無と合わせて，発言中のどの要素が意見の積極性を表すかについての考察が可能となる。文に関する注釈付けは以下のように行われる.

<Sentence Id="S346" Member="(小川直人議員)" IsQuestion="False" IsOpinion="True" IsPrincipal="True" Actualization="不明" CorrespondingConclusive="P:352_11_9:A N A 5 路線の存続" IsPersuasive="True" IsCoreSentence="False">丘珠 5 路線は、道内主要都市を結び、ビジネスマンや観光客、さらには札幌市内医療機関への通院など、多くの人がさまざまな目的を持ち札幌と各地を往来しており、移転することで年間 37 万人の利用者の利便性や経済活動を著しく損なうことになるのは明らかであります。</Sentence> <Sentence Id="S352" Member="(小川直人議員)" IsQuestion="True" IsOpinion="True" IsPrincipal="True" Actualization="表明" CorrespondingConclusive="None" IsPersuasive= "True" IsCoreSentence="True">そこで、質問ですが、<Policy Polarity="賛成">A N A 5 路線の存続</Policy>に向けては、道、経済界、関係自治体が一体となった活動が求めら

図 7 タグ付けツール

れ、さらには、道民、市民に大きく運動を広げていくことも視野に入れた取り組みが必要と考えますが、今後、市長はどのように対応しようとされているのか、お伺いいたします。 </Sentence>

表 4 中の各注釈は (5) から順に,「IsQuestion」,「IsOpinion」,「IsPrincipal」,「IsCoreSentence」, $\lceil$ CorrespondingConclusive」，「Actualization」，「IsPersuasive」と表され，この例では， 2 文目に現れている「ANA 5 路線の存続」という施策に対し, 1文目がその理由として結びついている.注釈者の注釈付けの際の誤りを軽減するために，図 7 に示す，専用の夕グ付けツールを開発し, ツールを通して上記の注釈付けを行った。 注釈情報は, 図 8 に示すような XML 形式で付与される。

## 4.3 注釈結果の統計および分析

4.2 節で述べた 4 都市の当該会議録に対する注釈付けを行った結果の傾向を分析するために,各統計量を調査した。その結果を表 5 から表 10 に示す. 以下の (1)などの数字は, 4.1 節の表 4

<Paragraph Id="P178" CorrespondingAnswerParagraphID="None" Category="医療"> <Sentence Id="S432" Member=" (中山大輔君) " IsQuestion="False" IsOpinion="True" IsPrincipal="True" Actualization="不明" CorrespondingConclusive="P:434_25_17:感染症病床を方面別に新たに整備する" IsPersuasive="False" IsCoreSentence="True"> 他の医療機関に協力を依頼することにより一時的に入院患者への対応はできると思いますが、現行では厳重な感染対策を講じ、さらに、人工呼吸器の装着が必要な重症患者が増加をすれば通常の診療に影響が出ることなど、強毒性のインフルエンザの入院治療必要患者を受け入れられる余カが一般の病院にあるのか、懸念されるところです。く/Sentence>

<Sentence Id="S433" Member=" (中山大輔君) " IsQuestion="False" IsOpinion="True" IsPrincipal="True" Actualization="不明" CorrespondingConclusive="P:434_25_17:感染症病床を方面別に新たに整備する" IsPersuasive="False" IsCoreSentence="False">現段階のように、新型インフルエンザは毎年流行するインフルエンザと同じ弱毒性との見解を示されていますが、しかしながら、世界じゅうの大半の人が経験をしたことがないウイルスのため、免疫がなく、さらに、インフルエンザウイルスは変異をしやすく、流行中に強毒性に変わることも考えられるため、警戒は依然急れないと考えます。く/Sentence>

<Sentence Id="S434" Member=" (中山大輔君) " IsQuestion="False" IsOpinion="True" IsPrincipal="True" Actualization="表明" CorrespondingConclusive="P:434_25_17:感染症病床を方面別に新たに整備する" IsPersuasive="True"IsCoreSentence="True">そうした中、パンデミックの状態になった場合に備え、<Policy Polarity="賛成">感染症病床を方面別に新たに整備する</Policy>などの対策も必要ではないかと考えます。</Sentence> </Paragraph>

図 8 XML データの例

表 5 総発話数とシーンごとの内訳

表 6 段落とカテゴリーごとの内訳

表 7 文単位の注釈結果

表 8 施策・事業の注釈結果

表 9 実現度と説得性の内訳

筒井, 我満, 大城, 菅原, 永井, 渋木, 木村, 森地方議会会議録コーパスと政治情報システム構築のためのアノテーション

表 10 理由と説得性の関係

中の注釈の種類番号である。表 5 に，会議録中の発話の数と (1) で付与されたシーンの内訳を示す. 表 6 には，会議録中の段落の数，(3) のカテゴリーが付与された段落の数およびその内訳を示す. 各段落には複数のカテゴリーの付与を許可していることと，ならびに「その他」のシーンの段落にはカテゴリーが付与されていないことに注意されたい. 表 7 に，会議録中の文の数，(1) で付与されたシーンの文の数とその内訳，(3)で付与されたカテゴリーの文の数とその内訳，(5)の疑問文の数，(6)の意見性のある文の数，(7) の本人の意見である文の数，(8)の中核となる文の数，(9) の理由となる文の数，(10)の実現度を有する文の数とその内訳，(11)の説得性がある文の数を示す. 表 8 には，(2)の抽出された施策や事業及び極性の内訳を示す. 各表中の括弧内の値は割合を示している。表 9 に，各実現度と説得性の関係を示しており，括弧内の数はそれぞれ表明の文の中で説得性のあるものの割合と，着手・完了・拡大の文の中で説得性のあるものの割合を示している．表 10 に，意見文および施策や事業に対して理由が結びつくかどうか，それらが説得性を持つかどうかを示している。なお，表中の数値は 4 都市の注釈結果を合計したものである.

まず， 4 都市間で注釈結果を比較すると, 表 5 から表 8 に関しては注釈の数の分布に大きな差は見られない.

次に，表 5 から順に統計量からわかったことについて述べる.

表 5 の総発話数とシーンごとの内訳を見ると，いずれの市においても「その他」のシーンが一番多く，「回答」，「質問」のシーンが残りの大部分を占めている。「その他」のシーンは，図 4 の (5) に示したとおり，議長の挨拶や議決，予算などの各種報告に対して注釈されるものであり, 施策や事業に対し意見を述べる発言はほぼ存在しない。そのため, 施策や事業に対する賛否を判定する際には不要であり，シーンに関する注釈付けをおこなうことにより，これらを省いたデータを作成することが可能になると考えられる．また，「回答」のシーンの注釈数を 4 都市間で比較すると, 北九州市のみ他の都市より多くなっていた. 4 都市とも質問者の多数の質問に対し，市長及び関係部署の議員が答える形式をとっているが，北九州市は部署の区切りが 「建設都市局長」「建設局長」というように役職が細かく設定されているため，回答者が増える傾向にあるからではないかと思われる。このように, 各シーンの分布の違いから各都市の議会の傾向について分析することも可能であることがわかった.

表 6 の段落とカテゴリーごとの内訳を見ると, いずれの都市においても「その他」が一番多

く,「医療」が次に続き「教育」、「公共」が残りの多くを占めている。今回注釈付けを行ったのは 2010 年の会議録であり，その前年の 2009 年に新型インフルエンザが世界的に流行していたため，それに対しての対策等について述べる議員が多く，「医療」のカテゴリーであると注釈された段落の数が他の物に比べて多くなったものと考えられる。この結果から，議会の話題は時事的な問題に影響を受け得るということがわかった.

表 7 の文単位の注釈結果を見ると，カテゴリーの分布は特に変わらないが，シーンの分布は大きく変化し，「質問」のシーンと注釈された発話に含まれる文が一番多くなっている。これは 4 都市の議会の質問応答形式が一括質疑・一括答弁であり，発話者が交代する場面が少ないことによる。このように，発話単位でのシーンと各シーンの発話に含まれる文の数を比較することで，議会の質問形式の傾向を知ることができる。

表 8 の施策や事業の極性の内訳をみると，賛成の割合が横浜市，札幌市においては約 9 割, 北九州市，京都市においては約 8 割をそれぞれ占めていた。これにより，会議録中の発言では賛成意見が常時の表現となっているという 4.1 節における 1 点目の観察について裏付けることができた。また，賛否の判定を二値分類で行う際には否定の判定精度が重要になると考えられる。

表 9 の実現度と説得性の関係を見ると，実現度に関する注釈付けのある文に関して説得性があると判断された文の割合が約 4 割から 5 割となっており，実現度に関する注釈付けのない文に関して説得性があると判断された文の割合を大きく上回っている。これにより，度合いにかかわらず実現度を含む文，すなわち施策や事業を実現したいという発言や，既に実施しているという発言は積極性に寄与すると考えることができそうである.

最後に，意見文および施策や事業に対して，それらに理由が結びついているか，説得性を持つかに関しての統計を示した表 10 を見ると, 理由が結びついている文や施策は説得性があると判断されることが多い傾向にあり，理由を持つ文は積極性の手がかりになるという 4.1 節における 2 点目の観察を裏付けることができた.

## 4.4 付与したタグの課題

本小節では地方議会会議録コーパスに我々が提案したタグを付与した際に明らかになった課題を，「夕グの仕様」と「注釈付けにおける主観的判断」の 2 つの観点から説明する.

## 4.4.1 タグの仕様策定に関わる課題

「理由の対応付け」のタグは施策や事業に関する賛否の理由となる文に対して付与され，その理由と施策や事業とを結びつけるものであるが，その付与単位を「文」としている。また，会議録では「○○してまいります」や「○○と考えます」等のような文末表現が常態となっており,「××を行うことは大きな利益を生むため, 推進していこうと考えております」といった,理由を含む複文においても文末表現として現れることが多い。そのため, 理由を表す表現につ
筒井, 我満, 大城, 菅原, 永井, 渋木, 木村, 森地方議会会議録コーパスと政治情報システム構築のためのアノテーション

いて分析を行いたい時には，単に理由を含むと注釈づけられた文全体に注目するだけでは正しくないという問題がある。理由に緾わる分析を簡単に行えるようにするためには，「理由の対応付け」の夕グの注釈単位を文字列とし，先述の例の「××を行うことは大きな利益を生むため」 にのような従属節等に注釈付けを行えるような仕様とすれば, この問題は解決できると考えられる。

## 4.4.2 注釈付けにおける主観的判断

テキストに対する注釈付けにおいて，一般的に，注釈者間の判断が必ずしも一致しないことが問題となる。本稿における注釈付けにおいては，特に「施策・事業」の認定に関する判断に摇れが見られた。「施策・事業」の夕グは文字列に対し付与されるものであるが，議員の発言中に必ずしも施策や事業がひとつの連続した文字列や名詞句の形で出現するわけではなく, 図 9 のように，注釈者によりどの範囲を施策や事業として捉えるのかが異なってしまうことがあった.いずれの例もどの範囲を施策や事業として注釈付けるかで摇れが生じているのだが，下の例に関してはある注釈者は 2 つの施策があると注釈し, 別の注釈者は䌂めて 1 つの施策として注釈付けている。これにより施策や事業とそれに関する賛否の分析を行う際にばらつきが生じてしまう，解決策としては施策や事業のみ範囲をあらかじめ決めておくという仕様にすることが考えられる。

・（中略）各商店街が行うキャンペーン事業や広告宣伝事業等を支援するために要する経費を追加するものであります.

・（中略）各商店街が行うキャンペーン事業や広告宣伝事業等を支援するために要する経費を追加するものであります.
- (中略) 消費者センターの消費生活相談窓口や消費者への教育, 啓発の強化等の事業を実施するための経費を計上するとともに, 消防法施行令の改正により, スプリンクラーの整備が必要となる認知症高齢者グループホームに対し, 補助を行うための経費を計上するものであります.
- (中略) 消費者センターの消費生活相談窓ロや消費者への教育, 啓発の強化等の事業を実施するための経費を計上するとともに, 消防法施行令の改正により, スプリンクラーの整備が必要となる認知症高齢者グループホームに対し, 補助を行うための経費を計上するものであります。

図 9 施策や事業の認定に関する判断に生じた摇れの例

## 4.4.3提案した注釈付け手法に追加して必要であると考えられる情報

本稿では議員の施策や事業に関する賛否と積極性に関する注釈付け手法を提案したが，積極性は必ずしもその有無といった二值の值で判断される情報ではなく，例えば「やや積極的」「かなり積極的」というように，積極的な場合と消極的な場合のいずれにおいても複数の段階が存在することがある。このような場合において，より詳細に注积付けを行うためには，積極性に関する度合いを表現する手段が追加される必要がある。

## 5 おわりに

本稿では, 地方政治に関する研究の活性化・学際的応用を目指して, 全都道府県の県庁所在地および政令指定都市の計 51 市町村について会議録の収集とコーパスの構築を行った. 51 市町村の会議録は Web 上で主に 4 社の会議録検索システムにより提供されており，ページに張られたリンクをたどっていく方法と CGI のパラメータを変えていく方法などにより，会議録を自動的に収集することを行った。地方議会会議録コーパスには 17 項目の情報を付与しており，また，発言単位に分割してデータベース化を行っている。

また，我々が目的とする会議録に打ける発言を基に利用者と政治的に近い考えをもつ議員を判断して提示するシステムの開発に向け, 地方議会会議録コーパスの分析・評価用のデータ作成のために, 会議録中の議員の, 施策や事業に対する賛否とその積極性に関する注釈付けを行う手法について提案をした. 注釈結果の統計および課題について論じた. 今後, 本稿での分析により得られた知見を基に，各発言に対して，賛否とその積極性を自動判定する手法を開発したいと考えている.

## 謝 辞

本研究の一部は, JSPS 科研費 22300086 の助成を受けたものである.

## 参考文献

蔁原史敏, 木村泰知, 荒木健治 (2012). 地方議会会議録における要求・要望表現抽出の提案. 言語処理学会第 18 回年次大会論文集, pp. 1-27.

de Goede, B., van Wees, J., Marx, M., and Reinanda, R. (2013). "PoliticalMashup Ngramviewer

Tracking Who Said What and When in Parliament." Research and Advanced Technology for Digital Libraries, pp. 446-449.
橋本力, 黒橋禎夫, 河原大輔, 新里圭司, 永田昌明 (2011). 構文・照応・評価情報つきブログコーパスの構築. 自然言語処理, 18 (2), pp. 175-201.

平田佐智子，中村聡史，小松孝徳，秋田喜美 (2012). 国会会議録コーパスを用いたオノマトぺ使用の地域比較. 第 27 回人工知能学会全国大会論文集, 3N4-OS-01c-2, 31 (10).

飯田龍, 小町守, 乾健太郎, 松本裕治 (2008). 述語項構造と照応関係のアノテーション：NAIST テキストコーパス構築の経験から. 自然言語処理, 17 (2), pp. 25-50.

井上史雄 (2013). [ことばの散歩道] 171 去った○日. 日本語学, 31-10.

川端正法, 山本和英 (2007). 話題の継続に着目した国会会議録要約. 言語処理学会第 13 回年度大会, pp. 696-699.

川浦昭彦 (2009). "Self-Serving Mayors and Local Government Consolidations in Hokkaido." 日本経済学会春季大会研究報告.

Kawaura, A. (2010). "Self-Serving Mayors and Local Government Consolidations in Japan." In University of Hawaii Department of Economics Working Paper.

木村泰知, 渋木英潔, 高丸圭一 (2009). 地方議員と住民間の共同支援に向けたウェブの利用. 選挙研究, 25 (1), pp. 110-118.

木村泰知，渋木英潔，高丸圭一，小林哲郎，森辰則 (2010). 北海道を対象とした地方議員と住民間の共同支援システムのユーザインターフェース評価. 第 24 回人工知能学会全国大会論文集， 2J2-NFC2-3.

木村泰知, 渋木英潔, 高丸圭一, 乙武北斗, 小林哲郎, 森辰則 (2011). 地方議員マッチングシステムにおける能動的質問のための質問生成手法. 第 24 回人工知能学会全国大会論文集, 26 (5), pp. 580-593.

小林のぞみ，乾健太郎，松本裕治 (2006). 意見情報の抽出／構造化のタスク使用に関する考察.

自然言語処理研究会報告 2006-NL-171.

松吉俊, 江口萌, 佐尾ちとせ, 村上浩司, 乾健太郎, 松本裕治 (2010). テキスト情報分析のための判断情報アノテーション. 電子情報通信学会論文誌, J93-D (6), pp. 705-713.

宮崎林太郎, 森辰則 (2010). 注釈事例参照を用いた複数注釈者による評判情報コーパスの作成.

自然言語処理, 17 (5), pp. 3-50.

森脇俊雅 (2008). 合併と地方議会活動：議員アンケートの分析を中心にして. 選挙研究, 23, pp. 82-90.

大城卓, 渡邊裕斗, 渋木英潔, 木村泰知, 森辰則 (2012). 地方政治情報システムのための地方議会会議録への注釈付けタグセットの提案. 言語処理学会第 18 回年次大会発表論文集, pp. 3-9.乙武北斗, 高丸圭一, 渋木英潔, 木村泰知, 荒木健治 (2009). 地方議会会議録の自動収集に向けた公開パタンの分析. 言語処理学会第 15 回年次大会, pp. 192-195.

Ptaszynski, M., Rzepka, R., Araki, K., and Momouchi, Y. (2012). "Automatically Annotating A

Five-Billion-Word Corpus of Japanese Blogs for Affect and Sentiment Analysis." In Proseedings of the 3rd Workshop on Computational Approaches to Subjectivity and Sentiment Analysis, pp. 123-130.

関口洋一, 山本和英 (2003). Web コーパスの提案. 情報処理学会研究報告. 情報学基礎研究会報告, 2003 (98), pp. 123-130.

高丸圭一, 木村泰知 (2010). 栃木県の地方議会会議録における整文についての基礎分析一本会

議のウェブ配信と会議録の比較一. 都市経済研究年報, pp. 74-86.

高丸圭一 (2011). 規模の異なる自治体における地方議会会議録の整文の比較. 社会言語科学会第

27 回研究大会, pp. 256-259.

高丸圭一 (2013). 形態素 N-gram を用いた地方議会会議録における地域差の分析手法の検討一

ひらがなで構成された文末の 4-gram に着目して一. 明海日本語, pp. 1-10.

上神貴佳 (2006). 投票支援ツールと『政策中心の選挙』の実現一オランダの実践と日本におけ

る展望一. 選挙学会紀要, 6, pp. 43-64.

上神貴佳, 堤英敬 (2008). 投票支援のためのインターネット・ツール一日本版ボートマッチの

作成プロセスについて一。選挙学会紀要, 10, pp. 39-80.

上神貴佳, 佐藤哲也 (2009). 政党や政治家の政策的な立場を推定するーコンピュータによる自

動コーディングの試み一. 選挙研究, 25 (1), pp. 61-73.

Weibe, J., Wilson, T., and Cardie, C. (2005). "Annotating Expressions of Opinions and Emotions

in Language." Language Resources and Evaluation, 39 (2-3), pp. 165-210.

山本和英, 安達康昭 (2005). 国会会議録を対象とする話し言葉要約. 自然言語処理, $12(1)$, pp. $51-78$.

Yu, B., Kaufmann, S., and Diermeier, D. (2008). "Classifying Party Affiliation from Political

Speech." Journal of Information Technology $\mathcal{E}$ Politics, 5 (1), pp. 33-48.

平野淳一 (2008). 「平成の大合併」と市長選挙. 選挙研究, 24 (1), pp. 32-39.

## 付録

## A各会議録検索システムのクロールプログラムの仕様

表 1 に示した 4 つの会社が提供する会議録検索システムのそれぞれに収録された会議録を収集するためのクロールプログラムの仕様は以下のとおりである.
- 大和速記情報センター・会議録研究所：大和速記情報センターおよび会議録研究所の会議録検索システムを導入している市町村の Webページでは, トップページもしくはトッ

プページから直接リンクが張られているページに，各年度の会議録へのリンク一覧が存在するものがほとんどである。リンク一覧が存在しない場合, 検索用の入力フォームに未記入で検索を実行することで全会議録の検索結果がリンク情報として表示される。これらのリンクをクロールプログラムが辿ることで会議録のページを自動的に取得する.
- フューチャーイン：フューチャーインの会議録検索システムを導入している市町村の Web ページでは，会議録検索システムの出力が CGI プログラムにより自動生成されていて， その CGI プログラムに渡すパラメタにより出力内容を制御できる。例えば，会議録の検索は，以下のようなパラメ夕を渡すことで行われている。

$\mathrm{ACT}=100 \& \mathrm{KENSAKU}=0 \& \mathrm{SORT}=0 \& \mathrm{KTYP}=0,1,2,3,4 \& \mathrm{KGTP}=0,1,2,3,4 \& \mathrm{PAGE}=1$

CGI プログラムに渡すパラメタ PAGE の値を順次変えることですべての検索結果を得ることができる。 パラメタ ACT, KTYPの値はそれぞれ，ページの表示方法，会議種別に対応する。また，会議録は発言ごとに分割されており，同じ CGI プログラムにおいて，次のようなパラメタを渡すことで各発言を取得できる。

$\mathrm{ACT}=203 \& \mathrm{KENSAKU}=0 \& \mathrm{SORT}=0 \& \mathrm{KTYP}=2,3 \& K G T P=1,2 \& T I T L \_S U B T=\% 95 \%$ BD \%90\%AC\%82Q\%82Q\%94N\%81@\%82Q\%8C\%8E\%92\%E8\%97\%E1\%89\%EF\%81\%7C03\%8 $\mathrm{C} \% 8 \mathrm{E} 03 \% 93 \%$ FA-04\%8D $\% 86 \& \mathrm{HUID}=46845 \& \mathrm{FINO}=655 \&$ HATUGENMODE $=0 \& H Y O U$ JIMODE $=0 \& S T Y L E=0$

パラメタ TITL_SUBT，HUID の值はそれぞれ，URI エンコードされた表題, 発言 ID に対応する。 パラメタ ACT は，この例の「203」では「発言」，ひとつ前の例の「100」では「検索結果」を指している。 パラメタ TITL_SUBT の値は, この例では「平成 22 年 2 月定例会 03 月 03 日-04号」を指している. クロールプログラムは, これらパラメ夕の値を順次変えることで CGI プログラムを経由して会議録を自動的に取得する.
- 神戸綜合速記：神戸綜合速記の会議録検索システムを導入している市町村の Web ページでは，会議録検索システムの検索結果の出力が CGI プログラムにより自動生成されており，その CGI プログラムに渡すパラメ夕により出力内容を制御できる．例えば，会議録の検索は，CGI プログラムに以下のようなパラメ夕を渡すことで行われている。

treedepth $=\% 95 \% \mathrm{BD} \% 90 \% \mathrm{AC} 22 \% 94 \mathrm{~N} \% 20 \% 95 \% \mathrm{BD} \% 90 \% \mathrm{AC} 22 \% 94 \mathrm{~N} \% 203 \% 8 \mathrm{C} \% 8 \mathrm{E} \% 92$ $\% \mathrm{E} 8 \% 97 \% \mathrm{E} 1 \% 89 \% \mathrm{EF} \% 20$

パラメ夕 treedepth の値は URI エンコードされた和暦と表題に対応する. この例では「平成 22 年 3 月定例会」を指している. クロールプログラムは, このパラメ夕の値を変え, CGI プログラムが生成したぺージに張られたリンクをたどることで会議録のページを自
動的に取得する。

## 略歴

筒井貴士：2013 年横浜国立大学工学部電子情報工学科卒業. 現在, 同大学大学院環境情報学府情報メディア環境学専攻博士課程前期在学中. 自然言語処理に関する研究に従事.

我満拓弥：2013 年横浜国立大学工学部電子情報工学科卒業. 現在, 東京大学大学院工学系研究科電気系工学専攻博士課程前期在学中. 数理生命情報学に関する研究に従事.

大城卓：2010 年横浜国立大学工学部電子情報工学科卒業. 2012 年同大学大学院環境情報学府情報メディア環境学専攻博士課程前期修了. 修士（情報学). 在学中は自然言語処理に関する研究に従事.

菅原晃平：2010 年横浜国立大学工学部電子情報工学科卒業. 2012 年同大学大学院環境情報学府情報メディア環境学専攻博士課程前期修了. 修士（情報学). 在学中は自然言語処理に関する研究に従事.

永井隆広：2010 年横浜国立大学工学部電子情報工学科卒業. 2012 年同大学大学院環境情報学府情報メディア環境学専攻博士課程前期修了. 修士（情報学). 在学中は自然言語処理に関する研究に従事.

渋木英潔：1997 年小樽商科大学商学部商学部商業教員養成課程卒業. 1999 年同大学大学院商学研究科修士課程修了. 2002 年北海道大学大学院工学研究科博士後期課程修了. 博士 (工学). 2006 年北海学園大学大学院経営学研究科博士後期課程修了. 博士 (経営学). 現在, 横浜国立大学環境情報研究院科学研究費研究員. 自然言語に関する研究に従事. 言語処理学会, 情報処理学会,電子情報通信学会, 日本認知科学学会各会員.

木村泰知：2004 年北海道大学大学院工学研究科電子情報工学専攻博士後期課程修了. 博士 (工学)。2005 年, 小樽商科大学商学部助教授着任. 2007 年, 同准教授, 現在に至る。この間, 2010 年 10 月より 2011 年 9 月まで New York 大学客員研究員. 自然言語処理, 情報抽出などの研究に従事. 言語処理学会,人工知能学会, 情報処理学会, 電子情報通信学会各会員.

森辰則：1991 年横浜国立大学大学院工学研究科博士課程後期修了. 工学博士. 同年, 同大学工学部助手着任. 同講師, 同助教授を経て, 現在, 同大学大学院環境情報研究院教授. この間, 1998 年 2 月より 11 月まで Stanford 大学 CSLI 客員研究員. 自然言語処理, 情報抽出, 情報検索などの研究に従事. 言語処理学会, 人工知能学会, 情報処理学会, 電子情報通信学会, ACM 各会員.
筒井, 我満, 大城, 菅原, 永井, 渋木, 木村, 森地方議会会議録コーパスと政治情報システム構築のためのアノテーション

(2013 年 9 月 20 日受付)

(2013 年 12 月 2 日再受付)

(2014 年 1 月 10 日採録)


# 情報信憑性判断支援のための
Web 文書向け要約生成タスクにおけるアノテーション

金子 浩一 ${ ^{\dagger} \cdot$ 永井 隆広 ${ }^{\dagger} \cdot$ 森 辰則 $\dagger$
}

我々は，利用者が信憑性を判断する上で必要となる情報を Web 文書から探し出し，要約・整理して提示する, 情報信憑性判断支援のための要約に関する研究を行って いる. この研究を行う上で基礎となる分析・評価用のコーパスを，改良を重ねなが ら 3 年間で延べ 4 回構築した. 本論文では, 人間の要約過程を観察するための情報 と, 性能を評価するための正解情報の両方を満たすタグセットとタグ付与の方法に ついて述べる。また, 全数調査が困難な Web 文書を要約対象とする研究において, タグ付与の対象文書集合をどのように決定するかといった問題に対して, 我々がど のように対応したかを述べ，コーパス構築を通して得られた知見を報告する。 キーワード: アノテーション, コーパス, 要約, 調停要約, 情報信憑性
## Annotation of Web Documents for Automatic Summarization to Verify Information Credibility

Hideyuki Shibuki ${ }^{\dagger}$, Masahiro Nakano ${ }^{\dagger \dagger}$, Rintaro Miyazaki ${ }^{\dagger \dagger}$, Madoka Ishioroshi ${ }^{\dagger}$, KoIChi KAnEKO ${ }^{\dagger \dagger}$, TAKahiro NAGaI $^{\dagger \dagger}$ and Tatsunori Mori ${ }^{\dagger}$

Over a span of three years, we have constructed and improved four corpora that are the basis for generating summaries for the verification of information credibility. The summary generated to verify the credibility of information is a brief document composed of extracts from Web documents; it provides material to the user for judging the validity of a statement. In this paper, we describe a set of tags designed for observing annotation and preparing a gold standard for the summary. Further, we describe the method of annotation. Because examining each web document for its appropriateness in contributing to the summary is difficult, we describe the methodology of obtaining appropriate documents. Furthermore, we share our observations and learnings from the process of constructing these corpora.

Key Words: annotation, corpus, summarization, mediatory summary, information credibility

## 1 はじめに

近年, Webを情報源として, 人間の情報分析や情報信憑性判断などの支援を目的としたシステム開発に関する研究が行われている (Akamine, Kawahara, Kato, Nakagawa, Inui, Kurohashi, and Kidawara 2009; Akamine, Kawahara, Kato, Nakagawa, Leon-Suematsu, Kawada, Inui, Kurohashi, and Kidawara 2010; Ennals, Trushkowsky, and Agosta 2010; Finn, Kushmerick, and Smyth 2001; Kaneko, Shibuki, Nakano, Miyazaki, Ishioroshi, and Morii 2009; Miyazaki, Momose, Shibuki, and Mori 2009; Murakami, Nichols, Mizuno, Watanabe, Masuda, Goto, Ohki, Sao, Matsuyoshi, Inui, and Matsumoto 2010; Shibuki, Nagai, Nakano, Miyazaki, Ishioroshi, and Mori 2010; 渋木, 永井, 中野, 石下, 松本, 森 2013; 加藤, 河原, 乾, 黒橋, 柴田 2010 ; 河合, 岡嶋, 中澤 2007 ; 松本, 小西, 高木, 小山, 三宅, 伊東 2009 ; 中野, 渋木, 宮崎, 石下, 金子, 永井, 森 2011; 藤井 2008; 山本, 田中 2010). このようなシステムの開発においては, そもそも, どのような情報を提示することが効果的な支援につながるか，また，そのためにどのような処理を行う必要があるか, といった点から検討しなくてはならないことが多く, そういった検討に必要な情報が付与されたコーパスが必要となる。加えて, 開発されたシステムの性能を評価するための正解情報が付与されたコーパスも必要となる。 そういった情報が付与されたコーパスは，一般に利用可能でないことが多いため，開発の基礎となるコーパスを構築する研究が行われている (Nakano, Shibuki, Miyazaki, Ishioroshi, Kaneko, and Mori 2010; Ptaszynski, Rzepka, Araki, and Momouchi 2012; Radev, Otterbacher, and Zhang 2004; Wiebe, Wilson, and Cardie 2005 ; 渋木, 中野, 宮崎, 石下, 鈴木, 森 2009; 渋木, 中野, 宮崎, 石下, 永井, 森 2011 ; 松吉,江口, 佐尾, 村上, 乾, 松本 2010 ; 中野, 渋木, 宮崎, 石下, 森 2008 ; 飯田, 小町, 乾, 松本 2010 ; 橋本, 黒橋, 河原, 新里, 永田 2011).

我々は，これまで，「ディーゼル車は環境に良い」といった，利用者が信憑性を判断したい言明1（着目言明）に対して，その信憑性判断を支援するために有用なテキスト群を Web 文書から探し, 要約・整理して提示する研究を行ってきており, その基礎となるコーパスを 3 年間で延べ 4 回2構築している. 研究当初, 我々は, 情報信憑性判断支援のための要約として, 言明間の論理的関係の全体像を把握するのに有用な, 論理的関係の要所に位置する言明を重要言明とみなし, それらを優先的に提示することによって情報量を抑える, サーベイレポート的な要約を考えていた。この考え方の下で，着目言明に関連する重要言明をWeb 文書集合から網羅するようなアノテーションを第 1 回と第 2 回のコーパス構築において行った. こうして構築されたコー パスを分析した結果，一見すると互いに対立しているようにみえる二つの言明の組が，実際に

は対立しておらず，ある条件や状況の下で両立可能となっている場合（疑似対立）があることが分かった，また，疑似対立の場合に両立可能となる状況を第三者視点から簡潔に説明している記述が少数ではあるが Web 文書中に存在していることも分かり，そのような記述を利用者に提示することができれば，利用者の信憑性判断支援に役立つと考えた，以上の経緯から，我々は，二つの言明の組が疑似対立である場合に，第三者視点から両立可能となる状況を簡潔に説明している記述を Web 文書から見つける要約を調停要約として提案した，以後，調停要約を信憑性判断支援のための要約の中心に位置付けて, 第 3 回と第 4 回のコーパス構築を行い, 調停要約を自動生成する手法を開発した。我々は，サーベイレポート要約と調停要約を，それぞれ情報信憑性判断支援のための要約の一つとして位置づけている.

情報信溤性判断支援のための要約といった比較的ユニークな研究課題に新しく取り組むに当たって，構築されるコーパスには，手法のアルゴリズム等を検討するための分析用コーパスとしての役割と，手法の性能を測るための評価用コーパスとしての役割の両方が要求される。したがって，本論文では，この要求に応える夕グセットとタグ付与の方法について述べる。また，要約対象は, Web 検索等により得られた任意の Web 文書集合であるため，アノテーションの対象となる文書集合をどのように決定するかという問題が生じる。この問題に対して，我々が採った方法についても述べる。 また, 情報信憑性判断のための要約といった同一の研究課題で,作業内容の改良を重ねながら 4 回のコーパス構築を行った事例は少なく, そういった希少な事例としても報告したい.

本論文では，4回にわたって構築したコーパスを，着目言明に関連する重要言明を網羅することを目的として構築された, 第 1 回と第 2 回のサーベイレポートコーパスと, 調停要約に焦点を当てて構築された，第 3 回と第 4 回の調停要約コーパスに大きく分けて説明する。また，それぞれのコーパスを構築する際に直面した課題について，我々がどのように対応したかを述べ， コーパス構築を通して得られた知見を報告する。

本論文の構成は以下の通りである。2 節では，コーパス構築の目的である，情報信慿性判断支援のための要約における我々の基本的な考えを述べる．3 節では，サーベイレポートコーパスの構築における背景を述べた後，どのような課題が存在し，我々がどのように対応しようとしたかを述べる。また，実際のコーパス構築手順とアノテーションに用いたタグセットを述べ，構築されたサーベイレポートコーパスを分析した結果について報告し，考察を行う４節では，調停要約コーパスについて 3 節と同様の記述をする. 5 節では，コーパス構築の関連研究について述べ，情報信憑性判断支援のための要約に関するコーパス構築の位置付けを明確にする． 6 節はまとめである.

## 2 情報信憑性判断支援のための要約

Web 上に存在する情報の中には, 出所が不確かな情報や利用者に不利益をもたらす情報などが含まれており，信頼できる情報を利用者が容易に得るための技術に対する要望が高まっている. 情報信憑性の判断を対象とした研究には, システムが信憑性を自動的に検証することと, 利用者の信憑性判断が容易になるようシステムが支援することの 2 通りのアプローチが考えられる.しかしながら, 情報の内容の真偽や正確性を自動的に検証することは困難である上に, その情報が意見などの主観を述べるものである場合には，利用者により考え方や受け止め方が異なることから，その真偽や正確性を検証することはさらに困難なものとなる，そのため，情報の信憑性は, 最終的に個々の情報利用者が判断しなければならないと考えている。したがって,情報の信憑性を自動的に検証する技術に優先して，利用者による信憑性の判断を支援する技術の実現を目指している.

情報信憑性判断を支援する技術には，着目言明に関する意見など判断の参考となる情報を抽出する技術 (Akamine et al. 2009, 2010; 宮崎, 森 2010), 対立や根拠など抽出された情報間の関係を解析する技術 (Murakami et al. 2010), 抽出・解析された情報を重要性の高い順に提示するといった要約・整理に関する技術 (Kaneko et al. 2009; Shibuki et al. 2010; 溙木他 2013) などが存在する。我々は, この中の要約・整理に関する研究に取り組んでいる.

我々が目的とする, 情報信憑性判断支援のための要約は, Web 文書を対象とした複数文書要約の一種である.しかしながら, 従来の新聞記事等を対象とした複数文書要約 (吉岡, 原口 2004) と比較して以下のような特徴がある。従来の複数文書要約では, どの情報も同等に信じられるとしており, 言明の間にも矛盾はないとしていた。一方で, 情報信憑性判断においては, 原文書の情報が全て信じられるとは限らず，どの言明が本当に正しいのか分からない場合がある。その結果, 言明間に矛盾が存在しうることが考えられ, サーベイレポートにおいては, 利用者が根拠関係や対立関係が理解できるように，調停要約においては，疑似対立である二言明が両立可能であることを理解できるように要約する必要がある。また, 複数文書要約において情報の発信者は複数存在するのが普通であるが，言明間の矛盾や対立関係を明らかにするためには情報発信者による情報の区分が重要となる。このように，情報信馮性判断支援のための要約は今まで広く行われてきた複数文書要約と異なる部分があり，アノテーションにおいても上記の点を考慮して行う必要がある。

## 3 サーベイレポートコーパスの構築

## 3.1 サーベイレポートコーパス構築の背景

研究当初の段階では，情報信憑性判断支援に資する要約とは何かということが漠然としか定まっておらず，研究の大部分が手探り状態であった。それゆえ，人間が情報信憑性判断支援のための要約を作成する際に，どのような情報を重視して要約を作成するのか，また，どのような知識が要約の作成に必要だったのかといった点から検討する必要があり, 作成結果となる要約だけではなく, 人間の要約作成過程を可能な限り詳細にトレースできるようなアノテーションを行う必要があった。

また, システムが自動生成した情報信憑性判断支援のための要約を自動的に評価するために,正解となる参照要約を準備することもコーパス構築の目的のひとつであった. 自動要約システ么の理想的な正解は人間が自由記述形式で作成した要約そのものであるが，人間と違って機械が最初から文章を書き起こすことは困難である。 それゆえ, 要約対象文書中の記述を抜粋して要約する TextRank(Mihalcea and Tarau 2004)のようなアルゴリズムを用いることを想定していた。そこで，人間が作成した要約を要約対象文書中の記述と関連付けておくことで，機械が要約を作成する際の正解の一部として利用できるようなアノテーションを行う必要があった.

図 1 に，サーベイレポートの例を示す。この例では, 着目言明として「朝, バナナを食べるたけでダイエットできる」が入力された場合を想定している，我々は，着目言明の信溤性が問われる主な原因として, 着目言明の内容を否定するような言明の存在があると考え, Web上で矛盾や対立などが存在する言明を論点と定義する。サーベイレポートは, 利用者が論点を把握するための要約と利用者が論点を判断するのに役立つ要約の 2 つに大きく分かれている．前者はさらに，着目言明の関連情報である関連キーワードと背景となる記述，各論点の主張を理解するための記述に分かれている。関連キーワードは, 着目言明と関連するWeb 文書集合に現れる主たる語句, 背景は着目言明の内容が Web 上で大きく話題となった日時と事件を列挙したものである。各論点の主張では, 着目言明の内容を肯定する Web 上の言明と, 着目言明の内容を否定するような言明（対立言明）を根拠や反論の有無とともに示している。ここで, 着目言明や対立言明の根拠や反論は一般に複数あることに注意されたい。図 1 の例では, 着目言明の根拠として「酵素」と「食物繊維」の効果が挙げられている。これに対し，「バナナの酵素が代謝を高めることはない」という反論は, 酵素の効果を否定しているだけであり, 食物繊維の効果に対する反論としては適切ではない. 反論等の信憑性判断は, 適切な対応関係にある根拠等を明確にした上で行われるべきである。したがって, 着目言明側と対立言明側の主張の対応関係が利用者に分かるように整理することが，利用者が論点を判断する上で役立つと考えられる．利用者が論点を判断するのに役立つ要約では, 反論などの対立関係にある言明の組を Web 文書から

図 1 サーベイレポートの例

パッセージ3単位で抜粋し, 情報発信者とともに提示している。本論文では, 情報発信者を言明を発信している個人や組織と定義する。また, 提示されたパッセージや情報発信者を元に，利用者にどのような点を判断してもらいたいかが，言明の組の上下に注釈として記されている。

図 1 に示すようなサーベイレポートをシステムが生成するにあたって, 根拠や対立等の言明間の関係の把握に関しては言論マップ (Murakami et al. 2010)の出力を, 話題となった日時と事件に関しては時系列分析 (河合他 2007)の出力をそれぞれ利用することを想定していた. それゆえ, サーベイレポートコーパスの構築は, 着目言明に関連する言明の抽出, 情報発信者の抽出, 利用者が論点を判断するのに役立つ要約の作成を作業の中心とすることとした.

## 3.2 サーベイレポートコーパス構築における課題

## 3.2.1 着目言明の決定

まず，コーパスに収録されるサーベイレポートのトピックとなる着目言明をどのように決定するかを考える。本研究では Web 文書を要約対象とするため, 着目言明に関連する Web 文書が

存在しない場合, サーベイレポートを生成することができない. そのような場合, 自動要約システムの挙動としては, 関連する Web 文書が存在しなかったことを示せば良いが, 開発の基礎となるコーパスを構築するという点においては，十分な分析を行える量のサーベイレポートを確保する必要がある。一方で, サーベイレポートを作成しやすい着目言明のみでコーパスを構築すると, 紋切り型のサーベイレポートになり, 人間の要約作成過程を観察する際の多様性がそしくなる恐れがある。したがって, 予め着目言明の候補を比較的多く作成し, 着目言明に関連する Web 文書がどの程度存在しているのか, また, 論点になりそうな言明はどの程度存在しているのか, といった調査を Web 検索エンジンを用いて行い, その結果を元に，多様性をもったサーベイレポートが作成できそうな着目言明を選別することとした.

## 3.2.2 要約作成過程の観察

ある着目言明が与えられた際に，その信憑性の判断を支援するための要約を人間が作成する場合を考えると，まず，着目言明に関連する文書集合をWeb 検索等により収集した後，収集した文書に目を通して, 要約の作成に必要な記述（重要記述）がありそうな文書を選別し, 最後に, 文書中の重要記述を中心に要約を作成すると考えられる。言い換えると, 収集した文書から要約に必要な記述を得るためには, 文書の収集や選別, 重要記述の抽出など何度かの絞り込みを行っていると考えられる。しかしながら，その絞り込みの方法の詳細は不明であるため，人間が実際に要約を作成する際に行う絞り込みの過程を観察できるようにする必要がある。本来であれば，如何なる制約もない自然な流れでの絞り达み過程を観察することが望ましいが，複数の人間による絞り込みの途中経過を比較することが困難になる。それゆえ，絞り込みの過程を幾つかの段階に分割し，各段階でアノテーションを行うこととした。こうすることで，各段階のアノテーション結果を参照することが可能になり, 複数の人間が行う絞り込みの一致率を途中経過を含めて調査できるようになる。もしも，絞り込みの過程が作業者によって大きく異なるならば，重要だと考える基準が作業者によって大きく異なるということであり，安定した自動要約を実現するのが困難になると考えられる。

作業者が絞り込みを適切に行うためには，着目言明に関する背景知識や，さまざまな文書内の情報が必要になると考えられる。本論文では, 「背景知識」を要約対象文書以外からでも獲得できる知識,「文書内の情報」を要約対象文書中に実際に含まれる記述から獲得できる情報と定義する，着目言明に関する背景知識は，一般的には要約を作成する際に必須のものではないが,着目言明に関する問題点や, 問題点に対する意見などの背景知識をもつことで, 問題を判断するためにどのような情報を重要視すべきかを作業者が適切に判断できるようになる。また，サー ベイレポートを読んだ人間が多角的に判断できるようにするためには, 着目言明に関する文書内の情報を網羅的に提示する必要がある. どのような論点が存在するのかに関する背景知識を作業者が予めもっていれば，各論点における文書内の情報を見落とす可能性が小さくなると考

えられる。したがって, 背景知識が豊富な作業者であるほど, 作成される要約の質が向上すると考えられる。しかしながら, 事前に各作業者がもっている背景知識には差がある。それゆえ,要約の質を均一にするために, 作業者が背景知識が獲得できるような作業段階を最初に設けることとした. 作業者の労力軽減という観点からは, 作業管理者等が事前に背景知識を調査しておき，それを作業者全員で共有するといった方法が考えられる。しかしながら，背景知識を共有することで，作成されるサーベイレポートや作成過程から多様性が失われる恐れがある。また, 自ら調査して得た知識と他人から与えられた知識では理解の程度に差が生じ, その差が作業内容に影響を及ぼすことも考えられる。したがって，作業者間で背景知識の共有はせず，各作業者が自ら獲得するようにした。また，作業者が背景知識や文書内の情報をどのように獲得し，どの知識や情報を重視したかを観察できるような情報をアノテーションすることとした。

## 3.2.3 対象文書の決定

膨大な Web 文書の中から着目言明に関連する重要記述を抽出して整理する, 情報信憑性判断支援のための要約は，情報検索などの情報アクセス技術の一種と捉えることができる．情報検索の分野において, 利用者の情報要求と適合する文書を検索できたかどうかは, 精度と再現率による検索有効性を用いて評価されるが，再現率を計算するためには，対象文書中の全適合文書数が必要となる.しかしながら, Web 文書のように全数調査が不可能に近いサイズの対象文書である場合, 網羅的に適合文書を調査することが困難である。この問題に対して, $\mathrm{TREC}^{4}$, $\mathrm{NTCIR}^{5}, \mathrm{CLEF}^{6}$ なとの評価型ワークショップでは，プーリングによりテストコレクションを構築している (Buckley, Dimmick, Soboroff, and Voorhees 2007). プーリングとは, 異なる複数の検索システムが同一の検索要求について検索を行い，その検索結果を集めて，正解文書の候補とする方法であるが，本研究のように初めて取り組む研究においては，該当するシステムが存在しないため，そのままプーリングの方法を用いることはできない。そこで，人間がシステムの代わりを務めることでプーリングに相当する結果を得られるようにした. すなわち, 複数の作業者がそれぞれ着目言明に関連する文書集合を収集し, 収集された文書集合をマージすることで対象文書の範囲を決定した。

## 3.2.4 参照要約の作成

情報信憑性判断支援のための要約を評価する上でのもう一つの問題は, 参照要約をどのように作成するかという点である。要約を読んた人間に分かりやすく伝えるには, どのような表現が適切かということを調査する必要があり, そのためには, 自由記述形式で要約を作成すること
^{4}$ http://trec.nist.gov

${ }^{5}$ http://research.nii.ac.jp/ntcir/index-ja.html

6 http://www.clef-campaign.org
}

が望ましい. しかしながら，一般的な要約の自動評価手法である ROUGE (Lin and Hovy 2003) は， N-gramの一致度により評価するため，表層的な表現の違いによる影響を受けやすい． 3.1 節で述べたように，我々は抜粋型の要約アルゴリズムを用いることを想定していたため，参照要約を自由記述形式とすると，表層的な表現の違いにより，不当に低く評価される恐れがあった. それゆえ，理想的な要約の表現を分析するための，自由記述形式で作成した要約（自由記述要約）と，システムを評価するための，要約対象文書からの抽出物を主たる部品として作成した要約（抜粋要約）の二種類の要約を作成することとした.

## 3.2.5 情報発信者の情報

最後に，サーベイレポートに提示すべき情報発信者の情報に関して考える。まず，匿名よりも実名の情報発信者の方が一般に信頼できると考えられるため，情報発信者の名称を提示すべきである。また，例えば，「ディーゼル車は環境に良い」という着目言明の場合，「自動車メー カー勤務の技術者」のような専門知識をもっているであろう情報発信者の方が信頼できると考えられるため, 情報発信者の専門性を示す属性情報も提示すべきである。しかしながら, 文書内に記述されていない情報をシステムが自動的に推測することは困難であるため, 文書内の記述を抽出する形式で名称や属性情報を提示することとした.

情報発信者の名称や属性情報に加えて, 情報発信者の同一性の情報も言明の信憑性を判断する上で重要な情報である。例えば，ある言明が多くのWeb文書に存在していたとしても，その言明が同じ情報発信者（同一発信者）によるものであった場合, 多くの人々が支持する言明とみなすことはできない. したがって，仮に情報発信者の名称が異なっていても，Web 文書のURL や記述のスタイルなどから同一発信者であることが推測できるのであれば，その情報を提示すべきである。それゆえ, 個々の言明の情報発信者の名称と属性情報に加えて, 同一発信者を識別できるようなアノテーションを行うこととした.

ここで問題となるのは, アノテーションする情報発信者の単位である. 情報発信者には, ウィキペディア7や，2 ちゃんねる8といった情報を発信した場所を示す Webページ単位の情報発信者と, 掲示板における投稿やコメントごとの書き手を示す記事単位の情報発信者が存在する.出版に例えるならば, 前者は発行者としての発信者, 後者は著者としての発信者とみなすことができる。どちらの情報発信者も，信憑性を判断する上で重要な情報であるが，サーベイレポー トには，より詳細な単位である著者としての発信者を優先して提示すべきであると考えた。また, 政府の発表や会社の広報など，発信される情報の中には，発信者個人の情報よりも企業や団体などの所属する組織の情報の方が重視されるものがあり，その観点から個人発信者と組織発信者に区分する必要がある。一例を挙げると, 「A 大学の学生である山田太郎が 2 ちゃんねる

表 1 情報発信者の情報の例

に書いた記述」の情報発信者は, 表 1 に示す情報になる。したがって, これらの情報に関するアノテーションを行うこととした。なお，引用が存在する記述，例えば，「チョムスキーは『文法の構造』の中で『無色の緑の概念が激しく眠る』と書いた」という「2ちゃんねるでの山田太郎の記述」の場合でも，以下の理由から「2ちゃんねる」を発行者としての発信者, 「山田太郎」 を著者としての発信者とすることとした。『無色の緑の概念が激しく眠る』といった引用記述の情報発信者を「チョムスキー」や『文法の構造』とするためには，「チョムスキー」や『文法の構造』という情報発信者の存在や, 実際に当該の記述が書かれているかといった点を確認する必要がある．こういった確認を行うためには Web 以外の情報源にあたる必要がある上に，そもそも「隣の B さんが言った」などの現実的に確認が不可能な引用記述も存在する。一方で，引用という形式をとっていても，当該の記述を「2ちゃんねる」に「山田太郎」が書いたことは確認できる事実である。それゆえ, 引用された記述の情報発信者に関しても, 引用している記述の情報発信者とすることとした.

## 3.2.6 アノテーションの質の管理

これまで述べてきたように，サーベイレポートコーパスを構築する上でアノテーションすべき項目は多岐に及ぶ. それゆえ, 作業者の負担が多大なものとなり, 作業の質の低下やヒュー マンエラーなどを誘発することが予想された。そこで, 図 2 に示す専用のアノテーションッー ルを開発し利用することで, 作業者の負担を軽減し, 質の低下やヒューマンエラーなどの問題を可能な限り回避することとした. アノテーションツールは, 殆どの作業をマウス操作で行えるように設計されており，作業者が直接 XML 夕グ等を記述しなくとも良いようになっている.例えば，図 2 に示すツールの下部には, 注釈対象となる Web 文書のテキストが表示されており，重要記述や情報発信者の名称の抽出作業は, 作業者が抽出したい範囲のテキストをクリックすることで行うことができる。また, 抜粋要約の作成作業は, 抽出したテキスト群から作業者が部品となるテキストを選択し, 加工して組み合わせることで行えるようになっている.

作業者への指示は, 作業を始める前に, 文書として一人ひとりに配布し, 口頭での説明を行った. また, 事前に予想できなかった問題等が作業中に生じた場合には, 問題の内容を可能な限り具体的にメモに記録すると同時に，逐次，作業管理者に報告して指示を仰ぐよう指示した．作
渋木, 中野, 宮崎, 石下, 金子, 永井, 森情報信憑性判断支援の Web 文書向け要約生成タスクにおけるアノテーション

図 2 サーベイレポート用アノテーションツール

業管理者は, 報告された問題の解決方法を示すとともに, Wikiやメーリングリスト等を用いて,全ての作業者で問題と解決方法を共有できるようにした。ただし, 作業管理者の出張等, 指示を仰ぐことが困難な状況で, 作業が長時間中断されてしまう場合には, 生じた問題に対してどのように対処や解決したかを可能な限り具体的に記録することで作業を進めることを許可した.

## 3.3 サーベイレポートコーパス構築の手順

サーベイレポートコーパスの構築は, 第 1 回と第 2 回のコーパス構築で行っているが, 手順等が洗練された第 2 回のコーパス構築を中心に説明する. 表 2 に第 2 回のコーパス構築の手順を示す. 3.2.2 節で述べたように，絞り込みの各段階での結果を比較できるように，作業の流れ
表 2 サーベイレポートコーパス構築作業の流れ

T1. 背景知識の獲得

T2. 文書の収集

T2-1. 検索クエリの検討

T2-2. 文書の収集

T3. 文書の選別

T4. 重要記述の抽出

T5. 情報発信者の名称の抽出

T6. 要約の作成

T6-1. 自由記述要約の作成

T6-2. 抜粋要約の作成

(http://www.kawakai.com/asbestos/より引用)

図 3 サーベイレポートコーパスにおける Web 文書の例（一部）

はT1. から T6. へ一方向に進むものとし, 作業管理者 ${ }^{9}$ が特別に認めた場合 10 を除き, 前の段階の作業に戻ってはならないよう指示をした。

サーベイレポートコーパスには, 着目言明, Web 文書集合, 自由記述要約, 抜粋要約, 背景

図 4 サーベイレポートコーパスにおける抜粋要約の例（一部）

知識，検索クエリ，作業の疑問点等のメモが含まれている，各 Web 文書と抜粋要約には，作業結果を示す XML 形式のタグが埋め込まれている。Web 文書と抜粋要約の XML タグの一覧と文書型定義を付録 $\mathrm{A}$ に示す．3.2.6 節で述べたように，これらの夕グは，専用のアノテーションツールを通して付与される。XML タグが付与された Web 文書と抜粋要約の例を，図 3 と図 4 にそれぞれ示す。実際の文書には，もっと多数の夕グが付与されているが，紙面の都合により，各タグの代表的な例のみを示している。以下，作業の流れに従って説明する。

## 3.3.1 背景知識の獲得

作業者は最初に，T1.において，与えられた着目言明に関して，3.2.2 節で述べた背景知識の獲得を行う。すなわち, 各作業者は着目言明に関連してどのような論点が存在し, 各論点においてどのような意見や根拠が存在しているかを調査する。この調査の結果は, 作業者ごとに把握した論点を自由記述形式で記録する。これにより，後の分析において，最終的に作成されたサーベイレポートの内容と比較することで, T2. 以降の作業において当初の論点からどのように変化したのか調査できるようになる。また, 他の作業者が獲得した背景知識と比較することで, どの程度網羅的に論点を把握していたのか調査できるようになる。サーベイレポートコーパス
表 3 獲得された背景知識の例

に収録された背景知識の例として，「アスベストは危険性がない」という着目言明において，ある作業者が獲得した背景知識を表 3 に示す。背景知識を獲得する情報源には, Web 文書に限らず，新聞記事や雑誌などあらゆる媒体を許可した。サーベイレポートコーパスには背景知識自体も収録されている.

## 3.3.2 文書の収集

T2. では，作業者が実際にどのような文書を収集したかの情報を記録する．作業者の労力を軽減するために収集する文書数に制限を設ける一方で，ある程度の論点の多様性も保証したい。一つのクエリを用いて収集した場合，そのクエリが問う論点のみに偏った文書集合になる。そこで，異なる論点を問う複数のクエリを用いて文書集合を収集し，それらを1つの文書集合にマージすることで，多様な論点を含む文書集合を決定することとした。一般に，異なる論点を問うクエリで収集した文書集合同士であっても，共通の文書が存在する，そのため，マージした後の異なり文書数は、マージする前の文書集合の要素数の総和とはならない. そこで，文書の収集を T2-1.と T2-2.の二段階で行う， T2-1. で重要記述が含まれている文書集合が検索上位に来るようなクエリを調査し，T2-2. で多様な論点の重要記述が含まれている文書集合から順にマージしていくことにより，一定量の文書集合において論点の多様性を保証しようとした。 T2-1.のクエリの調査には, 検索エンジン TSUBAKI (Shinzato, Shibata, Kawahara, Hashimoto, and Kurohashi 2008)を利用し，少なくとも 20 種類以上のクエリを調査するよう指示した. 重要記述を含む文書集合を絞り达むのに効果的なクエリが存在するか調査するために，着目言明の表現に囚われない自由な形式のクエリ11を許可した，T2-2. では，クエリごとに上位 100 件の Web 文書を収集し，多様な重要記述が含まれている文書集合から順に 500 件以上になるまで

マージするよう指示した。 また，マージした文書集合を検索するのに用いたクエリには，検索に用いなかったクエリと区別できるよう記録し，サーベイレポートに含まれた論点と含まれなかった論点の分析ができるようにした．Web 文書を識別するためにTSUBAKI の文書 ID を利用し，<Fileld>の値としている。サーベイレポートコーパスには， T2. で調査に用いた検索クエリと収集された Web 文書集合が収録されている.

## 3.3.3重要記述の絞り込み

T3. と T4. では, T2.においてマージされた文書集合を対象に， 3.2 .2 節で述べた重要記述の絞り込みの過程を記録する。T3.では文書単位での絞り込みの結果, T4. では文単位での絞り込みの結果をそれぞれ記録する。より詳細な過程を観察するためには, 段落などの単位でも絞り込み, 作業の段階数を増やすことも考えられるが, 作業者の労力の観点から, 二段階で記録することとした，また，文より小さい単位での絞り込みは，実際に要約を作成する段階にならないと分からないことも多いため，T4.の段階では文単位での絞り込みに留めた。絞り込みの際には，たとえ同一の表現を持つ文書や文であっても，異なる出典のものを網羅的に選別・抽出した. これにより, システムによる重要文書の選別や重要文の抽出などを評価する際の再現率の計算を可能にしている．T3. で選別された文書は $<$ Fileld $>$ の属性 Selected の値を 1 としており, 選別されなかった文書は 0 としている。 T4. で抽出された重要記述は $<$ Passage> で囲っており，属性 Passageld には文書ごとに 1 から通し番号を割り当てている。なお， T4. で抽出された重要記述は，アノテーションツールの内部で抽出元の文書と文書中の位置の情報を保持しており，T6.において抜粋要約を作成する際の部品となる.

## 3.3.4 情報発信者の抽出

T5. では， T4. で抽出された重要記述を含む文書集合を対象に，3.2.5 節で述べた情報発信者に関する作業を行う，情報発信者の情報の内，同一発信者に関しては複数の文書における情報発信者を参照しなくてはならないのに対し，同一発信者以外の情報は文書内の記述を参照するたけで作業できる。それゆえ，各文書を参照して同一発信者以外の情報を抽出した後，抽出された情報発信者を参照して同一発信者と思われる情報発信者をグループ化するという流れで行った. 作業者の負担を軽减するために, 発行者としての発信者は文書の URLのみで識別することとした，著者としての発信者は，個人発信者と組織発信者それぞれの名称と属性情報を文書中の記述から抽出することとし，もしも文書中の記述に存在しないならば不明のままとした. 作業者には，抽出すべき属性情報として，個人発信者であれば，役職，年齢, 性別など, 組織発信者であれば，業種，所在地などを例として示した，また，個人発信者と組織発信者のどちらを重視すべきかの情報を付与した，情報発信者の情報は<Holder>に記録されており，属性 Localld は文書ごとの番号, 属性 Globalld は全文書を通しての番号を示している。属性 P1Element と属
性 P2Element は抽出された個人発信者の名称と属性情報，属性 O1Element と属性 O2Element は抽出された組織発信者の名称と属性情報をそれぞれ示しており，これらの名称または属性情報を構成する文字を，0を開始位置とした文書中の位置情報とともに示している。例えば，図 3 の 4 行目の <Holder> の場合，「川口解体工業株式会社」という組織発信者の名称を構成する「川」 の文字が 0 文目の 15 文字目にあることを「川_0_15」と示している．属性 OrgHolder の値は，組織発信者側を重視する場合は 1 ，個人発信者側を重視する場合は 0 としている。属性 LocalName は, 作業者がサーベイレポートで提示するのに最適と思われる情報発信者の名称を示している.同一発信者に関しては，複数の文書に及ぶ情報であるため，T6. で作成される抜粋要約中の属性 SameHolder に示している。なお, T4.の重要記述と同様に，アノテーションツールは，抽出された情報発信者に関する抽出元の文書と文書中の位置の情報を保持している.

## 3.3.5 要約の作成

T6. は, 情報信馮性判断支援のための要約を作成する作業である. 3.2 .4 節で述べた, 自由記述要約と抜粋要約の 2 種類の要約を作成するため, 自由記述要約を作成する T6-1. と, 抜粋要約を作成する T6-2.の 2 段階で行う. T6-1. では, T4. で抽出した重要記述の集合を参照しながら, T6-2. で作成する抜粋要約と内容的に齫䶣が生じないよう, 理想とする情報信憑性判断支援のための要約を自由記述形式で作成する。一般的な要約であれば，文字数などの要約の長さに関する制約が与えられるが，情報信憑性判断支援のための要約では，読み手が信憑性を判断するための情報を得られることが何よりも優先されなくてはならない. それゆえ, 作業者には,信憑性の判断に十分な情報を含むことを優先して作成することを指示し, 自由記述要約, 抜粋要約ともに，要約の長さに関しては指示しなかった，図 5 に自由記述要約の例を示す. T6-2.では，T4. で抽出した重要記述を文字単位でさらに絞り込みながら組み合わせることで抜粋要約を作成する。抜粋要約として不要な文字列を削除した記述を組み合わせて作成するため, 抜粋要約は自由記述要約と表層的な表現が異なっても構わないとした. しかしながら, 重要記述を組み合わせる際，逆接や対比といった重要記述間の関係を明確にするため, 重要記述内には存在しない助詞や接続詞などの語句が必要となることが考えられる。そのような場合, 任意の文字列を重要記述間に挿入できるようにした。作成された抜粋要約において, 挿入された文字列は <Extra>で囲み，＜Citation>で囲まれる重要記述の文字列と区別できるようにされている。 また, 重要記述の抽出元である Web 文書において, 実際に抜粋要約に用いられた重要記述の部分を <Cited $>$, 不要な文字列として削除された部分を $<$ Deserted $>$ で囲っている.
渋木, 中野, 宮崎, 石下, 金子, 永井, 森情報信憑性判断支援の Web 文書向け要約生成タスクにおけるアノテーション

「アスベストは危険性がない。」

アスベストとは、石綿とも呼ばれる天然の鉱石繊維であり、

クリソタイルやクロシドライト、アモサイトといったものが存在している。

アスベストの特徴は耐熱性や耐薬品性、絶縁性といったものがあり、

また安価な工業製品であったため、その9割以上を建材製品として使用され、

その用途には3000種類以上のものがあるといわれている。

主な使用目的とされる建築素材としては、吹き付けアスベストや、

アスベスト保温材、アスベスト形成板などが主な使用形態となっている。

このようなアスベストであるが、近年、人体に深刻な影響を及ぼすという報告がされるようになってきた。

というのも、アスベストというものは極めて微細な繊維であるため飛散性があり、また劣化しにくいという特性がある。

このため、飛散したアスベストを吸い込んだ場合、吸い込まれたアスベストが肺に刺さり、

長期間に渡って人体に残留してしまうこととなる。

この残留したアスベストが人体にとって有害なものとなっているというのである。

吸い込んだアスベストの影響により引き起こされる具体的な病例としては、

「石綿肺」や「肺がん」、「悪性中皮腫」などがあげられる。

これらは、アスベストの吸入により引き起こされるといわれているが、

すぐに発症するわけではなく、20〜40年の潜伏期間をもって発症される。

このため、アスベストは「静かな時限爆弾」といわれるほど危険性が指摘されることとなった。

このような危険性が指摘されたため、アスベストは法的な規制の対象となることとなった。

具体的には、次のようになっている。

このように、一方的に危険性が指摘されるアスベストではあるが、

一概にアスベストが危険であるというわけではないことを認識しなければならない。

というのも、アスベストが危険な理由は、その繊維が微細なものであり、

そのために極めて容易に飛散してしまうという点にある。

しかし、アスベスト自体は極めて安定な物質であるため、

飛散する心配の状態にない安定な状態であればなんら危険性はないのである。

ただし、アスベストは過去、建築の製品として使用されてきたため、

これらを処理する際には扱いに注意を払う必要はある。

実際にアスベスト製品の処理を行う際には法的な規制が存在している。

アスベストの処理に対しては具体的に、「除去」「封じ込め」「囲い込み」

といった処置が一般的なものとなっている。

以上、アスベストの危険性について述べてきたが、

確かに、アスベストが人体に与える危険性があるということは否定できない。

しかし、単純にアスベストが危険であるということを鵜吞みにし、騷ぎ立てるのではなく、

取扱いに注意しさえすればなんら危険性はないということを理解した上で、

アスベストの問題に向き合っていく必要があるのではないだろうか。

図 5 サーベイレポートコーパスにおける自由記述要約の例

## 3.4 サーベイレポートコーパスの統計と分析

## 3.4.1 サーベイレポートコーパス

第 1 回と第 2 回のコーパス構築で用いた着目言明を表 4 に示す. 第 1 回の時点では, 利用者が信憑性を判断したいトピックを示す単語を用いていた。しかしながら，単語を用いた場合，例えば，「マイナスイオン」のトピックにおいて，マイナスイオンが健康に良いかどうかを判断したいのか，それとも，マイナスイオンが発生するかどうかを判断したいのか，といった利用者の関心がある論点を絞り込むことができない。一般に，論点は数多く考えられるため，あらゆる論点に言及する要約を作成することとなる。そのような要約は, 利用者にとって, 関心がな
表 4 サーベイレポートコーパス構築に用いた着目言明（トピック）

い論点の記述が多くを占めるものとなり, 結果として, 利用者の情報信憑性判断支援に役立たない要約となってしまう恐れがある。それゆえ，第 2 回では，論点が比較的絞り达まれている着目言明を用いることとした．また，「レーシック手術は安全である」と「レーシック手術は痛みがある」のように，「レーシック手術」という大きなトピックに包含される着目言明を用意することで，論点の違いによる影響を調査できるようにした，以下では，第 2 回のコーパスを中心に説明する。

1 つの着目言明には， 3.2.3 節で述べたプーリングに相当する結果を得るために，4名の作業者を割り当てた，作業者は，情報工学を専攻する大学生及び大学院生である．1 名の作業者が 1 つの抜粋要約を作成するために， T2. で収集した Web 文書集合の 1 着目言明あたりの平均文書数は 532.0 文書であり，収集された全 Web 文書の文字数を合計した値は 1 着目言明あたり平均して約 280 万文字であった. 作成された抜粋要約の 1 着目言明あたりの平均文字数は 2,564 文字であるため, 最終的に約 $0.1 \%$ の要約率となるが, 段階的に絞り込みを行っているため, 実際はもっと緩やかな要約過程となる. T3.の段階で選別された文書数は平均して 177 文書となり, T4.の段階で抽出された文の合計文字数は 1 着目言明あたり平均して 57,121 文字にまで絞り达まれている。したがって，T4.から T6.への過程での要約率は約 $4.5 \%$ となった.

## 3.4.2収集された文書集合における論点の多様性に関する考察

ここで，収集されたWeb 文書集合に打ける論点の多様性について考察する。図 6 に，第 2 回のコーパス構築で用いた 6 つの着目言明をクエリとして, それぞれ検索した上位文書の件数と，文書中に存在する着目言明に関する論点の異なり数の関係を示す。論点の有無は，第二著者および情報工学を専攻とする大学院生 2 名が実際に文書を読むことで判断した. 着目言明の違いによる差はあるが, 全体として最初の 30 文書までに殆どの論点が現れており, それ以降, 新しい論点は殆ど出現せず飽和状態となっている． 3.3 節で述べたように，T2.では，作業者が多様な論点を含むと考える複数のクエリを用いて 100 文書ずつ収集することにより要約対象となる文書集合を決定している。したがって，収集されたWeb 文書集合は，論点の多様性をある程度保証していると考えられる。
渋木, 中野, 宮崎, 石下, 金子, 永井, 森情報信憑性判断支援の Web 文書向け要約生成タスクにおけるアノテーション

検索文書数

図 6 検索文書数と論点の異なり数の推移

## 3.4.3作業者間の一致率に関する考察

次に，各作業者が収集した Web 文書集合を絞り达む過程における作業者間の一致率について考察する．3.2.2 節で述べたように，絞り达みの過程が作業者によって大きく異なるならば，安定した自動要約を実現するのが困難になる。そのため，文書単位での選別を行った $\mathrm{T} 3$. の段階における一致率を Fleiss' kappa を用いて計算した，結果として，0.23，すなわち，低い一致率を示すこととなった. また, 要約の最終過程である T6.の段階における一致率を以下の 2 種類の方法で評価した.

第一の方法は, ROUGE-1による評価である. ROUGE-1 は, 二つの要約の間で一致する 1-gram の割合を示した自動評価手法であり，自動要約の評価型ワークショップである $\mathrm{DUC}^{12}$ 等においても用いられている，6つの着目言明を対象として, 着目言明ごとに, 二つの抜粋要約の組に対してそれぞれ計算し, 全ての組の值を平均した結果, 0.40 の值を示した. 0.40 という值は, 2005 年から 2007 年の DUC において最も成績が良かった手法の ROUGE-1 の値と同程度の値である。本論文が人手による要約の間の一致であるのに対し, DUCが自動生成された要約と正解

表 5 「レーシック手術は安全である」に関する抜粋要約中の論点の一覧

となる要約との一致である点を考慮する必要があるが, 全体として比較的一致した要約が作成されていると考えられる。

ROUGE は表記の一致による評価であるため, 論点が一致しているかどうかまでは保証しない. そこで，第二の方法として，抜粋要約間で共通している論点の数による評価を行った。評価の対象は, 労力の観点から, 第 2 回のコーパス構築で作成された抜粋要約のみを対象とした.論点が共通しているかどうかを判断する際には, 論点の粒度が問題となる。例えば, 「レーシック手術」などのトピックレベルの粗さで論点を捉えた場合, 殆どの記述が共通の論点となってしまう。共通性を判断するのに適した粒度をトップダウン的に決定することは困難であるため,我々は，以下に述べるボトムアップ的な方法で論点を決定した。まず，実際に各々の抜粋要約を読み，「レーシック手術の種類」や「レーシック手術の方法」といったサブトピックレベルの粒度で, 抜粋要約の内容を論点の候補として網羅した. 次に, 二つの抜粋要約を比較して, サブトピックレベルでは同じ論点の候補であっても，書き手が伝えたいであろうポイントが異なる記述が一方にしか存在しない場合は, さらに論点の細分化を行った. 例えば, 「レーシック手術により起こりうる合併症」というサブトピックであっても, その「原因」に言及する記述が,
渋木, 中野, 宮崎, 石下, 金子, 永井, 森情報信憑性判断支援の Web 文書向け要約生成タスクにおけるアノテーション

表 6 サーベイレポートコーパスにおける情報発信者の延べ注釈数

一方の抜粋要約には存在するがもう一方には存在しない場合,「レーシック手術により起こりうる合併症の原因」という論点を別に設定した。 以上の論点に関する作業は, 第二著者および情報工学を専攻する大学院生 1 名により行った.

表 5 に，AからDの４名の作業者が作成した「レーシック手術は安全である」に関する抜粋要約に含まれる論点の一覧と, 各作業者の抜粋要約に各論点が含まれるか否かを示す.また, 付録 B として，他の5つの着目言明に関する抜粋要約に含まれる論点の一覧を収録した。表中の 「○」で示される論点が抜粋要約に含まれている論点である.「レーシック手術は安全である」の場合, 全部で 20 の論点があり, 4 つの抜粋要約全てに共通して含まれている論点の数は 3 であり, 2 つ以上の抜粋要約に共通している論点の数は 11 であった. 6 つの着目言明全体では, 全部で 65 の論点があり，4つ全てに共通している論点は 9,2 つ以上に共通している論点は 34 であった。したがって，比較的共通した論点に関する要約が作成されていると考えられる.

## 3.4.4 情報発信者に関する考察

情報発信者に関する延べ注釈数を表 6 に示す. 抽出された 4,061 の重要記述の内, 何らかの情報発信者の注釈があるものは 3,067 (約 $75.5 \%$ ) であった. また, 発行者としての発信者は 871 ,著者としての発信者は 3,049 であった. 1 つの重要記述に, 発行者としての発信者と著者としての発信者の両方が注釈される可能性があることに注意されたい. したがって，特定できた情報発信者の殆どは著者としての発信者であるといえる．著者としての発信者の内，個人発信者が注釈されたものは 776 , 組織発信者が注釈されたものは 2,503 であった. ここでも, 個人発信者と組織発信者の両方が注釈された発信者がいることに注意されたい. したがって，著者としての発信者の多くが組織発信者であり，個人発信者は比較的少なかった．また，著者としての発信者 3,049 の内，作業者が組織発信者側を重視すると判断した場合も 2,217 存在することから,
組織発信者の重要性が伺える。また, 名称がある個人発信者は 731 , 属性情報がある個人発信者は 182 , 名称がある組織発信者は 2,490 , 属性情報がある組織発信者は 73 であった。ここでも，名称と属性情報の両方が注釈された発信者がいることに注意されたい．個人発信者と組織発信者の両方で，属性情報より名称が記述されている割合が高いが，組織発信者の場合，属性情報の記述は極めて少ない（約 $2.9 \% ）$ といえる. また, 同一発信者が存在すると注釈された個人発信者と組織発信者の数は，それぞれ 139 と 556 であった. したがって，無視できない割合で同一発信者の存在があるといえる。

情報信憑性判断において, 同一発信者が互いに矛盾するような主張を行っているかどうかは興味のあるところである。そこで, 抜粋要約に用いられた重要記述の情報発信者を対象に, 矛盾するような記述がないか調査した。 6 つの着目言明における全ての抜粋要約に対して調査した結果，矛盾するような記述を見つけることはできなかった，今後，全ての情報発信者を対象に調査したいと考えている。

## 4 調停要約コーパスの構築

## 4.1 調停要約コーパス構築の背景

第 1 回と第 2 回のコーパス構築では, 着目言明に関連する論点を網羅することに主眼を置いた要約を作成した。そのようにして作成された要約を分析した結果, 自分の意見の正当性を主張するために，対立意見に反論するのとは異なる，第三者視点から公平に両方の意見に言及している記述が存在することが分かった。例えば，着目言明「アスベストは危険性がない」に関する要約には，「アスベストの成分は石や土と同じ成分であり甜めたり触ったりしても毒ではありません」という記述と，「人体への有毒性が指摘されているアスべスト」という記述が含まれており，一見すると互いに矛盾しているように見える。しかしながら，それらの記述とは別に，「アスベストの毒性は, その成分ではなく, その形状と通常の状態では半永久的に分解や変質しない性質によるものです」という記述を提示することで, 両方の記述が，化学的性質を述べたものか, それとも, 物理的性質を述べたものかという視点の違いによる疑似対立であることを読み手に伝えることができる。この疑似対立である場合に，両立できる視点や状況を示すという考え方は, 従来研究にない新しい考え方であることから, 両立できる視点や状況に関する記述の提示を調停要約と定義し, 情報信憑性判断支援のための要約の主軸とすることとした.

なお, 疑似対立であるか否かの最終的な判断は, 利用者が行うことを想定している。 ある調停要約を利用者が読んで, 両立できる視点や状況が存在することを納得できるならば, 調停要約に書かれている対立は, 少なくともその視点からの調停が可能な疑似対立である. したがって, システムは, 着目言明と対立言明の関係が疑似対立であると仮定して調停要約を生成し, 利用者は, 生成された調停要約を読んで疑似対立であるか否かを判断することを想定している.
着目言明: 朝バナナダイエットでダイエットできる?

「バナナのカロリーは低い」という点で一見対立していますが、以下の説明で対立が解消できるか調べましょう。

図 7 調停要約を中心とした情報信馮性判断支援のための要約の例

図 7 に「朝バナナダイエットでダイエットできる」を着目言明とした場合の調停要約を中心とした情報信憑性判断支援のための要約の例を示す. 図 7 中の, $(\mathrm{P}),(\mathrm{N}),(\mathrm{M})$ のボックス内の記述は，実際の Web 文書から抽出された記述であり，それ以外の記述は作例である。着目言明を肯定する根拠として「バナナは低カロリーで満腹感があります」，また，否定する根拠として 「バナナは果物の中では水分が少ないためカロリーは高めです」という記述がそれぞれ Web 上に存在していたので，対立関係にあるようにみえるとして，該当する記述を $(\mathrm{P})$ と $(\mathrm{N})$ のボックス内に表示している。また，(M)のボックス内が調停要約として Web上に存在する文書から抜粋された記述である。 Web 上には，こういった対立関係について，それらが両立可能であることを示した記述が存在していることがあり，そのような記述をパッセージ単位で抜粋して提示するというのが調停要約の基本的な考え方である。図 1 のコメント部分の生成も将来における課題であるが，まずは調停要約の中核となる $(\mathrm{P}),(\mathrm{N}),(\mathrm{M})$ の部分の記述を生成することを目的として，調停要約コーパスの構築を行うこととした。

## 4.2 調停要約コーパス構築の課題

## 4.2.1調停要約とサーベイレポートとの関係

調停要約は, 図 1 における, 利用者が論点を判断する際に役立つ要約の一種である.したがって, 調停要約コーパスの構築においても， 3.2 節に述べたサーベイレポートコーパスの構築と同様の問題が存在し, その対応も 3.2 節や 3.3 節で述べたのと同様に行うことができる.

## 4.2.2 対立関係の詳細化

調停要約を作成する上での固有の問題としては，以下の問題が挙げられる。まず，調停という性質上, 網羅すべき論点として, 対立関係にある言明の組が主となる。このとき, 着目言明との対立関係を示す軸（対立軸）は 1 つとは限らないことに注意されたい。例えば，「ダイエット」に関する文書集合においては，「瘦せる vs. 太る」という対立軸の他にも，美容観点の「美しいvs. 醜い」, 医療観点の「健康 vs. 病気」といった対立軸が考えられる。したがって,「ダイエットする」を支持する内容として, 「瘦せる」,「美しい」,「健康」といった記述，「ダイエッ卜する」と対立する内容として，「太る」，「醜い」，「病気になる」といった記述を全て抽出することとした。

## 4.2.3 対象文書に関する変更

調停要約の作成における別の問題としては, 対立関係にある言明の組を網羅するために収集した文書集合中に, 調停要約として適切な記述（調停記述）を含む文書が存在するかが保証されていないことが挙げられる。 それゆえ, 論点を網羅するための文書収集とは別に, 調停記述を含む文書（調停記述文書）を収集する過程が必要となる。また，調停記述文書を適切に収集するためには, 作業者が事前に対立関係をどのように調停できるかに関する知識（調停知識）をもっていることが望ましい. しかしながら, 調停知識を得るためには, その前提として, どのような対立関係が存在するかを把握していなくてはならない. 以上の考えから, 着目言明と対立関係にある言明（対立言明）を網羅的に抽出した後に，調停知識の獲得，および，調停記述文書の収集を行うこととした。

本来であれば，サーベイレポートコーパスの構築と同様に，作業者には着目言明のみを与えて, 背景知識の獲得を行った後, 対立言明を網羅的に抽出するための文書の収集から作業を開始することが望ましい.しかしながら, その後に続く, 調停知識の獲得, 調停記述文書の収集を考慮すると作業者の負担が著しく増大する。また，対立言明の抽出対象となる文書集合が作業者間で異なる場合, 作業者が把握する対立関係に差が生じるため, 収集された調停記述文書の作業者間の比較が困難になると考えられる。それゆえ，着目言明に加えて，対立言明を網羅的に抽出するための初期文書集合を，4.3.1 節に述べるように与えることとした.

## 4.2.4 抜粋要約に関する変更

Kaneko et al.(2009)において, 調停要約には, 一つのパッセージで両立可能となる状況を明示的に説明する直接調停要約と, 状況の一部を説明するパッセージを複数組み合わせて状況の全体を暗に示す間接調停要約の 2 種類があると定義している. 間接調停要約の方が, どのようにパッセージを組み合わせるかといった点を考慮しなくてはならないため, 要約生成過程において分析する項目が多くなる一方で, 直接調停要約の方が, 一つのパッセージで全てを説明しな
渋木, 中野, 宮崎, 石下, 金子, 永井, 森情報信憑性判断支援の Web 文書向け要約生成タスクにおけるアノテーション

図 8 調停要約用アノテーションツール

くてはならないため, 正解となりうるパッセージの数は少なくなる，それゆえ，第 3 回のコー パス構築では, 要約生成過程の分析を優先して, 複数のパッセージを組み合わせて抜粋要約を作成することとし, 第 4 回のコーパス構築では, 直接調停要約の正解情報作成に焦点を絞って,一つのパッセージで正解となるパッセージの抽出をもって抜粋要約を作成することとした.

## 4.2.5絞り込み過程のシームレス化

サーベイレポートコーパスの構築作業において, 絞り达みの過程を観察するために, T3. での文書単位での選別と T4. での文単位の抽出とを別の段階での作業としていた. しかしながら，作業者からは，本文を読んで文書を選別する際に，重要記述を含む文についてもある程度判断できるため, 二度手間のような作業になり, 両者を区別せずに行いたいという要望が出されていた。そこで，第 4 回のコーパス構築に用いたアノテーションツールには，各段階の作業ログを自動的に記録する機能を実装することとした。作業ログには，対象文書や作業内容の情報に加え, マウスとキーボードの操作レベルの情報が記録されている. 図 8 と図 9 に, 第 4 回のアノテーションツールと作業ログの例をそれぞれ示す. 図 9 のログから, 作業者は, 「飲酒は健康に良い」という着目言明の T2.（対立関係にある言明の抽出）において, ID:01217676-1の文書を開き，4文目の 1 文字目から 48 文字目までをドラッグして言明を抽出したことが分かる．図 8 に示すように，表示の都合上, ツール上の行番号と文番号が必ずしも一致するわけではないため，ログには文番号と文字位置に加えて，括弧内にッール上のカーソル座標を記録している。

図 9 作業ログの例

続く作業では, 7 文目の 11 文字目から 34 文字目， 8 文目の 4 文字目から 60 文字目を抽出した後，9行目までスクロールさせて，9文目の 1 文字目から 22 文字目を抽出していることが分かる。また, 図 9 の作業者が, 最初に文書全体を読んでから抽出せずに，読み進めながら逐次的に抽出している様子が読み取れる。したがって，作業ログを分析することで，どの文書のどの部分にどのような作業を行ったかといった内容を復元できる. これにより, 第 4 回のコーパス構築では, 作業者は, 文書単位や文単位といった作業段階を意識することなく, 自然に重要記述の絞り込みを行うことが可能となった。

## 4.2.6情報発信者に関する変更

第 4 回のコーパス構築では, 情報発信者に関して, 調停要約を主軸としたことによる若干の修正を加える。第 3 回までのコーパス構築では，3.2.5 節で述べたように，幅広く情報発信者の情報の抽出を行った. しかしながら, 第 4 回のコーパス構築では, 調停要約の情報発信者として必要と思われる情報として，著者としての発信者における，名称，組織発信者か否か，専門的知識を備えている（専門的発信者）か否か, 調停者として第三者の立場から公平に述べてい
表 7 調停要約作成作業の流れ

T1. 背景知識の獲得

$\mathrm{T} 2$. 対立関係にある言明の抽出

T3. 調停知識の獲得

T4. 調停記述文書の収集

T5. 調停記述の抽出

T6. 情報発信者の抽出

$\mathrm{T} 7$. 同一発信者の判断

T8. 自由記述要約の作成

T9. 直接調停要約の分類

T10. 直接調停要約の評価

る（調停的発信者）か否か, の 4 種類に整理した。また, 情報発信者として提示すべき情報に加えて, これらの情報を何を手掛かりとして抽出したかに関する情報も, システムが自動的に提示する上で必要である。それゆえ, 情報発信者の情報を抽出する際に, 抽出の手掛かりとなった記述も合わせて抽出することとした。

## 4.3 調停要約コーパス構築の手順

調停要約コーパスの構築は, 第 3 回と第 4 回のコーパス構築で行っているが, 手順等が洗練された第 4 回のコーパス構築を中心に説明する. 作成作業は表 7 に示す 10 段階で行うこととし, サーベイレポートコーパスの構築と同様に, T1.から T10. へ一方向に進む流れで作業を行った.調停要約コーパスには, 着目言明, Web 文書集合, 調停要約文書, 背景知識, 調停知識, 検索クエリ，作業の疑問点等のメモ，作業ログが含まれている。Web 文書と抜粋要約の XML タグの一覧と文書型定義を付録 Cに示す。また，実際に，XML タグが付与された Web 文書と調停要約文書の例を, 図 10 と図 11 にそれぞれ示す. 以下，作業の流れに従って説明する。

## 4.3.1 背景知識の獲得

最初に，各作業者には，着目言明と初期文書集合を与えた。初期文書集合を決定するにあたり，初期文書集合の決定する人物の意思が作業者に影響を及ぼさないよう機械的に求めることとし，着目言明をクエリとして検索した上位 250 件の Web 文書を初期文書集合とした。初期文書集合に含まれる Web 文書には，＜Fileld＞の属性 Common の値を 1 として， T4. で各作業者が独自に収集する Web 文書と区別できるようにしている，T1.では，対立言明を公平な視点から網羅的に抽出できるよう，各作業者は着目言明に関連してどのような論点が存在し，各論点においてどのような意見や根拠が存在しているかの背景知識を獲得する。獲得された背景知識は,作業者ごとに自由記述形式で書かれ，調停要約コーパスに収録されている。

<Data version="3.0" year="H22">

<Fileld Common="1" IsConflictExtracted="1" IsMediationExtracted="1" IsSender="1">24992583-1</Fileld> <ConflictList>

<Conflict Sentenceld="10" Start="0" Length="12">酒は百薬の長といわれます</Conflict>

</ConflictList>

<MediationList>

<Mediation Type=“Direct” Sentenceld=“25” Start=“0” Length=“212”>少量のお酒がいいのは、今のところ、心筋梗塞、脳梗塞だけのようです。肝藏疾患やガン(喉頭がん、食道がん、胃がん、肝がん、乳がん)では、少量の飲酒でもリスクが高くなることが知られています。お酒は飲まない方が良いのです。健康のために無理に飲むのは意味がないお酒で心筋梗塞や脳梗塞にならなくても、ガンになったら意味はないでしょう。死亡原因に占める心筋梗塞や脳梗塞とガンの割合はほぼ同じなので、一概にどっちがいいかは特定できません </Mediation>

</MediationList>

<MediationKeyExpressionList/>

<SenderList>

<Sender Type="Page" Sentenceld="2" Start="0" Length="10" IsOrganized="1" IsExpert="1" IsMediator="1">株式会社フォーエルズ</Sender> </SenderList>

<SenderKeyExpressionList>

<SenderKeyExpression Sentenceld="63" Start="0" Length="13">Copyright（c)</SenderKeyExpression>

</SenderKeyExpressionList>

<SenderExpertKeyExpressionList>

<SenderExpertKeyExpression Sentenceld="13" Start="0" Length="4">心筋梗塞</SenderExpertKeyExpression>

</SenderExpertKeyExpressionList>

<SenderMediatorKeyExpressionList/>

$<$ Text>

<Sentence Id="1"> | HOME | CONTACT |</Sentence>

<Sentence Id="2">株式会社フォーエルズ／健康食品・サプリメントと販売促進支援</Sentence>

<Sentence Id="3">Live ! </Sentence>

<Sentence Id="4">Like ! </Sentence>

<Sentence Id="5">Life ! </Sentence>

<Sentence Id="6">Link ! </Sentence>

<Sentence Id="7">TOPページ> > お酒の適量</Sentence>

<Sentence Id="8">お酒の適量</Sentence>

<Sentence Id="9">酒は百薬の長か</Sentence>

<Sentence Id="10">酒は百薬の長といわれます。</Sentence>

<Sentence Id="11">数年前にはワインブームもありました。</Sentence>

$<$ /Text>

</Data>

図 10 調停要約コーパスにおける Web 文書の例（一部）

図 11 調停要約コーパスにおける調停要約文書の例（一部）

## 4.3.2 対立関係にある言明の抽出

T2.では, 与えられた初期文書集合から着目言明を支持する内容の言明と対立する内容の言明を文字単位で網羅的に抽出する，抽出された言明は，＜Text>で囲まれた本文とは別の＜Conflict>内に記述され，属性 Sentenceld に抽出元の文番号，属性 Start に言明の開始位置, 属性 Length に言明の長さが記されている.

## 4.3.3 調停知識の獲得

T3. では，T2. で抽出された言明がどの対立軸に関する内容であるかに基づいて人手でクラスタリングを行った後, 各クラスタの対立軸に関する調停知識の獲得を行う．クラスタリングは, 1つの言明が複数の対立軸に属することを許可しており, クラスタ内の言明に対しては, 着目言明を支持する内容であるか, それとも, 着目言明と対立する内容であるかの極性を付与している。また，各クラスタの対立軸を表現する「ディーゼル車は環境に良いvs. ディーゼル車は環境に悪い」といった形式のラベルを付与する，以下に，クラスタリングの方法を例を用いて説明する。例えば，「ディーゼル車は環境に良い」という着目言明の初期文書集合から，「ディー ゼル車排出ガスは東京の空を污す最大の要因になっています」という言明が抽出されたとする. この言明から, 作業者は「ディーゼル車は大気污染の原因でないvs. ディーゼル車は大気污染の原因である」といった初期文書集合中に対立する内容の記述が存在していそうな対立軸の候補を幾つか設定し，それぞれにラベルを付与する。また，当該の言明は着目言明と対立する内容であるという極性を付与して，任意の数の対立軸の候補に属させる。抽出された全ての言明を対立軸の候補に属させた後, 同じ対立軸に属する言明群を一つのクラスタとした

各作業者には, 対立関係の曖昧性がなくなるように任意の数の対立軸を独自に設定できるよう許可した. ただし， 3 つの対立軸に関しては， T4. 以降の作業者間の比較を容易にするため,事前に我々が初期文書集合を調査した結果に基づいて予め 3 つの対立軸を設定し，初期文書集合と共に作業者に与えている. クラスタの情報は, 調停要約文書の <Conflict>で示され, 対立軸のラベルは <Label>，クラスタ内の言明は <Statement＞に記述されている，＜Statement>の属性は, Web 文書の同名夕グと同一であるが，抽出元の文書番号を示す属性 Fileld と, 着目言明の支持/対立の極性を示す属性 Polarity が追加されている. 各作業者は, 独自に設定した対立軸ごとに，両立可能となりうるか，なるとすればどのような状況かといった調停知識を調査した後, 疑似対立である対立軸を独自に見つけて，その中から 2 つを選び，与えられた 3 つの対立軸に追加して, 計 5 つの主要対立軸に対して調停要約を作成することとした. なお, 事前に与えた 3 つの対立軸に対して, 独自に追加する対立軸を 2 つに限定したのは, 作業者の労力を考慮したものである. 獲得された調停知識は, 作業者ごとに自由記述形式で書かれている。調停要約コーパスに収録された調停知識の例として，「飲酒は健康に良い」という着目言明において，ある作業者が獲得した調停知識の一部を表 8 に示す. 表 8 の「○」で示された対立軸は主
表 8 獲得された調停知識の例

 &  & D \\

要対立軸を示す。

## 4.3.4調停記述文書の収集

4.2 .3 節で述べたように，対立関係にある言明を網羅するための初期文書集合は調停要約として適切な記述を必ずしも含んでいるとは限らない。そのため，T4.において，調停要約の記述を含むような文書集合を任意のクエリを用いて検索し，初期文書集合に加えることとした。すなわち, この段階で要約対象となる文書集合が確定し, 作業者ごとに差異が現れることとなる.具体的には, T3. で選択した主要対立軸ごとに, TSUBAKI での検索結果から, 調停要約の対象となる文書集合を求めるのに最適と思われるクエリを 1 つ決定し，そのクエリによる上位 50 件の文書を初期文書集合に加える。したがって，5つの対立軸で 250 件の文書が加えられるこ

とになるが, 重複する文書の存在があるため, 要約対象となる文書数は最終的に 500 弱となる.追加された Web 文書は，＜Fileld＞の属性 Commonの値を 0 としている。

## 4.3.5調停記述の抽出

T5. では, 調停要約として適切な記述を 1 つのパッセージ（調停パッセージ）として抽出する. 4.2.4 節で述べたように, 第 4 回のコーパス構築作業では, 直接調停要約の正解情報となる, 1 つパッセージで両立可能となる状況を明確に説明するタイプの調停要約の作成を対象としている. したがって，調停要約の一部として必要な記述ではあるが，その記述だけでは両立可能であることを明確に伝えられない記述は調停パッセージとして抽出しなかった. なお, 調停要約の一部として必要な記述の抽出, および, それらを用いた調停要約の作成は, 第 3 回のコーパス構築で行っている. また, 調停パッセージの抽出の際, その記述がなぜ調停パッセージとして適切と判断したのかの手掛かりとなった文字列も抽出している。抽出された調停パッセージは, <Mediation>内に，調停パッセージの判断の手掛かりとなった文字列は，＜MediationKeyExpression>内にそれぞれ記述され，どちらの記述も＜Statement>と同じ属性 Sentenceld, 属性 Start, 属性 Length により抽出元の情報を保持している。また，＜Mediation>の属性 Typeの値をDirect として直接調停要約であることを示している.

## 4.3.6 情報発信者の注釈

T6. では，T5. で抽出された調停パッセージを含む文書集合を対象に，情報発信者に関する情報，および，その手掛かりとなる記述の抽出を行う. 情報発信者の名称となる記述を抽出し，その情報発信者が，組織発信者であるか，専門的発信者であるか，調停的発信者であるかを，それぞれ文書中の記述から判断する。また，その抽出や判断の手掛かりとなった記述もそれぞれ抽出した．情報発信者の名称は，＜Sender>内に記述され，＜Statement>と同じ属性 Sentenceld,属性 Start, 属性 Lengthにより抽出元の情報を保持している. 情報発信者が組織発信者である場合は, 属性 IsOrganization の値を, 専門的発信者の場合は属性 IsExpert の値を, 調停的発信者の場合は属性 IsMediatorの値をぞれぞれ 1 としている。また, 名称, 専門的発信者, 調停的専門者の判断の手掛かりとなった記述を, <SenderKeyExpression>, <SenderExpertKeyExpression>, <SenderMediationKeyExpression＞に，抽出元の情報とともに記述している.

T7. は，同一発信者と思われる情報発信者のグループ化を行うが, 3.3 節のサーベイレポートコーパス構築と同じ作業であるため説明を省略する。

## 4.3.7調停要約の作成

T8. では, T3. で選択した主要対立軸ごとに, 理想とする調停要約の自由記述要約を作成する.自由記述要約は, 調停要約文書の $<$ Mediation>の一つに, 属性 Type の値を Model として調停
表 9 調停要約コーパス構築に用いた着目言明

パッセージと区別できるように記述されている.

T9.では，T5. で抽出した調停パッセージが，T3. で選択した主要対立軸の調停要約となっているかを分類する，分類は，1つの調停パッセージが複数の対立軸の調停要約となることを許可している. 分類された調停パッセージは, 調停要約文書の $<$ Conflict $>$ 内の $<$ Mediation>に記述されている.

T10.では, T9.の対立軸ごとに分類された調停パッセージに対して，調停要約としての適切性の観点から全ての調停パッセージの対に対して順序を付けた．また，各パッセージに対し， T8. で作成した理想の調停要約との内容や表現などの近さを総合的に判断して, 調停要約としての適切性について 4 段階の絶対評価を行う．ランキングされた結果は，調停要約文書の＜Conflict>内の <Mediation>の順序として反映されている。また, 絶対評価は, 属性 Evaluation の値として, Excellent, Good, Fair, Poorの 4 段階で示されている.

## 4.4 調停要約コーパスの統計と分析

## 4.4.1 調停要約コーパス

第 3 回と第 4 回のコーパス構築で用いた着目言明を表 9 に示す. 調停要約は, 疑似対立である場合に両立可能となる状況を説明する要約であるため, 前提として，疑似対立となる対立言明が存在している必要がある，それゆえ，調停要約に関する着目言明は， 60 以上の着目言明の候補を対象に疑似対立の有無の調査を行い，疑似対立が存在する候補の中で多様性に富むと思われる着目言明を選択した。なお，疑似対立の有無は，客観的であるか否か，科学的に証明できるか否かなどとは別の概念であることに注意されたい。例えば，「CO2 は地球温暖化の原因である」という着目言明の場合，「CO2 の温室効果や排出量」を示して地球温暖化の原因であるとする主張と, 「氷期と間氷期のサイクル」を示して地球温暖化の原因ではないとする主張との間で疑似対立が生じている。この場合, 調停要約の例としては, 「20世紀後半の温暖化は人類の活動により排出された $\mathrm{CO} 2$ が原因であるが， 20 世紀前半の温暖化は自然の活動が原因である可能性が高い」といったものが考えられる，表 9 に示した着目言明は, 全て疑似対立が存在することを確認している。
表 10 T3. で選択された主要対立軸

 & 他 20 組 \\

調停要約コーパスの構築作業では, 1 つの着目言明に対して 4 名の作業者を割り当てた. なお, 作業者は情報工学を専攻する大学生および大学院生である。調停要約コーパスは, 4.2 節や 4.3 節で述べたように, 抽出の手掛かりとなった記述や, 操作レベルの作業ログ等の豊富な情報を含んでいるが，まだ十分な分析が行われていない，4.4.2節から 4.4.4節にかけて，「飲酒は健康に良い」を着目言明とした場合の注釈結果に基づき，以下の 3 点について分析を行う． 1 点目はT3.において各作業者が選択した対立軸に関して, 2 点目は調停要約の対象となる文書集合を決定するために T4. で用いられた検索クエリに関して, 3 点目は $\mathrm{T} 5$. で抽出された調停パッセー ジと T8. で作成された自由記述による調停要約との差に関してである. 4.4.5節と 4.4.6 節では,調停要約コーパス全体を対象として，情報発信者と作業ログに関する分析をそれぞれ行う。

## 4.4.2 対立軸に関する考察

各作業者が，「飲酒は健康に良い」に関して，T3.で選択した主要対立軸を表 10 に示す。（a) から (c)は, 初期文書集合と共に与えられた作業者共通の主要対立軸であり, (d) と (e)が, 調停要約を作成できそうな対立軸として, 各作業者が任意に作成した対立軸から選択した主要対立軸である。主要対立軸に選択されなかった対立軸に関しては，その数だけを「他 $\mathrm{n}$ 組」のように示している。すなわち，表 10 の作業者 1 は， 22 組の対立軸を作成し，その中から (d) と (e) に示す対立軸を主要対立軸として選択している。各作業者の主要対立軸を比較すると，作業者 1 の (d) と作業者 2 の (e) を除いて, 複数の作業者が共通で主要対立軸として選択している対立軸は存在しなかった. しかしながら, 例えば, 作業者 1 の (e) は, 主要対立軸として選択してはいないが, 作業者 2 , 作業者 3 , 作業者 4 の全員が対立軸として作成しており，ある作業者が主要対立軸として選択した対立軸は全て, 表現の違いはあれど他の 3 名の作業者が任意に作成した対立軸の集合において存在していた。したがって，どのような対立軸が存在しているかに関しては作業者間で共通の認識をしているが，どの対立軸が調停要約を作成する上で重要と考え
表 11 要約対象文書集合の重複度

るかは作業者によって異なる可能性が示唆された。

## 4.4.3検索クエリに関する考察

各作業者が要約対象とした文書集合の重複度合いを表 11 に示す。表 11 は「○」で示された作業者間に共通する文書数を表しており，1行目であれば作業者 1 が要約対象とした文書数が 495 件, 5 行目であれば作業者 1 と作業者 2 が共通した要約対象文書数が 275 件であることを示している．全作業者に共通の 254 文書の内，250 文書は初期文書集合であるため，T4.において追加された文書集合において全作業者に共通する文書数は 4 であり，検索された文書集合はほとんど重複しなかった．T5.において抽出された調停パッセージを含む文書は，異なり数で 203 文書存在した。この 203 文書の内訳は, 初期文書集合からが 66 文書, T4. で追加された文書集合からが 173 文書であった。要約対象とする文書集合の決定は調停要約の精度に影響する重要な処理であり，文書集合を決定するための検索クエリも重要な要素である.

各作業者が T4. で用いた検索クエリを対立軸ごとに整理したものを表 12 に示す. 表 12 の対立軸の記号は表 10 の記号に対応している. TSUBAKIが自然文で検索可能であることは各作業者も理解しており, T4. において 3 名の作業者が調査した計 57 クエリの内, 22 クエリは自然文でのクエリであった。しかしながら，TSUBAKI を用いた場合には初期文書集合に加えた文書集合の検索に用いたクエリは表 12 に示すように単語列であるものが多かった. この結果について各作業者に質問したところ，「最初に自然文で入力したが，思うような文書が検索されなかったため単語列で検索した」という回答であった。この原因として「飲酒健康良い悪い」の
表 12 T4. で用いられた検索クエリ

表 13 各評価における調停パッセージの延べ数

ように, 良い面と悪い面の両方を記述している文書を検索するという調停要約特有の要求を満たすクエリを文の形式で表現しにくかったことが考えられる。以上から, 調停要約として適切な記述を含む文書を検索するという観点からは，検索エンジンによる影響を考慮する必要があるが, 単語列を用いた方が適している可能性が示唆された。ただし，「飲酒糖尿病のリスクを低下」のように単語と句を組み合わせたクエリも存在したことから, 必ずしも単語列が最適というわけではない.この点に関する分析を今後さらに進めていきたい.

## 4.4.4調停要約と調停パッセージに関する考察

表 13 に，T10.のランキングにおける各評価の調停パッセージの延べ数を示す.また，内訳と
表 $14 \mathrm{~T} 8$. で作成された自由記述による調停要約

して，初期文書から抽出された数と，T4. で追加された調停記述文書から抽出された数を示す。同じ調停パッセージであっても, 対立軸が異なれば評価も異なり, 調停要約とみなされなかった場合もあることに注意されたい，作業者によるバラツキが存在するが，全体として，Fair, Poor, Good, Excellent の順に評価された数が多く, 理想の調停要約に極めて近いことを示すExcellent と評価された調停パッセージは殆ど存在しなかった。初期文書と調停記述文書の内訳から, 調停記述文書の方が比較的評価が高い調停パッセージを多く含んでいたことが分かる。しかしながら，適切な調停記述文書を自動的に検索する方法は現段階で不明であり，今後も分析を続けていきたい.

表 14 は「飲酒は健康に良いvs. 飲酒は健康に悪い」の対立軸に対してT8. で作成された理想の調停要約であり, 表 15 は同じ対立軸において T10.のランキングで 1 位となった調停パッセー
表 15 T10.で 1 位にランキングされた調停パッセージ

ジである。理想とする調停要約に関しては，作業者 1 と作業者 3 が「病気の種類」という観点からも記述しているが，基本的には 4 名とも「飲酒量」という観点からまとめており，多くの人に共通する調停要約の観点が存在するように思われる。一方, 表 14 の調停要約と表 15 の調停パッセージを比較した場合,「飲酒量」などの大意は共通しているが細かな違いが生じてい
表 16 調停要約コーパスにおける情報発信者の延べ注釈数

る.また, 作業者 1 の調停要約で存在した「コレステロール」や「ワイン」などの話題は, 調停パッセージには存在していない. したがって，1つのパッセージを抽出して提示する直接調停要約の考え方に大きな問題はないが, より理想的な調停要約を生成するためには複数の調停パッセージを組み合わせる必要があると考えられる.

## 4.4.5 情報発信者に関する考察

情報発信者に関する延べ注釈数を表 16 に示す. 注釈された 3,221 の情報発信者は全て著者としての発信者であり, その内, 組織発信者であるのは 1,990 , 専門的発信者であるのは 840 , 調停的発信者であるのは 759 であった. ある発信者に, 組織発信者, 専門的発信者, 調停的発信者の 2 つ以上が注釈される可能性があることに注意されたい，組織発信者側を重視する場合に限り，組織発信者を抽出しているため, 表 16 における組織発信者の数は, 表 6 における組織発信者側を重視する場合の数に相当する。したがって，著者としての発信者における組織発信者の割合は, サーベイレポート要約で約 $72.7 \%(2,217 / 3,049)$, 調停要約コーパスで約 $61.8 \%(1,990 / 3,221)$ となり, 一般に 6 割から 7 割程度であると考えられる。また, 同一発信者が存在すると注釈された個人発信者と組織発信者は，それぞれ， 691 と 1,183 であった. サーベイレポートコーパスと同じく, 調停要約コーパスにおいても, 同一発信者は無視できない割合で存在している.

## 4.4.6 作業ログに関する考察

表 17 に, 作業ログを元にした, 各段階における作業者の行動の回数を示す. 作業ログは, 図 9 に示すように，マウスやキーボードの操作レベルで記録されているが，表 17 では, その操作がもたらす効果のレベルで示している。また, 文書から文字列を絞り込む過程に関連する作業段階と行動に限定している.

一般に, 下方向のスクロールに対する上方向へのスクロールの割合が大きいほど, 文書を何度も読み返していると考えられる。対立関係にある言明を抽出する T2.では約 $21.0 \%(39,795 / 189,079)$,調停記述を抽出する T5. では約 $14.9 \%(39,412 / 265,347)$ であったのに対し, 情報発信者を抽出する T6. では $54.1 \%(58,894 / 108,855)$ という高い值であった. 一般に, 後の作業では, 前の作
表 17 各段階における作業者の行動の回数

業で既に読んだ文書に対して作業を行うため，読み返す必要性は低下すると考えられる．T6.で上方向へのスクロールの割合が高かった理由は，以下のように考えられる．4.3.6節で述べたように，T6.では，情報発信者の名称，専門的発信者, 調停的発信者を判断する手掛かりとなった表現を抽出するよう指示している。手掛かり表現は文書中に散在しているため, 3 種類の手掛かり表現を求めて文書内を探した結果，上方向へのスクロールの割合が高くなったと考えられる.

また，どの作業段階においても，抽出した文字列を取り消す行動が無視できない割合で存在している。対立関係にある言明の抽出では約 $18.1 \%(1,651 / 9,139)$, 調停パッセージの抽出では約 $23.8 \%(527 / 2,218)$, 情報発信者の抽出では約 $16.7 \%(664 / 3,978)$ であった．抽出した文字列を取り消すという行動は，必ずしも作業者が熟慮した上で行われているわけではないであろうが，取り消す行動の割合が高いほど，作業者の判断を摇らがせるような作業であった可能性がある．仮にそうであったとするならば，情報発信者の抽出に比べて，調停パッセージの抽出は判断が難しい作業であったといえる.

## 5 関連研究

コーパス構築に関する研究には以下のものがある，飯田ら（2010）は, 新聞記事を対象に, 述語項構造・共参照タグを付与する基準について報告し, 事態性名詞のタグ付与において, 具体物のタグ付与と項のタグ付与を独立して行うことで作業品質を向上させている. 宮崎ら (2010) は, Web 文書を対象に，製品の様態と評価を分離した評判情報のモデルを提案し，評判情報コーパスを構築する際の注釈者間の注釈摇孔を削減する方法について論じている。しかしながら，これらのコーパス構築の目的は, 本研究の目的である情報信憑性判断支援のための要約と異なる.

文書の書き手の意見を理解できるよう支援することを目的としてアノテーションを行う研究として, Weibe et al. (2005), 西原ら (西原, 伊藤, 大澤 2011), 松吉ら (松吉他 2010)などの研究がある. Wiebe et al. (2005) は, 意見や感情などの private state を人手でアノテーションする方法を提案し，新聞記事を対象としたMPQAコーパスにアノテーションを行った。西原ら （2011）は，文書の書き手の意見を理解することを支援するために，文書においてアノテーションを付与すべき文を推薦するシステムを提案した，松吉ら (2010) は，書き手が表明する真偽判断, 価値判断等の, 事象に対する総合的な情報を表す夕グ体系を提案し, この夕グ体系に基づくコーパスを基礎とした解析システムを開発した. Wiebe et al., 西原ら, 松吉らの研究の目的は, 本研究の目的である信憑性判断支援と関連があるが, 本研究が支援のための手段として要約を対象としている点で異なる。

要約を目的としてコーパスを構築した研究としては, Radev et al. (2004), 綾ら (綾, 松尾,岡崎, 橋田, 石塚 2005), 伊藤ら (伊藤, 斎藤 2004) などの研究がある. Radev et al. (2004) は, RST (Rhetorical Structure Theory)を文書間関係に拡張した CST (Cross-document Structure Theory)を提唱し，CSTの関係をアノテーションしたCST Bankの構築を行った。綾ら (2005) は, セマンティックオーサリングで得られたグラフを想定し, 修辞関係等を明示的に与えた複数文書に対し要約を作成する手法を提案した. しかしながら, Radev et al. や綾らは Web 文書ではなく新聞記事を対象としている。伊藤ら (2004)は, 汎用アノテーション記述言語 MAMLを提案し, 複数メール要約や動画像の検索・要約を行う研究を行っている. メーラやブラウザ等を利用する際に入力されたデータをアノテーションデータとすることで, 利用者が特に意識せずともアノテーションデータを生成できるようにした. 本研究では, 情報信憑性判断支援のための要約という新しい要約概念を対象とするため, 要約の生成過程を調査する必要があり, そのためのアノテーションを行っている点で異なる.

テキストの表層的な情報を使うだけでは十分に解決できない, より深い言語処理課題においては, アノテーションの際に，アノテーションの結果だけではなく, 作業者がどのような情報を利用してアノテーションを行ったかといったアノテーション中の過程にも関心を払うことの重要性が, 徳永ら (徳永, 飯田 2013) や光田ら (光田他 2013) により指摘されている. 本研究で

は, 重要記述の絞り込みの過程や, 抽出の手掛かりとなった記述, 作業中の疑問点のメモ, 操作レベルの作業ログといった，要約作成の過程に関するアノテーションを行っており，これらの情報を分析して得られた知見に基づいて調停要約生成システムの開発を行っている.

Web 文書を情報源としてコーパスを構築する研究として, Ptaszynski et al. (2012), 鍜治ら (鍜治, 喜連川 2008), 関口ら (関口, 山本 2003) などの研究がある. Ptaszynski et al. (2012)は,日本語のブログを自動収集して構築した，3.5 億文からなるコーパス YACIS に対して自動的に感情情報を付与した．鍜治ら (2008)は，大規模な HTML 文書集合から評価文を自動収集する手法を提案し, 約 10 億件の HTML 文書から約 65 万文からなる評価文コーパスを自動的に構築した. 関口ら (2003) は, Web 文書中のリンク情報を手掛かりとして連鎖的に Web 文書を収集し,単語や格フレームの異なり数の点で良質なコーパスを自動的に構築した. Ptaszynski et al., 鍜治ら, 関口らの研究で構築されたコーパスは, 不特定トピックの Web 文書集合を自動的に収集して構築したものであり，着目言明に関連した Web 文書集合を人手で収集して構築した本研究のコーパスと性質が異なる.

アノテーションの対象となる文書集合を決定する方法として，文書そのものを新しく作成する橋本ら (2011)の方法や, 適合文書に必須となる情報を用いる吉岡ら (吉岡, 神門 2012)の方法がある。橋本ら (2011)は，ブログを対象とした自然言語処理の高精度化に寄与することを目的として，81名の大学生に 4 つのテーマで執筆させた 249 記事のブログに, 文境界, 形態素, 係り受け，格・省略・照応，固有表現，評価表現に関するアノテーションを行った．本研究でも，自由記述要約として作業者が理想の要約文書を作成しているが, 同時に, 表層の一致による評価を行うために, Web 文書の重要記述を組み合わせた抜粋要約を作成する必要があり, 要約対象となる Web 文書集合を決定する必要があった。吉岡ら (2012)は，質問応答を目的としたテストコレクションの構築において，適合文書に必須の情報である回答を用いて検索することで，一定以上の網羅性を担保したテストコレクションが作成できる可能性を示した. しかしながら，本研究では, 情報信憑性判断支援のための要約において必須の情報が不明であったため, 適切な検索クエリを調査する必要があり，作業で用いられた検索クエリをコーパスに収録している。

情報信憑性判断支援のための要約に関するコーパス構築と分析は, Nakano et al. (2010), 渋木ら (2011) でも行っている. Nakano et al., 渋木らの分析結果は本研究の一部と共通しているが，本研究では，さらに情報発信者や作業ログ等に関する分析を進めている.

## 6 おわりに

本論文では, 情報信憑性判断支援のための要約に関する研究を行う上で基礎となる分析・評価用のコーパスを 3 年間で延べ 4 回構築した結果について, 現時点での試行の 1 つであるが報告した。情報信憑性判断支援のための要約では, 利用者が着目する言明の信憑性を判断する上

で必要となる情報を Web 文書から探し出し, 要約・整理して提示する. 情報信憑性判断支援のための要約の基礎となるコーパス構築においては, 人間の要約過程を観察するための情報と,性能を評価するための正解情報が求められており，両方の情報を満たすタグセットとタグ付与の方法について説明した。また, 全数調査が困難な Web 文書を要約対象とする研究において, タグ付与の対象となる文書集合をどのように決定するかといった問題に対して, 評価型ワークショップのテストコレクション構築で用いられるプーリングを参考とした方法を述べた.

本論文で構築したコーパスを一般公開することは, 収集した Web 文書の再配布が著作権の観点から法律上の問題がある可能性があるため, 現時点では難しい. 今後, NTCIR の WEB テストコレクションや言論マップコーパス ${ }^{13}$ の配布方法などを参考に公開の方法を検討していきたいと考えている。また, 本コーパスは, 人間の要約の作成過程を分析する上で豊富な情報を含んでいるが，その分析は充分に行われていない，今後は，さらに詳細な分析を行い，その結果を要約生成システムに反映させたいと考えている。

## 謝 辞

本研究の一部は, JSPS 科研費 25330254 , ならびに, 横浜国立大学大学院環境情報研究院共同研究推進プログラムの助成を受けたものである.

## 参考文献

Akamine, S., Kawahara, D., Kato, Y., Nakagawa, T., Inui, K., Kurohashi, S., and Kidawara, Y. (2009). "WISDOM: A Web Information Credibility Analysis System." In the ACL-IJCNLP 2009 Software Demonstrations, pp. 1-4.

Akamine, S., Kawahara, D., Kato, Y., Nakagawa, T., Leon-Suematsu, Y. I., Kawada, T., Inui, K., Kurohashi, S., and Kidawara, Y. (2010). "Organizing Information on the Web to Support User Judgments on Information Credibility." In the 4th International Universal Communication Symposium (IUCS2010), pp. 123-130.

綾聡平, 松尾豊, 岡崎直観, 橋田浩一, 石塚満 (2005). 修辞構造のアノテーションに基づく要約生成. 人工知能学会論文誌, $20(3)$, pp. 149-158.

Buckley, C., Dimmick, D., Soboroff, I., and Voorhees, E. (2007). "Bias and the Limits of Pooling for Large Collections." Information Retrieval, 10 (6), pp. 491-508.

Ennals, R., Trushkowsky, B., and Agosta, J. M. (2010). "Highlighting Disputed Claims on the Web." In the 19th International World Wide Web Conference (WWW 2010), pp. 341-350.

Finn, A., Kushmerick, N., and Smyth, B. (2001). "Fact or fiction: Content Classification for Digital Libraries." In the Second DELOS Network of Excellence Workshop on Personalisation and Recommender Systems in Digital Libraries, pp. 18-20.

藤井敦 (2008). OpinionReader：意思決定支援を目的とした主観情報の集約・可視化システム.電子情報通信学会論文誌 (D), J91-D (2), pp. 459-470.

橋本力, 黒橋禎夫, 河原大輔, 新里圭司, 永田昌明 (2011). 構文・照応・評価情報つきブログコーパスの構築. 自然言語処理, $18(2)$, pp. 175-201.

飯田龍, 小町守, 乾健太郎, 松本裕治 (2010). 述語項構造と照応関係のアノテーション：NAIST テキストコーパス構築の経験から. 自然言語処理, 17 (2), pp. 25-50.

伊藤一成, 斎藤博昭 (2004). アノテーションの副次生成とテキスト処理への応用. 日本デー夕

ベース学会論文誌 DBSJ Letters, 3 (1), pp. 117-120.

鍜治伸裕，喜連川優 (2008). HTML 文書集合からの評価文の自動収集. 自然言語処理, 15 (3), pp. $77-90$.

Kaneko, K., Shibuki, H., Nakano, M., Miyazaki, R., Ishioroshi, M., and Morii, T. (2009). "Mediatory Summary Genaration: Summary-Passage Extraction for Information Credibility on the Web." In the 23rd Pacific Asia Conference on Language, Information and Computation, pp. 240-249.

加藤義清, 河原大輔, 乾健太郎, 黒橋禎夫, 柴田知秀 (2010). Web ページの情報発信者の同定.人工知能学会論文誌, 25 (1), pp. 90-103.

河合剛巨, 岡嶋穣, 中澤聡 (2007). Web 文書の時系列分析に基づく意見変化イベントの抽出. 言語処理学会第 17 回年次大会発表論文集, pp. 264-267.

Lin, C.-Y. and Hovy, E. (2003). "Automatic Evaluation of Summaries Using N-gram CoOccurrence Statistics." In the 2003 Conference of the North American Chapter of the Association for Computational Linguistics on Human Language Technology - Volume 1 (NAACL'03), pp. 71-78.

松本章代, 小西達裕, 高木朗, 小山照夫, 三宅芳雄, 伊東幸宏 (2009). 文末表現を利用したウェブページの主観・客観度の判定. 第 1 回データ工学と情報マネジメントに関するフォーラム (DEIM), A5-4.

松吉俊, 江口萌, 佐尾ちとせ, 村上浩司, 乾健太郎, 松本裕治 (2010). テキスト情報分析のための判断情報アノテーション. 電子情報通信学会論文誌 (D), J93-D (6), pp. 705-713.

Mihalcea, R. and Tarau, P. (2004). "TextRank: Bringing Order into Texts." In the Conference on Empirical Methods in Natural Language Processing (EMNLP 2004), pp. 404-411.
光田航, 飯田龍, 徳永健伸 (2013). テキストアノテーションにおける視線と操作履歴の収集と分析. 言語処理学会第 19 回年次大会発表論文集, pp. 449-452.

宮崎林太郎，森辰則 (2010). 注釈事例参照を用いた複数注釈者による評判情報コーパスの作成.自然言語処理, $\mathbf{1 7}(5)$, pp. 3-50.

Miyazaki, R., Momose, R., Shibuki, H., and Mori, T. (2009). "Using Web Page Layout for Extraction of Sender Names." In the 3rd International Universal Communication Symposium (IUCS 2009), pp. 181-186.

Murakami, K., Nichols, E., Mizuno, J., Watanabe, Y., Masuda, S., Goto, H., Ohki, M., Sao, C., Matsuyoshi, S., Inui, K., and Matsumoto, Y. (2010). "Statement Map: Reducing Web Information Credibility Noise through Opinion Classification." In the Fourth Workshop on Analytics for Noisy Unstructured Text Data (AND 2010), pp. 59-66.

中野正宽, 渋木英潔, 宮崎林太郎, 石下円香, 森辰則 (2008). 情報信憑性判断のための自動要約に向けた人手による要約作成実験とその分析. 自然言語処理研究会報告 2008-NL-187, pp. 107-114.

中野正宽, 渋木英潔, 宮崎林太郎, 石下円香, 金子浩一, 永井隆広, 森辰則 (2011). 情報信憑性判断支援のための直接調停要約生成手法. 電子情報通信学会論文誌 (D), J94-D (11), pp. 1019-1030.

Nakano, M., Shibuki, H., Miyazaki, R., Ishioroshi, M., Kaneko, K., and Mori, T. (2010). "Construction of Text Summarization Corpus for the Credibility of Information on the Web." In the 7th Language Resources and Evaluation Conference (LREC 2010), pp. 3125-3131.

西原陽子, 伊藤彩, 大澤幸生 (2011). 意見の理解を支援するアノテーションシステム. マイニングツールの統合と活用\&情報編纂研究会 (TETDM-01-SIG-IC-06-01), pp. 1-6.

Ptaszynski, M., Rzepka, R., Araki, K., and Momouchi, Y. (2012). "Automatically Annotating A Five-Billion-Word Corpus of Japanese Blogs for Sentiment and Affect Analysis." In the 3rd Workshop on Computational Approaches to Subjectivity and Sentiment Analysis, pp. 89-98. Radev, D., Otterbacher, J., and Zhang, Z. (2004). "CST Bank: A Corpus for the Study of Cross-document Structural Relationships." In the 4th International Language Resourace and Evaluation (LREC'04), pp. 1783-1786.

関口洋一, 山本和英 (2003). Web コーパスの提案. 情報処理学会研究報告, NL157-17/FI72-17.渋木英潔, 中野正寞, 宮崎林太郎, 石下円香, 鈴木貴子, 森辰則 (2009). 情報信憑性判断のための要約に関する基礎的検討. 言語処理学会第 15 回年次大会発表論文集, pp. 123-130.

渋木英潔, 中野正寞, 宮崎林太郎, 石下円香, 永井隆広, 森辰則 (2011). 調停要約のための正解コーパスの作成とその分析. 言語処理学会第 17 回年次大会発表論文集, pp. 364-367.

涉木英潔, 永井隆広, 中野正寛, 石下円香, 松本拓也, 森辰則 (2013). 情報信馮性判断支援の
渋木, 中野, 宮崎, 石下, 金子, 永井, 森情報信憑性判断支援の Web 文書向け要約生成タスクにおけるアノテーションための対話型調停要約生成手法. 自然言語処理, 20 (2), pp. 75-103.

Shibuki, H., Nagai, T., Nakano, M., Miyazaki, R., Ishioroshi, M., and Mori, T. (2010). "A Method for Automatically Generating a Mediatory Summary to Verify Credibility of Information on the Web." In the 23rd International Conference on Computational Linguistics (COLING 2010), pp. 1140-1148.

Shinzato, K., Shibata, T., Kawahara, D., Hashimoto, C., and Kurohashi, S. (2008). "TSUBAKI:

An Open Search Engine Infrastructure for Developing New Information Access Methodology." In the Third International Joint Conference on Natural Language Processing, pp. 189-196.

徳永健伸, 飯田龍 (2013). アノテーションのためのアノテーション. 言語処理学会第 19 回年次大会発表論文集, pp. 70-73.

Wiebe, J., Wilson, T., and Cardie, C. (2005). "Annotating Expressions of Opinions and Emotions in Language." Language Resources and Evaluation, 39 (2-3), pp. 165-210.

山本祐輔，田中克己 (2010). デー夕対間のサポート関係分析に基づく Web 情報の信憑性評価.情報処理学会論文誌 : データベース, $\mathbf{3}(2)$, pp. 61-79.

吉岡真治, 原口誠 (2004). イベントの参照関係に注目した新聞記事の複数文書要約. 言語処理学会第 10 回年次大会発表論文集, pp. 257-260.

吉岡真治, 神門典子 (2012). タスクを考慮した情報検索テストコレクション構築に関する考察.情報アクセスシンポジウム 2012 , pp. 1-7.

## 付録

## Aサーベイレポートコーパスのタグー覧と文書型定義

サーベイレポートコーパスに収録された Web 文書と抜粋要約のタグの一覧を，表 18 と表 19 にそれぞれ示す。また, 文書型定義を, 図 12 と図 13 にそれぞれ示す.

表 18 サーベイレポートコーパスに収録された Web 文書の夕グの一覧

 &  \\

渋木, 中野, 宮崎, 石下, 金子, 永井, 森情報信憑性判断支援の Web 文書向け要約生成タスクにおけるアノテーション

表 19 サーベイレポートコーパスに収録された抜粋要約の夕グの一覧

図 12 サーベイレポートコーパスに収録された Web 文書の文書型定義

<!DOCTYPE Data [

<!ELEMENT Data (SurveyReport,HolderList)>

<!ATTLIST Data version CDATA \#FIXED "1.0">

<!ATTLIST Data year CDATA \#FIXED "H20">

$<$ !ELEMENT SurveyReport (Citation |Extra)+>

<!ELEMENT Citation (\#PCDATA)>

<!ATTLIST Citation Fileld CDATA \#REQUIRED>

<!ATTLIST Citation Passageld CDATA \#REQUIRED>

<!ATTLIST Citation BeginPoint CDATA \#REQUIRED>

<!ATTLIST Citation HolderId CDATA \#REQUIRED>

$<$ !ATTLIST Citation HolderName CDATA \#REQUIRED>

<!ELEMENT Extra (\#PCDATA)>

$<$ !ELEMENT HolderList (Holder*)>

<!ELEMENT Holder EMPTY>

<!ATTLIST Holder Globalld CDATA \#REQUIRED>

<!ATTLIST Holder GlobalName CDATA \#REQUIRED>

<!ATTLIST Holder P1Element CDATA \#REQUIRED>

<!ATTLIST Holder O1Element CDATA \#REQUIRED>

<!ATTLIST Holder P2Element CDATA \#REQUIRED>

<!ATTLIST Holder O2Element CDATA \#REQUIRED>

$<$ !ATTLIST Holder OrgHolder (0|1)>

<!ATTLIST Holder SameHolder CDATA \#REQUIRED>

]$>$

図 13 サーベイレポートコーパスに収録された抜粋要約の文書型定義

## B 抜粋要約中の論点の一覧

3.4.3 節で述べた作業者間の一致率に関する考察として行った, 第 2 回のサーベイレポートコーパスに収録された抜粋要約中の論点数を調査した結果を，表 20 から表 24 にそれぞれ示す.

表 20 「レーシック手術は痛みがある」に関する抜粋要約中の論点の一覧

表 21 「無洗米は水を污さない」に関する抜粋要約中の論点の一覧

表 22 「無洗米はおいしい」に関する抜粁要約中の論点の一覧

 & & & $\bigcirc$ & \\

表 23 「アスベストは危険性がない」に関する抜粋要約中の論点の一覧

表 24 「キシリトールは虫歯にならない」に関する抜粋要約中の論点の一覧

 & $\bigcirc$ & & $\bigcirc$ & $\bigcirc$ \\

## Ｃ調停要約コーパスのタグー覧と文書型定義

調停要約コーパスに収録された Web 文書のタグの一覧を表 25 と表 26 に，抜粋要約のタグの一覧を表 27 にそれぞれ示す。また, 文書型定義を, 図 14 と図 15 にそれぞれ示す.

表 25 調停要約コーパスにおける Web 文書の夕グの一覧（前半）

表 26 調停要約コーパスにおける Web 文書の夕グの一覧（後半）

渋木, 中野, 宮崎, 石下, 金子, 永井, 森情報信憑性判断支援の Web 文書向け要約生成タスクにおけるアノテーション

表 27 調停要約コーパスにおける調停要約文書の夕グの一覧

## $<$ !DOCTYPE Data [

<!ELEMENT Data (Fileld, StatementList, MediationList, MediationKeyExpression-

List,SenderList, SenderKeyExpressionList, SenderExpertKeyExpressionList, SenderMedi-

ationKeyExpressionList, Text)>

<!ATTLIST Data version CDATA \#FIXED "3.0">

<!ATTLIST Data year CDATA \#FIXED "H22">

$<$ !ELEMENT Fileld (\#PCDATA)>

$<$ :ATTLIST Fileld Common (0|1)>

$<$ !ATTLIST Fileld HasConflict (0|1)>

$<$ !ATTLIST Fileld HasMediation (0|1)>

$<$ !ATTLIST Fileld HasSender (0|1)>

<!ELEMENT StatementList (Statement*)>

$<$ !ELEMENT Statement (\#PCDATA)>

$<$ !ATTLIST Statement Sentenceld CDATA \#REQUIRED>

<!ATTLIST Statement Start CDATA \#REQUIRED>

$<$ !ATTLIST Statement Length CDATA \#REQUIRED>

$<$ !ELEMENT MediationList (Mediation*)>

$<$ !ELEMENT Mediation (\#PCDATA)>

<!ATTLIST Mediation Type CDATA \#FIXED "Direct">

<!ATTLIST Mediation Sentenceld CDATA \#REQUIRED>

$<$ !ATTLIST Mediation Start CDATA \#REQUIRED>

$<$ !ATTLIST Mediation Length CDATA \#REQUIRED>

<!ELEMENT MediationKeyExpressionList (MediationKeyExpression*)>

<!ELEMENT MediationKeyExpression EMPTY>

<!ATTLIST MediationKeyExpression Sentenceld CDATA \#REQUIRED>

<!ATTLIST MediationKeyExpression Start CDATA \#REQUIRED>

<!ATTLIST MediationKeyExpression Length CDATA \#REQUIRED>

<!ELEMENT SenderList (Sender*)>

$<$ !ELEMENT Sender (\#PCDATA)>

$<$ !ATTLIST Sender Type CDATA \#FIXED "Page">

$<$ !ATTLIST Sender Sentenceld CDATA \#REQUIRED>

$<$ !ATTLIST Sender Start CDATA \#REQUIRED>

$<$ !ATTLIST Sender Length CDATA \#REQUIRED>

$<$ !ATTLIST Sender IsOrganization (0|1)>

$<$ !ATTLIST Sender IsExpert (0|1)>

$<$ !ATTLIST Sender IsMediator (0|1)>

<!ELEMENT SenderKeyExpressionList (SenderKeyExpression*)>

$<$ !ELEMENT SenderKeyExpression (\#PCDATA)>

<!ATTLIST SenderKeyExpression Sentenceld CDATA \#REQUIRED>

<!ATTLIST SenderKeyExpression Start CDATA \#REQUIRED>

$<$ !ATTLIST SenderKeyExpression Length CDATA \#REQUIRED>

<!ELEMENT SenderExpertKeyExpressionList (SenderExpertKeyExpression*)>

$<$ !ELEMENT SenderExpertKeyExpression (\#PCDATA)>

<!ATTLIST SenderExpertKeyExpression Sentenceld CDATA \#REQUIRED>

<!ATTLIST SenderExpertKeyExpression Start CDATA \#REQUIRED>

<!ATTLIST SenderExpertKeyExpression Length CDATA \#REQUIRED>

<!ELEMENT SenderMediationKeyExpressionList (SenderMediationKeyExpression*)>

$<$ !ELEMENT SenderMediationKeyExpression (\#PCDATA)>

<!ATTLIST SenderMediationKeyExpression Sentenceld CDATA \#REQUIRED>

<!ATTLIST SenderMediationKeyExpression Start CDATA \#REQUIRED>

<!ATTLIST SenderMediationKeyExpression Length CDATA \#REQUIRED>

$<$ !ELEMENT Text (Sentence)+>

$<$ !ELEMENT Sentence (\#PCDATA)>

$<$ !ATTLIST Sentenceld CDATA \#REQUIRED>

]>

図 14 調停要約コーパスに収録された Web 文書の文書型定義
渋木, 中野, 宮崎, 石下, 金子, 永井, 森情報信憑性判断支援の Web 文書向け要約生成タスクにおけるアノテーション

図 15 調停要約コーパスに収録された抜粋要約の文書型定義

## 略歴

渋木英潔：1997 年小樽商科大学商学部商業教員養成課程卒業. 1999 年同大学大学院商学研究科修士課程修了. 2002 年北海道大学大学院工学研究科博士後期課程修了. 博士 (工学). 2006 年北海学園大学大学院経営学研究科博士後期課程終了. 博士 (経営学). 現在, 横浜国立大学環境情報研究院科学研究費研究員. 自然言語処理に関する研究に従事. 言語処理学会, 情報処理学会, 電子情報通信学会, 日本認知科学会各会員.

中野正寛 : 2005 年横浜国立大学大学院環境情報学府情報メディア環境学専攻博士課程前期修了. 2011 年同専攻博士課程後期単位取得退学. 修士 (情報学). 2011 年から 2012 年まで同学府研究生. この間, 自然言語処理に関する研究に従事.

宮崎林太郎：2004 年神奈川大学大学院理学研究科情報科学専攻博士課程前期修了. 2011 年横浜国立大学大学院環境情報学府情報メディア環境学専攻博士課程後期修了. 博士 (情報学). 在学中は, 自然言語処理に関する研究に従事.

石下円香：2009 年横浜国立大学大学院環境情報学府情報メディア環境学専攻博士課程後期修了. 現在, 国立情報学研究所特任研究員. 博士 (情報学). 自然言語処理に関する研究に従事. 言語処理学会, 人工知能学会各会員.

金子浩一：2008 年横浜国立大学工学部電子情報工学科卒業. 2010 年同大学大学院環境情報学府情報メディア環境学専攻博士課程前期修了. 修士（情報学). 在学中は自然言語処理に関する研究に従事.

永井隆広：2010 年横浜国立大学工学部電子情報工学科卒業. 2012 年同大学大学院環境情報学府情報メディア環境学専攻博士課程前期修了. 修士（情報学). 在学中は自然言語処理に関する研究に従事.

森辰則：1986 年横浜国立大学工学部情報工学科卒業. 1991 年同大学大学院工学研究科博士課程後期修了. 工学博士. 同年, 同大学工学部助手着任. 同講師, 同助教授を経て, 現在, 同大学大学院環境情報研究院教授. この間, 1998 年 2 月より 11 月まで Stanford 大学 CSLI 客員研究員. 自然言語処理, 情報検索, 情報抽出などの研究に従事. 言語処理学会, 情報処理学会, 電子情報通信学会, 人工知能学会, ACM 各会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/