# 表層類似度に基づくセンター試験『国語』現代文傍線部問題ソルバー

佐藤 理史 $^{\dagger} \cdot$ 加納 隼人 $\dagger \cdot$ 西村 翔平 $\dagger \dagger \cdot$ 駒谷 和範 $+\dagger \dagger$
}

大学入試センター試験『国語』の現代文で出題される, いわゆる「傍線部問題」を 解く方法を定式化し，実装した。本方法は, 問題の本文の一部と 5 つの選択肢を照合し，表層的に最も類似した選択肢を選ぶことにより問題を解く，実装した方法は，「評論」の「傍線部問題」の半数以上に対して正解を出力した. キーワード : 大学入試センター試験, 国語現代文, 傍線部問題, 表層類似度
## A Surface-Similarity-Based Solver of Comprehension Questions Referring to Underlined Passages in Contemporary Japanese of the National Center Test

\author{
Satoshi Sato $^{\dagger}$, Hayato Kanou $^{\dagger}$, Shohei Nishimura ${ }^{\dagger \dagger}$ and Kazunori Komatani ${ }^{\dagger \dagger \dagger}$
}

We formalized and implemented a method for solving comprehension questions referring to underlined passages in Contemporary Japanese of the National Center Test. A target question consists of a text body extracted from a critical essay or novel, a question sentence, and five choices; the question sentence refers to an underlined passage in the text body and asks a question related to the passage, such as the interpretation of the passage, the reason for the author's claim (in the essay), and the emotional state or feeling of a character (in the novel). Given a question, the method determines which text segment is the key to the question and selects the choice that is most similar to the segment. The method correctly solved more than half the "critical essay" questions in previous tests of the National Center Test.

Key Words: the National Center Test, Contemporary Japanese, questions referring to underlined passages, surface similarity

## 1 はじめに

日本において, 大学入試問題は, 学力（知力および知識力）を問う問題として定着している. この大学入試問題を計算機に解かせようという試みが, 国立情報学研究所のグランドチャレンジ「ロボットは東大に入れるか」というプロジェクトとして 2011 年に開始された (新井, 松崎


2012). このプロジェクトの中間目標は, 2016 年までに大学入試センター試験で, 東京大学の二次試験に進めるような高得点を取ることである.

我々は, このプロジェクトに参画し， 2013 年度より，大学入試センター試験の『国語』現代文の問題を解くシステムの開発に取り組んでいる，次章で述べるように，『国語』の現代文の設問の過半は，傍線部問題とよばれる設問である。船口 (船口 1997) が暗に指摘しているように,『国語』の現代文の「攻略」の中心は，傍線部問題の「攻略」にある.

我々の知る限り，大学入試の『国語』の傍線部問題を計算機に解かせる試みは, これまでに存在しない1. そのため, この種の問題が，計算機にとってどの程度むずかしいものであるかさえ，不明である。このような状況においては，色々な方法を試すまえに，まずは，比較的単純な方法で, どのぐらいの正解率が得られるのかを明らかにしておくことが重要である.

本論文では，このような背景に基づいて実施した，表層的な手がかりに基づく解法の定式化・実装・評価について報告する，我々が実装したシステムの性能は，我々の当初の予想を大幅に上回り,「評論」の傍線部問題の約半分を正しく解くことができた.

以下，本稿は，次のように構成されている。まず，2 章で，大学入試センター試験の『国語』 の構成と，それに含まれる傍線部問題について説明する． 3 章では，我々が採用した定式化について述べ，4章ではその実装について述べる，5 章では，実施した実験の結果を示し，その結果について検討する．最後に， 6 章で結論を述べる.

## 2 センター試験『国語』と傍線部問題

大学入試センター試験の『国語』では, 毎年, 大問 4 題が出題される (教学社編集部 2013). その大問構成を表 1 に示す.この表に示すように, 現代文に関する出題は, 第 1 問の「評論」と第 2 問の「小説」であり，『国語』の半分を占めている.

第 1 問の「評論」は，何らかの評論から抜き出された文章（本文）と，それに対する 6 問の設問から構成される。 6 問の内訳は，通常，以下のようになっている。

問 1 漢字の書き取り問題が 5 つ出題される.

表 1 センター試験『国語』の大問構成一出典 (教学社編集部 2013)

} & 第 1 問 & 評論 & 50 点 \\
\cline { 2 - 4 } & 第 2 問 & 小説 & 50 点 \\

\cline { 2 - 4 } & 第 4 問 & 漢文 & 50 点 \\

^{1}$ CLEF2013では, QA4MREのサブタスクの一つとして, Entrance Exams が実施され，そこでは， センター試験の『英語』の問題が使用された.
}
問 2-問 5 本文中の傍線部について，その内容や理由が問われる。

問 6 本文全体にかかわる問題で，2006 年以降は本文の論の進め方や本文の構成上の特徴などが問われる。

一方，第 2 問の「小説」は，何らかの小説から抜き出された文章（本文）と，それに対する 6 問の設問から構成される。 6 問の内訳は，通常，以下のようになっている.

問 1 語句の意味内容を問う問題が 3 つ出題される.

問 2-問 5 本文中の傍線部を参照し，登場人物の心情・人物像・行動の理由などが説明問題の形で問われる。

問 6 本文全体の趣旨や作者の意図，表現上の特徴などが問われる。

これらの設問のうち,「評論」「小説」の両者の問 2 から問 5 を傍線部問題と呼ぶ. 傍線部問題の具体例を図 1 に示す。この図に示すように，傍線部問題は，原則として 5 つの選択肢の中から正解を一つ選ぶ 5 択問題である。傍線部問題の配点は, 2009 年度本試験では, 第 1 問 32 点,第 2 問 33 点の計 65 点であり, 現代文の配点 100 点の約 $2 / 3$ を占める.

問 5 傍線部D「行為と行為をつなぐこの空間の密度を下げているのが、現在の住宅である」 とあるが、それはどういうことか。その説明として最も適当なものを、次の 1 ～5 のうから一つ選べ。

1 現在の住宅では、仕事部屋や子ども部屋など目的ごとに空間が切り分けられており、 それぞれの用途とはかかわらない複数の異なる行為を同時に行ったり、他者との関係を作り出したりするような可能性が低下してしまっていること。

2 現在の住宅では、ゾーニングが普及することでそれぞれの空間の独立性が高められており、家族であってもそれぞれが自室で過ごす時間が増えることで、人と人とが触れあい、関係を深めていくことが少なくなってしまっていること。

3 現在の住宅では、空間の慣習的な使用規則に縛られない設計がなされており、居住者たちがそのときその場で思いついたことを実現できるように、各自がそれぞれの行為を同時に行えるようになっていること。

4 木造家屋などかつての居住空間では、居間や台所など空間ごとの特性が際立っていたが、現代の住宅では、居住者が部屋の用途を交換でき、空間それぞれの特性がなくなつてきていること。

5 木造家屋などかつての居住空間では、人体の運動と連動して空間が作り変えられるような特性があったが、空間ごとの役割を明確にした現在の住宅では、予想外の行為によって空間の用途を多様にすることが困難になっていること。

図 1 傍線部問題の例（2011 年度本試験第 1 問の問 5 (2011M-E5)）
表 2 使用する傍線部問題の一覧

## 使用する試験問題

本研究では, 2001 年度から 2011 年度の奇数年の大学入試センター試験の本試験および追試験の『国語』（2005 年以前は『国語 I・II』）を使用する，ただし，諸般の事情により，本文等が欠けているものがあり, それらは使用しない. 表 2 に, 本研究で使用する傍線部問題の一覧を示す.

なお，以降では，設問を指し示す ID として，以下のような 4 つの情報を盛り达んだ形式を採用する。

(1) 年度 (4 桁)

(2) 試験区分（M: 本試験， S: 追試験）

(3) 出題区分 (E: 評論, $\mathrm{N}$ : 小説)

(4) 設問番号 $(2,3,4,5)$

たとえば，図 1 に示した，2011 年度本試験第 1 問「評論」の問 5 は,「2011M-E5」と表す。なお,この例に示したとおり, (2)と (3)の間に，ハイフォン‘-をを挟む.

## 3 傍線部問題の定式化

## 3.1 定式化

センター試験『国語』現代文傍線部問題では，正解となる選択肢の根拠が必ず本文中に存在すると指摘されている (船口 1997)。そして, その根拠となる部分は, 傍線部の付近に存在することが多いことが，板野の分析によって明らかにされている (板野 2010). 我々は，これらの知見に基づき，傍線部問題を，図 2 に示すように定式化する。

この定式化は，次のことを意味する。
入力 (a) 本文 $T$

（b）設問文 $Q$ (本文中のどこを参照しているかの情報が含まれるものとする)

(c) 選択肢集合 $C=\left.\{c_{1}, c_{2}, c_{3}, c_{4}, c_{5}\right.\}$

出力 $c=\underset{c_{i} \in \text { pre_select }(C, Q)}{\arg \max } \operatorname{score}\left(\operatorname{extract}(T, Q), c_{i}\right) \operatorname{polarity}(Q)$

関数 (a) $\operatorname{extract}(T, Q)$ : 本文 $T$ から，その一部を抽出する

(b) $\operatorname{score}\left(\widehat{T}, c_{i}\right)$ : テキスト $\widehat{T}$ と $c_{i}$ から，照合スコアを計算する

(c) $\operatorname{polarity}(Q)$ : 設問文の極性を判定する

(d) pre_select $(C, Q)$ : 選択肢集合 $C$ から，その部分集合を選ぶ

図 2 傍線部問題の定式化

（1）それぞれの設問を入力とする。設問は，本文 $T$, 設問文 $Q$, 選択肢集合 $C$ から構成されるものとする。（図 1 では，これらのうち，本文 $T$ を除いた，設問文 $Q$ と選択肢集合 $C$ を示している.)

（2）設問文 $Q$ と本文 $T$ から，選択肢と照合する本文の一部 $\widehat{T}=\operatorname{extract}(T, Q)$ を定める.

（3）選択肢集合 $C$ の中から，実際に本文の一部 $\widehat{T}$ と照合する部分集合 $\widehat{C}=\operatorname{pre} \operatorname{select}(C, Q)$ を定める。これは，選択肢の事前選抜に相当する。

(4) 設問文の極性 polarity $(Q)$ を判定する。この関数は，設問文 $Q$ が「適当なもの」を要求している場合に +1 を，「適当でないもの」を要求している場合に -1 を返すものとする.

(5) 事前選択済の選択肢集合 $\widehat{C}$ に含まれる選択肢 $c_{i}$ と, 本文の一部 $\widehat{T}$ と照合スコア $\operatorname{score}\left(\widehat{T}, c_{i}\right)$ を計算する。これに設問文の極性 $\operatorname{polarity}(Q)$ をかけたものを，その選択肢の最終スコアとする。

（6）事前選択済の選択肢集合 $\widehat{C}$ に含まれる選択肢 $c_{i}$ のなかで，最終スコアが最大のものを，解として出力する.

この定式化の特徴は，図 2 に示した (a)-(d)の 4 つの関数に集約される.これらの背後にある考え方について，以下で説明する。

## 3.2 本文の一部と照合する

正解の選択肢の根拠となる箇所は, 多くの場合, 本文中の傍線部の周辺にあると考えるのが妥当である. 先に述べたように，この点についての詳細な分析が，板野によってなされている (板野 2010). 実際, 我々人間が傍線部問題を解くとき, 本文中の傍線部の前後に注目するのは,標準的な戦略である.

このような戦略は, 選択肢 $c_{i}$ を本文 $T$ 全体と照合するのではなく, あらかじめ, 本文から,
根拠が書かれていそうな部分 $\widehat{T}$ 抜き出し, $\widehat{T} と c_{i}$ の照合スコアを計算することで, 具体化できる。

本文の一部を取り出す方法として，

（2）一つ前の設問で参照された傍線部から，当該傍線部までを $\widehat{T}$ とる，

などの方法が考えられ，これらと，採用する単位（文または段落）を組み合わせることにより，多くのバリエーションが生まれることになる. もちろん, 設問毎に, 設問文 $Q$ や本文 $T$ に応じて異なる（適切な）方法を採用してもよい.

関数 extract は，これらの方法を抽象化したもので，以下のような関数として定義する.

$
\widehat{T}=\operatorname{extract}(T, Q)
$

なお，厳密に言えば，設問文 $Q$ には一つ前の設問の傍線部の情報は含まれないが，その情報は本文を参照することによって得られるものと仮定する，事実，センター試験では，傍線部には A, B , C, D の記号が順に振られるため, 当該傍線部が B であれば，一つ前の設問の傍線部は Aであることがわかる。

## 3.3 照合スコアを採用する

本文の一部 $\widehat{T}$ が，選択肢 $c_{i}$ とどの程度整合するか（その根拠となりうるか）を，照合スコア $\operatorname{score}\left(\widehat{T}, c_{i}\right)$ として抽象化する。本来的には, 整合するかしないかの 2 值であるが，そのような判定を機械的に下すのは難しいので， 0 から 1 の実数をとるものとする.

## 3.4 設問文の極性を考慮する

ほとんどの傍線部問題の設問文は，「最も適当なものを，次の 1 ののうちから一つ選べ」という形式となっている。しかし，2001S-E4のように，「適当でないものを，次の 1 ののうちから一つ選べ」という形式も存在する。このような「適当でないもの」を選ぶ設問に対しては,照合スコアを逆転させる（照合スコアが最も小さなものを選択する）のが自然である.

上記のような設問形式に応じた選択法の変更を採用するために，設問文 $Q$ の極性を判定する関数 $\operatorname{polarity}(Q)$ を導入する。この関数は, 設問が「適当なもの」を要求している場合に +1 ,「適当でないもの」を要求している場合に -1 を返すものとする.

## 3.5 選択肢の事前選抜を導入する

本定式化では，「設問文と 5 の選択肢をよく読めば，本文を参照せずとも，正解にはならない選択肢のいくつかをあらかじめ排除できる」場合が存在すると考え ${ }^{2}$, 選択肢の事前選抜を明示的に導入する。事前選抜 pre_select は, 選択肢集合 $C$ と設問文 $Q$ から， $C$ の部分集合を返す関数として定式化する。

$
\widehat{C}=\text { pre_select }(C, Q), \quad \widehat{C} \subseteq C
$

## 4 実装

前節の定式化に基づいて傍線部問題ソルバーを実装するためには, score, polarity, extract, pre_selectの 4 つの関数を実装する必要がある。表 3 に，今回実装した方法の概要を示す（詳細は，以下で説明する）。お，前節の定式化では，正解と考えられる選択肢を一つ出力する形になっているが，実際のシステムは，選択肢を照合スコア順にソートした結果（すなわち，それぞれの選択肢の順位）を出力する仕様となっている。なお, 照合スコアが一致した場合は, 選択肢番号の若いものを上位とする ${ }^{3}$.

表 3 実装の概要

 &  \\



## 4.1 オーバーラップ率

照合スコア score, および，選択肢の事前選抜 pre_select の実装には，オーバーラップ率を用いる．オーバーラップ率の定義には, 服部と佐藤の定式化 (服部, 佐藤 2013; Hattori and Sato 2013)を採用する.

この定式化では，まず，ある集合 $E$ を仮定する。この集合の要素が，オーバーラップ率を計算する際の基本単位となる，集合 $E$ としては，たとえば，文字集合 $A$ ，形態素集合 $W$ ，あるいは，文字 $n$-gram の集合 $A^{n}$ などを想定する.

オーバーラップ率の算出の出発点となる式は, 2 の文字列 $t_{1}$ と $t_{2}$ に共通に出現する集合 $E$ の要素の数を求める次式である。

$
\operatorname{overlap}\left(E ; t_{1}, t_{2}\right)=\sum_{e \in E} \min \left(\operatorname{fr}\left(e, t_{1}\right), \operatorname{fr}\left(e, t_{2}\right)\right)
$

ここで, $\operatorname{fr}(e, t)$ は，文字列 $t$ における $e(\in E)$ の出現回数を表す.この値を， $t_{2}$ の長さ，あるいは, $t_{1}$ と $t_{2}$ の長さの和で正規化することにより，オーバーラップ率を定義する.

$
\begin{aligned}
& \operatorname{overlap\_ ratio~}_{D}\left(E ; t_{1}, t_{2}\right)=\frac{\operatorname{overlap}\left(E ; t_{1}, t_{2}\right)}{\sum_{e \in E} \operatorname{fr}\left(e, t_{2}\right)} \\
& \text { overlap_ratio }_{B}\left(E ; t_{1}, t_{2}\right)=\frac{2 \text { overlap }\left(E ; t_{1}, t_{2}\right)}{\sum_{e \in E} \operatorname{fr}\left(e, t_{1}\right)+\sum_{e \in E} \operatorname{fr}\left(e, t_{2}\right)}
\end{aligned}
$

前者の overlap_ratio ${ }_{D}$ は， $t_{2}$ の長さのみで正規化したもので，方向性を持った (directional) オー バーラップ率となる. 後者の overlap_ratio ${ }_{B}$ は, $t_{1}$ と $t_{2}$ の長さの和で正規化したもので，方向性を持たない，双方向性 (bidirectional) のオーバーラップ率となる.

## 4.2 照合スコア

本文の一部 $\widehat{T}$ と選択肢 $c_{i}$ の照合スコアには, 方向性を持ったオーバーラップ率 overlap_ratio ${ }_{D}$ を用いる。

$
\operatorname{score}\left(\widehat{T}, c_{i}\right)=\text { overlap_ratio }_{D}\left(E, \widehat{T}, c_{i}\right)
$

ここで，オーバーラップを測る際の単位（要素）集合 $E$ として，以下の 4 種類を実装した。

(1) $A$ : 文字集合

(2) $A^{2}:$ 文字 bigram $の$ 集合

(3) $W$ : 形態素表層形の集合

(4) $L$ : 形態素原形の集合

いずれの場合も, 句読点は要素に含めなかった.

形態素解析器には mecab-0.994を, 形態素解析辞書には, ipadic-2.7.0 または unidic-2.1.0を用いた。すなわち， $W$ と $L$ は，それぞれ 2 種類存在することになる.

## 4.3 設問文の極性判定

設問文の極性判定は，文字列マッチングで実装した，具体的には，正規表現「/（適切|適当） でないものを/」に一致した場合は negative (-1), それ以外は positive $(+1)$ と判定する. 対象とした問題は限られているので，極性判定結果は，人間の判断とすべて一致する.

## 4.4 本文の一部の抽出

段落 $(\mathrm{P})$ 単位および文 $(\mathrm{S})$ 単位の抽出を実装した。抽出する領域は，連続領域を採用した。すなわち, 抽出単位, 抽出開始点, 抽出終了点の 3 つの情報によって, 抽出領域は定まる.

抽出開始・終了点は, 当該傍線部を含む単位（段落または文）を基準点 0 とし, その前後何単位であるかを，整数で表す．たとえば，S- $m-n$ は，当該傍線部を含む文と，その前 $m$ 文，後 $n$ 文を表す（全部で $m+1+n$ 文となる）。この他に, 本文先頭 (a), 前問の傍線部の位置 (b),本文末尾 (e) という 3 種類の特別な位置を指定できるようにした. さらに，当該傍線部を含む文を除外するというオプション $(\bar{X})$ も実装しだ．

## 4.5 選択肢の事前選抜

選択肢の事前選抜には，次の方法を採用した。

（1）それぞれの選択肢 $c_{i}$ において，以下に示す事前選択スコア $\operatorname{ps}\left(c_{i}, C\right)$ を計算する.

$
\operatorname{ps}\left(c_{i}, C\right)=\frac{1}{|C|-1} \sum_{c_{j} \in C, c_{j} \neq c_{i}} \text { overlap_ratio }_{B}\left(A ; c_{i}, c_{j}\right)
$

このスコアは, 他の選択肢 $c_{j}$ との双方向文字オーバーラップ率 overlap_ratio ${ }_{B}\left(A ; c_{i}, c_{j}\right)$ の平均値である。

（2）得られた事前選択スコアが低い選択肢を, 選択肢集合から除外する。（最終順位付けでは，かならず 5 位とする)

なお，この実装は，いわば「もっとも仲間はずれの選択肢を一つ除外する」という考え方に基づいている.


## 5 実験と検討

## 5.1 実験結果

実装した傍線部問題ソルバーを用いて，評論傍線部問題 40 問を解いた結果を表 4 および表 5 に示す.この表の各行の先頭の欄 (ID) は, 本文抽出法 (extract) に対応しており, 次の 2 つの数字は，その抽出法 (ID) で抽出された文数（40 問の平均値），および，該当傍線部を含む文を除外した場合 $(\overline{\mathrm{ID}})$ の文数を示す ${ }^{5}$. 斜線で区切られた 4 つの数字は，ある要素集合を単位としてオーバーラップ率を計算した場合に対応し, それぞれの数字は, 順に, 以下の場合の正解数を示す.

（1）抽出法 ID + 事前選択なし (no)

(2) 抽出法 $\overline{\mathrm{ID}}+$ 事前選択なし (no)

（3）抽出法 ID + 事前選択あり (yes)

（4）抽出法 $\overline{\mathrm{ID}}+$ 事前選択あり (yes)

表 4 の 2 行目 (P-a-0)の $A$ 闌の最初の数字 20 が, 我々に衝撃を与えた数字である. これは,

$\widehat{T}$ と各選択肢 $c_{i}$ との照合スコアを文字オーバーラップ率 $(A)$ で計算して,

スコアが最大値を取る選択肢を選んだ場合,

「評論」の傍線部問題の半分 $(20 / 40)$ が正しく解ける

ことを意味する。

センター試験の設問は 5 択問題であるので，解答する選択肢をランダムに選んだとしても $1 / 5$ の確率で正解する。 40 問においてランダムに解答を選んだ場合，正解する問題数は， $8 \pm 4.96$ $(p=0.05)$ である ${ }^{6}$. この値と比べ, 正解数 20 問は有意に多い.

我々は，このような性能が得られることを，まったく予期していないかった. この結果を受けて，我々は，色々な設定 $(84 \times 6 \times 4-12=2,004$ 通り）7での性能を網羅的に調べた。こうして得られたのが表 4 と表 5 である。これらの表では, 正解数 20 以上をボールド体で表示した. さらに，正解数が 22 以上となった 16 の設定とその設定における正解の順位分布（第 $n$ 位として出力された正解がいくつあるか）を，表 6 に示した.
^{5} \mathrm{~S}-m-n$ で文数が $m+1+n$ を越えるのは，2003S-E5 の設問文が複数の傍線部（正確には，波線部）を含むためである。この場合，最初に現れる波線部の前方 $m$ 文から，最後に現れる波線部の後方 $n$ 文までを抽出する.

${ }^{6} B\left(40, \frac{1}{5}\right) \approx N\left(8,2.53^{2}\right)$. 故に $1.96 \times 2.53 \approx 4.96$

7 傍線部を含む段落が 1 文のみから構成されている場合があるので，抽出法 $\overline{\mathrm{P}-0-0}$ は設定しない.これが -12 に相当する. 84 は，表 $4-5$ の行数の合計を， $6 \times 4$ は 1 行に記述される設定数を示す.
}
表 4 「評論」に対する実験結果（その 1）

} & $A$ & $A^{2}$ & $W$-ipadic & $W$-unidic & $L$-ipadic & $L$-unidic \\

表 5 「評論」に対する実験結果（その 2）

} & $A$ & $A^{2}$ & $W$-ipadic & $W$-unidic & $L$-ipadic & \multirow{2}{*}{} \\

## 5.2 実験結果を検討する

表 4 と表 5 を観察すると，以下のことに気づく.

（1）照合するテキスト $\widehat{T}$ が極端に短い場合を除き，ほとんどの場合（2,004 通り中 1,828 通りの設定）で，正解数はランダムな方法より有意に多い。すなわち，「評論」の傍線部問題に対しては，本論文で示した解法は，有効に機能する。

（2）照合スコアのオーバーラップ率の計算には，文字 $(A)$ を用いると相対的に成績がよい場合が多い，文字オーバーラップ率が有効に機能するという，この結果は，日本語の含意
表 6 正解数が 22 以上の設定と正解の順位分布（「評論」）

認識 (RITE2) における服部らの結果 (服部, 佐藤 2013; Hattori and Sato 2013) に合致する. 文字オーバーラップ率が有効に機能するのは, おそらく, 日本語の文字の種類が多いこと，および，漢字 1 文字が内容的情報を表しうること，の 2 つの理由によるものと考えられる。

(3) 照合スコアのオーバーラップ率の計算に, 文字 $\operatorname{bigram}\left(A^{2}\right)$, 形態素出現形 $(W)$, 形態

比較的短いテキストの照合では, 語や文字 bigram などの, より長い要素の一致が大きな意味を持つためと考えられる。今回の実験で最も成績がよかった正解数 23 は, 抽出法 $\overline{\mathrm{S}-9-0}$, 照合法 $A^{2}$ または $L$-unidic，事前選抜あり (yes)の場合に得られた.

（4）照合テキスト $\widehat{T} から ，$ 当該傍線部を含む文を除外した方が，除外しなかった場合よりも，成績は若干よい傾向を示す. 脚注 4 でも述べたように，傍線部の言い換えを求めるような設問では, 該当傍線部自身は, 選択肢の根拠とはならないことが多い.このような設問に対しては，該当傍線部を含む文を除外することによる効果があると考えられる。

（5）選択肢の事前選抜は，正解数を増やす効果が見られる。なお, 今回使用した 40 問において，正解が事前選抜によって除外される設問は， 1 問 (2005M-3) だけ存在した.

（6）用いる形態素解析辞書によって, 得られる結果は若干異なる.これは, 形態素として認
定する単位，および，原形の認定法の違い8による，今回の実験では，ipadicを使用した方が，相対的によい結果が得られた場合が多かった。

## 5.3 性能の上限を見積もる

本論文で提案した方法で, どの程度の性能が達成可能であるかを見積もってみよう．性能の上限は，それぞれの設問において，

（1）最も適切な本文の一部 $\widehat{T}$ が選択でき，かつ，

（2）最も適切な照合スコアを選択できる

と仮定した場合の正解率で与えられる。ここでは,

・ 形態素解析辞書には ipadic のみを用いる
- 選択肢の事前選択は行なわない9

こととした $668(=84 \times 4-4)$ 通りの設定 ${ }^{10}$ を採用し, 各設問毎に 668 通りの設定の成績（正解の順位) を集計した。その結果を表 7 に示す.

表 7 に示すように， 668 通りの設定のいずれにおいても正解を出力できなかった設問は, 2 問 (2001S-E5 と 2009M-E4)のみであった. すなわち, 38/40(=95\%) の設問に対して，本論文で示した解法は正解を出力できる可能性がある.

表 7 において，1位となった設定数が多い設問は，言わば「ストライクゾーンが広い」設問である。つまり，パラメータ選択に「鈍感」であり，機械にとってやさしい設問である．たとえば，2003S-E3（1 行目）は，668 通り中 664 通りの設定で正解が得られている，逆に， 1 位となった設定数が少ない設問は，正解を出力するのが難しい設問である．たとえば， 2003M-E5 （下から 3 行目）は， 668 通り中 14 通りの設定でしか正解が得られない.

これらのことを考慮して，次に，もうすこし現実的な到達目標を考えよう。正解率 $1 / 5$ でランダムに 668 回の試行を行なった場合の正解数は $133.6 \pm 20.26(p=0.05)$ である.この値の上限をひとつの目安として ${ }^{11}$, これよりも多い正解数が得られた設問は, 設問に応じた適切なパラメータ選択により，正解を導ける可能性が高いとみなそう。このような設問は, 40 問中 27 問 $(67.5 \%)$ である，実際，今回の実験で得られた最大正解数は 23 であり，正解数 27 は, 現実的に到達可能な範囲にあると考えられる。

## 5.4 好成績の理由を考える

このような比較的単純な解法でも, 半数以上の設問が正しく解けるのは, どうしてだろうか. その理由は, おそらく,「センター試験がよく練られた試験問題である」ということになろう.
-0-0}$ は設定しないことに対応する. 11 表 7 の左側の区切り線は,この境界を示す.
}
表 7 各設問における正解順位分布（「評論」）

センター試験の問題は, 当然のことながら, 「正解が一意に定まる（大多数の人が, 正解に納得できる)」ことが必要である.

答の一意性を保証できる『数学』の問題とは異なり,『国語』の傍線部問題は, 潜在的には多数の「正解文」が存在する，作問者の立場に立てば，そのうちの一つを選択肢に含め，それ以外を選択肢に含めないように問題を作らなければならない。そのため，正解選択肢とそれ以外の選択肢の間に，明示的な差異を持ち込まざるを得なくなる。そして，そのために持ち込まれた差異は，オーバーラップ率のような表層的な指標においても，識別できる差異として現れてしまうのであろう，もし，この推測が正しいとすれば，「良い問題であれば，機械にも解ける」 ということであり，本論文で提案した解法は， センター試験ならではの性質を利用していることになろう.

## 5.5 正解が得られない設問

すでに何度も述べたように, 我々は, 本論文で提案した解法で「評論」の傍線部問題の半数以上が解けてしまうことが驚きであり，解けない設問があることに何の不思議さも感じない. しかしながら，査読者より，採録条件として，「提案手法では正解が得られない設問に対する分析

（定性的な議論）が必要である」との指摘があったので，この点についての我々の見解を以下に述べる。

まず，（ある特定パラメータを使用した）この解法によって正解が得られない直接的な理由は,抽出した本文の領域 $\widehat{T}$ と正解選択肢との照合スコア（オーバーラップ率）が低いことによる. この理由をさらに分解すると，次の 3 つの理由に行きつく。

R1 そもそも本文中に根拠がない

R2 不適切な領域 $\widehat{T}$ 抽出している

R3 照合スコアが意味的整合性を反映していない

しかしながら, 特定の設問が解けない理由を, このどれか一つに特定することは難しい.

まず，理由Ｒ1 であるが，確かに，これがほぼ明白なケースは存在する，たとえば，2003M-E4 は，傍線部の「具体例」を問う問題であるが，本文中にはその具体例は述べられていない．しかしながら,「根拠」という言葉はいささか曖昧であり, 広くも狭くも解釈できるため, その解釈を固定しない限り，根拠の有無を明確に判断することは難しい，受験対策本がいう「根拠」は，「正解選択肢を選ぶ手がかり」という広い意味であり，「『適切に語句や表現を言い換えれば，選択肢の表現に変換できる』本文の一部」という狭い意味ではない．前者の意味では，ほとんどの設問に根拠は存在するが，後者の意味では，ほとんどの設題に根拠は存在しない，評論の傍線部問題で問われるのは, 本文全体の理解に基づく傍線部の解釈であり, 表現レベルの単純な言い換えではない.

次に, 理由 R2であるが，今回の解法では，選択肢と照合する領域として文または段落を単位とする連続領域のみを扱っている。しかし, 実際の（広い意味での）根拠は，より小さな句や節といった単位の場合もあり，かつ，不連続に複数箇所存在する場合も多い. 現在の実装の自由度における最適な領域が，必ずしも真の意味で適切な領域であるとは限らない。

最後に, 理由 $\mathrm{R} 3$ であるが, 現在の照合スコアが意味的整合性を適切に反映しない場合が存在するのは自明である。しかし, 問題はそれほど単純ではない. 照合スコアの具体的な値は, 照合領域 $\widehat{T} に$ 依存する。最適な領域が定まれば，使用している照合スコア計算法の善し悪しを議論できるが，最適な領域が不定であれば，正解を導けない原因を，領域抽出の失敗 (R2) に帰すべきか, 照合スコアの不適切さ (R3)に帰すべきかは, 容易には定まらない.

以上のように, 特定の設問が解けない理由を追求し, 解けない設問を類形化することは, かなり難しい，さらに，チャンスレベルは $20 \%$ であるから，たまたま解ける設問も存在する ${ }^{12}$. そのような困難さを踏まえた上で，解けない設問を大胆に類形化するのであれば，次のようになろう.
- 正解選択肢を選ぶ根拠が, 傍線部のかなり後方に位置する設問.

- 正解選択肢を選ぶ根拠が, 本文全体に点在している設問.
- 正解選択肢が, 本文全体の理解・解釈を前提として, 本文中には現れない表現で記述されている設問。
- 本文と整合しない部分を含む選択肢を除外していくこと（いわゆる消去法 (板野 2010)） によって，正解選択肢が導ける設問。

## 5.6 「小説」に適用する

本論文で提案した解法を, そのまま「小説」の傍線部問題に適用すると, どのような結果が得られるであろうか. その疑問に答えるために，「評論」と同様の実験を，「小説」に対しても実施した. 対象とした「小説」の傍線部問題は計 38 問なので，ランダムに解答すると， $7.6 \pm 4.83$問 $(p=0.05)$ の正解が得られることになる.

実験において, 統計的に有意な結果（正解数 13 以上）が得られたのは, 2,004 通り中 13 通りの設定のみであった。これらを表 8 に示す. さらに,「評論」と同様に, 各設問に対しても 668 通りの実験結果を集計した ${ }^{13}$ 。正解数が $133.6 \pm 20.26$ の上限を越えたのは, 38 問中 10 問であった. これらの結果より,「小説」に対しては，本論文で提案した解法の性能は，チャンスレベルと大差がないとみなすのが妥当であろう.

表 8 正解数が 13 以上の設定と正解の順位分布 (「小説」)

## 6 結論

本研究で得られた結果をまとめると，次のようになる。

（1）センター試験『国語』現代文の傍線部問題に対する解法を提案・定式化した.

(2) 本論文で示した解法は, 「評論」の傍線部問題に対しては有効に機能し, 半数以上の設問に対して正解を出力することができる。今回の実験から推測される性能の上限は $95 \%$,現実的に到達可能な性能は 65-70\%である.

(3) 本論文で示した解法は,「小説」の傍線部問題に対しては機能しない. その性能はチャンスレベルと同等である.

本論文で示した解法で「『評論』が解ける」という事実を言い換えるならば，それは，「『評論』 では，本文に書かれていることが問われる」ということである. これに対して，「『小説』が解けない」という事実は，その裏返し，すなわち，「『小説』では，本文に書かれていないこと（心情や行間）が問われる」ということを示している. このような差異の存在を, 船口 (船口 1997) も指摘しているが, 表層的なオーバーラップ率を用いる比較的単純な方法においても，その差異が明確な形で現れることが判明した.

## 謝 辞

本研究では, 国立情報学研究所のプロジェクト「ロボットは東大に入れるか」から，データの提供を受けて実施した。本研究の一部は，JSPS 科研費 24300052 の助成を受けて実施した．本研究では, mecab/ipadic, mecab/unidic を使用した.

## 参考文献

新井紀子, 松崎拓也 (2012). ロボットは東大に入れるか?一国立情報学研究所「人工頭脳」プロジェクト一. 人工知能学会誌, 27 (5), pp. 463-469.

船口明 (1997). きめる！センター国語現代文. 学研教育出版.

服部昇平, 佐藤理史 (2013). 多段階戦略に基づくテキストの意味関係認識：RITE2 タスクへの

適用情報処理学会研究報告, 2013-NLP-211 No.4/2013-SLP-96 No.4, 情報処理学会.

Hattori, S. and Sato, S. (2013). "Team SKL's Straregy and Expericence in RITE2" In Proceedings

of the 10th NTCIR Conference, pp. 435-442.

板野博行 (2010). ゴロゴ板野のセンター現代文解法パターン集. 星雲社.

教学社編集部 (2013). センター試験過去問研究国語（2014 年版センター赤本シリーズ）. 教学社.

## 略歴

佐藤理史：1988 年京都大学大学院工学研究科博士後期課程電気工学第二専攻研究指導認定退学. 京都大学工学部助手, 北陸先端科学技術大学院大学助教授, 京都大学大学院情報学研究科助教授を経て, 2005 年より名古屋大学大学院工学研究科教授. 工学博士. 現在, 本学会理事.

加納隼人：2010 年名古屋大学工学部電気電子・情報工学科入学. 2014 年同学科卒業. 現在, 名古屋大学大学院工学研究科電子情報システム専攻在学中.

西村翔平：2010 年名古屋大学工学部電気電子・情報工学科入学. 2014 年同学科卒業.

駒谷和範：1998 年京都大学工学部情報工学科卒業. 2000 年同大学院情報学研究科知能情報学専攻修士課程修了. 2002 年同大学院博士後期課程修了. 博士 (情報学). 京都大学大学院情報学研究科助手 - 助教, 名古屋大学大学院工学研究科准教授を経て, 2014 年より大阪大学産業科学研究所教授. 現在, SIGDIAL Scientific Advisory Committee member. 情報処理学会, 電子情報通信学会, 人工知能学会, 言語処理学会各会員.

