# 「ロボットは東大に入れるか」プロジェクト：
代ゼミセンター模試タスクにおけるエラーの分析

磯崎 秀樹 $+1+t+t \cdot$ 菊井玄一郎 $+t+t \dagger \cdot$ 堂坂 浩二

南 泰浩 $1+\dagger+\dagger+\dagger \dagger \cdot$ 新井 紀子㭷

「ロボットは東大に入れるか」は，大学入試試験問題を計算機で解くという挑戦を通 じ，言語処理を含む AI 諸技術の再統合と, 知的情報処理の新たな課題の発見を目指すプロジェクトである. 知的能力の測定を第一目的として設計された入試問題は, $\mathrm{AI}$ 技術の恰好のベンチマークであるとともに, 人間の受験者と機械のエラー傾向を 直接比較することが可能である。本稿では, 大手予備校主催のセンター試験形式模試を主たる評価データとして, 各科目の解答システムのエラーを分析し, 高得点へ 向けた今後の課題を明らかにするとともに, 分野としての言語処理全体における現在の課題を探る.

キーワード：総合的タスク, 大学入試試験問題, エラー分析
## The Todai Robot Project:

## Error Analysis on the Results of the Yozemi Center Test

\author{
Takuya Matsuzaki ${ }^{\dagger}$, Hikaru Yokono $^{\dagger \dagger}$, Yusuke Miyao ${ }^{\dagger \dagger}$, Ai Kawazoe ${ }^{\dagger \dagger}$, \\ Yoshinobu Kano ${ }^{\dagger \dagger}$, Hayato Kanou $^{\dagger}$, Satoshi Sato $^{\dagger}$, Ryuichiro Higashinaka ${ }^{\dagger \dagger \dagger \dagger}$,

 \\ Hirotoshi Taira ${ }^{\dagger \dagger \dagger \dagger \dagger \dagger}$, Yasuhiro Minami ${ }^{\dagger \dagger \dagger \dagger \dagger \dagger \dagger}$ and Noriko H. Arai ${ }^{\dagger \dagger}$
}

The Todai Robot Project aims at integrating various AI technologies including natural language processing (NLP), as well as uncovering novel AI problems that have been missed while the fragmentation of the research field, through the development

of software systems that solve university entrance exam problems. Being primarily designed for the measurement of human intellectual abilities, university entrance exam problems serve as an ideal benchmark for AI technologies. They also enable a quantitative comparison between the AI systems and human test takers. This paper analyzes the errors made by the software systems on the mock university entrance exams hosted by a popular preparatory school. Based on the analyses, key problems towards higher system performances and the current issues in the field of NLP are discussed.

Key Words: Integrated AI Tasks, University Entrance Examinations, Error Analysis

## 1 はじめに

「ロボットは東大に入れるか」(以下，「東ロボ」）は国立情報学研究所を中心とする長期プロジェクトである。同プロジェクトは， AI 技術の総合的ベンチマークとして大学入試試験問題に挑戦することを通じ，自然言語処理を含む種々の知的情報処理技術の再統合および新たな課題の発見と解決を目指している。プロジェクトの公式目標は 2016 年度に大学入試センター試験において高得点を挙げ，2021 年度に東大 2 次試験合格レベルに達することである。プロジェクトでは, 2016 年度のセンター試験「受験」に至るまでの中間評価の一つとして, 2013 年度, 2014 年度の 2 回に渡り代々木ゼミナール主催の全国センター模試（以下，代ゼミセンター模試）を用いた各科目の解答システムの評価を行い，その結果を公表した。表 1 に 2014 年度の各科目の得点と偏差値を示す¹２２１3 年度の結果については文献 (新井 2014) を参照されたい。

大学入試試験問題は志願者の知的能力を客観的に測定することを目的として設計されたデー 夕であり，通常たた 1 回の試験によって，かつ，受験者間での公平性を担保しながら測定を行

表 12014 年度代ゼミセンター模試（第 1 回）に対する得点と偏差値



うために入念な検討が加えられている。この点で，入試試験問題は言語処理を含む知的情報処理技術の総合的ベンチマークとして恰好の素材であるといえる. 特に，その大部分が選択式問題からなるセンター試験形式のテストは，ごく単純な表層的手がかりのみでは正解できないように設計されていると考えられ, 現在 $70 \%$ から $90 \%$ の精度に留まっている種々の言語処理技術をより信頼性高く頑健なものへと導くためのガイドラインとして好適である。さらに，模試・入試によるシステムの性能測定結果は人間の受験生の正答率や誤りの傾向と直接比較することが可能である。 センター試験は毎年約 50 万人が受験し，予備校によるセンター試験模試も数千から数万人規模の参加者を集める。このような大規模なサンプルから得られた「普通の人」「典型的な人」の像とシステムとの比較は，人によるアノテーションに対する再現率に基づく通常の性能測定とは異なる達成度の指標となっている。

代ゼミセンター模試による 2014 年度の評価では, 英語・国語・世界史 B で受験者平均を上回る得点を獲得するなど, 大きな成果があった一方で, その得点に端的に現れているように, 残された課題も大きい. 本稿では，代ゼミセンター模試およびその過去問を主たる評価データとして各科目の解答システムのエラーを分析し, 各科目における今後の課題を明らかにするとともに，「普通の人」と比較した際の各科目・問題タイプにおける達成度に関してひとつの見取り図を与えることを目指す。「東ロボ」プロジェクトのひとつの特徴は, 多様な科目・課題に並行的に取り組むことであり, 様々な課題に対する結果を通じて, 現在の NLP/AI 諸技術の達成度を可能な限り通覧することはプロジェクト全体の目的でもある。このため，本稿では問題タイプ毎のエラーに対する分析は主として解決への糸口となる傾向の分析までにとどめ, 多数の科目・問題タイプについてそのエラー傾向と今後の課題を示すことを主眼とした。以下では，まず知的情報処理課題としてのセンター模試タスクの概要をまとめたのち, 英語, 国語, 数学, 物理，日本史・世界史の各科目について分析結果を述べる。

## 2 センター試験タスクの概要

表 2, 表 3 に， 2014 年度代ゼミセンター模試（第 1 回）の世界史 B - 日本史 B ・数学（I+A, $\mathrm{II}+\mathrm{B}$ の合計 $)$ ・物理, 国語・英語を対象とした問題分類の結果を示す。表内の各数字は, 各カテゴリに分類された問題数およびその割合（カッコ内）である。ここでは，一つの問題が複数のカテゴリに属する場合も許している。これらの分類は解答タイプ（解答形式および解答内容の意味的カテゴリ）と解答に必要となる知識のタイプに関するアノテーション (Miyao and Kawazoe 2013) から得られたものであるが，読みやすくするために，表中では各カテゴリにそれらのアノテーションを要約・再解釈したラベルを与えている.

表 2 に示されるように，社会科目ではほとんどの問題が教科書内の知識を正しく記憶しているかどうかを問う問題であり，形式は真偽判定型と factoid 質問型が多い。問題中で与えられた
表 2 問題分類（社会科目・理数系科目）

表 3 問題分類（国語・英語）

資料文に関する読解問題や一般常識の関わる問題の割合は低いことから，大多数の問題に対しては外部の知識源を適切に参照し, 要求される解答形式に合わせた出力へ加工することで解答できる可能性が示唆される。すなわち, 現行の質問応答および検索をべースとした方法によって解ける可能性がある。他方, 数学・物理に関しては, 問題のすべてが「分野固有の推論」に分類されている。すなわち，単に知識源を参照するだけでは解答できず，数理的演繹やオントロジーに基づく推論などが必要となることが示唆される。特に, 数学・物理の問題のほとんどが数値ないし数式を答える問題であるため，数值計算ないし数式処理は必須である．言語処理と数値・数式処理の統合は, 分野横断型の研究として興味深い. 数学・物理の間の違いとして,画像・図表の理解を必要とする問題の割合の差が見て取れる。数学では数表および箱ひげ図の理解を要する大問が 1 題あったが, それ以外の図に関しては必要な情報が全て問題文で与えられており，解答する上で図を理解する必要はない。いっぽう物理では, 問題文のみでは物理的状況を理解するのが困難で，画像の理解を必要とすると思われる問題がおよそ 7 割を占める. このため, 物理の解答システムでは将来的に画像理解と言語理解の融合が必要であると考えられる。
英語と国語の問題分類は, 他科目とは大きく異なっている。英語に関する節で述べるように,語彙知識, 文法的知識を問う問題は, 現在の言語処理技術の射程内のものが多数ある。しかし,英語・国語で大きな割合を占める読解問題は, これを研究課題とする取り組みが近年開始されたものの (Peñas, Hovy, Forner, Rodrigo, Sutcliffe, Forascu, and Sporleder 2011a; Peñas, Hovy, Forner, Rodrigo, Sutcliffe, Sporleder, Forascu, Benajiba, and Osenova 2011b), 言語処理 - 知的情報処理課題としての定式化を含め, 未解決の部分が多いタイプの問題である. さらに, 英語問題には一般常識を問う問題, 新聞広告や手書きの問診票など独特の形式をもつ文書の理解を問う問題, 画像理解（絵の説明として適切なものを選ぶ問題など）などが含まれるが, これらは一部に研究課題として非常に難しいものを含んでいる. この点で, 少なくとも現時点では, 英語で満点に近い高得点を得ることは困難であると考えられる。

## 3 英語問題のエラー分析

## 3.1 はじめに

本節では, 東ロボ英語チームの開発によるいくつかの解答システムのエラーを分析した結果について述べる. 特に, 代ゼミセンター模試の 6 回分 (2012 第 1 回, 2013 第 1 回〜第 4 回, 2014 第 1 回）を中心に分析を行った.

表 4 に代ゼミセンター模試 2014 第 1 回の問題構成を示す.今回の分析は現状一定の精度で解けている短文問題（すなわち, 大問 1 から大問 3）のみについて行っている。また, 短文問題の中で文脈に合わない文を選ぶという問題 (3B)については, 過去問に例が少なかったため未着手であり，分析対象としては触れていない，また，意見要旨把握問題については，会話文完成問題と同じ解き方で解いているため, 会話文完成問題の分析をもって, この問題の分析とする.点数にして約半分を占める読解問題に対しては, 現在のシステム正答率がチャンスレベルに近

表 4 代ゼミセンター模試 2014 英語の問題構成

いため, エラー分析の対象とはしなかった。読解問題に関する見通しについては本節の最後で述べる。なお， 2014 年度の代ゼミセンター模試の英語問題を解いた手法については，文献 (東中, 杉山, 磯崎, 菊井, 堂坂, 平, 南 2015) に詳述されているので参照されたい.

## 3.2 発音・アクセント問題

ここ数年の発音・アクセント問題は発音箇所が異なる・同じ箇所や, アクセント位置が異なる・同じ箇所を選択する問題であり，音声認識用の辞書を用いることですべて解くことが出来ている。しかし, 1987 年から 2009 年までのセンター試験の発音アクセント問題は 28/85（約

く，文脈を理解しないと解くことができない.

図 1 は強勢の問題の例である。下線部の単語のうち, 強勢が置かれるものをそれぞれ選択する。(1)の下線部では, worse が正解となるが, worse を強く読むかどうかは文脈に依存する.

1999 年までの発音・アクセント問題で解けていない問題を分析したものを表 5 に示す。辞書やプログラムの整備などにより対応できるものを短期に対応できる問題（18 問），それ以外を長

Maya : Here comes our train. It's not too crowded.

Jeff : $\quad$ Do the trains (1)get any worse than this?

Maya: Oh, yes. During the morning rush hour (2)they're twice as bad.

Jeff : I can't imagine a train being more crowded than this.

Where I'm from, (3)we can always get a seat.

Maya: You were lucky, but you'll have to get used to the crowds here.

How do you get to school? Do you take a train?

Jeff : $\quad$ No, (4)I walk to school.

図 1 強勢問題の例

表 5 発音・アクセント問題の分類

期間必要な問題（33 問）と分類した。また, 例年であれば発音・アクセント問題が出現する箇所にそれ以外の問題が出題されるケースがあり，これらは 6 問あった。強勢の問題は近年コー パスベースの手法で取り組んでいる文献 (Zang, Wu, Meng, Jia, and Cai 2014) もあるが，また取り組みが少ないのが現状である.

## 3.3 文法・語法・語彙問題

文法・語法・語彙問題とは, 文中の空欄に最もふさわしい語句を 4 つの候補の中から選ぶ問題である。代ゼミセンター模試の過去 6 回分には，このタイプの問題が合わせて 60 問出題されている，英語チームでは，単語 N-gram を用いて，最も確率が高くなる候補を選ぶ方法を用いた。本手法では， 47 問解くことができた。解くことが出来なかった問題の要因は表 6 の通りであった。

反実仮想のように，条件文に呼応する場合はそれを踏まえる必要があるが，N-gram ではそれが捉えられていなかった。また，複数文で前半部分を受けて後半の単語を選ぶ問題についても同様に答えられていない，遠い依存関係は N-gramによって捉えにくいものであるが，今回の代ゼミセンター模試 2014-1の 2 問については, Dependency Language Model (Gubbins and Vlachos 2013) に基づく手法で答えられることを確認した。成句に関する問題は入試で頻出するが，新聞記事の出力分布からずれるために答えられていないと思われる。関係代名詞の用法については，解くためには文法的な観点が必要と思われる.

今回の分析対象である 60 問で人間（受験生）とシステムの正答傾向に違いがあるかを分析した.ここで, 「人間の解答」として，受験生の選択した割合が最も高かったものを用いている。 なお，人間は 48 問 $(80 \%)$ 正解している. クロス表を作成したところ表 7 の様になった.

システムと人間の両方が解けるものはある程度共通しているものの, それぞれ得意・不得意があることも分かる. システムが正解することと, 人間が正解することが独立であるか, 本クロス表について Fisher の正確確率検定を行ったところ $p=1$ であり人間・システムの正答の分布が独立であることは棄却されなかった。人間とシステムは異なる解き方をしており，正答・

表 6 文法・語法・語彙問題のエラー要因

表 7 人とシステムの正答傾向の比較（文法・語法・語彙問題）

表 8 システムが正解し人間が不正解であった文法・語法・語彙問題の内容

誤答の分布は独立であることが示唆される.

さらに 60 問の各設問について人間とシステムの選択肢の順序を求め, 代表的な順位相関係数である Spearmanの $\rho$ および Kendall の $\tau$ の平均値を求めた。ここで， 人間の選択肢の順位とは選択した受験生の割合の順位であり，システムの順序とは，N-gram 確率によって得られる確率値の大きい順に並べたものである。その結果， $\rho$ との平均はそれぞれ $0.07,0.06$ となり，ほぼ無相関であった。ここからも，人間とシステムは異なった解き方で問題を解いていることが示唆される.

システムが正解し人間が不正解であった問題は 10 問であり，この内訳は表 8 の通りである.人間は英語の典型的用法を知らないことで不正解になっているケースがほとんどであった。これらはシステムがデータ中心の解法により正解できるものである。また前置詞の用法も英語に慣れていないと難しく, 受験生には解けなかったようである.

人間が正解しシステムが不正解であった 11 問，および，どちらも不正解たっった 2 問 (2013-1A12, 2014-1-A14) は, システムが解けなかった問題として前掲した 13 問である. 表 8 と比較すると, システムが正解・人が不正解であった問題は単語や成句・連語あるいは前置詞の選択など，語彙的知識に関するものが多く, システムが不正解・人が正解であった問題は意味的・文法的な整合性が関わるものが多いという傾向が見て取れる。

## 3.4 語句整序完成問題

語句整序完成問題とは，与えられた数個の単語を適切に並べ替えて，文法・意味的に正しい文を完成させる問題である，我々は，文法・語法・語彙問題と同様に N-gram 言語モデルを用いてこの問題に取り組んだ。具体的には，単語列のすべての並びを列挙し，もっとも文として
表 9 語句整除完成問題のエラー要因

表 10 人とシステムの正答傾向の比較（語句整除完成問題）

の確率が高いものを選ぶ手法を用いた.

分析対象とした代ゼミセンター模試過去問ではこのタイプの問題が 18 問あり,このうち, 15 問 $(83 \%)$ に対しシステムは正答することができた，正解できなかった 3 問についてはエラーの要因は表 9 の通りであった。

ここでの要因は, 文法・語法・語彙問題とほぼ同様である。システムの正解率もほぼ同じであ

今回の分析対象である 18 問について，人間とシステムの正答傾向に違いがあるか分析した。表 10 はそのクロス表である.

本クロス表について Fisher の正確確率検定を行ったところ $\mathrm{p}$ 値は 0.06 であり有意傾向にあった。これは, 文法・語法・語彙問題と異なるところであり, システムと人間はより近い解き方をしているのではないかと考察される。

人間が不正解でありシステムが正解したものは 1 問 (2012-1-A25-26) だった. “all I could think about”という構文が受験生にとっては難しいながら，典型的なフレーズであり，システムにとっては N-gram で解ける問題だったことによる.

## 3.5 会話文完成問題

会話文完成問題は, 二人の話者の会話の空所に適切な文を 4 つの選択肢から選び，会話文を完成させる問題である。この問題を解くため，4つの選択肢の各場合について会話文の流れの自然さを推定し，最も自然な流れとなる選択肢を選ぶという方法を用いた．会話文の流れの自然さは (a) 発話意図（表明，評価など）の流れの自然さと (b) 感情極性（ポジティブかネガティブ）の流れの自然さから成る。 (a) は Switchboard Dialog Act Corpus (Jurafsky, Shriberg, and Biasca 1997) から発話意図列の識別モデルを CRF によって学習し, 発話意図列の生起確率に基づいてスコアを計算した。（b) は感情極性コーパス (Pang and Lee 2005)から SVM により識別

モデルを学習し，感情極性がポジティブあるいはネガティブであるスコアを計算した。それぞれのスコアの重み付き和を最終的なスコアとした。

エラー分析のため, 代ゼミセンター 6 回分の問題について, 会話中のすべての発話および選択肢に対し，1名の評価者がアノテーションを行い，発話意図のラベルと感情極性の度合を付与した. アノテーションに基づき，(a)，(b)のスコアを計算した。（a)は付与された発話意図列の N-gram 確率をコーパスから計算したものをスコアとした. (b) は付与された感情極性の度合に基づいてスコアを計算した。コーパスから学習したモデルに基づいてスコアを算出する場合 （アノテーション無し）とアノテーションに基づいてスコアを算出する場合（アノテーション有り）を比較し，正解率がどう変わるかを検証した。その結果を表 11 に示す.

表において, 発話意図のスコアと感情極性のスコアの両方を使う場合は, 正解率が最大となるように重みを調整した，表から分かるように，感情極性に関して，アノテーション無しの方がアノテーション有りの場合よりも正解率が若干高い. アノテーション無しの場合は, 感情極性コーパスを使うことにより，ポジティブ／ネガティブな文に現れる単語の出現確率を考慮してスコアを計算していることに対して, アノテーション有りの場合は, そのような単語の出現確率を精密に考慮できないことが性能低下につながった可能性がある. 本質的にアノテーション無しの方が性能が良いかどうかはより多くのデータを使って判断することが必要である.

本手法は発話意図のスコアと感情極性のスコアの重み付き和で最終的なスコアを計算しているが，どちらのスコアを優先すべきかは問題による。実際，発話意図のスコアと感情極性のスコアのいずれかが最大となる選択肢を選ぶことができたすると, アノテーション無しでは 18 問中 13 問, アノテーション有りでは 18 問中 10 問が正解となる. 発話意図と感情極性のスコアのいずれを使って問題を解くべきかを適切に判断することは今後の課題の一つである.

分析に用いた 18 問に対する受験生の平均正答率は $62.2 \%$ あ゙った. システムの正答率 $8 / 18$ (=44.4\%)はそれより低いものの, チャンスレベルである $25 \%$ との差はほぼ有意であった $(p=0.06$,二項検定).

表 11 アノテーションの有無による会話文完成問題の正解率の変化

## 3.6 未知語（句）語義推測問題

この問題は, 出現頻度が低く一般にはあまり知られていないような文章中の単語またはフレー ズについて語義を推定し, 与えられた選択肢の中から最も意味の近い語義を選択する問題である。今回, word2vec (Mikolov, Sutskever, Chen, Corrado, and Dean 2013)を用い, 未知の語句と選択肢のべクトルをそれぞれ求め，コサイン類似度の高いものを選択する手法を用いた。なお, 未知の単語が慣用句の場合は，イディオム辞書によって事前に語釈文に置き換えた上でべクトルを算出している.

過去 5 回の代ゼミセンター模試の全 12 問について，9問 (75\%) 解くことができた。これは同じ問題に対する受験生の平均正答率 $48 \%$ 上回っている. 正解できなかった 3 つの問題の内訳を表 12 に示す.二つはイデイオム辞書の不備に依る。今回は, Wiktionary から作成したイディ才ム辞書を用いたが，そのカバレッジが低かった。これらはよりカバレッジの大きい Oxford English Dictionary を用いることで解決できることが分かった. もう一つは単語 “cognate”であるが，単語であっても，辞書の語釈文によって置き換えてべクトルを算出することでこちらも解けることが分かった。すなわち，単語，イディオムについて，置き換える・置き換えないという操作が正しくできれば，本問題については解くことができると言える.

## 3.7 英語：まとめと今後の課題

本稿では, 東ロボプロジェクトにおいて英語チームが英語問題を解いたときのエラーを分析した結果について述べた。長文読解問題はまだチャンスレベルに近い正答率であるため, 今回

表 12 未知語（句）語彙推測問題のエラー内訳

 & エラーのタイプ \& 分析 \\

は分析対象としなかったが，今後解答できるようになっていくにつれ，エラーを分析していく予定である.

今回の分析対象とした短文問題に比べて, 長文読解問題ソルバー開発の進行が遅れている理由としては, 問題内容自体の複雑さに加え以下のような理由が挙げられる。まず，長文読解問題の約半数は，図表ないしイラストを含む問題，あるいは広告・カルテなど特殊なレイアウトを含む実用文書を題材とする問題である。これらの問題に対しては，テキスト処理に加えて画像理解や文書構造の理解が必要とされる。特に自然画像ではないイラストの理解はそれ自体が未開拓の研究領域である。これらの付加要素のうち表に関しては, 情報抽出源として多くの研究があるものの, テキスト理解と表の意味理解が複合した課題に関する取組は近年始まったばかりである (Pasupat and Liang 2015).

多くの長文読解問題は，形式的には本文と選択肢の間の含意関係認識課題として捉えることが可能である。しかし, Bag-of-words/phrases/dependencies など，表層に近い表現によるテキスト間類似性を用いた手法と state-of-the-art との差が比較的小さい現在の含意関係認識手法の技術水準では, 英語読解問題で前提とされる種々の常識的知識を深い意味構造のレベルで取り扱うような手法がすぐに実現するとは考えにくく，表層に近い表現によるテキスト間類似性定義をべースとして，英語読解問題の特性に見合った改良を加えていく方向が有効であると思われる。これに対し，図・表・イラストなどを含む問題は，数量の取扱いを始め，単純なテキス卜間類似性を超える推論を要することが多い点でも難しい課題であると言える.

なお，図などの付加要素を含まないタイプの長文読解問題において，特に問題だと考えている課題は 3 つある。意味を反転させるような表現の扱い, 共参照解析, メ夕言語（文章自体への言及）である。また，過去の代ゼミセンター模試の長文（特に大問 6 の論述に関する問題）を分析したところ，選択肢に関連のある一文を長文から抽出できれば解ける問題が 25 問中 11 問あったが，その他は複数の文の統合が必要なものであった。選択肢に関連する一文を長文から抽出する課題はそれ自体が今後の研究課題である (Li, Ran, Nguyen, Miyao, and Aizawa 2013) が，それに加え，要約技術の適用や文の統合といった技術が必要になってくると思われる。

## 4 国語 評論問題のエラー分析

## 4.1 センター試験『国語』評論傍線部問題

本節では, 主に大学入試センター試験『国語』評論の傍線部問題と呼ばれる問題を取り扱う.傍線部問題の具体例を図 2 に示す。この図に示すように，傍線部問題は, 何らかの評論から抜き出された文章（本文）を読んだ上で設問文を読み，5つの選択肢のうちから正解の選択肢を 1 つ選ぶという選択式の問題である（紙面の都合上, 図 2 には 2 つしか選択肢を記載していな
本文:

...ヨーロッパ流の芸術観では、芸術とは自然を素材にして、それに人工を加えることで完成に達せしめられた永遠的存在なのだから、A 造型し構成し変容せしめようという意志がきわめて強い。それが芸術家の自負するに足る創造であって、それによって象徴的に、彼等自身が永生への望みを達するのである。...

問 2 傍線部A「造形し構成し変容せしめよう」とあるが、それはどういうことか。その説明として最も適当なものを、次の 1 ～5のうちから一つ選べ。

1 変化し続ける自然を作品として凍結することにより、一瞬の生命の示現を可能にさせようとすること。

2 時間とともに変化する自然に手を加え、永遠不変の完結した形をそなえた作品を作り出そうとすること。

図 2 評論傍線部問題の例（2007 年本試験第 1 問の問 2）

い). 表 13 に示すように, 傍線部問題は, センター試験『国語』評論の配点の約 $2 / 3$ を占めている。紙幅の都合で取り上げなかったこれ以外の問題に関しては本節の最後で述べる。

## 4.2 傍線部問題の解法

東ロボ国語チームは, 傍線部問題の自動解法として, これまでに本文照合法 (佐藤, 加納, 西村, 駒谷 2014), およびその一部を拡張した節境界法 (加納, 佐藤, 松崎 2015) を提案, 実装した. 本節ではこれらの解法について概説する.

## 4.2.1 本文照合法

本文照合法は,
- 正解選択肢を選ぶ根拠は, 本文中に存在する (船口 1997; 板野 2010)
- 意味的に似ているテキストは, 表層的にも似ていることが多い

という考え方（仮説）に基づく解法である。具体的には, 次のような方法で傍線部問題を解く.

（1）入力：本文，設問，選択肢集合を入力する.

（2）照合領域の決定：選択肢と照合する本文の一部（照合領域）を定める。照合領域は，本文中の傍線部を中心とした連続領域とする。

（3）選択肢の事前選抜：考慮の対象外とする選択肢を除外する。具体的には, ある選択肢について, 自分以外の選択肢との文字の一致率の平均値が最も小さい選択肢を除外する.

（4）照合：考慮の対象とする選択肢をそれぞれ照合領域と比較し，照合スコアを求める．照合スコアには, 照合領域とその選択肢との間の共通する要素の割合（オーバーラップ率 (服部，佐藤 2013)）を用いる.

（5）出力：照合スコアの最も高い選択肢を解答として出力する.

この本文照合法には，以下の 3 つのパラメータが存在する.

・ 照合領域として本文のどの範囲を選ぶか

・ 照合スコアをどのような単位で計算するか（何のオーバーラップ率をスコアとするか）

・ 選択肢の事前選抜を行うか

これらのパラメータは，以降で述べる節境界法にも共通する。

## 4.2.2 節境界法

節境界法は，長い文を複数のまとまりに区切るという戦略に基づき，本文照合法の一部を拡張した解法である。具体的には，本文照合法の照合ステップにおいて，照合領域と選択肢に節境界検出に基づいた節分割を行い，その結果を照合スコアの計算に利用する。節は「述語を中心としたまとまり」(益岡，田窪 1992) と定義される文法単位であり，おおよそ述語項構造に対応する。

節境界検出には, 節境界検出プログラム Rainbow (加納, 佐藤 2014) を用いる， Rainbow は, 文の節境界の位置を検出し, 節の種類のラベル（節ラベル）を付与するプログラムである. Rainbow によって付与された節境界で区切られた部分を節とみなして，節分割を行う².

節境界法では，照合スコアを以下のような方法で計算する。

Step1 照合領域 $t$ と選択肢 $x$ に節境界検出を行い，それぞれ節の集合 $T, X$ に変換する.

Step2 $T$ と $X$ を用いて選択肢 $x$ の照合スコアを計算する。具体的には， $X$ 内の各節 $c_{x} \in X$ のスコアの平均値を，選択肢 $x$ のスコアとする。節 $c_{x}$ のスコアは， $c_{x}$ と， $T$ 内の各節 $c_{t} \in T$ との類似度の最大値とする。

節同士の類似度は, 節同士の共通する要素の割合（オーバーラップ率 (服部, 佐藤 2013)）と, 2 つの節の節ラベルが一致する場合のボーナスの和と定義する.

## 4.3 評価実験

センター試験の過去問および代ゼミセンター模試過去問（以下，代ゼミ模試とよぶ）を用いて，本文照合法および節境界法の評価を行った。センター過去問は 10 回分, 代ゼミ模試は 5 回分の試験データを使用した。傍線部問題の総数は，センター過去問が 40 問，代ゼミ模試が 20 問である。

## 4.3.1 実験結果

本文照合法ソルバーと節境界法ソルバーを，センター過去問，および代ゼミ模試に適用した結果（正解数）を表 14 に示す.この表の P- $m-n$ は, 照合領域（本文の傍線部の前後何段落を

照合領域とするか）を表し， $C^{1}$ や $L$ な゙は，オーバーラップ率として何の一致率を用いるかの単位を表す（たとえば $C^{1}$ は文字 unigram を用いることを表す）。また，選択肢の事前選抜を行う場合を ps，行わない場合を non で表す。これらのパラメータの組み合わせ 56 通りについて，正解数を調查した。

表 14 では，本文照合法ソルバー，節境界法ソルバーの正解数を, この順に斜線で区切って示

表 13 代ゼミセンター試験 2014 国語の問題構成

表 14 センター過去問と代ゼミ模試に対する正解数（本文照合法／節境界法，上段がセンター 40 問，下段が代ゼミ模試 20 問に対する結果）

表 15 ソルバー出力の上位に正解が含まれる設問数

している。また, 上段にはセンター過去問の正解数, 下段には代ゼミ模試の正解数を示している。半数以上の問題に正解した場合の正解数は, ボールド体で示している.

表 14 を見ると, センター試験と代ゼミ模試の問題は, 性質が異なるということがわかる。 センター過去問に関しては, 多くのパラメータ $(45 / 56)$ において, 節境界法の正解数が本文照合法の正解数以上となったのに対し, 代ゼミ模試に関しては, 56 通りすべてのパラメータにおいて, 本文照合法の正解数が節境界法の正解数以上となった. また, 本文照合法では 2 つ問題データ間で正解率があまり変わらないのに対し, 節境界法では全体的にセンター過去問よりも代ゼミ模試の正解率の方が低い.

ソルバーは, 解答を出力する際, 照合スコアの高い順に選択肢番号を出力するが, このとき, スコア上位に正解が含まれた設問数を表 15 に示す。パラメータは, センター過去問または代ゼミ模試で，比較的成績のよいものを 3 つ選んだ，R@ $n$ は，スコア順位で $n$ 位までに正解が含まれたことを表す。（節），（本）はそれぞれ節境界法，本文照合法を表す。

表 15 を見ると, ほとんどの問題で正解選択肢が選択肢 5 つのうの上位 3 位までには入ることがわかる。、コア上位の選択肢に対して, 本文と合致しない部分の検出ができれば, より正解数が向上することが期待できる.

## 4.3.2 典型的な難問例

本文照合法，および節境界法は，いずれも文字列の表層的類似度を照合スコアに用いているため, 本文の解答根拠部分と選択肢との間で表層的に全く異なる言い回しが用いられているような問題には正解できない。センター過去問の 40 問の傍線部問題を調查したところ, そのような問題は多く存在した。その中でも, 以下の 3 そのタイプの問題は, ソルバーにとって特に難問であると考えられる。

A 本文で抽象的に述べている内容を具体的に述べた選択肢を選ぶ設問（40問中 2 問）

B 本文で具体的に述べている内容を抽象的に述べた選択肢を選ぶ設問（40問中 4 問）

C 本文と選択肢の抽象度は同じだが，選択肢が本文の内容を，句以上の大きな単位で全面的に言い換えている設問（40 問中 16 問）

(本文の解答根拠部分)

... 私どもは映画の場面一一つまり人物や状況にひきずりこまれ、はらはらしたり、笑ったり、主人公が助かってくれればと念じたり、こんな悪人は退治されてしまえと思ったりする。スリルの場面にであうと、「これは映画なのだ、本当のことじゃないのだ」と自分に何遍も言いきかせて落ちつきをとりもどそうとするけれども、ものの十秒もたてば心の余裕は消えてしまって、映画の状況とまた一緒になってはらはらする。

(正解選択肢)

映画は本来実在しない虚構の映像の世界であり、登場人物は虚像にすぎないが、その中に引き込まれたり自己を投入したりすることによって、実在するものとして認知されるようになること。

図 3 タイプ $\mathrm{A}$ の難問の例（2001 年本試験第 1 問の問 2）

## (本文の解答根拠部分)

‥ しかしながら映画を見るという行為は、一瞬たりとも休むことのない時間の速度にとらわれ、その奴隷と化することでもあった。... 映画は一方通行的に早い速度で流れる時間に圧倒されて、ついにはひとつの意味しか見出せない危険な表現であり、...

(正解選択肢)

映画は、限られた時間のなかで壮大な時空間を描き出すようなことを可能にしたが、映画に見入っている時間をきびしく制限しようとすることで、観客の眼差しを抑圧してしまうことになった。

図 4 タイプ $\mathrm{C}$ の難問の例（2005 年本試験第 1 問の問 4 ）

タイプ $\mathrm{A}$ の設問の例を図 3 に，タイプ $\mathrm{C}$ の設問の例を図 4 に示す.

タイプ $\mathrm{A}$ おび B の設問で求められる抽象と具体を結びつける能力は, 抽象語と具体例を結びつける辞書的なデータの作成や, 多数の抽象-具体テキストペアの蓄積が可能であるような, ごく限定的な主題を除き, 現在の言語処理・人工知能技術の射程外であろう. タイプ $\mathrm{C}$ の設問は, 形式的には言い換え認識あるいは含意関係認識に近い問題であるものの, 最先端の手法と表層的類似度に基づく手法との差が小さい現在の技術水準 (Watanabe, Miyao, Mizuno, Shibata, Kanayama, Lee, Lin, Shi, Mitamura, Kando, Shima, and Takeda 2013)では, やはり解決不可能な問題が多いと考えられる。

## 4.3.3 人間の解答との比較

代ゼミから提供されたデータを用いて, ソルバーの解答傾向が人間（受験生）のそれと似ているかの比較を行った. 代ゼミ模試 20 問において, ソルバーの解答結果と, 受験生の解答番号別マーク率を比較した。受験生の選んた選択肢 $n$ 位までにソルバーの選んた選択肢が含まれる設問数を表 16 に示す.この表の $\mathrm{R} @ n$ は, 受験生のマーク率順位の $n$ 位までにソルバー出力が
表 16 受験生の選んだ選択肢上位にソルバー出力が含まれる設問数

表 17 人とシステムの正答傾向の比較（国語評論傍線部問題）

含まれたことを表す。

表 16 を見ると，節境界法に比べて，本文照合法の解答傾向の方が受験生と似ている。代ゼミ模試において節境界法より本文照合法の方が好成績であったことを考慮すると，代ゼミ模試においては，受験生と解答傾向が似ているソルバーの方が，正解率が高くなると考えられる.

代ゼミ模試 20 問に対する,ソルバー（本文照合法 P- $0-0, C^{1}, \mathrm{ps}$ ）と受験生のマーク率 1 位の解答のクロス表は表 17 のようになった：クロス表では, ソルバーが正解した問題では受験生も正解が多い傾向があるように見える。しかし, Fisher の正確確率検定の結果は $p=0.34$ で, ソルバーと受験生の正答の分布が独立であることは棄却できなかった.

## 4.4 国語：まとめと今後の課題

本節では，東ロボ国語チームが提案，実装した評論傍線部問題の自動解法とその成績，および解答結果の分析について述べた，実装した本文照合法，節境界法は，いずれも文字列の表層的類似度を用いる解法であり，本質的に正解できない難問もあるものの，ソルバーは，適切なパラメータさえ選べば，多くの問題に対してスコア順位で上位に正解選択肢を出力できた.

現在のソルバーは, 全ての傍線部問題に対して同じパラメータ, 同じ解法で解答するが, 今後は，問題を換言型，理由型などいくつかの型に分類し，より適したパラメータ，特徴を用いて解く必要があると考えられる，たとえば，傍線部の理由を問う理由型の問題の場合, 本文傍線部周辺の比較的狭い領域の，因果関係を表す表現などが手がかりとなるであろう。また，評論には例示や引用がしばしば用いられるため，本文および選択肢を，本質的に重要な部分とそうでない部分に分け, 重要な部分のみで照合を行うようなアプローチも有用であると考えられる.
傍線部問題は小説を本文とする第 2 問でも大きなウェイトを占める．小説の傍線部問題は形式的には評論のそれと類似しているものの, 本文には直接記述されない登場人物の感情・思考などが問われる問題が多く, 評論と同様の表層的類似度を用いた手法ではチャンスレべルと大差ない正解率となることが分かっている (佐藤他 2014). テキストから書き手の感情（極性）を推定する研究はこれまで非常に多くあるが，小説の読解問題として問われるような細かな感情タイプを表層的手がかりから得る技術の実現可能性は今のところ明らかでない.

漢字 (評論) の問題は辞書を用いた手法で概ね十分な精度が出ている（2013 年度， 2014 年度とも代ゼミセンター模試で全問正解)。語句の意味（小説）に関する問題に関しては，通常の語義を問う問題では国語辞書を用いた手法で高い精度が得られている。しかし，語句の意味に関する問題では，本文で比喩的に使われている語句の意味を文脈に即して選ばせる夕イプの問題がしばしば出題され，これらに対する正解率が低い。このタイプの問題の解決には，語句が比喻的に用いられているか否かの識別とともに比喻の内容を本文に即して解釈することが必要であり，特に後者は難しい課題である.

古文（第 3 問）の解釈問題に対しては, 古文-現代語対訳コーパスから学習した統計的機械翻訳モデルを利用し，本文を現代語訳した上で評論の傍線部問題と同様の本文と選択肢の間の表層的類似度を用いた手法で $50 \%$ 程度の正解率を得ている。BLEUによる訳質評価および目視による主観評価の結果から, 古文-現代文翻訳の品質には向上の余地が認められる。しかし一方で，機械翻訳の代わりに人手による参照訳を用いた比較実験では正答率の向上が見られず，通常の意味での翻訳品質の向上は正解率の向上に寄与しないことが示唆される．翻訳品質が直接正答率に結び付かない要因としては, 小説の傍線部問題と同様に, 直接記述されない心情を問う問題が多いことに加え, 現在用いている単純な表層的類似度では, 例えば重要語句「をかし」 の解釈などといった，問題のポイントとなる部分がすくい取れていないことが考えられる。

評論・小説および古文の各大問の最後では, 表現の特徴・効果や議論の構成について問うタイプの問題が出題されるのが通例である。しかし, これらの問題に関しては, 文章ジャンルを問わず, ほぼ手つかずの状態にある。表現の特徵・効果の理解は, 現在の言語処理の主要な目標である文章の意味そのものの理解を超える課題であり，当面，解決の見达みはないだろう．議論の構成に関する問題は, 自動要約や修辞構造解析など現在の言語処理における取組みと重なり合う部分もあるものの, 抽出的でなく抽象度の高い要約を選択する, あるいは, 修辞構造の効果を内容に即して説明する選択肢を選ぶ，など，既存の要素技術の組み合わせではカバーできない課題が多い.

最後に，漢文の解釈問題に関しては古文と同様に現代日本語訳を経由して，翻訳された本文と選択肢との類似度に基づき解答する手法が考えられるが, 入手可能な対訳リソースが無いため手つかずの状態になっている.

## 5 数学問題のエラー分析

数学では, 問題文からの情報抽出やデータベースからの情報検索のみで解答が得られる問題は例外的であり，一般には計算や推論などの数理的操作によって解を導く必要がある。このため, 問題文を分析し, 数理的操作の入力となる何らかの形式表現を得るステップが不可欠となる。この中間的な形式表現としては，答えを直接導く計算式から論理式による問題全体の意味表現まで様々なものが考えられ，言語処理部分でのアプローチも，ターゲットとなる形式表現の枠組みに応じ種々の手法があり得る。適切な形式表現の朹組みを選ぶにあたって，まず考慮すべき点として，想定する問題の定型性が挙げられる。例えば，Kushman ら (Kushman, Artzi, Zettlemoyer, and Barzilay 2014) は対象とする問題を連立一次方程式で表現される代数の文章題に限定することで，言語処理部分を問題テキスト中の名詞および数量と方程式中の変数および係数とを対応付ける学習問題に帰着している。我々は多様な問題を同一のシステムでカバーすることを目的として論理式による表現を採用し，文法主導の翻訳によって問題文から形式表現を得るアプローチを選択した。

図 5 に示すように，解答システムは言語理解部と自動演繹部，および両者をつなぐ意味表現の書き換え処理部からなる。言語理解部の中心は組合せ範疇文法 (Combinatory Categorial Grammar, CCG) (Steedman 2001; 戸次 2010) による構文・意味解析である. CCG によって導出された各文に対する意味表現は, 共参照解析および文間関係の解析を経て, 問題テキスト全

図 5 数学解答システムの概要
表 18 数学 $(\mathrm{I}+\mathrm{A}, \mathrm{II}+\mathrm{B})$ の失点要因

体に対応する意味表現へと合成される.

言語理解部の各処理コンポーネントは現在開発中の段階にある。このため, 代ゼミ模試による中間評価では, (1) 問題文中の数式部分に対する意味表現, (2) 文節間係り受け関係, (3) 共参照関係，(4) 文間の論理的関係，および (5) 評価時点の CCG 辞書に含まれていなかった単語・語義, の 5 種のアノテーションを施した問題文を入力とした. 問題の意味表示は, これらのアノテーションを制約として CCG 導出木を探索し, 導出木と文間の論理関係に沿って辞書中の単語の意味表示を合成することで半自動的に得た. よって, 模試による評価結果は, 曖昧性解消処理および辞書の被覆率に関し理想化した場合の性能の上限値として解釈すべきものである。手法および入力アノテーションの詳細については, 文献 (Matsuzaki, Iwane, Anai, and Arai 2013, 2014）を参照されたい，今回，入力アノテーションで代替した処理に関する考察および見通しについては本節末で述べる.

因の内訳である。以下では，アノテーションによって理想化された条件でも残るエラーのうち最も多くを占める 2 要因である，「表現の宇長性による計算量の爆発」と「行為・操作結果の表現」に関する問題について主として述べる。これら以外で，言語処理に関係する主要な要因としては，確率・統計に関する問題に対して，意味表現の設計を含め言語処理部分が未着手の状態であったことが挙げられる。これは, 確率・統計の問題では「ボールを取り出す／戻す／テー ブルに置く」「サイコロを用いてゲームをする」等々，あらかじめ形式的な定義を与えることが難しい要素が頻出するため, 本節で示した問題の論理表示を経由する形式的なアプローチはなじまないと考えたためである。これとは異なるアプローチによる確率問題への取り組みについては別稿 (神谷, 松崎, 佐藤 2015) を参照されたい.

## 5.1 意味表現の冗長性

文法主導の方法で構成的に導出した意味表現は, 非常に冗長になる傾向がある。例として,「線分」という一般名詞を考えてみる。「線分」に対応する意味表現は，あるモノが線分であることを表す一項述語 $(\operatorname{segment}(\cdot)$ とする）であると考えるのが一般的である.このとき，単語
「線分」の一般的な用例に従い, 述語 $\operatorname{segment}(\cdot)$ は, 縮退したケースすなわち両端が一致した線分（つまり一点）を除外するよう定義されるべきである。この非縮退条件は，どのような文脈においても単語「線分」の翻訳が妥当なものとなるために必要である.

しかし, 例えば「点 $(0,0)$ と点 $(1,1)$ を両端とする線分 $L\rfloor$ といったフレーズのように, 非縮退条件は非常にしばしば文脈によって含意される。左記のフレーズの場合, その形式表現は述語 $\operatorname{segment}(\cdot)$ の定義から，おおむね「 $L$ は $(0,0)$ と $(1,1)$ を通る直線上で $(0,0)$ と $(1,1)$ の間にある点の集合で，かつ点 $(0,0)$ と点 $(1,1)$ は異なる点である」という内容となり,「かつ」以下の部分が冗長である。この例では，㔯長な部分はそれ自体で自明に真であるが，一般には問題文中に現れるいくつかの条件を総合したときにはじめて非縮退条件が満たされていることが分かる. このため, 自動演繹の過程では，問題を解く上で本質的な演繹と，㔯長な非縮退条件が実際に成立していることの証明にあたる非本質的な演繹が入り混じった形で行われることになり，演繹の計算コストが増大する。

ここまでは非縮退条件を例として説明したが，その他にも等号関係の伝播による冗長な表現 $(a=c \Leftrightarrow \exists b(a=b \wedge b=c))$ や一般性を失う事なく除去できる対称性など，意味表現の壳長化の原因は複数ある。これらはいずれも語彙の意味定義の文脈独立性および意味合成の構成性に起因するもので，本手法における意味解析の原理の副作用というべきものである。2014 年度の代ゼミセンター模試で正解できなかった問題の内, 得点にして $27 \%$ (28 点）が, 宇長かつ複雑な意味表現を対象とする演繹処理が制限時間内に終了しなかったことによるものであった.

ここで計算量が問題となっているのは実閉体の式に対する限量子除去と呼ばれる処理 (Caviness and Johnson 1998; Iwane, Yanami, Anai, and Yokoyama 2013) であり, 用いているアルゴリズムの最悪計算量は式中の変数の数の 2 重指数のオーダーである. このため, 言語処理の結果出力される式から不要な変数を除去することは極めて重要となるが，一方で，数式処理によってこれを実現する一般的な手法は存在しない（であろう）ことが分かる。よって，式の壳長性の解決へ向けては，条件の対称性など問題の数理的特徴を利用した発見的手法とともに，文法および意味合成手続きの特徴を考慮した, 言語解析からの出力に特有の冗長性を除去する手法の開発が必要であろう.

## 5.2 行為結果の表現

現在の我々の意味表現体系で扱えない例として, 行為や操作の結果を表す表現を取り上げる. 2014 年度センター模試数学 I・A では

$
104 \text { を素因数分解すると囤 }{ }^{3} \text { イウウでる. }
$

という文を含む出題があったが，現在の我々の文法体系ではこの文に対する意味合成ができない. 同様の「Xを $\mathrm{V}$ すると $\mathrm{Y}$ となる」という構造を持つ文（以下，「行為結果文」と呼ぶ）は他にも
- $n$ を 2 乗すると 4 の倍数となる.
- 放物線 $C$ を $y$ 軸方向に 1 たけ平行移動すると放物線 D となる.
- 円の半径を 2 倍にすると面積は 4 倍になる.
- 方程式 $x^{2}+2 x+1=0$ の左辺を因数分解すると $(x+1)^{2}=0$ となる.

など種々あり，数学テキストでは比較的よく現れるタイプの文である。 2014 年度の代ゼミ模試では, 数に対する操作の表現を含む問題で上記の理由によって正解しなかったものが 20 点分,類似の理由で，数式に対する操作の表現を含む問題で正解しなかったものが 18 点分あり, 合わせて失点全体の $36 \% を$ 占めていた。

動詞「なる」および接続助詞「と」の通常の用法も考慮すると, 行為結果文「Xを Vすると $\mathrm{Y}$ となるの意味表現としてもっとも表層構造に忠実なのは以下のような内容のものだうう：

(1) 行為 $\mathrm{V}$ の前の世界 $W_{1}$ と行為後の世界 $W_{2}$ には，ともにモノ $\mathrm{X}$ が存在する．そして，

（2）行為 $\mathrm{V}$ の結果モノ $\mathrm{X}$ の性質は変化し, 行為後の世界 $W_{2}$ ではモノ Xとモノ $\mathrm{X}$ は一致する，あるいはモノ $\mathrm{X}$ は $W_{2}$ では性質 $\mathrm{Y}$ を満たす.

ここでは行為 $\mathrm{V}$ の前・後における世界の変化を捉えるために，ある種の時間の概念（ないし複数世界間の推移) が意味表示の体系に持ち込まれている.

しかし, 実際に問題を解くために上記のような行為結果文から読み取る必要がある意味内容は, 通常の述語論理の枠組みで十分表現可能である。例えば，上の箇条書きの最初に例に対しては「 $n^{2}$ は 4 で割り切れる」という表現で十分である。また, 明示的に時間の推移を表す「点 $P$ は速度 $v$ で動き, 時刻 $t$ に点 $Q$ に到達する」といった表現を含む問題は比較的少数であることも考えあわせると, システムの現在の開発段階で意味表現に時間の概念を持ち込む利得は意味表現・言語解析および推論の複雑化に見合わないと考える.

幸い，これまでに観察された行為結果文は定型的なものが多く，時間の概念を含まない現在の枠組みでも，必要な意味表現を合成することは多くの場合に可能であると思われる．特に「X を $\mathrm{V}$ すると $\mathrm{Y}$ となる」という形の文については，下記の 2 つ方針が考えられる：

方針 1 主節「Yとなる」はガ格のゼロ代名詞を持ち, そのゼロ代名詞は間接照応で「Xを $\mathrm{V}$ した結果」を指すと考える。この方針では節「Xを Vすると」は意味表現に直接は寄与せず（翻訳されず）「XをVした結果が Yとなる」に相当する意味表現が作られる.

方針 2 句 $\mathrm{V}$ すると」は右にガ格を欠いた一項述語を項として取り, 左にチ格名詞句を項として取ると考える（即ち「「Vすると」は範疇 $S \backslash N P_{0} /\left(S \backslash N P_{\text {ga }}\right)$ を持つ).

方針 1 のゼロ照応の解決は，行為結果文の定型性を利用することで比較的容易に実現できると予想される. 方針 2 の利点としては, ゼ口照応解決に依らず, CCGによる解析の朹組み内で全ての意味合成が行えることに加え, 例えば「2乗すると 10 を超える奇数」のような連体修飾の形も上記の範疇を持つ「Vすると」の語彙項目によって同時に扱える点が挙げられる（図 6).

図 6 連体修飾の形の行為結果文の解析

## 5.3 数学：まとめと今後の課題

本節では，入力アノテーションによって言語処理とくに曖昧性解消処理の大部分を代替した理想化された状況でもなお残る数学解答システムのエラーに関して解説を行った。意味表現の冗長性に起因する計算量の増大は，言語処理と自動演繹の両者にまたがる夕スク設定に特有の課題であり，解決に向けては，文法・意味合成の特性を踏まえた数式処理技術など分野融合的な研究が必要となる。行為結果文の分析に関する課題では, いわゆる "generalization to the worst case"の問題をどう回避するか, という点が本質的である。これは，大多数の文の構造は典型的ないくつかの文法・意味現象の組み合わせとして分析可能であるにもかかわらず，多様な言語現象をカバーするための分析枠組みの下では, 具体的な分析対象がどのような文であっても, その意味表現が一様に（かつ，枠組みが対象とする現象の数に関して組合せ的に）増大するという問題である。本稿では，数学テキストでの行為結果文の定型性を利用した分析の単純化を一つの解として提示した。

言語系・社会系の科目に比べ数学解答システムの言語処理部の開発は遅れている. 数学解答システムの開発では，これまで，自然言語から構成的に導出が可能で，かつ数理処理部への入力として適した意味表現の設計に注力してきたことが，言語処理部の開発の遅れの主たる理由である。これを裏返して言えば，数学のように形式的な意味表示のための体系がほぼ確立した分野に対しても，言語から意味表示を導出するための中間的な意味表示体系として直接利用できるような枠組みは存在しなかったということであり，言語処理と自動演繹という人工知能の 2 つの下位分野をつなぐ領域は大きく欠落していたと言ってよいたろう.

言語処理部分の自動化に向けた主要な課題は, (i) 既存技術の数学テキストへの分野適応，(ii)既存技術・コーパスでは対象とされていない現象の解析，(iii) 文法の被覆率の向上，に分けられる。(i) に関しては, 例えば, 係り受け解析器 cabocha (工藤, 松本 2002) に対して, 数学問題テキスト約 10,000 文に対する係り受けアノテーションを用いた追加訓練を行うことで数学問題テキストに対する解析精度を追加訓練前の $87 \sim 90 \%$ か $94 \%$ 程度まで向上できることが分かっている。このように，分野適応によって，新聞テキスト等に比べ高い解析精度が得られる処理ステップが存在する一方で，数学問題を解くという目的に向けては，さらに残る解析エラーを

ゼロに近づけることが必要である。上記の傒り受け解析に関する結果からも示唆されるように， エラーをゼロに近づける段階では,「汎用」の分野適応手法ではなく, 分野特有の知識や数理処理の結果のフィードバック等を用いた手法が必要となることが予想される.

(ii) に関しては, 例えば, 命題を指す参照表現（「このとき」「そのとき」）や, 不飽和名詞・関係名詞に係る「ノ格」のゼロ照応解決（例「平面上に直角三角形 $\mathrm{ABC}$ がある。斜辺 $\mathrm{BC}$ は…」）など, 日本語共参照・照応解決のための学習・評価データとして近年ひろく用いられている NAIST テキストコーパス (飯田, 小町, 井之上, 乾, 松本 2010)ではアノテーションの対象となっていない現象の解析が必要であり，既存のツール・データをそのまま利用した解決は事実上不可能である。また, 文間の論理関係の解析に関しては, 修辞構造解析・談話構造解析など, 形式的には類似のタスクに関する研究があるが, 変数のスコープ解決を含め, 文間の詳細な論理的関係の解析を対象とする研究は我々の知る限り存在しない。これらの課題に関しては，まず，分野知識を前提としたルールベースの手法による達成率を調查し, その後, 必要であればテキストアノテーションを介した統計手法との組み合わせを検討することが目標の実現へ向けた戦略としては妥当であろう。

(iii) の文法の被覆率の向上に関しては, 現在のところ見通し不明であると言わざるを得ない.名詞・動詞など内容語に関しては, 辞書見出し語による文表層形の被覆率を測定することで, 必要な語彙のうち辞書に未収録なものの概数が分かる。しかし，機能語は同一表層形のものが多数の異なる統語的特性および意味をもつため, 被覆率の測定のためには, 文が解析可能であるか否かに加え, 得られた意味表示が正しいことを確認する必要がある。このため, 構文解析すら自動化されていない現段階では, 少数のサンプルを超えて大規模な被覆率の測定を行うことは難しい。今後は, 言語解析の結果から得た解答のチェックを通じて, 間接的に被覆率の測定や機能語の未知の用法の検出を行うといった工夫が必要になると考えている.

## 6 物理問題のエラー分析

大学入試における物理の問題の多くは, 問題に記述された状況において, ある物理現象が起きたときの物理量についてのもの（e.g. “物体が停止した時間”）や，物理現象が起きるための条件となる物理量についてのもの（e.g. “棒がすべり出さないための静止摩擦力”）である. 本研究ではこの種の問題解答に向けて, 物理シミュレーションによって問題に書かれている状況を再現し, 得られた結果を用いて解答を行うアプローチで取り組んでいる (横野, 稲邑 2014).

解答器は自然言語で記述された問題を入力として受け取り，まず意味解析を行い，状況の記述と解答形式の記述からなる形式表現を生成する。次に形式表現を元に物理シミュレーションを行い, 得られた結果から問題に記述されている物理現象が起きた時刻における物理量を特定し，解答形式にあわせて出力することで問題に解答する。

2014 年度の代ゼミセンター模試による評価では形式表現からシミュレーション結果の取得に焦点を当て，人手で記述した問題の形式表現を入力とし，得られたシミュレーション結果から解答が導けるかどうかを人が判断するという設定とした。この設定においても正解が得られなかった問題とは, シミュレーション自体が行えなかった問題であり, 大別すると (i) 形式表現による記述が困難な状況設定を含む問題 (ii) 電磁誘導などシミュレーションが困難な物理現象を含む問題，の２種類がある．本稿では (i) に焦点を当て，その詳細について述べる。

## 6.1 形式表現

本手法で用いている形式表現は一階述語論理の形式で記述している。定義している述語は物体, 物理量, 物体に対する操作, 物理現象を表す 4 種類のものである。このうち物体に対する操作と物理現象を表す述語に関しては, 事象が起きた時間関係を明示するためにイベント変数を導入している。形式表現に用いる述語セットは過去のセンター試験問題を対象とした調查結果を基に人手で定義した.

現時点における形式表現の定義でどの程度の問題が記述できるかを 2013,2014 年度の代ゼミセンター模試 5 回分を用いて評価した。結果を表 19 に示す。状況記述の項は実際に形式表現で記述できた小問の数を示している。状況記述の項の“+”以降の値は新しく述語を定義することで状況の記述が可能となった問題の数を示す.

状況の記述ができないと判断された問題は全部で 25 問あり，その理由の内訳は，シミュレー ションモデルの不足によるものが 12 問, 画像で形状が指定されるオブジェクトをシミュレー 夕に入力できないことによるものが 8 問, その他の理由によるものが 5 問であった. 以下では,上位 2 つ原因について詳細を述べる。

表 19 形式記述の分析（試験 5 回分）

## 6.2 シミュレーションモデルの不足

物理問題の形式表現では，数学における集合論のように，全ての問題を記述しうる表現の枠組みを考えることは現実的でない，このことは，例えば力学, 電磁気, 波動（音波，光，弦の振動）といった多様な分野の問題を一様に「原子レベル」で記述することの非現実性から明らかたろう。すなわち, 物理では各分野および問題タイプごとに適切な抽象度の物理モデルを用いる必要がある。これらのモデルには, 力学や電気回路など, 比較的多様な問題をひとつのモデルでカバーするものから，「両端が固定された弦の振動」といった単一の現象のみを対象とするものまで様々な抽象度のものが含まれる。

ゆえに，物理問題に対する形式表現の記述とシミュレータでの実行は, (i) 適切な物理モデルの選択と (ii) 選ばれた物理モデルの枠組みの中での問題の解釈，という 2 つ側面を含む。この 2 つの側面は不可分であり, 問題に対して適切な抽象度の物理モデルが事前に存在しない場合は，問題に対する形式的記述がそもそもできない，定性推論 (Forbus 1984)などのように，基礎的なレベルの状況記述から, より抽象的で演繹に適したモデルを自動的に生成することを目指す研究は存在するものの, 広範囲の物理問題に適用可能な解答プログラムの開発を $5 \sim 10$ 年のスパンで目指す本研究ではスコープ外の目標と見なすべきであろう.

表 20 の「シミュレーションモデルの不足」は, 上記の意味で適切な物理モデルが評価時に存在しなかった問題である。ここに分類された問題のうち半分以上（12 問中 9 問）は，例えば，「一定の風速および方向の風が吹く中で伝わる音波のドップラー効果」や「質量 $2 m$ の重りをつるすと切れる糸を用いた円錐振り子」のように，現在の音波の伝達モデルや力学モデルを拡張することで表現が可能になる問題である。しかし, そもそもどのような抽象化をすべきか現段階では明らかでない「伏せたコップを水中に沈め，水圧によってコップの下端から $x \mathrm{~cm}$ の高さまで水が入りこんた状態」のような問題も含まれている.

本研究では力学に関係したモデルから開発を始めたため, 力学に関しては記述可能な問題の割合が相対的に大きい，今後は，「切れる糸」など力学モデルの中で例外的な扱いが必要な現象を洗い出し, モデルに取り込むとともに, 現象に対し個別的なモデルが必要な問題が多い波動

表 20 状況記述ができない理由

 & 12 &  \\

などの分野に関して, どの程度のモデル数が必要か, 現実的に実現可能なモデル数に収まるのかを見定める必要がある.

## 6.3 自由形状の入力

問題には「平らな床の上に置かれた立方形の台」のように基本的な小数の要素で構成可能な状況だけでなく, 図7のように画像によって与えられた複雑な形状の要素が出現するものがある. これらは原理的には力学モデル内で扱うことが可能であるが，シミュレータへと状況を入力するために画像処理を必要とし, さらに自由形状のオブジェクトを取り扱うためのシミュレータ機能の実現コストが大きいため, 現在は未着手の状態にある.

## 6.4 物理：まとめと今後の課題

物理問題の多くは問題で与えられた状況に対して起きた物理現象について, その時の物理量やその物理現象が成立するための条件を問うものである。このような問題に対して, 我々は問題に書かれている状況を認識し，その状況を起点とする物理シミュレーションを行い，得られた物理量をもとに解答するというアプローチで取り組んでいる。これまで，十分な範囲の問題を記述することができ，かつ，その情報から物理シミュレーションが可能となるような形式表現の定義を行ってきた，表 19 に示すように，まだ記述できない問題は残っているため, 今後も定義を改良する必要があるが, 同時に自然文として記述されたテキストからこの形式表現への変換にも取り組む予定である.

問題テキストから形式表現への変換は, 現在さかんに研究が進められている semantic parsing の一例と見なすことも可能ではある. しかし, これまでの semantic parsing のタスク設定では,

図 7 複雑な形状の例
翻訳の目的言語となる形式表現のセマンティクスがあらかじめ固定されているのに対し, 物理問題の状況理解では目的言語を定める物理モデルの選択が形式表現への翻訳と一体になっている点が大きく異なる。これによって, 物理問題の意味解析には, 例えば「鉄球」という語に対し「質点」を表す表現を割り当てるのか，あるいは大きさを持つ剛体を表す表現を割り当てるのか，という訳語選択に当たるレベルの曖昧性解消だけでなく，「時刻 $t$ に車のサイレンが発した音波」といった表現から「気圧の周期変動の伝播」としての音波ではなく，音源から音波があたかも「物質のように」放出される音波モデルを選択すべきことを識別する，といったテキスト解析に基づく物理モデルの選択の問題が含まれる.

また, 現時点では, 数值データとして出力されるシミュレーション結果を人手で解釈して解答しているが, 最終的にはこの部分も自動化する必要がある. この部分は, センター試験形式の物理問題では, 選択肢として与えられる式やグラフ, あるいは選択肢および本文における自然言語による状況記述と, 物理的状況を表す数値デー夕との整合性ないし含意関係を判定する問題である。このうち, 自然言語による記述と数値デー夕を比較判定する問題は, 問題の状況理解とほぼ裏表の関係にあり，例えば「止まる」「離れる」等々といった状況を表す語に対し数値（時系列）データに対する条件を結びつけた辞書を用いて，数値データと言語記述の整合性を判定する手法の開発を進めている (横野, 稲邑 2013).

また，物理の問題には問題文とともに状況を示した図が添付されていることが多い。この中には， 6.2 節で挙げたように，物体の形状が図でのみ与えられるなど，図の解釈が必須となる問題も存在するが，テキストで与えられた状況記述の曖昧性を除去する目的で図が添えられた問題も多数存在する. 後者のタイプの問題に対しては, 画像理解とテキスト理解を融合した状況理解の手法の開発とともに，言語理解に基づくシミュレーション結果がテキストでの記述と合致するか，など画像理解以外の手段でテキスト解釈を補う技術を開発することを試みている.

## 7 世界史・日本史のエラー分析

本節では, 2014 年度の代ゼミセンター模試に対し, 狩野 (狩野 2014)のシステムが出力した解答のエラー分析について報告する。本システムは, 山川出版社の世界史または日本史の用語集を知識源とし, 設問から抽出したキーワードが知識源の中でどのように分布しているかをスコアとして算出し, 解答を選択する。具体的には, 設問および知識源に対して以下の各処理を行い，解答の選択を行う ${ }^{3}$.

（1）問題文解析：問題文のテキストを前処理し，キーワード抽出を行う対象テキストを切り

出す。一般に，設問は背景説明のテキストや導入文，実際に正誤判定の対象となる文など，複数のテキストから構成される。そこで，これらのテキストから後段の処理で必要となるテキスト箇所を抽出する必要がある.

（2）キーワード抽出：前処理した問題文テキストから，スコア付けに用いるキーワードを抽出する。キーワードリストとして, Wikipedia の見出し語から自動抽出した語句を人手でクリーニングしたものを用い，単純なマッチングでキーワード抽出を行った。

(3) 知識源検索：抽出したキーワードで知識源を検索し，キーワードに合致するテキストを得る.

（4）スコア付け：キーワードと検索結果テキストとの一致度をスコア付けする. 後述するように，センター試験では文の正誤を判定する問題が多い，誤りを含む文では，知識源のまとまった範囲内にキーワードが出現せず，別の場所に出現すると考えられる．したがって，検索結果テキストにキーワードが含まれない場合は，ペナルティとして負のスコアを与える。

（5）解答選択：文の正誤を判定するタイプの問題に対しては，スコアが大きいものを正しい文として解答を選択する。語句を解答するタイプの問題（いわゆる factoid 型質問応答に相当）に対しては，選択肢に挙げられた語句を問題文テキストに埋め込み，文の正誤判定問題に帰着して解答を行う，年代を解答する問題については，検索結果テキスト中の年代表現を抽出することで解答を行う.

このシステムは, 2013 年度および 2014 年度の代ゼミ模試「世界史」・「日本史」において最も高い性能を示したものである。また，同システムは， センター試験の世界史過去問を用いた競争型ワークショップである NTCIR-11 QA-Lab Task (Shibuki, Sakamoto, Kano, Mitamura, Ishioroshi, Itakura, Wang, Mori, and Kando 2014) にも参加している4. 同ワークショップに参加した他のシステムにも本システムと同様にキーワードないし係り受け関係をクエリとした検索を基礎とするシステムが多数あった。これらのことから，本節で分析対象とするシステムは，分野特有の処理に依存しない, 検索をべースとした汎用的なシステムとしては比較的高性能なものであると考えてよいだろう。

表 21 に世界史, 表 22 に日本史の問題タイプとエラー分析結果を示す。センター試験の世界史・日本史では，選択肢として与えられた文に対して正誤を判定するタイプの問題が大きな割合を占める（例えば図 8)。語句や年代を解答するタイプの問題（例えば図 10）はいわゆる factoid 型質問応答に見えるが，知識源中の解答に関連する記述は多くの場合一つしか無く, 大規模テキストを利用した解答の aggregation といった技術は利用できない. したがって, 語句・年代と問題文との組合せの正誤を判定するタスクに帰着される。このように, 知識源を的確に参照

表 21 世界史の問題タイプと誤答の要因

表 22 日本史の問題タイプと誤答の要因

図 8 問題文解析の誤りの例

しつつ, 文の正誤を判定するという処理は, 上記のようにテキストの前処理, キーワード抽出,検索, スコア付け等, 複合的な処理が必要であり，また各処理で高い精度が要求される。各処理は当然不完全なものであり, 必ずしも排他的な関係にあるわけでもない. よって, 最終的に誤答が出力された要因を単一の原因に帰着することは難しいため, 表 21 , 表 22 では, 複数の要因は別個にカウントしてエラーの分類を行った。

「問題文解析」は, 問題に解答するための情報が書かれた問題文テキストを切り出す処理に起因するエラーである。図 8 に例を示す5．この問題では, 問題文中に「ノモス」「王国」「古代エジプト」といったキーワードが現れるが, 実はこれらの情報は選択肢の正誤判定には無関係


である。つまり，選択肢の文のみを用いて正誤の判定を行うことができる。一方，問題によっては問題文中のキーワードが正誤判定に必要な場合や, さらに背景説明のテキストも参照する必要があることもある。次のエラー要因とも関連するが，どこまでのテキストをキーワード抽出の対象とすべきかは単純には決定できない.

「キーワード抽出」は，当該問題を解くのに必要・不必要なキーワードを分別できていないことに起因するエラーである。図 9 に例を示す.この例では， 2 は誤った文であるが，「君」「直」 などがキーワードとして認識されず，これらの語が知識源に現れなかったにも関わらずぺナルティがかからなかったため，正しい文と判定されてしまった。これ以外にも，例えば「法制」「編集」といった一般語がその問題文中では重要なキーワードとなっているような場合や, 逆に「アジア系」のような専門用語らしい語が知識源には明示的に書かれていないため, ペナルティがかかってしまった例がある。世界史・日本史の知識がある程度ある人間が読めば, 重要なキーワードと重要ではない（知識源に明示的に書かれていなくても正誤判定には影響しない） キーワードがある程度区別できるが，これを実現するのは容易ではない.

「一般知識」は, 解答のために必要な知識が明示的に知識源に記述されていないことに起因するエラーである。世界や日本の地理・時代に関する知識，一般常識に照らした判断，等が必要とされる。単純な例としては, 図 10 のように, 「岩宿遺跡」がどの時代の遺跡か, という知識を予め用意しておけば解答できるような問題もある。このような知識は必ずしも教科書・用語集に明示されているわけではないが，データベースなどの形式で整理しておくことは可能である。より困難な例を図 11 に示す。この場合，知識源の文章を読めば，「北海道に水稲耕作は及ばず」が妥当であることが分かるが，この判断のためには農耕，狩猟，水稲といった概念の知識と, それらを対比して判定を行う処理が必要である. このように知識源の記述と設問の記

下線部 c（大和地方を中心とした政治連合であるヤマト政権が誕生し）に関連して，ヤマト政権の支配体制に関して述べた文として正しいものを，次の 1～4のうちから一つ選べ。

2. 君（公）や直の姓の有力豪族が国政を担当し，ヤマト政権の中枢をになった.

3. 国造に任命され，地方の支配権をヤマト政権から保証された地方豪族もいた。

図 9 キーワード抽出の誤りの例

背景説明 : 戦後すぐの 1949 年に行われた群馬県岩宿遺跡における発掘調査以降, 各地でアの地層から打製石器が発見され, 日本における旧石器時代の文化の存在が明らかになった.設問 : 空欄アイに入る語句の組合せとして正しいものを, 次の 1 ののうちから一つ選べ.

2. ア更新世イひすい (硬玉)

4. ア完新世イひすい (硬玉)

図 10 データベース・オントロジー的知識が利用できる例
述が直接一致しないケースは特に日本史の問題に多い.

「言語知識」および「言語構造」は，自然言語処理技術の利用・高精度化により解決できる可能性のあるエラーである．前者は，例えば「解読」と「未解読」が反義語であるといった語彙知識や，「収穫した稲の脱穀」と「精穀具」のパラフレーズ関係など，言語知識を利用することで正答が得られる可能性があるものである。「解読」「未解読」のような例であれば，言語リソースの整備により解決できる可能性が高い. しかし, 図 12 に示すような例はパラフレーズ認識あるいはテキスト間含意関係認識に相当するものもあり，必ずしも容易に解決できるものではない。後者は, 係り受け解析, 述語項構造解析, 否定の解析などによって, 文の意味の違いを認識することが必要とされるものである，典型的には，文章中に複数の命題が記述されている場合がある。図 13 に示す例では, 正解は 2 であるが，4のキーワードも同一文章中に含まれて

$\mathrm{X}$ 北海道に水稲耕作は及ばず，採集・狩絾・漁労中心の続縄文文化が続いた。

$\mathrm{Y}$ 沖縄・南西諸島には南方から伝わった農耕が広まり，独特な貝塚文化が始まった。

知識源 : 擦文文化 7 13 世紀頃に北海道に広く展開した鉄器文化. 名称は続縄文土器と土師器の影響を受けて誕生した櫛の歯のような文様を持つ擦文土器に由来する。農耕もあるが，主生業は狩絾・漁労. 北海道式古墳も築造.

図 11 一般知識が必要な例

設問 : 下線部 d（水稲耕作を基礎とする弥生文化）に関連して，弥生時代の農耕について述べた文として正しいものを，次の 1〜4のうちから一つ選べ。

2. 籾を田に直接まく直播が行われ，田植えは始まっていなかった。

4. 収穫した稲の脱穀は，木製農具の曰と堅杵を用いて行った。

知識源：木製農具耕作具として鍬・鋤，水田面を平均にならすえぶり，精穀具としての木日・竪杵などがあり，イチイガシ・栗などの堅い木材でつくられた。

図 12 言語知識が必要な例

図 13 言語構造が必要な例
表 23 人とシステムの正答傾向の比較（世界史）

いるため，スコアが同率となり，最終的に誤った解答を選択してしまっている。この例は係り受けあるいは述語項構造が正確に得られれば正しい解答が得られると期待される。また, 図 12 の例では，システムは 2 を選択したが，これは知識源には「田植えをした可能性も高まった.」 と記述されており，否定やモダリティの正確な解析によって正答が得られる可能性がある。たたし，このような言語知識・言語解析は新たなエラー要因を持ち込むため，単純にこれらの技術を導入することでは全体の正答率が下がる可能性が高い。必要な場面で適切かつ正確に言語処理技術を利用する必要がある。

最後に, 2014 年度代ゼミセンター模試「世界史 B」36 問について, システム出力と受験生の選択率一位の解答（「人間」）とを比較したクロス表を表 23 に示す。全体の問題数は少ないが,人間が正解・不正解だった問題グループそれぞれに対するシステムの解答は正解・不正解がおよそ半数ずつになっており，人間とシステムの正解分布は独立であることがうかがわれる．実際に, Fisher の正確確率検定を適用した結果は $p=0.68$ であり，人間・システムの正解・不正解が独立であることは棄却されなかった。また，人間が不正解かつシステムが正解した 3 問（受

テキストを取得しており，単なる偶然ではなくシステムの性能が発揮された形で大多数の受験生が誤った問題に正解している。

## 7.1 世界史・日本史：まとめと今後の課題

本節では，世界史・日本史の試験問題を対象に，狩野 (狩野 2014)のシステムのエラー分析を行った，本システムは構文解析，意味解析等の自然言語処理を行わず，設問と知識源とのキー ワードの一致をスコア付けする方式をとっている。自然言語処理の立場からは，より深い言語処理技術を利用することで正答率を上げるというアプローチが考えられるが，エラー分析の結果からは，それにより正答できる問題はそれほど多くなく，また精度が不十分な言語リソース・言語解析を導入することによる副作用も懸念される。一方, 問題文の前処理やキーワード抽出に起因するエラーはまだ一定数残っており，これらは改善の余地があると考えられる。また，特に日本史では一般知識・常識や, 知識源に直接記述されていない知識を統合的に利用する必要がある問題が見られる。これを解決することは容易ではないが, 自然言語理解の興味深い未解決問題の一つと見ることもできる.

## 8 おわりに

本稿では大学入試センター試験形式の模試問題データを主たる対象として, 英語・国語（現代文評論) ・数学・物理・日本史・世界史の各科目に対する解答システムのエラーを分析した。本稿でエラー分析を行った問題タイプのうち, 現時点でもっとも解答精度が高いのは, 英語の「発音・アクセント」「文法・語法・語彙」「語句整除完成」「未知語（句）語義推測」であった. これらの問題タイプでは, 辞書ベースの手法が非常に有効であった「発音・アクセント」を例外として，いずれも巨大なテキストデータを利用した手法 (N-gram, word2vec) によって高い正答率を得ている。また，「発音・アクセント」の強勢の予測に関する問題を例外として，他 3 つの問題タイプでは，マルコフ仮定から大きく外れる文法的な依存関係に起因するエラーを構文解析を利用して解消する，低頻度語（句）は辞書の語釈文で置き換えた上で類似度を算出する，など，エラー傾向の分析によって，ある程度まで解決へ向けた方針が明らかになっている。

これに対し，国語現代文（評論）の読解問題では，50\%程度の解答精度は実現できており，現在の技術レベルを大きく超えると思われるいくつかの問題タイプを特定することまではできているものの, 解決可能性のあるエラータイプを言語現象と結びつけた形で類型化することは現在できていない，そのひとつの原因は，シンプルではあるが挙動の直観的把握が難しい, 表層類似度に基づく手法を用いていることにある。予備校による模試と実際のセンター試験で，相性のよい手法が異なるといった発見もあったが, 同様の理由でその原因の特定には至っていない. 今後, 本文の修辞構造の解析などと組み合わせ, 手法を改善するにつれ，より詳細なエラー 分析が可能になることが期待される.

数学および物理では，これまで主として中間表現の設計および言語処理と数理的演繹システムとの接続部分に注力して研究を進めており, システム全体の自動化に関しては他科目に比べ遅れている。他のテキストドメインに比べ，はるかに明確な意味表示を持つと考えられる数学や物理においても, 言語からの翻訳を考慮した中間的な意味表示の体系が, 再利用可能な形で存在しなかったことは, これまでの NLP/AIにおける欠落といってよいだろう．中間表現の設計が物理に比べやや進んでいる数学に関しては, 言語処理と演繹処理の接続に由来するエラー として, 表現の壳長性による計算量の爆発の問題があることを示し, 分野融合的な解決が必要であることを述べた。

日本史・世界史のエラー分析では, 問題文および知識源テキストの言語解析や, 分野知識・言語知識・一般的な知識など種々のタイプの知識の利用など，エラー要因あるいは改善へ向けた要素が多岐に渡ることを示した。また分析の結果から, 現在のシステムで最も改善が有効であ万うポイントとして，選択肢からのキーワード抽出および問題文の前処理を挙げた。いずれも本質的には歴史分野に関する一定の知識・理解を要する処理であり，ノイズを含む知識リソー スの導入などによる新たなエラーの発生に関する懸念はあるものの, 知識リソースや要素技術
自体の改良と, それらの追加要素の, 解答システムへの取捨選択的な導入が改良へ向けた唯一の方策だろう。

いくつかの科目・問題タイプの解答システムの分析では, 最も多数の受験生が選択した解答 （以下，単に「人の解答」とよぶ）とシステムの出力との比較を行った。統計的検定の結果, システムと人の解答の正答・誤答の分布が独立であるという帰無仮説がほぼ棄却 $(p=0.06)$ されたのは英語の語句整除完成問題に対してのみであった。予備調査として, 自動的な解答システムの完成には至っていない数学・物理に関しても，演繹部の能力と中間表現の複雑さと正答率との関係を見るためにシステムの正解率と受験生の正答率の関係を調べた。しかし，現在のところ両者に特に顕著な関係は無いようであった.「人のように考える」システムあるいは「人のように間違える」システムはもとより我々の目標ではない。しかし，人とシステムにとっての難易の差について今後より詳細な分析を行うことで，システムの改良に関して，更なる知見が得られることが期待される。

本稿で主として取り上げた問題タイプ，また今後の課題などとして簡単に触れた科目・問題タイプを通覧すると，まず，大きな傾向として漢字やアクセント・発音，文法問題など，個別的な言語知識に関する問題については人間の平均あるいはそれ以上の精度を達成しているものが多数ある一方で，英語・国語の長文読解に代表される総合的な能力を要する問題では良くても人間の平均レベルにとどまっていることが指摘できる。また，個別的な言語知識に関する問題以外では, 数学・物理など, 解答システムの開発スピードは遅いが, 少なくとも現状問題となっている点について現象レベルの説明が可能である科目と, 国語現代文 (評論), 世界史・日本史など，自動システムの完成までの開発は速かったが，エラー要因の類型化が難しい，あるいはエラー要因が多岐に渡る科目との対照が明らかである。これは科目ごとに各開発チームが最も有効であると判断した手法を選択した結果であり，形式的な演繹に基づく手法と表層的手がかりによる手法の比較にみられる一般的な傾向である。しかし, 例えば行為結果文についての分析から示唆されるように, 数学においても出現する構文パターンに大きな偏りがあるなど,表層的な手がかりに基づく手法が有効であろう側面も確かに存在する，逆に，分析結果から示されたように，世界史・日本史にも詳細な言語解析が有効に働くであろう設問も一定数存在する. 今後, 各科目ともより多角的なエラー分析と総合的な問題の把握を進める上では, 点数・開発スピードでは最適といえずとも，現状のアプローチとは異なる手法による結果との比較分析が有効であることが示唆される.

## 謝 辞

本研究を推進するにあたって，大学入試センター試験問題のデータをご提供下さった独立行政法人大学入試センターおよび株式会社ジェイシー教育研究所に感謝いたします。また，模擬
試験データおよび解答分布データをご提供下さった学校法人高宮学園に感謝いたします.また,日本史および世界史用語集の電子データをご提供くださった山川出版社に感謝いたします.

## 参考文献

新井紀子 (2014). ロボットは東大に入れるか. イースト・プレス.戸次大介 (2010). 日本語文法の形式理論. くろしお出版.

Caviness, B. and Johnson, J. (Eds.) (1998). Quantifier Elimination and Cylindrical Algebraic

Decomposition. Texts and Monographs in Symbolic Computation. Springer-Verlag.

Forbus, K. D. (1984). "Qualitative Process Theory." Artificial Intelligence, 24 (1-3), pp. 85-168.船口明 (1997). きめる！センター国語現代文. 学研教育出版.

Gubbins, J. and Vlachos, A. (2013). "Dependency Language Mmodels for Sentence Completion."

In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1405-1410.

服部昇平, 佐藤理史 (2013). 多段階戦略に基づくテキストの意味関係認識：RITE2 タスクへの

適用. 情報処理学会研究報告 2013-NL-211 No.4/2013-SLP-96 No.4, 情報処理学会.

加納隼人, 佐藤理史 (2014). 日本語節境界検出プログラム Rainbow の作成と評価. FIT2014 講

演論文集第 2 分冊, pp. 215-216.

東中竜一郎, 杉山弘晃, 磯崎秀樹, 菊井玄一郎, 堂坂浩二, 平博順, 南泰浩 (2015). センター試

験における英語問題の回答手法. 言語処理学会第 21 回年次大会 (NLP2015).

飯田龍, 小町守, 井之上直也, 乾健太郎, 松本裕治 (2010). 述語項構造と照応関係のアノテー

ション：NAIST テキストコーパス構築の経験から. 自然言語処理, 17 (2), pp. 25-50.

板野博行 (2010). ゴロゴ板野のセンター現代文解法パターン集. 星雲社.

Iwane, H., Yanami, H., Anai, H., and Yokoyama, K. (2013). "An Effective Implementation of Symbolic-numeric Cylindrical Algebraic Decomposition for Quantifier Elimination." Theoretical Computer Science, 479, pp. 43-69.

Jurafsky, D., Shriberg, E., and Biasca, D. (1997). "Switchboard SWBD-DAMSL Shallow-

Discourse-Function Annotation Coders Manual, Draft 13." Technical Report 97-02, University of Colorado, Boulder. Institute of Cognitive Science.

神谷翼, 松崎拓也, 佐藤理史 (2015). 数学確率文章題の自動解答システムの開発. 言語処理学会

第 21 回年次大会 (NLP2015).

狩野芳伸 (2014). 大学入試センター試験歴史科目の自動解答. 2014 年度人工知能学会全国大会 （第 28 回）.

加納隼人，佐藤理史，松崎拓也 (2015). 節境界検出を用いたセンター試験『国語』評論傍線部
問題ソルバー. 情報処理学会研究報告 2015-NLP-220, 情報処理学会.

工藤拓, 松本裕治 (2002). チャンキングの段階適用による日本語係り受け解析. 情報処理学会論文誌, $43(6)$, pp. 1834-1842.

Kushman, N., Artzi, Y., Zettlemoyer, L., and Barzilay, R. (2014). "Learning to Automatically Solve Algebra Word Problems." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 271-281.

Li, X., Ran, T., Nguyen, N. L., Miyao, Y., and Aizawa, A. (2013). "Question Answering System for Entrance Exams in QA4MRE." In CEUR Workshop Proceedings: Working Notes for CLEF 2013 Conference, Vol. 1179.

益岡隆志，田窪行則 (1992). 基礎日本語文法一改訂版一. くろしお出版.

Matsuzaki, T., Iwane, H., Anai, H., and Arai, N. (2013). "The Complexity of Math Problems Linguistic, or Computational?" In Proceedings of the 6th International Joint Conference on Natural Language Processing, pp. 73-81.

Matsuzaki, T., Iwane, H., Anai, H., and Arai, N. H. (2014). "The Most Uncreative Examinee: A First Step toward Wide Coverage Natural Language Math Problem Solving." In Proceedings of the 28th AAAI Conference on Artificial Intelligence, pp. 1098-1104.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G., and Dean, J. (2013). "Distributed Representations of Words and Phrases and their Compositionality." In Advances in Neural Information Processing Systems 26, pp. 3111-3119.

Miyao, Y. and Kawazoe, A. (2013). "University Entrance Examinations as a Benchmark Resource for NLP-based Problem Solving." In Proceedings of the 6th International Joint Conference on Natural Language Processing, pp. 1357-1365.

Pang, B. and Lee, L. (2005). "Seeing Stars: Exploiting Class Relationships For Sentiment Categorization With Respect To Rating Scales." In Proceedings of the 43rd Annual Meeting on Association for Computational Linguistics, pp. 115-124.

Pasupat, P. and Liang, P. (2015). "Compositional Semantic Parsing on Semi-Structured Tables." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, pp. 1470-1480.

Peñas, A., Hovy, E., Forner, P., Rodrigo, Á., Sutcliffe, R., Forascu, C., and Sporleder, C. (2011a). "Overview of QA4MRE at CLEF 2011: Question Answering for Machine Reading Evaluation." In CLEF 2011 Labs and Workshop Notebook Papers, pp. 19-22.

Peñas, A., Hovy, E., Forner, P., Rodrigo, Á., Sutcliffe, R., Sporleder, C., Forascu, C., Benajiba, Y., and Osenova, P. (2011b). "Overview of QA4MRE at CLEF 2012: Question Answering for Machine Reading Evaluation." In CLEF 2011 Labs and Workshop Notebook Papers,
pp. 303-320.

佐藤理史, 加納隼人, 西村翔平, 駒谷和範 (2014). 表層類似度に基づくセンター試験『国語』現代文傍線部問題ソルバー. 自然言語処理, 21 (3), pp. 465-483.

Shibuki, H., Sakamoto, K., Kano, Y., Mitamura, T., Ishioroshi, M., Itakura, K. Y., Wang, D., Mori, T., and Kando, N. (2014). "Overview of the NTCIR-11 QA-Lab Task." In Proceedings of the 11th NTCIR Conference, pp. 518-529.

Steedman, M. (2001). The Syntactic Process. Bradford Books. Mit Press.

Watanabe, Y., Miyao, Y., Mizuno, J., Shibata, T., Kanayama, H., Lee, C.-W., Lin, C.-J., Shi, S., Mitamura, T., Kando, N., Shima, H., and Takeda, K. (2013). "Overview of the Recognizing Inference in Text (RITE-2) at NTCIR-10." In Proceedings of the 10th NTCIR Conference, pp. 385-404.

横野光, 稲邑哲也 (2013). 物理問題解答に向けた物理量の変化に着目した動作表現の解釈. 言語処理学会第 19 回年次大会発表論文集.

横野光, 稲邑哲也 (2014). 論理演算と物理シミュレーションの結合による物理問題解答. 2014 年度人工知能学会全国大会.

Zang, X., Wu, Z., Meng, H., Jia, J., and Cai, L. (2014). "Using Conditional Random Fields to Predict Focus Word Pair in Spontaneous Spoken English." In 15th Annual Conference of the International Speech Communication Association, pp. 756-760.

## 略歴

松崎拓也：2002 年東京大学工学部システム創成学科卒業. 2007 年同大大学院情報理工学系研究科にて博士号 (情報理工学) 取得. 同大学助教, 国立情報学研究所特任准教授を経て, 2014 年より名古屋大学大学院工学研究科准教授.言語処理学会, 人工知能学会, 情報処理学会各会員.

横野光：2003 年岡山大学工学部情報工学科卒業. 2008 年同大大学院自然科学研究科産業創成工学専攻単位取得退学. 同年東京工業大学精密工学研究所研究員, 2011 年国立情報学研究所特任研究員, 2014 年同研究所特任助教, 現在に至る. 博士 (工学). 自然言語処理の研究に従事. 情報処理学会, 人工知能学会各会員.

宮尾祐介：1998 年東京大学理学部情報科学科卒業. 2006 年同大学大学院にて博士号 (情報理工学) 取得. 2001 年より同大学にて助手, のち助教. 2010 年より国立情報学研究所准教授. 構文解析とその応用の研究に従事. 人工知能学会, 情報処理学会, ACL 各会員.
川添愛：1996 年九州大学文学部文学科卒 (言語学専攻). 2002 年九州大学大学院文学研究科博士課程単位取得退学, 2005 年同大学より博士 (文学) 取得. 2002 年より 2008 年まで国立情報学研究所研究員, 2008 年から 2011 年まで津田塾大学女性研究者支援センター特任准教授を経て，2012 年より国立情報学研究所社会共有知研究センター特任准教授. 人工知能学会会員.

狩野芳伸：2001 年東京大学理学部物理学科卒業, 2007 年東京大学情報理工学系研究科博士課程単位取得退学. 同研究科にて博士 (情報理工学). 同研究科特任研究員, 科学技術振興機構さきがけ研究者等を経て, 2014 年より静岡大学情報学部准教授. 言語処理学会, 情報処理学会, 人工知能学会各会員.加納隼人：2010 年名古屋大学工学部電気電子・情報工学科入学. 2014 年同学科卒業. 現在, 名古屋大学大学院工学研究科電子情報システム専攻在学中.

佐藤理史：1988 年京都大学大学院工学研究科博士後期課程電気工学第二専攻研究指導認定退学. 京都大学工学部助手, 北陸先端科学技術大学院大学助教授, 京都大学大学院情報学研究科助教授を経て, 2005 年より名古屋大学大学院工学研究科教授. 工学博士. 現在, 本学会理事.

東中竜一郎：1999 年慶應義塾大学環境情報学部卒業, 2001 年同大学大学院政策$\cdot$ メディア研究科修士課程, 2008 年博士課程修了. 2001 年日本電信電話株式会社入社. 現在, NTT メディアインテリジェンス研究所に所属. 質問応答システム・音声対話システムの研究開発に従事. 博士 (学術). 言語処理学会, 人工知能学会, 情報処理学会, 電子情報通信学会各会員.

杉山弘晃：2007 年東京大学工学部機械情報工学科卒業. 2009 年同大学院情報理工学系研究科知能機械情報学専攻修士課程修了. 同年日本電信電話株式会社入社. 現在, 奈良先端科学技術大学院大学情報科学研究科博士後期課程在学中. 人と自然な対話を行う雑談対話システムの研究に従事.

磯崎秀樹：1983 年東京大学工学部計数工学科卒業. 1986 年同大学院修士課程修了. 同年日本電信電話株式会社入社. 2011 年より岡山県立大学情報工学部教授. 博士 (工学). 言語処理学会, ACM, 情報処理学会, 人工知能学会, 電子情報通信学会各会員.

菊井玄一郎：1984 年京都大学工学部電気工学科卒. 1986 年同大学大学院工学研究科修士課程電気工学第二専攻修了. 同年日本電信電話株式会社入社, 2011 年より岡山県立大学情報工学部情報システム工学科教授. 博士 (情報学)。現在, 本学会理事.

堂坂浩二：1984 年大阪大学基礎工学部情報工学科卒業. 1986 年同大大学院修士課程修了. 同年日本電信電話株式会社入社. 2012 年より秋田県立大学シス

テム科学技術学部教授. 博士 (情報科学). 言語処理学会, 人工知能学会, 情報処理学会, ACM 各会員.

平博順：1994 年東京大学理学部卒業. 1996 年同大学院修士課程修了. 同年日本電信電話株式会社入社. 1996 年 NTTコミュニケーション科学研究所, 2005 年 NTT デー夕技術開発本部, 2007 年 NTT コミュニケーション科学基礎研究所, 2014 年大阪工業大学情報科学部准教授. 博士 (工学)。2013 年言語処理学会優秀論文賞受賞. 言語処理学会, 人工知能学会, 情報処理学会各会員.

南泰浩：1986 年慶應大学理工学部電気工学科卒業. 1991 年同大学院博士課程修了. 同年日本電信電話株式会社入社. 2014 年より電気通信大学大学院情報システム学研究科教授. 博士 (工学)。言語処理学会, IEEE, 情報処理学会, 電子情報通信学会, 音響学会各会員.

新井紀子：1984 年イリノイ大学数学科卒業. 1990 年同大学院博士課程修了. 1994 年広島市立大学情報科学部助手. 2001 年国立情報学研究所情報基礎研究系助教授. 2006 年同情報社会相関系教授. 2008 年同社会共有知研究センター 長. 博士 (理学)，2010 年文部科学省科学技術分野の文部科学大臣表彰. 日本数学会, 人工知能学会, 情報処理学会各会員.

(2015 年 5 月 12 日受付)

(2015 年 8 月 4 日再受付)

(2015 年 9 月 12 日採録)