# 医療用語資源の語彙拡張と診療情報抽出への応用

東山 翔平 $\dagger, \dagger \dagger$ ・関 和広 $\dagger^{\dagger}$ ・上原 邦昭 $\dagger$
}

近年, 医療文書の電子化が進み, 大規模化する医療データから有用な情報を抽出・活用する技術が重要となっている．特に，診療記録中の症状名や診断名などの用語 を自動抽出する技術は, 症例検索などを実現する上で必要不可欠である。機械学習 に基づく用語抽出では, 辞書などの語彙資源の利用が訓練デー夕に含まれない用語 の認識に有効である。しかし, 診療記録では多様な構成語彙の組合せからなる複合語が使用されるため, 単純なマッチングに基づく辞書の利用では検出できない用語 が存在し, 語彙資源利用の効果は限定的となる。そこで，本稿では，語彙資源を有効活用した用語抽出を提案する。資源活用の 1 点目として, 資源中の用語に対して 語彙制限を行うことで，用語抽出に真に有用な語彙の獲得を行う． 2 点目として，資源から複合語の構成語彙である修飾語を獲得し, 元の語彙に加えて獲得した修飾語 を活用することで，テキスト中のより多くの用語を検出する拡張マッチングを行う．検出された用語の情報は機械学習の素性として用いる. NTCIR-10 MedNLP テスト コレクションを用いた抽出実験の結果，単純な語彙資源の利用時と比較して適合率 および再現率の向上を実現し, 本手法の有効性を確認した。また, 肯定・否定など のモダリティ属性の分類を含めた抽出では, 従来手法に対して, 本手法が最も高い 精度を実現した。

キーワード：医療言語処理, 用語抽出, NTCIR-10 MedNLP タスク
## Vocabulary Expansion of Medical Language Resources for Medical Information Extraction

\author{
Shohei Higashiyama ${ }^{\dagger, \dagger \dagger}$, Kazuhiro Seki ${ }^{\dagger \dagger}$ and Kuniaki Uehara ${ }^{\dagger}$
}

With the increasing number of medical documents written in an electronic format, automatic term extraction technologies from unstructured texts have become increasingly important. Particularly, the extraction of medical terms such as complaints and diagnoses from medical records is crucial because they serve as the basis for more application-oriented tasks, including medical case retrieval. For machine-learningbased term extraction, language resources such as lexica and corpora are effective for recognizing expressions that rarely or do not occur in training data. However, the use of lexica by simple word-matching approaches has limited effects because there are compound words that comprise various combinations of constituent terms in medical records. Therefore, this study presents term extraction systems that can exploit language resources by the acquisition and utilization of beneficial terms and

constituents from the resources. Our experimental results on the NTCIR-10 MedNLP test collection, which comprises medical history summaries, show increased precision and recall, indicating the effectiveness of the proposed system. Moreover, compared to existing systems developed for the NTCIR-10 MedNLP task, the proposed system achieved optimum performance for complaint and diagnosis recognition, including the classification of extracted terms into modality attributes.

Key Words: Medical NLP, Term extraction, NTCIR-10 MedNLP task

## 1 はじめに

近年, 電子カルテに代表されるように, 医療文書が電子的に保存されることが増加し, 構造化されていないテキスト形式の医療情報が増大している。大規模な医療データには有用な情報 が含まれ，新たな医学的知識の発見や, 類似症例の検索など, 医療従事者の意思決定や診療行為を支援するアプリケーションの実現が期待されている。これらの実現のためには，大量のテ キストを自動的に解析する自然言語処理技術の活用が欠かせない. 特に，テキスト中の重要な 語句や表現を自動的に認識する技術は, 固有表現抽出や用語抽出と呼ばれ, 情報検索や質問応答, 自動要約など, 自然言語処理の様々なタスクに応用する上で必要不可欠な基盤技術である.

用語抽出を実現する方法として，人手で作成した抽出ルールを用いる方法と，機械学習を用 いる方法がある，前者の方法では，新しく出現した用語に対応するために随時ルールの修正や 追加を行わなければならず，多大な人的コストがかかる。そのため, 近年では, データの性質 を自動的に学習することが可能な機械学習が用いられることが多くなっている.

機械学習に基づく用語抽出では, 抽出すべき語句の情報がアノテーションされた訓練データ を用いてモデルの学習を行い，学習したモデルを未知のデータに適用することで，新しいデー 夕から用語の抽出を行う，高精度な抽出を可能とするモデルを学習するには，十分な量の訓練 データがあることが望ましい，しかし，診療記録などの医療文書は，医師や患者の個人情報を 含むため, 医療機関の外部の人間が入手することは困難である。幸い, 近年は, 研究コミュニ ティでのデータ共有などを目的とした評価型ワークショップが開催されており (Uzuner, South, Shen, and DuVall 2011; Morita, Kano, Ohkuma, Miyabe, and Aramaki 2013), 匿名化などの処理が施された医療文書データが提供され，小規模なデータは入手可能になっている．とはいえ，依然として，学習に利用できる訓練データの量は限られることが多い.

他方，一般に公開されている医療用語辞書などの語彙資源は豊富にあり，英語の語彙資源で は, 生物医学や衛生分野の用語集, シソーラスなどを含む UMLS (Unified Medical Language System $)^{1}$, 日本語の語彙資源では, 広範な生命科学分野の領域の専門用語などからなるライフ
^{1}$ http://www.nlm.nih.gov/research/umls/
}

サイエンス辞書 ${ }^{2}$, 病名, 臨床検査, 看護用語などカテゴリごとの専門用語集を含む MEDIS 標準マスター 3 などが提供されている。辞書などの語彙資源を利用した素性（辞書素性）は，訓練 データに少数回しか出現しない用語や，まったく出現しない未知の用語を認識する際の手がか りとして有用であるため, 訓練データの量が少ない場合でも，こうした語彙資源を有効活用する ことで高精度な抽出を実現できる可能性がある。しかし, 既存の医療用語抽出研究に見られる 辞書素性は，テキスト中の語句に対して辞書中の用語と単純にマッチングを行うものに留まっ ている (Imaichi, Yanase, and Niwa 2013; Laquerre and Malon 2013; Miura, Ohkuma, Masuichi, Shinohara, Aramaki, and Ohe 2013). 診療記録では多様な構成語彙の組合せからなる複合語が 使用されるため，単純な検索ではマッチしない用語が存在し，辞書利用の効果は限定的である といえる。

本研究では，類似症例検索などを実現する上で重要となる症状名や診断名（症状・診断名）を 対象とした用語抽出を行う，その際，語彙資源から症状・診断名の構成要素となる語彙を獲得 し, 元のコーパスに併せて獲得した語彙を用いることで，より多くの用語にマッチした辞書素性 を生成する。そして，生成した辞書素性を機械学習に組み込むことで，語彙資源を有効活用した 抽出手法を実現する。また，提案手法の有効性を検証するために，病歴要約からなる NTCIR-10 MedNLP タスク (Morita et al. 2013)のテストコレクションを用いて評価実験を行う.

本稿の構成は以下の通りである。まず，2 章で医療用語を対象とした用語抽出の関連研究に ついて述べ, 3 章で本研究のベースとなる機械学習アルゴリズム linear-chain CRF に基づくシ ステムを説明する．4 章では, 語彙資源から症状・診断名の構成語彙を獲得する方法と, 獲得し た語彙を活用した症状・診断名抽出手法を説明する．5 章で MedNLP テストコレクションを用 いた評価実験について述べ，最後に，6章で本稿のまとめを述べる.

## 2 関連研究

テキスト中の特定の語句や表現を抽出する処理を固有表現抽出や用語抽出という。固有表現 は，主に人名・地名・組織名などの固有名詞や時間・年齢などの数値表現を指し，固有表現抽出では，これらの固有表現を抽出の対象とすることが多い。一方，用語抽出では特定の分野の 専門用語などを対象とする。しかし，対象とする語句を抽出するというタスク自体に違いはな いため, 本稿では, 特に両者を区別せず，抽出対象として指定される語句を固有表現と呼ぶ.

## 2.1 医療用語抽出研究

日本語の医療文書を対象に医療用語の抽出や探索を行った研究として, (井上, 永井, 中村,

野村, 大貝 2001 ; 木浪, 池田, 村田, 高山, 武田 2008; 上杉 2007) がある. 井上ら (井上 他 2001) は，文章の記述形式に定型性のある医療論文抄録を対象に，パターンマッチングに基づく方法 を用いて, 病名（「論文が取り扱っている主病名」）や診療対象症例（「診断，治療の対象とした 患者, 症例」）などの事実情報を抽出した，たとえば，病名は「〜症」「〜炎」「〜腫」などの接尾辞の字種的特徴を手がかりに用い, 診療対象症例に対しては, 「対象は〜」「〜を対象とし」のよ うな対象症例と共起しやすい文字列を手がかりに用いて抽出している. なお, 井上らの報告に よると, 論文抄録中に含まれる病名や診療対象症例の出現回数は平均 1 回強である. アノテー ションを行った医療論文抄録を用いた抽出実験では，病名や診療対象症例に関して， $90 \%$ 前後 の適合率, $80 \%$ から $100 \%$ 近い再現率という高い精度を得ている. しかし, 本稿で対象とする病歴要約では論文抄録と出現の傾向が異なり, 同一文書中に様々な病名が出現することが多いた め，井上らのパターンマッチングに基づく手法では抽出精度に限界があると考えられる．

木浪ら (木浪 他 2008) は, 専門用語による研究情報検索への応用を目的として, 再現率の向上 を優先した看護学用語の抽出手法を提案した. 抽出対象とされた専門用語は, 解剖学用語 (「血小板」,「破骨細胞」など）や看護行為（「止血」,「酸素吸入」など）を含み, 本稿で対象とする 症状・診断名よりも広い領域の用語である。特定の品詞を持つ語が連続した場合にそれらの語 を連接して抽出するなど, 連接ルールに基づくシステムにより専門用語を抽出した. システム による抽出を行うフェーズと, 抽出されなかった用語や誤って抽出された用語を人手で分析し てルールの修正・追加を行うフェーズを繰り返し, 再現率が向上し, 再現率が低下しない範囲 で適合率が向上するようなルール集合を導出している，実験では，専門家によるアノテーショ ンを行った看護学文献を用いて評価し, 再現率約 $80 \%$ という抽出結果を得ている. この手法で は, 適用する専門用語の領域が異なる場合, 再び導出手順を踏んでルールを導出し直す必要が ある. しかし, 抽出ルール修正の過程が人手による判断に依存しており, 再度ルールを導出す る際の人的コストが大きい。また, 適合率が約 $40 \%$ と低く, 適合率を改善するにはルール導出 の基準自体も修正する必要が生じる.

上杉 (上杉 2007) は, 医療用語抽出の前処理として, 医療辞書なしで医療コーパス中の用語間 の分割位置を探索する研究を行った. 文字列 X, Yの出現確率に対し，XYが同時に出現する確率が十分に低ければ $\mathrm{X} ， \mathrm{Y}$ 間を分割できるとの考えに基づき，コーパスから求めた文字列の出現確率と相互情報量を使用して分割位置を決定している。症例報告論文を用いた実験では，約 740 語に対して $60 \%$ の分割精度4であり, 分割に成功した事例の中には, 複合語が 1 語と認識さ れる場合と複合語の内部でさらに分割される場合がほぼ同等の割合で存在した. 残りの $40 \%$ に は, 助詞が付加される, 英字やカタカナ列の途中で分割されるなどの誤りがあるため, 自然言語

文に対する分割精度として十分であるとはいえない。なお，医療用語抽出に応用するには，分割された各単語が医療用語か否かを判定する基準が別途必要となる.

## 2.2 医療言語処理ワークショップと NTCIR-10 MedNLP

近年, 医療文書を対象とした共通タスクを設定し, 研究コミュニティでのデータ共有や, デー 夕処理技術の向上を目的とする参加型ワークショップが開催されている．英語の医療文書を処理の対象としたタスクとしては， 2011 年および 2012 年に NIST が主催する TREC において Medical Records track が設定され，2006 年および 2008 年から 2012 年に渡ってi2b2 NLP チャ レンジが開催された. i2b2 NLP チャレンジでは, 診療記録からの情報抽出技術の評価を目的と した共通タスクが実施され, 匿名化のための個人情報 (Uzuner, Luo, and Szolovits 2007), 患者 の喫煙状態 (Uzuner, Goldstein, Luo, and Kohane 2008), 医薬品の使用状況 (Uzuner, Solti, and Cadag 2010) や医療上のコンセプト (Uzuner et al. 2011)の抽出が行われた. また, 日本語の医療文書を使用したタスクとして，2013 年には NII が主催する NTCIR において MedNLP タスク (Morita et al. 2013) が設定され, 患者の個人情報や診療情報を対象に情報抽出技術の評価が行 われた。

NTCIR-10 MedNLP タスクでは, 医師により書かれた架空の患者の病歴要約からなる日本語 のデータセット（MedNLPテストコレクション）が使用された。データから患者の年齢, 日時 などの個人情報を抽出する「匿名化タスク」と, 患者の症状や医師の診断などの診療情報（症状・診断名）を抽出する「症状と診断タスク」などが設定された。，症状・診断名には，症状の罹患の肯定, 否定などを表すモダリティ属性が定義されており，モダリティ属性の分類もタスクの 一部となっている。なお, 両方のタスクとも, それぞれ個人情報, 診療情報を固有表現とした固有表現抽出とみなせる，夕スク参加者のシステムは，ルールに基づく手法よりも機械学習に基 づく手法が多く, 特に, 学習アルゴリズムとして CRF (Conditional Random Fields) (Lafferty, McCallum, and Pereira 2001) の代表的なモデルである linear-chain CRF を用いたシステムが高 い性能を発揮した。また, 成績上位のシステムでは, 文中の各単語が辞書中の語とマッチした か否を表す情報（辞書素性）が共通して用いられており，語彙資源の利用が精度向上に寄与し たことがわかる。一方, 匿名化タスクではルールに基づく手法も有効であり, 最高性能を達成 したのはルールベースのシステムであった.

Miura ら (Miura et al. 2013) は，固有表現抽出タスクを文字単位の系列ラベリング5として定式化して linear-chain CRF を適用し, 症状と診断タスクで最も高い精度を達成した. 固有表現 の抽出を行った後, 抽出した固有表現のモダリティ属性を決定するという 2 段階の方法を使用

している。 MEDIS 標準マスターおよび ICH 国際医薬用語集 6 を語彙資源に用いて辞書素性を 与えている.

Laquerre ら (Laquerre and Malon 2013), Imaichi ら (Imaichi et al. 2013) は, ともに単語単位 の系列ラベリングとして linear-chain CRF を適用し, 症状と診断タスクでそれぞれ 2 番目, 3 番目の精度を達成している. Laquerre らは，ライフサイエンス辞書と UMLS Metathesaurus を利用し, 辞書素性を導入している。また, 事前知識に基づくヒユーリスティック素性として,「な い」「疑い」などモダリティ属性判別の手がかりとなる表現を素性としている. Imaichi らは, Wikipedia から収集した病名, 器官名などの用語集に基づく辞書素性を導入している.

## 3 Linear-chain CRF に基づく症状・診断名抽出システム

本章では, 症状・診断名の抽出のためにベースとするシステムを説明する. 本研究では, 用語抽出の処理を症状・診断名からなる固有表現を抽出する夕スクとみなし, 系列ラベリングとし て定式化する。また, 固有表現の抽出は, 機械学習アルゴリズム linear-chain CRF を用いて行 う (以降, 本研究で用いた linear-chain CRF を指す場合, 単に CRF と呼ぶ). さらに, CRFで 抽出を行った出力に, 人手で作成したルールを用いて抽出誤り訂正の後処理を行うことで，よ り誤りの少ない抽出を実現する。

## 3.1 MedNLP「症状と診断タスク」の定義

NTCIR-10 MedNLP (Medical Natural Language Processing) タスク (Morita et al. 2013)は,医療分野における情報抽出技術の評価を目的として実施されたタスクである．診療記録から症状・診断名を抽出する「症状と診断タスク」を含む 3 つのサブタスクが定義された。本研究で は，MedNLP タスクで使用されたデータセット（MedNLP テストコレクション）を使用し, 症状と診断タスクと同様の設定で症状・診断名の抽出を行う. 以下, MedNLP テストコレクショ ンおよび症状と診断タスクについてそれぞれ説明する.

## MedNLP テストコレクション

MedNLP テストコレクションは, 医師により書かれた架空の患者の病歴要約 50 文書からな るデータセットであり， 2 対 1 の比率で訓練データとテストデータに分割されている。同テス トコレクションには，患者の個人情報および診療情報がアノテーションされている，個人情報 は患者の名前, 年齢, 性別と, 日時, 地名, 医療機関名からなり, 診療情報は患者の症状や医師の診断（症状・診断名）を指す。このうち, 症状と診断タスクで対象とされたのは後者の診

療情報である.

症状・診断名には，医師の認識の程度などを表すモダリティ属性が定義されており，それぞ れ症状の罹患の肯定, 否定, 推量（可能性の存在）を表す positive, negation, suspicion に加え,症状が患者の家族の病歴として記述されていることを表す familyの 4 種類からなる.

suspicion, family である症状・診断名であるとして, 各モダリティ属性が付与された症状・診断名の例を示す.

(a) $\lceil<\mathrm{n}>$ 糖尿病 $</ \mathrm{n}>$ は 認めず」

(b) $\lceil<n>$ 関節症状</n>は改善した」

(c) $\lceil<s>$ 神経疾患 $</ s>0$ 疑いにて」

(d) 「<s>味覚異常</s>の可能性を考え」

(e) 「<n>胆囊炎</n>を疑わせる所見を認めず」

(f) 「母親； $<\mathrm{f}>$ 気管支喘息</f>」

(g) 「父 : $\langle f>$ 狭心症 $</ f>$ 、<f>心筋梗塞</f>」

(h) 「娘 3 人は鼻粘膜の<f>易出血性</f>があり」

negation, suspicion 属性については, (a)～(d) に示すように, 症状・診断名の係り先の文節が特定の表現を含む場合に，その表現に対応するモダリティ属性となることが多い．ただし，(e)の ように，直接の係り先が suspicion を示す表現を含んでいても，後方に否定表現が現れることに より negationとなることがある. family 属性の症状・診断名は， (f), (g)のように，続柄名の 後に症状・診断名を列挙する形で記述された場合が該当する他, (h)のように, 文全体の主語が 続柄である場合も該当する。なお, positive 属性は, negation, suspicionおよび familyであるこ とを示す表現と共起しない症状・診断名に対して付与される属性とみなせる。

表 1 に，訓練データにおける各モダリティ属性の出現回数（“\#”の列）を示す. 出現回数はモ ダリティ属性の種類により偏りがあり, positive が 7 割程度を占めているのに対し, suspicion, familyは非常に少数となっている.

表 1 訓練データにおけるモダリティ属性の分布

## 症状と診断タスク

症状と診断タスクは, テストコレクションから, 患者に関連する症状・診断名 7 を抽出し, モダ リティ属性を決定するタスクとして定義された。評価は，訓練データを用いて開発されたシス テムに対して, テストデータでの抽出性能を測ることで行われ, 評価尺度として, $F$ 值 $(\beta=1)$ が使用された。 $F$ 値は, 適合率 (Precision) と再現率 (Recall) の調和平均であり, 次式で定義さ れる。

$
\frac{2 \cdot \text { Presicion } \cdot \text { Recall }}{\text { Precision }+ \text { Recall }}
$

また，評価方法として， モダリティ属性の分類を考慮する評価と，考慮しない評価の 2 通りの 方法で評価が行われた. 前者の方法では, 抽出された固有表現が正しい属性に分類されないと 正解とならないのに対して, 後者の方法は, 属性が誤っていても, 抽出された固有表現の範囲 がアノテーションされた正解情報と一致していれば正解とみなされる.

## 3.2 固有表現抽出タスクの定式化

本研究では, 各モダリティ属性が付与された症状・診断名を異なるカテゴリの固有表現とみな して固有表現抽出を行うことで, 症状・診断名の抽出範囲およびモダリティ属性の決定を行う.固有表現抽出は, 入力文中の固有表現部分を同定する夕スクであり, 系列ラベリングとして定式化されることが多い. 系列ラベリングとは, 入力系列に対してラベルの系列を出力する問題 である．固有表現抽出では，トークンの系列である文を入力として，トークンごとに固有表現 の種類等を表すラベルを推定し，それらラベルの列を出力する．本研究では，形態素をトーク ンとする系列ラベリングとして固有表現抽出の定式化を行う.

定式化の際には, 同一の固有表現（チャンク）中の位置を表すためのチャンキング方式とし て, IOB2 フォーマット (Sang and Veenstra 1999)を使用した. IOB2では, タグはB (Begin), I (Inside), O (Outside)の 3 種類があり, それぞれチャンクの先頭, チャンクの先頭を除く内部, チャンクの外側を表す。なお, 複数のカテゴリの固有表現が存在する場合, B, I はカテゴリ名 と併せて使用される。たとえば，「嘔吐／B-c_pos 出現／I-c_pos した／O」のようにラべルを 付与することで,「嘔吐出現」が c_pos（肯定のモダリティ属性を持つ症状・診断名）というカテ ゴリの固有表現であることを表す。なお, 入力文の形態素解析には, linear-chain CRF に基づ く日本語形態素解析器である MeCab (Kudo, Yamamoto, and Matsumoto 2004) (Ver. 0.996) お よびIPADIC (Ver. 2.7.0)を用いた.

## $3.3 \mathrm{CRF$ による分類}

本システムでは，機械学習アルゴリズムとして linear-chain CRF を用いた. linear-chain CRF は，分類アルゴリズムである最大エントロピー法を出力が構造を有する問題（構造学習）に拡張したモデルである。品詞タギング (Lafferty et al. 2001), 基本名詞句同定 (Sha and Pereira 2003), 形態素解析 (Kudo et al. 2004) など, 構造学習, 特に, 系列ラベリングとして定式化で きる自然言語処理の様々な問題に適用され，高い性能が報告されている。また, 固有表現抽出 の研究においても広く使用され (McCallum and Wei 2003; Jiang, Chen, Liu, Rosenbloom, Mani, Denny, and Xu 2011), NTCIR-10 MedNLP タスクでも最もよく用いられた (Imaichi et al. 2013; Laquerre and Malon 2013; Miura et al. 2013).

linear-chain CRF の実装としては，C++ で記述されたオープンソースソフトウェアである $\mathrm{CRF}++{ }^{8}$ (Ver. 0.58) を利用した. CRF++は，準ニュートン法の一種である L-BFGS (Limitedmemory BFGS) を使用して数值最適化を行っており, 省メモリで高速な学習を実現している. また，素性テンプレートという素性の記述形式が定義されており，テンプレートを利用するこ とで多様な素性を容易に学習に組み込むことができるという特長がある.

$\mathrm{CRF}++$ の素性テンプレートでは, 出力ラベル系列についての unigram 素性および bigram 素性が利用可能である，出力ラベル unigram 素性は, 入力系列についての任意の情報（系列中の 特定のトークンの形態素自体や品詞など）と現在のトークンのラベルの組からなる素性を指し,出力ラベル bigram 素性は，入力系列の任意の情報，現在のトークンのラベルおよび 1 つ前の トークンのラベルの三つ組からなる素性を指す. 本研究では, すべての素性に対して出力ラべ ル unigram 素性および bigram 素性の両方を使用することとした。たとえば，品詞素性を -2 か ら 2 までのウィンドウで用いると述べた場合, 注目するトークンの 2 つ前方から 2 つ後方に位置するトークンの品詞について, それぞれで出力ラベル unigram 素性および bigram 素性を使用することを意味する。

なお，指定した値未満の出現回数である素性を学習に使用しないことを意味する素性のカッ トオフの閥値は 1 とし, 訓練データに出現したすべての素性を使用することにした。また, 正則化には $L 2$ 正則化を用いた。

## 3.4 抽出に用いる素性

本システムでは, 症状・診断名抽出のための素性として, 「形態素」,「形態素基本形」,「品詞」,「品詞細分類」,「字種」,「辞書マッチング情報」,「モダリティ表現」の 7 種類の情報を用いた.注目するトークンを起点にどこまでの範囲のトークンの情報を素性に用いるかを表すウィンド ウサイズについては，モダリティ素性を除き，5 章で述べる実験により最適な値を決定する。モ

ダリティ素性のウィンドウサイズについては後述する.

## 形態素, 基本形, 品詞, 品詞細分類素性

形態素素性はトークン自体であり，基本形，品詞，品詞細分類素性は，それぞれ各形態素の 基本形, 品詞, 品詞細分類である. たとえば，「言っ」の基本形は「言う」，「速く」の基本形は 「速い」となる. 品詞は, 名詞, 動詞, 形容詞, 接続詞など 10 数種類存在し, 品詞細分類は, 名詞であれば「固有名詞」,「形容動詞語幹」などがある. これら四つの素性には, 形態素解析器 $\mathrm{MeCab}$ の出力を利用した ${ }^{9}$. なお, MeCabではデフォルトの辞書として IPADIC が採用されて おり, IPADICで使用されている品詞および品詞細分類は, IPA 品詞体系として定義されている.

## 字種素性

字種素性は，トークンを構成する文字の字種パターンを表す。本研究では, ひらがな, カ夕 カナ, 漢字, 英大文字, 英小文字, ギリシャ文字, 数値, 記号とこれらの組合せからなる字種 パターンを定義した，たとえば，「レントゲン」は「カタカナ」，「考え」は「ひらがな＋漢字」, $\lceil M R I 」$ I英大文字」が字種パターンとなる，なお，「ひらがな＋漢字」では，1つのトー クン中にひらがなと漢字が出現していればこのパターンに相当するものとし, 各文字の出現順 は無視した. 複数字種の組合せからなるパターンの扱いは, 他のパターンについても同様であ る.

## 辞書素性

辞書素性は，専門用語辞書など外部の語彙資源を利用した素性であり，入力文中の形態素列 が辞書中の語句と一致したか否かという情報を表す。本研究では, 症状・診断名の抽出のため に病名等の用語から構成される辞書を使用し, 入力文中のトークン列で, 辞書中の語句とマッ チした部分にIOB2 フォーマットに基づくタグを付与した. たとえば，「腎機能障害」という語句が辞書中に含まれる場合，「腎／機能／障害／の／増悪」と分割された形態素列に対して「B ／I／I／O／O」というタグが付与される。なお, 辞書マッチは文字数についての最左最長一致で判定し, マッチした範囲の境界が形態素の内部にある場合, マッチ範囲に完全に包含さ れる形態素に対してのみタグを付与した。

## モダリティ素性

モダリティ素性は, 症状・診断名のモダリティ属性を示す表現（モダリティ表現）を捉えるため の素性である。モダリティ表現の具体例として，先行する症状・診断名のモダリティが negation であることを示す「〜なし」や「〜を認めず」, 同様に suspicion であることを示す「〜疑い」や 「〜を考え」などがある。また，「母」「息子」など続柄を表す表現は，共起する症状・診断名の モダリティ属性が family であることを示すモダリティ表現であるといえる.

本素性では, negation, suspicion および family 属性を対象に，モダリティ属性推定の手がか りとなる表現を正規表現で記述し, 文中の各トークンについて, 最左最長一致で正規表現とマッ チした範囲の端に位置するトークンまでの距離（形態素数）と，マッチした表現が表すモダリ ティ属性を示すタグを付与した. なお, positive 属性は, negation, suspicion および family であ ることを示す表現と共起しない症状・診断名に対して付与される属性とみなせるため, これら のモダリティ表現が周辺に存在しないことが positive 属性と推定するための手がかりとなる.

例として, negationのモダリティ表現を捉える正規表現の 1 つとして次の (a)を使用してい $る^{10}$.

この正規表現を用いると，「運動／麻痺／は／み／られ／ず」という入力に対して「はみられ ず」という部分がマッチし, マッチした範囲の先頭トークン「は」までの距離は,「麻痺」で 1 ,「運動」で 2 となる. negation と suspicionのモダリティ表現は症状・診断名の右側に出現する ため，モダリティ表現が右側に出現しているトークンにのみ，出現を示すタグを付与した．反対に, familyの表現は「母：脳梗塞」のように左側に出現するため, モダリティ表現が左側に 出現しているトークンにのみタグを付与した.

なお, negationの正規表現は上述の（a）を含む 4 件, suspicionの正規表現は以下の (b)を含む 2 件, familyの正規表現は以下の (c) 1 件を使用した ${ }^{11}$.モダリティ素性として使用した正規表現の全リストは付録 Aに記載する.

(b) の?(疑い|うたがい)

(c) [祖伯叔]?[父母](?) 親?|お [じば]|[兄弟姉妹娘]| 息子 |従 (兄弟 | 姉妹)

また，過学習を抑制する目的で，モダリティ属性ごとに距離のグループ化を行った. negation と suspicion では, 距離 1 2 (近くに出現), 3〜4 (やや近くに出現), 5〜8 (やや遠くに出現), 9〜 12 (遠くに出現) の 4 通りの距離を考慮し, familyでは $-\infty \sim-13,-12 \sim-9,-8 \sim-5,-4 \sim-1$ の 4 通りとした。なお, 距離は, 注目するトークンの右側にモダリティ表現が出現している場合
 X_{2} \ldots X_{N}\right]$ ” は $X_{1}, X_{2}, \ldots, X_{N}$ のいずれかとの一致, “()” はパ夕ーンの グループ化, “?”は直前のパターンの 0 または 1 回の出現を表す.

11 “[父母]” に後続する“(?)”というパターンは, 医療用語である「母指」や「母趾」とのマッチを防ぐために 用いた。
}

に正数, 左側に出現している場合に負数で表しており, 距離の絶対値は, 注目するトークンから 同一文中の任意のモダリティ表現（正規表現とマッチしたトークン列）内の最も近いトークン

のモダリティ素性の定義に基づくと，前述の例に対しては，「運動」および「麻痺」に“neg1_2”, それ以外のトークンにモダリティ表現の非出現を表すタグ“O”が付与される。

なお，モダリティ素性として付与したタグは，注目しているトークンの夕グのみ学習・推定に 用いた（つまり，ウィンドウサイズを 1 とした），トークンに付与される素性タグにより，トー クンの周辺文脈の情報が表現されており，実質的に 12 以上先のトークンまで考慮していること になる。

## 3.5 抽出誤り訂正のための後処理ルール

著者らは，NTCIR-10 MedNLP タスクに参加し，構造化パーセプトロン (Collins 2002)およ び linear-chain CRF に基づく固有表現抽出システムを開発してきた (Higashiyama, Seki, and Uehara 2013a, 2013b). 開発したシステムについてエラー分析を行ったところ，観測された誤 りの中で，モダリティ属性の分類誤りが大きな割合を占めることがわかった。この種の誤りは 単純なルールで修正できるため，モダリティ属性の分類誤りに焦点を当て，誤り訂正のための ルールを作成することにした。観測されたモダリティ属性分類誤りは，さらに次の 2 通りに大別できたため，それぞれの誤りに対応する訂正ルールとして，2 つのルールを作成した.
- 固有表現の周辺に（非 positive 属性の）モダリティ表現が存在し，かつ推定された属性 が同表現が表す属性と異なっている（主に positive となっている）誤り
- 固有表現の周辺にモダリティ表現が存在せず，かつ推定された属性が positive 以外となっ ている誤り

作成した 2 つのルールを以下に示す。“ [] ”の外側（左側）に negation および suspicion 属性に対する条件，“［］”の内側に family 属性に対する条件を記述した．正しい推定に対して修正ルールを適用してしまうことを防ぐため, 後述する $d_{1}$ および $d_{2}$ の值は, $d_{1}=2, d_{2}=8$ とし て, ルールの適用基準を厳しく設定した。ただし，family 属性のモダリティ表現が出現する文中の症状・診断名が患者の家族に対する言及でないというケースは極めて少ないとの考えの下， family に対する距離は $d_{1}=d_{2}=\infty$, つまり, 該当位置から到達可能な同一文内の最大トーク ン数とした。

## モダリティ属性分類誤り修正のためのルール

（1）固有表現 $e$ の末尾 [先頭］のトークンから右 [左］方向に距離（トークン数） $d_{1}$ 以内に （非 positive 属性の）モダリティ表現 $m$ が存在する場合， $e$ の推定ラベルのモダリティ属性を表現 $m$ が表す属性 $a$ に更新する.
* 距離 $d_{1}$ 以内に複数のモダリティ表現が存在する場合は, family, negation, suspicion の順に優先する.

(2) 固有表現 $e$ の末尾 [先頭 $]$ のトークンから右 [左 $]$ 方向に距離 $d_{2}$ 以内にモダリティ表現 が存在しない場合，推定ラベルの属性を positive に更新する。

なお，上記のルールを導入することは，固有表現 $e$ から $e$ の最も近くのモダリティ表現まで の距離 $d$ を，(a) 近い $\left(d \leq d_{1}\right)$, (b) 中程度の距離である $\left(d_{1}<d \leq d_{2}\right)$, (c) 遠い，あるいはモ ダリティ表現が存在しない $\left(d>d_{2}\right)$ の 3 通りに分け, 距離 $d$ に応じてモダリティ属性決定の挙動を変えていることに対応する。ルールが適用される (a) および (c)のの条件下では, CRF で推定されたモダリティ属性をルールで上書きしているため，ルールによりモダリティ属性を決定 しているのと等価である。一方, 固有表現から中程度の距離までの範囲内にモダリティ表現が 存在する (b)の場合には, CRFによる推定結果をそのまま採用し， モダリティ属性の決定を学習の結果に委ねた。

## 4 医療用語資源の語彙拡張と症状・診断名抽出への利用

用語抽出への語彙資源の利用は，訓練データに少数回しか出現しない用語やまったく出現し ない用語の認識に有効であり, 医療用語辞書などの語彙資源を用いた医療用語抽出研究が行わ れている (Imaichi et al. 2013; Laquerre and Malon 2013; Miura et al. 2013). しかし, 診療記録 では症状・診断名として多様な複合語が使用されるため, テキスト中の語句に対して辞書中の 用語と単純にマッチングを行うだけではマッチしない複合語が存在し, 辞書利用の効果は限定的となる。そこで, 本章では, 語彙資源中の複合語から構成語彙を獲得する方法と, 構成語彙 を組み合わせてより多くの複合語にマッチする拡張マッチングの方法を述べ，これらの方法に 基づく語彙資源を活用した症状・診断名の抽出手法を提案する.

## 4.1 基本的な考え：医療用語の構成語彙への分解

症状・診断名は, 複数の医療用語から構成される複合語であることが多い. たとえば, 「水痘肺炎」という用語は「水痘」と「肺炎」から構成され，「甲状腺出血」は「甲状腺」と「出血」 から構成される。診療記録では, 多様な構成語彙を組み合わせた複合語が用いられる一方で,実際に用いられる複合語の中には辞書中には含まれないものも多い. 例として,「水痘感染」と 「甲状腺腫大」は，診療記録コーパス MedNLP テストコレクション中で用いられ，医療用語辞書 MEDIS 病名マスター中に存在しなかった症状・診断名である。ただし，上述の用語の各構成語彙に注目すると, 「水痘」,「感染」,「甲状腺」,「腫大」を構成語彙として含む用語は同辞書中に多数存在した（表 2）。

したがって, 症状・診断名の抽出に, 既存の辞書中に含まれる用語をそのまま用いて対応す
表 2 複合語「水痘感染」,「甲状腺腫大」の構成語彙と, MEDIS 病名マスターにおける各構成語彙から なる複合語数

るには限界があるといえる。また, 症状・診断名としてありうる構成語彙の組合せは膨大な数 に上ると考えられ，それらを網羅的に含むような辞書を構築することも現実的ではない。一方 で，症状・診断名の構成語彙となる語の多くは，辞書中の用語の部分文字列として辞書に含ま れている可能性が高い.

そこで, 本研究では, 既存の医療用語資源から症状・診断名の構成語彙となる語句を獲得し,得られた構成語彙を組み合わせた柔軟なマッチング方法「拡張マッチング」に基づく症状・診断名の抽出手法を提案する。なお, マッチした結果は, 機械学習の素性（辞書素性）として用 いる。語彙資源を活用した拡張マッチングによって, 辞書素性タグが付与される語句が増加し,元の辞書に含まれない語彙にも対応した抽出が可能になると考えられる.

## 4.2 主要語辞書と修飾語辞書に基づく拡張マッチング

症状・診断名の構成語彙の獲得にあたり, 構成語彙には, 単独で症状・診断名として用いら れる「主要語」と, 主要語と隣接して現れたときにのみ症状・診断名の一部となる「修飾語」の 2 種類が存在すると仮定する． 4.1 節で述べた例では, 「水痘」, 「感染」,「腫大」が主要語に相当し, 「甲状腺」が修飾語となる.「水痘感染」や「甲状腺腫大」のように, 構成語彙に分解さ れる前の元の用語自体も主要語とみなす. 主要語と修飾語の具体的な獲得方法は次節以降で後述することにし，本節では，主要語辞書と修飾語辞書の 2 種類の辞書を用いた症状・診断名の マッチング方法「拡張マッチング」を説明する.

以下，「消化管覀性腫瘍の…」という入力文が与えられた場合を例に，拡張マッチングの手順を述べる。主要語辞書には「消化管障害」，「腫瘍」，「悪性腫瘍」が含まれ，修飾語辞書には 「消化管」,「悪性」が含まれているものとする.

## 拡張マッチングの処理

入力文を文字の列とみなし, 主要語辞書中にマッチする文字列がないか検索する処理を先頭 の文字から末尾の文字まで繰り返し行う. 例の入力文に対しては, 次のようにマッチング範囲 の探索が行われる.

図 1 入力文「消化管覀性腫瘍の…」に対する拡張マッチングの処理

（1）入力文 1 文字目の「消」を読み込み，主要語辞書の検索を行う（図 1, a1）「消化管悪」 まで検索した時点で主要語が存在しないことが判明するため (a2), 主要語検索を終了し て2文字目以降について検索を続ける。
* 2 文字目「化」および 3 文字目「管」の検索においてマッチする主要語はない.

（2）４文字目の「悪」を読み込み，主要語辞書の検索を行う（b1），検索した結果，「悪性腫瘍」 が主要語辞書とマッチする (b2).

（3）続いて，マッチした範囲「悪性腫瘍」の左右両側について, 修飾語辞書中にマッチする 文字列がないか検索する，検索した結果，元の範囲の左側の「消化管」が修飾語辞書と マッチする (b3).

（4）マッチした範囲を「消化管覀性腫瘍」に拡張し, 引き続き, 拡張された範囲のさらに左側 について, 修飾語辞書を検索する。しかし, これ以上マッチする語はないため, 「消化管墨性腫瘍」をマッチした範囲として記憶し, 入力文 5 文字目以降について検索を続ける。
* 5 文字目「性」の検索においてマッチする主要語はない.

（5）６文字目の「腫」を読み込み (c1), 同様の処理を行った結果, 主要語辞書で「腫瘍」(c2) , 修飾語辞書で「悪性」および「消化管」がマッチし (c3, c4),「消化管悪性腫瘍」をマッ チした範囲として記憶する. 入力文 7 文字目以降の文字についても同様に検索を続ける.
* 7 文字目以降の検索においてマッチする主要語はなかったものとし, 入力文に対 する検索の処理を終了する。

上述の辞書探索処理の結果, 例では「消化管悪性腫瘍」がマッチした範囲として（二重に）得 られる。複数のマッチング範囲が得られ, 得られた範囲間に重なりがある場合は, 範囲内の文字数が最も多いものを残し, 残りを破棄する. 例では, 得られた 2 つの範囲が同一であるため,残される範囲も元の範囲と同じものとなる.
以上が拡張マッチングの処理である。最終的に得られたマッチング範囲には辞書素性タグを 付与し，機械学習の素性として利用する。

## 4.3 主要語辞書の利用と語彙制限

本研究では, 主要語辞書として, MEDIS 病名マスター (Ver. 3.11) と, MedNLP テストコレ クション (Morita et al. 2013)の訓練データを利用する. MEDIS 病名マスター（ICD10 対応標準病名マスター）は，一般財団法人医療情報システム開発センターにより提供されている病名辞書である。病態毎に選ばれた代表病名を表す「病名表記」に加え, 病名表記の読み, ICD10 コードなどから構成され, 本研究で利用したVer. 3.11 では, 24,292 語が収載されている. 同辞書に含まれる病名表記を抽出し, 主要語辞書として用いる. MedNLP テストコレクションは, NTCIR-10 MedNLP タスクで提供された模擬患者の病歴要約からなるコーパスである。同コー パスの訓練データからアノテーションされた症状・診断名部分を抽出し, 主要語辞書 MedNE (延べ語数 1,922 , 異なり語数 1,068 ) として用いる.

ただし, 主要語辞書をそのまま用いると, 一部の語が用語抽出の学習に悪影響を与える場合 がある，たとえば，細菌性皮䖒感染症の一種である「よう」(癱) は，「〜するようになった」な どの表現にマッチしてしまう．また，「喫煙歴」という表現に含まれる「喫煙」は，必ずしも患者の喫煙を表す言及ではないため症状・診断名に該当しない. このように, 症状・診断名と無関係の表現とマッチする用語や, 高頻度で非症状・診断名としても使用される用語を辞書が含 んでいる場合，学習を阻害する要因となる。そこで，MedNLP 訓練データを使用し，高い割合 で症状・診断名とマッチする用語を取得する処理を行う，以下，各主要語辞書に対する語彙制限の方法を述べる。なお, 後述の閥値 $n_{\text {out }}, r_{\text {out }}, n_{\text {in }}$ および $r_{\mathrm{in}}$ は, 5 章で述べる実験により決定する。

## MEDIS 病名マスターの語彙制限

辞書に含まれる各用語について, MedNLP 訓練データ中で固有表現範囲（症状・診断名とし てアノテーションされた範囲）の内部および外部に出現した回数をそれぞれカウントし，次の 2 つの基準を満たす用語を主要語として許容する.
- 固有表現範囲の外部における出現回数が $n_{\text {out }}$ 未満である.
- 訓練データ中に 1 回以上出現している場合は, 固有表現範囲の内部と外部の両方の出現 に対し，外部に出現した割合が $r_{\text {out }}$ 未満である.

## MedNE の語彙制限

辞書に含まれる各用語について, MedNLP 訓練データ中で固有表現範囲の内部および外部に 出現した回数をそれぞれカウントし，次の 2 つの基準を満たす用語を主要語として許容する.
- 固有表現範囲の内部における出現回数が $n_{\text {in }}$ 以上である.
- 固有表現範囲の内部と外部の両方の出現に対し, 内部に出現した割合が $r_{\text {in }}$ 以上である.

## 4.4 医療用語資源からの修飾語の獲得

4.1 節で述べたように，主要語に含まれる部分文字列の中には有用な修飾語が多く含まれると いう考えに基づき, 主要語から部分文字列を切り出すことで修飾語を獲得する. 修飾語の獲得 には，主要語の取得と同様に MEDIS 病名マスターと MedNE を用いる。なお，MEDIS 病名マ スターの関連リソースとして提供されている「修飾語テーブル」は, 本研究では使用しない.

修飾語は，主要語辞書でマッチした範囲を拡張する際にのみ用いるため, 意味をなさない非語が含まれていても，実際にテキスト中で主要語と隣接して現れなければ学習・抽出に影響を 与えない，たたし， MEDIS 病名マスターには動詞や助詞，記号などを含む用語（「1 型糖尿病・関節合併症あり」,「アヘン類使用による急性精神・行動障害」など）が存在するため, 切り出 された部分文字列が助詞などの表現を含んでいると, 症状・診断名でない範囲にまで拡張して しまう可能性がある.

そこで，部分文字列を切り出すことにより機械的に修飾語候補を抽出した後, 意味をなさな いと考えられる候補と, 過大な拡張を行う可能性のある有害な候補を除去するという手順によ り修飾語の獲得を行う。なお, 有害な候補の除去には, 主にひらがなから構成される語 40 語程度の「ひらがな表現」リストを作成し, 使用した。同リストは, 助詞 (「が」や「より」), 接続詞 (「または」や「かつ」), 動詞・助動詞の組合せ（「ならない」）などひらがなのみから構成さ れる表現の他，一部，「著しい」など漢字を構成要素に持つ表現も含む.「ひらがな表現」の全 リストは付録 B に記載する。

## 修飾語獲得の手順

修飾語取得の対象とする用語集合 $T$ から修飾語集合 $S$ を生成する手順を以下に示す. 切り出 す部分文字列の最小の長さは 2 で固定し, 修飾語として許容する部分文字列の最小出現回数を $f_{\min }$ とした， $f_{\min }$ の値は, 主要語の語彙制限と同様に， 5 章で述べる実験により決定する.

(1) 修飾語候補の抽出

(a) 各用語 $t \in T$ について, $t$ の先頭および末尾から, 長さ 2 から $t$ の文字列長までの 部分文字列を切り出す. 切り出した部分文字列は, 修飾語候補集合 $S_{\text {cand }}$ に追加 する.

＊たとえば, $t=$ “医療用語”の場合, “医療”, “医療用”, “医療用語”, “用語”, “療用語”が切り出される。

（b）各修飾語候補 $s \in S_{\text {cand }}$ について， $s$ を部分文字列として含む $T$ の用語全体の集合 を求める.これを， $s$ の出現元集合 $\operatorname{Parent}(s)$ とする.

＊たとえば, $s=$ “用語” の場合, $\operatorname{Parent}(s)=\{$ “用語”, “医療用語”, “専門用語”, “用語抽出”\}などが得られると考えられる。

（2）修飾語候補の限定（有害な語の除去）

(a) $s \in S_{\text {cand }}$ のうち，数字および「\%」記号のみからなる語を除去対象候補集合 $S_{\text {reject }}$ に追加する。

(b) $s \in S_{\text {cand }}$ のうち，先頭または末尾が「-」（ハイフン）以外の記号か空白である語 を $S_{\text {reject }}$ に追加する。

(c) $s \in S_{\text {cand }}$ のうち，先頭または末尾の文字が 1 字からなる「ひらがな表現」に一致 し，一致した文字と隣接する文字がひらがな以外である ${ }^{12}$ 語を $S_{\text {reject }}$ に追加する.

(d) $s \in S_{\text {cand }}$ のうち, 先頭または末尾から始まる範囲が 2 字以上からなる「ひらがな 表現」の組合せに一致した語を $S_{\text {reject }}$ に追加する.

(3) 修飾語候補の限定（有益でない語の除去）

(a) $s \in S_{\text {cand }}$ のうち, $T$ 内での部分文字列としての出現回数が $f_{\min }$ 回未満 $(|\operatorname{Parent}(s)|<$ $f_{\text {min }}$ )である $s$ を $S_{\text {reject }}$ に追加する.

(b) 任意の $s_{1}, s_{2} \in S_{\text {cand }}\left(s_{1} \neq s_{2}\right)$ について, 出現元集合が等しい場合, $s_{1}$ と $s_{2}$ のう ちの長さが小さい方を $S_{\text {reject }}$ に追加する.
* たとえば, Parent(“群”) $=\operatorname{Parent}($ “症候群”) $=\{$ 症候群,かぜ症候群 $\}$ であ る場合, “群”が $S_{\text {reject }}$ に追加される。

(4) 修飾語候補の決定
- $S_{\text {cand }}$ から $S_{\text {reject }}$ の元を除いた集合 $S=S_{\text {cand }} \backslash S_{\text {reject }}$ が求める修飾語集合である.

## 5 評価実験

本研究で開発した用語抽出システムの性能を評価するため，MedNLP テストコレクションを 用いて評価を行った。次節以降で, 基本素性（形態素, 品詞, 品詞細分類, 字種, 基本形）の評価, モダリティ素性の評価, 主要語語彙制限および拡張マッチングの有効性の評価を行う。さら に，すべての素性に加えて後処理ルールを適用した提案システム全体の性能を評価し, MedNLP タスクの参加システムである従来手法との比較を行う.

## 5.1 実験設定

実験に使用した MedNLP テストコレクションは, 病歴要約 50 文書からなり, 全デー夕の 3 分の 2 にあたる 2,244 文が訓練デー夕, 残りの 1,121 文が評価用のテストデータとなっている.

訓練データにアノテーションされた情報は, 患者の個人情報と診療情報である。本研究では, これらのうち，患者の症状と医師の診断を指す診療情報（症状・診断名）を対象とする．各症状・診断名には医師の認識の程度などを表すモダリティ属性が定義されており，それぞれ症状 の罹患の肯定, 否定, 可能性の存在を表す positive, negation, suspicion に加え, 症状が患者の 家族の病歴として記述されていることを表す familyの 4 種類からなる. 各モダリティ属性が付与された症状・診断名を異なるカテゴリの固有表現とみなして学習を行うことで，モダリティ 属性の分類を含めた抽出を行う。

評価は，MedNLP タスクで行われたのと同様に，モダリティ属性を考慮する方法と，考慮し ない方法の 2 通りで行う，前者は，抽出された固有表現が正しい属性に分類された場合にのみ 正解とみなす評価であり, 後者は, 属性が誤っていても, 抽出された固有表現の範囲がアノテー ションされた正解情報と一致していれば正解とみなす評価である。それぞれの評価方法につい て，適合率，再現率， $F$ 値を評価尺度として用いる.

CRF で学習を行う際に必要となる正則化のためのハイパーパラメータ $c$ については, 訓練 データでの 5 分割交差検定により値を決定した。テストデータに対する抽出を行うまでの具体的な手順は以下の通りである.
1. $c$ の値を変化させながら, 各 $c$ の値について訓練データで 5 分割交差検定を行い, 5 回の 検定における各精度（適合率，再現率， $F$ 値）の平均をそれぞれ算出する。
2. $c$ の值の中で, 最も $F$ 値が高い結果となったものを最適値とする.

3. 得られた $c$ の最適値を用いて, 訓練データ全体で学習を行い, モデルを学習する。続い

て，学習で得られたモデルを用いてテストデータで抽出を行う.

なお, 主要語の語彙制限および修飾語獲得の際の閾値については, 次のように決定した. MEDIS 病名マスターの語彙制限では, $n_{\text {out }} \in\{3,5,8\}, r_{\text {out }} \in\{0.5,0.7,0.9\}$ の各組について，ハイパー パラメータ $c$ の值を変えながら，それぞれ訓練データで交差検定を行い，最も $F$ 值が高かった $n_{\text {out }}, r_{\text {out }}, c$ の値の組合せを最適値としてテストデータでの評価に用いた. MedNE の語彙制限 については $n_{\text {in }} \in\{3,5,8\}, \quad r_{\text {in }} \in\{0.5,0.7,0.9\}$ とし, MEDIS および MedNE からの修飾語獲得に ついては $f_{\min } \in\{1,2,3,5,8,10\}$ として, 同様に最適値を決定した. その結果, $n_{\text {out }}=n_{\mathrm{in}}=3$, $r_{\text {out }}=0.7, r_{\text {in }}=0.5, f_{\text {min }}=3$ (MEDIS),$f_{\text {min }}=3$ (MedNE) が最適値として得られた.

また, 素性のウィンドウサイズについては, 基本素性（形態素, 品詞, 品詞細分類, 字種, 基本形）を素性セットとしたモデルを用いて次のように決定した。サイズは各素性について共通 の値を使用することにし，候補を 3 （-1 から 1)，5（-2 から 2), 7 （-3 から 3 ），9（-4 から 4) の 4 通りとした。続いて，サイズおよびハイパーパラメータ $c$ の値を変えながら，訓練データ で交差検定を行ったところ, サイズ 5 において最大の $F$ 値が得られ，この値を最適値とした。次節以降，サイズ 1 で固定しているモダリティ素性を除き，すべての素性に関してサイズ 5 と して実験を行った結果を報告する。

## 5.2 基本素性の有効性の評価

形態素, 品詞, 品詞細分類, 字種, 基本形からなる素性セットを基本素性とし, これら5つ の素性の有効性の評価を行った。各素性に対するテストデータでの精度を表 3 に示す。表中の “P", “R”，“F”はそれぞれ適合率，再現率， $F$ 值を意味し，“2-way”はモダリティ属性を考慮 しない場合の精度, “Total”は考慮した場合の精度を表す。なお, 表には, 各素性セットに対し て 30 回行った試行の平均精度を記載した．次節以降の実験結果についても同様である．直前の 行中の素性セットを用いた場合との差について両側 $t$ 検定を行い, 有意水準 $1 \%$ \%有意であった 場合に“ネ”を付した。

品詞素性の導入により, 2-way, Total の両評価で, 適合率が 4 ポイント前後向上し, 再現率 が 1.5２ ポイント程度向上した. 訓練データでは 13 , 名詞, 接頭詞であるトークンのうちのそ れぞれ $20 \%$ 弱, $30 \%$ 弱が固有表現（を構成するトークン）であり，残りの品詞については，い ずれも $97 \%$ 以上が非固有表現であった. したがって, 品詞が名詞または接頭詞であることが固有表現である可能性を示す手がかりとなり, その他の品詞であることが固有表現でないことを 示すほとんど確実な手がかりとなったと考えられる.

品詞細分類素性の導入では, 両評価とも多少の適合率の低下が見られたものの, それを上回 る 2.5 ポイント前後の再現率の向上が得られた. 名詞の細分類全体の約 $30 \%$ に相当する「数」で は, その $99 \%$ 以上が非固有表現であり, 合わせて名詞の約 $50 \%$ に相当する「一般」,「サ変接続」,「接尾・一般」は，各 $20 \sim 40 \%$ 固有表現が占めた. したがって，名詞の中のどの細分類である かという情報が精度向上に寄与したと考えられる。

字種素性の導入による主な変化として, 2-way, Total での適合率がそれぞれ 0.3 ポイント程度向上した. 固有表現が大きな割合を占めた字種は, 「漢字」と「カタカナ」で, それぞれ $30 \%$ 強, $20 \%$ 強の割合であった。たた，接頭詞および名詞／接尾・一般の $100 \%$ 近い割合を「漢字」が占

表 3 基本素性の評価

結果への考察を行った。したがって，本節以降で述べる各素性における固有表現，非固有表現等の割合は，いずれ も訓練データで算出した数値である。
}

めるなど, 品詞や品詞細分類素性と重複している情報も多い. 名詞／一般, 名詞／サ変接続の それぞれ $85 \%$ 程度が「漢字」と「カタカナ」となっており, 字種素性がこれらの品詞細分類を 詳細化する役割を果たしたと考えられる。

基本形素性の導入の結果, 主に Total での適合率, 再現率が向上した.「ない」「なかった」な ど表層が異なるモダリティ表現を基本形で同一視することで, モダリティ属性を考慮した評価 の結果が向上したと考えられる.

## 5.3 モダリティ素性の有効性の評価

モダリティ素性の有効性を評価するため, 基本素性のみを用いたシステム（Basic；表 3 の最下行と同一のシステム) と, 基本素性に加えてモダリティ素性を用いたシステム (Basic+ Modality) の精度の比較を行った。テストデータにおける各モダリティ属性および全体の精度を表 4 に示 す.なお, モダリティ属性とは, 症状・診断名に付加されているモダリティの種類（positive, negation 等）を指し，モダリティ素性は，モダリティ属性を捉えるために用いた素性を指す. Basic と Basic + Modality との差について両側 $t$ 検定を行い, 有意水準 $1 \%$ で有意であった場合 に“”を付した。

各属性における適合率と再現率は, negation と suspicionの適合率を除いて, モダリティ素性導入後の方が同等か高いという結果が得られた. 属性全体 (“All (total)”) で見ても各精度は向上しており，本素性が正確なモダリティ属性の認識に寄与したといえる。なお，本素性の導入前, 後ともに，他の属性に比べて suspicion 属性の精度が低いのは，データのアノテーション誤 りに起因すると考えられる．著者らが訓練データを確認したところ，「疑い」などの表現が後続 する固有表現で, suspicion という属性が付与されていない（positive となっている）事例が十数件存在し, suspicion の事例全体の十数パーセントという少なくない割合を占めていた.

一方，モダリティ属性を考慮しない 2-wayの評価では，適合率が 1 ポイント弱低下した。「〜 がない」などの表現は固有表現でない語句の後方にも出現するため, 非固有表現を誤って固有表現と認識してしまうケースが増加し, 適合率低下の原因となったと考えられる.

表 4 モダリティ素性の評価

## 5.4 主要語辞書および修飾語辞書利用の有効性の評価

主要語語彙制限および拡張マッチングの有効性を評価するため, 基本素性のみのシステム (Basic) と, 基本素性に加えて各種辞書に基づく辞書素性を用いたシステムの比較を行った。結果を表 5 にまとめる。最左列は利用した辞書を示しており，“ $\operatorname{main}(X)$ ” は辞書 $X$ を主要語辞書と して使用したことを, “山 $\operatorname{modify}(X)$ ” は辞書 $X$ を修飾語辞書として拡張マッチングを行ったこと を意味する。辞書 $X$ に対して, 4.3 節の方法による語彙制限を行っていないものを “ $X-\mathrm{r}$ ” (raw),行ったものを“ $X$-f” (filtered) で表し，辞書 $X$ から獲得した修飾語集合を“ $X$-s” (substring) で 表した。また， “ $X \cup Y$ ”で 2 つの辞書 $X, Y$ を統合した辞書を表した. 数値右上のシンボルは 両側 $t$ 検定によって有意水準 $1 \%$ で有意差があった場合に付しており，“十”が (a) と (b) または (c) との比較, “†" が (b) と (d) との比較, “大”が (c) と (e) との比較, “§”が (e)と (f) または $(\mathrm{g})$ との比較の結果を示している.

まず，語彙制限を行っていない辞書を単純に利用した場合, MEDIS 病名マスター（表中の MDM ; MEDIS Disease Name Master）に基づく辞書素性を導入した (b)で，2-way の評価にお いて適合率・再現率が $0.7 \sim 1.5$ ポイント程度向上し, その結果, $F$ 值が約 1.1 ポイント向上し た. Totalにおいても $F$ 值が向上したものの，2-wayよりは効果が小さく，認識された症状・診断名の中にモダリティ属性の分類に誤ったものが含まれることが示唆される。なお， 2-way と Total のいずれの場合も， $F$ 值の向上は統計的に有意であった. 一方, MedNE（表中の MNE） を追加した場合 (c)では，再現率が大きく低下した，訓練データでの交差検定では $96 \%$ 超え る $F$ 値となっており，正解ラベルとほぼ一致する辞書素性に基づく過学習が起こり，他の素性 の情報が学習されなかった可能性が高い.

上記のような問題を避けるため，次に語彙制限を行った主要語辞書を使用した，結果を見る と，MEDISのみの (d) では全体的に $F$ 值がわずかに低下した。これは， MEDIS 病名マスター から獲得した主要語については語彙制限の必要性が薄いことを示している。一方, MEDISに加 えて MedNEにも語彙制限を加えた (e)では, 語彙制限を加えない (c)に比べて適合率, 再現率,

表 5 辞書素性の評価

$F$ 値とも大幅に向上した。モダリティ属性まで考慮した Total では (b) よりもわずかに精度が 低いものの，モダリティ属性を考慮しない2-wayの評価では, これまでの設定で最も良い結果 が得られた。

最後に，語彙制限を加えた主要語辞書 (e) に加えてさらに拡張マッチングを適用した。その 結果, MEDIS から獲得した修飾語辞書のみを使用した (f) で約 $0.5 \sim 0.6$ ポイント, MedNE か ら獲得した修飾語辞書を併せて使用した $(\mathrm{g})$ で約 $0.6 \sim 0.7$ ポイントの $F$ 值の向上が見られ，修飾語辞書の導入・語彙増加にともない, わずかながらも着実な認識精度の向上が得られた.

## 5.5 システム全体の性能および従来手法との比較

基本素性，辞書素性，モダリティ素性，後処理ルールを含めたシステム全体の性能の評価を 行った. テストデータでの精度を表 6 (a) に示す. 基本素性に加えて語彙制限後の 2 つの辞書 と修飾語辞書に基づく辞書素性を導入したシステム（表 5 の最下行 $(\mathrm{g}$ )のシステム）を Modify とし，モダリティ素性の追加，後処理ルールの適用をそれぞれ Modality, P-rulesで表した。な お，モダリティ素性と後処理ルールはモダリティ属性まで含めた分類 (Total) において利用す る. 表中のシンボル “†” は Modify と Modify + P-rules, “†” は Modify と Modify + Modality を, “`”は Modify + Modality と Modify + Modality + P-rules を比較した際，両側 $t$ 検定で有意水準 $1 \%$ の有意な差があったことを示している.

表 6 従来手法との比較

(a) 全体の精度

(b) モダリティ属性別の精度

モダリティ素性の導入後には，適合率，再現率， $F$ 值がそれぞれ 1 ポイント前後向上し，そ の効果が確認された. また, 後処理ルールについては, Modify に適用した場合で $F$ 値で 1 ポイ ントの向上，Modify + Modality に適用した場合で 0.7 ポイント程度の向上が得られた。すなわ ち, CRFによって症状・診断名と認識された語句に対してのみモダリティ属性を修正する処理 を行うことで，症状・診断名の認識精度を維持したまま，モダリティ属性分類誤りを減少でき ている.

なお，後処理ルールの効果を確認するため，訓練データを使用して14, Modify および Modify十 Modality の推定結果に後処理ルールを適用した場合の正解数の変化について表 7 に示した. “対象件数”はルール適用の対象となった固有表現の件数で，システムが正例と推定した固有表現 の数に相当する。また，“ $\mathrm{T} \rightarrow \mathrm{F}$ "，“ $\mathrm{F} \rightarrow \mathrm{T}$ "および “ $\mathrm{F} \rightarrow \mathrm{F}$ " は，ルール適用前に正解 $(\mathrm{T}) /$ 不正解 (F) であったものが，ルール適用後に正解/不正解に変化した件数を表す。“合計”はこれら 3 つの値の合計で，ルールが適用された件数に相当する（“ $\mathrm{T} \rightarrow \mathrm{T}$ ”となったもの，つまり，モダ リティ属性が変化しなかったものについては，件数に含めていない). Modifyに適用した場合 では，適用対象件数の $5 \%$ 弱にあたる 81 件に対してルールが適用された。適用された事例のう ち, 実際に固有表現であった事例に対する正解率は $80 \%$ 程度であった. Modify + Modality に 関しては, モダリティ素性の導入により周辺文脈と矛盾するモダリティ属性の推定結果が減っ たと考えられ，ルールが適用された件数自体が減少した。しかし，ルールの適用により僅かな がら正解数が増加している。

表 6 (a) の下半分には, MedNLP 症状と診断タスクの成績上位 3 チームである Miura ら (Miura et al. 2013), Laquerre ら (Laquerre and Malon 2013) およびImaichi ら (Imaichi et al. 2013)のシス テムの精度を掲載した。従来手法の中では, Total の適合率を除き, いずれも Miura らのシステム の精度が最も高い. これに対し, Total の評価で比較すると, 本システムは適合率を中心に従来手法よりも高く, モダリティ素性と後処理ルールを併用したシステム (Modify + Modality + P-rules) では, 適合率, 再現率, $F$ 值ともに最も高くなっている。また, 提案システムと従来手法の中 で精度が高い Miura らのシステムについて, モダリティ属性ごとの精度を表 6 (b) に掲載した. Miura らのシステムでは positive および negation の再現率が高く, 多数派クラスの網羅的な抽

表 7 後処理ルール適用の効果

出の点で優れている。しかし, 適合率ではどの属性についても本システムの方が高く, 特に, 少数派クラスである suspicion, familyの認識では, 適合率, 再現率ともに大きく上回っている. したがって，モダリティ属性の分類を含めた抽出では, 従来手法と比べて, 我々の手法が最も 正確な用語抽出を実現できており，事例数の少ないクラスに対して頑健な推定を実現できてい るといえる。

一方，表 6 (a)における 2-wayの評価では，特に，再現率が Miura らのシステムと比べて 3 ポ イントほど低く, 本システムは症状・診断名抽出の網羅性の点で劣っている。修飾語の付加を 行う拡張マッチングでは, 主要語が主要語辞書に含まれない場合には対応できないという限界 があるため，再現率を高めるには，コーパスから修飾語だけでなく新たな主要語も獲得する方法が必要となる。また, 診療記録中の症状・診断名と共起しやすい「〜出現」「〜増悪」などの 表現は，未知の主要語を認識する際の手がかりとして有効利用できる可能性がある.

## 6 おわりに

本稿では, 症例検索などの基礎技術として重要である症状名・診断名の抽出に焦点を当て, 語彙資源を有効活用した用語抽出について報告した，語彙資源活用の 1 点目として，コーパス中 の用語に対して語彙制限を行うことで，用語抽出に真に有用な語彙の獲得を行った． 2 点目と して,コーパスから複合語の構成語彙である修飾語を獲得し, 語彙制限後のコーパスの語彙に 加えて獲得した修飾語を活用することで，テキスト中のより多くの用語を検出する拡張マッチ ングを行った．検出された用語の情報は，機械学習アルゴリズム linear-chain CRF をべースと したシステムの素性として使用した.

NTCIR-10 MedNLP タスクのテストコレクションを用いて抽出実験を行ったところ，単純な 辞書の利用と比較して， $F$ 值で 0.4 1.1 ポイントの有意な精度向上が見られ，語彙制限および拡張マッチングの有効性を確認した。 症状・診断名の認識では, 同タスクで1位の Miura ら (Miura et al. 2013)のシステムと比較し，モダリティ属性の分類を含めた認識では本システムが適合率・再現率ともに高い精度を実現した。一方，モダリティ属性を考慮しない場合の症状・診断名認識において再現率が低く, 網羅性の点で劣っていた。語彙制限および修飾語の付加に基づく拡張マッチングでは, 元の語彙資源に含まれない主要語に対応できないという限界があるため, 今後の課題として, 新たな主要語の獲得や, 未知の主要語を認識する方法が必要である.

また，NTCIR-10 MedNLP に続くシェアドタスクである NTCIR-11 MedNLP2 (Aramaki, Morita, Kano, and Ohkuma 2014) では, 表記が異なりかつ同一の対象を指す症状・診断名を同一視する「病名・症状正規化タスク」が設定されている．症例検索などの応用に向けた基礎技術として, 幅広い症状・診断名を抽出することに加え, 抽出した症状・診断名の表記の違いを 吸収する技術の開発も重要である。

## 謝 辞

NTCIR-10 MedNLP タスクを主催され，MedNLP テストコレクションをご提供くださいまし た京都大学デザイン学ユニットの荒牧英治特定准教授ならびに関係者の皆様に感謝申し上げま す. MEDIS 病名マスターをご提供くださいました一般財団法人医療情報システム開発センター の関係者の皆様に感謝申し上げます. また, 本研究の一部は, JSPS 科学研究費補助金 25330363 , ならびに私立大学等経常費補助金特別補助「大学間連携等による共同研究」の助成を受けたも のです.

## 参考文献

Aramaki, E., Morita, M., Kano, Y., and Ohkuma, T. (2014). "Overview of the NTCIR-11 MedNLP-2 Task." In Proceedings of the 11th NTCIR Workshop Meeting on Evaluation of Information Access Technologies, pp. 147-154.

Collins, M. (2002). "Discriminative Training Methods for Hidden Markov Models: Theory and Experiments with Perceptron Algorithms." In Proceedings of the 2002 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1-8.

Higashiyama, S., Seki, K., and Uehara, K. (2013a). "Clinical Entity Recognition using Costsensitive Structured Perceptron for NTCIR-10 MedNLP." In Proceedings of the 10th NTCIR Conference, pp. 704-709.

Higashiyama, S., Seki, K., and Uehara, K. (2013b). "Developing ML-based Systems to Extract Medical Information from Japanese Medical History Summaries." In Proceedings of the 1st Workshop on Natural Language Processing for Medical and Healthcare Fields, pp. 14-21.

Imaichi, O., Yanase, T., and Niwa, Y. (2013). "A Comparison of Rule-based and Machine Learning Methods for Medical Information Extraction." In Proceedings of the 1st Workshop on Natural Language Processing for Medical and Healthcare Fields, pp. 38-42.

井上大悟, 永井秀利, 中村貞吾, 野村浩郷, 大貝晴俊 (2001). 医療論文抄録からのファクト情報抽出を目的とした言語分析. 情報処理学会研究報告. 自然言語処理研究会報告, 141 (17), pp. 103-110.

Jiang, M., Chen, Y., Liu, M., Rosenbloom, S. T., Mani, S., Denny, J. C., and Xu, H. (2011). "A Study of Machine-learning-based Approaches to Extract Clinical Entities and Their Assertions from Discharge Summaries." Journal of the American Medical Informatics Association (JAMIA), 18 (5), pp. 601-606.

木浪孝治, 池田哲夫, 村田嘉利, 高山毅, 武田利明 (2008). 看護学分野の専門用語抽出方法の
研究. 自然言語処理, 15 (3), pp. 3-20.

Kudo, T., Yamamoto, K., and Matsumoto, Y. (2004). "Applying Conditional Random Fields to Japanese Morphological Analysis." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 230-237.

Lafferty, J., McCallum, A., and Pereira, F. (2001). "Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data." In Proceedings of the 18th International Conference on Machine Learning (ICML), pp. 282-289.

Laquerre, P. F. and Malon, C. (2013). "NECLA at the Medical Natural Language Processing Pilot Task (MedNLP)." In Proceedings of the 10th NTCIR Conference, pp. 725-727.

McCallum, A. and Wei, L. (2003). "Early Results for Named Entity Recognition with Conditional Random Fields, Feature Induction and Web-enhanced Lexicons." In Proceedings of the 7th Conference on Natural Language Learning (CoNLL-2003), pp. 188-191.

Miura, Y., Ohkuma, T., Masuichi, H., Shinohara, E., Aramaki, E., and Ohe, K. (2013). "Incorporating Knowledge Resources to Enhance Medical Information Extraction." In Proceedings of the 1st Workshop on Natural Language Processing for Medical and Healthcare Fields, pp. 1-6.

Morita, M., Kano, Y., Ohkuma, T., Miyabe, M., and Aramaki, E. (2013). "Overview of the NTCIR-10 MedNLP Task." In Proceedings of the 10th NTCIR Conference, pp. 696-701.

Sang, E. F. and Veenstra, J. (1999). "Representing Text Chunks." In Proceedings of the 9th Conference on European Chapter of the Association for Computational Linguistics, pp. 173-179.

Sha, F. and Pereira, F. (2003). "Shallow Parsing with Conditional Random Fields." In Proceedings of the 2003 Conference of the North American Chapter of the Association for Computational Linguistics on Human Language (HLT-NAACL), pp. 213-220.

上杉正人 (2007). N-gram と相互情報量を用いた医療用語抽出のための分割点の探索. 医療情報学, 27 (5), pp. 431-438.

Uzuner, Ö., South, B. R., Shen, S., and DuVall, S. L. (2011). "2010 i2b2/VA Challenge on Concepts, Assertions, and Relations in Clinical Text." Journal of the American Medical Informatics Association (JAMIA), 18 (5), pp. 552-556.

Uzuner, Ö., Goldstein, I., Luo, Y., and Kohane, I. (2008). "Identifying Patient Smoking Status from Medical Discharge Records." Journal of the American Medical Informatics Association (JAMIA), 15 (1), pp. 14-24.

Uzuner, Ö., Luo, Y., and Szolovits, P. (2007). "Evaluating the State-of-the-art in Automatic De-identification." Journal of the American Medical Informatics Association (JAMIA), 14 (5), pp. 550-563.

Uzuner, Ö., Solti, I., and Cadag, E. (2010). "Extracting Medication Information from Clinical Text." Journal of the American Medical Informatics Association (JAMIA), 17 (5), pp. 514-518.

## 付録

## A モダリティ素性における正規表現

モダリティ素性において，各属性のモダリティ表現を捉えるために用いた正規表現を記載す

お, “ $X \mid Y$ ”は $X$ または $Y$ との一致, “ $\left[X_{1} X_{2} \ldots X_{N}\right]$ ” は $X_{1}, X_{2}, \ldots, X_{N}$ のいずれかとの一致, “()”はパターンのグループ化, “?”は直前のパターンの 0 回または 1 回の出現を表す.また,

相当する文字列が後続しない $X$ にマッチする.

## Negation のモダリティ表現

Negation 属性のモダリティ表現のために用いた正規表現を以下に示す.

・ [はがを]?(([認め|みとめ|見|み $\mid$ 得 $\mid え)(ら れ) ?) ?([$ 無な](い|く|かっ)|せ?ず)
- $\quad[$ はがを $]$ ?((消失|除外) $(? !$ !?(な $[$ いかくし])|せず))
- [はがもの](改善| 陰性 | 宽解)(?!し?(な [いかくし])|せず)
- (の (所見 $\mid$ 既往) が?)?[無な](し|い|く|かった)

## Suspicion のモダリティ表現

Suspicion 属性のモダリティ表現のために用いた正規表現を以下に示す.
- の?(疑い|うたがい)

## Family のモダリティ表現

Family 属性のモダリティ表現のために用いた正規表現を以下に示す. なお, “[父母]”に後続 する “(?)” というパターンは，医療用語である「母指」や「母趾」とのマッチを防ぐため に用いた。
- [祖伯叔]?[父母](?) 親?| お [じば]|[兄弟姉妹娘]| 息子|従 (兄弟|姉妹)

## B修飾語の限定に用いたひらがな表現

語彙資源から修飾語を獲得する処理において, 修飾語の限定の際に用いた主にひらがなから 構成される表現を以下に記載する。

助詞・連語が，の，を，に，へ，と，から，より，で，など，のみ，における

連体詞 その

接続詞 または，あるいは，および，かつ

助動詞 な

形容詞 ない, なし

動詞・名詞・助詞・助動詞の組合せからなる語 する，よる，ある，あり，して，した，なら ない，なった，のための

漢字を含む表現 伴う, 伴わない, 生じない, 疑い, 著しい, その他, 手当て, 比較して

## 略歴

東山 翔平：2012 年神戸大学工学部情報知能工学科卒業. 2014 年神戸大学大学院システム情報学研究科博士前期課程修了. 現在, NEC 情報・ナレッジ研究所に在籍. 自然言語処理, 情報抽出の研究に従事.

関和広：2002 年図書館情報大学情報メディア研究科修士課程修了. 2006 年 インディアナ大学図書館情報学研究科博士課程修了. Ph.D. 神戸大学助教等 を経て現在甲南大学知能情報学部准教授. 情報検索, データマイニングの研究に従事. 情報処理学会, 電子情報通信学会, 人工知能学会各会員.

上原 邦昭：1978 年大阪大学基礎工学部情報工学科卒業. 1983 年同大学院博士後期課程単位取得退学. 工学博士. 同産業科学研究所助手, 講師, 神戸大学工学部情報知能工学科助教授等を経て, 現在同大学院システム情報学研究科教授. 人工知能, 特に機械学習, マルチメディア処理の研究に従事. 電子情報通信学会, 計量国語学会, 日本ソフトウェア科学会, AAAI 各会員.

$(2014$ 年 9 月 21 日 $\quad$ 受付 $)$
$(2015$ 年 1 月 11 日 $\quad$ 再受付 $)$
$(2015$ 年 3 月 3 日 $\quad$ 採録)


# 「ロボットは東大に入れるか」プロジェクト：
代ゼミセンター模試タスクにおけるエラーの分析

磯崎 秀樹 $+1+t+t \cdot$ 菊井玄一郎 $+t+t \dagger \cdot$ 堂坂 浩二

南 泰浩 $1+\dagger+\dagger+\dagger \dagger \cdot$ 新井 紀子㭷

「ロボットは東大に入れるか」は，大学入試試験問題を計算機で解くという挑戦を通 じ，言語処理を含む AI 諸技術の再統合と, 知的情報処理の新たな課題の発見を目指すプロジェクトである. 知的能力の測定を第一目的として設計された入試問題は, $\mathrm{AI}$ 技術の恰好のベンチマークであるとともに, 人間の受験者と機械のエラー傾向を 直接比較することが可能である。本稿では, 大手予備校主催のセンター試験形式模試を主たる評価データとして, 各科目の解答システムのエラーを分析し, 高得点へ 向けた今後の課題を明らかにするとともに, 分野としての言語処理全体における現在の課題を探る.

キーワード：総合的タスク, 大学入試試験問題, エラー分析
## The Todai Robot Project:

## Error Analysis on the Results of the Yozemi Center Test

\author{
Takuya Matsuzaki ${ }^{\dagger}$, Hikaru Yokono $^{\dagger \dagger}$, Yusuke Miyao ${ }^{\dagger \dagger}$, Ai Kawazoe ${ }^{\dagger \dagger}$, \\ Yoshinobu Kano ${ }^{\dagger \dagger}$, Hayato Kanou $^{\dagger}$, Satoshi Sato $^{\dagger}$, Ryuichiro Higashinaka ${ }^{\dagger \dagger \dagger \dagger}$,

 \\ Hirotoshi Taira ${ }^{\dagger \dagger \dagger \dagger \dagger \dagger}$, Yasuhiro Minami ${ }^{\dagger \dagger \dagger \dagger \dagger \dagger \dagger}$ and Noriko H. Arai ${ }^{\dagger \dagger}$
}

The Todai Robot Project aims at integrating various AI technologies including natural language processing (NLP), as well as uncovering novel AI problems that have been missed while the fragmentation of the research field, through the development

of software systems that solve university entrance exam problems. Being primarily designed for the measurement of human intellectual abilities, university entrance exam problems serve as an ideal benchmark for AI technologies. They also enable a quantitative comparison between the AI systems and human test takers. This paper analyzes the errors made by the software systems on the mock university entrance exams hosted by a popular preparatory school. Based on the analyses, key problems towards higher system performances and the current issues in the field of NLP are discussed.

Key Words: Integrated AI Tasks, University Entrance Examinations, Error Analysis

## 1 はじめに

「ロボットは東大に入れるか」(以下，「東ロボ」）は国立情報学研究所を中心とする長期プロ ジェクトである。同プロジェクトは， AI 技術の総合的ベンチマークとして大学入試試験問題に 挑戦することを通じ，自然言語処理を含む種々の知的情報処理技術の再統合および新たな課題 の発見と解決を目指している。プロジェクトの公式目標は 2016 年度に大学入試センター試験に おいて高得点を挙げ，2021 年度に東大 2 次試験合格レベルに達することである。プロジェクト では, 2016 年度のセンター試験「受験」に至るまでの中間評価の一つとして, 2013 年度, 2014 年度の 2 回に渡り代々木ゼミナール主催の全国センター模試（以下，代ゼミセンター模試）を 用いた各科目の解答システムの評価を行い，その結果を公表した。表 1 に 2014 年度の各科目の 得点と偏差値を示す¹２２１3 年度の結果については文献 (新井 2014) を参照されたい。

大学入試試験問題は志願者の知的能力を客観的に測定することを目的として設計されたデー 夕であり，通常たた 1 回の試験によって，かつ，受験者間での公平性を担保しながら測定を行

表 12014 年度 代ゼミセンター模試（第 1 回）に対する得点と偏差値

うために入念な検討が加えられている。この点で，入試試験問題は言語処理を含む知的情報処理技術の総合的ベンチマークとして恰好の素材であるといえる. 特に，その大部分が選択式問題からなるセンター試験形式のテストは，ごく単純な表層的手がかりのみでは正解できないよ うに設計されていると考えられ, 現在 $70 \%$ から $90 \%$ の精度に留まっている種々の言語処理技術 をより信頼性高く頑健なものへと導くためのガイドラインとして好適である。さらに，模試・入試によるシステムの性能測定結果は人間の受験生の正答率や誤りの傾向と直接比較すること が可能である。 センター試験は毎年約 50 万人が受験し，予備校によるセンター試験模試も数千 から数万人規模の参加者を集める。このような大規模なサンプルから得られた「普通の人」「典型的な人」の像とシステムとの比較は，人によるアノテーションに対する再現率に基づく通常 の性能測定とは異なる達成度の指標となっている。

代ゼミセンター模試による 2014 年度の評価では, 英語・国語・世界史 B で受験者平均を上回 る得点を獲得するなど, 大きな成果があった一方で, その得点に端的に現れているように, 残 された課題も大きい. 本稿では，代ゼミセンター模試およびその過去問を主たる評価データと して各科目の解答システムのエラーを分析し, 各科目における今後の課題を明らかにするとと もに，「普通の人」と比較した際の各科目・問題タイプにおける達成度に関してひとつの見取り 図を与えることを目指す。「東ロボ」プロジェクトのひとつの特徴は, 多様な科目・課題に並行的に取り組むことであり, 様々な課題に対する結果を通じて, 現在の NLP/AI 諸技術の達成度 を可能な限り通覧することはプロジェクト全体の目的でもある。このため，本稿では問題タイ プ毎のエラーに対する分析は主として解決への糸口となる傾向の分析までにとどめ, 多数の科目・問題タイプについてそのエラー傾向と今後の課題を示すことを主眼とした。以下では，ま ず知的情報処理課題としてのセンター模試タスクの概要をまとめたのち, 英語, 国語, 数学, 物理，日本史・世界史の各科目について分析結果を述べる。

## 2 センター試験タスクの概要

表 2, 表 3 に， 2014 年度代ゼミセンター模試（第 1 回）の世界史 B - 日本史 B ・数学（I+A, $\mathrm{II}+\mathrm{B}$ の合計 $)$ ・物理, 国語・英語を対象とした問題分類の結果を示す。表内の各数字は, 各カテ ゴリに分類された問題数およびその割合（カッコ内）である。ここでは，一つの問題が複数のカ テゴリに属する場合も許している。これらの分類は解答タイプ（解答形式および解答内容の意味的カテゴリ）と解答に必要となる知識のタイプに関するアノテーション (Miyao and Kawazoe 2013) から得られたものであるが，読みやすくするために，表中では各カテゴリにそれらのアノ テーションを要約・再解釈したラベルを与えている.

表 2 に示されるように，社会科目ではほとんどの問題が教科書内の知識を正しく記憶してい るかどうかを問う問題であり，形式は真偽判定型と factoid 質問型が多い。問題中で与えられた
表 2 問題分類（社会科目・理数系科目）

表 3 問題分類（国語・英語）

資料文に関する読解問題や一般常識の関わる問題の割合は低いことから，大多数の問題に対し ては外部の知識源を適切に参照し, 要求される解答形式に合わせた出力へ加工することで解答 できる可能性が示唆される。すなわち, 現行の質問応答および検索をべースとした方法によっ て解ける可能性がある。他方, 数学・物理に関しては, 問題のすべてが「分野固有の推論」に 分類されている。すなわち，単に知識源を参照するだけでは解答できず，数理的演繹やオント ロジーに基づく推論などが必要となることが示唆される。特に, 数学・物理の問題のほとんど が数値ないし数式を答える問題であるため，数值計算ないし数式処理は必須である．言語処理 と数値・数式処理の統合は, 分野横断型の研究として興味深い. 数学・物理の間の違いとして,画像・図表の理解を必要とする問題の割合の差が見て取れる。数学では数表および箱ひげ図の 理解を要する大問が 1 題あったが, それ以外の図に関しては必要な情報が全て問題文で与えら れており，解答する上で図を理解する必要はない。いっぽう物理では, 問題文のみでは物理的状況を理解するのが困難で，画像の理解を必要とすると思われる問題がおよそ 7 割を占める. このため, 物理の解答システムでは将来的に画像理解と言語理解の融合が必要であると考えら れる。
英語と国語の問題分類は, 他科目とは大きく異なっている。英語に関する節で述べるように,語彙知識, 文法的知識を問う問題は, 現在の言語処理技術の射程内のものが多数ある。しかし,英語・国語で大きな割合を占める読解問題は, これを研究課題とする取り組みが近年開始され たものの (Peñas, Hovy, Forner, Rodrigo, Sutcliffe, Forascu, and Sporleder 2011a; Peñas, Hovy, Forner, Rodrigo, Sutcliffe, Sporleder, Forascu, Benajiba, and Osenova 2011b), 言語処理 - 知的情報処理課題としての定式化を含め, 未解決の部分が多いタイプの問題である. さらに, 英語問題には一般常識を問う問題, 新聞広告や手書きの問診票など独特の形式をもつ文書の理解を 問う問題, 画像理解（絵の説明として適切なものを選ぶ問題など）などが含まれるが, これらは 一部に研究課題として非常に難しいものを含んでいる. この点で, 少なくとも現時点では, 英語で満点に近い高得点を得ることは困難であると考えられる。

## 3 英語問題のエラー分析

## 3.1 はじめに

本節では, 東ロボ英語チームの開発によるいくつかの解答システムのエラーを分析した結果 について述べる. 特に, 代ゼミセンター模試の 6 回分 (2012 第 1 回, 2013 第 1 回〜第 4 回, 2014 第 1 回）を中心に分析を行った.

表 4 に代ゼミセンター模試 2014 第 1 回の問題構成を示す.今回の分析は現状一定の精度で解 けている短文問題（すなわち, 大問 1 から大問 3）のみについて行っている。また, 短文問題の 中で文脈に合わない文を選ぶという問題 (3B)については, 過去問に例が少なかったため未着手であり，分析対象としては触れていない，また，意見要旨把握問題については，会話文完成問題と同じ解き方で解いているため, 会話文完成問題の分析をもって, この問題の分析とする.点数にして約半分を占める読解問題に対しては, 現在のシステム正答率がチャンスレベルに近

表 4 代ゼミセンター模試 2014 英語の問題構成

いため, エラー分析の対象とはしなかった。読解問題に関する見通しについては本節の最後で 述べる。なお， 2014 年度の代ゼミセンター模試の英語問題を解いた手法については，文献 (東中, 杉山, 磯崎, 菊井, 堂坂, 平, 南 2015) に詳述されているので参照されたい.

## 3.2 発音・アクセント問題

ここ数年の発音・アクセント問題は発音箇所が異なる・同じ箇所や, アクセント位置が異な る・同じ箇所を選択する問題であり，音声認識用の辞書を用いることですべて解くことが出来 ている。しかし, 1987 年から 2009 年までのセンター試験の発音アクセント問題は 28/85（約

く，文脈を理解しないと解くことができない.

図 1 は強勢の問題の例である。下線部の単語のうち, 強勢が置かれるものをそれぞれ選択す る。(1)の下線部では, worse が正解となるが, worse を強く読むかどうかは文脈に依存する.

1999 年までの発音・アクセント問題で解けていない問題を分析したものを表 5 に示す。辞書 やプログラムの整備などにより対応できるものを短期に対応できる問題（18 問），それ以外を長

Maya : Here comes our train. It's not too crowded.

Jeff : $\quad$ Do the trains (1)get any worse than this?

Maya: Oh, yes. During the morning rush hour (2)they're twice as bad.

Jeff : I can't imagine a train being more crowded than this.

Where I'm from, (3)we can always get a seat.

Maya: You were lucky, but you'll have to get used to the crowds here.

How do you get to school? Do you take a train?

Jeff : $\quad$ No, (4)I walk to school.

図 1 強勢問題の例

表 5 発音・アクセント問題の分類

期間必要な問題（33 問）と分類した。また, 例年であれば発音・アクセント問題が出現する箇所にそれ以外の問題が出題されるケースがあり，これらは 6 問あった。強勢の問題は近年コー パスベースの手法で取り組んでいる文献 (Zang, Wu, Meng, Jia, and Cai 2014) もあるが，また 取り組みが少ないのが現状である.

## 3.3 文法・語法・語彙問題

文法・語法・語彙問題とは, 文中の空欄に最もふさわしい語句を 4 つの候補の中から選ぶ問題である。代ゼミセンター模試の過去 6 回分には，このタイプの問題が合わせて 60 問出題され ている，英語チームでは，単語 N-gram を用いて，最も確率が高くなる候補を選ぶ方法を用い た。本手法では， 47 問解くことができた。解くことが出来なかった問題の要因は表 6 の通りで あった。

反実仮想のように，条件文に呼応する場合はそれを踏まえる必要があるが，N-gram ではそ れが捉えられていなかった。また，複数文で前半部分を受けて後半の単語を選ぶ問題について も同様に答えられていない，遠い依存関係は N-gramによって捉えにくいものであるが，今回 の代ゼミセンター模試 2014-1の 2 問については, Dependency Language Model (Gubbins and Vlachos 2013) に基づく手法で答えられることを確認した。成句に関する問題は入試で頻出する が，新聞記事の出力分布からずれるために答えられていないと思われる。関係代名詞の用法に ついては，解くためには文法的な観点が必要と思われる.

今回の分析対象である 60 問で人間（受験生）とシステムの正答傾向に違いがあるかを分析し た.ここで, 「人間の解答」として，受験生の選択した割合が最も高かったものを用いている。 なお，人間は 48 問 $(80 \%)$ 正解している. クロス表を作成したところ表 7 の様になった.

システムと人間の両方が解けるものはある程度共通しているものの, それぞれ得意・不得意 があることも分かる. システムが正解することと, 人間が正解することが独立であるか, 本ク ロス表について Fisher の正確確率検定を行ったところ $p=1$ であり人間・システムの正答の分布が独立であることは棄却されなかった。人間とシステムは異なる解き方をしており，正答・

表 6 文法・語法・語彙問題のエラー要因

表 7 人とシステムの正答傾向の比較（文法・語法・語彙問題）

表 8 システムが正解し人間が不正解であった文法・語法・語彙問題の内容

誤答の分布は独立であることが示唆される.

さらに 60 問の各設問について人間とシステムの選択肢の順序を求め, 代表的な順位相関係数 である Spearmanの $\rho$ および Kendall の $\tau$ の平均値を求めた。ここで， 人間の選択肢の順位と は選択した受験生の割合の順位であり，システムの順序とは，N-gram 確率によって得られる確率値の大きい順に並べたものである。その結果， $\rho$ との平均はそれぞれ $0.07,0.06$ となり，ほ ぼ無相関であった。ここからも，人間とシステムは異なった解き方で問題を解いていることが 示唆される.

システムが正解し人間が不正解であった問題は 10 問であり，この内訳は表 8 の通りである.人間は英語の典型的用法を知らないことで不正解になっているケースがほとんどであった。こ れらはシステムがデータ中心の解法により正解できるものである。また前置詞の用法も英語に 慣れていないと難しく, 受験生には解けなかったようである.

人間が正解しシステムが不正解であった 11 問，および，どちらも不正解たっった 2 問 (2013-1A12, 2014-1-A14) は, システムが解けなかった問題として前掲した 13 問である. 表 8 と比較す ると, システムが正解・人が不正解であった問題は単語や成句・連語あるいは前置詞の選択な ど，語彙的知識に関するものが多く, システムが不正解・人が正解であった問題は意味的・文法的な整合性が関わるものが多いという傾向が見て取れる。

## 3.4 語句整序完成問題

語句整序完成問題とは，与えられた数個の単語を適切に並べ替えて，文法・意味的に正しい 文を完成させる問題である，我々は，文法・語法・語彙問題と同様に N-gram 言語モデルを用 いてこの問題に取り組んだ。具体的には，単語列のすべての並びを列挙し，もっとも文として
表 9 語句整除完成問題のエラー要因

表 10 人とシステムの正答傾向の比較（語句整除完成問題）

の確率が高いものを選ぶ手法を用いた.

分析対象とした代ゼミセンター模試過去問ではこのタイプの問題が 18 問あり,このうち, 15 問 $(83 \%)$ に対しシステムは正答することができた，正解できなかった 3 問についてはエラーの 要因は表 9 の通りであった。

ここでの要因は, 文法・語法・語彙問題とほぼ同様である。システムの正解率もほぼ同じであ

今回の分析対象である 18 問について，人間とシステムの正答傾向に違いがあるか分析した。表 10 はそのクロス表である.

本クロス表について Fisher の正確確率検定を行ったところ $\mathrm{p}$ 値は 0.06 であり有意傾向にあっ た。これは, 文法・語法・語彙問題と異なるところであり, システムと人間はより近い解き方 をしているのではないかと考察される。

人間が不正解でありシステムが正解したものは 1 問 (2012-1-A25-26) だった. “all I could think about”という構文が受験生にとっては難しいながら，典型的なフレーズであり，システムに とっては N-gram で解ける問題だったことによる.

## 3.5 会話文完成問題

会話文完成問題は, 二人の話者の会話の空所に適切な文を 4 つの選択肢から選び，会話文を 完成させる問題である。この問題を解くため，4つの選択肢の各場合について会話文の流れの 自然さを推定し，最も自然な流れとなる選択肢を選ぶという方法を用いた．会話文の流れの自然さは (a) 発話意図（表明，評価など）の流れの自然さと (b) 感情極性（ポジティブかネガティ ブ）の流れの自然さから成る。 (a) は Switchboard Dialog Act Corpus (Jurafsky, Shriberg, and Biasca 1997) から発話意図列の識別モデルを CRF によって学習し, 発話意図列の生起確率に基 づいてスコアを計算した。（b) は感情極性コーパス (Pang and Lee 2005)から SVM により識別

モデルを学習し，感情極性がポジティブあるいはネガティブであるスコアを計算した。それぞ れのスコアの重み付き和を最終的なスコアとした。

エラー分析のため, 代ゼミセンター 6 回分の問題について, 会話中のすべての発話および選択肢に対し，1名の評価者がアノテーションを行い，発話意図のラベルと感情極性の度合を付与した. アノテーションに基づき，(a)，(b)のスコアを計算した。（a)は付与された発話意図列 の N-gram 確率をコーパスから計算したものをスコアとした. (b) は付与された感情極性の度合 に基づいてスコアを計算した。コーパスから学習したモデルに基づいてスコアを算出する場合 （アノテーション無し）とアノテーションに基づいてスコアを算出する場合（アノテーション有 り）を比較し，正解率がどう変わるかを検証した。その結果を表 11 に示す.

表において, 発話意図のスコアと感情極性のスコアの両方を使う場合は, 正解率が最大とな るように重みを調整した，表から分かるように，感情極性に関して，アノテーション無しの方 がアノテーション有りの場合よりも正解率が若干高い. アノテーション無しの場合は, 感情極性コーパスを使うことにより，ポジティブ／ネガティブな文に現れる単語の出現確率を考慮し てスコアを計算していることに対して, アノテーション有りの場合は, そのような単語の出現確率を精密に考慮できないことが性能低下につながった可能性がある. 本質的にアノテーショ ン無しの方が性能が良いかどうかはより多くのデータを使って判断することが必要である.

本手法は発話意図のスコアと感情極性のスコアの重み付き和で最終的なスコアを計算してい るが，どちらのスコアを優先すべきかは問題による。実際，発話意図のスコアと感情極性のス コアのいずれかが最大となる選択肢を選ぶことができたすると, アノテーション無しでは 18 問中 13 問, アノテーション有りでは 18 問中 10 問が正解となる. 発話意図と感情極性のスコアの いずれを使って問題を解くべきかを適切に判断することは今後の課題の一つである.

分析に用いた 18 問に対する受験生の平均正答率は $62.2 \%$ あ゙った. システムの正答率 $8 / 18$ (=44.4\%)はそれより低いものの, チャンスレベルである $25 \%$ との差はほぼ有意であった $(p=0.06$,二項検定).

表 11 アノテーションの有無による会話文完成問題の正解率の変化

## 3.6 未知語（句）語義推測問題

この問題は, 出現頻度が低く一般にはあまり知られていないような文章中の単語またはフレー ズについて語義を推定し, 与えられた選択肢の中から最も意味の近い語義を選択する問題であ る。今回, word2vec (Mikolov, Sutskever, Chen, Corrado, and Dean 2013)を用い, 未知の語句 と選択肢のべクトルをそれぞれ求め，コサイン類似度の高いものを選択する手法を用いた。な お, 未知の単語が慣用句の場合は，イディオム辞書によって事前に語釈文に置き換えた上でべ クトルを算出している.

過去 5 回の代ゼミセンター模試の全 12 問について，9問 (75\%) 解くことができた。これは同 じ問題に対する受験生の平均正答率 $48 \%$ 上回っている. 正解できなかった 3 つの問題の内訳 を表 12 に示す.二つはイデイオム辞書の不備に依る。今回は, Wiktionary から作成したイディ 才ム辞書を用いたが，そのカバレッジが低かった。これらはよりカバレッジの大きい Oxford English Dictionary を用いることで解決できることが分かった. もう一つは単語 “cognate”であ るが，単語であっても，辞書の語釈文によって置き換えてべクトルを算出することでこちらも 解けることが分かった。すなわち，単語，イディオムについて，置き換える・置き換えないと いう操作が正しくできれば，本問題については解くことができると言える.

## 3.7 英語：まとめと今後の課題

本稿では, 東ロボプロジェクトにおいて英語チームが英語問題を解いたときのエラーを分析 した結果について述べた。長文読解問題はまだチャンスレベルに近い正答率であるため, 今回

表 12 未知語（句）語彙推測問題のエラー内訳

 & エラーのタイプ \& 分析 \\

は分析対象としなかったが，今後解答できるようになっていくにつれ，エラーを分析していく 予定である.

今回の分析対象とした短文問題に比べて, 長文読解問題ソルバー開発の進行が遅れている理由としては, 問題内容自体の複雑さに加え以下のような理由が挙げられる。まず，長文読解問題の約半数は，図表ないしイラストを含む問題，あるいは広告・カルテなど特殊なレイアウト を含む実用文書を題材とする問題である。これらの問題に対しては，テキスト処理に加えて画像理解や文書構造の理解が必要とされる。特に自然画像ではないイラストの理解はそれ自体が 未開拓の研究領域である。これらの付加要素のうち表に関しては, 情報抽出源として多くの研究があるものの, テキスト理解と表の意味理解が複合した課題に関する取組は近年始まったば かりである (Pasupat and Liang 2015).

多くの長文読解問題は，形式的には本文と選択肢の間の含意関係認識課題として捉えること が可能である。しかし, Bag-of-words/phrases/dependencies など，表層に近い表現によるテキ スト間類似性を用いた手法と state-of-the-art との差が比較的小さい現在の含意関係認識手法の 技術水準では, 英語読解問題で前提とされる種々の常識的知識を深い意味構造のレベルで取り 扱うような手法がすぐに実現するとは考えにくく，表層に近い表現によるテキスト間類似性定義をべースとして，英語読解問題の特性に見合った改良を加えていく方向が有効であると思わ れる。これに対し，図・表・イラストなどを含む問題は，数量の取扱いを始め，単純なテキス 卜間類似性を超える推論を要することが多い点でも難しい課題であると言える.

なお，図などの付加要素を含まないタイプの長文読解問題において，特に問題だと考えてい る課題は 3 つある。意味を反転させるような表現の扱い, 共参照解析, メ夕言語（文章自体へ の言及）である。また，過去の代ゼミセンター模試の長文（特に大問 6 の論述に関する問題）を 分析したところ，選択肢に関連のある一文を長文から抽出できれば解ける問題が 25 問中 11 問 あったが，その他は複数の文の統合が必要なものであった。選択肢に関連する一文を長文から 抽出する課題はそれ自体が今後の研究課題である (Li, Ran, Nguyen, Miyao, and Aizawa 2013) が，それに加え，要約技術の適用や文の統合といった技術が必要になってくると思われる。

## 4 国語 評論問題のエラー分析

## 4.1 センター試験『国語』評論傍線部問題

本節では, 主に大学入試センター試験『国語』評論の傍線部問題と呼ばれる問題を取り扱う.傍線部問題の具体例を図 2 に示す。この図に示すように，傍線部問題は, 何らかの評論から抜 き出された文章（本文）を読んだ上で設問文を読み，5つの選択肢のうちから正解の選択肢を 1 つ選ぶという選択式の問題である（紙面の都合上, 図 2 には 2 つしか選択肢を記載していな
本文:

...ヨーロッパ流の芸術観では、芸術とは自然を素材にして、それに人工を加えることで完成に 達せしめられた永遠的存在なのだから、A 造型し構成し変容せしめようという意志がきわめて 強い。それが芸術家の自負するに足る創造であって、それによって象徴的に、彼等自身が永生 への望みを達するのである。...

問 2 傍線部A「造形し構成し変容せしめよう」とあるが、それはどういうことか。その説明 として最も適当なものを、次の 1 ～5のうちから一つ選べ。

1 変化し続ける自然を作品として凍結することにより、一瞬の生命の示現を可能にさせ ようとすること。

2 時間とともに変化する自然に手を加え、永遠不変の完結した形をそなえた作品を作り 出そうとすること。

図 2 評論傍線部問題の例（2007 年本試験 第 1 問の問 2）

い). 表 13 に示すように, 傍線部問題は, センター試験『国語』評論の配点の約 $2 / 3$ を占めて いる。紙幅の都合で取り上げなかったこれ以外の問題に関しては本節の最後で述べる。

## 4.2 傍線部問題の解法

東ロボ国語チームは, 傍線部問題の自動解法として, これまでに本文照合法 (佐藤, 加納, 西村, 駒谷 2014), およびその一部を拡張した節境界法 (加納, 佐藤, 松崎 2015) を提案, 実装し た. 本節ではこれらの解法について概説する.

## 4.2.1 本文照合法

本文照合法は,
- 正解選択肢を選ぶ根拠は, 本文中に存在する (船口 1997; 板野 2010)
- 意味的に似ているテキストは, 表層的にも似ていることが多い

という考え方（仮説）に基づく解法である。具体的には, 次のような方法で傍線部問題を解く.

（1）入力：本文，設問，選択肢集合を入力する.

（2）照合領域の決定：選択肢と照合する本文の一部（照合領域）を定める。照合領域は，本文中の傍線部を中心とした連続領域とする。

（3）選択肢の事前選抜：考慮の対象外とする選択肢を除外する。具体的には, ある選択肢に ついて, 自分以外の選択肢との文字の一致率の平均値が最も小さい選択肢を除外する.

（4）照合：考慮の対象とする選択肢をそれぞれ照合領域と比較し，照合スコアを求める．照合スコアには, 照合領域とその選択肢との間の共通する要素の割合（オーバーラップ率 (服部，佐藤 2013)）を用いる.

（5）出力：照合スコアの最も高い選択肢を解答として出力する.

この本文照合法には，以下の 3 つのパラメータが存在する.

・ 照合領域として本文のどの範囲を選ぶか

・ 照合スコアをどのような単位で計算するか（何のオーバーラップ率をスコアとするか）

・ 選択肢の事前選抜を行うか

これらのパラメータは，以降で述べる節境界法にも共通する。

## 4.2.2 節境界法

節境界法は，長い文を複数のまとまりに区切るという戦略に基づき，本文照合法の一部を拡張した解法である。具体的には，本文照合法の照合ステップにおいて，照合領域と選択肢に節境界検出に基づいた節分割を行い，その結果を照合スコアの計算に利用する。節は「述語を中心としたまとまり」(益岡，田窪 1992) と定義される文法単位であり，おおよそ述語項構造に対応する。

節境界検出には, 節境界検出プログラム Rainbow (加納, 佐藤 2014) を用いる， Rainbow は, 文 の節境界の位置を検出し, 節の種類のラベル（節ラベル）を付与するプログラムである. Rainbow によって付与された節境界で区切られた部分を節とみなして，節分割を行う².

節境界法では，照合スコアを以下のような方法で計算する。

Step1 照合領域 $t$ と選択肢 $x$ に節境界検出を行い，それぞれ節の集合 $T, X$ に変換する.

Step2 $T$ と $X$ を用いて選択肢 $x$ の照合スコアを計算する。具体的には， $X$ 内の各節 $c_{x} \in X$ のスコアの平均値を，選択肢 $x$ のスコアとする。節 $c_{x}$ のスコアは， $c_{x}$ と， $T$ 内の各節 $c_{t} \in T$ との類似度の最大値とする。

節同士の類似度は, 節同士の共通する要素の割合（オーバーラップ率 (服部, 佐藤 2013)）と, 2 つの節の節ラベルが一致する場合のボーナスの和と定義する.

## 4.3 評価実験

センター試験の過去問および代ゼミセンター模試過去問（以下，代ゼミ模試とよぶ）を用い て，本文照合法および節境界法の評価を行った。センター過去問は 10 回分, 代ゼミ模試は 5 回分の試験データを使用した。傍線部問題の総数は，センター過去問が 40 問，代ゼミ模試が 20 問である。

## 4.3.1 実験結果

本文照合法ソルバーと節境界法ソルバーを，センター過去問，および代ゼミ模試に適用した 結果（正解数）を表 14 に示す.この表の P- $m-n$ は, 照合領域（本文の傍線部の前後何段落を

照合領域とするか）を表し， $C^{1}$ や $L$ な゙は，オーバーラップ率として何の一致率を用いるかの 単位を表す（たとえば $C^{1}$ は文字 unigram を用いることを表す）。また，選択肢の事前選抜を行 う場合を ps，行わない場合を non で表す。これらのパラメータの組み合わせ 56 通りについて，正解数を調查した。

表 14 では，本文照合法ソルバー，節境界法ソルバーの正解数を, この順に斜線で区切って示

表 13 代ゼミセンター試験 2014 国語の問題構成

表 14 センター過去問と代ゼミ模試に対する正解数（本文照合法／節境界法，上段がセンター 40 問，下段が代ゼミ模試 20 問に対する結果）

表 15 ソルバー出力の上位に正解が含まれる設問数

している。また, 上段にはセンター過去問の正解数, 下段には代ゼミ模試の正解数を示してい る。半数以上の問題に正解した場合の正解数は, ボールド体で示している.

表 14 を見ると, センター試験と代ゼミ模試の問題は, 性質が異なるということがわかる。 セ ンター過去問に関しては, 多くのパラメータ $(45 / 56)$ において, 節境界法の正解数が本文照合法の正解数以上となったのに対し, 代ゼミ模試に関しては, 56 通りすべてのパラメータにおい て, 本文照合法の正解数が節境界法の正解数以上となった. また, 本文照合法では 2 つ問題 データ間で正解率があまり変わらないのに対し, 節境界法では全体的にセンター過去問よりも 代ゼミ模試の正解率の方が低い.

ソルバーは, 解答を出力する際, 照合スコアの高い順に選択肢番号を出力するが, このとき, スコア上位に正解が含まれた設問数を表 15 に示す。パラメータは, センター過去問または代ゼ ミ模試で，比較的成績のよいものを 3 つ選んだ，R@ $n$ は，スコア順位で $n$ 位までに正解が含ま れたことを表す。（節），（本）はそれぞれ節境界法，本文照合法を表す。

表 15 を見ると, ほとんどの問題で正解選択肢が選択肢 5 つのうの上位 3 位までには入るこ とがわかる。、コア上位の選択肢に対して, 本文と合致しない部分の検出ができれば, より正解数が向上することが期待できる.

## 4.3.2 典型的な難問例

本文照合法，および節境界法は，いずれも文字列の表層的類似度を照合スコアに用いている ため, 本文の解答根拠部分と選択肢との間で表層的に全く異なる言い回しが用いられているよ うな問題には正解できない。センター過去問の 40 問の傍線部問題を調查したところ, そのよう な問題は多く存在した。その中でも, 以下の 3 そのタイプの問題は, ソルバーにとって特に難問であると考えられる。

A 本文で抽象的に述べている内容を具体的に述べた選択肢を選ぶ設問（40問中 2 問）

B 本文で具体的に述べている内容を抽象的に述べた選択肢を選ぶ設問（40問中 4 問）

C 本文と選択肢の抽象度は同じだが，選択肢が本文の内容を，句以上の大きな単位で全面的に言い換えている設問（40 問中 16 問）

(本文の解答根拠部分)

... 私どもは映画の場面一一つまり人物や状況にひきずりこまれ、はらはらしたり、笑ったり、主人公が助かってくれればと念じたり、こんな悪人は退治されてしまえと思ったりする。スリ ルの場面にであうと、「これは映画なのだ、本当のことじゃないのだ」と自分に何遍も言いきか せて落ちつきをとりもどそうとするけれども、ものの十秒もたてば心の余裕は消えてしまって、映画の状況とまた一緒になってはらはらする。

(正解選択肢)

映画は本来実在しない虚構の映像の世界であり、登場人物は虚像にすぎないが、その中に引き込 まれたり自己を投入したりすることによって、実在するものとして認知されるようになること。

図 3 タイプ $\mathrm{A}$ の難問の例（2001 年本試験 第 1 問の問 2）

## (本文の解答根拠部分)

‥ しかしながら 映画を見るという行為は、一瞬たりとも休むことのない時間の速度にとらわ れ、その奴隷と化することでもあった。... 映画は一方通行的に早い速度で流れる時間に圧倒 されて、ついにはひとつの意味しか見出せない危険な表現であり、...

(正解選択肢)

映画は、限られた時間のなかで壮大な時空間を描き出すようなことを可能にしたが、映画に見入っている時間をきびしく制限しようとすることで、観客の眼差しを抑圧してしまうことに なった。

図 4 タイプ $\mathrm{C}$ の難問の例（2005 年本試験 第 1 問の問 4 ）

タイプ $\mathrm{A}$ の設問の例を図 3 に，タイプ $\mathrm{C}$ の設問の例を図 4 に示す.

タイプ $\mathrm{A}$ おび B の設問で求められる抽象と具体を結びつける能力は, 抽象語と具体例を結 びつける辞書的なデータの作成や, 多数の抽象-具体テキストペアの蓄積が可能であるような, ごく限定的な主題を除き, 現在の言語処理・人工知能技術の射程外であろう. タイプ $\mathrm{C}$ の設問 は, 形式的には言い換え認識あるいは含意関係認識に近い問題であるものの, 最先端の手法と 表層的類似度に基づく手法との差が小さい現在の技術水準 (Watanabe, Miyao, Mizuno, Shibata, Kanayama, Lee, Lin, Shi, Mitamura, Kando, Shima, and Takeda 2013)では, やはり解決不可能 な問題が多いと考えられる。

## 4.3.3 人間の解答との比較

代ゼミから提供されたデータを用いて, ソルバーの解答傾向が人間（受験生）のそれと似て いるかの比較を行った. 代ゼミ模試 20 問において, ソルバーの解答結果と, 受験生の解答番号別マーク率を比較した。受験生の選んた選択肢 $n$ 位までにソルバーの選んた選択肢が含まれる 設問数を表 16 に示す.この表の $\mathrm{R} @ n$ は, 受験生のマーク率順位の $n$ 位までにソルバー出力が
表 16 受験生の選んだ選択肢上位にソルバー出力が含まれる設問数

表 17 人とシステムの正答傾向の比較（国語 評論傍線部問題）

含まれたことを表す。

表 16 を見ると，節境界法に比べて，本文照合法の解答傾向の方が受験生と似ている。代ゼミ 模試において節境界法より本文照合法の方が好成績であったことを考慮すると，代ゼミ模試に おいては，受験生と解答傾向が似ているソルバーの方が，正解率が高くなると考えられる.

代ゼミ模試 20 問に対する,ソルバー（本文照合法 P- $0-0, C^{1}, \mathrm{ps}$ ）と受験生のマーク率 1 位の 解答のクロス表は表 17 のようになった：クロス表では, ソルバーが正解した問題では受験生も 正解が多い傾向があるように見える。しかし, Fisher の正確確率検定の結果は $p=0.34$ で, ソ ルバーと受験生の正答の分布が独立であることは棄却できなかった.

## 4.4 国語：まとめと今後の課題

本節では，東ロボ国語チームが提案，実装した評論傍線部問題の自動解法とその成績，およ び解答結果の分析について述べた，実装した本文照合法，節境界法は，いずれも文字列の表層的類似度を用いる解法であり，本質的に正解できない難問もあるものの，ソルバーは，適切な パラメータさえ選べば，多くの問題に対してスコア順位で上位に正解選択肢を出力できた.

現在のソルバーは, 全ての傍線部問題に対して同じパラメータ, 同じ解法で解答するが, 今後 は，問題を換言型，理由型などいくつかの型に分類し，より適したパラメータ，特徴を用いて 解く必要があると考えられる，たとえば，傍線部の理由を問う理由型の問題の場合, 本文傍線部周辺の比較的狭い領域の，因果関係を表す表現などが手がかりとなるであろう。また，評論 には例示や引用がしばしば用いられるため，本文および選択肢を，本質的に重要な部分とそう でない部分に分け, 重要な部分のみで照合を行うようなアプローチも有用であると考えられる.
傍線部問題は小説を本文とする第 2 問でも大きなウェイトを占める．小説の傍線部問題は形式的には評論のそれと類似しているものの, 本文には直接記述されない登場人物の感情・思考 などが問われる問題が多く, 評論と同様の表層的類似度を用いた手法ではチャンスレべルと大差ない正解率となることが分かっている (佐藤他 2014). テキストから書き手の感情（極性）を 推定する研究はこれまで非常に多くあるが，小説の読解問題として問われるような細かな感情 タイプを表層的手がかりから得る技術の実現可能性は今のところ明らかでない.

漢字 (評論) の問題は辞書を用いた手法で概ね十分な精度が出ている（2013 年度， 2014 年度 とも代ゼミセンター模試で全問正解)。語句の意味（小説）に関する問題に関しては，通常の語義を問う問題では国語辞書を用いた手法で高い精度が得られている。しかし，語句の意味に関 する問題では，本文で比喩的に使われている語句の意味を文脈に即して選ばせる夕イプの問題 がしばしば出題され，これらに対する正解率が低い。このタイプの問題の解決には，語句が比喻的に用いられているか否かの識別とともに比喻の内容を本文に即して解釈することが必要で あり，特に後者は難しい課題である.

古文（第 3 問）の解釈問題に対しては, 古文-現代語対訳コーパスから学習した統計的機械翻訳モデルを利用し，本文を現代語訳した上で評論の傍線部問題と同様の本文と選択肢の間の 表層的類似度を用いた手法で $50 \%$ 程度の正解率を得ている。BLEUによる訳質評価および目視 による主観評価の結果から, 古文-現代文翻訳の品質には向上の余地が認められる。しかし一方 で，機械翻訳の代わりに人手による参照訳を用いた比較実験では正答率の向上が見られず，通常の意味での翻訳品質の向上は正解率の向上に寄与しないことが示唆される．翻訳品質が直接正答率に結び付かない要因としては, 小説の傍線部問題と同様に, 直接記述されない心情を問 う問題が多いことに加え, 現在用いている単純な表層的類似度では, 例えば重要語句「をかし」 の解釈などといった，問題のポイントとなる部分がすくい取れていないことが考えられる。

評論・小説および古文の各大問の最後では, 表現の特徴・効果や議論の構成について問うタイ プの問題が出題されるのが通例である。しかし, これらの問題に関しては, 文章ジャンルを問 わず, ほぼ手つかずの状態にある。表現の特徵・効果の理解は, 現在の言語処理の主要な目標 である文章の意味そのものの理解を超える課題であり，当面，解決の見达みはないだろう．議論の構成に関する問題は, 自動要約や修辞構造解析など現在の言語処理における取組みと重な り合う部分もあるものの, 抽出的でなく抽象度の高い要約を選択する, あるいは, 修辞構造の 効果を内容に即して説明する選択肢を選ぶ，など，既存の要素技術の組み合わせではカバーで きない課題が多い.

最後に，漢文の解釈問題に関しては古文と同様に現代日本語訳を経由して，翻訳された本文 と選択肢との類似度に基づき解答する手法が考えられるが, 入手可能な対訳リソースが無いた め手つかずの状態になっている.

## 5 数学問題のエラー分析

数学では, 問題文からの情報抽出やデータベースからの情報検索のみで解答が得られる問題 は例外的であり，一般には計算や推論などの数理的操作によって解を導く必要がある。このた め, 問題文を分析し, 数理的操作の入力となる何らかの形式表現を得るステップが不可欠とな る。この中間的な形式表現としては，答えを直接導く計算式から論理式による問題全体の意味表現まで様々なものが考えられ，言語処理部分でのアプローチも，ターゲットとなる形式表現 の枠組みに応じ種々の手法があり得る。適切な形式表現の朹組みを選ぶにあたって，まず考慮 すべき点として，想定する問題の定型性が挙げられる。例えば，Kushman ら (Kushman, Artzi, Zettlemoyer, and Barzilay 2014) は対象とする問題を連立一次方程式で表現される代数の文章題 に限定することで，言語処理部分を問題テキスト中の名詞および数量と方程式中の変数および 係数とを対応付ける学習問題に帰着している。我々は多様な問題を同一のシステムでカバーす ることを目的として論理式による表現を採用し，文法主導の翻訳によって問題文から形式表現 を得るアプローチを選択した。

図 5 に示すように，解答システムは言語理解部と自動演繹部，および両者をつなぐ意味表現の書き換え処理部からなる。言語理解部の中心は組合せ範疇文法 (Combinatory Categorial Grammar, CCG) (Steedman 2001; 戸次 2010) による構文・意味解析である. CCG によって導出された各文に対する意味表現は, 共参照解析および文間関係の解析を経て, 問題テキスト全

図 5 数学解答システムの概要
表 18 数学 $(\mathrm{I}+\mathrm{A}, \mathrm{II}+\mathrm{B})$ の失点要因

体に対応する意味表現へと合成される.

言語理解部の各処理コンポーネントは現在開発中の段階にある。このため, 代ゼミ模試によ る中間評価では, (1) 問題文中の数式部分に対する意味表現, (2) 文節間係り受け関係, (3) 共参照関係，(4) 文間の論理的関係，および (5) 評価時点の CCG 辞書に含まれていなかった単語・語義, の 5 種のアノテーションを施した問題文を入力とした. 問題の意味表示は, これらのアノ テーションを制約として CCG 導出木を探索し, 導出木と文間の論理関係に沿って辞書中の単語 の意味表示を合成することで半自動的に得た. よって, 模試による評価結果は, 曖昧性解消処理および辞書の被覆率に関し理想化した場合の性能の上限値として解釈すべきものである。手法および入力アノテーションの詳細については, 文献 (Matsuzaki, Iwane, Anai, and Arai 2013, 2014）を参照されたい，今回，入力アノテーションで代替した処理に関する考察および見通し については本節末で述べる.

因の内訳である。以下では，アノテーションによって理想化された条件でも残るエラーのうち 最も多くを占める 2 要因である，「表現の宇長性による計算量の爆発」と「行為・操作結果の表現」に関する問題について主として述べる。これら以外で，言語処理に関係する主要な要因と しては，確率・統計に関する問題に対して，意味表現の設計を含め言語処理部分が未着手の状態 であったことが挙げられる。これは, 確率・統計の問題では「ボールを取り出す／戻す／テー ブルに置く」「サイコロを用いてゲームをする」等々，あらかじめ形式的な定義を与えることが 難しい要素が頻出するため, 本節で示した問題の論理表示を経由する形式的なアプローチはな じまないと考えたためである。これとは異なるアプローチによる確率問題への取り組みについ ては別稿 (神谷, 松崎, 佐藤 2015) を参照されたい.

## 5.1 意味表現の冗長性

文法主導の方法で構成的に導出した意味表現は, 非常に冗長になる傾向がある。例として,「線分」という一般名詞を考えてみる。「線分」に対応する意味表現は，あるモノが線分である ことを表す一項述語 $(\operatorname{segment}(\cdot)$ とする）であると考えるのが一般的である.このとき，単語
「線分」の一般的な用例に従い, 述語 $\operatorname{segment}(\cdot)$ は, 縮退したケースすなわち両端が一致した線分（つまり一点）を除外するよう定義されるべきである。この非縮退条件は，どのような文脈 においても単語「線分」の翻訳が妥当なものとなるために必要である.

しかし, 例えば「点 $(0,0)$ と点 $(1,1)$ を両端とする線分 $L\rfloor$ といったフレーズのように, 非縮退条件は非常にしばしば文脈によって含意される。左記のフレーズの場合, その形式表現は述語 $\operatorname{segment}(\cdot)$ の定義から，おおむね「 $L$ は $(0,0)$ と $(1,1)$ を通る直線上で $(0,0)$ と $(1,1)$ の間にあ る点の集合で，かつ点 $(0,0)$ と点 $(1,1)$ は異なる点である」という内容となり,「かつ」以下の部分が冗長である。この例では，㔯長な部分はそれ自体で自明に真であるが，一般には問題文中 に現れるいくつかの条件を総合したときにはじめて非縮退条件が満たされていることが分かる. このため, 自動演繹の過程では，問題を解く上で本質的な演繹と，㔯長な非縮退条件が実際に 成立していることの証明にあたる非本質的な演繹が入り混じった形で行われることになり，演繹の計算コストが増大する。

ここまでは非縮退条件を例として説明したが，その他にも等号関係の伝播による冗長な表現 $(a=c \Leftrightarrow \exists b(a=b \wedge b=c))$ や一般性を失う事なく除去できる対称性など，意味表現の壳長化の 原因は複数ある。これらはいずれも語彙の意味定義の文脈独立性および意味合成の構成性に起因するもので，本手法における意味解析の原理の副作用というべきものである。2014 年度の代 ゼミセンター模試で正解できなかった問題の内, 得点にして $27 \%$ (28 点）が, 宇長かつ複雑な 意味表現を対象とする演繹処理が制限時間内に終了しなかったことによるものであった.

ここで計算量が問題となっているのは実閉体の式に対する限量子除去と呼ばれる処理 (Caviness and Johnson 1998; Iwane, Yanami, Anai, and Yokoyama 2013) であり, 用いているアルゴリズ ムの最悪計算量は式中の変数の数の 2 重指数のオーダーである. このため, 言語処理の結果出力される式から不要な変数を除去することは極めて重要となるが，一方で，数式処理によって これを実現する一般的な手法は存在しない（であろう）ことが分かる。よって，式の壳長性の 解決へ向けては，条件の対称性など問題の数理的特徴を利用した発見的手法とともに，文法お よび意味合成手続きの特徴を考慮した, 言語解析からの出力に特有の冗長性を除去する手法の 開発が必要であろう.

## 5.2 行為結果の表現

現在の我々の意味表現体系で扱えない例として, 行為や操作の結果を表す表現を取り上げる. 2014 年度センター模試数学 I・A では

$
104 \text { を素因数分解すると囤 }{ }^{3} \text { イウウでる. }
$

という文を含む出題があったが，現在の我々の文法体系ではこの文に対する意味合成ができな い. 同様の「Xを $\mathrm{V}$ すると $\mathrm{Y}$ となる」という構造を持つ文（以下，「行為結果文」と呼ぶ）は 他にも
- $n$ を 2 乗すると 4 の倍数となる.
- 放物線 $C$ を $y$ 軸方向に 1 たけ平行移動すると放物線 D となる.
- 円の半径を 2 倍にすると面積は 4 倍になる.
- 方程式 $x^{2}+2 x+1=0$ の左辺を因数分解すると $(x+1)^{2}=0$ となる.

など種々あり，数学テキストでは比較的よく現れるタイプの文である。 2014 年度の代ゼミ模試 では, 数に対する操作の表現を含む問題で上記の理由によって正解しなかったものが 20 点分,類似の理由で，数式に対する操作の表現を含む問題で正解しなかったものが 18 点分あり, 合わ せて失点全体の $36 \% を$ 占めていた。

動詞「なる」および接続助詞「と」の通常の用法も考慮すると, 行為結果文「Xを Vすると $\mathrm{Y}$ となるの意味表現としてもっとも表層構造に忠実なのは以下のような内容のものだうう：

(1) 行為 $\mathrm{V}$ の前の世界 $W_{1}$ と行為後の世界 $W_{2}$ には，ともにモノ $\mathrm{X}$ が存在する．そして，

（2）行為 $\mathrm{V}$ の結果モノ $\mathrm{X}$ の性質は変化し, 行為後の世界 $W_{2}$ ではモノ Xとモノ $\mathrm{X}$ は一致す る，あるいはモノ $\mathrm{X}$ は $W_{2}$ では性質 $\mathrm{Y}$ を満たす.

ここでは行為 $\mathrm{V}$ の前・後における世界の変化を捉えるために，ある種の時間の概念（ないし複数世界間の推移) が意味表示の体系に持ち込まれている.

しかし, 実際に問題を解くために上記のような行為結果文から読み取る必要がある意味内容 は, 通常の述語論理の枠組みで十分表現可能である。例えば，上の箇条書きの最初に例に対し ては「 $n^{2}$ は 4 で割り切れる」という表現で十分である。また, 明示的に時間の推移を表す「点 $P$ は速度 $v$ で動き, 時刻 $t$ に点 $Q$ に到達する」といった表現を含む問題は比較的少数であるこ とも考えあわせると, システムの現在の開発段階で意味表現に時間の概念を持ち込む利得は意味表現・言語解析および推論の複雑化に見合わないと考える.

幸い，これまでに観察された行為結果文は定型的なものが多く，時間の概念を含まない現在 の枠組みでも，必要な意味表現を合成することは多くの場合に可能であると思われる．特に「X を $\mathrm{V}$ すると $\mathrm{Y}$ となる」という形の文については，下記の 2 つ方針が考えられる：

方針 1 主節「Yとなる」はガ格のゼロ代名詞を持ち, そのゼロ代名詞は間接照応で「Xを $\mathrm{V}$ した結果」を指すと考える。この方針では節「Xを Vすると」は意味表現に直接は寄与 せず（翻訳されず）「XをVした結果が Yとなる」に相当する意味表現が作られる.

方針 2 句 $\mathrm{V}$ すると」は右にガ格を欠いた一項述語を項として取り, 左にチ格名詞句を項と して取ると考える（即ち「「Vすると」は範疇 $S \backslash N P_{0} /\left(S \backslash N P_{\text {ga }}\right)$ を持つ).

方針 1 のゼロ照応の解決は，行為結果文の定型性を利用することで比較的容易に実現できる と予想される. 方針 2 の利点としては, ゼ口照応解決に依らず, CCGによる解析の朹組み内で 全ての意味合成が行えることに加え, 例えば「2乗すると 10 を超える奇数」のような連体修飾 の形も上記の範疇を持つ「Vすると」の語彙項目によって同時に扱える点が挙げられる（図 6).

図 6 連体修飾の形の行為結果文の解析

## 5.3 数学：まとめと今後の課題

本節では，入力アノテーションによって言語処理とくに曖昧性解消処理の大部分を代替した 理想化された状況でもなお残る数学解答システムのエラーに関して解説を行った。意味表現の 冗長性に起因する計算量の増大は，言語処理と自動演繹の両者にまたがる夕スク設定に特有の 課題であり，解決に向けては，文法・意味合成の特性を踏まえた数式処理技術など分野融合的な 研究が必要となる。行為結果文の分析に関する課題では, いわゆる "generalization to the worst case"の問題をどう回避するか, という点が本質的である。これは，大多数の文の構造は典型的ないくつかの文法・意味現象の組み合わせとして分析可能であるにもかかわらず，多様な言語現象をカバーするための分析枠組みの下では, 具体的な分析対象がどのような文であっても, その意味表現が一様に（かつ，枠組みが対象とする現象の数に関して組合せ的に）増大すると いう問題である。本稿では，数学テキストでの行為結果文の定型性を利用した分析の単純化を 一つの解として提示した。

言語系・社会系の科目に比べ数学解答システムの言語処理部の開発は遅れている. 数学解答 システムの開発では，これまで，自然言語から構成的に導出が可能で，かつ数理処理部への入力として適した意味表現の設計に注力してきたことが，言語処理部の開発の遅れの主たる理由 である。これを裏返して言えば，数学のように形式的な意味表示のための体系がほぼ確立した 分野に対しても，言語から意味表示を導出するための中間的な意味表示体系として直接利用で きるような枠組みは存在しなかったということであり，言語処理と自動演繹という人工知能の 2 つの下位分野をつなぐ領域は大きく欠落していたと言ってよいたろう.

言語処理部分の自動化に向けた主要な課題は, (i) 既存技術の数学テキストへの分野適応，(ii)既存技術・コーパスでは対象とされていない現象の解析，(iii) 文法の被覆率の向上，に分けら れる。(i) に関しては, 例えば, 係り受け解析器 cabocha (工藤, 松本 2002) に対して, 数学問題 テキスト約 10,000 文に対する係り受けアノテーションを用いた追加訓練を行うことで数学問題 テキストに対する解析精度を追加訓練前の $87 \sim 90 \%$ か $94 \%$ 程度まで向上できることが分かっ ている。このように，分野適応によって，新聞テキスト等に比べ高い解析精度が得られる処理 ステップが存在する一方で，数学問題を解くという目的に向けては，さらに残る解析エラーを

ゼロに近づけることが必要である。上記の傒り受け解析に関する結果からも示唆されるように， エラーをゼロに近づける段階では,「汎用」の分野適応手法ではなく, 分野特有の知識や数理処理の結果のフィードバック等を用いた手法が必要となることが予想される.

(ii) に関しては, 例えば, 命題を指す参照表現（「このとき」「そのとき」）や, 不飽和名詞・関係名詞に係る「ノ格」のゼロ照応解決（例「平面上に直角三角形 $\mathrm{ABC}$ がある。斜辺 $\mathrm{BC}$ は…」）な ど, 日本語共参照・照応解決のための学習・評価データとして近年ひろく用いられている NAIST テキストコーパス (飯田, 小町, 井之上, 乾, 松本 2010)ではアノテーションの対象となってい ない現象の解析が必要であり，既存のツール・データをそのまま利用した解決は事実上不可能 である。また, 文間の論理関係の解析に関しては, 修辞構造解析・談話構造解析など, 形式的 には類似のタスクに関する研究があるが, 変数のスコープ解決を含め, 文間の詳細な論理的関係の解析を対象とする研究は我々の知る限り存在しない。これらの課題に関しては，まず，分野知識を前提としたルールベースの手法による達成率を調查し, その後, 必要であればテキス トアノテーションを介した統計手法との組み合わせを検討することが目標の実現へ向けた戦略 としては妥当であろう。

(iii) の文法の被覆率の向上に関しては, 現在のところ見通し不明であると言わざるを得ない.名詞・動詞など内容語に関しては, 辞書見出し語による文表層形の被覆率を測定することで, 必要な語彙のうち辞書に未収録なものの概数が分かる。しかし，機能語は同一表層形のものが多数の異なる統語的特性および意味をもつため, 被覆率の測定のためには, 文が解析可能である か否かに加え, 得られた意味表示が正しいことを確認する必要がある。このため, 構文解析す ら自動化されていない現段階では, 少数のサンプルを超えて大規模な被覆率の測定を行うこと は難しい。今後は, 言語解析の結果から得た解答のチェックを通じて, 間接的に被覆率の測定 や機能語の未知の用法の検出を行うといった工夫が必要になると考えている.

## 6 物理問題のエラー分析

大学入試における物理の問題の多くは, 問題に記述された状況において, ある物理現象が起 きたときの物理量についてのもの（e.g. “物体が停止した時間”）や，物理現象が起きるための 条件となる物理量についてのもの（e.g. “棒がすべり出さないための静止摩擦力”）である. 本研究ではこの種の問題解答に向けて, 物理シミュレーションによって問題に書かれている状況 を再現し, 得られた結果を用いて解答を行うアプローチで取り組んでいる (横野, 稲邑 2014).

解答器は自然言語で記述された問題を入力として受け取り，まず意味解析を行い，状況の記述と解答形式の記述からなる形式表現を生成する。次に形式表現を元に物理シミュレーション を行い, 得られた結果から問題に記述されている物理現象が起きた時刻における物理量を特定 し，解答形式にあわせて出力することで問題に解答する。

2014 年度の代ゼミセンター模試による評価では形式表現からシミュレーション結果の取得に 焦点を当て，人手で記述した問題の形式表現を入力とし，得られたシミュレーション結果から 解答が導けるかどうかを人が判断するという設定とした。この設定においても正解が得られな かった問題とは, シミュレーション自体が行えなかった問題であり, 大別すると (i) 形式表現 による記述が困難な状況設定を含む問題 (ii) 電磁誘導などシミュレーションが困難な物理現象 を含む問題，の２種類がある．本稿では (i) に焦点を当て，その詳細について述べる。

## 6.1 形式表現

本手法で用いている形式表現は一階述語論理の形式で記述している。定義している述語は物体, 物理量, 物体に対する操作, 物理現象を表す 4 種類のものである。このうち物体に対する 操作と物理現象を表す述語に関しては, 事象が起きた時間関係を明示するためにイベント変数 を導入している。形式表現に用いる述語セットは過去のセンター試験問題を対象とした調查結果を基に人手で定義した.

現時点における形式表現の定義でどの程度の問題が記述できるかを 2013,2014 年度の代ゼミ センター模試 5 回分を用いて評価した。結果を表 19 に示す。状況記述の項は実際に形式表現 で記述できた小問の数を示している。状況記述の項の“+”以降の値は新しく述語を定義するこ とで状況の記述が可能となった問題の数を示す.

状況の記述ができないと判断された問題は全部で 25 問あり，その理由の内訳は，シミュレー ションモデルの不足によるものが 12 問, 画像で形状が指定されるオブジェクトをシミュレー 夕に入力できないことによるものが 8 問, その他の理由によるものが 5 問であった. 以下では,上位 2 つ原因について詳細を述べる。

表 19 形式記述の分析（試験 5 回分）

## 6.2 シミュレーションモデルの不足

物理問題の形式表現では，数学における集合論のように，全ての問題を記述しうる表現の枠組みを考えることは現実的でない，このことは，例えば力学, 電磁気, 波動（音波，光，弦の 振動）といった多様な分野の問題を一様に「原子レベル」で記述することの非現実性から明ら かたろう。すなわち, 物理では各分野および問題タイプごとに適切な抽象度の物理モデルを用 いる必要がある。これらのモデルには, 力学や電気回路など, 比較的多様な問題をひとつのモ デルでカバーするものから，「両端が固定された弦の振動」といった単一の現象のみを対象とす るものまで様々な抽象度のものが含まれる。

ゆえに，物理問題に対する形式表現の記述とシミュレータでの実行は, (i) 適切な物理モデル の選択と (ii) 選ばれた物理モデルの枠組みの中での問題の解釈，という 2 つ側面を含む。こ の 2 つの側面は不可分であり, 問題に対して適切な抽象度の物理モデルが事前に存在しない場合は，問題に対する形式的記述がそもそもできない，定性推論 (Forbus 1984)などのように，基礎的なレベルの状況記述から, より抽象的で演繹に適したモデルを自動的に生成することを目指す研究は存在するものの, 広範囲の物理問題に適用可能な解答プログラムの開発を $5 \sim 10$ 年 のスパンで目指す本研究ではスコープ外の目標と見なすべきであろう.

表 20 の「シミュレーションモデルの不足」は, 上記の意味で適切な物理モデルが評価時に存在しなかった問題である。ここに分類された問題のうち半分以上（12 問中 9 問）は，例えば，「一定の風速および方向の風が吹く中で伝わる音波のドップラー効果」や「質量 $2 m$ の重りをつ るすと切れる糸を用いた円錐振り子」のように，現在の音波の伝達モデルや力学モデルを拡張 することで表現が可能になる問題である。しかし, そもそもどのような抽象化をすべきか現段階では明らかでない「伏せたコップを水中に沈め，水圧によってコップの下端から $x \mathrm{~cm}$ の高さ まで水が入りこんた状態」のような問題も含まれている.

本研究では力学に関係したモデルから開発を始めたため, 力学に関しては記述可能な問題の 割合が相対的に大きい，今後は，「切れる糸」など力学モデルの中で例外的な扱いが必要な現象 を洗い出し, モデルに取り込むとともに, 現象に対し個別的なモデルが必要な問題が多い波動

表 20 状況記述ができない理由

 & 12 &  \\

などの分野に関して, どの程度のモデル数が必要か, 現実的に実現可能なモデル数に収まるの かを見定める必要がある.

## 6.3 自由形状の入力

問題には「平らな床の上に置かれた立方形の台」のように基本的な小数の要素で構成可能な状況だけでなく, 図7のように画像によって与えられた複雑な形状の要素が出現するものがある. これらは原理的には力学モデル内で扱うことが可能であるが，シミュレータへと状況を入力す るために画像処理を必要とし, さらに自由形状のオブジェクトを取り扱うためのシミュレータ 機能の実現コストが大きいため, 現在は未着手の状態にある.

## 6.4 物理：まとめと今後の課題

物理問題の多くは問題で与えられた状況に対して起きた物理現象について, その時の物理量 やその物理現象が成立するための条件を問うものである。このような問題に対して, 我々は問題に書かれている状況を認識し，その状況を起点とする物理シミュレーションを行い，得られ た物理量をもとに解答するというアプローチで取り組んでいる。これまで，十分な範囲の問題 を記述することができ，かつ，その情報から物理シミュレーションが可能となるような形式表現の定義を行ってきた，表 19 に示すように，まだ記述できない問題は残っているため, 今後も 定義を改良する必要があるが, 同時に自然文として記述されたテキストからこの形式表現への 変換にも取り組む予定である.

問題テキストから形式表現への変換は, 現在さかんに研究が進められている semantic parsing の一例と見なすことも可能ではある. しかし, これまでの semantic parsing のタスク設定では,

図 7 複雑な形状の例
翻訳の目的言語となる形式表現のセマンティクスがあらかじめ固定されているのに対し, 物理問題の状況理解では目的言語を定める物理モデルの選択が形式表現への翻訳と一体になってい る点が大きく異なる。これによって, 物理問題の意味解析には, 例えば「鉄球」という語に対 し「質点」を表す表現を割り当てるのか，あるいは大きさを持つ剛体を表す表現を割り当てる のか，という訳語選択に当たるレベルの曖昧性解消だけでなく，「時刻 $t$ に車のサイレンが発し た音波」といった表現から「気圧の周期変動の伝播」としての音波ではなく，音源から音波が あたかも「物質のように」放出される音波モデルを選択すべきことを識別する，といったテキ スト解析に基づく物理モデルの選択の問題が含まれる.

また, 現時点では, 数值データとして出力されるシミュレーション結果を人手で解釈して解答しているが, 最終的にはこの部分も自動化する必要がある. この部分は, センター試験形式 の物理問題では, 選択肢として与えられる式やグラフ, あるいは選択肢および本文における自然言語による状況記述と, 物理的状況を表す数値デー夕との整合性ないし含意関係を判定する 問題である。このうち, 自然言語による記述と数値デー夕を比較判定する問題は, 問題の状況理解とほぼ裏表の関係にあり，例えば「止まる」「離れる」等々といった状況を表す語に対し数値（時系列）データに対する条件を結びつけた辞書を用いて，数値データと言語記述の整合性 を判定する手法の開発を進めている (横野, 稲邑 2013).

また，物理の問題には問題文とともに状況を示した図が添付されていることが多い。この中 には， 6.2 節で挙げたように，物体の形状が図でのみ与えられるなど，図の解釈が必須となる問題も存在するが，テキストで与えられた状況記述の曖昧性を除去する目的で図が添えられた問題も多数存在する. 後者のタイプの問題に対しては, 画像理解とテキスト理解を融合した状況理解の手法の開発とともに，言語理解に基づくシミュレーション結果がテキストでの記述と合致するか，など画像理解以外の手段でテキスト解釈を補う技術を開発することを試みている.

## 7 世界史・日本史のエラー分析

本節では, 2014 年度の代ゼミセンター模試に対し, 狩野 (狩野 2014)のシステムが出力した 解答のエラー分析について報告する。本システムは, 山川出版社の世界史または日本史の用語集を知識源とし, 設問から抽出したキーワードが知識源の中でどのように分布しているかをス コアとして算出し, 解答を選択する。具体的には, 設問および知識源に対して以下の各処理を 行い，解答の選択を行う ${ }^{3}$.

（1）問題文解析：問題文のテキストを前処理し，キーワード抽出を行う対象テキストを切り

出す。一般に，設問は背景説明のテキストや導入文，実際に正誤判定の対象となる文な ど，複数のテキストから構成される。そこで，これらのテキストから後段の処理で必要 となるテキスト箇所を抽出する必要がある.

（2）キーワード抽出：前処理した問題文テキストから，スコア付けに用いるキーワードを抽出する。キーワードリストとして, Wikipedia の見出し語から自動抽出した語句を人手 でクリーニングしたものを用い，単純なマッチングでキーワード抽出を行った。

(3) 知識源検索：抽出したキーワードで知識源を検索し，キーワードに合致するテキストを 得る.

（4）スコア付け：キーワードと検索結果テキストとの一致度をスコア付けする. 後述するよ うに，センター試験では文の正誤を判定する問題が多い，誤りを含む文では，知識源のま とまった範囲内にキーワードが出現せず，別の場所に出現すると考えられる．したがっ て，検索結果テキストにキーワードが含まれない場合は，ペナルティとして負のスコア を与える。

（5）解答選択：文の正誤を判定するタイプの問題に対しては，スコアが大きいものを正しい 文として解答を選択する。語句を解答するタイプの問題（いわゆる factoid 型質問応答に 相当）に対しては，選択肢に挙げられた語句を問題文テキストに埋め込み，文の正誤判定問題に帰着して解答を行う，年代を解答する問題については，検索結果テキスト中の 年代表現を抽出することで解答を行う.

このシステムは, 2013 年度および 2014 年度の代ゼミ模試「世界史」・「日本史」において最 も高い性能を示したものである。また，同システムは， センター試験の世界史過去問を用いた 競争型ワークショップである NTCIR-11 QA-Lab Task (Shibuki, Sakamoto, Kano, Mitamura, Ishioroshi, Itakura, Wang, Mori, and Kando 2014) にも参加している4. 同ワークショップに参加した他のシステムにも本システムと同様にキーワードないし係り受け関係をクエリとした検索を基礎とするシステムが多数あった。これらのことから，本節で分析対象とするシステムは，分野特有の処理に依存しない, 検索をべースとした汎用的なシステムとしては比較的高性能な ものであると考えてよいだろう。

表 21 に世界史, 表 22 に日本史の問題タイプとエラー分析結果を示す。センター試験の世界史・日本史では，選択肢として与えられた文に対して正誤を判定するタイプの問題が大きな割合 を占める（例えば図 8)。語句や年代を解答するタイプの問題（例えば図 10）はいわゆる factoid 型質問応答に見えるが，知識源中の解答に関連する記述は多くの場合一つしか無く, 大規模テ キストを利用した解答の aggregation といった技術は利用できない. したがって, 語句・年代 と問題文との組合せの正誤を判定するタスクに帰着される。このように, 知識源を的確に参照

表 21 世界史の問題タイプと誤答の要因

表 22 日本史の問題タイプと誤答の要因

図 8 問題文解析の誤りの例

しつつ, 文の正誤を判定するという処理は, 上記のようにテキストの前処理, キーワード抽出,検索, スコア付け等, 複合的な処理が必要であり，また各処理で高い精度が要求される。各処理は当然不完全なものであり, 必ずしも排他的な関係にあるわけでもない. よって, 最終的に 誤答が出力された要因を単一の原因に帰着することは難しいため, 表 21 , 表 22 では, 複数の 要因は別個にカウントしてエラーの分類を行った。

「問題文解析」は, 問題に解答するための情報が書かれた問題文テキストを切り出す処理に 起因するエラーである。図 8 に例を示す5．この問題では, 問題文中に「ノモス」「王国」「古代 エジプト」といったキーワードが現れるが, 実はこれらの情報は選択肢の正誤判定には無関係

である。つまり，選択肢の文のみを用いて正誤の判定を行うことができる。一方，問題によっ ては問題文中のキーワードが正誤判定に必要な場合や, さらに背景説明のテキストも参照する 必要があることもある。次のエラー要因とも関連するが，どこまでのテキストをキーワード抽出の対象とすべきかは単純には決定できない.

「キーワード抽出」は，当該問題を解くのに必要・不必要なキーワードを分別できていないこ とに起因するエラーである。図 9 に例を示す.この例では， 2 は誤った文であるが，「君」「直」 などがキーワードとして認識されず，これらの語が知識源に現れなかったにも関わらずぺナル ティがかからなかったため，正しい文と判定されてしまった。これ以外にも，例えば「法制」「編集」といった一般語がその問題文中では重要なキーワードとなっているような場合や, 逆 に「アジア系」のような専門用語らしい語が知識源には明示的に書かれていないため, ペナル ティがかかってしまった例がある。世界史・日本史の知識がある程度ある人間が読めば, 重要 なキーワードと重要ではない（知識源に明示的に書かれていなくても正誤判定には影響しない） キーワードがある程度区別できるが，これを実現するのは容易ではない.

「一般知識」は, 解答のために必要な知識が明示的に知識源に記述されていないことに起因 するエラーである。世界や日本の地理・時代に関する知識，一般常識に照らした判断，等が必要とされる。単純な例としては, 図 10 のように, 「岩宿遺跡」がどの時代の遺跡か, という知識を予め用意しておけば解答できるような問題もある。このような知識は必ずしも教科書・用語集に明示されているわけではないが，データベースなどの形式で整理しておくことは可能で ある。より困難な例を図 11 に示す。この場合，知識源の文章を読めば，「北海道に水稲耕作は 及ばず」が妥当であることが分かるが，この判断のためには農耕，狩猟，水稲といった概念の 知識と, それらを対比して判定を行う処理が必要である. このように知識源の記述と設問の記

下線部 c（大和地方を中心とした政治連合であるヤマト政権が誕生し）に関連して，ヤマト政権の支配体制に関して述べた文として正しいものを，次の 1～4のうちから一つ選べ。

2. 君（公）や直の姓の有力豪族が国政を担当し，ヤマト政権の中枢をになった.

3. 国造に任命され，地方の支配権をヤマト政権から保証された地方豪族もいた。

図 9 キーワード抽出の誤りの例

背景説明 : 戦後すぐの 1949 年に行われた群馬県岩宿遺跡における発掘調査以降, 各地で ア の地層から打製石器が発見され, 日本における旧石器時代の文化の存在が明らかになった.設問 : 空欄アイに入る語句の組合せとして正しいものを, 次の 1 の のうちから一つ選べ.

2. ア更新世 イひすい (硬玉)

4. ア完新世イひすい (硬玉)

図 10 データベース・オントロジー的知識が利用できる例
述が直接一致しないケースは特に日本史の問題に多い.

「言語知識」および「言語構造」は，自然言語処理技術の利用・高精度化により解決できる 可能性のあるエラーである．前者は，例えば「解読」と「未解読」が反義語であるといった語彙知識や，「収穫した稲の脱穀」と「精穀具」のパラフレーズ関係など，言語知識を利用するこ とで正答が得られる可能性があるものである。「解読」「未解読」のような例であれば，言語リ ソースの整備により解決できる可能性が高い. しかし, 図 12 に示すような例はパラフレーズ認識あるいはテキスト間含意関係認識に相当するものもあり，必ずしも容易に解決できるもので はない。後者は, 係り受け解析, 述語項構造解析, 否定の解析などによって, 文の意味の違いを 認識することが必要とされるものである，典型的には，文章中に複数の命題が記述されている 場合がある。図 13 に示す例では, 正解は 2 であるが，4のキーワードも同一文章中に含まれて

$\mathrm{X}$ 北海道に水稲耕作は及ばず，採集・狩絾・漁労中心の続縄文文化が続いた。

$\mathrm{Y}$ 沖縄・南西諸島には南方から伝わった農耕が広まり，独特な貝塚文化が始まった。

知識源 : 擦文文化 7 13 世紀頃に北海道に広く展開した鉄器文化. 名称は続縄文土器と土師器の影響を受けて誕生した櫛の歯のような文様を持つ擦文土器に由来する。農耕もあるが，主生業は狩絾・漁労. 北海道式古墳も築造.

図 11 一般知識が必要な例

設問 : 下線部 d（水稲耕作を基礎とする弥生文化）に関連して，弥生時代の農耕について述べ た文として正しいものを，次の 1〜4のうちから一つ選べ。

2. 籾を田に直接まく直播が行われ，田植えは始まっていなかった。

4. 収穫した稲の脱穀は，木製農具の曰と堅杵を用いて行った。

知識源：木製農具 耕作具として鍬・鋤，水田面を平均にならすえぶり，精穀具としての木日・竪杵などがあり，イチイガシ・栗などの堅い木材でつくられた。

図 12 言語知識が必要な例

図 13 言語構造が必要な例
表 23 人とシステムの正答傾向の比較（世界史）

いるため，スコアが同率となり，最終的に誤った解答を選択してしまっている。この例は係り 受けあるいは述語項構造が正確に得られれば正しい解答が得られると期待される。また, 図 12 の例では，システムは 2 を選択したが，これは知識源には「田植えをした可能性も高まった.」 と記述されており，否定やモダリティの正確な解析によって正答が得られる可能性がある。た たし，このような言語知識・言語解析は新たなエラー要因を持ち込むため，単純にこれらの技術を導入することでは全体の正答率が下がる可能性が高い。必要な場面で適切かつ正確に言語処理技術を利用する必要がある。

最後に, 2014 年度代ゼミセンター模試「世界史 B」36 問について, システム出力と受験生の 選択率一位の解答（「人間」）とを比較したクロス表を表 23 に示す。全体の問題数は少ないが,人間が正解・不正解だった問題グループそれぞれに対するシステムの解答は正解・不正解がお よそ半数ずつになっており，人間とシステムの正解分布は独立であることがうかがわれる．実際に, Fisher の正確確率検定を適用した結果は $p=0.68$ であり，人間・システムの正解・不正解が独立であることは棄却されなかった。また，人間が不正解かつシステムが正解した 3 問（受

テキストを取得しており，単なる偶然ではなくシステムの性能が発揮された形で大多数の受験生が誤った問題に正解している。

## 7.1 世界史・日本史：まとめと今後の課題

本節では，世界史・日本史の試験問題を対象に，狩野 (狩野 2014)のシステムのエラー分析を 行った，本システムは構文解析，意味解析等の自然言語処理を行わず，設問と知識源とのキー ワードの一致をスコア付けする方式をとっている。自然言語処理の立場からは，より深い言語処理技術を利用することで正答率を上げるというアプローチが考えられるが，エラー分析の結果からは，それにより正答できる問題はそれほど多くなく，また精度が不十分な言語リソース・言語解析を導入することによる副作用も懸念される。一方, 問題文の前処理やキーワード抽出 に起因するエラーはまだ一定数残っており，これらは改善の余地があると考えられる。また，特に日本史では一般知識・常識や, 知識源に直接記述されていない知識を統合的に利用する必要がある問題が見られる。これを解決することは容易ではないが, 自然言語理解の興味深い未解決問題の一つと見ることもできる.

## 8 おわりに

本稿では大学入試センター試験形式の模試問題データを主たる対象として, 英語・国語（現代文評論) ・数学・物理・日本史・世界史の各科目に対する解答システムのエラーを分析した。本稿でエラー分析を行った問題タイプのうち, 現時点でもっとも解答精度が高いのは, 英語 の「発音・アクセント」「文法・語法・語彙」「語句整除完成」「未知語（句）語義推測」であっ た. これらの問題タイプでは, 辞書ベースの手法が非常に有効であった「発音・アクセント」を 例外として，いずれも巨大なテキストデータを利用した手法 (N-gram, word2vec) によって高い 正答率を得ている。また，「発音・アクセント」の強勢の予測に関する問題を例外として，他 3 つの問題タイプでは，マルコフ仮定から大きく外れる文法的な依存関係に起因するエラーを構文解析を利用して解消する，低頻度語（句）は辞書の語釈文で置き換えた上で類似度を算出す る，など，エラー傾向の分析によって，ある程度まで解決へ向けた方針が明らかになっている。

これに対し，国語現代文（評論）の読解問題では，50\%程度の解答精度は実現できており，現在の技術レベルを大きく超えると思われるいくつかの問題タイプを特定することまではできて いるものの, 解決可能性のあるエラータイプを言語現象と結びつけた形で類型化することは現在できていない，そのひとつの原因は，シンプルではあるが挙動の直観的把握が難しい, 表層類似度に基づく手法を用いていることにある。予備校による模試と実際のセンター試験で，相性のよい手法が異なるといった発見もあったが, 同様の理由でその原因の特定には至っていな い. 今後, 本文の修辞構造の解析などと組み合わせ, 手法を改善するにつれ，より詳細なエラー 分析が可能になることが期待される.

数学および物理では，これまで主として中間表現の設計および言語処理と数理的演繹システ ムとの接続部分に注力して研究を進めており, システム全体の自動化に関しては他科目に比べ 遅れている。他のテキストドメインに比べ，はるかに明確な意味表示を持つと考えられる数学 や物理においても, 言語からの翻訳を考慮した中間的な意味表示の体系が, 再利用可能な形で 存在しなかったことは, これまでの NLP/AIにおける欠落といってよいだろう．中間表現の設計が物理に比べやや進んでいる数学に関しては, 言語処理と演繹処理の接続に由来するエラー として, 表現の壳長性による計算量の爆発の問題があることを示し, 分野融合的な解決が必要 であることを述べた。

日本史・世界史のエラー分析では, 問題文および知識源テキストの言語解析や, 分野知識・言語知識・一般的な知識など種々のタイプの知識の利用など，エラー要因あるいは改善へ向けた 要素が多岐に渡ることを示した。また分析の結果から, 現在のシステムで最も改善が有効であ 万うポイントとして，選択肢からのキーワード抽出および問題文の前処理を挙げた。いずれも 本質的には歴史分野に関する一定の知識・理解を要する処理であり，ノイズを含む知識リソー スの導入などによる新たなエラーの発生に関する懸念はあるものの, 知識リソースや要素技術
自体の改良と, それらの追加要素の, 解答システムへの取捨選択的な導入が改良へ向けた唯一 の方策だろう。

いくつかの科目・問題タイプの解答システムの分析では, 最も多数の受験生が選択した解答 （以下，単に「人の解答」とよぶ）とシステムの出力との比較を行った。統計的検定の結果, シ ステムと人の解答の正答・誤答の分布が独立であるという帰無仮説がほぼ棄却 $(p=0.06)$ され たのは英語の語句整除完成問題に対してのみであった。予備調査として, 自動的な解答システ ムの完成には至っていない数学・物理に関しても，演繹部の能力と中間表現の複雑さと正答率 との関係を見るためにシステムの正解率と受験生の正答率の関係を調べた。しかし，現在のと ころ両者に特に顕著な関係は無いようであった.「人のように考える」システムあるいは「人の ように間違える」システムはもとより我々の目標ではない。しかし，人とシステムにとっての 難易の差について今後より詳細な分析を行うことで，システムの改良に関して，更なる知見が 得られることが期待される。

本稿で主として取り上げた問題タイプ，また今後の課題などとして簡単に触れた科目・問題 タイプを通覧すると，まず，大きな傾向として漢字やアクセント・発音，文法問題など，個別的な言語知識に関する問題については人間の平均あるいはそれ以上の精度を達成しているもの が多数ある一方で，英語・国語の長文読解に代表される総合的な能力を要する問題では良くて も人間の平均レベルにとどまっていることが指摘できる。また，個別的な言語知識に関する問題以外では, 数学・物理など, 解答システムの開発スピードは遅いが, 少なくとも現状問題と なっている点について現象レベルの説明が可能である科目と, 国語現代文 (評論), 世界史・日本史など，自動システムの完成までの開発は速かったが，エラー要因の類型化が難しい，ある いはエラー要因が多岐に渡る科目との対照が明らかである。これは科目ごとに各開発チームが 最も有効であると判断した手法を選択した結果であり，形式的な演繹に基づく手法と表層的手 がかりによる手法の比較にみられる一般的な傾向である。しかし, 例えば行為結果文について の分析から示唆されるように, 数学においても出現する構文パターンに大きな偏りがあるなど,表層的な手がかりに基づく手法が有効であろう側面も確かに存在する，逆に，分析結果から示 されたように，世界史・日本史にも詳細な言語解析が有効に働くであろう設問も一定数存在す る. 今後, 各科目ともより多角的なエラー分析と総合的な問題の把握を進める上では, 点数・開発スピードでは最適といえずとも，現状のアプローチとは異なる手法による結果との比較分析が有効であることが示唆される.

## 謝 辞

本研究を推進するにあたって，大学入試センター試験問題のデータをご提供下さった独立行政法人大学入試センターおよび株式会社ジェイシー教育研究所に感謝いたします。また，模擬
試験データおよび解答分布データをご提供下さった学校法人高宮学園に感謝いたします.また,日本史および世界史用語集の電子データをご提供くださった山川出版社に感謝いたします.

## 参考文献

新井紀子 (2014). ロボットは東大に入れるか. イースト・プレス.戸次大介 (2010). 日本語文法の形式理論. くろしお出版.

Caviness, B. and Johnson, J. (Eds.) (1998). Quantifier Elimination and Cylindrical Algebraic

Decomposition. Texts and Monographs in Symbolic Computation. Springer-Verlag.

Forbus, K. D. (1984). "Qualitative Process Theory." Artificial Intelligence, 24 (1-3), pp. 85-168.船口明 (1997). きめる！センター国語現代文. 学研教育出版.

Gubbins, J. and Vlachos, A. (2013). "Dependency Language Mmodels for Sentence Completion."

In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1405-1410.

服部昇平, 佐藤理史 (2013). 多段階戦略に基づくテキストの意味関係認識：RITE2 タスクへの

適用. 情報処理学会研究報告 2013-NL-211 No.4/2013-SLP-96 No.4, 情報処理学会.

加納隼人, 佐藤理史 (2014). 日本語節境界検出プログラム Rainbow の作成と評価. FIT2014 講

演論文集第 2 分冊, pp. 215-216.

東中竜一郎, 杉山弘晃, 磯崎秀樹, 菊井玄一郎, 堂坂浩二, 平博順, 南泰浩 (2015). センター試

験における英語問題の回答手法. 言語処理学会第 21 回年次大会 (NLP2015).

飯田龍, 小町守, 井之上直也, 乾健太郎, 松本裕治 (2010). 述語項構造と照応関係のアノテー

ション：NAIST テキストコーパス構築の経験から. 自然言語処理, 17 (2), pp. 25-50.

板野博行 (2010). ゴロゴ板野のセンター現代文解法パターン集. 星雲社.

Iwane, H., Yanami, H., Anai, H., and Yokoyama, K. (2013). "An Effective Implementation of Symbolic-numeric Cylindrical Algebraic Decomposition for Quantifier Elimination." Theoretical Computer Science, 479, pp. 43-69.

Jurafsky, D., Shriberg, E., and Biasca, D. (1997). "Switchboard SWBD-DAMSL Shallow-

Discourse-Function Annotation Coders Manual, Draft 13." Technical Report 97-02, University of Colorado, Boulder. Institute of Cognitive Science.

神谷翼, 松崎拓也, 佐藤理史 (2015). 数学確率文章題の自動解答システムの開発. 言語処理学会

第 21 回年次大会 (NLP2015).

狩野芳伸 (2014). 大学入試センター試験歴史科目の自動解答. 2014 年度人工知能学会全国大会 （第 28 回）.

加納隼人，佐藤理史，松崎拓也 (2015). 節境界検出を用いたセンター試験『国語』評論傍線部
問題ソルバー. 情報処理学会研究報告 2015-NLP-220, 情報処理学会.

工藤拓, 松本裕治 (2002). チャンキングの段階適用による日本語係り受け解析. 情報処理学会論文誌, $43(6)$, pp. 1834-1842.

Kushman, N., Artzi, Y., Zettlemoyer, L., and Barzilay, R. (2014). "Learning to Automatically Solve Algebra Word Problems." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 271-281.

Li, X., Ran, T., Nguyen, N. L., Miyao, Y., and Aizawa, A. (2013). "Question Answering System for Entrance Exams in QA4MRE." In CEUR Workshop Proceedings: Working Notes for CLEF 2013 Conference, Vol. 1179.

益岡隆志，田窪行則 (1992). 基礎日本語文法一改訂版一. くろしお出版.

Matsuzaki, T., Iwane, H., Anai, H., and Arai, N. (2013). "The Complexity of Math Problems Linguistic, or Computational?" In Proceedings of the 6th International Joint Conference on Natural Language Processing, pp. 73-81.

Matsuzaki, T., Iwane, H., Anai, H., and Arai, N. H. (2014). "The Most Uncreative Examinee: A First Step toward Wide Coverage Natural Language Math Problem Solving." In Proceedings of the 28th AAAI Conference on Artificial Intelligence, pp. 1098-1104.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G., and Dean, J. (2013). "Distributed Representations of Words and Phrases and their Compositionality." In Advances in Neural Information Processing Systems 26, pp. 3111-3119.

Miyao, Y. and Kawazoe, A. (2013). "University Entrance Examinations as a Benchmark Resource for NLP-based Problem Solving." In Proceedings of the 6th International Joint Conference on Natural Language Processing, pp. 1357-1365.

Pang, B. and Lee, L. (2005). "Seeing Stars: Exploiting Class Relationships For Sentiment Categorization With Respect To Rating Scales." In Proceedings of the 43rd Annual Meeting on Association for Computational Linguistics, pp. 115-124.

Pasupat, P. and Liang, P. (2015). "Compositional Semantic Parsing on Semi-Structured Tables." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, pp. 1470-1480.

Peñas, A., Hovy, E., Forner, P., Rodrigo, Á., Sutcliffe, R., Forascu, C., and Sporleder, C. (2011a). "Overview of QA4MRE at CLEF 2011: Question Answering for Machine Reading Evaluation." In CLEF 2011 Labs and Workshop Notebook Papers, pp. 19-22.

Peñas, A., Hovy, E., Forner, P., Rodrigo, Á., Sutcliffe, R., Sporleder, C., Forascu, C., Benajiba, Y., and Osenova, P. (2011b). "Overview of QA4MRE at CLEF 2012: Question Answering for Machine Reading Evaluation." In CLEF 2011 Labs and Workshop Notebook Papers,
pp. 303-320.

佐藤理史, 加納隼人, 西村翔平, 駒谷和範 (2014). 表層類似度に基づくセンター試験『国語』現代文傍線部問題ソルバー. 自然言語処理, 21 (3), pp. 465-483.

Shibuki, H., Sakamoto, K., Kano, Y., Mitamura, T., Ishioroshi, M., Itakura, K. Y., Wang, D., Mori, T., and Kando, N. (2014). "Overview of the NTCIR-11 QA-Lab Task." In Proceedings of the 11th NTCIR Conference, pp. 518-529.

Steedman, M. (2001). The Syntactic Process. Bradford Books. Mit Press.

Watanabe, Y., Miyao, Y., Mizuno, J., Shibata, T., Kanayama, H., Lee, C.-W., Lin, C.-J., Shi, S., Mitamura, T., Kando, N., Shima, H., and Takeda, K. (2013). "Overview of the Recognizing Inference in Text (RITE-2) at NTCIR-10." In Proceedings of the 10th NTCIR Conference, pp. 385-404.

横野光, 稲邑哲也 (2013). 物理問題解答に向けた物理量の変化に着目した動作表現の解釈. 言語処理学会第 19 回年次大会発表論文集.

横野光, 稲邑哲也 (2014). 論理演算と物理シミュレーションの結合による物理問題解答. 2014 年度人工知能学会全国大会.

Zang, X., Wu, Z., Meng, H., Jia, J., and Cai, L. (2014). "Using Conditional Random Fields to Predict Focus Word Pair in Spontaneous Spoken English." In 15th Annual Conference of the International Speech Communication Association, pp. 756-760.

## 略歴

松崎 拓也：2002 年東京大学工学部システム創成学科卒業. 2007 年同大大学院情報理工学系研究科にて博士号 (情報理工学) 取得. 同大学助教, 国立情報学研究所特任准教授を経て, 2014 年より名古屋大学大学院工学研究科准教授.言語処理学会, 人工知能学会, 情報処理学会各会員.

横野光：2003 年岡山大学工学部情報工学科卒業. 2008 年同大大学院自然科学研究科産業創成工学専攻単位取得退学. 同年東京工業大学精密工学研究所研究員, 2011 年国立情報学研究所特任研究員, 2014 年同研究所特任助教, 現在に至る. 博士 (工学). 自然言語処理の研究に従事. 情報処理学会, 人工知能学会各会員.

宮尾 祐介：1998 年東京大学理学部情報科学科卒業. 2006 年同大学大学院にて 博士号 (情報理工学) 取得. 2001 年より同大学にて助手, のち助教. 2010 年 より国立情報学研究所准教授. 構文解析とその応用の研究に従事. 人工知能学会, 情報処理学会, ACL 各会員.
川添愛：1996 年九州大学文学部文学科卒 (言語学専攻). 2002 年九州大学大学院文学研究科博士課程単位取得退学, 2005 年同大学より博士 (文学) 取得. 2002 年より 2008 年まで国立情報学研究所研究員, 2008 年から 2011 年ま で津田塾大学女性研究者支援センター特任准教授を経て，2012 年より国立情報学研究所社会共有知研究センター特任准教授. 人工知能学会会員.

狩野 芳伸：2001 年東京大学理学部物理学科卒業, 2007 年東京大学情報理工学系研究科博士課程単位取得退学. 同研究科にて博士 (情報理工学). 同研究科特任研究員, 科学技術振興機構さきがけ研究者等を経て, 2014 年より静岡大学情報学部准教授. 言語処理学会, 情報処理学会, 人工知能学会各会員.加納 隼人：2010 年名古屋大学工学部電気電子・情報工学科入学. 2014 年同学科卒業. 現在, 名古屋大学大学院工学研究科電子情報システム専攻在学中.

佐藤 理史：1988 年京都大学大学院工学研究科博士後期課程電気工学第二専攻研究指導認定退学. 京都大学工学部助手, 北陸先端科学技術大学院大学助教授, 京都大学大学院情報学研究科助教授を経て, 2005 年より名古屋大学大学院工学研究科教授. 工学博士. 現在, 本学会理事.

東中竜一郎：1999 年慶應義塾大学環境情報学部卒業, 2001 年同大学大学院政策$\cdot$ メディア研究科修士課程, 2008 年博士課程修了. 2001 年日本電信電話株式会社入社. 現在, NTT メディアインテリジェンス研究所に所属. 質問応答シス テム・音声対話システムの研究開発に従事. 博士 (学術). 言語処理学会, 人工知能学会, 情報処理学会, 電子情報通信学会各会員.

杉山 弘晃：2007 年東京大学工学部機械情報工学科卒業. 2009 年同大学院情報理工学系研究科知能機械情報学専攻修士課程修了. 同年日本電信電話株式会社入社. 現在, 奈良先端科学技術大学院大学情報科学研究科博士後期課程在学中. 人と自然な対話を行う雑談対話システムの研究に従事.

磯崎 秀樹：1983 年東京大学工学部計数工学科卒業. 1986 年同大学院修士課程修了. 同年日本電信電話株式会社入社. 2011 年より岡山県立大学情報工学部教授. 博士 (工学). 言語処理学会, ACM, 情報処理学会, 人工知能学会, 電子情報通信学会各会員.

菊井玄一郎：1984 年京都大学工学部電気工学科卒. 1986 年同大学大学院工学研究科修士課程電気工学第二専攻修了. 同年日本電信電話株式会社入社, 2011 年より岡山県立大学情報工学部情報システム工学科教授. 博士 (情報学)。現在, 本学会理事.

堂坂 浩二：1984 年大阪大学基礎工学部情報工学科卒業. 1986 年同大大学院修士課程修了. 同年日本電信電話株式会社入社. 2012 年より秋田県立大学シス

テム科学技術学部教授. 博士 (情報科学). 言語処理学会, 人工知能学会, 情報処理学会, ACM 各会員.

平博順：1994 年東京大学理学部卒業. 1996 年同大学院修士課程修了. 同年日本電信電話株式会社入社. 1996 年 NTTコミュニケーション科学研究所, 2005 年 NTT デー夕 技術開発本部, 2007 年 NTT コミュニケーション科学基礎研究所, 2014 年大阪工業大学情報科学部准教授. 博士 (工学)。2013 年言語処理学会優秀論文賞受賞. 言語処理学会, 人工知能学会, 情報処理学会各会員.

南泰浩：1986 年慶應大学理工学部電気工学科卒業. 1991 年同大学院博士課程修了. 同年日本電信電話株式会社入社. 2014 年より電気通信大学大学院情報 システム学研究科教授. 博士 (工学)。言語処理学会, IEEE, 情報処理学会, 電子情報通信学会, 音響学会各会員.

新井 紀子：1984 年イリノイ大学数学科卒業. 1990 年同大学院博士課程修了. 1994 年広島市立大学情報科学部助手. 2001 年国立情報学研究所情報基礎研究系助教授. 2006 年同情報社会相関系教授. 2008 年同社会共有知研究センター 長. 博士 (理学)，2010 年文部科学省科学技術分野の文部科学大臣表彰. 日本数学会, 人工知能学会, 情報処理学会各会員.

(2015 年 5 月 12 日 受付)

(2015 年 8 月 4 日 再受付)

(2015 年 9 月 12 日採録)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/