# ウェブコーパスと検索システムを利用した推量副詞と モダリティ形式の遠隔共起抽出と日本語教育への応用

Srdanović Irena ${ }^{\dagger, \dagger \dagger} \cdot$ Hodošček Bor ${ }^{\dagger, \dagger \dagger} \cdot$
Bekeš Andrej ${ }^{\dagger \dagger}$ ・仁科喜久子†
}

日本語におけるモダリティ形式および推量副詞と文末モダリティ形式との共起につ いての体系的な研究は自然言語処理の分野において不十分である. さらに，このよ うな情報は日本語教育の分野においても十分カバーされていない，本稿では，コー パス検索ツール Sketch Engine (SkE)を利用した日本語の推量副詞とモダリティ形式の遠隔共起の抽出を可能にすることとその日本語教育, 特に日本語学習辞典への 応用の可能性を示すことを目的とする。そのためにまず，複数のコーパスを分析し た結果として，モダリティ形式とそのバリエーションの網羅的なリストを作成した. このモダリティ形式は ChaSen でどのように形態素解析されているかを調査し, 各モ ダリティ形式の様々な形態素を新しいモダリティのタグとしてまとめることによっ て, ChaSen で形態素解析されている $\mathrm{JpWaC}$ という大規模ウェブコーパスから抽出 した 2 千万語のサンプルヘタグの再付与を行った．最後に，新しくタグ付けされた コーパスをコーパス検索ツール SkEに載せ，「文法関係ファイル」の内容を変更する ことで，推量副詞と文末モダリティの共起の抽出を可能にした。抽出された共起の 結果は $93 \%$ 以上の精度で高く評価された。得られた結果は言語資源を利用しての日本語教育への応用の一例として, 日本語教育における辞書編集をはじめ様々な教育資源の作成のために，あるいは教室における直接的に利用可能となることを示した. キーワード：推量副詞，モダリティ，遠隔共起，コーパス検索システム，日本語教育
## Extraction of Suppositional Adverb and Clause-Final Modality Form Distant Collocations Using a Web Corpus and Corpus Query System and its Application to Japanese Language Learning

\author{
Srdanović Irena ${ }^{\dagger, \dagger \dagger}$, HodošČEK BOR ${ }^{\dagger, \dagger \dagger}$, \\ Bekeš AndreJ ${ }^{\dagger \dagger}$ and Nishina KikUko ${ }^{\dagger}$
}

\begin{abstract}
A systematic account of Japanese language modality forms as well as distant collocations between modal adverbs and clause-final modality forms is lacking in the field of natural language processing. The same stands for coverage of this kind of linguistic information in Japanese language education. In order to remedy this deficiency, in this
\end{abstract}

paper we make extraction of Japanese adverbs and clause-final modality forms collocations possible using the corpus query system Sketch Engine and examine possibilities for its application in Japanese language learning, focusing on learner's dictionaries. First, as a result of analyzing various Japanese language corpora, we create a long list of modality forms and their variations. Then, we examine how ChaSen morphologically analyzes the forms and retag a sample of the large-scale Japanese language web corpus, JpWaC, by grouping all morphemes that correspond to individual modality forms together under a new modality tag. Finally, we load the newly tagged corpus into the Sketch Engine (SkE), modify the gramrel file and as a result obtain Word Sketch results for collocations between suppositional adverbs and modality forms. The evaluation of the collocation results shows that the proposed method reaches accuracy of above $93 \%$. The results can be utilized in the creation of Japanese learners' dictionaries or other language material or directly in language teaching or learning.

Key Words: suppositional adverbs, modality, distant collocations, Sketch Engine, Japanese language learning

## 1 はじめに

近年, コロケーションの研究は自然言語処理及びコーパス言語学において盛んになっている. このコロケーションの一種である遠隔共起1は，頻繁に現れる言語現象であるにも関わらず，研究としては取り上げられていない. 日本語における遠隔共起の一つとして推量副詞と文末モダ リティ形式 2 との共起関係があげられ，日本語教育においても重要な問題の一つである。このよ うな共起はモダリティを二重に表現していることにより，テクストにおける重要な語用論的な 指標となっている (Bekeš 2008). Srdanović et al. (2008a)では, 工藤 (2000) が示した確率論的性格を有する推量副詞と文末モダリティの「共起」の振る舞いが, 複数のコーパスの分析の結果においても確認された. さらに，推量副詞と文末モダリティ形式の共起はテクストの種類に よって著しく異なっていることが示され，日本語コーパス資料の分類の可能性が明らかにされ た.日本語においてモダリティ形式とそのバリエーションが非常に多いにもかかわらず，その リストが存在しないため, 現在の形態素解析ツールにおいては複数の形態素の連なりからなる 様々なモダリティ形式の認識が不可能である。このことから，本研究ではコーパス検索ツール Sketch Engine (SkE) (Srdanović et al. 2008b; Srdanović and Nishina 2008)において日本語の推

量副詞とモダリティ形式の遠隔共起が検索可能になるように機能の拡張を試みる. 実現方法と しては，複数のコーパス分析の結果に基づいて，モダリティ形式とそのバリエーションのリス トを作成し，ChaSen で認識できるようにした上で，語の文法・共起情報を提示するために推量副詞と文末モダリティ形式との遠隔共起が容易に抽出できるようにする。この抽出結果によっ て, 日本語の学習者, 研究者, 教師が推量副詞と文末モダリティ形式の共起表現を簡単に調ベ られ，学習辞書や教科書などの作成に効率的に応用できるようになると考えられる.

## 2 先行研究

## 2.1 言語学と日本語教育の分野における研究

南 $(1993,1974)$ は日本語の文の階層構造を体系的に究明した. 文において, 接続形式と述部 の要素, および接続形式と述部以外の要素の共起制約から，四階層の入れ子構造を確認してい る。以下の例 (1)では, $\mathrm{A}$ 層は述語「いる」 1 語, $\mathrm{B}$ 層は「この町にも五人ぐらいはいる」という 核の文があり，C 層では副詞「どうやら」と文末モダリティ表現「〜らしい」が呼応している.

## (1) $\left.\{\text { どうやら [ この町にも五人ぐらいは (い){ }_{A}\right]_{B}$ らしい $\}_{C}$}

(Bekeš 2008)

南 (1993) は，内省ではなく，コーパスにおける共起の頻度を統計的に検証した結果に基づい て，副詞と特定のモダリティ形式の共起の可能性を明確に示している.

工藤 (2000) も，南と同様にコーパスを利用している．副詞と文末モダリティの呼応の関係を 検討しながら，それぞれの副詞と特定のモダリティ形式との共起の結びつきの強弱の程度を明 らかにし，結びつきの強いものを呼応・共起関係とみなした，推量副詞は対象面から言えば事態実現の確実さ, 作用面から言えば話し手の確信の度合いを表している (工藤 2000, p. 204, 5). この副詞群は「確信」「推測」「推定」「不確定」という四つに区分され，「確信，推測，推定，不確実」の順で，事態実現の確実さおよび話者の確信の度合いが低くなることを連続的な関係 で示すものである．推量副詞と共起するモダリティ形式は四つのモダリティタイプ，即ち「に 違いない」「はずだ」のような確信 (NEC, necessity),「だろう」「と思う」のような推測 (EXP, expectation),「らしい」「みたい」のような推定 (CON, conjecture),「かもしれない」「かな」の ような不確定 (POSS, possibility) に分けられている (工藤 2000, p. 203). 例えば,「多分」は「た 万う」「のだ万うか」「と思う」「のではないか」などの推測 (EXP) タイプに属するモダリティ 形式と強く呼応する．推量副詞と文末モダリティの呼応の関係は，コーパスにおける共起の統計的な傾向として捉えることができる. 工藤のデータについては, 3.6 で詳述する.

Bekeš (2008) は，会話コーパスにおける推量副詞と文末モダリティの呼応を分析し，会話に おける副詞とモダリティの呼応関係の振る舞いを明らかにした.

Srdanović et al. (2008a) および Srdanović et al. (2008)は, 推量副詞とモダリティ形式の共起 の傾向を複数のコーパスを対象に分析している、コーパスの種類によって推量副詞の分布は異 なっており，この副詞と共起する文末モダリティ形式およびモダリティタイプの頻度の傾向に も違いが見られることを明らかにした。また，コロケーション・コリゲーションの研究におい て語句と語句との共起および語句と文型との共起関係はしばしば研究されるが，遠隔共起関係 についての認識はあまりないことから，日本語における推量副詞と文末モダリティ形式の共起 を一つの例として取り上げ，遠隔共起関係の重要性を指摘した。

日本語教育の面から, 個別の副詞に関して, 研究や教育への示唆がいくつかあるが (砂川 2007), コーパスに基づいた様々なモダリティ形式の整理及び複数のコーパスによる推量副詞とそのモダ リティ形式との共起関係の振る舞いについての研究は見られない。また日本語教科書において の扱いも不十分であることから, 本研究では, 日本語学習辞典の編纂への提案も考慮に入れる.

## 2.2 自然言語処理における研究

自然言語処理においては, モダリティ形式が機能表現および長単位の研究において部分的に扱 われているのが現状であり, 日本語のモダリティ形式を中心に扱っている研究はほとんど見ら れない. 先行研究を概観するに際して, 推量副詞とモダリティ形式の呼応の研究とモダリティ 形式を記載する電子化辞書などの自然言語処理のための言語資源に分け, その研究と自然言語処理の汎用ツールを使用する上での未解決の問題点を述べる.

自然言語処理の汎用ツールを使用する際，意味的にはひとつのまとまりとなっている「かも 知れない」「に違いない」などのモダリティ形式が複数の形態素または文節に分割されてしまう 問題がある。また，「かもしれない」「かも知れません」「かも」のように，モダリティ形式の表記が文体, 丁寧さ, 形態素の数などの様々な要素によって異なってくることがある. この場合, モダリティ形式を記載している言語資源を使用すれば，モダリティ形式の自動抽出あるいは認識が可能になる.

松吉他 (2007) によって編纂された階層構造を用いた機能表現辞書「つつじ」3 源の一つで，機能表現の一種とも考えられるモダリティ形式がその中にある程度収録されてい る。また, 富士池 他 (2008) は文節を基にした複合辞と連語を含む「長単位」という言語単位を 提唱し，「かもしれません」「わけではない」などを 1 長単位として規定している。しかし, 前者 は機能表現辞書の作成, 後者は「長単位」という形態論の研究であり, いずれもモダリティ形式に特化したものではないため, 本稿で扱っているモダリティ形式をすべて含んでいるわけで はない，例えば，機能表現辞書「つつじ」には，「といえない」「といえる」「と思う」「と考え る」「のか」「ように思う」「気がする」「気がしない」のモダリティ形式が含まれていない。ま
^{3}$ http://kotoba.nuee.nagoya-u.ac.jp/tsutsuji/から配布されている.
}

た,「長単位」で認められるのは, 助動詞相当として扱われている「かもしれない」「てはいけな い」「てはならない」「なければならない」「のだ」「のではない」「わけだ」「わけではない」「わ けにはいかない」のみである 4 . 木田他 (2002) は副詞とそれと共起する表現をまとめて呼応表現と呼び，文中に副詞が現れると，その後に呼応する表現が来ることが予測できることに焦点 をあてた。そのため，人手作業による副詞とモダリティの呼応関係を含むタグ付きコーパスを 作成し，モダリティ階層関係に基づく呼応関係辞書を編纂した。しかし, 人手作業のため, モ ダリティ形式を自動認識できる言語資源およびシステムは提供していない.

SkE で推量副詞とモダリティ形式の共起関係を抽出するためには, 網羅的なモダリティ形式 のリストおよび表記のゆれなどを認識できるような言語資源やツールが必要である。そこで，先行研究を参考にしつつ, 3.3 節に述べる方法でモダリティ形式およびそのバリエーションのリ ストを作成し, 見出し語と品詞の認定およびその再付与を行うことで, 多様なモダリティ形式 と推量副詞の関係を $\mathrm{SkE}$ 上で検索可能にすることを目指すことにする.

## $3 \mathrm{SkE$ での推量副詞とモダリティ遠隔共起の抽出}

## 3.1 SkEとその主な機能

SkE はコーパス検索システムであり，コンコーダンス機能以外に，語に付随する文法とコロ ケーション情報を表示する機能 Word Sketch や，シソーラス情報や意味的に類似する語の共通点と差異を示す機能（Thesaurus と Sketch Difference）も備えている. SkE は現在, 複数の言語 に対応しており (Kilgarriff et al. 2004)，その一つに日本語版がある (Srdanović et al. 2008b)。日本語版は, $\mathrm{JpWaC}$ という 4 億語の大規模 Webコーパスを形態素解析ツール ChaSen で解析し たデータと, 日本語の「文法関係ファイル」から成る。このファイルは, 様々な文法関係・共起関係を 22 項目にまとめ, ChaSenの品詞体系を用いた正規表現で定義している．SkEの検索の 結果において, Word Sketch 機能は名詞, 形容詞, 形容動詞, 動詞などと共起する要素を表示 する。図1はその 1 例として，「単語」という語との共起の一部の結果を示している。ここに見 られる共起関係は形容詞 (modifier Ai), 形容動詞 (modifier_Ana), 動詞（をverb, が verb）な どとの共起である。それぞれの欄に表示されている 2 列の数字は， 1 列目がコーパスの中の共起頻度を示し， 2 列目がその共起の統計的な顕著性 (salience) ${ }^{5}$ を示している. 表中の 1 列目の 数字をクリックすると, 例文がコンコーダンスの中で表示される.

SkEに搭載されている大規模ウェブコーパス $\mathrm{JpWaC}$ は 4 億語からなり, 均衡コーパスを目指 して慎重な抽出方法により構築されたものである (Erjavec et al. 2007; Srdanović et al. 2008b).

} & \multirow{2}{*}{  } & \multirow{2}{*}{} & \multirow{2}{*}{} & \multirow{2}{*}{} \\

図 1 Word Sketch での「単語」の検索例

最近の研究によると, ウェブコーパスはバランスの取れたデータの傾向を有していることが明 らかになっている (Ueyama and Baroni 2005; Sharoff 2006). Srdanović et al. (2008) および Srdanović et al. (2009) では, 13 種の日本語のコーパスにおいても推量副詞を分析した結果, $\mathrm{JpWaC}$ は，均衡コーパスとして設計された BCCWJ (Balanced Corpus of Contemporary Written Japanese) の中の書籍コーパス (山崎 2006)ともっとも類似した結果を示している. 石川 (2009) は BCCWJ と各種のウェブコーパスにおける基本語頻度のデータを比較し， ウェブコーパスは 信頼性と有用性を持つことを実証的に示した，SkEの応用の可能性は，日本語学習辞書，日本語学研究, 日本語教育などにおいて考えられる (Srdanović and Nishina 2008). モダリティ形式 の多くは形態素の単位が連なった形となっており, ChaSenにおいては直接認識されていない. そのため, 本稿では $\mathrm{SkE}$ 日本語版において形態素が連なったモダリティ形式をひとつの単位と して抽出可能にし，その結果から日本語教育への応用を検討する。

## 3.2 推量副詞との遠隔共起の抽出

SkEの日本語版においてWord Sketch 機能で副詞と他の語との隣接共起関係が見られる。し かしながら, 副詞と離れた場所において共起する語をみるためには, 遠隔共起検索機能を追加 しなければならない，その方法として， ChaSenの品詞で識別できる要素ならば，SkEの「文法関係ファイル」に単純に追加するだけで Word Sketch で表示できる。ここで副詞と遠隔共起 するものとして，1）副詞と（遠隔）共起する動詞 (modifies_V), 2）副詞と（遠隔）共起する形容詞・形容動詞 (modifies_Adj),3) 副詞と終助詞 (particle fin)の三つの共起関係が挙げられる.図 2 は, 一例として推量副詞の「たぶん」と共起する最も高頻度の動詞, 形容詞, 終助詞を示 しており，この頻度は遠隔共起も含んでいる。

しかしながら，副詞と文末モダリティ形式との共起については，SkEの設計を変更するだけ

 & 無理 & $\underline{11}$ & なあ & $\underline{8} 18.73$ \\

図 2 Word Sketch で「たぶん」との共起の抽出 (終助詞, 形容詞 ・形容動詞, 動詞の場合)

では，抽出できない，その理由は，文末モダリティ形式は形態素解析ツール ChaSen で認識さ れていないこと，および日本語のモダリティ形式とそのバリエーションのリストが存在しない ためである。次節では，SkEに推量副詞と文末モダリティとの遠隔共起の表示を可能にする方法を検討する。

## 3.3 モダリティ形式の抽出方法

本論文では, (Srdanović et al. 2008a) の同様の調査に, さらにデー夕を追加したものを分析す る. まず $\mathrm{JpWaC}$ コーパスから形態素数 2 千万のサンプルコーパスを作成し, そのコーパスか ら推量副詞を含む文を抽出し，モダリティ形式がどのように現れているかを調査した. さらに この調査を基に，モダリティ形式のリストの作成, 複数の形態素に分割されたモダリティ形式 および推量副詞のタグの再付与, $\mathrm{SkEへの}$ 適用をする。

SkE 用のコーパスのフォーマットとして, 各単語に対し, 出現形, 見出し語, 品詞の三つの夕 グを用い, ChaSen の出力結果からそれらのみを使用する。また, 2.2 節で述べたようにモダリ ティ形式の多くが複数の形態素から構成されるが, SkEでは 1 語が ChaSen の 1 形態素に相当 するので，モダリティ形式を一つの語にまとめ，コーパスにそれを再付与する必要がある。サ ンプルコーパスの調査結果から，モダリティ形式の出現には活用・スタイル・表記などの多数 のバリエーションがあることが明らかになった。このため, 「だろう」「でしょう」「であろう」「だ万」などの同意のモダリティ形式は一つの代表的なモダリティ形式にまとめ, 見出し語を 31 語に統一した。その 31 項目のモダリティ形式を表 1 に示す.

さらに，モダリティ形式をより網羅的に認識するために，モダリティ形式が他のモダリティ 形式やモダリティ形式以外の語と連なって現れる場合も検討した。 下記の文例は, 実際にコー パス中に見られたものである.

目の前の仕事が新鮮にうつることにきっと驚くでしょう.

(例 3.3.1)

きっと素晴らしいセミナーをなさることでしょう！（例 3.3.2）

きっと皆さんもそうであろうと思います.（例 3.3.3）

モダリティ形式ではない一定の語および形態素がモダリティ形式に接続する傾向が見られた.例えば，例 3.3.1のモダリティ形式の「でしょう」に形式名詞「こと」が前接する例として 3.3 .2 の「ことでしょう」がある。このように，あるモダリティ形式が，単独で現れる場合と，他の 語・形態素と結合して，定型的な組み合わせの語句として現れる場合とで，意味が異なること がある。このことから，モダリティ形式と語・形態素による組み合わせからなる定型的な表現 を新しいモダリティ形式として扱うことにした。表 1 に示したモダリティ形式に接続できる 12 個の語群を表 2 に示す.

また，例 3.3.3のように，モダリティ形式が連続して現れる傾向が明らかになった. あるモダ リティ形式が，単独で現れる場合と，他のモダリティ形式と接続して現れる場合があり，その 語句の出現の様相で意味が異なることがある．本稿では，例 3.3.3の「であろうと思います」の ようなモダリティ形式を複合的なモダリティ形式，「であろう」のようなモダリティ形式を単独 モダリティ形式と呼ぶことにする．SkEでは，複合的なモダリティ形式を別々に扱うのではな く, 一つの新しいモダリティ形式としてまとめて扱うことにした. 例 3.3 .3 のモダリティ形式は 「だろうと思う」になり，連続している形態素をまとめて SkEの 1 単語とする。

表 3 と表 4 からわかるように，同じ意味・機能の表現であるにもかかわらず，ChaSen によ る見出し語が漢字とひらがなで区別されてしまう場合や, 品詞夕グが異なっている場合がある. これはモダリティ形式に限らない.「必ずしも」や「ひょっとしたら」などの複数の形態素から 構成される副詞も同じ問題を含んでいる。そこで，すべてのモダリティ形式と推量副詞が見出 し語と品詞のレベルで統一されるようにコーパス中のモダリティ形式および推量副詞の見出し

表 $1 \mathrm{JpWaC}$ サンプルコーパスに出現するモダリティ形式の見出し語

表 2 モダリティ形式と接続可能な語・形態素の見出し

こと,もの, という，の，か，かな,な*, は*,も*, なの*, だ,ではない

*「は」が「とはいえない」に現れるように，モダリティ形式に挿入する語・形態素
表 $3 \mathrm{JpWaC}$ コーパスにおいて ChaSenによる見出し語が異なる場合の処理

表 5 副詞とモダリティ形式の関係を定める規則

*DUAL $=$ Adv $/$ modality 2:"Adv.*" "P.advzer"? []* 1:"Mod."

語と品詞を再付与した 6 . ここで，モダリティ形式の品詞夕グはすべて「Mod」という新しいカ テゴリに書き換えた。これにより，モダリテイ形式と推量副詞の表記が文章のスタイルおよび ChaSen の誤解析によって異なる場合でも，網羅的にそれらをSkE で検索したり，違いを見た りすることが可能になる.

以上の方法によって得られたモダリティ形式の数は，代表的なモダリティ形式は 31 個, 組み 合わせで現れるモダリティ形式は 596 個, その出現形のバリエーションは 2,641 個である.

以上の点を考慮し, 抽出する様々な共起関係を定める SkEの「文法関係ファイル」に表 5 の 副詞とモダリティ形式の関係を定める規則を追加する.

この規則は, SkEにおいて実装されている正規表現と品詞及び単語に基づいた,「corpus query syntax (コーパス検索シンタクス)」を適用している。「DUAL」は副詞とモダリティ形式の関係を両方向から検索できる規則である。「Adv」と「modality」はそれぞれ「副詞」と「モダリ ティ形式」を意味する。この規則では，副詞に続いて最初に現れるモダリティ形式のみとの関係を抽出することではなく, 文末まで現れる他のモダリティ形式との共起が多くあることから， すべてのモダリティ形式との可能性をみることとした。 また，この規則で得られる推量副詞と モダリティ形式の共起は構文を考慮していない。 そこで係り受け解析器 CaboCha を使用した共起の抽出方法も考えられるが，本手法と比べていくつかの利用上の欠点がある。一つは，モダ リティ形式が係り受けの単位となる文節の境界を越えることがある。他の一つは, CaboChaが
$ のようなウェブ文章における遠隔共起の正確な係り受け 解析が難しいと考えられることである.

## 3.4 抽出結果

$\mathrm{JpWaC}$ の 2 千万語サンプルコーパス中に見られる複数のモダリティ形式とそのバリエーショ ンにモダリティタグを付け, 新しい共起関係をSkEの「文法関係ファイル」に組み込んたここと で，推量副詞と文末モダリティの共起が SkE の Word Sketch の機能の中で表示できるように なった 7 .

例として,「たぶん」「どうやら」「もしかしたら」「かならずしも」とそのモダリティ形式と の共起の表示結果を図 3 に示す. それぞれの推量副詞が多様なモダリティ形式と共起している こと，結びつくモダリティ形式のうち代表的なものがそれぞれの副詞で異なっていることが分 かる.「たぶん」は「のだろう」「だろう」「と思う」「のだと思う」などの推測 (EXP)のモダリ ティタイプとよく共起する傾向がある。「どうやら」は推定 (CON) の「らしい」「ようだ」「の ようだ」「みたいだなど，「もしかしたら」は不確定 (POSS) の「かもしれない」「のかもしれ ない」「のかな」など，「必ずしも」は確信 (NEC) の「とはかぎらない」「わけではない」「もの ではない」などとよく共起する傾向がある.

表 6 では，コーパスにおける推量副詞の分布とそれぞれの副詞と顕著性計指数が高い項目の 順に5つのモダリティ形式が並んでいる。

まず，推量副詞の分布から見ると，高頻度の副詞は「たぶん」「かならず」「おそらく」「きっ と」「ぜったい」などである，推量副詞とモダリティ形式の共起関係を見ると，「のだろう」「た

 & のだ & 2412.04 & のではォか & 815.87 & 형3 & $\underline{17} 14.12$ \\

図 3 Word Sketchにおける推量副詞とモダリティ形式の共起表現検索結果 (「たぶん」,「どうやら」,「もしかしたら」,「かならずしも」とモダリティ形式との例)
$ のウェブページで $\mathrm{JpWaC}$ のサンプルコーパ スにおいて副詞とモダリティの共起を検索することができる.
}
表 $6 \mathrm{JpWaC}$ のサンプルにおける高頻度の推量副詞と文末モダリティ形式の共起関係

ろう」「と思う」などの「推測」を表すモダリティ形式および「はず」「のだ」「に違いない」な どの「確信」を表すモダリティ形式がもっとも高頻度の共起関係として出現することがわかる。 ある副詞が「推測」のモダリティ形式と共起する傾向があれば，その副詞の共起の中では, 「確信」のモダリティ形式もよく見られる．たとえば，「きっと」と「おそらく」と共起する「に違 いない」などである，逆に，副詞が「確信」のモダリティ形式と共起する場合，その副詞は「推測」のモダリティ形式とも共起する。たとえば，「かならず」「ぜったい」と，「だろう」「と思 う」という「推測」の文末形式が共起する場合である.

$\mathrm{JpWaC}$ のサンプルデータと均衡コーパスである BCCWJ の中の書籍のコーパスにおける推量副詞の分布と推量副詞と文末モダリティの共起を比較した結果，類似した分布及び共起関係 の傾向を示していることが明らかになった (Srdanović et al. 2009).

SkEの中にある Word Sketch 機能だけでなく, コンコーダンス, Sketch Difference, シソーラ スなどの機能においても推量副詞とモダリティ形式について検索できる．たとえば，類似して いる二つの語の間の共起の傾向における共通点と差異が閲覧できる Sketch Difference という機能では，「たぶん」と「きっと」を比較する際，「きっと」は「のだろう」「に違いない」「ことだ 万う」「はず」との共起が多く，確信のモダリティタイプに近い性質が見られる。一方，「たぶ ん」のほうは推測を表す「と思う」「のだと思う」「のではないかと」「と思うのだ」とよく共起 することから，「きっと」より推量の度合いが低いと考えられる。

## $3.5 \mathrm{SkE$ で抽出された推量副詞と文末モダリティ形式の共起の評価}

本節では，Word Sketchによる推量副詞と文末モダリティ形式との共起の判定の精度を評価 する。推量副詞と共起する代表的なモダリティタイプが四つあり (工藤 2000; Srdanović et al. 2008a), それぞれのタイプから一つの高頻度の副詞を評価のために選択する。また，それぞれ の副詞と共起するモダリティの検索結果から，四つのモダリティ形式を選び（Word Sketchに 表示するモダリティ形式のリストの最初から四番目までの四項目)，コンコーダンス機能から選
表 7 評価の結果

んだこの副詞と共起するモダリティ形式の 10 例文をランダムに取り出す。従って，合計 160 の 例文を評価することとする。

選択した例文について日本語教育専門家二名 $(\mathrm{A}, \mathrm{B})$, 自然言語処理専門家一名 (C) から評価を 受ける。選択肢は「（正）副詞とモダリティ形式の共起は正しい」,「（?）副詞とモダリティ形式の共起は部分的に正しい」「(誤) 副詞とモダリティ形式の共起は正しくない」であり，コメ ントを記入できる闌もある。

表 7 に見られるように「（正）副詞とモダリティ形式の共起は正しい」の回答から，精度は高 く評価されていることがわかる，正しく評価されていない例文と評価者のコメントを見ると以下のようなことがわかる.

1）モダリティ部分とみなす部分に誤解析となる例文がある.

2) 日本語として正しくない例文がある。

3) コーパスには重複する例文がある。

4) 副詞とモダリティ形式が共起していない例文がある.

5）表示されているものとは異なる他のモダリティ形式と共起している例文がある.

1），2，3）は比較的修正が容易である，1）については，部分的に抽出したモダリティ形式 をバリエーションリストに追加すること，夕グの付け方の改善で解決できる．また，2，3）に ついては，正しくない文拈よ゙重複している文の排除を行うことで処理できる．4）と5）の原因は, 形態素解析の誤りに起因する複数の文がコーパスに入っている場合と, 構文が複雑なた め副詞が自動的に指定されたモダリティ形式と共起しない場合が考えられる．今後の課題とし て，構文中の呼応関係を示すための構文解析プログラムを改善する必要がある。

## 3.6 工藤データとの比較

前節では共起項目検索結果の精度が高いと評価されたことを述べたが，さらにこの結果を日本語研究における推量副詞と文末モダリティ形式の呼応関係についてよく精査された研究 (工藤 2000) と比較する. 工藤によると副詞とモダリティ形式との呼応は程度の問題だと考えられ, それぞれの副詞は特定のモダリティタイプに属するモダリティ形式とよく共起する傾向がある としている（図 4)，たとえば，「きっと」は確信のモダリティタイプに属する「する・のだ」「に

 &  &  &  &  &  &  &  &  &  &  &  &  &  &  & 計 &  \\

図 4 工藤による推量副詞と文末モダリティのコーパス分析結果

違いない」などの形式と最も共起する。「おそらく」は推測の「だろう・まい」「と思われる」「の ではないだろうか」と多く共起する。「どうやら」は確定の「らしい」など，「もしかしたら」は 不確定の「かもしれない」などと多く共起する傾向が見られる.

本研究で抽出されたデータにも, 工藤のデータと同様に推量副詞と共起する四つのモダリティ タイプが見られる。このデータにも，推測と確信のモダリティタイプとの共起は最も多く見ら れる。工藤のデータに見られる様々なモダリティ形式は $\mathrm{JpWaC}$ にも表れる。しかし副詞の頻度の順序，およびそれぞれの副詞の共起傾向には差異も見られる。「きっと」との共起は確信の モダリティタイプより，推測のモダリティタイプの方が多く現れる．工藤のデータにはやや古 い用語も現れ, 例えば, 「さぞ」の頻度は, $\mathrm{JpWaC}$ より頻度がかなり高い.この差異の理由は, Srdanović et al. (2008)に複数のコーパスの分類結果で指摘されているように，コーパスの種類 が異なるためである.

## 4 日本語教育への応用

SkE は既に多数の言語において語学教育, 辞書作成などに利用されており (Smrž 2004; Smith et al. 2007; Kilgarriff and Rundell 2002), 日本語版も日本語教育などのために役立つシステムに なると考えられる (Srdanović and Nishina 2008). 本研究で抽出できるようになった推量副詞と

モダリティ形式の共起に関する結果は, 日本語学習のシラバス, 教科書, 学習辞典などの学習資源を作成するために利用できる。また，抽出された共起関係は学習者や教師が授業中に参照 したり，授業の準備をしたりするためにも利用できる．さらに，整理したモダリティ形式とモ ダリティ形式のバリエーションのリストが日本語教育のための言語処理の資源など様々の目的 のために利用できる.

検索方法の面からみると SkE で推量副詞とモダリティ形式の共起に関して, いくつかのメ リットが見られる。（1）ウェブ上で推量副詞と文末モダリティの共起が瞬時に効率的に抽出で きる。（2）共起に関しての高頻度の情報と統計的に重要な共起情報が得られ，学習項目に優先順位を付けることができる。（3）Sketch Differenceの機能において，類似している副詞の共起関係の傾向における差異を簡単に把握できる。（4）コンコーダンス機能で，例文を細かく考察 でき，複雑な遠隔共起も検索でき，様々なコンコーダンスオプションも利用できる.

一つの応用の例として, 日本語の学習辞典の編集・改善案を具体的に検討する. 抽出できる ようになった推量副詞と文末モダリティ形式の共起関係の結果を 3 種の日本語学習辞典と比較 する．学習者によく利用されている和英辞典 2 種（『ジーニアス和英辞典』、『ニューセンチュ リー和英辞典』) と, 中級レベル以上の日本語学習者にとって問題となる文型を網羅的に集めた 辞典（『日本語文型辞典』）を対象とする。表 8 は, これらの辞典においてどの推量副詞の項目が カバーされているか，また記載されている各副詞の項目の中で，その例文中にどのモダリティ 形式が現れているかを示している.

推量副詞の分布から見ると, 和英辞典 2 種には対象となるすべての推量副詞が現われている.「文型辞典」には，現われない副詞もある。「あんがい」「おおかた」「ことによる」のような最 も低頻度の副詞以外に，コーパス中にかなり出現している「ぜったい」「ぜったいに」が現われ ていない. 本研究で抽出した結果によると, この二つの副詞はかなり出現することから, 中級以上の日本語学習辞典にも含めることを考慮する必要がある 8 . 反対に, 「さぞ」「たいがい」は $\mathrm{JpWaC}$ のコーパスにはあまり現れない. 特に「さぞ」はやや古い表現だと考えられる9.

推量副詞と共起するモダリティ形式については, 和英辞典 2 種の例文中にモダリティ形式が 多く現れている。しかし, それぞれの辞典で例文に現れるモダリティ形式は異なっており, 特定の副詞と共起する代表的なモダリティ形式が足りない場合もかなりある．たとえば，「たぶ ん」には,「かもしれない」「ものだ」の代わりに，「のだろう」「と思う」を入れた方がよい.ま た，「おそらく」には，「と思う」「に違いない」も追加したほうが良いと考えられる。「文型辞典」では，推量副詞のすべての項目に網羅的にモダリティ形式が現れていることが評価できる。 しかし, この辞典においても，コーパス中に高い頻度および高い顕著性で現れるモダリティ形
$, 新聞コーパス, 知恵袋のウェブコーパス, フォーマルな会話コーパスでもかなり頻度が高い.

9 この副詞は教科書系のコーパスでは頻度が非常に高いが, 均衡コーパスの書籍では, 頻度が非常に低い.
}
表 8 日本語辞書における推量副詞と文末モダリティ形式との共起

 & $\triangle$ & வ艹゙ろう，ものと思われる，にちがいない \\

$\triangle$ 副詞は辞書にあるが，共起するモダリティ形式は記載されていない

ムモダリティ形式が例文にある

モダリティ形式が他の表現として言及されている

式のデータを導入することについて検討の余地がある．たとえば，「おそらく」という副詞に関 し，「ものと思われる」のかわりに，「のだろう」「ことだろう」「と思う」のモダリティ形式を 載せたほうがよい.「かならず」の項目では推量のモダリティ形式が現われていないので，「は ずだ」「のだ」「だろう」「に違いない」を追加した方がよい10.

以上の指摘は, 均衡コーパスに基づく調査結果によるものであり，一般的な日本語習得を目的 とした辞典の作成のためのものである。しかし，コーパスの種類によって代表的なモダリティ 形式が異なるので (Srdanović et al. 2008a, 2008), 学習辞典にもこの調査結果を学習目的に合わ せて反映させることが望ましい。一つの例として，理系教科書, 自然言語処理の論文集のよう

な理系の特定コーパスの調査において, 均衡コーパスとは異なり,「必ずしも」が他の推量副詞 より頻度が非常に高いことがわかった. このような結果を反映させることで, 辞典に特定目的 の学習をカバーすることが可能となる.

## 5 まとめと今後の課題

本稿では, 推量副詞と文末モダリティに関連する先行研究を調査した結果から, 代表的なモダ リティ形式に関する実証的な情報と網羅的に作成されたモダリティ形式のリストが欠如してい ることを明らかにした．次に，コーパス検索システム SkEの主な機能を紹介し，SkEに推量副詞 と文末モダリティ形式などの遠隔共起関係の機能の追加を, 次の 1）４）までの手順で行った.

1) モダリティ形式とそのバリエーションのリストの作成,

2) ChaSen によるモダリティ形式の形態素解析の検定とモダリティ形式のタグの作成,

3) ChaSen で形態素解析されたコーパスへのタグの再付与 (モダリティ形式の夕グの追加),

4)「文法関係ファイル」に副詞とモダリティ形式の共起関係を定める規則の追加.

次に, SkE 中の Word Sketch で抽出が可能になった推量副詞と文末モダリティ形式の共起の 評価を行い，抽出された共起項目が高く評価されたことを示した。 さらに，得られた結果を推量副詞についての工藤の日本語研究と比較し, 共通点と差異を明らかにした. 最後に, SkEの Word Sketch 機能で推量副詞とモダリティ形式の遠隔共起をどのように日本語教育に応用でき るかを検討した。具体的な例として, 日本語学習辞典における推量副詞と文末モダリティ形式 の共起の扱いを検討した。

今後の課題として，モダリティ形式とそのバリエーションのリストを xml 形式で作成, ウェ ブコーパス以外のデー夕に基づいてさらに改善することを目指す。また，様々なコーパスを利用することで, 推量副詞と文末モダリティ形式の共起のデータをジャンル別に比較することで,日本語教育における目的別の学習への活用を考える.

## 参考文献

Bekeš, A. (2008). "Japanese suppositional adverbs: probability and structure in speaker-hearer interaction." Linguistica, 48, pp. 277-292.

Erjavec, T., Srdanović, I., and Kilgarriff, A. (2007). "A large public-access Japanese corpus and its query tool." In $C o J a S 2007$.

富士池優美 他 (2008). 『現代日本語書き言葉均衡コーパス』における長単位の概要. 科学研究費補助金特定領域研究「日本語コーパス」平成 19 年度公開ワークショップ（研究成果報告会) 予稿集, pp. 51-58.
石川慎一郎 (2008). 英語コーパスと言語教育. 大修館書店.

石川慎一郎 (2009). 日本語基礎研究における非統制型・統制型・媒介型 Web as Corpus の可能性一言語コーパスにおける基本語頻度の安定性について. 特定領域研究「日本語コーパス」平成 20 年度公開ワークショップサテライトセッション予稿集, pp. 29-38.

木田敦子, 高梨克也, 乾裕子, 井佐原均 (2002). 文構造の漸進的予測を可能にする日本語の諸特徴の分析. 言語処理学会第 8 回年次大会発表論文集, pp. 65-68.

Kilgarriff, A. and Rundell, M. (2002). "Lexical Profiling Software and its Lexicographic Applications - a Case Study." In EURALEX 2002 Proceedings, pp. 807-818.

Kilgarriff, A., Rychly, P., Smrž, P., and Tugwell, D. (2004). "The Sketch Engine." In Proc. Euralex, pp. 105-116.

工藤浩 (2000). 副詞と文の陳述のタイプ. 森山卓郎, 仁田義雄, 工藤浩（編）, 日本語の文法 3 モ ダリティ,pp. 161-234. 岩波書店.

松吉俊, 佐藤理史 (2007). 体系的機能表現辞書に基づく日本語機能表現の言い換え. 言語処理学会第 13 回年次大会発表論文集, pp. 899-902.

南不二男 (1974). 現代日本語の構造. 大修館書店.

南不二男 (1993). 現代日本語文法の輪郭. 大修館書店.

Sharoff, S. (2006). "Open-source corpora: using the net to fish for linguistic data." International Journal of Corpus Linguistics, 11 (4), pp. 435-462.

Smith, S., Chen, A., and Kilgarriff, A. (2007). "A corpus query tool for SLA: learning Mandarin with the help of Sketch Engine." In Practical Applications in Language and ComputersPALC $200 \%$.

Smrž, P. (2004). "Integrating Natural Language Processing into E-learning - A Case of Czech." In Proceedings of the Workshop on eLearning for Computational Linguistics and Computational Linguistics for eLearning, COLING 2004, pp. 106-111.

Srdanović, I., Bekeš, A., and Nishina, K. (2008a). "Distant Collocations between Suppositional Adverbs and Clause-Final Modality Forms in Japanese Language Corpora." In Tokunaga, T. and Ortega, A. (Eds.), LKR 2008, LNAI 4938, pp. 252-266. Springer-Verlag Berlin Heidelberg.

Srdanović, I., Erjavec, T., and Kilgarriff, A. (2008b). "A web corpus and word-sketches for Japanese.” 自然言語処理, 15 (2), pp. 137-159.

Srdanović, I. and Nishina, K. (2008). コーパス検索システム Sketch Engine の日本語版とその利用方法. 日本語科学, 23 , pp. 59-80.

Srdanović, I., Bekeš, A., and Nishina, K. (2008). 複数のコーパスに見られる副詞と文末モダリ ティの遠隔共起関係. 科学研究費補助金特定領域研究,「日本語コーパス」平成 19 年度公
開ワークショップ (研究成果発表会) 予稿集, pp. 223-230.

Srdanović, I., Bekeš, A., and Nishina, K. (2009). BCCWJにおける推量副詞とモダリティ形式 の共起. 科学研究費補助金特定領域研究「日本語コーパス」平成 20 年度公開ワークショッ プ (研究成果報告会) 予稿集, pp. 237-244.

砂川有里子 (2007). 機能語のコロケーション（1）副詞との共起について. テクニカル・レポー 卜, 科学研究費補助金特定領域研究日本語教育班第 2 回公開会議.

Ueyama, M. and Baroni, M. (2005). "Automated construction and evaluation of a Japanese web-based reference corpus." In Proceedings of Corpus Linguistics.

山崎誠 (2006). 代表性を有する現代日本語書き言葉コーパスの設計. 国立国語研究所 (2006) 所載, pp. 63-70.

## 略歴

Srdanović Irena: 1997 年ベオグラード大学文学部日本語学科卒業. 2006 年リュ ブリャーナ大学文学部一般言語学・比較言語学研究科修士課程修了. 2009 年 9 月東京工業大学大学院社会理工学研究科人間行動システム専攻博士課程終了. 博士 (学術). 言語処理学会, 日本語教育学会会員.

Hodošček Bor: 2007 年米国メリーランド大学カレッジパーク校人文学部日本語学学科卒業. 同年リュブリャーナ大学文学部一般言語学・比較言語学研究科修士課程入学. 2008 年東京工業大学大学院社会理工学研究科人間行動シス テム専攻修士課程入学, 現在に至る. 言語処理学会会員

Bekeš Andrej: 1971 年リユブリヤーナ大学理学部数学学科卒業. 1975 年大阪大学大学院理学研究科数学専攻修士課程修了. 1981 年筑波大学大学院人文社会科学研究科文芸・言語専攻入学. 1986 年同課程修了. 1988 年リユブリャー ナ大学社会学部専任講師. 2002 年同大学文学部正教授 (日本学), 現在に至 る. 文学博士. 日本語教育学会会員.

仁科喜久子：1969 年東京女子大学・文理学部卒業. 1977 年同大学大学院文学研究科修士課程修了. 1986 年埼玉大学専任講師, 1988 年東京工業大学助教授を 経て, 1996 年同大学留学生センター教授 (社会理工学研究科兼任), 現在に至 る. 博士 (学術). 言語処理学会, 日本語教育学会, 教育工学会会員.


# 多重タグ付き英語学習者コーパスの開発と 英語能力自動測定への応用

本論文では, まず, e ラーニングシステムの研究開発のために構築された英語学習者コーパスについて解説し, 次に, このコーパスの分析と, これを用いた英語能力自動測定実験について述べている。本コーパスは，496 名の被験者が各々 300 文の 日本語文を英語に翻訳したテキストから構成されており, 各被験者の英語の習熟度 がTOEICにより測定されている。 また, これらに加え, 日英バイリンガルによる正解訳も整備されていることから, 訳質自動評価の研究に利用することが可能である. このコーパスを用いた応用実験として, BLEU, NIST, WER, PER, METEOR, GTM の6つの翻訳自動評価スコアを用いた実験を行なっている．実験において，各自動評価スコアと TOEIC スコアとの相関係数を求めたところ，GTM の相関係数が 最も高く, 0.74 となった. 次に, GTM や, 英訳結果の文長や単語長などからなる 5 つのパラメータを説明変数とし, TOEIC を目的変数とした重回帰分析を行なった結果，重相関係数は 0.76 となり，0.02の相関係数の改善が得られた.

キーワード: 学習者コーパス, TOEIC, BLEU, e ラーニング
## Development and Applications of an English Learner Corpus with Multiple Information Tags

\author{
Keisi Yasuda $^{\dagger}$, KeIsuke Kitamura $^{\dagger \dagger, \dagger \dagger \dagger}$, Seilchi Yamamoto $^{\dagger \dagger}$ and
}

MasuZO YanaGIDA ${ }^{\dagger \dagger}$

Introduced in this paper is an English learner corpus built for the $\mathrm{R} \& \mathrm{D}$ of an e-Learning system. Analysis and application experiments of the corpus are also shown. The corpus consists of English sentences that were translated from Japanese by Japanese English learners. Each of them translated 300 Japanese sentences into English. Their English proficiencies were measured through TOEIC. Reference sentences, translated by bilinguals, were also collected for automatic evaluation of the translation quality. In the experiments, automatic scores such as BLEU, NIST, WER, PER, METEOR and GTM were used. According to the experimental results, GTM gives the highest correlation, 0.74 for an automatic score and TOEIC. By adding 4 parameters (sentence length, word length of the translation of the English learners, etc.) for the multiple linear regression analysis, the correlation improves to 0.76 .

Key Words: English learner corpus, TOEIC, BLEU, e-learning

## 1 はじめに

経済のグローバル化に伴い, 英語が言わば国際共通語となった現在, 日本人の英語によるコ ミュニケーション能力を向上させることは, 国際的なビジネスの場などでの発表や交涉・議論 を効果的に行うためには極めて重要な課題である. このような能力を向上させるためには, 従来型の学習方法に加え, 情報通信技術を応用した e ラーニングによる学習の効率化が有効な解決策となりうる。

ここで，英語によるコミュニケーションに必要な能力について注目する．英語による円滑な コミュニケーションを行なうには, 以下に述べる種々の英語に関連した能力を総合的に向上さ せる必要がある.
- 英語表現を正確に聞き取る能力
- 英語表現を正確に発音する能力
- 語順や単語を適切に選んで英語文を構成する能力（英語表現能力）

これらの個別の能力の内，発音と聴き取りに関しては，既に e ラーニングシステムの研究開発 が進んでおり，一定の成果を上げている (Hirose, Ishi, and Kawai 2001; Akahane-Yamada, Kato, Adachi, Watanabe, Komaki, Kubo, Takada, and Ikuma 2004). その反面, 英語表現能力を扱っ た eラーニングシステムに関する取り組みは少ない. そこで本研究では, 英語学習者コーパス の開発と英語表現能力を扱う e ラーニングシステムの研究開発について取り組んでいる.

英語表現能力を e ラーニングにおいて扱う場合, 従来の授業型の英語学習で教師により行な われている「学習者の習熟度に適合した課題の選択」と「翻訳誤りの指摘とその訂正」という 機能を自動化する必要がある。これらの 2 つの機能を自動化する上で，まず，的確に英語表現能力を自動測定する手法の確立が必要である.

英語表現能力の測定においては, 課題文を提示してその英訳文の適切性を評価する手法が一般的であるが，正解訳は一意に決定できないことから，学習者の作成した英文の評価は人手に よる主観的な評価によるのが現状である．英訳文の質を客観的に評価する手法については，機械翻訳の分野で，課題文に対する複数の正解訳文（以下参照訳と略称する）を予め用意してお き, 編集距離や単語 $n$ グラムの一致度を用いて評価する手法が検討されている。このような評価手法は， 統計的翻訳システムの評価においては，主観評価値と一定の相関を示すことが実証 されているが (Papineni, Roukos, Ward, and Zhu 2002), その反面, ルールベースなどの機械翻訳の方式によっては, 必ずしも適切な指標とはならないことも指摘されている (Callison-Burch, Osborne, and Koehn 2006).

このような手法が英語学習者の翻訳文の評価においても有効であれば，英語表現能力の測定 を自動化することが可能となる．この点を検証するためには，様々な英語能力を持つ英語学習者が翻訳した英訳文が必要である。現状の大規模学習者コーパスとしては，NICT JLEコーパ

ス (Izumi, Uchimoto, and Isahara 2004)や, JEFLL コーパス (投野 2007) があるが, これらは比較的自由度の高い会話やエッセイ方式によりデータ収集が行われているため，同一日本語文に 対する複数の被験者による英訳文や，英語母語話者が翻訳した複数種類の英訳文を集積してい ないなど, 英語表現能力の自動評価の検討を行うには, 必ずしも十分満足できるものではない. そのため，まず，学習者の英語表現能力を自動評価する手法に対する検討のための基盤となる 学習者コーパスを開発した。これは，学習者の英語表現能力の客観的評価手法の研究を行うた めの基盤として, TOEIC スコアで表現される様々なレベルの英語能力を持つ英語学習者が同一 の日本語文を翻訳した英訳文のデータを収集したコーパスである.

本論文では，まず，この学習者コーパスの収集方法に関する説明を行なう。次に，収集した コーパスの基本的な統計量について示すとともに, 被験者による英訳難易度, 英訳の平均文長,英訳の平均単語長などの特徴量と, TOEIC スコアとの関係に関する分析を行なう。最後に, 本 コーパスの訳質自動測定への応用について述べる。

以下，2では開発した学習者コーパスの収集方法について述べ，3では，コーパスの基礎的な 分析結果について述べる．4では，本コーパスの訳質自動測定への応用について述べ，最後に， 5 では全体をまとめる.

## 2 学習者コーパスの収集方法

## 2.1 課題文

学習者コーパス収集に用いる英訳課題として，以下の 6 種からなる日本語文 1,500 文を利用 した. これらの 1,500 文をランダムに 5 等分し, 300 文からなる課題セットを 5 つ作成した.
- 英訳課題文の内訳 $(300$ 文 $\times 5$ セット)
- 中学と高校の英語教科書に出題されている英訳問題文

－ 旅行会話用フレーズブックから抽出された日本語文 (Kikui, Sumita, Takezawa, and Yamamoto 2003)
- e-mail 用フレーズブックから抽出された日本語文

－ビ゙ネス会話用フレーズブックから抽出された日本語文

－ 留学用フレーズブックから抽出された日本語文

－ 音声翻訳システムの研究開発のために収集された旅行会話 (SLDB)(Takezawa 1999) の日本語文

表 1 にこれらの英訳課題文の詳細を示す.
表 1 英訳課題文の詳細

 \\

## 2.2 英語学習者のデータ収集

英訳データの収集方法は，被験者 1 人につき，課題セット 1 つ（300 文）を割り当て，課題文 をWEB ブラウザ上に提示し，496 名の被験者に英訳を行なわせた. 被験者毎にタイピング能力が異なることから，英訳時における時間制限は設けなかった．英訳時には，辞書や参考書の 使用を禁止した，また，被験者には，英訳時において，各課題文に対する英訳の難易度を $1 \sim 5$ の 5 段階（1 非常に簡単， 2 簡単， 3 普通， 4 難しい， 5 非常に難しい）で主観評価させた．全 ての課題文に対する英訳が終了した後，各被験者にスペルミスと思われる箇所を提示し，スぺ ルミスの修正を行なわせた，スペルミスの修正作業時には，辞書や参考書の利用を許可した。

被験者の能力を測定するための試験として TOEICを採用し, データ収集と同時期に, TOEIC 公開テストか, 団体試験である TOEIC IP テストのどちらかを，全ての被験者に受験させてい る¹ TOEIC IP テストは，過去の TOEIC 公開テストの問題を用いた試験であり，スコア自体は TOEIC 公開テストのものと等価であることから, これらのスコアは同等に扱っている。なお, TOEIC は, Reading と Listening の試験から構成される試験であるものの, Speaking や Writing の能力とも高い相関を示すスコアである点 (Woodford 1982)や, 日本における受験者が多く, 多数の被験者を集めやすい点を勘案して採用した.

## 2.3 バイリンガルによる参照訳の収集

先に述べた英語学習者による英訳結果の他に, 同じ英訳課題文 1,500 文に対して, 英語を母語とする 5 名のバイリンガルによる参照訳を収集している．参照訳にバリエーションを持たせ るため，英訳課題 1 文に対して，バイリンガル 1 名が 2 訳を作成することにより，のべ 10 文の 参照訳を収集している，参照訳全体に対する 1 文あたりの平均単語数は, 10.2 単語である.
^{1} 2006$ 年 5 月に TOEIC の各パートの問題数が変更されたが，この変更以前の試験を受験させている.
}

## 2.4 バイリンガルによる英訳難易度評価

日本語を母語とするバイリンガル 3 名（通訳者, 英語教育経験者, 言語処理関連デー夕作成経験者）により，「英訳難易度」に関する評価を実施した。各評価者には，1,500 文全ての課題文に対する評価を行なわせている。

2.2 で述べた被験者による作業は, 英訳と英訳難易度評価を並行して行なう作業であるのに対 し, ここでのバイリンガルによる作業は, 英訳難易度評価のみを行なう作業である。そのため,評価作業に集中でき，同一評価者内における評価の一貫性の維持が比較的容易であると考えら れる。これらの理由から，バイリンガルによる評価では， 2.2 で述べた評価基準（5段階）とは 異なり,より細かい 7 段階の評価基準（1 非常に簡単, 2 簡単, 3 少し簡単, 4 普通, 5 少し難 しい 6 難しい, 7 とても難しい) にて評価を実施した.

次に，2.3で述べた参照訳収集と，英訳難易度評価とにおいて，バイリンガルの母語が異なる 理由について述べる，参照訳収集では，英語として一切誤りの無い完璧な訳を収集する必要が あるため, 英語が母語であるバイリンガルに依頼した，一方，英訳難易度評価においては，日本語母語話者に対する，日本語を英訳する際の難易度の測定が目的であるため, 日本語が母語 であるバイリンガルに依頼した.

## 3 学習者コーパスの分析

ここでは，2で述べた方法により収集されたデー夕の基本的な統計量について示すとともに， TOEIC スコアとの関連性という観点からの分析を行なう.

まず，被験者の TOEIC スコアの分布を示し，次に，被験者の TOEIC スコアと，被験者によ る英訳難易度，英訳の平均文長，英訳の平均単語長などとの関係について分析する．最後に，3 名のバイリンガルによって行なわれた英訳難易度の評価結果とその分析について示す.

## 3.1 被験者のスコア分布

図 1 に, 英語学習者 496 名の TOEIC スコアのヒストグラムを示す.ここでの平均は 559.4 ,標準偏差は 208.1 である。日本人の TOEIC 受験者全体の TOEIC スコアの平均（580 前後）と 標準偏差（170 前後）(ETS 2008) と比較すると, 平均スコアは低く, 標準偏差は大きくなって いる.これは, 被験者を募集する際に，英語能力の分布は，可能な範囲内で均一となるように 努めたためである.

## 3.2 TOEIC スコアと英訳課題の主観的英訳難易度

ここでは分析のため, まず，496名の英語学習者を TOEIC スコアが低い順に 100 名づつグー ピングしていき，5つのグループに分けた，以下に各グループの TOEIC スコア帯を示す.

## TOEIC score

図 1 英語学習者の TOEIC スコア

グループ 1 TOEIC スコア 175〜365の 100 名.

グループ 2 TOEIC スコア 365〜465 の 100 名.

グループ 3 TOEIC スコア 470〜605の 100 名.

グループ 4 TOEIC スコア 605〜760の 100 名.

グループ 5 TOEIC スコア 765〜990の 96 名.

図 2 は，このグループ分けを用い，次式により定義する英語学習者 $(i)$ ごとの課題文に対する主観難易度の平均値 $\left(D_{i}\right)$ を，各グループごとにプロットしたヒストグラムである。

$
D_{i}=\frac{1}{n_{\text {test }}} \sum_{j=1}^{n_{\text {test }}} d\{i, j\}
$

ただし, $n_{\text {test }}$ は, 英語学習者 $i$ が英訳した課題文の数（ここでは，300）で, $d\{i, j\}$ は, 英語学習者 $i$ が課題文 $j$ に対して付与した 5 段階の主観難易度（1～5) である.

図 2 を見ると TOEIC スコアが低い学習者ほど，難しい英訳問題であると感じており，TOEIC スコアが上がるにつれ，簡単な問題であると評価する割合が高くなっていくことがわかる.

被験者全体における $D_{i}$ の平均は, 3.2 であった. この点と, 日本人の平均的な TOEIC スコ アであるグループ 3 の難易度が，3付近に集中している点とを考慮すると，英訳課題文の難易度の設定としては，程よいレベルであったといえる。

図 2 英語学習者による翻訳難易度

## 3.3 TOEIC スコアと英訳結果の文長との関係

2.3 で述べたように，バイリンガルによる参照訳の平均文長は 10.2 単語であるが, これに比 べると被験者全体での平均文長は短く, 8.0 単語であった.

被験者の TOEIC スコアと英訳の文長の関係を見るため, 3.2 で述べたものと同様の 5 グルー プ分類を用いてプロットした各被験者の英訳結果の平均文長（平均単語数）のヒストグラムが 図 3 である. 図 3 では, TOEIC スコアが 605 以上の英語学習者の平均文長もこの付近に集中し ている．また，グループ 5 とグループ 4 とでは，分布に大きな差が無いが，グループ 3 以降, TOEIC スコアが低くなるにつれ，平均文長が短くなっていく傾向にある.

## 3.4 英訳の単語長と TOEIC スコアの関係

図 4 は, 図 3 の平均文長を平均単語長（1 単語当たりの平均文字数）に置き換えてプロットし たヒストグラムである。全体的な傾向としては, 図 3 で示した文長と TOEIC スコアとの関係 の場合と同様, TOEIC スコアが高い英語学習者ほど長い単語を使うという傾向がみられた.

しかしながら, グループ毎に細かく見ていくと, 文長の場合ではグループ 5 とグループ 4 が 非常に似かよった分布となっている反面，単語長の場合については，グループ 5 とグループ 4 の分布形状は異なり，グループ 4 とグループ 3 が似かよった分布形状となっている.

これらのことから, TOEIC のスコア帯が 605 から 760 のグループ 4 と, $765 \sim 990$ のグループ

図 3 英訳結果の文長

Average length of words used in translated sentences

(in characters)

図 4 英訳結果の単語長

5 では, 英訳結果に含まれる文長（単語数）においては大きな差が無いものの, グループ 5 はグ ループ 4 と比較し，英訳時に長い単語を使う傾向があると言える.

## 3.5 英訳におけるスペルミスと TOEIC スコアの関係

2.2 で述べたように，各英語学習者には， 300 文全ての翻訳が終了した後に，スペルミスと思 われる箇所を提示し，修正させた2 ${ }^{2}$.ここでは，修正が行なわれた文数について分析する.

図 5 は，スペル修正が行なわれた文の数を学習者ごとに合計し，プロットしたヒストグラム である.グループ分けの方法についてはこれまでと同様である.

図 5 を見ると，英語学習者の能力が高いほど，スペル修正された文の数が少ないことが分か る. $0 \sim 30$ のランクで， TOEIC スコアが最も低いグループ 1 の頻度が高くなっているが，これ は，英語学習者による英訳が不可能で，英訳結果が空欄の場合については，スペルミスが無い 英訳として集計していることが起因していると考えられる.

図 5 スペルミスを含む英訳文数

## 3.6 バイリンガルによる英訳難易度評価に関する分析

ここでは， 2.4 で述べた，バイリンガル 3 名により行なわれた英訳難易度評価の結果について 分析する。図 6 は， 3 名の評価者により評価された 1,500 文の難易度のヒストグラムである。図 6 では, 図 2 とは異なり, 全テスト文での平均をとるのではなく, 文単位の難易度を用いてプ ロットしている，図 6 を見ると，同一の課題文集合を評価しているにもかかわらず，難易度の 分布が大きく異なることが分かる．特に評価者 3 においては, 難易度 3 (少し簡単) と難易度 4 （普通）が多くなっている。

表 2 は, 各評価者の難易度評価結果間の相関係数と $\kappa$ 係数 (Cohen 1960)を示す. 相関係数で 見ると, 全ての組み合わせにおいて， 0.65 以上の値が得られており，ある程度の相関があるこ とが分かるが, $\kappa$ 係数で見ると 0.2 程度と非常に低く, 評価結果の一致の度合いは非常に低いこ とが分かる。この点については, 今後, 評価指標の再検討, 評価マニュアルの整備を行うなど して，安定した評価結果が得られるように検討していく必要がある.

図 7 は, 表 1 の分類ごとに計算した平均難易度である. 図 7 において, 横軸は各分類ごとの平均難易度を，エラーバーは標準偏差をそれぞれ表している。図 7 を見ると，e-mail 用フレーズ ブックの難易度が最も高くなっている。これは, 表 1 に示したように，課題文 1 文あたりの文長

図 6 バイリンガルによる英訳難易度評価結果のヒストグラム

表 2 バイリンガルによる英訳難易度評価の分析結果

図 7 英訳課題文の各分類ごとの難易度

が長いことが影響していると考えられる．ただし，SLDB と旅行会話用フレーズブックとを比較すると，SLDB の文長は，旅行会話用フレーズブックの文長の倍以上にもかかわらず，SLDB の難易度の方が低くなっており, 必ずしも課題文の文長だけで説明できる訳ではない. 今後,英訳難易度を自動判定するためには，英訳課題文に含まれる単語の性質も考慮に入れ，更なる 分析を行っていく必要がある.

## 4 訳質自動評価への応用

2 では, 英語学習者コーパスの収集方法について説明した， 3 においては，収集されたコーパ スの基本的な統計量について示すとともに, TOEIC スコアとの関連性という観点からの分析を 行なった。ここでは，実際に収集されたコーパスをもとに，機械翻訳の分野における翻訳自動評価技術を, 英語学習者による英訳の訳質評価に応用し，翻訳自動評価のスコアを英語学習者 の TOEIC スコアの自動推定に用いる実験を行っている.

まず，従来の英語能力測定法について述べ，次に，翻訳自動評価法について概説する。最後 に，翻訳自動評価のスコアの妥当性を検証するための相関分析と，TOEIC スコアを自動推定す るための回帰分析について述べる.

## 4.1 従来の能力測定法との関係

TOEIC に代表される現在の英語能力測定においては, 採点の容易さから, 多肢選択形式の問題が多用されている.このような問題形式は, 文法的な規則に関する知識や, 訳語選択に対す る能力を直接的に測定することは容易であるが，英語表現能力を直接的に測定することは出来 ない. そのため, 英語表現能力を構成すると考えられる文法能力や訳語選択能力などの諸能力 を測定することにより，間接的に英語表現能力を測定しているというのが現状である.

本実験では, このような方法ではなく, 英訳問題を採点することにより, 直接的に英語表現能力を測定するという方法をとる．このような方法は，従来では人手による英訳の採点が必要 であることから, 非常にコストの高い形式であった. しかしながら本研究では, 近年の機械翻訳の研究開発において発展を遂げた翻訳自動評価技術を応用することにより, 英訳採点部分を 自動化し，高い評価コストをかけること無しに，英語表現能力を直接的に測定することを可能 にすることを目的としている.

## 4.2 翻訳自動評価法の概要

本実験で用いる全ての翻訳自動評価手法は，参照訳と評価対象文とを比較し，類似度を計算 するという考え方に基づいている。翻訳の正解は一つだけではないため, 多数存在する翻訳の 正解訳に対する網羅性を高める目的から，複数の参照訳を用いることが多く，また，これによ り自動評価の性能を上げることができる。翻訳自動評価においては, 参照訳と評価対象文の間 の類似度をどのように計算するかによって，様々なスコアが存在する。本実験では, $n$-gram の 一致率に基づくスコアである BLEU と NIST, 単語単位の一致率を測定する WER と PER, 最長一致単語列を用いてスコアリングを行なう GTM，単語の一致度に関するスコアと一致した 単語の連続性に関するスコアとの積により計算する METEOR の 6 つ (安田, 隅田 2008; Turian and Luke Shen 2003)を用いる.

## 4.3 翻訳自動評価法による訳質評価

2.3 で述べたバイリンガルによる翻訳結果を参照訳として用い, BLEU, NIST, WER, PER, GTM, METEORの 6 つのスコアを, 課題セット（300文）単位で計算した. 図 8 に, 課題セッ ト単位の BLEU スコアと，TOEIC スコアの関係を示す。図中の縦軸は TOEIC スコアを，横軸 は課題セット単位の BLEU スコアをそれぞれ表している。また, 2.1 で述べたように，課題セッ トは 5 種類あることから, それぞれの課題セットに対して異なるシンボルを割り当て, 英語学習者 1 名を 1 つの点とし, 496 名分の結果をプロットしている.

通常，異なるセット間の自動評価スコアは，直接的に比較することは出来ないが，図 8 を見 ると，5つのセット全てが，ほぼ同様の分布となっており，それぞれの課題セットが同様の特性の課題文集合となっていることが示唆される。今回の課題セットについては，全課題文 1,500

図 8 TOEIC スコアと BLEU スコアの関係

表 3 TOEIC スコアと翻訳自動評価スコアの相関係数

文の集合から，各課題セットが 300 文になるようにランダムに振り分けることにより，このよ うな結果が得られたが，課題セットのサイズを小さくしすぎると，課題セット毎にスコアが大 きく異なるようになると考えられる。

表 3 には, TOEIC スコア, 自動評価スコア間の相関係数を示している。ここでの相関係数は,課題セットの違いを無視し，全てのサンプル（496 人分）を用いて計算した値である。表 3 を見 ると，全ての自動評価スコアにおいて， 0.7 以上の高い相関 ${ }^{3}$ が得られており, 中でも GTM が
^{3}$ WER と PER は，誤り率であるため，正しい翻訳ほど低いスコアとなる。このため相関係数は負の値となってい る.
}
表 4 重相関分析の結果

最も高い相関となっていることが分かる.

## 4.4 重回帰分析

ここでは, 先に述べた自動評価スコアと， $3.2 \sim 3.5$ で述べた 4 つのパラメータ（英語学習者自身による英訳難易度，英訳結果の平均文長，英訳結果の平均単語長，スペルミスが修正され た文の数）とを用いた重回帰分析を行なう.

表 3 から分かるように，翻訳自動評価間の相関は非常に高い，今回実施した重回帰分析では,多重共線性の問題を回避するため, GTMのみを用いている.

表 4 が, 重回帰分析の結果で, 各説明変数に対する重回帰係数と $P$ 値が示されている. ここ での $P$ 値は，各重回帰係数が 0 であるという帰無仮説を検定するための値である。また，表 4 の重回帰係数を用いた場合の重相関係数は 0.76 , 標準誤差は 134.84 であった. GTM のみを用 いた場合と比較し, 相関係数では約 0.02 , 標準誤差で約 6.37 の改善が得られている。表 4 を見 ると, 英訳の平均文長 (Sentence length) と英訳の平均単語長 (Word length) の $P$ 値は非常に高 くなっている，このことより, この 2 つの変数は, 図 3 と図 4 では, TOEIC スコアとのある程度の関連性は観測されたものの, TOEIC スコアを推定するための説明変数としては不適切であ ると言える。GTMについてみると, $P$ 值も低く, 重回帰係数の値も大きいことから, 最も重要 な説明変数であると言える。また，英語学習者自身による英訳難易度とスペルミスが修正され た文の数の 2 変数については, 重回帰係数の値は低いため寄与は小さいものの, $P$ 值も低いこ とから有意な説明変数であると言える.

## 5 まとめと今後の課題

TOEIC スコアで能力測定された 496 名の英語学習者が, 300 文からなる英訳課題を翻訳する ことにより収集された英語学習者コーパスについて解説した。まず，データの収集方法につい て説明し, 次に, 英語学習者自身による英訳難易度評価結果, 英訳結果の平均文長, 英訳結果 の平均単語長, スペルミスの観点からのコーパスの分析結果について述べた.
最後に, 本コーパスの応用例として, 英語学習者の能力を自動測定するための実験を行なっ た。本実験では，まず，バイリンガルにより翻訳された参照訳と既存の翻訳自動評価技術とを用 いて, 英訳課題セット単位の自動評価スコアを計算した. BLEU, NIST, WER, PER, GTM, METEROR の 6 つの自動評価スコアと，TOEIC スコアとの相関係数を求めたところ，GTM の 相関係数が最も高く, 0.74 となった，次に，GTMに，先の分析で用いた 4 つのパラメータ（英語学習者自身による英訳難易度評価結果，英訳結果の平均文長，英訳結果の平均単語長，スぺ ルミスが修正された文の数）を加えてこれらを説明変数とし，TOEICを目的変数とした重回帰分析を行なった。重回帰分析の結果，重相関係数は 0.76 ，標準誤差は 134.68 となり，GTM の みを用いた場合と比較し，相関係数では約 0.02 , 標準誤差で約 6.37 の改善が得られた.

本研究においては， 300 文からなる課題セット単位での自動評価を取り扱ったが，今後は，パ ラグラフや文といったより小さな単位での自動評価や誤り検出への取り組みを行うとともに，英訳難易度の測定技術の研究を進め,「学習者の習熟度に合った英訳問題の提示」と「訳質自動評価と評価結果と診断結果の提示」とを繰り返すことにより効率的な学習を行うことができる e ラーニングシステムの開発につなげて行きたい.

## 謝 辞

本研究は, 科学研究費補助金（基盤研究 B）（課題番号 16300048）による助成研究の一部で ある。

## 参考文献

Akahane-Yamada, R., Kato, H., Adachi, T., Watanabe, H., Komaki, R., Kubo, R., Takada, T., and Ikuma, Y. (2004). "ATR CALL: A speech perception/production training system utilizing speech technology." In Proceedings of the 18th International Congress on Acoustics, Vol. III, pp. 2319-2320.

Callison-Burch, C., Osborne, M., and Koehn, P. (2006). "Re-evaluating the Role of Bleu in Machine Translation Research." In Proceedings of the 11th Conference of the European Chapter of the Association for Computational Linguistics, pp. 249-256.

Cohen, J. A. (1960). "A coefficient of agreement for nominal scales." Educational and Psychological measurements, 20, pp. 37-46.

ETS (2008). "http://www.toeic.or.jp/toeic/data/data_avelist.html.".

Hirose, K., Ishi, C. T., and Kawai, G. (2001). "On the use of speech recognition technology for foreign language pronunciation teaching." Journal of the Phonetic Society of Korea, 42,
pp. $37-46$.

Izumi, E., Uchimoto, K., and Isahara, H. (2004). "The NICT JLE Corpus: Exploiting the language learners' speech database for research and education." Special Issues of International Journal of the Computer, the Internet, and Management (IJCIM), 12 (2), pp. 119-125.

Kikui, G., Sumita, E., Takezawa, T., and Yamamoto, S. (2003). "Creating corpora for speechto-speech translation." In Proceedings of Eurospeech, pp. 381-384.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "Bleu: a Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 311-318.

Takezawa, T. (1999). "Building a Bilingual Travel Conversation Database for Speech Translation Research." In Proceedings of 2nd International Workshop on East-Asian Language-Resources and Evaluation-Oriental COCOSDA Workshop '99-, pp. 17-20.

投野由紀夫 (2007). 日本人中高生一万人の英語コーパス中高生が書く英文の実態とその分析. 小学館.

Turian, J. P. and Luke Shen, I. D. M. (2003). "Evaluation of Machine Translation and Its Evaluation." In Proceedings of MT Summit, pp. 386-393.

Woodford, P. E. (1982). An introduction to TOEIC: The initial validity study. Educational Testing Service.

安田圭志, 隅田英一郎 (2008). 機械翻訳の研究・開発における翻訳自動評価技術とその応用. 人口知能学会誌, 23 (1), pp. 2-9.

## 略歴

安田 圭志：1999 年同志社大学工学部知識工学科中退（飛び級進学のため）. 2004 年同志社大学大学院工学研究科博士課程了. 工学博士. 現在, 独立行政法人情報通信研究機構において機械翻訳システムの研究に従事. 2006 年電子情報通信学会 ISS ソサイエテイ論文賞受賞. 情報処理学会, 電子情報通信学会, 音響学会各会員.

喜多村圭祐：2006 年同志社大学工学部知識工学科卒業. 2008 年同大学大学院知識工学研究科修士課程了. 工学修士. 機械翻訳の研究開発に従事. 現在 (株) NEC.

山本 誠一：1972 年大阪大学工学部電子工学科卒業. 1974 年同大学大学院基礎工学研究科修士課程了. 同年 (株) KDD 入社. ATR 音声言語コミュニケー ション所長などを経て, 現在同志社大学理工学部教授. 工学博士. この間,適応信号処理, 音声合成, 音声認識, 音声翻訳の研究に従事. 1981 年度電子
情報通信学会学術奨励賞, 日本音響学会第 3 回技術開発賞, 第 5 回技術開発賞，電子情報通信学会 ISS ソサイエテイ論文賞，電気通信普及財団テレコム 技術賞などを受賞。電子情報通信学会 FELLOW, IEEE FELLOW．言語処理学会, 日本音響学会各会員.

柳田 益造：1969 年大阪大学工学部電子工学科卒業. 1971 年同大学大学院修士課程了. 同年 NHK 入局. 1978 年大阪大学大学院博士課程了. 工学博士. 同年大阪大学産業科学研究所助手, 1978 1979 年オランダ国立 Groningen 大学音声研究所客員研究員, 1987 年郵政省電波研究所（現情報通信研究機構）音声研究室長などを経て, 現在同志社大学理工学部教授. 音響信号処理, 音声言語情報処理ならびに音楽知覚・情報処理の研究に従事. 2004 日本音響学会佐藤論文賞, 2006 年電子情報通信学会 ISS ソサイエテイ論文賞などを受賞.著書 (分担執筆)：「ファジイ科学」(海文堂)，「信号処理」(オーム社)，「メ ディア情報処理」(オーム社), 訳書 (分担)：「ソフトコンピューティング」(海文堂)，日本音響学会音楽音響研究会委員長, 日本音楽知覚認知学会理事, 電子情報通信学会, 情報処理学会, IEEE, 米音響学会 など各会員.

$(2008$ 年 8 月 31 日 受付)
$(2008$ 年 11 月 17 日 再受付 $)$
$(2009$ 年 4 月 3 日 再々々受付 $)$
$(2009$ 年 7 月 17 日 採録)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 相互教授モデルに基づく学習者向け作文支援システムの実現

山口 昌也 $\dagger \cdot$ 北村 雅則 $\dagger \dagger \cdot$ 棚橋 尚子怰
}

本論文では, 学習者向けの作文支援手法として, 学習者, 教師, システム間で互い に作文に関する知識を教えあう相互教授モデルを提案し, Webべースの作文支援シ ステムを実現した，適用対象として，大学の作文教育を想定する．対象とする文章 は，レポートなどの，一定の書式と文章構造が規定される文章とする。従来の作文支援システムの問題点として, (a) 文章構成や作文の内容に対する支援など, 意味処理が必要となる支援が困難であること, (b) 教師の指導意図をシステムの動作に反映 させる仕組みを持たず，実際の授業で運用しにくいことが挙げられる。相互教授モ デルでは, 作文の言語的・内容的制約を記述する「作文規則」を用いて, 教師から システムへの指導意図の伝達を可能にした. さらに，学習者による作文へのマーク アップ，および，学習者同士の添削を導入し，文章構成や作文の内容に対する支援 を含めた作文支援を行う．システムは学習者のマークアップ結果を利用しつつ，作文規則を作文に適用し，誤りを指摘する。本論文では，提案手法, 従来手法による 作文実験を行い，相互教授モデルと作文規則の有効性を確認した。

キーワード：作文支援，相互教授モデル，作文規則
## An Implementation of a Writing Aid System for Students Based on a Mutual Teaching Model

\author{
Masaya Yamaguchi ${ }^{\dagger}$, Masanori Kitamura $^{\dagger \dagger}$ and Hisako Tanahashi ${ }^{\dagger \dagger}$
}

This paper proposed a mutual teaching model for assisting students in writing compositions, and implemented a writing aid system as a Web application based on the model where students, teachers and our system teach each other their knowledge of writing. We designed the system to use in first language writing courses in the university. The existing systems have two problems: (a) the limitation of assistance for structure or contents of composition, (b) few mechanisms that allow teachers to incorporate their educational objectives into systems. In our proposed model, a student annotates on his/her own composition and makes comments on other's compositions. And teachers define "Composition Rules" for incorporating their educational objectives into systems. Using the rules and results of the annotation, our system provides various assistance for also structure or contents of composition. By the proposed model and a coventional model, we made two composition experiments whose results showed the effectiveness of the proposed model and "Composition Rules".

Key Words: Computer-Aided Writing, Mutual Teaching Model, Composition Rules

## 1 はじめに

## 1.1 本研究の背景

近年, 大学では文章能力向上のため,「文章表現」の授業がしばしば行われている. 実際に作文することは文章能力向上のために有効であることから, 多くの場合, 学生に作文課題が課さ れる. しかし, 作文を評価する際の教師の負担は大きく, 特に, 指導する学生数が多いと, 個別の学生に対して詳細な指導を行うこと自体が困難になる ${ }^{1}$. また，講義だけで，個別の指導が ない授業形態では, 学生も教師の指導意図をつかみにくく, ただ漠然と作文することを繰り返 すといった受け身の姿勢になりがちである。

本研究は，上記のような現状に対処するために，大学における作文教育実習で活用できる学習者向け作文支援システムを提案するものである.

## 1.2 既存システムの問題点

これまでに多くの作文支援システムが提案されてきた，支援手法という観点から既存の手法 を分類すると，次のようになる。

(a) 作文中の誤りを指摘する手法

（b）作文する際の補助情報を提供する手法

(c) 教師の指導を支援する手法

(d) 作文を採点する手法

(a)の手法は，ワードプロセッサなどのスペルチェッカや文法チェッカとして，広く利用され ている。また，より高度な文章推敲や校閲を支援するための手法 (梅村, 増山 2007; 笠原, 小林, 荒井, 絹川 2001) も考案されている. 教育分野への適用では, 第 2 言語学習者向けの日本語教育分野での研究が盛んである。例えば，第 2 言語学習者の誤りを考慮して，文法誤りなど を指摘する手法 (Chodorow and Leacock 2000; 今枝, 河合, 石川, 永田, 桝井 2003; Brockett, Dolan, and Gamon 2006) がある.

さらに，(b)の手法としては，文章作成時の辞書引きを支援する手法 (Takabayashi 2004), 翻訳時にコーパスから有用な用例を参照する手法 (Sharoff, Babych, and Hartley 2006)などがあ る。これらは，学習者用というよりも，ある程度すでに文章技術を習得している利用者向けの 手法である。

(c)のアプローチは，学習者を直接支援するのではなく，作文指導を行う教師を支援すること により，間接的に学習者の学習を支援する手法である。この種のアプローチの例としては，教

師の添削支援システム (Usami and Yarimizu 2007; 砂岡, 劉 2006) に関する研究がある. これ らの研究では，日本語教育の作文教育において，作文とそれに付随する添削結果をデータベー スに蓄積し，教師の誤用分析などを支援する。

(d) の手法は，小論文などの文章試験を自動的に採点することを目的に開発されている手法 である。代表的なシステムとしては，英語の小論文を自動採点する，ETS の e-rater (Burstein， Kukich, Wolff, Lu, Chodorow, Braden-Harder, and Harris 1998) がある。また, e-rater を組み 込んだオンライン作文評価システム Criterion ${ }^{2}$ も開発されており, grammar, usage, mechanics, style, organization \& development という観点から作文を評価し, 誤りの指摘などもあわせて行 われる。なお，日本語でも，e-rater の評価基準を踏襲して，石岡らが日本語小論文評価システ ム Jess (Ishioka and Kameda 2006) を構築している。また，井上らが Jess をWindows 用に移植し, 大学において日本語のアカデミックライティング講座への導入を検討している (井上, 佐渡島 2005).

以上の手法のうち，学習者を直接支援対象としうる手法は，(a)(d)である．大学における作文実習に，これらの手法を適用することを考えた場合，次の二つの問題があると考える．

問題点 1: 意味処理が必要となる支援が困難なこと 大学の文章表現では, レポート, 論文, 手紙, 電子メール, 履歴書などを題材として, 表記・体裁, 文法, 文章構成（例：テーマに即し た文章の書き方, 論理的な文章の書き方), 要約の方法, 敬語の使い方など, 広範囲な文章技術 を習得対象としている (庄司, 山岸, 小野, 安達原 2007; 沖森, 半沢 1998).

それに対して，現状の作文支援システムは，表記・文法に関しては，手法 (a)(d) で誤りの指摘 が行われているが, 意味的な解析が必要となる支援については, 部分的に実現されるにとどまっ ている。例えば，前述の Criterion では，導入部 (introduction material) や結論部 (conclusion) などの文章要素を自動的に認識し，それぞれの部分の一般的な記述方法を表示することができ る.しかし, 現在の自然言語処理技術では，学習者の支援に耐えうるほどの精度で意味解析を 行うことは難しい. そのため, 作文課題に必要な記述が含まれているか ${ }^{3}$, 記述内容の説明が不足していないか, 意味的な誤りや矛盾はないか, といった深い意味解析を必要とする支援は困難である.

問題点 2: 教師の指導意図をシステムの動作に十分反映できないこと 前述のとおり, 教師が 用意する作文課題には，学術的なものから実社会で役立つものまで様々なものがある．各課題 を課す際には，学習者の作文の質を向上させるために，それぞれの目的に応じた到達目標やそ

れに応じた学習支援を設定する。したがって，教師が実習で作文システムを利用するには，課題の内容に応じて, 教師がシステムの支援内容をコントロールできなければならない. 例えば,電子メールの書き方を習得するための課題であれば，電子メールに書かれるべき構成要素（例：本文，結び， signature など）が存在するか，また，適切な順序で書かれているかを検査し，誤 りがあれば，指摘するという支援が考えられる。このような支援を行うためには，電子メール に書かれるべき構成要素とその出現順序を，教師が規則として作文支援システム中で定義でき なければならない.

現状の作文支援システムの中では，手法 (d) の作文採点システムが，作文評価用のパラメー 夕の設定手段を持っている（自動採点システムにおける作文評価手法は (石岡 2004)に詳しい).例えば，Windows 版 Jess の場合は，修辞，論理構成に関する各種パラメータの採点比率，およ び，内容評価用の学習用文章をユーザが指定できるようになっている。このように，既存の規則のパラメータを設定することは可能である。しかし，教師が新たな規則を定義できるまでに は至っておらず，教師の指導意図をシステムの動作に反映することは難しいのが現状である.

## 1.3 本研究の目的

そこで，本研究では，上記の二つの問題を解決するための手法を提案し，作文支援システム として実現する。

まず, 問題点 1 に対しては, 「相互教授モデル」を導入する. このモデルでは, 学習者, 教師, システムが互いの作文知識を教授しあうことにより，学習者の作文技術を向上させる．従来の システムのように，作文支援システムだけが学習者に作文技術を教授するのではなく，学習者・ システム間, 学習者同士で作文技術を教授しあうことにより, システム単独では実現できない,深い意味処理が必要で, 多様な文章技術に対する支援を可能にする.

また, 問題点 2 に対しては, 「作文規則」を用いる。この規則は，学習者の作文の構造，およ び，内容を規定するための規則である。教師は，作文課題に基づいて作文規則を決定する．シ ステムは，作文規則に基づいて，学習者の作文をチェックし，誤りがあれば，それを指摘する。本稿では，作文規則の形式，作文への適用方法について示す.

本論文の構成は，次のようになっている。まず，2 章ではシステムの構成について述べる， 3 章では相互教授モデルの提案を行い，4 章では作文規則の定義と作文への適用方法を示す.さ らに，提案手法の有効性を検証するために，5 章で提案手法・従来手法による作文実験を行い， 6 章で実験結果を評価・考察する。そして, 最後に 7 章でまとめを述べる.

## 2 システム構成

本システムの構成を図 1 に示す. 本システムは, Web サーバ上の Wiki として動作し, 教師が 作文課題用のサイトを構築する。学習者は, Webブラウザを介して作文するとともに，互いの 作文を添削する。システムは，教師の設定した「作文規則」に基づいて，学習者の作文をチェッ クする，作文，および，添削結果は，Wikiコンテンツとして Webサーバ上に格納されていく． システムは，教師に対して，作文を分析する手段を提供する.

本システムの機能は, Wiki のプラグインとして実現される 4 . プラグインは, 次の 4 種類に 大別される。

編集関連プラグィン：WYSIWYG エディタとして機能する ${ }^{5}$. エディタとしての基本的な機能 の他，学習者による作文へのマークアップ，Web サーバへの作文の保存（排他処理を含む）が できる。作文結果は，XHTMLとしてWikiコンテンツの中に埋め込まれる，図 2 に編集プラグ インの実行例を示す.

エラー検出プラグイン：「作文規則」に基づき, 作文をチェックする。チェックは, 作文を保存する際に行われ, 結果はWikiページに保存される。作文規則は, 3.3 節, 4 節で詳しく説明 する。

添削関連プラグイン：学習者同士の添削を支援する。添削時には，まず，作文の該当箇所にハイ パーリンクを作成する．添削の内容は，リンク先のWiki のページに記入する．図 2 中の「苍」

^{4}$ Pukiwiki (http://pukiwiki.sourceforge.jp/) を利用している.

5 TinyMCE (http://tinymce.moxiecode.com/) を拡張している.
}

図 2 編集プラグインの実行例

「口」6などのアイコンは，ハイパーリンクの例である.

作文分析支援プラグイン：作文中の文字数, 文数, 段落数, 添削数などの統計や作文の検索な ど，主として教師が学習者の作文を分析するための役割を果たす.

Wiki を利用している理由の一つは，Webコンテンツを作成するのが容易なことである．Wiki は, HTMLの夕グではなく, Wikiの簡易的な夕グで Web ページを作成できる. 作文教育の担当教師は, 必ずしも Web システムの利用や Webコンテンッの作成に精通しているとは限らな い.しかし，もし，作文支援システムを含めた Webコンテンツを容易に作成できれば，授業の 資料を含めた形の作文用の Web サイトを構築するという形で，作文支援システムを授業の中に 導入しやすくするなると考えられる。

Wiki を利用した, もう一つの理由は, プラグインとして実装することにより, 機能の拡張や

その利用が容易になるためである，作文課題のテーマや授業での利用方法は多様であり，シス テムの拡張性やその利用の容易性は重要である。 Wiki のプラグインとして実装すれば，必要に 応じて，機能を拡張することが可能であると同時に，拡張したプラグインを通常のプラグイン と同様に Wiki コンテンツに埋め达むことができる.

## 3 相互教授モデル

## 3.1 概要

本節では，本システムの特徴である「相互教授モデル」について述べる.

このモデルは，学習者，教師，システムが互いの作文に関する「知識」を教授しあうことに より，学習者の作文を支援する。概要を図 3 に示す.この図のとおり，このモデルには，教師 $\Leftrightarrow$ システム, 学習者 $\Leftrightarrow$ システム, 学習者 $\Leftrightarrow$ 学習者, という三つのタイプのインタラクション がある.

このモデルの中で，学習者は二人以上を想定する，通常は， 10 名以上の学習者を想定し, 特定の学習者間だけでなく, 複数の学習者間でインタラクションが行われるようにする。これは,後述するように，学習者間のインタラクションにおいて，誤った作文知識が教授されるのを防 ぐためである.

教師は作文規則をシステムに「教授」し, システムがその作文規則に基づいて, 個別の学習者とインタラクションしつつ，作文をチェックする。

実際の授業で利用する場合は, 次の手順で示すように，作文課題に関連する授業と本モデル

図 3 相互教授モデルにおけるインタラクション

とを組み合わせて運用することを想定している.

手順 1 教師が，学習者に対して作文を書く前の事前授業を行う.

手順 2 教師がシステムに対して「作文規則」（4 節を参照のこと）を設定する（教師 $\Rightarrow$ シス テム).

手順 3 学習者がそれぞれ作文する。この際, 自分の作文に対して, 各種のマークアップを行 う (学習者 $\Rightarrow$ システム)。また，作文の過程で，システムが学習者の作文をチェックし， チェック結果に基づいて，学習者が自分の作文を修正する（システム～$\Rightarrow$ 学習者）.

手順 4 他の学習者の添削を行う（学習者 $\Leftrightarrow$ 学習者）.

手順 5 学習者が添削結果に基づき, 自分の作文の修正を行う（学習者 $\Leftrightarrow$ 学習者）.

手順 6 システムが教師に対して，作文の分析支援を行う（システム $\Rightarrow$ 教師）

手順 7 分析結果に基づき, 授業で教師が学習者を指導する.

この後の節では，それぞれのインタラクションでどのような作文知識が教授され，どのよう に学習者の知識獲得につながるのか，ということを説明する.

## 3.2 教師 $\Leftrightarrow$ システム

まず，教師からシステムへは，教師自身が設定する「作文規則」が教授される（手順 2）。作文規則は，作文の表記，文法, 文体, 文章構造などの言語的な規則に加えて, 作文の形式や内容 を規定する規則である。一般的には，作文課題ごとに学習者に教授したい事柄（以後，「指導項目」）が存在するので，その指導項目に基づいて，作文規則が決定される。なお, 指導項目は,教師が手順 1 で授業する内容と基本的に対応する.

例えば，本論文の 5 節で実施した実験では，「章立て」の習得を目的として，「旅行計画」を テーマとする作文課題を出している。教師は，この目的とテーマを満たす作文が書かれるよう に，作文規則を設定する。この実験の場合，1文の長さ，文体（です・ます調で書く）といった 一般的な作文上の規則に加えて，「章立て」に関する作文規則を設定した。さらに，作文のテー マに則して，必ず記述しなければならない項目（以後，「必須記述項目」）を設けて，作文規則 とした，具体的には，「旅行計画」というテーマから，「旅行目的」「スケジュール」などを必須記述項目としている.

一方，システムから教師へは，学習者が作成した作文を分析するための機能が提供される（手順 6). 具体的には, (1) 作文規則の作文への適用結果の集計, (2) 作文中の文字, 文, 段落数な どの集計，(3) 全作文に対する横断的な全文検索，(4) 学習者同士の添削結果の集計などである.教師は，これらの機能を使って，全学習者の作文を分析（例えば，誤りの傾向分析）をした上 で，授業で学習者を指導する（手順 7 ).

## 3.3 学習者 $\Leftrightarrow$ システム

学習者とシステムとの間のインタラクションは, 学習者が作文する過程で行われる (手順 3 ).学習者は, 自分の作文に対して, マークアップを加える。それに対して, システムは, 作文に 対する自動的なマークアップと，学習者のマークアップ結果を利用しつつ，作文規則を作文に 適用する。そして，図 4 のように，作文規則に適合しない部分を学習者に指摘する。

学習者が実際にどのようなマークアップを行うかは, 教師の指導項目や自動的なマークアッ プの精度などに応じて決定する，例えば，5 節の実験では，章節タイトル，引用部分などの言語的な要素の他に，「旅行目的」「スケジュール」といった必須記述項目の記述範囲に対するマー クアップを行っている。これは, この実験の教育目的が「章立て」の習得であり, 作文テーマ が「旅行計画」だからである。このように教育目的上, 重要な部分については, 自動的なマー クアップの精度にかかわらず，学習者によるマークアップを行う。

学習者のマークアップが, 学習者の作文技術習得に与える効果は, 二つある。 一つは, 学習者自身が自分の作文に対してマークアップすることによって, 教師が学習者に対して習得して ほしいと考えている事柄を学習者が自覚的に確認しつつ, 作文を行うことができることである. また，マークアップを行うことは，他者であるシステムに対して作文知識を「教える」ことに なる。したがって, CAI 関連研究において, (小谷 1989) や (大林, 下田, 吉川 2000) が主張し ているように, 学習者の自発的な学習を促し, 学習者自身の作文知識が整理・詳細化されるこ とが期待される。

学習者がマークアップすることの, もう一つの効果は, 現在の自然言語処理技術では十分な 精度で解析することが困難な対象に対しても，マークアップが可能になることである．現在の システムでは実現困難なマークアップ処理を学習者が行えば，作文規則にそのマークアップ結果を取り込んで，学習者の作文を検査することが可能になる。

ロチェック結果
- 著者名が書かれていません。
- 次の章節タイトルは, 章節番号がないか, 正しい形式 (例：「2.」「2.1」) ではありません。 - はじめに
- 1 文に含まれる文字数が多すぎます。複数の文に分けましょう。
- 4 月に入り，新しい生活が始まる人たちも多いと思いますが，新しい職場や学校に最初から 遅刻していては, その印象が今後も付きまとってしまうので, 大学生の読者を想定して, 寝坊しないための方法を考えてみることにしました。

$\cdot$です・ます調で書かれていないようです。

-した回数が多い方法である。複数の目覚しを

図 4 システムによるチェック例
例えば，上記でマークアップの例として挙げた「旅行目的」を自動的に検出するには，表層的な解析のみならず，意味的な解析が必要になると思われる。しかし，学習者がマークアップ を行えば，「旅行目的」が記述されているか否かを機械的に判断し，記述されていない場合は，学習者にその誤りを指摘できる。

## 3.4 学習者 $\Leftrightarrow$ 学習者

学習者間のインタラクションは, 互いに作文に対して, コメントしたり, 質問しあうことであ る.コメントや質問の内容についての制限はないが, (a) 誤字・脱字の指摘, (b) 語の用法や文法の誤りの指摘, (c) 内容に対する質問, (d) 文章構成などの改善案などを, 教師が学習者に事前に推奨しておくものとする，学習者が行ったコメント，質問などは，システムが管理し，学習者同士が掲示版システムを用いて対話できるようにする。図 5 に添削例を示す.

学習者間のインタラクションが学習者の作文技術習得に与える効果は, 学習者とシステム間 のインタラクションと同様, 学習者が他人に教授することによる効果と, 広範な支援内容を実現できる点にある。ただし，その効果の内容は異なる.

まず，他人に教授することの効果について説明する．学習者が他の学習者の作文に対してコ メントや質問をすることは，コメントするだけの知識を自ら持たなければならず，学習者自身 の知識が整理・詳細化されると考えられる。また，他人の作文を読むということは自分の作文作成の参考にもなる．自分の作文に対してマークアップする場合と異なるのは，添削した相手 や他の学習者から添削自体に対する反応があることである，そのため，学習者（添削者，被添削者）の作文知識が矯正・強化される可能性がある，具体的には，（a）誤った知識に基づいて他人の作文を添削した場合でも，学習者同士の対話の過程で誤った知識が矯正されうること，(b)複数の添削者が同じ内容の添削を行えば，その添削内容の信頼性が被添削者や他の添削者にも

図 5 添削例
伝わること7，などが挙げられる。

次に，広範な支援内容を実現できるという点について説明する。学習者とシステム間でのイ ンタラクションでも同様の効果が得られるが，学習者間のインタラクションはそれを補完する 役割を果たす。つまり，学習者・システム間のインタラクションでは，作文規則に記述できる範井でしか支援しかすることができない，それに対して，学習者間のインタラクションでは，添削する側の学習者の作文知識の範囲での支援が可能である.

以上のような学習効果がある一方，添削するのが学習者であり，専門家でないことから，添削内容に誤りが含まれる可能性を考慮しなければならない。そこで，本モデルでは，二つの対策を考えている。一つは，一人の学習者の作文に対して，複数の学習者が添削し，添削内容に ついて議論できるようにすることである。もう一つは，添削用の掲示板システム上に，教師が 部分的に介入することにより，添削者・被添削者が互いに解決できないような場合に対処する ことである.

## 3.5 他の教授モデルとの比較

本節では，ユーザ（学習者）による知識の教授という面から，相互教授モデルと既存の教授 モデルとを比較する。

まず，学習者同士の教授という面から見てみると，作文教育では従来から学習者同士の添削 を導入している，例えば，国語教育では，学習者同士が作文を交換しあって読みあわせる「相互推敲」と呼ばれる手法が用いられている (田近，井上 2006)，また，第 2 言語学習者に対する 作文教育でも，学習者同士で推敲しあう，ピア・レスポンスと呼ばれる手法が導入され，成果 を挙げている (原田 2006).

これらの教授モデルと相互教授モデルとの違いは, 本教授モデルでは, 教師の指導項目が習得されているかをチェックする手段が，第三者であるシステムに作文規則として取り込まれて いる点である．教師の指導意図が学習者に伝わっているかを確認する場合, 従来のモデルでは,各学習者の作文を個別に確認しなければならないが，本教授モデルでは，作文規則を用いて教師 の指導意図を徹底させつつ，学習者同士の知識教授を実現することができる。このことは，学習者の習得結果を確認しづらい，多人数を対象とした授業において，特に有効である。

次に，工学的な見地，つまり，ユーザ・システム間の知識教授という側面から本モデルと既存手法とを比較する。従来から，自然言語処理システムでは，全自動で十分な精度の解が得ら れない場合，ユーザとのインタラクションが用いられてきた。最も一般的に利用されているの は，仮名漢字変換システムである，1.2 節の問題点 2 で取り上げた意味処理に関しても，GDA （橋田 1998）を用いて，ユーザが意味的情報をアノテーションする手法が提案されている（例え

ば, (綾, 松尾, 岡崎, 橋田, 石塚 2005) による要約生成).

本モデルが既存手法と異なる点は, (1) アノテーションが学習者にとって手間になるのではな く, 作文技術を習得する助けになる（3.3 参照）という，積極的な意味を持つこと， (2) 複数の 学習者が存在するため, アノテーションの誤りを修正できる可能性があることである. 二つ目 の特徴は, 誤ったアノテーションを行う可能性がある学習者をユーザとする作文支援システム にとっては，アノテーション結果を有効利用する上で重要である.

## 4 作文規則

## 4.1 定義

作文規則は，学習者の作文が教師の指導項目に適合しているか検査するための規則である.本システム上で作成される作文は, XML を用いて, 内部的に構造化されており, 作文規則はそ の構造に対して適用される。作文規則の例を表 1 に示す.なお, これらの規則は， 5 節の実験 で，実際に使用した作文規則の一部8である.

作文規則は, 次の 4 種類のテンプレートを論理的に結合することにより構成する.テンプレー ト中の作文要素 $e_{i}, e_{j}$ は, 作文自体, 文, 段落, 文字など, 作文を構成する言語的な要素であ る。なお, 作文要素には, 学習者がマークアップする言語要素も含まれる.

$
\begin{array}{ll}
\text { テンプレート } 1: & \text { include }\left(e_{i}, e_{j}, N\right) \\
\text { テンプレート } 2: & \operatorname{child}\left(e_{i}, e_{j}, N\right) \\
\text { テンプレート } 3: & \text { locate }\left(e_{i}, e_{j}, P\right) \\
\text { テンプレート } 4: & \text { correspond }\left(e_{i}, e_{j}, R\right)
\end{array}
$

テンプレート 1 と 2 は, 作文要素の包含関係を規定する. 作文要素 $e_{i}$ が $e_{j}$ を $N$ だけ含む場合, 作文とテンプレートが一致したことになる. $N$ は, $e_{j}$ の個数を表し, 定数, もしくは, 数値範囲で指定する. テンプレート 1 と 2 との違いは, テンプレート 1 では $e_{i}$ が $e_{j}$ を単に包含 していればよいのに対して, テンプレート 2 では, $e_{j}$ が $e_{i}$ の子要素となっていなければいけ ないところである.

この二つのテンプレートの使用例として, 表 1 の作文規則 1,17 を挙げる. 作文規則 1 は,「作文には，一つの作文タイトルが存在する」ことを規定するもので，作文要素「作文」の中に，子要素として作文要素「作文タイトル」が一つ含まれることを意味する。作文を XML で記述し た例を図 6 に示す.

一方，作文規則 17 は，必須記述項目の「旅行の目的」が作文中に書かれているかを検査する

表 1 作文規則の例（一部）

 \\

ための規則である。したがって, 作文規則 1 とは異なり, 作文の子要素ではなく, 作文に単に包含されていればよい，図 6 では， 2 章の章タイトルに「目的」タグとして付与されており，「作文」要素に包含された構造になっている.

テンプレート 3 は, 作文要素間の位置関係を規定する。作文要素 $e_{i}$ と $e_{j}$ が位置関係 $P$ のと きにテンプレートと一致したことになる．P値は，「直前」「直後」「前」「後」「先頭」「末尾」 のいずれかを取る。このテンプレートの使用例としては，表 1 の規則 3 を挙げる。この規則で は, 図 6 のように, 「作文タイトル」要素が「作文」要素の先頭にあることを規定する.

図 6 構造化された作文の例

テンプレート 4 は, 作文要素間の対応関係を規定し, 作文要素 $e_{i}$ と $e_{j}$ が対応関係 $C$ である ことを示す. 対応関係には，「引用・出典」「図表参照」がある。このテンプレートの例として は, 表 1 の作文規則 16 を示す.この規則は, 引用を行った場合, 必ず出典を示すことを指導す るためのものである.

以上の四つのテンプレートに対して, 論理演算子 $(a n d$, or,$n o t)$ を適用することにより, 複数 のテンプレートを論理的に結合させることができる。 また, 演算子 desirable を適用することに より, 必須的な作文規則なのか, 任意的な作文規則なのか（従ったほうが好ましい規則なのか） を表現することができる.

作文規則 $R$ の形式は, 次の BNF で規定される.

$
\begin{aligned}
R::= & R^{\prime} \mid \text { desirable }\left(R^{\prime}\right) \\
R^{\prime}::= & \left(R^{\prime} \text { and } R^{\prime}\right) \mid\left(R^{\prime} \text { or } R^{\prime}\right)\left|\operatorname{not}\left(R^{\prime}\right)\right| \\
& \operatorname{include}\left(e_{i}, e_{j}, N\right)\left|\operatorname{locate}\left(e_{i}, e_{j}, P\right)\right| \operatorname{correspond}\left(e_{i}, e_{j}, C\right)
\end{aligned}
$

## 4.2 作文規則に基づく誤り検出

作文規則に基づく誤り検出は，次の手順で行う.

(1) 作文要素の付与

(2) 規則の適用

(3) エラーの生成

## 4.2.1 作文要素の付与

作文要素の付与方法には, (a) 生テキストに自動付与, (b) 学習者が付与, (c) (b) で付与され た情報を利用して自動付与，の 3 通りがある。どのような作文要素を付与するかは，作文規則 （つまり，教師の指導項目）に依存するが，ここでは，表 1 に示した作文規則中の作文要素と関係づけつつ，三つのタイプの作文要素の付与方法を説明する。

まず，(a)の方法で付与される作文要素は，自動的な認定の精度が高いものが対象となる．認定の精度が低い場合や，精度が高くても，必須記述項目に関連した作文要素のように教育上の 重要性が高い部分については, (b)(c)の付与方法を取ることになる。

表 1 中の作文要素のうち，(a)の方法で付与された作文要素は，「作文」「段落」「文」「文字」「章番号」「話し言葉形態素」「だ・である形態素」である。これらは，表層的なパターンマッチ ングや形態素解析結果を利用して付与されている，例えば，「文」は，改行情報や句点（。）な どの表層的な情報に基づいて認定している。また，「話し言葉形態素」は，作文全体を形態素解析し，主として，話し言葉でよく用いられる文末の助詞，助動詞を「話し言葉形態素」として 認定している9.

次に，(b)のタイプの作文要素は，学習者が作文作成時にマークアップする．表 1 中の作文要素のうち, このタイプの作文要素としては, 章節タイトル（「章タイトル」「節タイトル」な ど）「引用」「出典」「作文タイトル」「著者」に加えて，必須記述項目に関連する作文要素「目的」「日程」「予算」「イベント」「導入部」「まとめ」がある.

(c)のタイプの作文要素の例としては, 作文要素「章」(図 6 参照) がある.「章」要素の範囲 を自動認定する際には，学習者がマークアップした「章タイトル」の付与結果を利用する 10 。ま た，必須記述項目の「導入部」についても，第 1 章の「章」要素を「序章」として認定するのに 利用されている（図6では，「章」要素の type 属性値として記述されている）.

## 4.2.2 作文規則の適用とエラーの生成

作文規則の適用は，学習者が作文を保存するタイミングで実行される。作文が保存されると， まず，（前節で説明した）付与方法 (a)(c)の順序で作文要素を付与する。その後，すべての作文規則を順次，作文に対して，適用する。

もし，作文規則に合致しない場合は，エラーとして学習者に伝達する。エラーメッセージは,

個々の作文規則ごとに対応づけられているものとする. 実際の実行結果については, 3.3 節の図 4 を参照されたい.

## 5 実験

本節では, 提案した相互教授モデルの有効性を検証するために，実現した作文支援システム を用いて，作文実験を行う（実験 1).さらに，従来からの作文教育との比較を行うために, シ ステムを利用しない場合の作文実験も行う（実験 2 ）。お, 本論文の実験で検証対象とするの は, 提案した相互教授モデルのうち, 手順 2 から手順 5 に相当する部分である. システムから 教師への知識教授（手順 6) については, 本稿では扱わない.

## 5.1 実験 1

実験 1 では, 実現したシステムを利用して, 作文実験を行った. 作文のテーマは「旅行計画」,教育上の目標は文章の「章立て」に関する技術習得とした。実験の条件は, 次のとおりである.
- 被験者：大学 $1 \sim 3$ 年生（教育学部） 26 名
- 作文テーマ：旅行計画（著者自身がこれから行く旅行の計画を他人に説明する）
- 想定する読者：年上を含む, 不特定多数の読者
- 文体：必要がない限り, 口語表現は避ける。また, ですます調で書く.
- 作文規則：表 1 の作文規則を用いる.
- 学習者によるマークアップ対象：作文タイトル, 著者, 章節タイトル（章, 節, 小節,小々節), 引用, 出典, 図タイトル, [以降, 必須記述項目] 旅行の目的, 日程, 予算, 旅行中のイベント，導入部，まとめ

実験手順は，次のとおりである。 システムは，インターネット上の Web サーバ上に設置し,各被験者は好みの時間と場所で実験を行った。たたし, 各段階の実施期間を定め, すべての被験者が同じ期間に同じ段階の実験を行うようにした。

（1）章立てに関する資料を被験者に配布し，教育上の目標を理解してもらう.

（2）テーマに基づき，個々の被験者が作文を行う，なお，学習者は，作文の過程で，自分の 作文に対してマークアップを行う，また，システムによる誤りの指摘に基づき，作文を 修正する。

（3）個々の被験者は，それぞれ 4 名の被験者の作文を添削する．各被験者は他の 4 名の被験者の添削を受ける．なお，添削する相手に添削内容がうまく伝わるように，添削を行う 前に添削マニュアルを配布した。

（4）添削に基づき，自分の作文を修正する，なお，被添削者は添削結果に返答すること，添削結果を受け入れなくてもよいが，その理由を明記することが求められる.

## 5.2 実験 2

実験 2 では, 提案手法と従来手法との比較を行うために, 作文支援システムを利用しない作文演習を想定して実験を行う。なお，学習者同士の添削は行わない.

実験条件は，被験者以外，実験 1 と同一である，被験者は，実験 1 と重複しない 18 名（同一大学同一学部）である，実験手順は，実験 1 と同様，章立てに関する資料を被験者に配布し，教育上の目標を理解した上で，作文支援システムを使わないで作文してもらった ${ }^{11}$ 。また，筆者 が実験後に実験 1 と同様の基準でマークアップを行った.

## 5.3 実験結果

まず，表 2 「提案手法」（2 行目）に実験 1 の作文結果をまとめる. 示した数値は, 全被験者 の平均值である，最左列から，作文に含まれる文字数，文数である．「構造」「必須」は，それ ぞれ, 必須記述項目以外に対する学習者のマークアップ数, 必須記述項目に対するマークアッ プ数である。「誤り（章立て）」は，章立てに関連する作文規則（1～9）により検出された誤り のうち, 被験者が修正せずに残してしまった誤りの数を表す.「誤り (その他)」は, 作文規則 $（ 10 １ 6 ）$ により検出された誤りのうち, 被験者が修正せずに残してしまった誤りの数を表す.「誤り (必須)」は，必須記述項目に関連する作文規則（17～22）で検出された誤りのうち，被験者が修正せずに残してしまった誤りの数である.

次に，表 2 「従来手法」に実験 2 の作文結果をまとめる。また，提案手法と従来手法とを比較するために，両者の結果に対して，ウィルコクソンの順位和検定を行った．表 $2\lceil\mathrm{p}$ 值」に， $\mathrm{p}$ 値を示す.

表 3 に実験 1 における添削結果を示す。示した数値は，全被験者の合計値である．表 3 「添削数」（2 行目）は他の学習者から受けた添削数,「修正数」はそのうち作文の著者が修正した数で ある。「誤字脱字」から「その他」までが，添削種類別の添削数である。「全体」は，作文中の 個別の箇所でなく，作文全体に対して行われた添削の数である。「合計」は全添削種類の合計添削数,「添削」は他の被験者の作文に対して行った添削の総数である.

表 2 作文, および，マークアップ結果

表 3 添削結果

## 6 評価

## 6.1 システム, 学習者間のインタラクションの評価

ここでは, 相互教授モデル中のインタラクションのうち, システムと学習者間のインタラク ションを評価する．6.1.1～6.1.3 節では提案手法について扱い，6.1.4 節では提案手法と従来手法 との比較を行う.

## 6.1.1章立てに関する評価（提案手法）

作文の「章立て」を定量的に評価するために，章立てに関する学習者のマークアップと，作文規則への適用結果を分析してみる。表 2 「構造」より，必須記述項目以外の文章構造に関する マークアップは, 平均 11.7 カ所である。このうち, 章節タイトル（章, 節, 小節, 小々節の夕 イトル）のマークアップ数は, 平均 9.3 カ所である. 1作文あたりの章の数は, 5.0 個であった. また，章節の階層の深さは，平均で 1.59 だった，表 2 「文字数」に示したとおり，作成された 作文の文字数は平均 1631 文字なので，おおよそ，400 字詰め原稿用紙 4 枚に， 5 章からなる作文が作成されたことになる.

作成された作文は表 1 の作文規則 1 から 9 で検査されているので, 表 2 (「誤り（章立て）」列) に示されている誤り 13 力所 ${ }^{12}$ 以外は, 作文規則（1 から 9）に適合した章立て構造を持った作文が作成されたことを意味する。

解決されずに残された誤りの内訳は，（a）章節タイトルに番号がないもの（12カ所, 作文規則 9 により検出)， (b) 序章が 1 章以外に存在するもの（1 力所，作文規則 5 により検出）だった. (a)は学習者のミス，もしくは，恣意的な「誤り」（エラー表示の中には誤りの修正が必須でな いものも含まれるため，あえてそのままにした可能性がある）によるものだと思われる。(b)は 学習者の章立てに対する理解不足だと思われる.

以上の結果から，章節タイトル番号がない問題を除けば，作文規則 1 から 9 に規定される範囲内で，章立てがうまく行われたと考えられる.

ただし，現状の作文規則では十分検出できなかった誤りもある。具体的には，(1) 第 1 章に必要以上の情報を書き込む学習者が存在したこと（2 名の学習者），（2）章立てを過度に細かくす

る学習者が存在したことである（例えば，一つの章に 1 文しかないものが見受けられた），前者 については，序章に含まれる節数や文字数を制約する作文規則を追加すること，後者について は，章の数，もしくは，各章に含まれる文字数の下限を制約する作文規則を作成することによ り，防止できるものと考えられる。

## 6.1.2 必須記述項目による評価（提案手法）

表 2 「必須」を見ると，必須記述項目に関するマークアップ数は，一人当り平均 6 カ所であ る. マークアップされた部分に関して，その内容を確認したところ，すべて正しくマークアッ プされていた。したがって，作文規則 $(17 \sim 22)$ がうまく機能し，必須記述項目が正しく作文 されたと考えられる。

必須記述項目に関連する作文規則により検出され，修正されずに残ったエラーは，表 2 「誤り (必須)」に示したとおり，被験者一人あたり平均 0.038 力所（合計 1 力所）であった ${ }^{13}$. エラー として残った 1 カ所は作文規則 22 により検出された誤りで，作文にまとめの記述がなかった.当該の学習者は，他の必須記述項目については，正しくマークアップを行っていたので，まと めを作文にうまく組み込めなかったことが考えられる.

上記の誤り例や 6.1.1節の誤り (b)のように教師の指導が必要な場合も検出される. したがっ て，本システムを運用する場合は，3.1節の手順 7 で示したように，検出された誤りを教師が分析し，作文後の授業で，指導することが好ましいと考える。

## 6.1.3 自動付与された作文要素による誤り検出の評価（提案手法）

ここでは，自動的に付与された作文要素による誤り検出について評価するために，作文規則 10 から 15 によって検出された誤りを分析する.

表 2 「誤り (その他)」を見ると, 誤りが修正されずに残っているのは, 被験者一人あたり 0.27 力所（合計 7 力所）だった ${ }^{14}$.

その内訳は，3 カ所が作文規則 14 （文体は「ですます」調で書く）に反して「だ・である」調 で書かれていたもの, 残り 4 カ所は作文規則 15（話し言葉を用いてはいけない）に違反したも のだった．前者・後者の誤りとも，（それぞれ別の）1名の被験者によるものである．このうち，前者は，箇条書き部分だけ「だ・である」調で書かれていたので，被験者の意志だと考えられ る。後者は，作文規則 15 に対する被験者の認識不足か，不注意だと思われる.

以上の結果から, 作文規則 10 から 13 で規定されている事柄, つまり, 文, 段落の長さや図 タイトルの位置に関する誤りは, 抑制されているものと考えられる。作文規則 14,15 で規定さ

れている文体関連の事柄については, 部分的に誤りが残るが, 従来手法では合計 72 カ所の誤り が検出されたので，作文規則の効果があったことが確認できる.

## 6.1.4 従来手法との比較

まず，表 2 「誤り（章立て）」「誤り（必須)」「誤り（その他）」の値を合計すると，修正され ずに残った誤りは, 提案手法は一人あたりの平均で 0.85 力所, 従来手法は 7.1 力所となり, 提案手法では作文規則によって，誤りが抑制されていることがわかる.

次に，表 $2\lceil\mathrm{p}$ 値」より，提案手法と従来手法とで有意な差が出たのは，「誤り（その他）」 $(p<.01)$, および,「構造」「誤り（章立て)」「誤り（必須 $) 」(p<.05)$ である.このことから，提案手法は, 従来手法と比較して, (a) 多くの章立てがなされること, (b) 章立て, 構造（作文規則 10～16に反する)，必須記述項目に関する誤りが少ないこと，が確認された.

従来手法と比較して，多くの章立てがなされた要因としては，二つのことが考えられる。一 つは，学習者自身が自分の作文に対してマークアップを行ったことにより，章立てが促進された ことである。もう一つは, 作文規則 4 （作文には章が三つ以上ある）に基づくチェックを行っ たことにより，章の数が結果的に増えたことである。

一方，(b) の結果が得られた要因としては，作文規則によるチェックが有効に機能したことが 考えられる。表 2 「提案手法」の「誤り (章立て)」「誤り (その他)」「誤り (必須)」が, 作文規則を適用したときに（修正されずに）残る誤り数なので，表 2 「従来手法」の結果との差分 が，作文規則を適用したことによる効果だと考えられる。この差分となる効果を生み出した作文規則を明らかにするために，「従来手法」の作文中の誤りを検出した作文規則を見てみると，特に有効に機能したのは, 作文規則 4 (「誤り（章立て）」の誤りのうち, $32 \%$ ), 作文規則 9 (同 $32 \%$ ), 作文規則 14 (「誤り (その他)」の誤りのうち， $67 \%$ ), 作文規則 15 (同 $22 \%$ ）であるこ とがわかった。

## 6.2 学習者間のインタラクションの評価

ここでは, 学習者間のインタラクションの評価として, 学習者同士の添削結果を分析する.

## 6.2.1 定量的評価

まず，添削の効果を検証する，表 3 の「合計」列に示したとおり，合計で 182 力所の添削がな され，そのうち，154 力所が添削対象の作文の著者によって修正されている。したがって，今回 の実験では, 作者から見て, 約 $85 \%$ の添削が作文の内容を改善するのに役立ったことがわかる.添削の種類別に添削数を見てみると, 「その他」が全体の約 $27 \%$ 占め, そのあと, 「文法誤 り」「誤字脱字」「口語表現」といった表記に関する添削が続く.「その他」の内訳については,次節で詳しく見てみることにする。
次に，学習者を「添削者」という観点から見てみる。表 3 の「添削」列のとおり， 198 回の添削のうち ${ }^{15}, 168$ 回の添削が添削対象の作文の著者により修正されており，全体的には約 $85 \%$ の添削が被添削者に受け入れられている。ただし，学習者別に添削数を見てみると，最大 23 カ 所, 最小 1 カ所とばらつきが大きかった. 添削数にばらつきがでる原因は, 学習者の能力によ る要因以外にも，添削対象の作文，添削者との関係が考えられる，例えば，添削対象の作文が 優秀な作文であれば，添削数は少なくなる，また，添削対象となる作文の著者が知り合いの上級生であれば，添削するのを遠慮する可能性がある，特に，後者の要因に関しては，どのよう な学習者集団を設定すれば，添削が活発になされるかを今後調査する必要がある.

## 6.2.2 定性的評価

ここでは，種類別に添削の内容を定性的に評価する，表 3 に示した種別ごとに，実際の添削例を示す。
- 誤字・脱字

修正前： モネは生涯でたくさんの水連の絵を描きましたが

修正後：モネは生涯でたくさんの睡蓮の絵を描きましたが

添削内容：睡蓮では?
- 説明不足

修正前： 満天の星を眺めて満喫します。

修正後： 満天の星を眺めてモンゴルの大自然を満契します。

添削内容： 満喫するには，何を満喫するのかを書く必要があるかと思います。モンゴ ルの星空を満喫するのか，モンゴルの大自然を満契するのか，書いたほうがわか りやすいと思います。
- 宇長表現

修正前：この計画の発案者は私なので，私が幹事を務めることになりました。

修正後： 発案者の私が幹事を務めることになりました。

添削内容：「発案者の私が」とするとすっきりすると思います。
- 文法誤り

修正前：おおまかな計画が立てることができました。

修正後：おおまかな計画を立てることができました。

添削内容：「を立てる」になると思います。
- 口語表現

修正前： 僕はやっぱり「食べる」というのが一番の醍醐味だと思っています。
行う場合があるからである.
修正後： 僕はやはり「食べる」というのが一番の醍醐味だと思っています。

添削内容：「やはり」のほうがよいのではないでしょうか？

なお,「その他」として分類された添削には, 多様な種類の添削内容が含まれていた。量的に 最も多いのが，より適切な語句や表現の提案であり，約半数がこの種類の添削だった．次に多 かったのが，表記の変更を提案するもので， 9 例あった。それぞれの例を次に示す.
- より適切な語句や表現の提案
- 3 ,まとめ $\rightarrow 3$, おわりに（第 1 章が「はじめに」だったため）

－必ず暖かい服装をご用意ください。 $\rightarrow$ 必ず暖かい服装でご参加ください。
- 表記の変更の提案

－楽しんできたいとおもいます。 $\rightarrow$ 楽しんできたいと思います。
- 八月十五日から十八日までの四日間 $\rightarrow$ 8月15日から18日までの 4 日間（横書に漢数字は読みにくいとの指摘があった)

以上のように，表記上の誤り（誤字・脱字や文法誤りに示した例を参照）に対する支援だけ でなく，「説明不足」「㔯長表現」「その他」で示した例のように，周辺文脈の意味を考慮した上 で，改善例を示すような支援も可能である。これは，従来の作文支援システムでは実現が困難 だった支援である。学習者の添削のうち約 $85 \%$ が作文の改善に寄与することと, 他人に作文知識を教授すること効果を考慮すると，学習者間の添削は，作文支援の方法として，有効である と考える。

## 7 おわりに

本論文では，学習者向けの作文支援手法として，学習者，教師，システム間で互いに作文に 関する知識を教えあう，相互教授モデルを提案した，本モデルの新規性は，次の点にある.
- 作文規則を用いることにより, 教師の指導意図を学習者に徹底させつつ, 学習者同士の 知識教授を実現できること
- 学習者のアノテーションが手間になるのではなく, 作文技術習得上の助けになること. また, 複数の学習者を想定することにより, 学習者のアノテーションの誤りを防止して いること

さらに，相互教授モデルに基づいた作文支援システムを実現した．実現したシステムを評価 するために, 提案手法と従来手法による作文実験を行い, 次の結果を得た.
- 問題点 1 に対しては, 相互教授モデルが有効に機能し, 次のように意味解析が必要とな るような支援を行うことができた。

－ 学習者・システム間のインタラクションによる,「章立て」や必須記述項目などに 対する支援

－ 学習者同士の添削による,「説明不足」「苍長表現」などに対する支援
- 問題点 2 に対しては，作文規則により対応した，今回の実験では，教育上の目標を「章立て」の習得，作文テーマを「旅行計画」と設定して，作文規則を記述した。
- 作文規則に照らし合わせて修正されずに残った誤りは，従来手法が一人あたりの平均で 7.1 カ所だったのに対して, 提案手法は 0.85 力所に削減することができた。 また, 提案手法で作成した作文は，従来手法の作文よりも，有意に誤りが少ないことを確認した。こ の結果は，学習者・システム間のインタラクション，および，作文規則が有効に機能し たことを示すものである。

今後は，教師が容易に作文規則を設定できるようなインターフェイスの実現を行いつつ，さ らなる作文課題に対して，提案手法が有効に機能するか検証を進める予定である。また，今回扱わなかった，システムから教師への知識教授についても，大量の作文に対する教師用の作文分析支援手法を検討中である。

## 謝 辞

本研究を評価するにあたって行われた作文実験に参加してくださった被験者の方々，実験結果の集計を支援してくださった方々に深く感謝いたします。なお，本研究は，科学研究費補助金・基盤研究 (C)（課題番号 20500822）の助成を受けて行われたものである.

## 参考文献

綾聡平, 松尾豊, 岡崎直観, 橋田浩一, 石塚満 (2005). 修辞構造のアノテーションに基づく要約生成. 人工知能学会論文誌, 20 (3), pp. 149-158.

Brockett, C., Dolan, B., and Gamon, M. (2006). "Correcting ESL errors using phrasal SMT techniques." In Proceedings of the COLING/ACL 2006, pp. 249-256.

Burstein, J., Kukich, K., Wolff, S., Lu, C., Chodorow, M., Braden-Harder, L., and Harris, M. (1998). "Automated scoring using a hybrid feature identification technique." In Proceedings of the COLING/ACL 1998, pp. 206-210.

Chodorow, M. and Leacock, C. (2000). "An Unsupervised Method for Detecting Grammatical Errors." In Proceedings of the NAACL 2000, pp. 140-147.

原田三千代 (2006). 中級学習者の作文推敲課程に与えるピア・レスポンスの影響一教師添削と その比較一. 『日本語教育』, 131, pp. 3-12.

橋田浩一 (1998). GDA 意味的修飾に基づく多用途の知的コンテンツ. 人工知能学会誌, $\mathbf{1 3}$ (4), pp. 528-535.
今枝恒治, 河合敦夫, 石川裕司, 永田亮, 桝井文人 (2003). 日本語学習者の作文における格助詞の誤り検出と訂正. 情報処理学会研究報告. コンピュータと教育研究会報告, 2003 (13), pp. 39-46.

井上達紀, 佐渡島紗織 (2005). アカデミックライティングへの Jess 導入の試み. 日本行動計量学会大会発表論文抄録集, 33 巻, pp. 378-381.

石岡恒憲 (2004). 記述式テストにおける自動採点システムの最新動向. 行動計量学, 31 (2), pp. 67-87.

Ishioka, T. and Kameda, M. (2006). "Automated Japanese Essay Scoring System based on Articles Written by Experts." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 233-240.

笠原健成, 小林栄一, 荒井真人, 絹川博之 (2001). マニュアルの校閲作業における文書推敲支援ツールの実適用評価. 情報処理学会論文誌, 42 (5), pp. 1242-1253.

小谷善行 (1989). IAC: 利用者が教えるというパラダイムによる教育ツール. 教育におけるコン ピュータ利用の新しい方法シンポジウム報告集, pp. 49-53. 情報処理学会.

黒橋禎夫，河原大輔 (2005). 日本語形態素解析システム Juman version 5.1.

http://nlp.kuee.kyoto-u.ac.jp/nl-resource/juman.html.

沖森卓也, 半沢幹一 (1998). 日本語表現法. 三省堂.

大林史明, 下田宏, 吉川榮和 (2000). 仮想生徒へ「教えることで学習する」CAI システムの構築と評価. 情報処理学会論文誌, 41 (12), pp. 3386-3393.

Sharoff, S., Babych, B., and Hartley, A. (2006). "Using comparable corpora to solve problems difficult for human translators." In Proceedings of the COLING/ACL 2006, pp. 739-746.

庄司達也, 山岸郁子, 小野美典, 安達原達晴 (2007). 日本語表現法一 21 世紀を生きる社会人の たしなみ. 翰林書房.

砂岡和子, 劉松 (2006). 誤用データ機能を備える WEB 中国語作文添削支援システム設計と開発. 2006PC カンファレンス論文集.

Takabayashi, S. (2004). Synthetic Assistance for Creation and Communication of Information.

Ph.D. thesis, Nara Institute of Science and Technology.

田近洵一, 井上尚美 (2006). 国語教育指導用語辞典 (第 3 版). 教育出版.

梅村祥之, 増山繁 (2007). 仕事文推敲支援に向けた連体修飾不足に対する受容性判定法. 自然言語処理, $14(4)$, pp. 43-65.

Usami, Y. and Yarimizu, K. (2007). "Design of XECS (XML-based Essay Correction System): Effects and implications." In Proceedings of the CASTEL-J in Hawaii 2007, pp. 182-184.

## 略歴

山口 昌也：1992 年東京農工大学工学部数理情報工学科卒業. 1994 年同大学院博士前期課程修了. 1998 年同大学院博士後期課程修了. 博士 (工学). 同年,同大学工学部助手. 2000 年国立国語研究所研究員, 現在に至る. 自然言語処理の研究, コーパス構築に従事. 言語処理学会, 情報処理学会, 日本教育工学会, 日本語学会, 社会言語科学会各会員.

北村 雅則：1998 年関西大学文学部国文学科卒業. 2000 年名古屋大学大学院文学研究科国文学専攻国語学専門博士前期課程修了. 2005 年名古屋大学大学院文学研究科人文学専攻日本文学日本語学講座博士後期課程満期退学. 博士 (文学)．２006 年国立国語研究所研究開発部門言語資源グループ特別奨励研究員, 2008 年名古屋学院大学商学部講師, 現在に至る. 日本語学 (現代語文法,文法史), 作文教育の研究に従事. 日本語学会, 日本語文法学会, 日本語用論学会, 言語処理学会, 日本教育工学会各会員.

棚橋 尚子：1983 年愛知教育大学教育学部小学校課程国語科卒業. 1989 年兵庫教育大学大学院学校教育研究科教科・領域教育専攻言語系コース（国語）修士課程修了. 名古屋市立の中学校教諭, 広島大学附属小学校教諭を経て 1995 年群馬大学教育学部専任講師, 1997 年同助教授. 1999 年奈良教育大学教育学部助教授. 2006 年同教授，現在に至る．漢字教育を中心とした国語科教育の 研究に従事. 全国大学国語教育学会, 日本国語教育学会, 中国四国教育学会,日本言語政策学会各会員.

(2008 年 9 月 2 日受付)

(2009 年 4 月 11 日 再受付)

(2009 年 7 月 17 日 採録)


# 課題志向別シラバス自動分類システムの設計と実装
## 太田 晋†・美馬 秀樹†

近年の科学技術の進展にともない, 工学知は幾何級数的に増大したが, その一方で,工学教育の現場においては，学生が自分の興味に合わせて講義・演習を選ぶことが 非常に困難な状況になっている，また，教員も同様に，講義全体の効率化のために，講義内容の重複や講義の抜けを知る必要があり, 総じて, 各講義間の関連性を明確に し, カリキュラムの全体像を明らかにすることが求められている. しかし, 講義間 の関連から全体の構造を明らかにするためには, 通常, 人手によりあらかじめ講義内容（シラバス）を分析・分類する必要があり，これは大きな人的コストと時間を必要とする。したがって, この作業を可能な限り自動化し, 効率的な手法を開発する ことが非常に重要な課題となる。本稿では, こうした問題に対して, 我々のグルー プで取り組んでいる課題志向別シラバス分類システムについて，評価実験を交えて 解説する。また，東京大学工学部の 850 以上のシラバスを使った評価実験によって，本システムが実用的な課題志向別シラバス分類の自動化に有効であることを示す.

キーワード：自動用語認識，機械学習，テキスト分類，知の構造化

## Design and Implementation of an Issue-oriented Automatic Syllabus Categorization System

\author{
Susumu $\mathrm{Ota}^{\dagger}$ and Hideki Mima ${ }^{\dagger}$
}

The purpose of this study is to develop an issue-oriented automatic syllabus categorization system, in which natural language processing and machine learning based automatic categorization are combined. Recent explosion of scientific knowledge due to the rapid advancement of academia and society makes it difficult for learners and educators to recognize overall picture of syllabus. In addition, the growing number of interdisciplinary researches makes it harder for learners to find their proper subjects from the syllabi. In an attempt to present clear directions to their subjects, issue-oriented syllabus structure is expected to be more efficient in learning and education. However, it normally requires categorizing all the syllabi manually in advance, and it is generally a time consuming task. Thus, this emphasizes the importance of developing efficient methods for (semi-) automatic syllabus structuring in order to accelerate syllabus retrieval. In this paper, we introduce design and implementation of an issue-oriented automatic syllabus categorization system. And preliminary experiments using more than 850 engineering syllabi of University of Tokyo show that our proposed syllabus categorization system obtains sufficient accuracy.

Key Words: automatic term recognition, machine learning, text categorization

## 1 はじめに

近年の科学技術の進展にともない, 工学知は幾何級数的に増大したが, その一方で, 工学教育 の現場においては，学生が自分の興味に合わせて講義・演習を選ぶことが非常に困難な状況に なっている. 例えば, 東京大学工学部では約 900 の講義が開講されており, 学科の枠を越えた 講義の履修が可能であるが，講義の選択に対する十分な知識が得られる状況とは言い難い. 学生にとっては, a) 自分の興味がどの講義によって教授されるか（講義の検索），b）その講義を 受けるために習得すべき講義は何か（講義間関連の同定）, 等を得ることが望ましい. また, 教員も同様に, 講義全体の効率化のために, 講義内容の重複や講義の抜けを知る必要があり, 総 じて講義の全体像を俯瞰し，各講義間の関連性を知ることが非常に重要となる.

こうした問題に対し, 我々は先より, 異なる分野における知識を効率的に抽出し，かつ得ら れた知識間の関連性から浮かび上がる新たな知の活用を支援する「知の構造化」に関する研究開発を進めてきた (Mima 2006; Mima, Ananiadou, and Matsushima 2006; Yoshida 2007).「知 の構造化」の主たる目的は，知識を分析し可視化技術により知の内容を明瞭にすることで，i)知識全体の構造を明らかにし, ii) 知識の関連から隠れた知識や, 新たな知識を発見する, iii) 知識の集中と抜けを発見する, さらには, これらによる知識の活用と再利用性を促すことにある.

以上のような知の構造化の工学教育分野における実践として, 以下の目標を達成するために,

工学知およびカリキュラムの構造化と可視化に取り組んでいる.

## ・セルフオリエンテーション可能なシステムの構築

カリキュラムの全体像を構造化し, 可視化することによって, 学生が学ぶことの相対的位置付けを理解し，進むべき道を自ら指向できるようにする。

## ・テーラーメイド教育の実現

様々な異なるキャリアの学生に対して, 多様なコース中から, 個々の目的に応じた最適な力 リキュラムを効果的に提示する.

これらの目標を達成するために，1) キーワード検索によるアプローチ，および，2) 課題志向 によるアプローチ, という二つのアプローチでこの問題に対する取り組みを進め, 既に学生へ のサービス提供を行っている.

通常, キーワード検索によるアプローチは, 有用性が高く強力な検索能力を提供可能である が, 専門的知識の乏しい初学者にとっては, 適切な検索キーワードを見つけだすことが難しい という問題がある。その一方, Yahoo!等のインターネット検索サイトでのディレクトリ検索に 相当する課題志向によるアプローチでは, あらかじめ「環境」,「エネルギー」等の,（学科の枠 に捕らわれない）課題に即して講義を（階層的に）分類し, それらの取捨選択により最終的な 講義の選別が可能となるため, 個別の科目に関する知識をそれほど必要とせずに, 各学生の興味のある課題にあわせて講義を検索することができるという利点がある. 双方共に一長一短が

あるが，教養課程から専門課程に渡る学生の多様なニーズに応えるためにも，キーワード入力 と課題志向の両面から，講義を構造化・可視化することが，学生へのサービス提供という点か らも重要である.

キーワード入力からのアプローチとして, 東京大学工学部では, MIMA Search シラバス構造化システムとして既に学生に向けサービスを提供している。本システムの特徴は, 講義内容 （以下，シラバス）のテキストを自然言語処理技術により自動的に構造化し，可視化技術を利用 することで学生との柔軟なインタフェースを提供することにある．学部学生，大学院生を対象 とした過去 3 年に渡るアンケート調查の結果や，年々のアクセス数の伸び等を始めとし，検索 の効率化等に対する良好な評価を得ている。なお， MIMA Search に関する詳細は (Mima 2006; CIEE a) にあるため, 本稿では割愛する。一方, 課題志向によるアプローチに関しても, 従来,人手により課題別にシラバスを分類し，構造化，可視化を行うことで，同様のサービスを提供 しており，先と同様，学生からの良好な評価を得ている.

しかしながら, 課題志向によるアプローチでは, 従来の学科や進学コース単位での, 言わば,分野内でのシラバス分類と異なり，多くの場合に分野の枠を越えたシラバスの分類が要求され る. 特に, 近年急速に発展しつつある「バイオテクノロジー」,「ナノテクノロジー」,「環境」,「エネルギー」等の分野では, 学際的, 複合的, 融合的な方法で研究開発が行なわれており, こ れらの分類に関しては，より広範囲の知識を必要とする。さらには，「地球温暖化」，「環境資源 の枯渇」,「持続可能な社会」等, 学科のみならず，学部の枠組みを超えた講義や知識のつなが りをとらえることが必要な課題も存在する。

その一方で, 近年の工学知の増大と細分化により, 講義を受け持つ各教員が俯瞰的な視点か ら自身の講義を位置付けることが困難な状況にあるといえる。例えば，東京大学工学部の 2008 年度シラバスにおいて, 「事前履修」,「並行履修」,「事後履修」という関連講義を記述する項目 があるが，入力された関連講義のうち約 $34 \%$ の記述に誤りがあり，関連講義をたどることでき ない状態にある。これらの多くは，カリキュラムの再編によって既に開講されていない講義名 を参照していたり，曖昧な記述のままとなっていることが原因と見られるが，各教員が講義の 全体像を把握し, シラバス間の関連を記述することが必ずしも容易ではないことを示している と思われる。

以上のように，学際的な研究が増加し課題志向別にシラバスを俯瞰する必要性が高まってい る一方で，各教員は学問分野の増大・細分化により俯瞰的な視点からシラバスを記述すること が困難な状況にある。したがって，客観的・俯瞰的に課題志向別にシラバスを構造化するため には，工学知を俯瞰し，分類することができる専門の人員が必要となる．そこで，東京大学大学院工学系研究科では, 現在数名の専門の教員が人手によりシラバスを精査し分類作業を行っ ている (CIEE b) . しかし, 年度毎に更新されるシラバスに対して, 人手による分類を毎年続け ていくことは，大きなコストと時間を要する。よって，この作業を可能な限り自動化し，効率
的な手法を開発することが非常に重要な課題となる.

そこで，本研究では，課題志向によるシラバス構造化のアプローチに関し，シラバス分類を （半）自動化するシステムを提案する。本システムの特徴は, 従来, 全ての工程を人手による手作業で行っていたシラバス分類に対し, その一部を言語処理による特徴抽出, 及び機械学習に よる自動分類を利用することで, 全体の作業工程を短縮することにある. 以下, 本稿では, こ れら課題志向によるシラバス構造化アプローチとして, 我々のグループで取り組んでいる課題志向別シラバス分類, 構造化システムについて, システム構成, 実装, 及びテストデータを利用した実験評価を交えて解説する.

## 2 関連研究

近年, 大学における活動状況を内外へ周知する目的でWebを利用した情報公開が進んでおり， Information Communication Technology (ICT) を活用した教育の一環として，シラバスの電子化と公開が多くの大学で取り組まれている。 さらに, シラバスの公開から一歩すすんで, MIT をはじめとする主要大学にて, Open Course Ware (OCW) という, 講義とその関連資料をイ ンターネット上に公開する取り組みもはじまっている (Open Course Ware, JOCW)。また, 一部の大学では, シラバスを可視化するシステムに関する研究・開発が行われている (三好，大家, 上田, 廣友, 矢野, 川上 2006). これらのシステムでは, 講義間の関連性を可視化すること によって, 学生が自ら履修計画を立てたり, 多様なコース中から最適なキャリアパスを自ら指向することを目指しているが，現段階では，比較的単純な可視化という段階にとどまっており， より深くシラバスを分析し構造化することが求められている.

シラバスの分類支援に関する研究 (宮崎, 井田, 芳鐘, 野澤, 喜多 2005) では, ユーザ支援の ためには, 分類の根拠となった素性（用語）を含めた形でユーザへ情報提示することが重要で あると指摘されており, 通常の文書分類において一般的に利用されているサポートベクターマ シン (SVM) や確率モデルがユーザ支援には向かないことが議論されている. 現時点では, 分類 の判定根拠を明確にする目的においては，SVMに比べて決定木 (Lewis and Ringuette 1994) 等 の手法のほうが有望であると考えられるが, 近年の研究では, SVM においても判定根拠の説明 を行おうとする試みが行われている (板橋, 松井, 大和田 2008). 尚, 本システムでは, 分類精度の観点からSVM を分類器として選択したが, 分類の根拠を明示する目的において, 可視化時 に素性（用語）を提示する等の工夫を行っており, 修正作業者からは, 修正に有益な情報であ るとの評価を得ている。しかしながら，より大規模の対象に対する分類・修正の場合は， (板橋他 2008) と同様の手法の導入も検討する必要があろう。一方, システム上は, 分類器を変更で きるようモジュラリティを確保して設計を行っており，今後の研究の進展および技術発展等を 検討しつつ，他の分類手法へ変更に柔軟に対応できるように実装を行っている.

また, 本研究のようにあらかじめ課題を設定して分類しようとするトップダウン型ではなく, ボトムアップ型の分類手法として，文書クラスタリングによりシラバスを分類する研究も行わ れている (野澤, 井田, 芳鐘, 宮崎, 喜多 2005). 文書クラスタリングは, 分析の切り口が定まっ ていない状況での分類や，新たなカテゴリの発見には有用であり，東京大学工学部においても， MIMA Search シラバス分類システム (Mima 2006; CIEE a) を開発し，学生に向けたサービスを 提供している。また，学生を主体としたボトムアップ型アプローチとして，フォークソノミー を用いた講義選択知識の抽出の試みも行われている (西島, 荒井, 檜垣, 土屋 2008). ただし,学生の観点からの分類が，学生への教育にとって必ずしも適当とは限らないこと（例えば，単位取得の容易さによる分類等）や，実際にサービスを行う際には，学生へのインセンティブ付与の問題や, 不適切な内容の削除に必要なコスト等, 検討すべき課題は多い.

一方，高等教育機関における，教育内容・方法等の改善のための組織的な取り組み（ファカル ティディベロップメント，FD）の制度化が近年急速に進展しており，教員の教育力向上のため にICT を活用した FDの実施が求められている (NIME 2008).この点からも，シラバスを構造化し全体を俯瞰することによって，講義内容の重複や抜けを発見しFD の実施に資することが 期待されている。たた，ICT 活用教育の導入の際のデメリットとして，「システムやコンテンッ を作成, 維持するための人員が不足していること」が最も高いと報告されているように (NIME 2008), シラバスを構造化するためには，通常，人手によりあらかじめシラバスを分析・分類・整理する必要があり，これは大きな人的コストと時間を必要とする。したがって，この作業を 可能な限り自動化し，効率的な手法を開発することが非常に重要な課題となる.

## 3 システム構成

図 1 に本システムの構成を示す。本システムでは，あらかじめ分類されたシラバスの情報を もとに，未分類のシラバスを（半）自動的に各カテゴリに分類することを目的とする．以下に 各コンポーネントの概要を述べる.

## ・特徵抽出（自動用語認識）

入力されたシラバスに対して, 形態素解析および自動用語認識を行い, シラバス中から特徴 を抽出する。なお, 本システムでは, シラバス中の「科目名」,「講義の目的」,「理解すべき事項」,「前提事項」,「応用先」, 「事前履修」, 「並行履修」,「事後履修」を対象として名詞および 用語の抽出を行うこととした。

関連研究で取り上げた文献 (宮崎 他 2005) で報告されているように，ユーザ支援を目的とし た分類システムでは，分類の根拠となった用語を含めた形でユーザへ情報提示することが重要 である。本システムでも同様の理由により，分類の根拠をユーザに明確にする目的で，シラバ ス中に含まれる用語を次項で述べる $\mathrm{C} / \mathrm{NC}-$ value 用語認識を利用して抽出を行い，可視化の際

図 1 課題志向別シラバス分類システムの構成

に利用することで，可能な限りユーザに提示する.

- $\mathrm{C} / \mathrm{NC}$-value 用語抽出

本システムでは, 機械学習・分類のための素性の一部として C/NC-value 用語認識技術 (Mima and Ananiadou 2000）を基にした用語の自動認識を利用している. C/NC-value 手法は，テキス トを入力とし，言語的な知識と統計的な解析の両者を複合的に利用することで，複数の語から なる用語を自動抽出する手法である.

まず，C-value 手法では，形態素のパターンと用語の対象ドメインにおける出現頻度, さらに は, 用語のネスティングに関する性質に注目し，スコア付けを行うことで用語の高精度な自動認識を行う。ここで，ネスティングとは，「乱数系列」と「疑似乱数系列」の関係のような，あ る用語がさらに長いまとまりの用語に含まれている状態（包含関係）を示す. 具体的な手順と しては，まず，対象テキストを形態素解析し，以下のようなパターンによってフィルタリング を行う。

[Filter 1] Noun $\{2$,

例：疑似 乱数 系列, 仮想 関数

[Filter 2] (Prefix | Adv) (Noun | Adj | Suffix)+ Noun+

例 : 全 二重 接続, 非 同期 通信

## [Filter 3] Prefix Noun+ Suffix

例 : 未 定義 型, 再 初期 化

上記のフィルターによって対象テキスト中から文字列を切り出し, これを用語の候補とする.次に，用語の候補それぞれの対象テキスト中における出現頻度を計算し，さらにこの出現頻度 から，単語のネスティングに関する性質を利用して，以下の式により C-value を算出する.

$
C-\operatorname{value}(a)= \begin{cases}\log _{2}|a| \cdot f(a) & a \text { がネストしていない場合 } \\ \log _{2}|a|\left(f(a)-\frac{1}{P\left(T_{a}\right)} \sum_{b \in T_{a}} f(b)\right) & a \text { がネストしている場合 }\end{cases}
$

ここで,

$a$ は用語の候補

$|a|$ は用語の候補 $a$ の長さ（形態素の個数）

$f($.$) は対象テキスト中の出現頻度$

$T_{a}$ は $a$ を含む抽出された用語の候補の集合

$P\left(T_{a}\right)$ は上記集合の要素数

## である.

また， $\mathrm{NC}$-value 手法では，候補となる用語の実際の文章上でのコンテキスト（前後の文脈）中にある語彙との共起の情報を用いて, 用語としての確からしさ (termhood) の指標を求め, 求 まった指標を基に候補となる用語の再順序づけを行う。

本手法は日英両言語のテキストに対して用語抽出の実験評価が行われており，両言語共に高 い精度の認識が行える言語非依存性や，異なる分野に対しても同手法で比較的高精度な用語抽出が可能なドメイン非依存性を持つことを特徵とする。この性質は，本稿で提案する，分野を 越えて関連する講義を抽出するという目的には有効だと思われる。実際に，AI 分野の論文を用 いた評価実験の結果， $90 \%$ 以上の用語認識精度が得られており，他の手法と比較して高いドメ イン非依存性があると報告されている (Mima and Ananiadou 2000).

なお, 抽出した用語の例として, 2006 年度の東京大学工学部シラバスから抽出した用語のう ちスコア上位 5 件は, 「基礎知識」,「線形代数」、「統計力学」,「固体物理」，「ベクトル解析」で あった。

## ・サポートベクターマシン $(\mathrm{SVM)$}

SVM は, あらかじめ学習させたパターンに基づき, 未知の入力パターンの分類を行う強力

なパターンマッチング手法であり，機械学習理論の構造的リスク最小化原理に基づいている (Vapnik 1995; Cortes and Vapnik 1995)。本システムでは高精度のテキスト分類を実現するため にSVM を分類器として採用した。なお，SVMによるテキスト分類についての研究は既に報告 されており，決定木等の他の手法に比べてSVMが非常に高い分類能力を持つことが示されてい る (Dumais, Platt, Heckerman, and Sahami 1998; Joachims 1998). 本システムでは，あらかじ めいくつかのカテゴリに分類されたシラバス群をSVM 分類器に学習させておき, 未分類のシラ バスを自動的に各カテゴリに分類するためにSVM を利用している。 なお, 本コンポーネントで は, カテゴリ数と同数のSVM 分類器を用意し，1つのシラバスを複数のカテゴリに分類するこ とが可能である. 本システムでは, SVM ソフトウェアの TinySVM 0.09 (Kudoh)を利用した.

また，SVM を利用したテキスト分類において，素性をどのように選択するかが重要であると 報告されている (Taira and Haruno 1999)。文献 (Moschitti and Basili 2004)では, n-gram, 形態素, および複合名詞を含む種々の素性を用いたテキスト分類について議論されており, 英語 の新聞記事に対するSVM を用いた分類実験では，形態素に複合名詞を加えたものを素性とし て用いた際に，10 個の分類カテゴリのうち 8 個のカテゴリにおいては若干の分類精度向上が見 られることが示されている．総合的に見た場合には， bag of words 以外（フレーズ，語義情報等）の素性を利用しても精度向上は微々たるものであり, 計算量とのトレードオフも含め, 必 ずしも質の向上に寄与するとは言えない面もあるとの報告もあるが, カテゴリの専門性の高さ （専門用語の特徴量としての尤もらしさ）に対する素性の最適化や素性の組み合わせ方式等, 未 だ議論の余地はある。例えば，情報検索分野において，従来，素性の単位を n-gram か形態素に するかの議論が成されていたが，今日の検索システムにおいては，両者の融合による検索精度 の向上が既に実現されている.

以上の観点より, システムの設計にあたり, 事前に学習データのクロスバリデーションによ る実験, 及び日本語の新聞記事を使った予備実験を行い, 名詞と用語を素性に採用した際の分類精度への影響を調査した．まず，SVMによるテキスト分類の素性として，1）名詞のみ，2)用語のみ，3）名詞および用語，の3つを準備し，tf・idf (Salton 1991)によりスコア付けを行い, それぞれの場合について新聞記事を対象とした分類実験を行った。その結果, 実験全体の $\mathrm{F}$ 值 (適合率と再現率の調和平均) は, 1) 名詞のみ $\mathrm{F}=0.6390,2$ ) 用語のみ $\mathrm{F}=0.5462,3$ ) 名詞および 用語 $\mathrm{F}=0.6560$ となり，3）の名詞および用語を素性とした場合に最も精度よく分類出来ること を確認した。特に，新聞記事での軍事や国際関係等の専門性の高いと考えられるカテゴリにお いて, より多くの精度向上が見られた。一般に, シラバスの記述内容は専門用語を多く含んで いるため，名詞および用語を素性とすることでより高精度の分類を行うことが期待できる．以上の理由から本システムでは SVM 分類の素性として, 名詞および用語を素性として採用した.

## - 機械学習

「特徴抽出」部によって抽出された素性（名詞および専門用語）を基に, tf・idf によりスコ

ア付けを行い，訓練データとなるシラバスを正規化された多次元べクトルに変換する。さらに，訓練データをもとにSVM 分類器を学習させ，分類知識を生成する。

## - 自動分類

「特徵抽出」部によって抽出された素性（名詞および専門用語）を基に，テストデータとな るシラバスを多次元べクトルに変換し，SVM 分類器により未分類のシラバスを分類する.

## ・シラバス分類可視化エンジン

「自動分類」部によって分類されたシラバスから，HTML ドキュメントを自動生成しブラウザ に表示する (図 2 参照)。なお, 実装についてはアプリケーションエンジンの一つである Apache Tomcat 4.1.32をべースに，Java 言語により HTML を生成する Servlet を作成した。また，シラ バスデータを保存するためのデータベースエンジンとして PostgreSQL 7.1.3を利用し, JDBC を介したデータベースコネクションによりモジュラリティの高い構成を採用している。

## ・インタラクティブ修正インタフェース

「自動分類」部によって生成されたシラバス分類結果を見ながら，インタラクティブに分類間違いを修正する。まず，図 3 に示した分類結果一覧画面を見ながら分類間違いを探し，「修正」 ボタンを押すことによって個別シラバスの修正画面に移行し, 図 4 に示した個別シラバス修正画面にてシラバス内の各項目を修正する．実装については「シラバス分類可視化エンジン」部 と同様に Apache Tomcat 4.1.32 上に Java 言語により Servlet を作成した. なお，可視化システ ム，および上記インタラクティブ修正インタフェース等, 本システムのすべてのユーザインタ フェースをWebベースとすることで，一般のWeb ブラウザを介した操作のみで， シラバス閲覧等のすべての作業を行うことが可能となっている.

図 2 は, 環境分野に関連する科目について, 課題志向型構造（ある課題に着目した場合の関

図 2 環境分野における課題志向別科目構造

図 3 課題志向別シラバス分類結果一覧画面

図 4 個別シラバス修正画面

係構造）を相対的な関係で描き出したものである。「環境大事典」（工業調査会）のセクション あるいはテーマで全体の枠組みを作り，その中に工学部で履修できる環境関連科目を当てはめ た. 図 2 中において, 亀甲状のタイルによりある課題の全体構造を示し, 六角形の各領域がそ れぞれの下位の課題に対応している。下位の課題の部分をクリックすることにより，その下位 の構造全体の可視化画面に遷移する。色の濃淡は科目数に対応しており，科目ごとの相対的な 関係が見えると同時に，工学部の講義の中では技術的なことはよく扱われている反面，法的枠組みのような社会科学的視点や, 人文科学的枠組みである心理的問題などが, 工学部の講義の 中だけでは必ずしも履修できないことが見えてくる.

以上のように，分類結果を可視化することで，学生にとっては，学問分野を俯瞰しながら自分 の興味のある講義を探し, さらにその講義に関連する講義を知り, 履修しようとする講義の相対的位置付けや，キャリアパスに応じた履修計画の支援に役立てることがきる。また，教員に とっては，可視化によって，講義の全体像を俯瞰し各講義間の関連性を知ることによって，講義内容の重複や講義の抜けを知ることができ，カリキュラムの改善に役立てることができる.

## 4 評価実験

SVM による自動分類システムの有用性を評価するために精度評価実験を行った．実験デー 夕として, 東京大学工学部の 2003 年度（総科目数 862 ) および 2006 年度（総科目数 855 ) のシ ラバスを対象とした．このシラバスには，あらかじめ数名の専門の教員が人手により分類を行 い, 表 1 に示すように，約 450 科目に情報工学分野および環境分野のカテゴリが付与されてい る. 本実験では, 2003 年度の人手による分類結果を訓練データとして分類器を学習させ, 2006
表 1 分類実験の対象としたシラバスのカテゴリとデータ数

年度のシラバスをテストデータとして分類を行い，人手による分類と分類器による結果を比較 することにより，その適合率と再現率を求めた。訓練データとテストデータそれぞれの詳細を 表 1 に示す.また, 機械学習システムとして, SVMソフトウェアの TinySVM 0.09 (Kudoh)を デフォルトの状態で利用した.

実験結果を図 5 に示す。適合率 (precision) は，分類器により求められたカテゴリのうち，正 しく分類できたカテゴリの割合である。再現率 (recall) は，正しく分類されるべきシラバスの うち，どれだけ分類器が正しく分類できたかの割合である。なお， $\mathrm{F}$ 値（適合率と再現率の調和平均）の平均値は $\mathrm{F}=0.5685$ であった. さらに，予備実験にて，SVMによるテキスト分類の 素性として，1）名詞のみ，2）用語のみ，3）名詞および用語, を素性とした場合の分類精度を 比較したが，本実験においても同様に分類実験を行い，その結果 $\mathrm{F}$ 值の平均值は 1) 名詞のみ $\mathrm{F}=0.5352,2)$ 用語のみ $\mathrm{F}=0.5038,3)$ 名詞および用語 $\mathrm{F}=0.5685$ となり，3)の名詞および用

図 5 分類実験の適合率 (precision)一再現率 (recall) 結果

語を素性とした場合に最も精度よく分類出来ることを本実験においても確認した。また，全科目に対する分類誤り率は $0.84 \%$ でる。つまり，システムで分類した結果のうち，一つのカテ ゴリにつき平均 7.2 件程度の分類誤りがあり，これらを人手により修正することが必要となる.図 5 より，再現率についてはカテゴリによってばらつきがあるものの，概ね全てのカテゴリに おいて $90 \%$ 以上の適合率を得た。また，訓練デー夕数が極端に少ないカテゴリでは，適合率・再現率ともに低く, 自動で分類することは難しいことがわかる。ただし, 訓練デー夕数が極端 に少ないカテゴリに関しては，他のカテゴリと同数程度まで訓練データを毎年蓄積することで 改善可能であると考えられる．また，カリキュラムの再編で科目数が大幅に増減しているカテ ゴリでは，他のカテゴリに比べて再現率が低下していることから，これらのカテゴリにおいて は自動分類後に人手により修正する必要があることがわかる.

以上の実験結果から, 本手法が実用的な課題志向別シラバス分類の自動化に有効であること を確認した。

## 5 考察

まず，本システムの導入による作業量の変化について考察する。図 6 に本システム導入前後 の分類作業フローの比較を示す。A1の作業では，それぞれの課題に関連するキーワード選定を 行うが, このキーワードの選定は課題への十分な理解が必要であり, 多少の主観が入ることは否 めない。また，人手によりキーワード選定を行った場合，必ずしもその課題を特徴付けるキー ワードが全て網羅できるとは限らない。それに対して，B1の自動分類システムでは，自動特徴抽出および $\mathrm{tf}$ idfによってスコア付けを行うことによって，客観的基準により課題の特徴を抽出することが期待できる。加えて, 課題志向のような分野が多岐に渡る場合, 例え人手による ものであっても，作業者の専門分野との関連の度合いにより，精度にばらつきが生じる。よっ て，A4に与えられるカテゴリ候補は，適合率，再現率共に十分とは言えず，やはり事後の精査

図 6 システム導入以前 (左) 以後（右）の分類作業フローの比較

による修正が必要となる。実際に，今回の実験では，A1～A3の作業によって得られたカテゴ リの候補と，B1によって自動で得られたカテゴリの候補の精度は同程度であった．従来，A1～ $\mathrm{A} 3$ までの作業は $3 \sim 4$ 週間程度必要としていたが，本システムの導入によって，A1～A3 までの 作業を B1の作業に置き換えることが可能となり，数日間の作業に短縮することができた．A4 〜A5 の作業については, 通常 $2 \sim 3$ 週間程度の作業を必要とし, 現段階では B2 B3 の作業も 同程度の作業を必要とする. しかし, 今後, 分類システムの精度を向上させることによってさ らなる短縮が期待できる。

次に, 本システムを運用する上で想定される問題点として, 課題の構造（カテゴリ）をどのよ うに整備・修正するかということがあげられる，現在は，例えば情報の分野では，岩波書店刊「情報科学事典」をもとに課題のカテゴリを作成しているが, 今後, 科学技術の発展に伴い, 課題の構造（カテゴリ）が年々変化することが考えられる．現在のシステムでは，新たな課題を追加する際は, 人手により全シラバスを吟味し, 個別の講義（シラバス）を一つ一つ新たなカテ ゴリに追加する必要がある。この作業の負担を減らすためには, 前述の MIMA Searchを組み合 わせて，個別のシラバスをキーワード検索し，その結果をドラッグアンドドロップ等の簡便な 方法でシームレスにカテゴリに追加出来るようシステムを拡張する必要がある．また， MIMA Searchのクラスタリング機能を利用して新たなカテゴリを発見し，本システムのカテゴリへ反映することも考えられる。一方，近年のコーパスベース言語処理研究の発展により，コーパス を利用したシソーラスやオントロジーの自動構築研究 (Mima, Ananiadou, Nenadic, and Tsujii

2002; Shinzato and Torisawa 2004) も進展しつつある. 実用に至るには未だ課題は多いが, 今後 の研究の進展によりこのような課題の構造を自動で構築することも可能となると期待される.

また，評価実験の章で述べたように，カリキュラムの再編により，年度毎にカテゴリに属す る講義（シラバス）に大幅な増減があった場合は, 分類精度が低下し人手の作業が必要となる. この場合は，分類結果を可視化する際に色を分けて表示するなど，作業者に対して注意を促す ような仕組みを追加し，作業者自身の負担を軽減することが必要である.

## 6 結論

本稿では, 課題志向別シラバス分類システムの開発, というアプローチによって, i) カリキュ ラムの全体像の俯瞰，ii) 各講義間の関連性の可視化，および，iii）講義の集中と抜けを可視化 するシステムを示した。また, 本システムによって, 大量のシラバスデータの自動分類, およ び, 分類間違いのインタラクティブ修正を可能にし, 大幅に人的コストと時間を短縮すること が期待できる.

ドッグイヤーと呼ばれるように，近年の高度情報化による社会の発展のスピードは著しく, グローバル経済の発達等により社会の変化も激しいのが現状である. 社会の変化に迅速に対応 した教育を行うことは大学の使命であるが, カリキュラム再編のみならず, 学科の再編等, 教育にも常に変化が求められる現状において, 教育環境構築の負担は今後も常に増大するものと 思われる。その意味でも，本システムのような学生へのサービス向上とその効率的運用を目的 としたシステムに対する期待は今後も非常に大きくなると思われる。なお, 本システムは, 現在は 2003 年度から 2008 年度のデータを元に実験運用を行なっているが，2009 年度より実運用 を開始し，実際に学生に向けてサービスを提供する予定である。本サービス開始と共に, 学生 へのアンケート調査等を通じ，ユーザビリティの改善を進める予定である.

## 参考文献

CIEE 東京大学大学院工学系研究科工学教育推進機構. MIMA Search シラバス検索システム. http://ciee.t.u-tokyo.ac.jp/snavi/index.html.

CIEE 東京大学大学院工学系研究科工学教育推進機構. 課題志向別の科目分類. http://ciee.t.u-tokyo.ac.jp/ciee/kozoka/kadai.html.

Cortes, C. and Vapnik, V. (1995). "Support-Vector Networks." Machine Learning, 20, pp. 273-297.

Dumais, S., Platt, J., Heckerman, D., and Sahami, M. (1998). "Inductive Learning Algorithms and Representations for Text Categorization." In Proc. 7th International Conference on

Information and Knowledge Management, pp. 273-297.

板橋広和, 松井藤五朗, 大和田勇人 (2008). テキスト分類における重みつき類似度を用いた SVM 判別モデルの説明. 2008 年度人工知能学会全国大会（第 22 回）3B2-04.

Joachims, T. (1998). "Text Categorization with Support Vector Machines: Learning with Many Relevant Features." In Proc. European Conference on Machine Learning, pp. 137-142.

JOCW 日本オープンコースウェア・コンソーシアム. “Japan Opencourseware Consortium (JOCW) Official Site." http://www.jocw.jp/.

Kudoh, T. "TinySVM." http://www.chasen.org/ taku/software/TinySVM/.

Lewis, D. D. and Ringuette, M. (1994). "A Comparison of Two Learning Algorithms for Text Categorization." In Proc. 3rd Annual Symposium on Document Analysis and Information Retrieval, pp. 81-93.

Mima, H. (2006). "Structuring and Visualizing the Curricula with MIMA Search." In Proc. 7th APRU Distance Learning and the Internet Conference 2006.

Mima, H. and Ananiadou, S. (2000). "An application and evaluation of the C/NC-value approach for the automatic term recognition of multi-word units in Japanese." International Journal on Terminology, 6 (2), pp. 175-194.

Mima, H., Ananiadou, S., and Matsushima, K. (2006). "Terminology-based Knowledge Mining for New Knowledge Discovery." ACM Transactions on Asian Language Information Processing (TALIP), 5 (1), pp. 74-88.

Mima, H., Ananiadou, S., Nenadic, G., and Tsujii, J. (2002). "A Methodology for Terminologybased Knowledge Acquisition and Integration." In Proc. 19th International Conference on Computational Linguistics (COLING2002), pp. 667-673.

宮崎和光, 井田正明，芳鐘冬樹，野澤孝之，喜多一 (2005). 分類候補数の能動的調整を可能に した学位授与事業のための科目分類支援システムの提案と評価. 知能と情報（日本知能情報ファジィ学会誌), $\mathbf{1 7}(5)$, pp. 558-568.

三好康夫, 大家隆弘, 上田哲史, 廣友雅徳, 矢野米雄, 川上博 (2006). EDB を利用した学習経路探索を支援する e シラバスシステムの構築. 大学教育研究ジャーナル (徳島大学), $\mathbf{3}$, pp. 1-9.

Moschitti, A. and Basili, R. (2004). "Complex Linguistic Features for Text Classification: a comprehensive study." In Proc. 26th European Conference on Information Retrieval Research (ECIR 2004).

NIME 独立行政法人 メディア教育開発センター (2008). e ラーニング等の ICT を活用した教育 に関する調査報告書（2007 年度）.テクニカル・レポート, 独立行政法人メディア教育開発センター.
西島寛, 荒井幸代, 檜垣泰彦, 土屋俊 (2008). フォークソノミーを用いた講義選択知識の抽出.

電子情報通信学会技術研究報告 OIS2008-14, 108 (53), pp. 79-84.

野澤孝之, 井田正明, 芳鐘冬樹, 宮崎和光, 喜多一 (2005). シラバスの文書クラスタリングに 基づくカリキュラム分析システムの構築. 情報処理学会論文誌, 46 (1), pp. 289-300.

Open Course Ware. "MIT OpenCourseWare." http://ocw.mit.edu/.

Salton, G. (1991). "Developments in automatic text retrieval." Science, 253, pp. 974-980.

Shinzato, K. and Torisawa, K. (2004). "Acquiring Hyponymy Relations from Web Documents." In Proc. HLT-NAACL.

Taira, H. and Haruno, M. (1999). "Feature Selection in SVM Text Categorization." In Proc. Fifth International Conference on Artificial Intelligence (AAAI-99), pp. 480-486.

Vapnik, V. (1995). The Nature of Statistical Learning Theory. New York: Springer-Verlag.

Yoshida, M. (2007). "Structuring and Visualising the Engineering Knowledge-Basic Principles, methods and the application to the UT's Engineering Curriculum." In Proc. 8th APRU Distance Learning and the Internet Conference 2007.

## 略歴

太田晋：2001 年東京大学大学院工学系研究科金属工学専攻修士課程修了.同年コグニティブリサーチラボ（株）入社. 2005 年科学技術振興機構社会技術研究開発センター研究員, 2007 年より東京大学大学院工学系研究科工学教育推進機構特任研究員. 自然言語処理の研究に従事. 言語処理学会会員.

美馬秀樹：1996 年徳島大学工学研究科システム工学専攻博士課程修了. 工学

博士.（株）ジャストシステム研究員, ATR 音声翻訳通信研究所研究員, 英国マンチェスターメトロポリタン大学講師 (Lecturer), 東京大学大学院理学系研究科研究員, 同大学工学系研究科助手を経て, 2005 年より東京大学大学院工学系研究科工学教育推進機構 /知の構造化センター特任准教授. 自然言語処理の研究に従事. 言語処理学会, 可視化情報学会 各会員.