# 学習者作文評価システム「jWriter」による習熟度と論理性の自動評価

李在鎬 ${ }^{1,5}$, 長谷部陽一郎 ${ }^{2}$, 伊集院郁子 ${ }^{3}$, 青木優子 ${ }^{4}$, 村田裕美子 ${ }^{5}$
${ }^{1}$ 早稲田大学 ${ }^{2}$ 同志社大学 ${ }^{3}$ 東京外国語大学 ${ }^{4}$ 東京福祉大学 ${ }^{5}$ ミュンヘン大学
jhlee.n@gmail.com, yhasebe@mail.doshisha.ac.jp, ijuin@tufs.ac.jp, yuko172@gmail.com, y.murata@Irz.uni-muenchen.de

## 概要

本研究グループでは, 日本語学習者の作文執筆を 支援する目的で,「jWriter」

 と いうウェブアプリケーションを開発・運用してい る. 2016 年から日本語学習者が書いた作文の習熟度を自動評価するシステムとして公開してきたが， 2022 年秋には，論理性を自動評価する機能を追加 した。論理性の自動評価は, [11]に基づく回帰式に 加え，評価項目の一部を診断的評価として提供して おり, 文章の内容に応じて推敲のためのヒントを提示する機能も備えてある.

## 1 はじめに

私たちは科研費による補助のもと, 2016 年度より 日本語学習者の文章執筆を支援するウェブシステム 「jWriter」を開発している（図1）.

図 1 jWriter の初期画面図1のテキストボックスに文章を貼り付け，「実行」ボタンをクリックするだけで，自動評価を行う と同時に, 文章が持つ様々な情報を可視化する機能 を持っている.このシステムに関わるプロジェクト の概要は，以下のとおりである.

## 【第 1 期】
- $い つ: 2016$ 年 4 月 2019 年 3 月
- 何を：科研費 基盤研究 (C) (https://kaken. nii.ac. jp/ja/grant/KAKE NHI-PROJECT-16K02794/）の補助を得て文章 の能力値を自動評価する「jWriter」を開発・公開した。
- 誰が：李在鎬（研究代表者, データ分析）,長谷部陽一郎 (研究分担者, システム構築),村田裕美子 (研究協力者, データ収集)
- なぜ：日本語学習者の作文執筆を支援するた め.
- どうやって：日本語学習者コーパス「多言語母語の日本語学習者横断コーパス(I-JAS)」 [6]に含まれている自由作文のデータを学習 データとして利用し, 線形回帰分析による習熟度の計算モデル[11]を作成し, ウェブアプ リケーションで公開した.

$\cdot$ どこで： https://jreadability. net/jwriter/

## 【第 2 期】
- $い つ: 2019$ 年 4 月 2023 年 3 月
- 何を：科研費 基盤研究 (B) (https://kaken. nii.ac. jp/ja/grant/KAKE NHI-PROJECT-19H01273/）の補助を得て文章 の論理性を自動評価する機能を「jWriter」 に追加した。
- 誰が : 李在鎬（研究代表者, データ分析）,長谷部陽一郎 (研究分担者, システム構築),伊集院郁子（研究分担者, データ作成), 青木優子 (研究分担者, データ作成), 村田裕
美子（研究協力者，データ収集）
- なぜ：日本語学習者の作文執筆を支援するた め. 特に文章を論理的に書くことの重要性を 注意喚起するため.
- どうやって：「現代日本語書き言葉均衡コ ーパス（BCCWJ）」

 に収録されている教科書データと J-

STAGE  で 公開されている学会要旨を学習データとし て利用し, 線形回帰分析による習熟度の計算モデル [10]を作成し，ウェブアプリケー ションとして公開した.

$\cdot$どこで：

https://jreadability. net/jwriter/

第 1 期目は, 文章の習熟度（入門, 初級, 中級,上級, 超級）を自動評価するシステムを作ることに 注力した [5] [10] [12].

第 2 期年からは，文章の論理性を自動評価する機能を追加することを目指している. 2017 年から行っ ている私たちの試みは, プレイスメントテスト [7]に おいて活用する例もあるし，伊集院郁子氏が代表を 務める科研費プロジェクト [2] に連携し, アカデミッ ク・ライティングの教育支援ツールとしての活用を 計画している例もある. 今後, 日本語教育の学習・教育インフラの一つとして活用されることを目指し ている.

## 2 習熟度の判定

習熟度とは，言語教育における「Proficiency」[3] に相当するもので，いわゆる初級，中級，上級とい った段階性に基づいて記述される概念である. 伝統的にプロフィシエンシーは話す力と関連づけられる ことが多いが, 本プロジェクトでは, 日本語学習者 の「書く力」に注目した. 高等教育機関における学習活動において,「書く力」は不可欠だからである. こうした背景のもとで 2016 年に日本語学習者コー パス「多言語母語の日本語学習者横断コーパス (IJAS )」[6]の作文データを学習データとして利用し,線形回帰分析で 5 段階の習熟度 (超級・上級・中級・初級・入門）を推定する計算モデルを作成した [10] [12].

## 習熟度判定用計算モデル［12］

$\mathrm{y}=1.637+$ 平均文長 $\times 0.045+$ 中級後半語 $\times 0.021+$ タイ プトークン比 $\times-0.430+$ 動詞 $\times 0.015+$ 中級前半語 $\times 0.011+$ 総文字数 $\times-0.004+$ 和語 $\times 0.007+$ 漢語 $\times 0.007$ $\left(\mathrm{R}^{2}=0.760\right)$

## 3 論理性の判定

文章が持つ論理性の度合を計算モデルで推定し，可視化する機能を「jWriter」に実装した. 具体的に は，文章の論理性のかなめである接続詞を抽出し, カテゴリー別に表示する機能を実装したり，計算モ デルに基づいて論理性を 4 段階（優・高・中・低） で自動評価する仕組みを入れたりしている [11].

論理性の自動評価のために教科書コーパスと論文要旨コーパスを多変量解析の方法で分析し，計算モ デルを作成している。重回帰分析の精度を示す決定係数では $78 \%$ の精度で論理性の度合いを判定できる ようになっている.

論理性判定のための学習データとして「現代日本語書き言葉均衡コーパス（BCCWJ）」に含まれる教科書データと J-STAGE で公開されている学会要旨を 使用した。これらのデータを「優」「高」「中」

「低」の 4 レベルに分け, 計量テキスト分析の方法 で，論理性を計算するモデルを作成した。なお，学習データを 4 レベルに分けたのは，［9］の分析結果 を参考にしたからである.

論理性判定用計算モデル[11]

$y=3.099+($ 普通名詞率 $X-2.837)+($ 初級前半語率 $X$ $4.292)+($ 接続詞率 $\times-49.773)+($ 動詞率 $\times 4.281)+($ 外来語率 $\times-6.17)+($ 代名詞率 $\times-10.525)+($ 助動詞率 $X$ $0.279)+($ 形状詞率 $\times-0.691)\left(\mathrm{R}^{2}=.780\right)$

## 4 実装

ここでは，「jWriter」の実装について述べる.「jWriter」は Ruby によるウェブアプリケーション である Sinatra を用いて構築されている。基本的な サーバーサイド処理の流れは次のとおりである。

1. 習熟度判定に必要な最低入力文字数を満た しているか確認

2. 入力されたテキストを文に分割

3. 各文に UniDic を用いた形態素解析を施し て語彙情報を取得

4. 同時に「日本語教育語彙表」に基づいて各語彙項目の難易度情報を取得

5. 習熟度判定計算モデルを用いて習熟度を判定

6. 論理性判定に必要な最低入力文字数を満た しているか確認

7. 論理性判定用計算モデルを用いて論理性判定

8. 習熟度と論理性についての診断的評価を出力

1 と 6 の最低入力文字数については，下回ると正確な判定が難しいことがわかっており, 習熟度判定 については 300 字以上あることが条件となってい る.したがって「jWriter」では 300 字未満のテキス 卜を評価することはできない。論理性判定について は本来であれば 2,000 字以上のテキストであること が望ましいが，学習者の作文としてそこまでの長さ を求めることは難しい場合が多いため 1,000 字以上 を条件としている。

2 の文分割については，意味的な分析ではなく純粋に形式的な条件に基づいて行っている. まずテキ ストを段落に分割するが，その際には「改行+全角 スペース」「改行+半角スペース」「2 個以上の改行文字の連続（＝行空け）」のいずれかを改段落の マーカーとして用いている。学習者の作文テキスト は必ずしも定型的でなく, 文の途中などで改行され ていることが珍しくない。不注意などでそうなって いる場合もあるが，段落をあらためる意図なしに行 の右端で改行を入れる形で執筆を行う学習者も多い とみられる。 そこで，意図的な改階段とそうでない 改行を区別するために上記の条件でテキストを段落 に分割している。その後, 各段落を文に分割する が，その際には「。」「」「？」「！」をマーカ 一として用いる．鉤括弧類が使用されているときな ど，実際にはこれらのマーカーを伴わない文も存在 するが，括弧類の使い方は入力されるテキストによ って様々な相違があるため（閉じ括弧の直前で句点
を挿入する／挿入しないなど）「jWriter」では文分割の際に括弧の情報は用いていない。

3 の形態素解析については，UniDic-2.1.2 [13] を 形態素解析器 MeCab を通じて利用している.

UniDic を利用する理由としては主に次のことが挙 げられる。

・短単位での形態素解析は，誤りを含んだ表現 や非慣例的な組み合わせの表現が含まれや す い学習者テキストの分析に適している
- 基本形, 活用形，品詞に関する情報に加え $\tau$

「和語」「漢語」「外来語」など語種に関 す る情報を取得できる

・学習者による日本語テキストを分析するの に

十分な情報量と性能を有している

4 の処理で用いる日本語教育語彙表[14]は過去の 科研費グループ「汎用的日本語学習辞書開発データ ベース構築とその基盤形成のための研究」で開発さ れた資源で，日本語教育で用いられる語彙項目を 6 段階のスケールに分類している

(http://jhlee.sakura.ne.jp/JEV/) 。UniDic から得られ る語彙情報と合わせて日本語教育語彙表の語彙レべ ル情報を用いることで，学習者による日本語テキス トに含まれるほとんどの語について必要な情報を得 ることができる.

ここまでの処理を経て，5で実際の習熟度判定が 行われる. 判定結果は回帰式の值に応じて「入門」「初級」「中級」「上級」「超級」の 5 段階に分類 される。回帰式の值がどのレベルの値域にも含まれ ない場合には「測定不可（入門以下のため）」もし くは「測定不可（超級以上のため）」が出力され る. また入力テキストが 1,000 字を満たしていれば さらに論理性判定が実行される．論理性判定のレべ ルは「優」「高」「中」「低」の 4 段階であり，

「優」を超える值については「測定不可」と判定さ れる。
「jWriter」では習熟度の判定が行われると, 結果 のレベルに応じて「語の使い方に関する診断的評価」として「語の多様性」「漢語力」「長文作成力」「難解語」に関するアドバイスが示される.こ の機能は，回帰式を開発するために実施したデータ 分析で用いた同じレベルグループのテキストが持つ 特徴の平均値と, 入力されたテキストの特徴値を比較することで実現している。 ユーザーの作文能力の 具体的な課題を特定する機能であり, 画面上には各項目の値域ごとに用意されたアドバイスのテキスト と共に, グループ平均と実際の値とを示したグラフ が表示される.これらのフィードバックを活用する ことで, 学習者や教師は現在の作文能力に関する詳 しい情報だけでなく, 今後の学習・指導につながる 気づきを得ることができる.

## 5「jWriter」が目指す評価

「jWriter」は自動採点システム[1]である。つま り, 評価のツールということになるが，本システム はどのような考え方のもとで作られた評価ツールで あるかについて述べる。

伝統的に評価研究においては，妥当性

（validity）と信頼性（reliability）という指標が重要視されている[4]. これらは評価ツールの良し悪し を捉える上で必ず議論になる観点である．妥当性 は，評価しようと意図している能力を正しく評価で きているのかに関連する指標である。信頼性は, 評価結果の一貫性・安定性の指標である.

「jWriter」が重視したのは，評価の信頼性であ る.というのも,「jWriter」は誰が，どこから，い つ評価しても, 同じ文章であれば, 同じ結果を出力 するからである。人間であれば，同じ文章であって も，評価者がかわれば，評価もかわるのが一般的 で, 評価の一貫性や安定性を担保するために多くの コストがかかる[1]. しかし, 「jWriter」のような 自動採点においては, 評価の一貫性や安定性は（計算モデルが同じであれば）不変である.

評価の妥当性には, 結論的にいうと現時点では判断が難しいと考えている。というのは，そもそもコ ンピュータは回答の求め方が人間とは異なるからで ある。前節で述べた習熟度の評価のための公式に注目してほしい。平均文長や語種の頻度をもとに，

「jWriter」は習熟度を評価しているが，人間はこう した指標を使って文章を評価するとは考えにくい。人間の評価では，様々な文構造を使い，自然なつな がりにおいて自身の考えを述べているか，語彙の使 い方が適切か，さらに主張をともなう文章であれば 根拠がきちんとしているかなどの視点が用いられ

る.「jWriter」は人間が行っているこれらの評価指標を間接的に捉えることを目指している.つまり，文構造の適切さや文と文のつながりの良さを平均文長や動詞や接続詞の使用率で捉え, 語彙使用の適切 さは和語や漢語の使用率で捉えることを目指してい るのである.このように「jWriter」が用いている指標はいずれも間接的なものであるため，その妥当性 に関しても現時点において宣言的なことは言えな い. 今後，「jWriter」を用いた実践研究が進むこと により，明らかになることであると考えている。

このように妥当性に関しては十分に明らかでない 現状においても「jWriter」は有用な評価ツールであ ると考えている。それは, 教育現場に求められる 様々な評価活動を考えた場合, 評価の妥当性より信頼性やレスポンスの速さが優先される場面があるか らである。典型的にはプレイスメントテストのよう な場面や学習者が自身の文章を推敲する場面であ る.これらの場面では, 即時に反応してくれる仕組 みが必要だからである，妥当性に関して，多少の問題があったとしても教師が介入することで修正が可能であると考えている.このことは, 教師の介入が 前提にされない評価活動においては「jWriter」を使 うのは望ましくないことを意味する。例えば，入学試験のような個人の人生を決めるようなハイ・ステ ークスな評価において, 現状のシステムでは利用が 難しい.

## 謝辞

本研究は JSPS 科研費 19H01273，19K21637， 22H00667 の助成を受けたものである.

## 参考文献

[1] 石井雄隆・近藤悠介 (編). 英語教育における自動採点-現状と課題, ひつじ書房, 2020.

[2]伊集院郁子. 日本語母語話者と日本語学習者 の作文に見られる接続表現の比較, 2022 年度日本語教育学会秋季大会予稿集, pp. 65-70.

［3]鎌田修・嶋田和子・迫田久美子．プロフィシェ ンシーを育てる〜真の日本語能力をめざして，凡人社, 2008.

[4] 近藤ブラウン妃美. 日本語教師のための評価入門, くろしお出版, 2012.

[5] 小森和子・李在鎬・長谷部陽一郎・鈴木泰山・伊集院郁子・柳澤絵美. 教師による評価とコン ピュータによる自動評価はどの程度一致する のか, 2018 年度日本語教育学会秋季大会予稿集, pp. 278-283.

［6］迫田久美子・石川慎一郎・李在鎬（編）.日本語学習者コーパス I-JAS 入門 : 研究・教育に どう使うか,くろしお出版, 2020.

[7]柳澤絵美・小森和子・李在鎬・長谷部陽一郎．日本語オンライン・プレイスメント・テストの開発, 2018 年度日本語教育学会春季大会予稿集, pp. 304-309.

[8] 李在鎬・長谷部陽一郎・村田裕美子. 学習者作文 の習熟度に関する自動判定とWeb システムの開発について, ICT×日本語教育, pp. 38-53, ひつ じ書房, 2019.

[9] 李在鎬. BCCWJ の学校教科書コーパスの計量的分析 一日本語教育のためのリーダビリティ と語彙レベルの分布を中心に一, 計量国語学 32 (3), pp. 147-162, 2019.

[10] 李在鎬.書くことを支援する自動評価システ ム「jWriter」（特集 AI や ICT が変える言語教育), 日本語学 2021 冬号 40(4), pp. 4251, 2021.

[11] 李在鎬・伊集院郁子・青木優子・長谷部陽一郎・村田裕美子. 論理的文章の自動評価に関 する研究ーアカデミック・ライティングへの 貢献を目指して, 2021 年度日本語教育学会春季大会予稿集, pp. 223-226.

[12] Lee, J., and Hasebe, Y.: Quantitative Analysis of JFL Learners' Writing Abilities and the Development of a Computational System to Estimate Writing Proficiency, Learner Corpus Studies in Asia and the World 5, pp. 105-120, 2020.

[13] 伝康晴 - 小木曽智信 - 峯松信明 - 小椋秀樹 内元清貴・山田篤・小磯花絵. コーパス日本語学のための言語資源 : 形態素解析用電子化辞書の開発とその応用, 日本語科学 22 , pp. 101-123, 2007.

[14] Sunakawa, Y., Lee, J. and Takahara, M. : The Construction of a Database to Support the Compilation of Japanese Learners Dictionaries, Acta Linguistica Asiatica 2(2), pp. 97-115, 2012.
 李在鎬 ${ }^{1,5}$, 長谷部陽一郎 ${ }^{2}$, 伊集院郁子 ${ }^{3}$, 青木優子 ${ }^{4}$, 村田裕美子 ${ }^{5}$ ${ }^{1}$ 早稲田大学 ${ }^{2}$ 同志社大学 ${ }^{3}$ 東京外国語大学 ${ }^{4}$ 東京福祉大学 ${ }^{5}$ ミュンヘン大学 jhlee.n@gmail.com, yhasebe@mail.doshisha.ac.jp, ijuin@tufs.ac.jp, yuko172@gmail.com, y.murata@Irz.uni-muenchen.de  