# 項目採点技術に基づいた和文英訳答案の自動採点

菊地正弥 $1,2 *$ 尾中大介 $1,2 *$ 舟山弘晃 $1,2 *$ 松林優一郎 1,2 乾健太郎 1,2
1 東北大学 2 理化学研究所
\{taisuke.onaka.q7, seiya.kikuchi.t3\}@dc.tohoku.ac.jp
hiroaki@ecei.tohoku.ac.jp \{y.m, inui\}@tohoku.ac.jp

## 1 はじめに

国内の英語教育では、短い和文に対する自由記述形式の英訳問題（短文和文英訳問題と呼ぶ）が盛ん に使われている。この形式の問題は出題者が問う語学的知識を限定しやすく、特定の文法・語彙知識の 習熟訓練・反復学習方法として有効である。一方で こうした記述式の答案に対する採点と助言の返却は 教育者側の負担が大きく、アウトプットと反復学習機会が重要な語学教育においては、その限定的な試行回数が課題となる。

そこで、本稿では短文和文英訳問題に対する自動採点技術の応用を試みる。日本人学習者を対象にし た英作文の自動採点を扱う研究はこれまでほとんど 行われていないが、先行研究として、正答例を列挙 する表現法を提案し効率的にマッチングを行うこ とで自動採点を実現しているものや [1]、学習者の エッセイライティングを対象にして文法誤りを検出し解説文を生成する手法 [2] がある。また、近接 する分野として、和文英訳問題の採点は文法的正し さの評価という観点で Grammatical Error Correction (GEC) と関連する。短文からなる答案に対して採点基準に基づき評価を行うという観点では Short Answer Scoring (SAS) と見なすこともできる。

本研究では、高校の学習課程での運用実態を参考 に、短文和文英訳問題の採点を、作題者が確認した い複数の部分要素を採点項目として反映した項目別 の SAS の問題として定式化し、NN ベースのモデル により自動採点を実現する。この我々の目的に必要 となる学術利用可能な日本人学習者の和文英訳文採点データは存在しないため、我々はまず、和文英訳問題に対する自動採点モデルの学習と評価を可能 とするデータ形式を設計し、答案の収集・アノテー ションを行いデータセットを構築した (図1)。この データ中では、明確な複数の採点基準に基づき基準

図 1 データセットに含まれる答案及び採点基準の例。

ごとに答案の採点が行われる。また、各採点項目の 根拠箇所が付与されており採点の解釈性が高い。

実験では、我々が作成したデータセットに対し [3] が提案する項目採点モデルを適用し、その採点精度と今後の課題を検証する。加えて、疑似データ 生成による性能向上についても検証する。一般に SAS におけるデータ作成は高コストなため、データ 数が少ないときの性能の維持が課題である $[3,4]$ 。 そこで、GECにおいて成功している疑似的な文法誤 り生成のアプローチ [5]を用いて、和文英訳問題採点での効果を検証する。実験の結果、大半の採点基準に対して $\mathrm{F}$ 値で $80 \%$ 以上の精度で採点可能である ことが明らかになった。また、GECで用いられてい る手法 [5] を用いて生成した疑似データを学習に用 いることにより、学習データが少ない評価ラベルに 対する採点精度の向上を確認した。

## 2 和文英訳問題データセット

本研究を行うにあたり作成したデータセットに ついて説明する。本データセットは四天王寺高等学校・中学校および増進堂・受験研究社の協力のもと 作成したものであり、和文英訳問題の答案として初
表 1 答案データの統計値

のデータであるだけでなく日本人英語学習者の SAS 形式の英文データとしても初めてのものである。

本データセットには問題が 7 問含まれており、そ れぞれの問題に複数の明確な採点項目と採点基準 が存在する。問題文、採点基準は専門家により作成 されたものである。答案は各採点項目ごとに採点さ れ、項目評価値（ $\mathrm{O}, \Delta, \times$ のいずれか）および評価根拠箇所（答案中の単語位置）が付与されている。答案例と採点基準の一部を図 1 に示す。問 1,2 は四天王寺高等学校において行われた試験問題と生徒の答案である。また、増進堂・受験研究社の協力により 新たに 5 問を作題し、問題 1,2 と合わせてクラウド ソーシングにより答案の収集を行った。収集におい ては、回答者のレベルを高校生と同等水準に揃える ため、英語検定試験のスコア (付録参照) で募集をか け、能力チェック用設問の正答率によって回答者の 選定を行なった。さらに、収集した答案の品質維持 のため、著しく内容が逸脱した回答をルール (付録参照) および目視により除外した。その後、収集し た答案に対して採点基準に基づき項目評価値と根拠箇所のアノテーションを行なった。アノテーション は、作題者である専門家がクラウドソーシングで収集した答案を閲覧し精緻化した採点基準書にした がって、著者ら監督のもと別の作業者が実施した。

7 問に対するデータの統計を表 1 に示す。高校の 答案を含む問 1,2 で 160-170 程度、その他は 70-100 程度の答案を含む。各問題には 10 前後の採点項目 が存在する。本データセットは学術利用目的に限り 公開する予定である1)。

## 3 和文英訳答案の自動採点

## 3.1 問題設定

本研究では和文英訳問題の採点を複数の採点項目を持ったSAS 問題として定式化する。ある和文

英訳問題に対して、その採点項目の集合を $C$ とす る。入力は答案テキスト $\left(w_{1}, w_{2}, \ldots, w_{n}\right)$ および採点項目 $c \in C$ であり、出力は $c$ に対する 3 段階の評価値 $s_{c} \in\{\bigcirc, \Delta, x\}$ とする。採点は各採点項目ごとに 出力し、答案に対する総合的な評価は行わない。

## 3.2 項目採点モデル

本研究では、SAS のために提案された [6] の採点 モデルを採点項目ごとに個別採点するよう拡張した モデル [3] によって和文英訳問題の採点を行う。た だし、我々のモデルは得点に対する回帰問題ではな く、 3.1 に記述した 3 值分類問題を学習する。

本研究で用いるモデルを説明する。まず、入力された答案テキストは単語ベクトルの列 $\mathbf{x}=\left(x_{1}, x_{2}, \ldots, x_{n}\right)$ に変換される。その後、このべク トル列は Bi-LSTM に入力され、順方向と逆方向の 中間状態ベクトルの和を取ることにより、D 次元の 中間表現の列 $\mathbf{h}=\left(h_{1}, h_{2}, \ldots, h_{n}\right)$ にエンコードされ る。これを用いて、各採点項目ごとに個別の文べク トルを計算する。ただし、中間表現の列 $\mathbf{h}$ を作る Bi-LSTM は全採点項目で共有されることに注意され たい。 $c \in C$ に対する文ベクトル $\tilde{h_{c}}$ は中間表現の重 み付き和として次のように計算される。

$
\tilde{h_{c}}=\sum_{i=1}^{n} \alpha_{i}^{c} h_{i}
$

$\alpha_{i}^{c}$ は採点基準 $\mathrm{c}$ に対する $\mathrm{i}$ 番目の単語の重みであ り、式 (2) に示す注意機構によって算出される。

$
\begin{aligned}
t_{i}^{c} & =h_{i} M_{c} V_{c} \\
\alpha_{i}^{c} & =\frac{\exp \left(\tanh \left(t_{i}^{c}\right)\right)}{\sum_{k=1}^{n} \exp \left(\tanh \left(t_{k}^{c}\right)\right)}
\end{aligned}
$

$M_{c} \in \mathbb{R}^{D \times D} 、 V_{c} \in \mathbb{R}^{D}$ は学習するパラメータである。最後に項目 $c$ に対する評価値 $s_{c}$ を次式により得る。

$
\begin{aligned}
p\left(s_{c} \mid \mathbf{x}\right) & =\operatorname{softmax}\left(W \tilde{h_{c}}+b\right) \\
s_{c} & =\underset{s_{c} \in\{\bigcirc, \Delta, \times\}}{\arg \max }\left.\{p\left(s_{c} \mid \mathbf{x}\right)\right.\}
\end{aligned}
$

$W \in \mathbb{R}^{3 \times D} 、 b \in \mathbb{R}^{3}$ は学習するパラメータである。

## 3.3 学習

項目採点モデルは各採点項目の評価結果について 負の対数尤度 (NLL) を最小化するように学習する。

$
L_{\text {score }}=\sum_{c \in C} \operatorname{NLL}\left(p\left(s_{c} \mid \mathbf{x}\right), \hat{s_{c}}\right)
$

ここで、 $\hat{s_{c}}$ は採点基準 $\mathrm{c}$ に対する教師信号のラべ ル (評価値) である。また、2 節に示したように本

データセットには答案に対して採点項目ごとに採点根拠箇所 $\hat{\alpha^{c}}=\left(\hat{\alpha_{1}^{c}}, \hat{\alpha_{2}^{c}}, \ldots, \hat{\alpha_{n}^{c}}\right)$ が付与されている。 $\hat{\alpha_{i}^{c}} \in[0,1]$ は答案中の $i$ 番目の語が根拠となるかを 表す数であり、採点根拠となるトークンが答案中に $k$ 個ある場合、その位置には $1 / k$ が、それ以外には 0 が付与されている。[3] に従い、本研究において も、以下の損失関数によりアテンションの教師有り 学習を行う。

$
L_{a t t}=\sum_{c \in C} \sum_{i=1}^{n}\left(\alpha_{i}^{c}-\hat{\alpha_{i}^{c}}\right)^{2}
$

よって、全体の損失 $L$ は以下の式で表される。

$
L=L_{\text {score }}+L_{\text {att }}
$

## 3.4 疑似データ生成

表 1 に示したように、本データセットに含まれる 答案数は各問につき高々 170 件程度であり、 $\mathrm{NN}$ モ デルを用いる他のタスクのデータセットと比べて著 しく少ないが、問題ごとにモデルの訓練が必要であ るという SAS の特徴をるまえると大規模なデータ 収集により答案数を増やすことは現実的ではない。

そこで、我々は GEC における疑似データ生成手法の一つである [5] をべースにした手法によって間違い事例の増強を検討する。和文英訳においては正答、部分正答の答案パターンは限られている一方 で、間違い方は多様である。しかし表 1 のとおり、 $\times$ 評価は。評価に比べて答案の分布として収集が難 しい傾向にある。これは、通常、和文英訳問題が問題に適した学力水準の被験者を対象として出題され ることと関係する。したがって、×評価の答案を効率的に収集する何らかの手法が必要である。

本研究では、まず数個の模範解答例について人手 で項目別採点を行い、その各採点項目の採点根拠と なっているトークンに対して、実際の間違い事例の 類型化に基づいて設計した以下の品詞カテゴリの置 き換え操作によって疑似データの生成を行う。

・冠詞、前置詞、関係詞、所有限定詞
- 動詞の人称・時制
- 同一語幹の形容詞と副詞

・スペルが似た語

上記の置き換えが発生する箇所を採点根拠としてい る採点項目について、トークンを置き換えた後の評価值を×とすることで、疑似的に $\times$ の事例を増強 する。「スペルが似た語」ではレーベンシュタイン正解データ

This is a restaurant which my uncle used for enjoying lunch.

冠詞 関係代名詞

前置詞 関連語

図 2 疑似データ生成例。この例では冠詞、関係詞、前置詞および関連語を置き換えることにより負例を疑似的に 生成している。

距離が 4 以下でジャロウィンクラー距離が 0.8 を超 える単語に置き換えた。なお、高校生の語彙レベル に合わせるために、置き換え語の単語は 1993 年か ら 2017 年まで 4 年ごとのセンター試験および追試験の電子化データ $\left.{ }^{2}\right) よ り$ 抽出した 4463 語に絞った。生成された疑似データの例は図 2 に示す。

## 4 実験

## 4.1 設定

本研究では $\bigcirc, \Delta, \times$ の 3 值で評価を行っているた め、自動採点の精度評価には $\mathrm{F}$ 值を用いた。モデ ルの学習においては、Adam [7] を用いて最適化を 行った。また、学習率として 0.001 を用いた。また、実験は各問についてデータセットを訓練:開発:評価 $=3: 1: 1$ と分割する 5 分割交差検定により行なった。評価は採点項目ごとに行い、それぞれ 50 エポック 回した上で開発セットに対して最も性能が高かっ た時のパラメータを用いた。また、疑似データの混入にあたっては、混入量をもとの訓練データの量 の $\{10 \%, 20 \%, 30 \%, 40 \%, 50 \%\}$ と変化させた時に開発セットにおいて最も性能が高かった割合を用いた モデルにより評価を行った。

## 4.2 結果

3.1 節で説明したモデルを用いた際の採点精度、 および、 3.4 節で説明した手法により疑似データを 生成し、学習に用いた時の採点精度の変化を測定し た。結果を表 2 に示す。実験結果は各問ごとに全採点基準のマイクロ平均取った時の $\mathrm{F}$ 値を示した。表 2 より、問題 $1,3,4,6$ に対しては疑似データ追加を 行う前の段階で $\mathrm{F}$ 值 0.9 ポイント程度と非常に高い 精度で採点できることがわかった。問題 $2,5,7$ につ いては他の問よりも採点精度は低く、特に問題 2 の

図 $3 \times$ 評価に対する項目ごとの $\mathrm{F}$ 値

表 2 問 1～問 7 に対する項目別自動採点の $\mathrm{F}$ 値

採点精度については 0.73 ポイント強にとどまって いる。次に、疑似データを混入した時の精度に注目 する (表 2 中の十疑似データ)。疑似データを用いる ことで問題 4 を除いたすべての問に対して採点精度 の向上が確認できた。特に、問題 $2,5,7$ においては それぞれ $\mathrm{F}$ 值で $0.17,0.040,0.096$ ポイントの大きな 精度向上が見られた。このことから、問題 $2,5,7$ の ように元の採点精度が低い問題に対しては疑似デー タの生成が有効に働くと考えられる。

我々の疑似データ生成は $\times$ 評価に対する採点精度向上を狙ったものである。この効果を確認するた め、図 3 に疑似データ生成の対象となった採点項目 の $\times$ 評価に対する $\mathrm{F}$ 值を示した。ただし、正確な評価を行うために、 $\times$ 評価の答案が 5 件以下の採点基準については評価を行っていないため、図 3 には掲載されていない。全体の傾向として、疑似負例の導入より $\times$ 評価に対する採点精度が向上することが分 かる。特にオリジナルのデータのみを学習した場合 に精度が低い採点項目（Q2-D3, Q2-D2）などにおい ては、疑似データを学習することでモデルの性能は 大きく向上している。ここから、容易に答案数を増 やせない状況においても、疑似データ生成により低 コストでモデルの精度向上が可能だということが確認できた。一方で、疑似データを学習したことによ り性能が下がるケースも見受けられる（Q4-C2）が、 その影響はわずかであった。

## 5 おわりに

本研究では国内の英語教育で盛んに利用されてい る自由記述形式の和文英訳問題の採点に焦点を当 て、この自動化技術の構築に取り組んだ。高校現場 での試験とその採点の運用実態を参考に、タスクの 定式化を行い、この形式にもとづいて和文英訳答案 の採点データセットを構築した。また、既存の NN ベースの項目点別採点モデルを適用し、約半数の問題では $\mathrm{F}$ 値 0.9 ポイント程度の高精度で採点が可能 な一方で、一部の問題では採点精度がそれ未満にと どまることがわかった。この主要な理由は、間違い 方の種類が多岐に渡る項目において訓練データ中の カバレッジが不足することにある。こうした問題に おいても疑似的に生成した負例を用いることで×ラ ベルに対する採点精度を向上させることができ、結果として F 值を 0.9 ポイント付近に引き上げられる ことを確認した。今後は数十問規模でデータセット を拡充し、現場レベルでの実証実験につなげていく ことを予定している。また、学習効果の向上のため には、学習者は提出した答案に対して評価だけでは なく学習上のアドバイスを得られる事が重要である と考えられる。したがって、答案の評価を推定する だけではなく、答案に合ったアドバイスを出力する ことを今後の課題として検討している。

## 謝辞

データセットの作成にあたって四天王寺高等学校・中学校および株式会社 増進堂・受験研究社にご 協力を頂きました。また、Yahoo!クラウドソーシン グにおいてご協力頂いたクラウドワーカーの皆様 へ深く感謝を申し上げます。本研究は JSPS 科研費 JP19H04162、JP19K12112 の助成を受けたものです。

## 参考文献

[1] Norihisa NISHIMURA, Kentaro MEISEKI, and Michiaki YASUMURA. Development and evaluation of system for automatic correction of english composition. Transactions of Information Processing Society of Japan, Vol. 40, No. 12, pp. 4388-4395, dec 1999.

[2] Kazuaki HANAWA, Ryo NAGATA, and Kentaro INUI. Generation control methods for reliable feedback comment generation. Proceedings of the Annual Conference of JSAI, Vol. JSAI2020, No. 0, pp. 2D1GS903-2D1GS903, 2020.

[3] Tomoya Mizumoto, Hiroki Ouchi, Yoriko Isobe, Paul Reisert, Ryo Nagata, Satoshi Sekine, and Kentaro Inui. Analytic score prediction and justification identification in automated short answer scoring. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 316-325, Florence, Italy, August 2019. Association for Computational Linguistics.

[4] Tianqi Wang, Naoya Inoue, Hiroki Ouchi, Tomoya Mizumoto, and Kentaro Inui. Inject rubrics into short answer grading system. In Proceedings of the 2nd Workshop on Deep Learning Approaches for Low-Resource NLP (DeepLo 2019), pp. 175-182, Hong Kong, China, November 2019. Association for Computational Linguistics.

[5] Yujin Takahashi, Satoru Katsumata, and Mamoru Komachi. Grammatical error correction using pseudo learner corpus considering learner's error tendency. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 27-32, Online, July 2020. Association for Computational Linguistics.

[6] Brian Riordan, Andrea Horbach, Aoife Cahill, Torsten Zesch, and Chong Min Lee. Investigating neural architectures for short answer scoring. In Proceedings of the 12th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 159-168, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[7] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

## A 付録

## A. 1 回答者の選抜基準

回答者のレベルを高校生と同等水準に揃えるた め、英語検定試験のスコアによって募集者の選抜を 行った。表 3 にその際に用いた基準を示す。これら の基準の策定にあたっては、国内の英語検定資格と CEFR の対応 ${ }^{3}$ や専門家の意見などを参考にした。 また、回答者の年齢を 17〜39 歳に絞った。

## A. 2 無効答案のフィルタリング

収集した答案の中には、題意に沿って回答してい ない答案や機械翻訳機などを用いて機械的に生成さ れた答案などが散見された。そこで、以下の 4 項目 からなるフィルタリング規則によって、無効答案の フィルタリングを行った。
1. 3 単語未満の回答を除去

2. Google 翻訳と同文の回答を除去

3. 設問にて回答条件が設けられている場合、条件 を満たさない回答を除去

4. 正答例との類似度が著しく低い回答を除去

ここで、回答条件とは文頭の数単語が設問中に予め 与えられている場合などの、設問で指定されている 答案が絶対に満たすべき条件を指す。

3) https://www.mext.go.jp/b ${ }_{m}$ enu/houdou/30/03/i ${ }_{i}$ csFiles/af ieldf ile/2019/01/15/1402610.$p d f$


# 文法誤り訂正モデルは訂正に必要な文法を学習しているか

三田雅人
理化学研究所東北大学
masato.mita@riken.jp

## 1 はじめに

文法誤り訂正（GEC）は，テキストに含まれる文法誤りを自動的に訂正するタスクである。本タス クでは, その構造的な類似性から文法誤りが含ま れる文から誤りが含まれない文への機械翻訳とみ なして解くアプローチが主流である。そのため, GEC のためのニューラルエンコーダデコーダモデ ル (EncDec) が数多く提案されており, 現在では Transformer [1] に基づくモデルが標準的になってい る $[2,3,4]$. 最近では, 学習データ不足の問題を解決するために擬似データの活用が盛んに行われてお り，モデルの性能向上が報告されている $[5,6]$.

一方で，GEC の実応用を考えたとき，性能だけで なくモデルサイズや推論速度といったモデルの軽量化も重要な観点であるが, 現行の擬似データを活用して性能向上を図る方法は, この観点で課題が残 る. 例えば, Kiyono ら [6] の報告によると, 訂正性能を測る標準的な評価指標である $\mathrm{F}_{0.5}$ においてたつ た 2 ポイント性能を向上させるために, 約 6,000 万文対もの擬似データを追加で増やす必要があること がわかった. 現行の機械翻訳としてのモデル化や擬似データの活用による性能向上の背景には, 大量の パラメータを用いた訂正パターンの丸暗記という要因が挙げられるが，ここで，全ての誤りに対してパ ターンを丸暗記させる必要があるのか，といった問 いが考えられる。なぜなら, 主語と動詞の一致誤り のような文法規則に基づく一部の文法誤りに関して は，人間は文法規則さえ学習できていれば必ずしも 個々のパターンを丸暗記する必要はないからであ る.また，モデルは大量のパターンから訂正に必要 な文法知識を学習していることを期待されるが，文法知識をどの程度汎化できているかは自明ではな い。もし仮に，文法規則に従って訂正できる文法誤 りに対して汎化できていないのであれば，ありとあ らゆる語彙と構文の組み合わせからなる訂正パター ンを丸暗記する必要があることになり，より軽量な

\author{
谷中瞳 \\ 理化学研究所 \\ hitomi.yanaka@riken.jp
}

図 1 GEC モデルの汎化性能評価の概要.

GEC モデルを実現させるためには訂正に必要な文法知識をルールとして教える手法を組み合わせると いった改善が必要となる.

そこで本研究では，GEC モデルの軽量化に向け て，モデルが訂正パターンを単に丸暗記しているの ではなく，訂正に必要な文法知識を汎化できている かについて分析する手法を提案する。 また本研究で は，（i）文脈自由文法（CFG）を用いて語彙と構文 を制御しながら自動構築した人工データ，（ii）既存 の学習者データを用いて語彙を制御しながら自動構築した実データという 2 種類のデータセットを用い て評価を行い，入力文の語彙や構文の複雑さと汎化性能との関係について分析を行う。

## 2 関連研究

言語モデルが自然言語の文法性を獲得しているか について分析する先行研究としては, 英語の主語と 動詞の数の一致に着目した分析 $[7,8]$ がある. この 分析では, 言語モデルが The farmer * *mile/smiles と いう単語列に対し, 正しい活用形である smiles に誤 りの活用形である smile よりも高い確率を付与でき るかを評価する。これらの先行研究では言語モデル が単純な統語現象から長距離依存関係を含むような 複雑な統語現象を対象として, 文法的に正しい文と 誤っている文をどの程度区別できるかに焦点を当て ている.これに対して本研究では, 誤り訂正で重要 な誤りタイプを対象として，言語モデルと翻訳モデ ルから構成される GEC モデルの汎化性能を分析す
表 1 自動構築した人工データおよび実データの例.

る. 先行研究が言語モデルの文法能力のみを分析対象としているのに対し, 本研究では誤り検出だけで なく翻訳モデルによる誤り訂正においても汎化性能 を評価することで実践的なモデルに求められる文法能力を評価できる. また, 先行研究の多くは語彙や 文法をコントロールした人工データを用いて評価 を行っているのに対して, 本研究では人工データと 実際の学習者データの両方でモデルの評価を行い,人工データと実データの結果について比較分析を 行う.

## 3 提案手法

本研究では, 現行の機械翻訳に基づく GEC モデ ルが訂正に必要な文法知識を汎化できているか，よ り具体的には，未知の語彙に対する汎化に焦点を当 てて調査する. なお，本研究では未知の語彙を含む 文法誤りを検出できることと訂正できることを合わ せて文法知識の汎化と定義する. 図 1 は, 主語と動詞の一致を例とした提案手法の概要図である.この 提案手法では, 学習・評価セットの誤り箇所に現れ る語彙を制御して自動構築したデータを用いてモデ ルの評価を行う，具体的には，誤り箇所に既知の語彙が現れる学習・評価セットで評価したときの性能 (既知の語彙設定) と, 誤り箇所に未知の語彙が現 れる学習・評価セットで評価した時の性能（未知の 語彙設定）を比較することで，未知の語彙を含む文法誤りに対するモデルの汎化性能を評価する。

ここで，モデルが（i）語彙を知らなかったため 訂正できなかったのか，（ii）文法知識の汎化に失敗 したため訂正できなかったのかを切り分けて検証 を行うために, 出現語彙自体は学習データと評価 データで共通となるように制御する。例えば，図 1 の未知の語彙設定の例においては, Every dog *run quickly $\rightarrow$ Every dog runs quickly という文対と Every dog smiles awkwardly $\rightarrow$ Every dog smiles awkwardly と いう（無編集な）文対は学習データに出現し，Every dog * smile awkwardly $\rightarrow$ Every dog smiles awkwardly と いう文対は出現しないように制御した学習データを用いてモデルを学習させる．このとき，仮にモデル が Every dog *smile/smiles awkwardly という入力文に 対し, 正しい活用形である smiles と訂正できなかっ た場合は，主語と動詞の一致に関する文法知識を汎化できていないということになる.

本研究では, Bryant ら [9] が定義する誤りタイ プの中から，文法規則に基づく誤りである，主語と動詞の一致誤り (VERB:SVA) - 動詞の態誤 り (VERB:FORM) - 語順誤り (WO) - 形態素誤り （MORPH）・名詞の単複誤り（NOUN:NUM）の計 5 種類の誤りタイプを対象に調査する。

## 3.1 人エデータを用いた検証

語彙と構文を制御した状況で評価を行うため, $\mathrm{CFG}$ の生成規則から自動構築したデータで DNN の 推論における汎化性能を分析する手法 [10] を応用し て人工データを自動構築し，分析を行う。分析対象 である 5 種類の誤りタイプについて，誤りタイプご とに文法的に誤りを含む生成規則と正しい生成規則 の 2 種類の生成規則を設計（設計した $\mathrm{CFG}$ 生成規則の一部を付録 $\mathrm{A}$ に示す）し，これらの生成規則か ら元文と訂正文をそれぞれ生成する。

VERB:SVA の人工データの例として, 文法的に 誤りを含む生成規則 $\mathrm{S} \rightarrow \mathrm{NP}_{p l} \mathrm{VP}_{s g}$ から元文* $\operatorname{dog} s$ smiles, 正しい生成規則 $\mathrm{S} \rightarrow \mathrm{NP}_{s g} \mathrm{VP}_{s g}$ から訂正文 dog smiles を生成できる. 使用する語彙は生成文が 自然となるように一般名詞，自動詞，他動詞，形容詞，副詞各 15 種類を選定し，誤り箇所以外の語彙 は共通にした。データサイズは $\mathrm{CFG}$ で生成される 文を調整することで調整でき，本論文では各誤りタ イプを十分に学習できる量の学習データとして，各誤りタイプ 5 万文対のデータを自動構築した。

## 3.2 実データを用いた検証

3.1 節では，未知の語彙に対する汎化性能にのみ 焦点を当てて分析を行うため, $\mathrm{CFG}$ を用いて語彙と 構文を制御しながら自動構築した人工データを用い た検証について述べた。しかし， CFGに基づいて構
表 2 未知の語彙に対する汎化性能。

築した人工データは, GEC の実際の入力として想定される実データとは質が大きく異なる．具体的に は，人工データでは語彙や構文が制限された単純な 文のみで構成されるが，実データでは，語彙および 構文は単純なものから複雑なものまで多種多様であ る（表 1)。そこで本研究では，より実践的な設定に おけるモデルの汎化性能を分析するために実データ を用いた検証も併せて行う。

まず，既存の学習者データセットに対して， ERRANT [9] を用いて誤りタイプラベルおよび訂正 パターンの自動アノテーションを行う. ここで, 本研究では学習者データセットとして, BEA Shared Taskで配布された学習データおよび開発データを 結合した約 200 万文対のデータ使用した ${ }^{1)}$. 次に,一文につき一つの訂正パターンになるように誤り タイプおよび訂正パターンを保持しながらデータ を分割する ${ }^{2)}$. 未知の語彙設定は, 保持した訂正パ ターンをもとにデータ全体でソートし，重複のある ものを学習データに, 重複のないものを評価データ に分類することで構築する。上記手順で誤りタイプ ごとにサンプリングを行いデータセットを構築し た結果, VERB:SVA は 25,889 文対, VERB:FORM は 41,592 文対, WO は 18,779 文対, MORPH は 26,345 文対, NOUN:NUM は 68,002 文対となった。

## 4 実験

## 4.1 実験設定

3 節で構築した人工データおよび実データを用 いて評価実験を行う．実験に使用した学習・開発・評価セットの詳細は付録 B を参照せよ. 評価尺度 として, ERRANT [9] によって算出された $\mathrm{F}_{0.5}$ を用 いる. GEC モデルは， 1 節で述べたように，現在 では Transformer に基づいた EncDec モデルが標準

1) https://www.cl.cam.ac.uk/research/nl/bea2019st/

2）一文中に複数の誤りや異なる誤りタイプが含まれる場合も,対象とする誤り以外は訂正をしないことに注意されたい。的になっているため，本評価実験でもこれを採用 する. 具体的には, seq2seq モデルのツールキット fairseq [11] における“Transformer（big）”を使用し た ${ }^{3)}$.

## 4.2 実験結果

表 2 に評価結果を示す。人工データを用いた検証 をみると，WO は除き，モデルは既知の語彙設定に 比べて未知の語彙設定で訂正性能が大幅に下がっ ていることが確認できる．WO が未知の語彙に対し て相対的に汎化性能が高かった要因の一つとして，訂正タスクとしての複雑さが考えられる。具体的に は，WO は単語の位置がわかれば修正できるが，他 の誤りは単語の表層形の違いや特定の単語間の依存関係をみて修正する必要があるため, 訂正タスクと して複雑さが増している。

一方で，実データを用いた検証においては，WO を含め全ての誤りが訂正に必要な文法知識を汎化で きていないことがわかる．人工データと実データの 結果の傾向が異なったことについては，5 節で分析 する。以上の結果より，人工データで使用したよう な比較的単純な語順誤りを除いて，モデルは大量の パターンから訂正に必要な文法知識をほとんど汎化 できていないことがわかった。

## 5 分析・考察

エンコーダvs. デコーダ 文法知識の汎化に失敗 したとき，誤りを検出するのに失敗したのか（エン コーダ起因の問題), 誤りを検出はしているが正し い単語の復元に失敗したのか（デコーダ起因の問題）を分析するために，未知の語彙に対する誤り訂正性能と検出性能の比較を行う. 図 2 に, 人工デー タおよび実データを用いた検証における，検出性能 と訂正性能の比較を示す.ここで，検出性能の評価 は訂正性能と同様に ERRANT を用いて行った。人工データを用いた検証結果（図 2a）では，どの誤り
$ を参照せよ.
}

(a) 人工データ

(b) 実データ

図 2 検出性能と訂正性能の比較.

表 3 実データにおけるノイズの有無による訂正性能比較 (未知の語彙設定).

タイプも誤りの検出には成功していることがわか る。一方で，実データを用いた検証結果（図 $2 b$ ）で は, 誤り検出の時点で全ての誤りタイプについて大幅に性能が低下していることがわかる.

人エデータvs. 実データ図 2 の実験結果から，現行の GEC モデルは人工データでは少なくとも誤 り検出をある程度汎化できているが，実データでは 誤り検出の時点で汎化に失敗していることがわかっ た. 実データにおいてうまく汎化できなかった要因 としては大きく，（i）語彙や構文の多様さ，（ii）文中の誤りの複雑さの 2 点が考えられる. (ii) につ いては，実データには一文中に複数かつ様々な誤り を含む場合があるため，周囲の誤りが対象の誤りを 検出・訂正する際に悪影響を与えてしまった可能性 がある. そこで, 文中の誤りの複雑さが訂正に与え る影響を調査するために，未知の語彙設定における 実データを一文中に対象の誤りのみ含まれるデータ と対象の誤り以外も含むデータに分け，それぞれに おける訂正性能を評価した。ここで，本論文では一文中に対象の誤りタイプのみ含まれるデータをノイ ズなし, 複数の誤りタイプの誤りを含むデータをノ イズありと呼ぶ. 表 3 にその結果を示す. この結果 から，WO はノイズの有無に関わらず性能が一定で あるが，他の誤りはノイズに対して少なからず影響 を受けていることがわかる。しかし，ノイズなしの 設定においても, 既知の語彙設定における訂正性能 （表 2 参照）と比較すると大幅に性能が低いことを 踏まえると, 実データで汎化できなかった要因とし ては，語彙や構文の多様さが支配的であると考えら
れる。

言語モデル vs. 翻訳モデル言語モデルと翻訳モ デルから構成される GEC モデルにおいて, 表 2 の評価実験は，翻訳モデルが各誤りタイプにおいて訂正性能の向上にどのくらい寄与しているか，に関する 一種のアブレーション実験と捉えることが可能であ る. なぜなら, 未知の語彙設定では, 正しい言語モ デル（Every dog smiles awkwardly）はモデルに明示的 に教えているが，正しい翻訳モデル（*smile/smiles） は明示的にはモデルに教えていない設定であるから である.したがって，WO は言語モデルの情報だけ でも訂正が可能なのに対して, 他の誤りは翻訳モデ ルも訂正性能の向上に重要な要素であることがわか る.この結果は言語モデルが語順には強いという報告 [12] と整合性のある結果である．以上の結果か ら， GECのような実践的なモデルの汎化性能を測る ためには言語モデル（検出）の汎化性能だけ見てい ては不十分であり，翻訳モデル（訂正）の汎化性能 の両方を見る必要性があることが示唆される.

## 6 おわりに

本研究では人工データと実データの 2 種類のデー タを用いて，未知の語彙を含む誤りに対するモデル の性能を評価することで，モデルが訂正に必要な文法知識を汎化できているかについて分析を行った。実験の結果，現行の GEC モデルは人工データのよ うな簡単な設定においては誤りの検出をある程度汎化できている一方で，訂正はほとんど汎化できて いないことが示唆された。また，多様な語彙や構文 を含む実データでは，誤りの検出も訂正も汎化でき ていないことが示唆された.今後の展望として, 実 データではなぜ検出の時点で汎化できていないの か，分析を進める。

謝辞. 本研究の一部は理研・産総研「チャレンジ研究」(FS 研究), JSPS 科研費 JP20K19868 の助成を受 けたものである.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Advances in Neural Information Processing Systems 31 (NIPS 2017), pp. 5998-6008, 2017.

[2] Roman Grundkiewicz and Marcin Junczys-Dowmunt. Near Human-Level Performance in Grammatical Error Correction with Hybrid Machine Translation. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2018), pp. 284-290, 2018.

[3] Wei Zhao, Liang Wang, Kewei Shen, Ruoyu Jia, and Jingming Liu. Improving Grammatical Error Correction via Pre-Training a Copy-Augmented Architecture with Unlabeled Data. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019), 2019.

[4] Masahiro Kaneko, Masato Mita, Shun Kiyono, Jun Suzuki, and Kentaro Inui. Encoder-decoder models can benefit from pre-trained masked language models in grammatical error correction. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), pp. 4248-4254, 2020.

[5] Roman Grundkiewicz, Marcin Junczys-Dowmunt, and Kenneth Heafield. Neural grammatical error correction systems with unsupervised pre-training on synthetic data. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications (BEA 2019), pp. 252-263, 2019.

[6] Shun Kiyono, Jun Suzuki, Masato Mita, Tomoya Mizumoto, and Kentaro Inui. An empirical study of incorporating pseudo data into grammatical error correction. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP 2019), pp. 1236-1242, 2019.

[7] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the Ability of LSTMs to Learn Syntax-Sensitive Dependencies. Transactions of the Association for Computational Linguistics (TACL), Vol. 4, pp. 521-535, 2016.

[8] Kristina Gulordava, Piotr Bojanowski, Edouard Grave, Tal Linzen, and Marco Baroni. Colorless Green Recurrent Networks Dream Hierarchically. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2018), pp. 1195-1205, 2018.

[9] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic Annotation and Evaluation of Error Types for Grammatical Error Correction. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (ACL 2017), pp. 793-805, 2017.

[10] Hitomi Yanaka, Koji Mineshima, Daisuke Bekki, and Kentaro Inui. Do Neural Models Learn Systematicity of Monotonicity Inference in Natural Language? In Proceedings of the 58th Annual Meeting of the Association for Coтputational Linguistics (ACL 2020), pp. 6105-6117, 2020.

[11] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019), 2019.

[12] Richard Futrell and Roger P. Levy. Do RNNs Learn Human-like Abstract Word Order Preferences? In Proceedings of the Society for Computation in Linguistics (SCiL 2019), pp. 50-59, 2019.

[13] Diederik Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In Proceedings of the 3rd International Conference on Learning Representations (ICLR 2015), 2015

[14] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jon Shlens, and Zbigniew Wojna. Rethinking the inception architecture for computer vision. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016), pp. 2818-2826, 2016.

## A人エデータの構築に用いた CFG 規則

表 4 人工データ構築に用いた CFG 規則 (一部). 各誤りタイプの誤りありの生成規則を-誤りタイプで示す.

$
\begin{aligned}
& \begin{array}{ll}
\mathrm{S} & \rightarrow \mathrm{NP} \mathrm{VP} \\
\mathrm{S}_{\text {-SVA }} & \rightarrow \mathrm{NP}_{s g} \mathrm{VP}_{p l} \mid \mathrm{NP}_{p l} \quad \mathrm{VP}_{s g}
\end{array} \\
& \begin{array}{lll}
\text { VP } & \rightarrow \quad \text { IV } \mid \text { IV Adv } & \text { TV NP }
\end{array} \\
& \mathrm{VP}_{\text {-FORM }} \rightarrow \mathrm{IV}_{\text {ing }}\left|\mathrm{IV}_{\text {ing }} \mathrm{ADV}\right| \mathrm{TV}_{\text {ing }} \mathrm{NP} \\
& \text { VP }_{\text {-MORPH }} \rightarrow \text { IV ADJ } \\
& \mathrm{NP} \quad \rightarrow \quad \mathrm{QN} \mid \mathrm{Q} \text { AdJ } \mathrm{N} \\
& \mathrm{NP}_{- \text {WO }} \quad \rightarrow \quad \text { ADJ Q N } \\
& \mathrm{NP}_{-\mathrm{NUM}} \rightarrow \mathrm{Q}_{s g} \mathrm{~N}_{p l}\left|\mathrm{Q}_{p l} \mathrm{~N}_{s g}\right| \mathrm{Q}_{s g} \text { ADJ } \mathrm{N}_{p l} \mid \mathrm{Q}_{p l} \text { ADJ } \mathrm{N}_{s g} \\
& \text { 語彙項目 } \\
& \mathrm{Q} \quad \rightarrow \quad\{\text { a, every, no, some, many }\} \\
& \mathrm{N} \quad \rightarrow \quad\{\text { dog, rabbit, cat, bear, tiger }\} \\
& \text { IV } \quad \rightarrow \quad\{\text { run, walk, come, dance, leave }\} \\
& \text { TV } \quad \rightarrow \quad\{\text { kicked, hit, cleaned, touched, accepted }\} \\
& \text { ADJ } \quad \rightarrow \quad\{\text { white, gray, big, small, large, old }\} \\
& \text { Adv } \quad \rightarrow \quad \text { \{quickly, slowly, gracefully, seriously, happily }\}
\end{aligned}
$

## B実験に使用したデータセットの詳細

表 5 人工データにおける分割（訓練/開発/評価）の詳細.

表 6 実データにおける分割（訓練/開発/評価）の詳細.

## C GEC モデルのハイパーパラメータ


# ことばつなぎゲーム:
ゲーミフィケーションによる小学生の作文教育

大村和正久保圭黒橋禎夫

京都大学大学院情報学研究科

omura@nlp.ist.i.kyoto-u.ac.jp kaykubo.ktu@gmail.com kuro@i.kyoto-u.ac.jp
## 1 はじめに

多くの小学生は作文に苦手意識を持っている [1]. この一因として，日本の作文教育が，読書感想文や 生活作文など，自身の情緒を自由に記述させる作文課題を主としていることが挙げられる。課題という 形では課題をこなす以上の意欲を持つことが難し く，自由記述式であるために何を書こうかと頭を悩 ませることも多い。加えて，作文に対するフィード バックが少ないために，改善点が分からないまま苦手意識だけが募るという悪循環に陥ってしまう.

このような現状を改善するためには，文を楽しく 組み立てられ，その作文に対するフィードバックを 得られるような枠組みが必要であると考えられる。 しかし，作文は，算数の計算問題などとは異なり，自動処理による評価が難しいという問題があった。

近年，大規模な言語資源が構築されるようにな り，それらは自然言語処理の発展を支えている。構築された言語資源の中には，作文問題の作問・評価 に十分利用可能なものもあり，前述の枠組みが現実味を帯びてきた。

そこで，本研究では，大規模な言語資源を利用し，小学生向けの作文ゲームを考案した。言葉を繋げ て単文・複文を作り，その結果にフィードバックを 与えることができるゲームを提案する．以下では， このゲームをことばつなぎゲームと呼ぶ.

ことばつなぎゲームは，図 1 のように，語と語を 格助詞で繋いで文を，文と文を接続助詞で繋いで蓋然的関係1)のある複文（以降，関係と呼ぶ)を作る ゲームである．プレイヤーは，与えられた言葉カー ドをマスの形に合わせて配置し，助詞マークで繋い で文および関係を作る.

作成した文および関係は自動評価が可能であり， フィードバックを得ることができる．例えば，作っ

図 1 ことばつなぎゲームのデモ.

図 2 図 1 の入力を自動評価した結果.

た文が既存の言語資源にデータとして存在しなけれ ば，図2 のように「より適切な格助詞がある」など のフィードバックを返す.プレイヤーは配置を変え て再評価することができるため，作文課題には無い インタラクティブ性を持つ.

まとめると，ことばつなぎゲームは，文を組み立 てるという作文時の作業のゲーミフィケーション である。言葉を繋ぐという作業を通して，コロケー ション・助詞の用法・基本的な文の間の蓋然的関係 など，作文に必要な知識を養うことができ，これに よって，語彙力・思考力の育成に資することを目的 としている.

1）ある事柄がある程度起こりうる/真であるという関係.

## 2 言葉カードセットの構築

## 2.1 問題の仕様

各問題では, 12 枚の言葉カードと無制限に使用で きる 9 個の助詞マークが与えられる. これらをもと に文および関係を作る。

言葉カードの内訳は, 名詞カードが 6 枚，動詞 カード形容詞カードが 5 枚，自由に単語を入力で きるワイルドカードが 1 枚となっている. 名詞・形容詞・動詞をそれぞれ緑色・黄色・橙色で表現する ため, 品詞という概念が難しくとも色を手掛かりに 区別できる．単語の表記は単語難易度データベース [2] の頻出表記を利用し, 読めない漢字がないよう にルビが振られる。また，作文の自由度を上げるた め, 述語の活用は現在形 ・ 過去形・否定形 - 過去否定形のいずれかに変更できる.

助詞マークは，主要な格助詞 $($ が・を・に・で・と) が書かれたマーク 5 個と，蓋然的関係を表す接続助詞 (から・と・ので・ら) が書かれたマーク 4 個から 成る. 言葉カードと同様に, 色によって助詞の役割 を区別できる．マスに当てはめると形が三角形に変 わり，三角の向きが係り受けの方向を表す.なお，格助詞「と」は並列助詞として使うこともできる。

## 2.2 蓋然的基本イベントペアの利用

文を組み立てる面白さを損なわないためにも，言葉カードセットから複数の関係文を作れることが望 ましい. このために，本研究では，蓋然的基本イベ ントペア [3] に含まれる基本イベントの組（以降，基本イベントペアと呼ぶ)を利用する。まず，これら の用語の説明を次に示す.

基本イベント テキストから抽出した述語項構造 をクラスタリングし，その中の高頻度なものを核と する表現. 具体的には，格フレーム [4] から高頻度 の述語項構造を基本イベントとして獲得する.

蓋然的基本イベントペア 蓋然的関係を持ち，前件と後件が共に基本イベントを含むイベントペア.例えば，「やっぱりお腹が空く $\rightarrow$ 駅でたぬきそばを 食べる」が該当する。この例に含まれる基本イベン トペアは，「お腹が空く $\rightarrow$ そばを食べる」である。

言葉カードセットは基本イベントペアから自動生成する。例えば，次のような基本イベントペアを考 える。

表 1 項の修飾語への依存度と修飾語の基本句数に応じた 修飾語の扱いを整理した表。

a. 保存状態が悪い $\rightarrow$ カビが生える

b. 保存状態が悪い $\rightarrow$ 味が落ちる

c. 湿度が高い $\rightarrow$ カビが生える

d. 布団を敷く $\rightarrow$ カビが生える

e. カビが生える $\rightarrow$ ケースに入れる

これらの基本イベントペアを項と述語に分解する と, 図 1 の言葉カードセットが得られる. このよう に，5つの基本イベントペアをもとにするため，複数の関係文を作ることができる。

## 2.3 修飾語が重要な項への対処

蓋然的基本イベントペアは，2.2 節の例のように，基本イベントの他に修飾語や任意格を含みうる。 そ のままでは応用が難しいため，核にあたる基本イべ ントペアを利用している. しかし, 修飾語が重要で あるために基本イベントペアには蓋然的関係が認め られない場合がある．例えば，次のようなものが挙 げられる (下線は修飾語を表す).

(2)

$
\begin{array}{ll}
\text { a. } & \text { 線路状態が悪い } \rightarrow \text { 左右に摇れる } \\
\text { b. } & \text { 土曜日は満員の場合が多い } \\
\text { } \rightarrow \text { お早目のご予約が必要だ }
\end{array}
$

このようなぺアは修飾語を省略すると解釈が困難で ある．そのため，言葉カードセットの生成元に利用 する場合は修飾語を補う必要がある。

この問題に対処するために，項の修飾語への依存度を定量化し, この依存度と修飾語の基本句 ${ }^{2}$ 数に 応じて修飾語を自動処理する (表 1). 項の修飾語へ の依存度は，1)コーパス中で修飾語を伴う割合と， 2) 抽象度の 2 つの軸で定量化する。

修飾語を伴う割合は，蓋然的基本イベントペア 約 10 万組から算出する. 抽象度については日本語抽象度辞書 3 )を利用する. 日本語抽象度辞書は, Twitter での利用頻度上位 2 万単語 [5] の内，品詞が 名詞・形容詞・動詞であるものを対象に，クラウド

2） 1 個の内容語および 0 個以上の付属語と定義される単位.

3) http://sociocom.jp/ data/2019-AWD-J/

図 3 カードセットの生成手法の概要図.

ソーシングで 1 から 5 までの抽象度を付与したもの である.

本研究では，次の条件を満たす時，その項は修飾語への依存度が高いとする。

[ 修飾語を伴う割合 ] $\times 5+$ [ 抽象度 ] >= 5.75 これをもとに，修飾語の付与および基本イベントペ アの除外を行なう。

## 2.4 言葉カードセットの生成手法

カードセットの生成手順は，次の 3 ステップから 成る (図 3).

1. 単語難易度による閾値条件を設定し，条件を満 たす基本イベントペアに対象を絞る。

2. ベースとなる基本イベントペアを 1 つ選び，こ れをもとにその他の基本イベントペアを 4 つ選択する.

3. 獲得された 5 つの基本イベントペアを項と述語 に分解することで，カードセットを生成する。

以下では，各ステップについて説明する。

## 2.4.1 単語難易度による基本イベントペアの選択

対象が小学生であることを考慮し，単語難易度に よる語彙の調整を行う。このために，単語難易度 データベース [2]を利用する。

単語難易度データベースは, 形態素解析器 Juman++[6] の辞書に登録されている約 26,000 語を 対象に，クラウドソーシングで習得時期を付与した ものである. 習得時期は 1 から 5 までの数値で表さ れ，これを単語難易度として利用する. 習得時期と 数値の対応関係は, $(1,2,3,4,5)=($ 小学生以前, 小学校低学年, 小学校高学年, 中学生以降, 単語を見聞き したことがない) となっている。

本研究では，次の 3 つの閾値条件を設ける。

やさしい 基本イベントペアに含まれる各単語の 単語難易度が全て 2.0 を超えない.

ふつう 基本イベントペアに含まれる単語の平均

表 2 カードセットの生成結果.

単語難易度が 1.5 以上かつ各単語の単語難易度が全 て 2.5 を超えない。

むずかしい 基本イベントペアに含まれる単語の 平均単語難易度が 2.0 以上である.

上限は厳密に超えないように定めるが，下限は平均単語難易度を用いることで多少のぶれを許容する。

## 2.4 .2 基本イベントペアの選択

単語難易度による閾値条件を満たす基本イベント ペア集合から，カードセットの生成元となる 5 つの 基本イベントペアを選択する．具体的には，ベース となる基本イベントペア (以降，シードと呼ぶ)を 1 つ決め，シードの前件または後件を共有する基本イ ベントペアを無作為に 4 つ選択する. シードを含め 計 5 つの基本イベントペアを獲得できなかった場合，カードセットを生成しない.

## 2.4.3 カードセットの生成

前段階で選択した 5 つの基本イベントペアを，項 と述語に分解する。重複を除いた結果，項が 6 個か つ述語が 5 個または 6 個得られた場合，それをカー ドセットとする。述語が 6 個得られた場合は，シー ドに含まれない述語を無作為に 1 つワイルドカード に置き換える。

## 2.5 生成結果

2.4 節の手法をもとに，難易度ごとに言葉カード セットを生成した結果を表 2 に示す. 個人が遊ぶ分 には十分な規模のカードセットを生成できている。

また，修飾語を付加することで改善された例を図 4 に示す. 修飾語によって他の単語と結びつきやす くなると同時に，解釈が難しい基本イベントペアを 除いているため，文が作りやすくなっている.

図 4 修飾語を考慮することで改善される例. 赤枠の 部分が，付加された修飾語である.

## 3 入力の自動評価

プレイヤーが盤面のデータを送信すると，その入力が自動評価される.この自動評価は，1) 文および 関係の認識，2) 文および関係の自動評価，3) 評価結果のフィードバックという手順で行われる.

## 3.1 文および関係の認識

格助詞で繋がれる経路の内，項のカードから始ま り述語のカードで終わるものを文とみなす。また，認識された文に対し，接続助詞で繋がれる 2 文を関係とみなす。接続助詞について，接続元は述語の カードでなければならないが，接続先は項と述語の どちらでも良いとする．図1のように，接続元/接続先の文が複数存在する場合は，全ての文の組み合わ せを考慮する。

## 3.2 文および関係の自動評価

文の評価方針として，項と述語の共起頻度が高く (=慣用的であり)，より系列長が長い文を高く評価す る. 文の評価は，格フレーム4) の用例数をもとに決定する。具体的には，用例がある格フレーム $c f$ に 対し, 項と格の組 $(a, c)$ ごとに次のようなスコア関数 $S$ でスコアを計算する.

$
\begin{gathered}
S(a, c, c f)=0.5+0.5 \times \min \left(1, \frac{f_{a, c, c f}}{f_{c f}} \times 5\right) \\
f_{a, c, c f}: \text { 格 } c \text { における項 } a \text { の頻度 } \\
f_{c f}: \text { 格フレーム } c f \text { の頻度 }
\end{gathered}
$

例えば，「简が顔を出す」という文のスコアは次 のように計算される。

$S\left(\right.$ 简, が, 出す 6 ) $+S\left(\right.$ 顔, を,出す 6 ) $\left.=0.5+1=1.5^{5}\right)$ なお，複数の格フレームに用例がある場合，スコア が最大となるものを選ぶ。
_{i}\right.\lrcorner$ は，述語「出す」の $i$ 番目の格フレームを表す.
}

スコアをそのまま文の評価とすると解釈が難しい ため，文の評価 $e$ はスコア $s$ をもとに次のように決定する。

$
e= \begin{cases}\rightsquigarrow \succsim & (s>=1) \\ \nwarrow & (0<s<1) \\ ? & (s=0)\end{cases}
$

関係の評価は，基本イベントペアデータのいずれ かを包含すれば“记放”，そうでなければ“?”と する．包含関係を調べる際は，述語の否定の極性ま で一致することを確認する。

## 3.3 評価結果のフィードバック

評価が“?”であるものは，その理由に応じて次 のような説明文を返す。

・文が不完全である (項または述語が欠けている，述語から項に係っているなど)

・より適切な格助詞がある

・未知の文/関係である

3 点目については，誤り報告機能を付けることで未知の関係文の収集が可能になると考えられる。

## 4 関連研究

日本語の作文に関する実応用に向けた取り組み は，文法誤り訂正 [7] や記述式答案の自動採点 [8] な ど多岐に渡る。これらの研究は，作文の評価時にお ける負荷を軽減することを目的としており，この点 で本研究の目的とは異なる.

$
\text { ゲーミフィケーション・GWAP については，これ }
$
に関するワークショップが LREC2020 で開かれるな ど，様々な目的で取り組まれている．例えば，常識獲得 $[9,10]$ や語義曖昧性の解消 [11] などがある. こ とばつなぎゲームは，アノテーションデータの収集 より，能力の育成に焦点を当てている。

## 5 おわりに

本研究では，大規模な言語資源を利用した作文の ゲーミフィケーションに取り組んだ。小学生の作文教育に向けたゲームを考案し，そのためのデータお よびデモシステムを構築した. デモシステムをもと にアプリを作る予定であり，今後，実用性を検証し ていきたいと考えている。また，このゲームを通し た未知の関係文の収集も検討する。

謝辞 本研究は， (公財) 日本漢字能力検定協会の 支援を受けています.

## 参考文献

[1] 立命館大学図書館. レファレンス事例詳細, 2017. https://crd.ndl.go.jp/reference/ modules/d3ndlcrdentry/index.php?page=ref_view\& $i d=1000209543$.

[2] 水谷勇介, 河原大輔, 黒橋禎夫. クラウドソーシング を用いた習得時期の想起質問に基づく単語難易度 データベースの構築. 言語処理学会 第 25 回年次大会, 2019.

[3] Kazumasa Omura, Daisuke Kawahara, and Sadao Kurohashi. A Method for Building a Commonsense Inference Dataset based on Basic Events. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2020.

[4] Daisuke Kawahara, Daniel Peterson, Octavian Popescu, and Martha Palmer. Inducing Example-based Semantic Frames from a Massive Amount of Verb Uses. In Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics, 2014.

[5] 村山太一, 若宮翔子, 荒牧英治. WORD GINI: 語の使用の偏りを捉える指標の提案とその応用. 言語処理学会 第 24 回年次大会, 2018.

[6] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Design and Structure of The Juman++ Morphological Analyzer. Journal of Natural Language Processing, Vol. 27, No. 1, pp. 89-132, 2019.

[7] 小川耀一朗, 山本和英. 日本語文法誤り訂正における 誤り傾向を考慮した擬似誤り生成. 言語処理学会 第 26 回年次大会, 2020.

[8] Tomoya Mizumoto, Hiroki Ouchi, Yoriko Isobe, Paul Reisert, Ryo Nagata, Satoshi Sekine, and Kentaro Inui. Analytic Score Prediction and Justification Identification in Automated Short Answer Scoring. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, 2019.

[9] Yen-ling Kuo, Jong-Chuan Lee, Kai-yang Chiang, Rex Wang, Edward Shen, Cheng-wei Chan, and Jane Yungjen Hsu. Community-Based Game Design: Experiments on Social Games for Commonsense Data Collection. In Proceedings of the ACM SIGKDD Workshop on Human Computation, 2009.

[10] Naoki Otani, Daisuke Kawahara, Sadao Kurohashi, Nobuhiro Kaji, and Manabu Sassano. Large-Scale Acquisition of Commonsense Knowledge via a Quiz Game on a Dialogue System. In Proceedings of the Open Knowledge Base and Question Answering Workshop (OKBQA 2016), 2016.

[11] Noortje J. Venhuizen, Valerio Basile, Kilian Evang, and Johan Bos. Gamification for Word Sense Labeling. In Proceedings of the 10th International Conference on Computational Semantics (IWCS 2013) - Short Papers, 2013.


# アノテータのバイアスを考慮した記述・論述式自動採点手法

岡野将士
電気通信大学大学院
okano@ai. lab.uec.ac.jp
}

宇都雅輝
電気通信大学大学院
uto@ai.lab.uec.ac.jp

## 1 はじめに

近年，新しい時代に必要となる能力を評価する手法として記述・論述式試験が注目されている.しか し，大規模試験に記述・論述式試験を導入する場合，時間的・金銭的コストの高さや採点の公平性の 担保の難しさといった課題が存在する. 自動採点手法はこれらの解決策の一つとして注目されている.

自動採点を実現する方法として，事前に定義され た特徴量を用いる手法 $[1,2,3,4]$ や深層学習モデル を用いた手法 $[5,6,7,8,9]$ が存在する. これらの手法の多くは, 教師あり機械学習を用いてモデル学習 を行う。しかしながら，教師あり機械学習では，モ デル学習に利用するデータセットの質がモデルの構築精度に影響を与えるという欠点が知られている。教師あり機械学習を用いた自動採点モデルでは，モ デル学習に利用する採点済み答案データセット中の 得点はバイアスのない正確な得点であると仮定す る.しかし，大規模試験では多数のアノテータが分担して採点を行うことが一般的であり，そのような 場合，個々の答案に対する得点がアノテータの特性 （甘さ/厳しさなど）に強く依存してしまう [10]. こ のようなアノテータの特性の影響を受けたデータ を利用した場合，学習されるモデルもその影響を受 け, 予測性能が低下することが報告されている [11].

他方で，教育・心理測定の分野において，アノ テータの特性の影響を考慮して真の得点を推定でき る手法が多数提案されている. 具体的には, 数理モ デルを用いたテスト理論の一つである項目反応モデ ルに，アノテータの特性を表すパラメータを加えた モデルとして提案されている $[10,12,13,14,15,16]$

そこで本研究では，アノテータの特性を考慮した 項目反応モデルを教師あり機械学習を用いた自動採点モデルに組み込んだ，アノテータのバイアスに頑健な新たな自動採点手法を提案する。具体的には， アノテータが与える得点データから項目反応モデ ルを用いて各答案の真の得点を推定し，これを目的変数として自動採点モデルを学習する.この手法は 様々な自動採点モデルで利用できるが，本研究では 特徵量ベース自動採点モデルとして EASE[4], 深層学習自動採点モデルとして, LSTM に基づくモデル [7] と BERTを用いたモデル [9]への組み込みを行 う. 提案手法を利用することで，アノテータのバイ アスに頑健なモデル学習と得点予測が期待できる.

## 2 データ

本研究では，ある記述・論述式問題に対する $J$ 人 の受験者 $\mathscr{F}=\{1, \ldots, J\}$ の答案集合 $\boldsymbol{A}$ と，各答案を $R$ 人のアノテータ $\mathscr{R}=\{1, \ldots, R\}$ で分担して採点し た得点集合 $\boldsymbol{U}$ で構成されるデータを想定する.

答案集合 $\boldsymbol{A}$ は，受験者 $j \in \mathcal{F}$ の答案 $e_{j}$ の集合で あり, 得点集合 $\boldsymbol{U}$ は答案 $e_{j}$ に対してアノテータ $r \in \mathscr{R}$ が $K$ 段階 $\mathscr{K}=\{1, \ldots, K\}$ で与えた得点 $U_{j r}$ の 集合として，U=\{U$\left.U_{j r} \in \mathscr{K} \cup\{-1\} \mid j \in \mathcal{F}, r \in \mathscr{R}\right.\}$ と定義される. ここで, $U_{j r}=-1$ は久測データを表す.欠測データは答案 $e_{j}$ にアノテータ $r$ が割り当てら れていない場合に生じる. 実際の採点場面ではアノ テータの負担軽減のために，個々の答案に数名のア ノテータを割り当てて採点が行われるため，このよ うな久測が生じる。

## 3 自動採点モデル

## 3.1 特徴量ベース自動採点モデル

事前に定義した特徴量を用いた自動採点手法は自動採点を実現する手法として古くから研究されて おり，実際の試験現場でも用いられている $[1,2,3]$. それらの中でも特に, EASE (Enhanced AI Scoring Engine）[4] は自動採点のコンペティションで3位に 入賞したモデルであり, 数多くの研究で比較対象と して用いられている.このモデルでは, 使用語彙や 品詞情報, 単語数などに基づく特徴量を用いて得点 の推定を行っている. 具体的には，これらの特徴量 を答案から抽出し，それらを回帰モデルに入力する

ことで自動採点を実現している. また，回帰モデル としてべイジアンリッジ回帰（BLRR）とサポート ベクター回帰（SVR）が使用されることが多い [3].

## 3.2 深層学習自動採点モデル

深層学習自動採点モデルは対象答案の単語系列 を深層学習モデルに入力することで，人手で設計し た特徴量を利用することなく，採点を行う手法であ り, 近年多くの手法が提案されている $[5,6,7,8,9]$. LSTM に基づくモデル [7] はそれら最先端研究の ベースライン手法として知られている. このモデル では，答案の単語系列を入力し，5つの層（Lookup Table Layer $\cdot$ Convolution Layer $\cdot$ Recurrent Layer $\cdot$ Pooling Layer ・ Linear Layer with Sigmoid Activation）を通して 得点を予測する. LSTM は 3 層目の Recurrent Layer で用いられ，得点予測に有効な特徴量を文脈を考慮して抽出する。また， 5 層目の Linear Layer with Sigmoid Activation では Pooling 層の出力ベクトル $\boldsymbol{M}_{j}$ から得点を表すスカラー值を求める. 具体的には， シグモイド関数 $\sigma$ を用いて, $\hat{U}_{j}=\sigma\left(\boldsymbol{W}_{\boldsymbol{j}}+b\right)$ で計算する. ここで， $\boldsymbol{W}$ と $b$ は重みとバイアスを表すパ ラメータである.この際， $\hat{U}_{j}$ は $(0,1)$ の值を取るた め，一次変換を行い，実際の得点尺度に合わせる。

また，様々なタスクで最高精度を達成している BERT[17] を用いたモデル [9]も提案されている. このモデルでは, 答案の単語系列を入力し, 多層 の双方向 Transformer（BERT）を通すことで，中間表現 $\boldsymbol{M}_{j}$ を生成する.この中間表現 $\boldsymbol{M}_{j}$ を LSTM に基づくモデルと同様の Linear Layer with Sigmoid Activation に通すことで得点を計算する。

## 3.3 従来手法の問題点

上述した自動採点モデルの多くは，教師あり機械学習を用いてモデル学習を行う。この際，採点済み の答案データセットを教師データとして活用する。具体的には，次式で定義される平均二乗誤差 (mean squared error：MSE）を損失関数として, 誤差逆伝搬法で学習することが一般的である.

$
\operatorname{MSE}(\boldsymbol{U}, \hat{\boldsymbol{U}})=\frac{1}{J} \sum_{j=1}^{J}\left(U_{j}-\hat{U}_{j}\right)
$

ここで, $U_{j}$ は $e_{j}$ の得点を, $\hat{U}_{j}$ は $e_{j}$ の予測得点を表 す.しかし, 学習データ中の得点データはアノテー タの特性に強く依存する.この場合, 自動採点モデ ルにも，アノテータの特性の影響が反映され，予測精度が低下してしまうことが指摘されている. 本研究では，この問題を解決するために，項目反応理論 を用いる。

## 4 項目反応モデル

項目反応理論 (Item Response Theory：IRT) は，コ ンピュータ・テスティングの普及とともに近年様々 な分野で実用化が進められている数理モデルを用い たテスト理論の一つである. 本研究では, 最先端研究である宇都・植野のモデル $[13,18]$ を利用する.

宇都・植野のモデル $[13,18]$ では，受験者 $j \in \mathscr{g}$ ある答案に対し, アノテータ $r \in \mathscr{R}$ が得点 $k \in \mathscr{K}$ を 与える確率は次式で定義される。

$
P_{j r k}=\frac{\exp \sum_{m=1}^{k}\left[\alpha_{r}\left(\theta_{j}-\beta_{r}-d_{r m}\right)\right]}{\sum_{l=1}^{K} \exp \sum_{m=1}^{l}\left[\alpha_{r}\left(\theta_{j}-\beta_{r}-d_{r m}\right)\right]}
$

ここで， $\alpha_{r}, \beta_{r}, d_{r k}$ はそれぞれアノテータ $r$ の一貫性，厳しさ，得点 $k$ に対するアノテータ $r$ の厳し さを表し（ただし，パラメータの識別性のために， $d_{r 1}=0, \sum_{k=2}^{K} d_{r k}=0$ を仮定 $), \theta_{j}$ は受験者 $j$ の真の能力を表す潜在変数である.この $\theta_{j}$ は採点対象とな る答案の数が受験者ごとに一つであることから，そ の受験者の答案 $e_{j}$ の真の得点（以降では IRT 得点 と呼ぶ）を表す潜在変数とみなせる. 本研究のアイ ディアは，このモデルによって推定される IRT 得点 $\theta_{j}$ を用いて自動採点モデルを学習することにある.

## 5 提案手法

本研究では，アノテータの特性を考慮した項目反応モデルを自動採点モデルに組み込むことで，学習 データに含まれるアノテータのバイアスに頑健な 自動採点手法を提案する。提案手法は，IRTによる 得点補正と, 自動採点モデルの学習の二段階で構成 される. モデルの学習段階と得点の予測段階につい て，手順を説明する。

## 1. モデル学習

1) 得点データ $\boldsymbol{U}$ から，IRT モデルを用いて $\theta_{j}$ を推定する。この $\theta_{j}$ を，答案 $e_{j}$ に対する得点 とする。2) 得点 $\theta_{j}$ を予測するように，自動採点モデルを学習する. 具体的には自動採点モデ ルの損失関数を次の MSE で定義し, 誤差逆伝播法によりパラメータを学習する。

$
\operatorname{MSE}(\boldsymbol{\theta}, \hat{\boldsymbol{\theta}})=\frac{1}{J} \sum_{j=1}^{J}\left(\theta_{j}-\hat{\theta}_{j}\right)^{2}
$

ここで $\hat{\theta}_{j}$ は，自動採点モデルの予測値を表す.
表 1 検証モデルの設定

## 2. 得点予測

得点予測は，前節で学習されたモデルを用いて $\theta_{j}$ を予測することで行う．ただし，IRTでは一般に $\theta_{j}$ の分布として標準正規分布を仮定する ため, $\theta_{j}$ は $[-\infty, \infty]$ の範囲の値をとり, 元の得点とは尺度が変わってしまう. 元の得点尺度に 合わせるために，本実験では次のように IRT モ デルに基づく期待得点 $\hat{U}_{j}$ を求める.

$
\hat{U}_{j}=\frac{1}{R} \sum_{r=1}^{R} \sum_{k=1}^{K} k \cdot P_{j r k}
$

なお，提案手法の本来の利用方法でないが，提案手法では個々のアノテータが与える得点も 予測することができる．具体的には，アノテー タ $r$ が $e_{j^{\prime}}$ に与える得点は次式で予測できる.

$
\hat{U}_{j^{\prime} r}=\sum_{k=1}^{K} k \cdot P_{j^{\prime} r k}
$

## 6 実データによる評価実験

## 6.1 実データ

本実験では，実データとして自動採点モデルの ベンチマークデータとして広く利用されている Automated Student Assessment Prize（ASAP）を使用す る. ASAP は 2012 年にヒューレット財団がスポン サーとなって開催されたコンペティションのデー タであり，8つの異なるトピックに対する答案デー タと得点データで構成されている. ただし，ASAP のデータにはアノテータの情報が含まれていない ため，提案手法を直接は適用できない。そのため，新たにアノテータを雇用して ASAP の答案データ を再度採点し, 本実験で用いる得点データを収集し た. 具体的には, 先行研究で予測精度が最も高かっ たトピック 5 の 1805 個の答案に対して, Amazon Mechanical Turk で募集した英語ネイティブ 38 名の アノテータを 1 つの答案あたり 3～5 名割り当てて，
ASAP と同様に 5 段階の採点を行った. ASAP の得点データとの相関は，平均で 0.675 であった.

## 6.2 得点予測の頑健性の評価

本節では，提案手法を利用することで，アノテー タのバイアスに頑健な自動採点モデルを学習できる かを評価する．本実験では，個々の答案を採点する アノテータを変化させても，安定した性能の自動採点モデルを学習できるかによってこれを評価する.

具体的には，項目反応モデルの研究における実験手順 $[19,20]$ を参考に，以下の手順で評価実験を 行った. 1) 得点データから IRT モデルのアノテータ に関するパラメータを推定した. 2) 各答案に与えら れた複数のアノテータの得点からランダムに 1 つ の得点を選択することで，各答案に単一の得点が与 えられたデータセットを作成した. 同様の手続きで 10 パターンの異なるデータセットを作成した. こ れらのデータセットを $\left.\{\boldsymbol{U}_{1}^{\prime}, \ldots, \boldsymbol{U}_{10}^{\prime}\right.\}$ とする.3) $n$ 番目の得点データセット $U_{n}^{\prime}$ から各答案に対する IRT 得点を推定した. 推定時には，手順 1 で推定したア ノテータに関するパラメータを所与とした. 4) 得ら れた IRT 得点と答案文のデータセットを用いて，5 分割交差検証法で各答案の予測得点を求めた. 5) 手順 4 を $n=\{1, \ldots, 10\}$ について行ったあと， $n$ 番目 のデータセットから求めた予測得点と $n^{\prime}$ 番目の得点データセットから推定した予測得点とのカッパ 係数，重み付きカッパ係数（Linear Weighted Kappa： LWK)，2 次重み付きカッパ係数 (Quadratic Weighted Kappa：QWK), 平均絶対誤差 (Mean Absolute Error： MAE), 平均平方二乗誤差（Root Mean Square Error : RMSE），相関係数を $n \in\{1, \ldots, 10\} ， n^{\prime} \in\{1, \ldots, 10\}$ の全ての組み合わせについて求め，それらの平均を 算出した.

比較のために，IRT を利用しない既存の自動採点手法についても同様の実験を行った。具体的には，手順 2 で作成したデータセット $\left.\{\boldsymbol{U}_{1}^{\prime}, \ldots, U_{10}^{\prime}\right.\}$ を用い て, 手順 4, 5 と同様に 5 分割交差検証法で得点を予測し, 予測された得点同士の一致性指標を求めた.

また，提案手法・従来手法ともに，深層学習自動採点モデルとしてはLSTM と BERT を用いたモデ ル，特徴量ベース手法としては EASE について上記 の実験を行った.なお，LSTM 自動採点モデルにつ いては，各層の有無や構成について複数の方式が提案されている。 そのため，表 1 に記載した複数の構成のモデルについて検証を行った。また，EASEに
表 2 予測の頑健性の評価結果

}} & \multirow{2}{*}{\multicolumn{3}{|c|}{ LWK }} & \multirow{2}{*}{\multicolumn{2}{|c|}{}} & \multirow{2}{*}{\multicolumn{3}{|c|}{ 值 $\frac{M}{M}$}} & $\mathrm{AE}$ & \multicolumn{3}{|c|}{ RMSE } & \multicolumn{3}{|c|}{ 相関係娄 } \\

表 3 予測得点の評価結果

 & ツハ & & &  & 直 & &  & & 提案 &  & & 提案 &  & & & 既 & \\

*は $\mathrm{p}$ 值が 0.05 未満，** は $\mathrm{p}$ 値が 0.01 未満を表す.

ついても用いる回帰モデルは複数考えられるが，先行研究で精度が高い BLRR のモデルを用いる. さら に，提案手法と既存手法で性能に有意な差があるか を確認するために，各指標の平均値について，提案手法と既存手法で $\mathrm{t}$ 検定を行った.

実験結果を表 2 に示す. 表中では提案手法と既存手法で性能が高い方を太字で示している。表 2 か ら，ほぼ全ての条件において，提案手法が有意に高 い性能を示していることが確認できる。このことか ら，IRT 得点を目的変数として自動採点モデルを学習する提案手法により，アノテータのバイアスに頑健な自動採点を実現できたことがわかる.

## 6.3 提案手法の得点予測精度評価

本節では，各アノテータの得点 $U_{j r}$ の予測精度を 評価するために， $U_{j r}$ の予測得点と実際の得点との 一致度を, 前節と同様の一致性指標を用いて 5 分割交差検証法で評価した. 具体的な実験手順は次の通 りである。提案モデルでは，手順 $1 ， 2 ， 3$ は前節と 同様に行い，手順 4 において式 (4) で期待得点を求 める代わりに各アノテータの得点の予測値を式 (5) で求め, 予測された得点と実際の得点との一致性指標を求めた. 既存モデルでは，前節の手順 2 で作成 したデータセット $\left.\{\boldsymbol{U}_{1}^{\prime}, \ldots, \boldsymbol{U}_{10}^{\prime}\right.\}$ を用いて 5 分割交差検証法で得点予測を行い，予測された得点と実際の 得点との一致性指標を求めた.

結果を表 3 に示す. 表 3 では，提案手法と既存手法で性能が高い方を太字で示している. 提案手法と 既存手法の性能を比較すると，ほぼ全ての場合で 提案手法が高い性能を示している。これは，IRTに よって補正された得点は文章の質を素点そのものよ りも正確に反映しているため，提案手法では文章と 得点の関係がより適切に学習できたことが要因と考 えられる.このことから，提案手法は予測得点の頑健性向上に加え，アノテータが与えた得点の予測に も有効であることが確認できた。

## 7 まとめ

近年，自動採点技術に注目が集まっているが，教師あり機械学習を用いたモデルでは学習データセッ トによるモデルの不安定さが指摘されてきた。本研究では, IRTを用いて各答案の真の得点を推定し， それを自動採点モデルに学習させることで，この問題を解決する手法を提案し，実データ実験から有効性を示した．今後は，このモデルを end-to-end にす ることで，IRT 得点の推定にテキストの情報も活用 し，さらなる性能改善を目指したい。

## 参考文献

[1] Yigal Attali and Jill Burstein. Automated essay scoring with e-rater ${ }^{\circledR}$ v.2. Journal of Technology, Learning and Assessment, Vol. 4, No. 3, pp. 1-30, February 2006.

[2] Hongbo Chen and Ben He. Automated essay scoring by maximizing human-machine agreement. In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 1741-1752. Association for Computational Linguistics, October 2013.

[3] Peter Phandi, Kian Ming A. Chai, and Hwee Tou Ng. Flexible domain adaptation for automated essay scoring using correlated linear regression. In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 431-439. Association for Computational Linguistics, 2015.

[4] Tauber James, Paruchuri Vik, Huang Diana, Jarvis John, Aune Nate, and Kern John. Enhanced ai scoring engine, （2021-1 閲覧）. https://github.com/edx/ease.

[5] Dimitrios Alikaniotis, Helen Yannakoudakis, and Marek Rei. Automatic text scoring using neural networks. In Proceedings of the Annual Meeting of the Association for Computational Linguistics, Vol. 1, pp. 715-725. Association for Computational Linguistics, August 2016.

[6] Jiawei Liu, Yang Xu, and Lingzhe Zhao. Automated essay scoring based on two-stage learning. CoRR,arXiv, December 2019.

[7] Kaveh Taghipour and Hwee Tou Ng. A neural approach to automated essay scoring. In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 1882-1891. Association for Computational Linguistics, November 2016.

[8] Fei Dong and Yue Zhang. Automatic features for essay scoring - an empirical study. In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 1072-1077. Association for Computational Linguistics, November 2016.

[9] Pedro Uria Rodriguez, Amir Jafari, and Christopher M. Ormerod. Language models and automated essay scoring. arXiv, September 2019.

[10] 宇都雅輝, 植野真臣. パフォーマンス評価のための 項目反応モデルの比較と展望. 日本テスト学会誌, Vol. 12, No. 1, pp. 56-75, May 2016.

[11] Evelin Amorim, Marcia Cançado, and Adriano Veloso. Automated essay scoring in the presence of biased ratings. In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics, Vol. 1, pp. 229-237. Association for Computational Linguistics, June 2018.

[12] Masaki Uto and Maomi Ueno. Empirical comparison of item response theory models with rater's parameters. $\mathrm{He}$ liyon, Elsevier, Vol. 4, No. 5, pp. 1-32, May 2018.

[13] Masaki Uto and Maomi Ueno. A generalized many-facet Rasch model and its Bayesian estimation using Hamiltonian Monte Carlo. Behaviormetrika, Springer, Vol. 47, No. 2, pp. 469-496, 2020.

[14] Richard J. Patz, Brian W. Junker, Matthew S. Johnson, and Louis T. Mariano. The hierarchical rater model for rated test items and its application to large-scale educational assessment data. Journal of Educational and Behavioral Statistics, Vol. 27, No. 4, pp. 341-384, January 2002.

[15] Richard J. Patz and Brian W. Junker. Applications and extensions of MCMC in IRT: Multiple item types, missing data, and rated responses. Journal of Educational and Behavioral Statistics, Vol. 24, No. 4, pp.342-366, December 1999.

[16] J.M. Linacre. Many-faceted Rasch Measurement. MESA Press, January 1989.

[17] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics, pp. 4171-4186. Association for Computational Linguistics, 2019.

[18] 宇都雅輝, 植野真臣. ピアアセスメントにおける異質評価者に頑健な項目反応理論. 電子情報通信学会論文誌. D, 情報・システム, Vol. 101, No. 1, pp. 211-224, January 2018.

[19] 宇都雅輝. 論述式試験における評点データと文章情報を活用した項目反応トピックモデル. 電子情報通信学会論文誌 D, Vol. 102, No. 8, pp. 553-566, August 2019.

[20] Masaki Uto. Rater-effect IRT model integrating supervised LDA for accurate measurement of essay writing ability. In Proceedings of the Conference on Artificial Intelligence in Education, pp. 494-506. Springer, June 2019.


# L1-aware Grammatical Error Correction via Multitasking with Native Language Estimation

Yuehao Yuan
The University of Tokyo
yuanyuehao@tkl.iis.u-tokyo.ac.jp
}

Naoki Yoshinaga
Institute of Industrial Science,
The University of Tokyo
ynaga@iis.u-tokyo.ac.jp
}

Figure 1 Our L1-aware GEC model with multitasking with L1 estimation.

Lang-8 dataset [5]. Experimental results confirmed that our method can perform accurate L1-aware GEC without assuming L1 information in evaluation.
## 2 Related work

Inspired by the observation that the L1s of secondlanguage learners of English strongly influence the expression and language usage of English [1], researchers set up various NLP tasks such as native language identification [6] and linguistic typology prediction [7], and also exploited the observation in solving our target task, grammatical error correction (GEC) [2, 4].

Since the distributions of grammatical errors depend on the learners' L1s [8], L1-aware GEC has been studied as a domain adaptation problem. Shamil purposed neural network joint models, and used L1-specific data for finetuning [2]. Maria and Joel considered L1 and proficiency at the same time and demonstrate the effective personalized GEC [4]. Although these approaches successfully improved the GEC performance, they are not applicable to text written by unknown-L1 writers.

We have two public datasets for training L1-aware GEC models. Lang-8 [5] dataset is extracted from a social networking site that aims to help users learn each other's L1.
1) Precisely speaking, in this study, we also utilize subgroups of common language families, although we consistently use the term language family.

Table 1 The number of sentences written by specific-L1 learners of English in two GEC datasets (after preprocessing).

CLC-FCE [9] compiles exam scripts in English written by students from various countries. These datasets, however, have some shortcomings for L1-aware GEC; the lack and imbalance of L1-specific data, as shown in Table 1. Although the fine-tuning used in neural L1-aware GEC models alleviates the data sparseness problem to a certain extent, it will not be effective when few or no annotated data is available as for Dutch.

## 3 Proposal

A straightforward way to perform L1-aware GEC on text whose writer's L1 is unknown is to first perform native language identification on the text and apply the GEC model trained for the estimated L1. However, this pipeline approach will be affected by error propagation, since accurate natural language identification is unrealistic when the input length is small. Even if input length is long, the input can be written by more than a single writers of various L1; for example, the paper you are reading now has been collaboratively written by Chinese and Japanese second-language learners of English.

In this study, we therefore propose to implicitly consider L1 of the writer of the input, and train a neural seq2seq-based GEC model [10] using a multitask learning with native language (L1) estimation as the auxiliary task. Specifically, the encoder of the GEC model is abused to guess the L1 of the writer of input text so that it can encode text while being aware of the writer's L1. In testing, the obtained L1-aware encoder can be applied to any text since it does not require L1 annotation to the test input. In what follows, we explain the auxiliary tasks on L1 estimation (§ 3.1), the model structure ( $\S 3.2$ ), and the training procedure (§ 3.3).

## 3.1 Auxiliary tasks

Keeping in mind that native language identification from short input is technically difficult, we set two L1 estimation tasks as auxiliary tasks: one task identifies the writer's L1 for a given input, and the other task identifies the language family of the writer's L1. By using the language families with coarse-grained labels instead of languages themselves, we will be able to make the training on the extreme classification of natural language identification more stable [11].

As far as we know, no one tried to use language family of L1 in L1-aware GEC. We therefore performed preliminary experiments to investigate the effectiveness of the language family in L1-aware GEC in the exising L1-aware GEC. Using the Lang-8 datasets, we trained a neural seq2seq-based GEC model [10] by fine-tuning a GEC model trained from the Japanese-L1 data using various L1 data and evaluated the performance of the resulting GEC models on the Spanish-L1 data. The results of this preliminary experiment revealed that GEC data written by learners whose L1s are in the same language family as Spanish is also effective in fine tuning.

## 3.2 Model structure for multitasking

The key issue in a performing multitask learning is what to share in the model structure to solve the main and auxiliary tasks. In this study, we adopt a neural seq2seq-based GEC model $[10,12]$ as the basic model structure. To perform a multitask learning with native language estimation, we share the encoder of the main GEC task with the classifiers of L1 (and its language family) estimation, and add a feedforward neural network to perform the classification on the top of the GEC encoder. The overview of our GEC model can be seen back in Figure 1, which illustrates the the following computation process:

$
\begin{aligned}
h_{t}^{(e n c)} & =\operatorname{encoder}\left(x_{1}^{t}\right) \\
h_{t^{\prime}}^{(\text {dec })} & =\operatorname{decoder}\left(y_{t^{\prime}-1}, h_{t^{\prime}-1}^{(\text {dec })} ; \boldsymbol{h}^{\text {enc }}\right) \\
P\left(y_{t^{\prime}}\right. & =\operatorname{softmax}\left(h_{t^{\prime}}^{(\text {dec })}\right) \\
P(c) & =\operatorname{softmax}\left(\operatorname{FFNN}\left(h_{n}^{(e n c)}\right)\right)
\end{aligned}
$

We denote the vectors from the hidden state of the topmost layer of encoder as $h_{t}^{(e n c)}$. Eq. 1 through Eq. 3 shows the process of generating output $\boldsymbol{y}$ (corrected input, the main

Table 2 Statistics of each L1-specific data in training dataset and test dataset; Chinese-, Japanese- and Korean-L1 data are sampled to perform experiments effectively.

Table $3 \quad F_{0.5}$ comparison of models on each L1, FT denote the fine-tuning model corresponding to the selected L1.

task), Eq. 4 uses the encoer's output to predict the class (L1 or its language family). When we train these tasks simultaneously, the training of every task will contribute to updating parameters of the GEC encoder; in other words, the model reads (encodes) text while being aware of the writer's L1 and generates (decodes) corrected input from the L1-aware encoding of the input.

## 3.3 Training procedure

In the multitask learning, it is important to control the impact of auxiliary tasks on updating the model's parameters. If we keep to incorporate the loss obtained from the auxiliary tasks during whole training, it may harm the performance of the main task. Therefore, we adopt task-wise early stopping [13], a strategy to stop training of auxiliary tasks prior to the main task to suppress the extra impact of auxiliary tasks.

## 4 Experiments

To confirm the effectiveness of our GEC model via multitask learning with native language estimation, we utilize the Lang-8 dataset [5] to compare our model with the general seq2seq-based GEC model that does not perform the multitasking. We evaluate the GEC models using the Precision, Recall, and $\mathrm{F}_{0.5}$ measure, computed by the M2 scorer [14].

## 4.1 Settings

In this experiment, we use the Lang-8 dataset [5] that consists of English text written by Chinese, Japanese, Ko- rean, Spanish, Russian, Polish, French, and Italian-L1 learners of English. Since the the size of L1 data for Japanese, Chinese, and Korean is much more than the other languages (Table 1), we randomly sampled part of data for those resource-rich languages for efficient experimentation. We summarized the statistics of the reduced dataset in Table 2.

To compare with the baseline model, we prepare three variants of multitask-learning models using the two auxiliary tasks; namely, the one with L1 identification, the one with L1's language family identification, and the one with $\mathrm{L} 1$ and its language family identification. The baseline is the neural seq2seq GEC model [10] that is identical to our model without multitasking.

The encoder and the decoder of the GEC model are threelayer bi-directional LSTMs with 200-dimensional hidden states for each layer. The feed-forward networks for the auxiliary tasks have a 200-dimensional input layer and a 256-dimensional hidden layer.

To find the best model by the task-wise early stopping [13], we set up multiple stop points from 5 to 30 with interval of 5 . When the training reaches the epoch corresponding to the stop points, we fork the training process to start the training with the GEC loss only. We choose the best stop points that maximized the GEC performance on each L1 dev data.

## 4.2 Results

Table 3 lists performance of the GEC models on each L1specific data. We can see from this result that our method
could successfully improved L1s with more training data. However, we could not improve the GEC performance for L1s with less training data except French. This is possibly because the native language estimation module in our model tends to estimate dominant L1s from input, which affects a negative impact on the GEC performance of European languages.

On the other hand, by comparing the performance of MTL (only L1) and MTL (only LF) on Japanese-L1 and Polish-L1 data, we can find that performance of the latter model has improved significantly, which implies that the introduction of language family is helpful for the GEC model on L1s which is more difficult to distinguish due to less training data.

Finally, we investigated the performance of two classification tasks on the test data. We notice that the accuracy of the L1 identification task is $49.90 \%$, while the accuracy of the L1 language family identification is $57.85 \%$. The majority-class baselines for the two identification tasks is $43.47 \%$. Therefore, the accuracy of the classifiers is not very high, especially for the L1 classifier. Although the accuracy of native language estimation tasks is low, considering those tasks as auxiliary tasks have greatly contributed to solving grammatical error correction.

## 5 Conclusion and future work

In this study, we propose an L1-aware GEC model via multitask learning with native language estimation. Our model implicitly uses L1s in contrast to the existing methods that is based domain adaptation and explicitly uses L1s in evaluation. To mitigate unstable training caused by the imbalance L1 data on GEC, we consider two tasks on native language estimation; namely, native language (L1) identification and L1's language family identification. Experimental results confirmed that our method achieves improvement over the baseline.

## References

[1]Michael Swan and Bernard Smith. Learner English: A Teacher's Guide to Interference and Other Problems. Cambridge Handbooks for Language Teachers. Cambridge University Press, 2 edition, 2001.

[2]Shamil Chollampatt, Duc Tam Hoang, and Hwee Tou Ng. Adapting grammatical error correction based on the native language of writers with neural network joint models. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1901-1911, Austin,
Texas, November 2016.

[3]Alison Bernstein. The School Review, Vol. 86, No. 2, pp. 292-294, 1978.

[4]Maria Nadejde and Joel Tetreault. Personalizing grammatical error correction: Adaptation to proficiency level and L1. In Proceedings of the 5th Workshop on Noisy User-generated Text (W-NUT 2019), pp. 27-33, Hong Kong, China, November 2019 .

[5]Tomoya Mizumoto, Mamoru Komachi, Masaaki Nagata, and Yuji Matsumoto. Mining revision log of language learning SNS for automated Japanese error correction of second language learners. In Proceedings of 5th International Joint Conference on Natural Language Processing, pp. 147-155, Chiang Mai, Thailand, November 2011.

[6]SEAN MASSUNG and CHENGXIANG ZHAI. Non-native text analysis: A survey. Natural Language Engineering, Vol. 22, No. 2, p. 163-186, 2016.

[7]Yevgeni Berzak, Roi Reichart, and Boris Katz. Reconstructing native language typology from foreign language usage. In Proceedings of the Eighteenth Conference on Computational Natural Language Learning, pp. 21-29, Ann Arbor, Michigan, June 2014.

[8]Yevgeni Berzak, Roi Reichart, and Boris Katz. Contrastive analysis with predictive power: Typology driven estimation of grammatical error distributions in ESL. In Proceedings of the Nineteenth Conference on Computational Natural Language Learning, pp. 94-102, Beijing, China, July 2015.

[9]Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A new dataset and method for automatically grading ESOL texts. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 180-189, Portland, Oregon, USA, June 2011.

[10]Tao Ge, Xingxing Zhang, Furu Wei, and Ming Zhou. Automatic grammatical error correction for sequence-to-sequence text generation: An empirical study. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 6059-6064, Florence, Italy, July 2019.

[11]Daisuke Oba, Naoki Yoshinaga, Shoetsu Sato, Satoshi Akasaki, and Masashi Toyoda. Modeling personal biases in language use by inducing personalized word embeddings. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2102-2108, Minneapolis, Minnesota, June 2019.

[12]Tao Ge, Furu Wei, and Ming Zhou. Reaching human-level performance in automatic grammatical error correction: An empirical study. CoRR, Vol. abs/1807.01270, , 2018.

[13]Zhanpeng Zhang, Ping Luo, Chen Change Loy, and Xiaoou Tang. Facial landmark detection by deep multi-task learning. In David Fleet, Tomas Pajdla, Bernt Schiele, and Tinne Tuytelaars, editors, Computer Vision - ECCV 2014, pp. 94-108, Cham, 2014. Springer International Publishing.

[14]Daniel Dahlmeier and Hwee Tou Ng. Better evaluation for grammatical error correction. In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 568-572, Montréal, Canada, June 2012.


# スマートフォン向け 日本語プログラミング学習アプリケーションの開発

大久保遥花・宍戸真
東京電機大学大学院情報環境学研究科
\{20jkm05\}@ms.dendai.ac.jp, \{shishido\}@mail.dendai.ac.jp

## 1 はじめに

近年,プログラミング教育が重要視され,日本で は,2020 年度から小学校においてもプログラミング 教育が導入されている[1].文部科学省の狙いは，「知識及び技能」,「思考力,判断力, 表現力等」,「学びに 向から力,人間性等」のような資質・能力を育成する ことである.手引書では,プログラミング教育におい て,身近な生活でコンピュータが活用されているこ とや,問題の解決には必要な手順があることに気付 くことで「知識及び技能」を育成し, 発達の段階に即 して,プログラミング的思考を育成することで「思考力,判断力,表現力等」を育成し,コンピュータの働き を,よりよい人生や社会づくりに生かそうとする態度を涵養することで「学びに向から力,人間性等」を 育成するとされている。

このような現状の中,プログラミング学習を支援 するシステムは有益であると言える.本研究の目的 は,多くの人にプログラミングの面白さを実感して もらい,人々のプログラミング学習を支援する学習教材を開発することである.

## 2 先行研究

## 2.1 ビジュアル言語とテキスト言語の違い

図 1 Scratch の記述イメージ小学校教育に適した教育用プログラミング言語の 提案の論文[2]では,テキスト型言語,フローチャート 型言語,ルールベース型言語,ブロック型言語のよう なプログラミング言語について,それぞれの利点と 欠点を述べている.その中でも,教育用言語として特 に使用されることが多いブロック型言語について，問題と考えられる点がいくつか挙げられている.こ の中で挙げられているブロック型言語のテキスト型言語とのギャップという項目に,共感する部分があ った.ブロック型言語は,用意されているブロックを 組み立ててプログラムを組むので,コードを一から 入力するテキスト型言語に比べて,入力の手間が省 け簡単にプログラムを組むことができる.また,文法 のエラーを防ぐことができるという利点があるが，一方で,そのプログラムの組み立てる手法は,テキス 卜型言語の手法と大きく異なる. 図 1 は,教育現場で よく使用されているブロック型言語である Scratch の画面の例である.ブロック型言語のようなビジュ アル言語は,プログラミング的思考力を培う教材で はあるが,見た目やプログラミングの手法がテキス 卜型言語と乘離しているため,汎用的なテキスト型 のプログラミング言語の学習にスムーズに移行する ことは難しいだろう.そこで本研究は,汎用的なテキ スト型プログラミング言語の学習への移行を円滑に することを目標とする。

## 3 提案システム

本節では,提案するシステムの特徴や機能を説明 する。

## 3.1 日本語によるプログラミング

コードの記述・エラーメッセージは基本的に日本語を用いる.その理由は,プログラミング初学者にと って,母国語でない言語による記述は学習を進める 上で障壁になる場合が多いからである.日本語によ って内容を理解しやすくすることで,初学者が挫折

しないようにすることが狙いである.

## 3.2 スマホで使用できるアプリケーション

現在, 日本はスマートフォン,PC, タブレット端末 などの電子機器が広く普及しているが, 普段コンピ ユータ機器をあまり使用しない人も含めた個人での 所有率が最も高いディバイスはスマートフォンであ ると考えられる.本稿で提案するシステムは,PC を持 っていない人でも気軽にプログラミングを学習して 欲しいという狙いがあるため,多くの人が利用しや すいスマートフォンを使って学習ができるようにす る.

## 3.3 汎用的プログラミング言語に近い文法

3.1 で説明したように, 日本語を用いた分かりやす い記述を行えるようにすることを目指すが，一方で 2.1 に示したように,本システムは,汎用的なプログラ ミング言語の学習への移行を円滑にすることが目標 であるため, 日本語の文法に片寄りすぎて汎用的な プログラミングの文法と大きく異なってしまうこと は避けたい.そこで,一般的に大学の講義に用いられ る場合が多い C言語に近い文法で学習できるように する.

## 4 設計$\cdot$開発

## 4.1 開発環境

本研究では,Android アプリを開発する.開発ツール は Android Studio で,言語は Java を使用する.レイア ウト画面設計には XML が用いられる。

## 4.2 構成

本アプリケーションの構成は,全 5 章から成る.そ れぞれの章の内容は,表 1 にまとめる.

表 1 章ごとの学習内容

それぞれの章で,学習内容に関する説明を読み,そ れに関する演習問題を解くという流れに沿って学習 を進める。

## 4.3 演習問題の例

記述が正しい場合

図 2 プログラム実行のフローチャート
図 2 は,全体の動作の流れを示した図である.まず，入力画面で,パーツのボタンを正しい順番で押して 記述をする.ボタンを押し終えたら, 実行ボタンを押 す.もし記述内容が正しければ,実行結果が正しく表示される.記述が正しくない場合は,エラーメッセー ジが表示され,また最初から入力をすることになる.

## 図 3 文字列を表示(正解)

図 4 文字列を表示(不正解)

図 3,4 は文字列を表示させる演習問題の例である.「実行すると” ハロー,ワールド! ” と表示される」 という画面の例で, 図 3 は成功した場合, 図 4 はエ ラーが発生する場合の画面である.それぞれ,画面下部に正解または不正解のトーストが表示される.

次に,変数の代入に関する問題について説明する.

「ありがとう」をそれぞれ代入し,変数の中身を出力 するという問題である. 3 つの変数を出力することが 出来ると正解を示すトーストが表示される.

出力

図 5 変数の問題(正解)

図 5 は,変数 $a, b, c$ にそれぞれ数値,文字,文字列を代入し, 3 つの変数を表示させるプログラムの記述と実行結果である.ボタンを押して上図のように記述し，実行ボタンを押すと下図のような結果が表示され，画面下部に正解のトーストが表示される.

入力

数値 $\mathrm{a}=10 ;$
文字 b="や";
文字列 c="ありがとう"
表示(a);
表示(b);
表示(c);

出力

図 6 変数の問題(エラー)

図 6 は図 5 のプログラムの 3 行目「文字列 $\mathrm{c}=$ " ありがとう”;」の文の最後のセミコロンを記述しな かった場合の入力と実行結果である.下図のような 結果が表示され,画面下部に不正解のトーストが表示される。

次に,算術演算子に関する問題について説明する. この問題は," $3 \times 8$ "," $48 \div 3$ ","56を 11 で割った余り" を出力するという問題である. 3 つの演算結果を出力 することが出来ると正解を示すトーストが表示され る.

出力

図 7 算術演算子の問題(正解)

図 7 は,"3×8","56を 11 で割った余り”," $48 \div 3 "$ の 演算結果を表示させるプログラムの記述と実行結果 である.画面上のボタンを押して上図のように記述 し, 実行ボタンを押すと下図のような結果が表示さ れ,画面下部に正解のトーストが表示される.

出力

図 8 算術演算子の問題(不正解)

図 8 は,” $3 \times 8$ ", $48 \div 3$ ” の計算結果を表示させ るプログラムの記述と実行結果である.この場合, 3 つの演算結果を表示させることが出来ていないため，画面下部に不正解のトーストが表示される.

入力

出力

図 9 算術演算子の問題(エラー)

図 9 は,” $3 \times 8$ ”の計算結果を表示させる記述が,末尾の;が抜けているためエラーが引き起こされる例 である.この場合も図 8 と同じく画面下部に不正解 のトーストが表示される.

## 4.4 演習問題の実装

本節では, 4.3 で説明した演習問題について,どのよ うに実装しているか説明する。

まず,図 3,4 の文字列を表示させる問題は,正解の 文字列を用意し, 入力欄に記述された内容が正解の 文字列と等しければハローワールドと表示させ,等 しくなければエラーが発生するようになっている.

次に,図 5,6の変数に関する問題について説明する.最初に入力欄に記述された文字列を改行ごとに split メソッドを用いて分割し，配列にする.そして for ルー プで「表示(変数名);」文が記述されている箇所を探 す.「表示(変数名);」文を見つけたら,それよりも前に 該当する変数を定義する文が記述されている場合は その変数の値を出力させ,定義する文が記述されて いない場合はエラーメッセージを表示させる.

最後に,図 7,8,9 の算術演算子の問題について説明 する.入力が「表示(計算式);」の形式に当てはまって いるかどうかを正規表現で判断する.マッチしてい れば括弧内の計算式を取り出し,数値と演算子に分 け,演算結果を返すようになっている。

## 5 まとめ

本稿では,日本語を用いたプログラミング初学者向けのスマートフォン向けアプリケーションを提案 した.今後は,表 1 に示した内容を学べるように教材 を豊富にし,様々なタイプの演習問題を取り入れる。 また,UI/UX デザインを改良し,使いやすいレイアウ トにする.教材を作成した後は,教材を実際に使用し てもらい評価を受ける実験を行っていく。

## 参考文献

1. 文部科学省. 小学校プログラミング教育の手引 （第二版）, 2018.

2. 久保文乃,久野靖. 小学校教育に適した教育用プ ログラミング言語の提案, 2019.


# Developing PvP Menu of E-Learning System for Learning Japanese

Astrid Tamara Makoto Shishido
Tokyo Denki University
\{astrid.tamara\}@hotmail.com, \{shishido\}@mail.dendai.ac.jp

## 1. Introduction

Students who do not use kanji in their native language have difficulty in learning Japanese [1] [2]. The cause is mainly because the writing and reading system of kanji and their native languages are different [1]. Learning kanji is even harder because there each kanji has several meanings and readings [3]. There are also a lot of kanjis to be learnt, the required jōyo kanji count is 2,316 as of 2010 [4]. Therefore, kanji acquisition is hard for foreign students [1] [2].

For the aforementioned problem in learning kanji, the development of e-learning system for learning Japanese was proposed. The system includes a pattern recognition so that the user can practice handwriting kanji. Gamification is also implemented to increase users' participation and motivation by implementing game elements, such as points, reward system and social elements.

This paper will explain about the development of the social elements part of gamification theory, which is the player vs player (PvP) menu. In the PvP menu, the user can play against another user in answering quizzes about Japanese kanji and vocabulary. By doing so, the user can accumulate points which determine who will win the match.

Lastly, future work will be discussed. This includes the evaluation part of the e-learning system which will be based on ARCS model.

## 2. Previous Development

## 2.1 E-Learning System

The e-learning system for learning Japanese was developed with pattern recognition for recognizing Japanese characters handwriting and implemented gamification theory to increase users' participation and motivation. The e-learning system is being developed for smartphones with operating system Android and iOS.

## 2.2 Gamification Theory

Gamification theory can increase users' participation and motivation by combining game elements and game thinking in activities that are not games [5] [6]. The game elements that are used in gamification theory are described in Table 1.

 \\

Table 1. Game Elements [6]

Using gamification theory in activities and processes, the users' commitment and motivation will increase [5]. According to Huang and Soman, gamification affects students' behavior, commitment and motivation which in turn will improve knowledge and skills as cited by [5].

## 2.3 System Development

The e-learning system consists of three primary learning menus, which are the Kanji, Vocabulary and Sentence menu. The Word List menu saves user's favorite words. The PvP menu is where the user can battle another user in a quiz. The menus are shown on Figure 1 with the matching game elements based on gamification theory on Table 1. The fifth game element, performance graph, is not shown as it is part of the profile screen.

Figure 1. Main Menu and Game Elements

The Kanji menu provides learning material for individual kanji. The Vocabulary menu provides learning material for Japanese words. The Sentence menu is how to use the words from Vocabulary menu in a sentence. The menu chapter screen is shown in Figure 2.

Figure 2. Kanji and Vocabulary Menu Chapter Screen
In the primary learning menus, there is a canvas in the middle of the screen to practice handwriting. The handwriting in the canvas will be sent to the server to be evaluated whether it is correct or incorrect. The preview of canvas in Kanji Menu is shown on Figure 3.

Figure 3. Practice Screen

## 3. Player Vs Player Menu (PvP)

## 3.1 What is PvP?

Player vs Player (PvP) menu enables the user to play against another user. By answering the questions correctly, the user can accumulate points. More points will be awarded for faster answer. The user with more points than the opponent will win the match.

The PvP menu was developed in regard to gamification theory game element, the social elements. This feature allows the user to interact with other user in quiz format. This is in line [5] that stated by implementing game techniques and mechanism in learning, it is hoped that the students engage in a friendly competitive environment with other students.

## 3.2 PvP Menu Development

The PvP menu is developed using socket.io and programming language javascript. By using socket.io, it allows the PvP match to be bi-directional and real-time on both users.

After choosing PvP screen, the PvP Setting Screen will appear. In this screen, the user can set the match to their own liking. Which question set to use, how many
questions in the match, and who to match against are all adjustable in this setting screen. The PvP Setting Screen is shown on Figure 4.

Figure 4. PvP Setting Screen Match Invitation

When the first user has chosen to start the match, the second user will receive the match invitation dialogue as shown on Figure 5 right picture. The second user may choose to accept and start the match or to reject the invitation. Before the second user answer the invitation, the first player will be on hold as shown on Figure 5 left picture.

Figure 5. Match Invitation Screen

Figure 6 shows the PvP Match Screen. This screen will be displayed when the match has started. In this screen, the top bar shows the match progression, which question number is currently at and the total number of questions. Below the number of questions is a row showing the current player name and score, a timer, and the opponent's name and score. The timer is set for 20 seconds, as such the question has to be answered within 20 seconds. The faster the user answer, the higher the point that can be attained.

In the middle of the screen, there is the question and a canvas to answer. The user can answer by directly writing on the canvas and submit the answer. The system will judge whether the answer is correct or incorrect and automatically adds point the score.

Figure 6. PvP Match Screen

The bottom part of the Match Screen is shown in Figure 7. These are the PvP items that can be used to advance the user's progress or hinder the opponent's progress. Starting from the leftmost is, Bomb, Barrier, Auto Correct, and Mirror items (the icon designs are not final). The Bomb item can be used to hide the opponent's canvas for 5 seconds. The Barrier item will be used automatically to nullify opponent's attack, provided the user has the item. The Auto Correct item can be used to make the answer automatically correct without needing to write on the canvas. The Mirror item can be used to flip the opponent's canvas vertically. All items can be purchased with points that are accumulated when using the e-learning system.

Figure 7. PvP Items

## 4. Summary

The development of e-learning system for learning Japanese based on gamification theory is progressing well. This paper elaborates the social elements part of gamification theory game elements, which is implemented as PvP menu in this e-learning system. The PvP menu enables the user to compete with other users in answering Japanese kanji and words related question by writing on a canvas. The PvP menu is also supplemented by four PvP items, Bomb, Barrier, Auto Correct and Mirror to enhance the experience. These four items are purchasable by collecting points when using the elearning system.

## 5. Future Work

This research will be continued by completing the elearning system development and improving the existing menus. The next step is to evaluate the e-learning system based on ARCS Model. The current proposition is to distribute a questionnaire created based on each areas of ARCS Model (Attention, Relevance, Confidence, and Satisfaction) using a 5-point Likert scale.

## References

[1] S. Paxton and C. Svetanant, "Tackling the Kanji hurdle: Investigation of Kanji learning in NonKanji background learners," International Journal of Research Studies in Language Learning, vol. 3, no. 3, pp. 89-104, 2014.

[2] S. Librenjak, K. Vučković and Z. Dovedan, "Multimedia assisted learning of Japanese kanji characters," in MIPRO 2012 : Proceedings, 35th International Convention on Information and Communication Technology, Electronics and Microelectronics, Opatija, Croatia, 2012.

[3] J. Ogawa and F. Enokida, Colloquial Japanese: The Complete Course for Beginners, New York: Routledge, 2014.

[4] 文部科学省, "常用漢字表," 30 November 2010. [Online]. Available: http://www.bunka.go.jp/kokugo_nihongo/sisaku/jo ho/joho/kijun/naikaku/pdf/joyokanjihyo_20101130 .pdf. [Accessed 23 November 2019].

[5] G. Kiryakova, N. Angelova and L. Yordanova, "Gamification in Education," in 9th International Balkan Education and Science Conference, Edirne, Turkey , 2014.

[6] J. Figueroa, "Using Gamification to Enhance Second Language Learning," Digital Education Review, vol. 27, no. 21, pp. 32-54, 2015.


# 対のある自他動詞を用いたオンライン学習の有効性の確認 ープレテスト・ポストテストの分析一

沖本与子
一橋大学大学院言語社会研究科
Id182001@g.hit-u.ac.jp

## 1 はじめに

本稿は，対のある自他動詞から作成した項目を用 いたプレテスト・5 週間のオンライン学習・ポスト テストという一連の研究調査を通して得た，特にプ レテストとポストテストにおける日本語学習者の解答を分析することで，テストの信頼性と有効性，各 テストにおける成績の推移, 移動動詞の解答特徴を 把握することを目的とし，次の三つの研究課題を量的なデータを用いて明らかにすることとしている。研究課題 1 : プレテストとポストテストの信頼性・有効性について明らかにする

研究課題 2:プレテストとポストテストにおける成績の推移を明らかにする

研究課題 3 : 移動動詞を用いた項目の正答率の推移 を明らかにする

## 1.1 先行研究

日本語の自他動詞は, 寺村 (1982) の相対自動詞,相対他動詞, 早津（1995）の有対自動詞, 有対他動詞などの分類分けがあるが, 本研究では, 中石 (2003) の「対のある自他動詞」を使用する．自他動詞は形態的特徴, 統語的特徴, 意味的特徴を包括するため 「形態的，統語的に対応する自動詞他動詞でも文脈 によって意味的に対応しなくなるものが多く存在す る」(中石 2020: 35).この複雑性が学習者の習得を 更に困難なものにし, 中上級レベルでもその使い分 けに難しさを覚える原因となることが考えられる。

また形態的には対応するが，意味的に対応しない 自他動詞の例として，移動動詞（田中・松本 1997） が挙げられる。沖本（2019）で指摘されているよう に，対のある自他動詞の学習において，日本語学習者は移動動詞を用いた項目での正答率が低くなる傾向がある. 本研究では学習者の誤答が出現する移動動詞に焦点を当て援用することで, 特に学習者が苦手とする移動動詞の確認を行うこととする。対のある自他動詞，移動動詞は，様々に研究され テストの正答率を指標とした研究が存在しているが， オンライン学習と組み合わせ，習得を促す研究は管見の限りない

## 2 調査の概要

## 2.1 調查時期

本研究における調査は, 2020 年 10 月 6 日（火) ２020 年 12 月 6 日（日）の間に実施し，本稿では，特に 10 月 16 日 10 月 18 日に実施したプレテスト 及び 11 月 23 日 11 月 29 日に実施したポストテス トの結果についてまとめる.

## 2.2 調査参加者

本研究に参加した参加者は都内高等教育機関で中級後半〜上級前半レベルに相当する科目を登録して いる日本語学習者である. 参加者は 41 名おり, その 内 10 名がプレテスト・ポストテストのみを受験す る統制群であり， 31 名がプレテスト・ 5 週間のオン ライン学習・ポストテストを受ける実験群である.

また参加者は全員教育機関で提供されている日本語クラスを受講しており, 調査参加のための日本語 レベル確認は所属機関の文法・語彙テスト（全員） を用いた. 41 名は 2 つの異なる科目を受講している 学習者であり，このグループ間（21 名と 20 名）の レベル確認テストの成績について $t$ 検定を行ったと ころ, $5 \%$ 水準で参加者間に有意差は見られなかった $(t(39)=-0.28, p=.77$ ). なお, 日本語能力試験（以下，JLPT）は $\mathrm{N} 1$ 取得者が 6 名， N2 取得者が 6 名, $N 3$ 取得者が 3 名, N4 取得者が 4 名, N5 取得者が 1 名，JLPT 未取得者が 21 名であった。母語の内訳は 中国語母語話者 25 名, 韓国語母語話者 5 名，英語母語話者 8 名, その他アジア言語話者 3 名（タガログ 語・ベトナム語・インドネシア語）である.

## 2.3 使用した項目とその例

本研究では，まず沖本 (2020b) で使用された 282 動詞とその項目から, 点双列相関係数を元に算出し た数値（0.6 以上）と各項目の正答率を使用し, 初中級レベルの対のある自他動詞を選別し 102 動詞を用意した. 次にその 102 動詞に対し, 動詞 1 つにつき 3〜6 の例文を作成し, 問題として合計 448 項目を用意した. 全 448 項目は 5 週間オンライン学習で出題 するが，プレテスト・ポストテスト用に移動動詞を 使用していること, 全設問が揃っていることなどを 条件に, 102 項目を選定した. プレテスト・ポスト テストともに受験時間は約 15～30 分程度であった。

表 1 設問 -内容・項目 - 選択肢（例）

## 3 分析及び考察

本節では, 分析結果を 3 つの研究課題に沿ってまと める. まず 3.1 では研究課題 1 「プレテストとポスト テストの信頼性・有効性について明らかにする」に ついて, テストの項目分析, 基本統計量の分析を中心にまとめる. 続いて, 3.2 では研究課題 2 「プレテ ストとポストテストにおける成績の推移を明らかに する」について統制群と実験群の群ごとの解答を中心にまとめる. 最後に, 3.3 では研究課題 3 「移動動詞を用いた項目の正答率の推移を明らかにする」に ついて，特に移動動詞を使用した項目を抽出し，そ の分析を中心にまとめる. なお以降, 本研究の調査参加者は日本語学習者（以下，学習者）とする.

## 3.1 テストの分析とその信頼性について

プレテストとポストテストは同一の項目を使用し，同一の学習者が受験した. 取得解答項目数は 8,364 である（102 項目 $\times 2$ テスト $\times 41$ 人）．欠損値はない ため, 今回の分析では全ての解答を使用する.

## 3.1.1 テストの信頼性と基本統計量

まずは，テストの信頼性を測るため，クロンバッ クの $\alpha$ 係数に基づき分析した. プレテストは $\alpha=.94$, ポストテストは $\alpha=.96$ が得られ, いずれも十分な信頼性を持っていることが確認された. 続いて, 全学習者のデータを用いて分析をし, 表 2 にプレテスト とポストテストの基本統計量をまとめた.

表 2 基本統計量

また，プレテストとポストテストにおける学習者個々の分布を確認すると, 図 1 に見られるように, プレテストで 44 点〜 102 点間に散らばっていた学習者はポストテストで上位層に集まったことが分かる.

続いて, 統制群, 実験群に分けて基本統計量を まとめたところ，プレテスト平均点が統制群 67.4,実験群 79.84 であり, 両群の開始時点での得点が不均衡であることが確認された。そのため，実験群か

ら上位 7 名分の得点を排除し， $t$ 検定を実施し， $5 \%$水準で有意差がないことを確認した上で $(p=.13)$,統制群 10 人, 実験群 24 人で基本統計量をまとめた (表 3).

表 3 統制群と実験群の基本統計量

平均点では, 統制群が+7.8, 実験群が+18.63, 最小値では，統制群が-2，実験群が+17 であった。ま た, 標準偏差 $(S D)$ では統制群のばらつきが広が り (19.19), 実験群では狭まっている (8.78) こと が確認された.これらの結果から実験群において, 5 週間のオンライン学習を用いた成果が出たのでは ないかと推測される。

## 3.1.2 正規性 ・ 有意差 ・効果量の確認

次に, 正規性を確認するが, 調査に参加した学習者が 41 人（本節では 34 人分使用）であり，サンプ ルサイズが 50 以下となるため, シャピロ・ウィルク 検定を使用した. 結果, プレテストは $p>.05$ であり， ポストテストは $p<.05$ であったことから, ポストテ ストの正規性が担保できないため，ノンパラメトリ ック検定として, Wilcoxon の符号付順位和検定を用 いて分析を行った. その結果, 統制群には $5 \%$ 水準で 有意差が見られず $(p=.0840)$, 効果量は $r=0.386$ ( $98 \%$ CI [-0.32, 0.81]であり, 効果量は中程度であり, 98\%信頼区間が広く, 0 を含んでいるために, 結果 の一般化が難しいことが確認された。一方, 実験群 には $5 \%$ 水準で有意差があり $\quad(p<.001)$, 効果量は $r$ $=0.745(98 \%$ CI $[0.49,0.88])$ となり, 効果量が大きい ことが確認された。

以上の分析により，プレテスト・ポストテストを 5 週間隔て受験した統制群とプレテスト・5 週間の オンライン学習・ポストテストを実施した実験群の 間には差異があり, 調査の有效性が推測される.

## 3.2 プレ・ポストテスト間の成績推移

## 3.2.1 各群における学習者こ゚との得点の変化

本項では学習者ごとの得点の変化を確認するため に, 全 41 人の解答データを使用する. 各群の個別推移図を確認し（図 2), 両群の全体の伸び率平均を分析したところ，統制群は $13.59 \%$ ，実験群は $22.19 \%$ の伸びが見られた。

図 2 各群の個別推移図 (黒の太線が全体の平均変化) いずれのグループも全体平均では伸びが見られた が, 図 2 からも明らかなように, 得点が落ちている 学習者も存在する. そこで, 学習者個々のプレテス ト・ポストテストの得点における伸び率を確認した ところ，-42.47〜+106.67\%の間があることが分かっ た. なお, 得点伸び率で $0 \sim 18.33 \%$ に 22 人おり，最も人数が多いため, この層の学習者の各設問の伸 び率をまとめると，設問 1 ・設問 2 ・設問 3 に高い 伸び率（5.56 87.50\%）が集中していることが分か った. またこの層にいる個々の学習者の設問で確認 したところ, 設問 4 ・設問 5 には, 設問 1３ ほど の伸び率が出現しなかった。これは難易度が高いた め伸びなかったのか, 反対に難易度が低いため予め 高得点であり伸びる余地がなかったのかについて，次項 3.2.2 で確認をする。

## 3.2.2 設問ごとの得点の変化

本項では, 学習者の各設問における正答率の平均値を用いて，プレテスト・ポストテストの推移を確認する. 両群を比較するため, 表 3 でまとめた 34 人分のデータを使用する.

表 4 設問ごとの正答率平均値（\%）

} & \multicolumn{3}{|c|}{ 統制群 $(10$ 人) } & \multicolumn{3}{|c|}{ 実験群（24 人） } \\
\cline { 2 - 4 } & pre & post & 差 & pre & post & 差 \\

統制群では $4.00 １ 1.00 \%$ ，実験群では 14.20〜 $17.40 \%$ の伸びが見られ，両群とも各設問で得点の 上昇があることが分かる. 特に実験群の差は 5 週間 のオンラインによる学習が得点に結びついたことを 示していると考えられる。また，統制群の設問 1 で 伸びが $4.00 \%$ と低く，実験群の伸びが $16.00 \%$ と高 いことから（表 4 の二重下線参照）, 設問 1 のよう に，助詞を確認する項目の学習については，問題を 変えて繰り返し解答する練習により解決できる課題 と考えられる。 なお，設問 4 は自動詞と他動詞をそ れぞれ助詞と組み合わせ，選択肢を 4 つ設けている 項目である. 沖本 (2020a) でも指摘されているよ うに，複数の段階を追って解答を導き出す項目は正答率が低く, 解答時間が長い傾向がある，今回の調查では，実験群の結果から分かるように支援があれ ば伸びるが統制群のように支援がない場合，伸びて いるとは言えるが正答率が低いままであることが確認できた（表 4 の太下線参照）.

## 3.3 移動動詞について

本項では研究課題 3 「移動動詞を用いた項目の正答率の推移を明らかにする」ため, 特に移動動詞を 援用した動詞の分析をまとめる. 両群を比較するた め，表 3 でまとめた 34 人分のデータを使用する ${ }^{i i}$.

移動動詞に対する解答について，統制群と実験群 に分け, それぞれのプレテストとポストテストの正答率を算出し, その中から $50 \%$ 以下の正答率に当 たる項目をまとめた（表 5）。

## 表 5 移動動詞の正答率の推移（50\%以下）

項目 64 の自動詞の「移る」に関しては，両群と もポストテストにおいて正答率の向上が見られる.
しかし，項目 $41 \cdot 54 ・ 55$ のように自動詞であつて も习格を用いる移動動詞については，両群ともに正答率が伸びないことが確認できた。実験群がフィー ドバックを伴った 5 週間のオンライン学習を経て も，これら移動動詞の正答率が伸びないことは，移動動詞の使用の難しさを表していると推測される. つまり，意味的に対応していない対のある自他動詞 は，学習者の知識内にある自動詞にはガ格，他動詞 には习格という典型的な例ではないことから，誤答 が導かれやすいことを表していると考えられる。こ れらは，学習者に予め教授することで知識を補完 し，対応できるのではないであろうか.

## 4 まとめと今後の課題

まず，研究課題 1 「プレテストとポストテストの 信頼性・有効性について明らかにする」について は，プレテスト・ポストテストの信頼性が，統制群 と実験群の間には差異が確認された．実験群におけ る 5 週間のオンライン学習を用いた成果が出たので はないかと推測される。

次に, 研究課題 2 「プレテストとポストテストに おける成績の推移を明らかにする」については，統制群は $13.59 \%$ ，実験群は $22.19 \%$ の伸びが見られ た。また，各設問の伸び率を確認したところ，設問 1 ・設問 2 ・設問 3 に高い伸び率が集中しているこ とが分かった.

最後に研究課題 3 「移動動詞を用いた項目の正答率の推移を明らかにする」については，正答率 50\%以下を含む項目を選出すると，ヲ格を用いる移動動詞について, 統制群 - 実験群ともに正答率に伸 びがないことが確認された。このことから，移動動詞には教授と指導が必要であることが示唆された。

今後の課題としては, まず登録クラスごと, 母語別，プレテストとポストテストの相関分析，プレテ ストからポストテストを予測する単回帰分析を進め ることなどが挙げられる。次に，本報告の結果を 5 週間のオンライン学習の結果と合わせることで新た な視点が出現する可能性がある. 最後に，ポストテ スト終了後に実施したインタビューの分析をするこ とで，個々の学習者についてまとめることを課題と したい.

## 参考文献

1. 沖本与子 (2019)「日本語学習者の助詞・動詞選択の傾向一自動詞他動詞の比較を中心に一」言語資源活用ワークショップ 2019 発表論文集』pp.5165, 国立国語研究所

2. 沖本与子 (2020a)「日本語動詞を用いたオンライ ン学習における学習者の解答傾向一初級から上級の 自他動詞を中心に一」『2020 年度日本語教育学会春季大会予稿集』pp.288-293.

3. 沖本与子 (2020b)「日本語学習者の助詞 - 動詞選択における解答時間と誤答率の傾向
- 5 週間のオンライン学習項目の分析を中心に一」

『2021 年度日本語教育学会春季大会予稿集』現在作成中, 国立国語研究所

4. 田中茂範・松本曜 (1997)「空間と移動の表現」『日英後比較選書(6)中右実編』研究社出版

5. 寺村秀夫（1982）『日本語のシンタクスと意味I』 くろしお出版

6. 中石ゆうこ (2003)「対のある自動詞・他動詞の習得研究の動向と今後の課題」, 『広島大学大学院教育学研究科紀要』52, pp.167-174, 広島大学

7. 中石ゆうこ (2020)『日本語の対のある自動詞・他動詞に関する第二言語習得研究』日中言語文化出版社

8. 早津恵美子 (1995)「有対他動詞と無対他動詞の違 いについて一意味的な特徵を中心に一」須賀一好・早津恵美子（編）『動詞の自他』ひつじ書房 pp.179197.


# Developing Materials for Teaching French as a Foreign Language: The Use of Authentic Data from Instagram

Eriko Taniguchi ${ }^{1}$ Mariko Takahashi ${ }^{2}$
${ }^{1}$ Faculty of International Studies, Tenri University, ${ }^{2}$ Faculty of Foreign Studies, Setsunan University
a eriko.taniguchi1603@gmail.com, ${ }^{2}$ mariko.takahashi@ilc.setsunan.ac.jp

## 1 Introduction

Content and language integrated learning (CLIL) is an educational approach that has gained popularity in recent years, especially in Europe. According to Mehisto et al. (2008), CLIL is defined as "a dual-focused educational approach in which an additional language is used for the learning and teaching of both content and language" (p. 9). There are two types of CLIL approaches: hard CLIL and soft CLIL. Hard CLIL is the original, content-led approach, which is "a set of methods that could help subject teachers support the language needs of their students" (Ball et al., 2015, p. 27). Soft CLIL, on the other hand, is the language-led approach whose main goal is the development of skills in the target language, with the development of the content knowledge as the auxiliary objective (Ikeda, 2013, p. 32). In Japan, the CLIL approach has been adopted primarily in English education (Brown, 2015, p. 1).

In French education, an overview of universitylevel French as a foreign language (FFL) textbooks in Japan indicates that the mainstream teaching approach is currently based on the structural syllabus or the notionalfunctional syllabus. This is probably because the majority of French learners in Japan start to study French for the first time after they enter university. However, research in Europe has suggested that the CLIL approach can be advantageous in French education as well (e.g., Pérez et al., 2016). Baten et al. (2020) has further shown that students can learn vocabulary in French CLIL classrooms as effectively as in English CLIL classrooms. These studies in Europe were based on the hard CLIL approach, but the soft CLIL approach may potentially benefit FFL learners in Japan because it enables them to connect linguistic knowledge with various contents. For instance, the use of visual information is effective in teaching grammar in an introductory French CLIL course (Hiroyasu \& Kitamura, 2019).

In designing materials for CLIL, the authenticity of the texts should be maintained by "manipulat[ing] the task or the procedure" (Ball, 2018, p. 228). In English education, instructors teaching soft CLIL courses tend to cover topics related to today's society as can be seen in CLIL textbooks in Japan (e.g., Nakaya et al., 2020). In FFL, the topics are likely to relate more to French cultures and daily life at least for first-time learners even if the CLIL approach is adopted because they first need to become familiar with vocabulary and linguistic forms.

The present study aims to develop activities for use in FFL with a soft CLIL approach that are applicable to various contents and that can target basic linguistic features including vocabulary and word classes. In order to prepare materials based on authentic data, Instagram  was used as the data source. Instagram is an application for sharing pictures and videos worldwide, and the number of its users is expected to reach 900 million in 2021 (Clement, 2020). People post pictures of diverse genres on Instagram, and since hashtags and captions are often posted with the visual information, Instagram can be a useful source for language teaching and learning. This study has two purposes: 1) to compile preliminary lists of French hashtags on Instagram across 10 categories and analyze the hashtags linguistically to investigate how they can be used for FFL activities and 2) to propose communicative language learning activities based on the data and implement them in FFL classrooms.

## 2 Methodology

In order to extract French hashtags from Instagram, the following procedure was taken. First of all, we decided on the target categories referring to the textbook Spirale

(Crépieux et al., 2008) as well as main genres of Instagram. Ten categories were selected: tourisme (travel), nature (nature), gastronomie (food), vie quotidienne (daily life), culture (culture), paysage (landscape), sport (sport), beauté (beauty), mode (fashion), and animal (animal). In the following, the first letter of each category (boldfaced) is indicated when longer examples are mentioned.

Second, a keyword was chosen for each category. Based on the hashtags that had between one million and four million hits on Instagram, we selected a keyword both of us agreed as a representative concept of that category. The following hashtags were selected as key hashtags: \#toureiffel (Eiffel Tower, category: t), \#fleur (flower, n) \#gateau (cake, g), \#maison (house, v), \#noël (Christmas, c), \#montagne (mountain, p), \#courseapied (jogging, s), \#maquillage (make-up, b), \#pantalon (pants, $\mathrm{m}$ ), and \#chaton (kitten, a).

Third, we extracted relevant hashtags to the key hashtag by using two methods. On Instagram, up to 30 hashtags can be added to a post. The first method was to use the automatic hashtag generator TagsFinder (French version: https://www.tagsfinder.com/fr-fr/) to retrieve hashtags associés (related hashtags) and hashtags similaires (similar hashtags) to the search word. Hashtags associés were defined on TagsFinder as 30 hashtags which appeared most frequently in the same post as the search word, and hashtags similaires were defined as 30 suggested hashtags which contained the search word. The second method was to search for posts on Instagram which contained the target hashtag. The search was conducted by one of the authors on her smartphone during a specific period. In order to keep the search as systematic as possible, the search results were sorted in the order of popularity and top 10 posts whose hashtags were at least $30 \%$ in French were extracted. This criterion was adopted because popular posts tended to contain hashtags in English or several languages. There were posts with captions in addition to hashtags, but only the hashtags were included for the purpose of this study. The hashtags retrieved by these two methods became the initial list of hashtags for each category.

Fourth, as the lists still contained hashtags in other languages, we extracted French hashtags from each list. In addition to hashtags all in French, hashtags which mixed French and another language (mostly English; e.g., \#lookdujour) as well as those in the same spelling as another language (e.g., \#france, \#decoration) were treated as French data in this study. This list of French hashtags was developed for each key hashtag.

## 3 Results and Analysis

In order to investigate how the data can be applied for teaching French, the data were analyzed from two perspectives: 1) vocabulary and expressions and 2) grammatical features.

## 3.1 Vocabulary and Expressions

For each key hashtag from each category, an average of 95 French expressions were obtained. Table 1 shows five selected hashtags frequently observed with the key hashtag. Two things should be noted. We used Tagpop  for counting the frequency of hashtags. The frequency obtained by Tagpop is based on the search on entire posts on Instagram and not genrespecific (e.g., \#photo can occur with any genre). As such, the frequency data were used as reference, and Table 1 only indicates the hashtags which we judged as closely relevant to the category. In addition, the hashtags whose spelling exactly overlapped with English hashtags (e.g., \#paris \#voyage \#minimalism) are not included due to limitations of space.

As the examples on Table 1 illustrate, for each category, Instagram posts provided relevant vocabulary and expressions along visual information. The majority of hashtags were nouns and both singular forms (e.g., \#cadeau) and plural forms (e.g., \#cadeaux) were observed. Different types of nouns such as common nouns (e.g., \#jardin), proper nouns (e.g., \#montblanc), and abstract nouns (e.g., \#bonheur) were on the list. Words in different word classes were also observed including adjectives (e.g. \#fleuri \#naturel) and verbs (e.g., \#gouter \#briller) though they tended to occur with nouns or in sentences (e.g., \#chatonmignon; see 3.2 for more details). In addition, coined words (e.g., \#blogueusebeaute), abbreviated words (e.g., \#deco) and hybrid words with English (e.g., \#montagnelovers) occurred as French hashtags. Moreover, words with diacritics were observed (e.g., \#forêt, \#randonnée) although they were left out in some of the posts (e.g., \#noel rather than \#noël). The lists this study compiled were not intended to be comprehensive
vocabulary lists of French Instagram posts of the categories, but students are likely to be able to learn relevant vocabulary starting with the words on the lists. On Instagram, people creatively combine more than one word to form common expressions (e.g., \#joyeuxnoël) or produce phrases with more information (e.g., \#biendanssoncorps) within one hashtag. The next subsection is about this latter type of phrases used as hashtags.

Table 1. Examples of French Hashtags

 \\

## 3.2 Grammatical Features

French hashtags on Instagram often consisted of more than one word. In order to investigate which types of combination were used, we labelled all the elements of the hashtags based on their word class. All the word classes (nouns, pronouns, prepositions, adverbs, adjectives, verbs, determiners, conjunctions) were identified, and there were 52 combinations in total. The examples (1) to (10) illustrate 10 of these combinations along with hashtags from the list.

(1) noun + noun

\#recettegateau (category: g) \#couturetoulouse (m)

(2) noun + adjective

\#reservenaturelle (n) \#maquilleuseprofessionnelle (b)
(3) adjective + noun

\#nouveaudepart (v) \#petitbiscuit (g)

(4) noun + preposition + noun

\#chatdamour (a) \#lacdemontagne (p)

(5) noun + preposition + determiner (article) + noun \#gateauauchocolat (g) \#jardindesplantes (n)

(6) noun + preposition + noun + preposition + noun \#fetesdefindannee (c)

(7) adjective + preposition + verb \#fiersdecourir (s)

(8) adverb + preposition + determiner (article) + noun \#biendanssoncorps (s)

(9) verb + noun

\#vivreparis ( $\mathrm{t}$ ) \#goutermaison (g)

(10) sentences

\#jaimemonchat (a) \#jecoudspourmoi (m)

The examples indicate that Instagram hashtags can indeed consist of various word classes. In reality, there are more combinations and longer phrases and sentences, but Instagram hashtags can be used for demonstrating some of the possible combinations of word classes to form French phrases and sentences. It should of course be noted that hashtags need to be written as one "word" on Instagram, and it will require some practice before students can divide the hashtag into individual words by themselves. Another notable grammatical feature observed in the hashtags was the use of determiners, or articles more specifically. On Instagram hashtags, indefinite articles (un/ une/ des) and partitive articles ( $d u$ l de la) before a noun (e.g., \#sac \#animaux) were not included; however, definite articles (le/ la/ les) were sometimes included (e.g., \#latoureiffel \#lefooding \#lesfleurs) as well as in prepositional phrases or in contractions (e.g., \#maisonsouslaneige \#tenuedujour \#jardindesplantes). Correct agreement of adjectives was also observed (e.g., \#fleurbleue \#gateauxorientaux). Verbs were conjugated only in sentences; they were in the infinitive if they did not have a subject (\#parisjetaime \#gouter \#vivreaparis). The number of sentences and sentence structures in the lists was limited but grammatical (e.g., \#jaimemonchat \#noëlapproche \#çafaitdubien \#jecoudsmagarderobe). As such, the lists may be useful for teaching short French sentences because visual information can be presented with the hashtags.

## 4. Educational Applications and Discussion

The analysis above has demonstrated that the preliminary lists of French Instagram hashtags can be utilized as a resource for FFL instruction. For example, instructors can prepare a subset of hashtags based on the lists compiled in this study and ask students to select a hashtag and search for it on Instagram. That way, students can easily connect the target word with visual information. Students can also work in groups to find pictures that best represent the hashtag. They can then find five additional hashtags accompanying the post and share them with other groups. As Instagram posts are authentic materials including those posted by non-French speakers, students may choose hashtags that are not grammatical. In that case, the teacher can ask or work together with the group to edit the hashtag to make it grammatical after explaining that the language use in reality may sometimes differ from what students learn in the classroom.

Alternatively, teachers can present several hashtags at the same time and ask students to try to take pictures that reflect the hashtags - the group who takes the best picture which most accurately reflects the assigned hashtags wins the game. Instructors can also use hashtags to explicitly or implicitly teach how to construct phrases in French. They can explain grammar using the authentic examples or ask students to notice and identify grammar patterns in the hashtags of a post. In a course with a soft CLIL approach (or even with other approaches), teachers can use these activities at the beginning of the class to get students' attention and to provide necessary language support for understanding the following contents.

A more communicative and output-oriented activity is to have students write hashtags for the picture of their choice. For first-time French learners, it may be better for the instructor to prepare the picture so that all the students share the same picture. This activity was implemented in an introductory FFL course one of the researchers taught in the fall semester of the academic year 2020. As there was a rule against pair or group work because of the pandemic, the instructor had to ask students to work individually. After showing examples of hashtags for a picture of a cat, students were asked to write four hashtags for a picture of the Eiffel Tower. Most of the 14 students chose \#latoureiffel \#paris and \#france as the first three hashtags but they showed some creativity for the fourth hashtag by adding a variety of adjectives such as \#joli \#belle and \#grande. This activity would be more engaging as pair or group activities with a time limit rather than the limit on the number of hashtags because students can work together with their partner or group members to come up with as many creative hashtags as possible within the time limit. The hashtags they produced can then be compared with those by other groups and also with the list of hashtags the instructor had prepared beforehand based on the lists in this study or based on their own search on Instagram. The difficulty level of the activities can be adjusted according to the class level and the time allocated for the activity.

These educational applications are possible because Instagram contains a wide range of French hashtags with various word classes as this study has shown. As Ball (2018) observed, "the text," or French hashtags on Instagram in this case, "need not be manipulated, but the designer can manipulate the task or the procedure at will" (p. 228). By designing activities closely based on authentic materials on Instagram, French hashtags can be utilized as activities in FFL courses, especially in courses with a soft CLIL approach.

## 5. Conclusion

This study has compiled preliminary lists of French hashtags across 10 categories based on Instagram posts and demonstrated if and how they can be applied to teaching French as a foreign language in Japan. Although the search on Instagram was conducted in a systematic manner, it was not possible to fully quantify the data because decisions regarding the key hashtag and the posts included a degree of arbitrariness. It would be necessary to expand the scope of search and add more key hashtags to present a more comprehensive list for each category. In addition, comparison with other French corpora would be required to investigate whether Instagram hashtags actually represent vocabulary and expressions frequently used in French conversations. As Instagram is popular among university students at least for the time being, French hashtags are likely to stay as a good resource for FFL courses with a soft CLIL approach

## References

Ball, P. (2018). Innovations and challenges in CLIL materials design. Theory into Practice, 57(3), 222-231.

Ball, P., Kelly, K., \& Clegg, J. (2015). Putting CLIL into practice. Oxford University Press.

Baten, K., Van Hiel, S., \& De Cuypere, L. (2020). Vocabulary Development in a CLIL Context: A comparison between French and English L2. Studies in Second Language Learning and Teaching, 10(2), 307-336.

Brown, H. (2015). Factors influencing the choice of CLIL classes at university in Japan [Special Issue on CLIL]. ELT World Online, 1-22. https://blog.nus.edu.sg/eltwo/2015/04/27/

Clement, J. (2020, April 22). Number of Instagram users worldwide from 2016 to 2023. Statista.

https://www.statista.com/statistics/183585/instagramnumber-of-global-users/

Crépieux, G., Callens, P., Takese, T., \& Negishi, J. (2008). Spirale. Hachette.

Hiroyasu, Y., \& Kitamura, A. (2019). Implementation of CLIL in an introductory French course [Furansugo nyumon reberu ni okeru CLIL no kokoromi]. Rencontres, (33), 92-96.

Ikeda, M. (2013). Does CLIL work for Japanese secondary school students? Potential for the 'weak' version of CLIL. International CLIL Research Journal, 2(1), 31-43.

Mehisto, P., Marsh, D., \& Frigols, M. J. (2008). Uncovering CLIL: Content and language integrated learning in bilingual and multilingual education. Macmillan.

Nakaya, M., Yukita, M., Yamazaki, M., \& Godfrey, C. (2020). CLIL Discuss the changing world. Seibido.

Pérez, A., Lorenzo, F., \& Pavón, V. (2016). European bilingual models beyond lingua franca: Key findings from CLIL French programs. Language Policy, 15, 485-504.

## Appendix

1. Hashtag list of tourisme (key hashtag \#toureiffel)

2. Example of an FFL activity