# 人間と BERTによる文間接続関係の同定の比較と性能検証

相澤祐一, 鉫田大日, 笠間俊夫
みずほリサーチ\&テクノロジーズ株式会社
\{yuichi. aizawa, dainichi. sukita, toshio. kasama\}@mizuho-rt. co. jp

## 概要

本研究は, 計算機による文間接続関係の同定結果 と人間による同定結果を比較することにより, 計算機による誤判定の傾向および性能改善の課題を考察 する. 計算機実験では，大量のテキストデータを学習した BERT モデルにより,文間接続関係を同定さ せた. その結果，接続関係を順接に誤分類する傾向 が見られた。一方, 校正・校閲の経験者等の被験者 に，計算機実験で用いたデータを使って接続関係を 同定させた結果，接続関係を順接だけでなく，逆接 にも誤分類する傾向が見られた。両実験の結果の比較から, 被験者に比肩する精度の同定が可能な BERT モデルが構築できたことが分かった.また，接続関係間の違いをより明確に捕捉させる必要があ ることが示唆された。

## 1 はじめに

文間の関係推定は対話, 要約, 文章生成など様々 なタスクで必要とされる処理であり, 自然言語処理 の重要な問題となっている. 特に, 接続関係は, 論理的関係の把握及びその構成において，大きな役割 を果たしていると考えられている[1].

計算機に文間接続関係を同定させる試みとして，山本らは, 単語と構文的要素に基づく大量のテキス トデータを使用した統計的手法を提案した[2]. さら なるシステムの向上のため, 斎藤らは, 被験者に対 し, テキスト全体を提示した条件と二文だけの情報 を提示した条件の 2 通りにおける接続関係の推定結果から接続関係間の近さを定量化し, SVM (Support Vector Machine)を使った二值分類によって得られる 近さと同じ傾向になることを示した. このように，計算機による分析と人間の認知を比較することは,計算機モデルをどのように向上させるかといった系口を得るアプローチになる[3].
また，同じ SVM の手法を用いて，続く二文に加 えて前後各二文から品詞, 文間類似度, 係り受けの 構文パタン等の素性を取り出し，多值分類を行った ものがある[4]. 近年では, 再帰的ニューラルネット ワークを用いて文の概念ベクトルを計算，文間接続関係をRAE（Recursive AutoEncoder）を用いて同定 する試みも行われている[5]. さらに, 趙らは, BERT の Masked Language Model を用いて, 少量データで はあるが，マスクされた箇所に入る最も高い確率の 接続詞を推定するという手法を提案している[6].

このように，機械学習アプローチによる接続関係 の同定に関する取り組みが進められてきたものの,深層学習等による SOTA が様々なタスクで達成され てからは, 齐藤らが行ったような認知との比較が行 われた研究は少ない. そこで本研究では, 大量のテ キストデータを学習した BERT モデルによる文間接続関係の同定結果と人間による同定結果を比較し，計算機による同定の傾向およびシステム改善の課題 について考察する。

## 2 文間接続関係

本研究では, 先行研究[1]飞同様に, 接続関係の同定にあたって，接続関係の種類を同じくする接続表現のいずれを選んでもよいと仮定する。この仮定に 基づき, 接続関係の同定を, “接続関係種類の分類問題”と置き換えることとする.

接続関係の種類を定義するため，石黒[7]を参考に，形態素解析器 MeCab 汇辞書として登録されている 接続詞を分類し, 同文献で提案されている接続表現 をそれぞれの種類に加えて表 1 を得た。なお，複数 の接続関係の種類に見られる表現は，その表現が表 れる文間接続関係の同定が困難になることから，取 り扱わないこととした.
表 1 接続関係の種類

## 3 計算機実験

本節では，BERT モデルによる文間接続関係の同定実験について述べる.

## 3. 1 データ

本研究では，文法誤りが混在したテキストデータ を扱わないようにするため，校正・校閲が為された 新聞記事データを用いる，具体的には，毎日新聞 6 年分の記事データ[8]から，表 1 で定義した接続表現が記載されている，51,790 件の続く二文を取り出 し，接続表現に該当する部分をマスクした。なお， モデル学習時のバイアスを避けるため, データ件数 は，接続関係間で偏りがないようにしている。それ ぞれのぺアには，正解となる接続関係をラベリング した.

## 3.2 モデル

モデルは, 東北大学から提供されている BERT Pre-trained Model ( https://github.com/cl-tohoku/bertjapanese/releases/tag/v2.0）を用いて, 図 1 に示す構成 とした.

続く二文を[SEP]トークンで結合したうえで，Pretrained Model にインプットし, 全結合層で処理して 得られる出力值と, One-hot encoding した正解データ を Binary Cross Entropy Logitloss で比較することで，文間接続関係を学習させた。なお, Optimizerを AdamW, 学習率を $2 \times 10^{-5}$ とした.

図 1 BERT モデル構成

## 3.3 実験結果

3.1 で用意したデータの約 75\%を用いて, 5 分割交差検証を実施した. テストデータとして用意した残 りの約 $25 \%$ 12,948 件のデータに対して，BERT モ デルが接続関係を同定した結果を混同行列として表 A-1 に示す. 全体の正解率は， 0.52 となった.

表 A-1 において，並列が正解となる接続関係を対比と誤分類する傾向, 補足や対比が正解となる接続関係を逆接と誤分類する傾向が見られた。

続いて，接続関係ごとの Recall，Precision，および $\mathrm{F}$ 値を算定し表 2 を得た. 表 2 から, 列挙について, Recall, Precision, および $\mathrm{F}$ 值が全接続関係の中で高 いことが分かった。また，接続関係を順接に誤分類 する傾向があることから, Precision と F 値は順接が 最も低くなっていることが確認された。

## 4 被験者実験

本節では，被験者による接続関係の同定実験につ いて述べる.

## 4. 1 実験設定

実験には，校正・校閲の経験者や国語教員免許の 保有者など 22 名が参加した。

被験者には, BERT モデルのパフォーマンスの評価に使用したテストデータのうち，接続関係 1 種類 あたり 40 件，合計 400 件を取り出し，接続表現を （ ）でマスクした二文として提示，（ ）に入る のに相応しい接続関係の候補を回答させた。なお，回答にあたっては，上位 3 つまでの接続関係の候補 を選択できるようにした。
表 2 BERT モデルの分類結果（Recall, Precision, F 值）

表 3 被験者の回答結果（Recall, Precision, F 值）

## 4. 2 実験結果

表 A-2 は，被験者が第 1 候補として回答した接続関係を混同行列として表したものである。表 A-2 から，計算機実験と同様，接続関係を順接であると 誤回答する傾向が見られた. また, 補足や対比が正解となる接続関係を逆接と誤回答する傾向も確認さ れた。一方で，BERT モデルで見られる並列を対比 として誤分類する傾向は被験者実験では見られなか った.

表 3 は，被験者それぞれの回答結果の Recall， Precision，および $\mathrm{F}$ 值の平均値を算出したものであ る. 計算機実験と同様，順接の Precision が低いと いう共通点が見られるが，表 2 と比較して逆接の Recall が大きく異なることが分かった，図 2 に，同 じ 400 問に対する BERT の分類結果と，被験者に よる回答結果の分布を示す. 図 2 から, 被験者のほ うが，逆接をより多く選択していることが明らかと なった。

図 2 モデルと被験者による予測・回答の分布
F 值については，逆接を除いて，BERT モデルが 被験者よりも高く，また，被験者回答の平均正解率 は 0.46 となった. このことから, BERT モデル は, 被験者に比肩する精度の同定が可能であること が示唆された

以下に，結果をまとめる。

- BERT モデルによる接続関係の同定性能は, 被験者に比肩することが分かった.

- BERT モデル，被験者ともに，接続関係を順接 として誤分類してしまう傾向，および，補足 や対比を逆接に誤分類する傾向が見られた。

- 被験者の回答では, 接続関係を逆接として誤回答する傾向がより強く見られた. BERT モデ ルで見られる並列を対比と誤分類する傾向は 被験者実験では見られなかった。

## 5 考察

本節では,さらなる性能改善に向けた考察を行う。 まず，計算機実験及び被験者実験において，接続関係を順接と誤分類する傾向や，補足や対比の接続関係を逆接と誤分類する傾向がある点については，順接の接続関係が構造上，他の接続関係を包含ある いは代替しうる可能性, 補足・対比の接続関係が逆接と近しい可能性が考えられる。これを確認するた めには，それぞれの接続関係の組み合わせごとに，

Sentence-BERT を使った深層距離学習による二値分類を行い，先行研究[3]のように，接続関係間の距離 の近さを可視化し, 被験者実験の結果とも比較する ことが有効であろう。

続いて，接続関係を逆接として誤分類する傾向が 被験者実験で見られた点について述べる.ここで，
被験者回答結果に対して, 選択候補 1 位が正解した 場合は 1 点, 2 位は $1 / 2$ 点, 3 位は $1 / 3$ 点と点数を付 け，400問を点数の高い順に並び替えた. 上位 50 問 を取り出すと, 50 問中 18 問 (36\%) を逆接が占めて おり，かつこの 18 問については，問題にはよるが， 19 名 22 名が第 1 候補に逆接と回答できているこ とが分かった. 全体的に被験者が接続関係を逆接と して誤回答する傾向を踏まえると，そもそも人間は 逆接の関係を期待して文章を認知している可能性が ある。なぜならば，接続詞の頻度の調查結果におい て, 多くのジャンルの文章において, 逆接が頻出す ることが分かっており [9], 一定の認知的バイアスが 入っていることが考えられるからである.

しかしながら, BERT モデルは, この 18 問のうち 11 問しか正しく同定できていない. たとえば, 22 名中 20 名の被験者が逆接であると正答している以下 の文章例において, BERT モデルは転換であると誤分類しており, 前後の文脈や意味を捕捉しきれてい ない可能性があることが分かった. これを確認する ためには, 逆接の接続関係を持つ二文と, 転換の二文とで，BERT モデルの Attention の違いを観察す る必要があると考えられる。

## $<$ 文章例 $>$ (正解: 逆接)

岸田文雄外相は「予算編成作業があり，十分な受 け入れ態勢がとれなかった」と述べた。（），訪日は 10 月時点で決定しており, 延期要請の理由と しては説得力を欠き，その対応は不可解だ.

さらに，BERT モデルが，並列の接続関係を対比 と誤分類する傾向について考察する．文献[7]では，並列と対比は, 共に整理の機能を有するとされるが, BERT モデルは対比を並列と誤分類する傾向よりも，並列を対比と誤分類する傾向が強いことが表 A-1 か ら読み取れる.ここで, 被験者実験の点数上位 5 名 の並列の接続関係に対する回答と, 同じく下位 5 名 の回答を比較したところ, 下位 5 名のほうが対比を 選択する傾向があることが示唆された。このことか ら，BERT モデルにとっても，対比構造を把握する 方が，並列関係を見出すよりも平易である可能性が ある。これを確認するためには，対比の接続関係を 持つ続く二文と並列の二文とで, BERT モデルの Attention の違いを観察すること, および, システム が対比と並列をより区別して捕捉できるようにする 必要があると考えられる，具体的には，先述のよう
に，それぞれの接続関係の組み合わせごとに， Sentence-BERT を使った深層距離学習による二值分類を行い，違いを捕捉させることが有効であろう。

## 6 まとめ

本研究では，計算機による文間接続関係の同定結果と校正・校閲の経験者等被験者による同定結果を 比較し, 被験者に比肩する同定性能のモデルを構築 できたことが分かった．また，計算機にも被験者に も共通して見られる誤分類の傾向があることが分か った. このような知見は, 人間が作成した文章の自動評価にも一定の貢献があると考えられる.今後は, システムに接続関係間の違いを捕捉させる取り組み や文章構造に対するモデルの Attention の観察を通 じて, より性能のあるモデルを構築していく予定で ある。

## 参考文献

1. 山本和英, 齋藤真実. 用例利用型による文間接続関係の同定. 自然言語処理, Vol.15, No.3, 2008.

2. 齋藤真実, 山本和英, 関根聡. 大規模テキストを 用いた 2 文接続関係の同定. 言語処理学会第 12 回年次大会, pp.969-972, 2006.

3. 齋藤真実, 山本和英, 関根聡. 文間接続関係の自動同定のための人間による同定分析, NL174-12, pp.65-70, 2006.

4. 若山裕介，内海彰.SVM を用いた接続関係の同定, 人工知能学会全国大会論文集, 2012.

5. 大塚淳史, 平野徹, 宮崎千明, 東中竜一郎, 牧野俊朗, 松尾義博. Recursive AutoEncoder を用いた文間の接続関係推定. 人工知能学会全国大会論文集, 2015.

6. 趙一, 曹鋭, 白静, 馬ブン, 新納浩幸. BERT の Masked Language Model を用いた二文間の接続関係 の推定. 言語資源活用ワークショップ発表論文集, Vol.5, pp.181-188, 2020.

7. 石黒圭. 「接続詞」の技術. 実務教育出版, 2016.

8. 毎日新聞記事データ集 2017 年版, 2018年版, 2019 年版, 2020 年版, 2021 年版, 2022 年版.

9. 石黒 圭, 阿保 きみ枝, 佐川祥予, 中村 紗弥子,劉 洋. 接続表現のジャンル別出現頻度について, 一橋大学留学生センター紀要第 12 号, 2009.

## A 付録

表 A-1 BERT モデルの分類結果（混同行列）

表 A-2 被験者の回答結果（混同行列）


# 文法項目を指定した第二言語学習用応答生成

岡野 裕紀 ${ }^{1}$ 船越 孝太郎 ${ }^{1}$ 永田 亮 2,3 奥村 学 1,3
1 東京工業大学 2 甲南大学 3 理化学研究所
\{okano, funakoshi, oku\}@lr.pi.titech.ac.jp
nagata-nlp2023@ml . hyogo-u.ac.jp

## 概要

語学学習やライティング支援など教育分野にお いて言語処理技術の活用が注目されている. 本稿で は，対話形式の文法学習に向けて，対話の応答文に 特定の文法項目を含める言語生成に取り組む. 生成手法として，強化学習によって生成モデルを訓練す る手法と，大規模汎用言語モデルに少数サンプルの 入力例を与えて生成する手法を検討する。 そして，強化学習の報酬関数として，文法項目の含有に加 え，多様性と流暢性の観点の導入を検討する．実験 の結果，どちらの手法でも生成が可能であること，報酬関数としては多様性よりも流暢性の考慮が重要 であることが確認された。

## 1 はじめに

言語処理技術を教育に活用する一つの方向性と して，語学学習に対話システムを活用することが注目されており, 多くの研究で語学学習者の対話相手 として導入され，その効果が検証されてきた. 先行研究 $[1,2,3]$ からは, 対話システムを語学教育に導入する利点となる特徴として, 時間を問わず利用で き，語学学習をより手軽で身近なものにできるこ と，多くの人々が慣れ親しんだチャットベースのア プリケーションなどに容易に組み込み可能であり，使用の敷居が低いこと, 個人の学習状況に合わせて 最適化できることなどが挙げられる。これらの特徴 はいずれも，対話システムが語学学習のパートナー として有用であり，より良い選択肢の一つとなりう ることを示唆していると考えられる。

また, Nagata ら [4]により, 単純な対話システムで ある ELIZA [5] を用いた場合でも学習者の文産出量 が増加することが示された. さらに，彼らの実験で は，チャットボットの文に出現する単語を学習者が 採用した結果が報告されており，学習者が知らない 言葉や自分では使わない傾向にある言葉を学習する
のに対話システムが有効であることが示唆された.本稿では，対話モデルの応答に学習者が習得した い文法項目を含ませることにより，語学学習におけ る対話モデルの可用性の向上に取り組む.ここで，文法項目とは中学・高校の英語学習で扱われる，現在完了形，仮定法，関係詞節，不定詞などの項目を 指す。対話システムとの対話を通して英文産出量を 増やすだけでなく, 学習したい文法項目に触れる機会を増やすことで優れた学習効果が期待できる.

所望の表現を含む応答文の生成を行う研究とし て，条件を満たすテキストを生成するように，事前学習済み言語モデルを誘導する補助モジュールを構築する手法 [6] や，大規模言語モデルを訓練する際 に，制御コードを一緒に学習させ，それらのコード を用いて生成を制御する手法 [7] などがある。これ らの手法は教師あり学習に基づいているため，教師付きデータセットが必要である。しかし，言語処理技術の教育応用については多くの資源が整備されて いるとは言えず，特に，文法項目に関する大規模な ラベル付き対話データセットが充実していないとい う課題がある。したがって，教師あり学習を用いる これらの手法においては，訓練に用いるデータセッ トの不足が懸念される.

そこで本稿では，大規模なラベル付きデータセッ トを必要とせず所望の文法項目を含む応答を生成す る手法として，強化学習を用いる手法と，大規模汎用言語モデルに，プロンプトと呼ばれるタスクの指示と少数のサンプルを含んだ入力を与える手法を検討する。強化学習の報酬関数には，文法項目が含ま れるかどうかを判定する分類器を用いる. また，学習が文法項目のみに偏って応答文の質が落ちないよ うに，応答文の多様性，流暢性に関する報酬関数を 設計し，それらの組み合わせの効果を検討する。

## 2 関連研究

強化学習による文生成 強化学習は，行動系列に
対して報酬関数によって与えられる非即時的な評価 に基づき，状態に応じた最適な行動方策を獲得する 機械学習の枠組みである. 出力したトークンを行動 と捉えることで, 言語生成を強化学習の問題として 扱うことができる. ニューラルネットで生成モデル を構成する場合, REINFORCE [8] などの方策勾配法 に基づく手法によって，出力に対する報酬の期待值 を最大化するようにパラメータを最適化できる. 報酬関数でベースライン関数との差分を考慮すること で報酬と確率勾配の分散を減らし学習を安定させ る，ベースライン付き強化学習がよく用いられる.

報酬関数の設計はタスクによって様々だが，従来の教師あり学習における誤差関数とは異なり,微分不可能な関数を利用できることから，BLEU， ROUGE などの評価尺度を用いるテキスト生成タス クでよく利用されている $[9,10,11]$. 深層学習に基 づく言語生成では一般に誤差関数に交差エントロ ピーが用いられ, 目的関数と評価尺度が異なること になるが，報酬関数に評価尺度を取り入れること で，そのギャップを緩和できる。

大規模汎用言語モデルによる生成 近年，タスク の説明とその例を含むプロンプトを事前学習済みの 生成型言語モデルに入力として与えることで言語モ デルの出力を制御する手法が盛んに研究されてい る [12,13,14]. 特に, GPT-3 [15] は，タスクを説明 する自然言語の指示のみが与えられる zero-shot，指示に加えてタスクの例が 1 つ与えられる one-shot,指示に加えてタスクの例が複数与えられる few-shot, いずれの場合にも学習データに含まれない例に対 して，勾配の更新や fine-tuneを行わずとも有望な結果を示した. 特に, few-shot の実験設定では, CoQA や TriviaQA において他の fine-tune されたモデルと 同等，もしくはそれ以上の値を達成している.

## 3 文生成手法

## 3.1 強化学習を用いた文生成

## 3.1.1 Self-critic 強化学習

まず，生成モデルの学習に用いる Self-critic 強化学習 [16] について説明する. 文生成における強化学習では, 生成モデルによってサンプリングされた文 $\hat{x}$ に対して，報酬関数 $R$ による報酬を係数とした尤度を最適化することで，高い報酬を得られる文が生成されやすくなるようにする. Self-critic 強化学習 は, ベースライン関数として, 生成モデル自身の貪欲法による生成に対する報酬を設定する手法であ り, 以下の式で定義される。

$
\nabla_{\theta} L_{\mathrm{SCST}} \propto-\left(R(\hat{x})-R\left(x^{*}\right)\right) \nabla_{\theta} \log p_{\theta}(\hat{x})
$

ここで， $x^{*}$ は生成モデルから貪欲法で生成された出力を表す. 貪欲法により得られた文 $x^{*}$ と比較して, サンプリングにより得られた $\hat{x}$ の報酬の值が大きい 場合， $\hat{x}$ の生成がより促進され，報酬の値が小さい 場合，生成が抑制される。

本稿では 3 つの異なる報酬関数を検討する。一つ 目は，主目的である文法項目を含めた生成のための 報酬関数である。他に，文法項目のみに偏った学習 を緩和するための関数として生成文の多様性と流暢性に関する報酬関数をそれぞれ用意する。また， batch 単位で処理を行うため, $M$ 文の入力文集合 $\boldsymbol{C}$ に対する応答文集合 $S$ に対して報酬を計算する.

## 3.1.2 文法項目含有のための報酬関数

与えられた文が文法項目を含んでいるかどうかを 判定する分類器を $F_{\mathrm{g}}()$ として，報酬関数 $R_{\mathrm{g}}()$ を以下のように定義する。

$
R_{\mathrm{g}}(\mathbf{S})=\frac{1}{|\mathbf{S}|} \sum_{s \in \mathbf{S}} F_{\mathrm{g}}(s)
$

この値が大きいほど， $\mathbf{S}$ 中の文が所望の文法項目を 用いている割合が高いことを示す.

$F_{g}()$ は, BERT [17]を用いて，入力文が文法項目 を含むかどうかの判定を行う，入力文に [CLS] トー クンを付与して BERT の入力とし，次式のように [CLS] トークンの埋め込み表現 $\boldsymbol{h}_{[\mathrm{CLS}]}$ に対し文法項目を含有するスコアを予測する。

$
F_{\mathrm{g}}(s)=\sigma\left(\boldsymbol{w}^{\top} \boldsymbol{h}_{[\mathrm{CLS}]}+b\right)
$

ここで， $\sigma$ はシグモイド関数， $\boldsymbol{w}, b$ は学習可能なパ ラメータである. $F_{\mathrm{g}}(s)$ が閾値を上回る場合に文法項目を含有すると判定し， $s$ を項目含有文とよぶ.

## 3.1.3 多様性のための報酬関数

テキストの多様性を測る指標として n-gram ベー スの指標である Distinct-N [18]を用いる。値が大き いほど多様性が高く，以下のように定義される。

$
R_{d}(\mathbf{S})=\frac{\operatorname{Count}(\text { unique }(\mathrm{n}-\operatorname{gram}(\mathbf{S})))}{\operatorname{Count}(\mathrm{n}-\operatorname{gram}(\mathbf{S}))}
$

n-gram(S) は文集合 $S$ 中のすべての n-gram を求める 関数であり, unique はその集合から重複を除去する 関数である.

## 3.1.4流暢性のための報酬関数

対話の文脈における応答文の流暢性を考えるた め， $\boldsymbol{C}$ に対する $S$ の尤度を，パラメータ $\boldsymbol{\theta}$ を持つ事前学習済みの対話モデルにより計算し, 流暢性のス コアとして定義する。

$
R_{f}(\mathbf{C}, \mathbf{S})=\frac{1}{M} \sum_{i=1}^{M} P_{\boldsymbol{\theta}}\left(s_{i} \mid c_{i}\right)
$

ここで， $s_{i}$ は $c_{i}$ に対する応答文である. したがっ て，応答文 $s_{i}$ の流暢性が高いほど，報酬の值が高く なる。

## 3.2 Few-shot プロンプトを用いた文生成

Few-shot プロンプトを用いた文生成では，大規模言語モデルに対して，図 1 のように，タスクの説明 とそのタスクのいくつかの例，最後にタスクの入力 （図 1 中の $\left.\langle c_{i}>\right.$ ）を与え，モデルがその続きを補完することでタスクに沿った出力を得る。

## 4 実験

実験では，SCoRE データセット [19] に含まれる 文法項目のうち，現在完了形，関係詞節，仮定法の 3 種類を用いた. 実験では，項目含有文生成におけ る強化学習と few-shot プロンプトの有効性を確認す る。また，報酬関数の組み合わせ方の優劣と，その 優劣の文法項目との関係を検証する。

## 4.1 データセット

対話コーパスである Daily dialog ${ }^{11}$ [20] に収録され ている対話から各対話の最初の発話を直前の発話と して抽出し, それに対する応答の生成を行った.こ れは，応答生成に以前の文脈情報が関わることを避 け，タスクを単純化するためである。

公開されている学習データを分割し，10,618 件の 学習データ，500 件の開発データ，1,000 件のテスト データとして用いた。

## 4.2 ハイパーパラメータ

Self-critic 強化学習における生成モデルの初期値 と，流暢性のための報酬関数の $\theta$ には DialoGPT [21] を使用し，サンプリングには top- $k$ サンプリング [22] を用いた. early stopping は開発データによって 10 batch ごとに評価し, patienceを 3 として学習を停止した. 学習が進むと項目含有文の生成数は増加す

1) https://huggingface.co/datasets/daily_dialog
A and B are speaking. Create B's response using the present perfect.

$==$

A: Good morning, how are you doing today?

B: I have been feeling pretty good, Dr . Smith .

$===$

A: What's your plan for your future?

B: I'd like to work in a law firm to enrich my experience and put what I've learned into practice

$==$

A: I'm going to Japan this year on vacation.

B: Have you ever been to America?

$===$

A: $<c_{i}>$

B:

図 1 現在完了形用のプロンプトのテンプレート

るが，同じような文が多く生成され，多様性が失わ れる結果が得られる. そのため, 項目含有率と多様性はトレードオフの関係にあることを根拠として， それらの積をとったものを early stopping の指標とし て採用した。

また，大規模汎用言語モデルとして GPT-3 davinci ${ }^{22}$ [15] を用い, temperature $=1$ とした. 現在完了形の生成に用いたプロンプトを図 1 に示す. その 他の設定については付録 A に詳細を記載する。

## 4.3 文法項目の含有判定に用いた分類器

3.1.2 節の報酬関数 $R_{g}$ が用いる分類器には, SCoRE データセットによって学習されたモデルを 使用した. 現在完了形，関係詞節，仮定法のそれぞ れについて分類器を学習し, 含有判定の閾値は 0.5 とした. SCoRE データセットおよび分類器の学習,性能に関しては付録 B に詳細を記載する。

## 4.4 比較手法

強化学習による生成とプロンプトによる生成を 比較し，強化学習においては報酬関数に関して，以下の 5 つの組み合わせを比較した $: R_{g}, R_{g}+R_{d}$, $R_{g} \times R_{d}, R_{g}+R_{f}, R_{g} \times R_{f}$.

## 4.5 評価尺度

入力文に対して，強化学習による生成において は，beam 幅を 10 とした beam searchにより 10 通り の応答文を生成し，プロンプトによる生成において は，4.2 節の設定のもとで 10 回生成を行った. その うち，分類器を用いて項目含有文を判定し，その中 で最も尤度が高い文を出力文とする。そして，テ ストデータに対する出力文の尤度の平均値を評価

表 1 実験結果: 現在完了

値とする。これを $\mathrm{GOAL}^{3)}$ と呼ぶ. 尤度は DialoGPT により算出する。 なお平均値の算出に際し, 出力文 に項目含有文が含まれない場合，その事例は除外す る.また，含有割合は，項目含有文が出力文に含ま れる割合である。

## 5 実験結果

表 1, 2, 3 に文法項目ごとの実験結果を示す. 現在完了形，仮定法については $R_{g} \times R_{f}$ が最も高い GOAL 值を示し, 関係詞節については $R_{g}+R_{f}$ が最 も高い値を示した. $R_{g}+R_{f}$ はいずれの実験設定に おいても高い GOALを示した. 生成例を付録 Cに 示す. 強化学習の各設定を強化学習前の DialoGPT と比較すると，いずれも含有割合は向上しており，強化学習を用いて項目含有文を生成できることが確認された．また，いずれの場合においても，学習前 と比べて Distinct-1,2 の値は低下した。

現在完了と関係詞節では，多様性のための報酬関数 $R_{d}$ を用いず，流暢性のための報酬関数 $R_{f}$ を用い るほうが高い Distinct 値が得られており， $R_{d}$ の効果 は限定的だと考えられる. 理由として以下のことが 考えられる。まず，多様性スコアが高いと判断され た文が生成されやすくなったとしても，batch 単位と いう狭い範囲における多様性を計算しているため， モデルの多様性を正しく反映するとは限らない。ま た， batch に含まれる入力文が似ている場合，出力に おける多様性スコアは低下するのが自然だが，現状 の報酬関数ではそれを十分考慮していない。また，流暢性を考慮することで，固定的なパターンの乱用 （固定的なパターンにより $R_{g}$ のスコアは上がる）が 抑制される.これらのことから， $R_{d}$ の値が高い文 を生成するように学習させることは必ずしも多様性を改善するとは限らず，多様性のための報酬関数 にはさらなる改善が必要と考えられる。すべての文法項目において，流暢性のための報酬関数 $R_{f}$ を適用した場合に GOAL 値の改善が見られた. 従って，

3) GOAL: Grammar Oriented Average Likelihood表 2 実験結果: 関係詞節

表 3 実験結果: 仮定法

$R_{f}$ は文法項目含有の制御を果たした上で，生成文 の質の低下を抑止する効果があったと考えられる。強化学習とプロンプトを比較すると，プロンプ トによる生成では高い Distinct 值が得られていた。 DialoGPT が基準となる GOAL 値では強化学習の方 が高いものの, 目視で確認した範囲では GPT-3 の出力も遜色ない. 仮定法以外では, 含有割合も同程度得られている。本稿が想定する利用形態では，複数候補を生成して適当な項目含有文を選択すればよい ので， 0.53 程度の含有割合でも問題ない. したがっ て，本稿の単純な設定下では，学習も不要なプロン プトによる生成手法に分があるといえる。しかし， より複雑な生成の制御を行いたい場合には，強化学習に優位性が生まれる可能性もある。

## 6 おわりに

強化学習とプロンプトによる応答生成手法を比較 し，どちらの手法でも期待した生成結果を得られる ことを確認した．多様性の高さと学習が不要である ことを考慮すると，本稿の設定下ではプロンプトに よる手法に優位性が認められる。強化学習で用いる 報酬関数については，多様性のための報酬関数の効果が限定的である一方で，流暢性のための報酬関数 の有効性が示唆された. 今後の方向性として, 対象 とする文法項目の拡充や，より複雑な制御が可能な 生成手法の検討が挙げられる. 本稿では学習者が特定文法項目を含む発話に触れる機会の増加を目指し たが，学習者が次発話で文法項目を使用することを 促す先行発話の生成も検討したい.

## 参考文献

[1] Na-Young Kim. Effects of voice chat on efl learners' speaking ability according to proficiency levels. Multimedia-Assisted Language Learning, Vol. 19, No. 4, pp. 63-88, 2016.

[2] Stergios Tegos, Stavros Demetriadis, and Thrasyvoulos Tsiatsos. A configurable conversational agent to trigger students' productive dialogue: a pilot study in the call domain. International Journal of Artificial Intelligence in Education, Vol. 24, No. 1, pp. 62-91, 2014.

[3] Sherry Ruan, Angelica Willis, Qianyao Xu, Glenn M Davis, Liwei Jiang, Emma Brunskill, and James A Landay. Bookbuddy: Turning digital materials into interactive foreign language lessons through a voice chatbot. In Proceedings of the Sixth (2019) ACM Conference on Learning@ Scale, pp. 1-4, 2019.

[4] Ryo Nagata, Tomoya Hashiguchi, and Driss Sadoun. Is the simplest chatbot effective in english writing learning assistance? In LeMinh Nguyen, Xuan-Hieu Phan, Kôiti Hasida, and Satoshi Tojo, editors, Computational Linguistics, pp. 245-256, Singapore, 2020. Springer Singapore.

[5] Joseph Weizenbaum. Eliza - a computer program for the study of natural language communication between man and machine. Communications of the ACM, Vol. 9, No. 1, pp. 36-45, 1966.

[6] Zhaojiang Lin, Andrea Madotto, Yejin Bang, and Pascale Fung. The adapter-bot: All-in-one controllable conversational model. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 16081-16083, 2021.

[7] Nitish Shirish Keskar, Bryan McCann, Lav R Varshney, Caiming Xiong, and Richard Socher. Ctrl: A conditional transformer language model for controllable generation. arXiv preprint arXiv:1909.05858, 2019.

[8] Ronald J Williams. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine learning, Vol. 8, No. 3, pp. 229-256, 1992.

[9] Romain Paulus, Caiming Xiong, and Richard Socher. A deep reinforced model for abstractive summarization. In International Conference on Learning Representations, 2018.

[10] Lijun Wu, Fei Tian, Tao Qin, Jianhuang Lai, and Tie-Yan Liu. A study of reinforcement learning for neural machine translation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 3612-3621, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[11] Karthik Narasimhan, Adam Yala, and Regina Barzilay. Improving information extraction by acquiring external evidence with reinforcement learning. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2355-2365, Austin, Texas, November 2016. Association for Computational Linguistics.

[12] Jiaoda Li, Ryan Cotterell, and Mrinmaya Sachan. Probing via prompting. arXiv preprint arXiv:2207.01736, 2022.

[13] Laria Reynolds and Kyle McDonell. Prompt programming for large language models: Beyond the few-shot paradigm. In Extended Abstracts of the $2021 \mathrm{CHI}$ Conference on Human Factors in Computing Systems, pp. 1-7, 2021.

[14] Yao Dou, Maxwell Forbes, Rik Koncel-Kedziorski, Noah A Smith, and Yejin Choi. Is gpt-3 text indistinguishable from human text? scarecrow: A framework for scrutinizing machine text. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 7250-7274, 2022.

[15] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter,
Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. CoRR, Vol. abs/2005.14165, , 2020.

[16] Steven J Rennie, Etienne Marcheret, Youssef Mroueh, Jerret Ross, and Vaibhava Goel. Self-critical sequence training for image captioning. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 7008-7024, 2017.

[17] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[18] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the $\mathbf{2 0 1 6}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, $\mathrm{pp}$. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[19] Kiyomi Chujo, Kathryn Oghigian, and Shiro Akasegawa. A corpus and grammatical browsing system for remedial efl learners. Multiple affordances of language corpora for data-driven learning, pp. 109-130, 2015.

[20] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. Dailydialog: A manually labelled multi-turn dialogue dataset. arXiv preprint arXiv:1710.03957, 2017.

[21] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and Bill Dolan. DIALOGPT : Large-scale generative pre-training for conversational response generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 270-278, Online, July 2020. Association for Computational Linguistics.

[22] Angela Fan, Mike Lewis, and Yann Dauphin. Hierarchical neural story generation. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 889-898, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[23] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019

[24] 投野由紀夫（編）。学習者コーパスによる英語 C E F R レベル基準特性の特定と活用に関する総合的研究, 2016 . https://kaken.nii.ac.jp/ja/grant/KAKENHI-PROJECT-24242017.

 \\

DialoGPT & I love seafood! \\
w/ $R_{g} \times R_{f}$ & I've never been to a seafood restaurant. \\
GPT-3 w/ few-shot & I've never been to that restaurant for a lunch buffet . \\

DialoGPT & I don't have a package tour. \\
w/ $R_{g} \times R_{f}$ & I don't, but I've heard of it. \\
GPT-3 w/ few-shot & Definitely . In fact, I have been living in Hollywood for around twenty days . \\

図 2 比較手法および DialoGPT の出力の比較

## A 実験の詳細設定

Self-critic 強化学習における top- $k$ サンプリングでは， $k$ を 50 とした， $R_{d}$ における Distinct-N において， $N=2$ と した. 学習時にパラメータを AdamW [23] によって最適化し, 学習率は $2 e^{-5}$, L2 正則化の係数を $1 e^{-2}$ とした. Distinct-Nを適切に計算するために, 最小出力長を 10 とし た. batch size は 10 , 最大 1100 イテレーションとした.

## B 文法項目の判定に用いた分類器

強化学習の報酬関数として文法を含むかどうかの判定 を行う分類器を用いた。

分類器の構造は，本文の 3.1.2 節で述べたように，判定 を行う入力文に対して，BERTの [CLS]トークンの埋め込 みから線形層とシグモイド関数により文法項目を含むか どうかの推定を行う。

今回作成した分類器には, 学習のためのデータセット が必要である. ただし, 必要なデータは対話形式である 必要はなく, 言語モデルを教師学習する場合と比べ小規模でよい，また，データが得られない場合には正規表現 による分類で代替可能である.

ここでは, 分類器の学習に用いたデータセットと学習時の設定について述べ，分類器の性能を正規表現を用 いたルールベースによる分類と比較する. 正規表現は CEFR-J の正規表現リスト [24] に基づいて作成し，現在完了形において分類器と性能を比較した。

## B. 1 SCoRE データセット

文に対して文法項目が人手により付与されている SCoRE データセット ${ }^{4}$ [19]を分類器の学習に用いた. し たがって，文法項目は SCoRE データセットに含まれる用例について扱うこととする. SCoRE データセットは大分類としておよそ 20 種類の文法項目が付与されており, 表 4 亿今回対象とした文法項目に該当するデータの件数を示 す.また，項目内においても複数の用例が収録されてお り, 例として仮定法では, I wish, if I were, if 過去形, if had 過去分詞などが収録されている.

分類器の学習には, 対象の文法項目が付与された正例 の他に, 対象の文法項目が付与されていない負例が必要 となる。そこで，負例には SCoREデータセット内から対象の文法項目ではない文法項目が付与されている文を用 いる. ただし，対象の文法項目が付与されていない全て

4) https://www.score-corpus.org/表 4 SCoREデータセットの統計量

の文を負例とすると，適していないデータが含まれる可能性があり，また，データ中の割合が大きく偏るため, 人手によって負例に適しているかを確認して分類の学習に 用いるデータセットを構築した. 得られた分類用のデー タセットから $80 \%$ を学習データ，20\%をテストデータに分割した. 最終的に, 現在完了には, 学習データとテスト データをそれぞれ 1,222 ，および 306 件とした. 関係詞節 と仮定法には，学習データを 1,977 件，テストデータ 495 件とした。

## B. 2 ハイパーパラメータ

分類モデルには BERT (bert-large-uncased)を初期値とし て使用した. 学習時にパラメータを AdamW によって最適化し, 学習率は $2 e^{-5}$, L2 正則化の係数を $1 e^{-2}$ とした. Batch size は 10 ，エポック数は 10 とした. 本実験におい ては，分類器はテストデータにおいて最も高い性能を示 したモデルを用いた。

## B. 3 分類性能

表 5 にそれぞれの文法項目に対する分類器の分類性能 を示す. 評価尺度に正解ラベルと予測ラベルの間の正解率を用いて評価した. 実験では，現在完了において正規表現よりも BERT の方が分類性能が高かったため，他の 項目についても BERTを用いた分類器を報酬関数として 採用した。

## C 出力例

現在完了形の出力例を図 2 に示す. Daily dialog や DialoGPT と比較して, 学習後は現在完了を用いた応答文 となっていることが確認できる。 その上，入力に対する 応答として破綻のない応答となっている。


# あいまい文献検索と文章クラスタリングによる 学術研究データベース検索機能の提案

松井我颯 ${ }^{1}$ 中島陽子 ${ }^{1}$ 本間宏利 ${ }^{1}$
1 釧路工業高等専門学校 創造工学科
\{yoko, honma\}@kushiro-ct.ac.jp

## 概要

データベース検索時にユーザーが適切な研究分野や 検索に効果的なキーワードを知らない場合，必要な情報を見つけることは困難である. 本研究では形態素解析と tf-idf 値を用いて各研究分野内で特徴的な単語を 収集し，word2vec を用いて単語の意味や類似度を数值的に表す.これにより, 学術研究データベースに揭載されている研究記事の検索において，検索ワードが 具体的な名称でなくとも利用者の要求する研究記事を より柔軟に提示可能な検索機構を提案する.

## 1 はじめに

近年，研究課題や研究事例のデータベースが数多く 存在する. それらは先行研究や最新研究の動向を知る ために利用できるが，掲載されているデータ量が多く なるほど, 検索ワードそのものを含んでいる意図しない 情報も検索してしまい，利用者が望む情報を検索する ためにはさらに絞り込むことが必要になってくる [5].研究事例や論文検索のためのデータベースを利用する 際には，研究分野や研究内容に関するキーワードなど を用いることが一般的である. 必要な情報にたどり着 くためには検索キーワドを探す労力や時間的コストが かかってしまう [6]. 利用者が検索キーワドを入力す る際の単語や文を分析し, 利用者が所望していると推測される情報を提示するための情報検索支援サービス が求められている.

本研究は検索の際に最適な探索ワードを入力しなく とも，利用者が入力した文章や単語を分析と専門分野 において詳細な分類を選択することでより専門的な 情報を取得可能にすることを目的としている。提案す る機能は，利用者の未知の智を補完することで既存の データベースから適切なデータを獲得することが可能 になる。また，文章クラスタリングの技法を用いて，研究データベース内の類似する内容の研究を自動的に グループ化することで，これまでの研究手法やそれら の研究成果を時系列にピンポイントに獲得することが 容易になり，新たな課題の発見や問題解決への効果的 なアプローチを効率的に獲得が可能になる.

本研究では, 日本国内の研究者や研究課題のデータ ベースサイトである「日本の研究.com」 ${ }^{1}$ に掲載されて いる研究関連記事の検索において，検索キーワド補完 と研究分野においての小分類のクラスタリングを用い て, 利用者が所望する研究記事をより柔軟に提示可能 な検索機能の提案と実装を行う.

## 2 「日本の研究.com」について

「日本の研究.com」は, 日本国内で研究されている 研究課題や研究者についての国内最大級のデータベー スサイトで, 科学研究費助成事業や独立行政法人科学技術振興機構などから配信されているニュースやプレ スリリースを公開している. 研究課題のタイトルや概要文などの文章から単語に分解し処理を施し, 研究分野を推定しており, 人文科学, 社会科学, 医歯薬学,生命科学, 理学, 工学の 6 つの大分野に分類される (図 2). 1 つの大分野はさらに 6 つの小分野に区分さ れる. 従って，各データの推定分野は，大分野 $6 \times$ 小分野 6 の合計 36 分野で推定されるタグが付与されて いる.「日本の研究.com」では, 検索キーワドによる検索機能，推定分野を用いた検索機能，統計データやラ ンキングなどの機能を提供している.

本研究では，利用者が所望する情報を得る場合に利用する検索機能に注目し，データベースをより有効に 利用するための機能を提案する.「日本の研究.com」に おいて検索機能を利用する場合，次に述べる 2 点の事象に直面する。
^{1}$ 日本の研究.com : https://research-er.jp/
}

図 1: 推定分野の構成

1 点目は, 利用者が検索キーワドに入力した単語と は関連のない分野内から記事を取得してしまう場合が ある. 現在の検索機構では, 利用者が検索した単語が 含まれている記事を, 研究内容に関わらず提示してい る.そのため, 研究内容が利用者が望んでいない分野 の記事でも検索結果に表示されてしまう。例として，利用者が「歯」という単語で検索した場合に，小分野 が『歯学』や『生物学』に属する記事を提示すること が望ましいが,「歯止めがきかない」のような単語が本文中に含まれている場合や,「医歯薬学分野の研究グ ループに所属している」のような研究者についての紹介文が含まれている場合には，検索ワードである「歯」 とは関係のない分野の記事でも検索結果として提示さ れる.

2 点目は, 推定分野を利用して記事検索する際に，特定の分野への絞り込みが難しい場合がある. 現在サ イトで定義されている小分野においてそれぞれに含ま れる研究領域が広いため, 検索ワードのみで小分野か ら記事の取得を試みる場合，ピンポイントで所望の記事を取得するのが難しい。

この 2 点の事象に対応するために，あいまい文献検索機能と小分野をさらに細分化した小分類の生成を提案する.

## 3 提案機能の概要

あいまい文献検索機能と小分類生成についての概要図を図 3 に示す。あいまい文献検索機能は検索ワード と研究記事のテキストデータを入力とし，検索ワード から類義語と連想語を求め, 研究記事から生成した小分野ごとの重要語リストの単語と比較し重要度の高い 類義語と連想語が含まれる研究記事を提示する. 小分類生成は，小分野ごとのテキストデータを入力とし， 6 クラスにクラスタリングを行い小分類の定義を行う.

図 2: あいまい検索機能と小分野の細分化の概略

## 4 あいまい文献検索機能

あいまい文献検索機能は検索ワードが最適なキー ワードではなくとも利用者の望む検索結果を提示す る. 手順を以下に示す.

1. 小分野ごとに, 各分野内で特徴的な単語をまとめ た重要語群リストを作成する。

2. 利用者が入力した検索ワードとその類義語・連想語を, 小分野ごとの重要語群リストと, 単語ベク トルを用いて比較する。

3. 検索ワードとその類義語・連想語が重要となって いる分野の研究記事を検索結果として提示する.

類義語・連想語および重要語群リストについては以下で説明する。

## 重要語群リストの作成

重要語群リストは, 小分野ごとの特徵的な単語を自動的に抽出しリスト化する. 重要後は分野内の特徴的 な語を表している. 自動抽出にはある文書を特徴づけ る重要な単語の重要度を示す手法の一つである, Tf-Idf 値を用いる。

tf (Term Frequency) は, ある記事内の単語頻度で あり, 頻出する単語に高い数值を示す, 式 1 で表され る. $f(t, d)$ は記事 $d$ 内における単語 $t$ の出現回数を 表し, $\sum_{t \in d} f(t, d)$ 記事 $d$ 内における全単語の出現回数の和を表す.

$
t f\left(t_{i}, d_{j}\right)=\frac{f\left(t_{i}, d_{j}\right)}{\sum_{t_{k} \in d_{j}} f\left(t_{k}, d_{j}\right)}
$

idf (Inverse Document Frequency) は, 逆文書頻度 であり, 複数の文章で頻出する単語に低い数值を示す,式 2 で表される. $N$ は全記事数を表し， $d f(t)$ は単語 $t$ が出現する文書数を表す.

$
i d f\left(t_{i}\right)=\log \left(\frac{N}{d f\left(t_{i}\right)}\right)+1
$

Tf-Idf 值は $t f$ と $i d f$ の積で算出する式 3 で表される.

$
t f i d f=t f \times i d f
$

記事のテキストデータの形態素解析 ${ }^{2}$ を行い名詞と 固有名詞を抽出し, 各小分野内における単語ごとの TfIdf 值を求める [3]. 小分野ごとに Tf-Idf 值上位 50 単語を採用し，それらを重要語として重要語群リストを 生成する.

小分野ごとに重要語を抽出した重要語群リストの各 50 単語のうちの一部を表 4 に示す.

## 類義語と連想語の取得

検索ワードの類義語と連想語は，類義語シソーラスお よび連想語シソーラス $\left([2\right.$, 日本語語彙体系 $]$, weblio $\left.^{3}\right)$ を用い取得する．類義語と連想語は検索ワードの拡張検索ワードとして利用する．検索ワードで取得した類義語と連想語の例を表 4 に示す.

## キーワードリストから適切な小分野の選択

次に，キーワードリストリストと小分野の重要語群 リストを用いて，検索ワードに最も意味が近い小分野を選択する手法について説明する．単語の意味は 周囲の単語によって形成されるという分布仮定に基づ いて単語の意味べクトルを分散表現として表現する Word2Vec 4 を用いて，単語を分散表現に変換する.単語を分散表現として扱うことで，単語同士の類似度 や意味の関係を数值的に表現することが可能になり，単語間の関係性をより正確に捉えることができる.

図 4 に示すように，単語の分散表現を用いて，キー ワドリストの単語である検索ワードとその類似語およ び連想語と小分野ごとの重要語リストの各単語の類似度を求める. 求めた類似度は小分野ごとに和を求め, その値が最大になる小分野を検索ワードに関連する 小分野として選択する．ただし，各単語の類似度がし きい值以下の場合は関連が弱いとして除外する.キー ワードリストとの類似度が最も高かった小分野に属す る記事を優先的に検索結果として出力することで，検索ワードと関連の弱い分野内からの記事が出力されに くくなる.
^{2}$ MeCab: https://taku910.github.io/mecab/

${ }^{3}$ https://ejje.weblio.jp/

 }^{4}$ https://code.google.com/archive/p/word2vec/

図 3: 検索ワードから関連小分野を推定するための重要語群リストの各単語とキーワードリストの各単語の 類似度計算

## 5 小分類の生成

小分野を細分化するために，各小分野の記事に対し クラスタリング手法を用いる. 以下の処理を小分野ご とに行い，各小分野に対し小分類を生成する.

1. 最適なクラスタ数をエルボー法により求める

2. 研究記事を求めたクラスタ数でクラスタリング する

3. 各クラスタ名を人手により付与し, それらを小分類の項目と定義する

## クラスタリング

クラスタリング手法には，データを $\mathrm{k}$ 個のクラスタ に分類する非階層型クラスタリング手法のひとつであ る k-means 法を採用する． k-means 法は，各クラス タを代表する中心点を求め, それぞれのデータ点を最 も近い中心点に属するクラスタに分配する. その後,中心点を再計算し, 全てのデータのクラスタが定まる までこの操作を繰り返すことで, 最終的にデータを $\mathrm{k}$個のグループに分類することが可能である. クラスタ 数 $\mathrm{k}$ は，エルボー法を用いて決定する.

クラスタリング結果の各クラスには各クラスタに 属する文の形態素解析を行い, 名詞, 動詞, 形容詞の Tf-Idf 值を求め特徵語を抽出し, 科学研究費助成事業 データベーズで使用されている分野名を参考にクラ スタ名を付与する [4]. クラスタ名は小分類名とする.小分野 36 個に対し同様の処理を行い小分類を生成す る. 小分野「情報学」の研究記事 100 件をクラスタ

表 2: 検索ワードから取得した類義語，連想語の例

 &  \\

リングする実験を行った. エルボー法で求めた 4 クラ スにクラスタリングを行った. 小分類の各特徴語と付与した小分類名を表 3 に示す.

表 3: 各クラスタ内での特徴的単語

## 6 おわりに

本研究では, 学術研究データベースの検索効率の向上を目標とした機能の提案を行った. 利用者が入力し た検索ワードの類義語と連想語を用い検索ワードに最 も意味が近い小分野を自動的に選択するあいまい文献検索機能と小分野の細分化を行い新たに小分類のカテ ゴリの生成を行い，利用者が専門用語や検索技術に精通していなくともあいまい検索機能により検索ワード に関連する検索結果の提示と小分野よりさらにコアな 小分類からより専門に近い記事を提示することが可能 になった。 小分野「情報学」のみで実験を行なったが，今後は, 全ての小分野において実装し, 提案機能の検証を行う予定である．また，あいまい文献検索機能に おいて類義語・連想語が取得できない場合に対し，類義語・連想語シソーラスを更新し改善を行う予定である.

## 謝辞

本研究の遂行にあたり株式会社バイオインパクト,株式会社リバネスの両社から多大なご助言，ご協力を 頂いたことに深く感謝します. 本研究は JSPS 科研費 $20 \mathrm{~K} 11093$ 基金基盤 (C) の助成を受けたものです.

## 参考文献

[1] 小野田崇, 坂井美帆, 山田誠二. k-means 法の様々 な初期值設定によるクラスタリング結果の実験的比較. In: 第 25 回人工知能学会全国大会論文集, pp. 1J1OS91-1J1OS912011, 2011.

[2] 池原悟, 他. 日本語語彙大系 CD-ROM 版. 岩波書店, 1999

[3] 原田大地, 荒木健治. 単語の分散表現及び tf-idf 法 を用いた自動要約システム. 第 9 回 Web インテリ ジェンスとインタラクション研究会, pp. 49-50, 2016 .

[4] 佃陽平, 森田和宏, 泓田正雄, 青江 順一. Web 検索エンジンを用いた分野連想語の自動抽出に関す る研究. 言語処理学会第 12 回年次大会, pp. 648651,2006

[5] 宮入暢子. 異種データの横断検索・分析ツールが切 り拓く可能性. 第 16 回情報プロフェッショナルシ ンポジウム, 情報科学技術協会, pp. 43-48, 2019.

[6] 鹿島好央, 北山大輔. Word2Vec と Web 検索を 用いた検索クエリ置換手法. 第 9 回データ工学 と情報マネジメントに関するフォーラム (DEIM Forum 2017), C6-1, 2017.


# 多重対応分析とアスペクトベース感情分析を組み合わせた 受講者満足度調査データの分析手法の開発

藤本一男 1,2 大畑和也 1,3
1 国立研究開発法人 情報通信研究機構 (NICT) サイバーセキュリティ研究所
ナショナルサイバートレーニングセンター
2 津田塾大学 数学・計算機科学研究所 ${ }^{3}$ 法政大学理工学研究科応用情報工学専攻
\{kazuo. fujimoto, kazuya_ohata\}enict.go.jp kazuo. fujimoto2007@gmail.com

## 概要

本研究は，NICT が主催する CYDER ${ }^{1)}$ の受講者ア ンケートに対して，多重対応分析 $\left(\mathrm{MCA}^{2)}\right)$ [2,3] と アスペクトベース感情分析 $\left(\mathrm{ABSA}^{3}\right)$ ) [4]を組みあわ せて，概ね「満足」の結果をあらわしているデータ から改善すべき課題を抽出する方法の開発である

本研究では，MCAを用いて，受講生空間を生成し そこに満足度関係の変数を投影することで，満足， および不満の構造を可視化した ${ }^{4)}$. 次に, 自由記述回答に埋もれている両儀的な語を ABSAによって抽出，それをタグ付けし，MCAによって生成された 空間上の個体へのマッピングを行なった. こうした 処理により全体的に「満足」の回答から課題を抽出 することが可能になった.

## 1 はじめに

受講生アンケートにかぎらず，満足度調査データ によくみられるのが，全体的に「満足」という傾向 である． 5 件法による選択肢では，殆どの回答が 5 と 4 に集中している. しかし，そのイベントは概ね 成功であったですませるならともかく, 受講者アン ケートの目的は，そのイベントの改善にある. であ れば，その中からいかに課題を抽出できるかとい うことが重要になる。このような問題設定のもと,我々は，以下の方針で分析を進めた。

・EDA アプローチ [5] によるデータ構造の想定

1) CYDER (Cyber Defense Exercise with Recurrence: 実践的サイ バー防御演習）とは，サイバー攻撃を受けた際の一連の対応 (インシデント対応) をパソコンを操作しながらロールプレイ 形式で体験できる演習 [1]

2) Multiple Correspondence Analysis

3) Aspect Based Sentiment Analysis

4） MCA のこうした使い方は，LeRoux たちによって幾何学的 データ解析 GDA [2] と呼ばれている.
- 自由記述回答への注目

・アスペクトに基づく自由記述部分の分析
- 選択肢回答分析と自由記述分析の連結

選択肢回答と自由記述分析を組み合わせるアプ ローチは今日，多く実践されているが，我々のアプ ローチは，以下の点に独自性を有する。
- 選択肢回答については，MCAを使うことで，個々の回答者の分布位置を幾何学的に確認しな がら分析が可能になった.

・自由回答については，両儀性を有する重要語句 に，ABSAを用い positive/negative のタグを付与 した.
- 各回答者の幾何学的位置と自由回答の関係が分析可能となった。

分析に用いたのは, 2020 年度に開催された CYDER，A コース受講者の受講後アンケート・デー タ5)である. 以下，CYDER2020Aとして参照する。

なお，処理言語は，R [6] と Pythonを用いた.

## 2 EDA アプローチと MCA よるデー タの構造化

EDA アプローチにより変数間の関係を図 1 のよう に仮定した。

## 2.1 「スキル向上」と「理解」の関係

まず，変数「スキル向上」が受講がもたらす満足度の指標になること，それを目的変数とすれば，変数「理解」が説明変数となることを確認した. また， その理解 -スキル向上関係は, CYDER の実施環境 にまつわる変数である「講師説明」「サポート」「対応」「進度」が関係していることを確認した。

ここで，「理解」と「スキル向上」の関係をみる

5） 受講者総数 2001, 質問総数 (22)，そのうち，選択肢回答設問 $(15)$ ，自由回答設問 $(7)$

図 $1 \mathrm{EDA}$ と $\mathrm{MCA} / \mathrm{CA}$ にるデータの構造化

図 2 「スキル」と「理解」の対応関係

と, 理解の度合いに応じて「スキル向上」感が増加 しているわけではないこともあきらかになった (図 2). つまり，理解していることを確認してスキル向上を確認する側面（理解確認によるスキル向上）の 他に，自分の理解が欠如していることを自覚するこ とを通じて課題が明確になるという側面での「スキ ル向上」感もあるわけである（克服課題の明確化と いうスキル向上).

## 2.2 自由記述回答への注目

この状況を踏まえて，「理解」の回答を選択した 理由を聞く自由回答をテキストマイニングの手法 を用いて，分析した ${ }^{6)}$.ここで得られた共起ネット ワーク図 (図 8) をもとに $\mathrm{KWIC}^{7}$ ) で内容を確認する と，頻出語の中に，positive な用法で用いられている ものと, negative な用法で用いられているものがあ ることが明らかとなった. この区分は，受講生分析 を行う場合に重要であると考え ABSAを用いて，自由記述文自体に, Postive/Negateive のタグをつける こと，また，この重要頻出語の変数を追加した.

## 3 ABSA を用いた自由記述文からの 意見抽出

サービスや商品提供者はユーザーに対してアン ケートやレビューを募ることがあり，ユーザーの意見を理解することはサービスの改善や商品販売の 戦略立案につながる．意見を文章で表現することが できる自由記述のアンケートやレビューでは，ユー ザーは満足もしくは不満足な点についてありのまま を記載することができるため，あらかじめ定められ た項目や数値を選択する選択肢回答よりもきめ細か な意見の抽出が可能である. 自由記述文は数量化し て意見を集約する分析がそのままでは難しく，一件 ずつ手動で意見抽出を行うことは人件費や時間のコ ストがかかるため，機械的な分析手法の開発が望ま れる。

これらのニーズに対し，深層学習を用いて，自由記述文中に含まれる意見に関する重要な単語を抽出 するアスペクトベース感情分析 (ABSA) が広く行わ れている [4]. アンケートやレビューには満足な点 と不満足な点が一つの文に混在しているケースがみ られ，意見の対象が何であるか，その対象に対して どのような感情を持つかを明らかにするため，アス ペクト語の抽出 Aspect Term Extraction (ATE) や抽出 した語の感情分析 Aspect Polarity Classification (APC) など，複数の関連タスクが研究されている [8].

選択肢回答と自由記述の両方を含むアンケートや レビューでは，両方の分析結果を組み合わせること でより詳細な説明性を持つ分析が行えることが期待できる。そこで本研究では，自由記述文に対して ABSA を行い，アスペクト語抽出と感情分析から得 られた結果を，数量化を行う分析として用いること のできる要素の一つとして加える手法を提案する.

まずはじめに，CYDER2020A の自由記述文に対し てアスペクト語とその感情についてラベル付与をお こない，どの程度アスペクト語の抽出と感情の推定 が行えるかを検証する予備実験を行った。その後，残りのデータセットに対しても同様の抽出と推定を 行い，図 3 に示すように，得られた結果を元に出現頻度上位の単語が含まれる回答にフラグを立てるこ とで，選択肢回答の分析で用いることのできる項目 として追加した。

図 3 意見抽出と項目追加の枠組み

## 3.1 ABSA モデルの性能評価

ABSA で使用するデータセットは文中に含まれる 単語や句ごとの細かい粒度でラベルが付与されるた め，一文に対して一つのラベルが付与される一般的 な文レベルの感情分析データセットと比較してラベ ル付与コストがかかる. アスペクト語および感情極性の両方についてラベルが付与された日本語データ セットは，我々の知る限り chABSA-dataset ${ }^{8}$ ) や楽天 データセット [9] と限られている. そのため, 本研究ではデータセットのドメインに依存しない一般的 な語の抽出を期待して, 言語モデル DeBERTaV3 [10] をもとに，英語や中国語を含む 8 つの言語から 20 を超えるデータセット [11] で学習した多言語モデ ルを CYDER2020A の自由記述回答に対して適用し，追加の学習を行っていない状態でアスペクト語と感情がどの程度正しく抽出・予測することができるか を予備実験として検証した。

本研究で使用したモデル9) は，アスペクト語の抽出と, 抽出した単語を positive/Neutral/negative に分類する感情分析を同時に行う，複数のタスクを同時 に行うことで性能の向上が期待できるマルチタスク 学習 [12] を導入した LCF-ATEPC [13] である. モデ ルの入力は，文単位で分かち書きした単語シーケン スであり，主な出力はアスペクト語と感情，及び予測確率であるが，本研究ではアンケート結果をもと にした改善と課題抽出を目的としているため, 感情 が positive または negative と予測されたアスペクト 語のみを用い，Neutral と予測された語は全て除外 した.

表 1 アスペクト語抽出と感情推定のベンチマーク

## 3.2 予備実験詳細とデータ加工

図 1 より，CYDER2020Aの 3つの質問項目に対す る自由記述の回答 (自由記述 15-2: 理解理由，自由記述 20: 気づき，自由記述 22: 全体感想)をそれぞれ文単位に分割し，100 件の文に対して手動でラベルを 付与した. 文の総数は 3,350 , 一文あたりの平均文字数は $\mu=31.39$, 標準偏差 $\sigma=18.64$ より, 文字数 $c$ が $\mu-\sigma<c<\mu+\sigma$ を満たす文の中から無作為に 100 件を選び，検証用データとして作成した. デー 夕作成後, 各文に対して Mecab ${ }^{10)}$ [14] を用いて形態素解析を行い，各トークンごとにアスペクト語で あるかどうかと，アスペクト語である場合はその感情ラベル positive/negative を付与したところ，全体で 1633 個の単語トークンの中に positive 65 件, negative 38 件のラベルが付与された. なお, 図 5 にラベル付与例とその推論結果を示す。

この検証用データに対して LCF-ATEPC モデ ル [13]を用いて推論したところ, positive 60 件, negative 58 件, 合計 118 件のアスペクト語が抽出さ れた. ATEタスクでは各トークンがアスペクト語で あるかどうかの一致を Precision，Recall，F1 で評価 し, APC タスクでは推論結果と検証用データの両方で抽出された語に対し, positive/negative のタグが 一致するかどうかを Accuracy で評価した. 表 1 に， ATE タスクでは予測確率 50\%で各トークンをアス ペクト語として検出するランダムな予測を，同様に APC タスクでは positive/negative 共に 50\%の確率で 予測する，ランダムな予測を 1000 回行った場合の 平均値を Random とし, LCF-ATEPC モデルとの比較 を示す. ATE タスクにおいては Precision のスコア が Random と比較して上回り, CYDER2020A データ セットが未学習かつ事前学習に含まれない日本語を 用いたモデル検証において，ある程度の検出性能を 有するといえる。APC タスクにおいては，抽出した 単語の感情極性の推論が高い性能で行えることを示 しているといえる.

10) https://taku910.github.io/mecab/
次に，単語抽出と推論の性能が確認できた LCFATEPC モデルを CYDER2020A の残りのデータに 対して適用し，アスペクト語の抽出と感情の推論 を行い，極性ごとに抽出された単語を出現頻度 を基準に並べた。表 2 より，出現頻度上位には， negative/positive 共に「演習」,「内容」,「知識」という 単語が共通して含まれていることがわかる。なお， negative で最も出現頻度の多い「時間」は positive で はほとんど抽出されなかった。

表 2 抽出した出現頻度上位 5 単語

さいごに，自由記述を含むアンケート結果に対し て, 図 3 に示すように, これら出現頻度上位 5 つの 単語及び極性が検出された自由記述文に対してそれ ぞれ各単語の出現フラグを立てた項目を追加し，選択肢回答分析に用いるデータとして加工した。

## 4 選択肢回答分析と自由記述分析の 連結

こうして，新たに修飾された自由記述部分をもち いて再度，共起ネットワークを確認 (図9) し，「理解」を内容の確認のみならず克服点の確認が自覚さ れることでもスキル向上を意識できることが明確に 区分されていることを確認した.

図 4 MCA による個体の分布

以上の過程を経て，MCAによって生成された個体マップ $\left(\right.$ 図 4) ${ }^{11)}$ 上に, 自由回答で得られた重要ポ イントを射影することが可能になった (図 7).この
 1$ に沿う形で分布しているポイントが，満足系の回答 をした個体である. 右側に登っていくラインが確認できるが， こちらが，不満系の回答をした個体の分布である．MCA の場
}

個体マップは, LeRoux \& Rouanetによる specificMCA という技法 [2] を用いているが，NAを分析から除去する以外に，低頻度回答（実習に否定的な感想を もった位置の個体）の扱いが問題となった.今回の 分析では，全体的に積極的評価がされている中で， そこに埋もれている課題を抽出するのが目的である ので，この低頻度回答も重要だからである。

MCAを用いれば，注目している変数の相互関係 を幾何学的に可視化することが可能であり，KH Coder を使えば，自由記述の回答を，回答選択を外部変数として分析することは可能である.

そこで、我々は，両儀的な語に ABSAをもちいて タグ付けを行うことで，自由記述回答の内容を回答者の幾何学的位置を参照しながら分析できる方法を 実現した。

回答選択肢の分布は，大多数の回答者が分布する $\operatorname{dim} 1$ に沿って密集している「満足」部分と右側にの びていく「不満」部分に区分される。しかし，タグ 付けによって明らかになったのは， negative にタグ 付された重要語句は，その「満足部分」にも展開さ れているということであった。この両者の関係を背景として解釈する必要がある。

## 5 まとめと課題

以上，MCA による幾何学的データ解析 (GDA)[2] とアスペクトベース感情分析をもちいた自由記述回答分析を結びつけることで，全体的に満足した反応 であるアンケート回答から課題を抽出する方法を開発できた. MCA 用にデータセットを整備していく ことで，回答パターンの比較を年次，またコース別 に行うことも可能である.

しかし，今回の作業の課程で以下のような課題も 明らかになっている。そもそも，自由記述への回答率が低い。その中でも，全体に不満足の感想をもつ 受講者からの回答がすくない。これを増やすための 検討が必要である．また，ABSAについて，我々が 利用可能な日本語データセットが少ないことから複数の言語で学習した多言語モデルを用いたが，その 性能には大いに改善の余地がある。日本語のデータ セットで追加学習を行うことで性能の向上が見込ま れると考えられるため，ABSA データセット構築が 今後の展望として挙げられる.

合は，これらの個体の ID が確認できるので，回答選択肢の内容，自由回答の内容を確認することができる。

## 謝辞

本研究の過程で，CYDER を企画運営している NICT ナショナルサイバートレーニングセンターの みなさんのお世話になりました. 記して感謝いたし ます。

本研究は JSPS 科研費 JP20K02162「データの幾何学的配置に着目したカテゴリカルデータ分析手法の 研究」の助成を受けたものです.

## 参考文献

[1] NICT. Cyder (cyber defense exercise with recurrence :実践的サイバー防御演習）, 2022. https://cyder. nict.go.jp/.

[2] Brigitte Le Roux, Henry Rouanet, 訳: 大隅昇, 小野裕亮, 鳮真紀子. Multiple Correspondence Analysis(多重対応分析). SAGE publisher（オーム社）, 2010(2021).

[3] Michael J. Greenacre, 訳：藤本一男. Correspondence analysis in practice Third edition（対応分析の理論と 実践）. Chapman \& Hall/CRC interdisciplinary statistics series. CRC Press, Taylor \& Francis Group（オーム社）, Boca Raton, 2017(2020).

[4] Hai Ha Do, PWC Prasad, Angelika Maag, and Abeer Alsadoon. Deep learning for aspect-based sentiment analysis: A comparative review. Expert Systems with Applications, Vol. 118, pp. 272-299, 2019.

[5] John Wilder Tukey. Exploratory data analysis. AddisonWesley series in behavioral science. Addison-Wesley Pub. Co, Reading, Mass, 1977.

[6] R Core Team. R: A Language and Environment for Statistical Computing. R Foundation for Statistical Computing, Vienna, Austria, 2022.

[7] 樋口耕一. 社会調査のための計量テキスト分析-内容分析の継承と発展を目指して、第 2 版. ナカニシヤ 出版, 京都, 2020. OCLC: 1149044718.

[8] Wenxuan Zhang, Xin Li, Yang Deng, Lidong Bing, and Wai Lam. A survey on aspect-based sentiment analysis: Tasks, methods, and challenges. arXiv preprint arXiv:2203.01054, 2022.

[9] 中山祐輝, 村上浩司, Ikuko Hardaway. アスペクトベー ス意見分析における日本語評価コーパスの構築. 言語処理学会第 27 回年次大会, 2021.

[10] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. Deberta: Decoding-enhanced bert with disentangled attention. In International Conference on Learning Representations, 2021.

[11] Heng Yang and Ke Li. Pyabsa: Open framework for aspect-based sentiment analysis. arXiv preprint arXiv:2208.01368, 2022.

[12] Rich Caruana. Multitask learning. Machine learning, Vol. 28, No. 1, pp. 41-75, 1997.

[13] Heng Yang, Biqing Zeng, Jianhao Yang, Youwei Song, and Ruyang Xu. A multi-task learning model for chineseoriented aspect polarity classification and aspect term extraction. Neurocomputing, Vol. 419, pp. 344-356, 2021.
[14] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237. Association for Computational Linguistics, 2004

## A 参考グラフ

## A. 1 自由記述ラベル付与と推論結果比較

ラベル付与結果: 講垍はわかりやすかったが画面が小さく見えづらかった モデル予測結果：講習はわかりやすかったが画面が小さく見えづらかった

Negative

ラベル付与結果: 充実した内容で満足したが演垍の時間を伸ばしてほしい

Positive Negative Negative

モデル予測結果: 充実した内容で満足したが演垍の時間を伸ばしてほしい

ラベル付与結果: ツールの説明が不足していたように感じた

モデル予測結果: ツールの説明が不足していたように感じた

図 5 ラベル付与の例†とモデル推論結果

†個人情報保護の観点より，実際に記載された内容

ではなくサンプルとして作成した文を示す.

## A. 2 「理解」と「スキル向上」の対応分析

対応分析の出力で，「理解」を標準座標，「スキル」 を主座標にした biplot である. 矢印が座標軸にあ たる. 座標軸：「理解できた」「理解できない内容が あった」が同じ方向を向き，その方向にスキル「向上したと思う」が位置している.

図 6 「理解」と「スキル向上」の対応分析

## A. 3 ABSA によって「内容」に negative タ グをつけた回答者の位置

図 6. $\operatorname{dim} 1$ は満足度合いの大小 (左が大), $\operatorname{dim} 2$ が不満度をあらわしている。自由記述部分の解釈は これを考慮する必要がある。

## A. 4 共起ネットワーク 1

図 8. この共起ネットワークは，自由記述部分に タグをつけていない.

図 7 MCAによるタグ付き（内容 negative）個体の分布

図 8 共起ネットワークタグなし

## A. 5 共起ネットワーク 2

図 9 共起ネットワークタグあり

図 9. タグをつけ，その語句を強制抽出設定にた ときの共起ネットワーク図


# 対訳コーパスへの擬似文法誤りの挿入による 翻訳誤り訂正データの構築

大获匡俊 1 宮尾祐介 1
1 東京大学
\{otake, yusuke\}@is.s.u-tokyo.ac.jp

## 概要

本論文では、対訳コーパスに擬似的な文法誤りを 挿入して翻訳誤り訂正 (TEC) のデータを生成する方法を検討し、このデータを TEC の事前学習に用い てその有効性を検証する。文法誤り訂正は文中の文法誤りを計算機で訂正するタスクであり、その一分野として翻訳を通じた第二言語学習を想定する TEC が提案されている。TEC の有効性は先行研究によっ てある程度示されたものの、TEC ではデータの不足 が深刻である。そこで我々は先行研究の再現を試み ると共に、擬似的な文法誤りを対訳コーパスに加え ることで TEC の擬似データを大幅に拡張した。ま た、これを事前学習に用いる場合と用いない場合を 比較することで有効性を確認した。

## 1 はじめに

計算機が文章を訂正する文法誤り訂正 (Grammatical Error Correction; GEC) は急速に成長しており、 (rammarly 1) など実社会で使われるようにもなった。 しかし、英作文の勉強をしている学生らは未だ計算機の助けを十分に借りられていない。この要因の一 つとして、現在の誤り訂正システムが意味の誤りや 複雑な誤りを訂正できないこと考えられる。例えば Cao ら [1] は、「I am leaving in Tokyo.」という文章を 訂正する際に、leaving を living に直すか、in for に直すかという曖昧性があり、誤りがこのように複合的であると現在の誤り訂正システムでは訂正が 難しいことを指摘している。そこで、日本の学生た ちが「和文英訳」と呼ばれる日本語を英語に直す翻訳を通して英語を学んでいることに着目する。この 時、誤り訂正システムは元の和文を参照することで より良い訂正を行える可能性がある。以下、本論文 では翻訳の誤りを訂正するこのタスクを「翻訳誤り

1) https://grammarly.com/訂正 (Translation Error Correction; TEC)」と呼ぶ。

本論文では、TEC の擬似データを生成しその有効性を検証する。学習者への TEC は Cao ら [1] 以降、研究が十分にされていない。その一因が、データ量 の不足である。機械学習を用いてこの問題を解く場合十分な学習データが必要だが、日本語文 (母国語文)、誤り文、訂正文の 3 つ組全てを含むデータはほ とんど存在しない。Cao ら [1] は学習者コーパスと 呼ばれる GEC 用のコーパスから機械翻訳を用いて 擬似的な TEC 用のデータセットを構築したが、こ れは機械学習を用いた自然言語処理の問題設定とし ては量が不十分である。そこで我々は、翻訳タスク のデータセットである対訳コーパスと擬似的に文法誤りを生成する手法を組み合わせ、新たな TEC の擬似データを生成しその効果を検証した。その結果、擬似データを用いることで安定的に精度が向上 することや、GEC で効果的だとされている擬似誤り 文の生成方法 [2] が TECでも有効に働くことが確か められた。また、Cao らの提案手法を GECで一般的 に使用されているデータセットに適用し、日本語文 を誤り訂正に用いることの有効性を再度確認した。

## 2 関連研究

本研究では対訳コーパスに擬似的な文法誤りを挿入して生成した TEC のデータの有効性を検証する。本研究に必要なモデル、誤り文、データの生成手法 の研究を本節で説明する。

## 2.1 Cao らの先行研究

1 節で取り上げた通り、Cao ら [1] の研究が本研究 の直接的な先行研究である。TEC では日本語文、英語の誤り文、それを訂正した英語の訂正文の 3 つの データが必要だが、Cao らは学習者コーパスの訂正 された英語を機械翻訳にかけることによって日本語文を生成し、TEC のデータセットとした。生成元の

図 1 Cao ら [1] が提案した TEC モデル

学習者コーパスには Lang-8 [3] が用いられ、これを 訓練、開発、評価データに分割して用いた。

また、Cao らは日本語文と誤り文の二つの情報を 統合するモデルを提案し、誤り訂正における日本語文の有効性を評価した。評価スコアには BLEU スコ アを GEC 用に改変した GLEU スコア [4] が用いら れ、日本語文を用いると誤り文だけを用いた時より GLEU スコアが高くなることが示された。

マルチ階層注意機構モデル Cao ら [1] はマルチ 階層注意機構モデルと呼ばれるモデルを TEC 用に 提案した (図 1)。このモデルでは、それぞれの入力文に対し双方向 LSTM を用いて隠れ状態を計算した 上で、decoder の隠れ状態と英語文間で注意機構を 適用し文脈ベクトル $c_{i}^{x}$ を計算する。その文脈ベク トル $c_{i}^{x}$ と decoder の隠れ状態の和 $h_{i}^{y}$ と日本語文間 に再び注意機構を適用し日本語文からの文脈ベクト ル $c_{i}^{f}$ を計算する。最後に、計算されたそれぞれの 文脈ベクトルと decoder の隠れ状態から出力する単語を計算する。

## 2.2 その他の先行研究

機械翻訳の出力を人間が編集する post-editing の 流れを波んで、プロの翻訳家の誤りを訂正するタス クとしても TEC が研究されている [5]。また、菊池 ら [6] は誤り訂正ではなく分類問題として問題を設計し研究を行っている。

## 2.3 擬似文法誤りの生成手法

文法誤りを機械的に生成しデータを拡張しょうと いう試みは、GECの一つのタスクとして盛んに研究 されてきた。逆翻訳を用いた誤り文生成 GECにおける逆翻訳とは、学習者コーパスを用いて訂正文を入力、誤 り文を出力とするモデルを構築し、単言語コーパ スに適用して擬似誤りデータを生成する手法であ る。Xie ら [7] はノイズ付き逆翻訳と呼ばれるビー ムサーチ中にノイズを加える手法を提案した。

ルールベースの誤り文生成 定められたアルゴリ ズムに基づき誤り文を生成する手法である。もっと も一般的なものは文字や単語を確率的に削除、挿入、置換などするシンプルな手法で、GEC の Shared Task の優勝システムにも用いられた [8]。また、近 い意味を持つ別の単語に置き換える試みや、品詞夕 グ付けを利用して品詞ごとにルールを定める等、よ り多様なルールを定めた手法も用いられている [9]。

## 2.4 データセット

本研究の実験には、対訳コーパスから生成した データセットと、学習者コーパスから生成したデー タセットの二つを作成し用いる。この二つのデータ セットの生成元となる対訳コーパスと学習者コーパ スについて本小節で説明する。

## 2.4.1日英対訳コーパス

翻訳タスクに用いられる対訳コーパスはこれまで 多数構築されてきたが、本研究では Reuters Corpora [10] と JparaCrawl [11]を用いる。GEC の研究から の知見として清野ら [2] が Wikipedia から作られた コーパスと新聞記事から作られたコーパスを比較 し、後者の方が性能が安定することを確認してい る。Reuters Corpora はニュースコーパスで、新聞記事から作られたコーパスと似た性質を持つと考えら れる。JparaCrawl はウェブをクロールして作られた 大規模日英対訳コーパスである。しかし、文章の質 は Reuters Corpora より悪いことが想定される。

## 2.4.2 学習者コーパス

BEA-2019 [12] は GEC の Shared Task として開催さ れ、これの Restricted Trackではいくつかの訓練用学習者コーパスが指定されており、現在の GECにおい て標準的な訓練データとなっている。BEA-2019の Restricted Track で指定されている訓練用コーパスは Lang-8 [3]、NUCLE [13]、FCE [14]、W\&I+LOCNESS [12] [15] の4つである。また、BEA-2019が開催され るまでは CoNLL-2014 [16] の評価データが GEC で 最も標準的な評価データであった。

## 3 提案手法

## 3.1 擬似文法誤り TEC データの評価

対訳コーパスに擬似的な文法誤りを挿入する事で 擬似的な TEC データを生成し、これを事前学習に 用いて生成したデータの有効性を評価する。以下、対訳コーパスと擬似的な文法誤りから生成された TEC データを「擬似文法誤り TEC データ」、学習者 コーパスと機械翻訳を用いて生成された TEC デー タを「擬似母国語 TEC データ」と呼ぶ。

前節で挙げた Reuters Corpora [10] と JparaCrawl [11]の 2 種類の対訳コーパスと、逆翻訳 [7]、シンプ ルなルール [2]、多様なルール [9] の 3 つの誤り文生成手法から、6 パターンの擬似文法誤り TEC データ を生成する。そして、これらのデータで事前学習を した後、擬似母国語 TEC データでファインチュー ニングを行い TEC モデルを作成する。また、擬似母国語 TEC データのみで学習したモデルを用意し、事前学習をしたモデルと事前学習をしていないモ デルで開発データ、評価データの GLEU スコア [4] を比較し事前学習の有効性を検討する。モデルには Cao ら [1] のマルチ階層注意機構モデルを用いる。

## 3.2 先行研究の別データでの再現

我々は GEC で一般的に用いられるデータセット を擬似母国語 TEC データの作成元として、Cao ら [1] の実験の再現を行う。Cao らは Lang-8 [3] から擬似母国語 TEC データを作成しTEC の学習データ や評価データとして用いた。しかしながら、Lang-8 は質の面で問題があり他のデータセットでの検証 が必要だと考えられる。我々は、BEA-2019 [12] の Restricted Track で与えられたデータから擬似母国語 TEC データとして学習データと開発データを生成し 利用する。また、擬似母国語 TEC データを作成す るには評価データの訂正文が公開されている必要 がある。そこで、評価データの訂正文の公開がない BEA-2019 の代わりに CoNLL-2014 [16] の評価デー タセットを評価データの生成元として用いる。

## 4 実験

我々は「擬似文法誤り TEC データを作成、擬似文法誤り TEC データで事前学習、擬似母国語 TEC データでファインチューニング、疑似母国語 TEC データで評価」という一連の実験を試みる。表 1 学習に用いるデータセットの文対数

また、英語のみの入力で GEC として問題を解く 場合と日本語のみの入力で翻訳として問題を解く場合についても実験を行う。これをその二つを入力と する TEC と比較し、Cao らが示した TEC タスクの 有効性を再検証する。

## 4.1 利用するコーパスの詳細

擬似文法誤り TEC データの生成元となる対訳 コーパスと、擬似母国語 TEC データの生成元とな る学習者コーパスについて本小節で述べる。

対訳コーパス JparaCrawl は非常に膨大でかつ 質は低いデータセットであるため、bleualign スコ ア [17] が 0.75 以上の文章のみを抜粋して用いた。 Reuters Corpora は 56,782 文対、JparaCrawl の抜粋デー 夕は $8,300,634$ 文対である。

学習者コーパスBEA-2019 [12]の Restricted Track で指定された学習者コーパスを本研究の学習データ の生成元として用いる。各コーパスで学習に用いる 文対数を表 1 にまとめる。

本研究の開発データには W\&I+LOCNESS [12] [15] の開発データ 4,380 文対を用い、評価データには CoNLL-2014[16] の評価データ 1,312 文対を用いる。 CoNLL-2014 の評価データの訂正文には初めに作ら れたデータ (test) と参加者によって修正されたデー タ (test-withalt) があり、両方を用いた。

## 4.2 擬似文法誤り文の生成

本研究では 3 つの手法を用いて擬似文法誤り文を 生成した。

逆翻訳逆翻訳モデルには Transformer [18]を用 いた。ビームサーチへのノイズ付加 [7]を行い、パ ラメータ $\beta$ には 8.0 を用いた。

プルなルール 清野ら [2] の実装の通り、各単語に対して 'mask', 'deletion', 'insertion', 'keep’ を確率的に選択しノイズを加えた。

多様なルール 古山ら [9] の erarigilo $^{2)}$ と reguligilo方を用いた。

2) https://github.com/nymwa/erarigilo

3) https://github.com/shotakoyama/reguligilo

## 4.3 評価

Cao ら [1] のマルチ階層注意機構モデルに擬似文法誤りTECデータを事前学習させ、擬似母国語 TEC データでファインチューニングしモデルの GLEU ス コアを比較する。事前学習では JparaCrawl から抜粋 したものは 3 エポック、Reuters Corpora のものは 20 エポック学習する。

また、事前学習を行わずに入力に英語文のみ、日本語文のみを用いた時の GLEU スコアを算出する。 これによって日本語文を用いることの有効性と日本語文からの答えの染刻なリークが無いかを確認し先行研究の再現性を確認する。

## 5 実験結果と分析

## 5.1 事前学習の評価

本研究で生成した擬似文法誤り TEC データセッ トで事前学習し擬似母国語 TEC データでファイン チューニングしたモデルと、事前学習なしで擬似母国語 TEC データでチューニングしたモデルを GLEU スコアで比較する。スコアの比較は評価データ、開発データで行った。結果を表 2 に示す。

JparaCrawl から生成したデータで事前学習すると 事前学習なしの場合より安定的にスコアが高くなる ことが示され、事前学習の有効性が確認された。一方で、Reuters Corpora から事前学習したものと事前学習がないものを比較すると結果にばらつきがあ る。これは、Reuters Corpora のデータ量に不足があ るため過学習が起こり、ファインチューニング間に 事前学習データへの過学習から脱せなかった可能性 がある。また、誤り文生成手法について比較すると 逆翻訳、多様なルール、シンプルなルールの順に精度が高く、特に逆翻訳が高いスコアであった。これ は GECでの結果 [2] と整合性がある。表 3 入力文を変えた時の GLEU スコア

訂正なしとは、誤り訂正のモデルにかけず誤り文のまま で GLEU スコアを計算した結果である。

## 5.2 先行研究との比較

Cao ら [1] は日本語文が GEC に有効に働くことを Lang-8 [3] を用いて検証したが、我々は GEC におい て標準的に用いられる BEA-2019 のデータセットと CoNLL-2014 の評価データでも日本語文が有効に働 くか再度検証した。この検証には生成した擬似文法誤りTECデータは用いず、擬似母国語 TEC データ のみを用いる。結果を表 3 に示す。誤り文だけを用 いたものと誤り文と日本語文の二つを用いるものを 比較すると、後者の方が安定的に性能が良いことが 示された。日本語文のみから学習した場合のスコア は非常に低く、訂正文の深刻なリークは発生してい ないと推測される。Cao らの先行研究では二つの入力を用いる場合と英語のみを用いる場合で GLEU ス コアが 1.13 ポイント変化しており、本研究とおおむ ね対応する。

## 6 おわりに

本研究では，対訳コーパスへ擬似的な文法誤りを 挿入することで TEC の新しい擬似データを生成し、 その有効性を検証した。その結果、この擬似データ で事前学習をしたモデルの GLEU スコアは事前学習 がないモデルのスコアを上回り、TEC のデータ不足 を補い得ることが分かった。また、データが大規模 であることや、擬似誤り文の生成手法として逆翻訳 を用いることの優位性が示唆された。さらに、我々 は Cao らの手法を GEC で一般的に用いられるデー タセットである BEA-2019や CoNLL-2014 に適用し、日本語文を誤り訂正に用いることの有効性を再度検証した。一方、TECでどのようなモデルを使うべ きかより検討されるべきであるように思われる。ま た、Cao らや我々が生成した TEC 用のデータは擬似 データであり、真のデータセットでの検証も必要で ある。TEC の研究がこれからより広く行われること を期待したい。

## 謝辞

本研究の実装では、曹国林氏、高村大也先生、奥村学先生には多大な協力を頂きました。古山翔太氏 には氏の実装をご説明頂きました。感謝致します。

## 参考文献

[1] Cao GUOLIN, Hiroya TAKAMURA, and Manabu OKUMURA. Multi-source neural grammatical error correction. Proceedings of the Annual Conference of JSAI, Vol. JSAI2018, pp. 4Pin123-4Pin123, 2018.

[2] Shun Kiyono, Jun Suzuki, Masato Mita, Tomoya Mizumoto, and Kentaro Inui. An empirical study of incorporating pseudo data into grammatical error correction. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 1236-1242, Hong Kong, China, November 2019. Association for Computational Linguistics.

[3] Tomoya Mizumoto, Mamoru Komachi, Masaaki Nagata, and Yuji Matsumoto. Mining revision log of language learning SNS for automated Japanese error correction of second language learners. In Proc. of 5th International Joint Conference on Natural Language Processing, pp. 147-155, 2011.

[4] Courtney Napoles, Keisuke Sakaguchi, Matt Post, and Joel Tetreault. Ground truth for grammatical error correction metrics. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 588-593, Beijing, China, July 2015. Association for Computational Linguistics.

[5] Jessy Lin, Geza Kovacs, Aditya Shastry, Joern Wuebker, and John DeNero. Automatic correction of human translations. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 494-507, Seattle, United States, July 2022. Association for Computational Linguistics.

[6] Seiya Kikuchi, Taisuke Onaka, Hiroaki Funayama, Yuichiroh Matsubayashi, and Inui Kentaro. 項目採点技術に基 づいた和文英訳答案の自動採点. 言語処理学会, 第 27 回年次大会, pp. 690-695, 2021.

[7] Ziang Xie, Guillaume Genthial, Stanley Xie, Andrew Ng, and Dan Jurafsky. Noising and denoising natural language: Diverse backtranslation for grammar correction. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 619-628, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[8] Roman Grundkiewicz, Marcin Junczys-Dowmunt, and Kenneth Heafield. Neural grammatical error correction systems with unsupervised pre-training on synthetic data.
In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 252-263, Florence, Italy, August 2019. Association for Computational Linguistics.

[9] Shota Koyama, Hiroya Takamura, and Naoaki Okazaki. Various errors improve neural grammatical error correction. In Proceedings of the 35th Pacific Asia Conference on Language, Information and Computation, pp. 251-261, Shanghai, China, 11 2021. Association for Computational Lingustics.

[10] Masao Utiyama and Hitoshi Isahara. Reliable measures for aligning Japanese-English news articles and sentences. In Proceedings of the 41st Annual Meeting of the Association for Computational Linguistics, pp. 72-79, Sapporo, Japan, July 2003. Association for Computational Linguistics.

[11] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 3603-3609, Marseille, France, May 2020. European Language Resources Association.

[12] Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 shared task on grammatical error correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 52-75, Florence, Italy, August 2019. Association for Computational Linguistics.

[13] Daniel Dahlmeier, Hwee Tou Ng, and Siew Mei Wu. Building a large annotated corpus of learner English: The NUS corpus of learner English. In Proceedings of the Eighth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 22-31, Atlanta, Georgia, June 2013. Association for Computational Linguistics.

[14] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A new dataset and method for automatically grading ESOL texts. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 180-189, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[15] Sylviane Granger. The computer learner corpus: a versatile new source of data for sla research. In Learner English on computer, pp. 3-18. Routledge, 2014.

[16] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL-2014 shared task on grammatical error correction. In Proceedings of the Eighteenth Conference on Computational Natural Language Learning: Shared Task, pp. 1-14, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[17] Rico Sennrich and Martin Volk. Iterative, mt-based sentence alignment of parallel texts. In Nordic Conference of Computational Linguistics, 2011.

[18] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, 2017.


# テキストをグラフで置換する可能性と教育現場での実証

橋田浩一 1,2 張子良 ${ }^{2}$ 姚子凡 ${ }^{2}$ KARILAS Vili Valtteri ${ }^{2}$
方詩涛 ${ }^{2}$ 譚匡桓 $^{2}$ 柴田健一 ${ }^{1}$ 松原 勇介 ${ }^{2}$
1 理化学研究所革新知能統合研究センター 2 東京大学大学院情報理工学系研究科
koiti.hasida@riken.jp hasida.koiti@i.u-tokyo.ac.jp

## 概要

グラフの形の文書を作ることにより批判的思考力 が高まることが知られている。われわれは、比較的小さな文書の共同作成はテキストよりグラフの方が 簡単であることを示した。さらに、余分なコストを かけずに高校の通常の授業にグラフ文書の共同作成 を導入して授業の効率が高まることを実証した。し たがって、教育の現場にグラフ文書を普及させて生徒たちの批判的思考力を高めることができると考え られる。さらに、一般的な業務の現場にもグラフ文書を普及させることにより社会全体の知的生産性を 高められる可能性がある。

## 1 はじめに

KJ 法 [1] の A 型図式、概念地図 (concept map) [2]議論地図 (argument map)、マインドマップ (mind map)、多段の箇条書きなどの広義のグラフは、教育 や発想支援のための補助資料として用いられてきた $[3,4,5,6]$ 。実際、グラフの教育的効果が近年の研究で明らになっている。たとえば、批判的思考の明示的なトレーニングをしなくても、また概念地図の 内容によらず、概念地図を 1 人で作っていると批判的思考力が高まる [7]。また、概念地図の共同作成 も単独作成と同程度以上に批判的思考力を高める $[8,9,10]$ 。概念地図以外のグラフも批判的思考力を 高める $[11,12,13,14,15,16,17,18,19]$ ので、グラフ の種類によらず、グラフの単独作成も共同作成も批判的思考力を高める効果があり、その際に批判的思考の明示的なトレーニングは不要で、またグラフの 内容も特に限定しなくて良いと考えられる。 それにもかかわらずグラフが一般にあまり普及し ていないのは、グラフの作成および作成法の習得に コストがかかるためと言われている [20]。しかし一方では、グラフの作成を経ることによってテキスト 文書の質が高まる (合計 30 分以内で $\mathrm{KJ}$ 法の $\mathrm{A}$ 型図式を作ってからテキスト文書を作った場合と、同じ く 30 分以内でテキスト文書だけを作った場合を比 べると、前者の方がテキスト文書の質が高い)こと もわかっている [21]。これはおそらく、基本的には グラフの方がテキストよりも作りやすいために複雑化しやすく、その複雑性の制御が難しいということ だろう。たとえば八木下らの実験 [21] では、あまり 大きなグラフができない設定になっていたために、 グラフの複雑性を制御するコストが顕在化しなかっ たと解釈できる。

文書があまり大きくない場合にグラフの方がテキ ストより作りやすいとすれば、文書が大きい場合も グラフの方がテキストより作りやすいと考えるのが 自然だろう。グラフの複雑性の制御は簡単ではない がテキストの複雑性の制御ほど難しくないとわれわ れは考えている1)。この考えが正しければ、社会全体においてグラフでテキストを置き換えることによ り文書作成の生産性を高めるとともに批判的思考力 を高めることができるはずである。

以下ではまず、文書があまり大きくない場合にグ ラフがテキストよりも共同作成しやすいことを示 す (共同作成に着目するのはネットワーク外部性に よってグラフの普及を促進するためである)。次に、実際の業務等にグラフの共同作成を導入可能である ことを示す教育現場での実証実験について述べる。最後に、テキスト文書をグラフ文書で置換して社会全体の生産性を高める可能性とそのための課題を論 ずる。

1） テキスト文書の作成に習熟するのは難しいが、これはテキ ストの複雑性の制御が難しいということだろう。OECD の国際成人力調査 https://www.oecd.emb-japan.go.jp/itpr_ja/ 11_000001_00107.html によれば、OECD 諸国で文章をまとも に読めるのは成人の 4 割程度であり、まともな文章を書ける 成人はさらに少ないはずである。

## 2 グラフはテキストより作りやすい

一般にテキストは文の間を談話関係等でつなぎ合 わせたものだから、文を表わすノードと談話関係等 を表わすリンクからなるグラフによって任意のテ キストの内容を表現することができる。そのような グラフの作成を容易にし価値を高めるため、談話関係等を定義するオントロジーに基づく図 1 のよう な RDF グラフ [22]を考える。以後このようなグラ フをグラフ文書 (graph document) と呼ぶ。概念地図 や議論地図など他の種類のグラフではリンクの種類 (関係)を自由テキストで表現するが、それでは大力 の手間が大きいだけでなく、関係が標準化されない ので誤解が生じやすく自動処理が難しく学習用デー タとしての価値も低い。グラフ文書の場合は標準化 された関係を選択入力できるので、他種のグラフよ りも作成が容易で利用価値が高いと考えられる。

ここでは、グラフ文書の共同作成がテキスト文書 の共同作成より容易である (生産性が高い) ことを示 した実験 [23] の概要を報告する。紙面の都合により 詳細は割愛するが、研究参加者を各々 2 人からなる いくつかのグループに分けて、各グループにいくつ かの文書作成課題の各々に対してテキスト文書また はグラフ文書を共同作成させ、そうして作られたテ キスト文書とグラフ文書をいくつかの指標に関して 比較する、というのが実験計画の概要である。各々 の共同文書作成作業において各参加者の作業時間を 30 分以内とした。そのような実験を同期的な共同作成と非同期的な共同作成について実施した。

同期的な共同作成では、図 2 のように、各グルー プの 2 人のメンバーが対面で話をしながら各々の PC で共有文書を編集する。それによって作られた テキスト文書とグラフ文書の比較を図 3 に示す。比較の指標は、課題に関連する論点の個数、推論の長 さ、議論の展開の度合、および展開された議論が統合される度合である。テキスト文書もグラフ文書 も、課題 (たとえば「教育予算を増やすべきか」な ど)を根ノードとする木 (サイクルを含むことがある ので正確には木とは限らないが木に近いグラフ) に 変換し、同義のノードを 1 個にまとめ、課題と無関係なノードを削除することによって、指標の値を求 めた。図 3では各指標で平均が 1 になるように値を 正規化し、各指標についてテキスト文書とグラフ文書の平均値を示す。統合度の差は統計的有意性が低 いが、他の指標についてはテキスト文書よりもグラ
フ文書の方が $3 \%$ 水準で有意に優れていることがわ かる。

非同期的な共同作成では、図 4 のように、各グ ループのメンバーのうち 1 人がまず文書の半分ほど を作り、次にもう1 人が残りを作る。2人の間のコ ミュニケーションは文書データの共有のみによる。 その場合のテキスト文書とグラフ文書の比較を図 5 に示す。比較の指標として連結度を加えたが、これ は 2 人が作った部分グラフの間を結ぶリンクの本数 である (それらのリンクは 2 番目のメンバーが作っ たものである)。各指標の値の求め方は上記と同様 である。推論の長さについては統計的有意性がやや 低いが、すべての指標についてテキスト文書よりグ ラフ文書の方が優れていることがわかる。

以上を要するに、 30 分程度以内の共同文書作成に おいてはテキスト文書よりもグラフ文書の方が生産性が高い。上記の実験で作られたグラフ文書はノー ドの個数が 50 程度以下だったので、ノードが 50 個程度以下のグラフ文書は同程度のサイズのテキスト 文書より作りやすいと言えよう。

## 3 グラフ文書を教育に導入できる

さしあたりは文書が比較的小さい場合に限られる にせよ、テキスト文書よりグラフ文書の方が作成が 簡単なのだから、少なくともその範囲においてテキ スト文書をグラフ文書に代わって普及させることが できて、それにより多くの人々の批判的思考力を高 めることが可能と考えられる。

グラフ文書を最初に導入する先としては教育の現場が有望と考えられる。批判的思考力などの社会情緒的能力 (非認知能力) が高ければ将来経済的に成功 する可能性が高い [24] と考えられているので、教育 にグラフ文書を導入するメリットはわかりやすい。 また、教育の現場へのグラフ文書の導入による批判的思考力の向上を測定するのは比較的容易と考えら れる。これに対し、一般的な業務の現場では各個人 の能力の向上よりも会社の利益や組織のミッショ ンの方が重要だが、グラフ文書による利益の向上や ミッションの達成は測定が難しい。

グラフ文書を教育に導入するには、中学校や高等学校の通常の授業で近年広く行なわれるようになっ ているグループディスカッション (協調学習) におい て各グループがディスカッションの議事録を共同作成するという方法が考えられる。特に公教育におい ては教員が多忙なため通常の授業を越える負担を求

図 1 本稿の一部を表わすグラフ文書

図 2 文書の同期的共同作成

図 4 文書の非同期的共同作成

図 3 テキスト文書とグラフ文書の同期的共同作成

■テキスト ■グラフ

図 5 テキスト文書とグラフ文書の非同期的共同作成

めるのは実際上不可能であり、逆に授業の効率を高 める (負担を軽減する) 必要があるが、この方法であ れば、学習指導要領に従う通常の学校教育において 教員の負担を増さずにグラフ文書の共同作成を導入 して授業の効率を向上させられる可能性が高いと思 われる。

そこでわれわれは、埼玉県川口市の川口市立高校 および神奈川県横須賀市の三浦学園高校の協力を得 て、各高校で 1 年生の 1 クラスずつを対象とし、必修科目である「現代の国語」の通常の授業のグルー プディスカッションにグラフ文書の共同作成を導入 した。各クラスの生徒約 20名が 2〜5 名からなるグ ループに分かれて、各グループが 20 分程度のディ スカッションの内容を表わすグラフ文書を共同作成 し、そのグラフ文書に教員と他のグループがコメン 卜した。各クラスでこのような授業を 2022 年 10 月 から 2022 年 12 月または 2023 年 1 月にかけて 5 回行ない、その前後に批判的思考力の標準的なテスト を実施した。

本稿執筆の時点でそのテストのデータの分析が終了していないので、授業の観察と教員および生徒か らの聞き取りに基づいて報告すると、結果は良好で あった。教科書の図表等のコピーに注釈を加えた資料を教員が事前に用意して生徒に配布することが あったが、同様の資料は従来の授業でも作成してい たので、グラフ文書の導入が教員の準備の負担を増 やすことはないと考えられる。授業中に各グループ が作ったグラフ文書を教員がプロジェクタで投影し て即座にコメントしていたが、テキスト文書だとコ メントするまでにもう少し時間がかかるはずであ る。生徒はグラフ文書作成ツール (セマンティック エディタ $)^{2)}$ を特に支障なく使いこなしており、また 談話関係等の選択入力がグラフ文書を作りやすくし ていることも理解していた。以上から、グラフ文書 の導入により授業の効率が高まったと言えよう。 グラフ文書を用いた 5 回の授業による批判的思考力の向上をこれから定量的に分析する予定である が、その結果はおそらく統計的有意性の低いわずか な向上であろう。今回の実証の最大の意義はグラフ 文書が授業の効率を高めることを示した点にあり、 さらに長期にわたるグラフ文書の共同作成により批判的思考力が大きく向上することは先行研究に鑑み て確実と考えている。

2） セマンティックエディタは PLR 標準アプリ Personary https://assemblogue.com/apps/PLR2.html の機能として実装されている。

## 4 おわりに

この実証の結果から、グラフ文書を教育現場に普及させて多くの生徒の批判的思考力を高めることが 可能と考えられる。その普及がある程度進んで批判的思考力向上の効果が広く知られるようになれば、一般の業務の現場にグラフ文書の共同作成を導入す ることによって文書共同作成の生産性と社員の批判的思考力が高まり企業の業績が向上することを多く の人々が容易に想像できるだろう。こうしてグラフ 文書の共同作成が一般に普及して産業や学術の水準 が永続的に高まると考えられる。

また、オントロジーで構造化されたグラフ文書は AI の学習データとしても入力データとしても有用性が高いので、グラフ文書の普及が AIを振興し、 $\mathrm{AI}$ の振興がグラフ文書の活用を高度化すると期待 される。それを見越して、セマンティックエディタ (SE) は図 6 のように PLR (Personal Life Repository; 分

図 6 PLR によるデータの共有と収集

散 PDS ライブラリ) [25, 26] によりデータを容易か つ安全に共有・収集できるように実装してある。

以上のようなグラフ文書の効果を最大化するに は、ノードが 50 個程度よりも多いグラフ文書を効率的に作成・活用する方法を明らかにし、あらゆる テキスト文書をグラフ文書で置換する必要がある。前述のように、グラフが複雑化しやすいのはグラフ を作るのが簡単だからであり、その複雑化の制御は テキスト文書の複雑化の制御よりも簡単だとわれ われは考えている。複雑性の制御には構造化とそれ による構造共有が重要であり、その点でグラフはテ キストより優れているはずである。その優位性を生 かしたユーザインタフェースの開発が、グラフ文書 の効果を最大化するために最も重要な研究課題で ある。

## 謝辞

グラフ文書を用いる授業を担当された川口市立高校の石原直哉教諭と三浦学苑高校の佐々木綱衛教諭、ならびに実証の準備等にご尽力下さった両校の 先生方に感謝する。本研究の一部は NEDO の「人と 共に進化する次世代人工知能に関する技術開発」事業の支援を受けた。

## 参考文献

[1] 川喜田二郎. 発想法 改版一創造性開発のために. 中公新書. 2017.

[2] Joseph D. Novak and D. Bob. Gowin. Learning How to Learn. New York: Cambridge University Press, 1984.

[3] Marvin Willerman and Richard A. Mac Harg. The concept map as an advance organizer. Journal of Research in Science Teaching, Vol. 28, pp. 705-711, 1991.

[4] Ray McAleese. The knowledge arena as an extension to the concept map: Reflection in action. Interactive Learning Environments, Vol. 6, No. 3, pp. 251-272, 1998.

[5] Joseph. D. Novak. Learning, Creating, and Using Knowledge: Concept Maps as Facilitative Tools in Schools and Corporations. Mahweh, NJ: Lawrence Erlbaum Associates, 1998.

[6] Christina De Simone, Richard F. Schmid, and Laura Mcewen. Supporting the learning process with collaborative concept mapping using computer-based communication tools and processes. Educational Research \& Evaluation, Vol. 7, No. 2-3, pp. 263-283, 2001.

[7] Karl Cottenie and Marianne Staempfli. Concept mapping as means to critical thinking. Teaching \& Learning Innovations, 2016.

[8] Chei-Chang Chiou. Comparing the effect of computerassisted collaborative and individual concept mapping on improving critical thinking ability: The role of student learning style. In Proc. of The Second Intl. Conf. on Advances in Economics, Social Science and Human Behaviour Study, pp. 83-84, 2015.

[9] Narayankripa Sundararajan, Olusola O. Adesope, and Andy Cavagnetto. The process of collaborative concept mapping in kindergarten and the effect on critical thinking skills. The Journal of STEM Education: Innovations and Research, Vol. 19, No. 1, pp. 5-13, 2018.

[10] Fatin Azhana Abd Aziz and Lilia Halim. Concept mapping plays important roles on students' critical thinking skills in science. In The Eurasia Proceedings of Educational \& Social Sciences (EPESS), No. 17, pp. 1-9, 2020.

[11] Alma Mueller, Mary Johnston, Diane Bligh, and Judith Wilkinson. Joining mind mapping and care planning to enhance student critical thinking and achieve holistic nursing care. International Journal of Nursing Terminologies and Classifications, Vol. 13, No. 1, pp. 24-27, 2002.

[12] Claudia María Álvarez Ortiz. Does philosophy improve critical thinking skills?, 2007. Master thesis, The University of Melbourne.

[13] Shiah-Lian Chen, Tienli Liang, Mei-Li Lee, and I-Chen
Liao. Effects of concept map teaching on students' critical thinking and approach to learning and studying. Journal of Nursing Education, Vol. 50, No. 8, pp. 466-469, 2011. doi:10.3928/01484834-20110415-06.

[14] Ebrahim Khodadady and Afsaneh Ghanizadeh. The impact of concept mapping on efl learners' critical thinking ability. English Language Teaching, Vol. 4, No. 4, pp. 49-60, 2011. doi:10.5539/elt.v4n4p49.

[15] Weillie Lee, Chi-Hua Chiang, I-Chen Liao, Mei-Li Lee, Shiah-Lian Chen, and Tienli Liang. The longitudinal effect of concept mapping teaching on critical thinking. Nurse Education Today, Vol. 33, pp. 1219-1223, 2013.

[16] James Gorman and Jane Heinze-Fry. Conceptual Mapping Facilitates Coherence and Critical Thinking in the Science Education System, pp. 1227-1258. IGI Global, 2015.

[17] Mahmoud Kaddoura, Olga Van-Dyke, and Qing Yang. Impact of a concept map teaching approach on nursing students' critical thinking skills. Nursing \& Health sciences, Vol. 18, No. 3, pp. 350-354, 2016. doi:10.1111/nhs. 12277 .

[18] Meng Yue, Meng Zhang, Chunmei Zhang, and Changde Jin. The effectiveness of concept mapping on development of critical thinking in nursing education: A systematic review and meta-analysis. Nurse Education Today, Vol. 52, pp. 87-94, 2017.

[19] Sheng-Shiang Tseng. Using concept mapping activities to enhance students' critical thinking skills at a high school in taiwan. The Asia-Pacific Education Researcher, Vol. 29, pp. 249-256, 2020.

[20] E. Michael Nussbaum. Argumentation and studentcentered learning environments. In David H. Jonassen and Susan M. Land, editors, Theoretical foundations of learning environments (2nd ed.), p. 114-141. New York: Routledge, 2012.

[21] 八木下和代, 宗森純, 首藤勝. 内容と構造を対象とし た KJ 法 B 型文章評価方法の提案と適用. 情報処理学会論文誌, Vol. 39, No. 7, pp. 2029-2042, 1998.

[22] ISO. ISO 24627-3: Language resource management - comprehensive annotation framework (ComAF) part 3: Diagrammatic semantic authoring (DSA), 2021. https://www.iso.org/standard/74582.html.

[23] Zilian Zhang. Collaborative graph composition is more productive than collaborative text composition, 2020. Master thesis, the University of Tokyo.

[24] Leslie Morrison Gutman and Ingrid Schoon. The impact of non-cognitive skills on outcomes for young people. A literature review, Instutute of Education, University of London, 2013.

[25] Kôiti Hasida. Decentralized management and utilization of personal data. In SFDI2020: Fourth Workshop on Software Foundations for Data Interoperability, 2020. invited talk.

[26] 橋田浩一. パーソナルデータの分散管理による価值の最大化. 計測と制御, Vol. 59, No. 9, pp. 653-658, 2020.


# 和文英訳問題自動添削システムにおける意味内容の添削

松井颯汰 ${ }^{1}$ 綱川隆司 ${ }^{1}$ 西田昌史 ${ }^{1}$ 西村雅史 ${ }^{1}$
1 静岡大学大学院総合科学技術研究科
matsui.sota.17@shizuoka.ac.jp
\{tuna, nishida, nisimura\}@inf.shizuoka.ac.jp

## 概要

本研究では，和文英訳問題の意味内容の誤りを自動添削する手法を提案する．BERTをべースとした 手法で学習者訳中の意味内容の誤りを検出し, 単語 アライメントと英和辞典を用いて誤り単語と訂正候補の単語 (熟語)を提示するシステムを開発した．実験では，提案システムの誤り検出および誤り訂正に 関する精度を評価した。

## 1 はじめに

和文英訳問題は日本語の出題文を英語に翻訳する 記述式問題である. これらは, 高校・大学入学試験等で問われる問題であるため，和文英訳問題は入学試験に出題されるほど英語の学習において重要で ある. しかし，和文英訳問題は記述式問題であるた め，学習者自身による正誤判定が困難である. その ため，習熟者による添削が必要となるが，家庭での 学習時のような習熟者が常に存在する環境ばかりで はない.このような背景から，和文英訳問題を含め た記述式問題を自動で採点・添削するシステムが注目され，実用化が求められている.

杉浦 [1] によると，和文英訳の回答アプローチは 「文法的手段」と「意味内容の表現手段」の 2 つに 分かれているとされている.ここで述べられている 「意味内容の表現手段」とは，日本語の意味を汲み とりその内容を英語的な発想を介して英語で表現す るものであるということである. よって，本研究で の和文英訳で発生する誤りは「文法の誤り」と「意味内容の誤り」とする。その中で，「文法の誤り」を 自動添削するシステムはニューラルベースで開発し た Grammarly[2] を始めとして盛んに研究が行われて いる [3]. 一方で，「意味内容の誤り」の自動添削に 関する研究は希少である，これらのことをふまえて 本研究では，「意味内容の誤り」を自動添削するこ とに焦点を当てる.和文英訳問題を自動採点・添削する研究として，採点項目をあらかじめ用意し，その項目に応じて構築したシステム [4] や，学習訳と出題文の機械翻訳文の尤度から採点する [5]がある．しかし， [4]を含 めた現在実用化されている和文英訳問題自動添削シ ステムは添削可能な問題が限られており， [5] は添削をせず採点のみにとどまっている. そこで本研究 では，任意の問題に対して添削可能な和文英訳問題自動添削システムを開発する。提案システムによっ て，学習者が習熟者不在の環境下においても十分な 添削を受けることを期待している.

自動添削を実現するにあたって，誤りを検出しそ の誤りを訂正する二つの工程に分ける。そして，検出・訂正ともに BERT[6] をべースにした手法を提案 する。誤り検出では，BERT で構築した自然言語推論モデルと Sentence-BERT(S-BERT)[7]を組み合わせ た手法を用いる. 誤り訂正では，BERTを fine-tune した単語アライメントモデル [8] で学習者訳と出題文との単語アライメントを取り，英和辞典を活用 した手法を用いる. 具体的な手法は次章以降で述 べる.

実験では，提案システムが大学受験レベルの和文英訳問題の答案において，70\%以上で誤り文を検出し，その中で $55 \%$ 程度の訂正率であることを示 した.

## 2 システム概要

「文法誤り」を添削する [2]によると，「文法誤り」 の誤りタイプは「挿入」「置換」「削除」の三つに分 けられている。「意味内容の誤り」の添削も誤りは この三タイプからなるものとする。このうち，「削除」については，学習者は意味的に余分な単語を記述するケースが少ないため，提案システムでは「削除」する機能を実装していない。

また，「意味内容の誤り」にスペルミスも含むも のとする。これは，“風呂 (bath)”という単語に対し

図 1 提案システムの処理の流れ

て，“basu(人名)” “ “bass(男声最低音)”等で訳した場合の誤りは「文法誤り」システムでは検出・訂正不可能であると考えたからである.

図 1 に提案システム全体の処理の流れを示す。ま ず，利用者は出題文 (日本語) と学習者訳 (英語)を入力する. また，用意可能であれば正解文 (英語) も入力する. 出題文を翻訳 API(本研究では DeepL API を 利用した)を用いて機械翻訳する。これにより，正解文が用意不可能な場合でも疑似的な正解文を作成 する. 入力された正解文がある場合, 入力正解文,機械翻訳文のそれぞれと学習者訳との $\cos$ 類似度を 求め，類似度が高い方を誤り検出・訂正用に用いる 正解文とする. 正解文と学習者訳それぞれの単語を ベクトル化したものを $A_{i}, B_{i}$ とすると, $\cos$ 類似度 は式 1 のように求める.

$
\cos \text { 類似度 }=\frac{\sum_{i=1}^{n} A_{i} B_{i}}{\sqrt{\sum_{i=1}^{n} A_{i}^{2}} \sqrt{\sum_{i=1}^{n} B_{i}^{2}}}
$

そして，自然言語推論モデルと S-BERT で学習者訳中の意味内容の誤りの有無を検出する. 誤りが検出された場合, 単語アライメントモデルで出題文と 学習者訳・正解文との対応関係をそれぞれ取る. 正解文と学習者訳とで対応関係の取れていない単語と 英和辞典に記載のない単語を誤りとする. 最後に誤 り箇所と正解文から抽出した訂正候補の単語を示す システムとなっている.

## 3 誤り検出

## 3.1 自然言語推論モデル

本研究では，意味内容の誤り検出に自然言語推論 (NLI) を利用する. 自然言語推論とは前提文に対し て仮定文が「含意」となるのか「矛盾」となるのか「中立」となるのかを判定するタスクである.学習者訳と正解文との自然言語推論で「矛盾」が なければ意味内容に誤りがないとし，「矛盾」があ れば意味内容に誤りがあるとした。自然言語推論 モデルの構築には，約 43 万対あるラベル付けされ た MultiNLIを学習データとし, 事前学習モデルに BERT-LARGE モデルを用いて fine-tune した.

## 3.2 Sentence-BERT

前述した自然言語推論モデルに加え，本研究では Sentence-BERT(S-BERT)[7] を利用し誤り検出する. S-BERT は二つの類似したテキストペアを学習デー タとし，BERT などの事前学習モデルで fine-tune す ることで，文べクトルの生成を目的に考案されたモ デルである.

天野ら [9] は意味内容の誤り検出に S-BERT 利用 の有効性を示している. 本研究では，学習者訳と正解文二つの文べクトルを取り，二つのべクトルの $\cos$ 類似度を求めることで，意味内容の一致度を測 る. S-BERT のモデルは MiniLM[10] で fine-tune され た paraphrase-MiniLM-L3-v2を用いた。

## 3.3 統合

誤り検出部は自然言語推論モデルと S-BERTを統合させて実装した．統合した誤り検出の流れを図 2 に示す. 付録 A. 1 に誤り検出における $\cos$ 類似度間値設定の予備実験を記載する。

## 4 誤り訂正

## 4.1 形態素解析器

図 1 に示すように，誤り訂正では，まず，日本語の学習者訳と英語の出題文と学習者訳を形態素

図 2 誤り検出の流れ

解析する. 本研究では, 日本語の形態素解析器に MeCab[11] を用い, 英語の形態素解析器に nltk の tokenizer[12]を用いた. 形態素解析器を用いる狙い としては，意味内容に誤りが起こらない「助詞」や 「助動詞」などを訂正の候補から除外するためで ある。

## 4.2 単語アライメント

## 4.2.1 awesome-align

誤り訂正に利用する単語アライメントモデルとし て, awesome-align[8] を利用する.これは，2021 年時点での日英間アライメントで最も低いエラー率を 記録したアライメントモデルである. awesome-align の特徴として，アライメントが付与されていない対訳コーパスで学習可能であることがあげられる. 多言語事前学習モデルである MBERT[6] を用いること で，別言語間で同一の単語の埋め込み表現を求め る. 埋め込み表現 $h_{x}$ と $h_{y}(x$ と $y$ はそれぞれの言語 に対する文を示す) とすると式 2 のような類似行列 を得る。

$
S=h_{x} h_{y}^{T}
$

双方向間の類似行列を取得してから閾値 c でアラ イメントの可否を式 3 のように判定する。

$
A=\left(S_{x y}>c\right) *\left(S_{y x}^{T}>c\right)
$

アライメント関係にあるとされる単語を Mask し て単語を予測するなど計 5 つの目的関数を定義し fine-tune することで，より高品質な単語埋め込み表現を得る. 得られた埋め込み表現から式 2 と 3 から 再度アライメントを求める.

[8] では京都フリータスク (KFTT)[13]を用いて日英間単語の fine-tuneを実施した. KFTT は Wikipedia から京都に関係した文を取得したコーパスであり，専門単語の出現がわずかである和文英訳問題の出題文に対しては不向きである．そこで，本研究で は KFTT に加え，比較的簡潔な日本語で構成され た田中コーパス [14] と様々な分野を網羅している JParaCrawl[15] の一部を加えた計 80 万文の対訳デー タで fine-tuneした.

## 4.2 .2 訂正への応用

出題文・学習者訳間の単語アライメントと出題文・正解文間の単語アライメントの二つを取得す る. Mecab が「名詞」「動詞」「副詞」「形容詞」「接続詞」「感動詞」と判定した出題文中の日本語単語 に対して，正解文のみにアライメントされている単語を訂正候補とした. また，上記品詞に属していて も「い」や「て」のような意味を持たない単語を除外するルールを定めることで精度向上を測った. さ らに，英語では複数単語で一つの日本語単語となる 場合も考えられるので，フレーズ単位で対応させ た.これらは前述した「挿入」の機能にあたる.

## 4.3 辞書を利用した訂正

awesome-align は，文構造を考慮してしまうので，正解文と類似した箇所にある学習者訳の単語がア ライメントされてしまう。例えば，“私は野球をし ました”という出題文に対して学習者が “I played soccer”と訳した場合，“soccer”と “baseball” の両単語がアライメントされてしまう。

本研究では，前述した問題に対処するために英和辞典を用いる. 正解文と学習者訳両者アライメント された場合，学習者訳中の単語が出題文単語に近い 意味が存在するのかを英和辞典で調べる．完全一致 もしくは，出題文中の単語に漢字が含まれる場合は 先頭漢字が一致しているものを正解とし，それ以外 を不正解とした。使用した英和辞典は英辞郎 [16] お よび Web 上の Weblio 辞書 [17] である.これは前述 した「置換」の機能にあたる。なお，誤りありと判定されたが添削単語が存在しない場合は，誤りなし として表示することにした. 訂正のより細かな流れ の一例を図 3 に示す.

## 5 実験

## 5.1 実験条件

実験に利用するデータとして，大学受験レベルの 和文英訳問題 [18],[19] の中からランダムに 51 問を 抽出し，英語中級レベルの 5 名の解答者に英訳文作

図 3 誤り訂正の流れ

成を依頼した。

得られた回答延べ 254 文を著者らが「意味内容の 誤り」に基づいて正解文と不正解文のラベル付けを 実施し，このデータを用いて評価実験を行う. 解答文データの内訳を表 1 に示す.

表 1 解答文データの内訳

## 5.2 実験結果

本研究における実験として, どの程度誤りが検出可能かと，表 1 の誤答文に対して，提案システムが 誤りと判定したものに対しての訂正がどの程度適切 であったのかを評価した。

まず，正解文・不正解文それぞれにおける誤り検出の適合率，再現率， $\mathrm{F}$ 値を表 2 に示す. なお，本論文中の結果は小数点第三位で四捨五入している.

表 2 誤り検出結果

また，112 文の不正解文に対して，提案システム がどの程度単語 (熟語)を添削できたのかを調べた。提案システムが不正解であると判定した個数は 102 文である. 102 文の添削結果の妥当性を著者らによ り人手評価した。適切な添削を行った単語 (熟語)数, 不適切な添削を行った単語 (熟語) 数を表 3 に 示す.

最後に，不正解文中の不適切な添削であったもの のうち，適切な訳であるのに不適切な添削を実施し てしまった単語 (熟語) 数と不適切な添削であるのに 添削出来なかった単語 (熟語) 数を，それぞれ過剩添削，添削不足とし，その結果を表 4 に示す.

付録 A. 2 に本実験における添削例を記載する。表 3 誤り訂正結果

## 5.3 考察

誤り検出では，正解文・不正解文において表 2 よ りどの指標でも $70 \%$ 以上の精度を得ることができ た. T5[20] などの BERT や miniLM より高度な言語 モデルを基に自然言語推論モデルや S-BERTを構築 することで，さらなる精度向上が期待できる。

誤り訂正では，半分程度の確率で適切な添削が可能であることを示した. その中でも表 4 より添削が なされない単語 (熟語) より添削すべきでない単語 (熟語)を添削する方がはるかに多い．これは，英和辞典に存在しない出題文とアライメント関係にあっ た学習者訳中の単語 (熟語) が不正解判定されるため であると考えられる。それと同時に，101 文中で添削されなかった単語が 21 個と少なかったため, 作成した英和辞典が出題文中の単語をある程度網羅 していることを示した. また，Dou and Neubig[8] に よるもののような近年の単語アライメントモデル が，出題文と学習者訳・正解文それぞれの単語の対応関係が高精度で取れ, 訂正タスクにも十分応用可能であることも示した. 英和辞典やルールベースの 拡張，類義語辞典を構築するなどで過剰添削の削減 に期待できる.

## 6 おわりに

本研究では，「意味内容の誤り」を自動添削する ことに特化した和文英訳添削システムを構築した.提案システムとして，BERTをべースとした誤り検出と, 単語アライメントモデルと英和辞典を利用し た誤り訂正の二つを提案した. 実験の結果，誤り検出では全ての指標において 0.7 以上を記録すること ができたが，誤り訂正では半分弱の添削が不適切で あり，さらなる改善が必要である.

今後の課題として，単語アライメントモデルを訂正タスク向けに拡張したモデルの検討や過剩添削を 防ぐアルゴリズムの検討を行うとともに，ユーザへ の評価実験を行っていきたい.

## 謝辞

本研究は JSPS 科研費 JP20K00830 の助成を受けた ものです.

## 参考文献

[1] 杉浦正好. ライティング指導としての和文英訳. 愛知学院大学文学部紀要, No. 39, pp. 127-135, 2010.

[2] Kostiantyn Omelianchuk, Vitaliy Atrasevych, Artem Chernodub, and Oleksandr Skurzhanskyi. Gectorgrammatical error correction: tag, not rewrite. arXiv preprint arXiv:2005.12592, 2020.

[3] Yu Wang, Yuelin Wang, Jie Liu, and Zhuo Liu. A comprehensive survey of grammar error correction. arXiv preprint arXiv:2005.06600, 2020.

[4] 菊地正弥, 尾中大介 and 舟山弘晃, 松林優一郎, 乾健太郎. 項目採点技術に基づいた和文英訳答案の自動採点. 言語処理学会, 2021.

[5] 松岡保静, 中村俊允 and 村上聡一朗, 澤山熱気. 英作文採点・添削技術の開発. NTT DOCOMO テクニカ ル・ジャーナル, Vol. 27, No. 39, 2020.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018

[7] Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks. arXiv preprint arXiv:1908.10084, 2019.

[8] Zi-Yi Dou and Graham Neubig. Word alignment by finetuning embeddings on parallel corpora. arXiv preprint arXiv:2101.08231, 2021

[9] 天野勇弥, 松井颯汰, 綱川隆司, 西田昌史, 西村雅史 ほか. 和文英訳自動添削システムにおける内容誤り 検出手法の検討. 第 84 回全国大会講演論文集, Vol. 2022, No. 1, pp. 807-808, 2022.

[10] Wenhui Wang, Furu Wei, Li Dong, Hangbo Bao, Nan Yang, and Ming Zhou. Minilm: Deep self-attention distillation for task-agnostic compression of pre-trained transformers. Advances in Neural Information Processing Systems, Vol. 33, pp. 5776-5788, 2020.

[11]（2022 年 12 月 22 日閲覧）. https://github.com/ neologd/mecab-ipadic-neologd.

[12]（2022 年 12 月 22 日閲覧）. https://www.nltk.org/.

[13]（2022 年 12 月 22 日閲覧）. http://www. phontron. com/kftt/index-ja.html.

[14]（2022 年 12 月 22 日閲覧）.http://www. edrdg.org/ wiki/index.php/Tanaka_Corpus.

[15] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. Jparacrawl: A large scale web-based english-japanese parallel corpus. arXiv preprint arXiv:1911.10668, 2019.

[16]（2022 年 12 月 22 日閲覧）. https://http://www. eijiro.jp/.

[17]（2022年12月22日閲覧）.https://ejje.weblio.jp/.

[18] 高橋響. 英語ライティングの鬼 100 則. 明日香出版社, 2021 .

[19] 竹岡広信. ドラゴン・イングリッシュ基本英文 100 .講談社, 2005.
[20] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J Liu, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, No. 140, pp. 1-67, 2020.

## A 付録

## A. 1 誤り検出における $\cos$ 類似度評価

予備実験として，S-BERT の意味内容の誤り検出 における適切な $\cos$ 類似度の数值を調査した. 実験 には，本論文で用いたデータとは別のクラウドソー シングで収集した. その後著者らで正解文と不正解文に分け，それぞれ 50 文ずつ計 100 文をランダム に抽出した. 正解文・不正解文と事前に用意した問題集の解答とで S-BERT が示した $\cos$ 類似度の平均値を表 5 に示す.

表 $5 \cos$ 類似度の平均値

表 5 より，正解文に対する $\cos$ 類似度の平均值が 0.83 であることから， 0.8 周辺で閾値設定すればよ いと仮説を立てた.

次に，それぞれ 50 文の正解文・不正解文と事前 に用意した問題集の解答とで S-BERT が示す $\cos$ 類似度の値をそれぞれ箱ひげ図で表した. その箱ひげ 図を図 4 に示す.

図 4 正解文・不正解文に対する S-BERT が示す $\cos$ 類似度の箱ひげ図

箱ひげ図 4 より，正解文に対する $\cos$ 類似度が 0.8 弱から 0.9 強に収まっている. また, 不正解文に対 する $\cos$ 類似度が 0.9 以上のものがほぼない. さら に，正解文に対する $\cos$ 類似度はいくつかの外れ値 を含んでいる。それらの結果と訂正候補が無い場合 は誤りなしとすることをふまえて，正解文の $\cos$ 類似度が 0.85 以上となればその文は正解文であろう と仮定し，閾値設定した。

## A. 2 添削例

ここでは，提案システムにおける添削の一例を 示す.

## A.2.1 添削が適切な例

出題文が“もし宝くじにあたったら，彼らは一生懸命働かなくなるでしょう。”の時に学習者が “If they get big amount of money, they won't work forever." と訳した場合の例を示す。この時の誤り単語 (熟語) は“宝くじ”, “あたる”, “一生懸命”である．その時 の提案システムの出力を表 6 に示す.

表 6 適切な添削例

表 6 中の “get $\Rightarrow$ won”は “get”から “won”への変更 を促している.

## A.2.2 添削が不適切な例

出題文が “医療の向上のおかげで，多くの国で 平均寿命が高くなりました。”の時に学習者が "Thanks to the medical improvement, people live longer in many countries.” と訳した場合の例を示す.この時の 誤り単語 (熟語) は “平均寿命” である. その時の提案システムの出力を表 7 に示す.

表 7 不適切な添削例

“longer” の原型である“long”において，英和辞典 では “向上”という意味の記載がないため不正解判定されている．また，英和辞典において “live”に“平生使う” という記載があるため, “平均寿命” と マッチしてしまった.


# エッセイ自動採点における文法特徵と学習者レベルの関係

土肥康輔 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{doi.kosuke.de8, sudoh, s-nakamura\}@is.naist.jp

## 概要

本研究では，エッセイ自動採点において文法特徵 を考慮することの効果について検証する. エッセイ の分散表現に加えて，学習者が正しく使えている文法項目の情報や，文法誤りの情報をモデルの入力に 用いることで，モデル性能が向上するかを検証し た. 実験の結果，正しく使えている文法項目の情報 は，モデル性能の向上につながらなかった．また，文法誤りの情報は，学習者のレベルが高いデータ セットにおいては効果がない一方で，様々なレベル の学習者が含まれているデータセットにおいては効果があることが示された.

## 1 はじめに

近年の外国語教育では，ライティングやスピーキ ング能力の育成も重視されるようになっており，学校現場や入試で両能力のテストが実施されることも 増えている。しかし，その評価には，大きな人的・時間的コストがかかるという課題がある。採点自体 に時間がかかることに加えて, 評価の信頼性を保つ ためには，採点者の訓練が必要である．このような 課題を背景に，自動採点研究が行われている.

ライティングやスピーキングといった学習者のパ フォーマンスを評価する方法は, 総合的評価と分析的評価に大別される. 前者は学習者の作文や発話に 対して1つのスコアを付与するのに対して，後者は 文法や内容等の複数の観点に対してそれぞれスコア を付与する。ただし，総合的評価においても，それ らの観点での出来栄えが基準となっていることが一般的である. 例えば TOEFL iBT の基準 (表 1) では,内容, 構成, 文法, 語彙等が言及されている. 特に 文法，語彙については，テスト問題のトピックとは 関係なく, ある習熟度レべルの学習者に特徴的な項目があることが明らかになっている [1]. 人間の採点者は，そのような項目を探しながら学習者のパ フォーマンスを評価しているとも言われており [1],表 1 TOEFL iBT ライティング基準 (スコア 5)

An essay at this level largely accomplishes all of the following: - Effectively addresses the topic and task
- Is well organized and well developed, using clearly appropriate explanations, exemplifications and/or details
- Displays unity, progression and coherence
- Displays consistent facility in the use of language, demonstrating syntactic variety, appropriate word choice and idiomaticity, though it may have minor lexical or grammatical errors

自動採点モデルにおいて文法特徴を明示的に利用 することで，様々なテスト問題に対して頑健なモデ ルを構築することが期待できる。そこで本研究は， エッセイ自動採点 (AES) において文法特徴を考慮す ることの効果について検証する。

## 2 関連研究

AES は，学習者が書いたエッセイにスコアやレベ ル等の評価値を付与するタスクである. AES モデル では，特徵量エンジニアリングによって得られた特徴量が広く用いられていた ([2], [3] を参照). 例えば e-rater [4] は，文法誤りや語彙の複雑さの指標を含む 12 種類の特徴量を用いている. [5] は様々な言語特徵を用いて学習したモデルの検証を行い, 文法の複雑さや誤りに関する指標に高い重みが割り振られて いることを明らかにした. [6] は文法誤り検出タス クとのマルチタスク学習を行うことで，AES のパ フォーマンスが向上することを示した.

近年では, 特徼量エンジニアリングを不要とす る, 深層学習に基づく手法が主流となってきて いる. RNN や Bi-LSTM を用いたモデル [7, 8] や, BERT [9] 等の事前学習済み言語モデルに基づくモデ ル $[10,11]$ が提案されている. しかし [2]は, これら の深層学習に基づくアプローチと特徴量エンジニ アリングに基づくアプローチは相補的な関係にあ り，両者を組み合わせることでモデル性能が向上す る可能性を指摘した，実際に，エッセイの分散表現 と人手で作成された特徴量を組み合わせたモデル [12,13] が提案されている. [14] は，BERTから得ら

れるエッセイの分散表現と文法誤りの情報を組み合 わせたモデルを提案した. しかし, 文法誤り情報の 追加は, 話し言葉自動採点でモデル性能を向上させ た一方で，AES では効果がなかった。

## 3 文法特徵利用の効果検証

本研究では，[14] の手法をべースに，BERT 基 づくAES モデルにおいて，文法特徴を用いること の効果について検証する. [14]では, 文法特徴とし て文法誤り情報が用いられていたが，本研究では， CEFR の基準特性研究 [1] を参考に，学習者が正し く使えている文法項目の情報も用いる. CEFR [15] は言語能力を評価する国際指標で，習熟度を $\mathrm{A} 1$ (初級) ～C2 (上級) の 6 段階に区分する. 基準特性は CEFR の各レベルで特徴的な言語項目群であり, あ るレベル以上の学習者が正しく使うことができる positive linguistic features (PF) と, あるレベルの学習者が間違えやすい negative linguistic features (NF) が ある. 以下の節で，検証に用いる $\mathrm{PF}$ とFについて 具体的に説明する.

## 3.1 Positive Linguistic Features

PF の抽出には, CEFR-J Grammar Profile 文法項目頻度分析プログラム $[16,17]$ を用いる. 同プログラ ムは，501 種類の文法項目のテキスト中での頻度を，正規表現に基づいて算出できる. しかし，そのまま ではテキスト中で使われていない文法項目が多く, スパースなベクトルとなってしまうため，100 語あ たりの延べ使用数，及び文法項目の異なり数に基づ き集計したものを特徴量として用いる (表 2 上段). また， 4.1 節で後述するデータの訓練セットにおい て, エッセイの評価値と相関の高かった文法項目 $(100$ 語あたりの延べ使用数 $=6$ 項目, 使用の有無 $=$ 25 項目) のベクトルも使用する (表 2 中段).

## 3.2 Negative Linguistic Features

NF には，100 語あたりの文法誤り頻度を用いる。具体的には， ERRANT [18] によって付与される，24 種類の誤りタグに基づき，特徴量を作成する (表 2 下段). タグのグループ化は, EFCamDat [19] に付与 されている誤りタグに対して, [14] が行ったグルー プ分けを参照し, できる限り対応が取れる形で行っ た (付録 A). テキスト中の文法誤り数の推定には, エッセイを入力とする回帰モデル (4.2.1 節を参照) を用いる。表 2 使用する文法特徴量

異なり数以外は, 100 語あたりの相対頻度.

## 4 実験

実験では，3節で述べた文法特徴を用いることで， BERT に基づく採点モデルの性能が向上するかを検証する.

## 4.1 データセット

本研究では, EFCamDat Cleaned Subcorpus [20], FCE [21], W\&I+L [22] の 3 種類のデータを用いた. EFCamDat と W\&I+L には初級〜上級の様々なレべ ルの作文が含まれている一方で，FCE には比較的高 いレベルの作文のみが含まれている. モデルの学習 に使用したデータの詳細を表 3 に示す.

EFCamDatには，習熟度レベル 1～15 (CEFR A1～ $\mathrm{C} 1$ に対応) の作文が収録されている. 本研究ではそ のうち, 文法誤りタグが付与されている 498,207 件 のデータを用いた. データは, train, dev, test に分割し, train はさらに, 文法誤り数推定モデルの学習用と，採点モデルの学習用に分割した. 採点モデル の学習データには，全習熟度レベルを含む train_sc と, FCE との比較を意図した train_b2 (レベル 9〜13) を準備した. dev と test は，文法誤り数推定モデル と採点モデルの評価に共通して用いた。

FCEには，CEFR B2 レべルの試験において学習者 が書いたエッセイが収録されている. 文法誤り情報 に加えて，0５.3 点の範囲のスコアが付与されてい る. 本研究では, BEA 2019 の文法誤り訂正 Shared Task で配布されたバージョンを, 採点モデルの構築・評価に用いた。

W\&I+L には，学習者と母語話者によって書かれ たエッセイが収録されている. 文法誤り情報に加え て, 学習者に対しては CEFR A1.i～C2.ii の 12 段階,母語話者に対しては $\mathrm{N}$ のラベルが付与されている.本研究では，学習者によって書かれたエッセイのみ を，採点モデルの構築・評価に用いた. W\&I+L は，
表 3 学習に使用したデータ

test が公開されていないため，devを評価に用い， trainを分割して学習・開発データとして用いた。

## 4.2 実験設定

文法誤り数推定モデル，及び採点モデルの両方で，BERT を利用してエッセイの分散表現を取得する. BERT は HuggingFace 社が公開している bert-base-uncasedを用い，学習データの最大入力長は 512 トークンとした. 両モデルとも，BERT の パラメータは固定して学習を行った。

## 4.2.1 文法誤り数推定モデル

文法誤り数推定モデルは，エッセイの分散表現を 入力とし，エッセイに含まれる文法誤り数を予測す る. 文法誤り数は，0から 1 の範囲に正規化した. エッセイの分散表現を入力する線形層の隠れ層の 数は 3 , 各層のノード数は 256 とした. 活性化関数 には reluを用いた. 損失関数は平均二乗誤差 (MSE) を用い，最適化アルゴリズムは Adam，学習率 8e-6, バッチサイズ 16 とし， 60 エポック学習を行った.

## 4.3 採点モデル

採点モデルは，エッセイの分散表現と文法特徴量 を入力とし，エッセイのスコアを予測する。エッセ イの分散表現と文法特徴のべクトルを結合したもの を線形層への入力とした. EFCamDat と W\&I+L で は，エッセイに付与されている評価値は「レベル」 であるが，これを連続値とみなすことで，回帰モ デルを学習した. エッセイのスコアは-1 から 1 の 範囲に正規化した. 線形層の隠れ層の数は 5 , 各層のノード数は $768,1024,512,256,64$ とした.活性化関数には relu を用い, dropout $=0.2$ に設定し た. 損失関数は MSEを用い, 最適化アルゴリズム は Adam，学習率 1e-5，バッチサイズ 16 とし， 120 エポック学習を行った.

ベースラインとしては，エッセイの分散表現のみ を入力とするモデルを準備した. エポック数を 60 とした以外は, 文法特徴量を使う場合と同一の設定 とした.表 4 文法誤り数推定モデルの結果 (ピアソンの積率相関係数). err $7 \mathrm{gr}$ と $\operatorname{err} 24 \mathrm{tag}$ の値は各相関係数の平均値.

## 4.4 実験結果

## 4.4.1 文法誤り数推定モデル

表 4 は，推定された文法誤り数と正解データとの 相関係数を示している. 文法誤りの総数の推定で は，比較的強い正の相関 (err sum $=0.6772)$ が見られ た一方で，推定する誤りカテゴリ・タグの数が増加 すると $(1 \rightarrow 7 \rightarrow 24)$, 相関係数は低くなっていっ た.これは，カテゴリ・タグが細分化されること で，各文法誤りの頻度が低くなることが影響してい ると考えられる．7つの誤りカテゴリを予測するモ デル (err 7 gr) について, 各誤りカテゴリの頻度と 相関係数の関係を確認したところ，誤り数が最も多 いW_lang (スペルや正書法の誤り) で相関係数が最 も高く(0.6192), 誤り数が少なくなるにつれて相関係数が低くなっていくことが確認された. 相関係数 が 0.3978 と最も低くなった AG (数の一致に関する 誤り) は，EFCamDat dev で 1,614 例しかないのに対 して，W」lang は 13,285 例見つかった. また, 頻度が 低い誤りカテゴリは，多くの作文で当該カテゴリの 誤り数が 0 となっていた。

## 4.4.2 採点モデル

表 5 は，推定されたエッセイのスコアと正解スコ アとの相関係数を示している．実験は異なるシード 値によって 3 回行い，それらの結果の平均値を表に 揭載した。

$\mathrm{PF}$ を用いても，BERT に基づくAES モデルの性能は向上しなかった. $\mathrm{PF}$ をい用いたモデルとべース ラインの相関係数は同等であることがほとんどだ が, $\mathrm{g}$ item sum と g item $9 \operatorname{lev}$ (文法の延べ使用数) は,高いレベルの学習者のデータ (EFCamDat_b2，FCE) で用いると，相関係数が悪化した. 延べ使用数は,同一の文法事項を繰り返し使っている場合でも，そ の数値は大きくなる.このような作文は，低いレべ ル帯では問題にならないものの，高いレべル帯では ネガティブな印象になると考えられる。実際，FCE trainにおいて，文法の延べ使用数と異なり数の差
表 5 採点モデルの結果 (ピアソンの積率相関係数)

(平均 $=62.91$ ) が 40 以下の作文のスコア平均は 3.08 だったのに対して，差が 80 以上の作文のスコア平均は 3.79 であった. 延べ使用数に基づく特徴量はこ の差を表現できていないと考えられる. これに対し て, g type 25 (文法の異なり数) は, FCE 以外のデー タセットにおいて，ごく僅かな差であるものの，異 なるシード值での 3 回の実験全てでベースラインの 性能を上回った. 本研究の手法でははっきりとした PF の効果は確認できなかったため，より効果的な PF の活用方法を検討することが今後の課題である.

$\mathrm{NF}$ については，文法誤り数推定モデルの性能が 比較的高かった err sum のみ, 同モデルによる推定値を用いた実験を行った. 推定された文法誤りの総数を用いた場合，採点モデルの性能は向上しなかっ た.しかし W\&I+L においては，ごく僅かな差であ るものの, 異なるシード値での 3 回の実験全てで ベースラインの性能を上回った. 文法誤り数推定モ デル (err sum) が推定する誤り数と真の誤り数の相関係数は 0.6772 (表 5) であるため, $\mathrm{NF}$ を用いること自体の効果がないのか, 文法誤り数の推定精度が低い ことが問題なのかが不明である.

## 4.4.3 オラクルデータによる検証

$\mathrm{NF}$ の効果の有無を明らかにするため，オラクル データとして，データセットに付与されている文法誤り情報を用いた検証を行った。表 6 に，エッセイ の予測スコアと正解スコアとの相関係数を示す.

学習者の習熟度が高いデータ (EFCamDat_b2, FCE) においては，NFを追加してもモデル性能の向上は見られなかった. 高いレベル (少なくとも本実験で対象となっていた CEFR B2 付近) の学習者は,文法をある程度使いこなせることが当たり前であ り, 文法誤りという観点からはあまり差がないこと が示唆される。一方で，様々なレべルの作文を含む EFCamDat_sc と W\&I+L においては，相反する結果 となった. EFCamDat_scでは，NFを追加してもモ表 6 オラクルデータの結果 (ピアソンの積率相関係数)

デル性能は向上しなかったが，W\&I+L では相関係数が 0.05 0.07 程度上昇した. W\&I+L での予測ス コアと正解スコアの散布図を付録 B に示す. err sum を用いることで，正解スコアとの差異が大きい点 (特に，正解スコアより予測スコアが高い点) がベー スラインよりも減少していた。また，W\&I+L にお いて異なる 3 つの NF の効果を比較すると，誤り情報を集計するよりもタグレベルの情報を維持する方 が相関係数が高くなった.

学習者のレベルが様々である場合，レベルによっ て文法の出来栄えが異なっていると想定できる ため, W\&I+L の結果の方が直観に合致している. EFCamDat でNFの効果がなかった原因として考え られるものの 1 つは, EFCamDat に付与されている 文法誤り情報の正確さである. FCE や W\&I+L のア ノテーションが少数の専門家によってなされたのに 対して，EFCamDatのアノテーションは，オンライ ン英会話学校のライティング課題に対して教師が文法誤りを訂正した結果に基づいている。そのため,訂正の一貫性や網羅性に問題があると言われてお り，これが結果に影響を与えた可能性がある.

2 つ目に，EFCamDat のエッセイは W\&I+L と比べ て文法誤りの数が少ない傾向があること (100 語あ たり 8.93 個 vs. 10.83 個 ; 付録 C) が考えられる.こ れは, EFCamDat のエッセイが短いこと (平均 120.98 語 vs. 平均 200.95 語)，上述のアノテーションの網羅性の問題が関連している考えられる。高レベル帯の 文法誤り数は両データセットでほぼ同じなのに対し て，文法特徴が効果的な低〜中レべルの作文ではそ の差異が大きくなっていた.

## 5 おわりに

本研究では，AES で文法特徴を考慮することの効果について検証した. PF は, 本研究の活用手法で はモデル性能の向上に寄与しなかったが， $\mathrm{NF}$ は幅広いレベルの学習者を採点する場合には有効である ことが示唆された．PFを活用する手法や，高レべ ルの学習者に対して有効な言語特徴を検討すること が今後の課題である.

## 謝辞

本研究の一部は JSPS 科研費 JP21H05054，JST 科

学技術イノベーション創出に向けた大学フェロー

シップ創設事業 JPMJFS2137 の助成を受けたもので ある。

## 参考文献

[1] John A Hawkins and Luna Filipović. Criterial Features in L2 English: Specifying the Reference Levels of the Common European Framework. Cambridge University Press, 2012.

[2] Zixuan Ke and Vincent Ng. Automated essay scoring: A survey of the state of the art. In Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence, 2019.

[3] Masaki Uto. A review of deep-neural automated essay scoring models. Behaviormetrika, Vol. 48, No. 2, pp. 459-484, 2021.

[4] Jill Burstein, Martin Chodorow, and Claudia Leacock. Automated essay evaluation: The criterion online writing service. Al Magazine, Vol. 25, No. 3, pp. 27-36, 2004.

[5] Sowmya Vajjala. Automated assessment of Non-Native learner essays: Investigating the role of linguistic features. International Journal of Artificial Intelligence in Education, Vol. 28, No. 1, pp. 79-105, 2018.

[6] Ronan Cummins and Marek Rei. Neural multi-task learning in automated assessment. arXiv, Vol. arXiv: 1801.06830, , 2018.

[7] Kaveh Taghipour and Hwee Tou Ng. A neural approach to automated essay scoring. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1882-1891, 2016.

[8] Dimitrios Alikaniotis, Helen Yannakoudakis, and Marek Rei. Automatic text scoring using neural networks. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 715-725, 2016.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[10] Farah Nadeem, Huy Nguyen, Yang Liu, and Mari Ostendorf. Automated essay scoring with discourse-aware neural models. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 484-493, 2019.

[11] Ruosong Yang, Jiannong Cao, Zhiyuan Wen, Youzheng $\mathrm{Wu}$, and Xiaodong He. Enhancing automated essay scoring performance via fine-tuning pre-trained language models with combination of regression and ranking. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 1560-1569, 2020.
[12] Tirthankar Dasgupta, Abir Naskar, Lipika Dey, and Rupsa Saha. Augmenting textual qualitative features in deep convolution recurrent neural network for automatic essay scoring. In Proceedings of the 5th Workshop on Natural Language Processing Techniques for Educational Applications, pp. 93-102, 2018.

[13] Masaki Uto, Yikuan Xie, and Maomi Ueno. Neural automated essay scoring incorporating handcrafted features. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 6077-6088, 2020.

[14] Stefano Bannò and Marco Matassoni. Cross-corpora experiments of automatic proficiency assessment and error detection for spoken English. In Proceedings of the 17th Workshop on Innovative Use of NLP for Building Educational Applications (BEA 2022), pp. 82-91, 2022.

[15] Council of Europe. Common European Framework of Reference for Languages: Learning, Teaching, Assessment. Cambridge University Press, 2001.

[16] 投野由紀夫 (編). 平成 24 年度 平成 27 年度科学研究費補助金 (基盤研究 (A)) 研究課題番号 24242017 研究成果報告書 学習者コーパスによる英語 CEFR レベル基準特性の特定と活用に関する総合的研究. 2016.

[17] 石井 康毅. CEFR-J Grammar Profile 文法項目頻度分析 プログラム. http://www.cefr-j.org/download.html (2022 年 10 月 20 日ダウンロード), 2020.

[18] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 793-805, 2017.

[19] Jeroen Geertzen, Theodora Alexopoulou, and Anna Korhonen. Automatic linguistic annotation of large scale L2 databases: The EF-Cambridge open language database (EFCamDat). In Selected Proceedings of the 2012 Second Language Research Forum: Building Bridges between Disciplines, pp. 240-254, 2014.

[20] Itamar Shatz. Refining and modifying the EFCAMDAT: Lessons from creating a new corpus from an existing large-scale English learner language database. International Journal of Learner Corpus Research, Vol. 6, No. 2, pp. 220-236, 2020.

[21] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A new dataset and method for automatically grading ESOL texts. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 180-189, 2011.

[22] Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 shared task on grammatical error correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 52-75, 2019.

## A ERRANT の誤りタグのグループ化

Lexical は同じ品詞の別の語に訂正する誤り，form は語の選択は正しいが活用形が間違っている誤り，VT は動詞の時制の誤り，PAP は前置詞・冠詞・所有格の誤り，AG は数の一致に関する誤り，W_lang はスペル・正書法の誤り，Others は語順及びその他の誤りを表す. VT，PAP，AG は [14]に基づいている.

## B W\&I+L での baseline と err sum の結果

## C EFCamDat と W\&I+L の語数と 100 語あたりの文法誤り数