# 外国語学習者にとって意外な用例の難しさ測定のための 語彙テスト・データセット構築

江原遥 1
1 東京学芸大学 教育学部
ehara@u-gakugei.ac.jp

## 概要

外国語学習者（第二言語学習者）が初期に学ぶ語 の多くは高頻度語であり，よく使われる用例とは異 なる意味で使われる用例がある.こうした学習者に とって意外な用例は，よく使われる用例より難しい と思われるが，どの程度難しいのであろうか？この ような文脈を考慮した用例ごとの語の難しさ測定に は，近年急速に発達している文脈化単語埋め込みな ど，文脈の意味を捉える深層学習技術の活用が容易 に考えられる。しかし，これを評価するために，同一の学習者にある語の複数の用例についての設問 に回答させる語彙テストやその結果のデータセッ トが，既存にはほとんど存在しない。そこで，本研究では, 語の用例ごとの難しさ評価のためのデータ セットを構築し，項目反応理論に基づき評価する。

## 1 はじめに

外国語学習において，語の習得は，外国語学習の 大部分の時間を占める. その数が膨大であるため か，外国語学習における語の習得においては，語彙量が主に注目されてきた。例えば，有名なテキス ト中の語の 95\% 98\%以上を（述べ語数で）知らな いと，テキストを十分に理解する事が難しい [1] と いった応用言語学分野の実験結果では，テキスト中 の語をカウントする際に，語の多義性は考慮してい ない、これは，テキスト中の語の語義を自動的に推定する事が技術的に難しかったためと考えられる。

一方で，外国語学習において初期に学ぶ単語の多 くが高頻度語であり, 高頻度語は多義性を持つこと が多い。語彙量計測などの目的で用いられる語彙テ ストのうち，一般的な多肢選択式の試験として広く 用いられている Vocabulary Size Test [2]では，語義を 限定する工夫が施されている。具体的には，表 1 に 示すように，設問で語だけを提示するのではなく，文中に語を入れ込み，その語の意味と最も近い選択肢を選択させる形式になっている。 さらに，文法的 な証拠から適切な選択肢を選ぶことができないよ う，どの選択肢も，文中の指定部分とそのまま入れ 替えても，文法的には正しい文になるように作成さ れている.

語彙テスト結果データ，(どの学習者がどの設問 に正答/誤答したか，というデータ）から，学習者の 能力値や語の難しさを推定するモデルとしては，項目反応理論 (Item Response Theory) [3] が教育学や心理学の分野で広く使われている. しかし, 項目反応理論は設問の意味的情報を一切用いずに，純粋 に被験者の正答/誤答の情報だけから語の難しさを 推定するモデルである．このため，設問が少しで も変更された場合，再度，語彙テストを行わなけ れば結果がわからない，例えば，語の用例ごとに 外国語学習者にとっての難しさを測定するために は，各語について語の用例の分，適切な作問を行 う必要がある. 例えば， 1 万語の各語の用例につい てて，適切な多肢選択式の作問を行えば，設問数 は数万にもなり，こうした問題の全てに学習者に 回答してもらう事は明らかに非現実的である。近年では BERT(bidirectional encoder representations from transformers)[4] をはじめとする，大規模な母語話者 コーパスで事前学習を行う事で文脈を捉えた意味処理を行う手法が盛んである．そこで，こうした手法 を用いて，設問の用例と頻出用例との近さを計測す る事で，語の難しさを計測する手法が容易に考えら れる。しかし，こうした発展性のある手法を評価す るためには，まずは，評価のために信頼できるデー タセットが必要になる．現状では，著者の知る限り そうしたデータセットは整備されていない.

そこで，本稿では，語の用例ごとの難しさ測定のために, 英語を第二言語として学ぶ学習者 (English-as-a-Second-Language Learners)を対象とした
語彙テストを構築した. この語彙テストで，語の意外な用例の設問については，複数の英語母語話者 大学英語教員に問題として成立していることを確認 した. 次に，この語彙テストを用いてクラウドソー シングを用いて，学習者の被験者反応実験では，実際に項目反応理論を用いて，被験者反応のみを用い て，語の通常の用例と，意外と思われる用例の間の 難しさの差を計測した. 項目反応理論を用いて分析 した結果，語の通常の用例の方が，統計的有意に難 しく，良問とみなせる度合い（識別力）も高いこと を定量的に示した. 本研究で作成されたデータセッ トは，今後1)で公開する予定である。

## 2 関連研究

本研究で提示するデータセットの必要性を既存研究との関連から説明する. 1 つは，語学学習アプ リ Duolingo 上の設問に対する回答データを用いた SLAM データセット [5] である. もう 1 つは，多数 の語学学習者に対して, 文中のわからない語をア ノテーションさせた複雑単語推定 (Complex Word Identification, CWI） のデータセット [6] である.こ れらのデータセットと本研究で提示するデータセッ トの違いとして，各被験者は多くある設問のうちの ごく一部にしか回答していないという点が挙げられ る。言い換えると，被験者を行，設問を列とし，被験者の設問に対する回答内容を要素とする行列を 考えた場合，これらのデータセットでは行列が疎に なっている. 項目反応理論は，被験者の設問に対す る回答内容から，設問の難しさや被験者の能力値を 推定を目標とするが，この推定のためには，各被験者がほぼ全ての設問に回答している形式のデータ セットであることが望ましい，また，どちらのデー タセットでも，文中の語に対する被験者の回答が記録されてはいるものの，設問について，今回のデー タセットのような語の通常の用例と，意外と思われ る用例といったようなアノテーションはされていな い. さらに，[6] を含む CWI のデータセットでは，一般に，提示された文に対して，被験者が難しいと 感じた語が記録されているだけであり，被験者が実際にその語の意味を適切に理解しているかテスト を通じた確認はしていない。すなわち，意味は理解 できたが難しいと感じてアノテーションした場合 もあれば，単純に意味が分からなかった場合も含ま れる。


表 1 実際の設問例

It was a difficult period.

a) question

b) time

c) thing to do

d) book

## 3 語彙テスト作成・データセット

語彙テスト作成・データセット作成は，著者が過去に語彙テスト結果データセット作成時の設定に準 じて行った [7]. データセットはクラウドソーシング サービス Lancers ${ }^{2}$ から，2021 年 1 月に収集した. 英語学習にある程度興味がある学習者を集めるため,過去に TOEIC を受験したことがある学習者のみ語彙テストを受けられると明記して，データを収集し た. その結果, 235 名の被験者から回答があった. Lancers の作業者は大部分日本語母語話者であるた め，学習者の母語は，大部分日本語を母語とするも のと思われる。

まず，通常の語彙テストとしては，文献 [7] と同様に，Vocabulary Size Test（VST）[2]を用いた. た だし，VST は 100 問からなるのに対して，[7]では，低頻度語に関する設問では, Lancers 上のどの学習者 もほとんどチャンスレートしか回答できていなかっ たことから，被験者の負担感を減らし的確な回答を 集めやすくするため，低頻度語 30 問を削った. す なわち，残り 70 問を通常の語彙テストとして用い た.この設問例を表 1 に示す. 文中の単語に下線が 引かれてあり，被験者は，この単語と交換した際に 元の文と意味が最も近くなる選択肢を選ぶように求 められる。この際，文法的から選択肢を絞れてしま わないように，選択肢は下線部と文字通り置き換え ても正文となるように作られている。例えば表 1 で あれば，複数形の選択肢が内容に配慮されている。

一方，学習者にとって意外である思われる用例に ついては，著者が作問し，英語母語話者を含む静岡理工科大学の教員複数名に問題として成立してい るか確認を取る方法で，作成した. この際，表 1 と 同様の形式にして，“period" という単語について 2 つの設問がある事が分かってしまうと，意外な語義 については通常の語義以外の選択肢を選ぶことで，選択肢を絞り，意味を知らなくても回答できてしま う。そこで，本研究では，次の 2 つの工夫を行った。

1. 意外な語義を問う設問については，下線部の意

2) https://lancers.co.jp/
表 2 意外な意味を問う設問例

She had a missed

a) time

b) period

c) hour

d) duration

味について問う形にはせず，空欄を埋める形式 の問題とした。これにより，意外な語義につい ては正答を知らなければ，どの語についての設問であるのかもわからないようにした。

2. 通常の語義についての設問を先に行ってしまう と，そこで出てきた単語と同じ語が正答であろ う，という推測ができてしまう。そこで，意外 な語義についての設問群を最初に行い，通常の 語義についての設問群に移動したら，意外な語義についての設問群には戻れないようにした.

この 2 つの工夫を施した実際の設問例が表 2 であ る. “period”には通常の「期間」の他に「生理」とい う意味があり，これを問うている．被験者は，70 問 の通常の用例の語彙テストの前に，表 2 のような設問を 13 問解くように求められる。ただし，先に解 く表 2 の形式の選択肢が，表 1 の形式の問題に影響 していないかどうかを後で確認できるよう，意外な 語義ではあるが，通常の語義の設問群の側に対応す る設問がない設問を 1 問設けた. これにより，対応 する問題は 12 問となる.

## 4 項目反応理論

項目反応理論モデルについて，簡単に説明する。被験者の数を $J$ ，設問（項目, item）の数を $I$ とする.簡単のため, 被験者の添字 (index) と被験者, 項目の 添字と項目を同一視する。例えば， $i$ 番目の項目を，単に $i$ と書くことにする。 $y_{i j}$ は，被験者 $j$ が項目 $i$ に正答するとき 1 ，誤答であるとき 0 であるとする.試験結果データ $\left.\{y_{i j} \mid i \in\{1, \ldots, I\}, j \in\{1, \ldots, J\}\right.\}$ が 与えられたとき, 2PL モデルでは, 被験者 $j$ が項目 $i$ に正答する確率を次の式でモデル化する.

$
P\left(y_{i j}=1 \mid i, j\right)=\sigma\left(a_{i}\left(\theta_{j}-d_{i}\right)\right)
$

ここで, $\sigma$ は $\sigma(x)=\frac{1}{1+\exp (-x)}$ で定義されるロジス ティックシグモイド関数である。 $\sigma$ は $(0,1)$ を値域 とする単調増加関数であり， $\sigma(0)=0.5$ である. 実数を $(0,1)$ の範囲に射影し, 確率として扱うため に用いられている。(1)において， $\theta_{j}$ は能力パラメ 夕（ability parameter）と呼ばれ，被験者の能力を表 すパラメタである． $d_{i}$ は困難度パラメタ（difficulty parameter）と呼ばれ，項目の難しさを表すパラメタ である.(1)より， $\theta_{j}$ が $d_{i}$ を上回る時，被験者が正答する確率が誤答確率より高くなる。 $a_{i}>0$ は，通常，正の値を取り，識別力パラメタ（discrimination parameter）と呼ばれる.この值が大きいほど, $\theta_{j}-d_{i}$ が正答確率/誤答確率に大きく影響するようになる. $\theta_{j}-d_{i}$ を用いて, 被験者 $j$ が設問 $i$ に正答するか否 かが見分けやすくなる事を表しているため，「識別力」と呼ばれる．より直観的には設問 $i$ が，能力值 が高い学習者と低い学習者を正確に見分けられると いう意味で良問であることを示している。

## 5 実験

項目反応理論の困難度・識別力の各パラメタを求 めるには，pyirt ${ }^{3}$ を用いた。これは，周辺化最尤推定（Marginalized Maximum Likelihood Estimation）に より項目反応理論を行うライブラリである．前述の データセットに対して，2PL モデルを用いて困難度 と識別力パラメタを求めた. 表 1 と表 2 のように，設問のペアが 12 組ある. 通常の用例, 学習者にとっ て意外と思われる用例の困難度パラメタを，それぞ れ横軸，縦軸に表し，横軸と縦軸の縮尺・範囲を同一にプロットし図 1 に示した。各点は語を表す。

困難度の比較 図 1 の左下から右上まで，点線で 対角線を示した. 図 1 の横軸・縦軸とも，困難度パ ラメタの值であり，この値が大きいほど難しいと判定される。そのため，この対角線より左上にある点 は，通常の用例の困難度より，学習者にとって意外 と思われる用例の困難度の方が，語彙テスト結果 データからも学習者にとって回答が難しいと判定さ れた語ということになる。今回は設問数が少ないの で，図 1 の結果が偶然得られた可能性がどの程度あ るか検証するため，横軸の値の列と縦軸の値の列で 統計的検定を行った. Wilcoxon 検定の結果，縦軸の 值の列が統計的有意に横軸の值の列より大きかった $（ p<0.01 ）$.すなわち，縦軸の設問群の方が横軸の 設問群より難しかった事が示唆される。

識別力の比較 識別力についても，図 1 と同様に プロットし，図 3 に示した. 識別力は，直観的には，高いほど，その問題で（他の問題で推定される）能力値が高い学習者と低い学習者を分けることができ るという意味で，良問である度合いを表す。学習者 にとって意外と思われる用例は，能力値が高い学習者でも知らないことがあり，低い学習者でも知って

3) https://github.com/17zuoye/pyirt

図 1 各語の, 通常の用例の困難度（横軸）と学習者に とって意外と思われる用例の困難度（縦軸）のプロット.各点は各語を表す.

いることがあるため，通常の用例よりも識別力が低 いと予想される。全ての語について，通常の用例の 方が，意外と思われる用例よりも識別力が高いと推定されている。この結果も，Wilcoxon 検定の結果，統計的に有意であった $(p<0.01)$. 識別力のプロッ トについては紙面の都合のため付録に記す。

困難度と識別カのプロット 識別力は，直観的に は，他の設問で能力值が高いと推定された学習者が 簡単な問題に誤答してしまう，また，他の設問で能力値が低いと推定された学習者が難しい問題に正答 してしまう場合に低下する，今回の設定では，前者 のケースはあまり見られないが，後者のケースで回答が分からない学習者がとりあえず選んだ選択肢に 正答してしまう事はあるので，困難度の高い説問ほ ど，識別力が低く出ることが予想される. 困難度の 高い問題の識別力を向上させる 1 つの方法として は，選択肢に「わからない」や未回答を許すという 方法が考えられる. しかし，クラウドソーシング上 でこの方法を取ると，ほぼ全ての設問に対して「わ からない」と回答するケースなどがあるため, 今回 はこの方法は取らなかった. 全ての語についての困難度パラメタと識別力パラメタのプロットを示し た（図 2）. 図 2 から，困難度が増加するにつれて，識別力が減少していく傾向が見て取れる. 困難度 パラメタと識別力の間の困難度パラメタと識別力 パラメタの間のスピアマンの順位相関係数は-0.739 $（ p<0.01 ）$ で，「強い相関」が認められた.

図 2 全語の困難度（横軸）と識別力（縦軸）の関係.

被験者反応予測による評価 現状のように，語の 意外と思われる用例の難しさを通常の用例の難しさ で代替してしまうと，被験者が設問に正答/誤答す るかにどの程度の悪影響があるのだろうか？これを 調べるために，次の実験を行った.まず， 235 人の 被験者を 135 人と 100 人に分ける. 意外と思われる 用例の設問群（12 問）のパラメタについては前者の 135 人の被験者反応だけから，通常の用例の設問群 （70 問）のパラメタについては 235 人全員の被験者反応で推定する.この推定の際には，後者の 100 人 $\times 12$ 問，計 1,200 件の回答データは用いていないこ とに注意されたい。(1)より，推定された被験者の 能力值 $\theta_{j}$, 用例の困難度 $d_{i}$ を用い, $\theta_{j}>d_{i}$ であれば 被験者 $j$ が設問 $i$ に正答，そうでなければ誤答と判定できる．設問 $i$ の困難度パラメタとして，意外と 思われる用例の 12 問の困難度パラメタを直接用い た場合と，対応する語の通常の用例の困難度パラメ タで代替した場合で，この 1,200 件の回答データの 予測精度を比較した。その結果，直接用いた場合の 予測精度は $64.4 \%$ ，通常の用例の困難度で代替した 場合は $54.4 \%$ と, 10 ポイントの差が出た. この差 は，Wilcoxon 検定で $p<0.01$ で有意であった.

以上から，被験者反応の予測における，語の用例 ごとに困難度を推定することの重要性がわかる.

## 6 結論

本研究では, 外国語語彙学習において, 語の通常 （典型的）な用例と学習者にとって意外と思われる 用例の外国語学習者にとっての難しさの差を，被験者反応から測定可能なデータセットを提案した.こ のデータセットにより，BERT などの転移学習技術 を用いて，文脈に埋め込まれた個々の語の難しさを 推定できるモデルを評価する事が可能になった. こ うしたモデルの提案が，今後の課題となる.

## 謝辞

本研究は，科学技術振興機構 ACT-X 研究費 (JPMJAX2006), ならびに日本学術振興会科学技術研究費補助金（18K18118）の支援を受けています. また，産業技術総合研究所の $\mathrm{AI}$ 橋渡しクラウド (ABCI)を使用しています。本データセットの設問 が問題として成立しているか確認していただいた,谷口ジョイ先生をはじめとする静岡理工科大学の先生方に深く感謝いたします。

## 参考文献

[1] I. Nation. How Large a Vocabulary is Needed For Reading and Listening? Canadian Modern Language Review, Vol. 63, No. 1, pp. 59-82, October 2006.

[2] David Beglar and Paul Nation. A vocabulary size test. The Language Teacher, Vol. 31, No. 7, pp. 9-13, 2007.

[3] Frank B. Baker. Item Response Theory : Parameter Estimation Techniques, Second Edition. CRC Press, July 2004.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proc. of NAACL, 2019.

[5] Burr Settles. Data for the 2018 Duolingo Shared Task on Second Language Acquisition Modeling (SLAM), 2018.

[6] Seid Muhie Yimam, Chris Biemann, Shervin Malmasi, Gustavo Paetzold, Lucia Specia, Sanja Štajner, Anaïs Tack, and Marcos Zampieri. A report on the complex word identification shared task 2018. In Proc. of BEA, June 2018.

[7] Yo Ehara. Building an English Vocabulary Knowledge Dataset of Japanese English-as-a-Second-Language Learners Using Crowdsourcing. In Proc. of LREC, May 2018.

図 3 各語の, 通常の用例の識別力（横軸）と学習者に とって意外と思われる用例の識別力（縦軸）のプロット.各点は各語を表す.

## A 付録 (Appendix)

付録には，本論に直接関係ないが，参考になる図 を示す. 図 3 に識別力のプロットを示す.
 江原遥 1 1 東京学芸大学 教育学部 ehara@u-gakugei.ac.jp  