# コーパス統計量と読解能力値に基づいた単語の既知率の予測

相原理子 ${ }^{1}$ 石川香 ${ }^{1}$ 藤田早苗 ${ }^{2}$ 新井紀子 ${ }^{3}$ 松崎拓也 ${ }^{1}$
${ }^{1}$ 東京理科大学 理学部第一部 応用数学科
${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所， ${ }^{3}$ 教育のための科学研究所
\{1417001, 1417009\}@ed.tus.ac.jp, sanae.fujita.zc@hco.ntt.co.jp, arai@s4e.jp, matuzaki@rs.tus.ac.jp

## 1 はじめに

小学校から大学までどの学習段階においても教科書は最も主要な知識源である。よって児童・生徒・学生が教科書をどの程度理解できるか, あるいは逆 に，教科書がその対象読者に理解可能な形で書かれ ているかを知ることは重要である。一方，読解に関 するこれまでの研究から，あるテキストを理解する ためには，そこに含まれる単語の大部分が既知であ ることが必要だと知られている. そこで, 様々な学年の览童生徒にとって, 教科書中の単語がどれくら い既知であるかを正確に知りたい。

この目的の下, 本研究ではコーパス統計量や児童生徒の読解能力スコアを用いて，各単語の既知率を 正確に予測することを試みた。ここで，ある単語の 既知率とはある集団（例えば同学年の児童）におけ る, その単語を知っている人の割合を意味する. 語彙量に従ってテキストの理解度も向上するという結果は様々な実験から知られており, 例えば、Schmitt ら [1] は, テキストの内容を $60 \%$ 以上理解するため には，テキスト中の単語の約 $98 \%$ を把握している必要があるとしている.

特に教科書中の語彙が, その対象である児童生徒 にとってどの程度まで既知であるかは重要な基礎情報だが，これを調査した例は我々の知る限り存在し ない。その主な理由は，教科書中の単語についての 全数調査はもちろんのこと, 十分な量のサンプリン グ調査でも児童生徒への負担が極めて大きく, 現実的でないことであろう，そこで本研究では，コーパ ス統計量などを用いて, 教科書中の各単語の既知率 を正確に予測することが可能かどうかを調查する.

## 2 関連研究

## 2.1 語裹知識予測問題

語彙知識予測問題とは，ある人がある単語を知っ ているかどうかを予測する問題である．例えば，江原 [2] は単語テストに用いる単語を選ぶ際に, 学習者の能力を正確に把握するのに適した項目を選ぶこ とによって，語彙知識予測の性能を向上させる手法 を提案した。この研究では，項目の難易度を正確に 把握することが重要であるが，単語の難易度は，学習者によって異なるため, 項目反応理論の Rasch モ デルを発展させ，学習者にとっての単語の難易度を 計算するモデルを提案している.

## 2.2 単語親密度による語彙数調査

単語親密度とは語のなじみ深さを 1-7 の值で数値化したものであり, 数值が高いほどなじみのある語 であることを示す. 天野ら [3] は 18～29 歳の評定者, 藤田と小林 [4] は 18 35 歳の評定者からこの数値を得ている. 藤田ら [5] はこの単語親密度を用い て小学生から高校生を対象に語彙量調査を行ってい る.この調查により，学年が上がるにつれて，おお む敖語彙量が増大していること，また単語親密度と 各語を知っている人の割合 (既知率) には強い相関 があることが分かっている.ここで注意すべき点は，学年ごとに単語親密度と既知率の関係は異なること, さらに, 特に小学生では同程度の親密度を持つ語の 間でも既知率に大きな差がある場合があることであ る. よって個人の語彙量の推計ではなく, 具体的な 教科書中の語彙のカバー率（既知の単語の率）を推計する際には，単語親密度以外の情報も併用して 個々の語の既知率を正確に推計することが望まれる。

## 3 背景

## 3.1 現代日本語書き言葉均衡コーパス

現代日本語書き言葉均衡コーパス (BCCWJ) は, 短単位で数えて約 1 億語を含む大規模均衡コーパスであ る. BCCWJ は計 13 のレジスターから構成されてい る. 表 1 にレジスターごとの延べ語数（短単位）を 示す（数値はマニュアル [6] に基づく）.
表 1 各レジスターの語数

## 3.2 教育基本語彙

教育基本語彙 $[7]$ とは学習者に教育する基本的な 言葉であり, 国立国語研究所が 7 種の教育基本語彙 をデータベース化したものである. 本研究では, 教育基本語彙に含まれるかどうかとその単語の既知率 との関係を調べた。

## 3.3 リーディングスキルテスト

リーディングスキルテスト（RST） [8] は主として 教科書から採った 1～2 文からなる短いテキストを 用いた読解能力テストである。これまで中高生を中心に，小学生および成人も含め約 20 万人が受検し ている. RST の問題は以下の 6 タイプからなる：係 り受け解析 (DEP), 照応解決 (ANA), 含意関係の認識 (INF), 定義に適合する具体例の選択 (INST), 画像の理解 (REP), 同義文か否かの判定 (PARA). テス 卜結果に従って, 各受検者に対し問題タイプごとに 項目反応理論に基づく能力值が推定される. 本研究 では受検者がある単語を知っているか否かを能力値 をもとに推測することを試みる。

## 4 調査対象とするデータ

## 4.1 藤田らによる語彙調査結果

藤田ら [5] は, 親密度がおよそ $2.0 \sim 6.5$ の単語 およそ 50 語について, 小学校 6 年生から高校 2 年生までの約 2500 名を対象に, 各単語を知っている か否かを調査した. 本研究ではこのデータを調査対象の一つとした. 以下，これを「データ A」と呼ぶ.

## 4.2 語彙テストと RST 能力值データ

小学 6 年生から中学 3 年生までの約 4300 人を対象に語彙テストを行った. テストした単語は 40 単語で, 各被験者はそのうち 10 単語について, 「知っ

図 1 中学高校教科書における単語親密度の分布

図 2 親密度（令和版）と既知率の関係

ている/たぶん知っている/たぶん知らない/知らな い」のうち 1 つを選んだ上で，語義を問う 4 択のテ ストに答えた.「知っている」または「たぶん知って いる」を選び，かつ 4 択のテストに正解した語を「既知」とみなす. 語彙テストに加え DEP, INF, INST, REP の 4 つの RST 問題タイプに対する各被験者の能力値を測定した. 以下，これを「データB」と呼ぶ.

## 5 分析結果

## 5.1 中学校・高校の教科書テキスト比較

図 1 は, 中学校・高校の理科・社会の教科書中の 単語の親密度の分布である. オレンジのヒストグラ ムが中学校, 青のヒストグラムが高校の教科書にお ける分布を表す。具体的な科目としては，中学校理科は理科 3 年 [9], 中学校社会は公民 [10], 高校理科は物理 [11], 高校社会は現代社会 [12] の教科書 を調査した. 図から, 理科の科目どうし, 社会の科目どうしの親密度の分布は比較的似ていることが分 かる。言い換えれば，類似する科目の教科書であれ ば，中学・高校の教科書中の単語の親密度の分布に は大きな差がない.このことから，もし中学生・高校生の間で使用する教科書中の単語カバー率に差が
表 2 学年ごとの各レジスターの線形回帰係数 と自由度調整済み決定係数

あるとすれば, それは中学教科書が高校教科書に比 べ「易しい」単語を多く含むためではなく，主とし て, 同程度の親密度の単語に対する中学生・高校生 の既知率の違いに起因すると予想される。

## 5.2 教育基本語彙 - 単語親密度と既知率

図 2 はデータ A のうち小学校 6 年生を対象とする 結果について, 教育基本語彙に含まれる単語 (赤点) と含まれない単語（黒点）に分けて, 横軸に単語親密度 (令和版), 縦軸に既知率を取った散布図である。教育基本語彙は教育上重要と考えられている語を集 めているため, 特に低い学年では, 同程度の親密度 の単語でも教育基本語彙に含まれるものの方が既知率が高い可能性がある。しかし, 図 2 から分かるよ うにそのような傾向は見られなかった。

## 5.3 単語出現頻度を用いた既知率の予測

図 3 は BCCWJ の 13 個のレジスターごとに, 含ま れる単語の親密度（平成版）の分布を示す（単語延 べ出現数に対する分布). 各レジスターにおける親密度の分布には多少の違いが見られる。

データ A の各テスト語について BCCWJ の各レジ スターにおける出現頻度を調べ，説明変数を各レジ スターでの相対頻度の対数, 目的変数を小学校 6 年生〜高校 2 年生におけるその単語の既知率として,学年ごとに線形回帰を行った. ただし, 頻度が 0 と なるレジスターに対する説明変数の値は, その他の レジスターでの相対頻度の平均値の対数とした。

図 4 読解能力値の違いによる既知率の差

表 2 に，各レジスターに対応する回帰係数及び自由度調整済み決定係数 $\left(R^{2}\right)$ を学年ごとに示す. 表中 で，係数が非ゼロであることが $5 \%$ 有意であるものに は†，10\%有意であるものには†を付した. 非ゼロで あることが有意となる係数がごく少数であり, $R^{2}$ の 值も低いことからモデルのあてはまりは良くない. また，予測値が実測値を上回る単語，下回る単語が 全ての学年でほぼ共通していた.このことからモデ ルの線形性の仮定が妥当でない可能性がある.

また，表 2 の最終行に BCCWJ 全体における相対頻度の対数を説明変数とする場合 (すなわち単回帰の 場合)の自由度調整済み $R^{2}$ を示す.表の最後の 2 行の 比較から, 低い学年ではレジスターを分けた方が回帰の当てはまりが良く，高い学年ではレジスターを 分けない方が良いことが分かる.

## 5.4 読解能力値を用いた既知語予測

各览童生徒の読解能力値を入力値とすることで, ある単語がその坚童生徒にとって既知であるかどう かを予測したい. これが高い精度で可能ならば, 個々 の览童生徒にとっての教科書テキストの単語カバー 率が推計できる。そこで，まず読解能力値と語彙テ スト結果の関係について確認しておく.

図 4 はデータ B について 4 つの能力値ごとに縦軸 に能力値が高い上位 $1 / 4$ の受検者における各テスト 語の既知率, 横軸に能力值が低い下位 $1 / 4$ の受検者 における既知率をとった散布図である。図 4 から，

図 3 BCCWJ のレジスターごとの分布

## 図 5 既知率と既知語予測の平均精度

どの能力値, どのテスト語についても能力値上位 $1 / 4$群における既知率が下位 $1 / 4$ 群におけるそれを上回 っており, 読解能力値と語彙量には関係があること が分かる.

次に, 説明変数を受検者の 4 つの RST 能力値, 目的変数を各受検者にとってテスト語が既知であった (1) か否か $(0)$ として, 個々の単語ごとにロジスティ ック回帰を行った. 受検者を 10 分割した交差検証 を行ったときの平均精度を図 5 に示す. 赤い直線は $y=x, y=1-x$ のグラフで, 全て既知, あるいは 全て未知と予測した場合のベースライン精度を表す。赤線との比較から，既知率 $50 \%$ 付近の単語について は予測精度がベースラインを上回るが，それ以外の 単語についてはベースラインと同等の精度でしか予測できていないことが分かる. すなわち, 4 つの RST 能力値を総合しても, 個々の受検者にとって単語が 既知かどうかを予測することは難しいことが分かる。

さらに, 受検者の 4 つの RST 能力値を説明変数,各受検者にとってテスト語が既知であったか否かを 目的変数とする上記のロジスティック回帰モデルに，説明変数として単語固有のパラメータ (項目反応理 における困難度に相当する)を加えたもの（モデル 1)表 3 困難度あるいは親密度を加えた回帰の結果

} & \multicolumn{4}{|c|}{ RST 能力值 } & \multirow{2}{*}{} & \multirow{2}{*}{} \\

と，単語親密度を加えたもの（モデル 2) について，全テスト語に対するデータをまとめて訓練データと し10 分割交差検証を行った. 結果を表 3 に示す. 単語親密度を説明変数として加えたモデル 2 の平均精度は 0.64 であり, 個々の単語の既知率の推定に用 いるには不十分であることが分かった。

## 5 おわりに

教育基本語彙, BCCWJ での単語出現頻度, および RST 能力値を用いて，ある集団内での単語の既知率 の予測および各受検者にとって単語が既知か否かの 予測を試みた、いずれの予測も難しく，受検者ごと に単語が既知か否かを予測する精度が $70 \%$ を超える ことはなかった．予測精度を上げるためには，受検者に関しさらに情報を加える必要があると考えられ る。例えば，受検者の読書傾向や読書量，また家庭環境などの情報は有用であろう。しかし, 全児童生徒にとっての教科書の単語カバー率を推定するとい う当初目的を考えると，そのような情報を全児童生徒について調查できるかという問題がある.

## 謝辞

教科書データを提供いただいた東京書籍株式会社 に感謝します.本研究の一部は JST, さきがけ, JPMJPR175Aの支援を受けたものである.

## 参考文献

[1] Norbers Schmitt, Xiangying Jiang, and Willian Grabe. The Percentage of Words Known in a Text and Reading Comprehension. Modern Language Journal, 95(1), pp.26-43, 2011.

[2] Yo Ehara, Issei Sato, Hidekazu Oiwa, and Hiroshi Nakagawa. Mining words in the minds of second language learners: learner-specific word difficulty. In Proceedings of COLING, 2012.

[3] 天野成昭, 近藤公久. 日本語の語彙特性. 三省堂, 1999 .

[4] 藤田早苗, 小林哲生. 単語親密度の再調査と過去 のデータとの比較. 言語処理学会第 26 回年次大会, 2020.

[5] 藤田早苗, 小林哲生, 山田武士, 菅原真悟, 新井庭子，新井紀子. 小・中・高校生の語彙調査および単語親密度との関係分析. 言語処理学会第 26 回年次大会, 2020.

[6] 国立国語研究所. 『現代日本語書き言葉均衡コ ーパス』利用の手引. 2015.

[7] 国立国語研究所. 教育基本語彙の基本的研究 : 増補改訂版. 明治書院, 2009 .

[8] Noriko H. Arai, Naoya Todo, Teiko Arai, Kyosuke Bunji, Shingo Sugawara, Miwa Inuzuka, Takuya Matsuzaki, and Koken Ozaki. Reading Skill Test to Diagnose Basic Language Skills in Comparison to Machines. In Proceedings of the 39th Annual Cognitive Science Society Meeting, pp. 1556-1561, 2017.

[9] 岡村定矩ほか. 新編 新しい科学 3 . 東京書籍, 2016.

[10］坂上康俊ほか. 新編 新しい社会 公民. 東京書籍, 2016 .

[11］三浦登ほか. 改訂 新編物理基礎. 東京書籍, 2017.

［12］間宮陽介ほか．現代社会．東京書籍，2017.
 相原理子 ${ }^{1}$ 石川香 ${ }^{1}$ 藤田早苗 ${ }^{2}$ 新井紀子 ${ }^{3}$ 松崎拓也 ${ }^{1}$ ${ }^{1}$ 東京理科大学 理学部第一部 応用数学科 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所， ${ }^{3}$ 教育のための科学研究所 \{1417001, 1417009\}@ed.tus.ac.jp, sanae.fujita.zc@hco.ntt.co.jp, arai@s4e.jp, matuzaki@rs.tus.ac.jp  