# 日本語の難易度に関する特徴分析

前川 絵吏村尾 元
神戸大学 国際文化学研究科
\{eri.maekawa, hajime.murao\}@ mulabo.org

## 1 はじめに

近年，日本で生活する外国人が増加し，やさしい 日本語が注目されている. やさしい日本語を自動生成するため機械翻訳の技術を利用した研究が活発で ある。機械翻訳では翻訳精度を BLEU [1]や SARI [2] で比較することが多い. BLUE や SARI は入力文,参照文との比較でスコアを計算するが，直接的にテ キストの難易度を測定しない。そこで，本研究では テキストの難易度を測るべく日本語の特徴量を分析 し，分類モデルを構築した．将来的には，テキスト 平易化の評価指標とすることを検討している.

キーワード : やさしい日本語, ランダムフォレス ト, Permutation Impmortance

## 2 先行研究

劉ら [3]は語彙レベルと構文の複雑さからテキス トの難易度を判定する手法を提案した。語彙レベル を表す尺度には，読解学習支援システムである「リ 一ディング・チュウ太・語彙チェッカー」 [4] 使用 している. リーディング・チュウ太・語彙チェッカ 一は旧日本語能力試験の出題基準に基づいて語彙レ ベルを判定する Web システムである. 構文の複雑さ を表す尺度には係り受け距離を採用し，これが長い 文は難易度が高いとしている。実験では，日本語能力試験の問題集をコーパスとして利用し，重回帰分析によって難易度算定公式を提案している。

張ら [5]は日本人が定義する難易度ではなく, 外国人の感覚に合った日本語の難易度を自動推定する 手法を提案した。テキストの特徴量を抽出し, 外国人が付与した難易度スコアを利用して, 特徴量が有効かどうかを調查した. 特徴量として, 単語数, 品詞の数, 品詞の割合, 分節数, 係り受けの距離, 係 り受けの回数を抽出した．難易度自動推定では，線形回帰モデルにより難易度スコアを算出する式パラ メータを推定している。これにより，任意の文から 難易度スコアを推定することを可能にした。

本研究では，外国人にとっての難易度に着目して
いる点では先行研究と同様であり特徴量の参考にし た.しかし, 現行の日本語能力試験では出題基準を 公開していないため, 本研究では語彙レベル等を特徴量とはしていない。それに相当する特徴量として 出現頻度を設定した。

## 3 難易度推定のための特徴量の抽出

## 3.1 特徴量の求め方

テキスト 1 文から特徴量を抽出し, 普通の日本語 とやさしい日本語の文で比較する。特徴量として以下の值を用いる。

単語数 テキストに含まれる形態素の数.

漢字率 テキストに含まれる漢字の個数を文字数で割った値.

外来語率 全ての文字がカタカナである形態素 の数.これを単語で割った値.

受身率 接尾語の「れる」もしくは「られる」の 形態素の数. これを単語数で割った値.

サ変接続名詞率品詞が「サ変接続名詞」である 形態素の数. これを単語数で割った値.

副詞率 品詞が副詞である形態素の数. これを単語数で割った値.

読点率 読点の個数. これを単語数で割った值.

否定率 品詞が助動詞の「ない」「ぬ」「ん」の数. これを単語数で割った值。

出現頻度最大値品詞が「名詞」「動詞」「形容動詞」「形容詞」である形態素の数のうちの最大値.

出現頻度平均値品詞が「名詞」「動詞」「形容動詞」「形容詞」である形態素の数のうちの平均値.

係り受け平均距離文節単位での修飾文節と被修飾文節間の分節数を係り受け距離としたとき，1 文内で修飾-被修飾関係にある全ての文節間の係り 受け距離の平均值.

係り受け最大距離 1 文内で修飾-被修飾関係に ある全ての文節間の係り受け距離の最大値.
表 1 特徵量の統計量

 & 38.471 & 285.000 & 3.000 & 17.096 \\

係り受け被修飾数 1 文内における全ての文節に ついての被修飾数の最大值.

## 3.2 実験データ

## 3.2.1 データの取得

実験では，通常の文として NHK NEWS WEB と， やさしい日本語の文として NEWS WEB EASYiiの記事からテキストを抽出した。 2020 年 7 月 9 日から 2020 年 12 月 8 日までに投稿された 329 件の記事を Web スクレイピングで収集した. 収集するテキスト は Web ページのニュース本文のみである. タイトル，記事の投稿日時，注目ワード，別の記事へのリンク テキストやバナーの文字などは含まない.

得られたテキストから, NEWS WEB EASY 2,600 文, NHK NEWS WEB 2,600 文をランダムに選び，合計 5,200 文を教師データとした。このうち学習デー 夕は 5,000 文で, NEWS WEB EASY の文が 2,501, NHK NEWS WEB の文が 2,499 , 検証データは 200 文 で, NEWS WEB EASY の文が 109 , NHK NEWS WEB の文が 91 とした。

## 3.2.2 特徵量の計算

NEWS WEB EASY のテキストから HTML タグと ルビを取り除き, 特徴量を計算した. 求めた特徴量 ベクトルにその文が通常文かやさしい日本語かを示 すラベルを付与し，ラベルを推定するようモデルを 学習した。

特徴量の基本統計量を表 1 に示す. なお, 特徴量 の標準化はしていない。特徴量のうち, 最小値・最


大値・平均値など基本統計量に差が見られるものは,「単語数」「漢字率」「サ変接続名詞」「副詞率」「係 り受け最大距離」「出現頻度最大值」が該当する.

反対に,「外来語率」や「否定率」はほとんど差が ないということがわかる.

## 4 特徴量に基づく分析

## 4.1 分析手法

## 4.1.1 ランダムフォレスト

ランダムフォレストは機械学習の手法のひとつで,分類や回帰問題に適用できる. ランダムフォレスト は複数の決定木で学習する。 その手順は次の通りで ある。まず，全ての学習データからそれぞれの決定木を学習するためのデータをランダムに選択する。 これを用いてそれぞれの決定木を学習する．学習後 のランダムフォレストを分類に利用する場合はそれ ぞれの決定木の出力からもっとも多い出力をランダ ムフォレストの出力とする.

決定木のアルゴリズムは特徴量と閾値を調整して 決める。例えば「単語数は 20 より大きいかどうか」 という条件で分岐した結果が，ラベル 0 と 1 のグル ープにクラス分けできていれば精度がよいと言える。今回の実験のように 2 値に分類する場合，条件によ って分割したデータ群にラベルが混ざり合っている 状態は不純度が高く, 一方のラベルが集まっている 状態を不純度が低いとする．親ノードより子ノード の不純度が低くなるよう学習していく。

ii https://www3.nhk.or.jp/news/easy/

## 4.1.2 Permutation Importance

Permutation Importance は特徴量の重要度を測る方法の一つで，それぞれの特徴量がどれくらいモデル の予測精度に貢献しているかを重要度とする. 重要 な特徴量の場合, その特徴量をランダムに並べ替え て学習すると正解率が低くなる.

計算の手順を示す.

正解率を $s$ とする.

2.特徴量 $j$ ごとに以下を計算する.

2.1 特徴量 $j$ ¡ンダムに並べ替えて, データセット $D_{j}$ を生成する.

2.2 データセット $D_{j}$ を, 学習済モデルで分類したとき の正解率を $\mathrm{s}_{j}$ とする.

3. 特徵量が $K$ 個あるとしたときの特徵量 $j$ の重要度 $P I_{j}$ を次の計算式で定義する.

$
P I_{j}=s-s_{j}(1 \leq j \leq K)
$

## 4.2 分析結果

## 4.2.1 ランダムフォレスト

ランダムフォレストでの学習には Python のパッ ケージである scikit-learniiを使用した. パラメータは,決定木の数を 100 とし, それ以外は scikit-learn のデ フォルトを使用した.

正解率は次の式で求める.

$
\text { Accuracy }=\frac{\mathrm{TP}+\mathrm{TN}}{\mathrm{TP}+\mathrm{FP}+\mathrm{FN}+\mathrm{TN}}
$

TP は真陽性, FP は偽陽性, FN は偽陰性, TN は 真陰性とする．5,000 件のデータを学習させた結果，正解率(Accuracy)の平均は 0.825 , 分散は $6.44 \times 10^{-5}$ であった.

## 4.2.2 PermutationImportance による特徴量の 重要度

次に，どの特徴量がモデルの正解率に影響を与え ているかを調べるために Permutation Importance を測定する. 全ての特徴量について計算した結果を図 1 に示す.

図 1 より, 「サ変接続名詞率」,「単語数」,「漢字率」, 「受身率」,「出現頻度最大値」の 5 つの特徴量 で特に誤差が大きくなった。これ以外の特徴量は, ランダムにシャッフルして学習しても精度は 0.01 以下しか変わらないことから, 学習済モデルの推定精度に大きな影響を与えないと言える。つまり，先に 挙げた 5 つの特徴量が重要であることが分かる.

図 1 Permutation Importance の結果

## 5 分類モデルの実験

## 5.1 実験の目的

本研究では, やさしい日本語と通常の日本語のテ キストデータから特徴量を抽出し, それぞれの特徴量が文の難易度にどれくらい影響を与えているかを 分析した. 分析では特徴量とラベルをランダムフォ レストで学習し, 分類モデルを生成した. 分類モデ ルはテキストの難易度を評価するための判断として 利用できることを期待している。 それを確認するた め, モデルの学習に使用していないコーパスでモデ ルを実験する。

## 5.2 実験に利用するコーパス

4.2.1 で生成したランダムフォレストの学習済モ デルを，他の４つのコーパスから収集したテキスト データに適用し，ラベルを推定した。それぞれのコ ーパスの特徴と文例を示す.

(a)こどもコーパス 甲南大学知能情報学部の研究 チームが集めたコーパス [6]である. 10 歳 11 歳の こどもが本を紹介するブログに書き込んだテキスト を収集したものである。

(b) 青空文庫 青空文庫で公開している作品である。宮沢賢治の「銀河鉄道の夜」を選んだ。

(c)ウェブ文書リードコーパス 京都大学の研究室 で公開しているコーパスの 1 つで, Web 文書の冒頭 3 文を収集したコーパスである.ニュース記事，ブ


ログ，商用ページなどさまざまな文書を含む.

(d) Wikipedia コーパス 共同作業で執筆されるイ ンターネット上の事典である。日本語 Wikipedia の ダンプデータからテキストを抽出した. Wikipedia の 記法であるタグを取り除くため, Wikipedia Extractor を使用し，テキストのみを抽出した．全てのダンプ データを利用すると計算コストが膨大になるため, ファイルの先頭から 10 万行を抽出して使用した.

## 5.3 結果と考察

それぞれのコーパスから 500 文のテキストをラン ダムに選択した。テキストから特徴量を計算し, NHK NEWS WEB と NEWS WEB EASY で学習済の モデルで推定した結果を表 2 に示す.

こどもコーパス, 青空文庫ではやさしい日本語と 分類された文が $80 \%$ を超えていた.こどもコーパス は文が短いことや漢字が少ないことが分類に影響し たと考えられる，青空文庫から選んだのは，宮沢賢治の「銀河鉄道の夜」だが，登場人物の会話で物語 が展開するため, 口語で短い文が連続する部分があ る. 特嘚量のうち, 単語数が少ないことが分類に影響したと考えられる。

ウェブ文書リードコーパスはやさしいと分類した 文が比較的多かったが，500 文中 160 文は通常の日本語であると分類されている. 複数の文書形態を含 むコーパスのため, 分析しにくいが, リード文は短 く明確に伝えるために， 1 文に多くの情報を入れな ければならない，そのため，ひらがなより漢字を使 って文の長さを短縮したことが，分類結果に影響し たと考えられる。

Wikipedia コーパスは, 通常の日本語と分類された 文が最も多かった. 文中の単語にリンクを設定でき，単語を補足する必要ないため文の難易度が高くなっ ていると考えられる。

表 2 コーパスを分類した結果

 &  \\

## 6 おわりに

本研究では, やさしい日本語ニュースである NEWS
WEB EASY と，そのニュースに対応する NHK NEWS WEB からテキストを抽出して，やさしい日本語の特徴量 を分析した. ランダムフォレストで分類器を生成し たところ，80\%を超える正解率で学習できた. またラ ンダムフォレストの木構造と Permutation Importance で特徴量の重要度を計り，「サ変接続名詞率」「単語数」「漢字率」「受身率」「出現頻度最大値」の 5 つが分類に影響を与えるということがわか った.

ランダムフォレストで生成した分類器で他のコー パスを評価したところ，こどもコーパスと青空文庫 はやさしい日本語が $80 \%$ 以上, ウェブ文書リードコ 一パスは約 $70 \%$ 0 やさしい日本語であると分類した。 Wikipedia コーパスは逆に 60\%以上が通常の日本語 であると分類した。得られた特徴量から難易度を判定できる可能性が示された.

謝辞 本研究は JSPS 科研費 19K12247 の助成を受 けて行われました。

## 参考文献

[1] K. Papineni, "BLEU: a Method for Automatic Evaluation of Machine Translation," In Proc. of ACL, pp. 311-318, 2002.

[2] W. Xu, "Optimizing Statistical Ma- chine Translation for Text Simplification.," TACL, Vol. 4, pp. 401-415, 2016.

[3] 劉志宇ほか，“日本語を学習する外国人を対象 とした日本語テキスト難易度推定手法,”研究報告自然言語処理（NL）, Vol. 2012-NL-205， No. 11, pp. 1-5,, January 2012.

[4] 北村達也, “日本語読解学習支援システム「リ ーディング・チュウ太」,” 甲南大学紀要.知能情報学編, Vol. 6,No. 2, pp. 243-253, November 2013.

[5] 張萌ほか，“「やさしい日本語」作成支援のた めの日本語の難易度自動推定の検討.," 研究報告自然言語処理（NL）, Vol. 2012-NL-206, No. 6, pp. 1-6, May 2012.

[6] 永田亮ら，“作 文履歴をトレース可能な子供 コーパスの構築,” 自然言 語処理, Vol. 17, No. 2, pp. 2_51-2_65, 2010.
 前川 絵吏村尾 元 神戸大学 国際文化学研究科 \{eri.maekawa, hajime.murao\}@ mulabo.org  