# 日本語 WiC データセットの構築と読みづらさ検出への応用

吉田あいり 河原大輔
早稲田大学理工学術院
yoshida-a.waihk@ruri.waseda.jp, dkw@waseda.jp

## 概要

本論文では, 日本語文の読みづらさを定量的に評価することを目的とし, 語義曖昧性に基づく手法を 提案する. 2 文に含まれる同じ単語の語義が一致す るかを判定する WiC (Word in Context) データセッ ト [1] の日本語版である JWiC を構築し, このデータ セットを使用した語義曖昧性判定に基づく読みづら さの検出を行う. 評価はクラウドソーシングを活用 し, 約 7 割の精度で読みづらさの検出ができること を確認した。

## 1 はじめに

文章を読む機会は多く,その文章が読みやすいこ とは消費時間と理解力に良い影響となる.そのため,執筆者の意図が誤って伝わる要素の排除が望まれ る. 本研究では執筆支援システムにおいて想定され る読点の挿入や語順整理といった文の読みやすさの 改善の前段階として, 読みづらい文を自動的に検出 することを目的とし, 改善自体は執筆者に委ねる。

読みづらさを扱うにあたり曖昧性に着目する.曖昧性は構造的なものと意味的なものがある. 構造的曖昧性とは構造解釈に複数の選択肢があることであ り, 我々はこれに着目した読みづらさの検出手法 [2] を提案した. 意味的曖昧性の一つに語義曖昧性があ る. 例えば「動きを踏まえた分析」という文が与え られた時に「動き」が傾向を表すのか実際の活動を 表すのかの判別が付かないというようなものであ る. 本研究では語義曖昧性に着目し, まず, 2 文に含 まれる同じ単語の語義が一致するかを判定する WiC (Word in Context) データセット [1] の日本語版であ る JWiC を構築する. JWiC は日本語フレームネット から構築するが, それだけだとデータ数が少ないた め, データ拡張を行う. 最後に, 拡張した JWiC を使用した語義曖昧性判定に基づき読みづらさの検出を 行う.

## 2 関連研究

## 2.1 WiC

言語理解のためのベンチマークとして SuperGLUE [3] が構築されており,8つのタスクのうちの 1 つである語義曖昧性解消タスクが WiC (Word in Context) [1] である. 2 文に含まれる多義語である同一単語が同じ語義で使用されているかを判断する 2 値分類のタスクである. 多言語 $\mathrm{WiC}$ データセットと して XL-WiC [4] が整備されているが, 完全に整備さ れている言語はドイツ語, フランス語, イタリア語に 止まり,その他の言語は $\operatorname{dev}$ と test データのみであ る. 日本語もこれに含まれているが, 1,000 組程度と 数が少なく, 言語資源として活用するのは困難であ る. 従って, 日本語データセットの構築が求められて いるのが現状である.

## 2.2 読みづらさの分析

人間の読みづらさは読み時間を用いて評価されて おり, 読み時間を主軸とした分析がされる. 日本語の 読み時間データは BCCWJ-EyeTrack が整備・分析さ れており [5], 読解時間と統語・意味カテゴリの対比分析 [6] もなされている. また, 文の意味的曖昧性の 高さが構造的曖昧性の解消・保留に影響することが わかっている $[7,8]$. 他にも個別の言語現象が読み時間に与える影響に対して分析が行われている $[9,10]$. また, サプライザル理論に基づいて統一的に解釈で きるかという仮説検証もなされている [11]. 読み時間の様々な傾向がサプライザルでも再現され, 情報量の観点から解釈できることが示されている.

これらは既存の読みづらさの研究であり, 我々は 構造的曖昧性を利用して読みづらさを検出する手法 を提案した [2]. 構造的曖昧性とは構造解釈に複数の 選択肢があることである。

## 3 日本語版 WiC の構築

本研究では, 日本語フレームネット (JFN) [12]を用 いて日本語版 $\mathrm{WiC}(\mathrm{JWiC})$ の構築を行う. オリジナル の WiC は多様性とバランスに注目しており, JWiC においてもこれを重視し収録語彙の汎用性を高める ことを目指す. 以下では, JFN の特徴の確認からはじ め, 構築の流れ, モデルによる評価までを述べる。

## 3.1 日本語フレームネット (JFN) の概要

JFN は日本語における語彙・複合言語資源であり，言語形式とその意味の関係を背景知識 (フレーム) と の関係で捉えている. 対象語句を含む例文にフレー ムがアノテーションされている.例えば「持つ」に 関する以下の例文には次のフレームが付与されて いる.

1. “報告を持ってきた $\cdots$ : Bringing

2. 一在庫の持ち方を変えて $\cdots$ : Storing

3. 一特許権を持っています。：Possession

収録語彙は 5,000 語程度であり, 名詞が半分以上を 占め, 名詞と動詞でほとんどを占めている. また, 単語ごとに定義されているフレーム数にも偏りが大き く, 最大で 11 フレームを持つ. フレームが付与され ている例文の長さは 50 字程度が最も多く, 大抵の 例文は 200 字以内の長さをとっている. また,「雇用再生集中支援事業」のような固有名詞が含まれてい ることから, 対象が汎用語句に留まらないことが問題であり, 活用にあたってフィルタリングが必要と なる。

## $3.2 \mathrm{JWiC$ の構築手法}

JWiC の構築は, JFN 例文のフィルタリング, 例文 のペアリング, 作成したぺアのクラウドソーシング による検証という 3 段階で行う。

JWiC を特定単語に特化したものではなく, 汎用性 を高めるために対象語句を制限する. 適切な汎用性 を保つために, 対象語句の構成単語数とフレーム数 に着目する. 本研究では 4 単語以上で構成されるも のと, 6 フレーム以上定義されている語句を除くこ ととした. 次に, 対象語句の制限に続いてバランスの 調整を行う. 例文は, 文として成立していることと簡潔であることが求められるため, 例文長は 15 字以上 100 字未満とする.

WiC の形式にするために, 対象語句ごとに例文の表 1: JWiC の例

 \\

表 2: クラウドソーシングの結果における正答率の平均と 四分位数

ペアを作成する.ここで, 1 対象語句に対して例文ぺ ア数は 50 ペアまでと制限することで偏りを少なく する.ペアである 2 文が持つフレームが一致するか 否かで $\mathrm{WiC}$ 用のラベル「同じ」「違う」を付与する。例を表 1 に示す。

作成したデータに関して, 付与されたラベルの妥当性を確認するためにクラウドソーシングによる検証を行う.ここで, 人手であらかじめ正解ラベルを付与したチェック設問の正答率を確認することでクラ ウドワーカーの品質を保証する.チェック設問は最 も正答率が低いもので $70 \% を 上$ 回るものを使用し，平均 8 割程度の正答率のものを選択した. クラウド ワーカーには短文によって例を提示し,チェック設問があることを説明している. 文ペアを提示し, 対象語句の語義が「同じ」か「違う」かを選択してもら うが, 適当な回答をできる限り取り除くために「わ からない・判断できない」という選択肢も用意した. クラウドソーシングには Yahoo!クラウドソーシング を使用し, 1 ペアに対して 20 人から回答を回収した.解答の結果は表 2 の通りで, クラウドワーカーの正答率のばらつきを確認するために四分位数を示す.

この結果から極端に精度の悪い文ぺアを除いて JWiC の完成とする. JFN フレーム付けは細かく, 見分けのつかないものも含まれるため正答率がさほど 高くならなかったと考えられる. 3,230ペアに対して 精度が 0.35 以上のものを採用し 2,495 ペアを得た。含まれる対象語句は 259 個である.

## 3.3 モデルによる評価実験

JWiC を用いて, 事前学習モデル BERT [13] をファ インチューニングし, 評価実験を行う. JWiC は, 2 文 における同一語句が同じ語義で使用されているか否 かを判定する 2 値分類タスクである. そのため, 入力文中のどの語句が対象であるかを明示する必要 がある.そこで, BERT の埋め込みに対象語句を示す

図 1: Target Embeddings の導入

Target Embeddings を導入する. 図 1 に概要図を示す. JWiC の データは [train:validation:test] = [0.75:0.1:0.15] の比率で分割し, NICT BERT (BPE

いて, JWiC の行が対象語句を明示しないモデル， $\mathrm{JWiC}_{\text {Target }}$ の行が Target Embeddings を使用したモデ ルを表し, test セット列の $\mathrm{JWiC}$ が分類精度である。 Target Embeddings を用いることでモデルが対象語句 を認識し, $1.1 \%$ の精度向上が見られた。

## 4 JWiC の拡張

前節で構築した JWiC は 259 個の対象語句からな り, 読みづらさ検出に応用するには対象語句が少な い. そのため JWiC のデータ拡張に取り組む.

## 4.1 単語親密度を用いたデータ拡張

データ拡張は, 追加する対象語句の選定, 例文の収集・ペアリング, 作成したペアのアノテーションと いう 3 段階で行う。

追加する対象語句の選定にあたり, 読みづらさ 検出を執筆支援システムに応用することを考慮す る. 筆記において使用される語句による拡大を行 うために単語親密度を用いる.「分類語彙表」増補改訂版データベースに親密度情報が付与された WLSP-familiarity ${ }^{2)}$ を使用する [14]. 対象単語の選別 に単語親密度の「書く」の項目を使用し, ある程度筆記に使われる語句を採用し, かつ解釈に迷わないも のは省くために 0.5 から 1.2 未満 3 ) のものを対象とし 収集した. 特殊文字を含むものやカタカナを含むも の, また, 2 単語以上からなるものを削除した. 対象 をさらに使用頻度が高いものとするために, 品詞を 動詞と形容詞に絞り, 最終的に 700 語句を収集した.

得られた対象語句に対して, 対象語句を 1 つのみ


表 3: 拡張データのラベル分布

を含む例文を「用例.jp ${ }^{4}$ 」から収集する. 収集した例文からぺアを作成する. 同じ対象語句に対する例文 ペア数は 10 ペアまでとし, JWiC にすでに含まれる 対象語句に関しては数を減らすことで追加データに 関してもバランス調整を行う.

得られた例文ぺアに対して, 対象語句における語義が一致するか否かのアノテーションをクラウド ソーシングで行う. 3.2 節と同様に, クラウドワー カーに [同じ, 違う,わからない・判断できない]の 3 択から選択してもらう.チェック設問は 3.2 節と同様のものを使用した. 5,222 ペアに対して 10 人分の 回答を収集した。

得られた回答集合を用いて, 回答比率を考慮した 平均スコアに基づきラベル付けを行う. まず, [同じ，違う, 不明] の各回答を $[1,-1,0]$ の数値と見做して, 10 人の回答の和をスコアとする. 閾値 $m$ を使用し, $[-10,-m),[-m, m],(m, 10]$ の範囲において [違う, 棄却, 同じ]と分類を行う. $m$ の值はラベルの偏りが大 きすぎず, かつ判別のつかない文ぺアが十分に除か れるように選択する. 本研究では閾值 $m=2$ を採用 した. 拡張したデータのラベル分布を表 3 に示す.

## 4.2 モデルの再学習と評価

データ拡張の前後における $\mathrm{JWiC}$ の精度変化を確認する.まず, 拡張したデータを学習データにのみ 追加した場合の精度を表 4 の JWiC+ExTrain および

て, 元の JWiC の対象語句についてはドメイン外の学習データが増えたが, Target Embeddings を用いたモ デルは精度が落ちなかった.

次に, 拡張したデータを JWiC の train, validation, test セットに追加し評価した. この新しい test セッ トによる精度を表 4 の $\mathrm{JWiC}+\mathrm{Ex}$ 列に示す. 新しい train セットで学習したモデルの精度を JWiC+Ex と $\mathrm{JWiC}+\mathrm{Ex}_{\text {Target }}$ の行に示す. 元の $\mathrm{JWiC}, \mathrm{JWiC}_{\text {Target }}$ モデルと比べて精度が向上していることが分かる. また, 各モデルにおいて Target Embeddings はやはり 効果があることを確認した.

次節で述べる語義曖昧性判定による読みづらさ検出と評価においては, 拡張データを含めて学習した

表 4: 各モデルの分類精度

(a) 曖昧でない場合

(b) 曖昧な場合

図 2: 語義曖昧性検出の例

BERT モデル (Target Embeddings あり)を使用する.

## 5 読みづらさの検出

## 5.1 読みづらさの検出方法

読みづらさの検出は, 入力文中の対象語句が語義曖昧性を持つかを判定することによって行う. 語義曖昧性の判定は, 対象語句が持つ語義ごとに例文 1 つと入力文で文ペアを作り, WiC タスクを実施する ことによって行う. 複数の語義の例文と「同じ」と 判定すれば複数の語義の可能性があり曖昧, 1 つの みと同じであれば曖昧でないとする. 図 2a の場合で は，「このいちごは甘い」という入力文は「とても甘 いお菓子」のみと一致しており, 入力文中の「甘い」 において使用されている語義が明白である.一方, 図 $2 \mathrm{~b}$ の場合では, 傾向を示す「動き」と実際の活動を 示す「動き」のどちらとも一致するため, どの語義で 使用されているかが不明となり, 曖昧と判定される.

## 5.2 評価用データセットの作成と評価

$\mathrm{JWiC}$ から評価用データセットを作成する. 対象語句が持つ全ての語義との比較により評価するため,各語義から例文を 1 文ずつ選択する. [A, B] という 2 種類の語義を持つ場合は, $[\mathrm{A}, \mathrm{A}, \mathrm{B}]$ の語義が付与さ れた例文セットを抽出し, 語義 $\mathrm{A}$ を持つ例文 1 文を 評価対象文とする.これにより 184 セットを得た。表 5: 閾値ごとのラベル分布と語義曖昧性の検出精度

次に,各セットにおいて評価対象文が語義曖昧性 を持つか否かのアノテーションを行う.これは, JFN のフレーム情報を用いるのではなく,一般的な人間 による語義曖昧性の判断を得るために行う. 評価対象文に対して, どの例文が同じ語義であるかの複数選択式でクラウドソーシングにより 10 人分の回答 を収集した.この回答をもとに 2 つ基準を設けて，正解ラベルを作成した. 1 つ目は回答が分散してい れば曖昧であり, 2 つ目は複数の語義の例文を選択 していれば曖昧であるという基準である. まず, 最も 回答数が多い選択結果 (セットで扱う) に対して $\mathrm{n}$ 人以上の回答が一致したものは回答が分散していない とみなし, $\mathrm{n}$ 人未満であれば分散しているため曖昧 とみなす. $\mathrm{n}$ は 6 から 8 の値において試行した. 次に， $\mathrm{n}$ 人以上が一致した選択結果において, 複数の例文 が選択された場合は曖昧であり,単一であれば曖昧 でないとする.

各閾値 $\mathrm{n}$ おける曖昧か否かのラベル数と, 曖昧 さ検出の精度を表 5 に示す. $\mathrm{n}=6,7$ においては 7 割程度の精度を達成しており, 語義曖昧性に基づく読 みづらさの検出がある程度できた. $\mathrm{n}=8$ において精度が低下したのは, 閾値が厳しいために, 分散してお らず, 本来曖昧でない回答についても曖昧であると いうラベル付けとなったことが原因と考えられる。

## 6 終わりに

本研究では, JFN を使用した JWiC の構築及びデー 夕拡張を行い,これを応用して語義曖昧性に着目し た読みづらさの検出を行った. 構造的曖昧性に続き 語義曖昧性も絶対評価は難しく, 本研究では $\mathrm{WiC}$ 夕 スクを語義の数だけ行う形で評価を行った.

収集した例文に対して語義の一致という 2 値分類 のタスクに落とし込むことで, 語義ラベルを付与す る必要性を排除した.これにより比較的容易にデー 夕拡張が可能となる. 評価においては語義ラベル自体は必要ないものの, 語義数分の例文収集が必要と なる. 本研究では JWiC に含まれる対象語句を活用し た評価を行ったが，今後，対象語句を拡張した評価を 行うことが望まれる。

## 謝辞

日本語フレームネットを提供いただいた慶應義塾大学の小原京子教授に感謝する. 本研究は JSPS 科研費 JP21H04901 の助成を受けて実施した。

## 参考文献

[1] Mohammad Taher Pilehvar and Jose Camacho-Collados. Wic: the word-in-context dataset for evaluating contextsensitive meaning representations, 2018.

[2] 吉田あいり, 河原大輔. 構造的曖昧性に基づく読みづ らさの検出. 言語処理学会 第 28 回年次大会 発表論文集, pp. 425-429, 2022.

[3] Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R. Bowman. Superglue: A stickier benchmark for general-purpose language understanding systems, 2019.

[4] Alessandro Raganato, Tommaso Pasini, Jose CamachoCollados, and Mohammad Taher Pilehvar. Xl-wic: A multilingual benchmark for evaluating semantic contextualization, 2020.

[5] 浅原正幸, 小野創, 宮本 エジソン正. Bccwj-eyetrack:『現代日本語書き言葉均衡コーパス』に対する読み 時間付与とその分析. 言語研究, No. 156,pp. 67-96, 2019.

[6] 浅原正幸, 加藤祥. 読み時間と統語・意味分類. 認知科学, Vol. 26, No. 2, pp. 219-230, 2019.

[7] 井上雅勝. 文の意味的曖昧性が構造的曖昧性の解消 と保留に及ぼす影響 (2). 日本認知心理学会発表論文集, Vol. 2011, pp. 74-74, 2011.

[8] 井上雅勝. 文の意味的曖昧性が構造的曖昧性の解消 と保留に及ぼす影響. 日本認知心理学会発表論文集, Vol. 2010, No. 0, pp. 81-81, 2010.

[9] Masayuki Asahara. Between reading time and clause boundaries in japanese - wrap-up effect in a head-final language一日本語の読み時間と節境界情報一主辞後置言語における wrap-up effect $の$ 検証一. Journal of Natural Language Processing, Vol. 26, pp. 301-327, 062019.

[10] Masayuki Asahara. Between reading time and the information status of noun phrases 名詞句の情報の状態と 読み時間について. Journal of Natural Language Processing, Vol. 25, pp. 527-554, 122018.

[11] 栗林樹生, 大関洋平, 伊藤拓海, 吉田遼, 浅原正幸, 乾健太郎. 日本語の読みやすさに対する情報量に基づ いた統一的な解釈. 言語処理学会 第 27 回年次大会発表論文集, pp. 723-728, 2021.

[12] Kyoko Ohara. Relating frames and constructions in Japanese FrameNet. In Nicoletta Calzolari, Khalid Choukri, Thierry Declerck, Hrafn Loftsson, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pp. 2474-2477, Reykjavik, Iceland, May 2014. European Language Resources Association (ELRA). ACL Anthology Identifier: L14-1103.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[14] 浅原正幸. Bayesian linear mixed model による単語親密度推定と位相情報付与. 自然言語処理, Vol. 27, No. 1, pp. 133-150, 2020.
 吉田あいり 河原大輔 早稲田大学理工学術院 yoshida-a.waihk@ruri.waseda.jp, dkw@waseda.jp  