# 文脈を考慮した句の平易化

河原井 翼
北陸先端科学技術大学院大学
s1910074@jaist.ac.jp

## 1 はじめに

テキストの平易化は，文もしくは文章を同じ意味 を持つ易しい表現に言い換える技術である。難解な テキストを子供や日本語を母語としない人にも理解 しやすいようなテキストに直すなど，多くの応用場面がある。2 節で論じるように，日本語を対象とし た平易化の先行研究の多くは単語の言い換えを対象 としていた。すなわち, 文中に出現する難しい単語 を同じ意味を持つ易しい単語に置き換える。しかし ながら，人が文を易しく言い換える際には，句，節， あるいは文全体を言い換えることもあり，単語単位 の言い換えだけでは不十分である。本研究では，句 を単位にテキストを平易化する手法を探究する [1]. ただし, 平易化の対象とする句は，連続する「名詞助詞-動詞」という単語列に限定する。句を単位と した言い換えにより, 多様な平易化テキストを生成 することを狙う。さらに，文脈を考慮して難解な句 を平易な句に適切に言い換える手法を探究する。

## 2 関連研究

梶原と山本は, 国語辞典の語釈文から平易な単語 の言い換えルールを獲得することで, 小学生のため の文書読解支援に向けたテキストの平易化を実現し ている [2]. 言い換え後の平易な単語を選択するた めの様々な手法を比較し, シソーラスに基づく単語 の類似度を用いた平易化が最も良いと結論づけてい る. Kriz らは, 語彙的特徴と文脈的特徴を利用した 難解語抽出モデルによって難解語を検出し，文脈を 考慮した平易な単語への言い換えモデルを実現して いる [3]. 文脈を考慮することで従来手法よりも高 い精度で難解語を抽出でき，また文脈に応じた好ま しい言い換えが実現できることを示した，梶原と小町は，難解なテキストと平易なテキストからなるパ ラレルコーパスを自動構築し，これを訓練デー夕と して難解なテキストを平易なテキストに翻訳するモ デルを学習することで平易化を実現している [4].

\author{
白井 清昭 \\ 北陸先端科学技術大学院大学 \\ kshirai@jaist.ac.jp
}

先行研究 $[2,3]$ は, 単語単位の言い換えを実現す る手法であり、句を対象とした平易化ではない. 先行研究 [4] は文全体を言い換えるモデルであり，単語だけでなく句の言い換えも含まれるが，ユーザの 要求に応じて平易化する句としない句を分けると いった調整が難しい. これらに対し, 本研究では,単語や文ではなく難解な句を入力として，これを平易な句に言い換える手法を探究する。

## 3 提案手法

## 3.1 概要

ある文脈に「 $N-P-V\lrcorner と い う$ 句が出現するとき，こ れを平易かつ同じ意味を持つ別の句に言い換える. ここで $N$ は名詞， $P$ は助詞， $V$ は動詞である。平易化の際には文脈を考慮する。すなわち，句 $N-P-V$ を 言い換えたとき，それを含む元の文の意味が変わつ たり不自然にならないことに留意する。

言い換えは以下の 3 種類の手法で実現する。

-名詞のみの言い換え 名詞 $N$ をより平易な別の名詞に言い換える。 (例) 果敢-に-挑む $\rightarrow$ 積極的-に-挑む

$\cdot$動詞のみの言い換え 動詞 $V$ をより平易な別の動詞に言い換える。 (例) 果敢-に-挑む $\rightarrow$ 果敢-に-挑戦する
- 名詞，動詞の言い換え

$N, V$ ともに平易な別の単語に言い換える。

(例) 果敢-に-挑む $\rightarrow$ 積極的一に-挑戦する

これらの手法で生成した言い換え候補のそれぞれ について，その妥当性をスコア付けし，最終的に最適なものをひとつ選択する。

## 3.2 平易言い換え単語対の収集

名詞もしくは動詞を平易に言い換えるため，難解語と平易語の組から構成される平易言い換え単語対 のデータベースを用意する。データベースは以下の

2つの辞書を用いて構築する.
- SNOW D2: 内容語換言辞書 [5]

形態素解析ツール Juman の内容語辞書項目を 人手で言い換えた辞書.この辞書では, 言い換 え後の単語は必ずしも言い換え前よりも平易で はない。そこで, 日本語教育語彙表 [6] を参照 し, 言い換え前, 後の語が日本語教育語彙表に 揭載されていて，かつ言い換え後の単語のレべ ルが言い換え前の単語のレベルよりも低い組を 選別する。言い換え対の数は 1,734 である。
- Simple PPDB : Japanese [7]

日本語単語の平易な言い換え辞書. 難解語,平易語, 難解語・平易語の難易度, 言い換え確率の組から構成される。本研究では, 言い換え 確率が 0.1 以上のデータを選別して使用する. また，前述の SNOW D2 にあわせて，難易語，平易語がともに日本語教育語彙表に掲載されて いて，かつ言い換え後のレベルが低い組を選別 する。言い換え対の数は 10,351 である.

## 3.3 平易化する句の検出

与えられた文の形態素解析を行う。形態素解析 ツールとして MeCab[8], 辞書として mecab-ipadicNEologd[9]を用いる. 次に, 名詞, 助詞, 動詞の連続を句として抽出する. この際, 動詞は基本形に変換する，名詞，動詞がともに平易言い換え単語対 データベースの難解語として登録されているとき,平易化の対象句とする.

## 3.4 平易句のスコア付け

平易化の対象句 $P h=N-P-V$ に対し, 平易言い換 え単語対データベースを用いて, 名詞のみ, 動詞の み，名詞と動詞の両方を別の単語に言い換えて，言 い換え後の平易句の候補 $P h_{i}^{\prime}=N_{i}^{\prime}-P-V_{i}^{\prime}$ を得る. $P h_{i}^{\prime}$ のそれぞれのスコアを計算し，それが最大となる $P h_{i}^{\prime}$ を選択する，スコアは 2 の観点から算出する。 ひとつは, 正確性, すなわち言い換え前後で意味を 保持しているかどうかという観点, もうひとつは流暢性，すなわち言い換え後の句がどれだけ自然な句 であるかという観点である.

## 3.4.1正確性のスコア

$S$ を元の句 $P h$ を含む文, $S_{i}^{\prime}$ を $P h$ を $P h_{i}^{\prime}$ に言い 換えた後の文とする，正確性 (faithfulness) のスコア $F A\left(P h_{i}^{\prime}\right)$ を式 (1)のように定義する.

$
F A\left(P h_{i}^{\prime}\right)=\cos \left(\vec{S}, \vec{S}_{i}^{\prime}\right)
$

$\vec{S}, \vec{S}_{i}^{\prime}$ は文 $S, S_{i}^{\prime}$ の分散表現, $\cos$ はコサイン類似度 である。すなわち, 平易化前の文と後の文の分散表現が似ているほど，Phí正確性は高いとみなす.言い換え対象の句だけでなくそれを含む文全体の類似度を考慮することで，言い換え後の平易句が文脈 に沿って適しているかを評価する。

文の分散表現は Sentence BERT[10] を用いて得る.

Sentence BERT は, 事前学習した BERT(Bidirectional Encoder Representationsfrom Transformers)[11] を基に， Siamese Network を用いた fine-tuning によって文の 分散表現を学習するモデルである。本研究では Sentence BERT 日本語モデル [12]を利用する.

## 3.4.2 流暢性のスコア

言い換え後の句 $P h_{i}^{\prime}$ の流暢性 (fluency) のスコア $F L\left(P h^{\prime}\right)$ を式 (2)のように定義する.

$
F L\left(P h_{i}^{\prime}\right)=\frac{\operatorname{count}\left(P h_{i}^{\prime}\right)}{\sum_{j} \operatorname{count}\left(P h_{j}\right)}
$

式(2)の分子は句 $P h_{i}^{\prime}$ のコーパスにおける出現頻度,分母は全ての句の出現頻度の和である。すなわち,句 $P h_{i}^{\prime}$ がコーパスによく出現するほど，その句は自然な句であるとみなす。

句の出現頻度 $\operatorname{count}\left(P h_{j}\right)$ は京都大学格フレーム Ver 2.0 を用いて算出する. このデータはウェブから 収集した日本語 100 億文から自動構築した格フレー ムであり, 用言と格要素の頻度, すなわち $N-P-V$ と いう句の頻度の情報も付与されている. 本研究では $N-P-V$ の頻度をそのまま $\operatorname{count}\left(P h_{j}\right)$ として用いる.

## 3.4.3 平易句のスコアの定義

最終的に句のスコアは $F A\left(P h^{\prime}\right)$ と $F L\left(P h^{\prime}\right)$ の対数の重み付き和で算出する。この際, 式 (3) と (4)の 2 通りのスコアを提案する。

$
\operatorname{Score} 1\left(P h_{i}^{\prime}\right)=\alpha \log F A\left(P h_{i}^{\prime}\right)+\log F L\left(P h_{i}^{\prime}\right)
$

正確性のスコア $F A\left(P h_{i}^{\prime}\right)$ は言い換え前後の文の分散表現のコサイン類似度なので，多くは 1 に近い値を 取るのに対し, 流暢性のスコア $F L\left(P h_{i}^{\prime}\right)$ は句の相対出現頻度であるため, $1.0 \times 10^{-8}$ 付近の小さい値を 取る. Score 1 では, パラメ夕 $\alpha$ は両者のスケールを 合わせるために用いる．正確性と流暢性のスコアを 同程度に評価することに注意していただきたい.
$\alpha$ は次のように決める. 4.1 項で後述する開発 データ (元の句とそれを平易化した句の集合) におけ る全ての事例について $F A\left(P h^{\prime}\right), F L\left(P h^{\prime}\right)$ を算出し， それぞれの中央値 $M e_{f a}$ と $M e_{f l}$ を求め, $\alpha=\frac{M e_{f l}}{M e_{f a}}$ とする.

$\operatorname{Score} 2\left(P h_{i}^{\prime}\right)=\beta \alpha \log F A\left(P h_{i}^{\prime}\right)+(1-\beta) \log F L\left(P h_{i}^{\prime}\right)$

Score 2 におけるパラメ夕 $\alpha$ は, Score 1 と同様に，2 つのスコアのスケールを合わせるためのものであ り，前述のように開発デー夕を用いて決める。一方，パラメ夕 $\beta$ は, 正確性と流暢性のスコアに対す る重み付けである。

## 3.5 句の選択

予備実験では, 式 (3) または (4) が最大となる句を 選択したところ, 名詞と動詞の両方を言い換える句 よりも，名詞もしくは動詞のいずれかを言い換えた 句が多く選ばれる傾向が見られた。これは，正確性 のスコアFA は言い換え前後の文の類似度なので，単語を 2 つ置換した場合よりも 1 つだけ置換した 場合の方が高くなる傾向があるためと考えられる。一方, 本研究の目的は句を対象とした言い換えであ り，名詞と動詞の両方を言い換えた句をできるだけ 生成したい。そこで，以下の方式により言い換え候補の中から句を選択する。

1. 名詞と動詞の両方を言い換えた平易句のスコア の値が間値 $T$ よりも大きいとき，つまり平易化 された句として妥当である可能性が高いとき， それを選択する。

2. そのような句がないとき，全ての候補の中から スコアが最大のものを選択する。

閾値 $T$ は Score 1 と Score 2 とで個別に設定する. 設定方法については 4.2 項で述べる.

## 4 評価実験

## 4.1 データセット

まず，開発デー夕を作成した。毎日新聞の 2013 年の記事から， 3.3 項で述べた手法を用いて平易化 の対象とする句，およびそれを含む文を 500 件抽出 した。これらの句を提案手法によって平易な句に言 い換えた。さらに，正確性を満たすか否か，自然さ を満たすか否か，(両者を考慮して) 平易句として妥当であるか否か，を人手で判定した。この開発デー夕は，パラメータ $\alpha や T$ の最適化に用いた。

次に，評価デー夕を作成した。毎日新聞の 2013 年の記事から平易化の対象とする句を 100 件抽出 した。これらは開発データとは異なる句を選んだ。評価デー夕に対し, 著者 2 名が独立して以下のアノ テーションを行った。

・元の句 $P h$ を含む文，およびそれを平易句の候補 $P h_{i}^{\prime}$ に置き換えた文を全て提示し，その中か ら平易な言い換えとして最も適切なものを選ん だ。ここで最も適切な平易句とは，子供や日本語を非母語話者とする人に最もわかりやすい表現とした。
- 提案手法によって生成された平易句 ${ }^{11}$ に対し,平易さ (元の句と比べて易しくなっているか),意味の保持 (元の句と比べて意味が変わってい ないか), 自然さ (言い換え後の文が自然か) とい う 3 つの観点から，1５までの評点をつけた。

## 4.2 パラメータの決定

3.4.3で述べたパラメータ $\alpha$ の決定について述べ る。開発デー夕に対して生成された全ての平易句の 候補についての $\log F A\left(p h_{i}^{\prime}\right)$ と $\log F L\left(p h_{i}^{\prime}\right)$ の中央値 は, $M e_{f a}=-0.0111, M e_{f a}=-16.9$ となった. これ に従い, $\alpha=\frac{M e_{f l}}{M e_{f a}}=\frac{-16.9}{-0.0111}=1.54 \times 10^{3}$ と決めた.

3.5 項で述べた，名詞，動詞の両方を言い換えた 平易句を優先して選択するための閾値 $T$ の決定に ついて述べる，基本的に，閾値 $T$ は，生成した平易句が適切である可能性が高いスコアの値を設定 する．Score1を用いるとき，開発デー夕において，正確性のスコアが閾値 $t$ のときに平易句が正確性 を満たすと判定したとき， $t$ を X 軸，判定精度を $\mathrm{Y}$軸としたグラフを得る (図 1(a)). 同様に，流暢性に ついて閾値 $t$ を変化させたときの判定精度の変化 も調べる (図 1(b))。これらの精度は, 開発デー夕の うち名詞，動詞を両方言い換えた句が選択された データのみを使用して算出する。こ机 2 つのグラ フでは，閾値 $t$ をきくすると精度が高くなる傾向が見られる，精度が十分に大きいとき，具体的 には図 1(a) で精度が 0.7 になるときの閾値 $T_{f a}$ は 0.994, 図 1(b) で精度が 0.8 になるときの閾値 $T_{f l}$ は $2.33 \times 10^{-7}$ であった.これらを式 (3) に当てはめ, $T=\alpha \times \log T_{f a}+\log T_{f l}=-24.5$ と設定した.

同様に，Score2を用いて句を選択する際の閾値

(a) 正確性

(b) 流暢性

図 1 開発データにおける平易句判定の精度 (Score 1)

図 2 開発デー夕における平易句判定の精度 (Score 2)

$T$ を決定する. 開発データにおいて, 式 (4) に示す Score 2 の値が閾値 $t$ を越えたときに平易句が妥当 であると判定したとき， $t$ を X 軸，判定精度を $\mathrm{Y}$ 軸 としたグラフを図 2 に示す. $\beta=0.25,0.5,0.75$ のそ れぞれについて，精度が 0.65 に達したときの閾値 $-15.5,-16.0,-14.0$ を $T$ と設定した。

## 4.3 実験結果と考察

提案手法では，複数の平易句の候補の中からスコ ア付けに基づいて平易句をひとつ選択するが，この 性能を評価する。具体的には, システムが選択した 平易句が人手でよって選択された正解とどれだけ一致しているかを正解率と定義し，これを測る。表 1 は, スコア付けとして正確性のスコア $F A\left(P h_{i}^{\prime}\right)$ の み, 流暢性のスコア $F L\left(P h_{i}^{\prime}\right)$ のみ, 両方 (Score 1 ま たはScore2)を用いたシステムについて，2 名の評価者を正解としたときの正解率を示している.

表 1 平易句の選択手法の評価 (正解率)

正確性あるいは流暢性のスコアのみを使用したと きよりも，両方を考慮したスコア (Score 1 や Score2) の方が正解率が高い傾向が見られる. 特に評価者 2 についてその傾向が顕著である. Score 1 と Score 2 を比較すると，Score 2 の正解率は Score 1 よりも同等もしくはそれ以上であることから，Score2 の方が 適切な平易句を選択するのに適していると言える. Score2における異なる $\beta$ の比較については, 評価者 1 と評価者 2 で優劣の傾向が異なるため, どれが最適を決めることはできない. $\beta$ の最適化は今後の課題である.

この実験では複数の平易句の中から最良のものを 選択しているが，スコアが最大の平易句ではなくて も易しい言い換えとして妥当な句が生成されている ことも多く, 何が最良の平易句なのかは判断が難し い. 評価者 1 と評価者 2 で同じ平易句を選択した割合は 0.61 であり, 決して高くはない. 提案システム の最高の正解率は 0.51 であり，二者の判定の一致率 の $84 \%$ に達している.

提案手法によって生成された平易句を「平易さ」「意味の保持」「自然さ」の観点から評価した結果を 表 2 に示す。どの観点についても，おおむね評点は 4 点以上であり, ある程度品質の高い平易句が生成 されていることを確認した。また，表 1 の正解率が 全般的に低いのに対し, 表 2 の評点が比較的高いの は，既に述べたように，システムが選択した平易句 が人手で選ばれた平易句と一致していなくても妥当 であるとみなせる場合が多かったためである.

表 2 平易句の品質評価

## 5 おわりに

本論文は，名詞-助詞-動詞という句を平易に言い 換える手法を提案し，その有効性を実験により示し た. 今後は，正確性や流暢性を測る指標を洗練し， より適切に平易句を生成する手法を探究したい. 特 に，現時点での流暢性は句の出現頻度だけを指標と しており，平易化した句に置き換えた文全体がどれ だけ自然かを評価するように改善するべきである。

2）閾値 $T$ の決め方が異なるため, Score 1 と $\operatorname{Score} 2(\beta=0.5)$ は同じシステムではない.

## 参考文献

[1]河原井翼. 句の言い換えによるテキストの平易化. 修士論文, 北陸先端科学技術大学院大学, 3 2021.

[2]梶原智之, 山本和英. 語釈文を用いた小学生のた めの語彙平易化. 情報処理学会論文誌, Vol. 56, No. 3, pp. 983-992, 2015.

[3]Reno Kriz, Eleni Miltsakaki, Marianna Apidianaki, and Chris Callison-Burch. Simplification using paraphrases and context-based lexical substitution. In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 207-217, 2018.

[4]梶原智之, 小町守. 平易なコーパスを用いないテ キスト平易化. 自然言語処理, Vol. 25, No. 2, pp. 223-249, 2018.

[5]山本和英, 吉倉孝太郎. 用言等換言辞書を人手で 作りました. 言語処理学会第 19 回年次大会, pp. 276-279, 2013.

[6]日本語教育表 ver 1.0. http://jhlee.sakura.ne.jp/ JEV.html. (2020 年 12 月閲覧).

[7]梶原智之, 小町守. Simple PPDB: Japanese. 言語処理学会第 23 回年次大会, pp. 529-532, 2017.

[8]MeCab: Yet another part-of-speech and morphological analyzer. http://taku910.github.io/mecab/.

[9]佐藤敏紀, 橋本泰一, 奥村学. 単語分かち書き辞書 mecab-ipadic-NEologd の実装と情報検索にお ける効果的な使用方法の検討. 言語処理学会第 23 回年次大会, pp. 875-878, 2017.

[10]Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3973-3983, 2019.

[11]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[12]園部勲. Sentence BERT 日本語モデル. https:// qiita.com/sonoisa/items/1df94d0a98cd4f209051. (2020 年 12 月閲覧).
 河原井 翼 北陸先端科学技術大学院大学 s1910074@jaist.ac.jp  