# 多次元項目反応理論と深層学習に基づく 複数観点同時自動採点手法

柴田拓海 ${ }^{1}$ 宇都雅輝 ${ }^{1}$
1 電気通信大学大学院院
\{shibata,uto\}@ai.lab.uec.ac.jp

## 概要

近年，深層学習を用いた小論文自動採点手法とし $\tau$ ，全体得点と複数の評価観点別得点を同時に予測 する手法が提案されている. しかし従来手法は，予測の根拠について解釈性が低いという問題があっ た.この問題を解決するために，本研究では，多次元項目反応理論を利用して予測根拠の解釈性を高め た複数観点同時自動採点手法を提案する。

## 1 はじめに

近年，小論文試験の採点をコンピュータを用 いて自動化する小論文自動採点 (Automated Essay Scoring ; AES）手法が多数提案されている. 自動採点を実現する手法は特徴量ベースと深層学習ベース の手法に大別される。これまでは，特徴量ベースの 手法が一般的であったが (e.g., [1-4]), 近年では深層学習を用いた自動採点モデルが多数提案されてい る (e.g., [5-19]). 深層学習自動採点モデルは文章の 単語系列を入力として，データから自動で複雑な特徵量を学習でき，高精度を達成している。

従来の自動採点モデルの多くは，全体得点のみを 予測する採点場面を想定している (e.g., [6-15])。し かし, 学習場面などで小論文試験を運用する場合, より詳細なフィードバックを受験者に行うために，論理構成力や文章表現力などの評価観点別の得点付 けを行いたい場面も少なくない [16]. そこで，複数 の評価観点に対応する得点を同時に予測できるモデ ルもいくつか提案されている (e.g., [16-19]).

現時点では Ridley ら [19] のモデルが最高精度を 達成しているが，このモデルには解釈性の観点から 次のような問題がある. (1) 評価観点ごとに複雑な 多層ニューラルネットワークを持つため予測根拠を 解釈することが難しい。(2) 複数観点での評価では，測定対象の能力に観点間で共通性が仮定できる場合
が多いが [20]，このモデルでは観点間の相関は考慮 しているものの，背後にどのような能力尺度が想定 されるかは解釈できない.

これらの問題を解決するために，本研究では，項目反応理論を組み込んだモデルを提案する．具体的 には，評価観点の特性を考慮した多次元項目反応モ デル [21]を出力層とし，それ以外を Ridley らのモデ ルを元にした評価観点共通のニューラルネットワー クとしたモデルを開発する。提案手法の利点は以下 の通りである。(1) 評価観点固有の出力層は, 識別力 と困難度と呼ばれる項目反応理論で一般的な 2 種類 のパラメータのみで説明されるため，それらのパラ メータ值に基づいて観点ごとの特性を定量的に解釈 できる. (2) 多次元項目反応モデル層の能力次元数 を最適化してパラメータを分析することで，複数評価観点の背後に想定される能力尺度を解釈できる。

本論文では，複数観点自動採点の研究で広く利用 されるべンチマークデータセットを用いて提案手法 の有効性を評価する．実験の結果，提案手法は従来手法から大きく性能を落とすことなく，妥当な解釈 が可能なパラメータ值を与えたことが確認できた。 また，背後に想定される能力次元数としては 1 次元 が最適であることが確認できた。このことは，少な くとも本研究で使用したデータセットにおいては,観点間の関係は従来モデルのような複雑な構成でな くとも説明できることを示唆している.

## 2 複数観点同時自動採点モデル

提案モデルは，Ridley ら [19] が提案した複数観点同時自動採点モデルを基礎モデルとするため，本章 ではこのモデルについて説明する。モデルの概念図 を図 1 （左）に示した. このモデルは，受験者 $n$ の 小論文を入力とし，評価観点 $m \in \mathcal{M}=\{1,2, \ldots, M\}$ に対応する得点 $\hat{y}_{n}^{m}$ を出力する．ここで $M$ は評価観点数を表す.また，受験者 $n$ の小論文は単語系列と

図 1 従来の複数観点同時自動採点モデル（左）と提案モデル（右）の概念図

して， $\left.\{w_{n s l} \mid s \in\{1,2, \ldots, S\}, l \in\left.\{1,2, \ldots, l_{s}\right.\}\right.\}$ と表せ る. $w_{n s l}$ は受験者 $n$ の小論文における $s$ 番目の文の $l$ 番目の単語であり， $S$ はその小論文の文数， $l_{s}$ は $s$番目の文の単語数である.このモデルでは, 各単語 $w_{n s l}$ をそれぞれ品詞（part-of-speech；POS）タグ $p_{n s l}$ に変換し, POS タグ系列を入力として用いている.

得点予測は，共通層と観点固有層の二段階でデー タを処理することで行われる。共通層では，文ご とに Embedding 層, Convolution 層, Attention Pooling 層 [11]が適用され，全観点に共通する文単位の分散表現の系列が得られる。

次に，観点ごとに独立に処理を行う観点固有層 で，共通層で得られた分散表現の系列をもとに評価観点ごとの得点を予測する. 共通層の出力系列に対 して，観点ごとに Recurrent 層 [22], Attention Pooling 層が適用される. さらに単語数や可読性, 文章の 複雑さなどを表す人手で設計した特徴量のべクト ル $F$ を結合 (concat) することで文章単位の分散表現が得られる. 次にこの結合されたべクトルに 対して，評価観点間の関係を考慮するために Trait Attention [19]を適用し, 得点予測のための最終的な 分散表現 $\boldsymbol{c}_{n m}$ が得られる. 最後に, この $\boldsymbol{c}_{n m}$ に対 し，シグモイド関数を活性化関数に持つ全結合層を 適用させ，受験者 $n$ の $m$ 番目の観点別得点 $\hat{y}_{n}^{m}$ を $\hat{y}_{n}^{m}=\sigma\left(W_{m} \boldsymbol{c}_{n m}+b_{m}\right)$ で予測する. ここで， $\sigma$ はシグ モイド関数， $W_{m}$ は重み， $b_{m}$ はバイアスを表す。な お，このモデルは得点予測にシグモイド関数を使用 しているため, $\hat{y}_{n}^{m}$ は 0 から 1 の間の値をとる. 実際 の得点尺度がこれと異なる場合には， $\hat{y}_{n}^{m}$ を一次変換して実際の得点尺度に合わせる。

モデルの学習は, 平均二乗誤差 (Mean Squared
Error；MSE）を損失関数として誤差逆伝播法で行わ れる. 訓練データの小論文数が $N$, 予測観点数が $M$ のとき，MSE 誤差は以下のように表される.

$
\mathscr{L}_{M S E}=\frac{1}{N M} \sum_{n=1}^{N} \sum_{m=1}^{M} D(n, m)\left(\hat{y}_{n}^{m}-y_{n}^{m}\right)^{2}
$

ここで,$y_{n}^{m}$ は受験者 $n$ の小論文における $m$ 番目の 観点の真の得点を表す。また $D(n, m)$ は， $n$ 番目の 小論文における $m$ 番目の観点に対するデータのと きに 1 を，そうでなければ 0 を返す関数である。

第 1 章でも述べた通り，このモデルは評価観点ご とに固有の複雑な層を持つため予測根拠の解釈が難 しい.この問題を解決するために，本研究では次章 で説明する項目反応理論を用いる.

## 3 項目反応理論

項目反応理論（Item Response Theory；IRT）[23] は,近年のコンピュータ・テスティングの発展に伴い,様々な分野で実用化が進められている数理モデルを 用いたテスト理論の一つである. IRT モデルは正誤 データなどの 2 值型のデータを前提とするものが多 いが，多段階の得点データに対応した IRT モデルも 多数提案されている. また，一般的な IRT モデルで は，測定対象の能力に 1 次元性を仮定しているが，測定される能力に多次元性を仮定できるモデルも提案されている.

本研究では，代表的な多次元多値型 IRT モデル である多次元一般化部分採点モデル（Generalized Partial Credit Model；GPCM）[24]を使用する. ここで は, 先行研究 $[20,21]$ のように各評価観点を項目とみ なして多次元 GPCM を適用する．具体的には，受験
者 $n$ が評価観点 $m$ において，得点 $k \in\left.\{1,2, \ldots, K_{m}\right.\}$ を得る確率を次式で与えるモデルを適用する。

$
P_{n m k}=\frac{\exp \left(k \boldsymbol{\alpha}_{m}^{T} \boldsymbol{\theta}_{n}+\sum_{u=1}^{k} \beta_{m u}\right)}{\sum_{v=1}^{K_{m}} \exp \left(v \boldsymbol{\alpha}_{m}^{T} \boldsymbol{\theta}_{n}+\sum_{u=1}^{v} \beta_{m u}\right)}
$

ここで, $\boldsymbol{\theta}_{n}=\left(\theta_{n 1}, \theta_{n 2}, \ldots, \theta_{n d}\right)$ は受験者 $n$ の $d$ 次元の能力を表すパラメータベクトルであり, ベクトルの各要素は各次元の能力値を表す. $\boldsymbol{\alpha}_{m}=\left(\alpha_{m 1}, \alpha_{m 2}, \ldots, \alpha_{m d}\right)$ は $\boldsymbol{\theta}_{n}$ に対応した評価観点 $m$ の $d$ 次元識別力, $\beta_{m u}$ は評価観点 $m$ においてカ テゴリ $u-1$ から $u$ に遷移する困難度を表すパラ メータである． $K_{m}$ は，評価観点 $m$ における得点段階数を表す。なお，モデルの識別性のために， $\beta_{m 1}=0: \forall m$ を所与とする.

## 4 提案モデル

本研究では，上記の多次元 GPCM を組み込んだ 複数観点同時自動採点モデルを提案する. 提案モデ ルの概念図を図 1（右）に示す. 図 1 からわかるよ うに，提案モデルは入力層から Concatenate 層まで 評価観点数 $M=1$ とした従来モデルと同じ構造を持 ち, これらの層を用いて文章単位の分散表現 $c_{n}$ を 生成する. 提案モデルでは，このべクトル $c_{n}$ を全結合層に入力し, 多次元 IRT における能力値べクト ル $\boldsymbol{\theta}_{n}$ に対応する值を $\boldsymbol{\theta}_{n}=W c_{n}+\boldsymbol{b}$ で求める. ここ で， $\boldsymbol{W}$ は重み行列， $\boldsymbol{b}$ はバイアスベクトルを表す.

最後に, 得られた $\theta_{n}$ を用いて, 多次元 GPCM 層 で式（2）を計算することで，各評価観点 $m \in M$ に 対する得点の出力確率が得られる. 得点予測の際に は, 確率 $P_{n m k}$ が最大となるカテゴリ $\arg \max _{k} P_{n m k}$ を予測得点とする。提案モデルにおける多次元 GPCM 層は従来モデルにおける観点固有層に相当 する。

損失関数には，多クラス交差エントロピー (Categorical Cross-Entropy；CCE）誤差を用いる. 訓練データの小論文数が $N$, 予測観点数が $M$ のとき， $\mathrm{CCE}$ 誤差は以下のように表せる.

$
\mathscr{L}_{C C E}=-\frac{1}{N M} \sum_{n=1}^{N} \sum_{m=1}^{M} \sum_{k=1}^{K_{m}} y_{n m k} \log \left(P_{n m k}\right)
$

なお，モデルの各種ハイパーパラメータは先行研究 [19] に合わせ，最適化アルゴリズムには学習率を 0.001 に設定した RMSProp [25] を用いる.

以降では，提案モデルの解釈の方法について述べ る. 前章でも述べた通り，提案モデルで使用してい る多次元 GPCM は, 評価観点の識別力 $\boldsymbol{\alpha}_{m}$ と困難度 $\beta_{m}$ ，および受験者の能力 $\theta_{n}$ の 3 つのパラメータで 説明される. 識別力 $\alpha_{m}$ と困難度 $\beta_{m}$ の値からは,各評価観点がどの程度受験者の能力を識別でき，ど れくらいの難易度であるかが解釈可能である. さら に, 能力値 $\boldsymbol{\theta}_{n}$ からは，その小論文を執筆した受験者の潜在的な多次元能力を読み取ることができる。

また, $\boldsymbol{\theta}_{n}$ の次元数を変えて，提案モデルの性能を 評価することで，得点データの背後に想定される最適な能力次元数を分析できる．例えば， $\boldsymbol{\theta}_{n}$ に 2 次元 を想定したときに最大の予測精度を示したとする と, その評価観点の背後に 2 次元的な能力尺度が想定されると解釈できる. 最適な次元数でモデルパラ メータの分析を行うことで，尺度の構成を解釈する ことが可能となる.

## 5 実験

本研究では, 実データとして, Automated Student Assessment Prize (ASAP) と, ASAP++ [26]を用いる. ASAP は AES 研究の分野で広く使用されるデータ セットである. ASAP と ASAP++には 8 つの小論文課題に関する答案が含まれており，それぞれの答案に対して全体得点と評価観点別の得点が与えら れている. 小論文数の課題ごとの平均は約 1622 ,平均単語数は 275 である. なお課題 1 と課題 2 は, Content, Organization, Word Choice, Sentence Fluency, Conventions, 課題 3 から課題 6 は Content, Prompt Adherence, Language, Narrativity, 課題 7 は Content, Organization, Conventions, Style, 課題 8 は課題 1 と 2 に共通する評価観点に加えて Voice といった評価観点でそれぞれ得点付けされている.

## 5.1 得点予測精度の評価実験

ここでは，提案モデルの次元数を $1,2,3$ と変化させて得点予測精度を評価する実験を行う. 本実験では，モデルへの入力として，Ridley らと同様 の POS タグを用いる場合と，一般的な深層学習自動採点モデルと同様に単語系列を利用する場合の 両方を考える. なお単語系列を入力する場合には, Embedding 層で, 50 次元の GloVe [27] による事前学習済みの単語埋め込みを利用する。

モデルの性能評価は, 5 分割交差検証を用いて行 う. 5 分割交差検証は課題ごとに独立して実施し, エポック数は全てのモデルで 30 としている. 評価関数には，2 次の重み付きカッパ係数（Quadratic Weighted Kappa；QWK）を用いる.
表 1 課題別の平均 QWK スコア

表 2 提案モデル（1 次元）を用いて推定した課題 2 の評価観点パラメータ

実験結果を表 1 に示す. 表 1 では観点ごとに QWK スコアを計算し，その平均スコアを課題ごと に示している. 各条件で最も精度が高い手法の結果 を太字で示してある。

表 1 より，提案モデルは，次元数によって予測精度が異なることが読み取れるが，各課題に最適な次元数を持つ提案モデルは従来モデルと比較しても精度に大きな差はないことがわかる. ここで，各モデ ルの平均スコアに有意な差があるかを定量的に測定するため，ボンフェローニ法による多重比較検定 を行った. 結果を表 1 の「 $p$ 値」列に示す. 表から， POS 入力，単語入力ともに，全てのモデル間で有意 な差は認められなかったことが読み取れる.このこ とから，提案モデルは，従来モデルと比較して精度 を落とさずに得点予測ができたことがわかる.

## 5.2 次元性の検証

本節では能力尺度の次元性を分析する。ここで は，まず課題 1 の得点データに関して因子分析を 行った. その結果, 因子数が 1 のときの固有値は 4.97, 因子数が 2 のときの固有値は 0.41 と算出され,因子数が 1 から 2 に変化すると固有値が 1 を下回 るほど大幅に減少していることがわかる。つまり， データの背後にある尺度構成は 1 次元で十分に説明 できることが示唆される. なお，他の課題でも，こ れと同様の結果が得られた。

また，前節で示した表から，提案モデルの次元数 の違いによる予測精度の差はほとんど見られなかっ
たことがわかる．以上から，能力尺度の説明力とし ては 1 次元で十分であると解釈できる.

## 5.3 評価観点パラメータの解釈

ここでは，提案モデルで推定された評価観点パラ メータの解釈について述べる. 例として表 2 に課題 2 のデータにおいて，能力次元数を 1 次元としたと きの評価観点パラメータの推定結果を示した.

まず表 2 に示した識別力の値から，それぞれの評価観点が受験者の能力をどの程度測定できるかを 解釈できる. 例えば，全体得点の識別力値は他の評価観点の値よりも小さいことが読み取れ，このこと は全体得点が他の観点と比べて受験者の能力を測定する力が低いことを示している。また，困難度パ ラメータからは，各観点における各得点の出現分布 を解釈することができる．例えば，全体得点のパラ メータを所与としたときの式 (2) で表現される項目特性曲線（Item Characteristic Curve；ICC）を描くと，全体得点は得点に中心化傾向があることがわかる.

このように提案モデルでは得点予測の背後にある 構造を解釈できることがわかる。

## 6 まとめ

本研究では, 全体得点と同時に観点別得点も予測 できる複数観点同時自動採点モデルに, 多次元項目反応理論を組み込んだモデルを提案した．提案モデ ルを用いた実験から，自動採点で広く使用される ベンチマークデータである ASAP と ASAP++データ セットでは，採点に多くの評価観点が用いられてい るにもかかわらず，その背後には少数の能力尺度し か想定されない可能性が示唆された. このことは，観点固有層として, 従来モデルのような複雑な内部表現は必要でない可能性や，多次元的な能力評価が 実現できていない可能性を示唆している.

今後は多様なデータセットで提案モデルの有効性 を評価したい。

## 謝辞

本研究は JSPS 科研費 19H05663，20K20817， 21H00898 の助成を受けたものです.

## 参考文献

[1] Yigal Attali and Jill Burstein. Automated essay scoring with e-rater® v.2. The Journal of Technology, Learning and Assessment, Vol. 4, No. 3, pp. 1-30, 2006.

[2] Hongbo Chen and Ben He. Automated essay scoring by maximizing human-machine agreement. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1741-1752, 2013.

[3] Peter Phandi, Kian Ming A Chai, and Hwee Tou Ng. Flexible domain adaptation for automated essay scoring using correlated linear regression. In Proceedings of the $\mathbf{2 0 1 5}$ Conference on Empirical Methods in Natural Language Processing, pp. 431-439, 2015.

[4] Mihai Dascalu, Wim Westera, Stefan Ruseti, Stefan Trausan-Matu, and Hub Kurvers. Readerbench learns dutch: building a comprehensive automated essay scoring system for dutch language. In International Conference on Artificial Intelligence in Education, pp. 52-63. Springer, 2017.

[5] Masaki Uto. A review of deep-neural automated essay scoring models. Behaviormetrika, pp. 1-26, 2021.

[6] Robert Ridley, Liang He, Xinyu Dai, Shujian Huang, and Jiajun Chen. Prompt agnostic essay scorer: A domain generalization approach to cross-prompt automated essay scoring. arXiv, 2020.

[7] Dimitrios Alikaniotis, Helen Yannakoudakis, and Marek Rei. Automatic text scoring using neural networks. arXiv, 2016.

[8] Kaveh Taghipour and Hwee Tou Ng. A neural approach to automated essay scoring. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1882-1891, 2016.

[9] Fei Dong and Yue Zhang. Automatic features for essay scoring-an empirical study. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1072-1077, 2016.

[10] Yi Tay, Minh C Phan, Luu Anh Tuan, and Siu Cheung Hui. Skipflow: Incorporating neural coherence features for end-to-end automatic text scoring. In Thirty-Second AAAI Conference on Artificial Intelligence, pp. 59485955, 2018.

[11] Fei Dong, Yue Zhang, and Jie Yang. Attention-based recurrent convolutional neural network for automatic essay scoring. In Proceedings of the 21st Conference on Computational Natural Language Learning, pp. 153-162, 2017.

[12] Youmna Farag, Helen Yannakoudakis, and Ted Briscoe. Neural automated essay scoring and coherence modeling for adversarially crafted input. arXiv, 2018.

[13] Masaki Uto, Yikuan Xie, and Maomi Ueno. Neural automated essay scoring incorporating handcrafted features. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 6077-6088, 2020.
[14] 岡野将士, 宇都雅輝. 評価者バイアスの影響を考慮し た深層学習自動採点手法. 電子情報通信学会論文誌 D, Vol. 104, No. 8, pp. 650-662, 2021.

[15] Pedro Uria Rodriguez, Amir Jafari, and Christopher M Ormerod. Language models and automated essay scoring. arXiv, 2019

[16] Sandeep Mathias and Pushpak Bhattacharyya. Can neural networks automatically score essay traits? In Proceedings of the Fifteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 85-91, 2020.

[17] Mohamed A. Hussein, Hesham A. Hassan, and Mohammad Nassef. A trait-based deep learning automated essay scoring system with adaptive feedback. International Journal of Advanced Computer Science and Applications, Vol. 11, No. 5, pp. 287-293, 2020.

[18] Farjana Sultana Mim, Naoya Inoue, Paul Reisert, Hiroki Ouchi, and Kentaro Inui. Unsupervised learning of discourse-aware text representation for essay scoring. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 378-385, 2019.

[19] Robert Ridley, Liang He, Xin-yu Dai, Shujian Huang, and Jiajun Chen. Automated cross-prompt scoring of essay traits. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 13745-13753, 2021.

[20] Masaki Uto. A multidimensional item response theory model for rubric-based writing assessment. In Artificial Intelligence in Education, pp. 420-432. Springer International Publishing, 2021.

[21] Masaki Uto. A multidimensional generalized many-facet rasch model for rubric-based performance assessment. Behaviormetrika, Vol. 48, No. 2, pp. 425-457, 2021.

[22] Jeffrey L Elman. Finding structure in time. Cognitive science, Vol. 14, No. 2, pp. 179-211, 1990.

[23] Frederic M Lord. Applications of item response theory to practical testing problems. Routledge, 2012.

[24] Lihua Yao and Richard D. Schwarz. A multidimensional partial credit model with associated item and test statistics: An application to mixed-format tests. Applied Psychological Measurement, Vol. 30, No. 6, pp. 469-492, 2006.

[25] Yann Dauphin, Harm de Vries, and Yoshua Bengio. Equilibrated adaptive learning rates for non-convex optimization. In Advances in Neural Information Processing Systems, Vol. 28, pp. 1504-1512. Curran Associates, Inc., 2015.

[26] Sandeep Mathias and Pushpak Bhattacharyya. ASAP++: Enriching the ASAP automated essay grading dataset with essay attribute scores. Proceedings of the Eleventh International Conference on Language Resources and Evaluation, 2018

[27] Jeffrey Pennington, Richard Socher, and Christopher D Manning. Glove: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 15321543, 2014.


# アノテータ特性を考慮した項目反応モデルを組み込んだ 深層学習自動採点手法

岡野将士 ${ }^{1}$ 宇都雅輝 1
1 電気通信大学大学院
\{okano,uto\}@ai.lab.uec.ac.jp

## 概要

近年注目されている深層学習を用いた小論文自動採点モデルを利用するためには，採点済みの小論文データセットを用いてモデル学習を行う必要が ある。一般にモデル学習はアノテータが与えた得点 を真値と仮定して行うが，小論文の採点結果はアノ テータの特性に依存することが知られており，その ようなバイアスデータを用いてモデルを学習すると 自動採点モデルの性能が低下してしまう. この問題 を解決するために本研究では，アノテータの特性を 考慮した項目反応理論を組み込んだ深層学習自動採点手法を提案する。

## 1 はじめに

近年の急速な社会変化に伴い，学校教育では論理的思考力などの育成が求められ，そのような能力を 評価する手法の一つとして小論文試験が注目されて いる. しかし，小論文試験を大規模な試験で実施す る場合，時間的・金銭的コストの高さや採点の公平性の担保の難しさといった課題が存在する $[1,2,3]$.自動採点手法はこれらの問題の解決策の一つとして 注目されている [4].

自動採点を実現する手法として，近年では，深層学習を用いた手法が多数提案され，高精度を実現し ている $[5,6,7,8]$. 深層学習を用いた自動採点モデ ルを利用するためには，採点済み小論文のデータ セットを用いてモデルを学習する必要がある．その 際，データセット中の得点はバイアスのない正確な 得点であると仮定する．しかしながら，大規模試験 では多数のアノテータが分担をして採点を行うこと が一般的であり，そのような場合，個々の答案に対 する得点はアノテータの特性（甘さ/厳しさなど）に 強く依存してしまう [9]. このようなアノテータの 特性の影響を受けたデータを利用した場合，学習さ
れるモデルもその影響を受け，性能が低下すること が報告されている $[10,11,12,13]$.

他方で，教育・心理測定の分野において，アノ テータの特性の影響を取り除くことができる手法が 提案されている，具体的には，数理モデルを用いた テスト理論の一つである IRT（Item Respose Theory：項目反応理論）モデルに，アノテータの特性を表す パラメータを加えたモデルとして提案されている $[9,14,15,16,17,18,19,20]$.

岡野・宇都 $[21,22,23]$ はこのような IRT モデルを 深層学習自動採点モデルと組み合わせて用いるアプ ローチを提案している．具体的には，アノテータの 特性を考慮した IRT モデルを用いて訓練データ中の 得点からアノテータのバイアスの影響を取り除いた 得点（以降では IRT 得点と呼ぶ）を推定し，この得点を元に自動採点モデルの学習を行う手法である. この方法によって，アノテータのバイアスに頑健な モデル学習が可能になることが示されている. しか し，この手法では IRT 得点の推定にアノテータが与 えた観測得点のみを用いており，答案文の情報は使用していない。一方で，答案文の内容自体も IRT 得点推定の有益な情報となりうるため，答案文の内容 も加味するようにモデルを拡張することでこのアプ ローチの性能を更に向上できると予測される.

そこで本研究では，IRT モデルと深層学習自動採点モデルを二段階で適用するのではなく, end-to-end で学習できるように拡張する. 具体的には，深層学習自動採点モデルの出力層に IRT モデルを組み込ん で end-to-end で学習する。この手法では，IRT 得点 の推定にアノテータが与えた観測得点だけでなく答案の文章も活用できるため，従来の IRT モデルと比 べて IRT 得点の推定精度が改善し，このアプロー チの全体的な性能改善につながる，本論文では，実 データ実験により提案手法の有効性を示す.

## 2 データ

本研究では，深層学習自動採点モデルの学習デー タとして，ある小論文問題に対する $J$ 人の受検者 $g=\{1, \ldots, J\}$ の答案集合 $\boldsymbol{A}$ と, 各答案を $R$ 人のア ノテータ $\mathscr{R}=\{1, \ldots, R\}$ で分担して採点した得点集合 $\boldsymbol{U}$ で構成されるデータを想定する。

答案集合 $\boldsymbol{A}$ は, 受検者 $j \in \mathcal{g}$ の答案 $e_{j}$ の集合であ り, 得点集合 $\boldsymbol{U}$ は答案 $e_{j}$ に対してアノテータ $r \in \mathscr{R}$ が $K$ 段階 $\mathscr{K}=\{1, \ldots, K\}$ で与えた得点 $U_{j r}$ の集合と して, $\boldsymbol{U}=\left.\{U_{j r} \in \mathscr{K} \cup\{-1\} \mid j \in \mathcal{F}, r \in \mathscr{R}\right.\}$ と定義する. ここで $U_{j r}=-1$ は久測データを表す. 久測データ は答案 $e_{j}$ にアノテータ $r$ が割り当てられていない 場合に生じる．実際の採点場面では負担軽減のため に，個々の答案に数名のアノテータを割り当てて採点が行われるため，このような欠測が生じる.

## 3 深層学習自動採点モデル

深層学習自動採点モデルは小論文答案の単語系列を深層学習モデルに入力することで得点を推定する手法であり，近年多くの手法が提案されて いる $[5,6,7,8]$. 本研究では Long short-term memory （LSTM）に基づくモデル [24] と Bidirectional Encoder Representations from Transformers (BERT) に基づくモ デル $[25,26]$ を使用する.

LSTM に基づくモデル [24] は深層学習自動採点モ デルの基礎モデルとして知られている。 このモデル では，答案の単語系列を入力し，5つの層（Lookup Table Layer $\cdot$ Convolution Layer $\cdot$ Recurrent Layer $\cdot$ Pooling Layer ・ Linear Layer with Sigmoid Activation）を通して 得点を予測する．LSTM は 3 層目の Recurrent Layer で用いられ, 得点予測に有効な特徵量を文脈を考慮 して抽出する。

BERT に基づくモデル $[25,26]$ では, 答案の単語系列を入力し，中間表現を生成する。この中間表現 を LSTM に基づくモデルと同様の Linear Layer with Sigmoid Activation に通すことで得点を計算する.

これらの深層学習自動採点モデルは, 一般に大量 の採点済み答案データを訓練データとして用いて モデル学習を行う。具体的には，次式で定義される 平均二乗誤差 (mean squared error：MSE）を損失関数として，誤差逆伝搬法で学習することが一般的で ある.

$
\operatorname{MSE}(\boldsymbol{U}, \hat{\boldsymbol{U}})=\frac{1}{J} \sum_{j=1}^{J}\left(U_{j}-\hat{U}_{j}\right)
$

ここで, $U_{j}$ は $e_{j}$ の得点を, $\hat{U}_{j}$ は $e_{j}$ の予測得点を 表す。また，各答案に複数のアノテータが割り当て られている場合， $U_{j}$ にはアノテータが与えた観測得点の平均などを用いる。しかし，このような観測得点データはアノテータの特性に強く依存すること が知られている [9]. そのようなバイアスデータを モデル学習に使用すると, 自動採点モデルにもアノ テータの特性の影響が反映され，予測精度が低下し てしまう $[10,11]$. 本研究では，この問題を解決す るために IRTを用いる.

## 4 項目反応理論

IRT は，コンピュータ・テスティングの普及とと もに近年様々な分野で実用化が進められている数理 モデルを用いたテスト理論の一つである. 本研究で は，小論文採点の文脈で利用できる宇都・植野のモ デル $[15,16]$ を利用する.

宇都・植野のモデル $[15,16]$ では，受検者 $j \in \mathscr{g}$ の 答案に対し，アノテータ $r \in \mathscr{R}$ が得点 $k \in \mathscr{K}$ を光 る確率が次式で定義される。

$
P_{j r k}=\frac{\exp \sum_{m=1}^{k}\left[\alpha_{r}\left(\theta_{j}-\beta_{r m}\right)\right]}{\sum_{l=1}^{K} \exp \sum_{m=1}^{l}\left[\alpha_{r}\left(\theta_{j}-\beta_{r m}\right)\right]}
$

ここで， $\alpha_{r}$ はアノテータ $r$ の採点の一貫性， $\beta_{r m}$ は 得点 $m$ に対するアノテータ $r$ の厳しさを表す. ただ し，パラメータの識別性のために， $\beta_{r 1}=0$ を仮定す る. また, $\theta_{j}$ は受検者 $j$ の答案 $e_{j}$ に対応した潜在得点であり，アノテータバイアスの影響を取り除い た得点とみなせる. 本研究ではこの潜在得点を IRT 得点と呼ぶ.

## 5 IRT 得点を用いた自動採点手法

岡野・宇都 $[21,22,23]$ は上記の IRT モデルと自動採点モデルを組み合わせて用いる手法を提案した。 この手法では観測得点データ $\boldsymbol{U}$ から IRT 得点 $\theta_{j}$ を 推定し，これを目的変数として自動採点モデルを学習する。以下で詳細を説明する。

モデル学習は, IRT モデルによる得点推定と自動採点モデルの学習の二段階で行われる. 具体的な手順は以下の通りである．1）アノテータが与える得点データ $\boldsymbol{U}$ から，アノテータの特性の影響を取り 除いた各答案 $e_{j}$ のIRT 得点 $\theta_{j}$ を式 (2) の IRT モ デルを用いて推定する．2）手順 1 で求めた IRT 得点 $\theta_{j}$ を予測するように自動採点モデルを学習する。具体的には損失関数を $\operatorname{MSE}(\boldsymbol{\theta}, \hat{\boldsymbol{\theta}})=\frac{1}{J} \sum_{j=1}^{J}\left(\theta_{j}-\hat{\theta}_{j}\right)^{2}$ と定義し，誤差逆伝播法によりパラメータを学習す

る.ここで $\hat{\theta}_{j}$ は自動採点モデルの予測値を表す.

学習されたモデルを用いて新たな答案 $e_{j^{\prime}}$ の得点 を予測する手順は以下の通りである．1）答案 $e_{j^{\prime}}$ の IRT 得点 $\theta_{j^{\prime}}$ を自動採点モデルを用いて予測する. 2) IRT 得点 $\theta_{j^{\prime}}$ とアノテータの特性パラメータを用 いて，IRT モデルに基づく期待得点を以下の式で求 め，この値を予測得点とする。

$
\hat{U}_{j^{\prime}}=\frac{1}{R} \sum_{r=1}^{R} \sum_{k=1}^{K} k \cdot P_{j^{\prime} r k}
$

この手法を用いることで，アノテータのバイアス に頑健なモデル学習と得点予測が可能になった. し かし，モデル学習の手順 1 で行われる IRT 得点の推定にはアノテータが与える観測得点のみを用いてお り，答案文は情報として使用しない。一方で，答案文の内容自体も IRT 得点推定の有益な情報となりう るため，答案文の内容も加味するようにモデルを拡張することでこのアプローチの性能を更に向上でき ると予測される。

## 6 提案手法

以上を踏まえ, 本研究では, 深層学習自動採点モ デルの出力層にアノテータの特性を考慮した IRT モデルを組み込み， end-to-end で学習できるように 拡張した手法を提案する。具体的には，深層学習自動採点モデルの最終層にあたる Linear Layer with Sigmoid Activation を活性化関数を利用しない Linear Layer に変更し，その出力を式（2）における IRT 得点 $\theta_{j}$ とみなす手法を提案する。提案手法による LSTM と BERT に基づくモデルの概念図を図 1 に示 す. 提案手法に基づくモデルの学習は end-to-end で 行い，深層学習モデルのパラメータと同時に IRT の パラメータも推定する. 具体的には，以下の損失関数に基づき誤差逆伝播法でパラメータ学習を行う.

$
\operatorname{MSE}(\boldsymbol{U}, \hat{\boldsymbol{U}})=\frac{1}{J} \sum_{j=1}^{J}\left[\frac{1}{n_{j}} \sum_{r=1}^{R}\left(U_{j r}-\hat{U}_{j r}\right)^{2} I_{j r}\right]
$

ここで， $I_{j r}$ は $U_{j r}=-1$ のときに 0 , それ以外のとき に 1 を返す関数であり, 変数 $n_{j}$ は $n_{j}=\sum_{r=1}^{R} I_{j r}$ で 定義される。また，学習されたモデルを用いて新た な答案 $e_{j^{\prime}}$ の得点を予測する手順は 5 章で説明した 従来手法と同様である.

提案手法では，IRT 得点の推定にアノテータが与 えた観測得点だけでなく答案の文章も活用できるた め，従来の IRT モデルと比べて IRT 得点の推定精度 が改善し, 本アプローチの性能が改善することが期

図 1 提案手法の概念図

待できる.

## 7 実データ実験

## 7.1 実データ

本実験では，自動採点モデルのベンチマーク データとして広く利用されている Automated Student Assessment Prize（ASAP）[27]を使用する。ASAP は 8 つのトピックに対する答案データと得点データで 構成されている。ただし，ASAPにはアノテータの 情報が含まれていないため，提案手法を直接は適用 できない。そのため，新たにアノテータを雇用して ASAP の答案データを再度採点し，本実験で用いる 得点データを収集した. 具体的には, 先行研究で予測精度が最も高かったトピック 5 の 1805 個の答案 に対して，Amazon Mechanical Turk で募集した英語 ネイティブ 38 名のアノテータを 1 つの答案あたり 3 5 名割り当てて ASAP と同様に 5 段階の採点を 行った. 元データとの相関は 0.675 であった.

本研究では，異なるアノテータが採点したデータ を元にモデル学習を行ったとしても安定した得点を 予測できるモデルの実現を目指している。そのよう な評価を行うために本実験では，各答案に与えられ た複数の観測得点からランダムに一つの得点データ を残すことでアノテータの割り当てを変えた得点 データセットを複数パターン用意する。ただし，訓練データ中の全ての答案に単一の得点のみが与えら れている場合，アノテータの特性パラメータを同一尺度上で推定するために必要な等化が保証されな い. そこで，訓練データ中の半分の答案は元の複数 アノテータによるデータをそのまま使用し，残りの 半分の答案にはランダムに選択した 1 名のアノテー
表 1 IRT 得点の推定精度評価結果

タの得点を残すようにデータを作成する．以上の手順で ASAP データセットから新たにアノテータの割 り当てが異なる 10 個のデータセットを作成し，こ れらを $\left.\{\boldsymbol{U}_{1}^{\prime}, \ldots, \boldsymbol{U}_{10}^{\prime}\right.\}$ とした。

## 7.2 IRT 得点の推定精度評価

本節では，提案手法を用いることで，各答案に対 する IRT 得点 $\theta$ の推定精度が向上するかを評価す る. IRT 得点の推定精度は，アノテータが変わって も安定した得点が推定されている場合に高いと解釈できる $[21,22,23]$. そのため，アノテータの割り 当て方が異なるデータセット $U_{n}^{\prime}$ を用いて各答案の IRT 得点 $\theta_{\boldsymbol{n}}$ を推定する操作を繰り返し行い，推定 された値を比較することによって IRT 得点の推定精度を評価する。具体的には，次の手順に基づいて 評価実験を行った．1） $n$ 番目のデータセット $\boldsymbol{U}_{n}^{\prime}$ の 4/5を訓練データとして，提案手法によりモデルの 学習を行った. 2) 手順 1 で得られたモデルを所与 として，データセット $\boldsymbol{U}_{n}^{\prime}$おける残り $1 / 5$ のテス トデータに対して IRT 得点を推定した。3）以上を 学習データとテストデータの切り分けを変えて 5 回繰り返すことで，全ての受検者の IRT 得点 $\theta_{\boldsymbol{n}}$ を求 めた. 以上の操作を $n=\{1, \ldots, 10\}$ について行った あと, $n$ 番目のデータセットから求めた $\boldsymbol{\theta}_{\boldsymbol{n}}$ と $n^{\prime}$ 番目の得点データセットから推定した $\boldsymbol{\theta}_{\boldsymbol{n}^{\prime}}$ との平均平方二乗誤差（Root Mean Square Error：RMSE），相関係数 (Correlation) $n \in\{1, \ldots, 10\}, n^{\prime} \in\{1, \ldots, 10\}$ の全ての組み合わせについて求め，それらの平均を 算出した.

以上の実験を複数の構成のモデルで行った. 具体的には，LSTM に基づくモデルにおける Convolution layer の有無が異なるモデル ( $「 \mathrm{CNN}-\mathrm{LSTM}\lrcorner と$ $\lceil\mathrm{LSTM}\lrcorner$ ）と BERT に基づくモデル（「BERT」）を用 いた。また，比較のために，同様の実験を，答案の 文章情報を利用しない式（2）の IRT モデル（「既存 IRT」）でも実施した。

実験結果を表 1 に示す. 全ての条件において提案手法のモデルが高い性能を示しており，IRT 得点の 推定精度の改善に有効であることが確認できた.表 2 得点予測の頑健性評価結果

 &  \\

LSTM & $\mathbf{0 . 7 6 8}$ & 0.694 & 0.678 \\
BERT & $\mathbf{0 . 7 0 6}$ & 0.688 & 0.694 \\

LSTM & $\mathbf{0 . 9 4 5}$ & 0.926 & 0.903 \\
BERT & $\mathbf{0 . 9 3 1}$ & 0.923 & 0.920 \\

## 7.3 得点予測の頑健性の評価

本節では，提案手法を利用することで，評価者バ イアスに頑健な自動採点モデルを学習できるかを 評価する。本実験では，個々の答案を採点する評価者を変化させても，安定した性能の自動採点モデル を学習できるかによってこれを評価する。具体的 には，手順 1 3 は前節と同様に行い，手順 3 で得 られた IRT 得点 $\boldsymbol{\theta}_{\boldsymbol{n}}$ を所与として，式（3）を用いて 予測得点 $\hat{U}_{\boldsymbol{n}}$ を求めた. この手順を，前節と同様に $n=\{1, \ldots, 10\}$ について行い, $\hat{\boldsymbol{U}}_{\boldsymbol{n}}$ と $\hat{\boldsymbol{U}}_{\boldsymbol{n}^{\prime}}$ との重み付 きカッパ係数（Linear Weighted Kappa：LWK），相関係数を全ての組み合わせについて求め，それらの 平均を算出した。

比較のために，5 章で説明した IRT 得点を用いて モデル学習を行う手法 (「IRT 得点を用いた手法」) と観測得点の平均値を用いてモデル学習を行う手法 （「観測得点を用いた手法」）を用いて同様の実験を 行った.

実験結果を表 2 に示す。性能が最も高い結果を太字で示している．全ての条件において，提案手法の モデルが高い性能を示していることから，提案手法 により自動採点モデルのアノテータバイアスに対す る頑健性の向上が確認できた.

## 8 まとめ

本研究では，深層学習自動採点モデルとアノテー タの特性を考慮したIRT モデルを統合し， end-to-end でモデル学習を行う手法を提案した。また，実デー 夕実験により，IRT 得点の推定精度と自動採点モデ ルの得点予測精度が改善されることを示した。

今後は，様々なデータに適用し提案手法の有効性 を評価する。また，より高精度の自動採点モデルに 組み込むことでさらなる精度改善を目指す。

## 謝辞

本研究は JSPS 科研費 JP19H05663，JP20K20817， JP21H00898 の助成を受けたものです.

## 参考文献

[1] 河原宜央. 国語科の評価問題における記述式問題の 採点過程に関する研究 採点基準と採点答案の分析を通して. Technical report, 広島県立教育センター, 2017.

[2] 野澤雄樹. 記述式項目の使用に関する教育測定学的考察. 教育心理学年報, Vol. 58, pp. 131-148, 2019.

[3] 荒井清佳, 石岡恒憲. 小論文課題の複数人による採点 の基礎的な分析: 採点者による得点の違いについて.大学入試研究ジャーナル, No. 26, pp. 53-58, 2016.

[4] 石岡恒憲. 記述式答案、AI 採点「ほぼ人間並み」12 万件で精度検証. 日本経済新聞。日経電子版. https://www.nikkei.com/ article/DGXZQOCD02D8Y0S1A201C2000000/, December 2021. (Accessed on 1/9/2022).

[5] Zixuan Ke and Vincent Ng. Automated essay scoring: A survey of the state of the art. In Proceedings of the International Joint Conference on Artificial Intelligence, pp. 6300-6308. International Joint Conferences on Artificial Intelligence Organization, July 2019.

[6] Masaki Uto. A review of deep-neural automated essay scoring models. Behaviormetrika, 2021.

[7] Paraskevas Lagakis and Stavros Demetriadis. Automated essay scoring: A review of the field. In Proceedings of the International Conference on Computer, Information and Telecommunication Systems, pp. 1-6, 2021.

[8] Dadi Ramesh and Suresh Kumar Sanampudi. An automated essay scoring systems: a systematic literature review. Artificial Intelligence Review, pp. $1-33,2021$.

[9] 宇都雅輝, 植野真臣. パフォーマンス評価のための 項目反応モデルの比較と展望. 日本テスト学会誌, Vol. 12, No. 1, pp. 56-75, May 2016.

[10] Evelin Amorim, Marcia Cançado, and Adriano Veloso. Automated essay scoring in the presence of biased ratings. In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics, Vol. 1, pp. 229-237. Association for Computational Linguistics, June 2018.

[11] Stefanie A. Wind, Edward W. Wolfe, George Engelhard, Peter W. Foltz, and Mark Rosenstein. The influence of rater effects in training sets on the psychometric quality of automated scoring for writing assessments. International Journal of Testing, Vol. 18, pp. 27 -49, 2018.

[12] Jinchi Huang, Lie Qu, Rongfei Jia, and Binqiang Zhao. O2u-net: A simple noisy label detection approach for deep neural networks. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 33253333, 2019.

[13] Shikun Li, Shiming Ge, Yingying Hua, Chunhui Zhang, Hao Wen, Tengfei Liu, and Weiqiang Wang. Coupled-view deep classifier learning from multiple noisy annotators. In Proceedings of the AAAI Conference on Artificial Intel- ligence, Vol. 34, pp. 4667-4674, 2020.

[14] Masaki Uto and Maomi Ueno. Empirical comparison of item response theory models with rater's parameters. Heliyon, Elsevier, Vol. 4, No. 5, pp. 1-32, May 2018.

[15] Masaki Uto and Maomi Ueno. A generalized many-facet Rasch model and its Bayesian estimation using Hamiltonian Monte Carlo. Behaviormetrika, Vol. 47, No. 2, pp. 469-496, May 2020.

[16] 宇都雅輝, 植野真臣. ピアアセスメントにおける異質評価者に頑健な項目反応理論. 電子情報通信学会論文誌. D, 情報・システム, Vol. 101, No. 1, pp. 211-224, January 2018.

[17] Richard J. Patz, Brian W. Junker, Matthew S. Johnson, and Louis T. Mariano. The hierarchical rater model for rated test items and its application to large-scale educational assessment data. Journal of Educational and Behavioral Statistics, Vol. 27, No. 4, pp. 341-384, January 2002.

[18] Richard J. Patz and Brian W. Junker. Applications and extensions of MCMC in IRT: Multiple item types, missing data, and rated responses. Journal of Educational and Behavioral Statistics, Vol. 24, No. 4, pp. 342-366, December 1999.

[19] J.M. Linacre. Many-faceted Rasch Measurement. MESA Press, January 1989.

[20] 宇佐美慧. 採点者側と受験者側のバイアス要因の影響を同時に評価する多値型項目反応モデル. 教育心理学研究, Vol. 58, No. 2, pp. 163-175, 2010.

[21] Masaki Uto and Masashi Okano. Robust neural automated essay scoring using item response theory. In Artificial Intelligence in Education, pp. 549-561. Springer International Publishing, 2020.

[22] 岡野将士, 宇都雅輝. 評価者バイアスの影響を考慮し た深層学習自動採点手法. 電子情報通信学会論文誌 D, Vol. 104, No. 8, pp. 650-662, 2021.

[23] 岡野将士, 宇都雅輝. アノテータのバイアスを考慮し た記述・論述式自動採点手法. 言語処理学会第 27 回年次大会, pp. 900-904. 言語処理学会, March 2021.

[24] Kaveh Taghipour and Hwee Tou Ng. A neural approach to automated essay scoring. In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 1882-1891. Association for Computational Linguistics, November 2016.

[25] Pedro Uria Rodriguez, Amir Jafari, and Christopher M. Ormerod. Language models and automated essay scoring. arXiv, September 2019.

[26] Masaki Uto, Yikuan Xie, and Maomi Ueno. Neural automated essay scoring incorporating handcrafted features. In Proceedings of the International Conference on Computational Linguistics, pp. 6077-6088. International Committee on Computational Linguistics, 2020.

[27] Automated Student Assessment Prize. https:// www.kaggle.com/c/asap-aes/data. (Accessed on $1 / 11 / 2022$ ).


# テキスト平易化システムの分析的評価のための 平易化方略体系の構築

山口大地 ${ }^{1}$ 島田紗裕華 1 宮田玲 ${ }^{2}$ 佐藤理史 ${ }^{2}$
1 名古屋大学工学部 2 名古屋大学大学院工学研究科
yamaguchi.daichi@c.mbox.nagoya-u.ac.jp

## 概要

ニューラルネットワークを用いたテキスト平易化手法が盛んに研究されているが、実用化はあまり進 んでいない。今後の研究・開発のさらなる発展のた めには、現在の平易化技術にできること・できない ことを分析的に把握するための評価ツールが必要で ある。本稿では、そのようなツールの一つとして、 どのような平易化操作がなされたかを分類するため の平易化方略体系を、人手の平易化事例とシステム 出力の分析に基づき構築した。また、この方略体系 を用いて、人間と機械の差異を詳細に可視化できる ことを予備的に示した。

## 1 はじめに

テキスト平易化（text simplification, TS）とはテキ ストの主要な内容を保持しつつ、語彙や構造の複雑 さを軽減することである。近年の TS システムは難解文から平易文への単一言語の翻訳問題として取 り組まれ、ニューラルネットワークを用いた手法が 盛んに研究されている。しかし、機械翻訳とは異な り、TS システムの実用化はあまり進んでいない。 $\mathrm{TS}$ システムの研究・開発のさらなる発展のために は、現在の TS 技術の限界を知り、人間の行ってい る平易化とのギャップを明確に把握することが重要 である。

TS システムの評価には、SARI [1]、BLEU [2] Flesch-Kincaid Grade Level (FKGL) [3] といった自動評価指標が広く使われる。SARI と BLEU は人手に よる平易化参照文との N-gram に基づく一致度を用 いた評価指標であり、FKGL は単語数と音節数を用 いた評価指標である。この他にも、流暢性、妥当性、平易度 [4][5][6] といった側面を主観的な判断でスコ ア付けする人手評価が用いられることもある。これ らはいずれもシステムの出力結果に対して、数値的
な評価を与えるものであり、TS システムにできる こと・できないことを分析的に評価する枠組みは十分に確立していない。

TS システムの分析的評価には大きく分けて、ど のような変換操作がなされたかに関する方略分析と どのような誤りを含んでいるかに関するエラー分析 があり、本稿では、主に方略分析を対象とする。既存の平易化研究では、書き換え操作として、言い換 え、削除、分割の 3 つが認定されることが多い [7]。加えて文書レベルの平易化操作として文の並べ替え や統合が認定されることもある [8]。しかし、これら はテキストの表層的な操作を大まかに類型化したも のであり、平易化固有の内容的変化を具体的に捉え るものではない。内容的な側面に踏み込んだものと しては、執筆者向けの平易化ガイドラインが多く作 られてきたが [9]、これらも大まかな指針を示すに 留まるものが多い。したがって、TS システムを評価するためのより詳細な平易化方略分析の枠組みが 必要である。本稿では以下、平易化方略分析を可能 とする方略体系の構築について報告した上で、人手事例とシステム出力の比較を行うことで人間と機械 の平易化方略の違いについても予備的に観察する。

## 2 平易化方略体系の構築

初めに人手事例を分析することで平易化方略体系 のプロトタイプを作成した。続いて、複数の TS シ ステムによる出力結果を用いて、それらを網羅的に 分類できるように体系の拡張・修正を行った。

## 2.1 人手事例分析による体系構築

分析対象として、Newsela [10] が公開するプロの 編集者が文書単位で平易化を行ったニュース記事 を用いた。まず、Newsela の記事の Popular のカテゴ リ1)から、4 文書選定した。Newsela では文書ごとに

図 1 最小単位の書き換えへの分解例

4 段階の書き換えがなされている。オリジナルの文書を $\mathrm{Lv0}$ として最も平易な文書を Lv4 とする。隣接 するレベルの文書ぺア全てに対して、手作業で文ア ラインメントを取り、合計 551 の難解文・平易文の ペアを獲得した。次に図 1 のように、難解文から平易文に至る書き換えの過程を分解し、最小単位の書 き換え事例を 1133 件得た。

これら全事例に対して、表層的方略（語や句、節 といった文法的要素に対する置換や削除、追加と いった形式的な操作）と内容的方略（平易化の観点 からの意味・内容の変更操作）の 2 つの軸から分析 した。筆者らが各事例に対するラベル付けとラベル のまとめ上げのサイクルを複数回繰り返すことで、 ボトムアップに平易化方略を体系化した。

## 2.2 システム出力を用いた体系修正

人手事例分析で構築した平易化方略体系のプロ トタイプを TS システムの出力を使用して修正し た。TS システムのモデルとして、Transformer $[11]^{2)} 、$ DRESS [12] 3)、SUC [13] 9 の 3つを用いた。いずれも 学習データには Newsela コーパスを用いたが、アラ インメントの方法含め、元の論文と同じ設定で実装 しているため、実際に学習に使われたデータはそれ ぞれ異なるら)。

人手事例分析に用いた Lv0 と Lv1 の文書から、 Transformer 用に 166 文、DRESS 用に 38 文、SUC 用 に 38 文を選定し、各システムで平易化を行った。

これらの出力の内、平易化によりテキストに変化が 生じた 125 文に対して、最小単位の書き換えへの分解を行い、計 217 件の書き換え事例を獲得した。書 き換えをプロトタイプの方略体系（表層的方略およ び内容的方略）を用いて分類し、分類できない事例 があった場合には体系を修正した。

## 3 平易化方略体系

## 3.1 表層的方略

表 1 に表層的方略の大分類と中分類を示す。大分類は、操作の観点から置換、削除、追加、統合、分割、移動、変化なしの 7 種類に分かれる。変化な し以外は、操作対象の観点から細分化した中分類を 持ち、合計で 21 の中分類に分かれる。置換、削除、追加に関しては、対称性を持たせるために、同一の 対象群（記号、語、語句、節、文）を中分類として 設定した ${ }^{6)}$ 。以下、大分類ごとに説明する。

置換 難解文と平易文で対応が取れる場合は置換とする。例えば図 1 の hard work will help you reach your goals $\rightarrow$ hard work is important は置換である。ま た置換される対象が句の場合は主要部が変化する という条件が加わる。よって video games $\rightarrow$ games は置換ではないが playing video games $\rightarrow$ video games は置換である。

削除 難解文に平易文と対応の取れない部分が ある場合は削除とする。また対応が取れた場合で も、書き換え前の従属部がなくなっているだけの場合は削除とする。例えば video games $\rightarrow$ games は削除である。

追加 平易文に難解文と対応が取れない部分があ る場合は追加とする。また対応が取れた場合でも、書き換え後に従属部が追加されているだけの場合 は追加とする。例えば animals $\rightarrow$ small animals は追加である。

統合 複数の難解文がそれより少ない数の平易文と対応を取れた場合は統合とする。しかし、文 の主要部が含まれない場合は統合とはみなさない。 つまり、難解文の 2 文 In video games, working hard is not enough. You have to be smart, too. が平易文の 1 文 In video games, you also have to be smart. と対応の取れ た場合は難解文の前者の主要部 working hard is not enough が含まれていないため、統合ではない。この 場合は難解文の前者は文レベルで削除され、後者に

6）なお、記号置換と記号追加は分析事例中に存在しなかった。
表 1 表層的方略体系と検証用事例の分類結果

in video games を追加したという 2 ステップの書き換 えとして、移動とはみなさない。

分割 難解文の 1 文が 2 文以上の平易文と対応の 取れた場合は分割とする。分割の際に必然的に伴う 変更（主語の補完など）も分割操作に含める。

移動 文中で語順が変わる場合と文書内で文の位置が移動する場合は移動とする。

変化なし 難解文と平易文が同一の時は变化な しとする。

## 3.2 内容的方略

表 2 に内容的方略の大分類と中分類を示す。内容的方略は大分類として意味変化なし、内容削除、内容追加、内容変更、文書レベル調整の 5 種類に分か れる。それぞれが中分類を持ち、合計で 30 の中分類に分かれる。以下、大分類ごとに説明する。

意味変化なし 書き換えによって意味が変化しな い場合は意味変化なしとする。例えば、文頭の接続詞を副詞にするなど文法的により正しい標準的な表現に変更する場合（e.g. but $\rightarrow$ however）や難解文と 平易文が同一の場合は意味変化なしに分類する。な お、類義語へ言い換える場合や代名詞を参照先の表現に言い換える場合、意味は変化するとして内容変更に分類する。表 2 内容的方略体系と検証用事例の分類結果

内容削除 書き換えによって内容が削除される場合は内容削除とする。例えば、修飾要素が削除され る場合（e.g. the delicious pizza $\rightarrow$ the pizza）や図 1 の shows you that $\rightarrow$ shows that の書き換えは内容削除に 分類される。中分類の主要情報の削除は人手の分析 データ中には存在しなかったが、TS システムの出力を扱うために追加した項目である。

内容追加 書き換えによって内容が追加される 場合は内容追加とする。例えば、後に記述される 内容の理解を促す前置きを追加する場合 (e.g. $\phi$ $\rightarrow$ Chocolate chip cookies seem like they've been around forever.) や記述された内容についての補足説明を追加する場合 (e.g. $\phi \rightarrow$ A billion is a thousand million.) を含む。

内容変更 書き換えによって内容が変化する場合は内容変更とする。例えば、冗長性を排した簡潔な表現に変更する場合 (e.g. a plant called the coca plant $\rightarrow$ the coca plant) や図 1 の hard work will help you reach your goals $\rightarrow$ hard work is important $の$ 書き換え は内容変更に分類する。
表 3 システム（Transformer モデル）の出力例と人手参照文

 \\
参照文 1 &  \\

出力 2 & to succeed in video games, you can not just work harder . \\
参照文 2 & In video games, working harder is not enough. \\

出力 3 & they give you many different ways of dealing with problems. \\
参照文 3 & They give you lots of different problems with several solutions.

文書レベル調整文の位置が文書内で移動する場合や他の書き換えの影響で変更が生じる場合（e.g.前の文が削除されたことで参照するものが不明に なった代名詞を参照先の表現に言い換える場合) は文書レベル調整とする。

## 4 人手事例とシステム出力の比較

構築した平易化方略を用いて、人手事例と TS シ ステム出力の予備的な比較分析を行う。TS システ ムのモデルは Transformer のみを対象とし、2.2 節で 用いた 166 文を検証対象文とする。比較のため、人手事例もこの 166 文に限定した。また最小単位の書 き換えを事例とするだけでなく、書き換えが生じな かった文もそれぞれ 1 事例とした。表 1 と表 2 に、人手事例とシステム出力の事例数の統計を示す。

## 4.1 表層的方略

表 1 から、システムは追加、統合、分割、移動が ほとんどできていないことがわかる。また、システ ムの主な方略は削除であり、特に節削除を多く行っ ていることがわかる。これは、文単位でのみ対応付けられた学習データの構造に起因すると考えら れる。例えば、原文 I bought an apple and ate it. が人手事例では I bought an apple. と I ate it に分割された とする。現在の学習データでは、原文に対して、2 つの文が別々にアライメントされている。これによ り、表 3 の出力 1 のように人手の場合には分割する ような文に対して TS システムが大幅な削除を行っ ている可能性がある。

また、置換の方略については、語や語句を対象と したものが多いことがわかる。表 3 の参照文 2 のよ うな比較的大きな変化を、システムではうまく学習 できておらず、局所的な書き換えに留まる。

## 4.2 内容的方略

表 2 から、システムは意味変化なし>構造の変換の事例数が、人手と比べて少ないことがわかる。人手事例では、構造の変換は主に分割によるものが 多く、先にも述べたように、システムは分割操作を 十分学習できていない。

それに対して、内容削除の件数は多い。ただし、 これらの削除が平易化の観点から妥当であるかは不問としている。システムのみに存在する、内容削除 $>$ 主要情報の削除の事例は、表層的方略の節削除と も対応した、大幅な削除操作である。表 3 の出力 1 は、文単位では情報を簡略化した事例ともみなせる が、文書全体を考慮すると情報が削除されすぎてい る。現在は、平易化方略に含めてはいるが、本来は エラーとみなすべきものある。

システムは内容追加がほとんどできていない。表 3 の参照文 1 の $\phi \rightarrow$ To find out whether other animals laugh and play のように、内容追加のためには文脈情報が必要となる場合は多い。今回使用したモデル は、文脈を考慮しない手法であるため、このような 書き換えは原理的に難しい。

内容変更>類義語への言い換えは比較的件数が多 い。表 3 の出力 3 の、lots of $\rightarrow$ many のような局所的 な書き換えはある程度できていることがわかる。し かし、説明的な表現への言い換えなどの外部知識を 使うような高度な内容変更はできていない。

## 5 おわりに

本研究では人手で平易化されたテキストとテキス 卜平易化システムの出力を分析し、表層的方略と内容的方略の 2 つの軸からなる平易化方略体系を構築 した。体系構築に利用した事例を用いて、人間と機械の平易化事例を予備的に分類し、方略体系がシス テムの分析的評価の枠組みとして利用できることを 確認した。今後は複数の TS システムを対象に、未知のデータを用いて本評価を行う予定である。そし て、現在のテキスト平易化技術の限界と可能性を緻密に見極めながら、技術の改良を目指す。

## 謝辞

本研究は科研費（課題番号：19K20628, 19H05660）

および KDDI 財団調査研究助成（課題名：平易な文化財情報を執筆・翻訳する技術）の支援を受けた。 Newsela からニュース記事のコーパスを提供いただ いた。

## 参考文献

[1] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing statistical machine translation for text simplification. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 401-415, 2016.

[2] Papineni Kishore, Roukos Salim, Ward Todd, and Zhu Wei-Jing. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[3] J. Peter Kincaid, Robert P. Fishburne Jr., Richard L. Rogers, and Brad S. Chissom. Derivation of new readability formulas (Automated Readability Index, Fog Count and Flesch Reading Ease Formula) for Navy enlisted personnel. Institute for Simulation and Training, No. 56, 1975.

[4] Elior Sulem, Omri Abend, and Ari Rappoport. Simple and effective text simplification using semantic and neural methods. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 162-173, 2018.

[5] 加藤汰一, 宮田玲, 佐藤理史. 説明文を対象と した日本語文末述語の平易化. 情報処理学会論文誌, Vol. 62, No. 9, pp. 1605-1619, 2021.

[6] Suha S. Al-Thanyyan and Aqil M. Azmi. Automated text simplification: A survey. ACM Computing Surveys, Vol. 54, No. 2, 2021.

[7] Lijun Feng. Text simplification: A survey. The City University of New York, Technical Report, 2008.

[8] Fernando Alva-Manchego, Carolina Scarton, and Lucia Specia. Cross-sentence transformations in text simplification. In Proceedings of the 2019 Workshop on Widening NLP, pp. 181-184, 2019.

[9] Mitkov Ruslan and Štajner Sanja. The fewer, the better? A contrastive study about ways to simplify. In Proceedings of the Workshop on Automatic
Text Simplification - Methods and Applications in the Multilingual Society, pp. 30-40, 2014.

[10] Wei Xu, Chris Callison-Burch, and Courtney Napoles. Problems in current text simplification research: New data can help. Transactions of the Association for Computational Linguistics, Vol. 3, pp. 283-297, 2015.

[11] Chao Jiang, Mounica Maddela, Wuwei Lan, Yang Zhong, and Wei Xu. Neural CRF model for sentence alignment in text simplification. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7943-7960, Online, 2020.

[12] Xingxing Zhang and Mirella Lapata. Sentence simplification with deep reinforcement learning. In Proceedings of the $\mathbf{2 0 1 7}$ Conference on Empirical Methods in Natural Language Processing, pp. 584-594, 2017.

[13] Renliang Sun, Zhe Lin, and Xiaojun Wan. On the helpfulness of document context to sentence simplification. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 1411-1423, 2020.


# 単語属性変換で作成した 疑似負例データを用いた自動機械翻訳評価

高橋 洸丞 ${ }^{1}$ 石橋 陽一 1 須藤 克仁 1,2 中村 哲 1
1 奈良先端科学技術大学院大学 2 科学技術振興機構さきがけ
\{takahashi.kosuke.th0, ishibashi.yoichi.ir3, sudoh, s-nakamura\}@is.naist.jp

## 概要

本研究では、誤りを含む文の評価に対して評価性能の向上を狙って、WMT の metrics shared taskコー パスに含まれる単語属性を反対のものへ変換するこ とで疑似負例データを作成し、疑似負例データで評価モデルの追加学習を行った。

その結果、提案手法は 20 年度の metrics コーパス にてコーパス全体での人手評価とのピアソンの相関係数が向上した。また事例分析では、提案手法が評価スコアの決定時に原言語文の内容との合致率をよ り重要視している傾向が見られた。

## 1 はじめに

近年の自動評価モデルは多くがBidirectional Encoder Representations from Transformers (BERT) [1] という大規模な言語モデルを利用したものである。 BERTscore[2]、BLEURT[3]、C-SPEC[4]、COMET[5] などは BERT をエンコーダとして使用しているモデ ルで、 20 年度の WMT 評価用タスクの metrics shared task にて人手評価との高い相関を記録した。しか し、[4] で述べられているように BERT をべースと した評価手法は、品質が悪く人手評価のスコアが低 い翻訳文に対して相関が低くなる。そこで [6] は低品質な翻訳文の評価を向上させるために、独自の人手評価の基準を設けて新たな人手評価が付けられた コーパスを作成した。

本研究は、低品質な翻訳文に対する評価性能を向上させるため、[6] とは異なり、疑似的な誤りを含 む翻訳文コーパスを作成する。そしてどのような疑似的な誤りを作るのかを決めるために、低品質な 翻訳文とその評価誤りの関係について、17 年度の WMT metrics shared task において、事前に BLEURT と C-SPEC を用いた評価実験をした。その結果、人手評価とのピアソンの相関係数を著しく下げる事例の多くは表 1 のように、名詞の翻訳誤りと述語構造の誤りに由来するものであった。そこで、本研究では名詞の評価誤りを改善するために、疑似的に誤った名詞また動詞を含むコーパスを作成す る。疑似負例データの作成は [7] の手法に従い、単語の属性変換モデルを反対の意味・属性を持つ名詞そして動詞に適用することで、本来の翻訳文に 含まれる単語とは逆の意味の単語に置き換わる ように設定する。提案する評価モデル (C-SPECpn : Cross-lingual Sentence Pair Embedding Concatenation fine-tuned on pseudo-negatives) は、学習済みの C-SPEC を作成した疑似負例データで追加学習したもので ある。

## 2 関連研究

機械翻訳に向けた自動評価システムは多くが WMT の metrics shared task のコーパスを用いて、訓練や評価性能の評価を行う。このワークショップ が他の評価タスクと異なる特徴的な点は、大量の 人手評価が機械翻訳文につけられているところ であり、提出された評価システムの良し悪しが、人手評価との相関の高さによって決められる。人手評価には 2 種類の手法が取り入れられており、 DA(Direct Assesment)[8] が WMT15-20 の翻訳結果に、 MQM(Multidimensional Quality Metrics)[9] が WMT20 の翻訳結果にアノテーションされている。DA は 0-100 の整数值で参照訳文に対して翻訳文の出来を 評価する手法で、高性能な翻訳システムの評価には 信頼性が欠けるとされている [10]。一方で MQM は 翻訳誤りの種類や程度を誤翻訳されている箇所にア ノテーションし、その誤りの種類や程度によって各翻訳文の評価スコアを決定する。

近年、WMT の評価タスクで人手評価と高い相関 を示した BLEURT[3]、C-SPEC[4]、COMET[5] など は、DA や文単位の MQM などの人手評価を学習に 際して必要とする。これらの評価モデルは訓練済

みの BERT モデルをエンコーダとして用いて、参照訳文やシステム訳文は文単位の分散表現に符号化し、線形層を通してスコアを出力する。この内、 C-SPEC と COMET は参照訳文に加えて原言語文も システム訳文の評価に使用することで評価性能を向上させるように設計されている。BLEURT も同様に 21 年度 WMT で提出されたモデルでは原言語文を扱 うように変更されている。

## 3 提案手法: C-SPECpn

提案手法の評価モデルは C-SPEC と同じモデル構造で、BERT 系モデルとして XLMRoBERTa[11]を使用する。対となる原言語文と参照訳文そしてシステ ム訳文が、システム訳文-原言語文、システム訳文-参照訳文の 2 つのペアとしてそれぞれ XLMRoBERTa に入力され、文対の分散表現 (ベクトル) に落とし 込む。次に得られた 2 つのベクトルを結合し、多層 パーセプトロンにより回帰の形で最終的な評価ス コアを出力する。訓練時は、WMT15-20で人手評価 として採用されているDAを標準化したものを教師データとし、平均二乗誤差 (MSE : Mean Squared Loss) によりモデルのパラメータをアップデート する。

具体的な評価モデルの訓練は次のような 4 ステッ プに分けて実行した。また、各評価ステップの始め では、多層パーセプトロンのパラメータをランダム に初期化しており、次の訓練ステップに引き継がれ るのは XLMRoBERTa のパラメータのみである。

訓練ステップ 1 WMT15-16の人手評価である DAコーパスで訓練を行う。この訓練ステップは、評価モデルの性能を安定させることを目的としてお り、WMT15-16 は機械翻訳の性能があまり高くない ので DA に含まれるノイズの影響が小さく、学習時
のMSE ロスが低くなりやすい。

訓練ステップ 2 WMT15-17、WMT18-20、WMT1520 の 3つのコーパスからいずれかの DA が付与され たデータで、再度評価モデルの追加訓練を行う。3 つのコーパスに条件を分けた理由は、2018 年度以降 の DA データはノイズを多く含むと、[3] にて述べら れており、ノイズを含む可能性のある 2018 以前と 以降で評価モデルの比較をするためである。

訓練ステップ 3 3つ目の訓練ステップでは、作成した負例コーパスで回帰ではなく分類問題として モデルの追加訓練をする。

訓練ステップ 4 WMT20 年度の MQM と呼ばれ る人手評価が付与された文単位のデータに対して追加訓練を行う。

## 3.1 単語の属性変換による負例コーパスの 作成

鏡映変換に基づく埋め込み空間上の単語属性変換 [12]を用いてデータ拡張を行った。この手法は、2 つの MLP のパラメータにより決定される、単語の 埋め込み空間中の鏡面により、単語の属性に関わる 前知識なしで、特定の属性を持つ単語を反対の意味 を持つ単語へ変換するものである。例えば、queen という単語の性別属性を反転させると king という 単語に変換することが可能である。また、ターゲッ トの属性を持たない単語の場合、その単語は変化せ ず、apple に対して性別属性で単語属性変換を適用 しても、apple が出力される。

そして、本研究では負例データの作成時に、性別 と対義関係の 2 つの属性で、名詞や動詞と辞書に登録された単語を逆の属性を持つ単語に変換する。単語の属性変換は、2つ目の訓練ステップで使用され たコーパス内の英語の参照訳文において、全ての文
中に含まれる単語について適用する。例を挙げる と、ある参照訳文 “It is our duty to remain at his sides", he said, to applause. に対して対義関係の属性変換を 実行すると、“It is our duty to change at his sides", he said, to whisper. という文が得られ、remain $\rightarrow$ change 、 applause $\rightarrow$ whisper と変換されている。そして、参照訳文中に一つもターゲットの属性を持つ単語が存在しない場合、その参照訳文は一切変化が加えられ ないため、負例コーパスから排除した。

## 3.2 負例コーパスでの追加訓練

作成した負例データには人手評価のスコアがつ いていないため、それまでの訓練ステップ $1 、 2$ と 同様な訓練を行うことができない。そこで本研究で は、 3 種類のシステム訳文の条件を設定し、分類問題として評価モデルの追加訓練を行う。それぞれの 条件における評価モデルの真の入力は以下の通りで あり、訓練時の評価モデルは、入力がこれらの内ど れに当てはまるのかを学習していく。

1. システム訳文-原言語文、システム訳文-参照訳文 (変化なし)

2. 参照訳文-原言語文、参照訳文-参照訳文 (参照訳文に置き換え)

3. 負例文-原言語文、負例文-参照訳文 (負例文に置き換え)

分類カテゴリ 2 では、 18 年度以降は高性能な翻訳シ ステムによる翻訳文が多く、システム訳文が正解に 近い場合でも、評価モデルが些細な違いを識別でき るように、正解訳文同士の入力ペアを導入した。ま た、分類問題の設定が簡単で分類の正解率が高く、訓練ステップ 2 のコーパスにおける過学習を防ぐた めに、各負例文は一度のみ学習に用いた。

## 4 WMT20 年度 MQM コーパスでの 実験

評価実験は WMT20 の文単位 MQM コーパスの 内、全体の 10\%で行われた。ただし、予め訓練に使用された DAコーパスと重複しないようにした。実験結果は、評価モデルのスコアと人手評価とのピア ソンの相関係数をまとめたものである。

## 4.1 実験結果

評価モデルごとの実験結果を表 2 に示す。C-SPEC と比べて、C-SPECpn の WMT15-17、WMT18-20で 訓練されたモデルの方がピアソンの相関係数が高くなった。そして、3つの訓練コーパスでは WMT18-20 で訓練されたモデルが最も高いピアソン の相関係数を記録した。一方で、WMT15-20 で訓練 された C-SPECpn は C-SPEC に及ばない結果となっ た。これは WMT15-20 がコーパスサイズが大きく、負例データも同様に大きくなるので、モデルが過学習をしてしまったのではないかと推察する。

## 4.2 人手評価の値域ごとのピアソンの相関係数

本研究の目的であった低品質なシステム訳文へ の提案手法の有効性を調べるために、 5 段階に人手評価のスコアを分け、それぞれの值域でピアソンの 相関係数を算出した。その結果を図 1 に示す。提案 モデルの C-SPECpn は、[-25,-20)、[-10,0)の区間に おいて C-SPEC よりも高い相関係数を記録した。こ のことから、作成した負例データによる追加訓練 は、深刻な誤りを含むシステム訳文や、軽度な誤り を含むシステム訳文に対して、評価モデルの頑健性 を高めることが示唆される。また、 21 年度の WMT metrics shared task[13] では、システム評価や文単位 の評価においてトップを争う結果を記録した。

## 5 WMT21 年度 challenge set での事例分析

これまでの実験結果に加えて、WMT21 年度の 評価用 challenge set タスクにおける C-SPECとCSPECpn の比較を事例分析により行った。 challenge set とは、特定の翻訳誤りに対して評価モデルの性能を比較するためのタスクで、文意の極性変換、誤 りを含む参照訳、また独英間の翻訳で発生する翻訳誤りを集めたものである [13]。

評価事例の一部を表 3 に示す。C-SPECpn は分類問題を追加で訓練しているので、C-SPEC とは出力 の値域が異なり、人手評価が公開されていないので 判断が難しいが、C-SPECpn は C-SPEC よりも原言語文との類似度が高そうなときにスコアが高くな る傾向があった。例文 1 は参照訳が誤っている例 で、参照訳文に the flooding という名詞が出現して いるが、原言語文では水という表現に留まってい る。このとき、システム訳文に対して、C-SPECpn は C-SPEC よりも高いスコアをつけている。また例文 2 は独英間の翻訳で起こる翻訳誤りの例で、原言語文の konntet が翻訳されずにそのままシステム訳文に出現しているが、C-SPECpn は C-SPEC よりも
表 2 WMT20 MQM コーパスでのピアソンの相関係数。C-SPEC は負例データなし、C-SPECpn は負例データありで学習 したモデル。en-de は英語からドイツ語、zh-en は中国語から英語へ翻訳されたデータ。avg は en-de、zh-en のピアソンの 相関係数の平均、all は2つの言語対をまとめてコーパス全体でのピアソンの相関係数を示している。

人手評価の値域と文量

$\neg$ C-SPEC $\oplus$ C-SPECpn $\_$BLEURT

図 1 人手評価の值域におけるピアソンの相関係数。值域の下にはその値域に含まれる文の数が記されている。C-SPEC、 C-SPECpn は共に WMT18-20 で訓練されたモデル、BLEURT は WMT15-19 で訓練された配布モデルを使用した。

高いスコアを出力している。

表 3 WMT21 challengeset での評価結果の例。

## 6 おわりに

本研究では、単語の属性変換を用いて疑似負例 データを作成し、疑似負例データで評価モデルを追加訓練することで、評価性能が一部向上すること を示した。また事例分析では、提案モデルである C-SPECpn は評価に際してより原言語文に重きを置 いた評価となることがわかった。

## 剆辞

本研究は JST さきがけ (JPMJPR1856) の支援を受 けたものである。また全ての実験は JST さきがけの 支援の元で理研の miniRAIDEN を用いて行われた。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. As-
sociation for Computational Linguistics.

[2] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[3] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning robust metrics for text generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7881-7892, Online, July 2020. Association for Computational Linguistics.

[4] Kosuke Takahashi, Katsuhito Sudoh, and Satoshi Nakamura. Automatic machine translation evaluation using source language inputs and cross-lingual language model. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3553-3558, Online, July 2020. Association for Computational Linguistics.

[5] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. COMET: A neural framework for MT evaluation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2685-2702, Online, November 2020. Association for Computational Linguistics.

[6] Sudoh Katsuhito, Takahashi Kosuke, and Nakamura Satoshi. Is this translation error critical?: Classificationbased human and automatic machine translation evaluation focusing on critical errors. In Proceedings of the Workshop on Human Evaluation of NLP Systems (HumEval), pp. 4655, Online, April 2021. Association for Computational Linguistics.

[7] 石橋陽一, 須藤克仁, 中村哲. 単語属性変換による自然言語推論データの拡張. 言語処理学会第 26 回年次大会発表論文集, 2021.

[8] Yvette Graham, Timothy Baldwin, and Nitika Mathur. Accurate Evaluation of Segment-level Machine Translation Metrics. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1183-1191, Denver, Colorado, May-June 2015. Association for Computational Linguistics.

[9] Arle Lommel, Hans. Uszkoreit, and Aljoscha Burchardt. Multidimensional Quality Metrics (MQM) : A Framework for Declaring and Describing Translation Quality Metrics. Tradumàtica, No. 12, pp. 455-463, 2014.

[10] Markus Freitag, George Foster, David Grangier, Viresh Ratnakar, Qijun Tan, and Wolfgang Macherey. Experts, errors, and context: A large-scale study of human evaluation for machine translation, 2021.

[11] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[12] Yoichi Ishibashi, Katsuhito Sudoh, Koichiro Yoshino, and Satoshi Nakamura. Reflection-based word attribute transfer. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research
Workshop, pp. 51-58, Online, July 2020. Association for Computational Linguistics.

[13] Markus Freitag, Ricardo Rei, Nitika Mathur, Chi-kiu Lo, Craig Stewart, George Foster, Alon Lavie, and Ondřej Bojar. Results of the WMT21 metrics shared task: Evaluating metrics with expert-based human evaluations on TED and news domain. In Proceedings of the Sixth Conference on Machine Translation, pp. 733-774, Online, November 2021. Association for Computational Linguistics.


# QENTS：テキスト平易化の品質推定のためのデータセット

廣中勇希 ${ }^{\dagger}$ 井川朋樹 梶原智之ま 二宮崇
$\dagger$ 愛媛大学工学部情報工学科 $¥$ 愛媛大学大学院理工学研究科
\{hironaka, ikawa\}@ai.cs.ehime-u.ac.jp \{kajiwara, ninomiya\}@cs.ehime-u.ac.jp

## 概要

本研究では，テキスト平易化の品質推定のための 英語データセットを構築し，公開した. 本タスクに おける既存のデータセットには，数百文と小規模で あり，また現在主流である深層学習に基づくテキ スト平易化モデルを対象としていないという課題 があった. 我々は，深層学習に基づく手法を含む 9 種類の代表的なテキスト平易化モデルを対象に， 10,770 文に対して文法性 - 同義性 - 平易性 - 総合評価の人手評価を行い，これらの課題を解決した。

## 1 はじめに

テキスト平易化 [1] は，意味を保持したまま難解 な文法的表現や語句を平易に変換するタスクであ る. 自動的な文の平易化システムは，子どもや語学学習者などの学習支援や読解支援に貢献する。

テキスト平易化モデルの品質は, 文法性・同義性・平易性の観点からの人手評価や参照文に基づく SARI [2] などの自動評価によって評価されている. しかし，前者にはコストや再現性の課題があり，後者には人手評価との相関が低いという課題がある. また，実世界においてテキスト平易化モデルが使用 される際には使用者は参照文を持っていない場合が 多く，SARI などの参照文に基づく自動評価は活用 できない。このような背景から，参照文を用いない テキスト平易化の品質推定 [3-5] が研究されている.

2016 年に開催された Shared Task on Quality Assessment for Text Simplification (QATS) [3] では，テキスト 平易化の品質推定のためのデータセットが構築され た. QATS データセットでは，631 文の英語文とそ れに対応する平易化モデル [6-10] の出力文に対し $\tau$, 文法性 - 同義性 - 平易性 - 総合評価の 4 観点か ら $\mathrm{Good} \cdot \mathrm{OK} ・ \mathrm{Bad}$ の 3 段階の人手評価が付与され ている. テキスト平易化の品質推定に関する以降の 研究 $[4,5]$ では QATS データセットが用いられてい
るものの，小規模である点および現在主流となって いる深層学習に基づくテキスト平易化モデルが対象 となっていない点の 2 点から, QATS データセット は近年のテキスト平易化モデルのための品質推定に は適していないと考えられる。

本研究では，これらの課題を解決するテキ スト平易化の品質推定のための新たなデータ セット QENTS $^{1)}$ (Quality Estimation for Neural Text Simplification) を構築し， BERT [11] による品質推定 のベンチマークを行う．本データセットは，深層学習に基づく手法を含む 9 種類のテキスト平易化モデ ルを対象に，10,770 文対の英語文とシステム出力文 について, 文法性・同義性・平易性・総合評価の 4 観点から 4 段階で人手評価値を付与したものである.

## 2 関連研究

難解な英文と平易な英文の文対 [12]を用いて，系列変換タスクとしてのテキスト平易化の研究が行 われている。2010 年から 2016 年ごろまで，フレー ズベース統計的機械翻訳 [13] に基づくテキスト 平易化 [7,14-16] が研究された. ニューラル機械翻訳 [17] の成功を受け，2017 年から深層学習に基づ くテキスト平易化 [18-20] が研究されている. 近年 は，Transformer [21] に基づくテキスト平易化 [22,23] が主流となっている. QATS データセット [3] では, フレーズベース統計的機械翻訳に基づく初期のテキ スト平易化モデル [7] を対象に人手評価を実施して いるため，深層学習に基づく近年のテキスト平易化 モデルの品質推定には適していないと考えられる。本研究では，深層学習に基づく手法を含む代表的な テキスト平易化モデルを対象に人手評価を行い，大規模な品質推定のデータセット（表 1）を構築する.品質推定の先行研究としては, QATS データセッ ト [3] を用いて，サポートベクトルマシンやリッジ 回帰などの機械学習に基づくテキスト平易化の品質

推定モデルが訓練されている．Kajiwara and Fujita [4] は，単語分散表現 [24] に基づく素性抽出を行い， $\mathrm{Good} \cdot \mathrm{OK} \cdot \mathrm{Bad}$ の 3 クラス分類としての品質推定を 行った. Martin et al. [5] は，BLEU [25] などの機械翻訳の評価指標や FKGL [26] などのリーダビリティ指標に基づく素性抽出を行い，回帰モデルとしての品質推定を行った. 本研究では, QENTS データセッ トのベンチマークとして, 先行研究 [5] の適用に加 えて，深層学習に基づく強力なベースラインである BERT [11] による回帰モデルの性能を調査する.

## 3 データセットの構築

## 3.1 対象とするテキスト平易化モデル

本研究では，2 節で紹介した代表的なテキスト平易化モデルのうち，以下の 9 種類を用いて品質推定 のためのデータセットを構築する.

フレーズベース統計的機械翻訳（PBMT）に基づ く手法のうち，PBMT-R [15] および Hybrid [16] の 2 モデルを用いる. PBMT-R は，PBMT モデルの出力 を入力文との非類似度によってリランキングする手法である. Hybrid は，文分割などの前処理を行った 後に PBMT モデルによる平易化を行う手法である.

RNN ベースのニューラル機械翻訳に基づく手法 のうち, EncDecA [18]$\cdot$DRESS [18] $\cdot$ S2S-All-FA [19]$\cdot$ EditNTS [20]の 4 モデルを用いる. EncDecA は，注意機構によるニューラル機械翻訳モデル [17] に基 づく手法である. DRESS は, EncDecA モデルを強化学習によって再訓練する手法である. S2S-All-FA は, EncDecA モデルの出力を単語難易度によってリ ランキングする手法である. EditNTS は，単語の追加・削除・保持の明示的な編集操作を RNNによっ て推定する編集べースの手法である。

Transformer ベースのニューラル機械翻訳に基 づく手法のうち， Transformer [23]$\cdot$DMASS [22]$\cdot$ BERT [23] の 3 モデルを用いる. Transformer は，自己注意機構によるニューラル機械翻訳モデル [21] に 基づく手法である．DMASS は，Transformer モデル
に言い換え知識 [27]を統合した手法である．BERT は， Transformer モデルの符号化器として事前訓練さ れた BERT [11]を用いる手法である.

全てのモデルは Newsela コーパス [12]を用いて訓練されている. PBMT-R・Hybrid ・ EncDecA・DRESS の 4 モデルは, Zhang and Lapata [18] によって公開2)されている出力文を用いた. S2S-All-FA および DMASS は, Kriz et al. [19]によって公開3)されている 出力文を用いた. EditNTS は, Dong et al. [20] によっ て公開4)されている出力文を用いた. Transformer お よび BERT は， Jiang et al. [23] によって公開5)されて いる出力文を用いた.

## 3.2 人手評価のアノテーション

Newsela コーパス $[12,18]$ の評価用データ 1,077 文 に対応する，3.1 節で述べた 9 種類のテキスト平易化 モデルによる出力文および参照文の合計 10,770 文に ついて，文法性・同義性・平易性・総合評価の 4 観点の人手評価を行う．以降では，Newselaコーパス に含まれる入力文を難解文，テキスト平易化モデル による出力文および Newsela コーパスに含まれる参照文を平易文と表記する．以下に評価基準を示す。

文法性 平易文の文法的な正しさを評価する。 $\mathrm{Xu}$ et al. [2] の人手評価の基準（4. 文法的である， 3. 1-2 件の文法誤りを含む，2. 複数件の文法誤りを含 む，1. 文法的ではない）に従って 4 段階評価した.

同義性 難解文と平易文の間の意味的な等価性を 評価する. Xu et al. [2] の人手評価の基準（4. 同一, 3. わずかに異なる，2. 異なる，1. 大幅に異なる）に 従って 4 段階評価した.

平易性 難解文と比較した際の平易文の理解しや すさを評価する．文法性や同義性と同様に，4 段階 （4. 理解しやすい，3. わずかに理解しやすい，2. 変化なし，1. 理解しにくい）で評価した.

表 2 Quadratic Weighted Kappa によるアノテーションの一致率

総合評価 文法性・同義性・平易性の 3 つの評価 を踏まえて，4段階で総合評価を行った.

クラウドソーシングの Amazon Mechanical Turk ${ }^{6)}$ を用いて，評価者を雇用した. データセットの品質 を担保するために，US 在住者のうち，質の高い回答を行う Master 資格を保有し，過去のタスク承認率 が $95 \%$ 以上の評価者を採用した. また， 10 文× 3 モ デル（PBMT-R・DRESS・参照文）の小規模な予備ア ノテーションを実施し, 10 人の評価者候補のうち外 れ値となる 2 人を除外した. 残りの 8 人の評価者候補の中から 1 人の評価者を選び， 10,770 文の全体の アノテーションを依頼した. なお，評価者には時給 7.5USD と見積もり合計 700USD の報酬を支払った.

## 3.3 アノテーションの信頼性評価

3.2 節の人手評価は 1 人の評価者（評価者 A）が 行ったため, 本節ではアノテーションの信頼性を評価する。同じくAmazon Mechanical Turkを用いて， 3.2 節の条件を満たす評価者を新たに 3 名（評価者 $\mathrm{BCD}$ ）雇用し, QENTS データセットの一部（10 文 × 10 モデル）へのアノテーションを追加で行った. そして, Quadratic Weighted Kappaを用いて, 評価者間のアノテーションの一致率を計算した。

表 2 に評価者間の一致率を示す. 文法性・同犠牲・平易性においては， $K>0.6$ の substantial agreement を確認できた. 総合評価については $0.4<K<0.6$ の moderate agreement も含まれるが，4つの観点をまと めた全体の一致率としては全評価者間で substantial agreementが得られた. この結果から, テキスト平易化の人手評価は評価者間の摇れが少なく, 3.2 節の アノテーションも充分に一般的な評価だと言える.

## 4 アノテーション結果の分析

## 4.1 テキスト平易化モデルの品質

表 3 に，各テキスト平易化モデルの人手評価およ び自動評価の結果を示す. 自動評価には，テキス 卜平易化の研究においてよく使用される SARI [2]・
BLEU [25]・FKGL [26] を用いる．また，変換の非積極性を表す selfBLEU（大出力間の BLEU）も用いる.初期のモデル（PBMT-R および EncDecA）は selfBLEU が高く, 入力文の大部分を出力文にコピー している。これらは同義性が高いものの, 平易性が 低くFKGLが高いため, 平易な出力とは言えない.

対照的に，近年の RNN ベースのモデル（S2S-AllFA および EditNTS）は，同義性は低いものの，平易性が高くFKGL が低いため, 平易な出力を行ってい る.これらは参照文と似た傾向であると言える。

高度な訓練を行ったモデル（強化学習の DRESS および転移学習の BERT）は, 最も高品質なモデル であると言える.これらは文法性が高く, 参照文と 同程度の同義性を持ちつつ, 平易性も比較的高い.

## 4.2 自動評価と人手評価の相関

表 4 に，自動評価と人手評価の間のピアソン相関係数を示す.テキスト平易化の自動評価に最もよく 用いられる SARI は，平易性との正の相関を持つも のの, 文法性とは無相関であり, 同義性および総合評価とは負の相関を持つことが明らかになった. SARI は消極的な変換にペナルティを与えるため，同義性の人手評価とは対照的な挙動が見られた.

テキスト平易化の自動評価の文脈では否定的に 語られることの多い BLEU は，本研究においては 全ての人手評価の項目において正の相関が見ら れた。これは, BLEUと人手評価の相関が低いと 報告している先行研究 $[2,28]$ が Simple Wikipedia に 基づくデータセットを用いている一方で, 本研究は Newsela を用いていることが要因と考えられ る. Simple Wikipedia が平易に記述されていないこ とは先行研究 [12] でも指摘されており, Zhang and Lapata [18] の人手評価においても, Simple Wikipedia の参照文は低い平易性と高い同義性を持ち, Newsela の参照文は高い平易性と低い同義性を持つことが報告されている. Newsela のような平易な参照文に対 しては，BLEUによる自動評価が人手評価との良い 相関を持つと言える.

6) https://www.mturk.com/
表 3 テキスト平易化モデルの人手評価と自動評価の結果

表 4 自動評価と人手評価のピアソン相関係数

## 5 品質推定の実験

本研究で構築した QENTS データセットを用いて， テキスト平易化モデルの文単位の品質推定を行う。

## 5.1 実験設定

データセットは，8,770 件（877 文× 10 モデル）の 訓練用データ， 1,000 件（100 文× 10 モデル）ずつの 検証用データおよび評価用データに分割して実験し た. 本実験では，文法性・同義性・平易性・総合評価の項目ごとに回帰モデルを訓練した. 品質推定モ デルの性能は，モデルが推定した評価値と人手評価値の間のピアソン相関係数を用いて自動評価した。

ベンチマークとして，既存の品質推定モデル （Martin-2018） [5] と BERT [11] による品質推定モ デルの性能を比較した. Martin-2018 モデルは, EASSE$^{7}$ [29] を用いて実装した. BERT モデルは， HuggingFace Transformers ${ }^{8}$ [30]を用いて実装した. バッチサイズは 32 , 学習率は $5 \mathrm{e}-5$, 最適化手法は Adam を用いて，30 エポックの訓練を行った。

7) https://github.com/feralvam/easse

8) https://huggingface.co/bert-base-uncased表 5 品質推定の実験結果（ピアソン相関係数）

## 5.2 実験結果

実験結果を表 5 に示す. 文法性・同義性・平易性・総合評価の全項目において，BERT による品質推定モデルが先行研究 [5] の性能を大幅に上回った.

## 6 おわりに

本研究では，現在主流の深層学習に基づくテキス ト平易化モデルの品質推定を実現するために，品質推定モデルを訓練および評価するための大規模な データセットを構築した．深層学習モデルを含む 9 種類のテキスト平易化モデルの出力文および人手で 平易化された参照文を対象に，10,770 文に対して，文法性・同義性・平易性・総合評価の 4 つの観点か ら 4 段階の人手評価を行った.

既存のデータセットは 631 文と小規模なため，テ キスト平易化の品質推定には深層学習に基づくモデ ルを適用することが難しかった．本研究では，約 17 倍の規模にデータセットを拡大できたため，深層学習に基づく品質推定モデルを訓練可能になった。

本研究の副産物として，自動評価と人手評価の相関分析から，Newsela のような平易な参照文を使用 できる場合には，BLEU による自動評価が人手評価 との良い相関を持つという知見が得られた。

## 謝辞

本研究は JSPS 科研費（若手研究，課題番号： JP20K19861）の助成を受けたものです.

## 参考文献

[1] Fernando Alva-Manchego, Carolina Scarton, and Lucia Specia. Data-Driven Sentence Simplification: Survey and Benchmark. Computational Linguistics, Vol. 46, No. 1, pp. 135-187, 2020.

[2] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing Statistical Machine Translation for Text Simplification. TACL, Vol. 4, pp. 401$415,2016$.

[3] Sanja Stajner, Maja Popovic, Horacio Saggion, Lucia Specia, and Mark Fishel. Shared Task on Quality Assessment for Text Simplification. In Proc. of QATS, pp. 22-31, 2016

[4] Tomoyuki Kajiwara and Atsushi Fujita. Semantic Features Based on Word Alignments for Estimating Quality of Text Simplification. In Proc. of IJCNLP, pp. 109-115, 2017.

[5] Louis Martin, Samuel Humeau, Pierre-Emmanuel Mazaré, Éric de La Clergerie, Antoine Bordes, and Benoît Sagot. Reference-less Quality Estimation of Text Simplification Systems. In Proc. of ATA, pp. 29-38, 2018.

[6] Goran Glavaš and Sanja Štajner. Event-Centered Simplification of News Stories. In Proc. of RANLP Student Research Workshop, pp. 71-78, 2013.

[7] Sanja Štajner, Hannah Béchara, and Horacio Saggion. A Deeper Exploration of the Standard PB-SMT Approach to Text Simplification and its Evaluation. In Proc. of ACLIJCNLP, pp. 823-828, 2015.

[8] Or Biran, Samuel Brody, and Noémie Elhadad. Putting it Simply: a Context-Aware Approach to Lexical Simplification. In Proc. of ACL, pp. 496-501, 2011

[9] Colby Horn, Cathryn Manduca, and David Kauchak. Learning a Lexical Simplifier Using Wikipedia. In Proc. of ACL, pp. 458-463, 2014.

[10] Goran Glavaš and Sanja Štajner. Simplifying Lexical Simplification: Do We Need Simplified Corpora? In Proc. of ACL-IJCNLP, pp. 63-68, 2015.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proc. of NAACL, pp. 4171-4186, 2019.

[12] Wei Xu, Chris Callison-Burch, and Courtney Napoles. Problems in Current Text Simplification Research: New Data Can Help. TACL, Vol. 3, pp. 283-297, 2015.

[13] Philipp Koehn, Franz J. Och, and Daniel Marcu. Statistical Phrase-Based Translation. In Proc. of NAACL, pp. 127133, 2003.

[14] Lucia Specia. Translating from Complex to Simplified Sentences. In Proc. of PROPOR, pp. 30-39, 2010.

[15] Sander Wubben, Antal van den Bosch, and Emiel Krahmer. Sentence Simplification by Monolingual Machine Translation. In Proc. of ACL, pp. 1015-1024, 2012.

[16] Shashi Narayan and Claire Gardent. Hybrid Simplification using Deep Semantics and Machine Translation. In Proc. of ACL, pp. 435-445, 2014.

[17] Thang Luong, Hieu Pham, and Christopher D. Manning. Effective Approaches to Attention-based Neural Machine Translation. In Proc. of EMNLP, pp. 1412-1421, 2015.

[18] Xingxing Zhang and Mirella Lapata. Sentence Simplification with Deep Reinforcement Learning. In Proc. of EMNLP, pp. 584-594, 2017.

[19] Reno Kriz, João Sedoc, Marianna Apidianaki, Carolina Zheng, Gaurav Kumar, Eleni Miltsakaki, and Chris Callison-Burch. Complexity-Weighted Loss and Diverse Reranking for Sentence Simplification. In Proc. of NAACL, pp. 3137-3147, 2019.

[20] Yue Dong, Zichao Li, Mehdi Rezagholizadeh, and Jackie Chi Kit Cheung. EditNTS: An Neural ProgrammerInterpreter Model for Sentence Simplification through Explicit Editing. In Proc. of ACL, pp. 3393-3402, 2019.

[21] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Proc. of NIPS, pp. 5998-6008, 2017

[22] Sanqiang Zhao, Rui Meng, Daqing He, Andi Saptono, and Bambang Parmanto. Integrating Transformer and Paraphrase Rules for Sentence Simplification. In Proc. of EMNLP, pp. 3164-3173, 2018.

[23] Chao Jiang, Mounica Maddela, Wuwei Lan, Yang Zhong, and Wei Xu. Neural CRF Model for Sentence Alignment in Text Simplification. In Proc. of ACL, pp. 7943-7960, 2020.

[24] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient Estimation of Word Representations in Vector Space. In Proc. of ICLR, 2013.

[25] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: a Method for Automatic Evaluation of Machine Translation. In Proc. of ACL, pp. 311-318, 2002.

[26] J. Peter Kincaid, Robert P. Fishburne Jr., Richard L. Rogers, and Brad S. Chissom. Derivation of New Readability Formulas (Automated Readability Index, Fog Count and Flesch Reading Ease Formula) for Navy Enlisted Personnel. Technical report, DTIC Document, 1975.

[27] Ellie Pavlick and Chris Callison-Burch. Simple PPDB: A Paraphrase Database for Simplification. In Proc. of ACL, pp. 143-148, 2016.

[28] Elior Sulem, Omri Abend, and Ari Rappoport. BLEU is Not Suitable for the Evaluation of Text Simplification. In Proc. of EMNLP, pp. 738-744, 2018.

[29] Fernando Alva-Manchego, Louis Martin, Carolina Scarton, and Lucia Specia. EASSE: Easier Automatic Sentence Simplification Evaluation. In Proc. of EMNLP, pp. 49-54, 2019.

[30] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-Art Natural Language Processing. In Proc. of EMNLP, pp. 38-45, 2020.


# 多言語文符号化器の言語表現と意味表現の分離に基づく 機械翻訳の品質推定

黒田勇斗 ${ }^{1}$ 梶原 智之 ${ }^{2}$ 荒瀬 由紀 ${ }^{3}$ 二宮崇 ${ }^{2}$
1 愛媛大学工学部 2 愛媛大学大学院理工学研究科 ${ }^{3}$ 大阪大学大学院情報科学研究科
kuroda@ai.cs.ehime-u.ac.jp kajiwara@cs.ehime-u.ac.jp
arase@ist.osaka-u.ac.jp ninomiya@cs.ehime-u.ac.jp

## 概要

本研究では，多言語文符号化器に基づく文表現か ら言語固有の情報を取り除き，言語非依存な意味表現を抽出する。機械翻訳の品質推定における教師な し設定での実験の結果，提案手法は既存の多言語文符号化器に基づく手法を上回る性能を達成した。他 のアプローチと比較しても，提案手法は少資源言語対において人手評価に対する最も高い相関を得た.

## 1 はじめに

機械翻訳の研究開発の場では BLEU [1] などの参照訳に基づく自動評価が行われているものの，実世界における機械翻訳の使用者は参照訳を事前に用意 できない場合が多い，本研究では，機械翻訳の実世界での利用を進める上で重要な，参照訳を用いない 生成文の自動評価（品質推定）[2] に取り組む.

機械翻訳に関する国際会議 WMT における品質推定タスク [3] を中心に，多言語 BERT（mBERT） [4] や XLM-RoBERTa（XLM-R） [5] などの事前訓練さ れた多言語文符号化器に基づく教師あり品質推定モ デル [6-8] が提案されてきた. しかし，これらの教師あり品質推定モデルは，再訓練に「原言語文・目的言語文・人手評価値」の 3 つ組を必要とする.こ のようなデータセットの作成は, 原言語と目的言語 の両方に精通したアノテータが必要となるため, 非常にコストが高い. そのため, 教師あり品質推定モ デルは，わずかな言語対でしか構築できない.

人手評価値を用いず対訳コーパスのみで訓練する 教師なし品質推定 [9] では, 多言語文符号化器の言語特異性が問題となる。つまり, 多言語文符号化器 から得られる文のべクトル表現は，意味よりも言語 の影響を強く受けており，再訓練なしでは言語を超 えての文間の意味的類似度を正確に推定できない。
この課題に対して先行研究の DREAM [9] では，正例としての対訳コーパスおよび擬似的な負例を用い $\tau$, 多言語文符号化器から得られる文のベクトル表現を言語固有の言語表現と言語非依存の意味表現に 分離した. DREAM の意味表現は教師なし品質推定 タスクにおいて人手評価との高い相関を達成した が，意味表現に言語固有の情報が含まれないことは 保証されていない。

本研究では，意味表現に言語固有の情報が含まれ ないことを保証するための敵対的学習を用いて，多言語文符号化器から得られる文のベクトル表現を意味表現と言語表現に分離する。提案手法は訓練時に 負例を必要としないため，先行研究よりも単純な構造で訓練できるという利点を持つ. WMT20 の品質推定タスク [3] における実験の結果，提案手法は既存の多言語文符号化器に基づく教師なし品質推定手法よりも高い人手評価との相関を達成した. また，復号器を用いる他のアプローチと比較しても，提案手法は少資源言語対において最高性能を更新した。

## 2 提案手法

図 1 に示すように，本研究では $\mathrm{MLP}_{L}$ および $\mathrm{MLP}_{M}$ の 2 つの多層パーセプトロンからなる自己符号化器を用いて，多言語文符号化器から得た文のべ クトル表現を言語固有の言語表現と言語非依存の 意味表現に分離する. $\mathrm{MLP}_{L}$ は言語表現を抽出し， $\mathrm{MLP}_{M}$ は意味表現を抽出するものである．言語表現 と意味表現を足し合わせることで，文のベクトル表現が復元される. 提案手法では，これらの多層パー セプトロンを，以下の 4 つの損失関数に基づく多言語のマルチタスク学習によって訓練する。

$
L=L_{R}+L_{C}+L_{L}+L_{A}
$

図 1 提案手法の概要

## 2.1 復元損失 $L_{R$}

復元損失は我々の自己符号化器を学習するための 基本的な損失関数であり, 意味表現 $\hat{\boldsymbol{e}}_{M} \in \mathbb{R}^{d}$ と言語表現 $\hat{\boldsymbol{e}}_{L} \in \mathbb{R}^{d}$ から文表現 $\boldsymbol{e} \in \mathbb{R}^{d}$ を復元できること を表している。ただし， $d$ は文表現の次元数である。以下のように復元損失を定義 ${ }^{1)}$ する。

$
L_{R}=1-\cos \left(\boldsymbol{e},\left(\hat{\boldsymbol{e}}_{M}+\hat{\boldsymbol{e}}_{L}\right)\right),
$

ここで， $\hat{\boldsymbol{e}}_{M}$ と $\hat{\boldsymbol{e}}_{L}$ は，それぞれ $\mathrm{MLP}_{M}(\cdot)$ と $\mathrm{MLP}_{L}(\cdot)$ によって抽出された意味表現と言語表現である.

$
\begin{aligned}
\hat{\boldsymbol{e}}_{M} & =\operatorname{MLP}_{M}(\boldsymbol{e}) \\
\hat{\boldsymbol{e}}_{L} & =\operatorname{MLP}_{L}(\boldsymbol{e})
\end{aligned}
$

## 2.2 交差復元損失 $L_{C$}

対訳文の原言語文 $s$ と目的言語文 $t$ は意味的に等価である。そこで，対訳文において意味表現同士を 置換できることを保証するために，交差復元損失を 用いる。これは，原言語の言語表現 $\hat{s}_{L}$ と目的言語 の意味表現 $\hat{t}_{M}$ から原言語の文表現 $s$ を復元でき，同様に目的言語の言語表現 $\hat{t}_{L}$ と原言語の意味表現 $\hat{s}_{M}$ から目的言語の文表現 $\boldsymbol{t}$ を復元できることを表 している. 以下のように交差復元損失を定義する.

$
L_{C}=2-\cos \left(\boldsymbol{s},\left(\hat{\boldsymbol{s}}_{L}+\hat{\boldsymbol{t}}_{M}\right)\right)-\cos \left(\boldsymbol{t},\left(\hat{\boldsymbol{s}}_{M}+\hat{\boldsymbol{t}}_{L}\right)\right) .
$

## 2.3 言語表現損失 $L_{L$}

対訳文の原言語文 $s$ と目的言語文 $t$ は異なる言語 の文である。そこで，対訳文において言語表現同士

1） 余弦類似度はベクトルの方向のみを考慮するため, 本手法 は厳密にはベクトルの復元を評価していない。しかし，先行研究 [9] で用いられた平均二乗誤差よりも高い性能が得られ るため，本手法を採用した．詳しい検証は今後の課題である.
が類似しないことを保証するために，言語表現損失 を用いる。以下のように言語表現損失を定義する。

$
L_{L}=\max \left(0, \cos \left(\hat{s}_{L}, \hat{t}_{L}\right)\right)
$

## 2.4 敵対的損失 $L_{A$}

本研究では，多言語文符号化器から得られる文表現を言語表現と意味表現に分離することによって，言語非依存の意味的類似度推定を実現したい. そこ で，意味表現に言語固有の情報が含まれないことを 保証するために，敵対的損失を用いる。これは，意味表現 $\hat{\boldsymbol{e}}_{M}$ から入力文の言語を識別できないことを 表している.

敵対的訓練として言語を識別するため，新たに多層パーセプトロン $\mathrm{MLP}_{D}$ を用意する．以下のように 意味表現から言語を識別する $N$ クラス分類を行う.

$
\hat{\boldsymbol{y}}=\operatorname{softmax}\left(\operatorname{MLP}_{D}\left(\hat{\boldsymbol{e}}_{M}\right)\right),
$

ここで， $\operatorname{softmax}(\cdot)$ は softmax 関数を表す. $\operatorname{MLP}_{D}$ は，以下のように多クラス交差エントロピー損失を 用いて訓練する。

$
L_{D}=-\sum_{j} \boldsymbol{y}_{j} \log \hat{\boldsymbol{y}}_{j}
$

ここで，式 (8) は $\mathrm{MLP}_{D}$ を訓練するための損失関数であり, $\mathrm{MLP}_{M}$ および $\mathrm{MLP}_{L}$ を訓練するための 式 (1)には含まれないことに注意されたい.

この敵対的モデルに対して，本研究では意味表現 から言語を識別できないことを目指すため，言語識別における $\hat{\boldsymbol{y}}$ の分布を一様分布に近づける．以下の ように敵対的損失を定義する.

$
L_{A}=-\sum_{j} \frac{1}{N} \log \hat{\boldsymbol{y}}_{j}
$

ここで， $N$ は訓練用データに含まれる言語の種類数 である．言語の識別に関しては，意味表現から言語

を識別可能にする式 (8) の訓練と, 意味表現から言語を識別不可能にする式 (9) の訓練の両方によって，敵対的な訓練を行う。

## 3 評価実験

WMT20 の品質推定タスク [3] において提案手法 の性能を評価する。提案手法では，原言語文および 機械翻訳による出力文（目的言語文）を多言語文符号化器によって文表現に変換し，それぞれの意味表現を抽出する．品質推定には，意味表現間の余弦類似度を用いる。公式の評価方法に従い，モデルが推定した翻訳品質と人手評価値の間のピアソン相関に よって性能評価を行う.

## 3.1 実験設定

データセット WMT20の品質推定タスクには, 6 つの言語対 ${ }^{2}$ が含まれる. 英語からドイツ語 （en-de）および英語から中国語（en-zh）の多資源言語対，ルーマニア語から英語 (ro-en) およびエス トニア語から英語（et-en）の中資源言語対，ネパー ル語から英語 (ne-en) およびシンハラ語から英語 （si-en）の少資源言語対である. 各言語対において, 1,000 文対の原文および機械翻訳の出力文と, 人手評価値の組が提供されている. 評価対象の機械翻訳 は， fairseqツールキット ${ }^{3)}[10]$ を用いて訓練された Transformer モデル [11] である.

我々のモデルの訓練には，WMT20 の品質推定夕 スクで利用可能な対訳コーパスの一部4)を使用し た. 多資源言語対は 100 万文対ずつ，中資源言語対 は 20 万文対ずつ，少資源言語対は 5 万文対ずつの 対訳コーパスを用いて訓練した。

モデル 本研究では, 全ての $\operatorname{MLP}\left(\mathrm{MLP}_{M}, \mathrm{MLP}_{L}\right.$, $\mathrm{MLP}_{D}$ ) に 1 層のフィードフォワードニューラル ネットワークを用いた. 文表現を得るための多言語文符号化器には, 先行研究 [9] において品質推定の 性能が最高であった $\mathrm{LaBSE}^{5}$ [12]を用いた. 文表現 には，LaBSEの [CLS]トークンに対応する最終層の 出力を用いた。なお，対訳コーパスを使用して訓練 するのは MLP のみであり，LaBSE は再訓練しない.

我々のモデルは，バッチサイズを 512 ，最適化手法を Adam [13], 学習率を $1 e-5$ として HuggingFace

Transformers [14]を用いて訓練した．検証用データ における式 (1)の損失が 10 エポック改善しない場合 に訓練を終了した．検証用データは，訓練用データ から $10 \%$ を無作為抽出して作成した.

比較手法 本実験では，教師なし品質推定の既存手法と提案手法を比較する. LaBSE [12] のベース ラインは，提案手法による意味表現の抽出を行う 前の文表現を用いて品質推定を行う．LaBSE から 意味表現を抽出する先行研究として, DREAM ${ }^{6)}$ [9] と比較する. その他の多言語文符号化器による品質推定として, $\operatorname{LASER}^{7)}[15,16] \cdot \mathrm{mSBERT}^{8)}$ [17] $\cdot$ BERTScore $^{9)}[18] の 3$ 手法と比較する. なお, 各モ デルの事前訓練の設定に従い，LASER では双方向 LSTM の最終層の最大プーリング, mSBERT では最終層の平均プーリングを，それぞれ文表現として用 いた. BERTScore には，最高性能が報告されている xlm-roberta-large モデルを使用した.

また，参考のために，系列変換モデルに基づ く教師なし品質推定手法である D-TP [19] および Prism$^{10)}$ [20], WMT20 の品質推定タスクでベースラ インとして採用されている教師あり品質推定手法で ある Predictor-Estimator ${ }^{11)}[22]$ とも比較する.

## 3.2 実験結果

表 1 に実験結果を示す. 上段には，LaBSE ベース ラインおよび LaBSE から抽出した意味表現による 品質推定の結果を示している. まず，LaBSE と提案手法を比較すると，提案手法によって全ての言語対 において性能が向上しており, 本研究での意味表現 の抽出が有効であることがわかる．また，DREAM との比較においても，全ての言語対において改善が 見られるため，提案手法によってより良い意味表現 を抽出できていると考えられる。

表 1 の中段には，多言語文符号化器による教師な し品質推定の比較手法の性能を示している. これら と比較して，提案手法は少資源言語対を中心に優れ た結果を示しており，6 言語対の平均值としては人手評価との最も高い相関を達成している.

表 1 の下段には，他のアプローチによる品質推定

表 1 WMT20 品質推定タスクにおける人手評価とのピアソン相関係数

の性能を示している. 全言語対において，提案手法は教師ありベースラインである Predictor-Estimator の性能を上回った. 多言語文符号化器に基づく教師 なし品質推定手法（上段および中段）の中で，全て の言語対において教師ありベースラインを上回るの は提案手法のみであり，提案手法の有効性が明らか になった. また，教師なし品質推定手法である D-TP および Prism と比較して，少資源言語対においては 提案手法が優れた性能を示しており，提案手法は少資源言語対における教師なし品質推定の最高性能を 更新した.なお，D-TP は評価対象の機械翻訳の内部状態にアクセスする必要があり, Prism は大規模な 対訳コーパスを用いて訓練する必要があるため，才 ンライン機械翻訳サービスなどのブラックボックス 機械翻訳の品質推定や少資源言語対における品質推定において，提案手法は特に有効であると言える。

## 3.3 アブレーション分析

提案手法で用いている式 (1)の 4 種類の損失関数 の影響を考察するために，同じく WMT20 の品質推定タスクにおいてアブレーション分析を行った．表 2 に分析結果を示す. なお，表 2 の上段では基本と なる復元損失 $L_{R}$ とその他の 1 種類の損失を組み合 わせた際の性能を，下段では 1 種類ずつの損失を取 り除いた際の性能を，それぞれ示している.

全ての損失を用いた際の性能は 0.491 であるため, (g) および (h) から, 復元損失 $L_{R}$ および交差復元損失 $L_{C}$ の影響は小さいことがわかる．上段の結果か ら，交差復元損失 $L_{C}$ および言語表現損失 $L_{L}$ とは 異なり，敵対的損失 $L_{A}$ は基本の復元損失 $L_{R}$ のみと表 2 アブレーション分析におけるピアソン相関係数

の組み合わせでも有効であることがわかる. 下段の 結果から，言語表現損失 $L_{L}$ を除外した際に最も性能が低下するため，言語表現損失からは他の損失で 補完できない重要な情報が学習されると言える. 本分析から，言語表現同士が類似しないことを保証す る言語表現損失および意味表現に言語固有の情報が 含まれないことを保証する敵対的損失の 2 つが，提案手法の性能改善に特に貢献することがわかった.

## 4 おわりに

本研究では，事前訓練された多言語文符号化器に 基づく教師なし品質推定に取り組んだ。提案手法 は，文表現から言語固有の情報を取り除くことで言語非依存の意味表現を抽出し，言語を超えた文間の 意味的類似度の推定を可能にした. 6 つの言語対に おける実験の結果，提案手法は最先端の多言語文符号化器の性能を一貫して改善し, 特に少資源言語対 において教師なし品質推定の最高性能を達成した。

## 謝辞

本研究は JSPS 科研費 (若手研究, 課題番号: JP20K19861）の助成を受けたものです.

## 参考文献

[1] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: A Method for Automatic Evaluation of Machine Translation. In Proc. of ACL, p. 311-318, 2002.

[2] Lucia Specia, Carolina Scarton, and Gustavo Henrique Paetzold. Quality Estimation for Machine Translation. Synthesis Lectures on Human Language Technologies, Vol. 11, No. 1, pp. 1-162, 2018.

[3] Lucia Specia, Frédéric Blain, Marina Fomicheva, Erick Fonseca, Vishrav Chaudhary, Francisco Guzmán, and André F. T. Martins. Findings of the WMT 2020 Shared Task on Quality Estimation. In Proc. of WMT, pp. 743-764, 2020.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proc. of NAACL, pp. 4171-4186, 2019.

[5] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised Cross-lingual Representation Learning at Scale. In Proc. of ACL, pp. 8440-8451, 2020.

[6] Tharindu Ranasinghe, Constantin Orasan, and Ruslan Mitkov. TransQuest: Translation Quality Estimation with Cross-lingual Transformers. In Proc. of COLING, pp. 5070-5081, 2020.

[7] Marina Fomicheva, Shuo Sun, Lisa Yankovskaya, Frédéric Blain, Vishrav Chaudhary, Mark Fishel, Francisco Guzmán, and Lucia Specia. BERGAMOT-LATTE Submissions for the WMT20 Quality Estimation Shared Task. In Proc. of WMT, pp. 1010-1017, 2020.

[8] Akifumi Nakamachi, Hiroki Shimanaka, Tomoyuki Kajiwara, and Mamoru Komachi. TMUOU Submission for WMT20 Quality Estimation Shared Task. In Proc. of WMT, pp. 1037-1041, 2020.

[9] Nattapong Tiyajamorn, Tomoyuki Kajiwara, Yuki Arase, and Makoto Onizuka. Language-agnostic Representation from Multilingual Sentence Encoders for Cross-lingual Similarity Estimation. In Proc. of EMNLP, pp. 7764-7774, 2021.

[10] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proc. of NAACL, pp. 48-53, 2019.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, undefinedukasz Kaiser, and Illia Polosukhin. Attention is All You Need. In Proc. of NIPS, pp. 6000-6010, 2017.

[12] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, and Wei Wang. Language-agnostic BERT Sentence Embedding. arXiv:2007.01852, 2020.
[13] Diederik P. Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In Proc. of ICLR, 2015.

[14] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-Art Natural Language Processing. In Proc. of EMNLP, pp. 38-45, 2020.

[15] Mikel Artetxe and Holger Schwenk. Margin-based Parallel Corpus Mining with Multilingual Sentence Embeddings. In Proc. of ACL, pp. 3197-3203, 2019.

[16] Mikel Artetxe and Holger Schwenk. Massively Multilingual Sentence Embeddings for Zero-Shot Cross-Lingual Transfer and Beyond. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 597-610, 2019.

[17] Nils Reimers and Iryna Gurevych. Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation. In Proc. of EMNLP, pp. 4512-4525, 2020.

[18] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. BERTScore: Evaluating Text Generation with BERT. In Proc. of ICLR, pp. 1-43, 2020.

[19] Marina Fomicheva, Shuo Sun, Lisa Yankovskaya, Frédéric Blain, Francisco Guzmán, Mark Fishel, Nikolaos Aletras, Vishrav Chaudhary, and Lucia Specia. Unsupervised Quality Estimation for Neural Machine Translation. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 539-555, 2020.

[20] Brian Thompson and Matt Post. Automatic Machine Translation Evaluation in Many Languages via Zero-Shot Paraphrasing. In Proc. of EMNLP, pp. 90-121, 2020.

[21] Fabio Kepler, Jonay Trénous, Marcos Treviso, Miguel Vera, and André F. T. Martins. OpenKiwi: An Open Source Framework for Quality Estimation. In Proc. of ACL, pp. 117-122, 2019.

[22] Hyun Kim, Hun-Young Jung, Hongseok Kwon, JongHyeok Lee, and Seung-Hoon Na. Predictor-Estimator: Neural Quality Estimation Based on Target Word Prediction for Machine Translation. ACM Transactions on Asian and Low-Resource Language Information Processing, Vol. 17, No. 1, pp. 1-22, 2017.


# 作文指導に活かすための修辞機能解析現状の問題点

佐尾ちとせ 同志社大学 sk199608 @ mail.doshisha.ac.jp
宮城 信 富山大学 miyagi@ edu.u-toyama.ac.jp
田中弥生 国立国語研究所yayoi@ ninjal.ac.jp

## 概要

発表者らは、修辞機能解析により、作文の脱文脈化の状態を可視化することで、これまで指導者の主観に委ねられてきた作文の評価や指導等に、一定の 指標を構築することはできないか、研究を進めてい る。本発表における課題は以下の 2 点である。

1. 現状の修辞機能解析の問題点の洗い出し

2. 教育現場で使える修辞機能解析の方向性指導者や学習者自身が行うことを想定し、摇れの 少ない合理的な解析方法を確立する必要がある。今回は環境作文という抽象度が高い文章を 3 名でアノ テーションし、迷いの生じやすい箇所とその理由を 分析した。そこから、作文指導に活かせる修辞機能解析のあり方について考察した。

## 1 はじめに

文章の修辞法には比喻・倒置等、様々あるが、脱文脈化とは、書かれた事象が、どの程度、筆者の置 かれた状況、すなわち、「今」(書かれた時間)、「こ こ」（書かれた場所）「私」（筆者）から離れたも のとして表現されているかである。

具体例を挙げると、プレゼントをもらった筆者が その気持ちを「うれしい!」と表現した文に比べ、

「プレゼントをもらって私はとてもうれしかったで す」と過去を振り返って表現されている文のほうが、筆者自身が自分から距離を置いていると考えられる。 これを「プレゼントをもらうのはうれしいものだ」 のように自分の心理描写ではなく一般的な話として 述べれば、さらに距離が離れる。筆者自身のこと、筆者のいる場について述べられたものの多くは主観的 - 個別的 - 具体的であり、筆者から離れ、「今」 というような時間軸からも離れると客観的・一般的・抽象的になっていく。

こうした原理を利用して、文章の具体性や客観性 を可視化しようというのが修辞機能の分析である。

図 1 修辞機能と脱文脈化指数

修辞機能は、空間軸（空間要素）と時間軸（時間要素）を段階的に分類し、それらの要素の組み合わ せで定め、「脱文脈化指数」として数值化する。空間要素・時間要素の組み合わせによる修辞機能と脱文脈化指数は図 1 のとおりである。

## 2 修辞機能解析と作文指導

2018 齊藤他 ${ }^{[1]}$ では、作文評価のための内容的観点 として、A「課題把握」B「内容記述」C「独自性」 $\mathrm{D}$ 「段落」 $\mathrm{E} 「 一$ 貫性」 $\mathrm{F} 「$ 構成」の 6 点を挙げて いる。このうち、 $\mathrm{B} 、 \mathrm{E}$ の詳述内容を引用する。(下線は本稿筆者による。)

B 内容記述 : 紹介したい事柄について, 具体的 な内容や特徵, 紹介したい理由などを詳しく 述べているか。

$\mathrm{E}$ 一貫性 : テーマを軸に，事柄の順序や関係な どが，一定の見方や考え方で貫かれていたり，論理的に組み立てられていたりしているか。

作文に対して「具体性がない」「主観的すぎる」「論理的ではない」といった評価のなされることがある。 こうした「具体性」「客観性」といった評価を数値化 し、可視化することで、指導者にも学習者にも改善 すべき点が明確になり、指導の一助になりうると考 えている。

「中学生食の作文コンクール」2019 年度の審查員 の講評[2]には「自分を中心に思考を巡らす」として、

作文のコツが以下のように述べられている。

自分を中心に半径 5 メートル、 10 メートル、

100 メートルと徐々に広げて、思考を巡らすこ とです。（中略）中学生ですから、世界を考える ことは大切で必要ではあります。しかし、まず 身近な経験から、その後に徐々に広げて、大き な問題に結びつけて書く方が、読み手も安心し ます。

ここでいう「自分を中心に半径を広げる」という のがまさに脱文脈化していくことである。

## 3 現状の修辞機能解析の問題点

2021 年度富山大学教員免許講習の場で実際に修辞機能アノテーションを行い、指導法の一端を紹介 したところ、すぐにも教室で使いたいとの声が寄せ られた。教育現場で使用するには、学習者を含め、誰でも迷わず適切な判定のできるアノテーションの 方法を確立する必要がある。そこで、 3 名のアノテ 一ター $\mathrm{P}, \mathrm{Q}, \mathrm{R}$ のデータを比較し、摇れの大きか った個所、迷いの生じた個所について検討を行うこ ととした。尚、 3 名のうち Q、Rは言語を専門とす るが、Pはそうではない。

## 3. 1 分析対象と方法

今回は、作文コンクールで高評価を得た作品のう ち、文構造が複雑で、内容的にもかなり抽象度の高 い環境作文をとりあげる。環境作文はテーマにより 分類されており、Aは「イタイイタイ病」、Bは「体験」、Cは「科学・ボランティア」である。

表 1

} \\

発表者らは、比較的抽象度の高い「夢作文」と体験に基づく「がんばった作文」の分析から、修辞機能の出現頻度には、テーマによる特徴、学年層によ る違いが表れることを確認している ${ }^{[3]}$ 。これらの作文と環境作文の冒頭第一文の修辞機能を比較すると、 がんばった・夢作文がほぼ同じ修辞機能から始まっ ているのに対し、環境作文には多種類の修辞機能が 用いられていることがわかる。このことからも、環境作文の修辞機能が単純ではなく、アノテーション に摇れが生じやすい可能性のあることがうかがえる。

表 2 第一文の修辞機能ii

 &  &  &  &  &  &  &  &  \\
象 \\
外 \\

今回分析対象とする環境作文のアノテーションの 前に、アノテーターにはあらかじめ修辞機能解析の 意味や手順を説明し、がんばった・夢作文それぞれ 3 篇ずつ 100 行ほどのデータにアノテーションをし てもらい、作業過程で生じた疑問点等を相談する場 を設けた。こうした試行作業により、各タグの意味 やアノテーション方法に誤解のないことを確認した 上で、環境作文のアノテーション作業に入った。

## 3. 2 摇れの大きかった部分

## 3. 2.1 メッセージの分割と種類の判定

今回、最も摇孔が大きかったのは、修辞機能に直接かかわる空間・時間要素の判定ではなく、その基盤となるメッセージの分割と種類の判定であった。

アノテーション作業は、作文データを修辞機能の 分析単位である「メッセージ」に分割することから 始まる。「メッセージ」は述語を含む節と概数一致 するが、連体・連用修飾節や従属節の一部は分析対象とはならない。今回の作業では、それが対象外か どうかの判断で迷うよりも、文を節単位に分解し、主節、並列節、従属節といった節の種類を特定する 中で、対象外のものはその認定を行うという方法で 作業を行うこととした。しかしながら、表 3 のとお り、アノテーター 3 名のメッセージの分割数には相当のばらつきがある。そのため、一致率の計算が困難であった。

## 3. 2.2 空間要素について

空間要素の判定において摇れが目立ったのは以下 の 2 点である。

・主語や主題が明示されていないメッセージにおい て推測された空間要素

・「私」を伴う空間要素

## —明示されていない空間要素の推測

空間要素は、「参加」「状況内」「状況外」「定義」に分類される。これらは、メッセージに表れた 事象が、メッセージの発せられた空間からどの程度離れたものとして表現されているかを示す。空間要素は概ねメッセージに含まれる述部の主体、あるい は、メッセージの主題に相当するが、それらが明示 されていない場合は推測する必要がある。

以下に具体例を挙げる。

1） a . 最近、「海洋プラスチック」の問題がクロ ーズアップされています。

b . 例えば、海辺に打ち上げられたクジラの体内から計 40 キロのプラスチックゴミが出 てきたというニュースです。

2）a . 他にも、油をふいてからフライパンを洗う。 や、何か洗う時はできるだけ洗剂ではなく、重曹を使うなど、他にもいろいろありますが、 b. やっぱり一番大切なのは、このイタイイタイ 病と言う公害病があったことを、生まれた時が、平和だったからラッキー。ではなく、

c.これから先、伝えていきたいと思いました。実際のアノテーション結果は表 4 のとおりである。

## 表 4 例文の空間要素とその種類

修辞機能解析で必要なのは空間要素そのものでは なく、その種類なので、1）bのように表現が異な っても意味しているところが同じであれば問題ない。極端な話、空間要素が何であるか指摘できなかった としても、参加や状況内ではないということが確認 できれば十分なのである。だが、2）bでは、文構造が入り組んでいることもあり、述部を「あった」 としてしまった結果、その主体である「公害病」を 空間要素と認定するエラーが生じている。

空間要素は、述部を特定してから、その主体とな
るものを探すよう説明したが、述部の特定を誤った ことで空間要素にエラーが生じた例が散見された。

## -「私」を伴う空間要素「状況内」の判定

現行の仕様では、「状況内」とするものは、コミ ユニケーションが行われる場にあるものと規定して いる。そのため、学校において自分の所属している 学校のことを書いたのであれば「私の学校」は状況内となるが、家で書いた場合は「状況外」となる。 ただし、作文の場合、それがどこで書かれたかを判断するのは困難なため、今回の作業では「私の○○」 がその場にあるかどうか判断のつかない場合には 「状況内」とすることにした。

このように規定した上で、アノテーションを行っ た結果、「状況内」の数は以下のようになった。（）内は、「私の」等が含まれているメッセージ、分母 はアノテーターが切り出したメッセージ数である。

$
P: 17(7) / 1037 \quad Q: 23(22) / 1093 \quad R: 26(21) / 1204
$

$\mathrm{Q}$ は「私の」を含むメッセージの空間要素をほぼ 「状況内」としているが、P、R は「私の家族」は状況外とした。P は「クラスのみんな」自分の属する

「*小」自分の住む「十市の人」といったものを「状況内」と判断している。

## 3. 2.3 時間要素について

時間要素は、「過去」「未来意志的」「未来非意志的」「現在」「習慣・恒久」「仮定」に分類され る。これらは、メッセージに表れた事象が、メッセ ージの発せられた時間を基準とし、相対的にいつ起 こったものとして表現されているかを示す。時間要素はメッセージに含まれる述部の時制、あるいは副詞句から判断する。時間要素の判定において大きく 摇れ生じたのは、働きかけのモダリティ表現を伴う メッセージである。

## $\cdot$モダリティ表現と時間要素の判定

3 ）a.ですが、今の社会では、「ポイ捨てをやめ てください。」ということを伝えても

b . なかなか直してはくれません。

4） a . 神通川の農民たちはいろいろな方法で原因を調べで、

b . 国や県、神岡鉱山を採くつしている会社 に鉱毒を流さないでほしい

c . とうったえました。

そもそも、3）ａは対象外のメッセージで「」内を切り出したのはRのみであるが、これを命題で はなく提言とすべきかどうかで迷っている。なぜな

らば、これは不特定多数の誰かに向けた働きかけで あり、会話相手に直接依頼しているメッセージでは ないからだ。しかし「」付で「〜ください」とい う表現をとっており、独立した会話であれば提言に 相当する。一方 4）bでは、後行する主節から、会社等に「流さないでほしい」と直接うったえている ことを理由に提言としている。4）bに対しPは「習慣・恒久」Qは「未来非意志」を付与している。

環境作文には、こうした働きかけのモダリティを 伴うメッセージが頻出する。典型的な例とそのアノ テーション結果を表 5 に示す。

5) 私は、カドミウムなど、害がある物は、ぜっ たいに川や海には流してはいけないと思う。

6 ）「川をよごすと、たくさんの被害がでる。」 ということを伝えなければなりません。

7 ）だから私は、少しずつそう思える人を増やし ていけばいいと思います。

8）みなさんも地球温だん化の取組をやってみて はどうですか。

表 5 例文の時間要素の種類

## 4 現場で使える修辞機能解析に向けて

## 4. 1 空間要素について

作文内での「私の」を含む空間要素の判断は非常 に難しく、免許講習の場でもそれについて質問が出 た。講習の中では「私の学校」という 200 字程度の 作文を書いてもらい、そのアノテーションを行った。

## 表 6 「私の学校」第一文の空間要素

 & 1 \\

講習の会場は参加者の勤務先ではないため、原則 からすると「私の学校」は状況外である。しかしな がら自身の所属を「私の学校」と表現するのと、「○ ○校」のように学校名で表現するのとでは、筆者の 心理的な距離に隔たりがあると思われる。さらにい えば、「私の学校」と「私の勤務している学校」の 間にも、微妙な距離の差が存在する。筆者がこうし た心理的距離を意識して表現を選択しているのであ
れば、それこそまさに修辞技法である。微妙な距離感までをも可視化することは難しいが、せめて固有名と「私」を被せた呼称の間の隔たりは分けるほう が作文指導には適切に思われる。

また、授業内でのアノテーションということを考慮しても、作文内では「私の」等が含まれる場合は 「状況内」とすることに統一しておくほうが、修辞機能の判定に摇れが生じにくいだろう。ただし、離 れて祖父母など、その場にいないことが明らかな人物を「私の祖母」などとして表現することも多いの で、検討が必要である。

## 4. 2 時間要素について

今回の作業では、「思う」「言われている」等の 後続する、主に格助詞「と」によって受ける節を引用節として切り出すことにした。これは、9）10) のような文において、主節の述語である「思います」

「考えられています」は削除しても文意は変わらず、婉曲や一般化のモダリティ表現の一種と見なしうる からだ。

9）じっさいにしたことをいくつか、しょうかいし たいと思います。

10）こうした食物連鎖を通じて私たち人間の体内に も蓄積しているのではないかと考えられています。 モダリティ表現を伴う述語に対する時間要素につ いては、広く文例を収集し、一定の原則を作ってお く必要がある。これは今後の課題と考えている。

## 5 おわりに

今回のデータは 1 文が 100 文字を超えるような長文が多く含まれ、それが不整合を起こしている場合 もあり、言語が専門ではないアノテーターにとって は、メッセージの切り出しと種類の判定という作業 が殊に困難であることが浮き彫りになった。

作文評価の観点が多岐にわたることを念頭におき、脱文脈化以外の側面もカバーできるよう、節に分割 してメッセージの種類を特定しておき、必要なメッ セージに絞って修辞機能を分析するのがよいと考え ていた。だが、実際の指導現場で修辞機能解析を用 いて作文の添削や改善点の指摘を行うのであれば、網羅的なアノテーションを行うよりも、むしろ、主節と明らかな並列節、場合によっては誰にでも明瞭 な文単位で修辞機能を判定し、脱文脈化という観点 に限定して作文を分析するほうが合理的である可能性もある。今後も研究を進めていきたい。

## 謝辞

本研究は JSPS 科研費JP20H01674、JP19K00588 の助成を受けたものです。

## 引用 - 参考文献

[1] 齋藤ひろみ・白勢彩子・中村和弘・大澤千恵子・成家雅史 - 細井宏一 - 土屋晴裕 - 菅原雅枝 - 笹島眞実・工藤聖子. 国語科教育における作文評価の項目設定と手法の設計 平成 30 年度〜令和元年度東京学芸大学教育実践研究推進本部「特別開発研究プロジ エクト」報告書

[2] 第 5 回公益財団法人イオンワンパーセントクラ ブ中学生食の作文コンクール「審査員の講評をチェ ック」（引用日: 2022 年 1 月 11 日.) https://aeon1psakubun.jp/review/index.html

[3]田中弥生・佐尾ちとせ・宮城信（2021）. 児童作文の評価に向けた脱文脈化観点からの検討. 言語処理学会第 27 回年次大会 発表論文集,750-755,

[4]小磯花絵・佐野大樹（2011）. 現代日本語書き言葉における修辞ユニット分析の適用性の検証－「書 き言葉らしさ・話し言葉らしさ」と脱文脈化言語・文脈化言語の関係一. 機能言語学研究,6:59-81 [5]佐野大 (2010).日本語における修辞ユニットの方法と手順 ver.0.1.1一選択体系機能言語理論（システ ミック理論）における談話分析一（修辞機能編）

[6]佐野大樹(2021). 特集選択体系機能言語理論を基底とする特定目的のための作文指導方法について一修辞ユニットの概念から見たテクストの専門性. 専門日本語教育研究, (12):19-26 [7]宮城信・浅原正幸・今田水穂(2018). 現職教員に よる児童 - 生徒作文の評価基準の分析. 言語資源活用ワークショップ 2018 発表論文集,420-434 [8]吉川愛弓・岸学 (2006).作文の評価項目に関する 検討一 意見文の評価は何に影響を受けるのか 一. 東京学芸大学紀要 総合教育科学系 57,93-102 [9]梶井芳明 (2001). 児童の作文はどのように評価さ れるのか?一評価項目の妥当性・信頼性の検討と教員 の評価観の解明-480 教育心理学研究, 480-490, [10] 田中弥生 (2018).児童 - 生徒作文の日本語修辞 ユニット分析と教員評価の検討.言語資源活用ワー クショップ発表論文集 $3,91-104$

[11] 田中弥生・浅原正幸 (2018).児童による作文の 修辞ユニット分析における中核要素認定.言語処理学会第 24 回年次大会発表論文集
[12] 田中弥生・浅原正幸(2019). 徒属節意味分類アノ テーションに基づく修辞ユニット分析の分類単位認定の検討.言語処理学会第 25 回年次大会発表論文集,1209-1212.

[13]田中弥生・浅原正幸(2017).Yahoo！知恵袋にお ける修辞ユニット分析の発話機能認定に関する諸問題.言語処理学会第 23 回年次大会発表論文集,831834.

[14] 小学校学習指導要領.第 2 章各教科.第 1 節国語 pp.14-29


# テキスト平易化における自動評価指標のメタ評価の検討

早川明男 1 大内啓樹 ${ }^{1,3} \quad$ 梶原 智之 ${ }^{2}$ 渡辺太郎 1
1 奈良先端科学技術大学院大学 2 愛媛大学 3 理化学研究所
hayakawa.akio.gv6@is.naist.jp
hiroki.ouchi@is.naist.jp kajiwara@cs.ehime-u.ac.jp taro@is.naist.jp

## 概要

テキスト平易化は，語彙の置換や非重要部分の削除 などの操作によって文を平易に書き換えることを目的 とする.こうした平易化の操作の多様さは, 出力文の 自動評価を難しくしてきた. 平易化されたテキストを 評価する観点として，平易性・同義性・文法性が挙げ られる。本研究では, 自動評価指標のメ夕評価の一環 として，各観点について妥当な指標が満たす条件を検討する。また既存の指標の振る舞いを確認し，それら がどのように利用されるべきかを提言する.

## 1 はじめに

テキスト平易化は文の意味を保ちつつ平易に書き換 えるタスクであり，語彙の平易化，構文の平易化，文 の分割, 非重要部分の削除などの操作によって実現さ れる [1]. 平易なテキストは, 子ども [2] や非母語話者 [3]，また自閉症 [4] や読字障害 [5] など，読解能力 が低い人を補助すると考えられ，テキスト平易化への 期待は高まっている。一方，こうした人の属性ごとに 読解をより促進するテキストの種類は異なりうる．例 えば，子どもに対しては平易な構造の文が，非母語話者に対しては平易な語彙による文がより読解を促進す る，といった差が生じる可能性がある.

かねてのテキスト平易化研究は多様な操作の一部を 実現できるにすぎなかったが，近年の文生成の発展に より，平易文の多様さについて出力を制御できるモデ ルが提案されるようになった $[6,7]$. 一方で，その多様さゆえに平易文の評価は難しい. 平易 (出力) 文の 人手評価においては，複雑 (入力) 文と比較した際の 平易さ (平易性), 重要部分の意味を保持できている程度 (同義性) に加えて, 出力文そのものの文法的正しさ (文法性) という 3 つの観点を利用することが確立して いる [8] が，自動評価に利用する指標については明確 な合意がないのが現状である.

テキスト平易化の自動評価指標としては, 文生成夕 スクで一般に利用されるもののほか，テキスト平易化のために設計されたものもいくつか提案されてい る $[9,10]$. こうした提案の多くは，その妥当性の根拠 として，人手評価と自動評価の相関の高さを挙げる. このとき，ある入力文に対する出力文を平易化モデル などを利用して生成し，それらに人手でスコアをつけ たデータセットが利用される。しかしながら，この人手スコアデータセットそのものが問題をはらむ場合 がある. とりわけ平易文の多様化という主題に対し て，出力文が特定の操作のみを含んでいる，という指摘 [11] はデータセットの根底を摇るがすものである. こうした現状は評価指標，そして提案モデルの妥当性 に疑問を投げかけ，テキスト平易化研究の発展を妨げ ているといえる.

ところで，自動評価指標の妥当性を示す手段は人手評価との相関に限らない. 本研究では, 出力文の人手評価に用いられる平易性・同義性・文法性という 3 つ の観点それぞれについて，自動評価指標の妥当性を示 す他の要素を検討する．また自動評価指標のメタ評価 として, 既存の指標がそれらを満たす程度を確認す る. その際，とくに多様な操作について意識的に要素 を検討する。しかしながら，複雑文と平易文のペアか ら操作を自動的に分類するのは難しい [12]. そこで， それぞれの操作を直接的に分類するのではなく，入力文から出力文への書き換えにおける各単語の編集 (置換，挿入，削除）をもとに編集タグを設定し，検討の 材料とする。

## 2 関連研究

機械翻訳など他の文生成タスクと同様，テキスト平易化研究の多くで BLEU [13] が評価に利用されてい る.しかしながら，BLEU はテキスト平易化の評価に は不適であるとしばしば指摘されている。例えば [14] は，とくに複数の参照文があるとき，入力文をそのま ま出力する低質なシステムでも BLEUによる評価が 高くなってしまうとしている.

こうした BLEU の欠陥を補うため， [9] では SARI という新たな評価指標を提案している. SARI は入力
文との n-gram の重複が大きい出力文にペナルティを 与えるように設計され，語彙の平易化の妥当性を評価 できるという著者らの主張から，以降テキスト平易化 タスクのほとんどで利用されている。一方 [15]は，と くに複数の操作を含む書き換えについて，同義性や文法性についての人手評価と SARI との相関の低さを指摘している。

FKGL [16] は英文のリーダビリティを示すために設計された指標で，テキスト平易化の評価にもしばしば 利用されている。この FKGLについても，参照文を必要としないその特徵から, 高い評価を得られる出力文 を容易に生成できるとして，テキスト平易化の評価指標としては不適であるとの指摘がある [17].

その他にも BERTScore [18, 11], SAMSA [10], QUESTEVAL [19] などさまざまな自動評価指標の 導入が提案され，今後の増加も予想される. これらの 指標も出力文の質に応じた評価を与えることが期待さ れ，その程度や応用範囲についてメタ評価を受けるべ きである. 本研究ではメタ評価の要素を検討し, また 実施することを目標とする。

## 3 手法

本研究では, 入力文に対して多様なタイプの出力文 の集合を作成し，各指標で評価する。同時に，入力文 から出力文への編集を計算し, 出力文に編集タグを付与した上で，タグごとの出力文の評価も行う.

これらをもとに，平易性・同義性・文法性という 3 つの観点について，各指標が評価できるべき要素を仮定する。また，それらを満たす程度をもとにメタ評価 を行う。

## 3.1 編集タグ

出力文に付与される編集タグは，編集距離と同時に 得られる編集列をもとに決定される．置換・挿入・削除の割合 $r_{\mathrm{ADD}}, r_{\mathrm{DEL}} ， r_{\mathrm{SUB}}$ を以下のように定義する.

$
\begin{aligned}
& r_{\mathrm{ADD}}=\text { 編集列中の挿入数 } / \text { 入力文の単語数 } \\
& r_{\mathrm{DEL}}=\text { 編集列中の削除数 } / \text { 入力文の単語数 } \\
& r_{\mathrm{SUB}}=\text { 編集列中の置換数 } / \text { 入力文の単語数 } \\
& \text { このとき, 以下のような条件で編集タグを設定し, 出 } \\
& \text { 力文ごとに条件を満たすタグすべてを付与する. }
\end{aligned}
$

$
\begin{aligned}
& \mathrm{ADD}: r_{\mathrm{ADD}}>0.1 \\
& \mathrm{DEL}: r_{\mathrm{DEL}}>0.2 \\
& \text { SUB : } r_{\text {SUB }}>0.2 \\
& \text { NONE }: r_{\mathrm{ADD}} \leq 0.1, r_{\mathrm{DEL}} \leq 0.2, r_{\mathrm{SUB}} \leq 0.2
\end{aligned}
$

それぞれの文は，NONE を除いた複数のタグが付与 されうる. 図 1 は編集タグのイメージを示したもので ある.

## 3.2 利用データ

以下に記述するように，入力文・参照文・出力文を 準備する。

## 3.2.1 入力文・参照文

文を人手で平易化したデータセットに ASSET [15] がある. ASSET は, Wikipedia の英語版に記述された 359 文に対し， 10 人のアノテーターそれぞれによる平易な参照文を含む．参照文は多様な操作を含みうるよ うに設計されており，本研究ではこれらを十分妥当な 平易文とみなす。

## 3.2.2 出力文

出力文については，(1) 人手による平易文，(2) 低質 なシステムによる出力文の 2 つのタイプを準備する.

## 1. 人手による平易文

ASSET のそれぞれの入力文に対する 10 の参照文 について，1 文を出力文，残りの9 文を参照文と みなして評価した結果を平均する。

2. 低質なシステムによる出力文

以下のように，入力文を利用して簡易に出力文 を生成する 5 つのシステムを設定する. Random は，前項で定義した特定の編集タグが付与される ように設計されている.

## 3.3 利用する自動評価指標

テキスト平易化に用いられる評価指標の代表と して, BLEU, SARI, BERTScore, FKGLを選択す る.なお，評価に参照文を必要とする BLEU, SARI,

$\square:$ add $\square:$ del $\square$ sub

図 1 編集タグのイメージ

BERTScore については, 複数の参照文を用いた評価 (Multi) と，単一の参照文を用いた評価の平均值 (Avg) をそれぞれ算出する. 各指標の評価値の算出には EASSE [20] の実装を利用する。

## 3.4 メタ評価の観点

人手評価で用いられる平易性・同義性・文法性の 3 つの観点を中心に, 自動評価指標の妥当性を示す要素 を以下のように仮定する。

## 3.4.1 平易性

平易性について，各指標は入力文と比較してより平易な出力文に高い評価を，そうでない出力文に低い評価を与えることが期待される.

本研究では, 前者には ASSETが，後者には Identical が該当し，これらを正しく評価できる程度をもってメ タ評価を行う。

## 3.4.2 同義性

同義性について，各指標は入力文における重要な意味が保持されている出力文に高い評価を，そうでない 出力文に低い評価を与えることが期待される. すなわ ち，入力文の重要な意味を同等に保持する出力文は同等に評価されるべきである.

本研究では, ASSET の平易文それぞれがもつ同義性が同等であるとみなすため，構文などによらず評価 も同等であることが望ましい。すなわち, 編集タグ間 の評価の差の小ささをもってメタ評価を行う.

## 3.4.3 文法性

文法性について，各指標は文法的に正しい出力文を 高い評価を，文法的に誤った出力文に低い評価を与え ることが期待される.表 1 各出力文の編集タグ付与割合

本研究では, ASSET と Identical が前者に, Splitと Random が後者に該当し，これらを正しく評価できる 程度をもってメタ評価を行う。

## 4 結果

## 4.1 編集タグの分布

表 1 は，それぞれのシステムの出力文に対してど のような割合で編集タグが付与されるかを示したも のである。この結果からはまず，人手による平易文 (ASSET) に多様さがあることがわかる。また，低質な システムの大部分に特定のタグが付与されていること が確認できる.

## 4.2 自動評価指標のメタ評価

表 2 は各指標で出力文を評価した結果で，太字の 数字は指標ごとにもっとも良い評価を意味する。な お，表 2 上部は各システムに対する評価を，下部は ASSET のうち各編集タグが付与された出力文のみに 対する評価を表す. 以下， 3.4 項における要素をもと に，各指標がそれぞれの観点を満たすかを確認する。
表 2 各指標による出力文の評価

## 4.2.1 BLEU

まず平易性という観点では，Identical を高く評価 してしまっている。前提として，ASSET の約 3 割は NONE，すなわち編集の少ない平易文である。こうした 参照文は n-gram の重複が大きい Identical を高く評価 してしまう. 同様の理由で, NONE への評価の突出を 説明でき，同義性についての要素を満たさないといえ る。また，ASSET より Random に対する評価のほう が高く, 文法性についての要素も満たさない. 編集夕 グごとについても同様の関係が見られるが，これは Random における編集部分以外の n-gram の重複によ るものといえる。

このように，結果は 3 つの観点すべてについて BLEU の不適さを示している。これは，テキスト平易化の性質である参照文の多様さに由来するといえる。

## 4.2.2 SARI

まず平易性については, Identical を正しく低く評価 できている。これは，入力文に含まれず参照文に含ま れる n-gram を含む出力文を高く評価し，入力文に含 まれ参照文に含まれない n-gram を含む出力文を低く 評価する設計に原因すると考えられる。この設計に よって，結果的に編集タグ間の評価の差が小さくなっ ており，同義性についての要素も満たすといえる。一方で，入力文に含まれる n-gram にペナルティを与え るあまり，Random の評価が Identical より高くなって おり，文法性については正しく評価できていないとい える。

## 4.2.3 BERTScore

平易性については BLEU と同様，BERTScore は Identical を高く評価してしまっている．BERTScore は文全体をとらえた評価をするが，編集の少ない参照文 と Identical について，各単語が文全体のなかでもつ意味の差が小さいことが推測される。これは，ASSET に対する Randomへの評価の低さも説明できる。すな わち，編集を受けていない単語の意味もある程度変化 すると考えられる。

同義性については，BLEU と同様に BERTScoreMulti では NONE の評価が高いが，BERTScore-Avg では 編集タグ間の評価の差が小さくなっている点には注目 したい.これは，BERTScoreが構造の異なる文に対し ても一定程度その類似性を評価できることを示唆して いる.

## 4.3 FKGL

FKGL は Split のようにただ平均単語数が小さい出力文を高く評価してしまい，文法性の説明には不適で ある。また参照文を必要としないため，同義性を評価 するのは難しい。

一方で平易性については, Identical に対して ASSET に良い評価を与えられている。しかし，編集タグ別で は ADD や SUBへの評価が高くなっており，これはピリ オドの挿入・置換によると考えられる。このことは，編集された単語の情報をふまえられないこの手法の弱点を示しているといえる。

## 5 おわりに

本研究の結果は，メタ評価に利用したどの自動評価指標もいずれかの観点では短所があることを示した.現状では平易化の評価には複数の指標を用いるのが望 ましいといえ，例えば文法性については BERTScore で，平易性については SARI で評価する，といった方法が考えられる。

また，これらの考察は本研究で利用したような編集 タグでも十分に導くことが可能であり，今後のメタ評価における一つの要素となるといえる。

今後の課題として，やはり多様な操作によって書き 換えられた文についての人手スコアデータセットが必要である．多様さの確認においては，本研究で定義 したような編集タグを利用することもできるといえ よう.

## 謝辞

本研究は JSPS 科研費 JP19K20351 の助成を受けた ものである.

## 参考文献

[1] Sandra M. Aluísio, Lucia Specia, Thiago A. S. Pardo, Erick G. Maziero, Helena M. Caseli, and Renata P. M. Fortes. A corpus analysis of simple account texts and the proposal of simplification strategies: First steps towards text simplification systems. Association for Computing Machinery, 2008.

[2] Jan De Belder and Marie-Francine Moens. Text simplification for children. Proceedings of the SIGIR workshop on accessible search systems, 2010.

[3] Menglin Xia, Ekaterina Kochmar, and Ted Briscoe. Text readability assessment for second language learners. Proceedings of the 11th Workshop on Innovative Use of NLP for Building Educational Applications, 2016

[4] John Carroll, Guido Minnen, Yvonne Canning, Siobhan Devlin, and John Tait. Practical simplification of english newspaper text to assist aphasic readers. Proc. of AAAI-98 Workshop on Integrating Artificial Intelligence and Assistive Technology, 1998.

[5] Luz Rello, Ricardo Baeza-Yates, Stefan Bott, and Horacio Saggion. Simplify or help? text simplification strategies for people with dyslexia. W4A 2013 - International Cross-Disciplinary Conference on Web Accessibility, 2013.

[6] Louis Martin, Éric de la Clergerie, Benoît Sagot, and Antoine Bordes. Controllable sentence simplification. Proceedings of the 12th Language Resources and Evaluation Conference, 2020.

[7] Louis Martin, Angela Fan, Éric de la Clergerie, Antoine Bordes, and Benoît Sagot. Muss: Multilingual unsupervised sentence simplification by mining paraphrases. arXiv preprint arXiv:2005.00352, 2021.

[8] Fernando Alva-Manchego, Carolina Scarton, and Lucia Specia. Data-driven sentence simplification: Survey and benchmark. Computational Linguistics, 2020.

[9] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing Statistical Machine Translation for Text Simplification. Transactions of the Association for Computational Linguistics, 2016.

[10] Elior Sulem, Omri Abend, and Ari Rappoport. Semantic structural evaluation for text simplification. Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2018.

[11] Fernando Alva-Manchego, Carolina Scarton, and Lucia Specia. The (Un)Suitability of Automatic Evaluation Metrics for Text Simplification. Computational Linguistics, 2021.

[12] Fernando Alva-Manchego, Joachim Bingel, Gustavo Paetzold, Carolina Scarton, and Lucia Specia. Learning how to simplify from explicit labeling of complex-simplified text pairs. Proceedings of the Eighth International Joint Conference on Natural Language Processing, 2017.

[13] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, 2002.

[14] Elior Sulem, Omri Abend, and Ari Rappoport. BLEU is not suitable for the evaluation of text simplification. Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, 2018.

[15] Fernando Alva-Manchego, Louis Martin, Antoine Bordes, Carolina Scarton, Benoît Sagot, and Lucia Specia. ASSET: A dataset for tuning and evaluation of sentence simplification models with multiple rewriting transformations. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020.

[16] Kincaid J. Peter, P. Fishburne Robert, L. Rogers Richard, and S. Chissom Brad. Derivation of new readability formulas (automated readability index, fog count and flesch reading ease formula) for navy enlisted personnel. Institute for Simulation and Training, 1975.

[17] Teerapaun Tanprasert and David Kauchak. Flesch-kincaid is not a text simplification evaluation metric. Proceedings of the 1st Work- shop on Natural Language Generation, Evaluation, and Metrics (GEM 2021), 2021

[18] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. International Conference on Learning Representations, 2020.

[19] Thomas Scialom, Louis Martin, Jacopo Staiano, Éric Villemonte de la Clergerie, and Benoît Sagot. Rethinking automatic evaluation in sentence simplification. arXiv preprint arXiv:2104.07560, 2021.

[20] Fernando Alva-Manchego, Louis Martin, Carolina Scarton, and Lucia Specia. EASSE: Easier automatic sentence simplification evaluation. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP): System Demonstrations, 2019.