# 知識グラフ補完のためのモデル予測に基づくサブサンプリング

Xincan Feng ${ }^{1}$ 上垣外英剛 ${ }^{1}$ 林克彦 $^{2}$ 渡辺太郎 ${ }^{1}$
1 奈良先端科学技術大学院大学 2 北海道大学
\{feng.xincan.fy2, kamigaito.h, taro\}@is.naist.jp katsuhiko-h@ist.hokudai.ac.jp

## 概要

知識グラフの埋め込み (KGE) において，サブサン プリングは知識グラフ (KG) データセットの疎性に より生じる過学習を減少させる効果がある. しか し，現在のサブサンプリングは，エンティティとそ の関係からなるクエリの頻度を考慮するだけである ため，頻度の少ないクエリに含まれるエンティティ や関係の頻度が高い場合，そのようなクエリの出現確率を低く見積もる可能性がある。この問題を解決 するために，KGE モデルの予測を利用することで クエリの出現確率を推定する，モデルに基づくサブ サンプリング (MBS) および混合サブサンプリング (MIX) を提案する．FB15k-237 および WN18RRでの 評価を行った結果，提案法であるサブサンプリング は代表的な KGE モデルである ComplEx, RotatE, お よび HAKE において知識グラフの補完性能が改善 されることを示した。

## 1 はじめに

知識グラフ $(\mathrm{KG})$ とは，エンティティとその関係 を枝として含むグラフである．知識グラフは，対話 [1], 質問応答 [2], 自然言語生成 [3] などの様々な自然言語処理タスクにおいて重要なリソースとして利用されている. しかし，KG 内のエンティティの関係を人手で全て網羅するには多くのコストがかか る. 知識グラフ補完 (KGC) は，知識グラフ中の関係 を基に，含まれていない関係を自動的に補完するこ とでこの問題を解決することができる. $e_{i}$ と $e_{k}$ を エンティティ,$r_{j}$ をそれらの関係とすると，KGCは $\left(e_{i}, r_{j}, ?\right)$ や $\left(?, r_{j}, e_{k}\right)$ などのクエリに対して?を埋 めて回答することにより枝の存在を予測する.

現在，KGC では知識グラフの埋め込み (KGE) を 用いる手法が主流である. KGE はエンティティと その関係を連続べクトルとして表現する. このべク トルの数は $\mathrm{KG}$ 内の枝の数に比例して増加するた め，KGE では学習時の計算量を減らすためにネガ

図 1 FB15k-237 と WN18RR の学習データにおいて，一度だけしか出現しないクエリに含まれるエンティティと 関係が持つ出現頻度 ${ }^{1)}$ 。

ティブサンプリング (NS)を用いることが一般的で ある. NS では，KGE モデルが KG 内の枝からサン プリングして作成された偽の枝と真の枝とを識別す ることで KG を学習する. NS は計算量を削減でき る一方で，サンプリングされた枝は元の KG の偏り を反映してしまうという問題がある。

その解決策として，KGEのNS に対し，サブサン プリング法 [4] が導入された [5]. サブサンプリング は, 頻度の高い枝の頻度を減らし, 頻度の低い枝の 頻度を増やすことで，KGの偏りを緩和する。

しかし，KGEにおける現在のサブサンプリング は，クエリの頻度のみを考慮する．そのため，出現頻度の低いクエリに含まれるエンティティや関係 の出現頻度が高い場合に，そのようなクエリの出現確率を過小評価する可能性がある. 図 1 は, 学習 データに 1 回だけ出現したクエリに含まれるエン ティティと関係の出現頻度を示している.この結果 から，現在のカウントに基づくサブサンプリング (CBS) では，出現頻度の低いクエリに含まれるエン ティティや関係の出現頻度が十分であるにもかかわ らず有効に利用されていない。

この問題に対処するため，我々はモデルに基づく サブサンプリング (MBS) と混合分布に基づくサブ サンプリング (MIX)を提案し，KGE モデルの予測結果に基づいてクエリの出現確率を推定することでこ のような頻度の低いクエリに対処する。

本稿では，一般的に使用されている KGE モデル ComplEx [6], RotatE [5], HAKE [7] に我々の MBS と MIXを適用し, FB15k-237 [8] と WN18RR [9] データ セットを用いた評価を害施した。評価の結果，MBS と MIX はそれぞれの設定において，KGC の評価尺度であるMRR，Hits@1，Hits@3，Hits@10において がベースラインである CBS よりも高いスコアを達成可能であることが分かった.

## 2 KGE に適したサブサンプリング

## 2.1 KGE の定式化

本稿ではエンティティ $h$ と $t$ とその関係 $r$ を表す 枝(トリプレット)を $(h, r, t)$ と表記する．KGCでは クエリ $(h, r, ?)$ や $(?, r, t)$ が与えられ, モデルは? に対応するエンティティを予測する。 入力されたクエリ を $x$ ，予測すべきエンティティを $y$ とすると，モデル パラメータ $\theta$ に基づくスコア関数 $s_{\theta}(x, y)$ は $x$ から $y$ が予測される確率 $p_{\theta}(y \mid x)$ を計算する。一般的には， $|D|$ 個の枝を用いて,$p_{\theta}(y \mid x)$ を予測することで， $\theta$ を学習させる. ここで $D=\left.\{\left(x_{1}, y_{1}\right), \cdots,\left(x_{|D|}, y_{|D|}\right)\right.\}$ は $p_{d}(x, y)$ に従う観測データとする.

## 2.2 NS におけるサブサンプリング

計算効率の高さから NS は KGE モデルの学習によ く使われる。近年，Kamigaito ら [10] は KGE の NS において使用されている様々なサブサンプリングを 説明可能な一般的な定式化を行った. この定式化に おいてサブサンプリングは二つの項 $A$ と $B$ を用い て次のように表記される:

$
\begin{aligned}
& -\frac{1}{|D|} \sum_{(x, y) \in D}\left[A \log \left(\sigma\left(s_{\theta}(x, y)+\gamma\right)\right)\right. \\
+ & \left.\frac{1}{v} \sum_{y_{i} \sim p_{n}\left(y_{i} \mid x\right)}^{v} B \log \left(\sigma\left(-s_{\theta}\left(x, y_{i}\right)-\gamma\right)\right)\right] .
\end{aligned}
$

ここで $\sigma$ はシグモイド関数を， $p_{n}\left(y_{i} \mid x\right)$ は負例をサ ンプリングするためのノイズ分布を， $v$ は一つの正例 $(x, y)$ に対してサンプリングする負例の数を， $\gamma$ はマージン項をそれぞれ表す。

表 1 に，KGE において現在提案されているサブサ ンプリング手法を列挙する。これらは Sun ら [5] に よって提案された word2vec [4] のサブサンプリング を用いる手法 (Base), 頻度に基づく手法 (Freq) [10], そして，ユニーク性を考慮した手法 (Uniq) [10] であ る.ここで\#は頻度, $\#(x, y)$ は $(x, y)$ の頻度, $\alpha$ は頻度を平滑化するための温度を各々表している。表 1 現在の KGE で使用されているサブサンプリング法

と対応する項 $A$ と $B$ の一覧.

各 $(x, y)$ の頻度は $\mathrm{KG}$ 上で高々 1 であるため，先行研究では次のようなバックオフ [11]を行い, $(x, y)$ の頻度をクエリの頻度から近似的に導いている:

$
\#(x, y) \approx \#(x, y)_{c b s}=\frac{\#\left(h_{i}, r_{j}\right)+\#\left(r_{j}, t_{k}\right)}{2}
$

ここで， $\left(h_{i}, r_{j}, t_{k}\right)$ は $(x, y)$ に対応する枝であり, $\left(h_{i}, r_{j}\right),\left(r_{j}, t_{k}\right)$ はそのクエリである. 式 (2) は頻度情報に重度に依存しているため，我々は以降，この手法を頻度に基づくサブサンプリング (CBS) と呼ぶ.

## 3 提案手法

CBS は式 (2) に示すように，エンティティと関係 の組の頻度の平均で $\#(x, y)$ を近似する. そのため,少なくとも 1 つの組の頻度が低いと, CBS は\# $(x, y)$ をうまく推定できない。このスパースネス問題に対処するために，以下のように，モデルに基づくサブ サンプリング(MBS) と, 混合分布に基づくサブサン プリング (MIX)を提案する.

## 3.1 モデルに基づくサブサンプリング

頻度の低いエンティティと関係のペアに起因する 問題を回避するため，MBS では，学習済みモデル $\theta$ によって推定される確率を用いて，以下のように各 トリプレットとクエリの頻度を計算する。

$
\begin{aligned}
\#(x, y) & \approx \#(x, y)_{m b s}=|D| p_{\theta^{\prime}}(x, y), \\
\# x & \approx \# x_{m b s}=|D| \sum_{y_{i} \in D} p_{\theta^{\prime}}\left(x, y_{i}\right), \\
p_{\theta^{\prime}}(x, y) & =\frac{e^{\operatorname{score}_{\theta^{\prime}}(x, y)}}{\sum_{\left(x^{\prime}, y^{\prime}\right) \in D} e^{\text {score }_{\theta^{\prime}}\left(x^{\prime}, y^{\prime}\right)}} .
\end{aligned}
$

以下，MBS に使用するモデルをサブモデルと呼ぶ.式 (2) のカウントによって決定される頻度とは異 なり, 式 (5) の score $_{\theta^{\prime}}(x, y)$ は実際の頻度に関わら ず推論によって推定される. したがって，MBS は CBS で生じるスパースネスの問題に対処することが 期待できる. ただし，MBS の能力は選択するサブ モデルに依存するため，その限界については $\$ 4$ で の実験により評価する.
表 2 FB15k-237 での結果. 太字は各サブサンプリング (Base, Freq, Uniq) で最も良い結果であることを，†は各モ デルでの最良の結果を示す。

## 3.2 混合分布に基づくサブサンプリング

言語モデルに関する研究 [12] で言及されている ように，頻度に基づく出現確率とモデル予測に基づ く出現確率には異なる長所と短所が存在する．MIX では，CBS と MBS の短所を緩和して長所を高める

MBS による混合分布に置き換える。

$\lambda \frac{\#(x, y)_{m b s}^{-\alpha}|D|}{\sum_{\left(x^{\prime}, y^{\prime}\right) \in D} \#\left(x^{\prime}, y^{\prime}\right)_{m b s}^{-\alpha}}+(1-\lambda) \frac{\#(x, y)_{c b s}^{-\alpha}|D|}{\sum_{\left(x^{\prime}, y^{\prime}\right) \in D} \#\left(x^{\prime}, y^{\prime}\right)_{c b s}^{-\alpha}}$.

そして表 1 中の $\frac{\# x^{-\alpha}|D|}{\sum_{x^{\prime} \in D}^{\# x^{\prime-\alpha}}}$ を下記で置き換える:

$
\lambda \frac{\# x_{m b s}^{-\alpha}|D|}{\sum_{x^{\prime} \in D} \# x_{m b s}^{\prime-\alpha}}+(1-\lambda) \frac{\# x_{c b s}^{-\alpha}|D|}{\sum_{x^{\prime} \in D} \# x_{c b s}^{\prime-\alpha}} .
$

表 3 WN18RRでの結果．表記は表 2 と同様.

$\lambda$ は混合比率を決定するハイパーパラメータであ る.なお MIX はマルチタスク学習の一種である2).

## 4 実験

データセット: FB15k-237 と WN18RRを使用した31).比較手法: ComplEx, RotatE, HAKE に対し，表 1 の Base, Freq, Uniq を適用し，さらに CBS (\$2.2) と提案手法である MBS (\$3.1) 及び MIX (\$3.2)を適用した.評価尺度: MRR, Hits@1, Hits@3, Hits@10を使用.

実装およびハイパーパラメータ: ComplEx, RotatE に ついては先行研究 [5] の実装とハイパーパラメー 夕を継承し，HAKE についても先行研究 [7] の実装 とハイパーパラメータを継承した. 温度パラメー タ $\alpha$ について，CBSでは，Base の場合は Sun ら [5] を，Freq と Uniq は Kamigaito ら [10] の設定を引き継 いだ. MBS と MIXについては，各手法の検証デー

2）付録 $\mathrm{A}$ を参照

3）各データセットの統計については付録 B を参照.

図 $2 \mathrm{CBS}$ と MBS の各設定において，CBS の頻度で下位 100 件のクエリの出現確率を CBS の頻度で降順に左から右に 整列した際の MBS での出現確率.

タでの MRR の値を基に $\{2.0,1,0.5,0.1,0.05,0.01\}$ か ら $\alpha$ を， $\{0.1,0.3,0.5,0.7,0.9\}$ から混合比 $\lambda$ を選択 した. さらに，MBS と MIX のサブモデルを，開発 データの MRR を元に ComplEx, RotatE から選択し た.サブモデルの学習ではサブサンプリング法の Base を適用した場合とサブサンプリングを用いない 場合の二種類を用意した ${ }^{4}$ ).

## 4.1 実験結果および分析

実験結果 表 2,3 の結果はそれぞれ FB15k-237 と WN18RR における KG の補完性能を示している.こ の結果から，MIXやMBS を用いたモデルは，全て のモデルにおいて最も高い性能を達成していること が分かる.この結果は §1 で説明したように, MBS と MIX によって KG の補完性能が向上するという 考えと一致する. しかし, 各評価尺度に対して個別に手法を比較した場合には， CBS が MIX や MBS の補完性能を上回る場合も存在している。これは， MIX や MBS において推定される頻度が選択したサ ブモデルに依存して変化するためである.

以上より，MIX と MBS は頻度を推定するための サブモデルを適切に選択することで，KG 補完の性能を向上させる可能性があることが分かった.

分析 残された課題，すなわち，MBS のためにど のモデルを選択することが好ましいのかについて を分析する. 表 4 に各 MBS で選択されたサブモデ ルを示す.この表から ComplEx が他のモデルより 頻繁に選ばれていることが分かる. その理由を知 るために，CBS における頻度が下位 100 件のクエ リの MBS における頻度を図 2 に示した. この結果 では，FB15k-237 において RotatEでは ComplEx には ない頻度のスパイクがいくつか見られる．WN18RR表 4 開発データで選択されたサブモデルの一覧.

ではサブサンプリングを用いない ComplEx におけ る MBS の頻度の最大値が他の手法に比べて大きく なっている.

この結果は FB15k-237 と WN18RR においてモデ ルがそれぞれ平滑化の過剰と不足の問題に遭遇し， MBS がこの問題に対処したことを示している. 通常，データが少ないとスパース性が問題になるた め, この推測は FB15k-237 の学習データが WM18RR より大きいという事実に沿う。このように，MBSで は対象とするデータセットに適したサブモデルを選択することが重要であると考えられる。

## 5 おわりに

本論文では，モデルを用いてエンティティと関係 の組の頻度を推定することで，CBS における低頻度 な組が起こす問題に対処することが可能な新しい サブサンプリング法である，MBS と MIX を提案し た. FB15k-237 と WN18RRに対する評価結果から， MBS と MIXによって KG 補完の性能が向上するこ とが示された. さらに，分析の結果，データセット に適したサブモデルを選択することが KG 補完の性能向上に重要であることを明らかにした.

4）その他の詳細は付録 $\mathrm{C}$ に記載.

## 謝辞

本研究は JSPS 科研費 JP21K17801，JP21H03491 の 助成を受けたものです.

## 参考文献

[1] Seungwhan Moon, Pararth Shah, Anuj Kumar, and Rajen Subba. OpenDialKG: Explainable conversational reasoning with attention-based walks over knowledge graphs. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 845-854, Florence, Italy, July 2019. Association for Computational Linguistics.

[2] Denis Lukovnikov, Asja Fischer, Jens Lehmann, and Sören Auer. Neural network-based question answering over knowledge graphs on word and character level. In Proceedings of the 26th International Conference on World Wide Web, WWW '17, p. 1211-1220, Republic and Canton of Geneva, CHE, 2017. International World Wide Web Conferences Steering Committee.

[3] Jian Guan, Yansen Wang, and Minlie Huang. Story ending generation with incremental encoding and commonsense knowledge. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, No. 01, pp. 6473-6480, Jul. 2019.

[4] Tomás Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. Distributed representations of words and phrases and their compositionality. CoRR, Vol. abs/1310.4546, 2013.

[5] Zhiqing Sun, Zhi-Hong Deng, Jian-Yun Nie, and Jian Tang. Rotate: Knowledge graph embedding by relational rotation in complex space. In Proceedings of the 7th International Conference on Learning Representations, ICLR 2019, 2019.

[6] Théo Trouillon, Johannes Welbl, Sebastian Riedel, Éric Gaussier, and Guillaume Bouchard. Complex embeddings for simple link prediction. CoRR, Vol. abs/1606.06357, , 2016.

[7] Zhanqiu Zhang, Jianyu Cai, Yongdong Zhang, and Jie Wang. Learning hierarchy-aware knowledge graph embeddings for link prediction, 2019.

[8] Kristina Toutanova and Danqi Chen. Observed versus latent features for knowledge base and text inference. In Proceedings of the 3rd Workshop on Continuous Vector Space Models and their Compositionality, pp. 57-66, Beijing, China, July 2015. Association for Computational Linguistics.

[9] Tim Dettmers, Pasquale Minervini, Pontus Stenetorp, and Sebastian Riedel. Convolutional 2d knowledge graph embeddings. In AAAI, 2018.

[10] Hidetaka Kamigaito and Katsuhiko Hayashi. Comprehensive analysis of negative sampling in knowledge graph representation learning. In Kamalika Chaudhuri, Stefanie Jegelka, Le Song, Csaba Szepesvari, Gang Niu, and Sivan Sabato, editors, Proceedings of the 39th International Conference on Machine Learning, Vol. 162 of Proceedings of Machine Learning Research, pp. 10661-
10675. PMLR, 17-23 Jul 2022.

[11] Slava Katz. Estimation of probabilities from sparse data for the language model component of a speech recognizer. IEEE transactions on acoustics, speech, and signal processing, Vol. 35, No. 3, pp. 400-401, 1987.

[12] Graham Neubig and Chris Dyer. Generalizing and hybridizing count-based and neural language models. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1163-1172, Austin, Texas, November 2016. Association for Computational Linguistics.

## A マルチタスク学習

式(1)において $A$ に CBS を適用したものを $A_{c b s} ， B$ に CBS を適用したものを $B_{c b s}$ とし， $A$ に MBSを適用 したものを $A_{m b s} ， B$ に MBS を適用したものを $B_{m b s}$ とする。ここで式 (1)に CBS を適用した際の損失関数 $\ell_{c b s}$ は

$
\ell_{c b s}=-\frac{1}{|D|} \sum_{(x, y) \in D}\left[A_{c b s} \log \left(\sigma\left(s_{\theta}(x, y)+\gamma\right)\right)+\frac{1}{v} \sum_{y_{i} \sim p_{n}\left(y_{i} \mid x\right)}^{v} B_{c b s} \log \left(\sigma\left(-s_{\theta}\left(x, y_{i}\right)-\gamma\right)\right)\right]
$

式 (1) に MBS を適用した際の損失関数 $\ell_{m b s}$ は

$
\ell_{m b s}=-\frac{1}{|D|} \sum_{(x, y) \in D}\left[A_{m b s} \log \left(\sigma\left(s_{\theta}(x, y)+\gamma\right)\right)+\frac{1}{v} \sum_{y_{i} \sim p_{n}\left(y_{i} \mid x\right)}^{v} B_{m b s} \log \left(\sigma\left(-s_{\theta}\left(x, y_{i}\right)-\gamma\right)\right)\right]
$

と定義される。また MIXを適用した際の損失関数 $\ell_{\text {mix }}$ は，式 (6) と式 (7) より，

$
\begin{aligned}
\ell_{\text {mix }}=-\frac{1}{|D|} \sum_{(x, y) \in D}[ & \left(\lambda A_{m b s}+(1-\lambda) A_{c b s}\right) \log \left(\sigma\left(s_{\theta}(x, y)+\gamma\right)\right) \\
& \left.+\frac{1}{v} \sum_{y_{i} \sim p_{n}\left(y_{i} \mid x\right)}^{v}\left(\lambda B_{m b s}+(1-\lambda) B_{c b s}\right) \log \left(\sigma\left(-s_{\theta}\left(x, y_{i}\right)-\gamma\right)\right)\right],
\end{aligned}
$

と定義される。ここで式(10) は次のように変形が可能である.

$
\ell_{\text {mix }}=\lambda \ell_{m b s}+(1-\lambda) \ell_{c b s}
$

式 (11) より $\ell_{m i x}$ は $\ell_{c b s}$ と $\ell_{m b s}$ の両損失を混合した損失であることから，MIX は CBS と MBS を使用した場合に対するマルチタスク学習であることが示された.

## B データセットの統計量

表 5 に各データセットの統計を示す.

表 5 各データセットの統計量. Ent はエンティティを，Rel は関係を示す.

## C 学習設定

表 6 に開発データの MRR で選択された各サブサンプリングの設定を示す。なお，MIXにおける $\alpha$ は MBS における最良のものを引き継いでいる.

表 6 開発データで選択されたサブモデルとその設定の一覧.


# ガウス埋め込みに基づく文表現生成

陽田祥平 1 塚越駿 2 笹野遼平 2 武田 浩一 2
1 名古屋大学情報学部 2 名古屋大学情報学研究科
wt.50p.8613@s. thers.ac.jp tsukagoshi . hayato.r2@s.mail . nagoya-u.ac.jp
\{sasano, takedasu\}@i.nagoya-u.ac.jp

## 概要

近年、文の持つ情報を埋め込み空間上の点として 表現する文べクトルの研究が盛んである。しかし、点による文の表現は、文の持つ意味の広がりや包含関係などの文同士の非対称的な関係を表現できな いなど、文が持つ多様な情報の一部しか表現できな い。そこで本研究では、文をガウス分布として領域的に埋め込む手法、および、包含関係の認識のため の類似度指標を提案する。実験を通し、自然言語推論タスクにおいて従来の点表現ベースの手法と同等 の性能を達成できること、点表現では困難であった 包含関係の向きの推定が可能であることを示す。

## 1 はじめに

文の持つ情報をべクトルで表現する文埋め込み は、文書分類や類似文検索、質問応答など様々な 自然言語に関するタスクで用いられている。近年 では、事前学習済み言語モデルを用いる機械学習 ベースの文埋め込みの生成法が主流となっており、 トピックや感情といった文が持つ情報を豊かに表現する文埋め込み生成の試みが広く行われて文埋 め込み生成の主なモデルとしては、Siamese Network を用いて BERT [1]を微調整する Sentence-BERT [2] や、正例と負例の文ぺアを構築して対照学習を行う SimCSE [3] などが挙げられる。しかし、これらは文 をべクトルとして表現する手法であり、文同士の類似度の指標としては基本的にコサイン類似度のよう な対称的な指標が用いられることから、包含関係や 階層構造など、 2 文間の非対称的な関係を捉えるこ とができない。

そこで本稿では、単語をガウス分布として表現す るガウス埋め込みを基に、図 1 に示すように文を ガウス分布として表現する手法を提案する。また、 KL ダイバージェンスを用いて文同士の階層構造を 表現可能な非対称的な類似度指標を提案する。自然

$
\begin{aligned}
& \text { 含意 (文1: A soccer game with multiple males playing. } \\
& \text { 文2 : Some men are playing a sport. } \\
& \text { 文3 : The man is sleeping. }
\end{aligned}
$

図 1 従来の点埋め込み (左図) と提案手法による埋め込 み (右図) の概要図。点埋め込みでは包含関係にある文 1 と文 2 のうちどちらが他方を包含するかを表現できない 一方、提案手法では包含関係を表現できる。

言語推論 (Natural Language Inference; NLI) 分類タス ク、および包含関係にある文ぺアに対してどちらが 包含する側であるかを推測するタスクを用いた実験 から、提案手法が従来の文表現と意味表現において 同等の性能を保ちつつ、文同士の包含関係を表現で きることを示す。

## 2 ガウス埋め込みに基づく文表現

本研究では、事前学習済み言語モデルに対照学習による微調整を適用して、包含関係を適切に捉 えた文のガウス埋め込みを獲得する。本節ではま ず、ガウス埋め込みの代表的な研究である Gaussian Embedding、および対照学習を用いた文埋め込みの 獲得手法である SimCSE について述べ、続いてそれ らを組み合わせた提案手法について述べる。

## 2.1 Gaussian Embedding

ガウス埋め达みの先行研究として、グラフの各 ノード $[4,5]$ やレビュー [6] をガウス分布で表現する ものがあるが、その代表的な手法として、単語をガ ウス分布として表現する Gaussian Embedding [7] が 挙げられる。Gaussian Embedding では単語 $w_{i}$ を、平
均ベクトル $\mu_{i}$ と分散共分散行列 $\Sigma_{i}$ を用いて次式の ように表現する。

$
w_{i}=\mathcal{N}\left(x ; \mu_{i}, \Sigma_{i}\right)
$

平均ベクトルが従来の点での表現に相当し、分散共分散行列が意味の広がりを表す。また 2 つの単語間 の類似度として、次式で示す KL ダイバージェンス を用いている。

$
D_{K L}\left(N_{i}|| N_{j}\right)=\int_{x \in \mathbb{R}^{n}} \mathcal{N}\left(x ; \mu_{i}, \Sigma_{i}\right) \ln \frac{\mathcal{N}\left(x ; \mu_{i}, \Sigma_{i}\right)}{\mathcal{N}\left(x ; \mu_{j}, \Sigma_{j}\right)}
$

$\mathrm{KL}$ ダイバージェンスは左辺の引数を入れ替えるこ とで値が変わる非対称的な指標であるため、階層構造といった埋め込み同士の非対称的な関係を捉える ことができる。Vilnis ら [7] は KL ダイバージェンス を基に Skip-gram [8] に倣った手法を用いてモデルを 学習させることで、単語の意味の広がりや含意関係 を捉えた表現を構成できることを示した。

## 2.2 Supervised SimCSE

近年、文埋め込みの生成法についての研究が非常に盛んである [9-14]。その中でも代表的なもの の一つに Supervised SimCSE [3] がある。Supervised SimCSE は、NLI データセットを用いた対照学習に よって、文埋め込みモデルを学習する。NLI デー タセットは前提文と仮説文のペアで構成されてお り、各ペアには、前提文が仮説文を含意することを 示す「含意」、前提文が仮説文と矛盾することを示 す「矛盾」、含意でも矛盾でもないことを示す「中立」のいずれかのラベルが人手で付与されている。 Supervised SimCSE では含意のラベルが付与されて いる文ペアを正例として埋め込みを近づけ、矛盾の ラベルが付与されている文ぺアおよびバッチ内で異 なるぺアに属する 2 文を負例として埋め込みを遠ざ ける対照学習を行うことで、2文間の類似度を推定 する Semantic Textual Similarity (STS) タスクにおいて 高い性能を達成している。

## 2.3 提案手法

本研究では、文 $s_{k}$ の意味をガウス分布 $N_{k}$ として 表現し、NLIデータセットを用いて教師あり対照学習を行うことで、文のガウス埋め込みを獲得する。提案手法の概要を図 2 に示す。まず文 $s_{k}$ を BERT に入力し、[CLS]トークンから文のベクトル表現 $v_{k}$ を獲得する。続いて、 $v_{k}$ を 1 層の線形層からなる ネットワーク2つに入力し、得られた出力をそれぞ

図 2 提案手法の概要図 (左図) と類似度 $\operatorname{sim}$ の概念図 (右図)。 $\operatorname{sim}$ は非対称的であるため、 $\operatorname{sim}\left(s_{1} \| s_{2}\right)$ と $\operatorname{sim}\left(s_{2} \| s_{1}\right)$ は異なる值をとる。

れガウス分布 $N_{k}$ の平均ベクトル $\mu_{k}$ 、分散共分散行列の対角成分 $\sigma_{k}$ とする。なお本手法では計算の効率化のため、Gaussian Embedding と同様に分散共分散行列の対角成分のみを分散の表現として用いる。以降 $\sigma_{k}$ は分散ベクトルと呼ぶ。

次に、文 $s_{j}$ に対する文 $s_{i}$ の類似度指標 $\operatorname{sim}\left(s_{i}|| s_{j}\right)$ を式 (3)により定義する。

$
\operatorname{sim}\left(s_{i} \| s_{j}\right)=\frac{1}{1+D_{K L}\left(N_{i} \| N_{j}\right)}
$

$\mathrm{KL}$ ダイバージェンスの値域は $[0, \infty)$ であることか ら、 $\operatorname{sim}\left(s_{i} \| s_{j}\right)$ の値域は $(0,1]$ となる。また、本指標は引数を入れ替えると値が変化する非対称な指標であり、 $N_{i}$ の分散が $N_{j}$ の分散より大きい場合、 $D_{K L}\left(N_{i} \| N_{j}\right)$ の方が $D_{K L}\left(N_{j} \| N_{i}\right)$ より大きくなる傾向があることから、 $\operatorname{sim}\left(s_{j} \| s_{i}\right)$ の方が $\operatorname{sim}\left(s_{i} \| s_{j}\right)$ よ り大きくなる傾向がある。

包含関係の学習では Gaussian Embedding と同様 に、より多様な文を包含する文ほどその埋め込みの 分散が大きくなるように学習を行う。これを実現 するため含意の文ペアを教師データとして用いて、包含する側である前提文の分散を大きく、包含さ れる側である仮説文の分散を小さくなるように学習する。これは、上述した類似度指標の性質から、 $\operatorname{sim}$ (仮説文\|前提文) が $\operatorname{sim}$ (前提文\|仮説文) より大 きくなるように学習することで実現が可能である。 また、含意関係にない、すなわち意味的に類似して いない文ぺアについては、 $\operatorname{sim}$ (仮説文川前提文)が 小さくなるように学習する。KL ダイバージェンス は分散に比べて平均の変化に大きく影響を受けると いう性質があることから、この操作により 2 文の平均ベクトルの距離が大きくなることが期待される。

モデルの学習には、Supervised SimCSE と同様、 NLI データセットを用いた対照学習を行う。対照学
習では、正例となる文同士の類似度が大きくなるよ うに学習を行うと同時に、負例となる文同士の類似度が小さくなるように学習を行う。本研究では、正例と負例の選定法として以下の 3 種類を用いる。

含意集合 含意ラベルが付与された前提文と仮説文 のペアの集合。意味的に類似した文同士が近づ くよう、含意関係にある文同士を正例とする。

矛盾集合 矛盾ラベルが付与された前提文と仮説文 のペアの集合。含意関係にない文同士が離れる よう、矛盾関係にある文同士を負例とする。

逆向き集合 含意集合の各ぺアにおける前提文と仮説文を入れ替えたもの。包含する側である前提文の分散を大きく、包含される側である仮説文 の分散を小さくなるように学習するため、逆向 きの含意関係にある文同士を負例とする。

図 3 に、あるバッチにおける、上記 3 つの正例と負例の選定法の概要図を示す。

正例と負例の集合の各要素に対し $\operatorname{sim}$ (仮説文 $\|$ 前提文)を計算し、softmax 関数を適用したもののク ロスエントロピー誤差を損失関数として定義する。 データセット中の前提文、含意ラベルが付与された 仮説文、矛盾ラベルが付与された仮説文のガウス埋 め込みをそれぞれ $N_{i} 、 N_{i}^{+} 、 N_{i}^{-}$とし、損失関数のう ち含意集合、矛盾集合、逆向き集合に対応する項を それぞれ $V_{E} 、 V_{C} 、 V_{R}$ としたとき、各バッチにおけ る損失関数は次式のように表せる。なお $n$ はバッチ サイズ、 $\tau$ は $\operatorname{sim}$ の増幅の度合いを調整する温度係数である。

$
\begin{aligned}
& V_{E}=\sum_{j=1}^{n} e^{\operatorname{sim}\left(N_{j}^{+} \| N_{i}\right) / \tau} \\
& V_{C}=\sum_{j=1}^{n} e^{\operatorname{sim}\left(N_{j}^{-} \| N_{i}\right) / \tau} \\
& V_{R}=\sum_{j=1}^{n} e^{\operatorname{sim}\left(N_{j} \| N_{i}^{+}\right) / \tau} \\
& \mathscr{L}=\sum_{i=1}^{n}-\ln \frac{e^{\operatorname{sim}\left(N_{i}^{+} \| N_{i}\right) / \tau}}{V_{E}+V_{C}+V_{R}}
\end{aligned}
$

以上の手法により、意味的に近い文同士はその埋 め込みの平均が近い值をとり、かつ包含関係にある 2 文では包含する側の分散が大きく、包含される側 の分散が小さく学習されることが期待できる。

## 3 評価実験

NLI 分類と包含の向き推定という 2 つのタスクに より、提案手法により得られるガウス分布に基づく 文表現の性能評価を行った。

図 3 学習時における正例と負例の選定法の概要図。行列 の各要素が $\operatorname{sim}$ (縦軸の文 $\|$ 横軸の文) に対応し、正例であ れば 1 に、負例であれば 0 に近づける。

## 3.1 評価方法

NLI 分類 包含関係の認識においての既存の手法との性能を比較するため、NLI 分類を行なった。 NLI 分類は、前提文と仮説文が提示され、前提文が 仮説文を含意しているか、2 文の内容が矛盾してい るか、関係がないかのいずれであるかを推測する夕 スクである。一般には上記の 3 値分類を行うが、本研究では NLI 分類を 2 值分類で行う。具体的には、 $\operatorname{sim}$ (仮説文 $\|$ 前提文) の値が閾値以上であれば含意、 そうでなければその他とする。

検証には Stanford NLI (SNLI) データセット [15] と SICK [16] データセットを使用し、分類の正解率と Precision-Recall (PR) 曲線の AUC を評価指標とした。分類の正解率は、開発セットにおいて閾値を 0 から 1 の間で 0.001 ずつ変化させた中で最も正解率が高 くなる閥値を算出し、その閥値でテストセットの分類をした際の評価値を用いた。なおどちらのデータ セットも各文ペアに含意、中立、矛盾の 3 種類のラ ベルが付与されているため、中立と矛盾を合わせて その他とした。またベースラインとして、学習済み の Supervised SimCSE モデル1)で同様の手法を用い た際の性能も評価した。

包含の向き推定 提案手法で獲得された文表現が 包含関係を階層構造として捉えられるかを評価す るために、含意関係にある事が分かっている 2 文 A、B に対し、どちらが包含する側の文であるかを 予測するタスクを行う。包含の向きを決定する指標として、 $\operatorname{sim}(A|| B)<\operatorname{sim}(B \| A)$ であれば $\mathrm{A}$ 、そう でなければ $\mathrm{B}$ を包含する側だとする類似度べース のものと、埋め込みの各次元の分散の積を $\operatorname{det}\left(\sigma_{A}\right)$ 、

1) https://huggingface.co/princeton-nlp/

sup-simcse-bert-base-uncased

なければ B を包含する側とする分散べースのものを 用いる。検証には SNLI と SICK のそれぞれのテス トセットのうち、含意ラベルが付与されているもの のみを用いた。

## 3.2 実験設定

事前学習済みモデルには HuggingFace2)が公開 しているライブラリである Transformers [17] か ら、BERT-base ${ }^{3}$ を利用した。Supervised SimCSE と 同様に、訓練データとして SNLI と Multi-Genre NLI (MNLI) データセット [18]を組み合わせたものを利用した。その他の詳細な実験設定は付録 A に示す。

損失関数については 2.3 節で述べた、含意集合、矛盾集合、逆向き集合の全てを用いる損失関数に加 え、矛盾集合および逆向き集合が性能にもたらす影響を検証するため、含意集合のみ、含意集合と矛盾集合、含意集合と逆向き集合、含意集合と矛盾集合 と逆向き集合の 4 種類の損失関数で実験を行った。

## 3.3 実験結果

NLI 分類タスクにおける実験結果を表 1 に示 す。実験した 4 つの損失関数の中では、Supervised SimCSE での負例の組み合わせと同じ、含意+矛盾が 最も高い性能を示した。含意と含意+矛盾、含意+逆向きと含意+矛盾+逆向きをそれぞれ比較すると、負例に矛盾集合を含むことで性能が向上し、SICKで は Supervised SimCSE の性能を上回っていることが 確認できる。一方、含意と含意+逆向き、含意+矛盾 と含意+矛盾+逆向きに注目すると、負例に逆向き集合を含むことで性能が低下している。含意の文ペア は意味的に類似しているものが多く、それらを負例 として用いる逆向き集合は NLI 分類においては性能 に悪影響を与えると考えられる。

包含の向き推定の性能を表 2 に示す。包含の向き 推定では、負例に逆向き集合を含むことで性能が大幅に上昇し、特にSNLI では約 $97 \%$ という非常に高 い割合で正しく包含の向きを推定する事ができた。 また、SICK においては包含+逆向きが最も高い性能 を示し、約 $72 \%$ の割合で正しく包含の向きを推定で きることがわかった。包含の向き推定では、SNLI と SICK の間で平均的な性能に大きな差が見られた。 これは、SNLI と SICKで、文ぺアの文長の比につい ての傾向が異なるためであると考えられる。SNLI表 1 各手法の NLI 分類における正解率と PR 曲線の AUC。表中の Sup-SimCSE は Supervised SimCSE を表す。

表 2 包含の向き推定の実験結果。類似度ベースの手法の 性能を「類似度」、分散ベースの手法の性能を「分散」の 列に記載している。

は SICK と比較して、前提文が仮説文より長い傾向 が強いため4)、文が長いほど分散が大きくなるよう に学習を行うことで、包含の向き推定が比較的簡単にできるようになると考えられる。一方で SICK は、前提文と仮説文の長さの比が平均してほとんど 同じであるため、文長の情報は包含の向き推定に寄与しない。したがって、このような文長によるバイ アスを利用できないことが、SICK の性能が相対的 に低いことの要因であると考えられる。これに対し て、提案手法のうち、逆向き集合を含む設定は SNLI と SICK 双方の性能が相対的に高くなっている。こ のことから、逆向き集合を用いる学習手法が、文長 のバイアスの影響を軽減し、意味的に妥当な文の包含関係を捉えるのに有用であることがわかった。

## 4 おわりに

本研究では従来の文埋め込み手法が抱える、文の 意味の広がりや包含関係を表現できないという問題 を解決するため、事前学習済み言語モデルと対照学習を用いた、ガウス埋め込みに基づく文表現の生成手法を提案した。評価実験の結果、従来のベクトル による文表現と同等の NLI 分類性能を達成したこと に加え、非対称的な類似度を用いた学習により、従来では困難であった包含の向きの推定においても高 い性能を達成した。今後はその他のタスクにおける 性能や、平均・分散ベクトルの分布に着目した埋め 込みそのものの解析も行なっていきたい。

2) https://huggingface.co

3) https://huggingface.co/bert-base-uncased

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp. 4171-4186, 2019.

[2] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, 2019.

[3] Danqi Chen Tianyu Gao, Xingcheng Yao. SimCSE: Simple Contrastive Learning of Sentence Embeddings. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), p. 6894-6910, 2021.

[4] Shizhu He, Kang Liu, Guoliang Ji, and Jun Zhao. Learning to Represent Knowledge Graphs with Gaussian Embedding. Proceedings of the 24th ACM International on Conference on Information and Knowledge Management, 2015.

[5] Aleksandar Bojchevski and Stephan Günnemann. Deep Gaussian Embedding of Graphs: Unsupervised Inductive Learning via Ranking. In 6th International Conference on Learning Representations (ICLR), 2018.

[6] Danushka Bollegala Ichiro Sakata Masaru Isonuma, Junichiro Mori. Unsupervised Abstractive Opinion Summarization by Generating Sentences with Tree-Structured Topic Guidance. In Transactions of the Association for Computational Linguistics (TACL), p. 945-961, 2021.

[7] Luke Vilnis and Andrew McCallum. Word Representations via Gaussian Embedding. arXiv:1412.6623, 2015.

[8] Kai Chen Greg Corrado Jeffrey Dean Tomas Mikolov, Ilya Sutskever. Distributed Representations of Words and Phrases and their Compositionality. arXiv:1310.4546, 2013.

[9] Zuozhu Liu Kwan Hui Lim Lidong Bing Yan Zhang, Ruidan He. An Unsupervised Sentence Embedding Method by Mutual Information Maximization. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1601-1610, 2020.

[10] Shaohan Huang Zihan Zhang Deqing Wang Fuzhen Zhuang Furu Wei Haizhen Huang Denvy Deng Qi Zhang Ting Jiang, Jian Jiao. PromptBERT: Improving BERT Sentence Embeddings with Prompts. arXiv.2201.04337, 2021.

[11] Bohan Li, Hao Zhou, Junxian He, Mingxuan Wang, Yiming Yang, and Lei Li. On the Sentence Embeddings from Pre-trained Language Models. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 9119-9130, 2020.

[12] Hongyin Luo Yang Zhang Shiyu Chang Marin Soljačić
Shang-Wen Li Wen-tau Yih Yoon Kim James Glass YungSung Chuang, Rumen Dangovski. DiffCSE: Differencebased Contrastive Learning for Sentence Embeddings. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp. 4207-4218, 2022.

[13] Moin Nabi Tassilo Klein. SCD: Self-Contrastive Decorrelation of Sentence Embeddings. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 394-400, 2022.

[14] Niklas Muennighoff. SGPT: GPT Sentence Embeddings for Semantic Search. arXiv.2202.08904, 2022.

[15] Christopher Potts Christopher D. Manning Samuel R. Bowman, Gabor Angeli. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP), p. 632-642, 2015.

[16] Marco Marelli, Stefano Menini, Marco Baroni, Luisa Bentivogli, Raffaella Bernardi, and Roberto Zamparelli. A SICK cure for the evaluation of compositional distributional semantic models. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC), pp. 216-223, 2014.

[17] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-Art Natural Language Processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP): System Demonstrations, pp. 38-45, 2020.

[18] Samuel Bowman Adina Williams, Nikita Nangia. A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), p. 1112-1122, 2018.

[19] Frank Hutter Ilya Loshchilov. Decoupled Weight Decay Regularization. In 7th International Conference on Learning Representations (ICLR), 2019.

## A 詳細な実験設定

提案手法によるモデルの学習では、SimCSE と同様、埋め込みの次元数を 768、エポック数を 3、温度係数を 0.05、最適化手法を AdamW [19] とした。 バッチサイズ、学習率についてはそれぞれ $\{16,32$, 64, 128, 256\}、\{1e-5, 3e-5, 5e-5 の 範囲で探索を行 い、後述するモデルの学習中の評価において最も性能の高い組み合わせを使用した。また学習率は、学習の開始時点から線形に減衰するよう学習率スケ ジューリングを行った。各ハイパーパラメータの組 み合わせごとの結果を表 3 に示す。

各実験では 100 step 毎に SNLI の開発セットを用 いた NLI 分類タスクにおける PR 曲線の AUC を算出し、最も性能が高かった時点のモデルを最終的な 性能評価に用いた。異なる乱数シード值で 5 回評価 を行った際の平均を評価スコアとした。

表 3 各バッチサイズと学習率ごとのモデルに対する NLI 分類の PR 曲線の AUC。表内の数值には 100 をかけて いる。

## B 前提文と仮説文の文長の比

SNLI および SICK の文ぺアに対し、前提文と仮説文の長さの比の対数をとった値についてのヒストグ ラムを図 4 に示す。SICK は文長の差がないことを 表す 0 付近に分布が集中しているが、SNLI は正の領域に分布が集中している。この事から、SNLI では 前提文が仮説文より長い傾向にあることがわかる。

図 4 前提文と仮説文の長さの比のヒストグラム。横軸は 前提文と仮説文の長さの比の自然対数、縦軸は文ぺアの 数を表し、青が SNLI、橙が SICK を表す。


# リフレーミングに基づいた言い換え生成のための 単言語パラレルコーパスの構築とその分析

河野誠也湯口彰重吉野幸一郎
理化学研究所ガーディアンロボットプロジェクト
\{seiya.kawano, akishige.yuguchi, koichiro.yoshino\}@riken.jp

## 概要

リフレーミングとは，ある枠組みで捉えられてい る物事の枠組みを外して違う枠組みで見ることを指 す. 言い換えもその結果の一つである。例えば，ネ ガティブな内容を異なった側面から捉えてポジティ ブにリフレーミングし言及することで，対話におい て話し手と聞き手の良好な関係の維持や自己肯定感の向上を期待することができる．このようなネガ ティブな発言をポジティブにリフレーミングするよ うな言語的配慮能力は，社会性を備えた対話システ ムを実現する上で重要である。そこで本研究では， ネガティブな表現をポジティブに言い換えるリフ レーミングの事例を，ウェブや書籍など複数の情報源から人手で収集し，単言語パラレルコーパスとし て整備，分析した。

## 1 はじめに

リフレーミングとは，短期療法や家族療法，ナラ ティブセラピー等で用いられる技法であり，ある枠組みで捉えられている物事の枠組みを外して，違う 枠組みで見ることを指す $[1,2,3]$. 発話によるネガ ティブな感情の発露は, 話し手と聞き手の双方にス トレスを与える可能性がある. このため，ネガティ ブな発話をポジティブにリフレーミングすることは 対話継続性向上の観点から重要で，リフレーミング により話し手の自己肯定感の向上や話し手と聞き手 の良好な関係の維持を期待することができる。この ような，ネガティブな発言をポジティブにリフレー ミングするような言語的配慮能力は，社会性を備え た対話システムを実現する上で重要である $[4,5]$.

そこで，本研究では，対話システムへの応用を志向してネガティブな表現をポジティブな表現にリフ レーミングする言い換え生成モデルを検討する。一般に，こうした言い換え生成の研究では，言い換え元と言い換え先のペアからなる大規模なパラレル データを言い換え生成モデルの学習データして必要 とする [6]. しかしながら，リフレーミングに着目 した言い換えを扱う利用可能なパラレルコーパスは 限られているのが現状である [5,3].

本研究ではネガティブな表現をポジティブな表現 にリフレーミングする言い換え生成モデルを構築す るための最初のステップとして，ウェブや書籍など 複数の情報源からネガティブな表現をポジティブな 表現にリフレーミングした事例を人手で収集し，リ フレーミングに基づいた言い換え生成モデルを学習 するための単言語パラレルコーパスを構築した。次 に，構築したコーパスに含まれるリフレーミング事例の分析と，構築したコーパスを学習データとして 用いた場合，既存の言い換え生成モデルがどの程度 の性能でリフレーミングに基づいた言い換えを生成 できるかについての検証を実施した。

## 2 関連研究

これまでに，発話文の感情極性やスタイルの変換 に着目した研究は数多く行われてきた $[7,3,8]$. 感情極性の変換では，単純には入力文（ないし発話，単語）と意味が真逆な文を生成する [9]. また，対話応答生成のタスクでは，目標応答の感情ラベルを陽 にモデルに生成条件として与えることで，与えた感情ラベルを反映しつつ対話履歴に対しても適切な応答を生成しようとする制御可能なニューラル会話モ デルが提案されている $[10,11]$. このような変換夕 スクでは元々の入力文の構造や属性に依存しないト ピックは変換後の文に保持されるが，変換前の文と 変換後の文の真理条件的意味が必ずしも等しくなる 保障はない.

一方で，スタイル変換のタスクでは，入力文の意味的内容を保持しつつ意味以外の情報を制御する 言い換えを生成することに焦点を当てる. 例えば，
元々の文の難解な表現を平易に言い換えたり，文の 丁寧さのレベルを制御したりする研究が行われてい る [6,12]. 本研究が対象とする，ネガティブな表現 をポジティブな表現にリフレーミングする言い換 えタスクは，スタイル変換のタスクと類似する。例 えば，「私は自己中心的です」という文をリフレー ミングすることを考える場合「私は自分を持ってい る」等と言い換えることができる.このような言い 換えは，言い換え後の文の真理条件的意味は完全に は等価ではないにせよ，フレーム（見方）を変えて 見た場合，一面では等価であるともみなすことがで きる.こうした変換を婉曲表現という観点で行うの が「皮肉」の生成である $[13,14]$. しかしながら，皮肉が他者に対する悪意に紐づいたものである一方 で，リフレーミングでは，より広範な概念を扱う。

リフレーミングに基づいた言い換えを生成する研究も近年行われている [3]. この研究 [3] では，ネガ ティブな発話をポジティブに言い換えるリフレー ミングの事例をクラウドソーシングで収集し，言い 換え生成モデルの学習データとして用いている。し かしながら，基本的には発話レベルでのリフレーミ ングや会話の含意に着目しており単語レベルやフ レーズレベルでの言い換えや，発話中に含まれる表現が持つ意味や含意を分析するには十分ではない. しかしながら, 日本語に着目したリフレーミング事例を収録したコーパスには制限があるのが現状であ る [5]. これに対して, 本研究では, リフレーミング に基づいた言い換え生成モデルを実現するために，様々な言い換えの粒度に基づいたリフレーミング事例を含んだ日本語言い換えコーパスを構築し，その 分析を実施する。

## 3 リフレーミング事例の収集と分析

スタイル変換を含む言い換え生成のタスクは，同一言語内の機械翻訳の問題と考えることができるた め系列変換モデルと相性が良い. 通常，系列変換モ デルは，数十万文対を超える大規模なパラレルコー パスを用いて学習されるが，リフレーミングタスク に着目した日本語のスタイル変換コーパスには限り がある [5]. そこで，本研究では最初のステップと して，ネガティブな表現をポジティブにリフレーミ ングして言い換えた事例を，ウェブや書籍など複数 の情報源から人手で収集し，リフレーミング表現生成モデルを学習するための小規模の単言語パラレル コーパスを構築する。

## 3.1 リフレーミング事例の収集

本研究では，リフレーミングの中でも，「社会的幸福や認知能力の向上を意図し」て行われるネガティ ブな表現をポジティブに言い換えるリフレーミング に着目し，そのようなリフレーミングの事例を Web や書籍から人手で収集した。より具体的には，「リ フレーミング」,「ネガポジ辞典」,「ネガティブポジ ティブ 言い換え」などの検索ワードを手掛かりと した調査を実施し，主に教育心理学，カウンセリン グ，自己啓発等を扱う複数の媒体を選定した。次 に，それらの媒体からネガティブな表現をポジティ ブに言い換えるリフレーミング事例を抽出し，単言語パラレルコーパスとして整備した。構築したコー パスの統計情報は表 1 のとおりである（より詳細な 分析は次節で述べる)。ここで，重複するレコード はマージし, 単一のネガティブ表現に対して複数の ポジティブな表現が可能な言い換え（正解）として 割り当てた。

構築したコーパスは先行研究 [3] とは異なり, 単語単位，フレーズ単位，文単位といった様々な言い 換えの粒度に基づいたリフレーミング事例を収録 している。例えば，「あきらめが早い」というネガ ティブなフレーズについては，「潔い」，「決断が早 い」,「気持ちの切り替えが早い，上手」などの他の ネガティブな表現（単語，フレーズを含む）が正解 として割り当てられている1)。

## 3.2 リフレーミング事例の分析

表 1 に示した通り，構築したコーパスに含まれ るユニークな言い換えぺア数は 2,664 件であり，そ の語彙サイズは 3,697であった（語彙サイズ > ユ ニークな言い換えペア数)。このことから，構築し

たコーパスは比較的小規模なコーパスでありなが らも，多様な語彙をサポートしていることが推察で きる. さらに，コーパスに収録されているポジティ ブ/ネガティブ表現の平均文字数, 平均単語数, 平均文節数を比較したところ，リフレーミング前である ネガティブ表現と比較してリフレーミング後の言い 換えであるポジティブ表現が比較的長いことが確認 できた. また，コーパスに含まれる各ネガティブ表現に対して, 平均して 2.4 件のポジティブ表現が可能な言い換えとして割り当てれられていることが確認できた.このことから，リフレーミングに基づい た言い換えは自由度が高いため，一対一の言い換え だけでなく一対多の言い換えを考慮する必要があ る.また，コーパスに含まれるユニークなネガティ ブ表現の数は 1,817 件であり, このうち 325 件のネ ガティブ表現がコーパス中で複数回出現することが 確認できた．具体的には，「素直」，「慎重」，「行動力がある」といった個人の性格や特性に関連した表現がコーパス中に複数回出現していることが確認で きた.

図 1: ネガティブ/ポジティブ表現を構成する 単語数をクラスとした場合の度数分布

図 1 にコーパス中のネガティブ/ポ゙ティブ表現 を構成する単語数をクラスとした場合の度数分布 を示す. 図 1 は，最もコーパスで出現しやすいネガ ティブぱジティブ表現のパターンとして， 1 単語と 4 単語で構成される単語がコーパス中に特に頻出す ることが確認できた．また，これらをピークとした 右側に裾野が広い分布が確認できる.このことか ら，構築したコーパスは多様な言い換えの粒度（単語，フレーズ，文等）に基づいたリフレーミングの 事例を収録している2)。

2）文字/文節数を基準とした場合の度数分布は付録 $\mathbf{B}$ を参照.

## 4 言い換え生成モデルの検証

本研究で構築したコーパスを学習データとして用 いて，リフレーミングに基づいた言い換え生成モデ ルの構築を検討する．具体的には，利用可能な既存 の言い換え生成モデルがどの程度の性能でネガティ ブな表現をポジティブな表現にリフレーミングして 言い換えることができるかについての評価とその限界について議論する。

## 4.1 言い換え生成モデルの学習と評価

ネガティブな表現をポジティブな表現にリフレー ミングして言い換えるような言い換え生成タスクを 検証する。しかしながら，本研究が構築したコーパ スのサイズは，このようなリフレーミングのための 言い換えを生成するモデルをゼロから学習するには 不十分である．そこで，本研究ではリフレーミング に基づいた言い換え生成モデルのベースラインとし て，他の大量の言語資源で事前学習された大規模言語モデルを，今回構築したコーパスに含まれるリフ レーミング事例でファインチューニングし，その言 い換え性能を評価する．比較に用いたモデルは以下 の通りである。

BERT 分散表現ベクトルのコサイン類似度に基 づいて，入力として与えられたネガティブ表現と最 も類似するポジティブ表現をコーパス中から検索 し，言い換えとする場合. 分散表現ベクトルには，事前学習済み日本語 BERT モデル³) の [CLS]トーク ンに対応する出力ベクトルを用いる。

GPT-2 Transformer decoder block に基づいた事前学習済み日本語 GPT-2 モデル4)をリフレーミング事例でファインチューニングする場合 [15].

T5 Transformer encoder-decoder モデルに基づいた 事前学習済み日本語 $\mathrm{T} 5$ モデル5)をリフレーミング 事例でファインチューニングする場合 $[16,17]$.

Japanese-dialog-transformer 日本語雑談対話 データ (Twitterデータ)で事前学習された Transformer encoder-decoder モデル [18] をリフレーミング事例で ファインチューニングする場合.

リフレーミングに基づいた言い換え生成モデルの 学習と評価には 5 分割交差検証を用いた ${ }^{6}$ ). 言い換
$ を参照
}

え生成の評価指標としては，言い換え生成モデルの 言い換え候補上位 100 件に正解の言い換えが完全一致で含まれている割合 Acc., 言い換え候補上位 100 件を用いたランキング評価値 MRR[19], 生成さ れた言い換えと正解の言い換えの bigram までの一致を考慮した BLEU[20], 生成された言い換えと正解の言い換えの分散表現ベクトルのコサイン類似度の平均 Sim. を用いた. 言い換え候補の順位付け については，BERTでは類似度を基準とし，GPT2， T5, Japanese-dialog-transformer ではランダムサン プリングで生成された言い換え候補の尤度を基準と した.

## 4.2 評価結果

表 2 に，学習した言い換え生成モデルの性能につ いて示す.ここで，括弧は各スコアが最大となるよ うな言い換えを言い換え候補集合から選択した場合の結果である。表 2 より, BERT が他のモデルと 比較して最も高い性能が示された。しかしながら， BERT は本研究で構築したコーパス全体に含まれる ネガティブ表現のセットを検索対象としていること から， GPT2，T5, Japanese-dialog-transformer のよ うに言い換え生成モデルの学習データには必ずしも 含まれないような未知のポジティブ表現を生成する ようなモデルと単純に比較するのは適切ではない. BERT は単純な類似度による検索に基づいており，検索対象のネガティブ表現の集合のサイズが極端に 大きくなるような場合や評価データに存在しないよ うな表現が存在するような場合，その性能は大きく 低下する。

したがって，完全な生成べースのモデルである GPT2, T5, Japanese-dialog-transformer が言い換え 生成モデルの実利用という観点からは重要である. これらのモデルにおいては，言い換えの正解との完全一致に基づいた厳密な指標である Acc. について， Japanese-dialog-transformer が特に高い性能を示し た. ここで，このモデルは今回用いたモデルの中で 最も巨大であり, 事前学習モデルのパラメータサイ ズが性能に影響した可能性がある。また，このモデ ルが他のモデルと異なり, 対話応答生成というタス クに特化した事前学習を行っていることにも留意す る必要がある.

Japanese-dialog-transformerを用いて実際にリフ レーミングのための言い換えをランダムサンプリン グを用いて生成し，その傾向を確認した（付録 $\mathbf{D}$ ).表 2: リフレーミングによる言い換え生成モデルの性能

 & $\mathbf{3 2 . 2}$ & $\mathbf{0 . 0 6}$ & $\mathbf{6 . 9}(\mathbf{4 1 . 9})$ & $0.75(\mathbf{0 . 9 0})$ \\

結果として，例えば，「頑固」といったような短い単語で構成されるようなネガティブ表現については，「協調性がある」といった元のネガティブな表現と は明らかに矛盾するような表現も一部生成されてい るものの，「意志が強い」，「信念がある」といった妥当な言い換えを生成できていることが確認できた.一方で，「受験に失敗して浪人してしまった」といっ た比較的長い文字数で構成されるネガティブ表現が 与えられる場合，「人生に絶望して自殺することに 決めた」といった不適切なリフレーミング事例を生成していることが散見された。これは，長い文字数 で構成されるリフレーミングの事例が学習データに 比較的少数しか出現していないことに起因する.

## 5 おわりに

本研究では，ネガティブな表現をポジティブな表現にリフレーミングする言い換え生成モデルのため の単言語パラレルコーパスの構築とその分析を行っ た. 構築したコーパスは単語，フレーズ，文単位と いった様々な変換粒度に基づいた多様なリフレーミ ング事例を含むことが確認できた。また，構築した コーパスを用いて大規模言語モデルを活用したリフ レーミングに基づいた言い換え生成モデルを評価 した.

今後の課題としては，構築したコーパスのさらな る拡張と言い換え生成モデルの改善に取り組む. ま た，リフレーミングによって生成された言い換えの 質についてより厳密に評価するために, 自動評価指標による評価だけではなく，人手による評価を実施 する. さらに，リフレーミングという行為は，その 動機や目的に応じて, 複数のタイプに分類すること ができるが，本研究ではそれらを明示的に区別して いない $[3,21]$. したがって，対話システムを始めと した各種アプリケーションでの応用を考えると，リ フレーミングに基づいた言い換え生成モデルが与え られた入力表現に対してどのようなタイプのリフ レーミングをするかを，モデルが明示的に制御でき るような枠組みが必要である.

## 謝辞

本研究は, JSPS 科研費 $\lceil 22 K 17958 」$ 及び JST ACT-X

「JPMJAX22A4」の助成を受けた。

## 参考文献

[1] James P Robson Jr and Meredith Troutman-Jordan. A concept analysis of cognitive reframing. Journal of Theory Construction \& Testing, Vol. 18, No. 2, 2014.

[2] 竹田葉留美. コラム: 出来事の視点を変えてポジ ティブに考える リフレーミングを活用したストレ スマネジメント〜. 情報の科学と技術, Vol. 67, No. 3, pp. 121-122, 2017.

[3] Caleb Ziems, Minzhi Li, Anthony Zhang, and Diyi Yang. Inducing positive perspectives with text reframing. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 3682-3700, 2022.

[4] Seiya Kawano, Akishige Yuguchi, and Koichiro Yoshino. Analysis of face act in multimodal japanese persuasion dialogue corpus. In Proceedings of International Workshop on Spoken Dialogue Systems Technology, 2023.

[5] 河野誠也, 湯口彰重, 吉野幸一郎ほか. 大規模言語モ デルを用いたリフレーミング表現の自動生成とその 評価. 研究報告自然言語処理 (NL), Vol. 2022, No. 9 , pp. 1-6, 2022.

[6] Tomoyuki Kajiwara and Mamoru Komachi. Building a monolingual parallel corpus for text simplification using sentence similarity based on alignment between word embeddings. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 1147-1158, 2016.

[7] Di Jin, Zhijing Jin, Zhiting Hu, Olga Vechtomova, and Rada Mihalcea. Deep learning for text style transfer: A survey. Computational Linguistics, Vol. 48, No. 1, pp. 155-205, 2022.

[8] Quan Hung Tran, Ingrid Zukerman, and Gholamreza Haffari. A hierarchical neural model for learning sequences of dialogue acts. In Proc. of ACL, Vol. 1, pp. 428-437, 2017.

[9] Bidisha Samanta, Mohit Agarwal, and Niloy Ganguly. Fine-grained sentiment controlled text generation. arXiv preprint arXiv:2006.09891, 2020.

[10] Hao Zhou, Minlie Huang, Tianyang Zhang, Xiaoyan Zhu, and Bing Liu. Emotional chatting machine: Emotional conversation generation with internal and external memory. In Proc. of AAAI, 2018.

[11] Chenyang Huang, Osmar Zaiane, Amine Trabelsi, and Nouha Dziri. Automatic dialogue generation with expressed emotions. In Proc. of NAACL-HLT, Vol. 2, pp. 49-54, 2018.

[12] Liye Fu, Susan Fussell, and Cristian Danescu-NiculescuMizil. Facilitating the communication of politeness through fine-grained paraphrasing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5127-5140,
2020.

[13] Mengdi Zhu, Zhiwei Yu, and Xiaojun Wan. A neural approach to irony generation. arXiv preprint arXiv:1909.06200, 2019.

[14] Aditya Joshi, Pushpak Bhattacharyya, and Mark J Carman. Sarcasm generation. In Investigations in Computational Sarcasm, pp. 119-127. Springer, 2018.

[15] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[16] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Ves Stoyanov, and Luke Zettlemoyer. Bart: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. arXiv preprint arXiv:1910.13461, 2019.

[17] 田中佑, 村脇有吾, 河原大輔, 黒橋禎夫. 日本語 wikipedia の編集履歴に基づく入力誤りデータセッ トと訂正システムの構築. 自然言語処理, Vol. 28, No. 4, pp. 995-1033, 2021.

[18] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems. arXiv preprint arXiv:2109.05217, 2021.

[19] Ellen M Voorhees, et al. The trec-8 question answering track report. In Trec, Vol. 99, pp. 77-82, 1999.

[20] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[21]兼折友美子, 畦地博子. 困難事例に対応する看護師の リフレーミングを促す技術. 高知女子大学看護学会誌, Vol. 39, No. 1, pp. 43-50, 2013.

[22] ネガポ辞典. 主婦の友社, 2012.

## 付録

## A 収集したリフレーミングの事例

表 A.1: 収集したリフレーミングの事例（文献 [22] より抜粋)

 \\

## B 文字/文節数に基づいた度数分布

図 B.3: ネガティブ/ポジティブ表現を構成する 文字/文節数をクラスとした場合の度数分布

## C言い換えモデルの学習の詳細

本研究が扱う，リフレーミングに基づいた言 い換え生成タスクは，ネガティブな表現 $N=\left[x_{1}\right.$ $\left., \cdots, x_{T}\right]$ が与えられたとき，それをポジティブに 言い換えたリフレーミング表現 $P=\left[y_{1}, \cdots, y_{T}^{\prime}\right]$ を 生成することである。ここで， $x_{*}, y_{*}$ は単語，T, $T^{\prime}$ はそれぞれ $N$ と $P$ の単語数である. 本研究では，こ のような言い換えを実現するために事前学習済み大規模言語モデルを以下の目的関数を最大化するよう にファインチューニングする。

$
J(\theta)=\frac{1}{\left|D_{N \rightarrow P}\right|} \sum_{\left(P_{i}, N_{i}\right) \in D_{N \rightarrow P}}^{M_{N \rightarrow P}} \log \left[p\left(P_{i} \mid N_{i}, \theta\right)\right]
$

ここで， $D_{N \rightarrow P}$ は，ネガティブな表現とポジティ ブな表現の言い換えぺアの集合（学習データ）， $\theta$ は 大規模言語モデルのパラメータ，p は目標言い換え 表現の生成確率である. より具体的には，言い換え 表現の予測結果と正解表現の間の交差エントロピー 誤差を最小にするようにモデルを学習する。ここ で，(1) 式はネガティブ表現を条件として与えたと きのポジティブ表現の生成確率に着目しているが実際のモデルに対する入力としては，GPT2では「ポ

ティブな表現に言い換えると:***」といったテ ンプレートに基づいた言い換えパターン生成するよ うにモデルを学習した．また，T5では，エンコーダ の入力に対するプレフィックスとして「ネガティブ な表現をポジティブな表現にリフレーミングして言 い換え: 」を与えてモデルの学習を行った。

## D 実際の言い換え生成の例

表 D.2: Japanese-dialog-transformerによる実際の言い換 え生成の例（ランダムサンプリング結果）

 \\


# テキスト平易化事例を説明する最小編集操作列の自動生成

山口大地 ${ }^{1}$ 宮田玲 ${ }^{1}$ 藤田篤 ${ }^{2}$ 梶原智之 ${ }^{3}$ 佐藤理史 ${ }^{1}$
1 名古屋大学大学院工学研究科 2 情報通信研究機構
3 愛媛大学大学院理工学研究科
yamaguchi.daichi.e4@s.mail.nagoya-u.ac.jp

## 概要

テキスト平易化システムの評価手法が種々提案さ れてきたが、システムを詳細に分析できる評価手法 の開発は進んでいない。我々はそのような評価の自動化に向け、テキスト平易化事例を説明する最小編集操作列の自動生成という新しいタスクを提案す る。本稿では、このタスクを定式化するとともに、 このタスクを実現するための我々の提案手法につい て説明する。そして、提案手法の一部を実装し、最小編集操作列を半自動で生成する実験を行った結果 について報告する。

## 1 はじめに

テキスト平易化 (text simplification, TS) はテキスト の主要な情報を保持しつつ、語彙や構造の複雑さを 軽減するタスクである [1]。TS は第二言語学習者や 子どもの学習支援に利用でき、また機械翻訳や文章要約のような自然言語処理タスクの改善のための前処理として利用することが期待できる $[2,3]$ 。

TS システムの評価には自動評価と人手評価 が広く使われてきた。自動評価では、SARI [4] や BLEU [5]、FKGL [6] などの評価指標が用いられてき た。人手評価では、流暢性、妥当性、平易度の観点 から、それぞれ 3 5 段階での評価が行われてきた $[7,8,9]$ 。しかし、これらの評価はいずれもシステム の振る舞いや特徴を一つの評価尺度に集約してしま うものであるため、評価結果に基づいてシステムの 振る舞いや特徴を説明することは難しい。TS のエ ンドユーザーは難解文を理解できないことが想定さ れるため、TS システムがどのような編集操作を適用したかを説明することは重要である。従って、そ のような説明を可能にする評価手法が必要である。

TS システムが適用した編集操作を説明する評価方法は分析的評価と呼ばれる [10]。これも人手評価 の一つではあるが、一連の編集操作の適用前後の文

図 1: 最小編集操作列の生成例

対に対して単一のスコアを与えるような人手評価 とは異なる。山口らの手法 [10] では、図 1 に示すよ うに、難解文と平易文の対を最小編集操作列に分解 し、各編集操作を平易化方略体系に基づいて分類 する。平易化方略体系は、語や句といった文法的 な単位に対する形式的な操作である表層的方略と、平易化の観点からの意味・内容の変更操作である 内容的方略からなる。例えば、図 1 の “Scientists $\Rightarrow$ Researchers”の編集は、\{表層的方略：語置換, 内容的方略：上位語への言い換え\}に分類される。

分析的評価における編集操作の分類は TS タスク に依存する。しかし、TS 事例を説明する最小編集操作列の自動生成の手法は、TS に限らず、機械翻訳 の前編集や後編集、文章要約、文法誤り訂正などの 分析にも利用できる可能性がある。そこで我々は、分析的評価の自動化に向けて、他のタスクにも利用 できる可能性のある最小編集操作列の自動生成に取 り組んでいる。本稿では、このタスクの詳細な説明 と我々のアプローチについて報告する。

## 2 問題の定式化

所与の文対 $\left(X_{a}, X_{b}\right)$ に対し、次の条件を満たす編集操作列 $\mathbf{E}=\left(E_{1}, \ldots, E_{n}\right)$ を $\left(X_{a}, X_{b}\right)$ に対する最小編集操作列と呼ぶ。

$
X_{i}=E_{i}\left(X_{i-1}\right) \quad \text { s.t.d }\left(X_{i-1}, X_{i}\right)=1
$

ただし、 $X_{0}=X_{a} 、 X_{n}=X_{b}$ である。 $X_{i}$ は文法的な適切性を保つ文である。 $E_{i}$ は引数の入力文 $X_{i-1}$ のあ る箇所を別の表現に編集する関数であり、返り値の 文 $X_{i}$ を $X_{i-1}$ に対する編集適用文と呼ぶ。 $d(A, B)$ は $A$ から $B$ を生成するために必要な最小編集操作の回数を返す関数である。なお、最小編集操作とは、書 き換え後の文法的な適切性を保ちつつ、これ以上分解できない編集操作とする [11]。本稿でも、この操作的な定義を踏襲し、最小性に関する概念的・言語学的定義は与えないが、原則として、文字単位の置換・追加・削除ではなく、文法的な単位での編集操作とする。

最小編集操作列の自動生成タスクでは、難解文と 平易文の対を入力として、最小編集操作列を出力す る。形式的には、難解文と平易文の対 $\left(X_{\text {comp }}, X_{\text {simp }}\right.$ ) が与えられたとき、以下で表される最小編集操作列解を 1 つ生成するタスクとする。

$
\begin{gathered}
\hat{\mathbf{E}}=\arg \min _{\mathbf{E} \in \mathbb{E}} \text { length }(\mathbf{E}) \\
\text { where } \mathbb{E}=\left.\{\mathbf{E} \mid X_{\text {comp }}=E_{n}\left(\ldots E_{1}\left(X_{\text {simp }}\right)\right)\right.\}
\end{gathered}
$

length は系列の長さを返す関数である。すなわち、 $X_{\text {comp }}$ から $X_{\text {simp }}$ への最小編集操作列のうち、編集と その逆の編集のようなループを含むて長な系列を避 け、長さが最小のものを生成する。

このタスクに取り組む上で特に考慮すべき点とし て、以下の 3 つが挙げられる。なお、これ以降、最小編集操作を “ $\mathrm{A} \Rightarrow \mathrm{B}$ ” と表し、 2 つ以上の最小編集操作の含まれた編集操作を “ $\mathrm{A} \Rightarrow *$ * B”と表す。

I . 編集操作の依存関係 編集操作には依存関係、 すなわち編集操作列の順序における優先性が存在 する場合がある。例えば、“tell me the truth $\Rightarrow *$ * state the truth"は "tell me the truth $\Rightarrow$ tell the truth" と "tell the truth $\Rightarrow$ state the truth” で構成され、後者は前者に依存する。このような依存関係がある場合、一方の編集操作を生成しなければ他方は生成できない。

II. 編集対象箇所の入れ子 編集対象箇所が重複し、入れ子になる場合がある。図 1 の “Scientists who study the brain $\Rightarrow^{*}$ Brain researchers" は "Scientists $\Rightarrow$ Researchers" $と$ "Researchers who study the brain $\Rightarrow$ Brain researchers” で構成され、編集対象箇所が入れ 子になる。編集対象箇所の入れ子は I の特徴に似て いるが、複数の順序が存在しうる点が異なる ${ }^{1)}$ 。

III. 表層上に現れない編集 最小編集操作が $X_{\text {comp }}$ と $X_{\text {simp }}$ の表層上に現れない語によって構成

1）例に挙げた編集操作は “Scientists who study the brain $\Rightarrow$ Brain scientists”と “scientists $\Rightarrow$ researchers"でも実現できる。

図 2: 最小編集操作列の生成手法

される場合がある。例えば、“start using $\Rightarrow *$ * do” は "start using $\Rightarrow$ start doing" と “start doing $\Rightarrow$ do" から構成され、“doing”は表層上に現れない。

## 3 最小編集操作列の生成手法

## 3.1 考えられるアプローチ

このタスクに対するアプローチとして、アライメ ント手法と生成的手法の 2 つが考えられる。

アライメント手法 アライメント結果に基づい て、組み合わせ最適化問題として解くことがで きる。例えば、“multiple solutions $\Rightarrow$ * several ways" は “multiple $\Rightarrow$ several" と “solutions $\Rightarrow$ ways" で構成でき るということをアライメント結果の組み合わせで解 けば良い。この方法は、アライメント結果さえ正し ければ、確実に編集操作を生成することができる。 しかし、先述した 3 つの特徴を持つ編集が存在する 場合、解くことができない。図 1 のように最小編集操作の生成とアライメントを繰り返し行うことで I と II の特徴を持つ編集操作を生成することはできる が、原理的にIIIの特徴を持つ編集操作を生成するこ とはできない。

生成的手法 TS システムで反復改良法 [12] を用 いて、難解文を少しずつ平易文に近づけることも考 えられる。この方法は、原理的には全ての編集操作 を生成することができる。しかし、TS システムが 生成する文が入力文に対して最小編集操作を適用し たものであることは保証できない。

原文と目標文の 2 文の間を補完する文を生成する テキストモーフィングというタスクが存在する [13] が、最小編集操作の制約は考慮されていない。

## 3.2 提案手法

本稿では、アライメント手法と生成的手法を組み 合わせた手法を提案する。具体的には、図 2 の 4 つ の機構で最小編集操作を逐次的に生成する。アライ メント手法（図 2: (1)～(3)）を主に用い、生成的手法 (図 2: (4) でアライメント手法を補う。以下、各機構について説明する。

(1)フレーズアライナー 難解文と平易文の対を入力し、フレーズアライメントを出力する。ここで、得られたアライメントを編集操作候補とする。編集操作としては文法的な単位での操作のみを認める （2 節）ため、アライメントは文法的な単位に則った 出力をする必要がある。

(2)適切性フィルタ 編集操作候補の集合を入力 し、編集操作として適切な編集操作候補のみを出力 する。ここで、適切な編集操作とは、適用した時に 文法的な適切性が保たれる編集操作である。適切で ある確率 $P_{a p p}$ が間値よりも高い候補を適切とする。

(3)最小性フィルタ 編集操作の集合を入力し、最小である確率 $P_{\min }$ の高い上位 $M$ 個の編集操作を出力する。

(4)最小編集操作生成器 2) 編集操作を $I$ 個入力し $(I \leq M)$ 、最小編集操作を $O$ 個生成する $(O \leq I)$ 。最小編集操作生成器では、アライメントで原理的に 生成できない編集操作を生成できる可能性がある。

## 4 提案手法の実装

## 4.1 各機構の実装の詳細

(1)フレーズアライナー Enju $^{3}$ の)出力に基づいて 文法的な単位でのアライメントを出力する Arase and Tsujii [14] ${ }^{4}$ の手法を利用する。

(2)適切性フィルタ BERT [15] 5) 微調整し、実装する。適切性フィルタでは、編集操作候補を独立に処理し、条件を満たす編集操作のみを出力す る。図 3 に適切性フィルタの構成を示す。この構成は、難解文と平易文の差分と対象フレーズの差分を比較すれば、編集操作の適切性を判定できる という直感に基づいている6)。適切性フィルタに

2）検討段階のため以降の節では扱わない。

3) https://github.com/mynlp/enju

4) https://github.com/yukiar/phrase_alignment_cted

5) https://huggingface.co/bert-base-cased

6）いくつかの構成を試し、検証データで最も性能の良い構成 を選択した。

図 3: 適切性フィルタの構成

図 4: 最小性フィルタの構成

は難解文と平易文、難解文と平易文の編集箇所を 表す対象フレーズを入力する。文埋め込みとして 文頭の CLS トークンに対して BERT が出力する ベクトルを使用する。フレーズ埋め込み $\mathbf{p}$ として は、対象フレーズの文中の位置を表す 2 值べクト 儿系列 $\mathbf{m}\left(=\left(m_{1}, . ., m_{L}\right), m_{i} \in\{0,1\}\right)$ を用い、対象フ レーズに含まれるトークンの埋め込み $\mathbf{h}$ の平均 $\mathbf{p}=\frac{1}{\sum_{i=1}^{L} m_{i}} \sum_{i=1}^{L} m_{i} \mathbf{h}_{i}$ を用いる。そして、難解文と平易文の文埋め込みの差分とフレーズ埋め込みの差分 を直結し、全結合層に入力する。

(3)最小性フィルタ 図 4 に最小性フィルタの構成 を示す。最小性の判断をするためには、難解文と平易文の関係、難解文と編集適用文の関係が重要であ る6) 。最小性フィルタには、難解文と平易文を SEP トークンで結合した文と、難解文と編集適用文を SEP トークンで結合した文、難解文と平易文の編集箇所のフレーズ埋め込みを入力する。フレーズ埋め 込みは適切性フィルタと同じ方法で獲得する。これ ら全ての埋め込みを直結し、全結合層に入力する。

## 4.2 フィルタの訓練と評価

各フィルタの訓練、および評価のデータは次の 手順で作成した。まず Newsela $^{7}$ ) の Popular カテゴリ の 3 文書から難解文と平易文の対 297 件を抽出し、 Arase and Tsujii [14] の手法を用いてフレーズアライ メントを行って編集操作候補を抽出した。次に各編集操作候補に対して、第 1 著者が適切性を判定し、適切と判断されたもののみについて最小性を判定し

表 1: 各フィルタに使用したデータの分布

(a) 適切性フィルタ

表 2: 各フィルタの評価結果

(a) 適切性フィルタ

(b) 最小性フィルタ

た。このようにして得られたデータの分布を表 1 に 示す8)。

評価の際には、適切性フィルタ、および最小性 フィルタの閾値は 0.50 とした。両フィルタの評価結果を表 2 に示す。結果から、両フィルタは分類器 としてはある程度機能していると考える。

## 5 最小編集操作列の生成実験

3〜4節で述べた機構で、最小編集操作列の生成が どの程度できるかを検証した。

## 5.1 実験設定

図 2 の(1)〜(3)の機構のみを用いて行った。最小編集操作を 1 つ生成し、適切性と最小性を都度、人手 で確認した。正しい最小編集操作が生成できた場合 は、繰り返し同じ処理を行った。繰り返し処理は、正しい最小編集操作が生成できなかった場合、ある いは編集適用文と平易文が一致したときに終了し た。適切性フィルタの閾値は 0.50 とした。最小性 フィルタは最も $P_{\min }$ の高い編集操作を 1 つのみ出力 し $(M=1) 、$ ビーム探索は行わないこととした。評価データは、Newsela の Popular カテゴリから新 たに 7 文書を収集して作成した。まず TER [16] が 0.5 以下の難解文と平易文の対を 0.1 刻みに 10 文対 ずつ合計 50 文対抽出した。そして、各文対に対し て第 1 著者が最小編集操作列を与えた。これらの $\mathrm{TS}$ 事例は最大 4 回の編集操作が適用されていた。

## 5.2 結果

50 文対中 22 文対において、最小編集操作列の生成に成功した。表 3 に編集数ごとに正しい最小編集操作列を生成できた割合を示す9)。編集数が 3 以上

8）訓練時のハイパーパラメータ等については付録 $\mathrm{A} を$ 参照 されたい。

9）編集数・編集距離と成功率の関係については付録 Bを参照されたい。表 3: 編集数ごとの成功率

表 4: エラーの原因とその件数

の事例では、ほとんど成功していない10)。

## 5.3 エラー分析

表 4 にエラーの原因とその件数を示す11)。フレー ズアライナーの出力に最小編集操作が含まれていな い場合は、フレーズアライナーが原因のエラーとす る。フレーズアライナーのエラーに対しては、それ らを補う前処理や後処理を行う必要がある。適切性 フィルタが原因のエラーは全体の半分以上を占めて いる。 16 件のうち 9 件は $P_{\min }$ の上位 5 つの中に最小編集操作が含まれていた。従って、ビーム探索に よって適切性フィルタのエラーを補うことができる と期待できる。最小性フィルタが原因のエラーのほ とんどは訓練データ内に存在しない編集操作であっ た。最小性フィルタの訓練事例は 994 件と少ないた め、データの拡張によって性能を改善できる可能性 もある。

## 6 おわりに

本稿では、最小編集操作列の生成という新しい夕 スクについて述べた。そして、我々はこのタスクを 4 つの機構で行うことを提案した。一部を実装して 行った半自動的な実験の結果、50 文対中 22 文対に 対する最小編集操作列の生成に成功した。

今後はビーム探索の実装やデータの拡張などの改良を加えていく。また今後の展望として、以下が挙 げられる。

・最小編集操作生成器の作成

・TS システムの出力への適用
- 編集操作の分類器の作成

・TS システム自体の説明可能性の向上
$ を参照されたい。

11）これらのエラーのほとんどが 1 つ目の最小編集操作の生成時に発生した。
}

## 謝辞

本研究は JSPS 科研費（課題番号：19H05660）お

よび KDDI 財団調査研究助成 (課題名：平易な文化財情報を執筆・翻訳する技術）の支援を受けた。

## 参考文献

[1] Fernando Alva-Manchego, Carolina Scarton, and Lucia Specia. Data-driven sentence simplification: Survey and benchmark. Computational Linguistics, Vol. 46, No. 1, pp. 135-187, 2020.

[2] Advaith Siddharthan, Ani Nenkova, and Kathleen McKeown. Syntactic simplification for improving content selection in multidocument summarization. In Proceedings of the 20th International Conference on Computational Linguistics (COLING), pp. 896-902, 2004.

[3] Sanja Štajner and Maja Popovic. Can text simplification help machine translation? In Proceedings of the 19th Annual Conference of the European Association for Machine Translation (EAMT), pp. 230-242, 2016.

[4] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing statistical machine translation for text simplification. Transactions of the Association for Computational Linguistics (TACL), Vol. 4, pp. 401-415, 2016.

[5] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. BLEU: A method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 311-318, 2002.

[6] J. Peter Kincaid, Robert P. Fishburne Jr, Richard L. Rogers, and Brad S. Chissom. Derivation of new readability formulas (Automated Readability Index, Fog Count and Flesch Reading Ease Formula) for Navy enlisted personnel. Technical report, Institute for Simulation and Training, University of Central Florida, 1975.

[7] Sanja Štajner and Sergiu Nisioi. A detailed evaluation of neural sequence-to-sequence models for in-domain and cross-domain text simplification. In Proceedings of the 11th International Conference on Language Resources and Evaluation (LREC), pp. 3026-3033, 2018.

[8] Elior Sulem, Omri Abend, and Ari Rappoport. Simple and effective text simplification using semantic and neural methods. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 162-173, 2018.

[9] Suha S. Al-Thanyyan and Aqil M. Azmi. Automated text simplification: A survey. ACM Computing Surveys, Vol. 54, No. 2, pp. 1-36, 2021.

[10] 山口大地, 島田紗裕華, 宮田玲, 佐藤理史. テキスト平易化 システムの分析的評価のための平易化方略体系の構築. 言語処理学会第 28 回年次大会発表論文集 (NLP), pp. 506-510, 2022.

[11] Rei Miyata and Atsushi Fujita. Understanding pre-editing for blackbox neural machine translation. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics (EACL), pp. 1539-1550, 2021.

[12] Jared Lichtarge, Chris Alberti, Shankar Kumar, Noam Shazeer, Niki Parmar, and Simon Tong. Corpora generation for grammatical error correction. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) (NAACL-HLT), pp. 3291-3301, 2019.

[13] Shaohan Huang, Yu Wu, Furu Wei, and Ming Zhou. Text morphing. CoRR, Vol. abs/1810.00341, pp. 1-12, 2018.

[14] Yuki Arase and Jun'ichi Tsujii. Compositional phrase alignment and beyond. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Em- pirical Methods in Natural Language Processing (EMNLP), pp. 1611-1623, 2020.

[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) (NAACL-HLT), pp. 4171-4186, 2019.

[16] Matthew Snover, Bonnie Dorr, Rich Schwartz, Linnea Micciulla, and John Makhoul. A study of translation edit rate with targeted human annotation. In Proceedings of the 7th Conference of the Association for Machine Translation in the Americas: Technical Papers (AMTA), pp. 223-231, 2006.

## A 各フィルタの訓練詳細

各フィルタのハイパーパラメータを表 5 に示す。訓練時には、BERT のパラメータも更新した。

表 5: 各フィルタのハイパーパラメータ

(a) 適切性フィルタ

(b) 最小性フィルタ

## B 編集数・編集距離と成功率の関係

表 6 に編集数・編集距離と成功率の関係を示す12)。編集距離は TER の計算時に導出されるものを使用し た。編集距離が大きくなるにつれて、成功率は下がっていた。しかし、編集数が 1 の事例は編集距離にかか わらず半分以上成功していた。

表 6: 編集数・編集距離と成功率

## C システム出力

表 7 に最小編集操作列の生成に成功した事例を示す13)。生成した編集操作に該当する部分を同じ色で示し ている (e.g., “Scientists $\Rightarrow$ researchers”)。提案した構成で入れ子構造に対しても、最小編集操作列を生成でき ていた。表 8 に最小編集操作列の生成に失敗した事例を示す。

## 表 7: 最小編集操作の生成に成功した事例

} \\

12）編集数は常に編集距離以下になるため、編集数が編集距離より大きい欄は空白にしている。

13）表 7、表 8 中の難解文と平易文の例は https://newsela.com/read/lib-mindset-matters/id/39794/より引用した。


# ニューラル数式ソルバーにおける途中結果の追跡と操作

松本悠太 ${ }^{1}$ Benjamin Heinzerling ${ }^{2,1}$ 吉川将司 ${ }^{1}$ 乾健太郎 1,2
1 東北大学 2 理化学研究所
yuta.matsumoto.q8@dc.tohoku.ac.jp benjamin.heinzerling@riken.jp
yoshikawa@tohoku.ac.jp kentaro.inui@tohoku.ac.jp

## 概要

言語モデルのより深い理解のためには、「モデル 内部でどのような処理が行われているか」という観点も重要である。我々は単純な数式とその途中結果 に着目することで、Transformer モデルが複数ステッ プに及ぶ処理を行っているかを検証する。途中結果 の情報が符号化されている箇所を特定する Tracing と、符号化されている箇所の状態を操作してモデル に対して因果的介入を行う Manipulation の二つの実験を行なった結果、内部表現の特定の方向が線形に 近い形で途中結果を符号化していること、そしてそ のような方向がモデルの推論結果に対して因果的に も関係していることを示す。

( www.github.com/cl-tohoku/trace-manipulate

## 1 はじめに

近年の言語モデルは数量推論のような複雑な処理 が必要だと思われる問題においてもある程度高い性能を出せることが知られている $[1]$ 。また、複数の 先行研究では線形代数や初等数学のような数値計算 のタスクを通じて言語モデルが持つ潜在的な能力を 測っており [2,3]、現在のモデルによって解ける問題や解けない問題の性質が分かりつつある。

一方で、モデルがこのような問題を解く際、その 内部で何が行われているかについての研究はほとん ど行われていない。しかし、モデルの能力をよりよ く理解するためには、入出力の結果だけでなくその 内部での処理を分析することも非常に重要だと考え られる。我々は過去にモデルが途中結果を介した複数ステップの推論を行なっているかを調べるため に、四則演算を学習した Transformer [4] の隠れ層を 分析し、四則演算の途中結果 ${ }^{1}$ がモデル内部の特定 の方向に保存 (符号化) されていることを示した [5]。
 は 154,290,116, 223 などである。本研究ではこの研究を拡張し、途中結果とモデル 内部状態の相関関係だけでなく、因果関係も調査 する。具体的には、四則演算を学習した Transformer の内部状態から主成分分析を用いて途中結果と相関 の高い、すなわち途中結果を符号化しているような 方向を抽出したのち、その部分のアクティベーショ ンを操作してモデルの予測結果の変化を観察する。 これによって、途中結果を符号化している部分がモ デルの推論に与える因果的な影響を調査する。その 結果、途中結果を符号化しているような方向の中に は実際にモデルの推論時にも使用されているものが あることを確認できた。また、相関が高くてもモデ ルの推論には使用されていない方向も確認されたた め、モデルの内部を分析する際に因果的な関係を調査することの重要性を示唆する結果となった。

本論文の貢献は、Transformer モデルの内部でどの ような処理が行われているのかを因果推論まで含め て詳細に分析できた点である。

## 2 関連研究

言語モデルと数値 複数の先行研究は、近年の言語モデルが数学的な問題をある程度解けることを 示している。Geva ら [1] は大規模言語モデルを使用 することで、数量推論タスクでほぼ最先端の性能を 達成できることを示した。また、数值計算に特化さ せた Transformer は初等数学や線形代数といった記号推論の問題をある程度解けることも示されてい る $[2,3]$ 。彼らの知見に基づき本研究では、モデル に解ける問題として四則演算を取り上げる。

モデル内部の分析 モデルの内部表現にどのよう な情報が符号化されているかについては、近年高い 関心が集まっている。このような研究の多くはプ ロービングの文脈で行われているが [6, 7]、Shibata ら [8] は我々と似た手法で実験を行っている。彼ら は形式言語で訓練した言語モデルを分析して、形式言語の深さと高い相関を持つアクティベーションの

図 1: 途中結果の追跡 (Tracing) と操作 (Manipulation) の概要。Tracing では PCAを用いて、数式中の途中結果 と相関が高いモデル内の方向を追跡する。Manipulation では、Tracing で追跡された方向に沿ってモデルのア クティベーションを操作した際のモデル予測の変化を観察する。

存在を示した。また、Elzar ら [9] はプロービングに よって抽出できる特徵は必ずしもモデルの推論には 使われていないことを明らかにし、内部表現への因果的介入を行う重要性を示した。本研究ではモデル の隠れ層を分析対象として、途中結果の情報を符号化している部分を抽出し、アクティベーションを連続的に変化させることで抽出された情報がモデルの 推論に使用されているかを調査する。

## 3 手法

本節では図 1 に示した本研究の提案手法について 記述する。まず四則演算のデータで Transformer を 訓練した後、下記に示す 2 つの方法でモデルの内部状態と数式の途中結果の関係を調査する。

## 3.1 途中結果の追跡 (Tracing)

数式 (大力)を変化させると、出力と同時に隠れ 層の表現も変化する。では、この表現は数式中の途中結果とどのような関係があるのだろうか。汎化し たモデルの表現空間はタスクの特徴を捉えたよう な構造になる [10] ことを考慮すると、数式中の途中結果は表現空間になんらかの形で符号化されて いるはずである。我々は一番単純な符号化の形とし て、表現空間中の特定の方向と途中結果の関係を調 べる。まず、モデルの各層に対してその表現空間中 で支配的な方向を見つける。モデルの $l$ 層目, $j$ 番目のトークンにおける表現 $h_{j}^{l}$ を全て連結した表現 $H^{l}=h_{1}^{l} \oplus h_{2}^{l} \oplus \cdots \oplus h_{n}^{l}$ に対して主成分分析 (PCA)を 行うことで、主成分 $p_{k}^{l}, k \in[1, \ldots, K]$ を得ることが

中のあるインスタンス $i$ に対してこの PCA モデル を適用すると、各主成分の重み $p_{i, k}^{l}$ を得ることが できる。次に、数式中の途中結果 $R_{i}^{j}$ と各主成分 $p_{k}^{l}$ の重みの相関 $\operatorname{corr}\left(R_{i}^{j}, p_{i, k}^{l}\right)$ を測る。これを各層に おける全ての途中結果と主成分の直積に対して行

(a) 1 層目

(b) 3 層目

(c) 4 層目

図 2: 層ごとの各主成分重みと数式の途中結果の相関関係のヒートマップ。各セルは第 $k$ 主成分の重み（列） とある途中結果（行）との相関係数の絶対値を表す。

うことで、ある途中結果と最も相関の高い主成分で ある最大相関方向 $\hat{p}_{k}^{l}\left(R^{j}\right):=\operatorname{argmax}_{k}\left(\operatorname{corr}\left(R_{i}^{j}, p_{i, k}^{l}\right)\right)$ を得る。仮に最大相関方向の相関が十分高ければ、対応する途中結果を符号化していると考えることが できる。例えば、図 1 のイメージは $a-(b-c)$ とい う数式における途中結果 $a$ や $b-c$ の値がある層の ある主成分に符号化されていることを表す。

## 3.2 途中結果の操作 (Manipulation)

本節では、Tracing によって得られた最大相関方向 がモデルの推論に使用されているのかを検証するた め、モデルに対して因果的介大を行う。具体的には 図 1 下部に示すように、主成分に沿ってモデルのア クティベーションを操作し、それによるモデルの予測結果の変化を観察する。定式化して表すと、 $l$ 層目の表現 $H^{l}$ に対して次の式に基づいて主成分 $p_{k}^{l}$ の 重みを $r$ 倍することで、操作後の表現 $H^{l^{\prime}}$ を得る。

$
H^{l^{\prime}} \leftarrow H^{l}+(r-1)\left(p_{k}^{l^{\top}} H^{l}\right) p_{k}^{l}
$

直観的には $r$ を変化させることで主成分 $p_{k}^{l}$ に沿っ てアクティベーション $H^{l}$ が移動し、それに伴って モデルの予測結果も変化する。

もし最大相関方向 $\hat{p}_{k}^{l}\left(R^{j}\right)$ が因果的にも途中結果 $R^{j}$ を符号化しているのであれば、 $p_{k}^{l}$ の重みを動か すことは数式の途中結果 $R^{j}$ を動かすことに対応し ていると考えられる。すなわち、 $R_{i}^{j}=f\left(p_{i, k}^{l}\right)$ とな るような関数 $f$ を定義できる。この時、逆関数を取 ることで途中結果から主成分の重みを予測する関数 $f_{p}=f^{-1}$ を定義することができる。「 $\hat{p}_{k}^{l}\left(R^{j}\right)$ が因果的にも途中結果 $R^{j}$ を符号化している」という仮説 を検証するためには、この $f_{p}$ が正しいかを確かめ れば良い。すなわち、実際に入力項を変更した際の 最大相関方向 $\hat{p}_{k}^{l}\left(R^{j}\right)$ の重みを $p_{i, k}^{l}=f_{a}\left(R_{i}^{j}\right)$ のよう に表せる実測関数 $f_{a}$ と $f_{p}$ を比較して確かめる。

## 4 実験設定

ニューラル数式ソルバーとして、Sajjad ら [11] を参考に 6 層の Transformer エンコーダを用意し、 [CLS] トークンから線形回帰を行う。足し算と引き 算、括弧を含む四則演算のデータをテンプレートか ら 20 万個自動生成し、3) そのうち 19 万個のデータで モデルを学習する。先行研究 [1] に従い、入力中の 数字は 1 桁ごとにトークン化する。例えば、“ 123 ” という数字は $1, \# \# 2, \# \# 3$ にトークン化される。訓練後、 1 万個の検証データにおいてこのモデルを評価 したところ決定係数 $R^{2}=0.9988$ で、異なるパター ンの数式を並列に学習させてもほぼ正しい答えを出力できることが確認された。

## 5 結果

## 5.1 途中結果の追跡

今回は $a-(b-c)$ という数式を分析の対象とする。各途中結果と上位 10 主成分の重みの関係を測定し た結果を図 2 に示す。図 2(a), 2(b) から、中間層にお いて数式中の途中結果と相関が非常に高い最大相関方向が複数存在することがわかる。例えば、 1 層目 の第 3 主成分の重みと $b$ の値の相関係数は $0.96 、 3$層目の第 2 主成分の重みと $b-c$ の値の相関係数は 0.94 である。

ここから、数式の途中結果はモデル内部の表現空間における特定の方向に線形的、局所的に符号化さ れていると考えることができる。

一方で図 2(c) からは $p_{1}^{4}$ が最終結果とほぼ 1 の相関を持っていることがわかり、 4 層目の時点で数値計算処理が終了していると推察できる。
程式の種類は全部で 87797 種類である。

(a) 重み操作によるモデル予測とそこから導いた途中結果の変化。

(b) 途中結果と主成分の重みに関する実測関数 $f_{a}(b)$ と予測関数 $f_{p}(b)$ 。

図 3: $\hat{p}_{3}^{1}(b)$ に対する Manipulation の結果。影の部分 はデータセット中に現れない重みの範囲を表す。

## 5.2 途中結果の操作

数式 $617-(555-602)$ とその途中結果 $b=555$ を 例に取り、Manipulationを行う。5.1 節から、数式 $a-(b-c)$ において、最大相関方向 $\hat{p}_{3}^{1}(b)$ は 0.96 と いう高い相関を持つ。ここで、 $p_{3}^{1}$ に沿ってモデル のアクティベーションを操作すると、モデルの予測結果は図 3(a) に示されるように、元の予測結果 (664) から約 100-1200 まで変化することがわかる。 この時、予測結果の変化をモデル内の途中結果 $b$ の表現を変えたものによるものだと仮定すると、図 3(a) の右軸を得ることができ、軸を反転するこ とで $p_{i, 3}^{1}=f_{p}(b)$ となるような関数 $f_{p}$ が得られる。 この予測関数 $f_{p}$ を、実際に $b$ の値を変化させた時 の重みを $p_{i, 3}^{1}=f_{a}(b)$ と表せるような実測関数 $f_{a}$ と 比較した結果を図 3(b) に示す。図 3(b) から、予測関数 $f_{p}$ と実測関数 $f_{a}$ は概して一致しており、特に 元データの周りでは一致度が高いことがわかる。こ れは、 $\hat{p}_{3}^{1}(b)$ が $b$ の値を一定の範囲では因果的にも 符号化している証拠だと考えることができる。同じ 実験を異なる値を持つ $a-(b-c)$ の 1000 インスタ

(a) $\hat{p}_{3}^{1}(b)$ に対する Manipulation の結果。

(b) $\hat{p}_{2}^{4}(b)$ に対する Manipulation の結果。

図 4: 1000 個のデータに対して重みの操作を行なっ た際の誤差 $\left|f_{p}(b)-f_{a}(b)\right|$ の中央値。

ンスで行った時の $\left|f_{p}(b)-f_{a}(b)\right|$ の中央值を図 4(a) に示す。図 4(a) から、元データの表現から離れると 必ずしも $\hat{p}_{3}^{1}(b)$ が $b$ の值を因果的に符号化している とは言えないことが定量的にも観察される。逆に、

Manipulation によって因果的には途中結果を符号化 していない最大相関方向を特定することもできる。例えば、 $\hat{p}_{2}^{4}(b)$ は $b$ と 0.81 の高い相関を持つが、こ の方向に対して重みの操作を行なった際の誤差中央値は図 4(b) のようになり、誤差が非常に大きいこと が観測される。これは図 2 から推測される「4 層目 までで途中結果を使用した数値計算処理はほぼ完了 している」という仮説と対応するものである。

## 6 おわりに

本研究では言語モデルが数値計算を行う時に内部で行なっている処理を明らかにするため、数式中 の途中結果に着目し追跡と操作を行なった。その結果、「数値計算ができるモデル」の内部では途中結果の情報が存在し、かつその情報はモデルの推論時 にも使われていることを解明した。本研究の手法は アクティベーションを連続的に変化させることでモ デルに対して詳細な因果推論を行うことができる。今後はこの手法をより一般的な数量推論モデルにも 適用し、分析道具としての有用性を示したい。

## 謝辞

本研究は JST CREST JPMJCR20D2、JSPS 科研費 21K17814 の助成を受けたものです。

## 参考文献

[1] Mor Geva, Ankit Gupta, and Jonathan Berant. Injecting numerical reasoning skills into language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 946-958, Online, July 2020. Association for Computational Linguistics.

[2] David Saxton, Edward Grefenstette, Felix Hill, and Pushmeet Kohli. Analysing mathematical reasoning abilities of neural models. In International Conference on Learning Representations, 2019.

[3] François Charton. Linear algebra with transformers, 2021.

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[5] 松本悠太, 吉川将司, Benjamin Heinzerling, 乾健太郎.四則演算を用いた transformer の再帰的構造把握能力 の調査. 言語処理学会年次大会, 2022.

[6] Ganesh Jawahar, Benoît Sagot, and Djamé Seddah. What does BERT learn about the structure of language? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3651-3657, Florence, Italy, July 2019. Association for Computational Linguistics.

[7] Alessandro Raganato and Jörg Tiedemann. An analysis of encoder representations in transformer-based machine translation. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 287-297, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[8] Chihiro Shibata, Kei Uchiumi, and Daichi Mochihashi. How LSTM encodes syntax: Exploring context vectors and semi-quantization on natural text. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4033-4043, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[9] Yanai Elazar, Shauli Ravfogel, Alon Jacovi, and Yoav Goldberg. Amnesic probing: Behavioral explanation with amnesic counterfactuals. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 160175, 2021.

[10] Ziming Liu, Ouail Kitouni, Niklas Nolte, Eric J Michaud, Max Tegmark, and Mike Williams. Towards understanding grokking: An effective theory of representation learning. In Alice H. Oh, Alekh Agarwal, Danielle Belgrave, and Kyunghyun Cho, editors, Advances in Neural Informa- tion Processing Systems, 2022.

[11] Hassan Sajjad, Fahim Dalvi, Nadir Durrani, and Preslav Nakov. On the effect of dropping layers of pre-trained transformer models, 2021.

## A 四則演算データセットの詳細

四則演算データは、最大で 5 段の深さを持つ。各項 $x$ の大きさは、訓練、検証データ中では $0<x<1000$ 、 5.1, 5.2 節での分析に使用したデータでは桁数を揃えるために $100<=x<1000$ とした。訓練に使用した数式 の例を表 1 に示す。

表 1: 四則演算データセットの例

## B ニューラル数式ソルバーの詳細

ニューラル数式ソルバーは表 2 に示す設定で訓練を行った。

表 2: ハイパーパラメータの一覧

4) https://huggingface.co/bert-base-uncased

5) https://pypi.org/project/pytorch-pretrained-bert


# 柔らかいジャンプ付き編集距離に向けて

亀井遼平 1 横井祥 ${ }^{1,2}$ 仲村祐希 1 渡辺太郎 ${ }^{3}$ 乾健太郎 1,2
1 東北大学 2 理化学研究所 3 奈良先端科学技術大学院大学
\{ryohei.kamei.s4, yuki.nakamura.r1\}@dc.tohoku.ac.jp,
\{yokoi, kentaro.inui\}@tohoku.ac.jp, taro@is.naist.jp

## 概要

本論文では翻訳システムに対する自動評価指標と して新たな指標を提案する。これは単語レベルの編集距離をジャンプ操作の追加と単語埋め込みによる 置換コストの緩和によって拡張したものである．前者は語順の入れ替えを，後者は文中の単語の類似度 をそれぞれ考慮しており，これらを組み合わせるこ とで質の高い自動評価指標を作れると考えた. 実験 は WMT19 Metrics Shared Taskを用いて行い，上記の 拡張が自動評価指標と人手評価の相関向上に寄与す ることを確認した。

## 1 はじめに

優れた機械翻訳システムを開発するには質の高い 自動評価指標が必要であり [1], 以前から BLEU [2] や chrF [3] などが頻繁に用いられてきた. 自動評価指標の質を高めるための一つの方針は, 語順の考慮である $[1,4,5]$. また，別の方針として単語埋め 込みの利用がある [6,7]. CDER (Cover Disjoint Error Rate）[8] や EED（Extended Edit Distance）[9]などの ジャンプ付き編集距離は語順の入れ替えを考慮する 点で妥当だと考えられる. 我々は語順の考慮と単語埋め込みの利用を両立するべく, ジャンプ付き編集距離の置換コストを単語埋め込みを用いて緩和した WCDER（Word embedding based CDER）を提案する.

問題設定 本論文中の自動評価指標は式 (1)のよ うに単語数がそれぞれ $n, n^{\prime}$ の翻訳文 (c) と参照文 （r）を入力として，その類似度を計算して翻訳文の 良し悪しを測定する。

$
c=\left[c_{1}, c_{2}, \cdots, c_{n}\right], \quad r=\left[r_{1}, r_{2}, \cdots, r_{n^{\prime}}\right]
$

## 2 編集距離に基づく自動評価指標

この節では提案手法の基礎となる, 編集距離 (Edit Distance, ED）[10] とそれに基づく自動評価指標の先行研究を説明する．なお，本論文における編集距離は文字レベルではなく単語レベルの編集距離を意味する. 編集距離は, 2 つの単語列を入力とし, 置換，削除，挿入の操作によって片方の単語列をもう 一方の単語列に変換するのに必要な手順の最小コ ストとして定義され，通常各操作のコストは 1 であ る. 編集距離は単語列ペアの非類似度を表す。つま り值が大きいほどぺアの類似度は低いことを表す。編集距離の操作コストの総和を表す配列を $D^{|c| \times|r|}$ とすると，(2) 式で計算することができる.

$
D(i, j)=\min \left.\{\begin{array}{l}
D(i-1, j-1)+\left(1-\delta\left(c_{i}, r_{j}\right)\right) \\
D(i-1, j)+1 \\
D(i, j-1)+1
\end{array}\right.
$

ただし, $D(1,1)$ は 0 であり, $\delta\left(w_{i}, w_{j}\right)$ は 2 単語 $w_{i}$, $w_{j}$ が同じ場合は 1 を返し, それ以外の場合は 0 を返 す. なお，最終的に得られる $D(|c|,|r|)$ が編集距離 を表す. 編集距離の計算と同時に，配列 $T^{|c| \times|r|}$ に どの操作により配列 $D$ が更新されたのかを保存し ておくことによって, $T(|c|,|r|)$ からバックワードす ることでアラインメントを獲得できる.

## 2.1 ジャンプ付き編集距離: CDER

CDER は編集距離をジャンプ操作の追加によっ て拡張したもので，再帰式 (3) で表される。ただし $D(1,1)$ は 0 である.

$
D(i, j)=\min \left.\{\begin{array}{l}
D(i-1, j-1)+\left(1-\delta\left(c_{i}, r_{j}\right)\right) \\
D(i-1, j)+1 \\
D(i, j-1)+1 \\
\min _{i^{\prime}} D\left(i^{\prime}, j\right)+1
\end{array}\right.
$

ここで， $D(i, j)$ を計算するにあたって，各 $j$ につい て以下の 3 ステップの計算が必要となる.

1. それぞれの $i$ で, 式 (3)の上 3 項の最小項を求 める
2. $\min _{i^{\prime}} D\left(i^{\prime}, j\right)$ を求める

図 1 WCDER のアラインメント行列. 縦軸，横軸はそれ ぞれ参照文と翻訳文. 実行された編集操作のコストが高 い場合は薄い色で，低い場合は濃い色で表されている。

3. それぞれの $i$ で，式 (3)を求める

## 2.2 単語埋め込みに基づく編集距離: WED

WED（Word Embedding based Edit Distance） [11] は 編集距離を，単語埋め込みを用いた操作コストの 緩和によって拡張したものである. 先行研究 [11] では全ての編集操作のコストを 1 から緩和してい るが，本論文では置換コストのみを緩和しており，再帰式 (4) で表される。ただし $D(1,1)$ は 0 である. subcost は置換コストを表し，置換したい 2 単語の埋 め込みのコサイン類似度が 0.5 以下の単語はほぼ類似性のない単語としてコスト 1 , 同単語はコスト 0 とし，その間を連続的にとるよう式 (5) で定義した。

$
D(i, j)=\min \left.\{\begin{array}{l}
D(i-1, j-1)+\operatorname{subcost}\left(c_{i}, r_{j}\right) \\
D(i-1, j)+1, \\
D(i, j-1)+1
\end{array}\right.
$

$\operatorname{subcost}\left(c_{i}, r_{j}\right)=\frac{(1-0.5)-\max \left(0, \operatorname{sim}\left(c_{i}, r_{j}\right)-0.5\right)}{1-0.5}$

ここで, $\operatorname{sim}\left(w_{i}, w_{j}\right)$ は 2 つ単語 $w_{i}, w_{j}$ の埋め込 み $\boldsymbol{w}_{\boldsymbol{i}}, \boldsymbol{w}_{\boldsymbol{j}}$ のコサイン類似度を表し，式 (6) で定義さ れる。

$
\operatorname{sim}\left(w_{i}, w_{j}\right)= \begin{cases}\cos \left(w_{i}, w_{j}\right) & \left(\boldsymbol{w}_{\boldsymbol{i}} \& \boldsymbol{w}_{\boldsymbol{j}} \text { exist }\right) \\ 0 & (\text { else })\end{cases}
$

## 3 提案手法: WCDER

本論文では，2.1，2.2 節で述べた拡張を組み合 わせた WCDER を提案する. ジャンプ操作の追加は 語順の入れ替えに対応し, 単語埋め込みによる置換コストの緩和は文中の単語の類似度を考慮する。 よって，これらの拡張を組み合わせることでより質 の高い自動評価指標を作れると考えた．再帰式は表 1 実験で用いた自動評価指標と各指標が考慮する項目

式 (7) で表される. ただし， $D(1,1)$ は 0 で，2.1 節 の CDER 同様各 $j$ について 3 ステップの計算が必要 になる.

$
D(i, j)=\min \left.\{\begin{array}{l}
D(i-1, j-1)+\operatorname{subcost}\left(c_{i}, r_{j}\right) \\
D(i-1, j)+1, \\
D(i, j-1)+1, \\
\min _{i^{\prime}} D\left(i^{\prime}, j\right)+1
\end{array}\right.
$

WCDER の実行の様子を図 1 に示した. 縦軸，横軸に並んだ単語列はそれぞれ参照文と翻訳文を表 す. 置換は斜め，插入は下，削除は右方向に対応づ けられ，アラインメントが飛んでいる部分でジャン プが生じている．色が濃い部分は実行された操作の コストが低く，薄い部分はコストが高いことを表 す. 図 1 よりこの例文のアラインメントはジャンプ 3 回，置換 8 回，挿入 1 回でとられることが分かる.

## 4 実験

## 4.1 実験設定

語順と単語類似度の考慮が自動評価指標と人手評価の相関向上に寄与するかを確かめるため，表 1 に 示した自動評価指標を用意して実験を行った.

データセット WMT19 Metrics Shared Task ${ }^{1)}$ のテ ストセット（人手評価で Better と評価された翻訳文，Worse と評価された翻訳文，参照文の 3 文が与 えられる）を用いた。

評価尺度 Kendall の $\tau^{2)}$ の順位相関係数 [12] を用 いた.

単語埋め込み 本論文全体で，単語埋め込みにつ いては glove.840B.300d³)を用いた.

ベースライン手法 Bag of Words のコサイン類似度（BoW）とベクトル和のコサイン類似度（Vec Sum）を用いた.

表 2 WMT19 Newstest19 における，DARR で測定したセグメントレベルの人間との順位相関. Kendall の $\tau$ の順位相関係数を使用している。言語対として，ドイツ語 (de), フィンランド語 $(\mathrm{fi})$, グジャラート語 $(\mathrm{gu})$, カザフ語 $(\mathrm{kk})$, リトア ニア語（1t)，ロシア語（ru)，中国語（zh）をそれぞれ英語（en）に翻訳したものを用いた。

图 2 単語埋め込みによる置換コスト緩和が効果的だった例. 縦軸が参照文で横軸が翻訳文. 人手評価で良い翻訳文だっ たものが Better，悪かったものが Worse とラベル付けされている.

BoW は形式的に式 (8) のように定義される.

$
\operatorname{BoW}(c, r)=\cos \left(\sum_{i=1}^{|V|} t_{i} \boldsymbol{e}^{(i)}, \sum_{j=1}^{|V|} t_{j}^{\prime} \boldsymbol{e}^{(j)}\right)
$

ここで， $\cos$ 引数は文べクトルを表し， $V$ は参照文 と翻訳文に含まれる全単語の集合， $t_{i}$ は $V$ 中の $i$ 番目の単語が $c$ 中で現れた回数, $t_{j}^{\prime}$ は $V$ 中の $j$ 番目の 単語が $r$ 中で現れた回数, $\boldsymbol{e}^{(i)}$ は $i$ 番目の値だけが 1 になっている長さ $|V|$ の one-hot ベクトルである.

Vec Sum は形式的に式 (9) のように定義される.

$
\operatorname{vec} \operatorname{sum}(c, r)=\cos \left(\frac{\sum_{i=1}^{|c|} \boldsymbol{c}_{\boldsymbol{i}}}{|c|}, \frac{\sum_{j=1}^{|r|} \boldsymbol{r}_{j}}{|r|}\right)
$

ここで, $\cos$ の引数は文べクトルを表し， $\boldsymbol{c}_{\boldsymbol{i}}, \boldsymbol{r}_{\boldsymbol{j}}$ はそ れぞれ $c_{i}, r_{j}$ の単語埋め込みを表す.

前処理 前処理として，入力された文を単語ごと に分割し小文字化した. また，ジャンプ付き編集距離の先行研究 $[8,9]$ に基づき文頭に空白を追加した.

操作コスト 挿入，削除，ジャンプのコストは全 て1とした. 置換コストは単語埋め込みを用いない 場合には 1 とし, 用いる場合には式 (5)で求めた.

正規化 ジャンプがある指標については先行研究 [9] に記載のある式 (10) で，それ以外の指標では参照文の長さで割ることで正規化した。

$
\text { Score }=\frac{(\text { sum of all costs })+v}{\mid \text { reference } \mid+v}
$

ここで， $v$ はペナルティ項で，翻訳文中の単語それ ぞれの|アライン回数 $-1 \mid$ の和を表しており，アラ イン回数が 0 回，あるいは 2 回以上となる単語の数 に応じてぺナルティを課している. 先行研究 [9] で はvにハイパーパラメータ $\rho$ がかけられているが，他の手法との差分をなくすため本論文では省いた。

## 4.2 結果

実験の結果を表 2 に示した. 編集距離に基づく指標 (ED, CDER, WED, WCDER) を見ると, ED と比 べて，CDER および WEDの相関が上昇した。また， CDER および WED と比べて，WCDER の相関が上昇した. よって. ジャンプ操作の追加と単語埋め込 みの利用のいずれの拡張も人手評価との相関向上に 寄与したことが確認できた. また，Vec Sum と比べ て WCDER の大幅な相関向上は見られなかった.

## 4.3 議論

埋め込み利用の効果が出た例 de-en の 59504 文 ペア目を CDER と WCDER で評価したものが図 2 で

図 3 ジャンプ操作の追加が効果的だった文ぺア例. 縦軸が参照文で横軸が翻訳文. 人手評価で良い翻訳文だったもの が Better，悪かったものが Worse とラベル付けされている.

図 4 WCDER のジャンプコストを $0.5,1,2,3,4$ として WMT18 Newstest18を用いて 4 節同様の実験をした結果の プロット．横軸は言語対を，縦軸は順位相関を表す。

ある. CDER では 2 つの翻訳文のスコアが同じだっ た.しかし，WCDER では “rescuers”と“rescue”が対応づけられた結果 Better の文のスコアが良くなっ た. よって，単語埋め込みの利用により，単語の表層だけでなく意味を汲みとって評価したことが分 かる。

ジャンプ操作追加の効果が出た例 同様に, de-en の 75584 文ペア目をWED と WCDER で評価したも のが図 3 である. WED では Worse のスコアの方が 良くなっていた。しかし, WCDER ではジャンプが 生じて翻訳文の後半と参照文の前半で対応づけが起 こった. それらの類似度が考慮された結果 Better の 文のスコアが良くなった. よって，ジャンプにより 語順の入れ替えに対応して評価したことが分かる。

ジャンプコスト ジャンプコストは「意味が似た 単語のかたまりがどれくらい大きければジャンプが

ジャンプコストが大きい場合，意味が似た単語のか たまりが大きいときに限りジャンプが生じる. 反対 にジャンプコストが小さい場合，意味が似た単語の かたまりが小さいときであってもジャンプが生じ る. 図 4 は WMT18 Newstest18 データセットを用い
て，ジャンプコストを変更しながら 4 節同様の実験 をした結果である。図 4 より，ジャンプコストが大 きくなるにつれ WCDER の評価と人手評価の相関が 下がっていることが分かる. 相関低下の要因とし て，他の操作コストに比べて不当に大きなジャンプ コストが語順が考慮を妨げている可能性が考えられ る.したがって，人手評価と高い相関を持つ評価を 行うためには，ジャンプコストとその他の操作コス トとの間の適切なバランスが重要になると考えら れる。また，4節の実験で用いたべクトル和のコサ イン類似度という指標は語順を考慮しない。この指標は，WCDER のジャンプコストを極端に小さくし た指標とも捉えられる。表 2 より，ベクトル和のコ サイン類似度と WCDER の結果はほとんど変わらな かった。そのため，削除や挿入のコストを 1 とした 本論文の実験設定は，ジャンプコストとのバランス という観点で適切ではない可能性が示唆される.

今後の方向性 削除，挿入コストとジャンプコス トとの適切なバランスを探りたいと考えている. さ らに，そのバランスを保ちつつ削除，挿入コストも 単語埋め込みを用いて緩和することで，提案手法を より良い指標へと発展させていきたい.

## 5 結論

本論文では編集距離をジャンプ操作と単語埋め込 みによる置換コストの緩和で拡張した WCDER を提案した. WCDER は語順と単語類似度の考慮を両立 した翻訳システムの自動評価指標である。この両立 により人手評価との相関が上昇したことに加え，解釈性の高いアラインメント情報が得られる。これは 機械翻訳システム開発に有用だと考えられる。提案手法の改善の余地は大きいと思われるため，今後も 調査を継続していきたい.

## 謝辞

本研究は JSPS 科研費 JP22H05106，JST ACT-X JPMJAX200S，JST CREST JPMJCR20D2 の助成を受 けたものです.また，本研究を進めるにあたり，頻繁に議論に参加していただいた東北大学乾・坂口・徳久研究室, 東北大学鈴木研究室の皆様へ感謝いた します.

## 参考文献

[1] Tsutomu Hirao, Hideki Isozaki, Katsuhito Sudoh, Kevin Duh, Hajime Tsukada, and Masaaki Nagata. Evaluating translation quality with word order correlations. Journal of Natural Language Processing, Vol. 21, No. 3, pp. 421-444, 2014.

[2] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[3] Maja Popović. chrF: character n-gram F-score for automatic MT evaluation. In Proceedings of the Tenth Workshop on Statistical Machine Translation, pp. 392-395, Lisbon, Portugal, September 2015.

[4] Hiroshi Echizen-ya and Kenji Araki. Automatic evaluation of machine translation based on recursive acquisition of an intuitive common parts continuum. In Proceedings of Machine Translation Summit XI: Papers, Copenhagen, Denmark, September 10-14 2007.

[5] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004.

[6] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert, 2019.

[7] Wei Zhao, Maxime Peyrard, Fei Liu, Yang Gao, Christian M. Meyer, and Steffen Eger. MoverScore: Text generation evaluating with contextualized embeddings and earth mover distance. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 563-578, November 2019.

[8] Gregor Leusch, Nicola Ueffing, and Hermann Ney. CDER: Efficient MT evaluation using block movements. In 11th Conference of the European Chapter of the Association for Computational Linguistics, pp. 241-248, Trento, Italy, April 2006.

[9] Peter Stanchev, Weiyue Wang, and Hermann Ney. EED: Extended edit distance measure for machine translation. In Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 514-520, August 2019.

[10] Vladimir I Levenshtein, et al. Binary codes capable of correcting deletions, insertions, and reversals. In Soviet physics doklady, Vol. 10, pp. 707-710. Soviet Union,
1966.

[11] Yilin Niu, Chao Qiao, Hang Li, and Minlie Huang. Word Embedding based Edit Distance. arXiv e-prints, p. arXiv:1810.10752, October 2018.

[12] Qingsong Ma, Johnny Wei, Ondřej Bojar, and Yvette Graham. Results of the WMT19 metrics shared task: Segmentlevel and strong MT systems pose big challenges. In Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 62-90, Florence, Italy, August 2019.

## A Kendall $\boldsymbol{\tau \tau$ の詳細}

WMT19 Metrics Shared Task では，自動評価指標の 評価を行うにあたって，Kendall の $\tau$ の順位相関を 計算している。このタスクでは，「ある入力文に対 して2つの機械翻訳システムが出力した翻訳文」,「2つの翻訳文のうちどちらが Better か Worse か人手評価したラベル」,「参照文」が与えられる. 自動評価指標によって2つの翻訳文と参照文の類似度をそ れぞれ算出し，2つの翻訳文のうちどちらの翻訳文 が Better か Worse かを評価する。そして，2つの翻訳文に対する人手評価と自動評価指標による評価が 一致していれば Concordant ( $C o n c$ )，不一致であれ ば Discordant（Disc）となる.こうして全ての文ぺ アについて Conc かDisc かを求めた後, それらの個数を用いて式 (11)より $\tau$ を計算する.

$
\tau=\frac{\mid \text { Conc }|-| \text { Disc } \mid}{\mid \text { Conc }|+| \text { Disc } \mid}
$


# 疑似データを用いた GPT-2 による日本語文章の多段階平易化

郷原聖士 ${ }^{1}$ 綱川隆司 ${ }^{1}$ 西田昌史 ${ }^{1}$ 西村雅史 ${ }^{1}$
1 静岡大学情報学部
}

gobara.seiji.21@shizuoka.ac.jp, \{tuna, nishida, nisimura\}@inf.shizuoka.ac.jp
## 概要

現在，我々は常纪新しい情報を取捨選択する情報社会で暮らしているが，それらの情報の内，多くは ある程度習熟した成人が対象の文書である。した がって，まだ文書を理解するための知識が不足して いる子供や留学生などの非母語話者にとって，それ らの情報を理解して生活に役立てるのは難しいとい う問題がある。そこで我々は，一般向けの文書を利用者の日本語理解度に応じて適切な難易度の情報に 変換するための日本語の機械学習モデルを疑似デー タによって作成した. 自動評価実験において, 目標 とする難易度沈じて平易化文に難易度差を付与で きていることが評価指標から示唆されたが，人手評価実験においては有意な結果は得られなかった。

## 1 はじめに

テキスト平易化は，難解な文章から同一の意味を 保持しつつも平易な文章へと変換させる, 自然言語処理におけるテキスト生成タスクの一つである.

関連研究には, English Wikipedia と Simple English Wikipedia のパラレルコーパス (EW-SEW) を用いた 統計的機械翻訳による手法 [1][2] やニューラル機械翻訳による手法 [3][4]がある。

統計的機械翻訳による手法は，分割，削除，並び 替兄，置換を総合的にカバーする一方で，EW-SEW のような大規模のパラレルコーパスが必要であり， そのような資源のない言語以外にそのまま適用出来 ない.ニューラル機械翻訳氾よる手法は，統計的機械翻訳と同様に EW-SEW のような大規模の平易化用データセットを用いて難解な文と平易な文のぺア を学習することで系列変換を行う注意機構を組み 込んだシステムを構築し，高精度の平易化を実現し た. また，近年では平易化用の大規模データセット が存在しない言語を対象に，疑似的な平易化用デー タセットを構築することで平易化を実現する手法 [5] が提案されているが，いずれも平易化後の文章
の難易度は考慮されていないという課題がある。

日本語においては，中町ら [6] が事前学習済み系列変換モデルにやさしい日本語対訳コーパス [7][8] を用いて平易化を実現している。最近では,コーパ スベースの手法 [3][6] が多く，ターゲットの難易度 は学習データに依存している。一方で平易化のター ゲット文は多様であり，ユーザーに合わせて難易度 を調節できた方が望ましい。

英語の平易化の研究におけるターゲット文の難易度には，EW-SEW をべースにした難解文から平易文へと変換を行う二段階の平易化が用いられて きたが，Xu ら [9] は，文章の複雑さを測定して，生徒の読解力を評価するために広く用いられている Lexile $^{1)}$ の下で 11 段階の難易度付きパラレルコーパ ス Newsela を構築した. Newsela を用いて難易度う ベルを入力文の文頭に付与した上で学習すること で，生成するテキストの多段階な難易度制御を実現 する手法 [10]，その手法をべースに目標の難易度に 適した単語を出力するため，単語の分散表現を拡張 した素性の利用や，ハード・ソフトな語彙制約を課 す手法 [11], 語彙レベルや文長などの文章中の特徴量に着目して生成文を制御する手法 [12] がある.

上記のように，英文の多段階平易化に関する研究 は盛んだが，和文を対象とする多段階平易化に関す る研究は少ない. この背景には, 日本語の多段階平易化のためには Newsela のような難易度付き大規模 データセットが新たに必要だが，構築には莫大なコ ストがかかるという問題がある。

そこで本研究では，言語資源の少ない日本語の平易化用のデータセットを補うために，やさしい日本語対訳コーパスを用いてファインチューニングした GPT-2 ベースの平易化モデルと，BERT(Bidirectional Encoder Representations from Transformers) ベースで 作成した難易度推定器を組み合わせることで疑似的な難易度付きパラレルコーパスを構築した. その 後, Alessio ら [5] や Eriguchi ら [13] と同様にして,

1) https://lexile.com

図 1 多段階平易化用疑似データセットの作成

任意の X-Y 方向の多言語機械翻訳を任意の X-Y 方向 の多段階平易化と見なし， GPT- 2 モデルに疑似デー タセットでファインチューニングした 5 つのモデル を組み合わせて多段階平易化システムを構築した。

## 2 手法

## 2.1 難易度推定器

郷原ら [14] と同様に, 東北大学乾研究室が公開 している日本語の大規模モデル BERT2)をべースに ファインチューニングして難易度推定器を作成し た.なお，文単位の難易度推定を実施するにあたっ $\tau$, 先行研究 [10][11] と同様に, 文の難易度はその 文が含まれる文書の難易度と同一のものであるとい う仮定の下で正解データの作成を行った。

## 2.2 疑似データセット構築

疑似データセットを構築する手段を図 1 亿記述す る. (i) やさしい日本語対訳コーパス [7][8] に含まれ ている日本語の平易化文対を用いて rinna 社の公開 している事前学習済み日本語 GPT-2 モデル3)をファ インチューニングし, 平易化モデルを構築する. (ii)rinna 社の事前学習済み日本語 GPT-2 モデル 4 ) に おいて，日本語辞書が持つ語彙の内，日本語であり 文頭に適切と思われる文字や語彙から始まるトーク ンをプロンプトに入力し， 100 文字を上限に文を生成する. (iii) (ii) で生成した各文を (i) で構築したモ デルに入力し，疑似的な平易化文対を得る。(iv) 2.1 節で述べた手法で難易度推定器を構築する。(v) (iii) の平易化文対に対して，(iv) で作成した難易度推定器によって文の難易度を疑似的に付与する。

2) https://github.com/cl-tohoku/bert-japanese

3) https://huggingface.co/rinna/japanese-gpt2-medium

4) https://huggingface.co/rinna/japanese-gpt-1b ここで，(iii)での平易化は一段階のため，同じ文 に対して複数回平易化を適用しても，明確な差異の ある平易化文対を得るのは難しい．そこでランダム に生成された文に対する平易化文を十分な規模で収集し, 同じ難易度帯に変換する文対毎にデータセッ トを構築することで，段階的な平易化を実現する。

## 2.3 疑似データセットのフィルタリング

2.2 節で作成したデータセットにおいて，平易化前後で文の難易度が変化しない文対や同義性が保 たれないノイズとなるような文対が存在していた。 そこでノイズとなる文対を除去するために，データ セットの中から難易度が変化する文対のみを抽出す る. さらに同義性を一定レベルで担保するために, 3.3 節で後述する BERTScore を計算した. 生成した 平易化文全体の内，BERTScore が上位 $50 \%$ の文対は ある程度の同義性を保っている一方，上位 50\%-75\% の文対は同義性が保たれている文対とやや意味が異 なっている文対が含まれていた. また, BERTScore が下位 $25 \%$ の文対に関しては，多くが意味の異な る文対になっていた。ここで，Newsela[9] などを用 いた先行研究 [10][11][12] では, 各難易度に対して 数万文対のデータセットを用いていたため, 本研究でも同程度の文対を確保するために，生成文と BERTScore のバランスを鑑みて，BERTScore が上位 75\%の文対を抽出した. なお，BERTScore が上位 $75 \%$ の文対を抽出するための閾値は 0.710 であった.

## 3 実験設定

## 3.1 データセット

難易度推定器作成にあたって，データセットには 現代日本語書き言葉均衡コーパス (BCCWJ)[15] に含

まれている日本語教科書コーパス及び図書館サブ コーパスの文書中から無作為に文を抽出し, 訓練,開発，評価データをそれぞれ 236,773 件，28,921 件， 29,381 件に分割した. なお，正解値は，日本語教科書コーパスの対象学年である小学校低学年, 中学年，高学年，中学校，高校及び図書館サブコーパス 中の「やや専門的な一般向き」に相当する一般の 6 段階に設定した.

疑似データセットの作成にあたって，rinna 社の 公開している GPT-2 モデルにおいて, max_length と min_length は 100 に設定し, top_k=500, top_p $=0.95$ に した上で文章生成を行った. なお, 文章生成は日本語辞書に登録されている単語から，絵文字などの文頭に付与する単語には不適切であると考えられる 単語をノイズとして除去した上でサンプリング抽出した 1 単語をプロンプトに与え, 続く単語列を推測させる形で行った. その後, 生成した文章から句点区切りで文を抽出し, 平易化する前の文とした.平易化前後の文の一部には, 文法的に正しくても意味的には不自然な文が存在していたが，本研究で は，語彙的換言や複雑な文構造の簡単化などを段階的に行うことが目的であるため, 正常な文とし て許容した. 上記生成文を 100 万文，200万文ずつ 作成し, 難易度推定器の推定值に差がある文対の みをそれぞれ抽出した (以下，本設定を model-100 及び model-200 と呼ぶ. 以降も同様にする).また,開発データにおいて性能がより高かった model-200 の学習データに対して，BERTScore によるフィルタ リングを行ったモデルも作成した (model-200-bert). ここで，得られた難易度差のある文対の訓練デー タは model-100, model-200, model-200-bert それぞれ 337,413 件，674,699 件，487,980 件であり，開発デー タ及び評価データは 1,000 件とした.

## 3.2 モデル

rinna 社の公開している GPT-2 モデルを，3.1 で作成した多段階平易化のための疑似データセットを 用いてファインチューニングを行った. なお，モ デルは huggingface のライブラリ5)を用いて実装を 行った．また，本研究では，想定する難易度を 6 段階 (0-5) に設定したため, 最高難易度 (5) からそれ以下の 5 段階の難易度 (0-4)への平易化モデルを構築 した.

## 3.3 評価指標

実装したモデルが段階的に文の難易度を易しく変換出来ているかを評価するために，2つの自動評価指標と人手評価を用いた。

自動評価のための評価指標には, BERTScore[16]及び平均推定難易度を用いた. BERTScore は，翻訳 や文書生成のタスクにおいてしばしば用いられる指標であり，BERT を用いて文書と参照文の類似性を 評価することが出来る. 平均推定難易度は, 文の難易度を制御して平易化する場面において用いられる 指標であり [11], 英語においては, FKGL[17] や平均 PMI(Pointwise Mutual Information) が用いられている.一方で, 本研究では日本語を対象であり, 人手で作成された多段階平易化のための評価用データセット はほとんど存在せず，単に英語と同様の手法を用い ても言語の不一致によって正しく性能を図ることは 困難である. そこで本研究では，文単位の難易度推定器を作成し, 難易度推定器の推定した平均難易度值を評価指標に用いた。ここで，作成した難易度推定器の妥当性を検証するため，既存の日本語用の文章難易度システム (JReadability.net ${ }^{6)}$ ，帯 [18])を用い て評価データからサンプリングした 200 文の推定難易度を求め, BERT ベースの難易度推定器の推定値 との相関係数を求めた。

人手評価では，先行研究 [10][11]を元にして，各難易度に相当する文及び各段階に相当する流暢性 や同義性の破綻具合を表す文を示した上で，文の同義性 (synonymity) ・平易化前後の難解性 (difficulty_o, difficulty_s)・流暢性 (fluency) の 4 項目の評価をクラ ウドワーカーに委託した。 なお，各項目は難易度推定器の段階に合わせて 0 から 5 までの 6 段階 (5 が 最良)に設定し，作成した平易化モデル毎に 30 問 ずつ評価用データセットから無作為に抽出し, 各段階で異なる 100 文ずつの回答が得られるようにし て平均難易度を求めた. ここで，少しでも多くの文 に対するアノテーションを行うべく 20 人のクラウ ドワーカーに依頼して，一文あたり少なくとも 6 回答が得られるようにそれぞれのワーカーに異なる データセットを作成した. その後, 得られたデータ セットの内，20人のワーカー間においてそれぞれ共通の回答が得られた文に対する順序尺度における 重み付けの指標 QWK(Quadratic Weighted Kappa)を 求めた. その後, 平均 QWK の中でも難解性につい

6) https://jreadability.net/
表 1 難易度推定器の評価結果

pred-bert

MAE Pearson Spearman Acc. F1

表 2 既存難易度推定システムとの相関

ては，0.039-0.372 程度と極めて低い数値であったた め，ワーカー間の一致度を向上させるべく，各ワー カーにおける QWK の平均值が 0.16 以下であるワー カーのデータを除去した. また，アノテーションミ スなどの実験不備のあるデータを除去することで，全 3,000 件のデータの内 2,249 件を人手評価の対象 とした.

## 4 実験結果と考察

## 4.1 難易度推定

表 1 及び表 2 に難易度推定器の評価実験結果を 示す. 表 1 では，それぞれ平均絶対値誤差 (MAE), ピアソンの相関係数 (Pearson), スピアマンの相関係数 (Spearman), 正解率 (Acc.), F1-Score(F1) を示して おり，郷原ら [14] の文章単位の評価結果とも遜色 ない数值であることが分かる．また，表 2 では，そ れぞれ正解値 (level), 提案手法の推定值 (pred-bert), Jreadability.net $の$ 出力值 (jread-score), 帯の出力值 (pred-B9, pred-T13)を示している. pred-bert と level 及び帯の出力值との相関関係は高く, 推定された 難易度が妥当であることを示唆していると考えら れる。

## 4.2 平易化の自動評価

表 3 に平均推定難易度による平易化モデルの 評価結果を示す. 表中の mean は平均推定難易度, BScore は平易化前後の文の BERTScore の値の平均値を示す. 表 3 において，0を除いた各目標難易度 の上昇に合わせて平均推定難易度の数値が上昇して いるため，疑似的なデータセットの作成によって段階的な平易化が実現出来たと考えられる.ここで，目標難易度 0 に変換する平易化文対は他と比べて著 しく少なかったため，データ不足の影響を受けたと 推測される.表 3 平易化モデルの平均推定難易度による評価結果 model-100 model-200 model-200-bert 目標難易度 mean BScore mean BScore mean BScore

$\begin{array}{llllll}3.490 & 0.749 & 3.395 & 0.753 & 3.564 & 0.762\end{array}$

$\begin{array}{lllllll}3.648 & 0.752 & 3.632 & 0.758 & 3.711 & 0.773\end{array}$

表 4 model-200-bert の人手評価の平均値による評価結果目標難易度 synonymity difficulty_o difficulty_s fluency

## 4.3 平易化の人手評価

表 4 に人手評価による評価結果を示す. 表 4 で は，各目標難易度による difficulty_s (平易化文の難解性) に有意な差が見られなかった.ここで，評価実験には生成文を元にした平易化文を用いており，意味的，文法的に不自然な文が含まれている. した がって，単語単位では平易化が実現出来ていても，文単位では意味が破綻している文を許容している.加えて，本タスクにおける同義性・難解性・流暢性評価は，各段階に相応の例文を提示しているものの 明確な判断基準を与えていないため，人手ではやや 難易度が高く, QWK の値も低いことからラベリン グ結果の個人差が大きいことが示唆される. 人手評価上では段階的な平易化を十分に確認出来なかった と考えられる。

## 5 おわりに

本研究では，多段階平易化のための言語資源が不足している日本語において，既存のデータセットを ベースに疑似的な多段階平易化のためのデータセッ トを作成することで，多段階平易化モデルの構築を 行った. その結果, 自動評価の平均難易度推定値に よって生成文が段階的に平易化出来ることを示し た. 一方で，人手評価に不備があり，かつ生成した 平易化文は疑似データセットの影響を受けて，無理 な変換や文法的な破綻をしてしまうという課題が ある. そこで今後は，人手評価の再実施に加えて,同義性の担保や流暢な多段階平易化を実現するた めに，多段階平易化のための質の良い半自動データ セットの作成を行いたいと考えている.

## 参考文献

[1] Zhemin Zhu, Delphine Bernhard, and Iryna Gurevych. A monolingual tree-based translation model for sentence simplification. In Proceedings of the 23rd International Conference on Computational Linguistics, 2010.

[2] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing statistical machine translation for text simplification. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 401-415, 2016.

[3] Sergiu Nisioi, Sanja Štajner, Simone Paolo Ponzetto, and Liviu P. Dinu. Exploring neural text simplification models. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), 2017.

[4] Sanqiang Zhao, Rui Meng, Daqing He, Andi Saptono, and Bambang Parmanto. Integrating transformer and paraphrase rules for sentence simplification. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, 2018.

[5] Alessio Palmero Aprosio, Sara Tonelli, Marco Turchi, Matteo Negri, and A Di Gangi Mattia. Neural text simplification in low-resource conditions using weak supervision. In Workshop on Methods for Optimizing and Evaluating Neural Language Generation (NeuralGen), 2019.

[6] 中町礼文, 梶原智之. 事前学習済み系列変換モデルに 基づくやさしい日本語への平易化. 情報処理学会第 83 回全国大会, 2021.

[7] Takumi Maruyama and Kazuhide Yamamoto. Simplified corpus with core vocabulary. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[8] Akihiro Katsuta and Kazuhide Yamamoto. Crowdsourced corpus of sentence simplification with core vocabulary. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018

[9] Wei Xu, Chris Callison-Burch, and Courtney Napoles. Problems in current text simplification research: New data can help. Transactions of the Association for Computational Linguistics, Vol. 3, pp. 283-297, 2015.

[10] Carolina Scarton and Lucia Specia. Learning simplifications for specific target audiences. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), 2018.

[11] 西原大貴, 梶原智之, 荒瀬由紀. テキスト平易化にお ける語彙制約に基づく難易度制御. 自然言語処理, Vol. 27, No. 2, pp. 189-210, 2020.

[12] Louis Martin, Éric de la Clergerie, Benoît Sagot, and Antoine Bordes. Controllable sentence simplification. In Proceedings of the Twelfth Language Resources and Evaluation Conference, 2020.

[13] Akiko Eriguchi, Shufang Xie, Tao Qin, and Hany Hassan. Building multilingual machine translation systems that serve arbitrary XY translations. In Proceedings of the 2022 Conference of the North American Chap- ter of the Association for Computational Linguistics: Human Language Technologies, 2022.

[14]郷原聖士, 綱川隆司, 西田昌史, 西村雅史. BERT によ る日本語文章の難易度推定. 第 21 回情報科学技術 フォーラム, 2022.

[15] 言語資源開発センター. 現代日本語書き言葉均衡 コーパス (BCCWJ). 国立国語研究所, 2014.

[16] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[17] J Peter Kincaid, Robert P Fishburne Jr, Richard L Rogers, and Brad S Chissom. Derivation of new readability formulas (automated readability index, fog count and flesch reading ease formula) for navy enlisted personnel. Technical report, Naval Technical Training Command Millington TN Research Branch, 1975.

[18]佐藤理史. 均衡コーパスを規範とするテキスト難易度測定. 情報処理学会論文誌, Vol. 52, No. 4, pp. 1777-1789, 2011

## A 付録

## A. 1 平易化文の生成例

平易化文の生成例を表 5 に示す. 表 5 において，目標難易度 4 では元の文から「業務」，「妨げ」，「慎 んで」がそれぞれ平易な単語に変換されている. ま た，目標難易度 3 では，元の文の「雑談」，目標難易度 2 及び 1 では, 目標難易度 3,4 において「妨げ」 を変換した「邪魔」から「進め方に関係があります」 というように，さらに平易な語彙に変換しているこ とが分かる.

## A. 2 疑似データセットの詳細な内訳

表 6 疑似データセットの目標難易度別内訳

表 6 に作成した疑似データセットの目標難易度別内訳を示す. 表中の orig は生成文のデータ数, simp は平易化文のデータ数を表している. 表 6 に おいて, 特に難易度 0 への変換を行う文対が少ない が，これは元となったやさしい日本語対訳コーパス [7][8] での文対中で平易化文が目標難易度 0 になる 言い換えが少ないことが原因であると考えられる.


# 文法誤りにおける一般誤りの分離可能性と解説文生成への応用

永田亮 ${ }^{1}$ 木村学 ${ }^{2}$
1 甲南大学知能情報学部 ${ }^{2}$ GRAS グループ株式会社
nagata-nlp2023 @ ml.hyogo-u.ac.jp.
manabu.kimura@gras-group.co.jp

## 概要

本稿では，ある種の誤り（一般誤りと呼ぶ）とそ の他の誤りでは, 誤り検出器における検出規則の獲得過程が異なり，その性質により一般誤りのみを分離できるという新たな知見を報告する。また，その 知見を利用して一般誤りの詳細なサブタイプを発見 することについても述べる. 更に，発見したサブタ イプを利用して，解説文生成を分類問題として解く ことを提案する．このアプローチには，訓練データ 作成コストと生成結果の信頼性という面で有利な点 があることを示す.

## 1 はじめに

本稿では，一般誤りの分離可能性という仮説を導入し，その仮説を文法誤り解説に応用する手法を提案する. 仮説の概要は，一般誤りとその他の誤りで は，誤り検出器における検出規則の獲得過程が異な り，その性質を利用することで一般誤りのみを分離 できるというものである.ここで，一般誤りとは，特定の内容語に依存しない規則で同定される文法誤 りと定義する（便宜的に，その他の誤りを単語固有誤りと呼ぶ). 例えば, *In this café serves good coffee. は，規則「主語は前置詞を伴わない」で誤りと同定 できるが，この規則はどのような主語や前置詞の 組み合わせにも適用できる。一方，単語固有誤り (例: *They protested on the situation.) では, 特定単語 （この例では protest とon）により誤りと同定される.本稿では，上述の仮説を利用して，前置詞の用法に 関する文法誤りについて，与えられた学習者コーパ スから一般誤りのみを分離できることを示す（\$3）.本仮説は，BERT ベースの誤り検出器の性能に関 する報告 [1] に着想を得ている．同報告では，この 検出器の性能曲線が図 1 の実線のようになること を示している。図 1 から，数百文の訓練データで性能が劇的に改善し, それ以降性能向上は緩やかにな ることがわかる。この理由を，我々は次のように予

図 1 誤り検出性能曲線と仮説的な説明.

想する. BERT ベースの検出器ではごく少量の訓練 データから一般誤りの検出規則が獲得され，一方 で，単語固有誤りについてはより多くの訓練データ が必要となる。一般誤りの同定規則は汎用的である ため，異なる単語からなる複数の訓練事例から獲得可能である。特に，BERT のように文法知識を有す るモデル $[1,2,3]$ では，一般誤りの検出規則の獲得 が容易になる。そのため，一般誤りに関する性能曲線は図 1 の赤い曲線（破線）のような形になる。一方，単語固有誤りについては，特定の単語を含んだ 訓練事例が必要となり，相対的に訓練事例が少な い. また，汎化がより難しい。結果，図10ように 直線的に性能が改善する，結果として観測される性能曲線は，二種類の破線の重ね合わせとなる。

もしこの仮説が完全に成り立つのであれば， BERT ベースの検出器を少量のデータで訓練し, 誤 り検出を行えば一般誤りのみが得られるはずであ る. 本稿では，このアイデアを拡張し一般誤りの事例を得る手法を提案する。また，獲得された一般誤 りにクラスタリングを適用することで，詳細なサ ブタイプを効率よく発見できることも示す（§4）.更に，得られたサブタイプにより解説文生成 [4] を 分類問題として解くことが可能になることも示す （§5）.これは，解説文生成における大きな二つの課題（1）訓練データが大量に必要となる，（2）フェイ ク解説文が生成されてしまう，の解決に繋がる.

## 2 関連研究

本稿の仮説は文献 [1] に着想を得ている. 同文献 は，与えられた文中の各トークンの正誤を推定する
誤り検出を対象にして性能を調査している. 様々な コーパスに対して，エンコーダを BERT，出力層を softmax 層とした誤り検出器が, 図 1 のような性能曲線を示すと報告している．以降の実験では，八 イパーパラメータの設定も含めて同じ検出器を用 いる.

解説文生成 [4] も本研究に関係が深い. 解説文生成とは, 語学学習のための解説文章を生成するタス クである. Hanawa ら [5] は深層学習に基いた手法が 同タスクに有効であることを示している. 同時に，深層学習ベースの生成は, 生成能力が非常に高いた めフェイク解説文を生成してしまうことを指摘して いる.フェイク解説文とは，存在しない規則を説明 する解説文のことである (例 : considerate は自動詞 なので目的語の前に前置詞は必要ありません。1)). フェイク解説文は，誤った知識を獲得させてしまう 可能性があるため極力避けるべきである.

フェイク解説文を避ける有効な手段は, 解説文生成を分類問題として解くという方法である。すなわ ち, 文法誤りを詳細なサブタイプに分類し分類結果 に紐づいた解説文を出力する。この方法であれば，事前に解説文を用意しておけるため，フェイク解説文が出力されることはない，問題は，生成タスクで は分類カテゴリが自明でないということである．た とえ分類カテゴリが与えられたとしても，誤りを詳細なカテゴリに人手で分類して訓練データを作成す ることは容易ではない. 本稿では, 仮説を利用して これらの問題を効率よく解決することを試みる。

## 3 一般誤りの分離可能性

## 3.1 手法

ここでのタスクは，入力として与えられた学習者 コーパスから，一般誤りのみを抽出するというもの である. ただし, 入力コーパス中の誤り位置は与 えられているとする。すなわち，誤り（もしくは訂正）情報が付与されたコーパスから一般誤りのみを 抽出するという問題設定を考える. なお，2 節で述 べたように, 以降では, 誤り検出器として文献 [1] の BERT ベースの検出器を用いる.

基本的な処理の流れは， 1 節の仮説に基づき，(1)入力コーパスを少量データに分割, (2)その少量デー タで誤り検出器を訓練, (3) 訓練済み検出器を残り

のコーパスに適用し，検出された事例を一般誤りと して出力, となる. この単純な方法では, 単語固有誤りが混入してしまう．なぜなら，少量の訓練コー パスでも，学習者やライティングトピックに共通し てみられる単語固有誤りが，ある程度の頻度になり 検出規則が獲得されてしまうからである.

そこで，提案手法では，コーパスの多重分割と トピック交差訓練という二つの工夫を行う，以下，図 2 に基いて提案手法を説明する.

ステップ (1) で，コーパスの多重分割を行う. 具体的には，入力コーパスから $N$ 文を $M$ セット抽出 する．ただし， $N$ は小さな値とし，各セットに重複 はないとする．残りは，一般誤り抽出用として，ス テップ（3）で使用する。

ステップ（2）で，上述 $M$ セットを用いて誤り検出器の訓練を独立に行う.ここでは, 各トークンの 正誤を推定する二値分類問題を解くことに注意が必要である。したがって, 新たに一般／単語固有誤り の情報をアノテーションする必要はない.

最終ステップ（3）で， $M$ 個の訓練済み検出器を 残りのコーパスに適用して誤りを検出する。仮説に 従い，Mのうち大部分 $\left(\theta_{M}\right.$ 個以上の検出器) で検出された誤りを一般誤りとして出力する.

オプションとして, トピック交差訓練を行うこと ができる．ステップ (1) でコーパスの多重分割を行 う際に，訓練用サブコーパスと一般誤り抽出用コー パスでライティングトピックが被らないように分割 する. そうすることで，ライティングトピックに共通する単語固有誤りが検出されることを抑制する。

## 3.2 評価と分析

対象データとして，学習者コーパス ICNALE [6] をべースにした前置詞誤り解説文データセット [7] を用いる. ICNALEでは，アルバイトと喫煙に関す る二種類のトピックが用意されている（以降，それ ぞれ，PTJと SMK と表記する），当該データセット では，各文書に対して，前置詞に関連した誤りの位置と解説文の情報が付与されている. ただし，通常 の前置詞誤りより広い範囲の誤りを対象にしてい る. 例えば，主語として使用された動詞（例：*Lean

図 2 一般誤り抽出の流れ。

English is difficult.), 句と節の混同 (例:*because of I like it）などを含む（詳細は文献 [7] を参照のこと）.

このデータセットの訓練データで訓練を行い,評価データを対象にして抽出を行った（分割は文献 [5] に従う). 付録 A に同データの統計を示す.各種パラメータは次のように設定した: $M=10$ (多重分割の数）; $N=800$ (サブコーパス中の文数）: $\theta_{M}=1, \ldots, 10$ (一般誤りと認める検出数).

図 3 に結果を示す ${ }^{2}$ ). 同図より，高い精度で一般誤りのみを抽出できていることが分かる．特に，卜 ピック交差訓練により recall, precision 共に高まる り, $\theta_{M}=9,10$ では単語固有誤りが混入していない ことが分かる. 全体的に, recall はそれほど高くは ないが，ある程度のサイズの学習者コーパスを入力 とすれば，一定量の一般誤りの事例を精度高く収集 できるともいえる. 次節以降で，このように収集さ れた一般誤りの事例が，詳細な誤りサブタイプの発見と解説文生成に有益であることを示す。

## 4 詳細なサブタイプの発見

前節の結果にクラスタリングを適用することで，一般誤りの詳細なサブタイプを発見することを試み る. ただし，一定量の一般誤りの事例を対象とする ため, 一方のトピックの訓練データで誤り検出器の 訓練を行い，もう一方のトピックの訓練データを抽出対象とする。一度に大量の事例を吟味することは 困難であることを考慮して，少量の事例から始め，段階的に事例の量を増しながらクラスタリングす る. 幸い，パラメータ $N$ と $\theta_{M}$ により，一般誤り抽出量を調整できる. 具体的には， $N=200$ から始め, $\theta_{M}$ を 10 から 1 づつ減らして行き，事例数が 30 を 超えたところで抽出を終了する. 所定の事例数が 得られない場合は, $N=400,800,1600$ と順に増加さ せ，同じ手順で抽出を繰り返す。

このようにして得た一般誤りの事例（候補）に対 して，Ward 法を利用した階層型クラスタリングを 適用し，詳細な誤りタイプの発見を行う. 距離とし て, ベクトル間の $L_{2}$ ノルムを用いる（ノルムが 1 と なるように正規化することで余弦類似度によるクラ スタリングと等価とした)。ベクトルとして誤り検出器内の BERT の出力を用る（誤り区間が複数トー クンに渡る場合，先頭のトークンに対応するべクト ルを用いる)，クラスタの解釈性を考慮して，いず れかのクラスタ内の事例数が 10 を超えたところで

2) 図の左から右へ進むにつれて $\theta_{M}$ が小さくなっている.

図 3 一般誤り分離の性能.

クラスタリングを終了する（クラスタ間距離の最大値が 1.5 を超えた場合も終了する)。このクラスタ リング結果を人手で吟味し, 各事例に詳細なサブタ イプのラベルを付与する。この過程を三回繰り返し 最終的な結果とする。二巡目以降では，それ以前の クラスタリング結果に，新たに抽出した一般誤り事例を加えてクラスタリングを行う。

以上の手順で一般誤りにおける 21 種類のサブタ イプを発見した。紙面の関係から詳細は付録 Cに 譲るが，前置詞を伴った主語，他動詞に前置詞を付 けた誤り，主語として使用された動詞などを発見し た. 事前に一般誤りの抽出を行うことで，似通った 事例がクラスタリング対象となる傾向がみられた (少量データで訓練されたどの検出器でも検出され る誤りであるため)．通常，サブタイプ数が増える につれ，適切なラベルを選択するのが難しくなる が，クラスタリングによりサブタイプごとに事例が まとまっているため作業が容易になる。特に，二巡目以降のクラスタリングでは，それ以前にラベル付 けされた事例が一緒に提示されるため，その効果は 高くなる。比較のために，抽出対象のコーパスから ランダムに誤り事例を 800 選択し，同様にクラスタ リングを適用したが，事例の約 4 割が単語固有誤り となり，ラベル付けがより困難であった（クラスタ 終了条件により実際にクラスタリングされたのは， PTJ で 109，SMK で 104 の事例であった)．実際，付録 C の表 6 に示したクラスタリングの良さを表す各種統計量にもそのことが表れている.

## 5 サブタイプに基づく解説文生成

前節で得られたサブタイプを利用して，解説文生成を分類問題として解くことを考える．入力中の誤 り箇所を特定し，詳細なサブタイプを推定し，その サブタイプに対応した解説文を生成するというタス クを想定する（ただし，後述するように，評価実験 では推定したサブタイプと人手で付けたサブタイプ の一致で性能評価を行う)。したがって，誤りトー クンでなく，誤りを含む文が入力の単位となる．誤 り箇所とサブタイプの推定には, BERT ベースの誤

り検出器を流用する。すなわち, 出力 softmax 層を サブタイプ（に加えて単語固有誤りと正しい語）と する.

実験手順は次の通りである．まず，サブタイプご とに事例の増加を行った. サブタイプの事例と訓練 データ中の事例との余弦類似度を計算し，類似度が 高いものから順に各サブタイプの事例数の合計が最大 40 となるまで追加した. その結果を人手で吟味 し，必要に応じてサブタイプのラベルを変更した. その結果，事例数が 10 以上となったサブタイプを 生成対象とした (PTJとSMKでそれぞれ 9 タイプと 13 タイプが対象となった). 対象となったサブタイ プは付録 Cの表 5 に記されている。なお，この過程 およびクラスタリングの過程で得られた単語個別誤 りも訓練データに含めた.

この結果を訓練事例（うち各サブタイプ 2 割を開発データ）としてサブタイプを推定した. 検出性能向上のため, オリジナル（二值分類）の BERT ベー ス検出器も併用した. オリジナルの検出器を 10 個 の異なるシードを用いて全訓練データで訓練した. その結果を，評価データに適用し，多数決をとり 誤り箇所を決定した. 誤り箇所に，サブタイプ用 の BERT ベース検出器を適用しサブタイプを推定し た. こちらも異なるシードで 10 回訓練し多数決を とった. なお, 単語固有誤り/正しい単語と推定し た場合は解説文を生成しないと取り扱った。また，訓練と評価では異なるトピックのデータを用いた.

表 1 の「分類」行に生成性能を示す3).「対象の み」行は，上述のサブタイプだけを対象にした性能 を示す. 比較用に, 「生成」行に, 文献 [5] で最高性能を達成した深層学習生成手法 (pointer generator) による生成性能も記した。また，表 2 に，PTJを対象にしたサブタイプごとの性能も示す（紙面の関係 から，SMK については付録 B に示す)。なお，評価 データ中に出現しなかったサブタイプは省略した.

表 1 より，生成問題として解いたほうが性能は高 いことがわかる．分類問題として解いた場合，解説対象となるのは一般誤りの限られたサブタイプのみ であることが大きな理由である．ただし，訓練デー タの作成にかかるコストを考慮する必要がある. 本実験では，PTJで 261 事例 (29.0/サブタイプ), SMK で 275 事例（21.2/サブタイプ）にサブタイプのラ ベルを付与しただけである。これに対して，pointer

3）評価データ中の全誤りに対して，人手でサブタイプのラべ ルを付与し，推定されたラベルと一致した場合，生成に成功 したとみなした.表 1 生成性能評価結果.

PTJ

SMK

表 2 サブタイプごとの生成性能（PTJ）.

generator の訓練には約 10 倍の訓練データを用いて いる.しかも，単なるラベル付けではなく，解説文 の記述が訓練データ作成に必要となる。加えて，分類問題の場合，フェイク解説文が生成されないこと が保証されており生成結果の信頼性も高い. 出力さ れるのは表 2 に示されるようなサブタイプに紐づい た解説文だけである。一方で，生成問題として解い た場合，何が出力されるかを事前に把握することは 困難であり，実用上の大きな課題となる．実際，人手で分析したところ, pointer generator の生成結果の うち，PTJで $8.3 \%$ ，SMKで $6.6 \%$ がフェイク解説文 に該当した．以上の通り，分類問題として解く本稿 のアプローチは，訓練データ作成コストと生成結果 の信頼性という面で大きな利点がある.

## 6 おわりに

本稿では，一般誤りの分離可能性という仮説を導入し，その仮説を解説文生成に応用することについ て述べた、コーパス中の一部の事例ではあるが，一般／単語固有誤りの識別を直接訓練せずとも高精度で一般誤りのみを分離できることを示した。ま た，その結果を用いて一般誤りの詳細なサブタイプ を発見した. 更に，その結果を利用すると，解説文生成が分類問題として解けることも示した. 生成性能は生成問題として解いた場合に劣るものの，分類問題として解くことで，訓練データ作成コストと生成結果の信頼性という面で有利な点があることを示 した. 今後は，前置詞誤り以外でも仮説が成り立つ かを調査する予定である.

## 謝辞

本研究は JSPS 科研費 JP22K12326 の助成を受けた

ものです.

## 参考文献

[1] Ryo Nagata, Manabu Kimura, and Kazuaki Hanawa. Exploring the capacity of a large-scale masked language model to recognize grammatical errors. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 4107-4118, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[2] Jason Wei, Dan Garrette, Tal Linzen, and Ellie Pavlick. Frequency effects on syntactic rule learning in transformers. In Proceedings of the $\mathbf{2 0 2 1}$ Conference on Empirical Methods in Natural Language Processing, pp. 932948, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[3] Ganesh Jawahar, Benoît Sagot, and Djamé Seddah. What does BERT learn about the structure of language? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3651-3657, Florence, Italy, July 2019. Association for Computational Linguistics.

[4] Ryo Nagata. Toward a task of feedback comment generation for writing learning. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3206-3215, Hong Kong, China, November 2019. Association for Computational Linguistics.

[5] Kazuaki Hanawa, Ryo Nagata, and Kentaro Inui. Exploring methods for generating feedback comments for writing learning. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 9719-9730, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[6] Shinichiro Ishikawa. A new horizon in learner corpus studies: The aim of the ICNALE project, pp. 3-11. University of Strathclyde Publishing, Glasgow, 2011.

[7] Ryo Nagata, Kentaro Inui, and Shin'ichiro Ishikawa. Creating corpora for research in feedback comment generation. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 340-345, Marseille, France, May 2020. European Language Resources Association.

## 付録

## A 実験に用いたデータの統計量

表 3亿，実験に用いたデータ [7] の統計量を示す。評価行のカッコ内の数は一般誤りの数を表す。一般誤りと単語固有誤りの判断は，付与された解説文の内容を参照し 人手で行った。なお，データの分割は文献 [5] に従う。

表 3 対象データの統計値.

## B 誤りタイプごとの生成性能

表 4 亿SMK におけるサブタイプごとの生成性能を示 す. 評価データに出現しなかったサブタイプは省略した.

表 4 サブタイプごとの生成性能（SMK）.

## C サブタイプ発見の詳細

4 節で発見された一般誤りの詳細なサブタイプを表 5 に 示す. 全部で 21 種類のサブタイプが確認されたが，紙面 の関係で解説文生成の対象となったサブタイプのみを掲載した。

表 6 亿，サブタイプ発見時に利用したクラスタリング に関する統計量を示す. 各種統計値は, PTJ, SMKでそれ ぞれ三回クラスタリング（計六回）したときの平均值で ある。また，「ランダム」とは，抽出対象のデータから誤 り 800 個をランダムに選択し，クラスタリングした結果 に対応する（ただし，クラスタに課された諸条件により実際にクラスタリングされたのは平均で 106.5 事例である). クラスタ併合率とは，二つ以上のクラスタに同一のラべ ルが付与されたためにクラスタの併合が起こった割合で ある。具体的には，クラスタ内の事例数に対する併合が 起こったクラスタ内の事例数の割合である。同様に，ク ラスタの分割回数に対して分割率も計算した。

表 6 より，提案手法と「ランダム」では一般誤りの割合 が大きく異なることがわかる。その影響で，「ランダム」表 5 獲得された一般誤りの詳細なサブタイプ.

 \\

では単語固有誤りを人手で除去するという作業が多くな る（また，単語固有誤りはクラスタリングでうまくグルー ピングされにくい傾向がみられた)，更に，クラスタの併合率の値により，提案手法のほうが同じサブタイプの事例が二つ以上のクラスタに入ることが少ないことがわか る.これは，一般誤りの抽出の効果により，似通った事例がクラスタリング対象となるからである（すなわち少量データで訓練されたどの検出器でも検出される誤りで あるため).

表 6 クラスタリング結果に関する各種統計量