# 部分木の類似性に基づく言語生成技術の自動評価

帖佐 克己, 平尾努
NTTコミュニケーション科学基礎研究所
\{katsuki.chousa.bg, tsutomu.hirao.kp\}@hco.ntt.co.jp

## 概要

系列変換モデルの発展により，言語生成技術の性能は飛躍的に向上し, 多様な表現で流暢な文を生成 できるようになってきた。言語生成技術をさらに発展させるには自動評価法が必要となるが，単語の一致に基づく従来の自動評価法は参照テキストと同じ 意味を持つテキストであっても表現が異なれば低 いスコアしか与えられない。一方，単語埋め込みべ クトルを活用した自動評価法は，単語の類似性を重視するため, 似たような単語列であれば意味が違っ ても高いスコアを与える.こうした問題を解決す るため，本稿では，2つの文の間の類似性を構文木 の類似性に基づき決定する手法を提案する．WMT Metric Shared Task のデータセットを用いて人手評価 との間の相関を調べた結果，提案法は教師データを 必要にしないにもかかわらず，既存手法と同等以上 の高い相関を達成した。

## 1 はじめに

言語生成技術の性能は系列変換モデル，特に Transformer モデル [1] の発展とともに大きく向上し た.ニューラルネットワークを用いることで語の類似性をよく捉えることができ，多様な表現のテキス トを生成できる. 言語生成技術の自動評価指標に は，生成されたテキストとあらかじめ用意された参照テキストとの間の単語列の一致に基づく類似度 が広く用いられている。機械翻訳の場合は，BLEU [2], 自動要約の場合は ROUGE [3] という $\mathrm{N}$ グラム の一致率を利用した手法がデファクトスタンダード であるが，N グラムの一致率という表層的な情報に 基づく手法には，参照テキストと同じ意味のテキス トであっても，表現が異なれば不当に低いスコアを 与えるという問題がある. この問題に対して, 近年提案された BERTScore [4] や BLEURT [5] では, 単な る表層上の一致に頼らず，BERT [6] などの事前学習済みモデルから得られる単語や文の文脈埋め込みべ

I saw a girl with a telescope

図1表層情報がほとんど同じなのに構造および意味が異 なるテキスト対の例

クトルを活用し，参照テキストと生成されたテキス トとの間の類似度を計算する。

しかし, これらの研究ではテキストがその背後に 持つ句構造や依存構造などの構文構造, 修辞構造の ような談話構造を利用していない. たとえば図 1 に 示したテキスト対では，表層情報のみに着目すると telescope と dog という名詞 1 つが異なるだけの意味の似た文に見えるが，その構造にも着目すると左 のテキストでは前置詞句 ( $\mathrm{PP}$ ) が動詞句 (VP) の直接的な子であるのに対して，右のテキストでは前置詞句は名詞句（NP）の子となっていることから，そ の意味も異なることがわかる. このようなテキスト を構成する単語がほぼ同じなのに意味が異なるよ うなテキスト対などに対して，BLEU などの表層情報の一致に基づく手法では曖昧性を解消できない ことから不当に高いスコアを与えてしまう。また， BERTScore などでも単語の類似性を重視するため,同様に不当に高いスコアを与えてしまう.この問題 に対して，テキストの構造は曖昧性を解消し，テキ スト間の差異を捉える有用なヒントとなり得るが， その有用性は明らかにはなっていない.

本稿では，構文木の間のアラインメントとその埋 め込みべクトルの類似度に基づいた言語生成技術の 自動評価法を提案する. 2 つのテキストの部分木を 列挙した後，いくつかの制約の下での部分木間のア ラインメントを決定し，最後にアラインメントに基 づいた部分木間のべクトル類似度を元にテキスト 間の類似度を計算する. WMT20 および WMT21 の Metrics Shared Task のデータセットに対して，提案
手法と人手による評価との間の相関を調べたとこ ろ，提案手法は教師データを必要としないにも関わ らず，タスクに参加した既存手法と比べて同程度も しくは高い相関を達成した。

## 2 関連研究

BLEU [2] や ROUGE [3] に代表される N グラムの 一致率に基づく自動評価法では言い換えを正しく同定できないことから，近年は大規模事前学習済みモ デルによる単語や文の文脈埋め込みべクトルに利用 した手法が提案されている. BERTScore [4] は，テ キストのトークンの埋め込みベクトルのコサイン類似度に基づいてテキスト間のトークンのアラインメ ントを決定し，そのアラインメントに基づいてテキ スト間の類似度を計算する。この際，埋め込みべク トルの計算に用いられる事前学習済みモデルはファ インチューニングを行わないため，教師データを必要としない. WMT18 metrics shared task ではシス テム単位での自動評価において人間の評価結果と高 い相関があることが報告されている。

一方で, BLEURT [5] では, BERT [6] の最終層の [CLS] ベクトルの上に線形層を追加して類似度を 計算する. 機械翻訳の自動評価に利用するため, BERT および線形層のパラメータは，人手でアノ テートされた翻訳評価データを用いて追加学習され る. よって, 人手で作成された教師データが必要と なる.

また，系列変換モデルによる言い換え生成を利用 した手法も提案されている. Prism [7] は, Seq2Seq モデルとして作成した言い換え生成器を用いて, 参照訳から翻訳文，もしくはその逆の方向で言い換え を生成した際のスコアを評価値とする手法を提案 している.このとき, 言い換え生成器は多言語翻訳 モデルを学習することで実現され，それによりゼロ ショット翻訳タスクと同様の枠組みで同一言語間の 言い換えの生成を行う。また，Prism は 39 言語に対応しており, WMT19 metrics shared task のセグメン ト単位での自動評価において他のすべての手法と同程度もしくは高い相関を達成している.

事前学習済みモデルには潜在表現として構文情報 が保持されているという分析 [8] が行われているも のの, 先行研究の評価はサブワードや文という単位 に基づいて計算されることから，得られるスコアも その計算の単位により制限されてしまい，表層情報 が似ているが意味が異なる文対に対して不当に高
いスコアを与えてしまう恐れがある. こうした問題 の解決のため，構文情報は有用であると考えられる が，文対の間の構文の違いを明示的に利用した自動評価法は提案されていない. もちろん，構文解析分野において，2つの構文木の違いを評価する指標は 提案されている $[9,10,11]$. ただし, これらは, 同じ 文に対する異なる構文木を評価するものである。つ まり，文が一致している場合にしか利用できないの で言語生成技術の自動評価には利用できない.

## 3 提案手法

本稿では，構文木の部分木の間のアラインメント とその埋め込みべクトルの類似度に基づく自動評価法を提案する. 提案法は（1）2つの構文木の部分木 を列挙した後，（2）部分木間のアラインメントを求 め，最後に（3）アラインメントに基づいた部分木間のべクトル類似度を用いて 2 つの文の間の評価ス コアを計算する。

(1) テキストの部分木の列挙 2 つのテキスト $x=\left.\langle x_{1}, \cdots, x_{i}\right.\rangle$ と $y=\left.\langle y_{1}, \cdots, y_{j}\right.\rangle$, およびその埋め込 みべクトルである $\left.\langle\boldsymbol{x}_{1}, \cdots, \boldsymbol{x}_{i}\right.\rangle$ と $\left.\langle\boldsymbol{y}_{1}, \cdots, \boldsymbol{y}_{j}\right.\rangle$ が与え られたとする。

まず，与えられた 2 文の構文を解析する。次に， アラインメントを取る対象とする部分木を列挙す る. 構文木として依存構造木を採用し, 部分木とし て単一のノード，葉から各ノードへのパス，任意の ノードとその子孫を列挙する。このとき，テキスト $x$ の部分木を $s_{m}$, 部分木 $s_{m}$ に含まれる単語の添字列を $\operatorname{idx}\left(s_{m}\right)$ と定義し, 部分木 $s_{m}$ に対応するべクト ルを

$
\boldsymbol{s}_{m}=\frac{\sum_{k \in \operatorname{idx}\left(s_{m}\right)} \boldsymbol{x}_{k}}{\left.\| \operatorname{idx}\left(s_{m}\right)\right) \|}
$

のように計算する. また，テキスト $y$ の部分木 $t_{n}$ に 対しても同様に定義，計算を行う.

(2) 部分木間のアラインメント 次に，列挙した 部分木 $s_{m}, t_{n}$ の間のアラインメントを求める. この とき，列挙されたすべての部分木の間で対応付けを 行うと，木構造の上での親子関係が逆転するような 対応や否定の関係にある対応が得られてしまうとい う問題が考えられる。この問題の影響を低減するた め, 本手法では対応付けられるのは同じ単語長 $l$ を 持つ部分木間のみに限るという制約を課す。

本手法では，BERTScore [4]を参考にして，個々 の部分木に対してもう一方のテキストの部分木か ら最もスコアの高いものを選択することでアライ

ンメントを求める. すなわち，単語長 $l$ の $s_{m}^{l}, t_{n}^{l}$ の それぞれに対応するもう一方のテキストの部分木 $a\left(s_{m}^{l}\right), a^{\prime}\left(t_{n}^{l}\right)$ は以下の通り求める.

$
\begin{aligned}
& a\left(s_{m}^{l}\right)=\max _{t_{n}^{l}} \operatorname{sim}\left(\boldsymbol{s}_{m}^{l}, \boldsymbol{t}_{n}^{l}\right) \\
& a^{\prime}\left(t_{n}^{l}\right)=\max _{s_{m}^{l}} \operatorname{sim}\left(\boldsymbol{t}_{n}^{l}, \boldsymbol{s}_{m}^{l}\right)
\end{aligned}
$

ここで, $\operatorname{sim}(s, t)$ は部分木 $s, t$ 間のスコアを表し，部分木 $s$ の主辞 $\operatorname{head}(s)$ を用いて以下のように表す.

$
\operatorname{sim}(s, t)= \begin{cases}\frac{s t}{\|s\|\|t\|} & (\text { head }(s)=\operatorname{head}(t)) \\ 0 & \text { (otherwise) }\end{cases}
$

上記で定義した部分木間のスコアでは，部分木の 主辞の一致による対応付けのフィルタリングを行っ ている。事前に対応付けられる候補をフィルタリン グすることにより，対応関係を求める際の計算量を 少なく抑えることができる。また，フィルタリング を行わない場合には，対応しない部分木同士の対応 に対しても 0 より大きいスコアを割り当ててしま い，類似度尺度に対してノイズとなってしまうこと が考えられる。事前にフィルタリングを行って，明確に対応しない部分木間のスコアに 0 を割り当てる ことで，この問題を軽減されることが期待できる。 このことより, 本手法では主辞に基づく対応付けの フィルタリングを導入している.

(3) アラインメントに基づくテキスト間類似度最後に, 各単語長 $l$ の部分木間のアラインメントに 基づいたスコアを計算し, それらのスコアから最終的なテキスト間類似度を計算する。

まず，テキスト $x, y$ の間の単語長 $l$ のアラインメ ントに対するスコア $F_{l}$ を，アラインメントの $x$ に 対する平均スコア $P_{l}$ と $y$ に対する平均スコア $R_{l}$ か ら，以下のように定義する。

$
\begin{aligned}
F_{l} & =\frac{2 P_{l} R_{l}}{P_{l}+R_{l}} \\
P_{l} & =\frac{\sum_{s_{m}^{l}} \operatorname{sim}\left(s_{m}^{l}, a\left(s_{m}^{l}\right)\right)}{\text { the number of } s_{m}^{l}} \\
R_{l} & =\frac{\sum_{t_{m}^{l}} \operatorname{sim}\left(a^{\prime}\left(t_{m}^{l}\right), t_{m}^{l}\right)}{\text { the number of } t_{m}^{l}}
\end{aligned}
$

次に，上記で得られた複数の単語長のスコアに基 づいて，最終的なテキスト間類似度 $F$ を以下の通り 求める.

$
F=\frac{2 P R}{P+R}, P=\frac{\sum_{l \in I} F_{l}}{\left.\|I_{x}\right.\|}, R=\frac{\sum_{l \in I} F_{l}}{\left.\|I_{y}\right.\|}
$

ここで, $I_{x}, I_{y}$ はそれぞれ $x, y$ の部分木のもつ単語長 の種類の集合であり, $I=I_{x} \cup I_{y}$ である.

## 4 実験

言語生成タスクの1つである機械翻訳を対象とし て人間の評価結果との間の相関で提案法のメタ評価 を行った。

## 4.1 設定

データセットには WMT20 および WMT21 の Metrics Shared Task $[12,13]$ のシステムレベルの 評価タスクのデータセットを用いた。言語対 は目的言語が英語であるもののみ，すなわち WMT20 では $\{\mathrm{cs}, \mathrm{de}, \mathrm{iu}, \mathrm{ja}, \mathrm{km}, \mathrm{pl}, \mathrm{ps}, \mathrm{ru}\}$-en, WMT21 で は $\{\mathrm{cs}, \mathrm{de}, \mathrm{is}, \mathrm{ja}, \mathrm{ru}, \mathrm{zh}\}$-en の ref-A と呼ばれる参照訳を 用いた1)。ベースラインはそれぞれの年度でタスク に参加していた尺度の中から, WMT20 では Prism [7] と BLEURT [5], WMT21 では Prism と BERTScore [4]を採用した. 評価尺度には, WMT20 に従って, ピアソンの積率相関係数を用いた2).

提案手法における部分木の間の類似度を計算する ための事前学習済み言語モデルには, SpanBERT [14] を使用した. WMT20 の ja-en を開発用データセット とし，そのデータセットで最も良い結果を示したこ とから，構造情報には依存構造を用いた。依存構造解析器には $\mathrm{spaCy}$ の RoBERTa ベースのパイプライ ン3)を使用した。

## 4.2 結果

結果を表 1 に示す. WMT20 では pl-enおよび ps-en 以外，WMT21 では zh-en 以外の言語対におい て，ベースラインと少なくとも同等以上の性能を 達成していることがわかる. ベースラインである Prism や BLEURT は大規模な多言語対訳コーパスや 人手による評価データを学習データとして必要とす るのに対して，提案手法は比較的入手が用意な単言語データで事前学習された言語モデルしか必要とし ない。こうした教師なし手法にもかかわらず高い性能を達成したことは，言語生成タスクの自動評価に おいて構文構造を考慮することの有効性を示してい る。一方，提案手法と同様に単言語データによる事前学習済み言語モデルに基づく BERTScore と比べ ると，一部のデータにおいて相関が大きく低下して


} & \multicolumn{8}{|c|}{ WMT20 } \\

表 1 WMT20/WMT21での各言語対における相関係数. 太字は 3 つの尺度の中で最も良いスコアであることを示す。ま た，†は開発用データセットであることを示す.

表 2 提案手法を構成する個々の要素のみを変化させた際 の相関係数の変化

いる．BERTScore がトークンレベルのアラインメン トに基づくのに対して，提案手法はそのアラインメ ントを構造レベルに拡張したものだとみなすと，部分木という単語よりも大きな系列を対象とするとア ラインメントがうまくいかないことがあるのではな いかと考える。

## 4.3 分析

提案手法を構成する個々の要素の貢献を確認す るために，構文情報として句構造を用いた際やフィ ルタリングを行わない際の WMT20 の日英でのデー タに対する相関係数を調べた。句構造解析器には Berkeley Neural Parser [15] ${ }^{4)}$ を使用し, 主辞は Collins のルール [16] に従って決定した. また, 句構造木に 対しては，任意のノードとその子孫を部分木として 列挙した. 結果を表 2 に示す.

まず，使用する構文情報の違いに着目すると，句構造より依存構造を用いたほうが相関が高い.これ は，直接的に主辞をモデリングしている依存構造の ほうが誤った主辞を用いることが少なくなり，より 正確に主辞によるフィルタリングを行えているから

4) https://github.com/nikitakit/self-attentive-parser
だ考える。また，主辞フィルタリングを行わない場合に着目すると，大きく相関係数が劣化している. このことより，事前に対応候補をフィルタリングし ておくことが自動評価の性能に大きく寄与すること がわかる.

## 5 まとめ

本稿では，構文木の間のアラインメントとその埋 め込みべクトルの類似度に基づく言語生成技術の 自動評価法を提案した. WMT Metrics Shared Task の データセットを用いたメタ評価の結果，提案手法は 大規模な追加データを必要としないにも関わらず既存手法と同程度に人手評価と相関することがわかっ た.このことより，言語生成タスクの自動評価にお いて構文構造を考慮することが有効であることが示唆された。

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the NIPS 2017, pp. 5998-6008, 2017.

[2] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[3] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[4] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q.

Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[5] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning robust metrics for text generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7881-7892, Online, July 2020. Association for Computational Linguistics.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the NAACL-2019, pp. 4171-4186, 2019.

[7] Brian Thompson and Matt Post. Automatic machine translation evaluation in many languages via zero-shot paraphrasing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), Online, November 2020. Association for Computational Linguistics.

[8] John Hewitt and Christopher D. Manning. A structural probe for finding syntax in word representations. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4129-4138, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics

[9] Satoshi Sekine and Michael Collins. Evalb, 1997.

[10] Joakim Nivre, Johan Hall, and Jens Nilsson. Memorybased dependency parsing. In Proceedings of the Eighth Conference on Computational Natural Language Learning (CoNLL-2004) at HLT-NAACL 2004, pp. 49-56, Boston, Massachusetts, USA, May 6 - May 7 2004. Association for Computational Linguistics.

[11] Jason M. Eisner. Three new probabilistic models for dependency parsing: An exploration. In COLING 1996 Volume 1: The 16th International Conference on Computational Linguistics, 1996.

[12] Nitika Mathur, Johnny Wei, Markus Freitag, Qingsong $\mathrm{Ma}$, and Ondřej Bojar. Results of the WMT20 metrics shared task. In Proceedings of the Fifth Conference on Machine Translation, pp. 688-725, Online, November 2020. Association for Computational Linguistics.

[13] Markus Freitag, Ricardo Rei, Nitika Mathur, Chi-kiu Lo, Craig Stewart, George Foster, Alon Lavie, and Ondřej Bojar. Results of the WMT21 metrics shared task: Evaluating metrics with expert-based human evaluations on TED and news domain. In Proceedings of the Sixth Conference on Machine Translation, pp. 733-774, Online, November 2021. Association for Computational Linguistics.

[14] Mandar Joshi, Danqi Chen, Yinhan Liu, Daniel S. Weld, Luke Zettlemoyer, and Omer Levy. SpanBERT: Improving pre-training by representing and predicting spans. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 64-77, 2020.

[15] Nikita Kitaev and Dan Klein. Constituency parsing with a self-attentive encoder. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2676-2686,
Melbourne, Australia, July 2018. Association for Computational Linguistics.

[16] Michael Collins. Head-driven statistical models for natural language parsing. Computational Linguistics, Vol. 29, No. 4, pp. 589-637, 2003.
 帖佐 克己, 平尾努 NTTコミュニケーション科学基礎研究所 \{katsuki.chousa.bg, tsutomu.hirao.kp\}@hco.ntt.co.jp  