# 名詞役割入れ替えに頑健な日本語含意関係認識

雨宮正弥 ${ }^{1}$ 増川哲太 ${ }^{1}$ 仲田明良 ${ }^{1}$ 狩野芳伸 ${ }^{1}$
1 静岡大学情報学部
\{mamemiya, tmasukawa, anakada, kano\}@kanolab. net

## 概要

含意関係認識に必要な要素は、語彙、構文、推論など様々であるが、たとえば語彙が共通しているが主語と目的語が入れ替わり文意が変わって矛盾となるべきような場合、現状の深層学習モデルでは分類性能が著しく低い。本研究では、非矛盾の文章ペア中の名詞を入れ替えることで矛盾とみなせる文章デ一タを自動作成し、既存の含意関係認識データセットと合わせて BERT をファインチューニングした。学習と評価には、既存の含意関係認識データセットに加え、Wikipedia と新聞記事から抽出したものを組み合わせて用いた。これにより、従来から高い性能が報告されているタイプの含意関係認識の性能は保持しつつ、日本語の文内で名詞を入れ替えたときに意味が変わり矛盾となったかを判別できることを示した。

## 1 はじめに

含意関係認識は、前提文と仮定文の文ペアについて、前提文が正しいとしたときに仮定文が正しいと言えれば含意、間違えていると言えれば矛盾、どちらとも言えない場合は中立と判定するタスクである。日本語では日本語 SNLI データセット (JSNLI) [1],本語構成的推論・類似度データセット（JSICK）[2], Japanese Realistic Textual Entailment Corpus (JRTEC) [3]などの含意関係認識データセットが作成され、事前学習済みの大規模深層言語モデルをファインチュ ーニングすることで 9 割近い分類性能が報告されている[1][2][3]。一方で、既存の深層言語モデルによる日本語の含意関係認識では語順の変化に対応できていないと報告されている[2]。含意関係認識は実際には語彙、構文、推論などその認識に必要な要素が様々であり、それらをまとめた全体性能のみでは性能を判断しがたい。特に、語彙は共通のまま主語と目的語を入れ替えたような場合、現状の深層学習モデルでは分類性能が著しく低い。こうした入れ替え前後
の文意の違いを捉えることは非常に重要であり、実現すれば深層学習モデルの根本的な処理能力の向上が期待できる。

本研究では、このような文章内で名詞を入れ替えたときに文意が変わる場合に着目し、自動で入れ替えたデータを生成しファインチューニングに用いる。名詞入れ替えデータの生成においては、入れ替え後の文の不自然さなどほかの手掛かりで判別できないように、品詞細分類や格フレームを用いたいくつかのフィルタを適用した。

名詞入れ替えデータと既存の含意関係認識データとを合わせて学習することで、これまでの含意関係認識の性能を保持しつつ、名詞を入れ替え文意が変わる文にも対応できることを示した。訓練と評価は、各種の既存含意関係認識データセット、Wikipedia、新聞記事データセットを組み合わせて実行し、デー タセットによるバイアスがないか確認した。

## 2 関連研究

日本語の含意関係認識データセットには、JSNLI [1]、JSICK[2]、JRTEC[3]、RITE[4]、RITE-2[5]、 RITE-Val[6]、Textual Entailment 評価データ[7]などがある。

JSNLI[1]は、英語の大規模含意関係認識データセットである SNLI[8]を日本語に翻訳したもので、事前学習済み BERT [9]をファインチューニングし、評価値 0.929 の分類性能を達成した[1]。

JSICK[2]は、多様な言語現象を含む英語の含意関係認識データセットである SICK[10]を日本語に翻訳したもので、事前学習済み BERTをファインチュ ーニングすることで Accuracy 84.0 の正答率を達成した[2]。また、項（名詞句）の語順を入れ替えても意味内容が変化しない場合に入れ替えをすると、 10\%程度正答率が下がることを示した。

JRTEC[3]は、根拠付きアノテーションをした含意関係認識データセットで、BERT のファインチュー ニングにより $\mathrm{F}$ 値 92.4 の分類性能を達成している[3]。

RITE[4]、RITE2[5]、RITE-VAL[6]は、NTCIR の shared task で使用されたデータである。RITE-VAL において Ishii らは Macro F1 77.96 を達成している $[11]$ 。

Textual Entailment 評価データ[7]は、クラスが 、

タセットである。また、推論の要因として包含、語彙（体言）、語彙（用言）、構文、推論の 5 つで各サンプルが分類されている。

## 3 提案手法

含意関係認識と一口にいっても、実際にはさまざまな要素がある。たとえば Textual Entailment 評価デ ータでは、包含、語彙（体言）、語彙（用言）、構文、推論の 5 つに大きく分類している。

表 1 に Textual Entailment 評価データの含意関係認識の例を示す。なお、Textual Entailment 評価デー

が、他の含意関係認識データセットに合わせ、本研

ラベルとして扱う。

表 1 Textual Entailment 評価データの例

 \\

本研究の目的は、表 1 内の「構文」例に当たる、日本語の文内で名詞を入れ替えたときに、文意が変わったかどうかを深層言語モデルに判別させることである。原文と名詞を入れ替えた文とのペアを用意し、原文を前提、入れ替え文を仮定とし、正解ラべルを「矛盾」とする含意関係認識タスクとして解く。

文内の任意の名詞ペアを入れ替えてしまうと、日本語として不自然、あるいは単語の並びの頻度が低いかどうかなどで容易に判別できてしまう可能性がある。そこで品詞細分類が同じ名詞のみを入れ替え対象とし、以下で詳述するように、述語とそれが格関係をもつ語(項)を記述した京都大学格フレーム [11]を用いて、入れ替え後もできるだけ日本語として成立しうる文になるようにした。
この名詞入れ替えデータと既存の含意関係認識デ ータセットとを組み合わせて学習・評価を行った。

## 3. 1 名詞入れ替えデータの作成

原文となる日本語文章データとして、データ量が多い日本語 Wikipediaデータiと中日新聞の過去 30 年分の記事データから一部を抽出して使用した。

Wikipedia、新聞記事の各文に対し、以下の 1 から 3 の操作を行い、名詞入れ替えデータを作成した。 40 文字以下の文のみを対象とし、名詞の入れ替えは 1 文につき一度とした。

1. JUMAN++(pyknp 0.6.1) iiで形態素解析をし、文中の名詞を特定する。名詞が連続している場合は 1 つの名詞として扱う。
2. 1 で得られた名詞のうち、品詞細分類が同じ最初の二つを入れ替えた文を作る。
3. 2 で得られた文を日本語構文解析器 KNP(pyknp 0.6.1) ii [12]で解析し述語と対応する格を取得した。この結果を京都大学格フレ一ム Ver 2.0 iii [11]と照らし合わせ、全ての述語と格の組み合わせがデータに存在する場合のみを採用し、他は除外した。

3.の操作により、入れ替え後の文が日本語として不自然なものが除かれると期待する。例えば原文「鉛筆で字を書く。」に対し「鉛筆」と「字」を入れ替えると「字で鉛筆を書く。」と不自然な内容になるが、これを除外することができた。

表 2 に、入れ替え後の結果をWikipedia、新聞記事それぞれから 100 件サンプリングして目視で検査した結果を示す。

表 2 名詞入れ替えデータの人手分類の統計

作成した名詞入れ替えデータのうち、入れ替え後も文意が変わらないサンプル、文意が変わるサンプル、入れ替え後は日本語として不自然なサンプル、の三

種に分類した。ここでいう不自然な文には、構文的に不自然な場合も含まれている。

表 3 に入れ替え後の事例を挙げる。文意が変わる例では、「天気」と「季節」が前提と仮説の文で入れ替わっており、違う文意になっている。文意が変わらない例では「追加」と「店舗閉鎖」が入れ替えられているが、「追加の店舗閉鎖」と「店舗閉鎖の追加」は同じ意味なので入れ替え後の文意が変化していない。不自然な日本語の例では、 2 つの名詞の間に助詞「の」が入っているため「お別れの会」全体で一つの名詞と認識されず、「後日お別れ」と「会」 が入れ替わる不自然な結果となった。

表 3 入れ替え文章の例

## 3.2 含意関係認識器

含意関係認識データの先行研究では、含意関係認識器として BERT が最も多く使用されていたため、本研究でも比較のため BERT を用いる。本研究では BERT の事前学習済みモデルをファインチューニングして含意関係認識器を構築する。入力は「[CLS]仮説 [SEP]前提[SEP]」の形式で、[CLS]に対応する出力を用いて含意、中立、矛盾の 3 クラス分類を行う。

## 4 実験

既存の含意関係認識データだけでファインチュー ニングした BERT と、既存の含意関係認識データに加えて名詞入れ替えデータで学習した BERTを用いて、含意関係分類タスクを行い評価した。

## 4. 1 データセット

JSNLI と JSICK の 2 つの含意関係認識データセッ卜と、3.1 の手順で作成した名詞入れ替えデータ

（Wikipedia shuffle および新聞記事 shuffle）を、 BERT ファインチューニングに使う学習データ・テストデータとして使用した。表 4 に各データセットの統計を示す。JSNLI と JSICK は訓練データとテストデータに分けて提供されているため、それぞれの
データ数を記載した。

## 4. 2 実験設定

以下の 4 通りの学習データセットでBERT をファインチューニングした。名詞入れ替えデータを学習寸る際は、含意のデータ数と矛盾のデータ数が同じくらいになるよう調整し、ランダムサンプリングした。
- JSNLI データセットの学習データ

・JSICK データセットの学習データ
- JSNLI データセットの学習データのうち矛盾ラ

ベルからランダムに文ぺア 2 万件を削除したもの) (含意約 17 万、矛盾約 15 万、中立約 17 万) + Wikipedia 入れ替えデータ（矛盾約 2 万）
- JSICK データセット (含意約 1100、矛盾約 800 、中立約 3000）+ Wikipedia 入れ替えデータ（矛盾約 300)

学習データは学習用・検証用で $4: 1$ に分割して学習した。学習や推論には Hugging Face $の$

BertForSequenceClassification ${ }^{\text {iv } を 、 B E R T ~} の$ 事前学習モデルは東北大学の乾研究室が公開している

bert-for-japanese-whole-word-maskingvを使用した。学習時のパラメータ設定は付録に記載する。

## 4. 3 実験結果

前節で示した 4 通りの方法でファインチューニングした BERT について、 4 通りのテストデータセットを用い、計 16 通りの評価を行った。テストデータセットはJSNLIおよびJSICK のテストデータセットに加え、前節で学習に使わなかった Wikipedia 入れ替えデータ約 14000 件と、新聞記事入れ替えデー夕 10599 件の計 4 種類である。評価結果を表 5 に示す。

表 5 各テストデータに対する評価結果

A:accuracy, P:クラス毎の precision(予盾/含意/中立), R:クラスごとの recall(矛盾/含意/中立)

含意関係認識データセットのみで学習した BERT では、名詞入れ替えデータでの正答率が著しく低い。提案手法である含意関係認識データセットと名詞入れ替えデータを合わせて学習した BERT は、JSNLI やJSICKテストデータの正答率はほぼ同等であるが、名詞入れ替えデータでの正答率が大幅に向上した。入れ替えデータは矛盾ラベルのみで構成されているが、バランスデータである JSNLI や JSICK でも高い性能を達成できていることから、単に矛盾のみを回答するのではなく純粋に性能が向上したといえる。

## 5 考察

Wikipedia でファインチューニングした場合に、名詞入れ替えによる矛盾ではなく、Wikipedia 特有の文体などを手掛かりに正答できた可能性があるが、新聞記事による評価も同等の高性能を示しているため、一般に入れ替えの結果となった矛盾関係を認識できるようになったと考えられる。事前学習データが Wikipedia であるため、既知の文であるために性能が上がった可能性についても、同様に新聞記事が高性能であることから排除できる。

JSNLI や JSICK の学習データだけでファインチュ ーニングした BERT が、Wikipedia の入れ替えデータと新聞記事の入れ替えデータにおいて、推論したクラスの数を表 6 に示す。JSNLI やJSICK だけで学習した BERT は入れ替えデータでほとんど含意と推論していたことが分かる。これは、従来手法の学習では文脈よりも単語に重みづけした推論を行っているからではないかと考えられる。入れ替えデータも含めて学習した BERT が、 Wikipedia や新聞記事の名詞入れ替えデータにおいて不正解となっていた例を表 7 に示す。例のように格助詞「の」の前後で名詞が入れ替わる例が多く、 その場合「日本の東京」 $\Leftrightarrow$ 「東京の日本」など文意が変わるものが多い一方で、表 7 の例や表 3 で示した「文意が変わらない」例のように文意が変わらないものが入れ替えデータの自動生成の結果に含まれており、そのため判別できなかった可能性がある。

表 6 推論したクラスの数

\cline { 2 - 7 } & 矛盾 & 含意 & 中立 & 矛盾 & 含意 & 中立 \\

表 7 名詞入れ替えデータでの不正解の例

## 6 おわりに

本研究では、名詞を入れ替えた日本語文章データを作成し、既存の含意関係認識データセットと合わせてBERT をファインチューニングした。その結果、従来の含意関係認識の性能を保持しつつ、文内で名詞を入れ替えたときにも、意味が変わり矛盾になったかどうか判別できるようになった。今後は、文章内で名詞が入れ替わっても意味が変わらない文に対応することや、より長い文でも性能が保てているかをテストし、本研究の提案手法を応用してきたい。

## 謝辞

本研究は JSPS 科研費 JP22H00804，JP21K18115， JP20K20509, JST AIP 加速課題 JPMJCR22U4, およびセコム科学技術財団特定領域研究助成の支援をうけた。中日新聞社より、過去の記事データをご提供いただいた。ここに深謝申し上げる。

## 参考文献

[1]. 吉越卓見，河原大輔，黒橋禎夫. 機械翻訳を用いた自然言語推論データセットの多言語化. 情報処理学会第 244 回自然言語処理研究会, 2020.

[2]. 谷中瞳, 峯島宏次. JSICK: 日本語構成的推論類似度データセットの構築. 人工知能学会第 35 回人工知能学会全国大会, 2021 .

[3]. 林部祐太. 知識の整理のための根拠付き自然文間含意関係コーパスの構築. 言語処理学会第 26 回年次大会, 2020 .

[4]. Hideki Shima, Hiroshi Kanayama, Cheng-Wei Lee, Chuan-Jie Lin, Teruko Mitamura, Yusuke Miyao, Shuming Shi, Koichi Takeda. Overview of NTCIR-9 RITE: Recognizing Inference in TExt. Proceedings of NTCIR-9 Workshop Meeting, 2011. 291-301.

[5]. Hideo Joho, Tetsuya Sakai. Overview of NTCIR-10. Proceedings of the 10th NTCIR Conference, 2013.

[6]. Hideo Joho, Kazuaki Kishida. Overview of NTCIR-11. Proceedings of the 11th NTCIR Conference, 2014.

[7]. 小谷通隆, 柴田知秀, 中田貴之, 黒橋禎夫. 日本語 TextualEntailment のデータ構築と自動獲得した類義表現に基づく推論関係の認識. 言語処理学会第 14 回年次大会, 2008. 1140-1143.

[8]. Samuel R. Bowman, Gabor Angeli, Christopher Potts, Christopher D. Manning. A large annotated corpus for learning natural language inference. Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, 2015. 632-642.
[9]. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT, 2019. 4171-4186.

[10] Marco Marelli, Stefano Menini, Marco Baroni, Luisa Bentivogli, Raffaella Bernardi, Roberto Zamparelli. A SICK cure for the evaluation of compositional distributional semantic models. Proceedings of the Ninth International Conference on Language Resources and Evaluation, 2014. 216-223.

[11]. Ai Ishii, Hiroshi Miyashita, Mio Kobayashi, Chikara Hoshino. NUL System at NTCIR RITE-VAL tasks. Proceedings of the 11th NTCIR Conference, 2014. 249-254.

[12]. 河原大輔，黒橋禎夫. 高性能計算環境を用いた Web からの大規模格フレーム構築. 情報処理学会研究報告, 2006. 67-73.

[13]. 河原大輔, 黒橋禎夫. 自動構築した大規模格フレームに基づく構文・格解析の統合的確率モデル.自然言語処理 14 巻 4 号, 2007.67-81

## A 付録

BERT の学習時設定において、最適化手法は AdamW学を使用した。学習時のハイパーパラメータは以下の通りである。
- Epoch 数 : 10
- 学習率 : $2 \mathrm{e}-5$

・バッチサイズ : 16

vi https://pytorch.org/docs/stable/generated/torch.optim.AdamW.html


# 単語の難易度埋め込みを用いた日本語のテキスト平易化

柳本 大輝 ${ }^{1}$ 梶原 智之 ${ }^{2}$ 二宮崇 ${ }^{2}$
1 愛媛大学工学部 2 愛媛大学大学院理工学研究科
\{yanamoto@ai., kajiwara@, ninomiya@\}cs.ehime-u.ac.jp

## 概要

本研究では、系列変換モデルの埋め込み層を拡張し、単語埋め込みに加えて単語の難易度埋め込みを用いることで、日本語のテキスト平易化の性能を改善する。日本語のテキスト平易化のために利用可能な文の難易度付きパラレルコーパスが存在しないため、英語の先行研究のように語や文の難易度を考慮したテキスト平易化を日本語で実現することは難しい。提案手法では、2,000 単語からなる基礎語彙に注目し、入力単語が平易か否かを考慮する。やさしい日本語コーパスにおける実験の結果、提案手法は積極的に平易な表現を出力する傾向が見られた。

## 1 はじめに

日本における在留外国人数は年々増加傾向にあり、その数は今や 290 万人 ${ }^{1) を}$ 超えている。さらに、在留外国人の国籍の多様化も進んでおり、在留外国人の国籍および出身地域の数は約 200 種類 ${ }^{2}$ である。そのため、在留外国人をはじめとする日本語非母語話者への情報伝達の際に、各人の母語へ翻訳することは困難である。また、2010 年の調査 [1] では、日常生活に困らない言語として日本語を挙げた在留外国人は約 $62 \%$ であり、英語や中国語を大きく上回ることが報告されている。そこで、緊急時の情報発信や平時の生活情報案内など、様々な場面においてやさしい日本語3)での情報提供が推奨されている。

やさしい日本語などの制限言語の生成は、テキスト平易化 [2] の技術による自動化が期待されている。 テキスト平易化では、文の意味を保持したまま、難解な文を平易に変換する。近年は、テキスト平易化を同一言語内の機械翻訳の問題として捉え、難解文と平易文の対からなるパラレルコーパス [3] を用いて系列変換モデルを訓練するアプローチ [4-6] が主

1) https://www.moj.go.jp/isa/content/001381744.pdf

2) https://www.moj.go.jp/isa/publications/press/ 13_00028.html

3）語彙や文法を制限した初学者にも理解しやすい日本語流である。この技術を用いて、所与の日本語文をやさしい日本語へ自動的に変換する日本語のテキスト平易化の研究 [7-11]が行われている。

しかし、テキスト平易化の多くの先行研究 $[3-5$, 10-14] は、機械翻訳などで用いられる標準的な系列変換モデルを適用し、テキスト平易化タスクの特徴である難易度を充分に考慮していない。多段階の文の難易度が付与されたパラレルコーパス $[3,5,15]$ を利用可能な状況では、難易度を考慮した手法 [16-18] も提案されているが、日本語を含む英語以外の言語には、そのようなコーパスは存在しない。

日本語には文の難易度が付与されたコーパスは存在しないものの、単語の難易度が登録された辞書 [19] は複数存在する。そこで本研究では、単語の難易度を考慮した日本語のテキスト平易化手法を提案する。提案手法では、やさしい日本語コーパス [7-9] に付属の基礎語彙を使用し、Transformer [20] に基づく系列変換モデルにおいて単語埋め込みに単語難易度の情報を組み込む。やさしい日本語コー パスにおける評価実験の結果、単語難易度の考慮によってテキスト平易化の性能を改善できた。

## 2 関連研究

テキスト平易化によって、言語障害を持つ人々や子どものテキスト読解支援 [21-23] および言語学習効率の向上 [24] などの効果が期待できる。ただし、子どもや言語学習者の言語能力は年齢や学習期間などの影響を受け、複数の段階を持つ。そのため、対象読者を想定してテキストの難易度を制御する手法が近年盛んに研究されている。

文レベルの難易度を考慮する先行研究では、目標難易度を特殊トークンとして入力文の文頭に付加する手法 [16] や、出力文の推定難易度と目標難易度の誤差最小化の訓練を行う手法 [18] が提案されている。単語レベルの難易度を考慮する先行研究では、目標難易度の文中で出現しやすい単語の出力を促す手法 [17] や、難解な文中で出現しやすい単語を出力

図 1 提案手法の概要

しないように強制する手法 [25] が提案されている。 しかし、これらの先行研究では、難易度を考慮するモデルを訓練するために、多段階の文の難易度が付与されたパラレルコーパス $[3,5,15]$ を必要とする。このようなパラレルコーパスは英語以外の言語では使用できないため、日本語においては難易度を考慮するテキスト平易化モデルを構築できない。

## 3 前提知識

## 3.1 やさしい日本語コーパスと基礎語彙

日本語のテキスト平易化のための言語資源として、やさしい日本語コーパス [7-9] がある。これは、 8.5 万文の日本語文を人手で平易化した日本語のテキスト平易化のためのパラレルコーパスである。原文は、日英対訳コーパスである田中コーパズ)から選択されている。このうち、 5 万文対 ${ }^{5}$ は日本語母語話者の大学生によって平易化され、残りの 3.5 万文対6) はクラウドソーシングによって雇用された日本語母語話者によって平易化されたものである。日本語のテキスト平易化の先行研究 $[10,11]$ では、やさしい日本語コーパスを用いて Transformer [20] に基づくテキスト平易化モデルが構築されている。 やさしい日本語コーパスの作者らは、やさしい日本語として、2,000 単語からなる基礎語彙7)を選定している。平易化の際には、記号や固有名詞は例外

4) https://github.com/odashi/small_parallel_enja

5) https://www.jnlp.org/GengoHouse/snow/t15

6) https://www.jnlp.org/GengoHouse/snow/t23

7) https://www.jnlp.org/GengoHouse/list/語彙
としつつも、基本的にはこの基礎語彙のみを用いて原文を言い換えている。なお、この基礎語彙は、 UniDic の単語分割基準に従っている。

## 3.2 系列変換モデルと追加特徴量

ニューラル機械翻訳などの深層学習に基づく系列変換モデルの性能を改善するために、埋め込み層に追加の特徴量を組み込む手法 [26] が提案されている。この手法は、品詞タグや係り受けラベルなど、単語埋め込みにおいて明示的に考慮されていない言語的特徵を考慮するために提案されたものである。具体的には、各特徴量に対してそれぞれ特徴べクトルを作成し、それらを単語埋め込みと連結する。

## 4 提案手法

本研究では、単語の難易度を考慮して日本語のテキスト平易化に取り組む。 3.2 節で説明した単語埋め込みにおける追加特徴量を用いて、ある単語が 3.1 節の基礎語彙に含まれるか否かの情報を考慮する。本手法では、基礎語彙に含まれる単語の生成および入力文中の基礎語彙に含まれる単語の出力への保持を促進し、入力文中の基礎語彙に含まれない単語の出力を抑制することが期待できるため、テキスト平易化の性能改善が見込める。

提案手法の概要を図 1 に示す。提案手法では、言語学的特徵を考慮する機械翻訳 [26] から着想を得て、系列変換モデルのエンコーダおよびデコーダにおいて、通常の単語埋め込み層とは別に、新たに難易度埋め込み層を用意する。難易度埋め込み層
表 1 実験結果

は、ある単語が基礎語彙に含まれるか否かで 2 種類の埋め込みを生成する役割を担う。入力された単語およびその難易度について、それぞれ異なる埋め込みを作成し、それらを連結して系列変換モデルに与える。つまり、エンコーダは単語の系列 $X=\left(x_{1}, \ldots, x_{m}\right)$ と難易度の系列 $G=\left(g_{1}, \ldots, g_{m}\right)$ を読み込み、エンコーダへの入力埋め込みは

$
E_{\text {enc }}=W x_{i} \| F g_{i}
$

となり、デコーダは推定単語の系列 $\hat{y}=\left(\hat{y}_{1}, \ldots, \hat{y}_{n}\right)$ と推定難易度の系列 $\hat{g}=\left(\hat{g}_{1}, \ldots, \hat{g}_{n}\right)$ を読み込み、デコーダへの入力埋め込みは

$
E_{\mathrm{dec}}=W \hat{y}_{i} \| F \hat{g}_{i}
$

となる。

ここで、\|はベクトルの連結、 $E$ は $d_{\text {model }}$ 次元のベクトル、 $W \in \mathbb{R}^{V_{\text {word }} \times d_{\text {word }}}$ および $F \in \mathbb{R}^{V_{\text {grade }} \times d_{\text {grade }}}$ は単語埋め込み行列および難易度埋め込み行列であり、 $V$ は語彙サイズ、 $d$ は次元数である。

また、デコーダは、Softmax 層の直前に単語出力用および難易度出力用の 2 つの線形変換層を持つ。 これらの単語出力層および難易度出力層の次元はそれぞれの埋め込み次元数と一致している。デコーダの出力は、単語埋め込み次元とそれ以降の次元の 2 つに分かれ、それぞれの出力層に入力される。

単語難易度は、やさしい日本語コーパスにおける 2,000 単語の基礎語彙に基づくが、頻出する記号 （句読点、感嘆符、疑問符、括弧）は充分に平易だと考元、基礎語彙に含めた。図 1 の例では、単語 $x_{i}$ が基礎語彙に含まれる場合は $g_{i}$ として「O」を、単語 $x_{i}$ が基礎語彙に含まれない場合は $g_{i}$ として「X」 を、それぞれ単語難易度として入力している。

## 5 評価実験

提案手法の有効性を検証するために、やさしい日本語コーパスおよび基礎語彙を用いて、日本語のテキスト平易化の評価実験を行う。

## 5.1 実験設定

データ本実験では、日本語のテキスト平易化のためのパラレルコーパスであるやさしい日本語コー
パス [7-9] を使用した。難解文に対して 7 種類の平易文が付与されたマルチリファレンスの 100 文対を評価データ、その他のシングルリファレンス部分から無作為抽出された 2,000 文対を検証データ、残りの 82,300 文対を訓練データとして使用した。

前処理として、難解文および平易文には $\mathrm{Mecab}^{8)}$ [27] による単語分割を行った。基礎語彙と単語分割基準を合わせるために、Mecab の辞書には UniDicを使用した。

モデルテキスト平易化モデルには Transformer [20] を使用し、Sockeye ${ }^{9)}$ [28]を用いて実装した。モデルの構成は、層数を 6 層、自己注意機構のヘッド数を 8、埋め込み次元数を 512、全結合層の次元数を 2,048 とした。提案手法では、 500 次元を単語埋め込み、12 次元を難易度埋め込みに割り当て、それらを結合して 512 次元の埋め込みをモデルに入力した。また、エンコーダおよびデコーダの単語埋め込み層と Softmax 層直前の線形変換の 3 つのパラメタを共有した。

訓練時には、バッチサイズを 4,096 トークンとし、最適化手法として Adam [29] $\left(\beta_{1}=0.9 、 \beta_{2}=0.98 ）\right.$ を使用した。初期学習率は 0.001 に設定し、学習率スケジューリングとして plateau-reduce を使用した。 また、200 ステップごとに検証用データにおいて SARI [30]を評価し、10 回連続で改善が見られない場合に訓練を終了する early-stopping を採用した。

評価評価には、テキスト平易化タスクで一般的に用いられている BLEU [31] および SARI [30] の自動評価指標を使用した。BLEU は、出力文と参照文を比較し、単語 n-gram の一致度を評価する。SARI は、入力文・出力文・参照文を比較し、単語 n-gram の追加・保持・削除の 3 つの編集操作の適切さを評価する。BLEU および SARI の計算には、自動評価パッケージである $\operatorname{EASSE}^{10)}$ [32]を使用した。なお、詳細な分析のために、SARIにおける各編集操作の F 値も確認する。

表 2 出力例（太字は基礎語彙に含まれる単語）

 &  \\

また、平易性に関する自動評価として、出力文中の基礎語彙の割合を算出する。この割合が高くなると、テキスト平易化モデルは基礎語彙、つまり、やさしい日本語をより多く出力できたと考えられる。参照文における基礎語彙の割合は $73.13 \%$ であった。

## 5.2 実験結果

表 1 に実験結果を示す。シード値を変更しつつ 5 回の実験を行い、その平均値によってテキスト平易化モデルの性能を評価した。提案手法は、ベースラインと比較して BLEU が 0.04 ポイント、SARI が 0.12 ポイント、それぞれ向上した。語句の追加・保持・削除の編集操作に関しては、特に追加の操作において、ベースラインと比較して 0.32 ポイントと大きな改善が見られた。基礎語彙の割合についても、提案手法はベースラインを上回った。追加操作 （add）が向上していることと併せて、提案手法は基礎語彙に含まれる単語を積極的に用いて書き換えを行っていると考えられる。

## 5.3 定性評価

各モデルによる生成文の例を表 2 に示す。上段の例では、入力文中の「不意」と「来客」の 2 単語が基礎語彙に含まれていない難解語であり、ベースラインおよび提案手法のどちらもこの 2 単語を書き換えた。「来客」については、両モデルとも基礎語彙に含まれている「客」に書き換えることができた。一方で、「不意」については、ベースラインは「思わ」「ない」の 2 単語、提案手法は「偶然」に書き換えた。ベースラインの出力した「思わ」は基礎語彙に含まれていないが、提案手法は基礎語彙に含まれる「偶然」を出力できた。

下段の例では、入力文中の「熱心」が基礎語彙に含まれていない難解語であり、両モデルともこの単語を含む「熱心」「に」の 2 単語に対して書き換えを行った。上段の例と同様に、提案手法の出力である 「集中」は基礎語彙に含まれており、ベースライン
の出力である「頑張っ」は含まれていない。これらの出力例で確認できるように、提案手法は単語の難易度を考慮しないベースラインよりも、入力文中の難解な表現を基礎語彙を用いる平易な表現に積極的に書き換える傾向がある。

## 6 おわりに

本研究では、やさしい日本語コーパスにおける基礎語彙を用いて、単語の難易度を考慮したテキスト平易化手法を提案した。提案手法では、系列変換モデルのエンコーダおよびデコーダの埋め込み層を拡張し、単語埋め込みおよび難易度埋め込みの組み合わせとして表現した。やさしい日本語コーパスにおける評価実験の結果、提案手法は積極的に平易な表現を出力し、全ての自動評価指標において比較手法を上回る性能を達成した。

今後の課題として、他の単語難易度辞書を用いて、提案手法によるテキスト平易化モデルの性能向上に取り組みたい。例えば、梶原ら [19] の単語難易度辞書 ${ }^{11}$ では、各単語に初級・中級・上級の 3 段階の難易度を付与しているため、より詳細な難易度の情報を得られる可能性がある。また、英語の単語難易度辞書 ${ }^{12)}[33]$ を用いるなど、提案手法の他の言語への適用にも取り組みたい。

## 謝辞

本研究は国立研究開発法人情報通信研究機構の委託研究（課題番号：225）の助成を受けたものです。

## 参考文献

[1] 岩田一成. 言語サービスにおける英語志向 : 「生活のための日本語: 全国調査」結果と広島の事例から.社会言語科学, Vol. 13, No. 1, pp. 81-94, 2010.

[2] Fernando Alva-Manchego, Carolina Scarton, and Lucia Specia. Data-Driven Sentence Simplification: Survey and Benchmark. Computational Linguistics, Vol. 46, No. 1, pp. 135-187, 2020.

11) https://github.com/Nishihara-Daiki/lsj

12) https://github.com/mounicam/lexical_simplification

[3] Chao Jiang, Mounica Maddela, Wuwei Lan, Yang Zhong, and Wei Xu. Neural CRF Model for Sentence Alignment in Text Simplification. In Proc. of ACL, pp. 7943-7960, 2020.

[4] Sergiu Nisioi, Sanja Štajner, Simone Paolo Ponzetto, and Liviu P. Dinu. Exploring Neural Text Simplification Models. In Proc. of ACL, pp. 85-91, 2017.

[5] Xingxing Zhang and Mirella Lapata. Sentence Simplification with Deep Reinforcement Learning. In Proc. of EMNLP, pp. 584-594, 2017.

[6] Sanqiang Zhao, Rui Meng, Daqing He, Andi Saptono, and Bambang Parmanto. Integrating Transformer and Paraphrase Rules for Sentence Simplification. In Proc. of EMNLP, pp. 3164-3173, 2018.

[7] 山本和英, 丸山拓海, 角張竜晴, 稲岡夢人, 小川耀一朗,勝田哲弘, 高橋寛治. やさしい日本語対訳コーパスの構築. 言語処理学会第 23 回年次大会, pp. 763-766, 2017.

[8] Takumi Maruyama and Kazuhide Yamamoto. Simplified Corpus with Core Vocabulary. In Proc. of LREC, pp. 1153-1160, 2018.

[9] Akihiro Katsuta and Kazuhide Yamamoto. Crowdsourced Corpus of Sentence Simplification with Core Vocabulary. In Proc. of LREC, pp. 461-466.

[10] 中町礼文, 梶原智之. 事前訓練済み系列変換モデルに基づくやさしい日本語への平易化. 情報処理学会第 83 回全国大会, pp. 607-608, 2021.

[11] 畠垣光希, 梶原智之, 二宮崇. やさしい日本語へのテキスト平易化のための訓練データの精選. 第 21 回情報科学技術フォーラム, pp. 293-300, 2022.

[12] Lucia Specia. Translating from Complex to Simplified Sentences. In Proc. of PROPOR, pp. 30-39, 2010.

[13] Sanja Štajner, Hannah Béchara, and Horacio Saggion. A Deeper Exploration of the Standard PB-SMT Approach to Text Simplification and its Evaluation. In Proc. of ACL, pp. 823-828, 2015.

[14] Tomoyuki Kajiwara and Mamoru Komachi. Building a Monolingual Parallel Corpus for Text Simplification Using Sentence Similarity Based on Alignment between Word Embeddings. In Proc. of COLING, pp. 1147-1158, 2016.

[15] Wei Xu, Chris Callison-Burch, and Courtney Napoles. Problems in Current Text Simplification Research: New Data Can Help. TACL, Vol. 3, pp. 283-297, 2015.

[16] Carolina Scarton and Lucia Specia. Learning Simplifications for Specific Target Audiences. In Proc. of ACL, pp. 712-718, 2018.

[17] Daiki Nishihara, Tomoyuki Kajiwara, and Yuki Arase. Controllable Text Simplification with Lexical Constraint Loss. In Proc. of ACL-SRW, pp. 260-266, 2019.

[18] Daiki Yanamoto, Tomoki Ikawa, Tomoyuki Kajiwara, Takashi Ninomiya, Satoru Uchida, and Yuki Arase. Controllable Text Simplification with Deep Reinforcement Learning. In Proc. of AACL, pp. 398-404, 2022.

[19] 梶原智之, 西原大貴, 小平知範, 小町守. 日本語の語彙平易化のための言語資源の整備. 自然言語処理, Vol. 27, No. 4, pp. 801-824, 2020.

[20] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Proc. of NIPS, pp. 5998-6008, 2017.

[21] John Carroll, Guido Minnen, Yvonne Canning, Siobhan Devlin, and John Tait. Practical Simplification of English Newspaper Text to Assist Aphasic Readers. In Proceedings of the Workshop on Integrating Artificial Intelligence and Assistive Technology, pp. 7-10, 1998.

[22] Jan De Belder and Marie-Francine Moens. Text Simplification for Children. In Proceedings of the SIGIR 2010 Workshop on Accessible Search Systems, pp. 19-26, 2010.

[23] Tomoyuki Kajiwara, Hiroshi Matsumoto, and Kazuhide Yamamoto. Selecting Proper Lexical Paraphrase for Children. In Proc. of ROCLING, pp. 59-73, 2013.

[24] Sarah E Petersen and Mari Ostendorf. Text Simplification for Language Learners: A Corpus Analysis. In Proceedings of the Workshop on Speech and Language Technology in Education, pp. 69-72, 2007.

[25] Tomoyuki Kajiwara. Negative Lexically Constrained Decoding for Paraphrase Generation. In Proc. of ACL, pp. 6047-6052, 2019 .

[26] Rico Sennrich and Barry Haddow. Linguistic Input Features Improve Neural Machine Translation. In Proc. of WMT, pp. 83-91, 2016.

[27] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proc. of EMNLP, pp. 230-237, 2004.

[28] Felix Hieber, Michael Denkowski, Tobias Domhan, Barbara Darques Barros, Celina Dong Ye, Xing Niu, Cuong Hoang, Ke Tran, Benjamin Hsu, Maria Nadejde, Surafel Lakew, Prashant Mathur, Anna Currey, and Marcello Federico. Sockeye 3: Fast Neural Machine Translation with PyTorch. arXiv:2207.05851, 2022.

[29] Diederik P. Kingma and Jimmy Lei Ba. Adam: A Method for Stochastic Optimization. In Proc. of ICLR, 2015.

[30] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing Statistical Machine Translation for Text Simplification. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 401-415, 2016.

[31] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: a Method for Automatic Evaluation of Machine Translation. In Proc. of ACL, pp. 311-318, 2002.

[32] Fernando Alva-Manchego, Louis Martin, Carolina Scarton, and Lucia Specia. EASSE: Easier Automatic Sentence Simplification Evaluation. In Proc. of EMNLP, pp. 49-54, 2019.

[33] Mounica Maddela and Wei Xu. A Word-Complexity Lexicon and A Neural Readability Ranking Model for Lexical Simplification. In Proc. of EMNLP, pp. 3749-3760, 2018.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 擬似データを用いた教師あり学習による語彙平易化

野口 夏希 ${ }^{1}$ 梶原 智之 ${ }^{1}$ 荒瀬 由紀 ${ }^{2}$ 内田諭 ${ }^{3}$ 二宮 崇 1
1 愛媛大学 2 大阪大学 3 九州大学
n_noguchi@ai.cs.ehime-u.ac.jp \{kajiwara, ninomiya\}@cs.ehime-u.ac.jp
arase@ist.osaka-u.ac.jp uchida@flc.kyushu-u.ac.jp

## 概要

本研究では，文平易化のための大規模なパラレルコーパスから語彙平易化のための擬似的なパラレルコーパスを自動抽出し，マスク言語モデルを再訓練する教師あり学習の枠組みで語彙平易化を行う．語彙平易化のためのパラレルコーパスはアノテーションコストが高いため，千件未満の小規模なものしか存在しない. そのため先行研究では, パラレルコー パスを用いた語彙平易化モデルの教師あり学習は検討されていない. 本研究では，擬似的なパラレルコーパスを用いた教師あり学習によって，3つの英語の語彙平易化タスクで最高性能を達成した。

## 1 はじめに

子どもや英語非母語者などの読解支援のために， テキスト平易化 [1] の研究が行われている. テキスト平易化は, 入力テキストの意味を保持しつつ, 語句や構造を変換して読者にとって理解しやすいテキストを生成する技術である。単語 [2]・文 [3]・文書 [4] の各単位を対象にテキスト平易化の技術が研究されているが, 本研究では最も基礎的な単語単位の平易化（語彙平易化）[5] に取り組む.

テキスト平易化モデルを訓練する際には，難解なテキストと平易なテキストの対であるパラレルコー パスを使用する. 文単位では約 50 万文対 [6], 文書単位では約 15 万文書対 [4] の大規模なパラレルコー パスを利用できる一方で，語彙平易化のためのパラレルコーパスは千件未満の小規模なもの [7-9] しか存在しない. これは, 語彙平易化のためのパラレルコーパスの構築が, 入力文からの難解語の検出,難解語に対する文脈を考慮した言い換え集合の生成，言い換え候補のリランキングなどの複数回のアノテーションを必要とする高コストなタスクのためと考えられる。 そのため, 語彙平易化の先行研究 [10-16] では, パラレルコーパスを必要とする教
Much of the water carried by these streams is diverted.

万言い換え候補生成

used, redirected, diverted, channel, poll, less, .

ฤ リランキング

1. redirected, 2. diverted, 3. poll, 4. used, ..

ฤ

Much of the water carried by these streams is redirected.

図 1 語彙平易化

師あり学習の手法は提案されていない.

本研究では，文単位のテキスト平易化のためのパラレルコーパス $[6,17,18]$ から少数の単語の置換のみによって平易化されている文対を抽出することで，語彙平易化のための擬似的なパラレルコーパスを構築する。そして，1万件規模のパラレルコーパスを用いてマスク言語モデル [19]を再訓練し, 教師あり学習のアプローチで語彙平易化を行う. 3 種類の英語の評価用データセット [7-9] を用いた評価実験の結果，教師あり学習によって語彙平易化の性能を改善でき，最高性能を達成した。

## 2 関連研究

語彙平易化は, 図 1 に示すように， 1 単語が難解語として注釈付けされた入力文が与えられ，文脈を考慮して難解語の平易な言い換え候補を生成するステップと，言い換え候補を難易度に基づきリランキングするステップの 2 つのサブタスクからなる. 本研究では，前者の言い換え候補の生成に取り組む.

## 2.1 言い換え候補の生成

言い換え候補の生成では，辞書に基づく手法と分散表現に基づく手法が提案されている. 初期の研究 $[10,20]$ では，人手で整備された WordNet $[21]$ などの辞書を用いて難解語の同義語を収集していた. その後，パラレルコーパス上での単語アライメント [22] によって大規模な言い換え辞書を自動構築
表 1 文単位のテキスト平易化のためのパラレルコーパスに含まれる文対の例

 & She is a member of the Democratic Party. & 文長が異なる例 \\

する手法が考案され, 文単位のテキスト平易化のためのパラレルコーパスを用いる手法 [7] や対訳コー パスを用いる手法 [2] が提案された. しかし, 辞書に基づく手法は，自動構築であっても網羅性に限界があり，言い換えの文脈依存性にも対処が難しいため，現在では分散表現に基づく手法が主流である.

分散表現に基づく手法としては, GloVe [23] や fastText [24]などの単語分散表現の余弦類似度を用いて難解語の類義語を収集する先行研究 $[13,15]$ が多い。近年の手法 $[16,25]$ は, 単語穴埋めの事前訓練を行ったマスク言語モデル BERT [19]を用い，文脈を考慮して言い換え候補を生成している．BERT は，文脈を考慮して言い換え候補を生成できる点と，単語穴埋めの事前訓練が語彙平易化の問題設定と近い点の 2 つの利点を持つ. そのため, 本研究でも BERTを用いて言い換え候補の生成に取り組む.

## 2.2 言い換え候補のリランキング

このステップでは，難解語との同義性，文脈の中での流暢性，候補単語の平易性などの観点から，複数の言い換え候補をリランキングし，言い換え単語を選択する. 初期の研究 $[10,20]$ では, 候補単語の 1-gram 頻度を用いて，平易性の観点からリランキングを行っていた. その後, 文脈に応じたランキングのために, 難解語の周辺単語も考慮する 5-gram 頻度 [9] も使用されるようになった. さらに，より多様な観点からのリランキングのために，1-gram 頻度および 5-gram 頻度に加えて, 難解語と候補単語の間の単語分散表現の余弦類似度（同義性）および候補単語と周辺単語の間の単語分散表現の余弦類似度（流暢性）も考慮する平均ランキング [13] が提案されている。近年の手法 $[16,25]$ では, 文脈を考慮する 5-gram 頻度および周辺単語との類似度計算を， BERT の単語穴埋め確率に基づいて改良している.本研究では，言い換え候補の生成に取り組み，リランキングの適用やリランキングの改良による語彙平易化の性能改善については今後の課題とする.

## 3 提案手法

本研究では，文単位のテキスト平易化のための大規模なパラレルコーパス $[6,17,18]$ の中から, 単語単位の変換のみが行われている文対を抽出することで，語彙平易化のための擬似的なパラレルコーパスを構築する．まず， 3.1 節では，語彙平易化のための擬似的なパラレルコーパスの構築手順について説明する. 次に，3.2節では，BERT [19]に基づく語彙平易化モデルの教師あり学習の方法について述べる.

## 3.1 擬似的なパラレルコーパスの構築

表 1 に例示するように, 文単位のテキスト平易化のためのパラレルコーパスには，語句を置換する平易化, 節を省略する平易化, 文の構造を変更する平易化など，様々な変換をともなう文対が含まれる。 その中で, 少数の単語の置換のみが行われている文対は語彙平易化の事例だと考えられるため，このような文対を以下の手順で抽出する．ただし，難解文を $C$ 個の単語からなる $X=x_{1}, . ., x_{C}$, 平易文を $S$ 個の単語からなる $Y=y_{1}, \ldots, y_{S}$ と表記する.

1. 難解文と平易文の文長に差異がある場合，単語の置換以外の変換が行われている. そこで，文長が異なる（ $C \neq S$ である）文対を除外する.

2. 文長が同じでも，多くの単語が異なる文対は語彙平易化の事例とは考えにくい，そこで，難解文と平易文の間で $i$ 番目の単語同士を比較し,異なる単語 $\left(x_{i} \neq y_{i}\right)$ の個数を数える. これがゼロまたは $k$ よりも大きい文対は除外する. ただし， $i$ は $0<i \leq C$ の整数である.

## 3.2 語彙平易化モデルの教師あり学習

先行研究 $[16,25]$ と同様に, 入力文および難解語をマスクした入力文の 2 文を BERT [19] に入力し, マスク部分に対する単語穴埋めの要領で言い換え候補を生成する. 2 単語を置換する表 1 の 2 文目の例では，具体的には “[CLS] relax the current standards

? [SEP] [MASK] the current [MASK] ? [SEP]" というトークン列を BERTへ入力する。ここで，[CLS] および [SEP] は BERT における特殊トークンであり， それぞれ文頭および文末を意味する。

先行研究 $[16,25]$ における言い換え候補生成では,生コーパス上で事前訓練のみを行った BERTを用いるが，本研究では事前訓練済みの BERTを 3.1 節の擬似的なパラレルコーパス上で再訓練してから用いる. 先ほどの例において，我々の再訓練では， 1 つめの [MASK] に対しては “lower”を，2つめの [MASK] に対しては“limits”を，それぞれ正解単語として, 事前訓練と同様に単語穴埋めのクロスエントロピー損失最小化の訓練を行う．このような再訓練を経た BERT は，語彙平易化における言い換え候補の生成に特化したモデルになると期待できる。

## 4 評価実験

提案手法の有効性および訓練ドメインの影響を検証するために， 3 種類の英語の語彙平易化タスクにおいて評価実験を行う。

## 4.1 実験設定

データ語彙平易化のための擬似的なパラレルコーパスは，文単位のテキスト平易化のための最大規模のパラレルコーパス1)である Wiki-Auto $[6,17]$ および Newsela-Auto [6,18] から抽出した. Wiki-Auto は Wikipedia ドメインの 488, 332 文対であり, NewselaAuto はニュースドメインの 394, 300 文対である. 前処理として, Moses Tokenizer ${ }^{2}$ [26] を用いて単語分割および小文字化を行った. 置換された単語数を表すハイパーパラメタ $k$ は， 1 から 5 までの 5 種類について実験した. 各ドメインで抽出された擬似的なパラレルコーパスの規模を表 2 に示す. なお， $k=1$ の文対中から 500 件ずつ合計 1,000 文対を無作為抽出して検証用セットとし，その他を訓練に用いた。

評価用には，英語の語彙平易化における代表的なコーパスである LexMTurk ${ }^{3)}$ [7]・BenchLS4) [8]・ $\mathrm{NNSeval}^{5}$ [9] の 3 種類を使用した. LexMTurk は Wikipediaを平易化した 500 件, BenchLS は Wikipedia および英語の均衡コーパス [27-29]を平易化した 929 件，NNSeval は BenchLS から高品質なサブセッ

表 2 語彙平易化の擬似的なパラレルコーパスの文対数

Wiki-Auto (Wikipedia) Newsela-Auto (News)

トを抽出した 239 件である.

モデル公平な比較のために, モデルは先行研究 $[16,25]$ に合わせて bert-large-uncased-whole-wordmasking ${ }^{6)}$ [19]を使用した. これは, 1,024 次元の埋め込み層および隠れ層を持つ 24 層 12 注意ヘッドの事前訓練済み Transformer 符号化器 [30] である. 再訓練には，バッチサイズを 16 文，学習率を $1 e-6$,最適化手法を Adam [31] として，検証用データにおけるクロスエントロピー損失が 3 エポック改善されない場合に訓練を停止した. なお，表 2 における各ドメインのパラレルコーパスを用いて，訓練ドメインの異なる 2 種類のモデルを構築した。

## 4.2 評価方法

単語分散表現に基づく Light-LS [13] と，マスク言語モデルに基づく BERT-LS [16] および SimpleBERT [25] を提案手法と比較する. Light-LS は, 単語分散表現 GloVe [23] の余弦類似度を用いて，難解語の類義語を言い換え候補として出力する. BERT-LS は，マスク言語モデル BERT [19] の単語穴埋め確率を用いて，文脈中で難解語の代替となる語を候補として出力する. SimpleBERT は, 語彙平易化の仕組みは BERT-LS と同じだが, Simple English Wikipedia および Newsela の平易な英文 [32]を用いて BERT の追加事前訓練を行うことで，性能を改善している。

先行研究の評価の設定に従い, 語彙平易化モデルによって出力された上位 10 件の候補単語を正解の言い換え集合と比較する。評価指標には，適合率および再現率と，その調和平均である $\mathrm{F}$ 値を用いる.

## 4.3 実験結果

表 3 に実験結果を, 表 4 に各モデルの出力例を, それぞれ示す。擬似的なパラレルコーパスを用いた教師あり学習によって，提案手法は全てのタスクにおいて最高の $\mathrm{F}$ 値を達成した。

6) https://huggingface.co/bert-large-uncased-wholeword-masking
表 3 実験結果

表 4 出力例（下線は入力文に含まれる難解語，太字は正解と一致する出力）

訓練ドメインに関しては，Newsela で訓練したモデルよりも Wikipedia で訓練したモデルの方が高い性能を達成した. 特に，Wikipediaのみを対象とする LexMTurk においてより大きな性能改善が見られたため，訓練用コーパスと評価用コーパスのドメインが一致することが重要であることがわかる.

## 4.4 擬似パラレルコーパスの人手評価

訓練データに含まれる置換単語数の最大值 $k$ を増加させるほど訓練データの規模も増加するが，本実験では $k=1$ のときに全てのタスクにおいて最高性能が得られた. つまり, 単純に訓練データ数を増やすことが性能改善に寄与するわけではない.

$k \geq 2$ では, "Linee played predominantly at centre." $\rightarrow$ "Linee played as a centre." のように，複数単語を同時に置換する句の平易化が訓練データに含まれる。 しかし, 語彙平易化の実際の評価データには, 1 単語のみを変換する事例しか含まれないため，これらの事例が訓練に悪影響を与えている可能性がある.

そこで，置換単語数ごとに，Wiki-Auto から 100 件ずつの訓練事例を無作為抽出し, 適切な語彙平易化の事例であるか否かの人手評価を実施した. ここで，適切な語彙平易化の事例とは， $i$ 番目の単語同士が全て置換可能な文対である。なお，置換単語が複数含まれる場合は，各単語がそれぞれ独立に置換
できる場合を適切な事例とする．複数単語を同時に置換する事例や，並び替えによって $i$ 番目の単語同士が対応しない事例は，不適切とする。

人手評価の結果, 置換単語数 1 の事例では 69 件,置換単語数 3 の事例では 11 件, 置換単語数 5 の事例では 1 件のみが適切な語彙平易化であった. これは，3.1 節の単純な規則では，置換単語数の増加とともにノイズ事例を多く収集してしまうことを意味する．そのため本実験では，訓練ノイズの少ない $k=1$ の設定で最高性能が得られたと考えられる.

## 5 おわりに

本研究では，文単位の大規模なテキスト平易化のためのパラレルコーパスから語彙平易化のための擬似的なパラレルコーパスを自動抽出することで，初めて語彙平易化モデルのための教師あり学習を実現した. 3 種類の英語の語彙平易化タスクにおける評価実験の結果，提案手法が全てのタスクにおいて最高の $\mathrm{F}$ 値を達成した．詳細な分析の結果，訓練デー タと評価データのドメインを一致させることの有効性や，ノイズの少ない 1 単語のみの置換の事例を用いて訓練することの有効性が明らかになった.

今後の課題として, 単語類似度推定 [33] を用いた擬似データ収集の高品質化や，リランキングのサブタスクへの教師あり学習の適用に取り組みたい.

## 謝辞

本研究は JSPS 科研費（基盤研究 B，課題番号： JP21H03564, JP22H00677）の助成を受けたものです.

## 参考文献

[1] Fernando Alva-Manchego, Carolina Scarton, and Lucia Specia. Data-Driven Sentence Simplification: Survey and Benchmark. Computational Linguistics, Vol. 46, No. 1, pp. 135-187, 2020.

[2] Ellie Pavlick and Chris Callison-Burch. Simple PPDB: A Paraphrase Database for Simplification. In Proc. of ACL, pp. 143-148, 2016.

[3] Sergiu Nisioi, Sanja Štajner, Simone Paolo Ponzetto, and Liviu P. Dinu. Exploring Neural Text Simplification Models. In Proc. of ACL, pp. 85-91, 2017.

[4] Renliang Sun, Hanqi Jin, and Xiaojun Wan. DocumentLevel Text Simplification: Dataset, Criteria and Baseline. In Proc. of EMNLP, pp. 7997-8013, 2021.

[5] Gustavo Henrique Paetzold and Lucia Specia. A Survey on Lexical Simplification. Journal of Artificial Intelligence Research, Vol. 60, No. 1, pp. 549-593, 2017.

[6] Chao Jiang, Mounica Maddela, Wuwei Lan, Yang Zhong, and Wei Xu. Neural CRF Model for Sentence Alignment in Text Simplification. In Proc. of ACL, pp. 7943-7960, 2020.

[7] Colby Horn, Cathryn Manduca, and David Kauchak. Learning a Lexical Simplifier Using Wikipedia. In Proc. of ACL, pp. 458-463, 2014.

[8] Gustavo Henrique Paetzold and Lucia Specia. Benchmarking Lexical Simplification Systems. In Proc. of LREC, pp. 3074-3080, 2016.

[9] Gustavo Henrique Paetzold and Lucia Specia. Unsupervised Lexical Simplification for Non-Native Speakers. In Proc. of AAAI, pp. 3761-3767, 2016.

[10] Siobhan Devlin and John Tait. The Use of a Psycholinguistic Database in the Simplification of Text for Aphasic Readers. Linguistic Databases, pp. 161-173, 1998.

[11] Or Biran, Samuel Brody, and Noemie Elhadad. Putting it Simply: a Context-Aware Approach to Lexical Simplification. In Proc. of ACL, pp. 496-501, 2011.

[12] Tomoyuki Kajiwara, Hiroshi Matsumoto, and Kazuhide Yamamoto. Selecting Proper Lexical Paraphrase for Children. In Proc. of ROCLING, pp. 59-73, 2013.

[13] Goran Glavaš and Sanja Štajner. Simplifying Lexical Simplification: Do We Need Simplified Corpora? In Proc. of ACL, pp. 63-68, 2015.

[14] Gustavo Henrique Paetzold and Lucia Specia. LEXenstein: A Framework for Lexical Simplification. In Proc. of ACL, pp. 85-90, 2015.

[15] Gustavo Henrique Paetzold and Lucia Specia. Lexical Simplification with Neural Ranking. In Proc. of EACL, pp. 34-40, 2017.

[16] Jipeng Qiang, Yun Li, Yi Zhu, Yunhao Yuan, and Xindong Wu. Lexical Simplification with Pretrained Encoders. In Proc. of AAAI, pp. 8649-8656, 2020.

[17] William Coster and David Kauchak. Simple English
Wikipedia: A New Text Simplification Task. In Proc. of ACL, pp. 665-669, 2011.

[18] Wei Xu, Chris Callison-Burch, and Courtney Napoles. Problems in Current Text Simplification Research: New Data Can Help. TACL, Vol. 3, pp. 283-297, 2015.

[19] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proc. of NAACL, pp. 4171-4186, 2019.

[20] Jan De Belder and Marie-Francine Moens. Text Simplification for Children. In Proceedings of the SIGIR 2010 Workshop on Accessible Search Systems, pp. 19-26, 2010.

[21] George A. Miller. WordNet: A Lexical Database for English. Communications of the ACM, Vol. 38, No. 11, pp. 39-41, 1995.

[22] Franz Josef Och and Hermann Ney. A Systematic Comparison of Various Statistical Alignment Models. Computational Linguistics, Vol. 29, No. 1, pp. 19-51, 2003.

[23] Jeffrey Pennington, Richard Socher, and Christopher Manning. GloVe: Global Vectors for Word Representation. In Proc. of EMNLP, pp. 1532-1543, 2014.

[24] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching Word Vectors with Subword Information. TACL, Vol. 5, pp. 135-146, 2017.

[25] Renliang Sun and Xiaojun Wan. SimpleBERT: A Pretrained Model That Learns to Generate Simple Words. arXiv:2204.07779, 2022.

[26] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open Source Toolkit for Statistical Machine Translation. In Proc. of ACL, pp. 177-180, 2007.

[27] Serge Sharoff. Open-source Corpora: Using the Net to Fish for Linguistic Data. International Journal of Corpus Linguistics, Vol. 11, No. 4, pp. 435-462, 2006.

[28] Diana McCarthy and Roberto Navigli. SemEval-2007 Task 10: English Lexical Substitution Task. In Proc. of SemEval, pp. 48-53, 2007.

[29] Jan De Belder and Marie-Francine Moens. A Dataset for the Evaluation of Lexical Simplification. In Proceedings of the 13th International Conference on Computational Linguistics and Intelligent Text Processing, pp. 426-437, 2012.

[30] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Proc. of NIPS, pp. 5998-6008, 2017.

[31] Diederik P. Kingma and Jimmy Lei Ba. Adam: A Method for Stochastic Optimization. In Proc. of ICLR, 2015.

[32] Xingxing Zhang and Mirella Lapata. Sentence Simplification with Deep Reinforcement Learning. In Proc. of EMNLP, pp. 584-594, 2017.

[33] Yuki Arase and Tomoyuki Kajiwara. Distilling Word Meaning in Context from Pre-trained Language Models. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 534-546, 2021.


# 単語単位で評価が可能な機械翻訳向け自動評価

高橋洸丞 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{takahashi.kosuke.th0, sudoh, s-nakamura $\}$ is.naist.jp

## 概要

機械翻訳の自動評価として広く用いられている BLEU[1] や COMET[2] などは、文単位で評価スコアを算出するように設計されている。しかし、文単位の評価は文内部の誤り箇所や誤り度合いを明示できないという欠点がある。そこで本研究では、文単位よりも細かい、単語単位で誤り評価が行われた人手評価データを使用して、単語単位での評価を行い、 その評価結果を基に文単位での評価スコアを算出する自動評価モデルを提案する。

2021 年の WMT metrics タスクによる実験において、提案手法は、従来の文単位でのみ評価を行うモデルと同等もしくは言語対によっては上回る人手評価との相関が得られた。

## 1 はじめに

自動評価には、(a) 単語単位で誤り計算をした後に文単位の評価値を算出するモデルや、(b) 人手評価を教師信号として文単位の評価値を直接学習するモデルがある。前者のモデル (a) として広く使用されている BLEU、BERTscore[3] は、単語の一致または一致度合いをそれぞれの単語で計算した後に、一致数や一致度合いの合計を文単位の評価値としている。しかし、これらのモデルは本質的に文中に含まれる単語数やトークン数、また機能語の数によって評価結果が変動してしまう問題がある。さらに、評価素性が字面の一致のみであることもあり、 WMT の metrics タスクにおいて (a) のようなモデルは (b) の自動評価モデルに比べて人手評価との相関が低い。後者のモデル (b) の BLEURT[4], COMET などは、XLM (Crosslingual Language Model) [5][6] という大規模な事前学習済の transformer[7] エンコーダを使用したモデルで、評価対象のシステム訳文・参照訳文・原言語文の三つを入力として、エンコーダを通して得た文べクトルから文単位の人手評価と同じ評価値を予測するように学習をしている。そし
て、これらのモデルは WMT metrics タスクの 20-22 年度で人手評価との高い相関を記録している。

自動評価システムが文単位の評価性能を向上させていく一方で、人手評価は文単位から単語単位へと変容している。年々と機械翻訳システムの翻訳性能が向上している為、曖昧な文単位の評価から、より細かい評価が可能な単語単位の評価へと、WMT の人手評価が変更された。19 年度まで文単位で人手評価を行う DA (Direct Assessment) [8] を採用していたが、20 年度からは MQM (Multidimentional Quality Metrics) [9] という単語単位で誤り度合いや誤りの種類を記述する評価手法となり、人手評価の信頼性が向上した。

本研究は、こうした人手評価の変化を受けて、自動評価でもより細やかな評価を行えるように、単語単位でのエラーの有無、エラースコアを計算する。 また同時に、文スコアに与える各単語の重要度を計算し、それらを基に文単位での評価値も算出するモデルを提案する。提案手法は単語単位での評価が可能な上に、実験の結果、文単位のみの評価手法 (ベースライン)と、同程度の人手評価との相関、あるいは言語対によってはより高い相関値を得ることができた。

## 2 関連研究

WMT の metrics タスクでは、DA と MQM の二種類の人手評価手法が取り入れられており、DAが WMT15-21 の翻訳結果に、MQM が WMT20-22 の翻訳結果にアノテーションされている。DA は 0-100 の整数値で参照訳文に対して翻訳文の出来を評価する手法で、高性能な翻訳システムの評価には信頼性が欠けるとされている [10]。一方で、MQM は翻訳誤りの種類や程度を誤翻訳されている箇所にアノテーションし、その誤りの種類や程度によって各翻訳文の評価スコアを決定する。

翻訳文の自動評価というタスクでは、MQM の採用によって 21 年度より単語単位の評価が重要視さ

れ始めたが、品質推定のタスクではそれ以前より単語単位での評価が行われてきた。これらの二つのタスクの違いは、参照訳文の有無であり、本研究は参照訳文付きの翻訳文評価タスクでの使用を想定している。

MQM を使用した評価モデルには WMT22 で発表された、COMET22 $\tilde{y}_{\text {tag }}$ [11] や MaTESe[12] がある。 COMET22 $\tilde{y}_{\text {tag }}$ は、これまでの COMET と同様の文単位で評価値を出力する線形層に加えて、単語単位で OK/BAD という誤りの有無を出力する線形層を持ちマルチタスク学習をしている。そして、MaTESe は単語単位で誤りの有無や、誤り度合いが Major なのか Minor なのかを、BIO ラベルで系列ラベリング問題を解く形で予測するモデルであり、COMET から文単位のスコア予測の線形層が取り除かれた構造をしている。

本研究の提案手法は、これらのモデルと比較すると、以下の点で異なる。

1. 単語単位で誤りの有無と誤りのスコアを共に出力する点

2. 単語単位の誤り予測結果を基に文単位のスコアを計算する点

## 3 提案手法

従来の評価モデルは、文単位の評価しか行えないので、文中のどこがどの程度誤っているのかを提示できない。また、COMET22 $\tilde{y}_{\text {tag }}$ などの単語単位評価モデルは、文単位スコアが単語単位スコアに依らずに決定されるため、文単位と単語単位で一貫性のない設計となっている。そこで本研究では、システム訳文の単語単位のエラーの有無、エラースコア、 そして文単位のエラースコアをそれぞれ出力することができる手法を提案する。提案手法の評価モデルは、図 1 のように、システム訳文・原言語文・参照訳文の三つの入力文から、XLMを通したトークンごとの embedding を用いて評価を行う。また図 1 内の Transformer に対して、XLM のそれぞれの出力に、positional embedding と入力の種類によって異なる token type embedding をそれぞれ足し合わせたものを、[システム訳文, 原言語文, 参照訳文] の順に結合したものを入力する。(図 2)

単語単位のエラーの有無はIO ラベルによって予測され、cross-entropy ロスを用いた学習をする。また単語単位のエラースコアは回帰問題として予測され、MSEロスを用いて学習する。そして文単位のエ

図 1 提案手法の全体構造

図 2 提案モデルの transformerへの入力。XLM から出力された分散表現に PE(Positional Embedding) と TE(Token Type Embedding) を足し合わせて、システム訳文・原言語文・参照訳文の順に結合したものを入力する。

ラースコアは、エラーの有無を表現するエラーラベルとエラースコア、そしてスコア重みの三つの掛け合わせによって決定され、MSEロスを用いて学習も行う。

MQM データの前処理MQM のデータは評価者によって誤りの位置や誤り度合い・誤りカテゴリも異なるので、評価者が誤りだと表記した単語ごとに google の MQM の重みスコア (表 1) に従ったスコアを割り振り、同一システム訳文の全評価者分で単語ごとのスコア平均を取る。このスコア平均を単語単位エラースコアの正解データとして扱い、その中でもスコアが 0 以上の単語についてはエラー有りラべルを、スコアが 0 の単語はエラー無しのラベルを付
与し、これを単語単位のエラー識別の正解データとする。また、単語単位ではなく文単位でスコア平均を取ったものを文単位のエラースコアの正解データとして扱う。

表 $1 \mathrm{MQM}$ の誤り度合いとカテゴリによる重みスコア

## 4 実験

実験は WMT metrics shared taskの 21 年度のデータを用いて行なった。

## 4.1 実験設定

newstest20 と TED 共に en-de (英-独) と zh-en (中英) の言語対から 9:1 の割合で訓練データと開発データに分けて使用し、newstest21 の en-de、zh-en の言語対において自動評価の性能評価を行なった。性能評価は、ピアソンの相関係数、ケンドー ルの相関係数を用いて文単位の人手評価との相関を計測し、単語単位での性能評価は予測エラーラベルの適合率、再現率、F1, エラースパンの適合率 (HSH) ・再現率 (TSH)[12]を用いて行なった。また、モデルの性能比較のために、単語単位のエラー 有無・エラースコアを一切予測せず、直接文スコアを予測するモデル (ベースライン) も用意した。 さらに、提案手法と同様に単語単位の評価が行える COMET22 の公開されているモデル1) から, $\tilde{y}_{\text {tag }}$ モデル (COMET22 tagging) と文単位の出力を行う COMET22 のモデル (COMET22 segment) で評価実験を行なった。COMET22 の両方のモデルは、提案モデルよりも DA15-20 のコーパスと MQM20 en-ru 言語対のコーパス分、訓練データが多いため、比較対象ではなく、よりよい条件で訓練されたモデルの参考として用意した。そして COMET22 tagging は、 OK/BAD の予想確率が各単語の出力となっていたので、その値が 0.5 以上ならエラー有り、未満ならエラー無しとして評価した。

## 4.2 実験結果

評価モデルごとの文単位、単語単位のメ夕評価結果をそれぞれ表 2 と表 3 に示す。実験の結果、各言語対において、文スコアのみを直接予測するモデルよりも、提案モデルの方がピアソンの相関係数とケンドールの相関係数が高かった。また en-de、 zh-en の個々の言語対では参考モデルの COMET22 segmentに及ばないものの、2つの言語対をまとめた状態でのメタ評価は COMET22 segmentを上回った。 そして単語単位のメタ評価では、提案モデルは適合率よりも再現率が高くなっており、それに伴ってエラースパンの適合率よりも再現率の方が高くなっていた。さらに、中国語を含んだコーパスにおいて提案モデルは COMET22 tagging よりもエラースパンの数値がよかった。

## 4.3 誤り度合いによる評価結果の違い

表 1 より、MQM の誤り度合い Major と Minor の境目は 5.0 と 1.0 である。本節ではより誤り度合いの大きい文スコア 5.0 に着目し、文単位スコア 5.0 以下と 5.0 超えにテストデータを分けたメタ評価を行なった (表 4, 5, 6, 7)。その結果、提案モデルは、文スコア 5.0 越えの zh-en 言語対を除いて、文スコアのみを直接予測するベースラインモデルを上回る相関係数値を示した。そして表 4 と 5 の相関係数の変化から、COMET22よりも提案モデルは、より誤り度合いの高い文に対して相関係数が高くなる傾向があった。

また、単語単位のメタ評価やエラースパンについても、エラースコアが高い文に対してエラー予測の適合率や再現率が高くなった。

## 5 おわりに

本研究では、単語単位でエラーの有無・エラーの度合いを予測し、それらの予測結果から文単位のスコアを計算する機械翻訳向けの自動評価を提案した。WMT21 の評価タスク実験の結果、提案手法はベースラインと比較してピアソンやケンドールの相関係数値を高く維持したまま、単語単位での評価が行えていることがわかった。また、適合率・再現率や事例分析の結果、単語単位のエラー予測については実用段階には少し早いかもしれないが、エラースパンの予測という観点で見ると、半分程度のスパン予測の適合・再現が可能であることがわかった。
表 2 WMT21 MQM コーパスでのメタ評価。各言語対のピアソン $(\rho)$ 、ケンドール $(\tau)$ の相関係数値を計測した結果

表 3 WMT21 MQMコーパスでの単語エラー予測を適合率 $(\mathrm{P})$ 、再現率 $(\mathrm{R}) 、 \mathrm{~F} 1$ スコア $(\mathrm{F})$ 、エラースパンの適合率 $(\mathrm{HSH})$ 、再現率 (TSH) で計測した結果

表 4 文スコアが 5.0 以下、 0.0 越えの誤りを含む文に対するピアソン $(\rho)$ とケンドール $(\tau)$ の相関係数値

表 5 文スコアが 5.0 越えの誤りを含む文に対するピアソン $(\rho)$ とケンドール $(\tau)$ の相関係数値

表 6 文スコアが 5.0 以下、 0.0 越えの誤りを含む文に対する適合率 $(\mathrm{P})$ 、再現率 $(\mathrm{R}) 、 \mathrm{~F} 1$ スコア $(\mathrm{F})$ 、エラースパンの適合率 (HSH)、再現率 (TSH) で計測した結果

表 7 文スコアが 5.0 超えの誤りを含む文に対する適合率 $(\mathrm{P})$ 、再現率 $(\mathrm{R}) 、 \mathrm{~F} 1$ スコア $(\mathrm{F})$ 、エラースパンの適合率 $(\mathrm{HSH})$ 、再現率 (TSH) で計測した結果

## 謝辞

本研究は JSPS 科研費 $22 \mathrm{H} 03651$ の支援を受けたものである。

## 参考文献

[1] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a Method for Automatic Evaluation of Machine Translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[2] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. COMET: A neural framework for MT evaluation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2685-2702, Online, November 2020. Association for Computational Linguistics.

[3] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[4] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning robust metrics for text generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7881-7892, Online, July 2020. Association for Computational Linguistics.

[5] Alexis Conneau and Guillaume Lample. Cross-lingual language model pretraining. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[6] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[8] Yvette Graham, Timothy Baldwin, and Nitika Mathur. Accurate Evaluation of Segment-level Machine Translation Metrics. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1183-1191, Denver, Colorado, May-June 2015. Association for Computational Linguistics.

[9] Arle Lommel, Hans. Uszkoreit, and Aljoscha Burchardt. Multidimensional Quality Metrics (MQM) : A Framework for Declaring and Describing Translation Quality Metrics. Tradumàtica, No. 12, pp. 455-463, 2014.

[10] Markus Freitag, George Foster, David Grangier, Viresh Ratnakar, Qijun Tan, and Wolfgang Macherey. Experts, errors, and context: A large-scale study of human evaluation for machine translation, 2021.

[11] Ricardo Rei, José Souza, Duarte Alves, Chrysoula Zerva, Ana C Farinha, Taisiya Glushkova, Alon Lavie, Craig Stewart, Luisa Coheur, and André Martins. COMET22:unbabel-ist 2022 submission for the metrics shared task. In Proceedings of the Seventh Conference on Machine Translation. Association for Computational Linguistics, 2022.

[12] Stefano Perrella, Lorenzo Proietti, Alessandro Scirè, Niccolò Campolungo, and Roberto Navigli. MATESE: Machine translation evaluation as a sequence tagging problem. In Proceedings of the Seventh Conference on Machine Translation. Association for Computational Linguistics, 2022

## A 付録

## A. 1 文スコア 1.0 の上下での評価結果の違い

4.3 節では文スコア 5.0 の上下で評価結果の違いを分析したが、本節では文スコア 1.0 の場合の結果を示す (表 8、9、10、7)。文スコア 5.0 の時と同様に、提案モデルはより誤り度合いの高い文に対してメタスコアがよくなっている。

表 8 文スコアが 1.0 以下、 0.0 越えの誤りを含む文に対するピアソン $(\rho)$ とケンドール $(\tau)$ の相関係数値

表 9 文スコアが 1.0 越えの誤りを含む文に対するピアソン $(\rho)$ とケンドール $(\tau)$ の相関係数値

表 10 文スコアが 1.0 以下、 0.0 越えの誤りを含む文に対する適合率 $(\mathrm{P})$ 、再現率 $(\mathrm{R}) 、 \mathrm{~F} 1$ スコア $(\mathrm{F})$ 、エラースパンの適合率 (HSH)、再現率 $(T S H)$ で計測した結果

表 11 文スコアが 1.0 超えの誤りを含む文に対する適合率 $(\mathrm{P})$ 、再現率 $(\mathrm{R}) 、 \mathrm{~F} 1$ スコア $(\mathrm{F})$ 、エラースパンの適合率 $(\mathrm{HSH})$ 、再現率 (TSH) で計測した結果


# 深層距離学習を用いた日本語動詞の意味フレーム推定

矢野 千紘 ${ }^{1}$ 山田康輔 1 笹野遼平 1,2 武田 浩一 1
1 名古屋大学 2 理化学研究所
\{yano.chihiro.j3, yamada.kosuke.v1\}@s.mail.nagoya-u.ac.jp
\{sasano, takedasu\}@i.nagoya-u.ac.jp

## 概要

本研究では，深層距離学習でファインチューニングした BERT を用いた日本語動詞の意味フレーム推定に取り組む．英語では人手で構築された大規模なフレームリソースである FrameNet が存在する一方で，日本語では教師データとして利用可能なリソー スが日本語フレームネットなど比較的小規模なものに限られている。そのため本稿では, 少量だが評価言語で構築された日本語フレームネットを教師信号として BERT をファインチューニングする手法と，言語間での知識の転移を期待して，他言語だが規模の大きい FrameNetを教師信号として多言語 BERT をファインチューニングする手法を実施し，各手法による意味フレーム推定実験の結果を報告する。

## 1 はじめに

人は言葉を理解するにあたり，経験から得た語の背景知識を利用しているとされる [1]. 意味フレー ム知識とはそれらの背景知識をまとめた知識リソー スのことであり，英語については，大規模なフレー ム知識リソースが人手で整備されている [2]. また,大規模なテキストコーパスから意味フレーム知識を自動構築することを目的とし, 動詞を喚起する意味フレームごとにまとめる意味フレーム推定の研究も行われており, 近年は, BERT [3] などの事前学習済み言語モデルから得られる文脈化単語埋め込みを利用した手法が多く提案されている $[4,5,6]$. 中でも，山田らの一連の研究 $[7,8]$ では, 動詞ごとにその用例をクラスタリングした後に動詞横断的なクラスタリングを行うという 2 段階クラスタリングを提案し, さらに，人手で整備されたフレーム知識を教師データとして深層距離学習を用いて事前学習済み言語モデルをファインチューニングすることで，高い精度で意味フレーム推定が可能であることが報告されている。
しかし，英語以外の言語において人手で整備されたフレーム知識リソースの規模は限定的であり，自動構築を行う研究もほとんど行われていない. そこで本研究では, 日本語動詞の意味フレーム推定を目的とし，山田らの手法 [8] を日本語動詞に適用する. 日本語への適用に際し, 日本語のフレーム知識リソースは小規模であることから十分なデータを学習できず，英語と同様の手法を用いても高い性能は得られない可能性がある。したがって，日本語のフレーム知識リソースを教師信号としてファインチューニングした BERT を用いる手法に加え，英語のフレーム知識リソースを教師信号としてファインチューニングした多言語 BERTを用いる手法でも意味フレーム推定を行う。

## 2 日本語動詞の意味フレーム推定

本節では，山田らが提案した英語動詞の意味フレーム推定手法 [8] を紹介した後，日本語への適用方法について検討する。

## 2.1 英語動詞の意味フレーム推定手法

山田らはフレーム推定対象動詞の埋め込みをクラスタリングすることでフレーム推定を行った. その際，より高精度なフレーム推定を実現するため，以下の 3 つの工夫を取り入れている.

まず，動詞の表層が持つ情報による影響が過度に強くなることを防ぐため，対象動詞の BERTによる埋め込み $v_{\text {word }}$ をそのまま用いるのではなく，その動詞をマスクトークンに置き換えたときの埋め込み $v_{\text {mask }}$ との加重平均による埋め込み $v_{w+m}$ を対象動詞の埋め込みとして用いている。この埋め込みは $\alpha$ を重みとした場合，式 (1)で定義される。

$
v_{w+m}=(1-\alpha) \cdot v_{\text {word }}+\alpha \cdot v_{\text {mask }}
$

また，同じ動詞の用例が過度に多くのクラスタへ分散してしまうことを防ぐため，一度にすべての埋

め込みをクラスタリングする 1 段階クラスタリング手法に加えて，動詞ごとに用例のクラスタリングを行った後に動詞横断的にクラスタリングを行う 2 段階クラスタリング手法を検証している。

さらに，類似した意味フレームの事例が近くに位置し，異なる意味フレームの事例が遠くに位置する埋め込み表現となるように，人手で整備されたフレームリソースを教師データとし, 深層距離学習を用いて BERT のファインチューニングを行っている. 深層距離学習の手法としては, Contrastive 損失 [9], Triplet 損失 [10], ArcFace 損失 [11], AdaCos 損失 [12] に基づく手法を比較している.

## 2.2 日本語への適用

山田らの手法では英語動詞の意味フレーム推定に対し，同言語である英語リソースを用いた学習を行っているが, 日本語のフレーム知識リソースは英語のリソースに比べ規模の面で大きく劣っており，山田らの学習方法が最適であるとは限らない。例えば日本語フレームネット [13] は FrameNet [2] と比較して $3.2 \%$ 程度の用例しか含まない. そのため, 事前学習済み言語モデルおよび教師信号として何を用いるべきか検討が必要となる.

事前学習済み言語モデルとしては，大きく分けて日本語単言語モデルと多言語モデルの 2 つが考えられる. 同程度の規模であるなら単言語モデルの方が対象言語の言語モデルとして高性能である可能性が高いが，フレームの概念は言語間で共通する部分があるため，多言語モデルも有用な可能性がある.

教師信号としては日本語フレームネットを用いることで，日本語のフレームに関する直観をそのまま取り入れることが可能となる一方, 事前学習済み言語モデルとして多言語モデルを採用した場合は, FrameNetを教師信号とすることで，大規模なフレー ムリソースが活用できると考えられる.

そこで本研究では以下の 4 設定を提案する.

$\mathbf{S}_{J F N}$ 単言語モデルまたは多言語モデルに対し, 日本語フレームネット (JFN) を教師信号とした深層距離学習を実施

$\mathbf{S}_{F N}$ 多言語モデルに対し, FrameNet (FN) を教師信号とした深層距離学習を実施

$\mathbf{S}_{F N \rightarrow J F N}$ 多言語モデルに対し, FN，JFNを順に教師信号とした深層距離学習を実施

$\mathbf{S}_{F N+J F N}$ 多言語モデルに対し， FN，JFNをまとめて教師信号とした深層距離学習を実施

## 3 実験

提案する学習手法の有効性を検証するため, 日本語動詞のフレーム推定実験を行う.

## 3.1 実験設定

損失深層距離学習で用いる損失には，山田らによる英語動詞のフレーム推定実験 [8] において高い性能を示した Triplet 損失と $A d a C o s$ 損失を用いる. Triplet 損失は距離ベースの損失であり，事例の 3 つ組に対して，アンカーと負例の距離を，アンカーと正例の距離より一定のマージン以上遠くなるように学習する. AdaCos 損失は事例とクラスの距離を近づける学習を行う ArcFace 損失に対し, 性能がハイパーパラメーターに依存しないようマージンを省きスケールを動的に決定するようにした損失である.

データセット FrameNet[2], 日本語フレームネット [13] から, 動詞がフレームを喚起する用例を抽出し，データセットを作成した. このうち、FrameNet から抽出された用例数は 82,610 であった. 評価に利用する日本語フレームネットについては，多義動詞の割合が一定となるように動詞単位で, 学習デー タ，開発データ，評価データの 3 つのサブセットに分割し, 3 分割交差検証を行った. 各サブセットの用例数の平均は 786 であった.

事前学習済みモデル単言語モデルとして東北大 BERT ${ }^{1)}$ を，多言語モデルとして multilingual BERT(mBERT) [3] ${ }^{2)}$ を用いた.

比較手法東北大 BERT に対しては, 深層距離学習を行わない設定 (w/oFT) と $\mathrm{S}_{J F N}$ の 2 つの設定を比較する. $\mathrm{mBERT}$ に対してはさらに $\mathrm{S}_{F N}, \mathrm{~S}_{F N \rightarrow J F N}$, $\mathrm{S}_{F N+J F N}$ を加えた 5 つの設定を比較する. 予備実験の結果に基づき，JFNのみを学習に用いる場合は 10 epoch, FNを用いる場合は 3 epoch 学習させる.

パラメータ埋め込み $v_{w+m}$ の重み $\alpha$, クラスタ数，マージンは開発セットを用いて決定する。このうち， $\alpha$ は 0 から 1 まで 0.1 刻み， Triplet 損失において必要となるマージンは, $\{0.1,0.2,0.5,1.0\}$ から探索する. バッチサイズは 32 , 学習率は 1e-5 とし,最適化アルゴリズムには AdamW [14]を使用する.

クラスタリング手法クラスタリングは，1 段階クラスタリングでは群平均法を，2 段階クラスタリングでは 1 段階目に X-means [15], 2 段階目に郡平

1) https://huggingface.co/cl-tohoku/

bert-base-japanese-whole-word-masking

2) https://huggingface.co/bert-base-multilingual-uncased
表 1 日本語動詞を対象としたフレーム推定実験の結果. スコアはいずれも 100 倍したものを記載している.

均法を用いて実施する。

評価方法評価指標には，クラスタリングの代表的な評価指標の 1 つである B-cubed Precision (BCP), Recall $(\mathrm{BcR})$ ，およびその調和平均である $\mathrm{F}$ 値 $(\mathrm{BcF})$ [16]を使用する。全ての設定において，異なるランダムシードで 3 回実験を行い，評価値の平均と標準偏差を算出する.

## 3.2 実験結果

表 1 に実験結果を示す。まず，事前学習済み言語モデルをそのまま用いた設定 (w/oFT) の性能を比較すると，mBERT を使った場合よりも東北大 BERT を用いた場合，2 段階クラスタリングよりも 1 段階クラスタリングを用いた場合の方がそれぞれ高い $\mathrm{BcF}$ となった. 東北大 BERT と 1 段階クラスタリングを組み合わせた場合の BcF は61.2であった.

教師信号として日本語フレームネットを使った設定 $\left(\mathrm{S}_{J F N}\right)$ に注目すると，ほとんどの設定において w/oFT より高い BcF を達成しており, 深層距離学習の有効性が確認できる. 東北大 BERT を使ったモデルと mBERTを使ったモデルを比較すると, AdaCos と 2 段階クラスタリングの組み合わせ以外では，東北大 BERT の方が大幅に高い BcF を達成しており，単言語に閉じた実験の場合, 言語モデルも単言語モデルの方が高い性能となる傾向があると言える。 この設定でもっとも高い BcF となったのは東北大 BERT と 1 段階クラスタリングを組み合わせた場合で，全実験でもっとも高い 65.9 であった.

続いて，教師信号として FrameNet を使った設定 $\left(\mathrm{S}_{F N}\right)$ に注目すると, 深層距離学習を実施しなかった mBERTを使う設定 (w/oFT) と比べ，2 段階クラスタリングに基づく手法において僅かに性能向上が見られたものの, 各モデルで最高性能となる設定の $\mathrm{BcF}$ はそれぞれ 59.4，59.3 と大きな差異は確認できなかった. 教師信号として FrameNet, 日本語フレー ムネットの両方を使った設定 $\left(\mathrm{S}_{F N \rightarrow J F N}, \mathrm{~S}_{F N+J F N}\right)$ を日本語フレームネットのみ使った設定 $\left(\mathrm{S}_{J F N}\right)$ と比較すると，もっとも高い BcFである 62.8 を達成したのは $\mathrm{S}_{F N+J F N}$ と 2 段階クラスタリングを組み合わせたときであったが，性能が低下しているケースもあり，FrameNetを使うことの有効性は本実験では確認できなかった.

## 3.3 考察

図 1 に，日本語フレームネットを教師信号とし $\left(\mathrm{S}_{J F N}\right)$, 東北大 BERT に対し深層距離学習によるファインチューニングを行った場合の, 学習前と学習後のフレーム推定対象動詞の埋め込みの変化の一例を示す。埋め込みは t-SNE [17]を用いて 2 次元に圧縮して可視化し, 事例数の多い上位 10 フレー ムを喚起する動詞の埋め込みに対応する色を付与している．学習前の段階でもある程度，喚起するフレームごとにまとまって分布しているものの，深層距離学習を行うことでその傾向が強くなることが確認できる．たとえば，Statement フレームや Change_position_on_a_scale フレームは学習前は, 他のフレームを喚起する用例と近接して分布しているのに対し，学習後は該当のフレームを喚起する用例だ

東北大BERT (w/oFT)

東北大BERT

(Triplet, $\mathrm{S}_{J F N}$ )
- Statement $\boldsymbol{\nabla}$ Awareness_status * Capability 4 Possession Grasp $\star$ Experiencer_focused_emotion Causation $\Delta$ Intentionally_act +Change_position_on_a_scale $\quad$ Cause_to_make_progress

図 1 深層距離学習前後の東北大 BERT の分布の変化例

けでまとまって分布していることが確認できる.

次に, 図 2 に FrameNet と日本語フレームネットをまとめて教師信号とし $\left(\mathrm{S}_{F N+J F N}\right)$, mBERT に対し深層距離学習を行った場合の, 学習前と学習後のフレーム推定対象動詞の埋め込みの変化の一例を，実際の用例とともに示す. 同じフレームに属する用例ペア (1)と (2), (5)と (6) は，学習前は空間上の離れた場所に位置しているのに対し, 学習後は近くに位置することが確認できる. このうち，用例ぺア (1) と (2) で喚起語となる動詞は共に「出来る」であるが，学習前は用例 (1)のように未然形・連用形で出現した用例群と, 用例 (2) のように終止形・連体形の一部として出現した用例群とに分かれて分布していた。また，用例ぺア (5) と (6) で喚起語となる動詞は共に「持つ」であるが，これらの埋め込みは学習前において，平仮名の「もつ」を含む用例群と漢字の「持つ」を含む用例群に分かれて分布していた.

一方，用例ペア (7) と (8) の埋め込みは接近せず，学習後も異なるクラスタに属した. これらの用例は学習前後一貫して，それぞれ同じ動詞「言う」を喚起語とするものの，平仮名で記載された「いう」を含む用例群と漢字を用いて記載された「言う」を含む用例群に分かれて分布した．また，平仮名の「いう」を含む用例群の周囲には同じく平仮名の喚起語を持つ用例が分布しており，文字種の特徴が埋め込みに強く反映されていた。このような表記摇れは日本語特有の問題であり, FrameNet を教師信号として mBERT に対して深層距離学習を適用した場合に意味フレーム推定の性能向上が確認できなかった一因である可能性が考えられる。

図 2 深層距離学習前後の mBERT の分布の変化

## 4 おわりに

本稿では山田らの提案した意味フレーム推定手法を日本語動詞の意味フレーム推定に適用し，性能を検証した。日本語フレームネットに含まれる用例数は，山田らが英語動詞の意味フレーム推定に利用した FrameNet の用例数の $3 \%$ と大幅に少ないにも関わらず，教師信号として日本語フレームネットを使う設定では，言語モデルとして日本語単言語モデルである東北大 BERT を用いた場合，多言語モデルである mBERT を用いた場合，いずれにおいても深層距離学習を行うことで意味フレーム推定性能が向上することが確認できた。一方，多言語モデルである mBERT を対象に，FrameNet を教師信号として用いる設定では，深層距離学習による性能向上は確認できなかった.

今後の課題としては，日本語フレームネットのフレームを付与したデータを増やし，より大規模な評価セットを用いた実験を行う予定である。また， FrameNet 形式のフレームリソースは，ブラジル語やポルトガル語，中国語をはじめ，多くの言語を対象に開発が進んでいる [18] ことから，英語と日本語以外のリソースを用いた実験に取り組みたい.

## 謝辞

本研究は、JST 創発的研究支援事業、JPMJFR216N

の支援を受けたものである。

## 参考文献

[1] Charles J Fillmore. Frame Semantics. Hanshin Publishing Company, 1982.

[2] Josef Ruppenhofer, Michael Ellsworth, Myriam Schwarzer-Petruck, Christopher R Johnson, and Jan Scheffczyk. FrameNet II: Extended theory and practice. International Computer Science Institute, 2016.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL 2019), pp. 4171-4186, 2019.

[4] Nikolay Arefyev, Boris Sheludko, Adis Davletov, Dmitry Kharchev, Alex Nevidomsky, and Alexander Panchenko. Neural GRANNy at SemEval-2019 task 2: A combined approach for better modeling of semantic relationships in semantic frame induction. In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval 2019), pp. 31-38, 2019.

[5] Saba Anwar, Dmitry Ustalov, Nikolay Arefyev, Simone Paolo Ponzetto, Chris Biemann, and Alexander Panchenko. HHMM at SemEval-2019 task 2: Unsupervised frame induction using contextualized word embeddings. In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval 2019), pp. 125-129, 2019.

[6] Eugénio Ribeiro, Vânia Mendonça, Ricardo Ribeiro, David Martins de Matos, Alberto Sardinha, Ana Lúcia Santos, and Luísa Coheur. L2F/INESC-ID at SemEval2019 task 2: Unsupervised lexical semantic frame induction using contextualized word representations. In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval 2019), pp. 130-136, 2019.

[7] Kosuke Yamada, Ryohei Sasano, and Koichi Takeda. Semantic frame induction using masked word embeddings and two-step clustering. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP 2021), pp. 811-816, 2021.

[8] 山田康輔, 笹野遼平, 武田浩一. 深層距離学習を用いた動詞の意味フレーム推定. 言語処理学会第 29 回年次大会, 2023.

[9] Raia Hadsell, Sumit Chopra, and Yann LeCun. Dimensionality reduction by learning an invariant mapping. In Proceedings of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2006), Vol. 2, pp. 1735-1742, 2006.

[10] Kilian Q Weinberger and Lawrence K Saul. Distance metric learning for large margin nearest neighbor classifica- tion. Journal of machine learning research, Vol. 10, No. 2, 2009.

[11] Jiankang Deng, Jia Guo, Niannan Xue, and Stefanos Zafeiriou. ArcFace: Additive angular margin loss for deep face recognition. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2019), pp. 4690-4699, 2019.

[12] Xiao Zhang, Rui Zhao, Yu Qiao, Xiaogang Wang, and Hongsheng Li. AdaCos: Adaptively scaling cosine logits for effectively learning deep face representations. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2019), pp. 10823-10832, 2019.

[13] Kyoko Ohara, Seiko Yamaguchi Fujii, Toshio Ohori, Ryoko Suzuki, Hiroaki Saito, and Shun Ishizaki. The japanese framenet project: An introduction. 2004.

[14] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In Proceedings of the 5th International Conference on Learning Representations (ICLR 2017), 2017.

[15] Dan Pelleg and Andrew Moore. X-means: Extending kmeans with efficient estimation of the number of clusters. In Proceedings of the 17th International Conference on Machine Learning (ICML 2000), pp. 727-734, 2000.

[16] Amit Bagga and Breck Baldwin. Entity-based crossdocument coreferencing using the vector space model. In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics (ACL-COLING 1998), pp. 79-85, 1998.

[17] Laurens van der Maaten and Geoffrey Hinton. Visualizing data using t-SNE. Journal of Machine Learning Research, Vol. 9, pp. 2579-2605, 2008.

[18] Collin F. Baker, Michael Ellsworth, Miriam R. L. Petruck, and Swabha Swayamdipta. Frame semantics across languages: Towards a multilingual FrameNet. In Proceedings of the 27th International Conference on Computational Linguistics: Tutorial Abstracts, pp. 9-12, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.


# 否定スコープ認識における構文構造利用の再検証

吉田 朝飛 ${ }^{1}$ 加藤芳秀 ${ }^{2}$ 松原 茂樹 1,2
1 名古屋大学情報学部 2 名古屋大学情報連携推進本部
yoshida.asahi.y7@s.mail.nagoya-u.ac.jp

## 概要

否定スコープ認識とは，自然言語文に現れる否定要素の影響が及ぶ範囲を特定するタスクである．従来手法の多くは否定スコープ認識に構文構造を利用していたが，近年の手法はディープラーニングを利用しており，構文構造を利用せずとも従来手法を上回る性能を達成している. 本研究では, 否定スコー プ認識における構文構造の有用性を再検証する. 従来手法で用いられてきた構文解析器を, 解析精度の高い最新の構文解析器に置き換えて, 否定スコープ認識の性能を評価する. 精度の高い構文解析器を利用することにより, 従来の手法が最新の手法と同程度の性能を達成できることを確認した。

## 1 はじめに

否定 (negation) は意味を反転させる言語現象であり，自然言語文において頻繁に出現する。文中の否定を意味する表現，及びその影響範囲を正しく認識することは，自然言語文を理解する上で必要不可欠である。NLP 分野において，否定を自動認識する多くの手法（例えば $[1,2,3]$ ）が提案されてきた.

自然言語文に含まれる否定において，否定の意味をもつトークンを否定要素 (negation cue), 否定要素の影響が及んでいる範囲を否定スコープ (negation scope) と呼ぶ. 例えば (1)の英文では, not が否定要素であり, notによって意味が反転する He did, go to school が否定スコープである. なお，以下では例文における太字と下線はそれぞれ否定要素と否定スコープを表す.

(1) He did not go to school and stayed home.

一般的に，否定認識 (negation detection) は次のサブタスクに分けられる.
- 否定要素検出 (negation cue detection)
- 否定スコープ認識 (negation scope detection / negation scope resolution)本研究では，英文の否定スコープ認識に取り組む.

否定スコープ認識の研究は，*SEM 2012 Shared Task [4] で否定認識タスクが取り上げられて以来,活発に行われている。*SEM 2012 Shared Task では,構文構造を利用した否定スコープ認識手法 [1] がトークンレベルの評価で最高性能を達成した [4].一方，近年の研究ではディープラーニングを用いた手法が中心となっており，構文情報を明示的に利用せずとも高い性能を達成している $[2,3]$.

ここで注意すべき点は，*SEM2012 Shared Task では，その当時の構文解析器が使用されている1)ことである. 現在の構文解析器は当時に比べ，解析精度が大幅に改善されており，それを利用することで，構文構造をべースとした従来手法の性能が向上する可能性がある．構文構造に基づく手法は，ディープラーニングをべースとする手法に比べて解釈性が高く, システムがどのようなメカニズムで否定スコー プ認識を行っているかを説明しやすいという利点がある。また，構文べースの手法が否定スコープの認識に利用する構文情報はドメインに依存して変化しないため，異なるドメインのデータセットに適用することが容易であると期待できる.

そこで本研究では, 否定スコープ認識における構文構造の有用性を再検証するために，最新の構文解析器を用いた否定スコープ認識の性能を評価する。実験により，構文に関するヒューリスティックなルールに基づく従来の手法が，ディープラーニングに基づく手法と同程度の性能を達成できることを確認した。

## 2 先行研究

本節では，Read らが提案した，構文構造を用いて否定スコープ認識を行う手法 [1] の概要を説明する.本研究ではこの手法をべースにし，否定スコープ認

識における構文構造の有用性を再検証する。

Read らの手法は，否定スコープと構文構造は強い関連があるという考えに基づき，構文木の部分木 （句）をスコープと対応づけている．例として，以下の文 (2) に対応する図 1 の構文木を考える.

(2) People without a coupon can also enter.

この例において，否定要素 without のスコープは People, a coupon である. このスコープは句 NP と対応している.

Read らの手法は, 文と否定要素が与えられると，次の手順により否定スコープを特定する。

1. 文を構文解析し，否定要素を含む句をそのスコープの候補とする.

2. 否定スコープの候補である句の中から，ルールベースの手法，もしくは分類器を用いて句を 1 つ選択する。

3. 選択された句を補正し，スコープを決定する.

手順 1 では，否定要素（上の例では without）が含まれる句（上の例では IN, PP, NP, S）をスコープの候補とする。手順 2 では，選ばれた候補の中から，スコープに対応する句を 1 つ選ぶ. Read らはルールベースの手法と分類器を用いる手法を提案しているが，ここでは本研究で利用するルールベースの手法について述べる. 用いるルールは,図 2 に示す Scope resolution heuristics である. Scope resolution heuristics は複数のルールからなり, 図の上にあるルールから順番に適用される. 例えば， DT//SBAR if SBAR \WHADVP は, 否定要素の品詞が DT であり, その祖先にSBARが存在し, かつそのSBAR の子に WHADVP がある場合に適用され，SBARを否定スコープに対応する句として選択する. いずれのルールも適用されない場合には, default scope が採用される. default scope は, 否定要素から左右へとスコープをのばしていき，文境界または句読点に至るまでの範囲を否定スコープとするものである.

否定スコープと句の対応が単純でない場合もある. 図 3 に，前述した英文 (1) の構文木を示す.この文には等位構造が含まれているが，否定要素である not のスコープは接続詞 and，及び 2 番目の等位項 stayed home には及んでいない.この例が示すように，スコープと句を単純に対応させられない場合がある. 手順 3 の句の補正の処理は, こうした場合に対応するための処理である. 句の中に含まれる特

図 1 文 (2) の句構造木. 否定要素 without のスコープに対応する句の候補を太字で示している。

図 2 Scope resolution heuristics. 各行が 1 つのルールに対応し, ルール適用の優先度は上にあるものほど高い. A/B は B が A の親 (parent) であることを， A//B は B が A の祖先 (ancestor) であることを， $\mathrm{A} \backslash \mathrm{B}$ は B が $\mathrm{A}$ の子 (child) であることを示す. (\#) は，本研究で修正を加えるルールである.

定の要素を句から除外するために，以下の処理を行う.

・ 句の最初あるいは最後の punctuation（句読点） を除外する。
- 5 つのルールからなる Slackening rulesを適用し，特定の要素を除外する。

・不連続なスコープに対応するための Post processing を適用する。具体的には，以下の 2 つの処理を行う.
- 等位構造の最後の等位項に否定要素が含まれる場合，それより前の等位項を除外する。

一文全体にかかる副詞的要素 (sentential adverb)を除外する。

例えば，文(1)では句として S が選択され，上述の処理により，等位接続詞 (CC) の and, CC より後ろにある等位項に含まれる stayed home, punctuation であるピリオドが除外される．補正の結果，スコープ

図 3 文 (1)の句構造木. 赤枠で囲った部分は句の補正によりスコープ候補の句から除外されることを示している。

を正しく認識できる.

## 3 構文構造を用いた手法の再検証

本節では，否定スコープ認識における構文構造の有用性を再検証する方法を説明する。検証には，2 節で説明した Read らの手法 [1] をべースとして用いる. 3.1 節では，本検証で用いる構文解析器について述べる. 3.2 節及び 3.3 節では，本再検証において修正した，Read らの手法の手順 2 と 3 の処理についてそれぞれ説明する。

## 3.1 構文解析器の変更

*SEM 2012 Shared Task のデータセット [5] には句構造情報も付与されており，構文構造をべースとした従来手法の多くが，この情報を利用して否定スコープ認識を行ってきた.

データセットに付与されている句構造情報は, Charnkak and Johnson Reranking Parser [6]を用いて構文解析されたものである。この構文情報には誤りが含まれており，Read らが指摘したようにこの誤りが否定スコープ認識の性能に影響を及ぼす可能性がある. そこで本研究では，より性能の高い構文解析器を使用してデータセットの文を構文解析する。構文解析には，Berkeley Neural Parser [7, 8] と Attach Juxtapose Parser [9] の 2 種類の構文解析器を使用する. それぞれの構文解析器の性能を表 1 に示す. Penn Treebankでの性能は, Reranking Parser, Berkeley Neural Parser, Attach Juxtapose Parser の順に高くなっている.表 1 使用した句構造解析器の性能

## 3.2 Scope Resolution Heuristics の修正

Read らは図 2 の Scope resolution heuristics によりスコープに対応する句を特定する処理を行った. Read らの1つ目のルール (図2で (\#)を付したもの) は関係詞節を取り出すことを想定したものだと考えられるが，このままでは正しく機能しない，本研究ではこのルールを以下のように修正する。

## (3) $\mathrm{RB / / \mathrm{VP} / \mathrm{S} / \mathrm{SBAR}$ if SBAR WHNP}

学習データを用いた予備実験により, Read らの 1 つ目のルールをそのまま適用する場合よりも，修正した新たなルールを適用した場合の方が，句と否定スコープの対応率が高いことを確認している.

## 3.3 補正処理の修正

Read らの手法では 2 節で述べた処理により句の補正を行っているが，本研究では Slackening rules と Post processing の一部に変更を加える.

Slackening rules については，Read らの 5 つのルー ルに，以下の 1 つのルールを追加する.
- 句の最初にあるカンマで区切られた PP (前置詞句）を除外する.

これは，句の最初にあるカンマで区切られた前置詞句は副詞的に働き，否定スコープに入らないことが多いという学習データの観察に基づいて作られたルールである. 文 (4) は，句の最初にある前置詞句が否定スコープに入らない例である.

(4) In my opinion, he should not go.

Post processing については，2つ目の処理に修正を加える. Read らは学習データから sentential adverb のリストを作成し，そのリストに含まれる語を除外する処理を行っている. 本研究ではこれを一般化し，「カンマで囲まれた ADVP, INTJ」を sentential adverb とし，カンマと共に除外する。例えば文 (5)
表 2 異なる構文解析器を用いて作成したデータに対する否定スコープ認識の結果

*上段の数值は Read らのルールを 3.2, 3.3 節で述べたように修正した場合の結果，下段の数值はルールを修正しない場合の結果を表す.

では，カンマで囲まれた ADVP である however とその両端のカンマが句から除外される.

(5) I do n't think, however, he is guilty.

## 4 実験

否定スコープ認識における構文構造の有用性を再検証するために，構文構造に基づく従来手法を異なる構文解析器を用いて作成したデータに適用する実験を実施した４.1 節で実験の方法を述べ，4.2 節で実験の結果を述べる.

## 4.1 実験の方法

実験では，*SEM2012 Shared Taskで使用されたデータセット CD-SCO を用いた. Read らの手法を, 3.2 節及び 3.3 節で示した通りに修正した方法で否定スコープ認識を行った. CD-SCO に対して Berkeley Neural Parser と Attach Juxtapose Parserにより句構造情報を新たに与え，それぞれの結果を比較した。実験設定は*SEM2012 Shared Task のものと同様であり，評価指標はスコープレベルの $\mathrm{F}_{1}$ (Scope-level $F_{1}$-measures) とトークンレベルの $F_{1}$ (Token-level $F_{1}$ mearures) である. 評価には*SEM2012 Shared Task で配布された評価プログラムを用いた。

## 4.2 実験結果

異なる構文解析器を使用した場合の否定スコープ認識の結果を表 2 に示す. 解析精度の高い構文解析器を用いることにより，スコープレベル，トークンレベルのいずれの基準においても否定スコープ認識の性能が高くなることを確認した。

現時点で最高性能を達成している Khandelwal ら [3] を含め，いくつかの先行研究では，*SEM2012 Shared Task で評価から除外されていた punctuation のトークンを評価に含めている。これらの手法と結表 3 本研究で用いた手法と他の手法との結果比較

## Token-level $\mathbf{F_{1}$}

Method Punctuation Punctuation

* Attach Juxtapose Parser を用いて構文解析したもの.

果を比較するため，punctuation のトークンも含めた $F_{1}$ も測定した. 結果を表 3 に示す. 本研究で検証した手法の性能は, punctuation を含めた $\mathrm{F}_{1}$ において, Khandelwal らの手法とわずか $0.62 \%$ の性能差に達している。これは，高性能の構文解析器を用いることで，構文に関するヒューリスティックなルールに基づく手法が最高性能のディープラーニング手法に近い性能を達成できることを示している。

## 5 おわりに

本研究では，否定スコープ認識タスクにおける構文構造の有用性を再検証した。構文構造をべースとする従来手法が解析精度の高い構文解析器を用いることで，ディープラーニングをべースとした手法に近い性能を達成できることを実験により示した。

予測の精度をより高めるために，ルールベースで行った句を選択する処理に機械学習を導入することが考えられる。

否定スコープ以外にもスコープのある言語現象が存在する。例えば， all, any などの量化子 (quantifier) もスコープがあり，その範囲を正しく認識することは，量化子を含む自然言語文の意味を理解する上で重要である. 本研究の方式を否定以外のスコープ認識に応用させることも今後の課題である.

## 謝辞

本研究は，一部，科学研究費補助金基盤研究（C）

（No. 22K12148）により実施したものである.

## 参考文献

[1] Jonathon Read, Erik Velldal, Lilja Øvrelid, and Stephan Oepen. UiO1: Constituent-based discriminative ranking for negation resolution. In ${ }^{*}$ SEM 2012: The 1st Joint Conference on Lexical and Computational Semantics, pp. 310-318, Montréal, Canada, 7-8 June 2012. Association for Computational Linguistics.

[2] Federico Fancellu, Adam Lopez, and Bonnie Webber. Neural networks for negation scope detection. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 495-504, Berlin, Germany, August 2016. Association for Computational Linguistics.

[3] Aditya Khandelwal and Suraj Sawant. NegBERT: A transfer learning approach for negation detection and scope resolution. In Proceedings of the 12th Language Resources and Evaluation Conference (LREC'20), pp. 5739-5748, Marseille, France, May 2020. European Language Resources Association.

[4] Roser Morante and Eduardo Blanco. *SEM 2012 shared task: Resolving the scope and focus of negation. In *SEM 2012: The 1st Joint Conference on Lexical and Computational Semantics, pp. 265-274, Montréal, Canada, 7-8 June 2012. Association for Computational Linguistics.

[5] Roser Morante and Walter Daelemans. ConanDoyle-neg: Annotation of negation cues and their scope in conan doyle stories. In Proceedings of the 8th International Conference on Language Resources and Evaluation (LREC'12), pp. 1563-1568, Istanbul, Turkey, May 2012. European Language Resources Association (ELRA).

[6] Eugene Charniak and Mark Johnson. Coarse-to-fine n-best parsing and MaxEnt discriminative reranking. In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics (ACL'05), pp. 173-180, Ann Arbor, Michigan, June 2005. Association for Computational Linguistics.

[7] Nikita Kitaev and Dan Klein. Constituency parsing with a self-attentive encoder. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2676-2686, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[8] Nikita Kitaev, Steven Cao, and Dan Klein. Multilingual constituency parsing with self-attention and pre-training, 2018.

[9] Kaiyu Yang and Jia Deng. Strongly incremental constituency parsing with graph neural networks. In Neural Information Processing Systems (NeurIPS), 2020.

[10] Hao Li and Wei Lu. Learning with structured representations for negation scope extraction. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Pa- pers), pp. 533-539. Association for Computational Linguistics, 2018.


# ニューラル機械翻訳における単語分割器のドメイン適応

榎本大晟 平澤寅庄 金輝燦 岡照晃 小町守
東京都立大学
\{enomoto-taisei, hirasawa-tosho, kim-hwichan\}@ed.tmu.ac.jp,
\{teruaki-oka, komachi\}@tmu.ac.jp

## 概要

fine-tuning（微調整）でin-domain にドメイン適応をする際，一般的にモデルのみが対象であり，単語分割は general-domain で使用した単語分割器をそのまま使用する. 既存研究では, タスクやモデルに適した単語分割を行うことにより，モデルの性能が向上することが示されており，ドメインにおいても同様に general-domain $の$ 単語分割器が，in-domain において最適とは限らないと考えられる。そこで本研究では，機械翻訳タスクを対象とし，モデルと単語分割器の学習を同時に行う単語分割同時最適化を用いて, 単語分割器のドメイン適応を行うことで，翻訳精度の改善を試みる. 実験により，単語分割器のドメイン適応が in-domain データの翻訳性能の向上に寄与することを示す.

## 1 はじめに

単語分割は自然言語処理タスクの精度に影響を与える重要な処理である. これまでの研究から，モデルの性能が向上するような適切な単語分割はタスクやモデルの構造などによって異なることがわかっている $[1,2,3,4,5]$. 近年では, タスクやモデルに応じて単語分割を自動で最適化する手法が研究されており，その内の 1 つに平岡ら [6] による単語分割同時最適化手法がある. これは，タスクに用いるモデルと単語分割器を同時に End-to-End で学習する手法である. 平岡らは，機械翻訳タスクでの単語分割同時最適化の評価実験では in-domain データのみでモデルと単語分割器の学習を行い, 翻訳性能の向上を確認している ${ }^{1)}$.

一方，ドメインに特化した機械翻訳システムは高い需要があるが，一般的に機械翻訳モデルの学習に

1）平岡らの機械翻訳タスクでの実験では，単語単位に分割した後に単語分割同時最適化をおこなっているため，サブワー ド単位への分割を学習しているといえる. 本研究でも同様にサブワード単位への分割を学習する。 は大規模なコーパスが必要であるため，in-domain データのみを用いてモデルを作成することは困難である。この問題を解決するため，ドメイン適応では，大規模な general-domain データで事前学習したモデルを，目的の in-domain データで微調整する（図 1a)。ドメイン適応により，in-domain デー タが限定的であっても，高い翻訳性能のモデルを学習できる.しかしながら一般的なドメイン適応はタスクのモデルのみを微調整し，単語分割器は general-domain データのものを in-domain データに対してそのまま使用する，前述の通り単語分割はモデルの性能に大きく関与するため, general-domain の単語分割器が in-domain において最適とは限らない. そこで本稿では，平岡らの単語分割同時最適化を用いて, 翻訳モデルと単語分割器の両方のドメイン適応を行い，in-domain データにおける翻訳精度の改善に取り組む（図 1b），提案手法はまず事前学習の際に単語分割同時最適化を適用することで，事前学習に用いる general-domain データに適した単語分割器と翻訳モデルを獲得する。 その後, 翻訳モデルのみでなく単語分割器も in-domain データに適したものにするために，微調整の際にも単語分割同時最適化を適用する。英日と英独の機械翻訳タスクにおける実験を通して，単語分割器のドメイン適応が， in-domain の翻訳性能向上につながることを示す.

## 2 関連研究

## 2.1 サブワード分割

機械翻訳では，未知語の問題を解決するために，単語より小さい単位であるサブワードを扱うことが一般的である。サブワード化を行う代表的な手法にユニグラム言語モデル（ULM）に基づく分割 [7] がある. ULM の語彙内のサブワード $w$ のユニグラム確率 $p(w)$ は，EMアルゴリズムを用いて，与えられた学習データをもとに求める. 文 $s$ を単語分割する

(a) 翻訳モデルのみ微調整を行う従来のドメイン適応.

(b) 翻訳モデルと単語分割器の同時ドメイン適応.

図 1: 機械翻訳タスクにおける翻訳モデルと単語分割器のドメイン適応.

際には，尤度（ユニグラム確率の積）が最大となるようなサブワードの系列 $s^{\prime}=w_{1}, \ldots, w_{I}$ に変換する.平岡ら [6] はタスクの学習に用いるモデルに単語分割器を組み合わせ，End-to-End で同時に学習する単語分割同時最適化手法を提案した. 単語分割器には，ニューラルネットワークで構成された ULM であるニューラルユニグラム言語モデル（NULM）を用いている. 平岡らは，単語分割同時最適化によりモデルの性能の向上を報告した. しかしながら，学習には in-domain データのみを使用しており，単語分割の学習にドメイン適応が有効であるかは明らかになっていない.

## 2.2 ドメイン適応

ニューラル機械翻訳におけるドメイン適応手法は数多く提案されている. Freitag ら [8] は大規模な対訳データで学習したモデルに対して小規模な in-domain データを用いて追加の学習を行う微調整により, in-domain データでの翻訳性能の向上を報告した. Chu ら [9] は微調整時に general-domain デー タと目的の in-domain データを組み合わせたデータを使用する混合微調整を提案した. いずれの研究でもドメイン適応によりモデルのパラメータのみを更新しており, 単語分割器のようなモデル以外の構成要素に対してドメイン適応は行っていない. 単語分割はモデルの性能に影響するため, 単語分割器のドメイン適応は in-domain データにおける性能の改善につながると考える。

## 3 単語分割器のドメイン適応

本研究で単語分割器として用いる NULM と, 単語分割同時最適化手法を用いた単語分割器のドメイン適応の手順を概説する. NULM の語彙 $V$ は，ULM やBPE [10] などを用いて初期化を行う. NULM で
は，語彙 $V$ 内のサブワード $w$ にいて，単語分散表現 $\boldsymbol{v}_{w}$ と多層パーセプトロン MLP(.)をもとにしてユニグラム確率 $p(w)$ を次のように計算する.

$
\begin{aligned}
d_{w} & =\operatorname{MLP}\left(\boldsymbol{v}_{w}\right) \\
p(w) & =\frac{\exp \left(d_{w}\right)}{\sum_{\hat{w} \in V} \exp \left(d_{\hat{w}}\right)}
\end{aligned}
$

NULM は後段タスクの損失に基づいてパラメータの更新を行う.

本研究で行う単語分割器のドメイン適応とは, NULM のドメイン適応を指す. 本研究で提案する，単語分割同時最適化手法を用いた単語分割器のドメイン適応の手順は以下の通りである。

1. general-domain データを用いてULMを学習する.

2. general-domain データを用いて翻訳モデルと単語分割器を学習する. 単語分割器の語彙の初期化には 1 のULMを用いる。

3. in-domain データを用いて，2で得られた翻訳モデルと単語分割器を微調整する。

図 $1 \mathrm{~b}$ は翻訳モデルと単語分割器の同時ドメイン適応の手順を図示したものである.

## 4 実験

## 4.1 実験設定

データセット事前学習に用いる general-domain データには，英日翻訳では JParaCrawl v3.0 [11, 12],英独翻訳では ParaCrawl v9 [13] を使用した. これらはウェブをクローリングすることで作成された大規模な対訳コーパスである. それぞれ学習データとして，全対訳データから 800 万文対を抽出した. indomain データには, 英日翻訳では IWSLT2017 [14] と ASPEC [15], 英独翻訳では IWSLT2017 と EMEA [16]

を使用した. IWSLT は TED talks，ASPEC は科学技術論文, EMEA は医療機関の PDFドキュメントから作成された対訳コーパスである。コーパスのドメインの違いによる単語分割器の性質や翻訳性能の変化を確認するために，ASPEC の学習データ数は IWSLT（英日）の学習データ数と等しくなるようにダウンサンプリングを行った. 同様に, EMEA の学習データにもダウンサンプリングを行った. 先行研究 [6] に倣い，コーパスは日本語には MeCab [17] (IPA 辞書)，英語とドイツ語には Moses トークナイザ [18]を適用した後に，SentencePiece [19]を用いて ULM の学習を行う. 語彙サイズは 32,000 とした.

学習設定機械翻訳モデルとして Transformer [20] （base）を使用した. 単語分割器のドメイン適応の有効性を検証するために, 単語分割器の学習を行わない設定と general-domain データのみで行う設定と in-domain データのみで行う設定をべースラインとして比較する. 事前学習では 20 エポックの学習を行い，開発データセットにおいて損失值がもっとも低いモデルを使用した. 微調整では 20 エポック，事前学習なしのモデルでは 100 エポックの学習を行い，開発データセットにおいて翻訳性能がもっとも高いモデルを評価に使用した. 単語分割器の学習はソース側言語とターゲット側言語で同時に行った.全ての設定でサブワード正則化 $[7,21]$ を用いて学習を行った。評価には BLEU [22]を用いた. 報告する全ての BLEU は 3 つのシードでの平均値である.

## 4.2 実験結果と考察

表 1 に各 in-domain データセットにおける BLEU スコアを示す. 実験結果より，すべてのデータセットにおいて，general-domain データでの事前学習から単語分割同時最適化を行い翻訳モデルのみでなく単語分割器もドメイン適応を行うことで最高性能となることが確認され，単語分割器のドメイン適応の有効性が示された.

英独の IWSLT 以外のデータセットにおいて， in-domain データのみで単語分割同時最適化を行う設定は，単語分割同時最適化を行わない設定の翻訳性能を下回ることが確認された.このことから, in-domain データが小規模であるため, in-domain データのみでは単語分割器の学習が十分にできない場合があると考えられる。これに対し，大規模な general-domain データでの事前学習から単語分割同時最適化を行うことは, 単語分割器の過学習や学習表 1: 各 in-domain データセットにおける各手法の BLEU スコア. 事前学習における “」”は翻訳モデルのドメイン適応を行うことを意味する。単語分割最適化における“誩該当のデータで単語分割器の学習を行うことを意味する。“-”は該当のデータでモデル自体の学習を行わないことを意味する. General は general-domain データ, In は in-domain データを示す.

不足を回避することができると考えられる。そのため, 単語分割器のドメイン適応を行った設定では, モデルや in-domain データに合った単語分割器を獲得でき，全てのデータセットにおいて安定して性能が向上したと考えられる.

## 5 分析

## 5.1 単語分割器により翻訳が改善された例

単語分割器のドメイン適応を行うことで，単語分割がどのように変化し，結果として翻訳性能が向上したかを分析する. 表 2 にモデルの事前学習を行う設定における，単語分割同時最適化を行わない設定 （ULMによる単語分割）と，in-domain データのみで行う設定と, general-domain データから行い単語分割器ごとドメイン適応を行う設定のそれぞれの単語分割と翻訳結果の例を示す。“.”は空白記号である. 以降では，それぞれの単語分割手法を，SP，In， Ours と記述する。“電子写真プロセス”と訳される “The electrophotographic process" という単語に着目すると，SP とInでは “-The / _electro / pho / t / ographic / _process” と分割しているのに対し，Oursでは “-The / _electro / photo / graph / ic / _process” と分割していることが確認される。 その結果，モデルによる該当箇所の翻訳は，SPでは未翻訳であり，Inでは “電気泳動法”という誤った訳が出力されているのに対し, Ours では “電子写真プロセス” と正しい翻訳が出力されていることが確認される。このことから，単語分割器のドメイン適応を行うことにより, 希少単語を妥当なサブワードに分割することが可能になり， その結果として翻訳性能が向上すると考えられる。
表 2: 単語分割器の学習を行わない設定 (SP), in-domain データのみで行う設定 (In), general-domain データから行い単語分割器のドメイン適応を行う設定（Ours）の単語分割と翻訳の結果.“...”は省略を意味する.

(a) 各手法で学習した単語分割器による単語分割.

(b) 各手法で学習した翻訳モデルによる翻訳結果. 各モデルの入力は (a) の単語分割となる.

表 3: 英日翻訳において微調整によりユニグラム確率の増加率が大きいサブワード.

## 5.2 ドメイン適応後の単語分割器の変化

general-domain データにおいて事前学習を行った単語分割器を in-domain データで微調整することにより，単語分割器がどのように変化するのかについて分析を行う.

ユニグラム確率の増加率が大きいサブワード表 3 に英日の in-domain データでの微調整後に，ユニグラム確率が大きく増加したサブワードを示す2). IWSLT (英日) の日本語側では “TED” 3）のユニグラム確率の増加率が大きいことが確認された。 IWSLT は TED talks の字幕から作成されたコーパスであり，学習データ内では “TED”を含む文字列が約 900 回と頻出している. 同様に ASPEC の学習デー タ内には，“magnetic”のような “ic”を接尾辞とする形容詞の単語が頻出しており, その結果, 英語側では “ic”のユニグラム確率の増加率が増大した. これらのことから, 単語分割器を in-domain データで微調整することにより，in-domain データにおいて重要な役割を持つサブワードのユニグラム確率を増大させていることがわかった.

単語分割が変わった文の割合表 4 に in-domain データの学習データにおいて，事前学習後の単語分割器と微調整後の単語分割器で単語分割が異なる文の割合を示す. 英日では異なる単語分割となる文

2）英独については付録 $\mathrm{A}$ に掲載する.

3）ここで“-TED”ではなく“TED”である理由は，“-TED” が語彙に登録されていないためである.これは，語彙が JParaCrawl をもとに作成されており，JParaCrawl では “TED” が冒頭となる単語が少なく，“TED”が語中や末尾となる単語が多いためである.表 4: in-domain データにおいて微調整により単語分割が変わった文の割合 $(\%)$.

数は，IWSLT と比較して ASPEC の方が多いことが確認された。これは IWSLT と比較して ASPEC の方が JParaCrawl から離れたドメインデータである（付録 B）ため，微調整によって単語分割器がより変化したのだと考えられる。同様に，英独では EMEA は IWSLT よりも異なる単語分割となる文数が多いことが確認された. この結果は, in-domain データとして使用するコーパスのドメインが特徴的であるほど (general-domain から遠いほど)，微調整により単語分割器が大きく変化することを示している.

また，微調整により単語分割が変わった文の割合がもっとも高い EMEAであっても $6.68 \%$ と低い割合であり，単語分割器を極端に大きく変化させていないことがわかる.このことから, in-domain データで単語分割器を微調整する際，最小限の調整で翻訳性能を向上させていると考えられる。

## 6 おわりに

本研究では，ドメイン適応を用いる機械翻訳への単語分割同時最適化の拡張を提案した. 提案手法では単語分割器を大規模な general-domain データで事前学習した後に，小規模な in-domain データで微調整する．実験結果より，提案手法が in-domain デー タの翻訳性能向上に寄与することが確認され，より妥当な単語分割を行うことが可能であることが示唆された。

今後は BERT の事前学習である MLM を行う際に単語分割同時最適化を行い, 得られる単語分割器と事前学習済み BERT をさまざまなタスクで微調整した場合に，タスクの性能が向上するかを検証する。

## 参考文献

[1] Jia Xu, Jianfeng Gao, Kristina Toutanova, and Hermann Ney. Bayesian semi-supervised Chinese word segmentation for statistical machine translation. In Proceedings of the 22nd International Conference on Computational Linguistics (Coling 2008), pp. 1017-1024, Manchester, UK, August 2008. Coling 2008 Organizing Committee.

[2] Pi-Chuan Chang, Michel Galley, and Christopher D Manning. Optimizing chinese word segmentation for machine translation performance. In Proceedings of the third workshop on statistical machine translation, pp. 224-232, 2008.

[3] ThuyLinh Nguyen, Stephan Vogel, and Noah A. Smith. Nonparametric word segmentation for machine translation. In Proceedings of the 23rd International Conference on Computational Linguistics (Coling 2010), pp. 815-823, Beijing, China, August 2010. Coling 2010 Organizing Committee.

[4] Miguel Domingo, Mercedes Garcıa-Martınez, Alexandre Helle, Francisco Casacuberta, and Manuel Herranz. How much does tokenization affect neural machine translation?, 2018. arXiv:1812.08621.

[5] Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and Naoaki Okazaki. Optimizing word segmentation for downstream task. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 1341-1351, Online, November 2020. Association for Computational Linguistics.

[6] Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and Naoaki Okazaki. Joint optimization of tokenization and downstream model. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 244-255, Online, August 2021. Association for Computational Linguistics.

[7] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[8] Markus Freitag and Yaser Al-Onaizan. Fast domain adaptation for neural machine translation, 2016. arXiv:1612.06897.

[9] Chenhui Chu, Raj Dabre, and Sadao Kurohashi. An empirical comparison of domain adaptation methods for neural machine translation. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 385-391, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[10] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 17151725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[11] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 3603-3609, Marseille, France, May 2020. European Language Resources Association.

[12] Makoto Morishita, Katsuki Chousa, Jun Suzuki, and Masaaki Nagata. JParaCrawl v3.0: A large-scale English-Japanese parallel corpus. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 6704-6710, Marseille, France, June 2022. European Language Resources Association.

[13] Miquel Esplà, Mikel Forcada, Gema Ramírez-Sánchez, and Hieu Hoang. ParaCrawl: Web-scale parallel corpora for the languages of the EU. In Proceedings of Machine Translation Summit XVII: Translator, Project and User Tracks, pp. 118-119, Dublin, Ireland, August 2019. European Association for Machine Translation.
[14] Mauro Cettolo, Marcello Federico, Luisa Bentivogli, Jan Niehues, Sebastian Stüker, Katsuitho Sudoh, Koichiro Yoshino, and Christian Federmann. Overview of the IWSLT 2017 evaluation campaign. In Proceedings of the 14th International Workshop on Spoken Language Translation, pp. 2-14, 2017

[15] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 2204-2208, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[16] Jörg Tiedemann. Parallel data, tools and interfaces in OPUS. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Mehmet Ugur Dogan, Bente Maegaard, Joseph Mariani, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Eight International Conference on Language Resources and Evaluation (LREC'12), Istanbul, Turkey, may 2012. European Language Resources Association (ELRA).

[17] Taku Kudo. MeCab: Yet another part-of-speech and morphological analyzer, 2006. http://taku910. github.io/mecab/.

[18] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris CallisonBurch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[19] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[20] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[21] Ivan Provilkov, Dmitrii Emelianenko, and Elena Voita. BPEdropout: Simple and effective subword regularization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1882-1892, Online, July 2020. Association for Computational Linguistics.

[22] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics

[23] Roee Aharoni and Yoav Goldberg. Unsupervised domain clusters in pretrained language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7747-7763, Online, July 2020. Association for Computational Linguistics.

## 付録

## A 英独においてユニグラム確率の 増加率が大きいサブワード

表 5 に英独の in-domain データでの微調整後に， ユニグラム確率が大きく増加したサブワードを示す. EMEA のドイツ語側では “kin” のユニグラム確率の増加率が大きいことが確認された. EMEA の学習データ内では “pharmakokinetik” という医学分野特有の単語が約 1,500 回と頻出しており, この単語は “pharmako / kin / etik” と分割されることが意味的に妥当であると考えられる. また, “Interleukin” や “Hodgkin”のように“kin”で終わる医学系の単語も頻出している. これらのことから, EMEA のドイツ語側では “kin”が重要な役割を持つサブワードであると考えられる. 英語側では “ $\mathrm{g}$ ” のユニグラム確率の増加率が大きいことが確認された. EMEA は医療ドメインであり, 薬品などの質量について記述した文が多くある．そのため，質量の単位である “g”, “mg", “ng”などがコーパス内では頻出している.

これらのことから英日と同様に，英独においても in-domain データにおいて重要な役割を持つサブワードのユニグラム確率を増大させていることがわかった.

表 5: 英独翻訳において微調整によりユニグラム確率の増加率が大きいサブワード.

## B コーパスのドメインの離れ具合

使用したコーパスのドメインの離れ具合について報告する. Aharoni ら [23] に倣い, 各コーパスのソース側の文に対して，事前学習済み BERT の隠れ層のベクトルを取得し, PCAを用いて 2 次元可視化を行う. 図 2, 3 に各言語対に使用したコーパスの 2 次元可視化の結果を示す. 図 2 から IWSLT のデー タの多くが JParaCrawl のデータに重なっているのに対し，ASPEC のデータの多くは JParaCrawl のデー タに重なっていないことが確認された。このことから, IWSLT と比較して ASPEC の方が JParaCrawl から離れたドメインデータであると考えられる。同様に図 3 から, IWSLT と比較して EMEA の方が
ParaCrawl から離れたドメインデータであると考えられる。

図 2: PCAを用いた英日データセットの BERT 隠れ層の 2 次元可視化.

図 3: PCA を用いた英独データセットの BERT 隠れ層の 2 次元可視化.


# 質問応答を用いた翻訳評価における GPT-3 の利用

鈴木淳平 1 菅原朔 2 相澤彰子 1,2
1 東京大学 2 国立情報学研究所
junppppsuzuki@gmail.com \{saku,aizawa\}@nii.ac.jp

## 概要

機械翻訳の評価は、人手で行うとコストが高いため、機械を用いて自動で行えることが望ましい。自動評価の一つに、質問応答の技術を利用して、参照訳に対して生成した質問に、機械翻訳結果を文脈として用いて正しく回答できるかに着目する枠組みがある。本研究では、既存研究の精度の低い質問生成のステップを、GPT-3 few-shot 学習することで改善できることを示す。また、回答比較のステップも、既存研究では表層的な一致度のみ考慮していたが、GPT-3を用いて柔軟な比較を行うことで、人手評価との相関だけでなく、難しいとされている数字や日付の翻訳ミスの評価も向上することを示す。

## 1 はじめに

機械翻訳の評価は、プロの翻訳家による人手評価が最も正確に行えるが、時間的、金銭的なコストの観点から機械によって自動で行えることが望ましい。人手の評価でも、機械による自動評価でも、与えられた参照訳との比較で評価するのが一般的である。計算コストの低さから、最も標準的に使われる自動評価手法は、BLEU [1] に代表される、参照訳と機械翻訳結果の表層的な一致度を測る手法である。 これらの手法は、表層的には異なるが意味的には等しい場合を見逃してしまう。

そこで近年は、BERT [2] 等の大規模言語モデルによる分散表現を用いることで、表層によらず意味的な一致度を捉える自動評価手法が多く提案されている (BERTScore [3]、BLEURT [4]、COMET [5])。 これらの手法は、プロの人手評価との相関が高いことが示されている $[6,7,8]$ 。一方、分散表現による評価手法は、埋め込み空間において近くに位置することが原因で、固有名詞や数字等の深刻な誤訳を見逃してしまうことが報告されている $[7,9]$ 。

他方、機械による翻訳が原文の情報を十分に表現できているなら、参照訳に対する質問を生成した場

図 1 MTEQA の評価の流れ。1. 参照訳から正解と対応する質問を生成、2. 翻訳結果を文脈として用いて質問に回答、3. 参照訳での正解と翻訳結果の回答を比較。

合に、翻訳結果を文脈として用いても正しく回答できるはずである。この仮説に基づいて、質問応答の技術を用いて機械翻訳を評価する MTEQA (Machine Translation Evaluation with Question Answering) [10] が提案されている。図 1 に評価過程を示す。まず参照訳内の重要な情報について質問と正解を生成し、それらに機械翻訳結果を文脈として用いて QA モデルに回答させ、最後に参照訳からの正解と翻訳結果からの回答を比較することで評価する。この手法の利点としては、評価手順で使われた質問、正解、回答を実際に見ることで、なぜその評価値になったかを容易に知ることができる解釈性を持つ。しかし既存研究において、ある程度の人手評価との相関は示されていたが、質問生成の質が低く、回答比較の部分も表層一致しか着目できていない。

そこで本研究では、質問生成の部分を正解の抽出を含めて GPT-3 [11] で行うことで、適切な質問の割合が増え、人手評価との相関が向上することを示す。さらに、回答比較の部分も GPT-3を用いて、意味を考慮して柔軟に比較する (例: “ 15 ”に対して “ifteen”を正解にする)ことで人手評価との相関だけでなく、上で挙げた分散表現による評価手法が苦手とする誤訳への評価性能も向上することを示す。
表 1 GPT-3 による質問と正解の生成のためのプロンプト内の具体例。

Context: The league narrowed the bids to three sites:

New Orleans' Mercedes-Benz Superdome, Miami's Sun Life Stadium, and the San Francisco Bay Area's Levi's Stadium. Q\&A:

Answer: Levi's Stadium

Question: What is located in the San Francisco Bay Area? Answer: New Orleans

Question: Where is Mercedes-Benz Superdome located? Answer: ...

## 2 MTEQA-GPT-3

MTEQA は、図 1 が示すように、質問生成、質問応答、回答比較の三つのステップからなる。

## 2.1 質問生成 (Question Generation; QG)

最初のステップでは、与えられた比較対象の参照訳から、重要な情報について質問と正解を生成する。既存の MTEQA [10] では、まず参照訳に対して品詞の系列ラベリングを行い、名詞等を回答候補として抽出し、文脈と回答候補から質問を生成するように訓練された T5 モデル [12] に入力する。

本研究では、より質問と回答が一貫しておりかつ文脈から回答可能な質問の割合を増やすために GPT-3 few-shot 学習した。表 1 に few-shot プロンプト内の具体的な例を示す。回答抽出と質問生成は分けずに 1 つの参照訳を与元、固有名詞や数字等について複数の回答と質問のペアを生成するように学習させた。ここで、質問生成の質が向上していることを確かめるために、WMT21(Workshop on Statistical Machine Translation)[13] の中国語から英語への翻訳タスクからランダムに 10 個参照訳を選んで、両者で質問生成を行った。質問と正解が一貫しており、かつ生成元の参照訳から回答可能なものの個数を数えた。結果として、適切な質問と回答の割合が、既存の $\mathrm{T} 5$ モデルが 0.603 (47 / 78 件)、提案手法の GPT-3 が 0.974 (38 / 39 件)であった。質問生成の質が改善されたことが分かる。以降、“MTEQA-gpt3-qg-”で始まる手法が提案手法である。

## 2.2 質問応答 (Question Answering; QA)

次に、2.1 節で生成された質問に、機械翻訳結果を文脈として抽出型の機械読解モデルに回答させる。 MTEQA と提案手法共に、SQuAD-v1 [14] で訓練した $\mathrm{T} 5$ モデルを用いる。テストデータでの F1 スコア表 2 GPT-3による柔軟な回答比較のためのプロンプト内の具体例。

Context: It certainly paid off, since he played splendidly in a different role from normal, and was able to score 15 points. Question: In what role did he score 15 points?

Correct Answer: different role

Student's Answer: different

Output: Correct. In this context, "different" is accepted.

.....

Student's Answer: role

Output: Incorrect. The answer should include "different".

Student's Answer: unusual role

Output: Correct. In this context, "unusual" is accepted.

が 90.27 であった。

## 2.3 回答比較 (Answer Comparison; AC)

最後に、2.1 節で生成された正解と 2.2 節で抜き出された回答との比較を行う。既存研究においては、完全一致 (EM)、単語レベルの F1 スコア (F1)、 BLEU、chrF [15]の4つが採用されていた。しかしこれらは表層的な一致度によることから、正確に比較できないことが多い。例えば、正解が “December 29, 2019” の場合、“Dec 29th, 2019” よりも “November 29, 2019”の方が高得点となってしまう。

そこで本研究では、回答比較の段階でもGPT-3 を利用することで、意味的な一致度を考慮した柔軟な採点を実現する。2.1 節と同様に、GPT-3を回答比較用に few-shot 学習する。表 2 は実際のプロンプト内の具体例を示す。参照訳と質問に対して、 “Correct Answer”として正解を、“Student's Answer” として抜き出された回答を与え、“Output”に比較結果を出力させる。例えば表の三つ目の例では、正解が “different role” に対して、この文脈においては “unusual role”も正解であることを指示している。今回は、出力の最初が “Correct” であれば 1 点、 “Incorrect”であれば 0 点とした。実際に用いたプロンプトの詳細は付録 Bを参照。

## 3 メタ評価実験

本章では、自動評価手法のメタ評価を行う。自動評価手法の良さは通常、どれだけ人手評価との相関が高いかという観点で行われる。 3.1 節で MQM という人手評価について、 3.2 節で比較のための既存手法について、 3.3 節で MQM との相関に関する実験について、3.4 節で評価の難しい誤訳に関する評価の実験について、 3.5 節でエラー分析を述べる。

## 3.1 人手評価

従来の WMT の翻訳タスクでは、人手評価として DA (Direct Assessment) [16] を用いてきた。しかし、 DA ではプロの翻訳家の訳が機械翻訳より低い順位になったり、翻訳調と呼ばれる、翻訳特有の癖がある訳の方が好まれてしまうなどの問題が指摘され [8]、WMT21 [6] や WMT22 [7] では、相関すべきスコアとして MQM (Multidimentional Quality Metrics) が使われることになった。MQM では、プロの翻訳家が、参照訳と前後の文脈を見ながら、与えられた翻訳の誤り全てに、深刻度とカテゴリーと共にアノテートする減点方式で行う。本研究でも 3.3 節において、MQM との相関に基づいて比較を行う。

## 3.2 Baselines

提案手法との比較のためのベースラインとし $\tau$ 、BLEU、chrF、BLEURT-20、COMET-22、MTEQA を用いる。BLEURT-20 と COMET-22 は、WTM21 と WMT22でそれぞれ最も良い自動評価手法のうちの一つであった。付録 A にそれぞれの手法の詳細を記す。また、BERTScore [3] と BLERUT-20は、翻訳の自動評価手法であるが、回答の比較部分にも使えるため、これらも利用する。

## 3.3 人手評価と自動評価手法の相関

自動評価手法がどれくらい MQM スコアと相関しているか評価する。評価には、WMT22 の Metrics Shared Taskを利用し、言語対は中国語から英語である。テストデータとして、1875 個の中国語の原文があり、それぞれに参照訳が 2 つ用意されており (reference A、 reference B)、18 種類のシステムの翻訳結果が与えられる。システムレベルの相関を測定するので、各自動評価手法がつけたスコアの平均をシステムごとのスコアとみなし、同様に計算された MQM スコアとの相関係数を求める (Pearson、 Spearman)。参照訳が二つ存在するので、一方を参照訳として用いた場合は、もう一方は追加のシステムとみなして相関を計算する。

表 3 に結果を示す。太字の値は、その列において、他の任意の手法に統計的に上回られていないことを示す。4列全てにおいて最も相関が高かったのは、COMET-22 と MTEQA-gpt3-qg-gpt3-ac であった。 また、MTEQA 同士を同じ回答比較方法で比べると (MTEQA-EM と MTEQA-gpt3-qg-EM など)、全て表 3 WMT22 Metrics Shared Task の中国語から英語への翻訳での MQM スコアとのシステムレベルの相関。P Pearson、S はSpearman を表す。太字の値は、その列の任意の値に対して有意に低くない場合を示している。

の組み合わせにおいて、相関係数の值が向上している。つまり、2.2 節で示した質問生成の質の向上が、自動評価手法全体の改善に繋がっている。

さらに、MTEQA-gpt3-qg-gpt3-ac は MTEQA-gpt3qg-\{EM、F1、BLEU、chrF、bertscore、bleurt \}に対し、相関係数の值が有意に向上している。GPT-3を用いた回答比較は、表層一致や分散表現による比較よりも正確に回答の比較が可能なことが示された。

## 3.4 数値・日付・固有名詞に着目した評価

本節では、自動評価手法にとって正しく評価することが難しい誤訳の評価性能を測定する。本研究では、WMT22 の challenge sets subtask で提案された中国語から英語でのテストデータ [17]を用いる。各データは、原文、参照訳、ある難しい現象に対して正しい訳、誤訳を含んだ訳からなる。表 4 に具体例を示す。Reference 内の “GDP”に対し、正しい訳では "gross domestic product”、誤った訳では “GPP”と訳されていて、自動評価手法は正しい訳により高い点を与えることが求められる。今回は、 3 種類の現象を扱う。Number は、数字に関する誤りが 355 個、D/T は日付に関する誤りが 140 個、NE は固有名詞や専門用語に関する誤りが 110 個含まれる。 メタ評価は、以下の式で表される Kendall's tau-like correlation [6] に従う。ここで、“Concordant”は、正しい訳の方が正しくない訳よりも高い点数がついた個数、“Discordant” はそうでない場合の個数である。
表 4 Challenge set $の$ 具体例。

 \\

$
\tau=\frac{\text { Concordant }- \text { Discordant }}{\text { Concordant }+ \text { Discordant }}
$

結果を表 5 に示す。Overall としては、BLEURT-20 と MTEQA-gpt3-qg-gpt3-ac が最も高い相関を示した。 COMET-22 は、人手評価との全体的な相関では高い性能を示すが、今回の Challenge set では上記の 2 手法に及ばなかった。その他の手法では全て負の相関となり、ランダムに点数をつけた場合よりも性能が悪いという結果になった。

カテゴリ別に見ると、BLEURT-20 は D/T と NE に強く、MTEQA-gpt3-qg-gpt3-ac は Number に強い。 COMET-22 は Number や NE の誤りに弱く、分散表現ベースの自動評価手法が数字や固有名詞の誤りを見逃してしまうという過去の研究の観察と一致する $[7,9]$ 。数字同士は Embedding 空間で近い位置に埋め込まれるので、分散表現ベースの手法が見逃してしまうという説明が考えられる。

また、MTEQA-gpt3-qg-gpt3-ac はその他の MTEQA と比較して大幅に性能が向上しており、GPT-3による柔軟な回答比較が寄与していると考えられる。本データセットでは、表 4 の具体例のように、表層的には不正解訳内の誤訳の方が参照訳に近い場合が多々ある。よって、EM、F1、BLEU、chrF等の表層ベースの手法はうまくいかないが、gpt3-acでは意味的な一致度を考慮できるので正しく判定できていると考えられる。さらに、分散表現ベースの BERTScore と BLEURT よりも高い相関を示した。

## 3.5 エラー分析

3.4 節の実験で、MTEQA-gpt3-qg-gpt3-ac が評価に失敗した例について原因を分析する。各カテゴリについて 30 個ずつランダムに選び、失敗の原因を Data (誤訳が含まれていない)、QG、QA、ACに分類する。結果を表 6 に示す。全体では、誤訳の含まれる箇所について質問ができていない QG のミスが最多であった。またカテゴリごとでは、Number では、表 5 Challenge set における Kendall's tau-like correlation。 Numer は数字、D/T は日時、NE は固有名詞に関する誤り。

表 6 Challenge set における MTEQA-gpt3-qg-gpt3-ac-all のエラー分析。Data はテストデータ、QG は質問生成、QA は質問回答、AC は回答比較のエラー。

AC のミスが多く、“54 million”に対して“54,000,000” を Incorrect と判定するようなミスが見られた。D/T と NE では $\mathrm{QG}$ のエラーが多いので、プロンプトを工夫して質問数を増やすことで改善したい。

## 4 おわりに

本研究では、質問応答を利用した機械翻訳の評価手法である MTEQA の質問生成部分に GPT-3 を用いることで、より質の高い質問と正解が生成でき、MQM スコアとの相関を改善させた。また、回答比較部分でも、GPT-3を用いて柔軟な採点を行うことで、MQM スコアとの相関で BLEURT を超え、 COMET と同等の性能を記録した。さらに、評価するのが難しい数字や日付等の誤訳をより正確に評価できることを示した。一方、誤訳の部分について質問できていない故にミスを見逃すケースが多くあったので、質問数を増やして参照訳内の情報を網羅できるようにしたい。また、回答比較においても、現状は Correct か Incorrect の二択で判定するが、より柔軟に部分点を与えられるように改良をしたい。

## 謝辞

本研究は Google Research Grant の支援を受けたものです。

## 参考文献

[1] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. BERTScore: Evaluating text generation with BERT. In International Conference on Learning Representations, 2020

[4] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning robust metrics for text generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7881-7892, Online, July 2020. Association for Computational Linguistics.

[5] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. COMET: A neural framework for MT evaluation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2685-2702, Online, November 2020. Association for Computational Linguistics.

[6] Markus Freitag, Ricardo Rei, Nitika Mathur, Chi-kiu Lo, Craig Stewart, George Foster, Alon Lavie, and Ondřej Bojar. Results of the WMT21 metrics shared task: Evaluating metrics with expertbased human evaluations on TED and news domain. In Proceedings of the Sixth Conference on Machine Translation, pp. 733-774, Online, November 2021. Association for Computational Linguistics.

[7] Markus Freitag, Ricardo Rei, Nitika Mathur, Chi kiu Lo, Craig Stewart, Eleftherios Avramidis, Tom Kocmi, George Foster, Alon Lavie, and André F. T. Martins. Results of WMT22 metrics shared task: Stop using BLEU - neural metrics are better and more robust. In Proceedings of the Seventh Conference on Machine Translation. Association for Computational Linguistics, 2022.

[8] Markus Freitag, George Foster, David Grangier, Viresh Ratnakar, Qijun Tan, and Wolfgang Macherey. Experts, errors, and context: A large-scale study of human evaluation for machine translation. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 1460-1474, 2021.

[9] Katsuhito Sudoh, Kosuke Takahashi, and Satoshi Nakamura. Is this translation error critical?: Classification-based human and automatic machine translation evaluation focusing on critical errors. In Proceedings of the Workshop on Human Evaluation of NLP Systems (HumEval), pp. 46-55, Online, April 2021. Association for Computational Linguistics.

[10] Mateusz Krubiński, Erfan Ghadery, Marie-Francine Moens, and Pavel Pecina. Just ask! evaluating machine translation by asking and answering questions. In Proceedings of the Sixth Conference on Machine Translation, pp. 495-506, Online, November 2021. Association for Computational Linguistics.

[11] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah,
Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020

[12] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[13] Farhad Akhbardeh, Arkady Arkhangorodsky, Magdalena Biesialska, Ondřej Bojar, Rajen Chatterjee, Vishrav Chaudhary, Marta R. Costa-jussa, Cristina España-Bonet, Angela Fan, Christian Federmann, Markus Freitag, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Leonie Harter, Kenneth Heafield, Christopher Homan, Matthias Huck, Kwabena Amponsah-Kaakyire, Jungo Kasai, Daniel Khashabi, Kevin Knight, Tom Kocmi, Philipp Koehn, Nicholas Lourie, Christof Monz, Makoto Morishita, Masaaki Nagata, Ajay Nagesh, Toshiaki Nakazawa, Matteo Negri, Santanu Pal, Allahsera Auguste Tapo, Marco Turchi, Valentin Vydrin, and Marcos Zampieri. Findings of the 2021 conference on machine translation (WMT21). In Proceedings of the Sixth Conference on Machine Translation, pp. 1-88, Online, November 2021. Association for Computational Linguistics.

[14] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, Austin, Texas, November 2016. Association for Computational Linguistics.

[15] Maja Popović. chrF: character n-gram F-score for automatic MT evaluation. In Proceedings of the Tenth Workshop on Statistical Machine Translation, pp. 392-395, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[16] Yvette Graham, Timothy Baldwin, Alistair Moffat, and Justin Zobel. Continuous measurement scales in human evaluation of machine translation. In Proceedings of the 7th Linguistic Annotation Workshop and Interoperability with Discourse, pp. 33-41, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[17] Xiaoyu Chen, Daimeng Wei, Hengchao Shang, Zongyao Li, Zhanglin Wu, Zhengzhe Yu, Ting Zhu, Mengli Zhu, Ning Xie, Lizhi Lei, Shimin Tao, Hao Yang, and Ying Qin. Exploring robustness of machine translation metrics: A study of twenty-eight automatic metrics in the WMT22 metric task. In Proceedings of the Seventh Conference on Machine Translation, 2022.

[18] Ondřej Bojar, Yvette Graham, and Amir Kamran. Results of the WMT17 metrics shared task. In Proceedings of the Second Conference on Machine Translation, pp. 489-513, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[19] Hyung Won Chung, Thibault Fevry, Henry Tsai, Melvin Johnson, and Sebastian Ruder. Rethinking embedding coupling in pre-trained language models. In International Conference on Learning Representations, 2021

[20] Ricardo Rei, José G. C. de Souza, Duarte Alves, Chrysoula Zerva, Ana C Farinha, Taisiya Glushkova, Alon Lavie, Luisa Coheur, , and André F. T. Martins. COMET-22: Unbabel-ist 2022 submission for the metrics shared task. In Proceedings of the Seventh Conference on Machine Translation, 2022.
表 7 回答比較のプロンプトの全例 1 。

Context: Herro missed 15 games in February and March due to an ankle injury, and the season began a long hiatus after his first game back against the Hornets on March 12th.

Question: What date did Herro's first game back

after the injury take place?

Correct Answer: March 12th

Student's Answer: March 12

Output: Correct. "March 12" is accepted.

Student's Answer: 12th

Output: Incorrect. The answer should include "March".

Student's Answer: April 12th

Output: Incorrect. In this context, the answer should be not "April" but "March".

## A Baseline 手法の詳細
- BLEU [1]は、機械翻訳と参照訳の間の n-gram precision と短い翻訳に対するぺナルティで計算される。3.4 節では、一文単位での評価のためのスムージング処理が加わった手法である SentBLEU [18]を用いる。
- chrF [15] は、機械翻訳と参照訳の間の文字レベルの n-gram precision である。

・BLEURT-20 [4] は、RemBERT [19] を機械翻訳と参照訳を入力としてDA スコアを予測するように、過去の WMT のデータで訓練したものである。WMT21において最高性能の自動評価手法のうちの一つである。

-COMET-22 [20]は、多言語モデルを用いて原文、機械翻訳、参照訳をそれぞれ埋め込み、それらのべクトルの組み合わせから、DA スコアを予測するように訓練したものと、MQM スコアを予測するように訓練したもののアンサンブルモデルである。WMT22において最高性能の自動評価手法のうちの一つである。
- BERTScore[3] は、参照訳と機械翻訳のそれぞれのトークンに対する埋め込み表現を BERT を用いて計算し、参照訳内の各トークンに対して機械翻訳内で最も似ているトークンのアラインメントをとることで計算する。

## B AC のプロンプト詳細

Answer Comparison 用のプロンプトには、日付、固有名詞、数字、形容詞、副詞の比較を学習させる例がそれぞれ 3つずつ含まれる。表 7 は日付の例、表 8 は固有名詞の例、表 9 は数字、形容詞、副詞の実際の例を示す。これらは、GPT-3による質問生成でよく質問の対象になっていたことから選ばれた。表 8 回答比較のプロンプトの全例 2。

Context: The data shows that, up to now, Brazil ranks second in the world in terms of the number of confirmed cases and deaths behind the United States.

Question: Which country is first in the world in terms of the number of confirmed cases and deaths?

Correct Answer: United States

Student's Answer: the United States of America

Output: Correct. The student's answers has the same

meaning as the correct answer.

Student's Answer: UK

Output: Incorrect. In this context, the answer should be "United States".

Student's Answer: U.S.

Output: Correct. In this context, "U.S." is accepted.

表 9 回答比較のプロンプトの全例 3。

Context: It certainly paid off, since he played splendidly in a different role from normal, and was able to score 15 points. Question: How many points did the player score?

Correct Answer: 15 points

Student's Answer: 15

Output: Correct. In this context, "15" is accepted.

Student's Answer: 150 points

Output: Incorrect. In this context, "150" doesn't

have the same meaning as " 15 ".

Student's Answer: fifteen

Output: Correct. In this context, "fifteen" is accepted.

Question: In what role did he score 15 points?

Correct Answer: different role

Student's Answer: different

Output: Correct. In this context, "different" is accepted.

Student's Answer: role

Output: Incorrect. The answer should include "different".

Student's Answer: unusual role

Output: Correct. In this context, "unusual" is accepted.

Question: How did he play in a different role?

Correct Answer: splendidly

Student's Answer: excellently

Output: Correct. In this context, "excellently" is accepted.

Student's Answer: different

Output: Incorrect. In this context, "different" doesn't

have the same meaning as "splendidly".

Student's Answer: magnificently

Output: Correct. In this context, "magnificently" is accepted.