# 入力文と自然言語処理モデルの相性判定

野口 夏希
愛媛大学工学部
n_noguchi@ai.cs.ehime-u.ac.jp
}

梶原 智之
愛媛大学大学院理工学研究科
kajiwara@cs.ehime-u.ac.jp

## 概要

本研究では，入力文のみから自然言語処理モデル の出力品質を推定する手法を提案する. 機械翻訳を 主な対象とする既存の品質推定は, 入力文と出力文 の組から出力文の品質を推定する技術である. モデ ルによる出力文を必要とするため, 既存の品質推定 の手法はテキスト分類のタスクには適用できない.我々が提案する新たな品質推定の技術は入力文のみ を用いるため, 文の生成と分類の両タスクに対して 適用できる。また，対象タスクにおける自然言語処理モデルの実行が不要なため，大規模なコーパスに 対しても高速に文単位の品質推定を実施できる.

## 1 はじめに

深層学習の技術の発展に伴い，機械翻訳 [1] や感情極性分類 [2] など，多くの自然言語処理タスクの 性能が向上している. しかし, 全体的な性能が向上しているとはいえ，機械翻訳における流暢な誤訳 $[3,4]$ のように，個々の事例の中には依然として 大きな課題が残されている。そのため, 文単位での 品質推定の技術に大きな期待が寄せられている.

機械翻訳 [5] やテキスト平易化 [6] などのテキス 卜生成タスクにおいて研究されている文単位の品質推定は，入力文および出力文の文対が与えられ，出力文の品質を推定する. 入力文とともに出力文を用 いるため, 既存の品質推定の手法 $[7,8]$ は感情極性分類などのテキスト分類タスクには適用できない.本研究では，任意の自然言語処理タスクに対して 共通に適用可能な文単位の品質推定のフレームワー クを提案する. 提案手法は, 入力文のみから自然言語処理モデルの出力品質を推定する。つまり, 自然言語処理モデルを評価するのではなく，入力文が自然言語処理に適しているか否かを評価する。 入力文 のみを用いるため，提案手法は機械翻訳などのテキ スト生成タスクだけでなく，感情極性分類などのテ キスト分類タスクにも適用できる。また，対象タス

図 1 提案手法の概要

クにおける自然言語処理モデルの実行が不要なた め，大規模なコーパスに対しても高速に文単位の品質推定を実施できるという利点を持つ.

機械翻訳および感情極性分類のタスクを対象に，高品質な出力が期待できる入力文か否かの 2 値分類 として文単位の品質推定の評価実験を行った. 実験 の結果，タスクやドメインに依存せず， 7 割以上の 正解率で入力文のみから文単位の品質推定を実現で きた. また，高品質な出力が期待できると判定され た文集合と低品質な出力が予想されると判定された 文集合の間で，Transformer [1] または BERT [9]を用 いてタスクを解いた際の実際の出力品質を評価した ところ，機械翻訳においては最大で 14.6 ポイントの BLEU [10], 感情極性分類においては最大で 27.8 ポ イントの正解率という大きな差が見られ，提案手法 の有効性を確認できた。

## 2 提案手法

本研究では，所与の入力文に対して，高品質な出力が期待できるか否かの 2 值分類を行う品質推定器 を構築する. 本研究で提案する品質推定器は, 入力文と出力文の対から出力文の品質を推定する一般的 な品質推定器と区別するために，入力文と自然言語処理の相性を判定するものとして以降では相性判定器と呼ぶ. 提案する相性判定の概要を図 1 に示す.

## 2.1 データセットの作成

対象タスクのラベル付きコーパスを $2 つ^{11}$ 用意 し, 相性判定器を訓練するためのデータセット を構築する。はじめに，テキスト生成タスクであ れば Transformer [1]，テキスト分類タスクであれば BERT [9] など，対象タスクを解くための任意の自然言語処理モデルを用意し，一方のラベル付きコー パスを用いて訓練する。次に，他方のラベル付き コーパスを大力として，訓練済みモデルを用いて出力を得る。そして，テキスト生成タスクであれば BLEU [10]，テキスト分類タスクであれば正解率な ど，対象タスクに応じた任意の評価指標を用いて，出力の品質を自動評価する.この自動評価の結果に 基づき，各入力文に対して自然言語処理モデルとの 相性の良し悪しを 2 值でラベル付けし，相性判定器 を訓練するためのデータセットを構築する。

## 2.2 相性推定器の訓練

2.1 節で構築したデータセットを用いて，入力文 と自然言語処理の相性を判定する 2 值分類器を訓練 する. 相性判定器を使用する際には，相性が悪いと 判定された入力文は誤った出力につながる可能性が 高いため，人手で推敲し，再入力することを想定し ている.この推敲の作業も自然言語処理の技術を用 いて自動化したいが，これは今後の課題である.

## 3 実験設定

機械翻訳および感情極性分類の評価実験を行う。

## 3.1 データ

機械翻訳日本語およびドイツ語から英語への機械翻訳を行う．翻訳器を訓練するために，日英の言語対では $\mathrm{JParaCrawl}^{21}$ [11] の約 1,000 万文対，独英 の言語対では $\mathrm{WMT}^{3)}$ [12] の約 500 万文対を用いた.

相性判定器を訓練および評価するために，ドメイ ンの異なる複数の対訳データを用いた. 日英の言語対では，講演字幕の IWSLT [13] および Wikipedia の $\mathrm{KFTT}^{4)}$ を用いた. 独英の言語対では, 講演字幕 のIWSLT および Wikipedia の WikiMatrix [14]を用い


表 1 相性判定器の内的評価に用いたデータの件数

た. 相性判定のためのラベル付きコーパスを作成す るために，翻訳器の出力文を SentenceBLEU [10] に よって文単位で自動評価し，閾値 $\theta_{H}$ を上回る入力文を正例 (入力文と自然言語処理の相性が良い),閾値 $\theta_{L}$ を下回る入力文を負例（入力文と自然言語処理の相性が悪い）としてアノテーションした. 本実験では， $\theta_{H}=30 ， \theta_{L}=10$ として，表 1 の件数を 無作為抽出した.

感情極性分類 日本語の感情極性 2 值分類を行 う. 感情極性分類器を訓練するために，ACP コーパ ス $^{5}$ [15] の中から無作為抽出した 1 万文を用いる.

相性判定器を訓練および評価するために，同じく ACP コーパスを用いる. ただし, 分類器の訓練に用 いた文は相性判定器の訓練や評価には使用しない.相性判定のためのラベル付きコーパスは, 分類器の 出力ラベルが正解ラベルと一致する入力文を正例,一致しない入力文を負例としてアノテーションし，表 1 の件数を無作為抽出した.

## 3.2 モデル

機械翻訳 JoeyNMT ${ }^{6}$ [16] を用いて実装した翻訳器およびオンライン翻訳器である Google 翻訳7) の 2 種類の日英翻訳器を使用した. 前者の翻訳器は, 512 次元の埋込層および隠れ層を持つ 6 層 8 注意ヘッド の Transformer モデル [1]を訓練した. バッチサイズ を 4,096トークンとし，最適化手法には Adam [17]を 使用した. 前処理には SentencePiece ${ }^{8)}$ [18] の 1-gram 言語モデル（語彙サイズは 32,000 ）によるサブワー ド分割を行った.

感情極性分類 Wikipedia ${ }^{9}$ および SNS テキス ト10)を用いて事前訓練された 2 種類の日本語 BERT [9] を再訓練した. バッチサイズを 32 文とし,最適化手法には Adam を使用した。


相性判定 機械翻訳では，日本語とドイツ語の両方に対応するために，相性判定器として事前訓練さ れた多言語符号化器 XLM-RoBERTa ${ }^{11)}$ [19] を再訓練 した. 感情極性分類では，相性判定器として事前訓練された日本語 $\mathrm{BERT}^{9}$ )を再訓練した. バッチサイ ズを 32 文とし，最適化手法には Adam を使用した。

## 3.3 比較手法

相性判定のベースラインとして，Transformer [1] に基づくニューラル言語モデルのパープレキシティ を用いる。言語モデルのパープレキシティは，多く の品質推定モデル [5] において採用されている素性 のひとつであり，入力文のみから得られる品質推定素性の代表的なものである. 本実験では，翻訳器や 感情極性分類器の訓練に用いた訓練用コーパス上で ニューラル言語モデルを訓練し，間値を設定して相性判定の 2 值分類に使用した。なお，閾値は表 1 の 検証用コーパスにおける 2 値分類の正解率を最大化 するように設定した。

## 3.4 評価

相性判定器の性能を評価するために，2 種類の実験を行った. 内的評価として，表 1 の評価用コーパ スを用いて，相性判定の 2 値分類の正解率を評価し た. 外的評価として，表 2 の評価用コーパスを用い て，タスクごとの性能評価を行った。外的評価に用 いる評価用コーパスは，3.1 節においてサンプリン グする前の各タスクにおける評価用コーパス全体 である。機械翻訳の外的評価は，相性判定器によっ て分類された各文集合において BLEU [10] を評価し た.なお，BLEU の計算には SacreBLEU ${ }^{12)}$ [20]を用 いた. 感情極性分類の外的評価は, 相性判定器に よって分類された各文集合において感情極性分類の 正解率を評価した。

11) https://huggingface.co/xlm-roberta-base

12) https://github.com/mjpost/sacrebleu

## 4 実験結果

## 4.1 機械翻訳

表 3 に機械翻訳の実験結果を示す．相性判定の正解率に関する内的評価に着目すると，ニューラル言語モデルのパープレキシティに基づくベースライン 相性判定器が 6 割弱の正解率である一方で，我々の 相性判定器は 7 割を超える正解率を達成した.

BLEU に関する外的評価に着目すると，ニューラ ル言語モデルのパープレキシティに基づくベースラ イン相性判定器では相性が良いと判定された文集合 と相性が悪いと判定された文集合の間で BLEU の差 が最大で 2.7 ポイントしかなく, 入力文と翻訳器の 相性を充分に推定できていない。一方で提案手法で は，一貫して 10 ポイント以上の大きな BLEU の差 が見られるため，入力文と翻訳器の相性を良く推定 できている。特に，IWSLT における独英翻訳の設定 では，相性が良いと判定された文集合と相性が悪い と判定された文集合の間で 14.6 ポイントという顕著な BLEU の差を確認できた.

本実験では，日英および独英の 2 つの言語対を評価したり，言語対ごとに講演字幕および Wikipedia の 2 つのドメインを評価したり，IWSLT における 日英翻訳において JoeyNMT で実装した Transformer および Google 翻訳の 2 つの翻訳器を評価したりと，様々な設定で評価を行ったが，提案手法は全ての設定において 7 割強の正解率を達成し， 10 ポイント以上の顕著な BLEU の差を示した。これらの実験結果 から, 本研究で提案する相性判定器は, 言語・ドメ イン・翻訳器に依存せず，入力文と自然言語処理の 相性を高精度に推定できると言える。

## 4.2 感情極性分類

表 4 に感情極性分類の実験結果を示す. 相性判定 の正解率に関する内的評価に着目すると，ニューラ ル言語モデルのパープレキシティに基づくベースラ イン相性判定器が 6 割程度の正解率である一方で,我々の相性判定器は 8 割程度の正解率を達成した。

感情極性分類の正解率に関する外的評価に着目す ると，ニューラル言語モデルのパープレキシティに 基づくベースライン相性判定器では相性が良いと判定された文集合と相性が悪いと判定された文集合の 間で正解率の差が 4 ポイントしかなく，入力文と分類器の相性を充分に推定できていない。一方で提案
表 3 機械翻訳における実験結果

表 4 感情極性分類における実験結果

手法では， 27 ポイント以上の大きな正解率の差が見 られるため, 入力文と分類器の相性を良く推定でき ている。本実験では，Wikipedia および SNS という 訓練ドメインの異なる 2 つの BERT を用いて感情極性分類器を構築したが，提案手法は対象モデルに依存せず，入力文と感情極性分類器の相性を高精度に 推定できた。

## 5 おわりに

本研究では，自然言語処理モデルの出力品質を文単位で推定するために, 入力文と自然言語処理の相性を推定する 2 值分類のアプローチを提案した. 既存の品質推定の手法とは異なり, 入力文のみを使用 して出力品質を推定するため, 提案手法はテキスト 生成だけでなくテキスト分類のタスクにも共通に適用できる. また，対象タスクにおける自然言語処理 モデルの実行が不要なため，大規模なコーパスに対 しても高速に文単位の品質推定を実施できる.

評価実験の結果，機械翻訳においては 7 割強，感情極性分類においては 8 割程度の正解率で，入力文 のみから出力品質の高低を推定できた. また, 高品質な出力につながると推定した入力文集合と低品質 な出力につながると推定した入力文集合の間で，実際に出力品質を比較した結果，機械翻訳においては 10.2 ポイントから 14.6 ポイントという顕著な BLEU の差が確認でき，感情極性分類においては 27.2 ポイ ントから 27.8 ポイントという顕著な正解率の差が 確認できた. さらに，提案手法は入力文の言語やド メイン，対象の自然言語処理モデルに依存せず，入力文と自然言語処理の相性を良く推定できた。

今後の課題として, 本研究において低品質な出力 につながると推定された大力文に対して，具体的に どの語句を修正すべきなのかを特定する語句単位の 品質推定にも取り組みたい. また, 入力文の自動的 な前編集の技術も検討し, 自然言語処理モデルの利用者による推敲コストを削減したい。

## 謝辞

本研究は JST（ACT-X，課題番号: JPMJAX1907）， JSPS 科研費（基盤研究 B，課題番号：JP22H03651） および国立研究開発法人情報通信研究機構の委託研究（課題番号：225）による助成を受けたものです.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems, pp. 5998-6008, 2017.

[2] Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D. Manning, Andrew Ng, and Christopher Potts. ecursive Deep Models for Semantic Compositionality Over a Sentiment Treebank. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1631-1642, 2013.

[3] Zhaopeng Tu, Yang Liu, Zhengdong Lu, Xiaohua Liu, and Hang Li. Context Gates for Neural Machine Translation. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 87-99, 2017.

[4] Mengqi Miao, Fandong Meng, Yijin Liu, Xiao-Hua Zhou, and Jie Zhou. Prevent the Language Model from being Overconfident in Neural Machine Translation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, pp. 3456-3468, 2021.

[5] Lucia Specia, Carolina Scarton, and Gustavo Henrique Paetzold. Quality Estimation for Machine Translation. Synthesis Lectures on Human Language Technologies, Vol. 11, No. 1, pp. 1-162, 2018.

[6] Sanja Štajner, Maja Popovic, Horacio Saggion, Lucia Specia, and Mark Fishel. Shared Task on Quality Assessment for Text Simplification. In Proceedings of Shared Task on Quality Assessment for Text Simplification, pp. 22-31, 2016.

[7] Fabio Kepler, Jonay Trénous, Marcos Treviso, Miguel Vera, and André F. T. Martins. OpenKiwi: An Open Source Framework for Quality Estimation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 117-122, 2019.

[8] Tharindu Ranasinghe, Constantin Orasan, and Ruslan Mitkov. TransQuest: Translation Quality Estimation with Cross-lingual Transformers. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 5070-5081, 2020.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 41714186, 2019.

[10] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: a Method for Automatic Evaluation of Machine Translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[11] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A Large Scale Web-Based English-Japanese
Parallel Corpus. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 36033609, 2020.

[12] Ondřej Bojar, Rajen Chatterjee, Christian Federmann, Yvette Graham, Barry Haddow, Shujian Huang, Matthias Huck, Philipp Koehn, Qun Liu, Varvara Logacheva, Christof Monz, Matteo Negri, Matt Post, Raphael Rubino, Lucia Specia, and Marco Turchi. Findings of the 2017 Conference on Machine Translation. In Proceedings of the Second Conference on Machine Translation, pp. 169-214, 2017.

[13] Mauro Cettolo, Marcello Federico, Luisa Bentivogli, Jan Niehues, Sebastian Stüker, Katsuhito Sudoh, Koichiro Yoshino, and Christian Federmann. Overview of the IWSLT 2017 Evaluation Campaign. In Proceedings of the 14th International Conference on Spoken Language Translation, pp. 2-14, 2017.

[14] Holger Schwenk, Vishrav Chaudhary, Shuo Sun, Hongyu Gong, and Francisco Guzmán. WikiMatrix: Mining 135M Parallel Sentences in 1620 Language Pairs from Wikipedia. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics, pp. 1351-1361, 2021.

[15] Nobuhiro Kaji and Masaru Kitsuregawa. Automatic Construction of Polarity-Tagged Corpus from HTML Documents. In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 452-459, 2006.

[16] Julia Kreutzer, Jasmijn Bastings, and Stefan Riezler. Joey NMT: A Minimalist NMT Toolkit for Novices. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP): System Demonstrations, pp. 109-114, 2019.

[17] Diederik P. Kingma and Jimmy Lei Ba. Adam: A Method for Stochastic Optimization. In Proceedings of the 3rd International Conference for Learning Representations, 2015

[18] Taku Kudo and John Richardson. SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[19] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised Cross-lingual Representation Learning at Scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, 2020.

[20] Matt Post. A Call for Clarity in Reporting BLEU Scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, 2018.
 野口 夏希 愛媛大学工学部 n_noguchi@ai.cs.ehime-u.ac.jp }  梶原 智之 愛媛大学大学院理工学研究科 kajiwara@cs.ehime-u.ac.jp  