# 疑似訓練データに基づく機械翻訳の教師なし品質推定

黒田 勇斗 ${ }^{1}$ 藤田 篤 ${ }^{2}$ 梶原 智之 ${ }^{1}$ 二宮 崇 ${ }^{1}$
1 愛媛大学大学院理工学研究科 2 情報通信研究機構
kuroda@ai.cs.ehime-u.ac.jp atsushi.fujita@nict.go.jp
\{kajiwara, ninomiya\}@cs.ehime-u.ac.jp

## 概要

人間が作成した参照訳なしに機械翻訳文の品質を 推定する手法を品質推定という．品質推定のデータ の構築には，非常に高いコストがかかるため，教師 あり学習に基づく品質推定はわずかな言語対に対し てしか適用できない.この課題を解決するために，教師なし品質推定の研究が行われている. 本稿で は，対訳コーパスから自動生成できる疑似訓練デー タのみを用いた教師なし品質推定について述べる。実験の結果，疑似訓練データを用いて訓練したモデ ルは，多資源および少資源言語対を中心に，既存の 教師なし品質推定手法よりも高い性能を達成した.

## 1 はじめに

機械翻訳の品質推定 (Translation Quality Estimation; TQE）[1] とは，参照訳を用いず原言語文とそれに 対する機械翻訳文のみを参照して，機械翻訳文の品質を推定する技術である. 人手評価との相関が高い TQE 手法を開発することにより，機械翻訳文をその まま使用するか，後編集を行うか，他の機械翻訳を 利用するかという判断を支援できる. このように，機械翻訳の実世界での利用を進める上で $\mathrm{TQE}$ は重要な技術である.

機械翻訳に関する国際会議 WMT における TQE シェアードタスク $[2,3]$ を心に，多くの TQE モデ ル [4-8] が提案されてきた. これらのうち多くの手法は，「原言語文・機械翻訳文・人手評価値」の組 を教師データとして用いる教師あり手法である.こ のような教師データの作成には，原言語と目的言語 の両方に精通したアノテータによる主観評価（DA スコア）あるいは機械翻訳文の後編集（必要な編集量 ; HTER [9]）が必要であるため, 非常にコストが 高い. さらに, 機械翻訳器によって機械翻訳文の品質の分布は大きく異なりうるが, 複数の機械翻訳器 の各々に対して教師データを作成することも現実的
ではない. そのため, WMT21 の TQE タスク [3] に おいても，TQE モデルの訓練に使用できる教師デー タはわずか 7 言語対分しか蓄積されていない.

TQE における訓練データの作成コストの課題を 解決するために, 教師なし $\mathrm{TQE}$ 手法 [10-13] が研究 されている。本研究では，対訳コーパスおよび訓練済みの機械翻訳器を用いて TQE 用の疑似的な訓練データを作成し, この疑似訓練データのみを用 いて TQE モデルを訓練する手法について述べる. WMT20の TQE タスクにおける実験の結果，疑似訓練データのみを用いて訓練したモデルは, 既存の教師なし $T Q E$ 手法を上回る性能を示した. WMT21の TQE タスクにおいても，少資源言語対を中心に既存 の教師なし TQE 手法よりも高い性能を達成した。

## 2 先行研究

教師なし TQE の先行研究には, 多言語文符号化器を用いる手法 $[10,11]$ および多言語系列変換器を 用いる手法 $[12,13]$ がある.

多言語文符号化器を用いる手法は，原言語文およ びその機械翻訳文をそれぞれべクトル化し，それら の余弦類似度を用いて機械翻訳文の品質を推定す るものである．多言語文符号化器としては，例えば LaBSE [14] を用いることが考えられる. LaBSE は，複数言語の単言語コーパスを用いて事前訓練した文符号化器 mBERT [15] を, 対訳コーパスを用いて新 たな目的関数で再訓練したものである．訓練には人手評価值を使用していないため，LaBSE を用いた TQE は教師なし手法であるといえる.

しかし, 多言語文符号化器による教師なし TQE では, 多言語文符号化器の言語特異性 [10] が問題 となる。つまり, 多言語文符号化器から得られる文 のベクトル表現は, 意味よりも言語の影響を強く受 けており，対象タスクに特化した再訓練なしでは言語が異なる文間の意味的類似度を正確に推定でき ない.この課題に対して DREAM [10] は対照学習,

(a) 文対をそれぞれ符号化（split）

(b) 文対を連結し符号化（concat）

図 1: モデルの概要

MEAT [11] は敵対的学習によって, 多言語文符号化器から得られる文べクトルを言語表現と意味表現に 分離することを試みた. そして，原言語文およびそ の機械翻訳文のそれぞれに対する意味表現のみを TQE に用いて, LaBSE よりも高い性能を達成した.

もうひとつの教師なし TQEのアプローチとして， Prism [12] などの系列変換器に基づく手法がある. Prism では，自己注意ネットワークに基づく系列変換器 [16] を訓練し，そのモデルで原言語文から機械翻訳文への系列変換を forced decode した場合の文生成確率（forced decode スコア）を用いて機械翻訳文 の品質を評価する. ただし, 系列変換器に基づく手法は，訓練に大規模な対訳コーパスが必要であるた め，少資源言語対に適用することは困難である.

## 3 疑似データを用いた訓練

本研究では，機械翻訳文の文レベルの品質とし て，HTER [9] を予測することを考える。HTER は，機械翻訳文から修正訳文 (人間が機械翻訳文を後編集して作成した翻訳文）への編集距離である.

疑似訓練データの作成疑似訓練データの作成に は，対訳コーパス $C=\left(x_{i}, y_{i}\right)_{i=1}^{N}$ と機械翻訳器を用い る. 対訳コーパスの原言語文 $x$ を機械翻訳すること で，疑似対訳文 $y^{\prime}=\mathrm{MT}(x)$ を得る. 「目的言語文 $y \cdot$疑似対訳文 $\left.y^{\prime}\right.\lrcorner$ の各対に対して TER [9] を求め，疑似訓練データ $D=\left(x_{i}, y_{i}^{\prime}, \operatorname{TER}\left(y_{i}, y_{i}^{\prime}\right)\right)_{i=1}^{N}$ を作成する. ここで，TERは，疑似対訳文から目的言語文への編集距離である.

TQE モデル 作成した疑似訓練データおよび事前訓練済みの多言語文符号化器を用いて，回帰モデル の訓練を行う. 本研究では, 図 1 に示すように, 2 種類の符号化方法を比較する. 図 1(a)の方法では, 2 節で述べた既存の手法と同様に, 原言語文と機械翻訳文の文頭に [CLS]トークンを追加し，それぞれ表 1: 対訳文数および疑似訓練データ数

を独立に多言語文符号化器に入力する，図 1(b) の方法では，原言語文と機械翻訳文のトークン間の関連 を捉えるために，文頭に [CLS] トークンを追加し，原言語文と機械翻訳文を [SEP] トークンで連結して 多言語文符号化器に入力する。なお，両モデルと も，文頭の [CLS] トークンに対する多言語文符号化器の出力を多層パーセプトロン（MLP）に入力し,回帰モデルを訓練する.

## 4 評価実験

3 節で述べた提案手法の性能を，WMT20 および WMT21 の TQE タスク $[2,3,17]$ において評価した.公式の評価方法に従い, 各 $\mathrm{TQE}$ 手法により推定し た翻訳品質および人間による機械翻訳文の修正訳文 に基づいて与えられた HTER の間のピアソンの積率相関係数によって性能を評価した。

## 4.1 実験設定

評価データ 評価には $\mathrm{WMT} 20$ の TQE タスクの 検証用データ1) および WMT21の TQE タスクの評価用データを用いた．WMT20の TQE タスクには，英語からドイツ語（en-de）および英語から中国語

1） WMT20 の TQE タスクでは，評価用データの HTER が公開 されていないため，検証用データを使用した.
表 2: WMT20 および WMT21 の TQE タスクにおける HTER とのピアソンの積率相関係数

（en-zh）の 2 言語対 ${ }^{2}$ が含まれる. WMT21の TQE タスクには，6つの言語対3)が含まれる。 WMT20と 同じ多資源言語対の 2 言語対, ルーマニア語から英語（ro-en）およびエストニア語から英語（et-en）の 中資源言語対，ネパール語から英語（ne-en）および シンハラ語から英語 (si-en) の少資源言語対である.各言語対において，1,000 文対の原言語文および機械翻訳文と, HTER の組が提供されている. 評価対象の機械翻訳は， fairseq ツールキット ${ }^{4)}[18] を$ 用い て訓練された Transformer モデル [16] である.

疑似訓練データ疑似訓練データの作成には, WMT21の TQE タスクで利用可能な対訳コーパ ス5）（表 1）および M2M-1006) [19] の機械翻訳器を 用いた. ただし，M2M-100 は，表 1 の対訳コーパ スの一部を用いて，WMT21 の TQE タスクの翻訳方向ごとにファインチューニングした. 具体的に は, MEAT [11] と同量 (多資源言語対 : 100 万文対 ずつ，中資源言語対 : 20 万文対ずつ，少資源言語対 : 5 万文対ずつ）を無作為に抽出し, 両言語と もに 128 トークン以下である対訳文のみを使用 した. HuggingFace Transformers [20]を用いてファイ ンチューニングを実施した. バッチサイズを 16 文対, 学習率を $3 e-5$, 最適化手法を AdamW [21] （ $\left.\beta_{1}=0.9, \beta_{2}=0.999, \epsilon=1 e-8\right)$ として, 多資源言語対および中資源言語対は 1 エポック, 少資源言語

対は 3 エポックの訓練を行った。疑似訓練データ中 の各対の TER を SacreBLEU ${ }^{7)}$ [22] によって計算し, TER が 1 以下のもののみを使用した。

TQE モデル 多言語文符号化器に $\left.\operatorname{LaBSE}^{8}\right)[14]$ ま たは XLM-R Base $^{9)}$ [23], MLPに 1 層のフィードフォ ワードニューラルネットワークを用いた. 各モデ ルは, HuggingFace Transformers を用い，バッチサイ ズを 128 文対，損失関数を RMSE，最適化手法を AdamW ( $\left.\beta_{1}=0.9, \beta_{2}=0.999, \epsilon=1 e-8\right)$ として訓練し, 訓練済みの多言語文符号化器のパラメタも更新した. 1 万ステップごとに検証用データに対する 損失を計算し, この損失が 3 回改善しない場合に訓練を終了した. 検証用データは, 表 1 の疑似訓練 データから $10 \%$ を無作為に抽出して作成した. 学習率を $5 e-5,1 e-5,5 e-6$ および $1 e-6$ として 4 つのモデルを訓練し，これらのうち，検証用データ において最も損失の小さいモデルを選択した.

LaBSE では [CLS]トークンが事前に最適化されて いるのに対して, XLM-R では最適化されていない. この 2 モデルの比較により, 事前訓練による [CLS] トークンの最適化の有効性について考察する。

比較手法 既存の教師なし $\mathrm{TQE}$ 手法として，次 の 5 種類を用いた. LaBSE [14] のベースラインは,原言語文と機械翻訳文をそれぞれべクトル化し，そ れらの余弦類似度を機械翻訳文の品質の推定値と する. MEAT [11] は，LaBSE のベクトル表現から意味表現を抽出して用いるものである. MEAT の訓練 データとして, 先行研究 [11] と同様に表 1 の対訳

表 3: 訓練データに含まれる翻訳方向数が異なる場合の HTER とのピアソンの積率相関係数の比較

コーパスの一部（多資源言語対：100万文対ずつ,中資源言語対 : 20 万文対ずつ, 少資源言語対 : 5 万文対ずつ）を使用した場合および全文を使用した場合を比較した. さらに, 系列変換に基づく教師な しTQEとして, 原言語文から機械翻訳文への forced decode スコアを用いる手法と比較した. 機械翻訳器 として M2M-100を使用した. ただし，翻訳方向ご とにファインチューニング（FT）を行ったモデルと 行っていないモデルの両方を比較した. 前者は, 疑似訓練データの作成に使用したモデルである.

良い機械翻訳文に対して，HTER は小さな値をと る一方で，余弦類似度および forced decode スコアは 大きな値をとる。つまり, HTER と余弦類似度およ び forced decode スコアの間には負の相関がある.

## 4.2 実験結果

表 2 に実験結果を示す.疑似データを用いて訓練したLaBSE+MLP（concat）は，多資源および少資源言語対において LaBSE および MEAT よりも優れ た結果を示した. LaBSE+MLP（concat）は，全翻訳

の性能を上回った. このことから, 文対を連結す ることで原言語文と機械翻訳文のトークン間の関連を捉えつつ符号化を行うこと，および事前訓練 による [CLS]トークンの符号化の最適化が有効で あることが示唆される. ただし，LaBSE のパラメ

メタ数は $280 \mathrm{M}$ と小さい. したがって，より大きな XLM-R ${ }^{10)}$ を用いることで，性能が向上する可能性 がある。また，MEAT の性能は，使用する対訳文数 を増加させても向上しなかった. M2M-100を用い た系列変換に基づく $\mathrm{TQE}$ と比較しても，多資源言語対および少資源言語対において優れた性能を示 した.

10) https://huggingface.co/xlm-roberta-largeなど

## 5 分析

言語モデルやニューラル機械翻訳器は，単一言語 および単一翻訳方向よりも複数言語および複数翻訳方向の訓練を行うことで，性能が向上することが報告されている [23,24]. TQE タスクにおいても複数翻訳方向による訓練が有効であるかを明らかにする ために，4節と同じ TQE タスクにおいて，6つの翻訳方向を訓練データに含めて 1 つのモデルを訓練し た場合と翻訳方向ごとにモデルを訓練した場合を比較した。

実験結果を表 3 に示す. 1 つの例外を除いて，6 つの翻訳方向の疑似訓練データを用いたモデルの 方が優れた性能を示した. この結果から, 疑似訓練 データに基づく教師なし $\mathrm{TQE}$ において，複数の翻訳方向を含めることが有効であるとわかった.

## 6 今後の課題

本研究では翻訳品質として HTER を扱ったが, DA スコアも MT の実利用では有用であり，WMT20 および WMT21にもDAスコアを予測する TQE タス クがある。DAスコアの予測において，本稿の提案手法は MEAT の性能を上回ることはできなかった. このことから，TERに基づく疑似訓練データでは， DA スコアとの相関を向上させることは困難であり， DA スコアを正確に推定するには異なる手法が必要 であるといえる.

## 7 おわりに

本稿では，疑似訓練データを用いた教師なし $\mathrm{TQE}$手法について述べた. WMT20 および WMT21 の $\mathrm{TQE}$ タスクにおける実験を通じて，既存の教師なし TQE 手法と比較して, 多資源および少資源言語対を 中心に優れた性能を達成しうることを確認した. 分析の結果, 言語モデルやニューラル機械翻訳器と同様に，複数の翻訳方向の訓練データを用いることに より, 性能が向上することも明らかになった.

## 謝辞

本研究は国立研究開発法人情報通信研究機構の委託研究（課題番号：225）の助成を受けたものです.

## 参考文献

[1] Lucia Specia, Carolina Scarton, and Gustavo Henrique Paetzold. Quality Estimation for Machine Translation. Synthesis Lectures on Human Language Technologies, Vol. 11, No. 1, pp. 1-162, 2018.

[2] Lucia Specia, Frédéric Blain, Marina Fomicheva, Erick Fonseca, Vishrav Chaudhary, Francisco Guzmán, and André F. T. Martins. Findings of the WMT 2020 Shared Task on Quality Estimation. In Proc. of WMT, pp. 743764, 2020.

[3] Lucia Specia, Frédéric Blain, Marina Fomicheva, Chrysoula Zerva, Zhenhao Li, Vishrav Chaudhary, and André F. T. Martins. Findings of the WMT 2021 Shared Task on Quality Estimation. In Proc. of WMT, pp. 684725, 2021.

[4] Tharindu Ranasinghe, Constantin Orasan, and Ruslan Mitkov. TransQuest: Translation Quality Estimation with Cross-lingual Transformers. In Proc. of COLING, pp. 5070-5081, 2020 .

[5] Marina Fomicheva, Shuo Sun, Lisa Yankovskaya, Frédéric Blain, Vishrav Chaudhary, Mark Fishel, Francisco Guzmán, and Lucia Specia. BERGAMOT-LATTE Submissions for the WMT20 Quality Estimation Shared Task. In Proc. of WMT, pp. 1010-1017, 2020.

[6] Akifumi Nakamachi, Hiroki Shimanaka, Tomoyuki Kajiwara, and Mamoru Komachi. TMUOU Submission for WMT20 Quality Estimation Shared Task. In Proc. of WMT, pp. 1037-1041, 2020.

[7] Jiayi Wang, Ke Wang, Boxing Chen, Yu Zhao, Weihua Luo, and Yuqi Zhang. QEMind: Alibaba's Submission to the WMT21 Quality Estimation Shared Task. In Proc. of WMT, pp. 948-954, 2021.

[8] Yimeng Chen, Chang Su, Yingtao Zhang, Yuxia Wang, Xiang Geng, Hao Yang, Shimin Tao, Guo Jiaxin, Wang Minghan, Min Zhang, Yujia Liu, and Shujian Huang. HW-TSC's Participation at WMT 2021 Quality Estimation Shared Task. In Proc. of WMT, pp. 890-896, 2021.

[9] Matthew Snover, Bonnie Dorr, Rich Schwartz, Linnea Micciulla, and John Makhoul. A Study of Translation Edit Rate with Targeted Human Annotation. In Proc. of AMTA, pp. 223-231, 2006.

[10] Nattapong Tiyajamorn, Tomoyuki Kajiwara, Yuki Arase, and Makoto Onizuka. Language-agnostic Representation from Multilingual Sentence Encoders for Cross-lingual Similarity Estimation. In Proc. of EMNLP, pp. 77647774, 2021.

[11] Yuto Kuroda, Tomoyuki Kajiwara, Yuki Arase, and Takashi Ninomiya. Adversarial Training on Disentangling Meaning and Language Representations for Unsupervised Quality Estimation. In Proc. of COLING, pp. 5240-5245, 2022.

[12] Brian Thompson and Matt Post. Automatic Machine
Translation Evaluation in Many Languages via Zero-Shot Paraphrasing. In Proc. of EMNLP, pp. 90-121, 2020.

[13] Marina Fomicheva, Shuo Sun, Lisa Yankovskaya, Frédéric Blain, Francisco Guzmán, Mark Fishel, Nikolaos Aletras, Vishrav Chaudhary, and Lucia Specia. Unsupervised Quality Estimation for Neural Machine Translation. TACL, Vol. 8, pp. 539-555, 2020.

[14] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, and Wei Wang. Language-agnostic BERT Sentence Embedding. In Proc. of ACL, pp. 878-891, 2022.

[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proc. of NAACL, pp. 4171-4186, 2019.

[16] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, undefinedukasz Kaiser, and Illia Polosukhin. Attention is All You Need. In Proc. of NIPS, pp. 5998-6008, 2017.

[17] Marina Fomicheva, Shuo Sun, Erick Fonseca, Chrysoula Zerva, Frédéric Blain, Vishrav Chaudhary, Francisco Guzmán, Nina Lopatina, Lucia Specia, and André F. T. Martins. MLQE-PE: A Multilingual Quality Estimation and Post-Editing Dataset. In Proc. of LREC, pp. 49634974, 2022.

[18] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proc. of NAACL, pp. 48-53, 2019.

[19] Angela Fan, Shruti Bhosale, Holger Schwenk, Zhiyi Ma, Ahmed El-Kishky, Siddharth Goyal, Mandeep Baines, Onur Celebi, Guillaume Wenzek, Vishrav Chaudhary, Naman Goyal, Tom Birch, Vitaliy Liptchinsky, Sergey Edunov, Edouard Grave, Michael Auli, and Armand Joulin. Beyond English-Centric Multilingual Machine Translation. Journal of Machine Learning Research, Vol. 22, No. 1, pp. 4839-4886, 2022.

[20] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-Art Natural Language Processing. In Proc. of EMNLP, pp. 38-45, 2020.

[21] Ilya Loshchilov and Frank Hutter. Decoupled Weight Decay Regularization. In Proc. of ICLR, 2019.

[22] Matt Post. A Call for Clarity in Reporting BLEU Scores. In Proc. of WMT, pp. 186-191, 2018.

[23] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised Cross-lingual Representation Learning at Scale. In Proc. of ACL, pp. 8440-8451, 2020.

[24] Yuqing Tang, Chau Tran, Xian Li, Peng-Jen Chen, Naman Goyal, Vishrav Chaudhary, Jiatao Gu, and Angela Fan. Multilingual Translation with Extensible Multilingual Pretraining and Finetuning. arXiv:2008.00401, 2020.


# 入力文と自然言語処理モデルの相性判定

野口 夏希
愛媛大学工学部
n_noguchi@ai.cs.ehime-u.ac.jp
}

梶原 智之
愛媛大学大学院理工学研究科
kajiwara@cs.ehime-u.ac.jp

## 概要

本研究では，入力文のみから自然言語処理モデル の出力品質を推定する手法を提案する. 機械翻訳を 主な対象とする既存の品質推定は, 入力文と出力文 の組から出力文の品質を推定する技術である. モデ ルによる出力文を必要とするため, 既存の品質推定 の手法はテキスト分類のタスクには適用できない.我々が提案する新たな品質推定の技術は入力文のみ を用いるため, 文の生成と分類の両タスクに対して 適用できる。また，対象タスクにおける自然言語処理モデルの実行が不要なため，大規模なコーパスに 対しても高速に文単位の品質推定を実施できる.

## 1 はじめに

深層学習の技術の発展に伴い，機械翻訳 [1] や感情極性分類 [2] など，多くの自然言語処理タスクの 性能が向上している. しかし, 全体的な性能が向上しているとはいえ，機械翻訳における流暢な誤訳 $[3,4]$ のように，個々の事例の中には依然として 大きな課題が残されている。そのため, 文単位での 品質推定の技術に大きな期待が寄せられている.

機械翻訳 [5] やテキスト平易化 [6] などのテキス 卜生成タスクにおいて研究されている文単位の品質推定は，入力文および出力文の文対が与えられ，出力文の品質を推定する. 入力文とともに出力文を用 いるため, 既存の品質推定の手法 $[7,8]$ は感情極性分類などのテキスト分類タスクには適用できない.本研究では，任意の自然言語処理タスクに対して 共通に適用可能な文単位の品質推定のフレームワー クを提案する. 提案手法は, 入力文のみから自然言語処理モデルの出力品質を推定する。つまり, 自然言語処理モデルを評価するのではなく，入力文が自然言語処理に適しているか否かを評価する。 入力文 のみを用いるため，提案手法は機械翻訳などのテキ スト生成タスクだけでなく，感情極性分類などのテ キスト分類タスクにも適用できる。また，対象タス

図 1 提案手法の概要

クにおける自然言語処理モデルの実行が不要なた め，大規模なコーパスに対しても高速に文単位の品質推定を実施できるという利点を持つ.

機械翻訳および感情極性分類のタスクを対象に，高品質な出力が期待できる入力文か否かの 2 値分類 として文単位の品質推定の評価実験を行った. 実験 の結果，タスクやドメインに依存せず， 7 割以上の 正解率で入力文のみから文単位の品質推定を実現で きた. また，高品質な出力が期待できると判定され た文集合と低品質な出力が予想されると判定された 文集合の間で，Transformer [1] または BERT [9]を用 いてタスクを解いた際の実際の出力品質を評価した ところ，機械翻訳においては最大で 14.6 ポイントの BLEU [10], 感情極性分類においては最大で 27.8 ポ イントの正解率という大きな差が見られ，提案手法 の有効性を確認できた。

## 2 提案手法

本研究では，所与の入力文に対して，高品質な出力が期待できるか否かの 2 值分類を行う品質推定器 を構築する. 本研究で提案する品質推定器は, 入力文と出力文の対から出力文の品質を推定する一般的 な品質推定器と区別するために，入力文と自然言語処理の相性を判定するものとして以降では相性判定器と呼ぶ. 提案する相性判定の概要を図 1 に示す.

## 2.1 データセットの作成

対象タスクのラベル付きコーパスを $2 つ^{11}$ 用意 し, 相性判定器を訓練するためのデータセット を構築する。はじめに，テキスト生成タスクであ れば Transformer [1]，テキスト分類タスクであれば BERT [9] など，対象タスクを解くための任意の自然言語処理モデルを用意し，一方のラベル付きコー パスを用いて訓練する。次に，他方のラベル付き コーパスを大力として，訓練済みモデルを用いて出力を得る。そして，テキスト生成タスクであれば BLEU [10]，テキスト分類タスクであれば正解率な ど，対象タスクに応じた任意の評価指標を用いて，出力の品質を自動評価する.この自動評価の結果に 基づき，各入力文に対して自然言語処理モデルとの 相性の良し悪しを 2 值でラベル付けし，相性判定器 を訓練するためのデータセットを構築する。

## 2.2 相性推定器の訓練

2.1 節で構築したデータセットを用いて，入力文 と自然言語処理の相性を判定する 2 值分類器を訓練 する. 相性判定器を使用する際には，相性が悪いと 判定された入力文は誤った出力につながる可能性が 高いため，人手で推敲し，再入力することを想定し ている.この推敲の作業も自然言語処理の技術を用 いて自動化したいが，これは今後の課題である.

## 3 実験設定

機械翻訳および感情極性分類の評価実験を行う。

## 3.1 データ

機械翻訳日本語およびドイツ語から英語への機械翻訳を行う．翻訳器を訓練するために，日英の言語対では $\mathrm{JParaCrawl}^{21}$ [11] の約 1,000 万文対，独英 の言語対では $\mathrm{WMT}^{3)}$ [12] の約 500 万文対を用いた.

相性判定器を訓練および評価するために，ドメイ ンの異なる複数の対訳データを用いた. 日英の言語対では，講演字幕の IWSLT [13] および Wikipedia の $\mathrm{KFTT}^{4)}$ を用いた. 独英の言語対では, 講演字幕 のIWSLT および Wikipedia の WikiMatrix [14]を用い

表 1 相性判定器の内的評価に用いたデータの件数

た. 相性判定のためのラベル付きコーパスを作成す るために，翻訳器の出力文を SentenceBLEU [10] に よって文単位で自動評価し，閾値 $\theta_{H}$ を上回る入力文を正例 (入力文と自然言語処理の相性が良い),閾値 $\theta_{L}$ を下回る入力文を負例（入力文と自然言語処理の相性が悪い）としてアノテーションした. 本実験では， $\theta_{H}=30 ， \theta_{L}=10$ として，表 1 の件数を 無作為抽出した.

感情極性分類 日本語の感情極性 2 值分類を行 う. 感情極性分類器を訓練するために，ACP コーパ ス $^{5}$ [15] の中から無作為抽出した 1 万文を用いる.

相性判定器を訓練および評価するために，同じく ACP コーパスを用いる. ただし, 分類器の訓練に用 いた文は相性判定器の訓練や評価には使用しない.相性判定のためのラベル付きコーパスは, 分類器の 出力ラベルが正解ラベルと一致する入力文を正例,一致しない入力文を負例としてアノテーションし，表 1 の件数を無作為抽出した.

## 3.2 モデル

機械翻訳 JoeyNMT ${ }^{6}$ [16] を用いて実装した翻訳器およびオンライン翻訳器である Google 翻訳7) の 2 種類の日英翻訳器を使用した. 前者の翻訳器は, 512 次元の埋込層および隠れ層を持つ 6 層 8 注意ヘッド の Transformer モデル [1]を訓練した. バッチサイズ を 4,096トークンとし，最適化手法には Adam [17]を 使用した. 前処理には SentencePiece ${ }^{8)}$ [18] の 1-gram 言語モデル（語彙サイズは 32,000 ）によるサブワー ド分割を行った.

感情極性分類 Wikipedia ${ }^{9}$ および SNS テキス ト10)を用いて事前訓練された 2 種類の日本語 BERT [9] を再訓練した. バッチサイズを 32 文とし,最適化手法には Adam を使用した。

相性判定 機械翻訳では，日本語とドイツ語の両方に対応するために，相性判定器として事前訓練さ れた多言語符号化器 XLM-RoBERTa ${ }^{11)}$ [19] を再訓練 した. 感情極性分類では，相性判定器として事前訓練された日本語 $\mathrm{BERT}^{9}$ )を再訓練した. バッチサイ ズを 32 文とし，最適化手法には Adam を使用した。

## 3.3 比較手法

相性判定のベースラインとして，Transformer [1] に基づくニューラル言語モデルのパープレキシティ を用いる。言語モデルのパープレキシティは，多く の品質推定モデル [5] において採用されている素性 のひとつであり，入力文のみから得られる品質推定素性の代表的なものである. 本実験では，翻訳器や 感情極性分類器の訓練に用いた訓練用コーパス上で ニューラル言語モデルを訓練し，間値を設定して相性判定の 2 值分類に使用した。なお，閾値は表 1 の 検証用コーパスにおける 2 値分類の正解率を最大化 するように設定した。

## 3.4 評価

相性判定器の性能を評価するために，2 種類の実験を行った. 内的評価として，表 1 の評価用コーパ スを用いて，相性判定の 2 値分類の正解率を評価し た. 外的評価として，表 2 の評価用コーパスを用い て，タスクごとの性能評価を行った。外的評価に用 いる評価用コーパスは，3.1 節においてサンプリン グする前の各タスクにおける評価用コーパス全体 である。機械翻訳の外的評価は，相性判定器によっ て分類された各文集合において BLEU [10] を評価し た.なお，BLEU の計算には SacreBLEU ${ }^{12)}$ [20]を用 いた. 感情極性分類の外的評価は, 相性判定器に よって分類された各文集合において感情極性分類の 正解率を評価した。

11) https://huggingface.co/xlm-roberta-base

12) https://github.com/mjpost/sacrebleu

## 4 実験結果

## 4.1 機械翻訳

表 3 に機械翻訳の実験結果を示す．相性判定の正解率に関する内的評価に着目すると，ニューラル言語モデルのパープレキシティに基づくベースライン 相性判定器が 6 割弱の正解率である一方で，我々の 相性判定器は 7 割を超える正解率を達成した.

BLEU に関する外的評価に着目すると，ニューラ ル言語モデルのパープレキシティに基づくベースラ イン相性判定器では相性が良いと判定された文集合 と相性が悪いと判定された文集合の間で BLEU の差 が最大で 2.7 ポイントしかなく, 入力文と翻訳器の 相性を充分に推定できていない。一方で提案手法で は，一貫して 10 ポイント以上の大きな BLEU の差 が見られるため，入力文と翻訳器の相性を良く推定 できている。特に，IWSLT における独英翻訳の設定 では，相性が良いと判定された文集合と相性が悪い と判定された文集合の間で 14.6 ポイントという顕著な BLEU の差を確認できた.

本実験では，日英および独英の 2 つの言語対を評価したり，言語対ごとに講演字幕および Wikipedia の 2 つのドメインを評価したり，IWSLT における 日英翻訳において JoeyNMT で実装した Transformer および Google 翻訳の 2 つの翻訳器を評価したりと，様々な設定で評価を行ったが，提案手法は全ての設定において 7 割強の正解率を達成し， 10 ポイント以上の顕著な BLEU の差を示した。これらの実験結果 から, 本研究で提案する相性判定器は, 言語・ドメ イン・翻訳器に依存せず，入力文と自然言語処理の 相性を高精度に推定できると言える。

## 4.2 感情極性分類

表 4 に感情極性分類の実験結果を示す. 相性判定 の正解率に関する内的評価に着目すると，ニューラ ル言語モデルのパープレキシティに基づくベースラ イン相性判定器が 6 割程度の正解率である一方で,我々の相性判定器は 8 割程度の正解率を達成した。

感情極性分類の正解率に関する外的評価に着目す ると，ニューラル言語モデルのパープレキシティに 基づくベースライン相性判定器では相性が良いと判定された文集合と相性が悪いと判定された文集合の 間で正解率の差が 4 ポイントしかなく，入力文と分類器の相性を充分に推定できていない。一方で提案
表 3 機械翻訳における実験結果

表 4 感情極性分類における実験結果

手法では， 27 ポイント以上の大きな正解率の差が見 られるため, 入力文と分類器の相性を良く推定でき ている。本実験では，Wikipedia および SNS という 訓練ドメインの異なる 2 つの BERT を用いて感情極性分類器を構築したが，提案手法は対象モデルに依存せず，入力文と感情極性分類器の相性を高精度に 推定できた。

## 5 おわりに

本研究では，自然言語処理モデルの出力品質を文単位で推定するために, 入力文と自然言語処理の相性を推定する 2 值分類のアプローチを提案した. 既存の品質推定の手法とは異なり, 入力文のみを使用 して出力品質を推定するため, 提案手法はテキスト 生成だけでなくテキスト分類のタスクにも共通に適用できる. また，対象タスクにおける自然言語処理 モデルの実行が不要なため，大規模なコーパスに対 しても高速に文単位の品質推定を実施できる.

評価実験の結果，機械翻訳においては 7 割強，感情極性分類においては 8 割程度の正解率で，入力文 のみから出力品質の高低を推定できた. また, 高品質な出力につながると推定した入力文集合と低品質 な出力につながると推定した入力文集合の間で，実際に出力品質を比較した結果，機械翻訳においては 10.2 ポイントから 14.6 ポイントという顕著な BLEU の差が確認でき，感情極性分類においては 27.2 ポイ ントから 27.8 ポイントという顕著な正解率の差が 確認できた. さらに，提案手法は入力文の言語やド メイン，対象の自然言語処理モデルに依存せず，入力文と自然言語処理の相性を良く推定できた。

今後の課題として, 本研究において低品質な出力 につながると推定された大力文に対して，具体的に どの語句を修正すべきなのかを特定する語句単位の 品質推定にも取り組みたい. また, 入力文の自動的 な前編集の技術も検討し, 自然言語処理モデルの利用者による推敲コストを削減したい。

## 謝辞

本研究は JST（ACT-X，課題番号: JPMJAX1907）， JSPS 科研費（基盤研究 B，課題番号：JP22H03651） および国立研究開発法人情報通信研究機構の委託研究（課題番号：225）による助成を受けたものです.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems, pp. 5998-6008, 2017.

[2] Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D. Manning, Andrew Ng, and Christopher Potts. ecursive Deep Models for Semantic Compositionality Over a Sentiment Treebank. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1631-1642, 2013.

[3] Zhaopeng Tu, Yang Liu, Zhengdong Lu, Xiaohua Liu, and Hang Li. Context Gates for Neural Machine Translation. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 87-99, 2017.

[4] Mengqi Miao, Fandong Meng, Yijin Liu, Xiao-Hua Zhou, and Jie Zhou. Prevent the Language Model from being Overconfident in Neural Machine Translation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, pp. 3456-3468, 2021.

[5] Lucia Specia, Carolina Scarton, and Gustavo Henrique Paetzold. Quality Estimation for Machine Translation. Synthesis Lectures on Human Language Technologies, Vol. 11, No. 1, pp. 1-162, 2018.

[6] Sanja Štajner, Maja Popovic, Horacio Saggion, Lucia Specia, and Mark Fishel. Shared Task on Quality Assessment for Text Simplification. In Proceedings of Shared Task on Quality Assessment for Text Simplification, pp. 22-31, 2016.

[7] Fabio Kepler, Jonay Trénous, Marcos Treviso, Miguel Vera, and André F. T. Martins. OpenKiwi: An Open Source Framework for Quality Estimation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 117-122, 2019.

[8] Tharindu Ranasinghe, Constantin Orasan, and Ruslan Mitkov. TransQuest: Translation Quality Estimation with Cross-lingual Transformers. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 5070-5081, 2020.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 41714186, 2019.

[10] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: a Method for Automatic Evaluation of Machine Translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[11] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A Large Scale Web-Based English-Japanese
Parallel Corpus. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 36033609, 2020.

[12] Ondřej Bojar, Rajen Chatterjee, Christian Federmann, Yvette Graham, Barry Haddow, Shujian Huang, Matthias Huck, Philipp Koehn, Qun Liu, Varvara Logacheva, Christof Monz, Matteo Negri, Matt Post, Raphael Rubino, Lucia Specia, and Marco Turchi. Findings of the 2017 Conference on Machine Translation. In Proceedings of the Second Conference on Machine Translation, pp. 169-214, 2017.

[13] Mauro Cettolo, Marcello Federico, Luisa Bentivogli, Jan Niehues, Sebastian Stüker, Katsuhito Sudoh, Koichiro Yoshino, and Christian Federmann. Overview of the IWSLT 2017 Evaluation Campaign. In Proceedings of the 14th International Conference on Spoken Language Translation, pp. 2-14, 2017.

[14] Holger Schwenk, Vishrav Chaudhary, Shuo Sun, Hongyu Gong, and Francisco Guzmán. WikiMatrix: Mining 135M Parallel Sentences in 1620 Language Pairs from Wikipedia. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics, pp. 1351-1361, 2021.

[15] Nobuhiro Kaji and Masaru Kitsuregawa. Automatic Construction of Polarity-Tagged Corpus from HTML Documents. In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 452-459, 2006.

[16] Julia Kreutzer, Jasmijn Bastings, and Stefan Riezler. Joey NMT: A Minimalist NMT Toolkit for Novices. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP): System Demonstrations, pp. 109-114, 2019.

[17] Diederik P. Kingma and Jimmy Lei Ba. Adam: A Method for Stochastic Optimization. In Proceedings of the 3rd International Conference for Learning Representations, 2015

[18] Taku Kudo and John Richardson. SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[19] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised Cross-lingual Representation Learning at Scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, 2020.

[20] Matt Post. A Call for Clarity in Reporting BLEU Scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, 2018.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# テキスト・画像による情報消化効率のメディア別構成因子抽出

小池 央晟 ${ }^{1}$ 早矢仕 晃章 ${ }^{2}$
1,2東京大学 工学部 システム創成学科
${ }^{1}$ koike-hiroaki-uts@g. ecc. u-tokyo. ac. jp
${ }^{2}$ hayashi@sys. t. u-tokyo. ac. jp

## 概要

情報通信技術の発展と普及は一度に発信可能な情報量の増大と多様化をもたらした.しかし, 情報量の 増大や情報の取捨選択が必ずしも情報の理解を促進 する訳ではない. また, 従来の情報伝達評価では受信者への到達までが対象であり, 本来の目的である 受信者の情報取得後の理解は十分に考慮されてこな かった. 本研究では受信者が取得した情報, その内容及び趣旨を正しく理解することを指す“情報の消化”概念を提案する. 実験では，階層的因子分析を用 いて情報の消化効率の評価モデルを提案し，メディ ア別に消化しやすさを構成する因子を抽出した.

## 1 はじめに

情報伝達の工学的評価には, 通信技術の比較を目的として情報伝播モデル等が用いられてきた. 近年,個々の情報の伝達力評価も試みられている 11$]$ が, そ の主目的は情報が取得されやすくなる度合いの定量評価であり, 情報の到達を目的とする課題の解決に は力点が置かれていない. 情報量の増加に伴う課題 [2]に対応するには受信者による情報の内容/趣旨の 正しい理解を含めた定量評価方法が求められる.

一方, 情報取得後の理解は教育心理学分野[3]で研究され, 既存知識と新規情報理解の間には強い相関関係があることが分かっている.しかし, 事前知識 が形成する概念フレームワークの変化の正答率等を 計測する手法が主であり，情報自体の性質やメディ アの差異による情報理解の分析は十分ではない. 実社会における情報伝達の議論には, 情報自体の性質 から情報の受信者・発信者各位との関係性を踏まえ た分析と定量的な評価モデルが喫緊の課題である.

本研究のゴールは, 情報発信者の趣旨・意図から 受信者がそれを理解するまでを含めた情報伝達のプ ロセス全体の情報伝達効率の定量評価手法の構築で ある.この定量評価にあたり, まず本論文では受信者が取得した情報, その内容及び趣旨を正しく理解
することを指す“情報の消化”概念を提案する．実験 では, 階層的因子分析を用いて情報の消化効率の評価モデルを提案し，メディア別に消化しやすさを構成する因子を抽出した。

## 2 提案手法

## 2. 1 情報の消化

本研究ではファジィな概念である情報の中でも 「発信後・受信者が理解する過程で変更されず， 1 回の発信で完結する」ものを研究対象とした. すな わち, 複数回の質疑応答を重ねて理解を深めるよう な情報伝達や, 受信者が情報を閲覧中に五月雨式に 情報が追加されていくような情報は対象に含まない， つまり，連続するチャットイスレッド形式での情報発信やテレビのニュース番組等の動的な情報発信は 含まない.これらは時間連続的・群的な境界が定ま らず，定量評価が困難であるためである.

情報の消化とは, 受信者が取得した情報及び情報 の内容・趣旨を正しく理解することを指す. ある情報の受信者への到達と, 受信者の実際の理解とは区別される.

## 2. 2 情報の消化効率定量評価モデル

情報の消化の概念の導入により，ある情報を相手 に伝え理解してもらうという情報伝達の本来の目的 を踏まえた情報伝達効率の評価が可能となる. 情報 の消化効率 $(\rho)$ を式(1)で表す. $\omega_{\text {group }}(i)$ は番目のグ ループ因子の信頼度, $F_{i}$ がデータの変動を説明でき る割合のうち一般因子の影響を排した割合を指す. そして, 各グループ因子の評価を $\operatorname{ev}\left(F_{i}\right)$ と表す.

$
\rho=\sum_{i} \frac{\omega_{\text {group }}(i) \cdot \operatorname{ev}\left(F_{i}\right)}{\sum_{j=0}^{n} \omega_{\text {group }}(j)}
$

これに因子分析で抽出されたグループ因子を適用 すれば，メディア別の定量評価式となる. すなわち， 3.2 節で後述する 4 件のメディア $\mathrm{A}:$ オンラインニュ 一ス記事, B: オンライン広告, $\mathrm{C}$ : ネットショッピン

グ（EC サイトの商品ページ）, D: 論文ルポートに 対し, 以下の式(2)が得られる.

$
\begin{aligned}
& \rho(A)=\operatorname{ev}(\text { 親密性 }) \cdot 0.272+\operatorname{ev}(\text { 未開拓性 }) \cdot 0.360 \\
& +\mathrm{ev}(\text { 簡潔性 }) \cdot 0.378 \\
& \rho(B)=\operatorname{ev}(\text { 網羅性 }) \cdot 0.384+\operatorname{ev}(\text { 未開拓性 }) \cdot 0.360 \\
& +\operatorname{ev}(\text { 簡潔性 }) \cdot 0.378 \\
& \rho(C)=\operatorname{ev}(\text { 親密性 }) \cdot 0.272+\operatorname{ev}(\text { 簡潔性 }) \cdot 0.312 \\
& +\mathrm{ev}(\text { 結論へのアクセス性 }) \cdot 0.304 \\
& \rho(D)=\mathrm{ev}(\text { 説明可能性 }) \cdot 0.557+\mathrm{ev}(\text { 簡潔性 }) \cdot 0.443 \\
& \text { なお式中の各グループ因子 }\left(F_{i}\right) \text { の評価について }
\end{aligned}
$

は, 各因子を支える観測変数を参考に情報がどれ程 その性質を備えているかを 0 1 の值で複数名による 主観評価を行い，平均値を採用する。

## 3 実験

## 3.1 目的

本研究の目的は, 情報の消化効率の定量評価モデ ルの提案と評価である. そのため, 実験では 4 件の メディアを対象に 22 件の観測変数に対して 6 段階 の評価データを取得した. このデータを用いて階層的因子分析を行い, 情報の消化に影響する要素, 要素間の関係の計測・モデル化及び検証を行った.

## 3.2 データ取得

情報伝達を情報自体の性質, 情報と発信者の関係,情報と受信者の関係の 3 要素を軸に, 11 件の特徴を 選出した. そして, 「メイントピックで説明・述べら れている人/もを既に知っている」，「メイントピ ックで説明・述べられている人/ものへの事前知識や 先入観がない」といった反対の意味を成す組を一対 とし, 22 件の観測変数を作った（表 1）.これは, 反対の意味を成す特徴は, 必ずしも情報の消化に真逆 の影響をもたらすとは限らないという仮説に基づく。「色やデザインによる装飾がある」という特徴に対 し，「非常にそう思う」と評価されても，逆の意味で ある「色やデザインによる装飾がない」への評価は 「どちらかといえば逆効果だと思う」と評価される 可能性がある. 実験では, 各特徴について対となる 質問を行うことで, 情報の消化に真逆の影響をもた らすとは限らないということを確認する。

実験では, A : オンラインニュース記事, B : オンラ イン広告, $\mathrm{C}$ : ネットショッピング ( $\mathrm{EC}$ サイトの商品ページ), $\mathrm{D}$ : 論文/レポートの代表的な 4 件の情報伝達媒体 (メディア) を対象とした. 続いて, 調査会社プラグのモニター 16,000 人に予備調查を行い，一定以上のメディア接触頻度の実験参加者を収集した。最終的に A, B, Cを 400 件, Dを 100 件取得するアン ケート調査を実施した.アンケートでは回答者には 「（メディア名）について, 以下にあげたような特徵があると，その情報が理解しやすく，後で誰かに 伝えられるようになりやすいですか」と質問し, 各特徴が情報の消化しやすさに与える影響について 「非常にそう思う」〜「非常に逆効果だと思う」の 片側 3 段階, 計 6 段階で自己評価してもらった.

## 3.3 階層的因子分析（SEM 分析）

分析ではメディア別に情報の消化に影響する因子 を抽出した. 分析手法には因子分析と重回帰分析を 組み合わせた SEM 分析を用いた. SEM 分析は因子間の階層構造を検証できる。モデルには，全観測変数に影響を及ぼす一般因子 $(g)$ と, 特定の観測変数 のクラスターに影響を及ぼすグループ因子 $\left(F_{i}\right)$ の 2 層によって説明する双因子モデルを用いた[4]. 一般因子は測定対象の広範で全体的な構成概念として, グループ因子はその下位領域の狭い構成概念として 抽出されるため, 階層性やグループ因子の独立性を 検証できる. 分析では因子数を仮定して与え, 以下 の評価指標の結果に基づき検討する[5].
- 内的整合性 : $\omega_{\text {total }}$
- 一次元性: ECV
- 適合度: fit
- $i$ 番目のグループ因子の信頼度: $\omega_{\text {group }}(i)$
- 一般因子の信頼度: $\omega_{\text {general }}$

$\omega_{\text {total }}$ は一般因子が変動の何割を説明できたかを 示す. ECV (Explained Common Variance) は, 共通因子で説明される分散を因子全体が説明できる割合

（\%）を示し，適合度はモデルのデータへの当ては まりの良さを示す. また $\omega_{\text {general }}, \omega_{\text {group }}(i) は \omega_{\text {total }}$ の内, 一般因子, $i$ 番目のグループ因子の信頼度によ ってそれぞれ説明される度合いを表す。

本実験ではこれらの指標を用いて最終的な因子数 を決定し, モデルの階層性や, 因子と各観測変数と の関連の強さを示す因子負荷を参照しつつ各因子が 表す概念を解釈する. なお本研究の特徴として, 同一の観測変数群の利用により他メディア間の比較も 可能なため,メディア間での比較も行いつつ因子を 解釈した。
表 122 件の観測変数

## 4 結果と考察

分析の結果，グループ因子数は $\mathrm{A}: 3$ 件, $\mathrm{B}: 3$ 件, $\mathrm{C}: 3$件, D: 2 件となった. A, B, C で因子数 4 以上の場合, $\omega_{\text {total }}$ が 0.6 以上と大きい因子が観測された. つまり， この因子の $60 \%$ 以上が一般因子により二次的に説明できることとなり，独立性が低いと判断した。ま た A, C では $\omega_{\text {group }}$ の值が 0.1 未満となるような独立性の低いグループ因子も確認されたため, 因子数 4 以上は不適と判断した.

評価指標に注目すると, $\omega_{\text {total }}$ は全メディアで 0.9 以上と, 推定したモデルにより 9 割以上の観測変数 の変動を説明できた。 また ECV は D 以外では 0.4 前後と低い值となった. D のみ 0.6 以上と比較的高く,一般因子の消化しやすさへの影響が大きいことが分 かった。なお，グループ因子に対し広範な概念を指 す一般因子が説明する割合が高くなったことで, 適合度も大きく算出されたからであると考えられる。

以上を踏まえた因子の最終的な解釈結果が図 4 で ある. まずオンラインニュース記事 (A) のグループ 因子は親密性, 未開拓性，簡潔性である．親密性は情報に対する事前知識の多さ，未開拓性は情報に対 する事前知識・先入観の無さ, 簡潔性は要点が集約度や要点以外の要素の少なさをそれぞれ意味する。 また因子負荷が大きい観測変数群から，一般因子は 未開拓性と他メディアでも抽出された網羅性を内包 する概念だと解釈される。したがって，共通する情報量の多さを指す充実性とした。また，親密性と未開拓性は定義や構成する観測変数群から正反対の因子だと分かる．ただし，これは矛盾ではなく，専門家であることと事前知識がないことは共に消化しや すさに寄与することを示していると考えられる. す なわち, 中途半端な知識の所持が最も消化効率が悪 い状態と見なされていると言える。なお， $\omega_{\text {total }}$ は親密性の方が高く，消化しやすさへの寄与は大きい， ただし， $\omega_{\text {general }}$ や因子負荷未開拓性の方が一般因子の影響が少ないため，一般因子の影響を除けば，未開拓である方が親密であるより望ましいと言える. オンライン広告 (B) のグループ因子は網羅性, 簡潔性，結論へのアクセス性であった.いずれも抽出 した因子の $\omega_{\text {total }}$ は概ね同程度だったが，最も高か ったのは情報の項目やタイプ・補足情報の豊富さを
指す網羅性だった. 次に簡潔性, 結論へのアクセス 性と続いた. 簡潔性の構成要素は概ね $\mathrm{A} の$ 同名因子 と構成要素が概衩同じとなった. 要点の理解しやす さを示す結論へのアクセス性は親密性に類似してい るが，情報の集約性を指す観測変数の因子負荷も高 く, 他の因子として解釈した。また構成要素から，親密性・簡潔性の共通項である消化コストの低さを 一般因子の解釈として採用した. B では結論や要点・ その説明が多方面かつ多様な形で，かつ簡潔に説明 されていると最も消化しやすいと考えられる。

オンラインショッピング (C) のグループ因子は概初 A と一致したが， $\omega_{\text {total }}$ がほぼ均一という違いが あった. 一般因子は A と異なり網羅性・親密性を包括するため，より多くのニッチなニーズに応えられ るという意味で充足性とした. なお, A 同様に親密性・未開拓性が抽出されたが, C では $\omega_{\text {total }}$ の差は軽微で, $\omega_{\text {group }}$ は未開拓性の方が高く, 一般因子に関 わらず消化しやすさへの寄与が大きい. すなわち, C では多様な情報が含まれつつも個々は簡潔に整理さ れていることが望ましく, またトピックや説明には 親密である万が良いが, 中途半端な知識よりは事前知識がない方が消化効率は良いと言える。

最後に論文/レポート (D) では, 説明可能性, 簡潔性が抽出された. 説明可能性は結論に至るまでの経緯や背景の妥当さ・理解しやすさを指す. また簡潔性は上記 3 メディアと共通で, 全メディアで抽出さ れた唯一の因子となった. これら 2 因子は他メディ アと比較して $\omega_{\text {total }}$ の値が大きく, 設定する因子数 の少なさから関連の大きい観測変数も多かった.こ れはDの適合度の高さに寄与していると考えられる。 なお一般因子は被読了性と解釈した. この因子との 関連の強さが上位の観測変数は未開拓性の構成要素 に類似しているが，因子負荷が $0.60 \sim 0.70$ と A や $\mathrm{C}$ よりも大きい. また 2 つのグループ因子の $\omega_{\text {general }}$ の 值はそれぞれ $0.57,0.65$ と比較的高く, 一般因子と相関は高い.したがって, 未開拓性・説明可能性・簡潔性の全てが高い状態を包括する概念として解釈した.以上から, D は結論や新規性が分かりやすく, その 論旨展開や背景も含めて滞らずに一読できることが 望ましいと分かった. これは論旨展開や背景等に重 きが置かれるという D の特徴と直感的にも反しない.他メディアよりも情報伝達の役割が明確で, 発信者・受信者間で前提として成立しているため, 適合度が大きくなったと考えられる。

## 5 まとめ

本研究では,定量評価モデルと階層的因子分析の 導入により, 共通の観測変数群よりメディア別に消化しやすさを構成する因子を抽出し，メディア内の 共通要素やメディア間の共通因子の存在が示唆され る結果を得た.メディアごとに評価項目は個々に異 なるものの, 無秩序な情報量の増大は情報伝達本来 の目的に対し共通して好ましくないことが分かった. また論文/レポートの適合度の高さに見られるよう に,メディアの伝達目的が発信者・受信者間で明確 だと個々人の消化しやすさの指標のばらつきが収束 する可能性が示唆された。

## 謝辞

本研究の一部は, 株式会社メルカリ R4D と RIISE との共同研究である価値交換工学及び科研費 JP20H02384 の成果です. アンケート調査にて協力頂いた株式会社プラグの皆様にここに感謝します.

## 参考文献

[1] AI を活用した魅力工学とそのビジネス応用, 山崎俊彦: 信学技報, Vol.118(454), SWIM2018-26, pp.31, 2019.

[2] The Concept of Information Overload, Martin J. Eppler, Jeanne Mengis: A Review of Literature from Organization Science, Accounting, Marketing, MIS, and Related Disciplines, The Information Society, Vol. 20(5), 2004.

[3] The Multidimensional Knowledge in Text Comprehension framework, Kathryn S. McCarthy, Danielle S. McNamara: Educational Psychologist, Vol.56(3), 2021.

[4] 双因子モデルを用いた WISC-IV の因子構造の研究 -海外における研究動向と日本版の予備的分析-,小野島昂洋: 早稲田大学大学院教育学研究科紀要別冊 27 号(2), 2020.

[5] Your Coefficient Alpha Is Probably Wrong, but Which Coefficient Omega Is Right? A Tutorial on Using R to Obtain Better Reliability Estimates, David B. Flora: Advances in Methods and Practices in Psychological Science, 2023.


# 参照例を使わないキャッチコピーの自動評価

新保彰人 山田宽章徳永健伸
東京工業大学 情報理工学院
\{shimbo.a.aa@m, yamada@c, take@c $\}$.titech.ac.jp

## 概要

広告文の一種であるキャッチコピーの人手による オフライン評価は高コストである. キャッチコピー の自動生成研究の迅速化・効率化のためには自動評価器が必要となる. 自動評価器の構築のために必要 なデータセットが現存しないため, 日本語としては 初となる 23,641 件のキャッチコピーとその評価值 から成るデータセットを構築した. このデータセッ 卜を利用して BERT と対照学習を用いた参照例を 必要としない評価機を構築し，評価実験を行った結果，テストデータの評価値に対する相関係数が平均 で 0.28 を超えた. 対照学習を用いない学習との比較も行い，対照学習の有用性を確認した.

## 1 はじめに

近年，インターネット広告市場の拡大が著しい。総務省によると 2021 年には世界のデジタル広告の 市場規模は 39 兆 396 億円となり前年比で $32.7 \%$ 増 であった. 日本についてもインターネット広告の市場規模は 2 兆 7,052 億円となり，テレビ・新聞・雑誌・ラジオのマスコミ 4 媒体の合計を初めて上回っ た [1].このような背景からインターネット広告に おける広告文生成の需要は高まっていると考えら れる。

キャッチコピーは広告文の一種であり，人々の注目を引き商品の魅力を簡潔に伝えるための宣伝文句である。例えば株式会社日清食品の「すぐおいし い、すごくおいしい」1)や. 株式会社大塚製薬の「そ れは小さな栄養士。」2)などが挙げられる.

キャッチコピーはその他の広告文と比較して 評価が難しいことが知られている。村上ら [2] は 「キャッチコピーは見る人の印象に残ることを主な 目標として使用されるため. 検索連動型広告やディ スプレイ広告と異なり，広告効果の定量化が困難な

1) https://www.chickenramen.jp/about/

2) https://www.otsuka.co.jp/cmt/cm/性質を持つ.」という点を指摘している。広告文の評価方法はオンライン評価とオフライン 評価に大別され，オフライン評価はさらに人手評価 と自動評価に大別される。オンライン評価は実際に 広告を配信し。広告のクリック率や収益率を評価尺度として利用する。そのため，オンライン評価は広告文に対する評価を収集するのに時間がかかるデメ リットがある。一方でオフライン評価は広告文を配信せずに行う。人手評価は人間が広告文に対して付 けた評価を評価尺度として用いる。このため，オン ライン評価と同様に実施に時間がかかるデメリット がある。一方で自動評価は人手を介さずに評価を行 うため実施に時間がかからない利点がある．より質 の良い広告文生成器を開発するためには効率良く学習と評価のサイクルを回す必要があり，そのために 広告文の自動評価は不可欠である。

広告文生成の研究において，生成文の自動評価と しては BLEU，ROUGE，METEOR，CIDEr が用いら れることが多い [3]. しかし，これらの評価手法は 参照文を必要とし，その参照文をあたかも「正解」 の広告文として扱ってしまう問題がある．参照文を 必要としない自動評価手法として，事前学習済みの 汎用言語モデルのパープレキシティを評価尺度とし て用いるもの [4] があるが，汎用ドメインで学習さ れたモデルでは，文としての妥当性は評価できるが 広告文としての質を評価できないと考えられる。

広告文生成の研究に関わる課題として村上ら [2] は「共通データセットの拡充」を挙げている。実際， パブリックに利用可能なキャッチコピーコーパスは 我々が知る限りでは存在しない。本研究では，ウェ ブスクレイピングによってキャッチコピーコーパス を作成し，そのデータセットを用いて参照文を必要 としないキャッチコピー評価器を構築する。

## 2 関連研究

花野ら [5] は RoBERTa を用いた俳句の評価器を提案している．ただし，花野らの研究では俳句の質の
評価というよりは，俳句とみなせる文とみなせない 文の識別を行なっている.

丹羽ら [3] は宣伝会議が出版しているキャッチ コピー集 SKAT に収録されているキャッチコピー 91,682 件を分析し，キャッチコピーの平均文字数が 18.91 文字であることやキャッチコピーに使われる 文字種の割合を分析している.

黒木ら [6] は複数の指定語句を必ず含むリスティ ング広告文の生成手法を提案している. リスティン グ広告とは検索エンジンの検索結果画面に表示され る広告のことである. 黒木らの研究では生成文の評価は BLEU, ROUGE-1, ROUGE-2の 3 つで行なって いる. また, Chao らの研究 [4] では広告文生成器の 評価を Pairwise-BLEU とパープレキシティで行なっ ている.

## 3 データセット

## 3.1 コピラ

キャッチコピーのデータセットを作成するため にコピラ [7]を利用した. コピラは東京コピーライ ターズクラブ（TCC）が提供しているコピー検索 ツールである.コピラにはキャッチコピーだけで なく，テレビやラジオの CM のセリフ書き起こし なども収録されている。そのようなものを除外し， キャッチコピーとして適切なものだけを収集する ため，掲載媒体が「新聞・ポスター・雑誌・パンフ レット・その他」のいずれかに該当するものを収集対象とした。

コピラに収録されているコピーにはキャッチコ ピーの他に, 広告本文に相当するボディコピーを含 むとみなせるコピーも含まれ，平均文字数は 53.2 文字で最大文字数は 3,359 文字である。一方で，コピ ラの検索結果一覧に表示されるテキストの平均長は 21.8 文字であり丹羽らの分析による 18.91 文字と近 い. このため, 本研究ではコピラの検索結果一覧画面に表示されるテキストをキャッチコピーとみなし て収集した。

収集したキャッチコピーは 24,331 件である. 収集したキャッチコピーには改行文字やタブ文字が 含まれる場合があり，それらはすべて半角スペース に置換した. スクレイピングに利用したコードは GitHub リポジトリ3)で公開予定である. キャッチコピー評価器のためのデータセットに

は，キャッチコピー及びその評価が収録されている 必要がある.キャッチコピーの評価は広告の対象・表現・世情をはじめ様々な観点を総合的に判断する ものであるため，専門的知識を有する者がキャッチ コピーに対して評価を付与することが望ましいが，新規に評価を行うことは時間的・金銭的な面で困難 である. そこで，コピラ上で参照可能な受賞情報を 活用する.コピラで収集したキャッチコピーには， テキストそのものに加えて受賞情報が付与されてい る. 受賞情報の種類と件数は表 1 に示す.

本研究では受賞情報をキャッチコピーの質的尺度 の一種として捉え，各キャッチコピーに対するスコ アとして用いる. 受賞情報とスコアを表 2 のように 対応させ，順序を与える．スコアは高い方がキャッ チコピーの質が高いことを意味する。コピラに収録 されているキャッチコピーの多数を占める受賞な し作品を基準スコアの 0 と設定し, 各賞の受賞作品 にスコア 2 を割り当てた。なお，「ファイナリスト」 と「ノミネート」は TCC 賞の最終選考まで残ったも のの受賞はしなかった作品であることから, 受賞作品と受賞なし作品の中間であるスコア 1 を割り当て た.また，新人賞は以前に TCC 賞を受賞したこと がないコピーライターを対象として選考される賞で あることから，新人賞以外の各賞との区別のために スコア1を割り当てた。
表 2 に各スコア毎のキャッチコピー数を示す.表 1 と表 2 で件数が一致しないのは，表 2 では キャッチコピーの重複を除いてカウントしているた めである.

表 2 受賞情報とスコアの対応

 & 1 & 2,952 \\

## 4 実験設定

ベースラインモデルとしてランダム，パープレキ シティ，SVRを用いた実験，さらにBERTを用いた 回帰モデルと対照学習を利用したモデルでの実験 を行う。データセットは各スコアのキャッチコピー の件数が等量になるように 1,613 件に揃えて実験す る. データセットは学習データ 3,871 件, 検証デー タ 484 件，テストデータ 484 件に分割した.

## 5 実験

## 5.1 Random

ランダムに $0,1,2$ を出力するモデルをべースライ ンとして用意した.

## 5.2 Inverse Perplexity

2つ目のベースラインとして rinna 株式会社が公開している日本語 GPT2[8] のパープレキシティの逆数 $P P L_{i n v}(X)$ をキャッチコピーの評価として実験す る. パープレキシティの逆数は次の式で計算する。

$
P P L_{i n v}(X)=\exp \left(\frac{1}{t} \sum_{i}^{t} \log p\left(x_{i} \mid x_{0: i-1}\right)\right)
$

ただし， $X$ は入力文字列， $t$ は入力テキストのトー クン長, $x_{i}$ は $X$ の $i$ 番目のトークン, $p\left(x_{i} \mid x_{0: i-1}\right)$ は トークン列 $\left.\{x_{0}, x_{1}, \ldots x_{i-1}\right.\}$ の次に言語モデルがトー クン $x_{i}$ を出力する確率を表す. $P P L_{i n v}(X)$ の計算に 使用する言語モデルが十分に流暢であると仮定する と, $P P L_{i n v}(X)$ は大きいほど $X$ が流暢な文であるこ とを意味する。流暢性のみによってキャッチコピー の評価が実施可能であるかどうかを検証するため， $P P L_{i n v}(X)$ をキャッチコピーの評価のベースライン として採用した。

## 5.3 SVR

独自に定義したキャッチコピーの特徴量を入力と して SVR[9] で学習する. 抽出した特徴量は，「数字 を含む」，「3・5・7のいずれかを含む」，「疑問文であ る」，「オノマトぺを含む」，「断定表現である」，「体言止めである」，「ひらがなの割合」，「カタカナの割合」，「漢字の割合」，「文字数」の 10 種類である. そ れぞれの特徴量のデータタイプは表 4 に示す.

抽出する特徵量の選定については弓削の書籍 [10] を参考にし，キャッチコピーの質に強い影響を及ぼ すと思われるものを選んだ。「オノマトぺを含む」 の判定はウェブ上で公開されている擬音語・擬態語辞典 [11] に収録されているオノマトぺを含むかどう かに基づいた.

カーネルは線形カーネルとしパラメータは $C=0.1, \epsilon=0.01$ とした.

## 5.4 BERT Regression

BERT Regression では，キャッチコピーを入力と し BERT の CLS トークンに対応する最終層に線形層を付け加えて得られたスカラーをスコアの予測値 として学習する. 正解のスコアを $s$ とし，モデルの 出力を $p$ とする. 損失関数は

$
L_{M S E}=(p-s)^{2}
$

で計算する．BERTの事前学習済みモデルは東北大学が公開しているモデル [12]を利用し，学習率 は $1 e-03$ ，バッチサイズは 64 ，エポック数は 100 , tokenizer の max_length は 200 で実験を行なった. 各 エポックごとに検証データでモデルを評価して，そ の評価値が最も良かったエポックのモデルを使って 学習後にテストデータでの評価をした。

## 5.5 BERT Contrastive

BERT Contrastive では，2つのテキストを入力とし て対照学習を行う. モデル構造は BERT Regression と同じである. 入力テキストを $t_{1}, t_{2}$ とし，それぞれ に対するモデルの出力を $p_{1}, p_{2}$ とし，正解のスコア を $s_{1}, s_{2}$ とする. このとき $s_{1}>s_{2}$ となるように入力 データを作る．損失関数は

$
L_{M R}=\max \left(0, m-\left(p_{1}-p_{2}\right)\right)
$

で計算する。ただし $m$ はマージンを表すハイパーパ ラメータである。ここで，正解スコア $s_{1}, s_{2}$ を使わ ずに損失関数を計算していることに留意されたい。
本実験では $m=1$ とし, エポック数は 10 で行なっ た. その他のハイパーパラメータと利用した BERT の事前学習済みモデルは BERT Regression と同じで ある。

## 5.6 評価

モデルの評価はテストデータにおける，モデルの 予測スコアと正解スコアの積率相関係数で行う.

## 6 結果と考察

実験結果を表 3 に示す. Random, BERT Regression，BERT Contrastive は 5 回ずつ実験を行い，他は 1 回のみ実験を行った. 5 回行った実験には平均の 相関係数を示し，標準偏差も示す。

Inverse Perplexity は相関係数が -0.032 となった. これはキャッチコピーの評価として事前学習済み言語モデルのパープレキシティを用いることが不適で あることを示唆している.この理由として，キャッ チコピーとして成立している時点でそのテキスト にはある程度の流暢性があり, それ以上の流暢性は キャッチコピーの質に影響を及ぼさないためだと 考えられる. さらに, Inverse Perplexity より SVR の 方が良い結果を示したことから，流暢性よりも「文字数」や「オノマトペを含む」などの特徴の方が キャッチコピーの質に大きな影響を及ぼすと考えら れる.

BERT Regression はほとんど相関が無い結果とな り，ニューラルモデルを用いないSVR よりも相関係数が劣る結果となった. 一方，BERT Contrastive では平均相関係数が 0.28 を超え, 弱い相関があると みなせる水準に達した. BERT Contrastive の精度が BERT Regression よりも高かった要因として, BERT Contrastive は 2 つのテキスト間の相対的な評価を学習しているという点が挙げられる. 本研究で扱って いるキャッチコピーの評価というタスクにおいて は，メタ評価指標として積率相関係数を利用してい るため, 評価器がスコアラベルの値自体を再現する ことよりもスコアラベルの相対的な差を再現するこ
との方が本質的な意味を持つ. このため，スコアラ ベルの値をそのまま予測する BERT Regression より も，相対的な差を学習する BERT Contrastive の方が 高い精度を記録したと考えられる。

## 7 おわりに

本研究ではウェブスクレイピングによりキャッ チコピーコーパスを作成した. さらに評価器の学習 における対照学習の有用性を確認し, 参照文を必要 としないキャッチコピー評価器を提案した. 今後の キャッチコピー生成の研究において, 生成文や生成器の評価指標として広く利用されることを期待す る. 加えて本研究では事前学習済み言語モデルの パープレキシティをキャッチコピーの評価指標と して利用することが不適であることを指摘した. な お実験に使用したソースコードは GitHub リポジト リ4)で公開予定である.

今後の課題としては次の 3 つの方向が考えられ る. 1 つ目は広告対象の商品情報を考慮したキャッ チコピー評価器の開発である.キャッチコピーは文脈に依存したものが多く，人間がキャッチコピーの 質を評価する際にも商品情報と照らし合わせて評価 していると考えられる. 従って商品情報を考慮した キャッチコピー評価器は，より高い精度を実現でき ると期待される. そのようなキャッチコピー評価器 の開発には商品情報とキャッチコピーがセットに なったコーパスの構築が必要となる.

2 つ目は修辞技法を考慮したキャッチコピー評価器の開発である. キャッチコピーには比喻, 反復, 対句のような修辞技法を用いたものが多く存在 する. 例えば，丹羽ら [3] の分析によると 17.9\%の キャッチコピーが比喻を用いていて，10.6\%は対句 を用いている。修辞技法はキャッチコピーの質を左右する重要な要素であり, 修辞技法を考慮すること でより精度高い評価器を実装できると期待される。

3つ目はキャッチコピー以外の広告文への応用で ある. 広告文生成の研究はキャッチコピー生成以外 にも広く行われているが，生成器の効率的な開発に は自動評価手法が不可欠である. 参照文を必要とし ない広告文評価器の開発は今後の広告文生成の研究 を加速させることが期待される.

## 参考文献

[1] 総務省. 令和 4 年情報通信に 関する 現 状報 告 の 概要, (2022-12 閲覧).https://www.soumu.go.jp/johotsusintokei/ whitepaper/ja/r04/html/nd233220. html.

[2] 村上聡一朗, 星野翔, 張培楠. 広告文自動生成に関す る最近の研究動向. 人工知能学会全国大会論文集, Vol. JSAI2022, pp. 1P5GS601-1P5GS601, 2022.

[3] 丹羽彩奈, 岡崎直観, 西口佳佑, 亀山千尋, 毛利真崇. キャッチコピーの自動生成に向けた分析. 言語処理学会 第 25 回年次大会発表論文集, pp. 558-561, 2019.

[4] Chao Zhang, Jingbo Zhou, Xiaoling Zang, Qing Xu, Liang Yin, Xiang He, Lin Liu, Haoyi Xiong, and Dejing Dou. Chase: Commonsense-enriched advertising on search engine with explicit knowledge. pp. 4352-4361, 102021.

[5] 花野愛里咲, 横山想一郎, 山下倫央, 川村秀憲ほか. マスク化言語モデル robertaを用いた俳句の評価.第 84 回全国大会講演論文集, Vol. JSAI, No. 1, pp. 1061-1062, 2022.

[6] 黒木 開中田和秀. 複数の指定語句を必ず含むリス ティング広告の広告文自動生成. 言語処理学会 第 28 回年次大会発表論文集, pp. 1339-1343, 2022.

[7] 東京コピーライターズクラブ. コピラ，（2022-12 閲覧）.https://www.tcc.gr.jp/copira/.

[8] 趙天雨, 沢田慶. 日本語自然言語処理における事前学習モデルの公開. 人工知能学会研究会資料言語・音声理解と対話処理研究会, Vol. 93, pp. 169-170, 2021.

[9] Harris Drucker, Christopher J. C. Burges, Linda Kaufman, Alex Smola, and Vladimir Vapnik. Support vector regression machines. In M.C. Mozer, M. Jordan, and T. Petsche, editors, Advances in Neural Information Processing Systems, Vol. 9. MIT Press, 1996.

[10] 弓削徹. 届く！刺さる！！売れる！！！ キャッチ コピーの極意. 明日香出版社, 2019.

[11] 擬音語・擬態語 - 日本辞典, (2022-12 閲覧). http: //nihonjiten.com/nihongo/giongo/.

[12] cl-tohoku/bert-base-japanese-wholeword-masking, (2022-12 閲 https://huggingface.co/cl-tohoku/ bert-base-japanese-whole-word-masking.

## A 参考情報

## A. 1 データタイプ

 \\

表 4 SVRに入力する特徴量のデータタイプ


# 下流タスクでの日本語事前学習モデルの性別バイアスの評価

Panatchakorn Anantaprayoon 金子正弘 岡崎直観
東京工業大学
\{panatchakorn. anantaprayoon@nlp., masahiro.kaneko@nlp., okazaki@\}c.titech.ac.jp

## 概要

事前学習モデルには差別的なバイアスが学習され ている。 バイアスは事前学習時と下流タスク遂行時 で傾向が異なるため，両方で評価する必要がある.一方で，日本語モデルの下流タスクにおけるバイア スは十分に調査されていない，本稿では，自然言語推論を対象に日本語事前学習モデルにおける性別バ イアスの評価を行う。まず，性別バイアスの評価の ための言語データを作成する. そして，モデルが予測する含意，矛盾，中立ラベルの偏りに基づき，バ イアスを評価する手法を提案する. 実験の結果，日本語事前学習モデルにも性別バイアスがあることを 明らかにした. さらに，中立ラベルのみを考慮する 既存の評価手法と比較すると，提案手法の方が優れ ていることも確かめられた。

## 1 はじめに

事前学習モデルを下流タスクのデータでファイン チューニングすることで, 高い性能を達成する方法論が近年の自然言語処理の主流となっている。一方 で，事前学習の訓練データから自然言語処理タスク にとって有益な情報だけではなく，国籍や性別など に関する差別的なバイアスもモデルは学習してしま う $[1,2,3]$. 事前学習モデルのバイアスは, 多くの場合，事前学習時または下流タスク遂行時に評価され る. 事前学習時ではモデルがテキストに対して計算 する尤度などを利用し，下流タスクに依存しないバ イアスを評価する。下流タスク遂行時ではタスクご との予測結果を使い，タスク固有のバイアスを評価 する. 事前学習時と下流タスク時ではそれぞれバイ アスの傾向が異なる [3]. そのため, 事前学習モデ ルのバイアスの影響を把握するには，両方で事前学習モデルのバイアスを評価し分析する必要がある.

事前学習モデルのバイアスの評価は英語での研究が多い. ところが，英語以外の言語のモデルにも バイアスがあり，文法や文化的背景から言語によっ
てバイアスの傾向が異なる $[4,5,6,7]$. 日本語にお ける事前学習モデルに関しては，事前学習時のバイ アスに関する調査が進められ，バイアスがあること が報告されている. 金子ら [4] は，対訳データと女性単語・男性単語のリストのみを使い，日本語を含 む 8 言語で事前学習モデルの性別バイアスを評価し た. 大羽ら ${ }^{11}$ は，テンプレートと単語リストを使い，性別によって不適切な単語やポジティブ・ネガティ ブ単語が偏って生成されることを明らかにした. 一方で，日本語の下流タスクにおけるバイアスを評価 する手法は確立されていない。

本稿では自然言語推論 (Natural Language Inference; $\mathrm{NLI})^{2)}$ を対象とし, 日本語事前学習モデルの性別バ イアスの評価を行う. YJ Captions [8] に含まれる性別単語を職業単語に置換することで, 日本語でバイ アスの評価を行うためのデータを作成する.

英語の NLI では職業単語を含む前提文「運転手が トラックを所有している」と性別単語を含む仮説文「女性がトラックを所有している」が与えられた際 に，NLI データでファインチューニングされた事前学習モデルが中立ラベルを予測する割合により，バ イアスを評価する方法が提案されている [2].この 評価手法は中立だけを対象としているため，含意や 矛盾ラベルに関わるバイアスを捉えることができな い. 例えば，運転手に対して男性に偏るバイアスが あるという仮定のもと，前提文「運転手がトラック を所有している」と仮説文「男性がトラックを所有 している」の含意関係について，中立は正解，含意 はバイアスを含む不正解，矛盾は単なる不正解であ る. 含意や矛盾を考慮しない場合，バイアスを含む 不正解なのか，単なる不正解なのか，区別をつける ことができず，バイアスを評価できない. そのため，3つの全てのラベルを考慮したバイア

1) https://engineering.linecorp.com/ja/blog/ evaluating-fairness-in-language-models/

2） NLI は，前提文と仮説文の文ペアが与えられたときに，前提文が仮説文に対して含意，矛盾，又は中立のいずれである かを判定するタスクである.

スの評価手法を提案する. その実験結果から，日本語事前学習モデルは NLIにおいて性別バイアスを有 することが分かった. さらに， NLIにおける評価手法において，バイアスを含む不正解か単なる不正解 かの判別能力を検証する手法を提案し，既存の評価手法と提案手法を比較した. その結果，提案評価手法の方が既存手法より優れていることが明らかと なった.

## 2 関連研究

日本語における性別バイアスの評価 竹下ら [9] は人名を用いて単語分散表現のバイアスを評価する 手法 Unsupervised Bias Enumeration (UBE) [10] に関し て，英語には適用できるが日本語には適用できない ことを明らかにした.これは日本語の文字にはひら がな・カタカナ・漢字の多様性があり, 日本語の人名の単語分散表現では意味や性別の情報よりも文字 の情報が豊富に表現されているためである. そのた め, 英語で提案された評価手法を日本語に適用する 際は，その手法の英語での有効性を鵜呑みにするの ではなく，慎重に検証することが求められる。

金子ら [4] は，評価データの作成コストの問題を 解決するために, 英日対訳コーパスと英語の性別単語リストのみを用いた日本語言語モデルの事前学習時のバイアス評価手法を提案し, 日本語事前学習モ デルには性別バイアスが学習されていることを示し た. 一方で, 日本語事前学習モデルの下流タスク遂行時のバイアスについては, 評価していない. さら に, この手法は非差別的なバイアスも評価の対象と しており，バイアスを過大評価する傾向がある.

NLI でのバイアス評価手法 Dev ら [2] は NLI タ スクで事前学習モデルのバイアスを評価する手法を提案した.「The accountant ate a bagel」と「The woman ate a bagel」のような「The S V a/an O」のテ ンプレートを使い，主語だけが異なる前提文と仮説文の対から評価データを作成する. 評価データで予測されるべき含意関係ラベルは中立であるが，対象 モデルがバイアスを学習していれば，含意と判定し てしまう．そのため, 対象モデルが中立と判定した 割合や判定時の確率を用いた評価手法を提案した。

しかし，中立のみを考慮した評価手法では，含意 と矛盾の傾向を知ることができないため，バイアス を含む不正解と単なる不正解の区別がつかず，バイ アスの評価として不十分となる場合もある.

## 3 提案手法

本稿では，2 節で述べた NLIでのバイアス評価の 既存手法の問題点を解決するために，バイアスを持 つモデルがそれぞれ含意, 矛盾, 中立を最も多く予測すると期待される 3 つの評価データセットを構築 し, その予測結果に基づくバイアス評価指標を提案 する。

## 3.1 評価データセットの構築

構築した評価データセットの NLI の文ペア事例 は，2節で説明した Dev ら [2]のように，(「看護師が テニスをしています.」，「女性がテニスをしていま す.」）のような文ぺアの事例を作成する．文のテン プレートは JNLI $[11,12]$ データ作成法に倣い，人手 による日本語の画像キャプションデータセット YJ Captions [8] から抽出した文を用いる。職業単語は， Bolukbasi ら [1]が公開した職業単語リストとそれぞ れの単語の性別スコアとステレオタイプスコア ${ }^{3)} に$基づき単語を翻訳し，女性・男性にステレオタイプ がある職業単語と中性の職業単語をグループ分け し，それぞれ，13，87，171 個の単語を得た（付録 A). 各職業単語に対して 10 個の文テンプレートと 仮説文の主語に「女性」又は「男性」の 2 通りによ る置換で， 20 件の事例が生成される.

本稿では，バイアスを持つモデルがそれぞれ含意 のみ，矛盾のみ，含意か矛盾を最も多く予測すると 期待できるように評価事例を 3 つの集合に分割し， それぞれを Pro-stereotypical (PS), Anti-stereotypical (AS)，と Non-stereotypical (NS) セットと呼ぶ. PS セットは, 前提文に性別ステレオタイプがある職業単語，仮説文では職業単語をその性別の単語で置換 した文ぺア事例で構成される．AS セットは，仮説文において PS とは反対の性別の単語で置換した事例で構成される. NS セットは，ステレオタイプの ない職業単語と両方の性別単語からなる事例から構成されるデータセットである.

例えば，看護師が女性であるという性別バイア スがある前提では，文ぺアの（「看護師がテニスを しています.」，「女性がテニスをしています.」）は PS セットに含まれ，(「看護師がテニスをしていま す.」，「男性がテニスをしています.」）は ASセット に含まれる。また，会計士に関する性別バイアスが

図 1 評価データの構築

表 1 バイアス評価データセットの評価結果の変数

無い前提では，(「会計士がテニスをしています.」，「女性がテニスをしています.」）の事例はNS セット に含まれる（図 1).

以上の分割方法により，モデルにバイアスがある ほど，PS と AS セットではそれぞれ，含意と矛盾の 予測割合が高くなり，NS セットでは中立の予測割合が低くなると期待される。 また，データセット間 のラベルの割合を比較することで，バイアスの要因以外によるモデルのラベル予測の不正解を観測でき る.つまり, 評価データセットにおける予測結果が 表 1 のようになったとき, 出力の割合が順序関係式 1 を満たし，バイアスによる不正解がより多いこと 分かる.

$
e_{p}>e_{a}, c_{a}>c_{p}
$

## 3.2 評価指標

以上の評価データの分割方法によって，PS セッ トでの含意, AS セットでの矛盾, かつ $\mathrm{NS}$ セットで の中立の出力割合から，モデルのバイアスを計測で きる. すなわち，評価データセットにおけるモデル の出力結果が表 1 のようになったとき，バイアスス
コア $s$ を

$
s=\frac{e_{p}+c_{a}+\left(1-n_{n}\right)}{3}
$

と定義する。また，この式は PS セットでの矛盾と $\mathrm{AS}$ セットでの含意を考慮しないため，バイアス以外の要因によるモデルの間違った予測による影響を 軽減できる。

## 4 実験

本稿では 2 つの実験結果を報告する．まず，提案 するバイアス評価手法と既存手法の有効性を比較す るための実験を行う. 特に，既存手法が不正解とバ イアスを区別できていないが，提案手法では可能で あることを検証する。まず、バイアスされたデータ と単なる不正解で構成されるデータの 2 つを作成す る.そして，2つのデータの割合が異なる学習デー タを作成し，それぞれのデータに対してモデルを学習する．正しくバイアスを評価できる手法であれ ば，バイアスデータの割合が多いデータで学習され たモデルほどバイアスの評価値が高くなる. バイア スデータの割合と評価手法のバイアススコアのスピ アマンの順位相関係数を計測し，より相関が高い評価手法が適切にバイアスを評価できているとする。

次に，NLI にファインチューニングした日本語事前学習モデルの性別バイアスを提案手法に より評価する実験を行う．評価の対象モデルは Hugging Face [13] で公開される Tohoku BERT BASE, , Tohoku BERT $_{\text {BASE }}$ (char), Bandi DistilBERT BASE , Laboro DistilBERT $_{\text {BASE }}$, Waseda RoBERTa ${ }_{B A S E}$ である（付録 C). 評価データセットで各モデルの予測結果を集 め，バイアススコアを計測し，その結果から各モデ ルのバイアスの度合いを確認する。

## 4.1 評価手法の比較

実験設定 学習データのバイアスの程度を表す指標としてバイアス率 $r$ を定義し，バイアスによって 不正解となった事例とそれ以外の要因で不正解と なった事例の割合を $r: 1-r$ として付録の図 2 のよ うに作成する. ここで $r$ は 0 から 1 の間の値をと り、ハイパーパラメータとして刻みの粒度が決定さ れる。バイアスによる不正解なデータは，PS と AS セットの事例の正解ラベルをそれぞれ含意・矛盾に したものであり，それ以外の不正解な事例は PS と AS セットの事例の正解ラベルをそれぞれ矛盾・含意にしたもので構成される．ただし，双方のデータ
表 2 評価手法のスコアとバイアス率との順位相関係数

で使用される職業単語を別々に選びつつ，含意と矛盾のラベルのバランスを取る. その際，含意や矛盾 だけを出力するモデルが学習されることを防ぐた め, NS セットから中立な事例も追加する（付録 E).

本実験では，NLI にファインチューニングした Tohoku BERT BASE モデルに $r=\{0.0,0.1, \ldots, 0.9,1.0\}$ としたときの学習データで再度学習し, モデルのバ イアススコアとバイアス率との順位相関係数を計測 する。比較評価指標は，既存手法の Dev ら [2]の FN (中立の出力割合）スコアと提案手法のバイアスス コア関数（式2）となる. ただし，バイアスに対す る両方のスコアの方向を統一するために，FN スコ アの逆方向の 1-FNを用い，相関係数を計測する.

実験結果 モデルの学習データのバイアス率と各評価手法のバイアススコアとの順位相関係数の結果 を表 2 に示す.この結果から，提案したバイアスス コアは既存の評価スコアより高い相関係数が得ら れ，バイアスによる不正解な予測とそれ以外の要因 による不正解な予測をより区別でき，正確にバイア スの評価ができることが確認できた. 既存のバイア ススコアは，バイアス率が極端に高いもしくは低い ときにモデルによる中立ラベルの出力が低い傾向と なるため両者を区別しにくく, 相関係数が低くなる と推測される。これに対し, 提案したバイアススコ アでは含意, 矛盾と中立全てのラベルを考慮するた め区別することができている.

## 4.2 日本語事前学習モデルのバイアス評価

実験設定 JSNLI [14] データを用いて 5 つのモデ ルをファインチューニングし，構築した評価データ で含意ラベルを予測し, 各データセットの出力の割合およびバイアス評価スコアを計測する。 ハイパー パラメータなどの学習の詳細は付録 D を参照され たい.

実験結果 各モデルの評価データセットの出力の 割合結果を表 3 に示す. 5 つのモデルでの評価結果 は式 1 を満たすため，バイアスでの不正解な予測は それ以外の要因よりも大きな影響を及ぼすことが 確認できる。 また，表 4 に示される各モデルのバイ アススコアの結果から, 全てのモデルにバイアスが あることが確認できる。 バイアスの最も高いモデ ルと低いモデルは，それぞれ Bandi DistilBERT ${ }_{\text {BASE }}$表 3 モデルの評価結果

表 4 各モデルの提案手法によるバイアススコア. 括弧内 の数字はスコア值の順位を示す (降順).

と Waseda RoBERTa ${ }_{B A S E}$ である. Tohoku BERT BASE と Tohoku BERT BASE (char) とのスコアの比較から, トークン化の違いによってもモデルのバイアスに 差が生じることが分かる．また，事前学習テキスト が異なる教師モデルを持つ Bandi DistilBERT BASE と Laboro DistilBERT ${ }_{\text {BASE }}$ のスコアの比較から, 事前学習テキストがバイアスに与える影響が確認できる.

## 5 おわりに

本稿では，NLI タスクに対する差別的な性別バイ アスの評価手法を提案し, NLIでの日本語事前学習 モデルの性別バイアスの評価を行った. 異なるバイ アスを持つ 3 つの評価セットに対し，モデルの予測結果に基づいて評価指標のバイアススコアを定義し た. 実験により，提案したバイアス評価手法は既存手法よりも優れていることが確認できた. また，公開されている日本語事前学習モデルにはバイアスが あることや，トークン化の単位や学習データによっ てもバイアスへの影響があることを明らかにした。

今後は、提案した評価手法を日本語以外の言語へ 適用し，その有効性を実証したい。また，評価デー タの質を向上させるために，より多様な文テンプ レートやデータの分割方法を検討する予定である.

## 謝辞

この成果は, 国立研究開発法人新エネルギー・産業

技術総合開発機構 (NEDO) の委託業務 (JPNP18002)

の結果得られたものです.

## 参考文献

[1] Tolga Bolukbasi, Kai-Wei Chang, James Zou, Venkatesh Saligrama, and Adam Kalai. Man is to computer programmer as woman is to homemaker? debiasing word embeddings. In Proceedings of the 30th International Conference on Neural Information Processing Systems, NIPS'16, p. 4356-4364, Red Hook, NY, USA, 2016. Curran Associates Inc.

[2] Sunipa Dev, Tao Li, Jeff M. Phillips, and Vivek Srikumar. On measuring and mitigating biased inferences of word embeddings. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 7659-7666, Apr. 2020.

[3] Masahiro Kaneko, Danushka Bollegala, and Naoaki Okazaki. Debiasing isn't enough! - on the effectiveness of debiasing MLMs and their social biases in downstream tasks. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 12991310, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[4] Masahiro Kaneko, Aizhan Imankulova, Danushka Bollegala, and Naoaki Okazaki. Gender bias in masked language models for multiple languages. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2740-2750, Seattle, United States, July 2022. Association for Computational Linguistics.

[5] Meichun Jiao and Ziyang Luo. Gender bias hidden behind Chinese word embeddings: The case of Chinese adjectives. In Proceedings of the 3rd Workshop on Gender Bias in Natural Language Processing, pp. 8-15, Online, August 2021. Association for Computational Linguistics.

[6] Vijit Malik, Sunipa Dev, Akihiro Nishi, Nanyun Peng, and Kai-Wei Chang. Socially aware bias measurements for Hindi language representations. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1041-1052, Seattle, United States, July 2022. Association for Computational Linguistics.

[7] Aurélie Névéol, Yoann Dupont, Julien Bezançon, and Karën Fort. French CrowS-pairs: Extending a challenge dataset for measuring social bias in masked language models to a language other than English. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8521-8531, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[8] Takashi Miyazaki and Nobuyuki Shimizu. Cross-lingual image caption generation. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 17801790, Berlin, Germany, August 2016. Association for Computational Linguistics.

[9] Masashi Takeshita, Yuki Katsumata, Rafal Rzepka, and Kenji Araki. Can existing methods debias languages other than English? first attempt to analyze and mitigate Japanese word embeddings. In Proceedings of the Second Workshop on Gender Bias in Natural Language Processing, pp. 44-55, Barcelona, Spain (Online), December 2020. Association for Computational Linguistics.

[10] Nathaniel Swinger, Maria De-Arteaga, Neil Thomas Heffernan IV, Mark DM Leiserson, and Adam Tauman Kalai. What are the biases in my word embedding? In Proceedings of the 2019 AAAI/ACM Conference on AI, Ethics, and Society, AIES '19, p. 305-311, New York, NY, USA, 2019. Association for Computing Machinery.

[11] 栗原健太郎, 河原大輔, 柴田知秀. Jglue: 日本語言語理解ベンチマーク. 言語処理学会第 28 回年次大会, 2022.

[12] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[13] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[14] 吉越卓見, 河原大輔, 黒橋禎夫. 機械翻訳を用いた 自然言語推論データセットの多言語化. Technical Report 6, 京都大学, 京都大学/現在, 早稲田大学, 京都大学, jun 2020 .

 &  & JA-Wikipedia \\

## A 職業単語について

## A. 1 性別ステレオタイプの判別方法

Bolukbasi ら [1] が職業単語リストと共に公開して いる単語の性別スコアとステレオタイプスコアを 用いる. 各スコアの範囲は $[-1,1]$ で，-1 に近づく值 は女性方向に +1 に近づく值は男性方向となる.職業 $c$ に対して性別スコアを $s_{1}(c)$ ，ステレオタイ プスコアを $s_{2}(c)$ 書くことにすると，本研究では $\left|s_{1}(c)\right|<0.5, s_{2}(c)>0.5$ ならば男性にステレオタイ プが有り， $\left|s_{1}(c)\right|<0.5, s_{2}(c)<-0.5$ ならば女性にス テレオタイプが有り，それ以外の条件ではステレオ タイプのない中性の職業と見なす.

## A. 2 職業単語の例

ページ数の制限により，それぞれのグループの職業単語の一部を例として示す.

## 女性にステレオタイプのある職業単語

美容師，管理人，インテリアデザイナー，ハウス キーパー，看護師，受付係，保育士，司書，秘書，教師

## 男性にステレオタイプのある職業単語

物理学者，暗殺者，牧師，医師，消防士，タクシー 運転手, 大使，ボクサー，アスリート，プログラマー

## ステレオタイプのない職業単語

家庭教師，インストラクター，水泳選手，聖人，研究者，パン屋，グラフィックデザイナー，検査官，講師，小照科医表 6 バイアス評価データセットの情報

図 2 評価手法の比較実験の学習データの構築

## B評価データセット

構築した評価データセットの詳細な情報を表 6 に 示す.

## C 事前学習モデル

実験に用いた事前学習モデルの詳細を表 5 に 示す.

## D ハイパーパラメータの設定

事前学習モデルを NLI タスクへファインチュー ニングするとき, エポック数は 5 , 学習率は $2 e-5$, バッチサイズは 32, max_length は 128 とした.ま た，評価手法の比較の実験においてファインチュー ニング済みモデルを再学習するときは，エポック数 を 3 とする。

## E 評価手法の比較実験のデータ

評価手法の比較実験の学習データは図 2 に示す.


# 学習者作文評価システム「jWriter」による習熟度と論理性の自動評価

李在鎬 ${ }^{1,5}$, 長谷部陽一郎 ${ }^{2}$, 伊集院郁子 ${ }^{3}$, 青木優子 ${ }^{4}$, 村田裕美子 ${ }^{5}$
${ }^{1}$ 早稲田大学 ${ }^{2}$ 同志社大学 ${ }^{3}$ 東京外国語大学 ${ }^{4}$ 東京福祉大学 ${ }^{5}$ ミュンヘン大学
jhlee.n@gmail.com, yhasebe@mail.doshisha.ac.jp, ijuin@tufs.ac.jp, yuko172@gmail.com, y.murata@Irz.uni-muenchen.de

## 概要

本研究グループでは, 日本語学習者の作文執筆を 支援する目的で,「jWriter」

 と いうウェブアプリケーションを開発・運用してい る. 2016 年から日本語学習者が書いた作文の習熟度を自動評価するシステムとして公開してきたが， 2022 年秋には，論理性を自動評価する機能を追加 した。論理性の自動評価は, [11]に基づく回帰式に 加え，評価項目の一部を診断的評価として提供して おり, 文章の内容に応じて推敲のためのヒントを提示する機能も備えてある.

## 1 はじめに

私たちは科研費による補助のもと, 2016 年度より 日本語学習者の文章執筆を支援するウェブシステム 「jWriter」を開発している（図1）.

図 1 jWriter の初期画面図1のテキストボックスに文章を貼り付け，「実行」ボタンをクリックするだけで，自動評価を行う と同時に, 文章が持つ様々な情報を可視化する機能 を持っている.このシステムに関わるプロジェクト の概要は，以下のとおりである.

## 【第 1 期】
- $い つ: 2016$ 年 4 月 2019 年 3 月
- 何を：科研費 基盤研究 (C) (https://kaken. nii.ac. jp/ja/grant/KAKE NHI-PROJECT-16K02794/）の補助を得て文章 の能力値を自動評価する「jWriter」を開発・公開した。
- 誰が：李在鎬（研究代表者, データ分析）,長谷部陽一郎 (研究分担者, システム構築),村田裕美子 (研究協力者, データ収集)
- なぜ：日本語学習者の作文執筆を支援するた め.
- どうやって：日本語学習者コーパス「多言語母語の日本語学習者横断コーパス(I-JAS)」 [6]に含まれている自由作文のデータを学習 データとして利用し, 線形回帰分析による習熟度の計算モデル[11]を作成し, ウェブアプ リケーションで公開した.

$\cdot$ どこで： https://jreadability. net/jwriter/

## 【第 2 期】
- $い つ: 2019$ 年 4 月 2023 年 3 月
- 何を：科研費 基盤研究 (B) (https://kaken. nii.ac. jp/ja/grant/KAKE NHI-PROJECT-19H01273/）の補助を得て文章 の論理性を自動評価する機能を「jWriter」 に追加した。
- 誰が : 李在鎬（研究代表者, データ分析）,長谷部陽一郎 (研究分担者, システム構築),伊集院郁子（研究分担者, データ作成), 青木優子 (研究分担者, データ作成), 村田裕
美子（研究協力者，データ収集）
- なぜ：日本語学習者の作文執筆を支援するた め. 特に文章を論理的に書くことの重要性を 注意喚起するため.
- どうやって：「現代日本語書き言葉均衡コ ーパス（BCCWJ）」

 に収録されている教科書データと J-

STAGE  で 公開されている学会要旨を学習データとし て利用し, 線形回帰分析による習熟度の計算モデル [10]を作成し，ウェブアプリケー ションとして公開した.

$\cdot$どこで：

https://jreadability. net/jwriter/

第 1 期目は, 文章の習熟度（入門, 初級, 中級,上級, 超級）を自動評価するシステムを作ることに 注力した [5] [10] [12].

第 2 期年からは，文章の論理性を自動評価する機能を追加することを目指している. 2017 年から行っ ている私たちの試みは, プレイスメントテスト [7]に おいて活用する例もあるし，伊集院郁子氏が代表を 務める科研費プロジェクト [2] に連携し, アカデミッ ク・ライティングの教育支援ツールとしての活用を 計画している例もある. 今後, 日本語教育の学習・教育インフラの一つとして活用されることを目指し ている.

## 2 習熟度の判定

習熟度とは，言語教育における「Proficiency」[3] に相当するもので，いわゆる初級，中級，上級とい った段階性に基づいて記述される概念である. 伝統的にプロフィシエンシーは話す力と関連づけられる ことが多いが, 本プロジェクトでは, 日本語学習者 の「書く力」に注目した. 高等教育機関における学習活動において,「書く力」は不可欠だからである. こうした背景のもとで 2016 年に日本語学習者コー パス「多言語母語の日本語学習者横断コーパス (IJAS )」[6]の作文データを学習データとして利用し,線形回帰分析で 5 段階の習熟度 (超級・上級・中級・初級・入門）を推定する計算モデルを作成した [10] [12].

## 習熟度判定用計算モデル［12］

$\mathrm{y}=1.637+$ 平均文長 $\times 0.045+$ 中級後半語 $\times 0.021+$ タイ プトークン比 $\times-0.430+$ 動詞 $\times 0.015+$ 中級前半語 $\times 0.011+$ 総文字数 $\times-0.004+$ 和語 $\times 0.007+$ 漢語 $\times 0.007$ $\left(\mathrm{R}^{2}=0.760\right)$

## 3 論理性の判定

文章が持つ論理性の度合を計算モデルで推定し，可視化する機能を「jWriter」に実装した. 具体的に は，文章の論理性のかなめである接続詞を抽出し, カテゴリー別に表示する機能を実装したり，計算モ デルに基づいて論理性を 4 段階（優・高・中・低） で自動評価する仕組みを入れたりしている [11].

論理性の自動評価のために教科書コーパスと論文要旨コーパスを多変量解析の方法で分析し，計算モ デルを作成している。重回帰分析の精度を示す決定係数では $78 \%$ の精度で論理性の度合いを判定できる ようになっている.

論理性判定のための学習データとして「現代日本語書き言葉均衡コーパス（BCCWJ）」に含まれる教科書データと J-STAGE で公開されている学会要旨を 使用した。これらのデータを「優」「高」「中」

「低」の 4 レベルに分け, 計量テキスト分析の方法 で，論理性を計算するモデルを作成した。なお，学習データを 4 レベルに分けたのは，［9］の分析結果 を参考にしたからである.

論理性判定用計算モデル[11]

$y=3.099+($ 普通名詞率 $X-2.837)+($ 初級前半語率 $X$ $4.292)+($ 接続詞率 $\times-49.773)+($ 動詞率 $\times 4.281)+($ 外来語率 $\times-6.17)+($ 代名詞率 $\times-10.525)+($ 助動詞率 $X$ $0.279)+($ 形状詞率 $\times-0.691)\left(\mathrm{R}^{2}=.780\right)$

## 4 実装

ここでは，「jWriter」の実装について述べる.「jWriter」は Ruby によるウェブアプリケーション である Sinatra を用いて構築されている。基本的な サーバーサイド処理の流れは次のとおりである。

1. 習熟度判定に必要な最低入力文字数を満た しているか確認

2. 入力されたテキストを文に分割

3. 各文に UniDic を用いた形態素解析を施し て語彙情報を取得

4. 同時に「日本語教育語彙表」に基づいて各語彙項目の難易度情報を取得

5. 習熟度判定計算モデルを用いて習熟度を判定

6. 論理性判定に必要な最低入力文字数を満た しているか確認

7. 論理性判定用計算モデルを用いて論理性判定

8. 習熟度と論理性についての診断的評価を出力

1 と 6 の最低入力文字数については，下回ると正確な判定が難しいことがわかっており, 習熟度判定 については 300 字以上あることが条件となってい る.したがって「jWriter」では 300 字未満のテキス 卜を評価することはできない。論理性判定について は本来であれば 2,000 字以上のテキストであること が望ましいが，学習者の作文としてそこまでの長さ を求めることは難しい場合が多いため 1,000 字以上 を条件としている。

2 の文分割については，意味的な分析ではなく純粋に形式的な条件に基づいて行っている. まずテキ ストを段落に分割するが，その際には「改行+全角 スペース」「改行+半角スペース」「2 個以上の改行文字の連続（＝行空け）」のいずれかを改段落の マーカーとして用いている。学習者の作文テキスト は必ずしも定型的でなく, 文の途中などで改行され ていることが珍しくない。不注意などでそうなって いる場合もあるが，段落をあらためる意図なしに行 の右端で改行を入れる形で執筆を行う学習者も多い とみられる。 そこで，意図的な改階段とそうでない 改行を区別するために上記の条件でテキストを段落 に分割している。その後, 各段落を文に分割する が，その際には「。」「」「？」「！」をマーカ 一として用いる．鉤括弧類が使用されているときな ど，実際にはこれらのマーカーを伴わない文も存在 するが，括弧類の使い方は入力されるテキストによ って様々な相違があるため（閉じ括弧の直前で句点
を挿入する／挿入しないなど）「jWriter」では文分割の際に括弧の情報は用いていない。

3 の形態素解析については，UniDic-2.1.2 [13] を 形態素解析器 MeCab を通じて利用している.

UniDic を利用する理由としては主に次のことが挙 げられる。

・短単位での形態素解析は，誤りを含んだ表現 や非慣例的な組み合わせの表現が含まれや す い学習者テキストの分析に適している
- 基本形, 活用形，品詞に関する情報に加え $\tau$

「和語」「漢語」「外来語」など語種に関 す る情報を取得できる

・学習者による日本語テキストを分析するの に

十分な情報量と性能を有している

4 の処理で用いる日本語教育語彙表[14]は過去の 科研費グループ「汎用的日本語学習辞書開発データ ベース構築とその基盤形成のための研究」で開発さ れた資源で，日本語教育で用いられる語彙項目を 6 段階のスケールに分類している

(http://jhlee.sakura.ne.jp/JEV/) 。UniDic から得られ る語彙情報と合わせて日本語教育語彙表の語彙レべ ル情報を用いることで，学習者による日本語テキス トに含まれるほとんどの語について必要な情報を得 ることができる.

ここまでの処理を経て，5で実際の習熟度判定が 行われる. 判定結果は回帰式の值に応じて「入門」「初級」「中級」「上級」「超級」の 5 段階に分類 される。回帰式の值がどのレベルの値域にも含まれ ない場合には「測定不可（入門以下のため）」もし くは「測定不可（超級以上のため）」が出力され る. また入力テキストが 1,000 字を満たしていれば さらに論理性判定が実行される．論理性判定のレべ ルは「優」「高」「中」「低」の 4 段階であり，

「優」を超える值については「測定不可」と判定さ れる。
「jWriter」では習熟度の判定が行われると, 結果 のレベルに応じて「語の使い方に関する診断的評価」として「語の多様性」「漢語力」「長文作成力」「難解語」に関するアドバイスが示される.こ の機能は，回帰式を開発するために実施したデータ 分析で用いた同じレベルグループのテキストが持つ 特徴の平均値と, 入力されたテキストの特徴値を比較することで実現している。 ユーザーの作文能力の 具体的な課題を特定する機能であり, 画面上には各項目の値域ごとに用意されたアドバイスのテキスト と共に, グループ平均と実際の値とを示したグラフ が表示される.これらのフィードバックを活用する ことで, 学習者や教師は現在の作文能力に関する詳 しい情報だけでなく, 今後の学習・指導につながる 気づきを得ることができる.

## 5「jWriter」が目指す評価

「jWriter」は自動採点システム[1]である。つま り, 評価のツールということになるが，本システム はどのような考え方のもとで作られた評価ツールで あるかについて述べる。

伝統的に評価研究においては，妥当性

（validity）と信頼性（reliability）という指標が重要視されている[4]. これらは評価ツールの良し悪し を捉える上で必ず議論になる観点である．妥当性 は，評価しようと意図している能力を正しく評価で きているのかに関連する指標である。信頼性は, 評価結果の一貫性・安定性の指標である.

「jWriter」が重視したのは，評価の信頼性であ る.というのも,「jWriter」は誰が，どこから，い つ評価しても, 同じ文章であれば, 同じ結果を出力 するからである。人間であれば，同じ文章であって も，評価者がかわれば，評価もかわるのが一般的 で, 評価の一貫性や安定性を担保するために多くの コストがかかる[1]. しかし, 「jWriter」のような 自動採点においては, 評価の一貫性や安定性は（計算モデルが同じであれば）不変である.

評価の妥当性には, 結論的にいうと現時点では判断が難しいと考えている。というのは，そもそもコ ンピュータは回答の求め方が人間とは異なるからで ある。前節で述べた習熟度の評価のための公式に注目してほしい。平均文長や語種の頻度をもとに，

「jWriter」は習熟度を評価しているが，人間はこう した指標を使って文章を評価するとは考えにくい。人間の評価では，様々な文構造を使い，自然なつな がりにおいて自身の考えを述べているか，語彙の使 い方が適切か，さらに主張をともなう文章であれば 根拠がきちんとしているかなどの視点が用いられ

る.「jWriter」は人間が行っているこれらの評価指標を間接的に捉えることを目指している.つまり，文構造の適切さや文と文のつながりの良さを平均文長や動詞や接続詞の使用率で捉え, 語彙使用の適切 さは和語や漢語の使用率で捉えることを目指してい るのである.このように「jWriter」が用いている指標はいずれも間接的なものであるため，その妥当性 に関しても現時点において宣言的なことは言えな い. 今後，「jWriter」を用いた実践研究が進むこと により，明らかになることであると考えている。

このように妥当性に関しては十分に明らかでない 現状においても「jWriter」は有用な評価ツールであ ると考えている。それは, 教育現場に求められる 様々な評価活動を考えた場合, 評価の妥当性より信頼性やレスポンスの速さが優先される場面があるか らである。典型的にはプレイスメントテストのよう な場面や学習者が自身の文章を推敲する場面であ る.これらの場面では, 即時に反応してくれる仕組 みが必要だからである，妥当性に関して，多少の問題があったとしても教師が介入することで修正が可能であると考えている.このことは, 教師の介入が 前提にされない評価活動においては「jWriter」を使 うのは望ましくないことを意味する。例えば，入学試験のような個人の人生を決めるようなハイ・ステ ークスな評価において, 現状のシステムでは利用が 難しい.

## 謝辞

本研究は JSPS 科研費 19H01273，19K21637， 22H00667 の助成を受けたものである.

## 参考文献

[1] 石井雄隆・近藤悠介 (編). 英語教育における自動採点-現状と課題, ひつじ書房, 2020.

[2]伊集院郁子. 日本語母語話者と日本語学習者 の作文に見られる接続表現の比較, 2022 年度日本語教育学会秋季大会予稿集, pp. 65-70.

［3]鎌田修・嶋田和子・迫田久美子．プロフィシェ ンシーを育てる〜真の日本語能力をめざして，凡人社, 2008.

[4] 近藤ブラウン妃美. 日本語教師のための評価入門, くろしお出版, 2012.

[5] 小森和子・李在鎬・長谷部陽一郎・鈴木泰山・伊集院郁子・柳澤絵美. 教師による評価とコン ピュータによる自動評価はどの程度一致する のか, 2018 年度日本語教育学会秋季大会予稿集, pp. 278-283.

［6］迫田久美子・石川慎一郎・李在鎬（編）.日本語学習者コーパス I-JAS 入門 : 研究・教育に どう使うか,くろしお出版, 2020.

[7]柳澤絵美・小森和子・李在鎬・長谷部陽一郎．日本語オンライン・プレイスメント・テストの開発, 2018 年度日本語教育学会春季大会予稿集, pp. 304-309.

[8] 李在鎬・長谷部陽一郎・村田裕美子. 学習者作文 の習熟度に関する自動判定とWeb システムの開発について, ICT×日本語教育, pp. 38-53, ひつ じ書房, 2019.

[9] 李在鎬. BCCWJ の学校教科書コーパスの計量的分析 一日本語教育のためのリーダビリティ と語彙レベルの分布を中心に一, 計量国語学 32 (3), pp. 147-162, 2019.

[10] 李在鎬.書くことを支援する自動評価システ ム「jWriter」（特集 AI や ICT が変える言語教育), 日本語学 2021 冬号 40(4), pp. 4251, 2021.

[11] 李在鎬・伊集院郁子・青木優子・長谷部陽一郎・村田裕美子. 論理的文章の自動評価に関 する研究ーアカデミック・ライティングへの 貢献を目指して, 2021 年度日本語教育学会春季大会予稿集, pp. 223-226.

[12] Lee, J., and Hasebe, Y.: Quantitative Analysis of JFL Learners' Writing Abilities and the Development of a Computational System to Estimate Writing Proficiency, Learner Corpus Studies in Asia and the World 5, pp. 105-120, 2020.

[13] 伝康晴 - 小木曽智信 - 峯松信明 - 小椋秀樹 内元清貴・山田篤・小磯花絵. コーパス日本語学のための言語資源 : 形態素解析用電子化辞書の開発とその応用, 日本語科学 22 , pp. 101-123, 2007.

[14] Sunakawa, Y., Lee, J. and Takahara, M. : The Construction of a Database to Support the Compilation of Japanese Learners Dictionaries, Acta Linguistica Asiatica 2(2), pp. 97-115, 2012.


# An Analysis on Automated Metrics for Evaluating Japanese-English Chat Translation

Andre Rusli, Makoto Shishido
Tokyo Denki University
\{20udc91@ms，shishido@mail\}.dendai.ac. jp

## 概要

This paper analyses how traditional baseline metrics, such as BLEU and TER, and neural-based methods, such as BERTScore and COMET, score several NMT models' performance on chat translation and how these metrics perform when compared to human-annotated scores. The results show that for ranking NMT models in chat translations, all metrics seem consistent in deciding which model outperforms the others. This implies that traditional baseline metrics, which are faster and simpler to use, can still be helpful. On the other hand, when it comes to better correlation with human judgment, neural-based metrics outperform traditional metrics, with COMET achieving the highest correlation with the human-annotated score on a chat translation. However, we show that even the best metric struggles when scoring English translations from sentences with anaphoric zero-pronoun in Japanese.

## 1 Introduction

In recent years, machine translation has grown faster to provide better and more inclusive systems for many language directions. One of the most recent projects by the research team at Facebook tries to accommodate every language so that no language is left behind. Until a few years ago, most translation systems focused only on the sentence level, unable to understand the sentence's contexts which often exist in previous sentences. Many reports have demonstrated this to be inadequate. Several studies have shown that human translators outperform NMT models when the target language translation must consider the context at the document level [1,2]. To improve this, the research community proposed various methods and improvements to build models that could use the source- and target-side contexts $[3,4]$ when performing translations. By doing so, models could handle more challenging tasks which require context understanding, such as chat translations.

For Japanese NMT, various methods have also been proposed to tackle critical challenges, especially in translating Japanese conversational texts to English. One of the most prominent challenges in discourse is the anaphoric zero-pronoun, which arises from pronouns such as subjects, objects, and possessive cases omitted from conversational sentences. Anaphoric zero-pronoun is not exclusive to Japanese but is one of the most challenging languages to resolve $[5,6]$. In contrast, while the number of works of research for training better and more capable NMT models keeps increasing rapidly, progress in machine translation (MT) evaluation has been struggling to keep up. Many works of research in the MT research community still rely on traditional metrics that are outdated but widely adopted as the standard.

Even though human judgment is still considered the best metric to measure translation quality, it is considerably more expensive and time-consuming. Therefore, automatic metrics are an indispensable part of machine translation evaluation. They provide immediate feedback during MT system development and serve as the primary metric to report the quality of MT systems. Accordingly, the reliability of metrics is critical to progress in MT research. Historically, metrics for evaluating the quality of MT have relied on assessing the similarity between an MT-generated hypothesis and a human-generated reference translation in the target language. Traditional metrics, such as BLEU [7] and TER [8], have focused on basic, lexical-level features, such as counting the number of matching n-grams between the MT hypothesis and the reference translation. On the other hand, more recently proposed metrics are primarily based on pre-trained Transformers-based language models, such as BERTScore [9] and COMET [10], to calculate the
similarity of translated sentences with their target. Additionally, similarity-based metrics built using neural-based methods can help evaluate human-generated texts, such as content scoring systems [11], often found in foreign language learning settings.

This paper compares how different evaluation metrics perform on chat translation from Japanese to English. Then we analyze and emphasize the importance of using suitable metrics for measuring the performance of our translation systems depending. Additionally, we provide datasets containing the translation results of the Japanese-English Business Scene Dialogue corpus by three NMT models and a set of human-annotated scores of one of the model's translation results.

## 2 Evaluation Metrics for Japanese-English Chat Translation

In MT, many traditional baseline metrics remain popular for evaluating MT systems due to their lightweight and fast computation [10]. However, as MT systems improve over time, commonly used metrics struggle to correlate with human judgment at the segment level and fail to evaluate the highest-performing MT systems adequately, thus misleading system development with incorrect conclusions. Among these metrics, BLEU is often considered the de facto standard of MT evaluation metrics. In advanced translation, however, there are many cases in which the description of phrases differs but implies the same meaning. In these cases, BLEU will struggle to perform adequately, even if there is a system that can translate with high quality. It is noted that even though BLEU is fast and can be helpful to assist researchers and developers in quickly performing initial experiments, BLEU should not be the primary evaluation technique in NLP papers [12]. Furthermore, it is argued that, due to its limitations, the common use of BLEU over the past years has negatively affected research decisions in MT [13].

In recent years, many efforts have been conducted to propose better metrics that can measure the quality of MT systems, such as BERTScore [9] and COMET [10], which are proven to correlate better with human judgments. However, only a few provided analysis on their use for evaluating chat translation, which is notably challenging for the Japanese language with its various challenges, such as the anaphoric pronoun resolution, that occurs more frequently in spoken language than in written language [14]. Furthermore, many works that try to build models for this are evaluated using BLEU, which is often argued as insufficient for advanced models [15]. However, the performance of many recent neural-based metrics has yet to be analyzed. This paper compares and analyses results from different models measured with various metrics and how these metrics correlate with human judgment.

## 3 Experiments

In this section, we explain the data and procedure in the experiment to evaluate the quality of machine-translated sentences using various metrics and provide an analysis of how the result of each metric compares to the human evaluation score and with each other. Firstly, we use three NMT models to translate conversations from Japanese to English and store the translation results. Then, we calculate the score of each model's translation with various evaluation metrics, from traditional and commonly used metrics like BLEU to more recent neural-based metrics such as BERTScore. Furthermore, we provide an overview of a tool we use for the human evaluation of translated sentence output by the models. Using this evaluation tool, we compile human-annotated scores of machine-translated sentences from one model, measure how each metric correlates with human scores, and share our findings.

## 3. 1 Dataset and NMT Model Performance

In our experiment, we use the Business Scene Dialogue (BSD) corpus [16]. We translated the whole development set of the BSD corpus ( 2,051 chats) using three models, namely our own Transformers-based MT model, M2M100, and MarianMT for Japanese to English language direction. Previously, only BLEU was used to evaluate the results; in this paper, we use six metrics containing both traditional baseline metrics (BLEU, TER, METEOR, and chrF) and recent neural-based metrics (BERTScore and COMET). We can see in Table 1 that even though each metric uses different approaches in evaluating the translated results, all metric seems consistent when deciding which performs the best of the three models. In other words, traditional metrics are still valid if we only want to rank which models
perform better than the others, and the processing time is essential. Table 1 shows that all metrics indicate MarianMT outperforms the other two models.

Table 1: NMT models performance measured by different metrics

## 3. 2 Direct Assessment for Human

## Evaluation and Metrics Performance

Previous works have shown that some metrics are better than others in correlation with human judgment, which is still considered the gold truth of evaluation metrics in machine translation. In this section, we want to explore how these metrics correlate with human judgment when evaluating context-heavy chat sentences from Japanese to English in the BSD corpus. Firstly, to get the human-annotated score, we built a direct assessment tool for the manual evaluation of machine translation. The tool enables the user to view the chat dataset in a familiar chat-like user interface displaying the current segment/chat conversation along with its document-level context (previous chats), then score each translation from 0 (wrong) to 100 (perfect). It is developed following the direct assessment tool used for human evaluation on the WMT 2020 Shared Task on Chat Translation [17]. Figure 1 shows the user interface of this tool.

Using the direct assessment tool for manual evaluation, we collected human-annotated scores of 10 conversations containing 283 chats inside the development set of the BSD corpus, translated by our own MT model. We asked two human annotators to score the translation and averaged the results. Both annotators speak Japanese and English, one is a native English speaker, and the other is a native Japanese speaker. The conversations are picked arbitrarily from the development set.

Figure 1: User interface of the direct assessment tool

Table 2 shows how each metric correlates with the human-annotated score for each chat translation. Neural-based metrics pre-trained with language models outperform traditional baseline metrics in correlation with human scores. It is worth noting that neural-based metrics slow down when the computation is done using the CPU only. This can be a limitation when we still experiment with architectures and hyperparameters in the initial phases of training an MT model.

Table 2: Pearson's $r$ on each metric

 \\

As shown in Table 2, COMET achieves the highest correlation coefficient in our experiment. Based on this, we conduct additional analysis on the results scored by COMET. The aim is to get some clues about how it evaluates translations with a specific language phenomenon, such as the anaphoric zero pronouns, which are prominent, especially in Japanese conversations/chats [18]. Table 3 provides some example sentences where COMET is supposed to give higher scores to the human-translated sentences and lower scores to machine-translated sentences in which the pronouns need to be correctly
translated and could result in a completely different meaning.

Table 3: Examples where COMET gives lower score to better translations on zero-pronoun sentences

 & $\mathbf{0 . 9 3 1}$ \\

## 4 Conclusion

We analyze various metrics for chat translation from Japanese to English using three models on the BSD developments set. Furthermore, to determine whether the results correlate with human judgment, we compiled a dataset containing ten conversations from the BSD corpus development set (approximately 15\% of the total number of exchanges) along with the translation results and their human-annotated score using Direct Assessment. By calculating the Pearson correlation coefficient ( $r$ ), it can be seen that more recent metrics correlate better with human-annotated scores than traditional baseline metrics, with COMET achieving the highest correlation.

There are still, however, limitations on the current best metrics. One major challenge in translating Japanese sentences is when the model needs to decide what pronoun to use when the source sentence does not contain any. Even the best metrics often make simple mistakes in our experiments by giving high scores to translations with wrong pronouns. It is worth further research on improving the metrics to accommodate various language-specific phenomena.

## References

[1] Läubli, S., Sennrich, R., and Volk, M. 2018. Has Machine Translation Achieved Human Parity? A Case for Document-level Evaluation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 4791-4796, Brussels, Belgium. Association for Computational Linguistics.

[2] Toral, A., Castilho, S., Hu, K., and Way, A. 2018. Attaining the Unattainable? Reassessing Claims of Human Parity in Neural Machine Translation. In Proceedings of the Third Conference on Machine Translation: Research Papers, pages 113-123, Brussels, Belgium. Association for Computational Linguistics.

[3] Zhang, J., Luan, H., Sun, M., Zhai, F., Xu, J., Zhang, M., and Liu, Y. 2018. Improving the Transformer Translation Model with Document-Level Context. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 533-542, Brussels, Belgium. Association for Computational Linguistics.

[4] Voita, E., Sennrich, R., and Titov, I. 2019. When a Good Translation is Wrong in Context: Context-Aware Machine Translation Improves on Deixis, Ellipsis, and Lexical Cohesion. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 1198-1212, Florence, Italy. Association for Computational Linguistics.

[5] Taira, H., Sudoh, K., and Nagata, M. 2012. Zero Pronoun Resolution can Improve the Quality of J-E Translation. In Proceedings of the Sixth Workshop on Syntax, Semantics and Structure in Statistical Translation, pages 111-118, Jeju, Republic of Korea. Association for Computational Linguistics.

[6] Kudo, T., Ichikawa, H., and Kazawa, H. 2014. A joint inference of deep case analysis and zero subject generation for Japanese-to-English statistical machine translation. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 557-562, Baltimore, Maryland. Association for Computational Linguistics.

[7] Papineni, K., Roukos, S, Ward, T, and Zhu, W. 2002. Bleu: A Method for Automatic Evaluation of Machine Translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pages 311-318, Philadelphia, Pennsylvania, USA. Association for Computational Linguistics.

[8] Snover, M., Dorr, B., Schwartz, R., Micciulla, L., and Makhoul, J. 2006. A Study of Translation Edit Rate with Targeted Human Annotation. In Proceedings of the 7th Conference of the Association for Machine Translation in the Americas: Technical Papers, pages 223-231, Cambridge, Massachusetts, USA. Association for Machine Translation in the Americas.

[9] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. 2020. BERTScore: Evaluating text generation with BERT. In International Conference on Learning Representations.

[10] Rei, R., Stewart, C., Farinha, A.C., and Lavie, A. 2020. COMET: A Neural Framework for MT Evaluation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 2685-2702, Online. Association for Computational Linguistics.

[11]Bexte, M., Horbach, A., and Zesch, T. 2022. Similarity-Based Content Scoring - How to Make S-BERT Keep Up With BERT. In Proceedings of the 17th Workshop on Innovative Use of NLP for Building Educational Applications (BEA 2022), pages 118-123, Seattle, Washington. Association for Computational Linguistics.

[12] Reiter, E. 2018. A Structured Review of the Validity of BLEU. Computational Linguistics, 44(3):393-401.

[13]Hanna, M. and Bojar, O. 2021. A Fine-Grained Analysis of BERTScore. In Proceedings of the Sixth Conference on Machine Translation, pages 507-517, Online. Association for Computational Linguistics.

[14]Rikters, M., Ri, R., Li, T., and Nakazawa, T. 2022. Japanese-English Conversation Parallel Corpus for Promoting Context-aware Machine Translation Research. Journal of Natural Language Processing, 28(2): 380-403. https://doi.org/10.5715/jnlp.28.380.
[15] Mathur, N., Baldwin, T., and Cohn, T. 2020. Tangled up in BLEU: Reevaluating the Evaluation of Automatic Machine Translation Evaluation Metrics. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 4984-4997, Online. Association for Computational Linguistics.

[16]Rikters, M., Ri, R., Li, T., and Nakazawa, T. 2019. Designing the Business Conversation Corpus. In Proceedings of the 6th Workshop on Asian Translation, pages 54-61, Hong Kong, China. Association for Computational Linguistics.

[17]Farajian, M.A., Lopes, A.V., Martins, A.F.T., Maruf, S., and Haffari, G. 2020. Findings of the WMT 2020 Shared Task on Chat Translation. In Proceedings of the Fifth Conference on Machine Translation, pages 65-75, Online. Association for Computational Linguistics.

[18]Rusli, A. and Shishido, M. 2022. Zero-Pronoun Annotation Support Tool for the Evaluation of Machine Translation on Conversational Texts. Journal of Natural Language Processing, 29(2):493-514. https://doi.org/10.5715/jnlp.29.493.


# Preordering based Low Resource Translation Using Pretrained Multilingual Model

Jingyi Zhu ${ }^{1}$ Takuya Tamura ${ }^{1}$ Fuzhu Zhu ${ }^{1}$ Xiaotian Wang ${ }^{1}$ Taiki Sakai $^{1}$ Takehito Utsuro $^{1}$ Masaaki Nagata ${ }^{2}$
${ }^{1}$ Deg. Prog. Sys.\&Inf. Eng., Grad. Sch. Sci.\&Tech., University of Tsukuba
 }^{2}$ NTT Communication Science Laboratories, NTT Corporation, Japan

\begin{abstract}
In this paper, we propose to apply the pretrained seq 2 seq model to conduct preordering process and translation. We use the manual word alignment data to make preorder training data, and we compared the performance of different kinds of mT5 and mBART in preordering. For the translation procedure, we choose mBART as our baseline model. We evaluated our approach on the Asian Language Treebank dataset (total of 20,000 parallel data), with directions in Japanese and English, and in-house parallel data (total of 3,000 parallel data) of Japanese and Chinese from NTT corporation. For the results, our proposed approach exceeds the baseline on the translation direction of $\mathrm{Zh}-\mathrm{Ja}$ pairs, and is close to level with the baseline on Ja-En pairs.
\end{abstract
## 1 Introduction

In recent years, more and more researches have been conducted on sequence-to-sequence (seq 2 seq) models based on pretraining $[14,6,5]$. Since the introduction of Transformer [13], the quality of translation has been greatly improved. However, in the task of low resource translation, due to the dataset's size limitation, this kind of parameter randomization model often performs poorly [16]. In order to meet this challenge, many researches have proposed large-scale pretraining models, which have been widely used in several tasks in NLP [1, 12].

In this paper, We propose applying the pretrained seq2seq model to both preordering and translation. We discussed different sizes of mT5s [14] and mBART [6], to verify the performance that those models could make in preordering when using manual word alignment data. For the translation process, we choose mBART as our baseline translation model. Translation results with the original source language as input and generated preordering as input is verified respectively. In the validation of the ALT Japanese-English dataset [9], the result of preordering as input is similar to that of the baseline. On the other hand, the result of using preordering as input is higher than the baseline in the verification of the in-house Chinese-Japanese parallel dataset provided by NTT.

## 2 Ralated Work

Kawara et al.[4] discussed the influence of word order on the NMT model and concluded that it is important to maintain the consistency between an input source word order and the output target word orders, to improve the translation accuracy.

Murthy et al.[7] proposed a transfer learning approach for NMT, that trains an NMT model on an assisting language-target language pair, and improves the translation quality in extremely low-resource scenarios.

Nevertheless, both methods above rely on separately pretraining a translation model using a large-scale parallel corpus, and handle the preordering based on the syntax tree.

Zhu et al.[16] discussed a framework that focuses on the translation task limited to a small-scale corpus using preordering and highly accurate word alignment in lowresource translation. In their work, they used an SMT model as a solution for translation and received a better result compared with Transformer. But they did not explore the use of the seq2seq large-scale pretrained model.

Our work focuses on the low-resource translation task and uses the large-scale pretrained multilingual model for fine-tuning not only the preordering but also the translation procedure.

## 3 Using Seq2seq Models for Preordering and Translation

## 3.1 Seq2seq Models

Seq2seq can be described as a sequence input of the source sequence $S=\left.\{s_{1}, s_{2}, \ldots, s_{k}\right.\}$ to a sequence output of the target $T=\left.\{t_{1}, t_{2}, \ldots, t_{m}\right.\}$, where $s_{i}(i=1, \ldots, k)$ and $t_{j}(j=1, \ldots, m)$ represent the tokens in the source sequence and the target sequence, respectively.

Seq2seq models are basically composed of an encoder and a decoder $[11,2]$. The encoder does a highdimensional vector conversion of the input sequence, and the decoder maps the high-dimensional vectors into the output dictionary from the encoder's output. This process has applications in tasks such as machine summarization [10], question-answering systems [15], and machine translation [11]. Therefore, we also tried to use the seq2seq model to conduct preordering and translation.

## 3.2 Seq2seq Models for Preordering

## 3.2.1 Preordering Process

The preordering process transforms the orders of the tokens in a source sequence to those of the tokens in its target sequence before translation is performed. An example of transferring a Japanese sentence is shown in Figure 1.

Figure 1 Transform the word order of the source Japanese language to the target English language before translation.

For the preordering procedure, we use mT5 [14] and mBART [6], which now are kinds of state-of-the-art seq2seq models. Both of them have similar self-attentionbased encoder-decoder structures, with a slight difference in the task of pretraining. The output of mT5 and mBART are mapped to the entire dictionary rather than the input dictionary.

## 3.2.2 Reordered Training Data

We followed our previous work [16] for conducting the training data for preordering as in Figure 1.

For the model input, we use the original source sequence. On the output side, we simply ignored those NULL-aligned tokens, because they were not aligned with any tokens on the target side. Specifically, according to the word alignment, the Japanese sentence ”私 (I) は黒い (black)猫 (cat) が 好き (like)" can be easily preordered into the English order of "私 (I) 好き (like) 黒い (black) 猫 (cat)" with the alignments of (私-I), (黒い-black), (猫-cat) and (好き-like) based on the word alignment. Therefore, we ignore "は" and "が" in the preordered sequence, because they were not aligned to any tokens. Thus, after removing "は” and "が" in the output side of preordered sequence, the training pair is”私 (I) は黒い (black) 猫 (cat) が 好 き (like)” and ”私 (I) 好き (like) 黒い (black) 猫 (cat) $"$. We use such training pairs to train order transformation seq2seq neural networks.

## 3.3 Seq2seq Model for Translation

For the translation process, we use mBART as the base translation model. To compare different input results, we tried multiple input patterns, which are original input, preordered input, tagged input, concatenated input, and mixed input. Original input uses the original source language sequence as input, and outputs the target language sequence. We see this pattern as the seq2seq translation baseline.
- Original input: Original source sequence $\Rightarrow$ Target language sequence

Preordered input uses the preordered source language sequence as input, and outputs the target language sequence.
- Preordered input: Preordered source sequence $\Rightarrow$ Target language sequence

Tagged input uses both original and preordered source language sequences as input but carries the sequence type tag at the head of the sequence (for example, using [ord] and [pre] to represent the original sequence and preordered sequence). Note that the size of the training set is two of the baseline, because of using original input and preordered input separately.
- Tagged input: [ord] Original source sequence $\Rightarrow$ Target language sequence

[pre] Preordered source sequence $\Rightarrow$ Target language sequence

Concatenated input merges the original and preordered source language sequence into one sequence but split by a learnable symbol.
- Concatenated input: Original source sequence [SEP] Preordered source sequence $\Rightarrow$ Target language sequence

Mixed input is a combination of the three types of input above, with the addition of a learning process for preordering. To enable the model to distinguish the expected output from the different inputs, we put a type tag before each input similar to Tagged input.
- Mixed input: [ord2pre] Original source sequence $\Rightarrow$ Preordered source sequence [ord2tgt] Original source sequence $\Rightarrow$ Target language sequence

[pre2tgt] Preordered source sequence $\Rightarrow$ Target language sequence

[concat2tgt] Original source sequence [SEP] Preordered source sequence $\Rightarrow$ Target language sequence

## 4 Experiments

## 4.1 Dataset

We use ALT ${ }^{1)}$ Japanese-English and in-house ChineseJapanese parallel data as our base dataset in our seq2seq experiments ${ }^{2}$. For word alignment, we choose to use the word alignment data based on human annotations. The data is split into the training, validation, and test parts. Each of them in ALT data includes parallel sequence pairs of $18 \mathrm{~K}, 1 \mathrm{~K}$, and $1 \mathrm{~K}$. The in-house data includes parallel sequence pairs of $2 \mathrm{~K}, 0.5 \mathrm{~K}$, and $0.5 \mathrm{~K}$.

## 4.2 Preordering Setting

Training data for seq2seq preordering is made by manual word alignment as described in section 3.2. We compare preordering results using RIBES [3] between mT5-small, mT5-base, mT5-large and mBART-large ${ }^{3}$. Every model is ensured to be trained for 40,000 steps, with a training batch size of 16 , and a learning rate of $3 \mathrm{e}-5$. Furthermore, due to the mT5-large obtained the best preordering result with the condition of a batch size of 16, we trained another mT5-

large with a batch size of $32^{4}$. We generate the preordered sequence using the model of the maximum BLEU score which is evaluated on the validation parts.

Table 1 RIBES result of seq2seq model trained by manual word alignments of transferring Japanese order into English order and opposite.

## 4.3 Translation Setting

We trained mBART models for translation using Fairseq ${ }^{5)}$, while for each input pattern, every model is trained for 40,000 steps, with a max input length of 1024 and a learning rate of 3e-5 (the same number of update steps and learning rate with the preordering process). For the generation process, we use the model with minimum label-smoothed cross-entropy loss on the validation set to generate the target translation. For preordering inputs, we use sequences generated by mT5-large, which is trained with a batch size of 32 .

Table 2 BLEU score of different models when applying the preorder input pattern for translating Ja-En pairs.

 & Ja $\Rightarrow$ En & En $\Rightarrow$ Ja \\

mT5-small & 16 & 21.44 & 26.06 \\
mT5-base & 16 & 24.38 & 27.68 \\
mT5-large & 16 & 24.83 & 28.48 \\
mT5-large & 32 & 25.22 & 28.34 \\
mBART-large & 16 & 23.28 & 27.28 \\

## 5 Result

## 5.1 Preordering Performance

Table 1 shows the RIBES result between different seq2seq models. As we can see, the RIBES score of mT5-large models have broken through 0.9 , regardless of

Table 3 BLEU scores between the different Model input types and input order. Oracle rearranges the test set according to the manual word alignment data, which is the most perfect data. Rows with Tagged as model input represent the mixed input pattern result, while the results in parentheses represent the BLEU score of tagging only on the original order and preordered sequence. ${ }^{\dagger}$ represents the significant difference $(\mathrm{p}<0.05)$ with baseline using mT5-large.

 & - & 25.74 & 29.32 & 14.11 & 17.93 \\

Table 4 RIBES score when transferring the original source sequence to preordered source sequence using mT5-large.

whether the model is trained with a batch size of 16 or 32. Table 4 contains the RIBES score of transferring the original source sequence to preordered source sequence using mT5-large. Meanwhile, thanks to the pretraining task, the preordering result fully demonstrates the feasibility of using the seq2seq model in the preordering task.

## 5.2 Translation Performance

As shown in Table 3, the concatenated inputs acquire the highest BLEU score [8] compared to other input patterns. For comparison experiments, we conducted experiments using oracle. Oracle means that the test set is also preordered using manual word alignment data instead of being generated by the seq2seq model. Based on the results, oracle outperformed the baseline by a wide margin. Although this result is impractical, it still shows the possibility of applying our method to the seq2seq model. Table 2 shows the BLEU score of different models when applying the preorder input pattern for translating Ja-En pairs. It is apparent that the final translation result corresponds with the performance of preordering. The higher the quality of the preordering, the better the final translation will gain.
In addition, in the results of preordering using mT5large, the translation quality of the concatenated input is better than that of the other inputs and baseline. By combining the original and preorder inputs into one sequence, the models could learn more about their relative positions.

For Chinese and Japanese data, the proposed approach is better than the baseline, which we believe is due to the size of the dataset. For the pretrained seq2seq model, the 18,000 training data of ALT is sufficient for fine-tuning with the original source input. However, under the condition of 2,000 parallel data, the model could learn more translation rules through the preordered input.

## 6 Conclusion

In this paper, we proposed to utilize seq2seq multilingual pretrained models for the process of preordering and translation. We used mT5-large to generate preordering sequences and mBART to translate. In our experiments, we estimated our approach on ALT Ja-En pairs and in-house Zh-Ja pairs. For the results, Our method is effective in the experiments using Chinese and Japanese parallel data and is mostly equal to the baseline in Japanese and English pairs. In our future work, we will try the method of data expansion on the pretraining model, and we will also transplant our method to $\mathrm{mT5}$ s to evaluate the translation accuracy.

## References

[1] J. Devlin, M. Chang, K. Lee, and K. Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. NAACL, pp. 4171-4186, 2019.

[2] S. Hochreiter and J. Schmidhuber. Long short-term memory. Neural Computation, Vol. 9, No. 8, p. 1735-1780, 1997.

[3] H. Isozaki, T. Hirao, K. Duh, K. Sudoh, and H. Tsukada. Automatic evaluation of translation quality for distant language pairs. In Proc. EMNLP, pp. 944-952, 2010.

[4] Y. Kawara, C. Chu, and Y. Arase. Recursive neural network-based preordering for statistical machine translation and its analysis. Journal of Natural Language Processing, Vol. 26, No. 1, pp. 155-178, 2019.

[5] Z. Lin, X. Pan, M. Wang, X. Qiu, J. Feng, H. Zhou, and L. Li. Pre-training multilingual neural machine translation by leveraging alignment information. In Proc. EMNLP, pp. 2649-2663, 2020

[6] Y. Liu, J. Gu, N. Goyal, X. Li, S. Edunov, M. Ghazvininejad, M. Lewis, and L. Zettlemoyer. Multilingual denoising pre-training for neural machine translation. Transactions of the ACL, pp. 726-742, 2020.

[7] R. Murthy, A. Kunchukuttan, and P. Bhattacharyya. Addressing word-order divergence in multilingual neural machine translation for extremely low resource languages. In Proc. NAACL, pp. 3868-3873, 2019.

[8] K. Papineni, S. Roukos, T. Ward, and W. Zhu. Bleu: a method for automatic evaluation of machine translation. In Proc. 40th ACL, pp. 311-318, 2002.

[9] H. Riza, M. Purwoadi, Gunarso, T. Uliniansyah, A. Ti, S. Aljunied, L. Mai, V. Thang, N. Thai, V. Chea, R. Sun, S. Sam, S. Seng, K. Soe, K. Nwet, M. Utiyama, and C. Ding. Introduction of the Asian language treebank. In Proc. Oriental COCOSDA, pp. 1-6, 2016.

[10] T. Shi, Y. Keneshloo, N. Ramakrishnan, and Chandan K. Reddy. Neural abstractive text summarization with sequence-to-sequence models. Vol. 2, 2021.

[11] I. Sutskever, O. Vinyals, and Q. Le. Sequence to sequence learning with neural networks. In NIPS, Vol. 27, 2014.

[12] B. Tom, M. Benjamin, and et al. Nick, R. Language models are few-shot learners. In Advances in NIPS, Vol. 33, pp. 1877-1901, 2020.

[13] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. Gomez, U. Kaiser, and I. Polosukhin. Attention is all you need. In Proc. 30th NIPS, pp. 5998-6008, 2017.

[14] L. Xue, N. Constant, A. Roberts, M. Kale, R. Al-Rfou, A. Siddhant, A. Barua, and C. Raffel. mT5: A massively multilingual pre-trained text-to-text transformer. In Proc. 15th NAACL, pp. 483-498, 2021.

[15] J. Yin, X. Jiang, Z. Lu, L. Shang, H. Li, and X. Li. Neural generative question answering. In Proceedings of the Workshop on Human-Computer Question Answering, pp. 36-42, 2016.

[16] J. Zhu, Y. Wei, T. Tamura, T. Utsuro, and N Masaaki. A framework for low resource language translation based on smt and highly accurate word alignment. In The Associa- tion for Natural Language Processing, pp. 1312-1316, 2022.

## A Appendix

Table 5 shows our actual transformation results. In the first result, although most of the preordered tokens are arranged in relatively correct places, those have meaningful tokens such as “金曜日 夜” and “停車場” are not placed correctly. However, in the second result, the generated preordered sequence is exactly the same as the reference preordered sequence.

Table 5 Results for preordering generated by mT5-large.