# 異言語間対話を支援する日英雑談対話誤訳検出

李云蒙 1 鈴木潤 1,3 森下睦 2 阿部香央莉 1
徳久良子 ${ }^{1}$ ブラサール・アナ ${ }^{3,1}$ 乾健太郎 1,3
1 東北大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所 ${ }^{3}$ 理化学研究所
li.yunmeng.r1@dc. tohoku.ac.jp

## 概要

本論文では，現在の機械翻訳手法の限界に起因す る誤訳を検出し，異言語間対話を支援するシステム の開発について述べる. システムのベースラインと して誤訳検出器を学習し, またこの評価のために,複数ターンの雑談をもとに構成された日英雑談対話対訳コーパス「BPersona-chat」[1]に対し，機械翻訳文を利用した低品質な翻訳および各翻訳に対する クラウドソーシングによる品質評価を加え，コーパ スを再構築した. 結果として, ベースライン検出器 は簡単な誤訳を検出することができた。このべース ラインを基盤とし，より複雑な異言語間対話におけ る誤訳検出器の構築を目指す.

## 1 はじめに

国際化の進展に伴い，異言語間対話の必要性が 高まっている. しかし, 現在の機械翻訳技術は,系統だった文書の翻訳では確かな性能を発揮す るが $[2,3,4]$, 対話翻訳に適しているとは言い難 い $[5,6,7,8]$. 機械翻訳システムで誤訳が生成され た場合，ユーザーはその誤訳を識別できず，混乱や 誤解を招く可能性がある. 本研究では，このような 誤訳を検出し，その発生をユーザーに通知すること で，潜在的な誤解を低減する異言語間対話支援シス テムの開発を目指す.このシステムの核心として，本論文では，異言語間対話翻訳の誤訳を検出する 誤訳検出タスクの提案およびベースラインとして BERTを用いた誤訳検出器の作成を行った. 本誤訳検出タスクの説明図を図 1 に示す. この誤訳検出で は，異言語間対話において機械翻訳モデルが誤訳文 または文脈との関連性が薄い翻訳文を生成した場合, 誤訳検出器がユーザーに誤訳の可能性があると いう警告を知らせる。この警告メッセージによっ て，A 言語側（説明図の日本語側）のユーザーはよ り機械翻訳が翻訳しやすい形にテキストを修正する

図1 機械翻訳を介した異言語間対話における誤訳検出夕 スクの概略図. 検出器は翻訳 $j a_{2}$ の正確さ 一一貫性の評価を行う。

ことが可能である。また， B言語側（説明図の英語側）のユーザーも，不適切または文脈にそぐわない 単語や文章が翻訳エラーである可能性が高いことを 認知できる.

検出した誤訳を評価するために，我々は既存の雑談対訳コーパス「BPersona-chat $」$ [1] に加え，新た に比較的低品質な機械翻訳文およびクラウドソーシ ングでラベル付けした翻訳の品質ラベル（正訳また は誤訳）を加えたデータセットを作成した。実験で は，異なる言語間の雑談対話の翻訳が正しいか誤り であるかを分類する誤訳検出器を学習し (図 1), そ の性能を作成したデータセットで評価した. 本論文 の主な貢献は（1）異言語間対話誤訳検出タスクの 提案（2）BPersona-chatコーパスの再構築（3）異言語間対話支援システムを開発するためのべースライ ン誤訳検出器の提供の三つである.

## 2 誤訳検出タスクの定義

本研究で扱う「異言語間対話における誤訳検出夕 スク」を定義する。まず，本研究では「異言語間対話」を異なる言語での雑談対話と定義する。した がって，「異言語間対話における誤訳検出タスク」と は，機械翻訳システムを介した異なる言語での対話 において，発話（応答）が翻訳システムによって正 しく翻訳されたかどうかを予測するタスクとする。本タスクでは，入力として異言語間対話中の文脈

 &  &  &  \\

表 1 原文に対して三つの翻訳文と人間による評価を付加した BPersona-chat の例.

情報（例えば，直前の相手の発話，相手の発話の翻訳，応答，応答の翻訳など）を受け取り，出力とし て応答の翻訳が誤りであるかどうかを出力する誤訳検出器を構築し，それを用いて誤訳判定を行うこと を想定する。図 1 に，日本語・英語対話における 英語応答の日本語訳を評価する例を示す．機械翻訳 システムによって, 日本語話者の最初の発話 $j a_{1}$ が $e n_{1}$ に翻訳され, 英語話者の応答 $e n_{2}$ が $j a_{2}$ に翻訳さ れる.このとき, 誤訳検出器は直前の話者の発話, その翻訳と応答 $\left(j a_{1}, e n_{1}, e n_{2}\right)$ を参照し, $e n_{2}$ の翻訳 $j a_{2}$ が正確かつ一貫しているかどうかを予測する. この例では，検出器は「I agree（賛成です）」という 応答に対する「ありがとう」という翻訳が誤訳であ ると評価している。 検出器はこのように, 会話者に 関係なく，各発話の翻訳が行われるたびに，翻訳文 を評価して誤訳の有無を検出するものと想定する

## 3 関連研究

翻訳品質推定タスク Wikipedia の記事や Amazon のレビューなど，主に人間の書いた文章を対象とし た品質評価タスク $[9,10]$ と比較して，我々の翻訳品質評価タスクは翻訳文を対象とするという点で新し いタスク設定となる. その上, 本タスクでは, 対話翻訳の誤訳を検出しするため，対話で用いる口語文 の文脈を理解する必要がある.

並列対話コーパス 日英対話コーパスとして，商談シーンを収録した Business Scene Dialog [11] があ る.しかし，我々のタスクではより日常的なシーン での対話支援を目的としている. 我々は他言語の並列対話コーパスの構築方法を参考に，タスクに相応 しい日英雑談対話コーパスを構築した. ここでは，英独対話コーパス BConTrasT [7] と英中対話コーパ ス BMELD [8] の構築を参照した. 英独対話コーパ ス BConTrasT は, WMT2020 対話翻訳タスクの主催者が英語対話コーパス Taskmaster-1 [12] をドイツ語
に翻訳して作成したコーパスである。また，英中対話コーパス BMELD も同様に，MELD [13] という英語対話コーパスを中国語に翻訳して作成したコーパ スである.

これらの並列対話コーパスを参考に，我々は雑談対話が含まれる英語対話コーパス Persona-chat [14] と日本語対話コーパス JPersona-chat [15] を元になる データセットとして採用し，日英雑談対話対訳コー パス BPersona-chat を構築した [1]. 品質を保証する ため，クラウドワーカーに依頼して Persona-chat 中 にある不自然な話題転換や誤解などが含まれていて 一貫性がない対話をフィルタリングし，プロの翻訳家の手で翻訳を付与した.

本研究では、提案タスクを評価するため，一度構築した BPersona-chat に新たな翻訳とアノテーション を付与し、評価用データセットとして再構築した.

## 4 評価用データセット

本タスクの評価用データセットにするため, BPersona-chat に新たな翻訳文を追加した. さらに，翻訳が対話翻訳として許容できるかについて評価 し，データセットを再構築した. 詳細は以下の通り である.

## 4.1 対話データの人間による翻訳

BPersona-chat を構築する際，Persona-chat の合計 2, 940 の発話から上位 200 件の発話と, JPersona-chat の合計 2,740 の発話から上位 250 件の発話を抽出 し，それぞれの対象言語に翻訳した1）。翻訳者には，翻訳の正確さと対話としての一貫性の双方に配慮し てもらった. その結果， 450 の対話（5,680の発話） とその翻訳を得ることができた [1]. BPersona-chat を再構築する際，上記のデータも人間による翻訳と して活用した.

図 2 人間による翻訳，モデル A の翻訳，モデル B の翻訳 それぞれにおけるアノテーション後の正訳と誤訳の割合.

## 4.2 対話データの機械翻訳

誤訳検出タスクを解く検出器のベースラインを構築するため，BPersona-chat における専門家の翻訳に 加え，主に負例として利用することを念頭に機械翻訳で生成した翻訳結果を用意した。機械翻訳結果を 得るために，2 種類の機械翻訳モデルを用意した. その 1 つは, OpenSubtitles2018 [16] によって学習し た Transformer ベースのニューラル機械翻訳（NMT） であり，これをモデル $\mathrm{A}$ と呼ぶ. モデル $\mathrm{A}$ の出力を BPersona-chat で評価すると，BLEU の値 [17] は 4.9 となった2)。なお，モデル A の BLEU 值が比較的低 い原因は, OpenSubtitles2018 と BPersona-chat のドメ インが違うことによるものと考えられる.しかし， データセットを構築するためにあえて低品質の翻訳結果が必要であったため，これは望ましい結果であ る。次に，より良い機械翻訳文を生成するため，公開されている機械翻訳 API（DeepL API）を使用し た.これをモデル B と呼ぶ. BPersona-chatをモデル B で評価すると BLEU スコアは 26.4 となった.

## 4.3 翻訳の人間による評価

人間の翻訳および機械翻訳モデル $\mathrm{A}, \mathrm{B}$ が生成し た翻訳候補に対し, 誤訳検出タスクにおける翻訳品質ラベルを付与した。なお，この判定は，英語と日本語の両方に堪能なクラウドワーカーを集めて実施した. 図 2 に示す結果から，モデル A の翻訳の $89.58 \%$ ，モデル B の翻訳の $30.25 \%$ ，人間の翻訳の $10.51 \%$ が誤訳と評価された ${ }^{3}$.

発話に付与された翻訳が全て正しくない場合，誤訳検出タスクにおいて参照する文脈として使用す ることは難しい。したがって，人間による翻訳，モ デル $\mathrm{A}$ の翻訳，モデル $\mathrm{B}$ の翻訳の全てが誤ってい る 159 件の発話は評価データとして用いないことと

2） NMT モデル A の学習は付録 A を参照.

3）クラウドソーシングの詳細については付録 C を参照.

表 2 マジョリティクラス分類器，マイノリティクラス分類器，および誤訳検出器の精度.

表 3 BPersona-chatにおける誤訳検出器の $\mathrm{F}$ 值，適合率と 再現率.

した。最終的には，英語発話 2,674 件に対して日本語訳 8,022 件が得られ，そのうち 3,406 件が誤訳，残りの 4,616 件が正訳であった．また，日本語発話 2,397 件に対して英語訳 7, 190 件が得られ，3,096 件が誤訳，4,094 件が正訳となった。これらをまと めて BPersona-chat コーパスを再構築した ${ }^{4)}$. 表 1 は BPersona-chat のサンプルである.

## 5 ベースライン誤訳検出器

誤訳検出器のベースラインとして, BERT に基づく二值分類モデル $[18,19]$ を学習・評価した ${ }^{5)}$. 英語発話 $e n_{2}$ の日本語翻訳 $j a_{2}$ の 誤訳判定をする場合，分類モデルの入力は “ $j a_{1}$ [SEP]en $n_{1}$ [SEP]en $n_{2}$ [SEP] $j a_{2}$ ”とした. 同様に, 日本語発話 $j a_{2}$ の翻訳 $e n_{2}$ の誤訳判定をする場合,

BERT の元実験と同様，分類結果に SoftMax 関数を 適用して予測値を計算した。

分類モデルの学習には OpenSubtitles2018 データ セット約 100 万の発話を用いた．参照訳を正例，低品質翻訳モデル A による出力を（4.2 節）で擬似的 な負例とし, HuggingFace ${ }^{7)}$ が提供する多言語 BERT モデルを再学習して，英語から日本語，日本語から 英語両方向の誤訳検出器を構築した。

## 6 実験

本節では，異言語間対話訳における誤訳検出器の 試行と評価結果を報告する。

英 $\rightarrow$ 日

表 4 BPersona-chat に対する誤訳検出器の混同行列（行 ヘッダが人間による評価, 列ヘッダが検出器による予測).

## 6.1 評価指標

マジョリティクラスとマイノリティクラス分類器誤訳検出器の予測が偶然正解したものではないこと を確認するために，マジョリティクラス分類器，マ イノリティクラス分類器，そして誤訳検出器の精度 を計算した。

$\mathrm{F}$ 値, 適合率と再現率 誤訳検出器の性能は $\mathrm{F}$ 値 （F）によって評価した。また，適合率（Pre）と再現率（Rec）も合わせて計算した.このとき真値（T） を誤訳ラベルが付いた事例，正例（P）を検出器が 誤訳と判定した事例とした。

混同行列 誤訳検出器の性能を評価するため，翻訳が人間，NMT モデル A，NMT モデル B のいずれ によって翻訳されたかに応じて混同行列を示す.

## 6.2 結果

誤訳検出器は異言語間対話中の誤訳をある程度分類することができることがわかった. 表 2 に示す精度から, 誤訳検出器はマジョリティクラスとマイノ リティクラス分類器と比較して高い性能を得た。こ の結果は，検出器は片方の結果のみを偏って出力し ているわけではないということを示している。さら に，表 3 に示す $\mathrm{F}$ 值，適合率，再現率によると，誤訳検出器は BPersona-chat の誤訳をそれなりの精度 で識別することが可能であった.

しかし，表 4 に翻訳の種類に応じた混同行列よ り，検出器は高品質なモデル B で生成された翻訳を うまく識別することはできなかった。．検出器はモ デル B で生成された誤訳の半分以上を正訳として判断した。うまく判別できなかった理由として，誤訳検出器が, 低品質なモデル A で生成された負例で学習を行なっていることが挙げられる。誤訳検出器と従来の BLEU 計算による評価を 比較するため，BPersona-chat 中の誤訳文に対する sentence-BLEU スコア $[20]^{8)}$ を計算した. sentenceBLEU を計算する際，正訳ラベルがついた翻訳文を 参照訳とした。その結果，誤訳ラベルがついた例の うち，誤訳検出器によって誤訳と判断され，かつ sentence-BLEU スコアも 60 以下となった翻訳文は日本語誤訳の $78.83 \%$, 英語誤訳の $76.75 \%$ となった. なお，誤訳ラベルがついた例のうち，誤訳検出器 では正しく誤訳と判断されたが sentence-BLEU スコ アが 60 以上となる翻訳文は，日本語誤訳の $2.14 \%$,英語誤訳の $21.83 \%$ となった。結果として, 誤訳検出器は正しい翻訳（参照訳）の有無に依存せず， sentence-BLEU スコアを基準として誤訳を判別した ときの精度の 70〜 80\%程度に匹敵すると判明した. また，特に英語訳文を判定する際，ベースライン誤訳検出器は sentence-BLEU スコアが高い，すなわち 表層的には正訳と類似している誤訳文も検出可能で あることを示唆する結果が得られた. このように， ここに提案する誤訳検出器は，BLEU のような指標 では判別できない誤訳を判別できる可能性が高く， この結果は誤訳検出器が異言語間対話の支援システ ムとして活用できる可能性を示している.

## 7 まとめ

本論文では，異言語間でのコミュニケーションを 支援するために，異言語間対話における誤訳検出夕 スクを提案した。本研究における評価のために，複数ターンの雑談をもとに構成された日英対訳コー パスに，比較的低品質な機械翻訳文およびクラウド ソーシングによる翻訳の品質（正訳または誤訳）の 分類を付与した評価用データセットを構築した。ま た，誤訳を検出する誤訳検出器を学習し，異言語対話における誤訳の検出を支援するシステムのベース ラインを構築した．更に，上記の評価用データセッ トを用いてベースラインを評価した。

今後，異言語間対話支援システムの向上に向け て，より詳細に誤訳の可能性を示す機能の実現を目指している。発展として，翻訳に含まれる具体的な 誤りを特定できるように，二值分類を複数ラベルに 改良することを考えている。また，発話候補を参考情報として提供し，ユーザーに発話の修正を促すこ とも検討したい.

## 謝辞

本研究は JST 科学技術イノベーション創出に 向けた大学フェローシップ創設事業 JPMJFS2102, JST CREST Grant Number JPMJCR20D2，JST ムーン ショット型研究開発事業 JPMJMS2011，JSPS 科研費 JP20J21694 の支援を受けたものである.

BPersona-chat の配布を許可いただいた Personachat [14] の開発者様と JPersona-chat [15] の開発者様 に深く感謝申し上げます。

Amazon Mechanical Turk  に おいてクラウドワーカーとしてご協力いただいた皆様へ，深く感謝を申し上げます。

本研究を進めるにあたり，頻繁に議論に参加して いただいた東北大学 Tohoku NLP グループの皆様へ 感謝いたします。

## 参考文献

[1] Yunmeng Li, Jun Suzuki, Makoto Morishita, Kaori Abe, Ryoko Tokuhisa, Brassard Ana, and Inui Kentaro. Bpersona-chat: A coherence-filtered english-japanese dialogue corpus. In Proceedings of NLP2022, pp. E7-3, 2022.

[2] Loïc Barrault, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Mark Fishel, Yvette Graham, Barry Haddow, Matthias Huck, Philipp Koehn, Shervin Malmasi, Christof Monz, Mathias Müller, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2019 conference on machine translation (WMT19). In Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 1-61, 2019.

[3] Loïc Barrault, Magdalena Biesialska, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Matthias Huck, Eric Joanis, Tom Kocmi, Philipp Koehn, Chi-kiu Lo, dow, Matthias Huck, Eric Joanis, Tom Kocmi, Philipp Koehn, Chi-kiu Lo, aki Nakazawa, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2020 conference on machine translation (WMT20). In Proceedings of the Fifth Conference on Machine Translation, pp. 1-55, 2020

[4] Toshiaki Nakazawa, Nobushige Doi, Shohei Higashiyama, Chenchen Ding, Raj Dabre, Hideya Mino, Isao Goto, Win Pa Pa, Anoop Kunchukuttan, Yusuke Oda, Shantipriya Parida, Ondřej Bojar, and Sadao Kurohashi. Overview of the 6th workshop on Asian translation. In Proceedings of the 6th Workshop on Asian Translation, pp. 1-35, 2019

[5] Samuel Läubli, Rico Sennrich, and Martin Volk. Has machine translation achieved human parity? a case for document-level evaluation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4791-4796, 2018.

[6] Antonio Toral, Sheila Castilho, Ke Hu, and Andy Way. Attaining the unattainable? reassessing claims of human parity in neural machine translation. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 113-123, 2018 .

[7] M. Amin Farajian, António V. Lopes, André F. T. Martins, Sameen Maruf, and Gholamreza Haffari. Findings of the WMT 2020 shared task on chat translation. In Proceedings of the Fifth Conference on Machine Translation, pp. 65-75, 2020.

[8] Yunlong Liang, Fandong Meng, Yufeng Chen, Jinan Xu, and Jie Zhou. Modeling bilingual conversational characteristics for neural chat translation, 2021.

[9] Lucia Specia, Frédéric Blain, Marina Fomicheva, Erick Fonseca, Vishrav Chaudhary, Francisco Guzmán, and André F. T. Martins. Findings of the WMT 2020 shared task on quality estimation. In Proceedings of the Fifth Conference on Machine Translation, pp. 743-764, 2020.

[10] Erick Fonseca, Lisa Yankovskaya, André F. T. Martins, Mark Fishel, and Christian Federmann. Findings of the WMT 2019 shared tasks on quality estimation. In Proceedings of the Fourth Conference on Machine Translation (Volume 3: Shared Task Papers, Day 2), pp. 1-10, 2019.

[11] Matīss Rikters, Ryokan Ri, Tong Li, and Toshiaki Nakazawa. Designing the business conversation corpus. In Proceedings of the 6th Workshop on Asian Translation, pp. 54-61, Hong Kong, China, November 2019. Association for Computational Linguistics.

[12] Bill Byrne, Karthik Krishnamoorthi, Chinnadhurai Sankar, Arvind Neelakantan, Daniel Duckworth, Semih Yavuz, Ben Goodrich, Amit Dubey, Andy Cedilnik, and Kyu-Young Kim. Taskmaster-1: Toward a realistic and diverse dialog dataset, 2019.

[13] Soujanya Poria, Devamanyu Hazarika, Navonil Majumder, Gautam Naik, Erik Cambria, and Rada Mihalcea. Meld: A multimodal multi-party dataset for emotion recognition in conversations, 2019.
[14] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too?, 2018

[15] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems, 2021.

[16] Pierre Lison, Jörg Tiedemann, and Milen Kouylekov. OpenSubtitles2018 Statistical rescoring of sentence alignments in large, noisy parallel corpora. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), pp. 1742-1748, 2018

[17] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Lin guistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[18] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[19] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clemen Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-ofthe-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System ence on Empirical Methods in $\mathrm{Nat}$
Demonstrations, pp. $38-45,2020$.

[20] Steven Bird, Ewan Klein, and Edward Loper. Natural language processing with Python: analyzing text with the natural language toolkit. O'Reilly Media, Inc.", 2009.

[21] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Advances in Neural Information Processing Systems 31 (NIPS 2017), pp. 5998-6008, 2017

[22] Jörg Tiedemann and Yves Scherrer. Neural machine translation with extended context. In Proceedings of the Third Workshop on Discourse in Machine Translation, pp. 82-92, 2017

[23] Diederik Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of the 3rd International Conference on Learning Representations (ICLR 2015), 2015

[24] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research, Vol. 15, No. 56, pp. 1929-1958, 2014

[25] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jon Shlens, and Zbigniew Wojna. Rethinking the Inception Architecture for Computer Vision. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016), pp. 2818-2826, 2016

[26] Myle Ott, Sergey Edunov, David Grangier, and Michael Auli. Scaling Neural Machine Translation. In Proceedings of the Third Conference on Machine Translation (WMT 2018), pp. 1-9, 2018.

[27] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's neural machine translation system Bridging the gap between human and machine translation. CoRR, Vol. abs/1609.08144, , 2016.

[28] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, 2019.

[29] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine transla tion of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

表 5 NMT モデル A 学習のハイパーパラメータ一覧

表 6 分類モデル学習のハイパーパラメータ一覧

## A 翻訳モデルの学習設定

ニューラル機械翻訳モデル $\mathrm{A}$ を学習する際，まずは BPE [29] でコーパスをトークナイズしてサブワードにす る. 語彙の大きさは 32,000 とした. 文脈を考慮するため に，2つの入力文を与えて 2 つ連続して出力する 2-to-2 Transformer-based NMT モデル A [22] を学習した. 表 5 に ハイパーパラメータの一覧を示している.

## B 分類モデルの学習設定

分類モデルの学習について説明する. 表 6 にハイパー パラメータの一覧を示している.

## C クラウドソーシング関連設定

## C. 1 Persona-chat のフィルタリング

Amazon Mechanical Turk (https://requester.mturk. $\mathrm{com} /$ ）のクラウドワーカーに，Persona-chat の一貫性 がない対話をフィルタリングするよう依頼した. 以下に 当てはまる場合，「一貫性がない」対話であると定義した.
- questions being ignored;
- the presence of unnatural topic changes;
- one is not addressing what the other said;
- responses seeming out of order;
- or being hard to follow in general.

ワーカーには，誤字脱字などの細かいことは気にせず，大 まかな流れを把握するよう指示した。

フルラウンドでは, Persona-chat から 1,500 の対話を選択した. クラウドワーカーは，予選を経て選ばれた．各 クラウドワーカーは対話 5 件を評価し，各対話は異なる ワーカー 10 人によって評価された. 選ばれた 200 対話は ワーカー 10 人のうち，少なくとも七人が正しいかつ一貫 していると評価した対話となった.

## C. 2 対話に対する翻訳の評価

クラウドワークス (https://crowdworks.jp/）のクラウ ドワーカーに，BPersona-chatの人間による翻訳と機械翻訳を低品質か高品質かラベル付けしてもらうタスクを 行った. クラウドワーカーの資格は，日本語はネイティ ブレベル，英語はビジネス・アカデミックレベルに到達 できるレベルとなっている。このタスクでは，以下の場合に「低品質である」と定義した.
- the translation is incorrect;
- parts of the source chat are lost;
- there are serious grammatical or spelling errors that interfere with understanding;
- the person's speaking style changes from the past utterance;
- the translation is meaningless or incomprehensible;
- or the translation is terrible in general.

ワーカーは，対話全体が含まれるファイルを一つ一つ確認し，各発話を評価することができた。

ワーカーによって，クラウドワーカーは二週間でファ イル 50 個から 300 個程度を評価した。このタスクは事前 に予選を行い，予選を通過したワーカーのみ本選（実際 の作業）に参加可能とした.


# 計算資源が限られた複数組織での出力選択による協働の検討

伊藤郁海 ${ }^{1}$ 伊藤拓海 ${ }^{1,2}$ 鈴木潤 1,3 乾健太郎 1,3
1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 理化学研究所
ikumi.ito.p8@dc.tohoku.ac.jp \{t-ito,jun.suzuki,kentaro.inui\}@tohoku.ac.jp

## 概要

潤沢な計算資源を持たない組織一つでは，高性能 な大規模ニューラルモデルの開発は困難である. 本稿では，そのような組織がそれぞれ開発したモデル を集結させて組み合わせた場合の性能は, 潤沢な計算資源を使い一箇所で訓練されたモデルの性能に匹敵するのかどうか検証する．実験では，独立に訓練 された少訓練データかつ小サイズの小モデル群と,多訓練データかつ大サイズの単独大モデルの英日翻訳の性能比較を行った. 実験の結果，小モデル群が 生成する複数の出力の中から適切な出力を選択した 場合, 小モデル単体と比較して 10 倍の訓練データ 量かつ 3 倍のモデルサイズの大モデルの能力に匹敵 する性能を達成した。

## 1 はじめに

近年，自然言語処理分野において大規模ニューラ ルモデルが様々なタスクで高い性能を達成してい る. その背景には，より多くの訓練データを用い て，より大きなモデルを訓練することで，モデルの 性能がべき乗則に従って向上し続けることが期待で きるという実験的知見がある [1]. 今後も高性能モ デルの実現を目的とした訓練データやモデルサイズ のさらなる大規模化が進む可能性は十分考えられ る.こうした大規模モデルの開発には多くの計算資源が必須となるため，潤沢な計算資源を持つ一部の 企業や研究機関 (大組織) のみがモデル開発を行っ ているというのが実情である. しかし，大学の研究室など計算資源が潤沢ではない組織（小組織）が高性能なモデルの開発に関与できないという状況は望 ましくない [2]. 限られた計算資源を最大限に活用 する方法を模索し, より広く多くの研究者や開発者 がモデルの性能向上において競争力を持つことは重要である.

では，どのようにすれば計算資源で劣る組織が性能の高いモデルを開発することができるだろうか.本稿では，計算資源で劣る複数の小組織が力を合わ せた場合に，大組織が作るモデルに匹敵する性能を 達成できるかどうかを検証する．具体的には，独立 に訓練された少訓練データかつ小サイズの小モデル 群と多訓練データかつ大サイズの単独大モデルの性能比較を行う. 本稿では，小モデル群の活用方法と して，各小モデルの出力の中から最適であると推定 される出力を小モデル群全体の出力として採用する という戦略をとる。訓練済みモデルを多数集め，そ れらのモデルの出力の中から最適であると推定され る出力を選択するという戦略は，各モデルの訓練は 独立に行うことができるという点で有用である. モ デルの訓練を独立に実行できることには二つの利点がある。一つ目は，訓練データの共有が不要な点 である。これによりプライバシー保護が必要な組織 （例: 医療機関，金融機関など）が持つデータを活用 できる。二つ目は，他の組織の開発やモデル共有後 の工程に対する考慮が不要な点である．個々の組織 は，既存のモデル開発ノウハウをそれぞれの状況に 合わせて自由に適用することができる.

本稿では，英日翻訳タスクを題材として小組織群 と大組織間の比較を行った. 模擬実験としての簡易化のために，以下の制約のもとに実験を行った.

・各小組織は，大組織用の訓練データを等分割し たものの一部を訓練データとして用いる.

$\cdot$訓練，推論の独立性は保った上で，小組織間で 同一の実験設定を用いる.

実験の結果，複数の小モデルの出力集合に対して，参照なし評価指標を用いた出力選択を行ったとこ ろ，大モデル（小モデル単体と比較して 10 倍の訓練データ量かつ 3 倍のモデルサイズ）の性能に匹敵 する結果となった。

## 2 関連研究

計算資源が限られている場合でも，高精度なモデ ルを構築するため，さまざまな研究が行われてい

る. 例えば，モデル性能を保ちながら効果的な訓練 データを選択することで，訓練データ量の削減を試 みた研究がある $[2,3]$. また，量子化などによりパ ラメータサイズを削減した上でモデルを訓練すると いう方法も提案されている [4, 5].

他にも，本研究と類似した取り組みとして，独立 した複数の計算機の協働による分散的なモデル訓練方法も研究されている. 例えば，連合学習は，モデ ルの訓練データが分散して存在する場合に，それぞ れの場所で独立にモデルの訓練を行った後，各モデ ルの更新情報を集約することにより，全体として一 つの大きなモデルを訓練する手法である [6]. また，訓練の独立性を保ちながら複数モデルの合成を繰り 返し，性能向上を試みる新たな事前訓練手法も提案 されている [7].

また，本研究と同様に，複数のモデルを推論時に 用いることで良い出力を得る方法も研究されてい る. 例えば，アンサンブル [8] は，複数のモデルの 予測確率を共有し, その平均から最終的な出力を得 る手法である. そのため, 複数の組織間でアンサン ブルを適用するためには事前にモデルの辞書を共有 することが必要である.

モデルの推論時ではく，推論後の出力集合をリラ ンキングやその集合から最も良い出力を選択すると いう方法も研究されている [9].

## 3 タスク定義

本稿では，モデルの訓練に使用するデータ量とモ デルサイズを制御することにより，使える計算資源 が少ない小組織と，豊富な計算資源を使える大組織 を再現する．本実験の概要を図 1 に示す.小組織の総数を $n$ とし，大組織，小組織が使用す る訓練データをそれぞれ $D, d_{i}(1 \leq i \leq n)$ とすると，本実験における $D$ と $d_{i}$ の関係は以下のように表さ れる1).

$
D=d_{1} \cup d_{2} \cup \ldots \cup d_{n}, \quad d_{i} \cap d_{j}=\emptyset(i \neq j)
$

また，大組織，小組織が使用するモデルをそれぞ れ $M, m_{i}$ とすると，モデルサイズに関して， $M>m$ が成り立つ. 実験にて使用する具体的なデータセッ トおよびモデルは， 4.2 節， 4.1 節にて述べる.

大組織は，訓練データ $D$ を用いてモデル $M$ の訓練を行い，評価データ $X$ に対する出力を評価指標

1）組織間において共通の訓練データが存在し，かつ訓練デー タの一部のみが各組織独自のデータであるような状況も想定 され得るが，本実験の対象外とする。

図 1 実験設定の概要

$\operatorname{Eval}(\cdot)$ により評価する．大組織のモデルのスコアは 次の式で表される.

$
\text { score }_{\text {Large }}=\frac{1}{|X|} \sum_{n=1}^{|X|} \underset{x_{n} \in X}{\operatorname{Eval}\left(M\left(x_{n}\right)\right)}
$

各小組織は，訓練データ $d_{i}$ を用いてモデル $m_{i}$ の訓練を独立に行う. その後, 評価データ $x_{j} \in X(1 \leq j \leq|X|)$ に対する小モデルたちの候補文集合 $Y_{j}$ を得る.

$
Y_{j}=\left.\{y_{1}=m_{1}\left(x_{j}\right), y_{2}=m_{2}\left(x_{j}\right), \ldots, y_{i}=m_{i}\left(x_{j}\right)\right.\}
$

出力選択関数を $f_{\mathrm{sel}}(\cdot)$ とすると, 評価文 $x_{j}$ に対し て最終的な出力 $h_{j}$ は以下のようになる.

$
h_{j}=\underset{y \in Y_{j}}{\arg \max } f_{\mathrm{sel}}(y)
$

評価データ $X$ に対する小モデル群のスコアは次の 式で表される.

$
\text { score }_{\text {small }}=\frac{1}{|X|} \sum_{n=1}^{|X|} \operatorname{Eval}\left(h_{n}\right)
$

実験にて使用する具体的な Eval および $f_{\text {sel }}$ は, 4.3 節にて述べる.

なるかどうかを検証する。

## 4 実験

本稿では，英日翻訳タスクにて実験を行う。

## 4.1 モデル

翻訳モデルとして, Transformer [10]を使用した. モデルパラメータが約 100M のモデルを小組織が扱 う小モデル，約 $300 \mathrm{M}$ のモデルを大組織が扱う大モ デルとみなした.

## 4.2 訓練用/評価用データセット

訓練データとしてJParaCrawlv3.0 [11]（約 25M）を 使用した. 小モデルは，25M の訓練データを等分割 したもの2)の一部を用いてモデルの訓練を行う．大 モデルは，25M の訓練データを全て用いてモデルの 訓練を行う。また，評価用データとして WMT2022 の newstest2022 [12]を使用した. サブワード分割器 およびモデルの辞書の作成は，分割前の全訓練デー 夕をもとに行い，小組織，大組織含め全モデルで 同一のものを使用した.また、評価指標として， COMET[13] ${ }^{3)}$ と BLEURT $[14,15]^{4)}$, sacreBLEU [16] を使用する。

## 4.3 出力選択方法

本実験では，式 4 の出力選択関数 $f_{\mathrm{sel}}(\cdot)$ として,参照あり評価指標である COMET と参照なし評価指標である COMETKIWI [17] ${ }^{5}$ を使用する。参照あ り手法は評価時に参照テキストを使用し出力選択 をしているため，実際の設定では使用することが できない。また，COMET は評価指標として使用し たものと同じモデルを使用した. つまり，COMET による出力選択はオラクル設定である。一方で， COMETKIWI は出力選択時に，翻訳モデルへの原文 と翻訳モデルの出力のみが必要であり，現実の設定 でも利用可能な方法である. ${ }^{6)}$

## 4.4 比較設定

本稿では，以下の設定の翻訳性能を比較する。

・Small : 小モデル. それぞれ小モデル群の平均値（Mean），最大値（Max），最小値（Min）を報告する.
- Large : 大モデル単体.

-Est：小モデルの候補文集合から COMETKIWI で最大スコアとなる翻訳文を選択する方法.

2）本実験では，分割においてドメインやトークン数など各 データ集合の性質に関する考慮は行わない。

3) https://unbabel-experimental-models.s3.amazonaws. com/comet/wmt22/wmt22-comet-da.tar.gz（11月 22 日時点 で公開されていたモデル)

4) https://storage.googleapis.com/bleurt-oss-21/ BLEURT-20.zip

5) https://unbabel-experimental-models.s3.amazonaws. com/comet/wmt22/wmt22-cometkiwi-da.tar.gz（11 月 23 日時点で公開されていたモデル)

6） wmt22-comet-da の訓練データは，2017 年から 2020 年の WMT News Translation Task における人手評価データである. また, wmt22-cometkiwi-da の訓練データは, wmt22-comet-da の訓練データと MLQE-PE データ [18] である.表 1 訓練データを 10 等分割した場合の結果（newstest2022)

-PostCosE：小モデルの候補文集合に含まれる各文を単語分散表現を用いてべクトル化し，他の 文とのコサイン類似度が最も高い翻訳文を選択 する方法 [9]. 単語分散表現は，fastText[19] に より，JParaCrawlv3.0 の日本語データを用いて 作成.

・MaxRef : 小モデルの候補文集合から COMET で 最大スコアとなる翻訳文を選択する方法.

個々の小モデルのハイパーパラメータ等の設定は全 て揃えて実験を行った。なお，ハイパーパラメータ 等の詳細な設定は付録 $\mathrm{A}$ に示す.

## 4.5 実験結果・考察

表 1 に，訓練データを 10 等分割し，小モデルが 10 個存在する状態における WMT2022 の newstest2022 に対する各手法の評価結果を示す. 7$)$

Small は，いずれもLarge に劣る性能を示し た. ${ }^{8)}$ Est は, COMET と BLEURT において Large を 超える性能を示し，MaxRef は全ての評価指標にお いて Large を超える性能を示した。これらの結果よ り，モデルを複数用意した上で，それぞれの出力の 中から最適な選択ができた場合，個々のモデルの性能から大きな性能向上が期待できる．また，Est と MaxRef の性能差は COMET と COMETKIWI の性能差でもある.

他方，PostCosE は Est と比較して小さな性能向上 に留まった。その要因として，それぞれの手法の出力選択戦略の違いが考えられる. PostCosE は，モデ ル群の中央值的な出力を採用する手法である．この 手法は，モデル群の中で及第点となる性能を持つモ デルが多数派となるような状況において有効である

7) WMT2022 の newsdev2022, WMT2020 の newsdev2020 に対 する評価も行い，結果を付録 Cに示した。

8）付録 B に，全訓練データで訓練した Small モデルの性能と 10 分割データで訓練した Large モデルの性能を示す. Large が Smallを超える性能を示した要因は，訓練データの量とモ デルサイズの両方の影響であると示唆される..

と考えられる. 一方で, Est は, モデル群の中で最良と推定される出力を採用する手法である. この手法は，モデル群の中で性能の低いモデルが多数派で あっても，高性能なモデルが一つでも存在すればそ のモデルの出力が選択される. 訓練データが全く異 なるなど，本実験のように各モデルの性能にばらつ きが生じる得る状況の場合は，Est の方が PostCosE よりも好相性であることが示唆される.

## 4.6 発展：アンサンブル

使用できるモデルが複数ある場合に，それらのモ デルを活用する方法の一つとして推論時のアンサン ブル [8] が挙げられる. しかし，一般的なアンサン ブルではモデル間でモデルの辞書を共有する必要が ある。本稿では各小モデルが独立に訓練される場面 を想定しているため，アンサンブルは比較設定に含 まなかった. しかしながら，実験前に全ての小組織間で調整を行い，アンサンブルの実施が可能な場合 は有効な手法である．そこで，本章では追加でアン サンブルを含む実験を行い，その結果を報告する。 なお，章 4.5 とは異なり，訓練データを 4 等分割し,小モデルが 4 個存在する状態にて実験する.

表 2 に，WMT2022 の newstest2022 に対する各手法の評価結果を示す. Small-*のハイフン以下はモ デルのIDを示す. また, $0+1$ は Small-0と Small-1 をアンサンブルした場合の結果である。***(4), ***(15) は出力選択の対象となるモデル数の違いを 示す.つまり, Est(4) は Small-0から Small-3 の 4 モデル、Est(15) は Small-0から Small-0+1+2+3 ま での 15 モデルで候補文集合を得て出力選択を行っ た設定である.

全ての評価指標において, Est(4)よりも Est(15), MaxRef(4)よりもMaxRef(15) の方が高い性能を示 した。これは，モデルアンサンブルを適用すること で，候補文集合内により良い出力を得られたことを 意味する。

また，アンサンブルに参加するモデル内に，性能 が低いモデルが含まれる場合は，性能が向上しな い場合もあることがわかった. 4 つの小モデル単体 の性能に着目すると，Small-2 の COMET が他のモ デルと比較して低く, Small-2がアンサンブルに関 わる場合の COMET の値に注目すると，Small-2 が 参加しない場合の方が高い性能を示している（例：

Small-0+1:0.7919, Small-0+1+2:0.7898).

## 5 おわりに

本稿では，独立に訓練された少訓練データかつ小 サイズの小モデル群は，多訓練データかつ大サイズ の単独大モデルと同等の性能を達成できるのか，と いう研究課題の検証を英日翻訳の性能比較により 行った. 複数の小モデルの出力集合に対して，参照 なし評価指標を用いた出力選択を行った場合の性能 は，大モデルの性能に匹敵することを示した．本実験結果は，計算資源の制約により単独組織が構築で きるモデルの性能に限界があったとしても，複数の 組織が協働することで，潤沢な計算資源を持つ単独組織が作成する大規模モデルに匹敵する性能を達成 できる可能性があることを示唆するものである.

候補文集合から出力選択を行う戦略においては,出力選択器の性能が鍵となるため, 出力選択器のさ らなる性能向上が望まれる，今後の展望として，翻訳タスク以外でも実験を行うことを計画している。 また，GPT-3 [20]のような汎用言語モデルによる複数タスクの性能比較においても本実験と同様の結果 が得られるのかも検証する予定である。本実験では 各小組織の訓練データが全て異なる設定を用いた が，訓練データの一部を共有するなど，より現実に 即した設定での実験を検討する。

## 謝辞

本研究は，JST ムーンショット型研究開発事業 JPMJMS2011（fundamental research), JSPS 科研費 JP21J14152 の助成を受けて実施されたものです.ま た，本研究を進めるにあたり，有益な助言を頂きま した東北大学 乾 - 坂口 ・徳久研究室の仲村祐希氏 へ感謝いたします.

## 参考文献

[1] Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling Laws for Neural Language Models, 2020.

[2] 鈴木潤, 全炳河, 賀沢秀人. ニューラル言語モデルの効率的 な学習に向けた代表データ集合の獲得. 言語処理学会第 28 回年次大会, 2022.

[3] Tongzhou Wang, Jun-Yan Zhu, Antonio Torralba, and Alexei A. Efros. Dataset Distillation, 2018 .

[4] Itay Hubara, Matthieu Courbariaux, Daniel Soudry, Ran El-Yaniv, and Yoshua Bengio. Quantized Neural Networks: Training Neural Networks with Low Precision Weights and Activations. J. Mach. Learn. Res., Vol. 18, No. 1, p. 6869-6898, jan 2017.

[5] Ron Banner, Itay Hubara, Elad Hoffer, and Daniel Soudry. Scalable Methods for 8-Bit Training of Neural Networks. In Proceedings of the 32nd International Conference on Neural Information Processing Systems, NIPS'18, p. 5151-5159, Red Hook, NY, USA, 2018. Curran Associates Inc.

[6] Brendan McMahan, Eider Moore, Daniel Ramage, Seth Hampson, and Blaise Aguera y Arcas. Communication-Efficient Learning of Deep Networks from Decentralized Data. In Aarti Singh and Jerry Zhu, editors, Proceedings of the 20th International Conference on Artificial Intelligence and Statistics, Vol. 54 of Proceedings of Machine Learning Research, pp. 1273-1282. PMLR, 2017.

[7] Margaret Li, Suchin Gururangan, Tim Dettmers, Mike Lewis, Tim Althoff, Noah A. Smith, and Luke Zettlemoyer. Branch-TrainMerge: Embarrassingly Parallel Training of Expert Language Models, 2022.

[8] Lior Rokach. Ensemble-based classifiers. Artificial intelligence review, Vol. 33, No. 1, pp. 1-39, 2010.

[9] Hayato Kobayashi. Frustratingly Easy Model Ensemble for Abstractive Summarization. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4165-4176, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[11] Makoto Morishita, Katsuki Chousa, Jun Suzuki, and Masaaki Nagata. JParaCrawl v3.0: A Large-scale English-Japanese Parallel Corpus. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 6704-6710, Marseille, France, June 2022. European Language Resources Association.

[12] Tom Kocmi, Rachel Bawden, Ondrej Bojar, Anton Dvorkovich, Christian Federmann, Mark Fishel, Thamme Gowda, Yvette Graham, Roman Grundkiewicz, Barry Haddow, et al. Findings of the 2022 Conference on Machine Translation (WMT22).
[13] Ricardo Rei, José GC de Souza, Duarte Alves, Chrysoula Zerva, Ana C Farinha, Taisiya Glushkova, Alon Lavie, Luisa Coheur, and André FT Martins. COMET-22: Unbabel-IST 2022 Submission for the Metrics Shared Task. In Proceedings of the Seventh Conference on Machine Translation, Abu Dhabi. Association for Computational Linguistics, 2022.

[14] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning Robust Metrics for Text Generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7881-7892, Online, July 2020. Association for Computational Linguistics.

[15] Amy Pu, Hyung Won Chung, Ankur Parikh, Sebastian Gehrmann, and Thibault Sellam. Learning Compact Metrics for MT. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 751-762, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[16] Matt Post. A Call for Clarity in Reporting BLEU Scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[17] Ricardo Rei, Marcos Treviso, Nuno M Guerreiro, Chrysoula Zerva, Ana C Farinha, Christine Maroti, José GC de Souza, Taisiya Glushkova, Duarte M Alves, Alon Lavie, et al. CometKiwi: ISTUnbabel 2022 Submission for the Quality Estimation Shared Task. arXiv preprint arXiv:2209.06243, 2022

[18] Marina Fomicheva, Shuo Sun, Erick Fonseca, Chrysoula Zerva, Frédéric Blain, Vishrav Chaudhary, Francisco Guzmán, Nina Lopatina, Lucia Specia, and André F. T. Martins. MLQE-PE: A Multilingual Quality Estimation and Post-Editing Dataset. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 4963-4974, Marseille, France, June 2022. European Language Resources Association.

[19] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching Word Vectors with Subword Information. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 135-146, 2017

[20] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020

[21] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

## A 実験設定の詳細

翻訳モデルの構築には fairseq [21]を使用した。 どのモデルでも共通して，最適化手法には Adam, Label-Smoothing は $\epsilon_{l s}=0.1$, Warmup Steps は更新回数の三分の一とした。また，推論時のビーム探索幅 は 5 とした. 付録 $\mathrm{B}$ で使用する $2 \mathrm{~B}$ モデルは，大モ デルのアーキテクチャに対して、隠れ層と順伝播層 の次元増やしたモデルである。表 3 ，表 4 ，表 5 に Small，Large，2Bでのハイパーパラメータで異なる 設定を示す.

表 3 Small モデルのハイパーパラメーターの一覧.

表 4 Large モデルのハイパーパラメーターの一覧.

## B データ量とモデルサイズの影響

表 6 に訓練データ量とモデルサイズを変化させ

25M の訓練データで訓練したモデルの性能を示す. ***-div10 は，25M の訓練データを 10 分割したも のの一部を用いて訓練したモデルの性能を示す。ま た，比較対象として新たに $2 \mathrm{~B}$ のモデルを加えた. ${ }^{9)}$ ***-div10 と***-full の比較より，訓練データ量 の違い (***-div10:2.5M，***-full:25M) がモデル の性能に影響していることがわかる. Small-div10

9） Large の性能を超えられなかったため，今回の訓練データ に対しては訓練がうまくいかなかった.
と Large-div10 の比較より, モデルサイズの違い （Small：100M，Large：300M）もモデルの性能に影響していることが示唆される. Est（Small）と Est （Large）の比較より，出力選択は個々のモデルの性能が向上した場合でも有効であることがわかる.

表 6 訓練データ量とモデルサイズを変化させた場合の各評価指標の值 (newstest2022)

## C 10 分割設定における性能評価

表 1 の実験と同様の実験を, newsdev2022と newsdev2020を評価データとして行った. 表 7 に newsdev2022 に対する結果を，表 8 に newsdev2020 に対する結果を示す.いずれの評価データにおいて も，全ての評価指標で Est が Large を上回ることは なかった. しかし, Est と Small の比較から出力選択が性能向上に寄与していることがわかる.

表 7 訓練データを 10 等分割した場合の各評価指標の値 (newsdev2022)

表 8 訓練データを 10 等分割した場合の各評価指標の値 (newsdev2020)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 形式論理学に基づく演繹コーパスによる 言語モデルに対する演繹推論能力の付与

森下皓文 森尾学 山口篤季 十河泰弘
日立製作所 研究開発グループ
terufumi.morishita.wp@hitachi.com

## 概要

言語モデルに演繹推論を学習させるための事例か らなる演繹コーパスを提案する. 先行研究では演繹規則が恣意的に選ばれていた為，演繹推論の核心を 捉えられなかった. 我々はこれを再考し, 形式論理学に基く根拠ある演繹規則群を採用する. 実験によ り，提案コーパスで学習した言語モデルが既存コー パスで学習した言語モデルより頑健な演繹推論能力を持つことを示す. 更に後続研究のため，コーパ ス・学習済みモデル・ソースコードを公開する。

## 1 はじめに

論理的に物事を考える機械の実現は，人工知能黎明期からの夢である [1]. このゴールに対して近年，様々な論理推論ベンチマークが提案されている $[2,3,4,5]$. これらは通常, 優れた言語理解能力を持 つ最先端の言語モデルを用いて取り組まれている. しかしながら，言語モデルをもってしても論理推論 は難しいことが認識されつつある $[6,7,8]$.

言語モデルは，人間が書いた文章中の多くの良質 な事例から，言語理解能力を帰納的に獲得した [9].逆に考えると，言語モデルの論理推論能力の低さ は，人間が書いた文章中に良質な論理推論の事例が 十分数含まれていないことを示唆している. そうで あるならば，良質な論理推論の事例を多く含むコー パスを生成し，言語モデルに学習させることで，論理推論能力を獲得することができるはずである.

このようなコーパスの 1 つとして，近年提案され た RuleTaker [10] が挙げられる. RuleTaker は，自動生成された多段演繹証明を含む。 各演繹証明は，与 えられた事実の集合に対して演繹規則を複数回適用することにより，仮説を証明 (あるいは反証) す る (図 1 中の “Deduction Instance" と同様). 演繹規則 としては, $\forall x F(x) \rightarrow G(x), F(a) \vdash G(a)(\vdash$ は “導出
する”の意) 等の，含意に類する規則が用いられた。 Artifical Argument Corpus [11] は RuleTaker 同様，自動生成された一段演繹証明からなるコーパスで，演繹規則として人手で選ばれたクリティカル・シンキン グに役立つ規則，例えば対偶 $\mathcal{F} \rightarrow \mathcal{G} \vdash \neg \mathcal{G} \rightarrow \neg \mathcal{F}(\neg$ は否定) が用いられた。これらの演繹コーパスはい ずれも，最も普遍的な論理推論能力の一つである，演繹推論能力を獲得する機会を提供し得る.

しかしながら，これら演繹コーパスで採用された 演繹規則は少数に限られ，また，恣意的であった。現実世界の複雑な演繹推論では多様な演繹規則が求 められるため，再考する必要がある。

本研究はこの問題に答えることを目指す.まず，形式論理学 (Formal Logic) を訪れる (2 節). 形式論理学によれば，既存コーパスで使用された演繹規則も 含め，妥当な演繹規則は無限に存在する。しかし， その中でも基本的な演繹規則群 (公理系) が存在し，公理系による多段演繹推論によって，その他の任意 の演繹規則を導出できる（完全性）よって，公理系による多段演繹推論は任意の演繹規則による多段演繹推論を模擬することができる。既存コーパス の演繹規則群はこの性質を持たないので，たとえそ れらを獲得したとしても，他の多様な演繹規則を模擬できない，我々はこの点を改め，演繹規則群と して公理系を採用したコーパス FLD (Formal Logic Deduction, 3 節) を構築し，言語モデルに公理系を用 いた演繹推論能力を獲得させることを目指す。

次に FLD の有効性を実験的に確かめる (4 節-6 節 ). 複数種のベンチマークにて，FLDで学習された 言語モデルが既存コーパスで学習された言語モデル より頑健な演繹推論能力を持つことを示す.

最後に，FLDコーパス・ソースコード・学習済み モデルを公開する ${ }^{11}$ ．FLDコーパスは既存コーパス より挑戦的なのでベンチマークとして有用である.

図 1: FLD は一階述語論理の公理系に基づく演繹推論事例を生成することを目的とする．また，将来の解析研究において様々なパターンのコーパスを生成することを見据え，多様なオプションが用意されている.

## 2 事前知識: 形式論理学

このステップは 2 つの前提 (棒の上) から結論 (棒の 下) を導いており，記号を用いて抽象化できる:

この形式の演繹ステップを modus ponens と呼ぶ.

Modus ponens 以外にも，演繹ステップは無数に存在する。例えば二段論法 (syllogism) は有名である:

$
\frac{(\mathcal{F} \rightarrow \mathcal{G}) \wedge(\mathcal{G} \rightarrow \mathcal{H})}{\mathcal{F} \rightarrow \mathcal{H}} \text { syllogism }
$

無論，妥当でないステップ2)を考えることもできる:

上記の例から分かるように，演繹推論とは，特定 の規則に従って前提から結論を導き出す思考形態 と定義できる. 形式論理学では，このような演繹規則のことを論証と呼ぶ. 従って，(2)-(4)は全て形式論理学における論証である。なお，F $\mathcal{F}$ や $\mathcal{G}$ などは， $\mathcal{F}=\neg(A \vee \neg B)$ など $(A, B$ は原子論理式 $)$, 任意の複合論理式でよい. 更に，前提・結論に現れる論理式 は無限パターン考えることができるため，論証は (妥当でないものも含めて) 無限に存在する.

2）前提が全て真 $(=1)$ だが結論が偽 $(=0)$ となるような真理值割り当てが存在するステップ (論証) のこと．表 $5 \mathrm{~b}$ 参照.

図 2: 公理系を用いた多段演繹推論. (左): 三段論法 の導出 (右): ステップ数を大く取ることで，三段論法を用いた多段推論を模擬できる.

次に多段演繹推論を考える。図 2(左) から分かる ように，三段論法はより「原子的な」論証による多段演繹推論によって導出できる (他の例として，先行研究で使用された論証の導出を図 4 に示す). 実 は，形式論理学では公理系と呼ばれる原子的な論証群（図 3a）が存在し，以下のことが知られている

定理 1 (一階述語論理 ${ }^{3}$ ) の完全性 Gödel, 1930). 全て の妥当な論証4) は，公理系による多段演繹推論に よって導出できる。また，公理系による多段演繹推論によって導出された論証は全て，妥当である.

ここに我々は，形式論理の核心，即ち，公理系を 用いた多段演繹推論に至った. 完全性により，妥当 な論証は全てこの方法に導出でき，かつ，この方法 によって導出される (無限種類の) 論証は全て妥当な のである。また，図 2(右) に例示するように，公理系を用いた多段演繹推論は，原理的に，任意の論証 を用いた多段演繹推論を模擬できることになる.

3）本論文は一階述語論理に議論を限る.

4）前提が全て真 $(=1)$ となるような任意の真理値割り当てに おいて，結論も必ず真 $(=1)$ となる論証のこと. 表 5 a に例示.

## 3 形式論理演繹コーパスの生成

公理系による多段演繹推論事例を生成するための フレームワーク FLD (Formal Logic Deduction)を提案する. 直感的な理解のために図 1 を参照のこと。参考として，実際に生成された事例を図 5 に示す.

ランダム演繹による証明木生成 RuleTaker は，論理式群をランダムに生成し, それらにソルバーを走 らせて偶発的に生じた演繹関係を特定し，証明木と して用いた. しかしこの方法は外部のソルバーに依存するため, 証明に用いる論証群を指定できない.

そこで我々は，ユーザが指定した論証群を用いて ランダムな演繹推論を行うことにより証明木を生成 するモジュール (図 1 中の “Proof Tree Generator')を 開発した.このモジュールは, 前向き・逆向きの各 ステップ (図中“forward"と "backward") において,論証をランダムに 1 つ選び，現在の証明木に結合す る. 証明木のノードの複合論理式 $(\mathcal{F}$ や $\mathcal{G})$ は任意 である（2 節）ため, 原子論理式 ( $A$ や $B$ 等) と論理演算子 $\wedge, \vee, \neg$ を用いてランダムに生成する ${ }^{5}$ ).

負例事実群の生成 現実の論理推論では，事実群 は与えられるのではなく，検索システム等によって 取得しなければならないので，ノイズとなる事実 (負例事実) が含まれる.これを模擬した負例事実群 を生成する (図 1 中の “Factual Distractor Generator").負例事実は, 正例事実と類似する論理式 (例えば正例 $(A \wedge B) \rightarrow C$ に対して負例 $A \rightarrow C$ ) 等を用いる.

自然言語の割り当て 各論理式に，自然言語を 割り当てる (図 1 の “Natural Language Assigner”)。ま ず，各論理式ごとに，事前に用意された以下のよう なテンプレートからランダムに 1 つ選択する:

$
\begin{gathered}
A \rightarrow B \text { : "If A, then B.", "A leads to B." } \\
F(a) \rightarrow G(b): \text { "If a F, then b G.", "When a F, b G." }
\end{gathered}
$

$A, B, F, G, a, b$ のような要素には一定の文法制約の 下，語彙からランダムに構築した言明を割り当てる:

$A$ : "an Earthquake occurs" $B$ : "the year ends"

$F$ : "run" $G$ : "answer" $a$ : "the hamburger" $b$ : "Peter"

ランダムである理由は，演繹推論の妥当性は論理式 の記号形式にのみ依存し, その内容は依存しない6) ので，論理式への内容割り当てはいかなるものも許容されなければならないからである.

演繹推論事例の生成 事例を生成する (図1 中の “Deduction Instance Converter"). 事例は，事実群 - 仮

5）ただし先行研究と同様, 原子論理式の数は 3 までとする.

6）「Aと $A \rightarrow B$ が成り立っている時には，Bも成り立つ」と いう形の推論は， $A$ の実際の内容にかかわらず妥当である.表 1: 本研究で用いたコーパス (詳細は付録 A.1).比較対象となるコーパス間の条件を揃えるため,複数のコーパスを構築した. “RT” は RuleTaker[12].

} \\

RT.BE はテストセットのみなので評価のみに使う。

説・証明・回答ラベル，から構成される．回答ラベ ル「証明された」の場合: (i) 証明木の根ノードを仮説として (ii) 証明木の葉ノードと負例事実を事実群 として (iii) 証明木の中間ノード群を証明として，用 いる. 回答ラベル「反証された」の場合，根ノード の否定文を仮説とすることにより，証明木によって 仮説が反証されるようにする。回答ラベル「不明」 の場合，葉ノードの一部をランダムに削除すること で，仮説を証明も反証もできないようにする。

## 4 実験

FLD で学習された言語モデルの論理推論能力を,他の演繹コーパスで学習された言語モデル，またこ のような学習をしない言語モデルと比較する。

## 4.1 モデル

演繹タスクでは，与えられた事実の集合から与え られた仮説を証明・反証する証明系列を生成するこ とが求められる.このために, [8] の証明器を用い る.これは T5[13] に基づく生成モデルで, “fact1 \& fact3 -> The Earth has seasons.' のように，選ばれた前提群と導出される結論からなる証明ステップを $1 つ$ づつ生成していく. 学習の詳細は付録 A. 2 に示す.

## 4.2 ベンチマーク

演繹コーパス 表 1 中のあるコーパスで証明器を 学習し, 別のコーパスで性能を計測する. 証明器が 頑健な演繹推論能力を獲得していれば少ない事例の みで転移するはずなので，ターゲットコーパスでの
表 2: 各コーパスにおいて，全データを用いて fine-tuning された証明器の証明正解率.

表 3: コーパス間で few-shot 転移した証明器の証明正解率.これらコーパスは用いた論証群が異なる.

} & RT & 70.1 & 92.4 & 91.3 & 76.2 & 74.4 & 76.7 \\

学習は few-shot ( $1 \%=300$ 事例) で行う. 性能指標と して証明正解率 (proof accuracy) [12] を用いる.

EntailmentBank (EB) [14] 証明木は人手で作成 されており，また，各証明ステップは厳密な論理 ステップだけでなく含意的なステップも許される。 よって，より現害的なシーンでの演繹推論能力を測定できる，上記のように，証明ステップの性質が演繹コーパスとは異なるため, 少数事例での転移は望 めない．よって，演繹コーパスで学習した証明器を EB 全データで fine-tuning して性能を計測する。性能指標として証明正解率 (“AllCorrect” [14]) を用いる.

## 5 言語モデルは論理を解けるか?

まず，言語モデルが各演繹コーパスをどれくらい 解けるか示しておく(表 2). 証明器は RuleTaker で は良好な性能を発揮しているが，FLDでの性能は悪 い. FLD が難しい理由の一つは，以下のように考え られる (詳細は付録 A.3). RuleTaker は含意に類する 少数の論証 (図 3b) のみを使用するのに対し, FLD は公理系 (図 3a) に含まれる様々な論証を使用する. よって，FLDは証明木生成の際に，木の各レベルに おいて選択可能な論証の種類が多い. 証明木は，各 レベルにおいて選択された論証の組み合わせによっ て構成されるので，ありうる木のパターンは組み合 わせ的に大きくなる (大雑把に $O\left(|\mathcal{A}|^{d}\right)$ パターン. ここで $|\mathcal{A}|$ は各レベルにおける論証の選択肢数, $d$表 4: EntailmentBank における証明器の証明正解率.

は木の深さ). 結果，FLD は RuleTaker よりも多様な パターンの証明木を含んでおり，難易度が高いと考 えられる。実際，最も木が深いFLD`は極めて難易度が高かった。

## 6 FLD は有効か?

## 6.1 論証への汎化

演繹推論能力の獲得において最も重要なのは演繹規則（論証）の獲得であるので，演繹コーパスがう まく言語モデルに論証を教えられるかを調べる。

表 3 から分かるように，論証群が異なるコーパス 間の転移に関して，sFLD-axiomで学習された証明器が最も平均性能が高かった。これは，コーパス毎 の結果から分かるように，論証群が異なる他のコー パスに対して最も頑健に転移したことによる.

この頑健性こそがまさしく，形式論理に基づく演繹の美徳を示している．sFLD-axiom は論証群とし て公理系を用いているので，完全性により，他コー パスの論証による多段演繹推論を全て模擬すること ができる（参考に図 4 に例を記す)。即ち，公理系 から得られる演繹推論能力は，様々な論証に汎化す るのである。一方，他コーパスの論証群は完全性の ような性質を持たず，論証への汎化は得られない。

## 6.2 より複雑なタスクへの汎化

表 4 に，EB での性能を記す。EB は深い木 (最大 で 10 以上)を含むので，深い木を含む演繹コーパス から転移させた．FLDによる学習は，より実世界に 近い複雑な論理推論にも汎化することが分かる．参考に表 8 に証明器の出力例を示す.「否定 (ᄀ) の意味」「次の結論を導くために必要十分な前提のみを 選ぶ」「前提から論理的に導ける事項のみ結論に含 める」など，論理の基本が学習されている。

## 7 おわりに

形式論理学に基づく演繹コーパスを提案し, 有効性を実験的に示した，今後は，事実群の獲得も求め られる演繹推論や仮説推論など，より高度な推論に 対して，本アプローチを昇華させていく．

## 謝辞

本研究は，計算機リソースとして，産総研の $\mathrm{AI}$橋渡しクラウド $(\mathrm{ABCI})$ を用いた。また，日立製作所の清水正明氏には，社内大規模計算機環境の維持管理をして頂いた．両者ともに，お礼申し上げる。

## 参考文献

[1] John W. McCarthy. Programs with common sense. In Proc. Tedding Conf. on the Mechanization of Thought Processes, pp. 75-91, 1959 .

[2] Jason Weston, Antoine Bordes, Sumit Chopra, Alexander M Rush, Bart Van Merriënboer, Armand Joulin, and Tomas Mikolov. Towards ai-complete question answering: A set of prerequisite toy tasks. arXiv preprint arXiv:1502.05698, 2015.

[3] Ivan Habernal, Henning Wachsmuth, Iryna Gurevych, and Benno Stein. The argument reasoning comprehension task: Identification and reconstruction of implicit warrants. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1930-1940, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[4] Timothy Niven and Hung-Yu Kao. Probing neural network comprehension of natural language arguments. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4658-4664, Florence, Italy, July 2019. Association for Computational Linguistics.

[5] Kyle Richardson, Hai Hu, Lawrence Moss, and Ashish Sabharwal. Probing natural language inference models through semantic fragments. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 8713$8721,2020$.

[6] Amanda Askell. Gpt-3: Towards renaissance models. Daily Nous Blog: Philosophers On GPT-3, 2020.

[7] Jack W Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, et al. Scaling language models: Methods, analysis \& insights from training gopher. arXiv preprint arXiv:2112.11446, 2021

[8] Kaiyu Yang, Jia Deng, and Danqi Chen. Generating natural language proofs with verifier-guided search. In Conference on Empirical Methods in Natural Language Processing (EMNLP), 2022

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019

[10] Peter Clark, Oyvind Tafjord, and Kyle Richardson. Transformers as soft reasoners over language. arXiv preprint
arXiv:2002.05867, 2020.

[11] Gregor Betz, Christian Voigt, and Kyle Richardson. Critical thinking for language models. In Proceedings of the 14th International Conference on Computational Semantics (IWCS), pp. 63-75, Groningen, The Netherlands (online), June 2021. Association for Computational Linguistics.

[12] Oyvind Tafjord, Bhavana Dalvi, and Peter Clark. ProofWriter: Generating implications, proofs, and abductive statements over natural language. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 3621-3634, Online, August 2021. Association for Computational Linguistics.

[13] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J Liu, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, No. 140, pp. 1-67, 2020.

[14] Bhavana Dalvi, Peter Jansen, Oyvind Tafjord, Zhengnan Xie, Hannah Smith, Leighanna Pipatanangkura, and Peter Clark. Explaining answers with entailment trees. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7358-7370, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

## A 参考情報

(a) 一階述語論理の公理系 (FLD の論証群)

(b) RuleTaker ${ }^{G(b)}$ “含意” 論証群図 3: 本研究や先行研究で用いられた論証を示す.ただし, Artificial Argument Corpus で用いられた論証は [11] の Figure. 1 参照のこと.

(a) RuleTaker の論証.

(b) Artificial Argument Corpus の論証.図 4: 公理系を用いた多段演繹推論による, 先行研究の論証の導出例.

表 5: 論証の前提 $\left(\mathcal{P}_{i}\right)$ ・結論 $(C)$ に関わる真理値表. 青色は, 前提が真 $(=1)$ の場合には結論も真. 赤色は, 前提が真なのに結論が偽 $(=0)$.

(a) 妥当な論証 (3) (syllogism).

$
\begin{aligned}
& \mathcal{P}_{1}=(\mathcal{F} \rightarrow \mathcal{G}) \wedge(\mathcal{G} \rightarrow \mathcal{H}), \\
& C=\mathcal{F} \rightarrow \mathcal{H} .
\end{aligned}
$

(b) 妥当でない論証 (4).

$\mathcal{P}_{1}=\mathcal{F}, \mathcal{P}_{2}=\mathcal{F} \vee \mathcal{G}$

図 5: FLD の事例 (本例では証明中に背理法が用いられている).

## A. 1 コーパス詳細

“skewed” な深さ分布のコーパスは，深い木よりも浅い木をより多 く含む. これは, 公平な比較のために RT(D0-D3) に合わせた分布である. 一方，“flat”は一様分布を持つ. 全てのコーパスの事例は，負例事実群を最大 20 程度まで，ランダムに含んでいる。 RuleTaker: 他のコーパスとの条件を合わせるため，回答ラベル の分布が一様に・学習セットサイズが $30 \mathrm{k}$ となるように，一部を サンプリングした. “含意”論証群は図 3b. その他詳細は [12].

FLD: オプション機能を用いて，様々な条件のコーパスを作成し た. “公理系” 論証群は図 $3 \mathrm{a}$ を, “含意” 論証群は図 $3 \mathrm{~b}$ を, “クリ ティカル・シンキング”論証群は，[11] の Figure. 1 記載のものを，用いた. クリティカル・シンキング論証は粒度が大きく多段に組 み合わせるのが難しいので，木の深さは 1 とした. 回答ラベルの 分布は一様である．学習セットサイズは $30 \mathrm{k}$ ，バリデーション・ テストセットは $1 \mathrm{k}$ である。その他詳細はウェブ参照のこと。

## A. 2 証明器学習の詳細

表 6: 証明器学習のハイパーパラメータ.

5 節, 付録 A. 3 での “全データでの fine-tuning”では，20000 ステッ プ学習している. EntailmentBank は難易度が高いので, [8] の verifier も用いている. その他, 学習の詳細は [8] を参考のこと。

## A. 3 各コーパスの難易度の詳細分析

表 7: 各コーパスで, 全データで fine-tuning された証明器の証明正解率.

$

$

“skewed”コーパス群において, sFLD-impl は RuleTaker より難易度が高い，論証群や木の深さ等の諸条件は同じなので，その他 の実装の詳細に起因すると考えられる．例えば，FLDの負例事実は正例事実と混同しやすいように設計されており，自然言語割り当てはランダム言明によって極めて多様である (3 節). FLD-impl は sFLD-impl と同様の “含意” 論証を用いているが，よ り難易度が高い。これは，“flat”コーパス群は skewed に比べて，深い証明木をより多く含む (付録 A.1) からであろう．FLD の 難易度が FLD-impl より高いのは，公理系からなる多様な論証をを 用いるので，多様なパターンの証明木を含むからであろう (5 節 ). FLD $\star$ 極めて難しい理由は，証明木の深さが最も深く，指数関数的に多様なパターン $\left(|\mathcal{A}|^{d}\right)$ の証明木を含むからであろ.

 & rocks cannot form fossils & \multirow{2}{*}{  } \\

$a$ https://github.com/hitachi-nlp/FLD

イン (T5) の誤った証明ステップが治った例.


# ExDistilBERT：辞書拡張できる モデル蒸留によるドメインに特化した言語モデル

高 鵬挙 ${ }^{1}$ 山崎 智弘 $^{1}$ 伊藤 雅弘 $^{1}$
1 株式会社東芝 研究開発センター
知能化システム研究所 アナリティクスA I ラボラトリー
\{pengju1.gao, tomohiro2.yamasaki, masahiro20.ito\}@toshiba.co.jp

## 概要

本論文は小規模コーパスでもドメインに特化でき る ExDistilBERTを提案する。蒸留手法において，独自の手法で専門用語を辞書氾追加し, 一般用語と専門用語を独立して計算可能な損失関数を導入し，二種類の語彙や文脈知識を同時に学習できる。

蒸留手法で課題となっている過学習氾る知識忘却の問題を回避できることを実験により確認し，特殊ドメインにおいて, ExDistilBERT は教師モデルの 性能を大幅に超えるだけでなく，軽量化もできた。

## 1 はじめに

近年，大規模コーパスを用いて学習された大規模言語モデルが注目を集めている。

BERT[1]を代表として，自然言語処理 (NLP) 領域 での様々なタスクで，良い性能を達成している。汎化性能が高いと Fine-tuning の訓練コストが低くで きる一方、BERT は Base サイズモデルでも一億を 超えるパラメータを持つため，それを実装するため には膨大な計算リソースが必要である. 様々な場面 で応用するため，モデルの軽量化が要求される。さ らに小規模コーパスで Fine-tuningする場合, 事前学習した知識を忘れて，過学習しやすいことも課題に なる。

金融，インフラ，法律，化学などの様々な分野で は，一般文書にはない専門用語が大量に含まれてい る. 一般文書を使って学習した言語モデルをそれら の分野に応用する場合, 未知語として扱うことや，既知の短い単語の組み合わせに分割することが多 い. 日本語では, 後者の場合が多く, 長い専門用語 がより小さい断片に分割されて，元の意味を保持で きなくなることや，分割によって処理量が増えるな どの恐れがある.
モデル軽量化において，よく使われている手法には知識蒸留 (Knowledge Distillation)[2], 枝刈り (Pruning), 量子化 (Quantization) など [3] が存在する が，元モデルの性能を超えることができない，そ こで我々は, モデル蒸留手法纪辞書拡張機能を 追加し, 教師モデルの知識を学習すると同時に, スムーズに新たな単語を追加することができる ExDistilBERTを提案する. すなわちモデル軽量化と 特殊ドメインへの適応性を両立できる。

結果として, ExDistilBERT は特殊ドメインの性能 が教師モデルより向上することを示す. 同時に，学習速度や推論時間も改善し, 過学習問題も回避でき ることを示す。

## 2 関連研究

本節は本研究と関連性の強い事前学習言語モデ ル, モデル蒸留, 辞書抎張の研究について説明する. BERT[1] は, Transformer[4] ユニットによって構成 される. BERT は Masked Language Model (MLM) と Next Sentence Prediction(NSP) を使って，大規模コー パス用いた教師なしの事前学習法として提案され， NLP の様々なタスクにおいて小規模な教師データ を用いた Fine-tuning によって，非常に良い性能を示 した.

モデル軽量化においてょく使われる知識蒸留 (Knowledge Distillation)[2] では学生モデルが教師 モデルの出力分布を近似するよう学習させる。 NLP 領域では，蒸留手法を用いた軽量版 BERT の DistilBERT[5] がよく使われている. 新納 [6] らは DistilBERTを用いて，ドメインに特化したモデルを 構築したが, Fine-tuning しないと, 教師モデルを超 える性能を取得することが難しいことがわかった。自然言語処理技術を特殊ドメインで活用する ニーズの高まりから，様々な分野に特化した言語モ

デルの研究がある. 英語において, 生物ドメイン のコーパスを使って，特化した BERTを訓練した BioBERT[7], 科学文章から専門用語を抽出し, 科学 ドメインに特化した SciBERT[8], 生物医学に関する データベース PubMed を使って, 生物医学ドメイン に特化した PubMedBERT[9] などが存在する. 日本語においても, 医学分野 [10], 金融分野 [11], 法律分野 [12] などでドメインに特化した BERT が汎用日本語 BERT を超える性能を示した. ただし， ゼロか ら BERTを事前学習するには，大規模コーパスと計算リソースが必要となる. さらにより特化したドメ インにに合致する，大規模コーパスを用意できない 問題も存在する.

## 3 提案手法

本研究では，辞書拡張できるモデル蒸留の手法 ExDistilBERT を提案し，モデルを軽量化すると同時 に，事前に大規模コーパスで訓練した汎用モデルで 課題となっていた特殊ドメインの適応性を解決す る. 提案手法は, 大規模汎用モデルを追加学習し,辞書拡張する従来手法と比べて，小規模コーパスを 用いた条件で，過学習の恐れを低減することを確認 する。

本論文は追加した単語を新単語と呼ぶ，教師 モデル辞書に含んでいる単語を一般用語と呼ぶ。 ExDistilBERT の概念図を図 1 に示す. 新単語と一般用語を分けて, エンベディングや損失関数など処理 を行うことで，新単語の知識と教師モデルの知識を 同時に学習できる.

## 3.1 エンベディングと単語マスク

図 1 の token embedding において, 拡張した辞書 で，センテンスを分割し，単語をエンベディング する.

一般的にモデル蒸留は教師モデルと学生モデルの 辞書を同じものにする必要があるが，辞書拡張のた め, 教師モデルに入力不可の新単語が存在する. 図 1 の token masking において, 教師モデルと学生モデ ルに対する，新単語と一般用語を分けて，特殊なマ スク手段を設計した。

## 新単語のマスク

・教師モデルの辞書には新単語が含んでいないた め，全部マスクして，モデルに入力する.

・学生モデルの辞書には新単語が含んでいるた め，確率 $P(0<P \leqq 1)$ でマスクされる $P=1$ の時, 学生モデルの大力も新単語が全部マ スクされるため，教師モデルの入力と同じになる. もし追加した単語の数が非常に多い場合, $P$ で学生 モデルの入力にマスクされた単語の比率を制御でき る. 新単語の範囲情報 $\mathbf{M}_{\text {newtoken }}$ はマスクベクター の形で損失関数の計算を利用する.

一般用語のマスク 新単語以外の部分において, BERT の MLM タスクと同じく, ランダムで単語の マスクと入れ替えを行う．入り替えの単語は教師モ デルの辞書からピックアップしたものである.

## 3.2 損失関数計算

本節は新単語と一般用語を分けて，損失関数を計算する仕組みを説明する。

図 1 の右半分，二つの入力を教師モデル $(\mathrm{t})$ と学生モデル (s) に入力し, 最後レイヤの隠れ状態べク ター Hidden state, $H_{t, s}$ と単語予測の Logits, $L_{t, s}$ を 取得する. 教師モデルの知識を学習するため, 一般用語の範囲 (selected position) だけに類似度などを計算する。範囲を設定は以下の式 1,2 で行っている.

$
\begin{aligned}
H_{t, s}^{\prime} & =\left.\{H_{t, s}(i) \mid \mathbf{M}_{\text {newtoken }}(i)=0\right.\} \\
L_{t, s}^{\prime} & =\left.\{L_{t, s}(i) \mid \mathbf{M}_{\text {newtoken }}(i)=0\right.\}
\end{aligned}
$

以下の三つの尺度, Cosine 類似度, 式 3 ; カル バック・ライブラー情報量, 式 4 ; MSE 損失 (Mean squared error), 式 5, を用いて，損失関数を計算し，教師モデルの知識を学習させる.

$
\begin{gathered}
\mathscr{L}_{\text {Cosine }}\left(H_{t}^{\prime}, H_{s}^{\prime}\right)=\frac{H_{t}^{\prime} \cdot H_{s}^{\prime}}{\left.\|H_{s}^{\prime}\right.\|\left.\|H_{t}^{\prime}\right.\|} \\
\mathscr{L}_{\mathrm{KL}}\left(L_{t}^{\prime}, L_{s}^{\prime}\right)=\sum_{i} L_{t}^{\prime}(i) \log \frac{L_{t}^{\prime}(i)}{L_{s}^{\prime}(i)} \\
\mathscr{L}_{M S E}\left(L_{t}^{\prime}, L_{s}^{\prime}\right)=\frac{1}{n} \sum_{i=1}^{n}\left(L_{t}^{\prime}(i)-L_{s}^{\prime}(i)\right)^{2}
\end{gathered}
$

次は, BERT と同じく, 学生モデルの Logits $L_{s}$ とラベル $L_{\text {label }}$ を用いて，マスクされた単語を推測 する損失関数 $\mathscr{L}_{M L M}$ を計算する。

最終的な損失関数は，式 6 で以上の各損失の重み 付き和を計算することで取得する。

$
\begin{array}{r}
\mathscr{L}_{\text {final }}=\alpha \mathscr{L}_{\text {Cosine }}+\beta \mathscr{L}_{\mathrm{KL}}+\gamma \mathscr{L}_{M S E}+\delta \mathscr{L}_{M L M}, \\
\quad \text { where } \alpha, \beta, \gamma \geq 0,(\alpha, \beta, \gamma) \neq(0,0,0), \delta>0
\end{array}
$

このような仕組みで，一般用語を学習する同時 に, 専門用語の知識を学習ことで, ドメインに特化 した言語モデルを構築する。

図 1 ExDistilBERT の概念図

表 1 新単語長さ分布と単語例 (新単語数 2000 の場合)長さ 数 単語例

2368 本件, 客様, 発送, 本日, 切替, 用紙, 客先, 取替,取付, 異音, 送出, 新品

3681 不具合, 不適合, 可能性, 再起動, 本事象, 再現性, 設定値, 一時的, 確認後

4648 機体交換, 動作確認, 客様対応, 長期使用, 動作不良, 自動停止, 不具合品

5+ 314 添付ファイル, 不具合現象, 作業管理者, 事象発生時, 点検・修理, 調査結果報告

## 4 評価実験

本節は本研究のデータ設定, 実験設定と結果につ いて説明する.

## 4.1 学習データと評価データ

モデル蒸留と辞書拡張コーパスは東芝社内のイン フラドメインのテキスト文書データ (約 170 万文)を 用いた. 追加した単語の自動抽出は専門用語自動抽出システム [13][14] を使用した. 教師モデルに存在 せずかつ出現頻度高いの単語をピックアップした.新単語長さ分布と単語例は表 1 で示す.

イベント抽出データセットとして長文主体の文書 Data $_{A}$ と短文主体の文書 Data $_{B}$ の 2 種類を用意 して，蒸留したモデルのエンベディング能力を評価 する．イベント抽出タスクは，ドキュメント文書か ら，「配管に亀裂」や「水位が低下」のように原因や 結果となりうる表現を抽出するタスクである. トラ ブル表現を正確に抽出するには，インフラドメイン の文脈を理解することができる言語モデルを構築す ることが重要と考えられる．データセットのセンテ ンス長さと規模を表 2 で示す. 抽出性能は完全一致表 2 データセットのセンテンス長さと規模

表 3 各モデルハイパーパラメータ設定

の $\mathrm{F}$ 值と主要部一致 (イベント末尾 5 形態素のいず れかが重複する [15]) の F 值で評価している。

## 4.2 実験設定

本論文のモデル学習設定について説明する. 本研究のベースラインモデルと ExDistilBERT の教師 モデルは，東北大学乾・鈴木研究室によって作成・公開された BERT モデル bert-base-japanese-v2[16] を使っている. 追加した単語の数は 2000 個であ り, HuggingFace's Transformers[17] の上に, PyTorch の実装を構築した. 従来の手法と比較するため， ExDistilBERT と同じコーパスを用いて，BERT モデ ルから蒸留したBERT_distillation, 同じ辞書で拡張 した BERT_addtoken のモデルも学習した. 各モデル のハイパーパラメータ設定は表 3 に示す.

訓練環境はRTX6000一枚で行う. ExDistilBERTと BERT_distillation において, $\alpha=3, \beta=1, \gamma=0.2, \delta=1$ の設定をした.

## 4.3 評価結果

MLM タスク可視化, 単語エンベディング能力,計算リソースにおいて，評価を行った.
表 4 MLM タスク出力の可視化 (推測された単語 Top5)

表 5 イベント抽出タスクにおいて，モデル評価結果

 & .599 & .859 & .619 & .868 \\
DistilBERT_Namco[19] & .528 & .758 & .580 & .820 \\

## 4.3.1 Masked Language Model(MLM) の可視化

ベースライン BERT モデルと比べて ExDistilBERT がドメインに特化した文脈理解能力を獲得してい るかを確認するため，MLM タスクの出力を可視化した. [MASK] トークンの推測結果として得ら れた Top5 の単語を表 4 に示す. 表 4 に示す通り， DistilBERT の方が動作確認や納期や試験といったイ ンフラドメインでよく使われる専門用語を優先的に 推測できた.

## 4.3.2単語のエンベディング性能評価

本節では，単語エンベディングの性能評価を提案手法と既存手法で比較する. 4.2 節説明したべース ライン BERT モデル, ExDistilBERT, BERT_distillation と BERT_addtoken を含めて，既存の汎用蒸留モデル の DistilBERT_Laboro[18] と DistilBERT_Namco[19] も 追加し評価を行った. 評価した結果は表 5 で示す. ベースライン BERT や単純なモデル蒸留手法 BERT_distillationと比べて，辞書拡張した ExDistilBERT と BERT_addtoken, Data CD Data $_{B}$ において 性能向上した. 専門用語の拡張効果が確認できた. Data $_{A}$ において ExDistilBERT は BERT_addtoken の 性能を超えて，ベースライン BERT より完全一致の $\mathrm{F}$ 值 5 ポイント以上を向上した. BERT 丸ごとで学習して辞書拡張のは，パラメータ数が大規模であ る. 相対的に小さい規模のコーパスで追加学習する とき，過学習して，元の知識を忘れてしまい，性能表 6 各モデルの学習時間, 推論時間とパラメータ数

モデル学習時間 推論時間 パラメータ数

劣化の恐れがあることから，学習ハイパーパラメー タの最適化という課題を残っている. Data にお いて，ExDistilBERT は BERT_addtoken を超えていな い. 短い文に対して，性能劣化の影響が少ないと推測された. BERT_distillation はできるだけベースラ インの BERT に近づくのが学習目標となっており, ベースライン BERT と大体同じレベル性能を取得し た. 二つ公開された DistilBERT は，性能劣化の恐れ がある. 両者は今回のインフラドメインのコーパス ではなく，一般的な日本語コーパスでモデル蒸留し たもので，教師モデルからの知識勉強が不足の可能性が高いと推測された。

## 4.3.3計算リソース

4.2 節のモデル学習時間と評価実験において 推論時間，パラメータ数を表 6 に示す. ExDistilBERT について，学習時間は従来の蒸留手法 BERT_addtokenと同じレベルであるが，BERTを辞書拡張 BERT_addtoken より 4 倍の学習速度になっ た. 推論時間も BERT_addtokenより約 $23 \%$ 减少し た. パラメータ数は BERT_addtoken より約 $37 \%$ 減少 した. ExDistilBERT の方が計算リソースの観点から も優れていることが確認できた。

## 5 おわりに

本論文は小規模コーパスでもドメインに特化する ExDistilBERT を提案した. 辞書拡張できるモデル蒸留の手法より，一般用語の知識はモデル蒸留によっ て教師モデルから継承すると同時に、専門用語に対 して知識を学習できた。特殊ドメインの性能が教師 モデルと比べて大幅に向上した. 小規模コーパスで BERT を追加学習する場合，元の知識を失う過学習 の問題も回避できて，BERT の追加学習より安定の 学習結果を得ることができた。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[2] Geoffrey Hinton, Oriol Vinyals, Jeff Dean, et al. Distilling the knowledge in a neural network. arXiv preprint arXiv:1503.02531, Vol. 2, No. 7, 2015.

[3] 康平山本, 素子橘, 蔵人前野. ディープラーニングの モデル軽量化技術. Oki テクニカルレビュー, Vol. 86, No. 1, pp. 24-27, 052019.

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, 2017.

[5] Victor Sanh, L Debut, J Chaumond, and T Wolf. Distilbert, a distilled version of bert: Smaller, faster, cheaper and lighter. arxiv 2019. arXiv preprint arXiv:1910.01108, 2019.

[6] 新納浩幸, 白静, 曹鋭, 馬ブン. Fine-tuning による領域に特化した distilbert モデルの構築. 人工知能学会全国大会論文集第 34 回 (2020), pp. 1E3GS9021E3GS902. 一般社団法人 人工知能学会, 2020

[7] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. Biobert: a pre-trained biomedical language representation model for biomedical text mining. Bioinformatics, Vol. 36, No. 4, pp. 1234-1240, 2020.

[8] Iz Beltagy, Kyle Lo, and Arman Cohan. Scibert: A pretrained language model for scientific text. arXiv preprint arXiv:1903.10676, 2019.

[9] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. Domain-specific language model pretraining for biomedical natural language processing. ACM Transactions on Computing for Healthcare (HEALTH), Vol. 3, No. 1, pp. 1-23, 2021.

[10] Yoshimasa Kawazoe, Daisaku Shibata, Emiko Shinohara, Eiji Aramaki, and Kazuhiko Ohe. A clinical specific bert developed using a huge japanese clinical text corpus. Plos one, Vol. 16, No. 11, p. e0259763, 2021.

[11] 鈴木雅弘, 坂地泰紀, 平野正徳, 和泉潔. 金融文書を 用いた事前学習言語モデルの構築と検証. 人工知能学会第二種研究会資料, Vol. 2021, No. FIN-027, p. 05, 2021.

[12] 宮崎桂輔, 菅原祐太, 山田寛章, 徳永健伸. 日本語法律分野文書に特化した bert の構築. 第 28 回年次大会発表論文集 (2022 年 3 月), 2022.

[13] 専門用語自動抽出システム (配布). http://www. forest.eis.ynu.ac.jp/Forest/ja/ term-extraction.html.

[14] 中川裕志, 湯本紘彰, 森辰則. 出現頻度と連接頻度に 基づく専門用語抽出. 自然言語処理, Vol. 10, No. 1, pp. 27-45, 2003.

[15] 伊藤雅弘, 山崎智弘. アノテーション漏れ推定を用い たエンティティ抽出. 第 27 回年次大会 発表論文集
(2021 年 3 月), 2021.

[16] Tohoku NLP Group. Pretrained japanese bert models. https://github.com/cl-tohoku/bert-japanese.

[17] Hugging Face team. State-of-the-art machine learning for pytorch, tensorflow, and jax. https://github.com/ huggingface/transformers.

[18] 株 式 会 社 Laboro.AI. Laboro distilbert. https://laboro.ai/activity/column/engineer/ laboro-distilbert.

[19] バンダイナムコ研究所技術開発本部. Wikipedia 日本語版全文を学習した distilbert モデ ル. https://github.com/BandaiNamcoResearchInc/ DistilBERT-base-jp.


# 分散文章データ統合解析のための データコラボレーション文章解析

関 口拓海 ${ }^{1}$ 今倉暁 ${ }^{2}$ 櫻井鉄也 ${ }^{2}$
1 筑波大学大学院 2 筑波大学システム情報系
sekiguchi.takumi.ss@alumni.tsukuba.ac.jp \{imakura,sakurai\}@cs.tsukuba.ac.jp

## 概要

複数機関が保有する個人情報を含むデータの解析 のため，プライバシー保護を考慮した学習手法が注目を集めている。近年提案されたデータコラボレー ション解析は生データではなく各パーティが独自に 次元削減を行った中間表現を共有する手法である が，文章のような順序情報を持つデータの解析が困難である. 本研究では分散文章データの統合解析を 目的として，文章を単語の分散表現辞書と順序情報 の 2 要素に分解して解析を行うデータコラボレー ション文章解析を提案する. 文章分類問題の実験の 結果, 単独機関での解析と比較して約 20 ポイント の分類精度向上（生データを直接共有する場合と比較して 1 3 ポイント以下の精度低下）を確認した.

## 1 はじめに

一般に，機械学習では学習用のサンプルデータが 多いほど高い精度で学習が可能である。類似した データを持つ複数の機関の間では，データを共有し て多くのサンプルデータを用いた解析を行うことで 高精度な解析結果を得ることが期待できる.

しかし，サンプルデータの中にはプライバシー保護のため共有の難しいデータが存在する. 医療デー タなどのセンシティブなデータは直接共有して解析 することが困難な場合がある．

そのようなデータを直接共有せず解析するため の手法としてデータコラボレーション解析 [1-3] が 提案された。データコラボレーション解析は複数の データ提供パーティが各自の生データに独自に次元削減を行った中間表現を共有する手法で，各パー ティ間で生データを秘匿しつつ解析者の下で統合し て解析を行える技術である。この技術によりクラウ ドサービスや外部の解析機関によるデータ解析にお いてプライバシーを保護しつつ多くのサンプルデー
タを活用した解析を可能とする。

一方，データコラボレーション解析では文章のよ うなシーケンスデータを解析する場合，次元削減時 に順序情報が失われてしまう欠点がある。文章デー タでは単語の並び順が文脈を構成しておりデータ解析に影響を与える。解析時に順序情報を活用できな いことは学習精度の低下に繋がると考えられる。

そこで，本研究では順序情報を保持して解析を行 うために，文章データを単語の分散表現辞書と単語 の順序情報に分解して解析を行う手法を提案する.単語の分散表現辞書について解析者に秘匿しつつ解析を行い順序情報を後から復元することで，順序情報を活用した高精度な文章解析を実現する。

また文章分類の実験により性能評価を行い，生 データを直接共有する場合に近い十分な分類精度で 文章データの解析を行えることを確認する。

## 2 データコラボレーション解析

データコラボレーション解析は複数パーティに分散したデータを直接共有せずに解析者の下で統合し て解析を行うための手法である．複数パーティから なるデータ提供者がそれぞれデータを保有する場合 において，各パーティが独自に次元削減を行った中間表現をアンカーデータを介して統合して解析を 行う.

データ提供者が計 $c$ パーティ存在し，初期状態と してパーティ $i(1 \leq i \leq c)$ は $n_{i}$ 個の $m$ 次元からなる サンプルデータ $X_{i} \in \mathbb{R}^{n_{i} \times m}$ を持つと仮定する.

最初に，共有可能な公開データや人工データを用 いて作成した $r$ サンプルのデータ $X^{\mathrm{anc}} \in \mathbb{R}^{r \times m}$ をア ンカーデータと定義し，各提供者パーティで同一の アンカーデータを共有する。ここでアンカーデータ は解析者には公開しない。

ング関数 $f_{i}$ を適用して中間表現 $\tilde{X}_{i}=f_{i}\left(X_{i}\right) \in$
$\mathbb{R}^{n_{i} \times \tilde{m}}, \tilde{X}_{i}^{\text {anc }}=f_{i}\left(X^{\text {anc }}\right) \in \mathbb{R}^{r \times \tilde{m}}$ を作成し, 解析者の下 に中間表現を集める、マッピング関数 $f_{i}$ は各パー ティが任意に決める関数であり，関数 $f_{i}$ を持たない 解析者は中間表現から元のデータを復元することは できない. マッピング関数は線形または非線形の行単位の変換関数であり，例えば主成分分析による次元削減等が該当する. また, 秘匿性向上のため乱数行列を使用した変換を併用しても良い.

その後，中間表現を受け取った解析者はアンカー

作成する. $g_{i}$ は個別に作成された中間表現を比較可能な形に揃えるための関数で，アンカーデータ

$g_{i}\left(\tilde{X}_{i}^{\text {anc }}\right)=g_{i}\left(\tilde{X}_{i}^{\text {anc }}\right)(i \neq j)$ とするための摂動を最小化する次式の全体最小二乗問題 [4] の解として得ら れる。

$
\begin{array}{r}
\min _{E_{i}, G_{i}^{\prime}(i=1,2, \cdots, c), Z\left(\|Z\|_{F}=1\right)} \sum_{i=1}^{c}\left.\|E_{i}\right.\|_{F}^{2} \\
\text { s.t. }\left(\tilde{X}_{i}^{\text {anc }}+E_{i}\right) G_{i}^{\prime}=Z .
\end{array}
$

この式は [4] の手法により次式の特異値分解によっ て $g_{i}$ を求めることができる. ただし, $\left(\tilde{X}_{i}^{\text {anc }}\right)^{\dagger}$ は $\tilde{X}_{i}^{\text {anc }}$ の擬似逆行列, $C$ は正則な正方行列とする.

$
\begin{aligned}
{\left[\tilde{X}_{1}^{\text {anc }}, \tilde{X}_{2}^{\text {anc }}, \cdots, \tilde{X}_{c}^{\text {anc }}\right] } & =\left[U_{1}, U_{2}\right]\left[\begin{array}{ll}
\Sigma_{1} & \\
& \Sigma_{2}
\end{array}\right]\left[\begin{array}{l}
V_{1}^{T} \\
V_{2}^{T}
\end{array}\right] \\
& \approx U_{1} \Sigma_{1} V_{1}^{T}, \\
G_{i} & =\arg \min _{G \in \mathbb{R}^{m \times m}}\left.\|Z-\tilde{X}_{i}^{\text {anc }} G\right.\|_{F}^{2} \\
& =\left(\tilde{X}_{i}^{\text {anc }}\right)^{\dagger} U_{1} C .
\end{aligned}
$

最後に, 解析者はコラボレーション表現 $\hat{X}_{i}=\tilde{X}_{i} G_{i} \in$ $\mathbb{R}^{n_{i} \times \hat{m}}$ を作成し, 統合したコラボレーション表現を 入力として機械学習モデルの学習を行う.

## 3 提案手法

既存のデータコラボレーション解析ではシーケン スデータの順序情報を保持して学習を行うことがで きない問題がある。中間表現を作成する際にはマッ ピング関数で $m$ 次元ベクトルのデータを $\tilde{m}$ ベクト ルに変換を行う．このため文章データで同様の変換 を行う場合，(単語分散表現) $\times$ (単語数) の行列を ベクトルに変換する必要があり, その際に単語の順序情報が失われてしまう。

本研究では文章サンプルを単語の分散表現辞書と 順序情報の 2 要素に分解してから組み合わせて学習 を行う手法を提案する．単語の順序情報は単体では元の文章を復元できないため，秘匿せず直接解析者 に渡すことができる。そのため，データコラボレー ション解析で分散表現辞書のコラボレーション表現 を作成した後に単語の順序情報と組み合わせること で順序情報を保持した統合解析を行う。

複数のパーティからなる提供者が持つ文章データ を単一の解析者の下で解析することを考える．解析者は埋め込み層のない RNNをべースとした学習モ デルを保有し，単語の順序に従い単語分散表現を入力とすることで解析を行うことができる.

## 3.1 分散表現辞書の作成

最初に，提供者の間で分散表現辞書を作成し共有 する. Word2 Vec [5] 等の手法で作成された単語分散表現の事前学習済みモデルを元にして，ランダムに 並び替えた順番をインデックスとすることでイン デックス-単語-分散表現の間で一意な対応を作成す る. 作成した対応を元にインデックス-単語の対応 $v$ ，インデックス-分散表現の対応 $D \in \mathbb{R}^{m \times p}$ を作成 しデータ提供者間で共有する。 $\boldsymbol{v}, D$ はインデックス に従い行方向に順番にそれぞれ単語, 分散表現を並 べることで作成される。なお， $m$ は単語分散表現の 実べクトル次元数を表し, $p$ は事前学習モデルに含 まれる単語の総数を表す. ${ }^{11}$

$
\begin{aligned}
& \boldsymbol{v}=(\text { "'a","is", "pen", "this") } \\
& D=\left[\begin{array}{llll}
1.2 & 0.5 & 1.8 & 0.2 \\
1.3 & 0.6 & 1.9 & 0.3 \\
1.4 & 0.7 & 2.0 & 0.4
\end{array}\right] .
\end{aligned}
$

## 3.2 文章の分解

提供者は共有された対応 $v$ を用いて順序情報を表 すシーケンス $s_{i j}$ を作成する. 各提供者 $i$ は保有す る文章サンプル $j$ を単語ごとに分解して $l_{i j}$ 個の要素を持つ単語列とする. $v$ を用いて単語列の単語を それぞれ対応するインデックスに置き換えることで シーケンス $s_{i j} \in\{1,2, \ldots, p\}^{l_{i j}}$ を得る. また，提供者 $i$ の保有するシーケンスをまとめて $s_{i}$ と表す.

このように作成されたシーケンス $s_{i j}$ は $D$ と の演算により学習モデルへの入力を得ることが できる. 行列 $D=\left(d_{1}, \boldsymbol{d}_{2}, \ldots, \boldsymbol{d}_{p}\right)$ とべクトル $\boldsymbol{s}_{i j}=$ $\left(s_{1}, s_{2}, \ldots, s_{l_{i j}}\right)$ の間において, $D=\left(\boldsymbol{d}_{s_{1}}, \boldsymbol{d}_{s_{2}}, \ldots, \boldsymbol{d}_{s_{l_{i j}}}\right)$ に並び替える演算を $D\left(:, s_{i j}\right)$ として定義する.この とき $D\left(:, s_{i j}\right)$ は分散表現による文章を表し，RNNを
含まれない単語を表す未知語タグ等も含む。

ベースとした学習モデルへの入力とすることがで きる.

$
\begin{gathered}
\text { ( 文章 ) } \cdots . . . \text { “'This is a pen“, } \\
\boldsymbol{s}_{i j}=(4,2,1,3), \\
D\left(:, s_{i j}\right)=\left[\begin{array}{llll}
0.2 & 0.5 & 1.2 & 1.8 \\
0.3 & 0.6 & 1.3 & 1.9 \\
0.4 & 0.7 & 1.4 & 2.0
\end{array}\right] .
\end{gathered}
$

## 3.3 データコラボレーション文章解析

データコラボレーション解析における $X_{i}=X^{\text {anc }}=$ $D^{\top}$ として $D$ のコラボレーション表現を作成する.

図 1 に示すように各提供者パーティ $i$ は個別のマッ ピング関数 $f_{i}$ を用いて中間表現 $\tilde{D}_{i}=f_{i}(D) \in \mathbb{R}^{\tilde{m} \times p}$ を作成する. 作成した中間表現を解析者の元へ集 め，解析者は中間表現を元にマッピング関数 $g_{i}$ を作成してコラボレーション表現 $\hat{D}_{i} \in \mathbb{R}^{\hat{m} \times p}$ を得る. 個別に作成された中間表現から元データを復元するこ とはできないため，分散表現辞書 $D$ は解析者に対し 秘匿されることになる. ${ }^{2)}$

最後に，コラボレーション表現をシーケンス $s_{i}$ と 組み合わせて解析を行う，提供者はシーケンスを秘匿せずそのまま提供者から解析者に渡す. 図 1 に示 すように解析者の元で $\hat{D}_{i}$ と $s_{i}$ を用いて $\hat{D}_{i}\left(:, s_{i}\right)$ を 作成し解析を行う. $\hat{D}_{i}\left(:, s_{i}\right)$ は単語の順序に従い行方向に分散表現が並べられている。解析者はRNN をべースとした学習モデルへの入力とすることで単語の順序情報を活用して解析が行える.

## 3.4 シーケンスからの単語推測

シーケンス $s_{i}$ は秘匿されないため解析者は単語 の使用頻度情報を用いた攻撃が可能である. 解析者 はシーケンスに出てくる各インデックスの使用回数 を数えることで単語の使用頻度の情報を得られる。一般に自然言語では単語ごとに使用頻度に差がある ため，データ解析者は使用頻度を比較することで元 の単語を推測することができる.

しかし，使用頻度の情報のみでは元の文章の復元 は困難である．同程度の使用頻度の単語を正確に分類することは難しく，十分な単語数がある場合の復元は難しい. またこの攻撃への対抗策として，一部 の単語を他の単語に置き換えたり空白として扱うと

2） $\hat{D}$ に対し標準化の処理を適用すると学習精度の向上に繋 がる場合がある． $\hat{D}$ は $g_{i}$ を適用する際に $D$ と比較して絶対值が小さい値になりやすいため，ニューラルネットワークに よる誤差逆伝播が機能しにくくなることを防ぐ効果がある.
いった差分プライバシーの手法によって使用頻度を 変化させる手法が考えられる.

図 1 提案手法による文章解析の概略

## 4 実験

文章分類の実験によって提案手法の性能評価を行 う. 提供者が他のパーティとデータを共有せず個別 に解析を行う個別解析，生データを秘匿せず直接共有して解析を行う集中解析の 2 つと比較を行う.

## 4.1 実験設定

実験ではサンプルデータの総数と解析精度の関係 を確認する。データ提供者は各パーティ 500 サンプ ルずつ保有するものとし, パーティ数を 1 から 10 ま で変化させることでサンプルデータの総数を 500 か ら 5000 に変化させる. マッピング関数 $f_{i}$ では主成分分析による次元削減の後 $[0,1]$ の一様乱数を要素 に持つ乱数行列をかけている. 主成分分析では分散表現の事前学習モデル GloVe [6] による 300 次元の 分散表現を 128 次元に削減した. 解析者は GRU [7] と全結合層からなるニューラルモデルを用いて解析 を行う.

サンプルデータには映画レビュー文とニュース記事の 2 種類のデータセットを使用する.1つ目の実験では IMDB 映画レビューデータセット [8] を使用 し, 映画のレビュー文を入力として内容が好意的か 批判的か判定を行うの 2 值分類を行う. 2 つ目の実験ではロイターニュース記事データセット [9]を用 いて 46 種類のトピックからニュース記事がどのト

図 2 IMDB 映画レビュー分類

ピックに対応するかの多值分類を行う.

## 4.2 結果

図 2 に IMDB 映画レビュー文，図 3 にロイター ニュース記事の実験結果を示す. グラフはそれぞれ 10 回試行した平均値を取っており，エラーバーは 標準誤差を表している。個別解析では提供パーティ を増やしても分類精度（ACC）がほぼ一定の結果と なった一方, 集中解析では提供パーティを増やし学習に利用するサンプル総数が増えるに従い ACC も 向上している.

提案手法の ACC は集中解析に近い值を示し，提供パーティ数に応じて精度が向上していることが読 み取れる。提供パーティ数 10 の 5000 サンプル時点 では個別解析と比較して 20 ポイント以上高い数值 となっており, 集中解析との比較では IMDB 映画レ ビューでは同等の数値, ロイターニュース記事では $1 \sim 3$ ポイント程度低い数値となった.

## 4.3 考察

提案手法により複数パーティのデータを統合して 集中解析に近い精度で学習できた。単一パーティの データしか利用できない個別解析では提供パーティ を増やしても ACC は向上しない。一方, 全パーティ のデータを統合して解析する提案手法と集中解析で は提供パーティの増加に応じて ACC も向上しサン プル数に応じて高い精度で解析できている.

また，集中解析と比較して提案手法は映画レ ビュー分類では同等の精度で学習できているが， ニュース記事分類では $1 \sim 3$ ポイント程度低い精度 となってしまった. しかし，サンプル数に応じて精

図 3 ロイターニュース記事分類

度が向上していることから十分なサンプル数を用意 すれば実用に足る十分な精度で学習できると考えら れる.

提案手法が高い精度で学習できていることは，文章の順序情報を保持して学習できていることが大き な要因であると考察する。提案手法では単語の並び 順を考慮して学習ができるため前後の文脈を踏まえ て分類を行えるため集中解析に近い精度を出せたと 考えられる。

提案手法と集中解析の精度の違いは分散表現辞書 のコラボレーション表現作成による違いだと考察す る. 分散表現辞書は中間表現の作成時に次元削減と 乱数列の積をとっており，次元削減により失われる 情報やマッピング関数 $g_{i}$ によって各パーティの乱数列の違いの影響を打ち消せなかった部分が精度に 現れたと考えられる。

## 5 おわりに

本研究では文章を分散表現辞書とシーケンスで 表現し，順序情報を活用しながらプライバシー保護 を考慮して学習を行う手法を提案した。文章分類の 実験を行い，提案手法により文章の順序情報を活用 して集中解析に近い精度で学習できることを確認 した.

一方，提案手法による解析時は解析者の元に単語 の使用頻度の情報を渡す事になる久点を抱えてい る. 使用頻度から元の文章を復元する攻撃の成功率 の検証，差分プライバシーによる対策を行う場合の 精度低下の検証は今後の課題としたい。

## 謝辞

この成果は，国立研究開発法人新エネルギー・産業技術総合開発機構（N E D O）の委託業務 （JPNP18010）の結果得られたものです.

## 参考文献

[1] Akira Imakura, Tetsuya Sakurai. Data Collaboration Analysis Framework Using Centralization of Individual Intermediate Representations for Distributed Data Sets. ASCEASME Journal of Risk and Uncertainty in Engineering Systems, Part A: Civil Engineering, Vol. 6, No. 2, p. 04020018, 2020.

[2] Akira Imakura, Xiucai Ye, and Tetsuya Sakurai. Collaborative Data Analysis: Non-model Sharing-Type Machine Learning for Distributed Data. In Hiroshi Uehara, Takayasu Yamaguchi, and Quan Bai, editors, Knowledge Management and Acquisition for Intelligent Systems, Vol. 12280 of PKAW 2021. Lecture Notes in Computer Science, pp. 14-29, Cham, 2021. Springer International Publishing.

[3] Akira Imakura, Ryoya Tsunoda, Rina Kagawa, Kunihiro Yamagata, Tetsuya Sakurai. DC-COX: Data collaboration Cox proportional hazards model for privacy-preserving survival analysis on multiple parties. Journal of Biomedical Informatics, Vol. 137, p. 104264, 2023.

[4] Shinji Ito and Kazuo Murota. An Algorithm for the Generalized Eigenvalue Problem for Nonsquare Matrix Pencils by Minimal Perturbation Approach. SIAM Journal on Matrix Analysis and Applications, Vol. 37, No. 1, p. 409-419, 2016.

[5] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient Estimation of Word Representations in Vector Space, 2013.

[6] Jeffrey Pennington and Richard Socher and Christopher D. Manning. GloVe: Global Vectors for Word Representation. In Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543, 2014.

[7] Kyunghyun Cho, Bart van Merrienboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation, 2014.

[8] Andrew L. Maas, Raymond E. Daly, Peter T. Pham, Dan Huang, Andrew Y. Ng, and Christopher Potts. Learning Word Vectors for Sentiment Analysis. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 142-150, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[9] Reuters-21578,Distribution 1.0. http://www. daviddlewis.com/resources/testcollections/ reuters21578.


# 破滅的忘却を防ぐ最適化関数を用いた構文情報の事前学習

岩本 蘭 1,2 吉田 一星 ${ }^{1}$ 金山 博 ${ }^{1}$ 大湖 卓也 ${ }^{1}$
1 日本アイ・ビー・エエ株式会社東京基礎研究所 2 慶應義塾大学
ran.iwamoto1@ibm.com \{issei,hkana,ohkot\}@jp.ibm.com

## 概要

構文構造は複雑な文や長い文の中の重要な情報に 目を向ける手助けとなる。しかし BERT などの事前学習済モデルは明示的な構文制約を与えておらず、感情分析タスクなどで構文的に不自然な出力が見 られる。その問題への対処として構文知識を事前学習させる研究が行われている。本論文では事前学習済 BERT がもつ意味表現を保持しつつ構文知識を 加えるために、破滅的忘却を防ぐ 2 つの最適化関数 (Elastic Weight Consolidation と Gradient Surgery)を用 いて4つの構文タスクをそれぞれ追加学習させた。追加学習済モデルを用いて GLUE の 3 つのタスク (CoLA, RTE, MRPC) を解き、意味と構文両方の情報 を持つモデルが高性能を発揮することを示した。

## 1 はじめに

事前学習済言語モデル（以降、モデルと呼ぶ）は 近年の言語処理タスクの性能向上に大きく寄与して いる。それらのモデルは品詞や依存構造などの構文情報を大まかに捉えているが [3]、実際には応用タス クを解くための構文情報がまだ不足している [20]。

構文構造を明示的/暗黙的に組み込んだ言語処理 モデルは機械読解 [24] や言語理解 [23]、翻訳 [2] な どで高い性能を発揮している。それらの研究ではモ デルに構文構造を読み込むモジュールを明示的に組 み込む。しかし既存の応用タスクの多くは Hugging Face [19] などが配布している形式のモデルの読み込 みを前提としており、他のタスクへの活用が難しい という側面がある。そこでモデルの再利用性の向上 を目的とし、構文構造の追加学習のみを行うモデル が台頭している $[16,21]$ 。本論文では近年の流れに 倣い、BERT [4]への構文構造の追加事前学習を行 い、後段タスクで使いやすいモデルを作成した。学習済モデルに別のタスクを学習させると以前学んだ ことを忘れる破滅的忘却 [5] という問題が起こりや すいため、破滅的忘却を防ぐ最適化関数を用いた。

図 1 構文事前学習の概要。破滅的忘却を防ぐ最適化関数 を用いて構文情報を追加学習し、モデルが元々持つ意味表現を損なわず構文情報を獲得する。

構文事前学習の概要を図 1 に示す。本論文の主な貢献は以下の 3 つである。

・事前学習済 BERTに 4 つの異なる構文情報を新 たに組み込み(構文学習)、後段タスクでの性能 を比較した。

・構文学習の際に、既存の知識を忘れてしまう破滅的忘却を防ぐ最適化関数を用いて、意味情報 と構文知識の両方を持つモデルを作成した。

・GLUEの 3 タスクでの実験で、事前学習済BERT が元々持つ意味情報と、追加学習で得た構文知識をバランスよく含むモデルが高い性能を発揮 することを示した。

## 2 構文構造の事前学習

本節では学習させる構文情報の種類について述べ る。既存研究では係り受けの予測 [18] や、依存関係 の距離、兄弟関係の予測 [16] など主に 2 つの語の関係を用いている。実応用、例えば名詞句の抽出 [6] や感情分析 [7] などでは主節/従属節の関係や並列構造を従来モデルを用いてうまく扱えていない。タス クに応じて必要な構文情報をモデルに反映させるに

図 2 構文事前学習タスクの例。Tian らのシステム [16] を用い、4つの事前学習ではラベル 1 と 2 を同時に学習す る。青い部分はフレーズや主節、並列構造を持つ。

は、多様性に富んだ構文学習を行う必要がある。 そこで我々は構文事前学習として、1) deprel prediction 2) phrase detection, 3) main/subordinate detection, 4) conjunction detection を行い、どのような構文情報 が応用タスクに有用かを調べた。

## 2.1 構文事前学習システム

構文学習のために Tian らのシステム [16] を用 いた。システムは係り受けを予測する dependency masking (DM) と関係名を予測する masked dependency prediction (MDP) を同時学習する構造を持つ。本論文では MDP 側を我々のタスクに変更する。

## 2.2 構文事前学習タスク

本節では図 2 の 4 つの事前学習について述べる。 それぞれ文中の単語の係り受けを予測する部分は同 じとし (図 2 のラベル 1 に相当)、図 2 のラベル 2 の 部分が各タスクによって異なる。

Deprel prediction (deprel) 依存構造解析と同様で あり、構文事前学習のベースラインタスクとする。

Phrase detection (phrase) Basirat ら [1] から着想 を得たタスクである。彼らはフレーズのような単位 である nucleus を用いて依存構造解析の性能を向上 させた。本論文でもそれに倣いフレーズ間の関係 (フレーズの主辞の deprel) を予測する。

Main/subordinate detection (main/sub) Nikolaev $ら$ [12] の、BERT が従属節を検出可能かどうかを調査 するタスクを参考にし、主節と従属節を予測する。

Conjunction detection (conj) A and B といった並列構造を予測する。具体的には A, B それぞれの主辞 (conj) とその中の子要素 (child)、and 等の並列接続詞 (cc)、それ以外 (other) のラベルを予測する。

## 3 破滅的忘却を防ぐ最適化

本節ではモデルの意味情報を保持しつつ構文知識 を追加するための 2 つの最適化関数を紹介する。

モデルに対してタスクを連続で学習させると、最初の方のタスクの性能が著しく低下する破滅的忘却 [5] という問題が生じる。事前学習済モデル でも破滅的忘却を防ぐ様々な研究が提案されてお り[8]、我々はマルチタスク学習、特に強化学習や 翻訳の分野でよく用いられる最適化手法 Gradient Surgery (GS)[22] と、継続学習で一般的な最適化であ る Elastic Weight Consolidation (EWC)[9]を用いた。

## 3.1 Gradient Surgery (GS)

Gradient Surgery は複数タスクを同時に学習するマ ルチタスク学習で、勾配の対立を解消する最適化手法である。例えばある 2 つのタスクで勾配が逆方向 になる場合、片方の勾配をもう一方の勾配の直行平面に射影し、もう一方の勾配と対立している部分を 消す。その後 2 つの勾配を足し合わせる。

## 3.2 Elastic Weight Consolidation (EWC)

EWC はタスクを順に学習する継続学習で最初の タスクの最適解を探した後 (または学習済モデルを 用いる時) にそのタスクと次のタスク両方で高性能 を出すパラメータを探す最適化手法である。Fisher 情報行列を用いて、最初のタスクで重要なパラメー タはなるべく更新せず、重要でないパラメータの更新重みを大きくする。GS を用いるマルチタスク学習では最初のタスクのデータを大量に必要とする のに対し、継続学習でEWC を用いる際には少量の データのみでパラメータの重要度を計算できる。

## 4 実験 1: 構文事前学習

本実験では事前学習済モデルが意味情報を残した まま構文情報をどの程度学習可能かを検証する。

## 4.1 設定

構文学習には 2 節で述べた Tian らのシステム [16] を、事前学習済モデルとして bert-base-cased ${ }^{1)}$ を用い た。構文学習のデータは UD-EWT v2.10 [15] から作成し、train/dev/test の割合は変えていない。単語数が 5 未満の文、PoS タグ “X” や関係ラベル“dep”を含 む文を除去した。実験に用いた文数を表 2 に示す。

表 1 構文構造の事前学習での、構文タスクと最適化関数の違いによる構文/MLM タスクの性能比較。

& AdamW & 98.02 & 96.04 & 96.82 & 96.90 & 95.37 & 95.63 & $\mathbf{9 6 . 2 2}$ & 702.87 \\
& SGD & 97.86 & 95.86 & 96.64 & 96.90 & 95.37 & 95.63 & 96.13 & 32392.10 \\
& GS & 97.30 & 94.75 & 95.69 & 96.48 & 94.93 & 95.18 & 95.43 & $\mathbf{1 0 . 4 4}$ \\
& EWC & 97.43 & 94.70 & 95.56 & 96.03 & 94.40 & 94.71 & 95.13 & 25.63 \\

& SGD & 97.19 & 95.20 & 95.89 & 95.64 & 95.44 & 95.36 & 95.62 & 2587.11 \\
& GS & 97.58 & 95.80 & 96.53 & 95.08 & 95.21 & 95.02 & 95.78 & $\mathbf{9 . 6 8}$ \\
& EWC & 97.70 & 95.74 & 96.51 & 94.79 & 94.72 & 94.66 & 95.58 & 24.17 \\

& SGD & 96.90 & 94.80 & 95.49 & 100.00 & 100.00 & 100.00 & 97.74 & 1471.63 \\
& GS & 95.70 & 93.86 & 94.16 & 94.93 & 95.56 & 95.24 & 94.70 & $\mathbf{1 1 . 1 6}$ \\
& EWC & 97.57 & 95.22 & 96.07 & 94.52 & 94.52 & 94.52 & 95.29 & 23.59 \\

& SGD & 83.81 & 83.65 & 82.57 & 97.49 & 95.79 & 96.53 & 89.55 & 1412.65 \\
& GS & 89.57 & 88.19 & 87.75 & 96.46 & 93.93 & 94.92 & 91.33 & $\mathbf{9 . 5 6}$ \\
& EWC & 89.57 & 88.19 & 87.75 & 96.13 & 93.15 & 94.26 & 91.00 & 23.78 \\

表 2 実験に使用した UD-EWT コーパスの文数.

最適化関数は 3 節で述べた破滅的忘却を防ぐ GS、 EWC と、比較手法として AdamW [10] と SGD [13] を用いた。GS と EWC を用いた学習では構文学習の 1 ステップごとに WikiText2 [11] からランダムに 100 文を選び MLM (Masked Language Modeling) の勾配を 求めた。GS ではその勾配を構文学習の勾配に足す、 つまり少量の MLM データでのマルチタスク学習を 行なった。EWCではパラメータの重要度計算に勾配を用いただけで、MLM の追加学習はしていない。 bert-base-cased を構文学習なしのベースラインと し、4つの構文学習をそれぞれ行なった。BERTの 元々の意味情報を保持しているか確かめるため、構文学習後に全てのモデルに対して WikiText2を用い て MLM を測定した。MLM の評価尺度として擬似対数尤度スコア (PPL) [14] を、構文タスクの評価尺度として適合率、再現率、F1スコアを用いた。学習率は $\{1$ e-4,1e-5,1e-6\}、epoch 数は $\{50,70,100\} を$ 用い、 test データで Syntax Head と Syntax Label 予測の平均 F1 スコアが一番高いモデルの值を載せた。

## 4.2 結果

結果を表 1 に示す。GS と EWC のみ MLM 事前学習の知識を保ったまま (PPL が低いまま) 構文学習が できたのに対し、AdamW と SGD は破滅的忘却が起 こり PPL が増大した。AdamW はどの構文タスクで も最も良い平均 F1 スコアを達成したが、特に deprel タスクにおいては他の最適化との $\mathrm{F} 1$ スコアの差は ほぼない。AdamW と SGD は target タスクにこでは 構文学習) の性能向上に特化するので、直前のタス クの性能が低くなる (PPL が高くなる)。PPL と応用 タスクの関係については栗林ら [25] も触れている。 GS と EWC では PPL が低く、構文学習よりも前に身 につけた意味的な知識を保っていることがわかる。

タスクごとの違いについても述べる。AdamW での Syntax Label のスコアの違いを比較すると、 main/subordinate タスクや conj タスクは Syntax label の種類が少ないため F1 スコアが高いが、それ以外 のタスクは Syntax label の種類が多く F1 スコアが低 い。この結果はデータの性質から予測可能である。注目すべきは Syntax Head で、4 タスクで正解が同 じなのにも関わらず、もう片方のタスクとの相性に よってスコアが異なる。例えば、conj と head の組み 合わせは他に比べて F1 スコアが低い。
表 3 構文事前学習タスクと最適化関数のそれぞれの違いに基づく GLUE タスクの性能比較。構文事前学習タスクごと の最も高いスコアを下線、それぞれの GLUE タスクにおいての最高スコアを太字で示す。

## 5 実験 2: GLUE

構文知識が言語理解に及ぼす効果を、言語理解 のベンチマーク GLUE [17] の中で構文構造が有用 と思われるタスク (CoLA, RTE, MRPC) で評価する。 CoLA はある英文の文法が正しいかどうかを、RTE は 2 つの文の含意関係を、MRPC は 2 つの文が同じ 意味かを判定する 2 值分類タスクである。

## 5.1 設定

訓練時の epoch 数は 5 に設定し、評価指標は GLUE に倣い、CoLA では Matthews correlation, RTE では精度、MRPC では精度と F1 スコアを用いた。また, 3 タスクの評価值のマクロ平均をとった。2) 次節で示 す結果は表 1 のモデルとは異なり、GLUE の 3 タス クの平均スコアが一番高いモデルの結果を載せてい る。そのため構文学習のスコアも記している。

本論文では最適化と事前学習の違いによる性能の 違いを開発データのみで評価した。鈴木ら [26] が述 ベたように、リーダーボードに多数の投稿をするこ とは評価データの傾向の判明につながるため、本実験では開発データでの性能比較で十分と判断した。

2） MRPC の 2 つの值は 0.5 で重み付けして他の值と平均した。

## 5.2 結果

結果を表 3 に示す。CoLA やMRPC では破滅的忘却を防ぐ GS や EWC を用いたモデルが AdamW やSGD に比べ高いスコアを示した。EWCを用いて conj タスクを学習したモデルが最も高い平均スコア (72.22) を達成し、他のモデルも構文学習なしのスコ ア (70.54) を上回った。つまり多様な構文情報が性能向上に寄与し、中でも意味情報を保持しつつ構文情報を“ほどほどに”学習したモデルが高い性能を 発揮していると考えられる。

## 6 まとめ

本論文では事前学習済モデルに構文知識を取り 入れるために、破滅的忘却を防ぐ最適化関数 GS と EWC を導入し、 4 つの構文追加学習を比較した。モ デルに元々含まれる意味情報と追加学習で補った構文知識を併せ持ったモデルは CoLA, RTE, MRPC タ スクにおいて高い性能を発揮した。

適切な最適化関数を用いて知識をモデルに追加す る本手法は、構文情報以外の事前学習にも適用でき る。また作成したモデルは事前学習済モデルと同じ 形式を持ち、応用タスクでの活用に適している。

## 参考文献

[1] Ali Basirat and Joakim Nivre. Syntactic nuclei in dependency parsing - a multilingual exploration. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics, pp. 1376-1387, 2021.

[2] Emanuele Bugliarello and Naoaki Okazaki. Enhancing machine translation with dependency-aware self-attention. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1618-1627, 2020.

[3] Ethan A. Chi, John Hewitt, and Christopher D. Manning. Finding universal grammatical relations in multilingual BERT. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5564-5577, 2020.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics, pp. 4171-4186, 2019.

[5] Robert M. French. Catastrophic forgetting in connectionist networks. Trends in Cognitive Sciences, Vol. 3, No. 4, pp. 128-135, 1999.

[6] Xiaotao Gu, Zihan Wang, Zhenyu Bi, Yu Meng, Liyuan Liu, Jiawei Han, and Jingbo Shang. UCPhrase: Unsupervised ContextAware Quality Phrase Tagging. In Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, p. 478-486, 2021.

[7] Hiroshi Kanayama and Ran Iwamoto. How Universal are Universal Dependencies? Exploiting Syntax for Multilingual Clauselevel Sentiment Detection. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 4063-4073, 2020.

[8] Sudipta Kar, Giuseppe Castellucci, Simone Filice, Shervin Malmasi, and Oleg Rokhlenko. Preventing catastrophic forgetting in continual learning of new natural language tasks. In Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, p. 3137-3145, 2022.

[9] James Kirkpatrick, Razvan Pascanu, Neil Rabinowitz, Joel Veness, Guillaume Desjardins, Andrei A. Rusu, Kieran Milan, John Quan, Tiago Ramalho, Agnieszka Grabska-Barwinska, Demis Hassabis, Claudia Clopath, Dharshan Kumaran, and Raia Hadsell. Overcoming catastrophic forgetting in neural networks. Proceedings of the National Academy of Sciences, Vol. 114, No. 13, pp. 3521-3526, 2017.

[10] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019.

[11] Stephen Merity, Caiming Xiong, James Bradbury, and Richard Socher. Pointer sentinel mixture models. In International Conference on Learning Representations, 2017.

[12] Dmitry Nikolaev and Sebastian Pado. Word-order typology in multilingual BERT: A case study in subordinate-clause detection. In Proceedings of the 4th Workshop on Research in Computational Linguistic Typology and Multilingual NLP, pp. 11-21, 2022.

[13] H. Robbins and S. Monro. A stochastic approximation method. Annals of Mathematical Statistics, Vol. 22, pp. 400-407, 1951.

[14] Julian Salazar, Davis Liang, Toan Q. Nguyen, and Katrin Kirchhoff. Masked language model scoring. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2699-2712, 2020.

[15] Natalia Silveira, Timothy Dozat, Marie-Catherine de Marneffe, Samuel Bowman, Miriam Connor, John Bauer, and Christopher D. Manning. A gold standard dependency corpus for English. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC-2014), 2014.

[16] Yuanhe Tian, Yan Song, and Fei Xia. Improving relation extraction through syntax-induced pre-training with dependency masking. In
Findings of the Association for Computational Linguistics: ACL 2022, pp. 1875-1886, 2022.

[17] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, 2018.

[18] Ruize Wang, Duyu Tang, Nan Duan, Zhongyu Wei, Xuanjing Huang, Jianshu Ji, Guihong Cao, Daxin Jiang, and Ming Zhou. K-Adapter: Infusing Knowledge into Pre-Trained Models with Adapters. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 1405-1418, 2021.

[19] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, 2020.

[20] Zenan Xu, Daya Guo, Duyu Tang, Qinliang Su, Linjun Shou, Ming Gong, Wanjun Zhong, Xiaojun Quan, Daxin Jiang, and Nan Duan. Syntax-enhanced pre-trained model. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, pp. 5412-5422, 2021.

[21] Zhixian Yang and Xiaojun Wan. Dependency-based mixture language models. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, pp. 7758-7773, 2022.

[22] Tianhe Yu, Saurabh Kumar, Abhishek Gupta, Sergey Levine, Karol Hausman, and Chelsea Finn. Gradient surgery for multi-task learning. In Advances in Neural Information Processing Systems, Vol. 33, pp. 5824-5836, 2020.

[23] Zhuosheng Zhang, Yuwei Wu, Hai Zhao, Zuchao Li, Shuailiang Zhang, Xi Zhou, and Xiang Zhou. Semantics-aware BERT for language understanding. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 9628-9635, 2020.

[24] Zhuosheng Zhang, Yuwei Wu, Junru Zhou, Sufeng Duan, Hai Zhao, and Rui Wang. SG-Net: Syntax-Guided Machine Reading Comprehension. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 9636-9643, 2020.

[25] 栗林樹生, 大関洋平, 伊藤拓海, 吉田遼, 浅原正幸, 乾健太郎.予測の正確な言語モデルがヒトらしいとは限らない. 言語処理学会第 27 回年次大会予稿集, 2021.

[26] 鈴木潤, 全炳河, 賀沢秀人. ニューラル言語モデルの効率的 な学習に向けた代表データ集合の獲得. 言語処理学会第 28 回年次大会予稿集, 2022.