# スタイル変換のためのスタイルを考慮した Seq2Seq 事前訓練

松浦 駿平梶原 智之二宮崇
愛媛大学大学院理工学研究科
matsu@ai.cs.ehime-u.ac.jp \{kajiwara, ninomiya\}@cs.ehime-u.ac.jp

## 概要

特定のタスクやドメインに特化した事前訓練 が，近年盛んに研究されている。本研究では，イン フォーマルな文をフォーマルに言い換えるスタイル 変換に焦点を当て，本タスクに特化した事前訓練の 手法を提案する．提案手法では，事前訓練の際にス タイルを学習するために，出力文のスタイルを表現 する特殊トークンを入力文の文頭に加える．英語の スタイル変換タスクにおける実験の結果，自動評価 と人手評価の両方で提案手法の有効性を確認した.

## 1 はじめに

近年，様々な自然言語処理タスクにおいて，深層学習に基づくアプローチが主流となっている. 高品質な深層学習モデルを得るためには，大規模なラべ ル付きコーパスやパラレルコーパスを用いた訓練 が有効である。しかし，アノテーションのコストの ために，多くの自然言語処理タスクは少資源問題に 悩まされている. 本研究で扱うスタイル変換タス ク [1] も，数万文対という小規模なパラレルコーパ スしか使用できず，少資源問題が深刻なタスクのひ とつである。他のタスクと同様に，スタイル変換タ スクにおいても，マルチタスク学習 [2] やデータ拡張 [3] などの少資源対策の手法が研究され，現在で は BART [4] などの事前訓練された汎用モデルの再訓練 [5-8] がデファクトスタンダードとなっている.

特定のタスクやドメインに特化した事前訓練の有効性も，広く知られている。例えば，診療記録 [9] や科学技術論文 [10] などのドメインに特化した事前訓練モデルや，生成型要約 [11] や言い換え生成 [12] などのタスクに特化した事前訓練モデルは，対象の タスクやドメインにおいて高い性能が報告されてい る.しかし, 事前訓練の際にテキストのスタイルに ついて明示的に学習するスタイル変換タスクに特化 した事前訓練は，これまで研究されていない。本研究では，事前訓練の際にスタイルに関する 知識を獲得するために，出力文のスタイルを表現 する特殊トークンを入力文の文頭に追加した上で， BART と同様のノイズ除去自己符号化の事前訓練を 行う。 GYAFC コーパス [1] を用いたインフォーマル な英文からフォーマルな英文へのスタイル変換の実験の結果，スタイル・同義性・流暢性の全ての人手評価の項目において，提案手法は通常の BART の事前訓練よりも有効であった。

## 2 関連研究

## 2.1 事前訓練の先行研究

大規模な生コーパスを用いて事前訓練された Transformer [13] が，多くの自然言語処理タスクで優 れた性能を達成している。言語理解や言語生成の応用タスクにおいて，Transformer エンコーダをマスク 言語モデリングのタスクで事前訓練した BERT [14] や Transformer デコーダを言語モデリングのタスク で事前訓練した GPT-2 [15] が，広く使用されている。本研究で扱う系列変換タスクにおいても，様々な 事前訓練モデル $[16,17]$ が提案されている. スタイ ル変換タスク $[7,8]$ では, 語句の穴埋めなどのノイズ 除去自己符号化のタスクで事前訓練された BART [4] が優れた性能を達成している。本研究では，BART の汎用的な事前訓練をスタイル変換タスクに特化さ せ，事前訓練の際にスタイルに関する知識を獲得す ることでスタイル変換の性能改善を目指す.

## 2.2 スタイル変換の先行研究

シェイクスピアの英文をモダンに変換するスタイ ル変換 [18] や難解な英文を平易に変換するスタイル 変換 [19] など，様々なスタイルを対象とするスタイ ル変換が研究されている。本研究では，インフォー マルな英文をフォーマルに変換するフォーマルさに 関するスタイル変換 [1] に取り組む。

図 1 提案手法

フォーマルさに関するスタイル変換のために使用 できる GYAFC [1] は 5 万文対の小規模なパラレル コーパスであるため，多くの少資源対策の手法が提案されてきた. 大規模なパラレルコーパスを利用で きる機械翻訳とのマルチタスク学習 [2] や，自動生成された擬似的な単言語パラレルコーパスを用いる 事前訓練 [3,12], GPT-2 [15] の再訓練 [5,6] などが成功を収め, BART [4] の再訓練 $[7,8]$ が現在の最高性能を達成している．本研究では，スタイルを明示的 に訓練するように BART の事前訓練を改良する.

## 3 提案手法

本研究では，BART [4] の事前訓練をスタイル変換 タスクのために改良する。語句の穴埋めを行う事前訓練の際に, 入力文の文頭にスタイルラベルの特殊 トークンを付与することにより, 出力文のスタイル を制御する。これにより, 従来の BART の事前訓練 では考慮していないテキストのスタイルに関する知識の獲得を目指す。

提案手法の概要を図 1 に示す. 本手法では，まず，各文のスタイルを表現するために，スタイルラベル 付きの事前訓練用コーパスを作成する（3.1 節)．次 に，作成したコーパスを用いて BART と同様の事前訓練を行う (3.2 節). 最後に, 事前訓練で学習した スタイルラベルを利用し，目的のスタイル変換用パ ラレルコーパス上で再訓練を行う（3.3 節）.

## 3.1 スタイルラベル付きコーパスの作成

まず，スタイル分類器を用いて，事前訓練に用い る生コーパスの各文をソーススタイルの文とター ゲットスタイルの文に分類する。 その後，ソースス タイルの確率が高い文とターゲットスタイルの確率が高い文をそれぞれ同じ文数だけ抽出する. 最後 に，モデルがソーススタイルの文とターゲットスタ イルの文を識別できるようにするために，各文の文頭にスタイルを示すラベルを特殊トークン（図19 <F>や<I>）として追加する.
スタイル分類器には，フォーマルさのラベル付き コーパスを用いて訓練した分類器 [20] や言語モデル に基づく分類器 [2] など，任意の分類器を適用でき る. 本研究では, 事前訓練された RoBERTa [21]を GYAFC [1]のラベル付きコーパス上で再訓練する.

## 3.2 事前訓練

3.1 節のコーパスを用いて, Transformer モデル [13] を事前訓練する．事前訓練のタスクには，BART [4] と同様の語句の穴埋めを採用する. つまり, 入力文 の一部の語句をマスクして入力し，元の文を復元す るノイズ除去自己符号化の事前訓練を行う。また，入力文の文頭のスタイルラベルはマスク処理の対象外とし，出力文にはスタイルラベルを含めない。 BART と同様に，ミニバッチは約 512 トークンとな るように複数文を連結して構成する。ただし，同じ スタイルの文のみでミニバッチを構成し，スタイル ラベルはミニバッチの先頭に 1 つだけ付加する.

提案手法の事前訓練では，モデルはソースまたは ターゲットの各スタイルラベルが付与された入力文 から当該スタイルの文の生成を学習する. この事前訓練により，スタイルラベルによって出力文のスタ イルを制御可能なモデルを得られると期待できる.

## 3.3 再訓練

再訓練には，スタイル変換用のパラレルコーパス を用いる。ただし，事前訓練時に学習したスタイル ラベルを引き続き利用するために，パラレルコーパ スの入力文の文頭にもスタイルラベルを付加する。

## 4 評価実験

## 4.1 実験設定

モデル スタイル変換器は fairseq $^{1)}$ [22]を用いて 実装し, bart-base ${ }^{2}$ [4] と同じ構造の Transformer [13]

1) https://github.com/pytorch/fairseq

2) https://github.com/pytorch/fairseq/tree/main/ examples/bart
表 1 GYAFC コーパスの文対数

を採用した。 スタイル分類器は huggingface ${ }^{3)}[23]$ を 用いて実装し，事前訓練済みの RoBERTa4) [21]を採用した. スタイル分類器の訓練には, バッチサイズ を 32 文，学習率を 1e-5 とし，GYAFC コーパス [1] のフォーマル文とインフォーマル文を 2 值分類する ようにクロスエントロピー損失最小化の訓練を 5 エ ポック行った. GYAFC の検証用データで分類器の 性能を評価したところ，88\% の正解率を持つ高品質 なスタイル分類器を構築できた。

事前訓練事前訓練のための生コーパスには, CC100 [24] の英語コーパスを使用した。コーパス全体にスタイル分類器を適用し，フォーマルな確率お よびインフォーマルな確率の高い順に 5 千万文ず つを抽出した合計 1 億文を用いて事前訓練を行っ た. なお，これらの文はフォーマル確率またはイン フォーマル確率が 0.9 を超えており，充分にフォー マルまたは充分にインフォーマルな文である，スタ イルラベルとして，フォーマルな文の文頭には<F $\mathrm{F}$ ， インフォーマルな文の文頭にはくI>の特殊トークン をそれぞれ追加した．前処理として，Moses ${ }^{5}$ [25] によって normalize および tokenizeを行い，語彙サイ ズ 3 万でサブワード分割 ${ }^{6}$ [26] を行った.

事前訓練には BART [4] と同様の語句の穴埋め夕 スクを採用し，マスク確率およびポアソン分布の $\lambda$ は 0.35 とした. バッチサイズは 512 文, Dropout 率は 0.1 とし, エンコーダとデコーダで埋込層を 共有した. 最適化には Adam を用い，ラベル平滑化 クロスエントロピー損失最小化の訓練を 50 万ス テップ行った. なお，ラベル平滑化のハイパーパ ラメータは $\epsilon=0.2$ とした. 学習率スケジュールに は Inverse Square Root Decay を用い，最大の学習率は 5e-4，Warmup ステップは 1 万とした.

再訓練再訓練のためのパラレルコーパスに は GYAFC [1]を使用し，インフォーマルな英文を フォーマルに言い換えるスタイル変換を行った。 GYAFC には, 表 1 に示すように Entertainment \& Music


表 2 BLEUによる自動評価

（E\&M）および Family \& Relationships（F\&R）の2つ のドメインのパラレルコーパスが含まれる. 先行研究 $[2,7,27]$ と同様に，2つのドメインの訓練用デー タを合わせて両ドメインの訓練に用いた. 前処理と して, Mosesによって normalize および tokenizeを行 い，事前訓練と同じサブワード分割を行った.

再訓練では，バッチサイズは 1,024 トークン, Dropout 率は 0.1 とし, エンコーダとデコーダで埋込層を共有した。最適化には Adamを用い，検証用データにおける perplexity が 5 エポック改善され なくなるまでラベル平滑化クロスエントロピー損失最小化の訓練を行った. なお，ラベル平滑化の ハイパーパラメータは $\epsilon=0.1$ とした. 学習率スケ ジュールには Inverse Square Root Decay を用い，最大 の学習率は 3e-5, Warmup ステップは 500 とした.

推論 モデルの評価時には，ビーム幅 5 のビーム 探索を行った. また，シード值による影響を緩和す るために，シード值の異なる４つのモデルをアンサ ンブルして出力文を生成した.

比較手法 スタイルラベルを用いる事前訓練の 有効性を検証するために，事前訓練を行わない Transformer およびスタイルラベルを用いない BART と比較した. Transformer ベースラインは, 提案手法と同じモデル構造であるが，GYAFC のパラレル コーパスのみを用いて訓練する．BART ベースライ ンは，提案手法と同じモデル構造であり，同じコー パスを用いて事前訓練および再訓練を行うが，事前訓練の際にスタイルラベルを使用しない。

評価 自動評価と人手評価の両方で各モデルの性能を評価した。自動評価には SacreBLEU7) [28] を用 いた。人手評価には Amazon Mechanical Turk ${ }^{8}$ を使用し, 米国在住， $98 \%$ の承認率，5,000 件以上のタス ク承認歴を持つアノテータを 5 人雇用9) した. 評価用データの中からドメインごとに 100 文の合計 200 文を無作為抽出し, 入出力間の同義性・出力文の流暢性・出力文のスタイルのフォーマルさの 3 つの観


表 4 人手評価の平均値

点から人手評価を行った. 先行研究 [7] に従い，同義性を $[1,6]$ の 6 段階，流暢性を $[1,5]$ の 5 段階，ス タイルを $[-3,3]$ の 7 段階で人手評価した.

## 4.2 実験結果

表 2 に自動評価の結果を示す。事前訓練を行わな い Transformer ベースラインと比較して，BART ベー スラインおよび提案手法が顕著に高い性能を示し た.また，提案手法は BART と比べて統計的に有意 $（ p<0.05 ）$ に BLEU が向上したことから，スタイル を考慮する事前訓練の有効性を確認できた。

表 4 に人手評価の結果を示す. 同義性・流暢性・ スタイルの全ての指標において，提案手法が比較手法たちを上回る評価を得た。これらの実験結果か ら，事前訓練の際に明示的にテキストのスタイルを 考慮する提案手法の有効性が，自動評価と人手評価 の両方で明らかになった。

## 5 分析

## 5.1 小規模なパラレルコーパスでの再訓練

より小規模なパラレルコーパスしか使用できな い設定における提案手法の有効性を検証する． 4 節 の実験では，GYAFC に含まれる 2 のトトメインの 訓練用データを合わせた約 10 万文対を用いて再訓練を行ったが，本節ではこれを 5 万文対および 1 万文対に無作為抽出して削減する. 4 節の実験と同様 に，シード值の異なる 4 つのモデルをアンサンブル して出力文を生成し，BLEUによる自動評価を行う.

図 2 に，再訓練に用いる文対数を削減した際の性能の変化を示す。再訓練用のパラレルコーパスを 5 万文対や 1 万文対に削減した場合も，提案手法は一

図 2 小規模なパラレルコーパスによる再訓練

貫して Transformer および BART のベースライン性能を上回る. また，10万文対のデータで再訓練した BART ベースラインと比較して，5万文対のデータ で再訓練した提案手法は両ドメインにおいて 0.1 ポ イント高いBLEUを達成しており，提案手法が少資源の設定においても有効であることを確認できた。

## 5.2 生成文の定性評価

表 3 に各モデルの出力例を示す. Transformer は 入力文と意味の異なる文を生成しているが，BART と提案手法は入力文の言い換えの生成に成功して いる。また，提案手法は BART とは異なり，guys を men, hot を attractiveへと言い換えており，表 4 で示 したとおり，よりフォーマルな文を生成している。

## 6 おわりに

本研究では，事前訓練の際にテキストのスタイル を明示的に学習するために，出力文のスタイルを表現する特殊トークンを文頭に追加する事前訓練の手法を提案した. そして，英語のフォーマルさに関す るスタイル変換での害験を通して，提案手法の有効性を自動評価と人手評価の両方で示した. 今後の課題として，他のスタイルや言語にも適用したい.

## 謝辞

本研究は JST（ACT-X，課題番号：JPMJAX1907） の支援を受けたものです.

## 参考文献

[1] Sudha Rao and Joel Tetreault. Dear Sir or Madam, May I Introduce the GYAFC Dataset: Corpus, Benchmarks and Metrics for Formality Style Transfer. In Proc. of NACCL, pp. 129-140, 2018.

[2] Xing Niu, Sudha Rao, and Marine Carpuat. Multi-Task Neural Models for Translating Between Styles Within and Across Languages. In Proc. of COLING, pp. 1008-1021, 2018.

[3] Yi Zhang, Tao Ge, and Xu Sun. Parallel Data Augmentation for Formality Style Transfer. In Proc. of ACL, pp. 3221-3228, 2020.

[4] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. In Proc. of ACL, pp. 7871-7880, 2020.

[5] Yunli Wang, Yu Wu, Lili Mou, Zhoujun Li, and Wenhan Chao. Harnessing Pre-Trained Neural Networks with Rules for Formality Style Transfer. In Proc. of EMNLP, pp. 3573-3578, 2019.

[6] Yunli Wang, Yu Wu, Lili Mou, Zhoujun Li, and WenHan Chao. Formality Style Transfer with Shared Latent Space. In Proc. of COLING, pp. 2236-2249, 2020.

[7] Kunal Chawla and Diyi Yang. Semi-supervised Formality Style Transfer using Language Model Discriminator and Mutual Information Maximization. Findings of EMNLP, pp. 2340-2354, 2020.

[8] Huiyuan Lai, Antonio Toral, and Malvina Nissim. Thank you BART! Rewarding Pre-Trained Models Improves Formality Style Transfer. In Proc. of ACL, pp. 484-494, 2021.

[9] Emily Alsentzer, John Murphy, William Boag, Wei-Hung Weng, Di Jindi, Tristan Naumann, and Matthew McDermott. Publicly Available Clinical BERT Embeddings. In Proc. of Clinical NLP Workshop, pp. 72-78, 2019.

[10] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A Pretrained Language Model for Scientific Text. In Proc. of EMNLP-IJCNLP, pp. 3615-3620, 2019.

[11] Jingqing Zhang, Yao Zhao, Mohammad Saleh, and Peter Liu. PEGASUS: Pre-training with Extracted Gapsentences for Abstractive Summarization. In Proc. of ICML, pp. 11328-11339, 2020.

[12] Tomoyuki Kajiwara, Biwa Miura, and Yuki Arase. Monolingual Transfer Learning via Bilingual Translators for Style-Sensitive Paraphrase Generation. In Proc. of AAAI, pp. 8042-8049, 2020.

[13] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Proc. of NIPS, 2017.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proc. of NACCL, pp. 4171-4186, 2019.

[15] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language Models are Unsu- pervised Multitask Learners. 2019.

[16] Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, and Tie-Yan Liu. MASS: Masked Sequence to Sequence Pre-training for Language Generation. In Proc. of ICML, pp. 59265936, 2019.

[17] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 167, 2020.

[18] Wei Xu, Alan Ritter, Bill Dolan, Ralph Grishman, and Colin Cherry. Paraphrasing for Style. In Proc. of COLING, pp. 2899-2914, 2012.

[19] Fernando Alva-Manchego, Carolina Scarton, and Lucia Specia. Data-Driven Sentence Simplification: Survey and Benchmark. Computational Linguistics, Vol. 46, No. 1, pp. 135-187, 2020.

[20] Ellie Pavlick and Joel Tetreault. An Empirical Analysis of Formality in Online Communication. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 61-74, 2016.

[21] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692, 2019.

[22] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proc. of NAACL, pp. 48-53, 2019.

[23] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-Art Natural Language Processing. In Proc. of EMNLP, pp. 38-45, 2020.

[24] Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, and Edouard Grave. CCNet: Extracting High Quality Monolingual Datasets from Web Crawl Data. In Proc. of LREC, pp. 4003-4012, 2020.

[25] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open Source Toolkit for Statistical Machine Translation. In Proc. of ACL, pp. 177-180, 2007.

[26] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural Machine Translation of Rare Words with Subword Units. In Proc. of ACL, pp. 1715-1725, 2016.

[27] Tomoyuki Kajiwara. Negative Lexically Constrained Decoding for Paraphrase Generation. In Proc. of ACL, pp. 6047-6052, 2019.

[28] Matt Post. A Call for Clarity in Reporting BLEU Scores. In Proc. of WMT, pp. 186-191, 2018.
 松浦 駿平梶原 智之二宮崇 愛媛大学大学院理工学研究科 matsu@ai.cs.ehime-u.ac.jp \{kajiwara, ninomiya\}@cs.ehime-u.ac.jp  