# 異常検知に基づく文書のスタイル一貫性の改善

京野長彦 1 吉永直樹 2 佐藤翔悦 ${ }^{2}$
1 東京大学大学院 情報理工学系研究科 2 東京大学 生産技術研究所
\{kyono, ynaga, shoetsu\}@tkl.iis.u-tokyo.ac.jp

## 概要

文書のスタイルは文書全体で一貫していることが 望ましいが，意図せず不適切なスタイルの文が混入 することも多い. 本研究では，与えられたテキスト のスタイル一貫性を改善するタスクを提案し，スタ イル分離手法と異常検知を用いてこれを解く手法を 提案する。具体的には，入力中の各文のスタイルを ベクトル表現として分離し, 教師なし異常検知手法 を用いて異質なスタイルで書かれた文を検出する。 その上で，検出された文を，入力中の他の文のスタ イルを考慮して変換する. 予備実験として，4 種類 の既存のスタイル変換データセットを用いて人工的な学習・評価データを構築し, 提案手法の評価を 行った.

## 1 はじめに

我々が文章を書く際は，読み手に合わせた適切な スタイルで，文章全体を統一することが望ましい。例えば，目上の人間に送るメールでうっかり乱暴な 言葉遣いをしたり，異なる地域に住む人間が理解し ない方言を混ぜてしまうと, 結果として軋唓や誤解 を生じることに繋がる（図 1 左).また，計算機を 用いて文書を処理する際にも，一貫したスタイルの 文書から学習したモデルを用いる場合が多いため, この種のスタイルの乱れによって，性能の劣化が生 じ得る [1].

こうした問題を避けるため，広く特定のスタイル (例：話し言葉）から別のスタイル（例：書き言葉） への変換を目的としたテキストのスタイル変換技術 が広く研究されている $[2,3,4]$. しかしながら, 既存研究においては, 入出力のスタイルを既知とした 設定で文単位での変換を行う設定が多く，前述した スタイルが混在する文書のスタイル一貫性の改善に 直接適用することが困難である。

そこで本研究では，一貫したスタイルの文書（以後, “多数派”) に異質なスタイルの文 (以後, “少数

図 1 異常検知に基づく文書スタイル一貫性改善タスク.入力文書中のそれぞれの文に対しスタイル表現を計算し，異常検知によって少数派を検出した後，多数派のスタイ ル表現を用いてスタイル変換を行う.

派”）が混入した文書を想定した上で，文書中の少数派のスタイルを多数派のものへと変換するタスク を提案する。さらに，そのタスクを実現するための 手法として，1) 入力中の各文から異常検知手法を用 いて少数派の文を検出した後に，2) 教師なしスタイ ル変換手法を用いて動的に多数派のスタイルの特徴 を検出し，少数派のスタイルを変換する手法を提案 する（図 1)，提案手法により，スタイルを変換する 対象の文や出力のスタイルを陽に指定することな く，入力テキスト全体のスタイル一貫性を改善する ことが可能になる.

本論文では予備実験として，既存のスタイル変換 データセットである Yelp [5], GYAFC [6], Madaan ら による politeness データセット [7], Davidson らによ る hate speech and offensive language データセット [8] を用いて人工的な学習・評価データを構築し，提案手法のスタイル判定・変換精度に関する分析と考察 を行う。

## 2 関連研究

スタイル変換に関する既存研究では, 基本的に文単位でのスタイル変換に取り組んでおり，入出力の スタイルをそれぞれ文集合の形式で与えた上で，教師あり，または教師なしの設定で Encoder-Decoder モデルを学習するものがほとんどである $[9,10,11]$.

このシステムをスタイル一貫性の改善に用いる場合, 入力文書の中にスタイルが混在し, 変換する必要のある文がごく一部であることと，入出力のスタ イルが未知で，変換に適切な文のべクトル表現を取得できないことが問題となる.

本研究と同様に，複数文入力を想定したスタイル 変換手法として, Cheng らの研究が存在する [12]. しかしこの手法は，変換対象の文が予め指定される ことを前提としており，変換対象の周辺文脈を考慮 することに主眼を置いたものである。一方，本研究 は， 入力の各文で用いられているスタイルのうち，多数派のスタイルを文書が想定するスタイルとみな すことで，既存のスタイル変換手法をスタイル一貫性の改善に利用することを目指す。

また本研究と同様に, 複数のスタイルへの対応 を前提として学習するモデルとしては， Hu らの研究 [13] や, Kang らの研究 [14] が存在する. しかし これらの研究では学習データに含まれていたスタイ ルのみを生成や分類の対象としている. 一方, 本研究は, 複数の入力文から動的にスタイル表現を分離 するスタイル変換モデルを学習させることで，スタ イルエンコーダにスタイル一般の特徵を学習させ，未知のスタイルに対してもスタイル一貫性の改善を 可能とすることを目指す.

## 3 提案手法

本研究で提案するタスクは，大部分が一貫したス タイルで記述されている文書から，そのスタイルに 該当しない文を自動で検出し, スタイルの統一を行 うことを目標とする. 本研究では入力となる $k$ 文の うち 1 文のみが少数派スタイル，それ以外の $k-1$文が多数派スタイルであると設定した。そのため，提案手法は複数の文を入力として受け取り, 変換対象の指定および入出力スタイルの明示的な指定無し に変換を可能とする仕組みが必要となる.

## 3.1 概要

提案手法の全体像を図 2 に示す. 主に提案手法で 行う処理は 1) スタイル変換の学習, 2) 文単位のスタ イル表現の計算, 3) 少数派の文の検出, 4) 少数派のス タイル変換の 4 ステップである. 以下，各ステップ について説明する。

STEP1: スタイル変換モデルの学習 各文にスタ イルタグが付与されたデータセットを用いてスタイ ル変換モデル StyIns [15]（3.2 節）の学習を行う.

図 2 提案モデルの全体図。訓練データ中の各文にはスタ イルタグが付与されていることを前提とし, StyIns の訓練時はLOFを用いずタグから少数派の検知を行う．

STEP2: スタイル表現の計算 STEP1 で学習した StyIns のスタイルエンコーダ $E_{\text {sty }}$ を用いてテスト事例の各文からスタイル表現を計算する。

STEP3: 異常検知による少数派の検出 STEP2 で 計算したスタイル表現に対して，教師なし異常検知手法である Local Outlier Factor (LOF) [16] を適用し，少数派の検出を行う.

STEP4: 少数派のスタイル変換 STEP3 で少数派 と判定された文を StyIns による変換の対象，それ以外の文を多数派のスタイルを示す例としてそれぞれ StyIns に入力し，スタイル変換を行う.

## 3.2 Stylns

本研究ではスタイル変換モデルとして, 敵対的学習に基づくスタイル変換モデル StyIns [15] を採用し た (図 2 下部)．以下，StyIns における処理の概要を 述べる。ここでは入力となる $k$ 文のうち, 目標スタ イルを表す $k-1$ 文を $\boldsymbol{y}=\left.\{y_{1}, y_{2}, \cdots, y_{k-1}\right.\}$, 変換対象となる 1 文を $y_{k}$ と表記する。

1. 変換対象 $y_{k}$ をソースエンコーダ $E_{\mathrm{src}}$ に入力し 文の内容を表すべクトル $h$ を計算する。

2. 目標スタイルの文集合 $y$ をスタイルエンコーダ $E_{\mathrm{src}}$ に入力し, スタイル表現ベクトルが従う正規分布の平均・分散を計算する。
3. $h$ および分布からサンプルしたスタイル表現 $z$ をデコーダ $D$ に入力し，変換後の文 $\hat{y}_{k}$ を得る.
学習時は損失として, 入力 $y_{k}$ に対する reconstruction loss, $\hat{y}_{k}$ に対し逆変換を行い $y_{k}$ との一致度から計算する cycle consistency loss, $\hat{y}_{k}$ と分類器 $C$ から変換元のスタイルに対する敵対的学習を行う adversarial style lossの3つを用いて最適化を行う.

本研究では既存研究における StyIns の実装から若干の変更点が存在する. 本来，StyIns のスタイルエ ンコーダは 2 文以上の入力を前提として分布を出力 する仕様であった. しかし 3.1 節の STEP2 では 1 文 の入力から単一のべクトルを計算する必要があるた め，このエンコーダを拡張し，入力が 1 文のみの際 に分布の平均をそのままスタイル表現べクトルとし て出力する実装とした.

## 4 実験設定

## 4.1 データ

本研究で提案するタスクの評価には異なるスタイ ルが混在する文書が必要となるが，人手によるアノ テーションを用いてそうしたデータを構築するのは コストが大きい，そのため本研究では，既存のスタ イル変換データセットに付与されたスタイルタグ を利用し, 人工的に異なるスタイルが混在した文書 データを作成した上で実験を行う。

また，我々の目標は，多数派・少数派スタイルの 性質を問わず入力文書のスタイルを統一すること であるため，モデルが特定のデータセットのみに適応した学習をしてしまうことは望ましくない. その ため, 複数のスタイル変換データセットを用いて本研究で用いるデータセットを構築する。具体的に は， Yelp [5]， GYAFC [6], politeness [7] を採用する.各データセットはそれぞれ2つのスタイルを持ち， データセット中の文はどちらかのスタイルタグが付与されている. 具体的には, Yelp には肯定的・否定的なスタイルが，GYAFC には改まった・くだけた スタイルが, politeness には礼儀正しい・無礼なスタ イルが存在する.

実験に用いたデータの加工手順は以下の通りで ある．まず，データ量の偏りを解消するため，各ス タイル変換データセットから 200,000 文，4,000 文， 1,000 文を訓練・検証・テストデータ構築のための 文集合としてランダムサンプルした. 各文集合内の スタイルの割合は $50 \%$ ずつである. 次にサンプルし た文集合から，片方のスタイルの文を $k-1$ 件，も う一方のスタイルの文を 1 件ランダムに選択する処理を交互に繰り返し，スタイルが混在する文書を擬似的に作成した. 本実験では, $k=10$ とした. その 結果, 訓練・検証・テストデータとして 100,000 件, 2,000 件，500 件の文書を元となったスタイル変換 データセットごとに作成し，訓練・検証の際はこれ らを結合した計 300,000 件，6,000 件を用いる.

加えて，訓練および検証データに存在しない未知 スタイルに対する性能を確認するため, hate speech and offensive language (以後, offensive) [8] を用いて同様の処理を行い，500 件のテストデータを作成した.

また現実の状況では，既にスタイルが一貫してい る文書が入力されることも考えられる。そうした入力に対してどの程度誤検出が発生し得るかも検証す るため，前述した疑似文書の作成の際に同一スタイ ルの文のみを $k$ 件選択した，少数派が存在しない例 も各データセットにつき 500 件ずつ作成した.

入力文に対する前処理としては, GYAFC, offensive には nltk (v3.6.2)の word_tokenize 関数1) による単語分割を行い, Yelp, politenes には元のデータセットの 時点で行われた単語分割結果をそのまま用いた.

## 4.2 ハイパーパラメタ

提案手法の実装にあたり，スタイル変換モデル である StyIns は著者の Yi らによる実装を改変し て用いた. ${ }^{2)}$ 少数派の検知のために用いた LOF は scikit-learn (v1.0.1)の実装を用いた. ${ }^{3}$ )

StyIns に関する Yi らの設定からのハイパーパラメ タの変更点としては， バッチサイズを 128 とし，語彙数を 50,000 に制限した. また元はクラス数 $M=2$ であったが，3 種類のデータセットを学習させるた め, $M=6$ とした. LOFについては nearest neighbors の数は $\frac{k}{2}$, contamination の割合は自動判定とした。

## 4.3 評価

本論文では, 提案手法の評価は LOF による少数派の検出（3.1 節，STEP3）に対するものとスタイル 変換結果（3.1 節，STEP4）に対するものの 2 段階に 分けて行う. その理由としては, STEP3での検出に 失敗した場合，誤検出された例に対するスタイル変換は意味を為さないためである. そのため, STEP4 に対する評価は，正しく少数派を選択出来ていた例 に対してのみ行う。

STEP3 の評価について，4.1 節で述べたように

表 1 少数派スタイルの検出精度少数派あり $(\%)$ 少数派なし $(\%)$

我々は少数派スタイルの文が存在する場合と存在し ない場合の 2 種類のテストデータを作成した. 各文書について，前者は文書中の少数派スタイルのもの を正しく検知出来れば正答とし，後者は検知した少数派の件数が 0 件であれば正答とする.

STEP4 の評価は BLEU スコアとスタイル分類器に よって行う. 前者については, 入力文と出力文の間 で nltk.corpus_bleuを用いてスコアを計算し，内容が 大きく変化していないかを検証する．後者に関して は，変換後の文がスタイル分類器によって文書中の 多数派のスタイルであると分類されれば正答とす る. Yi らの実験に倣い，スタイル分類器は事前学習済み BERT [17] を本実験で利用した各スタイル変換 データセットに対し fine-tuning したものを用いる.事前実験におけるこの分類器の分類精度は Yelp で 96\%, GYAFC で 87\%, politeness で 88\%, offensive で 96\%であった.

## 5 結果と考察

## 5.1 少数派スタイルの検出

表 1 にLOF による少数派スタイルの文の検出精度を示す.まず，少数派スタイルを含む例について は Yelpのみ $86.2 \%$ と非常に高精度であったのに対 し, 他のデータセットでは $11.3 \% \sim 12.0 \%$, 少数派の検知の段階で精度が不十分であることが分かっ た. また，少数派を含まないテストデータについて はどのドメインも非常に精度が悪く, ほとんどの場合に実際には存在しない外れ值を検出してしまう結果となった. この理由としてはLOFによって外れ 值検出を行う際に入力文数が 10 件という少数であ ること，LOFに入力したスタイル表現ベクトルの次元の大きさによって, LOF の計算に悪影響が出たた めだと考えている.

## 5.2 スタイル変換

表 2 にスタイル変換の評価結果を示す. 4.3 節で 述べた理由から，これらは表 1 （左）において検出 に成功した例のみをスタイル変換した結果である。表 2 スタイル変換の評価結果

まず BLEU スコアに注目すると，どのデータセッ 卜についても高水準を保っており，変換によって内容そのものが大きく変わってしまう場合は少ないと 考えられる。一方，分類精度については表 1 の結果 と同様，データセットによって大きく差が開く結果 となった. 特に Yelp は LOFによる検出・変換とも に非常に高い精度を誇っている。

この理由としては, スタイルの中でも検出・変換 が容易なものとそうでないものが存在し，スタイル 表現の抽出の過程で前者による影響が大きくなり すぎてしまっているためであると考えられる．例え ば，GYAFC データセットに存在したテストケース に, “the best of luck to ya !”という文が存在し，これ は本来くだけたスタイル (informal) から改まったス タイル (formal)への変換を行うべき例であった. し かし実際には出力は “the worst of luck to ya!”であ り, 本来 Yelp で行うべき肯定的なスタイル (positive) から否定的なスタイル (negative)への変換を行って しまっていた。この問題を解決するため，複数スタ イルを同時に扱う際のより効果的な学習方法の考案 が今後の課題である.

## 6 おわりに

本研究では，一貫したスタイルのテキスト集合に 異質なスタイルの文が混入した文書を想定した上 で，少数派のスタイルを多数派のものへと変換する 新たなタスクを提案した。そのタスクを実現する手法として，入力テキスト集合の各文から異常検知手法を用いて少数派のスタイルで書かれた文を検出 し，教師なしスタイル変換手法を用いて動的に多数派スタイルの特徴を捉えた上で変換する手法を提案 した. 今回報告した人工データを用いた予備実験で は，一部のスタイルに対してのみ特異的に高い分類精度と変換精度が得られ，各スタイルの特徴の動的 な抽出が十分に出来ているとは言い難い結果となっ た. 今後は多数のスタイルをより扱いやすい学習手法およびスタイルの表現手法を考案し，提案タスク における精度改善を図る。

## 謝辞

この研究は国立情報学研究所 (NII) CRIS と LINE 株式会社とが推進する NII CRIS 共同研究の助成を 受けています。

## 参考文献

[1] Gina Neff and Peter Nagy. Talking to bots: Symbiotic agency and the case of tay. International Journal of Communication, Vol. 10, pp. 4915-4931, 2016.

[2] Eduard Hovy. Generating natural language under pragmatic constraints. Journal of Pragmatics, Vol. 11, pp. 689-719, 1987.

[3] Shrimai Prabhumoye, Yulia Tsvetkov, Ruslan Salakhutdinov, and Alan W Black. Style transfer through backtranslation. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 866-876, July 2018.

[4] Cicero Nogueira dos Santos, Igor Melnyk, and Inkit Padhi. Fighting offensive language on social media with unsupervised text style transfer. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 189-194, 2018.

[5] Juncen Li, Robin Jia, He He, and Percy Liang. Delete, retrieve, generate: a simple approach to sentiment and style transfer. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1865-1874, 2018.

[6] Sudha Rao and Joel Tetreault. Dear sir or madam, may I introduce the GYAFC dataset: Corpus, benchmarks and metrics for formality style transfer. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 129-140, 2018.

[7] Aman Madaan, Amrith Setlur, Tanmay Parekh, Barnabas Poczos, Graham Neubig, Yiming Yang, Ruslan Salakhutdinov, Alan W Black, and Shrimai Prabhumoye. Politeness transfer: A tag and generate approach. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1869-1881, 2020.

[8] Thomas Davidson, Dana Warmsley, Michael Macy, and Ingmar Weber. Automated hate speech detection and the problem of offensive language. Proceedings of the International AAAI Conference on Web and Social Media, Vol. 11, No. 1, pp. 512-515, 2017.

[9] Harsh Jhamtani, Varun Gangal, Eduard Hovy, and Eric Nyberg. Shakespearizing modern language using copyenriched sequence to sequence models. In Proceedings of the Workshop on Stylistic Variation, pp. 10-19, 2017.

[10] Tianxiao Shen, Tao Lei, Regina Barzilay, and Tommi Jaakkola. Style transfer from non-parallel text by crossalignment. In Proceedings of the 31st International Conference on Neural Information Processing Systems, pp. 6833-6844, 2017.

[11] Vineet John, Lili Mou, Hareesh Bahuleyan, and Olga Vech- tomova. Disentangled representation learning for nonparallel text style transfer. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 424-434, 2019.

[12] Yu Cheng, Zhe Gan, Yizhe Zhang, Oussama Elachqar, Dianqi Li, and Jingjing Liu. Contextual text style transfer. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 2915-2924, 2020.

[13] Zhiting Hu, Zichao Yang, Xiaodan Liang, Ruslan Salakhutdinov, and Eric P. Xing. Toward controlled generation of text. In Proceedings of the 34th International Conference on Machine Learning, Vol. 70, pp. 15871596, 2017.

[14] Dongyeop Kang and Eduard Hovy. Style is NOT a single variable: Case studies for cross-stylistic language understanding. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 23762387, 2021.

[15] Xiaoyuan Yi, Zhenghao Liu, Wenhao Li, and Maosong Sun. Text style transfer via learning style instance supported latent space. In Proceedings of the TwentyNinth International Joint Conference on Artificial Intelligence, IJCAI-20, pp. 3801-3807, 2020.

[16] Markus M. Breunig, Hans-Peter Kriegel, Raymond T. Ng, and Jörg Sander. Lof: Identifying density-based local outliers. ACM Sigmod Record, Vol. 29, No. 2, pp. 93104, 2000.

[17] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.
 京野長彦 1 吉永直樹 2 佐藤翔悦 ${ }^{2}$ 1 東京大学大学院 情報理工学系研究科 2 東京大学 生産技術研究所 \{kyono, ynaga, shoetsu\}@tkl.iis.u-tokyo.ac.jp  