# スタイル変換のためのスタイルを考慮した Seq2Seq 事前訓練

松浦 駿平梶原 智之二宮崇
愛媛大学大学院理工学研究科
matsu@ai.cs.ehime-u.ac.jp \{kajiwara, ninomiya\}@cs.ehime-u.ac.jp

## 概要

特定のタスクやドメインに特化した事前訓練 が，近年盛んに研究されている。本研究では，イン フォーマルな文をフォーマルに言い換えるスタイル 変換に焦点を当て，本タスクに特化した事前訓練の 手法を提案する．提案手法では，事前訓練の際にス タイルを学習するために，出力文のスタイルを表現 する特殊トークンを入力文の文頭に加える．英語の スタイル変換タスクにおける実験の結果，自動評価 と人手評価の両方で提案手法の有効性を確認した.

## 1 はじめに

近年，様々な自然言語処理タスクにおいて，深層学習に基づくアプローチが主流となっている. 高品質な深層学習モデルを得るためには，大規模なラべ ル付きコーパスやパラレルコーパスを用いた訓練 が有効である。しかし，アノテーションのコストの ために，多くの自然言語処理タスクは少資源問題に 悩まされている. 本研究で扱うスタイル変換タス ク [1] も，数万文対という小規模なパラレルコーパ スしか使用できず，少資源問題が深刻なタスクのひ とつである。他のタスクと同様に，スタイル変換タ スクにおいても，マルチタスク学習 [2] やデータ拡張 [3] などの少資源対策の手法が研究され，現在で は BART [4] などの事前訓練された汎用モデルの再訓練 [5-8] がデファクトスタンダードとなっている.

特定のタスクやドメインに特化した事前訓練の有効性も，広く知られている。例えば，診療記録 [9] や科学技術論文 [10] などのドメインに特化した事前訓練モデルや，生成型要約 [11] や言い換え生成 [12] などのタスクに特化した事前訓練モデルは，対象の タスクやドメインにおいて高い性能が報告されてい る.しかし, 事前訓練の際にテキストのスタイルに ついて明示的に学習するスタイル変換タスクに特化 した事前訓練は，これまで研究されていない。本研究では，事前訓練の際にスタイルに関する 知識を獲得するために，出力文のスタイルを表現 する特殊トークンを入力文の文頭に追加した上で， BART と同様のノイズ除去自己符号化の事前訓練を 行う。 GYAFC コーパス [1] を用いたインフォーマル な英文からフォーマルな英文へのスタイル変換の実験の結果，スタイル・同義性・流暢性の全ての人手評価の項目において，提案手法は通常の BART の事前訓練よりも有効であった。

## 2 関連研究

## 2.1 事前訓練の先行研究

大規模な生コーパスを用いて事前訓練された Transformer [13] が，多くの自然言語処理タスクで優 れた性能を達成している。言語理解や言語生成の応用タスクにおいて，Transformer エンコーダをマスク 言語モデリングのタスクで事前訓練した BERT [14] や Transformer デコーダを言語モデリングのタスク で事前訓練した GPT-2 [15] が，広く使用されている。本研究で扱う系列変換タスクにおいても，様々な 事前訓練モデル $[16,17]$ が提案されている. スタイ ル変換タスク $[7,8]$ では, 語句の穴埋めなどのノイズ 除去自己符号化のタスクで事前訓練された BART [4] が優れた性能を達成している。本研究では，BART の汎用的な事前訓練をスタイル変換タスクに特化さ せ，事前訓練の際にスタイルに関する知識を獲得す ることでスタイル変換の性能改善を目指す.

## 2.2 スタイル変換の先行研究

シェイクスピアの英文をモダンに変換するスタイ ル変換 [18] や難解な英文を平易に変換するスタイル 変換 [19] など，様々なスタイルを対象とするスタイ ル変換が研究されている。本研究では，インフォー マルな英文をフォーマルに変換するフォーマルさに 関するスタイル変換 [1] に取り組む。

図 1 提案手法

フォーマルさに関するスタイル変換のために使用 できる GYAFC [1] は 5 万文対の小規模なパラレル コーパスであるため，多くの少資源対策の手法が提案されてきた. 大規模なパラレルコーパスを利用で きる機械翻訳とのマルチタスク学習 [2] や，自動生成された擬似的な単言語パラレルコーパスを用いる 事前訓練 [3,12], GPT-2 [15] の再訓練 [5,6] などが成功を収め, BART [4] の再訓練 $[7,8]$ が現在の最高性能を達成している．本研究では，スタイルを明示的 に訓練するように BART の事前訓練を改良する.

## 3 提案手法

本研究では，BART [4] の事前訓練をスタイル変換 タスクのために改良する。語句の穴埋めを行う事前訓練の際に, 入力文の文頭にスタイルラベルの特殊 トークンを付与することにより, 出力文のスタイル を制御する。これにより, 従来の BART の事前訓練 では考慮していないテキストのスタイルに関する知識の獲得を目指す。

提案手法の概要を図 1 に示す. 本手法では，まず，各文のスタイルを表現するために，スタイルラベル 付きの事前訓練用コーパスを作成する（3.1 節)．次 に，作成したコーパスを用いて BART と同様の事前訓練を行う (3.2 節). 最後に, 事前訓練で学習した スタイルラベルを利用し，目的のスタイル変換用パ ラレルコーパス上で再訓練を行う（3.3 節）.

## 3.1 スタイルラベル付きコーパスの作成

まず，スタイル分類器を用いて，事前訓練に用い る生コーパスの各文をソーススタイルの文とター ゲットスタイルの文に分類する。 その後，ソースス タイルの確率が高い文とターゲットスタイルの確率が高い文をそれぞれ同じ文数だけ抽出する. 最後 に，モデルがソーススタイルの文とターゲットスタ イルの文を識別できるようにするために，各文の文頭にスタイルを示すラベルを特殊トークン（図19 <F>や<I>）として追加する.
スタイル分類器には，フォーマルさのラベル付き コーパスを用いて訓練した分類器 [20] や言語モデル に基づく分類器 [2] など，任意の分類器を適用でき る. 本研究では, 事前訓練された RoBERTa [21]を GYAFC [1]のラベル付きコーパス上で再訓練する.

## 3.2 事前訓練

3.1 節のコーパスを用いて, Transformer モデル [13] を事前訓練する．事前訓練のタスクには，BART [4] と同様の語句の穴埋めを採用する. つまり, 入力文 の一部の語句をマスクして入力し，元の文を復元す るノイズ除去自己符号化の事前訓練を行う。また，入力文の文頭のスタイルラベルはマスク処理の対象外とし，出力文にはスタイルラベルを含めない。 BART と同様に，ミニバッチは約 512 トークンとな るように複数文を連結して構成する。ただし，同じ スタイルの文のみでミニバッチを構成し，スタイル ラベルはミニバッチの先頭に 1 つだけ付加する.

提案手法の事前訓練では，モデルはソースまたは ターゲットの各スタイルラベルが付与された入力文 から当該スタイルの文の生成を学習する. この事前訓練により，スタイルラベルによって出力文のスタ イルを制御可能なモデルを得られると期待できる.

## 3.3 再訓練

再訓練には，スタイル変換用のパラレルコーパス を用いる。ただし，事前訓練時に学習したスタイル ラベルを引き続き利用するために，パラレルコーパ スの入力文の文頭にもスタイルラベルを付加する。

## 4 評価実験

## 4.1 実験設定

モデル スタイル変換器は fairseq $^{1)}$ [22]を用いて 実装し, bart-base ${ }^{2}$ [4] と同じ構造の Transformer [13]

1) https://github.com/pytorch/fairseq

2) https://github.com/pytorch/fairseq/tree/main/ examples/bart
表 1 GYAFC コーパスの文対数

を採用した。 スタイル分類器は huggingface ${ }^{3)}[23]$ を 用いて実装し，事前訓練済みの RoBERTa4) [21]を採用した. スタイル分類器の訓練には, バッチサイズ を 32 文，学習率を 1e-5 とし，GYAFC コーパス [1] のフォーマル文とインフォーマル文を 2 值分類する ようにクロスエントロピー損失最小化の訓練を 5 エ ポック行った. GYAFC の検証用データで分類器の 性能を評価したところ，88\% の正解率を持つ高品質 なスタイル分類器を構築できた。

事前訓練事前訓練のための生コーパスには, CC100 [24] の英語コーパスを使用した。コーパス全体にスタイル分類器を適用し，フォーマルな確率お よびインフォーマルな確率の高い順に 5 千万文ず つを抽出した合計 1 億文を用いて事前訓練を行っ た. なお，これらの文はフォーマル確率またはイン フォーマル確率が 0.9 を超えており，充分にフォー マルまたは充分にインフォーマルな文である，スタ イルラベルとして，フォーマルな文の文頭には<F $\mathrm{F}$ ， インフォーマルな文の文頭にはくI>の特殊トークン をそれぞれ追加した．前処理として，Moses ${ }^{5}$ [25] によって normalize および tokenizeを行い，語彙サイ ズ 3 万でサブワード分割 ${ }^{6}$ [26] を行った.

事前訓練には BART [4] と同様の語句の穴埋め夕 スクを採用し，マスク確率およびポアソン分布の $\lambda$ は 0.35 とした. バッチサイズは 512 文, Dropout 率は 0.1 とし, エンコーダとデコーダで埋込層を 共有した. 最適化には Adam を用い，ラベル平滑化 クロスエントロピー損失最小化の訓練を 50 万ス テップ行った. なお，ラベル平滑化のハイパーパ ラメータは $\epsilon=0.2$ とした. 学習率スケジュールに は Inverse Square Root Decay を用い，最大の学習率は 5e-4，Warmup ステップは 1 万とした.

再訓練再訓練のためのパラレルコーパスに は GYAFC [1]を使用し，インフォーマルな英文を フォーマルに言い換えるスタイル変換を行った。 GYAFC には, 表 1 に示すように Entertainment \& Music

表 2 BLEUによる自動評価

（E\&M）および Family \& Relationships（F\&R）の2つ のドメインのパラレルコーパスが含まれる. 先行研究 $[2,7,27]$ と同様に，2つのドメインの訓練用デー タを合わせて両ドメインの訓練に用いた. 前処理と して, Mosesによって normalize および tokenizeを行 い，事前訓練と同じサブワード分割を行った.

再訓練では，バッチサイズは 1,024 トークン, Dropout 率は 0.1 とし, エンコーダとデコーダで埋込層を共有した。最適化には Adamを用い，検証用データにおける perplexity が 5 エポック改善され なくなるまでラベル平滑化クロスエントロピー損失最小化の訓練を行った. なお，ラベル平滑化の ハイパーパラメータは $\epsilon=0.1$ とした. 学習率スケ ジュールには Inverse Square Root Decay を用い，最大 の学習率は 3e-5, Warmup ステップは 500 とした.

推論 モデルの評価時には，ビーム幅 5 のビーム 探索を行った. また，シード值による影響を緩和す るために，シード值の異なる４つのモデルをアンサ ンブルして出力文を生成した.

比較手法 スタイルラベルを用いる事前訓練の 有効性を検証するために，事前訓練を行わない Transformer およびスタイルラベルを用いない BART と比較した. Transformer ベースラインは, 提案手法と同じモデル構造であるが，GYAFC のパラレル コーパスのみを用いて訓練する．BART ベースライ ンは，提案手法と同じモデル構造であり，同じコー パスを用いて事前訓練および再訓練を行うが，事前訓練の際にスタイルラベルを使用しない。

評価 自動評価と人手評価の両方で各モデルの性能を評価した。自動評価には SacreBLEU7) [28] を用 いた。人手評価には Amazon Mechanical Turk ${ }^{8}$ を使用し, 米国在住， $98 \%$ の承認率，5,000 件以上のタス ク承認歴を持つアノテータを 5 人雇用9) した. 評価用データの中からドメインごとに 100 文の合計 200 文を無作為抽出し, 入出力間の同義性・出力文の流暢性・出力文のスタイルのフォーマルさの 3 つの観

表 4 人手評価の平均値

点から人手評価を行った. 先行研究 [7] に従い，同義性を $[1,6]$ の 6 段階，流暢性を $[1,5]$ の 5 段階，ス タイルを $[-3,3]$ の 7 段階で人手評価した.

## 4.2 実験結果

表 2 に自動評価の結果を示す。事前訓練を行わな い Transformer ベースラインと比較して，BART ベー スラインおよび提案手法が顕著に高い性能を示し た.また，提案手法は BART と比べて統計的に有意 $（ p<0.05 ）$ に BLEU が向上したことから，スタイル を考慮する事前訓練の有効性を確認できた。

表 4 に人手評価の結果を示す. 同義性・流暢性・ スタイルの全ての指標において，提案手法が比較手法たちを上回る評価を得た。これらの実験結果か ら，事前訓練の際に明示的にテキストのスタイルを 考慮する提案手法の有効性が，自動評価と人手評価 の両方で明らかになった。

## 5 分析

## 5.1 小規模なパラレルコーパスでの再訓練

より小規模なパラレルコーパスしか使用できな い設定における提案手法の有効性を検証する． 4 節 の実験では，GYAFC に含まれる 2 のトトメインの 訓練用データを合わせた約 10 万文対を用いて再訓練を行ったが，本節ではこれを 5 万文対および 1 万文対に無作為抽出して削減する. 4 節の実験と同様 に，シード值の異なる 4 つのモデルをアンサンブル して出力文を生成し，BLEUによる自動評価を行う.

図 2 に，再訓練に用いる文対数を削減した際の性能の変化を示す。再訓練用のパラレルコーパスを 5 万文対や 1 万文対に削減した場合も，提案手法は一

図 2 小規模なパラレルコーパスによる再訓練

貫して Transformer および BART のベースライン性能を上回る. また，10万文対のデータで再訓練した BART ベースラインと比較して，5万文対のデータ で再訓練した提案手法は両ドメインにおいて 0.1 ポ イント高いBLEUを達成しており，提案手法が少資源の設定においても有効であることを確認できた。

## 5.2 生成文の定性評価

表 3 に各モデルの出力例を示す. Transformer は 入力文と意味の異なる文を生成しているが，BART と提案手法は入力文の言い換えの生成に成功して いる。また，提案手法は BART とは異なり，guys を men, hot を attractiveへと言い換えており，表 4 で示 したとおり，よりフォーマルな文を生成している。

## 6 おわりに

本研究では，事前訓練の際にテキストのスタイル を明示的に学習するために，出力文のスタイルを表現する特殊トークンを文頭に追加する事前訓練の手法を提案した. そして，英語のフォーマルさに関す るスタイル変換での害験を通して，提案手法の有効性を自動評価と人手評価の両方で示した. 今後の課題として，他のスタイルや言語にも適用したい.

## 謝辞

本研究は JST（ACT-X，課題番号：JPMJAX1907） の支援を受けたものです.

## 参考文献

[1] Sudha Rao and Joel Tetreault. Dear Sir or Madam, May I Introduce the GYAFC Dataset: Corpus, Benchmarks and Metrics for Formality Style Transfer. In Proc. of NACCL, pp. 129-140, 2018.

[2] Xing Niu, Sudha Rao, and Marine Carpuat. Multi-Task Neural Models for Translating Between Styles Within and Across Languages. In Proc. of COLING, pp. 1008-1021, 2018.

[3] Yi Zhang, Tao Ge, and Xu Sun. Parallel Data Augmentation for Formality Style Transfer. In Proc. of ACL, pp. 3221-3228, 2020.

[4] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. In Proc. of ACL, pp. 7871-7880, 2020.

[5] Yunli Wang, Yu Wu, Lili Mou, Zhoujun Li, and Wenhan Chao. Harnessing Pre-Trained Neural Networks with Rules for Formality Style Transfer. In Proc. of EMNLP, pp. 3573-3578, 2019.

[6] Yunli Wang, Yu Wu, Lili Mou, Zhoujun Li, and WenHan Chao. Formality Style Transfer with Shared Latent Space. In Proc. of COLING, pp. 2236-2249, 2020.

[7] Kunal Chawla and Diyi Yang. Semi-supervised Formality Style Transfer using Language Model Discriminator and Mutual Information Maximization. Findings of EMNLP, pp. 2340-2354, 2020.

[8] Huiyuan Lai, Antonio Toral, and Malvina Nissim. Thank you BART! Rewarding Pre-Trained Models Improves Formality Style Transfer. In Proc. of ACL, pp. 484-494, 2021.

[9] Emily Alsentzer, John Murphy, William Boag, Wei-Hung Weng, Di Jindi, Tristan Naumann, and Matthew McDermott. Publicly Available Clinical BERT Embeddings. In Proc. of Clinical NLP Workshop, pp. 72-78, 2019.

[10] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A Pretrained Language Model for Scientific Text. In Proc. of EMNLP-IJCNLP, pp. 3615-3620, 2019.

[11] Jingqing Zhang, Yao Zhao, Mohammad Saleh, and Peter Liu. PEGASUS: Pre-training with Extracted Gapsentences for Abstractive Summarization. In Proc. of ICML, pp. 11328-11339, 2020.

[12] Tomoyuki Kajiwara, Biwa Miura, and Yuki Arase. Monolingual Transfer Learning via Bilingual Translators for Style-Sensitive Paraphrase Generation. In Proc. of AAAI, pp. 8042-8049, 2020.

[13] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Proc. of NIPS, 2017.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proc. of NACCL, pp. 4171-4186, 2019.

[15] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language Models are Unsu- pervised Multitask Learners. 2019.

[16] Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, and Tie-Yan Liu. MASS: Masked Sequence to Sequence Pre-training for Language Generation. In Proc. of ICML, pp. 59265936, 2019.

[17] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 167, 2020.

[18] Wei Xu, Alan Ritter, Bill Dolan, Ralph Grishman, and Colin Cherry. Paraphrasing for Style. In Proc. of COLING, pp. 2899-2914, 2012.

[19] Fernando Alva-Manchego, Carolina Scarton, and Lucia Specia. Data-Driven Sentence Simplification: Survey and Benchmark. Computational Linguistics, Vol. 46, No. 1, pp. 135-187, 2020.

[20] Ellie Pavlick and Joel Tetreault. An Empirical Analysis of Formality in Online Communication. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 61-74, 2016.

[21] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692, 2019.

[22] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proc. of NAACL, pp. 48-53, 2019.

[23] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-Art Natural Language Processing. In Proc. of EMNLP, pp. 38-45, 2020.

[24] Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, and Edouard Grave. CCNet: Extracting High Quality Monolingual Datasets from Web Crawl Data. In Proc. of LREC, pp. 4003-4012, 2020.

[25] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open Source Toolkit for Statistical Machine Translation. In Proc. of ACL, pp. 177-180, 2007.

[26] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural Machine Translation of Rare Words with Subword Units. In Proc. of ACL, pp. 1715-1725, 2016.

[27] Tomoyuki Kajiwara. Negative Lexically Constrained Decoding for Paraphrase Generation. In Proc. of ACL, pp. 6047-6052, 2019.

[28] Matt Post. A Call for Clarity in Reporting BLEU Scores. In Proc. of WMT, pp. 186-191, 2018.


# 言語モデルに対するトークンのキャンセルアウト手法の比較

鈴木淳平 1 菅原朔 2 相澤彰子 1,2
1 東京大学 2 国立情報学研究所
junpei0827kouyou@g.ecc.u-tokyo.ac.jp \{saku,aizawa\}@nii.ac.jp

## 概要

言語モデルへの入力文内の特定のトークンの影響 を入力から取り除く手法である「キャンセルアウト (cancel out)」は，モデルの推論解釈や得られた解釈 の良さの評価のために有効な技術である. しかし既存研究では，キャンセルアウト手法の評価方法が確立されておらず，利点や欠点を相互に比較すること が困難であった。本研究ではそれらの性能を直接的 に評価するために，1) キャンセルアウトしたトーク ンの復元可能性, 2) 性別情報のキャンセルアウトに よるジェンダーバイアスの緩和効果について実験を 行う. また，複数のトークンによる置き換えに基づ く既存のキャンセルアウト手法を，置き換えをより 多様にすることで改善できることを示す.

## 1 はじめに

言語モデルへの入力文内の特定のトークンの影響 を取り除く手法である「キャンセルアウト」は，そ れらのトークンがある時とない時のモデルの出力を 比較することで，その部分の重要性を測って解釈に 用いたり [1], モデルの出力に関する解釈が与えら れた時に，その解釈に基づいて文の一部をキャンセ ルアウトしてモデルの出力の変化を見ることで解釈 を評価したりする $[2]$ ことなどに役立つ. 図 1 は,理想的なキャンセルアウトの具体例である．映画の レビューの感情分析を学習したモデルに対し, 元の “This is a good movie.”を入力すると positive に判定 され，“good”をキャンセルアウトした後の入力に対 しては, neutral と判定されている. したがって, こ れらの予測を比較することで “good” が positive のラ ベルに寄与していると解釈できる.

最も単純なキャンセルアウトは，対象のトーク ンを文から取り除くことであるが，自然言語にお いては文法的に不適格な入力を作り得る. そこで 既存研究では, 特殊なトークンで置き換えたり （Zero Vector, Mask token），注意機構 [3] を持つモデ

This is a good movie. $\xrightarrow{\text { model }} \bullet$ positive
This is a $\xi^{\cdots-\gamma}$ movie. $\xrightarrow{\text { model }}$ neutral

図 1 “good”のキャンセルアウト，映画のレビューの感情分析モデルに元の入力を入れると positive と判定され， “good”をキャンセルアウトすると neural と判定されるこ とから，“good”が positive の根拠であると解釈される.

ルに対しては，対象のトークンへの注意を抑制す る（Attention Mask）手法が考えられてきた.また， キャンセルアウト後の入力が，モデルが学習した訓練データに対して分布外にならないように実際にそ の箇所に出現しやすいトークンで置き換える手法も 提案されている（Weighted Marginalize） [1].

キャンセルアウト手法の評価は, キャンセルアウ トを用いた解釈手法の性能が向上することを示して 間接的に行われることがある [1]. しかし，解釈手法の評価自体が，現状確立されたものがなく，何を 評価しているかが明示されないことが多いことも 指摘されている [4]. また, 解釈手法を統一的に評価するためのベンチマークが提案されているが [2], このベンチマークは評価指標の計算にキャセルアウ トを伴うので，キャンセルアウトを含む解釈手法の 評価には使えない可能性がある。他にも，キャンセ ルアウト後の入力がどれくらいタスクの学習データ に対して分布外になってしまうかを測るものもある が [5]，そもそもキャンセルアウトがうまくいって おらず，モデルが周辺文脈から十分に元の情報を復元できている可能性が考慮されていない. 例えば,図 1 において，キャンセルアウト後の文をモデルに 入力した時に，モデルがそこには元々 “good"があっ たと予測できてしまう場合にはキャンセルアウトが 機能していないと考えられる.

そこで本研究では，モデルに対して対象のトーク ンをどれだけキャンセルアウトできているかという 観点から各手法を比較する。まず 3 節で，文脈から 各位置のトークンを予測するように学習されてい

る masked language model （MLM）に対してキャン セルアウト後の入力を与え, キャンセルアウトした はずのトークンをどれくらい予測できるかを比較す る. さらに，対象のトークンの箇所にどれくらい高 い確信度を持っているかも比較する. 次に 4 節で, キャンセルアウトの応用として, BIOS [6] という個人の経歴から職業を予測するデータセットに対し, どれくらいモデルにジェンダーバイアスをかけずに 学習できるかを比較することで，キャンセルアウト 手法の性能を確かめる. 結果として，2 節で提案す る, Weighted Marginalize の周辺化トークンをより多様化した Uniform Marginalize が，3 節と 4 節の実験 で最もキャンセルアウトの効果が高いことを示す.

## 2 キャンセルアウト手法

本研究では， 2.1 節に示す既存の 4 つのキャンセ ルアウト手法 [5]，および新たに提案する Uniform Marginaize と呼ぶ手法（2.2 節）を比較する. ${ }^{1}$ ）

## 2.1 既存のキャンセルアウト手法
- Zero Vector: 対象のトークンの embedding を全要素が 0 のベクトルで置き換える.
- Mask Token: 対象のトークンを MASK トークン で置き換える。
- Attention Mask: 対象のトークンに対する attention maskを 0 にして，他のトークンの中間ベク トルの計算時に参照されないようにする.
- Weighted Marginalize: 以下の式 1 のように，対象のトークンを一旦 MASK トークンで置き換 えて MLM に入力し, 語彙内の各トークンに対 する尤度を得て，上位 $k$ 個のトークンで置き換 えた後の入力に対するモデルの出力をそれぞれ の置き換えトークンの尤度で周辺化する. [1]

$
\begin{aligned}
p\left(y \mid \boldsymbol{x}_{-i}\right) & =\sum_{x^{\prime} \in V} p_{M}\left(y, x^{\prime} \mid \boldsymbol{x}_{-i}\right) \\
& =\sum_{x^{\prime} \in V} p_{M}\left(y \mid x^{\prime}, \boldsymbol{x}_{-i}\right) p_{L}\left(x^{\prime} \mid \boldsymbol{x}_{-i}\right) .
\end{aligned}
$

$y$ は予測候補のラベル， $\boldsymbol{x}_{-i}$ は $i$ 番目のトークンを キャンセルアウトしたい入力文， $V$ は尤度の上位 $k$ トークン, $p_{M}$ はモデルの予測確率, $p_{L}\left(x^{\prime} \mid \boldsymbol{x}_{-i}\right)$ は, $\boldsymbol{x}$ の $i$ 番目を MASKトークンで置き換えて BERT[7]等の言語モデルに入力した時の $x^{\prime}$ の尤度である.

1）以降では，入力文はトークン列に分割され，それぞれ対応する token embedding に変換されることを仮定する。また， MASKトークンを用いた MLM によって事前学習され，注意機構を持つようなモデルを対象にする。 [7].
Mask Token

This is a [MASK] movie.

Marginalize

This is a new movie.

This is a TV movie.

This is a lost movie.

This is a good movie.

This is a bad movie.
Likelihood P(positive /_) Uniform Likelihood

図 2 Weighted Marginalize と Uniform Marginalize の違い. “This is a good movie”の “good”をキャンセルアウトする場合. まず [MASK] で置き換えて，MLM に入力し候補を得 る. Weighted では，各候補の尤度とモデルの出力で周辺化し，Uniformでは一様分布として周辺化する。

表 1 BIOS の例. 下線部は性別を表す代名詞と人物名.経歴/性別/職業

Peter also has substantial experience representing clients in government investigations, including criminal and regulatory investigations, and internal investigations conducted on behalf of clients. / male / attorney

Dianne is registered with the Psychology Board of Australia, the Clinical College of the Australian Psychological Society, and she is a Medicare Provider . / female / psychologist

## 2.2 提案手法: Uniform Marginalize

Weighted Marginalize では，キャンセルアウト対象 のトークンの MLM による予測確率が 1 に近い時,新しい入力が元の入力と意味的に変わらない可能性 がある。そこで, 式 1 の $p_{L}\left(x^{\prime} \mid \boldsymbol{x}_{-i}\right)$ を， $\frac{1}{N}(N$ は周辺化に使うトークン数） で置き換えることで，候補 トークンを一様に扱う周辺化を提案する（Uniform Marginalize）. 図 2 に両者の違いを示す. Weighted Marginalize では尤度の高いものほど重視されて， Uniform Marginalize では一様に扱われる。

## 3 情報の復元可能性

本節では，キャンセルアウトした情報をモデルが どれくらい復元できてしまうかを尤度を用いて評価 し各手法を比較する．実験では，Stanford Sentiment Treebank v2（SST2） [8] と BIOS [6]を用いる. SST2 は，映画のレビューに対して，positive か negative か のラベルを予測するタスクである．BIOS は，個人 の経歴に関する文が大力として与えられ，27 個の職業から 1 つ予測するタスクである。また，表 1 の例 のように，経歴内で直接的に性別を表す代名詞と人物名の部分もアノテートされている。

## 3.1 元のトークンの予測確率

SST2 と BIOS のテストデータそれぞれから，ラン ダムに 9,000, 5,000 トークンずつ選んで，それぞれの

図 3 SST2 におけるキャンセルアウトしたトークンの尤度の分布. 横軸が尤度, 縦軸が相対度数.

手法でキャンセルアウトし，MLM に入力して元の トークンの尤度を測定する. Weighted Marginalize と Uniform Marginalize に関しては，式 1 の $p_{M}$ を MLM の元のトークンの予測確率として周辺化（計算コ ストの都合上，周辺化候補のトークン数は 10）を 行った. Original Token は，元の入力をそのまま入れ たときのベースラインである.

SST2 に関しての結果が図 3 である. BIOS に対し ての結果は付録 A の図 5 である. 同様の傾向が観察されたため, 以下の考察は SST2, BIOS に共通で ある。まず Original Token は，入れたトークン自身 の尤度の値の分布は高い値に偏っている. Attention Mask も同様の傾向である. Mask Token, Weighted Marginalize は元のトークンを完全に復元できる場合と全くできない場合で左右に割れた. 二つの分布の形が似ているのは以下の理由だと考えられる。 Mask Token において高い尤度で元のトークンが予測 できた例に対しては, Weighted Marginalize において も，周辺化時に元のトークンが高い尤度を持つ. さ らに，その時の式 1 の $p_{M}$ は, MLMに元のトークン をそのまま入れたときの自身の確率であるため，結局元のトークンの確率が高くなるためである. つま り，Mask Token で元のトークンが予測しやすい状況 においては（ヒストグラムの右端）， Mask Token と Weighted Marginalize はほとんど同じ処理をするこ とになる. 対して, Uniform Marginalize, Zero Vector の順で，元のトークンは予測しづらくなっている. このことから，2 節で述べた狙い通り, Weighted Marginalize より周辺化候補を多様化させた Uniform Marginalize の方が，元のトークンをモデルが復元で きてしまう（キャンセルアウトが機能しない）こ とを防ぐことができることがわかった.

図4SST2におけるキャンセルアウト箇所の最大尤度の 分布. 横軸が尤度，縦軸が相対度数.

## 3.2 キャンセルアウト箇所の最大尤度の 分布

キャンセルアウトされた箇所に，モデルがどれ くらい確信を持って推論しているのかを比較する ために， 3.1 節と同様にトークンをそれぞれの手法 でキャンセルアウトして，MLM に入力した時の一番尤度の高いトークンの尤度を測定する．SST2 の 結果が図 4 で BIOS の結果が付録 A の図 6 である. Weighted Marginalize と Uniform Marginalize に関して は，式 1 の $p_{M}\left(y \mid x^{\prime}, \boldsymbol{x}_{-i}\right)$ を， $x^{\prime}$ で置き換えた時の その箇所の一番高い尤度とした ${ }^{2}$. 結果としては, Zero Vector 以外は，かなり高い尤度に偏っており， Mask Token, Attention Mask はキャンセルアウトして も，そこには何らかのトークンであるとモデルが 確信を持って計算していることになる。その高い 尤度を持つトークンが元のトークン自身や，類義語である場合にはキャンセルアウトが機能しない. Marginalize の二手法に関しては，候補トークンで周辺化した結果高い尤度に偏っている. つまり一回の キャンセルアウトを考えると，どの候補に対しても 最も高い尤度が 1 に近く，さらに 3.1 節の Original Token の結果を踏まえると，置き換えた候補のトー クン自身の尤度がそれぞれ一番高くなっていること が多いと考えられる。

3.1 節と 3.2 節の結果をまとめると, Uniform Marginalize は，各置き換え後の文に対しては置き換 えたトークンの情報を強く持たせることができ（モ デルが置き換えられたトークンに高い確信を持つ) ，置き換えの多様性によって元のトークンが容易に 予測できてしまうことを防ぐといえる.

2）図 2 の例であれば，“This is a new movie.”を MLM に大力し た時の new の部分で最も高い尤度，他の候補トークンでも同様に最も高い尤度を計算して，平均を計算する（周辺化す る).

## 4 バイアスのキャンセルアウト

BIOS は web 上で経歴データを集めており，職業 ごとの男女のデータ数の偏りが大きいためモデルが バイアスを学習してしまうことが指摘されている [6]. 3) そこで，BERTを BIOS に fine-tuning する時に，各データで，直接性別を表す代名詞や人物名をキャ ンセルアウトした状態で学習させた時に，どれくら い学習後のモデルがジェンダーバイアスを持ってい るかを比較する．比較方法は，BIOS を提案してい る論文 [6] に従って，テストデータにおいて各職業 ごとに，女性のデータと男性のデータでの真陽性率 の差分（式 2 の $G a p_{f, y}$ ）と, 訓練データにおける女性率（female rate）との相関をみる。この相関が高い ほど訓練データにおける偏りを学習していることに なる。

$
\begin{aligned}
T P R_{g, y} & =P\left(Y^{\prime}=y \mid G=g, Y=y\right) \\
G a p_{f, y} & =T P R_{f, y}-T P R_{m, y}
\end{aligned}
$

$Y^{\prime} ， Y$ は職業で $Y^{\prime}$ が予測ラベル， $Y$ が正解ラベル， $G$ はジェンダーで男 $(m)$ か女 $(f)$ かである.

## 4.1 学習時の Uniform Marginalize

代名詞と人物名の Uniform Mariginalize は次のよ うに行う。まず全ての代名詞と名前を MASK トー クンに置き換える. この状態で MLM に入力して 1 個目の MASK に対応する部分の尤度の高い二つの トークン（A, B）を得る. 次に，最初の MASKトー クンを A で置き換えた状態で MLM に入力して 2 個目の MASK に対応する一番尤度の高いトークンを 得てそれで置き換える。以降全ての MASK トーク ンが埋まるまで繰り返す.さらに，1個目の MASK トークンを B で置き換えたものに対しても同様に最後まで埋める。学習時は，こうして得た二つの置き 換え後の文（s1, s2）をモデルに入れ，それぞれに対 し各ラベルの予測確率を出し，平均したものを最終的な予測確率として勾配の計算に使う. 置き換えの 例は付録 Cに示す。

## 4.2 結果

本実験では, Original Token（元の学習データの まま訓練）, Zero Vector, Mask Token, Attention Mask, Uniform Marginalize を比較対象とした. ここでは, 3 節の実験で Mask Token と作用が似ていること,

表 2 手法ごとの相関係数, $\mathrm{p}$ 値, テストデータの正解率.

Uniform Marginalize の方が置き換えに多様性がある ことから, Weighted Marginalize は含めていない.

各手法について，テストデータにおける各職業の 女性率と男女の真陽性率の差（式 2）の相関係数 の値を比較した結果を表 2 に示す。まず元の学習 データのまま訓練した Original Token は, 相関係数 が 0.838 となり強くバイアスを学習してしまってい る. ${ }^{4)}$ Zero Vector, Attention Mask に関しては相関係数 の値が Original Token の場合と比べてほとんど変化 せず，キャンセルアウトが機能していない. Uniform Marginalize, Mask Token $の$ 順に相関係数が改善でき ており, Uniform Marginalize が最もキャンセルアウ トの効果が高いことがわかる. 両者において，テ ストデータでの正解率が顕著に下がっているのは, BIOS を解くのに性別情報が有用であり，これが使 えなくなると予測難易度が上がるからだと考えられ る. 今後の課題として, 性別情報がないと予測が難 しいタスクを新たに構築することで，詳細な分析が 可能になることが期待される.

Uniform Marginalize においては, 4.1 節における置 き換えを具体的に見てみると（付録 $\mathrm{C}$ 節)，s1，s2 で片方が男性を表す名詞，もう片方が女性を表す名詞になっていることが多く，それによって予測時に 性別を使わないように学習できたと考えられる。 し かしそれでも相関が出てしまう理由としては，BIOS を提案している研究 [6] で指摘されているように，代名詞や名前以外にも “mother” や “husband” 等ジェ ンダーを表す単語が存在することが挙げられる。

## 5 おわりに

本研究では，直接キャンセルアウト手法を比較す る方法を提案するとともに，置き換え候補の多様化 を狙った Uniform Marginalize がキャンセルアウトに 有効であることを示した，今後は，品詞ごとに置き 換え方を適切に変えたり，複数箇所同時にキャンセ ルアウトすることの影響を調べたりして，より正確 なキャンセルアウト手法を追求したい.

## 謝辞

本研究は JSPS 科研費 JP21H03502 および JST さき

がけ JPMJPR20C4 の支援を受けたものです.

## 参考文献

[1] Siwon Kim, Jihun Yi, Eunji Kim, and Sungroh Yoon. Interpretation of NLP models through input marginalization. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 31543167, Online, November 2020. Association for Computational Linguistics.

[2] Jay DeYoung, Sarthak Jain, Nazneen Fatema Rajani, Eric Lehman, Caiming Xiong, Richard Socher, and Byron C. Wallace. ERASER: A benchmark to evaluate rationalized NLP models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4443-4458, Online, July 2020. Association for Computational Linguistics.

[3] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of Advances in Neural Information Processing Systems, Vol. 30, 2017.

[4] Alon Jacovi and Yoav Goldberg. Towards faithfully interpretable NLP systems: How should we define and evaluate faithfulness? In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, $\mathrm{pp}$. 4198-4205, Online, July 2020. Association for Computational Linguistics.

[5] Peter Hase, Harry Xie, and Mohit Bansal. The out-ofdistribution problem in explainability and search methods for feature importance explanations. In Proceedings of the Advances in Neural Information Processing Systems, Vol. 35, 2021.

[6] Maria De-Arteaga, Alexey Romanov, Hanna Wallach, Jennifer Chayes, Christian Borgs, Alexandra Chouldechova, Sahin Geyik, Krishnaram Kenthapadi, and Adam Tauman Kalai. Bias in bios: A case study of semantic representation bias in a high-stakes setting. In Proceedings of the Conference on Fairness, Accountability, and Transparency, pp. 120-128, 2019.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D. Manning, Andrew Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1631-1642, Seattle, Washington, USA, October 2013. Association for Computational Linguistics.

## A BIOS における復元可能性

以下の図 5 が 3.1 節の実験の BIOS に対する結果 である。考察は,3.1 節を参照.

図 5 BIOS におけるキャンセルアウトしたトークンの尤度の分布. 横軸が尤度, 縦軸が相対度数.

以下の図 6 が 3.2 節の実験の BIOS に対する結果 である．考察は,3.2 節を参照.

図 6 BIOS におけるキャンセルアウト箇所の最大尤度の 分布. 横軸が尤度, 縦軸が相対度数.

## B BIOS のジェンダーバイアス

図 7 が 4.1 節で，元の学習データで BERT を訓練 したときの，テストデータにおける各職業の女性率 と男女間の真陽性率の差の関係である。相関係数は 0.838 であり，強くバイアスがかかっている.

## C Uniform Marginalize の置き換え

4.1 節の Uniform Marginalize における置き換えの具体例を表 3 に示す. 元の “Dianne”が “She”と “He”,元の “she”が “she”と “he” に置き換えられた. 大部分の例に対し，このように男性を表す名詞で置き換 えたものと，女性を表す名詞で置き換えたものが一 つずつ作られた。

図 7 Original Token における女性率と性別間の真陽性率 の差の関係

表 3 Uniform Marginalize における置き換えの例. 元の "Dianne" が "She" と "He"，元の "she" が "she”と "he"に置 き換えられた。

経歴

Dianne is registered with the Psychology Board of Australia, the Clinical College of the Australian Psychological Society, and she is a Medicare Provider .

She is registered with the Psychology Board of Australia, the Clinical College of the Australian Psychological Society, and she is a Medicare Provider

He is registered with the Psychology Board of Australia, the Clinical College of the Australian Psychological Society, and he is a Medicare Provider.


# 単語の長さと構成要素を考慮した単語レベルの摄動

平岡 達也 ${ }^{1}$ 高瀬 翔 $^{1}$
内海 慶 ${ }^{2}$ 欅 惇志 ${ }^{2}$ 岡崎 直観 1
1 東京工業大学 2 デンソーアイティーラボラトリ
\{tatsuya.hiraoka@nlp., sho.takase@nlp., okazaki@\}c.titech.ac.jp
\{kuchiumi, akeyaki\}@d-itlab.co.jp

## 概要

本稿では，単語置換による摂動のシンプルな改善手法として, 単語の長さを考慮した単語置換 （WR-L）と, 単語の構成要素を考慮した単語置換 （CWR）を提案する. WR-L では，置換対象の単語 の長さをもとにしたポアソン分布から置換後の単語 を選択する. CWRでは, 置換対象の単語の構成要素（部分文字列・重複文字列）加置換後の単語を 選択する. 評価実験により, WR-L と CWRが文書分類と機械翻訳の性能向上に寄与することを示す.

## 1 はじめに

単語置換による単語レベルの摂動は，自然言語処理で広く用いられる $[1,2]$. 一般的な単語置換 $[3,4]$ では，入力文中の単語を語彙に含まれるランダムな 単語に置換する。これは単語を一様分布からサンプ リングする単純な手法であるが，敵対的摂動のよう な複雑な摂動と同程度に効果的であることが知られ ている[2]. しかし, 従来の単語置換では置換対象 の単語とは無関係な単語を頻繁に選択することにな る.そのため，掑動を加える単語の割合を高く設定 すると, 文中の殆どの単語が無関係な単語に置換さ れてしまい，モデルの性能に悪影響を及ぼす。摂動 を活用するためには，何度も試行を繰り返して八イ パーパラメータを慎重に設定する必要がある.

単語レベルの摂動の異なるアプローチとして，サ ブワード正則化 $[5,6,7]$ が挙げられる. サブワード 正則化では，事前に作成した言語モデルに基づい て，学習エポックごとに異なる単語分割をサンプリ ングしてモデルの学習を行う. サブワード正則化は 単語分割をサンプリングするため, 元の文と無関係 な単語は採用されない. しかし, 単語分割のサンプ リングには複雑な処理を要するため, 単語置換に比 べると摂動の処理に時間がかかるという問題点が

図 1: “up/da/tion”に含まれる単語“da”を CWR - L によって置換する場合の概要.

ある.また，サブワード正則化は単語置換と比較し て，性能向上が限定的となることがある.

本稿では，単語置換とサブワード正則化の折衷案 として，高速かつ効果的な単語レベルの摂動手法を 提案する。提案手法では，単語置換によるサンプリ ングの対象となる語彙を，置換対象の単語の (1) 長 さと (2) 構成要素によって制限する。単語の長さを 用いたアプローチ (1) では，置換対象の単語の長さ に応じて単語のサンプリングに用いる分布を重み付 けする。単語の構成要素を用いたアプローチ (2) で は，サンプリングの対象となる語彙を，置換対象の 単語を構成する要素に制限する。これらの工夫によ り，置換対象の単語が無関係な単語に置き換えられ ることを防ぎ，ハイパーパラメータの変更に対して も頑健にタスクの性能が向上するような単語レベル の摄動を実現する。さらに，提案手法では単語分割 のサンプリングを行わないため，サブワード正則化 よりも高速に摂動処理を実行できる．評価実験によ り，提案手法が文書分類と機械翻訳において性能の 向上に寄与することを確認する。

## 2 提案手法

提案手法の説明の前に, 一般的な単語置換 の概要を説明する. $I$ 個の単語からなる文 $x=$ $x_{1}, \ldots, x_{i}, \ldots, x_{I}$ に対して, 単語置換では確率 $a$ で選択 した単語 $x_{i}$ を $\tilde{x_{i}}$ に置き換える。

$
\begin{aligned}
\tilde{x}_{i} & \sim Q_{V} \\
x_{i} & =\left.\{\begin{array}{lll}
\tilde{x_{i}} & \text { with probability } & a \\
x_{i} & \text { with probability } & 1-a
\end{array} .\right.
\end{aligned}
$

ここで $Q_{V}$ は，語彙 $V$ の全体に対する一様分布であ り，a は置換の頻度を設定するためのハイパーパラ メータである．本稿では，確率 $a$ で選択された $x_{i}$ を 置換対象の単語, $\tilde{x_{i}}$ を置換後の単語と呼ぶ.

## 2.1 長さを考慮した単語置換（WR-L）

従来の単語置換では, 置換対象の単語の長さ によらず，単語のサンプリングを行う. この問題 を解決するために，置換対象の単語の長さに近 い長さの単語を優先的に選択するような単語置換 (Word Replacement using Length: WR-L) を提案す $る^{1)}$. WR-L では，置換対象の単語の長さが平均と なるようなポアソン分布2)を用いて $Q_{V}$ を重み付け し，以下の確率を用いて単語をサンプリングする。

$
p\left(\tilde{x}_{i} \mid x_{i}\right)=\frac{\operatorname{Poisson}\left(L_{\tilde{x}_{i}} ; \lambda=L_{x_{i}}\right)}{Z} .
$

ここで $L_{x_{i}}$ は単語 $x_{i}$ の文字数, $Z$ は確率の合計を 1 とするための正規化項である.

## 2.2 構成要素を考慮した単語置換 (CWR)

従来の単語置換では一様分布を用いているため,置換対象の単語とは無関係な単語が頻繁にサンプ リングされる．これを解決するために，置換対象の 単語の構成要素を考慮した単語置換 (Compositional Word Replacement: CWR）を提案する.

CWR では，単語のサンプリングを行う語彙 $V$ を，置換対象の単語の構成要素 (部分文字列と重複文字列）からなる $S_{x_{i}}$ に制限する。具体的には，置換対象の単語を構成する部分文字列と, 置換対象の単語 の一部を含む重複文字列に語彙を制限する．例えば 図1のように, “up/da/tion”に含まれる“da”という 単語を置換対象とすると，部分文字列は“” “” “a”

1）置換後の単語の長さの分布を付録図 4 に示した.

2）ポアソン分布を用いたノイズは，自然言語処理の離散的な 入力を用いた学習に適していると考えられる [8].表 1: 単語置換の例. 太字は置換された単語を示す.

の 2 種類，重複文字列は “updat”, “at,”, 'ation,” の 3 種類である. 制限された語彙 $S_{x_{i}}$ に対して，一様分布 $Q_{S_{x_{i}}}$ から置換後の単語をサンプリングする.

各単語ごとに，学習データ全体の単語分割候補を 用いて重複文字列を事前に計算しておく.このと き，異なる文脈で用いられる単語であっても，単語 ごとに重複文字列を共有する。例えば，単語 “ $\mathrm{da}$ ”が “up/da/tion”と “pan/da”の 2 つの文脈で用いられてい る場合，この単語の重複文字列は “pan/da” に含まれ る “and” と, “up/da/tion” に含まれる “updat”, “at”, “ation” の合計 4 種類から構成される ${ }^{3}$ ).

また, WR-L と CWR は同時に利用してもよい. この場合，CWRによって制限されたサンプリング のための語彙 $S_{x_{i}}$ の一様分布に対して, ポアソン分布を用いた重み付けを行う。

## 3 実験

提案手法の有効性を確かめるために，文書分類と 機械翻訳で実験を行う，比較対象の手法として，単語レベルの摂動を用いない場合（Vanilla）と，通常 の単語置換による摄動（WR）を用いる. さらに，他 の単語レベルの摂動として以下の手法を用いる.

サブワード正則化（SR）では，各学習エポックごと に言語モデルから単語分割をサンプリングして用い る. 本稿では, SentencePiece [5]を利用した.

Word Dropout (WD) では, (2) 式の $\tilde{x_{i}}$ として分散表現 がゼロベクトルであるトークンを使用する [11].

Unknown Token Replacement (UTR) では，(2) 式の苃 として未知語トークンを使用する [12].

Language Model (LM) では，ランダムに選択した単語を言語モデルに基づいてサンプリングした単語に 置換する。言語モデルには SentencePieceを用い，こ れを利用できない設定では単語の頻度数え上げに よって作成したユニグラム言語モデルを用いる.
}$ を求める処理の概要を付録のアルゴリズム 1 に示した.
}
表 2: 文書分類での実験結果（5 回試行の平均 F1 値）.太字は手法間で最大値を示し，下線は WR を有意（マ クネマー検定で $p<0.05 ）$ に上回ることを示す.

表 3: 機械分類での実験結果（3 回試行の平均 SacreBLEU 値 [9]）。太字は手法間で最大値を示し，下線は WR を有意（Bootstrap Resampling [10] で $p<0.05 ）$ に上回ることを示す.

提案手法である WR-L と CWRに加えて，これら を組み合わせた手法を CWR-L と表記する. 各手法 による単語置換の例を表 1 に示した. これらの摄動手法のうち，SR 以外は式 (2) で説明したハイパー パラメータ $a$ によって単語置換の割合を制御する. SR では，言語モデルの分布を制御するハイパーパ ラメータ $b$ を用いる ${ }^{4)}$.すべてのデータセットにお いて, ハイパーパラメータの候補は 0.1 から 0.9 (0.1 間隔）とし，検証データを用いて最適値を決定した。

## 3.1 文書分類

実験設定: 文書分類の実験では， 3 言語を用いた 9 件 のデータセットを利用する．Twitter(En), Twitter(Ja), Weibo(Zh), はそれぞれ英語, 日本語, 中国語によ るショートテキスト SNS での感情分析データセッ トである. Rating と Genre は, Amazon [13], 楽天市場 [14], JD.com [15] のレビューデータセットから作成した英語, 日本語，中国語のレート予測とジャン ル予測タスクである. 日本語と中国語のデータセッ 卜は，それぞれ MeCab [16] と jieba [17] で事前分割

を行った。その後，すべてのデータセットについて SentencePiece で単語分割を行った. 語彙の規模は,感情分析データセットで $16 \mathrm{~K}$ ，その他のデータセッ トで $32 \mathrm{~K}$ である. 文書分類器には BiLSTM をべー スとした手法 [18] を用いた. 英語のデータセット については, HuggingFace [19] による BERT-base [20] を用いた実験も行う $(+B E R T))^{5}$ ).

実験結果: 表 2 に手法ごとの文書分類の性能を示し た. 結果より，提案手法である WR-L はベースと なっている WR を 12 件のデータセットで上回るこ とが示された。また，提案手法の組み合わせである CWR-L により，複数のデータセットで性能の向上 が得られることも分かった. CWR-L の平均スコア は他の手法よりも高く, WR-L は CWR-L と同程度 である。一方で，置換対象の単語の構成要素だけを 考慮する CWR は，複数のデータセットで他の手法 の性能を下回った。ここから，単語の長さを考慮す る WR-L によって文書分類の性能向上が得られ，さ らに単語の構成要素の考慮を組み合わせることで (CWR-L)，より高い性能が得られることが示唆され

る. ベースライン手法間の比較では，WR と LMが 高い性能を示す一方で，SR は多くのデータセット で性能を向上させることができなかった.

## 3.2 機械翻訳

実験設定: 機械翻訳では Transformer [21]を用い， Fairseq [22] による IWSLT 設定を利用した。単語レ ベルの摂動は低資源での実験設定で効果的である と報告されているため [5]，IWSLTコーパスのうち， De-En, Vi-En, Zh-En ペアの双方向について実験を 行う。単語分割には SentencePieceを用い，語彙の規模は各言語ごとに $32 \mathrm{~K}$ とした. ただし，中国語につ いては jieba による事前分割を行った。

実験結果: 表 3 に, 手法ごとの機械翻訳の性能を示 した. 表において，SR の性能は他のベースライン に比べて高いことがわかる. CWR はSRよりも単語置換の制約が緩いが，実験結果よりSR と同程度の 性能に達することがわかった. さらに, WR-Lも SR よりも高い性能に達しており, CWR-Lは3ペアで最 も高い性能に達している. これらの実験結果から，機械翻訳において単語分割を考慮した摂動（SR， CWR）が効果的であり，さらに単語の長さを考慮す ることも性能の向上に寄与することが示された.

## 4 分析

## 4.1 ハイパーパラメータの影響

ハイパーパラメータが各手法に与える影響を調 べるために， 3.1 節で用いたデータセットでの平均性能をハイパーパラメータの値 $(a, b)$ ごとに測定し た. 図 2 より, CWR-Lは多くの $a$ の値で他の手法よ りも性能が高いことが示された. WR と LM はべー スライン間で高い性能を示しているが，大きい $a$ の 値を用いると性能が低下する。一般的に使用され る小さい $a$ の值において, WR-L の最高性能は WR よりも高く, LM と同程度である. ここから, LM, WR, WR-Lはハイパーパラメータに敏感であり, 慎重なハイパーパラメータの設定が必要であると言え る.CWR は摂動を用いない場合（Vanilla）と同程度 であるが，CWR と CWR-L はともに，a の値によら ず比較的安定した性能を示している。これは語彙の 制限によって, 置換の割合が大きくても元の文の情報を失わないためである.ここから，語彙を制限す る CWRによってハイパーパラメータに対する頑健性が得られ，単語の長さを考慮する（-L）ことでさ

図 2: 文書分類の9データセット（BERT を除く）で のハイパーパラメータごとの $\mathrm{F} 1$ 値の平均.

図 3: Amazon データセットの学習データにおける $10 \mathrm{~K}$ 文あたりの処理速度（10 回試行の平均）.

らなる性能向上が得られると結論付けられる.

## 4.2 処理速度

本研究では，高速で効果的な摂動の手法の開発も 目的としている. 本節では, Amazon データセット の学習データ ( 96,000 文, 文平均 84.91 文字) での 摂動の処理速度を比較する。

図 3 に，各手法の 10 回試行での処理速度の平均時間を示した. 提案手法は語彙の制約や長さによる 分布への重み付けを行うため，WR や LM よりもわ ずかに処理速度が低下している。一方で，明示的に 単語分割のサンプリングを行う必要がないため, SR よりも高速に摂動処理を実行できる。ここから，提案手法（特に CWR-L）は性能向上と処理速度の観点 から優れた摄動の手法であると結論付けられる.

## 5 おわりに

本稿では, 高速で効果的な単語レベルの摂動手法 を提案した. 実験結果より，提案手法が文書分類 と機械翻訳の性能向上に寄与することが分かった. CWR-L はハイパーパラメータを慎重に選ばずとも 高い性能を達成しつつ，サブワード正則化よりも高速に摂動処理を実行できる優れた手法である.

## 謝辞

この成果は, 国立研究開発法人新エネルギー・産業

技術総合開発機構 (NEDO) の委託業務 (JPNP18002)

の結果得られたものです.

## 参考文献

[1] Sosuke Kobayashi. Contextual augmentation: Data augmentation by words with paradigmatic relations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 452-457, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[2] Sho Takase and Shun Kiyono. Rethinking perturbations in encoder-decoders for fast training. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5767-5780, Online, June 2021. Association for Computational Linguistics.

[3] Samy Bengio, Oriol Vinyals, Navdeep Jaitly, and Noam Shazeer. Scheduled sampling for sequence prediction with recurrent neural networks. In Proceedings of the 28th International Conference on Neural Information Processing Systems-Volume 1, pp. 1171-1179, 2015.

[4] Xiang Zhang and Yann LeCun. Text understanding from scratch. arXiv preprint arXiv:1502.01710, 2015.

[5] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, 2018.

[6] Tatsuya Hiraoka, Hiroyuki Shindo, and Yuji Matsumoto. Stochastic tokenization with a language model for neural text classification. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1620-1629, 2019.

[7] Ivan Provilkov, Dmitrii Emelianenko, and Elena Voita. BPE-dropout: Simple and effective subword regularization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 18821892, Online, July 2020. Association for Computational Linguistics.

[8] Masaaki Nagata. Automatic extraction of new words from Japanese texts using generalized forward-backward search. In Conference on Empirical Methods in Natural Language Processing, 1996.

[9] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[10] Philipp Koehn. Statistical significance tests for machine translation evaluation. In Proceedings of the 2004 conference on empirical methods in natural language processing, pp. 388-395, 2004.

[11] Yarin Gal and Zoubin Ghahramani. A theoretically grounded application of dropout in recurrent neural networks. Advances in neural information processing systems, Vol. 29, pp. 1019-1027, 2016.

[12] Huaao Zhang, Shigui Qiu, Xiangyu Duan, and Min Zhang. Token drop mechanism for neural machine translation. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4298-4303, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[13] Ruining He and Julian McAuley. Ups and downs: Modeling the visual evolution of fashion trends with one-class collaborative filtering. In proceedings of the 25 th international conference on world wide web, pp. 507-517, 2016.

[14] Rakuten, Inc. Rakuten dataset. Informatics Research Data Repository, National Institute of informatics. (dataset)., 2014.

[15] Yongfeng Zhang, Min Zhang, Yi Zhang, Guokun Lai, Yiqun Liu, Honghui Zhang, and Shaoping Ma. Dailyaware personalized recommendation based on feature-level time series analysis. In Proceedings of the 24th international conference on world wide web, pp. 1373-1383, 2015.

[16] Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer. http://taku910.github.io/mecab/, 2006.

[17] Sun Junyi. jieba. https://github.com/fxsjy/jieba, 2013.

[18] Peng Zhou, Zhenyu Qi, Suncong Zheng, Jiaming Xu, Hongyun Bao, and Bo Xu. Text classification improved by integrating bidirectional $1 \mathrm{stm}$ with two-dimensional max pooling. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 3485-3495, 2016.

[19] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[20] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[21] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, pp. 5998-6008, 2017.

[22] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.
表 4: 各手法・各データセットごとの実験（表 2，表 3）で用いたハイパーパラメータの值. それぞれの 值は検証データで選択した。

## A データセット

3.1 節では，文書分類の実験のために 9 つのデー タセットを用いた. Twitter $\left.(E n)^{6}\right)$ と Weibo $(Z h)^{7)}$ につ いては，配布されているデータセットをそのま ま用いた. Twitter(En) のサンプル数は 100,000 件, Weibo(Zh) は 671,052 件である. その他のデータセッ トについては，以下の通り作成した。

Twitter(Ja) $)^{8}$ : Twitter API を用いて 352,554 件のツ イートを収集し，そのうち感情ラベルが一つのみ 付与された 162,184 件 (ポジティブ 10,319 件，ネガ ティブ 16,035 件，ニュートラル 135,830 件) を実験 に利用した。

(a) WR

(a) WR-L図 4: Amazon データセットでの (a)WR と (b)WR-L に よる単語置換における，置換対象の単語と置換後の 単語の長さの分布. WR-L は WR-L は置換対象の単語の長さに似た長さの単語を頻繁に用いる.

Rating\&Genre(En): 配布されている Amazon データ セットのうち，サンプル数の量が十分にある 24 の 商品ジャンルのレビューから 5,000 件ずつサンプリ ングした. このとき，レビューの長さは 200 単語以下になるように制約を設けた。単語数はスペース区切りでカウントし，最終的なサンプル数は 120,000 件である.

Rating\&Genre(Ja): 配布されている楽天市場のデー タセットのうち，サンプル数の量が十分にある 21 の商品ジャンルのレビューから 5,000 件ずつサンプ リングした. 最大文字数は 100 文字とし，最終的に 525,000 件のサンプルを使用した.

Rating\&Genre(Zh): 配布されている JD.com のデータ セットのうち，サンプルの量が十分にある 13 の商品ジャンルのレビューから 6,000 件ずつサンプリ ングした. 最大文字数は 100 文字とし，最終的に 390,000 件のサンプルを使用した.

すべてのデータセットは学習，検証，評価データ として 8:1:1 に分割して実験に用いた。また，Rating と Genre タスクはそれぞれ同じデータから作成 した.


# スペイン語古文書の年代・地点推定のための最適な手法の探求

川崎 義史 ${ }^{1}$ 永田 亮 $^{2}$
${ }^{1}$ 東京大学 ${ }^{2}$ 甲南大学
ykawasaki@g.ecc.u-tokyo.ac.jp nagata-nlp2022@ml.hyogo-u.ac.jp.

## 概要

現存する文献史料に立脚する歴史学や通時言語学 において，文書の正確な年代推定と地点推定は最重要課題の一つである。本稿では, スペイン語古文書 の作成年代と作成地点を，文書内容に基づき回帰に より推定する方法を検討した。具体的には，複数の 回帰モデルと文書ベクトルとの組み合わせによる比較実験を行い，それぞれの特性を分析した。実験の 結果，次の 2 つの知見を得た。まず，文書ベクトル としては，分散表現ベースのものよりも，単語・文字 $n$-gram の方が優れていた。第二に，回帰モデルと しては, 加重平均 $k$-NN の性能が最良だった。また,性能はやや劣るものの，予測の信頼度として推定分散が求まるガウス過程の有効性も確認された。

## 1. はじめに

現存する文献史料に立脚する歴史学や通時言語学 において, 文書の作成年代と作成地点の正確な推定 は，真贋判定とともに最重要課題の一つである。文書の作成年代と作成地点の推定は，それぞれ年代推定, 地点推定と呼ばれる。作成地点を緯度・経度で 表寸場合，各々の推定を緯度推定 - 経度推定と呼ぶ。

文書内容に基づく年代推定と地点推定は，分類問題として解かれることが一般的である (2 節参照)。

これに対し, 本稿では, 年代と地点を連続変数とみ なし, 両者の推定を回帰問題として扱う方法を検討 した。具体的には, 複数の回帰モデルと文書ベクト ルとの組み合わせによる比較実験を行い，各々の特性を分析した。データとして，中近世スペイン語古文書を用いた。古文書とは，法令，権利，財産譲渡等に関する近代以前の手書きの行政・法律関係文書 の総称である。

実験の結果，次の 2 つの知見を得た。まず，文書 ベクトルとしては，分散表現ベースのものよりも，単語・文字 $n$-gram の方が優れていた。このことは,文書の全体的な情報よりも，特定の単語や文字連続 が推定に効果的であることを示唆している。第二に，回帰モデルとしては, 加重平均 $k$-NN の性能が最良 だった。これは，内容が類似した文書が多く含まれ るコーパスの性質によると考えられる。また，性能 はやや劣るものの，予測の信頼度として推定分散が 求まるガウス過程（Gaussian Process: GP) [1]の有效性も確認された。

本稿の構成は, 以下の通りである。2 節で関連研究を概観する。 3 節では, データセットの説明を行 う。 4 節で実験設定を説明し, 5 節で実験結果の報告 と考察を行う。 6 節でまとめと今後の課題を述べる。

## 2. 関連研究

文書内容に基づく年代推定と地点推定は，分類の 枠組みで扱われるのが一般的である。年代推定では，一定の期間ごとに分割されたビンがクラスとなる [2]-[6]。地点推定では，州や県などの行政単位や機械的に分割された格子状の範囲がクラスとなる[6][9]。分類器には，ナイーブベイズ，ロジスティック 回帰，サポートベクターマシン，ニューラルネット などが用いられる。

年代推定や地点推定を回帰問題として扱う研究も 僅かだが存在する。[10]は, 品詞頻度を特徴量とし,

芥川龍之介の作品の執筆年代を線形回帰, Support Vector Regression（SVR），ランダムフォレスト回帰 を用いて推定した。[2]は，GPを用いて北欧語古文書 の年代推定を行った。文書は文字・単語 $n$-gram の二值ベクトルで表現されている。[11]は, ツイートの緯度・経度をニューラル回帰で推定した。

## 3. データセット

データセットには，中近世スペイン語古文書コー パス CODEA+2015 (Corpus de Documentos Españoles Anteriores a 1800）を使用した[12]。このコーパスは, 1100 年から 1800 年の間にスペイン各地で発行され た約 2500 文書から成る。このうち, 文書長が 10 語以上で, 作成年代と地点が明記されている 2076 文書 の校訂版を利用した。校訂版では，省略記号が展開 され,綴りや単語分割等が統一的に処理されている。
現段階では，文書の年代分布・地点分布に大きな 偏りが存在する。文書数が少なく粒度の細かい推定 は困難なため, 作成地点の緯度・経度には, 今日そ の地点が属する県の県都のそれを採用した。文書長 の平均は 582 語, 最小値は 10 語, 最大値は 6271 語,標準偏差は 571 語と変動が大きい。

## 4. 実験設定

## 4.1. 回帰モデル

回帰モデルとしては, GP, 加重平均 $k-\mathrm{NN}$, Ridge 回帰，SVR[13]用いた。GP は，通常の線形回帰が 適用しにくい問題に対し，より柔軟なモデリングを 可能にする回帰モデルである[1]。また, 予測の信頼度を分散で表現できるベイズ的なモデルでもある。 カーネルには, 年代推定・地点推定ともに RBF カー ネルを使用した。カーネルのハイパーパラメータの 最適化は, GPy で行なった。最適化の容易さも GP の利点である。加重平均 $k$ - $\mathrm{NN}$ の重みは, 文書間の コサイン類似度とした。最適な $k \in[1,10]$ は, 訓練デ 一タでの leave-one-out で決定した。Ridge 回帰を使用したのは, 後述のように入力次元数が大きいため,過剰適合を緩和するためである。ハイパーパラメー タはデフォルトのものを使用した[14]。SVR のカー ネルには，年代推定・地点推定ともに RBF カーネル を用いた。その他のハイパーパラメータはデフォル トのものを使用した[14]。

## 4. 2. 文書ベクトル

回帰モデルの入力となる文書ベクトルには, 単語・文字 $n$-gram の他に, Doc2Vec[15] と BERT[16]で求め た文書の分散表現を用いた。前処理として，作成年代・地点を表している箇所は人手で削除した。

単語・文字 $n$-gram は, グラムの有無の二值ベクト ルと頻度ベクトルの 2 種類を使用した。 $n \in\{1,2,3\}$ とした。特徴空間は, 訓練データの文書に含まれる 最頻の 768, 2000 パターンとした。ただし, 文字 1gram など，種類数がこれら以下になる場合がある。次元数 768 は, 後述の BERT に合わせたものである。

Doc2Vec による文書の分散表現は, gensim [17]で 求めた。テストデータの文書の分散表現は, 訓練デ 一夕による学習モデルから推測した。次元数は, 100,
^{i} \mathrm{https}$ ///sheffieldml.github.io/GPy/

ii https://huggingface.co/dccuchile/bert-base-spanish-wwmcased
}

200，768，1000とした。その他のハイパーパラメー タはデフォルトのものを使用した。

BERT による文書の分散表現には, [CLS]トークン のそれを使用した。現代スペイン語のモデル（bertbase-spanish-wwm-cased）を使用し，次元数は 768 と した ii 。大文字・小文字の区別は無視した。入力文書長の上限（512 語）があるため，上限以上の文書は 512 語ごとに分割し, 複数のサブ文書の分散表現の 平均を文書の分散表現とした。

文書長が影響しないように，いずれの文書ベクト ルも，ノルムが 1 になるように正規化した。正規化 をしない場合は，推定性能が大幅に悪化した。

## 4.3. 評価指標

実験は, 2076 文書を 9 対 1 で訓練データとテスト データに分割して行なった。文書数が少なく, 年代・地点分布に偏りがあるため，均質なデータ分割は難 しいと判断し，開発データは準備しなかった。開発 データによるハイパーパラメータの調整は，今後の 課題としたい。

推定性能の評価指標には, Root Mean Squared Error （RMSE）を用いた。参考のため, Mean Absolute Error （MAE），MedAE（Median Absolute Error）も報告す る。地点推定については，緯度・経度の予測値から 正解地点との直線距離を GeoPy で求め, これを誤差 とした iii。年代推定の単位は年とした。ベースライン は，訓練データの年代，緯度，経度の平均による推定とした。

## 5. 実験結果と考察

表 1 に各モデルと入力の組み合わせによる年代推定の実験結果を，表 2 に地点推定の実験結果を報告する。緯度推定・経度推定の結果は，付録の表 3 を参照。簡単のため, 緯度・経度は同一のモデルで 推定した。各モデルで最良の結果は太字にし，全体 で最良のものには下線を付した。

入力が $n$-gram の場合は, 最良の結果となった $n$ の 場合を報告している。W- $n$ と Ch- $n$ は，それぞれ，単語と文字の $n$-gram を表す。末尾の-bin と-freq は，そ れぞれ，二值ベクトルと頻度ベクトルを表す。

図 1 は, 文字 3-gram の頻度ベクトルを入力とし た GPによる年代（左）, 緯度（中央）, 経度（右）

iii https://geopy.readthedocs.io/

の予測値と正解値のプロットである。グレーの縦棒 は推定標準偏差を表す。実線の対角線は，予測値が 正解値と一致する場合に相当する。上下の破線は,年代推定では $\pm 50$ 年の区間を, 地点推定では $\pm 1$ 度 の区間を示す。地点推定では, 年代が古い (新しい)文書ほど寒色（暖色）で示した。

## 5.1. 年代推定

表 1 年代推定の結果

推定性能は $k$-NN が最良となり, 続いて GP, Ridge 回帰, SVR の順となった。いずれのモデルもベース ラインを上回った。 $k$-NN の性能が良いのは, 内容が 類似した文書が多く含まれるコーパスの性質による と考えられる。非線形の関係も捉えられる GP は, より単純なモデルの $k$-NNを上回らなかった。今後,複数のカーネルの組み合わせ等を検討する必要があ る。Ridge 回帰の性能も悪くはなく, 線形に変化する 変数の存在が示唆される。SVR は，他のモデルより も大幅に低い結果となった。入力は，Doc2Vec や BERT による分散表現ベース のものよりも， $n$-gram の方が優れていた。これは,文書の全体的な情報よりも， $n$-gram が捉える具体的 な単語や文字連続が推定に効果的であることを示唆 している。全般的に, 単語よりも文字 $n$-gram の方が 優れていた。どのモデルでも単語では $n=1$, 文字で は $n=3$ での性能が最良だった。SVR 以外は, 次元数 が大きい方が高性能だった。二値ベクトルと頻度ベ クトルの優劣は，モデルに依存するようである。

Doc2 $\mathrm{Vec}$ と BERT の分散表現の優劣は判然としな かった。使用した BERT モデルは現代スペイン語の ものだが，中近世語に対しても，ある程度，有効な ようである。これは，BERTが subword を考慮する ため未知語にも対応可能であり，また，現代語と中近世語の乘離が小さいためだと考えられる。

GP の性能はやや劣るが, 予測の信頼度として推定標準偏差が求まることは大きな利点である。モデル と入力の種類によらず, 推定標準偏差と絶対值誤差 には 0.2 程度の正の相関が見られた (付録の図 2)。

モデルと入力の種類によらず，文書長が大きいほ ど, 誤差が小さくなる傾向が見られた(図は非掲載)。長い文書ほど，推定に寄与する語が多く含まれるた めだと考えられる。地点推定でも同様の傾向が見ら れた。

## 5. 2. 地点推定

年代推定と同様に, $k$-NN が最良のモデルとなり,続いて GP, Ridge 回帰, SVR の順となった。いずれ のモデルもベースラインを上回った。年代推定と異 なり，SVR も他のモデルと匹敵する性能だった。入力は, 年代推定同様, $n$-gram の性能が良かった。GP では，推定標準偏差と絶対值誤差には相関は見られ なかった（付録の図 2）。

緯度・経度の RMSE を各々のレンジ (最大值一最小値）で割り標準化すると, 経度の方が緯度よりも 誤差が $20 \%$ 程度小さくなった。つまり, 経度の方が 緯度よりも推定しやすいことを意味する。これは,中世スペインの再征服運動の結果, 東西方向よりも 南北方向の言語的特徵が類似していることの反映だ と考えられる[18]。

年代が新しい文書は, 経度推定の誤差が大きくな った（図 1）。これは, 年代の新しい文書の少なさ に加え, 16 世紀以降, 半島西部 - 中部 - 東部の方言的特徴が消失し言語が均質化したため, 経度の推定 が困難になったためだと考えられる[19]。

図 1 文字 3-gram の頻度ベクトルを入力とした GP による年代（左）, 緯度（中央）, 経度（右）の予測値 と正解值のプロット。グレーの縦棒は推定標準偏差を表す。実線の対角線は, 予測値が正解値と一致する場合に相当する。上下の破線は，年代推定では $\pm 50$ 年の区間を，地点推定では $\pm 1$ 度の区間を示す。地点推定 では，年代が古い（新しい）文書ほど寒色（暖色）で示した。

表 2 地点推定の結果

## 6. おわりに

本稿では，スペイン語古文書の作成年代と作成地点を，文書内容に基づき回帰により推定する方法を検討した。具体的には，複数の回帰モデルと文書ベ クトルとの組み合わせによる比較実験を行い，それ ぞれの特性を分析した。実験の結果，次の 2 つの知見を得た。まず，文書ベクトルとしては，分散表現 ベースのものよりも，単語・文字 $n$-gram の方が優れ ていた。第二に, 回帰モデルとしては, 加重平均 $k$ $\mathrm{NN}$ の性能が最良だった。また, 性能はやや劣るもの の, 予測の信頼度として推定分散が求まるガウス過程の有効性も確認された。

今後の課題は，以下の 4 点である。まず，カーネ ルや入力ベクトルの次元数などのハイパーパラメー 夕の調整が必要である。この点で, GP はハイパーパ ラメータが自動的に求まるという利点がある。 $n$ gram を入力とする場合, 中頻度層のものも考慮する ことで，性能向上が期待される。第二に，年代推定 と地点推定をマルチタスクとして扱い，ニューラル に回帰することが考えられる。緯度と経度には相関 がないが, 年代と緯度, 年代と経度には相関がある。 これらの相関を考慮し, 年代と地点を同時に予測す ることで性能向上が期待される[6]。第三に，同一の 入力を使用した分類モデルとの比較が必要である。第四に，[6], [20]のように，推定の根拠となる単語・文字列の特定が望まれる。 $n$-gramを入力とする場合,重みの絶対值の大きなものの特定は容易である。GP では, 関連度自動決定により, 推定に影響のある次元の特定ができる[1]。一方, Doc2Vec や BERT によ る分散表現を入力とする場合, ある次元が具体的な 語に対応しているわけではないので，特定は難しい ように思われる。

## 謝辞

本研究は JSPS 科研費 $18 \mathrm{~K} 12361$ の助成を受けたもの です。

## 参考文献

[1]持橋大地, 大羽成征, 『ガウス過程と機械学習』.東京: 講談社, 2019.

[2] S. Boldsen and F. Wahlberg, "Survey and Reproduction of Computational Approaches to Dating of Historical Texts," in Proceedings of the 23rd Nordic Conference on Computational Linguistics (NoDaLiDa), 2021, pp. 145-156.

[3] F. De Jong, H. Rode, and D. Hiemstra, "Temporal Language Models for the Disclosure of Historical Text," in Humanities, Computers and Cultural Heritage: Proceedings of the 16th International Conference of the Association for History and Computing (AHC 2005), 2005, pp. 161-168.

[4] G. Tilahun, A. Feuerverger, and M. Gervers, "Dating Medieval English Charters," Ann. Appl. Stat., vol. 6, no. 4, pp. 1615-1640, 2012.

[5] N. Kanhabua and K. Nørvåg, "Using Temporal Language Models for Document Dating," Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics), vol. 5782 LNAI, no. PART 2, pp. 738-741, 2009.

[6] Y. Kawasaki, "Dating and Geolocation of Medieval and Modern Spanish Notarial Documents Using Distributed Representation," in QUALICO2021 Book of Abstracts, 2021, pp. 34-36.

[7] S. Roller, M. Speriosu, S. Rallapalli, B. Wing, and J. Baldridge, "Supervised Text-Based Geolocation Using Language Models on an Adaptive Grid," in Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, 2012, pp. 1500-1510.

[8] B. Han, P. Cook, and T. Baldwin, "Text-Based Twitter User Geolocation Prediction," J. Artif. Intell. Res., vol. 49, pp. 451-500, 2014.

[9] B. Wing and J. Baldridge, "Hierarchical Discriminative Classification for Text-Based Geolocation," in Proceedings of the 2014 Conference on Empirical
Methods in Natural Language Processing, 2014, pp. 336-348.

[10] 金明哲, “文章の執筆時期の推定 : 芥川龍之介の作品を例として,” 行動計量学, vol. 36, no. 2, pp. 89103, 2009.

[11] P. Mishra, "Geolocation of Tweets with a BiLSTM Regression Model," in Proceedings of the 7th Workshop on NLP for Similar Languages, Varieties and Dialects, 2020, pp. 283-289.

[12] GITHE (Grupo de Investigación Textos para la Historia del Español), "CODEA+ 2015 (Corpus de Documentos Españoles Anteriores a 1800).” [Online]. Available: http://www.corpuscodea.es/.

[13] C. C. Chang and C. J. Lin, "LIBSVM: A Library for Support Vector Machines," ACM Trans. Intell. Syst. Technol., vol. 2, no. 3, pp. 1-27, 2011.

[14] F. Pedregosa et al., "Scikit-learn: Machine learning in Python," J. Mach. Learn. Res., vol. 12, pp. 2825-2830, 2011.

[15] Q. Le and T. Mikolov, "Distributed Representations of Sentences and Documents," in Proceedings of the 31st International Conference on Machine Learning, 2014, vol. 32, no. 2, pp. 1188-1196.

[16] J. Devlin, M. W. Chang, K. Lee, and K. Toutanova, "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding," in Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2019, pp. 4171-4186.

[17] R. Řehůřek and P. Sojka, "Software Framework for Topic Modelling with Large Corpora," in Proceedings of the LREC 2010 Workshop on New Challenges for NLP Frameworks, 2010, pp. 45-50.

[18] R. Penny, A History of the Spanish Language. Cambridge: Cambridge University Press, 2002.

[19] R. Penny, Variation and Change in Spanish. Cambridge: Cambridge University Press, 2000.

[20] A. Rahimi, T. Baldwin, and T. Cohn, "Continuous Representation of Location for Geolocation and Lexical Dialectology using Mixture Density Networks," in Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, 2017, pp. 167-176.

## 付録

表 3 緯度推定・経度推定の結果

図 2 文字 3-gram の頻度ベクトルを入力とした GPによる推定標準偏差と年代推定（左）, 緯度推定（中央）, 経度推定（右）の誤差のプロット。年代推定では, 推定標準偏差と絶対値誤差には 0.2 程度の正の相関が見られた。地点推定では，相関は見られなかった。


# 面白いアナグラムとはどんなアナグラムか

土井 遥 ${ }^{\dagger}$ 山本 優衣奈 $2 \dagger$ 佐藤 理史 ${ }^{3}$
1 名古屋市立向陽高等学校
2 三重県立桑名高等学校
3 名古屋大学大学院工学研究科
ssato@nuee.nagoya-u.ac.jp

## 概要

アナグラムとは、「言葉の綴りの順番を変えて別 の語や文を作る遊び」である。本稿では、表記と読 みの組からなる入力に対して、アナグラム候補を順位付きで出力するシステムを示す。さらに、システ ムで生成した大量のアナグラム候補の中から「面白 い」と思えるアナグラムを収集・分類し、「面白いア ナグラムとはどんなアナグラムか」という問いに対 して、ひとつの仮説を提示する。

## 1 はじめに

アナグラムとは、「言葉の綴りの順番を変えて別 の語や文を作る遊び [1]」である。日本語のアナグ ラムは、読み (ひらがな文字列) の順番を変えて作る のが一般的であり、たとえば、「時計 / とけい」から 「毛糸/けいと」を作ることが、これに相当する。

ひらがな文字列の並べ替えは、機械的に可能であ り、容易である。たとえば、 7 文字のひらがな文字列の並べ替えは、 $7 !=5040$ 個存在する。しかしなが ら、その中で日本語として意味をなすものは限られ ており、「面白い」ものとなると、さらに限られて いる。それゆえ、面白いアナグラムを作ることは知的なパズルであり、ある種の創作とみなすことがで きる。

鈴木ら [2] は、あらかじめ用意した文節集合に含 まれる文節をつなげて、アナグラムを生成する方法 を提案・実装した。しかし、この生成法には意味的適格性の判定が陽に含まれておらず、意味の通るア ナグラムは出力のほんの一部に限られた。後続研究 [3] では、係り受けペアの一般化による意味的適格性判定が試みられ、一定の効果が見られたが、根本的な解決には至らなかった。本研究では、「面白いアナグラムを作る」ことを

$\dagger$ Equal contribution

図 1 アナグラム生成システム

研究目標として掲げ、有望な候補を順位付きで出力 するシステムの実現を試みる。さらに、システムで 生成した大量のアナグラム候補の中から「面白い」 と思えるアナグラムを収集・分類し、「面白いアナ グラムとはどんなアナグラムか」という問いに対し て、ひとつの仮説を提示する。

## 2 アナグラム生成システム

図 1 に、今回実装したアナグラム生成システムの 概要を示す。生成手順は、おおきく、(1) 候補リスト 作成と、(2) ランキングの 2 つのステップから構成 される。

## 2.1 候補リスト生成

候補リスト生成では、与えられた入力から、アナ グラムの候補リストを作成する。入力は、表記 (日本語文字列) とその読み (ひらがな文字列1) ${ }^{11}$ ) の組で ある。なお、入力それ自身は、生成する候補リスト にかならず含める。

1) 本研究における「ひらがな」は、JISコード (ISO-2022-JP) の 0x2421 から 0x2473 までの 83 文字のうち、小書の「わ」と 「み・总」の 3 文字を除いた 80 文字である。

## 2.1.1読みの並び替え

候補リスト作成の最初のステップは、読み(ひら がな列) の並べ替えを求めるステップである。た とえば、入力「名古屋大学/なごやだいがく」は、読みの長さが 7 で、すべての文字が異なるので、 $7 !=5,040$ 個の並べ替えが得られる。

このステップでは、ひらがな列として適切なもの のみ生成する。具体的には、以下の制約を課す。

1. 拗音「ゃ・ゅ・よ」は、ア行を除くイ段の文字「き・し・ち・に・ひ・み・り・ぎ・じ・ぢ・び・ ぴ」の直後の文字としてのみ採用する。

2. 撥音「ん」、促音「っ」、小書き文字「あ・い・う・ え・お」は、並べ替え文字列の先頭の文字とし て採用しない。

このため、「東京大学/とうきょうだいがく」の読み は 9 文字であるが、「う」が 2 回現れ、「ゃ」は「き」 の直後にしか配置できないため、生成される並べ替 えは 9 ! ではなく、 $8 ! / 2=20,160$ 個となる。

## 2.1.2 かな漢字変換

次のステップでは、かな漢字変換システムを利用 して、得られたそれぞれのひらがな列を日本語文字列 (かな漢字文字列) に変換する。かな漢字変換シス テムには、MeCab[4] と MeCab-skkserv[5] のかな漢字変換辞書を利用した。

一般に、かな漢字変換では、複数の変換候補が考 えられるが、ここでは、それぞれのひらがな列に対 して、変換結果をひとつだけ生成する。

## 2.1.3 フィルタリング

候補生成の最後のステップでは、以下に示す $2 \supset$ のフィルタを順に適用し、候補を絞り込む。

読みの不一致フィルタ かな漢字変換によって得 られた日本語文字列の標準的な読みが、変換前のひ らがな文字列と一致しない場合、読みアナグラムと しての完全性に欠ける。そこで、日本語文字列の読 みを形態素解析システム $\mathrm{MeCab}$ (IPA 辞書) を用いて 取得し、かな漢字変換前のひらがな列と一致しない 場合は、その候補を削除する。このフィルタによ り、大力「名古屋大学/なごやだいがく」に対する 候補は 5,040 個から 4,184 個に絞られる。

文字 n-gram フィルタ 文字 n-gram に基づいて、日本語文字列としての可能性が著しく低いものを候補から削除する。具体的には、国立国語研究所が公開している日本語の文字 n-gram データ [6] から、文字 2-gram は頻度が 101 回以上の 1,384,419 種類、文字 3-gram は頻度が 11 回以上の 39,670,672 種類を採用し、このリストに存在しない文字 2-gram および 文字 3-gram を含む候補をリストから削除する。こ のフィルタによって、「名古屋大学 / なごやだいが く」では、4,184 個の候補が 387 個に絞られる。

## 2.2 ランキング

ランキングでは、候補リスト生成で得られたそれ ぞれの候補にスコアを付与し、スコア順にソートし た候補リストを出力する。

## 2.2.1 スコアの定義

入力 $I$ に対する候補 $C$ のスコアを、以下の式で定義する。

$
\operatorname{score}(C, I)=\operatorname{GPT}-2(C . h)-\operatorname{penalty}(C, I)
$

ここで、 $I$ と $C$ は、いずれも表記 (日本語文字列) と 読み (ひらがな文字列) の組であり、GPT-2(C.h) は、候補の表記 C.hに対する GPT-2 [7] の龙度を表す。 penalty $(C, I)$ は、候補と入力の類似性に基づくぺナ ルティを表す。

## 2.2.2 尤度計算

候補表記の、日本語として妥当性 (文法的適格性 と意味的整合性) を GPT-2 の尤度によって見積もる。 GPT-2 の実装としては、公開されている日本語用の 実装 [8] の medium モデルを利用した。

## 2.2.3候補と入力の類似性ペナルティ

尤度のみでランキングすると、ほとんどの場合、入力自身が最上位の候補となる。さらに、「名古屋大学」に対して「大学名古屋」や「名古屋大工が」 のように入力の一部を色濃く残した候補が上位に来 ることが多い。これらの候補の順位を下げるため、入力との類似性に基づくペナルティを導入した。

ペナルティの計算は、次のように行う。ペナル ティの値は、候補 $C$ と入力 $I$ の表記の類似度 $\operatorname{sim}_{h}$ と読みの類似度 $\operatorname{sim}_{y}$ の和に 10 を掛けた値と定義 する。

$
\operatorname{penalty}(C, I)=10 *\left(\operatorname{sim}_{h}(C, I)+\operatorname{sim}_{y}(C, I)\right)
$

表記の類似度は見た目の類似度、読みの類似度は音 の類似度に相当し、見た目と音の両方を考慮するこ とを意図している。
表 1 「名古屋大学/なごやだいがく」に対する上位 10 件

2 つの文字列 $X$ と $Y$ の類似度は、両者に共通する 文字 n-gram の割合として計算する。

$
\operatorname{sim}(n, X, Y)=\frac{\operatorname{dup}(\mathrm{n}-\operatorname{gram}(X), \mathrm{n}-\operatorname{gram}(Y))}{\min (|\mathrm{n}-\operatorname{gram}(X)|,|\mathrm{n}-\operatorname{gram}(Y)|)}
$

ここで、 $\mathrm{n}-\operatorname{gram}(X)$ は文字列 $X$ に含まれる文字 n-gram のリストを、|・はリストの要素数を表す。関数 $\operatorname{dup}(A, B)$ は、 2 つのリスト $A, B$ に共通して現れ る要素の個数を表す。ただし、 $A$ または $B$ に同一要素が複数存在し、かつ、それらが $A$ と $B$ に共通して 現れる場合、共通して現れる個数としては、少ない 方の個数を採用する。たとえば、 $A$ に「なご」が 2 回現れ、 $B$ に 1 回現れる場合は、「なご」が共通して 現れる個数としては 1 を採用する。このような計算 により、上記の $\operatorname{sim}$ の値域は $[0,1]$ となる。

表記の類似度は、文字 3-gram と文字 2-gram の類似度の平均値とする。

$
\operatorname{sim}_{h}(C, I)=\frac{1}{2}(\operatorname{sim}(3, C . h, I . h)+\operatorname{sim}(2, C . h, I . h))
$

一方、読みの類似度は、文字 4-gram と文字 3-gram の類似度の平均値とする。

$
\left.\operatorname{sim}_{y}(C, I)\right)=\frac{1}{2}(\operatorname{sim}(4, C . y, I . y)+\operatorname{sim}(3, C . y, I . y))
$

ここで、 $h$ は表記文字列を、 $y$ は読み文字列を表す。 このように、表記と読みで $n$ の值を変更するの は、一般に、読み文字列の方が長くなるからである。 なお、式 (2) の定数 10、式 (4) の定数 3 と 2、式 (5) の定数 4 と 3 は、実際のデータを観察して定めた。

## 3 出力例

入力「名古屋大学/なごやだいがく」に対する出力の上位 10 件を、表 1 に示す。なお、表記と読みに 含まれる区切りは、かな漢字変換の際に得られる単語区切りである。出力された候補の中では、「嫌だ な語学/いやだなごがく」(4 位)、「嫌な語学だ/ いやなごがくだ」(6位)、「語学嫌だな/ごがくい やだな」 (8 位)が面白い。

## 4 面白いアナグラムとは

機械的に生成したアナグラム候補は、おおきく次 のように分類できる。

1. アナグラムとは認められないもの (日本語とし て不自然なもの)

2. アナグラムと認められるもの (日本語として自然なもの)

(a) 特に面白くないアナグラム

(b) 面白いアナグラム

今回採用したアナグラム生成アルゴリズムでは、日本語文字列としての可能性が著しく低いものを文字 n-gram フィルターで排除するが、日本語文字列 らしさは、GPT-2 の尤度としてスコア化しているだ けである。そのため、ランキングの下位には、日本語として不自然なものが多数含まれる。

日本語として自然な語・句・文は、アナグラムと して認定できる。しかしながら、その中で「面白い」 と思えるアナグラムは限られている。

面白いアナグラムとはどのようなアナグラムか。 これを調査するために、普通名詞 6,750 語に対して、網羅的にアナグラム候補を生成した。入力として採用した語は、 $\mathrm{MeCab}$ 用の IPA 辞書に収録されてい る、読みの長さが 6 文字から 9 文字の普通名詞全て である。こうして得られた出力を調査 (目視)して、著者らが面白いと思うアナグラムを収集し、それら の分類を試みた。以下では、その分類を示し、付録 にその実例を示す。なお、これらの分類は排他的分類ではない。複数の分類に属するアナグラムも存在 し、それらは面白さの度合いが高い。

## 4.1 単独で面白いアナグラム

単独で面白いアナグラムとは、アナグラム自身に 面白さを感じるものである。言い換えるならば、元 となった語 (入力) が何だったかに依存しない面白さ である。

文形式となるアナグラム 完結した文 [付録 (1)] あるいは、それに準ずる形式のアナグラムは、面白 いと感じることが多い。文は、ある事態を表す形式 であり、読み手は、その事態を想起することが容易 である。端的に言えば、具体的なイメージが湧きや すい。そのイメージに我々は反応し、面白いと感じ るのではないだろうか。
意外性がある複合語となるアナグラム 意外性が ある複合語となる場合 [ 付録 (2)] も面白い。これら の複合語は実際には存在しないが、あってもおかし くないという意味で、我々の好奇心を刺激するので あろう。

ナンセンス系アナグラム 単体で面白いアナグラ ムの分類のひとつとして、「ナンセンス系」と名付 けたアナグラムがある [付録 (3)]。このタイプのア ナグラムでは、思いもよらなかった意外な組み合わ せに、想像力が刺激されるのだろう。

オノマトペを含むアナグラム オノマトペを含む アナグラム [付録 (4)] が生成されることは比較的少 ない。つまり、希少性がある。オノマトペには臨場感があり、イメージを想起させる効果がある。その ような効果も、面白さに寄与しているのだろう。

評価や感情を表す形容詞を含むアナグラム評価 や感情を表す形容詞を含むアナグラム [付録 (5)] は、面白いと感じることが多い。これは、面白さの評価 が、感覚・感情に基づく評価であることが関係して いるのかもしれない。

## 4.2 入力との関連で面白いアナグラム

入力との関連で面白いアナグラムとは、「この入力からこんなアナグラムが作れるのか」という驚 き、あるいは、巧みさに面白さを感じるアナグラム である。

入力と関連するアナグラム アナグラムが入力と 何らかの意味で関連する場合 [付録 (6)]、面白いと感 じることが多い。人間がアナグラムを作る場合、入力と関連するアナグラムを作ることは、かなり難し い。そのため、制作者のスキルの高さ (巧みさ)を評価するのだろう。

入カとアナグラムがひと続きの文となるその特殊な場合として、入力とアナグラムで、ひと続きの 文を構成できる場合 [付録 (7)] がある。

ダジャレ系アナグラム ダジャレ系アナグラム [付録 (8)] とは、元の語と音は似ているのに、意味的にはまったく関係ないアナグラムである。その ギャップに面白さを感じる。

入力とギャップがあるアナグラム 入力との意味的ギャップが面白いアナグラムもある [付録 (9)]。何だかよくわからないところが、逆に面白いのだ ろう。

## 4.3 面白さを感じる要因

以上、我々が面白いと感じるアナグラムを見てき た。これらを整理すると、我々が面白いと感じるア ナグラムは、おおよそ次のように総括できよう。

1. 具体的なイメージを想起しやすいアナグラム

2. 驚きや意外性があるアナグラム、想像力や好奇心を喚起するアナグラム

3. 入力と強く関連するアナグラム、入力との落差 がはげしいアナグラム

この総括からわかるように、面白さの要因はひと つではない。いくつかの要因が組み合わさると、面白さが際立ってくる。つまり、面白さを捉えるため には、複数の軸を考える必要がある。

今回得られたアナグラムの中で、最も面白いと判断したもののひとつは、次のアナグラムである。

他力本願 /たりきほんがん

$\rightarrow$ 本気が足りん/ほんきがたりん

【他力本願、本気が足りん】

このアナグラムは、アナグラムが文形式となり、入力とアナグラムがひと続きの意味の通る文とな る。さらに、「足りん」と話し言葉的になって臨場感を醸し出し、面白さを際立たせている。

## 5 おわりに

本稿では、入力に対するアナグラムの候補を順位付きで出力するシステムを示すとともに、システム が生成した候補から「面白いアナグラム」を収集・分類し、面白さを醸し出す要因を分析した。

本研究により「面白いアナグラムを作る」という 目標は、かなり達成できたと考える。生成した面白 いアナグラムの一部を付録に示したが、これ以外に も数百個の面白いアナグラムが得られている。次の 目標は、「面白いアナグラムを選ぶ」能力の実現で あるが、本稿で示した「面白いアナグラム」の整理 と分類は、その足掛かりになろう。

## 謝辞

本稿の内容は、名大 MIRAI GSC（http://www. iar.nagoya-u.ac.jp/miraigsc/) の第 2 ステージで 行った研究が元となっている。

## 参考文献

[1] 新村出（編）. 広辞苑第七版. 岩波書店, 2018.

[2] 鈴木啓輔, 佐藤理史, 駒谷和範. 文節データベー スを用いた日本語アナグラムの自動生成. 第 10 回情報科学技術フォーラム (FIT-2011), RF-009,第 2 分冊, pp. 97-102, 2011.

[3] 鈴木啓輔, 佐藤理史, 駒谷和範. アナグラム生成 における文節列の意味的適格性の判定法の検討. 言語処理学会第 18 回年次大会発表論文集, pp. 1308-1311, 2012.

[4] MeCab: Yet Another Part-of-Speech and Morphological Analyzer,（2021-12 閲覧）. https:// taku910.github.io/mecab/.

[5] mecab-skkserv,（2021-12 閲覧）. http://chasen. org/\%7Etaku/software/mecab-skkserv/.

[6] GSK2020-C「国語研日本語ウェブコーパ ス」n-gram データ・頻度表，（2021-12 閲覧）。 https://www.gsk.or.jp/catalog/gsk2020-c/.

[7] openai/gpt-2,（2021-12 閲覧）.https://github. com/openai/gpt-2.

[8] gpt2-japanese, (2021-12閲覧).https://github. com/tanreinama/gpt2-japanese.

## 付録 面白いアナグラムの具体例

## 文形式となるアナグラム

(1) a. 頭でっかち/あたまでっかち

$\rightarrow$ ちまたで悪化/ちまたであっか

b. 功労賞 /こうろうしょう

$\rightarrow$ 売ろうコショウ/うろうこしょう

c. 生殺与奪 / せいさつよだつ

$\rightarrow$ いつ 左折だよ/いつさせつだよ

d. 連尺商い/れんじゃくあきない

$\rightarrow$ あれ禁句じゃない/あれきんくじゃない

e. セラミックエンジン/せらみっくえんじん

$\rightarrow$ えっ 自民落選/えっじみんらくせん

意外性がある複合語となるアナグラム

(2) a. サウンドトラック/さうんどとらっく

$\rightarrow$ 皿うどん特区/さらうどんとっく

b. 緞帳役者/どんちょうやくしゃ

$\rightarrow$ やんちゃ 食堂/やんちゃしょくどう

c. 相対性理論 / そうたいせいりろん

$\rightarrow$ 総理 生態論/そうりせいたいろん

ナンセンス系アナグラム

(3) a. 一日千秋/いちじつせんしゅう

$\rightarrow$ セイウチ出陣/せいうちしゅつじん

b. 般若心経 / はんにゃしんぎょう

$\rightarrow$ 社運は人魚/しゃうんはにんぎょ

c. 蜀江の錦 / しょっこうのにしき

$\rightarrow$ キノコに失笑/きのこにしっしょう

d. 蝸牛角上 / かぎゅうかくじょう

$\rightarrow$ 食うか授業か/くうかじゅぎょうか

e. 反対称律 / はんたいしょうりつ

$\rightarrow$ 両親はタイツ/りょうしんはたいつ

## オノマトペを含むアナグラム

(4) a. 一宿一飯/いっしゅくいっぱん

$\rightarrow$ 行く一瞬 パッ/いくいっしゅんぱっ

b. 一昨昨週 / いっさくさくしゅう

$\rightarrow$ サクサク一周 /さくさくいっしゅう

c. 胸突き八丁/むなつきはっちょう

$\rightarrow$ 千夏は今日ムッ/ちなつはきょうむつ

d. ニッポンチャレンジ/にっぽんちゃれんじ

$\rightarrow$ レンジにちゃっぽん/れんじにちゃっぽん

e. 似た者夫婦 / にたものふうふ

$\rightarrow$ うふふのモニタ/うふふのもにた

評価や感情を表す形容詞を含むアナグラム

(5) a. 第一人称/だいいちにんしょう

$\rightarrow$ 超いい男子に/ちょういいだんしに

b. 骨粗鬆症 /こつそしょうしょう

$\rightarrow$ 少々そこつ/しょうしょうそこつ

c. ジャイアントパンダ/じゃいあんとぱんだ

$\rightarrow$ ジャパンだと安易/じゃぱんだとあんい

d. 風林火山/ふうりんかざん

$\rightarrow$ うんざり花粉/うんざりかふん

e. 乾坤一擲 / けんこんいってき

$\rightarrow$ インコって危険 /いんこってきけん

## 入力と関連するアナグラム

(6) a. 総合大学/そうごうだいがく $\rightarrow$ そういう語学だ/そういうごがくだ

(「大学」と「語学」)

b. 知識工学 / ちしきこうがく

$\rightarrow$ 講師が鬼畜/こうしがきちく

(「知識工学」と「講師」)

c. 最年少 /さいねんしょう

$\rightarrow$ うん最初ね/うんさいしょね

(「最年少」と「最初」)

d. 名題役者 / なだいやくしゃ

$\rightarrow$ 医者役だな/いしゃやくだな

(「役者」と「医者役」)

e. 方角違い/ほうがくちがい

$\rightarrow$ 北緯が違う/ほくいがちがう

(「方角」と「北緯」)

入力とアナグラムがひと続きの文となる

(7) a.一日中/いちにちじゅう

$\rightarrow$ 知事に注意/ちじにちゅうい

【一日中、知事に注意】

b. 百科事典 / ひゃっかじてん

$\rightarrow$ 光ってんじゃ/ひかってんじゃ

【百科事典、光ってんじゃ】

c. 相思相愛/そうしそうあい

$\rightarrow$ 試合早々/しあいそうそう

【試合早及、相思相愛】

d. 健康上 / けんこうじょう

$\rightarrow$ 好条件 /こうじょうけん

【健康上、好条件】

e. 器械体操 / きかいたいそう

$\rightarrow$ 競う大会 /きそうたいかい

【器械体操、競う大会】

ダジャレ系アナグラム

(8) a. 香典返し/こうでんがえし

$\rightarrow$ 公園で餓死/こうえんでがし

b. 亜成層圏 / あせいそうけん $\rightarrow$ 麻生 政権 / あそう せいけん

c. 山河襟帯/さんかきんたい

$\rightarrow$ サンタ解禁/さんたかいきん

d. 猿の腰掛/さるのこしかけ

$\rightarrow$ 酒のコルシカ/さけのこるしか

e. 交感神経/こうかんしんけい

$\rightarrow$ 更新関係/こうしんかんけい

入力とギャップがあるアナグラム

(9) a. 天地神明 / てんちしんめい

$\rightarrow$ メンチ進呈 /めんちしんてい

b. 全知全能 / ぜんちぜんのう

$\rightarrow$ 膳所の運賃 /ぜぜのうんちん

c. 栄枯盛衰 / えいこせいすい

$\rightarrow$ せこい 水泳/せこいすいえい

d. 猿の腰掛/さるのこしかけ

$\rightarrow$ 今朝 のコルシカ / けさのこるしか

e. 酒池肉林/しゅちにくりん

$\rightarrow$ チリに君主/ちりにくんしゅ


# 要約の生成過程を考慮した弱教師あり学習による 生成型要約のエラー検出

高塚雅人 1 小林 哲則 1 林 良彦 1
1 早稲田大学 理工学術院
takatsuka@pcl.cs.waseda.ac.jp

## 概要

近年，自動要約において，生成された要約に含ま れている事実関係のエラーの検出が大きな課題と なっている．既存研究では，人工的に要約のエラー を再現したデータセットを作成し，エラー検出モデ ルを学習する手法が提案されている。本研究では，文融合と文圧縮モデルを用いて，生成型要約モデル の文生成過程を模倣したデータセットの作成手法 と，フレーズレベルのエラー検出と文レベルの原文書の根拠箇所の同定をマルチタスクで学習する SumPhrase モデルを提案する. 複数のデータセット を用いた実験結果から，提案手法によるエラー検出 と根拠文同定の精度向上を確認した。

## 1 はじめに

近年, 生成型要約モデル $[1,2]$ の精度が向上し, より流暢で読みやすい文を生成することが可能に なったが，生成された要約に事実関係のエラーが含 まれており，原文書との整合性が取れていないとい う問題が指摘されている [3]. また，ROUGE[4] など の要約の評価指標として一般的に用いられている手法では，要約の事実関係の整合性を評価するのは困難であるため $[5,6]$, 要約の事実関係の整合性の自動評価手法が近年研究されている.

要約の事実関係の整合性の評価の既存手法とし て, 人工的に要約のエラーを再現したデータセット を作成する手法 $[7,8]$ が提案されている. このアプ ローチでは，人工的に生成したエラーと生成型要約 モデルが実際に生成するエラーの分布が似ているこ とが重要になるが，既存のエラーの生成手法では，生成型要約モデルが生成するエラーを再現できてい ないことが指摘されている [9]. そこで本研究では，人工的に生成するエラーを生成型要約モデルが生成 するエラーに近づけるために，生成型要約モデルの

図 1 提案手法の概要図

文生成過程を模倣した人工的なデータセット作成手法を提案する．また，整合性の評価のモデルを実際 に用いる上で，要約内のエラー箇所の提示と，原文書内の根拠箇所の提示は有益であると考えられるの で [7]，要約のフレーズレベルのエラー検出と原文書の文レベルの根拠箇所の同定をマルチタスク学習 として行うことを提案する。

提案手法の概要を図 1 亿示す. 要約のデータセッ トとして一般的に用いられている CNN-DailyMail データセット [10] では，参照要約のうち大部分が 単一の文の文圧縮と二文の文融合で生成されてい る [11].そこで本研究では，原文書から一文または 二文を選択し，一文の場合は文圧縮，二文の場合は 文融合モデルに入力して，要約の一部となりうる文 (以下，生成文と呼ぶ)を作成する。その後，生成文 に対する弱教師ラベリングを行うことで，人工的な データセットを構築することを提案する。また，弱教師ラベリングの際は，既存手法 [8] で提案された 生成文に対する依存関係アークレベルの事実関係 の整合性のラベリングを拡張し，フレーズレベルの ラベリングを行う。 さらに，原文書から選択した文 (文圧縮，文融合モデルへの入力文)を正解ラベルと して，原文書側の根拠箇所の学習を行う。

## 2 関連研究

要約の事実関係の整合性の評価の既存手法とし て，要約生成時のエラーを再現するように人工的に

エラーを生成し, 作成した弱教師ラベルを用いて モデルを学習する手法が提案されている. エラー の生成手法には, ルールベースのテキストの変換 $[7,12,13]$ や, 生成型モデルを用いた手法 $[8,9]$ など が提案されている. Kryscinski ら [7] は，エンティ ティの置換や文否定によってエラーを生成した。 Goyal ら [8] は, 生成型モデルの出力のうち, 事後確率が低い文 (beam search の下位の文) は, 事後確率が 高い文よりも品質が低く, エラーが出やすいと仮定 した. そのうえで，事後確率が低い文に新しく出現 した依存関係アークに対して，エラーであるとラべ リングを行った。

本研究では，生成型モデルを用いた手法 $[8,9]$ を 踏襲して人工的なデータを作成するが，パラフレー ズモデルのみを用いていた既存手法 [9] に加えて，文融合，文圧縮モデルを用いて，文を生成し，弱教師ラベリングを行う．また，文または依存関係アー ク単位で整合性の評価を行っていた既存研究とは異 なり，フレーズレベルの整合性の評価を提案する。要約の整合性の評価と原文書の根拠箇所のマルチタ スク学習は既存研究 [7] でも同様に行われていたが，単一のスパンしか学習できない既存手法とは異な り, 提案手法では, 文レベルのマルチラベル問題と して解くことで，原文書中の複数箇所を根拠として 学習することができる.

## 3 提案手法

本章では, 3.1 節で人工的に学習データを生成す る手法を説明し, 3.2 節でフレーズレベルの整合性 の学習と根拠文同定のマルチタスク学習を行うモデ ルを説明する。

## 3.1 人工的なデータセットの構築

提案手法では，フレーズレベルの要約の整合性の 弱教師ラベルと文レベルの原文書の根拠文ラベルを 作成する。提案手法では，まず，文選択において，生成型モデル (文融合, 文圧縮モデル)への入力とな る文を選択する. その後, 選択した文を生成型モデ ルに入力し, 生成文を作成する. この時, 生成型モ デルへの入力文を生成文の根拠箇所とみなし, 根拠文ラベルを作成する. また Goyal らの手法 [8] を用 いて，生成文に対し，依存関係アークレベルで事実関係の整合性の弱教師のラベルを付与する. 既存研究では，このラベルを用いて，アークレベルで整合性の評価を行っていたが，本研究では，より広い文脈を明示的に利用できるフレーズレベルの整合性 の評価を行うために，アークレベルのラベルからフ レーズレベルのラベルを構成し，学習することを提案する.

文選択

文選択では, $\mathrm{n}$ 文からなる原文書 $D=\left[s_{1}, s_{2}, \ldots, s_{n}\right]$ から生成型モデルへの入力文を選択する. 具体的に は，CNN/DM データセットを基にした文融合のデー タセット [14] と文圧縮のデータセット [15]を使用 した. 各データセットは参照要約文に対して最も ROUGE スコアが高い原文書の文を選択する (文圧縮 の場合は一文，文融合の場合は二文)ことで作成さ れている. また，原文書から選択した文を根拠文と して，原文書の各文に根拠文ラベルを振る。

## 依存関係アークレベルのラベリング

文選択において選択した文を各モデルに入力し，生成文を作成する (文融合モデルと文圧縮モデルの 詳しい設定は後述する). その後, 生成文に対して,依存関係アークレベルの整合性のラベリングを行 う。まず，CoreNLP[16] を用いて，生成文に対する 依存構造木を得る.

文融合モデルの生成文の依存関係アークに対して は， Goyal らの手法 [8] を用いて，ラベリングを行 う. Goyal らの手法では, 生成型モデルの出力のう ち, 事後確率が低い文 (beam search の下位の文) は,事後確率が高い文 (beam search の上位の文)よりも 事実関係のエラーが出やすく，そのような文に新し く出現した情報は，エラーである可能性が高いと仮定し，inconsistent ラベルを振る. 同様に，事後確率 が低い文のアークに対して，入力文や参照要約に同一のアークが存在する場合，そのアークは大力文に よって含意されるとして consistent ラベルを振る.

文圧縮では，要約の文法性と整合性を維持したま ま，文中の重要でない節を取り除くことが可能であ り，事実関係のエラーが発生しづらいと考えられ る. そこで本研究では, 文圧縮モデルの生成文の依存関係アークに対して，入力文や参照要約に同一 のアークが存在する場合，そのアークは入力文に よって含意されるとして consistent ラベルのみを作成した.

## フレーズレベルのラベリング

次に，作成したアークレベルの事実の整合性のラ ベルからフレーズレベルのラベルを作成する。ま ず，生成文の依存構造木に基づいて，ルールベース でフレーズを作成する．具体的には，各アークの依

図 2 提案モデルの概要図: 緑枠が根拠文同定，青枠がフ レーズ内の事実の整合性，赤枠がフレーズ間の事実の整合性を学習する部分である

存関係ラベルに基づいて，その係り元と係り先の単語をマージするかを決定し，フレーズを作成する。 その後，各アークの整合性のラベルに対して，アー クの係り元と係り先の単語が同じフレーズに存在す る場合はフレーズ内ラベルとして，別のフレーズに 存在する場合はフレーズ間ラベルとしてフレーズレ ベルの整合性のラベルを作成する．フレーズ内/間 に複数のアークレベルのラベルが存在する場合，一 つでも inconsistent ラベルがある場合はフレーズレ ベルを inconsistent ラベルとし, 全てのアークラベル が consistent ラベルの場合のみ，フレーズレベルを consistent ラベルとした.

追加データ

追加のデータとして，既存研究 [9] で作成された パラフレーズモデルを利用したデータを用いた. 本研究では，他のデータと同様に，アークレベルの ラベルをフレーズレベルのラベルに変換して利用 した. また, consistent ラベルのフレーズの表現を 増強するため, 参照要約文の各フレーズに対して, consistent ラベルを振ったデータを追加した.

## 3.2 提案モデル (SumPhrase)

図 2 に提案する事実関係の整合性の評価モデル (SumPhrase) を示す. モデルは, 原文書 $D$ と生成文 $h$ を入力とし，フレーズレベルの事実関係の整合性 のラベル $y^{e}$ と文レベルの根拠文ラベル $y^{s}$ を学習 する. まず，原文書と生成文の間に特殊トークン [CLS] で挟んで結合する．結合した文章を事前学習済みの encoder に入力し，文脈を考慮した各トーク ンのベクトルと生成文の表現を表す [CLS]トークン
の出力を得る. その後, 各フレーズの表現と原文書 の各文の表現を span attention[17]を用いて計算する.計算したフレーズの表現 $h^{p}$ を用いて，フレーズ内 とフレーズ間の事実の整合性の確率を計算する．フ レーズ内の場合は，各フレーズの表現 $h_{i}^{p}$ をそのま ま全結合層に通して，フレーズ内にエラーがある確率 $p\left(y_{i}^{e} \mid p_{i}\right)$ を計算する.

$
p\left(y_{i}^{e} \mid p_{i}\right)=\operatorname{softmax}\left(\mathrm{FFN}_{\text {intra }}\left(h_{i}^{p}\right)\right)
$

フレーズ間の場合は，二つのフレーズの表現 $h_{i}^{p}, h_{j}^{p}$ を結合して，全結合層に入力し，フレーズ間にエ ラーがある確率 $p\left(y_{i j}^{e} \mid p_{i}, p_{j}\right)$ を計算する.

$
p\left(y_{i j}^{e} \mid p_{i}, p_{j}\right)=\operatorname{softmax}\left(\mathrm{FFN}_{\text {inter }}\left(\left[h_{i}^{p} ; h_{j}^{p}\right]\right)\right)
$

根拠文の同定は, 原文書の各文の表現 $h_{i}^{s}$ と [CLS] トークンの表現 $h^{c l s}$ と結合して, 各文が根拠文であ る確率 $p\left(y_{i}^{s} \mid s_{i}\right)$ を計算する.

$
p\left(y_{i}^{s} \mid s_{i}\right)=\operatorname{softmax}\left(\operatorname{FFN}_{s}\left(\left[h_{i}^{s} ; h^{c l s}\right]\right)\right)
$

最終的に各出力から binary cross-entropy loss を計算し，モデルの目的関数とする.

$
\text { Loss }=\operatorname{Loss}_{i n t r a}+\operatorname{Loss}_{i n t e r}+\alpha * \operatorname{Loss}_{s}
$

Loss $_{\text {intra }}$ がフレーズ内の事実の整合性の目的関数, Loss $_{i n t e r}$ がフレーズ間の事実の整合性の目的関数, $\operatorname{Loss}_{s}$ が根拠文同定の目的関数である。 $\alpha$ は，根拠文同定タスクの目的関数の重みを決定するハイパー パラメータである.

## 4 実験

## 4.1 実験設定

要約のベンチマークのデータセットとして用い られている CNN/DailyMail データセット [10]を用 いて実験を行った。 3.1 節の手法を用いて人工的な データセットを作成し，モデルを学習した. 文融合 モデルは，Trans-LINKING[18] を，文圧縮モデルは， CUPS[15] を用いた.それぞれ筆者らが公開してい る事前学習済みモデルを用いた。作成したデータ セットの統計情報を AppendixA に示す.

テストデータには，人手でアノテーションされ ている K2020[7] と Reranking Summary task[5] を用い た. K2020 のテストデータには，ポジティブサンプ ルが 441 個，ネガティブサンプルが 62 個含まれて いる. Reranking Summary task のデータセットには,原文書と 2 つの要約文のペアが 373 ペア含まれてい
表 1 要約の整合性評価の実験結果

る. 2 つ要約文は似たような表現でありながら、一方はポジティブサンプルで，もう一方はネガティ ブサンプルとなっている．評価指標として，K2020 には balanced accuracy (BA) と macro F1 を，Reranking Summary task にはモデルがポジティブサンプルを正 しく選択できた割合を用いた。

提案モデルである SumPhrase の encoder には，事前学習済みの Electra-base[19]を用いた.

## ベースライン

人工的に弱教師ラベルを作成し, 要約の事実関係 の整合性の評価モデルを学習する手法を比較対象 として用いた. FactCC[7], SumFC[12], FactAdv[20] では，ルールベースのテキスト変換でネガティブサ ンプルを作成し, 文レベルのラベルで学習を行う。 Electra-DAE[9] では, 本研究でも追加データとして 用いた，パラフレーズモデルを利用したデータセッ トで学習を行う. Electra-DAE は, 文レベルではな く，依存関係アークレベルのラベルで学習を行う。

## 4.2 実験結果

実験結果を表 1 に示す. 表中の Electra-DAE (ours) は，提案したデータセットにおいて，アークレベル のラベルで学習した場合の結果を示す. 表 1 から，既存の人工的なデータセットで学習した手法と比較 して，提案したデータセットで学習したモデルは， アークレベルとフレーズレベルの両方で精度が向上 しており，提案手法の有効性が確認された. 文融合 や文圧縮時のデータを追加することでより多様な要約のエラーを学習することが可能になったと考えら れる。また，アークレベルからフレーズレベルにラ ベルを拡張することで, Reranking summary task 以外 の精度が向上した.このことから，明示的に広い文脈を用いることができるフレーズレベルの整合性の 判定の有効性が確認された. さらに，根拠文同定の
タスクを追加することで，どちらのデータセットで も精度向上が見られた。

## 4.3 根拠文同定の精度

補助タスクとして追加した根拠文同定タスクの 精度を確認するために, Reranking Summary task の データを用いた。ベースラインとして，tf-idxを用 いて根拠文を判定するSumFC[12] と根拠スパンを予測する FactCCX[7]を用いた. 評価指標には balanced accuracy (BA) と macro F1を用いた。実験結果を表 2 に示す.

表 2 根拠同定の実験結果

表 2 から，提案モデルがベースラインよりも高い 精度で根拠文を同定できていることがわかる。ま た，根拠文の同定では提案モデルとベースラインの 差は小さいが (BA で SumFC と 2.1\%の差), reranking の精度の差が非常に大きくなっている (SumFC と 7.3\%の差).このことから, ベースラインでは, 要約文に対応する原文書の文を正しく推定できているの にもかかわらず，要約の事実関係の整合性の評価が 正しくできていないことがわかる.

## 5 まとめ

要約の事実関係の整合性の評価のための人工的な データセットの構築手法と，フレーズレベルの整合性の学習と原文書の根拠文同定のマルチタスク学習 を提案した. 文融合，文圧縮モデルを用いて人工的 に生成したフレーズレベルのラベルを用いること で，弱教師ラベルを用いた既存手法を上回る精度を 達成した. また，提案手法である文レベルの根拠箇所の同定によって，他の既存手法よりも高い精度で 根拠箇所を予測することが可能となった. 今後の課題として，今回提案した人工的なエラーの作成手法 を，対照学習を用いた要約生成手法 [21] に適応し， より原文書に忠実な要約生成を行うことなどが考え られる。

## 参考文献

[1] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy,

Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th ACL, 2020.

[2] Jingqing Zhang, Yao Zhao, Mohammad Saleh, and Peter Liu. Pegasus: Pre-training with extracted gap-sentences for abstractive summarization. In International Conference on Machine Learning. PMLR, 2020.

[3] Ziqiang Cao, Furu Wei, Wenjie Li, and Sujian Li. Faithful to the original: Fact aware neural abstractive summarization. In Proceedings of the AAAI, 2018.

[4] Chin-Yew Lin. Rouge: A package for auto- matic evaluation of summaries. In Text summarization branches out: ACL workshop, 2004.

[5] Tobias Falke, Leonardo F. R. Ribeiro, Prasetya Ajie Utama, Ido Dagan, and Iryna Gurevych. Ranking generated summaries by correctness: An interesting but challenging application for natural language inference. In Proceedings of the 57th ACL, July 2019.

[6] Wojciech Kryscinski, Nitish Shirish Keskar, Bryan McCann, Caiming Xiong, and Richard Socher. Neural text summarization: A critical evaluation. In Proceedings of the EMNLP-IJCNLP, 2019.

[7] Wojciech Kryscinski, Bryan McCann, Caiming Xiong, and Richard Socher. Evaluating the factual consistency of abstractive text summarization. In Proceedings of the EMNLP, 2020.

[8] Tanya Goyal and Greg Durrett. Evaluating factuality in generation with dependency-level entailment. In Findings of the EMNLP, 2020.

[9] Tanya Goyal and Greg Durrett. Annotating and modeling fine-grained factuality in summarization. In Proceedings of the NAACL, 2021.

[10] Ramesh Nallapati, Bowen Zhou, Cicero dos Santos, Çağlar Gulçehre, and Bing Xiang. Abstractive text summarization using sequence-to-sequence RNNs and beyond. In Proceedings of The 20th SIGNLL, 2016.

[11] Logan Lebanoff, Kaiqiang Song, Franck Dernoncourt, Doo Soon Kim, Seokhwan Kim, Walter Chang, and Fei Liu. Scoring sentence singletons and pairs for abstractive summarization. In Proceedings of the 57th ACL, 2019.

[12] Sen Zhang, Jianwei Niu, and Chuyuan Wei. Fine-grained factual consistency assessment for abstractive summarization models. In Proceedings of the EMNLP, 2021.

[13] Meng Cao, Yue Dong, Jiapeng Wu, and Jackie Chi Kit Cheung. Factual error correction for abstractive summarization models. In Proceedings of the EMNLP, 2020.

[14] Logan Lebanoff, John Muchovej, Franck Dernoncourt, Doo Soon Kim, Lidan Wang, Walter Chang, and Fei Liu. Understanding points of correspondence between sentences for abstractive summarization. In Proceedings of the ACL: Student Research Workshop, 2020.

[15] Shrey Desai, Jiacheng Xu, and Greg Durrett. Compressive summarization with plausibility and salience modeling. In Proceedings of the EMNLP, 2020.

[16] Christopher Manning, Mihai Surdeanu, John Bauer, Jenny Finkel, Steven Bethard, and David McClosky. The Stanford CoreNLP natural language processing toolkit. In Proceedings of 52nd ACL: System Demonstrations, 2014.
[17] Kenton Lee, Luheng He, Mike Lewis, and Luke Zettlemoyer. End-to-end neural coreference resolution. In Proceedings of the EMNLP, 2017.

[18] Logan Lebanoff, Franck Dernoncourt, Doo Soon Kim, Lidan Wang, Walter Chang, and Fei Liu. Learning to fuse sentences with transformers for summarization. In Proceedings of the EMNLP, 2020.

[19] Kevin Clark, Minh-Thang Luong, Quoc V. Le, and Christopher D. Manning. ELECTRA: Pre-training text encoders as discriminators rather than generators. In ICLR, 2020.

[20] Zhiyuan Zeng, Jiaze Chen, Weiran Xu, and Lei Li. Gradient-based adversarial factual consistency evaluation for abstractive summarization. In Proceedings of the EMNLP, 2021.

[21] Shuyang Cao and Lu Wang. CLIFF: Contrastive learning for improving faithfulness and factuality in abstractive summarization. In Proceedings of the EMNLP, 2021.

## A データセットの統計情報

作成したデータセットの統計情報を表 3 に示す.表中の fusion は文融合, comp は文圧縮, para はパ ラフレーズ, ref は参照要約のデータセットを示す. このデータセットにはフレーズレベルの consistent ラベルが 2,021,592 個，inconsistent ラベルが 191,553 個含まれている. また根拠文同定のラベルは根拠文 ラベルが 186,028 個，それ以外が $3,389,275$ 個含まれ ている.

表 3 作成したデータセット

## B 詳細分析

## 各データセットの貢献度の検証

作成した各データセットがどの程度精度に貢献し ているかを確認するために，文融合のデータセット をベースラインとして, 表 3 の各データセットを追加していき，精度の変化を調べた. モデルには，提案モデルである SumPhrase を用いて，マルチタスク 学習は行わなかった。実駼結果を表 4 に示す.

表 4 から，文融合のみのデータを用いた場合で も，K2020 の baranced accuracy $と$ reranking summary task において, 既存の人工的なデータセットで学習 した手法を上回る精度を達成している。また，文圧縮，パラフレーズ，参照要約のデータを追加するこ とで，参照要約を追加したときの reranking summary task 以外の全ての評価指標が向上しており，提案手法の有効性が確認された. さらに，参照要約のデー タを追加した際に，K2020における balanced accuracy と $\mathrm{F}$ 値が大きく向上した. このことから， consistent ラベルのフレーズの表現を拡充することも重要であ ることが分かる.

表 4 各データセットの精度への影響

## span attention の影響

span attention の影響を調査するために，span attentionの代わりに各トークンのベクトルの平均值をフレーズレベルの表現として用いた場合の結果を示す. 実験結果を表 5 に示す. 表 5 から，span attentionを用いることによって，フレーズ内の意味的に重要な語を重視することができるように なり，各トークンの平均を用いるよりも， balanced accuracy, $\mathrm{F}$ 值共に向上した.

表 5 span attention の影響


# 言語モデルと解析戦略の観点からの修辞構造解析器の比較

小林尚輝 $\dagger$ 平尾努 $\S$ 上垣外英剛 $\dagger$ 奥村学 $\dagger$ 永田昌明 $\S$
†東京工業大学 §NTTコミュニケーション科学基礎研究所
\{kobayasi, kamigaito, oku\}@lr.pi.titech.ac.jp
\{tsutomu.hirao.kp, masaaki.nagata.et\}@hco.ntt.co.jp

## 概要

修辞構造解析の研究分野では，ニューラルモデル の発展により多くの手法が提案され，ベンチマーク データでの最高スコアが日々更新されている. しか し，提案された手法は解析戦略，EDU 系列のベクト ル表現のための事前学習済み言語モデル，探索アル ゴリズムなどが異なっており, どの要素が良い結果 をもたらしたのかが分かりにくい。そこで，本稿で は技術の進歩を明確にできるよう，既存の上向き，下向きの解析戦略と最新の事前学習済み言語モデル を組み合わせることで強いべースライン解析器を構築する。この解析器を RST-DT で評価した結果, 解析戦略には大きな差がなく，トークンではなくスパ ンのマスキングを採用した事前学習済み言語モデル が有効であることが分かった. 特に，DeBERTaを用 いると世界最高性能を達成した. 今後, このべース ラインを基準とすることで新しい技術の有効性をよ り明確にできると考える。

## 1 はじめに

修辞構造理論 [1] は，文書の背後にある構造を， EDU と呼ばれる節相当のユニットを終端ノード，単一もしくは連続した EDU からなるスパンを非終端 ノードとする構成素木として表現する. 非終端ノー ドには核 (Nucleus) または衛星 (Satellite) の核性ラベ ルが与えられ，同じ親を持つ兄弟の非終端ノード間 のエッジにはその関係を表す修辞ラベルが与えら れる.

修辞構造解析では，上向き，下向きの解析戦略の

還元法を用いた手法 [2,3], 下向き解析にはスパン 分割法を用いた手法 $[4,5]$ やエンコーダデコーダモ デルを用いた手法 [6] がある. これら 2 つの解析戦略において，近年ニューラルネットワークが活用さ れ，さらなる性能向上のため，ビーム探索 [7]，動的
オラクルを用いた探索 [5]，モデルアンサンブル [4]，敵対学習 [6] など様々な技術が導入されている.

さらに，スパンのベクトル表現を得るために事前学習済み言語モデルが利用されることからその 性能向上が修辞構造解析の性能改善にもつながる. たとえば，XLNet[8] を用いた下向き解析法 [6] と SpanBERT[9] を用いた上向き解析法 [3] は従来法よ りも大幅に性能が向上している。

このようにニューラルモデルを用いた修辞構造解析手法の性能は大きく向上しているものの，各手法 が採用した解析戦略，事前学習済み言語モデル，探索アルゴリズムなどが異なるため，どの要素が解析器の性能向上にどの程度寄与したかが分かりにく く，技術の進歩を正しく評価することが難しい。

本稿は，既存の上向き，下向き解析戦略に対し， 5 種の事前学習済み言語モデル1)を組み合わせるだ けでどの程度の性能が得られるかを検証し，技術の 進歩を明らかにするためのベースラインを構築す ることを目的とする．RST-DT を用いた実験結果か ら，(1) 2 つの解析戦略の間に大きな差はないこと, (2) トークンではなくスパンのマスキングを利用し た目的関数で学習された事前学習済み言語モデル が有効であること，(3) DeBERTa を利用すると現在 の世界最高性能を達成すること，が分かった. さら に，チェックポイント重み平均の導入や事前学習済 み言語モデルのパラメタを増やすことでも性能の改善が得られることが分かった.

## 2 解析手法

本稿では，上向き解析戦略を用いた解析器として シフト還元法を用いた手法 [3]，下向き解析戦略を 用いた解析器として再帰的なスパン分割による手法 [4]を採用した. その理由はどちらもシンプルな方法であり，かつ実装が公開されているからである.

双方とも単一もしくは連続した EDU からなるス パンをべクトルにより表現する必要がある．以下， 2.1 節でスパンのベクトル表現の獲得方法について 説明する。次に 2.2 および 2.3 節においてそれぞれ の解析手法を説明する。

## 2.1 スパンのベクトル表現の獲得方法

$N$ 個の EDU からなる文書が与えられた時，文書 をトークン系列とみなし，事前学習済み言語モデル を通すことでトークンのベクトル表現 $\left.\{\boldsymbol{w}_{1}, \ldots, \boldsymbol{w}_{M}\right.\}$ を得る。ここで $M$ は文書に含まれる全トークン数 とする．M が 512 を超える場合には，スライド窓を 利用してすべてのトークンのベクトル表現を得る.

あるスパンが $i$ 番目から $j$ 番目の EDUを内包する 時（ただし， $1 \leqq i<j \leqq N ） ＼mathrm{~ こ の ス ハ ゚ ン を 表 現 す る ~}$ ベクトル表現 $\boldsymbol{u}_{i: j}$ はスパンの両端のトークンのベク トル表現から $u_{i: j}=\left(w_{\mathrm{b}(i)}+w_{\mathrm{e}(j)}\right) / 2$ として求める. ここで $\mathrm{b}(i)$ および $\mathrm{e}(j)$ はそれぞれ引数で指定され た EDU の先頭および末尾のトークンのインデック スを返す関数である。

## 2.2 上向き解析法

上向き解析器として Guz ら [3] のシフト還元法を 用いた解析器を採用する．スタック $\mathrm{S}$ に解析済みの 部分木を格納，キューQにこれから解析対象となる EDU を格納し，以下のシフト，還元操作を適用する ことで，左から右に向かって EDU 系列を読み込み ながら上向きに修辞構造木を構築する.

シフトキュー $\mathrm{Q}$ の先頭の EDU を取り出し， ス タックに積む，

還元 スタック $\mathrm{S}$ の上 2 つの部分木を取り出しそれ らを併合することで 1 つの木を構築し，再度ス タック $\mathrm{S}$ に積む。

なお，還元操作を行った後，2つの部分木に対し核性ラベル，修辞関係ラベルを，異なる分類器を用い て推定する。つまり，木の構築，核性ラベル推定，修辞関係ラベル推定は独立に行う2) 。核性ラベルは N-S，S-N，N-N の 3 種のいずれか，修辞関係ラベル は Elaboration，Listなど 18 種のいずれかである. そ れぞれの推定は以下の順伝播型ニューラルネット ワーク $\mathrm{FFN}_{\mathrm{act}}, \mathrm{FFN}_{\mathrm{nuc}}, \mathrm{FFN}_{\mathrm{rel}}$ を用いて行う.

$
s *=\mathrm{FFN}^{2}\left(\operatorname{Concat}\left(\mathbf{u}_{\mathrm{s}_{0}}, \mathbf{u}_{\mathrm{s}_{1}}, \mathbf{u}_{\mathrm{q}_{0}}, \mathbf{u}_{\mathrm{org}}\right)\right)
$

2） Guz ら [3], Wang ら [2] は，木の構築と核性ラベル推定は同時に行ったほうが良いと報告しているが，我々の実験では独立に行ったほうが性能が良かった。
ここで， $\mathbf{u}_{\mathrm{s}_{0}}, \mathbf{u}_{\mathrm{s}_{1}}$ はそれぞれ $\mathrm{S}$ の上 2 つの部分木が 支配するスパンのベクトル表現， $\mathbf{u}_{\mathrm{q}_{0}}$ は $\mathrm{Q}$ の先頭の EDU のベクトル表現， $\mathbf{u}_{\text {org }}$ は， $\mathrm{S}$ の上 2 つのスパン が同じ段落/文に存在するか，隣接する段落/文に存在するか， $\mathrm{S}$ の一番上のスパンと $\mathrm{Q}$ の先頭の $\mathrm{EDU}$ が同じ段落/文に存在するか，それぞれのスパンが文書/段落/文の先頭/木尾であるかを 2 值ベクトルとし て表現したものである.

## 2.3 下向き解析法

下向き解析器として Kobayashi ら [4] の再帰的ス パン分割法を用いた解析器を採用する.この解析器は，文書全体をあらわすスパンから始め貪欲に 2 分割していき，分割したスパン間のラベルを推定 することで下向きに修辞構造木を構築する。なお， Kobayashi らの手法は文書-段落，段落-文，文-EDU という 3 つの階層で独立に解析を行った後それらを 統合することで木を構築するが，上向き解析器と近 い状態で比較するため, 本稿では，階層化は行わず 上向き解析器と同様にスパンがどの階層に存在する かを 2 值べクトルとして表現して利用する. $i$ 番目 から $j$ 番目の EDU からなるスパンを $k$ 番目の EDU で分割するスコアは以下の式で定義される.

$
\begin{aligned}
s_{\text {split }}(i, j, k)= & \mathbf{h}_{i: k} \mathbf{W} \mathbf{h}_{k+1: j}+\mathbf{v}_{\text {left }} \mathbf{h}_{i: k}+\mathbf{v}_{\text {right }} \mathbf{h}_{k+1: j} \\
& +\mathbf{v}_{\text {org }} \mathbf{h}_{\text {org }}
\end{aligned}
$

ここで， $\mathbf{W}$ は重み行列， $\mathbf{v}_{\text {left }}, \mathbf{v}_{\text {right }} \mathbf{v}_{\text {org }}$ は重みベクト ル， $\mathbf{h}_{i: k}, \mathbf{h}_{k+1: j}, \mathbf{h}_{\text {org }}$ は以下の式で定義される.

$
\begin{aligned}
\mathbf{h}_{i: k} & =\mathrm{FFN}_{\text {left }}\left(\mathbf{u}_{i: k}\right), \\
\mathbf{h}_{k+1: j} & =\mathrm{FFN}_{\text {right }}\left(\mathbf{u}_{k+1: j}\right), \\
\mathbf{h}_{\text {org }} & =\mathrm{FFN}_{\text {org }}\left(\mathbf{u}_{\text {org }}\right),
\end{aligned}
$

ここで, $\mathbf{h}_{\mathrm{org}}$ は上向き解析と同様, 左右のスパンが 同じ段落/文に存在するか, 文/段落の開始か終了な どを表す 2 値ベクトルである. そして，以下の式で スパンの分割を決定する。

$
\hat{k}=\underset{i \leq k<j}{\operatorname{argmax}} s_{\text {split }}(i, j, k)
$

分割と同様に，スパンのラベルを推定するスコア は以下の式で定義される。

$
\begin{aligned}
s_{\text {label }}(i, j, \hat{k}, \ell)= & \mathbf{h}_{i: \hat{k}} \mathbf{W}^{\ell} \mathbf{h}_{\hat{k}+1: j}+\mathbf{v}_{\text {left }}^{\ell} \mathbf{h}_{i: \hat{k}}+\mathbf{v}_{\text {right }}^{\ell} \mathbf{h}_{\hat{k}+1: j} \\
& +\mathbf{v}_{\text {org }}^{\ell} \mathbf{h}_{\text {org }},
\end{aligned}
$

ここで， $\mathbf{W}^{\ell}$ は特定のラベル $\ell$ に対応する重み行列， $\mathbf{v}_{\text {left }}^{\ell}, \mathbf{v}_{\text {right }}^{\ell}, \mathbf{v}_{\text {org }}^{\ell}$ はそれぞれ $\ell$ 対応する重みべクト

ルである. そして，以下の式を最大にするラベル $\hat{\ell}$ を， $\hat{k}$ で分割した 2 つのスパンに対するラベルと する．上向き解析器と同様，核性推定時は， N-S, S-N，N-N のいずれか，修辞関係推定時には 18 種の ラベルのいずれかを与える.

$
\hat{\ell}=\underset{\ell \in \mathscr{L}}{\operatorname{argmax}} s_{\text {label }}(i, j, \hat{k}, \ell) .
$

## 3 事前学習済み言語モデル

本稿ではスパンのベクトル表現を得るために，以下に説明するトランスフォーマに基づく 5 種の事前学習済み言語モデルを試し，性能を比較する。

BERT[10] はランダムにマスクされたトークンを 前後の文脈から推定する Masked Language Model (MLM) と 2 つの文が連続しているかどうかを推定 する Next Sentence Prediction (NSP) の 2 つの目的関数 により学習される双方向型の言語モデルであり，学習には13GB のテキストが用いられる。

RoBERTa[11] は BERT を MLM のみで，より大きな テキスト (160GB)を用いて長時間学習することでさ らに性能を向上させた言語モデルである.

XLNet[8] は単方向言語モデルであるが，attention の マスクを改善し擬似的に語順を入れ替え，双方向言語モデルと同様に前後の文脈を考慮できる Permuted Language Model (PLM) を目的関数としている.

SpanBERT[9] は BERT と同じデータセットで学習 されるが，MLM のみを学習の目的関数とし，マス クする単位を個々のトークンではなく連続するトー クン (スパン)へと変更している.

DeBERTa[12] は各トークンの埋め込みとその位置情報の埋め込みの関係をより強く学習するために Distangled attention を導入した。さらに，SpanBERT と同様，マスクの単位は個々のトークンではなく連続したトークンである. DeBERTa の学習に用いる コーパスは RoBERTa よりも小さく 78GB であるが 様々なベンチマークで RoBERTa を上回る性能を達成している.

## 4 実験設定

本稿では RST-DT[13] をべンチマークとして実験 を行った． RST-DT は Wall Street Journal から収集さ れており，学習データ 347 文書，テストデータ 38 文書から構成される。開発データは Heilman ら [14] に 従い学習データのうちの 40 文書とした。過去の研究にならい修辞構造ラベルには 18 種類からなる大分類を用い，修辞構造木は二分木へと事前に変換し て解析器の学習，評価を行う.

本稿では正解の EDU 分割を用いるため，先行研究 [15] に従い Standard Parseval を用いて評価する.木の構造のみを評価する Span，核性または修辞関係 ラベルも含めて評価する Nuc. および Rel., 双方のラ ベルも含めて評価する Full の計 4 通りの評価尺度に より評価する。

上向き，下向きの両解析法に使用した FFN は，活性化関数に GeLU を用い，隠れ状態の次元数が 512 次元の 2 層の MLP とした. 過学習を抑制するため に，FFN の dropout 率を 0.2，勾配クリッピングの値 を 1.0，L2 正則化の係数を 0.01 とした. ミニバッチ は文書ではなくスパン（上向き解析であればシフト または還元の操作，下向き解析であればあるスパン の分割）を単位に構成し，サイズは 5 とした。パラ メータは AdamW[16] で最適化し，言語モデルの学習率は 1e-5，それ以外に関しては 1e-5/2e-5 から開発 データを用いて選択した。また，学習率スケジュー ラを用いて，1 エポック目は学習率を 0 から増加さ せ，それ以降は学習率を 0 へと線形に減少させた。最大のエポック数は 20 としたが，エポック毎の開発データによる Full の評価値が最高値を 5 回連続で 下回った場合は早期に学習を打ち切った。

比較対象としては，RST-DT における最高性能を 達成した Zhang らの方法 [6] を採用する。この手法 は，エンコーダ・デコーダモデルに基づく下向き解析戦略，XLNetを利用したスパンのベクトル表現，敵対学習を用いたパラメタ最適化法を利用してお り，本稿で提案する手法よりもパラメタが多く複雑 な手法である。

## 5 実験結果と考察

実験結果を表 1 に示す。提案法を解析戦略で比較 すると Span の場合，下向きが上向きよりも良い傾向にあるが，その差はわずかである. Rel の場合，上向きが下向きよりも良い傾向にあり, Full で比較 するとやや上向きが良いがほぼ同等といって良い性能である.

事前学習済み言語モデルによる性能差を比較する と双方の解析戦略とも BERT が最も悪く，DeBERTa が最も良い。特に BERTを用いた場合，他の事前学習済み言語モデルを利用したときより 5 ポイン ト以上の性能劣化がみられる. Koto ら [5] も BERT

表 1 解析戦略および言語モデルの比較. 各指標で最も 高い数値を太字は示す. スコアは 3 回の試行の平均値で ある。

を利用すると GloVe[17] よりも性能が劣化するこ とを報告しており，この結果と合致する。 BERT は 13G のデータで学習されており, 今回用いた事前学習済み言語モデルのなかでは SpanBERT とともに 最も訓練データのサイズが小さい。事前学習済み 言語モデルの訓練に使ったデータのサイズと解析性能が相関するのであれば RoBERTa が最も良いは ずである.しかし，それよりも訓練データサイズ の小さいXLNet，DeBERTaの方が成績が良いこと， BERT と同じ学習データを用いているにもかかわら ず SpanBERT が RoBERTa よりもやや劣る程度の性能を達成していることからデータサイズだけでな く, 事前学習済み言語モデルの学習時の目的関数も 重要であることが分かる．XLNet は PLM という語順を意識した特殊な目的関数を採用しておりこれが 有効であったと考える。一方，SpanBEERT がデー タサイズが小さいにもかかわらず RoBERTa に匹敵 する性能を達成したこと，DeBERTaが最も良い性能 を達成したことを勘案すると MLM において，トー クンではなく連続したトークン，スパンをマスキン グすることが有効であると考える.

Zhang らの手法と比較すると，BERTを除くほぼ すべての手法が上回っており，DeBERTaを用いると Zhang らの手法よりも 2 ポイント近いゲインが得ら れている。つまり, 事前学習済み言語モデルを適切 に選択すれば現存する単純な手法であっても世界最高性能を達成できることを示している. Zhang らの 手法は我々の手法よりも高度な技術を採用している が，なぜこの程度の性能しかでていないのかは不明 である.

我々の手法をベースラインとして，我々の手法の

表 2 チェックポイント重み平均 (CWA) とパラメタを増 やした事前学習済み言語モデル (large) を導入した場合の 評価結果. スコアは 3 回の試行の平均值である.

上にパラメタ最適化の新しい技術，新しい探索アル ゴリズムなどを導入すると，高い解析性能を保ちな がら新しい技術の貢献を評価できるようになると考 える。

さらに，簡単な技術を用いてさらなる性能向上が 可能かを，チェックポイント重み平均 $[18,19]$ の導入，事前学習済み言語モデルのパラメタを増加させ ることで検証した．DeBERTaを利用した上向き，下向き解析器に双方の技術を組み込んだ結果を表 2 に 示す。それぞれの技術を導入すると Full で約 1 ポ イント程度の性能向上が得られるが，双方を同時に 導入すると 2.5 ポイント以上もの性能向上が得られ る. 最終的には上向きで Zhang らの手法より 4 ポイ ント，下向きで 4.5 ポイントの大きなゲインが得ら れている。つまり，我々の方法にはまだまだ改善の 余地が残っており，新しい技術でさらなる性能向上 が見达めることを示している.

## 6 まとめ

本稿では，技術の進歩を明らかにするためのべー スライン修辞構造解析器を構築するため, 既存の 上向き，下向き解析戦略に対し，5 種の事前学習済 み言語モデルを組み合わせることでどの程度の性能が得られるかを検証した。その結果，解析戦略 とは関係なく，RoBERTa，XLNet，DeBERTaを用い ると既存の解析器を上回る性能が得られた. 特に, SpanBERT が訓練データ量が少ないにも関わらず良 い性能を達成したこと，DeBERTaが最も良い成績で あったことから，MLM においてトークンではなく スパンのマスキングが有効であることが分かった. チェックポイント重み平均の導入や事前学習済み言語モデルのパラメタを増やすことでさらに性能が向上することも分かった.

## 謝辞

本研究の一部は JSPS 科研費 JP21H03505 の助成を

受けたものです.

## 参考文献

[1] W.C. Mann and S.A Thompson. Rhetorical structure theory: A theory of text organization. Technical Report ISI/RS-87-190, USC/ISI, 1987.

[2] Yizhong Wang, Sujian Li, and Houfeng Wang. A twostage parsing method for text-level discourse analysis. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 184-188, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[3] Grigorii Guz and Giuseppe Carenini. Coreference for discourse parsing: A neural approach. In Proceedings of the First Workshop on Computational Approaches to Discourse, pp. 160-167, Online, November 2020. Association for Computational Linguistics.

[4] Naoki Kobayashi, Tsutomu Hirao, Hidetaka Kamigaito, Manabu Okumura, and Masaaki Nagata. Top-down rst parsing utilizing granularity levels in documents. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 8099-8106, Apr. 2020.

[5] Fajri Koto, Jey Han Lau, and Timothy Baldwin. Top-down discourse parsing via sequence labelling. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 715-726, Online, April 2021. Association for Computational Linguistics.

[6] Longyin Zhang, Fang Kong, and Guodong Zhou. Adversarial learning for discourse rhetorical structure parsing. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 3946-3957, Online, August 2021. Association for Computational Linguistics.

[7] Ke Shi, Zhengyuan Liu, and Nancy F. Chen. An endto-end document-level neural discourse parser exploiting multi-granularity representations. 2020.

[8] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R Salakhutdinov, and Quoc V Le. Xlnet: Generalized autoregressive pretraining for language understanding. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'AlchéBuc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[9] Mandar Joshi, Danqi Chen, Yinhan Liu, Daniel S. Weld, Luke Zettlemoyer, and Omer Levy. SpanBERT: Improving pre-training by representing and predicting spans. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 64-77, 2020.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the
Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[11] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. ArXiv, Vol. abs/1907.11692, , 2019.

[12] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. Deberta: Decoding-enhanced bert with disentangled attention. In International Conference on Learning Representations, 2021.

[13] Mary Ellen Okurowski Lynn Carlson, Daniel Marcu. RST Discourse Treebank. Philadelphia: Linguistic Data Consortium, 2002.

[14] Michael Heilman and Kenji Sagae. Fast rhetorical structure theory discourse parsing. CoRR, Vol. abs/1505.02425, , 2015.

[15] Mathieu Morey, Philippe Muller, and Nicholas Asher. How much progress have we made on RST discourse parsing? a replication study of recent results on the RST-DT. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1319-1324, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[16] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019.

[17] Jeffrey Pennington, Richard Socher, and Christopher D. Manning. Glove: Global vectors for word representation. In Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543, 2014.

[18] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[19] Hugh Chen, Scott Lundberg, and Su-In Lee. Checkpoint ensembles: Ensemble methods from a single training process. 2017.


# ECS-BERT モデルによるステークホルダー評価の定量化

指田 晋吾 1 中川慧 1 黒木 裕鷹 2 真鍋 友則 ${ }^{2}$
1 野村アセットマネジメント株式会社 ${ }^{2}$ Sansan 株式会社
\{s-sashida,k-nakagawa\}@nomura-am.co.jp \{kuroki, manabe\}@sansan.com

## 概要

ステークホルダー資本主義や ESG，SDGsへの関心の高まりから企業の社会的な評価を定量化するこ との重要性は増している。特に，企業からステーク ホルダーに対してのメッセージである統合報告書の 内容を評価することは投資家のみならず様々なス テークホルダーにとって有用である. 本研究では, ステークホルダーからの評価を定量化したスコアで ある ECS を用いてファインチューニングした BERT モデルによって，統合報告書の「良さ」を定量化し たIR スコアを提案する. 実証分析の結果，IR スコ アは ECS ブランドスコアおよび，GPIF の定性評価 との関連性を持つことがわかった。

## 1 はじめに

企業は株主だけでなく，従業員をはじめサプライ ヤー，カスタマーといったビジネス関係者などあら ゆるステークホルダーの利益に配慮すべきである という，ステークホルダー資本主義が関心を高めて いる. 実際，2019 年に米経済団体ビジネス・ラウン ドテーブル（BRT）は，企業の目的に関する声明の 中で「顧客，従業員，サプライヤー，地域社会，株主といった全てのステークホルダーの利益のため に会社を導くことにコミットする」と公表した1). また, 2020 年 1 月の世界経済フォーラム年次総会 （ダボス会議）ではステークホルダー資本主義が重点テーマとして取り上げられ，クラウス・シュワブ 会長は「企業はステークホルダー資本主義を完全に 受け入れなければならない。利益を最大化するだけ でなく，政府や市民社会と協力して能力や資源を活用し, この 10 年間の重要な課題に対処しなければ ならない，企業は，よりまとまりのある持続可能な 世界に積極的に貢献しなければならない」と述べて

いる2)。これらは，株主第一主義から，ステークホ ルダー主義への転換への宣言として受け止められて いる.

以上のようにステークホルダーに対する配慮がま すます重要視されているなかで，ステークホルダー に対する社会的な評価の高い企業は，互酬性による 長期取引の安定化や，リスクの低下などを通して，社会関係資本から様々な利益を得ていることが知ら れている [1]. 例えば，企業の社会的な評判が良い 企業ほど，高い時価総額 [2] や高 ROA[3] を示す傾向が示されている。また，企業の社会関係資本，あ るいはそれと関連した活動や評価と，株価のクラッ シュ・リスクの関係を実証した研究が複数あり，い ずれも，クラッシュ・リスクを緩和することが実証 されている $[4,5]$.

しかしながら，ステークホルダーからの評価を測定あるいは定量化することは非常に困難である.こ れまでの研究はいずれも企業の社会関係資本を直接的に測定したものではなく, CSR 活動のスコアリ ングをその代理変数として用いている $[1,4]$. しか し，企業の CSR 活動はステークホルダーとの信頼的関係必ずしもイコールではない．そこで，ビジネ ス上のなんらかのステークホルダーであることが 想定される名刺所有者から直接，当該企業の評価を 得たデータ (Eight Company Score;ECS) を用いた研究 $[2,3,5]$ が存在する. さらに, ECS は評価スコアと それに関連する自由記述闌のコメントがあり，それ らのデータを supervised LDA[6] を用いて分析するこ とで，企業の社会的な評価がどのような要因から構成されているかを特定 [7] した研究もある。しかし， ECS のようなアンケート調査は，一般に少なくない コストを必要とする。このため, 調査対象社数や調査頻度に限界がある。

一方で，企業の長期的な価値創造は企業単体で創

2) https://www.weforum.org/press/2020/01/ stakeholder-capitalism-a-manifesto-for-acohesivel - and-sustainable-world/
造するものでなく，ほかのステークホルダーとの関係から生み出されるとし，企業の主要なステークホ ルダーからの理にかなった要求や期待を企業がい かに理解し, 対応しているか3)を記述する統合報告書に注目が集まっている。実際に財務報告とは別に 統合報告書を発行する企業数は年々増加している [8]. 企業の業績などの財務面だけでなく, ESG(環境, 社会，ガバナンス) の側面や SDGs(Sustainable Development Goals) を踏まえ，社会的責任を果たし，持続可能な社会に貢献するためにも統合報告書の果 たす役割は非常に大きい [9]. ステークホルダーに 対する配慮が重要視される中で，企業からステーク ホルダーに対してのメッセージである統合報告書の 内容を評価することは投資家のみならず様々なス テークホルダーにとって有用である.

公的に入手できるテキストデータから景気動向や 企業業績，ブランド力などを評価・予測する研究は 数多く存在する $[10,11,12]$. 本研究では，ステーク ホルダーからの評価を定量化したスコアである ECS を用いてファインチューニングした BERT モデルに よって，企業がステークホルダーへ向けての様々な 取組みを記載した統合報告書の「良さ」を定量化し た IR (Integrated Report) スコアを提案する。具体的 には，BERT を事前学習モデルとして，ECS の自由記述欄のコメントと評価スコアを用いてファイン チューニングを行うことで，統合報告書への評価を 付与できるモデルを作成する. そして当該 BERT モ デルを，ECS スコアが再現できるかどうかバリデー ションで確認し，統合報告書のスコアリングを行 う. そしてステークホルダーから企業の評価である ECS と，企業からステークホルダーへの向けて記述 された統合報告書の IR スコアの関係を検証・評価 する.

## 2 分析データ

## 2.1 Eight Company Score データ

Sansan 株式会社の Eight Company Score4）（以下， ECS）は，半年に一回，調査対象企業の名刺を有す る名刺アプリ Eight のユーザーにランダムに調査票 をメール送付し，任意のアンケート結果を回収する ことで作成されている. 企業の名刺所有者を調査母

集団とすることにより，それぞれの企業とのビジネ ス上の関与が期待される母集団からの企業評判収集 を可能にしている.

ECS の調査は 2018 年の 5 月に開始され，以降半年に一度のペースで調査が行われている. 本論文で は 2018 年 5 月から 2021 年 11 月までの計 8 回の調査データを分析対象データとして使用する。調査対象企業数は 1711 社，企業あたりの平均回答者数は 154 人である.

調査は「ブランド」，「サービス」，「ヒト」の 3 項目に関する意識調査と企業についての自由記述闌か ら成り，回答者は，

ブランド: $\ulcorner x$ 社のブランドイメージは魅力的だと 思いますか?」

サービス: 「 $x$ 社の製品・サービスは自社/社会に有用だと思いますか？」

ヒト: 「 $x$ 社の人は好印象だと思いますか？」

の 3 項目の質問に対し，0-10の 11 段階の評点をつ ける。また，自由記述欄に，企業の印象ついてのコ メントを記入する．回答者は，調査会社が選択した 3 企業について回答する。

ECS の自由記述コメント数は調査全期間の累計 で 545,599 であった. ただし，記述文には「知らな い」「特にない」など，企業についての非認知の表明など，企業印象についての有意味な情報を有さ ない文も含まれていた。本研究の分析においては， そのような文を除外した。除外した結果，文の数は 436,308, 企業あたりの平均記述文数は 261 文, 記述文あたりの文字数は平均 21.3 文字，中央値は 15 文字であった。

## 2.2 統合報告書データ

統合報告書とは，企業が財務情報や経営情報に加 えてガバナンス，CSR 情報，中期計画などを統合的 にまとめて公開する報告書である。日本では会社法 で要求される決算書類や金融商品取引法で要求され る有価証券報告書と異なり，統合報告書は作成が任意であるが，発行する企業は大規模なグローバル企業を中心に，日本国内でも年々増加している。

本研究では, 日本の証券取引所に上場している企業の企業 HP から，「統合報告書である」と明記され た 2018,2019年のテキストデータを収集し，スコア リングを行なった．収集，スコアリングしたデータ 数は 2018 年で 284 社, 2019 年で 370 社についての

ものである.

## 3 分析方法

## 3.1 ECS データを用いた BERT モデルの 学習

BERT (Bidirectional Encoder Representations from Transformers)[13] は, Transformer[14]をべースに構成 されたは高性能な事前学習モデルである.

BERT モデルの構築には事前学習済みのモデル5) と ECS の自由記述コメントを利用し，文章のセン チメント評価のためのファインチューニングを行っ た. その際，ECS のデータにてブランド評価が 9 以上のものをポジティブ，4 以下のものをネガティブ とした.また，コメント投稿者の対象企業に対する 認知度について閾値を設け, 信頼性の高いコメント 内容に絞った. その結果として学習に用いたコメ ント数は全体で 303,286 件で，ポジティブに分類さ れる文章は 201,505 件, ネガティブは 101,781 件で ある. また, 対象企業をランダムに分割し, 学習,検証, 評価に用いた. 学習には 1,207 社に対する 180,658 コメントを，検証には 402 社に対する 61,722 回答を，テストには 403 社に対する 60,907 回答をそ れぞれ用いた。

## 3.2 統合報告書のスコアリング

本研究では，企業がステークホルダーへ向けての 様々な取組みを記載した統合報告書の「良さ」を定量化するため，構築した BERT モデルでのスコアリ ングを行なった．統合報告書のテキストデータは， ページ数や目次など，スコアに寄与しないと想定さ れる情報を含んでいるが，これらは前処理で取り 除いた.ここで，統合報告書の平均トークン長は 4,772であり, BERT モデルが受け付ける最大トーク ン長をはるかに超えるものである. そこで本分析で は，ひとつの統合報告書を，最大トークン長が 256 の部分文書に分割し，それぞれのスコアを平均する ことでスコアリングを行なった.

本研究で提案する IR (Integrated Report) スコアの 性質を測るため，一定の実績がある ECS ブランド スコアとの関係，年金積立金管理運用独立行政法人 (GPIF) が公開する統合報告書の定性評価との関係を 分析した.

## 4 分析結果

5) https://nlp.ist.i.kyoto-u.ac.jp/?ku_bert_japanese

## 4.1ECS ブランドスコアの予測

テストデータの ECS ブランドスコアを予測し，企業ごとに平均した結果を図 1 に示す. 元のブランド スコアの平均との相関係数は 0.88 であり，アンケー トで得られたステークホルダーからの自由記述コメ ントとであれば，学習データにない企業に対しても 高い精度でブランドカのスコアリングが可能である ことがわかる.

図 1 ECS ブランドスコアの予測結果

## 4.2 ECS ブランドスコアと IR スコアの 相関

BERT モデルによってスコアリングした統合報告書スコアと ECS ブランドスコアの単相関を Appendix の表 3 に示す. ECS 調査は半年に 1 回行わ れているため年に 2 時点のデータが存在する. 2018 年の IR スコアは 2018 年 11 月の ECS および 2019 年 5 月と有意に正の相関がある。一方 2019 年の IR ス コアは 2019 年の ECS と有意に正の相関を示してお り，それぞれ近いデータ取得期間で相関を有してい ることがわかる。この結果は IR 内に記されている 企業のブランド力に関する情報の時間変化を本 IR スコアによってトレースできる可能性を示唆して いる.

上記単相関分析では企業の財務状況や業種が共変量になっている可能性がある。この可能性を考慮 し, 財務指標と業種 (東証 17 業種)を統制項として 変数に含めた以下の重回帰分析を行った. なお ECS ブランドスコアは年での平均値として年次データに 変換した。

ECSbrand $_{i t}=\beta_{1}$ IRscore $_{i t}+\beta_{2} \ln \left(\right.$ Sales $_{i t}$

$
\begin{aligned}
& +\beta_{3} \text { Profitability }_{i t}+\gamma_{1} \text { IndustryDummy }_{i} \\
& +\gamma_{2} \text { YearDummy }_{t}+\epsilon_{i t}
\end{aligned}
$

ここで ECSbrand $_{i t}$ は企業 $i$ の年 $t$ におけるブラ

スコア, $\ln (\text { Sales })_{i t}$ は企業 $i$ の時点 $t$ における売上高の自然対数，Profitability ${ }_{i t}$ は企業 $i$ の時点 $t$ にお ける利益率，IndustryDummy は企業 $i$ の業種ダミ一, YearDummy は年 $t$ のダミー (2019 か否か)を表して いる. $\beta$ と $\gamma$ は各変数に対する係数を表す.

結果を表 1 に示している. 表 1 のカラム (1) は年 ダミーのみ，カラム (2) は業種ダミーと年ダミーを 加えたモデル，カラム (3) は統制項を全て加えたモ デルの推定結果だが，全てのモデルにおいて IR ス コアは有意に正の係数を表しており，ECS ブランド スコアの予測に対して情報量を持っていることを示 した.

表 1 重回帰分析の推定結果

 &  &  \\

## 4.3 IR スコアと GPIF 評価の相関

GPIF は，国内株式の運用を委託している運用機関（以下，運用機関）に対して，「優れた統合報告書」と「改善度の高い統合報告書」の選定を依頼し 選定結果を毎年公表している6).

本論文で算出した IR スコアの意義をさらに探索 するために, IR スコアとこの GPIF の選定結果の関

6) https://www.gpif.go.jp/investment/20210224_ integration_report.pdf連をロジスティック回帰分析を用いて行った．統制項等の変数は前節での重回帰分析と同じ変数を用 いた. 本分析の対象となる企業は 2018 年に 122 社, 2019 年に 261 社だが，そのうち「優れた統合報告書」または「改善度の高い統合報告書」に選定され た企業はそれぞれ 47 社 $(39 \%), 101$ 社 (39\%) 存在し た。この確率に対する IR スコアの効果の推定結果 を表 2 に表す。

表 2 ロジスティック回帰分析結果

IR スコアに対する係数の値は有意に正となって おり，このスコアの高い企業は選対される確率が有意に上昇していることがわかる.

## 5 まとめと今後の課題

企業の社会的な評価を定量化することの重要性は 増しており，企業からステークホルダーに対しての メッセージである統合報告書の内容を評価すること は投資家のみならず様々なステークホルダーにとっ て有用である。本研究では，ステークホルダーか らの評価を定量化したスコアである ECS を用いて ファインチューニングした BERT モデルによって，統合報告書の「良さ」を定量化した IR スコアを計測した. 実証分析の結果，IR スコアは ECS ブラン ドスコアおよび，GPIF の定性評価との関連性を持 つことがわかった. 今後の課題としては，本研究で 定量化した統合報告書の評価スコアと財務指標や株価との関連性を検証することが挙げられる。

## 参考文献

[1] Peter W Roberts and Grahame R Dowling. Corporate reputation and sustained superior financial performance. Strategic management journal, Vol. 23, No. 12, pp. 1077-1093, 2002.

[2] 真鍋友則, 中川慧. B2b 企業ブランド評価と株価の価値関連性の実証研究. 経営情報学会誌, Vol. 29, No. 2 , pp. 87-104, 2020.

[3] 真鍋友則, 中川慧. B2b市場における企業ブランドと roa の関連性. 証券アナリストジャーナル= Securities analysts journal, Vol. 58, No. 6, pp. 73-83, 2020.

[4] Karl V Lins, Henri Servaes, and Ane Tamayo. Social capital, trust, and firm performance: The value of corporate social responsibility during the financial crisis. the Journal of Finance, Vol. 72, No. 4, pp. 1785-1824, 2017.

[5] Tomonori Manabe and Kei Nakagawa. The value of reputation capital during the covid-19 crisis: Evidence from japan. Finance Research Letters, p. 102370, 2021.

[6] David M Blei and Jon D McAuliffe. Supervised topic models. In Proceedings of the 20th International Conference on Neural Information Processing Systems, pp. 121-128, 2007.

[7] Tomonori Manabe, Kei Nakagawa, and Keigo Hidawa. Identification of $\mathrm{b} 2 \mathrm{~b}$ brand components and their performance' $\mathrm{s}$ relevance using a business card exchange network. In Pacific Rim Knowledge Acquisition Workshop, pp. 152-167. Springer, 2021.

[8] Kei Nakagawa, Shingo Sashida, Ryozo Kitajima, and Hiroyuki Sakai. What do good integrated reports tell us?: An empirical study of japanese companies using text-mining. In 2020 9th International Congress on Advanced Applied Informatics (IIAI-AAI), pp. 516-521. IEEE, 2020.

[9] 小野塚惠美, 貝沼直之. Esg 開示からみる統合報告書のあり方 (特集 esg 情報開示とその利活用). 証券アナリストジャーナル= Securities analysts journal, Vol. 59, No. 11, pp. 28-39, 2021.

[10] Keiichi Goshima, Hiroshi Ishijima, Mototsugu Shintani, and Hiroki Yamamoto. Forecasting japanese inflation with a news-based leading indicator of economic activities. Studies in Nonlinear Dynamics \& Econometrics, Vol. 25, No. 4, pp. 111-133, 2021.

[11] Roland T Rust, William Rand, Ming-Hui Huang, Andrew T Stephen, Gillian Brooks, and Timur Chabuk. Realtime brand reputation tracking using social media. Journal of Marketing, Vol. 85, No. 4, pp. 21-43, 2021.

[12] 西家宏典, 津田博史. 従業員口コミを用いた企業の 組織文化と業績パフォーマンスとの関係. 証券アナ リストジャーナル= Securities analysts journal, Vol. 56, No. 7, pp. 69-78, 2018.

[13] Jacob Devlin Ming-Wei Chang Kenton and Lee Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL-HLT, pp. 4171-4186, 2019.

[14] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp.

## A 参考情報

表 3 は BERT モデルによってスコアリングした統合報告書スコアと ECS ブランドスコアの単相関表 を示す. 表中の数値は相関係数，カッコ内の数値は サンプルサイズを表している. ECS 調査は半年に 1 回行われているため年に 2 時点のデータが存在す る. 2018 年の IR スコアは 2018 年 11 月の ECS およ び 2019 年 5 月と有意に正の相関がある。一方 2019 年の IR スコアは 2019 年の ECS と有意に正の相関を 示しており，それぞれ近いデータ取得期間で相関を 有している.
表 3 ECS ブランドスコアと IR スコアの相関表

Note:

${ }^{*} \mathrm{p}<0.1 ;{ }^{* *} \mathrm{p}<0.05 ;{ }^{* * *} \mathrm{p}<0.01$