# 短歌における言語モデルの実応用一歌人の視点を通した生成と作歌支援の実践から一

浦川通 1 新妻巧朗 1 田口雄哉 1 田森秀明 1 岡崎直観 ${ }^{2}$ 乾健太郎 3,4
1 株式会社朝日新聞社 2 東京工業大学 3 東北大学 4 理化学研究所
\{urakawa-t,niitsuma-t, taguchi-y2, tamori-h\}@asahi.com,
okazaki@c.titech.ac.jp, inui@tohoku.ac.jp

## 概要

ニューラル言語モデルによる生成が多方面で実 サービス化され，その利用に関する実際的な検討が 始まっている.テキストによる創作活動である文芸分野でも，言語モデルの実応用化が進んでいるが，短詩形文学の一つである短歌においては，その応用可能性について積極的に議論される現状になく，実応用事例も存在しないため，モデル利用の有用性や 課題に不明点が多い. 本稿では，短歌を生成する言語モデルの評価や可能性について, 実際に歌壇で活動する歌人を取材し，そこで得られた作歌支援への 指摘にもとづき構築した，実応用事例の設計法や実施の結果を共有しながら，今後の課題を述べる.

## 1 はじめに

ニューラル言語モデル（以下，言語モデル）の 発展にともない, 対話応答 [1], プログラミング支援 [2], 論文執筆支援 [3] といった幅広い領域で言語 モデルの実応用化が進んでいる。これにしたがい，論文投稿の現場において言語モデルの利用に関する 方針策定 [4] が行われるなど，実応用における倫理 と有用性をふまえた検討がすでに始まっている。こ の流れはテキストによる創作活動である文芸にも及 び，執筆支援での言語モデル応用が検討され [5]，専門家による評価が行われているほか [6], 日本語で も実サービス化されたものが存在する [7].

短詩形文学の一つに数えられる短歌 1 におい ても，これまでに自動生成手法が提案されてき た $[8,9,10,11]$. 最近では, 言語モデルによる生成 を一部に含む短歌の連作が新人賞の最終選考を通過 するなど，実際の作歌の現場に生成が登場しはじめ ている $[12,13]$. しかし, 言語モデルの評価が歌人
 する.
をはじめとする実作者の立場から行われた例はいま だ少なく [14], 実際的な応用可能性について，積極的に議論されている現状にない，また，広く一般に 利用される形で実サービス展開された事例も存在し ないため，短歌を対象とした言語モデル応用の有用性や課題については，明らかでない点が多い.

本稿では，実際に歌壇で活動する歌人に対して短歌を生成する言語モデル（短歌生成モデル）に触れ る機会を設け，評価また応用可能性について取材 し，その結果をふまえ構築した実応用事例の設計法 や実施の結果を共有しながら，今後の課題について 述べる.

歌人への取材においては，先行研究であるモーラ を考慮した短歌生成モデル [11]を用意し，生成に関 する自由な意見をもらうとともに，今後考えられる 応用可能性について取材した. この結果として，作歌のヒントを得ることを目的とした言語モデル利用 の可能性に関する指摘が得られた。

実応用事例においては，ユーザの入力に従う作歌支援システムを構築した。これをウェブサービスと して公開するとともに，短歌の創作を行うワーク ショップにて展開し，ユーザが実際に触れる機会を 提供した. ここで得られた利用データの分析と利用者の声から，実際に言語モデルによる生成がユー ザの作歌に援用されうることを確認した。一方で， ユーザの創造性を引き出すためのより効果的な言語 モデル応用法の検討や，構築における学習データ利用環境の整備を今後の課題として議論する。

## 2 歌人からみた短歌生成モデル

短歌生成モデルの評価と応用可能性について，歌人の俵万智氏，永田和宏氏を対象に，以下の方法で 取材した。

## 2.1 方法

先行研究であるモーラを考慮した短歌生成モデ ル [11]を，日本語ウィキペディアから抽出した疑似短歌（5,7,5,7,7 モーラの短歌の定型を満たす文字列） でファインチューニングしたものと，このモデルを さらに俵の短歌データ約 2,000 件でファインチュー ニングしたものを用意し，永田には前者のみの，俵 には両者の出力結果を確認できる場をそれぞれ別個 に提供しながら（1）生成過程・結果についての自由な意見（2）今後にどんな影響・応用が考えられ るかの 2 点について意見を伺った. なお，以降の各人の発言内容は，記事 ${ }^{2}$ 3)4) からの引用とする.

モデルによる実際の生成例を表 1 に示す.また， モデル作成に関する詳細を付録 A に記す.

## 2.2 議論

生成過程と結果について 俵は，自作を学習した モデルの出力について「私っぽい」と指摘するとと もに，ある生成については「やられたな」とその結果に驚く反応を見せた. 永田は「まだ AI がこのレ ベルでよかった」としつつも，「それらしきいい歌 ができることは間違いない」と発言し, 両者それぞ れにモデルによって生成された短歌の質を評価し た. また両者から, 過去に詠まれた短歌を大量に学習する過程は，歌人が作歌を学ぶときとあまり変わ らないかもしれないと，短歌の学習における人とモ デルの類似性が指摘された.

可能性と課題 永田は「たとえば上の句で筆が止 まっている時に、AIに提案してもらった言葉を発展 させて下の句を付けるという使い方は、認めてもい いのかもしれない」と，言語モデルの創作における 応用について言及した.「歌をつくる前はこう思っ ていたけど、歌をつくるプロセスでこうも思ったん だという自分の発見があって（中略）そうした言葉

3) https://www.asahi.com/special/tawaramachi-aitanka/

4) https://www.asahi.com/articles/ASQ716V8VQ6QUCVL006. html

図 1 「花と歌」システム図

を AI が見つけてくれようと自分で見つけようと、本質は変わらないのかもしれない」と指摘する。俵 は， 1 秒間に 100 首程度生成できるという，モデル の高い量産性を挙げながら「壁打ち相手としては魅力的」と言及した. 一方で「AIに名歌をつくっても らう必要はない」「歌の種は人の心にある」とも発言している. 両者ともに，生成される短歌の質は認 めながらも，あくまで人が作歌を行うときにヒント を得ることを目的とした応用可能性を指摘している ことがわかる．これらの結果から，短歌の一部を入力し生成された結果を見ながら，より良い表現を探 すといった言語モデルの応用可能性が得られた。

## 3 短歌生成モデルの実応用

2 節での取材の結果，作歌におけるヒントを得る ために言語モデルを用いる可能性について指摘が得 られた。これをふまえ，ユーザの入力に従う作歌支援システムを構築した（図 1）.

## 3.1 短歌生成モデルによる作歌支援

システムこのシステムは，ふだん言えない気持 ちを花と歌（短歌）に込めて届けるウェブサービ ス「花と歌 $5^{5)}$ のために作られたものである（図 2）. ユーザの贈りたい相手に向けて，花のイラストと短歌を合わせた画像を共有できるというサービスで，作歌支援に言語モデルを用いている. ここでユーザ は（1）贈りたい相手に関する質問に答える（2）質問への回答内容に沿った短歌一首が生成される（3）生成された歌を自由に編集する，という手順を通し て短歌を作ることができる．今回の取り組みは，こ れまでに一度も短歌を作ったことのないユーザの利用を想定している．そのため，言語モデルの入力と して短歌の一部をユーザに考えさせる仕組みにする と、その難しさによってサービスからの離脱を招く

5) https://prtimes.jp/main/html/rd/p/000000014. $000054763 . \mathrm{html}$

図 2 「花と歌」スクリーンショット

表 2 「花と歌」学習データの例. 特殊トークン $<$ sep>， $<\mathrm{r}>$, $<\mathrm{k}>$ を用意し, 入力はキーワード $<\mathrm{sep}>$ 類語 $1<\mathrm{r}>$ 類語 $2 \ldots<\mathrm{sep}>$ 初句の形で作る. 出力は各句の間を $<\mathrm{k}>$ で挟む.

表 3 「花と歌」モデルによる生成例。 $\mathrm{s}$ は書き出し， $\mathrm{k}$ は キーワード， $\mathrm{t}$ は類語リストの入力値. $\mathrm{s}=$ いつまでも, $\mathrm{k}=$ ダンス, $\mathrm{t}=[$ 心地好い, 楽しい, 仲良し, すこやか, 瞬間]

いつまでも穏やかでいてくれるので 一緒にダンスするときもそう

可能性が考えられた。そこで，ユーザは簡単な質問 に答えるのみによって短歌を生成でき，その後に一首全体の編集権を得るという構成をとっている.

モデル 今回のシステムにおけるモデルは，短歌 の一部ではなくユーザの質問回答の内容を入力に短歌を生成する. そのため，2 節のようなデコーダの みによって構成された言語モデルではなく, seq 2 seq の機構を持ち入力をエンコードした結果を用いて生成するモデルを採用した. 具体的には，事前学習済 み言語モデルである BART [15] を CTRL [16] のよう にタグコントロールによる条件付き生成モデル学習 の枠組みでファインチューニングした ${ }^{6)}$. 入力とし て，出力される歌に含めたいキーワード，書き出し （第 1 句）に加え, 歌のテーマとして出力中に含ま れる単語の類語 5 つを与え，短歌を生成するものと する（表 2）キーワードのみユーザによる自由入

6）事前学習済み言語モデルは，朝日新聞社の保有記事約 900 万件で事前学習したものを使用した.力を受け付け，その他の入力はユーザの質問回答に よってシステム内部で自動的に与えられる。実際の 生成例を表 3 に示す. モデル作成に関する詳細を付録 Bに記す。

データセット 今回のように，広く一般に公開さ れ，創作支援として利用される言語モデルの作成に おいて，その学習データがどのようなものであるか が，サービスの信頼に関わる大きな問題となりう る。朝日新聞社の場合，保有するデータには「朝日歌壇」入選歌などの短歌が含まれるが，これを生成 に利用するための許諾は得ていない. 著作権や創作上のモラルといった観点もふまえて社内で議論し，既存の短歌を学習データとして意図的に利用するこ とは避けるという方針を定めた。そこで，学習デー タは [11] と同様にコーパスから疑似短歌を抽出する ことで作成した。コーパスは $\mathrm{CC}-100^{7)}$ の日本語文書 データセットで，抽出した疑似短歌は 65,770 件であ る. 各サンプルにおけるキーワードは TextRank [17] のスコア上位 3 件よりランダムに 1 つ抽出した. テーマとして与える類語群は, 朝日新聞単語べクト ル [18]により各サンプルにおける各単語の類似語上位 5 件ずつを得た中から，5 件をランダムに抽出し て作成した。

図 3 編集が与えられた短歌における, 編集前後での編集距離の分布. 横軸は編集距離. 縦軸は短歌数.

図4 編集が与えられた短歌における, 各句ごとの編集操作の分布。縦軸は文字数.

## 3.2 実施と議論

このシステムは，2022 年の 9 月から 1 ヶ月間の期間限定でウェブ上にて公開されるとともに，短歌創作のワークショップにおいて，参加者が作歌のヒン トを得るためのツールとして利用された.

システムが実際にどのように利用されたかを見る ため，ウェブ上にてユーザが作成し，実際に他者と 共有した短歌データから 254 件を抽出・分析した.図 3 に，編集が与えられた短歌における編集距離の 分布を示す. 編集の与えられた短歌の多くが，生成 の一部を編集することで作成されたことがわかる。 また, 図 4 に示す編集操作の分布を見ると，最も多 い操作が置換で，入力で与えられる第 1 句を除き，各句で偏りなく編集されていることがわかる. これ らの結果から，ユーザが生成された短歌の内容を生 かしながら，自身の歌を作っていることが窥える。表 4 ユーザによって共有された歌の編集前後の例. 波線，下線はそれぞれ編集前後における編集箇所.

ワークショップの参加者からも「出力したフレーズ を取り入れて作歌できた」「ヒントとなる言葉に出会えておもしろかった」といった反応が得られ，モ デルが作歌時の発想を広げる手助けとなったことが 確認できた ${ }^{8)}$. 表 4 に，実際の編集例を示す.

一方で，全体の 7 割近くの生成結果が，ユーザの 編集を経ずにそのまま共有されていたこともわかっ た. これは，生成された短歌の質がユーザに受け入 れられた結果とも考えられるが，作歌のヒントを与 える応用とはならなかった例が多い結果であるとも いえる.よりユーザの創造性を引き出す言語モデル の応用法の検討が，今後の課題である.

また，今回のモデル学習は疑似短歌によって行わ れている。実際の短歌を学習したモデル生成が歌人 による評価を得ている中で，今後の応用に向けた データセットの整備やデータ利用における合意形成 などが，より活発な実応用に向けて必要であると考 える。

## 4 おわりに

本稿では，短歌生成モデルの実応用について，歌人への取材を通してその可能性について整理した. また，取材の結果をふまえ構築・展開した作歌支援 システムについて説明し，ユーザの反応を分析する ことで，短歌生成モデルが実際にユーザの作歌を支援する形で利用されることを確認した. 今後の課題 として，よりユーザの創造性を向上させる言語モデ ル応用法の検討や，学習のための短歌データセット の整備などに取り組みたい。

8) https://digital.asahi.com/articles/ ASQ9P300309LUCVL01L.html

## 謝辞

取材に協力頂いた俵万智氏，永田和宏氏に感謝 する. データ提供を頂いた株式会社 電通クリエー ティブ Xに感謝する。

## 参考文献

[1] ChatGPT: Optimizing Language Models for Dialogue, （2023-1 閲覧）. https://openai .com/blog/chatgpt/.

[2] GitHub Copilot $\cdot$ Your AI pair programmer，（2023-1 閲覧）. https://github.com/features/copilot.

[3] Galactica Demo,（2023-1 閲覧）. https://galactica. org/.

[4] ACL 2023 Policy on AI Writing Assistance, (20231 閲 覧）. https://2023.aclweb.org/blog/ ACL-2023-policy/.

[5] Ann Yuan, Andy Coenen, Emily Reif, and Daphne Ippolito. Wordcraft: Story Writing With Large Language Models. In 27th International Conference on Intelligent User Interfaces, pp. 841-852, 2022.

[6] Daphne Ippolito, Ann Yuan, Andy Coenen, and Sehmon Burnam. Creative Writing with an AI-Powered Writing Assistant: Perspectives from Professional Writers. arXiv preprint arXiv:2211.05030, 2022.

[7] Hiroyuki Osone, Jun-Li Lu, and Yoichi Ochiai. BunCho: AI Supported Story Co-Creation via Unsupervised Multitask Learning to Increase Writers' Creativity in Japanese. In Extended Abstracts of the $2021 \mathrm{CHI}$ Conference on Human Factors in Computing Systems, pp. 1-10, 2021.

[8] Tomonari Masada and Atsuhiro Takasu. LDA-based scoring of sequences generated by RNN for automatic Tanka composition. In International conference on computational science, pp. 395-402. Springer, 2018.

[9] Makoto Nakatsuji and Sohei Okui. ConclusionSupplement Answer Generation for Non-Factoid Questions. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 8520-8527, 2020.

[10] Yuka Takeishi, Mingxuan Niu, Jing Luo, Zhong Jin, and Xinyu Yang. WakaVT: A Sequential Variational Transformer for Waka Generation. Neural Processing Letters, Vol. 54, No. 2, pp. 731-750, 2022.

[11] 浦川通, 新妻巧朗, 田口雄哉, 田森秀明, 岡崎直観, 乾健太郎. モーラを考慮した fine-tuning による口語短歌生成. 言語処理学会第 28 回年次大会, 2022.

[12] 浦川通. AI が俵万智さんの歌集を学習したら 開発者が言語モデルを解説. 朝日新聞デジタル, 2022-07-05. https://digital.asahi.com/articles/ ASQ744WG1Q71UCVL01Y.html.

[13] 第六十四回 短歌研究新人賞発表. 短歌研究, Vol. 78, No. 9, 092021.

[14] 中辻真, 奥井颯平, 野口あや子, 加古陽. 特集 作品二十首\&修業秘話 歌歴 1 年半でここまで上達! 歌人 $\mathrm{AI}$ (人工知能歌人) の歌力：ついに歌壇デビューか!筆名は「恋する AI 歌人」! 短歌研究, Vol. 76, No. 8, pp. 91-102, 082019.

[15] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan
Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Ves Stoyanov, and Luke Zettlemoyer. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. arXiv preprint arXiv:1910.13461, 2019.

[16] Nitish Shirish Keskar, Bryan McCann, Lav R Varshney, Caiming Xiong, and Richard Socher. CTRL: A Conditional Transformer Language Model for Controllable Generation. arXiv preprint arXiv:1909.05858, 2019.

[17] Rada Mihalcea and Paul Tarau. TextRank: Bringing Order into Text. In Proceedings of the 2004 conference on empirical methods in natural language processing, pp. 404-411, 2004.

[18] 田口雄哉, 田森秀明, 人見雄太, 西鳥羽二郎, 菊田洸 ほか. 同義語を考慮した日本語の単語分散表現の学習. 研究報告自然言語処理 (NL), Vol. 2017, No. 17, pp. $1-5,2017$.

[19] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

## A 取材時に利用した短歌生成モデル

2 節の取材における言語モデルの構成や学習時のハイパーパラメータについて記す. Hugging Face 上で公開されている日本語 (GPT-29)を事前学習モデルとしてファインチューニングすることで作成した（表 5). 歌人データによるモデルは，疑似短歌によるモデルをさらにファインチューニングすることで作成している （表 6）.モデルの学習に用いたデータ数は，ウィキペディアによる疑似短歌が 10,000 件，俵による短歌デー タが 2,372 件である.

表 5 疑似短歌データによる短歌生成モデル構成とハイパーパラメータ

表 6 歌人データによるファインチューニングモデル構成とハイパーパラメータ

トークナイザ_Sentencepiece

最適化器

Adam

バッチサイズ

16

エポック数

10

## B「花と歌」短歌生成モデル

3 節のシステムにおける言語モデルの構成や学習時のハイパーパラメータを表 7 に示す. 実装 には，Hugging Face Transformers ${ }^{10}$ を用いている。トークナイザは朝日新聞社保有の記事を学習した Sentencepiece [19] で，語彙数は 32,000である。なお，事前学習済みモデルである BART-base は，朝日新聞社 の保有する記事約 900 万件で事前学習したモデルを利用した.

9) https://huggingface.co/rinna/japanese-gpt2-medium

10) https://github.com/huggingface/transformers


# Language Understanding with Non-Autoregressive BERT-to-BERT Autoencoder

Mohammad Golam Sohrab $^{1}$ Matīss Rikters $^{1}$ Makoto Miwa $^{1,2}$
${ }^{1}$ Artificial Intelligence Research Center (AIRC)
National Institute of Advanced Industrial Science and Technology
${ }^{2}$ Toyota Technological Institute, Japan
\{sohrab.mohammad, matiss.rikters\}@aist.go.jp
makoto-miwadtoyota-ti.ac.jp
}

\begin{abstract}
We propose a fast and scalable non-autoregressive S2S model that is flexible enough to employ the widely successful BERT as the backbone for the encoder and the decoder. In this paper, we pre-train BERT models using the nonautoregressive approach, which we call non-autoregressive BERT-to-BERT (NAR-B2B). We evaluate the NAR-B2B model using the standard GLUE tasks for natural language understanding. Experimental results show that the pre-training strategy is effective for BERT and the nonautoregressive approach enables fast training and decoding.
\end{abstract
## 1 Introduction

Pre-trained language models (PLMs) have been widely successful across many natural language processing (NLP) tasks. Especially, the Bidirectional Encoder Representations from Transformers (BERT) model [1] has received widespread attention due to its ability to infer contextualised word representations. With this ability, BERT can help obtain superior performance in downstream tasks by leveraging simple fine-tuning. Recently, pre-training sequence-to-sequence (S2S) models such as BERT2BERT [2], BART [3], T5 [4], and Optimus [5] have been introduced. They are applied to various tasks in NLP since they are well suited to problems such as summarisation and question answering. These models employ transformer-based bidirectional models, such as BERT, as an encoder and use as a decoder powerful auto-regressive models like GPT-2 [6], which generate tokens in a left-toright manner. Among these models, Optimus is based on variational autoencoders (VAE) $[7,8]$, which can be considered the first large-scale pre-trained deep latent variable model and proven useful for non-autoregressive modeling [9].

These models, however, have several limitations. First, the models need many computational resources to decode, especially for longer texts. For instance, Optimus limited their inputs to the length of 64, and it also limited the training data. Second, some models use different architectures for their encoders and decoders. For example, Optimus is based on BERT and GPT-2. Such inconsistency in models results in different tokenisation between input and output.

To tackle these limitations, we aim at building a largescale non-autoregressive pre-trained S2S model using the BERT as the backbone for both encoder and decoder models. The non-autoregressive modelling allows fast decoding and the use of longer texts. Unlike the Optimus and BART models, our model does not rely on autoregressive GPT-2-like models. The input and output tokenisation become consistent by using the same BERT architecture.

In this paper, as the first step towards the above modelling, we propose to pre-train the BERT models using the non-autoregressive sequence-to-sequence model, which we call non-autoregressive BERT-to-BERT, or NAR-B2B. We train the entire non-autoregressive S2S model with an autoencoding objective, which is inspired by BERT. To investigate better autoencoding, we compare autoencoder (AE) and variational autoencoder (VAE) models in the S2S modelling following Optimus. We evaluate the performance of the pre-trained NAR-B2B models to confirm that the BERT models can be trained via S2S modelling. We also evaluate and compare the pre-trained NAR-B2B

Figure 1 The NAR-B2B architecture (inspired by Optimus). The dotted line illustrates the ground truth words (GTW) setting where the decoder receives GTW as input.

models in the encoder and decoder. Experimental results show the effectiveness of our modelling in both speed and performance. First, we could pre-train the NAR-B2B models with more training data and less training time using the S2S model. Second, our pre-trained NAR-B2B models in both encoder and decoder perform better than the Optimusencoder-based BERT and the original BERT model.

## 2 Pre-training NAR-B2B

To pre-train non-autoregressive BERT-to-BERT (NARB2B) models using the S2S modelling, we train the $\{\phi, \delta\}$ parameters, which corresponds to the parameters of the BERT encoder and the non-autoregressive (NAR) BERT decoder using an autoencoding objective, i.e., AE or VAE. The architecture of the proposed model is illustrated in Figure 1.

## 2.1 Model Architecture

The model architecture of NAR-B2B is composed of a multi-layer Transformer-based encoder and decoder, in which the embedding layer and the stack of transformer layers are initialised with BERT [1]. To leverage the expressiveness power of existing pre-trained BERT models, we initialise our BERT encoder BERT ${ }_{\phi}$ and BERT decoder $\mathrm{BERT}_{\delta}$ with the pre-trained BERT parameters. Here, we denote the number of layers (i.e., Transformer blocks) as $\mathrm{L}$, the hidden size as $\mathrm{H}$, and the number of self-attention heads as A. Specifically, in this paper, we employ bert-basecased ( $\mathrm{L}=12, \mathrm{H}=768, \mathrm{~A}=12$, Total Parameters=110M) for both encoder and decoder models.

Input Sequence Following the BERT setup, we first append a [CLS] and a [SEP] token on both sides of the source sentence. Then, inspired by the input format representation [10], we merge sentences for faster training and flexibility in dealing with longer sequences. Specifically, we merge multiple sentences with a special token [SEP] to ensure that the source sequence length is not longer than the BERT default maximum sequence length, which is 512 .

Figure 2 Beta ( $\beta$ ) Annealing

BERT Encoder Our NAR-B2B model first feeds the input sequence $\boldsymbol{X}=\boldsymbol{x}_{[C L S]}, \boldsymbol{x}_{1}, \ldots, \boldsymbol{x}_{n}$ to the $\mathrm{BERT}_{\phi} \mathrm{em}$ bedding layer. In BERT, the first token of every sentence is a special classification token ( [CLS ] ). The last layer's hidden state $\boldsymbol{h}_{[C L S]} \in \mathbb{R}^{H}$ corresponding to this token is used as the sentence-level representation. It further constructs the latent representation $z=\boldsymbol{W}_{E} \boldsymbol{h}_{[C L S]}$ where $z \in \mathbb{R}^{P}$ is a $P$-dimensional vector and $\boldsymbol{W}_{E} \in \mathbb{R}^{P \times H}$ is the weight matrix.

Building Decoder Input The latent embedding $\mathbf{z}$ is added to the [PAD] and positional embeddings to construct the decoder's input sequence $X^{D}$. In addition to this PAD setting, we tried to use the input sequence of the encoder to construct the input as shown as the dotted line in Figure $1^{1)}$. Under this setting, the decoder receives the encoder's ground truth words (GTW) as input. The embedding representation $\boldsymbol{x}_{i}^{D}$ of the $i$-th token of the decoder's input sequence is calculated as $\boldsymbol{x}_{i}+\mathbf{W}_{D} \mathbf{z}$. To facilitate $\mathbf{z}$ in BERT decoding, we add the latent vector $\mathbf{z}$ to all inputs of the intermediate layers in the decoder.

Non-autoregressive BERT Decoding Our nonautoregressive BERT decoder $\mathrm{BERT}_{\delta}$ receives the input $\boldsymbol{X}^{D}$ and generates the original sequence in a nonautoregressive manner (all tokens simultaneously).

## 2.2 Training

To train NAR-B2B, we employ AE and VAE objectives. AE To train NAR-B2B with the AE objective, the model entirely focuses on maximizing the mutual information (MI) $[5,11]$ to recover a sentence from the latent space.

VAE The VAE objective consists of two terms, (a) reconstruction and (b) Kullback-Leibler (KL) regularization, balanced by a weighting hyper-parameter $\beta$. When training with the KL regularization, the KL tends to vanish [11, 5]. [11] proposed a cyclical annealing schedule (CAS), which

1) Since our target is the pre-training of BERT, we tried to use the encoder's input sequence in the decoder.
repeats the annealing process of beta multiple times by showing that the KL vanishing is caused by the lack of good latent codes in the training decoder at the beginning of optimization. To train NAR-B2B with the VAE objectives, we progressively improve latent representation $\mathbf{z}$ by adapting a CAS [11], where $\beta$ is repeatedly annealed from 0 to 1 . We split the training iterations into ten cycles, starting with $\beta=0$ and ending with $\beta=1$. Within each cycle, there are three consecutive stages: training $\mathrm{AE}(\beta=0)$ for 0.5 proportion, annealing $\beta$ from 0 to 1 for 0.25 proportion, and fixing $\beta=1$ for 0.25 proportion (as illustrated in Figure 2).

## 3 Experiments

The pre-training procedure follows existing literature on PLM pre-training. Following BERT, we use BookCorpus $^{2}$ [12] and English Wikipedia ${ }^{3}$ ) to pre-train our NARB2B model. (details in Appendix B).

Table 1 shows the performance comparison of our NARB2B model with BERT [1] and Optimus [5]. The NARB2B model yields higher performance than the BERT and Optimus models. BERT and Optimus (VAE) are considered baseline models, and their scores are taken from the Optimus [5] literature. In this table, the scores in the bold text indicate the best performance of a certain task in GLUE datasets. The results of the pre-trained encoder model of NAR-B2B using the AE objectives (NAR-B2B (AE) + Encoder) show that the model performs higher than the baseline models on five tasks. The pre-trained decoder model of NAR-B2B using the AE objectives (NAR-B2B (AE) + GTW + Decoder) outperforms the baseline models on all tasks except QQP. Since our NAR-B2B (AE) + GTW + Decoder models outperform the NAR-B2B (AE) + Encoder model, we evaluate the pre-trained decoder model of NAR-B2B with the VAE objectives (NAR-B2B (VAE) + Decoder model) and report the results in Table 1, where the model outperforms the baseline models.

Table 2 shows the performance of the NAR-B2B decoder using the AE, full-VAE, VAE with GTW, and VAE with PAD on a sample dataset ( $10 \%$ from $207 \mathrm{M}$ data). For the full-VAE model, we annealed $\beta$ from 0.25 to 1 to let the model always learn only in VAE objectives. During $\beta$

annealing, we follow the same proportion as the cyclical schedule in VAE stated in Section 2.2. This table shows the effectiveness of AE and VAE models with different settings over the baselines and full-VAE approaches, where VAE with PAD achieves the best score in terms of average in the four tasks of the GLUE tasks. Our NAR-B2B with AE and VAE achieve competitive scores as the original BERT, compared with the VAE with the PAD model. Our NAR-B2B model initialised with sample data perform comparable scores of Table 1.

Training large models on large-scale data sets is computationally challenging. In Optimus [5], computational efficiency is missing to train the model. Therefore, in our earlier attempt, we train the Optimus using 32M sentences that needs around $20 \mathrm{~K}$ iterations using a sequence length of 64 for 46 hours. In contrast to training the NAR-B2B model, it needs around $27 \mathrm{~K}$ iterations using a sequence length of 512 using $207 \mathrm{M}$ sentences for 39 hours. Our model can learn around seven times larger data than Optimus with lower cost while improving performance (details in Appendix A). Experimental results based on GLUE tasks with different objectives of NAR-B2B have demonstrated strong performance of NAR-B2B models. Besides, NAR-B2B can efficiently learn and decode the large-scale dataset by providing longer sequences. In future extensions, it would be interesting to investigate how effectively we can train our PLM in several hours without degrading the performance by adapting efficient transformers like Big Bird [13], where the maximum sequence length is 4096.

We report the performance of WNLI based on 634 examples of the GLUE dataset separately in Table 3 for readers' interest. The GLUE benchmark consists of nine datasets, but BERT [1] literature ignores the WNLI dataset because of its problematic nature, as they reported. The Optimus literature reports the Optimus performance that includes WNLI; meanwhile, Optimus reports the score along with the WNLI dataset by re-running the BERT model. The Optimus model performs lower than BERT but outperforms the BERT model while adding the WNLI score. In this table, our NAR-B2B model with ground truth words (GTW) as input to the decoder model outperforms the BERT and Optimus model ${ }^{4)}$. In contrast, our NAR-B2B model with PAD setting as decoder input outperforms the BERT model

4) In decoder input, the Optimus model follows the GTW setting, while PAD setting in Optimus is absent.

 &  &  &  &  &  &  &  & Avg. \\

Table 1 Comparison of BERT, Optimus, and NAR-B2B with the AE and VAE objectives on the validation set of GLUE. (+) denotes our models performance being higher than baseline models, (-) indicates our models performance being lower. PAD denotes the decoder receives the BERT special token [PAD] as its input, while GTW denotes the decoder receives the ground truth words as its input.

Table 2 Comparison of NAR-B2B model on a sample dataset (10\% from 207M sequences). NAR-B2B performances with the AE, full-VAE, VAE, and VAE with PAD objectives. Comparison is on the validation set of GLUE.

Table 3 Comparison of BERT, Optimus (VAE), and NAR-B2B with the WNLI dataset.

but exact score to the Optimus model.

## 4 Related Work

Pre-trained Language Models (PLMs) are neural networks trained on large-scale datasets that can be fine-tuned on problem-specific data. Some of the most popular have been GPT-2 [6], XLNet [14], and XLM [15]. They became widely adapted after BERT [1] reported SOTA results for 11 NLP tasks.

Li et al. [5] proposed the first large-scale language VAE model, Optimus. They connect a BERT encoder and a GPT-2 decoder using a universal latent embedding space. The model is first pre-trained on a large text corpus and then fine-tuned for various language generation and understanding tasks. It achieves SOTA on VAE language modelling benchmarks.

Rothe et al. [2] developed a Transformer-based sequence-to-sequence models by describing several combinations of model initialization that include BERT2BERT, a BERT-initialized encoder paired with a BERT-initialized autoregressive decoder. Our implementation and architecture of NAR-B2B is a non-autoregressive VAEbased model without cross-attention which differs from BERT2BERT.

The Cyclical Annealing Schedule [11] was proposed to mitigate the problem of KL regularisation vanishing. They increase the $\beta$ weighting hyper-parameter multiple times, which progressively enables learning of more meaningful latent codes by leveraging the results of previous learning cycles as a warm restart.

NAR models have been recently investigated in NLP tasks due to their efficiency. For example, Gu et al. [16] introduced a NAR model for machine translation (MT) based on the transformer [17]. This reduced latency by $90 \%$ and achieved competitive output quality with only a slight decrease in translation performance compared to similar-sized autoregressive (AR) models. Furthermore, Gu and Kong [9] further minimised the gap with AR models achieving SOTA performance on several MT benchmarks.

## 5 Conclusion

In this paper, we introduced a fast and scalable S2S model non-autoregressive BERT-to-BERT (NAR-B2B) that aims at building a large-scale NAR pre-trained S2S model using BERT as the backbone for both encoder and decoder models. To investigate better modelling, we compared AE and VAE models in the S2S modelling. We evaluated the NAR-B2B model's contribution over the nine language understanding tasks, and the results show that the NAR-B2B model with different settings consistently performs better in comparison to the original BERT and Optimus models. In future work, we plan to expand the experiments to more language combinations for MT and additional language generation tasks.

## Acknowledgement

This paper is based on results obtained from a project JPNP20006, commissioned by the New Energy and Industrial Technology Development Organization (NEDO).

## References

[1] Jacob Devlin, et al. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL, pp. 4171-4186, 2019.

[2] Sascha Rothe, et al. Leveraging pre-trained checkpoints for sequence generation tasks. TACL, Vol. 8, pp. 264280, 2020.

[3] Mike Lewis, et al. BART: Denoising sequence-tosequence pre-training for natural language generation, translation, and comprehension. In Proceedings of ACL, pp. 7871-7880. ACL, 2020.

[4] Colin Raffel, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. JMLR, Vol. 21, pp. $1-67,2020$.

[5] Chunyuan Li, et al. Optimus: Organizing sentences via pre-trained modeling of a latent space. In Proceedings of EMNLP, pp. 4678-4699. ACL, 2020.

[6] Alec Radford, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9 , 2019.

[7] Diederik P. Kingma and Max Welling. Auto-encoding variational bayes. In ICLR, 2014.

[8] Danilo Jimenez Rezende, et al. Stochastic backpropagation and approximate inference in deep generative models. In ICML, pp. 1278-1286, 2014.

[9] Jiatao Gu and Xiang Kong. Fully non-autoregressive neural machine translation: Tricks of the trade. In Findings of ACL-IJCNLP 2021, pp. 120-133. ACL, 2021.

[10] Yinhan Liu, et al. Roberta: A robustly optimized bert pretraining approach. arXiv preprint, 2019.

[11] Hao Fu, et al. Cyclical annealing schedule: A simple approach to mitigating KL vanishing. In Proceedings of NAACL, pp. 240-250. ACL, 2019.

[12] Yukun Zhu, et al. Aligning books and movies: Towards story-like visual explanations by watching movies and reading books. In ICCV, 2015.

[13] Manzil Zaheer, et al. Big bird: Transformers for longer sequences. NeurIPS, Vol. 33, , 2020.

[14] Zhilin Yang, et al. Xlnet: Generalized autoregressive pretraining for language understanding. In NeurIPS, Vol. 32, pp. 5753-5763, 2019.

[15] Alexis Conneau and Guillaume Lample. Cross-lingual language model pretraining. In NeurIPS, Vol. 32, pp. 7059-7069, 2019.

[16] Jiatao Gu, et al. Non-autoregressive neural machine translation. In ICLR, 2018.

[17] Ashish Vaswani, et al. Attention is all you need. NIPS, Vol. 30, pp. 6000-6010, 2017.

[18] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In ICLR, 2019.

[19] Alex Wang, et al. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the BlackboxNLP Workshop, pp. 353-355. ACL, 2018.

## A Computational Efficiency

Table 4 shows the computational efficiency of NAR-B2B in comparison to the Optimus model. We train the Optimus and NAR-B2B based on a single epoch. Optimus can use a larger batch size because of the shorter sequence length.

Table 4 Computational details

## B Experimental Settings

## B. 1 Pre-training

The BookCorpus data set is already processed into 86M sentences. We load Wikipedia with the version of 20200501.en from huggingface datasets and split the text from text field into sentences by detecting newlines that lead to $121 \mathrm{M}$ sentences. We ignore the title field in Wikipedia. To pre-train our NAR-B2B model, our model receives $207 \mathrm{M}$ sentences from combining BookCorpus and Wikipedia datasets. Using sentence merging described in Section 2.1, it further compresses the data from 207M into $16 \mathrm{M}$ longer sequences split into 100 files as the input to the BERT model.

The NAR-B2B model we trained had 12 layers in the encoder and decoder. We used a batch size of 600 and trained the model for 13,302 steps. We optimized our PLM models using AdamW [18] with the learning rate of 5e-5 for BERT-base-cased. We trained each language model with 200 GPUs (NVIDIA V100 for NVLink 16GiB) with a batch size of 600 . The maximum sequence length is set to 512 .

## B. 2 Language Understanding

We consider the GLUE benchmark [19], which consists of nine datasets for general language understanding. Following the fine-tuning setting in $[1,5]$, we use the learning rate $[2,3,4,5] \times 10^{-5}$ with different seeds and train the model for three epochs. We select the best performances among different runs. We employ Optimus evaluation script ${ }^{5)}$ for GLUE to report all the scores.


# Retrieval, Masking, and Generation : マスクされた解説文を活用した文法誤り解説文生成

庵愛佐藤宏田中智大増村亮
日本電信電話株式会社 NTTコンピュータ\&データサイエンス研究所
mana.ihori.kx@hco.ntt.co.jp

## 概要

本稿では，文法誤り解説文生成タスクのための新 たな手法を提案する，本タスクは，文法誤りを含む 入力文と修正位置が与えられると, 修正位置がなぜ 誤っているかを解説する文章を生成するため，言語学習者にとって有益なタスクである。従来，本タス クにはデータプールから検索した解説文を入力文 に応じて編集する手法が有効だと考えられたが，過剩な編集が起こるために性能が低いという課題が あった.そこで本稿では，過剰な編集を防ぐため に，検索した解説文の編集すべきトークンをマスク し，そのトークンを予測する retrieval, masking, and generation を提案する. 文法誤り解説文生成タスク を用いた評価実験により，自動評価と人手評価で従来手法よりも高い性能を達成することを示す.

## 1 はじめに

文法誤り解説文生成は，文法誤り訂正タスク [1-4] のように誤りを直接修正するのではなく，入力文の 修正位置がなぜ誤っているかを解説するタスクで ある [5]. 具体的には，文法誤りを含む入力文（例 えば, “He agrees the opinion.”) と文字単位の範囲と して与えられる修正位置（3:13）が与えられた場合 に，修正位置に対する解説文 ("The verb agree is an intransitive verb and cannot take direct objects. Add the appropriate preposition.”)を生成する。本タスクは自身の文法誤りの原因を知ることができるため，言語学習者にとってより有益なタスクだと考えられる.

従来，本タスクに対して retrieval [5], simple generation [6], retrieve-and-edit [7] の 3 つの手法が提案され ている。まず，retrieval はデータプールから入力文 に対して適切な解説文を検索する手法である。この 手法では，モデル化は比較的容易に行えるが，検索 された解説文の編集ができないという課題がある.次に, simple generation は入力文から直接解説文を 生成する手法である. そのため，入力文に応じて柔軟な解説文の生成が期待できるが，スクラッチで解説文を生成する必要があるため, retrieval よりもモ デル化が難しい。最後に，retrieve-and-edit は，これ ら手法の利点を組み合わせた手法である。具体的 には，retrieval によって検索された解説文を simple generation の入力に用いることで，入力文に応じて 検索された解説文を書き換える手法であり, simple generation よりも高い性能を達成することが期待さ れている。しかし, retrieve-and-edit は検索された解説文のうち，編集する必要のないトークンを過剩に 書き換えてしまうため，従来手法の中で最も性能が 低いことが報告されている [8].

本稿では, retrieve-and-edit の課題を解決するた めに，この手法を拡張した retrieval, masking, and generation を提案する. 提案手法は，検索，マスク，生成の 3 つのモジュールから構成され, retrieve-andedit にマスクモジュールを導入したものである. マ スクモジュールは，検索された解説文のうち，正解 の解説文に含まれないトークンをマスクするよう に，各トークンに対してマスクトークンに置換する か，しないかの二值分類を行う．ここで作成される マスクされた解説文を生成モジュールの入力に用い ることで，マスクトークンを予測するように新たな 解説文を生成できるため，検索された解説文の過剩 な書き換えを防ぐことを期待している。ここで，提案手法は各モジュールの出力をカスケード接続する ため，直前のモジュールの性能が後続のモジュール の性能に影響する。この影響を軽減するため，推論時に検索モジュールの上位 1 個のみではなく,$k$ 個 の結果を用いる multi-decoding を提案する. 文法誤 り解説文生成タスクを用いた評価実験により，自動評価で提案手法が従来手法よりも高い性能を達成す ることを示す。また，提案手法を用いてシェアード

タスクである Generation Challenge 20221) に参加した ため，その結果についても報告する。

## 2 提案手法

図 1 に検索，マスク，生成モジュールから構成 される提案手法の概要を示す. 本稿では，解説文生成タスクの入力文を $\boldsymbol{X}=\left.\{x_{1}, \cdots, x_{M}\right.\}$ ，解説文を $\boldsymbol{Y}=\left.\{y_{1}, \cdots, y_{N}\right.\}$ と定義する. このとき, $x_{m}$ と $y_{n}$ は 入力, 解説文に含まれるトークンを， $M$ と $N$ はそれ ぞれのトークン数を表す。また，修正位置を位置ラ ベル $\boldsymbol{P}=\left.\{p_{1}, \cdots, p_{M}\right.\}$ (このとき, $\left.p_{m} \in\{0,1\}\right)$ に変換する. 例えば，入力文が $\{\mathrm{He}$, agrees, the, opinion, $.$\} , 修正位置が 3:13 の場合, \boldsymbol{P}=\{0,1,1,0,0\}$ となる.

## 2.1 検索モジュール

本モジュールでは, $\boldsymbol{X}$ と $\boldsymbol{P}$, 解説文の集合から選択された $\boldsymbol{Y}$ をれぞれべクトルに変換し，ベクトル 間の最も高いコサイン類似度を示す $\boldsymbol{Y}$ を出力する。 コサイン類似度 $s$ は, 式 (1)によって導出される。

$
s=\text { retreival }\left(\boldsymbol{X}, \boldsymbol{P}, \boldsymbol{Y} ; \boldsymbol{\Theta}_{\text {ret }}\right)
$

ここで, retreival() は検索モジュールの関数, $\boldsymbol{\Theta}_{\text {ret }}$ は学習可能なパラメータを表す。

retreival() で行われる処理を以下に示す.ま ず，式 (2-3) に従って， $\boldsymbol{X}$ と $\boldsymbol{Y}$ を隠れ表現 $\boldsymbol{Q}=$ $\left.\{\boldsymbol{q}_{1}, \cdots, \boldsymbol{q}_{M}\right.\}$ と $\boldsymbol{R}=\left.\{\boldsymbol{r}_{1}, \cdots, \boldsymbol{r}_{N}\right.\}$ に変換する.

$
\begin{aligned}
& \boldsymbol{Q}=\text { TransformerEncoder }\left(\boldsymbol{X} ; \boldsymbol{\Theta}_{\text {ret }}\right) \\
& \boldsymbol{R}=\text { TransformerEncoder }\left(\boldsymbol{Y} ; \boldsymbol{\Theta}_{\text {ret }}\right)
\end{aligned}
$

ここで, TransformerEncoder()は [9] と同様の構造で ある Transformer ベースのエンコーダを表す. 本稿 では，このエンコーダに事前学習済みの BERT [10] を用いる。次に，式 (4) に従って， $\boldsymbol{Q}$ と $\boldsymbol{P}$ 用いて 入力文を単一のべクトルに変換する.

$
\boldsymbol{u}=\sum_{m=1}^{M} \boldsymbol{q}_{\boldsymbol{m}} \cdot p_{m}
$

また，データプールから選択された解説文は，文頭 の [CLS]トークンの隠れ表現 $\left(\boldsymbol{r}_{1}\right)$ を用いることで，単一のベクトルに変換する. 最後に， $\boldsymbol{u}$ と $\boldsymbol{r}_{1}$ のコサ イン類似度を式 (5) から導出する。

$
\text { retreival }\left(\boldsymbol{X}, \boldsymbol{P}, \boldsymbol{Y} ; \boldsymbol{\Theta}_{\text {ret }}\right)=\frac{\boldsymbol{u} \cdot \boldsymbol{r}_{1}}{\|\boldsymbol{u}\|\left.\|\boldsymbol{r}_{1}\right.\|}
$

学習: 本モジュールは, $\mathscr{D}_{\text {ret }}=\left.\{\left(\boldsymbol{X}^{1}, \boldsymbol{P}^{1}, \boldsymbol{Y}\right.\right.$, $\left.\left.\delta^{1}\right), \cdots,\left(\boldsymbol{X}^{C}, \boldsymbol{P}^{C}, \boldsymbol{Y}, \delta^{C}\right)\right.\}$ を用いて学習される.

ここで, $C$ は入力文と位置ラベルの総数を, $\mathcal{Y}=\left.\{\boldsymbol{Y}^{1}, \cdots, \boldsymbol{Y}^{D}\right.\}$ は総数 $D$ の解説文の集合を表す. また, $\delta^{c}=\left.\{s^{c, 1}, \cdots, s^{c, D}\right.\}$ は $\boldsymbol{X}^{c}$ に対する正解の解説文 $\boldsymbol{Y}^{c}$ と， $y$ から選択した $\boldsymbol{Y}^{d}$ の Levenshtein 類似度 [11]の集合を表す.このモジュールは, $\boldsymbol{X}^{c}$ と $\boldsymbol{P}^{c}$, $\boldsymbol{Y}^{d}$ から作成されるべクトル間の類似度が $s^{c, d}$ に近 づくように式 (6)より学習される.

$
\begin{aligned}
\mathscr{L}_{\text {ret }}= & \frac{1}{C \cdot D} \sum_{c=1}^{C} \sum_{d=1}^{D} \\
& \left(s^{c, d}-\operatorname{retreival}\left(\boldsymbol{X}^{c}, \boldsymbol{P}^{c}, \boldsymbol{Y}^{d} ; \boldsymbol{\Theta}_{\text {ret }}\right)\right)^{2}
\end{aligned}
$

検索： 式 (7) に従って，y から最大のコサイン 類似度を示す $\tilde{\boldsymbol{Y}}$ を抽出する。

$
\tilde{\boldsymbol{Y}}=\underset{\boldsymbol{Y} \in \mathcal{Y}}{\arg \max } \operatorname{retreieval}\left(\boldsymbol{X}, \boldsymbol{P}, \boldsymbol{Y} ; \boldsymbol{\Theta}_{\text {ret }}\right)
$

## 2.2 マスクモジュール

本モジュールでは， $\boldsymbol{X}$ と $\boldsymbol{P}, \tilde{\boldsymbol{Y}}$ が与えられた場合 に， $\tilde{\boldsymbol{Y}}$ の各トークンに対してマスクするか，しない かの二值分類を行う. 具体的には，マスクラベル $\boldsymbol{L}=\left.\{l_{1}, \cdots, l_{N}\right.\}$ （このとき， $l_{n} \in\{0,1\} ）$ を式 (8)に 従って出力する.

$
P\left(\boldsymbol{L} \mid \boldsymbol{X}, \boldsymbol{P}, \tilde{\boldsymbol{Y}} ; \boldsymbol{\Theta}_{\text {mask }}\right)=\prod_{n=1}^{N} P\left(l_{n} \mid \boldsymbol{X}, \boldsymbol{P}, \tilde{\boldsymbol{Y}} ; \boldsymbol{\Theta}_{\text {mask }}\right)
$

ここで， $\boldsymbol{\Theta}_{\text {mask }}$ は学習可能なパラメータを表す。

本モジュールは検索モジュールと同様のモ デルアーキテクチャで用いることが可能であ る. そのため，式 (2-4)より，Xと $\boldsymbol{P}$ を $\boldsymbol{u} ， \tilde{\boldsymbol{Y}}$ を $\boldsymbol{R}=\left.\{\boldsymbol{r}_{1}, \cdots, \boldsymbol{r}_{N}\right.\}$ に変換する. 次に， $\tilde{\boldsymbol{Y}}$ の各トーク ンに対する二値分類を式 (9-10) によって算出する.

$
\begin{gathered}
P\left(l_{n} \mid \boldsymbol{X}, \boldsymbol{P}, \tilde{\boldsymbol{Y}} ; \boldsymbol{\Theta}_{\text {mask }}\right)=\operatorname{softmax}\left(\boldsymbol{v}_{n} ; \boldsymbol{\Theta}_{\text {mask }}\right) \\
\boldsymbol{v}_{n}=\left[\boldsymbol{u}^{\mathrm{T}}, \boldsymbol{r}_{n}^{\mathrm{T}}\right]^{\mathrm{T}}
\end{gathered}
$

ここで，softmax() は活性化関数 softmax を用いた線形変換を表す.

学習: 本モジュールは, $\mathscr{D}_{\text {mask }}=\left.\{\left(\boldsymbol{X}^{1}, \boldsymbol{P}^{1}, \boldsymbol{Y}\right.\right.$, $\left.\left.\mathscr{L}^{1}\right), \ldots,\left(\boldsymbol{X}^{C}, \boldsymbol{P}^{C}, \mathscr{Y}, \mathscr{L}^{C}\right)\right.\}$ を用いて学習される.こ こで, $\mathscr{L}^{c}=\left.\{\boldsymbol{L}^{c, 1}, \cdots, \boldsymbol{L}^{c, D}\right.\}$ は, $\mathscr{y}$ から選択した $\boldsymbol{Y}^{d}$ のトークンのうち， $\boldsymbol{Y}^{c}$ に含まれないトークンを 1 ， それ以外を 0 としたラベル集合を表す. 本モジュー ルは，式 (11)に示すクロスエントロピー損失を用い て学習される。

$
\mathscr{L}_{\text {mask }}=-\sum_{c=1}^{C} \sum_{d=1}^{D} \log P\left(\boldsymbol{L}^{c, d} \mid \boldsymbol{X}^{c}, \boldsymbol{P}^{c}, \boldsymbol{Y}^{d} ; \boldsymbol{\Theta}_{\text {mask }}\right)
$

図 1 提案手法の概要

マスク処理： 本モジュールの推論は，式 (12)に よって実行される.

$
\hat{\boldsymbol{L}}=\underset{\boldsymbol{L}}{\arg \max } P\left(\boldsymbol{L} \mid \boldsymbol{X}, \boldsymbol{P}, \tilde{\boldsymbol{Y}} ; \boldsymbol{\Theta}_{\text {mask }}\right)
$

をマスクした $\bar{Y}$ を出力する.

$
\overline{\boldsymbol{Y}}=\operatorname{MASK}(\tilde{\boldsymbol{Y}}, \hat{\boldsymbol{L}})
$

MASK() は $\hat{\boldsymbol{L}}$ のラベルが 1 のとき，そのラベルに対応 する $\tilde{Y}$ のトークンをマスクトークンに置換する処理 を表す。このとき，生成モジュールではマスクトー クンの数だけトークンを予測する必要があるが，こ こで置換したマスクトークンの数と生成すべきトー クンの数は必ずしも一致するわけではない. そこで 本稿では，1つのマスクトークンから複数のトーク ンを予測できる，span masking [12]を用い，連続す るマスクトークンは 1 つのマスクトークンに置換す る. そのため， $\tilde{\boldsymbol{Y}}$ と $\overline{\boldsymbol{Y}}$ のトークン数は同じであると は限らない，また，すべてのラベルが 0 の場合，生成モジュールを介さず，直接 $\tilde{\boldsymbol{Y}}$ 出力する.

## 2.3 生成モジュール

本モジュールでは,$\overline{\boldsymbol{X}}=\left.\{\bar{x}_{1}, \cdots, \bar{x}_{M}\right.\}$ と $\overline{\boldsymbol{Y}}$ が与え られた場合に，Yを生成する。ここで， $\bar{X}$ は修正位置の範囲に含まれるトークンを括弧で囲むことによ り，あらかじめ修正位置の情報を付与した入力文で ある。具体的には， $\overline{\boldsymbol{X}}$ と $\overline{\boldsymbol{Y}}$ 特殊トークン [SEP] で 連結した, $\boldsymbol{Z}=\left.\{\bar{x}_{1}, \cdots, \bar{x}_{M},[\mathrm{SEP}], \bar{y}_{1}, \cdots, \bar{y}_{N}\right.\}$ を入力 として，式 (14) に従って $\boldsymbol{Y}$ を生成する.

$
P\left(\boldsymbol{Y} \mid \boldsymbol{Z} ; \boldsymbol{\Theta}_{\mathrm{gen}}\right)=\prod_{n=1}^{N} P\left(y_{n} \mid y_{1}, \cdots, y_{n-1}, \boldsymbol{Z} ; \boldsymbol{\Theta}_{\mathrm{gen}}\right)
$

ここで， $\boldsymbol{\Theta}_{\text {gen }}$ は学習可能なパラメータを表す.

本モジュールは, Transformer ベースの encoderdecoder モデルで構成される。まず， $\boldsymbol{Z}$ を式 (15) に よって隠れ表現 $\boldsymbol{H}$ に変換する.

$
\boldsymbol{H}=\operatorname{TransformerEncoder}\left(\boldsymbol{Z} ; \boldsymbol{\Theta}_{\text {gen }}\right)
$

次に， $y_{1}, \cdots, y_{n-1}$ と $\boldsymbol{H}$ を用いて， $y_{n}$ の事後確率を 式 (16-17) に基づいて算出する.

$
\begin{gathered}
P\left(y_{n} \mid y_{1}, \cdots, y_{n-1}, \boldsymbol{Z} ; \boldsymbol{\Theta}_{\text {gen }}\right)=\operatorname{softmax}\left(w_{n} ; \boldsymbol{\Theta}_{\text {gen }}\right) \\
w_{n}=\operatorname{TransformerDecoder}\left(y_{1}, \cdots, y_{n-1}, \boldsymbol{H} ; \boldsymbol{\Theta}_{\text {gen }}\right)
\end{gathered}
$

ここで，TransformerDecoder() は [9] と同様の構造 である Transformer ベースのデコーダを表す. 本稿 では，この encoder-decoder モデルに事前学習済みの T5 [12]を用いる.

学習： 本モジュールは, $\mathscr{D}_{\mathrm{gen}}=\left.\{\left(\boldsymbol{Z}^{1}, \boldsymbol{Y}^{1}\right), \cdots\right.$, $\left.\left(\boldsymbol{Z}^{\left|D_{\mathrm{gen}}\right|}, \boldsymbol{Y}^{\left|\Phi_{\mathrm{gen}}\right|}\right)\right.\}$ を用い，式 (18) に示すクロスエン トロピー損失によって学習される。

$
\mathscr{L}_{\text {gen }}=-\sum_{(\boldsymbol{Z}, \boldsymbol{Y}) \in \mathscr{D}_{\text {gen }}} \log P\left(\boldsymbol{Y} \mid \boldsymbol{Z} ; \boldsymbol{\Theta}_{\text {gen }}\right)
$

デコード： デコードは式 (19) によって算出さ れる.

$
\hat{\boldsymbol{Y}}=\underset{\boldsymbol{Y}}{\arg \max } P\left(\boldsymbol{Y} \mid \boldsymbol{Z} ; \boldsymbol{\Theta}_{\text {gen }}\right)
$

## 2.4 multi-decoding

提案手法では，3つのモジュールの出力をカス ケード接続するため，各モジュールの性能は直前 のモジュールの性能に依存する。そこで，最終的 に出力される解説文の信頼度を高める方法として, multi-decoding を提案する. multi-decoding は検索モ ジュールで上位 1 個ではなく， $k$ 個の解説文を検索 する. ここで検索された $k$ 個の解説文を用い，1つ の入力文に対して $k$ 個の解説文を生成する. これ ら $k$ 個の解説文から，1つの解説文を選択すること で最終的な出力を決定する。選択方法として，同じ 入力文に対して重複している解説文の数を算出し,最も多い解説文を選択する。しかし，重複している 数が同じであったり，すべての解説文が重複してい ない可能性もある. そのような場合，ある解説文 とそれ以外の $k-1$ 個の解説文，および入力文との Levenshtein 類似度を算出し，その平均値が最も高い ものを選択することで 1 つの解説文を出力する.

## 3 評価実験

## 3.1 実験条件

データ： Generation Challenge 2022 で提供され た, 入力文, 修正位置, 解説文がセットになった データセットを用い，2 章の各データセットを作成 する. まず， D ret では，y は上記データセットの 学習セットを用いる. ここで, 学習セットのすべて の $\boldsymbol{Y}^{d}$ を用いて $s^{c, d}$ を算出すると，類似度が低いも のが多い不均衡なデータセットになる．そこで，類似度の小数点第一位が同じものが 5 個以下になるよ うに $Y^{d}$ をランダムに削除した. 次に， $D_{\text {mask }}$ では， $y$ は $D_{\text {ret }}$ と同じものを用い, $\boldsymbol{Y}^{d}$ のうち, $\boldsymbol{Y}^{c}$ に含ま れないトークンを 1 , それ以外を 0 として $\boldsymbol{L}^{c, d}$ を作成した. 最後に, $D_{\text {gen }}$ では, $D_{\text {ret }}$ 作成時に算出し た類似度を用い, 各 $\boldsymbol{X}^{c}$ に対して 10 件の $\boldsymbol{Y}^{d}$ を抽出 し, $\mathscr{D}_{\text {mask }}$ の $\boldsymbol{L}^{c, d}$ から $\overline{\boldsymbol{Y}}^{d}=\operatorname{MASK}\left(\boldsymbol{Y}^{d}, \boldsymbol{L}^{c, d}\right)$ を得るこ とで $Z$ を作成した. 表 1 にそれぞれの詳細を示す.

設定： 本稿では, 提案手法, 検索と生成モジュー ルを用いた retrieve-and-edit, 検索モジュールのみ の retrieval, 生成モジュールのみの simple generation を実装した。これらの手法は，事前学習済みモデ ルを fine-tuning することで学習され，BERTには HaggingFace 社 [13] の bert-based-cased を，T5には t5-baseを用いた. retrieve-and-edit の生成モジュール は検索された解説文をマスクしない $\mathscr{D g e n}_{\mathrm{gen}}$, simple generation は提供データセットを用いて fine-tuning した. また, fine-tuning 時は RAdam [14]による最適化を行い, multi-decoding では, $k=7$ とした.

## 3.2 結果

表 2 に文法誤り解説文生成の評価結果を示す. 表中の値は, BLEU [15] による自動評価と, Generation Challenge 2022 による 1 名のラベラーの人手評価 を表す. 表より，自動評価，人手評価の両方で multi-decoding を用いた提案手法が最高性能を達成 した. 提案手法では, multi-decoding によって一つ の入力文に対して複数の解説文が生成され，より正解に近い解説文を選択できたために性能が向上し たと考えられる．実際に，同じ入力に対して異な るマスクされた解説文を用いることで，異なる解説文が生成されていた。一方, retrieve-and-editでは multi-decoding による性能向上は起こらず，同じ入力文に対して異なる検索された解説文を用いても，表 1 各データセットのデータ数

表 2 文法誤り解説文生成における評価結果

全く同じ解説文を生成することがほとんどであっ た. そのため, retrieve-and-edit は検索された解説文 を活用して新たな解説文を生成するのではなく，入力文に対してスクラッチで解説文を生成していると 考えられる. また, simple generation よりも性能が高 いのは，単純に学習データ量が多かったためだと考 えられる，以上より，提案手法では入力のマスクを 予測するように解説文を生成でき，検索した解説文 を従来手法よりも有効に活用できると考えられる。

また，提案手法の推論時にマスクモジュールの予測結果ではなく，オラクルを用いた場合の性能も表 に示す。表より，検索された解説文に対してオラク ルのマスクを用いると，性能が大幅に向上すること が示された. これは，各モジュールを個別に最適化 しているために，誤りを含む予測結果の入力が生成 の性能を劣化させたためだと考えられる。この性能 の劣化は multi-decoding によって低減できるが，よ り性能を向上させるためには，学習時に予測結果を 入力するなど，学習方法を再検討する必要がある. ここでの実際の出力結果の例は付録に示す.

## 4 おわりに

本稿では, 文法誤り解説文生成のための, retrieval, masking, and generation を提案した. 提案手法は，マ スクされた解説文を大力に用いることで，マスク トークンを予測するように解説文を生成する．ま た，提案手法は各モジュールの出力をカスケード接続するため, 推論時に上位 1 個だけではなく, $k$ 個 の検索された解説文を用いる multi-decoding を提案 した. 文法誤り解説文生成を用いた評価実験の結果，提案手法は従来手法より高い性能を達成した が，学習方法に改善の余地があることが示された。

## 参考文献

[1] Zheng Yuan and Ted Briscoe. Grammatical error correction using neural machine translation. In Proc. Conference of the North American Chapter of the Association for Computational Linguistics (NAACL), pp. 380-386, 2016.

[2] Courtney Napoles and Chris Callison-Burch. Systematically adapting machine translation for grammatical error correction. In Proc. Workshop on Innovative Use of NLP for Building Educational Applications (BEA), pp. 345-356, 2017.

[3] Marcin Junczys-Dowmunt, Roman Grundkiewicz, Shubha Guha, and Kenneth Heafield. Approaching neural grammatical error correction as a low-resource machine translation task. In Proc. Conference of the North American Chapter of the Association for Computational Linguistics (NAACL), pp. 595-606, 2018.

[4] Shun Kiyono, Jun Suzuki, Masato Mita, Tomoya Mizumoto, and Kentaro Inui. An empirical study of incorporating pseudo data into grammatical error correction. In Proc. Conference on Empirical Methods in Natural Language Processing and International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 1236-1242, 2019.

[5] Ryo Nagata. Toward a task of feedback comment generation for writing learning. In Proc. Conference on Empirical Methods in Natural Language Processing and International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3206-3215, 2019 .

[6] Abigail See, Peter J Liu, and Christopher D Manning. Get to the point: Summarization with pointer-generator networks. In Proc. Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1073-1083, 2017.

[7] Tatsunori B Hashimoto, Kelvin Guu, Yonatan Oren, and Percy S Liang. A retrieve-and-edit framework for predicting structured outputs. In Proc. Advances in Neural Information Processing Systems (NeurIPS), p. 10052-10062, 2018.

[8] Kazuaki Hanawa, Ryo Nagata, and Kentaro Inui. Exploring methods for generating feedback comments for writing learning. In Proc. Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 97199730, 2021.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proc. Advances in neural information processing systems (NIPS), pp. 5998-6008, 2017.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[11] Vladimir I Levenshtein, et al. Binary codes capable of correcting deletions, insertions, and reversals. In Soviet physics doklady, pp. 707-710, 1966.
[12] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, pp. 1-67, 2020.

[13] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proc. Conference on Empirical Methods in Natural Language Processing: System Demonstrations (EMNLP), pp. 38-45, 2020.

[14] Liyuan Liu, Haoming Jiang, Pengcheng He, Weizhu Chen, Xiaodong Liu, Jianfeng Gao, and Jiawei Han. On the variance of the adaptive learning rate and beyond. In Proc. International Conference on Learning Representations (ICLR), 2019.

[15] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proc. the Association for Computational Linguistics (ACL), pp. 311-318, 2002.

## A 付録

3 章の文法誤り解説文生成の評価実験における生成例を表 A.1，A. $2 ，$ A. 3 に示す.ここで，表 A. 1 は提案手法を，表 A. 2 は retrieve-and-editを用いて生成した解説文を示す。また，表 A. 3 は，提案手法において生成モ ジュールの入力にマスクモジュールの出力を用いた場合とオラクルを用いた場合の比較を示す.

## 表 A. 1 提案手法の出力結果の例

} \\

表 A. 3 提案手法におけるマスクの予測とオラクルの比較の例

 &  \\

マスクされた解説文のうち，太字の文字はマスクトークンではないのに変更された文字を表す. 生成された解説文のうち，赤色の 文字はマスクされた解説文に含まれない文字を表す.


# 原文の書き換えによる広告文生成

村上 聡一朗 1 菊田 洸 ${ }^{1}$ 張 培楠 1 上垣外 英剛 2,4 高村大也 3,4 奥村 学 4
1 株式会社サイバーエージェント 2 奈良先端科学技術大学院大学
3 産業技術総合研究所 4 東京工業大学
\{murakami_soichiro,kikuta_ko,zhang_peinan\}@cyberagent.co.jp
kamigaito.h@is.naist.jp takamura.hiroya@aist.go.jp oku@pi.titech.ac.jp

## 概要

本研究では商品ぺージ等から抽出した文 (原文) を広告文として用いることを狙い，原文の体裁を整 える書き換えモデルを提案する。同モデルでは，原文の長所である忠実性をいかに損なわず啇切な広告文へ書き換えられるかが重要な課題となる。これに 対し本研究では，書き換えモデルの学習データの忠実性を高めることで同モデルの忠実性を保証する方法を試みる．自動評価および人手評価の結果，書き 換えモデルにより原文の忠実性を保ちつつ広告とし て適切な文へ書き換えられることを確認した。

## 1 はじめに

広告文は，消費者の興味を惹きつけ，商品・サー ビスの申込みや購入といった購買行動を促す重要な 役割を担っている. その一方で，急拡大するオンラ イン広告の需要に伴い人手による広告制作は限界を 迎えつつあり，広告制作の自動化が期待されている。近年ではニューラルベースの生成型手法が盛んに研究されている $[1,2,3]$. しかし, 生成型手法には入力の商品説明ページ (Landing Page; LP）と一貫しな い出力，すなわち忠実性の低い文を生成してしまう 致命的な問題が指摘されており, 自動生成技術を広告制作現場で運用する上で大きな障壁となってい る [4]. そのため, 正確な広告文の制作が求められ る実運用では，誤りの可能性がほとんど無いテンプ レート [5] や抽出型手法 [6] が重宝されている.

本研究では，LP から広告見出し文（以下，広告文）を生成する問題 $[2,3,7]$ を例として，抽出型手法に焦点を当てる. 図1のように，LPには購買行動 を促すような有益な文が多く含まれる。しかし，抽出型手法により有益な抽出文（以下，原文）が得ら れたとしても広告文の文長制約1) や不要な記号を含

1） Google 広告では全角 15 文字の文字数制限を設けている.

図 1 書き換えモデルの適用例

む等の理由から広告として使用できないことが多々 ある [8]. 例えば，図 1 の原文 (22 文字) は不要な記号「四を含み，文長制約も超過するため広告文と して利用できない. したがって原文を適切に加工す る必要がある. Fujita [8] らは依存木の刈り込みによ る広告文生成手法を提案したが，刈り込みパターン を人手で構築する必要があるという課題があった.

本研究では，原文の文長や文体等の体裁を整える 処理を系列変換問題として考え，原文から広告文を 生成する書き換えモデルを提案する. 本研究では，後述する方法 (§2.1) によって構築した原文と広告文 のペアデータを用いてモデルを学習する。ここで最 も配慮すべきことは，原文の忠実性を損なわずに広告として適切な文へ書き換えることができるかであ り，忠実性の保証は最重要課題である．そこで本研究では, 忠実性の高い学習データが生成型要約の忠実性改善に寄与したという報告 [9] に基づき，書き 換えモデルの学習データの忠実性を高めることで忠実性を保証できないかと考えた。具体的には原文と 広告文の入出力ペアを構築する際に忠実性の低いぺ アを除去することで学習データの改善を狙う，加え て，フィルタリングによって学習事例数が減少し生成品質が劣化する問題に対して，本来除外される全 ての事例を活用する学習方法を導入し, 生成品質の 改善に寄与するかを検証する. 自動評価と人手評価 の結果，提案モデルにより忠実性を保ちつつ広告と して適切な文へ書き換えできることを確認した。

## 2 提案手法

本研究では，LP から抽出された原文から適切な 文長かつ文体を満たす広告文を生成する書き換えモ デルを提案する. 広告データは各 LP に対して複数 の広告文が対応するデータである. $N$ 文の原文を含 む LPを $X=\left[x_{1}, x_{2}, \ldots, x_{N}\right] ， M$ 文の広告文集合を $Y=\left.\{y_{1}, y_{2}, \ldots, y_{M}\right.\}$ と表記する. なお，原文 $x_{i}$, 広告文 $y_{j}$ は単語系列である. 本研究では, モデルに事前学習済み Transformer [10] を用い，原文 $x_{i}$ から広告文 $y_{j}$ を生成する系列変換問題を後述の学習デー タにより追加学習する. 以降では，書き換えモデル のデータセット構築および学習方法を説明する.

## 2.1 データセット構築

書き換えモデルの学習データとして，原文 $x_{i}$ と 広告文 $y_{j}$ のペアを作成する. 本研究では文書要約の先行研究 $[11,12]$ に倣い，各原文と広告文の ROUGE-1 (再現率) スコア [13] に基づいて文ペア $\left(x_{i}, y_{j}\right)$ を作成する. 以降では，文ペア $\left(x_{i}, y_{j}\right)$ の同 スコアを $\operatorname{Score}\left(x_{i}, y_{j}\right) \in[0,1]$ と表記する. 本研究で は，原文 $x_{i}$ の単語を多く含む広告文 $y_{j}$ からなる文 ペア，すなわちスコアが高い文ぺアは忠実性が高い と仮定する。したがって，まず全ての原文 $x_{i}$ と各広告文 $y_{j}$ のスコアを算出し，スコアが高いぺアを 優先してデータセットへ加える. 本研究では, より 多くの文ペアを作成するために各広告文 $y_{j}$ と全て の原文 $X$ のスコアを算出したのち，スコアが上位 10 件の文ペアをデータセット $D へ$ 追加する．しか し，Yの中には原文 $x_{i}$ と対応付けが難しい広告文 $y_{j}$ も多く存在しており, 結果的に忠実性の低いぺ アが Dに混入する恐れがある。 そのため本研究で は, $\operatorname{Score}\left(x_{i}, y_{j}\right)$ が閾値 $\alpha$ 未満の文ペアを DD から除去することで，より忠実性の高い学習データを構築 する．本稿では，フィルタリング後の閾値 $\alpha$ 以上の ペアからなる学習データを $D_{\geq \alpha}$ と表記する.

## 2.2 学習方法

フィルタリングにより学習データの忠実性は期待 できる一方で，学習事例数が減少することで生成文 の品質が劣化することが懸念される. そこで本研究 では，以下の各手法により学習事例数を減らすこと なく生成文の忠実性を保証できるか検証する。

2 段階追加学習 (Two-stage Training) Dには間值 $\alpha$ 未満の忠実性が低い文ペア（以下，ノイズ）も含まれるが，出力側は人手で書かれた品質の高い 広告文であるため，全ぺアデータ Dを学習に活用 したい。そこで，全学習事例 Dとフィルタリング 後の $D_{\geq \alpha}$ に対する 2 段階追加学習を実施する. 具体的には，まず事前学習済み Transformerに対して Dを用いた 1 回目の追加学習を行い，その後，より 忠実性の高い $D_{\geq \alpha}$ を用いた 2 回目の追加学習を実施する。これにより， 1 回目で広告文の生成方法を 獲得し， 2 回目で忠実性を改善することを期待する.

タグによる制御 (Control Codes) Dの各文ぺア $\left(x_{i}, y_{j}\right)$ の忠実性をスタイルと見なし, タグにより生成文の忠実性を制御する。具体的には先行研究 [14] に倣い，入力の先頭に各文ぺアの忠実性を表すタグ を連結する．各文ぺアの忠実性を表す指標として $\operatorname{Score}\left(x_{i}, y_{j}\right)$ を用い，同スコアを 5 つの区間に等分割することで各区間に対応するタグ (<S0>, <S8> 等) を作成する.ここで， $\left.\langle\operatorname{SO}>\right.$ は $\operatorname{Score}\left(x_{i}, y_{j}\right) \in[0,0.2]$ の文ペア, <S8> は $\operatorname{Score}\left(x_{i}, y_{j}\right) \in(0.8,1]$ の文ペアに 付与するタグを表す。これにより，学習時に全ての 事例を活用できる．推論時には<S8>を用いること で忠実性が高い文が生成されることを期待する.

## 3 実験

書き換えモデルの効果検証のために，原文が事前 に与えられる設定で同モデルの有用性を検証する。

## 3.1 実験設定

データセット (1) 広告データの収集，(2) 原文-広告文ペア構築の工程により書き換えモデルのデータ セットを構築した。(1) まず Web 上の広告配信デー タから全 31 社分の広告データ (以下，元データ)を 24,525 件用意し，15,000 件，4,919 件，4,606 件の学習, 開発, 評価データへ分割した. ここでLP と広告文集合のセット $(X, Y)$ が 1 件であり， $X$ と $Y$ に含ま れる平均文数はそれぞれ 212.2 文，12.5 文である. (2) 次に，元データから $\$ 2.1$ の手法により原文-広告文のペア $\left(x_{i}, y_{j}\right)$ を作成した. 元データには同じ広告文も含まれるため重複削除を行った。その結果,書き換えモデルの学習, 開発，評価データとして 39,430 件， 534 件，1,824 件のペアが得られた.ここ で，学習データはフィルタリング前のデータあり，開発，評価データには間值 $\alpha$ が 0.7 以上のぺアを採用した。構築したペアデータの例を付録 $\mathrm{A}$ に示す.

実装 書き換えモデルには事前学習済み mT5 [15] を用いる。その他の詳細は付録 B に記載する。
表 1 「日本語が不適切」と人手でラベル付けされた例。 なお，[NE] は社名・サービス名等の秘匿化処理を表す。 アニカ車\&カーシェア,【1】個人事業主キャッシング リボ払いまとめ $[N E]$ 銀行，[NE][NE] 伊東市の宅配

自動評価 生成文の品質を測るために参照文との 単語一致に基づくROUGEを使用する. 生成文の忠実性を測る指標として生成文中の単語のうち原文に 含まれる割合，すなわち単語被覆率 (以下，被覆率) を用いる。しかし, 被覆率では原文と生成文で言い 回しが異なる表現 (“50\%OFF”, “半額”) の忠実性を考慮できないため人手評価も実施する。 また, 生成文 が広告文における文長制約を満たすかを評価する。本研究では，広告見出し文の入稿規定 ${ }^{2}$ に従い，文長が全角 15 文字以内の生成事例の割合を報告する. さらに，生成文の自然さを測る指標として，パープ レキシティ (PPL)を使用する. PPL の算出には評価 データとは異なる 128,920 件の広告文で追加学習し たGPT-2 [16] を用いた. また生成文が広告として適切な文であるかを評価するために，株式会社サイ バーエージェント社内で過去に生成された広告文 に対して広告品質チェックの専門家が「広告として 日本語は適切か」を 2 值 (適切, 不適切) でラベル付 けしたデータセットを用い，広告文としての適切さ を評価するモデルを構築した. 表 1 に人手で「不適切」とラベル付けられた事例を示す。これらの文は 「不要な文字」「単語の繰り返し」「単語のつながりの 不自然さ」等の理由により「日本語が不適切」とラ ベル付けされている. なお, 本研究では適切さを評価するモデルを容認度判定モデルと呼称し, 「適切」 と予測された生成事例の割合を報告する. 同モデル の評価データにおける $\mathrm{F}$ 值（マクロ平均）は 0.812 であった. その他の同モデルの詳細は付録 $\mathrm{C}$ に示す.

人手評価 忠実性（原文が生成広告文を含意する か), 流暢性（内容が理解でき自然な文であるか）に ついて 3 人の評価者による 2 段階評価（はい，いい え）を実施した. 評価データから無作為抽出した 200 件を評価対象とし, 各事例について 2 人以上が 「はい」と答えた割合を報告する。

## 3.2 実験結果

表 2 に評価対象のモデルおよび実験結果を示す.実験では，学習データの忠実度が生成品質に与える 影響と $\$ 2.2$ の学習方法を検証するために複数モデル

を用意した. ここで，学習データゆで訓練したモデ ルを BASELINE D, 閾値 $\alpha$ のフィルタリングを適用し たデータ ( $\mathscr{D}_{\geq 0.5}$ 等) で訓練したモデルを FILTER $\mathscr{D}_{\geq 0.5}$ と表記する.なお，フィルタリング後の各データ $\left(D_{\geq 0.5}, \mathscr{D}_{\geq 0.7}, \mathscr{D}_{\geq 0.9}\right)$ の事例数は, 11,022 件, 3,291 件，1,688 件である。また, BASELINE $D$ に対してフィ ルタリング後のデータ (D $\geq 0.9$ 等) で 2 回目の追加学習を実施したモデルを Two-STAGE $\mathscr{D}_{20.9}$, タグで忠実性を制御するモデルを CONTROL 8 と表記する.

## 3.2.1フィルタリングによる劣化を低減できるか

ROUGE スコアにより各モデルの生成品質を考察 する. FILTER $D_{\geq 0.9}$ 以外は高いスコアを得ることがで きた. FILTER $D_{\geq 0.9}$ ではフィルタリングにより学習事例数が 1,688 件に削減されたことで十分な学習が出来ず生成品質が劣化したことが示唆される.これ は PPL からも同モデルの生成品質が低いことが推察できる。また，BASELINE $力$ に対して 2 回目の追加学習をするモデル (Two-STAGE $\mathscr{D}_{\geq 0.5}$ 等) では, フィル タリング済みのデータだけを訓練に用いるモデル (FILTER $D_{20.5}$ 等) と比べてスコア改善が見られた.こ の結果から 2 段階追加学習はフィルタリングによる 生成品質の劣化を低減できていることが推察でき る. 同様に，タグで忠実性を制御する CONTROL $。$ は BASELINE وから改善が確認できた.これはタグ制御 により生成文の忠実性が改善したことで，参照文と 類似した文が生成できたためと考えられる。

## 3.2.2 学習データの忠実度が生成品質に与える影響

生成文中の単語のうち原文に含まれる単語の割合 を表す被覆率と人手評価に基づく各モデルの忠実性とを比較する．表 2 の結果から，より忠実度の高 いデータ $\left(D_{\geq 0.7}, \mathscr{D}_{\geq 0.9}\right)$ で学習した Two-STAGE $D_{\geq 0.7}$, TwO-STAGE $\mathscr{D}_{\geq 0.9}$ は被覆率が高く, 人手評価において も原文に対して忠実な文と判定される割合が高い ことを確認した. 表 4 に各モデルの生成例および 忠実性の人手評価で「はい」と答えた人数を示す.表 4 に示すように，被覆率が高い Two-STAGE $\mathscr{D}_{20.7}$, Two-STAGE $\mathscr{D}_{\geq 0.9}$ は原文 (表題中の下線) から抽出的に 生成することで忠実性を高めていることが分かっ た.しかし被覆率を高めるだけでは流暢性が損なわ れる恐れがある。そこで流暢性を人手評価したと ころ，各モデルの流暢性はいずれも高いことを確

情報を含む不自然な生成文が多く, 評価者にとっ

モデルの評価結果. ROUGE-1，ROUGE-2，ROUGE-L (R-1，R-2，R-L) は F 值を表す. 各列の最高値を太字で表す.

表 3

表 4 原文「保証料 0 円! 一部繰上返済手数料 0 円! 返済シ ミュレーションはこちら」の書き換え結果

て内容の理解が難しいことから流暢性が比較的低 い結果となった. 以上の結果より Two-STAGE $D_{\geq 0.7}$, Two-STAGE $\mathscr{D}_{\geq 0.9}$ は忠実性と流暢性が優れていること が分かった.

## 3.2.3 原文を適切な広告文へ書き換えられるか

書き換えモデルによって原文から広告として日本語が適切な文を生成できるかを評価するために，原文と生成文が容認度判定モデルで「適切」と判定 された割合を比較する．表 2 の結果から FILTER $D_{\geq 0.9}$以外は，原文（0.595）よりも「適切」と判定された 割合が高い $(0.648 \sim 0.834)$ ことが確認できた。すな わち，書き換えモデルは広告として使用できない原文を適切な広告文へ書き換える手段として有用で あることが示唆される. 表 3 に Two-STAGE $D_{\geq 0.9}$ によ り原文を書き換えた結果を示す.これらの結果から Two-STAGE $D_{\geq 0.9}$ は，原文に含まれる単語を抽出しつ つ，不要な文字を除去することで，原文から広告と して適切な文を生成していることを確認できる。 また，参照広告文を容認度判定モデルで評価し
たところ，「適切」と判定された割合が比較的低い (0.656) ことが分かった. これは評価データ中に単語が列挙された広告文（例えば，「マンション松本市」）が多く含まれており，こうした文が「不適切」 と判定されたためと考えられる。

## 3.2.4文長制約を満たすか

原文と生成文について文長制約を満たす割合を比較する。原文の中で文長制約を満たす割合は 0.595 ,生成文は 0.717 0.884 であり，書き換えモデルによ り原文の多くを適切な文長へ圧縮できることを確認 できた。一方，文長制約を超過する文も残存してお り，文長制御 [17] の導入など改善の余地もある.

## 4 おわりに

本研究では，LP から抽出した文を広告として適切な文へ書き換える書き換えモデルを提案した. 評価結果から書き換えモデルが原文を適切な広告文へ 書き換える有用な手段であることを確認した。

一方で本研究には数多くの課題が残る. 例えば, データ構築 (§2.1) における忠実性判定では原文と広告文の ROUGE を用いたが，同手法は表層に基づく ため同義語に脆弱である．その対策として，表層で はなく 2 文の含意関係 (原文は広告文を含意するか) による判定が考えられる [18]. また，広告では忠実性に加えて魅力度 (消費者を惹きつける内容か) も重視される [2]. 書き換えによる魅力度劣化を防ぐた めに，魅力度も考慮した手法などが求められる。

## 謝辞

本研究は，株式会社サイバーエージェントと東京工業大学の共同研究の成果をまとめたものです.

## 参考文献

[1] 村上聡一朗, 星野翔, 張培楠. 広告文自動生成に関す る最近の研究動向. 2022 年度人工知能学会全国大会, 2022

[2] J. Weston Hughes, Keng-hao Chang, and Ruofei Zhang. Generating better search engine text advertisements with deep reinforcement learning. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 2269-2277, 2019.

[3] Hidetaka Kamigaito, Peinan Zhang, Hiroya Takamura, and Manabu Okumura. An empirical study of generating texts for search engine advertising. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Industry Papers, pp. 255-262, 2021.

[4] Konstantin Golobokov, Junyi Chai, Victor Ye Dong, Mandy Gu, Bingyu Chi, Jie Cao, Yulan Yan, and Yi Liu. DeepGen: Diverse search ad generation and real-time customization. preprint, arXiv:2208.03438, 2022.

[5] Kevin Bartz, Cory Barr, and Adil Aijaz. Natural language generation for sponsored-search advertisements. In Proceedings of the 9th ACM Conference on Electronic Commerce, pp. 1-9, 2008 .

[6] Stamatina Thomaidou, Konstantinos Leymonis, and Michalis Vazirgiannis. GrammAds: Keyword and ad creative generator for online advertising campaigns. In Proceedings of the 1st International Conference on Digital Enterprise Design and Management, pp. 33-44, 2013.

[7] 村上聡一朗, 星野翔, 張培楠, 上垣外英剛, 高村大也,奥村学. Lp-to-text: マルチモーダル広告文生成. 言語処理学会第 28 回年次大会, 2022.

[8] Atsushi Fujita, Katsuhiro Ikushima, Satoshi Sato, Ryo Kamite, Ko Ishiyama, and Osamu Tamachi. Automatic generation of listing ads by reusing promotional texts. In Proceedings of the 12th International Conference on Electronic Commerce, pp. 179-188, 2010.

[9] Kazuki Matsumaru, Sho Takase, and Naoaki Okazaki. Improving truthfulness of headline generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1335-1346, 2020.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in Neural Information Processing Systems 30, 2017.

[11] Ramesh Nallapati, Feifei Zhai, and Bowen Zhou. Summarunner: A recurrent neural network based sequence model for extractive summarization of documents. In Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, p. 3075-3081, 2017.
[12] Yen-Chun Chen and Mohit Bansal. Fast abstractive summarization with reinforce-selected sentence rewriting. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 675-686, 2018.

[13] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Proceedings of the ACL Workshop: Text Summarization Branches Out, pp. 74-81, 2004.

[14] Katja Filippova. Controlled hallucinations: Learning to generate faithfully from noisy data. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 864-870, 2020.

[15] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A massively multilingual pre-trained textto-text transformer. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 483-498, 2021.

[16] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[17] Yuta Kikuchi, Graham Neubig, Ryohei Sasano, Hiroya Takamura, and Manabu Okumura. Controlling output length in neural encoder-decoders. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1328-1338. Association for Computational Linguistics, 2016.

[18] Philippe Laban, Tobias Schnabel, Paul N. Bennett, and Marti A. Hearst. SummaC: Re-visiting NLI-based models for inconsistency detection in summarization. Transactions of the Association for Computational Linguistics, Vol. 10, pp. 163-177, 2022.

[19] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of 3rd International Conference on Learning Representations, 2015.

[20] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, 2020.

[21] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the $\mathbf{2 0 0 4}$ Conference on Empirical Methods in Natural Language Processing, pp. 230-237, 2004.

[22] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. preprint, arXiv:1907.11692, 2019.
表 5 原文-広告文ペアの例.なお，[NE] は社名・サービス名等の秘匿化処理を表す.

 & 【伊豆】今こそしずおか元気旅 \\

表 6

$

$

表 7 容認度判定モデルの評価結果

## A ペアデータの例

表 5 に作成した原文-広告文ペアデータの例を示 す. 表中のスコアは，\$2.1 のデータセット構築にお ける原文と広告文の ROUGE-1（再現率）を表す。

本研究では，原文中の単語を多く含む広告文は忠実性が高いと仮定する．例えば表 5 の原文-広告文 ペア $(\mathrm{a}, \mathrm{b})$ では，広告文が原文中の単語を全て含む ためスコアは 1.000 であり, 広告文の内容も原文と 一貫していることから忠実性が高いといえる。ま た，スコアが低い文ぺア $(\mathrm{h}, \mathrm{i})$ の広告文では，「ブラ イダル」や「お見積り」と等の原文に含まれない内容が言及されており，忠実性が低いことが分かる.

一方，同スコアが高い文ペアであっても忠実性が 高いとはいえない事例も存在する. 例えば文ぺア (c, e) はそれぞれ高いスコアではあるものの, 広告文中の「伊豆」「2,100」といった固有名詞や数字が原文には含まれておらず，原文に対して広告文の内容 が一貫しているとはいえない，広告文において固有名詞や数字等は消費者の購買行動に繋がる重要な情報であり，特に正確性に注意を払う必要がある. し たがって，今後の課題として固有名詞や数字等の情報が原文と一貫しない事例をデータセットから除去 するためのルールや手法の整備などが考えられる。

## B 実装

モデルパラメータの最適化手法には Adam [19] を 使用し，学習エポック数は 5 ，ミニバッチサイズは 10 とした.なお，10 ステップごとの累積勾配に基 づいてパラメータを更新している。 入力系列および 出力系列の最大文長はそれぞれ 512,256 とした.生成時にはビーム探索を用い，ビーム幅は 5 とし た。なお，実装には Transformers [20]を用いており，書き換えモデルとして用いた $\mathrm{mT5}^{3}$ ， PPL の算出に 用いた $\mathrm{GPT}-2^{4}$ のモデルは脚注に示す通りである.

データセットに対する前処理として, Unicode 正規化，アルファベットの小文字化を実施した。ま た，ROUGE や被覆率などの算出時には MeCab (IPA 辞書) [21]を用いて単語分割した。

## C 容認度判定モデル

容認度判定モデルは，「入力として与えられた生成文は広告として日本語が適切な文であるか」を判定する二値分類モデルである. モデルには事前学習済み RoBERTa ${ }^{5)}$ [22]を使用し，株式会社サイバー エージェント社内で過去に生成された 56,854 件の 広告文に対して広告品質チェックの専門家が「広告 として日本語は適切か」を二値（適切，不適切）で ラベル付けしたデータセットを用いて追加学習し た. 表 6 に学習，開発，評価データおよび各ラベル の事例数の内訳を示す. 表 7 に容認度判定モデルの 評価データに対する評価結果を示す.評価データに 対する $\mathrm{F}$ 値（マクロ平均）は 0.812 であった.

3) https://huggingface.co/google/mt5-base

4) https://huggingface.co/rinna/japanese-gpt2-small

5) https://huggingface.co/rinna/japanese-roberta-base


# 情報付加型生成による表現の推敲支援システム

鈴木勘太 ${ }^{1}$ 杉本徹 ${ }^{2}$
1 芝浦工業大学大学院理工学研究科 2 芝浦工業大学工学部
\{ma21071, sugimoto\}@shibaura-it.ac.jp

## 概要

本研究は，Encoder-Decoder モデルによる系列変換 を応用し, 執筆者のつづった文から形容や比喻と いったさまざまな表現を付加した複数の候補文を生成，提案することで，執筆者の表現の幅を広げ，膨 らませることを支援する実用的な推敲支援システム の構築を目指す。その中で，幅広く表現を捉えたパ ラレルコーパスの構築を行い, デコーディングや学習モデルの側面から表現の提案の多様性を促進する 生成モデルを提案する.

## 1 はじめに

近年，深層学習を用いた執筆支援に関する研究が 行われている $[1,2,3]$. 大規模なデータから学習を 行った深層学習モデルを用いた支援は, 執筆者の負担や学習コストの軽減を可能にしている.

一方，筆者は先行研究 [4] において，EncoderDecoder モデルによる系列変換を応用し，執筆者の つづった文から修辞表現を付加した複数の文を生成, 提案することで, 執筆経験の浅い文学作品の執筆者をターゲットとした表現の推敲支援を行う執筆支援システムを提案した. 表現の推敲は執筆にお ける重要な過程の一つであるが，その手助けとなる 表現辞典の多くは網羅的な側面を持ち，数多の見出 しの中から納得のいく表現を自ら選び出す必要が ある。そのため実際は執筆者にある程度の経験や センスが要求されることとなり，負担となりうる。 Encoder-Decoder モデルの応用は，執筆者のつづる文 の文脈にふさわしい言い換えや形容などの表現の提案を可能にし, 評価害験では支援システムとして総合的に良い評価を得ることができた.

本研究では，先行研究で取り組んだ文生成のう ち，形容などの修飾フレーズの付加を行う文生成を 情報付加型生成という問題として提起し, 執筆者の 表現の幅を広げ，膨らませることを支援する実用的 な推敲支援システムの構築を目指す。そのなかで特

図 1 推敲支援システムの構築手法の概要

に以下の 2 点を目標として定める。

「表現」の一般化気軽に個人でブログなどを執筆 し共有することが可能となった昨今の状況を鑑 み，より広く表現を捉える手法を提案し支援の 幅の拡大を試みる。

提案の多様性の促進 執筆者の表現に関する想起の 支援も視野に入れ，多様な候補の提案を行う手法を提案し実用性の向上を試みる。

## 2 関連研究

伊藤らの研究 [5] では，不完全な文から目的に 合った完全な文を生成する情報補完型生成を新しい 言語生成課題として提案している. 情報を付加して 生成を行うというアプローチは本研究との類似点 があり，完全な文から不完全な文を作成することに よって大規模な教師データを構築する手法を本研究 も採用している.

## 3 提案手法

本研究における推敲支援システムの構築手法の概要を図 1 に示す. システム構築のアプローチは筆者 の先行研究 [4] を踏襲する。まず，実在する書籍の 文から一部の修飾フレーズを削除した文を作成し， これと元の文とを対にしたパラレルコーパスを構築する。次に，これらを教師データとして，修飾フ レーズの欠落した文から実在する書籍の文を生成す る系列変換の学習を行い，生成モデルを構築する。 この生成モデルを用いて，執筆者のつづる文の入力

に対しその文脈にふさわしい修飾フレーズ，すなわ ち表現を付加した複数の候補文を提案することで，推敲の支援を行うシステムを構築する。

## 3.1 パラレルコーパスの構築

実在する書籍の文からある条件のもと機械的に一部の修飾フレーズを削除した文を作成し，これと元 の文との対からなるパラレルコーパスを構築する。本研究では，実在する書籍の文として青空文庫の作品および現代日本語書き言葉均衡コーパスから抽出 した約 787 万文を書籍コーパスとして使用する.

筆者の先行研究では支援の対象とする表現を限定 し，特定の品詞やキーワードに注目した単語単位の 処理によってパラレルコーパスを構築したためア ドホックな支援に限られた。本研究ではこれを踏ま え，より広く表現を捉えるため文構造の依存関係に 注目した処理の手法を提案する。

依存関係による削除対象の決定 連体・連用修飾 に関する依存関係 (Universal Dependencies[6, 7] にお ける acl，amod，advcl， advmodの 4 種）の係り元を 概括的に削除対象として決定する．削除対象の中に は目的の表現とは言いがたい具体化の性質が強い修飾フレーズも含まれるが，文脈への関連が低いと考 えられるこれらを付加する学習は抑えられると考え られる。しかし，これらは学習のノイズとなりうる ため，後述の条件によってその抑制を行う。

係り先による条件 係り先が形式名詞である場合 は削除対象から除外する．実質的な意味が薄い形式名詞に係る修飾フレーズは具体化の性質が強い場合 が多いと考えられる．ただし，形式名詞の定義は曖昧であるため, 本研究では書籍コーパス内の各名詞 について出現頻度および被修飾率を算出し，それぞ れ 3 万以上， 0.8 以上の「もの」,「こと」等の 15 語 を形式名詞として定量的に決定した。

係り元による条件 係り元に指示詞，代名詞，人名の固有名詞を含む場合は削除対象から除外する。 これらを含む修飾フレーズは上記の性質に加え，実質的な意味が薄い場合が多いと考えられる。

以上の手法を用いた文の作成によって約 1027 万対のデータを含むパラレルコーパスを構築した.

## 3.2 生成モデルの構築手法

3.1 節で構築したパラレルコーパスを教師データ とし，修飾フレーズの欠落した文をソース，実在す る元の書籍の文をターゲットとすることによって欠落した修飾フレーズを補完するような系列変換の学習を行う。これにより，任意の入力文に対しその文脈にふさわしい修飾フレーズを付加した文を生成す る生成モデルを構築する。

筆者の先行研究では，尤度による単純なスコアリ ングによった候補文の決定では意外性のある魅力的 な表現といった有用な候補を提案することが難し かった. 本研究ではこれを踏まえ，提案する候補の 多様性の促進として，デコーディングおよび学習モ デルの側面から複数の生成モデルを考える。

ベースラインの手法 Transformer[8] による学習 およびビームサーチによるデコーディングを行う先行研究と同様の生成モデルをべースラインとする. ビームサーチを用いたデコーディングではビームサ イズ分の複数の生成文が得られるため，本研究の支援システムの前提である複数の候補文の提案に用い ることが容易である.

Nucleus サンプリング Holtzman らはビームサー チなどの最大化ベースのデコーディング手法に見ら れる当たり障りのないテキストを生成する問題に対 し，新たなデコーディング手法として Nucleus サン プリングを提案しており，高品質かつ人間のつづっ たものに近い多様性を持った長文テキストの生成が 可能となったと報告している [9]. Nucleus サンプリ ングは，デコーディングの各ステップにおいて次の トークンの確率分布 $P\left(x \mid x_{1: i-1}\right)$ が与えられたとき, その上位 $p$ の語彙 $V^{(p)} \subset V$ を以下の式が成り立つ ような最小の集合と定義する.

$
\sum_{x \in V^{(p)}} P\left(x \mid x_{1: i-1}\right) \geq p
$

そして,$p^{\prime}=\sum_{x \in V^{(p)}} P\left(x \mid x_{1: i-1}\right)$ として式

$
P^{\prime}\left(x \mid x_{1: i-1}\right)= \begin{cases}P\left(x \mid x_{1: i-1}\right) / p^{\prime} & \text { if } x \in V^{(p)} \\ 0 & \text { otherwise }\end{cases}
$

によって再スケーリングした新たな確率分布を用い た次のトークンのサンプリングを行う。

サンプリング剪定ビームサーチ (SPBS) Nucleus サンプリングは，本研究のような入力文などの制約付きの生成とは異なる物語生成などのオープンエン ドな生成における課題に対する提案手法であり，一度の生成で得られる文は 1 つのみである。一方，本 システムが複数の候補文の提案を前提としているこ と，ビームサーチを用いた筆者の先行研究で一定の 評価が得られていることを踏まえ，本研究ではビー ムサーチと Nucleus サンプリングを組み合わせた新

図 2 SPBS の概要

たなデコーディング手法，サンプリング剪定ビーム サーチ（Sampling Pruning Beam Search; SPBS）を提案する。 その手法の概要を図 2 に示す.

SPBS は，ビームサーチをベースとしたアルゴリ ズムの中で，各ステップで保持している候補（ブ ロック）について Nucleus サンプリングを用いた系列の出力を行う. 各ブロックの集合を $N_{i}$, 確率分布 $P$ について $m$ 回サンプリングを行ったときに得られ る系列を $\operatorname{sampling}(P, m)$ としたとき，ビームサーチ に考慮される新たな系列を以下の式によって決定 する。

$
\text { hypotheses }_{i}=\left.\{\operatorname{sampling}\left(P_{n}^{\prime}\left(x \mid x_{1: i-1}\right), m\right)_{n \in N_{i}}\right.\}
$

サンプリングによって多様な候補をピックアップし つつ，ビームサーチによって尤度の低い候補を除外 することで有用な候補の生成を行う。

逆トークン頻度損失（ITF 損失） Nakamura らは 対話システムにおいてありきたりな応答生成を行う 問題に対し, 多様性の促進として新たな損失関数,逆トークン頻度損失（Inverse Token Frequency Loss） を提案している [10]. ITF 損失は $\lambda$ をイパーパラ メータとして，ソフトマックス・クロスエントロ ピー損失 $L_{\mathrm{SCE}}$ をトークンの出現頻度の逆数で重み づけした以下の式によって算出される.

$
L_{\mathrm{ITF}}=\frac{1}{\text { freq }\left(\text { token }_{c}\right)^{\lambda}} L_{\mathrm{SCE}}
$

本研究ではこの損失関数を Transformer へ適用した ものを考える。

## 4 実験と評価

3.2 節で述べた生成モデルを用いた実験を行う.学習モデルのベースに用いる Transformerについて, ハイパーパラメータは論文 [8] に従い, 未知語処理 [4] および文長正規化 [11] を導入した. トークナイ ザには SentencePiece[12] を用い，ITF 損失について は先行研究 [10] に従い $\lambda=0.4$ とした.

図 3 Nucleus サンプリングにおける $p$ の評価結果

表 1 生成モデルの事前評価の結果

## 4.1 生成モデルの事前評価

本研究における目的に対し，基本となる生成モデ ルを用いた事前評価を行う。品質の評価指標として BLEU，多様性の評価指標として Self-BLEU[13] お よび distinct-N[14] を用い，各スコアトップの生成文 10,000 に対して評価を行った．なお，Self-BLEU は 值が低い方が多様性があると評価する指標である。

まず，Nucleus サンプリングにおけるパラメータ $p$ について評価を行った結果を図 3 に示す. BLEU は $p=0.95$ でピークを取り，Self-BLEU はおおむね $p$ の値が大きくなるにつれ下がっていく傾向が見ら れた.この結果より以降 Nucleus サンプリングでは $p=0.95$ を用いた生成モデルで評価を行う.

次に，ビームサーチと Nucleus サンプリング，お よびそれぞれ学習に ITF 損失を適用した生成モデル に対し評価を行った結果を表 1 に示す. なお，ビー ムサーチのビームサイズは 5 とした. 品質はビーム サーチの方が高い一方で，多様性は Nucleus サンプ リングの方が高く平均文長も参照文に近づいた. 特 に Nucleus サンプリングにおいては ITF 損失を用い たモデルの方が多様性に富む傾向が見られた.

## 4.2 システムの評価

各生成モデルで生成した複数の候補文に対し分析 を行い，これらを実際に被験者に提示することで推敲支援システムを想定した評価実験を行う。なお，候補文の最大出力数を 10, SPBS については $m=10$ とし，Nucleus サンプリングは生成を複数回行うこ とによって異なる候補文を最大出力数分得る.
表 2 候補文の多様性の評価結果

## 4.2.1候補文の主観分析

例として，入力「コーヒーの香りがあの日の記憶 を呼び起こす。」に対して生成された候補文につい て述べる.ビームサーチでは「ほのかなコーヒーの 香り」や「ふとあの日の記憶を呼び起こす」など一般的に有用な表現が見られた. また, 本研究の提案手法である SPBS では，ビームサーチに見られる表現をいくつか提案しつつ，「かすかに甘いコーヒー の香り」といった 2 文節以上の修飾句や「夢のよう な記憶」といった比喻表現など多様な表現の提案が 可能であることがわかった。一方，Nucleus サンプ リングではより多様でかつ「ピンと流れるコーヒー の香り」といった意外性のある表現が見られたもの の，支離滅裂なフレーズを付加した例も散見され た．学習に ITF 損失を適用した生成モデルでは，先 に述べた特徴を示しつつ語彙の傾向に違いが見ら れた。なお，各候補文の詳細を付録の表 A に記載 した.

## 4.2.2 候補文の多様性の自動評価

本研究では，ある入力文に対し生成される複数 の候補文についてどれだけ多様な提案ができて いるかを測る評価指標として Local Self-BERTScore （LSBScore）を提案する. この評価指標は，入力文 に対して生成された複数の候補文内で Self-BLEU と 同様の評価手法を分散表現ベースの評価指標である BERTScore[15] を用いて行い, 生成例全体で平均す ることで算出するものである. 多様性の評価指標を 各生成例における候補文内で用いることで各々の提案の多様さを評価し，単語レベルでほとんど同じ候補文を生成する本システムにおいて類似度をより詳細に評価するため BERTScoreを用いている.

各生成モデルについて評価を行った結果を表 2 に 示す. 評価は 1,000 の生成例を用いて行った. 多様性はビームサーチ，SPBS，Nucleus サンプリングの 順に高くなり, 平均文長も長くなる傾向が見られた ほか，LSBScore については明確にITF 損失を用いた モデルの方が多様性に富む傾向が見られた。

図 4 主観評価実験の結果

## 4.2.3 システムの主観評価実験

各生成モデルで生成した候補文を用い，推敲支援 システムを想定した調査表による主観評価実験を 行った. 実験にはビームサーチ, SPBS, SPBS + ITF 損失, Nucleus サンプリングの 4 種の生成モデルを 用い，スコア上位 6 つを候補文として提示する.こ れを 30 例用意し， 13 人の被験者に対し以下の 4 段階のレベルで各候補文を評価してもらった。

レベル 4 表現の推敲支援として妥当な候補文であ り，実際に使ってみたいと思う。

レベル 3 表現の推敲支援としては妥当な候補文だ が，特に使ってみたいとは思わない。

レベル 2 内容が矛盾していたり意味が理解しがた かったりして妥当な候補文だとは思わない.

レベル 1 誤字脱字がある，文法的に正しくない等， そもそも文の形として誤りがある.

その結果として，各例において各レベルで評価さ れた候補文の数の平均を図 4 に示す. レベル 3 以上の候補の数はビームサーチが最も多く, SPBS, SPBS + ITF 損失，Nucleus サンプリングの順で少な くなる結果となった。

## 5 おわりに

本研究では情報付加型生成による実用的な表現 の推敲支援システムの構築を目指し，幅広く表現を 捉えた独自のパラレルコーパスを構築，多様な表現を提案する生成モデル SPBS を提案した. ビーム サーチは有用な複数の候補を一度に提案可能だが，入力文が同じであれば同じ候補しか提案できない.一方，Nucleus サンプリングは複数候補の提案には 向かないが，生成を行うごとに異なる候補を提案で き，多様性を確保できる．本研究で提案したSPBS は評価実験では最も高い評価を得ることはできな かったものの，双方の長所を取り入れた手法であ り，実際の推敲支援で有効性を検証する必要がある と考える。今後はこれらを用いたアプリケーション の実装を行い，さらなる研究を進めていきたい。

## 参考文献

[1] Ann Yuan, Andy Coenen, Emily Reif, and Daphne Ippolito. Wordcraft: Story writing with large language models. In 27th International Conference on Intelligent User Interfaces, IUI '22, p. 841-852, New York, NY, USA, 2022. Association for Computing Machinery.

[2] Takumi Ito, Tatsuki Kuribayashi, Masatoshi Hidaka, Jun Suzuki, and Kentaro Inui. Langsmith: An interactive academic text revision system. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 216-226, Online, October 2020. Association for Computational Linguistics.

[3] Chung-Ting Tsai, Jhih-Jie Chen, Ching-Yu Yang, and Jason $\mathrm{S}$. Chang. LinggleWrite: a coaching system for essay writing. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 127-133, Online, July 2020. Association for Computational Linguistics.

[4] 鈴木勘太, 杉本徹. Encoder-decoder モデルを用いた文章表現を豊かにする執筆支援システム. 日本感性工学会論文誌, Vol. 21, No. 2, pp. 257-265, 2022.

[5] 伊藤拓海, 栗林樹生, 小林隼人, 鈴木潤, 乾健太郎. ラ イティング支援を想定した情報補完型生成. 言語処理学会第 25 回年次大会, pp. 970-973, 2019.

[6] Ryan McDonald, Joakim Nivre, Yvonne QuirmbachBrundage, Yoav Goldberg, Dipanjan Das, Kuzman Ganchev, Keith Hall, Slav Petrov, Hao Zhang, Oscar Täckström, Claudia Bedini, Núria Bertomeu Castelló, and Jungmee Lee. Universal Dependency annotation for multilingual parsing. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 92-97, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[7] 浅原正幸, 金山博, 宮尾祐介, 田中貴秋, 大村舞, 村脇有吾, 松本裕治. Universal dependencies 日本語コーパ ス. 自然言語処理, Vol. 26, No. 1, pp. 3-36, 2019.

[8] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[9] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The curious case of neural text degeneration. In ICLR. OpenReview.net, 2020.

[10] Ryo Nakamura, Katsuhito Sudoh, Koichiro Yoshino, and Satoshi Nakamura. Another diversity-promoting objective function for neural dialogue generation. CoRR, Vol. abs/1811.08100, , 2018.

[11] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Mac- duff Hughes, and Jeffrey Dean. Google's neural machine translation system: Bridging the gap between human and machine translation. CoRR, Vol. abs/1609.08144, , 2016.

[12] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[13] Yaoming Zhu, Sidi Lu, Lei Zheng, Jiaxian Guo, Weinan Zhang, Jun Wang, and Yong Yu. Texygen: A benchmarking platform for text generation models. In The 41st International ACM SIGIR Conference on Research \& Development in Information Retrieval, SIGIR '18, p. 1097-1100, New York, NY, USA, 2018. Association for Computing Machinery.

[14] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[15] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

## A 各生成モデルが生成した候補文の例

表 A 入力「コーヒーの香りがあの日の記憶を呼び起こす。」に対して生成された候補文の例（スコア降順） ビームサーチ SPBS

熱いコーヒーの香りがあの日の記憶を呼び起こす。甘いコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りが再びあの日の記憶を呼び起こす。強いコーヒーの香りがあの日の記憶を呼び起こす。温かいコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りがまたあの日の記憶を呼び起こす。 コーヒーの香りがあの日の甘い記憶を呼び起こす。 ほのかなコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りがあの日の記憶を再び呼び起こす。甘いコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りが再びあの日の記憶を呼び起こす。 コーヒーの香りがまたあの日の記憶を呼び起こす。 コーヒーの香りがふとあの日の記憶を呼び起こす。 かすかにコーヒーの香りがあの日の記憶を呼び起こす。 かすかに甘いコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りがあの日の夢のような記憶を呼び起こす。 コーヒーの香りがあの日の記憶をふたたび呼び起こす。 コーヒーの香りがあの日の深い記憶を呼び起こす。 コーヒーの香りがふとあの日の記憶を呼び起こす。 コーヒーの香りがようやくあの日の記憶を呼び起こす。

Nucleus サンプリング

コーヒーの香りがあの日の甘い記憶を呼び起こす。

のようにコーヒーの香りがあの日の記憶を呼び起こす。

コーヒーの香りが不吉なあの日の記憶を呼び起こす。

コーヒーの香りがあの日の印象深い記憶を呼び起こす。

待つコーヒーの香りがあの日の記憶を呼び起こす。

ヒーローの甘いコーヒーの香りがあの日の記憶を呼び起こす。

りんりんるようなコーヒーの香りがあの日の記憶を呼び起こす。

ピンと流れるコーヒーの香りがあの日の記憶を呼び起こす。

じゅ長いコーヒーの香りがあの日の記憶を呼び起こす。

コーヒーの香りが彼女を、会社に声すばらしいあの日の記憶を呼び起こす。

ビームサーチ+ITF 損失 SPBS + ITF 損失

熱いコーヒーの香りがあの日の記憶を呼び起こす。 やがてコーヒーの香りがあの日の記憶を呼び起こす。甘いコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りがあの日の強烈な記憶を呼び起こす。 たとえばコーヒーの香りがあの日の記憶を呼び起こす。強烈なコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りが突然あの日の記憶を呼び起こす。

同じコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りがふとあの日の記憶を呼び起こす。 コーヒーの香りがあの日の記憶をかすかに呼び起こす。熱いコーヒーの香りがあの日の記憶を呼び起こす。

やがてコーヒーの香りがあの日の記憶を呼び起こす。

コーヒーの香りがまたあの日の記憶を呼び起こす。

コーヒーの香りがあの日の懐かしい記憶を呼び起こす。

コーヒーの香りがあの日の記憶を強く呼び起こす。

むしろコーヒーの香りがあの日の記憶を呼び起こす。

コーヒーの香りがあの日の甘い記憶を呼び起こす。

朝になるとコーヒーの香りがあの日の記憶を呼び起こす。

コーヒーの香りがすぐにあの日の記憶を呼び起こす。

コーヒーの香りがあの日の記憶をすべて呼び起こす。

Nucleus サンプリング + ITF 損失

たとえばコーヒーの香りがあの日の記憶を呼び起こす。

新しいコーヒーの香りがあの日の記憶を呼び起こす。

コーヒーの香りがあの日の不快な記憶を呼び起こす。

重いコーヒーの香りがあの日の記憶を呼び起こす。

不思議なコーヒーの香りがあの日の記憶を呼び起こす。

神妙なコーヒーの香りがあの日の記憶を呼び起こす。

香水のようなコーヒーの香りがあの日の記憶を呼び起こす。

しようとしていたコーヒーの香りがあの日の記憶を呼び起こす。

香わかるコーヒーの香りがあの日の記憶を呼び起こす。

純粋にクール全員が興十五三日前にしなかったコーヒーの香りがあの日の記憶を呼び起こす。


# 部分木の類似性に基づく言語生成技術の自動評価

帖佐 克己, 平尾努
NTTコミュニケーション科学基礎研究所
\{katsuki.chousa.bg, tsutomu.hirao.kp\}@hco.ntt.co.jp

## 概要

系列変換モデルの発展により，言語生成技術の性能は飛躍的に向上し, 多様な表現で流暢な文を生成 できるようになってきた。言語生成技術をさらに発展させるには自動評価法が必要となるが，単語の一致に基づく従来の自動評価法は参照テキストと同じ 意味を持つテキストであっても表現が異なれば低 いスコアしか与えられない。一方，単語埋め込みべ クトルを活用した自動評価法は，単語の類似性を重視するため, 似たような単語列であれば意味が違っ ても高いスコアを与える.こうした問題を解決す るため，本稿では，2つの文の間の類似性を構文木 の類似性に基づき決定する手法を提案する．WMT Metric Shared Task のデータセットを用いて人手評価 との間の相関を調べた結果，提案法は教師データを 必要にしないにもかかわらず，既存手法と同等以上 の高い相関を達成した。

## 1 はじめに

言語生成技術の性能は系列変換モデル，特に Transformer モデル [1] の発展とともに大きく向上し た.ニューラルネットワークを用いることで語の類似性をよく捉えることができ，多様な表現のテキス トを生成できる. 言語生成技術の自動評価指標に は，生成されたテキストとあらかじめ用意された参照テキストとの間の単語列の一致に基づく類似度 が広く用いられている。機械翻訳の場合は，BLEU [2], 自動要約の場合は ROUGE [3] という $\mathrm{N}$ グラム の一致率を利用した手法がデファクトスタンダード であるが，N グラムの一致率という表層的な情報に 基づく手法には，参照テキストと同じ意味のテキス トであっても，表現が異なれば不当に低いスコアを 与えるという問題がある. この問題に対して, 近年提案された BERTScore [4] や BLEURT [5] では, 単な る表層上の一致に頼らず，BERT [6] などの事前学習済みモデルから得られる単語や文の文脈埋め込みべ

I saw a girl with a telescope

図1表層情報がほとんど同じなのに構造および意味が異 なるテキスト対の例

クトルを活用し，参照テキストと生成されたテキス トとの間の類似度を計算する。

しかし, これらの研究ではテキストがその背後に 持つ句構造や依存構造などの構文構造, 修辞構造の ような談話構造を利用していない. たとえば図 1 に 示したテキスト対では，表層情報のみに着目すると telescope と dog という名詞 1 つが異なるだけの意味の似た文に見えるが，その構造にも着目すると左 のテキストでは前置詞句 ( $\mathrm{PP}$ ) が動詞句 (VP) の直接的な子であるのに対して，右のテキストでは前置詞句は名詞句（NP）の子となっていることから，そ の意味も異なることがわかる. このようなテキスト を構成する単語がほぼ同じなのに意味が異なるよ うなテキスト対などに対して，BLEU などの表層情報の一致に基づく手法では曖昧性を解消できない ことから不当に高いスコアを与えてしまう。また， BERTScore などでも単語の類似性を重視するため,同様に不当に高いスコアを与えてしまう.この問題 に対して，テキストの構造は曖昧性を解消し，テキ スト間の差異を捉える有用なヒントとなり得るが， その有用性は明らかにはなっていない.

本稿では，構文木の間のアラインメントとその埋 め込みべクトルの類似度に基づいた言語生成技術の 自動評価法を提案する. 2 つのテキストの部分木を 列挙した後，いくつかの制約の下での部分木間のア ラインメントを決定し，最後にアラインメントに基 づいた部分木間のべクトル類似度を元にテキスト 間の類似度を計算する. WMT20 および WMT21 の Metrics Shared Task のデータセットに対して，提案
手法と人手による評価との間の相関を調べたとこ ろ，提案手法は教師データを必要としないにも関わ らず，タスクに参加した既存手法と比べて同程度も しくは高い相関を達成した。

## 2 関連研究

BLEU [2] や ROUGE [3] に代表される N グラムの 一致率に基づく自動評価法では言い換えを正しく同定できないことから，近年は大規模事前学習済みモ デルによる単語や文の文脈埋め込みべクトルに利用 した手法が提案されている. BERTScore [4] は，テ キストのトークンの埋め込みベクトルのコサイン類似度に基づいてテキスト間のトークンのアラインメ ントを決定し，そのアラインメントに基づいてテキ スト間の類似度を計算する。この際，埋め込みべク トルの計算に用いられる事前学習済みモデルはファ インチューニングを行わないため，教師データを必要としない. WMT18 metrics shared task ではシス テム単位での自動評価において人間の評価結果と高 い相関があることが報告されている。

一方で, BLEURT [5] では, BERT [6] の最終層の [CLS] ベクトルの上に線形層を追加して類似度を 計算する. 機械翻訳の自動評価に利用するため, BERT および線形層のパラメータは，人手でアノ テートされた翻訳評価データを用いて追加学習され る. よって, 人手で作成された教師データが必要と なる.

また，系列変換モデルによる言い換え生成を利用 した手法も提案されている. Prism [7] は, Seq2Seq モデルとして作成した言い換え生成器を用いて, 参照訳から翻訳文，もしくはその逆の方向で言い換え を生成した際のスコアを評価値とする手法を提案 している.このとき, 言い換え生成器は多言語翻訳 モデルを学習することで実現され，それによりゼロ ショット翻訳タスクと同様の枠組みで同一言語間の 言い換えの生成を行う。また，Prism は 39 言語に対応しており, WMT19 metrics shared task のセグメン ト単位での自動評価において他のすべての手法と同程度もしくは高い相関を達成している.

事前学習済みモデルには潜在表現として構文情報 が保持されているという分析 [8] が行われているも のの, 先行研究の評価はサブワードや文という単位 に基づいて計算されることから，得られるスコアも その計算の単位により制限されてしまい，表層情報 が似ているが意味が異なる文対に対して不当に高
いスコアを与えてしまう恐れがある. こうした問題 の解決のため，構文情報は有用であると考えられる が，文対の間の構文の違いを明示的に利用した自動評価法は提案されていない. もちろん，構文解析分野において，2つの構文木の違いを評価する指標は 提案されている $[9,10,11]$. ただし, これらは, 同じ 文に対する異なる構文木を評価するものである。つ まり，文が一致している場合にしか利用できないの で言語生成技術の自動評価には利用できない.

## 3 提案手法

本稿では，構文木の部分木の間のアラインメント とその埋め込みべクトルの類似度に基づく自動評価法を提案する. 提案法は（1）2つの構文木の部分木 を列挙した後，（2）部分木間のアラインメントを求 め，最後に（3）アラインメントに基づいた部分木間のべクトル類似度を用いて 2 つの文の間の評価ス コアを計算する。

(1) テキストの部分木の列挙 2 つのテキスト $x=\left.\langle x_{1}, \cdots, x_{i}\right.\rangle$ と $y=\left.\langle y_{1}, \cdots, y_{j}\right.\rangle$, およびその埋め込 みべクトルである $\left.\langle\boldsymbol{x}_{1}, \cdots, \boldsymbol{x}_{i}\right.\rangle$ と $\left.\langle\boldsymbol{y}_{1}, \cdots, \boldsymbol{y}_{j}\right.\rangle$ が与え られたとする。

まず，与えられた 2 文の構文を解析する。次に， アラインメントを取る対象とする部分木を列挙す る. 構文木として依存構造木を採用し, 部分木とし て単一のノード，葉から各ノードへのパス，任意の ノードとその子孫を列挙する。このとき，テキスト $x$ の部分木を $s_{m}$, 部分木 $s_{m}$ に含まれる単語の添字列を $\operatorname{idx}\left(s_{m}\right)$ と定義し, 部分木 $s_{m}$ に対応するべクト ルを

$
\boldsymbol{s}_{m}=\frac{\sum_{k \in \operatorname{idx}\left(s_{m}\right)} \boldsymbol{x}_{k}}{\left.\| \operatorname{idx}\left(s_{m}\right)\right) \|}
$

のように計算する. また，テキスト $y$ の部分木 $t_{n}$ に 対しても同様に定義，計算を行う.

(2) 部分木間のアラインメント 次に，列挙した 部分木 $s_{m}, t_{n}$ の間のアラインメントを求める. この とき，列挙されたすべての部分木の間で対応付けを 行うと，木構造の上での親子関係が逆転するような 対応や否定の関係にある対応が得られてしまうとい う問題が考えられる。この問題の影響を低減するた め, 本手法では対応付けられるのは同じ単語長 $l$ を 持つ部分木間のみに限るという制約を課す。

本手法では，BERTScore [4]を参考にして，個々 の部分木に対してもう一方のテキストの部分木か ら最もスコアの高いものを選択することでアライ

ンメントを求める. すなわち，単語長 $l$ の $s_{m}^{l}, t_{n}^{l}$ の それぞれに対応するもう一方のテキストの部分木 $a\left(s_{m}^{l}\right), a^{\prime}\left(t_{n}^{l}\right)$ は以下の通り求める.

$
\begin{aligned}
& a\left(s_{m}^{l}\right)=\max _{t_{n}^{l}} \operatorname{sim}\left(\boldsymbol{s}_{m}^{l}, \boldsymbol{t}_{n}^{l}\right) \\
& a^{\prime}\left(t_{n}^{l}\right)=\max _{s_{m}^{l}} \operatorname{sim}\left(\boldsymbol{t}_{n}^{l}, \boldsymbol{s}_{m}^{l}\right)
\end{aligned}
$

ここで, $\operatorname{sim}(s, t)$ は部分木 $s, t$ 間のスコアを表し，部分木 $s$ の主辞 $\operatorname{head}(s)$ を用いて以下のように表す.

$
\operatorname{sim}(s, t)= \begin{cases}\frac{s t}{\|s\|\|t\|} & (\text { head }(s)=\operatorname{head}(t)) \\ 0 & \text { (otherwise) }\end{cases}
$

上記で定義した部分木間のスコアでは，部分木の 主辞の一致による対応付けのフィルタリングを行っ ている。事前に対応付けられる候補をフィルタリン グすることにより，対応関係を求める際の計算量を 少なく抑えることができる。また，フィルタリング を行わない場合には，対応しない部分木同士の対応 に対しても 0 より大きいスコアを割り当ててしま い，類似度尺度に対してノイズとなってしまうこと が考えられる。事前にフィルタリングを行って，明確に対応しない部分木間のスコアに 0 を割り当てる ことで，この問題を軽減されることが期待できる。 このことより, 本手法では主辞に基づく対応付けの フィルタリングを導入している.

(3) アラインメントに基づくテキスト間類似度最後に, 各単語長 $l$ の部分木間のアラインメントに 基づいたスコアを計算し, それらのスコアから最終的なテキスト間類似度を計算する。

まず，テキスト $x, y$ の間の単語長 $l$ のアラインメ ントに対するスコア $F_{l}$ を，アラインメントの $x$ に 対する平均スコア $P_{l}$ と $y$ に対する平均スコア $R_{l}$ か ら，以下のように定義する。

$
\begin{aligned}
F_{l} & =\frac{2 P_{l} R_{l}}{P_{l}+R_{l}} \\
P_{l} & =\frac{\sum_{s_{m}^{l}} \operatorname{sim}\left(s_{m}^{l}, a\left(s_{m}^{l}\right)\right)}{\text { the number of } s_{m}^{l}} \\
R_{l} & =\frac{\sum_{t_{m}^{l}} \operatorname{sim}\left(a^{\prime}\left(t_{m}^{l}\right), t_{m}^{l}\right)}{\text { the number of } t_{m}^{l}}
\end{aligned}
$

次に，上記で得られた複数の単語長のスコアに基 づいて，最終的なテキスト間類似度 $F$ を以下の通り 求める.

$
F=\frac{2 P R}{P+R}, P=\frac{\sum_{l \in I} F_{l}}{\left.\|I_{x}\right.\|}, R=\frac{\sum_{l \in I} F_{l}}{\left.\|I_{y}\right.\|}
$

ここで, $I_{x}, I_{y}$ はそれぞれ $x, y$ の部分木のもつ単語長 の種類の集合であり, $I=I_{x} \cup I_{y}$ である.

## 4 実験

言語生成タスクの1つである機械翻訳を対象とし て人間の評価結果との間の相関で提案法のメタ評価 を行った。

## 4.1 設定

データセットには WMT20 および WMT21 の Metrics Shared Task $[12,13]$ のシステムレベルの 評価タスクのデータセットを用いた。言語対 は目的言語が英語であるもののみ，すなわち WMT20 では $\{\mathrm{cs}, \mathrm{de}, \mathrm{iu}, \mathrm{ja}, \mathrm{km}, \mathrm{pl}, \mathrm{ps}, \mathrm{ru}\}$-en, WMT21 で は $\{\mathrm{cs}, \mathrm{de}, \mathrm{is}, \mathrm{ja}, \mathrm{ru}, \mathrm{zh}\}$-en の ref-A と呼ばれる参照訳を 用いた1)。ベースラインはそれぞれの年度でタスク に参加していた尺度の中から, WMT20 では Prism [7] と BLEURT [5], WMT21 では Prism と BERTScore [4]を採用した. 評価尺度には, WMT20 に従って, ピアソンの積率相関係数を用いた2).

提案手法における部分木の間の類似度を計算する ための事前学習済み言語モデルには, SpanBERT [14] を使用した. WMT20 の ja-en を開発用データセット とし，そのデータセットで最も良い結果を示したこ とから，構造情報には依存構造を用いた。依存構造解析器には $\mathrm{spaCy}$ の RoBERTa ベースのパイプライ ン3)を使用した。

## 4.2 結果

結果を表 1 に示す. WMT20 では pl-enおよび ps-en 以外，WMT21 では zh-en 以外の言語対におい て，ベースラインと少なくとも同等以上の性能を 達成していることがわかる. ベースラインである Prism や BLEURT は大規模な多言語対訳コーパスや 人手による評価データを学習データとして必要とす るのに対して，提案手法は比較的入手が用意な単言語データで事前学習された言語モデルしか必要とし ない。こうした教師なし手法にもかかわらず高い性能を達成したことは，言語生成タスクの自動評価に おいて構文構造を考慮することの有効性を示してい る。一方，提案手法と同様に単言語データによる事前学習済み言語モデルに基づく BERTScore と比べ ると，一部のデータにおいて相関が大きく低下して

} & \multicolumn{8}{|c|}{ WMT20 } \\

表 1 WMT20/WMT21での各言語対における相関係数. 太字は 3 つの尺度の中で最も良いスコアであることを示す。ま た，†は開発用データセットであることを示す.

表 2 提案手法を構成する個々の要素のみを変化させた際 の相関係数の変化

いる．BERTScore がトークンレベルのアラインメン トに基づくのに対して，提案手法はそのアラインメ ントを構造レベルに拡張したものだとみなすと，部分木という単語よりも大きな系列を対象とするとア ラインメントがうまくいかないことがあるのではな いかと考える。

## 4.3 分析

提案手法を構成する個々の要素の貢献を確認す るために，構文情報として句構造を用いた際やフィ ルタリングを行わない際の WMT20 の日英でのデー タに対する相関係数を調べた。句構造解析器には Berkeley Neural Parser [15] ${ }^{4)}$ を使用し, 主辞は Collins のルール [16] に従って決定した. また, 句構造木に 対しては，任意のノードとその子孫を部分木として 列挙した. 結果を表 2 に示す.

まず，使用する構文情報の違いに着目すると，句構造より依存構造を用いたほうが相関が高い.これ は，直接的に主辞をモデリングしている依存構造の ほうが誤った主辞を用いることが少なくなり，より 正確に主辞によるフィルタリングを行えているから

4) https://github.com/nikitakit/self-attentive-parser
だ考える。また，主辞フィルタリングを行わない場合に着目すると，大きく相関係数が劣化している. このことより，事前に対応候補をフィルタリングし ておくことが自動評価の性能に大きく寄与すること がわかる.

## 5 まとめ

本稿では，構文木の間のアラインメントとその埋 め込みべクトルの類似度に基づく言語生成技術の 自動評価法を提案した. WMT Metrics Shared Task の データセットを用いたメタ評価の結果，提案手法は 大規模な追加データを必要としないにも関わらず既存手法と同程度に人手評価と相関することがわかっ た.このことより，言語生成タスクの自動評価にお いて構文構造を考慮することが有効であることが示唆された。

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the NIPS 2017, pp. 5998-6008, 2017.

[2] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[3] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[4] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q.

Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[5] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning robust metrics for text generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7881-7892, Online, July 2020. Association for Computational Linguistics.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the NAACL-2019, pp. 4171-4186, 2019.

[7] Brian Thompson and Matt Post. Automatic machine translation evaluation in many languages via zero-shot paraphrasing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), Online, November 2020. Association for Computational Linguistics.

[8] John Hewitt and Christopher D. Manning. A structural probe for finding syntax in word representations. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4129-4138, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics

[9] Satoshi Sekine and Michael Collins. Evalb, 1997.

[10] Joakim Nivre, Johan Hall, and Jens Nilsson. Memorybased dependency parsing. In Proceedings of the Eighth Conference on Computational Natural Language Learning (CoNLL-2004) at HLT-NAACL 2004, pp. 49-56, Boston, Massachusetts, USA, May 6 - May 7 2004. Association for Computational Linguistics.

[11] Jason M. Eisner. Three new probabilistic models for dependency parsing: An exploration. In COLING 1996 Volume 1: The 16th International Conference on Computational Linguistics, 1996.

[12] Nitika Mathur, Johnny Wei, Markus Freitag, Qingsong $\mathrm{Ma}$, and Ondřej Bojar. Results of the WMT20 metrics shared task. In Proceedings of the Fifth Conference on Machine Translation, pp. 688-725, Online, November 2020. Association for Computational Linguistics.

[13] Markus Freitag, Ricardo Rei, Nitika Mathur, Chi-kiu Lo, Craig Stewart, George Foster, Alon Lavie, and Ondřej Bojar. Results of the WMT21 metrics shared task: Evaluating metrics with expert-based human evaluations on TED and news domain. In Proceedings of the Sixth Conference on Machine Translation, pp. 733-774, Online, November 2021. Association for Computational Linguistics.

[14] Mandar Joshi, Danqi Chen, Yinhan Liu, Daniel S. Weld, Luke Zettlemoyer, and Omer Levy. SpanBERT: Improving pre-training by representing and predicting spans. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 64-77, 2020.

[15] Nikita Kitaev and Dan Klein. Constituency parsing with a self-attentive encoder. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2676-2686,
Melbourne, Australia, July 2018. Association for Computational Linguistics.

[16] Michael Collins. Head-driven statistical models for natural language parsing. Computational Linguistics, Vol. 29, No. 4, pp. 589-637, 2003.