# Disentangling Meaning and Style for Positive Text Reframing

$\mathrm{Xu}$ Sheng $^{1}$, Yoshimi Suzuki ${ }^{2}$, Jiyi $\mathrm{Li}^{2}$, Kentaro Go ${ }^{2}$, and Fumiyo Fukumoto ${ }^{2}$
${ }^{1}$ Integrated Graduate School of Medicine, Engineering, and Agricultural Sciences
${ }^{2}$ Interdisciplinary Graduate School
University of Yamanashi
\{g22dts03,ysuzuki, jyli,go, fukumoto\}@yamanashi.ac.jp
}

\begin{abstract}
Positive Text Reframing (PTR), as the new branch of Text Style Transfer (TST) task has attracted interest from researchers as it is crucial and extensively applicable in the NLP area. Due to the significant generalization and representation capability of the Transformer based pre-trained language model (PLM), a beneficial baseline can be easily obtained by just fine-tuning the PLM on the annotated dataset directly. However, it is a challenging problem to transfer the sentiment attributes of the source sentence into a sentence that gives a positive perspective while preserving the original sense of the context. In this paper, we disentangle positive text reframing into aspects: a sentence meaning and style and learn a model for each aspect, i.e., paraphrase generation and sentiment transfer to boost the generation performance on a positive perspective. Experimental results on Positive Psychology Frames (PPF), show that our approach outperforms the baseline by seven evaluation metrics.
\end{abstract
## 1 Introduction

Text style transfer (TST), as one of the important NLP tasks, has been explored by the frame language-based systems by [1] and schema-based Natural Language Generation by [2] in the 1980s. The goal is to change the text style, such as formality, politeness, or sentiment with preserving the original sense of the source text. With a recent surge of interest in deep learning techniques, TST has had much attention and positive text reframing (PTR) has been explored as one of the sub-fields in TST research. As shown in the example sentence from Positive Psychology Frames (PPF) [3] in Figure 1, the goal of PTR is to generate a sentence with more positive sentiment and preserve the original content meaning of the given sentence.

Leveraging supervised learning with parallel data is one

Figure 1 The Concept for Disentangling Meaning and Style type of route among various approaches for the TST task. This line of approaches are, for example, Xu et al. [4] and Zhang et al. [5] proposed a multi-task learning-based method. Rao and Tetreault [6] presented data augmentation strategies for mitigating a small size of the training dataset. Another line is to utilize a non-parallel dataset. John et al. proposed a disentanglement method [7], and Shen et al. presented a cross-alignment algorithm to perform style transfer [8]. Fu et al. attempted to explore non-parallel data by using adversarial networks [9]. Lai et al. designed two rewards of target style and content for formality style transfer based on reinforcement learning paradigm [10].

The main challenge in the PTR task is how to control diversity and extent of style transfer, i.e., the trained model, which straightforward generates target by end-to-end following the Path ${ }_{1}$ in the Figure 1, and finally either simply copies most of the words that appeared in the source input to preserve the meaning, or transfers the input sentence with different sentiment polarity, causes a lack of diversity or reduce transferring sentiment quality. To transfer the source sentence into a diverse and positive target, we propose a simple approach that divides PTR into two aspects: sentence meaning and style. As shown in Figure 1 , the model is trained for each aspect, i.e., paraphrase generation and sentiment transfer, and further fine-tuned

Figure 2 The procedure for creating pseudo data

to fuse the capabilities learned from these two aspects by alternative paths, Path and $_{2}$ Path instead of Path $_{1}$.

The contributions of this paper can be summarized: (1) we propose two data augmentation strategies to generate pseudo-positive reframing datasets for disentangling the PTR, (2) we propose a simple but effective multi-task learning-based model to fuse the capabilities learned from the two pseudo datasets for PTR, and (3) The experimental results show that our pseudo datasets and our strategies can improve the performance compared with the baseline on PPF dataset.

## 2 Methodology

## 2.1 Creating Pseudo Data as Prior Knowledge

We utilized existing paraphrase and sentiment datasets to create two pseudo-parallel datasets instead of creating a sentence reframing dataset manually. Figure 2 illustrated the procedure for creating two synthetic datasets. The procedure consists of three steps.

## (1) Selecting annotation pairs

For the paraphrase generation auxiliary task, we choose Microsoft Common Objects in COntext (MSCOCO) and call it $D_{p g}$. In contrast, for the sentiment transfer auxiliary task. Shen et al. modified the huge Yelp reviews dataset for sentence-level sentiment analysis [8]. We divided it into two sets, $S_{\text {neg }}$ and $S_{p o s}$ consisting of sentences with negative and positive sentiment labels, respectively. We created pairs for $\forall s_{i} \in S_{\text {neg }}$, and $\forall s_{i}^{\prime} \in S_{\text {pos }}$. To reduce the computation cost, for a given $s_{i}$, we randomly chose the number of $0.05 \times\left|S_{p o s}\right|$ samples from the set $S_{p o s}$. Therefore, $0.05 \times\left|S_{\text {pos }}\right| \cdot\left|S_{\text {neg }}\right|$ negative and positive sentence pairs are gained. We call the result $D_{s t}$.

## (2) Training PLM as Filter

To utilize two datasets, $D_{p q}$ and $D_{s t}$ as pseudo datasets of PTR, each sentence of a pair extracted from $D_{p q}$ should be different polarity from each other. Similarly, each sentence of a pair from $D_{s t}$ should be a similar meaning. To this end, a semantic similarity classifier is trained as a semantic filter $\left(F_{\text {sem }}\right)$, to remove inappropriate from $D_{s t}$. In the same manner, a sentiment classifier is trained as a sentiment filter $\left(F_{\text {senti }}\right)$ and predicts one of the three polarities, i.e., negative, neutral, and positive. To simplify our model, two common parallel paraphrase generation and sentiment analysis datasets, for measuring semantic similarity and sentiment polarity classification can be utilized to obtain $F_{\text {sem }}$ and $F_{\text {senti }}$ respectively by leveraging PLM.

## (3) Filtering Two Pseudo Datasets

We recall that the goal of PTR is to generate a sentence that gives a positive perspective with preserving the original sense of the source sentence. Therefore, the model $F_{\text {sem }}$ predicts the semantic similarity score ranging from 0 to 5.0. The higher the score value, the more semantically similar the two sentences are. Likewise, we chose two types of sentence pairs only, i.e., (Negative $_{s} \rightarrow$ Neutral $_{s}$, Neutral $_{s} \rightarrow$ Positive $_{s}$ labeled by $F_{\text {senti }}$ ) from the set $D_{p g}$, resulting in pseudo set $D_{p g}^{\prime}$.

## 2.2 Fusion Strategies

The straightforward fine-tuning of PLM is indicated in the path marked with Path $_{1}$ of Figure 1. The strategy requires the model to directly learn the capability to inject diversity (paraphrase generation) and improve positive perspective (sentiment transfer) for the source sentence. However, it is challenging for the model to directly capture all of the complicated features at once. We thus divide this path into two relative steps to make the problem easier i.e., paraphrase generation and sentiment transfer, which are marked with blue and red colors in Figure 1. The model further fuses these two steps by utilizing two alternative paths masked with $\mathrm{Path}_{2}$ (from paraphrase generation to sentiment transfer) and $\mathrm{Path}_{3}$ (from sentiment transfer to paraphrase generation). To this end, we propose an approach that consists of two fine-turning stages and four data flows illustrated in Figure 3. More specifically, after training the PLM on two pseudo datasets, $D_{p g}^{\prime}$ and $D_{s t}^{\prime}$, parallel by using multi-task learning (Stage 1), the same model is further fine-tuned on PPF dataset following four optional data flow candidates, marked as ST, PG, PG2ST, and ST2PG (Stage 2). The decoder of PLM is a shared

Figure 3 The model structure and data flow

part, while the two encoders are used to model to generate paraphrase, and transfer sentiment, respectively.

The first fine-tuning stage based on multi-task learning which is shown in Figure 3, can also balance the paraphrase generation and sentiment transfer. Therefore, the data flow PG, and ST, which only pass one of the two encoders, are regarded as two implicit fusion strategies. In contrast, the remaining two data flows, i.e., PG2ST and ST2PG which are classified by the order of hidden layers from two encoders are called explicit fusion strategies.

## 3 Experiment

Table 1 The statistics of Five Datasets Invovled

## 3.1 Experimentail Setting

Following Ziems et al. [3] setting, we chose BART pretrained model as the PLM in our method [11]. The original BART is downloaded from the version "facebook/bartbase", Hugging Face ${ }^{1)}$. The five dataset statistics are summarised in Table 1. Semantic Textual Similarity Benchmark (STSB) [12] and TweetEval Sentiment (TEsentiment) [13] are used to train the filters, $F_{\text {sem }}$, and $F_{\text {senti }}$, respectively. During the first stage in which PLM is trained with the prior knowledge to learn deriving diversity

and transfer positivity, we utilized the multi-task learning algorithm proposed by Liu et al. [14] to fine-tune the PLM.

During the second stage, we utilized the PPF dataset to evaluate our method. It consists of 8,349 sentence pairs with manual annotation. The same BART trained in the first stage is further trained on the PPF training set. We tuned the hyperparameters as follows: the batch size is 4 , $8,16,32$, the number of epochs is from 2 to 5 , and the value of the learning rate is from 1e-5 to 1e-4. The procedure of tuning hyperparameters is automatically conducted by the third-party library named "Ray Tune"2).

For a fair comparison with the baseline proposed by [3], we included three metrics in our evaluation metrics. The metrics are: (1) ROUGE [15], BLUE [16] and BERTScore [17] referring to the gold reference for assessing the performance on content preservation. (2) The $\Delta$ TextBlob value [18] for assessing the positivity transfer effectiveness. (3) The Average Length and Perplexity [19], followed by [20] for measuring the fluency of the output sentences.

## 3.2 Results

Table 2 shows the main results on PPF test dataset. We can see from Table 2 that the results obtained by our approach improve the performance compared with the baseline. This indicates that our approach contributes to give a positive perspective while preserving the original contents. Four out of five content preservation metrics show that our method can keep the meaning of source sentences better as the improvements on ROUGE-1, ROUGE-2, and ROUGE-L are $5.2 \%, 2.7 \%$, and $3.0 \%$ respectively. Although there is no significant improvement on $\Delta \mathrm{TB}$, the

Table 2 Main results Against the baseline on a test set on PPF. $\triangle$ TextBlob ( $\triangle \mathrm{TB})$ refers to the evaluation metric about the positivity improvement. Average Length (Avg.Len) and Perplexity (PPL) denote the fluency metrics. Bold font shows the best result with each line. The result marked with $\star$, which has not been reported in the source paper, is obtained by following the same hyperparameter setting of the baseline, BART

 \\

Table 3 Some examples from test set of PPF, and their correspond reframe from our ST varient and Baseline. The parts marked with pink color are critical for positivity increase and content preservation.

decrease of perplexity by 1.4 scores demonstrates that the sentence output from our ST variant is more fluent than that from the baseline method.

Table 3 illustrates some example sentences obtained by our approach, ST, and the baseline. As shown in words/phrases highlighted by the green color, the output sentences generated by our model are more proper than that by the baseline. For instance, in the first example, "hope" and "better" are more positive expressions and the rest part keeps the meaning and topic of the original sentence, while the output of the baseline is duplicated with the source input. Likewise, "best to win this audition" in the output obtained by our method increases the positivity of sentiment style and preserver the content properly for the second input sentence. Although 'But I'm sure next time I'll be better" in the output by baseline method for the last example transfers the sentiment from negative to positive, the first short sentence blindly copies the counterpart from the input. Obviously, the entire output of our method is more fluent and diverse, such as "I hope this one goes well.", compared with the baseline.

## 4 Conclusion

In this paper, we proposed a method for positive text reframing by leveraging two pseudo-datasets, paraphrase pairs with sentiment polarities, and sentiment pairs with paraphrases created by utilizing existing sentiment and paraphrase datasets. The experimental results on the PPF dataset showed that our simple approach attained good performance compared with the baseline, especially, we found that it is effective for generating fluent sentences. Future work will include: (1) Exploring more effective fusion strategies by leveraging multi-task learning techniques, (2) Applying our approach to other tasks on TST, and (3) Incorporating sentiment transfer knowledge during pre-training stage by leveraging a huge number of non-parallel datasets.

## Acknowledgement

This work was supported by JST, the establishment of university fellowships towards the creation of science technology innovation, Grant Number JPMJFS2117, JKA, and Grant-in-aid for JSPS, Grant Number 20K11904.

## References

[1] David D. McDonald and James D. Pustejovsky. A computational theory of prose style for natural language generation. In Second Conference of the European Chapter of the Association for Computational Linguistics, pp. 187-193, 1985.

[2] Eduard Hovy. Generating natural language under pragmatic constraints. Journal of Pragmatics, Vol. 11, No. 6, pp. 689-719, 1987.

[3] Caleb Ziems, Minzhi Li, Anthony Zhang, and Diyi Yang. Inducing positive perspectives with text reframing. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 3682-3700, 2022.

[4] Ruochen Xu, Tao Ge, and Furu Wei. Formality style transfer with hybrid textual annotations, 2019. https: //arxiv.org/abs/1903.06353.

[5] Yi Zhang, Tao Ge, and Xu Sun. Parallel data augmentation for formality style transfer. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3221-3228, 2020.

[6] Sudha Rao and Joel Tetreault. Dear sir or madam, may I introduce the GYAFC dataset: Corpus, benchmarks and metrics for formality style transfer. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 129-140, 2018.

[7] Vineet John, Lili Mou, Hareesh Bahuleyan, and Olga Vechtomova. Disentangled representation learning for non-parallel text style transfer. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 424-434, 2019.

[8] Tianxiao Shen, Tao Lei, Regina Barzilay, and Tommi Jaakkola. Style transfer from non-parallel text by crossalignment. In Advances in Neural Information Processing Systems, Vol. 30, 2017.

[9] Zhenxin Fu, Xiaoye Tan, Nanyun Peng, Dongyan Zhao, and Rui Yan. Style transfer in text: Exploration and evaluation. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 32, No. 1, pp. 663-670, 2018.

[10] Huiyuan Lai, Antonio Toral, and Malvina Nissim. Thank you BART! rewarding pre-trained models improves formality style transfer. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 484-494, 2021.

[11] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, 2020.

[12] Daniel Cer, Mona Diab, Eneko Agirre, Iñigo LopezGazpio, and Lucia Specia. SemEval-2017 task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), pp. 1-14, 2017.

[13] Francesco Barbieri, Jose Camacho-Collados, Luis Espinosa Anke, and Leonardo Neves. TweetEval: Unified benchmark and comparative evaluation for tweet classification. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 1644-1650, 2020.

[14] Xiaodong Liu, Pengcheng He, Weizhu Chen, and Jianfeng Gao. Multi-task deep neural networks for natural language understanding. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4487-4496, 2019.

[15] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, 2004.

[16] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[17] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, pp. 74-81, 2020.

[18] Steven Loria. textblob documentation. Release 0.16, Vol. 2, , 2018.

[19] Zichao Yang, Zhiting Hu, Chris Dyer, Eric P Xing, and Taylor Berg-Kirkpatrick. Unsupervised text style transfer using language models as discriminators. In Advances in Neural Information Processing Systems, Vol. 31, 2018.

[20] Di Jin, Zhijing Jin, Zhiting Hu, Olga Vechtomova, and Rada Mihalcea. Deep learning for text style transfer: A survey. Computational Linguistics, Vol. 48, No. 1, pp. 155-205, 2022.


# トレースからユーザの意図を反映した画像キャプション生成

渡邊清子小林一郎
お茶の水女子大学
\{watanabe.sayako, koba\}@is.ocha.ac.jp

## 概要

近年，画像キャプション生成の研究は画像から得 られる情報だけでなく，コントロールシグナルと呼 ばれる追加情報を与えることにより，制御可能な画像キャプション生成へと発展している. 本研究で は，画像をなぞることをコントロールシグナルとみ なし，なぞった軌跡（‘トレース’と呼ぶ）から推定 されるユーザの意図に基づくキャプション生成手法 を提案する。トレースの滞在時間からユーザの興味度合いを，トレースの順番から説明順序をユーザの 意図として推定する。滞在時間を文長に比例させ， ユーザがトレースした情報を順番に漏らさずに生成文中に表現することを可能にする非自己回帰型の キャプション生成手法を提案する.

## 1 はじめに

コンピュータを操作するユーザインターフェイス は，キーボードを使った文字による CUI (Characterbased User Interface) と，マウスを使った画像による GUI (Graphical User Interface) が主流であった. しか し， PC (Personal Computer) にタッチパッドが搭載さ れたことや，スマートフォンの出現により，「クリッ ク」だけではない「スワイプ」「ピンチアウト」「フ リック」など指先による画面操作方法が多様になっ てきた。また，近年メタバースが注目される中で， VR (Virtual Reality) や MR (Mixed Reality) などを使用 する際には，ハンドコントローラーやハンドトラッ キング技術により手の動きの軌跡を読み取り，画面 を操作している。つまり, 従来画面に合わせて決 まった動かし方しかできなかったユーザインター フェイスは，ユーザの意図に合わせて多様な表現方法ができるように変容し続けている. 更に今後は,「スワイプ」「ピンチアウト」「フリック」などルール に当てはめずともユーザの動きの軌跡から指示を推測するようなユーザインターフェイスに進化してい くと考えている. そこで本研究では，ユーザが描く軌跡に焦点を当て，画像キャプション生成を題材に 実験を行う。

## 2 関連研究

近年，画像キャプショニングの研究は, Faster R-CNN [1] や Semantic Segmentation [2] といった手法 を用いて画像の内容を捉え，画像特徴量や言語モデ ルから画像の内容を深く捉える手法に基づくキャ プション生成手法が提案されている $[3,4,5,6]$. ま た，近年は画像特徴量や言語モデルだけでなく， コントロールシグナルと呼ばれる追加情報を与え て生成キャプションを制御する Controllable Image Captioning が盛んに研究されている. 制御信号には 様々な種類があり，バウンディングボックス [7], シーングラフ [8]，文の長さ [9]，文の詳述さ [10] を 用いた研究が挙げられる. しかし, コントロールシ グナルはキャプションの内容やスタイルに言及した ものが多く，ユーザの意図や興味に沿ったインタラ クティブな題材についてはあまり研究されていな い. このような背景から, 本研究では, ユーザが画像をなぞる軌跡をコントロールシグナルとし，ユー ザの説明意図を反映した新しい画像キャプション 生成手法を提案する．説明をする際に指差しながら 発話するということは，人間の自然な行動である. その為，トレースは画像キャプションのタスクと親和性が高い。また，トレースには画像内の位置を示 す座標情報だけではなく，時間軸やトレースの形状 などの情報も含まれるため，様々な応用が可能であ る. 画像キャプション生成のコントロールシグナ ルにトレースを用いる先行研究として, Yan ら [11] は，トレースとバウンディングボックスの関係をス コアリングすることによって結び付けに成功し，高 い精度を出した. これに対して本研究では，トレー スの座標情報だけでなく，トレースの滞在時間に注目し，ユーザの興味に合わせて説明の詳述さをキャ プションに反映する.

図 1 提案手法の概要

## 3 提案手法

図 1 亿提案手法の概要を示す. 以下，図 1 の各プ ロセスを説明する。

(1)画像のトレース 画像中の説明したい箇所をト レースする. その際，説明を詳細にしたい対象に対 してはトレースを念入りに行う。

(2)説明領域の抽出 トレースの描画範囲から説明領域を抽出し, 各領域のトレースの滞在時間から文長を推定する。また，各領域のバウンディングボッ クスを抽出する。

(3)オブジェクト認識 各領域内でオブジェクト認識を行う。

(4)入力文章(2)で推定した文長と(3)で認識され たオブジェクトの単語から, 画像キャプションを生成モデルに入力する文章を準備する。

(5)画像キャプション生成 (2)よって抽出した 各バウンディングボックスの特徴量と(4)で準備した 文章を入力とし, Deng ら [9] による文長制御可能な 画像キャプション生成モデル LaBERT を用いて，そ れぞれの領域の画像キャプションを生成する.

## 3.1 使用データセット

Pont-Tuset ら [12] は，トレースデータセット Localized Narratives(LN) を構築した. LN は，マウス で画像をなぞりながら画像の内容を音声で説明す るという実験によって収集されたデータセットで ある. LN は Open Images [13], Microsoft COCO [14], Flickr30k [15], ADE20k [16] の 4 つの画像データセッ トから構成されており, 画像, トレース, 画像キャ プション，キャプションの音声が含まれている.

## 3.2 トレースによる説明領域の抽出

図 2 トレースの座標の変化量

ユーザが興味を示した範囲をその順番に沿って キャプションを生成する為に, トレースから説明領域を抽出する．トレース時における人の行動特性を 解明する為に，座標の変化量を特徵量として抽出し た. 横軸に単語数, 縦軸にトレースの $(x \times y)$ 座標 をとったグラフを図 2 に示す. グラフが平らになっ ている範囲が特徵的に表れていたので，発話データ と参照してみたところ，ピリオドの部分に相当して いた. 同じような特徵が他のデータにも多く見受け られた.グラフが平らな範囲は，1 文の発話が終わ り次の文章を発話するまでの間の時間かつ，次の説明物体に移動するまでの間の時間である。このこと から，1 文ずつに分割することを説明領域の抽出方法の指針として，この部分を抽出する. $(x \times y)$ 座標 の変化量が少なく, それが連続している部分を黄色 い点でプロットした.この例の場合, 説明領域は黄色い点を除き分割点とし，4つに分かれる. 画像説明時のトレースにおける人の行動特性は常時このよ うになるわけではなく，他の行動特性も観察された

が，本研究では上記の行動特性を基準とする。

## 3.3 文長とトレース滞在時間の関係

人は画像を説明する時，詳しく説明したい時には トレースを長い時間滞在させ，簡単に説明したい時 には短いトレースになると仮定する。キャプション の単語数とトレースの滞在時間の関係を明らかにす るために，LNのデータを用いて定量的に検証した。横軸を文のキャプションの単語数，縦軸をトレース の滞在時間としたグラフを図 3 に示す. この結果よ り, キャプションの単語数が多くなるにつれて，卜 レースの滞在時間は対数的に伸びていることがわか る. 今回は 7 25 単語で生成するので, 7〜25 単語 に絞ってみてみると，比例的に伸びていることがわ かる.

図 3 キャプションの単語数とトレースの滞在時間

トレースの滞在時間により説明の詳述さを決定す る. 外れ值を排除し, キャプションの単語数 $\div$ ト レースの滞在秒数の中央值を計算すると， 1 秒間あ たり 2.35 単語発話していることがわかった.この 結果から，トレースの滞在秒数を 2.35 倍したものを 文の長さとして設定する.

## 3.4 非自己回帰型キャプション生成

ユーザの興味の度合いを反映した画像キャプショ ンを生成する為に，トレースの滞在時間により説明 の詳述さを決定することを考える．ここでは，説明 の詳述さを生成文の長さとして捉える。一般に, 逐次的に次の単語を予測する自己回帰的な文生成手法 は，生成文の長さを制御できない，また，生成する 文の長さが長くなると計算量は線形的に増加してし まうといった欠点がある.これに対し, Deng ら [9] は，長さ制御可能な画像キャプションの為の非自己回帰型デコーダを考案し, 文長を制御する効率 の良い文生成手法である LaBERT を提案している.
LaBERT では生成文に対して, 各単語の確率分布 を元にスコアが低いトークンを [MASK] に変更し， [MASK] 部分に対して再度単語を予測するという仕組みをとっている. 本研究では，トレースを元に生成を行うため，ユーザの指した情報は生成キャプ ションでも出現させたい. LaBERTをそのまま使用 すると, 生成されたテキストが更新される過程で,残して欲しい単語に関しても [MASK] に変更されて しまう可能性があるため，常にその単語を含むキャ プションを生成するようにデコーダを改良した. 本研究では，LaBERT のデコーダを参考にし，トレー スの滞在時間を文長に比例させ，ユーザの指した情報を順番に漏らさずに文中に挿入することを可能に する非自己回帰型のキャプション生成手法を提案す る. 概要を図 4 に示す. 画像から物体認識されたラ ベルを取り出し，トレースがその物体のバウンディ ングボックス内を一定時間以上滞在した場合，挿入対象単語とみなす. そして, 図 4 の Step 1 において, [MASK] の代わりに挿入対象単語を挿入する. 插入位置は，発話中ずっと指していた場合は中央に，最後にトレースした場合は後方に配置するように，卜 レースがその物体を指していたタイミングに合わせ て挿入する。

図 4 長さ $L_{\text {low }} \sim L_{\text {high }}$ の文生成

## 4 実験

画像とトレースを入力として，トレースからユー ザーの意図を反映した画像キャプション生成を 行った.

精度 SPICE : $0 \%$ METEOR : $14 \%$ ROUGE : $11 \%$ BLEU : $21 \%$

精度 SPICE : $20 \%$ METEOR : $10 \%$ ROUGE : $12 \%$ BLEU : $22 \%$

トレースの滞在時間: 10.9 秒指定単語数 : $20 \sim 25$ 正解単語数 : 12 単諨
original-LaBERT : A lot of trees that are standing in the didt

比較実験 original-LaBERT(20 25単語)：A man with a hat standing on a sidewalk next to a suitcase with three pieces on the ground

図 5 トレースを入力とした画像キャプション生成.

## 4.1 実験設定

表 1 に実験設定を示す. 文生成の精度の評価指標には，BLEU@ 1 [17], ROUGE [18], METEOR [19], SPICE [20]を用いた。

## 4.2 実験結果

実験結果を 5 亿示す. 説明領域 3 では, トレース は女性のバックを強くトレースしており, 正解キャ プションも “bag”について言及している. 物体認識 の結果, Step1 での入力として “bag”が中央に追加さ れ，生成キャプションに“bag”が含まれた. 改良前 の LaBERT で生成した場合，注目する物体を絞らず に周りの情報を多く取り込んでしまった結果, “bag” に関しての記述は無かった. LaBERT を改良したこ とにより，トレースの意図をよく捉えた結果になっ た.

また，トレースの滞在時間からキャプションの単語数を予測した結果, 説明領域(2), (3), (4)では, 単語数の指定範囲に正解単語数が収まっており，正しく 予測出来た. 説明領域(1)は，正解キャプション 12 単語に比べ，大幅に多く推定された。実際はトレー スの滞在時間程，長い文による説明は求められてい
ないことがわかる。しかし，トレースを見ると入念 にトレースがされており詳しい説明を求めている ような特性が見られる. 生成されたキャプション は，“suitcase"を捉えるだけではなく，スーツケース に貼ってあるステッカーを “pictures”と捉え詳細な 説明ができている．説明者の意図には沿えていない が，トレースの意図を汲み取った生成結果となって いる.

比較実験として，統合マルチモーダル事前トレーニ ングモデル OFA [21] と改良前の LaBERT でキャプ ションを生成した.これらの結果は，画像の概要は 説明できている。しかし，提案手法のように説明の 順番や説明の詳述さなど，ユーザの意図に合せて文章を生成することはできていない.

付録に他の実験例を載せる。

## 5 おわりに

本研究では，画像に対してトレースを用いながら 説明するデータセット LN と文長制御が可能な非自己回帰型テキスト生成を行う LaBERT のデコーダを 改良し組み合わせ，トレースからユーザの説明意図 を汲み取りインタラクティブに説明文を生成する画像キャプション生成手法を提案した. 既存のキャプ ション生成手法と提案手法を比較すると，提案手法 では説明の順序や詳述さを反映したキャプションを 生成することに成功している。 しかし, 今回は画像 を指す際に，渦巻きを描き移動し渦巻きを描きとい う特性を持つトレースに絞って実験を行ったが，実際のデータは様々な特性が見られた。

今後の課題として，トレースからユーザの特性を 分析し，それに応じた処理がでいるようなトレース 分析を考えている.

## 参考文献

[1] Shaoqing Ren, Kaiming He, Ross B. Girshick, and Jian Sun. Faster R-CNN: towards real-time object detection with region proposal networks. CoRR, Vol. abs/1506.01497, , 2015.

[2] Jonathan Long, Evan Shelhamer, and Trevor Darrell. Fully convolutional networks for semantic segmentation. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2015.

[3] Chenliang Li, Haiyang Xu, Junfeng Tian, Wei Wang, Ming Yan, Bin Bi, Jiabo Ye, Hehong Chen, Guohai Xu, Zheng Cao, Ji Zhang, Songfang Huang, Fei Huang, Jingren Zhou, and Luo Si. mplug: Effective and efficient vision-language learning by cross-modal skip-connections, 2022.

[4] Luowei Zhou, Hamid Palangi, Lei Zhang, Houdong Hu, Jason J. Corso, and Jianfeng Gao. Unified vision-language pre-training for image captioning and vqa, 2019.

[5] Ting-Yao Hsu, C. Lee Giles, and Ting-Hao 'Kenneth' Huang. Scicap: Generating captions for scientific figures, 2021.

[6] Junqi Jin, Kun Fu, Runpeng Cui, Fei Sha, and Changshui Zhang. Aligning where to see and what to tell: image caption with region-based attention and scene factorization, 2015.

[7] Marcella Cornia, Lorenzo Baraldi, and Rita Cucchiara. Show, control and tell: A framework for generating controllable and grounded captions. CoRR, Vol. abs/1811.10652, , 2018.

[8] Shizhe Chen, Qin Jin, Peng Wang, and Qi Wu. Say as you wish: Fine-grained control of image caption generation with abstract scene graphs, 2020.

[9] Chaorui Deng, Ning Ding, Mingkui Tan, and Qi Wu. Length-controllable image captioning. CoRR, Vol. abs/2007.09580, , 2020.

[10] Zhangzi Zhu and Hong Qu. Improving image captioning with control signal of sentence quality, 2022.

[11] Kun Yan, Lei Ji, Huaishao Luo, Ming Zhou, Nan Duan, and Shuai Ma. Control image captioning spatially and temporally. In ACL/IJCNLP (1), pp. 2014-2025, 2021.

[12] Jordi Pont-Tuset, Jasper Uijlings, Soravit Changpinyo, Radu Soricut, and Vittorio Ferrari. Connecting vision and language with localized narratives. In ECCV, 2020.

[13] Alina Kuznetsova, Hassan Rom, Neil Alldrin, Jasper R. R. Uijlings, Ivan Krasin, Jordi Pont-Tuset, Shahab Kamali, Stefan Popov, Matteo Malloci, Tom Duerig, and Vittorio Ferrari. The open images dataset V4: unified image classification, object detection, and visual relationship detection at scale. CoRR, Vol. abs/1811.00982, , 2018.

[14] Tsung-Yi Lin, Michael Maire, Serge J. Belongie, Lubomir D. Bourdev, Ross B. Girshick, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. Microsoft COCO: common objects in context. CoRR, Vol. abs/1405.0312, , 2014.

[15] B. A. Plummer, L. Wang, C. M. Cervantes, J. C. Caicedo, J. Hockenmaier, and S. Lazebnik. Flickr30k entities: Collecting region-to-phrase correspondences for richer imageto-sentence models. In 2015 IEEE International Con- ference on Computer Vision (ICCV), pp. 2641-2649, December 2015.

[16] Bolei Zhou, Hang Zhao, Xavier Puig, Sanja Fidler, Adela Barriuso, and Antonio Torralba. Semantic understanding of scenes through the ADE20K dataset. CoRR, Vol. abs/1608.05442, , 2016.

[17] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[18] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[19] Satanjeev Banerjee and Alon Lavie. METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72, Ann Arbor, Michigan, June 2005. Association for Computational Linguistics.

[20] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. SPICE: semantic propositional image caption evaluation. CoRR, Vol. abs/1607.08822, , 2016.

[21] Peng Wang, An Yang, Rui Men, Junyang Lin, Shuai Bai, Zhikang Li, Jianxin Ma, Chang Zhou, Jingren Zhou, and Hongxia Yang. Ofa: Unifying architectures, tasks, and modalities through a simple sequence-to-sequence learning framework, 2022.

## A 付録

トレースの滞在時間 : 6.6秒

指定単語数：15 19単語 正解単語数：23単語

比較実験 original-LaBERT : A little boy that is holding a plate of food......... OFA : A little kid eating pizza at a restaurant.

トレースの滞在時間 : 7.6 秒指定単語数 : 15 19 正解単語数：13単語

original-LaBERT : A plate of food with a sandwich and a bowl of soup next to a glass of orange juice......

[MASK]

[MASK]

[MASK] [MASK]

cup cup 生成キャプション Dining table with plates of food and cup and 正解キャプション There are glasses and bottle.

精度 SPICE : 0\% METEOR : 4\% ROUGE : 15\% BLEU : 11\%

トレースの滞在時間 : 3.3 秒指定単語数 $: 7 \sim 9$ 正解単語数 : 5単語 original-LaBERT : A plate of food sitting on a table.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 日本語 CommonGen における入カキーワード群のハブ単語の 自動追加による生成文の改善

鈴木雅人 ${ }^{1}$ ， 新納浩幸 ${ }^{2}$
1 茨城大学工学部情報工学部, ${ }^{2}$ 茨城大学大学院理工学研究科情報科学領域
\{19T4042Y, hiroyuki.shinnou.0828\}@vc.ibaraki.ac.jp

## 概要

常識推論能力を試すタスクとして CommonGen が ある. CommonGen は数個のキーワードを入力とし て，それらキーワードを含む妥当な文を生成する タスクである。論文 [1] では日本語 CommonGen の データセットとベースラインシステムを作成してい る。またそこでは入力キーワード群のハブ単語を追加することで生成文が改善される可能性を論じてい る.ただしハブ単語の選出は人手で行っており，実装には至っていない。本論文ではハブ単語の選出法 を提案，実装しその効果を検証する。

## 1 はじめに

常識推論は人工知能の重要な問題であり，自然言語処理の分野でも，常識推論を扱うタスクがい くつか考案されている [2][3][4][5][6][7]. そのなか で Lin らは CommonGen という新しい常識推論の夕 スクを提案した [8]. CommonGen は，概略，数個の キーワードを入力し，それらキーワードを用いて妥当な文を生成するという制約付き文生成のタスクで ある．例えば「彼，犬，餌」なら「彼が犬に餌をあ げる」などといった文を生成するのが目標である。「犬が彼に餌をあげる」は文法的には正しくても常識的にはおかしな文であり，そのような文を生成し ないために常識推論が必要とされる.

日本語 CommonGen の試作をおこなった研究 [1]で は，データセットの作成や $\mathrm{T} 5$ を用いた CommonGen のモデルを作成し，このタスクが日本語においても 常識推論能力が必要とされることを示している. ま た生成文を改善する手法として入力キーワード群 のハブ単語を追加する手法が示された。しかしそこ ではハブ単語は人手により与え，ハブ単語の効果を 論じているだけであり，ハブ単語をどのように選出 し，どの程度の効果があるかは示されていない.こ
こではハブ単語の選出方法を提案し，生成文がどの 程度妥当になるかを調査した。

## 2 関連研究

自然言語処理の分野では QA や対話などで，深 い意味理解が必要となる場面で常識推論が使われ，様々なタスクが考案されている. CommonsenseQA [2] は元となる言葉に関係する 3 つの言葉を用意し，関係する元の言葉を含みながら，3つの言葉の内そ れぞれひとつずつのみに当てはまる質問を用意す る。またこの際に，追加で元となる言葉に関係する 2 つ誤答用の言葉が用意され，3つの質問は 2 つの 誤答用の言葉には当てはまらないようにする．そう して用意された 3 つの質問に対して 5 つの選択肢と なる言葉からそれぞれ，どの言葉が当てはまるかを 選択するタスクである. SocialIQA [3] は社会的に一般的な状況を提示し，その状況下で取る行動やその 状況下での心情を尋ねる質問と 3 つの選択肢が与え られ，適切な回答を選ぶタスクである。WinoGrande [4] は 2 つの文章とその文章中にある代名詞に対し て2つの単語の選択肢が与えられ，各文章に代名詞 の指す正しい単語を選択するタスクであり，これは Winograd Schema Challenge からバイアスを除去し， クラウドソージングの手続きを改善したものであ る. KUCI [5] は日本語において中断されている文章 とそれに続く蓋然的な関係を持つ文章を 4 つの選択肢から 1 つ選択するタスクである. SWAG [6] は 「ある場面でのビデオキャプション」と4つの「次 の場面でのキャプション」の選択肢となる文章を提示し，選択肢から本物の次の場面でのキャプション を選択するタスクである. HellaSwag [7] はSWAGを 元としてさらに難しい不正解の選択肢を導入する Adversarial Filtering や元となるビデオキャプション の厳選などを行い，SWAG を改善したものである。

これらタスクは基本的には選択式の問題である.

CommonGen は制約付き文生成のタスクであり，選択式の問題では扱えない問題を扱っていると考えら れる.

CommonGen と類似のシステムとしては株式会社 ELYZA がデモ版を公開している ELYZA Penci1 ${ }^{1)}$ が ある. ELYZA Pencil は数個のキーワードからその キーワードを使ったニュース記事（タイトルとその 本文）を生成する. 生成される記事はかなり高品質 であるが，商用システムであるため使われている技術の詳細は明らかにされていない。

## 3 データセットの構築

本論文の実験は基本的に論文 [1] で作成された データセットを用いる. ここではそのデータセット がどのように構築されたかを記す。

データセットは Web 上で公開されている STAIR Captions ${ }^{2}$ の画像キャプションのデータセットを元 とした.キャプション 12,000 文から各キャプショ ンを MeCabをもちいて形態素解析した結果を取得 し, キーワード候補を品詞を用いて抽出を行った ${ }^{3)}$. そこからランダムに 3 つの単語を選出し, 選出した 3 単語を入力，対応するキャプションを出力とする データセットを構築した (図 1 参照).

図 1 CommonGen 用データセット作成例

12,000 組のデータの内 9 割（10,800 組）が訓練 データ，残りデータの半数（600 組）が検証データ，最後に残ったデータ（600 組）の中の 200 組をテス トデータ（このテストデータを「自動作成したテス トデータ」と呼ぶ）とした. 作成したデータの例を 表 1 に示す.

またキーワードによる生成の容易さを調べるた

1) https://www.pencil.elyza.ai/

2) https://github.com/STAIR-Lab-CIT/STAIR-captions

3）"する", "いる", "ある"など多機能な動詞は除かれてい る.表 1 自動作成したデータの例

めに考案した 3 タイプ 60 組のテストデータを追加 した。このテストデータを「独自に作成したテスト データ」と呼ぶ。独自に作成したテストデータには 正解となる文は作成していないことを注記してお く. 独自に作成したテストデータの一部を付録に 示す.

## 4 実験

日本語 CommonGen のモデルは論文 [1] で構築さ れたモデルを用いる. モデルはウェブ上で公開され ている日本語 $\mathrm{T} 5$ 事前学習済みモデル 4 ）を前述した データセットで fine-tuning したものである. 学習時 のパラメータは学習率を $3 \mathrm{e}-4$, 最大入力トークン数 を 16 , 最大出力トークン数を 24 , バッチサイズ 8 , エポック数 10 としている.

## 4.1 自動作成したテストデータ

「自動作成したテストデータ」に対する上記モデ ルによる生成結果について述べる5．

「自動作成したテストデータ」は 200 組であり，各生成文に対して主観により 5 段階の評価基準の いずれか 1 つを付与した. 付録に 5 段階の評価基準 として提示されていた例を示す. 分類結果を図 2 に 示す.

図 2 「自動作成したテストデータ」の評価結果

図 2 より約 8 割は評価基準の (v)（自然な生成文） と判定されている.このことから T5 モデルを利用 することで，日本語においても CommonGen タスク

は概ね解決できるといえる。また「妥当でない」と 評価された生成文の内，前提条件である「キーワー ド未使用」を除くと最も割合が高いのは「言い回し の不自然さを含む文」であり，日本語においても常識推論が求められることを示している.

## 4.2 独自に作成したテストデータ

「独自に作成したテストデータ」に対する上記モ デルによる生成結果について述べる ${ }^{6)}$ 。この実験は 入力キーワード群による生成の容易さを考察するた めに行っている。

独自に作成したキーワードと生成文の例として，「キーワード同士の関連度を段階的に変えたもの」 の生成例を付録の表 5 に，「3つのキーワードがすべ て抽象名詞」の生成例を付録の表 6 に，「抽象名詞 2 つと具体的な名詞 1 つ」の生成例を付録の表 7 に 示す.

キーワード同士の関連度を段階的に変えたものか らは，現在のモデルではキーワード自体は含めるこ とは出来ても 3 つのキーワード間に関連性がなけれ ば妥当な文の生成は難しいことを示している。また 学習データであるキャプションには出現しない抽象名詞をキーワードとしたとしても，意味を捉えた生成ができており, 学習データの種類による特定の語彙を用いた生成能力の差は小さいのではないかと考 えられる. 抽象名詞 2 つと具体的な名詞 1 つの実験 では，キーワード未使用が減少しており，キーワー ドの具体性がキーワード未使用に関連していること が予想できる.

## 4.3 ハブ単語の追加

論文 [1] では，独自に作成したテストデータの中 の「3つのキーワード全てが抽象名詞」に対する生成結果が妥当でないと判断した 10 組に関して，3つ のキーワードの中で関連性が低いキーワードを一つ 任意の単語に変更する実験とハブ単語を追加する実験を行い生成結果の妥当性の変化を検証している. それぞれの実験の結果を表 8 , 表 9 を付録に示す.任意のキーワードを変更する実験では全体的にキー ワードが未使用であるケースが減少し, 生成文に関 しても一部を除き妥当性が増したと述べられてい る. ハブ単語を追加する実験では，一部の生成結果 でキーワード未使用や生成文の妥当性の改善が見ら れ，効果的な手法である可能性が示された.

## 4.4 ハブ単語の自動選出

前述したハブ単語を追加する実験では，追加する ハブ単語は人手により与えられた。本論文では大力 キーワード群からハブ単語を自動選出する手法を提案し，その効果を調査する。

ハブ単語の選出は以下の手順で行う。まず $\mathrm{chiVe}^{7)}$ を用いて各入力キーワードの分散表現を得 て，それらの平均べクトルを求める. その平均べク トルと類似度が高い上位 3 単語を chiVe の語彙から 選択する.この例を表 2 に示す. 表 2,2 行目左の 列が入力キーワード群「表情，ミス，ショット」で あり，このキーワードの分散表現の平均ベクトルと 類似度が高い上位 3 単語が表 2 の 3，4，5 行目左の 列の最後のキーワードである「ナイスショット，ミ スショット，凡ミス」である。そして表 2 の 3，4， 5 行目，右の列が追加後の生成文となっている.

表 2 ハブ単語の追加例

 \\

この操作を 3 節で説明した「自動作成したテスト データ」と「独自に作成したテストデータ」の内，生成文に全てのキーワードを含めていないキーワー ド群と関連研究で [1] で自然でないと評価したキー ワード群に対して実行し，追加前と追加後の生成文 の比較を行った。

全てのキーワードを含めていないキーワード群 に対して比較結果は，「自動作成したテストデータ」 では平均して 0.450 個，「独自に作成したテストデー 夕」では平均して 0.148 個の使用キーワード数の増加となった．またその例を表 3 に示す.

次に自動作成したテストデータ内，自然でないと 評価したテストデータにおいてキーワードを追加し た実験結果の例を表 4 に示す. 主観評価となるが， 3 割程度の生成結果で改善が見られた。

## 5 考察

ハブ単語の自動選出の実験結果では自動作成した テストデータと独自に作成したテストデータの間の

7) https://github.com/WorksApplications/chive
表 3 キーワード未使用と評価されたテストデータに対す るタブ単語の追加例

 \\

周り, 両手, 模様, 両腕 顔の周りに模様のついた両手を挙 げている男性がいる

周り,両手, 模様, 周囲 象の周りを両手で持つ模様のある もの

周り,両手,模様,背中

愛情, 最高, 感動, 感激 犬に愛情をこめて作ったピザに感

愛情, 最高, 感動, 感動 て家族が最高に感動した瞬間だった

使用キーワード増加数に 0.3 キーワード程の差があ るが，この原因として独自に作成したテストデータ の生成難易度が高いことが一つの要因だと考える。根拠として,この実験の結果を検証した際, 自動作成したテストデータでは多くのキーワード群で上位 3 単語の追加キーワードに対してどれか一つは使用キーワードの増加が見られていたが，独自に作成 したテストデータでは, 上位 3 単語の追加キーワー ド全てでキーワード使用数に変化がない，もしくは キーワード使用数の減少があるケースが多く見ら れたことに加え, Elyza Pencil に対して，3つの追加 キーワード全てで改善が見られなかったキーワード 群を用いて記事を出力する実験を行った際，同様に キーワードを含む出力が見られないケースが多く見 られたことが挙げられる.このことから, 独自に作成したテストデータの一部に人間にとっても生成 が難しいキーワード群が存在し，たとえ適切なアプ ローチを行っても改善を確認できないテストデータ が存在する可能性を検証する必要がある.

また自動追加の手法に関してこの論文では, 分散表現を用いてハブとなるキーワードの探索を行う という手法を採用したが，その他の手法としてキー ワードを追加する前の生成文からキーワード以外の 単語をキーワードとして追加する実験を行った.こ の手法は，キーワードが生成文に含まれないという表 4 不自然な生成文と評価されたテストデータに対する タブ単語の追加例

 \\

問題に有効ではないかと考え実験を行ったが，追加前の生成文と追加後の生成文が殆ど同じになってし まう場合や追加キーワードが元となる 3 つのキー ワードよりも優先されて含まれてしまうことが多 く, 生成文を変化させるには, 追加前の生成文から 関係が低いキーワードが望ましいと考える。

## 6 おわりに

論文 [1] で示された日本語 CommonGen のデータ セットとべースラインシステムを利用し，論文内で 示された入力キーワード群のハブ単語を追加するこ とで生成文を改善する手法について機械によるハブ となる単語の自動追加システムを実装し, その効果 を検証した。

キャプションを元としたテストデータでは，キー ワードの未使用に対して一定の効果があることを示 した. 生成文の妥当性に対しては, 主観となるが改善が見られることを確認した。

今後の課題としては，不自然な生成文の自動判定 がある. 生成文が自然かどうかを自動判定できなけ れば，本手法は利用できないからである. 現在，不自然な生成文を収集し, 生成文が自然かどうかを判定する分類器の構築を試みている。

## 謝辞

本研究は 2022 年度国立情報学研究所公募型共同

研究（22FC04）の助成を受けています.

## 参考文献

[1] 鈴木 雅人, 新納浩幸. 日本語 CommonGen の試作と入力単語間の関連性からの考察. 自然言語処理研究会 (第 253 回), 2022.

[2] Talmor Alon, Herzig Jonathan, Lourie Nicholas, and Berant Jonathan. Commonsenseqa: A question answering challenge targeting commonsense knowledge. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4149-4158. Association for Computational Linguistics, 2019.

[3] Sap Maarten, Rashkin Hannah, Chen Derek, Le Bras Ronan, and Choi Yejin. Social iqa: Commonsense reasoning about social interactions. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4463-4473. Association for Computational Linguistics, 2019.

[4] Sakaguchi Keisuke, Le Bras Ronan, Bhagavatula Chandra, and Choi Yejin. Winogrande: An adversarial winograd schema challenge at scale, 2019.

[5] Omura Kazumasa, Kawahara Daisuke, and Kurohashi Sadao. A method for building a commonsense inference dataset based on basic events. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2450-2460. Association for Computational Linguistics, 2020.

[6] Zellers Rowan, Bisk Yonatan, Schwartz Roy, and Choi Yejin. Swag: A large-scale adversarial dataset for grounded commonsense inference. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 93-104. Association for Computational Linguistics, 2018.

[7] Zellers Rowan, Holtzman Ari, Bisk Yonatan, Farhadi Ali, and Choi Yejin. Hellaswag: Can a machine really finish your sentence? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4791-4800. Association for Computational Linguistics, 2019.

[8] Bill Yuchen Lin, Wangchunshu Zhou, Ming Shen, Pei Zhou, Chandra Bhagavatula, Yejin Choi, and Xiang Ren. CommonGen: A constrained text generation challenge for generative commonsense reasoning. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 1823-1840. Association for Computational Linguistics, 2020.

## A 生成例

表 5 「キーワード同士の関連度を段階的に変えたもの」 の生成例

 & テーブルの上でデートの \\

表 6 「3つのキーワードがすべて抽象名詞」の生成例

 \\

表 7 「抽象名詞 2 つと具体的な名詞 1 つ」の生成例

 \\

& パンが置いてある \\

表 8 表 6 で生成が妥当でないと評価した組み合わせにつ いて

キーワードを一つ関連度の高そうなものに変更した結果

表 9 表 6 で生成が妥当でないと評価されたキーワード群 にハブ単語を追加した実験結果

## B 独自に作成したテストデータ例

タイプ 1 キーワード同士の関連度を段階的に変え たもの（20 組）

(先生, 生徒, 教科書), (音楽, 配送, パン), (テーブル, デート, 動画)

タイプ 23 つのキーワードがすべて抽象名詞 (20 組)

(愛情, 最高, 感動), (哀愁, 故郷, 風景), (好 み, 配慮, 選択）

タイプ 3 （2）の内 1 つのキーワードを具体的な名詞に変更したもの（抽象名詞 2 つと具体的な名詞 1 つ）（20 組）

(愛情, 最高, テレビ), (哀愁, 故郷, 置き物), （好み, 配慮, パン）

## C キャプションから作成のテスト データに対する 5 段階評価の分類例

(i)生成文に対して未使用なキーワードを含む

(入力): 携帯，写真，見える

(出力): 携帯を触っている男性の顔がぼやけて 見える

(ii)意味の通らない生成文 (入力): くちばし，目，鷲

(出力): 鷲の目の近くにあるくちばしの大きな 鳥がいる

(iii)文法的な誤りを含む生成文 (入力): しまうま，並ぶ，鼻

(出力): しまうまと象が鼻が並んでいる

(iv)言い回しの不自然さを含む生成文

(入力): 座る，道端，植木

(出力): 道端に小さな植木が座っている

(v)自然な生成文

(入力): 目，動物，茶色

(出力): 茶色の目をした動物が草を食べている


# MCL による広告文生成の Expert 選択バランス性向上手法： EMA に基づく Expert 選択

石塚湖太 $^{1}$ 黒木開 1 川上孝介 $^{1}$
${ }^{1}$ negocia 株式会社
\{kota_ishizuka,kai_kurogi,kosuke_kawakami\}@negocia.jp

## 概要

この論文では、Multiple Choice Learning (MCL)に 基づくMoE(Mixture of Experts) モデルを使用した広告文生成において、Expert の選択バランス性を向上 するための手法を提案する。提案手法は Exponential Moving Average(EMA) を用いて各 Expert の損失の変化傾向を記録し、それに基づいて Expert を選択す るものである。これにより、選択バランス性が向上 し、更に質の高い広告文を生成することができると 考えられる。本研究では、提案手法を用いた場合と 通常の MCL を用いた場合を比較し実験を行った。結果、提案手法を用いた場合、Expert の選択バラン ス性が向上し、生成される広告文の質も高くなった ことが確認できた。

## 1 はじめに

検索連動型広告は、ユーザの検索クエリに関連す る広告文を検索結果画面に表示する広告のことであ る。広告文をクリックした先にはランディングペー ジが設置されており、それはサービスの魅力をユー ザにアピールし購入や申し込みなどの行動を促すこ とを目的としている。したがって、広告文は、ラン ディングページとの関連性の高い内容をユーザにア ピールしクリックを促す重要な役割があるため、一般的に広告制作者はランディングページなどを参考 に広告文を作成する。しかし近年のデジタル広告の 需要の増加により、広告文作成の自動化が求められ ている。

LPからの広告文生成において、テンプレート文が 多数存在することによる学習データの不均衡が指摘 されている [1]。この問題に対して、Multiple Choice Learning (MCL)[2] に基づく MoE(Mixture of Experts) モデルにより、学習データに存在する隠れた状態を モデル内で明確に領域分割することで、解決を試み
ている。MCL に基づく Expert 選択では、最も loss が小さい Expert を選択する。このため学習初期は、単純な初期値の差から生じる損失関数の値のばらつ きに基づいているため、学習データの大多数のテン プレート文を出力しやすい Expert が優先的に選ばれ やすく、学習中もその傾向を拡大させるような選択 が行われうる。少数のテンプレート文ではない広告文を学習することが期待されるが、単純な損失関数 の值でそれが実現される保証はない。

そこで本研究では、広告文生成において、MCLに 基づく MoE モデルを用いることで、Expert の選択 バランス性を向上するための手法を提案する。具体的には、Exponential Moving Average(EMA)を用いて 各 Expert の損失の変化傾向を記録し、それに基づい て Expert を選択することで、選択バランス性が向上 し、より質の高い広告文を生成することができると 仮説を立てる。本研究では、この仮説を検証するた めに、提案手法を用いた場合と通常の MCLを用い た場合を比較し実験を行う。

## 2 提案手法

## 2.1 広告文生成モデル

モデルは $\mathrm{T} 5$ を用いる。また、提案モデルのエン コーダーを 1 に示す。検索キーワード連動型広告で は、ユーザーのクエリおよび LP の両方の要素を考慮することが必要である。先行研究 [3] と同様に、検索キーワードと LP から抽出された情報（タグ・ テキスト）の両者を考慮するために、それら全て を入力とする。また、デコーダーは、通常の $\mathrm{T} 5$ に、 Copy Mechanism[4] を加える。これにより LP に存在 する情報を直接生成する広告文に挿入することが期待できる。

MoE については [1] に倣い、LM head のみを複数 とする。これは、隠れ層の線型変換を複数追加する

図 1 提案モデルの Encoder

のみで済む。

## 2.2 Expert の選択手法

提案する EMA に基づく Expert 選択手法を 1 に示 す。ここで、Expert $t_{1}, \ldots$, Expert $_{k}$ は、各 Expertを示 し、 $\beta$ は EMA の係数である。

学習中において、各 Expert の loss EMA を用い て記録し、その值との差分が最小となる Expert を 選択する。そして、勾配はその Expertによる loss か ら算出されるもののみを用いる。MCL と異なる点 は、EMAによる loss の指数移動平均からの差分に 基づく点にある。これにより、初期化によりたまた ま loss が大きくなってしまった Expert や学習途中で loss が悪化した Expertが、単純な lossのみを参照す
る MCLではその後全く使われなってしまい、Expert への割り当てがアンバランスになることを防ぐ。な お、予備実験において、ナイーブな MCL では 1 つ の Expertへの割り当てが 99\%以上になってることを 確認した。

## 3 評価指標

品質・多様性を自動評価するために、次の指標 を用いる。品質については、 naive BLEU, candidate oracle F1, reference oracle F1の 3 つである。多様性に ついては、local distinct[5]を用いる。 naive BLEUは、生成文集合と参照文集合の n-gram 一致に関する precision の幾何平均である。candidate oracle $\mathrm{F} 1$ 、任意の参照文について、その BLEU の値が最も高くな るような生成文を 1 つ選んだ時の n-gram 一致に関 する recall と precision の調和平均である $\mathrm{F} 1$ 値であ る。同様に、reference oracle F1 は、任意の生成文に ついて最も高くなる参照文を選んだ時の値である。 local distinct は、 $\mathrm{n}=1,2$ の値を算出する。

## 4 実験結果

表 1 に各モデルの結果を示す $(\mathrm{k}=4)$ 。なお、これら の指標算出にあたっては、生成された文の数が数百件以上に上る場合があったため、類似した生成文を 排除し、タイトルは最大で 60 件、説明文は最大 24 件となるようにした上で評価を行った。このため、 local distinct が高い値を示している。また、表 2 に各 モデルの生成件数を示す。ナイーブな MCL と提案手法において、生成数に大幅な変化は見られない。

Expert の偏りは、提案手法は $15 \% 30 \%$ の範囲で
表 1 提案手法とナイーブな MCL の比較

あった一方、ナイーブな MCL は 1 つの Expert が 99\%以上であった。これは、提案手法は指数移動平均を差した値に基づいて選択しているため、おおよ そ $1 / \mathrm{k}$ の值に回帰することが確認できた。このこと は、提案手法が Expert 選択のバランスを大幅に改善 していることを示している。

目視による確認でも、複数の Expert を用いて推論 した際の生成結果に、全く学習されていない Expert の出力が含まれないことが確認できた。一方、ナ イーブな MCL の出力では、学習に失敗した Expert が「無料。ポイント」といった広告文として成立し ない単語列が確認できた。

表 2 提案手法とナイーブな MCL の比較

## 5 おわりに

本研究では、広告文生成において、Multiple Choice Learning (MCL) に基づく MoE(Mixture of Experts) モ デルを使用し、Expert の選択バランス性を向上す る手法を提案した。提案手法は、Exponential Moving Average(EMA) を用いて各 Expert の損失の変化傾向 を記録し、それに基づいて Expert を選択すること で、選択バランス性を向上し、質の高い広告文を生成することを目的とした。実験の結果、提案手法を 用いた場合、Expert の選択バランス性が向上し、生成される広告文の質も向上したことが確認できた。今後の課題としては、提案手法は、他のタスクにも 応用することができる可能性があり、他の分野での 検証も行っていくことがあげられる。

## 参考文献

[1] 村上聡一朗, 星野翔, 張培楠, 上垣外英剛, 高村大也, 奥村学. Lp-to-text: マルチモーダル広告文生成. 言語処理学会第 27 回年次大会 (NLP 2022), 2022.

[2] Abner Guzmán-rivera, Dhruv Batra, and Pushmeet Kohli. Multiple choice learning: Learning to produce multiple structured outputs. In F. Pereira, C.J. Burges, L. Bottou, and K.Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 25. Curran Associates, Inc., 2012.

[3] Kazuhide Nakata. Generating search text ads from keywords and landing pages via bert2bert. In Advances in Artificial Intelligence: Selected Papers from the Annual Conference of Japanese Society of Artificial Intelligence (JSAI 2021), Vol. 1423, p. 27. Springer Nature, 2022.

[4] Jiatao Gu, Zhengdong Lu, Hang Li, and Victor OK Li. Incorporating copying mechanism in sequence-to-sequence learning. arXiv preprint arXiv:1603.06393, 2016.

[5] 川本峻頌, 張培楠. スタイル制御を考慮した多様な広告文生成. In NLP2019, 2019.


# 拡散過程を用いたキャプション生成への取り組み

平野理子小林一郎
お茶の水女子大学 理学部 情報科学科
\{g1920535, koba\}@is.ocha.ac.jp

## 概要

近年，拡散過程を用いたモデルが連続データ生成 において非常に良い性能を達成しており，離散デー 夕生成においても盛んに研究が進められている. 本研究は，拡散過程を用いた画像キャプショニング手法の開発を目的とする. 拡散過程による自然言語文生成を画像を対象に制御するために，推測されたノ イズ除去状態の潜在変数から分類器によって求めら れた画像特徴量と実際の特徴量の損失に基づき勾配 の更新を繰り返すことにより, 最終的に画像に適し たキャプションを生成する. 生成したキャプション は，SOTA との比較において優位な結果ではなかっ たが，単純な手続きでも拡散過程を用いた画像キャ プショニングが可能であることを確認した.

## 1 はじめに

これまで人工知能が発展しない理由とされていた 「創造する」という課題が深層学習を使った画像生成や自然言語文生成によって可能になりつつある.自然言語文生成においては，汎用言語モデルの出現 により言語モデル中心の文生成が主流となってい る. そのような背景において，自然言語文生成にお ける課題としては大量のコーパスから学習した汎用言語モデルを再学習を必要とせずに言語モデルの振 る舞いを制御することが挙げられる。一方，近年，画像生成においては，拡散過程（Diffusion Process， DP）を採用した手法が，敵対的生成ネットワーク (Generative Adversarial Networks, GAN) による従来の 最高性能を超える画像の生成を可能にした [1]. ま た， $\mathrm{Li}$ ら [2]によって，本来，連続的な情報を扱う DP に対して，離散情報である自然言語を扱えるよ うにした Diffusion Language Model (DLM) が提案さ れており，従来の最高性能を超えるような制御可能 な自然言語文生成の可能性が示されている. これら の背景から, 本研究では拡散過程を用いた画像キャ プショニング手法を提案する. 手法の開発において
は，拡散過程に基づく非自己回帰の言語モデルとそ の外部に拡散過程を制御する識別器を導入するこ とで，画像に対応したキャプション生成を可能に する.

## 2 関連研究

拡散過程を用いた画像生成 Stable Diffusion [3] や DALL・E2 [1] は拡散過程を用いて画像を生成する モデルである。これらは，与えられたテキストから その内容に従った画像を生成するタスクや画像から 画像への変換タスクなどにおいて，非常に高い精度 を達成している. 特に DALL・E2 は，入力テキスト から画像埋め込みを生成するモデルと，画像埋め込 みから画像を生成する二つのモデルから構成され， どちらのモデルでも拡散過程を用いることで質の高 いサンプルを生成している．また，外部の基盤モデ ルで、CLIP [4] という，大量の画像とテキストのぺ アデータで学習したニューラルネットワークを使用 することで，テキストの意味的な内容を忠実に画像内で表現することを可能にしている.

Bit Diffusion Bit Diffusion [5] は，連続状態を扱 う拡散モデルを用いて，離散データである自然言語文を生成している，具体的には，まず離散データを 2 值ビットで表し，これを実数に写像することで拡散モデルの扱える連続データに変換する。これによ り，ピュアなノイズからノイズを徐々に除去する ことで，テキストをサンプリングすることを可能 とした.また, Self Conditioning や Asymmetric Time Intervals といったサンプルの質を向上させる技術 もその枠組みに取り入れている. 本研究では, Bit Diffusion とは異なり，離散データを埋め込み表現に 写像することで，拡散モデルの扱える連続状態にテ キストを変換している.

## 離散拡散過程を用いた画像キャプショニング

Zhu ら [6] は, 本研究と同じく拡散過程を用いた画像キャプショニング手法を提案している．画像から キャプションの内容や長さを推測し生成過程の制

図 1 Diffusion-LM を用いたキャプション生成

御を行うことで，質の高い画像キャプショニングに 成功している. 本研究では拡散過程を用いた言語モ デルの学習の際, データにノイズが乗った状態とタ イムステップの情報の二つから，ノイズの乗ってい ない状態のデータを予測しているが，DDCap では それらに加えアテンションマスクや，画像を入力と して与えた CLIP [4] の出力なども用いて，ノイズの 乗っていない状態のデータを予測している。また， DALL・E2 [1] と同様, CLIP という外部の基盤モデ ルを使用しているところも特徴である.

## 3 DLM を用いたキャプション生成

## 3.1 提案手法

本研究で提案する，拡散過程を用いた言語モデル と外部の分類器の二つのモデルを用いたシンプルな 画像キャプショニング手法の概要を図 1 に示す. 学習の大まかな流れとしては，拡散過程を用いた言語 モデルを大量のテキストデータで学習させたのち，画像とキャプションのペアデータを用いて分類機を 学習させる. ノイズ除去の過程を辿りながらデータ をサンプリングする際は二つのモデルを組み合わ せ，学習させた言語モデルで文を生成する過程を分類器で制御することで，画像の内容を説明する自然言語文，キャプションの生成を行う.

## 3.2 Diffusion LM

Diffusion LM (Diffusion Language Model) とは，拡散過程を用いた言語モデルのことを指す. Diffusion LM を構築するには，標準的な連続状態を扱う拡散 モデルに幾つかの修正を加える必要がある. 図 1 の ピンクの枠にあるような，埋め込みと丸め込みの過程の導入がその一つである。埋め込み関数を定義す ることで，離散データであるテキストを連続空間に写像する。丸め込み過程を導入することで，埋め込 み空間のベクトルを単語を表すべクトルに写像し返 す. 言語モデルの学習の対象は, ガウシアンノイズ からノイズを徐々に除去し, 最終的に流暢性のある 自然言語文を生成する過程である。つまり，各タイ ムステップにおけるノイズの除去 $p\left(\mathbf{x}_{t-1} \mid \mathbf{x}_{t}\right)$ を実現 する際，必要となるパラメータを学習する。

具体的な学習の流れとしては，まずキャプション をトークン化し，各トークンをベクトル空間に埋め 込む. サンプリングされたタイムステップ $t$ によっ て決められる量のノイズを埋め込み表現に乗せ， イズの乗った状態 $\mathbf{x}_{t}$ にする. ノイズの乗った状態 $\mathrm{x}_{t}$ とタイムステップtをニューラルネットワーク $f\left(\mathbf{x}_{t}, t\right)$ に入力として与え, ピュアなデータを推測さ せる. 損失関数は以下の式に従う.

$
\begin{aligned}
& L_{\mathbf{x}_{0}-\text {-simple }}^{\mathrm{e} 2 \mathrm{e}}(\mathrm{w}) \\
& =\mathbb{E}_{q_{\phi}\left(\mathbf{x}_{0: T} \mid \mathrm{w}\right)}\left[\left.\|\tilde{\boldsymbol{\mu}}_{t}\left(\mathbf{x}_{t} ; \mathbf{x}_{0}\right)\right.\|^{2}+\sum_{t=2}^{T}\left[\left.\|\mathbf{x}_{0}-f_{\theta}\left(\mathbf{x}_{t}, t\right)\right.\|^{2}\right]\right] \\
& +\mathbb{E}_{q_{\phi}\left(\mathbf{x}_{0: 1} \mid \mathrm{w}\right)}\left[\left.\|\operatorname{EMB}(\mathrm{w})-f_{\theta}\left(\mathbf{x}_{1}, 1\right)\right.\|^{2}+\log p_{\theta}\left(\mathrm{w} \mid \mathbf{x}_{0}\right)\right]
\end{aligned}
$

## 3.3 Classifier

言語モデルとは別のモデルである, 外部の分類器 （Classifier）の役割は，Diffusion LM が最終的に自然言語文をサンプリングする過程中に反復的に生成す る潜在変数に対して勾配更新を行うことで，最終的 に生成されるテキストを制御することである. 潜在変数 $\mathbf{x}_{0: T}$ を制御するモデルは以下のように書くこと ができる.

$
p\left(\mathbf{x}_{0: T} \mid c\right)=\prod_{t=1}^{T} p\left(\mathbf{x}_{t-1} \mid \mathbf{x}_{t}, c\right)
$

分解すると，

$
\begin{aligned}
p\left(\mathbf{x}_{t-1} \mid \mathbf{x}_{t}, c\right) & \propto p\left(\mathbf{x}_{t-1} \mid \mathbf{x}_{t}\right) \cdot p\left(c \mid \mathbf{x}_{t-1}, \mathbf{x}_{t}\right) \\
& \propto p\left(\mathbf{x}_{t-1} \mid \mathbf{x}_{t}\right) \cdot p\left(c \mid \mathbf{x}_{t-1}\right)
\end{aligned}
$

第一項の各タイムステップでのノイズの除去 $p\left(\mathbf{x}_{t-1} \mid \mathbf{x}_{t}\right)$ は, Diffusion LMによってパラメータ化さ れた。つまり，第二項のデータにノイズの乗った状態から制御対象への変換 $p\left(c \mid \mathbf{x}_{t-1}\right)$ を, ニューラル ネットワークを用いた classifier に学習させ， パラ メータ化する. 具体的には図 1 の青い枠にあるよう に, 自己回帰の言語モデル（GPT-2 [7]）を用いて, ノイズの乗っている各タイムステップの潜在変数か

ら画像特徴量の予測を行い, 正解画像特徴量との二乗平均誤差をとることで機械学習を行う. 正解画像特徴量は，画像を Resnet50 [8] に通すことで取得し ている.

サンプリング時は，学習をさせた Diffusion LM と Classifierを組み合わせ，画像に応じた自然言語文生成過程の制御を行う，具体的な流れとしては，ま ずガウシアンノイズを Diffusion LM に与え, 反復的に 1 タイムステップノイズを除去した状態の潜在変数 $\mathbf{x}_{t-1}$ を推測させる. 各タイムステップにお いて， $\mathbf{x}_{t-1}$ から Classifier が画像特徵量を推測する。 Diffusion LM によって $\mathbf{x}_{t}$ を用いて推測された $\mathbf{x}_{t-1}$ に付加されているノイズの量（式４の第 1 項）と, Classifier が $\mathbf{x}_{t-1}$ から推測した画像特徴量と正解画像特徴量間の二乗平均誤差（式 4 の第 2 項）の和か ら、誤差逆伝播法を用いて勾配を求めパラメータを 更新する. 勾配更新を行うことで, $p\left(\mathbf{x}_{t-1} \mid \mathbf{x}_{t}, c\right)$ を最大化し, 流暢性があり画像に応じた適切なテキスト を生成する。

$
\begin{aligned}
& \nabla_{\mathbf{x}_{t-1}} \log p\left(\mathbf{x}_{t-1} \mid \mathbf{x}_{t}, c\right) \\
& =\nabla_{\mathbf{x}_{t-1}} \log p\left(\mathbf{x}_{t-1} \mid \mathbf{x}_{t}\right)+\nabla_{\mathbf{x}_{t-1}} \log p\left(c \mid \mathbf{x}_{t-1}\right)
\end{aligned}
$

以上の流れを各タイムステップで繰り返し，最終的に画像に応じた適切なキャプション生成を目指す.

## 4 実験

この節では, 言語モデル（Diffusion LM）と分類器 (Classifier)を用いて，実際に画像からのキャプショ ン生成を行う. 本実験の目的は，提案手法を用いて 画像キャプショニングを行い，生成されたキャプ ションから精度を求め評価を行うことである.

## 4.1 実験設定

評価指標 本実験では，BLEU [9]，ROUGE-L [10] を評価指標として用いる. BLEU は機械翻訳， ROUGE はテキストの自動要約の評価指標として知 られている. また，これら二つはキャプション生成 の評価指標として用いられることも多いため, 本論文でも画像キャプショニングの評価指標として使用 する.

データセット データセットには, Microsoft $\mathrm{COCO}^{1)}$ を使用する. Microsoft COCO が定めた訓練

画像のうち, 108,302枚を本実験の訓練データ, 4,985 枚を評価データとしこれを用いてパラメータ調整 を行った. 残りの 5,000 枚をテストデータとし, 評価を行う. Diffusion LM の学習時, 語彙数は 13,461,埋め込み次元は 256 に設定している.

比較手法 現在の SOTA な画像キャプショニング 手法の一つである OFA [11] の本実験のテストデー 夕における精度を求め, 提案手法との比較を行う。

## 4.2 実験結果

表 1 に実験結果を示す.すべての指標において，画像キャプショニングの SOTA な手法の一つである OFA には及ばない結果となった．しかし，BLEU-1 のスコアは質の高いサンプルが生成されていると一般的に言われる 0.40 の値を超えることができた.

表 2 は，実際に生成されたキャプションの一部で ある. トイレやテニス，鳥の写真では正解キャプ ションと似たような, 画像に応じた適切な文を生成 できている. しかし, 一方で, 電車の画像での生成 キャプションを見ると，本来，赤一色である電車の 色を赤と白と認識していることから，色に対しての 学習が足りていないことがわかる. また花瓶の画像 では文法のミスがあり，生成文の流暢性に問題があ ることから，言語モデルの学習にも改善が必要であ る. サーフボードを持った人の画像から生成された キャプションには，画像に存在しない物体について の記述があり, ベンチに座る人の画像からは画像に 関係はあるが対応はしていないキャプションが生成 されるなどしている. これより生成過程の流暢性と 制御の充足度のトレードオフにも問題があることが わかる.

## 4.3 考察

精度は画像キャプショニングの SOTA な手法を比 べると良い結果を出すことができなかったが，実際 に生成されたキャプションから, 非常にシンプルな モデルでも拡散過程を用いた画像キャプショニング を行えることを示した。

## 5 まとめ

拡散過程を用いた生成モデルは，ピュアなノイズ からノイズを除去した潜在変数を反復的に生成する ことで，最終的にデータをサンプルする. 本研究で は，分類器を用いてこれら潜在変数に対して勾配更新を行うことで，言語モデルの再学習を行わずに生
表 1 キャプション生成の実験結果

表 2 キャプション生成例

Gen.: A bathroom with a toilet , a shower and a sink . GT: Small bathroom with a toilet, sink, shower, and mirror.

Gen.: A small bird perched on a tree branch . GT: A bird perched on top of a tree branch.

Gen.: A red and white train on a track . GT: A train parked in a train depot loading passengers.

Gen.: A zebra standing in the grass in a field.

GT: A zebra standing on a rocky dirt field with no grass.

Gen.: There is a man sitting on a bench with his dog on the beach .

GT: a person sitting on a bench on a city street

成過程を制御し，画像に応じた自然言語文を生成す る手法を提案した。

今後は，言語モデルの改良や外部の分類器を用い ずに制御する方法などに取り組み，提案手法の改良 を進めたい。

## 参考文献

[1] Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, and Mark Chen. Hierarchical text-conditional image generation with CLIP latents. CoRR, abs/2204.06125, 2022

[2] Xiang Lisa Li, John Thickstun, Ishaan Gulrajani, Percy Liang, and Tatsunori B. Hashimoto. Diffusion$\mathrm{lm}$ improves controllable text generation. CoRR, abs/2205.14217, 2022.

[3] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models, 2021.

[4] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision, 2021.

[5] Ting Chen, Ruixiang Zhang, and Geoffrey E. Hinton. Ana-

Gen.: A man holding a tennis racquet on a court .

GT: A man holding a tennis racquet on a tennis court.

Gen.: A small cheese pizza is sitting on a plate . GT: A plate topped with a cheesy meaty pizza on a table.

Gen.: A vase of flowers in a vase on a wooden table .

GT: A vase of flowers sits on a table.

Gen.: A large building with a clock on the top . GT: A very tall clock mounted to the side of a building.

Gen.: A man riding a wave while riding a surfboard .

GT: A man on a bike carrying a surf board.

log bits: Generating discrete data using diffusion models with self-conditioning. ArXiv, abs/2208.04202, 2022.

[6] Zixin Zhu, Yixuan Wei, Jianfeng Wang, Zhe Gan, Zheng Zhang, Le Wang, Gang Hua, Lijuan Wang, Zicheng Liu, and Han Hu. Exploring discrete diffusion models for image captioning. arXiv preprint arXiv:2211.11694, 2022.

[7] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In $\mathrm{H}$. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, volume 33, pages 1877-1901. Curran Associates, Inc., 2020.

[8] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition, 2015.

[9] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational

Linguistics, pages 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[10] Unnat Jain, Svetlana Lazebnik, and Alexander G. Schwing. Two can play this game: Visual dialog with discriminative question generation and answering. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2018.

[11] Peng Wang, An Yang, Rui Men, Junyang Lin, Shuai Bai, Zhikang Li, Jianxin Ma, Chang Zhou, Jingren Zhou, and Hongxia Yang. Ofa: Unifying architectures, tasks, and modalities through a simple sequence-to-sequence learning framework. CoRR, abs/2202.03052, 2022.


# ニつの時系列データの関係を記述する自然言語文生成への 取り組み

中野由加子 1 小林一郎 1
1 お茶の水女子大学
\{g1920532,koba\}@is.ocha.ac.jp

## 概要

近年，表やグラフなど様々な数值データの表現形式を対象にした Data-to-Text の研究が盛んに行われ ている. 多くの研究は対象ドメインにおけるイベン 卜を説明するための自然言語文生成の中に数値デー タを取り込んだものとなっており，数値データその ものが表現する意味や複数の数値データ間の関係な どを捉えるような自然言語文生成はほとんどない.本研究では，二つの時系列データの関係性を捉え，記述する自然言語文生成手法の開発を目的とする。 データセットとして, 関連した動きをする部分があ る二つの時系列データ, その関係を記述した自然言語文, カテゴリを作成した。作成したデータセット の訓練データで学習したモデルを用いて評価データ について文生成を行い，モデルの評価を行なった.

## 1 はじめに

近年，様々な分野における数値データの収集が 容易になり, 表や時系列チャートなど多様な表現形式での数値データについて自然言語で記述する Data-to-Text の研究が注目されている. 多くの先行研究は, 数値データが観測されたドメインに特化した 自然言語記述と同様な自然言語文を生成することを 対象にしている. そのため, 数値データ以外にもそ の数値が観測されたイベントを表す表題や発話者な どのデータ発生の情報源といったコンテクスト情報 を追加した自然言語文生成が提案されている [1].

一方で，分析した数值解析結果を可視化ではな く言語化することによって, そのデータの内容を容易に把握することが可能になり, また対話システム や分析システムに組み込むことも可能になると考 えられる.しかし, そのような数值解析に基づいた Data-to-Text はほとんど見受けられない. ドメインに こだわらず，時系列データの動きのみを説明する手法として，Jhamtani ら [2] は, 時系列データ中に特定のパターンが出現するかについての真理条件に基 づいてキャプションを生成する手法（以下'TRUCE' と呼ぶ）を提案している. TRUCE は，一つの時系列データにおいて特定のパターンが見つかった場合 にそのパターンについて文を生成を行う。つまり，時系列データ特有のドメインを含んだ自然言語文生成を行うのではなく，時系列データそのものの動き を捉えた文生成を行っている。

本研究では，これに対して一つの時系列データに 関する振る舞いを説明する自然言語文生成ではな く，二つの時系列データの関係性を説明する文生成 を対象とする。

## 2 複数時系列データの関係性記述

記述対象の関係性 時系列データにおいて人が顕著に感じる動きとして，「増加（increase)」，「減少 (decrease)」，「頂上（peak）」，「凹み（dip)」の 4 つ が挙げられる (cf. [2]).二つの時系列データの振る 舞いの組み合わせをこれらの 4 種類の動きで考え ることも可能であるが，本研究では，二つの時系列 データが共に増加，減少，頂上，凹みである場合の 関係を捉え，それを自然言語で説明することを対象 とする。また，時系列データについて説明する際に は,「初期（beginning）」「中期（middle）」，「末期 (end)」などの時期についても言及する傾向がある ため (cf. [2])，対象とする 4 種類の動きに関する関係が見られる時期についても学習し, 二つの時系列 データの動きと発生時期について説明する文生成を 行う.

## 単一の時系列データと複数の時系列データ説明文生成の相違点 複数の動きが見られる一つの時系列 データの動きと時期について説明する場合には，ど の動きに対する文生成を行なっても，その動きと時期を捉え, 説明することが求められる. しかし, 複

図 1 データセット 1

図 2 データセット 2

数の動きが見られる複数の時系列データの関係につ いて説明する場合は，時系列データ間の関係性を捉 えた上で，関係がある動きと時期についての説明を 求められる。そのため本研究では，予め関係性のあ る二つの時系列データの動きを学習させることで， モデルが関係性のある動きを捉えやすくした。

## 3 データセット構築

二つの時系列データの関係性を説明するために，二つの時系列データの動きが共に増加，減少，頂上,凹みである場合の動きを学習させ，動きと時期を正 しく捉えた文が生成できているかについて評価を行 う. 捉えたい二つの時系列データの動きをモデルに 学習させるためのデータセット 1 と, 学習させた動 きを捉えることができているかの評価のためのデー タセット 2 を作成した。その内容を以下に示す.

## 3.1 データセット 1

捉えたい二つの時系列データの動きをモデルに 学習させるために，入力として与える二つの時系列 データ，訓練用の時系列データの正解カテゴリ, 出力として期待される正解文のペアデータを 96,000 個作成した．その内，85\%を訓練用データ，5\%を評価用データ，10\%をテスト用データとした．5,000step 訓練を行なった内，1,000step ごとに評価データを 用いて文生成を行い，BLUE スコアが最大の時のモ デルを実験に使用した。モデルの学習用に訓練用・評価用データを使用し，モデルが訓練データを学習 し，正しく文生成ができているかを評価するため に，後述する実験 1 でテスト用データを使用した.

時系列データ 対象とする時系列データの関係と なる 4 種類の動きとそれが生起する 3 種類の時期 の 12 通りのデータを作成した. 全体の時間幅を 27 と設定し，「初期」の場合は，0-8「中期」の場合は 9-17,「末期」の場合は 18-26 の範囲に二つの時系列 データの関係を示す挙動が収まるようにしてデータ を構築した。

選ばれた時期以外では，時系列データにほとんど 変動がないようにした．動きが「増加」，時期が「中表 1 訓練設定

期」である場合は，9-17 の範囲内で増加傾向がある 時系列データを作成する (図 1 参照). 作成したデー タは，二つの時系列データの值が $[0,1]$ に収まるよ うに正規化を行ってからモデルに入力する.

カテゴリ 二つの時系列データの関係性を捉えら れるようにエンコーダを訓練をするために，カテゴ リを用意した. エンコーダの出力からカテゴリ判定 を行う．上述した，動き 4 種類，時期 3 種類の組み 合わせ 12 種類を 0-11 の数字で表したものをカテゴ リラベルとして用いる.

正解文 動きと時期について言及する文を生成文の正解としている，データセットの作成を簡単 にするために， "Both series1 and series2 (trend) in the (period).”というテンプレートを使用し, 動き (trend) 4 種類と時期 (period) 3 種類についての単語を置き換 えることで正解文を生成した。

## 3.2 データセット 2

3.1 のデータセットで捉えたい動きと時期を学習 したモデルを用いて，捉えたい動きの他にそれ以外 の動きが含まれる時系列データについて説明文を生成する。評価用のデータセットのため，入力として 時系列データ, 出力として期待される正解文のペア を 10,800 生成し, 全てを後述する実験 2 用のテスト データとした.

時系列データ 捉えたい動きを 'target trend'，捉え たい動きの時期を 'target period’とする. target trend 以外の 3 種類の動きから 1 つを選択し，片方の時系列データに target period 以外の時期のどちらかに選 んだ動きを加え，合計 288 種類の二つの時系列デー タのペアを生成した. 図 2 は， target trend が凹み, target period が中期で， series1 (青色の時系列データ) に増加の動きが初期に追加された例となっている。

正解文 捉えたい動きと時期のぺア 1 つに対し て，片方の時系列データに target trend 以外の 3 種類 の動きを target period 以外の 2 種類から選んだ時期
表 2 実験結果

に追加し，二つの時系列データを入れ替えたデータ も作成した. この 12 種類について，同じ正解文を 作成した。

## 4 提案モデル

## 4.1 概要

提案するモデルの概要を図 3 に示す.

図 3 提案モデルの概要

モデルは Transformer [3] をべースに構築されてい る. 入力は二つの時系列データであり, Transformer を用いた多次元時系列データの異常検知を行う手法 である TranAD [4] を参考に形式を決めている（4.2 節にて後述).また，二つの動きの比較を可能にす るために positional embedding をそれぞれに追加する ことにより時刻を共通化している。時系列データの 特徴を上手くエンコーディングするために，先行研究 [1] のエンコーダの訓練手法を参考に，エンコー ダからの出力を受け，上述した時系列データの動き と時期によって表される 12 種類のカテゴリを識別 する層（図 3 中の Prediction Layer）を導入し，カテ ゴリの識別を訓練することにより，時系列データの 関係を正しく捉えた埋め込み表現をデコーダに渡し ている. デコーダは Transformer のデコーダを採用 している. エンコーダとデコーダをわけて訓練をし ており，エンコーダおよびデコーダの訓練時のハイ パーパラメータの設定を表 1 に示す.

## 4.2 時系列データの入力形式

時系列データの振る舞いを捉えるために，「ス ライディングウィンドウ (sliding window)」と呼ば れる，ある程度の範囲を時間方向に少しずつシ フトさせた特徴量によって時系列データを表現表 3 実験 1 のカテゴリ・生成文の正解率

することが多い. 本研究においてもそのことを 踏襲し, 入力形式として時系列データにスライ ディングウィンドウを適用したものを採用する. ウィンドウサイズを $K$ とし, 時刻 $t$ における值を $\boldsymbol{W}_{\boldsymbol{t}}=\left.\{x_{t-K+1}, x_{t-K+2}, \ldots, x_{t}\right.\}$ とする. このとき,入力は, $w_{t}$ のリストとなり, 長さ $T$ の時系列データ の場合， $\boldsymbol{W}=\left.\{W_{1}, W_{2}, \ldots, W_{T}\right.\}$ と表される. この形式をとることで，変化量がわかりやすくなり，時系列データの動きが捉えやすくなる.

## 5 実験

実験 1 で，学習モデルが 3.1 の訓練用データで学習した通りに，二つの時系列データの動きを捉えて 正しく文生成ができているか，データセット 1 のテ ストデータを用いて評価を行う．実験 2 では，捉え たい動きの他にそれ以外の動きが含まれる時系列 データについて説明文を生成することで，より複雑 な時系列データについても正しく文生成が行えるか を評価する。

## 5.1 評価方法

生成文の質を評価するために，BLEU [5] と perplexity (ppl)を用いた. 動き・時期を捉えられてい るかを確認するために，生成した文と正解文におい て，動き，時期，その両方を表す単語が一致してい るかどうかを判定した。これらに加えて, Prediction Layer におけるカテゴリ判定と生成文の単語におけ るより詳細な評価も行う。

## 5.2 実験結果及び考察

実験 1 BLEU Score が非常に高くなっているが，今回はテンプレートを用いて正解文を生成している ため文同士に大差がなく，また動きと時期を $94 \%$ 以上の確率で正しく捉えられているためだと考えられ る (表 2 参照).

カテゴリ判定と生成文の正解率について 正し くカテゴリ判定ができたデータは全体の $94.5 \%$ とな り，生成文において動きと時期の両方について正し く文生成ができている確率 $94.4 \%$ とほぼ一致した.

生成結果: Both series1 and series2 increase in the beginning.(増加 $\cdot$ 初期)正解: Both series1 and series2 increase in the beginning.(増加 $\cdot$ 初期)生成結果: Both series1 and series2 peak in the middle.(頂上・末期)正解: Both series1 and series2 peak in the middle. (頂上 - 中期)

生成結果: Both series1 and series2 peak in the middle.(頂上 ・ 初期)正解: Both series1 and series2 peak in the beginning. (頂上 ・ 初期)生成結果: Both series1 and series2 dip in the middle.(凹み・中期)正解: Both series1 and series2 dip in the end.(凹み・末期)

図 4 実験 1 の生成文と (生成カテゴリ)/正解文と (正解カテゴリ) の例

表 4 実験 2 のカテゴリ・生成文の正解率

図 5 動きが小さい例表 5 動きの大きさが異なる

正解率 $\quad 0.517 \quad 0.268$
エンコーダの出力から文生成を行うため，カテゴリ 判定の結果が生成される文における動きと時期の 単語に直結すると考えた. しかし，頂上と凹みにつ いては，カテゴリ判定と生成文の正解率が異なった (表 3 参照). カテゴリ判定が正しくできていても，文生成が正しくできない場合 (図 4 の右上) や，逆に カテゴリ判定が正しくできていなくても，文生成が 正しくできている場合 (図 4 の左下) が確認された.

実験 2 実験 1 と比べて全体的に精度が下がっ ている (表 2 参照). 原因の 1 つとして, 実験 2 にお けるデータのうち $50 \%$ が，捉えたい動きが小さく なったデータとなっていることが考えられる (表 5 参照). 実験 2 で用いたデータセットの時系列デー タは，加えた動きによっては正規化した際に，捉え たい動きを訓練時の半分ほどまで小さくしてしま う. 例えば，図 5 においては，初期に頂上の動きを 加えることで，末期の減少の動きの縦幅が全体の半分ほどまで小さくなっている．縦幅が小さくなって いないデータのうち $51.7 \%$ は動きと位置について正 しく文生成ができていたが，縦幅が小さくなってい るデータについて正しく文生成が行えていたものは $26.8 \%$ とどまった (表 5 参照). 正規化をすること で，捉えたい動きの幅が小さくなってしまい，モデ ルが捉えたい動きだと判断することが難しくなった

生成結果: Both series1 and series2 dip in the middle.(凹み・中期)正解: Both series1 and series2 increase in the end.(頂上 $\cdot$ 初期)

図 6 時期だけでなく動きも正しく捉えられていない例

## と考えられる。

カテゴリ判定と生成文の正解率について 正し くカテゴリ判定ができたデータは全体の $57.1 \%$ とな り，実験 1 に比べて大幅に下がった. カテゴリ判定 において，時期だけでなく動きも正しく捉えられて いないデータも見られた (図 6). これは，追加した データの動きの影響を受けていることによると考え られる。また，全体的に生成文の正解率がカテゴリ 判定の正解率からさらに下がっている (表 4). 実験 1 よりも，エンコーダで動きが正しく捉えられてい ても文生成がうまくいっていないデータが多いとわ かった. 生成文と生成カテゴリ/正解文と正解カテ ゴリのペアを Appendix に記載した。

## 6 おわりに

本研究では二つの時系列データの関係性を捉えた 文生成を行うモデルを提案し，作成したデータセッ トを用いてモデルの評価を行なった. 実験 1 では，高い精度で二つの時系列データにおける，学習した 動きを捉えた文生成を行うことができることが確認 できた. 実験 2 では，時系列データの動きがより複雑になり，動きの縦幅が学習時と異なる場合に動き を捉えることがより難しくなることが確認できた.正規化をすることで捉えたい動きが小さくなってし まうため，捉えたい動きをうまく捉えて文生成がで きるような工夫を考えたい。また，特に時期につい ての精度が下がってしまったので，訓練の手法等を 検討して精度を高めていきたい。

## 参考文献

[1] Jason Obeid and Enamul Hoque. Chart-to-text: Generating natural language descriptions for charts by adapting the transformer model, 2020. https://arxiv.org/abs/ 2010.09142 .

[2] Harsh Jhamtani and Taylor Berg-Kirkpatrick. Truthconditional captions for time series data. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 719-733, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[3] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[4] Shreshth Tuli, Giuliano Casale, and Nicholas R. Jennings. Tranad: Deep transformer networks for anomaly detection in multivariate time series data. Proc. VLDB Endow., Vol. 15, No. 6, p. 1201-1214, jun 2022.

[5] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: A method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting on Association for Computational Linguistics, ACL '02, p. 311-318, USA, 2002. Association for Computational Linguistics.

## A 生成例

以下に実験 2 の生成例を示す.

・カテゴリ判定も生成文も正解

生成結果: Both series1 and series2
increase in the beginning. (増加・初期)
正解: Both series1 and series2
increase in the beginning. (増加・初期)
生成結果: Both series1 and series2
peak in the middle. (頂上・中期)
正解: Both series1 and series2
peak in the middle. (頂上・中期)

・カテゴリ判定は正解だが生成文は不正解

生成結果: Both series1 and series2
peak in the beginning. (增加・初期)
peak in the middle. (減少・末期)
正解: Both series1 and series2
increase in the beginning. (增加・初期) Both series1 and series2
peak in the middle. (頂上・初期)
decrease in the end. (減少・末期)
dip in the end. (凹み・初期)
peak in the beginning. (頂上・初期)

・カテゴリ判定は不正解だが生成文は正解

・カテゴリ判定も生成文も不正解


# 短歌における言語モデルの実応用一歌人の視点を通した生成と作歌支援の実践から一

浦川通 1 新妻巧朗 1 田口雄哉 1 田森秀明 1 岡崎直観 ${ }^{2}$ 乾健太郎 3,4
1 株式会社朝日新聞社 2 東京工業大学 3 東北大学 4 理化学研究所
\{urakawa-t,niitsuma-t, taguchi-y2, tamori-h\}@asahi.com,
okazaki@c.titech.ac.jp, inui@tohoku.ac.jp

## 概要

ニューラル言語モデルによる生成が多方面で実 サービス化され，その利用に関する実際的な検討が 始まっている.テキストによる創作活動である文芸分野でも，言語モデルの実応用化が進んでいるが，短詩形文学の一つである短歌においては，その応用可能性について積極的に議論される現状になく，実応用事例も存在しないため，モデル利用の有用性や 課題に不明点が多い. 本稿では，短歌を生成する言語モデルの評価や可能性について, 実際に歌壇で活動する歌人を取材し，そこで得られた作歌支援への 指摘にもとづき構築した，実応用事例の設計法や実施の結果を共有しながら，今後の課題を述べる.

## 1 はじめに

ニューラル言語モデル（以下，言語モデル）の 発展にともない, 対話応答 [1], プログラミング支援 [2], 論文執筆支援 [3] といった幅広い領域で言語 モデルの実応用化が進んでいる。これにしたがい，論文投稿の現場において言語モデルの利用に関する 方針策定 [4] が行われるなど，実応用における倫理 と有用性をふまえた検討がすでに始まっている。こ の流れはテキストによる創作活動である文芸にも及 び，執筆支援での言語モデル応用が検討され [5]，専門家による評価が行われているほか [6], 日本語で も実サービス化されたものが存在する [7].

短詩形文学の一つに数えられる短歌 1 におい ても，これまでに自動生成手法が提案されてき た $[8,9,10,11]$. 最近では, 言語モデルによる生成 を一部に含む短歌の連作が新人賞の最終選考を通過 するなど，実際の作歌の現場に生成が登場しはじめ ている $[12,13]$. しかし, 言語モデルの評価が歌人
 する.
をはじめとする実作者の立場から行われた例はいま だ少なく [14], 実際的な応用可能性について，積極的に議論されている現状にない，また，広く一般に 利用される形で実サービス展開された事例も存在し ないため，短歌を対象とした言語モデル応用の有用性や課題については，明らかでない点が多い.

本稿では，実際に歌壇で活動する歌人に対して短歌を生成する言語モデル（短歌生成モデル）に触れ る機会を設け，評価また応用可能性について取材 し，その結果をふまえ構築した実応用事例の設計法 や実施の結果を共有しながら，今後の課題について 述べる.

歌人への取材においては，先行研究であるモーラ を考慮した短歌生成モデル [11]を用意し，生成に関 する自由な意見をもらうとともに，今後考えられる 応用可能性について取材した. この結果として，作歌のヒントを得ることを目的とした言語モデル利用 の可能性に関する指摘が得られた。

実応用事例においては，ユーザの入力に従う作歌支援システムを構築した。これをウェブサービスと して公開するとともに，短歌の創作を行うワーク ショップにて展開し，ユーザが実際に触れる機会を 提供した. ここで得られた利用データの分析と利用者の声から，実際に言語モデルによる生成がユー ザの作歌に援用されうることを確認した。一方で， ユーザの創造性を引き出すためのより効果的な言語 モデル応用法の検討や，構築における学習データ利用環境の整備を今後の課題として議論する。

## 2 歌人からみた短歌生成モデル

短歌生成モデルの評価と応用可能性について，歌人の俵万智氏，永田和宏氏を対象に，以下の方法で 取材した。

## 2.1 方法

先行研究であるモーラを考慮した短歌生成モデ ル [11]を，日本語ウィキペディアから抽出した疑似短歌（5,7,5,7,7 モーラの短歌の定型を満たす文字列） でファインチューニングしたものと，このモデルを さらに俵の短歌データ約 2,000 件でファインチュー ニングしたものを用意し，永田には前者のみの，俵 には両者の出力結果を確認できる場をそれぞれ別個 に提供しながら（1）生成過程・結果についての自由な意見（2）今後にどんな影響・応用が考えられ るかの 2 点について意見を伺った. なお，以降の各人の発言内容は，記事 ${ }^{2}$ 3)4) からの引用とする.

モデルによる実際の生成例を表 1 に示す.また， モデル作成に関する詳細を付録 A に記す.

## 2.2 議論

生成過程と結果について 俵は，自作を学習した モデルの出力について「私っぽい」と指摘するとと もに，ある生成については「やられたな」とその結果に驚く反応を見せた. 永田は「まだ AI がこのレ ベルでよかった」としつつも，「それらしきいい歌 ができることは間違いない」と発言し, 両者それぞ れにモデルによって生成された短歌の質を評価し た. また両者から, 過去に詠まれた短歌を大量に学習する過程は，歌人が作歌を学ぶときとあまり変わ らないかもしれないと，短歌の学習における人とモ デルの類似性が指摘された.

可能性と課題 永田は「たとえば上の句で筆が止 まっている時に、AIに提案してもらった言葉を発展 させて下の句を付けるという使い方は、認めてもい いのかもしれない」と，言語モデルの創作における 応用について言及した.「歌をつくる前はこう思っ ていたけど、歌をつくるプロセスでこうも思ったん だという自分の発見があって（中略）そうした言葉

3) https://www.asahi.com/special/tawaramachi-aitanka/

4) https://www.asahi.com/articles/ASQ716V8VQ6QUCVL006. html

図 1 「花と歌」システム図

を AI が見つけてくれようと自分で見つけようと、本質は変わらないのかもしれない」と指摘する。俵 は， 1 秒間に 100 首程度生成できるという，モデル の高い量産性を挙げながら「壁打ち相手としては魅力的」と言及した. 一方で「AIに名歌をつくっても らう必要はない」「歌の種は人の心にある」とも発言している. 両者ともに，生成される短歌の質は認 めながらも，あくまで人が作歌を行うときにヒント を得ることを目的とした応用可能性を指摘している ことがわかる．これらの結果から，短歌の一部を入力し生成された結果を見ながら，より良い表現を探 すといった言語モデルの応用可能性が得られた。

## 3 短歌生成モデルの実応用

2 節での取材の結果，作歌におけるヒントを得る ために言語モデルを用いる可能性について指摘が得 られた。これをふまえ，ユーザの入力に従う作歌支援システムを構築した（図 1）.

## 3.1 短歌生成モデルによる作歌支援

システムこのシステムは，ふだん言えない気持 ちを花と歌（短歌）に込めて届けるウェブサービ ス「花と歌 $5^{5)}$ のために作られたものである（図 2）. ユーザの贈りたい相手に向けて，花のイラストと短歌を合わせた画像を共有できるというサービスで，作歌支援に言語モデルを用いている. ここでユーザ は（1）贈りたい相手に関する質問に答える（2）質問への回答内容に沿った短歌一首が生成される（3）生成された歌を自由に編集する，という手順を通し て短歌を作ることができる．今回の取り組みは，こ れまでに一度も短歌を作ったことのないユーザの利用を想定している．そのため，言語モデルの入力と して短歌の一部をユーザに考えさせる仕組みにする と、その難しさによってサービスからの離脱を招く

5) https://prtimes.jp/main/html/rd/p/000000014. $000054763 . \mathrm{html}$

図 2 「花と歌」スクリーンショット

表 2 「花と歌」学習データの例. 特殊トークン $<$ sep>， $<\mathrm{r}>$, $<\mathrm{k}>$ を用意し, 入力はキーワード $<\mathrm{sep}>$ 類語 $1<\mathrm{r}>$ 類語 $2 \ldots<\mathrm{sep}>$ 初句の形で作る. 出力は各句の間を $<\mathrm{k}>$ で挟む.

表 3 「花と歌」モデルによる生成例。 $\mathrm{s}$ は書き出し， $\mathrm{k}$ は キーワード， $\mathrm{t}$ は類語リストの入力値. $\mathrm{s}=$ いつまでも, $\mathrm{k}=$ ダンス, $\mathrm{t}=[$ 心地好い, 楽しい, 仲良し, すこやか, 瞬間]

いつまでも穏やかでいてくれるので 一緒にダンスするときもそう

可能性が考えられた。そこで，ユーザは簡単な質問 に答えるのみによって短歌を生成でき，その後に一首全体の編集権を得るという構成をとっている.

モデル 今回のシステムにおけるモデルは，短歌 の一部ではなくユーザの質問回答の内容を入力に短歌を生成する. そのため，2 節のようなデコーダの みによって構成された言語モデルではなく, seq 2 seq の機構を持ち入力をエンコードした結果を用いて生成するモデルを採用した. 具体的には，事前学習済 み言語モデルである BART [15] を CTRL [16] のよう にタグコントロールによる条件付き生成モデル学習 の枠組みでファインチューニングした ${ }^{6)}$. 入力とし て，出力される歌に含めたいキーワード，書き出し （第 1 句）に加え, 歌のテーマとして出力中に含ま れる単語の類語 5 つを与え，短歌を生成するものと する（表 2）キーワードのみユーザによる自由入

6）事前学習済み言語モデルは，朝日新聞社の保有記事約 900 万件で事前学習したものを使用した.力を受け付け，その他の入力はユーザの質問回答に よってシステム内部で自動的に与えられる。実際の 生成例を表 3 に示す. モデル作成に関する詳細を付録 Bに記す。

データセット 今回のように，広く一般に公開さ れ，創作支援として利用される言語モデルの作成に おいて，その学習データがどのようなものであるか が，サービスの信頼に関わる大きな問題となりう る。朝日新聞社の場合，保有するデータには「朝日歌壇」入選歌などの短歌が含まれるが，これを生成 に利用するための許諾は得ていない. 著作権や創作上のモラルといった観点もふまえて社内で議論し，既存の短歌を学習データとして意図的に利用するこ とは避けるという方針を定めた。そこで，学習デー タは [11] と同様にコーパスから疑似短歌を抽出する ことで作成した。コーパスは $\mathrm{CC}-100^{7)}$ の日本語文書 データセットで，抽出した疑似短歌は 65,770 件であ る. 各サンプルにおけるキーワードは TextRank [17] のスコア上位 3 件よりランダムに 1 つ抽出した. テーマとして与える類語群は, 朝日新聞単語べクト ル [18]により各サンプルにおける各単語の類似語上位 5 件ずつを得た中から，5 件をランダムに抽出し て作成した。

図 3 編集が与えられた短歌における, 編集前後での編集距離の分布. 横軸は編集距離. 縦軸は短歌数.

図4 編集が与えられた短歌における, 各句ごとの編集操作の分布。縦軸は文字数.

## 3.2 実施と議論

このシステムは，2022 年の 9 月から 1 ヶ月間の期間限定でウェブ上にて公開されるとともに，短歌創作のワークショップにおいて，参加者が作歌のヒン トを得るためのツールとして利用された.

システムが実際にどのように利用されたかを見る ため，ウェブ上にてユーザが作成し，実際に他者と 共有した短歌データから 254 件を抽出・分析した.図 3 に，編集が与えられた短歌における編集距離の 分布を示す. 編集の与えられた短歌の多くが，生成 の一部を編集することで作成されたことがわかる。 また, 図 4 に示す編集操作の分布を見ると，最も多 い操作が置換で，入力で与えられる第 1 句を除き，各句で偏りなく編集されていることがわかる. これ らの結果から，ユーザが生成された短歌の内容を生 かしながら，自身の歌を作っていることが窥える。表 4 ユーザによって共有された歌の編集前後の例. 波線，下線はそれぞれ編集前後における編集箇所.

ワークショップの参加者からも「出力したフレーズ を取り入れて作歌できた」「ヒントとなる言葉に出会えておもしろかった」といった反応が得られ，モ デルが作歌時の発想を広げる手助けとなったことが 確認できた ${ }^{8)}$. 表 4 に，実際の編集例を示す.

一方で，全体の 7 割近くの生成結果が，ユーザの 編集を経ずにそのまま共有されていたこともわかっ た. これは，生成された短歌の質がユーザに受け入 れられた結果とも考えられるが，作歌のヒントを与 える応用とはならなかった例が多い結果であるとも いえる.よりユーザの創造性を引き出す言語モデル の応用法の検討が，今後の課題である.

また，今回のモデル学習は疑似短歌によって行わ れている。実際の短歌を学習したモデル生成が歌人 による評価を得ている中で，今後の応用に向けた データセットの整備やデータ利用における合意形成 などが，より活発な実応用に向けて必要であると考 える。

## 4 おわりに

本稿では，短歌生成モデルの実応用について，歌人への取材を通してその可能性について整理した. また，取材の結果をふまえ構築・展開した作歌支援 システムについて説明し，ユーザの反応を分析する ことで，短歌生成モデルが実際にユーザの作歌を支援する形で利用されることを確認した. 今後の課題 として，よりユーザの創造性を向上させる言語モデ ル応用法の検討や，学習のための短歌データセット の整備などに取り組みたい。

8) https://digital.asahi.com/articles/ ASQ9P300309LUCVL01L.html

## 謝辞

取材に協力頂いた俵万智氏，永田和宏氏に感謝 する. データ提供を頂いた株式会社 電通クリエー ティブ Xに感謝する。

## 参考文献

[1] ChatGPT: Optimizing Language Models for Dialogue, （2023-1 閲覧）. https://openai .com/blog/chatgpt/.

[2] GitHub Copilot $\cdot$ Your AI pair programmer，（2023-1 閲覧）. https://github.com/features/copilot.

[3] Galactica Demo,（2023-1 閲覧）. https://galactica. org/.

[4] ACL 2023 Policy on AI Writing Assistance, (20231 閲 覧）. https://2023.aclweb.org/blog/ ACL-2023-policy/.

[5] Ann Yuan, Andy Coenen, Emily Reif, and Daphne Ippolito. Wordcraft: Story Writing With Large Language Models. In 27th International Conference on Intelligent User Interfaces, pp. 841-852, 2022.

[6] Daphne Ippolito, Ann Yuan, Andy Coenen, and Sehmon Burnam. Creative Writing with an AI-Powered Writing Assistant: Perspectives from Professional Writers. arXiv preprint arXiv:2211.05030, 2022.

[7] Hiroyuki Osone, Jun-Li Lu, and Yoichi Ochiai. BunCho: AI Supported Story Co-Creation via Unsupervised Multitask Learning to Increase Writers' Creativity in Japanese. In Extended Abstracts of the $2021 \mathrm{CHI}$ Conference on Human Factors in Computing Systems, pp. 1-10, 2021.

[8] Tomonari Masada and Atsuhiro Takasu. LDA-based scoring of sequences generated by RNN for automatic Tanka composition. In International conference on computational science, pp. 395-402. Springer, 2018.

[9] Makoto Nakatsuji and Sohei Okui. ConclusionSupplement Answer Generation for Non-Factoid Questions. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 8520-8527, 2020.

[10] Yuka Takeishi, Mingxuan Niu, Jing Luo, Zhong Jin, and Xinyu Yang. WakaVT: A Sequential Variational Transformer for Waka Generation. Neural Processing Letters, Vol. 54, No. 2, pp. 731-750, 2022.

[11] 浦川通, 新妻巧朗, 田口雄哉, 田森秀明, 岡崎直観, 乾健太郎. モーラを考慮した fine-tuning による口語短歌生成. 言語処理学会第 28 回年次大会, 2022.

[12] 浦川通. AI が俵万智さんの歌集を学習したら 開発者が言語モデルを解説. 朝日新聞デジタル, 2022-07-05. https://digital.asahi.com/articles/ ASQ744WG1Q71UCVL01Y.html.

[13] 第六十四回 短歌研究新人賞発表. 短歌研究, Vol. 78, No. 9, 092021.

[14] 中辻真, 奥井颯平, 野口あや子, 加古陽. 特集 作品二十首\&修業秘話 歌歴 1 年半でここまで上達! 歌人 $\mathrm{AI}$ (人工知能歌人) の歌力：ついに歌壇デビューか!筆名は「恋する AI 歌人」! 短歌研究, Vol. 76, No. 8, pp. 91-102, 082019.

[15] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan
Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Ves Stoyanov, and Luke Zettlemoyer. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. arXiv preprint arXiv:1910.13461, 2019.

[16] Nitish Shirish Keskar, Bryan McCann, Lav R Varshney, Caiming Xiong, and Richard Socher. CTRL: A Conditional Transformer Language Model for Controllable Generation. arXiv preprint arXiv:1909.05858, 2019.

[17] Rada Mihalcea and Paul Tarau. TextRank: Bringing Order into Text. In Proceedings of the 2004 conference on empirical methods in natural language processing, pp. 404-411, 2004.

[18] 田口雄哉, 田森秀明, 人見雄太, 西鳥羽二郎, 菊田洸 ほか. 同義語を考慮した日本語の単語分散表現の学習. 研究報告自然言語処理 (NL), Vol. 2017, No. 17, pp. $1-5,2017$.

[19] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

## A 取材時に利用した短歌生成モデル

2 節の取材における言語モデルの構成や学習時のハイパーパラメータについて記す. Hugging Face 上で公開されている日本語 (GPT-29)を事前学習モデルとしてファインチューニングすることで作成した（表 5). 歌人データによるモデルは，疑似短歌によるモデルをさらにファインチューニングすることで作成している （表 6）.モデルの学習に用いたデータ数は，ウィキペディアによる疑似短歌が 10,000 件，俵による短歌デー タが 2,372 件である.

表 5 疑似短歌データによる短歌生成モデル構成とハイパーパラメータ

表 6 歌人データによるファインチューニングモデル構成とハイパーパラメータ

トークナイザ_Sentencepiece

最適化器

Adam

バッチサイズ

16

エポック数

10

## B「花と歌」短歌生成モデル

3 節のシステムにおける言語モデルの構成や学習時のハイパーパラメータを表 7 に示す. 実装 には，Hugging Face Transformers ${ }^{10}$ を用いている。トークナイザは朝日新聞社保有の記事を学習した Sentencepiece [19] で，語彙数は 32,000である。なお，事前学習済みモデルである BART-base は，朝日新聞社 の保有する記事約 900 万件で事前学習したモデルを利用した.

9) https://huggingface.co/rinna/japanese-gpt2-medium

10) https://github.com/huggingface/transformers


# テキストアナリティクスツールの操作ログからの 実験設定の説明文生成

森田康介 ${ }^{1}$ 西村太一 ${ }^{1}$ 亀甲博貴 2 森信介 ${ }^{2}$
1 京都大学大学院 情報学研究科 2 京都大学 学術情報メディアセンター
\{morita.kosuke.45c, nishimura.taichi.43x\}@st.kyoto-u.ac.jp
\{kameko, forest \}@i.kyoto-u.ac.jp

## 概要

本研究では，テキストアナリティクスツールの 操作ログと実験設定の説明文の相互生成を目的と する。人文科学分野において広く使用されている KH Coderを使用した論文を対象に収集し，論文中 の実験設定の記述と実際のツールの操作ログを再現 したものからなるデータセットを構築した. また, このデータセットを用いて論文中の記述から操作ロ グを推定するモデルを構築し，アノテーションして いない論文に適用することやデータの値を置換する ことで自動的にデータセットを拡張した. これらを 用いて，操作ログと説明文を相互生成するモデルを 構築した。

## 1 はじめに

科学技術論文の実験においてその実験設定を正し く記述し残すことは，論文を書いた本人だけでなく 論文を読んだ人間も行った実験の再現が容易になる ことから重要である。近年では，あらゆる分野で論文の再現性が問題となる事例が発生しており $[1,2]$, ますますその重要性が高まっている.

科学実験においてはツールを使用して研究するこ とが多いが，一般的にツールの利用にあたってはど のような処理が行われたかを示す操作ログ (以下ロ グと表記）が出力される．実験に使用したツールの ログから行なった操作の説明文の生成ができれば,論文の書き手に対する執筆の補助になり，読み手の 実行内容の理解度と再現性が高まる. 反対に, 論文 に記されている操作の説明文からツールのログの生成ができれば，実行内容の再現がより容易になる。

本研究では，様々なツールの中でもテキストアナ リティクスツールに焦点を当てる。 テキストアナリ ティクスとは, 文章を解析して情報を取り出す分析

図 1 利用シーンの例.

のことである. テキストアナリティクスツールは人文科学の分野で頻繁に使用されているため，我々は その操作の説明文を生成することで貢献ができると 考えた。利用シーンの例を図 1 に示した.

本研究の課題のように，グラフや表などのデータ として記述されたものについてテキストで説明する タスクは Data-to-Text と呼ばれる [3]. 元来は規則や テンプレートをによる手法が考えられてきた $[4,5]$ が，自然な文を自動で生成するためには，膨大な規則の構築が必要である. そのため, 近年では深層学習を利用した手法が注目されている [6,7]. 深層学習モデルが十分な性能を発揮するためには大規模な データセットを用意しなければならず，その作成に はコストがかかるという問題がある。これを解決す るために擬似的にデータを生成してデータセットを 自動で拡張する手法がとられてきた $[8,9,10]$.

本研究ではテキストアナリティクスツールを利用 した際の仮想的なログを定義し，データセットを構築する. さらに， 3 種のデータ拡張手法を導入する。 その後, T5 [11]を学習させ，ログから操作の説明文 の生成と説明文からのログの生成を行う. 生成した 説明文とログについて，自動評価尺度による評価を 行う.ここで，データセットの拡張の有無やその手法による評価結果の違いについて考察する。

## 2 タスクの定義

## 2.1 使用するツール

本研究では，テキストアナリティクスツールとし て KH Coder [12]を用いる. KH Coder を使用した文献は累計で 5,686 件に上っており, 社会学や文学を はじめとした人文情報学の幅広い分野で使用されて いるツールである.

## 2.2 アノテーション

図 2 アノテーションの例.

最初に，少量のデータセットを人手で作成する. まず，使用者が変更可能な設定を予めリストアッ プした. 次に，KH Coderを用いた論文のリスト1)か ら 2021 年の論文をダウンロードした. そして，そ れらの論文からテキストマイニングを行った際の KH Coder での操作の説明にあたる文を抽出した.例を図 2 の実験設定の説明文に示した. 共起ネット ワークか対応分析を実施している論文がほとんどで あったため，どちらかの説明文のみを収集した。

その後，設定のリストをもとに説明文に対応する ログを人手で作成した. ログの先頭部分には分析方法を記述し，続く括弧の中には各設定項目に対する 值が「(設定項目)=(値)」という形式でコンマによっ て区切って記述されるようにログの記述方法を定め た. ログの例を図 2 に示した. ここで作成したデー タセットの概要を表 1 に記載する.

表 1 手動作成したデータセットの概要.

## 3 データ拡張手法

深層学習モデルが十分な性能を発揮するために は大量のデータが必要となるが，人手でのアノテー ションは費用や時間の点で高コストである. その問題に対処するためにデータ拡張を実施する. 本研究

では，(1) 擬似ラベルに基づく手法，(2) 値の入れ替 えによる手法，(3)2つの手法の併用，の 3 種の拡張手法を用いる. 本章では各手法について記述する。

## 3.1 擬似ラベリング

ここでは，新たにダウンロードした論文ファイル に固有表現認識とテキスト分類によって自動的なア ノテーションを行う.

## 3.1.1 固有表現認識

ここでは，実験設定の情報を説明文から抽出す る固有表現認識（NER）を行う。まず，手動作成の データセットの説明文を MeCab [13] を用いて単語分割した. そして，説明文に含まれる実験設定を固有表現とし, IOB 形式でアノテーションを施した.付録 $\mathrm{A}$ にその固有表現の種類と数の詳細を示す。

Flair [14]を用いて固有表現認識モデルを作成し た. 学習にあたり, Flair 内の日本語の文字単位の事前学習済みの埋め込みベクトルを使用した. テスト セットにおける予測結果の詳細を付録 B. 1 に示す.

得られたモデルを利用し，人手でダウンロードし た 2020 年の論文と Web スクレイピングによってダ ウンロードした 2019 年以前と 2022 年の論文計 2,132 件に対して固有表現認識を行なった. まず，論文 の pdf ファイルを pdfminer ${ }^{2}$ で読み込み， $\mathrm{spaCy}^{3}$ )の 文分割機能を用いて自動で文単位に分割する。その 後, 分割した文それぞれに対して NER のモデルで 固有表現を予測し, 定義したログの形へ整形した.

Flair の固有表現の予測においては確信度を示すス コアも出力される.ノイズが多いデータはモデルの 性能向上を妨げるとされていることから [15], しき い値を 0.5 に設定し，それより小さい確信度の固有表現を除外した。

## 3.1.2 テキスト分類

次に，文から分析方法を予測するモデルを作成す る. 固有表現抽出では分析とは無関係の文からも固有表現が予測される場合がある. そのため, 共起 ネットワーク，対応分析，それ以外の 3 クラスの分類タスクとして扱う. 2020 年の 18 件の論文から固有表現が予測された 205 文に対してその分析方法を 人手でアノテーションした. さらに，これらのデー タに手動で作成したデータを加え，データセットを

作成する.

モデルには BERT [16]を用いた。事前学習済みモ デルには東北大学乾研究室のモデル cl-tohoku/bertbase-japanese-whole-word-masking ${ }^{4}$ を用い，ファイン チューニングを行った. データセットを学習デー タ: 検証データ: テストデータで 8:1:1 に分割した後,学習データで 20 エポック学習させ，そのうち検証 データにおける損失が最も小さいモデルを最終的な 学習済みモデルとした. この時のテストデータにお ける結果の詳細は付録 B. 2 に示す。

このモデルを3.1.1 項で得られた文に適用した. この分類により, 文が共起ネットワークか対応分析 であると分類されたデータに対して分析方法の記述を追加したものを最終的なログとする. これによ り, 平均して 3,339 のデータが作成された.

## 3.2 スワップ

ここでは, 先行研究 $[8,9]$ と同様に説明文とログ の設定に関する值を置換することによりデータ拡張 を行う．具体的なアルゴリズムは付録 C に示す.こ れにより，平均して 1,620 のデータが作成された.

## 3.3 ハイブリッド

3.1 節と 3.2 節で作成したデータセットを結合させ て学習を行う。

## 4 実験

## 4.1 実験設定

モデルには T5 [11]を用いる. Data-to-Text のタス クに対して T5 の有用性は示されていることから [17]，本研究ではこれを用いることにした.

T5 は入力に prefix と呼ばれる語句を付加すること でタスクを識別し，1つのモデルで複数のタスクを 実行することが可能である [11]. 本研究でも，prefix を用いたマルチタスク学習を行う，具体的にはログ からの説明文の生成には入力の先頭に「translate $\log$ to text: 」を, 説明文からのログの生成には「 text to $\log$ : 」を付加する. 全ての訓練データに対し てこれらの 2 通りの入出力を作成する。 さらに，シ ングルタスクの場合でも実験を行い比較する.

事前学習済みモデルには園部 勲氏により transformers に公開されている sonoisa/t5-base-japanese ${ }^{5)}$

を使用した. Raffel ら [11]と同様にパラメータ の更新には Adafactor [18] を用い，学習率は 1e-3, scale_parameter false, relative_step false とした. バッチサイズを 8 とし 100,000 ステップの学習を 行った. 1,000 ステップごとに validationを行い, BLEU-4 の值が最も高いモデルで評価を行う．その 他のパラメータはデフォルトのものを用いた.

本研究で人手で作成したデータセットのサイズは 大きくない. そのため, 以下の手続きで交差検定を 実施した。まず，手動で作成したデータセットをラ ンダムにシャッフルした後, 4:1 に「訓練データおよ び検証データ」と「テストデータ」に分割し，交差検定を行う。さらに，前者のデータは学習データと 検証データに $4: 1$ に分割する. この訓練データと検証データを用いてデータセットを拡張する。なお，評価結果は交差検定における平均值を示している.

BLEU に代表される自動評価尺度は人間によ る評価と相関があることが示されている [19]. そのため, 説明文の評価指標には BLEU [20] と METEOR [21], BERTScore[22]を用いる。また，単純 な規則でログから説明文を生成するシステムも作成乙比較を行う．具体的な生成方法は付録 D に示す.

ログには分析の方法と設定を表す部分が存在す るが，これを分けて評価を行う。まず，生成された ログから分析方法についての部分を抜き取り, 正解 データに対する分類精度を一般的な分類タスクと 同様に計算した. その $\mathrm{F}$ 値を F1-method として表に 掲載した。続いて，分析の設定については括弧の 中に各設定項目に対する値が「(設定項目)=(値)」と いう形式で区切り文字コンマにより記述されてい る.これら設定項目と値の組の 1 ブロックを予測 とみなし，スコアを計算する。具体的には，予測の うち正解と設定項目と値が完全に一致している割合をPrecision とし，正解のうち設定項目と値が予測と完全に一致している割合を Recall として計算 した。例えば，生成されたログの設定項目を「(最小出現数 $=3$, 上位 $=60)$ ), 正解のログの設定項目を $「$ (最小出現数 $=3$, 上位 $=60$, 最小スパニングツリーだ けを描画=on)」とすると，Precision は $2 / 2$ となり， Recall は $2 / 3$ となる. Precision と Recall の調和平均 をF1-options とし計算した. さらに，「共起ネット ワーク」「対応分析」のどちらかの文字列で始まり， それに続いて「(」で始まり「)」で終わるものでな かったものをログの形式のエラーとして計測する. なお， $\mathrm{F}$ 値の計算にはエラーデータは除外している.

表 2 ログから生成した説明文の評価.

## 4.2 ログからの説明文生成

表 2 に実験の結果を示す。まず，ルールベースに と T5 による結果を比較すると BLEU では大きい差 ができていることがわかる。一方で，BERTScore の Precision はルールベースによる生成が最も高くなっ た.この結果からルールベースによる生成では情報 を的確に伝えられているが，論文で記述される文章 とは似ていないと考えられる。

次に，データセットを拡張する場合としない場合 を比較すると，データ拡張を行わない場合がスコア が高くなった. データ拡張手法によってスコアが向上しなかった理由として, 追加したデータの質が考 えられる。擬似ラベリングでは論文ファイルを新た にダウンロードして自動でアノテーションを行なっ た.このファイルの読み込み時にテキスト順序が本来のものでない場合や本文中にない pdf ファイルの 記号がテキストとして入る場合があり，これらがノ イズになっていたと考えられる。また，ダウンロー ドした論文によって読点を表す記号が異なるため文分割を使用したが，この精度が高くないということ も理由の 1 つとしてあげられる. そして，スワップ では文字列の置換を行うが置換すべき対象ではない 文字列まで置換されてしまうことがあるため，それ が学習の妨げとなってしまった可能性がある.

データ拡張手法内では全体的に見てスコアが最も 高いのはハイブリッドだった。これは擬似ラベリン グでは BERTscore の Precision が高く，スワップでは Recall が高くなっているという特徴があり，ハイブ リッドはこの両手法の長所を取り入れてより良い学習が可能になった結果だと考えられる.

そして，マルチタスク学習を行うことでスコアが 上がる場合と下がる場合があった。この結果から夕 スクに特化したモデルを得るためにマルチタスク学習を行うことがが必ずしも良いとは限らないと考え られ，これは Raffel ら [11] の結果と一致している.

## 4.3 説明文からのログ生成

表 3 説明文から生成したログの評価.

結果を表 3 に掲載した。まず，F1-method におい ては擬似ラベリングのスコアが最も高くなった．次 に，F1-options においては拡張しない場合のスコア が最も高かった。一方，エラーが多かったのはデー タ拡張をしない場合とスワップによる拡張の場合 だった. この結果からエラー数の減少に対するデー 夕拡張の有用性が確認できた。

また，マルチタスク学習を行うことによりスコア が下がりエラー数が減少する傾向が確認できた. こ ちらもマルチタスク学習を行うことがが必ずしも良 いとは限らないと考えられる結果となった。

## 5 おわりに

本研究では，テキストアナリティクスの際に出力 されるログと説明文の相互生成を行なった。これを 深層学習的モデルで行うにあたって, 少量のデータ セットを拡張するための固有表現認識とクラス分類 による自動アノテーション手法と值の置換による拡張手法を提案した. 実験において，データセットを 拡張しない場合と各拡張手法を自動評価尺度によっ て比較した。その結果，指標によってはデータ拡張 をすることでスコアが向上することが確認できた.

本研究ではログを仮想的に定義したが，その他の 一般的なツールにおいても本研究と同じ形式でア ノテーションを施すことによって同様の生成手法・ データ拡張手法をとることができるという点で応用可能性があると考えられ，研究の余地がある. その ため，様々なデータへの適用や適切な拡張手法の考案は今後の課題である.

## 参考文献

[1] Jeremy Freese and David Peterson. Replication in social science. Annual review of sociology, Vol. 43, pp. 147$165,2017$.

[2] Scott E Maxwell, Michael Y Lau, and George S Howard. Is psychology suffering from a replication crisis? what does "failure to replicate" really mean? American Psychologist, Vol. 70, No. 6, p. 487, 2015.

[3] Thiago Castro Ferreira, Chris van der Lee, Emiel Van Miltenburg, and Emiel Krahmer. Neural data-to-text generation: A comparison between pipeline and end-to-end architectures. arXiv preprint arXiv:1908.09022, 2019.

[4] Eli Goldberg, Norbert Driedger, and Richard I Kittredge. Using natural-language processing to produce weather forecasts. IEEE Expert, Vol. 9, No. 2, pp. 45-53, 1994.

[5] Kees Van Deemter, Mariët Theune, and Emiel Krahmer. Real versus template-based natural language generation: A false opposition? Computational linguistics, Vol. 31, No. 1, pp. 15-24, 2005.

[6] Tianyu Liu, Kexiang Wang, Lei Sha, Baobao Chang, and Zhifang Sui. Table-to-text generation by structure-aware seq2seq learning. In Thirty-Second AAAI Conference on Artificial Intelligence, 2018.

[7] Ratish Puduppully, Li Dong, and Mirella Lapata. Datato-text generation with content selection and planning. In Proceedings of the AAAI conference on artificial intelligence, Vol. 33, pp. 6908-6915, 2019.

[8] Ernie Chang, Xiaoyu Shen, Dawei Zhu, Vera Demberg, and Hui Su. Neural data-to-text generation with lm-based text augmentation. arXiv preprint arXiv:2102.03556, 2021.

[9] Ernie Chang, Vera Demberg, and Alex Marin. Jointly improving language understanding and generation with quality-weighted weak supervision of automatic labeling. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 818-829, Online, April 2021. Association for Computational Linguistics.

[10] Chris van der Lee, Thiago Castro Ferreira, Chris Emmery, Travis Wiltshire, and Emiel Krahmer. Neural data-to-text generation based on small datasets: Comparing the added value of two semi-supervised learning approaches on top of a large language model. arXiv preprint arXiv:2207.06839, 2022.

[11] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J Liu, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, No. 140, pp. 1-67, 2020.

[12] 樋口耕一. テキスト型データの計量的分析一2つ のアプローチの峻別と統合一. 理論と方法, Vol. 19, No. 1, pp. 101-115, 2004.

[13] Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer. http://mecab. sourceforge.net/, 2005.

[14] Alan Akbik, Tanja Bergmann, Duncan Blythe, Kashif Rasul, Stefan Schweter, and Roland Vollgraf. FLAIR: An easy-to-use framework for state-of-the-art NLP. In NAACL 2019, 2019 Annual Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 54-59, 2019.

[15] Benoît Frénay and Michel Verleysen. Classification in the presence of label noise: a survey. IEEE transactions on neural networks and learning systems, Vol. 25, No. 5, pp. 845-869, 2013.

[16] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[17] Mihir Kale and Abhinav Rastogi. Text-to-text pre-training for data-to-text tasks. arXiv preprint arXiv:2005.10433, 2020.

[18] Noam Shazeer and Mitchell Stern. Adafactor: Adaptive learning rates with sublinear memory cost. In International Conference on Machine Learning, pp. 45964604. PMLR, 2018.

[19] Ehud Reiter and Anja Belz. An investigation into the validity of some metrics for automatically evaluating natural language generation systems. Computational Linguistics, Vol. 35, No. 4, pp. 529-558, December 2009.

[20] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[21] Satanjeev Banerjee and Alon Lavie. Meteor: An automatic metric for mt evaluation with improved correlation with human judgments. In Proceedings of the acl workshop on intrinsic and extrinsic evaluation measures for machine translation and/or summarization, pp. 65-72, 2005.

[22] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. arXiv preprint arXiv:1904.09675, 2019.

## A アノテーションした固有表現

表 4 共起ネットワーク・対応分析における固有表現.

## B テストセットにおける予測結果

## B. 1 固有表現認識

表 5 固有表現認識モデルによる予測結果. 交差検定 1 回分の結果を示した. 高い頻度かつ単語数の少ない固有表現であるほど予測精度が高いという結果が得られた。

表 6 BERT による分析手法の分類の結果. 交差検定 1 回分の結果を示した.

## C スワップのアルゴリズム

スワップのアルゴリズム. value-set は各設定項目を キーとしてデータセット内の全ての取りうる値のリスト を返す辞書である。

## D ルールベースによる生成

本研究では，ルールベースによる生成を行なった。具体的なアルゴリズムは，ログの形式が「分析方法 (設定項目=値, 設定項目=值...)」であることを用いて「(設定項目) を(値),」という文字列を繰り返し，最後の設定項目まで 達した場合「とし (分析方法)を行った.」と出力する.

例えば，「共起ネットワーク (最小出現数 $=3$, 上位 $=60$, 最小スパニングツリーだけを描画=on)」というログが入力 として与えられた場合，「最小出現数を 3 ，上位を 60 ，最小スパニングツリーだけを描画を on とし共起ネットワー ク分析を行った.」となる.

## B. 2 分類モデル