# A Frustratingly Simple Conditional Likelihood-based Method for Dialogue Orientation Estimation

Yin Jou Huang, Sadao Kurohashi
Kyoto University
\{huang, kuro\}@nlp.ist.i.kyoto-u.ac.jp
}

\begin{abstract}
During a conversation, the participants constantly switch between strategies of different orientations. A participant can either adopt a forward strategy to advance the conversation toward a desirable direction, or a backward strategy to address previous conversation contents. In this work, we use dialogue orientation as a measure of an utterance's intention to change the conversational topic and propose a conditional likelihood-based method for dialogue orientation estimation. We performed experiments in both Japanese and English and verified the effectiveness of our proposed method.
\end{abstract
## 1 Introduction

During a conversation, an interlocutor can choose to direct the conversation towards a new direction (forward strategy), or simply address what is previously said (backward strategy) [1]. Take Figure 1 as an example. In response to the utterance "I like to read in my spare time.", the utterance "What genre of books do you prefer?" is a forward utterance that prompts the subsequent discussion of book genres. On the other hand, the response "Reading is a good pastime!" is a backward utterance that makes comments on the previous utterance. Dialogue orientation is used to quantify the forward/backward strategies. In this work, we define dialogue orientation as the degree of an utterance's intent to direct the conversation toward a specific topic. By this definition, a typical forward utterance would have a high orientation score, and a backward utterance would have a low orientation score.

A good interlocutor controls the flow of the dialogue by adequately switching between strategies of different dialogue orientations. If the backward strategy is overly dominant, the conversation may be dull. On the other

Figure 1: Forward and backward utterances.

hand, excessive use of the forward strategy may progress the conversation too hastily and make it difficult to build rapport between the interlocutors. Thus, controlling dialogue orientation is critical for building engaging dialogue systems.

Previous work of dialogue orientation focused on counseling dialogues and categorized counselors' utterances into backward utterances that show empathy and forward utterances that guide the patient to a calmer state [1,2]. They use singular value decomposition to acquire utterance representations and calculate the orientation score based on the variance of preceding and following utterances. Inspired by their work, we further improved the dialogue orientation estimation method to be more robust, and also considered the semantic relations of the target utterance and the surrounding context.

In this paper, we propose a simple conditional likelihood-based method for dialogue orientation estimation. We observe that while a forward utterance is semantically related to both its preceding and following contexts, a backward utterance is semantically related only to its preceding context but not its following context. Based on the above characteristics, we calculate the conditional like-
lihood of a target utterance under different contexts and calculate the orientation score of the utterance. After the orientation scores are calculated, we use a heuristic method to decide the threshold value between backward and forward strategies and get the discrete orientation labels.

We conduct experiments in both Japanese and English, using DailyDialog dataset [3] and Kyoto University Hobby Chat Dialogue Corpus (KUHCC) [4] respectively. Evaluations on manually labeled data and showed improved results over previous method. We also perform a thorough analysis of the characteristics of dialogue orientation and verified the effectiveness of our proposed method.

## 2 Dialogue Orientation Estimation

In this section, we introduce our proposed method for dialogue orientation estimation. We train a conditional utterance prediction model and use the model to estimate the dialogue orientation of a given utterance. Also, we propose a heuristic method to deduce discrete orientation labels.

## 2.1 Conditional Utterance Prediction Model

We train a conditional utterance prediction model to capture the semantic relations among utterances. Taking the history and future contexts as input, the model predicts the utterance that fits the given context.

For each utterance $u_{t}$ in the corpus, we take $k$ preceding utterances as history context and $j$ following utterances as future context. The model input is defined as follows:

$
u_{t-k}[\mathrm{SEP}] \ldots u_{t-1}[\mathrm{MASK}] u_{t+1}[\mathrm{SEP}] \ldots u_{t+j}
$

where special token [SEP] indicates the utterance boundaries, and [MASK] indicates the position of the target utterance. Given the above input, the model generates the target utterance $u_{t}$.

## 2.2 Conditional Likelihood-based Dialogue Orientation Score

Based on the conditional utterance prediction model (Section 2.1), we calculate the conditional likelihood-based dialogue orientation score.

The following is the intuition of our proposed method: Since a forward utterance directs the conversation topic toward a specific direction, it imposes semantic constraints on its subsequent utterances. Thus, the future context provides important information for predicting a forward utter- ance. Take the forward utterance in Figure 1 as an example. It is difficult to predict the forward utterance accurately only by looking at the history context. However, if we look at the future context ("I enjoy fantasy and sci-fi the most."), we can get a rough idea that the utterance before it is talking about genres of books.

In contrast, a backward utterance addresses previous conversational contents and does not impose strong additional constraints on its following context. Thus, the future context of a backward utterance often provides little information in the prediction of the backward utterance.

Based on the above observations, we consider the conditional likelihood of a target utterance $u$ given different contexts. For typical forward utterance $u^{f}$ and backward utterance $u^{b}$, we expect the conditional likelihood of $u$ to exhibit the following property:

$
\left.\{\begin{array}{l}
p\left(u^{f} \mid \text { history }, \text { future }\right)>p\left(u^{f} \mid \text { history }\right) \\
p\left(u^{b} \mid \text { history }, \text { future }\right) \approx p\left(u^{b} \mid \text { history }\right)
\end{array}\right.
$

with history and future being the history and future context of $u$.

We use perplexity to measure the conditional likelihood and calculate the dialogue orientation score. Given $k$ preceding utterances and $j$ future utterances of the target utterance $u_{t}$, we calculate the perplexity of $u_{t}$ conditioned on both history and future context ( $\left.p p l_{A L L}\right)$, and the perplexity of $u_{t}$ conditioned on history context alone ( $p p l_{H I S T}$ ):

$
\left.\{\begin{array}{l}
p p l_{A L L}=p p l\left(u_{t} \mid u_{t-k}, \ldots, u_{t+1} ; u_{t+1}, \ldots, u_{t+j}\right) \\
p p l_{H I S T}=p p l\left(u_{t} \mid u_{t-k}, \ldots, u_{t-1}\right)
\end{array}\right.
$

We define the orientation score under this condition as:

$
s_{t}(k, j)=-\left(p p l_{A L L}-p p l_{H I S T}\right)
$

Note that the value of $s_{t}(k, j)$ depends on the length of history and future context ( $k$ and $j$ ). To calculate the orientation score of $u_{t}$, we fix the history context size to $k=3$ and take the future context size $j$ that gives the highest $s_{t}(k, j)$ :

$
s_{t}=\max _{j \in[1,5]} s_{t}(k, j)
$

Multi-sentence utterances An utterance can contain more than one sentence, and different sentences could exhibit different orientation strategies. Thus, in addition to the utterance-level orientation scores $\left(u_{t}\right)$, we also calculate the sentence-level orientation scores. Replace $u_{t}$ with its constituent sentence in equation (3) gives the sentencelevel orientation score.

(a) DailyDialog.

(b) KUHCC.

Figure 2: Distribution of the forward and backward utterances.

## 2.3 Discrete Orientation Label

The scores calculated in Section 2.2 provide a measure of dialogue orientation, but how large/small does a score have to be to suggest a forward/backward strategy? In this section, we introduce a heuristic method to decide a threshold value between forward and backward utterances.

In dialogues between human interlocutors, a speaker tends to first address the previous conversational content (backward) and then advance to some new topic (forward), but not vice versa. We focus on utterances with multiple sentences, and calculate the orientation score of the first and the last sentence. If the last utterance exhibits a higher orientation score than the first utterance, then the utterance is likely to exhibit the 'backward-then-forward' pattern. Figure 2 shows the distribution of orientation score of the first and last sentences in multi-sentence utterances (DailyDialog dataset). Here, we view the first sentence as a backward utterance and the last sentence as a forward utterance.

Next, we fit Gaussian distributions to the orientation scores of the last sentences (forward) and first sentences (backward), respectively. We use the intersection of the two Gaussian curves as the threshold value $\delta$ between forward and backward orientation scores. Using this threshold value, we classify utterances with an orientation score larger than $\delta$ as forward utterances, and the ones with an orientation score smaller than $\delta$ as backward utterances.

## 3 Experiments

In this section, we conduct experiments to verify the effectiveness of our proposed orientation estimation method.

Table 1: Orientation prediction accuracy of different orientation estimation methods.

## 3.1 Experimental Settings

In this work, we conduct experiments in English and Japanese. For English, we use the general-purpose DailyDialog dataset [3]. The dataset contains 13,118 dialogues of 10 different categories. For Japanese, we use the KUHCC [4] corpus. The corpus contains 4, 911 dialogues collected with crowdsourcing. In each dialogue, the two participants talk about their hobbies.

We use the pretrained BART base model [5] for the conditional utterance prediction model. For each target utterance, we take the previous $k=3$ utterances as the history context and randomly use $j=5$ utterances as the future context. The threshold value obtained by the discrete label deduction method method in Section is $\delta_{e n}=0.209$ for English and $\delta_{j p}=0.053$ for Japanese corpus.

## 3.2 Evaluation

We perform quantitative analysis with manually labeled samples. We manually labeled 158 utterances in the KUHCC corpus with orientation labels (forward or backward). Similarly, for the DailyDialog corpus, 160 labeled utterances are collected as the evaluation set.

Table 1 shows the accuracy score of our proposed method (Proposed) and the orientation estimation method
$\mathrm{S}_{1}$ : I love watching baseball. However, I haven't watched any game since last year. $S_{2}$ : You haven't been to even one game?
$S_{1}$ : I really want to go, but the tickets are difficult to come by due to the restrictions.

B $\quad \mathrm{F}$

$\mathrm{S}_{1}$ : I love watching soccer.

$S_{2}$ : You go watch the game in person?

F

$S_{1}$ : I got into the habit only several years ago, I haven't got the chance to watch in person.

$\mathrm{S}_{1}: \mathrm{I}$ am the fan of the baseball player Martin

$S_{2}$ : I don't know much about baseball, but I have heard of him!

$\mathrm{S}_{1}$ : I just went to a game in Makuhari last weekend.

B

$S_{2}$ : You go watch the game in person?

$\mathrm{S}_{1}$ : Yeah, it was really exciting!

Table 2: Case analysis. The target utterance is in bold font and the correct label is highlighted in bold. The correct orientation label is highlighted in bold. Examples from the KUHCC corpus are translated into English.

proposed by Zhang et al. [1] (Baseline). The proposed method outperformed the baseline method by 21.3 points for DailyDialog, and 4.3 points for KUHCC corpus.

## 3.3 Case Study

We perform a case study of the predicted orientation labels (Table 2).

Indirect utterance The first row of Table 2 shows an example of indirect utterance whose surface form differs from its intent. The target utterance is in the interrogative form, but its intent is confirmation rather than asking for information. Since typical questions are followed by corresponding answers to fulfill the turn-taking rules of communication [6, 7], they lean towards the forward end of the orientation spectrum. However, a question could have intents other such as confirmation or irony [8], which indicates a backward strategy. Our proposed method classified this utterance as backward correctly, while the baseline method classified it as forward. We speculate that the baseline method is influenced by the textual indicators of questions ${ }^{1)}$ and has the tendency to classify the utterance with question form as forward. This example shows that our proposed method predicts the orientation not only based on the surface form but also on the semantic relations between the target utterance and the surrounding context.

Context dependency The second and third rows in Table 2 illustrate that an utterance could have a different orientation depending on the context. In the first sample, the utterance "You go watch a game in person?" is

1) Many languages have textual indicators of questions, such as question marks, interrogative words such as the 5W1H in English, the $k a$ in Japanese, to name a few. a forward utterance and leads to further discussion about different ways of watching soccer games. However, in the second sample, the same utterance is a backward utterance that aims to express the emotion of surprise. The proposed orientation estimation method correctly predicts both samples. The above examples illustrate that our proposed method can adequately reflect the difference in context when predicting the orientation.

## 4 Conclusion

In this work, we studied dialogue orientation, which is an important dialogue characteristic indicating the forward strategy and backward strategy of conversation. We proposed a simple conditional likelihood-based method for estimating dialogue orientation. We applied our proposed dialogue orientation estimation method to Japanese and English corpora and conducted a thorough analysis. The analysis illustrated the robustness of our model in handling cases of misleading surface forms. Also, the proposed model adequately captures the context-dependent nature of dialogue orientation.

For future work, we consider downstream applications of dialogue orientation. We expect the dialogue orientation measure to be helpful in dialogue analysis, such as dialogue breakdown detection, quality control of crowdsourced dialogue data, etc. Also, incorporating and controlling dialogue orientation to a dialogue agent can lead to more engaging conversations.

## Acknowledgement

This work was supported by project JPNP20006, commissioned by New Energy and Industrial Technology Development Organization (NEDO). Also, this work was supported by JST, CREST Grant Number JPMJCR20D2, Japan.

## References

[1] Justine Zhang and Cristian Danescu-Niculescu-Mizil. Balancing objectives in counseling conversations: Advancing forwards or looking backwards. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5276-5289, Online, July 2020. Association for Computational Linguistics.

[2] Brian L Mishara, François Chagnon, Marc Daigle, Bogdan Balan, Sylvaine Raymond, Isabelle Marcoux, Cécile Bardon, Julie K Campbell, and Alan Berman. Which helper behaviors and intervention styles are related to better shortterm outcomes in telephone crisis intervention? results from a silent monitoring study of calls to the us 1-800-suicide network. Suicide and Life-Threatening Behavior, Vol. 37, No. 3, pp. 308-321, 2007.

[3] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. DailyDialog: A manually labelled multi-turn dialogue dataset. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 986-995, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[4] Takashi Kodama, Frederic Bergeron, Hayato Atarashi, Ribeka Tanaka, Wataru Sakata, and Sadao Kurohashi. Japanese Dialogue Collection Platform Available in Crowdsourcing. In Proceedings of the 27th Annual Conference of the Association for Natural Language Processing (In Japanese), pp. 859-864, 2021.

[5] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[6] Emanuel A Schegloff and Harvey Sacks. Opening up closings. 1973.

[7] Silvia Pareti and Tatiana Lando. Dialog intent structure: A hierarchical schema of linked dialog acts. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[8] John R Searle. Indirect speech acts. In Speech acts, pp. 59-82. Brill, 1975.


# ゼロ照応解析に基づく 項省略補完を取り入れた対話応答生成

上山彩夏 狩野芳伸
静岡大学大学院総合科学技術研究科
aueyama@kanolab.net kano@inf.shizuoka.ac.jp

## 概要

人間同士の対話では，言外の情報が重要である.昨今の対話システムには，対話履歴から応答を直接生成する手法が広く用いられているが，対話履歴内 の述語の項は頻繁に省略されるため，統計的なパ ターンを学習するのみでは，言葉には表れない発話意図を波み取ることが難しい，そこで，対話履歴内 の省略された情報を推測し，明示的に補完した対話履歴から応答を生成する Dialogue Completion using Zero Anaphora Resolution framework (DCZAR) を提案 する。自動評価及び人手評価の結果，DCZAR が応答の首尾一貫性と魅力度を大幅に向上させることを 確認した。

## 1 はじめに

人間同士の対話は，常識的知識や共有認識から なる共通基盤に依存している $[1,2]$. 表 1 の対話で は，多くの情報が省略されているが，2人の話者は 常識的知識や文脈をもとに相手の意図を汲み取るこ とができている．昨今の対話システムは深層学習技術の発展により，着実に性能が改善されているもの の $[3,4,5]$, 表 1 のような発話の意図を正確に捉える ことはできていない $[6,7]$. これは，人間とシステ 么の間に共通基盤が存在しないことに起因すると考 えられる. 既存の対話システムは，対話履歴から応答を直接生成する手法が広く用いられており, 共通基盤構築の過程を明示的に扱っていない。また，対話履歴には多くの省略があるため, 発話の意図を学習することが困難となっている。この問題に対し，外部知識を導入し，人間の常識的知識をモデルに与 えることで，人間とモデルのギャップを埋める知識 ベース $(\mathrm{KB})$ を用いる手法が数多く提案されている が $[8,9,10], \mathrm{KB}$ の構築にかかるコストは大きく，異 なるドメインやモデルへの転用も容易ではない.表 1 対話例. highlight は省略された情報.

話者 A: 最近、友人が学校に来ていません。私は 友人に連絡して良いですかね？

話者 B：友人が 1 人で悩んでいるかもしれない ので、あなたは 友人に 連絡すべきです。

本研究では，外部知識を利用せずに，発話の意図を捉える手法を検討する．対話相手の発話意図 を汲み取るためには，登場する人物や事物の役割 とその変遷を把握することが重要である。そのた め，それら人物や事物とその役割を推測し，明示的に取り入れることで，相手の意図に沿った応答 を生成できるようになり，首尾一貫した対話が実現できると期待される．そこで，省略された照応 を推測するゼロ照応解析の考えから着想を得て，対話履歴内の省略された情報を推測し，明示的に 補完した対話履歴から応答を生成するゼロ照応解析に基づく対話応答生成フレームワーク (Dialogue Completion using Zero Anaphora Resolution framework; DCZAR) を提案する。DCZAR は，述語項構造解析 (Predicate Argument Structure analysis; PAS) モデル, 対話補完 (Dialogue Completion; DC) モデル，応答生成 (Response Generation; RG) モデルの 3 つのモデルで 構成する. PAS モデルは対話履歴内の省略された項 を解析し，DC モデルは補完する項と補完位置を決定し，明示的に補完する。その後， RG モデルは補完された対話履歴から応答を生成する. PAS モデ ル， $\mathrm{RG}$ モデルは事前学習済みモデルを各タスクに 対応するデータセットで fine-tuning したモデルで， DC モデルは事前学習済みモデルを fine-tuning せず に利用する. 本研究では，2 種類の事前学習タス ク (Cloze [11], PZERo [12]) と 2 種類のデータセット (Wikipedia，Twitter)を組み合わせ，計 4 種類の事前学習済みモデルを構築し，各タスクにおいてどのモ デルが優れた性能を達成するか検証した。
本研究の主要な貢献は以下の三点である.

・ゼロ照応解析に基づく項省略補完を応答生成モ デルに取り入れることで，応答の首尾一貫性と 魅力度が大幅に向上することを示した (4.5 節).

・対話データに類似した特徴を持つ Twitter デー タにより事前学習することで，ゼロ照応解析の 性能を向上させた (4.3 節).

・対話補完モデルが対話に含まれる省略を十分な 性能で補完できることを確認した (4.4 節).

## 2 関連研究

## 2.1 対話応答生成

対話応答生成は，対話履歴に続く応答を生成する タスクであり，ソース文からターゲット文を生成す る系列変換問題として定式化できる $[7,13]$.

## 2.2 ゼロ照応解析

ゼロ照応解析は, 与えられた文章に対し, 述語の 省略された引数 (ガ格， Э格，二格)を検出し，その 先行詞を同定するタスクであり，述語項構造解析夕 スクの一部として定式化できる. ゼロ照応は述語と その項の位置関係に応じて, 文内ゼロ ${ }^{1)}{ }^{\text {(intra }) \text {, 文間 }}$

た，述語の引数が述語と直接係り受け関係にある場合，その引数は構文従属引数 (dep) である.

日本語ゼロ照応解析に関して，様々な研究が行わ れてきた [15,16,17]. Konno ら [12] は，ゼロ照応解析にはゼロ代名詞と先行詞の文脈的なつながりを理解するための常識的な知識が重要だと考え，以下の 事前学習タスクと fine-tuning 手法を提案した.

擬似ゼロ代名詞解析 (PZERO) 入力系列に 2 回以上出現する名詞句のうち 1 つを [MASK] に置換し， [MASK] に埋まるべき名詞句を入力系列 $X$ から選択 する事前学習タスクである. [MASK] を系列 $X$ から 選択するタスクは, ゼロ代名詞に対応する先行詞を 同定するタスクと類似しているため，モデルがゼロ 照応解析に必要な知識を獲得できると期待される.

類似ゼロ代名詞に基づく項選択 (AS-PZERO) PZERO で訓練されたパラメータを用いて，PZERO と同様 の形式で述語項を解析する手法である. モデル

1）先行詞が同一文中に存在する.

2）先行詞が述語の文より前方に存在する

3）先行詞が文中に存在しない。
は，系列 $X$ 及び $X$ に含まれる述語を入力として 受け取り，述語の項となる単語を $X$ から選択す る. 述語の項が入力系列に存在しない場合は，モデ ルに [CLS] を選択させ，項をさらに４つのカテゴ $リ^{4)}$ (author, reader, general, none)へ分類する.

## 3 提案手法

我々が提案する DCZAR の概要を図 1 に示す.

PAS モデル 長さ $T$ の対話履歴 $X=\left.\{x_{1}, x_{2}, \ldots, x_{T}\right.\}$ に対して，述語項構造解析を行い， $X$ に含まれ る $n$ 個の述語 $P=\left.\{p_{1}, p_{2}, \ldots, p_{n}\right.\}$ の $l$ 格方の項 $A_{l}=\left.\{a_{l, 1}, a_{l, 2}, \ldots, a_{l, n}\right.\}$ を予測する.

DC モデル 対話履歴 $X$ と述語 $P$, PAS モデルが予測した述語の項 $A_{l}$ を用いて， $X$ 内の省略を明示的 に補完する。補完を行う際には，補完する項とその 補完位置を決定する必要がある。 ある述語 $p_{i}$ とそ の直前の述語 $p_{i-1}$ の間 (探索範囲 $r_{i}$ ) に項 $a_{l, i}$ の先行詞が出現しているかを確認し，現れていなければ， その項は補完の対象とする. その後，項 $a_{l, i}$ を $r_{i}$ 内 の各トークン間に挿入する場合と項 $a_{l, i}$ を挿入しな い場合の文を作成し，文章の自然さを表す指標で ある Pseudo-log-likelihood scores (PLLs) [18] を算出す る.そして，最もスコアが高い文を適切な位置に補完された文とみなし， RG モデルの入力に利用する。

RG モデル DC モデルに補完された対話履歴とそれ に続く応答により訓練されたモデルであり，推論の 際は対話履歴のみを入力とし，応答生成を行う。

## 4 実験

## 4.1 事前学習

2 種類のタスク (Cloze [11]，PZERO [12])と 2 種類の日本語データセット (Wikipedia，Twitter)を 組み合わせ，計 4 種類の事前学習済みモデル (wiki-cloze, twitter-cloze, wiki-pzero, twitter-pzero)を 構築した。また，モデルの初期パラメータとして， bert-base-japanese-whole-word-maskingを用いた.

## 4.2 比較モデル

4.1 節に示した事前学習済みモデルを PAS，DC， RG の各モデルに使用し，性能比較を行った。比較 パターンを表 2 に示す. 例えば，(e) の RGwiki-cloze

表 3 PAS モデルの自動評価結果 $\left(F_{1}\right)$

は前処理として，PASwiki-cloze とDCwiki-cloze を用 いる。また，(a)から (d) は補完を一切行わないべー スラインモデルであり，(h) は提案する事前学習済み モデル (twitter-pzero) のみを組み合わせたモデルで ある。なお，DC モデルで利用する PLLs は Cloze タ スクが解けるモデルを必要とするため, (g) と (h) の DC モデルは, wiki-pzero と twitter-pzero の代わりに wiki-cloze と twitter-clozeをそれぞれ適用している。

## 4.3 実験 1 : PAS モデル単体の性能評価

本実験では，表 2 に示した (e) から (h) の PAS モ デルの述語項構造解析の性能 $\left(F_{1}\right)$ を評価した. PAS モデルは事前学習済みモデルに対し, NAIST Text Corpus 1.5 [14]を用いて, AS-PZERO による fine-tuning を行ったモデルである. PAS モデルへの入力は，述語を含む文とその前方文で，述語に対応する先行詞表 4 DC モデルの人手評価結果

と格情報を出力するように学習される。

実験結果を表 3 に示す. 提案した PAS twitter-pzero がゼロ照応解析において, 最も高い性能を達成した. Twitter データで事前学習したモデルは, Wikipedia データで事前学習したモデルと比較して性能が高 く, 特に外界ゼロ $(e x o)$ で大きな向上を示している.

## 4.4 実験 2：DC モデル単体の性能評価

本実験では，表 2 に示した (e)から (h)の DC モデ ルの補完性能を人手評価により評価した. 人手評価 には, JPersonaChat と JEmpatheticDialogues [19] から 4 つのモデルごとにランダムサンプリングした各 250 件を用いた. 5 人の評価者に対し，補完前の対話履歴と補完後の対話履歴を提示し, 補完した項と 補完位置の双方が適切かを決定してもらった。

表 4 に実験結果を示す. 提案した DC twitter-pzero が対話補完において, 最も性能が高かった. Cloze, PZERO ともに, Wikipedia データではなく, Twitter データを事前学習に用いることで, 性能が向上して いる $(74.80 \rightarrow 77.20,72.40 \rightarrow 84.80)$. また，表 3 に おいても，(h) が最も優れた性能を示していること から，対話補完の性能は述語項構造解析の性能に関連していると考えられる。

## 4.5 実験 3：DCZAR の性能評価

本実験では，表 2 亿示した (a)から (h) の対話応答生成の性能を自動評価及び人手評価により評価し
表 $5 \mathrm{RG}$ モデルの自動評価結果

} \\

表 $6 \mathrm{RG}$ モデルの人手評価結果. */**は，カイ二乗検定 で $p<0.05 / 0.01$ での統計的有意差があることを示す. N/A は，多数決で「分からない」が選択された場合と 3 人 の評価者で評価が割れた場合の件数である.

 &  & \multirow{2}{*}{ 魅力度 } \\

(e) & + DCZAR (ours) & 28 & $\mathbf{5 4}^{* *}$ & $\mathbf{5 5}^{* *}$ \\
& N/A & 42 & 1 & 1 \\

(f) & + DCZAR (ours) & $\mathbf{3 4}$ & $\mathbf{5 7}^{* * *}$ & $\mathbf{5 4 * *}$ \\
& N/A & 36 & 0 & 0 \\

(g) & + DCZAR (ours) & 33 & $\mathbf{5 2 * *}$ & 47 \\
& N/A & 33 & 3 & 2 \\

(h) & + DCZAR (ours) & $\mathbf{3 8}$ & $\mathbf{6 2 * *}$ & $\mathbf{5 9 * *}$ \\
& N/A & 30 & 0 & 0 \\

た. RG モデルは，BERT を Encoder 及び Decoder に 利用する BERT2BERT [20] に対し, JPersonaChat と JEmpatheticDialogues を用いて, fine-tuning を行った モデルである. (a) から (d) はベースラインモデル， (e) から (h) はDCZAR を適用した提案モデルであ り，ベースラインモデルの入力には，データセット に含まれる対話履歴 $H$ をそのまま利用し, 提案モデ ルの入力には, $H$ 内の省略を補完した対話履歴 $H^{\prime}$ を用いた。

自動評価には，BLEU [21]，ROUGE-L [22], DISTN [23]，BERTScore [24] を採用した. 人手評価は, JPersonaChat と JEmpatheticDialogues から，4 種類の 事前学習済みモデルごとにランダムサンプリング した 100 件，計 400 件を全ての評価者が全件評価し た. 3 人の評価者に対し, 対話履歴とベースライン モデル，提案モデルが生成した 2 つの応答を提示乙，異なる評価基準 (文法的流暢性，首尾一貫性，魅力度) に基づいて 1 つを選択するか，「分からない」 を選択するペアワイズ比較を行った．最終的な評価値は，3名の多数決によって決定した.

表 5 に自動評価結果を示す. BLEU-1, 3, 4 及び ROUGE-L においては，提案モデルがベースライン モデルを上回ることを確認したが，有意な差は見ら れなかった. 提案手法は，項を補うことによって， より首尾一貫した応答が生成できると期待される が，その貢献は単語統計の結果には変化をもたらさ ないと考えられるため，これら自動評価尺度は必ず しも適切な評価尺度とは言えない。

表 6 に人手評価結果を示す. 文法的流暢性は，全 てのモデルにおいて有意差が認められなかったが， RGtwitter-cloze+DCZAR と RGtwitter-pzero+DCZAR はベースラインモデルの性能を上回った. 有意差 が認められなかった原因は，他の観点と比較して， N/A の件数が多いことが考えられる．首尾一貫性 は，全ての提案モデルがベースラインモデルと比較 して，有意に向上している。これは，応答を生成す る際に，省略を明示的に補完した対話履歴を用い ることが首尾一貫性の評価に寄与することを示し ている．魅力度は，RGwiki-pzero+DCZAR 以外の全 てのモデルにおいて，ベースラインモデルと比較 して，有意に向上している. 人手評価の結果より， DCZAR はより首尾一貫した，魅力的な応答の生成 に貢献することが示された。

## 5 おわりに

本研究では，対話履歴内の省略された情報を推測 し，明示的に補完した対話履歴から応答を生成する DCZAR を提案した. 実験の結果，DCZARを適用す ることで，より首尾一貫した，魅力的な応答を生成 できることが分かった．今後の展望として，異なる タスクや他の言語への適用などが挙げられる.

## 謝辞

本研究は JSPS 科研費 JP22H00804，JP21K18115 の

助成及び JST AIP 加速課題 JPMJCR22U4 の支援を受

けたものです.

## 参考文献

[1] Robert C. Stalnaker. Assertion. pp. 315-332, 1978.

[2] Herbert H. Clark and Edward F. Schaefer. Contributing to discourse. Vol. 13, No. 2, pp. 259-294, 1989.

[3] Mojtaba Komeili, Kurt Shuster, and Jason Weston. Internetaugmented dialogue generation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, pp. 8460-8478, 2022.

[4] Sebastian Borgeaud, Arthur Mensch, Jordan Hoffmann, Trevor Cai, Eliza Rutherford, Katie Millican, George Bm Van Den Driessche, Jean-Baptiste Lespiau, Bogdan Damoc, Aidan Clark, and et al. Improving language models by retrieving from trillions of tokens. In Proceedings of the 39th International Conference on Machine Learning, pp. 2206-2240, 2022.

[5] Romal Thoppilan, Daniel De Freitas, Jamie Hall, Noam Shazeer, Apoorv Kulshreshtha, Heng-Tze Cheng, Alicia Jin, Taylor Bos, Leslie Baker, Yu Du, and et al. LaMDA: Language models for dialog applications. arXiv:2201.08239, 2022.

[6] Tiancheng Zhao, Ran Zhao, and Maxine Eskenazi. Learning discourse-level diversity for neural dialog models using conditional variational autoencoders. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 654-664, 2017.

[7] Iulian Vlad Serban, Alessandro Sordoni, Ryan Lowe, Laurent Charlin, Joelle Pineau, Aaron Courville, and Yoshua Bengio. A hierarchical latent variable encoder-decoder model for generating dialogues. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 31, 2017.

[8] Xueliang Zhao, Wei Wu, Can Xu, Chongyang Tao, Dongyan Zhao, and Rui Yan. Knowledge-grounded dialogue generation with pretrained language models. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 3377-3390, 2020.

[9] Mihail Eric, Nicole Chartier, Behnam Hedayatnia, Karthik Gopalakrishnan, Pankaj Rajan, Yang Liu, and Dilek Hakkani-Tur. Multi-sentence knowledge selection in open-domain dialogue. In Proceedings of the 14th International Conference on Natural Language Generation, pp. 76-86, 2021.

[10] Yan Xu, Etsuko Ishii, Samuel Cahyawijaya, Zihan Liu, Genta Indra Winata, Andrea Madotto, Dan Su, and Pascale Fung. Retrieval-free knowledge-grounded dialogue response generation with adapters. In Proceedings of the Second DialDoc Workshop on Document-grounded Dialogue and Conversational Question Answering, pp. 93-107, 2022.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[12] Ryuto Konno, Shun Kiyono, Yuichiroh Matsubayashi, Hiroki Ouchi, and Kentaro Inui. Pseudo zero pronoun resolution improves zero anaphora resolution. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3790-3806, 2021.

[13] Pei Zhou, Karthik Gopalakrishnan, Behnam Hedayatnia, Seokhwan Kim, Jay Pujara, Xiang Ren, Yang Liu, and Dilek
Hakkani-Tur. Think before you speak: Explicitly generating implicit commonsense knowledge for response generation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, pp. 1237-1252, 2022.

[14] Ryu Iida, Mamoru Komachi, Naoya Inoue, Kentaro Inui, and Yuji Matsumoto. Annotating predicate-argument relations and anaphoric relations: Findings from the building of the naist text corpus. Vol. 17, No. 2, pp. 25-50, 2010.

[15] Ryohei Sasano and Sadao Kurohashi. A discriminative approach to Japanese zero anaphora resolution with large-scale lexicalized case frames. In Proceedings of 5th International Joint Conference on Natural Language Processing, pp. 758-766, 2011.

[16] Souta Yamashiro, Hitoshi Nishikawa, and Takenobu Tokunaga. Neural Japanese zero anaphora resolution using smoothed largescale case frames with word embedding. In Proceedings of the 32nd Pacific Asia Conference on Language, Information and Computation, 2018.

[17] Masato Umakoshi, Yugo Murawaki, and Sadao Kurohashi. Japanese zero anaphora resolution can benefit from parallel texts through neural transfer learning. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 1920-1934, 2021.

[18] Julian Salazar, Davis Liang, Toan Q. Nguyen, and Katrin Kirchhoff. Masked language model scoring. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2699-2712, 2020.

[19] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformerbased japanese chit-chat systems. arXiv:2109.05217, 2021.

[20] Sascha Rothe, Shashi Narayan, and Aliaksei Severyn. Leveraging pre-trained checkpoints for sequence generation tasks. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 264-280, 2020.

[21] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. BLEU: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[22] Chin-Yew Lin and Franz Josef Och. Automatic evaluation of machine translation quality using longest common subsequence and skip-bigram statistics. In Proceedings of the 42nd Annual Meeting of the Association for Computational Linguistics, pp. 605-612, 2004.

[23] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the $\mathbf{2 0 1 6}$ Conference of the North American Chapter of the Association for Computational Linguistics, pp. 110-119, 2016.

[24] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020 .

[25] Hirotoshi Taira, Sanae Fujita, and Masaaki Nagata. A Japanese predicate argument structure analysis using decision lists. In Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing, pp. 523-532, 2008.

[26] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 2204-2213, 2018-07.

[27] Hannah Rashkin, Eric Michael Smith, Margaret Li, and Y-Lan Boureau. Towards empathetic open-domain conversation models: A new benchmark and dataset. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5370-5381, 2019.

## A データセットの統計情報

Wikipedia 日本語 Wikipedia のダンプデータ6)を訓練/検証セットに含まれる事例数が $15 \mathrm{M} / 3 \mathrm{k}$ (トークン 数は $763 \mathrm{M} / 220 \mathrm{k})$ になるように分割した. 本データ を PZERO に用いる際には，名詞句を同定する必要が あるが，Konno ら [12] と同様の手法で行った.

Twitter Twitter $\mathrm{API}^{7}$ )を用いて収集したツイートを訓練/検証セットに含まれる事例数が $70 \mathrm{M} / 30 \mathrm{k}$ (トーク ン数は $504 \mathrm{M} / 200 \mathrm{k}$ ) になるように分割した. 名詞句 の同定は，Wikipedia と同様の手法を採用した.

NAIST Text Corpus 1.5 述語と表層格の関係などが 付与されたコーパスである. Taira ら [25] の手法に 従って，訓練/検証/評価セットに分割した。

JPersonaChat PersonaChat [26] の日本語版で, Sugiyama ら [19] の手法に従って, 対話履歴と応答のペアを作成し，訓練/検証/評価セットに含まれ る対話数が $50 \mathrm{k} / 3 \mathrm{k} / 4 \mathrm{k}$ になるように分割した。なお,本研究ではペルソナ記述文は利用していない.

JEmpatheticDialogues EmpatheticDialogues [27] の日本語版で, Sugiyama ら [19]の手法に従って, 対話履歴と応答のペアを作成し, 訓練/検証/評価セットに 含まれる対話数が $50 \mathrm{k} / 3 \mathrm{k} / 7 \mathrm{k}$ になるように分割した.

## B 生成応答例の分析

表 7 に生成した応答例を示す.

## 文法的流暢性で評価に差が無かったのはなぜか？文法的流暢性8) において，有意差が認められなかっ たのは，他の観点と比較し， N/A が多いことに起因 すると考えられる. 対話例 1 は 3 人の評価者が「分 からない」を選択して，N/A に分類された例である。 この例では，2つのモデルが異なる内容の応答を生成しているものの, どちらの応答も文法的には誤っ ておらず，このような場合には判断が難しいと考え られる。

## 提案手法は首尾一貫性の向上に寄与しているか?

対話例 2 は, 提案モデルの応答がより首尾一貫9) していると評価された例の 1 つである. 対話例 2 の対話履歴には, 「夫 $」$ 「ご主人」,「妻」,「専業主

6) https://dumps.wikimedia.org/jawiki/latest/ jawiki-latest-pages-articles.xml.bz2

7) https://developer.twitter.com/en/products/ twitter-api

8）どちらの応答が文法にかなっているか，日本語として流暢 か (対話履歴の内容は考慮しない)。

9）どちらの応答が対話履歴の内容を考慮しているか，対話履歴と応答の内容が一貫しているか.表 7 生成応答例. highlight は提案モデルにより補完さ れた項を表す。

 \\

婦」といった人物の役割を表す名詞が多く存在し ており，さらに「贈る」に対応する項が省略されて いるため，誰に関する話をしているのかが判断し づらい. RGtwitter-pzeroは妻に関する話だと誤った 解釈をして，応答を生成しているが，提案した $\mathrm{RG}$ twitter-pzero+DCZAR は夫に関する話だと正しく解釈をして，応答を生成している。これは，省略され た項を明示的に補完することが首尾一貫性の向上に 寄与していることを示唆している.

魅力的な応答の特徵は何か？対話例 3 は，提案モ デルの応答がより魅力的 ${ }^{10)}$ であると評価された例の 1 つである. 対話例 3 より，魅力的だと評価される 応答は，より具体的で首尾一貫した応答であると考 えられる。そこで，首尾一貫した応答ほど魅力的な 応答であるという仮説を立て，各指標間の相関につ いて分析した. その結果，「文法的流暢性」と「魅力度」における相関係数は 0.223 であり，「首尾一貫性」と「魅力度」における相関係数 0.850 であった. このことから，首尾一貫している応答と魅力的な応答には強い相関があることが示され，内容が一貫し た話者と対話を継続したいと感じる傾向にあること が明らかになった.
 と対話を継続したいと感じるか.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 語彙と品質を考慮したデータ水増しの言語教育支援への適用

中町 礼文 ${ }^{1}$ 西内 沙恵 ${ }^{2}$ 浅原 正幸 3 佐藤 敏紀 ${ }^{1}$
${ }^{1}$ LINE 株式会社 2 北海道教育大学 3 国立国語研究所
\{akifumi . nakamachi, toshinori.sato\}@linecorp.com
nishiuchi.sae@a.hokkyodai.ac.jp
masayu-a@ninjal.ac.jp

## 概要

本研究では,テキスト生成のための基盤モデルを 用いて, 語彙と品質を考慮したデータ水増しのシス テムを提案した. 提案手法によるコーパス構築の応用可能性の検証として, 言語教育支援に向けたコー パス構築を行った. 本研究では, 提案手法を用いて,語彙, 難易度, テキストの組からなる約 500 件程度 の元データを, 4 倍以上に拡充した. また, 生成した データのみによる文難易度推定器が, 人手により作成した推定器構築用の学習データを用いた推定器と 同等以上の性能を持つことを確認し, 提案手法によ るコーパスの自動構築の応用可能性を示した.

## 1 はじめに

自動採点や, 問題文の自動生成をはじめとした言語教育支援において, 良質な言語資源が必要不可欠 である.しかし, 人手により,レベル・語彙が制御さ れた例文データを作例する事は非常にコストが高 い. そこで, 教科書や試験問題をはじめとする, 言語教育向けの高品質なリソースから文を抽出して, コーパスを作成することが考えられる. 高品質なり ソースには限りがあり, また, 画一的なリソースから のデータ収集では, 個々の学習者に対しての適切な レベル・語彙を用いた例文の作例に対応できない. コーパス構築の効率化や, 個々の学習状況に応じた 言語学習支援に向けて, 語彙や品質がある程度保証 された言語資源の拡張手法の適用が考えられる。

言語資源の拡張手法として, データ水増し (Data Augumentation, DA) が広く研究されている. 特に, GPT-3 [1]をはじめとする,テキスト生成のための基盤モデルを用いた,スタイルを維持したテキスト生成でデータ水増しを行う手法 $[2,3]$ が存在する.

本研究では, GPT-3 と同等な形式の, 日本語のテキ スト生成のための基盤モデルである HyperCLOVA[4]表 1: JLPT の習熟度の目安

を用いて, 語彙と品質が考慮された文生成システム を提案する. 非母語話者の言語学習支援への適用を 通じて, 提案手法のコーパス自動構築の応用可能性 の検証を行う.テキストの品質については, 日本語能力試験 (JLPT) の習熟度 (表 1) ${ }^{1}$ ) に基づく.まず, 語彙と品質がある程度保証されたコーパスの自動構築 を行い, 語彙を適切に含めた例文が作成できること をを検証する.さらに，作成したコーパスのみによる 文難易度推定の性能を検証する.これらの検証を通 じて, 記述文の自動採点や, 語彙・文法問題などの作問支援への応用可能性を確認する.

図 1: 難易度を考慮した例文生成システム

図 2: 語彙と難易度を考慮した例文生成システム

## 2 関連研究

言語処理において, データ水増しは広く研究され ている. 単純な手法として, テキスト内の語彙を削除・置換・類義語辞書を用いた変換で水増しする EDA[5] がある. EDA は, 機械学習の精度改善のため のデータとしては利用できるが, 単純な単語操作の ため,テキストの文法性が保障されない.

また, 基盤モデルを用いた判別タスク向けのデー タ水増しとして, 小規模な生成型の基盤モデルを ファインチューニングして例を作成し, 生成された テキストを判別器でフィルタする手法 $[6,7,8]$ が存在する. 小規模な生成型の基盤モデルのファイン チューニングによる手法では, ファインチューニン グのためにある程度コーパスが必要である.

ごく小規模な資源による文法性がある程度保たれ たデータ水増しを行う手法として, 大規模な基盤モ デルである GPT-3を用いた Prompt ベースのデータ 水増しがある. GPT3Mix[2] では, テキストとラベル からなる Promptを与えて, テキストとラベルのぺア を作成する. また, Sahu ら [3] は, あるラベルのテキ ストのみで構成した Prompt で, ラベルが考慮された テキストを作成した. 既存の大規模な基盤モデルの Prompt に基づく手法は, 出力したい語彙を考慮する ことや, 出力したテキストの品質評価のフィルタリ ングなどは行われていない.

## 3 語彙と品質を考慮した例文生成

本研究では, 出力したい語彙を含む Prompt に よるデータ生成と, 判別器を用いたフィルタリ ングを組み合わせることで, 語彙表現と品質があ る程度保たれたデータ水増しのフレームワーク (Word-considered GPTDA) を提案する. 本研究では, GPT-3 と同様な形式の日本語の基盤モデルである HyperCLOVA ${ }^{2}$ を用いる. システムの概要は, 図 2 に
$ モデルを用いた.
}

示したように, 出力したい難易度 $N$ と単語を与え, 言語教育支援に向けた Prompt を作成する. 生成結果に 対して, 難易度判別器や語彙の出力の有無によりテ キストをフィルタすることで, 難易度や語彙の制約 を満たしたテキストの生成を促す。

## 3.1 言語教育支援のための Prompt

本研究では, 2 種類の Prompt を提案する. まず, 文難易度判定に向けて, 図 3 で示したデータ水増し の Prompt を検証する.さらに, 語彙や文法問題の問題文の自動生成に向けて, ある語彙表現を含む例文を生成するため, 図 4 に示した, 出現語彙を考慮 した Prompt を検証する. また, 図 3 の基礎 Prompt において, 最後の例文の先頭 4 文字を与える場合 Conditional 設定) と，与えない場合を検証する.

## 3.2 Prompt のための例文データ

Prompt 内で用いる例文として, JLPT の 2018 年の 試験問題 3 ) の全文を書き起こし, 例文データを作成 した. さらに, 作成した難易度推定器の評価のため に, 2012 年の試験問題 3)も同様に書き起こした. ま た, 単語を関連付けた Prompt に向けて, JLPT 向け の学習参考書に付属する単語リスト ${ }^{4)}$ から, 語彙難易度辞書を書き起こした. また, 語彙難易度辞書と 2018 年の試験問題を用いて, (難易度 $N$ の語彙, 難易度 $N$ の例文) となるような語彙と例文の組み合わせ コーパスを作成した。

Prompt の例文の構成の比較として, 3 種類のサン プリングを検証する。

1. Random Level: 全ての難易度のテキスト集合か らサンプリング.

2. Baseline: 難易度 $N$ の Prompt の例文として, 難易度 $N$ のテキスト集合からサンプリング.
^{4)}$ https://www.ask-books.com/jp/jlpt-try/try-wordlist/
}

図 3: Base Prompt

3. Word-considered: 語彙と難易度の組み合わせ コーパスのうち, 難易度 $N$ の事例からサンプリ ング.

それぞれのサンプリングでは, 4 件のデータを重複 なくサンプリングする. 多様な表現を出力するため,生成のたびにサンプリングを再実行する. 単語や文 の件数を, 表 2 に示す。

## 3.3 難易度推定器を用いたフィルタリング

水増しデータの文難易度フィルタリングに向け て, 中町ら [9] と同様の手法で, JLPT の 2018 年の試験問題の書き起こしデータによる, 文難易度の推定器を作成した. JLPT の 2012 年の試験問題の書き起 こしデータを用いて, 作成した推定器を評価した. 評価結果は表 2 に示す。

## 3.4 生成の後制御

no-filter 以外の全ての設定について, 生成例の推定難易度と, 指定した難易度が一致しない水増し データを破棄する事後フィルタリングを行う。ま た, より強く難易度の制約を与えるため, データ作成中にフィルタリングを行い, 与えた難易度 $N$ と, 生成例の推定難易度が一致しない場合再生成を行う， in-filtering 設定を検証する. in-filtering 設定において，与えた語が出力されない場合や, 意図していない難易度のテキストが生成される場合がある. その場合，最大 10 回の再生成を行い, 与えた語彙が含まれてい る例文のうち, 推定難易度と難易度が最小な候補を 出力する. あるいは, 与えた語彙が含まれない場合,再生成したテキストのうち, 推定難易度と難易度が 最小な候補を出力する. さらに, 出力の語彙の含有を 保証するため, 指定した語彙が含まれない生成例を 破棄する word-filtering (wf) の設定を検証する。

## 4 実験

語彙と難易度が考慮された例文生成の検証とし て, 提案手法による出力が通常の GPTDA による出力よりも, 語彙や文難易度を制御できることを確認 する. また, 水増しデータのみを用いた難易度推定器与えられた単語を含む例文を作成してください。

単語: $\left.\{\right.$ 難易度 $N$ の単語 $w_{-}$1 \}例文: \{w_1 を含む難易度 $N$ の例文_1\}

単語: 難易度 N の単語 w_n\}例文: \{w_n を含む難易度 N _ i の例文_n \}単語: $\{$ 難易度 $N$ の単語 $w\}$ 例文:

図 4: Word-considered (W-c) Prompt

を作成し性能評価を行うことで, 難易度推定への応用可能性を検討する。

## 4.1 データ水増しの実験

全てのデータ水増しにおいて, 1 時間以下で 5,000 件のデータを生成している. 表 2 のように, ほぼ全 ての手法で, $40 \%$ 以上 $(5,000$ 件の生成のうち 2,000 件以上) の割合で, 生成したテキストの難易度が考慮されている. 特に, 出力の先頭 4 文字を与えた Conditional GPTDA では, 事後フィルタリングを行っ ても 5,000 件中 4,758 件の出力が意図した難易度で あった. しかし, 出力の多様性の観点からは, 内容の 重複が多くなる傾向があった。

また, 出力の難易度制御能力の検証として, 全て の難易度の例文からランダムにサンプリングし た Random Level 設定と, 難易度を考慮した通常の GPTDA を比較した。それぞれの設定による水増 しデータに対して, 難易度推定器によるフィルタ リングを行うと, 表 2 に示すように Random Level GPTDA では, 与えた難易度以外のデータが多く作成 されていることが確認された. Random Level 設定と， Word-considered 設定を組み合わせた手法では, 出力 の難易度制御が行えないことが確認された。

さらに, 出力の語彙制御について, 提案手法が, 難易度と語彙をどの程度考慮できているかを確認し た. Word-considered の手法において, 難易度が制御さ れた出力の 8 割以上は語彙も制御されている. 特に, Word-considered GPTDA (in-filtering, wf) では, 元の語彙と例文のデータ 587 件から生成した 5,000 件の データのうち, 2, 636 件のサンプルでは語彙と難易度 が制御された。

## 4.2 水増しデータを用いた文難易度推定

作成したデータのみで難易度推定器を作成し, 2012 年の JLPT の試験問題から作成したデータで性能評価を行った. 実験は, 中町ら [9] による文難易度判別器と同様の実験設定で行った.

表 2 のように，後処理を行わない GPTDA (nofiltered) や, 難易度を考慮しない Random Level GPTDA
表 2: データセットと難易度判定器の評価結果

※ no-filter 以外は, 5,000 件の水増しデータを難易度推定器でフィルタ.

表 3: 単語を考慮した GPTDA の生成例

 \\

は, 全ての指標において試験問題で作成した推定器 より性能が低かった. 水増しデータのみを使用した モデルの大部分が, 水増し元のデータのみを使用し たものと同等かそれ以上の予測精度であった. 難易度の完全一致の観点においては, Accuracy やF1 の指標より, Conditional GPTDA が最も高精度であった。一方で, 単語を考慮した GPTDA は, 誤判別した際で も, 大きく推定を誤る比率が減っているため, Kappa や Pearson などが高い傾向があった. また, 語彙が制御されているため, 語彙や文法表現などのための問題文生成としての活用も可能である.

## 5 終わりに

本研究では, HyperCLOVA を用いて生成的なデー 夕水増しを行い, 水増しデータをフィルタリングす ることで, 言語教育支援に向けた語彙と品質を考慮 できるデータ水増し手法を検証した. 実験の結果, 少数の元データからでも, 語彙と品質がある程度制御 されたデータの自動生成を高速に行えた. 今後, 水増しデータを用いたフィルタを用いることで, フィ ルタのためのコーパスを必要としない手法の検証 や, 生成・フィルタを再帰的に繰り返すことによる表 4: 単語を考慮しない GPTDA の生成例

} & Level & Text \\

精度改善などを検証していく. また, 作成した言語教育向けコーパスに対して, 専門家による難易度のア ノテーションを行い, 言語資源の公開を目指す. さら に, 言語教育支援に向けて, 語彙・文法問題などの演習問題の自動作成に取り組む。

## 参考文献

[1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language Models are Few-Shot Learners. In Advances in Neural Information

Processing Systems, pp. 1877-1901, 2020.

[2] Kang Min Yoo, Dongju Park, Jaewook Kang, Sang-Woo Lee, and Woomyoung Park. GPT3Mix: Leveraging Largescale Language Models for Text Augmentation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 2225-2239, 2021.

[3] Gaurav Sahu, Pau Rodriguez, Issam Laradji, Parmida Atighehchian, David Vazquez, and Dzmitry Bahdanau. Data Augmentation for Intent Classification with Off-the-shelf Large Language Models. In Proceedings of the 4th Workshop on NLP for Conversational AI, pp. 47-57, 2022.

[4] Boseop Kim, HyoungSeok Kim, Sang-Woo Lee, Gichang Lee, Donghyun Kwak, Jeon Dong Hyeon, Sunghyun Park, Sungju Kim, Seonhoon Kim, Dongpil Seo, Heungsub Lee, Minyoung Jeong, Sungjae Lee, Minsub Kim, Suk Hyun Ko, Seokhun Kim, Taeyong Park, Jinuk Kim, Soyoung Kang, Na-Hyeon Ryu, Kang Min Yoo, Minsuk Chang, Soobin Suh, Sookyo In, Jinseong Park, Kyungduk Kim, Hiun Kim, Jisu Jeong, Yong Goo Yeo, Donghoon Ham, Dongju Park, Min Young Lee, Jaewook Kang, Inho Kang, Jung-Woo Ha, Woomyoung Park, and Nako Sung. What Changes Can Large-scale Language Models Bring? Intensive Study on HyperCLOVA: Billions-scale Korean Generative Pretrained Transformers. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3405-3424, 2021.

[5] Jason Wei and Kai Zou. EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks". In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 6382-6388, 2019.

[6] Ateret Anaby-Tavor, Boaz Carmeli, Esther Goldbraich, Amir Kantor, George Kour, Segev Shlomov, Naama Tepper, and Naama Zwerdling. Do Not Have Enough Data? Deep Learning to the Rescue! Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 7383-7390, 2020.

[7] Yufei Wang, Can Xu, Qingfeng Sun, Huang Hu, Chongyang Tao, Xiubo Geng, and Daxin Jiang. PromDA: Promptbased Data Augmentation for Low-Resource NLU Tasks. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, pp. 4242-4255, 2022.

[8] Ruibo Liu, Guangxuan Xu, Chenyan Jia, Weicheng Ma, Lili Wang, and Soroush Vosoughi. Data Boost: Text Data Augmentation Through Reinforcement Learning Guided Conditional Generation. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing, pp. 9031-9041, 2020.

[9] 中町礼文, 佐藤俊紀, 西内沙恵, 浅原正幸, 奥村学. 日本語能力試験に基づく日本語文の難易度推定. 言語処理学会第 28 回年次大会発表論文集, pp. 658-663, 2022.

## A GPTDA (no-filtered) の生成例

表 5: GPTDA (no-filtered) の生成例

 \\

語彙や難易度推定器によるフィルタリングを全く行わない GPTDA の生成例を表 5 に示す. Level は, システ 厶に入力で与えた出力したい難易度で, Pred は 2018 年試験問題で作成した難易度推定器による難易度フィル タリングの予測結果である.

事後フィルタリングでは, 難易度推定器によって, Level と Pred が一致している 16 件のみを出力する. 難易度を考慮する Prompt により, 一定程度, 通常の GPTDA でも, ある程度出力の難易度が考慮されており, さらに 事後フィルタリングを行うことで, 難易度が揃っている.

また, N1 の”お支払い方法...”の出力や, N2 で”A: 1.In Japan...”のように, 試験問題として不適な生成が見られ る. Conditional 設定で実際の試験問題の冒頭 4 文字を与えることでこのような生成を防ぐことができる.


# Utilizing Pseudo Dialogue in Conversational Semantic Frame Analysis

Shiho Matta, Yin Jou Huang, Hirokazu Kiyomaru, Sadao Kurohashi
Kyoto University
\{matta, huang, kiyomaru, kuro\}@nlp.ist.i.kyoto-u.ac.jp
}

\begin{abstract}
Semantic frame analysis aims to extract structural knowledge from unstructured texts. A semantic frame analyzer is usually trained using manually annotated dialogue data. However, it is costly to gather and annotate dialogue data. In this paper, we propose a method to create pseudo data in addition to real training data to improve the performance of semantic frame analysis. Experiments showed that compared to only using real training data, our method successfully improved the performance of semantic frame analysis on a cooking dialogue corpus by incorporating pseudo data.
\end{abstract
## 1 Introduction

When we try to understand what important events are mentioned in a dialogue context, we need to identify words that represent those events. A semantic frame is a knowledge structure that represents a specific event mentioned in the context [1]. The main action of the event is indicated by a trigger, and details about the action are supplemented by arguments.

In this paper, we focus on the task of semantic frame analysis [2] to extract events from dialogues in Japanese. Figure 1 shows an utterance from a dialogue with its semantic frames. In this piece of dialogue, the trigger is “休 ませて,” and it has three arguments: “タルト生地, “最低でも 1 時間,” and “冷蔵庫” with their types labeled respectively. Semantic frame analysis aims at identifying these components in a given context.

One of the main challenges of semantic frame analysis is the paucity of data. However, collecting a large amount of dialogue data costs more money and time compared to monologue and written-style data, not to mention we have to properly label the data with semantic frames to use them as training data.

Figure 1: An example of dialogue annotated with semantic frames.

To solve the aforementioned problem, we propose a method to generate pseudo dialogues with semantic frame annotation as extra training data (Figure 2). Our proposed method contains three key components: the frame analyzer, the pseudo dialogue generator, and the pseudo annotation mechanism. First, the frame analyzer extracts semantic frames from written-style texts. Second, the pseudo dialogue generator is given semantic frames and generates pseudo dialogue based on them. Last, we apply pseudo annotation on the pseudo dialogue by identifying the location of triggers and arguments.

To apply our method, we first train the frame analyzer and the pseudo dialogue generator with a moderate-sized annotated dataset so they could learn how to extract semantic frames from texts and generate pseudo dialogues based on them. Once the models are trained, we feed texts into this pipeline and obtain pseudo annotated data. We refer to this synthesized data as silver data and the data used to initialize the method as gold data.

Experiments show that compared to the baseline model trained only on gold data, a performance gain is achieved by incorporating annotated pseudo dialogues as silver data.

## 2 Related Work

Our method can be seen as a data augmentation method as it increases the number and diversity of training examples without explicitly collecting new data [3]. Dai et al. [4] propose to generate pseudo dialogues as data augmentation

Figure 2: Overview of the proposed method.

for conversational question answering. However, due to the difference in the target tasks, it is not directly applicable to semantic frame analysis. Ding et al. [5] represent labeled data by intertwining words and word-level tags and generate synthetic labeled data for sequence labeling tasks. However, the labeled sequence is drastically different from natural language text, making it difficult to take full advantage of the pre-trained language models [6].

## 3 Proposed Method

As shown in Figure 2, our pipeline for producing silver data consists of three parts: the frame analyzer, the pseudo dialogue generator, and the pseudo annotation mechanism. In this section, we explain how we construct pseudo data using this pipeline, as well as how we use the pseudo data to enhance the frame analyzer's performance.

## 3.1 Semantic Frame Analysis

Semantic frame analysis is the task of locating triggers and arguments in a given text and identifying their types. The semantic frame analysis component, which we refer to as the frame analyzer, takes a piece of text as input. We first locate triggers in the text (trigger detection), then for each trigger, we locate its arguments (argument detection). Both trigger detection and argument detection are formulated as sequence labeling problems with the BIO tagging scheme. For the baseline, we train a RoBERTa [7] base model on gold data in which the dialogues are annotated with triggers and arguments.

Once the frame analyzer has been trained, we feed it with written-style monologue texts, which are abundant, and obtain a large number of semantic frames. These semantic frames serve as seeds for pseudo dialogues.

## 3.2 Pseudo Dialogue Generation

For the pseudo dialogue generation part, we fine-tune a BART model [8] using semantic frame and dialogue pairs from the gold data so it takes semantic frames as the input and outputs pseudo dialogue. As semantic frames are structural data, we serialize them to feed them into the model by a rule-based conversion method. We show an example in Figure 2 (see Natural Language Style Semantic Frames). Once it is fine-tuned, we feed it with the semantic frames extracted by the frame analyzer and generate pseudo dialogues. Note that at this point, the pseudo dialogues are plain text in dialogue form and do not contain any annotation.

## 3.3 Pseudo Label Assignment

We need to apply pseudo annotations to pseudo dialogues to use them as silver data for the frame analyzer. This involves identifying the triggers and arguments present in the dialogues, which are components of the semantic frames used to generate them.

Trigger To align components in semantic frames and tokens in pseudo dialogues, considering the various conjugation forms of Japanese predicates (triggers), we use a two-step method: parsing triggers with a Japanese morphological analyzer and obtaining its base form, then parsing the pseudo dialogue also using the tool and checking if any token's base form matches the trigger's base form. If none match, we discard the semantic frame as the trigger is at the core of a semantic frame.

Argument To locate the arguments of a trigger in the pseudo dialogue that may have undergone slight modifications during the generation process, we perform a string similarity search in a certain span before and after the trigger for each argument. The nearest candidate to the trigger with the highest similarity score will be selected. If the score is below a threshold, the candidate is discarded to avoid matching to something completely irrelevant.

## 3.4 Pseudo Data Construction and Incorporation

To mass-produce silver data, we feed written-style monologue texts into the frame analyzer trained on gold data, generate pseudo dialogues and apply pseudo annotation to them. Instead of feeding an entire dialogue as the input into the frame analyzer, we divide them by utterance for trigger detection. For argument detection, we divide them by the range in which we search for arguments around a trigger. Note that we also divide the gold data into segments using this method.

To utilize silver data to enhance the frame analyzer's performance, we first train it on silver data until the validation loss stops improving, then we continue training it using the gold data.

## 4 Experiment

We conduct experiments on the culinary interview dialogue corpus dataset to investigate the effectiveness of the proposed method.

## 4.1 Dataset

We use the Culinary Interview Dialogue Corpus (CIDC) dataset [9] as gold data. The CIDC dataset contains dialogues between an interviewer and an expert exchanging information on how to make a dish. A piece of data in the dataset contains utterances from both people, and the semantic frames inside it are manually annotated. The CIDC dataset contains 308 dialogues with an average length of 2,061 words. There are 11 types of triggers and 5 types of arguments defined in the dataset.

As an external source to acquire a large number of data for pseudo dialogue generation, we use the Cookpad recipes [10], aiming to produce semantic frames with diversity. Each recipe has the "steps" section that explains how the dish is made. We feed the part into the frame analyzer. Unlike the CIDC dataset containing dialogues, Cookpad recipes are written-style texts. Even though the frame analyzer is trained only on dialogue data, it works with Cookpad recipes without major drawbacks because written texts are usually more straightforward than spoken language. We have up to 1.6 million Cookpad recipes. $100 \mathrm{k}$ recipes can eventually be converted to roughly $493 \mathrm{k}$ pieces of training data for trigger detection and $273 \mathrm{k}$ for argument.

## 4.2 Experimental Settings

We used a Japanese RoBERTa base model ${ }^{1}$ ) as the backbone of the frame analyzer. We split the gold data, which contains 308 dialogues, and used 278 dialogues for training, 15 for validation, and 15 for testing. After being divided into smaller pieces for input (see Section 3.4), the gold training data contains $57 \mathrm{k}$ for trigger detection and 19k for argument detection. We prepared silver data of different sizes, starting from 1 time the size of the gold data up to 16 times to see to what extent the frame analyzer could benefit. For the pseudo dialogue generator, we fine-tuned a Japanese BART ${ }^{2}$ large model on the CIDC dataset. We segmented the dialogues in it using a heuristic method, which resulted in 1,391 dialogue sessions.

We compared the baseline model trained on gold data only and our proposed model that is first trained on silver data, then on gold data. We evaluated them by calculating the weighted f1-score of trigger detection and argument detection.

## 4.3 Result and Analysis

Table 1 and Table 2 show the result of semantic frame analysis using different sizes of silver data. We noticed that incorporating even a small size of silver data can bring

Table 1: Performance of trigger detection.

Table 2: Performance of argument detection.

reasonable performance gain. The best weighted f1-score was achieved when we used silver data 8 times the size of gold data.

## 5 Case Study

We looked into detection results by the frame analyzer.

Improved Cases As shown in Figure 3a, the proposed model predicted the trigger with a proper type label. This example suggests that our model looked further into the context of the sentence.

We found that the proposed model can recognize targets that the baseline model cannot. In Figure 3b, given the context, “入れる” in “包丁を入れる” can be interpreted as "to cut something with a knife," so it does indicate a cooking event. The proposed model also recognizes more instances of argument types TIME, TEMPERATURE, and MANNER.

We noticed that both models struggle and make discontinuous or partially incomplete predictions when it comes to target arguments that have spans of more than three tokens. Nevertheless, our proposed model does slightly better in long-span targets (Figure 3c).

Unsolved Cases An unsolved case of trigger detection is shown in Figure 3d. In this case, although SIMMER is the right type considering the context of the whole dia-

(a) Trigger detection improved case (type correction).

(b) Trigger detection improved case (previously undetected).

(c) Argument detection improved case (span correction).

(d) Trigger detection unsolved case (incorrect type).

(e) Argument detection unsolved case (incorrect type and span).

Figure 3: Improved and unsolved cases. The blue line is the baseline and the orange dotted line is the proposed model. The gray line is the true label.

logue, the input is too short for the frame analyzer to make the right decision since trigger detection is done on the utterance level. We plan to extend the input length for trigger detection to provide further information to the frame analyzer to resolve this problem.

As mentioned above, long-span targets are harder tasks. In the example in Figure 3e, both models could not solve the case perfectly.

## 6 Conclusion

In this paper, we proposed a method to create pseudo data in addition to real data to help improve the performance of semantic frame analysis. Experimental results showed that we successfully enhanced the overall performance of the frame analyzer by incorporating pseudo data. We believe this kind of data augmentation will benefit tasks with low quantity of training materials.

## Acknowledgement

This paper is based on results obtained from a project, JPNP20006, commissioned by the New Energy and Industrial Technology Development Organization (NEDO).

## References

[1] Collin F. Baker, Charles J. Fillmore, and John B. Lowe. The Berkeley FrameNet project. In 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics, Volume 1, pp. 86-90, Montreal, Quebec, Canada, August 1998. Association for Computational Linguistics.

[2] Dipanjan Das, Desai Chen, André F. T. Martins, Nathan Schneider, and Noah A. Smith. Frame-semantic parsing. Computational Linguistics, Vol. 40, No. 1, pp. 9-56, March 2014.

[3] Steven Y. Feng, Varun Gangal, Jason Wei, Sarath Chandar, Soroush Vosoughi, Teruko Mitamura, and Eduard Hovy. A survey of data augmentation approaches for NLP. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 968-988, Online, August 2021. Association for Computational Linguistics.

[4] Zhuyun Dai, Arun Tejasvi Chaganty, Vincent Y Zhao, Aida Amini, Qazi Mamunur Rashid, Mike Green, and Kelvin Guu. Dialog inpainting: Turning documents into dialogs. In Proceedings of the 39th International Conference on Machine Learning, pp. 4558-4586. PMLR, July 2022.

[5] Bosheng Ding, Linlin Liu, Lidong Bing, Canasai Kruengkrai, Thien Hai Nguyen, Shafiq Joty, Luo Si, and Chunyan Miao. DAGA: Data augmentation with a generation approach for low-resource tagging tasks. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6045-6057, Online, November 2020. Association for Computational Linguistics.

[6] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAI blog, Vol. 1, No. 8, p. 9, 2019.

[7] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[8] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[9] Taro Okahisa, Ribeka Tanaka, Takashi Kodama, Yin Jou Huang, and Sadao Kurohashi. Constructing a culinary interview dialogue corpus with video conferencing tool. In Proceedings of the Thirteenth Language Resources and
Evaluation Conference, pp.3131-3139, Marseille, France, June 2022. European Language Resources Association.

[10] Jun Harashima, Michiaki Ariga, Kenta Murata, and Masayuki Ioki. A large-scale recipe and meal data collection as infrastructure for food research. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 2455-2459, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).


# BERT を用いた日本語文のボトムアップ語順整序とその評価

山添壮登 $1, a)$ 大野誠寛 $1, b)$ 松原 茂樹 $2, c$ )
1 東京電機大学大学院未来科学研究科 2 名古屋大学情報連携推進本部
a) 21 fmi21@ms . dendai .ac.jp b) ohno@mail.dendai.ac.jp
${ }^{c}$ matsubara.shigeki.z8@f.mail.nagoya-u.ac.jp

## 概要

文法的な誤りがないだけでなく，読みやすい語順 の文を生成する技術は文生成において重要な技術と なる。本稿では，係り受け関係が既知という前提の もと，任意の受け文節に係る文節集合内の文節を適切な順序に並べ， 1 文全体をボトムアップに語順整序する手法を提案する. 本手法では, 同一文節に係 る 2 文節間の前後関係を BERTにより推定し，その 確率值を用いて語順を決定する. 語順整序実験及び 主観的評価を行い，本手法の有効性を確認した。

## 1 はじめに

日本語は語順が比較的自由であるといわれている が，語順に関する選好がないわけではない [1]. そ のため，文法的な誤りがないだけでなく，読みやす い語順であることも文生成において重要となる。語順整序に関する研究は，推敲支援や文生成など への応用を目的に，これまでにもいくつか行われて いる $[2,3,4,5,6,7,8,9,10,11]$. このうち, 内元ら [2] は, 日本語の語順の傾向をコーパスから学習す る手法として, 日本語における語順決定に関わる 様々な要因を素性として用いて, 統計的に語順を整 える手法を提案している。 また，高須ら [3] は，文生成への応用を目的に, 内元らの素性に加えて RNN 言語モデル (RNNLM) を用いた語順整序手法を提案 している. 内元ら [2] や高須ら [3] は, 同じ文節に係 るもの同士でまとめた各文節集合を対象として語順整序を行っているが，1 文全体の語順整序は行って いない. また, Kuribayashi ら [4] は, 日本語文の語順を評価するために言語モデルを利用することを提案し, 語順分析において言語モデルを用いることの 有用性を示した. しかし, 1 文中の動詞や文節数を 制限しており，複雑な文を対象としていない。

本稿では，文生成のための要素技術として，1 文 を構成する全ての文節の集合を読みやすく並べる手法を提案する. 具体的には，文節間の係り受け 関係は既知であることを前提として，1 文の係り 受け構造を表す木（以下，係り受け木）に対して， BERT[12] に基づくモデルをボトムアップに適用し，語順整序を行う手法を提案する．語順整序実験の結果，先行研究を上回る精度を達成した。

## 2 文生成における語順整序

本研究では，文を構成する文節集合と，それら文節間の係り受け関係は既知であるとして，それらを 入力とし，その入力文節集合内の文節を読みやすく 並べることを試みる.これらの入力が既知であると の仮定は，文生成や機械翻訳への応用を念頭におい たものであり，文を生成するにあたって，その文で 表したい内容は決まっている状況を想定したもので ある. この仮定は, 内元ら [2] や高須ら [3] の先行研究の問題設定においても見られるものである.

内元ら [2] は, 1 文の係り受け構造は既知であ るとして，任意の受け文節 $b_{r}$ に係る文節の集合 $B_{r}=\left.\{b_{r_{1}}, b_{r_{2}}, \cdots, b_{r_{n}}\right.\}(n \geq 2)$ に対して， $B_{r}$ から考え られる順列 $\left.\{\mathbf{b}^{k} \mid 1 \leq k \leq n\right.$ ! $\}$ の中で最も読みやすい順列を求める問題として語順整序を定義している. こ こで， $\mathbf{b}^{k}$ は $k$ 番目の順列とする. 内元らは，構文情報を中心とした素性に基づいた最大エントロピーの モデルを用いて語順整序する手法を提案している.

また高須ら [3] は，内元ら [2] の問題設定を引継 ぎ，内元らの素性から主な素性1)を選択して学習 したSVM によるモデルと，自然な語順をとらえ ることが期待できる RNN 言語モデルを併せて用 いた. 具体的には， $B_{r}$ から考えられる全ての順列 $\left.\{\mathbf{b}^{k} \mid 1 \leq k \leq n !\right.\}$ の中から，式 (1)のScore $\left(\mathbf{b}^{k}\right)$ が最大 となる順列 $\mathbf{b}^{k}$ を求めている.

$
\operatorname{Score}\left(\mathbf{b}^{k}\right)=\alpha S_{R N N L M}\left(\mathbf{b}^{k}\right)+(1-\alpha) S_{S V M}\left(\mathbf{b}^{k}\right)
$

ここで， $S_{R N N L M}\left(\mathbf{b}^{k}\right)$ と $S_{S V M}\left(\mathbf{b}^{k}\right)$ はそれぞれ

RNNLM とSVM によるモデルを用いて求めた $\mathbf{b}^{k}$ のスコアを意味する。

しかし，上記の両研究はともに，1 文を構成する 全ての文節の集合の部分集合である $B_{r}$ のみを語順整序の対象にしており，実際には 1 文全体の語順整序を行っておらず， 1 文単位での評価も行っていな い. また高須らの研究では, 各文節を修飾する文節列を考慮せず， $B_{r}$ 内の各文節を単に並べ替えた単語列（すなわち，1 文全体を並び替えた際には実際 には出現すると限らない文字列）に対して RNNLM を適用しスコアを計算している。

## 3 BERT を用いたボトムアップ語順整序

本手法では，1 文全体を構成する文節集合と，そ の係り受け構造を入力とし，入力文節集合内の文節 を読みやすく並べたものを出力する．その際，1文 の文節集合とその係り受け構造を表す係り受け木 を作成し，その木に対してボトムアップに処理を施 す.また，BERTを用いて 2 文節間の前後関係の判定を繰り返し，1 文全体を語順整序する。

## 3.1 ボトムアップ処理

本手法におけるボトムアップ処理を以下に示す.

1. 入力の文節集合と，その係り受け構造を表す係 り受け木を作る。具体的には，入力文の各文節 を 1 つのノードとして配置する。係り受け関係を表すエッジを用いて，それらの間を結ぶ。 なお，以下の手順 2 と手順 3 において，複数の ノードが 1 つのノードにまとめ上げられる操作 がある. したがって，ノードは文節列（長さ 1 も含む）を表し，エッジは子ノード（の最終文節）が親ノードに係る係り受け関係を表すもの とする。

2. 葉ノードのみを子に 1 つもつ親ノードと，その 子ノードとをまとめ上げ 1 つのノードにする. その際，係り受けの後方修飾性を考慮し，子と 親とをこの順に連接した文節列を新たなノード とする.この手順は，葉ノードのみを子に 1 つ もつ親ノードがなくなるまで繰り返す。

3. 葉ノードのみを子に複数もつ親ノードと，その 子ノード集合とをまとめ上げ 1 つのノードに する。その際，BERTによるモデルを用いて子 ノード集合内の適切な語順を求め, その語順で 連接した文節列の後ろに親ノードを繋げた文節列を新たなノードとする。手順 1

手順 2 あの 島が急いで丘に

手順 3-1 あの 島が急いで 丘に 登ると

手順 3-2 急いで 丘に 登ると あの 島が 見えた。

図 1 ボトムアップな語順整序の例

4. 手順 2 と手順 3 を，係り受け木が根ノード 1 つ になるまで繰り返す。

上記手順の具体例を図 1 に示す.まず手順 1 で は，入力の 6 文節とそれらの間の 5 つの係り受け関係から，図 1 の最上部の係り受け木を作る。手順 2 では，葉ノードのみを子に 1 つ持つ親ノードである 「島が」と，その子である「あの」が「あの島が」に まとめ上げられる。手順 3-1 では, 葉ノードである 「急いで」と「丘に」の語順が計算され, 双方の親 ノードである「登ると」と共に，計算結果の語順に 従い「急いで丘に登ると」にまとめ上げられる。手順 3-2では，共通する親ノード「見えた.」の子ノー ドであり葉ノードの「あの島が」と「急いで丘に登 ると」の語順が計算され，それら 3 つのノードが 「急いで丘に登るとあの島が見えた.」という 1 つの ノードにまとめ上げられる。係り受け木が根ノード のみになったため，語順整序が完了する。

なお，高須らの手法 [3] における非ボトムアップ 処理では，根ノード「見えた。」に係る子ノードを 語順整序をする際に，子ノード「島が」と「登ると」 は子孫のノードとまとめ上げられることはなく, こ れらの文節のみからなる「島が登ると」と「登ると 島が」のどちらがより読みやすいかを，機械学習モ デルを用いて判断することになる.

## 3.2 BERT を用いた語順整序

3.1 節で説明したように，BERT[12]に基づくモ デルを用いて同一の親を持つ兄弟ノードを語順整序する．ここでは，ノード $v_{r}$ の子ノード集合 $V_{r}=\left.\{v_{r_{1}}, v_{r_{2}}, \cdots, v_{r_{n}}\right.\}$ を語順整序する際の計算に ついて説明する. 親ノード $v_{r}$ の子ノード集合 $V_{r}=\left.\{v_{r_{1}}, v_{r_{2}}, \cdots, v_{r_{n}}\right.\}$ が与えられたとき，本手法は $V_{r}$ から考えられる全ての順列 $\left.\{\mathbf{v}^{k} \mid 1 \leq k \leq n !\right.\}$ の中 から, 式 (2) の $S\left(\mathbf{v}^{k}\right)$ が最大となる順列 $\mathbf{v}^{k}$ を求めて いる.ここで， $S\left(\mathbf{v}^{\mathbf{k}}\right)$ は順列 $\mathbf{v}^{\mathbf{k}}$ の読みやすさを示す スコアを表す. 順列 $\mathbf{v}^{\mathbf{k}}$ はノード列 $v_{1}^{k} v_{2}^{k} \cdots v_{n}^{k}$ であ り, $v_{i}^{k}$ は順列 $\mathbf{v}^{k}$ における $i$ 番目のノードを意味す

図 2 BERT に基づく $P_{B E R T}\left(o_{i, i+j}^{k} \mid v_{r}\right)$ の推定モデル

る.このとき， $S\left(\mathbf{v}^{\mathbf{k}}\right)$ は以下のように算出される.

$
S\left(\mathbf{v}^{\mathbf{k}}\right)=\prod_{i=1}^{n-1} \prod_{j=1}^{n-i} P_{B E R T}\left(o_{i, i+j}^{k} \mid v_{r}\right)
$

ここで $o_{i, i+j}^{k}$ は，ノード $v_{i}^{k}$ が $v_{i+j}^{k}$ より文頭側に現れ る前後関係を意味する。 $P_{B E R T}\left(o_{i, i+j}^{k} \mid v_{r}\right)$ は，ノード $v_{i}^{k}$ および $v_{i+j}^{k}$ が親ノード $v_{r}$ に係るとき, 語順 $o_{i, i+j}^{k}$ が適切である確率を BERT に基づくモデルによって 推定した値である.

図 2 に本手法における BERT モデルの概要を示 す. BERTへの入力は, 兄弟である葉ノード $v_{i}^{k}$ と $v_{i+j}^{k}$ とそれらの親ノードとの 3 者を結合し, 先頭に [CLS]を，それぞれの後に [SEP] を付与したうえで， サブワード分割を施したものとする。本手法では， BERT の出力のうち [CLS] に対応する出力のみを取 り出し, 2 層の Linear 層と Sigmoid を介し, 入力が 読みやすい語順である確率を出力する.

## 4 評価実験

本手法の有効性を示すために，新聞記事文を用い た語順整序実験を実施した. なお，本研究では新聞記事文は読みやすい語順であるとみなす。

## 4.1 実験概要

実験には，新聞記事文に形態素情報及び文節境界情報，構文情報が人手で付与された京都大学テキス トコーパス Ver. 4.0[13]を用いた. 1 月 1 日から 8 日 までと 1 月 10 日から 6 月 9 日までの 25,388 文を学習データとし ${ }^{2)}, 1$ 月 9 日と 6 月 10 日から 6 月 30 日 までの 2,368 文から，1,050 文を開発データ，1,164 文をテストデータとした ${ }^{3)}$.

評価指標は二文節単位一致率（2つずつ文節を取

2）同じ親を持つ複数の子ノード集合から 2 つずつノードを取 り出したときに作られる前後関係のうち, 正解の語順と同じ 語順を正例，異なる語順を負例とし，学習データを作成した.

3）残りの 154 文は 3.1 節の手順 2 を単純に繰り返すことで構文情報のみから 1 文全体の語順が確定するため，除外した.表 1 実験結果

り上げ，それらの前後関係が元の文と一致している ものの割合 ${ }^{4}$ ) [2] と文単位一致率（元の文の語順と 完全に一致している文の割合）[14]を採用した.

比較のため, 以下の 4 つの手法を用意した. [BERT ${ }^{-}$]: 本手法においてボトムアップ処理の代わ りに非ボトムアップ処理を用いる手法.

$\left[\mathbf{R N N L M}^{-}+\mathbf{S V M}^{-}\right]$: 高須ら [3] による手法. 非ボト ムアップ処理を採用. 式 (1) の $\alpha=0.15$.

[RNNLM+SVM]: $\left[\mathrm{RNNLM}^{-}+\mathrm{SVM}^{-}\right]$においてボトム アップ処理を採用した手法. 式 (1) の $\alpha=0.19$.

$\left[\mathrm{SVM}^{-}\right]:\left[\mathrm{RNNLM}^{-}+\mathrm{SVM}^{-}\right]$において SVMを単体で 用いる手法. 式 (1) の $\alpha=0$. 内元らの手法 [2] の ME SVM に差し替えた再実装手法とみなす。

前学習モデルには，京都大学の公開モデル（BASE WWM 版 $)^{6)}$ 用いた. Linear 層 2 層の次元数はそ れぞれ 768 と 200 とし，それぞれの入力を 0.1 の確率でドロップアウトさせた. 学習アルゴリズムは AdamW を用い，パラメータの更新はミニバッチ学習 (学習率 1e-6, バッチサイズ 16) により行った. 損失関数には BCELoss を使用した. 同一パラメータ で 5 つのモデルを作成し，それらの各一致率の平均 を評価值とした．エポック数は，開発データにおい て文単位一致率が最良だった 6 とした。

## 4.2 実験結果

表 1 に実験結果を示す. 本手法 [BERT] は，両一致率において他の各手法を有意に上回っており $(p<0.01)$, 本手法の有効性を確認した。

図 3 に, 本手法 [BERT] と 2 番目に高精度だった $\left[\mathrm{BERT}^{-}\right]$の各手法において, 文の長さごとに文単位一致率を集計したグフラを示す。ほとんどの文長に おいて [BERT] が [BERT $\left.{ }^{-}\right]$を上回った. [BERT] は, ボトムアップに処理することにより，各文節の子孫 の文節の情報を適切に考慮できるため，特に長い文

4）冗長な計測を避けるため，それぞれの祖先文節の語順に よって語順が定まるような文節の組は除外した.

5) https://pytorch.org/

6) https://nlp.ist.i.kyoto-u.ac.jp/?ku_bert_japanese/

図 3 文長ごとの文単位一致率

図 $4\left[\mathrm{BERT}^{-}\right]$が正解し [BERT] が不正解だった例

に対して，非ボトムアップ処理を行う $\left[\mathrm{BERT}^{-}\right]$より も高精度に語順整序できたと考えられる。

次に, $\left[\mathrm{BERT}^{-}\right]$が正解し, [BERT] が不正解だった 例を図 4 に示す.この例では，「誇る。」の3つの子 ノードを語順整序する際に，本手法が最長の係り句「昨年の… 実施済みであると」を文頭に配置し不正解となった. 本手法は，長い係り句が文頭に表れや すいという傾向を反映し並べているが，正解は最長 の係り句が文頭に表れない比較的珍しい語順であっ たため誤ったと考えられる。一方，1文単独で提示 されただけでは，図４の２文は同程度に読みやすい とも考えられ，文脈無の評価では，必ずしも正解だ けが唯一の正しい語順とは言えないことが分かる.

## 5 語順整序結果に対する主観的評価

本節では，被験者実験を行い，本手法による語順整序結果の読みやすさを正解文と比較しつつ，主観的に評価した. 実験では，文脈の有無による読みや すさの変化も確認するため、1 文を単独で提示する 場合と、文脈を含めて提示する場合の 2 パターンで 評価した.いずれの被験者も同一の 10 名である.

## 5.1 文単位での主観的評価

1 文を単独で提示した際の読みやすさを評価する 実験では、[BERT] による出力文とその正解文の 2 文を一組として同時に提示し，被験者が読みやすい と感じた方を選択した. 各被験者はランダムに抽出

(a) 文単位の場合

(b) 文脈有の場合図 5 主観的評価の結果

した同一の 50 組 100 文に対して評価を行った. な お実際には，ダミーをランダムに加えた計 125 組を 各被験者は評価している。また， 1 組中の 2 文は語順のみが異なる。

その結果を図 $5 \mathrm{a}$ に示す. 本手法を選択した割合 は，最も多い人で $64.0 \%$ ，最も少ない人で $42.0 \%$ だっ た. 過半数の文に対して，正解を選択した人と，本手法を選択した人は共に 5 人おり，本手法は正解文 と同程度に読みやすい語順を生成できていると考え られる。

## 5.2 文脈を含む場合での主観的評価

文脈を含む場合の被験者実験では，5.1 節と同一 の 50 組 100 文を対象に，その各組の 2 文に加えて，文脈としてその直前の 3 文も同時に提示し、被験者 が読みやすいと感じた方を選択した。なお，対象文 が属する記事の中で最大 3 文とし，例えば対象文が 記事の冒頭にある場合，文脈は提示されないものと した.

その結果を図 $5 \mathrm{~b}$ に示す. 本手法を選択した割合は，最も多い人で $58.0 \%$ ，最も少ない人で $40.0 \%$ だった. 過半数の文に対して，正解を選択した人が 6 人，本手法を選択した人が 3 人だった. 文脈有で 評価する場合, 文単位でのみ学習した本手法の結果 は，文脈を含めて推敲された新聞記事文と比べて読 みやすいとは言えないことが分かった.

## 6 おわりに

本稿では，文を構成する文節集合とその係り受け 木に対して，ボトムアップに BERT を適用すること により，1 文全体の適切な語順を同定する手法を提案した. 実験の結果，BERT 及びボトムアップ処理 の有効性を確認した．また主観的評価の結果，語順整序において文脈を考慮する必要性を確認した。

## 謝辞

本研究は，一部，科学研究費補助金基盤研究 (C)

No. 19K12127により実施した.

## 参考文献

[1] 日本語記述文法研究会. 現代日本語文法 7. くろしお 出版, 2009.

[2] 内元清貴, 村田真樹, 馬青, 関根聡, 井佐原均. コーパ スからの語順の学習. 自然言語処理, Vol. 7, No. 4, pp. 163-180, 2000.

[3] 高須恵, 大野誠寛, 松原茂樹. RNNLM と SVM を用い た日本語文の語順整序. 情報処理学会第 82 回全国大会講演論文集, 第 2020 巻, pp. 453-454, 2020.

[4] Tatsuki Kuribayashi, Takumi Ito, Jun Suzuki, and Kentaro Inui. Language models as an alternative evaluator of word order hypotheses: A case study in Japanese. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 488-504, 2020.

[5] 横林博, 菅沼明, 谷口倫一郎. 係り受けの複雑さの 指標に基づく文の書き換え候補の生成と推敲支援 への応用. 情報処理学会論文誌, Vol. 45, No. 5, pp. 1451-1459, 2004.

[6] Katja Filippova and Michael Strube. Generating constituent order in German clauses. In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 320-327, 2007.

[7] Karin Harbusch, Gerard Kempen, Camiel van Breugel, and Ulrich Koch. A generation-oriented workbench for performance grammar: Capturing linear order variability in German and Dutch. In Proceedings of the 4th International Natural Language Generation Conference, pp. 9-11, 2006.

[8] Geert-Jan M. Kruijff, Ivana Kruijff-Korbayovà, John Bateman, and Elke Teich. Linear order as higher-level decision: Information structure in strategic and tactical generation. In Proceedings of the 8th European Workshop on Natural Language Generation, pp. 74-83, 2001.

[9] Eric Ringger, Michael Gamon, Robert C. Moore, David Rojas, Martine Smets, and Simon Corston-Oliver. Linguistically informed statistical models of constituent structure for ordering in sentence realization. In Proceedings of the 20th International Conference on Computational Linguistics, pp. 673-679, 2004.

[10] James Shaw and Vasileios Hatzivassiloglou. Ordering among premodifiers. In Proceedings of the 37th Annual Meeting of the Association for Computational Linguistics, pp. 135-143, 1999.

[11] Allen Schmaltz, Alexander M. Rush, and Stuart Shieber. Word ordering without syntax. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2319-2324, 2016.

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Lin- guistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[13] Daisuke Kawahara, Sadao Kurohashi, and Kôiti Hasida. Construction of a Japanese relevance-tagged corpus. In Proceedings of the 3rd International Conference on Language Resources and Evaluation, pp. 2008-2013, May 2002

[14] 山添壮登, 大野誠寛, 松原茂樹. 言語モデルと構文情報を用いた日本語文のボトムアップ語順整序.情報科学技術フォーラム講演論文集, 第 20 巻, pp. 295-296, 2021.


# Decoder ベースの大規模言語モデルに基づく テキスト生成の自動評価指標

笠原智仁 ${ }^{1}$ 河原大輔 1
山崎天 ${ }^{2}$ 新里顕大 ${ }^{2}$ 佐藤敏紀 ${ }^{2}$
1 早稲田大学理工学術院 ${ }^{2}$ LINE 株式会社
\{tomo_k@ruri.,dkw@\}waseda.jp
\{takato.yamazaki,kenta.shinzato, toshinori.sato\}@linecorp.com

## 概要

テキスト生成の自動評価はタスクの精度を向上 させる上で欠かせないものである。本研究では、 Decoder ベースの言語モデルの大規模化が進む動向 を踏まえ、それらに基づくテキスト生成の自動評価指標を提案する。翻訳評価と意味的類似度計算の 2 種類の日本語のタスクで実験を行い、Encoder ベー スの言語モデルと比較して、同等かそれ以上の精度 を出すことが可能であることを示す。

## 1 はじめに

ニューラルネットワークによるテキスト生成モデ ルは機械翻訳、対話システム、文章要約など、様々 なタスクで用いられる。しかし、モデルからの出力 はオープンエンドであり、正解も 1 つとは限らない ため、生成結果の評価は難しい。人手による評価は 精度が高く、よく用いられるが、時間的、金銭的コ ストが高いという問題がある。そのため、テキスト 生成モデルを迅速に開発するためには自動評価が必要不可欠となる。

テキスト生成の自動評価手法として、かつては BLEU [1] や ROUGE [2] などのような、生成テキスト と正解とされるテキストとの間の表層的な単語の重複による評価が主流であった。近年では、BERT [3] や BART [4] などの自己教師有り学習モデルの発展 に伴い、それらを活用したより精度の高い自動評価手法が提案されている $[5,6,7,8,9,10]$ 。これら の手法では主に Transformer [11] アーキテクチャの Encoder ベースのモデルや Encoder-Decoder ベースの モデルが用いられるが、Decoder ベースのモデルを 利用した手法の研究はなされていない。

しかしながら、自己教師有り学習モデルは
Decoder ベースのモデルの大規模化が顕著であり、 GPT3 [12]、Megatron-Turing [13]、PaLM [14] などが 開発されている。以降、Transformer の Decoder ベー スの自己教師有り学習された大規模言語モデルを LLM と呼ぶ。一方で、Encoder ベースのモデルは Decoder ベースのモデルと比較するとそこまで大規模化が進んでいない。

これらを踏まえ、本論文では LLM を用いたテキ スト生成の自動評価手法を提案する。翻訳評価と意味的類似度計算 (Semantic Textual Similarity, STS) の 2 種類の日本語のタスクで実験を行い、既存のテキス 卜生成自動評価手法と同等かそれ以上の精度を出 すことが可能であることを示す。LLMを 3 種類の Tuning 手法でそれぞれ学習し、Fine-Tuning よりも低 コストな学習手法である LoRA-Tuning [15] において 最も高い精度を出すことが可能であることを示す。 また、本手法ではテキストの埋め込みも得られるた め、テキスト間の意味的比較なども可能であり、応用範囲が広い。

## 2 関連研究

## 2.1 テキスト生成の自動評価指標

テキスト生成を自動評価する際に必要となるも のは、モデルによって生成されたテキストと正解と されるテキストである。古典的な自動評価指標であ る、BLEU や ROUGE、METEOR [16]、CIDEr [17] な どではこれら 2 つのテキスト間で N-gram がどれほ ど重複するかに基づいて評価する。これらの手法で は N-gram が完全に一致していなければスコアが上 がらないため、類義語が含まれている場合でもスコ アが上がらないという久点がある。編集距離に基づ いて評価を行う TER [18] なども同様の欠点を持つ。

METEOR については類義語辞書を利用することで この欠点を克服することを目指したが、文脈を考慮 した類義語判定までは行うことができない。

自己教師有り学習モデルの埋め込みを利用するこ とで、文脈を考慮した上で類義語を似ていると判断 することが可能となる。BERTScore [5] は生成テキ ストと正解テキストをそれぞれ BERTによって埋め 込み、その類似度でスコアを計算する手法である。 BARTScore [6] では Encoderに 1 つ目のテキストを、 Decoderに2つ目のテキストを入力し、2つ目のテキ ストの生起確率に基づいてスコアを計算する。

テキストペアとその類似度ラベルのデータセッ トを用いて自己教師有り学習モデルを Fine-Tuning することで精度を上げる手法もある。翻訳評価の データセットで学習したモデルとして BLEURT [7] COMET [8] などが、STS データセットで学習した モデルとして Sentence-BERT [9] などが挙げられる。 SimCSE [10]のように自然言語推論データセットを 用いて Contrastive Learning を行うことにより文の埋 め込みを学習し、それをテキストペアの類似度計算 に利用する手法も存在する。これらの自己教師有り 学習を利用する手法は Encoder モデルが用いられる ことが多く、Decoder モデルを使用する手法の研究 はなされていない。

## 2.2 自己教師有り学習モデルのチューニン グ手法

自己教師有り学習モデルをタスクへ適応させる 手法として最も主流なものは、モデルのパラメータ 全てをチューニングする Fine-Tuning である。しか し、大規模なモデルの Fine-Tuning はコストが高い ため、一切パラメータをチューニングせずに複数の 例 (Prompt) だけをモデルに入力してタスクを解く Few-Shot Learning [12] や、少数のパラメータのみを チューニングする Prompt-Tuning や LoRA-Tuning な どの手法が提案されている。Prompt-Tuning は学習 によって Promptを最適化する手法であり、離散的な 語彙の中から最適な単語を選択する手法 [19] と、連続的な埋め込みべクトルを用意してそれを最適化す る手法 $[20,21,22,23,24]$ が存在する。LoRA-Tuning は Transformerアーキテクチャの各層に含まれる重 み行列に対して階数分解を行ったパラメータを追加 し、そのパラメータのみを学習する手法である。

図 1 提案モデルのアーキテクチャと入出力関係

## 3 提案手法

本論文では LLM を用いたテキスト生成の自動評価指標を提案する。具体的には、テキストペアと その類似度ラベルのデータセットを用いてLLMを LoRA-Tuning することによって自動評価システムを 構築する。

## 3.1 アーキテクチャと入出力関係

提案モデルのアーキテクチャと入出力関係を図 1 に示す。テキストのペアをモデルに入力し、その 類似度を出力する。類似度の算出は以下の手順で 行う。

1. テキストペアをそれぞれ LLM に入力

2. EOSトークンの 1 つ前の文末のトークンに対応 する埋め込みをそれぞれ得る
3. 2 つの埋め込み間の $\cos$ 類似度を計算
4. 1 層の $\mathrm{FNN}$ 層に $\cos$ 類似度を入力し、その出力 をテキストペアの類似度とする

なお、 1 層の FNN 層を通す理由は $\cos$ 類似度の値 をデータセットのラベル分布に変換するためであ る。また、予備実験の結果から EOS トークンでは なく文末のトークンの埋め込みを利用することとし た。本手法では手順 2 で得られた埋め込みをテキス トの埋め込みべクトルとして利用することも可能で ある。

## 3.2 学習方法

データセットの正解ラベルはあらかじめ $0 \sim 1$ の 間に正規化する。 3.1 節の手順通りにテキストペア の類似度を算出し、その値とラベルとの間の平均二乗誤差に基づいて、LoRA-Tuning のために新たにモ デルに追加したパラメータと FNN のパラメータの みを更新する。なお、FNN の初期値は weight を 1、 bias を 0 に設定する。
表 1 自動評価指標による評価と正解ラベルとの相関係数 (WMT20 en-ja)

## 4 実験

実験に使用する GPU は 40GB の GPU メモリを搭載している NVIDIA A100 SXM4 である。

## 4.1 データセット

実験に使用するデータセットは WMT20 [25] の 英語から日本語への翻訳タスク (WMT20 en-ja) の データセットと、日本語言語理解ベンチマーク JGLUE [26] に含まれる JSTS である。WMT20 のデー タセットには人手による翻訳文、機械翻訳モデル による翻訳文とその評価ラベル (Direct Assessment) が含まれる。JSTS は日本語の STS データセットで あり、文ペアとその類似度ラベルからなる。なお、 WMT20 についてはデータセットが Train、Valid、 Test にあらかじめ分けられていないため、ランダム に 8:1:1 の割合で分割した。

## 4.2 実験設定

実験には、日本語のコーパスで事前学習がなさ れた GPT2-xsmall (37M) ${ }^{1)}$ 、 small $(110 \mathrm{M})^{2) 3}$ ) , medium $\left.(336 \mathrm{M})^{4}\right)$ と、LINE 社が開発した HyperCLOVA [27] と 呼ばれる GPT3 ライクなモデルのパラメータ数 $6.9 \mathrm{~B}$ のモデルを用いる。 4.1 節の 2 種類のデータセット に対してそれぞれモデルを学習させる。

1) https://huggingface.co/rinna/japanese-gpt2-xsmall

2) https://huggingface.co/nlp-waseda/

gpt2-small-japanese

3) https://huggingface.co/rinna/japanese-gpt2-small

4) https://huggingface.co/rinna/japanese-gpt2-medium
LoRA-Tuning $の$ 他に Prompt-Tuning $と$ Fine-Tuning も比較対象として実験する。Prompt-Tuning ではテ キストをトークン列に変換する際、文末のトーク ンの後ろに新たに追加した特殊トークンを配置し、 そのトークンの埋め込みと FNN のパラメータのみ を最適化する。Fine-Tuning では図1のアーキテク チャを用いた上で、モデルのすべてのパラメータと FNN のパラメータを更新する。なお、HyperCLOVA の Fine-Tuning については GPUメモリの不足により 実験することができなかった。

また、ベースラインとして、RoBERTa-large (337M) $[28]^{5}$ の Fine-Tuning、BERTScore $\left.{ }^{6}\right)$ BLEURT $^{7)}$ と比較する。BERTScore では Train データを用いて 埋め込みを得るための最適な出力層を選択した。 BLEURT では追加の学習はしておらず、日本語を含 む多言語で学習された BLEURT-20 [29]を利用した。学習時のハイパーパラメータを付録 A に示す。

## 4.3 実験結果・議論

WMT20 en-ja とJSTS における、自動評価指標 による評価と正解ラベルとの相関係数を表 1 、表 2 に示す。どちらのデータセットにおいても 3 種類の Tuning 手法の全てにおいてモデルサイ ズが大きくなるほど精度が上がることが分かる。 WMT20 en-ja によって LoRA-Tuning した GPT2-xsmall

表 2 自動評価指標による評価と正解ラベルとの相関係数 (JSTS)

表 3 LoRA-Tuning した rinna GPT2-xsmall と HyperCLOVA 6.9B による自動評価例 (WMT20 en-ja)

 &  & 0.52 & 0.74 & 0.51 \\

と HyperCLOVA による自動評価例を表 3 に示す。 GPT2-xsmall に対して HyperCLOVA による自動評価 の方が、正解ラベルとの相関が強いことが分かる。 WMT20 en-ja で は Prompt-Tuning、Fine-Tuning、 LoRA-Tuning の順に精度が上がっていく傾向が 見られ、HyperCLOVA を LoRA-Tuning したモデルが 最も精度が高くなった。一方で JSTS では、PromptTuning、LoRA-Tuning、Fine-Tuning $の$ 順に精度が上 がっていく傾向が見られたが、RoBERTa-large を Fine-Tuning したモデルが最も精度が高くなった。た だし、HyperCLOVAを LoRA-Tuning したモデルも人間 (Human) と同等の精度になっている。テキストペ アの類似度に関するタスクに真の正解は無いため、 Human の精度に近い値が出ていればそれ以上の精度向上に意味は無いと考える。すなわち、JSTS にお いてはモデルにとってタスクが容易すぎるために、手法の比較が正しく行えていない可能性がある。
3 種類の Tuning 手法の Epoch 数を揃えた上での 学習時間の比は Prompt:LoRA:Fine $=0.89: 1: 1.24$ と なり、GPUメモリ使用率の比は Prompt:LoRA:Fine = 0.96:1:1.33 となった。なお、Prompt-Tuning は他の Tuning 手法と比較して学習が収束しにくい傾向があ るため、収束に必要な Epoch 数は大きくなる。

## 5 おわりに

本論文ではLLMを用いたテキスト生成の自動評価手法を提案した。LLM のモデルサイズが大きい 場合には、Encoder モデルを用いた自動評価指標よ りも高い精度を出すことが可能である。3 種類の Tuning 手法を比較し、Fine-Tuning よりもコストの低 い LoRA-Tuning において、Fine-Tuning と同等かそれ 以上の精度を達成できることを示した。今後、LLM のモデルサイズが大きくなるにつれて、それらを用 いた本手法の精度も向上していくと考えられる。

## 謝辞

本研究は LINE 株式会社との共同研究の助成を受 けて行った。

## 参考文献

[1] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In ACL2002, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[2] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 7481, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT2019, pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In ACL2020, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[5] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. ICLR2020, 2020.

[6] Weizhe Yuan, Graham Neubig, and Pengfei Liu. Bartscore: Evaluating generated text as text generation. NeurIPS2021, Vol. 34, pp. 27263-27277, 2021.

[7] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning robust metrics for text generation. In ACL2020, pp. 7881-7892, Online, July 2020. Association for Computational Linguistics.

[8] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. COMET: A neural framework for MT evaluation. In EMNLP2020, pp. 2685-2702, Online, November 2020. Association for Computational Linguistics.

[9] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In EMNLPIJCNLP2019, pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.

[10] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In EMNLP2021, pp. 6894-6910, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. NeurIPS2017, 2017.

[12] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. NeurIPS2020, Vol. 33, pp. 1877-1901, 2020.

[13] Shaden Smith, Mostofa Patwary, Brandon Norick, Patrick LeGresley, Samyam Rajbhandari, Jared Casper, Zhun Liu, Shrimai Prabhumoye, George Zerveas, Vijay Korthikanti, et al. Using deepspeed and megatron to train megatron-turing nlg 530b, a large-scale generative language model. arXiv, 2022. abs/2201.11990

[14] Aakanksha Chowdhery, Sharan Narang, and Jacob Devlin et al. Palm: Scaling language modeling with pathways. arXiv, 2022. abs/2204.02311.

[15] Edward J Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. Lora:
Low-rank adaptation of large language models. arXiv, 2021. abs/2106.09685

[16] Satanjeev Banerjee and Alon Lavie. METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72, Ann Arbor, Michigan, June 2005. Association for Computational Linguistics.

[17] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 4566-4575, 2015.

[18] Matthew Snover, Bonnie Dorr, Rich Schwartz, Linnea Micciulla, and John Makhoul. A study of translation edit rate with targeted human annotation. In AMTA2006, pp. 223-231, Cambridge, Massachusetts, USA, August 8-12 2006. Association for Machine Translation in the Americas.

[19] Taylor Shin, Yasaman Razeghi, Robert L. Logan IV, Eric Wallace, and Sameer Singh. AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts. In EMNLP2020, pp. 4222-4235, Online, November 2020. Association for Computational Linguistics.

[20] Guanghui Qin and Jason Eisner. Learning how to ask: Querying LMs with mixtures of soft prompts. In NAACL-HLT2021, pp. 5203-5212, Online, June 2021. Association for Computational Linguistics.

[21] Xiang Lisa Li and Percy Liang. Prefix-tuning: Optimizing continuous prompts for generation. In ACL-IJCNLP2021, pp. 4582-4597, Online, August 2021. Association for Computational Linguistics.

[22] Brian Lester, Rami Al-Rfou, and Noah Constant. The power of scale for parameter-efficient prompt tuning. In EMNLP2021, pp. 3045-3059, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[23] Xiao Liu, Yanan Zheng, Zhengxiao Du, Ming Ding, Yujie Qian, Zhilin Yang, and Jie Tang. Gpt understands, too. arXiv, 2021. abs/2103.10385

[24] Tu Vu, Brian Lester, Noah Constant, Rami Al-Rfou', and Daniel Cer. SPoT: Better frozen model adaptation through soft prompt transfer. In ACL2022, pp. 5039-5059, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[25] Nitika Mathur, Johnny Wei, Markus Freitag, Qingsong Ma, and Ondřej Bojar. Results of the WMT20 metrics shared task. In Proceedings of the Fifth Conference on Machine Translation, pp. 688-725, Online, November 2020. Association for Computational Linguistics.

[26] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In LREC2022, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[27] Boseop Kim, HyoungSeok Kim, and Sang-Woo Lee et al. What changes can large-scale language models bring? intensive study on HyperCLOVA: Billions-scale Korean generative pretrained transformers. In EMNLP2021, pp. 3405-3424, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[28] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv, 2019. abs/1907.11692.

[29] Amy Pu, Hyung Won Chung, Ankur Parikh, Sebastian Gehrmann, and Thibault Sellam. Learning compact metrics for MT. In EMNLP2021, pp. 751-762, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics

## A ハイパーパラメータ

モデルの学習時に設定したハイパーパラメータを表 4 に示す。

表 4 モデルの学習時に設定したハイパーパラメータ

 &  &  &  \\

Epoch Num & 10 & 10 & 30 & 10 \\
LoRA Dim & - & 4 & - & - \\
LoRA Alpha & - & 32 & - & - \\
LoRA Dropout & - & 0.1 & - & - \\


# ライトノベルからショートショートへの変換法

山田真彦 天沼博 松澤和光
神奈川大学大学院 工学研究科
r202170165yp@jindai.jp amanuma@kanagawa-u. ac.jp
matsuk90@jindai.jp

## 概要

本稿では、ライトノベルをショートショートへ変換するための手法を提案する。この手法により、人間の物語生成を支援する事が出来ると期待する。ま ず、ライトノベルから特定の語句を含む文章などを 除外し、残りの文章数から 3 分割する。次にそれぞ れからショートショートを構成できそらな文章を選 び、その文章に含まれる固有名詞を抜き出す。最後 にそれぞれの文章群から抜き出した固有名詞を含む 文章をさらに抜き出し、文章の登場順に並べ完成系 とする。作品によって抜き出す文章量が一定ではな いため、文章を抜き出すための新たな基準を設ける 事が今後の課題である。

## 1 はじめに

最近、AIによる文章生成に大きな技術進歩があり、「AI のべりすと」や「ChatGPT」が大変な話題にな っている。これらのシステムでは、利用者の簡単な 入力情報を元にして自然な文章による「簡易な物語」 が自動生成される[1]。ただし、これらの仕組みは基本的に DeepLearning 系の技術であり、膨大なテキス トデータを元にして文章 (の流れ・接続)として生起確率の高い、「いかにもそれっぽい」「ありがちな」文章を生成しているに過ぎない。真の意味での「言語理解」の研究は未だ発展途上にあり、現在の AI は 言語を理解して物語を生成しているわけではない。

確かに、生成された文章によっては物語的な「匂 い」が感じられるものもあるようだが、それは読み 手が勝手に自分なりの意図を投影して、無理に読み 取っているだけだと推測される。物語を生成する上 で、AIに何らかの創造的な意図が存在しているわけ ではないのだ。そんな「空虚な物語」を「読む意味」 が果たしてあるのだろうか。

物語を生成する主体は、現状ではやはり人間でし かないと考える。その上で、その創造過程を AI に様々な形で手伝い協力してもらうことは大いに有用 だろう。この考えに基づいて、本研究では人間の物語生成を支援する新しい手法を提案する。具体的に は、既存のライトノベルから「物語(的な要素)」を 多様に抽出し、これをショートショートの形に変換 する手法である。俗にライトノベルと呼ばれるジャ ンルでは、純文学に見られるような明確なテーマに 基づいた作品よりも、作者の奔放な創作意欲のまま に「荒削り」に量産された作品が多いと言われる。 そうした作者本人にとってさえ未整理・多彩・多重 に織り込まれた物語要素を、個々の完結した小さな 物語 (ショートショート)として抜き出すことにより、今後の新たな創作や他の作者との共同制作、複数作品のリミックス等に役立つことが期待できる。

ショートショート生成の既存研究としては、ショ

ートショートを模範利用した新たなショートショー トの自動作成や、ショートショートの会話文を抜き 出し他の作品に置換して自動生成を行うものがある [2、3]。しかしこれらは、既存のショートショートの 表現を一部変更し別の作品とする研究であり、ライ トノベルのような長編作品から物語を抽出しショー トショートに変換する研究やシステム開発は存在し ない。

作品をショートショートに変換するにあたり、ど のような観点から変換すべきかと考えた際に、落語 の三題噺と呼ばれる形態に着目した。三題噺とは、 3 つの題目から 1 つの話を作るというものである。本研究では作品の全文を 3 分の 1 ずつに分け、そ れぞれからショートショートを構成の元とできそう な文章に含まれる単語を抜き出し、それを含む他の 文章をそれぞれの文章群から抜き出し繋ぎ合わせる 事でショートショートとする手法を提案する。

## 2 提案手法

## 2. 1 手法の概要

提案手法を図 1 に示す。まず、使用作品の本文(章 タイトル、あとがき及び巻末の外伝作品等を除く)の 内容全てを句点や感嘆符、疑問符などの文章の終わ りごとに列に変換したテキストファイルを用意する。 そして、この列の中から不要な文章とする条件を満 たした文章を除外する。この不要な文章とする条件 については 2.2 節にて示す。次に変換したテキスト ファイルの行数を数え、その行数の 3 分の 1 ずつに 分割し 3 つの文章群(それぞれ前、中、後)とする。そ の後、それぞれの文章群からショートショート構成 の元となる文章を抜き出し、抜き出した文章内の固有名詞を含む文章をすべて抜き出すことを前中後全 てで行い、登場順に並べてショートショートとする。 この時、構成元となる文章内に固有名詞が複数個存在する場合は人名、特に主人公や物語における重要人物の名前を優先的に選択する。本稿では構成元と する文章および文章内の固有名詞の選択においては、 2.3 節に示す条件及び方法を用いて、文章群の中から 条件を満たす文章を事前に選択し、別のデータとし て使用している。

図 1 提案手法の概要

## 2.2 不要な文章の条件

本研究において以上の処理の他に、文字数の制限及び一部語句、記号を含む文章の削除も行う。文章 の削除の基準は以下のようになっている。

- 11[字]以下の文章

- 42[字]以上の文章

- 「」、『』、()、《》の組み合わせの内片方のみの 文章

- 「言」、「叫」、「呟」、「つぶや」を含む文章文字数の制限については、試行を行った結果、極端に長い、もしくは短い文章はショートショート作成に不向きである考えられるため、11[字] (10[字] +句点、感嘆符、疑問符等) 以下 $の$ 文章及び 42[字] (41[字] +句点、感嘆符、疑問符等)以上の文章 は削除を行った。

3 つ目の条件については全ての作品において、会話文や心情描写において複数の文が含まれる事があ り、以上の組み合わせのうち片方のみの文章が多く 見られたため、このような条件を設けた。どちらか のみの文章を含めた場合、片方のみが抜き出された 時に文章として成立せず、また片方のみの文章のほ とんどが作品の内容に影響を及ぼさないため、抜き 出す文章として不要であると考えたからである。

4 つ目の条件については、 3 つ目の条件や会話文 に固有名詞が含まれていない場合が多いため、直前 の会話文が出力結果に存在しないにも関わらず、「言 った」や「叫ぶ」、「つぶやく」といった文章が多く 出力されていたため、直前の会話文に関連している これらの文章は不要であると判断し削除に至った。

## 2.3 構成元とする文章の基準

## 2. 3.1 構成元とする文章の条件

ショートショートを構成しそうな文章を抜き出す 条件を以下に示す。

- 固有名詞(内容に深く関わるもの)を含む文章

・文末が「た」、「だ」で終わる文章

- 疑問や問いかけの内容の文章

1 つ目についてはこれまでに書いた通り、出力す る内容は固有名詞を元に作成しているため、最も重要な条件である。しかし全ての固有名詞を対象にし ているわけではなく、作品の内容に深く関わるもの であり、内容に関係ない固有名詞は対象外である。

2 つ目と 3 つ目に関しては、星新一のショートシ ョートの作品パターンを参考にした。先行研究より、星新一のショートショートの展開パターンとして最 も多いのは真実の発覚であり、謎の掲示、発覚及び 解消を表すものである[4]。これに該当する文章は文末が「だった」、「なのだ」といった「た」や「だ」 で終わるもの、もしくは「だろうか？」や「なのだ 万う？」といった疑問や問いかけを示す表現が入っ ているためこの条件を設けた。

## 2. 3.2 文章を選択する方法

本研究では、2.3.1 節の条件を元に前中後それぞれ の文章群から構成元となる文章を事前に選択してい

る。選択方法は以下の通りである。まず条件を満た す文章を前の文章群は登場順に、中と後は文末から 逆順に文章を探す。前の文章群のみ登場順に文章を 探すのは、多くの作品において序盤に世界観の説明 や、内容全体において重要となる疑問が書かれてい るため、登場順に確認した方が良いと考えたからで ある。また中と後に関しては、物語が進むにつれて 情報が増えていき、特に終盤の文章は重要性が高い 事が多いため、文末から文章を探すべきであると考 えた。中の文章群においては、後のものよりも重要性は薄いがショートショート作成には十分な文章を 獲得できるのではないかと考え、後と同様の方法で 文章の選択を行った。

また上記の方法に加えて、中と後の文章群の文章 は前の文章群のものとは違う固有名詞を含む文章を 選択するようにした(後の場合は中のものとも違う 固有名詞を選択する)。つまり、上記の方法で文章を 探した際に、他の文章群で選択された固有名詞のみ を含む文章が先に登場した場合はその文章は無視し、条件に合った上で別の固有名詞を含む文章が登場す るまで文章の探索を続ける。また見つけた文章が複数の固有名詞を含んでいた場合は、他の文章群で選 んでいない固有名詞の中から選択する。この処理に ついては、多くの作品においてこの処理を行わなか った場合、使用する固有名詞が同じ事が多く、作品 によっては全て同じ固有名詞の場合もあった。これ では三題噺に着目した今回の手法とは合わないため、文章群ごとに固有名詞を変更するに至った。

## 3 評価実験

## 3.1 使用する作品について

本研究ではライトノベル作品を 10 タイトル使用 する $[5,6,7,8,9,10,11,12,13,14]$ 。これらは有名な 作品から無作為に選んだものである。

## 3.2 出力結果の文字数の目標

本稿における出力結果の文字数の目標を 4000[字] とする。これは「坊っちゃん文学賞」というショー トショートの文学賞の募集条件が 4000[字]以内であ るからである[15]。

## 3.3 実験結果

出力結果を表 1 、図 2 に示す。表 1 より、文字数 の目標に達した作品は[5]、[6]、[7]、[8]、[12]、[13]、表 1 実験結果

図 2 実験結果のグラフ

[14]の 7 作品であり、他の作品においては[9]、[10]が 4000[字]台であり、[11]に関しては 8464[字]と目標字数を大きく超えるという結果となった。

[11]の出力結果の文字数が多いのは、[11]の文章に おいて代名詞がほとんど使用されておらず、登場人物の名前がそのまま使用されている場合が多いため、抽出される文章が他作品と比べて多くなったからで あると考える。これに関しては、文章群ごとに抽出 する文字数の上限を設け、それを上回った場合は重要ではない文章を探し削除する処理を行う必要があ ると考える。そのために固有名詞を含む文章の中か ら不要な文章を削除するための新たな基準の検討が 今後の課題である。

[9]に関しては、数文削除すれば目標字数内に収ま るため、[11]の場合と同様に不要な文章を削除する ための基準を設ければよいと考える。[10]も同様で あり、[9]よりも削除する文章は多いが、4000[字]台 に留まっており、出力結果の内容においても、 7 割近くの文章が前の文章群から抽出されたものである

ため、新たな基準によって前の文章群から抽出する 文章の数を減らす事により解決可能であると考える。

また、目標字数以内に収まった作品においては[6]作品が 2000[字]から 4000[字]の範囲であるが、[8]は 2000[字]を下回り 1106[字]となっている。この原因 は 2 点あると考える。 1 つは、元とした固有名詞は 重要であるが、それに関する出来事についての説明 が主であるため固有名詞自体の登場する回数が少な い点である。これについては、本研究が固有名詞か らショートショートを作成する手法を行っているた めに起きた状況であり、このような場合は固有名詞 に関係のある文章と固有名詞を関連付け、こちらも 抽出するといった処理が必要であると考える。もう 1 つは、他の文章群では多く登場するが、参照した 文章群ではあまり登場しなかったという点である。今回の場合は後の文章群で選択した固有名詞に起き た状況であり、物語が進むにつれて他の要素が増え て話の流れが変化した事で、この固有名詞が触れら れなったため登場しなくなったと考えられる。

## 3.4 出力結果の内容について

出力結果の内容を読んだ結果、ほとんどの内容に 整合性がなく、物語というには不完全であった。 また出力結果において、以下の 4 点が目立った。
- 指示詞の内容の変化、及び不在
- 内容の急な転換
- 会話文の発言者の変化
- 同じ発言者の会話文の連続

指示詞の内容の変化及び不在に関しては、指示詞 が指している文章が除外され、それ以前の文章に続 く形となるため、指示詞の内容が変化、もしくは存在しない内容に対して指示詞を使用しているといっ たものになっている。これについては、文章内の指示詞とそれの指す内容をセットとして扱うような事前処理が必要であると考える。

内容の急な転換は、主に次の文章群が切り替わっ た後、もしくは本文中において元となる固有名詞が 次に使用されるのが十数行から数十行後であった場合に起こる。これは固有名詞を含まない文章を削除 した事により、出力される文章の間での出来事や説明が取り除かれてしまい、次に出力される文章の時点では既に別の話題に変わっているという状況にな るからであると考える。対処法として、同じ文章群内であれば次の文章までに間隔がある場合は、前後 の内容に関係のある文章を出力される文章間から追加で抽出し、文章群をまたぐ場合は、文章群の最後 の文章と、関係のある次の文章群の序盤の文章をど ちらも抽出するといった処理が必要であると考える。会話文の内容や発言者の変化も指示詞の場合と同様に、発言者に関する情報を含む文章が除外され、抜き出された前後の文章の関係で別の発言者による 会話のように捉えられてしまうといったものである。 これに関しては、会話文の内容からどの人物による 発言かを判別し、その人物に関する前後の文章とセ ットにするといった処理が必要であると考える。

同じ発言者の会話文の連続については固有名詞が 人名の際に多く起こり、その人物を呼ぶ、考えると いった内容の会話文が連続して抜き出される事であ る。これは前後の文章内に人名が含まれていなため、文章が除外されてしまったために起きたものと考え られる。この場合、連続して出された会話文のほと んどが内容と関係がない文章となっているため、発言者の変化の時のように発言者を判別し、同じ発言者の会話文が連続した場合 1 文目以降を削除すると いう処理を行うのが最適であると考える。

## 4 おわりに

本研究では、三題噺の発想に着目しライトノベル からショートショートを作成する手法を提案した。結果としては 10 作品中 6 作品が 2000[字]から 4000[字]の範囲に収まったが、1 作品は 1000[字]台 と少なく、 3 作品は目標字数よりも多くなった。文字数が多い作品に関しては、文章群ごとに抽出する 文字数の上限を設け、上限を超えた場合に不要な文章を削除するための新たな基準の検討が必要である。 また、文字数が少ない場合の中で指定した固有名詞 の登場回数が少なかった場合は、その固有名詞に関係する文章を関連付けて固有名詞を含む文章と共に 抽出するという処理が必要であると考える。

また、作成されたショートショートの内容に整合性を持たせるために、指示詞とその内容の文章のセ ット化、離れた文章の内容をつなぐための文章の追加、会話文と発言者の関連付け、同じ発言者による 会話文が連続した際に会話文を減らすための処理の 方法の検討も今後の課題となる。

特に出力結果の内容の部分に多くの課題が残る形 となってしまったが、今後の研究により実現される ことに期待する。

## 参考文献

1. 一. 超話題の人工知能 ChatGPT に“小説”や“詩” を書いてもらい、“プログラム”は実行してみた。 (オンライン) (引用日:2022 年 1 月 5 日.) https://weekly.ascii.jp/elem/000/004/116/4116274/

2. 模倣と置換に基づく超短編小説の自動生成. 緒方健人他. 2014 年度人工知能学会全国大会(第 28 回). 2014.

3. 会話を中心とした超短編小説の自動生成. 高木大生他. 2014 年度人工知能学会全国大会(第 28 回). 2014.

4. 星新一ショートショート文学の物語パターン抽出. 佐藤知恵他. 情報知識学会誌, 2010 , 第 20 巻.

No.2. 123-128.

5. 大森藤ノ. ダンジョンに出会いを求めるのは間違 っているだろうか. $\mathrm{SB}$ クリエイティブ株式会社, 2014.

6. 香月美夜. 本好きの下克上〜司書になるためには 手段を選んでいられません〜第一部 兵士の娘 I. TO ブックス, 2020.

7. 上遠野浩平. 恥知らずのパープルヘイズ —ジョ ジョの奇妙な冒険より一. 株式会社集英社, 2011.

8. 伏瀬. 転生したらスライムだった件11. 株式会社 マイクロマガジン社, 2014.

9. 谷川流. 涼宮ハルヒの憂鬱. 株式会社角川書店, 2003.

10. 時雨沢恵一. キノの旅 the Beautiful World. 株式会社 KADOKAWA, 2020.

11. 鎌池和馬. とある魔術の禁書目録. 株式会社 KADOKAWA ,2018.

12. 佐島勤. 魔法科高校の劣等生(1) 入学編〈上〉.株式会社 KADOKAWA, 2019.

13. ソードアート・オンライン 1 アインクラッド.株式会社 KADOKAWA, 2020.

14. 丸山くがね. オーバーロード 1 不死者の王. 株式会社 KADOKAWA, 2020.

15. 一. 坊っちゃん文学賞-ショートショート募集. (オンライン)(引用日:2022 年 12 月 18 日.) https://bocchan-shortshort-matsuyama.jp.