# プロンプトに基づく俳句生成モデルの生成内容評価

佐藤 汰亮 ${ }^{1}$ 菊地 正弥 ${ }^{1}$ 大竹 孝樹 1 今野 颯人 1 Ana Brassard ${ }^{2,1}$
大内 啓樹 2 乾 健太郎 ${ }^{1,2}$
1 東北大学 2 理化学研究所
\{tasuku.sato.p6, seiya.kikuchi.t3\}@dc.tohoku.ac.jp
\{takaki, ryuto, inui\}@ecei.tohoku.ac.jp
\{ana.brassard, hiroki.ouchi\}@riken.jp

## 1 はじめに

翻訳や対話応答生成などの文生成タスクは, sequence-to-sequence framework [1] (seq2seq) などの ニューラルネットワークによって大きな進歩を遂げ た.これらのタスクで生成される文（翻訳文，対話応答文など）は，入力する言語や内容に依存するも のの，韻律や文字数といった言語の形式は比較的自由である。一方で，定型詩や歌詞は事前に決められ た文字数や韻律などの制約に従って作成されるとい う特徵をもつ。そのため，これらのテキストの自動生成においては，モデルは事前に決められた制約を 満たすような文を生成する必要がある $[2,3]$.

本研究では，こういった制約のあるテキスト生成のタスクとして，俳句の自動生成に取り組む. 俳句とは, 上の句, 中の句, 下の句で構成された, 定型詩の 1 つである. 俳句は以下の 3 つの表層的な制約を満たしている必要がある.
- 5 拍， 7 拍， 5 拍の合計 17 拍で構成されている

・1つの季語が含まれている

・切れ字が含まれている1)

制約のあるテキスト生成として俳句を選んだ理由 は，その評価のしやすさにある。俳句は現在でも多 くの人に親しまれている詩形式の 1 つであり， 1 つ の句の長さが短く, 切れ字や季語は判別が容易であ るといった，生成結果の評価に際して都合のよい性質を持っている. 我々は，表層的な制約を満たし つつ，句全体の意味が理解できる俳句の生成を目指す.

俳句の自動生成に関する既存の取り組みで は $[4,5,6]$, 生成された俳句が表層的な制約を満たし ているかについて評価が行われてきた。しかしなが


ら，生成された俳句が表層的な制約を満たしつつ，意味の理解できるものであるかについては十分に検討されていない．俳句のように表層的な制約を持つ 詩の生成は，表層的な制約を満たすことに加え，意味を理解できる事が重要である [3]. 例えば，「春の 夜 朝日輝く通りけり」という俳句は，上述の表層的な制約をすべて満たしているが，「夜に朝日が輝 く」という意味の解釈が難しく，1つのまとまりの ある句として理解・解釈ができないため，良い俳句 とは言えない.

本研究では，俳句を自動生成するモデルを構築 し，モデルによって生成された俳句が，表層的な制約を満たしつつ句全体の意味が理解できるものと なっているかを調査する。また，生成された俳句の 内容に踏み込んだ考察をすることで，俳句生成への 理解を深める。

## 2 関連研究

これまで，ルールベースやニューラルネットワー クによって俳句を自動生成する研究がいくつか行わ れてきた.ルールベースによる俳句生成として土佐 ら [4]が挙げられる。土佐らは，データベースを活用し，ルールによって俳句を生成するモデルを構築 した.

ニューラルネットワークを用いた俳句生成には，太田ら [5] や米田ら [6] の研究がある。 太田ら [5] は, キーワードを入力として俳句を生成する seq 2 seq モ デルを提案した. 太田らは, 学習時に拍数や季節の 素性を明示的に組み込む事で，俳句の表層的な制約 を満たす俳句が生成されることを実現している。一方，米田ら [6] が行った俳句生成では，文生成モデ ルによって俳句を生成し，モチーフ画像に適合した 俳句を選択することで画像と俳句を結びつけた. 米田らは，「生成した俳句がどの程度訓練データと類
表 13 つのプロンプトの具体例

似しているか」という観点から，モデルの生成した 俳句が表層的な制約を満たしているかの検証を行っ ている。

我々は，モデルによって生成された俳句につい て, 表層的な制約を満たしているかという観点に加 えて, 句全体の意味が理解できるかという観点につ いても定量的に評価を行う.

## 3 入出力設定

本研究では，生成タスクで一般的に用いられてい る seq2seqを用いて俳句生成を行う. 我々は，モデ ルによって生成される俳句をある程度制御するた め，エンコーダーに俳句の元となるテキストを与 え，与えたテキストを元にデコーダーによって俳句 を自動生成する方法をとる。この方法には具体的 に，(1)キーワードを入力として与え，キーワードを 含んだ俳句を作成する方法と，(2) 上の句を入力と して与え，それに続く中の句，下の句を作成する方法の 2 通りがあると考えられる。これらを踏まえ，俳句生成モデルの入出力として 3 つのプロンプトを 定義した.
- 入力 : 俳句文頭の $N$ 文字，出力：続きの俳句
- 入力 : キーワード $M$ 個, 出力: キーワードを 盛り込んだ俳句
- 入力 : 文頭の $\mathrm{N}$ 文字とキーワード $M$ 個, 出力：キーワードを盛り込んだ続きの俳句本稿で使用した学習データには, 俳句の区切れ（上・中・下）の情報は含まれていないため，厳密に上の 句を切り出すことができない. そこで，文頭の $N$ 文字を上の句と仮定してモデルの入力とする. モデル の入力は, 「キーワード」,「先頭 $N$ 文字」の順に, こ れらを [SEP] トークンで連結した文字列とする。具体例を表 1 亿示す.

## 4 実験設定

## 4.1 データセット

訓練及び評価に使用するデータとして，プロの詩人の作品や，コンテストにおける受賞作など，一定表 2 俳句生成モデルの構成

の評価を得た俳句を集約した web データベースか らデータをクローリングし，俳句データセットを作成した. 参照した webデータベースは以下の 4 つ である. (1)一茶の俳句データベース (一茶俳句全集 V1.30) ${ }^{2}$ ，(2) 松山市立子規念博物館正岡子規俳句 $^{3)}$ ，(3) 俳句例句データベース4)，(4) 現代俳句デー タベース5).

3 節で説明した入出力のデータを作成するため に，収集した俳句に対し，キーワードと文頭 $N$ 文字 を抽出する前処理を行った. 俳句の文頭 $N$ 文字は,人間が作成した 100 句の上の句の文字数をカウント して得られた離散分布に基づいてサンプリングし た. サイトから俳句をスクレイピングした際に季語 を取得できた俳句に関しては，季語をキーワードと して使用した。また，俳句を Mecab[7] で単語分割 し, 名詞と判定された単語もキーワードとして使用 した. ただし, 平仮名のみで構成された単語は除外 した. $M$ は $1 \leq M \leq 3$ の整数值とした. トークナイ ズは文字分割を採用した。

以上の前処理を行い，最終的なデータセットの 規模は，訓練データが約 386 万インスタンス，開発 データが約 15 万インスタンスとなった.

## 4.2 モデル

俳句生成を行う seq2seq モデルのアーキテクチャ は米田ら [6] と同様にLSTMを採用した. 実装は fairseq[8]を使用した. モデルの更新回数は開発デー タを用いて決定した. モデルの詳細は表 2 に示す. seq2seq モデルは, 同じ語句を繰り返し生成して

表 3 生成俳句と重複度スコア

しまうことがある [10]. このような繰り返し生成を フィルタリングするため，生成された俳句における 単語分割での異なり語彙率と，文字分割での異なり 語彙率の平均值を重複度スコア $S_{d u p l} \in[0,1]$ とし て定義した。ここで，異なり語彙率とは，異なり語数を総語数で割ったものである。重複度スコアは，同じ語句の繰り返しが多いほど低下する. 生成され た俳句と重複度スコアの具体例を表 3 亿示す. 開発 データを用いて生成された俳句を元に閾値を 0.7 に 設定し，重複度スコアが閾値を下回った俳句は出力候補から除外した。

ビーム幅 10 のビームサーチによって生成された 俳句のうち，重複度スコアが閾値を上回った俳句か らランダムに 1 つ選び，モデルの出力とした. ここ で重複度スコアが最も高い俳句ではなく，ランダム に俳句を選択している理由は，重複度スコアが同じ 語句の繰り返し生成を抑制するために導入したス コアであり，俳句の内容の質を反映したスコアでは ないためである. 条件を満たす俳句が存在しない場合，重複度スコアが最も高い俳句を出力した.

3 節で述べたように，モデルの入力としてキー ワードが与えられる場合がある。このような入力に 対しては，入力されたキーワードを盛り込んだ俳句 を出力することが望まれるため，指定したキーワー ドが出力結果に含まれているかを検証した. 開発 データのうち，キーワードを入力として与えている データを用いて俳句を生成したところ，97\% の俳句 で指定した全てのキーワードが含まれていることを 確認した。

## 4.3 評価方法

1 句につき 3 人のアノテーターが評価を行う. 各質問には回答の選択肢が 2 つ用意されており，3 人のうち 2 人が選択した選択肢をその俳句の評価 として採用する. また，各質問において，3人のア ノテーター間の一致率を fleiss kappa を用いて計算 する.表 4 表層的な制約の評価

人手評価は俳句の表層的な制約と俳句の内容，2 つの観点に対して行う．表層的な制約に関しては，以下の 3 点を評価する.

・5，7，5 の 17 音の制約を満たしているか

・季語を含んでいるか

・切れ字を含んでいるか

内容に関しては，以下の 2 点を評価する。

・モデルの生成した俳句が意味を理解・解釈でき る俳句となっているか

・(アノテーターが) 人が作成した俳句とモデル の生成結果，どちらの俳句を好むか

内容に関する 2 点目の評価項目については，(A)人 が作成した俳句，(B) (A) の俳句から抽出したキー ワードと先頭 $N$ 文字を入力としてモデルが生成し た俳句，の2つを提示することで評価を行った. 評価時にはどちらがモデルの生成かは分からない状態にした。また，俳句の良し悪しを客観的に判断す ることは難しいため，「どちらの俳句が良い俳句か」 ではなく「どちらの俳句が好きか」という質問を採用した.

人手評価用データは，開発データを元に生成した 俳句からランダムに 50 句サンプリングすることで 作成した。

## 5 評価

## 5.1 表層的な制約の評価

表 4 に結果を示す. 拍数の制約は $82 \%$ の割合で 満たしており，アノテーター間での一致率は 0.639 だった. この評価では「5/7/5を満たしているか」と いう問い方をしたため，字余り，字足らずの俳句に おいてアノテーター間の不一致が見られた。この様 な字足らず，字余りを許容すると，拍数の制約を満 たしている俳句の割合はより大きくなると考えら れる。

季語は $96 \%$ の割合で含まれており，季語を含めな ければいけないという制約を学習できていることが わかった。
表 5 内容の評価

 \\

切れ字を含む確率は $32 \%$ \%゙った．切れ字を含む ことを俳句の制約と考えるか否かは諸説あり，切れ 字を含まない俳句も数多く存在する．実際，本研究 で使用した訓練データ中にも切れ字を含まない俳句が見受けられる.ここから，切れ字のように，訓練データ中の俳句が必ず満たしているわけではな い制約は，暗黙的に学習することが難しいと考えら れる。

## 5.2 内容の評価

表 5 に結果を示す. fleiss kappa の値から，2つの 質問はアノテーター間でも判断が分かれる観点で あったと考えられる. 人の作成した俳句よりもモデ ルが生成した俳句が好きだと回答した人は $42 \%$ で あった。また，意味を理解・解釈できる俳句は $74 \%$ であった. 理解，解釈できないと判断された生成俳句を確認すると, 同じ単語が繰り返し出現している ものが散見された. ここから，人が理解・解釈でき る俳句を生成するためには, 同じ単語の繰り返し生成を抑制するための工夫を行うべきであると考えら れる。

## 6 生成例・考察

表 6 に，俳句生成モデルが実際に生成した俳句を 示す. 俳句に求められる表層的な制約を満たしつ つ，内容を理解・解釈できる俳句が生成されている ことがわかる.

表 7 に，俳句の表層的な制約は満たしているもの の，その内容の理解が難しい例を示す.

1 行目は, 同じ単語を繰り返し生成してしまって いる例である.このような生成は seq 2 seq によくみ られる現象である。

2 行目は，常識を欠いた表現を生成している例で ある．常識を考えると，「膝に手をさしいれる」と表 7 内容の理解・解釈が難しい生成例入力

いう表現には違和感がある。しかし，「手をさしい れる」が「風邪によって関節のリンパ節が痛くな る」ことを表現していると考えると，風邪が自分の 体を蝕んでいる様子を巧みに表現した俳句と見なす こともできる. 俳句は書き手の表現力が要求される と同時に，読み手の想像力によっても作品の価値が 高まる。よって，俳句生成時に常識を考慮していな いことが俳句の質の悪化につながっているとは一概 に言い切れない.

3 行目は単語の意味を理解できずに生成している 例である。これは，「スマホ」のように，学習データ に含まれていない単語は，正しく生成結果に盛り込 めないことや，俳句を文字分割して学習させている ため，単語レベルの情報をモデルに組み込むことが できていないことが原因と考えられる.

## 7 おわりに

本論文では，制約のあるテキスト生成として俳句生成に取り組んだ. プロンプトに基づく俳句生成モ デルを構築し，その生成結果を表層的な制約，内容 の 2 観点から人手評価した. とくに，「表層的な制約を満たす一方で，まとまりのある句として内容 が理解できる俳句か？」という点に注目し，大部分 の生成結果が表層的な制約を満たしている一方で， $74 \%$ がその内容も理解・解釈できるものとなってい ることを明らかにした。

今後の研究としては, 繰り返し生成への対処，創作支援システムへの応用などが考えられる. 特に,創作支援システムとして応用するために，入力形式 の充実化に取り組みたい. また，俳句生成モデルが 実際に創作支援ツールとして有効なのかを検証する ための人手評価を行いたい.

謝辞本研究は JSPS 科研費 JP19H04425 の助成を 受けたものである.

## 参考文献

[1]Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequence learning with neural networks. In Zoubin Ghahramani, Max Welling, Corinna Cortes, Neil D. Lawrence, and Kilian Q. Weinberger, editors, NeurIPS, pp. 3104-3112, 2014.

[2]Xingxing Zhang and Mirella Lapata. Chinese poetry generation with recurrent neural networks. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 670-680, Doha, Qatar, October 2014. Association for Computational Linguistics.

[3]Piji Li, Haisong Zhang, Xiaojiang Liu, and Shuming Shi. Rigid formats controlled text generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 742-751, Online, July 2020. Association for Computational Linguistics.

[4]Naoko Tosa, Hideto Obara, and Michihiko Minoh. Hitch haiku: An interactive supporting system for composing haiku poem. In Scott M. Stevens and Shirley J. Saldamarco, editors, Entertainment Computing - ICEC 2008, pp. 209-216, Berlin, Heidelberg, 2009. Springer Berlin Heidelberg.

[5]瑶子太田, 裕之進藤, 裕治松本. 深層学習を用いた俳句 の自動生成. Technical Report 1, 奈良先端科学技術大学院大学, 奈良先端科学技術大学院大学, 奈良先端科学技術大学院大学, may 2018.

[6]Koki YONEDA, Soichiro YOKOYAMA, Tomohisa YAMASHITA, and Hidenori KAWAMURA. Development of automatic haiku generator using lstm. Proceedings of the Annual Conference of JSAI, Vol. 2018, pp. 1B2OS11b011B2OS11b01, 2018

[7]Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to japanese morphological analysis. In $E M N L P$, pp. 230-237, 2004.

[8]Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In NAACL, pp. 48-53, 2019.

[9]Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, ICLR, 2015.

[10]Ari Holtzman, Jan Buys, Maxwell Forbes, and Yejin Choi. The curious case of neural text degeneration. CoRR, Vol. abs/1904.09751, , 2019.
 佐藤 汰亮 ${ }^{1}$ 菊地 正弥 ${ }^{1}$ 大竹 孝樹 1 今野 颯人 1 Ana Brassard ${ }^{2,1}$ 大内 啓樹 2 乾 健太郎 ${ }^{1,2}$ 1 東北大学 2 理化学研究所 \{tasuku.sato.p6, seiya.kikuchi.t3\}@dc.tohoku.ac.jp \{takaki, ryuto, inui\}@ecei.tohoku.ac.jp \{ana.brassard, hiroki.ouchi\}@riken.jp  