# 機械学習を用いた川柳の面白さの予測

太田聖三郎 ${ }^{1}$ 河原大輔 1 野村理朗 2
1 早稲田大学理工学術院 2 京都大学
\{ota-seizaburo@akane.,dkw@\}waseda.jp, nomura.michio.8u@kyoto-u.ac.jp

## 概要

川柳は日本の伝統文芸の一つである．詩や俳句に 関する機械学習を用いた研究は散見されるが，川柳 に関するものはない. 本研究では，川柳を構成す る要素を様々な指標に分解し，それらの予測を組 み合わせることで，より高精度な川柳評価を予測 する手法を提案する. クラウドソーシングを用い て川柳データセットを構築し， BERT-like モデルを ファインチューニングすることより川柳の評価を 予測する. それに加え, 川柳をデータに事前学習 モデルの追加学習を行い, 川柳の特徵を理解した SenryuBERTを構築する。

## 1 はじめに

近年，人工知能による創作活動はめざましい発展 を遂げている。自然言語処理においては詩や俳句な どの生成研究 $[1,2]$ がある. その一方で，それらの 理解に関する研究はほとんどされていない. それら の理解には創作物の持つ面白さや独創性などが関 わってくる. 面白さは人のコミュニケーションの中 でも大きな役割を担っている. つまり，人と計算機 のコミュニケーションを円滑にするためには，計算機による面白さの理解が重要な要素となる.

本研究では川柳という文芸を対象とし，人が川柳 の面白さをどのように理解しているか，また，計算機がそれを理解できるかを分析する。川柳は俳句と 同様に五・七・五の音数を持ち, 元来は俳諧連歌の 長句が独立したものである．短句に対しての前句付 けが流行したことにより生まれた文芸であり, 口語的で風刺的な内容が特徴である. 川柳の面白さは人 が理解するにおいても難しく，これを計算機に理解 させるのはさらに難しいタスクである．この問題に 取り組むにあたって, 川柳の面白さを構成する要素 を細分化し，判断しやすい指標を設けることで，川柳の総合的な面白さの予測を目指す. 川柳の面白さ を定量分析するために，クラウドソーシングによっ
て各指標をアノテーションする．得られたアノテー ションをもとに言語モデルのファインチューニン グを行い，川柳を入力し川柳の総合的な評価を予測 するタスクを行う．川柳の評価を直接予測する場合 と，細分化した指標の予測を組み合わせる場合の精度の差を比較する。

## 2 関連研究

詩・俳句生成 川柳について機械学習を用いた 研究は無い. しかし, 川柳に通ずるものとして,近年では詩や俳句の生成 $[1,2]$ が行われている. Hitsuwari ら [2] は人手評価において, 人工知能が生成した俳句と人間が作った俳句との見分けがつかな いほど完成度の高い川柳の生成を実現している。

BERT/RoBERTa 近年の自然言語処理研究の飛躍的な進歩には BERT [3] の登場が大きく関わってい る. BERT の学習は事前学習とファインチューニン グからなる. 事前学習は自己教師あり学習であり,主な学習方法は Masked Language Model (MLM) であ る. MLM は入力文の一部のトークンをマスクし， マスクされたトークンを予測するタスクである。予測されるトークンのうち $80 \%$ [MASK] トークンに 置き換えられ，10\%はランダムな他のトークンに置 き換えられる。残りのトークンは元のトークンのま まで残される。これは，多ウンストリームタスクに おいて [MASK] トークンが出現しないことを考慮し たためである. Liu ら [4] はBERT を改良したモデル RoBERTaを提案し, データセットの増大や動的マス キングなどにより精度を向上させた。

大喜利データセット 中川ら [5] は大喜利を複数 の指標に分解し，クラウドソーシングを用いて各指標に対しアノーテーションを行うことで，定量分析可能な大喜利データセットを構築している.

## 3 川柳データセットの構築

本研究では川柳を構成する要素を複数のわかりや すい指標に分解し，定量分析を行うために川柳デー

タセットを構築する。

## 3.1 川柳データの収集

川柳は川柳投稿サイト「まるせん」1) より提供を受 けたものを用いる.このデータは川柳，お題，作者 を含む 581,336 句からなる.

## 3.2 川柳データの前処理・フィルタリング

本研究では，川柳の評価をクラウドソーシングを 用いてアノテーションする．アノテーション対象の 川柳を選別するために，川柳の前処理・フィルタリ ングを行う．投稿川柳にはしばしば絵文字を含んで いるものがある.これらは実験で用いる言語モデル の語彙に含まれていないため削除する。また，上記 サイトではお題を作者が自ら設定し投稿するため，不適当なお題やイレギュラーなお題が散見される. そのため，クラウドソーシングにかける川柳につい ては，運営によりあらかじめお題が指定されている 「コンテスト」の川柳を採用する. コンテストはサ イト内で定期的に開催され，その度に 10 句ほどの 入選作品が選出されるため, ある程度の川柳の質が 担保される. データ収集時点までに開催されたコン テスト 304 回のうち，時事的なお題（例: VAR）や長 いお題（例: 最近の若いもん）を除き名詞や形容詞 を中心に 250 題について，フィルタリングを行っ た. 各お題について入選作品+それ以外を合わせ 20 句ずつを選出し, 合計 5,000 句の川柳を抽出した.

## 3.3 川柳の面白さの細分化と評価のアノ テーション

前節で述べた 5,000 句の川柳に対し，クラウド ソーシングを用いてアノテーションを実施する. プ ラットフォームは Yahoo!クラウドソーシング2)を用 いる. 川柳の解説書 $[6,7]$ を参考に，川柳を 8 つの 指標に細分化し, それぞれの指標について 5 段階評価を行ってもらう．細分化した指標を下記に示す。

1. 句がお題に沿っている (along)

2. 場面をイメージしやすい・わかりやすい (imaginable)

3. 句に対比の構図がある (contrast)

4. あたりまえ・ありきたりなことは言っていない (usual)

5. 不適切な表現が含まれていない (appropriate)

1) https://marusenryu.com/

2) https://crowdsourcing.yahoo.co.jp/
6. 語のリズム感・軽快さがある (rhythmic)

7. 言い回しに独創性がある (unique)

8. 体験や体感への想いが感じ取れる・余韻がある (experience)

これらの項目に，

・総合的に良い川柳である (overall)

を加え，合計 9 個の指標について，1句あたり 10 人 のクラウドワーカを雇い，その平均値を正解ラベル として付与する. クラウドワーカにはお題，川柳が 与えられる。

## 4 SenryuBERT の構築

既存の言語モデルは新聞やウェブテキストで学習 しているため, 川柳の風刺的な文脈や語順などのリ ズム感を理解できない可能性がある．この問題に取 り組むために，川柳データを活用し，言語モデルの 追加学習を行うことで SenryuBERT を構築する.

## 4.1 ランダムトークン置換 (RTR)

2節で述べた通り，BERT [3] のMLMでは，予測す るトークンのうち，80\%を[MASK] トークン，10\% をランダムな他のトークン，10\%をそのままのトー クンにして学習を行う．川柳のような短い系列を入力とする場合, $[$ MASK] トークンと異なり, ランダ ムなトークンに置き換えると，BERT の特徴量はラ ンダムなトークンの影響を大きく受けるため，文脈 が破綻する可能性がある．これを防ぐため，通常の MLM に加えて，ランダムなトークンの置き換えを しない学習も行い比較する。

## 4.2 追加学習

川柳データを用いた言語モデルの追加学習は, 早大 RoBERTa-base ${ }^{3)}$ をべースとして行う．学習は表 1 に示す 4 種類の条件で行う. モデル 3 の場合は入力を “お題 [SEP] 川柳” とし，その他のモデルでは “川柳”とする．また，学習時にマスクされるトーク ンにお題は含まれないようにする。実験で使用する ハイパーパラメータを付録 B に示す.

## 4.3 結果

各モデルの [MASK] トークンの予測例を表 2 に 示す. 例には条件 $1,2,3$ とべースラインの早大

表 1 追加学習における学習条件設定

表 2 [MASK] トークンの予測例（入力：“歯ブラシと一緒

RoBERTa-base の結果を示す. 付録 C に他の予測例 を掲載する。定量的な評価は次節のダウンストリー ムタスクにて行う。

定性的評価 ベースラインの RoBERTa では助詞 や関係のない名詞・助詞が予測され, 正解と近い単語の出力は見られない. 条件 3 のお題と川柳を入力 として学習したモデルではベースラインほど遠く はないものの，正解に近い予測はほとんど見られな かった. 条件 1 と 2 のモデルはどちらもある程度の ニュアンスが捉えられており，正解に近い予測がで きている. 条件 2 のモデルでは生起確率が他と比べ て高くなっており，これはランダムトークンによる 文脈の摇れが抑えられたためと思われる。

## 5 川柳構成要素の分析・予測

本研究では，川柳の面白さという曖昧な要素を直接予測する場合と， 3 節で示した 8 つのわかりやす い指標に分解してから予測する場合の精度を比較す る. また，予測した各指標のスコアから総合評価を 予測するタスクを行い，総合評価の予測精度の比較 を行う。まとめると下記の 3 つの実験を行う。

1. 川柳から総合評価の予測

2. 川柳から各指標の評価の予測

3. 各指標の評価から総合評価の予測

実験 1,2 には既存のモデルや 4 節で構築したモデル などの BERT-like モデルを使用し, 実験 3 には決定木アルゴリズムの LightGBM [8]を使用する.

## 5.1 実験設定

実験 1,2 では事前学習済み BERT-like モデルを回帰問題としてファインチューニングすることで，川表 3 総合評価の予測結果

柳から総合評価や各指標の評価を予測する. 4 節で 構築した SenryuBERT に加え，BERT や RoBERTa で の学習を行う. モデルの詳細と学習に用いた八イ パーパラメータは付録 $\mathrm{A}, \mathrm{B}$ に示す. 学習に使用す るデータセットは 3 節で構築した川柳データセッ トを用いる。データセットは訓練用 4,000 句，検証用 500 句，テスト用 500 句に分割する. 川柳はお題 ありきであるため，モデルへの入力は“川柳 [SEP] お題”とする。各指標についてファインチューニン グを 10 回行い，精度を平均值と最大值で算出する. モデルの評価には Pearson の相関係数を用いた.

実験 3 ではまず，実験 1,2 から最良のモデルを選択し，訓練データの各指標を予測する (自動ラベル と呼ぶ). 各指標の自動ラベルから LightGBM を用 いて総合評価を予測し，実験 1 のスコアと比較す る. LightGBM の学習に用いたハイパーパラメータ を付録 B に示す。訓練データに自動ラベルを付与す る手順は，まず，訓練用データを 10 分割する.そ のうち 9 個のデータ (3,500 句)を用いて学習したモ デルで，残りの 1 個のデータに対して各指標のスコ アを予測しラベルとする。これを 10 個の分割全て で行い，4,000 句に自動ラベルを付与する.

## 5.2 実験結果と考察

川柳から総合評価の予測 川柳から直接総合評価を予測した際の評価結果を表 3 に示す. 3 節で提案した SenryuBERT は RoBERTaをベースとしたモ デルであるが，RoBERTa ベースのモデルに関して はすべて BERT よりも最大値で良い精度となった が，RoBERTa と SenryuBERT の間に大きな差はみら れなかった. しかし, SenryuBERTにおいてRTRを 行わなかった場合や，お題を入力に加えて学習し た場合は精度の向上が見られた。最良のモデルは SenryuBERT において，RTRを行わず，[MASK]トー クンの割合を $80 \%$ とした場合で，SenryuBERT とは 最大で約 0.07 の差が見られた. ただし，お題を入力 に加えて学習した SenryuBERT 以外のモデルは精度
表 4 各指標の評価の予測結果

表 5 各指標における川柳評価の予測例と比較 (川柳: “札束を 数え快感 銀行員”, お題: “現実逃避”)

が安定せず，データの順序などの影響を受けやすい ことが分かった. 表 5 に総合評価を川柳から直接予測する場合と提案手法との比較例を示す. 提案手法 が僅かに良い予測ができていることがわかる．表 5 に示す指標は 3 節で示した指標に対応している.

川柳から各指標の評価の予測 川柳を入力とし て 3 節に示した各指標の評価を予測した結果を表 4 に示す. 表 4 には SenryuBERT のファインチュー ニングによる結果と, 総合評価の予測にて高精度 であったRTRを行わないモデルの結果を示す。い ずれの指標においても，RTRを行わないモデルは SenryuBERT の精度を上回る結果となった. この内,総合評価の予測より高い精度となったのは, 体験や 体感への想いが感じ取れる・余韻がある (experience) のみであった.

各指標の評価から総合評価の予測 本実験では，川柳から各指標の評価の予測において精度の高かっ た SenryuBERT -RTR (90\%) のモデルを用いて訓練 データに自動ラベルを付与し，LightGBM の学習を 行う. 川柳から直接総合評価を予測した結果と，各指標のスコアの予測から総合評価を予測した結果 を表 6 に示す. データセットの各指標の正解ラベル をもとに総合評価を予測する場合には，非常に高い 精度で予測ができている. これは，細分化した 8 個 の指標が，人が川柳の面白さをどう理解しているか をうまく表す基底になっていると理解できる. 自動表 6 総合評価の予測結果の比較

ラベルで学習した場合には，正解ラベルと比べて大幅に精度は下がるが，川柳から直接予測する場合と 比べると， 0.01 ほど高い精度が得られ，提案手法が やや高い精度で予測できていることがわかる. 自動ラベルの精度があまり高くならない原因として， experience しか overall の精度に勝っていないことが 考えられる。

## 6 おわりに

本研究では，現状取り組まれていない川柳という 文芸を理解するタスクに機械学習を用いて取り組ん だ. 川柳から直接総合評価を予測するアプローチを ベースラインとして，川柳を相対的にわかりやすい 指標に細分化し，それぞれの項目の予測を組み合わ せることで総合的な評価を予測する手法を提案し た. 提案手法はベースラインに比べて若干の精度の 向上が見られた.

今後，川柳の面白さの理解を目指すには更なる精度の向上が必要である。また，提案手法を活かし，川柳の生成タスクに取り組んでいきたい。

## 謝辞

川柳データを提供いただいた川柳投稿サイト

「まるせん」に感謝する. 本研究は JSPS 科研費 JP22H01103, JP21H04901 の助成を受けて実施した.

## 参考文献

[1] Samuel R. Bowman, Luke Vilnis, Oriol Vinyals, Andrew M. Dai, Rafal Jozefowicz, and Samy Bengio. Generating sentences from a continuous space. 2015.

[2] Jimpei Hitsuwari, Yoshiyuki Ueda, Woojin Yun, and Michio Nomura. Does human-ai collaboration lead to more creative art? aesthetic evaluation of human-made and ai-generated haiku poetry. Computers in Human Behavior, Vol. 139, p. 107502, 2023.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[5] 中川裕貴, 村脇有吾, 河原大輔, 黒橋禎夫. クラウド ソーシングによる大喜利の面白さの構成要素の分析. 言語処理学会年次大会発表論文集, Vol. 25, pp. ROMBUNNO.B3-2 (WEB ONLY), 2019.

[6] 新家完司. 川柳の理論と実践. 新葉館出版, 2011.

[7] 野林正路. 詩・川柳・俳句のテクスト分析. 和泉書院, 2014.

[8] Guolin Ke, Qi Meng, Thomas Finley, Taifeng Wang, Wei Chen, Weidong Ma, Qiwei Ye, and Tie-Yan Liu. Lightgbm: A highly efficient gradient boosting decision tree. Advances in neural information processing systems, Vol. 30, pp. 3146-3154, 2017.

## A 学習に使用したモデル

5 節の実験 1,2 で使用した BERT-like モデルの詳細を表 7 に示す.

表 7 学習に使用した事前学習モデルの詳細

 & Wikipedia \& CC-100 & $125 \mathrm{M}$ & 768 & 32,000 \\
(nlp-waseda/roberta-base-japanese-with-auto-jumanpp) & & & & \\

## B ハイパーパラメータ

表 8 に，4 節の実験で使用したハイパーパラメータを示す.また，表 9 には，5 節の実験 1,2 で使用した八 イパーパラメータを示す. 表 10 に示すのは， 5 節の実験 3 で使用したハイパーパラメータである.

表 8 RoBERTa の追加学習に使用したハイパーパラメータ 表 9 BERT-like モデルのファインチューニングに使用した

表 10 LightGBM の学習に使用したハイパーパラメータ

## C SenryuBERT の予測例

表 11 に，SenryuBERTによる [MASK] トークンの予測例を示す.


 太田聖三郎 ${ }^{1}$ 河原大輔 1 野村理朗 2 1 早稲田大学理工学術院 2 京都大学 \{ota-seizaburo@akane.,dkw@\}waseda.jp, nomura.michio.8u@kyoto-u.ac.jp  