# 過去情報の内容選択を取り入れた スポーツダイジェストの自動生成

加藤舜介
東京工業大学 情報理工学院
kato.s.aw@m.titech.ac.jp

## 1 はじめに

スポーツダイジェストは，スポーツの試合が行わ れた後に，記者によって書かれる試合の総評であ る. スポーツダイジェストには，試合に出場した チーム・選手の活躍や直近の調子の良し悪し，試合 の勝敗結果によるシーズン成績の変動などの記述 が含まれており，実際に試合を見ることができなく ても，それを読むと試合の結果や展開がわかるよう に書かれている。またスポーツの試合には，様々な チームや選手のプレイデータが記録される. プレイ データに含まれる内容は，例えばサッカーやバス ケットボールでは得点数やアシスト数，野球では安打数や投球数などが挙げられる. 本研究は，このよ うなプレイデータからスポーツダイジェストを自動 で生成することを目的とする.

既存のダイジェスト生成モデルでは，入力データ の内容選択を行う層を組み込んでいるが，そのほと んどが当日の試合情報のみから内容選択をおこなう ため，連勝や連敗，直近の試合の平均記録などの過去の記録を踏まえた出力ができない，そこで本研究 は，過去の試合情報も含めて内容選択をおこなうこ とにより，チームや選手の過去の記録を踏まえたダ イジェストが生成可能なモデルを提案する。また，内容選択と文章生成を別々に学習することによって 内容選択をより重視したモデルの学習方法を提案 する。

本研究の貢献は以下の 2 点である.
- 内容選択層を取り入れた Transformer ベースの 既存モデルに対し, 損失関数の重みづけや学習済みエンコーダのファインチューニングによる デコーダの学習をおこなうことで，既存のモデ ルより精度が向上することを確認した。

・過去情報を含むデータセットを作成し，既存の モデルに過去情報の内容選択層を取り入れたモ

\author{
徳永 健伸 \\ 東京工業大学 情報理工学院 \\ take@c.titech.ac.jp
}

表 1 ダイジェストを構成する文の種類

デルを学習することで，過去情報も含めたダイ ジェストを生成できることを確認した。

## 2 関連研究

Wiseman らは，Data-to-Text タスクのためのデータ として ROTOWIRE を作成した [1]. このデータセッ トは，NBA の試合におけるチーム・選手のプレイ データと，記者によって書かれたダイジェストの組 が集められたものであり，近年のスポーツダイジェ ストにおける Data-to-Text の研究で広く使われてい る.また，Data-to-Text タスクのための自動評価指標 も提案している. ROTOWIRE を用いた研究として， Puduppully らは，入力データの内容選択をおこない， どのデータをどの順序で出力するかの計画を学習 するエンコーダ・デコーダモデルを提案した [2]. Iso らは，重要な入力データを選択・追跡して文章生成に用いるという，人間のダイジェストを書く 過程を模倣したモデルを提案した [3]. Gong らは， Transformer モデルのエンコーダに入力データの内容選択をおこなう層を追加したモデルを提案した [4].

ROTOWIRE からランダムに 100 試合分のダイ ジェストを抽出し，それらを構成する文の種類を調 べたところ，表 1 のようになった. 過去情報が必要 な文には，直近の選手の平均得点の記録や，チーム の連勝記録が記述されている文などがある．既存の モデルは，入力に過去情報を用いないため，全体の $12.5 \%$ の文を生成できない. 本研究は，入力にチー ムの過去情報を加えることで，チームの直近の勝敗記録に関する出力ができるモデルを目指す.

図 1 Gong らのモデル [4]

## 3 提案手法

## 3.1 先行研究モデルの学習方法の変更

Gong らは, 従来の Transformer モデル [5] に入力データの内容選択をおこなう層 (CS Layer) を 追加したモデルを提案した (図1). ただし，入力 $r_{1}, r_{2}, \ldots, r_{n}$ はトークン列に変換されたプレイデー タである. これらの入力はエンコーダでプレイデー タベクトルに変換される. プレイデータベクトル は，デコーダの入力として使われることに加え，内容選択層の入力としても使われる. 内容選択層で は，あるプレイデータをダイジェストに出力するか しないかの 2 值分類をおこなう. これにより，モデ ルは入力に含まれる複数のプレイデータの中から 重要なデータを選択し, ダイジェストに出力する. このモデルのパラメタ $\theta_{m}$ は式 (1) のように定義さ れる。

$
\theta_{m}=\arg \min \left(L_{c s}+L_{s g}\right)
$

ただし, $L_{c s}$ は内容選択の損失関数, $L_{s g}$ は文章生成 の損失関数である. 本研究は，この損失関数に変更 を加えた次の 2 つの学習方法を提案する。

-WT モデル：内容選択・文章生成の損失関数に 重みづけをおこなう。

$
\theta_{m}=\arg \min \left((1-w) * L_{c s}+w * L_{s g}\right)
$

ただし $w$ はハイパーパラメタである.これによ り，内容選択をどの程度重視するかによる，モ デルの出力への影響を調べることができる.

・FT モデル：内容選択層の学習を事前におこなっ たエンコーダを用いて，ファインチューニング によるデコーダの学習をおこなう.

$
\begin{aligned}
& \theta_{e}=\arg \min \left(L_{c s}\right) \\
& \theta_{m}=\arg \min \left((1-w) * L_{c s}+w * L_{s g}\right)
\end{aligned}
$

図 2 提案モデル

ただし $w$ はハイパーパラメタ， $\theta_{e}$ はエンコー ダのパラメタである. 内容選択の損失関数 $L_{c s}$ を最小化する $\theta_{e}$ を初期値として(式 (3)), 重み づけした損失関数 $(1-w) * L_{c s}+w * L_{s g}$ を最小化する $\theta_{m}$ を学習する (式 (4)). これにより，エ ンコーダを独立して学習することで，内容選択 が正確に学習されることが期待できる.

## 3.2 過去情報内容選択層の追加

Gong らのモデルは, 入力に試合当日のプレイデー タしか用いないため，過去のプレイデータを踏まえ たダイジェストの出力ができない. 本研究は, 入力 にチームの過去の勝敗記録を加えることで，チーム の連勝や連敗，直近の勝敗記録などの出力ができる モデルを提案する.

-PAST-int モデル：1つの内容選択層で当日・過去の入力データから同時に内容選択をおこ なう. 式 (2)を用いたモデル (PAST-int-WT) と 式 (3), 式 (4)を用いたモデル (PAST-int-FT) を学習する.

-PAST-sep モデル：過去情報内容選択層 (Past CS Layer) を追加し，当日情報を CS Layer，過去情報を Past CS Layer で内容選択をおこなう (図 2). ただし $p_{1}, \ldots, p_{n}^{\prime}$ は過去情報の入力である. パ ラメタの学習は式 (5), 式 (6), 式 (7)+ (8)の3つ を考える。

$
\begin{aligned}
\theta_{m}= & \arg \min \left(( 1 - w ) * \left(\left(1-w_{p}\right) * L_{c s n}\right.\right. \\
& \left.\left.+w_{p} * L_{c s p}\right)+w * L_{s g}\right) \\
\theta_{m}= & \arg \min \left((1-w) * L_{c s}+w * L_{s g}\right) \\
\theta_{e}= & \arg \min \left(L_{c s}\right) \\
\theta_{m}= & \arg \min \left((1-w) * L_{c s}+w * L_{s g}\right)
\end{aligned}
$

ただし $w, w_{p}$ はハイパーパラメタ， $\theta_{m}$ はモデル
全体のパラメタ， $\theta_{e}$ はエンコーダのパラメタで あり, $L_{c s n}$ は図 2 における CS Layer の損失関数, $L_{c s p}$ は Past CS Layer の損失関数, $L_{c s}$ は CS Layer と Past CS Layer の損失を連結した損失関数であ る. 式 (5) は CS Layer, Past CS Layer の内容選択の重みづけをおこなうモデル (PAST-sep-WT) である. 式 (6) は CS Layer と PAST CS Layer の 損失を連結したモデル (PAST-sep-CONCAT) で あり，PAST-sep-WTにおける重みを自動で学習 することが期待できる. 式 (7)+ (8) はファイン チューニングモデル (PAST-sep-FT) であり，考 え方はFTと同じである.

## 4 評価実験

## 4.1 データセット

評価実験には Wiseman らの ROTOWIRE [1] を使用 した.このデータセットの学習・検証・テストデー 夕数は，それぞれ $3,398 ， 727 ， 728$ である. 入力の プレイデータに対する内容選択のラベルは Gong ら と同じものを使用した.

元の ROTOWIRE はデータセットが時系列で分割されておらず，また同じプレイデータに対し て2つのダイジェストが割り当てられている場合がある. そこで過去情報を用いたモデルには， ROTOWIRE から重複しているデータを削除し，全 データを時系列でソートして再分割したデータセッ ト (ROTOWIRE-re)を使用した. これにより学習・検証・テストデータ数はそれぞれ $3,205 ， 309 ， 308$ と なった. 入力には試合当日のプレイデータに加え,直近 5 試合分のチームの勝敗記録を過去情報として 使用した. 過去情報に対する内容選択のラベルづけ は，100 試合分のダイジェストを調べたことにより 作成した以下のルールでおこなった.
- 直近で 3 連勝 (3 連敗) 以上していた場合，それ らの勝敗記録を選択する。

例 : 過去 5 試合の結果が勝・勝・勝・負・負の 場合，勝を選択し，負を選択しない。
- 直近 5 試合中 4 試合以上勝ち (負け)の場合，そ れらの勝敗記録を選択する。

例：過去 5 試合の結果が負・負・勝・負・負の 場合，負を選択し，勝を選択しない。

## 4.2 評価指標

モデルの評価には，出力文の評価をおこなう BLEU [6] に加え, Wiseman らの提案した 3 つの評価指標を用いた. この指標は, 出力文が入力データの 内容を正しく反映できているかを評価する。
- Relation Generation (RG): 出力文から (entity, value) の関係を抽出し，抽出された関係の数と，それ らの関係が入力データに対して正しいかどうか を評価する (Precision). ただし entity はチーム 名や選手名などの動作の主体, value は得点数 やアシスト数などの記録である.
- Content Selection (CS) : 出力文とリファレンスか ら (entity, value) の関係を抽出し, 出力文から抽出された関係のリファレンスから抽出された関係に対する Precision，Recall で評価する。
- Content Ordering (CO) : 出力文とリファレンス から (entity, value) の関係を抽出し，それらの 間の正規化 Damerau-Levenshtein 距離 [7] で評価 する。

これらの指標は当日情報に関する評価をおこなう ため，過去情報に関する評価はできない. そこで過去情報を用いたモデルについては，自動評価に加え て以下の手順で人手評価をおこなった.

1. 学習データからランダムに 100 試合分のダイ ジェストを抽出し，過去情報を含む文集合 $P^{+}$ と含まない文集合 $P^{-}$に分ける.
2. $P^{+}$または $P^{-}$に含まれる単語 $v$ に対してスコア $p(v)$ を以下の式で与える.

$
p(v)=\frac{C^{+}(v)}{\left|P^{+}\right|}-\frac{C^{-}(v)}{\left|P^{-}\right|}
$

ここで $, C^{+}(v), C^{-}(v)$ はそれぞれ $P^{+}, P^{-}$中の $v$ の頻度を表わす。

3. 各モデルの出力について出力中単語のスコア $p(\cdot)$ の総和を計算し, スコアが上位 30 件の出力 について過去情報に言及している部分が正しい かどうかを人手で確認し, 正解率を計算する。

## 4.3 モデルの詳細

全てのモデルは Gong らと同じパラメ夕数を持つ Transformer ベースのモデルである. WT，FT の損失関数のハイパーパラメタは $w=0.25,0.5,0.75$ とし, PAST-int, PAST-sep の損失関数のハイパーパラメタ は $w=0.25, w_{p}=0.25,0.5,0.75$ とした. 各モデルは
表 2 学習方法を変更したモデルの自動評価

表 3 既存モデルと FT の内容選択層の評価

 & & \\
 & $\mathbf{1 . 4 8}$ & 2.00 \\
 & 3.61 & $\mathbf{2 . 9 4}$ \\

10 回学習をおこない，その平均スコアを計算した.

## 4.4 実験結果

表 2 に WT と FT の結果を示す. WT において $w=0.5$ としたものが Gong らのモデルに相当する が， $w=0.25$ とすると若干の性能向上が見られる. これらの中では $\mathrm{FT}(w=0.5)$ のスコアが一番高い.

Gong らのモデルと $\mathrm{FT}(w=0.5)$ における内容選択層の評価結果を表 3 に示す. FT の内容選択層の Recall が高く，選択したプレイデータを出力した数 も Gong らのモデルに比べて多い. FTの方が内容選択層で多くのプレイデータを選択したことで，入力 にないプレイデータを出力することが少なくなり， スコアが高くなったと考えられる。

表 4 に過去情報を追加したモデルの実験結果 を示す。比較のために，過去情報を追加していな い ROTOWIRE-re で学習した Gong らのモデルの結

表 4 過去情報を追加したモデルの自動評価

表 5 過去情報を含む文の数と情報の正しさ

表 6 過去情報を含む文数の比較

果も示している. 当日情報に関する自動評価で は Gong らのモデルのスコアが高い一方，BLEU は PAST-int-FT のスコアが一番高い結果となった.表 5 に過去情報を追加したモデルにおける，過去情報に関する人手評価の結果を示す. Gong らのモ デルは過去情報を入力していないため，過去情報 への言及をランダムに出力していることになる. PAST-sep-CONCAT, PAST-sep-FT が他のモデルと比較すると正しい過去情報を出力している数と正解率 が高い結果となった。

表 6 に，過去情報の出力の正解率が一番高かった PAST-sep-FT の出力を 30 試合抽出し, 過去に言及し ている割合についてリファレンスと比較したとき の結果を示す.この表を見ると, PAST-sep-FT はリ ファレンスに比べて過去に言及している割合が高 く，リファレンスにはない過去情報を出力している ことがわかる.

## 5 おわりに

本研究ではスポーツダイジェストの自動生成につ いて，既存モデルの学習方法の変更による精度改善 と，過去情報を含めたダイジェストが生成可能なモ デルを提案した. 既存モデルの損失関数の重みづけ やファインチューニングをおこなうことで精度が向上することと，過去情報内容選択層を追加すること で正しい過去情報に言及するようになることを示 した.

## 参考文献

[1] Sam Wiseman, Stuart M. Shieber, and Alexander M. Rush. Challenges in data-to-document generation. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2253-2263, 2017.

[2] Ratish Puduppully, Li Dong, and Mirella Lapata. Datato-text generation with content selection and planning. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, pp. 6908-6915, 2019.

[3] Hayate Iso, Yui Uehara, Tatsuya Ishigaki, Hiroshi Noji, Eiji Aramaki, Ichiro Kobayashi, Yusuke Miyao, Naoaki Okazaki, and Hiroya Takamura. Learning to select, track, and generate for data-to-text. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2102-2113, 2019.

[4] Li Gong, Josep Crego, and Jean Senellart. Enhanced transformer model for data-to-text generation. In Proceedings of the 3rd Workshop on Neural Generation and Translation (WNGT 2019), pp. 148-156, 2019.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In 31st Conference on Neural Information Processing Systems (NIPS 2017), 2017.

[6] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 311-318, 2002.

[7] Eric Brill and Robert C. Moore. An improved error model for noisy channel spelling correction. In Proceedings of the 38th Annual Meeting on Association for Computational Linguistics, pp. 286-293, 2000.
 加藤舜介 東京工業大学 情報理工学院 kato.s.aw@m.titech.ac.jp  