# 実況発話ラベル予測モデルにおける 状況認識素性の活用

上田佳祐 ${ }^{1,2}$ 石垣達也 1 小林一郎 1,3 宮尾祐介 ${ }^{1,2}$ 高村大也 1
1 産業技術総合研究所 2 東京大学 3 お茶の水女子大学
\{ueda.keisuke, ishigaki.tatsuya, takamura.hiroya\}@aist.go.jp
koba@is.ocha.ac.jp yusuke@is.s.u-tokyo.ac.jp

## 概要

本稿では実況発話ラベル予測問題として，とくに レーシングゲーム実況に対する発話ラベル予測問題 に着目し，レース状況やレーシングカーの状況を認識する新たな素性を用いた予測モデルを提案する.既存研究で取り組まれている 1) 実況テキストが与 えられテキストに対する発話ラベルを予測する設定，2) 実況テキストは与えられず対象時刻の発話 ラベルを予測する設定の 2 つ問題を扱う．レーシ ングゲーム実況において実況者は，“プレイヤー第 1 コーナー抜けて一気に加速” といった実況発話を 行う。この発話では，プレイヤーの運転する車とい う言及対象に対し，一気に加速するという動作に関 する言及がペアとして述べられている。 ラベル予測問題を正しく解くためには，カーブを抜けるという レースの状況や，レーシングカーの速度といった車両に関する状況を正しく認識することが重要であ る. そこで，本研究では，レース状況や，速度など の車両の状況に関する状況認識素性を発話ラベル予測に活用する．実験より状況認識素性が特に後者の タスクに有効であることが分かった。

## 1 はじめに

多くのスポーツやゲーム映像には表 1 に示すよう な実況が付与される. 実況者はレースの進捗やイベ ントを正しく認識し，適切な言及対象や発話内容を リアルタイムに決定した上で，“ターン 1 ，しっかり ブレーキ”といった発話を行う．視聴者は映像を視聴しながら実況を聞くことで，よりイベントを理解 し，映像を楽しむことが出来る。

従来，サッカー，野球，レーシングゲーム等を主 な対象とし，実況テキストを自動生成する研究が 行われている。一方，上田ら [1] は特にレーシング

 &  \\

表 1 レーシング実況発話とその発話ラベルの例. 上から 3 発話は空撮映像に対し実況者が付与した実況，末尾 3 発話はドライバー視点の映像に対しプレイヤー自身が付与 した実況である。

ゲームの実況テキストの言及対象や内容を表現した 発話ラベルを予測する問題に着目し，1) 実況テキス トが与えられ，発話ラベルを予測する問題 (対象発話ラベル予測)，2）過去の発話と次の発話タイミン グが与えられ，発話ラベルを予測する問題 (未来発話ラベル予測) を提案している。前者は発話テキス トに対する言語理解問題であり，実況テキストの要約といった下位タスクへの応用を想定している．後者は未来の発話内容を予測するプランニング問題と 捉えられ，実況自動生成への応用を想定している.

本研究では従来モデルに対し，レース状況を認識 するための素性を追加し，その効果を検証する。既存発話ラベル予測モデルでは，2つの問題に対する 共通の入力素性として，直前の発話テキストおよび 発話ラベル，実況者が視聴した映像カメラの視点ラ ベル，レース開始からの時間経過時間ラベルを入力として用いる。一方，実際の実況においては，“ ターン 1、しっかりブレーキ”といった発話のよう にレーシングカーの動きに関する言及が多く見られ

る. 特に未来発話ラベル予測においては，レーシン グカーの速度やブレーキの踏み込みといったレース 状況を捉える素性はラベル予測の重要な手がかりと なる. そこで本研究では従来用いられてきた素性に 加え，レース状況やレーシングカーに関する状況を 捉える素性を用いる。具体的には，実況対象のレー シングカーの速度，ハンドル角度，ラップタイムと いった車両の状況に関する素性および周回数，0か ら 1 の区間で表現されたレースの進捗状況などレー スの進行状況を認識する素性を提案する．実験より 提案素性を用いた予測モデルは特に対象発話ラベル 予測において，性能を向上させることが分かった.

## 2 関連研究

実況テキストを対象とした研究は，主に言語生成 の分野において, サッカー $[2,3,4]$, 野球 [5], ゲーム 映像 [6] などを対象に行われている。一方，実況発話のラベル予測の研究は, レーシングゲーム映像に 対する実況データ [6] を対象としたもののみである.

本稿における対象発話ラベル予測は，発話テキ ストに対するラベル予測であり，従来，電話応答発話 [7] やメール [8]を対象とした言語理解タスク として取り組まれている. 従来，「質問」「意見」と いった言語行為論 $[9,10]$ に基づくラベル設計を用い るのが一般的であるが，レーシングゲームに対して はそのまま適用できない、レーシングゲーム実況に 適用可能な発話ラベルとしては，Ishigaki ら [6] が実況テキストの特徴分析に用いたラベルアノテーショ ンを用いる。一方，未来発話ラベル予測タスクは，「次に何について言及するか」を決定する従来の言語生成研究におけるプランニング [11,12] の問題と 捉えることができ，将来的には言語生成問題への応用を想定している.

発話ラベル予測問題は, 分類問題もしくは系列夕 グ付け問題として定式化され，近年はニューラル ネットワークによる手法 [1] が用いられる。 入力の 観点からは多くはテキストのみを扱う手法 [13] であ るが，映像や発話音声を用いる手法 [14] が存在す る. 本研究では, 上田らの提案したマルチモーダル なエンコーダを拡張し，レーシングカーやレースに 関する状況を認識するための素性を導入する。

## 3 発話ラベル予測

本節では対象発話ラベル予測および未来発話ラべ ル予測の問題の入力と出力について定義する. その

表 2 レース状況素性の一覧. 最後の 2 つのパラメータ については Ishigaki ら [6] によって計算されたものである.

後，提案モデルについて述べる.

## 3.1 入力と出力

対象発話ラベル予測問題はラベル付与対象とする テキストを主な入力として扱う．上田ら [1] はさら に, 補助的な入力として, 直前の発話テキストおよ び発話ラベル，カメラの視点情報として「ヘリコプ ター視点」もしくは「ドライバー視点」のいずれか を取る視点ラベル，さらにレースのスタートから終了までの時間を 4 分割し，それぞれ序盤，中盤の前半および後半, 終盤としたレース進捗に関する離散 ラベルも用いた.レース序盤ではサーキットの特徴 について述べられやすく，終盤ではラップタイムに ついて述べられやすい. よって，このような離散ラ ベルはラベル予測問題に対して効果的であると考え る. 本研究では従来の提案素性に加え，レーシング ゲーム Assetto Corsa の APIを用いて表 2 に示す情報 を用いる。これらのデータは二值もしくは連続值で 表現される。例えば，現在のラップの進捗は 0.0 か ら 1.0 までの間の連続値を取り，ピットに入ってい るか否かの情報は二值を取る。これらをレースゲー 厶映像の録画開始時刻から 1 秒ごとに取得し，ラべ ル分類時刻の過去 10 秒分の数値列をレース状況を 捉える素性として用いる. 未来発話ラベル予測問題 の入力は上述した素性から対象発話テキストを除い たものとなる.

いずれのモデルも既存研究 [6] で定義されたラベ ルを出力する. ラベル定義を表 3 に示す. 実況発話 においては，サーキットやレーシングカーなどの言及対象および，タイムやレーシングカーの具体的な 動きといったより詳しい内容を含めることが重要で ある. よって，ラベルは言及対象について表現する

} & 例 \\

表 3 サブラベルの一覧 [6]. ラベルは 2 つのサブラベル の組み合わせとして定義される。

図 1 対象発話を与える設定の予測モデル. 次の発話ラベ ルを予測する設定では，このモデルから「対象発話」が除去される.

サブラベルおよび具体的な内容を定義したサブラ ベルの 2 種類のペアを 1 つのラベルとして表現し，合計 40 ラベルが定義される. 例えば，“ここは華麗 な追い抜き，決めていく。”という発話であれば，“ プレイヤーの車動き”というラベル出力が正解とな る. 1 つの発話に複数のラベルが付与されることを 許容するマルチラベル分類の設定となる.

## 3.2 提案予測モデル

次に図 1 に示す提案ラベル予測モデルについて述 べる. このモデルは，上田ら [1] の手法に提案素性 を追加したモデルである. 2 つの問題設定において ほぼ同様のエンコーダで入力ラベルやテキストを読 み込む．ただし，未来発話ラベル予測タスクでは対象発話テキストを入力として与えない. 以後, 対象発話テキスト予測モデルについて述べる.

まず，テキストデータは単語列で表現する。すな わち，対象発話テキスト $T=\left.\{w_{1}, \ldots, w_{u}\right.\}$, 直前の発話テキスト $T^{\prime}=\left.\{w_{1}^{\prime}, \ldots, w_{u^{\prime}}^{\prime}\right.\}$ となる. なお，対象発話がレース全体の最初の発話である場合は，直前の 発話ラベルは与えられない。

$T$ は， MeCabにより分かち書きをした後に，各 トークンに対応する埋め込み表現へと変換され，単語ベースの双方向 LSTM [15] で読み込む: $\overrightarrow{\mathbf{h}}_{i}=$ $\operatorname{LSTM}\left(\overrightarrow{\mathbf{h}_{i-1}}, \operatorname{emb}\left(w_{i}\right)\right)$ および蒙 $=\operatorname{LSTM}\left(\overleftarrow{\mathbf{h}_{i+1}}, \operatorname{emb}\left(w_{i}\right)\right)$. こ こで, emb は対象の単語の埋め込み表現を返す関数 である. さらに, ベクトル $\overrightarrow{\mathbf{h}_{i}}, \overleftarrow{\mathbf{h}_{i}}$ を結合して, ベクト ル $\mathbf{h}_{i}$ を得る: $\mathbf{h}_{i}=\left[\overrightarrow{\mathbf{h}_{i}} ; \overleftarrow{\mathbf{h}_{i}}\right]$. 合計 $u$ 個の縦ベクトル $\mathbf{h}_{i}^{T}$ を横方向に並べて，行列 $\mathbf{H}$ を得る: $\mathbf{H}=\left[\mathbf{h}_{1}^{T} \cdots \mathbf{h}_{u}^{T}\right]$.直前の発話テキスト $T^{\prime}$ についても別の双方向 LSTM で同様に読み込み，行列 $\mathbf{H}^{\prime}$ を得る．LSTM の隠れ 状態の行列 $\mathbf{H}$ は，次に深さ $r$ の自己注意機構 [16] に 渡される：

$
\begin{aligned}
\mathbf{A} & =\operatorname{Softmax}\left(\mathbf{W}_{2} \tanh \left(\mathbf{W}_{1} \mathbf{H}\right)\right), \\
\mathbf{M} & =\mathbf{A H}^{T} .
\end{aligned}
$

ここで，A は自己注意機構の重み行列であり，行列 $\mathbf{W}_{1}, \mathbf{W}_{2}$ を用いて推定される. $\mathbf{W}_{1}, \mathbf{W}_{2}$ のサイズは, LSTM の隠れ状態の次元数を $d_{l s t m}$, 自己注意機構の 深さを $r$ として，それぞれ $d_{a} \times 2 d_{l s t m}, r \times d_{a}$ とな る.ここで， $d_{a}$ は自己注意機構の重みを推定する ニューラルネットワークの行列のサイズを制御す るパラメータである. 自己注意機構の出力である行列 $\mathbf{M}$ のサイズは $r \times 2 d_{l \text { stm }}$ となる. 行列 $\mathbf{M}$ の各行要素は以下のように結合べクトル $\mathbf{t}$ に変換される: $\mathbf{t}=\left[\mathbf{m}_{1} ; \ldots ; \mathbf{m}_{r}\right]$. ここで, $\mathbf{m}_{i}$ は行列 $\mathbf{M}$ の第 $i$ 行目成分を表す。このようにして得られた $\mathbf{t}$ を対象発話テ キスト $T$ に対する最終的なエンコーダ出力とする.直前の発話テキスト $T^{\prime}$ に対しても同様に別の自己注意機構で読み込み，エンコーダ出力 $\mathbf{t}^{\prime} を$ 得る。

構造化データについては, 既存研究 [1] の提案素性である視点ラベル $D_{1}$, 時間ラベル $D_{2}$, 直前の発話ラベル $D_{3}$ に加え本研究ではレーシングカーおよ びレース状況に関する状況認識素性を数値列データ $E_{1}, \ldots, E_{e}$ も用いる. これらはそれぞれ別のエンコー ダによって分散表現に変換し，結合べクトルをエン コーダの最終出力とする．視点情報データ $D_{1}$ は実況者の視聴した映像に関する情報を表現し，“空撮視点”，“ドライバー視点”のいずれかを取り，時間情報データ $D_{2}$ はレース開始から終了までの時間を 4 分割した区間のうち，分類対象発話の発話時刻の
区間を表す. 本研究で追加する状況認識素性は，分類対象発話の発話時刻から過去 10 秒分を 1 秒ごと に取得し大きさ 11 のベクトルとして表現する.

既存素性 $D_{n}$ および提案素性 $E_{l}$ は, one-hot 表現 $\mathbf{d}_{n}$ および $e_{l}$ とし，埋め込み表現に変換する: $\mathbf{d}_{n}^{\prime}=$ $\mathbf{d}_{n} \mathbf{W}_{n}+\mathbf{b}_{n}, \mathbf{e}_{l}^{\prime}=\mathbf{e}_{l} \mathbf{W}_{l}+\mathbf{b}_{l}$. そして $, \mathbf{t}, \mathbf{t}^{\prime}, \mathbf{d}_{1}^{\prime}, \ldots, \mathbf{d}_{3}^{\prime}$ を結合し, この結合べクトルのサイズがラベル種類数と 同一サイズのベクトルとなるよう重み行列 $W_{3}$ で線形変換する:p $=\operatorname{sigmoid}\left(\left[\mathbf{t} ; \mathbf{t}^{\prime} ; \mathbf{d}_{1}^{\prime} ; \mathbf{d}_{2}^{\prime} ; \mathbf{d}_{3}^{\prime} ; \mathbf{e}_{1}^{\prime}, \ldots ; \mathbf{e}_{L}^{\prime}\right]\right)$.最終的に sigmoid 関数によって各次元が確率値とな るよう正規化され，各ラベルに対するスコアを表現 するベクトル $\mathbf{p}$ を得る.

なお，未来発話ラベル予測タスクにおいては，上式から $\mathbf{t}$ が除去されスコアを表現するべクトル $\mathbf{p}$ を 得る．スコアが閾値 $t$ 以上のラベルを最終的に出力 する. $t$ は開発セットでの $\mathrm{F}$ 値が最も高くなるよう 調整する．また，上記の予測モデルは二值交差エン トロピー損失を最小化するよう学習される。

## 4 実験

提案素性の効果を確認するため，それらを用い ない既存手法 [1] と比較する。また，ヒューリス ティックによるベースラインとして，データセット において出現頻度が上位 $k$ 個のラベルをすべての発話に付与する単純な手法とも比較する。 データセッ トにおける $k$ の平均値は 1.44 であるため, $k=1$ お よび $k=2$ の設定をべースラインとして用いる.

実験には Ishigaki ら [6] のアノテーションデータ を用い，訓練データを $80 \%$ ，評価データを $20 \%$ とし 5 分割交差検定により評価した. 各分割で訓練デー タとして用いるデータのうち $25 \%$ を開発データとし てハイパーパラメータの調整に使用し，残りのデー タをモデルの訓練に用いた. 視点ラベル，時間ラベ ル, 直前ラベル, 状況認識素性それぞれの埋め込み 層の行列サイズは， $2 \times 10,4 \times 10,24 \times 10,11 \times 10$ と した. その他の学習に用いたパラメータなどは既存手法 [1] と同様のものを用いた.

## 5 結果

結果を表 4 に示す. 表の上から順にベースライン 手法，未来発話ラベル予測タスク，対象発話ラベル 予測タスクでの各モデルの評価値を示す.

未来発話ラベル予測タスクにおいては，従来研究 で用いられていた素性のみを用いるモデルは $\mathrm{F}$ 值に おいて. 298 と低い值を示すが，レース状況素性を加

表 4 対象発話ラベル予測タスク及び未来発話ラベル予測 タスクでの性能評価.

えると. 307 に向上した. さらに，レース状況素性の みを用いたモデルは. 357 と従来素性との組み合わせ モデルよりも性能が高い。これは，従来素性の中に はむしろ性能を劣化させる素性が含まれている可能性や学習データの不足の可能性が考えられる. 今後，従来素性および提案素性の適切な組み合わせ手法やデータ拡張手法について検討したい。

レース状況認識素性の追加により，未来発話ラべ ルの予測性能が向上した例について述べる。“イン をキープしながら曲がっていく。”という発話に対 しては “実況対象の車動き変化あり”という予測ラ ベルが正解となる.このラベルを正しく予測するた めには，プレイヤーの車の走行状況を正しく認識す る必要がある．提案素性に含まれるハンドルの角度 が与えられたことで，モデルがプレイヤーの車の走行状況を認識でき，この発話についてラベルを正し く予測出来た.

対象発話ラベル予測タスクにおいては，発話テキ ストのみを用いるモデルが $\mathrm{F}$ 值において性能が最も 高く，レース状況素性の追加による性能向上は確認 できなかった.これは既存研究 [1] においても議論 されているが，発話ラベルはその対象の発話テキス 卜に大きく依存しており，他の追加情報は大きな手 がかりとならないにも関わらずモデルのパラメータ が増大し学習が難しくなるものと考えられる。

## 6 おわりに

本研究ではレーシング実況を対象とした発話ラベ ル予測問題について，レース状況やレーシングカー の状況と捉える素性を用いる手法を提案した. 実験 より，発話テキストを入力として用いない未来発話 ラベル予測タスクにおいて，状況認識素性の追加に よる性能向上を確認した。

## 謝辞

この成果は, 国立研究開発法人新エネルギー・産業技術総合開発機構 (NEDO) の助成事業 (JPNP20006) の結果得られたものである. 産総研の AI 橋渡しク ラウド $(\mathrm{ABCI})$ を利用し実験を行った.

## 参考文献

[1] 上田佳祐, 石垣達也, 小林一郎, 宮尾祐介, 高村大也.実況における発話ラベル予測. 情報処理学会自然言語処理研究会 2021-NL-251 (1), pp. 1-6, 2021.

[2] Kumiko Tanaka-Ishii, Koiti Hasida, and Itsuki Noda. Reactive content selection in the generation of real-time soccer commentary. In Proceedings of the 17th International Conference on Computational Linguistics (COLING1998), 1998.

[3] Yasufumi Taniguchi, Yukun Feng, Hiroya Takamura, and Manabu Okumura. Generating live soccer-match commentary from play data. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI2019), Vol. 33, No. 1, pp. 7096-7103, 2019.

[4] Mitsumasa Kubo, Ryohei Sasano, Hiroya Takamura, and Manabu Okumura. Generating live sports updates from twitter by finding good reporters. In 2013 IEEE/WIC/ACM International Joint Conferences on Web Intelligence (WI) and Intelligent Agent Technologies (IAT), Vol. 1, pp. 527-534, 2013.

[5] Byeong Jo Kim and Y. Choi. Automatic baseball commentary generation using deep learning. Proceedings of the 35th Annual ACM Symposium on Applied Computing, pp. 1056-1065, 2020.

[6] Tatsuya Ishigaki, Goran Topic, Yumi Hamazono, Hiroshi Noji, Ichiro Kobayashi, Yusuke Miyao, and Hiroya Takamura. Generating racing game commentary from vision, language, and structured data. In Proceedings of the 14th International Conference on Natural Language Generation (INLG2021), pp. 103-113, 2021.

[7] Andreas Stolcke, Klaus Ries, Noah Coccaro, Elizabeth Shriberg, Rebecca Bates, Daniel Jurafsky, Paul Taylor, Rachel Martin, Carol Van Ess-Dykema, and Marie Meteer. Dialogue act modeling for automatic tagging and recognition of conversational speech. Computational Linguistics, Vol. 26, No. 3, pp. 339-374, 2000.

[8] Tatsuro Oya and Giuseppe Carenini. Extractive summarization and dialogue act modeling on email threads: An integrated probabilistic approach. In Proceedings of the 15th Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL2014), pp. 133-140, June 2014.

[9] John Langshaw Austin. How to do things with words. William James Lectures. Oxford University Press, 1962.

[10] John R. Searle. Speech Acts: An Essay in the Philosophy of Language. Cambridge University Press, 1969.

[11] Karen Kukich. Design of a knowledge-based report generator. In Proceedings of 21st Annual Meeting of the Association for Computational Linguistics (ACL1983), pp. 145-150, June 1983.

[12] Ratish Puduppully, Li Dong, and Mirella Lapata. Datato-text generation with content selection and planning. In Proceedings of the 33rd AAAI Conference on Artificial Intelligence (AAAI2019), pp. 6908-6915, 2019.

[13] Hamed Khanpour, Nishitha Guntakandla, and Rodney Nielsen. Dialogue act classification in domainindependent conversations using a deep recurrent neural network. In Proceedings of the 26th International Conference on Computational Linguistics: Technical Papers (COLING2016), pp. 2012-2021, 2016

[14] Paul Pu Liang, Yao Chong Lim, Yao-Hung Hubert Tsai, Ruslan Salakhutdinov, and Louis-Philippe Morency. Strong and simple baselines for multimodal utterance embeddings. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL2019), pp. 2599-2609, June 2019.

[15] Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[16] Lin Zhouhan, Feng Minwei, dos Santos Cicero Nogueira, Yu Mo, Xiang Bing, Zhou Bowen, and Bengio Yoshua. A structured self-attentive sentence embedding. In Proceedings of the International Conference on Learning Representations (ICLR), 2017.
 上田佳祐 ${ }^{1,2}$ 石垣達也 1 小林一郎 1,3 宮尾祐介 ${ }^{1,2}$ 高村大也 1 1 産業技術総合研究所 2 東京大学 3 お茶の水女子大学 \{ueda.keisuke, ishigaki.tatsuya, takamura.hiroya\}@aist.go.jp koba@is.ocha.ac.jp yusuke@is.s.u-tokyo.ac.jp  