# 動画の談話構造解析

福島健司 $\dagger$ 平尾努 $\S$ 上垣外英剛 $\dagger$ 奥村学 $\dagger$ 永田昌明 $\S$
†東京工業大学 §NTTコミュニケーション科学基礎研究所
\{fukuken@lr., kamigaito@lr., oku@\}pi.titech.ac.jp
\{tsutomu.hirao.kp, masaaki.nagata.et\}@hco.ntt.co.jp

## 1 はじめに

テキストを構成する文や節の間には「因果」や 「対比」などの何らかの関係が成り立っており，こ うした関係に基づきテキストを構造化したものを 談話構造という。談話構造をあらわす理論として，修辞構造理論 (Rhetorical Structure Theory: RST) [1] が よく用いられる．RSTではテキストは，終端記号が Elementary Discourse Unit (EDU) という節相当の談話単位, 非終端記号が EDU によって構成されるテキ ストスパンの核性1)，枝がスパン間の修辞関係をあ らわす句構造木として表現される。つまり，修辞構造はテキストがあらわすイベント間の関係を木構造 として表現したものとして捉えることができる.

一方，テキストとして記述されたイベントの多く は実世界での出来事と結びついている2)。よって, それを記録した映像，つまり，動画にもテキストと 同様に修辞構造が存在すると考えられる. 動画の修辞構造を解析できるようになれば，一貫性の高い動画要約や動画内容理解の支援などアプリケーション の高度化に貢献できる.

本研究では, 動画の修辞構造解析の第一歩とし て，動画とそれに含まれるイベントに対してキャプ ションとその修辞構造の注釈を与えたベンチマーク データセットを構築し, 既存の修辞構造解析手法を ベースとして動画の修辞構造解析がどの程度可能か を検証する。

図 1 に動画の修辞構造木の例を示す. 動画は時間情報を伴ったイベントに分割され，分割されたイベ ントにはその内容をあらわすキャプション (文)が 付与される. 動画修辞構造木は, 終端記号がイベン ト，つまり動画中の区間とそれに対応するキャプ

1）修辞関係で結びついた 2 つのスパンのうち，主となる役割 を担うスパンが核 (Nucleus)，補助的な役割を担うスパンが衛星 (Satellite) となる.

2）もちろん，テキストで記述されるイベントのすべてが実世界のイベントと結びっいているわけではない.

s1. some guys are lying down and many people are assembled around them. s2. a man speaks to the cloud with a microphone and the crowd clap their hands. s3. another man run and jump over the guys and a cheer goes up from the crowd.

図 1 動画に対する修辞構造木. 動画は https://youtu.be/coKW897eLyg より得た.

ション文，非終端記号がイベントとキャプション文 がなすスパンの核性，枝が 2 つのスパン間の修辞関係をあらわす木である.テキストの修辞構造木で は終端記号は文よりも小さい EDU であるが，動画修辞構造の場合は，イベントを終端記号とするの で，文が談話構造の最小単位になることに注意され たい.

## 2 関連研究

動画をイベントに分割し，それぞれのイベントが 支配する区間に対しキャプションを与えるという 試みは Dense Video Captioning (DVC) と呼ばれ，コン ピュータビジョン分野で研究が盛んに行われてお り，いくつかのベンチマークデータセットが整備さ れている。そのなかでも， ActivityNet Captions ${ }^{3)}$ は 最大規模のデータセットである。人間の動作を含む YouTube の 2 万動画に対しイベント分割とイベント に対するキャプション文を与えたデータセットで


図 2 映像特徴量のモデルへの導入方法

あり, ActivityNet Challenge4)でのシェアドタスクの データとして用いられていることから，このデータ を用いた DVC の研究が盛んに行われている。なお， 1 つの動画は平均 3.67 個のイベントに分割される. つまり，1つの動画に与えられるキャプション文は 平均で 3.67 文となる. また, 1 つのイベントは平均 36 秒となっている. ただし，DVC は動画中のイベ ント同定とキャプション付与が目的であるため, 修辞構造の注釈は与えられていない。つまり，動画中 のイベントに修辞構造の注釈を与えたデータセット は現状では存在しない.

一方，本研究と同様に動画の修辞構造解析を目的 とした研究として [2] がある. この研究では, 動画 のキャプションに対して修辞構造木を推定した後, キャプション文とそれに該当する動画中の区間の割 り当てを行うことで動画の修辞構造木を推定する。

[2] では，このタスクのためのデータセットを整備 していないため, 得られた修辞構造木の妥当性は不明である。 さらに，修辞構造解析を，キャプション テキストのみを対象に行っているので，技術として はテキスト修辞構造解析そのものであり，動画から 得られる特徴の利用が考慮されていない。

## 3 提案手法

近年，ニューラルネットワークを用いたテキスト 修辞構造解析手法の研究が盛んに行われており, そ の性能が飛躍的に向上している. 本研究では，テキ スト修辞構造解析のベンチマークデータセットであ る RST-DT [3] を用いた評価結果で良い結果を残し た Kobayashi らの解析器 [4] (Span-based Parser: SBP) をべースとして，キャプション文から得られる特徴 とイベント区間から得られる特徴を同時に利用する

4) http://activity-net.org
ビデオ修辞構造解析手法を提案する．SBP は，イベ ントが構成するスパンを入力として，それを再帰的 に分割することで木を構築し，分割した 2 つのスパ ンの核性と関係ラベルをそれぞれ3クラス，18クラ スの分類問題を解くことで決定する。

## 3.1 イベントのベクトル表現

本研究では，SBP で利用するスパン(イベント系列)ベクトルをイベントに与えられたキャプション 文とイベントに含まれる動画区間のフレームから得 た画像特徴量の双方を連結することで生成する. こ のベクトル表現を得るためのニューラルネットワー クの構造を図 2 に示す.

まず，キャプション文内の各単語において， GloVe[5], ELMo[6] から得た単語ベクトルを結合す る. 次に，それらに BiLSTM と Selective Gate[7]を適用して文の表現ベクトルを得る. $j$ 番目の単語の内部表現ベクトルは，前向きLSTM ( $\overrightarrow{\mathrm{LSTM}})$ と後向き

$
\begin{aligned}
\overrightarrow{\mathbf{h}_{j}^{w}} & =\overrightarrow{\operatorname{LSTM}}\left(\mathbf{h}_{j-1}^{w}, \mathbf{w}_{j}\right), \overleftarrow{\mathbf{h}_{j}^{w}}=\overleftarrow{\operatorname{LSTM}}\left(\overleftarrow{\mathbf{h}_{j+1}^{w}}, \mathbf{w}_{j}\right) \\
\mathbf{h}_{j}^{w} & =\left[\overrightarrow{\mathbf{h}}_{j}^{w} ; \overleftarrow{\mathbf{h}}_{j}^{w}\right]
\end{aligned}
$

$\mathbf{w}_{j}$ は $j$ 番目の単語に対する ELMo と Gloveのべク トルを結合したものである. キャプション文の単語数を $n$ とすると, Selective Gate は $j$ 番目の単語の内部表現 $\mathbf{h}_{j}^{w}$ と文脈ベクトル $\mathbf{s}=\left[\mathbf{h}_{n}^{w} ; \mathbf{h}_{1}^{w}\right]$ を受け取り，新たな $\mathbf{h}_{j}^{w^{\prime}}$ を生成する.

$
\begin{aligned}
\mathbf{s G a t e}_{j} & =\sigma\left(\mathbf{W}_{s} \mathbf{h}_{j}^{w}+\mathbf{U}_{s} \mathbf{s}+\mathbf{b}_{s}\right), \\
\mathbf{h}_{j}^{w^{\prime}} & =\mathbf{h}_{j}^{w} \odot \mathbf{s G a t e}_{j} .
\end{aligned}
$

$\mathbf{W}_{s}$ と $\mathbf{U}_{s}$ は重み行列， $\mathbf{b}_{s}$ はバイアスベクトル， $\sigma$ は シグモイド関数，๑は要素積をそれぞれあらわす。 そして,$i$ 番目のイベントの文ベクトル $\mathbf{t}_{i}$ を以下の
式で定義する。

$
\mathbf{t}_{i}=\frac{1}{\mathrm{n}} \sum_{j=1}^{n} \mathbf{h}_{j}^{w^{\prime}}
$

映像特徴量としては，動画から一定時間ごとに切 り出したフレームの特徴量を利用する。イベントの 動画区間に含まれる特徵量の総数を $m$ としたとき，前向きLSTM と後向き LSTMを用い，イベントの映像ベクトル $\mathbf{e}_{i}$ を以下の式で定義する。

$
\begin{aligned}
& \overrightarrow{\mathbf{h}_{j}^{v}}=\overrightarrow{\operatorname{LSTM}}\left(\overrightarrow{\mathbf{h}}_{j-1}^{v}, \mathbf{v}_{j}\right), \overleftarrow{\mathbf{h}_{j}^{v}}=\overleftarrow{\operatorname{LSTM}}\left(\overleftarrow{\mathbf{h}}_{j+1}^{v}, \mathbf{v}_{j}\right), \\
& \mathbf{h}_{j}^{v}=\left[\overrightarrow{\mathbf{h}_{j}^{v}} ; \overleftarrow{\mathbf{h}_{j}^{v}}\right] \\
& \mathbf{e}_{i}=\left[\mathbf{h}_{m}^{v} ; \mathbf{h}_{1}^{v}\right]
\end{aligned}
$

ここで， $\mathbf{v}_{j}$ は $\mathrm{j}$ 番目の映像特徴量である. $\mathbf{t}$ と にそれぞれスカラー重み $\mathscr{W}_{t}, \mathscr{W}_{e}$ を乗じて結合することで 1 つのイベントに対するベクトル $\mathbf{u}_{i}=\left[\mathscr{W}_{t} \mathbf{t}_{i} ; W_{e} \mathbf{e}_{i}\right]$ を得る. 次に，これを再度 BiLSTM に入力し, 以下のイベントに対する隠れ状態ベクト ル $\mathbf{f}_{j}, \mathbf{b}_{j}$ を得る.

$
\mathbf{f}_{j}=\overrightarrow{\operatorname{LSTM}}\left(\mathbf{f}_{j-1}, \mathbf{u}_{j}\right), \quad \mathbf{b}_{j}=\overleftarrow{\operatorname{LSTM}}\left(\mathbf{b}_{j+1}, \mathbf{u}_{j}\right)
$

最終的に $i$ 番目のイベントから $j$ 番目のイベントの スパンをあらわすべクトル $\mathbf{u}_{i: j}$ を次式で定義する。

$
\mathbf{u}_{i: j}=\left[\mathbf{f}_{j}-\mathbf{f}_{i-1} ; \mathbf{b}_{i-1}-\mathbf{b}_{j}\right] .
$

## 3.2 解析モデル

スパンを $k(i<k<j)$ 番目のイベント区間で分割 するかを判定するスコアは以下の式で定義される。

$
\mathrm{s}_{\text {split }}(i, j, k)=\mathbf{h}_{i: k}^{\top} \mathbf{W}_{u} \mathbf{h}_{k+1: j}+\mathbf{d}_{l}^{\top} \mathbf{h}_{i: k}+\mathbf{d}_{r}^{\top} \mathbf{h}_{k+1: j} .
$

$\mathbf{W}_{u}$ は重み行列， $\mathbf{d}_{l}$ と $\mathbf{d}_{r}$ は重みベクトルである。ま た， $\mathbf{h}_{i: k}$ と $\mathbf{h}_{k+1, j}$ は以下の式で定義される.

$
\begin{aligned}
\mathbf{h}_{i: k} & =\operatorname{MLP}_{\text {left }}\left(\mathbf{u}_{i: k}\right), \\
\mathbf{h}_{k+1: j} & =\operatorname{MLP}_{\text {right }}\left(\mathbf{u}_{k+1: j}\right) .
\end{aligned}
$

$\mathrm{MLP}_{*}$ は多層パーセプトロンを表し，一層の順伝播型ニューラルネットワークと，活性化関数に ReLU 関数を用いる。そして，関数 $\mathrm{s}_{\text {split }}$ を最大とする $\hat{k} て ゙ ~$ スパンを分割する。

$
\hat{k}=\underset{\mathrm{k} \in\{i, \ldots, j-1\}}{\arg \max }\left[\mathrm{s}_{\text {split }}(i, j, k)\right] .
$

スパン $(i, j)$ を $k$ で分割した 2 つのスパン間に付与 する核性ラベルと関係ラベルのスコア $\mathrm{s}_{\mathrm{label}}(i, j, k, \ell)$ は以下の式で定義される。

$\mathrm{S}_{\text {label }}(i, j, k, \ell)=\mathbf{W}_{\ell} \operatorname{MLP}\left(\left[\mathbf{u}_{i: k} ; \mathbf{u}_{k+1: j} ; \mathbf{u}_{1: i} ; \mathbf{u}_{j: n}\right]\right)$. $\mathbf{W}_{\ell}$ は重み行列である. そして，以下の式でラベル が選択される。

$
\hat{\ell}=\underset{\ell \in L}{\arg \max }\left[\mathrm{s}_{\text {label }}(i, j, l, \ell)\right] .
$

$L$ は，核性ラベル推定の際には $\{\mathrm{N}-\mathrm{S}, \mathrm{S}-\mathrm{N}, \mathrm{N}-\mathrm{N}\}$ ，関係ラベル推定の際には 18 種類の修辞関係ラベルの 集合をそれぞれをあらわす。

そして，すべてのパラメタは正解の分割 $k^{*}$ と正解ラベル $\ell^{*}$ に対し, 以下の損失の最小化により最適化される。

$
\begin{aligned}
& \max \left(0,1+\mathrm{s}_{\text {split }}\left(i, j, k^{*}\right)-\mathrm{s}_{\text {split }}(i, j, \hat{k})\right) \\
& +\max \left(0,1+\mathrm{s}_{\text {split }}\left(i, j, k^{*}, \ell^{*}\right)-\mathrm{s}_{\text {split }}\left(i, j, k^{*}, \hat{\ell}\right)\right) .
\end{aligned}
$

## 4 実験

## 4.1 データセット

上で述べた ActivityNet Captions の検証用データ セット中のデータ 339 件に対し，人手で修辞構造の 注釈を与えたデータセット（Activity-RST）を作成し た.なお，注釈付けは RST-DT 作成時に利用された マニュアル ${ }^{5}$ に従った. 表 1 に，1文書あたりの文数, 修辞構造木の深さを, RST-DT との比較で示す. Activity-RST の木は RST-DT の木と比ベノード数が 少なく，階層が浅い．RST-DT の核性ラベルの頻度 は，N-S が 5079，N-Nが 1851，S-Nが 532 であり，関係ラベルは Elaboration， Joint，Explanation の順で多 かった。一方, Activity-RST の核性ラベルの頻度は, N-S が 44，N-N が 204，S-N が 1111 であり，関係ラ ベルは Elaboration, Background, Textual-organization の順で多かった. 2 つのスパンが RST-DT では S-N に分類されることが多く, Activity-RST では N-S に 分類されることが多い。この理由は，RST-DT は新聞記事が対象であるため記事の重要部が主に前に 現れることに対し, Activity-RST は動画が対象であ るため重要部は後に現れることにある。これらの比較から, Activity-RST は RST-DT とは性質の異なる データセットであることが分かる.

## 4.2 映像特徵量

本実験で使用した映像特徴量は，C3D[8] お よび, RGB ResNet-200(RES)[9] と Optical flow BNInception(BN)[10] の組み合わせである。C3D は，3D

5) https://citeseerx.ist.psu.edu/viewdoc/download?doi= 10.1.1.201.9677\&rep=rep1\&type=pdf
表 1 データセットの比較

ConvNetwork を用いて 8 フレーム毎に映像を 1 つの 500 次元べクトルへと畳み込んだもので, ActivityNet Challenge で公式に配布されている特徴量である. RES と BN の組み合わせは，Zhou らの DVC システ ム [11] で利用された特徵量である. RES は映像の RGB 值を 0.5 フレーム毎に取得した特徴量, BN は オプティカルフローを 0.5 フレーム毎に取得した特徵量である.

## 4.3 実験設定

10 分割交差検証 (訓練:検証:テストデータ=8:1:1) により解析器の評価を行った. また，5 モデルアン サンブルを用い，異なる初期値の 3 回の試行の平均値を最終的な評価結果とした。

解析に用いるキャプションは, ActivityNet Captions で与えられた正解キャプションと Zhou らのシステ ム [11] に正解イベントの区間を与えて生成したキャ プションを試した. C3D, RES+BNとも ActivityNet Captions の正解イベントの区間から得たものを利用 した. そして，テキストから得た特徴と映像から得 た特徴のそれぞれの組み合わせも評価した。

評価指標は RST-Parseval[3] に従い，ラベルなしス パン (Span)，核性ラベル付きスパン (Nuc)，関係ラベ ル付きスパン (Rel), すべてのラベル付きスパンの一致 (Full)の micro-averaged $F_{1}$ 值を用いた.

## 4.4 結果と考察

表 2 に評価結果を示す. テキスト特徴量, 映像特徵量を単独で用いた場合を比較すると，正解キャプ ションを利用した場合のスコアが最も高い. 正解 キャプションを用いた場合よりもスコアは大きく 下がるが，C3D，RES+BNを用いた場合がほぼ同等 のスコアであり，システムが生成したキャプション を用いた場合が最もスコアが低く, C3D， RST+BN よりも 2 ポイント程度劣化している. 修辞構造の注釈は正解キャプションに基づき行われたため, 正解 キャプションを利用した場合が最も良い結果を得た ことは妥当であろう．しかし， C3D，RES+BNより もシステムが生成したキャプションを用いた場合に表 2 Micro-averaged $F_{1}$ による性能比較

性能が劣化していることは自動生成されたキャプ ション文の質が低いことを示唆している.

次にテキスト特徴量と映像特徴量を組み合わせ た場合をみると, 正解キャプションに対して C $3 \mathrm{D}$, RES+BN の双方を組み合わせるとすべての指標にお いてスコアが改善されていることがわかる.この結果は, 映像特徴量が修辞構造解析に役立っているこ とを示している. しかし, システムが生成したキャ プションを組み合わせると，C3D，RES+BNをそれ ぞれ単独で利用する場合よりもスコアは劣化してお り, システムが生成したキャプションの質の低さが 悪影響を与える結果となった。

## 5 おわりに

本稿では, 動画の修辞構造解析のため, ActivityNet Captions データセットの一部に修辞構造の注釈を与 えたベンチマークデータセットを構築した. テキス 卜と映像特徴量が解析性能に与える影響を調べた結果，正解キャプションから得た特徴量を用いる場合 の性能が最も良く, 正解キャプションと正解イベン トの区間から得られる映像特徵量を組み合わせるこ とでさらに性能が向上することを確認した. 今回の テキストと映像の特徵量の組み合わせ方は非常に単純なものであるため，これをさらに洗練されたもの に改良することで性能向上をはかりたい。また，未知のデータの解析のためにはイベントの区間推定, キャプションの生成をともに自動的に行わねばなら ない. 今回の実験結果では自動推定したキャプショ ンで大きく性能が劣化したことからキャプション生成における改善の必要性が明白となった。 また，イ ベント区間の自動推定についても手法を開発し，修辞構造解析の性能に与える影響を調べる必要がある だろう.

## 参考文献

[1]W.C. Mann and S.A Thompson. Rhetorical structure theory: A theory of text organization. Technical Report ISI/RS-87190, USC/ISI, 1987.

[2]Arjun Reddy Akula and S. Zhu. Visual discourse parsing. ArXiv, Vol. abs/1903.02252, , 2019.

[3]Lynn Carlson, Daniel Marcu, and Mary Ellen Okurovsky. Building a discourse-tagged corpus in the framework of Rhetorical Structure Theory. In Proceedings of the Second SIGdial Workshop on Discourse and Dialogue, 2001.

[4]Naoki Kobayashi, Tsutomu Hirao, Hidetaka Kamigaito, Manabu Okumura, and Masaaki Nagata. Top-down rst parsing utilizing granularity levels in documents. In Proceedings of the 2020 Conference on Artificial Intelligence for the American, pp. 8099-8106, New York, America, September 2020.

[5]Jeffrey Pennington, Richard Socher, and Christopher Manning. GloVe: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543, Doha, Qatar, October 2014. Association for Computational Linguistics.

[6]Matthew Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[7]Qingyu Zhou, Nan Yang, Furu Wei, and Ming Zhou. Selective encoding for abstractive sentence summarization. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1095-1104, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[8]Du Tran, Lubomir D. Bourdev, Rob Fergus, Lorenzo Torresani, and Manohar Paluri. C3D: generic features for video analysis. CoRR, Vol. abs/1412.0767, , 2014.

[9]K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 770-778, 2016.

[10]Sergey Ioffe and Christian Szegedy. Batch normalization: Accelerating deep network training by reducing internal covariate shift. In Francis Bach and David Blei, editors, Proceedings of the 32nd International Conference on Machine Learning, Vol. 37 of Proceedings of Machine Learning Research, pp. 448-456, Lille, France, 07-09 Jul 2015. PMLR.

[11]Luowei Zhou, Yingbo Zhou, Jason J. Corso, Richard Socher, and Caiming Xiong. End-to-end dense video captioning with masked transformer. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2018.
 福島健司 $\dagger$ 平尾努 $\S$ 上垣外英剛 $\dagger$ 奥村学 $\dagger$ 永田昌明 $\S$ †東京工業大学 §NTTコミュニケーション科学基礎研究所 \{fukuken@lr., kamigaito@lr., oku@\}pi.titech.ac.jp \{tsutomu.hirao.kp, masaaki.nagata.et\}@hco.ntt.co.jp  