# 個々の役割を指示可能な 入力言語に応じた 2 人のインタラクションの動作生成の検討

田中幹大近藤雅芳藤原 研人
LINE 株式会社
\{mikihiro.tanaka, masayoshi.kondo, kent.fujiwara\}@linecorp.com

## 1 概要

本研究では言語を入力とした， 2 人のインタラク ションを伴う動作生成に取り組む. 既存研究では言語と動作の関係を学習し動作生成を行なってきた. よって，インタラクションを生成する際には 2 人分 の動作を単一の記述で表現する必要がある. しか し，一部動作においてこの記述には一方は能動態，他方は受動態で表現される非対称な関係性を内包し ている.この見識に基づき本研究では，インタラク ションの記述を受動態・能動態の言語に変換するこ とによって，主体と受け手双方の動作を生成する手法を提案する。また，両者の位置や動作の関係性の 考慮のために，動作間のクロスアテンションも導入 する．更に，非対称な動作の場合に，一般に 2 人の 動作の学習データ全てに主体・受け手のラベリング が必要となる. 本研究では少数のアノテーションを 用いて学習データ全体にこのラベリングを行う手法 も提案する. 既存手法を拡張する方法と比較し, 文章を解釈し主体と受け手に分けて動作生成を行う提案手法の有効性を実験により示した.

## 2 はじめに

人間の動作のモデリングは，3 次元アバターや キャラクターを利用した高品質な動画像の制作に おいて重要な要素になりつつある.このような動画制作では 2 人以上の人物を登場させる場合， 1 人の 時と比べて，個々の動作のモデリングに加えて，両者の位置関係やインタラクションを考慮した，より 複雑なモデリングが必要となる. この複数人の動作 を自在に作ることができれば，より多様な登場人物 からなる映像制作を容易にできる. そこで本研究で は，最も直感的なインターフェースの一つである言語に注目し，入力言語に応じた 2 人のインタラク ションの動作生成という課題に取り組む.

図 1: 言語入力で提案手法により生成されたインタ ラクション例を示す。上は非対称な動作例であり，話す側と聞く側が存在する。下は対称な動作例であ り，両者共通の握手という動作をしている.

近年言語入力による 1 人の動作生成の研究が進展してきている $[1,2]$. 特に最近では拡散モデル $[3,4,5]$ の発展に伴って, より言語に忠実かつ多様 な動作生成が可能になってきた [6,7]. ここで，2人 のインタラクションについて考えると，図 1 のよう に主体と受け手が存在する非対称な動作，また両者共に主体となって共通の行為を行う対称な動作が存在する. 図 1 上の非対称な例では， 2 人のインタラ クションを描写した文章は，一方は能動態の囁くと いう表現，もう一方は受動態の囁かれるという表現 で描写される関係性を内包している。 [8] は 2 人の 動作生成に取り組む研究だが，動作の主体と受け手 の関係性を考慮しておらず，個々の役割を指示する ことも考えられていなかった.

そこで本研究では，先行研究の 1 人の動作生成モ デル [6] を拡張し，2 人のインタラクションの対称・非対称性を考慮して生成する手法を提案する。ま ず，動作の対称・非対称性を扱うために，個々に対 して動作が非対称な時は受動態・能動態の異なる言語を入力とし，動作が対称な時は同じ言語を入力と する．更に，両者の位置や動作の関係性を考慮する ために，2人の動作間のアテンションも導入する。

ここで，非対称な動作の生成において図 1 のよう にどちらを主体とするか指示するためには，2 人ま とめた動作の説明文に加えて，どちらの動作が主
体・受け手かのラベリングが必要となる. 本研究で は，アノテーションコストを抑えるべく，音源分離 で知られる Permutation Invariant Training[9]を利用す ることで，後者の主体・受け手のアノテーションは 少数のみを用いて，学習データ全体に擬似的にラべ ル付けするパイプラインを提案する。

## 3 関連研究

## 3.1 動作の認識

人間の動作の解析は，これまでは主に一般的な動画像を用いて行われてきた $[10,11]$. しかし，近年の 動作データ取得方法の発展に伴い $[12,13]$, 骨格の 動作データが注目を集めている。背景の影響を受け ない骨格データによる動作の認識は, 現在活発に研究されているテーマの一つである $[14,15]$. 骨格の 関節の座標値をベクトルデータ [16] や 2 次元のグ リッドデータ [17]に変換したり，関節の連結性をグ ラフとして扱ったりして [18] 深層学習のモデルの入力として利用されている. さらには，実施された地点も特定する研究も行われている [19].

動作解析の研究の多くは 1 人の人物を対象にして いるが，近年になり，人同士のインタラクションの 一般的なベンチマークとして，NTU RGB+D120 デー タセット [20]が構築された. このデータセットを用 いて，骨格の動作データを用いた 2 人のインタラク ションの認識の研究が始まっている [21, 22].

## 3.2 動作の生成

骨格データの解析結果を活用し，新たな動作を生成しようとする研究も盛んに行われている。従来,動作生成は様々なパターンから最も整合性のある動作を接続することで行われてきたが [23], 深層学習 の発展に伴い, データから学習することが現在主流 になっている. 行動ラベルが与えられた際に適切な 動作を生成する方法や [24, 25], 音楽にあった動作 を生成する研究 [26], 動作の周期性に着目し生成す る手法 [27] などが提案されている.

CLIP[28] の登場に伴い, 動作生成の研究において も，直感的なインターフェースとして言語が注目さ れている. CLIP の言語画像空間と動作の特徵空間 を対応づけ，言語情報に合った動作データを生成す る手法として MotionCLIP[29] が提案された. また,近年登場したテキストと動作の大規模なデータセッ ト $[30,31]$, 及び拡散モデルと学習済み CLIP を活用

図 2: 提案モデルの図を示す.「押す」という 2 人の 動作を生成する場合は，受動態・能動態の言語をそ れぞれ入力し，対応した動作を出力する．対称な動作の場合は同じ言語を入力する.

することで，入力言語に忠実かつ多様な動作の生成 を実現する手法も多く提案され始めている [6,7].本研究に近い研究として [8] らは 2 人の動作生成に 取り組んでいるが，動作の対称・非対称性に注目 し, 主体と受け手といった役割を個々に指示して生成を行うのは本研究が初めての取り組みである.

## 4 提案手法

本研究では以下を満たすモデルを提案する.

-対称な動作と非対称な動作ともに，個々の役割 を指定してインタラクションを生成できる.

・生成された 2 人の動作の辻褄が合っている.

2 人のインタラクションに対し, その動作カテゴリ $c_{i}$ を説明する文章 $y_{i}$ が付与されている状況を想定 する. 非対称な動作のカテゴリ $c_{i}$ においては, 本来個々の動作は， $y_{i}$ を受動態・能動態の 2 つの描写に 翻訳した文章 ( $y_{i}^{\text {passive }}, y_{i}^{\text {active }}$ ) のどちらに相当する かのアノテーションが必要となる. 本研究では, ア ノテーションコストを抑えるべく, 少数のアノテー ションから個々の動作が $\left(y_{i}^{\text {passive }}, y_{i}^{\text {active }}\right)$ のどちら に相当するかラベリングを行う手法を提案する。

## 4.1 拡散モデルを用いた 1 人の動作生成

まず，言語から 1 人の動作生成で最も性能の良い モデルの一つである, [6] らの拡散モデルを用いた 手法を説明する. 動作生成は，ランダムにサンプ リングされたノイズからの逆拡散過程として定式化することができる．動作系列を $X^{(0)}=\left[x_{1}, \ldots, x_{F}\right]$ ( $F$ はフレーム数, $x_{1}, \ldots, x_{F}$ は各時刻の姿勢) とし た時, 実データからサンプリングした動作系列 $X^{(0)} \sim q\left(X^{(0)}\right)$ に対して， $\mathrm{T}$ ステップのノイズを順 に加えたものを $X^{(1)}, \ldots, X^{(T)}$ のように表記する。ま ず，拡散過程では以下の式のようにガウシアンノイ

ズをマルコフ連鎖に従って付与する形で表せ， $X^{(T)}$ はおよそ $\mathcal{N}(\mathbf{0}, \mathbf{I})$ に従う。( $\beta_{t}$ はハイパーパラメータ $)$

$
\begin{aligned}
& q\left(X^{(1: T)} \mid X^{(0)}\right)=\prod_{t=1}^{t=T} q\left(X^{(t)} \mid X^{(t-1)}\right) \\
& q\left(X^{(t)} \mid X^{(t-1)}\right)=\mathcal{N}\left(X^{(t)} ; \sqrt{1-\beta_{t}} X^{(t-1)}, \beta_{t} \mathbf{I}\right)
\end{aligned}
$

逆拡散過程ではランダムなノイズから始まり，推定された $\mu_{\theta}\left(X^{(t)}, t\right), \Sigma_{\theta}\left(X^{(t)}, t\right)$ に従うガウシアンノ イズを付与する形でマルコフ連鎖に従ってノイズを 除去していき，動作を生成する。

$
\begin{aligned}
p_{\theta}\left(X^{(0: T)}\right) & =p_{\theta}\left(X^{(T)}\right) \prod_{t=1}^{t=T} p_{\theta}\left(X^{(t-1)} \mid X_{t}\right) \\
p_{\theta}\left(X^{(t-1)} \mid X^{(t)}\right) & =\mathcal{N}\left(X^{(t-1)} ; \mu_{\theta}\left(X^{(t)}, t\right), \Sigma_{\theta}\left(X^{(t)}, t\right)\right)
\end{aligned}
$

[6] らは， $\Sigma_{\theta}\left(X^{(t)}, t\right)$ は定数を用い, $\mu_{\theta}\left(X^{(t)}, t\right)$ の 推定のみ行なった. 推定器には Transformer[32] を ベースとしたモデルを用いた. $\mu_{\theta}\left(X^{(t)}, t\right)$ は推定さ れたノイズ $\epsilon_{\theta}\left(X^{(t)}, t\right.$, text $)$ から計算できるため，ノ イズ $\epsilon$ とステップ数 $t$, データ $X^{(0)}$ をランダムにサ ンプリングし, 以下の式によってノイズ推定を学習 することで，モデルパラメータの最適化を行った.

$\mathscr{L}=E_{t \in[1, T], X^{(0)} \sim q\left(X^{(0)}\right), \epsilon \sim \mathcal{N}(\mathbf{0}, \mathbf{I})}\left[\| \epsilon-\epsilon_{\theta}\left(X^{(t)}, t\right.\right.$, text $\left.) \|\right]$

## 4.2 インタラクション生成への拡張

2 人の動作の系列を $X_{1}=\left[x_{0}^{1}, \ldots, x_{F}^{1}\right], X_{2}=$ $\left[x_{0}^{2}, \ldots, x_{F}^{2}\right]$ ( $F$ はフレーム数, $x_{0}$ は最初の位置や 体の向き， $x_{1}, \ldots, x_{F}$ は各時刻の姿勢) のように表す.個々の動作に対して，文章が付与されているデータ セット $\left(\left(X_{1}, y_{1}\right),\left(X_{2}, y_{2}\right)\right)$ がある場合について考え る. 先行研究の単純な拡張によって 2 人のインタラ クションを生成する方法として，一つの Transformer で 2 人分の動作を一度に生成する方法が考えられ る. しかしこれでは, 非対称な動作を扱う際に個々 の役割を指示することができない. そこで，個別の 動作をモデリングするために，図 2 のようにパラ メータを共有した 2 つの Transformerを用い, 非対称 な動作の場合はそれぞれ受動態・能動態の言語を入力することにする. 対称な動作については，双方共 に能動態の言語を入力する.

次に，インタラクションでは互いの位置関係や動作のタイミングを合わせた生成が必要となる. 本研究では互いの動作間のクロスアテンションを導入す
る.これにより，作用・反作用といった動作の関係性や，相手に合わせた協調的な動作の学習を図る。

最終的なロス関数は式 3 と同様に, 以下で表せる.

$
\begin{aligned}
& \mathscr{L}=E_{t \in[1, T],\left(X_{1}^{(0)}, X_{2}^{(0)}\right) \sim q\left(X^{(0)}\right), \epsilon_{1} \sim \mathcal{N}(\mathbf{0}, \mathbf{I}), \epsilon_{2} \sim \mathcal{N}(\mathbf{0}, \mathbf{I})} \\
& \quad\left[\left.\|\epsilon_{1}-\epsilon_{\theta}\left(X_{1}^{(t)}, t, y_{1}\right)\right.\|+\left.\|\epsilon_{2}-\epsilon_{\theta}\left(X_{2}^{(t)}, t, y_{2}\right)\right.\|\right]
\end{aligned}
$

生成時は式 2 に従って， $T$ ステップ分ノイズを除去していくことで，同時に 2 人の動作を生成する.

## 4.3 主体・受け手の擬似ラベルの付与

4.2 節の手法のアノテーションコストを削減する べく, 非対称な動作カテゴリ $c^{i}$ における個々の動作 が, $\left(y_{i}^{\text {passive }}, y_{i}^{\text {active }}\right)$ のどちらに相当するかのラべ リングを半自動的に行う手法を説明する.

ここで, 非対称なクラス $c^{i}$ について, 二つの学習可能なパラメータ $w_{1}^{i}, w_{2}^{i}$ を用意する. 式 4 におい て, 言語特徴の代わりに $w_{1}^{i}, w_{2}^{i}$ を用いて 2 通りのガ イダンスによってノイズを推定し，以下の式のよう に小さい方を選択して誤差逆伝播を行う。

$
\begin{aligned}
& \mathscr{L}=E_{t \in[1, T],\left(X_{1}^{(0)}, X_{2}^{(0)}\right) \sim q\left(X^{(0)}\right), \epsilon_{1} \sim \mathcal{N}(\mathbf{0}, \mathbf{I}), \epsilon_{2} \sim \mathcal{N}(\mathbf{0}, \mathbf{I})} \\
& {\left[\operatorname { m i n } \left(\left.\|\epsilon_{1}-\epsilon_{\theta}\left(X_{1}^{(t)}, t, w_{1}^{i}\right)\right.\|+\left.\|\epsilon_{2}-\epsilon_{\theta}\left(X_{2}^{(t)}, t, w_{2}^{i}\right)\right.\|,\right.\right.} \\
& \left.\left.\left.\|\epsilon_{1}-\epsilon_{\theta}\left(X_{1}^{(t)}, t, w_{2}^{i}\right)\right.\|+\left.\|\epsilon_{2}-\epsilon_{\theta}\left(X_{2}^{(t)}, t, w_{1}^{i}\right)\right.\|\right)\right]
\end{aligned}
$

これは音源分離の分野で用いられる Permutation Invariant Training[9] と同様の手法であり,これに よって $w_{1}^{i}, w_{2}^{i}$ は主体か受け手のどちらか一方の特徴を得るように学習することが期待できる。学習し た $w_{1}^{i}, w_{2}^{i}$ のどちらが主体・受け手に相当するかは,少数のラベル付きデータと照合することで確かめ ることができる。 そして最後に，学習データそれ ぞれにランダムなノイズを付与し， $X_{1}, X_{2}$ のどちら が $w_{1}^{i}, w_{2}^{i}$ に対応するかを式 5 を用いて計算するこ とで，擬似的に個々の動作が主体か受け手かを特定 し， $\left(y_{i}^{\text {passive }}, y_{i}^{\text {active }}\right)$ をそれぞれに付与できる.

## 5 実験

## 5.1 実験設定

データセット: NTU RGB+D120 データセット [20] か ら，2人のインタラクションを扱っている 26 クラス の動作を利用した. 9 クラスの対称な動作，17クラ スの非対称な動作が含まれている. Appendix A にク ラスの例を載せる。これらの動画像から 3 次元骨格

を BEV[33]によって推定して実験に用いた。登場す る被験者が異なるように学習/検証/テストデータを 分け，それぞれ 20,306，3,493，3,044 件利用した.

評価指標: 1 人の動作生成の先行研究に倣って以下 の評価指標によって定量評価を行う. 生成された動作が大力言語と対応しているかの正解率 (Accuracy) を用いる. また，生成されたものと真のデータの 分布の一致具合によって評価する, Frechet Inception Distance(FID) を用いる. そして, 生成される動作の 多様性 (Diversity) を評価する。これらの評価を行う には，インタラクションの動作の特徴を抽出するモ デルが必要となる. しかしインタラクション認識の 標準的なモデルはないため, 本研究では同じ学習 データでインタラクションを認識する Transformer をべースとしたモデルを学習させて評価に用いた。

これらに加えて, 本研究では生成された 2 人の動作が相互に矛盾のないものになっているかを表す， MutualConsistency と呼ぶ指標を提案する. より詳細 を AppendixC で説明する。

比較手法: まず，提案モデルで 4.3 節の手法により,個々の動作に対して言語ラベルを付与する.この データを用いて以下の手法により比較実験を行う.

[6] らの手法を個別の役割を指示可能な形で拡張 し，2つの Transformer を用いて動作を行う手法を ベースラインとし, Ours w/o cross attentionと記す. Ours と記す手法はこれに対して 2 人の動作間のクロ スアテンションを加えたものである. 更に，提案手法は 1 人の動作生成手法である [6] らのモデルに新 たなパラメータを加える形で設計されており, [6] らの言語特徴抽出器や動作生成モデルの共通部分の パラメータを初期値として学習することができる. これを Ours+pretrained と記す.

また，[6] らの手法を基にして，2 人分の動作を一 つの系列として扱うことで一つの Transformer で生成する手法を Single Transformer と記す。この手法は [8] 同様 2 人まとめた指示しかできず，個別に役割 を指示できないため，参考値として比較を行う。

## 5.2 定量評価

表 1 に，定量評価の結果を示す. 提案手法は ベースラインの Ours w/o cross attention に比べてい ずれの指標でも良い性能を示し, 特に Accuracy と MutualConsistency で差が出る結果となった. Ours w/o cross attention は Accuracy が 71.3\%あるが, MutualConsistency が $41.7 \%$ となった. これはそのカ表 1: 定量評価の結果を示す. 生成する動作の系列長は可変であり, テストデータと同じ長さとした. 4 回評価実験を行い，95\%信頼区間を土で示した.

図 3: 生成結果を示す. 提案手法は「押す」という動作で，辻褄の合った動作を生成できている.

テゴリらしい動作をある程度生成できているが，生成されたインタラクションの半分以上が辻褄の合わ ないものになっていることを示している. 個々に付与した擬似ラベルを用いない Single Transformer と比 べても，特に 1 人の言語と動作の対応関係の事前知識を用いる Ours+pretrained の Accuracy が高く, 個別 の動作のモデリングによってより入力言語に忠実な インタラクションを生成できていることが分かる.

Single Transformer の FID が小さいのは，擬似ラベル のエラーの影響を受けないためと考える.

## 5.3 定性評価

図 3 に「押す」というインタラクションを生成 した時の結果を示す. Ours w/o cross attention に比べ て，提案手法は一方が手を伸ばして相手を押し，も う一方は押された結果として後ろによろける動作が 生成されている.このように, 定性的にも提案手法 は言語に忠実かつ 2 人の辻褄の合ったインタラク ションが生成できていることを確認できる.

## 6 おわりに

本研究では，個々に役割を指示可能な，言語によ る 2 人のインタラクション生成に取り組んだ。互い の動作間のクロスアテンションを導入し，動作の関係性を考慮したモデルを提案し，言語に忠実かつ相互に矛盾のない 2 人のインタラクションを生成可能 であることを実験によって示した. 物理環境の考慮及び，より自由度の高い言語入力によるインタラク ション生成が今後の課題として挙げられる.

## 参考文献

[1]Mathis Petrovich, Michael J. Black, and Gül Varol. TEMOS: Generating diverse human motions from textual descriptions. In $E C C V, 2022$.

[2]Chuan Guo, Shihao Zou, Xinxin Zuo, Sen Wang, Wei Ji, Xingyu Li, and Li Cheng. Generating diverse and natural $3 \mathrm{~d}$ human motions from text. In CVPR, 2022.

[3]Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diffusion probabilistic models. In NeurIPS, 2020.

[4]Yang Song and Stefano Ermon. Improved techniques for training score-based generative models. In NeurIPS, 2020.

[5]Diederik Kingma, Tim Salimans, Ben Poole, and Jonathan Ho. Variational diffusion models. In NeurIPS, 2021.

[6]Mingyuan Zhang, Zhongang Cai, Liang Pan, Fangzhou Hong, Xinying Guo, Lei Yang, and Ziwei Liu. Motiondiffuse: Text-driven human motion generation with diffusion model. arXiv preprint arXiv:2208.15001, 2022.

[7]Guy Tevet, Sigal Raab, Brian Gordon, Yonatan Shafir, Amit H Bermano, and Daniel Cohen-Or. Human motion diffusion model. arXiv preprint arXiv:2209.14916, 2022.

[8]Shubh Maheshwari, Debtanu Gupta, and Ravi Kiran Sarvadevabhatla. Mugl: Large scale multi person conditional action generation with locomotion. In WACV, 2022.

[9]Morten Kolbæk, Dong Yu, Zheng-Hua Tan, and Jesper Jensen. Multi-talker speech separation with utterance-level permutation invariant training of deep recurrent neural networks. TASLP, 2017.

[10]Christoph Feichtenhofer, Haoqi Fan, Jitendra Malik, and Kaiming He. Slowfast networks for video recognition. In ICCV, 2019.

[11]Yutaro Shigeto, Yuya Yoshikawa, Jiaqing Lin, and Akikazu Takeuchi. Video caption dataset for describing human actions in japanese. In LREC, 2020.

[12]Marc Habermann, Weipeng Xu, Michael Zollhoefer, Gerard Pons-Moll, and Christian Theobalt. Livecap: Real-time human performance capture from monocular video. ACM Transactions On Graphics, 2019.

[13]Marc Habermann, Weipeng Xu, Michael Zollhofer, Gerard Pons-Moll, and Christian Theobalt. Deepcap: Monocular human performance capture using weak supervision. In CVPR, 2020 .

[14]Raviteja Vemulapalli, Felipe Arrate, and Rama Chellappa. Human action recognition by representing $3 \mathrm{~d}$ skeletons as points in a lie group. In CVPR, 2014.

[15]Yong Du, Wei Wang, and Liang Wang. Hierarchical recurrent neural network for skeleton based action recognition. In CVPR, 2015.

[16]Jun Liu, Amir Shahroudy, Dong Xu, and Gang Wang. Spatiotemporal $1 \mathrm{stm}$ with trust gates for $3 \mathrm{~d}$ human action recognition. In $E C C V, 2016$.

[17]Qiuhong Ke, Mohammed Bennamoun, Senjian An, Ferdous Sohel, and Farid Boussaid. A new representation of skeleton sequences for 3d action recognition. In CVPR, 2017.

[18]Lei Shi, Yifan Zhang, Jian Cheng, and Hanqing Lu. Twostream adaptive graph convolutional networks for skeletonbased action recognition. In CVPR, 2019.

[19]Qing Yu and Kent Fujiwara. Frame-level label refinement for skeleton-based weakly-supervised action recognition. In AAAI, 2023.

[20]Jun Liu, Amir Shahroudy, Mauricio Perez, Gang Wang, LingYu Duan, and Alex C. Kot. Ntu rgb+d 120: A large-scale benchmark for $3 \mathrm{~d}$ human activity understanding. In TPAMI, 2020.

[21]Yunsheng Pang, Qiuhong Ke, Hossein Rahmani, James Bailey, and Jun Liu. Igformer: Interaction graph transformer for skeleton-based human interaction recognition. In $E C C V$, 2022.

[22]Yoshiki Ito, Quan Kong, Kenichi Morita, and Tomoaki Yoshinaga. Efficient and accurate skeleton-based two-person interaction recognition using inter- and intra-body graphs. In ICIP, 2022.

[23]Michael Büttner and Simon Clavet. Motion matching-the road to next gen animation. Proc. of Nucl. ai, 2015.

[24]Chuan Guo, Xinxin Zuo, Sen Wang, Shihao Zou, Qingyao Sun, Annan Deng, Minglun Gong, and Li Cheng. Action2motion: Conditioned generation of $3 \mathrm{~d}$ human motions. In Proceedings of the 28th ACM International Conference on Multimedia, 2020.

[25]Mathis Petrovich, Michael J Black, and Gül Varol. Actionconditioned 3d human motion synthesis with transformer vae. In ICCV, 2021.

[26]Ruilong Li, Shan Yang, David A Ross, and Angjoo Kanazawa. Ai choreographer: Music conditioned 3d dance generation with aist++. In CVPR, 2021.

[27]Sebastian Starke, Ian Mason, and Taku Komura. Deepphase: periodic autoencoders for learning motion phase manifolds. ACM Transactions on Graphics (TOG), 2022.

[28]Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In ICML, 2021.

[29]Guy Tevet, Brian Gordon, Amir Hertz, Amit H Bermano, and Daniel Cohen-Or. Motionclip: Exposing human motion generation to clip space. ECCV, 2022.

[30]Matthias Plappert, Christian Mandery, and Tamim Asfour. The kit motion-language dataset. Big data, 2016.

[31]Abhinanda R Punnakkal, Arjun Chandrasekaran, Nikos Athanasiou, Alejandra Quiros-Ramirez, and Michael J Black. Babel: Bodies, action and behavior with english labels. In CVPR, 2021

[32]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[33]Yu Sun, Wu Liu, Qian Bao, Yili Fu, Tao Mei, and Michael J. Black. Putting people in their place: Monocular regression of 3d people in depth. In CVPR, 2022.

[34]Yi Zhou, Connelly Barnes, Jingwan Lu, Jimei Yang, and Hao Li. On the continuity of rotation representations in neural networks. In CVPR, 2019.

[35]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT, 2019.

## A データセットの詳細

対称な動作は，hugging， shaking hands，walking towards, walking apart, high-five, cheers and drink, carry object, exchange things, rock-paper-scissors の 9 カテゴ リ，非対称な動作は，punch/slap，kicking，pushing， pat on back, point finger, giving object, touch pocket, hit with object, wield knife, knock over, grab stuff, shoot with gun, step on foot, take a photo, follow, whisper, support somebody の 17 カテゴリからなる. 本研究で はこれらを文章に変換して用いた。

## B 提案モデルの詳細

図 4 にモデルの詳細な図を示す.モデルの入力の initial position は最初の体の位置と向きを 表す 4 次元のベクトルである. pose representation は $\left(r^{v a}, r^{v x}, r^{v z}, r_{h}, \mathbf{j}^{p}, \mathbf{j}^{v}, \mathbf{j}^{r}, \mathbf{f}\right)$ からなる, 263 次元 のべクトルである. $\mathrm{y}$ 軸を垂直方向とした時, $r^{v a}, r^{v x}, r^{v z}, r_{h}$ はそれぞれ腰の, $\mathrm{y}$ 軸回りの角速度， $\mathrm{x}$ 方向の速度， $\mathrm{z}$ 方向の速度，高さを表す. $\mathbf{j}^{p} \in \mathbb{R}^{(J-1) \times 3}, \mathbf{j}^{v} \in \mathbb{R}^{J \times 3}$ は $J$ 個の関節の位置と速度 を表す. $\mathbf{j}^{r} \in \mathbb{R}^{(J-1) \times 6}$ は各関節の 6 次元の回転 [34] を表す. $\mathbf{f} \in \mathbb{R}^{4}$ は足の 4 点の関節が地面に接してい るかを表している。拡散のステップ数は 1,000 とし，式 1 の $\beta_{t}$ は， 0.0001 から 0.02 に線形に増やした.

## C 評価指標の詳細

Accuracy: 生成された動作が入力された言語に対応するかを評価する指標. 図 5 に示す，入力された インタラクションのカテゴリを予測するモデルを学習させ，評価に用いる．以下 FID，Diversity の評価 にも，このモデルによって抽出された特徴量を用い る. 本研究では, 図 5 の Global Average Pooling の後 の出力を特徴量として用いた.

FID: 生成モデルの評価で最も用いられる, 生成さ れたものと真のデータの分布の一致具合を評価する 指標. 生成された動作とテストデータの動作の特徵量の平均と共分散をそれぞれ $(\mu, \Sigma),\left(\mu^{\prime}, \Sigma^{\prime}\right)$ と表し たときに，以下の式により分布間距離を求める.

$
\mathrm{FID}=\left.\|\mu-\mu^{\prime}\right.\|_{2}+\operatorname{Tr}\left(\Sigma+\Sigma^{\prime}-2 \sqrt{\Sigma \Sigma^{\prime}}\right)
$

Diversity: 生成される動作の多様性を評価する指標. ランダムな文章入力から生成された $S_{d}$ 個の動作の集合を二つ用意し，それぞれから抽出された特

図 4: 詳細な提案モデルの図を示す。パラメータを 共有する transformer は $N$ 個のアテンションブロッ クによって構成され，1 ステップずつノイズを除去 し 2 人の動作を生成する. アテンションブロック内 では順に，セルフアテンション，言語のクロスアテ ンション，動作間のクロスアテンション，順伝播型 ニューラルネットワークによって処理が行われる.

図 5: Accuracy と MutualConsistency の評価に用いた モデルの図を示す. IEと PE は図 4 と同様.

徴量 $\left[v_{1}, \ldots, v_{S_{d}}\right],\left[v_{1}^{\prime}, \ldots, v_{S_{d}}^{\prime}\right]$ を用いて，以下の式に よって生成される動作の多様性を評価する。

$
\text { Diversity }=\frac{1}{S_{d}} \sum_{i=1}^{S_{d}}\left.\|v_{i}-v_{i}^{\prime}\right.\|_{2}
$

MutualConsistency: 本研究で提案する, 生成され た 2 人の動作が辻褄の合ったものになっているか を評価する指標. 図 5 に示すモデルを学習させ，評価に用いる。学習時は BERT[35] で用いられる next sentence prediction タスクの学習と同様に, [CLS] と 呼ぶトークンを用意し，そこからの出力を用いて動作が正しいペアかを予測させる．例えば押すという 動作において，誤ったペアでは，押す・押されるの 方向やタイミング，位置関係が誤っているデータと なるため，正しいぺアとの判別を学習することによ り，入力された 2 人の動作が辻褄の合っているもの かを判定できるようになる. 本研究では正しいぺア と誤ったペアを 1 対 1 の比率で学習させた.このモ デルを用いて，生成された 2 人の動作が正しいぺア となっている割合によって評価する。


# On the Bias of CLIP for Object-Attribute Recognition

Yutaro Yamada ${ }^{1 *}$, Yingtian Tang ${ }^{2 *}$, Ilker Yildirim ${ }^{1}$
${ }^{1}$ Yale University
${ }^{2}$ University of Pennsylvania
\{yutaro.yamada,ilker.yildirim\}@yale.edu yingtian@seas.upenn.edu

## 概要

Large-scale vision-language models such as CLIP have shown impressive performance on zero-shot image classification and image-to-text retrieval. However, such zeroshot performance of CLIP-based models does not realize in tasks that require a finer-grained correspondence between vision and language, such as Visual Question Answering (VQA). We investigate why this is the case, and report an interesting phenomenon of CLIP, which we call the Concept Association Bias (CAB), as a potential cause of the difficulty of applying CLIP to VQA and similar tasks. CAB is especially apparent when two concepts are present in the given image while a text prompt only contains a single concept. In such a case, we find that CLIP tends to treat input as a bag of concepts and attempts to fill in the other missing concept crossmodally, leading to an unexpected zero-shot prediction.

## 1 Introduction

Recent large-scale vision-language models such as CLIP [1] and ALIGN [2] have shown remarkable performance on zero-shot classification and text-image retrieval tasks. These models are trained via cross-modal contrastive learning on web-scale image-text pairs and obtain powerful multimodal representations. Encouraged by these strong zero-shot capabilities, several recent papers explored CLIP for more complicated vision-language tasks. The initial attempt made by [3] reports near chance accuracy for zeroshot performance of CLIP on VQA-v2 [4], a common visual question answering benchmark. However, their approach simply uses "question: [question text] answer: [answer text]" as text input for the text encoder of CLIP, which makes the prediction harder than it should be. A subsequent work [5] proposes a better prompt generation method. They first convert a question into a masked prompt

CLIP: "In this picture, the color of the lemon is purple."

図 1 When we ask CLIP the color of the lemon in the above image, CLIP answers "purple". The text prompt we use is "In this picture, the color of the lemon is [mask]", where CLIP picks one from [red, green, yellow, orange, purple].

(e.g. "What's in the bowl behind the cake" becomes "The [mask] is in the bowl behind the cake"), and filter impossible answers using a language model, which improves CLIP's zero-shot performance on VQA-v2.

However, the zero-shot performance of CLIP on VQAv2 is still not state-of-the-art, which is achieved by taskspecific models [3]. While investigating what makes CLIP hard to adapt to VQA, we discover an interesting phenomenon, which we call the Concept Association Bias (CAB).

To describe this phenomenon, we present a simple image containing a "lemon" and an "eggplant" to CLIP, and ask what color the lemon is, as shown in Figure 1. Surprisingly, CLIP predicts "purple" with high confidence. When we instead ask for the color of the eggplant, CLIP answers "yellow". To cross-check this phenomenon, we formulate a binary zero-shot image classification task on the same image where the two labels are "yellow lemon" and "purple lemon", and find that CLIP predicts "purple lemon" with high confidence.

We hypothesize that this phenomenon comes from the discrepancy between what is described in the image and text input, where CLIP attempts to fill in the missing con-
cept. The association between "purple" and "eggplant" is strong, so when asked to fill in the mask in "[mask] lemon", predicting "purple" instead of "yellow" makes more sense for CLIP, because the text description of "purple lemon" is aligned with the image that contains both a lemon and an eggplant more faithfully than "yellow lemon", which only describes the lemon in the image. In fact, when we randomize the color of the lemon and eggplant (e.g. "red" for lemon and "green" for eggplant), we find that this bias disappears, and CLIP picks the color almost randomly between the two.

Vision-language models such as CLIP are being deployed for increasingly broad range of downstream applications $[6,7,8,9]$. However, the concept association bias suggests caution in such efforts.

## 2 Related Work

Vulnerability of vision and language models There are a number of papers that study the robustness of vision and language models. Some prior work [10] shows that Transformer trained via Masked Language Modeling [11] is insensitive to word orders, suggesting that the success of BERT largely depends on learning higher-order word co-occurrence rather than learning syntactic and semantic abstractions. Many benchmarks are proposed to evaluate robustness of ImageNet models towards various perturbations including common corruption [12], image style change [13], and different viewpoints [14]. Our work differs from these studies that are purely based on language or vision, because CAB is a cross-modal phenomenon, which occurs when both image and language data are used. [15] tests compositional generalization of vision and language models. [16] introduced a probing dataset called Winoground, which evaluates visuo-linguistic compositionality of vision and language models. They evaluate a diverse range of state-of-the-art vision and language models, including CLIP, but all of them perform close to or below random chance. Our work also reveals brittleness of CLIP through the lens of CAB, which has been overlooked in the past.

Peculiarities of CLIP In the image generation community, it has been reported that state-of-the-art models such as DALL-E 2 [6] struggle with composionality [17]. One of the potential causes of such failure has been attributed to the use of CLIP-based image encoder [6]. In fact, image generation models that do not use CLIP such as Imagen and Parti are known to be better at generating images that require compositional reasoning [18, 19]. However, few works go into depth to analyze the behavior of CLIP in zero-shot image classification and visual question answering. Our analysis based on $\mathrm{CAB}$ offers a new perspective on the weakness of CLIP-based models for compositional reasoning.

## 3 The Concept Association Bias

The zero-shot image classification of CLIP is remarkable for images that contain a single concept. However, when there are multiple concepts in the image but the text input does not cover all of them, the zero-shot classification of CLIP can be significantly biased towards the missing concept(s). We call this bias the Concept Association Bias (CAB). We first showcase this bias using color recognition tasks. ${ }^{1)}$ For this analysis, we use the Natural-Color Dataset (NCD) [20], which is a dataset of vegetables and fruits with a white background. We take the following objects: banana, brinjal, broccoli, carrot, cherry, corn, cucumber, lemon, orange, plum, pomegranate, strawberry, tomato. We then randomly sample two images with different vegetable types and place the two objects side-by-side, resulting in 494 images in total. Examples are shown in Figure 2.

図 2 Example images from Natural-Color Dataset (NCD) [20], modified for our color recognition tasks so that each image contains two different objects.

For zero-shot transfer from CLIP to our color recognition task, we ask for the color of one of the objects in the image. The labels we use are "red", "yellow", "purple", "green", and "orange", so it is a 5-way color recognition task. When there is a single object in the image, we use the following text prompt: "In this picture, the color of the object is [mask]." When there are two objects in the image, we specify one of these objects in the prompt. For exam-

ple, if there is a lemon and another object in the image, the prompt takes the following format: "In this picture, the color of the lemon is [mask]."

Zero-shot transfer from CLIP to color recognition

図 3 Zero-shot performance of CLIP on color recognition tasks using NCD [20]. CLIP achieves almost perfect accuracy when there is a single object in the image, but the accuracy significantly drops when there are two objects. "Two object*" refer to the case in which we instead measure the accuracy of predicting the color of the object $B$ when it is asked for the color of the object $A$, where we see $80 \%$ zero-shot accuracy. We claim this gap between Two objects and Two objects* is a result of the Concept Association Bias (CAB).

The results are shown in Figure 3. We first note that the zero-shot performance of CLIP on our color recognition task is almost perfect when there is a single object per image ("Single object" in Figure 3). However, the classification performance considerably degrades to below chance when there are two objects per image ("Two objects" in Figure 3).

How does this happen? We suggest that CLIP does not have a mechanism that stores object-centric representation that correctly binds the object's name and its attribute. In another words, CLIP processes its input as a "bag of concepts".

To inspect this possibility, we look at what kind of mistakes CLIP makes when there are two objects A and B. We find that many mistakes are derived from a common source. That is, when asked for the color of object A, CLIP often predicts the color of object $B$ in the image. In fact, when we measure the accuracy of predicting the color of the object $B$ when in reality it is asked to predict the color of the object A, we see that the zero-shot transfer performance of CLIP is much higher ("Two objects*" in Figure 3), approaching the single object accuracy.

To understand this phenomenon, we find it helpful to consider two variables per object, where each variable rep-

(a) Natural color

(b) Natural color ([mask] = purple)

(c) Unnatural color

図 4 The concept binding diagram. Two variables per object represent the object name and its attribute (e.g. color), respectively. We suggest that the text prompt and the image are represented as two separate "bags of concepts" in CLIP. When a pair of object-attribute concepts are naturally associated with each other, then both concepts can be accounted for by including in the prompt either of the object or the attribute. When only some of the concepts in the image are included in the text, this leaves other concepts in the image unaccounted for.

resents the object's name in the image and the color attribute of the object, as shown in Figure 4. When the colors are natural (Figure 4 (a)), both the object "lemon" and its attribute "yellow" in the image are fully explained by the word "lemon" in the text prompt, resulting in the concept of the eggplant remaining. When CLIP performs zero-shot color recognition, we see that placing the color "purple" in the prompt can most faithfully explain the remaining concept of the eggplant in the image (Figure 4 (b)).

図 5 Examples from UNCD. Single object (Top) and Two objects per image (Bottom).

The above explanation suggests that there is a strong association between the color "purple" and the object "eggplant" in CLIP to the point where "purple" can partially explain the concept of the eggplant. What if we break this strong association? Does the gap between Two objects and Two objects* disappear?

Zero-shot transfer from CLIP to unnatural color recognition

図 6 Zero-transfer performance of CLIP to color recognition on UNCD, where we assign non-associated color to each vegetable. CLIP achieves $80 \%$ accuracy when there is a single object in the image. While the accuracy drops for Two objects, the drop is not as significant as the NCD case. Furthermore, the gap between Two objects and Two objects* vanishes, compared to the NCD case.

To test this, we create a version of NCD, which we call UNnatural-Color Dataset (UNCD), where we artificially change the color of each fruit and vegetable to nonassociated color. Examples are shown in Figure 5. We repeat the same experiment on UNCD. The results are shown in Figure 6. We see that the zero-shot performance for a single object is still high, suggesting that CLIP can pick up the color attribute even if the color is not strongly associated with the object itself. However, for the two object cases, we see that there is almost no difference between Two objects and Two objects* tasks. In other words, CLIP predicts the two non-associated colors in the image with almost equal chance.

Why does the CAB gap disappear when objects are paired with random attributes in images? This result arises from a common mechanism that impacts both the Two objects and Two objects* tasks. To see this, we go back to our diagram in Figure 4 (c). When the colors are unnatural (e.g., a lemon in red color and an eggplant in green color), then the remaining bag of concepts that are yet to be explained by the text include "red", "green", and "eggplant". This is because the color "red" is not associated with the concept of "lemon", and therefore the word "lemon" in the text prompt cannot explain the color "red", unlike the case that uses natural color. As a result, CLIP can choose either "red" or "green" for color recognition. And indeed, surprisingly, CLIP randomly chooses between the two it does not associate the concept of "red" with the lemon, even though in the image the lemon unambiguously ap- pears in red. Likewise, for the Two objects* task (in which the correct prediction is defined as the color of object $\mathrm{B}$ when asked for object A), CLIP essentially randomly picks one of the two colors present in the image, despite the fact that each object has their own very distinct color.

図 7 The Concept Association Bias (CAB) remains regardless of the spatial configurations such as "left \& right", "up \& down", "upper-left \& down-right", and "large \& small". We use the same subset of NCD as in Figure 3.

## 3.1 The spatial arrangement has almost no effect on CAB

In our earlier experiments on NCD and UNCD, two objects are positioned side-by-side. To see if CAB is robust to the positioning of objects, we vary the spatial arrangement of the two objects in the image. Concretely, we test the following spatial configurations: left \& right, up \& down, and upper-left \& down-right. We also vary the size of the two objects for left \& right, which is denoted as "large \& small". As Figure 7 shows, CAB is not affected by either spatial arrangements or the object size.

## 4 Conclusion

Every object has a set of concepts that are roughly associated with it. For instance, the object "lemon" can be associated with "yellow", "fruit", and so on. Such concept association is automatically learned in vision-language models such as CLIP, to the point where the word "yellow" can partially explain the object "lemon" in certain cases. We establish that the Concept Association Bias (CAB) exists for CLIP through a series of experiments. CLIP is increasingly popular in both computer vision and natural language processing. We hope our work raises awareness of the brittleness of CLIP as we develop new models on top of CLIP.

## Acknowlegments

Computational resource of AI Bridging Cloud Infrastructure $(\mathrm{ABCI})$ provided by National Institute of Advanced Industrial Science and Technology (AIST) was used for the experiments in this paper.

## 参考文献

[1] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning Transferable Visual Models From Natural Language Supervision. In Proceedings of the 38th International Conference on Machine Learning, pp. 8748-8763. PMLR.

[2] Chao Jia, Yinfei Yang, Ye Xia, Yi-Ting Chen, Zarana Parekh, Hieu Pham, Quoc Le, Yun-Hsuan Sung, Zhen Li, and Tom Duerig. Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision. In Proceedings of the 38th International Conference on Machine Learning, pp. 4904-4916. PMLR.

[3] Sheng Shen, Liunian Harold Li, Hao Tan, Mohit Bansal, Anna Rohrbach, Kai-Wei Chang, Zhewei Yao, and Kurt Keutzer. How Much Can CLIP Benefit Vision-andLanguage Tasks?

[4] Yash Goyal, Tejas Khot, Douglas Summers-Stay, Dhruv Batra, and Devi Parikh. Making the v in VQA Matter: Elevating the Role of Image Understanding in Visual Question Answering. pp. 6904-6913.

[5] Haoyu Song, Li Dong, Weinan Zhang, Ting Liu, and Furu Wei. CLIP Models are Few-Shot Learners: Empirical Studies on VQA and Visual Entailment. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 6088-6100. Association for Computational Linguistics.

[6] Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, and Mark Chen. Hierarchical Text-Conditional Image Generation with CLIP Latents.

[7] Renrui Zhang, Ziyu Guo, Wei Zhang, Kunchang Li, Xupeng Miao, Bin Cui, Yu Qiao, Peng Gao, and Hongsheng Li. PointCLIP: Point Cloud Understanding by CLIP. pp. 8552-8562.

[8] Aditya Sanghi, Hang Chu, Joseph G. Lambourne, Ye Wang, Chin-Yi Cheng, Marco Fumero, and Kamal Rahimi Malekshan. CLIP-Forge: Towards Zero-Shot Text-To-Shape Generation. pp. 18603-18613.

[9] Can Wang, Menglei Chai, Mingming He, Dongdong Chen, and Jing Liao. CLIP-NeRF: Text-and-Image Driven Manipulation of Neural Radiance Fields. pp. 3835-3844.

[10] Koustuv Sinha, Robin Jia, Dieuwke Hupkes, Joelle Pineau, Adina Williams, and Douwe Kiela. Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 2888-2913. Association for
Computational Linguistics

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics.

[12] Dan Hendrycks and Thomas Dietterich. Benchmarking Neural Network Robustness to Common Corruptions and Perturbations.

[13] Dan Hendrycks, Steven Basart, Norman Mu, Saurav Kadavath, Frank Wang, Evan Dorundo, Rahul Desai, Tyler Zhu, Samyak Parajuli, Mike Guo, Dawn Song, Jacob Steinhardt, and Justin Gilmer. The Many Faces of Robustness: A Critical Analysis of Out-of-Distribution Generalization.

[14] Andrei Barbu, David Mayo, Julian Alverio, William Luo, Christopher Wang, Dan Gutfreund, Josh Tenenbaum, and Boris Katz. ObjectNet: A large-scale bias-controlled dataset for pushing the limits of object recognition models. In Advances in Neural Information Processing Systems, Vol. 32, pp. 9453-9463.

[15] Ben Bogin, Shivanshu Gupta, Matt Gardner, and Jonathan Berant. COVR: A Test-Bed for Visually Grounded Compositional Generalization with Real Images. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 9824-9846. Association for Computational Linguistics.

[16] Tristan Thrush, Ryan Jiang, Max Bartolo, Amanpreet Singh, Adina Williams, Douwe Kiela, and Candace Ross. Winoground: Probing Vision and Language Models for Visio-Linguistic Compositionality. pp. 5238-5248.

[17] Royi Rassin, Shauli Ravfogel, and Yoav Goldberg. DALLE-2 is Seeing Double: Flaws in Word-to-Concept Mapping in Text2Image Models.

[18] Chitwan Saharia, William Chan, Saurabh Saxena, Lala Li, Jay Whang, Emily Denton, Seyed Kamyar Seyed Ghasemipour, Burcu Karagol Ayan, S. Sara Mahdavi, Rapha Gontijo Lopes, Tim Salimans, Jonathan Ho, David J. Fleet, and Mohammad Norouzi. Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding.

[19] Jiahui Yu, Yuanzhong Xu, Jing Yu Koh, Thang Luong, Gunjan Baid, Zirui Wang, Vijay Vasudevan, Alexander $\mathrm{Ku}$, Yinfei Yang, Burcu Karagol Ayan, Ben Hutchinson, Wei Han, Zarana Parekh, Xin Li, Han Zhang, Jason Baldridge, and Yonghui Wu. Scaling Autoregressive Models for Content-Rich Text-to-Image Generation.

[20] Saeed Anwar, Muhammad Tahir, Chongyi Li, Ajmal Mian, Fahad Shahbaz Khan, and Abdul Wahab Muzaffar. Image Colorization: A Survey and Dataset.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# エッジプロービングを用いた事前学習済みの 視覚と言語に基づくモデルにおける言語知識の分析

白井尚登 1 上垣外英剛 1 渡辺太郎 1
1 奈良先端科学技術大学院大学
\{shirai.naoto.sq5, kamigaito.h, taro\}@is.naist.jp

## 概要

近年 Transformer ベースの Vision-and-Language (V\&L) モデルが次々に提案され, 画像情報に対 する質問応答などのマルチモーダルタスクで成功を 収めている.一方で，V\&L モデルが適するタスクを 把握するためには，V\&L モデルが有する言語処理能力を知ることが必要である. 本研究ではエッジプ ロービングというフレームワークを採用し, 事前学習済み (V\&L) モデルである VisualBERT と LXMERT が有する言語知識の分析を行う.このプロービング 手法を用いることで品詞タグ付けなど 8 つの分類タ スクのスコアの算出と，分類に寄与する隠れ層の定量化を実現する. 実験の結果,VisualBERT は全体的に BERT とタスクごとの精度や分類に寄与する層が近 しい一方,LXMERT は全体的に精度が低く, より低層 の情報が寄与していることが判明した.

## 1 はじめに

近年, Vision-and-Language (V\&L) モデルとして,言語と画像を横断した汎用的なマルチモーダル表現の獲得のために,Transfomer に基づく事前学習済み モデルが次々と提案されている [1].V\&L モデルには BERT [2]を模したエンコーダを用いるものが多く，言語と画像を含む入力に対する扱いの差異によっ て, Single-stream モデルと Dual-stream モデルに大別 される (図 1). Single-stream モデルは言語と画像を 一つのエンコーダで処理し, Dual-stream モデルは言語と画像を別々のエンコーダで処理した後, その結果を一つのエンコーダで統合する階層的なモデル構造である.これらのモデルは画像情報を踏まえた質問応答 [3] などマルチモーダルタスクの精度向上に 貢献している [1].

現在，これらの V\&L モデルが視覚情報を学習す ることで，テキストのみを学習したモデルよりも良

図 1 Single-stream(左) と Dual-stream(右) モデルの構成. 入力した視覚情報, 言語情報に対する処理方法が異なる.

い文脈表現を獲得できているのかの調査が行われて いる. 先行研究 $[4,5]$ では，事前学習済み $V \& L$ モデ ルの言語理解能力をベンチマーク GLUE [6] で評価 し， Single-stream モデルは Dual-stream モデルよりも 僅かに高い言語理解能力を有しているが，単に画像情報を学習するだけでは言語理解能力が向上しない ことを主張している.また,これらの研究ではテキス トのみの評価データに対として入力する視覚情報の 差異による性能変化についても議論されている.

このように V\&L モデルにおける検証ではベンチ マークスコアに基づいた方法が行われている一方，自然言語処理分野では事前学習済みモデルに対す るより詳細な分析手法として，エッジプロービン グ [7] と呼ばれるフレームワークが提案されている. エッジプロービングは事前学習済みモデルにトーク ン列からなるスパンを入力し，出力された表現を利用した分類器が対応するラベルをタスクごとに予測 することで行われる.この際，分類器に入力するス パン表現はパラメータを固定したモデルの各層に重 み付けをするスカラーミキシングにより得られる。 エッジプロービングとスカラーミキシングを組み合 わせた手法は学習した各層への重みを参照すること で，分類タスクごとに寄与する層を定量的に評価で きる利点がある.

自然言語処理分野ではこのアプローチで BERTを
分析することにより,BERT の隠れ層は品詞タグ付 け, 構文解析, 固有表現抽出といった深層学習導入以前の自然言語処理で使用されていた逐次的な言語処理と対応する関係を持つという画期的な知見が得ら れている [8].

一方で, 事前学習済みの V\&L モデルに対しては, エッジプロービングを用いてテキストとともに画像情報を入力する VisualBERT [9], 動画情報を入力す る VideoBERT [10] の調査がなされている [11]. この 研究でも視覚情報の学習が言語処理能力の大幅な 改善に繫がっていないという見解が示された. なお， Dual-stream モデルが有する言語知識に関しては言語エンコーダに限定し, 文埋め込みに基づくベンチ マーク SentEval [12] によって評価されている [13].

このように V\&L モデルに対して様々な検証が行 われている一方，既存研究では V\&L モデルで各隠 れ層がどの分類タスクに寄与しているのかの十分な 分析がなされておらず，自然言語処理データで獲得 された層間の関係がどれほどモデルに残されるのか も明らかにはなっていない. 同様に Single-stream モ デルや Dual-stream モデルといった構造の違いが各層に与える影響についても明らかではない.

本研究ではこれらの点を明らかにするために，事前学習済みの VisualBERT と LXMERT [14] の有する 言語知識に焦点を当て，エッジプロービングとスカ ラーミキシングの手法からタスクごとの精度や自然言語タスクの解決に寄与する層が何かを定量的に示 す. 実験の結果，VisualBERT はタスクに応じた層を 利用することで視覚情報を学習しながらも BERT に 劣らない精度を維持する一方，LXMERT は全体的に 精度が低く，より低層の情報が自然言語処理に寄与 していることが判明した。

## 2 V\&L モデル

本研究では異なる構造 (Stream) のモデルが有する 言語知識を評価するために Single-stream モデルであ る VisualBERT と Dual-stream モデルである LXMERT を比較する．以下では両モデルの概要を紹介する。

## 2.1 VisualBERT

VisualBERT [9] は最初期の事前学習済み V\&L モ デルとして知られており [1]，画像べクトル表現 とテキストの埋め込み表現を連結して入力する Single-stream モデルである. 初期化は事前学習済み の BERT $_{\text {BASE }}$ [2] の重みを引き継ぐことで行われ，

図 2 意味役割 (SRL) タスクのプロービングモデルの例.与えられたスパンから”strawberry ice cream” $\left(s_{2}\right)$ が”eat" $\left(s_{1}\right)$ の対象となるか予測する. スパン表現は固定した事前学習済みモデルから得たトークンの表現ベクトル $\mathrm{e}=\left[e_{0}\right.$, $\left.e_{1}, \cdots, e_{n}\right]$ をプーリングすることで獲得する。

MS COCO [15] によって追加の事前学習が行われる. また，VQA [16] などの下流タスクへの適用はファ インチューニングで行う. 画像の特徴量は Faster R-CNN [17] でオブジェクト領域のバウンディング ボックスを検出し，エンコードすることで獲得さ れる.

## 2.2 LXMERT

LXMERT [14] は画像と言語を別々のエンコーダ で学習し，両モダリティの関係性を上層のクロス モダリティエンコーダで学習する Dual-stream の モデルである。事前学習時にはデータセットとし て MS COCO,VQA,Visual Genorm [18],GQA [19],VGQA [20]を使用する。入力する画像表現には VisualBERT と同様に Faster R-CNN で検出した特徴量を用いる.

## 3 分析手法

## 3.1 エッジプロービング

本研究は事前学習済みモデルが有する言語知識を 調査するために Tenney らが提案したエッジプロー ビング [7] というアプローチを採用する. エッジプ ロービングは分類器を通して事前学習済みモデルに 含まれる言語構造に関する情報を抽出して調査す ることを目的としている。この分類器は事前学習済 みモデルに与えられたトークンのスパンに対する 出力を入力として受け取り，品詞情報などタスクに 関するラベルを予測する。図 2 に処理手順の例を示

す.この例では分類器はスパン $s_{1}=\left[i_{1}, j_{1}\right)$ とスパ ン $s_{2}=\left[i_{2}, j_{2}\right)$ に対応する表現を受け取る. スパン 表現は与えられたスパンのトークンの埋め込み表現 を各層の活性度を重み付け (スカラーミキシング §4) し，プーリングしたものである。なお，事前学習時 に獲得した言語知識を調査するためにエンコーダの 重みは固定し, 分類器をタスクごとに学習する.

## 3.2 分類タスクとデータセット

本研究では言語知識に関する分類タスクとし て8つのラベル付けタスクを対象とし，結果を micro-F1 スコアで評価する. データセットには依存関係（Deps.）に English Web Treebank [21], 非文法的な意味役割 (SPR2) には SPR2 [22], 関係分類（Relations）として SemEval 2010 Task 8 [23] を 使用する. そして, 品詞 (POS), 句構造 (Consts.), 固有表現 (Entities), 意味役割 (SRL), 共参照 (Coref.) に は OntoNotes 5.0 [24]を用いる.これらタスクの一例は付録 A. 1 に記載している。なお，POS, Consts., Entities は単一のスパンからラベルを予測をするた め, プロービングでは図 2 のような $s_{2}$ を使用しない.

## 3.3 入力画像

本分析では言語知識を問うデータセットがテキ ストのみで構成されているため，V\&L モデルに入力する視覚的特徴が問題となる. 先行研究ではエッ ジプロービングによって言語知識を定量化する際 に事前学習済み $\mathrm{V} \& \mathrm{~L}$ モデルには視覚情報を入力せ ず，テキスト入力のみで調査している [11]. 一方， GLUE で評価する際には黒画像 $(224 \times 224$ ピク セル)を使用し，特徵量抽出のための Faster R-CNN detector $[25]^{1}$ で最初に検出した 36 個のバウンディ ングボックスの特徴量をエンコードしている [4].本研究でも黒画像の入力を採用しているが，黒画像 はあくまで入力する視覚的特徴の代替案の一つであ ることに注意されたい. 黒画像の代わりにゼロべク トルや V\&L タスク用データセット内の画像の特徴量平均などを視覚情報の代替として入力することが 提案されている [5]. なお, VisualBERT はテキスト のみの入力が可能であるが，LXMERT は言語と画像 を別々のエンコーダで処理し，クロスモダリティエ ンコーダでその結果を統合している. したがって， テキストのみを入力する場合にはクロスモダリティ

1）本研究の物体検知には https://github.com/ peteanderson80/bottom-up-attention\#demo で提供されて いる事前学習済みモデルを使用している。
エンコーダ内の視覚側のエンコーダからの残差接続 を無効にする必要がある.

## 3.4 分析モデル

本研究では V\&L モデルとして Huggingface Transformers [26] で提供され,2023 年 1 月現在一番利用されている事前学習済み VisualBERT ${ }^{2}$ 及び LXMERT $^{3)}$ のパラメータを用いてモデルの有する言語知識の調查を行った.VisualBERT は 12 層を使用 し, LXMERT は 8 層の言語エンコーダと 5 層のクロ スモダリティエンコーダの計 13 層を調查対象とす る.また, 自然言語のみで学習されたモデルとして, 12 層の事前学習済み $\mathrm{BERT}^{4}$ を使用する。

## 4 評価方法

我々はプロービングを行う際に言語知識の獲得に モデルのどの層が寄与しているのか定量化する．そ のため, ELMo [27] で提案されたスカラーミキシン グという手法を使用する. スカラーミキシングは学習可能なパラメータをエンコーダの層の数だけ用意 し, 分類タスクごとに寄与する層を重み付けとして 学習させることで全層を通した文脈べクトルを導出 する. 具体的にはタスク $\tau$ ごとに各層 $\ell=[0,1, \cdots$, L] に対応した学習可能なパラメータ $a_{\tau}=\left[a_{\tau}^{(0)}, a_{\tau}^{(1)}\right.$, $\left.\cdots, a_{\tau}^{(L)}\right]$ を用意し，それらをソフトマックス関数に より正規化した重み $s_{\tau}$ や調整パラメータ $\gamma_{\tau}$ からあ るトークン $h_{i}$ のタスクに応じた表現ベクトル $h_{i, \tau}$ を導出する。まとめる以下の計算式 1,2 となる.

$
\begin{aligned}
s_{\tau} & =\operatorname{softmax}\left(a_{\tau}\right) \\
h_{i, \tau} & =\gamma_{\tau} \sum_{\ell=0}^{L} s_{\tau}^{(\ell)} h_{i}^{(\ell)}
\end{aligned}
$

重み $a_{\tau}$ はプロービング分類器とともにタスクご とに学習され，ソフトマックス関数により正規化さ れることで分類タスクに対する各層の寄与度を理解 しやすくなる.ここで，各層の重み $s_{\tau}^{(\ell)}$ はどの層の 情報をどの程度で使用するかという係数として捉え ることができるため，より重みが高いほどその層が その特定のタスクに関連する情報をより多く含んで いることの根拠と解釈することができる.

重心 モデルのどの層が主にタスクごとの分類に 寄与しているのか分かりやすくするため，本実験で

表 13 回の実験から得たタスクごとの micro-F1 スコアの平均. 括弧内は学習した重みの重心の平均.

図 3 各層に対応する重み付けを視覚化した一例. 左から BERT,VisualBERT,LXMERT. タスクは表 1 の左右が上下に対応.

は学習した重みの重心を以下のように求める 3.

$
\bar{E}_{s}[\ell]=\sum_{\ell=0}^{L} \ell \cdot s_{\tau}^{(\ell)}
$

これは各タスクに寄与した平均的な層を反映して おり，この重心の値が分類タスクを解く際に重要な 層を示していると解釈できる [8].

## 5 実験結果

## 5.1 分類スコアの比較

表 1 に事前学習済みモデルを使用した分類タスク ごとの micro-F1 スコアを示す. VisualBERT は先行研究 [11] と同じく大きな精度低下は見られない. こ れは引き継いだ BERT のパラメータが画像を含めた 追加的な事前学習を経ても維持されているためだと 考えられる。一方, LXMERT は BERT に対して全体的にスコアが低い. 特に低下した Relations タスク の詳細は付録 A. 2 に示す.この結果は Single-stream よりも Dual-stream モデルの方が言語処理能力が低 いという先行研究の結果 $[4,13]$ と一貫する.

## 5.2 各層の重みと重心

続いて表 1 で示した重心とスカラーミキシングに より学習されたタスクごとの各層の重みを示した 図 3 に基づいた議論を進める. VisualBERT は BERT
と同様の傾向を示し, 品詞情報などの語彙に強く依存する情報は下層の，固有表現などの文脈理解を求 める情報はより高層の埋め込み表現が分類タスク に寄与している。対する LXMERT は 2 つのモデル とは異なり，タスクの種類に関係なく，低層の情報 を使用する傾向がある．特に Entitiesのタスクでは BERT や VisualBERT よりも低い層を重視している. また,LXMERT は 9 層以降の情報をあまり使用して いないことからクロスモダリティエンコーダは言語処理タスクにあまり寄与していないと考えられる。以上の結果より,VisualBERT の言語処理能力の高さ は BERT で学習された各層の関係が維持されている ためであると考えられる。

## 6 おわりに

本研究では VisualBERT や LXMERT の有する言語知識をエッジプロービングとスカラーミキシングに よって調査した. その結果，VisualBERT が示す高 い性能は BERT により獲得された言語知識が引き継 がれているためである可能性が示唆された. また， LXMERT はタスクにあまり関係なく低層の情報が 分類タスクに寄与している傾向が判明した. このこ とより，言語と画像の情報を統合するクロスモダリ ティエンコーダで学習される表現は言語処理タスク に対してはあまり寄与しないことも明らかにした。

## 謝辞

本研究は JSPS 科研費 JP21K17801 の助成を受けた ものです.

## 参考文献

[1] Yifan Du, Zikang Liu, Junyi Li, and Wayne Xin Zhao. A survey of vision-language pre-trained models. arXiv preprint arXiv:2202.10936, 2022.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Stanislaw Antol, Aishwarya Agrawal, Jiasen Lu, Margaret Mitchell, Dhruv Batra, C. Lawrence Zitnick, and Devi Parikh. VQA: visual question answering. CoRR, Vol. abs/1505.00468, , 2015.

[4] Taichi Iki and Akiko Aizawa. Effect of visual extensions on natural language understanding in vision-and-language models. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 2189-2196, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[5] Lovisa Hagström and Richard Johansson. How to adapt pre-trained vision-and-language models to a text-only input? In Proceedings of the 29th International Conference on Computational Linguistics, pp. 5582-5596, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[6] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R. Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. CoRR, Vol. abs/1804.07461, , 2018.

[7] Ian Tenney, Patrick Xia, Berlin Chen, Alex Wang, Adam Poliak, R. Thomas McCoy, Najoung Kim, Benjamin Van Durme, Samuel R. Bowman, Dipanjan Das, and Ellie Pavlick. What do you learn from context? probing for sentence structure in contextualized word representations. In International Conference on Learning Representations, 2019.

[8] Ian Tenney, Dipanjan Das, and Ellie Pavlick. BERT rediscovers the classical NLP pipeline. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4593-4601, Florence, Italy, July 2019. Association for Computational Linguistics.

[9] Liunian Harold Li, Mark Yatskar, Da Yin, Cho-Jui Hsieh, and Kai-Wei Chang. Visualbert: A simple and performant baseline for vision and language. arXiv preprint arXiv:1908.03557, 2019.

[10] Chen Sun, Austin Myers, Carl Vondrick, Kevin Murphy, and Cordelia Schmid. Videobert: A joint model for video and language representation learning. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 7464-7473, 2019.

[11] Tian Yun, Chen Sun, and Ellie Pavlick. Does vision-andlanguage pretraining improve lexical grounding? CoRR, Vol. abs/2109.10246, , 2021.

[12] Alexis Conneau and Douwe Kiela. Senteval: An evaluation toolkit for universal sentence representations. CoRR, Vol. abs/1803.05449, , 2018.

[13] Jize Cao, Zhe Gan, Yu Cheng, Licheng Yu, Yen-Chun Chen, and Jingjing Liu. Behind the scene: Revealing the secrets of pre-trained vision-and-language models. CoRR, Vol. abs/2005.07310, , 2020.

[14] Hao Tan and Mohit Bansal. LXMERT: learning crossmodality encoder representations from transformers. CoRR, Vol. abs/1908.07490, , 2019.

[15] Tsung-Yi Lin, Michael Maire, Serge J. Belongie, Lubomir D. Bourdev, Ross B. Girshick, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. Microsoft COCO: common objects in context. CoRR, Vol. abs/1405.0312, , 2014

[16] Yash Goyal, Tejas Khot, Douglas Summers-Stay, Dhruv Batra, and Devi Parikh. Making the V in VQA matter: Elevating the role of image understanding in visual question answering. CoRR, Vol. abs/1612.00837, , 2016.

[17] Shaoqing Ren, Kaiming He, Ross B. Girshick, and Jian Sun. Faster R-CNN: towards real-time object detection with region proposal networks. CoRR, Vol. abs/1506.01497, , 2015.

[18] Ranjay Krishna, Yuke Zhu, Oliver Groth, Justin Johnson, Kenji Hata, Joshua Kravitz, Stephanie Chen, Yannis Kalantidis, Li-Jia Li, David A. Shamma, Michael S. Bernstein, and Li Fei-Fei. Visual genome: Connecting language and vision using crowdsourced dense image annotations. CoRR, Vol. abs/1602.07332, , 2016

[19] Drew A. Hudson and Christopher D. Manning. GQA: a new dataset for compositional question answering over real-world images. CoRR, Vol. abs/1902.09506, , 2019.

[20] Yuke Zhu, Oliver Groth, Michael S. Bernstein, and Li Fei-Fei. Visual7w: Grounded question answering in images. CoRR, Vol. abs/1511.03416, , 2015.

[21] Natalia Silveira, Timothy Dozat, Marie-Catherine de Marneffe, Samuel Bowman, Miriam Connor, John Bauer, and Chris Manning. A gold standard dependency corpus for English. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pp. 2897-2904, Reykjavik, Iceland, May 2014. European Language Resources Association (ELRA).

[22] Aaron Steven White, Drew Reisinger, Keisuke Sakaguchi, Tim Vieira, Sheng Zhang, Rachel Rudinger, Kyle Rawlins, and Benjamin Van Durme. Universal decompositional semantics on Universal Dependencies. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1713-1723, Austin, Texas, November 2016. Association for Computational Linguistics.

[23] Iris Hendrickx, Su Nam Kim, Zornitsa Kozareva, Preslav Nakov, Diarmuid Ó Séaghdha, Sebastian Padó, Marco Pennacchiotti, Lorenza Romano, and Stan Szpakowicz. SemEval-2010 task 8: Multi-way classification of semantic relations between pairs of nominals. In Proceedings of the 5th International Workshop on Semantic Evaluation, pp. 33-38, Uppsala, Sweden, July 2010. Association for Computational Linguistics.

[24] Mitchell Marcus Eduard Hovy Sameer Pradhan Lance Ramshaw Nianwen Xue Ann Taylor Jeff Kaufman Michelle Franchini Mohammed El-Bachouti Robert Belvin Ann Houston Ralph Weischedel, Martha Palmer. Ontonotes release 5.0 ldc2013t19. Web Download. Philadelphia: Linguistic Data Consortium, 2013.

[25] Peter Anderson, Xiaodong He, Chris Buehler, Damien Teney, Mark Johnson, Stephen Gould, and Lei Zhang. Bottom-up and top-down attention for image captioning and visual question answering. In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 6077-6086, 2018.

[26] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, and Jamie Brew. Huggingface's transformers: State-of-the-art natural language processing. CoRR, Vol. abs/1910.03771, , 2019.

[27] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

## A 付録

## A. 1 タスクの例

表 2 タスクごとの文章, スパン, ターゲットラベルの例.

## A. 2 関係分類 (Relations) タスクの詳細

表 3 関係抽出 (Relations) タスクのラベルと文章例. 各ラベルは因果 (Cause-Effect), 道具と使用者 (Instrument-Agency), 生産物と生産者 (Product-Producer), 物体と入れ物 (Content-Container), エンティティと起源 (Entity-Origin), エンティティと目的地 (Entity-Destination), 構成物と全体 (Component-Whole), 一部と集合したもの (Member-Collection), メッセージとトピッ ク (Message-Topic)との関係性を表す.

表 43 回の実験から得た Relations タスクの micro-F1 スコアの平均. VisualBERT は BERT と比べ, 関係分類タスク全体 (ALL) だけではなくラベルレベルでも精度に大きな差は見られない.一方, LXMERT は BERT に対してタスク全体もラべ ルレベルでもスコアが低い傾向がある.特に生産物と生産者との関係性を問う PP の精度が大幅に低下している.


# VideoCLIP を用いた実験動画からのプロトコル生成

山本航輝 ${ }^{1}$ 西村太一 ${ }^{1}$ 亀甲博貴 ${ }^{2}$ 森信介 ${ }^{2}$
1 京都大学大学院 情報学研究科 2 京都大学 学術情報メディアセンター
\{yamamoto.koki.76n,nishimura.taichi.43x\}@st.kyoto-u.ac.jp
\{kameko, forest\}@i.kyoto-u.ac.jp

## 概要

本研究では，研究における再現性向上の目的の 下，生化学分野における一人称視点の実験映像から の，実験手順を表すプロトコルの自動生成に取り組 んだ.プロトコルの生成において，フレームに映っ ている物体の名称に加え，VideoCLIP により推定し た実験者の動作を動詞として利用することで，物体 の名称のみを用いた場合よりも多くの情報を用いた プロトコル生成を行なった. その結果, 正しい動詞 を利用することでより適切なプロトコルを生成する ことができた.

## 1 はじめに

心理学や化学など様々な研究領域において, 研究の再現性の低さが問題視されている. Baker の調査 [1] によれば，研究者約 1,500 人の内 $70 \%$ 以上が 他の研究者の実験結果を再現できなかった経験があ ると述べている. 科学的研究結果を普遍的なものに するために，再現性を向上させることが求められて いる.

研究領域の中でもとりわけ，薬品や実験器具を扱 う生化学実験の再現における重要な要素のひとつと してプロトコルが挙げられる. プロトコルとは必要 な器具や薬品の名称とともに実験の手順を時系列順に記した文書であり，実験を再現する研究者はプ ロトコルを参照することで, 実験手順や試薬の量と いった実験の再現に必要な情報を得ることができ る.プロトコルに記述漏れや誤りがある場合, 研究者は誤った情報をもとに実験を再現することに繋が り，プロトコルを正しく記述することは実験の再現性に関わる大きな要因のひとつだと言える。

このようなプロトコルの記述漏れや誤りを防ぐ手段のひとつとして，自動的なプロトコルの作成が挙 げられる. 人間の手を介さずにプロトコルを記述す ることにより，ヒューマンエラーによる記述誤りを防ぐと同時に，人手によるプロトコル作成のコスト を削減することができる。

本研究では自動的なプロトコル作成の一例とし て，視覚モデルと言語モデルを用いた，実験映像か らのプロトコル生成に取り組む. 本研究で提案する 手法は西村らが発表したプロトコル生成手法 [2]を 拡張したものである. 西村らは生化学実験の実験映像中に現れる試薬や実験器具の名称を言語モデルに 与え，プロトコルの生成を行なっていた. しかし，加える試薬の量や実験者の動作等といった視覚情報 が与えられておらず，それらの情報だけでは十分と は言えない，本研究では，実験映像から実験者の動作を推定し，映像中の試薬や実験器具に加え，動作 も加味することでより多くの情報を用いたプロトコ ル生成に取り組んだ。 その結果, 言語モデルに正し い動詞を与えることでより適切なプロトコルが生成 できることを確認した.

## 2 BioVL2 データセット

本研究では，生化学分野における一人称視点の実験映像データセットである BioVL2 データセット [2] を用いてプロトコルの生成に取り組む. BioVL2 データセットは，生化学分野における基礎的な 4 種類の実験の様子を撮影した一人称視点の動画像デー タセットである.

BioVL2データセットには, (1) 実験映像に対応す るプロトコル，及び (2) 映像フレーム中に現れる試薬，実験器具のバウンディングボックスの 2 種類の アノテーションが与えられている. (1) に関して, プロトコルは各実験映像の実験手順を時系列順に記 したものであり，それぞれの手順と，実験映像中の 各手順に対応する開始時刻と終了時刻が付与され ている。(2)に関して，実験映像から 4 秒ごとにフ レームを切り出し，フレーム中に現れる試薬及び実験器具のバウンディングボックス及びそれらの名称 が 4 秒毎のフレームに対して付与されている.

図 1 プロトコル生成の手順

## 3 実験映像からのプロトコル生成

本研究で扱う BioVL2 データセットは合計 3 時間 ほどの動画像データセットであり, 学習データ量の 観点から，映像データを入力として直接プロトコル を生成するような深層学習モデルを構築することは 難しい. そこで本研究ではプロトコルの生成手法と して西村らの手法 [2] を拡張し, 適用する. 図 1 に 手法の概要を示す. 西村らの研究では, 牛久らの手法 [3] を基に，BioVL2 データセットを用いて以下の 4 つの手順により実験映像からプロトコルを生成す る. 一つの実験映像に対するプロトコル生成の手順 を以下に示す。
1. 4 秒に 1 枚フレームを抽出し，あらかじめアノ テーションされた物体名（bio-Named Entity, 以下 b-NEとする）を抽出する。

2. 連続するフレームの b-NE を統合し， b-NE 列を 得る. 図 1 の例では， 5 番目のフレームと 6 番目のフレームから'primer1'と'DNA engine'とい う b-NE が得られ, b-NE 列 $\{$ 'primerl'\}， \{'DNA engine'\}, \{'primer1', 'DNA engine'\} を得る.

3. 得られた b-NE 列を, 事前学習済みの文生成モ デルに与え，手順の候補文とその尤もらしさを 表すスコアを得る。

4. 手順 3 により得られた候補文の中から，候補文 のスコアに基づいたビタビアルゴリズムによ り，最も尤もらしい文の組み合わせを探索し，
プロトコルとする.

西村らの手法の問題点は, 手順 3 において実験映像中に現れる b-NE のみを文生成モデルに与えること で候補文の生成を行なっており，映像の視覚的情報 を無視してしまっている点である。そこで本研究で は上記の手順 3 を，「得られた b-NE 列，及び連続す るフレーム間の実験映像から推定される動作を文生成モデルに与え，手順の候補文を生成する」という 手順に変更した。

## 3.1 b-NE の抽出と統合

BioVL2 の実験映像では動画の 4 秒毎に，フレー ム中に現れる b-NE がバウンディングボックス によりアノテーションされている.これらのア ノテーションから，各フレームにおける b-NE 及 び連続するフレーム列における b-NE 列を以下 のようにして得る. $i$ 番目のフレームを $f_{i}, i$ 番目のフレームから連続する $l$ 個のフレーム列を $\boldsymbol{f}_{n}^{l}=\left(f_{n}, f_{n+1}, \ldots, f_{n+(l-1)}\right)$ とし, フレーム $f_{i}$ が b-NE 集合 $\varepsilon_{i}$ を持つとする. この時フレーム列 $f_{i}^{l}$ が持 $\supset \mathrm{b}-\mathrm{NE}$ 集合は $e_{n}^{l} \in \varepsilon_{i} \times \varepsilon_{i+1} \times \ldots \times \varepsilon_{i+(l-1)}$ と書ける （×は集合のデカルト積を表す)，西村らの手法と 同様に，フレーム列の長さ $l$ について $l=1,2,3$ に 対応する b-NE 列を獲得する。例として，図 1 のフ レーム $f_{5}, f_{6}$ が b-NE としてそれぞれ'primer1', 'DNA engine'を持つ場合，フレーム列 $f_{5}^{2}$ が持つ b-NE 集合は'primer1', 'DNA engine'となる.

## 3.2 実験映像からの動作推定

続いて，連続するフレーム列の間の実験映像か ら，実験者の動作を推定する．生化学分野における 実験を対象とした大規模動画像データセットは存在 せず，実験映像を入力とした動作推定を行うモデル を学習させることは困難である。 よって本研究では 動作推定を行うモデルとして，タスクに応じたモデ ルの再学習を必要とせず，ゼロショットで下流タス クを解くことのできる VideoCLIP [4]を用いる.

## 3.2.1 VideoCLIP

VideoCLIP は動画と言語の対応関係を学習 した Vision-Language モデルである. VideoCLIP は HowTo100M [5] データセットを用いた対照的学習に より事前学習されている. VideoCLIP は事前学習に 用いていない様々な動画像データセットを対象とし た Vision-Language タスクにおいて高い精度を記録 している.

VideoCLIP や CLIP 等といった，大規模なデータ セットで事前学習を行うことによりゼロショット での下流タスク解決が可能な Vision-Language モデ ルにおいては，タスクに応じてプロンプトと呼ばれ る入力テキストの形式を変えることが精度向上に つながることが知られている [6]. タスクに応じた プロンプト最適化の具体例として，VideoCLIPを用 いて動画中の動物が犬・猫のどちらであるかを分類 するという2クラス分類タスクについて考える.こ の時，テンプレート文として “a video of \{class\}”とい う文をあらかじめ用意しておき，テンプレート文中 の'\{class\}' の部分を'dog', 'cat' という単語で置き換 えることにより，それぞれのクラスに対応したプロ ンプトを得る．このようなプロンプトをテキスト入力として用いることで, 'dog' や'cat'といったクラ ス名を直接テキスト入力に使用した場合よりも高い 精度を記録できることが知られている。本研究で用 いるプロンプトについては 4.2 で述べる.

## 3.2.2 VideoCLIP を用いた動作の推定

連続するフレーム列 $\boldsymbol{f}_{n}^{l}$ 間に対応する部分実験映像を $\boldsymbol{v}_{n}^{l}$ とし， $i$ 番目の動作の候補となる単語を，あ らかじめ用意したテンプレート文に埋め込んだプロ ンプトを $t_{i}$ とする. $v_{n}^{l}$ と $t_{i}$ の類似度を VideoCLIP を用いて算出し, 類似度の高い動詞の組 $a_{n}^{l}$ を動作 の候補として選出する。

## $3.3 b$-NE 列及び動作からの候補文生成

続いて，選出された動詞の組 $a_{n}^{l}$ と得られた b-NE 列 $e_{n}^{l}$ を用いて実験手順の候補となる文を生成す る. 西村らの手法と同様, 文生成モデルには WLP データセット [7] で事前学習した Transformer にコ ピー機構を加えたモデルを用いる。コピー機構をモ デルに組み込むことで，入力として渡される b-NE 及び動詞を正しく出力に反映させることができる. b-NE 列 $e_{n}^{l}$ と，VideoCLIP を用いて推定された動詞 を Transformer に与え，候補文を生成する。

次の手順にて最適な候補文を探索するために，生成された候補文毎に，文の尤もらしさを以下の式に よりスコアとして計算しておく.

$
\operatorname{Score}\left(e_{n}^{l}\right)=\prod_{i=1}^{N} p\left(d_{i} \mid d_{1}, d_{2}, \ldots, d_{k-1} ; e_{i}^{l}\right)
$

ここで $d_{i}$ は出力文の $i$ 番目の単語， $N$ は単語列の長 さを表す。

## 3.4 候補文を用いたプロトコルの選定

最後に，生成された候補文の中からスコアが最も 高い文の系列，すなわちプロトコルを構成する文章 として最も尤もらしい文の系列をプロトコルとして 出力する。候補文からプロトコルの選定を行うため の探索は，西村らの手法に倣い，ビタビアルゴリズ ムにより行う。

## 4 実験と結果

前節で説明したプロトコル生成手法により， BioVL2 データセットの実験映像からプロトコル生成を行うタスクに取り組んだ。

## 4.1 事前学習

文生成モデルの事前学習には WLP データセッ ト [7]を用いた．WLPデータセットは生物学分野に おける実験プロトコルを収集したテキストデータ セットであり，各プロトコルの文には，単語レベ ルでの b-NE のアノテーションが付与されている. b-NE のアノテーションは，試薬を表す Reagent や実験器具を表す Device などいくつかのタグに分けら れているが，BioVL2において付与されているアノ テーションが Reagent, Device, Location であることか ら，これら 3 種類のタグ及び実験者の動作を表す Action を文生成モデルの入力として与えた.

表 1 自動評価指標によるスコア.太字は各評価指標において最も高いスコアを表す

## 4.2 プロンプト

VideoCLIP を用いた動作推定において，3.2.1 で説明した，動詞の候補を埋め込むテンプレート文を利用した。テンプレート文として，動詞のみを埋め込 むテンプレート文と, 動詞と b-NEを埋め込むテンプ レート文の 2 種類を用意した. 動詞のみを埋め込む テンプレート文は “a video of $\{$ verb $\}$ in the laboratory, a type of actions”，実験映像中の b-NE と動詞を埋め 込むテンプレート文は”a video of $\{$ verb $\}$ using $\{b-N E\}$ in the laboratory, a type of actions”とし，例えば図 1 で は, '\{verb\}'に'set'を, '\{b-NE\}'に'primer1 and DNA engine’を埋め込むことでプロンプト “a video of set using primer 1 and DNA engine in the laboratory, a type of actions”を形成する. また，'\{verb \}' に埋め込む動詞 の候補として，WLPデータセット中の動詞の中で出現頻度が上位 30 位までの動詞，100 位までの動詞，及び BioVL2 データセット中の 14 の動詞を用いた.

## 4.3 生成プロトコルの評価

提案手法に加え，ベースラインとして，推定した 動詞を用いず b-NE のみを文生成モデルに与えた 場合，及びあらかじめアノテーションされた正解 となる動詞を b-NE と共に文生成モデルに与えた 場合についてプロトコルを生成し，比較を行なっ た. 生成されたプロトコル例を付録に示す. 生成さ れたプロトコルの自動評価尺度として，BLEU [8], METEOR [9]，ROUGE-L [10] を用い，BLEU の $N$ の 値は $N=1,2,3,4$ とし評価を行なった. 各動詞の候補及び b-NE を用いて生成したプロトコルの自動評価尺度による結果を表 1 に示す。この結果から以下 の 3 つのことがいえる.

第一に，推定した動詞の情報を文生成モデルに 与える場合，正しく動詞を推定しなければ逆に生成結果に悪影響を与えてしまうということである. BioVL2 データセットにおいてあらかじめアノテー ションされた正解となる動詞を b-NE に加えてプロ トコル生成を行なった結果がほとんどの評価指標に おいて最も高いスコアを記録しているが，動詞を用 いず b-NE のみで生成を行なった結果がそれに続く スコアとなっている. このことから，プロトコル生成に動作の情報を用いることは有用であるが，適切 な動作の情報を用いなければそれらがノイズとなっ てしまうといえる.

第二に，テンプレート文に動詞のみを埋め込む場合よりも，動詞と b-NE の両方を埋め込んで動詞の 推定を行う方がよいということである。この原因と して'Centrifuge'など，専門的な実験器具を操作する 動詞の推定には対象となる実験器具の名称が必要で あることが挙げられる。

第三に，候補となる動詞の集合と，BioVL2 デー タセットに現れる動詞の集合との乘離が小さいほど 良いプロトコルが得られるということである。これ は候補となる動詞の集合が大きくなることで，推定 した動詞が BioVL2 データセットに含まれる動詞と 異なる確率が高くなり，結果として正解のプロトコ ルと生成されたプロトコルの差異が大きくなること が原因であると考えられる。

## 5 おわりに

本研究では，実験映像からの実験者の動作を加味 したプロトコル生成を行なった. 本研究におけるプ ロトコルの評価結果は，実験者の動作の情報を与え ることは有用であるが，与える動作の情報が正しい ものでなければ，プロトコルの生成において悪影響 を及ぼすということを示している．今後の方針とし て，より正確な動詞の推定手法を用いたプロトコル の生成を行うことが考えられる。

## 謝辞

本研究は JSPS 科研費 JSPS 21J20250 の助成を受け

たものです.

## 参考文献

[1] Baker M. 1,500 scientists list the lid on reproducibility. Nature, Vol. 533, pp. 452-454, 2016.

[2] Atsushi Ushiku Atsushi Hashimoto Natsuko Okuda Fumihito Ono Hirotaka Kameko Taichi Nishimura, Kojiro Sakoda and Shinsuke Mori. Biovl2 dataset: Egocentric biochemical video-and-language dataset. Journal of Natural Language Processing, 2022.

[3] Atsushi Ushiku, Hayato Hashimoto, Atsushi Hashimoto, and Shinsuke Mori. Procedural text generation from an execution video. In International Joint Conference on Natural Language Processing, pp. 326-335, 2017.

[4] Hu Xu, Gargi Ghosh, Po-Yao Huang, Dmytro Okhonko, Armen Aghajanyan, Florian Metze, Luke Zettlemoyer, and Christoph Feichtenhofer. VideoCLIP: Contrastive pretraining for zero-shot video-text understanding. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), Online, November 2021. Association for Computational Linguistics.

[5] Antoine Miech, Dimitri Zhukov, Jean-Baptiste Alayrac, Makarand Tapaswi, Ivan Laptev, and Josef Sivic. HowTo100M: Learning a Text-Video Embedding by Watching Hundred Million Narrated Video Clips. In International Conference on Computer Vision, 2019.

[6] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In Proceedings of the International Conference on Machine Learning, pp. 8748-8763, 2021.

[7] Chaitanya Kulkarni, Wei Xu, Alan Ritter, and Raghu Machiraju. An annotated corpus for machine reading of instructions in wet lab protocols. In North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 97-106, 2018.

[8] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Association for Computational Linguistics, pp. 311-318, 2002.

[9] Satanjeev Banerjee and Alon Lavie. METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. In Association for Computational Linguistics, pp. 65-72, 2005.

[10] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, 2004. Association for Computational Linguistics.

 & 手順 1 &  & 手順 1 &  \\

表 2 フェノールクロロホルム法の映像に対するプロトコル生成結果の例

## A BioVL2 データセット

BioVL2データセットは，生化学分野における実験映像を収集した一人称視点の映像データセットである。生化学分野 での基礎的な実験である PCR，ミニプレップ法，アガロースゲル作成，DNA 抽出の 4 種類の実験をそれぞれ 8 動画ずつ 撮影している。実験映像の撮影は，実験者の頭にヘッドマウントカメラを取り付け行われており（図 2)，計 32 動画，約 178 分の動画像データセットとなっている. また BioVL2 データセットには， (1) 実験映像に対応するプロトコル，及び (2) 実験映像中に現れる試薬, 䒠験器具の映像中のバウンディングボックスの 2 種類のアノテーションが与えられている.

## A. 1 実験映像とプロトコルの対応関係のアノテーション

実験映像に対応するプロトコルは，実験者が実験内容を口頭で説明したものが文書化され与えられている。プロトコ ルは実験者の動作ごとに手順として区切られており，例えば“Add phenol chloroform and invert violently.”という内容は “Add phenol chloroform”と “Invert violently”という手順に分けられる. また各手順に対して, 実験映像における開始時刻と終了時刻が付与されている.

## A. 2 実験映像中の物体に対するアノテーション

実験映像中の物体対して付与されたバウンディングボックスの例を図 3 亿示す. このアノテーションは，映像から 4 秒ごとにフレームを抽出し，（1）手が物体と触れている，かつ（2）触れている物体がプロトコルに現れる場合に対して， その物体をバウンディングボックスで囲い，物体名を付与することで為されている。

## B 生成プロトコル例

表 2 亿，実験映像からのプロトコル生成例を示す.ここでは，正解のプロトコル，b-NEのみを入力とした場合， BioVL2 の動詞を動詞推定の候補とした場合，及び VideoCLIP による推定ではなく正解となる動詞を与えた場合について 例を示している。なお，動詞推定の際のテンプレート文は動詞と b-NEを埋め込むテンプレート文を利用している。

生成されたプロトコルを見ると，正解の動詞を与えることで，正解のプロトコルに近い動詞を出力できていることが わかる。一方で，VideoCLIP により推定した動詞を与えた場合，誤った動詞を出力してしまっている例が多く見られた。 b-NE のみを用いて生成を行うモデルが出力する動詞は，WLPデータセットで事前学習した際の b-NE との共起関係から 得られるものであり，そのようにして得られる動詞を用いる場合よりも，誤って推定した動詞を与える方が，モデルへの 悪影響が大きいと考えられる.

また，生成されたプロトコル中の “for 5 minutes”や“2001”といった量や時間に関する数值は，WLPデータセット中の共起関係依るものであり，実際の映像からこれらの数值を読み取っているわけではない. プロトコル中のこのような数値が誤っている場合，実験再現の失敗に繋がると考えられるため，実験中の詳細な数値を生成プロトコルに反映する方法について検討する必要がある。

図 2 実験映像撮影の様子

図 3 映像中の物体に付与されたバウンディングボッ クスの例


# 会議発話間の関係性推定における マルチモーダル情報活用方法の初期検討

大杉康仁 中辻真
エヌ・ティ・ティレゾナント株式会社
}

y.oosugi@nttr.co.jp
## 概要

会議において、相手が自分の発言を支持している かどうかを知ることは、会議を円滑に進める上で重要である。本研究では、対面会議において、発話と 応答のぺアに対し、応答が発話を支持するものかど うかをマルチモーダル情報を用いて推定すること を検討する。発話および応答の書き起こしテキス ト・音声・顔動画を入力とする Transformer Encoder に基づくモデルを利用し、各モーダルの効果を検証 した。複数人会議コーパス AMIを用いた実験では、 テキストモーダルが最も F1 值に影響を与えること が示唆された。

## 1 はじめに

複数人で行われる会議において、合意が取れてい る項目を整理し会議を円滑に進めるために、自分の 発話と相手の応答との関係性を知ることは重要であ る。関係性として「納得できたかどうか」[1]や「同意・不同意」「支持・不支持」[2,3] などが挙げられ る。ここで、『納得』は自分なりに試行錯誤しなが ら自ら出した解答である」[4] が、「同意」は「自分 も同じ意見であるということを態度に表わすこと」 であり「同意」に類する「支持」は「同意」に比べ 継続的な行為とされている1)。そこで本研究では、「同意」や「支持」の方が「納得」よりも外から観察・推定することが容易であり、短時間で行われる 発話間の関係性においては「同意」と「支持」はほ ぼ同一と扱うことができると考え、「支持」に主に 着目する。

会議中のある発言に対し別の発言がなされたとき の 2 発話間の関係性を分類することは議論マイニン グタスクの一つであり、多くの研究がなされている $[2,5,3]$ 。中でも姫野・嶋田 [5] は、企業で頻繁に行

1) https://dictionary.goo.ne.jp/thsrs/4366/meaning/m0u/ 2023/1/4 アクセス

図1 マルチモーダルに基づく発話間の関係性推定タスク

われる会議と同様の形式である複数人議論コーパス AMI[6] について 2 発話間の関係性を 9 種類に分類 することを検討している。姫野・嶋田の手法は発話 の書き起こしテキストを用いるものであるが、音声 の抑揚や表情などパラ言語情報・非言語情報も発話間の支持・不支持の関係性を認識する上で重要であ る。そこで、本研究では、ある話者の発話と、それ に対する別の話者の応答について、2 発話間の関係性をマルチモーダル情報を用いて推定することを検討する。ただし、マルチモーダル情報の効果の測定 を簡単にするため、相手の発言を支持する発話かそ れ以外かという 2 值分類の問題として検討する。

マルチモーダル情報を用いて議論マイニン グを行う方法として、各モーダルを BERT[7] や Wav2Vec2.0[8] などの事前学習モデルで独立にエン コードした後で連結べクトルを線形層で変換する方法が提案されている $[2,3]$ 。一方で、マルチモーダル 情報を統合する方法として、言語・音声・動画を系列方向に連結して Transformer Encoder[9] に入力する ことでモーダル間の関係性をより効率よく捉える手法が提案されている $[10,11]$ 。本研究では、この手法 を応用し、発話と応答についてそれぞれ Transformer Encoder でマルチモーダル情報を統合した後で線形層を用いて発話と応答の両方を考慮してその関係性 を推定する手法について検証する。

(a)

(b)

図 2 検討モデル (a) と Encoder の内部構造 (b)。青色部分はテキストの埋め込みを、黄色部分は音声の埋め込みを、緑色部分は動画の埋め込みをそれぞれ表す。

## 2 問題設定

対面音声会議における発話テキストを対象とし た関係性分類タスク [5] では、書き起こしテキスト のみを入力として扱っているが、本研究ではそれを マルチモーダルに拡張する。すなわち、図 1 に示す 通り、ある話者 $S_{x}$ の時刻 $i$ の発話 $C=\left.\{\boldsymbol{T}_{i}^{x}, \boldsymbol{A}_{i}^{x}, \boldsymbol{V}_{i}^{x}\right.\}$ に対し、話者 $S_{y}$ が時刻 $j$ の応答 $R=\left.\{\boldsymbol{T}_{j}^{y}, \boldsymbol{A}_{j}^{y}, \boldsymbol{V}_{j}^{y}\right.\}$ を 行ったとき、発話 $C$ と応答 $R$ の関係性 $z$ を推定す る。ただし、 $T_{i}^{*}$ は発話テキストを、 $A_{i}^{*}$ は音声を、 $V_{i}^{*}$ は動画をそれぞれ表す。本論文では、話者 $S_{x}$ と 話者 $S_{y}$ は異なり $(x \neq y)$ 、かつ、話者 $S_{x}$ の発話 $C$ を聞いた後、話者 $S_{y}$ が応答 $R$ を行うものとする $(i<j)$ 。

## 3 検討手法

図 2(a) に本論文で検討した手法の全体像を示す。話者 $S_{x}$ の時刻 $i$ の発話 $C$ と話者 $S_{y}$ の時刻 $j$ の応答 $R$ を別々に Encoder を用いて特徴量化する。それら を次元方向に連結したべクトルを活性化関数を含む 2 層の線形層で変換し、関係性の予測値 $\hat{z}$ を得る。

$
\begin{aligned}
& \hat{z}=\operatorname{Linear}(\sigma(\operatorname{Linear}(\text { Concat }(\boldsymbol{c}, \boldsymbol{r})))) \\
& \boldsymbol{c}=\operatorname{Encoder}\left(\boldsymbol{T}_{i}^{x}, \boldsymbol{A}_{i}^{x}, \boldsymbol{V}_{i}^{x}\right) \\
& \boldsymbol{r}=\operatorname{Encoder}\left(\boldsymbol{T}_{j}^{y}, \boldsymbol{A}_{j}^{y}, \boldsymbol{V}_{j}^{y}\right)
\end{aligned}
$

ただし、Linear $(\cdot)$ は線形層を、 $\sigma(\cdot)$ は活性化関数を、 Concat (.) は次元方向の連結を表す。また、Encoder $(\cdot)$ は Transformer Encoder[9] を用いた各モーダル情報 の統合を表し、本論文では図 2(b) に示すように MEmoBERT[11] と同じモデル構造を用いた。以下で は各モーダルの埋め込みの方法とその統合方法につ いて説明する。
テキストの埋め込みBERT[7]のトークナイザを 用いて発話テキスト $\boldsymbol{T}$ をサブワード系列に分割し、 BERT のサブワード埋め込み $\boldsymbol{a} \in \mathbb{R}^{d_{t} \times L_{t}}$ をテキスト 埋め込みとして用いる。ただし、 $L_{t}$ は発話テキスト のサブワード系列長を、 $d_{t}$ は特徴量の次元数をそれ ぞれ表す。

音声の埋め込みフレーム長 $l$ の音声 $\boldsymbol{A}=$ $\left.\{a_{1}, a_{2}, \ldots, a_{l}\right.\}$ について、音響特徵量の埋め込みとし て Wav2Vec2.0[8] に基づく特徴量を用いる。ただし、音声のフレーム数は他のモーダルに比べて多いた め、フレーム窓 $w$ ごとに平均を取ることで圧縮を行 う。また、埋め込み空間の違いを吸収するため線形層による変換を行う。得られる特徵量 $\boldsymbol{a} \in \mathbb{R}^{d_{a} \times L_{a}}$ は下記で表される。

$
\begin{aligned}
\boldsymbol{a} & =\left[\boldsymbol{a}_{1} ; \boldsymbol{a}_{2} ; \ldots ; \boldsymbol{a}_{L_{a}}\right] \\
\boldsymbol{a}_{k} & =\operatorname{Linear}\left(\frac{1}{w} \sum_{t=k}^{k+w}\left(\operatorname{Wav} 2 \operatorname{Vec} 2\left(\boldsymbol{A}_{t}\right)\right)\right)
\end{aligned}
$

ただし、 $L_{a}$ は圧縮後の特徵量数を、 $d_{a}$ は特徵量の 次元数を表す。

動画の埋め込み動画 $V$ はフレーム画像 $\left.\{v_{1}, v_{2}, \ldots, v_{L_{v}}\right.\}$ で構成される。本論文では、各フ レーム画像を ViT[12]を用いて特徵量化することで、動画特徴量の埋め込み $\boldsymbol{v} \in \mathbb{R}^{d_{v} \times L_{v}}$ を得る。ただし、 $L_{v}$ はフレーム数を、 $d_{v}$ は特徴量の次元数を表す。 また、埋め込み空間の違いを吸収するため線形層に よる変換を行う。

$
\begin{aligned}
\boldsymbol{v} & =\left[\boldsymbol{v}_{1} ; \boldsymbol{v}_{2} ; \ldots ; \boldsymbol{v}_{L_{v}}\right] \\
\boldsymbol{v}_{k} & =\operatorname{Linear}\left(\operatorname{ViT}\left(v_{k}\right)\right)
\end{aligned}
$

Transformer Encoder を用いた特徵量化 各モー ダルの系列長が異なるため、単純な加算は困難で
表 1 TAS データセット

ある。そこで、図 2(b) に示すように、各モーダル の埋め込みをセパレータトークン $[\mathrm{SEP}]$ で連結す る。このとき、先頭に特殊トークン [CLS] を追加す る。それぞれの埋め込みとして BERT のサブワー ド埋め込みを用いる。さらに、系列の位置埋め込 み $p$ と、モーダルの区別のための BERT のセグメ ント埋め込み $e$ を足しこむ。得られた埋め込み系列 を Transformer Encoderに入力し、[CLS]トークン位置の隠れ状態 $\boldsymbol{h}$ を発話もしくは応答の特徴量として 用いる。

## 4 評価実験

データセット 英語での対面会議を収録した AMI コーパス [6] と、その発話間の関係性を記述した Twente Argument Schema (TAS) データセット [13] を 用いた。人手による書き起こしテキストとへッド セットで収録された音声を用いた。また、動画と して参加者の正面に配置されたラップトップ PC からの映像を用いた。TAS では「支持する」「支持 しない」を含む 9 種類の関係性ラベルが付与され ているが、約 $55 \%$ の発話応答ペアに「支持する (Positive)」が付与されておりラベルに偏りが生じて いる。本研究では相手が自分の発話に同意したかど うかを推定することを目的とするため詳しいラベル は必要ないと考え、TAS の関係性ラベルを「支持す る (Positive)」か「それ以外 (Other)」の 2 つに分け て実験を行った。

実験条件 TAS の 94 対話を表 1 に示すよう に train/dev/test に分割した。実装は Huggingface Transformers ライブラリ [14]を使用し、Transformer Encoder とテキスト埋め込みの初期化には BERT base モデル2)を用いた。音声の埋め込みには Wav2Vec2.0 の base モデル3)を、動画の埋め込みには CLIP[15] の ViT モデル4)を、それぞれ用いた。ただし、学習を 簡単にするため、Wav2Vec2.0と ViT のパラメータ は固定して用いた。音声について圧縮するためのフ レーム窓長 $w$ を 128 に設定した。また、動画につい

2) bert-base-uncased

3) facebook/wav2vec2-base

4) openai/clip-vit-base-patch16表 2 テストデータにおける評価結果：T $\mathrm{A}, \mathrm{V}$ はそれぞ れテキスト、音声、動画のモーダルを表す。

ては 25fps で収録されているが、差分の少ない画像 が不必要に入力されることを避けるため、1 秒区間 の先頭フレームのみを用いるサンプリングを行っ た。パラメータ最適化には Adam[16] を用い、学習率を $2 \times 10^{-5}$ に、warmup 率を 0.1 に設定して、バッ チサイズ 32 で 3 エポック学習した。 5 種類の乱数 シードで実験し、その平均值をモデル結果とした。

## 4.1 評価結果

## マルチモーダル情報を考慮することで精度は向上

したか？ 表 2 より、テキストと音声の 2 つのモー ダルを考慮する場合は、テキストのみを考慮する場合と同程度の精度を達成できたが、動画を加えた 3 つのモーダルを考慮する場合は、テキストモーダル のみを考慮する場合に比べて精度が劣化した。その ため、本検討手法ではマルチモーダル情報の効果は 強く見られなかった。

どのモーダルが最も効果的か？表 2 に示す通 り、テキスト情報が最も効果的であった。このこと から、明示的に話者が発言することで応答している 場合には、発話テキストを考慮することが最も効果的と言える。一方で、実際の企業で行われる会議で は、発言をせずに態度で支持・不支持を示す場合も 存在するため、テキスト情報に依存しない推定方法 が必要と考えられる。これは今後の課題として対応 していく予定である。

## 検討手法は音声情報を効果的に扱えているか？音声情報のみを入力した場合、テキスト情報のみを 用いた場合に比べて精度が劣化したため、本検討手法では音声情報は効果的に活用できていない可能性がある。その原因として、Transformer Encoderを BERT のパラメータ（言語ドメイン）を用いて初期化しため、埋め込みの音声ドメインとの乘離が発生 し、それを Linear 層のみでは吸収しきれなかったこ

図 3 フレーム窓 $w$ を変更した時の $\mathrm{T} \cdot \mathrm{A} ・ \mathrm{~V}$ のマルチ モーダルモデルの $\mathrm{F} 1$ 值（dev セット）

表 3 TAS データセットの平均フレーム数、および、検出 された正面顔のフレーム単位での平均数

とが挙げられる。

## 音声埋め込みについて短い時間で平均を取ること で精度は向上するか？ テキスト・音声・動画の 3 つのマルチモーダルモデルについて、窓幅 $w$ を変更 したときの $\operatorname{dev}$ セットにおける $\mathrm{F} 1$ 値を図 3 に示す。 wを 128 より小さくして短時間で平均を取ったとこ ろ、128 の時よりも精度がわずかではあるが劣化し た。これは、 $w$ が小さいと言いよどみやポーズなど の情報量の少ないフレームが平均値に悪影響を及ぼ す割合が大きくなるため、広い窓幅の方が精度が向上したと考えられる。

## 検討手法は動画情報を効果的に扱えているか？動画情報のみを入力した場合は他の条件に比べて最 も精度が低かった。検討手法では、動画の時系列情報は位置埋め込みのみで表現されているため、動画 のフレーム間の関係性を捉えきれなかった可能性 がある。また、表 3 に示す通り、利用した動画のフ レーム数と、 $\mathrm{OpenCV}^{5}$ のカカスード分類器で検出 された正面顔のフレーム単位での平均数を調査し た。利用した動画は、各参加者のラップトップ PC から撮影されたものであり、本来はその話者の顔を 写し続けるはずであるが、検出された顔の数は 1 を 下回るものが多く、検出誤りは存在するものの、参加者の正面の顔を正常に撮影できていないフレーム が多かったと言える。そのため、支持・不支持の推定に有用と考えられる表情の特徴を捉えきれずノイ ズになってしまった可能性がある。

## 5 関連研究

マルチモーダル情報を用いた主張の支持・不支持 の推定手法としてディベート対話を用いた研究が挙 げられる $[2,3]$ 。しかし、これらは音声とテキスト の情報のみを考慮しており、話者の顔動画は考慮で きていない。本研究の Encoder の構造は、感情推定 の手法として提案された MEmoBERT[11]を参考と した。MEmoBERT は著者の Zhao らが独自に収集し た 351 個の映画・テレビ動画を用いて事前学習され ているが、初期検討のため本論文では事前学習をし ないモデルで評価を行った。

本研究では外部から観察することが比較的容易な 「同意・支持」に着目したが、グループディスカッ ションやカウンセリングの中で話者の納得度合や説得力、コミュニケーション能力などをアノテーショ ン・モデル化する研究も行われている $[1,17,18]$ 。特 に伊藤ら [17] は、言語・音声・動画情報を考慮して 会議中の各話者の説得力の高さを他の参加者と比較・推定することを検討しており、異なる話者の情報を比較する点で本研究で検討したモデルと類似し ているが、マルチモーダル情報の統合に Transformer Encoderを用いる点で異なる。

## 6 おわりに

本論文では、対面会議において、発話とその応答のぺアに対し、応答が発話を支持するかどうか をマルチモーダル情報を用いて推定することを 検討した。先行研究である MEmoBERT を参考に、 Transformer Encoder にテキスト・音声・動画の埋め 込みを連結して入力するモデルを用いた。AMIコー パスを用いた実験では、テキスト情報のみを考慮し た場合が最も精度が高く、検討したモデルではマル チモーダル情報、特に動画情報の考慮が十分にでき なかった。ただし、正面の顔を撮影できた動画フ レームが少なかったため、データとして動画の持つ 情報が少なく、本来支持・不支持の推定に有用な表情の情報を十分に活用できなかった可能性も示唆さ れた。今後は、音声・動画をより効果的に活用する 手法について検討する。また、発言を伴わない暗黙的な支持・不支持を推定するため、テキスト情報に 依存しないモデル構造についても検討する。

## 参考文献

[1] 松隈亮太, 岡田将吾, 松本妹子, 中元淳. オンラインカ ウンセリング対話データコーパスの構築と動作シン クロニーの分析. 人工知能学会 全国大会論文集, pp. 2I6OS9b03-2I6OS9b03, 2022.

[2] Rafael Mestre, Razvan Milicin, Stuart E. Middleton, Matt Ryan, Jiatong Zhu, and Timothy J. Norman. M-arg: Multimodal argument mining dataset for political debates with audio and transcripts. In Proceedings of the 8th Workshop on Argument Mining, pp. 78-88, 2021.

[3] Eleonora Mancini, Federico Ruggeri, Andrea Galassi, and Paolo Torroni. Multimodal argument mining: A case study in political debates. In Proceedings of the 9th Workshop on Argument Mining, pp. 158-170, 2022.

[4] 今井芳枝, 雄西智恵美, 板東孝枝. 納得の概念分析.日本看護研究学会雑誌, 第 39 巻, pp. 73-85, 2016.

[5] 姫野拓未, 嶋田和孝. 複数人議論における発話間の関係を対象とした関係分類. 言語処理学会 第 27 回年次大会 発表論文集, pp. 981-985, 2021.

[6] Jean Carletta, Simone Ashby, Sebastien Bourban, Mike Flynn, Mael Guillemot, Thomas Hain, Jaroslav Kadlec, Vasilis Karaiskos, Wessel Kraaij, Melissa Kronenthal, Guillaume Lathoud, Mike Lincoln, Agnes Lisowska, Iain McCowan, Wilfried Post, Dennis Reidsma, and Pierre Wellner. The ami meeting corpus: A pre-announcement. In Proceedings of Machine Learning for Multimodal Interaction, pp. 28-39, 2006.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the $\mathbf{2 0 1 9}$ Conference of the North American Chapter of the Association for Computational Linguistics, pp. 4171-4186, 2019.

[8] Alexei Baevski, Yuhao Zhou, Abdelrahman Mohamed, and Michael Auli. wav2vec 2.0: A framework for selfsupervised learning of speech representations. In Proceedings of Advances in Neural Information Processing Systems, Vol. 33, pp. 12449-12460, 2020.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of Advances in Neural Information Processing Systems, Vol. 30, 2017.

[10] Md Kamrul Hasan, James Spann, Masum Hasan, Md Saiful Islam, Kurtis Haut, Rada Mihalcea, and Ehsan Hoque. Hitting your MARQ: Multimodal ARgument quality assessment in long debate video. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 6387-6397, 2021.

[11] Jinming Zhao, Ruichen Li, Qin Jin, Xinchao Wang, and Haizhou Li. Memobert: Pre-training model with prompt-based learning for multimodal emotion recognition. In Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 4703-4707, 2022

[12] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner,
Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. In Proceedings of the 9th International Conference on Learning Representations, 2021.

[13] Rutger Rienks, Dirk Heylen, and Erik van der Weijden. Argument diagramming of meeting conversations. In Proceedings of Workshop on Multimodal Multiparty Meeting Processing, pp. 85-92, 2005.

[14] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing, pp. 38-45, 2020.

[15] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In Proceedings of the 38th International Conference on Machine Learning, Vol. 139, pp. 8748-8763, 2021.

[16] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of 3rd International Conference on Learning Representations, 2015.

[17] 伊藤温志, 坂戸達陽, 中野有紀子, 二瓶芙已雄, 石井亮, 深山篤, 中村高雄. グループディスカッ ションにおける説得力推定のためのマルチパー ティモデル. 人工知能学会 全国大会論文集, pp. 3H3OS12a02-3H3OS12a02, 2022.

[18] 有岡無敵, 山本賢太, 井上昂治, 河原達也, 中村哲, 吉野幸一郎. 遠隔操作アンドロイドを用いたマルチ モーダル説得対話コーパスの収集と分析. 言語処理学会 第 28 回年次大会 発表論文集, pp. 185-190, 2022.


# 音声言語処理のための注意機構を用いた音声認識仮説統合

叶高朋 1 小川厚徳 ${ }^{1}$ マーク・デルクロア ${ }^{1}$ 渡部晋治 ${ }^{2}$
1 日本電信電話株式会社 2 カーネギーメロン大学
\{takatomo.kanou.xe, atsunori.ogawa.gx, marc.delcroix.hc\}@hco.ntt.co.jp
shinjiwacmu.edu

## 概要

音声要約や音声翻訳などの音声言語処理（Spoken language processing:SLP）の多くは, 音声認識 (Automatic speech recognition:ASR) モデルとテ キスト翻訳・要約などの自然言語処理（Natural language processing：NLP）モデルの直列接続で実現されている.このような直接接続のシステム構成 では, 音声認識誤りが NLP モデルの性能に悪影響を 与えることが知られている. 本研究では, 音声認識誤りの悪影響を低減させるため, 複数の ASR モデル の出力を統合しながら, 翻訳・要約を行う方法を提案する。提案手法は要約・翻訳にとどまらず, 様々 な直列接続の SLP システムに適用可能である. 本研究では, まず音声要約と音声翻訳の評価実験を通し て提案手法の有効性を確認した。

## 1 はじめに

音声要約や音声翻訳など, 多くの音声言語処理 (Spoken language processing：SLP）は, 音声認識 (Automatic speech recognition：ASR）モデルと自然言語処理モデル (Natural language processing : NLP) の直列接続で実現されている。このような直列接続 のシステムの学習には, 音声と出力テキストの大規模なぺアデータを必要とせず, 個々の ASR モデルと NLP モデルに最先端のモデルを採用することができ る。一方, 2 つの異なるモデルの学習と推論が独立 して行われるため, 音声認識誤りが後段の NLP モデ ルの推論に悪影響を与え, SLP システム全体の精度 が低下する.

このような認識誤り伝搬の問題に対し, 先行研究では認識誤りに対して頑健になるような拡張を NLP モデルに行い, 再学習することで認識誤り伝搬 の影響を低減した [1-5]. これらの先行研究では, 1 つの ASR から複数の認識仮説を出力させ, ASR 結果の信頼度などの補助情報を抽出し, 信頼度を基
に複数の認識仮説の統合を行う音声翻訳を提案し ている.また我々も先行研究において, Bidirectional Encoder Representations from Transformers (BERT) [6] の分散表現に基づいた音声認識仮説の統合に関する 手法 [7] を提案し, 複数の認識仮説が音声要約におい て, 音声認識誤りに対する頑健性を向上させること を確認した。

しかし,これらの先行研究では, 単一の ASR モデ ルを使い複数仮説を生成しているため, 認識仮説 のバリエーションが乏しい. これは, N-best デコー ディングが多様な結果を出力しないことに起因す る. さらに, [3-5] では, ASR モデルから補助情報を 抽出して, NLP モデルで再学習するため, ASR モデ ルと NLP モデルで同じ単語辞書を使用しなければ ならないという制約がある。これは, 従来の直列接続のメリットであった, ASR と NLP モデルの独立性 を損なうもので, ASR モデルまた NLP モデル，もし くは両方の性能を低下させる。そのため, 最もよい 性能の ASR モデルと言語処理モデルを利用した直列接続でシステムを構成できず, SLP モデルの再学習を行う際に, 初期状態が最適なものではないとい う問題がある.

次に, 音声認識誤りの影響を低減させる方法とし て, 音声認識精度を改善し認識誤りそのものを減ら す方法がある. 先行研究では, 複数の ASR システム を統合することで音声認識精度を改善できることが 報告されている [8-11]. これらシステム統合法では，異なる ASR モデルから出力された仮説を比較する ことで, 認識誤りの位置を推定し修正することが出来了. 本研究では, それらシステム統合法の中で, 最 もよく使われる Recognizer output 投票 error reduction (ROVER) [10] に着目する．ROVER は ASR の後処理 として広く利用され, アラインメントと投票の 2 段階の処理を通して認識仮説を統合する [12-16]. ROVER では, 音声認識結果を単語単位で比較・修正 するため, ASR モデルと NLP モデルに対して特別な
拡張を必要とせず, 直列接続の独立性を損なわない.

しかし, ROVER にもいくつかの問題がある.ま ず,アラインメントの処理は, 単語単位の動的計画法 で行われるため単語同士の類似性や文脈情報を考慮 できない. 次に, 投票の処理では, 各システムの認識結果を平等に扱うため, 多くの認識器が間違えた中, 1 つ認識器が正解を出力するような場合は, 正し く修正できない. さらに直列接続の SLP システムで は, 入力音声を一字一句正しく認識した結果が必ず しも良い出力につながらないという問題ある [17].具体的には, ASR モデルはフィラーや言い間違い, 言 いよどみなども正しく認識しようとする。しかし， これらは翻訳や要約には不要で, NLP モデルの精度 を下げる一因となる。そのため SLP システムでは,最終的な要約・翻訳精度を最大化するような認識結果を用いる必要があるが, ROVER は学習可能な重み を持たないため, 特定のタスクに対して最適化する ことができない.

本研究では, ROVER に代わる方法として, 複数の ASR モデルの出力結果を NLP モデル内部で統合す る方法を提案する. 提案手法では, 注意機構を用い て, 複数の ASR モデルの出力結果をアラインメン トし統合する処理を NLP モデルの分散表現に基づ いて行う. 注意機構は学習可能な重みをもち, 特定 のタスクに最適なシステム統合を学習することが 出来了. 提案法は, 直近の我々の研究 [7] から派生 し, 階層的注意機構 $[18,19]$ やマルチストリームコン ビネーションの研究 [20], マルチモーダル処理の研究 [21] とも関連する. 提案手法では, 複数の ASR モ デルの出力結果をマルチストリームとみなし, 注意機構を用いて統合する.

本研究では, 音声翻訳と音声要約において提案手法をROVERなどの先行研究 $[3,4,10,22]$ と比較 した. 翻訳と要約では解く問題や, 扱うコンテキス ト情報の長さが異なる. 例えば, 翻訳では, 多言語間の複雑な単語の対応関係を学習する必要がある が, 一発話単位で翻訳が行われるため, 複数文にま たがる依存関係を考慮しない。一方, 要約は同一言語間で変換を行うため, 単語の対応関係の学習は容易であるが, 文章全体の要点を見つけるために, 複数文にまたがる依存関係を学習する必要がある. 異 なる 2 つのタスクに対して, 本実験では両タスク に共通の Conformer ASR モデル [23]を, 翻訳タス クには Transformer モデル [24]を, 要約タスクには BERTSum モデル [25]をそれぞれ採用して SLP シス

Speech signal図 1 ROVER と注意機構を用いた仮説統合の比較. 図内において, 注意機構を用いた仮説統合モジュールを Attention Fusion と表記する。

テムを構築した. 提案手法は,このような異なる夕 スクとモデル構造の SLP システムに対して, 最適な システム統合を行い, 両タスクにおいて性能を改善 することができた.

## 2 ASR 仮説の統合

## 2.1 従来の ASR 仮説統合

複数の ASR 仮説の統合し認識精度を改善する研究としては, Lattice を使った方法や, Minimum Bayes risk decoding を使った方法などが提案されてい る $[8,9,11]$. 本研究では, その中で最も一般的な手法 である ROVER に着目した. ROVER [10] はアライン メントと投票の 2 段階の処理を通して, 異なる長さ の認識仮説を統合する。まずアラインメントステッ プでは, 動的計画法を用いて挿入, 削除, 置換を追加 した Word Transition Networkを作成し, 投票ステップ では, 各時間において最も出現頻度も高い認識仮説 を正解として採用する.

ROVER は ASR の後処理として行われ, 認識結果 の単語列を直接比較するため, 様々な SLP システム に取り入れることが出来る. しかし, 単語同士の類似度や文脈情報などの有益な情報を考慮できず, ま た学習可能な重みも持たない. そのため, 各タスク において, 単語の重要度を考慮して ASR システム 統合を行い, SLP システムの性能を最大化するとい うような最適化ができない. 本研究では, これらの ROVER の持つ問題を解決するため, 注意機構を用い た ASR システムの統合法を紹介する.

## 2.2 ASR 仮説の分散表現

ASR 仮説の統合は, 単語の類似度, 文脈情報などを 考慮するため, NLP の分散表現に基づいた統合を行 う. ここで入力単語列 $S^{n} \in \mathbb{R}^{L}$ に対する NLP モデ ルの最初の数層の出力結果を $E^{n} \in \mathbb{R}^{L \times D}$ とする.

$
E^{n}=g\left(S^{n}\right),
$

ここで, $g(\cdot)$ は NLP モデルの最初の数層の写像処理, $D$ は隠れ層の次元数を表す. ASR システムの総数 は $N$ であり, $S^{n}$ は $n$ 個目の ASR が出力した認識結果を表す. 各 $S^{n}$ の長さが異なるため, 事前に最後尾 に Maskトークンで Padding を行い各系列を同じ長 さ $L$ に揃える. 提案手法と ROVER 法の違いを図 1 に示す. 図 1 中の $h(\cdot)$ は $g(\cdot)$ 以降の隠れ層の処理を 表す. ROVER は ASR モデルと NLP モデルのデー 夕受け渡し間に仮説の統合を行うのに対して, 提案手法では, NLP モデルの Encoder 内部で ASR 仮説の 統合を行う.

## 2.3 注意機構による仮説アライメント

まず, ROVER のアラインメントに相当する処理 として, 本研究では注意機構を用いて入力された各 ASR 出力系列の位置合わせを行う。まず, SLP シス テムの再学習時に, 検証データを元に各 ASR モデル の性能を計測し, 最も性能が高い出力 ASR モデルを 同定し, その出力系列を参照仮説 $E^{r}$ とする. 注意機構の Query には参照仮説 $E^{r}$ を Key と Value には任意の ASR システムの出力仮説 $E^{n}$ を用いる. この時 は, 参照仮説 $E^{r}$ は任意の認識仮説 $E^{n}$ にも含まれる.

注意機構を用いたアラインメント結果 $\tilde{E}^{n}$ は以下 のように得られ，

$
\tilde{E}^{n}=\operatorname{softmax}\left(\left(E^{r} W^{Q}\right)\left(E^{n} W^{K}\right)^{\mathrm{T}}\right) E^{n} W^{V}
$

ここで, T は転置記号を表す. 提案手法はROVER と 比べた際,ソフトアライメントを実現し, Encoder で 学習された文脈情報や単語の類似度を考慮できるた め, 単語のみでなくフレーズなどより長い単位を考慮したアライメントを実現可能である.

注意機構には Multi-head-attention を採用し, 注意機構は各 Query, Key, Value に対し学習可能な重み $W^{Q}, W^{K}, W^{V} \in \mathbb{R}^{D \times D^{\prime}}$ を持つ. 本研究では, 注意機構の入力次元数 $D^{\prime}$ と出力次元数 $D$ は同じであり,注意機構の重みは正方行列となる.これらの重み を単位行列で初期化する。その理由は, 複数の ASR システム統合を行う際に, ランダムな写像を行うと
BERTなどの事前に学習された分散表現を十分に考慮できないために, 学習開始時点では, 注意機構にお いて恒常写像が行われ, 参照仮説が選択されるよう 意図したためである.これにより, 事前学習モデル の性能を大きく劣化させずに仮説統合の学習を行う ことが出来る.

## 2.4 注意機構による仮説の統合

次に, ROVER の投票に相当するステップでは, 階層的注意機構 $[18,26,27]$ と同様にアラインメントさ れた各系列の位置 $l$ ごとに異なる $N$ 個の ASR モデ ルから出力された仮説を統合する. $\tilde{E} \in \mathbb{R}^{N \times L \times D}$ はアラインメント済みの $N$ 個の長さ $L$ の音声認識結果の系列である. この時, 位置 $l の E_{l} \in \mathbb{R}^{N \times D}$ に ついて, 注意機構を用いた統合を以下のようにあら わす.

$
\begin{aligned}
\alpha_{l} & =\operatorname{softmax}\left(\left(e_{l}^{r}\right)^{\mathrm{T}} W^{Q} \tilde{E}_{l}\right), \\
e_{l}^{\mathrm{att}} & =\alpha_{l} \tilde{E}_{l}^{\mathrm{T}}
\end{aligned}
$

ここで, $\alpha_{l} \in \mathbb{R}^{1 \times N}$ は各 ASR システムの出力に対す る注意重みである. 提案手法と ROVER との違いは,提案手法では正解単語を出現頻度に基づいて仮説単語から選択するのではなく, 特徴空間上で参照仮説 と他の仮説の類似度を計算し重みとして, すべての 仮説を重ね合わせて正解単語を表現する点である. これにより, 同時に複数の単語の情報を考慮するこ とが可能となる.

## 3 実験

本研究では, 音声要約・翻訳タスクについて関連 する先行研究と提案手法の比較を行った. データ セットには, TED Talk から作成した要約コーパスで ある TEDSumarry [7] と Youtube のビデオから作成し た HOW2 [28] を採用し, ROUGE [29]・BLEU [30] ス コアでの客観評価を実施した。本実験における ASR モデルは ESPnet ${ }^{1)}$ で公開されている Tedlium/HOW2 のレシピに従い構築した. Tedliium は TEDTalk から 作成した音声認識コーパスであり, TEDSumarry 用の ASR モデルの学習に用いられる. 要約・翻訳モデル は OpenNMT ${ }^{2}$ をもとに公開されているレシピ・実装3)を用いて構築した。

本実験では, Topline として正解の音声認識結果を 翻訳・要約した結果 (0) ASR-GTを採用し, Baseline

として, 評価セットで最も性能の良い ASR システム を用いた結果を (1) ASR w/ASR BPE, BERT と同じ 辞書を使用した ASR システムを用いた結果 (3) ASR w/BERT BPE, ROVER ですべての ASR システムの結果を統合し, 翻訳・要約した結果を (3) ROVER に示 す. また, 追加で再学習を行う手法として, 音声認識結果で NLP を再学習したシステムである (4) Retrain と, 先行研究である (5) Confidence [22] と我々の先行研究である (6) Nbest fusion [7] を用意し比較した.

表 1 ROUGE スコア (R1, R2, RL)での各システムの比較結果: システム (7) が提案手法

表 1 の結果より, 提案手法は先行研究の (5) Confidence および, 我々の先行研究 (6) Nbest fusion よりも HOW2 データにおいて良い要約性能を示し た. 一方で TEDSumarry データにおいては, HOW2 データほど顕著な優位性を確認できていない。こ れは, TEDSumarry では正解の音声認識を用いる場合でも, 要約が困難で Topline の性能が低く, Baseline との差が少ない. そのため, 性能改善の余地が少 ないことが一つの原因だと考えられる. Topline と Baseline の差が少ない理由として, 表 2 に示すよう に, TEDTalkでの ASR 性能が高く認識誤りが少ない ことが考えられる。

次に, 音声翻訳の性能を同様のデータを用いて 評価した結果を表 3 に示す. ここで, 翻訳モデルと 同じ辞書を使用した ASR システムを用いた結果 (3) ASR w/MT BPE を示す. 表 3 の結果において, 両

表 2 各 BPE サイズと音声認識性能の単語誤り率に よる評価. $30.5 \mathrm{k}^{*}$ は BERT モデルの単語辞書のサイズ. ROVER は, 各 ASR システムをROVER で統合した際の認識性能

表 3 BLUE スコアによる各音声翻訳システムの評価. シ ステム (7) が提案手法.

データに対して提案手法の優位性が確認できた. 翻訳においても, TEDよりも HOW2 データでの Topline と Baseline の差が大きく, 全体的にスコアの差が大 きい。これは前述の音声認識性能の差と, 英語 (En) からポルトガル語 $(\mathrm{Pt})$ への翻訳が, 英語からドイツ 語（De）へのよりも容易であるためだと考えられ る. よってこれらの結果から提案手法について次の ようなことが言える.

提案手法は, 複数の ASR システムを NLP 内部で統合することで, 様々なタスク・データにおいて音声認識誤りで劣化する翻訳・要約性能を回復できる. しかし, ASR モデルの性能が高く, NLP モデルの性能が低いケースでは, 音声認識誤りが SLP システム に及ぼす影響が少なく, 精度改善の余地が少ない.加えて提案法は NLP モデルの分散表現に基づいて 仮説統合を行うため, NLP モデルの性能が低い場合 は, NLP モデルの分散表現が十分に学習されておら ず, NLP の分散表現を基に仮説を統合する提案法は 効果が小さく, 他の手法との優位な差が出にくいこ と考えられる。

## 4 まとめ

本研究では, ASR と NLPを組み合わせて実現さ れる SLP システムにおいて, 音声認識誤りによる 性能劣化を改善する手法を提案した，本提案手法 は, ROVER を参考に複数の ASR の出力結果を, NLP の分散表現に基づいて統合する.これにより, 従来 ROVER では難しかった, 単語の類似度や文脈情報を 考慮した仮説統合を実現し, 音声要約・翻訳, 双方の タスクで既存手法を上回る音声認識誤りへの頑健性 を示した. 今後は, 注意機構による Alimento と統合方法の改善. 他の音声言語処理タスクへの適応など を検討していく。

## 参考文献

[1] Nicola Bertoldi, Richard Zens, and Marcello Federico. Speech translation by confusion network decoding. In ICASSP, pp. 12971300, 2007.

[2] Masaya Ohgushi, Graham Neubig, Sakriani Sakti, Tomoki Toda, and Satoshi Nakamura. An empirical comparison of joint optimization techniques for speech translation. In INTERSPEECH, pp. 2619-2623, 2013.

[3] Kaho Osamura, Takatomo Kano, Sakti Sakriani, Katsuhito Sudoh, and Satoshi Nakamura. Using spoken word posterior features in neural machine translation. In IWSLT, 2018.

[4] Parnia Bahar, Tobias Bieschke, Ralf Schlüter, and Hermann Ney. Tight integrated end-to-end training for cascaded speech translation. In SLT, pp. 950-957, 2021.

[5] Matthias Sperber, Graham Neubig, Jan Niehues, and Alex Waibel. Neural lattice-to-sequence models for uncertain inputs. In IWSLT, pp. 1380-1389, 2017.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT, pp. 4171-4186, 2019.

[7] Takatomo Kano, Atsunori Ogawa, Marc Delcroix, and Shinji Watanabe. Attention-based multi-hypothesis fusion for speech summarization. In ASRU, pp. 487-494, 2021.

[8] Gunnar Evermann and Woodland Philip. Posterior probability decoding, confidence estimation and system combination. In Speech Transcription Workshop, Vol. 27, pp. 78-81, 2000.

[9] Björn Hoffmeister, Dustin Hillard, Stefan Hahn, Ralf Schlüter, Mari Ostendorf, and Hermann Ney. Cross-site and intra-site ASR system combination: Comparisons on lattice and 1-best methods. In ICASSP, pp. 1145-1148, 2007.

[10] Jonathan Fiscus. A post-processing system to yield reduced word error rates: Recognizer output voting error reduction (rover). In ASRU, pp. 347-354, 1997.

[11] Haihua Xu, Daniel Povey, Lidia Mangu, and Jie Zhu. Minimum bayes risk decoding and system combination based on a recursion for edit distance. Comput. Speech Lang., Vol. 25, No. 4, pp. 802-828, 2011.

[12] Olivier Siohan, Bhuvana Ramabhadran, and Brian Kingsbury. Constructing ensembles of asr systems using randomized decision trees. In ICASSP, Vol. 1, pp. 197-200, 2005.

[13] Venkata Ramana Rao Gadde, Andreas Stolcke, Dimitra Vergyri, Jing Zheng, M. Kemal Sönmez, and Anand Venkataraman. Building an ASR system for noisy environments: Sri's 2001 SPINE evaluation system. In INTERSPEECH, 2002.

[14] Yulia Tsvetkov, Florian Metze, and Chris Dyer. Augmenting translation models with simulated acoustic confusions for improved spoken language translation. In EACL, pp. 616-625, 2014.

[15] Arne Mauser, Richard Zens, Evgeny Matusov, Sasa Hasan, and Hermann Ney. The RWTH statistical machine translation system for the IWSLT 2006 evaluation. In IWSLT, pp. 103-110, 2006.

[16] Christian Fügen, Alex Waibel, and Muntsin Kolss. Simultaneous translation of lectures and speeches. Mach. Transl., pp. 209-252, 2007.

[17] Xiaodong He, Li Deng, and Alex Acero. Why word error rate is not a good metric for speech recognizer training for the speech translation task? In ICASSP, pp. 5632-5635, 2011.

[18] Zichao Yang, Diyi Yang, Chris Dyer, Xiaodong He, Alexander J. Smola, and Eduard H. Hovy. Hierarchical attention networks for document classification. In NAACL-HLT, pp. 1480-1489, 2016.

[19] Jindrich Libovický and Jindrich Helcl. Attention strategies for multi-source sequence-to-sequence learning. In ACL, pp. 196202, 2017.

[20] Xiaofei Wang, Ruizhi Li, Sri Harish Mallidi, Takaaki Hori, Shinji Watanabe, and Hynek Hermansky. Stream attention-based multi- array end-to-end speech recognition. In ICASSP, pp. 7105-7109, 2019.

[21] Chiori Hori, Takaaki Hori, Teng-Yok Lee, Ziming Zhang, Bret Harsham, John R. Hershey, Tim K. Marks, and Kazuhiko Sumi. Attention-based multimodal fusion for video description. In ICCV, pp. 4203-4212, 2017.

[22] Shi-Yan Weng, Tien-Hong Lo, and Berlin Chen. An effective contextual language modeling framework for speech summarization with augmented features. In EUSIPCO, pp. 316-320, 2020.

[23] Anmol Gulati, James Qin, Chung-Cheng Chiu, Niki Parmar, Yu Zhang, Jiahui Yu, Wei Han, Shibo Wang, Zhengdong Zhang, Yonghui Wu, and Ruoming Pang. Conformer: Convolutionaugmented transformer for speech recognition. In Interspeech, pp. 5036-5040. ISCA, 2020.

[24] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS, pp. 5998-6008, 2017.

[25] Alexandra Savelieva, Bryan Au-Yeung, and Vasanth Ramani. Abstractive summarization of spoken and written instructions with BERT. In SIGKDD, Vol. 2666 of CEUR Workshop Proceedings, 2020.

[26] Potsawee Manakul, Mark J. F. Gales, and Linlin Wang. Abstractive spoken document summarization using hierarchical model with multi-stage attention diversity optimization. In INTERSPEECH, pp. 4248-4252, 2020.

[27] Tzu-En Liu, Shih-Hung Liu, and Berlin Chen. A hierarchical neural summarization framework for spoken documents. In ICASSP, pp. 7185-7189, 2019.

[28] Ramon Sanabria, Ozan Caglayan, Shruti Palaskar, Desmond Elliott, Loïc Barrault, Lucia Specia, and Florian Metze. How2: A large-scale dataset for multimodal language understanding. CoRR, Vol. abs/1811.00347, , 2018.

[29] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In ACL, pp. 74-81, 2004.

[30] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In ACL, pp. 311-318, 2002.