# On the Bias of CLIP for Object-Attribute Recognition

Yutaro Yamada ${ }^{1 *}$, Yingtian Tang ${ }^{2 *}$, Ilker Yildirim ${ }^{1}$
${ }^{1}$ Yale University
${ }^{2}$ University of Pennsylvania
\{yutaro.yamada,ilker.yildirim\}@yale.edu yingtian@seas.upenn.edu

## 概要

Large-scale vision-language models such as CLIP have shown impressive performance on zero-shot image classification and image-to-text retrieval. However, such zeroshot performance of CLIP-based models does not realize in tasks that require a finer-grained correspondence between vision and language, such as Visual Question Answering (VQA). We investigate why this is the case, and report an interesting phenomenon of CLIP, which we call the Concept Association Bias (CAB), as a potential cause of the difficulty of applying CLIP to VQA and similar tasks. CAB is especially apparent when two concepts are present in the given image while a text prompt only contains a single concept. In such a case, we find that CLIP tends to treat input as a bag of concepts and attempts to fill in the other missing concept crossmodally, leading to an unexpected zero-shot prediction.

## 1 Introduction

Recent large-scale vision-language models such as CLIP [1] and ALIGN [2] have shown remarkable performance on zero-shot classification and text-image retrieval tasks. These models are trained via cross-modal contrastive learning on web-scale image-text pairs and obtain powerful multimodal representations. Encouraged by these strong zero-shot capabilities, several recent papers explored CLIP for more complicated vision-language tasks. The initial attempt made by [3] reports near chance accuracy for zeroshot performance of CLIP on VQA-v2 [4], a common visual question answering benchmark. However, their approach simply uses "question: [question text] answer: [answer text]" as text input for the text encoder of CLIP, which makes the prediction harder than it should be. A subsequent work [5] proposes a better prompt generation method. They first convert a question into a masked prompt

CLIP: "In this picture, the color of the lemon is purple."

図 1 When we ask CLIP the color of the lemon in the above image, CLIP answers "purple". The text prompt we use is "In this picture, the color of the lemon is [mask]", where CLIP picks one from [red, green, yellow, orange, purple].

(e.g. "What's in the bowl behind the cake" becomes "The [mask] is in the bowl behind the cake"), and filter impossible answers using a language model, which improves CLIP's zero-shot performance on VQA-v2.

However, the zero-shot performance of CLIP on VQAv2 is still not state-of-the-art, which is achieved by taskspecific models [3]. While investigating what makes CLIP hard to adapt to VQA, we discover an interesting phenomenon, which we call the Concept Association Bias (CAB).

To describe this phenomenon, we present a simple image containing a "lemon" and an "eggplant" to CLIP, and ask what color the lemon is, as shown in Figure 1. Surprisingly, CLIP predicts "purple" with high confidence. When we instead ask for the color of the eggplant, CLIP answers "yellow". To cross-check this phenomenon, we formulate a binary zero-shot image classification task on the same image where the two labels are "yellow lemon" and "purple lemon", and find that CLIP predicts "purple lemon" with high confidence.

We hypothesize that this phenomenon comes from the discrepancy between what is described in the image and text input, where CLIP attempts to fill in the missing con-
cept. The association between "purple" and "eggplant" is strong, so when asked to fill in the mask in "[mask] lemon", predicting "purple" instead of "yellow" makes more sense for CLIP, because the text description of "purple lemon" is aligned with the image that contains both a lemon and an eggplant more faithfully than "yellow lemon", which only describes the lemon in the image. In fact, when we randomize the color of the lemon and eggplant (e.g. "red" for lemon and "green" for eggplant), we find that this bias disappears, and CLIP picks the color almost randomly between the two.

Vision-language models such as CLIP are being deployed for increasingly broad range of downstream applications $[6,7,8,9]$. However, the concept association bias suggests caution in such efforts.

## 2 Related Work

Vulnerability of vision and language models There are a number of papers that study the robustness of vision and language models. Some prior work [10] shows that Transformer trained via Masked Language Modeling [11] is insensitive to word orders, suggesting that the success of BERT largely depends on learning higher-order word co-occurrence rather than learning syntactic and semantic abstractions. Many benchmarks are proposed to evaluate robustness of ImageNet models towards various perturbations including common corruption [12], image style change [13], and different viewpoints [14]. Our work differs from these studies that are purely based on language or vision, because CAB is a cross-modal phenomenon, which occurs when both image and language data are used. [15] tests compositional generalization of vision and language models. [16] introduced a probing dataset called Winoground, which evaluates visuo-linguistic compositionality of vision and language models. They evaluate a diverse range of state-of-the-art vision and language models, including CLIP, but all of them perform close to or below random chance. Our work also reveals brittleness of CLIP through the lens of CAB, which has been overlooked in the past.

Peculiarities of CLIP In the image generation community, it has been reported that state-of-the-art models such as DALL-E 2 [6] struggle with composionality [17]. One of the potential causes of such failure has been attributed to the use of CLIP-based image encoder [6]. In fact, image generation models that do not use CLIP such as Imagen and Parti are known to be better at generating images that require compositional reasoning [18, 19]. However, few works go into depth to analyze the behavior of CLIP in zero-shot image classification and visual question answering. Our analysis based on $\mathrm{CAB}$ offers a new perspective on the weakness of CLIP-based models for compositional reasoning.

## 3 The Concept Association Bias

The zero-shot image classification of CLIP is remarkable for images that contain a single concept. However, when there are multiple concepts in the image but the text input does not cover all of them, the zero-shot classification of CLIP can be significantly biased towards the missing concept(s). We call this bias the Concept Association Bias (CAB). We first showcase this bias using color recognition tasks. ${ }^{1)}$ For this analysis, we use the Natural-Color Dataset (NCD) [20], which is a dataset of vegetables and fruits with a white background. We take the following objects: banana, brinjal, broccoli, carrot, cherry, corn, cucumber, lemon, orange, plum, pomegranate, strawberry, tomato. We then randomly sample two images with different vegetable types and place the two objects side-by-side, resulting in 494 images in total. Examples are shown in Figure 2.

図 2 Example images from Natural-Color Dataset (NCD) [20], modified for our color recognition tasks so that each image contains two different objects.

For zero-shot transfer from CLIP to our color recognition task, we ask for the color of one of the objects in the image. The labels we use are "red", "yellow", "purple", "green", and "orange", so it is a 5-way color recognition task. When there is a single object in the image, we use the following text prompt: "In this picture, the color of the object is [mask]." When there are two objects in the image, we specify one of these objects in the prompt. For exam-

ple, if there is a lemon and another object in the image, the prompt takes the following format: "In this picture, the color of the lemon is [mask]."

Zero-shot transfer from CLIP to color recognition

図 3 Zero-shot performance of CLIP on color recognition tasks using NCD [20]. CLIP achieves almost perfect accuracy when there is a single object in the image, but the accuracy significantly drops when there are two objects. "Two object*" refer to the case in which we instead measure the accuracy of predicting the color of the object $B$ when it is asked for the color of the object $A$, where we see $80 \%$ zero-shot accuracy. We claim this gap between Two objects and Two objects* is a result of the Concept Association Bias (CAB).

The results are shown in Figure 3. We first note that the zero-shot performance of CLIP on our color recognition task is almost perfect when there is a single object per image ("Single object" in Figure 3). However, the classification performance considerably degrades to below chance when there are two objects per image ("Two objects" in Figure 3).

How does this happen? We suggest that CLIP does not have a mechanism that stores object-centric representation that correctly binds the object's name and its attribute. In another words, CLIP processes its input as a "bag of concepts".

To inspect this possibility, we look at what kind of mistakes CLIP makes when there are two objects A and B. We find that many mistakes are derived from a common source. That is, when asked for the color of object A, CLIP often predicts the color of object $B$ in the image. In fact, when we measure the accuracy of predicting the color of the object $B$ when in reality it is asked to predict the color of the object A, we see that the zero-shot transfer performance of CLIP is much higher ("Two objects*" in Figure 3), approaching the single object accuracy.

To understand this phenomenon, we find it helpful to consider two variables per object, where each variable rep-

(a) Natural color

(b) Natural color ([mask] = purple)

(c) Unnatural color

図 4 The concept binding diagram. Two variables per object represent the object name and its attribute (e.g. color), respectively. We suggest that the text prompt and the image are represented as two separate "bags of concepts" in CLIP. When a pair of object-attribute concepts are naturally associated with each other, then both concepts can be accounted for by including in the prompt either of the object or the attribute. When only some of the concepts in the image are included in the text, this leaves other concepts in the image unaccounted for.

resents the object's name in the image and the color attribute of the object, as shown in Figure 4. When the colors are natural (Figure 4 (a)), both the object "lemon" and its attribute "yellow" in the image are fully explained by the word "lemon" in the text prompt, resulting in the concept of the eggplant remaining. When CLIP performs zero-shot color recognition, we see that placing the color "purple" in the prompt can most faithfully explain the remaining concept of the eggplant in the image (Figure 4 (b)).

図 5 Examples from UNCD. Single object (Top) and Two objects per image (Bottom).

The above explanation suggests that there is a strong association between the color "purple" and the object "eggplant" in CLIP to the point where "purple" can partially explain the concept of the eggplant. What if we break this strong association? Does the gap between Two objects and Two objects* disappear?

Zero-shot transfer from CLIP to unnatural color recognition

図 6 Zero-transfer performance of CLIP to color recognition on UNCD, where we assign non-associated color to each vegetable. CLIP achieves $80 \%$ accuracy when there is a single object in the image. While the accuracy drops for Two objects, the drop is not as significant as the NCD case. Furthermore, the gap between Two objects and Two objects* vanishes, compared to the NCD case.

To test this, we create a version of NCD, which we call UNnatural-Color Dataset (UNCD), where we artificially change the color of each fruit and vegetable to nonassociated color. Examples are shown in Figure 5. We repeat the same experiment on UNCD. The results are shown in Figure 6. We see that the zero-shot performance for a single object is still high, suggesting that CLIP can pick up the color attribute even if the color is not strongly associated with the object itself. However, for the two object cases, we see that there is almost no difference between Two objects and Two objects* tasks. In other words, CLIP predicts the two non-associated colors in the image with almost equal chance.

Why does the CAB gap disappear when objects are paired with random attributes in images? This result arises from a common mechanism that impacts both the Two objects and Two objects* tasks. To see this, we go back to our diagram in Figure 4 (c). When the colors are unnatural (e.g., a lemon in red color and an eggplant in green color), then the remaining bag of concepts that are yet to be explained by the text include "red", "green", and "eggplant". This is because the color "red" is not associated with the concept of "lemon", and therefore the word "lemon" in the text prompt cannot explain the color "red", unlike the case that uses natural color. As a result, CLIP can choose either "red" or "green" for color recognition. And indeed, surprisingly, CLIP randomly chooses between the two it does not associate the concept of "red" with the lemon, even though in the image the lemon unambiguously ap- pears in red. Likewise, for the Two objects* task (in which the correct prediction is defined as the color of object $\mathrm{B}$ when asked for object A), CLIP essentially randomly picks one of the two colors present in the image, despite the fact that each object has their own very distinct color.

図 7 The Concept Association Bias (CAB) remains regardless of the spatial configurations such as "left \& right", "up \& down", "upper-left \& down-right", and "large \& small". We use the same subset of NCD as in Figure 3.

## 3.1 The spatial arrangement has almost no effect on CAB

In our earlier experiments on NCD and UNCD, two objects are positioned side-by-side. To see if CAB is robust to the positioning of objects, we vary the spatial arrangement of the two objects in the image. Concretely, we test the following spatial configurations: left \& right, up \& down, and upper-left \& down-right. We also vary the size of the two objects for left \& right, which is denoted as "large \& small". As Figure 7 shows, CAB is not affected by either spatial arrangements or the object size.

## 4 Conclusion

Every object has a set of concepts that are roughly associated with it. For instance, the object "lemon" can be associated with "yellow", "fruit", and so on. Such concept association is automatically learned in vision-language models such as CLIP, to the point where the word "yellow" can partially explain the object "lemon" in certain cases. We establish that the Concept Association Bias (CAB) exists for CLIP through a series of experiments. CLIP is increasingly popular in both computer vision and natural language processing. We hope our work raises awareness of the brittleness of CLIP as we develop new models on top of CLIP.

## Acknowlegments

Computational resource of AI Bridging Cloud Infrastructure $(\mathrm{ABCI})$ provided by National Institute of Advanced Industrial Science and Technology (AIST) was used for the experiments in this paper.

## 参考文献

[1] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning Transferable Visual Models From Natural Language Supervision. In Proceedings of the 38th International Conference on Machine Learning, pp. 8748-8763. PMLR.

[2] Chao Jia, Yinfei Yang, Ye Xia, Yi-Ting Chen, Zarana Parekh, Hieu Pham, Quoc Le, Yun-Hsuan Sung, Zhen Li, and Tom Duerig. Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision. In Proceedings of the 38th International Conference on Machine Learning, pp. 4904-4916. PMLR.

[3] Sheng Shen, Liunian Harold Li, Hao Tan, Mohit Bansal, Anna Rohrbach, Kai-Wei Chang, Zhewei Yao, and Kurt Keutzer. How Much Can CLIP Benefit Vision-andLanguage Tasks?

[4] Yash Goyal, Tejas Khot, Douglas Summers-Stay, Dhruv Batra, and Devi Parikh. Making the v in VQA Matter: Elevating the Role of Image Understanding in Visual Question Answering. pp. 6904-6913.

[5] Haoyu Song, Li Dong, Weinan Zhang, Ting Liu, and Furu Wei. CLIP Models are Few-Shot Learners: Empirical Studies on VQA and Visual Entailment. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 6088-6100. Association for Computational Linguistics.

[6] Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, and Mark Chen. Hierarchical Text-Conditional Image Generation with CLIP Latents.

[7] Renrui Zhang, Ziyu Guo, Wei Zhang, Kunchang Li, Xupeng Miao, Bin Cui, Yu Qiao, Peng Gao, and Hongsheng Li. PointCLIP: Point Cloud Understanding by CLIP. pp. 8552-8562.

[8] Aditya Sanghi, Hang Chu, Joseph G. Lambourne, Ye Wang, Chin-Yi Cheng, Marco Fumero, and Kamal Rahimi Malekshan. CLIP-Forge: Towards Zero-Shot Text-To-Shape Generation. pp. 18603-18613.

[9] Can Wang, Menglei Chai, Mingming He, Dongdong Chen, and Jing Liao. CLIP-NeRF: Text-and-Image Driven Manipulation of Neural Radiance Fields. pp. 3835-3844.

[10] Koustuv Sinha, Robin Jia, Dieuwke Hupkes, Joelle Pineau, Adina Williams, and Douwe Kiela. Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 2888-2913. Association for
Computational Linguistics

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics.

[12] Dan Hendrycks and Thomas Dietterich. Benchmarking Neural Network Robustness to Common Corruptions and Perturbations.

[13] Dan Hendrycks, Steven Basart, Norman Mu, Saurav Kadavath, Frank Wang, Evan Dorundo, Rahul Desai, Tyler Zhu, Samyak Parajuli, Mike Guo, Dawn Song, Jacob Steinhardt, and Justin Gilmer. The Many Faces of Robustness: A Critical Analysis of Out-of-Distribution Generalization.

[14] Andrei Barbu, David Mayo, Julian Alverio, William Luo, Christopher Wang, Dan Gutfreund, Josh Tenenbaum, and Boris Katz. ObjectNet: A large-scale bias-controlled dataset for pushing the limits of object recognition models. In Advances in Neural Information Processing Systems, Vol. 32, pp. 9453-9463.

[15] Ben Bogin, Shivanshu Gupta, Matt Gardner, and Jonathan Berant. COVR: A Test-Bed for Visually Grounded Compositional Generalization with Real Images. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 9824-9846. Association for Computational Linguistics.

[16] Tristan Thrush, Ryan Jiang, Max Bartolo, Amanpreet Singh, Adina Williams, Douwe Kiela, and Candace Ross. Winoground: Probing Vision and Language Models for Visio-Linguistic Compositionality. pp. 5238-5248.

[17] Royi Rassin, Shauli Ravfogel, and Yoav Goldberg. DALLE-2 is Seeing Double: Flaws in Word-to-Concept Mapping in Text2Image Models.

[18] Chitwan Saharia, William Chan, Saurabh Saxena, Lala Li, Jay Whang, Emily Denton, Seyed Kamyar Seyed Ghasemipour, Burcu Karagol Ayan, S. Sara Mahdavi, Rapha Gontijo Lopes, Tim Salimans, Jonathan Ho, David J. Fleet, and Mohammad Norouzi. Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding.

[19] Jiahui Yu, Yuanzhong Xu, Jing Yu Koh, Thang Luong, Gunjan Baid, Zirui Wang, Vijay Vasudevan, Alexander $\mathrm{Ku}$, Yinfei Yang, Burcu Karagol Ayan, Ben Hutchinson, Wei Han, Zarana Parekh, Xin Li, Han Zhang, Jason Baldridge, and Yonghui Wu. Scaling Autoregressive Models for Content-Rich Text-to-Image Generation.

[20] Saeed Anwar, Muhammad Tahir, Chongyi Li, Ajmal Mian, Fahad Shahbaz Khan, and Abdul Wahab Muzaffar. Image Colorization: A Survey and Dataset.


# 個々の役割を指示可能な 入力言語に応じた 2 人のインタラクションの動作生成の検討

田中幹大近藤雅芳藤原 研人
LINE 株式会社
\{mikihiro.tanaka, masayoshi.kondo, kent.fujiwara\}@linecorp.com

## 1 概要

本研究では言語を入力とした， 2 人のインタラク ションを伴う動作生成に取り組む. 既存研究では言語と動作の関係を学習し動作生成を行なってきた. よって，インタラクションを生成する際には 2 人分 の動作を単一の記述で表現する必要がある. しか し，一部動作においてこの記述には一方は能動態，他方は受動態で表現される非対称な関係性を内包し ている.この見識に基づき本研究では，インタラク ションの記述を受動態・能動態の言語に変換するこ とによって，主体と受け手双方の動作を生成する手法を提案する。また，両者の位置や動作の関係性の 考慮のために，動作間のクロスアテンションも導入 する．更に，非対称な動作の場合に，一般に 2 人の 動作の学習データ全てに主体・受け手のラベリング が必要となる. 本研究では少数のアノテーションを 用いて学習データ全体にこのラベリングを行う手法 も提案する. 既存手法を拡張する方法と比較し, 文章を解釈し主体と受け手に分けて動作生成を行う提案手法の有効性を実験により示した.

## 2 はじめに

人間の動作のモデリングは，3 次元アバターや キャラクターを利用した高品質な動画像の制作に おいて重要な要素になりつつある.このような動画制作では 2 人以上の人物を登場させる場合， 1 人の 時と比べて，個々の動作のモデリングに加えて，両者の位置関係やインタラクションを考慮した，より 複雑なモデリングが必要となる. この複数人の動作 を自在に作ることができれば，より多様な登場人物 からなる映像制作を容易にできる. そこで本研究で は，最も直感的なインターフェースの一つである言語に注目し，入力言語に応じた 2 人のインタラク ションの動作生成という課題に取り組む.

図 1: 言語入力で提案手法により生成されたインタ ラクション例を示す。上は非対称な動作例であり，話す側と聞く側が存在する。下は対称な動作例であ り，両者共通の握手という動作をしている.

近年言語入力による 1 人の動作生成の研究が進展してきている $[1,2]$. 特に最近では拡散モデル $[3,4,5]$ の発展に伴って, より言語に忠実かつ多様 な動作生成が可能になってきた [6,7]. ここで，2人 のインタラクションについて考えると，図 1 のよう に主体と受け手が存在する非対称な動作，また両者共に主体となって共通の行為を行う対称な動作が存在する. 図 1 上の非対称な例では， 2 人のインタラ クションを描写した文章は，一方は能動態の囁くと いう表現，もう一方は受動態の囁かれるという表現 で描写される関係性を内包している。 [8] は 2 人の 動作生成に取り組む研究だが，動作の主体と受け手 の関係性を考慮しておらず，個々の役割を指示する ことも考えられていなかった.

そこで本研究では，先行研究の 1 人の動作生成モ デル [6] を拡張し，2 人のインタラクションの対称・非対称性を考慮して生成する手法を提案する。ま ず，動作の対称・非対称性を扱うために，個々に対 して動作が非対称な時は受動態・能動態の異なる言語を入力とし，動作が対称な時は同じ言語を入力と する．更に，両者の位置や動作の関係性を考慮する ために，2人の動作間のアテンションも導入する。

ここで，非対称な動作の生成において図 1 のよう にどちらを主体とするか指示するためには，2 人ま とめた動作の説明文に加えて，どちらの動作が主
体・受け手かのラベリングが必要となる. 本研究で は，アノテーションコストを抑えるべく，音源分離 で知られる Permutation Invariant Training[9]を利用す ることで，後者の主体・受け手のアノテーションは 少数のみを用いて，学習データ全体に擬似的にラべ ル付けするパイプラインを提案する。

## 3 関連研究

## 3.1 動作の認識

人間の動作の解析は，これまでは主に一般的な動画像を用いて行われてきた $[10,11]$. しかし，近年の 動作データ取得方法の発展に伴い $[12,13]$, 骨格の 動作データが注目を集めている。背景の影響を受け ない骨格データによる動作の認識は, 現在活発に研究されているテーマの一つである $[14,15]$. 骨格の 関節の座標値をベクトルデータ [16] や 2 次元のグ リッドデータ [17]に変換したり，関節の連結性をグ ラフとして扱ったりして [18] 深層学習のモデルの入力として利用されている. さらには，実施された地点も特定する研究も行われている [19].

動作解析の研究の多くは 1 人の人物を対象にして いるが，近年になり，人同士のインタラクションの 一般的なベンチマークとして，NTU RGB+D120 デー タセット [20]が構築された. このデータセットを用 いて，骨格の動作データを用いた 2 人のインタラク ションの認識の研究が始まっている [21, 22].

## 3.2 動作の生成

骨格データの解析結果を活用し，新たな動作を生成しようとする研究も盛んに行われている。従来,動作生成は様々なパターンから最も整合性のある動作を接続することで行われてきたが [23], 深層学習 の発展に伴い, データから学習することが現在主流 になっている. 行動ラベルが与えられた際に適切な 動作を生成する方法や [24, 25], 音楽にあった動作 を生成する研究 [26], 動作の周期性に着目し生成す る手法 [27] などが提案されている.

CLIP[28] の登場に伴い, 動作生成の研究において も，直感的なインターフェースとして言語が注目さ れている. CLIP の言語画像空間と動作の特徵空間 を対応づけ，言語情報に合った動作データを生成す る手法として MotionCLIP[29] が提案された. また,近年登場したテキストと動作の大規模なデータセッ ト $[30,31]$, 及び拡散モデルと学習済み CLIP を活用

図 2: 提案モデルの図を示す.「押す」という 2 人の 動作を生成する場合は，受動態・能動態の言語をそ れぞれ入力し，対応した動作を出力する．対称な動作の場合は同じ言語を入力する.

することで，入力言語に忠実かつ多様な動作の生成 を実現する手法も多く提案され始めている [6,7].本研究に近い研究として [8] らは 2 人の動作生成に 取り組んでいるが，動作の対称・非対称性に注目 し, 主体と受け手といった役割を個々に指示して生成を行うのは本研究が初めての取り組みである.

## 4 提案手法

本研究では以下を満たすモデルを提案する.

-対称な動作と非対称な動作ともに，個々の役割 を指定してインタラクションを生成できる.

・生成された 2 人の動作の辻褄が合っている.

2 人のインタラクションに対し, その動作カテゴリ $c_{i}$ を説明する文章 $y_{i}$ が付与されている状況を想定 する. 非対称な動作のカテゴリ $c_{i}$ においては, 本来個々の動作は， $y_{i}$ を受動態・能動態の 2 つの描写に 翻訳した文章 ( $y_{i}^{\text {passive }}, y_{i}^{\text {active }}$ ) のどちらに相当する かのアノテーションが必要となる. 本研究では, ア ノテーションコストを抑えるべく, 少数のアノテー ションから個々の動作が $\left(y_{i}^{\text {passive }}, y_{i}^{\text {active }}\right)$ のどちら に相当するかラベリングを行う手法を提案する。

## 4.1 拡散モデルを用いた 1 人の動作生成

まず，言語から 1 人の動作生成で最も性能の良い モデルの一つである, [6] らの拡散モデルを用いた 手法を説明する. 動作生成は，ランダムにサンプ リングされたノイズからの逆拡散過程として定式化することができる．動作系列を $X^{(0)}=\left[x_{1}, \ldots, x_{F}\right]$ ( $F$ はフレーム数, $x_{1}, \ldots, x_{F}$ は各時刻の姿勢) とし た時, 実データからサンプリングした動作系列 $X^{(0)} \sim q\left(X^{(0)}\right)$ に対して， $\mathrm{T}$ ステップのノイズを順 に加えたものを $X^{(1)}, \ldots, X^{(T)}$ のように表記する。ま ず，拡散過程では以下の式のようにガウシアンノイ

ズをマルコフ連鎖に従って付与する形で表せ， $X^{(T)}$ はおよそ $\mathcal{N}(\mathbf{0}, \mathbf{I})$ に従う。( $\beta_{t}$ はハイパーパラメータ $)$

$
\begin{aligned}
& q\left(X^{(1: T)} \mid X^{(0)}\right)=\prod_{t=1}^{t=T} q\left(X^{(t)} \mid X^{(t-1)}\right) \\
& q\left(X^{(t)} \mid X^{(t-1)}\right)=\mathcal{N}\left(X^{(t)} ; \sqrt{1-\beta_{t}} X^{(t-1)}, \beta_{t} \mathbf{I}\right)
\end{aligned}
$

逆拡散過程ではランダムなノイズから始まり，推定された $\mu_{\theta}\left(X^{(t)}, t\right), \Sigma_{\theta}\left(X^{(t)}, t\right)$ に従うガウシアンノ イズを付与する形でマルコフ連鎖に従ってノイズを 除去していき，動作を生成する。

$
\begin{aligned}
p_{\theta}\left(X^{(0: T)}\right) & =p_{\theta}\left(X^{(T)}\right) \prod_{t=1}^{t=T} p_{\theta}\left(X^{(t-1)} \mid X_{t}\right) \\
p_{\theta}\left(X^{(t-1)} \mid X^{(t)}\right) & =\mathcal{N}\left(X^{(t-1)} ; \mu_{\theta}\left(X^{(t)}, t\right), \Sigma_{\theta}\left(X^{(t)}, t\right)\right)
\end{aligned}
$

[6] らは， $\Sigma_{\theta}\left(X^{(t)}, t\right)$ は定数を用い, $\mu_{\theta}\left(X^{(t)}, t\right)$ の 推定のみ行なった. 推定器には Transformer[32] を ベースとしたモデルを用いた. $\mu_{\theta}\left(X^{(t)}, t\right)$ は推定さ れたノイズ $\epsilon_{\theta}\left(X^{(t)}, t\right.$, text $)$ から計算できるため，ノ イズ $\epsilon$ とステップ数 $t$, データ $X^{(0)}$ をランダムにサ ンプリングし, 以下の式によってノイズ推定を学習 することで，モデルパラメータの最適化を行った.

$\mathscr{L}=E_{t \in[1, T], X^{(0)} \sim q\left(X^{(0)}\right), \epsilon \sim \mathcal{N}(\mathbf{0}, \mathbf{I})}\left[\| \epsilon-\epsilon_{\theta}\left(X^{(t)}, t\right.\right.$, text $\left.) \|\right]$

## 4.2 インタラクション生成への拡張

2 人の動作の系列を $X_{1}=\left[x_{0}^{1}, \ldots, x_{F}^{1}\right], X_{2}=$ $\left[x_{0}^{2}, \ldots, x_{F}^{2}\right]$ ( $F$ はフレーム数, $x_{0}$ は最初の位置や 体の向き， $x_{1}, \ldots, x_{F}$ は各時刻の姿勢) のように表す.個々の動作に対して，文章が付与されているデータ セット $\left(\left(X_{1}, y_{1}\right),\left(X_{2}, y_{2}\right)\right)$ がある場合について考え る. 先行研究の単純な拡張によって 2 人のインタラ クションを生成する方法として，一つの Transformer で 2 人分の動作を一度に生成する方法が考えられ る. しかしこれでは, 非対称な動作を扱う際に個々 の役割を指示することができない. そこで，個別の 動作をモデリングするために，図 2 のようにパラ メータを共有した 2 つの Transformerを用い, 非対称 な動作の場合はそれぞれ受動態・能動態の言語を入力することにする. 対称な動作については，双方共 に能動態の言語を入力する.

次に，インタラクションでは互いの位置関係や動作のタイミングを合わせた生成が必要となる. 本研究では互いの動作間のクロスアテンションを導入す
る.これにより，作用・反作用といった動作の関係性や，相手に合わせた協調的な動作の学習を図る。

最終的なロス関数は式 3 と同様に, 以下で表せる.

$
\begin{aligned}
& \mathscr{L}=E_{t \in[1, T],\left(X_{1}^{(0)}, X_{2}^{(0)}\right) \sim q\left(X^{(0)}\right), \epsilon_{1} \sim \mathcal{N}(\mathbf{0}, \mathbf{I}), \epsilon_{2} \sim \mathcal{N}(\mathbf{0}, \mathbf{I})} \\
& \quad\left[\left.\|\epsilon_{1}-\epsilon_{\theta}\left(X_{1}^{(t)}, t, y_{1}\right)\right.\|+\left.\|\epsilon_{2}-\epsilon_{\theta}\left(X_{2}^{(t)}, t, y_{2}\right)\right.\|\right]
\end{aligned}
$

生成時は式 2 に従って， $T$ ステップ分ノイズを除去していくことで，同時に 2 人の動作を生成する.

## 4.3 主体・受け手の擬似ラベルの付与

4.2 節の手法のアノテーションコストを削減する べく, 非対称な動作カテゴリ $c^{i}$ における個々の動作 が, $\left(y_{i}^{\text {passive }}, y_{i}^{\text {active }}\right)$ のどちらに相当するかのラべ リングを半自動的に行う手法を説明する.

ここで, 非対称なクラス $c^{i}$ について, 二つの学習可能なパラメータ $w_{1}^{i}, w_{2}^{i}$ を用意する. 式 4 におい て, 言語特徴の代わりに $w_{1}^{i}, w_{2}^{i}$ を用いて 2 通りのガ イダンスによってノイズを推定し，以下の式のよう に小さい方を選択して誤差逆伝播を行う。

$
\begin{aligned}
& \mathscr{L}=E_{t \in[1, T],\left(X_{1}^{(0)}, X_{2}^{(0)}\right) \sim q\left(X^{(0)}\right), \epsilon_{1} \sim \mathcal{N}(\mathbf{0}, \mathbf{I}), \epsilon_{2} \sim \mathcal{N}(\mathbf{0}, \mathbf{I})} \\
& {\left[\operatorname { m i n } \left(\left.\|\epsilon_{1}-\epsilon_{\theta}\left(X_{1}^{(t)}, t, w_{1}^{i}\right)\right.\|+\left.\|\epsilon_{2}-\epsilon_{\theta}\left(X_{2}^{(t)}, t, w_{2}^{i}\right)\right.\|,\right.\right.} \\
& \left.\left.\left.\|\epsilon_{1}-\epsilon_{\theta}\left(X_{1}^{(t)}, t, w_{2}^{i}\right)\right.\|+\left.\|\epsilon_{2}-\epsilon_{\theta}\left(X_{2}^{(t)}, t, w_{1}^{i}\right)\right.\|\right)\right]
\end{aligned}
$

これは音源分離の分野で用いられる Permutation Invariant Training[9] と同様の手法であり,これに よって $w_{1}^{i}, w_{2}^{i}$ は主体か受け手のどちらか一方の特徴を得るように学習することが期待できる。学習し た $w_{1}^{i}, w_{2}^{i}$ のどちらが主体・受け手に相当するかは,少数のラベル付きデータと照合することで確かめ ることができる。 そして最後に，学習データそれ ぞれにランダムなノイズを付与し， $X_{1}, X_{2}$ のどちら が $w_{1}^{i}, w_{2}^{i}$ に対応するかを式 5 を用いて計算するこ とで，擬似的に個々の動作が主体か受け手かを特定 し， $\left(y_{i}^{\text {passive }}, y_{i}^{\text {active }}\right)$ をそれぞれに付与できる.

## 5 実験

## 5.1 実験設定

データセット: NTU RGB+D120 データセット [20] か ら，2人のインタラクションを扱っている 26 クラス の動作を利用した. 9 クラスの対称な動作，17クラ スの非対称な動作が含まれている. Appendix A にク ラスの例を載せる。これらの動画像から 3 次元骨格

を BEV[33]によって推定して実験に用いた。登場す る被験者が異なるように学習/検証/テストデータを 分け，それぞれ 20,306，3,493，3,044 件利用した.

評価指標: 1 人の動作生成の先行研究に倣って以下 の評価指標によって定量評価を行う. 生成された動作が大力言語と対応しているかの正解率 (Accuracy) を用いる. また，生成されたものと真のデータの 分布の一致具合によって評価する, Frechet Inception Distance(FID) を用いる. そして, 生成される動作の 多様性 (Diversity) を評価する。これらの評価を行う には，インタラクションの動作の特徴を抽出するモ デルが必要となる. しかしインタラクション認識の 標準的なモデルはないため, 本研究では同じ学習 データでインタラクションを認識する Transformer をべースとしたモデルを学習させて評価に用いた。

これらに加えて, 本研究では生成された 2 人の動作が相互に矛盾のないものになっているかを表す， MutualConsistency と呼ぶ指標を提案する. より詳細 を AppendixC で説明する。

比較手法: まず，提案モデルで 4.3 節の手法により,個々の動作に対して言語ラベルを付与する.この データを用いて以下の手法により比較実験を行う.

[6] らの手法を個別の役割を指示可能な形で拡張 し，2つの Transformer を用いて動作を行う手法を ベースラインとし, Ours w/o cross attentionと記す. Ours と記す手法はこれに対して 2 人の動作間のクロ スアテンションを加えたものである. 更に，提案手法は 1 人の動作生成手法である [6] らのモデルに新 たなパラメータを加える形で設計されており, [6] らの言語特徴抽出器や動作生成モデルの共通部分の パラメータを初期値として学習することができる. これを Ours+pretrained と記す.

また，[6] らの手法を基にして，2 人分の動作を一 つの系列として扱うことで一つの Transformer で生成する手法を Single Transformer と記す。この手法は [8] 同様 2 人まとめた指示しかできず，個別に役割 を指示できないため，参考値として比較を行う。

## 5.2 定量評価

表 1 に，定量評価の結果を示す. 提案手法は ベースラインの Ours w/o cross attention に比べてい ずれの指標でも良い性能を示し, 特に Accuracy と MutualConsistency で差が出る結果となった. Ours w/o cross attention は Accuracy が 71.3\%あるが, MutualConsistency が $41.7 \%$ となった. これはそのカ表 1: 定量評価の結果を示す. 生成する動作の系列長は可変であり, テストデータと同じ長さとした. 4 回評価実験を行い，95\%信頼区間を土で示した.

図 3: 生成結果を示す. 提案手法は「押す」という動作で，辻褄の合った動作を生成できている.

テゴリらしい動作をある程度生成できているが，生成されたインタラクションの半分以上が辻褄の合わ ないものになっていることを示している. 個々に付与した擬似ラベルを用いない Single Transformer と比 べても，特に 1 人の言語と動作の対応関係の事前知識を用いる Ours+pretrained の Accuracy が高く, 個別 の動作のモデリングによってより入力言語に忠実な インタラクションを生成できていることが分かる.

Single Transformer の FID が小さいのは，擬似ラベル のエラーの影響を受けないためと考える.

## 5.3 定性評価

図 3 に「押す」というインタラクションを生成 した時の結果を示す. Ours w/o cross attention に比べ て，提案手法は一方が手を伸ばして相手を押し，も う一方は押された結果として後ろによろける動作が 生成されている.このように, 定性的にも提案手法 は言語に忠実かつ 2 人の辻褄の合ったインタラク ションが生成できていることを確認できる.

## 6 おわりに

本研究では，個々に役割を指示可能な，言語によ る 2 人のインタラクション生成に取り組んだ。互い の動作間のクロスアテンションを導入し，動作の関係性を考慮したモデルを提案し，言語に忠実かつ相互に矛盾のない 2 人のインタラクションを生成可能 であることを実験によって示した. 物理環境の考慮及び，より自由度の高い言語入力によるインタラク ション生成が今後の課題として挙げられる.

## 参考文献

[1]Mathis Petrovich, Michael J. Black, and Gül Varol. TEMOS: Generating diverse human motions from textual descriptions. In $E C C V, 2022$.

[2]Chuan Guo, Shihao Zou, Xinxin Zuo, Sen Wang, Wei Ji, Xingyu Li, and Li Cheng. Generating diverse and natural $3 \mathrm{~d}$ human motions from text. In CVPR, 2022.

[3]Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diffusion probabilistic models. In NeurIPS, 2020.

[4]Yang Song and Stefano Ermon. Improved techniques for training score-based generative models. In NeurIPS, 2020.

[5]Diederik Kingma, Tim Salimans, Ben Poole, and Jonathan Ho. Variational diffusion models. In NeurIPS, 2021.

[6]Mingyuan Zhang, Zhongang Cai, Liang Pan, Fangzhou Hong, Xinying Guo, Lei Yang, and Ziwei Liu. Motiondiffuse: Text-driven human motion generation with diffusion model. arXiv preprint arXiv:2208.15001, 2022.

[7]Guy Tevet, Sigal Raab, Brian Gordon, Yonatan Shafir, Amit H Bermano, and Daniel Cohen-Or. Human motion diffusion model. arXiv preprint arXiv:2209.14916, 2022.

[8]Shubh Maheshwari, Debtanu Gupta, and Ravi Kiran Sarvadevabhatla. Mugl: Large scale multi person conditional action generation with locomotion. In WACV, 2022.

[9]Morten Kolbæk, Dong Yu, Zheng-Hua Tan, and Jesper Jensen. Multi-talker speech separation with utterance-level permutation invariant training of deep recurrent neural networks. TASLP, 2017.

[10]Christoph Feichtenhofer, Haoqi Fan, Jitendra Malik, and Kaiming He. Slowfast networks for video recognition. In ICCV, 2019.

[11]Yutaro Shigeto, Yuya Yoshikawa, Jiaqing Lin, and Akikazu Takeuchi. Video caption dataset for describing human actions in japanese. In LREC, 2020.

[12]Marc Habermann, Weipeng Xu, Michael Zollhoefer, Gerard Pons-Moll, and Christian Theobalt. Livecap: Real-time human performance capture from monocular video. ACM Transactions On Graphics, 2019.

[13]Marc Habermann, Weipeng Xu, Michael Zollhofer, Gerard Pons-Moll, and Christian Theobalt. Deepcap: Monocular human performance capture using weak supervision. In CVPR, 2020 .

[14]Raviteja Vemulapalli, Felipe Arrate, and Rama Chellappa. Human action recognition by representing $3 \mathrm{~d}$ skeletons as points in a lie group. In CVPR, 2014.

[15]Yong Du, Wei Wang, and Liang Wang. Hierarchical recurrent neural network for skeleton based action recognition. In CVPR, 2015.

[16]Jun Liu, Amir Shahroudy, Dong Xu, and Gang Wang. Spatiotemporal $1 \mathrm{stm}$ with trust gates for $3 \mathrm{~d}$ human action recognition. In $E C C V, 2016$.

[17]Qiuhong Ke, Mohammed Bennamoun, Senjian An, Ferdous Sohel, and Farid Boussaid. A new representation of skeleton sequences for 3d action recognition. In CVPR, 2017.

[18]Lei Shi, Yifan Zhang, Jian Cheng, and Hanqing Lu. Twostream adaptive graph convolutional networks for skeletonbased action recognition. In CVPR, 2019.

[19]Qing Yu and Kent Fujiwara. Frame-level label refinement for skeleton-based weakly-supervised action recognition. In AAAI, 2023.

[20]Jun Liu, Amir Shahroudy, Mauricio Perez, Gang Wang, LingYu Duan, and Alex C. Kot. Ntu rgb+d 120: A large-scale benchmark for $3 \mathrm{~d}$ human activity understanding. In TPAMI, 2020.

[21]Yunsheng Pang, Qiuhong Ke, Hossein Rahmani, James Bailey, and Jun Liu. Igformer: Interaction graph transformer for skeleton-based human interaction recognition. In $E C C V$, 2022.

[22]Yoshiki Ito, Quan Kong, Kenichi Morita, and Tomoaki Yoshinaga. Efficient and accurate skeleton-based two-person interaction recognition using inter- and intra-body graphs. In ICIP, 2022.

[23]Michael Büttner and Simon Clavet. Motion matching-the road to next gen animation. Proc. of Nucl. ai, 2015.

[24]Chuan Guo, Xinxin Zuo, Sen Wang, Shihao Zou, Qingyao Sun, Annan Deng, Minglun Gong, and Li Cheng. Action2motion: Conditioned generation of $3 \mathrm{~d}$ human motions. In Proceedings of the 28th ACM International Conference on Multimedia, 2020.

[25]Mathis Petrovich, Michael J Black, and Gül Varol. Actionconditioned 3d human motion synthesis with transformer vae. In ICCV, 2021.

[26]Ruilong Li, Shan Yang, David A Ross, and Angjoo Kanazawa. Ai choreographer: Music conditioned 3d dance generation with aist++. In CVPR, 2021.

[27]Sebastian Starke, Ian Mason, and Taku Komura. Deepphase: periodic autoencoders for learning motion phase manifolds. ACM Transactions on Graphics (TOG), 2022.

[28]Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In ICML, 2021.

[29]Guy Tevet, Brian Gordon, Amir Hertz, Amit H Bermano, and Daniel Cohen-Or. Motionclip: Exposing human motion generation to clip space. ECCV, 2022.

[30]Matthias Plappert, Christian Mandery, and Tamim Asfour. The kit motion-language dataset. Big data, 2016.

[31]Abhinanda R Punnakkal, Arjun Chandrasekaran, Nikos Athanasiou, Alejandra Quiros-Ramirez, and Michael J Black. Babel: Bodies, action and behavior with english labels. In CVPR, 2021

[32]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[33]Yu Sun, Wu Liu, Qian Bao, Yili Fu, Tao Mei, and Michael J. Black. Putting people in their place: Monocular regression of 3d people in depth. In CVPR, 2022.

[34]Yi Zhou, Connelly Barnes, Jingwan Lu, Jimei Yang, and Hao Li. On the continuity of rotation representations in neural networks. In CVPR, 2019.

[35]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT, 2019.

## A データセットの詳細

対称な動作は，hugging， shaking hands，walking towards, walking apart, high-five, cheers and drink, carry object, exchange things, rock-paper-scissors の 9 カテゴ リ，非対称な動作は，punch/slap，kicking，pushing， pat on back, point finger, giving object, touch pocket, hit with object, wield knife, knock over, grab stuff, shoot with gun, step on foot, take a photo, follow, whisper, support somebody の 17 カテゴリからなる. 本研究で はこれらを文章に変換して用いた。

## B 提案モデルの詳細

図 4 にモデルの詳細な図を示す.モデルの入力の initial position は最初の体の位置と向きを 表す 4 次元のベクトルである. pose representation は $\left(r^{v a}, r^{v x}, r^{v z}, r_{h}, \mathbf{j}^{p}, \mathbf{j}^{v}, \mathbf{j}^{r}, \mathbf{f}\right)$ からなる, 263 次元 のべクトルである. $\mathrm{y}$ 軸を垂直方向とした時, $r^{v a}, r^{v x}, r^{v z}, r_{h}$ はそれぞれ腰の, $\mathrm{y}$ 軸回りの角速度， $\mathrm{x}$ 方向の速度， $\mathrm{z}$ 方向の速度，高さを表す. $\mathbf{j}^{p} \in \mathbb{R}^{(J-1) \times 3}, \mathbf{j}^{v} \in \mathbb{R}^{J \times 3}$ は $J$ 個の関節の位置と速度 を表す. $\mathbf{j}^{r} \in \mathbb{R}^{(J-1) \times 6}$ は各関節の 6 次元の回転 [34] を表す. $\mathbf{f} \in \mathbb{R}^{4}$ は足の 4 点の関節が地面に接してい るかを表している。拡散のステップ数は 1,000 とし，式 1 の $\beta_{t}$ は， 0.0001 から 0.02 に線形に増やした.

## C 評価指標の詳細

Accuracy: 生成された動作が入力された言語に対応するかを評価する指標. 図 5 に示す，入力された インタラクションのカテゴリを予測するモデルを学習させ，評価に用いる．以下 FID，Diversity の評価 にも，このモデルによって抽出された特徴量を用い る. 本研究では, 図 5 の Global Average Pooling の後 の出力を特徴量として用いた.

FID: 生成モデルの評価で最も用いられる, 生成さ れたものと真のデータの分布の一致具合を評価する 指標. 生成された動作とテストデータの動作の特徵量の平均と共分散をそれぞれ $(\mu, \Sigma),\left(\mu^{\prime}, \Sigma^{\prime}\right)$ と表し たときに，以下の式により分布間距離を求める.

$
\mathrm{FID}=\left.\|\mu-\mu^{\prime}\right.\|_{2}+\operatorname{Tr}\left(\Sigma+\Sigma^{\prime}-2 \sqrt{\Sigma \Sigma^{\prime}}\right)
$

Diversity: 生成される動作の多様性を評価する指標. ランダムな文章入力から生成された $S_{d}$ 個の動作の集合を二つ用意し，それぞれから抽出された特

図 4: 詳細な提案モデルの図を示す。パラメータを 共有する transformer は $N$ 個のアテンションブロッ クによって構成され，1 ステップずつノイズを除去 し 2 人の動作を生成する. アテンションブロック内 では順に，セルフアテンション，言語のクロスアテ ンション，動作間のクロスアテンション，順伝播型 ニューラルネットワークによって処理が行われる.

図 5: Accuracy と MutualConsistency の評価に用いた モデルの図を示す. IEと PE は図 4 と同様.

徴量 $\left[v_{1}, \ldots, v_{S_{d}}\right],\left[v_{1}^{\prime}, \ldots, v_{S_{d}}^{\prime}\right]$ を用いて，以下の式に よって生成される動作の多様性を評価する。

$
\text { Diversity }=\frac{1}{S_{d}} \sum_{i=1}^{S_{d}}\left.\|v_{i}-v_{i}^{\prime}\right.\|_{2}
$

MutualConsistency: 本研究で提案する, 生成され た 2 人の動作が辻褄の合ったものになっているか を評価する指標. 図 5 に示すモデルを学習させ，評価に用いる。学習時は BERT[35] で用いられる next sentence prediction タスクの学習と同様に, [CLS] と 呼ぶトークンを用意し，そこからの出力を用いて動作が正しいペアかを予測させる．例えば押すという 動作において，誤ったペアでは，押す・押されるの 方向やタイミング，位置関係が誤っているデータと なるため，正しいぺアとの判別を学習することによ り，入力された 2 人の動作が辻褄の合っているもの かを判定できるようになる. 本研究では正しいぺア と誤ったペアを 1 対 1 の比率で学習させた.このモ デルを用いて，生成された 2 人の動作が正しいぺア となっている割合によって評価する。


# コードネームピクチャーズにおける ヒント決定アルゴリズムの提案と実装

大橋玲音 1 坪倉和哉 2 鈴木丈慈 1 坪井辰馬 1 小林邦和 ${ }^{1}$
1 愛知県立大学情報科学部 2 愛知県立大学大学院 情報科学研究科
\{is211014, im212008, is211046, is211053\}@cis.aichi-pu.ac.jp
kobayashi@ist.aichi-pu.ac.jp

## 概要

本研究では，不完全情報ゲームの一つであるコー ドネームピクチャーズをプレイするアルゴリズムの 実装を行った.コードネームピクチャーズは, 画像理解と自然言語理解を介した意図の伝達を行うゲー ムである．そのため，アルゴリズムの実装は，挑戦的なタスクであり, 人間の認知行動の理解にも繋が る. 提案手法では, イメージキャプショニングと翻訳により画像を文章に変換する方法を検討した。そ の結果は, 提案手法では人間のプレイ能力に及ばな いことがわかったが，一部人間と同様のプレイ能力 を発揮した. 本成果は, 今後のコードネームピク チャーズの研究に役立ち, 画像と自然言語の融合的理解を進めるものである.

## 1 はじめに

人工知能技術の発展により, 将棋や囲碁といった 完全情報ゲームでは，すでに人間の能力を凌駕する 力を獲得している. そこで, より高度な知能を獲得 することを目指し，より複雑なタスクである不完全情報ゲームを対象とした研究 $[1,2]$ が進められて いる.

完全情報ゲームとは異なり, 不完全情報ゲームで は，ゲームを行う上で必要な情報全てが明らかに なっているわけではない. 不完全情報ゲームの中に は，他プレイヤとコミュニケーションを行い，自身 の持つ情報を伝えたり, 他プレイヤから必要な情報 を引き出すようなゲームもある。例えば，人狼ゲー ムでは, 他プレイヤとの会話に基づき, 交涉や欺瞞 を行う必要がある。 また, Hibana のように, 会話で はなく, ルールに基づく行動によりタスク成功に必要なヒントを伝えるゲームもある。これらのゲーム は，限られた行動の範囲の中で，自身の意図を他プ
レイヤに伝える能力が必要となる．そのため，この ようなコミュニケーションを伴う不完全情報ゲーム の研究を行うことで, 高度なコミュニケーションの 理解につながる.

本研究では, 不完全情報ゲームの中でも, コー ドネームピクチャーズを扱う。コードネームピク チャーズのルールについては 2 章で詳述するが, 絵 が描かれたカードにヒントとなる単語を付与する“ スパイマスター”と，スパイマスターから与えられ た単語からスパイマスターの意図するカードを選択する “諜報員”に分かれて行うゲームである。そ のため，スパイマスターは，カードに描かれた絵か ら適切な言葉を抽出し, 意図するカードを諜報員に 適切に選択してもらう必要がある。一方で, 諜報員 は，スパイマスターの意図を波み取り，適切にカー ドを選択する必要がある。このように，コードネー ムピクチャーズでは, 画像理解と自然言語理解を介 した意図の伝達を行うことが求められる.

コードネームピクチャーズと類似したゲームと して，コードネームと Dixit が挙げられる。コード ネームピクチャーズはコードネームから派生した ゲームである.コードネームピクチャーズはカード に絵が描かれているのに対して，コードネームは， カードに単語が描かれている.コードネームを扱っ た先行研究はいくつか存在するが $[3,4]$, コードネー ムピクチャーズでは, 自然言語理解だけなく, 画像理解も必要となる. また, Dixit はイラストが描か れたカードと言葉によるヒントを用いてゲームを 行うため, Dixit の先行研究 [5] はコードネームピク チャーズの研究にも役立つ. しかし, Dixitにおけ るヒントは，推測者全員にカードを当てられず，一部の推測者のみに当てもらう必要があるため，コー ドネームピクチャーズとはヒントの出し方が異な

図 1 コードネームピクチャーズの場の例

図 2 コードネームピクチャーズの色の割り当ての例 (4 × 5 の各タイルに色が割り当てられており, 各タイルは 図1の各カードに対応している)

る1).コードネームピクチャーズでは, 味方プレイ ヤと協力する必要があるため, 味方のプレイヤに単語を用いて意図を伝える能力が求められる。

これまで，コードネームピクチャーズを扱った 研究は存在しない. そのため, 本研究では, コード ネームピクチャーズの研究の第一歩として，スパイ マスターのヒントに着目し，ヒントを決定するアル ゴリズムのベースライン実装と人間のスパイマス ターにより作成されたヒントとの比較を行う.

以降，2 章では，コードネームピクチャーズの ルールを説明する． 3 章では，スパイマスターのヒ ント決定アルゴリズムについて述べ， 4 章で評価を 行う。最後に本稿をまとめる.

## 2 コードネームピクチャーズの ルール

本章では，コードネームピクチャーズのルールに ついて説明する。コードネームピクチャーズでは, スパイマスター一人と諜報員一人以上からなる 2 チームに分かれる.場には 20 枚の絵（図 1）が書か

れたカードがあり，それらのカードには先攻チーム のカード 8 枚 (青色), 後攻チームのカード 7 枚（赤色), 暗殺者のカード 1 枚 (黒色)，一般人のカード 4 枚（肌色）が割り当てられている (図2). スパイマ スターは上記のカードの色の割り当てを知っている が，諜報員は色の割り当てを知ることはできない. また，カードに描かれた絵はスパイマスターと諜報員の両方から見ることができる．スパイマスターは 自分のチームの諜報員へ向けてヒントを提示，諜報員はスパイマスターから提示されたヒントをもと に自分のチームのカードを推測して選択する。これ をそれぞれのチームで交互に繰り返し，先に自分 のチームのカードをすべて取ったチームが勝ちと なる.

スパイマスターが提示するヒントは正解の絵を連想させ，ヒントとカードの絵柄が意味的に関係する 一語の単語（品詞は問わない）である必要がある.例えば，「あ」から始まる物の絵柄 3 枚のヒントと して「あ」は使用することができない。また，スパ イマスターはヒントのほかに諜報員に取ってほし いカードの枚数を指定できる。諜報員はスパイマス ターが指定した枚数よりもさらに一枚まで多くとる ことができる．これは前のヒントのカードをとり逃 した場合に役に立つ.

諜報員はスパイマスターのヒントを元に，同じ チームの諜報員と相談しながら正解だと思うカード を選ぶ。選んだカードが自分のチームのカードの場合, さらにもう一枚とるか否か選ぶことができる.選んだカードが一般人または相手のチームのカード であった場合，相手にターンを渡す。選んだカード が暗殺者のカードの場合，選んだチームはその時点 で負けとなるため，暗殺者のカードを選ぶことは絶対に避けなければならない、スパイマスターは相手 チームより先に自分のチームの諜報員に自分のチー ムのカードをすべてとらせるために，一つのヒント でなるべく多くのカードを連想させるヒントを出す ことが重要である.

以上のように，スパイマスターはカードに描かれ た絵から関連する語を抽出し, 他のカードとの関係 も考慮した上でカードの推測に効果的なヒントを 提示する。また，諜報員はヒントとなる単語をもと に，単語が示している絵の描かれたカードを選択す る必要がある．そのため，コードネームピクチャー ズは，高度な画像理解と自然言語理解を必要とする ボードゲームであり，ゲーム AI の実装は挑戦的な

画像(イラスト)

(1)イメージキャプショニング

“a picture of a bus”英語のキャプション

(2)翻訳 (英語 $\rightarrow$ 日本語)

“バスの写真” 日本語のキャプション

(3)翻訳文章から単語を選択

“バス” 単語

図 3 ヒント決定アルゴリズムの概要

画像処理と自然言語処理の両方が必要な融合タスク と言える。

## 3 ヒント決定アルゴリズム

この章では，ヒント決定アルゴリズムについて説明する．アルゴリズムの概要を図 3 に示す。はじめ に，コードネームピクチャーズで用いられるカード に対してイメージキャプショニングを行い，その カードを説明する文章を得る，イメージキャプショ ニングとは，画像に対して文章の説明を生成する技術であり，イメージキャプショニングを行う際に用 いたモデルは OFA [6] である. その後, 得られた文章を英語から日本語へ翻訳する。翻訳には Python ライブラリ googletrans ${ }^{2}$ を用いた.

コードネームピクチャーズではヒントとして用い れるのは一語の単語である.そのため, 翻訳された 文章から単語を選択する。まず，日本語形態素解析 エンジンである $\mathrm{MeCab}^{3)}$ を用いて，翻訳文章を単語 に分割する。言語のみを用いるコードネームの研究 において, ヒントとして用いられる単語は名詞が最 も高い (名詞: $74.7 \%$, 動詞: $13.1 \%$, 形容詞: $12.1 \%$ )こ とが報告されている [4]. そのため, 翻訳文章の単語 のうち, 名詞をヒントの候補単語とした。ここで,代名詞はカードを推測するための情報を持たないと 考えられるため, 代名詞は除いている。また，翻訳

2) https://pypi.org/project/googletrans/

3) https://taku910.github.io/mecab/文章を人手で確認したところ,「○○の絵」,「○○ のイラスト」,「○○の写真」といった文章が多かっ た.「絵」,「イラスト」,「写真」の 3 単語は, カード の推測に役立たない $(\bigcirc \bigcirc$ 部分に情報が含まれ る）ため, これらの 3 単語もヒント候補から取り除 いた.このように選択したヒントとなる単語の候補群から単語を無作為に選択することでヒント単語を 決定した.ここで, 上記の方法でヒントの候補群が 空となる場合には，動詞または形容詞から単語を無作為に選択した。動詞または形容詞も含まれない場合は，全単語から 1 つ単語を無作為に選択する。

## 4 評価

本章では, 人間が作成したヒントと前章で述べた 手法で選択されたヒントの比較を行うことで，提案手法の評価を行う。

## 4.1 評価方法

コードネームピクチャーズのカード全 280 枚から 無作為に 50 枚選択し, それらのカードに対して評価を行う．まず，前章で述べた手法により各カード に対してヒント単語を決定する。また, 複数名のヒ ント作成者（大学生 2 名）により, 各カードに対し て, カードの絵を表現するヒント単語を決定した。 その後, 作成者とは別の評価者（大学生 2 名）が, カードとヒント単語を見て，ヒントが適切かを 1 （不適切）から 5 （適切）の 5 段階で評価を行った.

## 4.2 評価結果

人間と提案手法により作成したヒントの両方に対 して，そのヒントがどの程度適切かを 1 (不適切) から 5 (適切) の 5 段階で評価した。その結果, 人間と提案手法が作成したヒントの評価値の平均は, それぞれ 4.90 と 2.22 であった. 度数分布表を図 4 に示す. 図から, 人間によるヒントは大半が適切,提案手法は半数が不適切と評価された。また，人間と提案手法によるヒントの評価をウィルコクソ ンの符号付順位検定を用いて比較すると, $p$ 值は $1.28 \times 10^{-8}$ であった. このことから, 人間が作った ヒントの評価と提案手法によるヒントの評価との間 には，平均值に有意な差があるといえる．したがっ て, 人間が作ったヒントは提案手法によるヒントよ り適切であるといえる. しかしながら, 人間と提案手法が同じ単語である場合も確認されたことから，部分的には提案手法は人間と同様のヒントを作成す

図 4 人間が作成したヒントと提案手法により作成したヒ ントの適切性（1 が不適切, 5 が適切)

図 5 イメージキャプショニング，および翻訳の適切性の 評価 (1 が不適切, 5 が適切)

る能力があることが確認された。提案手法によるヒ ントが人間によるヒントと比較して点数が著しく低 い結果となった理由としては, イメージキャプショ ニング，または翻訳が適切に行われなかったことが 原因だと考えられる。

この原因を調査するため，コードネームピク チャーズの 280 枚のカードに対して，イメージキャ プショニングと翻訳を行って得た説明文章に対し て, 評価者 1 名が説明文の妥当性を 5 段階 (1 が不適切, 5 が適切) で評価した。その結果（図 5), 約 $1 / 4$ の説明文章は適切（5 点）と判断されているが,約半数のカードが不適切（1 点）と判断された.こ の結果から，イメージキャプショニングまたは，翻訳の精度が十分でないことがわかった.

## 5 おわりに

本研究では，コードネームピクチャーズの研究の 第一歩として, スパイマスターのヒントに着目し, ヒントを決定するアルゴリズムを提案した。人間と 提案手法により作成したヒントを人手で評価した 結果, 人間のヒントの方が適切であることがわかっ た. 提案手法が劣る結果となった原因として，イ メージキャプショニング，または翻訳の精度が悪い ことが考えられるため, 今後は，イメージキャプ ショニングと翻訳の精度を向上させる. 具体的に は，コードネームピクチャーズの多義的なイラス 卜に対して, 適切に説明文章を生成できるように， キャプショニングモデルのハイパーパラメータの調整を行うことが挙げられる.

また, 本研究ではタスクの単純化のため, 1 枚の カードのみに対してヒントを作成したが，コード ネームピクチャーズでは複数枚のカードに対して 1 つのヒントを作成することが可能である.そのた め, 複数枚の絵に共通する要素を抽出し, それをヒ ントとして提示する能力が求められる。今後は複数枚の絵に対してヒントを作成する手法の検討も行 う. 将来的には, ヒントからカードを推測するプレ イヤー（諜報員）の実装も行い，人間とゲームをプ レイできる人工知能システムを作成する.

## 参考文献

[1] 片上大輔, 烏海不二夫, 大澤博隆, 稲葉通将, 篠田孝祐,松原仁. 人狼知能プロジェクト (<特集>エンターテイ メントにおける ai). 人工知能, Vol. 30, No. 1, pp. 65-73, 2015.

[2] 大澤博隆. Hanabi コンペティション一不完全情報下における相互協力一. 人工知能, Vol. 35, No. 3, pp. $385-389,2020$.

[3] Catalina Jaramillo, Megan Charity, Rodrigo Canaan, and Julian Togelius. Word Autobots: Using Transformers for Word Association in the Game Codenames. Proceedings of the AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment, Vol. 16, No. 1, pp. 231-237, October 2020. Number: 1.

[4] 坪倉和哉, 久保谷空史, 早苗昭尚, 大橋玲音, 堀川裕真,小林邦和. コードネームのゲーム ai 実装に向けたヒ ント行為の分類. 人工知能学会全国大会論文集, Vol. JSAI2022, 2022.

[5] 岩田航季, 鈴木麗需, 有田隆也. 連想カードゲーム Dixit の AI プレイヤー作成による人間の認知への アプローチ. 人工知能学会全国大会論文集, Vol. JSAI2020, 2020.

[6] Peng Wang, An Yang, Rui Men, Junyang Lin, Shuai Bai, Zhikang Li, Jianxin Ma, Chang Zhou, Jingren Zhou, and Hongxia Yang. Ofa: Unifying architectures, tasks, and
modalities through a simple sequence-to-sequence learning framework, 2022.


# Masked Image Modeling を利用した情景画像中のテキスト認識

三ツ井悠翔 宮崎智 大町真一郎
東北大学大学院
yuto.mitsui.s1@dc.tohoku.ac.jp tomo@tohoku.ac.jp
shinichiro.omachi.b5@tohoku.ac.jp

## 概要

既存のテキスト認識手法は実世界におけるデータ セットのサンプル数が少ないため，合成データセッ トを用いて学習がされているが、実世界で発生する 問題に対応できない。そこで，ラベルがない実画像 の利用によってテキスト認識モデルの可能性を引 き出すことが考えられており，テキスト認識に対す る自己教師あり学習手法が検討されている。本研究 では、Masked Image Modeling を利用し、文脈情報を 考慮した新たなマスキング戦略を提案した。実験の 結果，提案するマスキング戦略の有効性が実証さ れた。

## 1 はじめに

情景画像中のテキスト認識は自然なシーンにおけ るテキストの読み取りを目標としており，幅広い応用が存在するため重要なタスクとなっている. 光学式文字認識 (OCR) の分野は大きく発展したが，実世界で発生するフォントや文字の形，撮影環境による 問題によって，情景画像中のテキスト認識は現在も 難しいタスクとなっている．既存のテキスト認識手法の多くは実世界におけるデータセットのサンプル 数が少ないため，大規模な合成データセットを用い て学習がされている。しかし，実データと合成デー タのドメインギャップにより，実世界で発生する問題に対応できない．そこで，アノテーションされて いない実画像の利用によってテキスト認識モデルの 可能性を引き出すことが考えられており，テキスト 認識に対する自己教師あり学習手法が検討されて いる.

これまでの研究では, Contrastive Learning (対照学習）の導入が試みられている. SeqCLR[1]は，テキ スト認識のための sequence-to-sequence 対照学習手法 を提案した. PerSec[2] はテキスト認識のための階層的な対照学習手法を提案した。自然言語処理では，BERT[3] が Masked Language Modeling (MLM) による大きな成功を収めている.画像分野では BERT に触発され，データの一部を削除し，削除した部分を復元する考え方を画像に適用 した Masked Image Modeling (MIM) が提案されてい る. 2 つの手法は類似しており，PIXEL[4] は文をテ キスト画像に変換し，MIM を用いることで BERT と 同程度の結果を出している。

本研究では，MIM をテキスト認識に適用し，単語 の文脈情報を反映した自己教師あり事前学習を行 うことを目的としている. 特に，MIM 手法として Masked AutoEncoder (MAE)[5] を利用し，マスキング 戦略に対して変更を行った。具体的には，横方向に は，ランダムなスパンに対してマスキングを行い，縦方向には一様なマスキングを行う．ランダムマス キングよりも，意味のある単位（文字や複数文字） をマスクすることで，抽象度の高いモデルを作るよ うな効果があると考えられる．提案するスパンマス キングで事前学習を行うとランダムマスキングより も $0.8 \%$ 以上高い正解率が得られた。本論文の貢献 は以下の 3 点である.

1. テキスト認識に対して初めて MAEを利用した 事前学習を行った。

2. 文脈情報を考慮した新たなマスキング戦略を提案した。

3. 提案手法によって事前学習し，テキスト認識で のファインチューニングを行ったところ，事前学習無しの場合よりも $2.7 \%$, 他のマスキング戦略よりも $0.8 \%$ 高い正解率を達成した。

## 2 関連研究

## 2.1 Masked Image Modeling(MIM)

MIM は自然言語処理における MLM の発展とと もに，近年発展している．MIM 手法の一つである

MAE はマスクされていない画像パッチに対しての み動作するエンコーダと潜在表現とマスクトークン から元の画像を構成する軽量なデコーダを用いて，入力画像の $75 \%$ という高い割合でマスクを行うこ とで有効な事前学習ができることを可能にした.

本研究では，自己教師あり学習手法である MIM に着目し, 計算効率と有効性の観点から MAEを事前学習に用いる.

## 2.2 自己教師ありテキスト認識

提案されている自己教師ありテキスト認識手法は, Sequence-to-Sequence モデルに基づいている. SeqCLR[1] は, テキスト認識のための対照学習手法 を提案した。この手法では，順序に関する情報を維持したまま，シーケンスの個々の要素に対照学習を 適用することができる. PerSec[2] もテキスト認識の ための対照学習を提案している. 提案された手法 は, 特徴量の各要素を高レベルと低レベルで比較す る階層的な対照学習を行っている.

このようなテキスト認識における対照学習手法の 成功に対して、本研究では MIM 手法を活用し, そ の有効性について検討している。

## 3 方法

## 3.1 Masked Autoencoder

本研究では，自己教師あり事前学習として MIM 手法である Masked Autoencoder(MAE)[5]を利用して おり, 以下の 4 つの主要な要素から構成されている.

スパンマスキング 画像を非重複パッチに分割 し，一部のパッチをマスクする (除去). マスキン グの方法として本研究で提案するスパンマスキン グと MAE で用いられているランダムマスキングを 用いた. ランダムマスキングは一様分布に従ってラ ンダムなマスクを生成する。一方，スパンマスキン グはテキスト画像が水平方向に対してのみ文脈情報を保持していると仮定し, 文脈情報を考慮して垂直方向と水平方向で異なるマスキングを行う. 垂直方向に関しては文脈情報を持たないため，一様なマ スクを生成する. 水平方向は文脈情報を持つため, PIXEL[4] のマスキング戦略を利用し, 意味のある単位でマスクを生成する，具体的には，スパン間にい くつかのマスクされていないパッチを残しながら，最大 $S=6$ パッチの連続画像スパンに対してマスキ ングを行う，マスクの割合に関しては，それぞれの戦略について 25,50,75\%の值を適用して実験を行っ た. マスク画像の例を図 1 に示す.

(a)Random Masking

(b)Span Masking図 1 マスク画像の例

エンコーダ ViT[6] を利用し，マスクされていな いパッチのみを処理する。これによって必要メモリ を削減して学習速度を上げることに加え, 事前学習 とファインチューニング間のミスマッチを減少させ ている.

デコーダ デコーダには，エンコーダの出力とマ スクトークンが入力され，画像の再構成タスクが実行される. デコーダは，6層のトランスフォーマー ブロックと全結合層によって構成され, 計算量は エンコーダに対して小さくなるように設計されて いる.

再構成ターゲット デコーダの出力は再構成され た画像に再形成され, 再構成画像と元画像の平均二乗誤差（MSE）が損失関数として利用される. 再構成の対象としてマスクされたパッチの画素値を正規化したものを用いることで性能が向上すること がわかっているため [5], この方法を利用する. ま た，テキスト認識時には RGB 画像ではなく白黒画像を利用するため，再構成の対象として白黒画像を 用いる.

## 3.2 テキスト認識

テキスト認識モデルとして Transformer Encoder と予測ヘッドで構成されるViTSTR[7]を用いる. Transformer Encoder 部分で, MAE によって事前学習 されたパラメータを継承し，ファインチューニング を行う。その際，予測へッドは初期化する。

## 4 実験

## 4.1 データセット

合成データセット 代表的な合成データセットで ある MJSynth(MJ)[8] と SynthText(ST)[9]を組み合わ せて使用した. MJは9M 個のテキスト画像で構成 されている. ST は 800k の画像から $8 \mathrm{M}$ のテキスト
表 1 学習設定

画像を切り出したものである.

情景画像中のテキスト認識ベンチマーク 情景画像中テキスト認識ベンチマークで評価した. ベンチ マークはテキストの難易度やテキストのレイアウト によって regular データセットと irregular データセッ 卜に区別することができる.

まず，regular データセットは，文字の感覚が均等 で，水平にレイアウトされた比較的容易なテキスト 画像が含まれる. IIIT5K-Words(IIIT)[10], Street View Text(SVT)[11], ICDAR2013(IC13)[12] が該当する.

次に, irregular データセットには曲がったテ キストや回転, 歪んだテキストなど難しい ケースが含まれている. ICDAR2015(IC15)[13], SVT Perspective(SP)[14], CUTE80(CT)[15] が該当する.

## 4.2 実験詳細

自己教師あり事前学習 MAE のエンコーダとし て ViT-Tinyを用いた. ViT-Tiny は Patch Size が 16, Embedding Size が 192, Head の数が 3 の ViT であ り, 基本的な ViT と比較してパラメータ数が小さ いモデルである. 事前学習には合成データセット （MJSynth と SynthText）の両方を用いた. 計算資源 の都合上，データ量は $50 \%$ とした. MAE の論文と 同様に学習を行い，ハイパーパラメータについても 論文に従った。

テキスト認識でのファインチューニング ViTSTR で用いられていた学習設定をそのまま使用した. (表 1) 学習データとして合成データセッ ト（MJSynthと SynthText）の両方を用いた. テスト データには， 4.1 節で紹介した情景画像中テキスト 認識ベンチマークを用いた。

## 4.3 事前学習におけるマスク画像の再構成

事前学習において一枚のマスク画像を再構成し た際の結果を図 2 に示す. ランダムマスキングの場合，マスクの割合が $75 \%$ という不鮮明な場合でも， ほとんどの場合で文字列を再構成できていた.ここ から，モデルが優れた特徴表現を学習していると考 えられる。一方で，スパンマスキングでは，マスク

(a)Random Mask (75\%)

(b)Span Mask (25\%)

(c)Span Mask (50\%)

(d)Span Mask (75\%)

図 2 マスク画像の再構成結果（左から原画像，マスク画像，出力画像，マスク+出力画像）

の割合が高くなるにつれて成功率が低くなってい た. マスクの割合が $25 \%$ の時はマスク部分の文字を 予測できていることが多かった.ここから，見えな くなっている文字を予測しており，文脈情報を事前学習で獲得していることがわかる. $75 \%$ になると，例のようにマスク部分の文字が不鮮明になってし まっている例が多かった. 隠される文字が多すぎる と，正しい文脈情報を獲得することはできていない と考えられる。

## 4.4 テキスト認識

事前学習したモデルをテキスト認識タスクでファ インチューニングし, 評価を行った. 表 2 に学習 データのすべて（100\%）を使用した結果，表 3 に学習データの $1 \%$ 使用した結果を示す. 評価指標に は Top1 Accuracyを用いた。

学習データ全てによる学習では，スパンマスキン グで 75\%の割合をマスクした時，他の場合よりも $0.8 \%$ 以上高い正解率が得られた. ランダムマスキン グに着目すると，50\%の時に最も良い正解率が得ら れており，MAE による ImageNet での結果 $(75 \%)$ と は異なっていた。通常の画像とテキスト画像では情報の密度が異なっていることが原因と考えられる。 スパンマスキングでは，マスクの割合が高くなるに
表 2 テキスト認識の結果（学習データ $100 \%$ ）

表 3 テキスト認識の結果（学習データ $1 \%$ ）

つれて正解率が上がっている. マスク部分のスパン の長さが長くなり，より意味のある単位でマスクさ れたことによりこの結果になったと考えられる. し かし, 事前学習で復元された画像の品質とは結果 が異なっており，2つの結果に相関がないと考えら れる。

学習データの $1 \%$ で学習では，スパンマスキン グで 50\%の割合をマスクした時にスクラッチやラン ダムマスキングよりも 10\%以上高い正解率が得られ た. スパンマスキングが，MAE で利用されている ランダムマスキングよりも平均 $10 \%$ 以上正解率が高 くなっており，提案手法の有効性が実証された。学習データ全てを用いた時とは傾向が異なっており， マスクの割合が $50 \%$ の時に正解率が最も高くなっ た. 事前学習時に，75\%では文字をはっきりと予測 できていないことが関係していると考えられる.

## 5 結論

本論文ではテキスト認識のための自己教師あり学習として Masked Image Modeling に着目し, 新たな マスキング戦略を提案した. 提案したマスキング戦略は，MAEに用いられているマスキング戦略より も有効であるということが分かった.

今後は事前学習での実世界データセットの利用や モデルサイズの変更，既存手法との比較実験を行い たいと考えている.

## 参考文献

[1] Aviad Aberdam, Ron Litman, Shahar Tsiper, Oron Anschel, Ron Slossberg, Shai Mazor, R Manmatha, and Pietro Perona. Sequenceto-sequence contrastive learning for text recognition. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 15302-15312, 2021.

[2] Hao Liu, Bin Wang, Zhimin Bao, Mobai Xue, Sheng Kang, Deqiang Jiang, Yinsong Liu, and Bo Ren. Perceiving stroke-semantic context: Hierarchical contrastive learning for robust scene text recognition. AAAI, 2022.

[3] Zhimin Bao Mobai Xue Sheng Kang Deqiang Jiang Yinsong Liu Hao Liu, Bin Wang and Bo Ren. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the $\mathbf{2 0 1 9}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, p. 4171-4186.

[4] Phillip Rust, Jonas F Lotz, Emanuele Bugliarello, Elizabeth Salesky, Miryam de Lhoneux, and Desmond Elliott. Language modelling with pixels. arXiv preprint arXiv:2207.06991, 2022.

[5] Kaiming He, Xinlei Chen, Saining Xie, Yanghao Li, Piotr Dollár, and Ross Girshick. Masked autoencoders are scalable vision learners. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 16000-16009, 2022.

[6] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929, 2020.

[7] Rowel Atienza. Vision transformer for fast and efficient scene text recognition. In International Conference on Document Analysis and Recognition, pp. 319-334. Springer, 2021.

[8] Max Jaderberg, Karen Simonyan, Andrea Vedaldi, and Andrew Zisserman. Synthetic data and artificial neural networks for natural scene text recognition. arXiv preprint arXiv:1406.2227, 2014.

[9] Ankush Gupta, Andrea Vedaldi, and Andrew Zisserman. Synthetic data for text localisation in natural images. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 2315-2324, 2016.

[10] Anand Mishra, Karteek Alahari, and CV Jawahar. Scene text recognition using higher order language priors. In BMVC-British machine vision conference. BMVA, 2012.

[11] Kai Wang, Boris Babenko, and Serge Belongie. End-to-end scene text recognition. In 2011 International conference on computer vision, pp. 1457-1464. IEEE, 2011.

[12] Dimosthenis Karatzas, Faisal Shafait, Seiichi Uchida, Masakazu Iwamura, Lluis Gomez i Bigorda, Sergi Robles Mestre, Joan Mas, David Fernandez Mota, Jon Almazan Almazan, and Lluis Pere De Las Heras. Icdar 2013 robust reading competition. In 2013 12th international conference on document analysis and recognition, pp. 1484-1493. IEEE, 2013.

[13] Dimosthenis Karatzas, Lluis Gomez-Bigorda, Anguelos Nicolaou, Suman Ghosh, Andrew Bagdanov, Masakazu Iwamura, Jiri Matas, Lukas Neumann, Vijay Ramaseshan Chandrasekhar, Shijian Lu, et al. Icdar 2015 competition on robust reading. In 2015 13th international conference on document analysis and recognition (ICDAR), pp. 1156-1160. IEEE, 2015.

[14] Trung Quy Phan, Palaiahnakote Shivakumara, Shangxuan Tian, and Chew Lim Tan. Recognizing text with perspective distortion in natural scenes. In Proceedings of the IEEE International Conference on Computer Vision, pp. 569-576, 2013.

[15] Anhar Risnumawan, Palaiahankote Shivakumara, Chee Seng Chan, and Chew Lim Tan. A robust arbitrary text detection system for natural scene images. Expert Systems with Applications, Vol. 41, No. 18, pp. 8027-8048, 2014.


# 音声言語処理のための注意機構を用いた音声認識仮説統合

叶高朋 1 小川厚徳 ${ }^{1}$ マーク・デルクロア ${ }^{1}$ 渡部晋治 ${ }^{2}$
1 日本電信電話株式会社 2 カーネギーメロン大学
\{takatomo.kanou.xe, atsunori.ogawa.gx, marc.delcroix.hc\}@hco.ntt.co.jp
shinjiwacmu.edu

## 概要

音声要約や音声翻訳などの音声言語処理（Spoken language processing:SLP）の多くは, 音声認識 (Automatic speech recognition:ASR) モデルとテ キスト翻訳・要約などの自然言語処理（Natural language processing：NLP）モデルの直列接続で実現されている.このような直接接続のシステム構成 では, 音声認識誤りが NLP モデルの性能に悪影響を 与えることが知られている. 本研究では, 音声認識誤りの悪影響を低減させるため, 複数の ASR モデル の出力を統合しながら, 翻訳・要約を行う方法を提案する。提案手法は要約・翻訳にとどまらず, 様々 な直列接続の SLP システムに適用可能である. 本研究では, まず音声要約と音声翻訳の評価実験を通し て提案手法の有効性を確認した。

## 1 はじめに

音声要約や音声翻訳など, 多くの音声言語処理 (Spoken language processing：SLP）は, 音声認識 (Automatic speech recognition：ASR）モデルと自然言語処理モデル (Natural language processing : NLP) の直列接続で実現されている。このような直列接続 のシステムの学習には, 音声と出力テキストの大規模なぺアデータを必要とせず, 個々の ASR モデルと NLP モデルに最先端のモデルを採用することができ る。一方, 2 つの異なるモデルの学習と推論が独立 して行われるため, 音声認識誤りが後段の NLP モデ ルの推論に悪影響を与え, SLP システム全体の精度 が低下する.

このような認識誤り伝搬の問題に対し, 先行研究では認識誤りに対して頑健になるような拡張を NLP モデルに行い, 再学習することで認識誤り伝搬 の影響を低減した [1-5]. これらの先行研究では, 1 つの ASR から複数の認識仮説を出力させ, ASR 結果の信頼度などの補助情報を抽出し, 信頼度を基
に複数の認識仮説の統合を行う音声翻訳を提案し ている.また我々も先行研究において, Bidirectional Encoder Representations from Transformers (BERT) [6] の分散表現に基づいた音声認識仮説の統合に関する 手法 [7] を提案し, 複数の認識仮説が音声要約におい て, 音声認識誤りに対する頑健性を向上させること を確認した。

しかし,これらの先行研究では, 単一の ASR モデ ルを使い複数仮説を生成しているため, 認識仮説 のバリエーションが乏しい. これは, N-best デコー ディングが多様な結果を出力しないことに起因す る. さらに, [3-5] では, ASR モデルから補助情報を 抽出して, NLP モデルで再学習するため, ASR モデ ルと NLP モデルで同じ単語辞書を使用しなければ ならないという制約がある。これは, 従来の直列接続のメリットであった, ASR と NLP モデルの独立性 を損なうもので, ASR モデルまた NLP モデル，もし くは両方の性能を低下させる。そのため, 最もよい 性能の ASR モデルと言語処理モデルを利用した直列接続でシステムを構成できず, SLP モデルの再学習を行う際に, 初期状態が最適なものではないとい う問題がある.

次に, 音声認識誤りの影響を低減させる方法とし て, 音声認識精度を改善し認識誤りそのものを減ら す方法がある. 先行研究では, 複数の ASR システム を統合することで音声認識精度を改善できることが 報告されている [8-11]. これらシステム統合法では，異なる ASR モデルから出力された仮説を比較する ことで, 認識誤りの位置を推定し修正することが出来了. 本研究では, それらシステム統合法の中で, 最 もよく使われる Recognizer output 投票 error reduction (ROVER) [10] に着目する．ROVER は ASR の後処理 として広く利用され, アラインメントと投票の 2 段階の処理を通して認識仮説を統合する [12-16]. ROVER では, 音声認識結果を単語単位で比較・修正 するため, ASR モデルと NLP モデルに対して特別な
拡張を必要とせず, 直列接続の独立性を損なわない.

しかし, ROVER にもいくつかの問題がある.ま ず,アラインメントの処理は, 単語単位の動的計画法 で行われるため単語同士の類似性や文脈情報を考慮 できない. 次に, 投票の処理では, 各システムの認識結果を平等に扱うため, 多くの認識器が間違えた中, 1 つ認識器が正解を出力するような場合は, 正し く修正できない. さらに直列接続の SLP システムで は, 入力音声を一字一句正しく認識した結果が必ず しも良い出力につながらないという問題ある [17].具体的には, ASR モデルはフィラーや言い間違い, 言 いよどみなども正しく認識しようとする。しかし， これらは翻訳や要約には不要で, NLP モデルの精度 を下げる一因となる。そのため SLP システムでは,最終的な要約・翻訳精度を最大化するような認識結果を用いる必要があるが, ROVER は学習可能な重み を持たないため, 特定のタスクに対して最適化する ことができない.

本研究では, ROVER に代わる方法として, 複数の ASR モデルの出力結果を NLP モデル内部で統合す る方法を提案する. 提案手法では, 注意機構を用い て, 複数の ASR モデルの出力結果をアラインメン トし統合する処理を NLP モデルの分散表現に基づ いて行う. 注意機構は学習可能な重みをもち, 特定 のタスクに最適なシステム統合を学習することが 出来了. 提案法は, 直近の我々の研究 [7] から派生 し, 階層的注意機構 $[18,19]$ やマルチストリームコン ビネーションの研究 [20], マルチモーダル処理の研究 [21] とも関連する. 提案手法では, 複数の ASR モ デルの出力結果をマルチストリームとみなし, 注意機構を用いて統合する.

本研究では, 音声翻訳と音声要約において提案手法をROVERなどの先行研究 $[3,4,10,22]$ と比較 した. 翻訳と要約では解く問題や, 扱うコンテキス ト情報の長さが異なる. 例えば, 翻訳では, 多言語間の複雑な単語の対応関係を学習する必要がある が, 一発話単位で翻訳が行われるため, 複数文にま たがる依存関係を考慮しない。一方, 要約は同一言語間で変換を行うため, 単語の対応関係の学習は容易であるが, 文章全体の要点を見つけるために, 複数文にまたがる依存関係を学習する必要がある. 異 なる 2 つのタスクに対して, 本実験では両タスク に共通の Conformer ASR モデル [23]を, 翻訳タス クには Transformer モデル [24]を, 要約タスクには BERTSum モデル [25]をそれぞれ採用して SLP シス

Speech signal図 1 ROVER と注意機構を用いた仮説統合の比較. 図内において, 注意機構を用いた仮説統合モジュールを Attention Fusion と表記する。

テムを構築した. 提案手法は,このような異なる夕 スクとモデル構造の SLP システムに対して, 最適な システム統合を行い, 両タスクにおいて性能を改善 することができた.

## 2 ASR 仮説の統合

## 2.1 従来の ASR 仮説統合

複数の ASR 仮説の統合し認識精度を改善する研究としては, Lattice を使った方法や, Minimum Bayes risk decoding を使った方法などが提案されてい る $[8,9,11]$. 本研究では, その中で最も一般的な手法 である ROVER に着目した. ROVER [10] はアライン メントと投票の 2 段階の処理を通して, 異なる長さ の認識仮説を統合する。まずアラインメントステッ プでは, 動的計画法を用いて挿入, 削除, 置換を追加 した Word Transition Networkを作成し, 投票ステップ では, 各時間において最も出現頻度も高い認識仮説 を正解として採用する.

ROVER は ASR の後処理として行われ, 認識結果 の単語列を直接比較するため, 様々な SLP システム に取り入れることが出来る. しかし, 単語同士の類似度や文脈情報などの有益な情報を考慮できず, ま た学習可能な重みも持たない. そのため, 各タスク において, 単語の重要度を考慮して ASR システム 統合を行い, SLP システムの性能を最大化するとい うような最適化ができない. 本研究では, これらの ROVER の持つ問題を解決するため, 注意機構を用い た ASR システムの統合法を紹介する.

## 2.2 ASR 仮説の分散表現

ASR 仮説の統合は, 単語の類似度, 文脈情報などを 考慮するため, NLP の分散表現に基づいた統合を行 う. ここで入力単語列 $S^{n} \in \mathbb{R}^{L}$ に対する NLP モデ ルの最初の数層の出力結果を $E^{n} \in \mathbb{R}^{L \times D}$ とする.

$
E^{n}=g\left(S^{n}\right),
$

ここで, $g(\cdot)$ は NLP モデルの最初の数層の写像処理, $D$ は隠れ層の次元数を表す. ASR システムの総数 は $N$ であり, $S^{n}$ は $n$ 個目の ASR が出力した認識結果を表す. 各 $S^{n}$ の長さが異なるため, 事前に最後尾 に Maskトークンで Padding を行い各系列を同じ長 さ $L$ に揃える. 提案手法と ROVER 法の違いを図 1 に示す. 図 1 中の $h(\cdot)$ は $g(\cdot)$ 以降の隠れ層の処理を 表す. ROVER は ASR モデルと NLP モデルのデー 夕受け渡し間に仮説の統合を行うのに対して, 提案手法では, NLP モデルの Encoder 内部で ASR 仮説の 統合を行う.

## 2.3 注意機構による仮説アライメント

まず, ROVER のアラインメントに相当する処理 として, 本研究では注意機構を用いて入力された各 ASR 出力系列の位置合わせを行う。まず, SLP シス テムの再学習時に, 検証データを元に各 ASR モデル の性能を計測し, 最も性能が高い出力 ASR モデルを 同定し, その出力系列を参照仮説 $E^{r}$ とする. 注意機構の Query には参照仮説 $E^{r}$ を Key と Value には任意の ASR システムの出力仮説 $E^{n}$ を用いる. この時 は, 参照仮説 $E^{r}$ は任意の認識仮説 $E^{n}$ にも含まれる.

注意機構を用いたアラインメント結果 $\tilde{E}^{n}$ は以下 のように得られ，

$
\tilde{E}^{n}=\operatorname{softmax}\left(\left(E^{r} W^{Q}\right)\left(E^{n} W^{K}\right)^{\mathrm{T}}\right) E^{n} W^{V}
$

ここで, T は転置記号を表す. 提案手法はROVER と 比べた際,ソフトアライメントを実現し, Encoder で 学習された文脈情報や単語の類似度を考慮できるた め, 単語のみでなくフレーズなどより長い単位を考慮したアライメントを実現可能である.

注意機構には Multi-head-attention を採用し, 注意機構は各 Query, Key, Value に対し学習可能な重み $W^{Q}, W^{K}, W^{V} \in \mathbb{R}^{D \times D^{\prime}}$ を持つ. 本研究では, 注意機構の入力次元数 $D^{\prime}$ と出力次元数 $D$ は同じであり,注意機構の重みは正方行列となる.これらの重み を単位行列で初期化する。その理由は, 複数の ASR システム統合を行う際に, ランダムな写像を行うと
BERTなどの事前に学習された分散表現を十分に考慮できないために, 学習開始時点では, 注意機構にお いて恒常写像が行われ, 参照仮説が選択されるよう 意図したためである.これにより, 事前学習モデル の性能を大きく劣化させずに仮説統合の学習を行う ことが出来る.

## 2.4 注意機構による仮説の統合

次に, ROVER の投票に相当するステップでは, 階層的注意機構 $[18,26,27]$ と同様にアラインメントさ れた各系列の位置 $l$ ごとに異なる $N$ 個の ASR モデ ルから出力された仮説を統合する. $\tilde{E} \in \mathbb{R}^{N \times L \times D}$ はアラインメント済みの $N$ 個の長さ $L$ の音声認識結果の系列である. この時, 位置 $l の E_{l} \in \mathbb{R}^{N \times D}$ に ついて, 注意機構を用いた統合を以下のようにあら わす.

$
\begin{aligned}
\alpha_{l} & =\operatorname{softmax}\left(\left(e_{l}^{r}\right)^{\mathrm{T}} W^{Q} \tilde{E}_{l}\right), \\
e_{l}^{\mathrm{att}} & =\alpha_{l} \tilde{E}_{l}^{\mathrm{T}}
\end{aligned}
$

ここで, $\alpha_{l} \in \mathbb{R}^{1 \times N}$ は各 ASR システムの出力に対す る注意重みである. 提案手法と ROVER との違いは,提案手法では正解単語を出現頻度に基づいて仮説単語から選択するのではなく, 特徴空間上で参照仮説 と他の仮説の類似度を計算し重みとして, すべての 仮説を重ね合わせて正解単語を表現する点である. これにより, 同時に複数の単語の情報を考慮するこ とが可能となる.

## 3 実験

本研究では, 音声要約・翻訳タスクについて関連 する先行研究と提案手法の比較を行った. データ セットには, TED Talk から作成した要約コーパスで ある TEDSumarry [7] と Youtube のビデオから作成し た HOW2 [28] を採用し, ROUGE [29]・BLEU [30] ス コアでの客観評価を実施した。本実験における ASR モデルは ESPnet ${ }^{1)}$ で公開されている Tedlium/HOW2 のレシピに従い構築した. Tedliium は TEDTalk から 作成した音声認識コーパスであり, TEDSumarry 用の ASR モデルの学習に用いられる. 要約・翻訳モデル は OpenNMT ${ }^{2}$ をもとに公開されているレシピ・実装3)を用いて構築した。

本実験では, Topline として正解の音声認識結果を 翻訳・要約した結果 (0) ASR-GTを採用し, Baseline

として, 評価セットで最も性能の良い ASR システム を用いた結果を (1) ASR w/ASR BPE, BERT と同じ 辞書を使用した ASR システムを用いた結果 (3) ASR w/BERT BPE, ROVER ですべての ASR システムの結果を統合し, 翻訳・要約した結果を (3) ROVER に示 す. また, 追加で再学習を行う手法として, 音声認識結果で NLP を再学習したシステムである (4) Retrain と, 先行研究である (5) Confidence [22] と我々の先行研究である (6) Nbest fusion [7] を用意し比較した.

表 1 ROUGE スコア (R1, R2, RL)での各システムの比較結果: システム (7) が提案手法

表 1 の結果より, 提案手法は先行研究の (5) Confidence および, 我々の先行研究 (6) Nbest fusion よりも HOW2 データにおいて良い要約性能を示し た. 一方で TEDSumarry データにおいては, HOW2 データほど顕著な優位性を確認できていない。こ れは, TEDSumarry では正解の音声認識を用いる場合でも, 要約が困難で Topline の性能が低く, Baseline との差が少ない. そのため, 性能改善の余地が少 ないことが一つの原因だと考えられる. Topline と Baseline の差が少ない理由として, 表 2 に示すよう に, TEDTalkでの ASR 性能が高く認識誤りが少ない ことが考えられる。

次に, 音声翻訳の性能を同様のデータを用いて 評価した結果を表 3 に示す. ここで, 翻訳モデルと 同じ辞書を使用した ASR システムを用いた結果 (3) ASR w/MT BPE を示す. 表 3 の結果において, 両

表 2 各 BPE サイズと音声認識性能の単語誤り率に よる評価. $30.5 \mathrm{k}^{*}$ は BERT モデルの単語辞書のサイズ. ROVER は, 各 ASR システムをROVER で統合した際の認識性能

表 3 BLUE スコアによる各音声翻訳システムの評価. シ ステム (7) が提案手法.

データに対して提案手法の優位性が確認できた. 翻訳においても, TEDよりも HOW2 データでの Topline と Baseline の差が大きく, 全体的にスコアの差が大 きい。これは前述の音声認識性能の差と, 英語 (En) からポルトガル語 $(\mathrm{Pt})$ への翻訳が, 英語からドイツ 語（De）へのよりも容易であるためだと考えられ る. よってこれらの結果から提案手法について次の ようなことが言える.

提案手法は, 複数の ASR システムを NLP 内部で統合することで, 様々なタスク・データにおいて音声認識誤りで劣化する翻訳・要約性能を回復できる. しかし, ASR モデルの性能が高く, NLP モデルの性能が低いケースでは, 音声認識誤りが SLP システム に及ぼす影響が少なく, 精度改善の余地が少ない.加えて提案法は NLP モデルの分散表現に基づいて 仮説統合を行うため, NLP モデルの性能が低い場合 は, NLP モデルの分散表現が十分に学習されておら ず, NLP の分散表現を基に仮説を統合する提案法は 効果が小さく, 他の手法との優位な差が出にくいこ と考えられる。

## 4 まとめ

本研究では, ASR と NLPを組み合わせて実現さ れる SLP システムにおいて, 音声認識誤りによる 性能劣化を改善する手法を提案した，本提案手法 は, ROVER を参考に複数の ASR の出力結果を, NLP の分散表現に基づいて統合する.これにより, 従来 ROVER では難しかった, 単語の類似度や文脈情報を 考慮した仮説統合を実現し, 音声要約・翻訳, 双方の タスクで既存手法を上回る音声認識誤りへの頑健性 を示した. 今後は, 注意機構による Alimento と統合方法の改善. 他の音声言語処理タスクへの適応など を検討していく。

## 参考文献

[1] Nicola Bertoldi, Richard Zens, and Marcello Federico. Speech translation by confusion network decoding. In ICASSP, pp. 12971300, 2007.

[2] Masaya Ohgushi, Graham Neubig, Sakriani Sakti, Tomoki Toda, and Satoshi Nakamura. An empirical comparison of joint optimization techniques for speech translation. In INTERSPEECH, pp. 2619-2623, 2013.

[3] Kaho Osamura, Takatomo Kano, Sakti Sakriani, Katsuhito Sudoh, and Satoshi Nakamura. Using spoken word posterior features in neural machine translation. In IWSLT, 2018.

[4] Parnia Bahar, Tobias Bieschke, Ralf Schlüter, and Hermann Ney. Tight integrated end-to-end training for cascaded speech translation. In SLT, pp. 950-957, 2021.

[5] Matthias Sperber, Graham Neubig, Jan Niehues, and Alex Waibel. Neural lattice-to-sequence models for uncertain inputs. In IWSLT, pp. 1380-1389, 2017.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT, pp. 4171-4186, 2019.

[7] Takatomo Kano, Atsunori Ogawa, Marc Delcroix, and Shinji Watanabe. Attention-based multi-hypothesis fusion for speech summarization. In ASRU, pp. 487-494, 2021.

[8] Gunnar Evermann and Woodland Philip. Posterior probability decoding, confidence estimation and system combination. In Speech Transcription Workshop, Vol. 27, pp. 78-81, 2000.

[9] Björn Hoffmeister, Dustin Hillard, Stefan Hahn, Ralf Schlüter, Mari Ostendorf, and Hermann Ney. Cross-site and intra-site ASR system combination: Comparisons on lattice and 1-best methods. In ICASSP, pp. 1145-1148, 2007.

[10] Jonathan Fiscus. A post-processing system to yield reduced word error rates: Recognizer output voting error reduction (rover). In ASRU, pp. 347-354, 1997.

[11] Haihua Xu, Daniel Povey, Lidia Mangu, and Jie Zhu. Minimum bayes risk decoding and system combination based on a recursion for edit distance. Comput. Speech Lang., Vol. 25, No. 4, pp. 802-828, 2011.

[12] Olivier Siohan, Bhuvana Ramabhadran, and Brian Kingsbury. Constructing ensembles of asr systems using randomized decision trees. In ICASSP, Vol. 1, pp. 197-200, 2005.

[13] Venkata Ramana Rao Gadde, Andreas Stolcke, Dimitra Vergyri, Jing Zheng, M. Kemal Sönmez, and Anand Venkataraman. Building an ASR system for noisy environments: Sri's 2001 SPINE evaluation system. In INTERSPEECH, 2002.

[14] Yulia Tsvetkov, Florian Metze, and Chris Dyer. Augmenting translation models with simulated acoustic confusions for improved spoken language translation. In EACL, pp. 616-625, 2014.

[15] Arne Mauser, Richard Zens, Evgeny Matusov, Sasa Hasan, and Hermann Ney. The RWTH statistical machine translation system for the IWSLT 2006 evaluation. In IWSLT, pp. 103-110, 2006.

[16] Christian Fügen, Alex Waibel, and Muntsin Kolss. Simultaneous translation of lectures and speeches. Mach. Transl., pp. 209-252, 2007.

[17] Xiaodong He, Li Deng, and Alex Acero. Why word error rate is not a good metric for speech recognizer training for the speech translation task? In ICASSP, pp. 5632-5635, 2011.

[18] Zichao Yang, Diyi Yang, Chris Dyer, Xiaodong He, Alexander J. Smola, and Eduard H. Hovy. Hierarchical attention networks for document classification. In NAACL-HLT, pp. 1480-1489, 2016.

[19] Jindrich Libovický and Jindrich Helcl. Attention strategies for multi-source sequence-to-sequence learning. In ACL, pp. 196202, 2017.

[20] Xiaofei Wang, Ruizhi Li, Sri Harish Mallidi, Takaaki Hori, Shinji Watanabe, and Hynek Hermansky. Stream attention-based multi- array end-to-end speech recognition. In ICASSP, pp. 7105-7109, 2019.

[21] Chiori Hori, Takaaki Hori, Teng-Yok Lee, Ziming Zhang, Bret Harsham, John R. Hershey, Tim K. Marks, and Kazuhiko Sumi. Attention-based multimodal fusion for video description. In ICCV, pp. 4203-4212, 2017.

[22] Shi-Yan Weng, Tien-Hong Lo, and Berlin Chen. An effective contextual language modeling framework for speech summarization with augmented features. In EUSIPCO, pp. 316-320, 2020.

[23] Anmol Gulati, James Qin, Chung-Cheng Chiu, Niki Parmar, Yu Zhang, Jiahui Yu, Wei Han, Shibo Wang, Zhengdong Zhang, Yonghui Wu, and Ruoming Pang. Conformer: Convolutionaugmented transformer for speech recognition. In Interspeech, pp. 5036-5040. ISCA, 2020.

[24] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS, pp. 5998-6008, 2017.

[25] Alexandra Savelieva, Bryan Au-Yeung, and Vasanth Ramani. Abstractive summarization of spoken and written instructions with BERT. In SIGKDD, Vol. 2666 of CEUR Workshop Proceedings, 2020.

[26] Potsawee Manakul, Mark J. F. Gales, and Linlin Wang. Abstractive spoken document summarization using hierarchical model with multi-stage attention diversity optimization. In INTERSPEECH, pp. 4248-4252, 2020.

[27] Tzu-En Liu, Shih-Hung Liu, and Berlin Chen. A hierarchical neural summarization framework for spoken documents. In ICASSP, pp. 7185-7189, 2019.

[28] Ramon Sanabria, Ozan Caglayan, Shruti Palaskar, Desmond Elliott, Loïc Barrault, Lucia Specia, and Florian Metze. How2: A large-scale dataset for multimodal language understanding. CoRR, Vol. abs/1811.00347, , 2018.

[29] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In ACL, pp. 74-81, 2004.

[30] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In ACL, pp. 311-318, 2002.


# 会議発話間の関係性推定における マルチモーダル情報活用方法の初期検討

大杉康仁 中辻真
エヌ・ティ・ティレゾナント株式会社
}

y.oosugi@nttr.co.jp
## 概要

会議において、相手が自分の発言を支持している かどうかを知ることは、会議を円滑に進める上で重要である。本研究では、対面会議において、発話と 応答のぺアに対し、応答が発話を支持するものかど うかをマルチモーダル情報を用いて推定すること を検討する。発話および応答の書き起こしテキス ト・音声・顔動画を入力とする Transformer Encoder に基づくモデルを利用し、各モーダルの効果を検証 した。複数人会議コーパス AMIを用いた実験では、 テキストモーダルが最も F1 值に影響を与えること が示唆された。

## 1 はじめに

複数人で行われる会議において、合意が取れてい る項目を整理し会議を円滑に進めるために、自分の 発話と相手の応答との関係性を知ることは重要であ る。関係性として「納得できたかどうか」[1]や「同意・不同意」「支持・不支持」[2,3] などが挙げられ る。ここで、『納得』は自分なりに試行錯誤しなが ら自ら出した解答である」[4] が、「同意」は「自分 も同じ意見であるということを態度に表わすこと」 であり「同意」に類する「支持」は「同意」に比べ 継続的な行為とされている1)。そこで本研究では、「同意」や「支持」の方が「納得」よりも外から観察・推定することが容易であり、短時間で行われる 発話間の関係性においては「同意」と「支持」はほ ぼ同一と扱うことができると考え、「支持」に主に 着目する。

会議中のある発言に対し別の発言がなされたとき の 2 発話間の関係性を分類することは議論マイニン グタスクの一つであり、多くの研究がなされている $[2,5,3]$ 。中でも姫野・嶋田 [5] は、企業で頻繁に行

1) https://dictionary.goo.ne.jp/thsrs/4366/meaning/m0u/ 2023/1/4 アクセス

図1 マルチモーダルに基づく発話間の関係性推定タスク

われる会議と同様の形式である複数人議論コーパス AMI[6] について 2 発話間の関係性を 9 種類に分類 することを検討している。姫野・嶋田の手法は発話 の書き起こしテキストを用いるものであるが、音声 の抑揚や表情などパラ言語情報・非言語情報も発話間の支持・不支持の関係性を認識する上で重要であ る。そこで、本研究では、ある話者の発話と、それ に対する別の話者の応答について、2 発話間の関係性をマルチモーダル情報を用いて推定することを検討する。ただし、マルチモーダル情報の効果の測定 を簡単にするため、相手の発言を支持する発話かそ れ以外かという 2 值分類の問題として検討する。

マルチモーダル情報を用いて議論マイニン グを行う方法として、各モーダルを BERT[7] や Wav2Vec2.0[8] などの事前学習モデルで独立にエン コードした後で連結べクトルを線形層で変換する方法が提案されている $[2,3]$ 。一方で、マルチモーダル 情報を統合する方法として、言語・音声・動画を系列方向に連結して Transformer Encoder[9] に入力する ことでモーダル間の関係性をより効率よく捉える手法が提案されている $[10,11]$ 。本研究では、この手法 を応用し、発話と応答についてそれぞれ Transformer Encoder でマルチモーダル情報を統合した後で線形層を用いて発話と応答の両方を考慮してその関係性 を推定する手法について検証する。

(a)

(b)

図 2 検討モデル (a) と Encoder の内部構造 (b)。青色部分はテキストの埋め込みを、黄色部分は音声の埋め込みを、緑色部分は動画の埋め込みをそれぞれ表す。

## 2 問題設定

対面音声会議における発話テキストを対象とし た関係性分類タスク [5] では、書き起こしテキスト のみを入力として扱っているが、本研究ではそれを マルチモーダルに拡張する。すなわち、図 1 に示す 通り、ある話者 $S_{x}$ の時刻 $i$ の発話 $C=\left.\{\boldsymbol{T}_{i}^{x}, \boldsymbol{A}_{i}^{x}, \boldsymbol{V}_{i}^{x}\right.\}$ に対し、話者 $S_{y}$ が時刻 $j$ の応答 $R=\left.\{\boldsymbol{T}_{j}^{y}, \boldsymbol{A}_{j}^{y}, \boldsymbol{V}_{j}^{y}\right.\}$ を 行ったとき、発話 $C$ と応答 $R$ の関係性 $z$ を推定す る。ただし、 $T_{i}^{*}$ は発話テキストを、 $A_{i}^{*}$ は音声を、 $V_{i}^{*}$ は動画をそれぞれ表す。本論文では、話者 $S_{x}$ と 話者 $S_{y}$ は異なり $(x \neq y)$ 、かつ、話者 $S_{x}$ の発話 $C$ を聞いた後、話者 $S_{y}$ が応答 $R$ を行うものとする $(i<j)$ 。

## 3 検討手法

図 2(a) に本論文で検討した手法の全体像を示す。話者 $S_{x}$ の時刻 $i$ の発話 $C$ と話者 $S_{y}$ の時刻 $j$ の応答 $R$ を別々に Encoder を用いて特徴量化する。それら を次元方向に連結したべクトルを活性化関数を含む 2 層の線形層で変換し、関係性の予測値 $\hat{z}$ を得る。

$
\begin{aligned}
& \hat{z}=\operatorname{Linear}(\sigma(\operatorname{Linear}(\text { Concat }(\boldsymbol{c}, \boldsymbol{r})))) \\
& \boldsymbol{c}=\operatorname{Encoder}\left(\boldsymbol{T}_{i}^{x}, \boldsymbol{A}_{i}^{x}, \boldsymbol{V}_{i}^{x}\right) \\
& \boldsymbol{r}=\operatorname{Encoder}\left(\boldsymbol{T}_{j}^{y}, \boldsymbol{A}_{j}^{y}, \boldsymbol{V}_{j}^{y}\right)
\end{aligned}
$

ただし、Linear $(\cdot)$ は線形層を、 $\sigma(\cdot)$ は活性化関数を、 Concat (.) は次元方向の連結を表す。また、Encoder $(\cdot)$ は Transformer Encoder[9] を用いた各モーダル情報 の統合を表し、本論文では図 2(b) に示すように MEmoBERT[11] と同じモデル構造を用いた。以下で は各モーダルの埋め込みの方法とその統合方法につ いて説明する。
テキストの埋め込みBERT[7]のトークナイザを 用いて発話テキスト $\boldsymbol{T}$ をサブワード系列に分割し、 BERT のサブワード埋め込み $\boldsymbol{a} \in \mathbb{R}^{d_{t} \times L_{t}}$ をテキスト 埋め込みとして用いる。ただし、 $L_{t}$ は発話テキスト のサブワード系列長を、 $d_{t}$ は特徴量の次元数をそれ ぞれ表す。

音声の埋め込みフレーム長 $l$ の音声 $\boldsymbol{A}=$ $\left.\{a_{1}, a_{2}, \ldots, a_{l}\right.\}$ について、音響特徵量の埋め込みとし て Wav2Vec2.0[8] に基づく特徴量を用いる。ただし、音声のフレーム数は他のモーダルに比べて多いた め、フレーム窓 $w$ ごとに平均を取ることで圧縮を行 う。また、埋め込み空間の違いを吸収するため線形層による変換を行う。得られる特徵量 $\boldsymbol{a} \in \mathbb{R}^{d_{a} \times L_{a}}$ は下記で表される。

$
\begin{aligned}
\boldsymbol{a} & =\left[\boldsymbol{a}_{1} ; \boldsymbol{a}_{2} ; \ldots ; \boldsymbol{a}_{L_{a}}\right] \\
\boldsymbol{a}_{k} & =\operatorname{Linear}\left(\frac{1}{w} \sum_{t=k}^{k+w}\left(\operatorname{Wav} 2 \operatorname{Vec} 2\left(\boldsymbol{A}_{t}\right)\right)\right)
\end{aligned}
$

ただし、 $L_{a}$ は圧縮後の特徵量数を、 $d_{a}$ は特徵量の 次元数を表す。

動画の埋め込み動画 $V$ はフレーム画像 $\left.\{v_{1}, v_{2}, \ldots, v_{L_{v}}\right.\}$ で構成される。本論文では、各フ レーム画像を ViT[12]を用いて特徵量化することで、動画特徴量の埋め込み $\boldsymbol{v} \in \mathbb{R}^{d_{v} \times L_{v}}$ を得る。ただし、 $L_{v}$ はフレーム数を、 $d_{v}$ は特徴量の次元数を表す。 また、埋め込み空間の違いを吸収するため線形層に よる変換を行う。

$
\begin{aligned}
\boldsymbol{v} & =\left[\boldsymbol{v}_{1} ; \boldsymbol{v}_{2} ; \ldots ; \boldsymbol{v}_{L_{v}}\right] \\
\boldsymbol{v}_{k} & =\operatorname{Linear}\left(\operatorname{ViT}\left(v_{k}\right)\right)
\end{aligned}
$

Transformer Encoder を用いた特徵量化 各モー ダルの系列長が異なるため、単純な加算は困難で
表 1 TAS データセット

ある。そこで、図 2(b) に示すように、各モーダル の埋め込みをセパレータトークン $[\mathrm{SEP}]$ で連結す る。このとき、先頭に特殊トークン [CLS] を追加す る。それぞれの埋め込みとして BERT のサブワー ド埋め込みを用いる。さらに、系列の位置埋め込 み $p$ と、モーダルの区別のための BERT のセグメ ント埋め込み $e$ を足しこむ。得られた埋め込み系列 を Transformer Encoderに入力し、[CLS]トークン位置の隠れ状態 $\boldsymbol{h}$ を発話もしくは応答の特徴量として 用いる。

## 4 評価実験

データセット 英語での対面会議を収録した AMI コーパス [6] と、その発話間の関係性を記述した Twente Argument Schema (TAS) データセット [13] を 用いた。人手による書き起こしテキストとへッド セットで収録された音声を用いた。また、動画と して参加者の正面に配置されたラップトップ PC からの映像を用いた。TAS では「支持する」「支持 しない」を含む 9 種類の関係性ラベルが付与され ているが、約 $55 \%$ の発話応答ペアに「支持する (Positive)」が付与されておりラベルに偏りが生じて いる。本研究では相手が自分の発話に同意したかど うかを推定することを目的とするため詳しいラベル は必要ないと考え、TAS の関係性ラベルを「支持す る (Positive)」か「それ以外 (Other)」の 2 つに分け て実験を行った。

実験条件 TAS の 94 対話を表 1 に示すよう に train/dev/test に分割した。実装は Huggingface Transformers ライブラリ [14]を使用し、Transformer Encoder とテキスト埋め込みの初期化には BERT base モデル2)を用いた。音声の埋め込みには Wav2Vec2.0 の base モデル3)を、動画の埋め込みには CLIP[15] の ViT モデル4)を、それぞれ用いた。ただし、学習を 簡単にするため、Wav2Vec2.0と ViT のパラメータ は固定して用いた。音声について圧縮するためのフ レーム窓長 $w$ を 128 に設定した。また、動画につい

2) bert-base-uncased

3) facebook/wav2vec2-base

4) openai/clip-vit-base-patch16表 2 テストデータにおける評価結果：T $\mathrm{A}, \mathrm{V}$ はそれぞ れテキスト、音声、動画のモーダルを表す。

ては 25fps で収録されているが、差分の少ない画像 が不必要に入力されることを避けるため、1 秒区間 の先頭フレームのみを用いるサンプリングを行っ た。パラメータ最適化には Adam[16] を用い、学習率を $2 \times 10^{-5}$ に、warmup 率を 0.1 に設定して、バッ チサイズ 32 で 3 エポック学習した。 5 種類の乱数 シードで実験し、その平均值をモデル結果とした。

## 4.1 評価結果

## マルチモーダル情報を考慮することで精度は向上

したか？ 表 2 より、テキストと音声の 2 つのモー ダルを考慮する場合は、テキストのみを考慮する場合と同程度の精度を達成できたが、動画を加えた 3 つのモーダルを考慮する場合は、テキストモーダル のみを考慮する場合に比べて精度が劣化した。その ため、本検討手法ではマルチモーダル情報の効果は 強く見られなかった。

どのモーダルが最も効果的か？表 2 に示す通 り、テキスト情報が最も効果的であった。このこと から、明示的に話者が発言することで応答している 場合には、発話テキストを考慮することが最も効果的と言える。一方で、実際の企業で行われる会議で は、発言をせずに態度で支持・不支持を示す場合も 存在するため、テキスト情報に依存しない推定方法 が必要と考えられる。これは今後の課題として対応 していく予定である。

## 検討手法は音声情報を効果的に扱えているか？音声情報のみを入力した場合、テキスト情報のみを 用いた場合に比べて精度が劣化したため、本検討手法では音声情報は効果的に活用できていない可能性がある。その原因として、Transformer Encoderを BERT のパラメータ（言語ドメイン）を用いて初期化しため、埋め込みの音声ドメインとの乘離が発生 し、それを Linear 層のみでは吸収しきれなかったこ

図 3 フレーム窓 $w$ を変更した時の $\mathrm{T} \cdot \mathrm{A} ・ \mathrm{~V}$ のマルチ モーダルモデルの $\mathrm{F} 1$ 值（dev セット）

表 3 TAS データセットの平均フレーム数、および、検出 された正面顔のフレーム単位での平均数

とが挙げられる。

## 音声埋め込みについて短い時間で平均を取ること で精度は向上するか？ テキスト・音声・動画の 3 つのマルチモーダルモデルについて、窓幅 $w$ を変更 したときの $\operatorname{dev}$ セットにおける $\mathrm{F} 1$ 値を図 3 に示す。 wを 128 より小さくして短時間で平均を取ったとこ ろ、128 の時よりも精度がわずかではあるが劣化し た。これは、 $w$ が小さいと言いよどみやポーズなど の情報量の少ないフレームが平均値に悪影響を及ぼ す割合が大きくなるため、広い窓幅の方が精度が向上したと考えられる。

## 検討手法は動画情報を効果的に扱えているか？動画情報のみを入力した場合は他の条件に比べて最 も精度が低かった。検討手法では、動画の時系列情報は位置埋め込みのみで表現されているため、動画 のフレーム間の関係性を捉えきれなかった可能性 がある。また、表 3 に示す通り、利用した動画のフ レーム数と、 $\mathrm{OpenCV}^{5}$ のカカスード分類器で検出 された正面顔のフレーム単位での平均数を調査し た。利用した動画は、各参加者のラップトップ PC から撮影されたものであり、本来はその話者の顔を 写し続けるはずであるが、検出された顔の数は 1 を 下回るものが多く、検出誤りは存在するものの、参加者の正面の顔を正常に撮影できていないフレーム が多かったと言える。そのため、支持・不支持の推定に有用と考えられる表情の特徴を捉えきれずノイ ズになってしまった可能性がある。

## 5 関連研究

マルチモーダル情報を用いた主張の支持・不支持 の推定手法としてディベート対話を用いた研究が挙 げられる $[2,3]$ 。しかし、これらは音声とテキスト の情報のみを考慮しており、話者の顔動画は考慮で きていない。本研究の Encoder の構造は、感情推定 の手法として提案された MEmoBERT[11]を参考と した。MEmoBERT は著者の Zhao らが独自に収集し た 351 個の映画・テレビ動画を用いて事前学習され ているが、初期検討のため本論文では事前学習をし ないモデルで評価を行った。

本研究では外部から観察することが比較的容易な 「同意・支持」に着目したが、グループディスカッ ションやカウンセリングの中で話者の納得度合や説得力、コミュニケーション能力などをアノテーショ ン・モデル化する研究も行われている $[1,17,18]$ 。特 に伊藤ら [17] は、言語・音声・動画情報を考慮して 会議中の各話者の説得力の高さを他の参加者と比較・推定することを検討しており、異なる話者の情報を比較する点で本研究で検討したモデルと類似し ているが、マルチモーダル情報の統合に Transformer Encoderを用いる点で異なる。

## 6 おわりに

本論文では、対面会議において、発話とその応答のぺアに対し、応答が発話を支持するかどうか をマルチモーダル情報を用いて推定することを 検討した。先行研究である MEmoBERT を参考に、 Transformer Encoder にテキスト・音声・動画の埋め 込みを連結して入力するモデルを用いた。AMIコー パスを用いた実験では、テキスト情報のみを考慮し た場合が最も精度が高く、検討したモデルではマル チモーダル情報、特に動画情報の考慮が十分にでき なかった。ただし、正面の顔を撮影できた動画フ レームが少なかったため、データとして動画の持つ 情報が少なく、本来支持・不支持の推定に有用な表情の情報を十分に活用できなかった可能性も示唆さ れた。今後は、音声・動画をより効果的に活用する 手法について検討する。また、発言を伴わない暗黙的な支持・不支持を推定するため、テキスト情報に 依存しないモデル構造についても検討する。

## 参考文献

[1] 松隈亮太, 岡田将吾, 松本妹子, 中元淳. オンラインカ ウンセリング対話データコーパスの構築と動作シン クロニーの分析. 人工知能学会 全国大会論文集, pp. 2I6OS9b03-2I6OS9b03, 2022.

[2] Rafael Mestre, Razvan Milicin, Stuart E. Middleton, Matt Ryan, Jiatong Zhu, and Timothy J. Norman. M-arg: Multimodal argument mining dataset for political debates with audio and transcripts. In Proceedings of the 8th Workshop on Argument Mining, pp. 78-88, 2021.

[3] Eleonora Mancini, Federico Ruggeri, Andrea Galassi, and Paolo Torroni. Multimodal argument mining: A case study in political debates. In Proceedings of the 9th Workshop on Argument Mining, pp. 158-170, 2022.

[4] 今井芳枝, 雄西智恵美, 板東孝枝. 納得の概念分析.日本看護研究学会雑誌, 第 39 巻, pp. 73-85, 2016.

[5] 姫野拓未, 嶋田和孝. 複数人議論における発話間の関係を対象とした関係分類. 言語処理学会 第 27 回年次大会 発表論文集, pp. 981-985, 2021.

[6] Jean Carletta, Simone Ashby, Sebastien Bourban, Mike Flynn, Mael Guillemot, Thomas Hain, Jaroslav Kadlec, Vasilis Karaiskos, Wessel Kraaij, Melissa Kronenthal, Guillaume Lathoud, Mike Lincoln, Agnes Lisowska, Iain McCowan, Wilfried Post, Dennis Reidsma, and Pierre Wellner. The ami meeting corpus: A pre-announcement. In Proceedings of Machine Learning for Multimodal Interaction, pp. 28-39, 2006.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the $\mathbf{2 0 1 9}$ Conference of the North American Chapter of the Association for Computational Linguistics, pp. 4171-4186, 2019.

[8] Alexei Baevski, Yuhao Zhou, Abdelrahman Mohamed, and Michael Auli. wav2vec 2.0: A framework for selfsupervised learning of speech representations. In Proceedings of Advances in Neural Information Processing Systems, Vol. 33, pp. 12449-12460, 2020.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of Advances in Neural Information Processing Systems, Vol. 30, 2017.

[10] Md Kamrul Hasan, James Spann, Masum Hasan, Md Saiful Islam, Kurtis Haut, Rada Mihalcea, and Ehsan Hoque. Hitting your MARQ: Multimodal ARgument quality assessment in long debate video. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 6387-6397, 2021.

[11] Jinming Zhao, Ruichen Li, Qin Jin, Xinchao Wang, and Haizhou Li. Memobert: Pre-training model with prompt-based learning for multimodal emotion recognition. In Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 4703-4707, 2022

[12] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner,
Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. In Proceedings of the 9th International Conference on Learning Representations, 2021.

[13] Rutger Rienks, Dirk Heylen, and Erik van der Weijden. Argument diagramming of meeting conversations. In Proceedings of Workshop on Multimodal Multiparty Meeting Processing, pp. 85-92, 2005.

[14] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing, pp. 38-45, 2020.

[15] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In Proceedings of the 38th International Conference on Machine Learning, Vol. 139, pp. 8748-8763, 2021.

[16] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of 3rd International Conference on Learning Representations, 2015.

[17] 伊藤温志, 坂戸達陽, 中野有紀子, 二瓶芙已雄, 石井亮, 深山篤, 中村高雄. グループディスカッ ションにおける説得力推定のためのマルチパー ティモデル. 人工知能学会 全国大会論文集, pp. 3H3OS12a02-3H3OS12a02, 2022.

[18] 有岡無敵, 山本賢太, 井上昂治, 河原達也, 中村哲, 吉野幸一郎. 遠隔操作アンドロイドを用いたマルチ モーダル説得対話コーパスの収集と分析. 言語処理学会 第 28 回年次大会 発表論文集, pp. 185-190, 2022.


# VideoCLIP を用いた実験動画からのプロトコル生成

山本航輝 ${ }^{1}$ 西村太一 ${ }^{1}$ 亀甲博貴 ${ }^{2}$ 森信介 ${ }^{2}$
1 京都大学大学院 情報学研究科 2 京都大学 学術情報メディアセンター
\{yamamoto.koki.76n,nishimura.taichi.43x\}@st.kyoto-u.ac.jp
\{kameko, forest\}@i.kyoto-u.ac.jp

## 概要

本研究では，研究における再現性向上の目的の 下，生化学分野における一人称視点の実験映像から の，実験手順を表すプロトコルの自動生成に取り組 んだ.プロトコルの生成において，フレームに映っ ている物体の名称に加え，VideoCLIP により推定し た実験者の動作を動詞として利用することで，物体 の名称のみを用いた場合よりも多くの情報を用いた プロトコル生成を行なった. その結果, 正しい動詞 を利用することでより適切なプロトコルを生成する ことができた.

## 1 はじめに

心理学や化学など様々な研究領域において, 研究の再現性の低さが問題視されている. Baker の調査 [1] によれば，研究者約 1,500 人の内 $70 \%$ 以上が 他の研究者の実験結果を再現できなかった経験があ ると述べている. 科学的研究結果を普遍的なものに するために，再現性を向上させることが求められて いる.

研究領域の中でもとりわけ，薬品や実験器具を扱 う生化学実験の再現における重要な要素のひとつと してプロトコルが挙げられる. プロトコルとは必要 な器具や薬品の名称とともに実験の手順を時系列順に記した文書であり，実験を再現する研究者はプ ロトコルを参照することで, 実験手順や試薬の量と いった実験の再現に必要な情報を得ることができ る.プロトコルに記述漏れや誤りがある場合, 研究者は誤った情報をもとに実験を再現することに繋が り，プロトコルを正しく記述することは実験の再現性に関わる大きな要因のひとつだと言える。

このようなプロトコルの記述漏れや誤りを防ぐ手段のひとつとして，自動的なプロトコルの作成が挙 げられる. 人間の手を介さずにプロトコルを記述す ることにより，ヒューマンエラーによる記述誤りを防ぐと同時に，人手によるプロトコル作成のコスト を削減することができる。

本研究では自動的なプロトコル作成の一例とし て，視覚モデルと言語モデルを用いた，実験映像か らのプロトコル生成に取り組む. 本研究で提案する 手法は西村らが発表したプロトコル生成手法 [2]を 拡張したものである. 西村らは生化学実験の実験映像中に現れる試薬や実験器具の名称を言語モデルに 与え，プロトコルの生成を行なっていた. しかし，加える試薬の量や実験者の動作等といった視覚情報 が与えられておらず，それらの情報だけでは十分と は言えない，本研究では，実験映像から実験者の動作を推定し，映像中の試薬や実験器具に加え，動作 も加味することでより多くの情報を用いたプロトコ ル生成に取り組んだ。 その結果, 言語モデルに正し い動詞を与えることでより適切なプロトコルが生成 できることを確認した.

## 2 BioVL2 データセット

本研究では，生化学分野における一人称視点の実験映像データセットである BioVL2 データセット [2] を用いてプロトコルの生成に取り組む. BioVL2 データセットは，生化学分野における基礎的な 4 種類の実験の様子を撮影した一人称視点の動画像デー タセットである.

BioVL2データセットには, (1) 実験映像に対応す るプロトコル，及び (2) 映像フレーム中に現れる試薬，実験器具のバウンディングボックスの 2 種類の アノテーションが与えられている. (1) に関して, プロトコルは各実験映像の実験手順を時系列順に記 したものであり，それぞれの手順と，実験映像中の 各手順に対応する開始時刻と終了時刻が付与され ている。(2)に関して，実験映像から 4 秒ごとにフ レームを切り出し，フレーム中に現れる試薬及び実験器具のバウンディングボックス及びそれらの名称 が 4 秒毎のフレームに対して付与されている.

図 1 プロトコル生成の手順

## 3 実験映像からのプロトコル生成

本研究で扱う BioVL2 データセットは合計 3 時間 ほどの動画像データセットであり, 学習データ量の 観点から，映像データを入力として直接プロトコル を生成するような深層学習モデルを構築することは 難しい. そこで本研究ではプロトコルの生成手法と して西村らの手法 [2] を拡張し, 適用する. 図 1 に 手法の概要を示す. 西村らの研究では, 牛久らの手法 [3] を基に，BioVL2 データセットを用いて以下の 4 つの手順により実験映像からプロトコルを生成す る. 一つの実験映像に対するプロトコル生成の手順 を以下に示す。
1. 4 秒に 1 枚フレームを抽出し，あらかじめアノ テーションされた物体名（bio-Named Entity, 以下 b-NEとする）を抽出する。

2. 連続するフレームの b-NE を統合し， b-NE 列を 得る. 図 1 の例では， 5 番目のフレームと 6 番目のフレームから'primer1'と'DNA engine'とい う b-NE が得られ, b-NE 列 $\{$ 'primerl'\}， \{'DNA engine'\}, \{'primer1', 'DNA engine'\} を得る.

3. 得られた b-NE 列を, 事前学習済みの文生成モ デルに与え，手順の候補文とその尤もらしさを 表すスコアを得る。

4. 手順 3 により得られた候補文の中から，候補文 のスコアに基づいたビタビアルゴリズムによ り，最も尤もらしい文の組み合わせを探索し，
プロトコルとする.

西村らの手法の問題点は, 手順 3 において実験映像中に現れる b-NE のみを文生成モデルに与えること で候補文の生成を行なっており，映像の視覚的情報 を無視してしまっている点である。そこで本研究で は上記の手順 3 を，「得られた b-NE 列，及び連続す るフレーム間の実験映像から推定される動作を文生成モデルに与え，手順の候補文を生成する」という 手順に変更した。

## 3.1 b-NE の抽出と統合

BioVL2 の実験映像では動画の 4 秒毎に，フレー ム中に現れる b-NE がバウンディングボックス によりアノテーションされている.これらのア ノテーションから，各フレームにおける b-NE 及 び連続するフレーム列における b-NE 列を以下 のようにして得る. $i$ 番目のフレームを $f_{i}, i$ 番目のフレームから連続する $l$ 個のフレーム列を $\boldsymbol{f}_{n}^{l}=\left(f_{n}, f_{n+1}, \ldots, f_{n+(l-1)}\right)$ とし, フレーム $f_{i}$ が b-NE 集合 $\varepsilon_{i}$ を持つとする. この時フレーム列 $f_{i}^{l}$ が持 $\supset \mathrm{b}-\mathrm{NE}$ 集合は $e_{n}^{l} \in \varepsilon_{i} \times \varepsilon_{i+1} \times \ldots \times \varepsilon_{i+(l-1)}$ と書ける （×は集合のデカルト積を表す)，西村らの手法と 同様に，フレーム列の長さ $l$ について $l=1,2,3$ に 対応する b-NE 列を獲得する。例として，図 1 のフ レーム $f_{5}, f_{6}$ が b-NE としてそれぞれ'primer1', 'DNA engine'を持つ場合，フレーム列 $f_{5}^{2}$ が持つ b-NE 集合は'primer1', 'DNA engine'となる.

## 3.2 実験映像からの動作推定

続いて，連続するフレーム列の間の実験映像か ら，実験者の動作を推定する．生化学分野における 実験を対象とした大規模動画像データセットは存在 せず，実験映像を入力とした動作推定を行うモデル を学習させることは困難である。 よって本研究では 動作推定を行うモデルとして，タスクに応じたモデ ルの再学習を必要とせず，ゼロショットで下流タス クを解くことのできる VideoCLIP [4]を用いる.

## 3.2.1 VideoCLIP

VideoCLIP は動画と言語の対応関係を学習 した Vision-Language モデルである. VideoCLIP は HowTo100M [5] データセットを用いた対照的学習に より事前学習されている. VideoCLIP は事前学習に 用いていない様々な動画像データセットを対象とし た Vision-Language タスクにおいて高い精度を記録 している.

VideoCLIP や CLIP 等といった，大規模なデータ セットで事前学習を行うことによりゼロショット での下流タスク解決が可能な Vision-Language モデ ルにおいては，タスクに応じてプロンプトと呼ばれ る入力テキストの形式を変えることが精度向上に つながることが知られている [6]. タスクに応じた プロンプト最適化の具体例として，VideoCLIPを用 いて動画中の動物が犬・猫のどちらであるかを分類 するという2クラス分類タスクについて考える.こ の時，テンプレート文として “a video of \{class\}”とい う文をあらかじめ用意しておき，テンプレート文中 の'\{class\}' の部分を'dog', 'cat' という単語で置き換 えることにより，それぞれのクラスに対応したプロ ンプトを得る．このようなプロンプトをテキスト入力として用いることで, 'dog' や'cat'といったクラ ス名を直接テキスト入力に使用した場合よりも高い 精度を記録できることが知られている。本研究で用 いるプロンプトについては 4.2 で述べる.

## 3.2.2 VideoCLIP を用いた動作の推定

連続するフレーム列 $\boldsymbol{f}_{n}^{l}$ 間に対応する部分実験映像を $\boldsymbol{v}_{n}^{l}$ とし， $i$ 番目の動作の候補となる単語を，あ らかじめ用意したテンプレート文に埋め込んだプロ ンプトを $t_{i}$ とする. $v_{n}^{l}$ と $t_{i}$ の類似度を VideoCLIP を用いて算出し, 類似度の高い動詞の組 $a_{n}^{l}$ を動作 の候補として選出する。

## $3.3 b$-NE 列及び動作からの候補文生成

続いて，選出された動詞の組 $a_{n}^{l}$ と得られた b-NE 列 $e_{n}^{l}$ を用いて実験手順の候補となる文を生成す る. 西村らの手法と同様, 文生成モデルには WLP データセット [7] で事前学習した Transformer にコ ピー機構を加えたモデルを用いる。コピー機構をモ デルに組み込むことで，入力として渡される b-NE 及び動詞を正しく出力に反映させることができる. b-NE 列 $e_{n}^{l}$ と，VideoCLIP を用いて推定された動詞 を Transformer に与え，候補文を生成する。

次の手順にて最適な候補文を探索するために，生成された候補文毎に，文の尤もらしさを以下の式に よりスコアとして計算しておく.

$
\operatorname{Score}\left(e_{n}^{l}\right)=\prod_{i=1}^{N} p\left(d_{i} \mid d_{1}, d_{2}, \ldots, d_{k-1} ; e_{i}^{l}\right)
$

ここで $d_{i}$ は出力文の $i$ 番目の単語， $N$ は単語列の長 さを表す。

## 3.4 候補文を用いたプロトコルの選定

最後に，生成された候補文の中からスコアが最も 高い文の系列，すなわちプロトコルを構成する文章 として最も尤もらしい文の系列をプロトコルとして 出力する。候補文からプロトコルの選定を行うため の探索は，西村らの手法に倣い，ビタビアルゴリズ ムにより行う。

## 4 実験と結果

前節で説明したプロトコル生成手法により， BioVL2 データセットの実験映像からプロトコル生成を行うタスクに取り組んだ。

## 4.1 事前学習

文生成モデルの事前学習には WLP データセッ ト [7]を用いた．WLPデータセットは生物学分野に おける実験プロトコルを収集したテキストデータ セットであり，各プロトコルの文には，単語レベ ルでの b-NE のアノテーションが付与されている. b-NE のアノテーションは，試薬を表す Reagent や実験器具を表す Device などいくつかのタグに分けら れているが，BioVL2において付与されているアノ テーションが Reagent, Device, Location であることか ら，これら 3 種類のタグ及び実験者の動作を表す Action を文生成モデルの入力として与えた.

表 1 自動評価指標によるスコア.太字は各評価指標において最も高いスコアを表す

## 4.2 プロンプト

VideoCLIP を用いた動作推定において，3.2.1 で説明した，動詞の候補を埋め込むテンプレート文を利用した。テンプレート文として，動詞のみを埋め込 むテンプレート文と, 動詞と b-NEを埋め込むテンプ レート文の 2 種類を用意した. 動詞のみを埋め込む テンプレート文は “a video of $\{$ verb $\}$ in the laboratory, a type of actions”，実験映像中の b-NE と動詞を埋め 込むテンプレート文は”a video of $\{$ verb $\}$ using $\{b-N E\}$ in the laboratory, a type of actions”とし，例えば図 1 で は, '\{verb\}'に'set'を, '\{b-NE\}'に'primer1 and DNA engine’を埋め込むことでプロンプト “a video of set using primer 1 and DNA engine in the laboratory, a type of actions”を形成する. また，'\{verb \}' に埋め込む動詞 の候補として，WLPデータセット中の動詞の中で出現頻度が上位 30 位までの動詞，100 位までの動詞，及び BioVL2 データセット中の 14 の動詞を用いた.

## 4.3 生成プロトコルの評価

提案手法に加え，ベースラインとして，推定した 動詞を用いず b-NE のみを文生成モデルに与えた 場合，及びあらかじめアノテーションされた正解 となる動詞を b-NE と共に文生成モデルに与えた 場合についてプロトコルを生成し，比較を行なっ た. 生成されたプロトコル例を付録に示す. 生成さ れたプロトコルの自動評価尺度として，BLEU [8], METEOR [9]，ROUGE-L [10] を用い，BLEU の $N$ の 値は $N=1,2,3,4$ とし評価を行なった. 各動詞の候補及び b-NE を用いて生成したプロトコルの自動評価尺度による結果を表 1 に示す。この結果から以下 の 3 つのことがいえる.

第一に，推定した動詞の情報を文生成モデルに 与える場合，正しく動詞を推定しなければ逆に生成結果に悪影響を与えてしまうということである. BioVL2 データセットにおいてあらかじめアノテー ションされた正解となる動詞を b-NE に加えてプロ トコル生成を行なった結果がほとんどの評価指標に おいて最も高いスコアを記録しているが，動詞を用 いず b-NE のみで生成を行なった結果がそれに続く スコアとなっている. このことから，プロトコル生成に動作の情報を用いることは有用であるが，適切 な動作の情報を用いなければそれらがノイズとなっ てしまうといえる.

第二に，テンプレート文に動詞のみを埋め込む場合よりも，動詞と b-NE の両方を埋め込んで動詞の 推定を行う方がよいということである。この原因と して'Centrifuge'など，専門的な実験器具を操作する 動詞の推定には対象となる実験器具の名称が必要で あることが挙げられる。

第三に，候補となる動詞の集合と，BioVL2 デー タセットに現れる動詞の集合との乘離が小さいほど 良いプロトコルが得られるということである。これ は候補となる動詞の集合が大きくなることで，推定 した動詞が BioVL2 データセットに含まれる動詞と 異なる確率が高くなり，結果として正解のプロトコ ルと生成されたプロトコルの差異が大きくなること が原因であると考えられる。

## 5 おわりに

本研究では，実験映像からの実験者の動作を加味 したプロトコル生成を行なった. 本研究におけるプ ロトコルの評価結果は，実験者の動作の情報を与え ることは有用であるが，与える動作の情報が正しい ものでなければ，プロトコルの生成において悪影響 を及ぼすということを示している．今後の方針とし て，より正確な動詞の推定手法を用いたプロトコル の生成を行うことが考えられる。

## 謝辞

本研究は JSPS 科研費 JSPS 21J20250 の助成を受け

たものです.

## 参考文献

[1] Baker M. 1,500 scientists list the lid on reproducibility. Nature, Vol. 533, pp. 452-454, 2016.

[2] Atsushi Ushiku Atsushi Hashimoto Natsuko Okuda Fumihito Ono Hirotaka Kameko Taichi Nishimura, Kojiro Sakoda and Shinsuke Mori. Biovl2 dataset: Egocentric biochemical video-and-language dataset. Journal of Natural Language Processing, 2022.

[3] Atsushi Ushiku, Hayato Hashimoto, Atsushi Hashimoto, and Shinsuke Mori. Procedural text generation from an execution video. In International Joint Conference on Natural Language Processing, pp. 326-335, 2017.

[4] Hu Xu, Gargi Ghosh, Po-Yao Huang, Dmytro Okhonko, Armen Aghajanyan, Florian Metze, Luke Zettlemoyer, and Christoph Feichtenhofer. VideoCLIP: Contrastive pretraining for zero-shot video-text understanding. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), Online, November 2021. Association for Computational Linguistics.

[5] Antoine Miech, Dimitri Zhukov, Jean-Baptiste Alayrac, Makarand Tapaswi, Ivan Laptev, and Josef Sivic. HowTo100M: Learning a Text-Video Embedding by Watching Hundred Million Narrated Video Clips. In International Conference on Computer Vision, 2019.

[6] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In Proceedings of the International Conference on Machine Learning, pp. 8748-8763, 2021.

[7] Chaitanya Kulkarni, Wei Xu, Alan Ritter, and Raghu Machiraju. An annotated corpus for machine reading of instructions in wet lab protocols. In North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 97-106, 2018.

[8] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Association for Computational Linguistics, pp. 311-318, 2002.

[9] Satanjeev Banerjee and Alon Lavie. METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. In Association for Computational Linguistics, pp. 65-72, 2005.

[10] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, 2004. Association for Computational Linguistics.

 & 手順 1 &  & 手順 1 &  \\

表 2 フェノールクロロホルム法の映像に対するプロトコル生成結果の例

## A BioVL2 データセット

BioVL2データセットは，生化学分野における実験映像を収集した一人称視点の映像データセットである。生化学分野 での基礎的な実験である PCR，ミニプレップ法，アガロースゲル作成，DNA 抽出の 4 種類の実験をそれぞれ 8 動画ずつ 撮影している。実験映像の撮影は，実験者の頭にヘッドマウントカメラを取り付け行われており（図 2)，計 32 動画，約 178 分の動画像データセットとなっている. また BioVL2 データセットには， (1) 実験映像に対応するプロトコル，及び (2) 実験映像中に現れる試薬, 䒠験器具の映像中のバウンディングボックスの 2 種類のアノテーションが与えられている.

## A. 1 実験映像とプロトコルの対応関係のアノテーション

実験映像に対応するプロトコルは，実験者が実験内容を口頭で説明したものが文書化され与えられている。プロトコ ルは実験者の動作ごとに手順として区切られており，例えば“Add phenol chloroform and invert violently.”という内容は “Add phenol chloroform”と “Invert violently”という手順に分けられる. また各手順に対して, 実験映像における開始時刻と終了時刻が付与されている.

## A. 2 実験映像中の物体に対するアノテーション

実験映像中の物体対して付与されたバウンディングボックスの例を図 3 亿示す. このアノテーションは，映像から 4 秒ごとにフレームを抽出し，（1）手が物体と触れている，かつ（2）触れている物体がプロトコルに現れる場合に対して， その物体をバウンディングボックスで囲い，物体名を付与することで為されている。

## B 生成プロトコル例

表 2 亿，実験映像からのプロトコル生成例を示す.ここでは，正解のプロトコル，b-NEのみを入力とした場合， BioVL2 の動詞を動詞推定の候補とした場合，及び VideoCLIP による推定ではなく正解となる動詞を与えた場合について 例を示している。なお，動詞推定の際のテンプレート文は動詞と b-NEを埋め込むテンプレート文を利用している。

生成されたプロトコルを見ると，正解の動詞を与えることで，正解のプロトコルに近い動詞を出力できていることが わかる。一方で，VideoCLIP により推定した動詞を与えた場合，誤った動詞を出力してしまっている例が多く見られた。 b-NE のみを用いて生成を行うモデルが出力する動詞は，WLPデータセットで事前学習した際の b-NE との共起関係から 得られるものであり，そのようにして得られる動詞を用いる場合よりも，誤って推定した動詞を与える方が，モデルへの 悪影響が大きいと考えられる.

また，生成されたプロトコル中の “for 5 minutes”や“2001”といった量や時間に関する数值は，WLPデータセット中の共起関係依るものであり，実際の映像からこれらの数值を読み取っているわけではない. プロトコル中のこのような数値が誤っている場合，実験再現の失敗に繋がると考えられるため，実験中の詳細な数値を生成プロトコルに反映する方法について検討する必要がある。

図 2 実験映像撮影の様子

図 3 映像中の物体に付与されたバウンディングボッ クスの例