# 動画キャプションモデルを用いた字幕翻訳の検討

成浦拓音 品川政太朗 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{nariura.takuto.nu7, sei.shinagawa, sudoh, s-nakamaura\}@is.naist.jp

## 概要

機械翻訳において映像情報を用いて翻訳精度を 改善する研究が行われている一方，映像情報を含む コーパスには限りがあり，大規模に学習することが 難しい。本研究ではこのような問題を回避し，映像情報を話し言葉翻訳に活かす方法を提案する。本手法は映像情報を動画説明文に変換して取り扱うこと で，事前学習済みの言語モデルが学習しやすい問題設定とし，規模の小さい視覚情報付きコーパスでも 事前学習による性能向上が期待できる. VISA デー タセットを用いた実験の結果，多義語を含むデータ セットにおいて動画説明文を用いて学習を行う事 で，動画説明文を用いない場合より BLEU 值が 0.24 ポイント, METEOR 值が 1.19 ポイント上昇する結果を得られた。

## 1 はじめに

機械翻訳技術の発展により，実時間での同時翻訳 や映画・漫画といった視覚情報を含む発話文や説明文を多言語に翻訳する研究が盛んに行われてきて いる $[1,2]$. 新聞や Web 上の文章をはじめとする文章の文脈や文法が意識される書き言葉とは異なり，同時翻訳や映画などの視覚情報を含む発話や会話 には，指差しや視覚情報を共有しているという前提での主語の省略や, 英語の “figure” やフランス語 の “grille”といった場面に応じて異なった意味を含 む多義語が事前の文脈情報なしに含まれることが ある.

このような問題に対しては，視覚情報を考慮して 翻訳することが有用だと考えられており, 視覚情報 を用いた翻訳手法の研究が進められている. 実際 に, Multi30k [3] や VATEX [4] など複数の視覚情報付きデータセットにおいて、視覚情報を追加するこ とにより翻訳精度を改善できることが報告されてい る $[5,6]$.

一方，映像情報を含む対訳コーパスの数は数千文

字幕に対応する映像

提案手法B

図 1 提案手法

から多くて数十万文と規模が小さく，大規模に学習 することが難しい.

本研究では視覚情報を動画説明文として受け取る 事で話し言葉翻訳において改善が見込めると仮説を 立て，大規模自然言語モデルにおいて視覚情報を取 り扱う手法を提案する. 本手法は視覚情報を事前に 学習した動画キャプションモデルによって動画説明文へと変換し，変換した動画説明文を大規模自然言語モデルの入力として取り扱うことで事前学習済み の自然言語モデルを用いて学習を行う. 自然言語処理では mBART [7] や T5 [8] といった大規模な事前学習を行った機械学習モデルを特定のタスクにファイ ンチューニングすることが一般的であり，これらの モデルは数千万文以上からなる大規模なデータセッ トや対訳コーパスを用いて事前学習を行うことで事前知識を得ることを可能にしている. 本提案手法を 用いることで大規模データセットで事前学習された 大規模自然言語モデルを直接的に変更することな く，そのまま活用することが可能となり，数千文か ら数十万文程度と規模が小さい視覚情報付き対訳 コーパスでも事前学習による精度の向上を期待する ことができる.

提案手法を用いることで翻訳精度が向上すること を明らかにするため，VISA データセット [9]を用い た実験を行った. 実験の結果，多義語を含むデータ

セット (Polysemy) において動画説明文を用いた場合 には，翻訳精度が改善する結果を得られた。

## 2 関連研究

## 2.1 動画翻訳

動画翻訳は映像情報を追加の入力として受け取る ことで, 翻訳精度を改善することを目的とした研究 である. 既存のデータセットとしては VATEX デー タセットや How2 データセット [10] が知られている が,VATEX データセットには映像情報を説明する動画説明文が付与されており，マルチモーダルな情報 を活用することによる利点が十分に含まれていな いという指摘も存在する [11]. Li らは OpenSubtitles データセット [12] から収集した日英字幕の対訳コー パスと，字幕情報に沿って取得した 10 秒間の映像情報を組み合わせた VISA データセットを構築し た [9]. VISA データセットには字幕情報だけでは翻訳時の語義の曖昧性が解決できないとクラウドワー カーによって判断された文章のみが含まれており， マルチモーダルな情報を活用することによって語義 の曖昧性を解決できることが期待されている.

映像情報を用いた機械翻訳モデルの多くは動画 をフレーム単位に分けた後，事前学習済みの画像エ ンコーダに入力して画像特徴量を取得したり，モー ションエンコーダを用いて動画特徴量を取得するな どの手法が一般的である $[6,13]$. 一方, 本研究では 視覚情報を直接翻訳モデルの入力として扱わないと いう点で既存研究とは異なる。

## 2.2 大規模言語モデル

ニューラルネットワークを用いた自然言語処理で は事前学習を実施した大規模言語モデルをタスクの 用途に合わせてファインチューニングをする手法が 一般的であり，大量のコーパスを用いて事前学習を 行うことでタスクによらない事前知識を獲得できる ことが知られている. 機械翻訳でも大規模モデルを 用いる手法が提案されており, Liu らは大規模な対訳コーパスを使用することで最先端の翻訳精度を実現する mBART を提案している. また Huang らは多義語の単語を説明する辞書情報を結合した入力を用 いて，大規模事前学習モデルを微調整することでタ スクを解くGlossBERTを提案している [14].

視覚情報付き翻訳においても大規模な事前学習済みモデルを使用する手法が提案されている。表 1 VISA データセットの内訳

Caglayan らは言語情報と視覚情報を踏まえた事前学習を行う手法である VTLM を提案した [5]. 一方 Caglayan らの提案する事前学習手法はマスキングさ れた画像の分類問題をする追加タスクを実行する必要があり，それを行うためには事前に視覚情報の内容を物体検出した上でマスクを行えるように前処理 をする必要がある。また映像情報のような時系列情報をそのまま結合することはできない，一方，本研究では，動画キャプションモデルで映像情報を事前 に言語化することで，視覚情報を扱う難しさを回避 しつつ，翻訳に有用な視覚情報を大規模言語モデル に自然に取り込める可能性が期待できる。

## 3 提案手法

本稿では動画説明文を用いることで翻訳に有用な 視覚情報を大規模自然言語モデルに取り込める仮説 を立て，画像特徴量や動画特徴量を翻訳モデルの入力として受け取る代わりに，大規模自然言語モデル の追加入力として視覚情報を説明する動画説明文 を付与した上で翻訳を行うこととした。提案手法を 図 1 に示す. VISA データセットにて各コーパスに 紐づいている動画情報を動画キャプションモデルを 使用して動画説明文へと変換し，それらを追加の入力文として取り扱う. 動画の説明文は Huang らが提案した GlossBERT などの手法を踏まえて，入力とし て加える翻訳文に結合することとした．動画説明文 は 2 つの特殊トークンである $[S E P]$ と $[/ S E P]$ で挟 んだ上で入力に結合する事とし，動画説明文の結合位置には原言語文の前後 2 通りが考えられるため,両方の場合を考慮して説明文を入力文の文頭に結合 する場合 (提案手法 A) と文末に結合する場合の 2 通 りで実験 (提案手法 B) を行った. 動画キャプション モデルには最先端モデルの一つであり，映像を含む 対訳コーパスであるVATEX データセットで事前学習された SwinBERT [15] モデルを使用することとし た. 動画説明文の例を表 2 に示す.

表 3 提案手法 2 の評価值 (†: VMT [9] から引用)

## 4 実験

事前学習済みの自然言語モデルに動画説明文を付与することで，翻訳精度が向上することを明らかに するために以下の実験を行った.

## 4.1 実験設定

本実験では映像情報付き翻訳データセットとし て，VISA データセットを用いる．VISA データセッ トの内訳を表 1 に示す ${ }^{1)}$. VISA データセットには 多義語の翻訳を含むデータセットである Polysemy と主語の省略を含むデータセットである Omission, その 2 つを組み合わせた Combined の 3つの組み合 わせが存在し, 今回の実験では全てのデータセット の組み合わせで実験を行った. 事前学習済み大規模自然言語モデルには CC-25 データセットで事前学習 された mBARTを用いた。なお， mBART の著者ら が公開している mBART モデルとトークナイザには 特殊トークン $[S E P]$ と $[/ S E P]$ が含まれていないた め，今回の実験では事前に使用する特殊トークンを トークナイザに追加しておき，特殊トークンに対応 する単語埋め込み表現をランダムな初期値で初期化 した上で学習を行った。

今回の実験では日英翻訳を行うため，日本語の原言語文に対して SwinBERT から出力された英語の説明文を結合して実験を行っている. また動画説明文 を用いずに mBARTを学習させた場合とも比較を行 うこととした. テストデータに対する推論時には ビームサーチを用い，ビーム長は 10 とした. また


実験コードの実装には fairseq [16] を用いた.

## 4.2 実験結果

実験結果は既存研究と同じく BLEU (n=4) [17] と METEOR [18], RIBES [19]を用いて評価した. VISA データセットの文章は短い会話文が多いため, BLEU 計算時には文章の長さによる影響を緩和す る手法として, 既存研究と同じようにChen らの Smoothing 4 method を用いている [20]. それぞれの データセットでの実験結果を表 3 に示す. 全体とし て動画説明文を文頭に付与する場合よりも動画説明文を文末に付与する方が良い結果を収めている。ま た文末に動画説明文を付与した場合には動画説明文 を付与しない場合よりも，幾つかの指標で最も良い 結果を収めた. 特に Polysemy データセットでは全 ての指標において他のモデルを上回る結果を得るこ とができている.

動画説明文が有効に働いたと考えられる Combined データセットにおける出力例を表 4 に記載する。たとえば「シャワーを浴びようとしてた」 という原言語文に対しては mBART は “He”と「彼」 を主語にしているのに対して，提案手法 B は “I” と 自分を主語とした発話として翻訳することが出来て いる。また「気をつけろ」という原言語文に対して は mBART は「体に気をつける」といった意味合い である “Take care of” が出力されているのに対して，提案手法 B では「注意する」という意味合いを持つ “Be careful” が出力されており，動画情報を踏まえる ことによって複数の意味を持つ多義語を場面に応じ て使い分けられている。また「体育館に戻られた方 が良いと思います」という原言語文に対しては，体
育館を表す “gym”という単語を適切に出力できてお り，事前知識を活用して翻訳を行えている。

一方，動画説明文が有効ではなかったと考えられ る出力例を表 5 に記載する。「金を待っているだけ だ」という原言語文では，どの手法でも省略された 主語を間違える結果となっている. 日本語の会話文 では場面に応じて主語が省略されることがあるが，今回のデータセットには話者情報が含まれていない ため状況を説明する説明文だけでは対象の発話が誰 に対する発話であるかを判別することが難しく，省略された主語を推測することに失敗したのだと考え られる。このような問題に対しては映像情報だけを 用いるのではなく，話者情報を用いたり，音声情報 や顔の表情から感情を推論するといったマルチモー ダルな手法を活用することで更に翻訳精度を改善で きるのではないかと考えている.

## 5 まとめと今後の展望

本稿では動画情報を動画説明文に変換し，大規模自然言語モデルの追加入力として取り扱う手法につ いて検討を行った. VISA データセットを用いた実験の結果，いくつかの指標とデータセットにおいて 提案手法は動画説明文を用いない場合よりも良い翻訳精度を実現することができた. 今後の展望として は物体検出を行った上で，それぞれの物体に対して 個別にキャプションを付与することで更に細かな動画説明文を取得することや，映像情報から話者情報 や話し手の表情・声の調子や抑揚といった話者に着目したマルチモーダルな情報についても取得・活用 することを検討している。また翻訳文章が長く複雑 であったり，主語が推測しにくいような文章の場合 にも本手法が今回の実験と同様に翻訳精度を向上す るかどうかについても検討したいと考えている.表 4 説明文が有効に働いたと考えられる出力例

表 5 説明文が有効に働かなかったと考えられる出力例

 \\

## 謝辞

本研究は JSPS 科研費 JP21H05054 の助成を受けた ものです

## 参考文献

[1] Jiatao Gu, Graham Neubig, Kyunghyun Cho, and Victor O.K. Li. Learning to translate in real-time with neural machine translation. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 1053-1062, Valencia, Spain, April 2017. Association for Computational Linguistics.

[2] Ryota Hinami, Shonosuke Ishiwatari, Kazuhiko Yasuda, and Yusuke Matsui. Towards fully automated manga translation. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 12998-13008, 2021.

[3] Desmond Elliott, Stella Frank, Khalil Sima'an, and Lucia Specia. Multi30K: Multilingual English-German image descriptions. In Proceedings of the 5th Workshop on Vision and Language, pp. 70-74, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4] Xin Wang, Jiawei Wu, Junkun Chen, Lei Li, Yuan-Fang Wang, and William Yang Wang. Vatex: A large-scale, high-quality multilingual dataset for video-and-language research. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 4581-4591, 2019 .

[5] Ozan Caglayan, Menekse Kuyu, Mustafa Sercan Amac, Pranava Madhyastha, Erkut Erdem, Aykut Erdem, and Lucia Specia. Crosslingual Visual Pre-training for Multimodal Machine Translation. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Short Papers, online, April 2021. Association for Computational Linguistics.

[6] Weiqi Gu, Haiyue Song, Chenhui Chu, and Sadao Kurohashi. Video-guided machine translation with spatial hierarchical attention network. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing: Student Research Workshop, pp. 87-92, Online, August 2021. Association for Computational Linguistics.

[7] Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, and Luke Zettlemoyer. Multilingual denoising pre-training for neural machine translation. 2020.

[8] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J Liu, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, No. 140, pp. 1-67, 2020.

[9] Yihang Li, Shuichiro Shimizu, Weiqi Gu, Chenhui Chu, and Sadao Kurohashi. VISA: An ambiguous subtitles dataset for visual sceneaware machine translation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 67356743, Marseille, France, June 2022. European Language Resources Association.

[10] Ramon Sanabria, Ozan Caglayan, Shruti Palaskar, Desmond Elliott, Loïc Barrault, Lucia Specia, and Florian Metze. How2: a large-scale dataset for multimodal language understanding. In Proceedings of the Workshop on Visually Grounded Interaction and Language (ViGIL). NeurIPS, 2018.

[11] Zhishen Yang, Tosho Hirasawa, Mamoru Komachi, and Naoaki Okazaki. Why videos do not guide translations in video-guided machine translation? an empirical evaluation of video-guided machine translation dataset. Journal of Information Processing, Vol. 30, pp. 388-396, 2022
[12] Pierre Lison and Jörg Tiedemann. OpenSubtitles2016: Extracting large parallel corpora from movie and TV subtitles. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 923-929, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[13] Tosho Hirasawa, Zhishen Yang, Mamoru Komachi, and Naoaki Okazaki. Keyframe segmentation and positional encoding for video-guided machine translation challenge 2020 . arXiv preprint arXiv:2006.12799, 2020

[14] Luyao Huang, Chi Sun, Xipeng Qiu, and Xuanjing Huang. GlossBERT: BERT for word sense disambiguation with gloss knowledge. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3509-3514, Hong Kong, China, November 2019. Association for Computational Linguistics.

[15] Kevin Lin, Linjie Li, Chung-Ching Lin, Faisal Ahmed, Zhe Gan, Zicheng Liu, Yumao Lu, and Lijuan Wang. Swinbert: End-to-end transformers with sparse attention for video captioning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 17949-17958, 2022.

[16] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[17] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[18] Satanjeev Banerjee and Alon Lavie. Meteor: An automatic metric for mt evaluation with improved correlation with human judgments. In Proceedings of the acl workshop on intrinsic and extrinsic evaluation measures for machine translation and/or summarization, pp. 65-72, 2005.

[19] Hideki Isozaki, Tsutomu Hirao, Kevin Duh, Katsuhito Sudoh, and Hajime Tsukada. Automatic evaluation of translation quality for distant language pairs. In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 944-952, Cambridge, MA, October 2010. Association for Computational Linguistics.

[20] Boxing Chen and Colin Cherry. A systematic comparison of smoothing techniques for sentence-level BLEU. In Proceedings of the Ninth Workshop on Statistical Machine Translation, pp. 362-367, Baltimore, Maryland, USA, June 2014. Association for Computational Linguistics.
 成浦拓音 品川政太朗 須藤克仁 中村哲 奈良先端科学技術大学院大学 \{nariura.takuto.nu7, sei.shinagawa, sudoh, s-nakamaura\}@is.naist.jp  