# 曖昧性を含む翻訳に着目した マルチモーダル機械翻訳データセットの構築方法の検討

Yihang Li 清水周一郎 Chenhui Chu 黒橋禎夫
京都大学大学院情報学研究科
\{liyh, sshimizu, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 概要

翻訳には曖昧性，すなわち原言語の文に対して複数の翻訳が考えられる場合がある．既存のマルチ モーダル機械翻訳データセットでは，翻訳の曖昧性 を解消するために映像が役立つかどうかは明らかに なっていない，そこで本研究では，曖昧性を含む翻訳に着目したマルチモーダル機械翻訳データセット の構築に取り組む.このデータセットは，(1) 原言語の文が曖昧であること (2) 映像が翻訳の曖昧性解消に役立つことの二つの条件を満たす。一つ目の条件を満たすために異なる翻訳をもつ原言語の文を集 め，さらに目的言語の文の意味に基づいて選定を 行った.二二目の条件を満たすために人手による確認を行った。

## 1 はじめに

マルチモーダル機械翻訳 [1] は，テキスト以外の モダリティを補助的に用いる機械翻訳である．翻訳 には曖昧性，すなわち原言語の文に対して複数の意味の翻訳が考えられる場合があるが，テキスト以外 のモダリティを活用することによってそうした曖昧性の解消が期待できる.

これまでのマルチモーダル機械翻訳の研究では，主に画像が翻訳の曖昧性を保証するための補助的 な情報として用いられてきた $[2,3]$. その発展と して，近年，映像を用いた機械翻訳 (video-guided machine translation; VMT) の研究が盛んになりつつあ る $[4,5]$. 映像は画像では捉えられない人・物の動 きや時間経過といった情報を含むため，翻訳の曖昧性の解消により効果的であると期待される.

既存の VMT データセットは，原言語の文の曖昧性に着目しているとは言えない．VMT のデータ セットの構築方法として，キャプション (映像内容 の描写) にもとづく方法 [4] と，字幕 (映像内の話者
の発話の書き起こし)にもとづく方法 [6]がある．現実に VMT を利用する状況，例えば映画の字幕翻訳 などの場合，テキストは必ずしも映像の内容を説明 している訳ではなく，映像はテキストで伝えられる 内容とは別の補助的な情報として用いられる。 その ため，キャプションにもとづくデータセットは実用的な観点から問題がある。また，キャプションには 曖昧性が存在しないため，キャプションの翻訳は必 ずしも視覚情報を必要としないという報告もある [7]. 字幕にもとづくデータセットでも，曖昧性には 特に注目せず，一般的な字幕を扱ったものしか存在 しない.

本研究では, 原言語の文が曖昧性を含む日英 VMT データセットの構築に取り組んでいる。このデータ セットは，(1) 原言語の文が曖昧であること (2) 映像 が翻訳の曖昧性解消に役立つことの二つの条件を満 たす.

一つめの条件を満たすため，まず原言語 1 文に対 して翻訳が複数存在するものを集める。ここで，原言語 1 文と複数の翻訳文の集まりを対訳セットと定義する。次に，収集した対訳セットから目的言語の 文間の意味が違うもののみを選定する。二つめの条件を満たすためには人手による確認を行う。

選定された対訳セットの例を図 1 に示す。「放 せ!」という日本語に対し，“Let me go!”と “Drop it!”の 2 通りの翻訳があり，テキストだけからはど ちらが正しい翻訳か判断できない。映像を見ると，上の例では人が人を引っ張っており，下の例ではナ イフを持った男が争っていることから，正しい翻訳 を決定できる。

本稿では，曖昧性に着目した VMT データセット の構築手順を説明する。さらに，データセットの一部について，データの分析及び予備実験の結果を報告する.

図 1 選定された対訳セットの例.「放せ！」という日本語に対し，“Let me go!”と “Drop it!”の 2 通りの翻訳の可能性が ある．映像を見ると，上の例では人が人を引っ張っており，下の例ではナイフを持った男が争っていることから，対応す る翻訳を決定できる。

## 2 関連研究

## 2.1 マルチモーダル機械翻訳

マルチモーダル機械翻訳では，異なるモダリティ の情報が入力データの異なる見方を与えると仮定して，複数のモダリティの情報を用いて翻訳を 行う [8]. 先行研究の多くは画像を用いた機械翻訳 $[1,9,10]$ である. 映像の有用性は特定のデータ セットやタスクで議論されており [11,7], 類似して いない言語対では文法的な特徴を捉えたり翻訳の曖昧性を解消したりするのに映像が役立つ可能性が ある [8].

## 2.2 VMT データセット

VMT のデータセットとして VaTeX [4] と How2 [6] がある. VaTeX は既存の映像データセットに対し英語と中国語でキャプションを付けたデータセット である. VaTeX はキャプションのデータセットであ り，VMT を用いる現実的なシナリオを考えにくい. How2 は YouTube から集められた教育ビデオに，そ の英語字幕と対応するポルトガルとの翻訳，及び映像の英語の要約が付けられたデータセットである. いずれのコーパスもテキストに曖昧性がないため，翻訳に必ずしも視覚情報を必要としない点が本研究 と異なる。

## 3 データセット構築手順

原言語に曖昧性を含む日英の VMT データセッ トを構築する手順は以下の通りである。まず，既存の字幕データセットである OpenSubtitles [12] の 日英の字幕から対訳セットを集める。さらに, Sentence-BERT によって対訳セット内の複数の英語訳の意味が異なるかどうかを判定し, 対訳セット
の選定を行う．次に，字幕に対応する映画やテレビ の映像を切り取る. 最後に，人手で字幕と映像を チェックし，字幕に曖昧性があり映像によりそれが 解消できることを確認する.

## 3.1 対訳セットの収集

OpenSubtitles は映画やテレビのデータから収集さ れた大規模な字幕のデータセットで，計 60 言語に わたる 26 億文の字幕がある. 本研究ではこのうち $1,213,468$ 文からなる日英の対訳データを用いる.日本語を原言語として選んだのは，日本語がプロド ロップ言語であり，曖昧性を原言語に含むデータ セットを作成する上で適当であると考えたためであ る.また, OpenSubtitles では各映像に対し $\mathrm{IMDb}^{1)}$ の ID が付けられており，映像の情報を得ることが できる. 字幕もこの ID に基づいて分類されている.翻訳の曖昧性を確保するために，原言語 1 文と複数 の翻訳文の集まりである対訳セットごとに字幕をま とめる.

## 3.2 目的言語の文間の類似度を利用した対訳セットの選定

複数の目的言語の翻訳が存在するだけでは，原言語の文が曖昧性を含むことにはならない。それ らが単に表現として違っているだけで，意味的に は同じである可能性があるからである. そこで，各対訳セット内の目的言語の文同士の類似度を Sentence-BERT [13] を用いて計算し, 類似度の閾値 を設定して，閾值よりも類似度が小さい (すなわち 意味の異なりが大きい) 対訳セットのみを残すこと で曖昧な文を含む対訳セットの選定を行う。ここ で， 1 対訳セット内に 3 文以上の目的言語の文が含 まれる場合には，全ての文の組み合わせについて類似度を計算し，最も類似度の小さいものをその対訳


図 2 字幕のアライメントの手順. 映像に字幕がついて いる場合 (上側) とついていない場合 (下側) で手順を分け る.

セットの目的言語文間の類似度として用いる.

## 3.3 字幕と映像のアライメント

OpenSubtitles の字幕にはその表示時刻の始まりと 終わりを示すタイムスタンプがついているが，それ らは必ずしも映像のタイムスタンプと一致している わけではない. OpenSubtitles で用いられた映像と本研究で用いた映像でフレームレートに差があった り，定数時間のずれが生じていたりする場合がある からである．そこで，OpenSubtitles の字幕と使用す る映像の間でタイムスタンプのアライメントをとる 必要がある. なお, OpenSubtitles の字幕では原言語 と目的言語それぞれにタイムスタンプがついている が，それらは概ね一致しているため，例外は手作業 で取り除いて英語のタイムスタンプを OpenSubtitles のタイムスタンプとする。

アライメントの手順を図 2 に示す. アライメ ントには Alass ${ }^{2}$ (Automatic Language-Agnostic Subtitle Synchronization) というツールを用いる. 映像に付け られた字幕には，容易に字幕を抽出できる場合と，字幕がついていない (但し OpenSubtitles には対応す る字幕がある) 場合がある。なお，映像に字幕が埋 め込まれているような映像は使用しない. 字幕が抽出できる場合には, FFmpeg3) を用いて映像から字幕 を抽出し， Alass を用いて OpenSubtitles の字幕との アライメントを取る. このアライメントはかなり正確に行うことができる (Alass の論文内の実験では 100\% 正確であったと主張されている). 字幕がつい ていない場合には， Alass の音声区間検出をべース にした手法で映像と OpenSubtitles の字幕のアライメ ントを取ることで字幕を得る. この場合，抽出され た字幕のタイムスタンプは必ずしも正確でないた


3) https://ffmpeg.org/

図 3 対訳セットを含まれる目的言語の文数にもとづき分類した結果.

め，アライメントが正しくできているかどうかを人手で確認する.

## 3.4 映像の分割

字幕と映像のアライメントに基づき，映像を分割 する．各映像は字幕のタイムスタンプの区間の中央値の前後 5 秒間をとって 10 秒間とし， $25 \mathrm{fps}$ の mp4 ファイルとする．なお，集められた映像についた音声の多くは目的言語の英語であり，音声がついてい ると翻訳文が音声認識で得られることになってしま うため，映像から音声は取り除く。

## 4 データの分析及び予備実験

データセット構築手順において, 対訳セットの選定はデータセットの質に大きく関わる。本章では，収集・選定した対訳セットのデータの統計と予備実験結果を示す.

## 4.1 対訳セットの収集

対訳セットを，含まれる目的言語の数にもとづき 分類した結果を図 3 に示す. 全部で 35,023 の対訳 セットが得られた. 2 文のみ目的言語の文を含む対訳セットが最も多く, 対訳セット数で見ると全体の $59 \%$ ，文数では全体の $30 \%$ を占めていた. 3 文以上 の目的言語の文を含む対訳セットについては，2 文 のみのものに比べて曖昧性を含む対訳が含まれる割合は高かったが，文の長さが短いものが多く含まれ ていた.

## 4.2 対訳セットの選定のための人手評価 データセットの作成

対訳セットの選定のための目的言語の文間の類似度の閾値を設定するため，まず人手で 100 個の対訳 セットを選んで曖昧さの正解を与えた. 対訳セット の正解を与えるための手順は以下の通りである。(1)

図 4 Sentence-BERT のスコアによる対訳セットの選定の成功例と失敗例.

図 5 類似度の閾値を変化させたときの適合率，再現率，及びF1 スコア.

表 1 対訳セット選定の各段階における対訳セット数.確認した対訳セット 100 原言語の文が曖昧なもの 28 テキストのみから曖昧性を解消可能と 22 推測されたもの 映像を見て曖昧性が解消できると確認 12 されたもの

対訳セット内の全ての対訳を見て，原言語の文の意味に曖昧性があるかどうかを判断する。(2) 原言語 の文に曖昧性があると判断した場合，対訳セット内 の全ての対訳を見て，目的言語の複数の文が複数の 意味を持ち，映像があればその曖昧性が解消できる かどうかを映像なしで予測する。(3) 曖昧性が解消 できると予測した対訳セットについて，実際に映像 を見て，翻訳を一意に決定できるかどうかを判断 する。

各段階の対訳セット数を表 1 に示す. 最終的に 100 個のうち 12 個の対訳セットが，映像に基づいて 曖昧性を解消できる対訳を含んでいた。

## 4.3 目的言語の文間の類似度を利用した対訳セットの選定

Sentence-BERT で計算した文間の類似度のスコア の閾值を 0 から 1 まで 0.01 刻みで変化させ，曖昧性 を人手で判断した 28 個を正解としてどの程度正し く対訳セットを分類できるかどうか計算した. 閾値 を変化させたときの適合率，再現率，及び F1 スコ アを図 5 に示す. 図 5 を見ると，類似度が 0.2 の付近で F1 スコアが最も高くなっていることが分かる.

閾値を 0.2 に設定したときの，対訳セットの選定 の成功例と失敗例を図 4 に示す. 類似度が閾値より 小さく目的言語の文の意味が異なる場合，または閾値より大きく意味が同じ場合が成功であり，それ以外が失敗である。

今後，大規模な対訳セットの集まりに対し，この 閾値を利用して対訳セットの選定を行った上で，映像の曖昧性解消可能性の確認のためにクラウドソー シングを行って，曖昧性を含む翻訳に着目した大規模な VMT データセットを構築する予定である.

## 5 おわりに

本研究では，VMT における翻訳の曖昧性の問題 を指摘し，対訳セットの収集・選定によるデータ セットの構築方法を示した. 既存の字幕データセッ トをもとに，原言語の文に対して複数の翻訳が存在 する対訳セットを集め，文の類似度を利用して対訳 セットを選定することで，原言語の文の曖昧性を確保した. さらに，人手の確認により映像が翻訳の曖昧性解消に役立つことを確認した。本稿では，映像 が翻訳の曖昧性解消に役立つかどうかについての評価は小規模に人手で行ったが，今後これをクラウド ソーシングで行い，曖昧性を含む翻訳に着目した大規模な VMT データセットを構築する予定である.

謝辞 本研究は科研費\#19K20343 の助成を受けた ものである.

## 参考文献

[1] Lucia Specia, Stella Frank, Khalil Sima'an, and Desmond Elliott. A shared task on multimodal machine translation and crosslingual image description. In Proceedings of the First Conference on Machine Translation: Volume 2, Shared Task Papers, pp. 543-553, Berlin, Germany, August 2016. Association for Computational Linguistics.

[2] Desmond Elliott, Stella Frank, Khalil Sima' an, and Lucia Specia. Multi30K: Multilingual English-German image descriptions. In Proceedings of the 5th Workshop on Vision and Language, pp. 70-74, Berlin, Germany, August 2016. Association for Computational Linguistics.

[3] Yuting Zhao, Mamoru Komachi, Tomoyuki Kajiwara, and Chenhui Chu. Double attention-based multimodal neural machine translation with semantic image regions. In Proceedings of the 22nd Annual Conference of the European Association for Machine Translation, pp. 105-114, Lisboa, Portugal, November 2020. European Association for Machine Translation.

[4] Xin Wang, Jiawei Wu, Junkun Chen, Lei Li, Yuan-Fang Wang, and William Yang Wang. Vatex: A large-scale, high-quality multilingual dataset for video-and-language research. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 4581-4591, 2019.

[5] Tosho Hirasawa, Zhishen Yang, Mamoru Komachi, and Naoaki Okazaki. Keyframe segmentation and positional encoding for video-guided machine translation challenge 2020. In The First Workshop on Advances in Language and Vision Research: Video-guided Machine Translation (VMT) Challenge, July 2020.

[6] Ramon Sanabria, Ozan Caglayan, Shruti Palaskar, Desmond Elliott, Loïc Barrault, Lucia Specia, and Florian Metze. How2: A large-scale dataset for multimodal language understanding. In NeurIPS, 2018.

[7] Ozan Caglayan, Pranava Madhyastha, Lucia Specia, and Loïc Barrault. Probing the need for visual context in multimodal machine translation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4159-4170, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] Umut Sulubacak, Ozan Caglayan, Stig-Arne Grönroos, Aku Rouhe, Desmond Elliott, Lucia Specia, and Jörg Tiedemann. Multimodal machine translation through visuals and speech. Machine Translation, Vol. 34, No. 2, pp. 97-147, 2020.

[9] Desmond Elliott, Stella Frank, Loïc Barrault, Fethi Bougares, and Lucia Specia. Findings of the second shared task on multimodal machine translation and multilingual image description. In Proceedings of the Second Conference on Machine Translation, pp. 215-233, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[10] Loïc Barrault, Fethi Bougares, Lucia Specia, Chiraag Lala, Desmond Elliott, and Stella Frank. Findings of the third shared task on multimodal machine translation. In Pro- ceedings of the Third Conference on Machine Translation: Shared Task Papers, pp. 304-323, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[11] Desmond Elliott. Adversarial evaluation of multimodal machine translation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2974-2978, Brussels, Belgium, OctoberNovember 2018. Association for Computational Linguistics.

[12] Pierre Lison and Jörg Tiedemann. OpenSubtitles2016: Extracting large parallel corpora from movie and TV subtitles. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 923-929, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[13] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.
 Yihang Li 清水周一郎 Chenhui Chu 黒橋禎夫 京都大学大学院情報学研究科 \{liyh, sshimizu, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp  