# 語彙制約を間接的に用いた平易な要約の生成

森田 - $^{1}$ 飯塚 洸二郎 ${ }^{1}$ 久保光証 ${ }^{1}$
1 株式会社 Gunosy
\{hajime.morita, kojiro.iizuka, mitsumasa.kubo\}@gunosy.com

## 概要

ニュース配信はより多くの人に必要とする情報を 届けることを目的としているが，必要な情報が過不足なく行き渡るまでには多くの課題が残されてい る. 例えば，読解力や語彙力には個人により開きが あり，必要な情報であったとしても記事の難しさが 読者に合っていなければ読むことが難しくなってし まう. 必要な情報が届かない要因の一つが記事の文章が難しすぎることであるとすれば，記事の平易な 要約を提供することがより多くの人へニュースを届 けるために重要となる。

ここでは，ニュース記事を対象に平易な要約の生成を目的として，大規模言語モデルを利用した文章 の平易化と要約生成の複合タスクを学習する方法を 提案する。本稿では，要約に用いる語彙を制限する ことが，平易な言葉への言い換えを言語モデルから 引き出せる一方で，幻覚とよばれる原文と異なる内容の要約生成が生成されやすくなることを示し, 語彙を制限した要約候補をランキング学習に用いるこ とで平易な要約生成を学習する方法を提案する.

## 1 はじめに

ニュース配信は最新の出来事や情報をすばやく, より多くのニュースを必要とする人々へ届けるこ とを使命としており, 推薦・パーソナライズに代表 される多くの研究が行われている $[1,2]$. しかし, ニュースが必要とする人すべてに行き渡る理想的な 状態までには大きな隔たりが残っている。例えば，年金のような社会制度の変更はすべての人に関わる ニュースであるが，令和 4 年の年金制度変更につい て知っていると回答した割合は $33 \%$ とどまるとさ れている [3].

ニュースが必要な人に届かない要因は，大きく分 けて記事自体，配信プラットフォーム，ユーザのそ れぞれに存在していると考えられる。ニュース記事自体が要因となるケースとしては長過ぎる記事や難解な記事などユーザの求める形とは記事が異なる場合，配信プラットフォームが要因となるケースとし ては興味のあるユーザへ記事を届けられていない場合，ユーザが要因となるケースとしては可処分時間 の減少など，様々な要因がありうる．本稿では記事自体が要因となるケースの中でも特に, 必要として いるにも関わらず読解の困難さからニュースを読む ことができない，またはニュースを読むこと自体を 避けてしまう場合について注目する。

ニュース記事の難しさがニュースを敬遠する要因となる場合，もちろん難解な語彙や複雑な文法は ニュースの理解を妨げる要因となるが，記事の長さ も同様にニュースを読解を妨げる要因となりうる. この両方の要因を取り除くためには，難解な語彙や 文法で書かれた文を分かりやすいものに変えるだけ でなく，要点を絞り記事の長さ自体を短くする必要 がある.つまり，記事に対して難しい語彙や文法を 一定の意味を保ちつつ平易な文章に置き換える平易化と，文章の重要な情報を残したまま文章を短く書 き換える要約の両方を行う必要がある.

本稿では，平易な要約の生成を目的として，大規模言語モデルを利用した文章の平易化と要約生成の 複合タスクを学習する方法を提案する. 生成型のモ デルを用いて平易な要約生成を行う単純な方法とし ては，難しい語彙を生成しないように要約生成時に 利用可能な語彙を制限し，平易な語彙のみで要約を 生成することが考えられる. しかし語彙の制限は,言語モデルが言い換え表現として適切なものを知ら なかったとしても原文通りに出力することができな くなるため，幻覚 [4] とよばれる，原文とは内容の 異なる誤った要約文の生成を増加させる懸念があ る. 提案手法では，語彙の制限による幻覚の増加を 回避するため, 通常の要約候補に加えて語彙を制限 して生成した要約候補を候補のランキング学習 [5] に用いる。

## 2 関連研究

## 2.1 平易な要約生成

これまでにも平易な要約を生成するいくつかの 取り組みが行われている. 菅井ら [6] は平易化と 要約の処理をそれぞれ適用し，短く平易なテキス トの生成を行っている. 平易化には統計的機械翻訳の手法を用いて，要約に用いる学習データとは 別に「やさしい日本語コーパス」[7],「やさしい日本語拡張コーパス」[8], NNWE (NHK NEWS WEB EASY) [9] の一部を用いて学習している. 本稿も同 じくNNWE のデータで評価を行っているが，平易化の学習のための外部リソースは利用していない。

Zaman らは Pointer-generator network の損失関数を 拡張し, 平易な要約の生成を行っている [10]. この 手法では平易な文生成を学習するため, 平易な語か 否かをアノテーションした辞書を持っており, 生成 した文の難しさを損失関数として表現している. 本稿の提案手法では辞書のような外部リソースは用い ておらず，事前学習済み言語モデルを用いることに より少量の学習データで平易化を学習している点が 異なる.

## 2.2 BRIO

BRIO (Bringing order to Abstractive Summarization) はLiu らによって提案された生成型自動要約の学習手法である [5]. BRIO では訓練時の目的関数を拡張乙, 通常のクロスエントロピー損失関数に加えて複数候補のリランキングによるコントラスティブ損失関数を用いる。ここで，リランキングに用いる候補 は事前学習済みの要約モデルによって予め生成され たものを利用する. コントラスティブ損失関数 $\mathscr{L}$ は $S_{i}$ と $S_{j}$ をそれぞれ $i, j$ 番目の候補， $S^{*}$ を参照要約として, $\operatorname{ROUGE}\left(S_{i}, S^{*}\right)>\operatorname{ROUGE}\left(S_{j}, S^{*}\right)$ とする とき，次の式で表される.

$
\mathscr{L}_{c t r}=\sum_{i} \sum_{j>i} \max \left(0, f\left(S_{j}\right)-f\left(S_{i}\right)+\lambda_{i j}\right)
$

ここで, $f\left(S_{i}\right), f\left(S_{j}\right)$ は長さについて正規化された 要約文の生成確率， $\lambda_{i j}$ は候補間の順位差に基づい て計算されたマージンを表す。

本稿では BRIO の枠組みを平易な要約文のランキ ング学習のために利用するが，候補を並び替えるス コアとして ROUGE [11] の代わりに文の平易化を考慮した指標を用いるほか，平易化の学習をより効率的にするために候補生成時に語彙制約を利用する.

## 3 コーパス

## 3.1 NHK NEWS WEB EASY

NNWE (NHK NEWS WEB EASY) [9] は小中学生 や日本語を母語としない人に向けて, NNW (NHK NEWS WEB)[12] の記事をやさしい日本語に書き 直したニュースサイトである. 各記事は元となっ た NNW の記事に対応付けられており，本稿では NNW-NNWE の記事対を原文と参照要約のペアとし て利用する. 平日ごとに 4-5 記事が配信されてお り，過去 1 年分の記事を参照することができる.

## 3.2 Livedoor 3 行要約データセット

livedoor ニュース [13] は Webニュースサイトであ り，一部の記事には編集者によって人手で作成され た 3 行要約が追加されている. 小平ら [14] はここか ら，2014 年から 2016 年までの 3 年分を収集し，記事 ID のリストを訓練，開発，テストに分けたデー タセットとして公開している。本稿ではべースとな る日本語要約モデルを学習するため, このデータ セットをもとにクロールしなおしたものを訓練デー タとして利用する.

## 4 提案手法

語彙の制限による幻覚の増加を回避するため, 利用可能な語彙を制限した候補を通常の候補と合わせ て候補のランキング学習 [5] に用いる。まず，候補生成に用いる事前学習モデルについて説明し, その 後そのモデルを元にランキング学習を行う提案手法 について説明する。

## 4.1 平易な要約生成のベースモデル

本稿で用いる手法は，ランキング学習に用い る候補を生成するために平易な要約を生成する ベースモデルが必要となる. このベースモデルを 構築するため, Livedoor 3 行要約のデータセット で学習した後, さらに平易な要約のデータセッ トで追加の学習を行った. 以降，このモデルを ベースモデルと呼ぶ. 本稿では, 要約のモデルと して T5 [15] を用いている. 本稿で扱うデータに 合わせ，日本語の事前学習済み言語モデルとし $\tau$, megagonlabs/t5-base-japanese-web[16] を利用 した.

## 4.2 語彙制約モデル

平易な要約を生成しょうとした時に，単純かつ外部データの必要のない方法として，言語モデルが生成する語彙を制限し，要約の生成時に難解な語彙の 利用を禁止する方法がある. 文生成時に語彙を制限 する手法は，Hu ら [17] により提案された手法を元 にしたものが Transformers ライブラリ [18] に実装さ れている。この実装を用い，難解な語彙を制限した 要約生成モデルを候補生成に用いる.

この語彙制約モデルでは，語彙の難易度は語彙に 含まれる漢字の難易度で近似することができると 仮定する。これは荒い近似ではあるものの，Sato ら [19] によりテキスト中に用いられている文字 1-gram によりテキストの難易度を判定するモデルが提案さ れているなど，近い仮定はテキスト難易度の判定で も利用されている. この仮定を元に，常用漢字のう ち，より難しいと考えられる中学校で習う 1,110 字 を含んでいる語彙を言語モデルが出力する語彙から 制限する。

常用漢字に含まれない，より難しい漢字は語彙制約として用いない.これは，ニューステキストで使 われる漢字は基本的には常用漢字, 小中学校義務教育で習う 2,136 字からなっており, ニュース記事で は常用漢字外の漢字は固有名詞など特別な場合に 限られ，人名や地名など要約上重要かつ平易に言い 換える意義の薄い場合が多いと考えられるためで ある。

## 4.3BRIO を用いた平易な要約の生成

語彙制約モデルでは，言語モデルが難解な語彙を 平易な語彙で置き換えて表現することを期待してい るが，これには 2 つ問題がある．1つ目は，置き 換えた表現が元の表現より平易な表現になってい る保証はないことである．例えば，「蛍」を「光る ことで有名な $15 \mathrm{~mm}$ ぐらいの虫」と言い換えても，読者が蛍を知らなければ理解することは難しく, か えって理解を困難にしてしまう. 語彙としては平易 になっていたとしても，表現としては難しくなる可能性を語彙を制限するだけでは取り除くことができ ない. 2 つ目の問題は，誤った表現への言い換えに より，幻覚と呼ばれるような原文に書かれていない 内容の要約 [4] を生成してしまうことである. 語彙制約モデルでは，言語モデルが言い換え表現として 適切なものを知らなかったとしても原文通りに出力
することができなくなるため，モデルには不可能な 言い換えを強制してしまう可能性がある。

提案手法では，このような弊害を避けつつ平易な 表現への言い換えを学習するため，ランキングの学習に利用する要約候補に語彙制約モデルの生成した 要約を含めることにより，語彙を制限した要約を間接的に学習に利用する. 具体的には, 語彙制約モデ ルの生成した要約と, ベースモデルの生成した要約 を同じ件数ずつ要約候補として利用し，BRIO の枠組みを用いて学習を行う。

Liu らは式 1 で要約候補の並び順を決めるスコア として ROUGE を用いているが，提案手法ではスコ アとして SARI [20]を組み合わせて用いる. SARI と は文章平易化の自動評価指標であり，原文と参照文，生成文の 3 つを入力として受け取り，原文から 参照文に残された語，原文から削除された語，原文 から追加された語のそれぞれを 1-4 gram で評価し たスコアを $\mathrm{SARI}_{\text {keep }}, \mathrm{SARI}_{\mathrm{del}}, \mathrm{SARI}_{\mathrm{add}}$ とし, 最終的 なスコアはこの 3 つを平均したものとなる. 原文と の差分を積極的にスコアへ反映することにより，平易な表現への言い換えをより鋭敏に捉えるように設計されている。しかし，要約候補を並べ替えるため のスコアとして見た場合には事情が異なり，要約で はほとんどの語が削除されるため SARI $\mathrm{Sel}_{\text {d }}$ は言い換 えを捉える上で有用ではなく，SARI keep $^{\text {は ROUGE }}$ との重複が大きい。そこで提案手法では，平易な言葉への言い換えを評価するスコアとして SARI $\mathrm{add}$ の みを選び，これを元々 BRIO で用いられる ROUGE のスコアと平均して学習に用いた.

## 5 実験

## 5.1 実験設定

モデルの学習には日本語要約の学習データとし て Livedoor 3 行要約データ，平易な要約の学習デー タとして NNWEを用いた。NNWE は 2021 年 10 月 4 日から 2022 年 12 月 20 日までの 1,201 記事を収集し，961 件を訓練データ，各 120 件を開発，評価 データとして利用した。

要約長は最大で 200 トークンとし, 学習時のパラ メータは訓練エポック数を除き， Liu ら [5] のパラ メータを利用した。学習で利用できる事例が少ない ことから，訓練エポック数は最大 300 として実験を 行っている.
表 1 実験結果

表 2 生成例と対応する原文の一部: 太字は語彙制約で利用できない文字を表す

原文（対応箇所 $\cdots 4$ 回目の接種を行う方針で、対象は当面、 $\boldsymbol{\nabla} 60$ 歳以上の人のほか、 $\boldsymbol{\nabla} 18$ 歳以

のみ）上の基礎疾患のある人か医師が重症化リスクが高いと判断した人としています。

語彙制約モデル 4 回目の注射は、18 以上の病気がある人か医師が病気になるリスクが高いと考え ています。

提案手法 4 回目の注射は、 60 歳以上の人や、18 歳以上の病気がある人か、医師が重症にな る危険が高いと判断した人だけです。

## 5.2 実験結果

表 1 に実験の結果を示す．BRIO の枠組みを利用してベースモデルに加えて学習を行うことで, ROUGE，SARIを用いた場合のどちらも，ベースモ デルと比べ大きく性能が向上している. BRIO と ROUGE，SARI を組み合わせた場合を比較すると，学習に用いた指標についてより性能が向上してお り, 最適化したい指標で学習することが有効と分か る. また，語彙制約モデルでは ROUGE と SARI の どちらも性能が悪化してしまっており，単純な手法で語彙を制限することの弊害が明らかになった.一方, 提案手法では BRIO (ROUGE) とくらべると ROUGE ではやや劣るものの, BRIO (SARI) と比べ て SARI，ROUGE ともにやや性能が向上しており，要約としての質を保ちつつ平易化の質を高めること ができている.

## 5.3 議論

語彙制約モデルでは, ROUGE, SARI ともに語彙 の制限を行わないモデルに比べて性能の低下が見ら れた. 性能低下の具体例を検討するため, 語彙制約 モデルと提案手法の出力の一部を表 2 に示す. 語彙制約モデルの出力では「歳」や「疾患」などの文字 の出力が制限されているため，省略あるいは「病気」 などの言葉へ置き換えられている。提案手法や原文 と比較すると，「重症化リスク」を「病気になるリス ク」に置き換えた直後で語彙制約モデルでは原文と の対応を見失い，「注射は․リリクが高いと考えて います。」と幻覚が生じてしまっていることがわか
る.この例に限らず，語彙制約モデルでは妥当な言 い換えであっても直後に幻覚を生成してしまう現象 が多く見られた. 可能性として，言語モデルにとっ て確度の低い言い換えが強制されることにより，原文との対応を見失いやすくなることが考えられる。

語彙制約によりどの程度幻覚が生じるかを検証 するために，手法ごとに 10 例を抜き出して生成さ れた要約の各文に幻覚が含まれているかどうかを 検証した. 結果を表 3 に示す. 表 1 と比較すると， ROUGE などの指標の変化以上に, 語彙制約モデル では幻覚が大きく増えている事がわかる。

表 3 幻覚の出現数

\begin{aligned} & \hline 手法 誤りを含む文の割合 \\ & \hline BRIO (SARI) $29.8 \% \\ &$ +語彙制約 $39.2 \% \\ &$ 提案手法 $22.8 \% \\ &$\hline\end{aligned}

## 6 おわりに

本稿では, 平易な要約の生成のため, BRIO の枠組みを用いて平易化評価指標の SARI について学習 を最適化するとともに，語彙を制限した要約を候補 に含めて平易化の性能向上を試みた。提案手法では SARI と BRIO を組み合わせた場合と比べ，SARI で 0.3 ポイントの向上が見られた. また，語彙を直接制限する場合と比べ，幻覚の出現が抑えられている ことを確認した. 今後の課題として, 日本語平易化 で用いられるコーパスや辞書などのリソースを活用 した要約生成を行い，さらなる平易化の質の向上・安定化をはかることが必要と考えている.

## 参考文献

[1] Shiwen Wu, Fei Sun, Wentao Zhang, Xu Xie, and Bin Cui. Graph neural networks in recommender systems: A survey. ACM Comput. Surv., Vol. 55, No. 5, dec 2022.

[2] Mohammad Mehdi Afsar, Trafford Crump, and Behrouz Far. Reinforcement learning based recommender systems: A survey. ACM Comput. Surv., Vol. 55, No. 7, dec 2022.

[3] 2022 年 4 月から年金制度が改正。 $66.27 \%$ が 知らなかったという結果に。| 株式会社日本マーケティングリサーチ機構のプレス リリース. https://prtimes.jp/main/html/rd/p/000001194. 000033417.html.

[4] Joshua Maynez, Shashi Narayan, Bernd Bohnet, and Ryan McDonald. On faithfulness and factuality in abstractive summarization. In Proceedings of ACL 2020, pp. 19061919, July 2020.

[5] Yixin Liu, Pengfei Liu, Dragomir Radev, and Graham Neubig. BRIO: Bringing order to abstractive summarization. In Proceedings of ACL 2022, pp. 2890-2903, May 2022.

[6] 菅井内音, 西川仁, 徳永健伸. ニューステキストの要約及び平易化. NLP 2020 発表論文集, 2020.

[7] Takumi Maruyama and Kazuhide Yamamoto. Simplified corpus with core vocabulary. In Proceedings of LREC 2018, May 2018.

[8] Akihiro Katsuta and Kazuhide Yamamoto. Crowdsourced corpus of sentence simplification with core vocabulary. In Proceedings of LREC 2018, May 2018.

[9] NHK NEWS WEB

https://www3.nhk.or.jp/news/easy/.

[10] Farooq Zaman, Matthew Shardlow, Saeed-Ul Hassan, Naif Radi Aljohani, and Raheel Nawaz. HTSS: A novel hybrid text summarisation and simplification architecture. Information Processing \& Management, Vol. 57, No. 6 , p. 102351, 2020.

[11] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, July 2004.

[12] NHK NEWS WEB. https://www3.nhk.or.jp/news/.

[13] ライブドアニュース（livedoor ニュース）. https://news.livedoor.com/.

[14] 知範小平, 守小町. TL;DR 3 行要約に着目したニュー ラル文書要約. 電子情報通信学会技術研究報告, Vol. 117, No. 212, pp. 193-198, 092017.

[15] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[16] megagonlabs/t5-base-japanese-web . Hugging Face. https://huggingface.co/megagonlabs/t5-base-japaneseweb.

[17] J. Edward Hu, Huda Khayrallah, Ryan Culkin, Patrick Xia, Tongfei Chen, Matt Post, and Benjamin Van Durme. Improved lexically constrained decoding for translation and monolingual rewriting. In Proceedings of NAACL 2019, pp. 839-850, June 2019.

[18] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of EMNLP 2020, pp. 38-45, October 2020 .

[19] Satoshi Sato, Suguru Matsuyoshi, and Yohsuke Kondoh. Automatic assessment of Japanese text readability based on a textbook corpus. In Proceedings of LREC 2008, May 2008 .

[20] Optimizing statistical machine translation for text simplification. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 401-415, 2016.


# BiomedCurator：医学・生物学文献からの構造化データ 抽出のためのデータキュレーションシステムの開発

Mohammad Golam Sohrab $^{1}$ Khoa N. A. Duong ${ }^{1}$ 池田修己 ${ }^{1}$ Goran Topić $^{1}$
夏目やよい ${ }^{2}$ 黒田 正孝 ${ }^{2}$ 伊藤 眞里 ${ }^{2}$ 高村 大也 ${ }^{1}$
1 産業技術総合研究所 人工知能研究センター
2 医薬基盤・健康・栄養研究所 $\mathrm{AI}$ 健康・医薬研究センター
}

\{sohrab.mohammad, goran.topic, ikeda-masami, takamura.hiroya\}@aist.go.jp

\{natsume, m-kuroda, mari\}@nibiohn.go.jp
## 概要

医学・生物学分野の論文から，事前に選択した属性（疾患，投与薬剤，投与量，投与期間，被験者の年齢，結果など）に関する情報を，構造化データとし て抽出するキュレーションシテム BiomedCurator の を開発を行なった。本システムは，関係抽出のため のテキスト生成モデル，エンティティ認識，テキス ト分類モデル，知識ベース上のエントリからの情報検索とエンティティ・リンキング，パターンに基づ く複数属性の情報抽出を行う自然言語処理アプロー チによって構成されている. BiomedCurator はウェ ブサイト (https://biomed-text.airc.aist.go.jp/ biomedcurator/）において公開している.

## 1 はじめに

医学・生物学分野の論文や臨床試験の報告書に は，適用された薬，対象疾患，投与量，投与期間，被験者の年齢，結果などの情報が提供されている. これらの情報は, 創薬や医薬品開発のためのデータ マイニングや統計分析に有用であり，通常は専門家 が論文を読んで抽出し, 図 1 に示すような属性と值 が対応づけられた 2 次元のスプレッドシート形式の 構造化データを手作業で作成している. 本稿では, このような構造化データを自動生成（以下，データ キュレーション）するシステムを提案する。

データキュレーションのタスクには，エンティ ティ認識，エンティティ・リンキング，関係抽出， テキスト分類など，さまざまな自然言語処理技術を 用いたアプローチが必要となる．また，このタスク の特徴は，訓練データとなる，人間の専門家によっ てキュレーションされたデータがスプレッドシー 卜形式で提供される一方，抽出すべき情報が論文中
のどこの位置に記述されているかが明示されない. したがって，通常のエンティティ認識の学習データ とは異なり，BIO タグは注釈されていない。また， キュレーションされたデータ中では，元の論文と異 なる用語や表現が使われている可能性がある.

本稿では，これらの技術的課題を 2.2 節で述べる 手法で解決する. さらに，特に肺疾患に関するドメ インについて手法を実装し，ユーザーが指定する PubMed ID あるいは ClinicalTrials.gov ID に該当する 文献から，61 個の属性を自動データキュレーション するシステム BiomedCurator について報告する。

## 2 関連研究

テキストマイニングを使用した医学・生物学情報 の検索をサポートする方法およびウェブツールが いくつか提案されている. 例えば, エンティティ情報の抽出を文書レベルで行う際に，生成的アプロー チを採用したものなどがある [1]. 文のエンコード から文書レベルのグラフを作成し，グラフのエッジ 表現から文書レベルの関係を抽出する方法 [2] や,文書レベルの $n$ 項関係を獲得する手法 [3] などが 提案されている. また, pubmedKB [4] は, バリアン 卜, 遺伝子, 疾患, および化学物質という 4 つの医学・生物学エンティティタイプ間のセマンティッ クな関係を抽出して視覚化するウェブサーバであ り, 多数の PubMed 抄録から意味関係の抽出が可能 である。構造化された関係タプルを抽出するため の文節抽出とメタパターン発見を組み込んだ CPIE (Clause+Pattern-guided Information Extraction) フレー ムワーク [5] や，BERT ベースの言語モデルを使用 した遺伝子-疾患の関係抽出手法 [6], 文献から遺伝子型-表現型の関係抽出のためのパイプライン [7] が 提案されている.

図1スプレッドシート形式の構造化データの例. 1 行目はカテゴリ，2 行目は属性を示す.

図 2 BiomedCurator のワークフロー，入力された PubMed あるいは ClinicalTrials.gov の IDをもとに，(a)から (d) の プロセスを通じて解析し, 各属性の值として出力する. プロセス (c) の結果の一部は再利用され，他の属性を予測 する入力機能として再結合されることを示す.

本稿で対象とするデータキュレーションでは，エ ンティティ抽出，関係抽出，エンティティリンキン グなどに基づくより幅広い情報の抽出を行う.

## 3 提案システム

データ（3.1 節)，キュレーションのための 5 つの 主要な手法 (3.2 節), そのウェブアプリケーション （3.3 節）の順で詳述する.

## 3.1 データセット

ここでは，肺がん，特発性肺線維症（IPF），間質性肺炎（IP）と線維症について過去 5 年間に発表 された無料でアブストラクトと本文が入手可能な PubMed の論文を選択した。抽出する情報を 11 個の カテゴリに分類し，さらにサブカテゴリに分割して 合計 61 個の属性を設けた. これらの属性は創薬の 経験を持つ薬理学者がキュレータの生物学者との 話し合いの中で決定した. 次に，手作業でキュレー ションを行なった. キュレーションには生物学者と 編集者が参加し, 品質保証と品質管理チェックを 行った. 構築した構造化データセットの概要を図 1 に示す 1). 各カテゴリ，サブカテゴリ，属性の詳細 な内容と使用するキュレーション手法は，付録およ びウェブサイト ${ }^{2)}$ に記載した.

1）データセットの公開は検討中.

2) https://github.com/aistairc/BiomedCurator

## 3.2 キュレーション手法

## 3.2.1 関係抽出のための生成的アプローチ

本稿の関係抽出は，抽出すべき情報の論文中の出現位置が訓練データ中で明示されていない，論文中 とは異なる用語や表現が構造化データで使われる 可能性がある，という技術的課題がある. そのた め, 生成問題として $n$ 項関係抽出タスクを定式化す る. 入力テキストに対し，予め定めた構造を表す単語系列を生成する。例えば, eligible patients received up to six cycles of pemetrexed, $500 \mathrm{mg} / \mathrm{m}$ (2) plus cisplatin, $75 \mathrm{mg} / \mathrm{m}(2)$ (day 1) or gemcitabine, $1000 \mathrm{mg} / \mathrm{m}$ (2) (days 1 and 8) plus cisplatin, $75 \mathrm{mg} / \mathrm{m}(2)$ (day 1). os and toxicity were assessed. という入力に対し，次のような系列を 生成する：

[start]

[drug] gemcitabine [/drug] [dose] $1000 \mathrm{mg} / \mathrm{m} 2$ [/dose] [and]

[drug] cisplatin [/drug] [dose] $75 \mathrm{mg} / \mathrm{m} 2$ [/dose] [or]

[drug] pemetrexed [/drug] [dose] $500 \mathrm{mg} / \mathrm{m} 2$ [/dose] [and]

[drug] cisplatin [/drug] [dose] $75 \mathrm{mg} / \mathrm{m} 2$ [/dose] [end]

これは，(gemcitabine, $1000 \mathrm{mg} / \mathrm{m} 2$ ) と (cisplatin, 75 $\mathrm{mg} / \mathrm{m} 2$ )，あるいは (pemetrexed, $500 \mathrm{mg} / \mathrm{m} 2$ ) と (cisplatin, $75 \mathrm{mg} / \mathrm{m} 2$ ) という薬品-投与量の関係を表す.

長い系列に対応できるエンコーダ・デコーダモデ ルとして, BigBirdPegasus [8]を採用し，上記の生成的 アプローチによる関係抽出を行う。このアプローチ を用いるのは, dose, drug, route of administration の 3 個の属性である.

## 3.2.2 エンティティ抽出

エンティティ抽出に帰着できる属性につい ては，SciBERT [9]を用いた. 特に, ethnicityに ついては，同じラベルを持つ OntoNotes 5 [10] を 訓練データとして SciBERT をファインチュー ニングした. Biomarker name については，同様に BioNLP13CG [11] でファインチューニングした. そ れ以外の属性については，擬似訓練データに基づ く distant supervisionを用いた。具体的には，構造化

データのエンティティと表層的に類似している文を 取得し，文字列マッチングにより擬似的にラベル付 けした。

## 3.2.3 テキスト分類

いくつかの属性については，SciBERT により入力テキストをエンコードし分類する方法を用い た.また，他の属性の値が手がかりになる属性に ついては，RandomForest ${ }^{3}$ に基づく分類器を用い た. 例えば, associationについては, marker_type, marker_nature, phenotype の属性値を分散表現で表 し連結したべクトルを入力とし RandomForestを用 いた.

## 3.2.4 正規表現

reference_id, grade, stage, total_sample_number などの属性については, 正規表現により值を抽出し た. 詳細はプロジェクトページに記述した。

## 3.2.5 外部知識ベースからの情報検索

CAS ID, ChEMBL ID, DrugBank ID, Entrez ID, Uniprot ID, HGVS Name, Rs ID, KEGG Pathway Name の 8 個の属性については，外部知識ベーズ ${ }^{4}$ から取得した.

## 3.3 ウェブアプリケーション

BiomedCurator のワークフローを図 2 に示す.ユー ザから入力された PubMed あるいは ClinicalTrials.gov の IDをもとに，（a）オンラインデータベースから 対応する論文を取得し，（b）前処理を経て，（c）さ まざまな種類の情報を抽出するように設計された 5 つの主要なアプローチに適用される. 最後に, 抽出 された情報が返され，（d）各属性の値を表示する.

## 4 実験

## 4.1 データ

PubMed（2,570 論文）と ClinicalTrials.gov (2,371 論文）から構築したキュレーションデータで実験を 行った.データセットの内訳と統計値を表 1 に 示す.

3) https://scikit-learn.org/stable/modules/generated/ sklearn. ensemble. RandomForestClassifier.html

4) https://commonchemistry.cas.org, https://go.drugbank. com, https://www.ncbi.nlm.nih.gov/gene/, https://www. genecards.org, https://www.uniprot.org/uniprot/, https: //www.ncbi.nlm.nih.gov/CBBresearch/Lu/Demo/LitVar/api . html, https://www.ncbi.nlm.nih.gov/CBBresearch/Lu/Demo/ LitVar/api.html, https://www.genome.jp/kegg/pathway.html
データの前処理は 4 つのステップから成る：(1) テキスト正規化，（2）文分割，（3）節分割および段落分割，（4）トークン化.

テキスト正規化 XML タグの削除や，連続する 空白を単一の空白にする作業，特殊記号を空白にす るする作業を行う。その後，ftfy [12]を用いて NFC 形式でユニコード正規化を行う。

文分割 テキスト正規化後に, GENIA 文分割器5) を用いて文分割を行う。

節分割および段落分割 drug と dose の関係な ど，薬品-投与量の関係など，単一文でなく複数文 に渡って記述されている属性があるため，入力テキ ストを節や段落の単位に分割する。まず，XML 形式で与えられている入力テキストのメタデータを 用いる. 分割に利用できるメタデータがない場合 は, Abstract, Introduction, Method, Approach, Results な どのキーワードに基づくルールにより分割を行う.

トークン化 最後に BigBirdPegasus $の$ PegasusTokenizer と SciBERT の BertTokenizer を用いてトークン 化を行う。

## 4.2 計算

すべてのモデルは AdamW [13] を用い学習率 3e-5 で最適化した。関係抽出のための生成モデルは，8 GPU 上で total batch size 32 で 50 エポック訓練した. また，詳細は割愛するが，カリキュラム学習を採用 している. エンティティ抽出モデルは，単一 GPU 上で batch size 32 で 5 エポック訓練した. 計算には, NVIDIA A100 for NVLink 40GiB を用いた。

## 5 結果と考察

表 2 に提案手法による PubMed データセットに含 まれる 17 個の属性へのデータ抽出性能を，適合率 (P)，再現率（R）および $\mathrm{F}$ スコア（F）で示した. $\mathrm{F}$ スコアに基づくほとんどの属性への抽出性能は良好に機能していることを示していた。一方，属性 duration, grade, disease_name, phenotype への性能は他に比べて低かった. disease_name のモデル は, distant supervision による擬似訓練データで学習 されているが，病名には同義語が多いことからこの 擬似訓練データにノイズが多く含まれていることが 再現率低下につながったと考えられる. 対照的に，単一回答のみで構成される PubMed データセットに 含まれる 6 個の属性については，十分に高い結果が 得られた（表 3).

ClinicalTrials.gov データセットへのデータ抽出の

5) http://www.nactem.ac.uk/y-matsu/geniass/
表 1 PubMed と ClinicalTrials.gov から選択収集した各キュレーションデータセットの内訳および統計

表 2 PubMed データセットに含まれる 17 個の属性（複数回答）へのデータ抽出の評価結果

表 3 PubMed データセットに含まれる 6 個の属性（単一回答）へのデータ抽出の評価結果

評価結果を，表 4 および 5 に示す. 属性 duration, disease_sub_category, BNAMIRを除くほとんどの属性に対する抽出性能は良好である。属性 duration への性能の低さは，このゴールドエンティティは 通常，1〜3桁の数字の後に時間の単位を表す単語 が続くことが原因である (例：24 hours，120 days, 2 weeks, 3 months など). 情報の正規化，言い換え，対象の論文以外からの情報の付加が専門家による手動 のキュレーションデータに含まれていた場合，モデ ルによる論文内容からの検索と抽出精度を低下さ せ，評価が困難であった。表 4 ClinicalTrials.gov データセットに含まれる 21 個の属性（複数回答）へのデータ抽出の評価結果. BNAMIR は "biomarker name as modified in reference" の省略表記

表 5 ClinicalTrials.gov データセットに含まれる 3 個の属性（単一回答）へのデータ抽出の評価結果

## 6 おわりに

医学・生物学文献からのデータキュレーションシ ステム BiomedCuration の開発を報告した. 本システ ムは，PubMed および ClinicalTrials.gov に由来する論文から自然言語処理アプローチによる解析を通じて 情報を抽出し，61 個の属性の値として出力する． 2 つのデータセットに対する $\mathrm{F}$ スコアと精度による性能評価から，システムが機能していることを示す結果が得られた。また，本システムはインタラクティ ブなウェブアプリケーションとして公開している.今後は，システムのさらなる改善のために，n 項関係抽出などの新しい機能の実装を計画している。

## 謝辞

本稿で紹介した研究は，官民研究開発投資拡大プ ログラム（PRISM）「新薬創出を加速する症例デー タベースの構築・拡充/創薬ターゲットの推定アル ゴリズムの開発」の助成を受けたものです.

## 参考文献

[1] Kung-Hsiang Huang, Sam Tang, and Nanyun Peng. Document-level entity-based extraction as template generation. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 5257-5269, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics. https://aclanthology.org/2021 . emnlp-main. 426.

[2] Fenia Christopoulou, Makoto Miwa, and Sophia Ananiadou. Connecting the dots: Document-level neural relation extraction with edge-oriented graphs. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4925-4936, Hong Kong, China, November 2019. Association for Computational Linguistics. https://aclanthology .org/D19-1498.

[3] Robin Jia, Cliff Wong, and Hoifung Poon. Documentlevel n-ary relation extraction with multiscale representation learning. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3693-3704, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics. https: //aclanthology .org/N19-1370.

[4] Peng-Hsuan Li, Ting-Fu Chen, Jheng-Ying Yu, ShangHung Shih, Chan-Hung Su, Yin-Hung Lin, Huai-Kuang Tsai, Hsueh-Fen Juan, Chien-Yu Chen, and Jia-Hsin Huang. pubmedKB: an interactive web server for exploring biomedical entity relations in the biomedical literature. Nucleic Acids Research, Vol. 50, No. W1, pp. W616-W622, 05 2022. https://doi .org/10.1093/ nar/gkac310.

[5] Xuan Wang, Yu Zhang, Qi Li, Yinyin Chen, and Jiawei Han. Open information extraction with meta-pattern discovery in biomedical literature. Proceedings of the 2018 ACM International Conference on Bioinformatics, Computational Biology, and Health Informatics, 2018.

[6] Chuan Deng, Jiahui Zou, Jingwen Deng, and Mingze Bai. Extraction of gene-disease association from literature using biobert. The 2nd International Conference on Computing and Data Science, 2021.

[7] Wenhui Xing, Junsheng Qi, Xiaohui Yuan, Lin Li, Xiaoyu Zhang, Yuhua Fu, Shengwu Xiong, Lun Hu, and Jing Peng. A gene-phenotype relationship extraction pipeline from the biomedical literature using a representation learning approach. Bioinformatics, Vol. 34, No. 13, pp. i386-i394, 062018. https://doi.org/10.1093/bioinformatics/ bty263.
[8] Manzil Zaheer, Guru Guruganesh, Avinava Dubey, Joshua Ainslie, Chris Alberti, Santiago Ontañón, Philip Pham, Anirudh Ravula, Qifan Wang, Li Yang, and Amr Ahmed. Big bird: Transformers for longer sequences. CoRR, Vol. abs/2007.14062, , 2020. https://arxiv.org/abs/ 2007.14062 .

[9] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, Hong Kong, China, November 2019. Association for Computational Linguistics. https://aclanthology .org/D19-1371.

[10] Sameer S. Pradhan, Eduard Hovy, Mitch Marcus, Martha Palmer, Lance Ramshaw, and Ralph Weischedel. Ontonotes: A unified relational semantic representation. In International Conference on Semantic Computing (ICSC 2007), pp. 517-526, 2007.

[11] Sampo Pyysalo, Tomoko Ohta, Rafal Rak, Andrew Rowley, Hong-Woo Chun, Sung-Jae Jung, Sung-Pil Choi, Jun'ichi Tsujii, and Sophia Ananiadou. Overview of the cancer genetics and pathway curation tasks of BioNLP shared task 2013. BMC bioinformatics, Vol. 16, No. 10, pp. $1-19,2015$.

[12] Robyn Speer. ftfy. Zenodo, 2019. Version 5.5.

[13] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, ICLR 2019, New Orleans, USA, 2019. https://openreview.net/forum? id=Bkg6RiCqY7.

## A 付録

表 6 各カテゴリとそのサブカテゴリである属性（1 列目と 2 列目）の詳細な内容（4 列目）および使用するアプローチ の一覧（3列目．PE：パターンに基づく抽出， $\mathrm{RE}$ ：関係抽出， $\mathrm{EE}$ ：エンティティ抽出， EL：エンティティ・リンキング， TC：テキスト分類）．FV（Fixed Value）はキュレートデータの特定の値，NA は現時点で未対応であることを意味する.

 &  &  &  \\


# 校歌のための歌詞作成支援システムの開発

重藤優太郎 ${ }^{1,2}$ 西田典起 ${ }^{1}$ Shanshan $^{2} \operatorname{Liu}^{1} \quad$ 松本裕治 ${ }^{1}$
森田敏生 ${ }^{3}$ 中村伊知哉 4 石戸奈々子 4
1 理化学研究所 AIP 2 千葉工業大学 STAIR Lab
3 総和技研 $4 \mathrm{iU}$ 情報経営イノベーション専門職大学 B Lab
shigeto@stair.center \{noriki.nishida,shanshan.liu,yuji.matsumoto\}@riken.jp
morita@sowa.com nakamura@ichiya.org nanako@ishido.org

## 概要

本論文では, 校歌のための歌詞作成支援システム を紹介する. 前提として, システム単独で歌詞を生成 する (完成させる) というよりは, ユーザとのやりと りを通して歌詞を完成させること (作詞の支援)を想定している. そのため, システムによる歌詞の生成と ユーザの編集を交互に行えるように設計した. 校歌 の特徵として,(ユーザが希望した場合) 学校名を歌詞に含めることが要求されるので, 制約付きデコー ディングによってこれを実現した.

## 1 はじめに

理化学研究所 AIP および iU 情報経営イノベー ション専門職大学 B Lab が共同で取り組んでいる 「超校歌〜AI がつくるみんなの校歌〜」プロジェク ト1)では, AI 技術を用いて, 価㯰観が多様化する時代 に相応しい, 進化する校歌のあり方を検討している. この取り組みの一環として, 校歌のための歌詞作成支援システムを開発した. 本論文では, 今回開発した 歌詞作成支援システムの紹介を行う。

本システムは, 校歌の歌詞作成支援を目的として おり,特に作詞経験の少ないユーザの支援を想定し ている. 作詞経験が少ないユーザにとって, ゼロから 歌詞を作ることは難しいと思われる。一方で, 原案と なる歌詞が提示された場合, それを編集し, 完成を目指すことは比較的容易である. 本システムでは, 原案を提示することによって, 経験が少ないユーザで あっても作詞に簡単に取り組めるようになる (と期待している).

これを踏まえた上で, 以下の 4 点をシステムの要件とした。

・システムが原案となる歌詞を提案できる。

・ユーザが提案された歌詞を自由に編集できる。

・システムが, ユーザの編集に基づいて, 歌詞を再生成 (修正)することができる.

・生成する歌詞に関する制約条件を入力できる。

この要件を満たすためには, 歌詞生成器を開発す る必要がある. 本システムでは, キーワード (歌詞の 雰囲気を表現する単語など) と学校の種類 (幼稚園・保育園, 小学校, 中学校, 高校, 大学のうち, どの区分 の校歌を生成するか) がユーザによって入力される ことを前提としている.さらに, ユーザが希望した場合, 特定の単語 (やフレーズ) を必ず歌詞に含めると いった制約を付け加えることができる. 本システム では,これらの情報から歌詞を生成する。

歌詞生成と一般的な言語生成を比較した場合, 歌詞生成固有の問題として, 上述した特定の単語を必 ず歌詞に含める制約の他にも, 韻やモーラ数などに 関する制約が考えられる. 本論文では特定の単語 (学校名 $\left.{ }^{2}\right)$ を歌詞に含めることのみを取り扱い, 残りの 問題 (韻とモーラに関する制約) は今後の課題とし た. 以後,「学校名制約」と記述した場合, 学校名を歌詞に含めるか否かに関する制約を指すことにする。

## 2 校歌歌詞作成支援システム

本システムでは, ユーザとのやりとりを通して歌詞を完成させること (作成の支援)を目指している. これを実現するため, システムによる歌詞生成と ユーザの編集を交互に行えるように設計した. 具体的には, 以下の手続きによって歌詞を作成する.

1. ユーザがキーワード (歌詞の雾囲気を表現する 単語など) や学校の種類 (幼稚園・保育園, 小学

2）地名などを指定することも考えられるが, 本研究では学校名のみを対象とした。
歌詞に入れたい単語

## 生成再生成

生成された歌詞

キーワード

## 歌詞の種類

大学

図 1 ユーザインターフェース.

校, 中学校, 高校, 大学のどれか), 学校名制約 (学校名を歌詞に含めるか否か)を入力する

2. システムがユーザの入力に基づき原案となる歌詞を生成する

3. ユーザが生成された歌詞を編集する

4. システムがユーザの編集に応じて歌詞を再生成 (修正)する

5. 3-4を繰り返す

まずはじめに, システムのユーザインターフェー スと歌詞生成器を説明し, その後, 実際にシステムを 用いて作成した歌詞の例を示す.

## 2.1 ユーザインターフェース

図 1 に開発したシステムのインターフェースを示 す.このシステムには, 2 個のテキストボックスと 1 個のプルダウン型選択メニュが準備されている. 各 テキストボックスには, 歌詞に含める単語 (学校名) と歌詞の雰囲気を表すキーワードを入力することが できる.プルダウンは学校の種類 (幼稚園・保育園,小学校, 中学, 高校, 大学) を選択することができる. ユーザが,これらの情報を入力し, 生成ボタンをク リックすることで, システムが歌詞を生成する. 生成 された歌詞は右のテキストボックスに表示される. ユーザはこの歌詞を自由に編集することができる.編集後, 再生成ボタンをクリックすることで, 編集箇所より後ろの歌詞をシステムが再生成 (修正) する. この再生成時には, ユーザの入力 (テキストボックス とプルダウン) も反映されるため, 歌詞の途中から キーワードや学校の種類を変更することもできる.

## 2.2 歌詞生成器

本論文で取り扱う歌詞生成は, ユーザの入力 (キー ワード, 学校の種類, 学校名制約) から歌詞を生成す
るタスクである.これは, 言語生成タスクの 1 種だと 考えることができる. 近年の言語生成においては, エ ンコーダ・デコーダモデルを採用することが主流で あり，その有効性が種々の言語生成タスクにおいて 報告されている $[1,2,3]$. このような背景から, 本研究においてもエンコーダ・デコーダモデルを用いて 歌詞の生成を行う. 具体的には, キーワードと学校の 種類を特殊記号 [SEP] で連結したものをエンコーダ に入力し, デコーダによって歌詞を生成する. 再生成時 (ユーザが歌詞を編集した場合) には, 歌詞の先頭 からユーザが編集した箇所までをデコーダの出力と して固定し, 後続 (続き)の歌詞を生成する。

ユーザが歌詞に含めたい単語 (学校名)を指定し た場合, デコーディングは制約付き生成問題とな る. 制約付き生成問題は, 制約を必ず満たす方法 $[4,5,6,7,8]$ と必ずしも満たさない (が満たされや すくなるように工夫をする) 方法 [9] の 2 種類のア プローチが存在する. 本システムにおいては, 学校名が指定された場合, その指定された学校名を歌詞 に必ず含めることが望ましいので, 前者のアプロー チを採用する. 具体的には, 制約付きビームサーチ $[4,5,6,7]$ を利用する.

当然ではあるが，ある学校の歌詞を考える場合，そ の歌詞に他の学校の名前が含まれることは考えにく い (例えば，千葉工大の校歌を考えた場合，「iU 情報経営イノベーション専門職大学」が歌詞に含まれる ことは考えにくい). 一方で, 学校名を歌詞のどこに 配置するかには, なんらかのパターンが存在してい ることが予想される (実際, 多くの校歌において, 歌詞の最後に学校名を配置する傾向があることを観測 している). そのため, 学校名制約が課されている場合, 歌詞生成器が学習すべきものは, 学校名 (の文字列) 自体ではなく, どこに学校名を配置するかとい う点だと考えられる.これを実現するため,データ の前処理として, 各歌詞に出現する学校名を特殊記号 [NAME] に置換した. これによって, 学校名の表層情報を削除し，位置情報のみ(どこに配置すればよ いか) をモデルに学習させる. 生成時には, 制約付き ビームサーチによって [NAME] を含む系列 (歌詞)を 探索する. 後処理として, 生成された歌詞に含まれる [NAME] を実際の学校名 (ユーザの入力) に置換する.図 2 に具体例を示す.

キーワード: 習志野, 若草

学校の種類: 大学

学校名制約: 千葉工大

入力:

大学 $[\mathrm{SEP}]$ 習志野_若草

習志野は 若草もえて 潮風に匂へる希望見よこの大地この青空を 学びの野 はてなく広く 真理の陽 燦と輝けり 工大 工大 [NAME]

習志野は 若草もえて 潮風に匂へる希望見よこの大地この青空を 学びの野 はてなく広く 真理の陽 燦と輝けり 工大 工大 千葉工大

図 2 歌詞生成手続きの例. 特殊記号 [NAME] (オレンジ色) を生成し, 後処理で学校名 (青色)に置換する.

幼稚袁・保育

制約: X幼稚園

人力:

今日は何して遊ほつか

元気な歌声 広がる丘

明るくて笑顔あふれる丘

いつも一緒に遊ぼうか

あそぼーいわたしの園

風はさわやかにみんなで手をつなぎ

楽しい幼稚園が いつぱいあるよX幼稚園

明るいお空にみんなで手をつなぎ

今日は何して遊ぼうか

あそぼーいわたしの園

元気な歌声 広がる丘明るくて笑顔 あふれる丘 いも一緒に遊ぼうか あそぼーいわたしの園

風はさわやかにみんなで手をつなぎ 楽しい幼稚園がいっぱいあるよ X幼稚園

明るいお空にみんなで手をつなぎ 今日も明日もいっぱい遊ぼうよ 雨でも晴れでも

元気な歌声が あふれる丘に みんなで手を取り合って 仲良く歩もうよ X幼稚園

明るいお空にみんなで手をつなぎ 今日も明日もいっぱい遊ぼうよ 楽しい幼稚園

元気な歌声があふれる丘に X幼稚園

図 3 システムの使用例: システムの生成 (青色) とユーザの編集 (オレンジ色)を交互に繰り返すことができる.

表 1 実験で使用したデータの曲数と歌詞の文字数.

## 2.3 デモンストレーション

図 3 に, 本システムの使用例を示す.これまで説明 した通り,システムによる歌詞の生成とユーザによ る編集を交互に繰り返すことで, 作詞に取り組むこ とができる. 編集および再生成によって, 後続 (オレ ンジ色の後)の歌詞が変化することがわかる.

## 3 歌詞生成器の性能評価

本システムで用いた歌詞生成器の性能を報告 する。

## 3.1 実験設定

本実験では, 校歌 767 曲からなるデータを使用し た.このデータは, 幼稚園・保育園 (47 曲), 小学校歌詞

\author{
習志野は 若草もえて \\ 潮風に匂へる希望 \\ 見よこの大地この青空を \\ 学びの野はてなく広く \\ 真理の陽 燦と輝けり \\ 工大 工大 千葉工大
}

前処理後

習志野は若草もえて

潮風に匂へる希望

見よこの大地この青空を

学びの野 はてなく広く

真理の陽 燦と輝けり

丁大工大 $[\mathrm{NAME}]$

図4 データの前処理: 学校名の置換 (オレンジ色) とキー ワードの抽出 (青色).

(176 曲), 中学校 (179 曲), 高校 (192 曲), 大学 (173 曲) の校歌で構成されており,各曲は歌詞とメタ情報 (キーワード, 学校の種類, 学校名制約) のぺアになっ ている.このデータをランダムに分割し, $80 \%(611$曲) を訓練用に, $10 \%$ (77 曲) を開発用, 残り (79 曲)を 評価用のデータとした. 本実験で使用したデータの 統計情報を表 1 に示す。

実際のシステム運用時には,メタ情報はユーザに よって入力されることを想定しているが, 性能評価 を簡便に行うため, 以下の方法でメ夕情報を準備し た. 歌詞から名詞, 形容詞, 副詞を抽出し, それらを キーワードとした. 学校の種類は, 実際の種類 (幼稚園・保育園, 小学校, 中学校, 高校, 大学のうちのど れか)を使用した (例えば,千葉工大の校歌の場合，

1エポック目

キーワード: 習志野, 若草

学校の種類: 大学

学校名制約: 千葉工大

入力:

大学 $[\mathrm{SEP}]$ 習志野_若草

## 2エポック目

キーワード: 習志野, 潮風, 希望

学校の種類: 大学

学校名制約: 千葉工大

入力:

大学 $[\mathrm{SEP}]$ 習志野潮風_希望

\author{
習志野は若草もえて \\ 潮風に匂へる希望 \\ 見よこの大地この青空を \\ 学びの野はてなく広く \\ 真理の陽燦と輝けり
}

工大 工大 [NAME]

習志野は 若草もえて 潮風に匂へる希望見よこの大地この青空を 学びの野はてなく広く 真理の陽 燦と輝けり 工大 工大 [NAME]

図 5 学習時の入力と出力. キーワードを全て使うのではなく,エポックごとにランダムにサンプルする.

表 2 実験結果. 各スコアは平均値, かっこの中は標準偏差を示している。

「大学」とした). 歌詞に学校名が含まれている場合 は学校名制約を課すものとし, 学校名が含まれてい ない場合,制約はないものとして取り扱った. 制約 のある曲は, 学習データに 189 曲, 開発データに 32 曲, 評価データに 26 曲含まれていた. なお,データの 前処理として, 各歌詞に出現する学校名を特殊文字 ([NAME]) に置換した. 図 4 に具体例を示す.

実際の運用を考えた場合, ユーザがキーワードを 大量に入力することは稀だと思われる. そのため, 準備したキーワード全てを入力とするのではなく, 1 か ら 3 個ランダムに抽出し, それらを入力とすること で実際の設定に近づけた.このサンプリングは, 学習 と評価の双方で行なった. 図 5 に学習時の例を示す.本実験の生成対象は日本語なので, $\mathrm{mC4}$ [2] および Wiki-40B [10] に含まれる日本語テキストのみで事前学習された T5 [2] を使用した.3）このモデルに対し， クロスエントロピー損失を用いてファインチューニ ングを行なった. 使用したハイパーパラメータおよ び実装の詳細は付録に記載した。

## 3.2 実験結果

表 2 に ROUGE [11] を示す. 表の FP (false positive) は, 制約がない ([NAME] が正解の歌詞に含まれてい ない) 場合に [NAME] がどのぐらい出力されたかを 示しており, 値が大きいほど誤って [NAME] を出力 していることを意味する. 制約がない場合であって も, 頻繁に [NAME] が出力されるのではないかと予

3) https://huggingface.co/megagonlabs/

t5-base-japanese-web想していたが, 本実験では, $37.4 \%$ (26 曲中で約 10 曲) であった.

本実験では, ユーザの入力となるキーワードを, 歌詞から抽出した単語のランダムサンプリングで代用 している.このランダムサンプリングの影響を考慮 するため, 5 回評価を行い, その平均と標準偏差を報告している. 表の通り, 標準偏差は 1.0 以下になって おり,サンプリングがスコアに対して与える影響は 大きくないと思われる.

## 4 関連研究

歌詞生成に関する研究は近年活発に研究されてい る $[12,13,14]$. 一般的な歌詞を対象とするのではな く, ラップの生成 [15] や詩 [16], 短歌の生成など [17]様々な形態の詩を対象とした研究も行われている. また, 本研究では, キーワードから歌詞の生成に取り 組んだが, メロディから歌詞を生成する研究も存在 する $[12,13,14]$. 本研究は, 校歌を対象としている点, および, 生成の支援を目的としている点がこれらの 研究とは異なる。

## 5 おわりに

本論文では, 校歌のための歌詞作成支援システム を紹介した. 作詞経験が少ないユーザでも気軽に作詞体験を楽しめるように, システムが原案となる歌詞を提示できるようにした. 提示された歌詞は,ユー ザが自由に編集でき,その編集に応じた歌詞をシス テムが再生成できるように設計した。

今後の課題は, システムではなくユーザが原案を 提示すること, 歌詞生成時に韻を考慮すること, モ一 ラ数に制約を入れること，音・メロディから歌詞を 生成すること,などの機能を実装することである.

## 謝辞

本研究を進める過程で, 理研 AIP 杉山将氏, 浜中雅

俊氏, 本多右京氏, および, iU 情報経営イノベーショ ン専門職大学 増田知香氏, 林純輝氏, 木内来萌氏, 牧野友季氏, 森井創氏, にシステムおよび歌詞データの 構築に関してご助言・ご協力いただきました.この 場を借りて感謝申し上げます。

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, 2017.

[2] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J Liu, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, No. 140, pp. 1-67, 2020.

[3] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, 2020.

[4] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. Guided open vocabulary image captioning with constrained beam search. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 936945, 2017.

[5] Matt Post and David Vilar. Fast lexically constrained decoding with dynamic beam allocation for neural machine translation. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1314-1324, 2018.

[6] J. Edward Hu, Huda Khayrallah, Ryan Culkin, Patrick Xia, Tongfei Chen, Matt Post, and Benjamin Van Durme. Improved lexically constrained decoding for translation and monolingual rewriting. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 839-850, 2019.

[7] Zhongyang Li, Xiao Ding, Ting Liu, J. Edward Hu, and Benjamin Van Durme. Guided generation of cause and effect. In Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, p. 3629-3636, 2021.

[8] 帖佐克己, 森下睦, 永田昌明. 入力拡張と制約付きデコー ディングによる語彙制約付き機械翻訳. 自然言語処理, Vol. 29, No. 4, pp. 1052-1081, 2022.

[9] Guanhua Chen, Yun Chen, Yong Wang, and Victor OK Li. Lexicalconstraint-aware neural machine translation via data augmentation. In Proceedings of the Twenty-Ninth International Conference on International Joint Conferences on Artificial Intelligence, pp. 3587-3593, 2021.

[10] Mandy Guo, Zihang Dai, Denny Vrandecic, and Rami Al-Rfou. Wiki-40B: Multilingual language model dataset. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 2440-2452, 2020.

[11] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Proceedings of the Workshop on Text Summarization Branches Out, pp. 74-81, 2004.

[12] Kento Watanabe, Yuichiroh Matsubayashi, Satoru Fukayama, Masataka Goto, Kentaro Inui, and Tomoyasu Nakano. A melody- conditioned lyrics language model. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 163-172, 2018.

[13] Xichu Ma, Ye Wang, Min-Yen Kan, and Wee Sun Lee. AI-Lyricist: Generating music and vocabulary constrained lyrics. In Proceedings of the 29th ACM International Conference on Multimedia, p. 1002-1011, 2021.

[14] Zhonghao Sheng, Kaitao Song, Xu Tan, Yi Ren, Wei Ye, Shikun Zhang, and Tao Qin. SongMASS: Automatic song writing with pre-training and alignment constraint. In Proceedings of the AAAI Conference on Artificial Intelligence, pp. 13798-13805, 2021.

[15] Lanqing Xue, Kaitao Song, Duocai Wu, Xu Tan, Nevin L. Zhang, Tao Qin, Wei-Qiang Zhang, and Tie-Yan Liu. DeepRapper: Neural rap generation with rhyme and rhythm modeling. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, pp. 69-81, 2021.

[16] Xiaoyuan Yi, Maosong Sun, Ruoyu Li, and Wenhao Li. Automatic poetry generation with mutual reinforcement learning. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 3143-3153, 2018.

[17] 浦川通, 新妻巧朗, 田口雄哉, 田森秀明, 岡崎直観, 乾健太郎. モーラを考慮した fine-tuning による口語短歌生成. 言語処理学会第 28 回年次大会 発表論文集, pp. 1328-1332, 2022.

[18] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019.

[19] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, et al. PyTorch: An imperative style, high-performance deep learning library. In Advances in Neural Information Processing Systems, 2019.

[20] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, 2020.

[21] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[22] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: A Japanese tokenizer for business. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation, pp. 2246-2249, 2018.

## A ハイパーパラメータ

以下のハイパーパラメータを用いて T5 の学習 (ファインチューニング)を行なった.
- learning rate: 5e-05
- batch size: 8
- optimizer: AdamW [18]
- Ir scheduler: linear
- max epochs: 300

また, 歌詞生成時には以下のハイパーパラメータ を用いた。
- max length: 256
- temperature: 0.5
- repetition penalty: 4.0
- number of beams: 2

これらのハイパーパラメータは, 開発セットにお ける ROUGE-L のスコアに基づいて選択した。

## B 実装の詳細

歌詞生成器の実装は PyTorch v.1.13.1 [19] および Transformers v4.25.1 [20], SentencePiece [21] を利用し た.キーワード抽出のために Sudachi [22]を使用し形態素解析を行なった.

制約付きビームサーチは Transformers の generate 関数 (force_words_ids を指定)を利用した.4)

ROUGE の計算には SumEval を使用した.5)

## C 論文に掲載した歌詞について

本論文では, 例 (図 $2,4,5$ ) を示すため千葉工業大学校歌 (1 番のみ) を使用した. 千葉工業大学校歌は 大学ホームページにて公開されている。6) なお, 本シ ステムを構築するために使用したデータ (表 1)に，千葉工業大学校歌は含まれていない. 図 3 で示した 例は, 実際にシステムを用いて生成した歌詞である.

4) https://huggingface.co/docs/transformers/main/ en/main_classes/text_generation\#transformers.

GenerationMixin.generate

5) https://github.com/chakki-works/sumeval

6) https://www.it-chiba.ac.jp/institute/disclosure/ school-badge/


# ユーザーの操作性を考慮した論文要約スライドの半自動生成

久保谷 善記 $^{1}$ 森島 繁生 ${ }^{2}$
1 早稲田大学 2 早稲田大学理工学術院総合研究所
yoshikikubotani@akane.waseda.jp shigeo@waseda.jp

## 概要

スライドには，視覚的要素を用いた説明により認知負荷を下げ，聴衆の理解を促す効果がある．その ため，日頃から難解な内容を説明する必要のある研究者にとって，論文をスライドに要約し発表する機会は少なくない.しかし，研究者は研究作業や論文執筆などに時間が取られるため，スライド作成に割 く十分な時間を確保できない場合がある. 本研究で は，このような問題を解決するため，論文からスラ イドを半自動で生成するシステムを提案する。作成者の裁量で自動化の度合いが調節できるよう，任意 の作成段階からのスライド生成を実現する.

## 1 はじめに

コミュニケーションにおいては，視覚的な情報を 用いることで，相手に対して自身の考えや意見を正確かつ効果的に伝達することができる．実際に，意思伝達を行う際には文章，音声，図表など様々な媒体が使用されるが，伝える内容が複雑な場合には，記述情報と視覚的情報を組み合わせることで，より 円滑なコミュニケーションが期待できる. プレゼン テーションスライド（スライド）はこれら二つの情報を統合して扱うことのできる代表的な媒体として 知られているが，コンパクトなテキスト（記述的情報）とその配置（視覚的情報）を用いることで聴衆 の認知負荷を下げることができるため，教育現場で ある学校から職場まで幅広く使われている。

同様の理由で，学術的な場における意思伝達にも スライドは頻繁に使用されており，難解な内容を多 く扱う研究者にとって必要不可欠な媒体である. 特 に，学会や研究室，輪読会・勉強会といった場にお いては，研究者は自身の研究や技術的文書から得た 情報など，高度に専門的な内容の発表・共有を行う 必要があるため，記述のみでは理解困難な内容を他 の研究者に伝える手段として，スライドは重宝され ている.
このように，研究者にとってスライドは情報発信 に欠かせない媒体であるが，その作成には多くの時間と労力を要する．まず，研究者は日々の研究活動 や論文の調査・執筆などで忙しく，スライドの作成 に十分な時間をかけることは難しい。特に，近年は 広く学問領域全体で論文数が増加しており，最新の 手法に追随するために必要な論文調査の量は膨大で ある [1]. また，専門的な内容をわかりやすくスラ イドとしてまとめるには経験と技術を要する．具体的には，作成者がどのような目的で情報発信を行う のか，聴衆がどの程度の前提知識を持っているか，発表時間や全体のページ数に制約はないかなどの条件を考慮する必要があり，全ての条件を満たすよう にページごとの説明の粒度や構図の配置を決定する には，経験者であっても試行錯誤を要する。

近年は，スライド作成にかかる労力を低減させる ベく，論文要旨をとらえたスライドの自動生成に関 する手法が提案されてきた。しかしその多くは，ス ライドテキストの生成に主眼を置き要素の配置を適切に扱っていない [2-5], または逆にレイアウトの 生成のみを扱っている [6] などの制約があり，テキ ストとレイアウト両者の情報を同時に扱うことに は課題が残る. また，両者を同時に扱っている研究 も，論文からスライドを生成する過程に人間が関与 することは考慮しておらず，作成者の意図や好みを 反映した自由度の高い生成は実現できていない [7].

本研究では，多忙な研究者のスライド作成を補助 する目的で，論文からスライドを半自動で生成する システムを提案する．スライド作成者の熟練度やデ ザイン嗜好によって自動化の度合いが調節できる よう，タイトルのみが与えられた状態からだけでな く，追加で任意のスライド要素が与えられた状態か らのスライド生成を実現する。

## 2 関連研究

スライドの自動生成に関する議論は，主として自然言語処理分野において論文の要旨要約という視点

図 1 : 提案手法の概要図

から行われてきた. 2000 年代初頭の初期の研究に おいては，形態要素分析や決定的なルールによるス コアリングなどを用いて，スライドに載せるに相応 しい長さのテキストを作成する研究 $[3,8]$ が主流で あった. その後は，サポートベクター回帰 (SVR) な どの回帰モデルを訓練することで論文中の文章の重要度を学習し, 整数線形計画法 (ILP) によってスラ イドに割り当てるという手法が広く用いられるよう になった [4,5,9]. また近年では, Encoder-Decoder型 のニューラルネットワークを用いた抽象型要約によ る研究が提案されている $[2,7]$. しかし, 上記の先行研究には，取得したテキストをルールベースで配置 していたり, テキストと図以外の要素をレイアウト 生成の対象には含めていないといった問題がある。

## 3 提案手法

以降の議論のため，ここで本稿内で使用する記号について説明する. 論文 $P_{i}$ とそれと対を成すス ライド $D_{i}$ の集合を $\left.\{P_{i}, D_{i}\right.\}_{i=1}^{I}$ と置く.この時，ス ライド $D_{i}$ が $J$ 枚のスライドページからなるとする と, $D_{i}=\left.\{P_{j}\right.\}_{j=1}^{J}$ である. また，スライドページ $P_{j}$内に配置される $N$ 個の要素は, クラス $C_{n}$, サイズ $\left(W_{n}, H_{n}\right)$, 位置 $\left(X_{n}, Y_{n}\right)$ の 3 属性によって表現され るとする。ここでクラスとは，タイトルテキストや 箇条書き, 図や表というように, 配置される要素が スライド内でどのような役割を果たすかを簡潔に表 すものである．スライドの要素がテキストを含むク
ラスに属する場合，そのテキストは $T_{n}$ で表記する。論文の文章については，4 文を 1 つのスニペット $S$ として定義し, 文章単位でなくスニペット単位で論文のテキストデータを扱った。従って, 論文 $P_{i}$ が $K$ 組のスニペットからなるとすると, $P_{i}=\left.\{S_{k}\right.\}_{k=1}^{K}$ となる。なお，過度に複雑な表記を避けるため明示的に記載はしていないが，スニペット数 $K$ やスライ ドページ数 $J$ は論文やスライドごとに異なるため $i$ に依存し，スライドページ内の要素の数 $N$ はページ ごとに異なるため $i$ と $j$ に依存している.

ある論文からその要旨を捉えたスライドを生成す る際には，以下の 3 つの点に配慮して作成する必要 がある.

1. 現在のスライドページに論文のどの内容が載る べきか

2. 載るべき内容に沿って，スライドページをどの ようなレイアウトとするか

3. レイアウトをもとに，実際にどの程度の粒度の テキストを載せるか

これらの要件をもとに，我々は図 1 に示すような Attention 機構を用いたモデルを提案する. まず要件 1 を満たすための前処理として，スライドページに 関連するスニペットを論文から取得する。具体的に は，式 (1), (2)に示すように，事前学習済みの言語 モデルを使って論文のスニペット $S_{k}$ と各スライド ページのスライドタイトル $T_{n}$ s.t. $C_{n}=$ title のそれ

ぞれから埋め込み $\boldsymbol{E}_{s}^{(k)}, \boldsymbol{E}_{t}^{(n)}$ を取得する. その後,式 (3)のように埋め込み同士で内積を取り，各スラ イドページ $P_{j}$ ごとに内積スコア $R_{k j}$ の上位 20 個の スニペットを用意する．スライドページの内容を最 も端的に表すのはスライドタイトルであるため,こ の操作によって論文からスライドページに関わりの ある情報だけを抽出できる。なお，埋め込み表現獲得のための言語モデルには Sentence-BERT [10]を使用した.

$
\begin{aligned}
\boldsymbol{E}_{s}^{(k)} & =\operatorname{Sentence-\operatorname {BERT}(S_{k})} \\
\boldsymbol{E}_{t}^{(n)} & =\operatorname{Sentence-} \operatorname{BERT}\left(T_{n}\right) \quad \text { s.t. } C_{n}=\text { title } \\
R_{k j} & =\boldsymbol{E}_{s}^{(k)} \cdot \boldsymbol{E}_{t}^{(n)}
\end{aligned}
$

提案モデルは大まかに 2 つのモジュールに分か れており，それぞれレイアウト生成と論文要旨要約を担当する.レイアウト生成モジュールでは， Gupta らの研究 [11] に倣い，部分的にマスクされ た系列 $\left[C_{1}, W_{1}, H_{1}, X_{1}, Y_{1}, \cdots C_{N}, W_{N}, H_{N}, X_{N}, Y_{N}\right]$ の 回帰問題としてレイアウト生成を定義した. ネッ トワークには Xiang ら [12] の提案する双方向型の Transformer Encoderをベースとして用いており, 系列内での関係を Self-Attention 機構によって捉えてい る. また, 要件 2 で述べたように, 各スライドぺー ジのレイアウトはそのページに載る内容に依存す るべきである. 従って，論文要旨要約モジュールの Encoder の出力とレイアウト生成モジュールの隠れ 状態との間で Cross-Attention を取ることで，前処理 で取得した内積スコア上位 20 組のスニペットとレ イアウトとの関係を捉えている。一方, 論文要旨要約モジュールには，訓練済みの BART [13]をべース としたネットワークを用いている. 要件 3 を満た すために，レイアウト生成モジュールで推定され たレイアウトのクラス $\hat{C}_{n}$, サイズ $\left(\hat{W}_{n}, \hat{H}_{n}\right)$, 位置 $\left(\hat{X}_{n}, \hat{Y}_{n}\right)$ の埋め込みと BART の Decoder の隠れ状態 との間で Cross-Attentionを取っている.このように することで，Decoder は推定されたレイアウトの情報を参照しつつ文章要約を行うことが可能になる。

上記のアプローチでは，レイアウト系列のマスク の割合により，スライドの初期状態の調節が可能で ある. 従って，目的や好みに合わせてスライド内の 要素の数やクラス，サイズや位置を自由に編集する ことで，スライド作成者は生成過程に直接関与する ことができる.表 1 : 生成レイアウトの要素重複度比較

表 2: 生成-正解レイアウトの類似度比較

## 4 実験設定

提案手法の有効性を検証するためには，論文の テキストと，それに対応するスライドのテキスト とレイアウトのすべてを含むデータセットが必須 である。しかし，我々が調べた限りでは，そのよう なデータセットは公開されていなかった. 従って， ACL Anthology ${ }^{1)}$ で公開されている発表資料から，小規模なデータセットを作成して実験を行った. データセットは 24 報の OCR された論文と，それに 対応する同数のスライドからなる．総計 2885 個の スライドの要素はタイトル，箇条書き，見出し，そ の他テキスト，図，表，アイコンの 8 クラスのいず れかでアノテーションされており，これを訓練とテ ストでデータを $4: 1$ に分割して実験に用いた。

実験は，レイアウト生成モジュールと論文要旨要約モジュールの機能を確認するために，生成された レイアウトとテキストについて行った. レイアウト については，異なる作成段階から生成した結果を， 2 つの指標で評価した. 具体的には，(a) タイトルの み指定，(b) タイトルとその他の要素のクラスを指定，(c) タイトルとその他の要素のクラス・サイズ を指定，の3つの作成段階を初期状態としてレイア ウトを生成した. 生成されたレイアウトにおける要素同士の重複具合を確認するための指標として，式 (4) に示されるスライドページごとの IoUを算出し， その平均値をもって比較した。また，レイアウト類似度 [14] を用いることで，生成レイアウトと正解レ イアウトの間の類似度を評価した。これは，クラス やサイズ，位置をもとに 2 つのレイアウトの要素間 で関連度を算出し, 関連度が最大となるマッチング の結果から，レイアウト全体としての類似度を 0 か

target

title

図 2: レイアウト生成結果の描画

表 3: 生成-正解テキストの類似度比較

ら1 のスコアで表す指標である.

$
\mathrm{IoU}_{j}=\frac{P_{j} \text { 内の要素が重複した領域 }}{P_{j} \text { 内の要素が存在する領域 }}
$

テキストについては，生成されたテキストと正解 スライドテキストの類似度を ROUGE スコアで比較 した. なお，生成テキストと正解テキストとの対応 が取れなければ指標の計算ができないため, 論文要旨要約モジュールに渡すレイアウトの情報には，レ イアウト生成モジュールの生成結果ではなく正解レ イアウトを使用した。

## 5 結果

スライド要素のページ内重複度とレイアウトの 類似度のそれぞれについて，3つの作成段階を初期状態として比較した結果を表 1 ，表 2 に示す. 表 2 の結果から, 完成に近い状態から生成を始めること で，正解レイアウトに近いレイアウトを生成できて いることがわかる。一方で, 要素の重複度は条件を 与えて生成することで増加した. これは, ページ内 の領域を多く占める可能性のあるクラスの要素が強制的に配置され, 要素同士がより重なりやすくなっ たことが原因と考えられる。

また，生成されたスライドテキストが正解テキス トとどれくらい類似していたかの結果を表 3 に示 す. Precisionに比べて Recall が高いが，これは生成 されたスライドテキストが正解テキストに比べて長いためである。実際に，評価に使用したデータに ついて, 生成テキストと正解テキストの平均単語数 を計算したところ，前者は 50.63 words，後者は 7.52 words であった. また 2-gram についての ROUGE ス コアが低いことから，生成テキストは正解テキスト に含まれる 2 語以上のフレーズを再現することがで きていないことがわかる.

最後に，各条件のもと生成されたレイアウトと正解レイアウトを描画して比較した結果を図 2 に示し た. 条件が増えるごとに正解に近いレイアウトが生成できていることが見て取れる。ここではスペース の都合上載せていないが，要素の数が多い場合や複雑なレイアウトを持つ場合には，規則性のない配置 になってしまっていた。これは，データ数が 1500 程度の小規模なデータを使用していたため，スライ ドのデータ分布が持つ特徴を完全には学習できな かったことを示している.

## 6 おわりに

本研究では，研究者にとって不可欠なスライドの 作成コストを下げるため，論文からスライドを半自動で生成可能なシステムを提案した. レイアウトと テキストの両者を互いに考慮した生成を可能にする ため，Attention 機構を用いたモデルを採用し，評価 のため小規模なデータセットを作成して実験を行っ た. 実験では，小規模なデータセットを用いたこと から，全体として性能は高くはなかったものの，任意の編集段階からスライドを生成可能なモデルの 可能性を示した. 今後の課題として，より大規模な データセットを用いて実験を行うことや，より多様 な種類のモーダルを考慮した生成の仕組みを模索す ることが挙げられる.

## 参考文献

[1] Lutz Bornmann and Rüdiger Mutz. Growth rates of modern science: A bibliometric analysis based on the number of publications and cited references. Journal of the Association for Information Science and Technology, Vol. 66, No. 11, pp. 2215-2222, 2015.

[2] Edward Sun, Yufang Hou, Dakuo Wang, Yunfeng Zhang, and Nancy X.R. Wang. D2S: Document-to-Slide Generation Via Query-Based Text Summarization. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2021.

[3] Tomohide Shibata and Sadao Kurohashi. Automatic Slide Generation Based on Discourse Structure Analysis. In International Conference on Natural Language Processing, Vol. 3651, pp. 754-766, 2005.

[4] Yue Hu and Xiaojun Wan. PPSGen: Learning-Based Presentation Slides Generation for Academic Papers. Knowledge and Data Engineering, IEEE Transactions on, Vol. 27, pp. 1085-1097, 2015.

[5] Athar Sefid, Jian Wu, Prasenjit Mitra, and C. Lee Giles. Automatic Slide Generation for Scientific Papers. In SciKnow@K-CAP, 2019.

[6] Chuhao Jin, Hongteng Xu, Ruihua Song, and Zhiwu Lu. Text2Poster: Laying Out Stylized Texts on Retrieved Images. In IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 4823-4827, 2022.

[7] Tsu-Jui Fu, William Yang Wang, Daniel McDuff, and Yale Song. Doc2ppt: Automatic presentation slides generation from scientific documents. Vol. 36, No. 1, pp. 634-642, 2022 .

[8] Mostafa Shaikh, Mitsuru Ishizuka, and Md Tawhidul Islam. 'Auto-Presentation': a multi-agent system for building automatic multi-modal presentation of a topic from World Wide Web information. In IEEE/WIC/ACM International Conference on Intelligent Agent Technology, pp. 246-249, 2005.

[9] A. Ashray Bhandare, Chetan J. Awati, and Sonam Kharade. Automatic era: Presentation slides from Academic paper. International Conference on Automatic Control and Dynamic Optimization Techniques, pp. 809$814,2016$.

[10] Nils Reimers and Iryna Gurevych. Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation. In Empirical Methods in Natural Language Processing. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, 2020.

[11] K. Gupta, J. Lazarow, A. Achille, L. Davis, V. Mahadevan, and A. Shrivastava. LayoutTransformer: Layout Generation and Completion with Self-attention. In Proceedings of the International Conference on Computer Vision, pp. 984-994, 2021.

[12] Xiang Kong, Lu Jiang, Huiwen Chang, Han Zhang, Yuan Hao, Haifeng Gong, and Irfan Essa. BLT: Bidirectional Layout Transformer for Controllable Layout Generation. In Proceedings of the 17th European Conference on Computer Vision, pp. 474-490, 2022.
[13] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, 2020.

[14] Akshay Gadi Patil, Omri Ben-Eliezer, Or Perel, and Hadar Averbuch-Elor. READ: Recursive autoencoders for document layout generation. In CVPR 2020 Workshop on Text and Documents in the Deep Learning Era, 2020.


# 単語の階層関係に基づくデータ拡張を利用した 画像キャプション生成の検討

吉田智哉 1 西村太一 ${ }^{1}$ 亀甲博貴 2 森信介 ${ }^{2}$
1 京都大学大学院 情報学研究科 2 京都大学 学術情報メディアセンター
\{yoshida.tomoya.25h, nishimura.taichi.43x\}@st.kyoto-u.ac.jp
\{kameko, forest \}@i.kyoto-u.ac.jp

## 概要

近年の画像キャプション生成モデルは、他の画像 に対しても同様に当てはまるような、一般化された キャプションを生成する傾向がある。この低識別性 の問題を解決する策の一つとして、より詳細なキャ プションを持ったデータセットで学習させることが 挙げられる。本研究では、識別性が単語の階層関係 に依存すると仮定し、単語の階層関係に基づくデー タ拡張を提案する。実験の結果、低リソースデータ セット下での実験において、提案手法が生成する語彙・文を増加させるとともに、識別性を向上させる ことが確認できた。

## 1 はじめに

画像キャプション生成は、入力された画像からそ の画像の説明文を生成するタスクである。このタス クの主な応用先として、視覚障害者の補助 [1] や、画像検索エンジンにおけるクエリの生成などが挙げ られる。これらの応用先において重要なことは、生成されるキャプションが自然な文章であるととも に、他の似た画像と区別可能であるということであ る。近年の画像キャプション生成モデルでは、後者 の識別性の低さが問題視されている [2]。この低識別性の問題を解決するために、様々な手法が提案さ れている $[2,3,4]$ 。また、解決策の一つとして、よ り詳細なキャプションを持ったデータセットで学習 を行うことが挙げられる。しかし、画像とそれに対応する詳細なキャプションを人手で記述すること は、多くの時間的・金銭的なコストを要する。本研究では、これらの作業を自動化するために、データ 拡張に着目する。

低識別性の問題に取り組むにあたり、キャプショ ンの識別性について再検討を行う。キャプションに
おける識別性の高さには、いくつかの観点が考えら れる。一つ目は、画像中に出現する多くの物体につ いて記述しているかという点である。先行研究の多 くはこの観点に基づいている $[2,3]$ 。二つ目は、画像中の物体について述べる単語が特徴的であるかと いう点である。これは、単語の階層関係に基づいて いる。単語の階層関係とは、単語の上位下位関係を 指し、一般に下位に向かうにつれ、その単語は特徵的なものになる。((例) 哺乳類、動物、犬、プード ル)。その他にも、単語の修飾関係などの観点が考 えられる。本研究では、二つ目の観点により低識別性の問題が対処可能であると仮定し、単語の階層関係に基づくデータ拡張の提案を行う。

実験では、元データセットが高リソースである場合と、低リソースである場合に対して、提案手法を 適用した。実験の結果、高リソース下での実験にお いて、有効であることは確認できなかった。しか し、低リソース下での実験において、生成に使用す る語彙・文の増加とともに識別性を向上させ、有効 であることが確認できた。また、提案手法が予期し ないキャプションの生成に寄与してしまっているこ とが確認でき、提案手法の課題についても明らかに なった。

## 2 関連研究

## 2.1 識別性改善に取り組んだ手法

画像キャプション生成モデルにおける低識別性の 問題を解決するために、様々な手法が提案されてい る。Wang らは、学習済みの画像テキスト検索モデ ルを利用することで識別性を評価する指標である CIDErBTW [3] を提案した。また、この指標を最適化関数に取り入れることにより、既存モデルの識別性を向上させることに成功した。その他にも、強化

A dog in a harness lying in the grass in a park,

A basenji in a harness lying in the grass in a park,

A corgi in a harness lying in the grass in a park,

図 1 データ拡張によって作成されたデータセットの例。元データ（左）は、上記の流れにより複数のデータに拡張され る（右）。元画像における主要な物体（青字）は、それぞれの拡張先において、下位語（赤字）に置き換えられる。

学習時 [5] に CLIP-Score [6] を報酬として利用するこ とで、識別性の高いキャプションの生成に成功した 手法 [2] などが挙げられる。

## 2.2 データ拡張を利用した手法

データ拡張は画像認識や音声認識の分類タスクに おいて、頑健性や精度の向上を図る手法 [7] として 利用されている。近年の拡張手法は、単に入力情報 に対してクロッピングやノイズを適用する手法の みならず、Mixup [7] や CutMix [8] と呼ばれるデー タセット中のいくつかのサンプルを混ぜ合わせる ことにより拡張する手法なども提案されている。画像キャプション生成においても、データ拡張を利用 した研究は行われている。画像に対してぼかしを施 し拡張することにより、モデルの頑健性を高めた手法 [9] や、学習済みの BERT [10] を利用したテキス 卜拡張により精度を向上させた手法 [11] などが挙げ られる。

## 3 提案手法

本研究では、単語の階層関係を利用することで、低識別性の問題が対処可能であると仮定し、単語の 階層関係に基づくデータ拡張を提案する。提案手法により拡張されたデータセットは図 1 のように なった。

## 3.1 拡張手法

はじめに、データセット中の画像に対して Faster R-CNN [12]を用いて物体検出 ${ }^{1)}$ を行い、その画像中 における主要な物体を定義する。主要な物体とは、人間がある画像について述べる際に着目する物体の ことである。今回は、主要であることを、物体の大 きさと物体認識にかけられた際の物体の信頼度の積 の值が最大のものと定義することにより決定する。

テキスト拡張 テキスト拡張を行うにあたって、 WordNet における、単語の階層関係を利用した名詞 の置き換えを検討する。WordNet [13] は、単語が類義語ごとにグループ化されている大規模な概念辞書 であり、各単語は階層関係を保持している。テキス 卜拡張は、正解キャプション中の主要な物体に該当 する単語を、コーパス中の下位語と入れ替えること で行う。ただし、人に該当する“person”ラベルに関 しては、適切でない変換候補 ${ }^{2}$ であるため、処理を 行っていない。

画像拡張 画像拡張を行うにあたって、Mixup に 基づいた画像拡張を検討する。Mixup [7] とは、デー タセット中における 2 つの訓練サンプルを混ぜ合 わせることにより、新たなデータセットを作成する

表 1 高リソース下における提案手法とベースラインの比較

表 2 低リソース下における提案手法とベースラインの比較

データ拡張であり、画像や音声領域の分類タスクに おいて有効であることが確認されている。結合方法 は以下のように計算される。

$
\begin{aligned}
& \hat{x}=\lambda x_{i}+(1-\lambda) x_{j} \\
& \hat{y}=\lambda y_{i}+(1-\lambda) y_{j}
\end{aligned}
$

$x_{i}, x_{j}$ は、データセットにおけるべクトル（画像）で あり、 $y_{i}, y_{j}$ は、正解ラベル (one-hot ベクトル) で ある。また、 $\lambda \in[0,1]$ 。

本研究中では $\lambda=0.5$ とし、画像中における主要 な物体の領域と、テキスト拡張時に得られた下位語 の画像 ${ }^{3}$ に対して、この手法を適用することで画像拡張を行う。なお、正解ラベルである $\hat{y}$ の処理は行 なっていない。

## 4 実験

今回は、ベースラインのモデルとして、Rennie ら のモデル [5]を利用した。このモデルは、エンコー ダに CNN、デコーダにLSTM [14]を利用しており、 それらは注意機構 [15] により結合されている。

## 4.1 データセット及び前処理

データセット 提案手法は、MS COCO[16] デー タセットの Karpathy らの分割 [17]（MS COCO）に おける訓練セットに対して適用した。MS COCO は、 113,287 画像からなる訓練セット、各 5,000 画像から なる検証セット、テストセットから構成されてい る。実験では、元データセットが高リソースである 場合と、低リソースである場合に対して、提案手法 を適用した。高リソース時では元データセットの

3）下位語の画像は Web スクレイピングにより複数枚取得。 $100 \%$ を利用し、低リソース時では、元データセッ トの $10 \% を$ 利用した。

前処理の詳細 エンコーダには、学習済みの Resnet101 [18] を利用した。先行研究に従い、画像 は、クロッピングやリサイズ処理を行わずに利用し た。キャプションは、Stanza [19]をトークナイザと して利用し、データセットを通して出現頻度が 5 回未満の単語を $\langle U N K\rangle$ に置き換えて学習に利用した。

## 4.2 評価データ及び指標

評価の際は、MS COCO テストセットを利用した。 また、モデルの頑健性を確認するために他データ セットのテストセットでも評価を行った。他データ セットは、キャプションの形式が MS COCO と似て いる、Flickr30k のテストセット（1,000 画像）を利用 した。

評価指標は先行研究に従い、標準的な評価指標と して、BLEU-4 (B-4) [20]、METEOR (M) [21]、 ROUGE$\mathrm{L}(\mathrm{R})$ [22] 及び、 $\operatorname{CIDEr}(\mathrm{C})[23]$ を用いた。また、識別性の評価指標として、Uniq-1・Uniq-S [4]、CLIP-Score (CLIP-S) [6]及び、R@Kを用いた。Uniq-1・Uniq-S [4] は、生成されたキャプションのうちの異なり語・文 の数を表す。 $\mathrm{R} @ \mathrm{~K}$ は、生成されたキャプションを 学習済みの画像テキスト検索モデルに入力した際 に、他の画像の中から対応する画像が上位 $\mathrm{K}$ 位以内 に得られた割合を表す指標である。学習済みの画像 テキスト検索モデルについては、CLIP [24]を利用 した。

## 4.3 実験結果

高リソース下での実験 学習時間の観点から、訓練セットを約 2 倍に拡張を行った。各テストセット
表 3 生成されたキャプションの例

CLIP-S 生成されたキャプション

におけるベースライン及び提案手法の結果を表 1 に 示す。

ベースラインと比べて、Uniq-1・Uniq-S が増加し ていることが確認できる。しかし、他データセット である Flickr30k においては、増加が確認できない。 また、識別性を評価する CLIP-S や R @ K が向上して いないことから、増加した語彙・文が識別性に貢献 できていないことがわかる。

低リソース下での実験 学習時間の観点から、訓練セットを約 5 倍に拡張を行った。各テストセット におけるべースライン及び提案手法の結果を表 2 に 示す。

ベースラインと比べて、Uniq-1・Uniq-S ともに大 きく増加している。CLIP-S 及び R @ K が向上してい ることから、増加した語彙・文が識別性に貢献して いることが示唆される。また、ベースラインと比較 して標準的な評価指標を大きく損なっていないこ とから、ベースラインの出力するキャプションの形式と似た、より識別性の高いキャプションが生成で きていることが示唆される。他データセットである Flickr30k においても、Uniq-1・Uniq-S 及びいくつか の $\mathrm{R} @ \mathrm{~K}$ に向上が確認できる。

## 4.4 生成されたキャプションの例

低リソース下の実験における、生成されたキャプ ションの例を表 3 に示す。

(a) と (b) の結果から、ベースラインと比較して、提案手法によって生成されたキャプションが、より 特徴的な単語を用いて記述されていることが確認で きる。これらから、提案手法が、生成に使用する単語をより特徵的な単語になるように促していること が示唆される。この結果、(a)については CLIP-S が 向上しており、特徴的な単語で記述することが識別性を向上させていることが確認できる。しかし、(b) については、CLIP-S が低下しており、必ずしも特徴的な単語が CLIP-S を向上させるとは言えないこと がわかる。

(c)では、ベースラインでは妥当なキャプション の生成が可能であるのに対し、提案手法では誤った キャプションが生成されている。これは提案手法 が、予期しない、誤った生成に寄与してしまってい ることが示唆される。このような例は他の生成結果 にも確認され、この誤った生成が CLIP-S や R @ Kを 大きく向上させることができなかった原因と考えら れる。

## 5 終わりに

本研究では、識別性が単語の階層関係に依存する と仮定し、既存のデータセットに対して、単語の階層関係に基づくデータ拡張を施すことで、低識別性 の問題に対処する手法の提案を行った。実験の結果、低リソース下の実験において、出現語彙・文の 増加とともに識別性を向上させ、有効であることが 確認できた。しかし、高リソース下の実験では、出現語彙・文は増加したものの、識別性の評価指標で ある CLIP-S やR@Kにおいてべースラインを上回 ることができなかった。今後の課題として、4.4で 述べた、提案手法が誤った生成に寄与する原因につ いて調べていくとともに、改良に努めていきたいと 考える。

## 参考文献

[1] Burak Makav and Volkan Kiliç. A new image captioning approach for visually impaired people. In IEEE, 2019.

[2] Youyuan Zhang, Jiuniu Wang, Hao Wu, and Wenjia Xu. Distincive image captioning via clip guided group optimization. In ECCVW, 2022.

[3] Jiuniu Wang, Wenjia Xu, Qingzhong Wang, Chan, and Antoni B. Compare and reweight: Distinctive image captioning using similar images sets. In ECCV, 2020.

[4] Ukyo Honda, Taro Watanabe, and Yuji Matsumoto. Switching to discriminative image captioning by relieving a bottleneck of reinforcement learning. In WACV, 2023.

[5] Steven J. Rennie, Etienne Marcheret, Youssef Mroueh, Jerret Ross, and Vaibhava Goel. Self-critical sequence training for image captioning. In CVPR, 2017.

[6] Jack Hessel, Ari Holtzman, Maxwell Forbes, Ronan Le Bras, and Yejin Choi. CLIPScore: A reference-free evaluation metric for image captioning. In ACL, 2021.

[7] Hongyi Zhang, Moustapha Cisse, Yann N. Dauphin, and David Lopez-Paz. mixup: Beyond empirical risk minimization. In ICLR, 2018.

[8] Sangdoo Yun, Dongyoon Han, Seong Joon Oh, Sanghyuk Chun, Junsuk Choe, and Youngjoon Yoo. Cutmix: Regularization strategy to train strong classifiers with localizable features. In ICCV, 2019.

[9] Shashank Bujimalla, Mahesh Subedar, and Omesh Tickoo. Data augmentation to improve robustness of image captioning solutions. In CVPR, 2021.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In ACL, 2019.

[11] Viktar Atliha and Dmitrij Šešok. Text augmentation using bert for image captioning. Applied Sciences, 10(17):5978, 2020.

[12] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster r-cnn: Towards real-time object detection with region proposal networks. In NeurIPS, 2015.

[13] George A. Miller. Wordnet: A lexical database for english. Communications of the ACM, Vol. 38, No. 11, pp. 3941, 1995.

[14] Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[15] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS, 2017.

[16] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. Microsoft coco: Common objects in context. In David Fleet, Tomas Pajdla, Bernt Schiele, and Tinne Tuytelaars, editors, ECCV, 2014.

[17] Andrej Karpathy and Li Fei-Fei. Deep visual-semantic alignments for generating image descriptions. In CVPR, 2015.

[18] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR,
2016.

[19] Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A Python natural language processing toolkit for many human languages. In ACL, 2020.

[20] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In ACL, 2002.

[21] Satanjeev Banerjee and Alon Lavie. METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. In ACL, 2005.

[22] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In ACL, 2004.

[23] Ramakrishna Vedantam, C. Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In CVPR, 2015.

[24] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In ICML, 2021.


# 動画キャプションモデルを用いた字幕翻訳の検討

成浦拓音 品川政太朗 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{nariura.takuto.nu7, sei.shinagawa, sudoh, s-nakamaura\}@is.naist.jp

## 概要

機械翻訳において映像情報を用いて翻訳精度を 改善する研究が行われている一方，映像情報を含む コーパスには限りがあり，大規模に学習することが 難しい。本研究ではこのような問題を回避し，映像情報を話し言葉翻訳に活かす方法を提案する。本手法は映像情報を動画説明文に変換して取り扱うこと で，事前学習済みの言語モデルが学習しやすい問題設定とし，規模の小さい視覚情報付きコーパスでも 事前学習による性能向上が期待できる. VISA デー タセットを用いた実験の結果，多義語を含むデータ セットにおいて動画説明文を用いて学習を行う事 で，動画説明文を用いない場合より BLEU 值が 0.24 ポイント, METEOR 值が 1.19 ポイント上昇する結果を得られた。

## 1 はじめに

機械翻訳技術の発展により，実時間での同時翻訳 や映画・漫画といった視覚情報を含む発話文や説明文を多言語に翻訳する研究が盛んに行われてきて いる $[1,2]$. 新聞や Web 上の文章をはじめとする文章の文脈や文法が意識される書き言葉とは異なり，同時翻訳や映画などの視覚情報を含む発話や会話 には，指差しや視覚情報を共有しているという前提での主語の省略や, 英語の “figure” やフランス語 の “grille”といった場面に応じて異なった意味を含 む多義語が事前の文脈情報なしに含まれることが ある.

このような問題に対しては，視覚情報を考慮して 翻訳することが有用だと考えられており, 視覚情報 を用いた翻訳手法の研究が進められている. 実際 に, Multi30k [3] や VATEX [4] など複数の視覚情報付きデータセットにおいて、視覚情報を追加するこ とにより翻訳精度を改善できることが報告されてい る $[5,6]$.

一方，映像情報を含む対訳コーパスの数は数千文

字幕に対応する映像

提案手法B

図 1 提案手法

から多くて数十万文と規模が小さく，大規模に学習 することが難しい.

本研究では視覚情報を動画説明文として受け取る 事で話し言葉翻訳において改善が見込めると仮説を 立て，大規模自然言語モデルにおいて視覚情報を取 り扱う手法を提案する. 本手法は視覚情報を事前に 学習した動画キャプションモデルによって動画説明文へと変換し，変換した動画説明文を大規模自然言語モデルの入力として取り扱うことで事前学習済み の自然言語モデルを用いて学習を行う. 自然言語処理では mBART [7] や T5 [8] といった大規模な事前学習を行った機械学習モデルを特定のタスクにファイ ンチューニングすることが一般的であり，これらの モデルは数千万文以上からなる大規模なデータセッ トや対訳コーパスを用いて事前学習を行うことで事前知識を得ることを可能にしている. 本提案手法を 用いることで大規模データセットで事前学習された 大規模自然言語モデルを直接的に変更することな く，そのまま活用することが可能となり，数千文か ら数十万文程度と規模が小さい視覚情報付き対訳 コーパスでも事前学習による精度の向上を期待する ことができる.

提案手法を用いることで翻訳精度が向上すること を明らかにするため，VISA データセット [9]を用い た実験を行った. 実験の結果，多義語を含むデータ

セット (Polysemy) において動画説明文を用いた場合 には，翻訳精度が改善する結果を得られた。

## 2 関連研究

## 2.1 動画翻訳

動画翻訳は映像情報を追加の入力として受け取る ことで, 翻訳精度を改善することを目的とした研究 である. 既存のデータセットとしては VATEX デー タセットや How2 データセット [10] が知られている が,VATEX データセットには映像情報を説明する動画説明文が付与されており，マルチモーダルな情報 を活用することによる利点が十分に含まれていな いという指摘も存在する [11]. Li らは OpenSubtitles データセット [12] から収集した日英字幕の対訳コー パスと，字幕情報に沿って取得した 10 秒間の映像情報を組み合わせた VISA データセットを構築し た [9]. VISA データセットには字幕情報だけでは翻訳時の語義の曖昧性が解決できないとクラウドワー カーによって判断された文章のみが含まれており， マルチモーダルな情報を活用することによって語義 の曖昧性を解決できることが期待されている.

映像情報を用いた機械翻訳モデルの多くは動画 をフレーム単位に分けた後，事前学習済みの画像エ ンコーダに入力して画像特徴量を取得したり，モー ションエンコーダを用いて動画特徴量を取得するな どの手法が一般的である $[6,13]$. 一方, 本研究では 視覚情報を直接翻訳モデルの入力として扱わないと いう点で既存研究とは異なる。

## 2.2 大規模言語モデル

ニューラルネットワークを用いた自然言語処理で は事前学習を実施した大規模言語モデルをタスクの 用途に合わせてファインチューニングをする手法が 一般的であり，大量のコーパスを用いて事前学習を 行うことでタスクによらない事前知識を獲得できる ことが知られている. 機械翻訳でも大規模モデルを 用いる手法が提案されており, Liu らは大規模な対訳コーパスを使用することで最先端の翻訳精度を実現する mBART を提案している. また Huang らは多義語の単語を説明する辞書情報を結合した入力を用 いて，大規模事前学習モデルを微調整することでタ スクを解くGlossBERTを提案している [14].

視覚情報付き翻訳においても大規模な事前学習済みモデルを使用する手法が提案されている。表 1 VISA データセットの内訳

Caglayan らは言語情報と視覚情報を踏まえた事前学習を行う手法である VTLM を提案した [5]. 一方 Caglayan らの提案する事前学習手法はマスキングさ れた画像の分類問題をする追加タスクを実行する必要があり，それを行うためには事前に視覚情報の内容を物体検出した上でマスクを行えるように前処理 をする必要がある。また映像情報のような時系列情報をそのまま結合することはできない，一方，本研究では，動画キャプションモデルで映像情報を事前 に言語化することで，視覚情報を扱う難しさを回避 しつつ，翻訳に有用な視覚情報を大規模言語モデル に自然に取り込める可能性が期待できる。

## 3 提案手法

本稿では動画説明文を用いることで翻訳に有用な 視覚情報を大規模自然言語モデルに取り込める仮説 を立て，画像特徴量や動画特徴量を翻訳モデルの入力として受け取る代わりに，大規模自然言語モデル の追加入力として視覚情報を説明する動画説明文 を付与した上で翻訳を行うこととした。提案手法を 図 1 に示す. VISA データセットにて各コーパスに 紐づいている動画情報を動画キャプションモデルを 使用して動画説明文へと変換し，それらを追加の入力文として取り扱う. 動画の説明文は Huang らが提案した GlossBERT などの手法を踏まえて，入力とし て加える翻訳文に結合することとした．動画説明文 は 2 つの特殊トークンである $[S E P]$ と $[/ S E P]$ で挟 んだ上で入力に結合する事とし，動画説明文の結合位置には原言語文の前後 2 通りが考えられるため,両方の場合を考慮して説明文を入力文の文頭に結合 する場合 (提案手法 A) と文末に結合する場合の 2 通 りで実験 (提案手法 B) を行った. 動画キャプション モデルには最先端モデルの一つであり，映像を含む 対訳コーパスであるVATEX データセットで事前学習された SwinBERT [15] モデルを使用することとし た. 動画説明文の例を表 2 に示す.

表 3 提案手法 2 の評価值 (†: VMT [9] から引用)

## 4 実験

事前学習済みの自然言語モデルに動画説明文を付与することで，翻訳精度が向上することを明らかに するために以下の実験を行った.

## 4.1 実験設定

本実験では映像情報付き翻訳データセットとし て，VISA データセットを用いる．VISA データセッ トの内訳を表 1 に示す ${ }^{1)}$. VISA データセットには 多義語の翻訳を含むデータセットである Polysemy と主語の省略を含むデータセットである Omission, その 2 つを組み合わせた Combined の 3つの組み合 わせが存在し, 今回の実験では全てのデータセット の組み合わせで実験を行った. 事前学習済み大規模自然言語モデルには CC-25 データセットで事前学習 された mBARTを用いた。なお， mBART の著者ら が公開している mBART モデルとトークナイザには 特殊トークン $[S E P]$ と $[/ S E P]$ が含まれていないた め，今回の実験では事前に使用する特殊トークンを トークナイザに追加しておき，特殊トークンに対応 する単語埋め込み表現をランダムな初期値で初期化 した上で学習を行った。

今回の実験では日英翻訳を行うため，日本語の原言語文に対して SwinBERT から出力された英語の説明文を結合して実験を行っている. また動画説明文 を用いずに mBARTを学習させた場合とも比較を行 うこととした. テストデータに対する推論時には ビームサーチを用い，ビーム長は 10 とした. また

実験コードの実装には fairseq [16] を用いた.

## 4.2 実験結果

実験結果は既存研究と同じく BLEU (n=4) [17] と METEOR [18], RIBES [19]を用いて評価した. VISA データセットの文章は短い会話文が多いため, BLEU 計算時には文章の長さによる影響を緩和す る手法として, 既存研究と同じようにChen らの Smoothing 4 method を用いている [20]. それぞれの データセットでの実験結果を表 3 に示す. 全体とし て動画説明文を文頭に付与する場合よりも動画説明文を文末に付与する方が良い結果を収めている。ま た文末に動画説明文を付与した場合には動画説明文 を付与しない場合よりも，幾つかの指標で最も良い 結果を収めた. 特に Polysemy データセットでは全 ての指標において他のモデルを上回る結果を得るこ とができている.

動画説明文が有効に働いたと考えられる Combined データセットにおける出力例を表 4 に記載する。たとえば「シャワーを浴びようとしてた」 という原言語文に対しては mBART は “He”と「彼」 を主語にしているのに対して，提案手法 B は “I” と 自分を主語とした発話として翻訳することが出来て いる。また「気をつけろ」という原言語文に対して は mBART は「体に気をつける」といった意味合い である “Take care of” が出力されているのに対して，提案手法 B では「注意する」という意味合いを持つ “Be careful” が出力されており，動画情報を踏まえる ことによって複数の意味を持つ多義語を場面に応じ て使い分けられている。また「体育館に戻られた方 が良いと思います」という原言語文に対しては，体
育館を表す “gym”という単語を適切に出力できてお り，事前知識を活用して翻訳を行えている。

一方，動画説明文が有効ではなかったと考えられ る出力例を表 5 に記載する。「金を待っているだけ だ」という原言語文では，どの手法でも省略された 主語を間違える結果となっている. 日本語の会話文 では場面に応じて主語が省略されることがあるが，今回のデータセットには話者情報が含まれていない ため状況を説明する説明文だけでは対象の発話が誰 に対する発話であるかを判別することが難しく，省略された主語を推測することに失敗したのだと考え られる。このような問題に対しては映像情報だけを 用いるのではなく，話者情報を用いたり，音声情報 や顔の表情から感情を推論するといったマルチモー ダルな手法を活用することで更に翻訳精度を改善で きるのではないかと考えている.

## 5 まとめと今後の展望

本稿では動画情報を動画説明文に変換し，大規模自然言語モデルの追加入力として取り扱う手法につ いて検討を行った. VISA データセットを用いた実験の結果，いくつかの指標とデータセットにおいて 提案手法は動画説明文を用いない場合よりも良い翻訳精度を実現することができた. 今後の展望として は物体検出を行った上で，それぞれの物体に対して 個別にキャプションを付与することで更に細かな動画説明文を取得することや，映像情報から話者情報 や話し手の表情・声の調子や抑揚といった話者に着目したマルチモーダルな情報についても取得・活用 することを検討している。また翻訳文章が長く複雑 であったり，主語が推測しにくいような文章の場合 にも本手法が今回の実験と同様に翻訳精度を向上す るかどうかについても検討したいと考えている.表 4 説明文が有効に働いたと考えられる出力例

表 5 説明文が有効に働かなかったと考えられる出力例

 \\

## 謝辞

本研究は JSPS 科研費 JP21H05054 の助成を受けた ものです

## 参考文献

[1] Jiatao Gu, Graham Neubig, Kyunghyun Cho, and Victor O.K. Li. Learning to translate in real-time with neural machine translation. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 1053-1062, Valencia, Spain, April 2017. Association for Computational Linguistics.

[2] Ryota Hinami, Shonosuke Ishiwatari, Kazuhiko Yasuda, and Yusuke Matsui. Towards fully automated manga translation. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 12998-13008, 2021.

[3] Desmond Elliott, Stella Frank, Khalil Sima'an, and Lucia Specia. Multi30K: Multilingual English-German image descriptions. In Proceedings of the 5th Workshop on Vision and Language, pp. 70-74, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4] Xin Wang, Jiawei Wu, Junkun Chen, Lei Li, Yuan-Fang Wang, and William Yang Wang. Vatex: A large-scale, high-quality multilingual dataset for video-and-language research. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 4581-4591, 2019 .

[5] Ozan Caglayan, Menekse Kuyu, Mustafa Sercan Amac, Pranava Madhyastha, Erkut Erdem, Aykut Erdem, and Lucia Specia. Crosslingual Visual Pre-training for Multimodal Machine Translation. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Short Papers, online, April 2021. Association for Computational Linguistics.

[6] Weiqi Gu, Haiyue Song, Chenhui Chu, and Sadao Kurohashi. Video-guided machine translation with spatial hierarchical attention network. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing: Student Research Workshop, pp. 87-92, Online, August 2021. Association for Computational Linguistics.

[7] Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, and Luke Zettlemoyer. Multilingual denoising pre-training for neural machine translation. 2020.

[8] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J Liu, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, No. 140, pp. 1-67, 2020.

[9] Yihang Li, Shuichiro Shimizu, Weiqi Gu, Chenhui Chu, and Sadao Kurohashi. VISA: An ambiguous subtitles dataset for visual sceneaware machine translation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 67356743, Marseille, France, June 2022. European Language Resources Association.

[10] Ramon Sanabria, Ozan Caglayan, Shruti Palaskar, Desmond Elliott, Loïc Barrault, Lucia Specia, and Florian Metze. How2: a large-scale dataset for multimodal language understanding. In Proceedings of the Workshop on Visually Grounded Interaction and Language (ViGIL). NeurIPS, 2018.

[11] Zhishen Yang, Tosho Hirasawa, Mamoru Komachi, and Naoaki Okazaki. Why videos do not guide translations in video-guided machine translation? an empirical evaluation of video-guided machine translation dataset. Journal of Information Processing, Vol. 30, pp. 388-396, 2022
[12] Pierre Lison and Jörg Tiedemann. OpenSubtitles2016: Extracting large parallel corpora from movie and TV subtitles. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 923-929, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[13] Tosho Hirasawa, Zhishen Yang, Mamoru Komachi, and Naoaki Okazaki. Keyframe segmentation and positional encoding for video-guided machine translation challenge 2020 . arXiv preprint arXiv:2006.12799, 2020

[14] Luyao Huang, Chi Sun, Xipeng Qiu, and Xuanjing Huang. GlossBERT: BERT for word sense disambiguation with gloss knowledge. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3509-3514, Hong Kong, China, November 2019. Association for Computational Linguistics.

[15] Kevin Lin, Linjie Li, Chung-Ching Lin, Faisal Ahmed, Zhe Gan, Zicheng Liu, Yumao Lu, and Lijuan Wang. Swinbert: End-to-end transformers with sparse attention for video captioning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 17949-17958, 2022.

[16] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[17] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[18] Satanjeev Banerjee and Alon Lavie. Meteor: An automatic metric for mt evaluation with improved correlation with human judgments. In Proceedings of the acl workshop on intrinsic and extrinsic evaluation measures for machine translation and/or summarization, pp. 65-72, 2005.

[19] Hideki Isozaki, Tsutomu Hirao, Kevin Duh, Katsuhito Sudoh, and Hajime Tsukada. Automatic evaluation of translation quality for distant language pairs. In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 944-952, Cambridge, MA, October 2010. Association for Computational Linguistics.

[20] Boxing Chen and Colin Cherry. A systematic comparison of smoothing techniques for sentence-level BLEU. In Proceedings of the Ninth Workshop on Statistical Machine Translation, pp. 362-367, Baltimore, Maryland, USA, June 2014. Association for Computational Linguistics.


# 潜在拡散モデルによる変換画像を用いる マルチモーダルニューラル機械翻訳

湯浅 亮也 ${ }^{1}$ 田村 晃裕 ${ }^{1}$ 梶原 智之 ${ }^{2}$ 二宮崇 ${ }^{2}$ 加藤 恒夫 ${ }^{1}$
1 同志社大学 2 愛媛大学
${ }^{1}\{$ ctwh0190@mail4, aktamura@mail, tsukato@mail \}.doshisha.ac.jp
${ }^{2}\{$ kajiwara,ninomiya $\}$ cs. ehime-u.ac.jp

## 概要

本研究では，潜在拡散モデルによる画像変換で 生成した擬似画像を用いる新しいマルチモーダル ニューラル機械翻訳（MNMT）を提案する．MNMT は，原言語文と関連画像に基づき翻訳を行うが，関連画像は必ずしも原言語文の内容のみを表している わけではなく, 関連画像内には原言語文とは無関係 な箇所も存在する場合が多い。そのため, 関連画像 は翻訳の補助情報として最適とは限らない. そこで 提案手法では，原言語文に基づき関連画像を潜在拡散モデルで画像変換することで，原言語文の内容に 沿った疑似画像を生成し，生成した疑似画像を用い て翻訳を行う．Multi30k データセットを用いた英独翻訳実験を行い，提案手法の有効性を確認した。

## 1 はじめに

近年，機械翻訳の分野では，原言語文に加えて関連画像を翻訳に使用する MNMT [1]が注目されてい る. 関連画像により, 翻訳時の曖昧性を解消した り，テキスト情報だけでは捉えることが困難な情報 を補完したりすることで，翻訳性能の改善が期待さ れている. MNMT では, 通常, 画像キャプション 生成のデータセットを多言語に拡張した原言語文 と目的言語文，関連画像の 3 つ組データからなる データセットを使用する. しかし, 画像には様々 な内容が含まれており, 原言語文は関連画像が表 す内容の一部になっている場合が多く, 原言語文 とは無関係な箇所が関連画像に存在する場合も多 い. 図 1 に MNMT の標準的なデータセットである Multi30k データセット [2] の実例を示す. 図 1 のよ うに, Multi30kでは一つの画像に内容の異なる複数 の原言語文が関連づけられている。そして，例え ば，原言語文 2 には関連画像に写っている家に関す
る内容が含まれていない，そのため，関連画像は翻訳の補助情報として最適とは限らない.

そこで本研究では，潜在拡散モデルによる画像変換で生成した擬似画像を用いる新たな MNMT を提案する。具体的には，関連画像と原言語文を用いて 潜在拡散モデルにより画像変換を行い，関連画像か ら原言語文とは無関係な内容を排除し，関連画像を 原言語文に即した内容に変換する。そして，変換さ れた擬似画像を関連画像として用いて MNMT モデ ルで翻訳を行う。このように原言語文の内容をより 反映した関連画像を翻訳の補助情報をして用いるこ とで翻訳の性能改善を試みる。

提案手法の有効性を，Multi30k [2] と Ambiguous $\mathrm{COCO}[3]$ を用いた英独翻訳タスクで検証した. そ の結果，提案手法により，Multi30k の教師データを そのまま用いる従来の MNMT と比較して, Multi30k Test2016 と Test2017 でそれぞれ 0.14, Ambiguous COCO で 0.39，BLEU スコアが改善することを確認 した。また，CLIPScore [4]を用いて関連画像と原言語文の類似度を算出した結果，提案手法で用いた関連画像の方が，変換前の関連画像よりも原言語文に 即した画像であることを確認した。

## 2 従来 MNMT モデル

近年の MNMT では，Transformer [5] ベースの MNMT モデルが主流となっている. その翻訳性能 を改善するため，これまで，視覚的注意機構の導入 [6] や共有エンコーダを用いてテキストと画像の 特徴表現を同時に学習する手法 [7] など様々な試み がなされている．その一つに，関連画像のパッチ と原言語文の単語の関連を捉える注意機構である Selective Attention を用いる Transformer MNMT [8] が 提案されている. 本研究ではベースの MNMT モデ ルとして, この Selective Attention MNMT モデルを

図 1 提案手法の概要図

使用する．以降では，Selective Attention MNMT モデ ルを概説する。

Selective Attention MNMT モデルでは，まず，原言語文 $X^{\text {text }}$ と関連画像 $X^{\mathrm{img}}$ をれぞれ, 式 (1) と式

$
\begin{gathered}
H^{\text {text }}=\text { TextEncoder }\left(X^{\text {text }}\right) \\
H^{\text {img }}=W \text { ImageEncoder }\left(X^{\text {img }}\right)
\end{gathered}
$

ここで，W，TextEncoder，ImageEncoder は，それぞ れ，パラメータ行列, Transformer Encoder, Vision Transformer [9] である.

そして, 式(3)の通り, Selective Attention で画像の パッチと原言語の単語の関連を注意機構で捉える。

$
H_{a t t n}^{\mathrm{img}}=\operatorname{Softmax}\left(\frac{Q K^{T}}{\sqrt{d_{k}}}\right) V
$

ここで， $Q, K, V$ は，それぞれ， $H^{\text {text }}, H^{\text {img }}, H^{\text {img }}$ であり,$d_{k}$ は $H^{\text {text }}$ の次元数である.

その後, Gated Fusion 機構 [10] により, 関連画像 の影響度を制御して原言語文と関連画像を表す特徴

画像の特徵べクトルから式 (4)を用いて関連画像の 影響度をコントロールする $\lambda$ を算出し, 式 (5) のよ うに入で重み付けした特徵表現 $H^{\text {out }}$ を生成する.

$
\begin{gathered}
\lambda=\operatorname{Sigmoid}\left(U H^{\text {text }}+V H_{\text {attn }}^{\mathrm{img}}\right) \\
H^{\text {out }}=(1-\lambda) \cdot H^{\text {text }}+\lambda \cdot H_{\text {attn }}^{\mathrm{img}}
\end{gathered}
$

ここで，Uと $V$ は学習可能なパラメータ行列であ る.そして, $H^{\text {out }}$ Transformer Decoder に入力し,翻訳文を生成する。

## 3 提案手法: 潜在拡散モデルによる 変換画像を用いる MNMT

本節では，原言語文に基づいて関連画像を変換し た擬似画像を使って翻訳を行う MNMT モデルを提案する. 図 1 に提案手法の概要を示す.

MNMT のデータセットは，原言語文と目的言語文，関連画像の 3 つ組データで構成される. 従来使 われているデータセットでは，各原言語文は関連画像が表す内容の一部になっている場合が多く, 原言語文とは無関係な内容が関連画像に存在する場合も 多い，例えば，図 1 の画像は，ピンク色のドレスを 着た少女が階段を上って木造の家に入っている場面 を表しているが，原言語文 1 には階段を上っている という内容は含まれていない。また，原言語文 2 に は家に関する内容は含まれていない。そのため，関連画像は翻訳の手がかりとして最適とは限らない.

そこで提案手法は，まず，潜在拡散モデルにより，関連画像から原言語文とは無関係な内容を排除して 原言語文に即した疑似画像を生成する。そして，生成した疑似画像と原言語文を用いて従来の MNMT モデルにより翻訳を行う。これにより，関連画像と テキストの関連が翻訳時に捉えやすくなり，翻訳性能が向上することが期待できる． 3.1 節では，関連画像を変換する潜在拡散モデルを説明する。 ベース となる従来 MNMT モデルは，実験では，2 節で説明 した Selective Attention MNMT モデルを用いた.

## 3.1 画像変換 : 潜在拡散モデル

提案手法の画像変換で使用する潜在拡散モデル [11]を説明する．潜在拡散モデルは，VAE [12] の潜

図 2 潜在拡散モデルの学習の概要図

在空間に対して拡散モデル [13] を適用させたモデル で，主に VAE，U-Net [14], Text Encoder で構成され る（図 2 参照）。潜在拡散モデルでは，VAE Encoder を用いて入力画像をピクセル空間から低次元の潜在空間に射影し，その潜在表現を得る。そして，拡散 プロセスで潜在表現に対してガウシアンノイズを連続的に付与する. その後, 逆拡散プロセスで，ノイ ズが含まれた潜在表現からノイズを除去する。その 際，U-Net に対して，Text Encoder で変換したテキス トの特徴表現で条件付けを行う。この条件付けは， Cross Attention で実現する. このプロセスを複数回実施することで，ノイズが含まれた潜在表現から 徐々にノイズを除去する。最後に, VAE Decoder に より，ノイズが除去された潜在表現を潜在空間から ピクセル空間に射影して出力画像を得る.

損失関数は式 (6) の通りである.

$
L_{\mathrm{LDM}}:=\mathbb{E}_{\varepsilon(x), y, \epsilon \sim \mathcal{N}(0,1), t}\left[\left.\|\epsilon-\epsilon_{\theta}\left(z_{t}, t, \tau_{\theta}(y)\right)\right.\|_{2}^{2}\right]
$

ここで， $\varepsilon, \epsilon_{\theta}, \tau_{\theta}$ ，は，それぞれ，VAE Encoder, U-Net，Text Encoderを表し， $x, y ， \epsilon, t, z_{t}$ ，は，入力画像，テキスト，ガウシアンノイズ，時刻，時刻 $t$ の潜在表現である.

提案手法では，この潜在拡散モデルにおいて，関連画像と原言語文を，それぞれ，VAE Encoder と Text Encoderの入力にすることで，関連画像を原言語文 に即した画像に変換する。

## 4 実験

## 4.1 実験設定

本実験では，Multi30k と Ambiguous COCO を用い た英独翻訳タスクで提案手法の有効性を検証した。学習・検証データとして, Multi30k の学習データ （29,000 組）と検証データ（1,014 組）を使用し，テ ストデータには，Multi30kの Test2016（1,000 組）と Test2017（1,000 組)，Ambiguous COCO（461 組）を 使用した.

本実験では，3 節で説明した提案手法の翻訳性能 を，関連画像を用いないNMT モデル，関連画像とし てデータセットの画像をそのまま使用した MNMT モデル，原言語文のみから生成した画像を関連画像として使用した MNMT モデルの翻訳性能と比較 した．以降では，各モデルをそれぞれ，MNMT（変換画像)，NMT， MNMT (原画像)，MNMT (生成画像）と記す。

NMT モデルは，Transformer-Tiny 1)を用いた.こ のモデルは，通常の Transformer モデルよりも，レ イヤー数や隠れ層のサイズ，注意機構のへッド数な どを削減した小規模なデータセットに適した NMT モデルである ${ }^{2)}$. ハイパーパラメータは，先行研究 [15] の実験設定に倣い，エンコーダとデコーダのレ イヤー数を 4 ，隠れ層のサイズを 128 ，順伝播層の入 カサイズを 256 ，注意機構のヘッド数を 4 , Dropout を 0.3, label smoothing weight を 0.1 とした. 最適化手法は Adam [16] を使用し, $\beta_{1}=0.9, \beta_{2}=0.98$ とし た. また，学習率は，最初の 2,000 ステップで $1 \mathrm{e}^{-7}$ から $5 \mathrm{e}^{-3}$ まで warmupを線形に行い, その後, 学習回数に応じて学習率を減少させた. 語彙辞書は原言語と目的言語で共有し, Byte Pair Encoding [17]によ りマージ操作を 10,000 回として作成した.

MNMT モデルは, 2 節で説明した Selective Attention

1) https://github.com/LividWo/Revisit-MMT

2）文献[15] では, Multi30k データセットにおいて Transformer Base/Small よりも翻訳性能が高いことが報告されている.
表 1 実験結果 : 英独翻訳（BLEU[\%]）

 &  &  \\

MNMT (原画像) & 41.06 & 32.06 & 27.91 \\
MNMT (生成画像) & 40.81 & 31.81 & $\mathbf{2 8 . 5 4}$ \\
MNMT (変換画像) & $\mathbf{4 1 . 2 0}$ & $\mathbf{3 2 . 2 0}$ & 28.30 \\

MNMT $^{3)}$ を用いた. 画像の特徵抽出には，Vision Transformer の vit_base_patch16_384 ${ }^{4)}$ を使用した。 MNMT（生成画像）やMNMT（変換画像）で行う 関連画像の生成や画像変換には，潜在拡散モ デルをべースとする Stable Diffusion 5)を採用し， モデルは stable-diffusion-v1-5 ${ }^{6)}$ を使用した。実装 には, それぞれ, diffusers ${ }^{7)} の$ StableDiffusionPipeline と StableDiffusionImg2ImgPipeline を用いた. 画像生成では，デフォルトのパラメータを使用し， guidance_scaleを 7.5 , num_inference_steps を 50 として 原言語文から画像を生成した. また，画像変換でも デフォルトのパラメータを使用し, strengthを 0.8 , guidance_scaleを 7.5, 初期値を関連画像として原言語文を用いて画像変換した．学習時のハイパーパラ メータと最適化手法, 語彙辞書作成方法は, NMT モデルの実験設定と同じである.

全モデルにおいて，学習終了直前の 10 エポック のモデルに対して checkpoint averagingを行い，ビー ム幅 5 のビーム探索により翻訳文を生成した. 評価指標は，BLEU [18]を使用した。また，異なる 5 つ の random seed で学習・検証し, 最も検証データに 対する BLEUが高いモデルを評価した。

## 4.2 実験結果

表 1 に実験結果を示す，表 1 より，画像情報を使用しない NMT モデルより，画像情報を使用する 3 種類の MNMT モデルの方が全てのデータセットに おいて BLEUが高いことが分かる。これより, 本実験で用いたデータセットにおいては，画像情報が翻訳性能の改善に寄与することが確認できた.

また，MNMT モデル間の比較では，Test2016と Test2017 においては提案手法である MNMT（変換画像）が最も高い翻訳性能を達成した. Ambiguous

表 2 CLIPScore : 原言語文と関連画像の類似度

 & Ambiguous \\
& 2016 & 2017 & COCO \\

MNMT (変換画像) & 79.74 & 79.35 & 80.08 \\

COCOにおいては, MNMT (生成画像) の方が MNMT （変換画像）よりも高い翻訳性能となったが，全体的には, MNMT (変換画像) の方が良い結果となり,提案手法の有効性を確認した。

## 5 考察

本節では，提案手法で用いた疑似画像（潜在拡散 モデルにより原言語文に基づき関連画像を変換した 画像）を分析する。変換した画像の例は付録 A に 示す. MNMT で使用した画像が原言語文をどれだ け反映していたかを調査するため，使用した画像 と原言語文の類似度を，式（7）の通り算出される CLIPScore [4] を用いて評価する.

$
\operatorname{CLIPScore}(\boldsymbol{c}, \boldsymbol{v})=w \cdot \max (\cos (\boldsymbol{c}, \boldsymbol{v}), 0)
$

ここで, $\boldsymbol{c}$ と は，それぞれ, CLIP [19]の Text Encoder と Image Encoder の特徴べクトルである. また， $w$ は出力をリスケーリングするために使用され，ここ では先行研究 [4] 亿倣い 2.5 とする.

表 2 に評価結果を示す. 表 2 より，全てのデー タセットにおいて，提案手法で画像変換した擬似画像の方が，元々の関連画像よりも原言語文との 類似度が高いことが分かる. 特に，曖昧性を含む Ambiguous COCO では類似度が改善し, CLIPScore が 1.91 向上した. これらの結果から, 提案手法では 原言語をより反映した関連画像を翻訳の手がかりと して利用できることを確認した.

## 6 おわりに

本研究では，潜在拡散モデルにより関連画像を原言語文に即した画像に変換し，変換した画像を用い る新たな MNMTを提案した. Multi30kを用いた英独翻訳タスクによる実験を行い，提案手法の方が従来手法より高い翻訳性能を実現できることを確認 し，提案手法の有効性を確認した．また，MNMTで 使用した画像と原言語文の類似度を CLIPScore で評価し，提案手法で用いた画像の方が元の画像よりも 原言語文に類似した画像であることを確認した. 今後は英独以外の言語対に対しても有効性を検証し たい.

## 謝辞

本研究の一部は JSPS 科研費 JP22K12177, JP21K12031 の助成を受けたものである.また，本研究成果の一部は, 国立研究開発法人情報通信研究機構の委託研究 (No. 225) により得られたもので ある.ここに謝意を表する。

## 参考文献

[1] Lucia Specia, Stella Frank, Khalil Sima'an, and Desmond Elliott. A shared task on multimodal machine translation and crosslingual image description. In Proceedings of the First Conference on Machine Translation: Volume 2, Shared Task Papers, pp. 543-553, 2016.

[2] Desmond Elliott, Stella Frank, Khalil Sima'an, and Lucia Specia. Multi30K: Multilingual English-German image descriptions. In Proceedings of the 5th Workshop on Vision and Language, pp. 70-74, 2016.

[3] Desmond Elliott, Stella Frank, Loïc Barrault, Fethi Bougares, and Lucia Specia. Findings of the second shared task on multimodal machine translation and multilingual image description. In Proceedings of the Second Conference on Machine Translation, pp. 215-233, 2017.

[4] Jack Hessel, Ari Holtzman, Maxwell Forbes, Ronan Le Bras, and Yejin Choi. CLIPScore: A reference-free evaluation metric for image captioning. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7514-7528, 2021.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, Vol. 30, 2017.

[6] Tetsuro Nishihara, Akihiro Tamura, Takashi Ninomiya, Yutaro Omote, and Hideki Nakayama. Supervised visual attention for multimodal neural machine translation. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4304-4314, 2020.

[7] Desmond Elliott and Ákos Kádár. Imagination improves multimodal translation. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 130-141, 2017.

[8] Bei Li, Chuanhao Lv, Zefan Zhou, Tao Zhou, Tong Xiao, Anxiang Ma, and JingBo Zhu. On vision features in multimodal machine translation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 6327-6337, 2022.

[9] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. In International Conference on Learning Representations, 2021.
[10] Zhuosheng Zhang, Kehai Chen, Rui Wang, Masao Utiyama, Eiichiro Sumita, Zuchao Li, and Hai Zhao. Neural machine translation with universal visual representation. In International Conference on Learning Representations, 2020.

[11] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 10684-10695, 2022.

[12] Diederik P. Kingma and Max Welling. Auto-Encoding Variational Bayes. In 2nd International Conference on Learning Representations, 2014.

[13] Jascha Sohl-Dickstein, Eric Weiss, Niru Maheswaranathan, and Surya Ganguli. Deep unsupervised learning using nonequilibrium thermodynamics. In Proceedings of the 32nd International Conference on Machine Learning, Vol. 37 of Proceedings of Machine Learning Research, pp. 2256-2265, 2015.

[14] Olaf Ronneberger, Philipp Fischer, and Thomas Brox. U-net: Convolutional networks for biomedical image segmentation. In Medical Image Computing and Computer-Assisted Intervention - MICCAI 2015, pp. 234-241, 2015.

[15] Zhiyong Wu, Lingpeng Kong, Wei Bi, Xiang Li, and Ben Kao. Good for misconceived reasons: An empirical revisiting on the need for visual context in multimodal machine translation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 6153-6166, 2021.

[16] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In International Conference on Learning Representations (Poster), 2015.

[17] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, 2016.

[18] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[19] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In Proceedings of the 38th International Conference on Machine Learning, Vol. 139 of Proceedings of Machine Learning Research, pp. 8748-8763, 2021.

## A 付録

原言語文

a man grilling meat on an outdoor grilling pit .

原言語文

a young girl in a red dress is wearing a black cowboy hat .

原言語文

a man wearing black and white stripes is trying to stop a horse .

原言語文

one man holds another man's head down and prepares to punch him in the face .

図 3 原言語文を用いて Multi30k の関連画像を画像変換した場合の成功例（左）と失敗例（右）


# マルチモーダル機械翻訳における 画像・入力文間類似度と翻訳品質の相関の分析

佐藤郁子 平澤寅庄 金輝燦 岡照晃 小町守
東京都立大学
\{sato-ayako, hirasawa-tosho, kim-hwichan\}@ed.tmu.ac.jp,
\{teruaki-oka, komachi\}@tmu.ac.jp

## 概要

本研究では，画像・入力文間類似度が低い事例が マルチモーダル機械翻訳 (MMT) に及ぼす影響を調査する. MMT では，画像情報による入力文の曖昧性解消で，翻訳品質の改善を図る. 先行研究ではシ ステムレベルでの翻訳品質改善は限定的であると報告されているが，画像情報の貢献度について事例レ ベルでの定量的な分析は行われていない。そこで本研究では，画像情報が有効な事例の自動識別を目的 に分析を行う．画像・入力文間類似度が低い事例は 画像情報が大力文を補完し, 翻訳品質が改善するこ とが期待できる. その仮説の下，画像・入力文間類似度と画像情報の貢献度の相関を分析し, MMT で 翻訳品質が改善する事例で，負の相関を確認した。

## 1 はじめに

近年，機械翻訳 (MT) において，テキストだけで なく画像情報を利用して翻訳品質を改善するマル チモーダル機械翻訳 (MMT) が注目されている. MT モデルが曖昧性のある文を翻訳する際に，文脈だ けでは情報が不足する場合があるという背景から， MMT では, 画像情報を追加入力することで入力文 の文脈情報を補完し，より正確な翻訳を行う。

システムレベルの評価では MMT モデルの画像情報の貢献はわずかのため, その有効性は議論されて いる $[1,2,3]$. 一方, 事例レベルでの画像情報の貢献は, 参照文と出力文の比較によって定性的に評価 されており，入力を用いた定量的な分析は行われて いない. 入力のみを用いた事例レベルの自動評価が 可能になることにより，分析対象となる事例選択の 効率化や MMT モデルの評価に適したデータ作成を 実現することができる.

本研究では，画像情報が有効な事例の自動評価を

図 1: 画像情報が有効な事例（上）と有効でない事例 (下).画像・入力文間類似度（計算方法は 3 節を参照）は，上の事例が 0.292 ，下の事例が 0.388 である。上の事例では，“take shots”の「写真を撮るハシットグラス を取る」という入力文の曖昧性を，画像情報により 解消している. 下の事例では，画像情報の有無に関 わらず翻訳は正しい。

目的として，定量的に翻訳品質を分析する．MMT では文脈情報の不足を画像で補完することから，有効な事例の画像には入力文にない情報が含まれてお り，その情報量の差分によって画像・入力文間類似度が低くなると考えられる。そこで，「画像情報が 有効な事例では，画像・入力文間の類似度が低くな る」という仮説に基づき，英日翻訳の品質を分析し た. 仮説の概要を図 1 に示す. 実験では，画像・入力文間類似度，画像情報の貢献度の計算を行い，そ れらの相関を確認することで仮説を検証する。

実験の結果より, MMT モデルで翻訳品質が改善 する事例において，画像・入力文間類似度は画像情報の有効性と負の相関があることを確認した。ま た，画像・入力文間類似度が低い事例では，画像情報の入力がノイズになりうることを確認した.

## 2 関連研究

Elliott [4] は，MMT モデルにおいて，入力文と対応する画像，対応しない画像をそれぞれ追加入力さ せたときの性能を分析している。この分析では， 3 つのモデルのうち 2 つでは，対応する画像を入力し た時に性能改善が見られた. Caglayan ら [5] は，入力文にノイズを加え，画像情報の有効性を分析して いる.この分析では，入力文中の名詞をマスクして 文脈情報が限定的な場合，MT モデルより MMT モ デルの方が性能が高く, 画像情報が有効であること がわかった. しかし, 不一致画像の追加入力や入力文劣化は，MMT システムを実際に利用する際の設定に適していない. 本研究では，入力を操作しない 実験設定で，定量的な翻訳品質の分析を行う.

Hatami ら [6] は，WordNet の語義数に基づいて入力文中の全ての名詞の曖昧度スコアを計算し，MT， MMT モデルの翻訳品質との相関を分析している. この分析では, どちらのモデルも, 入力文の曖昧度 スコアが高いほど翻訳品質が低くなり， MMT モデ ルの方が全体の性能が良くなることから，入力文の 曖昧性解消に画像情報が有効であることがわかっ た.しかし，彼らの曖昧度スコアは入力文のみを用 いるため, 追加入力される画像情報の有効性評価に は適していない。そこで本研究では，画像情報の有効性評価のための指標として，画像情報を考慮した 画像・入力文間類似度を提案する。

## 3 分析手法

本研究では入力文 $x$, 参照文 $y$ ，画像 $v$ の三つ組 のテストデータ $D=\left.\{\left(x_{1}, y_{1}, v_{1}\right), \ldots,\left(x_{|D|}, y_{|D|}, v_{|D|}\right)\right.\}$ を用いて仮説を検証する。ここで $|D|$ はテストデー タのサイズを表す。分析手順は以下の通りである.

手順 1. テストデータ内の各入力文とそれに対応す る画像間の類似度集合 $S=\left.\{s_{1}, \ldots, s_{|D|}\right.\}$ を求め る.ここで画像・入力文間類似度 $s_{i}$ は, 画像 $v_{i}$ と入力文 $x_{i}$ をそれぞれ共有潜在空間にエン コードして得たべクトル $\mathbf{v}_{i}$ と $\mathbf{x}_{i}$ の内積である.

手順 2. 画像・入力文間類似度の降順にテストデー タを並べ替え， $N$ 文ずつ $M\left(=\left.\lfloor\frac{|D|}{N}\right.\rfloor\right)$ 組のサブ セット $\left.\{D_{1}, \ldots, D_{M}\right.\}$ に分割する.

手順 3. サブセット $D_{i}$ の (a) 画像 - 入力文間類似度 $s_{D_{i}}$ 及び (b) 画像情報の貢献度 $c_{D_{i}}$ を計算する.

(a) 画像・ 入力文間類似度 $s_{D_{i}}$ は，各サブセット内 の画像・入力文間類似度の平均とする。 (b) 画像情報の貢献度 $c_{D_{i}}$ は，評価指標 $E$ を用いて 以下のように定義する。

$
c_{D_{i}}:=E\left(Y_{D_{i}}^{\mathrm{MMT}}, Y_{D_{i}}\right)-E\left(Y_{D_{i}}^{\mathrm{MT}}, Y_{D_{i}}\right)
$

ここで $Y_{D_{i}}$ はサブセット $D_{i}$ に含まれる参照文 の集合であり， $Y_{D_{i}}^{\mathrm{MMT}}$ と $Y_{D_{i}}^{\mathrm{MT}}$ はそれぞれ $\mathrm{MMT}$, MT モデルの出力文の集合である.

手順 4. 各サブセットの類似度 $s_{D_{i}}$ と貢献度 $c_{D_{i}}$ の 相関を確認する．負の相関であれば，「画像情報が有効な事例では，画像・入力文間の類似度 が低くなる」という仮説が立証される。

## 4 実験

## 4.1 実験設定

データ 本研究は英日翻訳による実験で評価し た. 英語は Flickr30K Entities [7]，日本語は Flickr30K Entities JP [8] を用いる. Multi30K task1 [9] に従い,学習データ 29,000 事例，検証データ 1,014 事例，テ ストデータ (test2016) 1,000 事例に分割し，画像と それに対応したキャプションを用いる. Flickr30K Entities，Flickr30K Entities JP には各画像につきキャ プションが 5 文あり，本実験では 1 文目を使用す る. テストデータ 1,000 事例を 50 文ずつ 20 組のサ ブセットに分割し，サブセットごとに BLEU [10] で 評価を行った. 英語は Multi30K task1 に従ったトー クナイズを行い，日本語は MeCab [11] (IPA 辞書) で 単語分割した. BPE [12] でサブワード分割し, 語彙 サイズは英日共有で 8,000 とした.

モデル 本実験では, 画像・入力文間類似度の指標 がモデルに依存しないことを確認するため, 複数の MMT モデルで実験を行う．テキストベースの MT モデルは，Transformer-Tiny [13] を用いた． MMT モ デルには， Transformer ベースの Attentive multimodal Transformer [14], Gated multimodal Transformer [13] を 用いた. Attentive multimodal Transformerには，テキ ストと画像の文脈ベクトルの連結手法が flat, hierarchical， serial， parallel $の 4$ 種類がある. 画像特徵量には Vision Transformer [15] ベースの事前学習済み画像分類モデル CLIP [16], Faster R-CNN [17], ResNet-50 [18] を用いた. 特徵量の数は，CLIP 及 び ResNet-50 は 1， Faster R-CNN は36である1). MT モデルと MMT モデルのアーキテクチャは，レイ

1）本研究ではこれらのモデルのうち事前実験で BLEU スコ アの高かった上位 3 つを使用する．事前実験で用いたすべて のモデルの BLEU スコアは付録 A に記載する。

図 2: テストデータにおける画像・入力文間類似度の度数分布 ( $D_{1-6}, D_{7-13}, D_{14-20}$ については 4.3 節参照).

表 1: 類似度順のサブセット $D_{1-20}$ 及び $D_{1-13}$ における類似度と貢献度の相関係数.

ヤー数を 4 層，注意機構のヘッド数を 4 個，隠れ 層の次元数を 256 とし，ミニバッチサイズを最大 4,096 トークンに設定した. 最適化手法としては Adam [19]を使用した。

類似度計算 画像と入力文のエンコードには CLIPを用いる。 CLIPでは，インターネット上で収集した 4 億組の画像・自然言語テキストデータに対 して，どのキャプションがどの画像に対応するかを 予測する事前学習を行う. テキストのエンコードに は Transformer [20], 画像のエンコードには ResNet-50 ベースのモデルまたは Vision Transformer ベースの モデルが使われる。本実験では，Vision Transformer ベースのViT-B/32 モデルを使用した. テストデー 夕に対して, CLIPで計算した画像・入力文間類似度 の度数分布を図 2 に示す。

## 4.2 結果

全サブセットでの評価 テストデータ $D$ のサ ブセットを画像・入力文間類似度の高い順から $D_{1}, D_{2}, \ldots, D_{20}$ とし, 全サブセット $\left(D_{1-20}\right)$ におけ る類似度と貢献度の相関係数を表 1 の 3 カラム目 に示す。 $D_{1-20}$ では類似度と貢献度は正の相関であ り， $D_{1-20}$ においては必ずしも仮説が正しいとは言 えない. 我々は画像・入力文間類似度が過度に低い 事例では入力文の意味に合わない画像情報がノイズ になると考え，これを確かめるため各サブセットの 類似度と貢献度の分布を調べた。その結果を図 3 に 示す. 縦軸は MT モデルと MMT モデルの BLEU を

図 3: 類似度順のサブセット $D_{1-20}$ における画像情報の貢献度の分布.

用いた画像情報の貢献度，横軸は各サブセットの画像・テキスト間類似度である. Attentive-hierarchical (CLIP) と Gated (ResNet-50) では, 画像・入力文間類似度が過度に低い 0.3 未満のサブセット $D_{14}$ から MT モデルと MMT モデルの翻訳品質が逆転するサ ブセットが多くなる. 同様に Attentive-hierarchical (Faster R-CNN) では, サブセット $D_{16}$ から MT モデル と MMT モデルの翻訳品質が逆転している. 従って,画像・入力文間類似度が過度に低いサブセットでは 画像情報がノイズになることがわかる.

ノイズとなるサブセット以外での評価 画像情報 により翻訳品質が改善するという前提のもと分析を 行うため，画像情報がノイズとなりうるサブセット を取り除いた実験を行った。翻訳品質が逆転するサ
表 2: 画像・入力文間類似度が 0.3 未満の事例（上段）及び 0.3 以上の事例（中段），高い事例（下段）.

ブセットはモデルによって異なるが分析しやすくす るため，全てのモデルに共通の画像・入力文間類似度の閾値を設けた。具体的には, 画像・入力文間類似度が 0.3 より低いサブセット $D_{14-20}$ は画像情報が ノイズになると仮定し，それらを除いたサブセット $D_{1-13}$ で実験行った. サブセット $D_{1-13}$ における類似度と貢献度の相関係数を表 1 の 4 カラム目に示 す. $D_{1-13}$ では類似度と貢献度は負の相関であるた め，仮説が立証された. すなわち，画像がノイズと なり MMT モデルで翻訳品質が低下する事例を除い た場合，画像・入力文間類似度が小さいほど画像情報の貢献度が大きくなるといえる. これらの実験結果より，画像情報によって翻訳品質が改善する事例 において, 画像 - 入力文間類似度は, 画像情報の貢献度を測る指標として適当であるといえる。

## 4.3 翻訳結果の比較

本節では，画像情報の有効性評価における画像・入力文間類似度の妥当性について分析する. 画像 入力文間類似度を 3 段階 ( 0.3 未満： $D_{14-20}, 0.3$ 以上： $D_{7-13}$ ，高い： $D_{1-6}$ ）に分け，それぞれにおけ る MT と MMT の翻訳結果を表 2 に示す. 画像・入力文間類似度は，上段の事例が 0.289 , 中段の事例 が 0.308 , 下段の事例が 0.368 であり，MMT は Gated (ResNet-50) の出力である. 類似度が 0.3 未満の上段
の事例では，MT が正しい翻訳をしている一方で， MMT は pitch（競技場）を「投球して」と誤訳して おり，画像情報がノイズになっていることがわか る.これは，画像中の人物やボールの個数が多く,画像情報のエンコードが難しいためだと考えられ る. 類似度が 0.3 以上の中段の事例では，MT で抜 け落ちている「二人の幼い男の子を抱いて」という 情報が MMT の出力では補完されていることがわか る.これは，画像情報によって入力文がより適切に エンコードされたためだと考えられる。一方，類似度の高い下段の事例では，MT，MMT どちらの翻訳 も正しく出力されており, 画像情報が不要な事例で あることがわかる.

## 5 おわりに

本研究では，画像・入力文間類似度に着目した MMT の翻訳品質の分析を行った. 英日翻訳の実験結果より, MMT モデルで翻訳品質が改善する事例 において，画像 - 入力文間類似度と画像情報の貢献度に負の相関があることがわかった．また，画像・入力文間類似度が一定の値より低い事例では画像情報がノイズとなりうることがわかった. 今後の課題として，画像情報がノイズとなる事例の自動判別 や，より翻訳品質差との相関が高い評価指標の獲得 に取り組みたい。

## 参考文献

[1] Stig-Arne Grönroos, Benoit Huet, Mikko Kurimo, Jorma Laaksonen, Bernard Merialdo, Phu Pham, Mats Sjöberg, Umut Sulubacak, Jörg Tiedemann, Raphael Troncy, and Raúl Vázquez. The MeMAD submission to the WMT18 multimodal translation task. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, 2018.

[2] Loïc Barrault, Fethi Bougares, Lucia Specia, Chiraag Lala, Desmond Elliott, and Stella Frank. Findings of the third shared task on multimodal machine translation. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, 2018.

[3] Chiraag Lala, Pranava Swaroop Madhyastha, Carolina Scarton, and Lucia Specia. Sheffield submissions for WMT18 multimodal translation shared task. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, 2018.

[4] Desmond Elliott. Adversarial evaluation of multimodal machine translation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, 2018.

[5] Ozan Caglayan, Pranava Madhyastha, Lucia Specia, and Loïc Barrault. Probing the need for visual context in multimodal machine translation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2019.

[6] Ali Hatami, Paul Buitelaar, and Mihael Arcan. Analysing the correlation between lexical ambiguity and translation quality in a multimodal setting using wordnet. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Student Research Workshop, 2022.

[7] Bryan A. Plummer, Liwei Wang, Christopher M. Cervantes, Juan C. Caicedo, Julia Hockenmaier, and Svetlana Lazebnik. Flickr30K Entities: Collecting region-tophrase correspondences for richer image-to-sentence models. International Journal of Computer Vision, Vol. 123, No. 1, pp. 74-93, 2017

[8] Hideki Nakayama, Akihiro Tamura, and Takashi Ninomiya. A visually-grounded parallel corpus with phraseto-region linking. In Proceedings of the Twelfth Language Resources and Evaluation Conference, 2020.

[9] Desmond Elliott, Stella Frank, Khalil Sima'an, and Lucia Specia. Multi30K: Multilingual English-German image descriptions. In Proceedings of the 5th Workshop on Vision and Language, 2016.

[10] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: A method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting on Association for Computational Linguistics, 2002 .

[11] Taku Kudo. MeCab: Yet another part-of-speech and morphological analyzer, 2006. http://taku910.github.io/ mecab/.
[12] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, 2016.

[13] Zhiyong Wu, Lingpeng Kong, Wei Bi, Xiang Li, and Ben Kao. Good for misconceived reasons: An empirical revisiting on the need for visual context in multimodal machine translation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, 2021.

[14] Jindřich Libovický, Jindřich Helcl, and David Mareček. Input combination strategies for multi-source transformer decoder. In Proceedings of the Third Conference on Machine Translation: Research Papers, 2018.

[15] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. In Proceedings of the 9th International Conference on Learning Representations, 2021.

[16] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In Proceedings of the 38th International Conference on Machine Learning, 2021.

[17] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster R-CNN: Towards real-time object detection with region proposal networks. In Advances in Neural Information Processing Systems 28, 2015.

[18] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition, 2016.

[19] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of the 3rd International Conference on Learning Representations, 2015.

[20] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems 30, 2017.

## 付録

## A 全モデルの BLEU スコア

事前実験で用いた全モデルの BLEU スコアを表 3 に示す.

表 3: テストデータに対する各モデルの BLEU. 但し， ResNet-50については Gated multimodal Transformer で は average pool， Attentive multimodal Transformer では last layer を使用した.太字は BLEU スコア上位 3 つ を示す。

## B 類似度と入力文長の関係

各サブセットにおける BLEU スコアを図 4 に示 す. 画像・入力文間類似度と BLEUには負の相関が あり，類似度が低いほど BLEU が高くなることがわ かる．そこで，各サブセットにおける翻訳難易度の 調査を行った．具体的には，各サブセットごとに入力文の平均トークン数を求め, 画像 - 入力文間類似度との相関を分析した. 結果を図 5 に示す. 入力文 の平均トークン数と画像・入力文間類似度には正の 相関があり，入力文の文長が短い事例では，画像 入力文間類似度が低くなることがわかる. 分析結果 より，画像・入力文間類似度は文長に大きく左右さ れることがわかった。より高精度な画像情報の有効性評価のためには，入力文の文長を考慮した指標の 獲得が必要である.

図 4: 類似度順サブセット $D_{1-20}$ における MT モデルと MMT モデルの BLEU.

画像テキスト間類似度

図 5: 画像・入力文間類似度と各サブセットの入力文の平均トークン数.