# 森羅タスクと森羅公開データ

関根聡 ${ }^{1}$ 中山功太 ${ }^{1,2}$ 隅田飛鳥 ${ }^{1}$ 渋木英潔 ${ }^{3}$ 門脇一真 ${ }^{4}$ 三浦明波 ${ }^{5}$ 宇佐美佑 ${ }^{6}$ 安藤まや ${ }^{7}$
${ }^{1}$ 理化学研究所AIP ${ }^{2}$ 筑波大学 ${ }^{3}$ 株式会社 BESNA 研究所
${ }^{4}$ 株式会社日本総合研究所 ${ }^{5}$ 株式会社アティード ${ }^{6}$ Usami LCC ${ }^{7}$ フリー
\{satoshi. sekine, kouta. nakayama, asuka. sumida\}@riken. jp

## 概要

Wikipedia に書かれている世界知識を計算機が扱えるような形に変換することを目的として、2017 年よりWikipediaを構造化する「森羅」プロジェクトを推進している。本プロジェクトは「協働による知識構築(Resource by Collaborative Contribution)」 のスキームに基づき、評価型ワークショップを開催し、参加したシステムの結果を統合してより良い知識にまとめ上げ、それを公開していくことを目指している。森羅 2022 では、日本語のWikipedia ページを分類し、ぺージから指定された属性値情報を抽出し、その情報を該当ページにリンクする 3 つのタスクを行なった。また、本論文ではこれまで森羅プロジェクトで構築した全データを概説するとともに、森羅 2023 の計画を紹介する。

## 1 背景と目的

自然言語理解を実現するためには、言語的及び意味的な知識が必要なことは論を待たない。しかし、大規模な知識の作成は非常に膨大なコストがかかり、 メンテナンスも難しい問題である。名前を中心とした知識において、クラウドソーシングによって作成されている Wikipedia はコストの面でもメンテナンスの面でもそれ以前の百科事典の概念を一新したが、 Wikipedia を構造化知識として活用しようとすると障壁は高い。Wikipedia は人が読んで理解できるように書かれており、計算機が活用できるような形ではないためである。計算機の利用を念頭においた知識ベースには、CYC[11]、DBpedia[12]、YAGO[13]、 Freebase[14]、Wikidata[15]などがあるが、それぞれに解決すべき課題がある。特に CYC ではカバレージの問題、他の知識べースでは、首尾一貫した知識体系に基づいていない構造化の問題がある。この課題を解決するため、私たちは、名前のオントロジー「拡張固有表現」[2][8][9]に Wikipedia 記事を分類し、属性情報を抽出しリンクすることで計算機が利用可能な Wikipedia の構造化を進めている[1][3][4][5][6][7]。

## 2 協働による知識構築

Wikipedia の全データの構造化を人手で行うことはほぼ不可能に近い。特に、日々更新される Wikipedia を対象にしているため、更新作業を考えると現実的ではない。しかし、記事の分類や属性値抽出のような知識構築は様々な機械学習手法によってある程度の精度で自動化できている。そこで、森羅プロジェクトでは多くの機械学習システムが協力し、 より精度の高い構造化知識を半自動的に構築することを目標としている。現在の自然言語処理では「評価型ワークショップ」が数多く行われている。これらは既成のタスクに対する機械学習システムの最適化競争の側面はあるが、これを逆に利用し、構造化知識の作成を行う。つまり、運営者側で訓練データとテストデータを用意し、多くのシステムに評価型ワークショップに参加していただく。この時にテストデータを参加者には知らせないことで、参加者には訓練データ以外の全データを対象に結果を出すという仕組みを取り入れる。また、その結果は共有することを事前に約束してもらう。このようにして出力された結果をアンサンブル学習の手法を用いて、 より信頼できる知識を作る。また、信頼度の低いものを人手で確認訂正する手法や、出力結果を次の学習時の訓練データにするアクティブ・ラーニング、訓練データの作成とシステムの実行を幾度も繰り返すブートストラッピング手法を取り入れることで、多くの参加者と協力しあって、精度の高いリソース作成を実現していくことを目標としている。本スキ一ムは Resource by Collaborative Contribution (RbCC:協働による知識構築) と名付けられ、森羅プロジェクトの最も重要な骨格となっている。

## 3 森羅タスク

森羅による Wikipedia の構造化のためには、それぞれのエンティティーの情報構造を規定する必要がある。そのために「拡張固有表現」を利用する。

## 3.1 拡張固有表現

「拡張固有表現」とは、[2][8][9]によって発表された固有表現に関する定義であり、各固有表現のカテゴリーを表す階層構造と、その固有表現が持ちうる属性情報からなる。階層構造は、「人名」、「地名」、「組織名」、「イベント名」、「地位職業名」といった幅広い種類を含む。また、例えば「地名」には 「河川名」「湖沼名」等の「地形名」や、「星座名」等の「天体名」を含む等、最大 4 階層の下位カテゴリーが含まれる。一方、属性情報はカテゴリー毎に定義された固有表現が持つ属性である。例えば「人名」カテゴリーでは異表記、本名、別名・旧称、国籍などの属性が定義される一方で、「空港名」のカテゴリーでは、国、母都市、年間利用者数、別名、名前の謂れなどが定義される。最新のバージョン 9.0 は森羅タスクのために Wikipedia に即して調整したものであり、246 種類の末端カテゴリーが定義され、 このうち 178 種類のカテゴリーには特有の属性情報も定義されている。階層構造の全カテゴリーと属性定義の抜粋を、付録の図 1 および表 1 に掲載する。 すべての定義を含む詳細は[2]を参照されたい。

## 3.2 三種類のタスク

構造化は 3 つのプロセスに分解でき、評価型ワー クショップではそれぞれをタスクとして実施する。

1) 分類

Wikipedia の各ページを拡張固有表現の末端カテゴリーに分類する。例えば「島崎藤村」は人名、彼の作品の「嵐」は「書籍名」などである。

2) 属性値抽出

分類されたページから拡張固有表現定義で規定された属性の値を抽出する。例えば「島崎藤村」 の「本名」は「島崎春樹」で、「作品」には上記の「嵐」が含まれる、などである。

3） エンティティーリンキング（リンク）

抽出された属性値に対して、その値を表す Wikipedia のページをリンクする。例えば、上記の「島崎藤村」の「作品」として抽出された「嵐」 を該当する書籍の「嵐」のページにリンクする。

## 3.32018 から 2022 に行った 9 タスク

森羅の評価型ワークショップは 2018 年に始まり、 2022 年まで 9 タスクを実施してきた。表 2 にタスクの一覧を示す。2018 年から 3 年間は、カテゴリー数を拡張しながら属性値抽出タスクを行なった。また、 2020 年から 2 年間は構造化知識の多言語化を目指して、アクティブユーザー数の多い 30 言語の Wikipedia のすべてのぺージを拡張固有表現に分類するタスクを実施した。 2021 年にはリンクタスクを実施した。2022 年は日本語 Wikipedia を対象に 3 つのタスクを同時に実施することにより、Wikipedia の構造化を End-to-End で行うことを目指した評価型ワ ークショップを実施した。

表 2. 5 年間に行なった 9 タスク

 & 日本語 &  \\

## 4 森羅 2022

森羅 2022 では、日本語の Wikipediaを対象に分類、属性値抽出、エンティティーリンキング（リンク)タスクの 3 つのタスクを実施した。基本的に Endto-Endのタスクとし、エラーが含まれた前段階の夕スクの出力を基にしたタスク設定とした。したがって、例えば、あるページの分類が「河川名」ではなく「湖沼名」と間違っていたとしても、その属性値抽出において共通の属性、例えば「所在地」の属性を正しく抽出できれば、その結果は正解とすることにした。この目的のため、拡張固有表現のカテゴリ一横断の属性定義の共通化を行なった。分類タスクは後述のワークショップを通して多くの参加者を得たが、属性值抽出とリンクタスクは参加者が非常に少ないことが事前に分かっていたため、Wikipedia 全体を対象とした評価は実施せずに終了した。

## 4.1 スケジュールとリーダーボード

森羅 2022 は以下のスケジュールで実施した。

2022 年 5 月 12 日 : キックオフミーティング \&

データ公開、リーダーボードオープン

2022 年 8 月 4,10 日：ワークショップ（後述）

2022 年 9 月 30 日, 10 月 27 日：ワークショップ 2

2022 年 11 月 14 日 : 実行結果の提出締切

2023 年 1 月 18 日：ワークショップ (報告会)

なお、 $\mathrm{RbCC}$ によるリソース作成には参加者にシステムの全出力を提出してもらうことが鍵となるが、

一方で参加者にとっては全ページを予測するのは計算機資源や処理時間の面から負担となる。そこで、一部のみの提出が可能なリーダーボードを作成し、 システムの評価をスムーズに行えるようにした。

図 2.リーダーボードのスナップショット

## 4.2 ワークショップと参加者

森羅プロジェクトの一環として、深層学習を用いた自然言語処理に取り組みたい学生、研究者、社会人を対象として、サンプルプログラムを提供、解説し、 1 週間から 1 ケ月をおいて参加者が独自に改良する形のワークショップを開催した。1回目は森羅の分類タスクを題材とし 8 月に行い、登録者は 381 人と大盛況の会となった。2 回目は「属性値抽出」 を意識した「固有表現抽出」を題材とし 9〜10 月に行い、登録者は 201 人であった。ワークショップで使用した資料と当日の録画はホームページにて公開しているi。森羅 2022 ではこのワークショップに関係した参加者が多く、主催者のシステムを含め、分類タスクでは 59 システム、属性值抽出タスク、リンクタスクではそれぞれ 3 システムの提出があった。

## 5 森羅公開データ

5 年間の森羅プロジェクトで作成した学習データ、参加者の出力データなどの大部分を森羅ホームペー ジ[1]にて公開している。

## 5.1 日本言語分類データ

日本語 Wikipediaを拡張固有表現に分類したデー 夕は表 3 の通り、拡張固有表現のバージョンの違い 3 種類がある。拡張固有表現は属性值抽出タスクの進展と共に変化しており、今後使われる方は「2022 分類」データを使われることをお勧めする。

表 3. 森羅日本語分類データ

 &  & ページ数 \\

## 5.2 多言語分類データ

2020-ML、2021-ML の多言語分類タスクで利用、作成された 2 種類のデータを公開している。一つは 5.1 で説明した「2020 分類」データとWikipedia の言語間リンクを辿って作った 30 言語分のトレーニングデータである。表 4 にその統計情報を記載した。公開データには「日本語からのリンク数」の合計の 502 万 9617 ページが含まれている。二つ目のデータは、 30 言語の 3255 万 5929 ページに対する 12 システムの出力である。

## 5.3 属性值抽出データ

属性值抽出タスクは、森羅 2018、2019、2020-JP、 2022 で実施され、その度にトレーニングデータを 5 、 30、43、100 カテゴリーずつ増やしてきた。それらのカテゴリーに対して拡張固有表現も改良され、デ一夕も整備された。したがって、2020 年に公開されたデータが最も一貫性があり全てを包含しているデ一夕となっているため、表 5 にそのデータの概要を紹介する。公開データにはそれぞれの Wikipedia 記事が付随しているが、作成時期により Wikipedia バ ージョンが異なっていることに注意されたい。

表 4. 30 言語の Wikipedia 統計情報森羅公開データ（2020 多言語分類）

 & 言語 & 記事数 &  & 言語 & 記事数 &  \\

表 5. 森羅日本語属性値抽出データ (2022 属性)

 & 910,567 \\

システム出力結果として、森羅 2020-JP タスクに参加した 13 システムの出力結果を公開している。 35 カテゴリーの 470, 772 ページを対象としたデータであり、336 種類の属性に対して、インスタンス数として 6, 089, 547 の属性値のデータとなっている。 アンサンブル学習などの実験に利用できる。

## 5.4 リンクデータ

リンクタスクは $2021 、 2022$ で実施し、表 6 にある教師、開発データの 3 種類のデータを公開している。

## 6 森羅 2023 タスク

森羅 2023 では、2022 と同様に日本語を対象にした3つのタスクを実施する予定である。ただし、2022 で参加者の少なかった属性値抽出とエンティティー
リンキングの参加のための敷居を低くすることを主な目的として下記の改良を加えることを考えている。

- 属性値抽出、リンクタスクでは、すべての Wikipedia 記事を対象とするのではなく、特定のカテゴリーなど限定された記事を対象に参加することを可能とする

- 機械学習がより精度高くなるように学習デー タを拡充する

- 前段階の間違えを含んだデータを対象に Endto-End タスクだけではなく、前段階の正解デー タに基づいて参加できる仕組みを作る

- 多くの開発データを配布し、参加者が詳細な分析をできるようにする

- データの一貫性、前処理の簡易化を検討する

- 森羅データを利用した応用システムのデモタスクを用意する

## 7 まとめ

Wikipedia の構造化データ「森羅」の作成を目指したプロジェクトを推進している。前述の通りこのプロジェクトは多くの方の協力なくしては進まない。 これまでの森羅のタスクにご協力いただいた皆様、特に評価にご参加いただいた全ての団体にはここで感謝を申し上げたい。今後もより深い知識処理を実現するためにも、本プロジェクトに多くのご協力をいただけるようにお願い申し上げたい。

表 6. 森羅日本語リンクデータ

## 謝辞

本研究は JSPS 科研費 JP20269633 の助成を受けたものです。

## 参考文献

1. SHINRA-HP. 森羅プロジェクトホームページ: http://shinra-project.info.

2. ENE-HP. 拡張固有表現ホームページ: http://ene-project.info.

3. 関根聡, 小林暁雄, 安藤まや, 馬場雪乃, 乾健太郎. Wikipedia 構造化データ「森羅」構築に向けて.言語処理学会第 24 回年次大会(2018)

4. Satoshi Sekine, Akio Kobayashi, and Kouta Nakayama. 2019. SHINRA: Structuring Wikipedia by Collaborative Contribution. In Proceedings of the 1 st conference on the Automatic Knowledge Base Construction AKBC-2019.

5. 小林暁雄, 関根聡, 安藤まや. Wikipedia 構造化プロジェクト「森羅 2018」言語処理学会第 25 回年次大会(2019)

6. 小林暁雄, 中山功太, 安藤まや, 関根聡. Wikipedia 構造化プロジェクト「森羅 2019」.言語処理学会第 26 回年次大会(2020)

7. 関根聡, 安藤まや, 小林暁雄, 松田耕史, Duc Nguyen，鈴木正敏，乾健太郎「拡張固有表表現 +Wikipedia」データ（2015 年 11 月版 Wikipedia 分類作業完成版）.言語処理学会第 24 回年次大会(2018)

8. 関根聡, 竹内康介. 拡張固有表現オントロジー.言語処理学会第13回年次大会ワークショップ 「言語的オントロジーの構築・連携・利用」 (2007)
9. Satoshi Sekine, Kiyoshi Sudo, and Chikashi Nobata (2002). Extended named entity hierarchy. In the Third International Conference on Language Resources and Evaluation (LREC'02).

10. Satoshi Sekine. 2008. Extended Named Entity Ontology with Attribute Information. In Proceedings of the Sixth Internationa Conference on Language Resource and Evaluation (LREC08).

11. Douglas B. Lenat. CYC: a large-scale investment in knowledge infrastructure. ACM 38, pp. 32-38.

12. Lehmann, J., Isele, R., Jakob, M., Jentzch, M., Kontokostas, D., Mendes, P.N., Hellman, S., Morsey M., Kleef, P., Auer, S. and Bizer, C. DBpedia - A Large-scale, Multilingual Knowledge Base Extracted from Wikipedia. Semantic Web Journal, 6(2) :167-195

13. Farzaneh Mahdisoltani, Joanna Biega, Fabian M. Suchanek. YAGO3: A Knowledge Base from Multilingual Wikipedias. Proceedings of the Conference on Innovative Data Systems Research (CIDR 2015).

14. Bollacker, K., Evans, C., Paritosh, P., Sturge, T. and Taylor, J. Freebase: a collaboratively created graph database for structuring human knowledge. Proc. International conference on Management of data (SIGMOD '08). ACM, pp.1247-1250.

15. Vrandečić, D. and Krötzsch, M. Wikidata: a free collaborative knowledgebase. Commun. ACM57, pp. 78-85

## A 付録

図 1. 拡張固有表現定義（バージョン9.0）における階層定義

表 1. 拡張固有表現定義（バージョン9.0）における属性定義（一部抜粋）

 &  \\


# 症例テキスト間の論理推論における病名知識補完の試み

村上夏輝 ${ }^{1}$ 石田真捺 ${ }^{1}$ 谷中瞳 ${ }^{2}$ 戸次大介 ${ }^{1}$ 1 お茶の水女子大学 2 東京大学 \{murakami.natsuki,ishida.mana, bekki\}@is.ocha.ac.jp hyanaka@is.s.u-tokyo.ac.jp
## 概要

医療分野には電子カルテなどの症例テキストが多く存在しており、これらを用いた自然言語処理の研究が行われている。その一つに、意味解析・論理推論システム ccg2lambdaを用いた症例テキストの含意関係認識の研究があるが、既存の推論システムでは、入力文に病名などの医療ドメイン特有の言い換え表現が含まれていた場合、含意関係を正しく判定することができなかった。そこで本研究では定理証明に不足する言い換え表現の候補を病名の固有表現抽出器と万病辞書を用いて特定し、病名の同値関係を公理として補完する手法を提案する。評価実験の結果、提案手法では推論テストセット 108 件のうち、 73 件について正しく推論を行うことができた。

## 1 はじめに

医療分野には画像所見や電子カルテといった電子化されたテキストが多く存在しており、これらを用いた自然言語処理の研究は活発に行われつつある $[1,2]$ 。その一方で、否定や量化といった深い意味を考慮した医療言語処理技術は未だ発展途上にある。

症例テキストを有効活用する手法として、症例テキスト間の含意関係認識が考えられ、その取り組みの一つに石田らのシステム [3] がある。石田らのシステムは、組合せ範疇文法 (Combinatory Categorial Grammar, CCG) [4, 5] に基づく頑健かつ高精度な構文解析と、高階論理に基づく自動推論システムを組み合わせた意味解析・論理推論システムである ccg2lambda [6] をべースとした推論システムである。従来の ccg2lambdaでは、複合語が一語として扱われてしまうことで、複合語内の意味的な関係を解析できないという問題点があった。この問題点に対して、石田らのシステムでは ccg2lambda に複合語解析モジュールを追加することで解決を図った。石田らの複合語解析モジュールは、ccg2lambda の構文解析で得られた CCG 構文木から複合語を抽出し、複合語意味現象タグ分類モデルを用いて複合語内の意味関係を表す意味現象タグを付与する。そのタグを元に複合語内の意味関係を考慮した意味表示を導出し、複合語を含む症例テキスト間の推論を実現した。

しかし、石田らのシステムでは症例テキストによって病名表記の摇れがあった際に推論を行うことができないという問題がある。例えば、「深部静脈血栓症」という病名には、「DVT」や「ホーマンズ徴候」といった複数の表記が存在し、症例テキストによって表記が異なる。前提文が「DVT 発症を認めた。」、仮説文が「深部静脈血栓症を発症した。」である場合、経験的には前提文は仮説文を含意するが、 この含意関係を示すためには、「DVT は深部静脈血栓症である」という知識を定理証明の際に補完する必要がある。そこで本研究では、病名の固有表現抽出器と万病辞書 [7] を用いて定理証明に不足する言い換え表現の候補を特定し、病名の同値関係を公理として補完する手法を提案する。また、病名の知識補完が必要な推論テストセットを構築し、提案手法の有効性を評価する。

## 2 提案手法の全体像

提案手法の全体像を図 1 に示す。石田らのシステ么は構文解析、複合語解析、意味解析、定理証明から構成される。本研究では、医療ドメインの知識補完を行うモジュールを石田らのシステムに追加する。知識補完モジュールでは、まず入力文に対して、汎用言語モデルに基づく固有表現抽出器を用いて病名の固有表現抽出を行う。抽出された病名に対して、万病辞書内の病名の出現形欄について完全一致検索を行い、病名と出現形が一致した場合、万病辞書内の病名に関する知識を公理として定理証明器 Coq [8] に追加する。追加する公理は形態素間の意味関係によって異なるため、石田らの複合語意味現象タグ分類モデルによって生成される複合語の意味現象タグを確認し、意味現象タグと万病辞書の知識

図 1 提案手法の全体像

表 1 標準病名欄が「深部静脈血栓症」である万病辞書の例

に応じて公理を導出してから補完を行う。

## 3 病名の知識補完

## 3.1 万病辞書

本研究における病名の知識補完には万病辞書を用いる。万病辞書は、医療従事者が電子カルテに記録した経過記録と退院サマリから、症状や病名に関連する語を広く抽出したデータである。病名の正式名称だけでなく、略記や英語名を含めた、362,866 件の病名用語が収録されている。

表 1 に万病辞書の標準病名欄が「深部静脈血栓症」である例を示す。万病辞書は左から、病名の出現形、出現形よみ、ICD10コード、標準病名、信頼度レベル、頻度レベルが記載されている。ICD10コー ドと標準病名は ICD10 対応標準病名マスター1)を参照している。

## 3.2 病名の固有表現抽出

## 3.2.1病名の固有表現抽出データセット

固有表現抽出器の学習を行うために、症例テキストを用いて固有表現抽出データセットを構築した。症例テキストには、J-Stage でオープンアクセス公開されている症例報告論文 PDF から OCR 抽出した症例報告コーパスである J-MedStd-CR ${ }^{2}$ を用いる。本研究では J-MedStd-CR の 2626 文に対して、文中に現れる万病辞書の出現形を人手でアノテーションし

1) http://www2.medis.or.jp/stded/byomei/index.html

2) https://sociocom.naist.jp/medtxt/cr/
た。以下にアノテーションの例を示す。

## 3.2.2 固有表現抽出の関連研究

病名の固有表現抽出の関連研究として五井野ら [9] や MedNER[10] がある。五井野らでは、 BERT[11] と CRF を用いて病名、症状とそのモダリティ (5 種類) の固有表現抽出とモダリティ推定を行っている。BERT には東北大学が公開している 3 種類の BERT(tohoku-charBERT, tohoku-BERT, tohoku-wwm-BERT) と東京大学が公開している日本語の医療文書で事前学習を行った UTH-BERT ${ }^{3}$ を用いて比較実験を行っている。MedNER では、患者のために書かれた医学研究論文の一種である症例報告 100 文書、放射線科医によって書かれた一種の臨床文書である読影所見 72 文書を学習データとして用いており、少ないリソースを用いた固有表現抽出を行っている。

## 4 病名の知識補完が必要な推論テス トセットの構築

本研究では病名の知識補完が必要なテストセットを構築し、提案手法の評価を行う。表 2 に推論テストセットの例を示す。テストセットの構築には、症例報告コーパスである J-MedStd-CR 内の病名が現れ

3) https://ai-health.m.u-tokyo.ac.jp/home/research/uth-bert
表 2 推論テストセットの例（太字箇所は含意関係の判定に必要な病名知識）

表 3 実験に使用する RoBERTa モデル

る文のうち、万病辞書の病名の出現形と標準病名が異なる文を用いる。簡略化した文を仮説文、仮説文の病名箇所を標準病名に変えたものを前提文とした文ペアを人手で作成し、合計 108 ペアからなる推論テストセットを構築した。

## 5 実験

## 5.1 実験概要

固有表現抽出の実験概要固有表現抽出器を作成するにあたって、表 3 に示す 3 つの RoBERTa[12] を用いて固有表現抽出器を構築し、実験を行った。理化学研究所から公開されている Japanese RoBERTa base $^{4}$ (以下、理研モデル) は日本語 Wikipedia のみを事前学習に使用しており、Tokenizerには単語分割に MeCab[13]、サブワード分割に BPE[14] を用いている。rinna 社が公開している japanese-robertabase[15](以下、rinna モデル) と早稲田大学が公開している roberta-large-japanese ${ }^{5}$ (以下、早稲田モデル) は日本語 Wikipedia と CC-100 の日本語部分を事前学習に使用している。Tokenizer は、単語分割には Juman++[16]、サブワード分割には sentencepiece[17] を使用している。

固有表現抽出器は、症例テキスト内の 2303 文を学習データとして用い、そのうち $85 \%$ 開発デー タ、 $15 \%$ 検証データとして汎用言語モデルのファインチューニングを行い構築した。この学習デー タには病名の出現形が 2551 件出現している。評価データには、同じく J-MedStd-CR の症例テキスト内からランダムで抽出した 326 文を用いた。この 326 文は学習データとの重複はない。

推論システムの実験概要推論システムには石田らのシステムを用いる。石田らのシステムの複合語意味現象タグ分類モデルには、BiLSTM[18] と BERT[11]を用いている。BERTには日本語の Wikipedia のデータを用いて学習された、東北大学が公開しているモデル6)を使用している。Tokenizer は MeCab+WordPiece である。本研究の提案システムの有効性を評価するために、石田らのシステム十知識補完モジュールありと石田らのシステム十知識補完モジュールなしでの比較を行う。

## 5.2 病名の固有表現抽出モデルの評価

実験では表 3 の 3 つの BERTに対して、固有表現抽出データセットで学習を行い、評価を行った。また、関連研究の MedNER に対して評価データセッ卜を用いて比較を行った結果を表 4 に示す。病名の予測精度としては理研モデルのスコアが一番高かった。rinna モデルに関しては病名は抽出できているものの前後の関係ないものまで抽出していた。 また、早稲田モデルは抽出された病名が途中で区切られているものが見られた。MedNER に関しては、「壊死を伴う肉芽種」の「壊死」と「肉芽種」や、「疼痛と掻痒」の「疼痛」と「搔痒」といった近くに並んだ病名をまとめて抽出する傾向があった。本研究で作成した評価データセットは、病名単体を一つずつアノテーションしたため f1-score が下がったと考えられる。

この実験を経て、提案手法に組み合わせる固有表現抽出器には最も性能の良かった理研モデルを採用する。

6) https://huggingface.co/cl-tohoku/bert-base-japanese
表 4 病名の固有表現抽出の実験結果

表 5 エラーのタイプと文ペアの例

図 2 「四肢疼痛が増悪した」の構文解析結果

## 5.3 知識補完した推論の評価

構築した推論テストセットを用いて、石田らのシステムと、石田らのシステムに知識補完モジュールを追加した提案システムとで推論の精度比較を行った。表 6 に推論の評価結果を示す。

石田らのシステムでは正しく推論を行える例がなかったのに対して、提案システムでは 108 件中 73 件のテストセットについて正しく推論を行うことができた。

提案システムが推論に失敗してしまった例についてエラー分析を行った。表 5 にエラーのタイプと文ペアの例を示す。形態素解析によるエラーでは、名詞として扱いたい「ほてり」や「すくみ足」の「すくみ」という形態素に対して、形態素解析器である Janome は動詞と判定した。そのため、意味解析の際に「ほてる」「すくむ」といった動詞で扱われてしまい、定理証明で追加した公理が適用されず推論に失敗してしまった。構文解析によるエラーについては、例を図 4 に示す。「四肢疼痛」は病名であるため「四肢」と「疼痛」は先に結合する必要があるが、構文解析の結果、「疼痛が増悪した」が先に結合し、 その後「四肢」と結合している。このように病名部分の $\mathrm{CCG}$ 木が正しく構築されておらず、正しく推論が行えない例がみられた。固有表現抽出によるエラーでは、「interface hepatit i s」から「int e r f a c」のように、語の途中で途切れて抽出してしまうか、もしくは抽出ができなかったため、正しく推論が行えなかった。

## 6 おわりに

本研究では、石田らで提案された意味解析・論理推論システムに対して、医療ドメインの知識補完モジュールを追加し、推論システムを構築した。具体的には、病名の固有表現抽出を行ったのち、抽出された病名に対して万病辞書を用いて知識検索を行い、検索結果に基づいた公理を石田らのシステムの定理証明器に追加するという知識補完モジュールを作成した。また、固有表現抽出を行うモデルの学習のために病名の固有表現抽出データセット、医療ドメインの知識が補完された推論システムの評価を行うための推論テストセットを構築した。構築したテストセットを用いて推論システムの評価を行った結果、推論テストセット 108 件のうち、73 件について推論を正しく行うことができた。今後の課題として、固有表現抽出データセット、推論テストセットの拡張を行うとともに、知識補完モジュールの改良によって推論システムのさらなる性能向上を目指す。

謝辞. 本研究の一部は, 政策科学総合研究事業 (臨床研究等 ICT 基盤構築・人工知能実装研究事業) 21AC5001，および JST さきがけ JPMJPR21C8，JSPS 科研費 JP20K19868 の支援を受けたものである.

## 参考文献

[1] 荒牧英治, 岩尾友秀, 若宮翔子, 伊藤薫, 矢野憲, 大江和彦. 症例検索システムの試行運用に基づいた利用
状況に関する基礎的検討. 医療情報学, Vol. 38, No. 4, pp. 245-256, 2018 .

[2] 土井俊祐, 木村隆, 関根正樹, 鈴木隆弘, 高林克日己,田村俊世. 学会ホームページにおける類似症例検索システムの実運用と評価. 生体医工学, Vol. 49, No. 6 , pp. 870-876, 2011.

[3] 石田真捺, 谷中瞳, 戸次大介. 日本語症例テキストの複合語解析と論理推論. 第 36 回人工知能学会全国大会論文集. 一般社団法人人工知能学会, 2022.

[4] Mark J. Steedman. The Syntactic Process. The MIT Press, 2000.

[5] 戸次大介. 日本語文法の形式理論：活用体系・統語構造・意味合成. くろしお出版, 2010.

[6] Pascual Martínez-Gómez, Koji Mineshima, Yusuke Miyao, and Daisuke Bekki. ccg2lambda: A Compositional Semantics System. In Proceedings of ACL 2016 System Demonstrations, pp. 85-90, 2016.

[7] 荒牧英治, 若宮翔子, 河添悦昌. カルテ情報の自動構造化システムと疾患数理モデルの逐次的構築, 及び,自動構造化機能を有した入力機構の開発. 医療情報学, Vol. 40, No. 1, pp. 12-13, 2020.

[8] Yves Bertot and Pierre Castéran. Interactive Theorem Proving and Program Development: Coq'Art: The Calculus of Inductive Constructions. Springer Science \& Business Media, 2013.

[9] 五井野玩也, 濱上知樹. Bert を用いた医療文書からの固有表現抽出. 第 48 回知能システムシンポジウム, 2021.

[10] Tomohiro Nishiyama, Mihiro Nishidani, Aki Ando, Shuntaro Yada, Shoko Wakamiya, and Eiji Aramaki. NAISTSOC at the NTCIR-16 Real-MedNLP Task. In Proceedings of the 16th NTCIR Conference on Evaluation of Information Access Technologies, 2022.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018

[12] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. ArXiv, Vol. abs/1907.11692, , 2019

[13] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to japanese morphological analysis. In Proceedings of the $\mathbf{2 0 0 4}$ conference on empirical methods in natural language processing, pp. 230-237, 2004.

[14] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural Machine Translation of Rare Words with Subword Units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725. Association for Computational Linguistics, 2016.

[15] 趙天雨, 沢田慶. 日本語自然言語処理における事前学習モデルの公開. 人工知能学会研究会資料言語・音声理解と対話処理研究会, Vol. 93, pp. 169-170, 2021.

[16] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Juman++: A morphological analysis toolkit for scriptio continua. In Proceedings of the 2018 Con- ference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59. Association for Computational Linguistics, 2018.

[17] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. arXiv preprint arXiv:1808.06226, 2018 .

[18] Peilu Wang, Yao Qian, Frank K Soong, Lei He, and Hai Zhao. Part-of-speech tagging with bidirectional long shortterm memory recurrent neural network. arXiv preprint arXiv:1510.06168, 2015.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 事前学習済み言語モデルによるエンティティの概念化

坂田将樹 1,2 横井祥 1,2 Benjamin Heinzerling ${ }^{2,1}$ 乾健太郎 ${ }^{1,2}$
1 東北大学 2 理化学研究所
sakata.masaki.s5@dc. tohoku.ac.jp
benjamin.heinzerling@riken.jp, \{yokoi, kentaro.inui\}@tohoku.ac.jp

## 概要

事前学習済みマスク言語モデルは，事実知識に関する穴埋め問題に正答できるなど，エンティティを含むテキストをある程度うまく処理することができる. 果たしてこの挙動は言語モデルがエンティティを人間同様に「知っている」証拠となりうるのだろうか? 本研究では，言語モデルがエンティティを概念化できているか，すなわち異なる文脈や表層をもって言及される同一のエンティティを同一の事物として認識できているかどうかについて，その内部表現が十分に密で他と分離されたクラスタを成しているかという視点で検証を行った. BERTを対象とした実験の結果，約 7 割のエンティティについて， その埋込表現が他の概念と完全に分離したクラスタを形成していること（すなわち内部表現の意味での概念化に成功していること）が確認できた. ${ }^{1)}$

## 1 はじめに

近年登場した事前学習済みマスク言語モデル [1,2] は，実世界の事物であるエンティティを含むテキストをうまく処理できているように見える. 例えば BERT [1] は "Hillary Clinton was born in [MASK]." という入力に対して，“Chicago”という実世界の事実と整合した出力を返すことができる $[3,4]$.

しかし，このように言語モデルがエンティティを含む個別のテキストをある程度の精度で「処理できる」という事実は，モデルがエンティティを人間同様に「知っている」証拠となりうるのだろうか. 本稿では，マスク言語モデルがどの程度エンティティについて「知って」いるかについてある程度明らかにすることを試みる。 もしモデルのエンティティに対する理解を正確に把握する手段が手に入れば，モデルの解釈性が上がり, さらに高品質な言語モデル

図 1 エンティティの概念化の測定の概要

の実現に繋がり得るだろう。

我々は検証の第一歩として概念化という考え方を採用する. エンティティを「知っている」人間は,同一のエンティティが異なる周辺文脈で言及されたときでも，あるいは同一のエンティティを指し示すために異なるメンション（文字列）が用いられたときでも，それらを同一のものだと正しく認識できる. 例えば “Barack Obama was born in Hawaii.” と “Barack Hussein Obama was elected...” に登場する人名を同じ人物（同じ概念）であると認識できる. すなわちエンティティを概念化できている。はたしてマスク言語モデルは人間同様の概念化をおこなえているのだろうか？この問いに答えるため, 本研究では，同一のエンティティに対する内部表現が十分に密な（他と分離された）クラスタを成しているかという視点での検証をおこなう．言い換えれば，マスク言語モデルがエンティティをどの程度概念化しているかという問いに，埋め达み空間の配置を通じて答えることを試みる。本論文の貢献をまとめると以下の通り：

・事前学習済みマスク言語モデルがエンティティを概念化できているかについて，同一の事物に対応するエンティティが埋め込み空間で他の埋め込みと混ざり合っていないかという観点で定量的に評価する方法を提案した.

・BERTを対象とした検証の結果，エンティティ

の周辺文脈やメンションが多様である場合でも，約 7 割のエンティティは他の概念と区別できていたことがわかった.

## 2 関連研究

言語モデルの内部表現の分析手法言語モデルの内部表現に言語的特徴が反映されているかを分析している先行研究として, [5] と [6] が挙げられる. [5] は，普通名詞や動詞の語義によって文脈化単語埋め込みの位置が異なることを可視化によって定性的に示した. [6] は, 言語の持つ特徴が単語埋め込み空間に反映されているかを明らかにするために，教師なしクラスタリングを用いた分析手法を提案した.

我々は [5] と [6] とは異なり, 新たにエンティティの情報がモデルの内部表現に反映されているかを探る. また, [6] の手法は生成されたクラスタが分離可能か不可能かの 2 值しかわからないため, 各クラスタがどの程度混ざっているのかは測定できない. したがって, 本研究ではエンティティが埋め込み空間で他の埋め込みと混ざっているか，もしくは分離しているかについて連続評価を行う。

## 言語モデルにエンコードされている情報の分析手

法言語モデルにエンコードされている情報を分析する手法には，内部表現の分析の他にプロンプトを用いる手法がある $[3,4]$. 例えば, “Paris is the capital of [MASK]." というプロンプトに対して“France”が出力されるかによって, 言語モデルが持つ事実知識を測定している。ただし，プロンプトから得られる評価は信頼性に欠ける可能性が指摘されている. 具体的には，プロンプトが意味的に同じであっても，予測結果が異なる点 [7] や, 各モデルによって, 正解しやすいプロンプトの選好が存在する点 $[8]$ が報告されている. よって, 本研究ではプロンプトを用いずにモデルの内部表現を直接分析する.

また，内部表現を分析する手法は言語モデルが 「知って」いることは測れていても，「使っている」 ことを正しく測れているかはわからない点が指摘されている [9]. そこで, [9] は「知って」いることと「使って」いることを切り分けて分析する立場をとっている. 我々も [9] と同じ立場をとる。つまり，言語モデルがエンティティに関する情報を「知って」いることと，それを認識した上で情報抽出や単語生成時に「使って」いるかを切り分けて分析する.本研究では，まず「知って」いることを調査する。

## 3 エンティティの概念化の測定方法

## 3.1 クラスタ間の分離度合いを測定

## 本研究の目的は, 言語モデルがエンティティを

概念化できているかを定量的に確かめることである. 例えば, “Barack Obama was born in Hawaii." と “Barack Hussein Obama was elected..." の 2 つの文章が与えられた場合，登場する人名を同じ人物 (同じ概念) であると認識できれば，その人物について概念化しているといえる.

概念化ができているかについては，言語モデルの文脈化単語埋め込みから形成されるクラスタの分離度合いを測定することで判断する. 多義語の文脈化単語埋め込みはその語義毎に埋め込み空間上で偏在することが知られている [5]. 言い換えれば，同じ意味で用いられているトークン集合の文脈化単語埋め込みは空間上で凝集する。もし，言語モデルがエンティティを他の概念と混同しているならば，エンティティの文脈化単語埋め込みは他の概念と混ざりあっていることが予想される. 逆に，エンティティと他の概念を区別できているのであれば，概念の違いによって分離していることが予想される. このことを踏まえて，文脈化単語埋め込みを用いて以下を測定する。

・エンティティの各クラスタと，他の概念のクラスタとの分離度合い

・エンティティ以外の各クラスタと，他の概念のクラスタとの分離度合い

ここでのクラスタとは，センテンス中に現れる "Barack Obama" や"Barack Hussein Obama" の文脈化単語埋め込みを 1 つにまとめた集合を指す。

もし，エンティティの大多数のクラスタがエンティティ以外のクラスタと比べてうまく分離しているのであれば，言語モデルはエンティティの概念をよりよく区別できているといえる.

凝縮率クラスタ間の分離度合いを測定するために，各文脈化単語埋め込みの最近傍のクラスタの中心が自クラスタのクラスタ中心である割合 (以下凝縮率と呼ぶ)を算出する。

エンティティの集合を $\mathscr{B} ＼mathrm{~ ， エンティティ ~} e \in \mathbb{E}$ に対応するべクトル集合を $X_{e}:=\left.\{\boldsymbol{x}_{e}^{1}, \boldsymbol{x}_{e}^{2}, \cdots\right.\}$, その重心を $\boldsymbol{b}_{e}:=\frac{1}{\left|\boldsymbol{X}_{e}\right|} \sum_{\boldsymbol{x}_{e} \in \boldsymbol{X}_{e}} \boldsymbol{x}_{e}$, さまざまなエンティティの重心を集めた集合を $\boldsymbol{B}:=\left.\{\boldsymbol{b}_{e} \mid e \in \mathscr{E}\right.\}$ とおく. エ
表 1 検証用データセットの詳細

表 2 クラスタが凝縮率=100\%である割合 (\%)

ンティティ $e$ の凝縮率，すなわち $\boldsymbol{X}_{e}$ に含まれるべクトルたちが一箇所に固まっており他のエンティティのベクトルたちと十分に分離している度合い $P(e)$ を以下で定義する.

$
P(e):=\frac{1}{\left|\boldsymbol{X}_{e}\right|} \sum_{\boldsymbol{x}_{e} \in \boldsymbol{X}_{e}} \mathbb{1}\left[\underset{\boldsymbol{b} \in \boldsymbol{B}}{\arg \min } d\left(\boldsymbol{x}_{e}, \boldsymbol{b}\right)=\boldsymbol{b}_{e}\right]
$

$d(\boldsymbol{x}, \boldsymbol{y})$ は距離関数であり，検証ではユークリッド距離を使用した.

この凝縮率は，あるクラスタに所属している割合を算出するという意味で，クラスタリングの良さを測る尺度である純度（Purity）と非常によく似ている.

もし，あるエンティティの凝縮率が $100 \%$ あ゙れば，そのエンティティは他のクラスタと分離しており，他の概念と区別ができているといえる (図 1 , “Obama”) . 逆に凝縮率が低い場合, 他の概念と混ざり合っているといえる (図 1, “Clinton”と “Trump”).

## 4 検証

言語モデルが各エンティティの概念を区別できているかについて，文脈化単語埋め込みの分離度合いを測定することで確かめる．具体的に以下の 2 点について検証する。

1. 言語モデルは周辺文脈が異なるエンティティ同士を“同じもの”であるとわかるか？

2. 言語モデルは周辺文脈とメンションが異なるエンティティ同士を“同じもの”であるとわかるか?

1 点目では，例えば“Obama”は，大統領に就任する文やゴルフをしている文など，多様な文脈に登場する.この“Obama”を言語モデルは同じ人物だと認識しているかを検証する． 2 点目では，例えば， エンティティのメンションが“Obama”である文と， “Barack H. Obama”である文に対して，言語モデル

図 2 エンティティの周辺文脈とメンションが異なる場合のエンティティのクラスタの凝縮率の頻度

図 3 エンティティの周辺文脈とメンションが異なる場合のエンティティ以外のクラスタの凝縮率の頻度

は同じ人物だと認識しているかについて検証する。

言語モデルが各エンティティに対して概念の区別をしているかどうかは，3 節で述べたクラスタ間の分離度合いを測定し，エンティティ以外のクラスタよりも凝縮率が高いかどうかで判断する.

## 4.1 設定

モデル事前学習済み BERT-base (uncased)を使用した. 取得する文脈化単語埋め込みは BERT 最終層の隠れ状態べクトルを使用した.

使用データ wikilinks[10] データセットを使用した. このデータセットには, Wikipedia に存在する 300 万エンティティと，その周辺文脈が収録されている. 検証では，上記データセットから約 97 万センテンスをランダムに抽出した. 抽出条件として， 1 クラスタ内の点群は必ず 10 個以上とした. また,検証に使用するエンティティは人名と地名とした。「1. 言語モデルは周辺文脈が異なるエンティティ同士を“同じもの”であるとわかるか？」を検証する際には，エンティティのメンションの摇れをWikipedia 上のタイトルに統一した. 入力時には， センテンスの文頭に [CLS] トークン，文末に [SEP] トークンを挿入した。検証用データの詳細は表 1 に示した.

表 4

メンションの変化によって他クラスタと混ざった事例. 括弧内は単語のカテゴリを表す

## 4.2 検証結果と考察

各単語の分離度合いを検証した結果を表 2 に示す.

## 4.2.1 エンティティの周辺文脈のみが異なる場合 エンティティの周辺文脈が多様であっても， BERT はエンティティを区別できる：各単語の文脈化単語埋め込みの分離度合いを測定したところ，エ ンティティのクラスタの約 $83 \%$ が，凝縮率 $100 \%$ で あり，他のクラスタと分離できていた。対して，エ ンティティ以外のクラスタで凝縮率 $100 \%$ あるも のは約 $29 \%$ でぁった.

エンティティとエンティティ以外の凝縮率を比較すると，エンティティのほうが他の概念と分離できていることが確認できる。したがって，エンティティの周辺文脈が多様であっても，BERT はエンティティ以外の単語と比べて他の概念と区別できるといえる。

## 4.2.2 エンティティの周辺文脈とメンションが異な る場合

エンティティの周辺文脈やメンションが多様であっても，BERT はエンティティを区別できる（図 2,3 ） : 各単語の文脈化単語埋め込みの分離度合いを測定したところ，エンティティのクラスタの約 $70 \%$ が，凝縮率 100\%であった. 対して，エンティティ以外のクラスタで凝縮率 100\%であるものは約 29\%であった.

エンティティとエンティティ以外の凝縮率を比較すると，エンティティのほうが他の概念と分離できていることが確認できた．したがって，エンティティの周辺文脈とメンションが多様であっても， BERT はエンティティ以外の単語と比べて他の概念
と区別できるといえる.

しかし，「周辺文脈のみが異なる場合」と比較すると，エンティティが凝縮率 100\%である事例は約 13\%減少する．すなわち，メンションが異なることで，他のクラスタと混ざるようになり，各エンティティの区別が若干難しくなることがわかる.

実際に，エンティティが他のクラスタと混ざってしまう事例を表 3 , 表 4 に示した。これらの事例を観察すると，同じカテゴリ（人名や地名）同士で混ざっているように見える。実際に集計すると，人名と地名の両者において同じカテゴリ同士で混ざる比率は，チャンスレベルの比率より高いことがわかった (Appendix A, 表 5). よって，BERT は少なくともオントロジーレベルの概念化はできていることがわかる.しかしながら, “Stone (actor)" と "stone (noun)" が混ざり合っているように，BERT のエンティティの概念化は完璧とは言えないことも同時にわかる.

## 5 おわりに

本研究では，マスク言語モデルがエンティティをどのような形で「知って」いるかについて検証を行った. 検証では，文脈化単語埋め込みから形成されるクラスタの分離度合いを分析することで，エンティティの概念化を測定した。BERTを対象とした実験の結果，約 7 割のエンティティについて，他の概念と分離したクラスタを形成していたことが確認できた. すなわち内部表現の意味での概念化には成功していることがわかった。

ただし，本研究の検証では言語モデルがエンティティの概念化を情報抽出や単語生成時に「使って」 いるかはわからない. 今後は言語モデルがタスクを解く上で，エンティティの概念化を実際に使っているかを検証する．これにより，言語モデルの解釈性を向上することが可能となる.

## 謝辞

本研究は JST CREST JPMJCR20D2, JST ACT-X JPMJAX200S, JSPS 科研費 22H05106，22H03654， 21K17814 の助成を受けたものです. また，本研究の実装に関して東北大学の穀田一真氏に多くのご助言を頂きました. 感謝致します.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[3] Fabio Petroni, Tim Rocktäschel, Sebastian Riedel, Patrick Lewis, Anton Bakhtin, Yuxiang Wu, and Alexander Miller. Language models as knowledge bases? In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2463-2473, Hong Kong, China, November 2019. Association for Computational Linguistics.

[4] Zhengbao Jiang, Frank F. Xu, Jun Araki, and Graham Neubig. How can we know what language models know? Transactions of the Association for Computational Linguistics, Vol. 8, pp. 423-438, 2020.

[5] Emily Reif, Ann Yuan, Martin Wattenberg, Fernanda B Viegas, Andy Coenen, Adam Pearce, and Been Kim. Visualizing and measuring the geometry of bert. In $\mathrm{H}$. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[6] Yichu Zhou and Vivek Srikumar. DirectProbe: Studying representations without classifiers. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5070-5083, Online, June 2021. Association for Computational Linguistics.

[7] Yanai Elazar, Nora Kassner, Shauli Ravfogel, Abhilasha Ravichander, Eduard Hovy, Hinrich Schütze, and Yoav Goldberg. Measuring and improving consistency in pretrained language models. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 10121031, 2021.

[8] Boxi Cao, Hongyu Lin, Xianpei Han, Fangchao Liu, and Le Sun. Can prompt probe pretrained language models? understanding the invisible risks from a causal view. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5796-5808, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[9] Karim Lasri, Tiago Pimentel, Alessandro Lenci, Thierry Poibeau, and Ryan Cotterell. Probing for the usage of grammatical number. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8818-8831, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[10] Sameer Singh, Amarnag Subramanya, Fernando Pereira, and Andrew McCallum. Wikilinks: A large-scale cross-document coreference corpus labeled via links to wikipedia. 2012.

## A Appendix

エンティティの各単語埋め込みが最近傍クラスタと混ざっている場合，同じカテゴリ同士で混ざるのか， もしくは違うカテゴリと混ざるのかについて検証した. 得られた結果は表 5 に示した. チャンスレべルの比率と比較すると，同じカテゴリ同士で混ざる比率がより多いことがわかる．ここでのカテゴリは，人名，地名，エンティティ以外の 3 種類である.

表 5 最近傍クラスタが異なるクラスタである場合の各カテゴリの比率


# 理論言語学の知見を応用した多言語クラスタリング

今井咲良 ${ }^{1}$ 河原大輔 1 折田奈甫 ${ }^{1}$ 小田博宗 ${ }^{2}$
1 早稲田大学理工学術院 2 東京大学大学院総合文化研究科
sakura_imai@toki.waseda.jp, \{dkw, orita\}@waseda.jp
hiromuneoda@g.ecc.u-tokyo.ac.jp

## 概要

多言語クラスタリング研究では、言語モデルの埋め込みを用いる手法が主流であり、語族がベースライン手法として扱われている。しかし、語族による分類は粒度が粗く、言語の性質を十分に考慮しているとは言い難い。そのため、より言語の性質に着目した分類を検討する必要がある。本研究では、固有表現認識 (NER) のための多言語クラスタリングを目的として、理論言語学の知見に基づく言語分類方法を検討し、名詞句の形態・統語的特徴による分類と主要部の位置による分類を選定した。これらの分類と埋め込みによるクラスタリング手法を NER において比較した結果、どちらの分類も埋め込みによるクラスタリング手法の精度を上回った。

## 1 はじめに

低リソース言語への言語間転移を目的とした言語クラスタリングは、固有表現認識 (NER)をはじめとした自然言語処理の様々な分野で利用されている。近年は言語モデルの埋め込みを用いたクラスタリングが主流となっており、言語学の知見をもとにしたクラスタリングは、語族、すなわち系統分類がべー スラインとして用いられている程度である $[1,2]$ 。 しかし、言語学では系統分類以外に様々な言語の分類方法が提案されており、言語学の知見を生かした言語クラスタリングには改善の余地が多分にある。本研究は、これまでに検証されてこなかった言語の形態・統語的性質による分類に着目し、このクラスタリングの有用性を調査する。言語の形態・統語的性質による分類とは、言語の系統関係、すなわち語族ではなく、語順や定冠詞の有無といった言語の特徴に基づく分類であり、理論言語学の知見が用いられる。これらの知見を応用すれば、埋め込みでは捉えられない言語的性質が反映されたクラスタリングが可能になると予測する。形態・統語的性質に基づくクラスタリングの有用性を評価するため、すでに埋め込みによるクラスタリングと系統分類によるクラスタリングが検証されている [2] NER タスクを評価対象として用いる。また、本稿で報告する実験では印欧語族の言語データを用いる。これは、NERタスクの訓練・評価データが存在する言語が多く、理論言語学研究においても最も知見の蓄積がある語族であるためである。

本稿で新たに提案する分類には 2 種類あり、どちらも理論言語学、特に統語理論におけるパラメータを利用している。

第一の分類は、名詞句の形態・統語的性質に関するパラメータに基づく分類である。NER は入力文中の名詞句中で固有表現が表れる位置を推測する夕スクであるため、名詞句の形態・統語パラメータに類似性をもつ言語同士をクラスタリングする方が精度が上がると予測する。本研究では、Ceolin ら [3] が提案する、名詞句に関する様々な形態・統語パラメータをもとに作られた言語樹を用いてこのクラスタリングを行う。第二の分類は、句構造内で主要部が現れる位置を示す主要部パラメータによる分類である。各言語の句構造において、例えば場所を表す語（前置詞や後置詞）が似た位置に現れる言語で分類する方が NER の精度が上がると予測する。

本研究では、上記 2 種類のクラスタリング手法を、言語クラスタリングで主流の埋め込みべースの手法および系統分類と比較し、理論言語学的分類の有用性を検証する。

## 2 関連研究

## 2.1 言語間転移学習

言語間転移学習 [4] とは、学習データが特定の言語しか存在しない状況下で言語モデルの学習を行い、それを転移先のターゲット言語でのタスクに転用する手法である。言語間転移学習を効率的に
行うための手法として、様々な研究が行われている $[5,6,7,8,9,10]$ 。しかし、これらの研究において用いられている事前知識は、粒度の粗い系統分類や表層的な文字種などに限られており、言語学の知見を生かす余地が多分にある。

## 2.2 多言語クラスタリング

多言語間での転移学習をより効果的に実施するための一手法として、言語同士をクラスタリングして言語モデルを学習する多言語クラスタリングが挙げられる。多言語クラスタリングは、特にニューラル機械翻訳の分野において活用されており、翻訳モデルの埋め込みを用いて言語間の距離を測定しクラスタリングを行う手法が提案されている [1]。

Shaffer [2] は、NERにおいて埋め込みと系統分類によるクラスタリングを比較し、埋め込みべースのクラスタリングの有効性を確認している。しかし、多言語クラスタリングにおいて、系統分類以外の言語学的知識を用いた実験は未だ行われておらず、さらなる検証が必要である。

## 3 理論言語学のパラメータを用いた 言語クラスタリング

## 3.1 対象のタスクおよび言語の選定

本研究では、埋め込みおよび系統分類に基づくクラスタリングによって NER の精度向上を図った先行研究 [2] と比較するため、対象のタスクとして NER を選定する。また、対象言語には、印欧語族に属する 25 言語を用いた。これは、NER のデータが存在する言語が多く、理論言語学でも知見の蓄積が多いためである。

本研究で用いる言語の一覧を表 1 に示す。先行研究 [2] では、データが存在するにもかかわらず、ケルト語派等の下位分類は使用されなかった。本研究では、下位分類の網羅性を可能な限り考慮して言語を選択する。なお、本稿では、各言語を ISO639-11) に準拠した言語コードで表す。

## 3.2 名詞句パラメータクラスタリング

NER は、入力文をトークンとしてモデルに与え、名詞句から構成される固有表現とその属性を推測するトークン分類のタスクである。そのため、名詞句

表 1 本研究で使用した言語と先行研究との比較

図 1 Ceolin ら [3] による言語樹

の構造が類似した言語同士でクラスタリングをすると学習の効果が高いと考元、定冠詞の有無など名詞句における形態・統語的性質を通言語的に捉えたパラメータに着目する。本研究では、Ceolin ら [3] が提案する、名詞句に関する 94 種類の形態・統語パラメータ2）（関係節への定冠詞付加の有無や接置詞を用いた属格の有無など）をもとに作られた言語樹をクラスタリングに用いて、名詞句の形態・統語的性質が似た言語で分類する。本研究で用いる Ceolin らの言語樹を図 1 に示す。

言語樹を用いたクラスタリングでは、言語樹上で距離が近い下位分類同士を結合し一つのクラスタを形成するという操作を繰り返し行う。例として、クラスタ数 3 において図 1 を用いてクラスタリングを行った結果を表 2 に示す。クラスタ数は 4.2 節にて述べるエルボー法の結果により決定する。

## 3.3 主要部パラメータクラスタリング

言語モデルが NER のタスクを解く際は、固有表現が含まれる名詞句全体だけでなく、周辺のトークンの羅列（語順）も暗黙的に学習すると仮定する。固有表現である名詞句は、場所を表す接置詞句などの一部を構成する場合や、目的語として動詞句の一部を構成する場合があるため、主要部の位置が同じ言語同士で分類する方が学習効果が高くなると予測

2) https://github.com/AndreaCeolin/Boundaries/blob/ main/Tables2.pdf
表 2 図 1 の言語樹によるクラスタリング(クラスタ数 3)

表 3 主要部パラメータに基づくクラスタリング

 \\
主に主要部後行 & インド・イラン語派

する。この仮説をもとに、各言語の句構造においてどの位置に句の主要部が置かれるかを表す主要部パラメータ [11]を用いて言語をクラスタリングする。例えば接置詞句 (PP) では、主要部先行であれば主要部である接置詞 $(\mathrm{P})$ が名詞句 $(\mathrm{NP})$ に先行し、主要部後行であればその逆になる (図 2)。こうした主要部パラメータに基づく分類を表 3 に示す。

## 4 固有表現認識 (NER) 評価実験

## 4.1 実験設定

NER による評価実験では、3 節の 2 種類のクラスタリング手法を用いて実験を行う。本研究における全言語は系統分類 (印欧語族) にあたるため、系統分類で Fine-tuning する場合と単言語で Fine-tuning する場合とも比較する。

初めにクラスタ内の全ての言語の訓練セットを結合し、NERで言語モデルを Fine-tuningする。その後、クラスタ内の各言語の評価セットを用いて評価を行い、スコアを取得する。本研究では、Wikiann [4] データセット ${ }^{3)}$ と XLM-RoBERTa-base ${ }^{4}$ [12]を用いる。各クラスタにおける NER 評価実験を 3 回ずつ行い、平均 $\mathrm{F} 1$ スコアと標準偏差を算出する。また、 すべての実験に関して、バッチサイズを 32 、入力の最大長を 512、学習率を 5e-05 と設定し、 3 epoch の Fine-tuning を行う。

## 4.2 埋め込みベースクラスタリング

本研究では、比較対象として Shaffer [2] による埋め込みべースのクラスタリング手法を採用する。埋め込みベースクラスタリングの概略を図 3 に示す。初めに、Wikiann 訓練セットを用いて、XLMRoBERTa-base を言語識別タスクで Fine-tuning する。

3) https://huggingface.co/datasets/wikiann

4) https://huggingface.co/xlm-roberta-base

図 2 接置詞句 (PP) の主要部先行 (左) と主要部後行 (右)

図 3 埋め込みベースクラスタリングの概略

言語識別タスクとは、言語モデルに与えた入力がどの言語で記述されているかを推測するタスクである。本研究では、表 1 の全 25 言語を用いて行う。

次に、言語識別タスクで Fine-tuning した XLMRoBERTa に Wikiann 検証セットの各文を入力として与光、[CLS]トークンから埋め込みを取得する。そして、得られた埋め込みをもとに、凝集クラスタリングにより再帰的にクラスタリングを行う。そして、各入力に対してクラスタをラベリングし、各言語においてどのクラスタに一番多く割り当てられたかによりその言語が属するクラスタを決定する。

Wikiann データセットの各言語の検証セットから、 1,000 サンプルおよび 10,000 サンプルを用いてクラスタリングを行った結果を表 4 に示す。

本研究では、 3 節にて述べた名詞句のパラメータによるクラスタリング手法と比較する際は、エルボー法 [13] により決定されたクラスタ数 3を用いる (その他のクラスタ数 $\{2,4,5\}$ での比較実験の結果は付録参照)。また、主要部パラメータを用いたクラスタリング手法と比較する際はクラスタ数を 2 に揃えてクラスタを生成する。

## 4.3 結果と議論

表 5 に名詞句パラメータと単言語、埋め込み、系統分類を用いた NER 評価結果を示す。表 6 に主要部パラメータとの比較結果を示す。表では、言語ごとに最高スコアを太字にしている。

はじめに、本研究で用いた形態・統語パラメータによるクラスタリングと埋め込みべースのクラスタリングによる NER 評価結果を比較する。表 4 から、埋め込みによるクラスタリング手法は、対象言語の選定や埋め込みを得るためのサンプル数によって結果が大きく異なり、一様に最も有効な手法とは言い難いことがわかった。名詞句パラメータに基づくク
表 4 埋め込みベースクラスタリング結果 (クラスタ数 3)

 &  \\

表 5

ラスタを用いて NER 評価を行った結果（表 5）、7 割の言語において埋め込みによるクラスタリングを上回った。また、主要部パラメータに基づくクラスタを用いた結果（表 6）では、8割の言語において埋め込みべースの結果を上回った。これらの結果は、理論言語学の通言語的パラメータが自然言語処理夕スクにおいて有用であることを示している。

つぎに、系統分類と形態・統語パラメータによるクラスタを用いた結果を比較する。本研究の対象言語はすべて印欧語族に属することから、全言語を用いた結果は系統分類によるクラスタリングを行った結果と等しい。したがって、系統分類は他の分類に比べ訓練サンプル数が圧倒的に多い。本研究が提案する形態・統語パラメータを用いた分類はデータ量

で大きく劣るにも関わらず、系統分類と比べて同等かそれ以上のスコアを達成した。最も良いスコアを出した分類の全言語での割合を比較すると、系統分類の 4 割に対して名詞句パラメータは 3 割に達している（表 5）。訓練サンプル数が格段に少ない名詞句パラメータの分類が全言語での学習に匹敵している。さらに、約 7 割の言語において主要部パラメー タが最も良いスコアを出した（表 6)。これらの結果は、最近のデータ偏重の自然言語処理において、言語学が役立つ可能性を示唆している。

## 5 おわりに

本稿では、言語の形態・統語的性質による分類を活用した多言語クラスタリングを提案し、NER タスクにおける本手法の有用性を示した。

本研究でクラスタリングに用いた形態・統語パラメータ以外にも、様々なパラメータが提案されている [14]。対象とするタスクによってクラスタリングに最適な言語パラメータが異なる可能性がある。また、考慮するパラメータをさらに増やして複合的なクラスタリングを行うことでより効果的に言語間転移が行われる可能性もあり、今後の課題としたい。

## 謝辞

本研究は JSPS 科研費 JP21H04901 の助成を受けて実施した。

## 参考文献

[1] Xu Tan, Jiale Chen, Di He, Yingce Xia, Tao Qin, and TieYan Liu. Multilingual neural machine translation with language clustering. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 963-973, Hong Kong, China, November 2019. Association for Computational Linguistics.

[2] Kyle Shaffer. Language clustering for multilingual named entity recognition. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 40-45, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[3] Andrea Ceolin, Cristina Guardiano, Giuseppe Longobardi, Monica Alexandrina Irimia, Luca Bortolussi, and Andrea Sgarro. At the boundaries of syntactic prehistory. Philosophical Transactions of the Royal Society B, Vol. 376, , 2021 .

[4] Mikel Artetxe and Holger Schwenk. Massively multilingual sentence embeddings for zero-shot cross-lingual transfer and beyond. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 597-610, 2019.

[5] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[6] Vaidehi Patil, Partha Talukdar, and Sunita Sarawagi. Overlap-based vocabulary generation improves crosslingual transfer among related languages. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 219-233, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[7] Ryokan Ri and Yoshimasa Tsuruoka. Pretraining with artificial language: Studying transferable knowledge in language models. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 7302-7315, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[8] Telmo Pires, Eva Schlinger, and Dan Garrette. How multilingual is multilingual BERT? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4996-5001, Florence, Italy, July 2019. Association for Computational Linguistics.

[9] Yoshinari Fujinuma, Jordan Boyd-Graber, and Katharina Kann. Match the script, adapt if multilingual: Analyzing the effect of multilingual pretraining on cross-lingual trans- ferability. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1500-1512, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[10] Wietse de Vries, Martijn Wieling, and Malvina Nissim. Make the best of cross-lingual transfer: Evidence from POS tagging with over 100 languages. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 7676-7685, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[11] Noam Chomsky. Lectures on Government and Binding. De Gruyter, Berlin, Germany, 1981.

[12] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[13] Robert L. Thorndike. Who belongs in the family? Psychometrika, Vol. 18, pp. 267-276, 1953.

[14] Ian Roberts. Parameter Hierarchies and Universal Grammar. Oxford University Press, Jun 2019.

 &  &  &  \\

## A クラスタ数を変化させた場合の NER 評価結果

3 節および 4 節では、クラスタ数を 3 とした場合における名詞句パラメータクラスタリングと埋め込みベースクラスタリングの比較を行った。本節では、クラスタ数を $\{2,4,5\}$ と変化させた場合のクラスタリング結果、またそれらを用いた NER による評価実験結果について述べる。はじめに、例として Wikiann データセットの検証セット 10,000 サンプルを用いて作成したクラスタを表 7 に示す。これらのクラスタを用いた NER 評価実験の結果を表 8 亿示す。

表８から、クラスタ数が減少するにつれて名詞句パラメータクラスタリングが埋め込みベースクラスタリングを大幅に上回ることがわかった。クラスタ数を 2 に設定した場合は、全体の 6 割の言語で最高スコアを記録している。

一方で、クラスタ数 5 の結果では、1,000 サンプルと 10,000 サンプルの埋め込みベースクラスタリングでそれぞれ 5 言語と 13 言語、名詞句パラメータクラスタリングでは 8 言語が最高スコアを記録した (表 8)。表 7 を参照すると、埋め込みベースのクラスタ数 5 において各クラスタに属する言語数に大きな偏りがあることがわかる。特に、 10,000 サンプルを用いたクラスタリングでは 1 つのクラスタに言語が集中していることがわかる (表7)。したがって、各クラスタのデー 夕量にも大きな差が生じる。そのような状況下でも、NER 評価結果において名詞句パラメータクラスタリングは埋め込みベースクラスタリングに NER スコアにおいて匹敵している。この結果は、クラスタ数を変化させてもクラスタリング亿形態・統語的性質を用いる有効性があることを示している。


# DAS-VQA: Dual Awareness Systems for Improving Generalization in Visual Question Answering

Trang Nguyen Naoaki Okazaki
Tokyo Institute of Technology,
Department of Computer Science, School of Computing
trang.nguyen@nlp.c.titech.ac.jp okazakilc.titech.ac.jp
}

\begin{abstract}
Multimodal reasoning is a crucial factor of generalizability in the Visual Question Answering (VQA) task. Recent studies deal with generalization by refining unimodal models but pay less attention to the combination of multimodalities. We propose Dual Awareness Systems VQA (DAS-VQA), a novel framework to improve the Out-ofDistribution generalization by enhancing multimodal reasoning. DAS-VQA consists of two components: (1) the input processing component to identify the purpose of a question, and (2) the selection component for a proper strategy to give an answer. The experimental results show that DAS-VQA improves the generalization on real-life images and medical datasets without extra human annotations.
\end{abstract
## 1 Introduction

The Visual Question Answering (VQA) task is to provide an answer to the questions regarding an image. Recent studies (Niu et al., 2021; Wen et al., 2021; Niu and Zhang, 2021) raised an issue that the models tend to answer a question while ignoring the input image, which hinders the Out-of-Distribution (OOD) generalization. For more details, OOD generalization is the ability to perform well in OOD cases rather than just recalling the co-occurrence of data during the independent and identically distributed (IID) training (Zhang et al., 2021; Kawaguchi et al., 2022). The reasons come from the biases in human knowledge that cause some correlations between the question and answer distribution (Niu et al., 2021; Wen et al., 2021). For instance, the question Is this ...? is usually supposed to be a Yes/No question (e.g. Is this a cat?) instead of a multiple choice question (e.g. Is this a cat or dog?). Therefore, there is a chance to give a correct answer just by replying

Figure 1: DAS-VQA overview: $A S_{1}$ (green area) implicitly recognizes question's purposes, and $A S_{2}$ (yellow area) selects a proper strategy to give the answer.

Yes or No.

Some promising approaches to solve this issue are (1) reducing the linguistic correlation (Niu et al., 2021; Wen et al., 2021), (2) strengthening the visual processing (Yang et al., 2020), and (3) balancing the answer distribution by generating new image-question pairs (Gokhale et al., 2020). However, these approaches focus only on either language or the visual modality without considering the causality among input properties such as question types, objects, or backgrounds.

In fact, the VQA task requires not only the joint of visual and language processing but also the multimodal reasoning between them (Wang et al., 2022b; Nguyen et al., 2022). In addition, it is impossible to cover all combinations of the visual and language properties in a single dataset (Cao et al., 2021) due to the diversity of data in real life (Gokhale et al., 2020). Therefore, the reasoning across modularities should be considered as a core aspect to solve the bias issue and improve OOD generalization (Cao et al., 2021).

In this work, we propose Dual Awareness Systems VQA (DAS-VQA) as a novel framework to improve the OOD generalization by emphasizing multimodal reasoning, inspired by the causality theory (Daniel et al., 2015; Wang et al., 2022a). Assuming that question types lead to differ-
ent strategies to answer the question, DAS-VQA consists of two components called the Awareness System (AS): (1) the first one is placed in the inputs processing part, which is responsible for implicitly recognizing the question's purpose; and (2) the second one takes the processed inputs and the question purpose into account to select one from a list of strategies to predict the answer.

Our contributions are summarized as follows: (1) We propose DAS-VQA as a novel framework to improve OOD generalization by enhancing the multimodal reasoning that is compatible with a diversity of multimodal tasks and domains; and (2) DAS-VQA is the first work for VQA task that represents the multimodal reasoning as the interaction of double mediators in a causal graph, which corresponds to the two layers of cognition.

## 2 Preliminaries

## 2.1 The causal-effect in general

A basic form of a causal relation is defined as $X \rightarrow Y$ with the treatment $X$ and outcome $Y$. To explore the reasons of $X$ causes $Y$, Pearl and Mackenzie (2018) mentioned mediator to dissect the effect into direct and indirect effects.

## 2.1.1 Mediators in causality

A single mediator $M$ forms an indirect path $X \rightarrow M \rightarrow$ $Y$ as described in Figure 2a. On the other hand, considering two ordered mediators $M_{1}$ and $M_{2}$ in Figure 2b, we have three indirect paths:
- Case 1: $X \rightarrow M_{1} \rightarrow Y:$ only through $M_{1}$
- Case 2: $X \rightarrow M_{2} \rightarrow Y$ : only through $M_{2}$
- Case 3: $X \rightarrow M_{1} \rightarrow M_{2} \rightarrow Y:$ through both $M_{1}, M_{2}$

Following Daniel et al. (2015), we denote $\mathrm{Y}_{i^{-}} j k l$ is the outcome conditioned by $i, j, k, l \in\{0,1\}$. $i$ equals to 1 when the treatment $X$ is given and 0 otherwise when a virtual value is defined for $X . j, k$, and $l$ equal to 1 when $Y$ is affected by the indirect path described as Case 1, Case 2, and Case 3, respectively, and 0 otherwise. For instance, $\mathrm{Y}_{1}-001$ represents the outcome that is affected by a given $X$ and two factors: $X \rightarrow Y$ and $X \rightarrow M_{1} \rightarrow M_{2} \rightarrow Y$.

## 2.1.2 Total Effect and related terms

The term Total Effect (TE) described in Equation 1 compares the effect of $X$ on $Y$ through any indirect paths. The

(a) Causal relation with a single mediator $M$

(b) Causal relation with two mediators $M_{1}$ and $M_{2}$
Figure 2: General forms of the causal graphs

general form of Natural Direct Effect (NDE) is defined in Equation $2^{1)}$ to analyze a particular indirect case. In addition, the TE can be decomposed into the sum of NDE and Total Indirect Effect (TIE) as in Equation 3.

$
\begin{gathered}
\mathrm{TE}=\mathrm{Y}_{1}-111-\mathrm{Y}_{0}-000 \\
\mathrm{NDE}-j k l=\mathrm{Y}_{1}-j k l-\mathrm{Y}_{0}-j k l \\
\mathrm{TIE}=\mathrm{TE}-\mathrm{NDE}
\end{gathered}
$

## 2.2 The causal-effect view in VQA

Consider the causal graph for the VQA task depicted in Figure $3 \mathrm{a}$ in which the inputs $V$ and $Q$ cause an answer $A$, and a mediator $K$ represents the commonsense knowledge space. We have: Direct paths: $Q \rightarrow A, V \rightarrow A$ and Indirect path: $(V, Q) \rightarrow K \rightarrow A$. Notice that the direct paths represent the effects only from the question or image, while the indirect path represents the relation of the question, image, and the knowledge space to cause an answer. Therefore, the causality approach for the VQA task aims to enhance the indirect effect and eliminate the direct effects.

## 3 Proposed method: DAS-VQA

## 3.1 Dual Awareness Systems

The DAS-VQA, illustrated in Figure 1, provides an architecture backbone to promote the effects of multimodal reasoning between the input image, question, and commonsense knowledge to yield an answer in the VQA task. The key idea of DAS-VQA is to construct two awareness systems (AS) to have (1) distinct approaches in understanding the multimodal input and (2) various strategies in giving the answer by assuming that different questions' purposes lead to diverse ways to answer a question. Subsequently, DAS-VQA learns to operate a large number of multimodal

1) We have eight cases of NDE corresponding to the increase of the binary string from 000 to 111 (Daniel et al., 2015)
reasoning flows, which is interpreted as choosing an appropriate pair of approach and strategy for a particular multimodal input. Therefore, DAS-VQA is able to deal with the diversity of multimodal combinations, which improves the OOD generalization.

Technically, the causal view of DAS-VQA, as presented in Figure 3c, contains the given values of treatment as $(v, q)$ that causes an answer $A$, controlled by the two ASs denoted as mediators $A S_{1}$ and $A S_{2}$. Subsequently, any paths that do not go through $A S_{1}$ (e.g. $\quad q \rightarrow A$, $q \rightarrow A S_{2} \rightarrow A$ ) are considered as unimodal paths since they do not produce any multimodal understanding from the input pair. Likewise, any paths that do not go through $A S_{2}\left(\right.$ e.g. $(v, q) \rightarrow A S_{1} \rightarrow A$ ) are considered as monolithic paths since they do not involve separated strategies to give the answer. Finally, DAS-VQA emphasizes multimodal reasoning by eliminating paths without a completed reasoning flow, including unimodal and monolithic paths. Notice that the question types and strategies are implicitly distinguished by the model during training, not explicitly defined by humans.

## 3.2 Implementation details

Following the notation in Section 2.1.1, we denote $Z_{I}-S_{1} S_{2} S_{12} \in \mathbb{R}^{N}$ is the predicted answer controlled by $I, S_{1}, S_{2}, S_{12} \in\{0,1\}$ ( $N$ is the vocabulary size). Specifically, $I$ is 1 when the input pair is given; $S_{1}$ is 1 when the path corresponding to Case 1 exists and 0 otherwise. $S_{2}$ and $S_{12}$ are defined similarly with Case 2 and Case 3.

Let $x$ denote the multimodal representation of the input pair computed by $A S_{1}$. Next, define the list of answers $z \in \mathbb{R}^{N}$ computed by Neural Network (NN) models: $z_{v}=$ $W_{v}(v)$ and $z_{q}=W_{q}(q)$ as direct effects; $z_{v^{*}}=W_{v^{*}}(v)$ and $z_{q^{*}}=W_{q^{*}}(q)$ as indirect effects only through $A S_{2}$; $z_{M F}=W_{M F}(x)$ as an indirect effect only through $A S_{1}$ in which $W_{M F}$ is designed as monolithic funciton and $z_{A S}=W_{A S}(x)$ as indirect effect through both of ASs.

$
\begin{gathered}
Z_{1}-111=z_{q}+z_{v}+z_{q^{*}}+z_{v^{*}}+z_{M F}+z_{A S} \\
Z_{1}-110=z_{q}+z_{v}+z_{q^{*}}+z_{v^{*}}+z_{M F}
\end{gathered}
$

Training $A S_{1}$ and the NNs above are trained by Cross Entropy Loss on $Z_{1}-111$, which is described in Equation 4, with the target as the correct answer in the training data.

Inference Following Equation 3, the predicted answer probability is defined as the subtraction of $Z_{1}-111$ as TE

(a) Conventional VQA

(b) Strategy awareness VQA

(c) DAS-VQA

Figure 3: General forms of the causal graphs

and $Z_{1}-110$ (Equation 5) as NDE, with the meaning of eliminating effects from uncompleted reasoning paths.

For more details about the model design of this study, we refer the readers to Appendix B.

## 4 Experiments and Results

Our experiments validate two hypotheses: (1) the awareness of the question's purpose is beneficial to improving the VQA performance, and (2) the awareness of multimodal reasoning helps enhance the OOD generalization.

## 4.1 Experiment setup

## 4.1.1 Datasets

To examine the first hypothesis, we conduct an experiment on four datasets in two domains: (1) real-life: VQACPv2 (Agrawal et al., 2017) and VQAv2 and (2) medical: PathVQA (He et al., 2021) and VQA-RAD (Lau et al., 2018). To examine the second hypothesis, we observe results on the VQA-CPv2 dataset since this is an OOD dataset with significant differences in answer distribution per question category between the training and test sets.

## 4.1.2 Baselines

In VQA-CPv2 and VQAv2, we compare DAS-VQA and CFVQA (Niu et al., 2021), which use a similar approach, i.e., the causal view of the VQA task to overcome the language priors. CFVQA attempts to eliminate the effect of the question-only branch, which is distinct from our method that promotes multimodal reasoning. We compare DAS-

Table 1: Comparison on VQA-CPv2 and VQAv2. The bolded values indicate the best results.

Table 2: Overall score comparison on PathVQA and VQARAD. The bolded values indicate the best results.

(a) How many ... ?

(b) Which ... ?
Figure 4: Answers distributions on VQA-CPv2

VQA to MMQ-VQA (Binh D. Nguyen, 2019) on PathVQA and VQA-RAD as the first work that reports results on PathVQA and the state-of-the-art on VQA-RAD. We report the mean and standard error over 5 seeds for all methods.

## 4.2 Experiment results

## 4.2.1 Quantitative Results

The IID results on VQAv2, PathVQA, and VQA-RAD are presented in Tables 1 and 2. Overall, DAS-VQA outperforms the baselines in all answer categories. Taking a deeper look at the OOD result on VQA-CPv2, DAS-VQA robustly outperforms the baseline by a large margin, especially +20.1 point in the Number type.

## 4.2.2 Qualitative Results

Debiased answer distribution As illustrated in Figure 4, DAS-VQA exhibits the OOD generalizability when overcoming the biased answers in training set on multiple question categories, whereas the baseline shows the biased distribution of the memorized answers.

Debiased sample Figure 5 provides a comparison of debiasing results from the baseline and DAS-VQA. DAS-

Figure 5: Sample of debiased case. DAS-VQA recognize the multiple choice question and give a correct answer

VQA answers the question correctly by recognizing the question purpose (the multiple choice question) accurately, although the baseline is trapped in the Yes/No question type and gives an incorrect answer. For further discussion on qualitative results, we refer the readers to Appendix D.

## 5 Related Work

Causality approaches in VQA Niu et al. (2021) creates the question-only, (i.e. $Q \rightarrow A$ ) to basically capture the linguistic biases. They utilize the counterfactual training objective similarly to Equation 3 to subtract the bias from the conventional answer distribution to obtain a debiased one. In contrast, DAS-VQA extends the biases not only from the linguistic but also from the monolithic strategy of the model for different question purposes.

Multimodal reasoning in VQA Wang et al. (2022b) create multimodal reasoning by combining the two knowledge graphs of visual-level with extracted objects and concept-level with multimodal information. In contrast to DAS-VQA, we define multimodal reasoning as the choices of paths in the causal graph to understand the multimodal and select a proper strategy to predict the answer.

## 6 Conclusion

In this study, we proposed DAS-VQA as a novel framework that improves the OOD generalization in the VQA task by promoting multimodal reasoning without any additional human annotations or labels. The experiment results demonstrate that DAS-VQA outperforms the baselines in both IID and OOD cases with real-life images and the medical domain datasets.

## 7 Acknowledgement

These research results were partly obtained from the commissioned research (No. 225) by National Institute of Information and Communications Technology (NICT), Japan.

## References

Agrawal, A., Batra, D., Parikh, D., and Kembhavi, A. (2017). Don't just assume; look and answer: Overcoming priors for visual question answering. In CVPR.

Binh D. Nguyen, Thanh-Toan Do, B. X. N. T. D. E. T. Q. D. T. (2019). Overcoming data limitation in medical visual question answering. In MICCAI.

Cao, Q., Wan, W., Wang, K., Liang, X., and Lin, L. (2021). Linguistically routing capsule network for outof-distribution visual question answering. In 2021 IEEE/CVF International Conference on Computer Vision (ICCV), pages 1594-1603.

Daniel, R. M., De Stavola, B. L., Cousens, S. N., and Vansteelandt, S. (2015). Causal mediation analysis with multiple mediators. Biometrics, 71(1):1-14.

Gokhale, T., Banerjee, P., Baral, C., and Yang, Y. (2020). MUTANT: A training paradigm for out-of-distribution generalization in visual question answering. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 878-892, Online. Association for Computational Linguistics.

He, X., Cai, Z., Wei, W., Zhang, Y., Mou, L., Xing, E., and Xie, P. (2021). Towards visual question answering on pathology images. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pages 708718, Online. Association for Computational Linguistics. Kawaguchi, K., Bengio, Y., and Kaelbling, L. (2022). Generalization in deep learning. In Mathematical Aspects of Deep Learning, pages 112-148. Cambridge University Press.

Lau, J. J., Gayen, S., Demner, D. L., and Abacha, A. B.

(2018). Visual question answering in radiology (vqarad). In Open Science Framework.

Nguyen, B. X., Do, T., Tran, H., Tjiputra, E., Tran, Q. D., and Nguyen, A. (2022). Coarse-to-fine reasoning for visual question answering. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 4558-4566.

Niu, Y., Tang, K., Zhang, H., Lu, Z., Hua, X.-S., and Wen, J.-R. (2021). Counterfactual vqa: A cause-effect look at language bias. In CVPR, pages 12695-12705.

Niu, Y. and Zhang, H. (2021). Introspective distillation for robust question answering. In Ranzato, M., Beygelzimer, A., Dauphin, Y., Liang, P., and Vaughan, J. W., editors, Advances in Neural Information Processing Systems, volume 34, pages 16292-16304. Curran Associates, Inc.

Pearl, J. and Mackenzie, D. (2018). The Book of Why: The New Science of Cause and Effect. Basic Books, Inc., USA, 1 st edition.

Schölkopf, B., Locatello, F., Bauer, S., Ke, N. R., Kalchbrenner, N., Goyal, A., and Bengio, Y. (2021). Toward causal representation learning. Proceedings of the IEEE, 109(5):612-634.

Wang, W., Lin, X., Feng, F., He, X., Lin, M., and Chua, T.-S. (2022a). Causal representation learning for outof-distribution recommendation. In Proceedings of the ACM Web Conference 2022, WWW '22, page 3562-3571, New York, NY, USA. Association for Computing Machinery.

Wang, Y., Yasunaga, M., Ren, H., Wada, S., and Leskovec, J. (2022b). Vqa-gnn: Reasoning with multimodal semantic graph for visual question answering.

Wen, Z., Xu, G., Tan, M., Wu, Q., and Wu, Q. (2021). Debiased visual question answering from feature and sample perspectives. In Beygelzimer, A., Dauphin, Y., Liang, P., and Vaughan, J. W., editors, Advances in Neural Information Processing Systems.

Yang, X., Lin, G., Lv, F., and Liu, F. (2020). Trrnet: Tiered relation reasoning for compositional visual question answering. In ECCV.

Zhang, C., Bengio, S., Hardt, M., Recht, B., and Vinyals, O. (2021). Understanding deep learning (still) requires rethinking generalization. volume 64, page 107-115, New York, NY, USA. Association for Computing Machinery.

Is this ... or ...?

Figure 6: The strategy awareness VQA from the view of ICM

## A The flexibility of DAS-VQA

The flexibility of DAS-VQA is described by two points: the design of the two awareness systems and the choices of NDE. First, technically, these two ASs can be designed as any deep learning architecture that serves the desired responsibility. Second, as mentioned in Section 2.1.1, we have eight forms of NDE, then, adapting to different training objectives of arbitrary multimodal tasks, different NDE is executed. The following are eight equations of the prediction probability $Z_{I}-S_{1} S_{2} S_{12}$ preparing for NDE computations.

$
\begin{aligned}
& Z_{1}-000=z_{q}+z_{v} \\
& Z_{1}-001=z_{q}+z_{v}+z_{A S} \\
& Z_{1}-010=z_{q}+z_{v}+\left(z_{v^{*}}+z_{q^{*}}\right) \\
& Z_{1}-011=z_{q}+z_{v}+\left(z_{v^{*}}+z_{q^{*}}\right)+z_{A S} \\
& Z_{1}-100=z_{q}+z_{v}+z_{M F} \\
& Z_{1}-101=z_{q}+z_{v}+z_{M F}+z_{A S} \\
& Z_{1}-110=z_{q}+z_{v}+z_{M F}+\left(z_{v^{*}}+z_{q^{*}}\right) \\
& Z_{1}-111=z_{q}+z_{v}+z_{M F}+\left(z_{v^{*}}+z_{q^{*}}\right)+z_{A S}
\end{aligned}
$

## B Implementation details

## B. 1 Designs of awareness systems

In this study, we utilize the independent causal mechanisms (ICM) structure (Schölkopf et al., 2021) for both components. The main idea of the ICM is to decompose the original design into smaller parts that are learned independently. We manipulate one causal mechanism for each question's purpose and each strategy. In this work, all of the guiding models and mechanisms are designed as multilayer perceptron (MLP).

The general flow of ICM is illustrated in Figure 6, which contains a list of strategy models and a guiding model.

Figure 7: The causal impact of strategy selection. The Prediction values indicate results from the selected strategy by $A S_{2}$, while the Random values represent a random selection of strategies, collected from VQA-CPv2.

The key objective of ICM is to train the strategy models independently, with means the weight-updating process of this model does not affect other models' weight. The role of the guiding model is to select $k$ strategies to be activated by a $k$-hot Gumbel max. Afterward, only the selected strategy would contribute to the output of ICM.

## B. 2 Monolithic models design

DAS-VQA utilizes the following Monolithic models: $W_{v}, W_{q}, W_{M F}$. In this work, we use MLP for these models.

## C Evaluation method

Our evaluation methods follow the previous works (Niu et al., 2021; Binh D. Nguyen, 2019), Overall, we evaluate the predicted answer by word-by-word accuracy.

In addition, for VQA-CPv2 and VQAv2, we also report the accuracy of Yes/No and Numbers related questions, the rest of the question types denoted as Other type. While for PathVQA and VQA-RAD, we report the overall score only.

## D Further discussion on qualitative results

The Causal Impact of Strategy Selection The causal impact of strategy selection is depicted in Figure 7. DASVQA proves the ability to learn a list of strategies independently and gain a significant distance in roles of each strategy by the drop of performance when just randomly selecting a strategy.


# Multimodal Encoder with Gated Cross-attention for Text-VQA Tasks

Wei Yang, Arisa Ueda, and Komei Sugiura
Keio University
\{wei.yang, arinko31,komei.sugiura\}@keio.jp
}

\begin{abstract}
Visual scene understanding, such as visual question answering (VQA), is expected to improve as it benefits people with disabilities in daily life. The Text-based VQA task as an extension of VQA is more challenging to tackle, in which the questions' answers must relate to the text information with reading and reasoning like humans. In this work, we propose an integrated self- and gated crossattention encoder module to fuse multi-modalities captured in an image effectively. We evaluated our method on the TextVQA dataset, and the results demonstrated that our model outperformed baseline models on the accuracy evaluation in the text-based VQA task.
\end{abstract
## 1 Introduction

In recent decades, visual and natural language understanding has grown into crucial domains for innovation in Artificial Intelligence (AI) [1,2], with more and more applications reshaping lifestyles [3]. Such as automatic navigation for guiding vehicles [4], dialogue systems [5-7], etc. In daily life, many visual scenes and questions contain textrelated information. Thus, it should be helpful for humans to obtain an accurate answer when they ask a question about the visual scene related to the text, especially for visually impaired people.

The target task of this work refers to constructing a visual question answering (VQA) model that can handle the question-answering problem while requiring reading and reasoning the text in images (TextVQA). And this makes it more complicated and challenging to tackle. For example, in Figure 1, several words exist in the image in different colors (green, brown, and white) to introduce a small bean around the Lake Trasimeno area of Italy. When asked about 'what word is written in white text?', it is required to generate an answer 'trasimeno', which is written in white

Figure 1 Overview of our method for TextVQA: We integrate self- and gated cross-attention mechanisms into a V\&L encoder. color and difficult to see. And this requires reading and reasoning from all text information in the image.

In [8], they combine different modalities with a multimodal transformer over a large joint embedding space. Thus it lacks specific modality pair computation, e.g., a pair between the question and the OCR text information. On the other hand, the image-related cross-attention computation needs to be improved in [9]. And the utilization of the global image modality is absent in both works.

We propose a multimodal encoder, which maximizes using multiple modalities in an image and models the relationship with both self- and gated cross-attention mechanisms. Therefore, our model can handle the text-based VQA problem with a stronger visual-language encoder, especially to obtain visually informed question (language) features.

The main contributions of our work are as follows:
- We introduce an additional vanilla attention block for the entire image to complete the utilization of the visual information.
- To obtain richer features for text and visual modalities, we introduce using a pre-trained CLIP [1] model for OCR tokens and the entire image.
- We introduce a Flamingo's [10] gated cross-attention mechanism to further model the relationship between the entire image (visual) and the question (language).

Figure 2 Overview of our proposed encoder-decoder architecture. TrmD and DPN denote the general Transformer decoder and the dynamic pointer network, respectively. The introduced integrated self- and gated cross-attention encoder are given in green.

## 2 Problem Statement

The focus of this paper is the TextVQA task. The model is expected to predict (output or generate) an answer to a question which should be a deduction based on the text and the visual information in the image. The input and output in our experiments are defined as follows,
- Input: An image that contains text and one imagerelated question. In detail, an image, including the entire image, detected object regions and detected OCR tokens/regions.
- Output: An answer that answers the question by reading and reasoning over the text in the image.

## 3 Proposed Method

Our method is inspired by the M4C [8] and SSbaseline model [11], multimodal Transformer networks that have been successfully applied to the TextVQA task. Figure 2 shows the overview of our proposed self- and gated corss-attention encoder-decoder architecture. Our proposed method is applicable to more than just this work and can be applied to other visual-and-language (V\&L) tasks that consider language- and image-related modalities as inputs. Because efficiently fusing and modeling the relationship between visual and textual modalities is considered the basic strategy for solving any V\&L problems.

Our model comprises two grand divisions: encoder and decoder modules. The encoder module consists of a sequence of stacked attention blocks with self- and gated cross-attention mechanisms. The Transformer decoder module with a dynamic pointer network (DPN) is built to predict the answers from a fixed vocabulary or the OCR tokens in an image, i.e., the answer generation module.

## 3.1 Input

The input $\boldsymbol{X}$ to our model is defined as follows:

$
\boldsymbol{X}=\left.\{\boldsymbol{X}_{\mathrm{Q}}, \boldsymbol{X}_{\text {img }}, \boldsymbol{X}_{\text {obj }}, \boldsymbol{X}_{\text {ocr }, \mathrm{v}}, \boldsymbol{X}_{\text {ocr }, \mathrm{s}}\right.\}
$

where $\boldsymbol{X}_{\mathrm{Q}}, \boldsymbol{X}_{\mathrm{img}}, \boldsymbol{X}_{\mathrm{obj}}, \boldsymbol{X}_{\mathrm{ocr}, \mathrm{v}}$, and $\boldsymbol{X}_{\mathrm{ocr}, \mathrm{s}}$ denote the question, entire image, detected objects, recognized OCR regions (visual) and OCR tokens (semantic), respectively.

We use the CLIP (RN50x4) model to obtain a 640dimensional feature vector $\left(\boldsymbol{x}_{\text {glob }}\right)$ for each entire image.

Moreover, we encode the detected objects in an image through the fc6 layer of Faster R-CNN [12] and finetuning the last layer on the TextVQA dataset, $\left.\{\boldsymbol{x}_{\mathrm{obj}, \mathrm{fr}}^{(m)} \mid\right.$ $m=1, \cdots, M\}$, where $M$ denotes the number of the objects considered in the image. The same Faster R-CNN model and fine-tuning are also applied to the OCR region feature extraction, $\left.\{\boldsymbol{x}_{\mathrm{ocr}, \mathrm{fr}}^{(n)} \mid n=1, \cdots, N\right.\}$, where $N$ denotes the number of the OCR tokens considered in the image. We obtain a 2048-dimensional feature vector for each region. The spatial features (4-dimensional bounding box features, e.g., $\left.\boldsymbol{x}_{\mathrm{obj}, \mathrm{bx}}^{(m)}\right)$ are also used in our experiments.

The recognized OCR token features $\boldsymbol{x}_{\text {ocr,tok }}^{(n)}$ are made up of (1) character-level Pyramidal Histogram of Characters (PHOC) [13] feature for each OCR token (604dimensional $\boldsymbol{x}_{\text {ocr,phoc }}^{(n)}$, (2) FastText features $\boldsymbol{x}_{\text {ocr,ft }}^{(n)}$ for the OCR tokens in subword-level (300-dimensional) and (3) 640-dimensional CLIP-based OCR token features $\boldsymbol{x}_{\text {ocr,clip }}^{(n)}$. Note that we use the same pre-trained CLIP model for image and OCR token's feature extraction. We use a threelayer BERT [14] model to obtain a 768-dimensional embedding for each token. This BERT model is fine-tuned during training

$
\begin{gathered}
\boldsymbol{h}_{\text {glob }}=f_{\mathrm{LN}}\left(\boldsymbol{W}_{\text {glob }} \boldsymbol{x}_{\text {glob }}\right) \\
\boldsymbol{h}_{\mathrm{obj}}^{(m)}=f_{\mathrm{LN}}\left(\boldsymbol{W}_{\mathrm{obj}, \mathrm{fr}} \boldsymbol{x}_{\mathrm{obj}, \mathrm{fr}}^{(m)}\right)+f_{\mathrm{LN}}\left(\boldsymbol{W}_{\mathrm{obj}, \mathrm{bx}} \boldsymbol{x}_{\mathrm{obj}, \mathrm{bx}}^{(m)}\right)
\end{gathered}
$

$
\begin{gathered}
\boldsymbol{h}_{\mathrm{ocr}, \mathrm{v}}^{(n)}=f_{\mathrm{LN}}\left(\boldsymbol{W}_{\mathrm{ocr}, \mathrm{fr}} \boldsymbol{x}_{\mathrm{ocr}, \mathrm{fr}}^{(n)}\right)+f_{\mathrm{LN}}\left(\boldsymbol{W}_{\mathrm{ocr}, \mathrm{bx}} \boldsymbol{x}_{\mathrm{ocr}, \mathrm{bx}}^{(n)}\right) \\
\boldsymbol{h}_{\mathrm{ocr}, \mathrm{s}}^{(n)}=f_{\mathrm{LN}}\left(\boldsymbol{W}_{\mathrm{ft}} \boldsymbol{x}_{\mathrm{ocr}, \mathrm{ft}}^{(n)}+\boldsymbol{W}_{\mathrm{ph}} \boldsymbol{x}_{\mathrm{ocr}, \mathrm{phoc}}^{(n)}+\boldsymbol{W}_{\mathrm{c}} \boldsymbol{x}_{\mathrm{ocr}, \mathrm{clip}}^{(n)}\right)
\end{gathered}
$

We apply Layer Normalization $f_{\mathrm{LN}}($.$) to various ex-$ tracted features. $\boldsymbol{W}$. denotes weight matrix.

## 3.2 Visual-and-language encoders

The first encoder module consists of a stack of attention blocks to model the relationship between the question and other text or visual modalities using self-attention. The inputs of each attention block are the embeddings $\left(X_{\mathrm{Q}}=\right.$ $\left.\{\boldsymbol{x}_{\mathrm{q}}^{(1)}, \cdots, \boldsymbol{x}_{\mathrm{q}}^{(L)}\right.\}$ of the question sequence, $Q=\left.\{q_{i}\right.\}_{i=1}^{L}$, and the encoded features of another modality (e.g., $\boldsymbol{h}_{\text {ocr, }, \mathrm{v}}^{(n)}$ and $\left.\boldsymbol{h}_{\text {glob }}\right)$. The outputs of an attention block refer to the weighted sum of subword-based features $\left(\boldsymbol{X}_{Q}^{\prime}\right)$ and the summarizing feature of another modality (e.g., $\boldsymbol{X}_{\mathrm{ocr}, \mathrm{v}}^{\prime}$ ).

In practice, we firstly input the question features into a fully connected feed-forward network consisting of two convolutions with kernel size 1.

$
\boldsymbol{h}_{\mathrm{q}}^{(i)}=\operatorname{Conv1D}\left(\operatorname{ReLU}\left[\operatorname{Conv1D}\left(\boldsymbol{x}_{\mathrm{q}}^{(i)}, 1\right)\right]\right), i=1, \ldots, L
$

Then, the output $\boldsymbol{h}_{\mathrm{q}}^{(i)}$ goes through a self-attention process before it works with other modalities. We define the self-attention operation as follows,

$
\boldsymbol{h}^{\prime}=\operatorname{SelfAttn}(\boldsymbol{h})=\operatorname{softmax}\left(\frac{\boldsymbol{h} \boldsymbol{W}_{Q} \boldsymbol{W}_{K}^{\top} \boldsymbol{h}^{\top}}{\sqrt{d_{k}}}\right) \boldsymbol{h} \boldsymbol{W}_{V}
$

where $\boldsymbol{W}$. denotes a learnable weight, $d_{k}$ is obtained as $d_{k}=\mathrm{H} /$ heads (Appendix A.2). Here, we parallelly perform self-attention on the question modality with independent parameters as the input for different attention blocks.

$
\boldsymbol{\alpha}_{i}=\operatorname{SelfAttn}\left(\boldsymbol{h}_{\mathrm{q}}^{(i)}\right)
$

For each attention block, we obtain the first output, weighted sum of subword-based features $\left(\boldsymbol{X}_{Q}^{\prime}\right)$ for the question sequence, as follows,

$
\boldsymbol{X}_{Q}^{\prime}=\sum_{i=1}^{L} \alpha_{i} \boldsymbol{x}_{\mathrm{q}}^{(i)}
$

It is also used as the guidance for calculating the cross-modality (e.g., Question and OCR regions) attention weights (see formula (9) and (10)). In this example, the value of $n(n=1, \cdots, N)$ varies with the number of OCR tokens recognized in the image. It also can be the number of detected objects in the image.

$
\begin{gathered}
\boldsymbol{u}_{n}=\operatorname{ReLU}\left(\boldsymbol{W}_{q} \boldsymbol{X}_{Q}^{\prime}\right) \odot \operatorname{ReLU}\left(\boldsymbol{W}_{h} \boldsymbol{h}_{\mathrm{ocr}, \mathrm{v}}^{(n)}\right) \\
\boldsymbol{\beta}_{n}=\operatorname{SelfAttn}\left(\boldsymbol{u}_{n}\right), n=1, \ldots, N
\end{gathered}
$

We obtain the summarizing feature of the OCR visual modality as the second output of the attention block.

$
\boldsymbol{X}_{\mathrm{ocr}, \mathrm{v}}^{\prime}=\sum_{n=1}^{N} \boldsymbol{\beta}_{n} \boldsymbol{h}_{\mathrm{ocr}, \mathrm{v}}^{(n)}
$

Finally, the element-wise multiplication is applied to the outputs of each attention block for final fusion.

$
\boldsymbol{z}_{\mathrm{ocr}, \mathrm{v}}=\boldsymbol{X}_{Q}^{\prime} \odot \boldsymbol{X}_{\mathrm{ocr}, \mathrm{v}}^{\prime}
$

As described above, our module consists of four this kind of attention blocks for the modality pair Q-and-OCRvisual (as an example), Q-and-OCR-token, Q-and-Object, and Q-and-Image.

Moreover, to further model the relationship between an image and its corresponding question, a learnable gated cross-attention mechanism is introduced. We firstly define the cross-attention operation as follows,

$\tilde{\boldsymbol{h}}=\operatorname{Cross} \operatorname{Attn}\left(\boldsymbol{h}_{\mathbf{1}}, \boldsymbol{h}_{\mathbf{2}}\right)=\operatorname{softmax}\left(\frac{\boldsymbol{h}_{\mathbf{1}} \boldsymbol{W}_{Q} \boldsymbol{W}_{K}^{\top} \boldsymbol{h}_{\mathbf{2}}^{\top}}{\sqrt{d_{k}}}\right) \boldsymbol{h}_{\mathbf{2}} \boldsymbol{W}_{V}$

$h_{1}$ and $h_{2}$ can be any two modalities' features. Here they refer to the entire image and the question modalities. Then,

$
\boldsymbol{h}_{Q}=\boldsymbol{X}_{Q}+\tanh \left(\boldsymbol{W}_{a}\right) \odot \operatorname{Cross} \operatorname{Attn}\left(\boldsymbol{X}_{Q}, \boldsymbol{h}_{\text {glob }}\right),
$

where $\boldsymbol{W}_{a}$ denotes the attention-gating parameter.

$
\boldsymbol{h}_{f}=\boldsymbol{h}_{Q}+\tanh \left(\boldsymbol{W}_{b}\right) \odot \operatorname{FFW}\left(\boldsymbol{h}_{Q}\right),
$

where FFW is feed-forward network, and $\boldsymbol{W}_{b}$ denotes the FFW-gating parameter. These layers followed by a regular self-attention and another FFW on language modality to obtain visually informed question (language) features,

$
\begin{gathered}
\boldsymbol{h}_{s}=\boldsymbol{h}_{f}+\operatorname{SelfAttn}\left(\boldsymbol{h}_{f}\right) \\
z_{i m g \rightarrow q}=\boldsymbol{h}_{s}+\operatorname{FFW}\left(\boldsymbol{h}_{s}\right)
\end{gathered}
$

Finally, the obtained $z_{i m g} \rightarrow q$ will be concatenated with the four outputs by a sequence of stocked attention blocks to obtain a final context embedding for the decoding process.

## 3.3 Transformer decoder

We introduce a transformer decoder module with a dynamic pointer network to interactively generate answers from a fixed answer vocabulary $(v=1, \cdots, V)$ or copy from the OCR tokens $(n=1, \cdots, N)$ in an image alternatively. In the implementation, the probability computation for the selection from the fixed answer vocabulary $p\left(\hat{\boldsymbol{y}}_{t, v}^{\mathrm{voc}}\right)$ or OCR tokens $p\left(\hat{\boldsymbol{y}}_{t, n}^{\text {ocr }}\right)$ is given as follows,

$
\begin{gathered}
p\left(\hat{\boldsymbol{y}}_{t, v}^{\mathrm{voc}}\right)=\operatorname{softmax}\left(\left(\boldsymbol{w}_{\mathrm{voc}}^{(v)}\right)^{\top} \boldsymbol{z}_{\mathrm{dec}}^{(t)}\right) \\
p\left(\hat{\boldsymbol{y}}_{t, n}^{\mathrm{ocr}}\right)=\operatorname{softmax}\left(\left(\boldsymbol{W}_{\text {ocr }} \boldsymbol{z}_{\mathrm{ocr}}^{(n)}\right)^{\top}\left(\boldsymbol{W}_{\mathrm{dec}} \boldsymbol{z}_{\mathrm{dec}}^{(t)}\right)\right),
\end{gathered}
$
where $\boldsymbol{W}_{\text {ocr }}$ and $\boldsymbol{W}_{\text {dec }}$ denote $d \times d$ matrices. $\boldsymbol{z}_{\text {ocr }}^{(n)}(n=$ $1, \ldots, N$ ) denotes the d-dimensional transformer output of the $N$ OCR tokens in the image. For both two formula, the decoder embedding (d-dimensional $z_{\text {dec }}^{(t)}$ ) for the current time-step $t$ is obtained depending on the previously predicted token at time-step $t-1$ and its corresponding representation $\boldsymbol{x}_{\mathrm{dec}}^{(t)}$. In other words, in the case of the prediction at time-step $t-1$ is a word from the fixed vocabulary, we feed its corresponding weight vector $\boldsymbol{w}_{\text {voc }}^{(v)}$ as the transformer input. On the other hand, if the prediction (at timestep $t$-1) from the OCR tokens, its OCR representation $\boldsymbol{h}_{\text {ocr,all }}^{(n)}$ (obtained from OCR visual and semantic modalities) is considered as the transformer input to obtain the decoder embedding for the time-step $t$.

For the final prediction, we take the argmax on the concatenation of both probabilities $\left[p\left(\hat{\boldsymbol{y}}_{t, v}^{\mathrm{voc}}\right) ; p\left(\hat{\boldsymbol{y}}_{t, n}^{\text {ocr }}\right)\right]$ and select the top element with the highest score as the answer from the concatenation of $V+N$ candidates.

## 4 Experiments

## 4.1 Quantitative results

We performed the experiments using the TextVQA dataset (See Appendix A.3) with the experimental setting given in Appendix A.2. We used the standard evaluation for VQA tasks, accuracy (Acc.), which was evaluated based on the predicted answer against the ground truth (GT) answers provided by humans.

Table 1 shows the quantitative results of the baselines and our method. The scores in Table 1 represent the evaluations reported in the papers or with average and standard deviation obtained based on five trials in our experiments. Note that the baselines and proposed method share $x_{\text {ocr,phoc, }}^{(n)}$, $\boldsymbol{x}_{\text {ocr,ft }}^{(n)}, \boldsymbol{x}_{\text {ocr,fr }}^{(n)}, \boldsymbol{x}_{\text {ocr,bx }}^{(n)}, \boldsymbol{x}_{\text {obj,fr }}^{(m)}$, and $\boldsymbol{x}_{\text {obj,bx }}^{(m)}$ as inputs.

Table 1 Qualitative results.

 &  &  \\

The experimental results demonstrate that the proposed method outperformed the SSbaseline model (43.9\%), with an increase of $1 \%$. More significant improvements (5.5\%) were obtained compared with the M4C method (39.4\%).

Q: what is in the bottles?

A: (ours) [5-hour] [energy]

(SSbaseline) sugar energy

(GT) ['cherry 5 hour energy', '5 hour energy']

Q: what does the sign say after command model?

A: (ours) [service] [module] (SSbaseline) command module

(GT) ['module', 'service module', 'usa', 'sevice module']

Figure 3 Qualitative samples of the predicted answers based on our proposed method and the SSbaseline method.

## 4.2 Qualitative results

Figure 3 shows the qualitative samples of our model compared with the SSbaseline model. The left subfigure shows that the baseline model failed to predict the correct answer due to the wrong OCR token selection. In contrast, according to the question asked about the contents of those bottles, our model correctly selected to use the accurate OCR tokens '5-hour' with 'energy'. The subfigure on the right shows that our model predicted the correct answers by considering the OCR tokens 'service' and 'module' and their corresponding objects (the sign after the command model). The baseline method failed in these two samples.

## 5 Conclusion

In this paper, we focused on the TextVQA task that generates answers according to the questions that need text understanding and reasoning. We would like to emphasize the following contribution of this wok:
- We proposed using image modality with an additional attention block to complete the utilization of the visual information in an image.
- To obtain the rich features for different modalities, we introduced using a pre-trained CLIP for OCR tokens and an entire image.
- We introduced a Flamingo's gated cross-attention mechanism to further model the relationship especially for the entire image and the question.
- Our method outperformed the baseline methods on accuracy evaluation with the TextVQA dataset.

## Acknowledgements

This material is based upon work supported by JSPS KAKENHI Grant Number 20H04269, JST Moonshot, and NEDO.

## References

[1] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In ICML, pp. 8748-8763, 2021.

[2] Jianfeng Wang, Zhengyuan Yang, Xiaowei Hu, Linjie Li, Kevin Lin, Zhe Gan, Zicheng Liu, Ce Liu, and Wang Lijuan. GIT: A generative image-to-text transformer for vision and language. arXiv preprint arXiv:2205.14100, 2015.

[3] Erik Wijmans, Samyak Datta, Oleksandr Maksymets, Abhishek Das, Georgia Gkioxari, Stefan Lee, Irfan Essa, Devi Parikh, and Dhruv Batra. Embodied question answering in photorealistic environments with point cloud perception. In CVPR, pp. 6659-6668, 2019.

[4] Xin Wang, Qiuyuan Huang, Asli Celikyilmaz, Jianfeng Gao, Dinghan Shen, Yuan-Fang Wang, William Yang Wang, and Lei Zhang. Reinforced cross-modal matching and self-supervised imitation learning for vision-language navigation. In CVPR, pp. 6629-6638, 2019.

[5] Minlie Huang, Xiaoyan Zhu, and Jianfeng Gao. Challenges in building intelligent open-domain dialog systems. ACM Transactions on Information Systems (TOIS), Vol. 38, No. 3, pp. 1-32, 2020.

[6] Shoya Matsumori, Kosuke Shingyouchi, Yuki Abe, Yosuke Fukuchi, Komei Sugiura, and Michita Imai. Unified questioner transformer for descriptive question generation in goal-oriented visual dialogue. In ICCV, pp. 1878-1887, 2021.

[7] Komei Sugiura, Naoto Iwahashi, Hideki Kashioka, and Satoshi Nakamura. Active learning for generating motion and utterances in object manipulation dialogue tasks. In AAAI Fall Symposium on Dialog with Robots, pp. 115-120, 2010.

[8] Ronghang Hu, Amanpreet Singh, Trevor Darrell, and Marcus Rohrbach. Iterative answer prediction with pointeraugmented multimodal transformers for TextVQA. In CVPR, pp. 9992-10002, 2020.

[9] Amanpreet Singh, Vivek Natarajan, Meet Shah, Yu Jiang, Xinlei Chen, Dhruv Batra, Devi Parikh, and Marcus Rohrbach. Towards VQA models that can read. In CVPR, pp. 8317-8326, 2019

[10] Jean-Baptiste Alayrac, Jeff Donahue, Pauline Luc, Antoine Miech, Iain Barr, Yana Hasson, Karel Lenc, Arthur Mensch, Katie Millican, Malcolm Reynolds, et al. Flamingo: a visual language model for few-shot learning. NeurIPS, 2022.

[11] Qi Zhu, Chenyu Gao, Peng Wang, and Qi Wu. Simple is not easy: A simple strong baseline for TextVQA and TextCaps. In AAAI Conference on Artificial Intelligence, pp. 3608-3615, 2020.

[12] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster R-CNN: Towards real-time object detection with region proposal networks. NeurIPS, 2015.

[13] Jon Almazán, Albert Gordo, Alicia Fornés, and Ernest Valveny. Word spotting and recognition with embedded attributes. IEEE Trans. PAMI, Vol. 36, No. 12, pp. 25522566, 2014

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In ACL, pp. 41714186, 2019.

## A Appendix

## A. 1 Loss function

We combine using the multi-label binary cross-entropy and a new policy gradient loss introduced in [11].

## A. 2 Experimental setup

The experimental setting for the hyperparameters is summarized in Table 2. L, H, and heads denote the number of hidden layers, hidden size, and the number of attention heads of a Transformer model, respectively. Our experiments were performed on four Tesla V100 GPUs with 64GB memory in total. For each performance, it required approximately 43 hours to train over 34,000 iterations. Our model had 187,456,002 (187M) trainable parameters. The prediction for one sample took approximately $70 \mathrm{~ms}$.

Table 2 Hyperparameter setting of our experiments

## A. 3 Dataset

In our experiments, we used the standard dataset TextVQA, released to facilitate the progress of the Textbased image captioning task in 2019. This dataset was annotated via crowd-sourcing based on the Open Images (v3) dataset. The annotators were asked to identify images containing text, then collected 1-2 questions requiring reading and reasoning about the text in the image; ten answers were collected according to different questions.

The TextVQA dataset contains 45,336 questions (samples) in English with their corresponding answers collected based on 28,408 images. The total number of tokens is 308,753 , and the number of unique tokens is 9,568 . The average question length is 7.44 words. Note that we did not perform any pre-processing for the questions' statistics. The average answer length is 1.58 [9]. The dataset is divided into training, validation, and test sets with sizes $34,602,5,000$, and 5,734, respectively. There is no overlap between any two splits.

We used the training set to update the parameters of our model. We evaluated our model on the validation set because the test set's ground truth (GT) answers were not provided. The experiments followed standard procedures in which the validation set was not used for training or tuning hyperparameters.

## A. 4 Ablation Studies

Table 3 presents Ablation Studies of our proposed method. We defined the following three ablation conditions:

(i) Without (w/o) image-related attention block \& gated cross-attention operation for language and image (=SSbaseline).

(ii) Without (w/o) gated cross-attention operation for language and image.

(iii) Our proposed method (full).

In Table 3, compared with Condition (i), the accuracy was increased by approximately $0.4 \%$ by introducing an additional vanilla attention block with image modality and CLIP features (Condition (ii)). Thus, the image modality, absent in the baseline model introduced in our proposed method, increases the TextVQA task's performance. In comparing Condition (iii) with Condition (ii), a further improvement $(0.6 \%)$ was obtained by introducing a gated cross-attention module for image and question modalities in the encoding process. In summary, these results indicate that only using the object and OCR modalities with questions is insufficient; image as one of the visual modalities is also indispensable to the text-based VQA performance. Furthermore, more robust attention computation between the image and question modality is essential in the encoder process in our TextVQA task.

Table 3 Ablation studies on TextVQA.

 & Acc. on val. \\