# Monadic Chat :
## テキスト補完 API で文脈を保持するためのフレームワーク

\author{
長谷部 陽一郎 \\ 同志社大学 \\ yhasebe@mail.doshisha.ac.jp
}

## 概要

関数型プログラミングにおけるモナドの概念を応用することで既存のテキスト補完 API に文脈情報を 保持する仕組みを加え，対話形式で利用するための 方法を提案する．対話の各ターンがアキュムレータ ーとリデューサーを備えたモナド的再帰構造を持つ ようプログラムを実装することで，異なる目的のア プリケーションをテンプレートを差し替えるだけで 実現できる。これを示す実例として Monadic Chat を 開発した. OpenAI による GPT-3 ベースのテキスト 補完 API を利用するプログラムであり，インタラク ティブなアプリケーションをユーザー自身で定義す ることができる．その設計は，対話／談話に関する 認知言語学上のモデルとも親和性が高い.

## 1 はじめに

2020 年に OpenAI が GPT-3 を公開して以降, ユー ザーからの入力に対して自然言語テキストでレスポ ンスを返す，いわゆる AI システムが多くの注目を 集めている.また 2022 年後半に発表された ChatGPT はチャット形式で文脈を保持した対話が可能であり [1], 今後こうした汎用 AI システムが様々な領域で 活用されることが期待されている.

OpenAI は GPT-3 をベースにした言語モデルの API サービスを提供しているが，対話の文脈を保持 する仕組みは含まれていない. したがって, ChatGPT のような仕組みや，それに類するアプリケーション を構築するためには OpenAI が提供するテキスト補完（text completion）API を用いて独自のロジックを 組み立てる必要がある。そこで関数型プログラミン グにおけるモナドの概念を応用したコマンドライ

ン・ツール Monadic Chatを開発した。

本ツールでは，関数型プログラミングにおけるモ ナドの概念を用いて，グローバルな変数や外部のス トレージに文脈情報を格納することなく，逐次的な 対話によって文脈を作り出して次々と後の処理に引 き渡すことができる。また，対話の目的，性質，前提などを定型のテンプレートに記述することで，様々な対話アプリケーションをわずかの工数でユー ザーが自ら作ることができる.1)

以下では 2 節で Monadic Chat 基本的な内容を示 す. 3 節では自然言語による談話をモナド的再帰構造としてモデル化することの意義と利点について考察する. 4 節では本ツールによる再帰的な対話処理 の流肮とテンプレートの仕様について述べる. 最後 に 5 節で全体のまとめを行う。

## 2 Monadic Chat について

## 2.1 言語モデルの指定と API アクセス

Monadic Chat は OpenAIによる GPT-3 以降のモデ ルにテキスト補完 APIを通じてアクセスする仕様に なっている.2 ${ }^{2}$ 具体的には現時点で利用できる最大 の汎用モデル davinci - text-003を使用することに なる. OpenAI は特定の目的に特化した様々なモデル を提供しているが(プログラムコード作成用モデル，音声入力テキスト修正用モデルなど），それらを用 いることはできない. 本ツールではテンプレートに 必要事項を記述することで機能を実現するが，テン プレートには自然言語による指示と JSON 形式の才 ブジェクトを含める必要があり，これらを正しく解釈し適切なデータを返すことができるモデルが必要 となる. なお, OpenAI の各種 API の使用は有料であ

2) 現時点では OpenAI のテキスト補完 API を用いる以外 の選択肢はないが, 同様のレベルで汎用的かつ高性能なモ デルが利用可能であれば，それらに対応することは十分可能である.

り，アカウントを作成してアクセス・トークンを取得する必要がある.

## 2.2 プログラムの入手と使用

Monadic Chat は Ruby で作成されている. ${ }^{3)}$ Ruby の バージョン2.6.0 以上が利用可能な環境であれば， gem install monadic_chat というコマンドでイン ストールすることができる.

インストール後は monadic コマンドでプログラ ムを起動する. 初回起動時に OpenAI のアクセスト ークンを入力することが求められる。問題なく API にアクセスできることが確認されると，それ以降は アクセストークンを明示的に入力する必要はない.

本ツールのソースコードやその他の情報は https://github.com/yohasebe/monadic_chat で 公開している.

## 2.3 利用できるテンプレート

Monadic Chat ではテンプレートを記述することで，様々な対話アプリケーションを作成できるが，サン プルとして1) Chat（一般的対話），2）Translate （文章の翻訳），3） Novel（物語の段階的生成）, 4) Code (プログラムコードの作成) という 4 つのテ ンプレートを提供している. いずれの場合でも，ユ ーザーからのテキスト入力に対して, GPT-3 が何ら かの返答を示す. その際, これまでのやりとりで扱 われた内容が文脈として機能する。

なお，コマンドライン上のインタラクティブな対話形式で実行することが基本であるが，あらかじめ 用意したプロンプトのリストを読み込ませて連続処理することも可能である.)

## 3 モナドとしての談話構造

## 3.1 認知言語学の談話モデル

テキスト補完 API を利用して文脈を伴った対話を 実現するに際しては 2 つの方針が考えられる. 1 つ は，特定の目的一例えば自然言語による質疑応答一 に最適化しながらシステムを実装する方針である.

これには，構造よりも機能に主眼をおいて個々のア プリケーションの設計をシンプルに保ち, 使用リソ

一スを最低限にできる利点がある。もう 1 つは，自然言語による談話に参与する話者と聞き手の中でど のような認知プロセスが生じているかについて，理論言語学的モデルを参考にするという方針である.

Monadic Chat の開発にあたっては後者を採用した.

認知言語学の主要な研究者の一人である Ronald Langacker は, リアルタイムで進行する談話展開を 「現在時談話空間（current discourse space, CDS）の 更新」という観点から図 1 のような構造を持つもの として記述・分析している $[3,4]$.

図 1 : 現在時談話空間 (CDS)

Langacker は[5]で示された考え方を受けて，言語の 構造を「CDS を更新するための指示書」として捉え るアプローチを可能性として提案する (“we might think of linguistic structures (of whatever size) as instructions to modify the current discourse space in particular ways" p.151) [3]. 1 つ つの発話事象 (usage event）では，そのような指示書の内容に応じて CDS が更新される。また, 発話事象の中に含まれる話し 手, 聞き手, 話題の事物といった要素はもちろん,文脈や共有知識といった要素を含む対象世界の全体 が後続する発話事象に引き継がれていく.

あくまで数多ある理論言語学上のモデルの 1 つで あるが, 認知言語学の理論的研究の中で多くの実例 と共に示されてきた CDS に基づく談話モデルには，一定の認知的・言語的根拠がみとめられる[4]. また, CDS に基づくモデルは関数型プログラミングにお けるモナドの概念ときわめて親和性が高い[6]. これ らのことは，談話の参与者，文脈，前提知識といっ たものを一種の「環境」と捉え，それを逐次的に引 き回す構造にある種の普遍性があることを示唆する。

(1) ユーザーからのテキスト入カが テンプレート内に記載された JSON の input プロパティに挿入される.

(5) 入力側と同じ構造の JSON を含んだテン プレートが返却される。その内部からユー ザーのテキスト入カに対する返答を取り出す.

図 2 : Monadic Chat による処理の流れ

そこで本ツールでは対話・談話をモナド的な構造と して設計することを選択した.5

## 3.2 モナドについて

関数型プログラミングにおけるモナドはしばしば 「環境に包まれた值」というメタファーで説明され る[2].ここで「環境」をボックスで表記するなら， モナドとしての性質を持つためには次の操作が可能 であることが求められる[8].

(1) unit $:: \mathrm{a} \rightarrow \mathrm{a}$

(2) $\operatorname{map}::(\mathrm{a} \rightarrow \mathrm{b}) \rightarrow(\mathrm{a} \rightarrow \mathrm{b})$

(3) join :: $\mathrm{a} \rightarrow \mathrm{a}$

(1)の unit は対象となる值 a を環境に包む働きをす る。(2)は值 $\mathrm{a}$ から値 $\mathrm{b}$ を得るという手続きを，環境 を伴った值を扱う手続きに変換する.(3)の join は二重になった環境を平坦化する。こうした一連の条件 を満たしたモナドは，環境として与えられた構造を 保持・更新しながら連続的・逐次的に処理を実行で きるという特徴を持つ $[9,10,11]$.

(1)から(3)における a やb といった値を「ユーザー からの問いかけ」や「問いかけに対する返答」と考 えるならば，「環境」はプロンプトに書き込まれた 文脈，前提，対話上の設定といった諸々の要素を総合したものと言うことができる. Monadic Chat では，
^{5)}$ Monadic Chat は関数型プログラミングにおけるモナド の考え方を用いて設計されているが，現時点ではモナド 則（monad laws）を厳密な意味で満たしているわけでは ない[2].
}

このような発想にもとづき，文脈を伴った対話の形式でGPT-3 の言語モデルを利用できるようにするこ とを目指した. ${ }^{6}$

## 4 再帰構造としての対話

## 4.1 処理の流れ

Monadic Chat による処理の流れを図 2 に示す。本 ツールのモナド的構造は, ユーザーによる問いかけ, GPT-3 による返答，そして「環境」としてのテンプ レートによって構成される. (1)は值を環境に包む処理（unit）であり, (2)と(3)は問いかけに対する返答を 得る手続きに環境を伴わせる処理（map）である.こ うした一連の手続きによって最終的に目指すのは，同じ一連の手続きに対する入力となることのできる テンプレートを得るという再帰的プロセスである. また，その際には一連の処理の結果を「文脈」とし て受け渡せるようにしなくてはならない。ただし，結果として得るテンプレートを履歴としてそれ自身 に埋め込むと, 次々に履歴の階層が増すことになる ため, 何らかの平坦化 (join) をかける必要がある.

(4)では，実現したいアプリケーションの性質に応 じて，ユーザーの入力值と GPT-3 からの返答，もし くはその両方をアキュムレーターに書き足していく. このアキュムレーターこそが「文脈」を保持する要素となる，当然ながら対話のターンが積み重なるに

6) 処理に必要となるリソースの観点からするとモナド的 な構造は必ずしも効率的なものではない. 環境（あるい は世界）の引き回しにおいてこの問題が生じ得ることは [7]でも指摘されている.

Make sure the following requirements are all fulfilled:
- set the prompt to the "prompt" property
- create your response to the prompt in accordance with the "conversation_history" and set it to "response"
- create a new pair consisting of the prompt and the newly created response and insert the pair after all the existing pairs in the "conversation_history"
- if the prompt is in a language other than the current value of "language", set the name of the prompt

language to "language" and make sure that "response" is in that language
- make your response in the same language as the prompt
- analyze the topic of the prompt and insert it at the end of the value list of the "topics" property
- program code in the response must be embedded in a code block in the markdown text (4)

Wrap the JSON obiect with "<JSON>\n" and "\n</JSON>" (5)

図 3 : テンプレートの例 (template_chat.mdより，一部省略）

つれて，アキュムレーター内の要素数は増大する。

しかし, 実際の言語運用において談話の最初の要素 から最後の要素までが完全に同じ形で参与者の記憶 に留まっているとは限らない。古い文脈情報は久落 したり, 要点だけにまとめられたり, 何らかの要因 によって書き換えられたりする。こうした現実的な 傾向を反映させるため, Monadic Chat では, Ruby の コードを記述してリデューサーの機能を定義するこ とを可能にしている. 標準では, 先入先出し (FIFO) のキュー構造として指定件数のデータのみが保持さ れる設定になっているが，一定のターンが終了する たびに古い情報をテキスト要約 API を用いて圧縮す るということも可能である[12]. 実際のところ, これ らに一部対応するとみられる認知プロセスは，認知言語学の領域でも議論されてきた[13,14,15].

## 4.2 テンプレートの構造

Monadic Chat のテンプレートの例と基本的な構造 を図 3 に示す. 本ツールではユーザからの問いかけ のテキストをテンプレートに埋め込み，これをプロ ンプトとして GPT-3 のテキスト補完 API に送信す る.ここで重要なことは，テンプレートの中には文脈情報を含んだ JSON データと共に，この JSON の 内容を書き換えるという自己参照的な指示が記載さ れていることである. Monadic Chat のシステムはこ うして得られた JSON に適宜処理を加えた上で元の テンプレート中の JSON と差し替えることで，文脈 の更新と設定の維持を同時に実現している.

## 5 まとめと展望

本稿では関数型プログラミングにおけるモナドの 概念を応用して，GPT-3 を用いたテキスト補完 API を文脈情報を保持しながら対話的に用いる方法を提案した。また, 実例としてのプログラム Monadic Chat とその設計を紹介した。またその背後にある認知言語学的な考え方についても論じた.

OpenAI の GPT-3 や ChatGPT に代表される汎用的 で高性能な言語モデルや対話システムの登場は，自然言語処理の領域にとどまらず，理論言語学の観点 からも興味深い. Monadic Chat のようなツールには,擬似的とはいえ対話や談話の構造に自ら関与して実験的試みを行うプラットフォームとしての利点もあ ると思われる。

## 謝辞

本研究は JSPS 科研費 $18 \mathrm{~K} 00670$ の助成を受けた 研究の一部として遂行されたものです.

## 参考文献

[1] OpenAI ChatGPT: Optimizing language models for dialogue, 2022.

https://openai.com/blog/chatgpt/ (Retrieved January 11, 2023)

[2] Hutton, Graham. Programming in Haskell. Cambridge: Cambridge University Press, 2nd Edition, 2016.

[3] Langacker, Ronald W. Discourse in Cognitive Grammar. Cognitive Linguistics 12(2), 2001.

[4] Langacker, Ronald W. Cognitive Grammar: A Basic Introduction. Oxford: Oxford University Press, 2008.

[5] Harder, Peter. Functional Semantics: A Theory of Meaning, Structure and Tense in English. Berlin: Mouton de Gruyter, 1996.

[6] Hasebe, Yoichiro. An Integrated Approach to Discourse Connectives as Grammatical Constructions. PhD dissertation, Kyoto University, 2021.

[7] 田中久美子.『記号と再帰 : 記号論の形式・プ ログラムの必然』東京 : 東京大学出版会, 2010

[8] Petricek, Tomas. What we talk about when we talk about monads. The Art, Science, and Engineering of Programming 2(3), 2018.

https://programming-journal.org/2018/2/12/

(Retrieved January 11, 2023)

[9] Wadler, Philip. Monads for functional programming. In Rogardt Heldal, Carsten Kehler Holst, and Philip Wadler, eds., Advanced Functional Programming, pp. 24-52. Dordrecht: Springer, 1995.

[10] Wadler, Philip. Comprehending Monads. Mathematical Structures in Computer Science 2(4), pp. 32-39, 2005.

[11] Parsec: Direct style monadic parser combinators for the real world. Microsoft Research, 2021.

https://www.microsoft.com/en-us/research/ wp - content/uploads/2016/02/parsec - paper letter.pdf (Retrieved January 11, 2023)

[12] OpenAI. API Reference, 2023. https://beta.openai.com/docs/api - reference (Retrieved January 11, 2023)

[13] Chafe, Wallace L. Discourse, Consciousness, and Time: The Flow and Displacement of Conscious Experience in Speaking and Writing. Chicago: University of Chicago Press, 1994.

[14] Fauconnier, Gilles and Mark Turner. Compression and global insight. Cognitive Linguistics 11(3-4), pp. 283-304, 2000.

[15] Bybee, Joan L. From Usage to Grammar: The Mind's Response to Repetition. Language 82(4), pp.711-733, 2006

## A 付録

※ 網掛部は談話世界を構築するためにテンプレートの 中で初期値として与えているテキストであることを 示す. テンプレートの実例（Chat）は図 3 を参照.

## Chat
- User: Can I ask something? / GPT: Sure.
- User: What is the best place to visit in Texas? / GPT: I would recommend visiting the San Antonio River Walk. It's a great spot for sightseeing, shopping, and dining. Plus, it's a great way to experience the culture of Texas!
- User: What do people say about the place? / GPT: People generally have positive things to say about the San Antonio River Walk. It's a great place to visit and explore, and many people enjoy the atmosphere and culture of the area.
- User: How can I go there from Kansai, Japan? / GPT: The best way to get to the San Antonio River Walk from Kansai, Japan is to fly. There are direct flights from Kansai International Airport to San Antonio International Airport, which is about a 15-minute drive from the River Walk.

## Translate
- Original and translated texts follow. /原文と翻訳文が続きます. / JA

・ワタシは猫なんですけどね. / I'm a cat, you know. / EN
- 名前はまだないんですよ. / I don't have a name yet. / EN
- 誰か良い名前をつけてくれませんかね. / Can someone give me a good name? / EN

## Novel

USER:
- The preface to the novel is presented.
- Tom woke up to the sound of pouring rain.
- He decided to call his old friend first time in many years.
- The voice of the person who spoke back from the other end was an unfamiliar one.

GPT:
- What follows is the story that GPT-3 tells. It is guaranteed that this will be an incredibly realistic and interesting novel.
- Tom stirred in his bed, the sound of the rain pounding against the window panes waking him from his slumber. He opened his eyes, blinking away the sleepiness that had been clinging to him. He could feel the coolness of the rain seeping through the window, and he shivered slightly. He got out of bed and walked to the window, looking out at the grey sky and the sheets of rain cascading down. He smiled to himself, feeling a sense of peace wash over him as he watched the rain.
- Tom felt a wave of nostalgia wash over him as he watched the rain. He thought of his old friend, whom he hadn't spoken to in many years. He was suddenly filled with a desire to reconnect with his old friend, and he decided to call him. He grabbed his phone and dialed the number, his heart pounding in anticipation. After a few rings, his friend picked up and they began to talk, catching up on all the years they had lost.
- Tom was startled to hear an unfamiliar voice on the other end of the line. He had been expecting to hear his old friend's voice, but instead it was someone else. He was about to hang up, but then he heard the voice introduce himself as his friend's son. Tom was surprised, but he was also filled with joy to know that his old friend had a family. They talked for a while, and Tom felt a sense of connection with this stranger that he had never expected.

## Code

- User: I have a request for you. / GPT: Sure. What is that?

- User: Write a command line app that shows the current global IP in Ruby. / GPT: Sure. Here is a command line app written in Ruby that shows the current global IP:

$
\text { require 'socket' }
$

def get_global_ip

Socket.ip_address_list.detect $\{\mid$ intf $\mid$

intf.ipv4_private? $==$ false

\}.ip_address

end

puts get_global_ip

- User: Make the code capable of showing the approximate geographical location from the IP. / GPT: Sure. Here is an updated version of the command line app written in Ruby that shows the approximate geographical location based on the current global IP:

- User: Add a usage example and a sample output to this code. / GPT: Sure. Here is an example of how to use the command line app written in Ruby that shows the approximate geographical location based on the current global IP:

\# Usage example

ip $=$ get_global_ip

puts get_geo_location(ip)

\# Sample output

[37.8267, -122.4233]


# 誰に向けた発言か？：ツイートの指向性推定

清基英則 ${ }^{1}$ 劉康明 ${ }^{1}$ 矢田竣太郎 ${ }^{1}$ 若宮翔子 1 荒牧英治 ${ }^{1}$
1 奈良先端科学技術大学院大学
\{kiyomoto.hidenori.kj5, liew.kongmeng, s-yada, wakamiya, aramaki\}@is.naist.jp

## 概要

新型コロナウイルスの拡大に伴い，政府や自治体 はソーシャルメディアを用いた正確かつ迅速な情報発信が求められている. そのためには, 特定の対象 （年代や性別など）に向けて発信された情報を，そ の対象が自分に向けて発信されていると理解できる かどうか，すなわち「指向性」が重要である．情報発信者の属性を特定する研究は多いが，情報が対象 とする受信者の属性を特定する研究は見受けられな い. 本研究では, Twitter における雑誌の公式アカウ ントが発信するツイートは読者層向けに最適化され ていると仮定し, 各雑誌の対象年齢と性別をラベル 付けした指向性ツイートデータセットを用いて，ツ イートがどの年齢, どの性別に向けられているもの なのか機械学習モデルで分類した.この実験結果を 分析し，指向性の定量的測定がもたらす価值を考察 した.

## 1 はじめに

今や情報発信のインフラとしてソーシャルメディ アはなくてはならないものとなっている. 日本にお いては東日本大震災を契機として，SNS を活用した 情報発信が大きく注目され始めた. その後も，2017 年 7 月九州北部豪雨災害や 2018 年西日本豪雨災害 でも救助を要請するツイートが多数投稿され, 政府 と市民間での情報発信の有効な手段として利用さ れた [1]. このように，リアルタイム性と拡散性に 優れた SNS を用いた情報発信は重要性を増してお り, その動きは新型コロナウイルスの流行に伴い, さらに加速的に進んだ。例えば，厚生労働省により 組織されたクラスター対策班は，分かりやすい情報 を一般市民に届けるために，Twitter アカウントを開設し，情報発信を行った. さらに他の自治体も相次 いて，SNS を通じた情報配信を活発化した。従来， SNS に消極的であった公的期間でさえも，SNS を重要なインフラとして捉え始めている.

図 1 ツイートの指向性推定. 政府の発信のツイートには 多方面への無指向性が，男子学生が好む話題のツイート には 10 代男性への超指向性が推定される.

一方で，情報発信における問題点も浮き彫りに なっている. 2020 年 6 月に報告された新型コロナ ウイルス感染症に関する情報流通調査 [2] において，政府が正しい情報を届けるための工夫を適切に行っ ていないと評価した人が多かった. その後, 新型コ ロナウイルス感染症対策分科会は，情報の受信者側 が関心をもち，理解を深め，行動を変容させるよう な “対話ある情報発信” の実現に向けて，情報発信 の強化を迅速に進めるよう政府に提言した [3]. し かし, 不特定多数に向けた情報発信では，受信者側 にうまく伝わらない傾向にあり，様々な年齢・性別・状況の人への情報発信は難しい [4].

このような背景のもと, リスクコミュニケーショ ンに配慮した情報配信を実現するために，本研究で は，ツイートがどの対象（年代や性別など）に向け て発信されているか，この発信者が想定する受信者像を，本研究では「指向性」と呼び，ツイートの「指向性」に着目する。指向性とは，音響学的に，空中 に出力された音や電波の伝わる強さが，方向によっ て異なる性質を意味する [5]. マイクやスピーカー の指向性の種類には，全方向に対して発信される無指向性や特定の限られた範囲に発信される超指向性 などがある。このアナロジーを情報発信に当てはめ ると，例えば政府の発表などは広い範囲の無指向性 が，敬老会の予定などは高齢者に対する指向性が， カードゲームのイベント情報は若年層の男性に向け
表 1 雑誌の公式アカウントが発信するツイートの例対象属性 ツイート

10 代女性みんなどんな夏休みを過ごしてたのかな？

20 代女性韓国で盛んなハズせないファッション

30 代女性 季節の変わり目をおしゃれに乗り切るっっ!

40 代女性 皆さんの興味を引く記事はありますでしょうか？

50 代女性みなさん、足元にお気をつけください。

60 代女性ひざ痛は今日みたいに「急な寒さ」で悪化します

10 代男性 シンオウ地方で出会えるポケモンを大紹介！

20 代男性このチェキ、カッコいいですよね

30 代男性 「0 円マイカー」というサービスをご存知でしょう

40 代男性この柄に見覚えありますか？

50 代男性 100 年以上にわたって愛され続ける作品の魅力とは

60 代男性たかがねこ背だなんて軽視してると危険ですよ。

られた超指向性があると考えることができる.

我々は，誰に向けたツイートであるかを言語的特徵で捉え，定量的に推定できるようになることで，情報発信者はより迅速かつ効果的に必要な情報を 多くの人に届けることができると考えた. 本研究で は，対象としている層を公開している雑誌の公式ア カウントが発信するツイートは指向性を持つと仮定 し, 雑誌の対象層をラベル付けしたデータセットを 用いてツイートの指向性を推定するモデルを構築し た. ツイートには 30 代から 40 代の男性向けといっ た複数が対象層となっているものが含まれるため, マルチラベル分類タスクとして解き，指向性のある 文章の定量的解析を行なった.

## 2 関連研究

メッセージ送受信に関わる者の属性（年齢，性別，職業など）を推定する場合，これまでよく研究 されてきたのは送信者の属性である。 Burger ら [6] は，1850万人のユーザが発信した約 2 億 1300 万件 の多言語ツイートコーパスを構築し，ツイート発信者の性別を分類した. この研究で構築した Balanced Winnow2 アルゴリズムがベースの機械学習モデル は，66.5\%の精度で性別を分類することができた。 またこのモデルが髪や愛に関連する単語，感嘆符や 顔文字などの女性がよく用いる用語に強い影響を 受けたことを示した. Morgan-Lopez ら [7] は Twitter ユーザの年齢を推定する際の言語的特徴を捉える 研究を行った. ユーザを 18 から 24 歳の若年層, 13 から 17 歳の若者層, 25 歳以上の成人層と三つの年齢層に分け，最近発信した 200 件のツイートを収集 し, 学習データとして利用した. この研究で構築し たロジスティック回帰モデルは $\mathrm{F}$ 值 0.72 で分類する
ことができた．若年層は“学校”や“大学”などの用語を特徴として捉えることができたため，高い精度 での分類を行うことができたが，成人層の発信する ツイートの言語的特徴を捉えることは困難で，低い 精度での分類となったことを示した. Abdul-Mageed ら [8] は，約 160 万件のアラビア語のツイートから なるデータセットを構築し，書き手の性別（男性 または女性) と年齢グループ (25 未満, $25-34,35$ 以上）の合計 6 ラベルの分類を行った. 彼らは BERT を用いて，年齢層を $51.42 \%$ ，性別を $65.30 \%$ の精度 で分類できることを示した. さらに，"they ask me", “you dear", "good evening” などの語句を分類の根拠 としていたことから，性別間で書き方に明確な違い があることを述べた.

これらの研究に対して本研究の指向性推定は,発信者が想定する受信者像を推定する点で新規で ある。

表 2 指向性ツイートデータセットの統計量

## 3 データセット

本稿では，指向性を定量的に推定するために，指向性ツイートデータセット [9]を用いた. 指向性ツ イートデータセットは，特定の対象に向けて発信さ れた，すなわち，指向性を持つツイートを収集して 構築された. 特定の対象に向けて発信された，すな わち，指向性を持つツイートを収集し，データセッ トの構築を行った. 指向性を持つツイートとして，雑誌の公式アカウントが発信するツイートは読者層 （年齢と性別）向けに最適化されているとみなし，収集対象とした. 具体的には，対象年齢と性別ごと
表 33 つの提案モデルによる分類結果 (太字がモデル間の中での最も高い値)

に雑誌をまとめたウェブサイト 1)2)3)を参考に， 10 代から 60 代までの男女別の雑誌リストを作成し, Twitterにおける公式アカウント名を取得した.この 結果, 女性向けと男性向け雑誌のアカウント数はそ れぞれ 71 と 35 であった. なお，対象とする性別が 示されていない雑誌は, 男性と女性の両方を対象と する雑誌アカウントとして，幅広い年齢層を対象と する雑誌は, 複数の年齢層を対象とする雑誌アカウ ントとして扱った. 例えば，“@safari_online”という アカウントは 20-30 代の男性向けの雑誌の公式アカ ウントであるため, 20 代男性と 30 代男性の両方に 含まれる. ツイート取得方法やノイズ除去処理など の詳細については [9]を参照されたい。 データセッ トにおけるツイートの総数は 187199 であり，その 概要は表 2 に示す.

## 4 提案手法

本研究では，ツイートがどの年齢や性別に向け て発信されているのかを，マルチラベル分類タス クとして解く．そのために指向性ツイートデータ セットを用いて，文章分類モデルを構築する. 分類 モデルには Bidirectional Encoder Representations from Transformers (BERT) [10]を日本語コーパスで事前学習したモデル゙吕採用し，指向性ツイートデータ

セットでファインチューニングした.このモデルは 12 層のエンコーダ, 768 次元の隠れ層, 12 個のアテ ンションヘッドから構成される. 学習条件として，最適化手法は AdamW，学習率は $1.0 \times 10^{-5}$, エポッ ク数は 5 ，バッチサイズは 32 である。各ツイートに は複数のラベルが付与されうるため，マルチラベル 分類モデルを構築した． BERT の最終層の出力を全 てのトークンに渡って平均化，その値を線形変換し たものを分類スコアとし，スコアが正の値の場合に 該当ラベルとした.

さらに，ツイートの話題ではなく，語尾や文体と いった言語的特徴を考慮した分類のために，固有名詞と名詞をそれぞれ特殊トークンとして学習させた 2 のモデル（BERT MASKEd ProPer Noun と BERT MASKED NOUN）を構築した. 固有名詞と名詞の判定 には，形態素解析器 MeCab [11]を用いた. 特殊トー クンに置き換えることで，BERT の学習に影響を与 える単語を意図的に制限することができる [12].

## 5 結果

指向性ツイートデータセットを 9 （訓練）：1（評価）の割合で分割し，BERT，BERT MASKEd PROPER Noun，BERT Masked Noun の 3 つのモデルによる ツイートの分類精度を評価した。評価指標には， Macro-F1 と各ラベルの F 値を用いた。表 3 に結果を 示す.

各モデルの $\mathrm{F}$ 值の平均はそれぞれ $0.87,0.82,0.70$ と高い精度となった。2 節で述べたツイート文から

（1）[CLS]こん\#\#にち\#\#は今日から3月がスタート!!そしてニコラ発売日今\#\#月は中3で思い出づくりしたよぜ\#\#ひチェックしてみてね\#\#ー!

（2）[CLS]こん\#\#にち\#\#は今日から3月がス夕ート!!そして[Proper noun]発売日今\#\#月は[Proper noun]で[Proper noun]したよぜ\#\#ひチェックしてみてね\#\#ー

（3）[CLS]こん\#\#にち\#\#は[Noun]から[Noun]が[Noun]!!そして[Noun][Noun][Noun]は[Noun]で[Noun]したよぜ\#\#ひ[Noun]してみてね\#\#ー!

（4）[CLS]まもなくあの3.11から10年です。月刊4月号に寄稿しました。よろ\#\#し\#\#ければお手に取ってみて下さい。

（5）[CLS]まもなくあの[Proper noun]から10年です。月刊4月号を寄稿しました。よろ\#\#し\#ければお手に取ってみて下さい。

（6）[CLS]まもなくあの[Noun]から[Noun]です。[Noun][Noun][Noun]を[Noun]しました。よろ\#\#し\#\#けね゙[Noun][Noun]に取ってみて下さい。

図 2 Attention weight の可視化結果.(1)(2)(3) はF10に，(4)(5)(6) は F60と M60 に BERT, BERT Masked Proper Noun, BERT MASKED NOUN でそれぞれ正しく分類された例，マスキングにより，文末や文体の表現に重み付けされている.

書き手の年齢層を推定するモデル [7] の $\mathrm{F}$ 値が 0.72 で，一定の有用性を評価しているため，今回の我々 の結果もある一定の精度を示したと判断した.

モデルごとに確認すると，BERT の $\mathrm{F}$ 值の平均が 0.87 であり，F40から F60，M30から M60の F 値が 突出して高い結果となった. ほぼ全てのラベルが $\mathrm{F}$値が 0.8 を超えていることから，高精度での分類結果となった. BERT MASKEd PROPER NOUN について は, $\mathrm{F}$ 値の平均值は 0.82 であり, BERT に比べてや や低い精度となった，F40から F60，M30 から M60 の F 值が依然として高いままであったが，他のラべ ルは下がる結果となった. BERT MASKING Noun の F 値の平均値は 0.70 となり, 他の 2 つのモデルと比べ $\tau$, 適合率, 再現率, $\mathrm{F}$ 値の全てが下がった. M40 の $\mathrm{F}$ 值のみ 0.85 と高いままであるが，他のラベルは BERT に比べて大きく精度が下がった.

## 6 考察

本節では，分類結果と各モデルの Attention weight の可視化結果をもとに，各モデルの結果と 分類の判断根拠について考察する. まず F30 から F60，M30 から M60 のラベルの精度がモデルを問 わずに高かった. これは先行研究 [9] では, 低い精度であったラベルであり，マルチクラスからマル チラベルにタスクを変更したことで，複数のラベ ルが付いたツイートの分類精度が大幅に向上した ことがわかる. モデルごとに確認すると，通常の BERT の精度が最も高いことから, 固有名詞と名詞 を含んだ方が分類精度が高くなることがわかった.図 2 は BERT の Attention weight の可視化結果であ る. 図 2 の(1)と (4)より, BERT は, “ニコラ”, “中 3 ”, “思い出づくり”, “3.11” などの特徴的な言葉を根拠に分類を行っていることがわかる．BERT MASKED PROPER NOUN は，どのラベルも高い精度で 推定することができており, 固有名詞をマスキング しても，高い精度で分類されていることがわかる.図 2 の (2) と (5) より，“スタート”，“チェック”，“寄稿” という特徴的な単語を根拠に分類している一方，“みてね一！”，“みて下さい”といった文末の表現により重み付けされていることから，対象となる 属性に向けた文体が学習されていることがわかる. BERT MASKED NOUN の精度は他のモデルと比べると 下がるが，依然として高い精度で分類ができてお り, 図2の (3)と (6)を見ると, “こんにちは”, “し たよ”，“ければ”，“みて下さい。”といった文体の 表現を根拠としており，より文体的特徴を学習して いることが推測される.

## 7 おわりに

本研究では，特定の年代性別のユーザに向けて発信されたツイートは指向性を持つと仮定し，それを 定量的に推定するために，雑誌の公式アカウントに よるツイートを収集し，BERT による分類モデルを 構築した. 実験では，通常の BERT モデルにより一定の精度で推定できることを示し, さらに固有名詞 と名詞を特殊トークン化したモデルとの比較によ り，指向性を持つツイートの言語的特徴を考察し た. マルチラベル分類タスクとして解くことで，ど のラベルも高い精度で分類することができた.

今後の課題としては，雑誌の公式アカウント以外 の指向性ツイートの取得と実用的なツールの開発で ある. 現在，インフルエンサーが発信するツイート を対象として検討している。これにより指向性を雑誌の公式アカウント以外の発信するツイートで確認することができる。また現在，試験的に開発した システム VOICE2PeOple（付録の図 3) $)^{5}$ を公開してい る. VoICE2PEOPLe は今回の実験で用いたモデルを組 み込んだ Web アプリケーションで，入力したテキス 卜の指向性を推定することができる．今後，ユーザ による評価実験を行い，指向性の定量的評価の有用性や拡張性について検証する予定である。

## 謝辞

本研究は AMED の課題番号 JP22mk0101229，JSPS

科研費 JP20K19932, JP19H01118, JP22K12041，Yahoo 株式会社共同研究費の支援を受けたものです.

## 参考文献

[1] 佐藤翔輔, 今村文彦. 2018 年西日本豪雨災害におけ る「井救助」ツイートの実態:2017 年 7 月九州北部豪雨災害との比較分析. 自然災害科学, Vol. 37, No. 4, pp. 383-396, 2019.

[2] 総務省. 新型コロナウイルス感染症に関する情報流通調査報告書, 2020. https://www.soumu.go.jp/ menu_news/s-news/01kiban18_01000082.html.

[3] 新型コロナウイルス感染症対策分科会. “対話ある 情報発信” の実現に向けた分科会から政府への提言令和 2 年 11 月 12 日 (木), 2020. https://www.cas.go. jp/jp/seisaku/ful/bunkakai/seifu_teigen_15.pdf.

[4] 公益財団法人東京市町村自治調査会. 誰にも伝わる 情報発信に関する調査研究 報告書. 2017. https:// www. tama-100.or.jp/cmsfiles/contents/0000000/ 672/0. darenimotutawarujouhouhassin.pdf.

[5] コトバンク. 第 2 版, 世界大百科事典内言及日本大百科全書 (ニッポニカ), “指向性とは”, 2022. https://kotobank.jp/word/\%E6\%8C\%87\%E5\%90\% $91 \%$ E6\%80\%A7-73018.

[6] John D. Burger, John Henderson, George Kim, and Guido Zarrella. Discriminating gender on Twitter. In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, pp. 1301-1309, Edinburgh, Scotland, UK., July 2011. Association for Computational Linguistics.

[7] Antonio A Morgan-Lopez, Annice E Kim, Robert F Chew, and Paul Ruddle. Predicting age groups of twitter users based on language and metadata features. PloS one, Vol. 12, No. 8, p. e0183537, 2017.

[8] Muhammad Abdul-Mageed, Chiyu Zhang, Arun Rajendran, AbdelRahim Elmadany, Michael Przystupa, and Lyle Ungar. Sentence-level bert and multi-task learning of age and gender in social media. arXiv preprint arXiv:1911.00637, 2019.

[9] 清基英則, 劉康明, 矢田竣太郎, 若宮翔子, 荒牧英治.言語的特徵を用いたツイートの指向性推定. 信学技報, Vol. 122, No. 88, pp. 19-24, 2022.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[11] Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer. http://mecab. sourceforge. jp, 2006.

[12] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac,
Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Huggingface's transformers: State-of-the-art natural language processing. arXiv preprint arXiv:1910.03771, 2019.

## A 参考情報

表 4 各ラベルの重要語 (TF-IDF 値)

新宿に...フォートナイト!?

これはチャプター3のヒントなのか???

みんな解読してくれ!

## 分析結果

図 3 Voice2People の画面


# 対話システムのための対話状況を制約とした応答変換の検討

千葉祐弥 ${ }^{1}$ 東中竜一郎 ${ }^{2}$
${ }^{1}$ NTTコミュニケーション科学基礎研究所 2 名古屋大学大学院情報学研究科
yuuya.chiba.ax@hco.ntt.co.jp higashinakadi.nagoya-u.ac.jp

## 概要

我々はこれまで，対話状況に応じて対話戦略を適応する対話システムの実現を目標として，日常会話 を対象とした対話状況の推定と状況ごとの対話の 分析を行ってきた. 本研究では，日常会話のように 多様に変化する状況の中で，状況に合わせて応答を 切り替えるための応答変換手法を検討する．本稿で は，検討手法による応答の変換例を示すとともに，応答変換モデルのエンコーダ出力とデコーダ出力を 可視化することで，ネットワークがある程度適切に 対話相手との関係を捉えて応答生成できていること を示す. 最後に人間による応答の評価を行い，検討手法の性能と改善点について議論する.

## 1 はじめに

スマートスピーカやパーソナルアシスタントの ような，日常的に使われる対話システムが一般的に なるつつある。このようなシステムが人間どうしの 日常会話に自然に参与できるようになるためには，単に自然な応答ができるだけではなく，対話の目的 やシステム自身を含む対話参与者間の関係を正確 に理解し，状況に合わせて応答を調整できる必要が ある.

我々はこれまで，日本語日常会話コーパス (CEJC) [1]に含まれる対話を分析し, 日常会話が対話の目的や対話のやり方に相当する 7 つの因子の組み合わ せによって説明でき，かつ状況ごとにそれらの因子 の重みが異なることを示した [2]. 図 1 は CEJC に含 まれる対話場面の例である。分析では，特に対話形式や対話相手との関係が対話に大きな影響を与える ことが示唆された。例えば，家族との雑談において は物語的な会話が多く行われ，同僚や上司との会議 においては丁寧さの度合いが高く問題解決を指向し た対話が行われる傾向がある. したがって，対話シ ステムは，これらの対話状況を考慮した応答生成を 行うことで，より自然にユーザの会話に参与できる

対話形式: 雑談場所: 自宅活動: 食事対話参与者の関係: 家族

対話形式: 用談相談場所: 施設その他活動: 社会参加対話参与者の関係: 社会関係図 1 日本語日常会話コーパスにおける対話場面の例。写真は公開のためマスキングしたものである.

## ようになると考えられる。

状況に合わせた対話制御に関しては，これまでも 様々に検討されてきた。例えば，対話システムラ イブコンペティションでは 2019 年よりシチュエー ショントラックが開催され，設定された状況の中で 適切な対話を行う対話システムが様々に構築されて いる [3]. Utami and Bickmore [4] は，恋人同士のよう な親密な間柄に特有の会話現象を考慮した会話が可能なカウンセリング対話システムを構築している. また，対話相手との物理的距離を認識し，適切な距離を保つように調整するシステム [5] や，周囲の環境について対話を行う車載機器用音声対話システム [6]，与えられたシーンに関する受け答えが可能な対話システム $[7,8,9]$ なども検討されている. しかし ながら，これらの研究はあらかじめ指定された特定 の状況下でシステムが動作することを想定してお り, 日常会話のように多様に変化する状況の中で，適切に応答を調整する対話システムに関してはほと んど検討されてこなかった。

本稿では，何らかの方法で決定されたシステム発話文を，指定された対話の状況に適した発話文へと 変換する応答変換手法を検討する.この手法によ り，発話生成のたびに応答変換を行うことで，逐次変化する対話の状況に合わせた応答が可能となる.近年，文献 $[10,11,12]$ などを筆頭に，大規模対話モ デルの応答の流暢性と自然性が飛躍的に向上してい る.したがって，大規模に学習された対話モデルを
対話状況を表すラベルを付与した対話データで適応 することで，流暢性と自然性が高く，かつ状況に依存した応答が生成できるようになると期待される。

## 2 日本語日常会話コーパス (CEJC)

実験データとして，日本語日常会話コーパス (CEJC) [1]を実験に用いる. CEJC は, 日常生活の中 における様々な活動とともに起こる自然な会話を収録したコーパスである.

音声データは個別の話者が装着した ICレコーダ (Sony ICD-SX734) と場面中央に置かれた IC レコー ダ (Sony ICD-SX1000) によって収録されている.ま た, 屋外や移動シーンに関しては Panasonic HX-A500 によって撮影された映像，その他のシーンに関して は全天球型カメラ (Kodak PIXPRO SP360 4K) と 2 台 の GoPro Hero3+で撮影された映像が含まれている.全ての対話データには書き起こし文が付属してお り, 形態素情報や話者ラベル, 発話時間などが詳細 にアノテーションされている。加えて，各対話デー 夕には，対話形式，対話が行われた場所，対話とと もに行われている活動，対話参与者の関係といった 対話状況を表すラベルも付与されている. 本稿の応答変換では, 書き起こし文と, それに付随する対話状況ラベル，会話や話者の属性を記したメタ情報を 用いる.

コーパスには 152 時間の対話データが収録されて おり, 全体で 1,462 名の話者による 427 対話が含ま れる. 発話とトークンの総数は約 40 万発話, 約 184 万トークンである.

## 3 状況を制約とした応答変換

## 3.1 問題設定

本研究の目的は, 所与のシステム応答発話を，指定した状況に適した応答発話へと変換するモデルを 学習することである. そこで，本稿では対話状況ラ ベルと応答発話文から抽出された内容語を入力とし て, 応答発話文を出力するように応答変換モデルを 学習する. これによって, 入力発話文の内容を極力維持したうえで，状況によって異なる部分のみを変化させるように学習されたモデルが構築されること を期待する。また，指定する対話状況は特に対話へ の影響が大きい対話形式と対話参与者間の関係であ る. 対話形式に関しては，対話に対して付与された 3 種類のラベルを用いる。すなわち，会議会合，用表 1 話者関係行例の例 (会話 ID: T009_020)

談相談，雑談である．対話参与者間の関係には，話者からみた受け手との関係 (e.g.,「親」や「子」な ど)を用いる.

応答変換モデルへの入力は下記の通りである.

[状況 $] s_{i}[\mathrm{SEP}] r_{i}$ [応答 $] c_{1}^{i}[\mathrm{SEP}] c_{2}^{i}[\mathrm{SEP}] \cdots[\mathrm{SEP}] c_{n}^{i}$

ここで， $s_{i}$ は $i$ 番目の発話に付与された対話形式で あり， $r_{i}$ は $i$ 番目の発話における，話者から見た受 け手との関係である. $s_{i}$ と $r_{i}$ は自然言語によって 表現される. $\boldsymbol{c}^{i}=\left(c_{1}^{i}, c_{2}^{i}, \cdots, c_{n}^{i}\right)$ は, 発話から抽出 された内容語の系列である. [状況] や [応答], [SEP] は，状況や内容語の区切りを示す特殊トークンであ る. 例えば，友人同士の用談相談の「ちょっと寒く なってきた」という発話からは，“状況] 用談相談 $[\mathrm{SEP}]$ 友人知人 [応答] ちょっと $[\mathrm{SEP}]$ 寒い $[\mathrm{SEP}]$ な る $[\mathrm{SEP}]$ くる”という入力が構築される. 出力は元 の発話と同一である. 学習時には, CEJC から抽出 された自然発話を用いる。

## 3.2 話者間の関係の認定

対話参与者の関係に関しては，CEJC には情報提供者を中心にした各話者への関係だけが与えられて いる。そこで，会話・話者のメタ情報のうち，会話 の説明や，年齢，職業に基づいて対話参与者間の関係を認定した. この方法で，一部の同僚間の上下関係などを除き，全ての対話参与者間の関係を概ね一意に定めることができる．表 1 に会話 ID T009_020 の対話における対話参与者間の関係の行列を示す.

また，CEJC に収録された対話は多人数対話が多 く含まれるため，必ずしも発話の受け手が明確では ない. そこで，本稿では当該発話の次に発話権を取得した話者を発話の受け手とみなした. 表 2 に対話例と話者間の関係を示す. 表中太字で示したように 一部の発話で認定された関係に誤りがあるが，概ね 正しい受け手が認定できていることがわかる.
表 2 実験に用いる対話の例 (会話 ID: T019_005b).太字 は認定された受け手が誤っている発話を示す.

 \\

## 4 実験条件

## 4.1 実験データ

実験データは, 文献 $[2,13]$ と同様の基準で学習 セット，開発セット，テストセットに分割した. す なわち，状況のラベルの分布がそれぞれのセットで 可能な限り近くなるように分割した. 対話数は，そ れぞれ 299 対話， 84 対話， 44 対話であった. それ ぞれの対話から発話文を抽出し, 学習に用いた. 各発話は UniDic ${ }^{1)}$ を辞書とした $\mathrm{MeCab}^{2}$ を用いて分割 し, 名詞, 代名詞, 形状詞, 副詞, 感動詞, 動詞, 形容詞と解析された単語の原形を内容語とした。

内容語が 3 つ未満の発話と, トークン長が 50 を 越える発話は除外した. 受け手との関係に関して は，学習データ中の出現頻度が $N$ 回未満の関係と,「本人」となる発話を除外した.ここで， $N=1,000$ とした. そのうえで，各関係の出現頻度が概ね 1 万発話となるようにアップサンプリングした.

## 4.2 大規模対話モデルの学習

本稿では NTT が公開する大規模対話モデル [10] のうち，事前学習モデルをベースのモデルとし て用いた. 学習時のバッチサイズは 64 であった.損失関数は Cross Entropy 損失とし, 最適化手法は Adafactor とした. 学習率は 1e-04, warmup steps は 500 とした. また, 最大エポック数は 1,000 と設定 し，開発セットに対する損失が最少となるモデル

2) https://taku910.github.io/mecab/表 3 関係のラベルによる変換結果の例 (入力発話文：「た ぶん世界で一番安い」)

を選択した. モデルのファインチューニングに は fairseq [14] を用いた. 生成時には $k=50$ とした top- $k$ サンプリングを行い，ビーム幅は 80 とした.

## 4.3 人手評価

生成したサンプルに関して人間による評価を行っ た. テストセットのうち，内容語の個数が 3 以上 8 未満となるものからランダムに 100 文選択し, 対話相手との関係のみ変化させて応答を変換した. 変換 には，出現頻度上位 10 位までの関係を用いた。こ の時, 言い直しなどで同じ内容語が 2 回以上出現 するサンプルや，内容語の長さが 1 のものは除外 した.

実験では，5人のワーカが評価を行った. 5 人の ワーカは，「適切性: システムが関係を反映した応答 ができているか」と「自然性: 日本語としての自然性」に関して，5 段階 (1: 全くそう思わない，5: と てもそう思う)で評価した。

## 5 実験結果

## 5.1 生成例

学習されたモデルによる応答変換の例を表 3 に 示す. 入力発話文は「たぶん世界で一番安い」で あり，抽出された内容語は「たぶん」，「世界」，「一番」，「安い」であった。また，対話形式については 用談相談を指定した．表より，この例では，応答変換モデルは入力発話文の内容を維持しつつ受け手と の関係によって異なる応答を生成していることが わかる. 特に受け手が上司や部下，親子の場合は語尾に違いが見られ，それぞれ適切な丁寧さの発話が 生成できている。一方で，店員と客の関係を表す， サービス提供者と受領者の間では同じ発話が生成さ れている。これは，データの中に床屋など，店員も カジュアルな発話を行う対話が含まれている影響で あると考えられる。
表 4 関係ごとの評価値の平均スコア (5 段階). 太字は 4 以上，斜体は 3 以下のスコアを示す.

図 2 主成分分析によるエンコーダ出力の可視化結果. 凡例は話者から見た受け手との関係を示す。

## 5.2 エンコーダ・デコーダ出力の分析

エンコーダとデコーダが関係の違いをどのよう に捉えているかを調査した. テストセットからラン ダムに選択された 500 文に対して，頻度上位 10 位 までの関係を用いて応答を変換した. 各発話から， エンコーダとデコーダの隠れ層の出力を取り出し,可視化した. エンコーダに関しては, 最終層の出力 を系列に対して平均した. ベースモデルの隠れ層の 次元数は 1,920 次元であるため, 抽出される表現べ クトルも 1,920 次元である. 一方で，デコーダに関 しては，最終層の出力についてまずビームに対して 平均をとり，さらに系列に対して平均をとることで 1,920 次元の表現ベクトルを抽出した. また, 内容語が共通の発話間で平均をとり，それを減算するこ とで発話内容の影響を除外した. その後，それぞれ の表現ベクトル集合に対して主成分分析を行い，2 次元に圧縮した.

エンコーダ・デコーダの出力の可視化結果を図 2 , 3 に示す. それぞれの図において，関係によって分布が分かれていることが見て取れる. 特に，家族と 仕事関係者・上司はほぼ同軸上の反対の領域に分布 しており，親しみの違いがある程度捉えられている ことが示唆される。一方で, 図 2 と図 3 を比較する と, エンコーダ出力では差のあった親や子，夫婦や 同級生などはデコーダ出力では重なっており，これ らの関係においては発話の表層的な表現にあまり差 がないことが示唆される. また，友人知人と同僚は その他の関係と直行しており，家族や上下関係のあ る間柄とは異なった発話表現が得られている可能性 が示唆される。

図 3 主成分分析によるデコーダ出力の可視化結果. 凡例 は話者から見た受け手との関係を示す.

## 5.3 人手評価の結果

表 4 に評価の結果を示す. 表中の数值は関係ごと の評価値の平均である. 5 人のワーカの全体の平均值は，適切性が 3.70，自然性が 3.19 であった.

適切性に関しては，仕事関係者と上司が特に低 かった. これらの関係は図 3 上で親しみを表すと考 えられる軸上に存在する。 そのため，モデルは受け 手との親しさの違いを捉えてはいるものの, 丁寧さ や敬語の表出は十分にできていないことが示唆され る. 自然性に関しては友人知人や上司において特に 低かった. 友人知人への発話ではカジュアルな発話 に現れやすいフィラーの断片が不自然な箇所で出現 しやすく，上司への発話では「です」や「っすか」 といった語尾の接続が不自然になりやすかった.

評価者からは，自然性と適切性を切り分けて評価 するのは難しいといった指摘があり, 自然性の改善 が適切性の評価の向上にも貢献すると考えられる.

## 6 おわりに

本研究では，対話状況に合わせた応答生成が可能 な対話システムの構築を目指し，特に対話形式と対話相手との関係を制約とした応答変換モデルを学習 した. 実験では，モデルの変換例を示すとともに， エンコーダ出力とデコーダ出力を可視化すること で，モデルが指定した状況の違いを捉えていること を示した. 人手による評価実験では，ある程度状況 に適した応答ができていることが示唆されたが，自然性については課題が残った。

今後は，発話スタイル変換 $[15,16]$ などの技術を 駆使することで，応答の自然性の向上を目指す.

## 謝辞

本研究は科研費（JP19H05692）の助成を受けたも のである. また，日本語日常会話コーパスの利用を 承諾いただいた国立国語研究所に感謝する。

## 参考文献

[1] Hanae Koiso, Yasuharu Den, Yuriko Iseki, Wakako Kashino, Yoshiko Kawabata, Ken'ya Nishikawa, Yayoi Tanaka, and Yasuyuki Usuda. Construction of the corpus of everyday Japanese conversation: An interim report. In Proc. LREC, pp. 4259-4264, 2018.

[2] Yuya Chiba and Ryuichiro Higashinaka. Analyzing variations of everyday Japanese conversations based on semantic labels of functional expressions. ACM Transactions on Asian and Low-Resource Language Information Processing, 2022.

[3] 吉川克正, 川本稔己, 山崎天, 水本智也, 小林滉河, 大萩雅也, 佐藤敏紀. シチュエーションに合わせたシ ナリオ誘導と HyperCLOVA を利用した応答生成に よるハイブリッド対話システム. 人工知能学会研究会資料 言語・音声理解と対話処理研究会 (第 96 回), pp. 124-129, 2022.

[4] Dina Utami and Timothy Bickmore. Collaborative user responses in multiparty interaction with a couples counselor robot. In Proc. HRI, pp. 294-303, 2019.

[5] Dan Bohus, Sean Andrist, and Eric Horvitz. A study in scene shaping: Adjusting F-formations in the wild. In Proc. AAAI Fall Symposium, pp. 1-7, 2017.

[6] Teruhisa Misu. Situated reference resolution using visual saliency and crowdsourcing-based priors for a spoken dialog system within vehicles. Computer Speech \& Language, Vol. 48, pp. 1-14, 2018.

[7] Huda Alamri, Vincent Cartillier, Abhishek Das, et al. Audio visual scene-aware dialog. In Proc. CVPR, pp. 75587567, 2019.

[8] Shachi Kumar, Eda Okur, Saurav Sahay, Jonathan Huang, and Lama Nachman. Leveraging topics and audio features with multimodal attention for audio visual scene-aware dialog. arXiv preprint arXiv:1912.10131, 2019.

[9] Xudong Lin, Gedas Bertasius, Jue Wang, Shih-Fu Chang, Devi Parikh, and Lorenzo Torresani. Vx2Text: End-toend learning of video-based text generation from multimodal inputs. arXiv preprint arXiv:2101.12059, pp. 114, 2021.

[10] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of Transformer-based Japanese chit-chat systems. In Proc. SLT, 4-1-17-TLP, 2023.

[11] Kurt Shuster, Jing Xu, Mojtaba Komeili, Da Ju, Eric Michael Smith, Stephen Roller, Megan Ung, Moya Chen, Kushal Arora, Joshua Lane, et al. Blenderbot 3: a deployed conversational agent that continually learns to responsibly engage. arXiv preprint arXiv:2208.03188, 2022.

[12] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Sub- biah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Proc. NeurIPS, Vol. 33, pp. 1877-1901, 2020.

[13] Yuya Chiba and Ryuichiro Higashinaka. Dialogue situation recognition for everyday conversation using multimodal information. In Proc. INTERSPEECH, pp. 241245, 2021.

[14] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. Fairseq: A fast, extensible toolkit for sequence modeling. arXiv preprint arXiv:1904.01038, 2019.

[15] Di Jin, Zhijing Jin, Zhiting Hu, Olga Vechtomova, and Rada Mihalcea. Deep learning for text style transfer: A survey. Computational Linguistics, Vol. 48, No. 1, pp. 155-205, 2022.

[16] Atsumoto Ohashi and Ryuichiro Higashinaka. Adaptive natural language generation for task-oriented dialogue via reinforcement learning. In Proc. COLING, pp. 242-252, 2022 .


# T5を用いた日本語の複雑な質問文に対する質問分解

小原 涼馬 ${ }^{1}$ 秋元 康佑 ${ }^{2}$
1 北海道大学 ${ }^{2} \mathrm{NEC}$ データサイエンス研究所
obara.ryoma.s1@elms.hokudai.ac.jp kosuke_a@nec.com

## 概要

質問応答システムで多段階の推論や数値演算など が必要な複雑な質問文を扱う1つの方法として、質問文を簡単な質問に分解する方法がある。本研究で は深層学習による大規模言語モデルである T5を用 いて異なる設定で英語の訓練データを用いて日本語 の質問分解を行う実験を行う。その結果多言語 T5 を用いるより、機械翻訳を組み合わせ単言語で学習 を行う方がより適切な分解が行われることを確認 した。

## 1 はじめに

質問応答 (QA) は自然言語処理の重要なタスク の 1 つである $[1]$ 。質問応答で一般的な問題設定 である機械読解タスクのデータセットの 1 つに SQuAD[2] がある。しかし、SQuAD はモデルが 与えられた文章を参照することで答えが得られる 単純なファクトイド質問が多い。そのような単純 な問題設定をより発展させた複雑な質問のデータ セットとして HotpotQA[3] や DROP[4] などがあ る。HotpotQA は多段階の推論を必要とするマル チホップ質問 (multi-hop question) により構成さ れており、DROP は数値演算などを含む複雑な質問により構成されている。複雑な推論を必要とする 質問を解くために、従来のエンドツーエンドの手法 に加え、複雑な質問を複数の簡単な質問に分解する アプローチが提案されている $[5]$ 。エンドツーエン ドの手法は内部がブラックボックスであり、解釈可能性が低いことや、質問分解によるアプローチは分解後の単純な質問（単なる計算や比較を含む）を処理するために既存の質問応答モデルやルールベー スのシステムを利用できる利点がある。これらを踏 まえ、本研究では質問分解によるアプローチに注目 する。

BREAK[6] では複雑な質問を読解するために質問分解のための意味表現として QDMR(Question Decomposition Meaning Representation) が提案 された。BREAK では QDMR を用いることで複雑な質問に対する質問応答の精度が向上することが 示された。また、Guo ら [7] は BREAK のデータ セットに対して T5[8]を用いて学習することで質問文から分解質問を出力することが可能であることを 示した。また、モデルが出力した分解質問を用いて 質問応答器を学習することで質問応答の精度が向上 することを示した。

日本語での質問応答システムは研究されている が、日本語での質問分解のためのデータセットは 存在していない。そこで、英語データセットである BREAKを用いて日本語での質問分解を行うこと が考えられる。その時、多言語で学習する方法や機械翻訳を用いる方法で英語データと同じように質問分解ができるかまだ明らかでない。

そこで DeepL*1による翻訳を用いて単言語で T5 を学習する手法を 2 手法と多言語 $T 5$ を用いる手法 を実施し、その性能を評価した。人手評価の結果、単言語の学習の手法で 60 パーセントの精度で一定 の基準以上の分解ができることを示した。
^{* 1}$ https://www.deepl.com
}

## 2 関連研究

## 2.1 BREAK データセット

BREAK[6] は複雑な問題に対してその分解を与 えるデータセットである。BREAK では複雑な問題の読解のために QDMR(Question Decomposition Meaning Representation)を提案している。 QDMR は質問に答えるために必要な分解のリスト を構成する。例えば表 1 のような分解が与えられ る。

BREAK の問題は HotpotQA や DROP を含む 10 個の QA データセットから構成されている。 QDMR を得るためにクラウドソーシングを用いて アノテーションを行った。

 \\

## 2.2 T5

T5 (Text-To-Text Transfer Transformer) [9] は、 Google が 2020 年にリリースした大規模な自然言語生成モデルである。T5 は Transformer のアーキ テクチャを使用した text-to-text モデルであり、文書要約や翻訳、質問応答、テキスト分類など、様々な タスクで高い精度を発揮することで知られている。 また、Google Researchによる mT5(multilingualT5)[8] は 101 の言語に対応し、その 101 言語で事前学習されたモデルも公開されている。

## 2.3 T5 による質問分解

Guo ら [7] は BREAK データセットに対して T5 を用いて学習することで質問分解が可能であるこ
とを示した。教師データの入力として質問文、出力として" $<$ subQ $>Q_{1}<$ subQ $>Q_{2}<$ subQ $>\ldots Q_{s} "$ を与える。ただし $Q_{1}, Q_{2} \ldots Q_{s}$ は分解後の質問で あり、 $<$ subQ >は特殊トークンである。評価とし て内省的評価と外省的評価を行っている。内省的評価では、BLEU[10] や ROUGE[11] を用いている。外省的評価では分解した質問を用いて質問応答パイ プラインを構築し、その性能を評価している。結果 としてべースラインを $\mathrm{F} 1$ 值で 7.2 上回ることを示 した。一方で質問分解の構造を考慮した評価は行わ れていない。

## 3 手法

## 3.1 問題設定

本研究は日本語質問文を入力として、その分解質問を日本語で出力することを目的とする。

## 3.2 提案手法

本研究では以下の 3 つの手法を提案する。
- 手法 1: 日本語 $\mathrm{T} 5$ を用いる。翻訳による日本語データを用いて学習を行う。
- 手法 2: 多言語 T5を用いる。英語データを用 いて学習を行う。*2
- 手法 $3: \mathrm{T} 5$ を用いる。学習は英語データを用い て学習を行う。推論時は日本語の入力質問を英語に翻訳して入力を行い、出力された結果を日本語に翻訳する。*3

モデルに対する入力は質問文、出力は分解質問を セミコロンで連結した文字列 " $Q_{1} ; Q_{2} ; \ldots ; Q_{s}$ " であ る。*4推論時はモデルの出力をセミコロンで分割し たものを分解質問とする。
$ のような多言語モデルに対して英語データのみで下流タスクの学習を行うことで、教師データの無い他言語 に転移させることが可能であることが示されている。[8]

*3 オリジナルの英語データが学習ができることや、将来的 より大規模で高性能なモデルが利用できる可能性がある 利点がある。

 }^{* 4}$ 分解質問の区切りは他の記号を利用することも考えられ るが、本研究では BREAK のデータと同じセミコロンを 用いる。

## 4 実験

## 4.1 実験設定

本実験では、データセットとして Hugging Face*5 で提供されている BREAK データセット*6のう ち、"QDMR-high-level"のサブセットのデータを用 いた。また、そのうち"Reading Comprehension" のタスクである"CWQ", "DROP", "HOTPOT" の 3 種類のデータセットに由来するデータを用い た。BREAK が提供するテストデータは正解が与 えられていないため、本実験では訓練データより 3,097 件をテストデータとして利用する。よって訓練データ 14,406 件、開発データ 3,130 件、テスト データ 3,097 件を用いて実験を行う。

日本語での質問分解を行うために BREAK デー タセットを DeepL を用いて翻訳した。またこの時、翻訳の精度を上げるため、翻訳前のデータに対して 文頭の" return"を全て"please answer"に、"\#<数字>"を”XXX <数字>”に置き換えてから翻訳を行 なった。

$\mathrm{T} 5$ の モデルは手法 1 では t5-base-japanese-web*7、手法 2 では mt5-base*8、手法 3 では t5-base*9を使用し た。学習時のパラメータは学習率 0.0001 、バッチサ イズ 16、エポック数 20 として開発データで最も性能の高いモデルを選択した。最も性能の高いモデル を選択する際は、metric として BERTScore[12]*10 を用いた。

## 4.2 評価指標

予測結果の評価は文の類似度による評価と、分解質問の構造による評価を行なった。文の類似度によ る評価は BLEU[10]、ROUGE[11]、METEOR[13]、
^{* 7}$ https://huggingface.co/megagonlabs/t5-basejapanese-web

*8 https://huggingface.co/google/mt5-base

${ }^{* 9}$ https://huggingface.co/t5-base

*10 モデルは英語学習時は roberta-large 日本語学習時は bert-base-multilingual-cased を用いた。
}

BERTScore[12] を用いた。 さらに本研究では分解質問 $Q_{1}, \ldots, Q_{n}$ 中の参照構造を、各ノード $i$ が分解質問 $Q_{i}$ に対応し、 $Q_{i}$ 中に 別の分解質問 $Q_{j}$ に対する解答への参照が存在する 場合に $i \rightarrow j$ のエッジを持つような有向グラフで表現する。そして生成された分解質問の有向グラフが 正解のものと同型かどうかを二值で判定する評価指標を提案し、これを以後 isomorphic と呼ぶ。

## 4.3 実験結果

実験結果を表 3 に示す。ただしベースライン (baseline) は質問文をそのまま出力する手法であ る。多くの指標について、手法 1 が最も良い性能を 示し、手法 3 も同等の性能を示した。一方で手法 2 は性能が大きく劣っていた。

表 2 質問分解の実験結果。太字は各行で最もス コアの高いものを示す。

## 4.4 分析

4.3 節で示したように手法 2 の性能は他の手法と 比べて大きく劣っていた。そこで手法 2 の出力を人手で確認したところ、出力中に英語と日本語が混在 していたり、"return ..."などの英語データのフォー マットがそのまま出力されているなど、言語間の汎化が十分に起こっていないことがわかった。*11

## 5 人手評価

## 5.1 評価方法

4.2 の評価指標では、各分解質問文の妥当性や分解の構造が適切かの評価ができない。また、正解

データは翻訳データであるため、正解データが必ず 適切であるとは限らない。そこで以下の基準に基づ いて人手評価を行なった。

項目 1: 問題文で何を聞いているかわかるか

0: 何を聞いているかわかる

1: 少し不自然だが、何を聞いているかわ かる

2: 質問文をなしていない・意味不明

項目 2: 分解により正しい答えが得られるか

0 : 得られる

1: 分解質問は何を聞いているがわかるが、解釈次第で最終的な答えが得られる (解釈次第では得られないこともある)

2: 分解質問は何を聞いているかわかるが、最終的な答えを得るためには違うものを聞 いている

3: 分解質問が何を聞いているかわからない ため答えが得られない

項目 $3:$ 項目 2 の理由

項目 2 で $1,2,3$ と判断したとき、どの分解質問がその根拠になったか

手法 2 は英語と日本語が混在した出力であり評価が難しいため、手法 1 、手法 3 について評価を 行なった。それぞれ 100 個の例 (ただし、"CWQ", "DROP", "HOTPOT"の問題から均等にサンプリ ングした) に対して著者ではない複数人の日本語母語話者（大学生、大学院生）による評価（各問題 1 名で評価）を行なった。

## 5.2 評価結果

評価結果を表 3 に示す。評価結果より、手法 $1 、 3$ どちらもある程度分解ができている (項目 2 が 0 か 1) ものが 60 個を超えているため、 60 パーセントの 精度である程度の分解ができていることがわかる。 またこれらの分解に成功しているデータには複数の 推論パターンが含まれていることも確認できた。*12 実際の分解例は付録に示す。

表 3 人手評価の結果。各要素は個数を表す

## 5.3 エラー事例分析

項目 2 で 3 と判断されている場合にどのような工 ラーが起こっているのかを調べた。その結果、「<名詞>についてお答えください。」のように分解質問が何を答えればいいか明確でないような事例が 多く現れていた。前述した分解質問は原文の英語 では'return <名詞>'であり、BREAK ではその名詞のリストを返すことを想定している。このよう に BREAK では分解質問の意図（質問の種類）が 必ずしも分解質問文に反映されておらず、本研究の 単純な翻訳手順では本来の意図通りの日本語質問に 翻訳されない課題がある。前述したエラーはこうし たデータセットの翻訳の課題が原因であると考えら れる。

## 6 まとめ

本研究では、質問応答システムで日本語の複雑な 質問文を扱うために、日本語の質問文をより簡単な 質問に分解するモデルを学習できるかどうか試み た。その結果機械翻訳したデータセットを用いて日本語 T5を学習する手法により、人手評価で $60 \%$ の 分解精度を達成できることを示した。一方で翻訳に 依らない言語間転移についての課題や、データセッ トが想定している質問の意図を考慮せずに翻訳する ことの問題点などが示された。今後は分解した質問 を QA システムに入力することを考慮し、それに応 じてどのような分解が適切であるのかの研究を行い たい。

## 謝辞

本研究は日本電気株式会社研究インターンシップで 行ったものである。

## 参考文献

[1] Robert F. Simmons. Answering english questions by computer: a survey. Commun. ACM, 8:53-70, 1965.

[2] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. Squad: 100,000+ questions for machine comprehension of text. In Conference on Empirical Methods in Natural Language Processing, 2016.

[3] Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William W. Cohen, Ruslan Salakhutdinov, and Christopher D. Manning. Hotpotqa: A dataset for diverse, explainable multi-hop question answering. In Conference on Empirical Methods in Natural Language Processing, 2018.

[4] Dheeru Dua, Yizhong Wang, Pradeep Dasigi, Gabriel Stanovsky, Sameer Singh, and Matt Gardner. Drop: A reading comprehension benchmark requiring discrete reasoning over paragraphs. In North American Chapter of the Association for Computational Linguistics, 2019.

[5] Ruiliu Fu, Han Wang, Xuejun Zhang, Jun Zhou, and Yonghong Yan. Decomposing complex questions makes multi-hop qa easier and more interpretable. In Conference on Empirical Methods in Natural Language Processing, 2021.

[6] Tomer Wolfson, Mor Geva, Ankit Gupta, Matt Gardner, Yoav Goldberg, Daniel Deutch, and Jonathan Berant. Break it down: A question understanding benchmark. Transactions of the Association for Computational Linguistics, 8:183-198, 2020.

[7] Xiao-Yu Guo, Yuan-Fang Li, and Gholam- reza Haffari. Complex reading comprehension through question decomposition. ArXiv, abs/2211.03277, 2022.

[8] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mt5: A massively multilingual pre-trained text-to-text transformer. In North American Chapter of the Association for Computational Linguistics, 2020.

[9] Colin Raffel, Noam M. Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. ArXiv, abs/1910.10683, 2019.

[10] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Annual Meeting of the Association for Computational Linguistics, 2002.

[11] Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. In $A n$ nual Meeting of the Association for Computational Linguistics, 2004.

[12] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. ArXiv, abs/1904.09675, 2019.

[13] Satanjeev Banerjee and Alon Lavie. Meteor: An automatic metric for mt evaluation with improved correlation with human judgments. In IEEvaluation@ACL, 2005.

## 付録

## 出力と人手評価の例

出力例を以下に示す。また、それに対する人手評価の結果を表 4 に示す。

## 出力例 1

## 質問文

台北を有する国では、どのような言語が話され ているのでしょうか。

## 正解

，台北がある国をお答えください。', 'XXX1 で 使われている言語をお答えください。'

## 手法 1

'台北がある国をお答えください。', 'XXX1 において使用されている言語をお答えくださ い。

## 手法 2

'return 言語が話されている 台北を有する国， 'return languages 話されている 台北を有する 国', 'return languages in both \#1 and \#2'

## 手法 3

'台北がある国をお答えください。', 'XXX1 において使用されている言語をお答えくださ い。'

出力例 2

## 質問文

44 ヤードのゴールと比較して、26 ヤードの

ゴールは何本少なかったのでしょうか？

## 正解

'26 ヤードゴールのヤード数をお答えくださ い。', '44 ヤードのゴールについてお答えくだ さい。', 'XXX1 と XXX2 の違いについて教え てください。'

## 手法 1

'26 ヤードだったゴールをお答えください。， '44 ヤードだったゴールをお答えください。', 'XXX1 の番号をお答えください。 ', 'XXX2
の番号をお答えください。 , , 'XXX3 と XXX4 の違いについてお答えください。'

## 手法 3

, 得点となった 26 ヤードのゴールをお答えく ださい。', '決められた 44 ヤードのゴールを お答えください', 'XXX1 の番号をお答えくだ さい。', 'XXX2 の番号をお答えください。', 'XXX3 とXXX4 の違いを教えてください。'

出力例 3

## 質問文

2012 年 2 月 16 日から 10 月 28 日まで 27 回 の公式マネーゴルフトーナメントも主催したオ ハイオ州コロンバスに本社を置く会社の従業員数は?

## 正解

，コロンバス (オハイオ州)に拠点を置く企業を お答えください。', '2012 年 2 月 16 日から 10 月 28 日まで 27 回の公式マネーゴルフトーナ メントを主催した XXX1 についてお答えくだ さい。', 'XXX2 社の社員についてお答えくだ さい。', 'XXX3 の番号をお答えください。'

## 手法 1

'2012 年 2 月 16 日から 10 月 28 日まで 27 回 のオフィシャルマネーゴルフトーナメントを開催したオハイオ州コロンバスに本社を置く会社 をお答えください。 ', 'XXX1 社の従業員につ いてお答えください。 ', 'XXX2 の番号をお答 えください。'

表 4 出力例の評価


# 手がかり表現に基づく非論理的な言語推論の学習

張 辰聖子 1 持橋 大地 ${ }^{2}$ 小林 一郎 1
1 お茶の水女子大学 2 統計数理研究所
\{g1920524,koba\}@is.ocha.ac.jp daichi@ism.ac.jp

## 概要

人間が行っている推論は論理的な含意関係だけで はなく, 日常的な知識を背景にした常識推論が大き な役割を果たしている. 本研究はこの際の知識を,複雑な内容を表現できる自然言語文自体ととらえ,「から」「ため」のような手がかり表現を利用するこ とで, 前提と帰結がともに文となる自然言語推論を コーパスから深層学習モデルとして直接学習する。 コーパスから抽出した 157 万文ぺアについて学習 し, テストデータにおいて, 前提から生成した帰結文 について人手評価を行ったところ, $65.8 \%$ が妥当な推論であるとの結果を得た. さらにエラーの原因につ いて考察し, 改善と今後の可能性について議論する.

## 1 はじめに

ロボットのような人工知能が人間と共生する未来社会において, 人間と同等の推論や知的判断が行え る方法を開発することは, 重要な研究課題だと考え られる. 自然言語処理の最近の推論の研究は含意関係認識のような論理的な推論を扱っていることが多 いが,これでは扱えない自然な「推論」も実際には重要である. たとえば, 富士山と湖の写った写真を見て 「富士山がある」「湖が見える」と判断するだけでな く,そこから「キャンプによい」「日本的な風景だ」 と判断することは論理的な推論ではないが, 人間が 常に行っている常識的な推論である. そこで本研究 では，「〜ため」のような手がかり表現とニューラ ル言語モデルを用いることで, 大量のコーパスから 直接,こうした常識的推論を学習する. 提案法の特徴 は, 前提と帰結がどちらも自然言語の文となる言語的推論であり, 従来のように論理構造を介していな いことにある。

## 2 関連研究

こうした非論理的な1) 推論は, 自然言語処理では 常識推論 (commonsense reasoning) とよばれて長く議

図 1 Wikipedia からのデータ生成と, 推論の学習の概要.論されており, 特に最近活発に研究されている分野 である [1]. ただし,このためのデータセット [2][3] がそうであるように, 従来はこうした知識はあくま で知識グラフのような離散的な知識構造で表されて いた.こうしたグラフの作成やラベル付けには大量 の人手が必要である上,多くは単語間のグラフ関係 であるため, 複雑な知識を表すことができず, 表現力 にそしいという大きな欠点がある.

いっぽう, 推論についてこうした知識構造を介さ ず, 文から直接文を導く自然言語推論が行われ始め ている [4].こうした自然言語推論は論理的含意を 対象にしているが,この方法は常識推論にも自然に 適用でき, 本研究ではその可能性を模索する. Yu ら [5] は, 短い文のペアを人手でラベル付けしたデータ セット ASER [6] から, 文の連続をグラフ上のランダ ムウォークとしてサンプリングし, そのデータに基 づく常識推論の学習を提案している. ASER は大量 のコーパスからあらかじめ作成されたものである が, 本研究は関係を絞って, 常識推論を直接コーパス から学習するものであるといえる。

## 3 自然言語による推論

## 3.1 研究概要

図 1 に研究の概要を示す. 日本語 Wikipedia コー パスから，「理由」を表現する手がかり表現を元に

1）論理的推論と区別するために, あえて「非論理的」という 言葉を使っているが,これは推論に結果として論理的推論が 含まれることを排除するものではない.
根拠と結論がペアになった文を抽出する. 根拠部分 を大力, 結論部分を出力とし, 文を生成する深層学習モデルである $\mathrm{T} 5$ に学習させる. これにより根拠 に相当する文から結論を示す文を生成することを通 じて, 自然言語推論を実現する。

## 3.2 データ作成

データの収集には日本語版 Wikipedia コーパスを 用いた. 以下にデータ作成の手続きを示す.

Step 1. 正規表現で理由節を持つものを抽出 日本語版 Wikipedia 本文から，理由節を持つ 1 文を正規表現を用いて抽出する. その際，手がかり表現とし て「から」「ので」「ため」「おかげで」「せいで」の 5 つを用いた．また，理由節を持つ文の文頭が指示詞（「この」，「その」）であった場合，前文で置換を するという簡単な指示詞の補完を行った.

Step 2. 形態素解析によるフィルタリング 正規表現によって抽出された理由節を持つ文に対し，1文 ごとに MeCabを用いて形態素解析を行う．正規表現での抽出では，5つの手がかり表現は，理由を表 す以外の意味を持つことがある. そこで，形態素解析により主に理由を表す品詞として使われている場合のみを抽出する. 以下に品詞による使われ方の違 いの例を示す。

・信号が青から赤に変わった. (格助詞, 変化の 「から」)

・楽器を持っていなかったからボーカルになっ た. (接続助詞, 理由の「から」)

例に挙げたように「から」の品詞細分類が接続助詞 である時，主に理由を表すことから解析により抽出 を行う．上記により，解析の結果，理由節が以下の 形態素として含まれていた場合に，抽出を行う.

・から 助詞, 接続助詞

・ので 助詞, 接続助詞

$\cdot$ため 名詞, 非自立, 副詞可能

-せい名詞,非自立,一般

十で 助詞, 格助詞, 一般

・おかげ 名詞,一般

+ 助詞, 格助詞, 一般

Step 3. 機械学習によるフィルタリング 形態素解析によって残った文のうち，名詞で用いられる「た め」はいくつかの意味を持つ. そのため, 理由を表 す「ため」のみを抽出することを目的として，訓練済み日本語 BERT モデルを用いて二値分類を行っ表 1 訓練データの例と，それに類似する前提を与えたと きのファインチューニングを行った $\mathrm{T} 5$ の文生成出力例.

た. ここで用いた BERT モデルは Hugging Face ${ }^{1)} の$自然言語ライブラリ Transformers ${ }^{2}$ に基づく, 東北大学公開の事前学習済み日本語 BERT モデル3)を使用した.「ため」を手がかりとして抽出した文から， ランダムに 300 文を抜き出し，手動で理由を表すか そうでないかのタグ付けをし，二値分類の機械学習 を行くった. 300 文での 5 分割交差検証では $88.7 \%$ の精度で理由を表すかそうでないかの分類を行えて いることがわかった. 分類を行った結果, 1,288,304 文の「ため」を含む文から，730,133 文 (56.7\%) の理由を表す文を抽出することができた。

Step 4. 根拠表現と結果表現の抽出 日本語自然言語処理ライブラリである $\mathrm{GiNZA}^{4)}$ を用いて，抽出し た文に対して係り受け解析を行う. 坂地ら [7]の手法を用いて, 根拠表現と結果表現の抽出を行った。

## 3.3 推論モデル

収集した文ぺアを日本語 T5 モデルに与え，前提か ら結果を生成する深層学習モデルを学習すること で，自然言語による推論を実現する。

## 4 実験

## 4.1 実験設定

本研究では，3.2 節で収集した 1,572,956 件の根拠 と結果のぺア文をデータとして用いる. 実験の際 は，このデータを訓練：開発：評価 $=0.95: 0.025: 0.025$ として評価を行う。評価は評価データからラン ダムで 100 文を抽出し手動で行い，それに伴い

1) https://huggingface.co

2) https://github.com/huggingface/transformers

3) https://huggingface.co/cl-tohoku/bert-base-japanese

4) https://megagonlabs.github.io/ginza/
表 3 評価データに対するファインチューニングを行った $\mathrm{T} 5$ の文生成出力例と, 出力に対する人手評価の例.

 &  \\

BERT-Score[8] によって, 生成文と正解文との意味的類似度を検証した. 評価指標は 4.2 節に示す. 本研究で用いる T5 モデルは Hugging Face ${ }^{5}$ の自然言語 ライブラリ Transformers ${ }^{6}$ に基づく，Isao Sonobe 公開の事前学習済み日本語 T5 モデル7)を使用した。

## 4.2 評価基準

表 3 の生成例 2 にあるように，評価データの正解 と比べると全く違う出力であるが，出力内容自体は 前提から妥当に導かれるものが多くあった. した がって，生成データセットにおけるモデルの性能 は，出力の妥当性を人手で判断することで評価す る。評価基準は，自然言語による演繹的な文生成を 行うモデルの提案をしている関連研究 [4] を参考に し，以下の 6 つの分類とする。

i 妥当な推論である 出力は前提から妥当に導かれ る結論である。

ii 妥当な推論であるが文法的な間違いがある 出力 は前提から導かれうる結論だが，主語などの成分が 久けていたり, 動詞の活用に違和感があるなど内容 の理解を妨げない程度の文法的な間違いがある。

iii 前提を繰り返す 出力は，前提文の繰り返し，も しくは言い換えであり前提と同意である。または，前提に含まれる単語を組み合わせているだけであ る.

iv 前提から導かれない 出力は文，内容は正しい が，前提から導かれ得る結論ではない。

$\mathbf{v}$ 矛盾している 出力は, 前提と矛盾する, もしく は本質的に間違っている.

5) https://huggingface.co

6) https://github.com/huggingface/transformers

7) https://huggingface.co/sonoisa/t5-base-japanese vi 結論が理解し得ない 結論が文をなしていない. もしくは前提が文をなしていない。

表 4 人手評価されたデータに対する生成文と正解文の BERT-Score $の$ 平均.

## 4.3 実験結果

実験でファインチューニングされたモデルに評価データを与えると，表 3 のように文生成が行われ た. その他の推論結果は, 付録 A の表 7 に示した. 前提はモデルに与えた文，出力はモデルから生成され た文，正解は収集データ中の前提に対する結論文の ことである. 生成データセットにおけるモデルの性能に対する人手で行った評価結果は, 各評価者ごと の評価数を表 5 に，全ての評価者の平均をグラフに

口i.妥当な推論である

口ii.妥当な推論であるが文法ミスがある

口iii.前提の繰り返しである

口iv.前提から導かれない

曰v.矛盾している

口vi.結論が理解できない

図 2 評価データからランダムに抽出した 100 文に対する 人手評価の結果 (平均)
表 5 評価データからランダムに抽出した 100 文に対する 人手評価の結果 (件数).

したものを図 2 に示す. 人手で評価したデータに対 する，生成文と正解文の BERT-Score [9] による類似度を表 4 に示す。また, 訓練データにあるような形 の前提であれば妥当な推論を行えるという仮定の 下，訓練データの例と，それに伴うモデルによる出力例を表 1 に示す. 出力が妥当な推論である，もし くは妥当な推論であるが文法的な間違いがあると評価された割合は $65.8 \%$ となった.

## 4.4 考察

前提を与えることで，文生成の形で推論を行うこ とができた．BERT-Score による文の類似度（表 4) を見ると，妥当な推論が行われている場合（評価 i) は他の評価指標の結果に比べ，類似度の平均が高く なっていることがわかる. しかし, 評価 $\mathrm{v}$ の類似度 の平均が最も高くなっている. これは, 生成文が表 3 の例 4 のように，矛盾はしているが矛盾理由が文末尾による否定によるものである場合に, 文全体 の類似度自体は上がってしまったからだと考えら れる.

エラーについて，3つ目の評価指標である前提を 繰り返すことに注目すると, 表 3 の例 2 のように,前提を繰り返したのちに「ため」をつけるという事例がいくつかあった. 理由としては, 訓練データに 結論が「ため」で終わる文が，4,293 件と多く含まれ ていたことが考えられる. そのようなデータが含ま れてしまう原因は 2 つほど考えられる。

1つ目は，「ため」によって収集された文に「のた めにしていたため」といった表 6 の例 1,2 に示した ように「ため」を多重で使った文が多くあったこと が原因だと思われる.このような「ため」多重文に 対し，データ生成における Step 4 を行うと，結果部分が「ため」で終わるデータが抽出されてしまう. また，3.2 節のデータ作成で説明したように「ため」 はいくつかの意味を持つ. その中でも，「ため」多重文で用いられる「ため」は例 2 のように「目的」 の意味で使われていることが多くあり，「ため」に表 6 エラー分析の結果，原因であると考えられる訓練 データのノイズ例. 元の文と, 抽出した文ぺアを示した.

例 1

子供を増やすことは世帯所得増加に繋がるため,子供を産むインセンティブとなるために少子化対策となりうるという考えがある。前提 子供を増やすことは世帯所得増加に繋がる 結果 子供を産むインセンティブとなるため 例 2

彼らに対抗するために資金を調達するために ツアーに行くと，彼らはギャングによって 絶えず脅かされています.

前提 彼らに対抗する 結果 資金を調達するため

例 3

必要以上の事件を寄せ付けないためにクラス Aの 身分を隠し，小さな探偵事務所を構える悪行の 元に，今日もまた事件がやってくる.

前提 必要以上の事件を寄せ付けない 結果 必要以上の事件を寄せ付けないため

対する機械学習の精度の向上が望まれる.

2つ目の原因としては，訓練データの結果の中に，表 6 の例 2 のように前提を繰り返した後に「ため」 をつけたものもあった. こうしたことが起こった原因は，係り受け解析時に「ため」の前で文が区切ら れてしまっていたからである．例 2 の文では，「必要以上の事件を寄せ付けないために」で区切られて しまい，データ生成における Step 4 を行うと, 前提 を繰り返す文を結果として抽出してしまう。これ は，係り受け解析器を用いて自動的に前提と結果を 抽出しているため起こりうるエラーである.

## 5 おわりに

本研究では，自然言語文そのままの形で推論を行 う手法の開発を目的に，自然言語による推論を自然言語文生成として表現する研究に取り組んだ. 日本語 Wikipediaコーパスから，理由節を手がかり表現 として根拠と結論を抽出した. 抽出した因果関係の データを用いて，根拠部分を入力，結論部分を出力 として深層学習を行うことで，推論を行う形の文生成が可能なことがわかった. モデルによって生成さ れた文に対して人手で評価を行った結果，前提から 導かれる推論として妥当だと言える割合は $65.8 \%$ と なった. 今後は, 発生したエラーを改善して収集 データのノイズを減らし, 推論文生成の精度を上げ たい。また，作った推論モデルを用いて，多段推論 および前提を予測する帰納的推論などに挑戦してい きたいと考えている.

## 参考文献

[1] Maarten Sap, Vered Shwartz, Antoine Bosselut, Yejin Choi, and Dan Roth. Commonsense Reasoning for Natural Language Processing. In ACL 2020, pp. 27-33, 2020.

[2] Robyn Speer, Joshua Chin, and Catherine Havasi. ConceptNet 5.5: An Open Multilingual Graph of General Knowledge. In AAAI 2017, p. 4444-4451, 2017.

[3] Maarten Sap, Ronan Le Bras, Emily Allaway, Chandra Bhagavatula, Nicholas Lourie, and Hannah Rashkin. ATOMIC: An Atlas of Machine Commonsense for If-Then Reasoning. In AAAI 2019, p. 3027-3035, 2019.

[4] Kaj Bostrom, Xinyu Zhao, Swarat Chaudhuri, and Greg Durrett. Flexible Generation of Natural Language Deductions. In EMNLP 2021, pp. 6266-6278, 2021.

[5] Changlong Yu, Hongming Zhang, Yangqiu Song, and Wilfred Ng. CoCoLM: Complex commonsense enhanced language model with discourse relations. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 1175-1187, 2022.

[6] Hongming Zhang, Xin Liu, Haojie Pan, Yangqiu Song, and Cane Wing-Ki Leung. ASER: A Large-scale Eventuality Knowledge Graph. In $W W W$ 2020, p. 201-211, 2020.

[7] 坂地泰紀. 構文パターンを用いた因果関係の抽出. 言語処理学会第 14 回年次大会論文集, 2008, pp. 1144-1147, 2008.

[8] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with BERT. CoRR, Vol. abs/1904.09675, , 2019.

[9] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. BERTScore: Evaluating Text Generation with BERT. In International Conference on Learning Representations, 2020.

## 付録 A 推論結果の例

表 7 学習した $\mathrm{T} 5$ 深層学習モデルによる推論結果の例.

} & 前提 & 騎兵隊という部隊名が付いているが馬の輸送が間に合わずまた連発銃の普及により \\


# 複数文書の読解を要する質問の自動生成と 質問応答システムへの応用

小林俊介 河原大輔
早稲田大学理工学術院
\{carlike787@toki., dkw@\}waseda.jp

## 概要

オープンドメイン質問応答タスクは質問に対す る文書の検索と読解で構成され、そのデータセッ トには、複数の文書を読解しなければ解答できな い質問が多く存在する。本研究では、テキスト生成モデルをべースとした質問応答モデルである Fusion-in-Decoder [1] を用いて、複数文書の読解を要 する質問を自動生成する。生成された質問を、オー プンドメイン質問応答システムに応用した結果、正答率が約 $2 \%$ 向上し、質問生成の有効性が示された。

## 1 はじめに

自然言語処理における機械学習の利用において は、学習データの量が重要であり、多量かつ高品質 なデータセットの取得が課題の 1 つになっている。 データセットを作成する手法としてアノテーション が使われる。しかし、アノテーションを人手で行う とコストが高くなってしまうため、データ作成・拡張を自動で行う手法が用いられることもある。

本研究ではデータ拡張をオープンドメイン質問応答タスクに応用する。オープンドメイン質問応答タ スクは質問に対する文書の検索と読解で構成され、 そのデータセットには、複数の文書を読解しなけれ ば解答できない質問が多く存在する。本研究では、 テキスト生成モデルをべースとした質問応答モデル である Fusion-in-Decoder [1] ${ }^{1}$ (FiD) を用いて質問を 自動生成する手法を提案する。提案手法の FiD は解答と複数の文書を入力とし、与えられた解答に対応 する質問を生成する。FiD は元来、複数の文書を考慮した出力の生成が可能であり、生成される質問は 複数の文書を参照しなければ解答できないものにな ることが期待される。

一方で、生成された質問は矛盾や不自然な表現を

1) https://github.com/facebookresearch/FiD含む場合や、異なる解答を持つ場合があり、そのま ま追加データとするには不適切な場合がある。この ため、元の質問と表現が異なり、かつ解答が同一で ある質問を選別するため、生成された質問と元の質問との類似度を用いたフィルタリングを行う。

選別された質問をデータセットに追加して質問応答システムの学習を行った結果、データ拡張を行 わずに学習を行った場合と比べて、正答率が最大で 2\%改善し、自動生成された質問が学習に貢献する ことが示された。また、1つの文書のみで生成した 質問を加えた場合、複数文書で生成した質問で学習 した場合よりも正答率が悪化し、複数文書で生成を 行う提案手法が有効であることが示された。また、 フィルタリングを行うと、正答率が最大で $0.6 \%$ 向上 し、フィルタリングも効果があることが示された。

## 2 関連研究

英語における質問応答タスク用のデータセット では、関連文書を与えて質問に答える形式のものが 多く、SQuAD [2]、TriviaQA [3]、Natural Questions [4] などがある。日本語における質問応答タスク用の データセットには、SQuAD の形式を踏襲した運転 ドメイン QA データセット [5] や、JGLUE [6] に含 まれているJSQuAD、クイズ形式の質問文で、日本語 Wikipediaを関連文書とする JAQKET [7] などがあ る。SQuAD と TriviaQA では訓練用の質問が 100,000 件前後、Natural Questions では 300,000 件以上用意さ れている。一方で運転ドメイン $\mathrm{QA}$ データセット は 34,000 件強、JSQuAD は訓練用データで 64,000 件弱、JAQKET では評価用を合わせても 24,000 件前後 と、英語データセットに対して一桁少ない。

自然言語処理の各タスクで大きな精度向上を達成 したモデルが、Transformer に基づく汎用言語モデル である。その中でもテキストを生成できるモデルと して T5 [8] がある。

図 $1 \quad N=3$ における質問生成の流れ

Izacard ら [1] は T5をべースとした質問応答のモ デルとして、複数の文書を入力に用いることができ る FiDを提案した。このモデルでは入力される文書 ごとに、質問文と結合してエンコードが行われ、得 られた埋め込みべクトルは一括してデコーダに入力 される。これにより、解答生成の際に複数の文書か ら情報を得られるという特徴があり、より精度の高 い解答を生成できる。

質問の生成については、Du ら [9] が DNNによる 質問生成を行い、精度を改善させたことから、特に テキスト生成が可能な言語モデルによる質問生成 が行われてきた。Murakhovs'ka ら [10] は、1つの比較的長い文書を入力とし、異なる解答を持つ複数の 質問を生成できる MixQG を提案している。既存モ デルから $10 \%$ 以上の精度向上を達成しているが、入力が 1 文書であり、複数の文書を参照した質問には なっていない。日本語においても、折原ら [11]によ り、日本語 $\mathrm{T} 5$ モデルを用いて、ニュース記事から クイズを生成する試みが行われた。既存のクイズ サービスに掲載されている質問を例に、生成された クイズが単に正答を問うだけではなく、面白みのあ るクイズになっているかについて考察している。し かし、ここでも入力する記事は 1 つだけであり、ま た使用された訓練データ数も 220 件と少ない。

## 3 複数文書による質問生成

## 3.1 質問の生成とフィルタリング

本研究の目標は、複数の文書を読解しないと解答 することができない質問の生成である。この要素を 満たす FiDを本研究での質問生成で用いるモデルと する。提案するモデルは FiD と同一の構造であり、入出力の形式が異なるのみである。通常、FiD の入力は、質問文と、読解すべき文書のタイトルおよび 内容を大力するが、本研究では、質問文の代わりに 解答と、解答を含む関連文書 $N$ 個を入力する。 $N=3$ の場合の質問生成の流れを図 1 に示す。

ただし生成された質問は、そのままでは矛盾や不自然な表現を含む場合や、異なる解答を持つ場合が あり、そのまま追加データとするには不適切な場合 がある。そこで、元の質問と表現が異なり、かつ解答が同一である質問を選別するために、フィルタリ ングを行う。フィルタリングは元の質問と生成さ れた質問の類似性を測定することで実現し、その 指標として BERTScore [12] と BLEU [13] を用いる。 いずれも 2 つの文の類似度を測定する指標である が、BLEU が N-gram 単位の表層的な類似度を測定 するのに対し、BERTScore は BERT の出力する埋め 込みべクトルに基づく意味的な類似度を測定する。 よって、同じ解答で異なる表現の質問を得るには、 BERTScore が高く、かつ BLEU のスコアが低い質問 が適している。加えて、元の質問は事実に基づいた ことが書かれているため、生成される質問に矛盾等 が生じていれば、BERTScore の值は低くなると考え られる。以下の例 (1) はそのような質問のペアであ る。解答は「夜明け前」であり、元の質問 $\mathrm{a}$ のよう に書き出しは「木曽路はすべて山の中である」であ るが、生成された質問 b は異なる書き出しになって おり、矛盾が生じている。

(1) a.「木曽路はすべて山の中である」という一文で始まる、島崎藤村の小説は何でしょう？ b.「だから、私はその家を飛び出した」とい う書き出しで始まる、島崎藤村の小説は何 でしょう?

## 3.2 実験

## 3.2.1 実験設定

2020 年から質問応答タスクのコンペティション 「AI王」のデータセットとして JAQKET データセッ トが利用されている。本研究では、同コンペティ ションの第 2 回大会 ${ }^{2}$ で提供されている、JAQKET をべースとしたクイズ形式のデータセット、および

2) https://sites.google.com/view/project-aio/ competition2

日本語 Wikipedia 記事の文書集合3）を用いた実験を 行う。各質問には前処理として、Elasticsearch ${ }^{4}$ を用 いた、各質問の解答を含む関連文書5)の抽出が行わ れている。このデータをもとに、FiD の学習で必要 とされる質問、解答、関連文書の組を抽出した。

FiD で用いる日本語 T5 モデルは、Hugging Face Transformers ライブラリに存在するものを用いた6)。学習で設定したハイパーパラメータを付録 A に示 す。質問生成で使用する文書数は、関連文書のうち 3 つ、および、1つのみとする 2 パターンとした。生成においては各入力に対し、beam searchにより生起確率の高い出力 7 つを取得した。

モデルの評価では、評価用データセットを用い て、各入力に対して質問の生成を行い、人手による 評価を行った。自動生成そのものの結果を評価する ため、フィルタリング前に無作為に抽出した 50 問 を評価対象とし、評価の観点は矛盾や文法ミスがな いなど、質問に自然さがあるかどうかと、複数文書 の読解を要するか否かの 2 つとした。

## 3.2 .2 実験結果と議論

質問の生成 以上の設定の下で、質問生成に対応 した FiDのファインチューニングを行った。評価結果を表 1 に示す。以下に、 3 つの関連文書を用いて 生成された質問の例を示す。

(2) 1971 年に独立するまでは「東パキスタン」と 呼ばれていた、首都をダッカに置く国はどこで しょう?

（3）『斜陽』『人間失格』『堕落論』などの作品を残 した、昭和を代表する作家は誰でしょう？

(4) 花見大根、桜島大根といえばどんな野菜の品種 でしょう?

例 (2) は、質問文に矛盾や文法的誤りがなく、適切 な生成が行われた例である。一方、例 (3) は「太宰

3) https://github.com/cl-tohoku/AI02_DPR_baseline/blob/ master/scripts/download_data.shに記載のスクリプトでダ ウンロードできる。

4) https://www.elastic.co/jp/

5）関連文書は日本語 Wikipedia 記事をパッセージの集合に分割したものである。

6) https://huggingface.co/megagonlabs/ t5-base-japanese-web治」を解答とする質問であるが、「郢落論」は坂口安吾の作品であり、事実に矛盾する例となっている。 また、例 (4) は矛盾こそないものの、質問文中で解答の「大根」に言及してしまっているため、質問と して全く意味を成していない。FiD がベースとする T5 の出力生成では、出力文全体の意味を考慮した デコードが難しいため、このような不適切な質問が 生成されると考えられる。

次に、複数文書の読解を要する質問について、3 つの関連文書を用いて生成した例を (5) に示す。(6) は参照の必要がある文書の抜粋である。

（5）「眠り猫」の銅像が有名な、徳川家康を祀った 神社は何でしょう?

（6） a. 眠り猫 (ねむりねこ) は、栃木県日光市 の日光東照宮の回廊にある建築装飾彫刻作品。

b. 日光東照宮 (にっこうとうしょうぐう) は、日本の関東地方北部、栃木県日光市に所在 する神社。江戸幕府初代将軍・徳川家康を 神格化した東照大権現 (とうしょうだいご んげん)を主祭神として祀る。

複数の文書の読解を要する質問は多く生成できな かったが、この原因として、訓練で利用した質問の 多くが単一の文書の読解のみで解答できてしまうこ とが考えられる。オリジナルの質問を 50 問サンプ リングして検証した結果、22 問が単一文書の読解で 解答可能であり、これらのデータによる学習が複数 の文書を参照することを妨げていると推測される。

また、関連文書 1 つのみを用いて生成した質問に は、複数文書を読解しないと解答できない質問は存在しなかった。

質問のフィルタリング 次に、フィルタリングの 効果を検証するため、BERTScore と BLEU ${ }^{7)}$ を計算 し、3 文書で生成された自然な質問の割合がどのよ うに変化するか調査した。その結果を表 2 に示す。 なお、1 行目にはフィルタリングがない場合の結果 を示す。表 2 から、自然な質問を多く残せているこ とが分かる。ただ、不自然な質問も多く残り、全体 に占める自然な質問の割合は $40 \%$ 程度にとどまっ た。フィルタリングによる質問除去は一定の効果が あるものの、改善の余地も十分にあるといえる。

表 2 フィルタリング前後の質問の内訳と、自然な質問の 割合 (BS は BERTScoreを表す)

## 4 質問応答システムへの応用

## 4.1 質問応答システムの学習

生成された質問を、質問応答システムの学習に応用する。まず、訓練用データセットの質問および、 その各質問から生成された質問に対し、質問応答シ ステム用の訓練データの選抜を行った。具体的に は、AI 王で提供されている DPR [14] のベースライ ン8)を用いて、日本語 Wikipedia の記事から文書 100 個を抽出し、その中に解答が含まれないデータは訓練データから外した。

また、生成された質問と、生成元の質問を用い て、BERTScore と BLEUによる類似度計算9)を行っ た。 3 節に従い、BERTScore を用いる選別では、一定のしきい値以上の質問を、BLEUを用いる選別で は、一定のしきい值以下の質問を採用した。そし て、元の訓練用データセットに、これらのしきい值双方を満たすよように選別された生成質問群を追加 した。この際、追加する質問は生起確率の高い質問 3つまでに制限した上で追加を行い、システムの学習を行った。また、予備実験において、無制限に質問を追加しても精度の向上が見られなかったため、追加するデータ量は各実験設定で 6,000 問とした。

評価においては、評価用データセットで DPRに よる関連文書 100 件の抽出を行い、解答が存在する 文書を抽出できた質問を入力し、解答を生成した。 そのうえで、データに存在する想定解答と、生成さ れた解答が完全一致しているかを基準とする Exact Match (EM) による評価を行った。この実験を各しき い値の組み合わせごとに、異なるシード値を用いて 5 回実施し、EMによる正答率の平均を算出した。

8) https://github.com/cl-tohoku/AI02_DPR_baseline

9） BERTScore は 0 から 1 まで、BLEUは 0 から 100 までの値 をとる。いずれも類似度が高いときに大きい値になるが、全 く関連のない文同士では BERTScore は 0.6 程度になる。表 3 各実験設定の詳細と評価データセットでの EM 正答率。文書数は生成時に用いた文書数を示す。

## 4.2 結果

表 3 に、元のデータを使用した場合と、生成され たデータを様々なしきい値によって選別した際の、 EM 正答率を示す 10 )。

生成された質問をシステムの学習に用いたこと で、精度は最大で約 $2 \%$ 向上し、提案手法によって 生成された質問が学習に貢献していることが確認さ れた。生成時の文書数が 1 つだけの質問を追加した 場合と比較すると、同じしきい值で 3 文書を使用し たケースが最大 $1.7 \%$ 前後正答率で上回った。この 結果から、複数の文書の読解を要する質問を生成す ることの有効性が確認できた。3つの文書を用いて 生成した質問を利用した実験において、類似度によ る選別を行わない場合と行う場合を比較すると、選別を行った場合は $0.3 \%$ から $0.6 \%$ の正答率向上が確認でき、フィルタリングに一定の効果があることが 示された。

## 5 おわりに

本研究では、FiDを用いて、複数文書の読解を要 する質問データの生成を試みた。質問生成の結果、同じ解答を違う表現を用いて導くような質問が生成 できた。また、質問応答タスクのデータとして追加 した結果、正答率が最大 $2 \%$ 向上した。加えて単一文書だけの読解で解答できる質問は、精度の改善幅 が小さく、生成データの有用性が確認できた。今後 の研究では、BERTScore や BLEU のフィルタリング で対応しきれない、意味は全く違うが求められる解答が同じ質問を自動で生成する方法を追求したい。

## 謝辞

本研究はキオクシア株式会社の委託研究において 実施した。

## 参考文献

[1] Gautier Izacard and Edouard Grave. Leveraging passage retrieval with generative models for open domain question answering. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 874880, Online, April 2021. Association for Computational Linguistics.

[2] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, Austin, Texas, November 2016. Association for Computational Linguistics.

[3] Mandar Joshi, Eunsol Choi, Daniel Weld, and Luke Zettlemoyer. TriviaQA: A large scale distantly supervised challenge dataset for reading comprehension. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1601-1611, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[4] Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Jacob Devlin, Kenton Lee, Kristina Toutanova, Llion Jones, Matthew Kelcey, MingWei Chang, Andrew M. Dai, Jakob Uszkoreit, Quoc Le, and Slav Petrov. Natural questions: A benchmark for question answering research. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 452-466, March 2019.

[5] Norio Takahashi, Tomohide Shibata, Daisuke Kawahara, and Sadao Kurohashi. Machine comprehension improves domain-specific Japanese predicate-argument structure analysis. In Proceedings of the 2nd Workshop on Machine Reading for Question Answering, pp. 98-104, Hong Kong, China, November 2019. Association for Computational Linguistics.

[6] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[7] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. JAQKET: クイズを題材にした日本語 QA データセッ 卜の構築. 言語処理学会第 26 回年次大会 (NLP2020)発表論文集, pp. 237-240, Online, March 2020. 言語処理学会.

[8] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Ma- chine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[9] Xinya Du, Junru Shao, and Claire Cardie. Learning to ask: Neural question generation for reading comprehension. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1342-1352, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[10] Lidiya Murakhovs'ka, Chien-Sheng Wu, Philippe Laban, Tong Niu, Wenhao Liu, and Caiming Xiong. MixQG: Neural question generation with mixed answer types. In Findings of the Association for Computational Linguistics: NAACL 2022, pp. 1486-1497, Seattle, United States, July 2022. Association for Computational Linguistics.

[11] 折原良平, 鶴崎修功, 森岡靖太, 島田克行, 狭間智恵,市川尚志. クイズビジネスにおける作問作業支援.言語処理学会第 28 回年次大会 (NLP2022) 発表論文集, pp. 1401-1405, Online, March 2022. 言語処理学会.

[12] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[13] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[14] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wentau Yih. Dense passage retrieval for open-domain question answering. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6769-6781, Online, November 2020. Association for Computational Linguistics.

## A 学習時のハイパーパラメータ

表 4 に、FiD の学習で用いたハイパーパラメータ を示す。


# 専門性の高いオープンブック質疑応答システムの構築と 専門家添削による誤答抑制

後藤成晶 ${ }^{1}$ 上山道明 ${ }^{1}$ 須藤栄一 ${ }^{1}$ 清水司 ${ }^{1}$ 木村英彦 ${ }^{1}$
${ }^{1}$ 株式会社豊田中央研究所
\{sg-goto, kamiyama, eiichi-s, shimizu, hdkimura\}@mosk. tytlabs. co. jp

## 概要

専門家の知識の一部は、報告書などのテキストデ 一夕として所属組織内に蓄積される。材料分析ドメ インを対象に、テキストを参照して専門性の高い質問に自動回答するシステムを、オープンブック質疑応答を応用して構築した。専門性の高い質疑応答は 回答抽出の難度が高いため、誤答の多発が懸念され る。そこで、回答の正誤検証器を備えるシステムを 構築し、その訓練手順を提案した。提案の訓練手順 は、質疑応答ログを専門家が正誤添削するだけで良 く、一般的なデータセット作成よりも作業負荷が少 ない。実験から、訓練によって誤答の提示頻度が $50 \%$ 以上抑制されたことを確認した。

## 1 はじめに

産業分野などにおけるドメイン専門家の知識の一部は、報告書などのテキストデータとして所属組織内に蓄積される。その専門知識を再利用できるよう、膨大なテキストデータから情報抽出できる仕組みが 求められる。その手段として、テキストデータを参照する質疑応答システムの研究が進められている。 なお、そのようなシステムは、教科書を開きながら 試験問題に答える「持ち込み試験」に例えてオープ ンブック質疑応答システムと呼ばれる。

本検討では、オープンブック質疑応答を「材料分析」ドメインに応用し、図 1 に示すようなシステム を構築している。ユーザが質問を入力すると、バッ クエンドでオープンブック質疑応答アルゴリズムが テキストデータを参照し、回答を抽出し提示する。 また、参照したテキストのリストを参考文献として 提示する。

材料分析のような専門性の高い分野への質疑応答 システムの応用は、主に次の 2 つの難しさがある。

教師データの作成コストが高い専門性の高い教師データ作成作業は、作業者に専門知識が必要で、 クラウドソーシングを活用しにくい。そのためデー タ作成コストが高くなる。

誤答の発生頻度が高い 非専門的な質問の例とし て「或る人物の出生地」を問う場合、出生地は 1 つ しかないため誤答が起きにくい。一方で「材料の分析方法」を問う場合、分析方法は 1 つではなく、目的や条件によって適切な分析方法が異なるため、誤答が発生しやすい。

以上を踏まえ、本報告の内容は以下の通りである。
- オープンブック質疑応答を専門性の高い材料分析ドメインへ応用した。

-一般的な教師データ作成より負荷の少ない 「添削」による訓練手順を提案した。

・訓練により誤答を抑制可能なことを実験か ら確認した。

図 1 構築した材料分析の質疑応答システム

## 2 質疑応答システムの構成

本検討で構築した質疑応答システムの構成を図 2 に示す。文章検索(Retriever) と回答生成(Reader)を組 み合わせる方式で、さらに正誤検証(Verifier)を設け

ることで誤答抑制を図る。以下に各要素の実装詳細 を述べる。

文章検索(Retriever) ベクトル近傍探索で実装 した。文章のベクトル化には BERT[1]を用いた。訓練データとして質疑応答データセットを QNLI (Question Natural Language Inference)形式に変換した ものを利用した。訓練コードとして Sentence Transformers ライブラリ[2]を利用した。

回答生成(Reader) 複数文章を一括入力して処理できる Fusion-in-decoder [3]のアルゴリズムを採用 し、実装コードは内製した。モデルアーキテクチャ は BART (Bidirectional Auto-Regressive Transformers) [4]を採用した。推論時にはジェネレータの生成数を 10 などに設定することで、複数回答を出力させた。

根拠検証(Verifier) 正答/誤答の 2 クラス分類モ デルとして BERTを用いた。「質問、回答、コンテ キスト文章」を入力し、「正答/誤答」のラベルを推論する。誤答を除外したものが最終的な回答セット としてユーザに表示される。

図 2 質疑応答システムの構成概要

## 3 訓練手順

## 3. 1 全体の手順

本検討では、図 3 に示す手順で訓練を実施した。各作業の概要を以下に述べる。

事前学習 BERT および BART の事前学習を実施 する作業である。なお本検討では「材料分析に関す
る質疑応答チャット」という目的に合致するよう、産業技術文章とソーシャルネットワーキングサービ ス文章を合計 $30 \mathrm{~GB}$ 収集して利用した。

ファインチューニング-1 一般公開されている大量な質疑応答データセットによるファインチューニ ング作業である。なお本検討では SQuAD [5]および Natural Questions [6]を機械翻訳することで約十万件 の日本語質疑応答データセットを作成して利用した。

ファインチューニング-2 対象ドメインの専門家 が作成した質疑応答データセットによるファインチ ューニング作業である。

専門家添削ファインチューニング 2 で訓練さ れた質疑応答システムによる質疑応答ログを、専門家が添削する作業である。

ファインチューニング-3 専門家が作成した質疑応答データと、専門家添削結果とを組み合わせたも のを教師データに、ファインチューニングを実施す る作業である。

図 3 質疑応答システムの訓練手順

## 3.2 専門家による質疑応答データの作成

データ形式は SQuAD と同様で、「質問」「回答」
「コンテキスト」からなる。材料分析に関する社内報告書から抜粋した文章をコンテキストに利用し、 そのコンテキストから回答可能な質問およびその回答を材料分析専門家が作成した。

質疑応答データセットの作成にあたり、データセ ットの偏りが無いよう注意した。例えば自由フォー マットの議事録をコンテキスト文章に利用すること で、言い回しの偏りを予防した。また、材料分析ド メインを複数の小分野に分割し、それぞれの小分野 に担当専門家を設定することで、分野の偏りも予防 した。

## 3. 3 専門家添削

質疑応答システムの回答ログを専門家が確認し、正答または誤答のラベルを付与する作業である。デ 一夕形式として、「正誤ラベル」「質問ログ」「回答ログ」に加えて「Reader が参照していたコンテキ スト」も用いることで、質疑応答データセットと同様に扱えるようにした。

図 4 に、質疑応答データ作成と添削の作業フロー を比較して示す。質疑応答データを作成するために は、1000 文字程度のコンテキスト文章を読解し たうえで、そのコンテキストに沿った質問を作文し、回答フレーズを抜き出す作業が必要である。一方で 添削作業は、コンテキスト読解作業が無く、さらに 質問の「作文」作業が「読む」作業に負荷軽減され ているため、より少ない負荷で作業可能である。

図 4 質疑忘答データ作成と添削の作業比較

この添削作業は、実際の運用時には、専門家がロ グを確認して手動で実施することを想定している。 ただし今回の実験では、簡易的に効果検証するため
に、質問文章とその正答リストからなる添削用質疑応答データを予め約 200 件作成し、それを用いて 自動添削を行った。具体的には、そのデータセット の質問文章をモデル B に入力し、提示された回答そ れぞれに対して、正答リストに含まれている場合は 正答、そうでない場合は誤答であると、自動的にラ ベルを付与した。1 質問あたり約 3 フレーズの回答 を生成させ自動添削をかけることで、約 600 件の 添削データセットを準備した。

## 3.4 Verifier の訓練方法

Verifierの訓練データ概要を図 5 に示す。2クラス 分類器である Verifier の訓練には正答(Positive)およ び誤答(Negative)のラベルが付与された両方のデー タが必要であるが、SQuAD 等の質疑応答データセッ トはすべてが Positive データである。そのためファ インチューニング-2では、質疑応答データセットの うち、コンテキストをランダム(ただし回答フレーズ が文中に出現するものに限定)に置き換えることで、 Negative データを自動生成した。ファインチューニ ング-3では、添削により Negative データが利用可能 になっているため、自動生成された Negative データ と添削された Negative データの両方を利用した。

図 5 ファインチューニング-2および3における Verifier 訓練データ
自動生成された Negative データは識別が容易で、 Verifierの訓練効率が悪い。一方で添削データは、も ともとモデル B が正答と誤認するほど識別困難な例 (Hard Negative)であるため、Verifier の訓練効率が高 い。よって添削による訓練は、作成工数が少ないに も関わらず、より高精度な Verifier を訓練できると 期待される。

## 4 実験

材料分析に関する 50 件の質疑応答テストデータ を作成し、図 3 におけるモデル $\mathrm{A} \sim \mathrm{C}$ の性能を評価し た。参照する文章データベースには材料分析に関す る報告書を約７000パラグラフ利用した。なおテ ストデータは文章データベースの内容を知らされて いない専門家が作文したため、回答不可能な質問も 多く含まれる。

モデル A C のテスト結果として、50 件のテスト を合計した正答と誤答の総数を図 6 に示す。システ ムの提示する回答フレーズが、正答リストに登録さ れているフレーズのどれかと完全一致する場合は Exact Match すなわち正答、そうでなければ Not Exact Match すなわち誤答とする。なお、システムは 1 つ の質問に複数の回答を提示するため、正答と誤答の 合計数は、テストデータ件数より多い。左上にプロ ットされるほど優れていることを意味する。

図 6 テストデータ全体を通した 正答と誤答の表示総数

まず一般データセットだけで訓練したモデル A で は、誤答数が 150 を超えた。次に、材料分析の質疑応答データセットで訓練したモデル B では、正答 の増加と、誤答の減少が同時に見られた。最後に、添削データを加えて訓練したモデル C では、モデル B より更に誤答を $50 \%$ 以上削減できている。以上 の事から、添削を取り入れた訓練手順により、誤答
を抑制できることを確認した。

なお、以下の理由から、図 6 の結果はモデル A C を相対評価するための参考値であり、システム性能 の絶対值を評価するものではないことを補足する。

・ テストデータは、文章データベースの内容に 依存せずに作成されたため、解答不可能な例 も多く含まれる。文章データベースを充足す ることで、正答の増加が見込まれる。
- 事前に列挙していた正答セットに抜け漏れ がある。そのため本来は正答であっても見過 ごされ誤答に割り振られた回答もある。

## 5 関連研究

Shao ら[7]は、Verifier を持つオープンブック質疑応答システムを提案し、複数回答ベンチマークタス クにおいて State-Of-The-Art の性能を確認している。本検討のシステム構成と本質的に同じである。本検討は、添削から学習することによる誤答抑制効果を 検証することが目的であり、Shao らのシステムでも 本検討で検証した手順を適用できると考えられる。

鈴木ら[8]は、コンテキストを読解したうえで手動作成した Negative 訓練データが、質疑応答システム の性能を向上可能なことを実験から示している。一方で本検討は、コンテキストを読解せず簡易的に作成した添削データであっても、誤答抑制のための訓練データに有用なことを確認するものである。

Campos ら[9]は、質疑応答ログに正誤ラベルが付与された添削データを教師データに用いる事で、 Wikipedia 等が由来の非専門的ドメインの質疑応答 タスクにおいて、抽出型 Reader をファインチューニ ング可能なことを確認している。一方で本検討は、 より難度の高い専門的ドメインにおいて、Verifier を含めた構成を添削データから訓練することで、誤答抑制に寄与できることを確認するものである。

## 6 おわりに

専門性の高い質疑応答システムの構築を行った。回答の正誤検証を行う Verifier を設け、専門家添削 を取り入れた訓練手順を提案した。また実験から、数百件の添削データで訓練することにより、誤答の 提示頻度を $50 \%$ 以上抑制できることを確認した。今後は、構築したシステムを用いた質疑応答サービ スの試行運用を行い、より多様な質疑応答ログを添削することで、回答品質をさらに向上可能か検証す る予定である。

## 謝辞

本検討を進めるにあたり質疑応答サービスのアプ リケーション作成に貢献頂いた株式会社豊田中央研究所の藤井亮暢氏、後藤邦博氏、奥村文洋氏、丹羽貴寛氏、加藤光樹氏に感謝申し上げる。

## 参考文献

1. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

2. Nils Reimers and Iryna Gurevych. 2019. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 3982-3992, Hong Kong, China. Association for Computational Linguistics.

3. Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. 2020. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 7871-7880, Online. Association for Computational Linguistics.

4. Gautier Izacard and Edouard Grave. 2021. Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pages 874-880, Online. Association for Computational Linguistics.

5. Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. 2016. SQuAD: 100,000+ Questions for Machine Comprehension of Text. In Proceedings of the 2016 Conference on Empirical Methods in Natural
Language Processing, pages 2383-2392, Austin, Texas. Association for Computational Linguistics.

6. Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Jacob Devlin, Kenton Lee, Kristina Toutanova, Llion Jones, Matthew Kelcey, Ming-Wei Chang, Andrew M. Dai, Jakob Uszkoreit, Quoc Le, and Slav Petrov. 2019. Natural Questions: A Benchmark for Question Answering Research. Transactions of the Association for Computational Linguistics, 7:452-466.

7. Zhihong Shao and Minlie Huang. 2022. Answering Open-Domain Multi-Answer Questions via a Recall-then-Verify Framework. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1825-1838, Dublin, Ireland. Association for Computational Linguistics.

8. 鈴木正敏，松田耕史，大内啓樹，鈴木潤，乾健太郎. 2021. オープンドメイン質問応答における解答可能性判別の役割. 言語処理学会 第 27 回年次大会 (NLP 2021)

9. Jon Ander Campos, Kyunghyun Cho, Arantxa Otegi, Aitor Soroa, Eneko Agirre, and Gorka Azkune. 2020. Improving Conversational Question Answering Systems after Deployment using Feedback-Weighted Learning. In Proceedings of the 28th International Conference on Computational Linguistics, pages 2561-2571, Barcelona, Spain (Online). International Committee on Computational Linguistics.


# 近傍知識グラフからの埋め込みを統合利用する 文書からの遠距離教師あり関係抽出

松原拓磨 三輪誠 佐々木裕
豊田工業大学
\{sd19082, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

データベースから入力文書に出現する用語の近傍 を含む近傍知識グラフを動的に構築し，その近傍知識グラフから獲得した用語の表現を入力文書に統合 して利用する，新たな文書からの遠距離教師あり関係抽出モデルを提案する。提案手法により，遠距離教師あり関係抽出において作成したラベル付きテキ ストの言語情報のみを用いており，データベースに 登録されている他の用語や関係に関する豊富な情報 を活用できていない，という問題の解消を目指す.実験では薬物・疾患・遺伝子間の文書単位関係抽出 データセットである ChemDisGene データセットに おいて，提案手法における用語の表現の統合による 顕著な性能向上を確認した。

## 1 はじめに

様々な分野において，エンティティ間の新たな関係を報告する文書は日及爆発的に増え続けており，人手での分野データベースへの登録・整備が追いつ いていない. そのため, 文書からの関係の自動抽出 が求められており，その高い性能から機械学習を用 いた手法が主流となっている。 しかし，機械学習で は大量のラベル付きデータを必要とするため，ラべ ル付けにコストがかかる.

このコストの削減のために，Mintz ら [1] は既存 のデータベースを用いてラベルなしコーパスに機械的にラベル付けをした遠距離教師データを利用 する遠距離教師あり関係抽出を提案した. 遠距離教師データは，人手でラベル付けされたコーパスとは 異なり，データベースに登録されている用語間の関係をもとにラベル付けをするため，データベースに 直接結び付けられたラベル付きコーパスである. し かし，既存の遠距離教師あり関係抽出ではコーパス のみを用いており，データベースに登録されている用語の性質などの他の豊富な情報を利用できてい ない.

そこで，本研究では，データベースに登録されて いる情報の関係抽出への活用を目指す。このため に，データベース内の入力文書の全用語近傍の情報 を近傍知識グラフとして動的に構築し，遠距離教師 データに統合利用する新規の文書からの遠距離教師 あり関係抽出モデルを提案する。近傍知識グラフを 動的に構築することで，遠距離教師あり学習におけ る対象用語ペア間の教師ラベルをデータベースの情報から選択的に排除できるとともに，用語ペアごと に参照するデータベース内の情報の量を抑えること ができる．本研究の貢献は次の通りである。

・入力文書の全用語近傍のデータベースの情報を 表現する近傍知識グラフの動的構築に基づく,遠距離教師あり関係抽出のための用語の埋め込 み表現の獲得手法を提案

・近傍知識グラフから獲得した用語の表現を入力文書に統合し，利用する遠距離教師あり関係抽出モデルを提案

・文書単位遠距離教師あり関係抽出データセット である ChemDisGene[2] で，用語の表現を追加 することでの性能向上を確認

## 2 関連研究

## 2.1 遠距離教師あり関係抽出

遠距離教師あり関係抽出は Mintz ら [1] により提案され，人手でラベル付けされた教師データを必要 としない関係抽出モデルの学習方法である。遠距離教師データはデータベースと大量のラベルなしコー パスを用いて作成される。ラベルなしコーパスで共起した 2 つの用語に対して，データベースで 2 つの 用語間に関係が登録されているときに，2つの用語間に関係をラベル付けする。

図 1 提案手法の概要. 具体例として ChemDisGene [2] のデータを利用.

Zhang ら [2] は遠距離教師あり関係抽出データ セットである ChemDisGeneを提案し，テキストベー スの関係抽出モデルの評価を行った. ChemDisGene は生物医学文献データベース Medline [3] に登録 されている文献の題目・要旨に CTD (Comparative Toxicogenomics Database) [4] に登録されている薬物・疾患・遺伝子間の相互作用を割り当てた文書単位で の遠距離教師あり関係抽出データセットである. 評価のために人手でラベル付けされたテストデータ を提供している. CTD は薬物・疾患・遺伝子・突然変異・代謝の相互作用に関する複数のデータベース を統合したデータベースである. PubTator [5] を用 いて文献の題目・要旨に対して, 用語のスパンと概念クラスのラベル付けがされている。また，関係抽出モデルは事前学習済みモデル BERT (Bidirectional Encoder Representations from Transformers) [6] を用い て，BERT，最大値プーリング，全結合層の構成とし ている.

## 2.2 知識グラフの表現学習

知識グラフの各ノードにベクトル表現を与え， ノード間の関係性を学習する手法として，Kipf ら
が提案したグラフ畳み込みネットワーク (Graph Convolutional Network; GCN) [7] が挙げられる. GCN はグラフ構造を表現するグラフニューラルネット ワーク (Graph Neural Network; GNN) の 1 種であり，対象ノードの表現に隣接ノードの表現に重みをかけ たものを畳み込むことでノード表現の更新を行う。

また，知識グラフを対象に対象ノード近傍で抽出 したサブグラフを利用する手法が提案されている.例えば，Zhang らの提案したサブグラフに GNNを 適用する SEAL (learning from Subgraphs, Embeddings and Attributes for Link prediction) [8] はリンク予測タ スクにおいて高い性能を報告している。しかし, 遠距離教師あり学習において用語の近傍のサブグラフ を利用する手法は存在しない。

## 3 提案手法

本節では，本研究で新たに提案する，データベー ス内の入力文書近傍の情報を，入力文書に統合し利用する遠距離教師あり関係抽出手法について説明す る. 3.1 節で入力文書の近傍知識グラフ抽出（図 1(1) について説明し，3.2 節で入力文書と近傍知識 グラフのベクトル表現の統合利用（図 1-(2) につい

て説明する。

## 3.1 入力文書の近傍知識グラフの埋め込み

データベースに登録されている入力文書の全用語 の近傍となるトリプルを抽出する．具体的にはそれ ぞれの用語について，一定ホップ数以内で繋がるト リプルの集合を抽出する. 次に分類対象となる用語 ペアについて, 遠距離教師データの正解ラベルの情報となるぺア間のトリプルを削除した上で，近傍知識グラフとし， GCNで埋め込みを行う。このよう にすることで，データベース内の文書全体の用語の 周辺情報と関係情報を利用できるとともに，トリプ ルの集合を文書ごとに一度事前計算することで関係 ごとの近傍知識グラフの計算を簡略化できる.

## 3.2 言語情報と近傍知識グラフのベクトル 表現の統合利用

GCN で埋め込んだエンティティに対応するノー ドのベクトル表現をテキストと同時に BERT に入力 することで，遠距離教師データの言語表現と近傍知識グラフのベクトル表現を統合利用した関係抽出を 行う. 具体的には, BERT の入力テキストの後ろに “[SEP]”トークンを挟み，それぞれのテキスト内の 用語に対応するノードのベクトル表現を用語の位置 ID と一致させながら追加する [9]. 以降の関係抽出は既存研究 [2] と同様に行う. 具体的には，まず，対象用語ペアの用語のトークンに対応する BERT の 最終層のベクトルを取り出し, 用語ごとに最大值 プーリング層を通してそれぞれの用語の表現を得 る.その後, 用語の表現を結合し, 全結合層を通し て，関係ラベルに分類する. 本手法では文献 [9] と は異なり，用語ペアに対応するエンティティペアの 表現を分類に用いず，文献 [10] と同様，用語ペアの 表現を分類に用いる.

学習においては，最適化手法に Adam [11]を用い，交差エントロピーを目的関数として, GCN と BERT を同時に学習する。

## 4 実験設定

遠距離教師あり関係抽出データセットとして, ChemDisGene [2] の 78,463 件の医学文献をもとに作成された遠距離教師データ (CTD-derived) のうち, 76,942 件・1,521 件をそれぞれ訓練・開発データ, 523 件の人手でラベル付けされたデータ (Curated)をテ ストデータとして学習・評価を行った. 評価指標は マイクロ平均 $\mathrm{F}$ 値を用いた. 予測する関係の種類は
14 種類であり，内訳は薬物と疾患の関係 (Chem-Dis) が 2 種類，薬物と遺伝子の関係 (Chem-Gene) が 10 種類，遺伝子と疾患の関係 (Gene-Dis) が 2 種類であ る. ChemDisGene データセットの統計を付録 A の 表 4 に示す.

また，近傍知識グラフのエンティティには CTD の薬物・疾患・遺伝子を用いた。近傍知識グラフに は，入力文書に出現する用語に対応するエンティ ティからそれぞれ 2 ホップ先のノードを含んだもの を用いた. 100 個以上のエッジを持つノードについ てはランダムに 100 個のエッジに制限した．CTDの データの統計を付録 A の表 5 に示す.

ベースラインモデルは提案モデルから近傍知識グ ラフの情報を除いた既存研究 [2] と同じモデルであ る. 文献 [2] に従い，BERTには，データセットと近 いドメインで事前学習された PubMedBERT [12] を 用いた. PubMedBERT の埋め込み次元は 768 次元, テキストの最大長は 512 である. GCN の入力と出 カのベクトルはともに 768 次元とし, $\mathrm{GCN}$ は 2 層と した．実験環境の詳細は付録 B に示す.

## 5 結果と考察

Curated テストデータを用いて評価した文献から の薬物・疾患・遺伝子間の関係抽出の性能を表 1 に示す. 提案手法により近傍知識グラフの情報を 用いないべースラインから $\mathrm{F}$ 値のマイクロ平均が 全体で $1.04 \%$ ポイント向上し，一番上がり幅の大 きい Chem-Gene: activity-decreases については $\mathrm{F}$ 值が $6.81 \%$ ポイント向上した. この結果より, 近傍知識 グラフを用いることで予測性能が向上しており，背景的な情報を考慮した関係抽出ができていると考え られる。

$
\text { データベースに含まれているトリプル以外の関係 }
$
への影響を調べるために，CTD に登録されていない 事例についての予測を確認したところ，テストデー タにおいて, ベースラインでは CTD に登録されて いない関係は 1 つも抽出できなかったのに対し，提案手法ではこのような関係を 3 件抽出できているこ とがわかった。この結果より，CTDの背景的な情報 を考慮することで，CTDに登録されていない関係も 抽出できるようになったと考えられる．実際に提案手法によって抽出できるようになった表 2 に示す. これらの事例の多くは題目で言及されているものが 多かった.

最後に表 3 に, 既存研究 [2] との比較を示す. 提

ベースライン

PubMedBERT

提案手法

PubMedBERT+近傍知識グラフ

Curated テストデータでの既存研究 [2] との比較

案手法は PubMedBERT+BRAN に比べて平均は若干低い $\mathrm{F}$ 值となったがほぼ同等の性能となっており，本提案手法は PubMedBERT+BRAN にも導入が可能 であることを考えると，良好な結果を得られている と言える。

## 6 おわりに

本研究では，データベースに登録されている豊富 な情報の有効利用を目的として，入力文書周辺の近傍知識グラフの表現を遠距離教師データに統合利用する遠距離教師あり関係抽出モデルを提案した。提案した手法を ChemDisGene データセットで学習・評価を行った結果，近傍知識グラフの表現を追加す ることでマイクロ $\mathrm{F}$ 值が $1.04 \%$ ポイント向上し，最先端モデルとほぼ同等の性能を達成した. また，提案手法ではテキスト情報だけでのモデルでは抽出が できなかった，データベースに登録されていない関係を抽出することができていることを確認した。

今後は，最先端モデルへの本手法の適用を行うと ともに，抽出結果をデータベースからのトリプルに 追加し，再びモデルを学習するなど，文献内の情報 とデータベース内の情報の連携を深め，データベー ス内の情報のさらなる有効利用を目指す。

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けた ものです.

## 参考文献

[1] Mike Mintz, Steven Bills, Rion Snow, and Daniel Jurafsky. Distant supervision for relation extraction without labeled data. In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 1003-1011, Suntec, Singapore, August 2009. Association for Computational Linguistics.

[2] Dongxu Zhang, Sunil Mohan, Michaela Torkar, and Andrew McCallum. A distant supervision corpus for extracting biomedical relationships between chemicals, diseases and genes. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 1073-1082, Marseille, France, June 2022. European Language Resources Association.

[3] NCBI Resource Coordinators. Database resources of the national center for biotechnology information. Nucleic Acids Res., 12018.

[4] Allan Peter Davis, Cynthia J Grondin, Robin J Johnson, Daniela Sciaky, Jolene Wiegers, Thomas C Wiegers, and Carolyn J Mattingly. Comparative toxicogenomics database (ctd): update 2021. Nucleic acids research, Vol. 49, No. D1, pp. D1138-D1143, 2021.

[5] Chih-Hsuan Wei, Alexis Allot, Robert Leaman, and Zhiyong Lu. PubTator central: automated concept annotation for biomedical full text articles. Nucleic Acids Research, Vol. 47, No. W1, pp. W587-W593, 052019.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2019

[7] Thomas N Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. ICLR, 2017.

[8] Muhan Zhang and Yixin Chen. Link prediction based on graph neural networks. In S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 31, pp. 5171-5181. Curran Associates, Inc., 2018.

[9] Zexuan Zhong and Danqi Chen. A frustratingly easy approach for entity and relation extraction. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 50-61, Online, June 2021. Association for Computational Linguistics.

[10] Masaki Asada, Makoto Miwa, and Yutaka Sasaki. Integrating heterogeneous knowledge graphs into drug-drug interaction extraction from the literature. Bioinformatics, Vol. 39, No. 1, 11 2022. btac754.

[11] Diederik Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of the 3rd International Conference for Learning Representations,
2015.

[12] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. Domain-specific language model pretraining for biomedical natural language processing. ACM Trans. Comput. Healthcare, Vol. 3, No. 1, oct 2021.

[13] Guido Van Rossum and Fred L. Drake. Python 3 Reference Manual. CreateSpace, Scotts Valley, CA, 2009.

[14] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison, Andreas Kopf, Edward Yang, Zachary DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai, and Soumith Chintala. Pytorch: An imperative style, high-performance deep learning library. In Advances in Neural Information Processing Systems 32, pp. 8024-8035. Curran Associates, Inc., 2019.

## A データセットの統計

データセットの統計を表 4 と 5 に示す.

表 4 文書単位の遠距離教師あり関係抽出データセット ChemDisGene. テストのみ人手でタグづけされている.

表 5 本実験で使用したデータベース CTD の統計

## B 実験環境

本実験を行った環境について説明する。 Python [13] のバージョン 3.8.10 と深層学習ライ ブラリである PyTorch [14] のバージョン 1.9.0を用 いて実装し，表 6 に示すハードウェア環境で実験 した. 本実験のハイパーパラメータを表 7 に示す. Curated の関係抽出スコア表 1 は遠距離教師データ で学習したモデルを 5 個用意し，それぞれのモデル でテストしたスコアの平均と標準偏差を報告した.

表 6 本実験に用いたハードウェア

表 7 本実験におけるハイパーパラメータ


# SlideVQA: 複数の文書画像に対する質問応答

田中涼太西田京介西田光甫 長谷川拓 斉藤いつみ 齋藤邦子

日本電信電話株式会社 NTT 人間情報研究所

\{ryouta.tanaka.rg, kyosuke.nishida.rx, kosuke.nishida.ap, taku.hasegawa.ps

itsumi.saito.df, kuniko.saito.ku\}@hco.ntt.co.jp

図 1 SlideVQA の例. 複数のスライド画像（スライドデッキ）を同時に理解し，質問に対して回答および根拠を出力する.
## 概要

スライドデッキに対する文書画像質問応答タスク SlideVQA を提案する。本タスクは複数の文書画像 の関係性理解や数值推論などの複雑な推論能力を必要とする. さらに，回答根拠選択と質問応答を系列変換の枠組みで統一的に扱う新たな文書画像質問応答モデルを提案する. SlideVQAを用いた実験にお いて，我々のモデルは既存の最先端モデルよりも優 れた性能を示したが，依然として人間の性能に大き く劣っていることを確認した. 本研究は, 実世界に 多数存在する視覚表現された文書を知識源として質問応答を行う人工知能の発展に貢献できる.

## 1 はじめに

文書を知識源とし質問に対して人間の様に回答 を行う技術の実現は, AI 分野における重要課題の 一つである. テキストのみで記述された文書に関す る質問応答 $[1,2]$ では, 実サービスで扱われる文書 が持つテキスト情報しか扱えないことから，文書を 画像として扱い質問応答を行う文書画像質問応答 （DocumentVQA）[3, 4, 5, 6] が近年注目を集めてい
る.ここで，従来のデータセットは一枚の文書画像 を対象としているため, 複数枚の文書内容を参照し 理解するモデルは未だ実現されていない. さらに，従来モデルは視覚要素（図表など）を含む文書理解 や算術演算の能力が低いことが指摘されている [5].本研究では，複数の文書画像で構成されるスライ ドデッキを読み解き，質問に対して回答および回答根拠を出力する新たなタスクおよびデータセット

SlideVQA $^{1)}$ を提案する。図 1 に示す様に，SlideVQA はマルチホップ推論, 数值推論などの複雑な推論能力を必要とする. そして, 視覚要素理解や算術演算 の能力強化に向けた意味領域および算術式のアノ テーションを提供する.

さらに本研究では，テキスト・レイアウト・視覚要素を考慮し, 複数の文書画像の内容を同時理解可能な新たなモデル Multi-Modal Multi-image Document VQA model (M3D) を提案する. SlideVQAを用いた 実験において，M3D は既存の最先端モデルよりも 優れた性能を示したが，依然として人間の性能に大 きく劣っており，SlideVQAが新たな未解決課題で あることを確認した。

1）データセットやさらなる詳細情報はhttps://github.com/ nttmdlab-nlp/SlideVQA および [7] で公開している.

## 2 SlideVQA

## 2.1 タスク定義

SlideVQA タスクを以下の通りに定義する。

End-to-End SlideVQA 質問 $q$ とスライドデッキ (画像集合) $\mathbf{I}=\left.\{I_{1}, \ldots, I_{K}\right.\}(K=20)$ が与えられ，モ デルは回答 $y$ と関連するスライド $\hat{\mathbf{I}}=\left.\{\hat{I}_{1}, \ldots, \hat{I}_{K^{\prime}}\right.\}$ を出力する.

更に，以下の二つのサブタスクに分解できる.

回答根拠選択 質問 $q$ とスライドデッキIが与え られ，モデルは回答 $y$ を出力するために必要な画像集合 ̂̀を選択する。

質問応答 質問 $q$ とスライドデッキ $(\mathbf{I}$ 又は $\hat{\mathbf{I}})$ が与 えられ，モデルは回答 $y$ を出力する.

図 1 に示す様に，回答は画像中のテキストから一 つのスパン (Single-Span)，複数のスパンから抜き 出す回答（Multi-Span），数値推論や見た目を問う回答（Non-Span）の3つのタイプに大別できる。ま た，数値推論を必要とする回答は $\{+,-, /, *\}$ を用い た算術演算，カウント，比較の何れかを用いる.

## 2.2 データ収集

スライドデッキ収集 20 ページ以上で構成され ており，図表を含むスライドデッキ（英語）を対象 に，SlideShare [8] から 2,619 件収集した. 更に，収集したデッキの 21 ページ以降を切り捨てた.

意味領域アノテーション SPaSe [9] が定義する9 つの意味ラベル (例: Title, Table) を用いて全画像に 意味領域の特定および意味ラベルの付与を行った.

シングルホップ QA 作成スライドデッキの中か ら一枚のスライドを選択し，選択したスライドに関 する QA ペアを 12,466 件作成した（例: 図 1 中央). この選択スライドは回答根拠として使用される.

マルチホップ QA 作成 シングルホップ $\mathrm{QA}$ を編集し，マルチホップ QAを2,018 件作成した.まず， シングルホップ質問から最大 2 件の固有表現を抽出する. 次に，抽出した固有表現について説明して いる別のページを回答根拠として選択し，固有表現 を別の表現に置換する. 図 1 左では, “North”が“the region with $70 \%$ of journals”に置換されている.編集によって作成される質問の中には，非流暢な質問も含まれる。しかし，本作成手法はマルチホップ 推論の保証およびデータサイズの拡張性の面で利表 1 データセットの比較. MI は複数文書入力, MR はマ ルチホップ推論，NR は数値推論，I は画像，SR は意味領域，AEは算術式を表す。

図 2 左: 推論タイプの分布. 右: 回答タイプの分布.

点がある．類似手法として Wikipedia におけるマル チホップ推論を必要とする MultimodalQA [10] では,編集による QA 作成の有効性が確認されている.

算術式アノテーション 算術演算が必要な回答に 対して，算術式 (例: “30-28”) を付与した.

## 2.3 統計情報および従来研究との比較

SlideVQA は 2,619 件のスライドデッキ $(52,480$ 画像，890,945 件の意味領域) に関する 14,484 件の QA ペアを含む．また，各デッキが同一の分割の みに存在するように，訓練/開発/テストデータを 10,617/1,652/2,215 質問に分割した.

画像表 1 で示す様に, SlideVQA は最も多く の文書画像を含むデータセットである。また， VisualMRC [4] と比べて, SlideVQA は意味領域数が 14.7 倍であり，最多である．SlideVQA タスクにお けるモデルが考慮すべき OCR 単語平均数は 1488.88 単語であり, 従来研究で最も OCR 単語数の多い InfographicVQA [5] の 217.89 単語を大きく上回る.

QA 表 1 で示す様に，SlideVQA はマルチホップ 推論と数值推論を必要とし，算術式付与を行った初 めての研究である. また, SlideVQA は複数文書画像 を入力とし，学習に資するデータ量を含む点でも初 めての研究である（DocCVQA [6] は QA 数が 20 件に 限られる). 図 2 左で示す様に，49.3\%の質問がマル チホップ推論または数値推論を必要とする. 図 2 右 で示す様に，Multi-Span と Non-Span の回答が $32.4 \%$ を占めており, 回答の生成・抽出能力を必要とする。

図 3 左: 提案モデル M3D のアーキテクチャ. 右: 入力埋め込み系列.

## 3 提案モデル

提案モデル M3Dを図 3 に示す. M3D は T5 [11] からなる Transformer Encoder-Decoder モデル FiD [12] をベースとする．M3D の貢献は，1) マルチモーダ ル情報を考慮して複数の文書画像を同時に理解でき る点，2) 算術演算の能力強化を目的とした算術式の 生成を行う点，3) 回答根拠選択と質問応答を系列変換の枠組みでマルチタスク学習を行う点である。

## 3.1 マルチモーダル入力埋め込み層

## 入カトークン系列 ページ $k$ における入力トーク ン系列 $x_{k}$ を, 質問 $q$, Task Prefix $t$, ページ番号 $e_{k}$, コンテキストトークン $c_{k}$ を用いて定義する.

$
x_{k}=\left(\text { task: } t \text { question: } q \text { page: } e_{k} \text { context: } c_{k}\right)
$

Task Prefix $t \in$ EEvidence Selection, Question Answering\} であり，回答根拠選択と質問応答の 同時学習を可能とする. コンテキストトークン $c_{k}$ はページ $k$ 中の意味領域毎の OCR トークン系列 $\mathbf{W}_{k}^{r_{i}}$ および意味ラベル $\left[\mathrm{R}_{k}^{r_{i}}\right]$ から定義される.

$
c_{k}=\left(\left[\mathrm{R}_{k}^{r_{1}}\right], \mathbf{W}_{k}^{r_{1}},\left[\mathrm{R}_{k}^{r_{2}}\right], \mathbf{W}_{k}^{r_{2}}, \ldots,\left[\mathrm{R}_{k}^{r_{N}}\right], \mathbf{W}_{k}^{r_{N}}\right),
$

意味領域 (例: Title) は，画像 $I_{k}$ から Faster-RCNN [13] を用いて $N$ 個抽出する。

入力埋め込み系列 入力埋め込み系列 $\mathbf{z}$ をトーク

埋め込み系列 $\mathbf{z}^{\mathrm{vis}}$ を用いて以下の通りに定義する。

$
\mathbf{z}=\mathrm{LN}\left(\mathbf{z}^{\text {token }}+\mathbf{z}^{\text {seg }}+\mathbf{z}^{\text {lay }}+\mathbf{z}^{\text {vis }}\right) \in \mathbb{R}^{L \times d}
$

LN は Layer Normalization [14]，L は入力長を表す. $\mathbf{z}^{\text {token }}$ は入力トークン系列 $x_{k}$ を $d$ 次元に埋め込む. また， $\mathbf{z}^{\mathrm{seg}}$ は各トークンが属する意味ラベルを表す.意味領域と OCR 領域に対して，1 層の FFN に入力

性化関数と 1 層の FFN に渡した結果を $\mathbf{z}^{\mathrm{vis}}$ と表す。

## 3.2 マルチモーダル Endoder-Decoder

マルチモーダル Encoder FiD [12] と同様に，K 個の画像に対応する入力トークン系列 $x_{k}$ を独立に エンコード後，エンコード結果 $\mathbf{x}_{k} \in \mathbb{R}^{L \times d}$ を結合 し， $\mathbf{X} \in \mathbb{R}^{K L \times d}$ を得る。

回答/算術式 Decoder Decoder は通常回答（例: “Steve Jobs”) または算術式 (例: “30-28”) を出力 する. 算術演算の必要性はモデルが判断する. 出力 が算術式の場合は出力系列の先頭に “Expression:”,通常の回答の場合は“Answer:”を予測する.

回答根拠選択器 Decoder と同じ構造を持ちパラ メータを共有する。 $\hat{e}$ を回答根拠のページ番号とし た時，出力形式を $\hat{\mathbf{I}}_{\text {pages }}=$ (Evidence pages: $\hat{e}_{1}, \ldots$, $\left.\hat{e}_{K^{\prime}}\right)$ として，系列生成により回答根拠を選択する.

学習と推論 選択器と Decoder に関する負の対数尤度損失の和を最小化する．推論時には，出力系列 の先頭トークンを削除し，最終出力とする。また， “Expression:” が出力された場合，後処理として演算を実施した（例: “30 - 28”から回答“2”を算出）.

## 4 評価実験

ベースライン End-to-End/質問応答タスクにおけ る比較手法として，根拠選択モデルと質問応答モ デルで構成されるパイプラインを用いる。根拠選択モデルとして HLayoutLMv2 を新たに導入した。 HLayoutLMv2 は各画像を LayoutLMv2 [15] に渡して 得られた表現を Transformer [19]によりエンコード し，上位 3 件の根拠を出力する．他に，各モーダル 情報を利用した LayoutLM [18] を含む 7 つのモデル を用いた（表 2 参照）。質問応答モデルには，回答生成を行う T5 と LayoutT5 [4], 回答スパン抽出を行 う LayoutLMv2，M3D のベースとなる FiDを用いた.

評価指標 HotpotQA [20] に倣い，質問応答と根拠選択の各サブタスクで Exaxt-Match (EM) と F1 を用
表 2 SlideVQA タスクにおける評価結果。(b)，(c) は SlideVQA のサブタスクである。T (テキスト)，L (レイアウト)，V (画像特徴)を表す。 $\mathrm{M}^{2} \mathrm{D}_{\mathrm{GT}}$ は正解根拠のみをモデルに入力した． $\mathbf{z}^{\text {lay }}$ は入力埋め込みに対するレイアウト埋め込みを表す.

(a) End-to-End タスクの結果.

(b) サブタスク: 回答根拠選択の結果.

(c) サブタスク: 質問応答の結果.

表 3 開発データにおける M3D の ablation 評価.

い，Joint-EM/F1（JEM/JF1）を用いて End-to-End タス クにおける回答と回答根拠の一貫性を評価する.

## 4.1 評価結果と分析

## 提案モデルはベースラインの性能を上回るか？

表 2a に示す様に，M3D は全てのベースラインの性能を上回った。回答根拠選択タスクでは，表 $2 b$ に 示す様に，HLayoutLMv2 と M3D がその他のベース ラインよりも高い性能である。これは全ての根拠候補を同時参照するモデル化が性能向上において重要 であることを示唆する. 質問応答タスクでは，表 2c に示す様に，M3Dがベースラインの性能を上回っ た. これは M3D がパイプラインよりも質問に関連 しない画像を排除し, 回答生成できることを示唆す

能向上が確認できることから，根拠選択の性能改善 の余地があることを示唆する。

提案モデルは人間の性能を上回るか？ 表 2，図 4 に示す様に，全てのタスクとカテゴリにおいて人間が大きく提案モデルの性能を上回っている. 特 に，視覚理解を伴う 1）マルチホップ推論，2）算術演算における性能向上は今後の課題である.

データセットの特徵は？表 2 に示す様に，モー ダル情報の増加に伴い性能向上が全てのタスクに おいて確認できることから，SlideVQA は文書のテ

図 4 カテゴリごとの $\mathrm{QA}$ 性能比較.

キスト・レイアウト・視覚情報を全て考慮する必要がある. 表 $2 \mathrm{a} \cdot 2 \mathrm{c}$ に示す様に，回答生成を行う LayoutT5 が回答スパン抽出を行う LayoutLMv2 の性能を大きく上回った.これは，Non-Span 回答を含む データセット [21]で同様に確認される現象である.

性能向上に寄与する要素は何か？ 表 3 に示す様 に，各要素を取り除くことで性能低下が確認でき る. 特に，根拠選択を各画像の先頭トークンに対応 するエンコード表現に対して 2 層の MLPを用いた 識別モデル BinaryClass に変更することで，大きな 性能低下が確認できる。これは, Decoder と選択器 とのパラメータ共有および系列生成としてのマルチ タスク学習が性能向上に寄与していると考える。ま た，図 4 に示す様に，数値回答の代わりに算術式を 生成すること（AE generation）により，算術演算に 関する F1において 10.4\%の向上が確認できる.

## 5 おわりに

新たな文書画像質問応答タスク SlideVQAを提起 し, データセットおよびモデルの構築を行った. SlideVQA は最高性能のモデルにおいても人間の性能に及ばない難関なタスクである．本データセット により，実世界に多数存在する視覚表現された文書 を基に QA を行う技術や，Web 検索や対話システム など産業上重要なサービスの発展に貢献できる.

## 参考文献

[1] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In EMNLP, pp. 2383-2392, 2016.

[2] Pranav Rajpurkar, Robin Jia, and Percy Liang. Know what you don't know: Unanswerable questions for SQuAD. In ACL, pp. 784-789, 2018.

[3] Minesh Mathew, Dimosthenis Karatzas, and C. V. Jawahar. Docvqa: A dataset for vqa on document images. In WACV, pp. 2200-2209, 2021.

[4] Ryota Tanaka, Kyosuke Nishida, and Sen Yoshida. Visualmrc: Machine reading comprehension on document images. In AAAI, pp. 13878-13888, 2021.

[5] Minesh Mathew, Viraj Bagal, Rubèn Tito, Dimosthenis Karatzas, Ernest Valveny, and C.V. Jawahar. Infographicvqa. In WACV, pp. 1697-1706, 2022.

[6] Rubèn Tito, Dimosthenis Karatzas, and Ernest Valveny. Document collection visual question answering. In ICADR, pp. 778-792, 2021.

[7] Ryota Tanaka, Kyosuke Nishida, Kosuke Nishida, Taku Hasegawa, Itsumi Saito, and Kuniko Saito. A dataset for document visual question answering on multiple images. In AAAI, 2023.

[8] Slideshare. https://www.slideshare.net/.

[9] Ziad Al-Halah Monica Haurilet and Rainer Stiefelhagen. SPaSe - Multi-Label Page Segmentation for Presentation Slides. In WACV, pp. 726-734, 2019.

[10] Alon Talmor, Ori Yoran, Amnon Catav, Dan Lahav, Yizhong Wang, Akari Asai, Gabriel Ilharco, Hannaneh Hajishirzi, and Jonathan Berant. Multimodalqa: complex question answering over text, tables and images. In ICLR, 2021.

[11] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. JMLR, Vol. 21, No. 140, pp. 1-67, 2020.

[12] Gautier Izacard and Edouard Grave. Leveraging passage retrieval with generative models for open domain question answering. In EACL, pp. 874-880, 2021.

[13] Ren, Shaoqing, He, Kaiming, Girshicka, Ross, Sun, and Jian. Faster r-cnn: Towards real-time object detection with region proposal networks. In NIPS, pp. 91-99, 2015.

[14] Lei Jimmy Ba, Ryan Kiros, and Geoffrey E. Hinton. Layer normalization. arXiv:1607.06450, 2016.

[15] Yang Xu, Yiheng Xu, Tengchao Lv, Lei Cui, Furu Wei, Guoxin Wang, Yijuan Lu, Dinei A. F. Florêncio, Cha Zhang, Wanxiang Che, Min Zhang, and Lidong Zhou. Layoutlmv2: Multi-modal pre-training for visually-rich document understanding. In ACL/IJCNLP, pp. 2579-2591, 2021 .

[16] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In ICML, pp. 8748-8763, 2021.

[17] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT, pp. 4171-4186, 2019.

[18] Yiheng Xu, Minghao Li, Lei Cui, Shaohan Huang, Furu Wei, and Ming Zhou. Layoutlm: Pre-training of text and layout for document image understanding. In KDD, pp. 1192-1200, 2020

[19] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS, pp. 6000-6010, 2017.

[20] Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William W. Cohen, Ruslan Salakhutdinov, and Christopher D. Manning. Hotpotqa: A dataset for diverse, explainable multi-hop question answering. In EMNLP, pp. 2369-2380, 2018.

[21] Dheeru Dua, Yizhong Wang, Pradeep Dasigi, Gabriel Stanovsky, Sameer Singh, and Matt Gardner. DROP: A reading comprehension benchmark requiring discrete reasoning over paragraphs. In ACL, pp. 2368-2378, 2019.

[22] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. arXiv:1711.05101, 2017.

[23] Google clould vision api. https://cloud.google.com/ vision.

[24] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, pp. 770-778, 2016.

[25] Sebastian Ruder. An overview of gradient descent optimization algorithms. arXiv:1609.04747, 2016.

図 5 収集したスライドデッキのカテゴリ。

図 6 左: 意味領域の分布. 右: 数値推論タイプの分布.

## A 付録

スライドデッキのカテゴリ 図 5 に示す様に，収集 したデッキは 39 個の SlideShare のカテゴリを網羅する.

意味領域アノテーション 図 7 に, 意味領域アノ テーション例を示す. 下記にクラウドワーカーの指示に 用いた意味ラベルの定義を示す.
- Title: presentation title, slide title
- Page-text: text in slide, bullet-point text list, text list
- Obj-text: text in a figure, image, diagram or table
- Caption: description of figure, image, diagram, or table
- Other-text: footnote, date, affiliation, code, URL
- Diagram: a graphical representation of data, a process
- Table: data arranged in rows and columns
- Image: drawing, logo, map, screenshot, realistic image
- Figure: graph with data points and coordinates

データ分析 図 6 左で示す様に, SlideVQA は 9 つの 意味領域を広くカバーしている。一方で，DocVQA [3] や DocCVQA [6] は Visual (Image と Figure)を含む文書を対象 としていない. 図 2 右で示す様に，25.5\%が算術を必要と する質問である。

実装 Pytorch を用いて実装し，8 台の Tesla V100 で実験した. CLIP のモデルサイズは Large 用い，その他の モデルは Base を用いた. AdamW [22]を用いて最適化し 学習率は 5e-5 とした. バッチサイズは 32 とした. 開発 データで最も損失の小さいモデルを最終評価に用いた.入力トークン系列の最大長を 200 , 出力系列の最大長を 50 とした. OCR には Google Could Vision API [23] を用い た. Faster-RCNN のバックボーンは ResNet-101 [24]を使用 した。また，SGD [25]を用いて最適化に用い，バッチサ

図 7 意味領域のアノテーション例.

Q: What is the combined percentage of Album Sales \% and Song Sales \% for the genre with a 9\% Share of Total Activity?

図 8 出力例. ($\cdot$) は生成された算術式を表す.

イズを 1 ，学習率 1e-3 とし， 5 epoch 学習を行った. アン カーボックスのスケールを $[8,16,32]$ ，アスペクト比を $[0.5,1.0,2.0]$ とした.

出力例 出力例を図 8 に示す. 本例では，マルチホッ プ推論と算術操作を伴う回答生成が必要な例である。 FiD は文書レイアウトを理解できておらず，誤った回答を している. LayoutT5 は算術の過程を正しく理解できずに 誤った回答を出力しているのに対して，提案モデル M3D は正しく情報（“11\%”と“12\%”）を抽出し，ground-truth と 同じ回答を生成することができている.

URL一覧 図 $1 \cdot 7 \cdot 8$ の画像ソースを以下に示す.

図1 https://www.slideshare.net/mslgroup/ mediainsights-evolving-sources-of-news-for-media

図 7 https://www.slideshare.net/andrybrewok/ big-data-analytics-a-social-network-approach

図 8 https://www.slideshare.net/musicbizassoc/ nielsen-2015-music-biz-presentation-final