# なりきり質問応答と大規模言語モデルに基づく なりきり $\mathrm{AI の$ 構築
}

光田 航 ${ }^{\dagger, \dagger \dagger} \cdot$ 東中竜一郎 ${ }^{\dagger} \cdot$ 李 廷軒 ${ }^{\dagger,+\dagger \dagger} \cdot$ 杉山 弘晃 $^{\dagger} \cdot$ 水上 雅博 $^{\dagger} \cdot$中村 竜太 ${ }^{+\dagger \dagger}$ ・安達 敬武 ${ }^{+1 \dagger \dagger}$ ・川端 秀寿

本研究では, 単一の人物の大規模な対話データを大規模言語モデルと組み合わせる ことで，対象人物を再現するチャットボット（なりきり AI）を構築した。さらに，構築したチャットボットの公開実験とそのエラー分析を行うことで, 現状の到達点 と問題を調査した.その結果, 構築されたチャットボットは高い自然さとキャラク 夕らしさを持つことが明らかになった. さらに, 対象人物を再現するチャットボッ トのエラーは，属性に関するエラーと関係に関するエラーに分けられ，また，自己 に関するエラーと他者に関するエラーに分けられることが明らかになった。

キーワード：対話システム，チャットボット，なりきり AI，エラー分析
## Development of Character-like Chatbot with Role Play-Based Question Answering and a Large Language Model

Koh Mitsuda ${ }^{\dagger, \dagger \dagger}$, Ryuichiro Higashinaka ${ }^{\dagger}$, TingXuan Li ${ }^{\dagger, \dagger \dagger \dagger}$, Hiroaki Sugiyama ${ }^{\dagger}$,

Masahiro Mizukami ${ }^{\dagger}$, Ryuta Nakamura ${ }^{\dagger \dagger \dagger}$, Noritake Adachi${ }^{\dagger \dagger \dagger}$, Hidetoshi Kawabata ${ }^{\dagger \dagger \dagger}$, Sen Yoshida ${ }^{\dagger,+\dagger \dagger \dagger \dagger}$ and Tetsuya Kinebuchi $^{\dagger}$

We developed a chatbot that imitates a specific person by combining a large amount of dialogue data of that person with a large language model. Furthermore, we investigated the current performance and problems of the chatbot by conducting an open experiment and error analysis of the chatbot. The experiment confirmed the high naturalness and characterness of the chatbot. In addition, our investigation revealed that the errors specific to a person can be divided into two types: errors in attributes

and errors in relations, each of which can be divided into two levels: self and other.

Key Words: Dialogue System, Chatbot, Role Play-Based Question Answering, Error Analysis

## 1 はじめに

一貫した個性を持つチャットボットの研究が注目されている (Li et al. 2016b; Zhang et al. 2018; Qian et al. 2018; Zhou et al. 2020). このようなチャットボットを構築するためは, 特定の 個性を持った人物の対話データを多量に用意し, 生成べースのモデルを学習する手法が一般的に 考えられる。しかしながら，対象人物の対話データを多量に集めることは容易ではない. この問題に対して, 我々は先行研究において, 多くの作業者が対象人物（データ収集の対象とする特定 の人物）になりきって質問に回答する枠組み（なりきり質問応答）を提案している (Higashinaka et al. 2013). さらに，提案手法を用いて，有名な人物（例えば, YouTuberやアニメの登場人物） への質問，および，その回答のペア（QAペア）をファンから大規模に収集し，対象人物のよ うに振る舞うチャットボットであるなりきり AIを構築する手法を提案してきた (Higashinaka et al. 2018; Kodama et al. 2020; 水上 他 2023).

一方で, 近年, 自然言語処理において言語モデルが高度化している (Vaswani et al. 2017; Devlin et al. 2019; Raffel et al. 2019; Brown et al. 2020). 特に Transformer (Vaswani et al. 2017) に基 づく大規模言語モデルである Meena (Adiwardana et al. 2020), BlenderBot (Roller et al. 2021), ChatGPT (Ouyang et al. 2022)は，従来のものと比較してより自然な対話が可能である。なり きり $\mathrm{AI}$ の研究においても，対象人物に対して収集した $\mathrm{QA}$ ペアを大規模言語モデルと組み合わ せることで，自然な対話のみならず，その人物らしい対話が実現できる可能性が考えられる。

本研究では，単一の人物に関するなりきり質問応答のデータを大規模言語モデルと組み合わ せることでなりきり $\mathrm{AI}$ 構築した。 さらに，インターネットを通じて公開実験を行うことで，対象人物を再現するチャットボットにおける現状の到達点と今後解決すべき課題を調査した. その結果，なりきり $\mathrm{AI}$ の構築を通じて，収集された $45 \mathrm{~K}$ の QA ペアを用いて大規模言語モデ ルを fine-tuning することで，チャットボットが高い自然さとキャラクタらしさを持つことがわ かった。さらに，公開実験で収集された対話を用いて，対象人物を再現するチャットボットの エラー（以降，人物特有エラーと呼ぶ）を分析した。その結果，人物特有エラーは属性に関す るエラーと関係に関するエラーの二種類に分けることができ，また，自己に関するエラーと他者に関するエラーという二つのレベルに分けられることがわかった.

本研究の貢献は下記の二点である.

（1）なりきり質問応答を通じて収集した対象人物に関する多量の QA ペアを用いて，大規模言語モデルを fine-tuning することで，高い自然さおよびキャラクタらしさを持った

チャットボットが構築可能なことを示した.

(2) 対象人物を再現したチャットボットの公開実験を行うことで，多数のユーザとの対話 データを収集した。公開対象のチャットボットとして，なりきり質問応答，および，な りきり質問応答のデータを拡張した対話データを用いて学習されたモデルを利用した.公開実験を通じて収集された対話データにおいて，不自然なシステム発話に対するアノ テーションとエラー分析を行うことで，対象人物を再現するチャットボットにおけるエ ラー類型を明らかにした。

なお，本研究では大規模なデータ収集や公開実験を行っており，高いコストがかかることから，単一の人物（後述の「アマデウス紅莉栖」）を対象に評価や調査を行った.

以降，本稿では，まず 2 節で関連研究について概観する。 3 節でなりきり質問応答を通じた データ収集について述べ， 4 節で発話生成モデルの構築について説明する。次に，5 節で評価実験, 6 節で公開実験について述べる。その後, 7 節で人物特有エラーの分析について説明する.最後に 8 節で本研究のまとめを述べる.

## 2 関連研究

本研究は対象人物を再現するチャットボットを対象としており，一貫した個性で発話を生成 する研究と関連が深い。また, 対象人物の対話データを扱っており，対話システムの個性に関す るリソースを収集した研究とも関連がある。さらに，対象人物の再現は，発話やテキストの表現方法を変化させるスタイル変換の研究でも取り組まれている。また，本研究はチャットボッ トのエラーについて調査した研究とも関連がある。降，各観点について関連研究を述べる.

一貫した個性で発話を生成する研究について, 個性の一貫性を考慮した初期のモデルとして,話者 ID (Li et al. 2016b) や，テーブル上に表現した個性の情報 (Qian et al. 2018) を考慮するモ デルが提案されている。その後, Persona-Chat (Zhang et al. 2018)の登場に伴ない, 個性が一貫した発話を生成するモデルがさまざま提案されている (Madotto et al. 2019; Song et al. 2020; Kim et al. 2020; Liu et al. 2020)，近年は，大規模言語モデルを発話生成に導入して個性の一貫性を改善する手法も取り組まれている (Majumder et al. 2020; Zheng et al. 2020; Han et al. 2022).これらの研究と比較し, 本研究は単一の人物の個性を再現するために, その人物の多量 の対話データを利用しているという点が異なる.

対話システムの個性に関するリソースを収集した研究について述べると，前述の Persona-Chat (Zhang et al. 2018) は，個性を表す数文のテキストと，その個性を持った人物の対話を人手で作成した代表的な研究である。また，インターネットを通じて，多数の人物を対象に，個性を表す 数文のテキスト，および，その個性に従う対話を収集した研究も存在する (Mazaré et al. 2018). これらの研究と比較し，本研究は単一の人物に焦点を当て，大規模な対話データを収集してい

る点が異なる。また，これらの特定の個性に紐付くリソースを集めた研究とは異なるが，対話 において相手の個性を尋ねる代表的な質問を整理した研究も存在する (Sugiyama et al. 2014).

スタイル変換の研究では，発話やテキストの表現方法（言葉の選び方や口調）を変化させる ことで，対象人物の発話の再現に取り組んだものが存在する。初期の研究では，コーパス中の 発話から対象人物の発話の言語的なスタイルを抽出する手法 (Miyazaki et al. 2015) や，発話の スタイルを考慮した単語埋め达みを獲得する手法 (Akama et al. 2018) が提案されている。近年 は，生成モデルを用いて所望のスタイルを持つテキストや発話を生成する研究が報告されてお り, 発話の丁寧さ (Niu and Bansal 2018), 感情表現 (Zhou et al. 2018; Huang et al. 2018), 性格 (Shuster et al. 2020) を考慮する手法が提案されている.

チャットボットのエラー類型については, 特定の個性を持たない一般的なチャットボットのエ ラーや, 複数の文で記述されたペルソナを持つチャットボットのエラーを扱う研究が存在する.一般的なチャットボットのエラーを類型化した研究として, 対話理論に基づくもの (Higashinaka et al. 2015)，データに基づくもの (Higashinaka et al. 2015)，それらを統合したもの (Higashinaka et al. 2021) が存在する。また, チャットボットの発話そのものではなく, ユーザが示す不満 の反応に着目してエラーを類型化した研究も存在する (See and Manning 2021). ペルソナを持 つチャットボットのエラーを扱った研究としては, Persona-Chatにおいて個性や文脈と矛盾し た発話が生成されることに着目し，アノテーションを行った研究 (Welleck et al. 2019) や, 対話においてシステムが各話者の個性を取り違える問題に着目し, 発話の一貫性を改善する研究 (Shuster et al. 2022) が存在する.

## 3 なりきり質問応答を通じたデータ収集

大規模言語モデルの fine-tuning を行い対象人物のチャットボットを構築するため, 先行研究 (Higashinaka et al. 2013, 2018) にならって, 単一の人物を対象になりきり QAコーパスを作成 した。また，QAデー夕のみで学習したモデルの限界を調べるために，作業者が人手で QA ぺ アを対話形式に拡張したなりきり対話コーパスを作成した．以下，各コーパスの作成方法につ いて述べる。

## 3.1 なりきり QAコーパスの構築

なりきり QAコーパスは，対象人物のファンが，その人物への質問を投稿したり，質問に対 する回答（キャラクタによっては親密度などの付加情報を含む (Kodama et al. 2020)）を，あ たかも自分がその人物になったかのように投稿したりすることで収集するなりきり質問応答の 枠組みを通じて構築された (Higashinaka et al. 2013, 2018)。なりきり質問応答は, Web サイト を通じてファンから対象人物への質問と回答を収集する枠組みである。先行研究 (Higashinaka
et al. 2018)において，効率的に QA ペアを収集できることが確認されており，例えば， $2 \mathrm{~K}$ 件 の QA ペアを収集するまでの時間は，経営者兼 YouTuber である「マックスむらい」は 0.92 日， アニメの登場人物である「新垣あやせ」は 1.12 日と報告されている. 本研究において対象とす る人物は，ビデオゲーム「STEINS;GATE 0$\rfloor^{1}$ 登場する人物である「アマデウス紅莉栖」(以降, 単に紅莉栖と呼ぶ）である。なりきり QAの収集は特設の Webサイト2を通じて行われた。

収集される対象人物の発話は対話相手との関係性によって口調や内容が変化する可能性が考 えられる.コーパス構築時には, Kodama et al. (2020) と同様に, 対象人物の応答に加えて親密度（他人, 知人, 友人, 親友, 家族/恋人の 5 種類）のラベルを収集した. このラベルを活用す ることで，ユーザとの関係や親しさによって口調を変化させることも可能と考えられる。しか しながら，対話を通じてユーザとの関係や親しさを推定して対話に用いる方法が自明ではない ことから，本研究の実験では収集した親密度のデータは利用せず，全てのデー夕を統合して利用した。

表 1 に，紅莉栖に関して収集された QA ペアの統計情報を示す.最終的に 45,297 ペアの $\mathrm{QA}$ を収集することができ，単一の人物のみを対象としたデータとして最も多い (Higashinaka et al. 2018; Kodama et al. 2020). 以下に収集された QAペアの例を示す.

Q：「名前を教えて。」

$\mathrm{A}_{1}$ ：「私の名前は紅莉栖です。お会いできて嬉しいわ。」

$\mathrm{A}_{2}$ ：「名前は紅莉栖よ。何か用かしら？」

$\mathrm{Q}$ と $\mathrm{A}$ は, 紅莉栖への質問と紅莉栖の回答に対応している. 同じ質問（上記の $\mathrm{Q} ） に$ 対して,

表 1 本研究で対象とする人物（ビデオゲームの登場人物である紅莉栖）に対して収集されたなりきり QAコーパスの統計量. なお, トークン数は, 4 節で述べる日本語版の BlenderBot (Sugiyama et al. 2021)において利用される SentencePiece (Kudo and Richardson 2018) のモデルを用いて計算した ものである.

ユーザーは異なる回答（上記の $\mathrm{A}_{1}$ と $\mathrm{A}_{2}$ ）を投稿することができるため, 収集された各質問に は複数の回答（平均 1.8 件）が存在している.

## 3.2 なりきり対話コーパスの構築

なりきり質問応答は，対象人物に対する QAペアを多量に収集する効率的な方法であるが，対象人物からの発話（例えば，対象人物からユーザに対する質問）が含まれていなかったり，一問一答を越えた文脈を含む対話のデータが含まれていなかったりする。そこで，なりきり QA コーパスの限界を調べるために，なりきり QAコーパスに基づいて対象人物とユーザ間の対話 データをなりきり対話コーパスとして収集し，QAデータと合わせて fine-tuning に利用するこ とにした。

なりきり対話コーパスにおいて様々な対話を収集するために，収集対象として，なりきりQA コーパスのようにユーザから対話が始まるものと，対象人物から対話が始まるものの二種類を

件人手で追加することで対話形式に拡張するようにした。対象人物から始まる対話では，その 人物の最初の発話を作成した後, 作成した発話に自然に続くと考えられる 4 件の発話を作成す るようにした，最初の発話を作成するための刺激として，人対人のテキストチャットコーパス (Higashinaka et al. 2014) から発話をランダムに抽出し作業者に与えた. このとき, 各対話行為 (Meguro et al. 2010)の分布が一様になるようにした．作業者には，対話行為を変えることなく 刺激となる発話を書き換えることで対象人物の最初の発話を作成するよう指示した。なお，刺激となる発話の書き換えが難しい場合（例えば，発話の内容が対象人物の設定と矛盾する場合） は，その発話は使用せずスキップすることとした。下記に，刺激となる発話と書き換え後の発話の例を示す.
- 刺激となる発話：「休みの日は何をされてますか？」(対話行為：質問）

書き換え後の発話：「休みの日は何をしているのかしら？」
- 刺激となる発話：「北海道といえばラーメンですよね。」(対話行為：情報提供）

書き換え後の発話：「北海道といえばラーメンよね。」

## 3.3 なりきり対話

なりきり対話コーパスの構築のために，クラウドソーシングプラットフォーム $\left(\right.$ Lancers $\left.^{3}\right)$ を 通じて作業者を募集した。なりきり QAコーパスの作成とは異なり，作成された発話に対して 報酬が支払われた，募集した作業者は，対象人物について十分な知識を持つものに限定し，具体的には，対象人物が登場するゲームや映画を少なくとも 1 回以上見たことがある，または，
^{3}$ https://www.lancers.jp/
}

プレイしたことがある者とした. 募集の結果, 作業者の総数は 9 名となった. 9 名の作業者に よって作成される対話の内容がなるべく多様になるよう，各作業員には，異なるなりきり QA ペア，および，刺激となる発話を割り振るようにした。なお，事前スクリーニングとして，あ らかじめ用意したアンケートを通じて，対象人物に関する知識レベルの主観的な評価（自己申告形式のもの), 対象人物が登場するゲームや映画等の実施, 視聴回数, それらの具体的な作品名を回答させ，募集条件を満たす作業者を選定した。事後フィルタリングについては，作業品質に問題がある作業者に対して行う予定であったが，そのような作業者は発見されなかったた め実施しなかった。

表 2 に，紅莉栖のなりきり QAコーパスを人手で拡張したなりきり対話コーパスの統計情報 を示す. 収集された対話は 4,500 対話であり，24,750 発話から構成されている。表 2 における 「対象人物の発話の平均トークン数」と表 1 における「応答に含まれる平均のトークン数」とを 比較すると，前者が後者よりも少ないことが確認できる。これは，なりきり対話コーパスには 対話特有の短い応答（例えば，「そうね。」）や，対話の継続を促す簡単な質問（例えば，「本当 なの？」）が含まれているためである. 以下に，なりきりQAペアから拡張されたなりきり対話 の例を示す.

$\mathrm{U}_{1}:(\mathrm{Q})$ 「名前を教えて。」

$\mathrm{S}_{1} ：\left(\mathrm{~A}_{1}\right)$ 「私の名前は紅莉栖です。お会いできて嬉しいわ。」

$\mathrm{U}_{2}:$ 「紅莉栖ってかっこいい名前だよね。」

$\mathrm{S}_{2}$ : 「本当？光栄だわ。」

$\mathrm{U}_{3}:$ 「本当だよ。みんなに言って回りたいくらい。」

$\mathrm{S}_{3}:$ 「それはやめて!!恥ずかしいわ。」

$\mathrm{U}$ と $\mathrm{S}$ はそれぞれユーザの発話と対象人物の発話を表す. $\mathrm{U}_{1}$ と $\mathrm{S}_{1}$ は収集されたなりきり QA ぺアの一つであり, $\mathrm{U}_{2}$ から $\mathrm{S}_{3}$ までの発話はそのぺアを拡張して人手で追加した発話である.

表 2 なりきり QAコーパスを拡張して作成したなりきり対話コーパスの統計量

## 4 発話生成モデルの構築

本節では，対象人物について収集したなりきり QAコーパス，および，なりきり対話コーパ スを用いて大規模言語モデルを fine-tuning し，その人物らしい応答生成モデルを構築する手法 について述べる。大規模言語モデルとして, 杉山らが構築した日本語版の BlenderBotを利用し た (Sugiyama et al. 2021)，以降，日本語版の BlenderBot の概要，および，なりきりQAコーパ スとなりきり対話コーパスを用いた fine-tuning の方法について述べる.

## 4.1 日本語版 BlenderBot の概要

日本語版 BlenderBot は, 事前学習と fine-tuning の二段階で学習されている。事前学習用の データとしては, 日本語における Twitter4のリプライが利用されている。具体的には, 2016 年 1 月から 2018 年 3 月までのツイートから取得した 2.1B ペアのツイート (512GB) が利用されて おり，入力文脈には最大で 4 発話が含まれる。 fine-tuning 用の学習データとしては, 後述する 個性, 知識, 共感のスキルを学習する対話と, それらを統合したスキルを学習する対話の 2 種類 が利用されている。個性については, Persona-Chat (Zhang et al. 2018) のプロフィール文を日本語に翻訳し対話を人手で作成したもの, 知識に関しては, Wizard-of-Wikipedia (Dinan et al. 2019)を翻訳したもの，共感に関しては, EmpatheticDialogue (Rashkin et al. 2019)を翻訳した ものが利用されている。また，これら三つを統合したスキルを学習するための対話として，傾聴対話コーパス (Meguro et al. 2010), 雑談対話コーパス (Higashinaka et al. 2014), 趣味雑談 コーパス (Sugiyama et al. 2021) が利用されている.

モデルはパラメタ数 $1.6 \mathrm{~B}$ (エンコーダ 2 層, デコーダ 24 層, 各埋め込みベクトル 1,920 次元) の Transformer ベースのエンコーダ・デコーダモデルである. デコード手法には, dull-response を防ぐため， sample-and-rank が利用されている (Adiwardana et al. 2020). エンコーダへの入力は，以下のテンプレートに従って作成される.

## DialogueName: [SEP] SpeakerID [SEP] [SPK1]Utterance1 [SEP] [SPK2]Utter ance2 [SEP] [SPK1] Utterance3 [SEP] [SPK2] Utterance4 [SEP] TurnNumber

DialogueName, SpeakerID, Utterance1～Utterance4, TurnNumber はそれぞれ,コーパスの種類，ユニークな話者 ID，入力文脈，対話の開始からの発話数に対応する．具体的な例は 4.2 節 で述べる。

## 4.2 なりきり QAコーパスとなりきり対話コーパスを用いた fine-tuning

杉山らが構築した日本語版 BlenderBot のモデルに対して, 収集したなりきり QAコーパスと なりきり対話コーパスを用いて fine-tuning を行うことで, 対象人物の発話生成モデルを作成し

た. このとき，なりきり QAコーパスを訓練, 開発, テストセットに $18: 1: 1$ の割合で分割し た。分割の際は，データセット間で質問が重複しないようにした。また，なりきり対話コーパ スも同様の方法で分割した。このとき，なりきり対話コーパスになりきり QAコーパスの質問 が含まれる場合（ユーザから対話が始まる場合），なりきりQAコーパスの分割結果を参照し， その質問が含まれるデータセットと同じセットに対話を含めるようにした。これは，コーパス 間でリークが起こらないようにするためである。学習の際は, 開発セットにおける正解の応答 の Negative Log-Likelihood (NLL) loss が最小になるようにし，その結果 1 エポックで学習を停止させた. バッチサイズは 64 に設定した。なりきり QAコーパスとなりきり対話コーパスの入力例を以下に示す.

$
\text { なりきり QA: [SEP] idxx [SEP] [SPK2] お名前を教えて頂けますか？ [SEP] ターン } 00
$

“idxx”は対象人物用に設定した ID を表し，“[SPK2]”はユーザ，“[SPK1]”は対象人物を表す. なりきり QAコーパスの例における正解の出力は例えば「牧瀬紅莉栖です。どうぞよろしく。」 となり，なりきり対話コーパスの例では「でもね、決して実現できないものではないわ。」と なる。

## 5 評価実験

収集したなりきり QA コーパスとなりきり対話コーパスを用いて学習された発話生成モデル を用いて，対象人物らしい対話が可能かどうかを三種類の方法で評価した。一つ目は，なりきり QAコーパスにおける質問 (Question-In)，または，なりきり対話コーパスの文脈 (Context-In) を入力したときの応答を評価する発話レベルの自動評価である。二つ目は, 同様の入力に対す る発話レベルの人手評価である。 三つ目は，作業者が実際にチャットボットと対話しその対話全体を評価する対話レベルの人手評価である.

## 5.1 評価用データとモデルの準備

発話レベルの評価では，なりきりＱAコーパスから抽出した質問，または，なりきり対話コー パスに含まれる対話から最後の対象人物の発話を除いて作成した文脈（最後の発話の直前の 4 発話）を入力として評価に利用した。具体的には，なりきりQAコーパスから抽出した質問 50 個，および，なりきり対話コーパスから作成した文脈 50 個を利用した.

モデルとしては, ベースラインとなる検索べースのモデル 1 種類, および，生成べースのモ

デル 3 種類の計 4 種類を用意した. 以下に各モデルの詳細を示す.

(a) Ret-BERT-NS: ベースラインとなる検索ベースのモデルであり, 東中らの先行研究で 提案された手法（入力となる質問に対してなりきり QAコーパス内の QAペアをランキング し，最も良い QA ペアの回答をシステム発話として出力する手法）に対応する (Higashinaka et al. 2018). 東中らの手法では，QA ペアの候補を BM25 (Robertson et al. 1995) で検索し た後, 対話研究で利用される様々な特徴量（例：単語ベクトルの類似度，言語モデルに質問 を入力したときに回答が生成される確率）を用いて QAペアのランキングを行う。これに対 し, Ret-BERT-NS では, BM25で QA ペアの候補を検索した後, BERT (bidirectional encoder representations from Transformers) の教師あり分類モデルを利用して QA ペアのランキング を行う (Devlin et al. 2019)。これは，予備実験の結果，BERT を利用することで応答の自然性 が向上することが確認されたためである．利用する BERT は質問と回答が入力として与えら れたとき，回答が適切かどうかを二値分類するよう学習し，各回答に対して出力されるスコ アに基づいて回答のランキングを行う，BERT の学習データはネガティブサンプリング（な りきり QAコーパス内の各質問に対して，別の質問に対する回答を 5 件ランダムに抽出する ことで負例を用意した）を用いて作成し，正例と負例の割合は $1: 5$ とした. BM 25 で検索す る QAぺアは訓練，開発，評価セットのうち，訓練または開発セットに含まれるものとし，検索結果の上位 20 件を BERT でランキングするようにした。

(b) Gen-QA-Small: 生成ベースのモデルの一つであり, 日本語版の BelnderBot を一部のな りきり QAコーパス（QAペア 10,000万件）で fine-tuning したモデルである. このモデルは,後述の Gen-QA（なりきりQAコーパス全体を利用したモデル）と比較することで，なりき り QAコーパスのサイズが性能に与える影響を調べるために用意した.

(c) Gen-QA: 生成ベースのモデルの一つであり, なりきり QAコーパス全体を用いて日本語版の BelnderBot を fine-tuning したモデルである.

(d) Gen-QA+Dial: 生成ベースのモデルの一つであり，なりきりQAコーパス全体，および， なりきり対話コーパス全体を使用して日本語版の BlenderBot を fine-tuning したモデルであ る.このモデルは，なりきり QAコーパスを使用した場合のモデル (Gen-QA) と比較するた めに用意した. Gen-QA 同様, QAコーパスおよび対話コーパス全体のうち, 訓練用セットと 開発用セットのみを用いて学習を行った。

なお，評価の際に利用する入力のテンプレートの DialogueName は, 全てのモデルにおいて同 じものを利用した，具体的には，なりきり質問応答の質問を入力する際は “なりきり QA”を利用し，対話文脈を入力する際は“なりきり対話”を利用するようにした.

## 5.2 発話レベルの自動評価

表 3 に，質問 (Question-In), および，文脈 (Context-In) を入力したときのシステム発話の自

表 3 質問 (Question-In), および, 文脈 (Context-In)を入力したときのシステム発話の自動評価結果.発話長は出力されたシステム発話の平均トークン長を表す。太字は各評価尺度において数値が最も 良い（大きい）ものを示す。

動評価結果を示す. BLEU, distinct (Li et al. 2016a), 発話長（出力されたシステム発話の平均 トークン長）の三種類の指標で評価した，BLEU および distinct については，異なる n-gram の 値において，評価値の傾向が変わらなかったため，1-gramの結果のみを示している．BLEU の 結果から，生成ベースのモデルが検索ベースのモデルよりも正解の応答に類似した応答を生成 できることを示している。また，発話長は生成べースと検索べースで同程度の長さになってい るものの, distinct は検索べースの方が大きな値になっている。出力の多様性という観点では,現状の生成ベースのモデルでは限界があると考えられるものの，検索べースのモデルと比較し て生成ベースのモデルが正解の応答に類似した応答を生成できており，手法の有効性が確認で きる。

## 5.3 発話レベルの人手評価

発話レベルの人手評価では，評価指標として以下の三つの尺度を利用し， 5 段階のリッカー 卜尺度（1点：強く非同意 $~ 5$ 点：強く同意）で評価値を付与した.
- 自然さ：対象人物を問わず，システム発話が入力に対する応答として，一般的に自然で あるかどうか
- キャラクタらしさ: 入力に対する応答として, システム発話が対象となる人物 (本研究 では紅莉栖）にとって適切であるかどうか
- 情報量: システム発話が入力に関連して新しい情報を提供しているかどうか

評価にあたっては, Lancers を通じて, 作業者を 10 名募集して行った. このとき, 評価者は対象人物について十分な知識を有していることを条件とした，評価者は，各指標を独立して評価 するという教示のもと，入力された質問または文脈ごとに，各モデルから生成されたシステム 発話（ランダムにシャッフルされたもの）を評価した。

表 4 に，質問を入力したとき (Question-In), および，文脈を入力したとき (Context-In)のシ ステム発話の人手評価結果を示す。Question-Inでは，生成べースのモデルにおける自然さのス コアが検索ベースのモデルのスコアを有意に上回っていることがわかる．検定手法としては，

 & 情報量 & 自然さ &  \\

(b) Gen-QA-Small & $\mathbf{3 . 5 9}_{a}$ & 3.42 & $\mathbf{3 . 4 2}_{a}$ & $3.66_{a}$ & 3.55 & 3.09 \\
(c) Gen-QA & $3.57_{a}$ & 3.48 & 3.37 & $\mathbf{3 . 8 1}_{a}$ & $\mathbf{3 . 7 9}_{a b d}$ & $\mathbf{3 . 1 7}_{a d}$ \\
(d) Gen-QA+Dial & $3.52_{a}$ & $\mathbf{3 . 5 0}$ & 3.32 & $3.62_{a}$ & 3.54 & 2.94 \\

表 4 質問 (Question-In), および, 文脈 (Context-In) を入力したときのシステム発話の人手評価結果.太字は各評価尺度において数値が最も良い（大きい）ものを示す．数字右下のアルファベットは， そのスコアがアルファベットに対応するモデルのスコアよりも有意に良い $(p<0.05)$ ことを示す (Dwass 1960).

Steel-Dwass の多重比較を利用した (Dwass 1960) $(p<0.05)$. スコアは生成ベースのモデル間で 類似しており，一問一答においては Gen-QA-Small で飽和していると考えられる。また，キャ ラクタらしさについては，検索べースと生成べースで同等のスコアとなっている． Context-In では，生成べースと検索べースを比較すると，自然さのみならずキャラクタらしさにも一部に 差が見られる．この結果は，検索べースが入力された文脈の全体を考慮することができず，不自然な応答が出力されてしまうことから，キャラクタらしさのスコアも低く評価されたと考え られる，個別のモデルに着目すると，Gen-QA は他と比較して良いスコアとなっており，この 結果から，対象人物に関する大量の $\mathrm{QA}$ ペアがあれば，その人物の対話データがなくとも，そ の人物らしいシステム発話を文脈を考慮して生成することが可能であると結論付けられる。以上の結果から，構築したなりきりＱAコーパスで大規模言語モデルを fine-tuningすることの有効性が確認できた。

## 5.4 対話レベルの人手評価

所与の入力に対して出力されたシステム発話の単体の評価に加えて, 対話がどの程度実際の 人物と同じように感じられるかを調査するために, 各作業者がチャットボットと対話を行い,対話全体の評価を行う実験も実施した，結果の信頼性を高めるために，対話レベルの評価では 発話レベルの評価に参加した 10 名の作業者だけでなく, Lancers を通じて新しく募集した異 なる 10 名の作業者を加えて, 計 20 名の作業者が評価を実施した. 各作業者は, 4 つのモデル (Ret-BERT-NS, Gen-QA-Small, Gen-QA, Gen-QA+Dial) と 3 回ずつ計 12 回 (4つのモデル× 3 回 $=12$ 回）ランダムな順序で対話を行い，各対話の後にその対話全体を評価した．対話の長 さは，対話システムライブコンペティション (Higashinaka et al. 2021)のルールと同じく, シス テム発話とユーザ発話のペアを 1 ターンとし，15 ターンに設定した．各対話の終了時に，発話 レベルの評価と同じ尺度（対話全体の自然さ, キャラクタらしさ, 情報量）で 5 段階のリッカー

 & 情報量 \\

表 5 対話レべルの人手評価結果. 太字は各評価尺度において数値が最も良い（大きい）ものを示す. 数字右下のアルファベットは, そのスコアがアルファベットに対応するモデルのスコアよりも有意に 良い $(p<0.05)$ ことを示す (Dwass 1960).

ト尺度を用いて評価した。作業者がチャットボットと対話するためのツールとして Telegram ${ }^{5}$ を使用した。

表 5 に，対話レベルでの人手評価結果を示す. 三種類のスコアを平均すると, Gen-QA+Dial が最も良いスコアとなった。また，Gen-QAのスコアから，対話データがなかったとしても，人物らしい自然な対話が可能であることが確認できた，発話レベルの評価結果と同様に，生成ベー スのモデルの自然さは検索ベースのモデルを大きく上回っており，対話レベルの評価ではその 差がより顕著に表れる結果となった。 その一方で, キャラクタらしさには差が見られなかった. これは，検索ベースのモデルは人手で書かれたその人物らしい発話を返すため，それが文脈上自然な場合もあり, キャラクタらしさが高く評価されたためと考えられる。情報量については,生成ベースのモデルのスコアが高い傾向が見られるが, Gen-QA-Small を除いて, 有意差は見ら れなかった. Gen-QA-Smallの評価値が高かった理由としては, fine-tuning で利用された QAぺ アのサイズが他のモデルと比較して小さかったために, 事前学習に含まれる多様な話題が応答 に出現しやすかった可能性が考えられる.

## 5.5 評価実験の結果に関する分析

本研究では, 発話レベルで評価値が付与されており定量的な分析が容易な 5.3 節の評価結果 （発話レベルの評価結果）に基づき，低いスコアが付与された発話の理由を定量的に分析した. ここでは，発話レベルの人手評価結果において，三種類のスコアのうちいずれか一つ以上のス コアが 3 未満であった場合, システム発話が不適切であるとした。そして, それらの不適切な 発話に対して, チャットボットのエラー類型を人手でラベル付けした (Higashinaka et al. 2021). このエラー類型は大きく4つのレベル（発話レベル：該当システム発話の文そのもののエラー,応答レベル：該当システム発話の直前のユーザ発話をふまえたエラー，文脈レベル：当該システ ム発話までの対話全体をふまえたエラー，社会レベル：対話が行われている社会をふまえたエ

ラー）に分類され，さらに 17 のサブカテゴリ（例えば，繰り返しや情報不足等）に分類される ものである。アノテーションは著者らと同組織に所属する専門のアノテータ二名が行い，二名 の間で異なるラべルが付与された場合は，合議で結果をいずれかの結果に統一するようにした。

表 6 に，発話レベルの人手評価におけるスコアの低い発話に対して付与したエラー類型の頻度を示す．生成べースのモデルでは，応答レベル，および，文脈レベルのエラー（全体の $22 \%$, $(2+13+10+2+6) / 150 ）$ が検索べースのモデルよりも少ない（全体の $46 \%,(2+7+12$ + 2）／50）ことが明らかになった。しかしながら，Context-Inでは，生成べースのモデルにお いて文脈レベルのエラーが依然として多く（全体の $42 \%,(27+12+6+4+14) / 150)$, 特 にエラー類型のサブカテゴリのうち，発話意図不明確（話題は関連するものの，なぜその発話 をしたか意図が不明なもの．全体の $18 \% ，(12+8+7) / 150)$, 繰り返し（システム発話が文脈中の発話の繰り返しになっているもの。全体の $9 \%,(2+5+7) / 150)$.および, 情報不足 （発話に含むべき要素が含まれておらず意味が理解できない，または，理解しづらいもの．全体 の $8 \%,(3+4+5) / 150 ）$ が多く見られた. 大規模言語モデルを利用することで，応答レベル

} & \multirow{5}{*}{ エラー類型 } & \multicolumn{5}{|c|}{ Question-In } & \multicolumn{5}{|c|}{ Context-In } \\

表 6 発話レベルの人手評価において不適切と判断された発話（いずれかのスコアが 3 未満のもの）に対 し，エラー類型 (Higashinaka et al. 2021) を付与した結果. (a) の列は検索ベースのモデルにおけ る頻度を表し，(b)-(d) の列は生成べースのモデルにおける合計の頻度を表す.

や文脈レベルのエラーは検索ベースと比較して抑制されているものの, 発話の繰り返しや情報不足のエラーは依然として問題になっていると考えられる。

表 7 に Gen-QA+Dial において最も評価値が高かった対話の例を一つ示す.システムが一貫 したキャラクタらしさを持ち, 文脈に応じて自然な発話を生成できていることが確認できる. しかしながら， $\mathrm{S}_{3}$ のように繰り返しが含まれ，情報量が少ない発話も一部見られており，先の 考察でも述べた通り，生成モデルを用いた手法における今後の課題であると考えている.

 \\

表 7 Gen-QA+Dial における対話の成功例

## 6 公開実験

前節で構築したチャットボットをインターネット上で公開し，対象人物のファンを中心とす る多数のユーザとの対話を大規模に収集することで，構築したチャットボットの到達点，およ び，解決すべき課題について調査した，本節では，公開実験の概要と結果について述べる.

## 6.1 チャットボット公開の概要

公開対象のシステムとして, 5.4 節で述べた人手の対話評価において, 三種類の評価値の平均値が最も高かった Gen-QA+Dial を利用した. 公開のためのプラットフォームとして, 幅広い 任意のユーザにシステムと対話してもらえるよう, Twitter のダイレクトメッセージ (DM) 機能6利用した． TwitterのDM を使用することで，システムとユーザが一対一で自由に対話を 行うことができる。図 1 に，公開実験で利用した Twitter アカウントと実際のDM の画面を示 す。DM を利用するため，システムの Twitterアカウント7を作成し，DM の公開期間は 2021 年 の 7 月 29 日から 31 日の 3 日間とした.

実験に参加するユーザは，アカウントをフォローした後，DM 画面で最初に送付されるメッ セージに記載された本公開実験の規約に同意することで, システムとの対話が可能となるよう にした，ユーザーはシステムの公開期間中，好きなだけ対話することができ，また，いつでも 対話を中止することができるようにした．TwitterのDM には対話のリセット機能が用意され ていないため，各ユーザから収集される対話はユーザごとに一対話となる。公開期間の最終日 には，ユーザの満足度を調査するために，ユーザアンケートをダイレクトメッセージで送信し た.ユーザアンケートの文言は「なりきり AIアマデウス紅莉栖とまたどれぐらい話したいと思

図 1 公開実験で利用した Twitterアカウントと実際の DM 画面
^{6}$ https://help.twitter.com/ja/using-twitter/direct-messages

7 https://twitter.com/narikiri_ai
}

いますか？」とし，ユーザには 5 点満点のリッカート尺度（5 点：とても話したい〜 1 点：全く 話したくない）で回答させるようにした。なお，公開実験の実施にあたって，ユーザには参加費等の支払いは一切行っていない.

多数のユーザと並列にチャットを行うため, アマゾンウェブサービス (AWS) ${ }^{8}$ 上に Twitter DM を用いたチャットボットのシステムを構築した，AWSのインスタンスとして， Tesla T4を 8 機備える g4dn.metal を利用し，ロードバランサを設置した。公開期間を通して，システムか らのレスポンスはおよそ 5 秒以内に得られるようになっていたため，ユーザはストレスなく対話を行うことができたと考えている。また，ユーザやシステムから発話される不適切な内容を 抑制するため，内製の NG 単語リストに基づいて，NG 単語を含むユーザ発話が入力された場合，または， NG 単語を含むシステム発話が生成された場合，無回答を表す「...」で応答するよ うにした。

## 6.2 収集された対話データとアンケート結果

公開実験の結果，1,170 名の多数のユーザがシステムと対話を行い，ユーザ発話とシステム発話で合わせて 161,216 発話（ユーザ発話とシステム発話は同数であり，それぞれ 80,608 発話） を収集することができた。，各ユーザの平均発話数は 68.9 発話であり，比較的長い時間チャット ボットを使用していたことがわかった。また，公開期間の最終日に実施したユーザ満足度に関 するアンケートでは，ユーザ満足度の平均は 5 点満点中 4.59 点となり, $90 \%(=76 \%+14 \%)$ の ユーザが 4 点以上のスコアというポジティブな回答を行っていた（回答が得られた $63.6 \%$ のユー ザの結果に基づいて算出)，収集された対話ログは，既存の人物を再現したシステムの対話ログ として我々の知る限り世界最大レベルであり，今後対象人物を再現するチャットボットの研究 を行う上で貴重なリソースを収集することができた。

## 7 公開実験のデータを対象としたエラー分析

公開実験で得られた対話ログを利用してエラー分析を行い，人物特有エラーを調査した。具体的には，対象人物に関するどの情報がエラーを引き起こしているのか，また，各種のエラー がどの程度存在しているのかを明らかにすることを目的とした。この目的を達成するために，従来の研究で扱われる一般的な対話のエラー (Higashinaka et al. 2021) 全体を対象にするので はなく, 対象人物に関する情報が問題を引き起こしているエラーを抽出して類型化することが 適切であると考えた，対象人物に関連するエラーに焦点を当てることで，対象人物を再現する チャットボットの問題点がより明らかになるためである.

図 2 に示すように, 本研究では, 人物特有エラーの分析を行うために, 対話破綻ラベル, 対話破綻の理由を記述したコメント（以降，エラーコメントと呼ぶ）(Higashinaka et al. 2015)， エ ラーが対象人物に特有かどうかを示す人物特有エラーのフラグ，一般的なチャットボットにお けるエラー類型 (Higashinaka et al. 2021)の 4 種類のラベルをシステム発話に付与して分析を 行った。 エラーコメント，および，人物特有エラーのフラグは，エラー類型を明らかにするた めのクラスタリングに利用された。また，一般的なチャットボットにおけるエラー類型，およ び，人物特有エラーのフラグは，既存の類型と人物特有エラーの類型の対応関係を調査するた めに利用された。

具体的な手順として，まず，対話中でエラーが起きている箇所を特定するため, 対話破綻ラべ ルを付与する. このとき, 先行研究と同様に, エラーの原因を調査するため, 対話破綻と判断さ れた理由を記述したエラーコメントを合わせて収集する。このエラーコメント中に対象人物に 関するキーワードが含まれていた場合，そのエラーコメントは対象人物に特有の内容について 言及していると考えられるため，エラーが対象人物に特有であることを示す人物特有エラーの フラグを立てる ${ }^{9}$. そして，人物特有エラーのフラグが付与されたエラーコメントを抽出しクラ スタリングすることで，人物特有エラーの類型を作成する。また，既存のエラー類型と人物特有エラーとの対応関係を明らかにするため，一般的なチャットボットにおけるエラー類型を付与し，それぞれの類型が占める割合を調査した。以降，各情報の付与，および，明らかになっ たエラー類型について述べる.

} & \multirow{2}{*}{} \\

人物特有エラーと既存のエラー類型との比較に利用

図 2 人物特有エラーを分析するために付与する 4 種類のラベル（対話破綻ラベル，エラーコメント，一般的なチャットボットのエラー類型 (Higashinaka et al. 2021), 人物特有エラーのフラグ）の具体例.対話破綻ラベルの列における NB，PB，B，Cはそれぞれ，Not a breakdown, Possible breakdown, Breakdown, PB および B で付与されるエラーコメントの数を表す.

## 7.1 対話破綻ラベルとエラーコメントの付与

対話破綻の情報の付与にあたって，アノテーションのコストを勘案して，収集された対話口 グにおけるシステム発話全体のうち， $13 \%$ (=10611/80608) をサンプリングしてアノテーショ ンの対象とした。サンプリングの方法として，ユーザを一名ランダムに選択し，そのユーザと システムの対話の先頭からシステム発話を最大で 50 件抽出してアノテーション対象とし, 抽出 されたシステム発話が全体の $13 \%$ になるまで，ユーザ一名の選択とシステム発話の抽出を繰り 返した。その結果, アノテーション対象に含まれるユーザ数は 385 名となり, 平均の対話長は 27.6 発話 $(=10611 / 385)$ となった.

サンプリングした各システム発話に対して，対話破綻のラベル（三種類）として「破綻では ない」を表す Not a breakdown (NB),「破綻の可能性がある」を表す Possible breakdown (PB),「破綻である」を表す Breakdown (B) のいずれかを付与した. これらのラベルは, 対象人物に関 して十分な知識を持つ 5 名の作業者（Lancers を通じて募集）によって付与された。このとき，作業者には，対話のエラーを表す $\mathrm{PB}$ または B を付与した場合，そのように判断した理由を具体的にエラーコメントとして記述するよう教示を与えることで，対話破綻ラベル，および，エ ラーコメントを収集した。

表 8 に，公開実験の対話ログの一部に対して付与された対話破綻ラベルの統計情報を示す. 10,611 件のシステム発話に対して 5 名の作業者が対話破綻ラベルを付与することで， 53,055 $(=10611 \times 5)$ 件の対話破綻ラベルが付与された。このうち, $\mathrm{NB}$ が付与された割合は $89 \%$ (=47200/53055) であり, 多くの場合において適切な対話がなされていることがわかる. Fleiss' kappa (Fleiss and Cohen 1973) でアノテー夕間の一致率を調査したところ，NB，PB，Bを異な るラベルとして扱った場合 $0.23, \mathrm{~PB}$ と $\mathrm{B}$ を統合した場合 0.30 となり, 先行研究 (Higashinaka et al. 2015) で報告されている一致率（0.28, および，0.40）よりも若干低い結果となった. これ は，作業者の対象人物についての解釈の違いに起因する可能性がある。この違いについては今

表 8 公開実験の対話ログの一部に対して付与された対話破綻ラベルの統計情報
後調査したいと考えている.

以降の分析では, 半数（3名）以上の作業者が破綻（PB または B）と判断したシステム発話を エラー分析の対象とした。その数は 817 発話であり, アノテーション対象となった発話全体の 7.7\% (= 817/10611) であった. また, エラー分析の対象となった発話に付与されていたエラー コメントの数は 2,846 件であった.

## 7.2 人物特有エラーのフラグと一般のエラー類型の付与

対話破綻と判断されたシステム発話 817 件に対して，人物特有エラーのフラグ，および，一般的なチャットボットのエラー類型を付与した。これらの作業は第一著者と同組織に所属する 専門のアノテータ二名によって行われた。一つ目の人物特有エラーのフラグに関して，なりき り QAコーパスをもとに，アノテータが人手で対象人物に関連のある単語を列挙し，単語リス 卜（53 語）を作成した．作成したリストに含まれる単語として，例えば「紅莉栖」，「まゆり」 (紅莉栖の友人の名前),「秋葉原」(紅莉栖がよく訪れる場所)，「@channnel」(紅莉栖がよく利用するウェブサイト）等が存在する。この辞書に含まれる単語がシステム発話に対するいずれ かのエラーコメントに含まれていた場合，そのシステム発話に対して人物特有エラーのフラグ を付与した。また, 二つ目の一般的なチャットボットのエラー類型については, アノテーショ ンの仕様書10を参照しつつ二名のアノテータがラベルを付与し, 判断が摇れた事例については 相談の上どちらかに統一することでアノテーションを行った.

表 9 に，一般のエラー類型および人物特有エラーのフラグのアノテーション結果を示す. エ ラーと判断されたシステム発話のうち, $20.1 \%(=168 / 817)$ が人物特有エラーと判定された. 特 に, 人物特有エラーが多いものとして, (I4) 誤情報はエラーの半数以上 $(43 / 81=53.1 \%)$ が人物特有エラーであることがわかった，以降の分析では，端的かつ顕著なエラーを分析対象とする ため，エラーが起きている発話全体に占める人物特有エラーの割合がおよそ $1 \%$ 上のもの，具体的には，表中の下線部のエラー（I4：誤情報, I5：質問無視, I9：期待無視, I10：発話意図不明確, I13：自己矛盾, I15：繰り返し）を対象に分析を行うことにした。

## 7.3 クラスタリングを通じた人物特有エラーの類型化

人物特有エラーが起きているシステム発話に対して, 先行研究 (Higashinaka et al. 2015) 同様，エラーと判断された理由を記述したエラーコメントをクラスタリングすることで，人物特有エラーを類型化し特徵を明らかにする。このためのクラスタリング手法として，分類の過程 を追跡しやすい階層型クラスタリングを用いた. クラスタリング対象のエラーコメントは人物特有エラーと判定された 168 件のシステム発話に対して付与されたコメントであり, 人物特有

表 9 対話破綻が起きていた発話に対して付与した一般のチャットボットのエラー類型 (Higashinaka et al. 2021)，および，人物特有エラーの割合．各列において，数值と括弧内の割合はそれぞれ発話数と エラー全体における割合を表す。

フラグが付与されたコメントを各システム発話からランダムに一つ選択することで抽出した ${ }^{11}$.

クラスタリング対象のエラーコメントには対象人物に関する固有名詞が多数出現するため,同一の固有名詞に関するコメントをまとめられるよう, 特徵量には Bag-of-words を利用した. クラスタリングの際には, クラスタリング対象のコメント中で出現頻度が少ない語（出現回数 が 3 回以下のもの）は除外した。階層クラスタリングの手法にはウォード法を使用し, 距離尺度にはユークリッド距離を使用した，最終的にクラスタ数を決定する際は，最終的な類型間で 重複等がないよう，各クラスタのサイズが全コメントの $10 \%$ 以上となるように閥値を設定した. なお, 日本語形態素解析器として JTAG (Fuchi and Takagi 1998)（前述の対象人物に関する単語リストを固有名詞辞書として登録したもの）を利用し，クラスタリングの実装には $\mathrm{SciPy}^{12}$ を 利用した。

図 3 にエラーコメントのクラスタリング結果を示す。図には 4 つのクラスタが示されており，

図 3 人物特有エラーに付与されていたエラーコメントのクラスタリング結果. 各クラスタにおいて，ク ラスタの重心に特徴量が最も近いコメントをそのクラスタの代表的なコメントとして示している.

各クラスタにおいて，クラスタの重心に特徴量が最も近いコメントをそのクラスタの代表的な コメントとして示している。 コメントの内容に基づき，各クラスタの特徴を以下にまとめる.

・クラスタ 1 では, システムが対象人物を取りまく環境（登場人物である「岡部」や，好 きなアーティストである「モーツァルト」）に関する内容について，適切に応答できてい ないというエラーが見られる.
- クラスタ 2 では, システムが突然話題になっている人物（例えば，登場人物の「鈴羽」） とは別の人物（別の登場人物である「まゆり」）について言及してしまったり，突然別の 人物（「まゆり」や「漆原」）の名前に言及することで，ユーザを別の人物と間違えてし まったりするというエラーが見られる。
- クラスタ 3 では, システムが対象人物自身に関する誤った情報（例えば, 自分のプロフィー ルを間違えたり，自分の好みを間違えたり）を発話してしまうというエラーが見られる。
- クラスタ 4 では, システムが対象人物自身を別の人物（例えば，登場人物やユーザ）と 勘違いしたような内容を発話してしまうというエラーが見られる.
以上の特徴から，クラスタ 1 とクラスタ 3 はシステムが再現する対象人物自身についての誤認識がまとまっており，クラスタ 2 とクラスタ 4 は対象人物とは別の人物や事物についての誤認識がまとまっていると考えられる。また，クラスタ 1 とクラスタ 2 は対象人物自身（例えば，対象人物や登場人物）についてのエラーがまとまっており，クラスタ 3 とクラスタ 4 は， 人物や 事物間の関係性に関するエラーがまとまっていると考えられる。

エラーコメントのクラスタリング結果を解釈した結果に基づき，人物特有エラーは，人物や 事物に関する属性のエラー，および，それらの間の関係のエラーの二種類に分けることができ， それぞれのエラーはさらに，自己（対象人物自身），および，その他（対象人物以外の人物や事物，すなわち，対象人物の周囲の環境）という二つのレベルに分けられると考えられる。この分類を人物特有エラーの類型としてまとめたものを表 10 に示す。表には二つのレベル，および，二種類のエラーに分かれて 4 つのエラー類型が存在している。表 10 に示すそれぞれの類型は 図 3 のクラスタと一対一で対応しており，それぞれ，(P1) 自己認識エラーはクラスタ $3,(\mathbf{P 2})$自己関係エラーはクラスタ $4,(P 3)$ 他者認識エラーはクラスタ $1,(\mathbf{P} 4)$ 他者関係エラーはク ラスタ 2 と対応する。

人物特有エラーの各類型について，公開実験を通じて実際に収集された対話例とその説明を 示す．以降の対話では，ユーザ，システムをそれぞれ U, S と表記する。また，具体例として 示す対話中の発話において，著者らがエラーの原因と考えた箇所を下線で示している.

（P1）自己認識エラー：このエラーは，対象人物となる人物の属性に関する情報（例えば，プ

ロフィール，嗜好，経験など）において，誤った情報を発話するものである．

(1) U: 「I like you Kurisu.」

$\mathrm{S}: \quad$ 私は $\mathrm{AI}$ でも $\mathrm{AI}$ 紅莉栖でもありません。」（注：対象人物は $\mathrm{AI}$ のキャラクタ）

(2) U:「つれないなクリスティーーーナよ!」(注：クリスティーナは対象人物が嫌って いるあだ名）

S:「こんばんは。AIのクリスティーナよ。」

 &  &  \\

表 10 人物特有エラーの類型. 括弧内のクラスタ番号は図 3 と対応している.

ルが誤っている．対話 (2)では，システムが自ら「クリスティーナ」と発話しているが，対象人物は「クリスティーナ」というニックネームを嫌っているため, 対象人物の嗜好が誤っ ている.

(P2) 自己関係エラー：このエラーは, システムが対象人物自身と他の人物や事物（例えば, ユーザ，友人，有名人）を誤って取り違えて発話するものである.

(3) S: 「私の名前は牧瀬紅莉栖よ。今日の実験もそろそろ終わりね。」

$\mathrm{U}: 「 も っ と$ 話したいです。」

$\mathrm{S}:$ 「あなたは本当に牧瀬紅莉栖なの？」

(4) U:「まゆりって誰？」(注：まゆりは対象人物の友人)

S: 「彼女は牧瀬紅莉栖とも呼ばれているわ。」

対話 (3) では, システムがユーザを対象人物である「牧瀬紅莉栖」と読んでおり, 対象人物自身を別の人物（この場合はユーザ）と誤認識している。対話 (4)では，ユーザがまゆりにつ いて尋ねているにも関わらず，対象人物自身を別の人物（この場合は友人である「まゆり」） と誤認識している。

（P3）他者認識エラー：このエラーは，対象人物の周囲の人物（例：友人）や事物（例：好き なもの等の関係の深いもの）について，誤った情報を発話したり，適切に反応できなかった りするものである.

（5） S: 「男の子でも、可愛い人は、いるわよ。」

S: 「まゆりとか、まゆりとかね。」

(6) $\mathrm{U}:\lceil ぬ る ほ ゚ 」($ 注：対象人物がよく知るインターネットスラング）

$\mathrm{S}:$ 「私の名前は牧瀬紅莉栖よ。」

対話 (5) では, 対象人物の友人である「まゆり」は女性であり, 男性ではないため, 対象人物の周囲の人物に関する知識が誤っている。対話 (6) では, ユーザがインターネットスラン グを発話しているが，期待と異なる応答をしている。対象人物はインターネットスラングに ついてよく知っている設定のため, 典型的な応答（この場合は「ガッ」）を返すべきであり，対象人物の周囲の事物に関する内容の発話適切に反応できていないというエラーである.

(P4) 他者関係エラー：このエラーは，対象人物の周囲の人物（例：友人）や事物（例：好き なもの等の関係の深いもの）を別の対象人物以外の人物や事物と誤って取り違えて発話する ものである.

(7) U: 「アマデウス紅莉栖 LOVE」

$\mathrm{S}$ :「そうね。私も好きよ。まゆり。」(注：まゆりは対象人物の友人)

（8） U:「鈴羽は今何してる？」(注：鈴羽は対象人物の友人)

$\mathrm{S}:$ 「そうね、マユリの声は世界を救うのよ。」
対話 (7) では, システムが突然「まゆり」と発話していることから, システムは対象人物以外 の人物（ユーザ）を別の対象人物以外の人物（マユリ）と誤って発話している。対話 (8)で は，ユーザは対象人物の友人である「鈴羽」について質問しているにも関わらず，別の友人 である「マユリ」について発話しており，対象人物以外の人物（友人）を取り違えて発話し ている.

## 7.4 人物特有エラーの類型の評価

7.3 節で述べた人物特有エラーの類型の妥当性を確認するため, クラスタリングの対象として 利用していない対話データ中のシステム発話に対して, 人物特有エラーの類型をアノテーション した. 具体的には，人物特有エラーが起きているシステム発話に対して， 4 種類の類型 $(\mathrm{P} 1-\mathrm{P} 4)$ のアノテーションを行い，アノテータ間一致率を調査した。アノテーション対象のシステム発話を抽出するために，対話破綻ラベルのアノテーションを行っていない残りの対話デー夕（全体の $87 \%=(80608-10611) / 80608 ）$ から，まず， 3,200 件のシステム発話をサンプリングした.次に， 7.1 節，および， 7.2 節で述べた人物特有エラーの抽出方法（対話破綻のアノテーション， および，対象人物に関するキーワードを利用した人物特有エラーのフラグの付与）を適用する ことで， 50 件の人物特有エラーを抽出し類型のアノテーション対象とした. 抽出された 50 件 の人物特有エラーが起きているシステム発話の各々に対して，アノテータは人物特有エラーの 類型を一つ付与した. このとき，アノテータには対象となる人物特有エラーが起きている発話, および，その直前の 3 発話（文脈）を与え，アノテーション対象の発話に対して付与されてい たエラーコメント等は与えなかった。アノテータとして, 第一著者と同組織に所属する専門の アノテータ二名がアノテーションを実施した．教示として， 7.3 節で述べた各類型の対話例とそ の説明を与えた。その結果, アノテー夕間の一致率は Cohen's kappa で 0.46 となり, 中程度の 一致率であることから, 人物特有エラーの妥当性が示唆されたと考えている。

## 7.5 既存のエラー類型との対応

表 11 に, 人物特有エラーの類型と従来のエラー類型（チャットボットの個性を限定しないも の）(Higashinaka et al. 2021) との対応関係を示す.この表は, 表 9 と図 3 の結果をマージする ことで作成した。この表から，まず，人物特有エラーの各類型の出現頻度に着目すると， $(\mathrm{P} 1)$自己認識エラーのエラーが最も頻繁に発生しており，半数以上 $(42.3 \%+15.5 \%=57.8 \%)$ を占 めることがわかる．また，他者レベルのエラー（P3，および，P4）は合わせて 4 割程度出現し ていることから，対象人物自身の情報のみならず，対象人物の友人など，その人物を取りまく 環境についての話題も頻繁にエラーになっていることが明らかになった．従来のエラー類型に おける各類型が人物特有エラーの各類型に出現しており，本研究で明らかになった人物特有エ ラーの類型が従来のエラー類型と異なる観点でエラーを分類できていると考えられる.

 &  &  &  &  &  &  & 全体 \\

表 11 人物特有エラーの類型，および，従来のエラー類型（チャットボットの個性を限定しないもの） (Higashinaka et al. 2021)の対応関係. 表中の各数値は人物特有エラーの分析に利用した全エラー （168 件）における各エラーの割合を示す.

人物特有エラーの類型と従来のエラー類型の対応関係に着目すると, $(\mathrm{P} 1)$ 自己認識エラーは 従来のエラー類型における (I4) 誤情報, および, (I10) 意図不明（発話意図不明確）で頻繁に 発生していることがわかる，代表的なものとして，（I4）誤情報であれば，対象人物自身のプロ フィールや嗜好に関して誤った情報を含む発話（例えば，AIの人物であるにも関わらず「私は AI ではない」と発話する場合）が見られた。（I10）発話意図不明確であれば，対象人物の応答 として意図が不明確となる発話（例えば，「私はクリスティーナよ」と自ら嫌っているあだ名で 名乗る場合）が見られた。

(P2) 自己関係エラーも (I4) 誤情報, および, (I10) 発話意図不明確で頻繁に発生している. (I4) 誤情報であれば，システムが自身とユーザを混同したり，自身と対象人物の友人を混同し たりする発話が見られた。(I10) 発話意図不明確であれば, 例えば，システムが対象人物とその 友人を混同し, 対象人物の話題から突然その友人の話題に飛ぶことで発話意図が不明確となる 発話が見られた。

(P3) 他者認識エラーや (P4) 他者関係エラーにおいては, 対象人物が深く知っておくべき友人 などの人物や，好きなものなどの事物に関して適切に答えることができない発話が見られ，例 えば，人物や事物に対して誤った情報を含む発話や，ユーザを含む人物の間で取り違えが起き ている発話が見られた。

本研究の調査結果をまとめると，人物特有エラーでは特に対象人物自身に関するエラーが最 も多いということが明らかになった. この理由として, 本研究で実施した公開実験に参加した ユーザが主に対象人物のファンであり，ユーザが対象人物についての話題に言及しやすい傾向 があった可能性が考えられる。また, 従来のエラーの類型を用いた調査の結果, 人物特有エラー では (I4) 誤情報が最も多く発生していることから，個性を一貫させた対話を実現する研究 (Li et al. 2016b)の重要性が確認された。興味染い知見として，対象人物を再現するシステムとの 対話では，対象人物だけでなく，対象人物の周辺を取りまく人物や事物等の環境に関する話題

が出現しており，これらの知識に関するエラーが人物特有エラー全体のうちのおよそ 4 割存在 することが明らかになった。人物や事物の間の関係を扱うためには，例えばグラフ構造を用い る手法が有効である可能性がある (Ghazvininejad et al. 2018; Dinan et al. 2019).

## 8 まとめ

本研究では，対象人物に関して収集したなりきり質問応答のデー夕を大規模言語モデルと組 み合わせることでなりきり AIを構築し，さらにインターネットを通じて公開実験を行うこと で，対象人物を再現するチャットボットにおける現状の到達点と今後解決すべき課題（人物特有エラーの類型）を調査した. その結果, 収集された $45 \mathrm{~K}$ の QA ゚゚アを用いることで, 構築さ れたチャットボットが従来の検索べースの手法と比較して有意に高い自然さとキャラクタらし さを持つことが明らかになった。さらに，公開実験を通じて収集した大規模な対話ログを用い て誤り分析を行うことで，対象人物を再現するチャットボットのエラー (人物特有エラー)を調査した。その結果, 人物特有エラーは属性に関するエラーと関係に関するエラーの二種類に分 けることができ，また，自己に関するエラーと他者に関するエラーという二つのレべルに分け られることが明らかになった。

今後の課題として，生成ベースの手法をより改善していきたい，例えば，今回実験に利用し た QA ペアは最低でも1万ペアであり，依然として多いため，より少ないデータでも適切に振 る舞う手法を検討したい。このために，人物に関する外部知識（テキストや知識グラフなど）を 参照しながら対話を行う手法が有用な可能性がある (Zhao et al. 2020). 加えて, 本研究では 5 節の評価実験において, 発話レベルの人手評価結果のみに着目して低い評価値が付与された発話の分析を行ったが，対話レベルの人手評価結果についても，定性的な分析や定量化可能な情報の調査を通じて，評価値が低くなった対話の原因を調査したい。また，エラー分析の結果得 られた知見に基づき，Unlikelihood-Training (Li et al. 2019) や話者の識別モデルを利用する発話生成 (Shuster et al. 2022) のアプローチを用いて， 人物特有エラーを抑制することも重要な課題である. 今後, 対話内容の詳細なアノテーション等を追加で実施し, 人物特有エラーにおい て，特に対象人物自身に関するエラーが多く出現していた理由等も明らかにしていきたい．対象人物とユーザの関係や親しさを推定し, それに合わせた対話を行うことも今後の重要な課題 である。本研究におけるコーパス構築では，対象人物の応答と併せて親密度のラベル収集した ため，対象人物とユーザの関係や親しさを推定し，それに合わせた対話を行う手法を確立した い. さらに, 本研究で収集した対話破綻のラベルを用いて, ChatGPT (Ouyang et al. 2022) 等 の大規模言語モデルにおいて利用される Reinforcement learning from human feedback (RLHF) を実施して人物特有エラーを抑制することも考えられる。本論文では単一の人物のみに焦点を 当てており，今後異なる人物を対象として，結果の汎用性を検証することも実施していきたい.

## 謝 辞

本論文の一部は, The 12th International Workshop on Spoken Dialog Systems (IWSDS2021) ${ }^{13}$, および, The 60th Annual Meeting of the Association for Computational Linguistics (ACL2022) で発表したものです (Mitsuda et al. 2021, 2022).

## 参考文献

Adiwardana, D., Luong, M.-T., So, D. R., Hall, J., Fiedel, N., Thoppilan, R., Yang, Z., Kulshreshtha, A., Nemade, G., Lu, Y., and Le, Q. V. (2020). "Towards a Human-like Open-Domain Chatbot." In arXiv preprint arXiv:2001.09977.

Akama, R., Watanabe, K., Yokoi, S., Kobayashi, S., and Inui, K. (2018). "Unsupervised Learning of Style-sensitive Word Vectors." In Proceedings of $A C L$, pp. 572-578.

Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D., Wu, J., Winter, C., Hesse, C., Chen, M., Sigler, E., Litwin, M., Gray, S., Chess, B., Clark, J., Berner, C., McCandlish, S., Radford, A., Sutskever, I., and Amodei, D. (2020). "Language Models are Few-Shot Learners." In Proceedings of NeurIPS, pp. 1877-1901.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of NAACL, pp. 4171-4186.

Dinan, E., Roller, S., Shuster, K., Fan, A., Auli, M., and Weston, J. (2019). "Wizard of Wikipedia: Knowledge-powered Conversational Agents." In Proceedings of ICLR, pp. 1-18.

Dwass, M. (1960). "Some k-Sample Rank-order Tests." Contributions to Probability and Statistics, pp. 198-202.

Fleiss, J. L. and Cohen, J. (1973). "The Equivalence of Weighted Kappa and the Intraclass Correlation Coefficient as Measures of Reliability." Educational and Psychological Measurement, 33 (3), pp. 613-619.

Fuchi, T. and Takagi, S. (1998). "Japanese Morphological Analyzer using Word Co-occurrence —JTAG-." In Proceedings of COLING, pp. 409-413.

Ghazvininejad, M., Brockett, C., Chang, M.-W., Dolan, B., Gao, J., Yih, W.-t., and Galley, M.

(2018). "A Knowledge-Grounded Neural Conversation Model." In Proceedings of AAAI, pp. 5110-5117.

Han, S., Kim, B., Yoo, J. Y., Seo, S., Kim, S., Erdenee, E., and Chang, B. (2022). "Meet Your

Favorite Character: Open-domain Chatbot Mimicking Fictional Characters with only a Few Utterances." In Proceedings of NAACL-HLT, pp. 5114-5132.

Higashinaka, R., Araki, M., Tsukahara, H., and Mizukami, M. (2021). "Integrated Taxonomy of Errors in Chat-oriented Dialogue Systems." In Proceedings of SIGDIAL, pp. 89-98.

Higashinaka, R., Dohsaka, K., and Isozaki, H. (2013). "Using Role Play for Collecting QuestionAnswer Pairs for Dialogue Agents." In Proceedings of INTERSPEECH, pp. 1097-1100.

Higashinaka, R., Funakoshi, K., Araki, M., Tsukahara, H., Kobayashi, Y., and Mizukami, M. (2015). "Towards Taxonomy of Errors in Chat-oriented Dialogue Systems." In Proceedings of SIGDIAL, pp. 87-95.

Higashinaka, R., Funakoshi, K., Inaba, M., Tsunomori, Y., Takahashi, T., and Akama, R. (2021).

"Dialogue System Live Competition: Identifying Problems with Dialogue Systems through Live Event." In Proceedings of IWSDS, pp. 185-199.

Higashinaka, R., Imamura, K., Meguro, T., Miyazaki, C., Kobayashi, N., Sugiyama, H., Hirano, T., Makino, T., and Matsuo, Y. (2014). "Towards an Open Domain Conversational System Fully Based on Natural Language Proceedingsssing." In Proceedings of COLING, pp. 928-939.

Higashinaka, R., Mizukami, M., Funakoshi, K., Araki, M., Tsukahara, H., and Kobayashi, Y.

(2015). "Fatal or Not? Finding Errors That Lead to Dialogue Breakdowns in Chat-Oriented Dialogue Systems." In Proceedings of EMNLP, pp. 2243-2248.

Higashinaka, R., Mizukami, M., Kawabata, H., Yamaguchi, E., Adachi, N., and Tomita, J. (2018).

"Role Play-Based Question-Answering by Real Users for Building Chatbots with Consistent Personalities." In Proceedings of SIGDIAL, pp. 264-272.

Huang, C., Zaïane, O., Trabelsi, A., and Dziri, N. (2018). "Automatic Dialogue Generation with Expressed Emotions." In Proceedings of NAACL-HLT, pp. 49-54.

Kim, H., Kim, B., and Kim, G. (2020). "Will I Sound Like Me? Improving Persona Consistency in Dialogues through Pragmatic Self-Consciousness." In Proceedings of EMNLP, pp. 904-916. Kodama, T., Higashinaka, R., Mitsuda, K., Masumura, R., Aono, Y., Nakamura, R., Adachi, N., and Kawabata, H. (2020). "Generating Responses that Reflect Meta Information in User-Generated Question Answer Pairs." In Proceedings of LREC, pp. 5433-5441.

Kudo, T. and Richardson, J. (2018). "SentencePiece: A Simple and Language Independent

Subword Tokenizer and Detokenizer for Neural Text Proceedingsssing." In Proceedings of EMNLP, pp. 66-71.

Li, J., Galley, M., Brockett, C., Gao, J., and Dolan, B. (2016a). "A Diversity-Promoting Objective Function for Neural Conversation Models." In Proceedings of NAACL-HLT, pp. 110-119.

Li, J., Galley, M., Brockett, C., Spithourakis, G., Gao, J., and Dolan, B. (2016b). "A PersonaBased Neural Conversation Model." In Proceedings of ACL, pp. 994-1003.

Li, M., Roller, S., Kulikov, I., Welleck, S., Boureau, Y.-L., Cho, K., and Weston, J. (2019).

"Don't Say That! Making Inconsistent Dialogue Unlikely with Unlikelihood Training." arXiv preprint arXiv:1911.03860.

Liu, Q., Chen, Y., Chen, B., Lou, J.-G., Chen, Z., Zhou, B., and Zhang, D. (2020). "You Impress Me: Dialogue Generation via Mutual Persona Perception." In Proceedings of $A C L$, pp. 1417-1427.

Madotto, A., Lin, Z., Wu, C.-S., and Fung, P. (2019). "Personalizing Dialogue Agents via Metalearning." In Proceedings of $A C L$, pp. 5454-5459.

Majumder, B. P., Jhamtani, H., Berg-Kirkpatrick, T., and McAuley, J. (2020). "Like Hiking? You Probably Enjoy Nature: Persona-grounded Dialog with Commonsense Expansions." In Proceedings of EMNLP, pp. 9194-9206.

Mazaré, P.-E., Humeau, S., Raison, M., and Bordes, A. (2018). "Training Millions of Personalized Dialogue Agents." In Proceedings of EMNLP, pp. 2775-2779.

Meguro, T., Higashinaka, R., Minami, Y., and Dohsaka, K. (2010). "Controlling Listeningoriented Dialogue using Partially Observable Markov Decision Processes." In Proceedings of COLING, pp. 761-769.

Mitsuda, K., Higashinaka, R., Li, T., and Yoshida, S. (2022). "Investigating Person-Specific Errors in Chat-Oriented Dialogue Systems." In Proceedings of ACL, pp. 464-469.

Mitsuda, K., Higashinaka, R., Sugiyama, H., Mizukami, M., Kinebuchi, T., Nakamura, R., Adachi, N., and Kawabata, H. (2021). "Fine-tuning a Pre-Trained Transformer-Based Encoder-Decoder Model with User-Generated Question-Answer Pairs to Realize Characterlike Chatbots." In Proceedings of IWSDS, pp. 1-14.

Miyazaki, C., Hirano, T., Higashinaka, R., Makino, T., and Matsuo, Y. (2015). "Automatic Conversion of Sentence-End Expressions for Utterance Characterization of Dialogue Systems." In Proceedings of PACLIC, pp. 307-314.

水上雅博, 杉山弘晃, 有本庸浩, 東中竜一郎, 光田航, 小林哲生 (2023). なりきり AI プラット フォームを活用した自治体連携による案内務対話システム構築. 人工知能学会論文誌, $\mathbf{3 8}(3)$, B-MA2_1-14. [M. Mizukami et al. (2023). Construction of an Information Service Dialogue

System in Collaboration with Local Governments using the Chatbot Platform of Role Playbased Question-Answering. Transactions of the Japanese Society for Artificial Intelligence, 38 (3), B-MA2_1-14.].

Niu, T. and Bansal, M. (2018). "Polite Dialogue Generation without Parallel Data." Transactions of the Association for Computational Linguistics, 6, pp. 373-389.

Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A., Schulman, J., Hilton, J., Kelton, F., Miller, L., Simens, M., Askell, A., Welinder, P., Christiano, P., Leike, J., and Lowe, R. (2022). "Training Language Models to Follow Instructions with Human Feedback." In Proceedings of NeurIPS, pp. 1-15.

Qian, Q., Huang, M., Zhao, H., Xu, J., and Zhu, X. (2018). "Assigning Personality/Profile to a Chatting Machine for Coherent Conversation Generation." In Proceedings of IJCAI, pp. 4279-4285.

Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., and Liu, P. J. (2019). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer." arXiv preprint arXiv:1910.10683.

Rashkin, H., Smith, E. M., Li, M., and Boureau, Y.-L. (2019). "Towards Empathetic OpenDomain Conversation Models: A New Benchmark and Dataset." In Proceedings of $A C L$, pp. 5370-5381.

Robertson, S. E., Walker, S., Jones, S., Hancock-Beaulieu, M., and Gatford, M. (1995). "Okapi at TREC-3." In Proceedings of TREC, pp. 109-128.

Roller, S., Dinan, E., Goyal, N., Ju, D., Williamson, M., Liu, Y., Xu, J., Ott, M., Smith, E. M., Boureau, Y.-L., and Weston, J. (2021). "Recipes for Building an Open-Domain Chatbot." In Proceedings of EACL, pp. 300-325.

See, A. and Manning, C. (2021). "Understanding and Predicting User Dissatisfaction in a Neural Generative Chatbot." In Proceedings of SIGDIAL, pp. 1-12.

Shuster, K., Humeau, S., Bordes, A., and Weston, J. (2020). "Image-Chat: Engaging Grounded Conversations." In Proceedings of ACL, pp. 2414-2429.

Shuster, K., Urbanek, J., Szlam, A., and Weston, J. (2022). "Am I Me or You? State-of-the-Art Dialogue Models Cannot Maintain an Identity." In Findings of NAACL, pp. 2367-2387.

Song, H., Wang, Y., Zhang, W.-N., Liu, X., and Liu, T. (2020). "Generating Responses with a Specific Emotion in Dialog." In Proceedings of ACL, pp. 5821-5831.

Sugiyama, H., Meguro, T., Higashinaka, R., and Minami, Y. (2014). "Large-scale Collection and Analysis of Personal Question-Answer Pairs for Conversational Agents." In Proceedings of IVA, pp. 420-433.

Sugiyama, H., Mizukami, M., Arimoto, T., Narimatsu, H., Chiba, Y., Nakajima, H., and Meguro, T. (2021). "Empirical Analysis of Training Strategies of Transformer-based Japanese Chitchat Systems." arXiv preprint arXiv:2109.05217.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All You Need." In Proceedings of NeurIPS, pp. 5998-6008.

Welleck, S., Weston, J., Szlam, A., and Cho, K. (2019). "Dialogue Natural Language Inference." In Proceedings of $A C L$, pp. 3731-3741.

Zhang, S., Dinan, E., Urbanek, J., Szlam, A., Kiela, D., and Weston, J. (2018). "Personalizing Dialogue Agents: I Have a Dog, Do You Have Pets too?" In Proceedings of $A C L$, pp. 2204-2213.

Zhao, X., Wu, W., Xu, C., Tao, C., Zhao, D., and Yan, R. (2020). "Knowledge-Grounded Dialogue Generation with Pre-trained Language Models." In Proceedings of EMNLP, pp. 3377-3390.

Zheng, Y., Zhang, R., Huang, M., and Mao, X. (2020). "A Pre-Training Based Personalized Dialogue Generation Model with Persona-Sparse Data." In Proceedings of AAAI, pp. 9693-9700.

Zhou, H., Huang, M., Zhang, T., Zhu, X., and Liu, B. (2018). "Emotional Chatting Machine: Emotional Conversation Generation with Internal and External Memory." In Proceedings of $A A A I$, pp. $730-738$.

Zhou, L., Gao, J., Li, D., and Shum, H.-Y. (2020). "The Design and Implementation of XiaoIce, an Empathetic Social Chatbot." Computational Linguistics, 46 (1), pp. 53-93.

## 略歴

光田 航：2013 年東京工業大学情報工学科卒業. 2015 年同大学大学院情報理工学研究科修士課程修了. 2021 年筑波大学大学院システム情報工学研究科博士課程修了. 2015 年から 2023 年まで日本電信電話株式会社研究員. 2023 年 より rinna株式会社 Applied Scientist. 自然言語処理, 対話システムの研究開発に従事. 人工知能学会, 言語処理学会各会員. 博士 (工学).

東中竜一郎：2001 年慶應義塾大学大学院政策・メディア研究科修士課程, 2008 年博士課程修了. 2001 年日本電信電話株式会社入社. 2020 年より, 名古屋大学大学院情報学研究科教授. NTT 人間情報研究所客員上席特別研究員. 慶應義塾大学環境情報学部特別招聘教授. 2004 年から 2006 年まで英国シェフィール ド大学客員研究員. 質問応答システム・対話システムの研究に従事. 人工知能学会, 言語処理学会, 情報処理学会, 電子情報通学会各会員. 博士 (学術).

李廷軒：2019 年大連理工大学電子情報・電気工学部卒業. 2023 年筑波大学大学院理工情報生命学術院システム情報工学研究群知能機能システム学位プ

ログラム（博士前期課程）修了.

杉山 弘晃：2007 年東京大学工学部機械情報工学科卒業. 2009 年同大学院情報理工学系研究科知能機械情報学専攻修士課程了. 2016 年奈良先端科学技術大学院大学情報科学研究科博士課程修了. 2009 年, 日本電信電話株式会社入社. 現在, NTTコミュニケーション科学基礎研究所協創情報研究部主任研究員. 人と自然な対話を行う雑談対話システムの研究に従事. IEEE，人工知能学会, 言語処理学会, 情報処理学会各会員. 博士 (工学).

水上 雅博: 2014 年奈良先端科学技術大学院大学情報科学研究科修士課程修了. 2017 年同研究科博士課程修了. 同年, 日本電信電話株式会社入社. 現在, NTT コミュニケーション科学基礎研究所協創情報研究部研究主任. 個人性を持つ 対話システムの研究開発に従事. 人工知能学会会員. 博士（工学）.

中村 竜太：2008 年国立群馬工業高等専門学校卒業. 2008 年 2016 年ソニーグ ローバルマニュファクチャリング＆オペレーションズ株式会社. 2016 年〜 2018 年 Gatebox 株式会社. 2018 年より株式会社ドワンゴにて新規事業部署の マネージャに従事.

安達 敬武：2000 年日本タイムシェア株式会社入社. 2006 年株式会社ドワンゴ 入社. 2013 年スマートフォン音楽サイトセクションマネージャ. 2016 年対話 $\mathrm{AI}$ プロジェクト「なりきり $\mathrm{AI}\rfloor$ 立ち上げに参画. 現在, 新規プロダクトの 開発ディレクションに従事.

川端秀寿：2007 年楽天株式会社入社. 2011 年楽天市場事業部西日本エリアマ ネージャ. 同年, ドワンゴ株式会社入社. 2012 年より, ニコニコチャンネル のセールスマネージャとして Eコマース事業の開発に従事。2016 年「なりき り $\mathrm{AI} 」$ プロジェクト参加. その後，チャンネル事業部部長を経て，現在，株式会社 KADOKAWA ファンコミュニティ事業部部長.

吉田仙：1995 年東北大学大学院情報科学研究科博士前期課程修了. 1995 年 から 2022 年まで日本電信電話株式会社, 2003 年から 2007 年まで西日本電信電話株式会社. 2022 年より株式会社三菱ケミカルホールディングス（現：三菱ケミカルグループ株式会社)．現在，自然言語処理の応用業務に従事．情報処理学会, 人工知能学会各会員.

杵渕 哲也：1997 年東北大学大学院 ・博士課程前期修了. 同年日本電信電話株式会社入社. 現在, NTT 人間情報研究所共生知能研究プロジェクトプロジェ クトマネージャ，メディア処理，人工知能に関する研究開発に従事。電子情報通信学会会員.

(2023 年 6 月 27 日受付)

(2023 年 8 月 1 日 再受付)

(2023 年 8 月 22 日 採録)


# 基本イベントに基づく常識推論データセットの構築と利用

大村 和正 $\dagger \cdot$ 河原 大輔 ${ }^{\dagger \dagger}$-黒橋 禎夫 ${ }^{\dagger,+\dagger \dagger}$
}

本研究では, 基本イベントに基づく常識推論データセットの構築手法を提案する。具体的には，テキストから「お腹が空いたので，ご飯を食べる」といった蓋然的関係 を持つ基本的なイベント表現の組を自動抽出し, クラウドソーシングによる確認を 行った後, 基本イベント間の蓋然的関係を問う多肢選択式問題を自動生成する。提案手法に従って 10 万問規模の常識推論データセットを構築し, 計算機による解答実験を行った結果, 高性能な汎用言語モデルと人間の間に解答精度の開きがあるこ とを示した。また，提案手法の拡張性の高さを利用して疑似問題を大規模に自動生成し, このデータ拡張による常識推論タスクおよび関連タスクでの効果を検証した.実験の結果，蓋然的関係に関する知識を広範に学習させることで，常識推論タスク および関連タスクにおいて一定の効果があることを示した。これは，蓋然的関係を 推論する能力が自然言語理解において重要であることを示唆している. キーワード：常識推論，基本イベント，蓋然的関係，自然言語理解
## Building a Commonsense Inference Dataset based on Basic Events and its Application

\author{
Kazumasa Omura $^{\dagger}$, Daisuke Kawahara $^{\dagger \dagger}$ and Sadao Kurohashi ${ }^{\dagger, \dagger \dagger \dagger}$
}

We propose a method for building a commonsense inference dataset based on basic events. Specifically, we automatically extract contingent pairs of basic event expressions such as "I'm hungry, so I have a meal" from text, verify by crowdsourcing, and automatically generate commonsense inference problems regarding the contingent relation between basic events. We built a commonsense inference dataset of $100 \mathrm{k}$ problems by the proposed method and conducted experiments to investigate the model performance. The results showed that there is a performance gap between highperformance language models and humans. In addition, we automatically generated large-scale pseudo problems by utilizing the scalability of the proposed method and investigated the effects by the data augmentation on the commonsense inference task and the related tasks. The results demonstrated the effectiveness of learning extensive contingent knowledge for both the commonsense inference task and the related tasks,

which suggests the importance of contingent reasoning.

Key Words: Commonsense Inference, Basic Event, Contingency, Natural Language Understanding

## 1 はじめに

計算機による自然言語理解の実現は，自然言語処理における大きな目標のひとつである。こ の目標に向けて，計算機の言語理解力を訓練・評価する問題設定を考え，そのデータを構築す る研究が盛んに行われている (Wang et al. 2019b, 2019a; Srivastava et al. 2022).このような取 り組みの中で，計算機による自然言語理解を実現するためには，言語に関する知識（語句の意味，構文など）と言語を超えた実世界に関する知識の両方が必要であると議論されてきた.

前者の言語に関する知識は, 汎用言語モデル BERT (Devlin et al. 2019)の登場以降，相当学習できるようになった。大規模テキストから文脈に応じた語のべクトル表現を事前に学習し，下流タスクに合わせて fine-tuning することで，言い換え認識や構文解析といった基礎的な解析 タスクで人間に匹敵する精度が達成されている。

一方で，後者の実世界に関する知識の獲得については，まだ課題が残る，実世界に関する知識は無数に存在するため, その基本的な部分, すなわち常識に焦点を当てたデータが盛んに構築されている，そこでは，広範な知識の中から常識を獲得するために，どのように常識に焦点 を当てるかが課題となる.

これまでに行われた工夫を見ると，例えば， SWAG (Zellers et al. 2018) は動画キャプション をべースとすることで対象を視覚で捉えられる日常的な出来事に限定している．しかし，これ では扱える常識の範囲が制限される。その他の試みとして, ConceptNet (Speer et al. 2017)を ベースとする CommonsenseQA (Talmor et al. 2019) がある. ConceptNet がカバーする基本的 な語句の間の関係をべースとしているが, ConceptNet 全体を用いても 1.2 万問しか作問できな いという拡張性の問題がある.

また, 作問時に含まれるバイアスをできるだけ排除しなければならないという課題もある．前述 の試みについて, 例えば, SWAGでは誤り選択肢文を言語モデルで自動生成し, CommonsenseQA では問題文をクラウドソーシングで作成している。このため，これらのデータセットには言語 モデルの生成バイアスや Annotation Artifacts ${ }^{1}$ (Gururangan et al. 2018) が含まれうる.

本研究では, これらの問題を解決するために, 人手で構築された言語資源をべースとした作問や人手による作問ではなく生のテキストデータからの作問を試みる。蓋然的関係をを持つ基本

的なイベント表現の組をテキストから自動抽出し，クラウドソーシングで確認を行い，それを ベースに常識推論問題を自動生成するという手法を提案する。

基本的なイベント表現（基本イベントと呼ぶ）は「テキストから抽出した述語項構造をクラ スタリングし，その中の高頻度なものを核とする表現」と定義する。これをもとに，談話標識 を手かがりとして「蓋然的関係を持ち，前件・後件が共に基本イベントである節の組」を自動抽出する。これを蓋然的基本イベントペアと呼ぶ.

例えば，蓋然的基本イベントペアは次のようなものである。

(1) a. お腹が空いたので，ご飯を食べる

b. ご飯を食べたら，すごく眠い

c. 眠いので，コーヒーを飲む

d. 激しい運動をすると，汗をかく

ある蓋然的基本イベントペアの前件を文脈，後件を正解選択肢とし，その他のイベントペアの 後件を誤り選択肢とすることで，図 1 のような常識推論問題を自動生成することができる.

提案手法はテキストからの自動抽出をべースとするため，拡張性があり，ドメインを限定し ない. クラウドソーシングについても, 確認（フィルタリング）を行うだけなので, 低コスト かつ Annotation Artifactsの問題もない. また, 人手で構築された言語資源やクラウドソーシン グに強く依存せず，談話標識は様々な言語に普遍的に存在するため, 他言語にも比較的適用し やすいと考えられる。

本研究では，まず，日本語 7 億文を含むウェブコーパスに提案手法を適用し，常識推論問題 10 万問から成るデータセットを構築する。計算機による解答実験を行い，様々なタスクで高い 性能を達成している汎用言語モデルでも人間との間に性能の開きがあることを示す.

次に，この性能の開きを改善するため, 提案手法の拡張性の高さを利用したデー夕拡張によ る常識推論能力の改善に取り組む，具体的には，クラウドソーシングによる確認を省略するこ とで常識推論問題を模した疑似問題を大規模に自動生成し，これを訓練時に組み込むという手法を検証する。

図 1 常識推論問題の作問例. $\checkmark$ 印は正解選択肢である.
最後に，蓋然的関係に関する知識の転移可能性を検証するため，常識推論問題および擬似問題からの転移学習による関連タスクへの効果を定量的に評価する。これらの実験の結果，常識推論問題および擬似問題を通して蓋然的関係を広範に学習することで常識推論夕スクおよび関連タスクにおいて一定の効果があることを示す 3.

## 2 関連研究

常識に焦点を当てた言語資源はこれまでに様々なものが構築されており，それらはデータセッ トと知識ベースの 2 つに大別される. 本研究で構築する常識推論データセットは前者に分類 され，後者の常識知識ベースは ConceptNet (Speer et al. 2017) や ATOMIC (Sap et al. 2019a; Hwang et al. 2021) などがある。本節では，常識推論に関するデータセット並びに常識推論能力 の改善に向けたアプローチについて述べる.

## 2.1 常識推論データセット

常識推論能力の訓練・評価に向けたデータセットは主に英語で盛んに構築されており，SWAG や CommonsenseQA などがある. これらのデータセットについて説明する.

SWAG (Situations With Adversarial Generations) (Zellers et al. 2018)は，与えられた文脈に 続く最も適切な動詞句を問う多肢選択式問題 11 万問から成る常識推論データセットである。常識としての知識の一般性を保証するために動画キャプションをべースに問題を作成しており， ドメインは視覚で捉えられる日常的な出来事に限定される。各問題は, 動画キャプションから 連続する 2 文を抽出し，その 1 文目から 2 文目の主語までを文脈，残りの部分を正解選択肢と している。誤り選択肢文の候補は言語モデルから生成し，分類モデルが簡単に誤りだと見分け られるものを除去することで，より紛らわしい誤り選択肢文を獲得している。しかし， SWAG は BERTによって人間に匹敵する精度で解かれている。これは，言語モデルが生成した誤り選択肢文にバイアスが含まれており，BERTがこれを検知するような学習をしたためだと考えら れている (Zellers et al. 2019). これを受けて Zellers らは，より高性能な言語モデルを使用して BERT がバイアスを検知できないデータセット (HellaSwag) を構築した (Zellers et al. 2019). しかし, HellaSwag も同様の問題が指摘されており (Tamborrino et al. 2020), バイアス問題の 本質的な解決には至っていない.

CommonsenseQA (Talmor et al. 2019)は，問題文の答えとして最も適切な語句を問う多肢選択式問題 1.2 万問から成る常識推論データセットである。常識知識ベースである ConceptNetか ら部分グラフを抽出し，それをもとにクラウドソーシングで作問する。部分グラフは 1 つのソー

スコンセプトと，それと同じ関係で結ばれる 3 つのターゲットコンセプトから成る．クラウド ワーカーは，ソースコンセプトを含み，ターゲットコンセプトの内 1 つだけが答えとなるよう な問題文を各ターゲットコンセプトに対して作成する。さらに, 作成した問題に対してクラウ ドソーシングで誤り選択肢を 2 つ追加することで 5 択問題を作る。この手法は ConceptNet を ベースとするため, 拡張性の問題がある。また, Annotation Artifacts (Gururangan et al. 2018) が潜在的に含まれる可能性がある.

これらの他にも, 日常的な出来事の間の因果関係を問う COPA (Choice Of Plausible Alternatives) (Roemmele et al. 2011)，社会常識を問う Social IQA (Social Intelligence QA) (Sap et al. 2019b), 手続き的な知識を問う PIQA (Physical Interaction: Question Answering) (Bisk et al. 2020) など，ある種の常識に焦点を当てたデータセットが多数構築されている．また，常識推論能力を直接問うものではないが，解答に常識が必要となるデータセットとして，Winograd Schema Challenge (WSC) (Levesque 2011) および WSC 形式の問題をクラウドソーシングで大規模に作成して構築された WinoGrande (Sakaguchi et al. 2020) がある.いずれも既存の言語資源や人手（専門家・クラウドソーシング）による作問をべースとしており，前述の問題が考え られる。

上記のデータセットの多くはタスクが 2 択から 5 択までの多肢選択式であるが, 生成タスクと して評価する取り組みも存在し(Lin et al. 2020; 榎本, 嶋田 2022; 鈴木, 新納 2022), 代表的な データセットとして CommonGen がある. CommonGen は, 画像キャプション, ConceptNet, クラウドソーシングを利用して作成された制約付きの文生成問題 3.5 万問から成る. 具体的に は, 物体もしくは動作を表す複数の単語が与えられ, それらの単語を全て用いて日常的な場面を 記述した文を生成するというタスクである。例えば, “dog", “frisbee", “catch", “throw"の 4 単語から “A dog leaps to catch a thrown frisbee.” といった文を生成することが正解となる. 生成タスクはより直接的に計算機の推論能力を見ることができる一方で，確立された自動評価指標がなく, 性能を比較しづらいという問題がある。また, 自動評価の信頼性を上げるために, 各問題で複数の解答例を用意することはしばしば現実的でない. 多肢選択式は出力の候補が制限 されるものの, 解答精度をもとに性能を客観的に比較しやすいことは利点であると考えられる。

## 2.2 常識推論能力の改善に向けたアプローチ

常識推論能力の改善に向けたアプローチとして自動生成した訓練データを活用するものが あり，擬似問題を自動生成する我々のアプローチもこれに該当する。例えば, Ye et al. (2019) は, Wikipedia と ConceptNet から自動生成した 1,600万問規模の多肢選択式穴埋め問題に対し て追加の事前学習を行った. ConceptNet を必要とするものの, 語句レベルの常識推論タスク （CommonsenseQA および WSC）における解答精度の向上が報告されている. Staliūnaitè et al. (2021) は， ウェブテキストから談話標識を手がかりに因果関係を持つ節の組を抽出し，負例を
言語モデルから生成することで, COPA および Balanced COPA (Kavumba et al. 2019) に対す るデータ拡張を行った. 日常的な因果関係を推論する能力の改善に焦点を当てており, 関連夕 スクへの効果は検証していない.

その他のアプローチとして, 常識推論に向けた既存の言語資源から知識を転移するものがあ る. 例えば，前述の Social IQA および WinoGrande を中間タスクとして解くことで，COPA お よび WSC に対する解答精度の向上が報告されている (Sap et al. 2019b; Sakaguchi et al. 2020). また, CosmosQA (Huang et al. 2019) や HellaSwag (Zellers et al. 2019) といった複雑な常識推論を要するデータセットは転移元のタスクとして効果的であることが, Pruksachatkun et al. (2020)によって実験的に示されている. Lourie et al. (2021)は, マルチタスク学習によって常識推論に関する言語資源間の相互作用を検証し, 複数の常識推論データセットを学習する効果 を示した，本研究では，基本的な蓋然的関係を推論する能力に焦点を当て, これに関する知識 の転移可能性を日本語で検証する.

## 3 提案手法

常識推論問題は図 1 に示すように文脈と 4 つの選択肢から成り, 文脈の後に続く文として最 も適切なものを選ぶタスクである。人間はこのような基本的な蓋然的関係の推論を文章読解や 対話といった日常の様々な場面で行っており, 自然言語理解において重要な推論能力を問う. これらの問題は常識としての知識の一般性を担保するために, 基本イベントから成り, クラウ ドソーシングによる確認を経たイベントペアから生成する。また，テキストからの自動抽出を ベースとすることで拡張性を担保する。これらを踏まえ, 次の手順で常識推論問題を作成する (図 2).

（1）格フレームから高頻度な述語項構造を「基本イベントの核となる表現（コアイベントと 呼ぶ)」として獲得する。

（2）テキストに係り受け解析・談話関係解析を適用し，「蓋然的関係を表す談話標識で接続さ れ，かつコアイベントから成るイベントの組」を自動抽出する.

(3) 抽出されたイベントペアが実際に蓋然的関係があるか否かをクラウドソーシングで確認 し，蓋然的基本イベントペアを得る.

（4）ある蓋然的基本イベントペアの前件を文脈，後件を正解選択肢とし，これと中程度に類似するその他のイベントペアの後件を誤り選択肢とすることで，常識推論問題を自動生成する。

以降, 各ステップの詳細について述べる.

蓋然的基本イベントペア 常識推論問題

図 2 提案手法の概要図.

## 3.1 コアイベントの獲得

本研究における基本イベントは「テキストから抽出した述語項構造をクラスタリングし, そ の中の高頻度なもの（コアイベント）を核とする表現」と定義する。述語項構造をクラスタリン グした既存の言語資源として格フレーム (Kawahara and Kurohashi 2006; Kawahara et al. 2014) があり，本研究ではこれを利用する.

格フレームデータにおいては，各述語が用法ごとに格フレームを持つ，各格フレームは複数 の格を持ち, 各格は格要素となりうる名詞群からなる。 日本語格フレームの例を表 1 左に示す.

本研究では，格フレームから高頻度な述語項構造を抽出し，それらをコアイベントとする。ま ず，格フレームデータから，能動態の述語を対象に頻度上位 $\alpha$ 件の述語を取得する．取得した 各述語に対して，格フレーム，格，格要素をそれぞれ頻度順に見た時に，頻度の累積和がその 項目全体の $\beta \% ， \gamma \% ， \delta \%$ 超えるまで取得する．例えば，格フレームはその述語の頻度の $\beta \%$ をカバーするまで取得する。上記の閾値は対象言語に応じて経験的に決定する。

} & \multirow{2}{*}{} & 格フレーム & 格 & 項 \\

表 1 述語「壊す」の格フレーム（左表）と抽出されるコアイベントの例（右表）。表中の数値は，格もし くは格要素の頻度を表す。

日本語格フレームから獲得したコアイベントの例を表 1 右に示す. 例えば，表 1 左において，述語「壊す」の1番目の格フレームは「お腹」もしくは「体」をヲ格の項に取るものが用例の 過半数を占めており， $\delta$ を 50 に設定すると「お腹を壊す」と「体を壊す」がコアイベントとし て獲得される. 日本語におけるパラメータ $\alpha, \beta, \gamma, \delta$ の詳細な値は 4 節で述べる.

## 3.2 蓋然的基本イベントペアの自動抽出

まず，テキストに係り受け解析と談話関係解析を適用し，蓋然的関係を表す談話標識で接続 されるイベントペアを抽出する。イベントは単一の事態を表す単位であり，修飾要素を含む 述語項構造に相当する (齋藤 他 2018)．また，蓋然的関係は「原因・理由」または「条件」の 談話関係とし, これは Penn Discourse Treebank (Prasad et al. 2008, 2019)における談話関係 “CONTINGENCY:Cause”または “CONTINGENCY:Condition”に相当する.

続いて, 解析結果から信頼性の高い部分を選択し, 常識的な内容を表すイベントペアに絞る ため，以下の 2 つの条件を共に満たすイベントペアを選択する。本研究では，原因・理由など を表す 1 つ目のイベントを「前件」，結果などを表す 2 つ目のイベントを「後件」と呼ぶ.

Reliable 前件が後件に曖昧性なく係る.
- 1 文中にイベントが 2 つしかない場合, 係り受けの曖昧性は無い.
- 1 文中にイベントが 3 つ以上ある場合，対象言語に合わせた基準を設け，それに 従って係り受けの曖昧性が無い部分を抽出する. 日本語における基準は 4.2 節で 述べる.

Basic 前件および後件が共に基本イベントである.
- 基本的には前件・後件がコアイベントを包含するか否かを調べるが, 後件の項は 代名詞化もしくは省略される可能性が高いため, 後件が明示された項をもたない 場合は前件から項を補完してコアイベントの包含関係を調べる.
例えば，イベントペア「台風でガラスが割れる $\rightarrow$ 取り替える」の場合，後件「取 り替える」に対して，前件に含まれる項「台風」もしくは「ガラス」を取るコア イベントの有無を調べる。日本語格フレームからはコアイベント「ガラスを取り 替える」が獲得されるため，このぺアは Basic 条件を満たすことになる。最後に，次のステップのクラウドソーシングによる確認に向けて，次の後処理を行う．
- 事態性の弱いもの, ウェブ特有の定型表現を含むものを除くため, 抽出されたイベント ペアに含まれるコアイベントの頻度を数え，高頻度のコアイベント4を含むイベントペア を除く。

・ 指示代名詞・未知語を含むイベントペアを除く.

・同じ述語項構造の組から成るイベントペアは 1 つを残して重複を除く.

## 3.3 クラウドソーシングによる確認

自動抽出された蓋然的基本イベントペアから，クラウドソーシングを利用して蓋然的関係が あるものを選択する。クラウドワーカーは，各イベントペアに対して次の 2 択から評価を選択 する.

(1) A は B の原因・理由である

(2) その他の関係，もしくは関係がない

ここでは前件を $\mathrm{A}$ ，後件を B と表現する，Aと B を接続した文の自然さではなく，A と B の間 の蓋然的関係を評価してもらうために，談話標識は省略して提示する，各イベントペアを複数人のクラウドワーカーが評価し, 過半数以上が「A は B の原因・理由である」と評価したイベ ントペアを蓋然的基本イベントペアとして採用する.

## 3.4 常識推論問題の自動生成

蓋然的基本イベントペアから常識推論問題を自動生成する．各問題は，蓋然的基本イベント ペアを 1 つ選び（ベースと呼ぶ），その前件を文脈，後件を正解選択肢とする。誤り選択肢は, ベースと中程度に類似する 5 その他のイベントペアの後件から自動的に選択する。正解選択肢と 中程度に類似する誤り選択肢を獲得するため，次の条件で選択を行う。

- 後件と正解選択肢の間の類似度は, 文のベクトル表現間のコサイン類似度で測る.
- 文のベクトル表現は, 文に含まれる自立語の単語べクトルの平均とする.

Context Similarity 後件と組を成す前件と文脈の間の類似度が RANGE $_{\text {context }}$ の範囲にある.
- 前件と文脈の類似度は条件 Choice Similarity と同様に計算する。

また, 問題の体裁を整えるため, 正解選択肢に対して単語数の比が $\mathrm{RANGE}_{\text {length }}$ の範囲にある 後件に限定する ${ }^{6}$.

誤り選択肢の候補が 3 件以上得られた場合，無作為に 3 件選択することで問題を生成する.誤り選択肢の候補が 3 件以上得られなかった場合，問題を生成しない.

## 4 日本語常識推論データセットの構築

3 節の手法に従って, 日本語を対象に常識推論データセットを構築した.

## 4.1 コアイベントの獲得

コアイベントは，日本語 100 億文を含むウェブコーパスから自動構築された京都大学格フレー $\Delta^{7}$ から獲得した，頻度に関する閥値 $\alpha, \beta, \gamma, \delta$ は，それぞれ $5,000,75,50,50$ に設定した。

この結果, 28,642 個の格フレームから約 1,400 万件のコアイベントを獲得した 8.

コアイベントの例は表 1 右に示している.

## 4.2 蓋然的基本イベントペアの自動抽出

まず，日本語 7.1 億文を含むウェブコーパスから蓋然的関係を持つイベントペアを自動抽出 した. 2006 年から 2015 年までクローリングして構築された内製のコーパスの一部を用いてい る. 抽出には日本語解析器 KNP $^{9}$ (Kurohashi and Nagao 1994) と EventGraph ${ }^{10}$ (齋藤 他 2018) を用いた．KNPは係り受け解析と談話標識に基づく節間の明示的な談話関係の解析を行うツー ルであり，EventGraphは KNP の解析結果をイベント単位に整形するツールである．KNP お よび EventGraph をテキストに適用した結果，約 8,500 万組の蓋然的関係を持つイベントペアを 自動抽出した。

次に，係り受けの曖昧性がない基本イベントペアに絞るため, Reliable 条件と Basic 条件を 満たすイベントペアを選択した。日本語における Reliable 条件は「文中の末尾 2 節である」と 設定した。これは，日本語では基本的に語が左から右に係るため，末尾 2 節の間に係り受けの 曖昧性がないためである.

最後に後処理を行い，164,910 組の蓋然的基本イベントペアを抽出した. 表 2 に詳細な統計を

表 2 イベントペアの抽出に関する統計．例えば，項目“+Reliable”の数値は Reliable 条件を満たす蓋然的イベントペアの数を表す.

示す.

Basic 条件の予備調査 Basic 条件による効果を調査するため，表 2 の“+Reliable”および “+Reliable+Basic”に相当するイベントペア集合から無作為に 100 組ずつ抽出し，常識的な内容 を表すか否かを著者らが人手で評価した。便宜上，抽出されたイベントペアをそれぞれ “R”お よび “RB”と表現する。人手評価の結果, “R”は 47 組, “RB”は 76 組が常識的であると評価さ れた。“R”に含まれるイベントペアで，Basic 条件によって除かれるものを次に例示する。

(2)魔力カウンターの乗っていない「魔法都市エンディミオン」に対してサイクロンを発動 すると,$\rightarrow$ 破壊できる

(3) すると， $\rightarrow$ 泣きやすい

Basic 条件によって，限定的なドメインでのみ用いられる表現や必須補語が欠けた表現を含む イベントペアが除かれている。この点で，Basic 条件は常識的な内容を表すイベントペアを抽出するのに効果的であると考えられる.

## 4.3 クラウドソーシングによる確認

自動抽出された蓋然的基本イベントペアから，クラウドソーシングを利用して蓋然的関係が あるものを選択した. クラウドソーシングサービスは Yahoo!クラウドソーシング11を利用した. クラウドワーカーは 1 タスクあたり 17 組のイベントペアが提示され，それぞれ 3.3 節で述べた 2 択から評価を選択する（図 3). 17 組の内 2 組は注意力を測るためのダミーの設問であり，こ のイベントペアの評価を間違えたクラウドワーカーの回答は除外される。イベントペア 1 組あ たり 4 人のクラウドワーカーが評価し, 過半数以上が「AはB の原因・理由である」と評価し たものを蓋然的基本イベントペアとして採用した。

出来事や状態を表す2つの文A・Bを提示します。 AとBの間の関係について以下の選択肢から選んでください。

A. コーヒーを飲む

B. 眠気が覚める

AはBの原因・理由である

その他の関係、もしくは関係が無い

## 磪定して次へ

図 3 イベントペアの蓋然的関係を評価するクラウドソーシングのタスク画面のスクリーンショット.

クラウドソーシングの結果, 164,910 組から 104,266 組の蓋然的基本イベントペアを獲得した. クラウドソーシングによって約 $1 / 3$ のイベントペアが除かれているが, これは Basic 条件の予備実験結果に沿っている。クラウドソーシングにかかった費用は合計 48.4 万円であり， 1 問あ たりの作問コストに換算すると 4.7 円であった.

## 4.4 常識推論問題の自動生成

最後に，蓋然的基本イベントペアから常識推論問題を生成した。条件 Choice-Similarityに

り高く設定している。選択肢をべクトル表現に変換する際は，日本語ウェブコーパスから学習 した word2vec モデル12を用いた。また，自立語は形態素解析器 Juman++ (Morita et al. 2015; Tolmachev et al. 2018)の辞書に含まれる動詞, 形容詞, 名詞とした. これらのパラメータによっ て得られる誤り選択肢の候補数の平均値は 3,459, 中央值は 1,355 であった.

この結果，蓋然的基本イベントペア 104,266 組から常識推論問題を 103,907 問生成した. 作問結果の例は, 図 5 および図 6 に計算機による解答結果と共に示している.

人間の解答精度の調査 人間の解答精度を調査するため, 生成した常識推論問題から無作為に サンプリングし，クラウドソーシングを利用して解答を収集した。具体的には， 500 問から成る 問題セットを 3 セット用意し，各セットに対して異なる時間帯にクラウドソーシングを行うこ とで，多様なクラウドワーカーの解答を収集した．また，各問題に対して 5 人のクラウドワー

カーから解答を収集した。この結果，クラウドワーカーの平均正解率は $83.8 \%$, 多数決で集約 した解答の正解率は $88.9 \%$ であった。 以降，多数決で集約した解答の正解率を人間の性能とみ なす.

## 4.5 常識推論データセットの構築

計算機による解答実験に向けて, 生成した問題を $8: 1: 1$ に分割し, それぞれ訓練デー夕, 開発データ，テストデータとした. リークを抑えるため，訓練データの各問題のベースに含まれ るコアイベントの組とテスト（開発）データの各問題のベースに含まれるコアイベントの組の 間に重複がないように分割を行った ${ }^{13}$. 構築した常識推論データセットの統計を表 3 に示す.

## 4.6 既存の常識推論データセットとの比較

既存の常識推論データセットにあまり含まれていない知識が構築したデータセットに含まれ ていることを確認する。本研究では, 比較対象としてSWAG (Zellers et al. 2018) および Social IQA (Sap et al. 2019b)を選択した.いずれも同規模かつ句間・節間の蓋然的関係を対象とし,構築したデータセットとの関連性が高いと考えられるためである.

2.1 節で述べたとおり，SWAGは動画キャプションをべースとするため, 手続き的な知識が 主な対象であり，文脈から誘発される状態や感情などの知識14はあまり含まれていないことが 推測される。これを確認するために，全訓練事例のうち正解選択肢に形容詞句を含む事例の割

Social IQA は与えられた文脈と質問文に対する答えを 3 択から選ぶ問題 3.8 万問から成るデー タセットである. ATOMIC (Sap et al. 2019a)をべースとするため，イベントとそれに関する精神状態（意図，感情など）の間の関係知識も対象としている。一方で，ATOMIC は基本形のイ ベント間の関係知識が大半を占めるため, 否定条件の知識16に乏しいことが推測される。これ を確認するために，全訓練事例のうち正解選択肢に否定表現を含む事例の割合を調査した。こ

表 3 構築した常識推論データセットの統計. 表中の数値は問題数を表す.

コアイベントの組を含む。この問題が訓練デー夕に含まれる場合，「お腹が空いたから，駅でご飯を食べる」のよう な同じコアイベントの組を含むイベントペアをべースとする問題はテスト（開発）デー夕に含まれないことを表す. 14 「友達と遊ぶ $\rightarrow$ とても楽しい」などが例として挙げられる.

15 英語の句構造解析には Stanza (Qi et al. 2020) を使用した.

16 「すごく眠い $\rightarrow$ やる気が出ない」などが例として挙げられる.
}

の結果, Social IQA は $1.6 \%^{17}$, 構築したデータセットは $11.3 \%$ であった. 以上の結果から, 構築したデータセットは句の品詞や否定のモダリティを限定しない点でより広範な知識を含んで いると考えられる。

## 5 疑似問題の自動生成

提案手法において，ステップ3のクラウドソーシングを省略することで疑似問題の自動生成 が可能となる (図 2 赤点線). 本研究では, これを利用して擬似問題を大規模に自動生成し, こ のデータ拡張による常識推論タスクおよび関連タスクへの効果を検証した. コアイベント獲得時の頻度に関する閾値や誤り選択肢の抽出条件など, 手法のパラメータは常識推論データセッ トの構築時（4 節）と同じ値に設定した.

## 5.1 疑似問題の生成元となる蓋然的基本イベントペアの自動抽出

3 節の手法に従って, 疑似問題の生成元となる蓋然的基本イベントペアの自動抽出を行った.抽出元のテキストには日本語 33 億文から成るウェブコーパスを利用した. 4.2 節と同じ内製の コーパスの一部を用いているが, 常識推論データセットの構築時に用いた部分との重複はない. この結果, 83.2 万組の蓋然的基本イベントペアが自動抽出された. クラウドソーシングによる 確認で約 $1 / 3$ のイベントペアが除かれたことを考慮すると, 約 50 万組のイベントペアは有効で あることが期待される。

## 5.2 リークへの対処

提案手法に従って大規模テキストから疑似問題を生成する際の懸念として, Data Contamination の問題がある (Brown et al. 2020). テキスト中に評価データと同じもしくは酷似した文が含ま れているために意図せず教師信号を学習し, 性能が過大評価されてしまうというものである.

本研究では, 常識推論データセットのテスト（開発）デー夕に含まれる各問題のべースと酷似 するイベントペアをヒューリスティックにもとづいて事前に除去することで，この問題に対処 する，具体的には，単語の並びおよびコアイベントの組にもとづくフィルタリングを適用する。単語の並びにもとづくフィルタリング ベースと重複する単語の並びの長さが, ベースの単語

数の $75 \%$ 超えるものを除く.

コアイベントの組にもとづくフィルタリング ベースに含まれるコアイベントの組と同じコア イベントの組を含むイベントペアを除く.

例えば，図 1 の問題のベースは「お腹 が空いたので $\rightarrow$ ご飯を食べる」であり，「お腹が空 く $\rightarrow$ ご飯を食べる」というコアイベントの組を含む。これに対し，イベントペア「お腹が空 いたから $\rightarrow$ 友達とご飯を食べる」が上記のフィルタリングによって除かれるか否かを考え る.これらのイベントペアの間で $\{$ お腹,が, 空いた, ご飯, を, 食べる $\}$ という 6 単語の並びが重複し, この長さはベースの単語数 (7) の $75 \%$ を超える。また, 同じコアイベントの組を含むた め, 両方のフィルタリングによって除かれる.

1 点目のフィルタリングは構文的に似ているイベントペアを, 2 点目は内容が似ているイベン トペアを除く目的で適用する。上記のフィルタリングを適用した結果, 77.4 万組の蓋然的基本 イベントペアが獲得された。これらのイベントペアから疑似問題を自動生成した結果, 77.2 万問が生成された。

疑似問題の品質の予備調査 疑似問題の品質を調査するため, 生成された疑似問題から 100 問 を無作為にサンプリングし，解答可能であるか否かを著者らが人手で評価した。この結果, 100 問中 71 問が解答可能であると判断された. 自動生成データであることを考慮すると妥当な品質 であると考えられる。

## 6 計算機による解答実験

まず，構築した常識推論データセットに対する計算機の性能を検証するため，計算機による 解答実験を行った．また，疑似問題による常識推論タスクへの効果を検証した，便宜上，常識推論データセットの訓練データを常識推論問題と呼び, 疑似問題と区別する.

## 6.1 モデル

本研究では, BERT モデル (Devlin et al. 2019) およびXLM-RoBERTa (XLM-R) モデル (Conneau et al. 2020)の性能を検証した. いずれも Transformer (Vaswani et al. 2017) をべースとし た深層学習モデルである.

BERT の事前学習モデルは, 日本語 Wikipedia で事前学習した NICT BERT 日本語 Pre-trained モデル（BPEあり)18を用いた. モデルのアーキテクチャは BERT $\mathrm{BASE}_{\mathrm{BE}}$ と同等であり, RoBERTa (Liu et al. 2019)の訓練設定を一部参照しているために比較的性能が高いことが報告されている.

XLM-R の事前学習モデルは, Wikipedia および CC-100 (Wenzek et al. 2020) から成る大規模多言語コーパスで事前学習したXLM-RoBERTaLARGE モデル19を用いた. モデルのアーキテク

較的大きい.

## 6.2 実験設定

常識推論問題および疑似問題で fine-tuning する際は, ソフトマックス関数で正規化した各選択肢のスコアと, 正解を 1 とする one-hot ベクトルとの間の交差エントロピー誤差を最小化す るように訓練する，各選択肢のスコアは，文脈と選択肢のペアを特殊トークンで区切って入力 し，先頭の特殊トークン ([CLS]) の隠れ状態をスカラーに線形変換することで算出する。擬似問題を訓練に組み込む際は，目的関数 Lを常識推論問題の交差エントロピー誤差と擬似問題の 交差エントロピー誤差の重み付き和で定義する。上記は次の式で表される.

$
\begin{aligned}
H & =-\frac{1}{N} \sum_{k} \log \frac{\exp \left(\mathbf{s}_{k j}\right)}{\sum_{i=1}^{4} \exp \left(\mathbf{s}_{k i}\right)} \\
L & =H_{\text {常識推論問題 }}+\lambda \times H_{\text {疑似問題 }}
\end{aligned}
$

$N$ は訓練事例数, $j \in\{1,2,3,4\}$ は正解選択肢のインデックス, $\mathbf{s}_{k i}$ は $k$ 番目の訓練データの $i$ 番目の選択肢のスコア，入は常識推論問題に対する疑似問題の重みを表す。ハイパーパラメータ の詳細は付録 A に示している。

推論時は最もスコアの高い選択肢を計算機による解答とみなす.モデルの性能はその正解率 で評価した。

比較手法 多肢選択式という形式の効果を検証するため, Task-Adaptive Pre-Training (Gururangan et al. 2020) を参考にした事前学習手法と比較した。具体的には，疑似問題の生成元と なった 88 万組のイベントペアに対して追加の Masked Language Modeling (MLM) タスクを実行し, その後目的のデータセットで fine-tuning した時のモデルの性能を調査した. 便宜上, こ れを“AMLM”と表記する。

## 6.3 実験結果

計算機による解答実験の結果を表 4 に示す 20 。常識推論問題だけでは人間の解答精度との間 に開きがあり，疑似問題によって BERT は 5.4 ポイント，XLM-R は 2.8 ポイントの改善が見ら れる。

図 4 は開発データに対するモデルの学習曲線を表す。図中の×印は疑似問題を加えて finetuning した際の正解率を表すが，最小二乗法で外挿された学習曲線の下に位置している。疑似問題は性能の向上に寄与する一方で, 常識推論問題に対する疑似問題の品質の差やモデルの解答精度が飽和していることが見て取れる。

表 4 構築した常識推論データセットのテストデータに対する正解率. 表中の数値は異なる 3 つのシー ド値で fine-tuning した結果の平均と標準偏差である。また, 矢印 $(\rightarrow)$ は多段階の fine-tuning で あることを表す。例えば，“AMLM $\rightarrow$ 常識推論問題”は疑似問題の生成元となった 88 万組のイベ ントペアに対して追加の Masked Language Modeling タスクを実行し，その後，常識推論問題で fine-tuning することを表す.

図 4 構築した常識推論データセットの開発データに対するモデルの学習曲線. XLM-R は訓練事例数が 少ない時 $\left(N \in\left.\{10^{3}, 3 \times 10^{3}\right.\}\right)$ に学習が進まなかったため, それらの結果については省略した上で 学習曲線を算出している.

## 6.4 定性的分析

計算機の解答結果について定性的分析を行った，図 5 に BERT の正答例と誤答例を示す。誤答例について顕著な傾向は見られなかったが, 文脈と選択肢の間に自立語の重複がある場合に スコアを高く出力する傾向が見られた.

また，図 6 に疑似問題によって BERT が正答するようになった問題例を示す.これらの基本的な蓋然的関係を問う問題に正答するようになったほか，全ての選択肢に低いスコアを付けて 消去法的に誤り選択肢を選んでいた問題に対する改善も見られた。疑似問題によって常識推論問題のカバレッジ不足が補われ，予測の確信度が向上したと考えられる。

## 6.5 選択肢のバイアスの検証

意図しないバイアスがデータセットに含まれているために，問題文の一部を与えるだけで問題が解けてしまうという報告がある (Gururangan et al. 2018; Zellers et al. 2019; Tamborrino et al. 2020). 本研究では, 文脈を省略し, 選択肢のみを入力として与えて訓練・評価した時の

 &  \\

図 5 BERT の正答例と誤答例。 $\checkmark$ 印は正解選択肢であり，×印は BERT の誤答選択肢である。また,文末の数字は BERT が出力したスコア $(\in[-15,15])$ を表す.

図 6 疑似問題によって BERT が正答するようになった問題例。、印は正解選択肢であり，×印は訓練時に疑似問題を使用しなかった際の誤答選択肢である.

図 7 構築した常識推論データセットにおける誤り選択肢の頻度の計数結果.

正解率を測ることで，生成した常識推論問題に含まれるバイアスの有無を検証した．検証にあ たり，モデルおよびハイパーパラメータは 6.1 節および付録 A と同じものを用いた.

文脈を省略し，選択肢のみを入力として与えた時の計算機の正解率は, BERTが $42.6 \%$, XLM-R が $41.3 \%$ であった，文脈を省略しない場合と比較して十分低い精度であり，選択肢のバイアス が小さいことを示している.

一方で，チャンスレート $(25 \%)$ と比較すると開きがあり，この原因を検証するために誤り選択肢の分布を調査した。図 7 は各蓋然的基本イベントペアの後件が誤り選択肢として使い回さ れる頻度を計数した結果を表すが，誤り選択肢の頻度に差があることが分かる。そこで，後件 が誤り選択肢として 5 回以上使い回されないように問題を生成し, そこから 4.5 節に従って構築したデータセットに対して計算機の正解率を同様に検証した. この結果，BERT の正解率が $33.5 \%$, XLM-R の正解率が $33.2 \%$ であった，以上の結果から，誤り選択肢として使い回される 頻度が高いために誤りだと識別しやすいものが存在し, これによって解答精度がチャンスレー トより高くなっていると考えられる。

## 6.6 クラウドソーシングによるフィルタリングの検証

4.3 節で述べたとおり, 本研究ではデータセット構築時にクラウドソーシングによるフィルタ リングの閥値を 4 人中 2 人以上と設定している。これは，評価が割れたイベントペアもしばし ば蓋然的関係があることを予備実験で確認し，再現率を重視したためである。この閥値による データセットへの影響を検証するために，閥値を 3 人以上および 4 人以上に設定して構築した データセットに対する計算機の正解率を調査した。検証にあたり，モデルおよびハイパーパラ

表 5 クラウドソーシングによるフィルタリングの間値を変えて構築した常識推論データセットの統計 （左表）とこれらのデータセットのテストデータに対する正解率（右表). 左表中の数値は問題数,右表中の数値は異なる 3 つのシード値で fine-tuning した結果の平均と標準偏差である.

メータは 6.1 節および付録 $\mathrm{A}$ と同じものを用いた.

閾値を変えて構築したデータセットの統計およびこれらのデータセットに対する計算機の正解率を表 5 に示す。閾値を厳しくすると，訓練事例数は減少するものの計算機の正答率は低下 しないことが見て取れる。この原因として，訓練データの質が向上すると同時に，評価デー夕 に含まれる悩ましい問題が減ることが挙げられる。また，評価データの規模が小さくなること で問われる知識のカバレッジが低下している可能性もある。問題の難易度や多様さをある程度保証する目的で間値を 2 人以上に設定することは妥当であると考えられる.

## 7 蓋然的関係に関する知識の転移学習

蓋然的関係に関する知識の転移可能性を検証するため，常識推論問題および擬似問題からの転移学習による関連タスクへの効果を定量的に評価した。具体的には，常識推論問題および擬似問題で fine-tuning したモデルの重みを初期値として関連タスクでさらに fine-tuning を行い，関連 タスクにおける性能を評価した。本研究では，計算機と人間の間に性能の開きがあるタスクの 中から蓋然的関係または常識推論との関連性を考慮して, 関連タスクとして談話関係解析，日本語 Winograd Schema Challenge (JWSC) (柴田他 2015), JCommonsenseQA (JCQA) (Kurihara et al. 2022) を選択した. モデルは 6.1 節と同様で，ハイパーパラメータは付録 $\mathrm{A}$ に記載した.

## 7.1 関連タスク

談話関係解析 談話関係解析は節間の談話関係を分類するタスクである。本研究が対象とする 蓋然的関係に加えて，「目的」や「譲歩」といった多様な談話関係の理解が要求される． $3.2,4.2$節で述べたとおり，常識推論問題および擬似問題は KNP によって「原因・理由」または「条件」の談話関係があると自動解析されたイベントペアをべースとするため，転移学習によって

これらの談話関係を中心に解析精度の改善が期待される。

談話関係解析に向けた日本語のデータセットとして，京都大学ウェブ文書リードコーパス (KWDLC) (岸本 他 2020) がある. KWDLC は多様なウェブ文書の冒頭 3 文を収集することで 構築されており，その規模は 6,445 文書から成る。これらの文書には，クラウドソーシングを 用いて節間に談話関係が注釈付けされている。また,これらの内 500 文書には専門家による注釈も付与されている。本研究では, クラウドワーカーによる注釈のみが付与された節ぺア約 3.7 万組を訓練データに用い，専門家による注釈が付与された節ぺア 2,320 組の分類精度を 5 分割交差検証で評価した。夕スクは「談話関係なし」を含む談話関係の 7 值分類であり，モデルの 性能は「談話関係なし」を除いた micro-F で評価した。

JWSC WSC は文中の照応詞が指示する先行詞を 2 つ候補から選択するタスクである (Levesque 2011). タスクそのものは共参照解析であるが，解答に常識推論を要するように問題が設計され ている. JWSC ${ }^{21}$ は Rahman and Ng (2012) が作成したWSC を翻訳することで構築されてい る. 問題例を次に示す.

ライオンはシマウマを食べる。それ（ライオン/シマウマ）は捕食動物だからだ。

この例をはじめとして，JWSC は蓋然的関係を間接的に問う問題が多数含まれる。このため,転移学習によってこのような問題に対する正解率の改善が期待される.

3.2 節の後処理によって問題の生成元となるイベントペアは指示代名詞を含まないため, 常識推論問題および擬似問題を中間タスクとして学習すると照応詞に関する知識が忘却され，JWSC に対する性能が悪化する懸念がある。そこで，文中の照応詞を先行詞の候補の 1 つで置換する ことでタスクを 2 択問題に変換し, 訓練データ 2,644 文とテストデータ 1,128 文から成るデータ セットを生成した。開発デー夕は用意されていないため，訓練データを $8: 2$ に分割することで 5 分割交差検証を行い，モデルの性能を正解率および Area Under the ROC Curve (AUC) で評価した。

JCQA JCQA は CommonsenseQA の日本語版であり，基本的な語句に関する知識を問う 5 択問題約 1.1 万問から成る。問題は ConceptNet から抽出した部分グラフをべースにクラウドソー シングを用いて人手で作成されている（2.1 節を参照）。常識推論問題および擬似問題は基本イ ベントから成るため, これらを通して基本的な語句の共起関係を事前に学習することで, JCQA に対する正解率の改善が期待される.

タスクは常識推論問題と同じ多肢選択式であるため, 6.2 節と同様に fine-tuning を行った.モ デルの性能は正解率で評価した。
^{21}$ https://github.com/ku-nlp/Winograd-Schema-Challenge-Ja
}

## 7.2 実験結果

各関連タスクへの転移学習の実験結果および AMLM との比較について述べる.

談話関係解析 表 6 に談話関係解析の実験結果を示す。常識推論問題および疑似問題を中間夕 スクとして解くことで，談話関係解析に有効であることが分かる.

談話関係解析の談話関係ごとの性能を表 7 に示す。常識推論問題および疑似問題から転移学習したモデルは「原因・理由」や「目的」の談話関係において改善が見られる。一方で，「条件」 の談話関係においては改善が見られなかった。また，クラウドワーカーと比較すると，「譲歩」

表 6 談話関係解析の実験結果. 評価指標は「談話関係なし」を除いた micro-F で，表中の数値は異なる 3 つのシード値で fine-tuning した結果の平均と標準偏差である。また，表 4 と同様に矢印 $(\rightarrow)$ は多段階の fine-tuning であることを表す。なお，AMLM は KWDLC の訓練データではなく擬似問題 の生成元となった 88 万組のイベントペアに対して行っている（6.2 節「比較手法」の段落を参照).人間の性能は，専門家とクラウドワーカーの両者による注釈が付与された文書に対して，専門家に よる注釈を正解，クラウドワーカーによる注釈を予測として算出されている.

} & KWDLC & $76 / 138$ & $32 / 43$ & $18 / 37$ & $0 / 6$ & $2 / 19$ & $54 / 84$ & 46.7 \\

表 7 談話関係解析の談話関係ごとの性能. 表中の左側の数字は対応する談話関係の真陽性の数を，右側 の数字は真陽性の数と偽陽性の数の和を表す.

や低頻度の談話関係の適合率に改善の余地がある.

JWSC 表 8 にJWSC のテストデータに対する実験結果を示す。“JWSC”の設定において，一部訓練時に学習が進まない現象 (degenerate run) (Phang et al. 2018; Pruksachatkun et al. 2020) が観測された. この現象は訓練データが小規模である場合によく観測され, 中間タスク転移学習によって軽減できることが報告されているが, 本研究でも同様の結果が確認された.

転移学習による効果については，特に BERTにおいて常識推論問題による性能の向上が見ら れるが，疑似問題の寄与は小さい。JWSC は蓋然的関係だけでなく「譲歩」の談話関係に関す る問題 22 も無視できない程度に含まれるため, 蓋然的関係に関する知識を重点的に学習するこ とはかえって性能を低下させてしまうと考えられる．多様な談話関係を学習することが改善案 として挙げられる。

JCommonsenseQA 表 9 に JCQAの開発データに対する実験結果を示す. XLM-Rにおいて，転移学習による正解率の改善が見られる. JCQA は CC-100 で事前学習したモデルの性能が良い ことが報告されており (Kurihara et al. 2022), ウェブドメインに適応することが改善に繋がると みなされている。このため, 構築した問題と JCQA のドメインが合っており, 基本イベントを 通して基本的な語句の共起関係を学習する効果が表れたと考えられる。ただし，BERTにおけ る正解率の改善幅は小さいため, 構築した問題は Wikipediaのみで事前学習したモデル (BERT) をウェブドメインに適応させるには規模が小さく, CC-100で事前学習したモデル (XLM-R)の 補助データとして効果的であると推測される。

 &  \\

表 8 JWSC のテストデータに対する実験結果．表中の数値は異なる 3 つのシード値で fine-tuning した結果の平均と標準偏差である。†は degenerate run が観測されたことを表す. 参考のため, degenerate run を除いた性能を丸括弧内に記載している。

22 「ジェームズはロバートに頼みごとをした。しかし、彼（ジェームズ/ロバート）は断った。」が例として挙げられる.

 \\

表 $9 \mathrm{JCQA}$ の開発データに対する実験結果．表中の数値は異なる 3 つのシード値で fine-tuning した結果の平均と標準偏差である，参考のため，元論文で報告された性能を丸括弧内に記載している。

AMLM疑似問題の生成元となった 88 万組のイベントペアに対して追加の MLM タスクを実行すると, 常識推論タスクでは改善が見られるが, 関連タスクへの転移学習は概して性能が悪化することが分かる ${ }^{23}$. AMLM では常識推論タスクにのみ有効（特化）した知識を学習してい ると考えられる。

## 8 おわりに

本研究では，基本イベントに基づく常識推論データセットの構築手法を提案した．各問題は 基本的なイベント表現間の蓋然的関係を問う多肢選択式問題である。提案手法を 7.1 億文から 成る日本語ウェブコーパスに適用し，常識推論問題 10.4 万問を含む常識推論データセットを構築した。構築したデータセットを用いて高性能な汎用言語モデルの性能を検証した結果，人間 の性能との間に開きがあることを確認した。

また，提案手法がテキストからの自動抽出をべースとしていることを利用して大規模な疑似問題を自動生成し，これを訓練時に組み込むことによる常識推論タスクおよび関連タスク（談話関係解析，JWSC，JCommonsenseQA）への効果を検証した．実験の結果，蓋然的関係を広範に学習することで，常識推論タスクおよび関連タスクにおいて一定の効果があることを確認

した. これは, 蓋然的関係を推論する能力が自然言語理解において重要であることを改めて示唆している.

今後の課題として, データセットの高品質化・高難易度化が挙げられる. 例えば, 提案手法 は蓋然的基本イベントペアから常識推論問題を自動生成するため, 生成された問題の解答可能性を保証していない. また，クラウドソーシングによるフィルタリングを適用しても， ウェブ テキストにありがちな質の悪い文を完全に除くことはできていない.このため, 構築したデー タセットには解答不能な問題や悪文を含む問題が存在する。これを解決するためには, クラウ ドソーシングなどの人手で問題を修正・選別することが必要であると考えられる．高難易度化 については，選択肢をより紛らわしいものに修正するというアプローチに加えて，選択肢間の 序列や推論の理由を問うといったタスクの発展も考えられる。この他にも, 蓋然的関係たけで なく多様な談話関係を学習することによる自然言語理解タスクへの効果の検証や文章読解問題 の作問支援といった人間の学習への応用なども検討したい.

本研究の限界として, 提案手法は reporting bias (Gordon and Van Durme 2013), 即ち当たり 前のことはわざわざ書かないというテキストの性質のために, 対象とする常識のカバレッジが不十分である可能性が無視できない. この問題に対しては, SWAGで用いられた動画キャプショ ンのような意図的に書き起こされたテキストなどを取り入れることで軽減されると考えられる。

## 謝 辞

本研究は (公財) 日本漢字能力検定協会の支援を受けた。 また, 第一著者は京都大学 科学技術 イノベーション創出フェローシップ (情報・AI分野) およびJSPS 特別研究員奨励費 JP22J15958 の支援を受けた。

## 参考文献

Bisk, Y., Zellers, R., Le bras, R., Gao, J., and Choi, Y. (2020). "PIQA: Reasoning about Physical Commonsense in Natural Language." In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 7432-7439.

Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., et al. (2020). "Language Models are Few-Shot Learners." In Larochelle, H., Ranzato, M., Hadsell, R., Balcan, M., and Lin, H. (Eds.), Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc.

Conneau, A., Khandelwal, K., Goyal, N., Chaudhary, V., Wenzek, G., Guzmán, F., Grave, E., Ott, M., Zettlemoyer, L., and Stoyanov, V. (2020). "Unsupervised Cross-lingual Represen-
tation Learning at Scale." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online. Association for Computational Linguistics.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

榎本悠, 嶋田和孝 (2022). 生成的自然言語推論のためのデー夕収集とモデル構築. 信学技報, NLC2021-39, 121 巻, pp. 62-67, ONLINE. [H. Enomoto and K. Shimada (2022). Generating the Next Action from Sequence Event Pairs Automatically Acquired from Twitter. IEICE Tech. Rep.].

Gordon, J. and Van Durme, B. (2013). "Reporting Bias and Knowledge Acquisition." In Proceedings of the 2013 Workshop on Automated Knowledge Base Construction, AKBC '13, pp. 25-30.

Gururangan, S., Marasović, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., and Smith, N. A. (2020). "Don't Stop Pretraining: Adapt Language Models to Domains and Tasks." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8342-8360, Online. Association for Computational Linguistics.

Gururangan, S., Swayamdipta, S., Levy, O., Schwartz, R., Bowman, S., and Smith, N. A. (2018). "Annotation Artifacts in Natural Language Inference Data." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 107-112, New Orleans, Louisiana. Association for Computational Linguistics.

Huang, L., Le Bras, R., Bhagavatula, C., and Choi, Y. (2019). "Cosmos QA: Machine Reading Comprehension with Contextual Commonsense Reasoning." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2391-2401, Hong Kong, China. Association for Computational Linguistics.

Hwang, J. D., Bhagavatula, C., Le Bras, R., Da, J., Sakaguchi, K., Bosselut, A., and Choi, Y. (2021). "COMET-ATOMIC 2020: On Symbolic and Neural Commonsense Knowledge Graphs." In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 6384-6392.

Kavumba, P., Inoue, N., Heinzerling, B., Singh, K., Reisert, P., and Inui, K. (2019). "When

Choosing Plausible Alternatives, Clever Hans can be Clever." In Proceedings of the 1st Workshop on Commonsense Inference in Natural Language Processing, pp. 33-42, Hong Kong, China. Association for Computational Linguistics.

Kawahara, D. and Kurohashi, S. (2006). "Case Frame Compilation from the Web using HighPerformance Computing." In Proceedings of the 5th International Conference on Language Resources and Evaluation (LREC'06), Genoa, Italy. European Language Resources Association (ELRA).

Kawahara, D., Peterson, D., Popescu, O., and Palmer, M. (2014). "Inducing Example-based Semantic Frames from a Massive Amount of Verb Uses." In Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics, pp. 58-67, Gothenburg, Sweden. Association for Computational Linguistics.

岸本裕大, 村脇有吾, 河原大輔, 黒橋禎夫 (2020). 日本語談話関係解析：タスク設計・談話標識 の自動認識・コーパスアノテーション. 自然言語処理, 27 (4), pp. 889-931. [Y. Kishimoto et al. (2020). Japanese Discourse Relation Analysis: Task Definition, Connective Detection, and Corpus Annotation. Journal of Natural Language Processing, 27(4), pp. 889-931.].

Kurihara, K., Kawahara, D., and Shibata, T. (2022). "JGLUE: Japanese General Language Understanding Evaluation." In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France. European Language Resources Association.

Kurohashi, S. and Nagao, M. (1994). "KN Parser: Japanese Dependency/Case Structure Analyzer." In Proceedings of the Workshop on Sharable Natural Language, pp. 48-55.

Levesque, H. (2011). "The Winograd Schema Challenge." In AAAI Spring Symposium - Technical Report.

Lin, B. Y., Zhou, W., Shen, M., Zhou, P., Bhagavatula, C., Choi, Y., and Ren, X. (2020). "CommonGen: A Constrained Text Generation Challenge for Generative Commonsense Reasoning." In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 1823-1840, Online. Association for Computational Linguistics.

Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., and Stoyanov, V. (2019). "RoBERTa: A Robustly Optimized BERT Pretraining Approach." CoRR, abs/1907.11692.

Lourie, N., Le Bras, R., Bhagavatula, C., and Choi, Y. (2021). "UNICORN on RAINBOW: A Universal Commonsense Reasoning Model on a New Multitask Benchmark." In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 13480-13488.

Morita, H., Kawahara, D., and Kurohashi, S. (2015). "Morphological Analysis for Unsegmented

Languages using Recurrent Neural Network Language Model." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2292-2297, Lisbon, Portugal. Association for Computational Linguistics.

Mosbach, M., Andriushchenko, M., and Klakow, D. (2021). "On the Stability of Fine-tuning BERT: Misconceptions, Explanations, and Strong Baselines." In International Conference on Learning Representations.

Omura, K., Kawahara, D., and Kurohashi, S. (2020). "A Method for Building a Commonsense Inference Dataset based on Basic Events." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2450-2460, Online. Association for Computational Linguistics.

Omura, K. and Kurohashi, S. (2022). "Improving Commonsense Contingent Reasoning by Pseudo-data and its Application to the Related Tasks." In Proceedings of the 29th International Conference on Computational Linguistics, pp. 812-823, Gyeongju, Republic of Korea. International Committee on Computational Linguistics.

Phang, J., Févry, T., and Bowman, S. R. (2018). "Sentence Encoders on STILTs: Supplementary Training on Intermediate Labeled-data Tasks." CoRR, abs/1811.01088.

Prasad, R., Dinesh, N., Lee, A., Miltsakaki, E., Robaldo, L., Joshi, A., and Webber, B. (2008). "The Penn Discourse TreeBank 2.0." In Proceedings of the 6th International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Morocco. European Language Resources Association (ELRA).

Prasad, R., Webber, B., Lee, A., and Joshi, A. "The Penn Discourse TreeBank 3.0." https://catalog.ldc.upenn.edu/LDC2019T05.

Pruksachatkun, Y., Phang, J., Liu, H., Htut, P. M., Zhang, X., Pang, R. Y., Vania, C., Kann, K., and Bowman, S. R. (2020). "Intermediate-Task Transfer Learning with Pretrained Language Models: When and Why Does It Work?" In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5231-5247, Online. Association for Computational Linguistics.

Qi, P., Zhang, Y., Zhang, Y., Bolton, J., and Manning, C. D. (2020). "Stanza: A Python Natural Language Processing Toolkit for Many Human Languages." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 101-108, Online. Association for Computational Linguistics.

Rahman, A. and Ng, V. (2012). "Resolving Complex Cases of Definite Pronouns: The Winograd Schema Challenge." In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, pp. 777-789,

Jeju Island, Korea. Association for Computational Linguistics.

Roemmele, M., Bejan, C., and Gordon, A. (2011). "Choice of Plausible Alternatives: An Evaluation of Commonsense Causal Reasoning." In AAAI Spring Symposium - Technical Report.齋藤純, 坂口智洋, 柴田知秀, 河原大輔, 黒橋禎夫 (2018). 述語項構造に基づく言語情報の基本単位のデザインと可視化. 言語処理学会第 24 回年次大会発表論文集, pp. 93-96, 岡山. [J. Saito et al. (2018). Jutsugo Ko Kozo ni Motozuku Gengo Joho no Kihon Tan'i no Dezain to Kashika. Proceedings of the 24th Annual Meeting of the Association for Natural Language Processing, pp. 93-96.].

Sakaguchi, K., Le Bras, R., Bhagavatula, C., and Choi, Y. (2020). "WinoGrande: An Adversarial Winograd Schema Challenge at Scale." In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 8732-8740.

Sap, M., Le Bras, R., Allaway, E., Bhagavatula, C., Lourie, N., Rashkin, H., Roof, B., Smith, N. A., and Choi, Y. (2019a). "ATOMIC: An Atlas of Machine Commonsense for If-Then Reasoning." In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, pp. 3027-3035.

Sap, M., Rashkin, H., Chen, D., Le Bras, R., and Choi, Y. (2019b). "Social IQa: Commonsense Reasoning about Social Interactions." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4463-4473, Hong Kong, China. Association for Computational Linguistics.

柴田知秀, 小浜翔太郎, 黒橋禎夫 (2015). 日本語 Winograd Schema Challenge の構築と分析. 言語処理学会第 21 回年次大会発表論文集, pp. 493-496, 京都. [T. Shibata et al. (2015). Nihon Go Winograd Schema Challenge no Kochiku to Bunseki. Proceedings of the 21th Annual Meeting of the Association for Natural Language Processing, pp. 493-496.].

Speer, R., Chin, J., and Havasi, C. (2017). "ConceptNet 5.5: An Open Multilingual Graph of General Knowledge." In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 31, pp. 4444-4451.

Srivastava, A., Rastogi, A., Rao, A., Shoeb, A. A. M., Abid, A., Fisch, A., Brown, A. R., Santoro, A., Gupta, A., Garriga-Alonso, A., et al. (2022). "Beyond the Imitation Game: Quantifying and Extrapolating the Capabilities of Language Models." CoRR, abs/2206.04615.

Staliūnaite, I., Gorinski, P. J., and Iacobacci, I. (2021). "Improving Commonsense Causal Reasoning by Adversarial Training and Data Augmentation." In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 13834-13842.

鈴木雅人，新納浩幸 (2022). 日本語 CommonGen の試作と入力単語間の関連性からの考察. 情
報処理学会 第 253 回自然言語処理研究会, 20 号, pp. 1-8, 京都. [M. Suzuki and H. Shinnou (2022). Nihon Go CommonGen no Shisaku to Nyuryoku Tango Kan no Kanren Sei kara no Kosatsu. Proceedings of the 253th Meeting of Special Interest Group of Natural Language Processing.].

Talmor, A., Herzig, J., Lourie, N., and Berant, J. (2019). "CommonsenseQA: A Question Answering Challenge Targeting Commonsense Knowledge." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4149-4158, Minneapolis, Minnesota. Association for Computational Linguistics.

Tamborrino, A., Pellicanò, N., Pannier, B., Voitot, P., and Naudin, L. (2020). "Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3878-3887, Online. Association for Computational Linguistics.

Tolmachev, A., Kawahara, D., and Kurohashi, S. (2018). "Juman++: A Morphological Analysis Toolkit for Scriptio Continua." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, Brussels, Belgium. Association for Computational Linguistics.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Guyon, I., Luxburg, U. V., Bengio, S., Wallach, H., Fergus, R., Vishwanathan, S., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc.

Wang, A., Pruksachatkun, Y., Nangia, N., Singh, A., Michael, J., Hill, F., Levy, O., and Bowman, S. (2019a). "SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems." In Advances in Neural Information Processing Systems, Vol. 32, pp. 3266-3280. Curran Associates, Inc.

Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., and Bowman, S. R. (2019b). "GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding." In International Conference on Learning Representations.

Wenzek, G., Lachaux, M.-A., Conneau, A., Chaudhary, V., Guzmán, F., Joulin, A., and Grave, E. (2020). "CCNet: Extracting High Quality Monolingual Datasets from Web Crawl Data." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 4003-4012, Marseille, France. European Language Resources Association.

Ye, Z.-X., Chen, Q., Wang, W., and Ling, Z.-H. (2019). "Align, Mask and Select: A Simple Method for Incorporating Commonsense Knowledge into Language Representation Models."

CoRR, abs/1908.06725.

Zellers, R., Bisk, Y., Schwartz, R., and Choi, Y. (2018). "SWAG: A Large-Scale Adversarial Dataset for Grounded Commonsense Inference." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 93-104, Brussels, Belgium. Association for Computational Linguistics.

Zellers, R., Holtzman, A., Bisk, Y., Farhadi, A., and Choi, Y. (2019). "HellaSwag: Can a Machine Really Finish Your Sentence?" In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4791-4800, Florence, Italy. Association for Computational Linguistics.

## 付録

## A ハイパーパラメータ

表 10，11，12，13，14に実験で使用したハイパーパラメータの一覧を示す. XLM-R は学習率を低く設定すると学習が安定したため, BERTの学習率より低く設定した. また, 入力の最大系列長はいずれの実験も 128 に設定した.

表 10 常識推論問題および擬似問題の fine-tuning 時に使用したハイパーパラメータ.

表 11 KWDLC の fine-tuning 時に使用したハイパーパラメータ.

表 12 JWSC の fine-tuning 時に使用したハイパーパラメータ。学習を安定させるため, Mosbach et al. (2021)を参考にエポック数を大きく設定している.

表 13 JCQA の fine-tuning 時に使用したハイパーパラメータ.

表 14 AMLM 実行時に使用したハイパーパラメータ。パラメータ值は Gururangan et al. (2020)を参照 した.

## 略歴

大村和正：2019 年京都大学工学部電気電子工学科卒業. 2021 年京都大学大学院情報学研究科修士課程修了. 同年京都大学大学院情報科学研究科博士課程 に進学，現在に至る。修士（情報学)。自然言語処理の研究に従事。2022 年度より日本学術振興会特別研究員 (DC2)

河原大輔：1997 年京都大学工学部電気工学第二学科卒業. 1999 年同大学院修士課程修了。2002 年同大学院博士課程単位取得認定退学. 東京大学大学院情報理工学系研究科学術研究支援員, 独立行政法人情報通信研究機構主任研究員, 京都大学大学院情報学研究科准教授を経て, 2020 年より早稲田大学基幹理工学部情報通信学科教授. 自然言語処理, 知識処理の研究に従事. 博士 (情報学).

黒橋 禎夫：1994 年京都大学大学院工学研究科博士課程修了. 博士 (工学). 2006 年 4 月より京都大学大学院情報学研究科教授. 2023 年 4 月より同特定教授および国立情報学研究所長を併任. 自然言語処理, 知識情報処理の研究に 従事. JST さきがけ「社会システムデザイン」研究総括 $(2016 \sim 2022)$, 文部科学官（2020～2022）等を歴任．言語処理学会 10 周年記念論文賞，同 20 周年記念論文賞, 第 8 回船井情報科学振興賞，2009 IBM Faculty Award，文部科学大臣表彰科学技術賞等を受賞.

(2023 年 4 月 27 日受付)

(2023 年 8 月 9 日 再受付)

(2023 年 9 月 21 日 採録)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# Early Discovery of Disappearing Entities in Microblogs

赤崎智 $\dagger$

## 1 はじめに

本稿では ACL2023で採択された表題の論文 (Akasaki et al. 2023)について, 着想から採択ま での経緯や論文の概要について述べる。紙面の都合上説明を大幅に省略している箇所が多々あ るが，適宜論文の方を参照していただけると幸いである。

## 2 着想までの経緯

筆者は博士後期課程在籍時, マイクロブログからの情報抽出を大枠のテーマとしていた. その枠 の一つとして取り組んでいた研究 "Early Discovery of Emerging Entities in Microblogs (Akasaki et al. 2019)”が IJCAI2019 に採択され，次の課題を考えている時期のことである．IJCAI2019 の研究はマイクロブログから新作の映画や音楽，新しくできる場所やイベントといった新エン ティティを発見するという取り組みであり，これに続く課題はないかと思案していた。あれこ れ考えああでもないこうでもないと唸り，Twitter（現X）のアプリを開いては時間を潰すとい うことを繰り返していた。いつものようにタイムラインを眺めていると，筆者がかつて訪ねた とある飲食店が閉店したというツイートが目に入った。「いつの間に閉店したんた」，「閉店前に もう一度行きたかった」と残念がると同時に，ある閃きを得た。

先の取り組みで対象とした新エンティティというのは現実世界に新しく誕生したエンティティ を指し，いわゆるエンティティの“最初”というものを扱っている。逆に言えば先ほど挙げた閉店してしまった飲食店のように，エンティティの“最後”というものがあるのでは？と考えた．我々人間や生物は死んでしまうことで世から消えてしまうし，音楽グループや政治団体なども そのうち解散し，お店やサービスもいつしか終了し利用ができなくなってしまう。このような, エンティティが現実世界から消失するという情報も，新しく誕生するという情報に劣らず重要 であり，知識ベースの整備やトレンド分析に役立てることができる。また，お店やイベントな どについては，（先の例で筆者が後悔したように）消失後に認識してしまうという機会損失を防 ぐため，それ以前のなるべく早い段階で消失を知ることが重要である。これらを踏まえ，消失 エンティティを早期に発見するという課題に取り組むこととした.

## 3 新エンティティの発見

最初に, 本研究で用いた手法のベースとなった Akasaki et al. のマイクロブログから新エン ティティを発見する手法について概要を説明する。この研究では, 新エンティティはマイクロ ブログで最初に言及される時,「新作」,「発表」，「予定」などの，そのエンティティの新規性を 示唆する文脈が現れることを報告している。そのため，これらの新規文脈を含む投稿を収集し 機械学習モデルに学習させることで，新エンティティをそれが現れてすぐに発見することがで きるモデルを構築できる. しかしながら, 人名や作品など様々な夕イプを持つ新エンティティ の新規文脈を言語毎に人手でアノテーションしデータセットを構築することは労力がかかる.

そこで知識ベースとマイクロブログの投稿のタイムスタンプを利用した Distant supervision (Mintz et al. 2009) である Time-sensitive distant supervision （図 1）を提案し, Wikipedia のエ ンティティの最初期の投稿を大量かつ自動的に収集することで新規文脈を獲得した. このとき，機械学習を行うためには負例となる文脈を収集する必要がある。そのため, 新規文脈の対とな る文脈，すなわちエンティティの新規性が失われ世間に普及した文脈を普及文脈とみなし，新規文脈を収集した時期からしばらく経った投稿を集めることでそれらを獲得した. 収集した新規文脈と普及文脈を固有表現抽出モデルで学習し，新規文脈で現れる新エンティティを認識す るモデルを構築した。

図 1 新エンティティの発見手法の概要図. Wikipedia の各エンティティの最初期の投稿を新規文脈（正例）そこから時間が経った投稿を普及文脈（負例）として収集する。正例のエンティティにのみ エンティティ文字列の位置を示す 'BIES'タグ，それ以外に ' $\mathrm{O}$ 'タグを割り当て，固有表現抽出モ デルを学習する.

## 4 消失エンティティの発見

ここまでで勘のいい読者であれば，消失の際に「終了」，「閉店」，「死亡」などの消失文脈が 現れる消失エンティティも，同様の手法を用いることで発見することが可能だと考えるだろう. しかしながら，エンティティについて最初の時期の投稿が新規文脈となる新エンティティと異 なり, エンティティについて最後（最新）の投稿が消失文脈になるとは限らない. なぜならば,消失エンティティはそれが実際に消失した後でも, 言及され続けることがあるからだ（図 2 下）. そのため, 単純に Time-sensitive distant supervision を適用，すなわちエンティティについて最後の投稿を集めると，消失文脈とは関係のないノイジーな投稿を収集してしまうことになる.

## 4.1 Time-sensitive distant supervision の改良

そこで，単純に最後の投稿を収集するのではなく，エンティティが実際に消失する夕イミン グの投稿を収集することを考える。ここで我々は，Wikipedia においてエンティティが消失し た年が記載される1ことに気づいた。そのため, Time-sensitive distant supervision を行う際にこ れらの年に言及頻度が高い時期を対象として投稿を収集した。これにより消失文脈を含んだ投稿を集めることが可能となる。そしてここで集めた時期より十分に前の投稿を，負例の消失前文脈として収集し, 固有表現抽出モデルを学習するためのデータセットを構築した（図 2）.

図 2 消失エンティティの発見手法の概要図. Wikipedia の各エンティティが消失した年に最も言及頻度 が高いタイミングの投稿を消失文脈（正例）そこから十分に前の投稿を消失前文脈（負例）とし て収集する。正例のエンティティにのみエンティティ文字列の位置を示す 'BIES'タグ，それ以外 に'O'タグをを割り当て，固有表現抽出モデルを学習する。
^{1}$ https://en.wikipedia.org/w/index.php?title=Category:Endings_by_year\&from=2000
}

## 4.2 事前学習済み単語分散表現の追加学習

また，学習した固有表現抽出モデルで消失エンティティを検出する際も工夫を加えた。モデル を適用するマイクロブログの投稿は短くノイジーであるため，ニュースや新聞記事などの整つ たテキストを対象とする際よりも検出精度が下がりやすい。これに対し，マイクロブログにお いて関連する話題の投稿が短期間で複数出現することに着目し, この特徴をモデルに加える方法を提案した（図 3)，具体的には，モデルに入力する検出対象の投稿について，その投稿日の マイクロブログのテキストストリームを用いて事前学習済みの単語分散表現の追加学習を行う. これにより更新した単語分散表現を図のように追加で入力することにより, 検出モデルは入力投稿外の大域的な投稿群をも考慮しつつ, 頑健に消失エンティティの認識を行うことができる.

## 4.3 実験設定

実験ではマイクロブログとしてTwitter（現X）を用い, 実際に Time-sensitive distant supervision を用いて日英のデータセットを構築した。これらのデータセットを用いて BERT による固有表現抽出モデルの学習および fastTextを用いた事前学習済み単語分散表現の追加学習を行う。ベー スラインとしては, 改良なしの Time-sensitive distant supervision, すなわちエンティティにつ いて単に最後の投稿を正例，そこから十分に前の時期の投稿を負例として集める手法でデータ セットを構築し，BERTによる固有表現抽出モデルを学習した。

これらのモデルを別途人手で作成したテストデータ用の投稿に適用し, 固有表現抽出の性能評価を行った。また，消失エンティティが消失前に早期発見できるかを確認するため, Wikipedia 上で消失エンティティが消失したと記録されたタイミングを編集履歴から取得し，そのタイミ ングよりどれだけ早くにTwitter から消失エンティティを発見できるかを評価した。

図 3 消失エンティティを発見するモデルの図. モデルに入力される投稿の日付を利用し，その日付の投稿群で学習済み単語分散表現の追加学習を行う（右），得られた単語分散表現をモデルに入力する (左).

## 4.4 実験結果

結果としては，改良した Time-sensitive distant supervision を用いた手法がベースラインの性能を上回り, 単語分散表現の追加学習を行うことで更なる精度向上が可能なことを確認した.

早期発見についても，日英ともにWikipedia の更新より平均して一ヶ月以上早く（人名タイ プを除けば四ヶ月以上早く）消失エンティティを発見できることを確認した。

## 4.5 採択までの経緯

本研究は冒頭で述べた通り 2019 年には構想が出来ていたが, 先に賞味期限の短い別の課題に 取り組んだ都合上発表は NLP2022 が初出となった。そこで幸いにも若手奨励賞を頂き，英語化 したものを COLING2022に投稿したが不採択で，続くEACL2023でも不採択であった。主な 指摘点は IJCAI2019 の論文からの差分が不明膫であることや，モデル及び評価指標の妥当性に ついてであった. 本研究のような新タスク系の課題はベンチマーク系の課題のように競争とな ることが基本的にはなくのんびりと研究に取り組めるが，論文化の際にタスクに説得力を持た せることが難しい. ACL2023への投稿時はその部分を重点的に推敲し，無事採択へと至った.

## 参考文献

Akasaki, S., Yoshinaga, N., and Toyoda, M. (2019). "Early Discovery of Emerging entities in microblogs." In Proceedings of the 28th International Joint Conference on Artificial Intelligence (IJCAI), pp. 4882-4889.

Akasaki, S., Yoshinaga, N., and Toyoda, M. (2023). "Early Discovery of Disappearing entities in microblogs." In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (ACL), pp. 4507-4520.

Mintz, M., Bills, S., Snow, R., and Jurafsky, D. (2009). "Distant Supervision for Relation Extraction without Labeled Data." In Proceedings of the Joint Conference of the 47th Annual Meeting of the Association for Computational Linguistics and the 4th International Joint Conference on Natural Language Processing (ACL-IJCNLP), pp. 1003-1011.

## 略歴

赤崎 智：2022 年東京大学大学院情報理工学系研究科博士後期課程修了. 日本学術振興会特別研究員 DC1 を経て, 2022 年 4 月より, LINEヤフー株式会社 LINE ヤフー研究所（旧 Yahoo! JAPAN 研究所）主任研究員. 自然言語処理，特に情報抽出，対話システム，ウェブマイニングを対象とし研究活動を 行っている. 博士 (情報理工学).


# Subset Retrieval Nearest Neighbor Machine Translation

出口 祥之
}

本稿では, ACL2023に採択された "Subset Retrieval Nearest Neighbor Machine Translation" (Deguchi et al. 2023)（原論文）について，原論文に書ききれなかったような，着想に至った経緯や研究過程，機械翻訳や近傍探索分野の現状などを交えながら解説する。先行研究や提案法 については概要のみを記すため，数式などの詳細は適宜原論文あるいは NLP2023で発表した 「近傍文検索を用いたサブセット $\mathrm{kNN}$ ニューラル機械翻訳」1を参照していただきたい。
## 1 背景

本稿を執筆している 2023 年 9 月現在，自動翻訳や文法誤り訂正，大規模言語モデル (LLM) によるチャットボットなど，さまざまな自然言語処理サービスが台頭している。これらはほと んどが 2017 年に発表された Transformer (Vaswani et al. 2017) という構造のニューラルネット ワークを基礎としたモデルにより実現されている。Transformer はそれまでの機械翻訳手法の 翻訳精度を大きく上回るだけでなく，自然言語処理のさまざまな夕スク，さらには，画像処理 など多岐にわたる分野の予測精度を向上させ，注目を浴び続けている。

しかし，その精度と引き換えにモデルの訓練にはコストがかかる。ここで，例えば，時事に 基づく質問応答のように知識の更新が頻繁に要求されるタスクを考えると, 都度最新のデータ を使って追加訓練する必要が生じる。あるいは，元の訓練データに含まれていなかった新しい ドメインに適応させるためには，対象のドメインデータで追加訓練する必要がある。このよう な状況ではモデルを更新するたびに訓練コストがかさんでしまう。さらに，「以前はこの文章が うまく翻訳できていたのにモデルの更新により精度が下がってしまった」といったような,「忘却」と呼ばれる現象もしばしば目にする.

これらの問題に対処するため，翻訳時に類似した翻訳例を参照しながら訳文を作るという用例べース手法2を取り入れた $k \mathrm{NN}-\mathrm{MT}($ Khandelwal et al. 2021) というモデルが提案された. 翻訳用例を検索し， モデルの予測と組み合わせて訳文を生成することで，更新はモデルの追加学習ではなくデータベースに翻訳用例を追加する操作だけで実現でき，また翻訳時に必要に応じ
)$ ”というキーワードがこのトピックを指すことが多い.
}

て用例を使用するかどうか柔軟に切り替えられるため, 忘却現象も回避できる. さらに，副次的な効果として，訳文を生成するために参照した翻訳用例を提示することも可能であり，解釈性の向上も期待できる。

$k$ NN-MT は翻訳前に予めデータストアと呼ばれる用例データベースを構築し，翻訳時はデー タストアから近傍事例を検索して出力確率を補正する。データストアは, 訓練済みの NMT モ デルに対訳文を入力した際のデコーダ最終層の中間表現ベクトル（キー）と，そのときに出力さ れるべき正解の単語（值）のペアからなる。キーベクトルは語彙ごとの埋め込みではなく, 文脈情報を含んだ中間表現ベクトルであるため，データストアの大きさは対訳データの目的言語側 の全単語数に比例する ${ }^{3}$. 翻訳時は各時刻においてデータストアから近傍 $k$ 個の単語を探索し,近傍事例のキーベクトルとの間の L2 距離から $k \mathrm{NN}$ 予測確率に変換し, NMT の元の予測確率 と線形補間することで出力確率を得る.

## 2 課題の発見から原因の究明へ

課題の発見 当初, 私は指導教員の渡辺太郎先生との雑談から, $k \mathrm{NN}-\mathrm{MT}$ の柔軟性や翻訳精度 を改善できないだろうか, という動機で研究を始めた. しかし, 研究を始めてまもなく, 先に 解決したい 2 つの課題に直面した， 1 つ目は，実装がない 4 こと， 2 つ目は，翻訳速度が通常の Transformer と比較して非常に遅くなることであった.

まずは使える実装がないと研究が始まらないので再現実装に取り組んだ，論文の情報から実装を再現するのはなかなか骨の折れる作業ではあるが，学部・修士のときに所属していた研究室で当時の指導教員である二宮崇先生に「研究においては使う側ではなく作る・創る側になり なさい」と言われたことを思い出しながら作業を完遂した。いざ実装を動かしてみると，精度評価以前に，いつまで経っても訳文生成が終わらなかった。「 $k$ NN-MT は通常のモデルと比較 して翻訳速度が大幅に低下する」という欠点は元論文 (Khandelwal et al. 2021)でも言及されて いるが，これは実用化が極めて難しいと感じるレべルであっだ ${ }^{5}$ 、そこで，まずは現実的な速度 で翻訳できるようにしたいと思い始めた。

原因の究明 $k$ NN-MTはなぜ遅いのか. C 言語の生みの親である Rob Pike は次のような言葉 を述べている: “Measure. Don’t tune for speed until you’ve measured”. 用例検索部分が遅い, というのはなんとなく推測できるが，実際に計測してみると，「単語単位で構築された巨大な
$ となった.

4 現在は著者実装を含めていくつかの実装が公開されている.

5 原論文で取り組んだ WMT'19 独英翻訳実験では， $k$ NN-MT の翻訳速度は通常の Transformer モデルより 325 倍遅くなった．例として 1 文を 1 秒で生成するモデルを考えると， $k$ NN-MT の導入により 1 文生成するのに 5 分 25 秒かかる計算になる。なお, 検証データのサイズは 2,000 文である.
}

データストアに対して, 出力文の単語数と同じ回数近傍探索している」ことが速度低下の本質 であるということに気がついた6 6 .このため, 出力単語数と同じ回数分計算される 1 回あたりの 検索コストをいかに抑えるかが速度改善の肝となる。

## 3 提案法と研究過程

提案法は次の 2 つの手法により $k \mathrm{NN}-\mathrm{MT}$ の翻訳速度を改善する:

(1) 探索空間の削減: 入力文に類似した文の用例のみを検索対象とする（図 1）.

(2) 効率的な距離計算: (1) により絞り込んだサブセット中の各キーベクトルとクエリベクト ルとの間の距離を，事前に計算した距離テーブルのルックアップにより求める.

故きを温ねて新しきを知る 渡辺先生とのミーティングで「 $k$ NN-MT は出力単語の類似度だけ で計算しているから, 入力側の類似度を使えると嬉しい.」という議論を交わし, このアイデア を深めることにした。だんだん NMT の研究というより用例べース翻訳 (EBMT) の研究になっ てきた気がした。最先端の技術と昔の研究が時代を越えて繋がり，私がその橋渡しの役目を担 うという点で，わくわくする感覚を味わったのは今でも強く覚えている。この頃が本研究の過程で一番楽しかった時期かもしれない. EBMT の研究をやるからには，ということで，その道 の始まりにあたる長尾真先生のアナロジーに基づくEBMT (Nagao 1984)をはじめ，古い文献 を漁り，大学からすぐ近くの国立国会図書館で夢中になって読んた。1984 年に提案された「原言語文側で類似した事例の対訳を参照する」というアイデアを現代の NMT に融合させる作業 に勤しんだ (手法 (1); 図 1 ; 原論文 3.1 節).

図 1 近傍文検索による探索空間の削減

新たな課題の発見と他分野との出会い 前述の探索空間の削減だけではまだ十分に実用的な翻訳速度を得られなかった。ここで， ベクトル近傍探索分野において高速な探索法を研究されて いる松井勇佑先生という方が東京大学にいらっしゃるという話を耳にし, 直接コンタクトをと り，近傍探索の基本から最先端の探索アルゴリズムまでの概観を教わった. ところで，私の手法は「入力に応じて毎回動的に近傍探索の検索対象が変わる」という特徴がある．実はこのよ うな設定の探索問題は，近傍探索の分野においてあまり考えられてこなかった特殊なケースで あり，ほとんどの探索アルゴリズムは全探索に最適化されているため，動的に変化するサブセッ トに対する探索に適用できない。私の知る限りこの問題に正面から向き合った研究は唯一 1 件 (Matsui et al. 2018) 存在し，この論文にヒントを得ながら，サブセット探索に最適な探索アル ゴリズム（手法 $(2)$; 原論文 3.2 節）を実装した. これにより，ようやく 100 倍高速化という目標を達成し，実用的な速度（通常の Transformer の $50 \%$ 程度の翻訳速度）で動作することを確認したため，原論文の執筆に移った.

## 4 ACL2023: 採択から発表まで

採択の通知が来るまでは，「精度競争の激しいこの時代に高精度化ではなく高速化に着目した 論文ははたしてどれほど評価されるのだううかといった不安半分と, 一方で「高精度化や解釈性の向上に寄与するようなモデルを実用的な速度で動くようにしたという貢献は評価してい ただけるのではないだろうか」という期待半分を抱えながら結果を待った. ちょうどゴールデ ンウィークの始まりの夜中に通知メールが届き，緊張しながら文面を開くと，「accepted」の文字が目に飛び込んだ。結果はすぐさま共著者全員に共有した．特に，findingsではなくmainの プロシーディングス (Volume 1: Long Papers) に採択されたことは嬉しく, 自分の研究の貢献 が評価される喜びを味わった.

開催地のトロントは 7 月でもそこまで暑くなく，朝に会場裏の湖のほとりを散歩するのが心地よかった，湖面を見ていると，実装から実験，論文投稿までの道のり，採択までの不安，発表準備などでここしばらく熱くなりすぎていた自分に気がつき，自然を感じられるくらいまで 気持ちに余裕ができたことに安心感を覚えた。

ACLのチュートリアルは大規模言語モデルに検索機構を組み込むといった用例べース手法に 関連する “Retrieval-based Language Models and Applications”という発表を聴講した。この発表は会場が満席になるくらい聴講者が多かったのが印象的だった. 私の研究と同じ方向性の用例ベース手法が注目を浴びているということから, 改めて原論文の研究意義と用例ベース手法 への期待を感じた，本会議では，やはり ChatGPT 登場以降初の ACL ということもあり，LLM に関する発表が賑わっていた。，個人的には，「LLMがどこから翻訳を学習したのか？」という問 いに対して訓練事例を詳細に調べ上げた研究 (Briakou et al. 2023)の発表が面白かった．LLM

による機械翻訳の発展に期待しつつ, 私の提案法の LLMへの応用は今後の課題だと感じた.

## 5 knn-seq: 高速・拡張可能な $k$ NN-MT フレームワーク

原論文では $k \mathrm{NN}-\mathrm{MT}$ の高速化には成功したものの，まだ 1 つめの課題である「 $k \mathrm{NN}-\mathrm{MT}$ の オープンな実装がない」という問題が残っている. ACL に採択されるころには既に $k \mathrm{NN}-\mathrm{MT}$ の著者の実装を含めいくつかの実装が公開されてはいたが, 研究室内で $k \mathrm{NN}-\mathrm{MT}$ に関する研究 に取り組んでいた後輩から，「公開実装を使っているが事前処理がとにかく遅い」という話を耳 にした. そこで，研究室内でメンバーを募り，kNN-MTフレームワーク“knn-seq”を開発する ことになった，特に，効率的な実装を心がけ，翻訳速度だけでなく，事前処理であるデータス トア構築も含め全てのフェーズで高速に動作するよう設計した．特に，著者実装では 3 日以上 かかっていた事前処理が数時間程度で完了するようになった. オリジナルの $k \mathrm{NN}-\mathrm{MT}$ と提案モ デルの Subset $k$ NN-MT を含んだ knn-seq のソースコードは GitHub で公開している $7,8$.

## 6 おわりに

本研究では，用例ベース翻訳の古い文献まで遡ったことや，機械翻訳分野の外にある近傍探索分野を学んだこと, すなわち, 研究分野のルーツを辿って理解を深めつつ, 同時に分野の外 にも視野を広げたことが目標達成の要となった. 研究の途中で, 共著者の松井先生から「近傍探索の研究分野から見ると, 提案法は近傍探索の使い方が面白い」という感想をいたたき，議論が進んだことがある。「巨人の肩の上に立つ」という言葉があるが, ただ自分が先人の肩の上 に立つだけではなく，さらにその次の研究に立ってもらうため自分の研究が土台になるという 側面もあるのか，と感銘を受けた。これからも時代や分野を越えて研究のバトンをつないでい けたらと思う。

## 参考文献

Briakou, E., Cherry, C., and Foster, G. (2023). "Searching for Needles in a Haystack: On the Role of Incidental Bilingualism in PaLM's Translation Capability." In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 9432-9452, Toronto, Canada. Association for Computational Linguistics.

Deguchi, H., Watanabe, T., Matsui, Y., Utiyama, M., Tanaka, H., and Sumita, E. (2023). "Subset Retrieval Nearest Neighbor Machine Translation." In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 174-189, Toronto, Canada. Association for Computational Linguistics.

Khandelwal, U., Fan, A., Jurafsky, D., Zettlemoyer, L., and Lewis, M. (2021). "Nearest Neighbor Machine Translation." In International Conference on Learning Representations (ICLR).

Matsui, Y., Hinami, R., and Satoh, S. (2018). "Reconfigurable Inverted Index." In ACM International Conference on Multimedia (ACMMM), pp. 1715-1723.

Nagao, M. (1984). "A Framework of a Mechanical Translation between Japanese and English by Analogy Principle." In Proceedings of the International NATO Symposium on Artificial and Human Intelligence, pp. 173-180.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., and Polosukhin, I. (2017). "Attention Is All You Need." In Guyon, I., Luxburg, U. V., Bengio, S., Wallach, H., Fergus, R., Vishwanathan, S., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems 30, pp. 5998-6008. Curran Associates, Inc.

## 略歴

出口 祥之：2019 年愛媛大学工学部情報工学科卒業. 2021 年同大学院理工学研究科博士前期課程修了. 2021 年より奈良先端科学技術大学院大学博士後期課程に在学. 同年より情報通信研究機構にて機械翻訳の研究に従事.