# 社会的状況に基づいた日本語ビジネスメールコーパスの構築

Muxuan $\operatorname{Liu}^{1}$ 石垣達也 ${ }^{2}$ 上原由衣 ${ }^{2}$ 宮尾祐介 ${ }^{3,2}$ 高村大也 ${ }^{2}$ 小林一郎 1,2
1 お茶の水女子大学大学院 ${ }^{2}$ 産業技術総合研究所 ${ }^{3}$ 東京大学
\{liu.muxuan, koba\}@is.ocha.ac.jp yusuke@is.s.u-tokyo.ac.jp
\{ishigaki.tatsuya, yui.uehara, takamura.hiroya\}@aist.go.jp

## 概要

日本語の使用は，話者間の社会的地位の差異や親疎など多くの社会的状況に影響されるため，日本語のテキストを処理するモデルを構築する際に，これらの社会的状況を考慮する必要がある. 本稿では，言語を社会記号体系として捉える選択体系機能言語学における社会的状況の記述方法を用いて，機械学習モデルの訓練のための社会的状況に関する情報を含むコーパスの構築を試みる。

## 1 はじめに

社会的状況には，聞き手の年齢・性別、話し手と聞き手の上下関係・親疎, 談話の目的・内容, 流れ,話の進行, 談話状況の違い（電話か対面か), 話しの様子（雑談的か討論的かという話のタイプ、好意的・対立的、気楽・緊張感), 地域差などが含まれている [1]. 日本語における言語使用は, これらの社会的状況を強く反映しているとされる [2].

そのため，様々な自然言語処理タスクにおいて日本語テキストを処理する際，より正確なモデルを構築するためには，テキストを取り巻く社会的状況を考慮することが必要になる. 例えば，メールを修正対象とする日本語誤り訂正タスクを考えた場合，文法的な間違いを訂正対象とするだけでなく，上司に休㗇を申請する状況においては「明日は休みます。 ありがとう.」と書いてしまうなど，社会的状況を踏まえていないために不適切な表現を使ってしまう誤りも存在する [3].

機械学習モデルが個々の社会的状況を適切に捉え，利用するためには，それら社会的状況に関する属性情報を含むコーパスが必要である．そこで，本稿では, 送信者と受信者の社会的状況に基づいた書面でのコミュニケーションと位置づけられる電子メール [4] というジャンルを選択し，社会集団における言語使用の観点から言語分析を行う選択体系機

図 1: SFLによる言語体系（図は [5] から引用）

能言語学に基づき，より詳細な社会的状況に関する分析情報を含む日本語コーパスの構築を試みる.

## 2 社会的状況の表現

## 2.1 選択体系機能言語学 (SFL)

選択体系機能言語学 (Systemic Functional Linguistics, SFL）は，Hallidayによって確立された機能言語学の一分野であり，とくに言語体系を社会記号体系とみなしている，言語体系は，意味層、語彙・文法層、表現層という 3 つの異なる種類の記号体系が階層になっており，それらの記号体系はコンテクストによって包括されている. その体系は, 社会状況下での言語使用を表すための選択肢からなるネットワーク（‘選択体系網’と呼ぶ, 2.2 節で詳述）で記述されており，状況の選択が意味の選択を制約し，意味が語彙・文法の選択を制約するなど，選択の体系が，意味，語彙・文法，表現と異なる記号体系が連携して形作られている. SFLによる言語体系の概観を図 1 に示す。

Halliday は，対話が発生する状況のコンテクスト （Context of Situation）を「何が起きているか（フィー ルド・活動領域)」「誰が参加しているか（テナー・
役割関係)」「言語が使用される手段（モード・伝達様式)」という 3 つの枠組みで説明している [6].

本稿で取り上げた「電子メール」というジャンルにおけるコミュニケーションを想定した場合， フィールドは「電子メールによるコミュニケーション」という社会活動となり，コミュニケーションの内容は，様々な言語使用域として捉えられる. テナーは電子メールをやり取りをする関与者らの社会的役割となる. モードはテキストの形態を規定する伝達様式となるため「電子文書」となる。

## 2.2 選択体系網と選択肢

SFL の特徴の一つは，具現化される言語資源を選択肢（「特徴（feature）」と呼ばれる）の体系として表現することである.これらの体系は「選択体系網（system network）」と呼ばれ，言語体系を包括するコンテクスト層, 言語体系を構成する意味層, 語彙・文法層, 表現層の各層の異なる記号体系の言語資源が選択体系網で表現され，コンテクスト層から順番に上位の層から選択された言語資源に基づき下位の資源が選択されるという選択の体系を構成している. 例えば，「医療現場」という状況だと，「診査」「治療」のような出来事が存在し, それに対して 「手術」「この薬を飲んでしばらく様子を見て」など語彙や文法が選択される。このように，選択体系網はテキストが具現される過程を表しており，テキストの具現過程を構成する各資源（特徴）が，どのような選択の関係にあるかを表す。また，「選択」においては，各特徴のどれか一つを選択する場合，'[' を，同時に複数の特徴を選択する場合，“'ののそれぞれの表記を使用して選択体系網を記述する。

## 3 SFL に基づいたコーパスの構築

本研究では，上述したSFLによって捉えられる社会的状況を考慮した電子メール（とくに，ビジネスメール）のコーパスを構築する．構築の流れを以下に示す.

1. 選択体系網の構築 SFLに基づきメールを対象とした社会的状況の選択体系網を構築する。

2. 場面の設定と収集クラウドソーシングを用いて，1 において構築した選択体系網の選択肢を反映する多様な場面を収集する。これにより，様々な状況を設定する。この際，選択体系網から選択肢を選んで場面を設定する作業は，3 おいて収集するメールに社会的状況をアノテー
ションすることに相当する.

3.メールの収集 2 で収集した場面を使い，クラウ

ドソーシングでメール本文を収集する。

4. SFL に基づくアノテーション3で収集したメー ルに対して，SFLに基づくアノテーションを行う.

以下，それぞれについて詳細を説明する。

## 3.1 選択体系網の構築

図 2:「テナー (役割関係)」の選択体系網

テナー（役割関係） テナー（役割関係）とは，言語表現のやり取りにおける話し手と聞き手，あるいはメールの送信者と受信者の関係である. テナー には，一般的なビジネスメールに見られる対話参加者の社会的立場を想定し，図 2 に示すような選択体系網を構築した.「内」と「外」は，対話参加者の所属に関しての内外の立場関係を表す属性である。一般的に「「」は，「家族や自分の会社の人，自分が属するグループなど」を意味し，「外」は，「親しくない人や他人，他会社の人，他グループの人など」 と説明されている [7]. また，話者の立場を表すため, ビジネスメールによく登場する人物と組織を,目上・同輩・目下の 3 つの属性に分けている.

発話機能 SFLでは，テナー（役割関係）が，意味層における「発話機能」に影響を与える。

発話機能について，照屋 [8] は，SFLを用いて人間関係と対人的な意味を分析し，発話機能における対人的役割をまとめている（付録 3 参照）。

本稿はその対人的関係と発話機能を参照し, ビジネスメールにおいてよくある発話動機に基づき，図 3 の選択体系網を構築した。

図 3：「発話機能」の選択体系網

## 3.2 場面の設定と収集

ビジネスメールによるコミュニケーションという社会的状況を表すために，前節で示した選択体系網の選択肢を元に，コーパスの属性を設定する。

「ビジネスメールによるコミュニケーション」というフィールドの下，多用な言語使用域のコーパスを収集するために，メールでのコミュニケーション場面もクラウドソーシングで作成依頼をかけ，場面の収集を行なった。具体的には，図 2 で示されている役割関係を元に，ビジネスメールによくある送信者と受信者の関係を 20 ペア設定した（付録：表 4 参照)。また，図 3で示されている「送信者の動き」 について，ビジネスメールによくある送信者の目的を「挨拶」「感謝」「謝罪」「断り」「問い合わせ」「依頼」「お知らせ」「催促」の 8 種類で設定している。

クラウドソーシングで 52 名の作業者を集め，1人あたり約 20 場面を作成してもらい，合計 1040 種類の場面を集めた. また，クラウドソーシングのデー タの質を高めるために，発注時に付録の表 5 で示されているような例を大量に提示した. また，今後のデータ分析等で受信者の特定を容易にするため，発注の際には受信者の称呼を「Aさん・A 様・A 社長など」と表記することを求めた。

## 3.3 メールの収集

前ステップで得られた場面の中から，有効な 770 の場面を選び，クラウドソーシングで各場面毎に 5 通のメールを取得した. データの質を担保するために，発注時に，付録の表 6 で示されているような例を提示し，「上司には敬語を使う」、「友人にはため口でも大丈夫」など、常識的な範囲で、対人関係や社会的上下関係を考慮して作成することを求めた。 また，形態素解析などで利用しやすいように，件名と宛名の記入, また, 「XX 大学 $\mathrm{XX}$ 学部の $\mathrm{XX}$ さんは私の友達です」のように，場所や自分の名前などの固有名詞を「XX」で記入することを求めた.

## 3.4 SFL に基づくアノテーション

表 1 に，コーパスの全体像の例を示す. 機械学習での活用を容易にするため，3.1 節で列挙した選択体系網の選択肢の名称をコーパスのアノテーション名としてそのまま踏襲するのでなく，一定の構造を簡略化している.

表 1 に例示したメール本文にあるように，これは従業員から顧客へのお知らせのメールである. 図 2 で示されている対話参加者の選択体系網の「目上」「同輩」「目下」という上下関係を，「目下（送信者）] と「目上 (受信者)」というアノテーションで表現している。また，送信者と受信者のそれぞれの具体的な身分および話者間の所属に関する内と外の関係も 「内外関係」で表現する。

発話機能を表すアノテーションに関しては，図 3 で示されている選択体系体系網を元に設定している。今回，送信者目線でメール本文を収集したため，アノテーションを設定する際に「受信者の動き」 を除外した。「送信者の動き」は「陳述・質問・提供・命令」の 4 項目があり，それぞれの詳細を「送信者の動き (詳細)」というアノテーションで表現する。「やりとりにおける役割」に関して，送信者がやりとりしたいものやことを「与える」か「求める」かで選択され，対話参加者によってやりとりされるのは，「情報」か「モノとサービス」のいずれかである [8]. 例示のメール本文の場合，従業員が情報を顧客に与えている。「モノとサービス」のやりとりの場合，例えば，「本を返して」という要求で開始されるやりとりは，本を送信者に返せば目的を達成されるため，言語の果たす役割において「情報」 のやりとりと「モノとサービス」とでは異なっている [8].

## 4 コーパスの分析

コーパスの場面数やメール数などの統計量を表 2 に示す. 延べ語数および異なり語数の計算につい $\tau$ ，国立国語研究所の形態素解析ツール「Web 茶ま
表 1:コーパスの概要 : 従業員が顧客に対してお知らせする場面の例

 &  &  &  &  &  &  &  &  &  & \\

表 2: コーパスの特徴を示す統計量

 & メール数 & 平均文長 & 延べ語数 & 異なり語数 \\

依頼 & 100 & 0.13 & 500 & 17.60 & 35961 & 1561 \\
謝罪 & 100 & 0.13 & 500 & 17.14 & 42326 & 1576 \\
催促 & 100 & 0.13 & 500 & 20.57 & 42758 & 1130 \\
感謝 & 100 & 0.13 & 500 & 15.82 & 37232 & 1499 \\
挨拶 & 100 & 0.13 & 500 & 15.62 & 38370 & 1641 \\
お知らせ & 100 & 0.13 & 500 & 18.31 & 44822 & 1903 \\
問い合わせ & 100 & 0.13 & 500 & 19.07 & 40734 & 1614 \\

め」1)を用いて，メール本文のテキストを解析し，記号を含めて計算を行った。また，送信者の動きにある「断り」について，「依頼主体」と「断り主体」の人間関係の調査 [9]によると，一般的に「断る」という行為は個人の送信者と個人の受信者の間で起こるものだと考えられる. 1 人の送信者が複数人の受信者全体を断ること（例えば、ある学生がサークルのメンバー全員を断ること）は稀であるため，コー パス構築の際には，そのような一対多の対人関係のペアを除外した．そのため，他の項目と比べ，「断り」の場面は 70 個しかない.

## 5 おわりに

本研究は，選択体系機能言語学に基づき，ビジネスメールに具現される社会的役割関係の情報をアノテーションした日本語コーパスを作成した. アノテーションとして用いられたタグの集合として，
SFLにおける状況のコンテクストの要素および言語体系の一部（発話機能）の選択体系網における選択肢を採用した. 今回は，とくに社会的役割，とりわけ社会的上下関係の立場が明確なビジネスメールを対象にコーパスを作成した。作成されたコーパスは，アノテーションのタグとして用いられるSFL の選択体系網の選択肢をすべて使っているわけではなく，社会的役割関係を重視したものとなっている.

今後の課題として, 作成したコーパスの機械学習課題における利用と性能評価を行うとともに，SFL での状況のコンテクストからテキストが具現される過程を捉えたアノテーション手法の確立を目指す。

1) https://chamame.ninjal.ac.jp

## 謝辞

この成果は, 国立研究開発法人新エネルギー・産業技術総合開発機構 (NEDO) の助成事業 (JPNP20006) およびアバナード研究奨励金による支援の結果得られたものである.

## 参考文献

[1] 李舜昫. 談話分析からみた日本語学習者と母語話者の聞き手言語行動の実証的研究. 首都大学東京大学院人文科学研究科・人間科学専攻日本語教育学教室 - 博士学位論文, 2016.

[2]松村瑞子・因京子. 日本語談話におけるスタイル交替の実態とその効果. 『言語科学』, No. 33, pp. 109-118, 1998.

[3] 藤原安佐・阿部仁美 $\cdot$ 大井裕子・椿原博子・吉田則子.日本語教育における配慮に関わる表現の指導. 『北海道大学大学院教育学研究院紀要』, No. 108, pp. 85-98, 2009.

[4] 文化審議会国語分科会. 分かり合うための言語コミュニケーション (報告). 国語分科会（第 67 回）, 2018.

[5] 小林一郎. 意味へのアプローチ: ハリデー言語学の観点から, 2017.

[6] M.A.K. Halliday. Language as Social Semiotic: The Social Interpretation of Language and Meaning. Open University set book. Edward Arnold, 1978.

[7] 平林周祐, 浜由美子. 外国人のための日本語例文・問題シリーズ 10 敬語. 荒竹出版, 1988 .

[8] 照屋一博 (編）,クリスチャン・マティスン,ジョン・ ベイトマン, ハイジ・バーンズ, M.A.K. ハリデー, 奥泉香, 水澤祐美子. 意味がよくわかるようになるための言語学一体系機能言語学への招待. くろしお出版, 2022.

[9] 蔡胤柱. 日本語母語話者のEメールにおける「断り」ー—「待遇コミュニケーション」の観点から.『早稲田大学日本語教育研究』, No. 7, pp. 95-108, 2005.

## A 付録

表 3: 発話機能と応答（[8] より引用し一部改変）

表 4: 送信者と受信者の関係に関する設定

表 5: 場面の設定例

【従業員が『自社のある部門全員』にメールで催促する必要がある場面】の解答例

「あなたは経理部に所属しています。あなたは最近、旅費の払い戻し期限が 12 月 10 日 17:00であることを、全社員に電子メールで送りました。しかし、期限を過ぎても、まだ提出していない社員がいます。全員に対してできるだけ早く提出するよう促すメールを書いてください。」表 6: メール収集の回答例

 \\


# ニュースのライティングスタイルの差分を考慮した 日英機械翻訳のテストセットの開発

衣川和克 美野秀弥 後藤功雄 山田一郎
NHK 放送技術研究所
\{kinugawa.k-jg, mino.h-gq, goto.i-es, yamada.i-hy\}@nhk.or.jp

## 概要

英語ニュースでは一般に一文内に同一の表現を繰り返し使うことを避け, 言い換えや省略によって簡潔な文にすることが推奨される。一方で, 日本語ニュースではこうした簡潔性が英語ニュースほどは考慮されず,一文内に同一の表現が複数回出てくることも珍しくない. この差分により, 日本語ニュースから機械翻訳で生成した文が英語ニュースのライティングスタイルに沿わないものになってしまうことがある. 本稿では,こうしたライティングスタイルを考慮した機械翻訳の実現に向けて, 時事通信社の日英ニュース記事対からテストセットを構築する。日英ニュース記事の分析およびベースラインの機械翻訳モデルの性能評価を通じて, 本タスクの重要性および課題について議論する.

## 1 はじめに

ニューラルモデルの発展とともに機械翻訳の性能は大きく向上している. 機械翻訳の重要な応用先の一つがニュースであるが, 機械翻訳をニュース制作に活用する上での課題の一つとして, 言語間でのニュースのライティングスタイルの差分が挙げられる. 例えば放送用の英語ニュース原稿では一般に, 説明や主張を簡潔なものにするため, 同じ表現の繰り返しを避ける, 受動態よりも能動態が好まれる, 否定形よりも肯定形が好まれるといった特徴がある [1].

図 1 に [1] から引用した, 同じ表現の繰り返しを避ける例を示す. 例示した 2 つの文はいずれも「週末にハドソン百貨店で全米自動車労組がピケを行い,双方が勝利を宣言している.」という意味の文である. 1 つ目の文は「ハドソン百貨店」と「全米自動車労組」が複数回ずつ現れているが, 2 つ目の文はこれらの単語を一回ずつのみ記述している. 前者のように同一の名前や情報を繰り返す文 (REPETITIVE) は

## (REPETITIVE)

Both Hudson's and the United Auto Workers Union are declaring victory after a weekend of U-A-W pickets at Hudson's Department Stores.

## (TIGHTER)

Both sides are declaring victory after a weekend of picketing by the United Auto Workers Union at Hudson's Department Stores.

図 1 ライティングスタイルにそぐわない英文の例

冗長に感じられるため回避することが推奨され，より簡潔な文 (TIGHTER)が好ましい。

一方で, 日本語ニュースではこうした簡潔性が英語ニュースほどは考慮されず,一文内に同一の表現が複数回出てくることも珍しくない. その結果, 日本語のニュース記事を機械翻訳で英訳すると英語ニュースのライティングスタイルにそぐわない文が生成されてしまうことがある. 図 2 に時事通信社の日本語ニュース文, 対応する英語ニュース文, 機械翻訳による英訳の例を示す.この例では日本語文内で「入学」という単語が 3 回出てくるが, 前述のライティングスタイルに則るとこれらを全て同一表現で訳出することは避けることが望ましい. 実際, 英語ニュース文では 1 つ目と 3 つ目の「入学」を 1 つにまとめ, 2つ目の「入学」については “enter”ではなく“join”と表現している.しかし, 機械翻訳の出力では2つ目の「入学」については別表現を用いているものの, 1 つ目と 3 つ目の「入学」をいずれも同一に訳出してしまい, 尽長な文になってしまっている.

ニュースでは速報性が重要なため, 機械翻訳を制作ワークフローに導入するためには, なるべく人手の修正が少なくなるよう, 単に翻訳文の意味が合っているだけでなく上記のようなライティングスタイルの要件を満たす文を生成することが望ましい.

## (SRC)

区によると, 同校がアルマーニの採用を決めた後, 大学予定者 7 人が教育方針や私立小への入学などを理由に入学を辞退した。

(REF)

After the school decided to recommend Armani items as desirable clothing, seven children dropped plans to enter the school, with parents citing disagreements with its education policy, decisions to join private schools or other reasons, according to the office of Chuo Ward, where the school is located.

(NMT)

According to the ward office, after the school decided to hire Armani, seven students who plan to enroll in the school declined to enroll in the school due to their educational policy and entrance to private primary schools.

図 2 ライティングスタイルにそぐわない翻訳の例

本稿ではニュースのライティングスタイルに沿った文の生成の実現に向けて, まず評価用のテストセットを構築する. 上述した「同一表現の繰り返しの抑制」を制御の対象として, 時事通信社の日英対訳記事から人手で事例を収集する。（以降, 本稿で単に「ライティングスタイル」と記述した際には, 同一表現の繰り返しの抑制のことを言及しているものとする. ）ニュースドメインの日英対訳コーパスで学習したベースライン機械翻訳モデルが, 上記のテストデータでどれくらいライティングスタイルに沿った出力を生成できているかを評価する. 日英ニュース記事の分析および評価実験を通じて, 本夕スクの重要性および課題について議論する.

## 2 日英ニュース記事の分析

本研究では, 時事通信社の 2018 年の日英ニュース記事アーカイブを利用する.このアーカイブでは日英いずれの記事にも ID が付与されており,まずこの ID 照合して日英のニュース記事対を作る. 次に，内山・井佐原の手法 [2]を用いて各記事対内で対訳文のペアを作る. 各日本語文を mecab [3] でトークナイズし, ストップワードを除き,一文内でトークンが重複している文を列挙する。この中から, 日本語文を見て，（図 2 に示したような）同一の表現が繰り返されていて訳出時に言い換えや省略が起きうる
ものを手作業で 514 文収集した. これは「一文内でトークンが重複している文」のうちのおよそ 5,6 文に 1 文程度に該当し, また, 記事単位でみるとおよそ 4 記事に 1 記事がこのような文を含んでおり,これはニュース制作に機械翻訳を応用する上では無視できない分量である. 抽出した 514 の対訳ペアの中には文レベルの自動対応付けがうまくいかず, 日本語側で繰り返されている表現が英文側でどのように訳出されているか判断できないものもあったため,この中で対応付けの精度が比較的良く, 対象の表現が英語側でどのように訳されているか判断できるものを人手で 100 文取り出し, 訳出の傾向を分析した

省略訳出時に省略が起きているもので単純なものとしては, “A and B” の形で書けるような, 文法構造上並列な名詞や動詞が挙げられる。

仮校舎と再開した校舎をテレビ会議システムで結び, 遠隔合同授業も行う予定だ.

Joint class activities using teleconference equipment are planned between the reopened and provisional schools.

また,もう1つ分かりやすいケースとして, 数量の後ろに単位として付く名詞が繰り返されている場合にもこれを省略する傾向にあった。

17 年 4 月現在, 福祉事務所がある 902 自治体の 56\% に当たる 504 自治体が取り組んでいるが，中学生の勉強をサポートする事業が大半となっている.

As of April 2017, 504 of 902 municipalities with welfare offices had implemented the program.

それ以外の事例は, 文法構造からは単純には判断できない複雑なものが多い.

民間調査機関インテージによると, 2017 年のアルコール度数 7 9\% の缶酎ハイ市場は 7 年前の 2.5 倍に拡大し, 缶酎ハイ市場全体の 5 割強を占めた

But the share of products with 7-9 pct alcohol in the Japanese canned chuhai market grew 2.5 -fold in seven years to stand at over 50 pct in 2017, according to private research firm Intage Inc.

これは日本語側で意味が重複しているため, 訳出し

てしまうと英語側が冗長になってしまうと考えられる例で, 2 つ目の「市場全体の 5 割」が「缶酎八イ市場」であることは自明であるため省略されている。

言い換え言い換えは積極的に用いられる傾向があり, 特に文内の近い位置で繰り返されているものについては言い換えが起きやすい。

昨年 3 月の声明は「戦争・軍事目的の科学研究を行わない」とする過去 2 回の声明を継承。

In the March 2017 statement, the council pledged to follow its two previous documents highlighting its determination not to conduct scientific research for military purposes.

固有名詞の繰り返しについても, 言い換えが起きる. 以下の例では 2 つ目の「ソメイヨシノ」を "Someiyoshino"ではなく, "the cultivated variety" と言い換えている。

クマノザクラの花は栽培品種のソメイヨシノ （染井吉野）に似た淡紅色などだが, 開花時期がソメイヨシノより早い.

The petals of Kumanozakura are mainly a light shade of red, similar to those of "Someiyoshino," and bloom earlier than those of the cultivated variety.

また, 表層が同じであってもニュアンスの異なる場合には訳出時に違う表現になる. 例として以下に示すような項の異なる述語が挙げられる。

さらに,いずれのケースでもブレーキが作動する 0.8 秒前までに, 運転者に衝突回避操作を促す警報が作動することも認定の要件となっている.

Another planned requirement for the ministry's certification is that the equipment warns the driver at least 0.8 second before the brakes are activated, long enough for ordinary drivers to respond and apply brakes manually.

その他日本語側で繰り返されている表現に対して, 英語側で必ずしも言い換え, あるいは省略が行われているわけではなく, 全て同一に訳出するものも存在する.これについては, 翻訳者が同一に訳してもさほど簡潔性を損なわないと判断した, その表現の訳語にバリエーションがなく同一に訳さざるを得な
かったなどの理由が考えられる。

入居対象は市に定住する意思があり, 夫婦とも 35 歳以下か, 未就学児のみがいる夫婦. The city rents the apartments for up to five years to couples both aged 35 or less, or couples with only children of preschool age, who are willing to eventually settle in Hadano.

## 3 テストセットと評価方法

本稿では 2 節で収集した 100 組の対訳ペア（日本語入力文および参照訳）をテストセットとして用いる. テストセットの日本語文の中には 1 文内で複数種類の表現で繰り返しが起きているものもあり, 訳出の分類を合計すると省略が 45 事例, 言い換えが 39 事例, 全て同一に訳出していたものが 23 事例で合計 107 事例であった. また, テストセットの日本語文の平均文長は 60.52 文字であった.

次節で述べる実験では, 簡単のため参照訳と機械翻訳の出力を下記の 3 タイプに人手で分類し,これらがどれくらい一致しているかを評価する。

1. 対象の訳語が全て同一の場合は REPETITIVE

2. 対象の訳語が言い換えたり省略されている場合は TIGHTER

3. 対象の訳語が訳抜けや誤訳などによりうまく生成できていない場合は ERROR ${ }^{1)}$

参照訳の 107 事例については, 23 事例が REPETITIVE, 84 事例が TIGHTER となる. 本稿の実験では参照訳を正解として評価を行うが, 参照訳と機械翻訳の出力のタイプが一致していなかったからといって,それが必ずしも誤りであるとは限らない. ライティングスタイルは属人的なものであり,言い換え・省略を行うか行わないかは作業者によって異なりうるからである. 現在, 複数人の翻訳者によるテストセットの日本語文の翻訳を進めており, 結果を収集してそのばらつきを調査する予定である。

## 4 実験

ベースラインの実験として, 日英ニュースドメインの対訳データで学習した機械翻訳モデルがどれほどライティングスタイルに沿った出力を生成できるかを評価する。

1） 2 項目の省略と 3 項目の訳抜けを真に見分けることは難しいが,ここでは原言語文の後半の節が丸ごと訳出できていないなど, 久落の範囲が大きなものを訳抜けとして判定する。
表 1 実験結果

読売新聞 (Yomiuri_Editorial) ${ }^{2}$ の 2007 年から 2017 年の日英対訳記事コーパスから類似度 0.4 以上の対訳ペアを抽出し，このうち 596,679 ゚゚アを学習デー タ, 1,583 ペアを開発データとして用いる.いずれの言語もトークナイズに sentencepiece [4]を用い, 語彙サイズを 8000 とした. 翻訳モデルは Transformer [5] とし, fairseq [6] で実装した. optimizer は Adam [7] を用い, 学習率は 0.001 とした. 翻訳時のビームサーチはビーム幅を 5 とした.

表 1 に実験結果を示す. 全体で参照訳と一致していたのは 107 事例中 41 事例にとどまった. TIGHTER について一致したのは 28 事例で, さらにそのうち繰り返すか省略するかについても一致していたのは 19 事例であった. ベースラインモデルは全体の半数程度が REPETITIVE な出力となっており, 言い換えや省略の制御機能を学習データからうまく獲得する工夫が必要であることを示している. また, ERROR の数も $1 / 5$ 程度となっており, 無視できない問題であることが分かる. ERROR の内訳はほとんどが訳抜けであった. テストデータの中には比較的長い文が多く,これらをうまく処理できていない. 日本語ニュースは他ドメインと比べて文長が長い傾向があるが, 文長が長くて類似度も高い訓練事例は多くないため, 文長にロバストな翻訳性能をいかにして獲得するかも課題である.

## 5 関連研究

機械翻訳における訳語の統一については多く研究がなされてきた一方で $[8,9,10]$, 訳語の言い換えについての研究が限られている. 同一の単語はなるべく同一に訳したほうが可読性は高まるが, あまりに同一表現を使いすぎるとかえって読み物としての質が下がってしまう恐れもあるため,一概にどちらにすべきとは言えない.こうした背景を受けて， Guillou [11] は実世界の色々なドメインの翻訳において,どのような単語が言い換えられやすい（あるいは統一されやすい）傾向にあるのかを統計的に調査した. 単語の頻度や品詞, 文書のドメインによって傾向は異なるものの, 訳語を適宜言い換えることの重要性を提起している. Guillou [11] の研究は分析を主としたものだが, 本研究はニュースドメインにおける訳語の言い換えを実際のタスクに落とし込むことをねらいとしている。

翻訳のスタイルの制御についても,近年注目を集めている. Wang ら [12] は翻訳者の翻訳スタイルをニューラルモデルに学習させる研究を行った. 森下ら [13] はミニバッチに一文書を丸ごと入れることで文脈を考慮しながら学習・推論を行う手法を提案し， その効果の 1 つとして，「です・ます」調や「だ・である」調など, 翻訳対象のドメインのライティングスタイルに沿った出力が得られたことを報告している. 本研究では翻訳スタイルの 1 つとして,ニュースのライティングスタイルの一項目を対象に取り上げこの制御を評価することを目的としている.

## 6 おわりに

本稿では日英間のニューススタイルの差分に着目し,このギャップを埋めるための翻訳制御の実現に向けて,テストセットを構築した. 日英のニュース記事対についてそのライティングスタイルの差分を分析し, 本タスクの重要性とベースラインモデルの課題について議論した。

今後の予定として, 本稿で実施した評価方法についての検討を進める. 言い換えと省略を 1 つに混ぜて評価を行なったが, どのような場面でどちらかが求められているかについても調査を行う. また, 現在複数名の翻訳者により, 収集した 514 の日本語文の翻訳を進めており，その結果を受けてライティングスタイルのばらつきなどについての分析も進める予定である. どのような誤りがニュース制作者にとってインパクトの大きなものかについても定性的に分析したい.

さらに、実際にこうしたライティングスタイルを文生成に組み込むための効果的な手法についても検討する. 本稿の実験では翻訳モデルの出力を評価したが, 本タスクは翻訳モデルの前後の処理でも効果的な制御を行える可能性がある. 例えば, 日本語側を pre-edit する [14, 15], あるいは, 英語側を post-edit するなどの手法も考えられる。

2) https://www.nichigai.co.jp/dcs/index5.html

## 謝辞

本研究成果は, 国立研究開発法人情報通信研究機構の委託研究（課題 225）により得られたものです. また,データをご提供頂きました株式会社時事通信社の朝賀英裕氏・川上貴之氏に厚く御礼申し上げます.

## 参考文献

[1] Robert A. Papper. BROADCAST NEWS AND WRITING STYLEBOOK. Routeledge, seventh edition, 2021.

[2] Masao Utiyama and Hitoshi Isahara. A Japanese-English patent parallel corpus. In Proceedings of Machine Translation Summit XI: Papers, Copenhagen, Denmark, September 10-14 2007.

[3] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain, jul 2004. Association for Computational Linguistics.

[4] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[6] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

[8] Shaohui Kuang, Deyi Xiong, Weihua Luo, and Guodong Zhou. Modeling coherence for neural machine translation with dynamic and topic caches. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 596-606, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[9] Zhaopeng Tu, Yang Liu, Shuming Shi, and Tong Zhang. Learning to remember translation history with a continu- ous cache. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 407-420, 2018.

[10] Xinglin Lyu, Junhui Li, Zhengxian Gong, and Min Zhang. Encouraging lexical translation consistency for documentlevel neural machine translation. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3265-3277, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[11] Liane Guillou. Analysing lexical consistency in translation. In Proceedings of the Workshop on Discourse in Machine Translation, pp. 10-18, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[12] Yue Wang, Cuong Hoang, and Marcello Federico. Towards modeling the style of translators in neural machine translation. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1193-1199, Online, June 2021. Association for Computational Linguistics.

[13] Makoto Morishita, Jun Suzuki, Tomoharu Iwata, and Masaaki Nagata. Context-aware neural machine translation with mini-batch embedding. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 2513-2521, Online, April 2021. Association for Computational Linguistics.

[14] Rei Miyata, Anthony Hartley, Cécile Paris, Midori Tatsumi, and Kyo Kageura. Japanese controlled language rules to improve machine translatability of municipal documents. In Proceedings of Machine Translation Summit XV: Papers, Miami, USA, October 30 - November 32015.

[15] Yusuke Hiraoka and Masaru Yamada. Pre-editing plus neural machine translation for subtitling: Effective preediting rules for subtitling of TED talks. In Proceedings of Machine Translation Summit XVII: Translator, Project and User Tracks, pp. 64-72, Dublin, Ireland, August 2019. European Association for Machine Translation.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 広告データセットに内在する幻覚の分析

加藤明彦 1 大田和宽 ${ }^{1}$ 村上 聡一朗 1
三田雅人 ${ }^{1}$ 本多右京 ${ }^{1}$ 張培楠 ${ }^{1}$
1 株式会社 サイバーエージェント
\{kato_akihiko, ota_kazuhiro, murakami_soichiro,
mita_masato, honda_ukyo, zhang_peinan\}@cyberagent.co.jp

## 概要

Encoder-decoder 型の抽象型要約に基づく広告文生成モデルは, テスト時に入力情報と矛盾する, 事実でない広告文を生成することがある. その要因として，入力に含意されない情報 (幻覚)を持つ広告文がデー タセット中に含まれることが挙げられる. 広告文の事実性を向上させるためには, データセット中の幻覚を考慮したデータ編集やモデル学習上の工夫を行う必要がある. 高性能な幻覚検出器を構築するためには, 広告データセット中の幻覚の傾向を把握しておくことが望ましいが, 検索連動型広告データセット中の幻覚の分析はほとんど行われていない.このため本研究では, 検索連動型広告のデータセットについて幻覚の有無とタイプのアノテーションを付与し, 分析を行った.

## 1 はじめに

広告文は, 広告対象の商品やサービスについて述べた入力情報をもとに作成される. 広告文が満たすべき重要な性質として, 入力情報に矛盾していない, という点が挙げられる. 広告文が入力情報に含意される場合, 入力に忠実な広告文である (忠実性 [1,2])(図 1). また, 入力情報に含意されない情報を含むが, それらが世界知識や常識的知識などの外部知識に基づいている場合, 事実である広告文である (事実性 $[1,3]$ ).

広告文の自動生成モデルには, 事実性に優れた広告文生成が求められるが, 現在, 広範に用いられている encoder-decoder 型の抽象型要約モデル [5] で広告データセットを学習すると, テスト時に入力情報と矛盾する, 事実でない広告文が生成されることがある.このように, 入力に含意されない情報が出力側に現れる現象を幻覚 [1] と呼ぶ. モデルが幻覚を含

図 1 広告文の忠実性と事実性に関するベン図 ( [4] 中の図を元に改変).

む広告文を生成する 1 つの要因は, 入力に忠実ではないが事実である広告文 (事実である幻覚 (図 1) [4]) を広告データセットがしばしば含むことにある. その理由としては, 例えば以下が挙げられる: (1) ライターが外部知識に基づいて入力にない訴求表現を追加することがある 1）2，(2) 検索連動型広告をクリックした際に表示されるウェブページ, 即ちランディングページ (以下 LP) のスクリーンショットの OCR エラーのために, 入力の一部欠損やノイズ混入が発生し得る.

事実でない広告文の生成頻度を低減するためには, (A) 広告データセット中の幻覚を検出し, (B) 検出した幻覚を考慮したデータ編集やモデル学習上の工夫を行う必要がある. (A) の検出器を構築する上では, 広告データセット中にどのような幻覚がどの程度, 存在しているのかを把握しておくことが望ましい. 一般の文書要約タスク [1] やスローガン生成タ

1）ここで訴求表現とは, 消費者の注意を惹き,広告対象商品の購入を促すために用いられる表現を指す。

2）上記 (1) の例を挙げると，「メガネの UV カット率が向上」 と記載されているランディングページに対して，「UVカッ卜率が向上! 長時間の PC 作業に」という広告文をライター が作成した場合，「UVカット機能を持つメガネは PC 作業に利用され得る」という外部知識を利用して商品の有用性に関する訴求表現を追加している, と解釈することができる.
表 1 入出力フォーマットと各フィールドの例. 表中の [NE] は, 固有表現の秘匿化処理を行なっていることを表す.

スク [6] ではデータセットに含まれる幻覚の分析が行われているが, 検索連動型広告のデータセットに含まれる幻覚の分析は,ほとんど行われていないのが現状である. そこで本研究では (A) に向けた準備段階として, 日本語の検索連動型広告データセットに含まれる幻覚の分析に取り組む.

具体的には, 株式会社サイバーエージェントで扱っている日本語の広告データセットから抽出した 360 事例について, 幻覚の有無とタイプに関するアノテーションと分析を行った. その結果, 入力には出現しない広告文中のフレーズの内, 少なくとも 8 割は入力を単に要約しただけでは出現し得ないフレー ズ, 即ち幻覚であることが明らかとなった. また,幻覚の $70 \%$ 以上が訴求表現に該当するという結果が得られた。

## 2 データ分析手法

本節ではデータ分析の手法について述べる. 詳細は各小節に譲るが, 主な狙いとしては, データセット全体の幻覚の傾向を把握するために, できるだけ多様な広告文をサンプルし (2.1), 各広告文から網羅的にフレーズを抽出して (2.2), 幻覚の有無とタイプをアノテーションした (2.3).

## 2.1 事例抽出

事例のフォーマット本研究では表 1 の入出力フォーマットに従う 22,728 事例に対して, 後述の开ンプリングを行った. 広告文生成における一般的な入出力フォーマットは表 1 に示すように, (1) 入力情報と (2) 広告文からなる. (1) は (a) キーワードリスト, (b) LP, (c) LP の説明文, から構成される. 上記 (b) はLP のスクリーンショットに対する OCRによって取得し ${ }^{3)}$, (c) は LP の HTML 中の meta タグの要素 description から取得している. 一方, (2) は広告

の見出しを構成するフレーズ (見出しアセット ${ }^{4)}$; headline) と広告の説明文を構成するフレーズ (説明文アセット; description) から構成される. 見出しアセットは各入力に対して 3～15 個, 説明文アセットは $2 \sim 4$ 個存在する. 本研究では見出しアセット (半角 30 文字) を対象に分析を行う.これは説明文アセット (半角 90 文字) に比べて表示領域が狭いため,略語や言い換えなどがより多く用いられ,幻覚が発生し易いと考えられるためである.

事例のサンプリング各クライアントからバランス良く事例をサンプルするために,1クライアントあたり 5 種の広告キャンペーンを, そして各広告キャンペーンについて 5 つの LPをサンプルした. また,文長が短すぎる広告文を取り除くために, 各入力に紐づく見出しアセットの内, 7 文字以上のものだけを残した。

広告データセットには類似した広告文が多く含まれるため, ランダムサンプリングを行うと, 分析対象の事例集合の多様性が確保できないという問題がある. そこで本研究では, データセット全体としての幻覚の傾向を把握するために, できるだけ多様な広告文を分析対象とすることを狙い, 文べクトルを用いたサンプリングを行った. 文べクトル生成手法としては, 日本語を含む多言語モデルであり, 下流タスクで高い性能が報告されている LaBSE ${ }^{5)}$ [7] を採用し，候補集合を 1 文ずつ拡張する方式を採用した. 具体的には, 最初の 1 文をランダムに選択し, その後は候補集合中のいずれの文との cosine 類似度も閾値 $(0.5)$以下であるという条件を満たす 1 文を候補集合に加えるという手順とした. この結果得られた 360 種の広告文と, 対応する入力情報を対象に分析を行った.

4） Responsive Search ads (RSA) においてはこの様に呼称される. 詳細は以下を参照されたい: https://support.google. com/google-ads/answer/7684791?hl=en\&ref_topic=10284269

5) https://huggingface.co/sentence-transformers/LaBSE
表 2 幻覚有無アノテーションの例. 広告文側にのみ出現する 574 フレーズに対し，「この語句は入力情報 (キーワード， LP) の要約に含まれ得るか?」という質問に対する回答を選択する形式で幻覚有無のアノテーションを行った。

## 2.2 広告文からのフレーズ抽出

以下の手順により, 各事例中の広告文から網羅的にフレーズを抽出し, 1,173 フレーズを得た.

(1) Spacy ${ }^{6)}$ をして提供されている GiNZA v5.1 [8] によって,広告文に対して基礎解析を行った.これにより単語分割, 品詞タグ付け, 依存構造解析, 固有表現抽出が行われる。

(2) 上記 (1) の基礎解析結果を利用して各文から名詞句以外のフレーズ (動詞句など) を抽出した. 具体的には主辞の品詞が NOUN, PROPN, PRON 以外である文節を抽出している。

（3）上記 (1) の基礎解析結果を利用して各文から名詞句を抽出した. 具体的には (a) 固有表現, (b) 複合語, (c) 上記 (a)(b) に含まれない単一トークンの名詞, の和集合を名詞句とした. (a) については, GiNZA で抽出した固有表現を候補として, 人手で固有表現の範囲エラーを修正した ${ }^{7)}$. (b) については, 最終トー クンがフレーズに属する他のトークンの dependency head になっていて, 依存関係ラベルが compound または flatであるフレーズを抽出した. ただし上記手順で得られたフレーズが固有表現・数量表現を内包する場合には, 固有表現・数量表現とその前後でフレーズを分割した. 抽出したフレーズの具体例を付録 A の表 5 に示す.

## 2.3 アノテーション

2.2 節で抽出した 1,173 フレーズの内, 出力側にだけ出現する 574 フレーズに対し, 「この語句は入力情報 (キーワード, LP) の要約に含まれ得るか?」という質問に対して, 表 2 に示す 5 つの選択肢から回答を選択する形式で幻覚有無のアノテーションを行った.

また, 2.2 節で抽出した各フレーズについて, 以下の 2 つの観点で分類を行った. ここでは各タイプのフレーズが幻覚になる割合を算出するために, 入出力の双方に出現するフレーズに対してもアノテー ションを行っている.

## (1) 広告訴求に関する分類

訴求フレーズ, 商材フレーズ, その他の 3 つの選択肢から回答を選択する形式とした.ここで訴求フレーズは, 広告対象の商品やサービスの魅力や, 比較対象に対する優位性を述べたフレー ズと定義し, [9] で規定されているいずれかの訴求タイプ ( [9] の Table.1) に該当するかどうか, を基準としたアノテーションを行った。

## (2) 一般的な観点での分類

固有表現, ジャンル特有の用語 ${ }^{8)}$, 時間表現, 数量表現, その他の 5 つの選択肢から回答を選択する形式とした. 固有表現, 時間表現, 数量表現の定義については関根の拡張固有表現階層 Ver

アノテーションは株式会社サイバーエージェント内の広告アノテーション経験者 3 名により行った.アノテーションを実施する前に, 分析対象のデー タとは異なる 50 事例についてパイロットアノテー ションを実施し, 第 1 著者の想定回答とずれがある場合はフィードバックを行った。

上述した, 各フレーズの各分類タスク (幻覚の有無, 広告訴求,一般的な観点) に対し, アノテータ 3 名によるアノテーションを得た. ラベルは多数決によって決定し, 3 名のアノテーションが全て異なる選択肢に分かれた場合には, 第一著者が 3 名のアノテーションを考慮して, どのアノテーションを採用するかを決定した.いずれの分類タスクにおいても，

8）ここでジャンル特有の用語とは,そのフレーズによって, どの業種の広告文かが明確になるという性質を持つものと定義する ([例] ホールインワン).
9)

https://sites.google.com/site/
多数決でラベルが決定できなかったのは全体の $2 \%$以下であった.

最後にアノテータ間一致率について述べる. 幻覚有無と一般的な観点についての分類タスクについてはそれぞれ 0.78, 0.69 という高い Fleiss' kappa 值 [10] が得られた (Substantial agreement [11]). 広告訴求に関する分類タスクの一致率は前 2 者に比べれば低い値だがそれでも 0.33 (Fair agreement [11]) となった.

## 3 結果

幻覚有無アノテーションの結果を表 2 に示す.表 2 の「はい」は, 当該のフレーズは大力情報 (キー ワード, LP) の要約に含まれ得る, 即ち幻覚ではない, というケースに対応する。「はい」以外の 4 つの選択肢は幻覚に対応する. 574 フレーズ中, $82.8 \%$ (475/574) が幻覚としてアノテーションされていることが分かる.

幻覚の内訳を見ると，「いいえ(入力側に類似語句は存在しない)」が 430 / 475 と全体の $90.5 \%$ 占めるが，「いいえ (入力側に類似語句が存在するが意味は異なる)」も $7.6 \%$ 存在する. 後者の例としては, LP 側の「カップル」が, 広告文側では「2人」に言い換えられている事例などが挙げられる。

表 3 幻覚の内訳.

表 4 各フレーズが幻覚になる割合.

幻覚を持つフレーズを各観点で分類したアノテー ションの結果 (表 3) から, 幻覚フレーズの 70\%以上が訴求としてアノテーションされていることが分かる (例] 業界最大級, 全国). 商材に関する幻覚も $1.7 \%$, 存在する. ジャンル特有の用語 ([例] くすみ, 最大減量) が少なくとも約 $10 \%$, 数量表現も約 $7 \%$ 含まれる. 品詞について見ると, 約 $75 \%$ が名詞句だが,用言 (動詞句, 副詞句, 形容詞句) も約 $25 \%$ 存在する. また, 各フレーズを訴求に関して分類し, 種別ごとの幻覚率を算出した表 4 から, 広告文中の商材フレー ズは $7 \%$ 程度しか幻覚にならないが, 訴求フレー ズは約 $42 \%$, その他のフレーズは約 $51 \%$ が幻覚になっていることが分かる.

## 4 議論

本分析の結果, 広告文側にのみ出現するフレーズの内, 少なくとも 8 割は入力を単に要約しただけでは出現し得ないフレーズ, 即ち幻覚であることが明らかになった. 1 節でも述べたように, 事実でない広告文の生成頻度を低減するためには, (A) 広告データセット中の幻覚を検出し, (B) 検出した幻覚を考慮したデータ編集やモデル学習上の工夫を行う必要がある.

上記 (A) に関する見通しを以下に述べる. (a) 数量表現, (b) 商材フレーズに関する幻覚は, 事実性の観点で広告品質に与える悪影響が大きいことから, また (c) 訴求フレーズ, (d) ジャンル特有の用語は高い出現頻度を持つことから, それぞれ検出が必要である. 従って, 入出力双方から上記 (a)-(d) の表現を検出し, 出力側にしか現れない表現を特定するアプロー チが有効であると考えられる.これらの幻覚の検出は, 事前に各業種で辞書を作成し, ルールベースまたは distant supervision [12] で実現できると考えられる。検出器の構築と性能評価は今後の課題とする.

一方, 上記 (B) には大別して (1) データ側での対処 $[13,14]$, (2) モデル側での対処 $[15,16,17]$ という 2 つのアプローチが考えられる. (1) では, データセット中の広告文に幻覚が含まれる場合, 事例自体を廃棄するか [14], 広告文中の幻覚の削除や置換を行う必要がある [13]. 一方 (2) の例としては, 幻覚の低減に関する報酬関数を用いた強化学習 [15] や, 幻覚の度合いを制御コード (追加入力) として用いた制御可能な生成 [17] などが挙げられる。

## 5 おわりに

日本語の検索連動型広告のデータセットから抽出した事例に対して,幻覚に関するアノテーションと分析を行った結果, 広告文側にのみ出現するフレー ズは 8 割以上,幻覚であることを確認した. また分析結果を踏まえ,広告データセット中の幻覚への対処の見通しを述べた。

## 謝辞

本研究のアノテーションを実施して頂いた, 宇地原麻子氏, 宮城那南氏, 宮里竜士氏, 山城葵氏に感謝します。

## 参考文献

[1] Joshua Maynez, Shashi Narayan, Bernd Bohnet, and Ryan McDonald. On faithfulness and factuality in abstractive summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1906-1919, Online, July 2020. Association for Computational Linguistics.

[2] Esin Durmus, He He, and Mona Diab. FEQA: A question answering evaluation framework for faithfulness assessment in abstractive summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5055-5070, Online, July 2020. Association for Computational Linguistics.

[3] Artidoro Pagnoni, Vidhisha Balachandran, and Yulia Tsvetkov. Understanding factuality in abstractive summarization with FRANK: A benchmark for factuality metrics. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4812-4829, Online, June 2021. Association for Computational Linguistics.

[4] Meng Cao, Yue Dong, and Jackie Cheung. Hallucinated but factual! inspecting the factuality of hallucinations in abstractive summarization. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 3340-3354, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[5] Shaunak Mishra, Manisha Verma, Yichao Zhou, Kapil Thadani, and Wei Wang. Learning to create better ads: Generation and ranking approaches for ad creative refinement. In Proceedings of the 29th ACM International Conference on Information \& Knowledge Management, pp. 2653-2660, 2020.

[6] Yiping Jin, Akshay Bhatia, Dittaya Wanvarie, and Phu T. V. Le. Generating coherent and diverse slogans with sequence-to-sequence transformer. CoRR, Vol. abs/2102.05924, , 2021.

[7] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, and Wei Wang. Language-agnostic BERT sentence embedding. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 878-891, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[8] 松田宽. Ginza-universal dependencies による実用的日本語解析. 自然言語処理, Vol. 27, No. 3, pp. 695-701, 2020.

[9] Soichiro Murakami, Peinan Zhang, Sho Hoshino, Hidetaka Kamigaito, Hiroya Takamura, and Manabu Okumura. Aspect-based analysis of advertising appeals for search engine advertising. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Industry Track, pp. 69-78, Hybrid: Seattle, Washington + Online, July 2022. Association for Computational Linguistics.

[10] Joseph L Fleiss, Bruce Levin, Myunghee Cho Paik, et al. The measurement of interrater agreement. Statistical methods for rates and proportions, Vol. 2, No. 212236, pp. 22-23, 1981.

[11] J Richard Landis and Gary G Koch. The measurement of observer agreement for categorical data. biometrics, pp. 159-174, 1977.

[12] Jingbo Shang, Liyuan Liu, Xiaotao Gu, Xiang Ren, Teng Ren, and Jiawei Han. Learning named entity tagger using domain-specific dictionary. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2054-2064, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[13] David Wan and Mohit Bansal. FactPEGASUS: Factualityaware pre-training and fine-tuning for abstractive summarization. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1010-1028, Seattle, United States, July 2022. Association for Computational Linguistics.

[14] Kazuki Matsumaru, Sho Takase, and Naoaki Okazaki. Improving truthfulness of headline generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1335-1346, Online, July 2020. Association for Computational Linguistics.

[15] Yixuan Su, David Vandyke, Sihui Wang, Yimai Fang, and Nigel Collier. Plan-then-generate: Controlled data-to-text generation via planning. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 895-909, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[16] Haoran Li, Junnan Zhu, Jiajun Zhang, and Chengqing Zong. Ensure the correctness of the summary: Incorporate entailment knowledge into abstractive sentence summarization. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 14301441, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[17] Katja Filippova. Controlled hallucinations: Learning to generate faithfully from noisy data. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 864-870, Online, November 2020. Association for Computational Linguistics.

## A 広告文から抽出したフレーズ

2.2 節で広告文から抽出したフレーズの具体例を表 5 に示す.

表 5 抽出したフレーズの具体例.


# 文書単位の日本語テキスト平易化コーパスの構築に向けて

長井慶成 岡照晃 小町守
東京都立大学
nagai-yoshinari@ed.tmu.ac.jp \{teruaki-oka, komachi\}@tmu.ac.jp

## 概要

日本語の平易化の研究は，英語など第二言語学習者の多い言語に比べ言語資源に乏しく, 研究も盛んでない現状である。その打開に向け，我々は新たな文書単位の日本語テキスト平易化コーパスの構築を目指している。本稿ではまず毎日新聞と毎日小学生新聞を対象に，同じ内容を扱った記事同士を比較する予備調査を行った. その結果から，5つの平易化操作を定義し, 平易化前後の文アライメント評価データを作成した. さらにテキスト平易化に向けて作られた既存の文アライナーでの評価分析に取り組んだ.

## 1 はじめに

テキスト平易化とは，理解が困難な文書である 「難解文書」の持つ意味を保ちながら，語彙や文法的な複雑さの抑えられた解釈のしやすい「平易文書」へと換言するタスクである. 平易化の利点として，テキストの読解レベルを下げることで子供や第二言語学習者などの非ネイティブスピーカーの読解支援 [1] が可能な点がある.

英語には「Wikipedia と Simple English Wikipedia」 や，「ニュース記事とそれを平易に書き換えたもの」 など大規模なコンパラブルテキストが既に存在しており，これらを対応付けたテキスト平易化コーパスは英語の平易化の研究促進に貢献している。一方,日本語の平易化のための言語資源は，英語に比べて乏しいのが現状である. 既存の日本語の平易化コー パスの多くは, 語彙平易化や文法平易化といった特定の平易化に焦点を当て，また文単位の平易化のみを考慮したものとなっている. 英語のような大規模なテキスト平易化コーパスが存在しないため, 日本語では文書単位の平易化がどのような操作により実現されているかの調査は十分に行われておらず，未だ不透明な部分が多い.

このような課題に対処すべく，我々は日本語の文書単位で，かつ平易化の操作を網羅した新たな日本語テキスト平易化コーパスの構築に取り組んでいる. 本稿ではその前段階としてコンパラブルテキストである毎日新聞と毎日小学生新聞の記事データの同じ内容を扱った記事同士を比較する予備調査を行う. 調査の結果から日本語の文書単位の平易化に必要な平易化操作を定義し，それに基づきアノテー ションを行なって「文アライメント評価データ」を作成した。最後に作成したデータを用いて，既存の自動文アライナーの評価を行なった。

本稿の主な貢献は, 以下の 3 点である.
- 予備調査から，日本語の文書単位の平易化における 5 つの平易化操作を新たに定義した.

・定義した平易化操作や文の対応が付与された 「文アライメント評価データ」を作成した。

$\cdot$文アライナーでの評価分析により, 平易化操作や文の対応の自動付与の可能性を示した.

## 2 関連研究

## 2.1 英語の平易化コーパス

英語の代表的な平易化コーパスには, Wikipediaとニュース記事をドメインとした 2 種類が存在する。

Wikipediaをドメインとした平易化コーパス [2][3] は, Simple English Wikipedia と English Wikipedia を対応付けることで構築されている. Simple English Wikipedia ${ }^{1}$ は，一部の English Wikipedia ${ }^{2}$ の記事を平易化したテキストである。平易化はユーザーが行っており，基本的な語彙や文法に限定した書き換え，詳細追加などで記事を作成している。

ニュースドメインの平易化コーパスとして， $\mathrm{Newsela}^{3)}$ コーパス [4] がある. この平易化コーパスは，ニュース記事を人手により 4 段階のレベルで書き換えることで構築されたコーパスである。

日本語の Wikipedia には Simple English Wikipedia にあたるような平易化された記事は存在しない. また Newsela のような複数の難易度を考慮したコーパスも存在しないため, 日本語の平易化のための言語資源は乏しい現状にある。

## 2.2 日本語の平易化コーパス

『SNOW T15: やさしい日本語コーパス』[5] は, 語彙平易化に焦点を当てたコーパスである. 日本語の基本的な語として 2,000 語を選定し，難解な文をその語彙のみを用いた表現に書き換えて構築された。

他にこのコーパスを参考にした『SNOW T23: やさしい日本語拡張コーパス』[6] や文法平易化に焦点を当てた『日本語文法平易化コーパス』[7]などもあるが，いずれも特定の平易化に特化し，また文単位の平易化のみを考慮したものである.

我々は日本語の文書単位での平易化を見据えている。それに向けて，以上のような文単位の日本語平易化コーパスとは異なり，特定の平易化に限定せず，平易化の操作を網羅した文書単位の日本語テキスト平易化コーパスの構築に取り組んでいる.

## 3 予備調査

この章では，文書単位での平易化に必要となる平易化操作を新たに定義するための予備調査を行う.次の 4 章で，定義した平易化操作や対応する平易文書の文 IDを難解文書の各文にアノテーションして文アライメント評価データを作成する.

## 3.1 データセット

難解文書と平易文書の関係があると期待される日本語のコンパラブルテキストとして，毎日新聞と毎日小学生新聞の記事がある. 毎日小学生新聞は小学生向けの日刊紙であり，公式からの言及はないが，毎日新聞の記事を小学生が理解できるような平易な表現に書き換えたと思われる記事が散見される。そのため本稿では毎日新聞記事を「難解文書」，毎日小学生新聞記事を「平易文書」として扱う.

予備調査では，まず毎日新聞と毎日小学生新聞の記事集合に対して記事アライメントを行い，同じ内容を扱った記事ぺアを抽出する。次に目視で記事ぺアの文の対応付けを行い，どのような操作により平易な表現への書き換えが行われているかを調査する.その結果から日本語の文書単位の平易化に必要な平易化操作を新たに定義する。表 1 平易化操作の種類と操作

予備調査には毎日新聞，および毎日小学生新聞の一年分の掲載記事を収録した 2014 年版の『CD-毎日新聞データ集』, 『CD-毎日小学生新聞記事データ集』を使用する。

## 3.2 記事の対応付け

毎日新聞と毎日小学生新聞の記事集合から同じ内容を扱った記事ぺアを抽出する．毎日小学生新聞の特徴として，漢字の後に括弧でふりがなを振る傾向がある。これを取り除くため，両方のデータセッ卜で前処理として丸括弧とその中の文字列は削除する．前処理を加えた記事に対し，ユーザー辞書に 「令和」を登録した mecab ipadic-NEologd で形態素解析を行い，2 文字以上の動詞，形容詞，名詞を抽出する．ただし数字，ストップワード（一部の非自立語動詞)，基本形が「*」のものなどは除く．毎日小学生新聞の掲載日ごとの記事を形態素解析して抽出した単語の頻度ベクトルを作成, tf-idf で重み付けした. 掲載日の前後 7 日の毎日新聞記事と余弦類似度をとることで記事を自動抽出した。

bag-of-words での記事アライメントでは，掲載時間のずれにより詳細まで完全に一致したものを得る事はできない（例：被害状況が更新されるなど）. また毎日小学生新聞への書き換えでは不要な句や節を削除する平易化の操作が行われており，記事の類似度が高いからといって必ずしも良い対応の取れた記事のペアとは限らない。そのため目視で確認し,内容が一致した類似度が 0.70 以上の記事ぺアから類似度 0.05 刻みに 3 件ずつ計 18 件を抽出した。

## 3.3 結果

抽出した各記事を鍵括弧外の「。」，「？」，「!」」で文分割し，文の対応を目視で確認した．対応が付いていると判断した文同士を比較して平易化のために行われている操作を調査した。操作の種類ごとに分類した結果，表 1 に示す計 5 つの平易化操作を新たに定義した．各平易化操作の例は，付録 $\mathrm{A}$ 参照.
表 2 毎日新聞記事へのアノテーション（一部抜粋）

 & 3 & 0 & 囲碁：10歳・仲邑初段、悔しい船出【大阪】 \\
スプリット & 1,2 & 1 &  \\

表 3 対応する毎日小学生新聞記事（一部抜粋）

4月 1 日付で囲基の史上最年少棋士になった仲邑董初段が 22 日、大阪市で公式戦の初めての対局に臨みました。第 29 期竜星戦予選 B 1 回戦で、同期の大森らん初段に敗れ、ほろ苦いプロデビューとなりました。序盤は互角の戦いだったものの、大森初段が中盤で優勢を築きました。

表 4 平易化操作ラベルの割合と平均文長

## 4 評価データの作成

## 4.1 データセット

文アライメント評価データの作成には，2019 年版の『CD-毎日新聞データ集』, 『CD-毎日小学生新聞記事データ集』のデータセットを使用する．記事が対応付いていると判断する閾値を類似度 0.75 以上として，3.2 節と同様に記事アライメントを行う. その結果, 毎日新聞 66,858 件と毎日小学生新聞 3,529 件から 442 件の記事ペアを抽出した. そのうちの 287 件がすべて文が「。」，「?」，「!!ののいずれかで終わる記事であった. 見出しなどではなく文に加えられる平易化操作に関心があるので，この 287 件の中から目視で対応がとれていることを確認した 50 件の記事ペアを抽出した。

## 4.2 アノテーション

抽出した記事ぺアの毎日新聞と毎日小学生新聞の記事を読み比べ，毎日新聞記事の各文に対して表 1 の平易化操作，毎日小学生新聞記事の対応する文の ID を付与するようにアノテーションを 1 名の作業者に依頼した. 依頼時, 毎日小学生新聞で插入された文 ID を記録するため文 ID が 0 の行を用意し，文のカラムには記事の見出しを入れた。毎日新聞記事への人手アノテーションの結果の例と, その記事に対応付く毎日小学生新聞記事を表 2 と表 3 に示す.

## 5 分析

## 5.1 平易化操作ラベルの割合

毎日新聞と毎日小学生新聞の間で行われる平易化操作の傾向をつかむために，毎日新聞記事の各文に対して付与された表 1 の 5 つの平易化操作の総数と割合, 付与された文の平均文長を調査した。その結果を表 4 に示す. ただし，付録 B のように毎日新聞と毎日小学生新聞には文書の性質に違いがある. そのため毎日小学生新聞の文に付与される「文の挿入」は，毎日新聞の文に付与する他の平易化操作の平均文長とは単純な比較はできない.

最も多く行われた平易化操作は「文の削除」であった.これは難解な文を平易な文へと変換することを前提とした「文単位の平易化」にはない「文書単位の平易化」特有の操作である. すべての難解な文を平易なものにするのではなく，ときには削除して文書全体を要約する形で毎日新聞記事から毎日小学生新聞記事へ書き換えていることが伺える.

スプリットのラベルの付いた文の対応 IDをみると文の対応は $1 \mathrm{n}$ となっており, $\mathrm{n}: \mathrm{m}$ のような複数文が対応するような複雑な平易化操作は抽出した 50 件ではみられなかった. スプリットで連続する文に分割されるのは 32 回のうち 30 回であり，また付与された文の平均文長は他の操作よりも長いことから，文書の構造を変化させるのではなく，文長を短くすることで理解しやすいものに書き換える傾向があるといえる.

マージはスプリットと同数だが，マージは $\mathrm{n}: 1$ の関係をとる平易化操作であり，毎日新聞の各文にアノテーションを行っているため実際の操作回数よりも多くなっている。連続するマージを 1 回とカウントした場合の総数は 24 回であり, 平易化操作としてはスプリットの方が多用されている.
表 5 平易化操作ラベルの条件

## 5.2 アライナーによる文の対応付けと分類

既存の文アライナーで作成した評価データの文アライメントを行い，その結果をもとに「平易化操作」 と「対応 ID」を自動付与する。これを評価データの人手アノテーションと比較して一致率を調査する.

## 5.2.1 アライナー

$\mathrm{CATS}^{4)}$ [8][9] は，段落や文を $\log$ tf-idf で重み付けした文字 3-gram で表現し, 文書間で最大類似度のものと対応付けるアライナーである. 本稿では文アライナーとして使用し，対応元文書の各文の「対応 ID（対応する文の ID）」と「余弦類似度」を求める。 1:n の対応をとるスプリットやマージの検出のために「毎日新聞-毎日小学生新聞」の両方向で行う.

## 5.2.2 平易化操作ラベルの自動付与

作成した評価データの 50 記事から抽出した 15 記事をもとに以下の 4 つの条件を設定し，表 5 のように満たすかで平易化操作を自動付与する. ラベルを付与する毎日新聞の文を $\left.「 S_{m a i}\right.\lrcorner$, CATS での毎日新聞から毎日小学生新聞への対応付けで $S_{m a i}$ と最大類似度をとる毎日小学生新聞の文を $\left.「 S_{s h o}\right.\lrcorner$ とする。

条件 1 毎日小学生新聞から毎日新聞への対応付けで $S_{s h o}$ の最大類似文は $S_{m a i}$ で, 類似度は 0.20 以上

条件 2 毎日小学生新聞の文に $S_{s h o}$ 以外に $S_{m a i}$ が最大類似文, かつ類似度が 0.20 以上の文がある

条件 3 毎日新聞の文に $S_{m a i}$ 以外に $S_{s h o}$ が最大類似文, かつ類似度が 0.20 以上の文がある

条件 4 毎日小学生新聞の文で, 毎日新聞のすべての文との類似度が 0.13 以下

## 5.2.3 評価

各平易化操作ラベルの総数と, それが人手アノテー ションしたラベルと対応 ID のどちらとも一致する

4) https://github.com/neosyon/SimpTextAlign表 6 平易化操作ラベルの一致率

表 7 自動付与と人手によるアノテーションの比較人手自動毎日新聞

ものの総数と割合を表 6 に示す.「なし」は自動付与では文の挿入は行われていないとされたが, 人手アノテーションではあると判断されたものを表す.

マージを除く平易化操作は人手アノテーションと高い一致率であった. マージの一致率が低い要因として 2 点考えられる. 1 点目として文字 3-gram での対応付けにより内容は異なるが出現単語が類似した文とも高い類似度となり，誤った対応付けをすることがある. 2 点目としてマージの判断は人手でも困難なことが挙げられる。毎日小学生新聞の『「N 7 ００Ｓ」は来年の東京オリンピック直前にデビュー する予定で, アメリカの高速鉄道や台湾新幹線などへの売り込みを目指しています。』という文に対応する毎日新聞の文に人手と自動では表 7 のように異なるラベルを付与した. この場合は自動付与の方が適切なラベルといえる. 文アライナーの活用することで人手付与の誤りを検知でき, より高い精度で平易化操作ラベルを付与することが期待される.

## 6 おわりに

本稿では，毎日新聞と毎日小学生新聞の記事ペアから平易化の予備調査を行った。「調査により新たに設計した 5 つの平易化操作」と「対応する文 ID」 が付与された文アライメントの評価データを作成した. また，文アライナーにより自動での平易化操作を分類した結果，人手アノテーションと高い一致率であった. このことから, 文アライナーを活用して自動で平易化操作ラベルや対応する文 IDを付与することで，十分なコンパラブルテキストさえ用意すれば，大規模な文書単位の平易化コーパスを構築できる可能性を示した。

## 謝辞

本研究成果は, 国立研究開発法人情報通信研究機

構（NICT）の委託研究「自動翻訳の精度向上のためのマルチモーダル情報の外部制御可能なモデリングの研究開発」により得られたものである.

## 参考文献

[1] Jan De Belder and Marie-Francine Moens. Text simplification for children. In SIGIR Workshop on Accessible Search Systems, pp. 19-26, 2010.

[2] Zhemin Zhu, Delphine Bernhard, and Iryna Gurevych. A monolingual tree-based translation model for sentence simplification. In International Conference on Computational Linguistics, 2010.

[3] William Coster and David Kauchak. Simple English Wikipedia: A new text simplification task. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 665-669, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[4] Wei Xu, Chris Callison-Burch, and Courtney Napoles. Problems in current text simplification research: New data can help. Transactions of the Association for Computational Linguistics, Vol. 3, pp. 283-297, 2015.

[5] Takumi Maruyama and Kazuhide Yamamoto. Simplified Corpus with Core Vocabulary. In Nicoletta Calzolari (Conference chair), Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi, Koiti Hasida, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Asuncion Moreno, Jan Odijk, Stelios Piperidis, and Takenobu Tokunaga, editors, Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 7-12 2018. European Language Resources Association (ELRA).

[6] Akihiro Katsuta and Kazuhide Yamamoto. Crowdsourced Corpus of Sentence Simplification with Core Vocabulary. In Nicoletta Calzolari (Conference chair), Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi, Koiti Hasida, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Asuncion Moreno, Jan Odijk, Stelios Piperidis, and Takenobu Tokunaga, editors, Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 7-12 2018. European Language Resources Association (ELRA).

[7] 稲岡夢人, 山本和英. 日本語文法平易化コーパスの構築. 言語処理学会第 25 回年次大会, pp.375-378, March 2019.

[8] Sanja Stajner, Marc Franco-Salvador, Simone Paolo Ponzetto, Paolo Rosso, and Heiner Stuckenschmidt. Sentence alignment methods for improving text simplification systems. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, ACL 2017, Vancouver, Canada, July 30 - August 4, Volume 2: Short Papers, pp. 97-102, 2017.
[9] Sanja Štajner, Marc Franco-Salvador, Paolo Rosso, and Simone Paolo Ponzetto. CATS: A tool for customized alignment of text simplification corpora. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

## A 平易化操作ごとの例

 &  \\

## B 作成した文アライメントの評価データの統計量

図1評価データの文字数のヒストグラム

図 2 評価データの文数のヒストグラム


# 漫才対話の収集及び自動アノテーションのパイプラインの検討

佐々木裕多 1 張建偉 1
1 岩手大学 理工学部
\{s0619027,zhang\}@iwate-u.ac.jp

## 概要

笑いは健康を促進することができ，誰かと一緒のときに起こることが多いため，対話システムへのユーモアの実装によりユーザの心身の満足度が向上すると考えられる。また，日本人の笑いは「会話型」コミュニケーションの笑いが多く，一般的にコミュニケーションにおいて非言語コミュニケーションの割合が高い.このことから，漫才対話に着目し，マルチモダリティを用いて，会話形式のユーモアを学習するためのデータセットの構築を行う。このデータセット構築におけるアノテーションは負荷が高く，再現性が低くなりやすい. アノテーションの負荷軽減と再現性向上のため，漫才対話の収集から自動アノテーションまでのパイプラインの構築を試みる。

## 1 はじめに

笑いは健康に良い影響を及ぼしている。漫才動画鑑賞を用いた実験から，笑うことによる認知機能改善とストレス応答抑制の有効性や [1], 他者と笑うことによる高齢期での機能不全のリスクの軽減など [2], いくつもの医学研究が健康に対する笑いの影響を示している [3]. また，笑いは大抵誰かと一緒にいるときに起こると報告されており [4]，コミュニケーションの中で笑いが起きやすいと考えられる。 これらのことから，対話システムに笑いを引き起こすユーモアを実装することで，ユーザの心身の満足度向上が期待される。

対話システムへのユーモアの実装を目的として，会話におけるユーモアの理解や生成を学習するためのデータセットの構築を試みる。荒木ら [5] は， ユーモアの面白さを評価する標準的なデータセットの構築の第一段階として, 駄酒落データベースの構築を行なった. 日本人の笑いは 2 人以上の時に多く成立し，「合いの手」が入ることで笑いが起こる 「会話型」コミュニケーションにおける笑いが多い
[6]. しかし, 駄酒落はジョークの一種であり, 対話へのユーモアの応用を考慮すると，文脈を必要とするユーモアに着目する必要がある。また，コミュニケーションにおける笑いを発話のみから判断するのは適切ではない. Mehrabian は 2 つの研究を基に， $7 \%$ の言葉，38\%の音声，55\%の表情から感情を伝えると導いた $[7,8]$. 笑い声や笑い顔が人類に共通し，強い共鳴性を持つことからも，コミュニケーションにおける笑いに対して非言語コミュニケーションの要素を考慮することが重要だと考えられる。そこで，マルチモーダル漫才対話ユーモアデータセットの構築を試みる. Patro ら [9] は TV シリーズのシットコムを用いてラフトラックを予測するマルチモー ダルデータセットを構築した．これを参考とし，話者情報，発話テキスト，発話開始/終了時間，面白さ，笑い声区間のアノテーションを行う．しかし， これら全てのアノテーションは負荷の高い作業であり，アノテータ毎に時間のずれや表記ゆれ等による不一致が起こりやすいため，再現性が低いと考えられる. アノテータが自動アノテーションの結果を修正することで，アノテーションの再現性を向上できると考え，本研究では発話テキスト，発話開始／終了時間，笑い声区間を対象とした自動アノテーション手法を検討し，データセット作成のためのパイプライン構築を試みる。

## 2 パイプライン構築

データセット構築のパイプラインを図 1 に示す.本研究では，漫才対話データ収集と自動アノテー ションについて取り組む.

## 2.1 漫才対話データ収集

マルチモダリティを扱うことができ，漫才対話生成やユーモア検出，ラフトラック予測などの複数のタスクに対応できる抽象度の高いデータセットの構築を目指す。そこで，多くのモダリティ情報を獲得

図 1 データセット構築のパイプライン

でき，漫才対話データも多い YouTube ${ }^{1)}$ 対象としてデータの収集を行う。

## 2.1.1 収集方法

収集するデータの決定のため，YouTube Data API ${ }^{2)}$ を用いて，動画のメタデータを収集する。メタデータには動画 ID やタイトル，チャンネル ID などが含まれる。メタデータの収集には次の 2 つの方法を採用する。
- M-1 グランプリ公式チャンネルを対象として,「M1 グランプリ」のクエリを用いて検索

・芸能事務所公式チャンネルが公開しているプレイリストを対象として検索

近年では，一般の人も簡単に動画をアップロードすることができ，違法アップロードされた動画も多い.そのため，人手で API のパラメータを慎重に決定することで，確かに公式に公開された動画の义タデータを収集する。また，漫才師が公式に公開している動画も存在するが，漫才師の偏りを防ぐため，芸能事務所や大会が公開する漫才のみを対象とした.

## 2.1.2 フィルタリングによる後処理

コントはセットを用いた寸劇形式であり，会話形式のデータ収集には不適切である. したがって，コントやインタビューの動画を除くため，以下のルー ルに基づくフィルタリングを行う.

1) https://www.youtube.com/

2) https://developers.google.com/youtube/v3

図 2 アノテーションデータ形式例

・ M-1 グランプリ公式チャンネルを対象として，タイトルに「【決勝ネタ】」「【敗者復活戦ネタ】」「【ナイスアマチュア賞】」のいずれかを含む

・プレイリストを対象として，タイトルに「漫才」を含む

このフィルタリングによって残ったメタデータを基に動画データを収集する。

## 2.2 自動アノテーション
漫才対話データのアノテーション結果のデータ形式を図 2 に示す.この形式を満たすためには，漫才を観た上で，発話テキストや発話時間，話者情報，面白さ，笑い声区間の全てのアノテーションを行う必要がある.これらのアノテーションは負荷が高く，テキストの表記ゆれや時間のずれ等が起こりうる. そこで，アノテータの負担を減らし，アノテー ションの再現性を向上するため, 次の自動アノテー ションを行う。

## 2.2.1 漫才対話自動書き起こし

音声の書き起こしとテキストに対応する発話時間の推定を行う Whisper large-v $2^{3}$ [10] を用いて，漫才対話の自動書き起こしと発話時間推定を行う. 同 small モデルを用いた書き起こしも行なったが，漫才に対する音声認識性能が低く, 誤字も多いことから， large-v2 モデルを採用する。

## 2.2.2 笑い声区間の自動検出

各発話の面白さの評価は，アノテータ毎にずれがあると考えられる．観客の笑い声をラフトラックとして扱うことで，各発話に対するユーモアのラベル付けが可能になると考え，笑い声区間の自動検出を行う. 検出モデルには AudioSet-YouTube corpus [11] で訓練された MobileNet ${ }^{4}$ [12]を用いて，521 個の音声クラスのうち Laughter クラスの予測確率が $5 \%$ 以上の区間を笑い声区間として検出する。このモデルは音声を 960ms のフレーム毎に分割し, 各フレームに対してクラスを予測する。連続するフレームは $480 \mathrm{~ms}$ の重複を持つため, 笑い声区間と予測されたフレームが連続した場合，それらに対応する時間を結合する後処理を加える.

## 3 分析

収集されたデータと自動アノテーションの分析を行うことで，目的とした漫才対話が収集できているか, 自動アノテーションが実用に足る精度であるかを調査し，課題を考察する。

## 3.1 収集データの分析

収集されたデータの統計情報を表 1 ，収集データ内における漫才師の被り数の分布を図 3 に示す. データ件数 280 件に対して漫才師が 201 組であった

3) https://github.com/openai/whisper

4) YAMNet とも言われる.

https://tfhub.dev/google/yamnet/1表 1 収集データの統計情報

図 3 漫才師の被り数の分布

ことや同じ漫才師の出現頻度が小さいことから，漫才師の偏りを防いでデータ収集できていることがわかる. 今回収集された YouTube チャンネル数は 3 件であり，これらは大会か芸能事務所の公式チャンネルであった. したがって，違法アップロードされた動画は収集されていないことがわかる。しかし，いくつかの動画を確認した際，コントと思われるデー タが確認された。メタデータを収集する API のパラメータの設定やフィルタリングによってコント動画を自動的に除くことは難しく，人手によるフィルタリングも行う必要性がある.

## 3.2 自動アノテーションの分析

自動アノテーションの分析のため, Web アプリケーションの構築を行なった．漫才動画，笑い声区間，書き起こし，発話時間をシングルページで参照でき，図４のようになっている．画面左では動画鑑賞と笑い声区間検出の確認を行い，画面右では書き起こしや発話時間の確認を行うことができる．このアプリケーションを用いて，20 件程度の漫才動画を鑑賞し，自動アノテーションの傾向の観察と課題の考察を行った。

## 3.2.1 漫才対話自動書き起こし

Whisper による自動書き起こしは，人手で修正することでアノテーションができるほど高い精度であったが，課題が多くあった．人名やコンビ名のよ

図4 アプリケーション画面

うな固有名詞や言い間違えボケ，テンポの速すぎる会話などはうまく書き起こしができていなかった. 例えば，「竹内豊」という俳優の名前に対して 「竹ルーツ居たかったら」，「かわいい」を「ハワイ」 と言い間違えるボケに対して「かわいい」と書き起こす誤りがあった．また，出囃子が流れている言葉の無い時間に発話時間を割り当て，ネタ前半部分の発話推定時間が大きくずれる現象も見られた. Whisper は同時に起こる発話の時間を適切に推定できず，重なった発話の片方のみを書き起こすケースも多かった. 自動書き起こしと発話時間推定は，発話の重なりのない音声において高い精度であったが，テンポが速く発話の重なった音声において工夫すべき点が多く見られた。

## 3.2.2 笑い声区間の自動検出

笑い声区間の自動検出精度は，漫才動画の性質に大きく依存していた．観客の笑い声が鮮明に聞き取れる動画に対しては高精度で笑い声区間を検出できていたが，観客のリアクションが小さく収録された動画に対しては笑い声区間を検出できないケースが多かった. さらに，漫才師自身が笑う場合や漫才師が甲高い声または叫ぶような声で発声する場合において，笑い声区間の誤検出が多かった。観客だけのリアクションを考慮するため，観客のリアクションの抽出や増幅のような工夫が必要である．また，検出モデルが予測するフレームは $960 \mathrm{~ms}$ と長いため,観客の笑い声が長く続くケースや笑いが起こるテンポが速いケースにおいて，検出される笑い声区間が極端に長くなってしまい，不適切であった.より短い時間のフレームに対する予測や音声イベント検出の組み合わせによって，笑い声区間の自動検出精度
が向上すると考えられる。

## 4 まとめと今後の展望

笑いは健康を促進でき，日本人の笑いは「会話型」コミュニケーションの中で起こることが多いため，対話システムへの会話形式のユーモアの実装によりユーザの心身の満足度を向上できると考えられる. 本研究では，マルチモーダル漫才対話ユーモアデータセットの構築のため，データ収集とアノテー ションの負荷軽減と再現性向上を目的とした自動アノテーションのパイプラインを検討した. 今回使用したデータ収集のロジックにより，人手でコントを除く処理は必要であるが，適切にアップロードされた動画を対象に収集できた. しかし，今回行った自動アノテーションの方法には多くの課題が見られ，工夫の余地があることがわかった. すでに検証した自動アノテーションの精度改善実験やデータ収集方法改善の結果を付録 A，B に示している。

今後はアノテーションのルールの細かな設定を決定し，自動アノテーションの手法を改善する．漫才は「会話型」コミュニケーションの形式でネタが行われており，意味のある言葉を含み笑いを狙ったツッコミだけでなく，相槌や合いの手も頻繁に行われている。相槌や合いの手をどの程度テキストに起こすかを決定する必要がある．また，笑い声はピー クを持つが一定時間持続するものであり，笑い声が短時間に連続して発生した場合, 笑い声区間のアノテーションは不適切になりうる。 そのため, 笑い声のピークや音声イベントを用いたルールの設定が必要である。これらの細かな設定をした上で，精度と再現性の高い自動アノテーション手法をさらに検討し，データセットの構築と公開を目指す。

## 参考文献

[1] 山越達矢, 阪本亮, 西垣翔梧, 田中爽太, 福田隆文, 金留理奈, 鈴木久仁厚, 梁弘一, 小山敦子, 阿野泰久. 笑いによるストレス応答抑制と認知機能改善効果. 日本健康心理学会大会発表論文集, Vol. 34, p. 87, 2021.

[2] Yudai Tamada, Chikae Yamaguchi, Masashige Saito, Tetsuya Ohira, Kokoro Shirai, Katsunori Kondo, and Kenji Takeuchi. Does laughing with others lower the risk of functional disability among older japanese adults? the jages prospective cohort study. Preventive Medicine, 2022.

[3] Rosemary Cogan, Dennis Cogan, William Waltz, and Melissa McCue. Effects of laughter and relaxation on discomfort thresholds. Journal of behavioral medicine, Vol. 10, No. 2, pp. 139-144, 1987.

[4] Rod A Martin and Nicholas A Kuiper. Daily occurrence of laughter: Relationships with age, gender, and type a personality. 1999.

[5] 荒木健治, 内田ゆず, 佐山公一, 谷津元樹, 北海道大学, 小樽商科大学. 駅酒落データベースの構築及び分析. 人工知能学会第 2 種研究会ことば工学研究会資料, SIG-LSE-B702-3, pp. 13-24, 2017.

[6] 大島希巳江. 日本の笑いと世界のユーモア：異文化コミュニケーションの観点から. 世界思想社, 2006.

[7] Albert Mehrabian and Morton Wiener. Decoding of inconsistent communications. Journal of personality and social psychology, Vol. 6, No. 1, p. 109, 1967.

[8] Albert Mehrabian and Susan R Ferris. Inference of attitudes from nonverbal communication in two channels. Journal of consulting psychology, Vol. 31, No. 3, p. 248, 1967.

[9] Badri N. Patro, Mayank Lunayach, Deepankar Srivastava, Sarvesh Sarvesh, Hunar Singh, and Vinay P. Namboodiri. Multimodal humor dataset: Predicting laughter tracks for sitcoms. In 2021 IEEE Winter Conference on Applications of Computer Vision (WACV), pp. 576-585, 2021.

[10] Alec Radford, Jong Wook Kim, Tao Xu, Greg Brockman, Christine McLeavey, and Ilya Sutskever. Robust speech recognition via large-scale weak supervision. arXiv preprint arXiv:2212.04356, 2022.

[11] Jort F. Gemmeke, Daniel P. W. Ellis, Dylan Freedman, Aren Jansen, Wade Lawrence, R. Channing Moore, Manoj Plakal, and Marvin Ritter. Audio set: An ontology and human-labeled dataset for audio events. In Proc. IEEE ICASSP 2017, New Orleans, LA, 2017.

[12] Andrew G Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, and Hartwig Adam. Mobilenets: Efficient convolutional neural networks for mobile vision applications. arXiv preprint arXiv:1704.04861, 2017.

[13] M Iftekhar Tanveer, Diego Casabuena, Jussi Karlgren, and Rosie Jones. Unsupervised speaker diarization that is agnostic to language, overlap-aware, and tuning free. arXiv preprint arXiv:2207.12504, 2022.

[14] Cem Subakan, Mirco Ravanelli, Samuele Cornell, Frédéric Lepoutre, and François Grondin. Resourceefficient separation transformer. arXiv preprint
arXiv:2206.09507, 2022.

[15] R. Ardila, M. Branson, K. Davis, M. Henretty, M. Kohler, J. Meyer, R. Morais, L. Saunders, F. M. Tyers, and G. Weber. Common voice: A massively-multilingual speech corpus. In Proceedings of the 12th Conference on Language Resources and Evaluation (LREC 2020), pp. 4211-4215, 2020 .

## A 自動アノテーションの精度を改善できなかった手法

## A. 1 ボケとツッコミの発話者推定

漫才では，ボケとツッコミの役割が重要であるため，発話者のアノテーションが必要である. Whisper は複数の話者をある程度分離して書き起こしを行うことができていたが，発話者を割り振ることはできないため，以下の発話者推定の手法を検討した.

1. PyAnnote ${ }^{5)}$ を用いた話者ダイアリゼーション

2. 事前学習済みモデルを用いた教師なしによる話者ダイアリゼーション [13]

3. RE-SepFormer ${ }^{6)}[14]$ を用いた話者分離

1 と 2 の手法は話者を適切に割り振ることができず，オーバラップした部分の検出もできていなかった. 3 の手法において, 話者ごとに分離された音声を自動書き起こしすることを目標としていたが，全く分離することができず，実用に足る精度が得られなかった. 要因として, 日本語の音声に対応したモデルを用いていないことが考えられる．日本語と英語は音声学的特徵が異なり, 音声のスペクトログラムの傾向が異なる可能性が推測され，これが英語に対応したモデルが日本語の音声に対してうまく機能していない要因であると考えられる． 3 において用いた RE-SepFormer を Common Voice ${ }^{7)}$ [15] の日本語データセットを用いてファインチューニングし，話者分離を試みたがうまく分離できなかった. しかし，日本語対応モデルの構築は一つの改善策である可能性があるため，引き続き検討していく.

## A. 2 発話開始/終了時間の推定精度向上

Whisper が推定するテキストに対応した発話時間には誤差があるため，その精度向上を試みた. A. 1 で説明した 1 の手法を用いて，話者ダイアリゼー ションの結果を発話開始／終了時間の誤差の軽減に使用する実験を行ったが，話者ダイアリゼーションの精度も高くないことから，良い結果が得られなかった. また，出囃子などの影響により Whisper が推定する発話時間が不適切な場合もあったため，ネタの前後の情報のない時間を削除することでノイズ
を軽减することが最優先の取り組みであると考えられる。まずはこの処理を今後行った上で追加実験を行っていく.

## B データ収集手法の改善

本研究においてデータ収集を行なった際（2022 年 11 月時点)， M-1 グランプリ 2022 が終了していなかったが，2023 年 1 月 13 日（論文投稿締切）時点において M-1 グランプリ 2022 が終了していたため， データ収集とフィルタリングのパラメータの変更を行い，データ収集を試みた。主な変更点は以下である.
- M-1 グランプリ公式チャンネルを対象として,「 M-1」のクエリを用いて検索（ M1 グランプリを M-1 に変更）

・ M-1 グランプリ公式チャンネルを対象として, タイトルに【決勝ネタ】」,「【敗者復活戦ネタ】」,「【ナイスアマチュア賞】」，「準々決勝ネタ】」,

「【3 回戦全ネタ】」,「【1 回戦 TOP3】」のいずれかを含む（【準々決勝ネタ】」、「3 回戦全ネタ】」,

$\lceil$ 「1 回戦 TOP3】」を追加）

これにより，合計 326 件の動画に関するメタデータを収集できた。また，「【3 回戦全ネタ】」か「【1 回戦 TOP3】」をタイトルに含む動画には，動画 1 本あたり 2 または 3 組の漫才師による漫才が収録されているため，収集できる漫才がさらに増加すると考えられる。

5) https://huggingface.co/pyannote/speaker-diarization

6) https://huggingface.co/speechbrain/

resepformer-wsj02mix

7) https://commonvoice.mozilla.org/en


# 地方議会議事録を対象としたスタンス分類データセットの自動構築と ベースライン分類器の評価

我藤勇樹 ${ }^{1}$ 秋葉友良 ${ }^{1}$ 内田ゆず ${ }^{2}$ 木村泰知 ${ }^{3}$ 高丸圭一 ${ }^{4}$
${ }^{1}$ 豊橋技術科学大学 ${ }^{2}$ 北海学園大学 ${ }^{3}$ 小樽商科大学 ${ }^{4}$ 宇都宮共和大学
gato.yuki.am@tut.jp akiba@cs. tut.ac.jp yuzu@hgu.jp kimura@res.otaru-uc.ac.jp
takamaru@kyowa-u. ac. jp

## 概要

スタンス分類は、特定のトピックに関して述べられた意見が賛成なのか反対なのかを分類することを目的としている。本研究では、複数の地方議会議事録から自動でスタンス分類データセットを構築する手法を提案する。愛知県の種々の規模の議会を対象に本手法を適用し、6,254 サンプルのデータセットを構築することができた。構築したデータセットを人手で評価したところ、抽出漏れは約 $10 \%$ あっものの賛否ラベルの付け誤りは $0 \%$ であった。また、構築したデータセットを基にベースライン分類器を作成し、分類性能の評価を行った。

## 1 はじめに

スタンス分類は、特定のトピックに関して述べられた意見が賛成なのか反対なのかを分類することを目的としている。例えば、「マスク着用」というトピックに対する意見「周囲の人を守るためにマスクを着用します。」は、賛成のスタンスを表明していることになる。スタンス分類が自動で行われることで、ソーシャルメディアに流れる大量のテキストを分析し、世論の把握やファクトチェックに活用することができる。

2019 年後半から 2020 年にかけて開催された NTCIR15 QA Lab-PoliInfo2 では、東京都議会を対象とした Stance Classification (SC) タスク [1]が実施された。これは、会議議事録全体を参照し各会派の議案に対するスタンス(賛成/反対)を推定するタスクであった。議会議事録中には、討論の冒頭に議案に対する賛否を明示的に表明する発言があり、この部分から賛否表現を抽出するだけで 90\%以上の精度を達成することができた。一方、純粋に発言の内容からスタンスを分類するという本来のスタンス分類
に対する性能は明らかになっていない。

図 1 実際の討論発言（愛知県大府市議会）

本研究では、明示的な賛否表現に頼ることなく発言のスタンス (賛否)を推定する問題に取り組むために、地方議会議事録から自動的にスタンス分類デー タセットを構築する手法を開発し、データ構築を行った。PoliInfo-2 の対象であった東京都以外の、県議会、市議会、町議会を含む様々な規模の地方議会を対象としている点が特徴である。また、英語を対象とした Stance Classification データセットは SNS などの短い発言を対象としたものが多いが、議会議事録を対象とした本データセットは、平均 578 単語と比較的長い発言を対象とすることも特徴である。図 1 に実際の議事録の発言を示す。

愛知県の種々の規模の議会を対象に本手法を適用

したところ、6,256 サンプルの賛否ラベル付きデー タを自動構築することができた。構築したデータの品質を評価するため、人手で構築したデータとの比較を行った。人手データと比べて抽出漏れが約 $10 \%$ あったものの、余計な発言が抽出されることはなく、 また自動ラベル付した結果に誤りは無く、高精度なデータを自動構築できることを確認した。また、構築したデータセットを基にベースライン賛否分類器を作成し、分類性能の評価を行った。

## 2 関連研究

スタンス分類のデータセットを構築する研究に Glandt らの研究[2]がある。この研究では、COVID-19 に関するツイートを収集し、クラウドソーシングを活用し人手でラベリングすることでデータセットを構築している。他にも、Allaway と McKeown の研究 [3]では、非常にターゲットの種類が多いVAST というデータセットを構築している。この研究でも、ラベリングにはクラウドソーシングが活用されている。 クラウドソーシングの問題点として、ラベルのつけ間違いや個人差、コストがかかることが挙げられる。本研究では、明示的な賛否表現にマスクを施すことにより自動でデータセットを構築した。

## 3 自動データセット構築

データセットを構築する手法について述べる。まず、提出議案の討論が主に行われる会議最終日の議事録のみを用いる。地方議会の討論の進行には、議長が個々の議案を一つずつ取り上げて発言者(議員) を指名し発言を認める形式（個別討論）と、議長が発言者のみを指名した後、指名された議員が複数の議案について一括で発言を行う形式 (一括討論) の 2 種類があり、議会毎に採用する討論形式が異なる。今回は発言とその対象となる議案の対応関係が明確である、個別討論形式の議会を対象とした。

愛知県の 33 の県議会、市議会、町議会を対象に調べたところ、15 の議会が条件を満たしていた。表 1 に個別議案の討論形式を持つ議会とデータセット構築に用いた議事録の対象年度を示す。表 1 データセット構築に用いた議事録

## 3.1 討論の抽出

本研究で構築するスタンス分類データセットは、議事録の討論を対象とする。討論の開始・終了は議長によって指定され、討論は議長に指名された議員が行う。そのため、討論の開始表現と終了表現の間の議員の発言を討論候補として抽出する。討論候補の抽出に使用した正規表現を表 2 に示す。

スタンス分類では、特定のトピック (ターゲット) に対する意見を分類する。そのため、討論候補のうち、表 2 のトピック表現を含むものをスタンス分類のテキストとして扱い、トピック表現を含まない候補は破棄する。

得られたテキストは、冒頭や末尾付近に明確にスタンスを表明する文（賛否表明文）が現れることが多い。実際の分類タスクでは、この賛否表明文を用いるだけで簡単にスタンスが特定できてしまう。そのため、表明文は除去することが望ましいが、出現位置や表現は様々であり難しい。そこで本研究では、賛否を表明するために典型的に使用される単語集合を予め列挙しておき、それらの単語を一つの特殊なトークンに置き換える(マスクする)ことで、発言に明示的な賛否表現が含まれないようにした。今回は、

「賛成」と「反対」の 2 単語を対象にマスクを行った。
表 2 本研究で使用した正規表現

 \\

## 3.2 賛否ラベリング

スタンス分類のデータセットには、サンプル(発言)毎にスタンス(賛成または反対)の教師ラベルを付与する必要がある。しかし、人手でラベル付けするコストは高い。本研究では、マスクした「賛成」「反対」を利用しヒューリスティクスを用いて自動でラベル付けを行った。ラベル付け手法は以下の通りである。

1. マスクした「賛成」および「反対」が発言を通してどちらか一方のみであった場合、マスクした単語が表すスタンスのラベルを付与する。

2.「賛成」「反対」どちらも出現する場合、発言中に表 2 の「賛成表現」または「反対表現」が出現するかチェックする。出現する場合は、対応するラベルを付与する。

3. 上記に当てはまらない発言は、ラベル付けせずに破棄する。

表 3 に表 1 で示した議事録から構築されたデータセットの統計情報を示す。表 3 より、賛否ラベルの割合がほぼ等しいデータセットであるといえる。また、図 2 に作成したデータの例を示す。表 3 データセットの統計情報

テキスト：議案第38号「大府市空家等対策の推進に関する条例の制定について」、自民クラブを代表し、[STANCE]の立場で討論をさせていただきます。近年、人口減少や少子高齢化等を背景に、全国的に空き家等の増加が社会問題となっている中、本市においても、今後、空き家等の増加により、生活環境の保全に支障が生じるのではないかと懸念されているところであり、本市議会建設消防委員会においても、これまで、空き家、空き地、空き店舗について調査研究を進めてきた経緯もございます本市では、平成 30 年 3 月に、大府市空家等対策計画を策定し、本計画に基づき、これまでも積極的に空家等対策を推進してきたところでございますが、法の枠組みだけでは対処できない課題が顕在化している状況がうかがえます。そのような状況の中で、今回、本条例を制定し、類似空家と特定類似空家等への対応を始め、市、所有者、市民、事業者などに責務又は役割を定めていること、人の生命、身体又は財産に重大な損害を及ぼすことを回避するために、緊急安全措置について規定していることは、法律を補完するとともに、空家等対策を総合的かつ計画的に推進し、公共福祉と地域振興につながるものと高く評価するものでございます。今後、法及び本条例に基づいて、引き続き空家等対策に継続的に取り組み、市民が安心安全に暮らすことができる「健康都市おおぶ」として、持続可能な社会が実現されることを期待し、[STANCE] 討論とさせていただきます。

ターゲット : 議案第38号「大府市空家等対策の推進に関する条例の制定について」

ラベル : 賛成

図 2 作成したデータの例

## 3.3 データセット構築手法の評価

構築したデータセットについて、人手で評価を行った。大府市の議事録を対象とし、議員の発言を 100 件抽出し、人手で討論発言かどうか分類した。討論発言である場合は、ターゲットとラベルも人手で付与し、同じ 100 件の発言に対して自動で構築したデ一タセットと比較した。比較結果を表 4 に示す。

表 4 より、自動抽出では、本来抽出すべき討論の約 10\%を取りこぼしていることがわかる。しかし、間違えて討論でないものを抽出していないため、デ一夕の数は少なくなるが質は高いと言える。自動で抽出した討論に対するターゲットとラベルは人手と完全に一致し、ミスなく付与できている。
表 4 人手評価の結果

 &  &  \\

## 4 ベースライン分類器の構築と評価

## 4.1 ベースライン分類器

構築したデータセットを学習データに用いて分類器を構築した。分類モデルには、Transformer エンコ ーダベースの事前学習モデルである BERT[4]を用いた。BERT モデルには、東北大学乾研究室が公開している学習済みモデルiを使用した。[CLS]トークンを対象に、MLP 層を加えた二值分類器を学習した。入力形式は、対象となる議案名と、発言テキストを、 [SEP]トークンで連携したものとした。ただし、BERT の最大入力長である 512 トークンを超えた場合は、後を切り捨てた。

## 4. 2 分類器の評価実験

構築したデータセットから 3.3 節で人手評価した 67 件を除いた 6,187 件を学習データとして、 4.1 節のモデルを 6 エポック学習し、テストデータ 67 件を評価した。分類結果を表 5 に示す。

表 5 ベースライン分類器での評価結果

## 5 おわりに

議会議事録を活用して、スタンス分類のデータセットを自動で構築した。人手評価の結果、取りこぼしているデータは多少あるが、ラベリングやターゲットの付与は非常に高い精度であることがわかった。今後の研究としては、今回対象としなかった、複
^{i}$ https://huggingface.co/cl-tohoku
}

数の議案を含む発言からもデータセットを構築することを目標とする。そのためには、発言を議案ごとにセグメンテーションする手法を研究する必要がある。

本研究で構築したデータセットは、NTCIR-17 QA Lab-PoliInfo-4[5] のサブタスク Stance Classification-2[6] のデータセットとして使用する予定である。

## 参考文献

1. Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mi- tamura, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, Kenji Araki, Satoshi Sekine, and Noriko Kando. Overview of the ntcir-15 qa lab-poliinfo-2 task. Proceedings of The 15th NTCIR Conference, 122020.

2. Kyle Glandt, Sarthak Khanal, Yingjie Li, Doina Caragea, and Cornelia Caragea. 2021. Stance Detection in COVID-19 Tweets. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 1596-1611, Online. Association for Computational Linguistics.

3. Emily Allaway and Kathleen McKeown. 2020. Zero-Shot Stance Detection: A Dataset and Model using Generalized Topic Representations. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 8913-8931, Online. Association for Computational Linguistics.

4. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics. 5. 小川泰弘, 木村泰知, 渋木英潔, 乙武北斗, 内田ゆず，高丸圭一，門脇一真，秋葉友良，佐々木稔，小林暁雄. NTCIR-17 QA Lab-PoliInfo-4 のタスク設計.言語処理学会第 29 回年次大会. 2023.

6. 高丸圭一, 内田ゆず, 木村泰知, 秋葉友良. 地方議会における議案への賛否に関する発言の分析一

NTCIR-17 QA Lab-PoliInfo-4 Stance Classification-2

タスクに向けて一. 言語処理学会第 29 回年次大会.

2023


# NTCIR-17 QA Lab-Polilnfo-4 Answer Verification における GDADC の利用に向けての考察

渋木英潔 ${ }^{1}$ 内田ゆず 2 小川泰弘 ${ }^{3}$ 門脇一真 ${ }^{4}$ 木村泰知 ${ }^{5}$
1 株式会社 BESNA 研究所 2 北海学園大学 3 名古屋大学
4 株式会社日本総合研究所 5 小樽商科大学
shib@besna.institute yuzu@hgu.jp yasuhiro@is.nagoya-u.ac.jp
kadowaki.kazuma@jri.co.jp kimura@res.otaru-uc.ac.jp

## 概要

我々は，フェイクニュースなどの社会問題を質問応答や自動要約などの自然言語処理技術を用いて解決するためのシェアードタスクとして NTCIR-17 QA Lab-PoliInfo-4 (以下，PoliInfo-4)を開催している.本稿では，システムの改善に有効とされる敵対的データを継続的に収集するために，ゲーミフィケー ションによるモチベーションで不特定多数のユー ザに敵対的データを作成させる GDADC を説明する。また，GDADC のゲームとしての面白さを考察しながら，PoliInfo-4 のサブタスクである Answer Verification (以下，AV) での利用について述べる.

## 1 はじめに

政治にまつわるフェイクニュースが社会問題となって久しい，我々はフェイクニュースなどの社会問題を，質問応答や自動要約などの自然言語処理技術を用いて解決する取り組みとして，QA Lab-PoliInfo タスク $[1,2,3]$ を評価型ワー クショップ $\mathrm{NTCIR}^{1)}$ において開催している。今年も NTCIR-17 QA Lab-PoliInfo-4 [4] (以下，PoliInfo-4) として, Question Answering-2 (以下，QA-2), Answer Verification (以下, AV), Stance Classification-2, Minutesto-Budget Linking の4つのシェアードタスクを開催している.

前回の QA Lab-PoliInfo-3 [3] で開催した Question Answering (以下，QA) では，例えば「○○について知事はどんな見解を持っているのか？」といった質問 2 を入力として，一次情報となる知識源 ${ }^{3}$ から

図 1 Question Answering における誤った解答例

質問の回答を提示した。参加者から提出されたシステムの回答を四つの観点から人手で評価した結果， 800 点満点中 499 点 $(62 \%)$ が最高スコアとなり,適切な回答も多く出力されていた.しかしながら， Gold Standard ${ }^{4)}$ を手評価した結果の 598 点 $(75 \%)$ には及ばなかった.システムによる誤った回答の例を図 1 に示す. 図 1 の上部に示す年号の誤りなど一見正しそうに見えるものもあるが，ファクトチェックの支援材料としてそのまま提示するには問題がある. それゆえ，PoliInfo-4では，QA-2 として引き続き同じ設計のタスクを実施するとともに，質問応答システムの出力が質問に対して適切であるか否かを判断する $\mathrm{AV}$ を実施することとした。

$\mathrm{AV}$ は， $\mathrm{QA}$ などで生成された回答が知識源と照らし合わせてフェイクになっていないかをチェックするタスクである．QAと AV のイメージを図 2 にそれぞれ示す. AV は図 2 に示すように二値分類問題に帰結させることができる。したがって，近年の機械学習の進歩もあり，フェイクか否かのアノテー ションが付与された十分な量の訓練データがあれば，適切な判断可能なモデルの生成が期待できる. しかしながら，QA の人手評価の対象は延べ 200 問

4）『都議会だより』の回答を用いた。

## Answer Verification

図 2 Question Answering (上) と Answer Verification (下) の概念図

程度であり, 訓練データとして利用するには決して十分な量とは言えない. また，日本の政治または議員発言に関するフェイク情報という特殊性から，一般のタグ付きコーパス等を利用することも困難である。

この問題を解決するために，我々は，ゲーミフィケーション的にアノテーションデータを拡充する Gamified Dynamic Adversarial Data Collection (GDADC) を提案した [5]. 本稿では，GDADC を説明した後， ゲームとしての面白さを考察しながら $\mathrm{AV}$ での利用に向けての取り組みを説明する.

## 2 ゲーミフィケーションに基づく動的な敵対的データ収集 (GDAGC)

近年，機械学習ライブラリの充実により，アノテーションデータさえあれば誰でも比較的容易に文書分類などのシステムを実装することが可能となった.アノテーション付きの言語資源は，言語資源協会5)や ALAGIN $\left.{ }^{6}\right)$ などから入手することができるが， その数量は限られており，目的とするドメインの言語資源がないこともある. 質問応答 (QA) における機械読解を対象としたデータセットに SQuAD [6] があるが， Jia and Liang [7] はこれに人手で「システムが混乱するような敵対的な文 (adversarial distracting sentence)」を加えることでシステムの性能が低下することを示した. QA システムの精度改善のためにはシステムが間違いやすい部分に焦点を当てたデー

5) https://www.gsk.or.jp/

6) https://alaginrc.nict.go.jp/
タが必要であるが，実世界の問題においてはそのようなデータが十分にあるとは限らず，特に専門性や特殊性が高い分野の場合，適格なアノテータを集めて新たにアノテーションすることも容易ではない.

専門知を補うために集合知を利用するという考え方は昔からあり [8], クラウドソーシングを利用してコーパスを構築する研究も多く行われている [9].

Kiela et al. [10] は，クラウドソーシングを通して敵対的な事例を収集するために，アノテータが作成した事例に対してシステムが予測し，予測が誤った事例のみを収集する敵対的データ収集 (Adversarial Data Collection, ADC) を提案した，ADCにより収集された事例は，予測システムが苦手とするタイプの事例に集中するのではないかという頑健性の問題が Kaushik et al. [11] により示されたが，Wallace et al. [12] は，敵対的データを元に予測システムを改善し, 改善された予測システムを対象に新たな敵対的事例を収集するというサイクルを継続的に繰り返す「動的な敵対的データ収集 (Dynamic ADC, DADC)」により頑健なシステムが構築されることを示した.しかしながら，ADC に関する研究はクラウドソーシングが前提であり, Sugawara et al. [13]が示すようにアノテータの費用やインセンティブといった面で問題がある．従って，継続的にアノテー ションを行うためには，インセンティブの問題を解決する必要がある. ユーザに自発的・持続的な行動を促すための研究として，ゲームに見られる様々な仕組みや要素をゲーム以外に適用するゲーミフィケーションと呼ばれるアプローチを適用したものがある $[14,15]$. 我々は，ゲーミフィケーションによりインセンティブを高めることで，不特定多数のユーザを対象として継続的にデータセットを拡充できると考えた。

以上の背景から，我々はゲーミフィケーションに基づく動的な敵対的データ収集 (Gamified DADC, GDADC) を提案した [5]. GDADC は，アノテーションの動機付けをゲームとしての面白さに頼っている.しかしながら，提案時にはその部分に関する議論が不十分であったため, 本稿の 4 節で議論する.

## 3 Answer Verification での利用

$\mathrm{AV}$ では敵対的データ収集のために『AI 城から財宝を奪おう!』7) というブラウザゲームを公開予定である．AVにおける GDADC を利用した敵対的デー

7) https://sites.google.com/view/poliinfo4/game

Web UI

リーダーボード

(3)

分類システム

Polilnfo-4 関係者

図 3 GDADC を利用した Answer Verification における敵対的データの収集

図 4 WebUI 上の敵対的データ作成画面 (予定)

タ収集の全体像を図 3 に示す。また，開発中の敵対的データの作成画面を図 4 に示す. GDADC のプレイヤは，敵対的データを作成する攻略と，予測システムを改良する防衛の一方または両方のアクションをとることができる．図 3 では，左側の Web 上にいる不特定多数が攻略側プレイヤ，右側の $\mathrm{AV}$ 参加者やタスクオーガナイザなどの PoliInfo-4 関係者が防衛側プレイヤに該当する。

ゲームストーリーとしては，攻略側プレイヤが 「詐欺師」となり，防衛側プレイヤが作成した「AI 城主」から尋ねられた政治的質問に対して回答する (詐欺を働く) という形で，AI 城主が納得しつつも内容的には決して真実ではないテキストを入力する。 その結果，AI 城主が真実だと予測すれば (すなわち，AI 城主が騙された場合)「そなたの意見はもっともだ。褒美をとらそう」となり，プレイヤの「財宝」スコアが増加する．スコアはリアルタイムで反映され，リーダーボードという形で順位が公開される.また，AI 城主を騙せたかどうかに関わらず，入力されたテキストはデータベースに収集される. 防衛側と攻略側のデータ構造を表 1 と表 2 にそれぞれ

 \\

示す. 収集された敵対的データは，防衛側プレイヤに参照され予測システムの改良に用いられることになる， AI 城主が賢くなれば，同様の詐欺を働くことができなくなり，新たな種類のテキストを入力しなければならなくなる。このように攻略側プレイヤと防衛側プレイヤが互いに切䃴玩磨することでゲームとしての駆け引きが生じることになる.

## 4 ゲームの面白さと利用動機の考察

$\mathrm{AV}$ 参加者やタスクオーガナイザといった防衛側プレイヤには，予測システムを改良するという目的が敵対的データ作成の動機となりうるが，攻略側プレイヤには，そのような動機はないため，ゲームとしての面白さをインセンティブにする必要がある.

## 4.1 ゲームの面白さ

ゲームの面白さとは何かを扱った研究として，藤江ら [16] や馬場 [17] の研究がある. 彼らは，ゲー
表 2 攻略側のデータ構造

 &  \\

ムの面白さを Csikszentmihalyi のフロー理論 [18] で言うところの最適覚醒と結び付け, ゲームの基本構成要素であるプレイヤ・ルール・ツール（インター フェイス）の三者のバランスが最適となったときにゲームの面白さが発生するとしている. 完全には予測不可能なプレイヤという要素を含むとしつつも，最適覚醒につながる刺激として, 新奇性と, 不確定性や複雑性による情報負荷を挙げている。また，新奇性が失われた後も環境に対する統制感と能力を証明することによる効能感が繰り返し遊び続ける動機となりうるとしている. 敵対的データを作成するという作業は一般的なアノテーションに比べて新奇性が高いものであり，「AIを騙せたら攻略成功」という攻略指標はそれなりの不確定性や複雑性が存在する. また，リアルタイムでスコアが反映される枠組みは統制感や効能感を与えてくれるだろう。

## 4.2 ゲーム利用動機

現代日本の大学生におけるゲーム利用動機を扱った研究には, 井口 [19] がある. 現代日本の大学生におけるゲーム利用動機には「空想」「承認」「趣向」「達成」「友達」「学習」「気晴らし」の7つの要因があり，「気晴らし」以外の動機が高いほどゲームへの没入度が高くなることが報告されている。「空想」 は「現実とは違う世界で楽しむことができる」や 「現実にはできないようなことができる」といった要素である。本稿の「詐欺師としてフェイクニュー スを作成する」という設定は現実には行ってはいけないものであり，「空想」の動機付けにつながると考えられる。「承認」には「他人よりも上手なプレイヤになりたい」や「相手を負かすのが楽しい」 といった競争の要素が含まれており，GDADCではリーダーボードによるランキングがこの動機付けにあたる。「達成」は「課題を達成することが嬉しいから」や「遊んでいるうちに上達するのが楽しいから」といった要素であり，「学習」は「難しいことが理解できることがあるから」や「新しい知識を得ることができるから」といった要素であるが，AIを騙すことができるフェイクニュースを作成するという課題は，専門性や特殊性が求められる難しい課題と言ってよく，知識源となる議会での討論の内容を理解する過程は，多くの攻略側プレイヤにとって新しい知識を得ることになるだろう．残りの「趣向」 は「絵や映像がきれいだから」や「音や音楽に惹かれるから」といった要素，「友達」は「友人と一緒に遊ぶのが楽しいから」や「友人との話題になるから」といった要素である. 我々は「趣向」や「友達」 に関する面白さにはあまり焦点を当てていないが， Web UI の演出や SNS などでの宣伝などを通して動機付けすることができればよいと考えている.

## 5 おわりに

本稿では，機械学習システムの改善に有効とされる敵対的データを継続的に収集するために， ゲーミフィケーションによるモチベーションで不特定多数のユーザに敵対的データを作成させるGDADC を説明した。また，GDADC のゲームとしての面白さを考察しながら, PoliInfo-4 の AV での利用について述べた. PoliInfo-4 の AV の開催とあわせて，今後『AI 城から財宝を奪おう!』を https://sites.google.com/view/poliinfo4/gameで公開する予定である。また，ゲーム進行によりデー タが蓄積されていく中で，GDADC の効果を検証する予定である.

## 謝辞

本研究は JSPS 科研費 21H03769，22H03901 の助成を受けたものである.

## 参考文献

[1] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Kotaro Sakamoto, Madoka Ishioroshi, Teruko Mitamura, Noriko Kando, Tatsunori Mori, Harumichi Yuasa, Satoshi Sekine, and Kentaro Inui. Overview of the NTCIR-14 QA Lab-PoliInfo task. In Proceedings of the 14th NTCIR Conference, 2019.

[2] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mitamura, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, Kenji Araki, Satoshi Sekine, and Noriko Kando. Overview of the NTCIR-15 QA Lab-PoliInfo-2 task. In Proceedings of The 15th NTCIR Conference, 2020.

[3] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Kazuma Kadowaki, Tatsunori Mori, Kenji Araki, Teruko Mitamura, and Satoshi Sekine. Overview of the NTCIR-16 QA Lab-PoliInfo-3 task. In Proceedings of The 16th NTCIR Conference, 2022.

[4] 小川泰弘, 木村泰知, 渋木英潔, 乙武北斗, 内田ゆず,高丸圭一, 門脇一真, 秋葉友良, 佐々木稔, 小林暁雄. NTCIR-17 QA Lab-PoliInfo-4 のタスク設計. 言語処理学会第 29 回年次大会, 2023.

[5] 渋木英潔, 内田ゆず, 小川泰弘, 門脇一真, 木村泰知. ゲーミフィケーションに基づく QA データセット拡充手法の提案: QA Lab-PoliInfo-4 Answer Verification タスクに向けて. 第 18 回 Web インテリジェンスとインタラクション研究会, 2022.

[6] Pranav Rajpurkar, Robin Jia, and Percy Liang. Know what you don't know: Unanswerable questions for SQuAD. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 784-789, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[7] Robin Jia and Percy Liang. Adversarial examples for evaluating reading comprehension systems. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2021-2031, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[8] Thatsanee Charoenporn, Virach Sornlertlamvanich, Hitoshi Isahara, and Kergrit Robkop. KUI: an ubiquitous tool for collective intelligence development. In Proceedings of the IJCNLP-08 Workshop on NLP for Less Privileged Languages, 2008.

[9] 河原大輔, 町田雄一郎, 柴田知秀, 黒橋禎夫, 小林隼人, 颯々野学. 2 段階のクラウドソーシングによる談話関係タグ付きコーパスの構築. 情報処理学会研究報告. 自然言語処理研究会報告, Vol. 2014, No. 12, pp. 1-7, 062014.

[10] Douwe Kiela, Max Bartolo, Yixin Nie, Divyansh Kaushik, Atticus Geiger, Zhengxuan Wu, Bertie Vidgen, Grusha Prasad, Amanpreet Singh, Pratik Ringshia, Zhiyi Ma, Tristan Thrush, Sebastian Riedel, Zeerak Waseem, Pontus Stenetorp, Robin Jia, Mohit Bansal, Christopher Potts, and Adina Williams. Dynabench: Rethinking benchmarking in NLP. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4110-4124, Online, June 2021. Association for Computational Linguistics.

[11] Divyansh Kaushik, Douwe Kiela, Zachary C. Lipton, and Wen-tau Yih. On the efficacy of adversarial data collection for question answering: Results from a large-scale randomized study. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 6618-6633, Online, August 2021. Association for Computational Linguistics.

[12] Eric Wallace, Adina Williams, Robin Jia, and Douwe Kiela. Analyzing dynamic adversarial training data in the limit. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 202-217, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[13] Saku Sugawara, Nikita Nangia, Alex Warstadt, and Samuel Bowman. What makes reading comprehension questions difficult? In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 6951-6971, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[14] 根本啓一, 高橋正道, 林直樹, 水谷美由起, 堀田竜士,井上明人. ゲーミフィケーションを活用した自発的・持続的行動支援プラットフォームの試作と実践.情報処理学会論文誌, Vol. 55, No. 6, pp. 1600-1613, 06 2014.

[15] 小河晴菜, 西川仁, 徳永健伸, 横野光. ゲーミフィケー ションを用いたアノテーション付き対話データの収集基盤. 言語処理学会第 26 回年次大会, 2020.

[16] 藤江清隆, 馬場章. ゲームの面白さとは何か：テレビゲームのプレジャラビリティをめぐって.日本バーチャルリアリティ学会誌 $=$ Journal of the Virtual Reality Society of Japan, Vol. 9, No. 1, pp. 15-19, 032004.

[17] 馬場章. 2. ゲーム学の国際的動向. 映像情報メディア学会誌, Vol. 60, No. 4, pp. 491-494, 2006.

[18] Mihaly Csikszentmihalyi, 今村浩明. フロー体験喜びの現象学. Sekaishiso seminar. 世界思想社, 1996.

[19] 井口貴紀. 現代日本の大学生におけるゲームの利用と満足. 情報通信学会誌, Vol. 31, No. 2, pp. 67-76, 2013.


# オノマトペの語義決定に寄与するコロケーションの分析

藤田実智斗 ${ }^{1}$ 内田泡ず 2 荒木健治 ${ }^{3}$
1 北海道大学 大学院情報科学院 ${ }^{2}$ 北海学園大学 工学部
3 北海道大学 大学院情報科学研究院
${ }^{1}$ fujita.michito.u9@elms.hokudai.ac.jp ${ }^{2}$ yuzuehgu.jp
${ }^{3}$ araki@ist. hokudai.ac.jp

## 概要

日本語学習者が日本語オノマトペの使い方を理解するためには，定義文や用例だけでなく，そのオノマトペの語義に関係するコロケーションを知っておくことが有効である. そこで本研究では，オノマトペの語義決定に寄与している文節についてアノテーションを行い，その結果に基づいた分析を行った. 分析により, いくつかの語義で定義文からだけでは読み取れない特徴がみられた. また，人手で抽出されたコロケーションについて Word2Vec と k-means++によるクラスタリングを行い，クラスタと語義の関係を分析した。

## 1 はじめに

オノマトペ（擬音語および擬態語）は，音や物事の様子，動作の状態を表現する語であり，微細なニュアンスを表現する目的で日常的によく用いられている. 特に日本語のオノマトペは他言語に比べて種類が多く，またその多くは複数の語義を持つ. 日本語母語話者は, 周辺文脈から感覚的に語義を判別することでこれらの語義曖昧性を解消しているが，日本語学習者にとってはその判別基準を学ぶことが難しい，そこで我々は，オノマトぺの語義決定に寄与していると考えられるコロケーション（以下，寄与コロケーションと呼ぶ）を収集し，オノマトペの使い分けが分かりやすくなるようなオノマトペコロケーションデータベースの構築を目指している.

オノマトペコロケーションデータベースを構築するには，多義のオノマトペについて語義ごとに用例を集め，どのコロケーションが寄与コロケーションであるかを判別する作業を要する。こうした作業を人手で行うことは時間的コストが高く, 大量にデー タを集めるためには自動化することが望ましい。そのためには, 多義オノマトペの自動語義分類と寄与
コロケーションの自動抽出を実現する必要がある.

これまで自動語義分類については，事前学習済みの BERT[1] から得られる単語分散表現を用いた手法や，辞書中の用法情報から生成されたルールに基づく手法が先行研究で提案されている [2][3]. 一方, オノマトペのコロケーションについては，オノマトぺの係り先動詞に着目し，係り先動詞および係り先動詞の係り元文節の表層格を対象として分析が行われてきた [4][5]. しかし，これまで分析対象とされてきたコロケーションを日本語母語話者が実際に寄与コロケーションとして認識しているかについては，分析が不足している．そこで本研究では，寄与コロケーション抽出の自動化に向けて，実際に日本語母語話者がどのコロケーションを基に語義を決めているかをアノテーションし, 人手で抽出した寄与コロケーションについて分析を行う．また，寄与コロケーションについてクラスタリングを行い，語義との関係を分析する。

## 2 使用するデータ

## 2.1 分析対象オノマトペ

本研究では『擬音語擬態語使い方辞典』[6]（以下，オノマトペ辞書と呼ぶ）で語義が 3 つ以上定義されているもので，かつ『現代日本語書き言葉均衡コーパス』[7]（以下，BCCWJ と呼ぶ）上で頻度が高い 10 種類のオノマトペ『あっさり，きっちり， ぎりぎり，くるくる，ごろごろ，さっぱり，ばたばた，ぴったり，ぶつぶつ，ぶらぶら』を分析対象として選定した. 各オノマトペについて BCCWJ から各 400 文，合計 4,000 文を取得し，分析対象のテキストとした.
表 1 アノテーション例

図 1 寄与コロケーションの一致数（品詞別）

## 2.2 寄与コロケーションを含む文節のアノ テーション

本研究では文中のオノマトぺの語義を決定する語について分析を行う．そこでまず 3 名の評価者による寄与コロケーションを含む文節のアノテーションを行う. アノテーションの具体例を表 1 に示す. まず， $\mathrm{KNP}^{1)}$ を用いて分析対象のデータを文節単位に分割する。そして，評価者は語義を決める際に手がかりとなる文節に 1 をマークする。表 1 の例では 「している。」という文節に対しては評価者 3 名が共通して寄与語を含む文節としてマークしているのに対し, 「大石が」という文節では評価者 2 名がマー クしている。このように評価者間で意見が分かれるケースについても，3章で分析を行う。

## 3 寄与コロケーションの特徴分析

## 3.1 アノテーションの一致

アノテーションした結果について, 品詞別に評価者間でどの程度寄与コロケーションが一致するかを確認する. 1 名以上が語義決定に寄与する単語が含まれるとした文節について，文節先頭の形態素を寄与コロケーションとして集計し, 品詞別に一致数を調べた結果を図 1 に示す. 動詞の寄与コロケーションは全体総数が 2,615 個と多く，そのうち評価者 3 名全員が一致する割合は $60 \%$ であった. 評価者 2 名

図 2 「さっぱり」の語義別品詞比率

が一致した割合も含めると $77 \%$ あり，動詞はアノテーションにばらつきが少ないことがわかった. 一方，名詞の寄与コロケーションは全体総数 3,019 個のうち，評価者 1 名のみがアノテーションした寄与コロケーションが $42 \%$ と高く, ばらつきが多かった. 要因としては，一般に文の構成要素として動詞よりも名詞の割合が高いため，選択肢が増えたことが挙げられる．またオノマトぺは副詞として用いられることが多く [8], 直後の動詞の文節に係ることが多いため，評価者間で動詞の選択が一致したことも考えられる。

## 3.2 品詞比率

収集した寄与コロケーションについて，品詞の比率を確認する． 3.1 節の結果から，評価者によって寄与コロケーションにばらつきがあることが確認されたため，本研究における以降の分析では，2名以上が寄与コロケーションだと判断した単語を対象とする。また，品詞は名詞，動詞，形容詞，副詞の 4 種類を対象とする. 寄与コロケーションとして抽出された単語の品詞比率は名詞:44\%, 動詞:50\%,形容詞:4\%, 副詞:2\%であり，名詞と動詞が大半を占めていた. そのため, 今後寄与コロケーションの分析は名詞と動詞を中心に行う．具体例として「さっぱり」について語義ごとに比較した結果を図 2 に示す.「さっぱり」では「味が濃厚でなく、口当たりがさわやかであるようす。」と定義される語義 2 において，名詞の比率が $73 \%$ と高くなっている。これは，語義 2 の用法では食べ物について表現する際に 「さっぽり」が用いられることが多く, 寄与コロケー ションとして食べ物に関連した語が多く抽出されたためであると考えられる。実際に抽出された語には 「スープ」「味わい」「サラダ」「梅干し」などがある.
表 2 「ごろごろ」の寄与コロケーション（一部抜粋）

## 3.3 寄与コロケーションの具体例

アノテーションにより収集した寄与コロケーションの特徴を分析する． 3.1 節で述べたように，寄与コロケーションの大半は名詞と動詞であったため,本節では名詞と動詞に限定して分析を行う. 例として「ごろごろ」の寄与コロケーションの一部を表 2 に示す. 語義 1 は擬音用法であるため，名詞および動詞共に音に関わる語が多く出現した。また，「猫の声」や「雷」を表現する場面で多く用いられていたため，「猫」や「天候」に関する名詞が多く出現したと考えられる.これらのことはオノマトペ辞書の定義や用法・用例から読み取ることができるが，一方で語義 3 ではオノマトペ辞書の情報からだけでは読み取れない「休日」や「家」に関する名詞が散見された.これは語義 3 の定義で示されている「働かないで時を過ごすようす。何もしないで時を過ごすようす。」という状態が，基本的に「休日」や「家の中」のシチュエーションで起こり得ることを示唆している.このように，定義文などの辞書情報からだけではオノマトぺの使い方が十分に読み取れない場合でも，大量のテキストからコロケーションを抽出して分析することで, 日本語学習者にとってより理解しやすいデータベースを構築できると考えられる。

図 3 文節位置

## 3.4 寄与コロケーションの文節位置

先行研究では，オノマトぺの係り先動詞を含む文節を基準として，その文節に係る文節を対象としたコロケーションの分析を行っている [4][5]. しかし，文の構造が複雑である場合や，文の長さが長い場合には，オノマトペを含む文節から離れた位置にある単語から語義決定に必要な文脈を読み取る可能性がある．そこで，寄与コロケーションの出現位置についての実態を知るために，寄与コロケーションを含む文節について，係り受け関係に基づく距離を調べる. 分析結果を図 3 に示す. 多くの場合は文節距離が 1 または 2 であった。一方で，文節距離 3 以上の例もいくつか見受けられた. 例えば表 3 の例では,「バッグ」が「それ」という指示代名詞の先行詞であることが原因で，文節距離が 4 となっている.このほか，主語が省略されることで寄与コロケーションが離れて出現するケースや，係り受け解析のミスにより距離が離れるケースがある。これらのことから，寄与コロケーションの抽出において，係り受け解析による文節距離は寄与コロケーションの探索条
表 4 寄与コロケーション例（あっさり，名詞）語義寄与コロケーション語義 1 味，奨油，スープ，味わい，ハンバーグ

語義 2 顔，メール，供述，切れ，表現

語義 3 別れ，承諾，同意，放棄，スルー 語義 4 解決, 敗退, 確定, 実現, 接続

件の重みづけとしては適しているが，探索範囲を限定することには適していないと考えられる。

## 4 寄与コロケーションのクラスタリ ング

「ぶつぶつ」の語義 2 「蒸気やガスが液体の表面に連続して噴出したりわき立ったりする音。のように，オノマトペ辞書で定義された語義にはドメインを限定するものがあり，こうしたドメインの特徴が寄与コロケーションに反映されると想定される. オノマトペコロケーションデータベースの構築にあたっては，各語義ごとの特徴が解釈できるように寄与コロケーションをまとめあげることが理想的である. そこで本章では，各オノマトぺの寄与コロケー ションについて，Word2Vec を用いて単語分散表現を取得し， k-means++によるクラスタリングを行うことで，クラスタと語義の関係を分析する。

## 4.1 単語分散表現

3.1 節と同様に，オノマトペの語義決定に寄与しているとされた文節の先頭の形態素を寄与コロケーションとする. これらの寄与コロケーションについて，Word2Vec の学習済みモデルである日本語 Wikipedia エンティティベクトル [9]を用いて単語分散表現を取得する。

## 4.2 k-means++によるクラスタリング結果

各オノマトペの寄与コロケーションについて, $\mathrm{k}$ を語義数として k-means++を用いてクラスタリングを行い分析する。ここでは具体例として「あっさり」の名詞の寄与コロケーションおよび「ごろごろ」の動詞の寄与コロケーションについて，分析結果の一部を表 $4,5,6,7$ に示す.

表 4 と表 5 を比較すると，語義 1 「色、味などの濃度が薄いようす。」の寄与コロケーション群とク表 6 寄与コロケーション例（ごろごろ，動詞）

語義 $\quad$ 寄与コロケーション

語義 2 転がる，ころがる，転がす，あてる，寝返る

語義 3 する，過ごす，寝る，休む，〈つろぐ

語義 4 する，いる，転がる，ある，出る

語義 5 する，痛む

表 7 クラスタリング結果（ごろごろ，動詞）

クラスタ 2 鳴る, ひびく, 聞こえる, 鳴り響く

クラスタ 3 転がる，ころがる，転がす，浮く

クラスタ 4 休む，くつろぐ，過ごす，眠る，寝る

クラスタ 5 寝返る

ラスタ 4 が対応していることがわかる. 語義 1 およびクラスタ 4 には，抜粋した語以外にも食べ物や味に関する語が多く含まれているため，こうした特徴に基づいたクラスタが形成できたと考えられる。 一方，そのほかのクラスタは各語義と対応せず，複数の語義の語が混在していた。

表 6 と表 7 を比較すると, 語義 1 「雷が鳴る音。 また、雷が鳴るような音。」の寄与コロケーション群とクラスタ 2 が対応していることがわかる．語義 1 は擬音語用法であり，音を伴う動詞が多く用いられるため，単語分散表現によりクラスタを形成できたと考えられる。一方，そのほかのクラスタは各語義と対応せず，複数の語義の語が混在していた. 特に語義 $3,4,5$ においては「ごろごろ」が「する」を伴って動詞として機能する点で共通しているため,周囲の文脈を考慮できない静的な単語分散表現ではクラスタリングが難しい。

これらの結果から，一部の語義については，本手法によって寄与コロケーションをまとめあげることで語義の特徴が解釈できることが明らかになった.今後は，文脈を考慮した単語分散表現を用いた手法を導入し，有効性を検証したい。

## 5 おわりに

本研究では，オノマトぺの語義決定に寄与するコロケーションについてのアノテーションを行い, アノテーション結果について分析を行った. また, Word2Vec と k-means++によるクラスタリングを行い，クラスタと語義の関係を分析した. 今後は文脈を考慮した単語分散表現の活用を目指す。また，こうした各語義の特徴に基づいた寄与コロケーションのクラスタリングは，自動語義分類にも有用であると考えられるため，適用方法を検討する。

## 謝辞

本研究は JSPS 科研費 21K12584 および 17K12791

の助成を受けたものである.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[2] 乙武北斗, 内田ゆず, 高丸圭一, 木村泰知. BERT による周辺文脈を考慮したオノマトぺの語義分類手法の提案. 知能と情報, Vol. 32, No. 1, pp. 518-522, 2020.

[3] 藤田実智斗, 内田ゆず, 荒木健治. オノマトペ辞書に基づいたルールによるオノマトぺ語義分類手法の提案.日本知能情報ファジィ学会ファジィシステムシンポジウム講演論文集, Vol. 38, pp. 580-584, 2022.

[4] 乙武北斗, 内田ゆず, 高丸圭一, 木村泰知. 表層格に着目したオノマトペ共起語の抽出と分析. 言語処理学会第 22 回年次大会予稿集, pp. 195-198, 2016.

[5] 高丸圭一, 内田ゆず, 乙武北斗, 木村泰知. 係り先動詞に着目したオノマトぺの語義分類に関する検討. 知能と情報, Vol. 28, No. 4, pp. 693-699, 2016.

[6] 阿刀田稔子, 星野和子. 擬音語 - 擬態語使い方辞典. 創拓社, 第 2 版, 1996.

[7] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written japanese. Language resources and evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

[8] 内田ゆず. 現代日本語書き言葉均衡コーパスコアデー タにおけるオノマトペ出現実態に基づくオノマトペ自動抽出手法. 工学研究 (北海学園大学大学院工学研究科紀要), Vol. 17, pp. 15-20, 2017.

[9] 鈴木正敏, 松田耕史, 関根聡, 岡崎直観, 乾健太郎. Wikipedia 記事に対する拡張固有表現ラベルの多重付与. 言語処理学会第 22 回年次大会発表論文集, pp. 797-800, 2016.


# 駄酒落を含む対話における可読性と面白さの相関分析

花房竜馬 ${ }^{1}$ 荒木健治 ${ }^{2}$
${ }^{1}$ 北海道大学大学院情報科学院 ${ }^{2}$ 北海道大学大学院情報科学研究院
(hanabusa, araki)@ist. hokudai. ac. jp

## 概要

スマートスピーカーなどのデバイスに搭載されている対話エージェントとの対話は人間同士の対話と同等の面白さを感じることができない。この問題を解決するためには，対話中の文脈情報を考慮した高度なユーモア処理を実現する必要がある。これまで対話の文脈情報を含むユーモアの面白さについて，評価及び分析はなされていない。本稿では対話文脈を考慮した駄酒落の面白さを評価する標準データべ一スを構築するために, 駄酒落を含む対話を収集し， 12, 000 件の駄酒落が含まれる対話に対して対話の面白さを複数人で評価し，さらに，対話の可読性が面白さに与える影響について，相関係数を用いて分析した結果について述べる。

## 1 はじめに

新型コロナウイルス感染症の蔓延による生活様式の大きな変化に伴い, 精神的ストレスを感じる人が急増している[1]. このような社会的問題に対処するために，新たな生活様式に沿った孤独や不安を緩和するためのメンタルケアの確立が必要となる.

孤独や不安を緩和するためのメンタルケアとして，友人や家族との対話が挙げられる。しかし, 対話相手の心理状態によって笑いを生むことが困難なことも少なくない．これらのことから，対話相手を担う存在として，対話によって面白さや楽しさを与える対話システムの実現が緊急の課題となっている.

現在，スマートフォンやスマートスピーカーの普及によって，人間と対話エージェントとの対話が日常的に行われている. これらのデバイスに搭載される対話エージェントは対話によって何らかのタスクを実行することを目的としたシステムである。そのため，対話によって面白さや楽しさを与えることができない.この点を踏まえ, 対話による面白さや楽
しさを与えることを目的とした非タスク指向型システム(雑談システム)の研究が行われている $[2,3]$. かし，これらの研究では人間同士の対話と同等以上の面白さや楽しさを与えるというレベルに達していない。この問題を解決するためには，人間と同等の応答精度に加えて，対話中の文脈情報からユーモア表現を理解して笑い，適切なタイミングで対話相手を飽きさせないようにユーモアを発話するといった高度なユーモア処理が必要となる。

これまでのユーモアに関する研究として，我々は 67,000 件の駄酒落を収録した大規模なデータベースの構築 $[4,5]$ を行った. 駄酒落の面白さを評価するための手法を確立するために，複数人による駄酒落の面白さの評価及び分析[6]も行った。

しかし, これらの研究において, 文脈情報は 1 文内の文内文脈に限定されている。そのため，対話の文脈情報を含むユーモアの面白さについて，評価及び分析はなされていない.

本稿では，対話文脈を考慮した駄酒落の面白さを評価する標準データベースの構築のために, 駄酒落を含む対話の収集を行い，複数人によって対話の面白さを評価し，さらに，対話の可読性が面白さに与える影響について，対話の面白さと表層情報との相関を用いて分析した結果について述べる.

## 2 駄酒落を含む対話の収集

人間同士の雑談対話を収録したコーパスとして，日本語日常会話コーパス[7]や名大会話コーパス[8] が挙げられる，しかし，これらのコーパスは一般的な会話文章を収録しているため，コーパス中に含まれる駄酒落は非常に少ないと考えられる.このことから，既存のコーパスから駄酒落を含む対話を大量に収集することは困難である。

ユーザ同士の対話が Web 上で公開されたソーシヤル・ネットワーキング・サービスとして, Twitter ${ }^{i}$

表 1 収集結果の件数及び割合

が挙げられる. 日本において, Twitter は 2021 年時点で約 5,310 万人が利用している. そのため, 既存のコーパスと比べて, Twitter には駄酒落を含む対話が比較的多いと考えられる. このことから, 本稿では Twitterを用いて，駄酒落を含む対話を収集する。一般的に, Twitter 上に存在する駄酒落を含む対話の構成は以下の 3 種類が挙げられる.

(1) 最初に駄酒落を含むツイートが出現する対話

(2) 中間に駄酒落を含むツイートが出現する対話

(3) 最後に駄酒落を含むツイートが出現する対話

駄酒落を含む対話の面白さは駄酒落を含むツイー トの前後のツイートによって変化すると考えられる。 また，駄酒落を含むツイートから前後 5 件以上のツイートは駄酒落とは関連性のない話題が進行すると考えられる.これらのことから, 駄酒落を含む対話の範囲は駄酒落を含むツイートを基準とした前後それぞれ 0 から 5 つのツイートとする.

本稿において, 駄酒落を含むツイートの前後のツイートの数が 0 となるものは駄酒落を含むツイート単体とする.

## 2.1 収集方法

駄酒落を含む対話を収集するために，10,000 件の駄酒落を用いて, Twitter 上で完全一致検索を行い,検索結果をクローリングする.

駄酒落を含む対話の範囲の基準となるツイートは完全一致検索に用いた駄酒落を含むツイートとする.完全一致検索に用いる駄酒落は駄酒落データベー スに収録されている番号 $1 \sim 10,000$ の駄酒落を使用する. 駄酒落データベースは 67,000 件の駄酒落が収録された大規模なデータベースであり, Web サイト上吕で一般公開されている. 収録された駄酒落には面

白さの度合いを 5 段階で示す面白さのスコアが付与されている．駄酒落データベースにおける面白さのスコアの評価はクラウドソーシングによって雇用した3名の評価者によって行われている.

クローリングには Twitter から提供されている学術研究向け API である Twitter API for Academic Researchiiを使用する.

## 2.2 収集結果

表 1 に収集結果の件数及び割合を示す.ここで，本稿における対話は 2 者による言葉の掛け合い, 会話は 3 者以上による言葉の掛け合いとする。表 1 に示すように, 駄酒落を含む対話は26,739件となった。 また，駄酒落を含むツイート単体の件数は 341,902 件となった。このことから, Twitter 上で行われる駄酒落を含む対話は駄酒落を含むツイート単体よりも比較的少ないことが確認された。

また, 収集されたものには駄酒落を含む会話が 81,454 件(18.0\%), 1 者による連続発話が 1,758 件 (0.4\%), が含まれている.

完全一致検索に用いた駄酒落 10,000 件のうち, 収集された駄酒落は 1,147 件(11.5\%)となった。

## 3 駄酒落を含む対話の面白さの評価

これまでの研究において，駄酒落を含む対話の面白さの指標は存在しない。このことから，駄酒落を含む対話に対して, クラウドソーシングで雇用した 16 名の評価者に面白さを評価していただいた。

## 3.1 評価方法

評価対象は駄酒落を含む対話 26,739 件から無作為に抽出した 12,000 件とする.

駄酒落を含む対話の面白さの評価には 200 件あたり 1 時間前後が必要である. そのため, 12,000 件の作業には膨大な時間的コストがかかる. それに加えて, 駄酒落単体の面白さの評価[6]において, 膨大な量の評価を行うと駄酒落に対する飽きが生じ，面白さが低く評価されることも確認されている。このことから，12,000 件の駄酒落を含む対話を 1,000 件単位で分割した. その後, 3 名による評価が付与されるように評価者を割り当てた。

図 1, 表 2 に駄酒落を含む対話の面白さの評価の

図 1 駄酒落を含む対話の面白さの評価の例

表 2 面白さのスコア

 \\

例と面白さのスコアを示す. 図 1 における太字は収集時の完全一致検索に用いた駄酒落の種表現と変形表現を示す. また, 対話番号は $1 \sim 12,000$ 件の駄酒落を含む対話の番号を示す. U1，U2 はそれぞれ対話中の話者を示す記号である．対話の面白さの評価は評価者によって表 2 に示す面白さのスコアが付与される. 面白さのスコアは面白さの度合いを示す $1 \sim 5$ の整数値である。

## 3.2 評価結果

図 2 に評価者全員のスコアの分布を示す. 図 2 に示すように 1 点から 3 点が全体の $91.3 \%$ を占めている. 一方, 4 点は $7.2 \%, 5$ 点は $1.5 \%$ と極端に少ない結果となった. そのため, 評価者全員のスコアの平均は 1.89 ポイントとなった.

1 点から 3 点の割合が $91.3 \%$ と比較的多い要因として, Twitter 上の対話には第三者から面白さを評価される前提がないことが挙げられる. Twitter における対話はユーザ同士のコミュニケーションとして行われる。そのため, 一般的なユーザは第三者から面白いと感じられるような対話をするという意図がない.このことから, 駄酒落を含む対話に対して第三者が対話の面白さを評価した場合, 面白くないまたは普通と感じるものが比較的多いと考えられる。表 3 平均スコアと表層情報の相関

## 図 2 評価者全員のスコアの分布

## 4 可読性の面白さへの影響

駄酒落を含む対話の面白さを変化させる要因として，対話内容の可読性が挙げられる．駄酒落を含む対話の可読性を表す表層情報として(A)対話の長さ， (B)発話の平均文字数, (C)駄酒落の出現位置の 3 種類が考えられる．この点を踏まえ，本稿では駄酒落を含む対話の面白さの指標と(A), (B), (C)の表層情報との相関係数を算出する. これにより，対話の可読性が面白さに与える影響を分析する。

## 4.1 可読性と面白さの相関分析

駄酒落を含む対話の面白さの指標として，3 名の評価者のスコアの平均を用いる. 本稿において, 3 名の評価者のスコアの平均を平均スコアと呼ぶ.

2 章で述べたように，本稿における対話の範囲は駄酒落を含むツイートを基準とした前後それぞれ 0 から 5 つのツイートとした. このことから, 駄酒落を含む対話の長さは 2 から 11 の整数値である.

駄酒落の出現位置は 1 から 3 の整数値で表す. そのため, 対話の 1 ツイート目に駅酒落が出現したものは 1 , 対話の最後のツイートに駄酒落が出現したものは 3，それら以外は 2 となる。

12,000 件の駄酒落を含む対話 1 件ごとの平均スコアと 3 種類の表層情報の相関をピアソンの相関係数を用いて算出する。

図 3 評価者全員のスコアが高い対話の例

U1: そうか、北海道はでっかいどう！でした...北海道といえども簡単には手に入らないんですねす物産展やらないかな一!

図 4 評価者全員のスコアが低い対話の例

表 3 に平均スコアと表層情報の相関係数を示す.表 3 に示すように, 平均スコアと発話の平均文字数,駄酒落の出現位置の相関係数は-0.31, -0.23 となり,弱い負の相関があることが確認された. また, 平均スコアと対話の長さの相関係数は-0.18 となった.このことから, 対話の長さが平均スコアに及ぼす影響は他 2 つの表層情報と比べて小さいと考えられる。

## 4.2 考察

図 3 に評価者全員のスコアが高い対話の例を示す.図 3 における U1，U2 はそれぞれ対話中の話者を示寸記号である． 3 名の面白さの評価は $5 ， 5 ， 4$ となっている，そのため，平均スコアは 4.67 となる.

図 3 の例では U1 の「明日は筑波山に行こう」という発話に対して，U2 が「筑波山にかみつくばあさ

## ん」という駄酒落を返している.

図 3 のような対話は文章量が少なく，内容を理解することが容易である。また，この対話は駄酒落に関する話題によって進行している。 そのため, 第三者から駄酒落をユーモアとして認識することも容易であると考えられる。

図 4 に評価者全員のスコアが低い対話の例を示す。図 4 においても U1，U2 はそれぞれ対話中の話者を示寸記号である． 3 名の面白さの評価は 2，1，2 となっている。 そのため, 平均スコアは 1.67 となる.

図 4 の例では北海道の洋菓子屋に関する話題から U1 が「北海道はでっかいどう」という駄酒落を含む発話を行うことで，対話が終了している。

図 4 のような対話は発話の平均文字数が 62 文字であるため, 図 3 のような対話と比べて文章量が多い. さらに，対話の最後に駄酒落を含む発話が出現しており, 対話者のリアクションがない, そのため,第三者から駄酒落をユーモアとして認識することが困難であると考えられる。

これらのことから, 可読性が高い対話は駄酒落をユーモアとして認識することが容易であり，面白さが高い傾向があると考えられる.

## 5 おわりに

本稿では，対話文脈を考慮した駄酒落の面白さを評価する標準データベースを構築するために，はじめに, Twitter 上に存在する 26,739 件の駄酒落を含む対話を収集し，12,000 件の対話に対して面白さの評価を行った。評価の結果として, 評価者全員のスコアの 91.3\%は 1 点から 3 点であることが確認された。

次に，対話の面白さがどのような要因によって変化するのかについて，対話の可読性に着目した分析を行った。ここで， 12,000 件の駄酒落を含む対話 1 件ごとの面白さのスコアの平均と対話の表層情報の相関をピアソンの相関係数を用いて算出した．その結果, 対話の面白さと発話の平均文字数及び駄酒落の出現位置には弱い負の相関があることが示された。今後の課題として，まず駄酒落データベース中の 10,001 番以降の駄酒落を用いた駄酒落を含む対話の追加収集を行うことが挙げられる。次に，第三者から面白いと感じられる対話をより多く収集するために，人手で駄酒落を含む対話を作成することが挙げられる。最後に，収集及び作成した対話を用いて対話文脈を含む駄酒落の面白さを評価する標準データベースを構築する予定である.

## 謝辞

本研究は JSPS 科研費 21 K12007 の助成を受けた

ものである.

## 参考文献

[1] 厚生労働省, “新型コロナウイルス感染症に係るメンタルヘルスに関する調查結果の概要について” https://www.mhlw.go.jp/stf/newpage_15766.html, ( 参照 2020-08-01).

[2] Rafal Rzepka, Shinsuke Higuchi, Michal Ptaszynski, Pawel Dybala and Kenji Araki: When Your Users Are Not Serious,人工知能学会論文誌, Vol.25, No. 1, pp.114-121, 2010.

[3] Arnaud Jordan and Kenji Araki, Real-time LanguageIndependent Algorithm for Dialogue Agents, 知能 $と$ 情報 (日本知能情報ファジィ学会誌)， Vol.28, No.1, pp.535-555, 2016.

[4] 荒木健治, 内田ゆず, 佐山公一, 谷津元樹, 駄酒落データベ一スの構築及び分析, 人工知能学会第 2 種研究会, ことば工学研究会資料, SIG-LSE-B702-3, pp.13-24, 2017.

[5] 荒木健治, 佐山公一, 内田ゆず, 谷津元樹, 駄酒落データベ一スの拡張及び分析, 人工知能学会第 2 種研究会, ことば工学研究会資料, SIG-LSE-B803-1, pp.1-15, 2018.

[6] 荒木健治, 内田ゆず, 佐山公一, 谷津元樹, 駄酒落データベ一スを用いた面白さの評価及び分析, 人工知能学会第 2 種研究会ことば工学研究会資料, SIG-LSE-B902-4, pp.63-76, 2019.

[7] Fujimura,Itsuko, Shoju Chiba and Mieko Ohso, Lexical and Grammatical Features of Spoken and written Japanese in Contrast: Exploring a lexical profiling approach to comparing spoken and Written corpora, Proceedings of the VIIth GSCP International Conference. Speech and Corpora, pp.393-398, 2012.

[8] Hanae Koiso, Haruka Amatani, Yasuharu Den, Yuriko Iseki, Yuichi Ishimoto, Wakako Kashino, Yoshiko Kawabata, Ken'ya Nishikawa, Yayoi Tanaka, Yuka Watanabe and Yasuyuki Usuda, Design and Evaluation of the Corpus of Everyday Japanese Conversation, Proceedings of LREC2022, pp.5587-5594, 2022.

## A 面白さの評価の詳細

## A. 1 評価者の属性及び作業件数

本稿では, 評価にかかる時間的コストの高さと評価者の駄酒落を含む対話に対する飽きを考慮し, クラウドソーシングを用いて 16 名の評価者を雇用した.また, 評価者 16 名には 1 件の対話に対して， 3 名の評価が付与されるように $1,000 \sim 3,000$ 件の作業を割り当てた.ここで, 1,000 件単位の対話に対する評価者の割り当ては雇用順に沿って行った.

表 4 に評価者の属性及び評価を実施した作業番号を示す. クラウドソーシングの Web サイト上には業務の依頼者から作業者に対して返信速度・納品実績などを 5 段階で評価した数値が与えられている.今回の評価者は全員評価値が 5.0 であるため, 一定レベルの能力を満たしているものと考えられる.

## A. 2 駄酒落を含む対話に対する飽き

駄酒落単体の面白さの評価[6]において, 膨大な量の評価を行うと駄洒落に対する飽きが生じ，面白さが低く評価されることが確認されている.このことから, 作業番号 1 から 3,000 の各評価者のスコアと平均スコアの 500 件ごとの平均值を算出し, 駄酒落を含む対話に対する飽きを分析する。

図 5 にスコアの平均値の推移を示す. 図 5 に示すようにいずれの評価者も 500 件ごとにスコアが低下している. しかし, 500 件時点と 3,000 件時点の平均スコアの差は-0.2 ポイントとなった.このことから，駄酒落を含む対話に対する飽きの影響は小さいと考えられる。

## A. 3 評価者間の一致度

面白さの評価における一致度の算出にはコーヘンの $\kappa$ 係数を用いる.ここで, 分析する一致度は駄酒落を含む対話に対して 5 段階の面白さの度合いを付与するという順位尺度に基づいた評価に対する一致度である.

12,000 件の面白さの評価に対する一致度を算出するために, はじめに 1,000 件ごとの 2 者間の一致度を算出する. ここで, 1,000 件ごとの評価者の組み合わせは 3 通りであるため，3つの一致度が算出される. その後, 36 個の一致度の平均を全体の一致度として算出する.表 4 評価者の属性及び評価を実施した作業番号

図 5 平均値の推移

12,000 件の面白さの評価に対する一致度は 0.29 となり，おおむね一致という結果となった. 駄酒落単体の面白さの評価[6]における評価者間の一致度は 0.10 未満となっている. そのため, 駄酒落を含む対話の面白さの評価は駄洒落単体の評価に比べて評価者間で一致する割合が高い結果となった。


# 類似データセット発見課題における詳細なデータセット分類に 基づいた有効性の評価

作本猛 ${ }^{1}$ 早矢仕晃章 ${ }^{2}$ 坂地泰紀 ${ }^{2}$ 野中尋史 3,4
${ }^{1}$ 長岡技術科学大学 2 東京大学
3 愛知工業大学 ${ }^{4}$ 株式会社マヨラボ
s183353@stn.nagaokaut.ac.jp \{hayashi,sakaji\}@sys.t.u-tokyo.ac.jp
hnonaka@aitech.ac.jp

## 概要

近年のコンピュータ技術の発展に伴い，互いに類似するデータセットを発見するための方法が盛んに研究されているが，従来研究ではデータセットを探索する個々のユーザのニーズを反映するような評価項目が用いられてこなかった. そこで，本研究では，類似データセット発見手法の評価において， データプラットフォームで実際に用いられている分類基準に基づいた 4 種類の詳細な項目を評価に適用した. その結果，変数ラベル間の Dice 係数を用いた手法が，課題やメイントピックが完全に一致するデータセットの探索に有用であることが示された.

## 1 背景

コンピュータ技術の発展とデータプラットフォー ムの台頭により，データの市場取引や Web 上でのデータ公開・共有が盛んになっている $[1,2]$. また,機械学習・人工知能分野の技術発展によってこうした需要はより高まり, 企業や行政組織においてもデータドリブンな分析や意思決定を重視する動きが増加している。市場に流通するデータセットが多様かつ膨大になる中で，データセット発見，特に， データセット間の類似性に基づく検索に注目が集まっている $[3,4,5]$. これは, ユーザの全てが求めるデータセットに関する知識を持っているという前提は現実的ではなく [6]，また，データセットのメタデータには品質のばらつきの問題があること [7] から，データセット検索において従来の Web 文書を対象とした検索技術が必ずしも適切とは言えないことが要因として挙げられる。 また, Degbelo ら [8]が指摘するように，「自身の課題に関係しているが，想定・知識の外にある，まだ見ぬデータセットが存在
するのか否かを知りたい」という重要なニーズの存在も類似性に基づくデータセット検索への注目を裏付けている.

こうした背景から，一部のプラットフォームでは，データセットの発見可能性を向上させるために独自のタグオントロジーを定義している. 例えば， Kaggle では「新型コロナウィルス感染症」や「暗号通貨」といった，データセットのメイントピック的な要素を意味する subject や，テキスト，画像といったデータ型を意味する data type，データセットに関連する課題や収集目的を意味する task といったタグが存在する．データセットの分類として広く使用されている上記のような類似性の観点を評価に用いることで，類似データセットを探索する個々のユー ザのニーズに適した発見手法を提示できると考えられる。しかしながら，従来の類似データセット発見の研究において，上記のような詳細なデータセッ卜分類に基づいた評価には焦点が向けられてこなかった.

我々は，各手法によって得られたデータセットペア間に見られる類似性の種類や，具体的・抽象的といった類似性の段階を個別に評価するために，デー タプラットフォームで実際に用いられているデータセット分類を評価に適用した．その結果として，変数ラベル間の Dice 係数に基づく類似度が中〜高のデータセットペア間では，データセットに関連する学術的分野や課題については類似するが，それぞれの具体的なメイントピックは異なるといった，比較的抽象的な類似が多く見られることを確認した. また，類似度の数值に比例して，メイントピックについても類似したデータセットペアが増加するという傾向が見られたことから，変数ラベル間の Dice 係数に基づく類似度はデータセット間の内容的な類似
性を適切に反映していると考えられる。

本研究の主な貢献として，どのような種類の類似がデータセットペア間で見られやすいかを類似度の階級ごとに整理することによって，特定のデータセット探索のニーズに沿った手法選択に有用な知見を提供した点が挙げられる.

## 2 関連研究

類似データセット発見における評価は，データセット構造の類似性に焦点を当てたものと，データセットに関連するトピックの類似性に焦点を当てたものの 2 種類が存在する. データセット本体の構造を用いた評価の例として，ランダム分割されたデー タセットにおける再現可能性を評価する方法 $[9,10]$ や，下流タスクの評価指標に基づいて評価を行う方法 $[11,12]$ などが挙げられる.これらの取り組みは，同じデータ形式や課題に関連するデータセットの集合，あるいは同じデータスキーマを持つテーブルの集合から，構造的に類似する部分集合を発見する性能の評価に焦点を当てており，より雑多なデータセットの集合を対象とする我々の取り組みとは相互補完的な立ち位置にある。

データセットに関連するトピックの類似性に基づいて評価を行った取り組みとしては, Sakaji ら [13] の取り組みが挙げられる. Sakaji ら [13] は内容的側面と地理的側面の 2 種類の項目に基づいて，各データセットペアがどの程度類似しているかを定量的に評価した. しかし, データセットの内容的な類似性を評価するための尺度は一つではない。例えば, Kaggle データプラットフォームでは, subject や task, data typeのような，共通項目を持つデータセットへのアクセシビリティを高めるための数種類の分類が存在している. 加えて，いくつかの分類には階層構造が定義されている. 得られたデータセットペアがどの分類で類似しているのか, どの段階で類似しているのかについて定量評価が可能となれば，データセットを探索するユーザのニーズに合わせた手法の選択がより容易になると考えられる. そこで，我々の研究では， Kaggle や Papers with code といったプラットフォームで用いられているデータセット分類を適用することで，各データセットペアがどのような項目で類似しているか，具体的に類似しているか抽象的に類似しているかをそれぞれ定量的に評価している.

## 3 実験

図 1 に示すとおり, 以下の手順に沿って実験を行う.（1）データセット集合から全ての可能なぺアを作成する. (2) 全てのデータセットペアについて,後述する手法 (3.2 節) に従ってデータセット間の類似度を計算する。（3）類似度を 10 段階の階級（0〜 $0.1 ， \ldots, 0.9 \sim 1.0$ ）に区分し，各階級に対して対応する類似度を持つデータセットペアを割り当てる。

（4）各階級に含まれるデータセットペアから最大で 10 件のペアをランダムにサンプリングし, 各評価項目（3.3 節）で共通するぺアの割合（適合率）を計算する.

(1)

(2)

(3)

(4)

Dice係数 Cos類似度

図 1 評価実験の概要

## 3.1 データセット

本研究ではデータプラットフォーム Kaggle ${ }^{1)}$ から 2020 年 1 月 20 日時点で収集されたデータセットのうち，少なくとも 1 件のタグを含み，かつ少なくとも 100 単語以上で構成される説明文を含んだデータセット 4041 件を対象に実験を行う．各データセッ卜に含まれるメタデータは以下の表 1 に示すとおりである.

1) https://www.kaggle.com/
表 1 データセットに含まれるメタデータの概要説明文データセットの内容を詳述した文章変数ラベルデータ属性の論理集合

図 2 メタデータと実データとの対応関係

## 3.2 類似データセットペアの発見

今回の実験では, Sakaji ら [13] が提案した手法のうち，変数ラベル間の Dice 係数（以後，変数），説明文の BERT 埋め込みベクトル間のコサイン類似度 （以後，BERT）の 2 種類の類似データセットペアの発見手法を用いる.

## 3.2.1 変数

変数を用いた類似度については, 先行研究の方法 [13] に従い，Dice 係数を用いて以下のように計算する。

$
\operatorname{Dice}\left(d_{i}, d_{j}\right)=\frac{2\left|\operatorname{vars}\left(d_{i}\right) \cap \operatorname{vars}\left(d_{j}\right)\right|}{\left|\operatorname{vars}\left(d_{i}\right)\right|+\left|\operatorname{vars}\left(d_{j}\right)\right|}
$

ここで， $d_{i}, d_{j}$ はそれぞれ異なるデータセットを指し， $\operatorname{vars}(\mathrm{d})$ はデータセット $d$ が保有する変数の集合を意味する。

## 3.2.2 BERT

データセットの内容が類似している場合，それぞれの説明文の埋め込みべクトル間のコサイン類似度は高くなると考えられる。 そこで，先行研究 [13] で最も良い結果を示した，説明文の名詞を対象とした BERT 埋め込みに基づく手法を使用する。

$
T_{W}=\operatorname{BERT}(W)
$

ここで， $W=\left.\{w_{1}, w_{2}, \ldots, w_{N}\right.\}$ は長さ $\mathrm{N}$ の系列である. BERT $(s e q)$ は系列 $s e q$ を入力として受け取り，最終隠れ層のベクトル $T_{W}$ を返す事前学習済みの BERT モデルである. 最後に，入力系列長に関わらず比較可能なべクトル表現 $V_{B E R T}(W)$ を得るために，以下のように平均化を行う。

$
V_{B E R T}(W)=\frac{1}{\left|T_{W}\right|} \sum_{t \in T_{W}} t
$

BERT の事前学習済みモデルには，英語版 Wikipedia で学習された bert-base-uncased[14]2)を使用する。

## 3.3 データセット分類に基づく評価項目

Kaggle では，データセットのメイントピックを意味する subject，収集目的や関連する課題を意味する task，データ形式を意味する data type といった分類が存在する。また， Papers with code には Modality や Task といった分類が存在しており， Modality は Kaggle における data type と同様の分類である。そこで，我々はこれらの分類を基に，以下の表に示す 4 種類の分類を定義し，各分類に基づいてより詳細な有効性の検証を行う。

表 2 の 1，2 行目に示す主題（大分類），主題（細分類）は，いずれも Kaggle における subject と対応している. 主題（細分類）はデータセットが主に対象とする事物（メイントピック）そのものを指しており，主題（大分類）はそれらが属する学術的，あるいは技術的な分野・領域を指している。表の 3 行目に示す目的・課題は，Kaggle の task や Papers with codeの Task と対応する項目であり，主にそのデー タセットを用いて解決したい課題を意味している.表の最下部に示すデータ形式は，Kaggleの data type や Papers with code の Modality と対応しており，テー ブルや時系列といった項目が存在する。これらの項目に基づいたデータセット間類似性評価の一例として，特定の企業における株価の推移を日毎に記録したデータセットと，暗号通貨の価格変動を日毎に記録したデータセットの 2 種類を挙げる. 両データセットは共に経済の分野に属しており，目的・課題やデータセットの形式も共通したものであると考えられるが，それぞれのメイントピックは株価と暗号通貨のように異なっている。これらのことから，両データセットは主題 (大分類), 目的・課題，データ形式において類似しているが，主題（細分類）については異なるとみなされる。

## 4 実験結果

図 3,4 に，それぞれの手法 (変数，BERT) によって発見された類似データセットペアに対する，各類似度階級における各評価項目の適合率を示す。まず， どちらの結果においても，データ形式に関する適合率は全ての類似度の階級において高い値を示していることがわかるが，これは今回の実験で使用したデータセットの多くがテーブルデータセットであることに起因すると考えられる. 図 3 より, 変数に基づく類似データセットペアにおいて，類似度の数値に比例して, 主題 (大分類), 主題 (細分類), 目的・課題の 3 項目の適合率が高くなる傾向が見られた. 特に，類似度が $0.4 \sim 0.6$ の階級では，主題（大分類), 目的・課題に対して, 主題（細分類）の適合率が 2 分の 1 程度と低い值を示しているが，0.6 以上の階級ではこれらの差が縮小していき， 0.8 以上の階級では全ての項目において適合率が最大の値を示している. これは，変数ラベルに基づくデータセット間類似度の数値は，データセット間の類似性の粒度の細かさ，言い換えると，データセット間で共通する項目の多さを適切に反映していると言える. 以下の表 3 に, 各階級において得られたデータセットペアの具体例を示す.

表 3 変数ラベル間の類似度に基づいて得られたデータセットペアの例. なお，主題（大），主題（細）はそれぞれ主題（大分類）と主題（細分類）を意味している。

対して，図 4 に示すように，BERT に基づく類似データセットペアは，データ形式以外の 3 項目における適合率が，全ての類似度階級において低い值を示した. 類似度の高い領域 (0.7 ) では, 主題（細分類）や目的・課題に沿った類似データセットのペアが増加するという傾向が見られたが，いずれも適合率が 0.1 0.2 程度と低い值を示している.これは，説明文を持つ Kaggle データセットにおいて，テンプレート文章をそのまま説明文として流用したものが多く存在すること，また，教師なしのテキスト間意味的類似度 (Semantic Textual Similarity) の測定に

図 3 各評価項目におけるデータセットペア間の適合率 （変数）

おいて，BERT は必ずしも有効ではないこと [15] などが要因として考えられる。

図4 各評価項目におけるデータセットペア間の適合率 (BERT)

## 5 結論

本研究では，類似データセット発見手法の有効性評価において，データプラットフォームで用いられている詳細なデータセット分類に基づいた 4 種類の評価項目を適用した．結果として，変数ラベル間の Dice 係数に基づく類似度はその数值に比例してデー タセットペア間で類似する項目の種類が増加するという傾向が見られた. 特に，類似度が非常に高い （0.8～) 領域では，メイントピックなど具体的な項目についての類似が増加することから，この類似度はデータセット間の類似性を適切に反映していると考えられる。 そのため, この手法は関連課題や具体的なメイントピックが完全に一致するデータセットを探索するといった状況に特に適していると考えられる。

今後の方針としては，他のデータプラットフォー ムでの分析や，異なる類似データセット発見手法の評価への適用が考えられる。

## 参考文献

[1]Magdalena Balazinska, Bill Howe, and Dan Suciu. Data Markets in the Cloud: An Opportunity for the Database Community. PVLDB, Vol. 4, pp. 1482-1485, August 2011.

[2]Florian Stahl, Fabian Schomm, and Gottfried Vossen. Data Marketplaces: An Emerging Species. Databases and Information Systems VIII, pp. 145-158, 2014.

[3]Kathleen Gregory, Paul Groth, Helena Cousijn, Andrea Scharnhorst, and Sally Wyatt. Searching Data: A Review of Observational Data Retrieval Practices in Selected Disciplines. Journal of the Association for Information Science and Technology, Vol. 70, No. 5, pp. 419-432, 2019.

[4]Kathleen Gregory, Andrea Scharnhorst, and Sally Wyatt. Lost or Found? Discovering Data Needed for Research. Harvard Data Science Review, Vol. 2, No. 2, April 2020.

[5]Laura M. Koesten, Emilia Kacprzak, Jenifer F. A. Tennison, and Elena Simperl. The Trials and Tribulations of Working with Structured Data: -a Study on Information Seeking Behaviour. In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, pp. 1277-1289, Denver Colorado USA, May 2017. ACM.

[6]Martin Nečaský, Petr Škoda, David Bernhauer, Jakub Klímek, and Tomáš Skopal. Modular framework for similarity-based dataset discovery using external knowledge. Data Technologies and Applications, Vol. 56, No. 4, pp. 506535, January 2022.

[7]Ulrich Atz. The tau of data: A new metric to assess the timeliness of data in catalogues. In CeDEM14 Conference for E-Democracy and Open Government, Vol. 22, pp. 147162, 2014.

[8]Auriol Degbelo. Open Data User Needs: A Preliminary Synthesis. In Companion Proceedings of the Web Conference 2020, WWW '20, pp. 834-839, New York, NY, USA, April 2020. Association for Computing Machinery.

[9]Srinivasan Parthasarathy and Mitsunori Ogihara. Clustering Distributed Homogeneous Datasets. In Principles of Data Mining and Knowledge Discovery, Vol. 1910, pp. 566-574, Berlin, Heidelberg, 2000. Springer Berlin Heidelberg.

[10]Srinivasan Parthasarathy and Mitsunori Ogihara. Exploiting Dataset Similarity for Distributed Mining. In José Rolim, editor, Parallel and Distributed Processing, Lecture Notes in Computer Science, pp. 399-406, Berlin, Heidelberg, 2000. Springer.

[11]Ingo Siegert, Ronald Böck, and Andreas Wendemuth. Using a PCA-based dataset similarity measure to improve crosscorpus emotion recognition. Computer Speech \& Language, Vol. 51, pp. 1-23, September 2018.

[12]Tatiana Tommasi, Novi Patricia, Barbara Caputo, and Tinne Tuytelaars. A Deeper Look at Dataset Bias. In Domain Adaptation in Computer Vision Applications, Advances in Computer Vision and Pattern Recognition, pp. 37-55. Springer International Publishing, Cham, 2017.

[13]Hiroki Sakaji, Teruaki Hayashi, Kiyoshi Izumi, and Yukio Ohsawa. Verification of Data Similarity using Metadata on a Data Exchange Platform. In 2020 IEEE International Conference on Big Data (Big Data), pp. 4467-4474, December 2020 .
[14]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[15]Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, and Kentaro Inui. Word Rotator's Distance. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2944-2960. Association for Computational Linguistics, 2020.