# 漫才対話の収集及び自動アノテーションのパイプラインの検討

佐々木裕多 1 張建偉 1
1 岩手大学 理工学部
\{s0619027,zhang\}@iwate-u.ac.jp

## 概要

笑いは健康を促進することができ，誰かと一緒の ときに起こることが多いため，対話システムへの ユーモアの実装によりユーザの心身の満足度が向上すると考えられる。また，日本人の笑いは「会話型」コミュニケーションの笑いが多く，一般的にコ ミュニケーションにおいて非言語コミュニケーショ ンの割合が高い.このことから，漫才対話に着目 し，マルチモダリティを用いて，会話形式のユーモ アを学習するためのデータセットの構築を行う。こ のデータセット構築におけるアノテーションは負荷 が高く，再現性が低くなりやすい. アノテーション の負荷軽減と再現性向上のため，漫才対話の収集か ら自動アノテーションまでのパイプラインの構築を 試みる。

## 1 はじめに

笑いは健康に良い影響を及ぼしている。漫才動画鑑賞を用いた実験から，笑うことによる認知機能改善とストレス応答抑制の有効性や [1], 他者と笑う ことによる高齢期での機能不全のリスクの軽減など [2], いくつもの医学研究が健康に対する笑いの影響 を示している [3]. また，笑いは大抵誰かと一緒に いるときに起こると報告されており [4]，コミュニ ケーションの中で笑いが起きやすいと考えられる。 これらのことから，対話システムに笑いを引き起こ すユーモアを実装することで，ユーザの心身の満足度向上が期待される。

対話システムへのユーモアの実装を目的として，会話におけるユーモアの理解や生成を学習するた めのデータセットの構築を試みる。荒木ら [5] は， ユーモアの面白さを評価する標準的なデータセット の構築の第一段階として, 駄酒落データベースの構築を行なった. 日本人の笑いは 2 人以上の時に多 く成立し，「合いの手」が入ることで笑いが起こる 「会話型」コミュニケーションにおける笑いが多い
[6]. しかし, 駄酒落はジョークの一種であり, 対話 へのユーモアの応用を考慮すると，文脈を必要とす るユーモアに着目する必要がある。また，コミュニ ケーションにおける笑いを発話のみから判断するの は適切ではない. Mehrabian は 2 つの研究を基に， $7 \%$ の言葉，38\%の音声，55\%の表情から感情を伝え ると導いた $[7,8]$. 笑い声や笑い顔が人類に共通し，強い共鳴性を持つことからも，コミュニケーション における笑いに対して非言語コミュニケーションの 要素を考慮することが重要だと考えられる。そこ で，マルチモーダル漫才対話ユーモアデータセット の構築を試みる. Patro ら [9] は TV シリーズのシッ トコムを用いてラフトラックを予測するマルチモー ダルデータセットを構築した．これを参考とし，話者情報，発話テキスト，発話開始/終了時間，面白 さ，笑い声区間のアノテーションを行う．しかし， これら全てのアノテーションは負荷の高い作業であ り，アノテータ毎に時間のずれや表記ゆれ等による 不一致が起こりやすいため，再現性が低いと考えら れる. アノテータが自動アノテーションの結果を修正することで，アノテーションの再現性を向上でき ると考え，本研究では発話テキスト，発話開始／終了時間，笑い声区間を対象とした自動アノテーショ ン手法を検討し，データセット作成のためのパイプ ライン構築を試みる。

## 2 パイプライン構築

データセット構築のパイプラインを図 1 に示す.本研究では，漫才対話データ収集と自動アノテー ションについて取り組む.

## 2.1 漫才対話データ収集

マルチモダリティを扱うことができ，漫才対話生成やユーモア検出，ラフトラック予測などの複数の タスクに対応できる抽象度の高いデータセットの構築を目指す。そこで，多くのモダリティ情報を獲得

図 1 データセット構築のパイプライン

でき，漫才対話データも多い YouTube ${ }^{1)}$ 対象とし てデータの収集を行う。

## 2.1.1 収集方法

収集するデータの決定のため，YouTube Data API ${ }^{2)}$ を用いて，動画のメタデータを収集する。メ タデータには動画 ID やタイトル，チャンネル ID な どが含まれる。メタデータの収集には次の 2 つの方法を採用する。
- M-1 グランプリ公式チャンネルを対象として,「M1 グランプリ」のクエリを用いて検索

・芸能事務所公式チャンネルが公開しているプレ イリストを対象として検索

近年では，一般の人も簡単に動画をアップロードす ることができ，違法アップロードされた動画も多 い.そのため，人手で API のパラメータを慎重に決定することで，確かに公式に公開された動画の义 タデータを収集する。また，漫才師が公式に公開し ている動画も存在するが，漫才師の偏りを防ぐた め，芸能事務所や大会が公開する漫才のみを対象と した.

## 2.1.2 フィルタリングによる後処理

コントはセットを用いた寸劇形式であり，会話形式のデータ収集には不適切である. したがって，コ ントやインタビューの動画を除くため，以下のルー ルに基づくフィルタリングを行う.

1) https://www.youtube.com/

2) https://developers.google.com/youtube/v3

図 2 アノテーションデータ形式例

・ M-1 グランプリ公式チャンネルを対象とし て，タイトルに「【決勝ネタ】」「【敗者復活戦ネ タ】」「【ナイスアマチュア賞】」のいずれかを 含む

・プレイリストを対象として，タイトルに「漫才」を含む

このフィルタリングによって残ったメタデータを基 に動画データを収集する。

## 2.2 自動アノテーション
漫才対話データのアノテーション結果のデータ形式を図 2 に示す.この形式を満たすためには，漫才 を観た上で，発話テキストや発話時間，話者情報，面白さ，笑い声区間の全てのアノテーションを行う 必要がある.これらのアノテーションは負荷が高 く，テキストの表記ゆれや時間のずれ等が起こりう る. そこで，アノテータの負担を減らし，アノテー ションの再現性を向上するため, 次の自動アノテー ションを行う。

## 2.2.1 漫才対話自動書き起こし

音声の書き起こしとテキストに対応する発話時間 の推定を行う Whisper large-v $2^{3}$ [10] を用いて，漫才対話の自動書き起こしと発話時間推定を行う. 同 small モデルを用いた書き起こしも行なったが，漫才に対する音声認識性能が低く, 誤字も多いことか ら， large-v2 モデルを採用する。

## 2.2.2 笑い声区間の自動検出

各発話の面白さの評価は，アノテータ毎にずれが あると考えられる．観客の笑い声をラフトラックと して扱うことで，各発話に対するユーモアのラベル 付けが可能になると考え，笑い声区間の自動検出を 行う. 検出モデルには AudioSet-YouTube corpus [11] で訓練された MobileNet ${ }^{4}$ [12]を用いて，521 個の音声クラスのうち Laughter クラスの予測確率が $5 \%$ 以上の区間を笑い声区間として検出する。このモデル は音声を 960ms のフレーム毎に分割し, 各フレーム に対してクラスを予測する。連続するフレームは $480 \mathrm{~ms}$ の重複を持つため, 笑い声区間と予測された フレームが連続した場合，それらに対応する時間を 結合する後処理を加える.

## 3 分析

収集されたデータと自動アノテーションの分析を 行うことで，目的とした漫才対話が収集できている か, 自動アノテーションが実用に足る精度であるか を調査し，課題を考察する。

## 3.1 収集データの分析

収集されたデータの統計情報を表 1 ，収集データ 内における漫才師の被り数の分布を図 3 に示す. データ件数 280 件に対して漫才師が 201 組であった

3) https://github.com/openai/whisper

4) YAMNet とも言われる.

https://tfhub.dev/google/yamnet/1表 1 収集データの統計情報

図 3 漫才師の被り数の分布

ことや同じ漫才師の出現頻度が小さいことから，漫才師の偏りを防いでデータ収集できていることがわ かる. 今回収集された YouTube チャンネル数は 3 件 であり，これらは大会か芸能事務所の公式チャンネ ルであった. したがって，違法アップロードされた 動画は収集されていないことがわかる。しかし，い くつかの動画を確認した際，コントと思われるデー タが確認された。メタデータを収集する API のパラ メータの設定やフィルタリングによってコント動画 を自動的に除くことは難しく，人手によるフィルタ リングも行う必要性がある.

## 3.2 自動アノテーションの分析

自動アノテーションの分析のため, Web アプリ ケーションの構築を行なった．漫才動画，笑い声区間，書き起こし，発話時間をシングルページで参照 でき，図４のようになっている．画面左では動画鑑賞と笑い声区間検出の確認を行い，画面右では書き 起こしや発話時間の確認を行うことができる．この アプリケーションを用いて，20 件程度の漫才動画を 鑑賞し，自動アノテーションの傾向の観察と課題の 考察を行った。

## 3.2.1 漫才対話自動書き起こし

Whisper による自動書き起こしは，人手で修正す ることでアノテーションができるほど高い精度で あったが，課題が多くあった．人名やコンビ名のよ

図4 アプリケーション画面

うな固有名詞や言い間違えボケ，テンポの速すぎ る会話などはうまく書き起こしができていなかっ た. 例えば，「竹内豊」という俳優の名前に対して 「竹ルーツ居たかったら」，「かわいい」を「ハワイ」 と言い間違えるボケに対して「かわいい」と書き起 こす誤りがあった．また，出囃子が流れている言葉 の無い時間に発話時間を割り当て，ネタ前半部分 の発話推定時間が大きくずれる現象も見られた. Whisper は同時に起こる発話の時間を適切に推定で きず，重なった発話の片方のみを書き起こすケース も多かった. 自動書き起こしと発話時間推定は，発話の重なりのない音声において高い精度であった が，テンポが速く発話の重なった音声において工夫 すべき点が多く見られた。

## 3.2.2 笑い声区間の自動検出

笑い声区間の自動検出精度は，漫才動画の性質に 大きく依存していた．観客の笑い声が鮮明に聞き取 れる動画に対しては高精度で笑い声区間を検出でき ていたが，観客のリアクションが小さく収録された 動画に対しては笑い声区間を検出できないケースが 多かった. さらに，漫才師自身が笑う場合や漫才師 が甲高い声または叫ぶような声で発声する場合にお いて，笑い声区間の誤検出が多かった。観客だけの リアクションを考慮するため，観客のリアクション の抽出や増幅のような工夫が必要である．また，検出モデルが予測するフレームは $960 \mathrm{~ms}$ と長いため,観客の笑い声が長く続くケースや笑いが起こるテン ポが速いケースにおいて，検出される笑い声区間が 極端に長くなってしまい，不適切であった.より短 い時間のフレームに対する予測や音声イベント検出 の組み合わせによって，笑い声区間の自動検出精度
が向上すると考えられる。

## 4 まとめと今後の展望

笑いは健康を促進でき，日本人の笑いは「会話型」コミュニケーションの中で起こることが多いた め，対話システムへの会話形式のユーモアの実装に よりユーザの心身の満足度を向上できると考えられ る. 本研究では，マルチモーダル漫才対話ユーモア データセットの構築のため，データ収集とアノテー ションの負荷軽減と再現性向上を目的とした自動ア ノテーションのパイプラインを検討した. 今回使用 したデータ収集のロジックにより，人手でコントを 除く処理は必要であるが，適切にアップロードされ た動画を対象に収集できた. しかし，今回行った自動アノテーションの方法には多くの課題が見られ，工夫の余地があることがわかった. すでに検証した 自動アノテーションの精度改善実験やデータ収集方法改善の結果を付録 A，B に示している。

今後はアノテーションのルールの細かな設定を決定し，自動アノテーションの手法を改善する．漫才 は「会話型」コミュニケーションの形式でネタが行 われており，意味のある言葉を含み笑いを狙った ツッコミだけでなく，相槌や合いの手も頻繁に行わ れている。相槌や合いの手をどの程度テキストに起 こすかを決定する必要がある．また，笑い声はピー クを持つが一定時間持続するものであり，笑い声が 短時間に連続して発生した場合, 笑い声区間のアノ テーションは不適切になりうる。 そのため, 笑い声 のピークや音声イベントを用いたルールの設定が必要である。これらの細かな設定をした上で，精度と 再現性の高い自動アノテーション手法をさらに検討 し，データセットの構築と公開を目指す。

## 参考文献

[1] 山越達矢, 阪本亮, 西垣翔梧, 田中爽太, 福田隆文, 金留理奈, 鈴木久仁厚, 梁弘一, 小山敦子, 阿野泰久. 笑 いによるストレス応答抑制と認知機能改善効果. 日本健康心理学会大会発表論文集, Vol. 34, p. 87, 2021.

[2] Yudai Tamada, Chikae Yamaguchi, Masashige Saito, Tetsuya Ohira, Kokoro Shirai, Katsunori Kondo, and Kenji Takeuchi. Does laughing with others lower the risk of functional disability among older japanese adults? the jages prospective cohort study. Preventive Medicine, 2022.

[3] Rosemary Cogan, Dennis Cogan, William Waltz, and Melissa McCue. Effects of laughter and relaxation on discomfort thresholds. Journal of behavioral medicine, Vol. 10, No. 2, pp. 139-144, 1987.

[4] Rod A Martin and Nicholas A Kuiper. Daily occurrence of laughter: Relationships with age, gender, and type a personality. 1999.

[5] 荒木健治, 内田ゆず, 佐山公一, 谷津元樹, 北海道大学, 小樽商科大学. 駅酒落データベースの構築及び 分析. 人工知能学会第 2 種研究会 ことば工学研究会資料, SIG-LSE-B702-3, pp. 13-24, 2017.

[6] 大島希巳江. 日本の笑いと世界のユーモア：異文化 コミュニケーションの観点から. 世界思想社, 2006.

[7] Albert Mehrabian and Morton Wiener. Decoding of inconsistent communications. Journal of personality and social psychology, Vol. 6, No. 1, p. 109, 1967.

[8] Albert Mehrabian and Susan R Ferris. Inference of attitudes from nonverbal communication in two channels. Journal of consulting psychology, Vol. 31, No. 3, p. 248, 1967.

[9] Badri N. Patro, Mayank Lunayach, Deepankar Srivastava, Sarvesh Sarvesh, Hunar Singh, and Vinay P. Namboodiri. Multimodal humor dataset: Predicting laughter tracks for sitcoms. In 2021 IEEE Winter Conference on Applications of Computer Vision (WACV), pp. 576-585, 2021.

[10] Alec Radford, Jong Wook Kim, Tao Xu, Greg Brockman, Christine McLeavey, and Ilya Sutskever. Robust speech recognition via large-scale weak supervision. arXiv preprint arXiv:2212.04356, 2022.

[11] Jort F. Gemmeke, Daniel P. W. Ellis, Dylan Freedman, Aren Jansen, Wade Lawrence, R. Channing Moore, Manoj Plakal, and Marvin Ritter. Audio set: An ontology and human-labeled dataset for audio events. In Proc. IEEE ICASSP 2017, New Orleans, LA, 2017.

[12] Andrew G Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, and Hartwig Adam. Mobilenets: Efficient convolutional neural networks for mobile vision applications. arXiv preprint arXiv:1704.04861, 2017.

[13] M Iftekhar Tanveer, Diego Casabuena, Jussi Karlgren, and Rosie Jones. Unsupervised speaker diarization that is agnostic to language, overlap-aware, and tuning free. arXiv preprint arXiv:2207.12504, 2022.

[14] Cem Subakan, Mirco Ravanelli, Samuele Cornell, Frédéric Lepoutre, and François Grondin. Resourceefficient separation transformer. arXiv preprint
arXiv:2206.09507, 2022.

[15] R. Ardila, M. Branson, K. Davis, M. Henretty, M. Kohler, J. Meyer, R. Morais, L. Saunders, F. M. Tyers, and G. Weber. Common voice: A massively-multilingual speech corpus. In Proceedings of the 12th Conference on Language Resources and Evaluation (LREC 2020), pp. 4211-4215, 2020 .

## A 自動アノテーションの精度を改善できなかった手法

## A. 1 ボケとツッコミの発話者推定

漫才では，ボケとツッコミの役割が重要である ため，発話者のアノテーションが必要である. Whisper は複数の話者をある程度分離して書き起こ しを行うことができていたが，発話者を割り振るこ とはできないため，以下の発話者推定の手法を検討 した.

1. PyAnnote ${ }^{5)}$ を用いた話者ダイアリゼーション

2. 事前学習済みモデルを用いた教師なしによる話者ダイアリゼーション [13]

3. RE-SepFormer ${ }^{6)}[14]$ を用いた話者分離

1 と 2 の手法は話者を適切に割り振ることができ ず，オーバラップした部分の検出もできていなかっ た. 3 の手法において, 話者ごとに分離された音声 を自動書き起こしすることを目標としていたが，全 く分離することができず，実用に足る精度が得られ なかった. 要因として, 日本語の音声に対応したモ デルを用いていないことが考えられる．日本語と英語は音声学的特徵が異なり, 音声のスペクトログラ ムの傾向が異なる可能性が推測され，これが英語に 対応したモデルが日本語の音声に対してうまく機能 していない要因であると考えられる． 3 において用 いた RE-SepFormer を Common Voice ${ }^{7)}$ [15] の日本語 データセットを用いてファインチューニングし，話者分離を試みたがうまく分離できなかった. しか し，日本語対応モデルの構築は一つの改善策である 可能性があるため，引き続き検討していく.

## A. 2 発話開始/終了時間の推定精度向上

Whisper が推定するテキストに対応した発話時間 には誤差があるため，その精度向上を試みた. A. 1 で説明した 1 の手法を用いて，話者ダイアリゼー ションの結果を発話開始／終了時間の誤差の軽減に 使用する実験を行ったが，話者ダイアリゼーション の精度も高くないことから，良い結果が得られな かった. また，出囃子などの影響により Whisper が 推定する発話時間が不適切な場合もあったため，ネ タの前後の情報のない時間を削除することでノイズ
を軽减することが最優先の取り組みであると考えら れる。まずはこの処理を今後行った上で追加実験を 行っていく.

## B データ収集手法の改善

本研究においてデータ収集を行なった際（2022 年 11 月時点)， M-1 グランプリ 2022 が終了していな かったが，2023 年 1 月 13 日（論文投稿締切）時点 において M-1 グランプリ 2022 が終了していたため， データ収集とフィルタリングのパラメータの変更 を行い，データ収集を試みた。主な変更点は以下で ある.
- M-1 グランプリ公式チャンネルを対象として,「 M-1」のクエリを用いて検索（ M1 グランプ リを M-1 に変更）

・ M-1 グランプリ公式チャンネルを対象として, タイトルに【決勝ネタ】」,「【敗者復活戦ネタ】」,「【ナイスアマチュア賞】」，「準々決勝ネタ】」,

「【3 回戦全ネタ】」,「【1 回戦 TOP3】」のいずれか を含む（【準々決勝ネタ】」、「3 回戦全ネタ】」,

$\lceil$ 「1 回戦 TOP3】」を追加）

これにより，合計 326 件の動画に関するメタデータ を収集できた。また，「【3 回戦全ネタ】」か「【1 回戦 TOP3】」をタイトルに含む動画には，動画 1 本あ たり 2 または 3 組の漫才師による漫才が収録されて いるため，収集できる漫才がさらに増加すると考え られる。

5) https://huggingface.co/pyannote/speaker-diarization

6) https://huggingface.co/speechbrain/

resepformer-wsj02mix

7) https://commonvoice.mozilla.org/en


# 地方議会議事録を対象としたスタンス分類データセットの自動構築と ベースライン分類器の評価

我藤勇樹 ${ }^{1}$ 秋葉友良 ${ }^{1}$ 内田ゆず ${ }^{2}$ 木村泰知 ${ }^{3}$ 高丸圭一 ${ }^{4}$
${ }^{1}$ 豊橋技術科学大学 ${ }^{2}$ 北海学園大学 ${ }^{3}$ 小樽商科大学 ${ }^{4}$ 宇都宮共和大学
gato.yuki.am@tut.jp akiba@cs. tut.ac.jp yuzu@hgu.jp kimura@res.otaru-uc.ac.jp
takamaru@kyowa-u. ac. jp

## 概要

スタンス分類は、特定のトピックに関して述べら れた意見が賛成なのか反対なのかを分類することを 目的としている。本研究では、複数の地方議会議事録から自動でスタンス分類データセットを構築する 手法を提案する。愛知県の種々の規模の議会を対象 に本手法を適用し、6,254 サンプルのデータセット を構築することができた。構築したデータセットを 人手で評価したところ、抽出漏れは約 $10 \%$ あっも のの賛否ラベルの付け誤りは $0 \%$ であった。また、構築したデータセットを基にベースライン分類器を作成し、分類性能の評価を行った。

## 1 はじめに

スタンス分類は、特定のトピックに関して述べら れた意見が賛成なのか反対なのかを分類することを 目的としている。例えば、「マスク着用」というト ピックに対する意見「周囲の人を守るためにマスク を着用します。」は、賛成のスタンスを表明してい ることになる。スタンス分類が自動で行われること で、ソーシャルメディアに流れる大量のテキストを 分析し、世論の把握やファクトチェックに活用する ことができる。

2019 年後半から 2020 年にかけて開催された NTCIR15 QA Lab-PoliInfo2 では、東京都議会を対象 とした Stance Classification (SC) タスク [1]が実施 された。これは、会議議事録全体を参照し各会派の 議案に対するスタンス(賛成/反対)を推定するタス クであった。議会議事録中には、討論の冒頭に議案 に対する賛否を明示的に表明する発言があり、この 部分から賛否表現を抽出するだけで 90\%以上の精度 を達成することができた。一方、純粋に発言の内容 からスタンスを分類するという本来のスタンス分類
に対する性能は明らかになっていない。

図 1 実際の討論発言（愛知県大府市議会）

本研究では、明示的な賛否表現に頼ることなく発言のスタンス (賛否)を推定する問題に取り組むため に、地方議会議事録から自動的にスタンス分類デー タセットを構築する手法を開発し、データ構築を行 った。PoliInfo-2 の対象であった東京都以外の、県議会、市議会、町議会を含む様々な規模の地方議会 を対象としている点が特徴である。また、英語を対象とした Stance Classification データセットは SNS などの短い発言を対象としたものが多いが、議会議事録を対象とした本データセットは、平均 578 単語と比較的長い発言を対象とすることも特徴であ る。図 1 に実際の議事録の発言を示す。

愛知県の種々の規模の議会を対象に本手法を適用

したところ、6,256 サンプルの賛否ラベル付きデー タを自動構築することができた。構築したデータの 品質を評価するため、人手で構築したデータとの比較を行った。人手データと比べて抽出漏れが約 $10 \%$ あったものの、余計な発言が抽出されることはなく、 また自動ラベル付した結果に誤りは無く、高精度な データを自動構築できることを確認した。また、構築したデータセットを基にベースライン賛否分類器 を作成し、分類性能の評価を行った。

## 2 関連研究

スタンス分類のデータセットを構築する研究に Glandt らの研究[2]がある。この研究では、COVID-19 に関するツイートを収集し、クラウドソーシングを 活用し人手でラベリングすることでデータセットを 構築している。他にも、Allaway と McKeown の研究 [3]では、非常にターゲットの種類が多いVAST とい うデータセットを構築している。この研究でも、ラ ベリングにはクラウドソーシングが活用されている。 クラウドソーシングの問題点として、ラベルのつけ 間違いや個人差、コストがかかることが挙げられる。本研究では、明示的な賛否表現にマスクを施すこと により自動でデータセットを構築した。

## 3 自動データセット構築

データセットを構築する手法について述べる。ま ず、提出議案の討論が主に行われる会議最終日の議事録のみを用いる。地方議会の討論の進行には、議長が個々の議案を一つずつ取り上げて発言者(議員) を指名し発言を認める形式（個別討論）と、議長が 発言者のみを指名した後、指名された議員が複数の 議案について一括で発言を行う形式 (一括討論) の 2 種類があり、議会毎に採用する討論形式が異なる。今回は発言とその対象となる議案の対応関係が明確 である、個別討論形式の議会を対象とした。

愛知県の 33 の県議会、市議会、町議会を対象に調 べたところ、15 の議会が条件を満たしていた。表 1 に個別議案の討論形式を持つ議会とデータセット構築に用いた議事録の対象年度を示す。表 1 データセット構築に用いた議事録

## 3.1 討論の抽出

本研究で構築するスタンス分類データセットは、議事録の討論を対象とする。討論の開始・終了は議長によって指定され、討論は議長に指名された議員 が行う。そのため、討論の開始表現と終了表現の間 の議員の発言を討論候補として抽出する。討論候補 の抽出に使用した正規表現を表 2 に示す。

スタンス分類では、特定のトピック (ターゲット) に対する意見を分類する。そのため、討論候補のう ち、表 2 のトピック表現を含むものをスタンス分類 のテキストとして扱い、トピック表現を含まない候補は破棄する。

得られたテキストは、冒頭や末尾付近に明確にス タンスを表明する文（賛否表明文）が現れることが 多い。実際の分類タスクでは、この賛否表明文を用 いるだけで簡単にスタンスが特定できてしまう。そ のため、表明文は除去することが望ましいが、出現位置や表現は様々であり難しい。そこで本研究では、賛否を表明するために典型的に使用される単語集合 を予め列挙しておき、それらの単語を一つの特殊な トークンに置き換える(マスクする)ことで、発言に 明示的な賛否表現が含まれないようにした。今回は、

「賛成」と「反対」の 2 単語を対象にマスクを行っ た。
表 2 本研究で使用した正規表現

 \\

## 3.2 賛否ラベリング

スタンス分類のデータセットには、サンプル(発言)毎にスタンス(賛成または反対)の教師ラベルを付与する必要がある。しかし、人手でラベル付けする コストは高い。本研究では、マスクした「賛成」「反対」を利用しヒューリスティクスを用いて自動でラ ベル付けを行った。ラベル付け手法は以下の通りで ある。

1. マスクした「賛成」および「反対」が発言を通 してどちらか一方のみであった場合、マスクし た単語が表すスタンスのラベルを付与する。

2.「賛成」「反対」どちらも出現する場合、発言中に表 2 の「賛成表現」または「反対表現」が 出現するかチェックする。出現する場合は、対応するラベルを付与する。

3. 上記に当てはまらない発言は、ラベル付けせず に破棄する。

表 3 に表 1 で示した議事録から構築されたデータ セットの統計情報を示す。表 3 より、賛否ラベルの 割合がほぼ等しいデータセットであるといえる。ま た、図 2 に作成したデータの例を示す。表 3 データセットの統計情報

テキスト：議案第38号「大府市空家等対策の推進に関する条例 の制定について」、自民クラブを代表し、[STANCE]の立場で討論をさせていただきます。近年、人口減少や少子高齢化等を背景に、全国的に空き家等の増加が社会問題となっている中、本市においても、今後、空き家等の増加により、生活環境の保全 に支障が生じるのではないかと懸念されているところであり、本市議会建設消防委員会においても、これまで、空き家、空き 地、空き店舗について調査研究を進めてきた経緯もございます 本市では、平成 30 年 3 月に、大府市空家等対策計画を策定し、本計画に基づき、これまでも積極的に空家等対策を推進してき たところでございますが、法の枠組みだけでは対処できない課題が顕在化している状況がうかがえます。そのような状況の中 で、今回、本条例を制定し、類似空家と特定類似空家等への対応を始め、市、所有者、市民、事業者などに責務又は役割を定 めていること、人の生命、身体又は財産に重大な損害を及ぼす ことを回避するために、緊急安全措置について規定しているこ とは、法律を補完するとともに、空家等対策を総合的かつ計画的に推進し、公共福祉と地域振興につながるものと高く評価す るものでございます。今後、法及び本条例に基づいて、引き続 き空家等対策に継続的に取り組み、市民が安心安全に暮らすこ とができる「健康都市おおぶ」として、持続可能な社会が実現 されることを期待し、[STANCE] 討論とさせていただきます。

ターゲット : 議案第38号「大府市空家等対策の推進に関する条例の制定について」

ラベル : 賛成

図 2 作成したデータの例

## 3.3 データセット構築手法の評価

構築したデータセットについて、人手で評価を行 った。大府市の議事録を対象とし、議員の発言を 100 件抽出し、人手で討論発言かどうか分類した。討論発言である場合は、ターゲットとラベルも人手で付与し、同じ 100 件の発言に対して自動で構築したデ 一タセットと比較した。比較結果を表 4 に示す。

表 4 より、自動抽出では、本来抽出すべき討論の 約 10\%を取りこぼしていることがわかる。しかし、間違えて討論でないものを抽出していないため、デ 一夕の数は少なくなるが質は高いと言える。自動で 抽出した討論に対するターゲットとラベルは人手と 完全に一致し、ミスなく付与できている。
表 4 人手評価の結果

 &  &  \\

## 4 ベースライン分類器の構築と評価

## 4.1 ベースライン分類器

構築したデータセットを学習データに用いて分類器を構築した。分類モデルには、Transformer エンコ ーダベースの事前学習モデルである BERT[4]を用い た。BERT モデルには、東北大学乾研究室が公開し ている学習済みモデルiを使用した。[CLS]トークン を対象に、MLP 層を加えた二值分類器を学習した。入力形式は、対象となる議案名と、発言テキストを、 [SEP]トークンで連携したものとした。ただし、BERT の最大入力長である 512 トークンを超えた場合は、後を切り捨てた。

## 4. 2 分類器の評価実験

構築したデータセットから 3.3 節で人手評価した 67 件を除いた 6,187 件を学習データとして、 4.1 節の モデルを 6 エポック学習し、テストデータ 67 件を評価した。分類結果を表 5 に示す。

表 5 ベースライン分類器での評価結果

## 5 おわりに

議会議事録を活用して、スタンス分類のデータセ ットを自動で構築した。人手評価の結果、取りこぼ しているデータは多少あるが、ラベリングやターゲ ットの付与は非常に高い精度であることがわかった。今後の研究としては、今回対象としなかった、複
^{i}$ https://huggingface.co/cl-tohoku
}

数の議案を含む発言からもデータセットを構築する ことを目標とする。そのためには、発言を議案ごと にセグメンテーションする手法を研究する必要があ る。

本研究で構築したデータセットは、NTCIR-17 QA Lab-PoliInfo-4[5] の サブタスク Stance Classification-2[6] のデータセットとして使用す る予定である。

## 参考文献

1. Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mi- tamura, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, Kenji Araki, Satoshi Sekine, and Noriko Kando. Overview of the ntcir-15 qa lab-poliinfo-2 task. Proceedings of The 15th NTCIR Conference, 122020.

2. Kyle Glandt, Sarthak Khanal, Yingjie Li, Doina Caragea, and Cornelia Caragea. 2021. Stance Detection in COVID-19 Tweets. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 1596-1611, Online. Association for Computational Linguistics.

3. Emily Allaway and Kathleen McKeown. 2020. Zero-Shot Stance Detection: A Dataset and Model using Generalized Topic Representations. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 8913-8931, Online. Association for Computational Linguistics.

4. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics. 5. 小川泰弘, 木村泰知, 渋木英潔, 乙武北斗, 内田 ゆず，高丸圭一，門脇一真，秋葉友良，佐々木稔，小林暁雄. NTCIR-17 QA Lab-PoliInfo-4 のタスク設計.言語処理学会第 29 回年次大会. 2023.

6. 高丸圭一, 内田ゆず, 木村泰知, 秋葉友良. 地方議会における議案への賛否に関する発言の分析一

NTCIR-17 QA Lab-PoliInfo-4 Stance Classification-2

タスクに向けて一. 言語処理学会第 29 回年次大会.

2023

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# NTCIR-17 QA Lab-Polilnfo-4 Answer Verification における GDADC の利用に向けての考察

渋木英潔 ${ }^{1}$ 内田ゆず 2 小川泰弘 ${ }^{3}$ 門脇一真 ${ }^{4}$ 木村泰知 ${ }^{5}$
1 株式会社 BESNA 研究所 2 北海学園大学 3 名古屋大学
4 株式会社日本総合研究所 5 小樽商科大学
shib@besna.institute yuzu@hgu.jp yasuhiro@is.nagoya-u.ac.jp
kadowaki.kazuma@jri.co.jp kimura@res.otaru-uc.ac.jp

## 概要

我々は，フェイクニュースなどの社会問題を質問応答や自動要約などの自然言語処理技術を用いて 解決するためのシェアードタスクとして NTCIR-17 QA Lab-PoliInfo-4 (以下，PoliInfo-4)を開催している.本稿では，システムの改善に有効とされる敵対的 データを継続的に収集するために，ゲーミフィケー ションによるモチベーションで不特定多数のユー ザに敵対的データを作成させる GDADC を説明す る。また，GDADC のゲームとしての面白さを考察しながら，PoliInfo-4 のサブタスクである Answer Verification (以下，AV) での利用について述べる.

## 1 はじめに

政治にまつわるフェイクニュースが社会問題 となって久しい，我々はフェイクニュースなど の社会問題を，質問応答や自動要約などの自然言語処理技術を用いて解決する取り組みとし て，QA Lab-PoliInfo タスク $[1,2,3]$ を評価型ワー クショップ $\mathrm{NTCIR}^{1)}$ において開催している。今年 も NTCIR-17 QA Lab-PoliInfo-4 [4] (以下，PoliInfo-4) として, Question Answering-2 (以下，QA-2), Answer Verification (以下, AV), Stance Classification-2, Minutesto-Budget Linking の4つのシェアードタスクを開催 している.

前回の QA Lab-PoliInfo-3 [3] で開催した Question Answering (以下，QA) では，例えば「○○について 知事はどんな見解を持っているのか？」といった 質問 2 を入力として，一次情報となる知識源 ${ }^{3}$ から

図 1 Question Answering における誤った解答例

質問の回答を提示した。参加者から提出されたシ ステムの回答を四つの観点から人手で評価した結果， 800 点満点中 499 点 $(62 \%)$ が最高スコアとなり,適切な回答も多く出力されていた.しかしながら， Gold Standard ${ }^{4)}$ を手評価した結果の 598 点 $(75 \%)$ には及ばなかった.システムによる誤った回答の例 を図 1 に示す. 図 1 の上部に示す年号の誤りなど一見正しそうに見えるものもあるが，ファクトチェッ クの支援材料としてそのまま提示するには問題があ る. それゆえ，PoliInfo-4では，QA-2 として引き続 き同じ設計のタスクを実施するとともに，質問応答 システムの出力が質問に対して適切であるか否かを 判断する $\mathrm{AV}$ を実施することとした。

$\mathrm{AV}$ は， $\mathrm{QA}$ などで生成された回答が知識源と照ら し合わせてフェイクになっていないかをチェック するタスクである．QAと AV のイメージを図 2 に それぞれ示す. AV は図 2 に示すように二値分類問題に帰結させることができる。したがって，近年の 機械学習の進歩もあり，フェイクか否かのアノテー ションが付与された十分な量の訓練データがあれ ば，適切な判断可能なモデルの生成が期待できる. しかしながら，QA の人手評価の対象は延べ 200 問

4）『都議会だより』の回答を用いた。

## Answer Verification

図 2 Question Answering (上) と Answer Verification (下) の 概念図

程度であり, 訓練データとして利用するには決して 十分な量とは言えない. また，日本の政治または議員発言に関するフェイク情報という特殊性から，一般のタグ付きコーパス等を利用することも困難で ある。

この問題を解決するために，我々は，ゲーミフィ ケーション的にアノテーションデータを拡充する Gamified Dynamic Adversarial Data Collection (GDADC) を提案した [5]. 本稿では，GDADC を説明した後， ゲームとしての面白さを考察しながら $\mathrm{AV}$ での利用 に向けての取り組みを説明する.

## 2 ゲーミフィケーションに基づく動的な敵対的データ収集 (GDAGC)

近年，機械学習ライブラリの充実により，アノ テーションデータさえあれば誰でも比較的容易に文書分類などのシステムを実装することが可能となっ た.アノテーション付きの言語資源は，言語資源協会5)や ALAGIN $\left.{ }^{6}\right)$ などから入手することができるが， その数量は限られており，目的とするドメインの言語資源がないこともある. 質問応答 (QA) における 機械読解を対象としたデータセットに SQuAD [6] が あるが， Jia and Liang [7] はこれに人手で「システム が混乱するような敵対的な文 (adversarial distracting sentence)」を加えることでシステムの性能が低下す ることを示した. QA システムの精度改善のために はシステムが間違いやすい部分に焦点を当てたデー

5) https://www.gsk.or.jp/

6) https://alaginrc.nict.go.jp/
タが必要であるが，実世界の問題においてはそのよ うなデータが十分にあるとは限らず，特に専門性や 特殊性が高い分野の場合，適格なアノテータを集め て新たにアノテーションすることも容易ではない.

専門知を補うために集合知を利用するという考え 方は昔からあり [8], クラウドソーシングを利用し てコーパスを構築する研究も多く行われている [9].

Kiela et al. [10] は，クラウドソーシングを通して敵対的な事例を収集するために，アノテータが作成し た事例に対してシステムが予測し，予測が誤った 事例のみを収集する敵対的データ収集 (Adversarial Data Collection, ADC) を提案した，ADCにより収集 された事例は，予測システムが苦手とするタイプ の事例に集中するのではないかという頑健性の問題が Kaushik et al. [11] により示されたが，Wallace et al. [12] は，敵対的データを元に予測システムを 改善し, 改善された予測システムを対象に新たな 敵対的事例を収集するというサイクルを継続的に 繰り返す「動的な敵対的データ収集 (Dynamic ADC, DADC)」により頑健なシステムが構築されることを 示した.しかしながら，ADC に関する研究はクラ ウドソーシングが前提であり, Sugawara et al. [13]が 示すようにアノテータの費用やインセンティブと いった面で問題がある．従って，継続的にアノテー ションを行うためには，インセンティブの問題を解決する必要がある. ユーザに自発的・持続的な行動 を促すための研究として，ゲームに見られる様々な 仕組みや要素をゲーム以外に適用するゲーミフィ ケーションと呼ばれるアプローチを適用したもの がある $[14,15]$. 我々は，ゲーミフィケーションに よりインセンティブを高めることで，不特定多数の ユーザを対象として継続的にデータセットを拡充で きると考えた。

以上の背景から，我々はゲーミフィケーション に基づく動的な敵対的データ収集 (Gamified DADC, GDADC) を提案した [5]. GDADC は，アノテーショ ンの動機付けをゲームとしての面白さに頼ってい る.しかしながら，提案時にはその部分に関する議論が不十分であったため, 本稿の 4 節で議論する.

## 3 Answer Verification での利用

$\mathrm{AV}$ では敵対的データ収集のために『AI 城から財宝を奪おう!』7) というブラウザゲームを公開予定で ある．AVにおける GDADC を利用した敵対的デー

7) https://sites.google.com/view/poliinfo4/game

Web UI

リーダーボード

(3)

分類システム

Polilnfo-4 関係者

図 3 GDADC を利用した Answer Verification における敵対的データの収集

図 4 WebUI 上の敵対的データ作成画面 (予定)

タ収集の全体像を図 3 に示す。また，開発中の敵対的データの作成画面を図 4 に示す. GDADC のプレ イヤは，敵対的データを作成する攻略と，予測シス テムを改良する防衛の一方または両方のアクション をとることができる．図 3 では，左側の Web 上にい る不特定多数が攻略側プレイヤ，右側の $\mathrm{AV}$ 参加者 やタスクオーガナイザなどの PoliInfo-4 関係者が防衛側プレイヤに該当する。

ゲームストーリーとしては，攻略側プレイヤが 「詐欺師」となり，防衛側プレイヤが作成した「AI 城主」から尋ねられた政治的質問に対して回答する (詐欺を働く) という形で，AI 城主が納得しつつも内容的には決して真実ではないテキストを入力する。 その結果，AI 城主が真実だと予測すれば (すなわ ち，AI 城主が騙された場合)「そなたの意見はもっ ともだ。褒美をとらそう」となり，プレイヤの「財宝」スコアが増加する．スコアはリアルタイムで反映され，リーダーボードという形で順位が公開され る.また，AI 城主を騙せたかどうかに関わらず，入力されたテキストはデータベースに収集される. 防衛側と攻略側のデータ構造を表 1 と表 2 にそれぞれ

 \\

示す. 収集された敵対的データは，防衛側プレイヤ に参照され予測システムの改良に用いられることに なる， AI 城主が賢くなれば，同様の詐欺を働くこと ができなくなり，新たな種類のテキストを入力しな ければならなくなる。このように攻略側プレイヤと 防衛側プレイヤが互いに切䃴玩磨することでゲーム としての駆け引きが生じることになる.

## 4 ゲームの面白さと利用動機の考察

$\mathrm{AV}$ 参加者やタスクオーガナイザといった防衛側 プレイヤには，予測システムを改良するという目的 が敵対的データ作成の動機となりうるが，攻略側プ レイヤには，そのような動機はないため，ゲームと しての面白さをインセンティブにする必要がある.

## 4.1 ゲームの面白さ

ゲームの面白さとは何かを扱った研究として，藤江ら [16] や馬場 [17] の研究がある. 彼らは，ゲー
表 2 攻略側のデータ構造

 &  \\

ムの面白さを Csikszentmihalyi のフロー理論 [18] で 言うところの最適覚醒と結び付け, ゲームの基本構成要素であるプレイヤ・ルール・ツール（インター フェイス）の三者のバランスが最適となったときに ゲームの面白さが発生するとしている. 完全には予測不可能なプレイヤという要素を含むとしつつも，最適覚醒につながる刺激として, 新奇性と, 不確定性や複雑性による情報負荷を挙げている。また，新奇性が失われた後も環境に対する統制感と能力を証明することによる効能感が繰り返し遊び続ける動機 となりうるとしている. 敵対的データを作成すると いう作業は一般的なアノテーションに比べて新奇性 が高いものであり，「AIを騙せたら攻略成功」とい う攻略指標はそれなりの不確定性や複雑性が存在す る. また，リアルタイムでスコアが反映される枠組 みは統制感や効能感を与えてくれるだろう。

## 4.2 ゲーム利用動機

現代日本の大学生におけるゲーム利用動機を扱っ た研究には, 井口 [19] がある. 現代日本の大学生に おけるゲーム利用動機には「空想」「承認」「趣向」「達成」「友達」「学習」「気晴らし」の7つの要因が あり，「気晴らし」以外の動機が高いほどゲームへ の没入度が高くなることが報告されている。「空想」 は「現実とは違う世界で楽しむことができる」や 「現実にはできないようなことができる」といった 要素である。本稿の「詐欺師としてフェイクニュー スを作成する」という設定は現実には行ってはい けないものであり，「空想」の動機付けにつながる と考えられる。「承認」には「他人よりも上手なプ レイヤになりたい」や「相手を負かすのが楽しい」 といった競争の要素が含まれており，GDADCでは リーダーボードによるランキングがこの動機付けに あたる。「達成」は「課題を達成することが嬉しい から」や「遊んでいるうちに上達するのが楽しいか ら」といった要素であり，「学習」は「難しいことが 理解できることがあるから」や「新しい知識を得る ことができるから」といった要素であるが，AIを騙 すことができるフェイクニュースを作成するとい う課題は，専門性や特殊性が求められる難しい課題 と言ってよく，知識源となる議会での討論の内容を 理解する過程は，多くの攻略側プレイヤにとって新 しい知識を得ることになるだろう．残りの「趣向」 は「絵や映像がきれいだから」や「音や音楽に惹か れるから」といった要素，「友達」は「友人と一緒 に遊ぶのが楽しいから」や「友人との話題になるか ら」といった要素である. 我々は「趣向」や「友達」 に関する面白さにはあまり焦点を当てていないが， Web UI の演出や SNS などでの宣伝などを通して動機付けすることができればよいと考えている.

## 5 おわりに

本稿では，機械学習システムの改善に有効と される敵対的データを継続的に収集するために， ゲーミフィケーションによるモチベーションで 不特定多数のユーザに敵対的データを作成させ るGDADC を説明した。また，GDADC のゲーム としての面白さを考察しながら, PoliInfo-4 の AV での利用について述べた. PoliInfo-4 の AV の開催 とあわせて，今後『AI 城から財宝を奪おう!』を https://sites.google.com/view/poliinfo4/gameで 公開する予定である。また，ゲーム進行によりデー タが蓄積されていく中で，GDADC の効果を検証す る予定である.

## 謝辞

本研究は JSPS 科研費 21H03769，22H03901 の助成を受けたものである.

## 参考文献

[1] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Kotaro Sakamoto, Madoka Ishioroshi, Teruko Mitamura, Noriko Kando, Tatsunori Mori, Harumichi Yuasa, Satoshi Sekine, and Kentaro Inui. Overview of the NTCIR-14 QA Lab-PoliInfo task. In Proceedings of the 14th NTCIR Conference, 2019.

[2] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mitamura, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, Kenji Araki, Satoshi Sekine, and Noriko Kando. Overview of the NTCIR-15 QA Lab-PoliInfo-2 task. In Proceedings of The 15th NTCIR Conference, 2020.

[3] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Kazuma Kadowaki, Tatsunori Mori, Kenji Araki, Teruko Mitamura, and Satoshi Sekine. Overview of the NTCIR-16 QA Lab-PoliInfo-3 task. In Proceedings of The 16th NTCIR Conference, 2022.

[4] 小川泰弘, 木村泰知, 渋木英潔, 乙武北斗, 内田ゆず,高丸圭一, 門脇一真, 秋葉友良, 佐々木稔, 小林暁雄. NTCIR-17 QA Lab-PoliInfo-4 のタスク設計. 言語処理学会第 29 回年次大会, 2023.

[5] 渋木英潔, 内田ゆず, 小川泰弘, 門脇一真, 木村泰知. ゲーミフィケーションに基づく QA データセット拡充手法の提案: QA Lab-PoliInfo-4 Answer Verification タスクに向けて. 第 18 回 Web インテリジェンスと インタラクション研究会, 2022.

[6] Pranav Rajpurkar, Robin Jia, and Percy Liang. Know what you don't know: Unanswerable questions for SQuAD. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 784-789, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[7] Robin Jia and Percy Liang. Adversarial examples for evaluating reading comprehension systems. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2021-2031, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[8] Thatsanee Charoenporn, Virach Sornlertlamvanich, Hitoshi Isahara, and Kergrit Robkop. KUI: an ubiquitous tool for collective intelligence development. In Proceedings of the IJCNLP-08 Workshop on NLP for Less Privileged Languages, 2008.

[9] 河原大輔, 町田雄一郎, 柴田知秀, 黒橋禎夫, 小林隼人, 颯々野学. 2 段階のクラウドソーシングによる談話関係タグ付きコーパスの構築. 情報処理学会研究報告. 自然言語処理研究会報告, Vol. 2014, No. 12, pp. 1-7, 062014.

[10] Douwe Kiela, Max Bartolo, Yixin Nie, Divyansh Kaushik, Atticus Geiger, Zhengxuan Wu, Bertie Vidgen, Grusha Prasad, Amanpreet Singh, Pratik Ringshia, Zhiyi Ma, Tristan Thrush, Sebastian Riedel, Zeerak Waseem, Pontus Stenetorp, Robin Jia, Mohit Bansal, Christopher Potts, and Adina Williams. Dynabench: Rethinking benchmarking in NLP. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4110-4124, Online, June 2021. Association for Computational Linguistics.

[11] Divyansh Kaushik, Douwe Kiela, Zachary C. Lipton, and Wen-tau Yih. On the efficacy of adversarial data collection for question answering: Results from a large-scale randomized study. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 6618-6633, Online, August 2021. Association for Computational Linguistics.

[12] Eric Wallace, Adina Williams, Robin Jia, and Douwe Kiela. Analyzing dynamic adversarial training data in the limit. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 202-217, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[13] Saku Sugawara, Nikita Nangia, Alex Warstadt, and Samuel Bowman. What makes reading comprehension questions difficult? In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 6951-6971, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[14] 根本啓一, 高橋正道, 林直樹, 水谷美由起, 堀田竜士,井上明人. ゲーミフィケーションを活用した自発的・持続的行動支援プラットフォームの試作と実践.情報処理学会論文誌, Vol. 55, No. 6, pp. 1600-1613, 06 2014.

[15] 小河晴菜, 西川仁, 徳永健伸, 横野光. ゲーミフィケー ションを用いたアノテーション付き対話データの収集基盤. 言語処理学会第 26 回年次大会, 2020.

[16] 藤江清隆, 馬場章. ゲームの面白さとは何か：テ レビゲームのプレジャラビリティをめぐって.日本バーチャルリアリティ学会誌 $=$ Journal of the Virtual Reality Society of Japan, Vol. 9, No. 1, pp. 15-19, 032004.

[17] 馬場章. 2. ゲーム学の国際的動向. 映像情報メディ ア学会誌, Vol. 60, No. 4, pp. 491-494, 2006.

[18] Mihaly Csikszentmihalyi, 今村浩明. フロー体験喜びの 現象学. Sekaishiso seminar. 世界思想社, 1996.

[19] 井口貴紀. 現代日本の大学生におけるゲームの利用と満足. 情報通信学会誌, Vol. 31, No. 2, pp. 67-76, 2013.


# オノマトペの語義決定に寄与するコロケーションの分析

藤田実智斗 ${ }^{1}$ 内田泡ず 2 荒木健治 ${ }^{3}$
1 北海道大学 大学院情報科学院 ${ }^{2}$ 北海学園大学 工学部
3 北海道大学 大学院情報科学研究院
${ }^{1}$ fujita.michito.u9@elms.hokudai.ac.jp ${ }^{2}$ yuzuehgu.jp
${ }^{3}$ araki@ist. hokudai.ac.jp

## 概要

日本語学習者が日本語オノマトペの使い方を理解するためには，定義文や用例だけでなく，そのオ ノマトペの語義に関係するコロケーションを知っ ておくことが有効である. そこで本研究では，オノ マトペの語義決定に寄与している文節についてア ノテーションを行い，その結果に基づいた分析を 行った. 分析により, いくつかの語義で定義文から だけでは読み取れない特徴がみられた. また，人手 で抽出されたコロケーションについて Word2Vec と k-means++によるクラスタリングを行い，クラスタ と語義の関係を分析した。

## 1 はじめに

オノマトペ（擬音語および擬態語）は，音や物事 の様子，動作の状態を表現する語であり，微細な ニュアンスを表現する目的で日常的によく用いられ ている. 特に日本語のオノマトペは他言語に比べて 種類が多く，またその多くは複数の語義を持つ. 日本語母語話者は, 周辺文脈から感覚的に語義を判別 することでこれらの語義曖昧性を解消しているが，日本語学習者にとってはその判別基準を学ぶことが 難しい，そこで我々は，オノマトぺの語義決定に寄与していると考えられるコロケーション（以下，寄与コロケーションと呼ぶ）を収集し，オノマトペの 使い分けが分かりやすくなるようなオノマトペコロ ケーションデータベースの構築を目指している.

オノマトペコロケーションデータベースを構築す るには，多義のオノマトペについて語義ごとに用例 を集め，どのコロケーションが寄与コロケーション であるかを判別する作業を要する。こうした作業を 人手で行うことは時間的コストが高く, 大量にデー タを集めるためには自動化することが望ましい。そ のためには, 多義オノマトペの自動語義分類と寄与
コロケーションの自動抽出を実現する必要がある.

これまで自動語義分類については，事前学習済み の BERT[1] から得られる単語分散表現を用いた手法や，辞書中の用法情報から生成されたルールに基 づく手法が先行研究で提案されている [2][3]. 一方, オノマトペのコロケーションについては，オノマト ぺの係り先動詞に着目し，係り先動詞および係り先動詞の係り元文節の表層格を対象として分析が行わ れてきた [4][5]. しかし，これまで分析対象とされ てきたコロケーションを日本語母語話者が実際に寄与コロケーションとして認識しているかについて は，分析が不足している．そこで本研究では，寄与 コロケーション抽出の自動化に向けて，実際に日本語母語話者がどのコロケーションを基に語義を決め ているかをアノテーションし, 人手で抽出した寄与 コロケーションについて分析を行う．また，寄与コ ロケーションについてクラスタリングを行い，語義 との関係を分析する。

## 2 使用するデータ

## 2.1 分析対象オノマトペ

本研究では『擬音語擬態語使い方辞典』[6]（以下，オノマトペ辞書と呼ぶ）で語義が 3 つ以上定義 されているもので，かつ『現代日本語書き言葉均衡コーパス』[7]（以下，BCCWJ と呼ぶ）上で頻度 が高い 10 種類のオノマトペ『あっさり，きっちり， ぎりぎり，くるくる，ごろごろ，さっぱり，ばたば た，ぴったり，ぶつぶつ，ぶらぶら』を分析対象と して選定した. 各オノマトペについて BCCWJ から 各 400 文，合計 4,000 文を取得し，分析対象のテキ ストとした.
表 1 アノテーション例

図 1 寄与コロケーションの一致数（品詞別）

## 2.2 寄与コロケーションを含む文節のアノ テーション

本研究では文中のオノマトぺの語義を決定する語 について分析を行う．そこでまず 3 名の評価者によ る寄与コロケーションを含む文節のアノテーショ ンを行う. アノテーションの具体例を表 1 に示す. まず， $\mathrm{KNP}^{1)}$ を用いて分析対象のデータを文節単位 に分割する。そして，評価者は語義を決める際に手 がかりとなる文節に 1 をマークする。表 1 の例では 「している。」という文節に対しては評価者 3 名が共通して寄与語を含む文節としてマークしているのに 対し, 「大石が」という文節では評価者 2 名がマー クしている。このように評価者間で意見が分かれる ケースについても，3章で分析を行う。

## 3 寄与コロケーションの特徴分析

## 3.1 アノテーションの一致

アノテーションした結果について, 品詞別に評価者間でどの程度寄与コロケーションが一致するかを 確認する. 1 名以上が語義決定に寄与する単語が含 まれるとした文節について，文節先頭の形態素を寄与コロケーションとして集計し, 品詞別に一致数を 調べた結果を図 1 に示す. 動詞の寄与コロケーショ ンは全体総数が 2,615 個と多く，そのうち評価者 3 名全員が一致する割合は $60 \%$ であった. 評価者 2 名

図 2 「さっぱり」の語義別品詞比率

が一致した割合も含めると $77 \%$ あり，動詞はアノ テーションにばらつきが少ないことがわかった. 一方，名詞の寄与コロケーションは全体総数 3,019 個 のうち，評価者 1 名のみがアノテーションした寄与 コロケーションが $42 \%$ と高く, ばらつきが多かっ た. 要因としては，一般に文の構成要素として動詞 よりも名詞の割合が高いため，選択肢が増えたこと が挙げられる．またオノマトぺは副詞として用いら れることが多く [8], 直後の動詞の文節に係ること が多いため，評価者間で動詞の選択が一致したこと も考えられる。

## 3.2 品詞比率

収集した寄与コロケーションについて，品詞の比率を確認する． 3.1 節の結果から，評価者によって 寄与コロケーションにばらつきがあることが確認 されたため，本研究における以降の分析では，2名以上が寄与コロケーションだと判断した単語を対象とする。また，品詞は名詞，動詞，形容詞，副詞 の 4 種類を対象とする. 寄与コロケーションとして 抽出された単語の品詞比率は名詞:44\%, 動詞:50\%,形容詞:4\%, 副詞:2\%であり，名詞と動詞が大半を占 めていた. そのため, 今後寄与コロケーションの分析は名詞と動詞を中心に行う．具体例として「さっ ぱり」について語義ごとに比較した結果を図 2 に示 す.「さっぱり」では「味が濃厚でなく、口当たり がさわやかであるようす。」と定義される語義 2 に おいて，名詞の比率が $73 \%$ と高くなっている。これ は，語義 2 の用法では食べ物について表現する際に 「さっぽり」が用いられることが多く, 寄与コロケー ションとして食べ物に関連した語が多く抽出された ためであると考えられる。実際に抽出された語には 「スープ」「味わい」「サラダ」「梅干し」などがある.
表 2 「ごろごろ」の寄与コロケーション（一部抜粋）

## 3.3 寄与コロケーションの具体例

アノテーションにより収集した寄与コロケーショ ンの特徴を分析する． 3.1 節で述べたように，寄与 コロケーションの大半は名詞と動詞であったため,本節では名詞と動詞に限定して分析を行う. 例とし て「ごろごろ」の寄与コロケーションの一部を表 2 に示す. 語義 1 は擬音用法であるため，名詞および 動詞共に音に関わる語が多く出現した。また，「猫 の声」や「雷」を表現する場面で多く用いられてい たため，「猫」や「天候」に関する名詞が多く出現し たと考えられる.これらのことはオノマトペ辞書の 定義や用法・用例から読み取ることができるが，一方で語義 3 ではオノマトペ辞書の情報からだけでは 読み取れない「休日」や「家」に関する名詞が散見 された.これは語義 3 の定義で示されている「働か ないで時を過ごすようす。何もしないで時を過ごす ようす。」という状態が，基本的に「休日」や「家の 中」のシチュエーションで起こり得ることを示唆し ている.このように，定義文などの辞書情報からだ けではオノマトぺの使い方が十分に読み取れない 場合でも，大量のテキストからコロケーションを抽出して分析することで, 日本語学習者にとってより 理解しやすいデータベースを構築できると考えら れる。

図 3 文節位置

## 3.4 寄与コロケーションの文節位置

先行研究では，オノマトぺの係り先動詞を含む文節を基準として，その文節に係る文節を対象とした コロケーションの分析を行っている [4][5]. しかし，文の構造が複雑である場合や，文の長さが長い場合 には，オノマトペを含む文節から離れた位置にある 単語から語義決定に必要な文脈を読み取る可能性が ある．そこで，寄与コロケーションの出現位置につ いての実態を知るために，寄与コロケーションを含 む文節について，係り受け関係に基づく距離を調べ る. 分析結果を図 3 に示す. 多くの場合は文節距離 が 1 または 2 であった。一方で，文節距離 3 以上の 例もいくつか見受けられた. 例えば表 3 の例では,「バッグ」が「それ」という指示代名詞の先行詞で あることが原因で，文節距離が 4 となっている.こ のほか，主語が省略されることで寄与コロケーショ ンが離れて出現するケースや，係り受け解析のミス により距離が離れるケースがある。これらのことか ら，寄与コロケーションの抽出において，係り受け 解析による文節距離は寄与コロケーションの探索条
表 4 寄与コロケーション例（あっさり，名詞）語義 寄与コロケーション 語義 1 味，奨油，スープ，味わい，ハンバーグ

語義 2 顔，メール，供述，切れ，表現

語義 3 別れ，承諾，同意，放棄，スルー 語義 4 解決, 敗退, 確定, 実現, 接続

件の重みづけとしては適しているが，探索範囲を限定することには適していないと考えられる。

## 4 寄与コロケーションのクラスタリ ング

「ぶつぶつ」の語義 2 「蒸気やガスが液体の表面に 連続して噴出したりわき立ったりする音。のよう に，オノマトペ辞書で定義された語義にはドメイン を限定するものがあり，こうしたドメインの特徴が 寄与コロケーションに反映されると想定される. オ ノマトペコロケーションデータベースの構築にあ たっては，各語義ごとの特徴が解釈できるように寄与コロケーションをまとめあげることが理想的であ る. そこで本章では，各オノマトぺの寄与コロケー ションについて，Word2Vec を用いて単語分散表現 を取得し， k-means++によるクラスタリングを行う ことで，クラスタと語義の関係を分析する。

## 4.1 単語分散表現

3.1 節と同様に，オノマトペの語義決定に寄与 しているとされた文節の先頭の形態素を寄与コロ ケーションとする. これらの寄与コロケーションに ついて，Word2Vec の学習済みモデルである日本語 Wikipedia エンティティベクトル [9]を用いて単語分散表現を取得する。

## 4.2 k-means++によるクラスタリング結果

各オノマトペの寄与コロケーションについて, $\mathrm{k}$ を語義数として k-means++を用いてクラスタリング を行い分析する。ここでは具体例として「あっさ り」の名詞の寄与コロケーションおよび「ごろご ろ」の動詞の寄与コロケーションについて，分析結果の一部を表 $4,5,6,7$ に示す.

表 4 と表 5 を比較すると，語義 1 「色、味などの 濃度が薄いようす。」の寄与コロケーション群とク表 6 寄与コロケーション例（ごろごろ，動詞）

語義 $\quad$ 寄与コロケーション

語義 2 転がる，ころがる，転がす，あてる，寝返る

語義 3 する，過ごす，寝る，休む，〈つろぐ

語義 4 する，いる，転がる，ある，出る

語義 5 する，痛む

表 7 クラスタリング結果（ごろごろ，動詞）

クラスタ 2 鳴る, ひびく, 聞こえる, 鳴り響く

クラスタ 3 転がる，ころがる，転がす，浮く

クラスタ 4 休む，くつろぐ，過ごす，眠る，寝る

クラスタ 5 寝返る

ラスタ 4 が対応していることがわかる. 語義 1 およ びクラスタ 4 には，抜粋した語以外にも食べ物や味 に関する語が多く含まれているため，こうした特徴 に基づいたクラスタが形成できたと考えられる。 一方，そのほかのクラスタは各語義と対応せず，複数 の語義の語が混在していた。

表 6 と表 7 を比較すると, 語義 1 「雷が鳴る音。 また、雷が鳴るような音。」の寄与コロケーション 群とクラスタ 2 が対応していることがわかる．語義 1 は擬音語用法であり，音を伴う動詞が多く用いら れるため，単語分散表現によりクラスタを形成でき たと考えられる。一方，そのほかのクラスタは各語義と対応せず，複数の語義の語が混在していた. 特 に語義 $3,4,5$ においては「ごろごろ」が「する」を 伴って動詞として機能する点で共通しているため,周囲の文脈を考慮できない静的な単語分散表現では クラスタリングが難しい。

これらの結果から，一部の語義については，本手法によって寄与コロケーションをまとめあげること で語義の特徴が解釈できることが明らかになった.今後は，文脈を考慮した単語分散表現を用いた手法 を導入し，有効性を検証したい。

## 5 おわりに

本研究では，オノマトぺの語義決定に寄与する コロケーションについてのアノテーションを行い, アノテーション結果について分析を行った. また, Word2Vec と k-means++によるクラスタリングを行 い，クラスタと語義の関係を分析した. 今後は文脈 を考慮した単語分散表現の活用を目指す。また，こ うした各語義の特徴に基づいた寄与コロケーション のクラスタリングは，自動語義分類にも有用である と考えられるため，適用方法を検討する。

## 謝辞

本研究は JSPS 科研費 21K12584 および 17K12791

の助成を受けたものである.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[2] 乙武北斗, 内田ゆず, 高丸圭一, 木村泰知. BERT によ る周辺文脈を考慮したオノマトぺの語義分類手法の 提案. 知能と情報, Vol. 32, No. 1, pp. 518-522, 2020.

[3] 藤田実智斗, 内田ゆず, 荒木健治. オノマトペ辞書に基 づいたルールによるオノマトぺ語義分類手法の提案.日本知能情報ファジィ学会 ファジィシステムシン ポジウム 講演論文集, Vol. 38, pp. 580-584, 2022.

[4] 乙武北斗, 内田ゆず, 高丸圭一, 木村泰知. 表層格に着目したオノマトペ共起語の抽出と分析. 言語処理学会第 22 回年次大会予稿集, pp. 195-198, 2016.

[5] 高丸圭一, 内田ゆず, 乙武北斗, 木村泰知. 係り先動詞 に着目したオノマトぺの語義分類に関する検討. 知能 と情報, Vol. 28, No. 4, pp. 693-699, 2016.

[6] 阿刀田稔子, 星野和子. 擬音語 - 擬態語使い方辞典. 創拓社, 第 2 版, 1996.

[7] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written japanese. Language resources and evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

[8] 内田ゆず. 現代日本語書き言葉均衡コーパスコアデー タにおけるオノマトペ出現実態に基づくオノマトペ 自動抽出手法. 工学研究 (北海学園大学大学院工学研究科紀要), Vol. 17, pp. 15-20, 2017.

[9] 鈴木正敏, 松田耕史, 関根聡, 岡崎直観, 乾健太郎. Wikipedia 記事に対する拡張固有表現ラベルの多重付与. 言語処理学会第 22 回年次大会発表論文集, pp. 797-800, 2016.


# 駄酒落を含む対話における可読性と面白さの相関分析

花房竜馬 ${ }^{1}$ 荒木健治 ${ }^{2}$
${ }^{1}$ 北海道大学大学院情報科学院 ${ }^{2}$ 北海道大学大学院情報科学研究院
(hanabusa, araki)@ist. hokudai. ac. jp

## 概要

スマートスピーカーなどのデバイスに搭載されて いる対話エージェントとの対話は人間同士の対話と 同等の面白さを感じることができない。この問題を 解決するためには，対話中の文脈情報を考慮した高度なユーモア処理を実現する必要がある。これまで 対話の文脈情報を含むユーモアの面白さについて，評価及び分析はなされていない。本稿では対話文脈 を考慮した駄酒落の面白さを評価する標準データべ 一スを構築するために, 駄酒落を含む対話を収集し， 12, 000 件の駄酒落が含まれる対話に対して対話の 面白さを複数人で評価し，さらに，対話の可読性が 面白さに与える影響について，相関係数を用いて分析した結果について述べる。

## 1 はじめに

新型コロナウイルス感染症の蔓延による生活様式 の大きな変化に伴い, 精神的ストレスを感じる人が 急増している[1]. このような社会的問題に対処する ために，新たな生活様式に沿った孤独や不安を緩和 するためのメンタルケアの確立が必要となる.

孤独や不安を緩和するためのメンタルケアとして，友人や家族との対話が挙げられる。しかし, 対話相手の心理状態によって笑いを生むことが困難なこと も少なくない．これらのことから，対話相手を担う 存在として，対話によって面白さや楽しさを与える 対話システムの実現が緊急の課題となっている.

現在，スマートフォンやスマートスピーカーの普及によって，人間と対話エージェントとの対話が日常的に行われている. これらのデバイスに搭載され る対話エージェントは対話によって何らかのタスク を実行することを目的としたシステムである。その ため，対話によって面白さや楽しさを与えることが できない.この点を踏まえ, 対話による面白さや楽
しさを与えることを目的とした非タスク指向型シス テム(雑談システム)の研究が行われている $[2,3]$. かし，これらの研究では人間同士の対話と同等以上 の面白さや楽しさを与えるというレベルに達してい ない。この問題を解決するためには，人間と同等の 応答精度に加えて，対話中の文脈情報からユーモア 表現を理解して笑い，適切なタイミングで対話相手 を飽きさせないようにユーモアを発話するといった 高度なユーモア処理が必要となる。

これまでのユーモアに関する研究として，我々は 67,000 件の駄酒落を収録した大規模なデータベース の構築 $[4,5]$ を行った. 駄酒落の面白さを評価するた めの手法を確立するために，複数人による駄酒落の 面白さの評価及び分析[6]も行った。

しかし, これらの研究において, 文脈情報は 1 文内の文内文脈に限定されている。そのため，対話の 文脈情報を含むユーモアの面白さについて，評価及 び分析はなされていない.

本稿では，対話文脈を考慮した駄酒落の面白さを 評価する標準データベースの構築のために, 駄酒落 を含む対話の収集を行い，複数人によって対話の面白さを評価し，さらに，対話の可読性が面白さに与 える影響について，対話の面白さと表層情報との相関を用いて分析した結果について述べる.

## 2 駄酒落を含む対話の収集

人間同士の雑談対話を収録したコーパスとして，日本語日常会話コーパス[7]や名大会話コーパス[8] が挙げられる，しかし，これらのコーパスは一般的 な会話文章を収録しているため，コーパス中に含ま れる駄酒落は非常に少ないと考えられる.このこと から，既存のコーパスから駄酒落を含む対話を大量 に収集することは困難である。

ユーザ同士の対話が Web 上で公開されたソーシ ヤル・ネットワーキング・サービスとして, Twitter ${ }^{i}$

表 1 収集結果の件数及び割合

が挙げられる. 日本において, Twitter は 2021 年時点で約 5,310 万人が利用している. そのため, 既存 のコーパスと比べて, Twitter には駄酒落を含む対話 が比較的多いと考えられる. このことから, 本稿で は Twitterを用いて，駄酒落を含む対話を収集する。一般的に, Twitter 上に存在する駄酒落を含む対話 の構成は以下の 3 種類が挙げられる.

(1) 最初に駄酒落を含むツイートが出現する対話

(2) 中間に駄酒落を含むツイートが出現する対話

(3) 最後に駄酒落を含むツイートが出現する対話

駄酒落を含む対話の面白さは駄酒落を含むツイー トの前後のツイートによって変化すると考えられる。 また，駄酒落を含むツイートから前後 5 件以上のツ イートは駄酒落とは関連性のない話題が進行すると 考えられる.これらのことから, 駄酒落を含む対話 の範囲は駄酒落を含むツイートを基準とした前後そ れぞれ 0 から 5 つのツイートとする.

本稿において, 駄酒落を含むツイートの前後のツ イートの数が 0 となるものは駄酒落を含むツイート 単体とする.

## 2.1 収集方法

駄酒落を含む対話を収集するために，10,000 件の 駄酒落を用いて, Twitter 上で完全一致検索を行い,検索結果をクローリングする.

駄酒落を含む対話の範囲の基準となるツイートは 完全一致検索に用いた駄酒落を含むツイートとする.完全一致検索に用いる駄酒落は駄酒落データベー スに収録されている番号 $1 \sim 10,000$ の駄酒落を使用 する. 駄酒落データベースは 67,000 件の駄酒落が収録された大規模なデータベースであり, Web サイト 上吕で一般公開されている. 収録された駄酒落には面

白さの度合いを 5 段階で示す面白さのスコアが付与 されている．駄酒落データベースにおける面白さの スコアの評価はクラウドソーシングによって雇用し た3名の評価者によって行われている.

クローリングには Twitter から提供されている学術研究向け API である Twitter API for Academic Researchiiを使用する.

## 2.2 収集結果

表 1 に収集結果の件数及び割合を示す.ここで，本稿における対話は 2 者による言葉の掛け合い, 会話は 3 者以上による言葉の掛け合いとする。表 1 に 示すように, 駄酒落を含む対話は26,739件となった。 また，駄酒落を含むツイート単体の件数は 341,902 件となった。このことから, Twitter 上で行われる駄酒落を含む対話は駄酒落を含むツイート単体よりも 比較的少ないことが確認された。

また, 収集されたものには駄酒落を含む会話が 81,454 件(18.0\%), 1 者による連続発話が 1,758 件 (0.4\%), が含まれている.

完全一致検索に用いた駄酒落 10,000 件のうち, 収集された駄酒落は 1,147 件(11.5\%)となった。

## 3 駄酒落を含む対話の面白さの評価

これまでの研究において，駄酒落を含む対話の面白さの指標は存在しない。このことから，駄酒落を 含む対話に対して, クラウドソーシングで雇用した 16 名の評価者に面白さを評価していただいた。

## 3.1 評価方法

評価対象は駄酒落を含む対話 26,739 件から無作為 に抽出した 12,000 件とする.

駄酒落を含む対話の面白さの評価には 200 件あた り 1 時間前後が必要である. そのため, 12,000 件の 作業には膨大な時間的コストがかかる. それに加え て, 駄酒落単体の面白さの評価[6]において, 膨大な 量の評価を行うと駄酒落に対する飽きが生じ，面白 さが低く評価されることも確認されている。このこ とから，12,000 件の駄酒落を含む対話を 1,000 件単位で分割した. その後, 3 名による評価が付与され るように評価者を割り当てた。

図 1, 表 2 に駄酒落を含む対話の面白さの評価の

図 1 駄酒落を含む対話の面白さの評価の例

表 2 面白さのスコア

 \\

例と面白さのスコアを示す. 図 1 における太字は収集時の完全一致検索に用いた駄酒落の種表現と変形表現を示す. また, 対話番号は $1 \sim 12,000$ 件の駄酒落 を含む対話の番号を示す. U1，U2 はそれぞれ対話中の話者を示す記号である．対話の面白さの評価は 評価者によって表 2 に示す面白さのスコアが付与さ れる. 面白さのスコアは面白さの度合いを示す $1 \sim 5$ の整数値である。

## 3.2 評価結果

図 2 に評価者全員のスコアの分布を示す. 図 2 に 示すように 1 点から 3 点が全体の $91.3 \%$ を占めてい る. 一方, 4 点は $7.2 \%, 5$ 点は $1.5 \%$ と極端に少ない 結果となった. そのため, 評価者全員のスコアの平均は 1.89 ポイントとなった.

1 点から 3 点の割合が $91.3 \%$ と比較的多い要因と して, Twitter 上の対話には第三者から面白さを評価 される前提がないことが挙げられる. Twitter におけ る対話はユーザ同士のコミュニケーションとして行 われる。そのため, 一般的なユーザは第三者から面白いと感じられるような対話をするという意図がな い.このことから, 駄酒落を含む対話に対して第三者が対話の面白さを評価した場合, 面白くないまた は普通と感じるものが比較的多いと考えられる。表 3 平均スコアと表層情報の相関

## 図 2 評価者全員のスコアの分布

## 4 可読性の面白さへの影響

駄酒落を含む対話の面白さを変化させる要因とし て，対話内容の可読性が挙げられる．駄酒落を含む 対話の可読性を表す表層情報として(A)対話の長さ， (B)発話の平均文字数, (C)駄酒落の出現位置の 3 種類が考えられる．この点を踏まえ，本稿では駄酒落 を含む対話の面白さの指標と(A), (B), (C)の表層情報との相関係数を算出する. これにより，対話の可読性が面白さに与える影響を分析する。

## 4.1 可読性と面白さの相関分析

駄酒落を含む対話の面白さの指標として，3 名の 評価者のスコアの平均を用いる. 本稿において, 3 名 の評価者のスコアの平均を平均スコアと呼ぶ.

2 章で述べたように，本稿における対話の範囲は 駄酒落を含むツイートを基準とした前後それぞれ 0 から 5 つのツイートとした. このことから, 駄酒落 を含む対話の長さは 2 から 11 の整数値である.

駄酒落の出現位置は 1 から 3 の整数値で表す. そ のため, 対話の 1 ツイート目に駅酒落が出現したも のは 1 , 対話の最後のツイートに駄酒落が出現した ものは 3，それら以外は 2 となる。

12,000 件の駄酒落を含む対話 1 件ごとの平均スコ アと 3 種類の表層情報の相関をピアソンの相関係数 を用いて算出する。

図 3 評価者全員のスコアが高い対話の例

U1: そうか、北海道はでっかいどう！でした...北海道といえども簡単には手に入らないんですねす 物産展やらないかな一!

図 4 評価者全員のスコアが低い対話の例

表 3 に平均スコアと表層情報の相関係数を示す.表 3 に示すように, 平均スコアと発話の平均文字数,駄酒落の出現位置の相関係数は-0.31, -0.23 となり,弱い負の相関があることが確認された. また, 平均 スコアと対話の長さの相関係数は-0.18 となった.こ のことから, 対話の長さが平均スコアに及ぼす影響 は他 2 つの表層情報と比べて小さいと考えられる。

## 4.2 考察

図 3 に評価者全員のスコアが高い対話の例を示す.図 3 における U1，U2 はそれぞれ対話中の話者を示寸記号である． 3 名の面白さの評価は $5 ， 5 ， 4$ とな っている，そのため，平均スコアは 4.67 となる.

図 3 の例では U1 の「明日は筑波山に行こう」と いう発話に対して，U2 が「筑波山にかみつくばあさ

## ん」という駄酒落を返している.

図 3 のような対話は文章量が少なく，内容を理解 することが容易である。また，この対話は駄酒落に 関する話題によって進行している。 そのため, 第三者から駄酒落をユーモアとして認識することも容易 であると考えられる。

図 4 に評価者全員のスコアが低い対話の例を示す。図 4 においても U1，U2 はそれぞれ対話中の話者を 示寸記号である． 3 名の面白さの評価は 2，1，2 と なっている。 そのため, 平均スコアは 1.67 となる.

図 4 の例では北海道の洋菓子屋に関する話題から U1 が「北海道はでっかいどう」という駄酒落を含む 発話を行うことで，対話が終了している。

図 4 のような対話は発話の平均文字数が 62 文字 であるため, 図 3 のような対話と比べて文章量が多 い. さらに，対話の最後に駄酒落を含む発話が出現 しており, 対話者のリアクションがない, そのため,第三者から駄酒落をユーモアとして認識することが 困難であると考えられる。

これらのことから, 可読性が高い対話は駄酒落を ユーモアとして認識することが容易であり，面白さ が高い傾向があると考えられる.

## 5 おわりに

本稿では，対話文脈を考慮した駄酒落の面白さを 評価する標準データベースを構築するために，はじ めに, Twitter 上に存在する 26,739 件の駄酒落を含む 対話を収集し，12,000 件の対話に対して面白さの評価を行った。評価の結果として, 評価者全員のスコ アの 91.3\%は 1 点から 3 点であることが確認された。

次に，対話の面白さがどのような要因によって変化するのかについて，対話の可読性に着目した分析 を行った。ここで， 12,000 件の駄酒落を含む対話 1 件ごとの面白さのスコアの平均と対話の表層情報の 相関をピアソンの相関係数を用いて算出した．その 結果, 対話の面白さと発話の平均文字数及び駄酒落 の出現位置には弱い負の相関があることが示された。今後の課題として，まず駄酒落データベース中の 10,001 番以降の駄酒落を用いた駄酒落を含む対話の 追加収集を行うことが挙げられる。次に，第三者か ら面白いと感じられる対話をより多く収集するため に，人手で駄酒落を含む対話を作成することが挙げ られる。最後に，収集及び作成した対話を用いて対話文脈を含む駄酒落の面白さを評価する標準データ ベースを構築する予定である.

## 謝辞

本研究は JSPS 科研費 21 K12007 の助成を受けた

ものである.

## 参考文献

[1] 厚生労働省, “新型コロナウイルス感染症に係るメン タルヘルスに関する調查結果の概要について” https://www.mhlw.go.jp/stf/newpage_15766.html, ( 参照 2020-08-01).

[2] Rafal Rzepka, Shinsuke Higuchi, Michal Ptaszynski, Pawel Dybala and Kenji Araki: When Your Users Are Not Serious,人工知能学会論文誌, Vol.25, No. 1, pp.114-121, 2010.

[3] Arnaud Jordan and Kenji Araki, Real-time LanguageIndependent Algorithm for Dialogue Agents, 知能 $と$ 情報 (日本知能情報ファジィ学会誌)， Vol.28, No.1, pp.535-555, 2016.

[4] 荒木健治, 内田ゆず, 佐山公一, 谷津元樹, 駄酒落データベ 一スの構築及び分析, 人工知能学会第 2 種研究会, ことば工学研究会資料, SIG-LSE-B702-3, pp.13-24, 2017.

[5] 荒木健治, 佐山公一, 内田ゆず, 谷津元樹, 駄酒落データベ 一スの拡張及び分析, 人工知能学会第 2 種研究会, ことば工学研究会資料, SIG-LSE-B803-1, pp.1-15, 2018.

[6] 荒木健治, 内田ゆず, 佐山公一, 谷津元樹, 駄酒落データベ 一スを用いた面白さの評価及び分析, 人工知能学会第 2 種研究会 ことば工学研究会資料, SIG-LSE-B902-4, pp.63-76, 2019.

[7] Fujimura,Itsuko, Shoju Chiba and Mieko Ohso, Lexical and Grammatical Features of Spoken and written Japanese in Contrast: Exploring a lexical profiling approach to comparing spoken and Written corpora, Proceedings of the VIIth GSCP International Conference. Speech and Corpora, pp.393-398, 2012.

[8] Hanae Koiso, Haruka Amatani, Yasuharu Den, Yuriko Iseki, Yuichi Ishimoto, Wakako Kashino, Yoshiko Kawabata, Ken'ya Nishikawa, Yayoi Tanaka, Yuka Watanabe and Yasuyuki Usuda, Design and Evaluation of the Corpus of Everyday Japanese Conversation, Proceedings of LREC2022, pp.5587-5594, 2022.

## A 面白さの評価の詳細

## A. 1 評価者の属性及び作業件数

本稿では, 評価にかかる時間的コストの高さと評価者の駄酒落を含む対話に対する飽きを考慮し, ク ラウドソーシングを用いて 16 名の評価者を雇用し た.また, 評価者 16 名には 1 件の対話に対して， 3 名の評価が付与されるように $1,000 \sim 3,000$ 件の作業 を割り当てた.ここで, 1,000 件単位の対話に対する 評価者の割り当ては雇用順に沿って行った.

表 4 に評価者の属性及び評価を実施した作業番号を示す. クラウドソーシングの Web サイト上には 業務の依頼者から作業者に対して返信速度・納品実績などを 5 段階で評価した数値が与えられている.今回の評価者は全員評価値が 5.0 であるため, 一定 レベルの能力を満たしているものと考えられる.

## A. 2 駄酒落を含む対話に対する飽き

駄酒落単体の面白さの評価[6]において, 膨大な量 の評価を行うと駄洒落に対する飽きが生じ，面白さ が低く評価されることが確認されている.このこと から, 作業番号 1 から 3,000 の各評価者のスコアと 平均スコアの 500 件ごとの平均值を算出し, 駄酒落 を含む対話に対する飽きを分析する。

図 5 にスコアの平均値の推移を示す. 図 5 に示す ようにいずれの評価者も 500 件ごとにスコアが低下 している. しかし, 500 件時点と 3,000 件時点の平均 スコアの差は-0.2 ポイントとなった.このことから，駄酒落を含む対話に対する飽きの影響は小さいと考 えられる。

## A. 3 評価者間の一致度

面白さの評価における一致度の算出にはコーヘン の $\kappa$ 係数を用いる.ここで, 分析する一致度は駄酒落を含む対話に対して 5 段階の面白さの度合いを付与するという順位尺度に基づいた評価に対する一致度である.

12,000 件の面白さの評価に対する一致度を算出す るために, はじめに 1,000 件ごとの 2 者間の一致度 を算出する. ここで, 1,000 件ごとの評価者の組み合 わせは 3 通りであるため，3つの一致度が算出され る. その後, 36 個の一致度の平均を全体の一致度と して算出する.表 4 評価者の属性及び評価を実施した作業番号

図 5 平均値の推移

12,000 件の面白さの評価に対する一致度は 0.29 と なり，おおむね一致という結果となった. 駄酒落単体の面白さの評価[6]における評価者間の一致度は 0.10 未満となっている. そのため, 駄酒落を含む対話の面白さの評価は駄洒落単体の評価に比べて評価者間で一致する割合が高い結果となった。


# 類似データセット発見課題における詳細なデータセット分類に 基づいた有効性の評価

作本猛 ${ }^{1}$ 早矢仕晃章 ${ }^{2}$ 坂地泰紀 ${ }^{2}$ 野中尋史 3,4
${ }^{1}$ 長岡技術科学大学 2 東京大学
3 愛知工業大学 ${ }^{4}$ 株式会社マヨラボ
s183353@stn.nagaokaut.ac.jp \{hayashi,sakaji\}@sys.t.u-tokyo.ac.jp
hnonaka@aitech.ac.jp

## 概要

近年のコンピュータ技術の発展に伴い，互いに類似するデータセットを発見するための方法が盛ん に研究されているが，従来研究ではデータセットを 探索する個々のユーザのニーズを反映するような 評価項目が用いられてこなかった. そこで，本研究 では，類似データセット発見手法の評価において， データプラットフォームで実際に用いられている分類基準に基づいた 4 種類の詳細な項目を評価に適用 した. その結果，変数ラベル間の Dice 係数を用い た手法が，課題やメイントピックが完全に一致する データセットの探索に有用であることが示された.

## 1 背景

コンピュータ技術の発展とデータプラットフォー ムの台頭により，データの市場取引や Web 上での データ公開・共有が盛んになっている $[1,2]$. また,機械学習・人工知能分野の技術発展によってこうし た需要はより高まり, 企業や行政組織においても データドリブンな分析や意思決定を重視する動き が増加している。市場に流通するデータセットが多様かつ膨大になる中で，データセット発見，特に， データセット間の類似性に基づく検索に注目が集 まっている $[3,4,5]$. これは, ユーザの全てが求め るデータセットに関する知識を持っているという前提は現実的ではなく [6]，また，データセットのメタ データには品質のばらつきの問題があること [7] か ら，データセット検索において従来の Web 文書を対象とした検索技術が必ずしも適切とは言えないこと が要因として挙げられる。 また, Degbelo ら [8]が指摘するように，「自身の課題に関係しているが，想定・知識の外にある，まだ見ぬデータセットが存在
するのか否かを知りたい」という重要なニーズの存在も類似性に基づくデータセット検索への注目を裏付けている.

こうした背景から，一部のプラットフォームで は，データセットの発見可能性を向上させるために 独自のタグオントロジーを定義している. 例えば， Kaggle では「新型コロナウィルス感染症」や「暗号通貨」といった，データセットのメイントピック的 な要素を意味する subject や，テキスト，画像といっ たデータ型を意味する data type，データセットに関連する課題や収集目的を意味する task といったタグ が存在する．データセットの分類として広く使用さ れている上記のような類似性の観点を評価に用い ることで，類似データセットを探索する個々のユー ザのニーズに適した発見手法を提示できると考え られる。しかしながら，従来の類似データセット発見の研究において，上記のような詳細なデータセッ 卜分類に基づいた評価には焦点が向けられてこな かった.

我々は，各手法によって得られたデータセットペ ア間に見られる類似性の種類や，具体的・抽象的と いった類似性の段階を個別に評価するために，デー タプラットフォームで実際に用いられているデータ セット分類を評価に適用した．その結果として，変数ラベル間の Dice 係数に基づく類似度が中〜高の データセットペア間では，データセットに関連する 学術的分野や課題については類似するが，それぞれ の具体的なメイントピックは異なるといった，比較的抽象的な類似が多く見られることを確認した. ま た，類似度の数值に比例して，メイントピックにつ いても類似したデータセットペアが増加するという 傾向が見られたことから，変数ラベル間の Dice 係数に基づく類似度はデータセット間の内容的な類似
性を適切に反映していると考えられる。

本研究の主な貢献として，どのような種類の類似 がデータセットペア間で見られやすいかを類似度 の階級ごとに整理することによって，特定のデータ セット探索のニーズに沿った手法選択に有用な知見 を提供した点が挙げられる.

## 2 関連研究

類似データセット発見における評価は，データ セット構造の類似性に焦点を当てたものと，データ セットに関連するトピックの類似性に焦点を当てた ものの 2 種類が存在する. データセット本体の構造 を用いた評価の例として，ランダム分割されたデー タセットにおける再現可能性を評価する方法 $[9,10]$ や，下流タスクの評価指標に基づいて評価を行う方法 $[11,12]$ などが挙げられる.これらの取り組みは，同じデータ形式や課題に関連するデータセットの 集合，あるいは同じデータスキーマを持つテーブル の集合から，構造的に類似する部分集合を発見する 性能の評価に焦点を当てており，より雑多なデータ セットの集合を対象とする我々の取り組みとは相互補完的な立ち位置にある。

データセットに関連するトピックの類似性に基づ いて評価を行った取り組みとしては, Sakaji ら [13] の取り組みが挙げられる. Sakaji ら [13] は内容的側面と地理的側面の 2 種類の項目に基づいて，各 データセットペアがどの程度類似しているかを定量的に評価した. しかし, データセットの内容的な 類似性を評価するための尺度は一つではない。例 えば, Kaggle データプラットフォームでは, subject や task, data typeのような，共通項目を持つデータ セットへのアクセシビリティを高めるための数種類 の分類が存在している. 加えて，いくつかの分類に は階層構造が定義されている. 得られたデータセッ トペアがどの分類で類似しているのか, どの段階で 類似しているのかについて定量評価が可能となれ ば，データセットを探索するユーザのニーズに合わ せた手法の選択がより容易になると考えられる. そ こで，我々の研究では， Kaggle や Papers with code と いったプラットフォームで用いられているデータ セット分類を適用することで，各データセットペア がどのような項目で類似しているか，具体的に類似 しているか抽象的に類似しているかをそれぞれ定量的に評価している.

## 3 実験

図 1 に示すとおり, 以下の手順に沿って実験を行 う.（1）データセット集合から全ての可能なぺアを 作成する. (2) 全てのデータセットペアについて,後述する手法 (3.2 節) に従ってデータセット間の類似度を計算する。（3）類似度を 10 段階の階級（0〜 $0.1 ， \ldots, 0.9 \sim 1.0$ ）に区分し，各階級に対して対応 する類似度を持つデータセットペアを割り当てる。

（4）各階級に含まれるデータセットペアから最大で 10 件のペアをランダムにサンプリングし, 各評価項目（3.3 節）で共通するぺアの割合（適合率）を計算 する.

(1)

(2)

(3)

(4)

Dice係数 Cos類似度

図 1 評価実験の概要

## 3.1 データセット

本研究ではデータプラットフォーム Kaggle ${ }^{1)}$ から 2020 年 1 月 20 日時点で収集されたデータセットの うち，少なくとも 1 件のタグを含み，かつ少なくと も 100 単語以上で構成される説明文を含んだデータ セット 4041 件を対象に実験を行う．各データセッ 卜に含まれるメタデータは以下の表 1 に示すとおり である.

1) https://www.kaggle.com/
表 1 データセットに含まれるメタデータの概要説明文データセットの内容を詳述した文章変数ラベル データ属性の論理集合

図 2 メタデータと実データとの対応関係

## 3.2 類似データセットペアの発見

今回の実験では, Sakaji ら [13] が提案した手法の うち，変数ラベル間の Dice 係数（以後，変数），説明文の BERT 埋め込みベクトル間のコサイン類似度 （以後，BERT）の 2 種類の類似データセットペアの 発見手法を用いる.

## 3.2.1 変数

変数を用いた類似度については, 先行研究の方法 [13] に従い，Dice 係数を用いて以下のように計算 する。

$
\operatorname{Dice}\left(d_{i}, d_{j}\right)=\frac{2\left|\operatorname{vars}\left(d_{i}\right) \cap \operatorname{vars}\left(d_{j}\right)\right|}{\left|\operatorname{vars}\left(d_{i}\right)\right|+\left|\operatorname{vars}\left(d_{j}\right)\right|}
$

ここで， $d_{i}, d_{j}$ はそれぞれ異なるデータセットを指 し， $\operatorname{vars}(\mathrm{d})$ はデータセット $d$ が保有する変数の集合 を意味する。

## 3.2.2 BERT

データセットの内容が類似している場合，それぞ れの説明文の埋め込みべクトル間のコサイン類似度 は高くなると考えられる。 そこで，先行研究 [13] で 最も良い結果を示した，説明文の名詞を対象とした BERT 埋め込みに基づく手法を使用する。

$
T_{W}=\operatorname{BERT}(W)
$

ここで， $W=\left.\{w_{1}, w_{2}, \ldots, w_{N}\right.\}$ は長さ $\mathrm{N}$ の系列であ る. BERT $(s e q)$ は系列 $s e q$ を入力として受け取り，最終隠れ層のベクトル $T_{W}$ を返す事前学習済みの BERT モデルである. 最後に，入力系列長に関わら ず比較可能なべクトル表現 $V_{B E R T}(W)$ を得るため に，以下のように平均化を行う。

$
V_{B E R T}(W)=\frac{1}{\left|T_{W}\right|} \sum_{t \in T_{W}} t
$

BERT の事前学習済みモデルには，英語版 Wikipedia で学習された bert-base-uncased[14]2)を使用する。

## 3.3 データセット分類に基づく評価項目

Kaggle では，データセットのメイントピックを意味する subject，収集目的や関連する課題を意味す る task，データ形式を意味する data type といった分類が存在する。また， Papers with code には Modality や Task といった分類が存在しており， Modality は Kaggle における data type と同様の分類である。そこ で，我々はこれらの分類を基に，以下の表に示す 4 種類の分類を定義し，各分類に基づいてより詳細な 有効性の検証を行う。

表 2 の 1，2 行目に示す主題（大分類），主題（細分類）は，いずれも Kaggle における subject と対応 している. 主題（細分類）はデータセットが主に対象とする事物（メイントピック）そのものを指して おり，主題（大分類）はそれらが属する学術的，あ るいは技術的な分野・領域を指している。表の 3 行目に示す目的・課題は，Kaggle の task や Papers with codeの Task と対応する項目であり，主にそのデー タセットを用いて解決したい課題を意味している.表の最下部に示すデータ形式は，Kaggleの data type や Papers with code の Modality と対応しており，テー ブルや時系列といった項目が存在する。これらの項目に基づいたデータセット間類似性評価の一例と して，特定の企業における株価の推移を日毎に記録 したデータセットと，暗号通貨の価格変動を日毎に 記録したデータセットの 2 種類を挙げる. 両データ セットは共に経済の分野に属しており，目的・課題 やデータセットの形式も共通したものであると考え られるが，それぞれのメイントピックは株価と暗号通貨のように異なっている。これらのことから，両 データセットは主題 (大分類), 目的・課題，データ 形式において類似しているが，主題（細分類）につ いては異なるとみなされる。

## 4 実験結果

図 3,4 に，それぞれの手法 (変数，BERT) によって 発見された類似データセットペアに対する，各類似度階級における各評価項目の適合率を示す。まず， どちらの結果においても，データ形式に関する適合率は全ての類似度の階級において高い値を示して いることがわかるが，これは今回の実験で使用した データセットの多くがテーブルデータセットであ ることに起因すると考えられる. 図 3 より, 変数に 基づく類似データセットペアにおいて，類似度の数値に比例して, 主題 (大分類), 主題 (細分類), 目的・課題の 3 項目の適合率が高くなる傾向が見られ た. 特に，類似度が $0.4 \sim 0.6$ の階級では，主題（大分類), 目的・課題に対して, 主題（細分類）の適合率が 2 分の 1 程度と低い值を示しているが，0.6 以上の階級ではこれらの差が縮小していき， 0.8 以上 の階級では全ての項目において適合率が最大の値 を示している. これは，変数ラベルに基づくデータ セット間類似度の数値は，データセット間の類似性 の粒度の細かさ，言い換えると，データセット間で 共通する項目の多さを適切に反映していると言え る. 以下の表 3 に, 各階級において得られたデータ セットペアの具体例を示す.

表 3 変数ラベル間の類似度に基づいて得られたデータ セットペアの例. なお，主題（大），主題（細）はそれぞ れ主題（大分類）と主題（細分類）を意味している。

対して，図 4 に示すように，BERT に基づく類似 データセットペアは，データ形式以外の 3 項目にお ける適合率が，全ての類似度階級において低い值を 示した. 類似度の高い領域 (0.7 ) では, 主題（細分類）や目的・課題に沿った類似データセットのペア が増加するという傾向が見られたが，いずれも適合率が 0.1 0.2 程度と低い值を示している.これは，説明文を持つ Kaggle データセットにおいて，テン プレート文章をそのまま説明文として流用したもの が多く存在すること，また，教師なしのテキスト間意味的類似度 (Semantic Textual Similarity) の測定に

図 3 各評価項目におけるデータセットペア間の適合率 （変数）

おいて，BERT は必ずしも有効ではないこと [15] な どが要因として考えられる。

図4 各評価項目におけるデータセットペア間の適合率 (BERT)

## 5 結論

本研究では，類似データセット発見手法の有効性評価において，データプラットフォームで用いられ ている詳細なデータセット分類に基づいた 4 種類の 評価項目を適用した．結果として，変数ラベル間の Dice 係数に基づく類似度はその数值に比例してデー タセットペア間で類似する項目の種類が増加する という傾向が見られた. 特に，類似度が非常に高い （0.8～) 領域では，メイントピックなど具体的な項目についての類似が増加することから，この類似度 はデータセット間の類似性を適切に反映していると 考えられる。 そのため, この手法は関連課題や具体的なメイントピックが完全に一致するデータセット を探索するといった状況に特に適していると考えら れる。

今後の方針としては，他のデータプラットフォー ムでの分析や，異なる類似データセット発見手法の 評価への適用が考えられる。

## 参考文献

[1]Magdalena Balazinska, Bill Howe, and Dan Suciu. Data Markets in the Cloud: An Opportunity for the Database Community. PVLDB, Vol. 4, pp. 1482-1485, August 2011.

[2]Florian Stahl, Fabian Schomm, and Gottfried Vossen. Data Marketplaces: An Emerging Species. Databases and Information Systems VIII, pp. 145-158, 2014.

[3]Kathleen Gregory, Paul Groth, Helena Cousijn, Andrea Scharnhorst, and Sally Wyatt. Searching Data: A Review of Observational Data Retrieval Practices in Selected Disciplines. Journal of the Association for Information Science and Technology, Vol. 70, No. 5, pp. 419-432, 2019.

[4]Kathleen Gregory, Andrea Scharnhorst, and Sally Wyatt. Lost or Found? Discovering Data Needed for Research. Harvard Data Science Review, Vol. 2, No. 2, April 2020.

[5]Laura M. Koesten, Emilia Kacprzak, Jenifer F. A. Tennison, and Elena Simperl. The Trials and Tribulations of Working with Structured Data: -a Study on Information Seeking Behaviour. In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, pp. 1277-1289, Denver Colorado USA, May 2017. ACM.

[6]Martin Nečaský, Petr Škoda, David Bernhauer, Jakub Klímek, and Tomáš Skopal. Modular framework for similarity-based dataset discovery using external knowledge. Data Technologies and Applications, Vol. 56, No. 4, pp. 506535, January 2022.

[7]Ulrich Atz. The tau of data: A new metric to assess the timeliness of data in catalogues. In CeDEM14 Conference for E-Democracy and Open Government, Vol. 22, pp. 147162, 2014.

[8]Auriol Degbelo. Open Data User Needs: A Preliminary Synthesis. In Companion Proceedings of the Web Conference 2020, WWW '20, pp. 834-839, New York, NY, USA, April 2020. Association for Computing Machinery.

[9]Srinivasan Parthasarathy and Mitsunori Ogihara. Clustering Distributed Homogeneous Datasets. In Principles of Data Mining and Knowledge Discovery, Vol. 1910, pp. 566-574, Berlin, Heidelberg, 2000. Springer Berlin Heidelberg.

[10]Srinivasan Parthasarathy and Mitsunori Ogihara. Exploiting Dataset Similarity for Distributed Mining. In José Rolim, editor, Parallel and Distributed Processing, Lecture Notes in Computer Science, pp. 399-406, Berlin, Heidelberg, 2000. Springer.

[11]Ingo Siegert, Ronald Böck, and Andreas Wendemuth. Using a PCA-based dataset similarity measure to improve crosscorpus emotion recognition. Computer Speech \& Language, Vol. 51, pp. 1-23, September 2018.

[12]Tatiana Tommasi, Novi Patricia, Barbara Caputo, and Tinne Tuytelaars. A Deeper Look at Dataset Bias. In Domain Adaptation in Computer Vision Applications, Advances in Computer Vision and Pattern Recognition, pp. 37-55. Springer International Publishing, Cham, 2017.

[13]Hiroki Sakaji, Teruaki Hayashi, Kiyoshi Izumi, and Yukio Ohsawa. Verification of Data Similarity using Metadata on a Data Exchange Platform. In 2020 IEEE International Conference on Big Data (Big Data), pp. 4467-4474, December 2020 .
[14]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[15]Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, and Kentaro Inui. Word Rotator's Distance. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2944-2960. Association for Computational Linguistics, 2020.


# 事故事例構造化コーパスの構築

東明幸太 ${ }^{1}$ 福岡康大 ${ }^{2}$ 森辰則 ${ }^{1}$
伊藤拓海 ${ }^{3}$
1 横浜国立大学大学院 ${ }^{2}$ 横浜国立大学 3 株式会社 IHI
tomei-kota-pc@ynu.jp fukuoka-kodai-hr@ynu.jp tmori@ynu.ac.jp
ito9762@ihi-g.com

## 概要

製造業の企業では現場からの問い合わせに対する 回答を生成する際に過去の事故事例の活用が求めら れている。しかし、企業に蓄積されているものは構造化されていないプレインテキストであるため活用 が難しい。本稿では、現場利用者の情報要求に応じ て検索・要約をし、事故の流れを可視化して提示す ることで原因等をわかりやすく示すシステムを作成 するために過去の事故事例を構造化することを目的 とする。そのために、事故の流れを示すことができ る注釈付け手法を提案し、実際にコーパスの作成を 行った。また、事故事例に付与された注釈に基づい て、事故事例中の事象の系列を可視化するためのシ ステムの試作を行った。

## 1 はじめに

製造現場や建築現場などにおいて、現場で技術的 な問題や事故・装置の不具合が発生した場合、現場作業員から担当部署に対してそれら技術的要素や 事故・装置の不具合への対処方法について問い合わ せが行われ、担当部署が過去の類似事例を参考にし て回答を返し、その回答内容に従って問題解決を図 る、というプロセスが取られることが多い。しかし そういった問い合わせへの返答に際して、現状では 部署の担当者が問い合わせ文の読解・過去の事故不具合事例データベースからの前例の検索・回答文の 作成といった作業を人手で行っており、非効率的だ という現状がある。そのため、事故・不具合問い合 わせ文書の解析・データベースからの類似事例の検索・回答文の生成といった作業を自動で行うことの できるシステムに対して需要が大きい。また、現場 では発生した事故や不具合について記録を保存して いる場合も多く、そうして蓄積された過去の事故・不具合事例集を効果的に活用可能なシステムに対し
ても需要が大きい。本研究では事故・不具合問い合 わせ文書の解析 - 類似事例の検索 - 回答文の生成と いった作業を自動で行うシステムの実現を目標とし ている。特に、利用者の情報要求に応じて検索・要約をし、事故の流れを可視化して提示することで原因等をわかりやすく示すことを目指している。

しかし、企業に蓄積されているものは構造化され ていないプレインテキストであるため、そのままで は上記システムの実現は難しい。上記の目標の実現 には、原因を含む事故につながる事象の流れを表す ことができるテキストの構造化と構造化テキストに 基づく、事故内容の可視化が必要である。そのため に、本稿では、どのように構造化を行えば良いかに ついて、事故事例のテキストを分析し、構造化のた めの注釈付けの枠組みを検討した。同枠組みを用い て、後述の『失敗知識データベース』の一部の事例 に対し注釈付けを行い構造化されたテキストコー パスを整備した。さらに、その構造化されたテキス 卜を入力として、可視化を行うシステムを試作する ことにより、提案する構造化手法の妥当性を検証し た。テキスト構造化の自動化は今後の課題とする。

## 2 関連研究

これまで事象の流れを抽出する研究の一つとし て、原因と結果の組を抽出する因果関係抽出が盛ん に行われてきた。坂地ら [1] や佐藤ら [2] の研究で は、決算短信、有価証券報告書などの金融情報テキ ストに関して因果関係抽出を行っている。手がかり 表現を用いることで原因・結果を含む文を抽出し、原因・結果を含んでいると判定された文から原因と 結果の対を抽出している。これらは金融分野のテキ ストに対して有効であることが確認されているが、我々が対象としている事故事例に対しての有効性は 不明である。また、原因・結果のみの抽出であり、情報から得られる事象の流れを網羅していない。
既存の、事故・不具合事例文書の活用を目的とし た先行研究として、大森らの研究 [3] がある。大森 らは、事例文の中心となる部品や製品の情報提示を 行うという観点でこの課題を捉え、事例文からの事故・不具合に関与する製品の記述の抽出、および因果関係抽出を通した事故・不具合の原因に関する記述の抽出というアプローチを通した事故・不具合事例集の活用を検討している。この手法では事例文か ら中核となる製品やその製品と因果関係を持つ出来事を表す「単語そのもの」を抽出することを目指し ており、事故全体の流れに注目して文章を構造化し ているわけではないため、事故全体の流れを把握す ることはできていない。

事故全体の構造化を目指している研究として、畑村らが作成した『失敗知識データベース』[4][5]が ある。失敗知識データベースとは、失敗知識のデー 夕化・容易な伝達を目的として、失敗事例を分析し て知識として活用できるデータベースを目指し開発されたものである。失敗知識データベースの事例 は原因、対策などの項目に分けて記述されており、知識として活用できる形になっている。そのため構造化に大いに参考になる。その一方で、このデータ ベースと同じ知識を自動的に整備するためには、自動化を意識した分析や手法の提案が必要である。さ らに、失敗知識データベースでは事故の詳しい流れ が構造化されている項目は存在しない。

我々の研究では、事故・不具合問い合わせ文書の 解析 - 類似事例の検索 - 回答文の生成といった作業 を自動で行うことのできるシステムの実現を目標と している。その目標の達成に向けて、本論文では、事故事例の流れを構造化し、今後の事故事例の活用 に貢献するための正解となるコーパスを作成する。

## 3 コーパスの設計

## 3.1 事故事例の構造分析と構造化の方針

まず一般的に、事故などの事象の流れは、ある 「状態」において、ある「動作」が行われた結果、新 しい「状態」が生じるということの繰り返しで表現 できる。「状態」に注目すると「動作」は「状態変化」 を起こすものとして位置付けられる。それらの前提 から、本稿では事故などの事象の流れの記述は、あ る時点での対象物群の有り様を記述した「状態」と その状態を変化させる動作を記述した「状態変化」 の二種類の要素によって記述されているとする。状態 ある時点での対象物群の有り様

例）「低圧タービンの外側から 3 段目の動翼 1 本が、車軸への取付部が折れて脱落していた」

状態変化 状態を変化させる事象

例）「タービン本体の設計時に想定されなかっ た異常振動が起きた」

これらは基本的に時系列順で記述されているが、そ うではないものも多く、事故の流れを簡単に把握す ることは困難である。そのため、我々のコーパスで は、時系列に沿った順序関係を「状態」や「状態変化」の間の関係として付与することで、事故の流れ を表現できるようにしている。また、事故事例文書 は実際の事故の流れを表す記述である「客観的な記述」と事例文書の書き手が原因などを推測、判断し て記述した「主観的な記述」で構成されている。そ こで、我々のコーパスでは主観的な記述を「思考・判断」として注釈付けをし、これらを客観的な記述 と区別する。そうすることで、書かれている記述が 実際に起こったことであるのか、書き手の思考・判断の記述であるのかを分けて理解することができ る。区別を明示するために、主観的な記述である ということがわかる「思考・判断」を基本要素に追加した。書き手が行う「思考・判断」の対象として 「状態」(例えば、「〜となっていると考えらえる」) や、「状態変化」(例えば、「〜が起こったと推測され る」)が現れる場合がある。

思考・判断書き手の事故に対する主観的な思考や 判断

例）「バランス調整不良に起因した振れ回りに よる共振が原因であった」

「思考・判断」とみなす基準は、明示的に現れる判断表現に基づいて判断する。明示的に現れる判断表現 としては、「原因であった」、「考えられる」、「原因 は〜のためであった」などがある。

上の例では、「振れ回りによる共振が原因であっ た」の「原因であった」という記述が「原因の認定」 という判断表現であるため、「思考・判断」である とみなす。もし、「振れ回りによる共振が起こった」 という記述であれば客観的な記述とする。

## 3.2 注釈付けのための規則の検討

以上で設計したコーパスを作成するために、テキ ストに注釈をつける。そのための注釈付けの規則を 検討した。その結果を以下に示す。

・「状態」「状態変化」「思考・判断」を基本要素とし て注釈付けするため、それぞれに対応するテキ ストを $\langle\mathrm{s}>$ (state), $\langle\mathrm{t}>$ (transition), $\langle\mathrm{j}>$ (judgement) タグで囲む。

- 時系列に沿った順序関係を「状態」や「状態変化」の基本要素間の関係として付与する。文書 から順序関係が明確にわからないものは並列に 扱う。時系列上で隣接していると判断される二 つの基本要素において、時間的に前である基本要素を「始点」、後である基本要素を「終点」と 呼ぶ。基本要素の時間方向を明示するため、時系列でつながる基本要素の「始点」の注釈に $\mathrm{d}$属性 (direction) を付与し、值”1”を与える。対応 する「始点」と「終点」が組であることを明ら かにするために、それぞれの id 属性に同じ值を 与える。id 属性の値は、「始点」と「終点」の組 が文書内で出現する順番により值”1”からはじ まる通し番号とする。

- 同一の事象を表現している「状態」「状態変化」 の記述部を共参照関係とし、その関係にある両注釈に、c_id 属性 (coreference id) を付与し、同 じ属性値を与える (入れ子の場合は一番外側の み)。事故事例文書では、異なる場所で同一の 事象を表現するテキストが出現しうる。事象の 流れを正確に把握するためには、それらが共参照関係にあることを記述する必要がある。

・「状態変化」には人が意志を持って起こしたも のとそうでないものがある。両者を区別する ため、人が意志を持って起こした「状態変化」 を「有意志」そうでないものを「無意志」と し、「有意志」である「状態変化」には i 属性 (intention)を付与し、值”1”を与える。

-「思考・判断」か否かは、明示的に現れる判断表現の有無に基づいて判断する。明示的に現れる 判断表現としては、「原因であった」、「考えられ る」、「原因は〜のためであった」などがある。

・「思考・判断」に内包されている「状態」、状態変化」が確実に起こったものではないと読み取 れる表現のものがあるため、それらを区別す る。「思考・判断」記述部が不確実と読み取れ る記述がされているなら uncer 属性 (uncertainty) を付与し、値”1”を与える。

・タグで囲う範囲は述語までとする。

## 4 コーパス作成

「失敗知識データベース」の「事例概要（事故の内容・原因・対処がまとめて記述してある)」を用いて コーパス作成を行った。機械カテゴリの 210 件、失敗知識百選 (失敗事例の中から国内外の典型的な事例を 100 例程度取り上げ、読みやすく記述）の 106 件を対象とした (両者で 4 件の重複があるため) 合計 312 件の事故の事例概要を対象とし、注釈付けを行 い、コーパスを作成した。

## 4.1 注釈付け

注釈付けは第一著者、第二著者の二名で行った。 ルールに従い人手で各事例の事例概要に注釈をつけ た。その結果をもとに注釈が一致する場所は正解、一致しなかった箇所に関しては、議論を行い、注釈 の付け直しを行った。図 1 の原文章に対する注釈付 けの例として、結果を図 2 に示す。

図 1 原文章（機械カテゴリ：5 番目のデータ）

図 2 提案するタグセットで注釈付けを行った文章（機械 カテゴリ $: 5$ 番目のデータ)

## 4.2 構造化されたテキストからダイヤグラ ムを生成するシステム

我々の研究の目的の一つが、事例文書の要約・可視化である。そこで 4.1 節で注釈付けされたテキス トを適切に可視化できるかどうかを検証するため に、テキストから図による可視化表現（以下、ダイ ヤグラム）を生成するシステムを試作した。注釈の 種類とそれに付与される属性の組に応じて図 3 に示 す通り色付けを行い、区別を容易にした。

事例の流れを把握するため、「思考・判断」に対し ては、内包する「状態」、「状態変化」がある要素の みを図に表示した。「思考・判断」が内包する「状態」、状態変化」のノードをさらに枠で囲み一つの ノードとした。注釈付けの段階では、不確実とされ たか否かは「思考・判断」の属性であったが、図で は「思考・判断」の内包する「状態」「状態変化」に も継承されるものとした。

## 状態

状態 (不確実)

状態変化（有意志）

状態変化（不確実、有意志）

## 状態変化（無意志）

状態変化 (不確実、無意志)

図 3 ノードの色と意味

実際に図 2 の注釈付けを行った事例に対して、テ キストからダイヤグラムを生成するシステムを利用 すると図 4 が出力される。ノードが有向エッジで結合され、時系列となるように配置されている。

図4 図2 の事例からシステムが生成した図

## 5 考察

4 節で「失敗知識データベース」の「事例概要」 316 件に対して、流れを把握できるような構造化の
ルールを作成し注釈付けを行った。注釈付け前後の テキストや生成されたダイヤグラムを第一著者、第二著者の二名が観察し、議論をした。図４のような 可視化の結果により「動翼 1 本が、車軸への取付部 が折れて脱落していた」という状態が「鍵となる状態」であることがわかりやすくなった。それに対す る「試験運転による想定外の異常振動が起き、金属疲労状態になったであろう」という書き手の推論か ら「動翼 1 本が、車軸への取付部が折れて脱落して いた」という原因状態に至る過程の推測もわかっ た。注釈付けを行っていく中で注釈の位置やどの注釈にするかを修正をしながらコーパスを作成した。特にタグセット作成後、どのタグを振るかという検討する際に判断基準を明確にするべきものがあった ため以下に示す。

「状態」「状態変化」の違い「エア吸気口に水滴と なって残り」の部分に「状態」「状態変化」ど ちらのタグを振るかについての検討の余地が あった。検討の結果「残り」は動作そのものな ので「状態変化」であり、「残っている」であれ ば進行を表す相表現が付加されているので「状態」と判断する。具体的には、「〜ている」、「〜 ていた」といった進行を表す相表現があれば、 その文を「状態」と判断する。

動作性名詞の扱い 動作性名詞とは、例えば、「レー ルの熱膨張で...」における、「熱膨張」のように、 サ変名詞や動詞由来の名詞である。動作を名詞化したものであるから、「状態変化」とする。

## 6 まとめ

本稿では、プレインテキストの活用のための事故事例の構造化のために事故事例テキストを分析し、構造化のための注釈付けの枠組みを検討した。構造化ルールを作成し、注釈付けコーパス作成を行っ た。さらに、構造化されたテキストを入力として、可視化を行うシステムを試作することにより、提案 する構造化手法の妥当性を検証した。正解データと して 312 件は多くないと考えられるため、他の事例 に対しても注釈付けを続けていく必要があると考え られる。その後、今回人手で行った構造化を自動化 することで、事故事例を把握する時間が短縮される ことに貢献できることや、事故の真の原因特定や回答文生成にも役立つと考えられる。

## 参考文献

[1] 坂地泰紀, 酒井浩之, 増山繁. 決算短信 pdf からの原因・結果表現の抽出. 電子情報通信学会論文誌 D, Vol. 98, No. 5, pp. 811-822, 2015.

[2] 佐藤史仁, 佐久間洋明, 小寺俊哉, 田中良典, 坂地泰紀, 和泉潔. 有価証券報告書からの因果関係文の抽出. 人工知能学会全国大会論文集 第 32 回 (2018), pp. 2O404-2O404. 一般社団法人 人工知能学会, 2018.

[3] 大森信行, 森辰則. 不具合事例文からの製品・部品を 示す語の抽出一語の実体性による分類一. 電子情報通信学会論文誌 D, Vol. 95, No. 3, pp. 697-706, 2012.

[4] 畑村洋太郎, 中尾政之, 飯野謙次ほか. 失敗知識デー タベース構築の試み. 情報処理, Vol. 44, No. 7, pp. 733-739, 2003.

[5] 失敗知識データベース,（2022-10 閲覧）. http: //www.shippai.org/fkd/index.php.


# 英語初学者エッセイの議論マイニングコーパスの作成と分析

川原田将之† 平尾努§内田涉†永田昌明 §
†株式会社 NTT ドコモ $\S_{\text {NTT }}$ Nミュニケーション科学基礎研究所
\{masayuki.kawarada.vw, uchidaw\}@nttdocomo.com
\{tsutomu.hirao.kp, masaaki.nagata.et\}@hco.ntt.co.jp

## 概要

議論マイニングとは，筆者の主張や根拠を特定 し，それらの論理構造を明らかにするタスクで ある。学生の書いたエッセイを対象とした議論 マイニングのコーパスとしては，Persuasive Essay Corpus (PEC) [1]が存在する。しかし，PEC は，留学生や英語を母国語とした高校生が書いたエッセイを 基に作成されており，英語を外国語として学び始め た学習者 (初学者) が書く英文とは，記述されている 英語の習熟度に差が存在する. 本稿では，初学者が 書いたエッセイに対して，PEC と同様のアノテー ションを行い，新たに議論マイニングコーパスを作成した. 複数名で作成したコーパスに対して一致率 を算出し，PEC との比較分析を行った結果を報告 する。

## 1 はじめに

英語を外国語として学ぶ者にとって，論理構造が 明確な英文が書けることは，重要なスキルの一つで ある．学習者が書いた英文に対して，自動で論理構造の明確さに対する採点や修正箇所のフィードバッ クを行うようなシステムがあれば，英語学習に役立 てることができ，有用である。このようなシステム を実現するためには，学習者が書いた英文を解析 し，論理構造を明らかにする必要がある。

議論マイニングとは，筆者の主張や根拠を特定 し，それらの論理構造を明らかにするタスクであ る. 教育分野における議論マイニングのコーパス としては, Persuasive Essay Corpus (PEC) [1]が存在す る．PEC の英文は，留学生や英語を母国語とした高校生によって書かれたものであり，英語を外国語と して学習する中学生や高校生が書くような英文は含 まれていない. PECにおけるアノテーションのガイ ドラインも，意味上の段落であるパラグラフに分け て書かれているエッセイを前提としている。一方で，初学者が書くエッセイは，パラグラフを 意識して書かれていないといった特徴が存在する。 このような特徵を持つ文書を対象にした議論マイニ ングの研究は少なく [2], 英語の習熟度が高い筆者 が書いたエッセイと比較する研究は，今まで行われ てこなかった.

そこで本稿では，PEC 作成におけるアノテーショ ンガイドラインを用いて，初学者が書いたエッセイ の議論マイニングコーパスを作成し，PEC との比較分析を行った結果を報告する．複数名で作成した 議論マイニングコーパスに対して，アノテーション 一致率を算出したところ，PEC と比較して，一致率 は著しく低下した。一致率を上げるためのアノテー ション方法の改善に向けて詳細な分析を行った. ご く少数のエッセイにおいては，筆者が意識してパラ グラフを設けて作成されており，そのようなエッセ イに限れば，アノテーション一致率は比較的高く,初学者によるエッセイに対するアノテーション方法 の変更の方向性が示唆された。

## 2 関連研究

議論マイニングに関する研究は，ニュース記事を 対象としたもの [3] や生物学の論文を対象としたも の $[4,5]$ など，様々な分野で行われている．教育分野における議論マイニングのコーパスを作成した 研究としては，Stab ら [6] の研究がある. 彼らは, エッセイ投稿用の web サイトから収集した 90 エッ セイに対して，Component と呼ばれる筆者の主張が 含まれる部分の抽出を行った後，Component 同士の 関係を表す Relation の抽出を行っている. これに引 き続き，Stab [1] らは，Stab ら [6] のアノテーション 方法に修正を加えた方法で，PECを作成した．PEC には，80 のテストデータと 322 の学習データが含ま れており，テストデータに対してアノテーション一致率を計算している。

本研究では, Stab [1] らの研究を基に初学者のエッ

セイに対する議論マイニングコーパスを作成する.

## 3 議論マイニングコーパスの作成

先行研究 [1] との比較を行うために，初学者の書 いたエッセイに対して，同じ方法でアノテーション された，議論マイニングコーパスの作成行う.

## 3.1 エッセイの作成

エッセイの作成を行うために，筆者によって意見 が分かれるような 250 のトピックを用意した. 初学者1)に，これらのトピックから. 100 語から 150 語程度のエッセイを作成してもらった。各トピックに 対して，10 エッセイを作成し2)，合計で 2,500 エッ セイを作成した. 指定語数が 100 語から 150 語と短 く，依頼を行う際に，パラグラフに分けて書くよう に指示はしていないため，パラグラフ区切りが含ま れているエッセイは 102 例のみであった.

作成した 2,500 エッセイから，ランダムに 100 エッセイを抽出し, これらのエッセイに対してアノ テーション作業を行った. 抽出した 100 エッセイの 中でパラグラフが存在しているものは 5 例だった.

抽出したエッセイの統計情報と PEC の統計情報 を比較したものを付録 $\mathrm{A}$ の表 3 に示す.

## 3.2 アノテーション方法

Stab ら [1] のアノテーション方法では，3 段階に 分けてアノテーションが行われる。 まず，アノテー タにトピックとエッセイを渡し，エッセイに書か れている内容を把握してもらう，次に，筆者の主張が含まれる要素である Component の抽出を行う. Component は, MajorClaim, Claim, Premise の 3 種類 が存在し, Component の抽出は，文よりも小さい 単位でで行われるため，抽出する境界の決定も必要である. Component の抽出は, MajorClaim, Claim, Premise の順に行う. 最後に, 抽出した Component 同士の関係を表す Relation の抽出を行う．Relation は，互いに同じ立場の関係にある Support と対立し た立場の関係にある Attack が存在する.

Stab ら [1] の方法では，エッセイにパラグラフが 存在することを前提に，各パラグラフ内で相対的に Component と Relation の抽出を行っている。一方で，初学者のエッセイでは，パラグラフが存在しない場

1）本研究で初学者とは，TOEIC ® Listening \& Reading Test で 500 点以下の点数かつ，英語を母国語としない者とした.

2）ただし， 1 人の初学者が同一のトピックについて複数の エッセイを書くことがないように調整した。合が多く，エッセイ全体を見ながら抽出を行う必要 がある.

## 3.3 アノテーション作業

アノテーション作業は. 英語を母国語とする 3 名のアノテータで行った. まず， 3 名には，先行研究 [1] のアノテーションガイドライン3)を用いて, アノテーション方法の習得をしてもらった. その 後，各アノテータは，それぞれ 100 エッセイに対し てアノテーションを行った.

今回作成したエッセイは，PEC と比べて，エッセ イ作成者の英語の習熟度が高くないため，アノテー タが理解できない場合や，そもそもトピックに対応 した主張が含まれていない場合が想定される.これ らに対応するため，アノテータには，どこまでの作業ができるのかを判断してもらい，作業を完了でき なかった場合は，その理由を記述してもらった。

表 1 に作成したエッセイに対して行ったアノ テーションの例を示す. また，作成した議論マイニ ングコーパスについて，各アノテータが抽出した Component の数と付与した Relation の数, 作業不可 と判断されたエッセイの数を付録 $\mathrm{A}$ の表 4 に示す.

## 4 アノテーション一致率の算出方法

アノテータが可能だと判断した作業について の一致率を算出した後, Stab ら [1] と同様の方法 で,Component の一致率と Relation の一致率をそれぞ れ算出する.

## 4.1 作業判断についての一致率

本研究では，先行研究 [1] とは異なり，アノテー タが作業不可と判断することも可能である. 各エッ セイに対して，3名のアノテータが作業可能と判断したか $(t=1)$, または, 作業不可と判断したか $(t=0)$ を Fleiss [7]の $\kappa$ を用いて，アノテーション一致率を計算する。

## 4.2 Component $の 一$ 致率

まず，文単位でアノテーション一致率を計算す る.この方法では，アノテータ間で Component を 抽出する境界が異なっていたとしても，抽出した Component が同一の種類であれば，一致していると 評価される. 文単位のアノテーション一致率の計

図1作成したエッセイに対して行った，Component（左）とRelation(右)のアノテーションの例

表 1 Component(上)と Relation(下)の抽出に関する先行研究 [1] と本研究のアノテーション一致率の比較. OA は, Observed Agreement を表す. MC，C，P，S，A は，それぞ れ, MajorClaim, Claim, Premise, Support, Attackを表す.

算には，観察された一致度 (Observed Agreement) と Fleiss [7]の $\kappa$ を用いた. 観察された一致度は，単純 に全体の中で 3 名の作業者の一致した割合を測る指標であり，кは，観察された一致度から偶然の一致 を除いた時の一致率を測る指標である。

次に, Component の境界も考慮した評価を行うた めに, Krippendorff $[8,9]$ の $\alpha_{U}$ の算出を行う.この 算出方法では，各エッセイを単語に分割し, ${ }^{4}$ エッセ イ全体を単語列と見なした上で，アノテータが抽出 した Component の境界とその種類の一致率を計算す る. そして, 算出した各エッセイの一致率の平均値 を取ることでアノテーション一致率とする。

## 4.3 Relation の一致率

先行研究 [1] に従い, Componentを含んだ 2 文間の Relation の一致率を算出する．あるパラグラフ内に 含まれる文の総数を $n$ とすると，パラブラフ内の文 はそれぞれ， $s_{1}, \ldots, s_{n}$ と表され，その中の任意のぺ アは， $p=\left(s_{i}, s_{j}\right)$ と表される. ここで, $0 \leq i, j \leq n$ かつ $i \neq j$ である. 全エッセイに含まれるぺアの 総数 $N$ うち，アノテータ間で Relation の種類が一致している割合からアノテーション一致率を計算 する. ただし，パラグラフの区切りが存在しない

表 23 名のアノテータが各作業段階において, 作業不可と判断したエッセイの数. MC，C，P は，それぞれ， MajorClaim, Claim，Premiseを表す。

エッセイでは， $n$ はそのエッセイに含まれる文の数 と一致する. アノテーション一致率には, Observed Agreement と Fleiss [7]の $\kappa を$ 用いた.

## 5 分析結果

3 名のアノテータによるアノテーション一致率 を算出するため，1 人でも作業が不可と判断した エッセイは除外した. アノテーションが完了した 81 エッセイに対して，前節の方法でアノテーション 一致率を算出し, 先行研究 [1] との比較結果を示す.

## 5.1 作業不可と判断されたエッセイに対す る分析

100 エッセイのうち，除外されたエッセイは， 19 エッセイであり，3 人のアノテータ全員が作業不可 と判断したエッセイは存在しなかった. アノテータ 3 名の作業判断についての一致率を計算したとこ ろ， $\kappa=0.087$ が得られた. また，除外した 19 エッ セイのうち，13エッセイは，アノテータ B のみが作業不可と判断したエッセイであったため，アノテー タ A とアノテータ C の一致率を算出したところ, $\kappa=0.2647$ であった. これらの結果を見ると, 作業判断についての一致率は低く, 作業判断はアノテー タによって異なることがわかる。

次に，除外されたエッセイがどの作業段階で作業不可と判断されたのかについて考察する. アノテー ション作業において，Relation を抽出する段階で作業不可と判断された例は存在しなかった. これは, Component の抽出の際には，他の Component との対
応を考えながら行う必要があるため, Component の 抽出ができれば，Relation の抽出も行えるからだと 考えられる。3名のアノテータが各作業段階におい て, 作業不可と判断したエッセイの数を表 2 に示 す. MajorClaim の抽出を行う段階で，作業不可判断 されたエッセイは，10 例であった. 作業不可と判断 した理由としては，「トピックに対応した主張が含 まれていない」や「エッセイ自体が不明瞭で主張が 理解できない」が多かった. また, Premise の抽出 において，10 例が作業不可と判断されていた. その 理由としては，「Premise に該当する箇所がエッセイ 中に存在しない」がほとんどであった。これは，初学者のエッセイは, 主張を書くことができたとして も，それらの因果関係が読者に伝わりづらい英文で あるためだと考えられる。

## 5.2 アノテーション一致率に関する分析

Component と Relation のそれぞれにおいて，先行研究と本研究のアノテーション一致率を比較した ものを表 1 に示す.まず，Component について見 てみると， $\kappa ， \alpha_{U}$ の值は，MajorClaim で $\kappa=0.530 ，$ $\alpha=0.497$ であった. MajorClaim の一致率が比較的高くなった理由としては，一般的に MajorClaim は文書の最初と最後に出てくる場合が多く, エッセイ作成者の意図が分かりづらくても，文の位置からある 程度は予測できるからだと考えられる. 先行研究で は, Premiseの一致率は $\kappa, \alpha_{U}$ 共に高いが, 本研究で は低く, $\kappa=0.247$ と $\alpha_{U}=0.497$ だった. これは, 初学者のエッセイには, 接続詞の誤りが多く含まれ,主張と理由の判別が難しいためだと考えられる.

次に，Relation について比較を行う. Support に ついての $\kappa$ の值は, $\kappa=0.350$ であり, 先行研究と 比べると高くないものの, ある程度の一致率が得 られた。一方で，Attackについての一致率は低く， $\kappa=0.072$ であった. この理由として，初学者のエッ セイは主張の立場がわかりづらく，アノテータが判別するのが難しかったためだと考えられる.

## 5.3 パラグラフの影響に関する分析

パラグラフの有無がアノテーション一致率に与え る影響について調べるために，これらを 2 つの群に 分けた後, Component の一致率を比較する. 比較に は， $\alpha_{U}$ を用いた. パラグラフが存在するエッセイ と存在しないエッセイに対して $\alpha_{U}$ を比較したもの を図 2 に示す. MajorClaim, Claim, Premiseの全

図 2 パラグラフが存在するエッセイ (w/ paragraph) と存在しないエッセイ (w/o paragraph) に対する $\alpha_{U}$ の比較

てにおいて，パラグラフがある場合の方がエッセイ のアノテーション一致率が高いことがわかる。これ は，パラグラフが存在することにより，エッセイ作成者が意図した，意味上の区切りをアノテータが理解しやすくなるためであると考えられる．特に，本研究のような短いエッセイの場合, MajorClaim の含 まれるパラグラフは 1 文であることが多く，パラグ ラフがないものに比べて作業が容易であったと考え られる。ただし，パラグラフが存在するエッセイと 存在しないエッセイの間には，サンプル数に大きな 偏りがあるため，同程度のサンプル数における比較 は，今後の課題である.

これらの結果から, 初学者のアノテーション作業 を行う際には，パラグラフに分割可能かを判断する 作業を追加するなど，作業工程の検討を行う必要が あると考えられる。

## 6 おわりに

本研究では，初学者が書いたエッセイに対して，議論マイニングのアノテーションを行った. 複数の アノテータで作成した議論マイニングコーパスにつ いて，アノテーション一致率を算出したところ，先行研究 [1] よりも一致率が低い結果が得られた. そ こで， パラグラフの区切りが存在するエッセイと存在しないエッセイについて，アノテーション一致率 の比較を行ったところ，パラグラフが存在するエッ セイの方が一致率が高い結果が得られた. 今後は, アノテーション作業におけるパラグラフの影響につ いて，より詳細な分析を行った後，初学者のエッセ イに対するアノテーション方法の検討を行いたい.

## 参考文献

[1] Christian Stab and Iryna Gurevych. Parsing argumentation structures in persuasive essays. Computational Linguistics, Vol. 43, No. 3, pp. 619-659, September 2017.

[2] Jan Wira Gotama Putra, Simone Teufel, and Takenobu Tokunaga. Parsing argumentative structure in Englishas-foreign-language essays. In Proceedings of the 16th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 97-109, Online, April 2021. Association for Computational Linguistics.

[3] Khalid Al-Khatib, Henning Wachsmuth, Johannes Kiesel, Matthias Hagen, and Benno Stein. A news editorial corpus for mining argumentation strategies. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 3433-3443, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[4] Nancy Green. Towards creation of a corpus for argumentation mining the biomedical genetics research literature. In Proceedings of the First Workshop on Argumentation Mining, pp. 11-18, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[5] Nancy Green. Identifying argumentation schemes in genetics research articles. In Proceedings of the 2nd Workshop on Argumentation Mining, pp. 12-21, Denver, CO, June 2015. Association for Computational Linguistics.

[6] Christian Stab and Iryna Gurevych. Annotating argument components and relations in persuasive essays. In Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics: Technical Papers, pp. 1501-1510, Dublin, Ireland, August 2014. Dublin City University and Association for Computational Linguistics.

[7] J.L. Fleiss, et al. Measuring nominal scale agreement among many raters. Psychological Bulletin, Vol. 76, No. 5, pp. 378-382, 1971.

[8] Klaus Krippendorff. Content Analysis: An Introduction to Its Methodology (second edition). Sage Publications, 2004.

[9] Klaus Krippendorff. Computing krippendorff's alphareliability. 2011.

## A データ作成時の統計情報

表 3 先行研究 [1] と本研究でアノテーションを行うエッ セイの統計情報の比較. 括弧内の值は, パラグラフが存在した 5 例のエッセイのみの平均値を表す.

表 4 各アノテータか抽出した Component の数と Relation の数，および，作業不可と判断したエッセイの数 (作業不可の数).


# Wikipedia における文の品質推定のための大規模データセット

安道健一郎 ${ }^{1}$ 関根聡 ${ }^{2}$ 小町守 1
1 東京都立大学 2 理研 AIP
ando-kenichiro@ed.tmu.ac.jp

## 概要

Wikipedia は誰でも編集できるという特性上，客観的な百科事典の記述として適切ではない文が大量に含まれており，それらは日々編集者によりマー クアップされている. 本研究では, その作業支援 を目的に Wikipedia 内の文の品質推定を行うための データセットを構築し、その自動検出タスクを実施 した. 作成したデータセットは英語版 Wikipedia の 全編集履歴から抽出された約 341 万文に、大きく 5 種類に分類された 153 の品質ラベルが付与され、ノ イズなどの処理をしたものである.このデータを 使った分類ラベルの自動検出実験は、編集者をアノ テーターとした文品質検出実験と見ることができ， 73-85 程度の $\mathrm{F}$ 值が得られ、有用性が示された.

## 1 はじめに

Wikipedia は誰でも編集できることで有名な巨大 なオンライン百科事典である。しかし, Wikipedia の質は長い間論争の的となっており, それは自然言語処理（NLP）にとって非常に重要な問題である $[1,2,3,4]$. Wikipedia のテキストは NLP のデータ セットに広く利用され，主要なリソースとなってい るため, Wikipedia の品質が NLP に与える影響は大 きい $[5,6,7,8]$.

実際，いたずらなどによる質の悪い編集も存在す る.そのような編集はしばしば他の編集者によって Wikipedia テンプレート ${ }^{1)}$ でマークアップされ, 修正される. そのような，ユーザーの編集が繰り返さ れることで Wikipedia の質は信頼性面も含めて向上 し続けているが，全ての質の悪い編集文を限られた 編集者でチェックし修正することは非現害的であ る. そのため，この問題を機械でサポートする試 みが過去にいくつかなされている. 代表的なもの

は Wikipedia の Bot ${ }^{2)}$ で，自動で間違った Wikipedia マークアップ書式を修正したり，廃止された機能を 新しいものに置換したり，特に，荒らし的な編集 を元に戻すというものもある。しかし，これらは 素朴で表層的なエラーを対象としており，対象外 のエラーに対する多次元的で詳細な評価は人間が チェックしている. その他のサポートの試みとして は，記事全体の品質を推定する研究や，ある特定の 品質ラベルを識別しようとする研究も行われている $[9,10]$. 前者の bot は文単位でのきめ細かい評価が できず，後者は限られた質の悪い点のみに着目して いる.

そこで，我々はきめ細かく様々な側面から文の品質を推定するための大規模データセットを構築し た. 文の品質ラベルとして，編集者が各文に対して 付与した Wikipedia インラインテンプレート 3）を利用している. 対象ラベルをトークページに関するも のなどを除いて人手で厳選し，ノイズの多い文を フィルタリングした結果, 品質推定ラベルは合計 153 個，総文数は約 341 万文になった. 事前学習モ デルを用いた自動検出の実験では，引用を必要とす る文，構文や意味の修正を必要とする文，命題に関 する問題を持つ文は検出が困難であることがわかっ た.このデータセットは Wikipedia の編集者をアノ テーターとして大規模に文品質評価を行なったと見 ることもでき，NLP の他タスクにおいても有用であ ると思われる。構築されたデータセットは一般公開 されており利用可能である ${ }^{4)}$.

## 2 品質推定データセット

## 2.1 ソーステキスト

Wikipedia は Wiki markup というマークアップ言語 で書かれており，それが MediaWiki というパーサー

2) https://en.wikipedia.org/wiki/Wikipedia:Bots

3) https://en.wikipedia.org/wiki/Wikipedia: WikiProject_Inline_Templates

4) https://github.com/ken-ando/WikiSQE_dataset
表 15 種類に分類した Wikipedia の品質評価ラベル. それぞれ頻度上位 5 ラベルの中から特徴的な 4 ラベルを選び，そ の総数と説明を示している.

により HTML に変換されている. 本研究は英語版 の全編集履歴をターゲットにしているため，この HTML 化処理は非常に計算量が多く，計算リソース と時間を必要とする. そのため，先行研究 [11] で すでに HTML 化されているものを活用する.この データは 2019 年 3 月 1 日以前の英語版 Wikipedia の 全記事の全編集履歴を含んでいる.

## 2.2 対象ラベル

収集対象の品質評価ラベルは Wikipedia inline cleanup template ${ }^{5)}$ に含まれるものをべースとして使用する.このインラインテンプレート集は編集者に 向けて，Wikipediaにおける文の品質の指摘をする ための Wiki markup をまとめたものである. 我々が 持つソーステキストは HTML であるため，このイン ラインテンプレートを Wikipedia サンドボックスを 用いて HTML 表記に変換し, 品質評価ラベルリスト を獲得した。

しかし，この状態ではまだラベルリストのカバ

5) https://en.wikipedia.org/wiki/Category:Inline_

cleanup_templates
レッジに問題がある。第一にベースとして使用した Wikipedia inline cleanup template は 2022 年のもので あり，ソーステキストで用いられた 2019 年の Wiki markup とは相違がある. そのため, 各インラインテ ンプレートのページにリダイレクトしている，既に 廃止された Wiki markup ページを再帰的に取得し, サンドボックスを通すことで過去に遡った HTML 表記の品質評価ラベルを獲得した。第二の問題は MediaWiki パーサーの時間的相違である. ソースの HTML 表記は 2019 年時点の MediaWiki によって生成されたものであり，現在の MediaWiki の出力する HTML ラベルとは相違がある．つまり，サンドボッ クスで変換した HTML ラベルがソーステキスト内 に存在しない可能性がある。この問題に対処するた めに，ソーステキストに含まれる高頻度の品質評価 ラベルを人手でチェックし，リストにないものは新 たに収集リストに追加した。

結果， 153 種類の品質評価ラベルが得られた. そ の一部を表 1 に示す. 全取得ラベルとその説明は データセットの Webページにて公開されている.
表 2 Wikipedia の品質評価ラベルと文例.

## 2.3 品質カテゴリ

分析のために 153 の品質評価ラベルをさらに抽象化し 5 種類に分類した。（表 1，3）

Citation には引用に関するラベルが 59 個属する. このラベルは Citation needed という文に引用が必要 であるということを示すラベルが大多数であり， データセット全体に渡ってみても $68 \%$ 占める。

Syntactic or semantic revision は文法や意味的な改善が必要ということを示すグループであり，26 個の ラベルが属する. Clarification needed という曖昧で わかりにくい文意を明確にするべきというラベルが 多数存在する.

Information addition は文に何かしらの追加の情報 が必要であることを示すグループである．最も多い ラベルは Who?であり，特定の人物名が明記されて いないことを示すラベルである.

Disputed claim は文の形態に問題はないが，その 命題に問題があることを示すグループである. 最も 多いラベルは Dubious であり，編集者から見て，不自然な，真偽が怪しい情報が含まれていることを 示す.

最後に Other はどのグループにも属さないラべ ルの集合である．最も多いラベルは Disambiguation needed であり，文内の Wikilink が曖昧さ回避ページ にリンクされていて改善が必要な際にマークアッ プされる. 次いで多いラベルは Sicである。これは ソースに忠実なものの，一般的にみれば文法的に誤 りである事例が含まれている。

このカテゴリはさらに, Wikipedia に依存する表 35 種類の文品質カテゴリの統計量. \# L はラベル数 ＃T は単語数，PPL はパープレキシティを示している。

ものとそうでないもので分けられる. Syntactic or semantic revision, Information addition, Disputed claim (SID) の 3 カテゴリは一般の文品質にも共通する 特性を備えているため，後の実験で分離して扱う. SID には約半数の 78 種類のラベルが含まれている.

## 2.4 文抽出とフィルタリング

文抽出はソーステキストを pySBD [12]を用いて 文分割し，2.2 節で取得された品質評価ラベルリス トを持つ文を抽出することで行った. しかし，ソー ステキストはこのままではセクションタイトルや 非文などが含まれており，ノイジーである. そのた め，極端に短い文，Wiki markup がそのまま残って いる文，頭文字が小文字である文などをフィルタリ ングした. 各文は引用マーカーが取り除かれて重複 が削除され，最終的に $3,417,909$ 文が取得された.

## 2.5 データセットの分析

取得できた文例を表 2 に示す. ラベルによっ て，文，単語，節に付加されるものがある. 例え ば, Citation needed や Clarification needed, Dubious, Neutrality disputed などはその性質上，文や節など 対象のスパンに付加されやすい。一方で，Who?,

When?，Sicなどは単語に付加されることが多い.

表 3 に GPT-2を用いて算出した各カテゴリのパー プレキシティを示した. パープレキシティはカテゴ リの特性をよく反映しており，Syntactic or semantic revision は文法，意味的に一般とは外れた用法が多 いため，パープレキシティが高くなっている. Other は Sic が多く含まれているため, 特にパープレキシ ティが高い. また, Disputed claim は命題的に特異的ではあるものの，パープレキシティは低く，表層 にその特徴が現れない，判定が難しいグループであ ることが予想できる. Information addition は追加の 情報が必要だが，文自体に問題はない性質があるた め，パープレキシティは低かった.

## 3 実験

Wikipedia の問題のある文の自動検出を行うため に，作成したデータセットを用いて実験を行う．

## 3.1 セットアップ

実験は開発データ，テストデータに十分なサイズ を用意するため，カテゴリごとに実行した（十分サ イズが大きい頻度上位 20 個のラベルの実験結果に ついては Appendix B を参照). 実験のためのデータ セットとして, 前節までに作成したデータの品質ラ ベルを除去したものを正例とし，新しくラベルの付与されていない文をランダムで同じサイズにサン プルしたデータを負例とする. 開発データとテスト データのために，正例と負例をそれぞれ 500 文ずつ ランダムに抽出し, 結合して 1000 文としたものを 2 つ用意する. 残りのデータを訓練データとして使用 した. また, Citation needed については突出してラ ベル数が多いため，カテゴリの評価をなるべく公平 に行うために 200,000 文までにダウンサンプルして 使用した，加えて，SIDとすべてのラベルを含む All を用意する。それらは単なる加重平均ではなく, 属 するカテゴリのラベルを全て連結し，シャッフルし た単独のデータセットである．検出に用いるモデル は DeBERTa [13] と BERT [14], RoBERTa [15] をファ インチューニングしたものであり，全ての設定につ いて 2 值分類である.

## 3.2 実験結果

自動検出の実験結果を表 4 に示す. 全体的には平均的に 7-8 割程度の検出精度であったが, 引用の問題，構文や意味の修正を必要とする文，命題に関す表 4 自動検出の実験結果（F1 スコア）.

る問題を持つ文は検出が比較的困難であることが 分かった. 引用の問題については引用元の文献を勘案しなければならないため，Wikipedia 本文だけで は特定が難しいものと思われる。構文や意味の修正 を必要とする文と命題に関する問題を持つ文につ いては，高次に意味的な要素を捉えなければならな いため難しい. また，何らかの情報の付加が必要な 文は付加する対象の表現に特徴があるため, 高精度 に検出できたものと思われる（When?は時間表現を 対象とするなど). モデル間の比較では, 総合的に BERT が最も良いスコアを示したものの，モデル間 の性能に顕著な違いは見られなかった. 最後に，す べてのデータを用いた All がどのモデルにおいても 最低の精度であった。一方 SID は精度が高く, その 差を勘案すると，カテゴリのまとまりを無視した横断的なデータを用いて学習した弊害であると思われ る. SID は AII と比べて似た文をうまくクラスタリ ングできているので，うまく学習できた.

## 4 関連研究

過去の Wikipedia の編集者支援のための品質推定研究は主に記事単位で行われている [16]. 一方で,文単位に着目した品質推定の研究も存在する. そ れらは引用が必要ということを示す Citation needed [9], 誇張した表現を示す Puffery や Peacock [10], 曖昧な言い回しを示す Weasel words [17] ラベルを対象 に文を集めて分析している。本研究との詳細な比較 を Appendix A に示す. 先行研究は一般に公開され ていないものも多く, Wikipedia の一部の品質ラべ ルを対象としており, 全体を含んだものではない.

## 5 おわりに

本研究では Wikipedia のための文品質推定データ セットを構築し，ラベルの目的ごとにカテゴリを作成した. 自動検出実験では平均的に 7-8 割程度の精度で検出できることが分かった。

## 謝辞

本研究は国立研究開発法人情報通信研究機構委託研究「自動翻訳の精度向上のためのマルチモー ダル情報の外部制御可能なモデリングの研究開発」及び JSPS 科研費 JP20269633 の助成を受けて行わ れた.

研究の遂行にあたり, ご議論いただいた東京大学 の渡邊晃一郎氏に深く感謝いたします。

## 参考文献

[1] Jim Giles. Internet Encyclopaedias Go Head to Head. Nature, Vol. 438, pp. 900-901, 2005.

[2] Encyclopaedia Britannica. Fatally Flawed: Refuting the Recent Study on Encyclopedic Accuracy by the Journal Nature. Chicago, Estados Unidos: Encyclopaedia Britannica, 2006.

[3] Editorial. Britannica Attacks. Nature, Vol. 440, p. 582, 2006.

[4] Thomas Chesney. An Empirical Examination of Wikipedia' s Credibility. First Monday, Vol. 11, No. 11, Nov. 2006.

[5] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ Questions for Machine Comprehension of Text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, November 2016.

[6] James Thorne, Andreas Vlachos, Christos Christodoulopoulos, and Arpit Mittal. FEVER: a Large-scale Dataset for Fact Extraction and Verification. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 809-819, June 2018.

[7] Mahnaz Koupaee and William Yang Wang. WikiHow: A Large Scale Text Summarization Dataset, 2018.

[8] Marta Bañón, Pinzhen Chen, Barry Haddow, Kenneth Heafield, Hieu Hoang, Miquel Esplà-Gomis, Mikel L. Forcada, Amir Kamran, Faheem Kirefu, Philipp Koehn, Sergio Ortiz Rojas, Leopoldo Pla Sempere, Gema RamírezSánchez, Elsa Sarrías, Marek Strelec, Brian Thompson, William Waites, Dion Wiggins, and Jaume Zaragoza. ParaCrawl: Web-Scale Acquisition of Parallel Corpora. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4555-4567, 2020.

[9] Miriam Redi, Besnik Fetahu, Jonathan Morgan, and Dario Taraborelli. Citation Needed: A Taxonomy and Algorithmic Assessment of Wikipedia's Verifiability. In Proceedings of the 28th International Conference on World Wide Web Companion, pp. 1567-1578, 2019.

[10] Amanda Bertsch and Steven Bethard. Detection of Puffery on the English Wikipedia. In Proceedings of the Seventh Workshop on Noisy User-generated Text, pp. 329-333, November 2021.
[11] Blagoj Mitrevski, Tiziano Piccardi, and Robert West. WikiHist. html: English Wikipedia's Full Revision History in HTML Format. In Proceedings of the International AAAI Conference on Web and Social Media, Vol. 14, pp. 878-884, 2020.

[12] Nipun Sadvilkar and Mark Neumann. PySBD: Pragmatic Sentence Boundary Disambiguation. In Proceedings of Second Workshop for NLP Open Source Software, pp. 110-114, Online, November 2020.

[13] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. DeBERTa: Decoding-enhanced BERT with Disentangled Attention. In Proceedings of The 8th International Conference on Learning Representations, 2020.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 41714186, June 2019.

[15] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach, 2019.

[16] KayYen Wong, Miriam Redi, and Diego Saez-Trumper. Wiki-Reliability: A Large Scale Dataset for Content Reliability on Wikipedia. In Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 2437-2442, 2021.

[17] Viola Ganter and Michael Strube. Finding Hedges by Chasing Weasels: Hedge Detection Using Wikipedia Tags and Shallow Linguistic Features. In Proceedings of the ACL-IJCNLP 2009 Conference Short Papers, pp. 173176, Suntec, Singapore, August 2009.
表 5 先行研究との比較表. “Public?” はデータの公開状況を表す。

表 6 頻度上位 20 品質ラベルの結果. 各 ハイライトは Citaion, Syntactic or semantic revision, Information addition, Other, Disputed claim $の$ 上位力 テゴリを表す.

## A 先行研究との比較

Wikipedia の inline cleanup template を使用し，文の 品質推定を行った先行研究との詳細な比較を表 5 に 示す.

## B 個別ラベルの自動検出結果

品質ラベルの頻度上位 20 ラベルについて DeBERTa で自動分類した結果を表 6 に示す.

## C 実験の詳細

DeBERTa, BERT, RoBERTa はすべて Base_uncased モデルを用いた. エポックは最大 20 に設定し，F1 が最大であるべストエポックモデルをテストに使用 した. 最大入力系列長は 256 , バッチサイズは 64 、学習率は 1e-5 である.


# 化学工学分野の論文に含まれる命名法に基づく 変数記号および定義の解析

加藤 祥太 加納 学
京都大学大学院情報学研究科
\{shota, manabu\}@human.sys.i.kyoto-u.ac.jp

## 概要

プロセス産業においてデジタルツインを実現する ために対象プロセスの挙動を正確に模倣できる物理 モデルが必要であるが，精緻な物理モデルの構築に は膨大な労力を要する．著者らは，物理モデル構築工程を効率化するために，物理モデルを自動で構築 する人工知能 (AutoPMoB) の実現を目指している. AutoPMoB の実現には文献からの変数定義抽出技術 の開発が必要である. 本研究ではその一環として,化学工学分野の 42,323 報の論文に含まれる命名法 から 549,840 個の変数記号-変数定義ぺアを抽出し，解析した. 本解析により, 化学工学分野では変数記号に $\rho, \mu, \alpha$ ，変数定義には Reynolds number が最も よく用いられることと, 変数定義の単語数が他分野 と化学工学分野とでは異なることを明らかにした。

## 1 はじめに

プロセス産業のデジタルトランスフォーメーショ ン（DX）の実現に向けた最も重要な技術であるデ ジタルツインを実現するためには，対象プロセスの 挙動を正確に再現できる物理モデルが不可欠であ る.しかし，高精度な物理モデルを構築するには，対象プロセスに関する専門知識を有する技術者や研究者が膨大な文献を調査し，モデル構築に必要な情報を収集し，それらを組み合わせて試行錯誤的に精度向上を行うことが必要とされている．著者らは， この物理モデル構築工程を効率化するために物理 モデル自動構築 AI (Automated physical model builder; AutoPMoB）の実現を目指している [1].

物理モデルの表記では数式が重要な役割を果た しており，数式を理解するためには数式を構成する 変数の意味を正しく認識する必要がある。しかし，論文中の変数の意味を正しく把握するためには，文中から変数定義を抽出したり別の情報源をもとに

図 1 Nomenclature の例 [2]

定義を予測したりする必要がある．論文には図 1 に 示すような Nomenclature が記載されていることがあ る. Nomenclature とは用語に対する定義の一覧のこ とであり，一般に命名法と訳される. Nomenclature が記載されている場合には変数記号に対する変数定義の意味を容易かつ正確に抽出できる。本研究 は，AutoPMoB の実現に必要な要素技術の 1 つで ある変数定義抽出手法の開発の一環として，この Nomenclature を複数の論文から抽出して解析する。

## 2 関連研究

変数定義抽出を目的とした最近の自然言語処理 タスクに SymeEval2022 Task 12: Symlink がある [3]. Symlink タスクでは，論文中に存在する変数記号と 変数定義を抽出し，さらにそれらの関係も抽出す ることを目指す. Symlink データセットでは，計算機科学・生物学・物理学・数学・経済学の 5 つの分野の TeX 形式の論文に含まれる変数記号と変数定義が対応付けられている. Symlink データセットに は 102 報の論文が用いられ，21,915 個の変数記号に 対して 9,556 個の変数定義がアノテーションされ た. 同様に変数記号に対する変数定義を抽出する手法の開発を目的としたタスクとして，NTCIR-10の Math understanding subtask がある [4]. このタスクで は 45 報の論文に含まれる 4,323 個の変数記号に変数定義が付与された [5]. 分野によって変数定義の 記述の仕方は異なるため，我々の最終目的である AutoPMoB の実現に有力な手法を開発するには化学工学関連の文献に含まれる変数記号と変数定義を含

むデータセットが必須である. 上述の既存研究では いずれも arXiv [6] 上の論文を対象としているが，化学工学関連の論文が arXiv に投稿されることは稀で ある.そのため, これまでに化学工学関連の論文を 対象としたデータセットは存在しない.

## 3 データセット

Elsevier Research Product APIs [7] を用いて，110の 化学工学関連論文誌から XML (Extensible Markup Language）形式の論文を収集した. Elsevier 社が公開している XML 形式の論文では，現在，2001 年 と 2002 年に開発された XML DTD (Document Type Definitions) 5 が用いられている [2]. API で収集し た論文を確認したところ，2003 年以前の論文には XML DTD 5 に基づくものとそれ以前の XML DTD に基づくものが存在していた. そこで，本研究で は 2004 年以降の論文を対象とした．XML DTD 5 において，Nomenclature は ce:nomenclature 要素で 表され，文書で使用される用語と定義のリストを 含む [2]. 用語と定義はそれぞれ def-term 要素と def-dsc 要素で表される [2]. Nomenclature の中には 略語（Abbreviation）が含まれることもあるが，本研究では変数のみを対象とする. 本稿では，数学的表現を表す $\mathrm{mml}$ : math 要素が 1 つのみ含まれる def-term 要素を変数記号，それと対応する def-dsc 要素を変数定義とみなす. 2004 年 1 月から 2022 年 3 月までに出版された，変数を含む Nomenclature が 存在する論文を収集したところ，42,323 報を得た。 さらに各論文の Nomenclature から合計 549,840 個の 変数記号-変数定義ペアを抽出した.

## 4 解析結果

## 4.1 変数

論文に含まれる変数記号-変数定義ぺアの数の度数分布を図 2 に示す. 図ではぺアの数の最大値を 100 としたが，1つの論文に含まれる変数記号-変数定義ぺアの数の最大値は 168 , 最小値は 1 , 平均值 は 13，中央値は 5 だった. 図 2 において，変数の数 が 1, 2, 3 個の論文は $8,173,5,293,3,463$ 報であった. これらの論文のうち多くは，変数を $\mathrm{mml}$ : math 要素 ではなく, ce:italic 要素（斜体表記）としていた。 そのため，図 2 に示す変数の数は実際に論文で用い られているよりも少ない. ce:italic 要素の変数は 他の専門用語や略語との区別が難しいと判断したた

The number of variables in one paper

図 2 論文に含まれる変数の数の度数分布

表 1 変数記号の頻度上位 30 個

め，今回の解析では対象としなかった。

## 4.2 変数記号

変数記号は 143,722 種類であった. 変数記号の頻度の上位 30 個を表 1 にまとるる. 頻度が最大の 変数記号は $\rho$ であり，その数は 7,752 報 $(5.4 \%)$ で あった。

論文間で変数定義が異なるかを確認するため，上位 3 つの変数記号 $\rho, \mu, \alpha$ のそれぞれについて，その 定義の主辞の頻度（Frequency; Freq.) を表 2 に示す.本稿では，主辞の抽出に ScispaCy [8] を用いた。 $\rho$ と $\mu$ ではそれぞれ $94.8 \%, 83.1 \%$ の定義の主辞が density, viscosity であった. 一方， $\alpha$ の定義の主辞は $19.3 \%$ が diffusivity， $11.1 \%$ が fraction， $10.5 \%$ が coefficient で あった。表 1 に示した各変数について，最も頻度が 高い定義が全定義に占める割合を計算したところ，最小值は $\phi$ の $17 \%$ ，最大値は $\rho$ の $86 \%$ であり，この 割合が $50 \%$ 以上である変数は 9 個だった.

化学工学関連の論文では， $T_{\mathrm{R}}$ や $T^{\mathrm{e}}$ のように，変数記号に下付き文字や上付き文字などの修飾が付与されることが多い. 本稿では，このように修飾さ
表 2 変数記号に対する定義の主辞の頻度

表 3 主変数記号の頻度上位 30 個

れる変数記号を主変数記号と呼び，数学的表現を表 す mml: $m$ ath 要素に含まれる最初の $\mathrm{mml}: \mathrm{mi}$ 要素を主変数記号として抽出した. 主変数記号の頻度の上位 30 個を表 3 に示す. 表 1 と表 3 を比べると, $C$ や $Q$ などの変数は単独で用いられることが少ないが修飾 を付与して用いられる割合が他の変数よりも高いこ とがわかる.

主変数記号についても表 2 と同様に，3つの主変数記号 $T, C, m$ に対応する変数定義の主辞の頻度を 表 4 に示す. 主変数記号も変数記号と同様に，最も 頻度が高い定義が全体に占める割合が変数記号の種類によって 30 ポイント程度異なる. 以上の結果よ り，変数記号に対応する変数定義を正確に予測する には，変数記号のみに着目するのではなく, 文献の その他の情報を参照する必要があるといえる。

## 4.3 変数定義

変数定義を構成する単語数の度数分布を図 3 に示 す. 一部の変数定義には ce:math 要素で表される数学的表現も含まれていたが，今回は ce: math 要素 1 つを 1 単語として数えた. 図 3 より，単語数が 3 の 変数定義が最も多い 111,732 個（20.3\%）であった. また，変数定義の単語数の最大値は 79 , 平均值は 5, 中央值は 4, であった. Lai らが作成した Symlink データセットでは，変数定義の長さは最大 47 で, 1-3 の長さの変数定義が大部分を占めていた [3]. 化表 4 主変数記号に対する定義の主辞の頻度

The number words in each variable definition

図 3 変数定義に含まれる単語数の度数分布

学工学分野の論文では, Lai らが用いた 5 つの分野 よりも変数定義の長さが長く, 分野によって長さに 差があることが明らかになった。

変数定義と変数定義の主辞の頻度の上位 30 個を それぞれ表 5 と表 6 に示す. 表 5 に示すように，今回対象とした変数定義のいくつかには単位が含まれ る. 変数定義に単位が含まれるために, temperature (K) と temperature, $\mathrm{K}$ のように，単位表記の仕方は異 なるが意味が同じ変数定義を複数確認できる。これ は数学や情報学の分野に無い工学分野に特有の傾向 である. 表 6 において, number, rate, coefficient $の$ 順 に主辞の頻度が高い. 表 5 を見ると, number は数の 表記に加えて，レイノルズ数（Reynolds number）や プラントル数（Prandtl number）のような専門用語の 表記に用いられるために頻度が高いことがわかる。

頻度が高い順に 3 つの変数定義と変数定義の主辞に対する主変数記号を表 7 と表 8 に示す. 表 7 より，変数記号に対する変数定義の場合と比べて，変数定義に対する変数記号の使い方は多くの論文 で同じであることがわかる。一方で，表 8 が示すよ うに，変数定義の主辞に対する変数記号の頻度はい ずれも $30 \%$ 以下であった. したがって，変数定義か ら変数記号を予測する場合, 本稿で作成したデータ
表 5 変数定義の頻度上位 30 個

表 6 変数定義の主辞の頻度上位 30 個

セットをそのままが活用できる可能性がある.

## 5 おわりに

本研究では，変数定義抽出手法開発のために，化学工学関連論文に含まれる 549,840 個の変数記号と 変数定義のペアを解析した. 解析の結果，変数記号 に対応する変数定義を正しく抽出するには変数記号 と変数定義以外の文献の情報が必要であることが示唆された. 今後は特徵量作成や言語モデルのチュー ニングに本データセットを活用し，正確に変数定義 を抽出できる手法の開発に取り組む.

## 謝辞

本研究は JSPS 科研費 JP21K18849 の助成を受けた ものです.

## 参考文献

[1] Shota Kato and Manabu Kano. Towards an automated physical model builder: Cstr case study. In Yoshiyuki Yamashita and Manabu Kano, editors, 14th International表 7 変数定義に対する主記号の頻度

Reynolds number mass flow rate (kg/s) Prandtl number Symbol Freq.|Symbol $\quad$ Freq.|Symbol Freq.

表 8 変数定義の主辞に対する主記号の頻度

number rate coefficient

Symposium on Process Systems Engineering, Vol. 49 of Computer Aided Chemical Engineering, pp. 16691674. Elsevier, 2022.

[2] Tag by Tag, The Elsevier DTD 5 Family of XML DTDs Version 1.9.5.9. https://www.elsevier.com/_data/ assets/pdf_file/0003/58872/ja5_tagbytag5_v1.9.5. pdf, 2016. (Accessed on 01/03/2023).

[3] Viet Lai, Amir Pouran Ben Veyseh, Franck Dernoncourt, and Thien Nguyen. SemEval 2022 task 12: Symlink linking mathematical symbols to their descriptions. In Proceedings of the 16th International Workshop on Semantic Evaluation (SemEval-2022), pp. 1671-1678, Seattle, United States, July 2022. Association for Computational Linguistics.

[4] Akiko Aizawa, Michael Kohlhase, and Iadh Ounis. NTCIR10 math pilot task overview. In Proceedings of the 10th NTCIR Conference, pp. 654-661, 2013.

[5] Giovanni Yoko Kristianto, Goran Topić, and Akiko Aizawa. Extracting textual descriptions of mathematical expressions in scientific papers. In D-Lib Magazine, Vol. 20. Corporation for National Research Initiatives, 2014.

[6] arxiv.org e-print archive. https://arxiv.org/. (Accessed on $01 / 13 / 2023$ ).

[7] Elsevier developer portal. https://dev.elsevier.com/. (Accessed on 01/12/2023).

[8] Mark Neumann, Daniel King, Iz Beltagy, and Waleed Ammar. ScispaCy: Fast and Robust Models for Biomedical Natural Language Processing. In Proceedings of the 18th BioNLP Workshop and Shared Task, pp. 319-327, Florence, Italy, August 2019. Association for Computational Linguistics.