# 補助文自動生成を用いた BERT による日本語アスペクトベース 感情分析におけるアスペクトカテゴリ検出の精度向上

張懿陽 1 竹下 昌志 1 ラファウ・ジェプカ ${ }^{2}$ 荒木 健治 ${ }^{2}$
1 北海道大学大学院情報科学院 2 北海道大学大学院情報科学研究院
\{yiyang.zhang,takeshita.masashi,rzepka,araki\}@ist.hokudai.ac.jp

## 概要

アスペクトベース感情分析（Aspect-Based Sentiment Analysis: ABSA）とは，テキスト内の特定のア スペクトに対する意見の極性を特定する感情分析 タスクであり，細かい粒度の感情分析である. 対象言語を英語にした研究は盛んだが，日本語に特化 した研究はまだ少ない，そこで本研究では，日本語 ABSA タスクのアスペクト抽出 (Aspect Extraction: AE）サブタスクの精度の向上を目的とし，補助文を 自動的に生成し，対象文と補助文を組み合わせた 文ペアで BERT を fine-tuning するという英語に対す る既存手法を日本語に適用する。「chABSA」という データセットで性能評価実験を行った結果，先行研究より F1 值が 7.54 ポイント改善し, 提案手法の有効性が確認された。

## 1 はじめに

感情分析とは，書かれた文章を読み取り，ポジ ティブな内容か，ネガティブな内容か，あるいは ニュートラルの内容かを判定するタスクのことであ る. 感情分析というタスクは主にドキュメントレベ ル，文レベル，アスペクトレベルという 3 つの粒度 がある。それぞれドキュメント単位，文単位，アス ペクト単位で感情極性を判定するタスクである. ア スペクトとは，ある対象の 1 つの側面である. アス ペクトレベルの感情分析はアスペクトベース感情分析 (Aspect-Based Sentiment Analysis: ABSA) という. ABSA を例で説明すると，例えば，「この店の寿司は 美味しいが，ラーメンはまずい」という文の中に，「この店」という対象は「寿司」と「ラーメン」とい う 2 つの側面がある. 話者が「寿司」に対して「美味しい」と評価しているため，「寿司」というアス ペクトに対して「肯定的」な感情をもっており，一方で「ラーメン」に対して「まずい」と評価してい
るため，「ラーメン」というアスペクトに「否定的」 な感情をもっている. ABSA は，ドキュメントレベ ルの感情分析と文レべルの感情分析より細かい粒度 で感情分析を行え，提供できる情報が比較的多い ため，多くの場面で実用化が期待される．例えば， ある会社が自社が発売した商品の各アスペクトに 対し，消費者がどんな感情をもっているかを分析 したい場合，アスペクトレベルの感情分析が必要 となる。本稿では，アスペクトレベルの感情分析， すなわち ABSA に注目して研究する。ABSA タスク は主に 2 つのサブタスクから構成されている. 1 つ 目は，文中に含まれているアスペクトを抽出する タスク (Aspect Extraction: AE）である.2つ目は，各アスペクトに対する感情極性を特定するタスク （Aspect Sentiment Classification: ASC）である.

英語を対象言語とした研究では，ABSA について 多くの研究が行われているが，日本語を対象言語と した研究では，我々が知っている範囲では，ABSA についての研究はまだ 4 件 [1][2][3][4] しかなく，よ り良い手法を用いればより高い精度を達成すること が期待できると考えられる。また，我々 [4] は既に 日本語 ABSA タスクの ASC サブタスクについて研究した。そのため, 本研究では, 日本語 ABSA タス クのアスペクトカテゴリ検出サブタスク，すなわち $\mathrm{AE}$ サブタスクに注目し，先行研究より高いアスペ クトカテゴリ検出精度を達成することを目的として いる. 我々は補助文を自動的に生成し，対象文と補助文を組み合わせた文ペアで BERT を fine-tuning す るという英語のために提案された手法 [5] を用い，補助文の生成方法を日本語に適用し，「chABSA」 データセット [6] という日本語のアスペクト感情分析データセットを用いて実験を行う．その結果，同 じデータセットに基づいた先行研究 [2] より高いア スペクトカテゴリ検出精度を達成した。

## 2 関連研究

英語を対象言語とした ABSA の初期の研究では, Wagner ら [7] の研究と Kiritchenko ら [8] の研究は特徵量エンジニアリングに大きく依存していた. そ の後, Nguyen と Shirai ら [9], Wang ら [10], Tang ら [11][12], Wang ら [13] はニューラルネットワーク ベースの手法を用い，より高い精度を達成した。 その後, Ma ら [14] は有用な常識知識をディープ ニューラルネットワークに組み込み，モデルの結果 をさらに向上させた. Liu ら [15] は言語構造をより よく捉えるためにメモリネットワークを最適化し， Liu らのモデルに適用した.

最近では, 事前学習済み言語モデルについての研究が進みつつあり, Peters ら [16] が提案した ELMo, Radford ら [17] が提案した OpenAI GPT, Devlin ら [18] が提案した BERT のような事前学習された言語 モデルが特徴量エンジニアリングの手間を軽減す る効果を示している. 特に BERT は「隣接文予測」 （next sentence prediction）というタスクで事前学習さ れたため，QA タスクと NLI タスクのような文と文 の関係を理解するタスクにおいて優れた成果を上げ ている。そこで, Sun ら [5] は BERTが QAタスクと NLI タスクに優れるという特徴を活かした手法を提案した.

日本語を対象言語とした研究では，赤井ら [1] は 英語を対象言語とした先行研究で使われていた自己注意機構を使ったニューラルネットワークモデルを 日本語に適用し, KNB コーパス [19] のうち評判情報の感情タグが付いた文で実験を行った結果，感情分類の正解率 (accuracy) は $85 \%$ に達した. 三浦ら [2] は BERT を組み込んだアスペクトカテゴリ分類 ネットとアスペクトセンチメント分析ネットからな る文に含まれている複数アスペクトのセンチメント 分析のための自己注意ニューラルネットワークモデ ルを提案し，「chABSA」データセットで実験を行っ た結果，AE サブタスクでの F1 值は最高 $70.68 \%$ ま で達した。

我々 [4] は既に日本語の ABSA タスクの ASC サブ タスクについて研究し, ASC サブタスクにおいて三浦ら [2] が達成した精度より高い精度を達成できた が， $\mathrm{AE}$ サブタスクについてはまだ研究していない. また, 三浦ら [2] の研究の $\mathrm{AE}$ サブタスクの部分では 主に 2 つの問題が存在している. 1 つ目は BERT の fine-tuning 手法である. 三浦ら [2] の研究では, 各文
をそのまま BERT に入力して fine-tuning しているた め，BERT は QA タスクと NLI タスクのような文ぺ ア分類問題でより優れた性能を発揮できるという特徴を生かしていない. それに対し，我々は BERT の この特徴を活かしたより適切な fine-tuning 手法を用 いて BERT を fine-tuning すれば，より高い分類精度 を達成できると考える. 2 つ目はモデルの性能評価方法である. 三浦ら [2] の研究ではテストデータで dropout 率を変えながら性能評価を行ったが，我々 は検証データで最も良い精度を達成できる dropout 率を探し，その dropout 率でモデルの性能を評価す るという性能評価方法の方が適切だと考える。

以上の問題点を解決するために，本研究では， BERT のより適切な fine-tuning 手法を探し, より適切な性能評価方法でモデルの性能を評価し，三浦ら [2] が達成したアスペクトカテゴリ検出精度より高 い精度を達成することを目標とする。

## 3 提案手法

本研究では，Sun ら [5] が提案した補助文を自動的に生成し，対象文と補助文を組み合わせて生成し た文ペアで BERT モデルを fine-tuning という手法を 用い，日本語に適用し，実験を行う。

以下では BERT，補助文の生成方法，文ペアで fine-tuning した BERT-pair モデルについて詳細に述 べる.

## 3.1 BERT

BERT とは, 「Bidirectional Encoder Representations from Transformers」の略で，日本語では，「Transformer による双方向のエンコード表現」である．BERT は 2018 年 10 月に Google 社が発表した自然言語処理モ デルであり，自然言語処理の多くのタスクで最高水準を達成した. BERT の特徴は，文脈を考慮した 上で単語のエンコード表現を得ることができるこ とと，様々なタスクに適用する際に，学習に必要な データ量が少ないことである．学習に必要なデー タ量が少ない理由は，BERT は既に大規模なデータ セットで事前学習が行われているからである. 事前学習では 2 つ学習方法が施されている. 1 つ目は,「マスク予測」(masked language model) で，文章の一部分を穴抜けにしてモデルに穴の部分の単語を予測 させることである. 2 つ目は，「隣接文予測」で，2 つの文をモデルに与え，隣接した文であるかどうか を判別させることである. この 2 つの学習方法によ

り，BERT は文脈を考慮した上での各単語の意味，及び文と文の関係をよく捉えられるようになって いる.

本研究では, 東北大学が提供している事前学習済みの日本語版の BERT-base モデルの whole-wordmasking バージョン1) モデルと whole-word-masking ではないバージョン2) モデルを利用する．この 2 つ のモデルの両方とも日本語版のウィキペディアで事前学習されたものである.

## 3.2 補助文の生成方法

Sun ら [5] の研究では ABSA タスクの ASC サブタ スクにおいての手法について具体的に説明されてい るが， $\mathrm{AE}$ サブタスクにおいての手法に関する具体的な説明がなかったため, 本研究では Sun ら [5] の 手法の考え方に基づき，AE サブタスクにおいての 日本語に向けた手法を考案した. 具体的には，以下 で紹介するそれぞれの補助文生成方法を用い，各文 をデータセットのアスペクトカテゴリ数に応じて拡張するという手法である.

補助文の生成方法を表 1 に示す。以下にそれぞれ の補助文生成方法について説明する。

$\cdot$QA: QA は Question Answering（質問に答える） という意味である.この方法では，質問の形式 で補助文を生成し，システムにその質問の答え を出すようにする．具体的な生成方法は，アス ペクトカテゴリと「が含まれていますか」とい う文を結合して補助文を生成することである。
- NLI: NLI は Natural Language Inference（自然言語推論）という意味である。この方法では，アス ペクトカテゴリだけで補助文を生成する.

表 1 補助文の生成方法

 & Yes・No \\

本研究で扱うデータセットに 14 種類のアスペク トカテゴリが含まれているため，以上のそれぞれの 補助文生成方法を用い，各文をアスペクトカテゴリ の種類数に応じて 14 文に拡張する。

## 3.3BERT-pair モデル

対象文と前述の補助文生成方法によって生成 した補助文を [SEP] というトークンで結合した文 で fine-tuning した BERT-base モデルをそれぞれの補助文生成方法に対応して「BERT-pair-QA」，「BERTpair-NLI」と名付ける. ただし, whole-word-masking バージョンの BERT-base モデルを使用したものは後 ろに「(w)」を付加する.

## 4 実験

## 4.1 データセット

本研究では，「chABSA」というデータセットを使用している.「chABSA」データセットは上場企業の 有価証券報告書（2016 年度）をべースに作成された データセットで，文の中に含まれている各アスペ クトに対する「Positive」・「Negative」・「Neutral」と いう感情極性情報が含まれている。日本語の ABSA データセットとしては他に楽天の「楽天トラベル: レビューアスペクト・センチメントタグ付きコーパ ス」[3] というコーパスがあるが，これは有料で公開されていないため本研究では用いない.

三浦ら [2] の研究と同様に, 本研究ではこの データセットの中の company, business, product と いう 3 つのエンティティと sales, profit, amount, price, cost という 5 つのアトリビュートの組み合 わせ（例：company\#sales，business\#amount）からな る 15 種類のアスペクトカテゴリを扱う. ただし，「company\#price」というアスペクトカテゴリに属す るアスペクトの数は 0 個なので，三浦ら [2] の研究 と同様に，アスペクトカテゴリ「company\#price」を 扱わない。したがって，実際に扱うアスペクトカテ ゴリは 14 種類で，総文章量は 1,077 文で，合計のア スペクトの数は 2,079 個となる.

提案手法では，扱うアスペクトカテゴリの数に応 じて各文を 14 個に拡張するため, 実際のデータセッ トでは合計データ数は 15,078 個（1,077 の 14 倍） となる。最初に，このデータセットを 7:1:2 の割合 で，訓練データ，検証データ，テストデータに分け て実験を行い，検証データで最も高い精度を達成で きるように dropout 率を調整したら，検証データを 訓練データに入れて実験を行う．したがって，最終的にこのデータセットを 4:1 の割合で，訓練データ 12,062 個，検証データ 3,016 個に分けて実験を行う.

## 4.2 ハイパーパラメータ

本研究では，ハイパーパラメータを Appendix の 表 3 の通りに設定して実験を行う.

ここで，検証データを用いて dropout 率を調整 した結果, 「BERT-pair-QA $\lrcorner, 「$ BERT-pair-QA(w)」, $\lceil$ BERT-pair-NLI $\lrcorner, 「$ BERT-pair-NLI(w)」のどち もも dropout 率を 0 に設定した時に検証データで最も高 い F1 值を得られたため, dropout 率を 0 に設定して テストデータでモデルの性能評価を行う.

## 4.3 評価指標

本研究では，三浦ら [2] の研究と同様に，適合率 と再現率の調和平均指標である F1 值を評価指標と する。

適合率は，モデルが「Yes」と予測したデータの中 に正解も「Yes」であるデータの数の割合である.再現率は, 正解が「Yes」であるデータの中にモデ ルが「Yes」と予測したデータの数の割合である. F1 值は，適合率と再現率の調和平均で，トレードオ フ関係にある適合率と再現率のバランスを取る評価指標である．F1値を式で表すと式（1）となる。

$
F 1 \text { 值 }=2 \cdot \frac{\text { 適合率 } \cdot \text { 再現率 }}{\text { 適合率 }+ \text { 再現率 }}
$

## 4.4 実験結果

実験結果を表 2 に示す.

表 2 実験結果

補助文生成方法 NLI で生成した補助文で finetuning した「BERT-pair-NLI(w)」は既存手法のモデル が達成した全ての結果を上回った上で，提案した他 の全てのモデルを超え，最も高い適合率，再現率， F1 值が得られた。

また,「BERT-pair-NLI(w)」は「BERT-pair-NLI」よ り,「BERT-pair-QA(w)」は「BERT-pair-QA」より高い F1 值が得られた.「BERT-pair-NLI(w)」は「BERT-pair$\mathrm{QA}(\mathrm{w})\lrcorner$ より,「BERT-pair-NLI $」$ はBERT-pair-QA $\lrcorner$
より高い F1 值が得られた。

## 5 考察

実験結果から，提案手法が既存手法より良い精度 を達成したことが確認された. その原因は主に 2 つ あると考えられる．1 つ目の原因は，本研究の提案手法では，各文をデータセットに含まれているアス ペクトカテゴリの種類数（本研究では 14 種類）に 応じて拡張しているため，データセットが拡張さ れ，訓練に用いられる文の数が増加し，モデルの学習データが増加したからである．２つ目の原因は， BERT は「隣接文予測」タスクで事前学習されてお り，文と文の関係をよく捉えているため，QA タス クと NLI タスクのような文ぺア分類問題でより優れ た性能を発揮できるためだと考えられる.

また，三浦ら [2] の研究と異なり，dropout 率を 0.2 ではなく，0 に設定した時に最も良い精度を達成で きた. この理由は，データセットが拡張されている ため，dropout 率を 0 以外の値に設定することによ り dropout を実装した場合，モデルの学習が不足し てしまうためだと考えられる.

さらに,「BERT-pair-NLI(w)」は「BERT-pair-NLI」 より,「BERT-pair-QA(w)」は「BERT-pair-QA」より 高い F1 值が得られた理由は，BERT-base モデルの 事前学習で「whole-word-masking」を使用した方が BERT-base モデルがより言葉の意味を学習できる ためだと考えられる。また，「BERT-pair-NLI(w)」 は「BERT-pair-QA(w)」より，「BERT-pair-NLI」は 「BERT-pair-QA」より高い F1 值が得られた理由は， BERT は QA タスクより，NLI タスクを解く方がよ り優れた性能を発揮できるためだと考えられる。

## 6 まとめ

本研究では，日本語 ABSA タスクのアスペクトカ テゴリ検出サブタスク，すなわち AE サブタスクに おいて，補助文を自動的に生成し，対象文と補助文 を組み合わせた文ぺアで BERT を fine-tuning すると いう英語のために提案された手法を日本語に適用 し，「chABSA」データセットで実験を行った結果，同じデータセットで実験を行った先行研究より高い 精度を達成できた. 今後, 日本語 ABSA タスクの $\mathrm{AE}$ サブタスクにおいてより高い精度を達成するた めに，より良い手法を探し，精度をさらに向上させ ることに取り込む予定である。

## 参考文献

[1] 赤井 龍一, 渥美 雅保. 2019. 自己注意機構を利用し たアスペクトベースの感情分析の日本語文への適用， 2020 年度人工知能学会全国大会（第 33 回）.

[2] 三浦 義栄, 赤井 龍一, 渥美 雅保. 2020. 文中の複数 アスペクトのセンチメント分析のための自己注意 ニューラルネットワーク，2020 年度人工知能学会全国大会（第 34 回）.

[3] Yuki Nakayama, Koji Murakami, Gautam Kumar, Sudha Bhingardive, and Ikuko Hardaway. 2022. A Large-Scale Japanese Dataset for Aspect-based Sentiment Analysis. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pages 7014-7021, Marseille, France. European Language Resources Association.

[4] 張懿陽, ラファウ・ジェプカ, 荒木健治. 2022. BERT モデルと補助文自動生成に基づいた日本語アスペ クトベース感情分析の精度向上. ISSN 1346-3551, 人工知能学会第 2 種研究会ことば工学研究会資料, SIG-LSE-C302-3.

[5] Chi Sun, Luyao Huang, and Xipeng Qiu. 2019. Utilizing BERT for aspect-based sentiment analysis via constructing auxiliary sentence. Proceedings of NAACL-HLT 2019, pages 380-385.

[6] Takahiro Kubo, Hiroki Nakayama. chABSA: Aspect Based Sentiment Analysis dataset in Japanese. URL https://github.com/chakki-works/chABSA-dataset

[7] Joachim Wagner, Piyush Arora, Santiago Cortes, Utsab Barman, Dasha Bogdanova, Jennifer Foster, and Lamia Tounsi. 2014. DCU: Aspect-based polarity classification for SemEval task 4. In Proceedings of the 8th international workshop on semantic evaluation (SemEval 2014), pages 223-229.

[8] Svetlana Kiritchenko, Xiaodan Zhu, Colin Cherry, and Saif Mohammad. 2014. Nrc-canada-2014: Detecting aspects and sentiment in customer reviews. In Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval 2014), pages 437-442.

[9] Thien Hai Nguyen and Kiyoaki Shirai. 2015. PhraseRNN: Phrase recursive neural network for aspect-based sentiment analysis. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pages 2509-2514.

[10] Yequan Wang, Minlie Huang, Li Zhao, et al. 2016. Attention-based LSTM for aspect-level sentiment classification. In Proceedings of the 2016 conference on Empirical Methods in Natural Language Processing, pages 606-615.

[11] Duyu Tang, Bing Qin, Xiaocheng Feng, and Ting Liu. 2015. Effective LSTMs for target-dependent sentiment classification. arXiv preprint arXiv:1512.01100.

[12] Duyu Tang, Bing Qin, and Ting Liu. 2016. Aspect level sentiment classification with deep memory network. arXiv preprint arXiv:1605.08900.

[13] Bo Wang, Maria Liakata, Arkaitz Zubiaga, and Rob Procter. 2017. Tdparse: Multi-target-specific sentiment recognition on twitter. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, volume 1, pages 483-493.

[14] Yukun Ma, Haiyun Peng, and Erik Cambria. 2018. Targeted aspect-based sentiment analysis via embedding com- monsense knowledge into an attentive LSTM. In Proceedings of AAAI.

[15] Fei Liu, Trevor Cohn, and Timothy Baldwin. 2018. Recurrent entity networks with delayed memory update for targeted aspect-based sentiment analysis. arXiv preprint arXiv:1804.11019.

[16] Matthew E Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. 2018. Deep contextualized word representations. arXiv preprint arXiv:1802.05365.

[17] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. 2018. Improving language understanding by generative pre-training. URL https://s3-us-west2.amazonaws.com/openai-assets/research-covers/languageunsupervised/language_understanding_paper.pdf.

[18] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2018. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.

[19] 橋本力, 黒橋禎夫, 河原大輔, 新里圭司, 永田昌明. 2011. 構文・照応・評判情報つきブログコーパスの構築. 自然言語処理 Volume 18, Number 2, pp.175-201.

## Appendix

表 3 ハイパーパラメータ


# 機械学習を用いた川柳の面白さの予測

太田聖三郎 ${ }^{1}$ 河原大輔 1 野村理朗 2
1 早稲田大学理工学術院 2 京都大学
\{ota-seizaburo@akane.,dkw@\}waseda.jp, nomura.michio.8u@kyoto-u.ac.jp

## 概要

川柳は日本の伝統文芸の一つである．詩や俳句に 関する機械学習を用いた研究は散見されるが，川柳 に関するものはない. 本研究では，川柳を構成す る要素を様々な指標に分解し，それらの予測を組 み合わせることで，より高精度な川柳評価を予測 する手法を提案する. クラウドソーシングを用い て川柳データセットを構築し， BERT-like モデルを ファインチューニングすることより川柳の評価を 予測する. それに加え, 川柳をデータに事前学習 モデルの追加学習を行い, 川柳の特徵を理解した SenryuBERTを構築する。

## 1 はじめに

近年，人工知能による創作活動はめざましい発展 を遂げている。自然言語処理においては詩や俳句な どの生成研究 $[1,2]$ がある. その一方で，それらの 理解に関する研究はほとんどされていない. それら の理解には創作物の持つ面白さや独創性などが関 わってくる. 面白さは人のコミュニケーションの中 でも大きな役割を担っている. つまり，人と計算機 のコミュニケーションを円滑にするためには，計算機による面白さの理解が重要な要素となる.

本研究では川柳という文芸を対象とし，人が川柳 の面白さをどのように理解しているか，また，計算機がそれを理解できるかを分析する。川柳は俳句と 同様に五・七・五の音数を持ち, 元来は俳諧連歌の 長句が独立したものである．短句に対しての前句付 けが流行したことにより生まれた文芸であり, 口語的で風刺的な内容が特徴である. 川柳の面白さは人 が理解するにおいても難しく，これを計算機に理解 させるのはさらに難しいタスクである．この問題に 取り組むにあたって, 川柳の面白さを構成する要素 を細分化し，判断しやすい指標を設けることで，川柳の総合的な面白さの予測を目指す. 川柳の面白さ を定量分析するために，クラウドソーシングによっ
て各指標をアノテーションする．得られたアノテー ションをもとに言語モデルのファインチューニン グを行い，川柳を入力し川柳の総合的な評価を予測 するタスクを行う．川柳の評価を直接予測する場合 と，細分化した指標の予測を組み合わせる場合の精度の差を比較する。

## 2 関連研究

詩・俳句生成 川柳について機械学習を用いた 研究は無い. しかし, 川柳に通ずるものとして,近年では詩や俳句の生成 $[1,2]$ が行われている. Hitsuwari ら [2] は人手評価において, 人工知能が生成した俳句と人間が作った俳句との見分けがつかな いほど完成度の高い川柳の生成を実現している。

BERT/RoBERTa 近年の自然言語処理研究の飛躍的な進歩には BERT [3] の登場が大きく関わってい る. BERT の学習は事前学習とファインチューニン グからなる. 事前学習は自己教師あり学習であり,主な学習方法は Masked Language Model (MLM) であ る. MLM は入力文の一部のトークンをマスクし， マスクされたトークンを予測するタスクである。予測されるトークンのうち $80 \%$ [MASK] トークンに 置き換えられ，10\%はランダムな他のトークンに置 き換えられる。残りのトークンは元のトークンのま まで残される。これは，多ウンストリームタスクに おいて [MASK] トークンが出現しないことを考慮し たためである. Liu ら [4] はBERT を改良したモデル RoBERTaを提案し, データセットの増大や動的マス キングなどにより精度を向上させた。

大喜利データセット 中川ら [5] は大喜利を複数 の指標に分解し，クラウドソーシングを用いて各指標に対しアノーテーションを行うことで，定量分析可能な大喜利データセットを構築している.

## 3 川柳データセットの構築

本研究では川柳を構成する要素を複数のわかりや すい指標に分解し，定量分析を行うために川柳デー

タセットを構築する。

## 3.1 川柳データの収集

川柳は川柳投稿サイト「まるせん」1) より提供を受 けたものを用いる.このデータは川柳，お題，作者 を含む 581,336 句からなる.

## 3.2 川柳データの前処理・フィルタリング

本研究では，川柳の評価をクラウドソーシングを 用いてアノテーションする．アノテーション対象の 川柳を選別するために，川柳の前処理・フィルタリ ングを行う．投稿川柳にはしばしば絵文字を含んで いるものがある.これらは実験で用いる言語モデル の語彙に含まれていないため削除する。また，上記 サイトではお題を作者が自ら設定し投稿するため，不適当なお題やイレギュラーなお題が散見される. そのため，クラウドソーシングにかける川柳につい ては，運営によりあらかじめお題が指定されている 「コンテスト」の川柳を採用する. コンテストはサ イト内で定期的に開催され，その度に 10 句ほどの 入選作品が選出されるため, ある程度の川柳の質が 担保される. データ収集時点までに開催されたコン テスト 304 回のうち，時事的なお題（例: VAR）や長 いお題（例: 最近の若いもん）を除き名詞や形容詞 を中心に 250 題について，フィルタリングを行っ た. 各お題について入選作品+それ以外を合わせ 20 句ずつを選出し, 合計 5,000 句の川柳を抽出した.

## 3.3 川柳の面白さの細分化と評価のアノ テーション

前節で述べた 5,000 句の川柳に対し，クラウド ソーシングを用いてアノテーションを実施する. プ ラットフォームは Yahoo!クラウドソーシング2)を用 いる. 川柳の解説書 $[6,7]$ を参考に，川柳を 8 つの 指標に細分化し, それぞれの指標について 5 段階評価を行ってもらう．細分化した指標を下記に示す。

1. 句がお題に沿っている (along)

2. 場面をイメージしやすい・わかりやすい (imaginable)

3. 句に対比の構図がある (contrast)

4. あたりまえ・ありきたりなことは言っていない (usual)

5. 不適切な表現が含まれていない (appropriate)

1) https://marusenryu.com/

2) https://crowdsourcing.yahoo.co.jp/
6. 語のリズム感・軽快さがある (rhythmic)

7. 言い回しに独創性がある (unique)

8. 体験や体感への想いが感じ取れる・余韻がある (experience)

これらの項目に，

・総合的に良い川柳である (overall)

を加え，合計 9 個の指標について，1句あたり 10 人 のクラウドワーカを雇い，その平均値を正解ラベル として付与する. クラウドワーカにはお題，川柳が 与えられる。

## 4 SenryuBERT の構築

既存の言語モデルは新聞やウェブテキストで学習 しているため, 川柳の風刺的な文脈や語順などのリ ズム感を理解できない可能性がある．この問題に取 り組むために，川柳データを活用し，言語モデルの 追加学習を行うことで SenryuBERT を構築する.

## 4.1 ランダムトークン置換 (RTR)

2節で述べた通り，BERT [3] のMLMでは，予測す るトークンのうち，80\%を[MASK] トークン，10\% をランダムな他のトークン，10\%をそのままのトー クンにして学習を行う．川柳のような短い系列を入力とする場合, $[$ MASK] トークンと異なり, ランダ ムなトークンに置き換えると，BERT の特徴量はラ ンダムなトークンの影響を大きく受けるため，文脈 が破綻する可能性がある．これを防ぐため，通常の MLM に加えて，ランダムなトークンの置き換えを しない学習も行い比較する。

## 4.2 追加学習

川柳データを用いた言語モデルの追加学習は, 早大 RoBERTa-base ${ }^{3)}$ をべースとして行う．学習は表 1 に示す 4 種類の条件で行う. モデル 3 の場合は入力を “お題 [SEP] 川柳” とし，その他のモデルでは “川柳”とする．また，学習時にマスクされるトーク ンにお題は含まれないようにする。実験で使用する ハイパーパラメータを付録 B に示す.

## 4.3 結果

各モデルの [MASK] トークンの予測例を表 2 に 示す. 例には条件 $1,2,3$ とべースラインの早大

表 1 追加学習における学習条件設定

表 2 [MASK] トークンの予測例（入力：“歯ブラシと一緒

RoBERTa-base の結果を示す. 付録 C に他の予測例 を掲載する。定量的な評価は次節のダウンストリー ムタスクにて行う。

定性的評価 ベースラインの RoBERTa では助詞 や関係のない名詞・助詞が予測され, 正解と近い単語の出力は見られない. 条件 3 のお題と川柳を入力 として学習したモデルではベースラインほど遠く はないものの，正解に近い予測はほとんど見られな かった. 条件 1 と 2 のモデルはどちらもある程度の ニュアンスが捉えられており，正解に近い予測がで きている. 条件 2 のモデルでは生起確率が他と比べ て高くなっており，これはランダムトークンによる 文脈の摇れが抑えられたためと思われる。

## 5 川柳構成要素の分析・予測

本研究では，川柳の面白さという曖昧な要素を直接予測する場合と， 3 節で示した 8 つのわかりやす い指標に分解してから予測する場合の精度を比較す る. また，予測した各指標のスコアから総合評価を 予測するタスクを行い，総合評価の予測精度の比較 を行う。まとめると下記の 3 つの実験を行う。

1. 川柳から総合評価の予測

2. 川柳から各指標の評価の予測

3. 各指標の評価から総合評価の予測

実験 1,2 には既存のモデルや 4 節で構築したモデル などの BERT-like モデルを使用し, 実験 3 には決定木アルゴリズムの LightGBM [8]を使用する.

## 5.1 実験設定

実験 1,2 では事前学習済み BERT-like モデルを回帰問題としてファインチューニングすることで，川表 3 総合評価の予測結果

柳から総合評価や各指標の評価を予測する. 4 節で 構築した SenryuBERT に加え，BERT や RoBERTa で の学習を行う. モデルの詳細と学習に用いた八イ パーパラメータは付録 $\mathrm{A}, \mathrm{B}$ に示す. 学習に使用す るデータセットは 3 節で構築した川柳データセッ トを用いる。データセットは訓練用 4,000 句，検証用 500 句，テスト用 500 句に分割する. 川柳はお題 ありきであるため，モデルへの入力は“川柳 [SEP] お題”とする。各指標についてファインチューニン グを 10 回行い，精度を平均值と最大值で算出する. モデルの評価には Pearson の相関係数を用いた.

実験 3 ではまず，実験 1,2 から最良のモデルを選択し，訓練データの各指標を予測する (自動ラベル と呼ぶ). 各指標の自動ラベルから LightGBM を用 いて総合評価を予測し，実験 1 のスコアと比較す る. LightGBM の学習に用いたハイパーパラメータ を付録 B に示す。訓練データに自動ラベルを付与す る手順は，まず，訓練用データを 10 分割する.そ のうち 9 個のデータ (3,500 句)を用いて学習したモ デルで，残りの 1 個のデータに対して各指標のスコ アを予測しラベルとする。これを 10 個の分割全て で行い，4,000 句に自動ラベルを付与する.

## 5.2 実験結果と考察

川柳から総合評価の予測 川柳から直接総合評価を予測した際の評価結果を表 3 に示す. 3 節で提案した SenryuBERT は RoBERTaをベースとしたモ デルであるが，RoBERTa ベースのモデルに関して はすべて BERT よりも最大値で良い精度となった が，RoBERTa と SenryuBERT の間に大きな差はみら れなかった. しかし, SenryuBERTにおいてRTRを 行わなかった場合や，お題を入力に加えて学習し た場合は精度の向上が見られた。最良のモデルは SenryuBERT において，RTRを行わず，[MASK]トー クンの割合を $80 \%$ とした場合で，SenryuBERT とは 最大で約 0.07 の差が見られた. ただし，お題を入力 に加えて学習した SenryuBERT 以外のモデルは精度
表 4 各指標の評価の予測結果

表 5 各指標における川柳評価の予測例と比較 (川柳: “札束を 数え快感 銀行員”, お題: “現実逃避”)

が安定せず，データの順序などの影響を受けやすい ことが分かった. 表 5 に総合評価を川柳から直接予測する場合と提案手法との比較例を示す. 提案手法 が僅かに良い予測ができていることがわかる．表 5 に示す指標は 3 節で示した指標に対応している.

川柳から各指標の評価の予測 川柳を入力とし て 3 節に示した各指標の評価を予測した結果を表 4 に示す. 表 4 には SenryuBERT のファインチュー ニングによる結果と, 総合評価の予測にて高精度 であったRTRを行わないモデルの結果を示す。い ずれの指標においても，RTRを行わないモデルは SenryuBERT の精度を上回る結果となった. この内,総合評価の予測より高い精度となったのは, 体験や 体感への想いが感じ取れる・余韻がある (experience) のみであった.

各指標の評価から総合評価の予測 本実験では，川柳から各指標の評価の予測において精度の高かっ た SenryuBERT -RTR (90\%) のモデルを用いて訓練 データに自動ラベルを付与し，LightGBM の学習を 行う. 川柳から直接総合評価を予測した結果と，各指標のスコアの予測から総合評価を予測した結果 を表 6 に示す. データセットの各指標の正解ラベル をもとに総合評価を予測する場合には，非常に高い 精度で予測ができている. これは，細分化した 8 個 の指標が，人が川柳の面白さをどう理解しているか をうまく表す基底になっていると理解できる. 自動表 6 総合評価の予測結果の比較

ラベルで学習した場合には，正解ラベルと比べて大幅に精度は下がるが，川柳から直接予測する場合と 比べると， 0.01 ほど高い精度が得られ，提案手法が やや高い精度で予測できていることがわかる. 自動ラベルの精度があまり高くならない原因として， experience しか overall の精度に勝っていないことが 考えられる。

## 6 おわりに

本研究では，現状取り組まれていない川柳という 文芸を理解するタスクに機械学習を用いて取り組ん だ. 川柳から直接総合評価を予測するアプローチを ベースラインとして，川柳を相対的にわかりやすい 指標に細分化し，それぞれの項目の予測を組み合わ せることで総合的な評価を予測する手法を提案し た. 提案手法はベースラインに比べて若干の精度の 向上が見られた.

今後，川柳の面白さの理解を目指すには更なる精度の向上が必要である。また，提案手法を活かし，川柳の生成タスクに取り組んでいきたい。

## 謝辞

川柳データを提供いただいた川柳投稿サイト

「まるせん」に感謝する. 本研究は JSPS 科研費 JP22H01103, JP21H04901 の助成を受けて実施した.

## 参考文献

[1] Samuel R. Bowman, Luke Vilnis, Oriol Vinyals, Andrew M. Dai, Rafal Jozefowicz, and Samy Bengio. Generating sentences from a continuous space. 2015.

[2] Jimpei Hitsuwari, Yoshiyuki Ueda, Woojin Yun, and Michio Nomura. Does human-ai collaboration lead to more creative art? aesthetic evaluation of human-made and ai-generated haiku poetry. Computers in Human Behavior, Vol. 139, p. 107502, 2023.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[5] 中川裕貴, 村脇有吾, 河原大輔, 黒橋禎夫. クラウド ソーシングによる大喜利の面白さの構成要素の分析. 言語処理学会年次大会発表論文集, Vol. 25, pp. ROMBUNNO.B3-2 (WEB ONLY), 2019.

[6] 新家完司. 川柳の理論と実践. 新葉館出版, 2011.

[7] 野林正路. 詩・川柳・俳句のテクスト分析. 和泉書院, 2014.

[8] Guolin Ke, Qi Meng, Thomas Finley, Taifeng Wang, Wei Chen, Weidong Ma, Qiwei Ye, and Tie-Yan Liu. Lightgbm: A highly efficient gradient boosting decision tree. Advances in neural information processing systems, Vol. 30, pp. 3146-3154, 2017.

## A 学習に使用したモデル

5 節の実験 1,2 で使用した BERT-like モデルの詳細を表 7 に示す.

表 7 学習に使用した事前学習モデルの詳細

 & Wikipedia \& CC-100 & $125 \mathrm{M}$ & 768 & 32,000 \\
(nlp-waseda/roberta-base-japanese-with-auto-jumanpp) & & & & \\

## B ハイパーパラメータ

表 8 に，4 節の実験で使用したハイパーパラメータを示す.また，表 9 には，5 節の実験 1,2 で使用した八 イパーパラメータを示す. 表 10 に示すのは， 5 節の実験 3 で使用したハイパーパラメータである.

表 8 RoBERTa の追加学習に使用したハイパーパラメータ 表 9 BERT-like モデルのファインチューニングに使用した

表 10 LightGBM の学習に使用したハイパーパラメータ

## C SenryuBERT の予測例

表 11 に，SenryuBERTによる [MASK] トークンの予測例を示す.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 不適切投稿自動検出システムの構築と放送禁止用語による検証

近藤昌也 ${ }^{1}$ 狩野芳伸 ${ }^{2}$
${ }^{1}$ Septeni Japan 株式会社 2 静岡大学
masaya.kondo@septeni.co.jp kano@inf.shizuoka.ac.jp

## 概要

偏見や誹謗中傷といった不適切な表現を検知する モデルの構築には従来アノテーションを必要とし てきたが，本研究はアノテーション無しに半自動的 に訓練データを構成するシステムを提案する。不適切な単語リストを予め用意し，不適切な単語を含む SNS 投稿を頻繁に行うユーザとそうでないユーザを ルールベースで分類し，機械的にアノテーションに 相当する訓練データを用意する. この訓練データで 構築されたモデルは, 特定の不適切表現に基づくア ノテーションデータで学習されたモデルに比べて,背後にある潜在的なユーザ属性を捉え様々な不適切表現をより有効に検知できる可能性を示す.

## 1 はじめに

近年, SNS 上の誹謗中傷書き込みが社会問題と なっている. その背景のひとつには，コロナ禍によ り社会全体が不安に包まれている中，SNS の利用時間が増えネガティブな情報に触れる機会が多くなっ たことが挙げられる [1]. このような状況の下, SNS 上の偏見や誹謗中傷といった不適切な書き込みを検知するシステムの開発は社会的に重要であり, 様々 な研究が行われてきた $[2,3,4,5]$. いずれの先行研究においても SNS 等のインターネット上の文章に 対し不適切かどうかのラベルを人手で付与し， モデ ルの学習を行っており, 人的コストがかかる. 日本語の公開学習済みモデルで関連するものとしては, ネットいじめのデータで学習したモデルがある $[4]^{1)}$ が，いずれの先行研究でも公開アノテーションデー タをみつけることができず，報告されたモデルの再現が難しい. また，学習データが特定ドメインや小規模であり未知語に弱く, 対象の特徴である新出単語の多さや不適切な表現の幅広さに対応し難い.

我々は，不適切な SNS 投稿の検知モデル構築のた

1) https://huggingface.co/ptaszynski/yacis-electra-small-japanesecyberbullying
めに，不適切かどうかの人手アノテーション作業な しに，モデル構築のためのデータを半自動的に収集 するシステムを提案する. 本研究のデータ収集シス テムは最初に不適切な単語のリストを定義する必要 があるが，それ以外は機械的に実行できる。

本研究では，不適切な表現をより高頻度に使用す るユーザは，最初に種として与えた単語リストにな い不適切な表現をも含む投稿が多い，と仮定する。 そのうえで，提案システムではこの不適切な単語の リストを用いて，不適切な投稿をしがちな SNS ユー ザ群（不適切群）とそうでない一般のSNS ユーザ群 （一般群）をルールベースで分類し，それぞれのユー ザ群における投稿を大規模収集することで，不適切群かどうかの二値分類ラベルが付与された投稿デー タセットを構築する．単に半自動的構築ができるの みならず，潜在的なユーザ属性とさまざまな表現の 広がりを捕捉できると期待する。この二値ラベル付 き投稿データを用いて，SNS などの投稿が適切かど うかを分類し, 荒井ら [6] が作成した日本語へイト スピーチコーパスと，自前で作成した偏見アノテー ション付き投稿コーパスとでその性能をそれぞれ検証し，提案システムが有効に動作することを示す。

## 2 関連研究

松葉ら [2] は, 学校非公式サイトに投稿された書 き込みに対し，検知すべき有害情報の定義を行っ た. 有害・無害情報を含む実際の書き込み 500 件に 対し， 6 人のアノテーターで有害（削除），有害（審議), 無害の 3 つのラベルを付与し，アノテーショ ンラベルの一致度を確認し有害情報の定義に問題が ないことを確認した上で 2,998 件の書き込みに対し ても同様のラベル付けを行い，教師データを作成し た.このデータを用い，書き込み文章の品詞の素性 やTF-IDF などのスコアを特徴量として SVM[7] で 有害・無害を分類するモデルを構築した。

石坂ら [3] は，誹謗中傷のような「悪口文」は「悪口単語」の有無で十分に判断可能という仮説のも

図1 不適切群ユーザのデータ収集の流れ

図 2 不適切群ユーザのバイアス単語抽出方法

と, 単語の「悪口度」を用いて素性選択したSVM で，2ちゃんねるの書き込みから誹謗中傷かどうか を分類するモデルを構築した. モデルを構築する際 には2ちゃんねるから悪口文・非悪口文をそれぞれ 1,400 文ずつ収集している.

柴田ら [4] は, 口語的な文章の処理に焦点を当て た ELECTRA[8] による事前学習済み言語モデルを構築し, 応用例として口語の理解が必要なネットいじ め検出を扱っている. 松葉ら [2] の学校非公式サイ トの書き込みデータに加え, Twitter から収集した有害ツイートデータセットを組み合わせてネットいじ め検出データセットを構築している。

松本ら [5]では，BERT[9]を使って Twitter に投稿 されたリプライツイートがリプライ元のツイートを 煽っているかどうかを分類するモデルを構築してい る. リプライツイートとリプライ元ツイートの組を 収集し，ツイートの組に対し，人手で煽り・非煽り のラベルを付与し，煽りッイートの組 2,134 件，非煽りツイートの組 7,786 件を構築している.

いずれの研究においても，人手でラベル付けし たデータを使ってモデルを構築しているが，デー タが公開されておらず再現が難しい. 柴田ら [4] は HuggingFace 上で学習済みモデルを公開している.

## 3 提案手法

本研究では，SNS 投稿が不適切かどうかを分類す るための訓練データを, 人手のアノテーション作業 を行わずに構成するシステムを提案する。提案シス テムはたとえば Twitter のように，投稿を取得する API が公開されており，かつそのプラットフォーム 上のユーザとユーザの投稿内容が紐づく SNS から
のデータ収集を想定している.

最初に「種」として予め不適切な単語のリストを 用意し, 不適切な単語を含む投稿をより高頻度に行 うユーザを不適切群とみなして抽出する（図 1). 全投稿に共通する形態素列が多いユーザや全投稿に URL を含むユーザは，BOT や商品宣伝用のアカウ ントの可能性が高いため除外した。こうして得られ た不適切群の各ユーザについて，投稿を収集する. さらに，不適切群以外から無作為抽出したユーザを 一般ユーザとみなし，ユーザを 2 群に自動分類す る. こうして得られた 2 群の投稿セットを用いて分類を学習し，不適切投稿推測モデルを構築する.

## 4 実験

## 4.1 放送禁止用語を利用した不適切 Twitter ユーザ群とその投稿の収集

Twitter 投稿を対象に，種となる不適切な単語リス トとして放送禁止用語2)を採用し, 不適切群ユーザ のツイートデータを 2022 年 3 月 24 日から 2022 年 7 月 12 日の間で収集した. 5 ツイート以上投稿履歴 があるユーザの中から, 収集期間中に放送禁止用語を含むツイートを 3 回以上行ったユーザを不適切群ユーザとして，1,243人の不適切群ユーザ, 計 1,209,138 件の投稿を集めることができた. mention や hashtag の文字列はツイートテキスト中から削除 した. 文字数が少ないツイートや，放送禁止用語自体を含むツイートも削除した。

実際に収集された不適切群ユーザのツイートを 分析したところ，社会情勢（ロシアとウクライナの 戦争や選挙，新型コロナウイルス関連）に関する時

2）放送禁止用語一覧 http://monoroch.net/kinshi/で紹介されて いる見出し語
事的なツイートが相当数含まれていた. 時事的なト ピックのツイートかどうかで容易に分類ができてし まうと, 必ずしも本研究の目的にそぐわないため, これらのトピックの代表的な特徴語を抽出し（図 2), 抽出された単語を含むツイートを不適切群ユー ザのツイートから除外する処理を準備した. 実際に 抽出された単語は「日本，ロシア，ウクライナ，国民，中国，日本人，ワクチン，戦争，自民党，コロ ナ」であった.

## 4.2 不適切投稿分類の学習

分類モデルは事前学習済みの日本語 BERT モデ ル3)の最終層に全結合線形層を 1 層追加しファイン チューニングを行って構築した。一般群ユーザから 不適切群と同数のユーザをランダムピックアップし た上で，一般群ユーザ，不適切群ユーザそれぞれを 7:1.5:1.5 で三つにランダム分割し, 学習データ，検証データ，テストデータに分けた。

前節で説明した手法により，時事単語を含むツ イートを不適切群ユーザのツイートから除外した データを使って学習したモデル（*notopical）も用意し比較した. notopical がモデル名末尾にないも のはこの時事単語の除外を適用していない.

学習時に与えるデータの単位として，1ツイート (1tweet_*), 5ツイート (5tweet_*), モデルの入力最大長である 512 トークン (maxlength_*) の 3 種類を 比較した. すなわち，学習時のエポック毎に対象 ユーザを割り振り，そのユーザのツイートをランダ ムサンプリングして， 1 件， 5 件ないし最大長に至 るまで結合して入力とした.

学習は HuggingFace の Trainer クラズ)を使って行 い，検証データの ROC-AUC が最大になる時点のモ デルを保存した. 学習に使用した主な設定情報は表 5 の通りである.

## 5 評価

前章で説明した提案モデル 6 種類（1 ツイート単位, 5 ツイート単位, 最大長の 3 種類と, 時事トピッ クを除外するしないの 2 種類の組合せ）に，ベー スラインとしてネットいじめデータで訓練した柴田ら [4] の公開学習済みモデル (yacis-electra-smalljapanese-cyberbullying, 以下 cyberbullying と呼ぶ）を 加えた計 7 種類のモデルを対象に評価を行った.

$\frac{\text { 表 } 1 \text { 検証・テストデータにおける精度 (ROC-AUC) }}{\text { 検証データ テストデータ }}$

評価データとして，前述の半自動的に構築した不適切・一般の二值分類データセットに加え, 荒井ら [6] の日本語へイトスピーチコーパスと，我々が独自に作成した 5 ちゃんねるの偏見アノテーション付 き投稿コーパスとの 3 種類を用いた。

## 5.1 不適切群ユーザ群投稿分類

不適切かどうかの二値分類データにおける ROC-AUC スコアを表 1 に示す. スコアは入力長が 長いほど向上し, 時事単語を除くと全体に数ポイン ト下落したが，maxlength_notopical のテストデータ 評価値は 0.97 であり，提案手法により収集した一般群と不適切群ユーザの投稿は BERT モデルにより高 い精度で分類可能であることがわかった.

## 5.2 日本語ヘイトスピーチコーパス

日本語ヘイトスピーチコーパスでは，キーワード 「コロナ」を含むツイート 230 件，含まないツイー ト 270 件の合計 500 件のツイートに対し，へイトス ピーチの分類を攻撃対象 (A カテゴリ) と攻撃タイ プ (B カテゴリ)の 2 軸で分け，各々を細分化したガ イドラインを設計している。また，3名のアノテー ターが各カテゴリにおけるラベルに投票しており，各カテゴリについて全員が一致した割合を計算した ところ, 平均 $70.2 \%(43.2 \% \sim 97.0 \%)$ であった.

実験の評価値として，A1 から B5 までの各カテ ゴリについて，各ツイートに対する 3 名のアノテー ターの投票数と, 各モデルが不適切群ユーザと予測 した確率の相関係数を算出した（表 2）.

## 5.35 ちゃんねる偏見コーパス

5 ちゃんねるの「私の中の偏見...」「愚痴・悪口】 ネガティブ専用チラシの裏...【誹謗中傷】」スレッ ド5）における書き込みから 1,000 件を抽出し， 3 名

5) http://medaka.5ch.net/test/read.cgi/kankon/1637901301, https://medaka.5ch.net/test/read.cgi/wmotenai/1655780116, https://medaka.5ch.net/test/read.cgi/wmotenai/1626458070
表 2 日本語ヘイトスピーチコーパスの各カテゴリにおける相関係数

表 35 ちゃんねる偏見コーパスにおける評価スコア

のアノテーターにより，5ちゃんねるの書き込みそ れぞれに対し偏見に当てはまるかを 0（当てはまら ない)，1（少し当てはまる），2（概ね当てはまる）， 3（強く当てはまる）の 4 段階でラベル付与を行っ た. Accuracy によるアノテーター間のラベル一致率は，全員一致の場合で $29.8 \% ， 2$ 名一致の場合で $87.2 \%$ あった. ラベルが 0 かそうでないかの二值分類とみなすと，全員一致が $52.5 \%$ であった.

5 ちゃんねる偏見コーパスについても同様に，3 名のアノテーターの評価ラベルの平均值と不適切群 ユーザに属する予測確率値の相関係数を算出した. また，1名でも 1 以上のラベルをつけていた場合は 偏見ラベル，全員が 0 とラベル付していた場合は正常ラベルとする二値分類タスクの ROC-AUC スコア の算出も行った（表 3).

## 6 考察

表 4 不適切群ツイートのイメージ

日本語ヘイトスピーチコーパスの B5 カテゴリは 「誹謗中傷に該当しない」である．B5に着目した二值分類を実行すると，ROC-AUC スコアは 0.7 程度 であった。不適切群ユーザで投稿と予測した確率と は，5tweet_notopical と 1tweet_notopical が負の相関 を示し，いじめ問題で学習された cyberbullying より も負の相関が強い. 提案手法はヘイトスピーチを判別する性能があることが伺える．5ちゃんねる偏見 コーパスの評価スコアも同様の結果となった.

日本語ヘイトスピーチコーパスや 5 ちゃんねる偏見コーパスの評価スコアに比べて，不適切群ユーザ 群投稿の分類ははるかに評価スコアが高かった. 前述のように，それぞれのコーパスのアノテーション 一致率は二值分類タスクで $70 \%$ 程度であり，比較的難易度の高いタスク設計になっている。

また，提案手法により機械的に収集した訓練デー タのほうが，特定の有害情報を元に人手のアノテー ションで作成された訓練データよりも広く一般的な 不適切表現の特徵を多く含んでいた可能性がある.表 4 は実際に提案手法によって収集された不適切群投稿の例（原文の一部を改変）であるが，社会情勢 に関する投稿の他に，偏見や皮肉，誹謗中傷とも取 れる投稿が見受けられた。

## 7 おわりに

本研究では，アノテーション作業なしに半自動的 に不適切な表現に関するデータを収集してモデルを 構築するシステムを提案しその有効性を検証した。今後の課題として，種として用意する放送禁止用語 を別の不適切な単語群に置き換えても同様の結果が 示せるのか調査したい。また今後の応用例として，全く別の観点における単語リスト（例えばポジティ ブな表現の単語リストなど）を用意し，同様のデー タ収集を行うことで，どのような属性のデータが収集できるのか，また収集したデータを使って機械学習モデルを構築したとき，どのようなタスクに応用 できるのか検討したい.

## 謝辞

日本語ヘイトスピーチデータセットを提供いただ いた理化学研究所の荒井先生に感謝いたします.ま た本研究を進めるにあたって, Septeni Japan 株式会社の勢风弘幸氏と勝谷龍一氏から日々助言をいただ き感謝いたします。

## 参考文献

[1] 山口真一. わが国における誹謗中傷・フェイクニュー スの実態と社会的対処. Technical report, プラット フォームサービスに関する研究会, 2021.

[2] 松葉達明, 栘井文人, 河合敦夫, 井須尚紀. 学校非公式 サイトにおける有害情報検出. 言語処理学会 第 16 回年次大会 発表論文集, pp. 383-386, 2010.

[3] 石坂達也, 山本和英. Web 上の誹謗中傷を表す文の自動検出. 言語処理学会 第 17 回年次大会 発表論文集, pp. 131-134, 2011.

[4] 柴田祥伍, プタシンスキミハウ, エロネンユーソ,ノ ヴァコフスキカロル, 栘井文人. 日本語大規模ブログ コーパス yacis に基づいた electra 事前学習済み言語モ デルの作成及び性能評価. 言語処理学会 第 28 回年次大会 発表論文集, pp. 285-289, 2022.

[5] 松本典久, 上野史, 太田学. Bert を利用した煽りッイー ト検出の一手法. データ工学と情報マネジメントに関 するフォーラム, pp. I14-2, 2021.

[6] 荒井ひろみ, 和泉悠, 朱喜哲, 仲宗根勝仁, 谷中瞳. ソー シャルメディアにおけるへイトスピーチ検出に向け た日本語データセット構築の試案. 言語処理学会 第 27 回年次大会 発表論文集, pp. 466-470, 2021.

[7] Vladimir N. Vapnik. The Nature of Statistical Learning Theory. Springer, 1995.

[8] Quoc V Le Kevin Clark, Minh-Thang Luong and Christopher D Manning. Electra: Pre-training text encoders as discriminators rather than generators. arXiv preprint arXiv:2003.10555, 2020.

[9] Kenton Lee Jacob Devlin, Ming-Wei Chang and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprintarXiv:1810.04805, 2018.

## A 付録

## A. 1 学習時の主な設定情報

表 5 学習時に使用した主な設定情報

## A. 2 学習モデルの予測の振る舞い例

提案手法により構築したモデルのうち，日本語ヘイトスピーチコーパスと 5 ちゃねる偏見コーパスの評価スコアが最も良かった 5tweet_notopical モデルについて，不適切群ユーザ群の予測確率の振る舞いを例文 とともに紹介する（表 6）.

誹謗中傷や偏見と考えられる不適切な文章は，不適切群ユーザである予測確率は高めに算出される傾向に ある。また不適切なコピー文と思われる文章についても日常会話などの一般的な文章と比べると不適切群 ユーザである予測確率は大きくなる傾向にあることがわかる.

表 6 モデルの予測例


# 検索モチベーションクラスタリングにおける価値のあるクラスタと その応用としての適用条件および検索モチベーション分析システム

Dinh Trong Thang ${ }^{1}$ 岩井千妃呂 ${ }^{1}$ 大西一貫 ${ }^{1}$
${ }^{1}$ 株式会社アイレップ
\{thang_dinh, iwai_chihiro, kazuhiro_onishi\}@irep.co.jp
}

\begin{abstract}
インターネット広告におけるインターネットユー ザが検索したい情報単位での集計分析作業について 実現可否の事前予測を実現するため，クラスタリン グ結果に対する「価値のあるクラスタ」，およびそ のクラスタに基づくキーワード数を用いた適用可能条件を定義し，それらを活用した検索モチベーショ ン分析システムを提案する. 有効な結果が得られる かの事前判別が可能となることで，実務者の負荷が 減り，業務の高品質化につなげることができる. 広告グループ内キーワード数を用いた適用条件評価に おいて $70.9 \%$ の精度で事前に予測できることを確認 し，システムの実務適用における 5 人の実務者によ る有効性評価において，60\%の好意的な回答を得て いることから，提案システムの有効なデータ提示が 実現できていることを確認している. 改善するポイ ントをさらに追及し，より高度な細かいインターネ ットユーザ行動分析，豊かな広告コミュニケーショ ンの実現を目指す。
\end{abstract
## 1 はじめに

インターネットユーザが検索して得たい情報（以下，検索モチベーション）単位で集計や分析を行う ことは効果的かつ効率的な広告配信を行う上で重要 な分析工程であるが，手作業で行うには集計作業に 時間がかかるため自動化のニーズが高まっている.

広告配信を行った際に媒体から提供されるレポート 群の 1 つであるキーワードパフォーマンスレポート データに対して，BERT および HDBSCAN を用い た検索モチベーションクラスタリング[1]では，試験的にいくつかの案件で業務利用可能であるという 成果を得ているが，広告配信の規模や運用期間の長 さによって十分な成果が得られない場合も観測され ており，多数の案件を運営する上で適用可能かどう かを事前に予測することは運用上重要な課題となっ ている。クラスタリングはキーワードの種類や数に
よって出力が大きく異なることから，キーワードを 予め分析することで適用可能かどうかを事前に予測 することは可能である.

適用可能かどうかを判定するために「価值のある クラスタ（以下，価値クラスタ）」を定義し，その 活用例として株式会社アイレップにおける適用可能条件を導き，業務に適したアプリケーションとして 検索モチベーション分析システムを提案する。より 深い分析をシステム化することで手作業の負担が少 なく，これまで深い分析を諦めなければいけなかつ た時間的猶予のない状況下でも安定した分析が行え るようになり，マーケターはさらに前進的なマーケ ティング戦略を立案することに集中できる.

Google Ads の Keyword Performance Report を用い た実運用案件において，適用可能かどうかをキーワ ード数で判定するロジックについて，価值のあるク ラスタに基づいたデータセットに対する適用条件の 精度を評価する.システムの提示が適切であるかど うかは 5 名の専門家に対する使用感アンケートを取 り，評価する。

適用可能かどうかを判別する判別条件と業務が利用しやすいデータ構造に整理し表示する検索モチベ ーション分析システムについて 2 で述べ，適用可能判定の精度評価実験を 3 で紹介し，システムの実務者によるアンケート評価実験を 4 に示す.

## 2 価値クラスタの定義および

## 検索モチベーション分析システム

## 2. 1 価値クラスタの定義と適用条件

検索モチベーションクラスタリングを実際の業務 に適用する際，データの連携やアカウントの発行手続きなどを通して処理が行われるため，試験的に適用するには処理に時間がかかることが多い. 特に広
告配信の案件を複数持っているような実務者にとっ て, 複数の案件についてそれぞれが適用可能かどう かを実際にクラスタリングシステムの出力を見てか ら個別判断する状況では負担が大きいため, 分析す る前に適用可能かどうかを予測することは極めて重要な課題である.

検索モチベーションクラスタリングは既に配信さ れている実績データの出稿時に設定されたキーワー ドに対して行うため, キーワード数から分析に十分 に耐えるデータを生成できるかどうかを判定して実務者に前情報として提示できる.

業務上分析対象として有効なクラスタを価値のあ るクラスタとみなし，3つ以上のキーワードを含み 形態素解析で共通する単語がないクラスタを価値の あるクラスタ（以下，価値クラスタ）とする。価値クラスタの定義を利用して検索モチベーショ ンクラスタリングの業務適用条件を次のように定義 することができる.

「適用可能」の広告グループは広告グルー プの中に価値クラスタが 1 つ以上含まれて いる広告グループ

「適用不可」のグループは広告グループの 中に価値クラスタが含まれてない広告グル ープ

価値クラスタが 3 つ以上のキーワードで構成される 理由は人の解釈性によるもので，2つのキーワード だけでは互いに反する語であったり，セマンティッ クにかけ離れたキーワードで構成されてしまったり する場合, 人の解釈が極めて難しいクラスタとなっ てしまう．より人の解釈性を上げるためには 3 つの キーワードが最低限必要となるため, 価値クラスタ は3つ以上のキーワードで構成されている.

価値クラスタが 1 つだけある場合でも「実務者が 新しくクラスタを発見できること」などのメリット が生じる可能性があり, 複数の価値クラスタが含ま れている場合でもこのメリットは生じる. したがっ て, 適用条件として価値クラスタが 1 つ以上含まれ ていることは「適用可能」という判断が妥当であ る. 価値クラスタが 1 つも含まれていない場合はメ リットが発生しないことから, 適用条件の最小条件 は価値クラスタが 1 含まれている事である.

価値クラスタの存在確率はキーワード数と相関が あるため, 価値クラスタの存在に基づいた適用可能判定はキーワード数を用いて予測可能である.

## 2. 2 検索モチベーション分析システム

広告配信で運用されるアカウントの構造は, 事前 にクライアントの合意を得た設計で構築されている が，運用期間が長くなるにつれて設計当初の構成と は異なる粒度（トレンドやインターネットユーザの ニーズなど）で分析・集計したいという要求は発生 しやすく, 幅広い戦略を行うほどアカウント構造は 大きくなっていくため都度分析を手動で行うことが 困難になっていく.この集計分析を自動化すること で安定した分析が可能となり実行コストが低減され るが，システムは実務者が管理しやすい粒度でデー 夕を管理する必要がある。

実務者が広告のキャンペーン情報とクラスタリン グのパラメータを入力してから, 配信実績の画面が 表示されるまでのフローを図 1 に示す. 前処理プロ セスとして配信実績レポートを取得し，キーワード データの中に含まれている媒体指定フォーマットの 特殊記号や余分なスペースを削除するなどのキーワ ードクレンジングを行い，キーワード数の情報から ロジスティック回帰で適用可能判定を行い, 「適用可能」と判定されたデータ内のキーワード群を[1] と同様に BERT，HDBSCANを通して検索モチベー

図 1 実務者の入力から表示までの流れ

ションクラスタリングを行う. 適用不可能だった場合はその旨の通知を画面上に提示する。

集計プロセスではキャンペーン単位で生成された クラスタについて, 広告運用時の運用粒度である広告グループごとの実績として集計し, 結果を実績表 と円グラフと散布図で可視化する. 実績表は広告グ ループ単位で表示され, システムは既存の実績表に クラスタ番号を付与して表示することで，実務者は これまでの作業で見慣れているフォーマットから大 きく変わることなくデータを分析することが可能と なる. クラスタ番号単位での集計結果を同時に提示 することで，実務者はこれまで手作業で行って いた「インターネットユーザがなぜ検索しているの か，知りたい情報やモチベーションでクラスタリン グした際の費用対効果」などを矢庭に確認すること ができる. システムは同時にクラスタ単位の円グラ フ，インプレッション数—クリック数散布図，およ びクリック数—コンバージョン数散布図を出力し,実務者は円グラフから各クラスタの実績比を把握 し，散布図で各クラスタ間の相対的なパフォーマン スの比較を視覚的に分析することができる．クラス タ内に含まれている語句から, マーケティングファ ネルの分析，検索モチベーション動向の探索，各検索モチベーションのパフォーマンスの比較から, 配信強化の必要性や LP 再設計の必要性を検討し, 広告運用に活かすことができる.

検索モチベーションクラスタリングの入力はキー ワード数がある程度の規模が必要であることから広告キャンペーンのキーワード一覧を対象とするた め, クラスタリング出力そのものは下位レイヤーで ある広告グループの構造が破壊された形でクラスタ リングされている．通常，広告グループは事前にク ライアントの意向に沿って構築された意味のあるま とまりであるため, システムの出力を直接業務に使用すると，実務者がそのクラスタを再度広告グルー プに落とし込まなければならないという課題が生じ る.そこで，システムはあらかじめキーワードに広告グループ ID を紐づけた形で管理し，クラスタリ ングした結果を広告グループ単位に分割, 広告グル ープ内での検索モチベーションクラスタリングを集計することでこの課題を解決し, 実務者の理解を助 ける. クラスタの観点次第では異なるクラスタに含 まれていると都合が良いキーワードが存在している ため，システムは軽微な修正をドラッグ＆ドロップ のようなコストの低い操作で実現する UI を実装す
ることにより，実務者が理解しやすい出力を得るこ とができる.

## 32022 年の全実績を用いた適用可能判定の精度評価

ロジスティック回帰を用いて予測する適用可能判定について 2022 年にキーワード数が 3 以上の 49 , 795 件の広告グループから 233 件の広告グループを ランダムに抽出し，表 1 に示すデータセットとして 分割し，学習と検証を行う。

表 1 ロジスティック回帰の学習と検証セット

 & 58 & 55 \\

49,795 件の広告グループについて 95\%信頼区間の 許容誤差 $10 \%$ かつ回答比率 0.5 とする場合の統計的 な有意性が確認できる数は 96 であり，検証セット の広告グループ数 117 は十分な量である. このデー タに対して価值クラスタが存在する広告グループの ラベルを「1」（適用可能），価値クラスタがない 広告グループのラベルを「0」（適用不可能）とし てデータセットを作成し，ロジスティック回帰は広告グループのキーワード数から適用可能かどうかの ラベルを予測する。

表 2 ロジスティック回帰の学習結果

表 2 に示す通り正答率は $70.9 \%$ であり，キーワー ド数に基づいた広告グループの適用可能の判別が十分に機能している事を確認する。

$y$ は適用可能の確率と $x$ はキーワード数とする

と, 学習したロジスティック回帰のモデルの数式は $y=\operatorname{sigmoid}(0.05 \times x-1.11)$

となる。適用可能の確率は 0.5 より高い場合, 広告 グループは価値クラスタがあると同じ意味である. それに基づき，キーワード数の条件を見つけられ，

$
\operatorname{sigmoid}(0.05 \times x-1.11) \geq 0.5
$

$\Leftrightarrow \frac{1}{1+e^{-(0.05 \times x-1.11)}} \geq 0.5$

$\Leftrightarrow 0.05 \times x-1.11 \geq 0$

$\Leftrightarrow x \geq 22.2$

を得る. 広告グループのキーワード数は 23 以上の 場合, その広告グループに価値クラスタがある確率 は 70.9\%であり，検索モチベーションクラスタリン グ適用可能の広告グループとする. クラスタリング を実施する前に適用可能の広告グループをキーワー ド数に基づいて予測でき, 実務者のシステム体験を 向上できる.

## 45 名の実務者によるシステム利用 アンケート調査

Google Ads Keyword Performance Report $の 2022$ 年 01 月 2022 年 12 月までのデータ期間の中で 5 人の キャリアが十分に積まれた熟練の実務者がそれぞれ 任意のデータ対象期間を区切ってシステムを利用 し, 8 件のキャンペーンについて 2022 年 11 月 22 日～30 日までの 1 週間使用した上でシステムの有効性についてのアンケートを実施する，アンケート は選択形式と自由記述があり, 使用された質問と選択肢を表 3 , 回答の集計結果を表 4 にそれぞれ示 す.

表 3 実務適用確認実験における アンケートで提示された質問と選択し

 \\

表 4 実務者 5 名による回答集計結果

検索モチベーションで実績集計は業務上に必要と 答えた回答は $60 \%$ となっている.「いいえ」と回答した実務者の自由記述の中には「作業自体は必要 だと感じています. ただ，私が自分で構築するアカ ウントについては，そもそもモチベーションごとに 広告グループをわけるため, 広告グループ内のキー
ワードでクラスタリングする意味はそこまで感じら れなかった.」と，広告グループの整理が行き届い ているため好意的な回答に結びつかない案件も存在 している事を確認している。一方で，「はい」と回答した実務者からは「システム自体は簡潔で使いや すかったです. 各クラスタの特徴がよりわかりやす くなれば，散布図などは分析に活用できそうだと思 います.」と, システムの提示が有効であることを 確認している.

実験に使用したシステムに対する UI／UX の改善要求はいくつか自由記述の中でも見られ, 「散布図 は各自カスタマイズで指標を選択できるようにすれ ばよりよいかと思いました. 」などの声もあり，実装するシステムは改善する必要があるが，単純にク ラスタリングした結果をそのまま実務者に提示する よりも有効なデータ提示が実現できていることを確認する.

## 5 おわりに

価值クラスタ数 1 以上であれば適用可能とした 時, 広告グループ内キーワード数を用いた適用判定評価において $70.9 \%$ の精度で適用可能の広告グルー プを事前に予測できることを確認し，システムの実務適用における 5 人の実務者による有効性評価にお いて， $60 \%$ の好意的な評価を確認し，提案システム の実装は改善の余地があるもののクラスタリング結果をそのまま提示するより有効なデータ提示が実現 できていることを確認している.

価值クラスタを定義することで判別が一定に定ま り, 事前判別が難しかった適用判定の予測が可能と なり, マーケティングの戦略立案への注力がより行 えることによる業務の高品質化につなげることがで きる.

改善するポイントをさらに追及し，インターネッ トユーザの検索モチベーションの活用を広げること で, より高度な細かいインターネットユーザ行動分析や豊かな広告コミュニケーションの実現を目指于.

## 6 参考文献

1. BERT 及び HDBSCAN を用いた検索連動型広告 における検索モチベーションに基づくキーワードク ラスタリングシステム. ThangDinh, 岩井千妃呂, 大西一貫. 日本: 情報処理学会第 84 回全国大会, 2022 .


# Contrastive Learning を利用した類似特許検索

星野雄毅 ${ }^{1}$ 内海祥雅 2 中田和秀 1
1 東京工業大学工学院 2 楽天グループ株式会社
hoshino.y.ad@m.titech.ac.jp nakata.k.ac@m.titech.ac.jp

## 概要

近年，知的財産の管理は社会にとって大きな役割 を担っている．特に，特許は毎年 30 万件を超える 出願があり，膨大な量の特許を処理する上で多く の課題が存在する。そこで，本研究では特許を扱 う上で非常に重要な類似特許検索タスクについて， Contrastive Learning の応用を考えた. この際重要な 教師データ並びに Hard Negative の取得方法につい て提案を行った. さらに，実際の特許データを用い た数値実験を行い，その効果を検証した。

## 1 はじめに

## 1.1 類似特許検索の必要性

特許とは知的財産の一つで，発明を保護するもの である. 特許は各企業の技術を守るうえで重要な役割を果たしている。また，特許の審査を厳密かつ素早く行うことは特許制度を機能させる上で非常に重要である. したがって, 特許処理技術は, 企業側と 特許庁側の両面で有用である.

特許に関わる様々なタスクの中でも，類似特許検索は企業と特許庁の双方にとって非常に需要の高い タスクである。まず，特許庁にとっては審査を行う 上で類似特許検索を必ず行わなければならない. 現在，類似特許検索は人手で行われており，特定の単語が含まれているかどうかや，国際特許分類などを 用いて絞り込みながら行っている. しかし, 適切な 類似特許を見つけるのは難しく，審査に膨大な時間 がかかる要因の一つとなっている.

また，類似特許検索は各技術を有する企業も頻繁 に実施することになる。なぜなら，各企業は自社特許が侵害されていないか監視したり，自社の新技術 が他企業の特許を侵害しないか確認する必要があ るからである. さらに, 新たに開発を行ったり, 特許を申請する際にも類似特許を調査することで，他社特許との比較した優位性を明らかにする必要が
ある.

## 1.2 IPC とは

特許には，国際特許分類 (以下 IPC) という，国際的に統一された分類が付与される. IPC は技術分野 を表す番号といえる。IPCには 2 つの特徵があり，階層構造を持っていることと, 一つの特許に複数与 えられることが挙げられる。

図 1 IPC の例

IPC は「セクション」,「クラス」,「サブクラス」，「メイングループ」，「サブグループ」の５つの要素 から構成されており, 階層構造を持っている. 例え ば図 1 の場合, セクションに当たる「B」は「処理操作」という大まかな分類を表している. 次にクラス の「43」はセクションの「B」と合わせてより細かい 「筆記用または製図用の器具」を表し, 最後の「サブ グループ」まで合わせると，「字消し用具，消しゴ ム，または字消し装置」という細かい分類にまで分 けられる。このように，階層構造を持っていること で，様々な粒度で分野の絞り込みを行える。IPC は 全部で約 7 万通り存在しており, 多種多様な分野を 表現可能である.

次に，IPC は一つの特許に複数与えられる。例え ば，消しゴム付き鉛筆を発明したとすると，鉛筆に 関係する IPC と消しゴムに関する IPC の両方が付与 されることとなる.

## 2 関連研究

## 2.1 Contrastive Learning

Contrastive Learning[1] とは, 画像処理から発展 してきた表現べクトルを学習する手法である. Contrastive Learning の最も特徴的な点としては, データ間の関連性から学習を進めることにある。具体的には，データ間について似ているものは近く，異なるものは遠くに学習を進めていく. Contrastive Learning を実行するうえで，通常負例としては，ミ ニバッチ内の他サンプルを用いることが多い. しか し，場合によっては自明な負例ばかりになってしま い，学習が不十分になることがある. そこで，予測 が難しいと想定される負例を Hard Negative として 明示的に入力して学習する場合もある.

図 2 SimCSE の学習方法. 原著 [2] より引用

SimCSE[2] は Contrastive Learning を自然言語に応用する方法である. 図 2 のように，意味的な従属関係のある文を近くに，そうでないものを遠くに学習 するものである．例えば，「2匹の犬が走っている」 (“Two dogs are running.”) という文に対して，意味的 な従属関係がある文とは「外に動物がいる」(“There are animals outdoors.”) といった文が対応する.ここ で, 教師あり SimCSE の特徴として, Hard Negative には意味的に排反なデータ [3] を使用しているこ とが挙げられる。排反な意味のデータとは，「ペッ トがソファに座っている」("The pets are siting on a couch.”) というように，同時に起こりえない 2 つの 事象のことである.

## 2.2 特許への機械学習の応用

特許に対して機械学習技術を応用する研究はいく つか行われている. まず，古典的な機械学習手法を 用いて IPC や自作ラベルの予測などが行われている [4][5]. また，深層学習を用いた研究では，BERTを 特許データでファインチューニングし, IPC のサブ クラスの予測が行われている [6]. さらに，IPC 予測
について，入力方法とデコーダに工夫を加えること で精度の改善も行われている [7].

機械学習手法を用いて類似特許検索するという 研究はいくつか行われている. まず，Word2Vec を 用いて，特許の類似度が比較された [8]. また，深層学習ベースだと，LSTM ベースのエンコーダを用 いた類似特許検索モデルも作成された [9]. さらに， LSTM ベースのエンコーダにグラフ情報などを加 え，精度の向上も行われた [10]. しかし，これらは いずれも自作でラベリングした類似特許データに 対して学習，評価を行っており，これらの手法は公開されている情報だけでは応用できない. したがっ て, 日本語の特許で公開された情報のみを用いて類似特許検索を行う研究はいまだされていない。

## 3 提案手法

## 3.1 引用情報の利用

類似特許検索を行う上では何をもって，類似特許 とみなすのかという問題が存在する。この，「類似 した特許」として適したデータとしては，無効審判請求及び，異議申し立てのデータが挙げられる. こ れらは，実際に厳密に時間をかけて審査されたもの であり，その際に参照された特許は確実に類似特許 とみなすことができる。一方で，これらのデータは 学習データとして用いるにはデータ数が十分でない という課題がある.

そこで，本研究では特許の引用情報に注目し，引用されている特許を類似特許とみなすこととした。 これは，類似した特許のすべてを網羅しているとは 言えないものの，引用された特許は類似した特許で あるとみなすことができる．さらに，引用特許はほ とんどの特許に対して存在しており, 日本語の特許情報からも取得可能である. したがって，引用情報 を類似特許の正解データと仮定し，学習及び評価を することを考える。

ここで，引用は各特許に対して複数存在している ことに注意が必要である. そこで，各特許に対して 1つの正例をランダムで取得するようにした. アル ゴリズムは Algorithm 1 のようになっており，4行目 で引用特許の集合からランダムに選択をしている. ただし，B はミニバッチで学習したい特許の ID 集合， $I_{b}$ は特許の ID $b$ に対応する特許， $P(i)$ は特許 $i$ に引用されている特許集合である.

## 4 数値実験

## 4.1 実験設定

Hard Negative のサンプリング方法を提案する. つま り，同じ IPC を持つものは分野が近いため，Hard Negative として学習を進める. ただし, IPC は一つ の特許に複数付与されいるため，各分野からバラン スよく Hard Negativeを作成することにする. その ため，分野をランダムに選択し，その中の特許から Hard Negative として使う特許を選択することを考 えた。

また，IPC は階層構造を持っているため，様々な 粒度の分野情報を包含している。 そのため，複数の 階層に従ってサンプリングを実行することで，より 良い Hard Negative を作成することができるのでは ないかと考えた。

以上の考えのもと，提案するアルゴリズムの疑似 コードは Algorithm 2 のようになっている. ただし， $N(i p c)$ は $i p c$ が付与されている特許集合, $H$ はクラ スやメイングループなどの対象としたい階層の集合 で，IPC $C_{h}(i)$ は階層 $h$ における特許 $i$ に付与されてい る IPC の集合である. 負例は 5 から 7 行目で取得し ており，それぞれ IPC の階層の選択，階層内の IPC の選択，特許の選択の 3 段階で実行している. この ように確率的に様々な分野からのサンプリングを実行することで，様々な粒度の分野において近いかど うか判別できるようなモデルを作成可能である.

## 4.1.1 データセット

今回データセットは有料の特許データ取得 サービスを通じて入手した。学習，検証データ は，2016/07/01～2016/12/31 に国内で出願された特許（104078 件）をすべて取得し，これらを検索元 のデータとした．学習検証の分割は検索元のデー タをランダムに 8:2 で分割した. テストデータは 2017/01/01～2017/01/15 までに国内で出願された特許（4348 件）を用い，それらが引用した特許（13123 件）を検索対象の特許とした。

## 4.1.2 事前学習

本モデルの入力として，特許の技術内容を記し た部分である「請求項」のテキストを用いる。一方 で，請求項は長文で，公開されている事前学習済み モデルで良く用いられている $\mathrm{MeCab}[11]$ などの分か ち書きをべースとしたトークナイザーでは多くの特許で入力トークンが膨大になってしまう．そこで， トークン数を減らすために特許で学習した Unigram Language Modeling[12] を用いたトークナイザーを作成した. これによって，入力できる最大のトークン 数である 1024 トークン以内に全文が収まらない特許の割合は， $32 \%$ 程度から $15 \%$ 程度まで減少した。
表 1 学習モデルによる比較

一方で，トークナイザーを自作したため，既存の 事前学習済みモデルを適応することはできないた め，BERT[13] の事前学習を実施した. モデルサイ ズは，学習環境と事前学習で長文に対して学習した い点も考え，512 次元 8head 94 層からなるモデル とした.

## 4.1.3 評価指標

本提案手法の目的は，類似度が高い特許を業務 を行う人に推薦することである。そこで評価方法 としては，各特許の埋め込みベクトルのコサイン 類似度が高かった順に検索対象の特許を並び替 えて，引用した特許が上位に存在するかを評価し た. 評価指標は，一般に推薦システムで用いられる Precision@k, Recall@k, NDCG @k の 3 つの評価指標 を用いた [14].

## 4.1.4 比較手法

比較手法として，モデルそのものの精度を検証 するベースラインをいくつか用意した. まず，単純な機械学習モデルとして tf-idf を用いた単語モデ ルのコサイン類似度を用いたものを用いた。また， SimCSE の学習の必要性を検証するために BERT の 埋め込みをそのまま用いたものと比較した。次に， ハードネガティブのサンプリング方法についていく つかの設定で行った．まず，ハードネガティブを全 く用いず，バッチ内の他サンプルのみを負例として 用いたものを作成した. 次に，引用された特許の中 で引用されていた特許のうち，引用されていなかっ たものをハードネガティブとして使用してモデルを 学習した. さらに, 単一階層での IPC を用いた Hard Negative との比較を行うため, クラスとサブクラス それぞれ単独の階層で同一 IPC を保有する特許を Hard Negative としたものを学習した. 最後に提案手法として，クラスとサブクラスの両方の階層を用い たものを作成した.

## 4.2 実験結果

結果は, 表1のようになった. ただし, NDCG@inf は全データに対してNDCG を算出したものである.

まず，tf-idf の類似度と比較して，事前学習済み BERT の埋め込みを用いた類似度はいずれの評価指標でもわずかに高くなっていることがわかる. 更 に，教師あり学習を実行することで，いずれの評価指標でも大きく改善していることがわかる. また， Hard Negative について，引用の引用を用いたものは 評価がむしろ落ちていることがわかる。これは，引用の引用では意味が近すぎるために Hard Negative としても難しすぎることが原因だと考えられる。一方，IPCを用いた Hard Negative は単一の階層を用い たものよりも，階層を増やすことで更に精度が改善 しており，本提案手法が最も良い結果となった。

## 5 今後の課題

今後の課題としては，大きく二つ存在する. ま ず，請求項全文の入力である. 本研究では，自作 トークナイザーの作成によって入力トークンを減ら すことを行ったが，15\%程度の特許は全文入力する ことができていない。近年ではメモリ効率の良いエ ンコーダについても研究が進んでいるため，これら の応用によって対応できる可能性がある. 次に，専門用語の入力である．実験によってうまく予測でき なかった文書の内容を確認すると，分野特有の専門用語が含まれる特許を選択できていない場合があっ た. したがって，専門用語をトークンに含めること でその特徴をとらえやすくなり，より精度の良い学習が行える可能性がある.

## 謝辞

本研究を実施するにあたり,データ及び研究環境を提供してくださいました楽天株式会社の皆様, とりわけ知的財産部の皆様に深く感謝を申し上げ ます。

## 参考文献

[1] Prannay Khosla, Piotr Teterwak, Chen Wang, Aaron Sarna, Yonglong Tian, Phillip Isola, Aaron Maschinot, Ce Liu, and Dilip Krishnan. Supervised contrastive learning. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 18661-18673. Curran Associates, Inc., 2020.

[2] Tianyu Gao, Xingcheng Yao, and Danqi Chen. Simcse: Simple contrastive learning of sentence embeddings. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 68946910, 2021.

[3] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[4] C. J. Fall, A. Törcsvári, K. Benzineb, and G. Karetka. Automated categorization in the international patent classification. SIGIR Forum, Vol. 37, No. 1, p. 10-25, April 2003.

[5] Mattyws F. Grawe, Claudia A. Martins, and Andreia G. Bonfante. Automated patent classification using word embedding. In 2017 16th IEEE International Conference on Machine Learning and Applications (ICMLA), pp. 408-411, 2017.

[6] Jieh-Sheng Lee and Jieh Hsiang. Patent classification by fine-tuning bert language model. World Patent Information, Vol. 61, p. 101965, 2020

[7] Yuki Hoshino, Yoshimasa Utsumi, Yoshiro Matsuda, Yoshitoshi Tanaka, and Kazuhide Nakata. Ipc prediction of patent documents using neural network with attention for hierarchical structure. Research Square preprint DOI:10.21203/rs.3.rs-1164669/v1, 2022.

[8] Hidir Aras, Rima Türker, Dieter Geiss, Max Milbradt, and Harald Sack. Get your hands dirty: Evaluating word2vec models for patent data. In SEMANTiCS Posters\&Demos, 2018.

[9] Aaron Abood and Dave Feltenberger. Automated patent landscaping. Artificial Intelligence and Law, Vol. 26, No. 2, pp. 103-125, 2018.

[10] Seokkyu Choi, Hyeonju Lee, Eunjeong Park, and Sungchul Choi. Deep learning for patent landscaping using transformer and graph embedding. Technological Forecasting and Social Change, Vol. 175, p. 121413, 2022.

[11] Toshinori Sato, Taiichi Hashimoto, and Manabu Okumura.
Implementation of a word segmentation dictionary called mecab-ipadic-neologd and study on how to use it effectively for information retrieval (in japanese). In Proceedings of the Twenty-three Annual Meeting of the Association for Natural Language Processing, pp. NLP2017-B6-1. The Association for Natural Language Processing, 2017.

[12] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, 2018.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[14] Folasade Olubusola Isinkaye, Yetunde O Folajimi, and Bolande Adefowoke Ojokoh. Recommendation systems: Principles, methods and evaluation. Egyptian informatics journal, Vol. 16, No. 3, pp. 261-273, 2015.


# FAQ 検索における言い換え生成を利用したデータ拡張手法

曹羽隆 1 小川泰弘 ${ }^{1,2}$ 外山勝彦 1
1 名古屋大学大学院情報学研究科 2 名古屋大学情報基盤センター
cao.yulong.d0@s . mail . nagoya-u.ac.jp
\{yasuhiro, toyama\}@is.nagoya-u.ac.jp

## 概要

FAQ 検索タスクは，ユーザクエリに対して，デー タセットの中からそのクエリに関連する QA ペア （質問文と回答文のペア）を出力するタスクであ る.クエリと QA ペアの関連性を捉えるために， BERT [1] などの自然言語モデルを適用する手法が 提案されてきたが，ファインチューニング用の学習 データが足りないという問題点がある. 本研究は, QA ペアの質問文の言い換えを生成することによ り，学習データを拡張する手法を提案する。また， LocalgovFAQ データセット [2] を用いて学習データ を拡張し，評価実験を行った。

## 1 はじめに

Web の FAQ ページは，ユーザの疑問が解決するよ うに，よくある質問（FAQ）を参照するためのぺー ジである。しかし，ページに記載された FAQ の件数が少ない場合，ユーザが知りたい情報が掲載され ていない可能性がある. 逆に, FAQ の件数が多い場合，知りたい情報を発見するまでの時間が長くなる という問題がある. よって，ユーザが回答をより便利に探せるようにするため，検索機能が必要にな る. FAQ 検索は，自然言語によるクエリに応答する ための効率的な方法を提供する。 すなわち，ユーザ クエリが与えられた際に，データセットからそのク エリに関連する QA ペアを抽出する. FAQ 検索は近年，企業のチャットボットや，製品についての質問応答，顧客向けの技術サポートなどでよく用いら れる。

しかし，特定のドメインに対応するためのデー タセットは，そのデータ量が十分でない. 例えば, LocalgovFAQ データセット [2]には, 尼崎市役所の Web サイトに掲載されている QA ペアと尼崎市役所

に関連するかについてのラベルがついている. デー
タセットに含まれている QA ペアは 1,786 対，クエ リは 784 個だけである.

本研究では, LocalgovFAQデータセットに対して,言い換え生成を利用するデータ拡張手法を提案し， その有効性を検証する。

## 2 先行研究

Sakata ら [2] は，教師なし情報検索システム TSUBAKIを利用して，クエリと質問文の類似性 を計算した。一方，クエリと回答文の関連性は， BERT モデルを使用して計算した．また，TSUBAKI と BERT を組み合わせたシステムを構築した。しか し， LocalgovFAQデータセットのデータ量はファイ ンチューニングの実施のためには十分でないため,尼崎市以外の地方自治体の Web サイトに掲載され ている QAペア 2 万件を収集して使用した.

Mass ら [3] は，三つのリランカーによる教師なし 手法を提案した。ユーザクエリ一質問文とユーザク エリ一回答文の間で BERT のファインチューニング を行い，GPT-2 [4] モデルを用いて質問文の言い換え を生成することにより，既存の教師あり手法と同等程度の性能があることを示した。

Sourav ら [5] は，TF-IDF スコアを利用して質問文 の代表的なキーワードを取得し，それに基づいて ユーザクエリと QA ペアの類似度を計算する手法を 提案した. さらに，ニューラルネットワークを追加 した変種を提案し，高性能の FAQ 検索を実現した。

堂坂ら [6] は，Sentence-BERT [7] モデルを使用し， BERT モデルをファインチューニングすることによ り，類似文検索のための良質な文べクトルを生成し た. その結果，類似文検索タスクで高い性能を示 した.

## 3 TSUBAKI+BERT モデル

本研究は Sakata らが提案した TSUBAKI+BERT モ デル [2]を利用するため，その詳細について以下に
述べる.

## 3.1 TSUBAKI による q-Q 類似性

TSUBAKI [8] を利用してユーザクエリ $q$ と QA ぺ アの質問文 $Q$ の類似度を計算する。 TSUBAKI は, OKAPI BM25 [9] をべースにした教師なし検索エン ジンであり，単語だけでなく文の依存構造も考慮し て，正確な検索を提供する. 柔軟なマッチングを実現するために，辞書や Webコーパスから自動的に 抽出された同義語も使用する。ここでは，各 $\mathrm{QA}$ ぺ アの質問文 $Q$ を文書と見なし, クエリ $q$ と質問文 $Q$ の間の類似度を計算する。

## 3.2 BERT による q-A 関連性

BERT を利用してユーザクエリ $q$ と回答文 $A$ の関連度を計算する. 学習データとしてクエリ $q$ の代わ りに質問文 $Q$ を使用する。

データセットの各 $\mathrm{QA}$ ペアを $\left(Q_{1}, A_{1}\right),\left(Q_{2}, A_{2}\right), \ldots$, $\left(Q_{M}, A_{M}\right)$ とする. 学習は全 $\mathrm{QA}$ ペア $\left(Q_{j}, A_{j}\right)$ を正例とし、負例は $Q_{j}$ に対して $A_{j}$ 以外の回答文から ランダムに選択し, 正例と負例を学習データとして BERT により二值分類する. 具体的には， $Q$ と $A$ の 関連度を $\operatorname{score}(Q, A)$ とすると, 正例 $\left(Q_{j}, A_{j}\right)$ に対し ては $\operatorname{score}\left(Q_{j}, A_{j}\right)$ が 1 になるように，負例 $\left(Q_{j}, A_{j^{\prime}}\right)$ $\left(j^{\prime} \neq j\right)$ に対しては $\operatorname{score}\left(Q_{j}, A_{j^{\prime}}\right)$ が 0 になるように学習する。

検索時は，ユーザクエリ $q$ とすべての $\mathrm{QA}$ ペアの 回答文 $A_{j}$ の関連度 $\operatorname{score}\left(q, A_{j}\right)(j=1, \ldots, M)$ を計算 し，その上位を検索結果とする。

## 3.3 TSUBAKI と BERT の組み合わせ

柔軟なマッチングを実現するために，TSUBAKI による q-Q 類似性と BERT による q-A 関連性を組み 合わせている.

TSUBAKI のスコアが高い場合は，クエリと質問文の間で重複している語が多く, 正解である可能性

てランキングし, 他の $\mathrm{QA}$ ペアはスコアを単純に加算して統合する。

具体的には，TSUBAKIによる検索結果上位 10 件 の中にスコアが閾値 $\alpha$ 以上のものがあり，それが BERT によるスコアの上位 10 件にも含まれている 場合，優先的に 1 位から順にランキングし，残りの 候補は TSUBAKI と BERT のスコアを単純に加算し， ランキングする．スコア上位を検索結果とする。

図1言い換え生成（手法 1）

図 2 言い換え生成（手法 2)

## 4 提案手法

本研究では, BERT のファインチューニング用 の学習データ不足の問題に注目している. Sakata ら [2] は地方自治体 21 市の Webサイトに掲載されて いる $\mathrm{QA}$ ペア計 2 万件を収集して，ファインチュー ニング用のデータに追加した. しかし, 地方自治体 から収集したデータ数は有限であり，また専門家に よるデータ作成は手間がかかる。したがって, 本研究では言語モデルを使用し，QA ペアの質問文に対 して，その言い換えを生成する手法を提案する。

## 4.1 手法 1

日本語言い換えデータセットは利用できるものが 少ないため，手法 1 を提案する. この手法では，質問文をまず英訳し，英語事前学習モデル T5 で言い 換えを作成し [10]，最後にそれを和訳する.生成の 流れを図 1 に示す.

ここで，英語事前学習済み $\mathrm{T} 5$ モデルのファイ ンチューニングは英語データセット Quora Question Pairs [11]を用いた. Quora Question Pairs には質問応答 Web サイト Quora から収集したユーザ質問約 40 万行が含まれる. 各行は, 質問文 2 文から構成さ れ，この 2 文は言い換えであるか否かのラベルがつ いている.

## 4.2 手法 2

手法 1 では言い換え生成の過程で機械翻訳 2 回を 行うため，重複した言い換えが作成されることがあ る. そこで，手法 2 を提案する。この手法では, 英語データセット Quora Question Pairsをまず和訳し，和訳データを用いて日本語事前学習済み $\mathrm{T} 5$ のファ インチューニングを行う．このファインチューニン グ済みの $\mathrm{T} 5$ で言い換えを作成する. 生成の流れを 図 2 に示す。
表 1 BERT のハイパーパラメータ

## 4.3 言い換えによる学習データ拡張

手法 1 と手法 2 で得られた言い換えを別々に用い て，BERT のファインチューニング用の学習データ を拡張する。

具体的には，ある質問文 $Q_{j}$ に対して， $N$ 個の言 い換え $P_{i j}(i=1, \ldots, N)$ が得られたとする. そのと き, データ拡張前の正例 $\left(Q_{j}, A_{j}\right)$ と負例 $\left(Q_{j}, A_{j^{\prime}}\right)$ に対して, 正例 $\left(P_{i j}, A_{j}\right)$ と負例 $\left(P_{i j}, A_{j^{\prime}}\right)$ を作成す る.これらを BERT のファインチューニング用の 学習データとして追加する。 また, 正例に対して は score $\left(P_{i j}, A_{j}\right)$ が 1 になるように，負例に対しては $\operatorname{score}\left(P_{i j}, A_{j^{\prime}}\right)$ が 0 になるように学習する.

## 5 実験

手法 1 と手法 2 の有効性を検証するために，評価実験を行った。

## 5.1 実験設定

LocalgovFAQ データセットを用いて実験を行っ た. ベースラインとして，言い換えによるデータ拡張前のデータを使用するものとする．言い換え生成 では，各質問文に対して，10文の言い換えを生成し た.なお，BERT モデルと TSUBAKI+BERT モデル の評価指標は P@5，MAP，MRRを用いた。

BERT の 事前学習には, 日本語 Wikipedia 事前学習済み [12]を使用した。ファインチューニングに は，元々の $\mathrm{QA}$ ペア 1,786 対に言い換えで作成した データを追加して用いた. 入力テキストは形態素解析器 Juman++ [13] を用いて, 形態素に分割した. 3.3 節で説明した TSUBAKI 優先統合の閾値 $\alpha$ は 0.3 と した.また，BERT モデルのハイパーパラメータの 設定を表 1 に示す.

## 5.2 実験結果

言い換え生成では, 質問文 1,786 文の各文に対し て，10 文の言い換えを生成し，重複文を削除した結果, 手法 1 では計 11,495 文が得られ, 手法 2 では計 16,789 文が得られた。

言い換えにより拡張したデータを用いた実表 2 言い換えにより拡張したデータを用いた実験結果

験結果を表 2 に示す.すべての手法において， TSUBAKI+BERT の結果は BERT より良い。これに より，TSUBAKI と BERT を組み合わせる手法の有効性を確認した．また，手法 1 と手法 2 はべースラ インを上回り，言い換えを用いて学習データを拡張 する手法の有効性を確認した。手法 1 と手法 2 の結果を比べると，手法 2 はわずかに上回っていること がわかる。手法 1 では，重複文が多く生成され，得 られた拡張データは手法 2 より少ないことが原因で あると考えられる。また，手法 1 と手法 2 はともに 先行研究を上回ることができなかった.

## 5.3 考察

手法 1 と手法 2 は先行研究を上回ることができな かった. その原因としては，先行研究は他の地方自

回の手法 1 および手法 2 で生成した言い換えより多 いことが考えられる．また，本研究の言い換え生成

い換えを考慮しなかったため，回答文の多様性が先行研究が使用した $\mathrm{QA}$ ペアよりも劣っていることが 考えられる。

手法 1 と手法 2 で得られた言い換えについて考察 する。手法 1 では，和訳前の英文の言い換えは異な りで 17,824 文あるが，和訳後の言い換えは異なりで 11,495 文であった. 手法 1 が重複文を生成した原因 としては，言い換え生成の流れの中で機械翻訳を使用したためと考えられる。

また，手法 1 と手法 2 で得られた言い換えの分布 を図 3 と図 4 にそれぞれ示す. 各図の横軸は各質問文に対する言い換えの数を表し，縦軸は言い換えの 元になった質問文の数を表す。手法 1 では質問文 1 文あたりに 6 文 8 文程度の言い換えが得られ，手法 2 では質問文 1 文あたりに 9 文 10 文程度の言い 換えが得られた。

この分布から，手法 1 では質問文 1 文あたり 10 文

1質問文あたりの言い換え文数

図 3 言い換えの分布（手法 1）

図4 言い換えの分布（手法 2）

以上の言い換えを生成しても，重複文があるため，実際に得られた言い換えは 6 文 8 文程度になると 考えられる。よって，手法 1 では 10 文以上の言い 換えを得ることが実際には難しいと考えられる。ま た，手法 2 は，手法 1 に対して重複文が比較的少な いため，手法 1 より多くの言い換えを得られた.

また，手法 2 において，追加する言い換えの文数 が与える影響を調べた. 手法 2 では, 16,789 文の言 い換えが得られ，それらすべてを追加して学習デー タを拡張した.ここでは，より少ない文数を追加し た場合と比較することにより，その有効性を検証す る. 具体的には，手法 2 で得られた言い換えから，質問文 1 文あたり 5 文の言い換えをランダムに抽出して追加した場合（5 文拡張）と，全部の言い換 えを追加した場合（10 文拡張）を比較した。結果を 表 3 に示す. ここで，質問文 1 文あたり 5 文とした のは，図 4 に示すように，質問文 1 文あたり少なく とも6文の言い換えが得られたからである. 表 3 に より，言い換えを 5 文だけ追加した場合と全部を追加した場合の間で結果に差がほとんどなく, 単純に 言い換え文数を増加しても，結果の改善には貢献し ないことが分かった.表 3 異なる言い換え文数で拡張したデータを用いた結果

## 6 まとめと今後の課題

本研究では FAQ 検索における言い換え生成を利用したデータ拡張手法を提案した。手法 1 では言い 換え生成において機械翻訳 2 回を使用したので，重複文が多く得られた. 手法 2 では英語データセット Quora Question Pairs を和訳することで，より多くの 言い換えを得られ，手法 1 をわずかに上回った. 今後の課題としては，質問文の言い換えだけでなく，回答文の言い換えも考慮することにより，回答文の 多様性を拡張することが考えられる。

## 謝辞

本研究は JSPS 科研費 22 H03901 の助成を受けたも のである.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Wataru Sakata, Tomohide Shibata, Ribeka Tanaka, and Sadao Kurohashi. FAQ retrieval using query-question similarity and bert-based query-answer relevance. In Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 1113-1116, 2019.

[3] Yosi Mass, Boaz Carmeli, Haggai Roitman, and David Konopnicki. Unsupervised FAQ retrieval with question generation and bert. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 807-812, 2020.

[4] Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, et al. Improving language understanding by generative pre-training. Technical report, OpenAI, 2018.

[5] Sourav Dutta, Haytham Assem, and Edward Burgin. Sequence-to-sequence learning on keywords for efficient FAQ retrieval. arXiv preprint arXiv:2108.10019, 2021.

[6] 堂坂浩二, 金子和樹, 木村幸司, 伊東嗣功, 石井雅樹.生活保護業務支援のための質問応答システムの開発 と評価. 第 21 回情報科学技術フォーラム講演論文集 (FIT2022), Vol. 21, No. 2, pp. 235-238, 2022.

[7] Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992. Association for Computational Linguistics, November 2019.

[8] Keiji Shinzato, Tomohide Shibata, Daisuke Kawahara, and Sadao Kurohashi. Tsubaki: An open search engine infrastructure for developing information access methodology. Journal of information processing, Vol. 20, No. 1, pp. 216-227, 2012.

[9] Stephen E Robertson, Steve Walker, Susan Jones, Micheline M Hancock-Beaulieu, Mike Gatford, et al. Okapi at trec-3. Nist Special Publication Sp, Vol. 109, p. 109, 1995.

[10] Hemant Palivela. Optimization of paraphrase generation and identification using language models in natural language processing. International Journal of Information Management Data Insights, Vol. 1, No. 2, p. 100025, 2021.

[11] Iyer Shankar, Dandekar Nikhil, and Csernai Kornel. First quora dataset release: question pairs (2017). URL https://www.quora.com/q/quoradata/First-
Quora-Dataset-Release-Question-Pairs, 2017.

[12] 柴田知秀, 河原大輔, 黒橋禎夫. BERT による日本語構文解析の精度向上. 言語処理学会第 25 回年次大会発表論文集, pp. 205-208, 2019.

[13] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Juman++: A morphological analysis toolkit for scriptio continua. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, 2018.


# 説明可能な検索ベースの文書分類手法の提案

中井優 ${ }^{1}$ 中野雄介 $^{1}$ 徳永優也 ${ }^{1}$ 上田亮 ${ }^{1}$ 谷中瞳 ${ }^{1}$
1 東京大学
\{nakai-yu623, nakano-yusuke,yn-noob\}@g.ecc.u-tokyo.ac.jp
\{ryoryoueda, hyanaka\}@is.s.u-tokyo.ac.jp

## 概要

現在，文書分類などの様々な自然言語処理のタス クにおいて，判断根拠が説明可能な手法の重要性が 高まっている. 本研究では，分類に有効な文書を訓練事例や外部の知識コーパスから検索して利用す る，検索べースの文書分類手法を提案する. 提案手法は，分類に利用した文書を出力することができ，文書分類に説明可能性を与える. 本論文では, AG News データセットを用いて学習・推論を行い, 分類精度・説明可能性の 2 つの側面から提案手法の有効性を検証した。実験の結果，知識コーパスを利用し ない既存の大規模言語モデルと比べて，知識コーパ スの検索結果を利用することによって精度が向上す ることを確認した．また，モデルが分類根拠として 示す文書と分類対象の文書との文間類似度と，人手評価との間に有意な相関を確認することができた.

## 1 はじめに

自然言語処理のタスクに文書分類がある。文書分類とは，与えられた文書に対して事前に定義された ラベル群から適切なラベルを推定するタスクのこ とである. 文書分類を自動化するための技術は実社会でも広く活用されており，その社会実装に対する ニーズも相まり，近年文書分類のためのニューラル ネットワーク (NN) モデルが盛んに研究されている.他方で，NN モデルの推論機構はブラックボック ス化されており，結果に対する判断根拠の不透明さ が社会実装を妨げる課題となっている. このような 不透明性を軽減するための一連の技術が，説明可能 Al (XAI) という研究トピックを形成している.説明可能 AI の一分野として，事例ベース XAI と 呼ばれるものがある $[1,2,3]$. 事例べース XAI とは,評価データに対する $\mathrm{NN}$ モデルの予測において，そ の予測に最も影響を与えたであろう訓練事例を探る ことで，予測における判断根拠を説明しようとする
アプローチである.

本研究では，分類に有効な文書を訓練事例や外部 の知識コーパスから検索して利用する，検索ベース の文書分類手法を新たに提案する．提案手法は，分類に利用した文書を出力することにより分類の根拠 に説明可能性を与える. この検索ベースの手法は，訓練事例や外部の知識コーパスを直接参照すること で文書分類の性能向上を図る手法であり，事例べー スXAI とは訓練事例の扱い方が異なるものの, 文書分類の根拠が説明可能であるという点で類似するア プローチであるといえる.

提案する NN モデルは Retriever と Classifier の $2 \supset$ のネットワークより構成される. Retriever は分類対象の文書に対して知識コーパス（以降では，検索対象の文書を総称して知識コーパスと呼ぶ）からその 分類に有意な文書を検索・抽出し, Classifier は分類対象の文書と抽出した文書を用いて分類を行う．こ の新たに提案する検索ベースの文書分類モデルを検索ベース分類器 (Retrieval-based Classifier) と呼ぶ.

本論文では，ニュース記事の分類タスクのデータ セットである AG News データセットを用いて学習・推論を行い, (i) 分類精度と (ii) 説明可能性という 2 つの側面から，提案手法の有効性を検証する．実験 の結果，知識コーパスを利用しない既存の大規模言語モデルと比べて，知識コーパスの検索結果を利用 することによって精度が向上することを確認した。 また，モデルが分類根拠として示す文書と分類対象 の文書の文間類似度と，人手評価との間にも有意な 相関を確認することができた。

## 2 関連研究

自然言語処理の分野において，これまで説明可能 AIに関する様々な研究が行われてきた. 以下では その中での本研究の位置付けを明らかにするととも に，提案手法のベースになるモデルである検索拡張言語モデルについて説明する。

## 2.1 自然言語処理における説明可能 AI

[4]によれば，説明可能 AI における説明の種類 は，大きく分けて次の 2 つに分類される：
- Post-Hoc : モデルの予測後に追加の操作を行っ て予測を説明する
- Self-Explaining：モデルの予測過程から得られ る情報によって予測を説明する

提案手法はモデルの予測過程で利用した文書を出力することによって文書分類の判断根拠が説明可能 であることから, Self-Explaining な説明可能 AI とし て位置付けられる。

自然言語処理における Self-Explaining な説明可能 AI としては, Attention や First-derivative saliency など の特徴量の重要度から説明を導出する方法 $[5,6]$ が 提案されている. これに対して，提案手法は分類に 利用した文書を予測過程から出力できるため, 既存手法よりも直接的に文書分類の判断根拠を提示する 手法である.

## 2.2 事例ベース XAI

XAI の一分野として，事例ベース XAI というもの がある．事例ベース XAI とは，評価データに対する $\mathrm{NN}$ モデルの予測において，その予測に最も影響を 与えたであろう訓練事例を探索することで，予測に おける判断根拠を説明しようとするアプローチで ある。

事例ベース XAI のアプローチから着想を得て，我々は，検索べースの文書分類手法を XAI として活用できないかと考えた. すなわち，モデルが分類時 に選択した知識コーパスの文書が暗に分類時の判断根拠となっているとみなせば，選択した文書を出力 することでモデルの判断根拠を説明できる可能性が ある. ただし, 我々の提案手法は Self-Explaining な ものであるのに対し，多くの事例ベース XAI [1, 2, 3] は，ブラックボックスな NN モデルの推論結果に後 から説明可能性を与えるという意味で Post-Hoc [4] な手法として位置付けられる点に相違がある. 本研究では，分類時に選択した知識コーパスの文書の説明可能性について，実験を通して検証を行う。

## 2.3 検索拡張言語モデル

ドメインが指定されていない質疑応答タスク である Open-Domain Question Answering の分野にお
いては，検索拡張言語モデル (Retrieval-Augmented Language Models) [7, 8, 9, 10] が広く用いられている.検索拡張言語モデルは通常 Retriever と Reader の 2 つのネットワークによって構成される. Retriever は 入力の質問文に対して外部の知識コーパスからその 解答の作成に有意な文書を検索・抽出し, Reader は 質問文と抽出した文書を用いて回答文を作成する。

提案した検索ベース分類器は，この Retrieverと Readerからなる構成から着想を得た。

## 3 提案手法

本研究で提案するモデルである検索ベース分類器は，図 1 で示すように知識コーパスから分類対象 の文書に関連する文書を抽出する Retriever と，分類対象の文書と抽出された文書から文書分類を行う Classifierの2つのネットワークによって構成される.分類対象の文書 $x$, 外部の知識コーパス $z$, 分類 クラスのラベル $y$ として，分類時の計算手順は次の 数式で表される.

$
p(y \mid x) \propto \sum_{z \in \operatorname{Top}_{\mathrm{k}}(p(\cdot \mid x))} p_{\mu}(z \mid x) p_{\theta}(y \mid x, z)
$

ただし $p_{\mu}$ と $p_{\theta}$ はそれぞれ，次に説明する Retriever と Classifierを指す.

## 3.1 Retriever

Retriever は，知識コーパスの埋め込みを行う Document Encoder，分類対象の文書の埋め込みを行 う Query Encoder，及び分類対象の文書と知識コーパ ス中の文書との最大内積探索 (MIPS) から構成され る.ここで最大内積探索では，知識コーパス中の文書の埋め込み表現のうち，分類対象の文書の埋め込 み表現とのコサイン類似度が高いものを探索する。

Document Encoder $d$ と Query Encoder $q$ に対して,知識コーパス中の文書 $z$ の尤度を次式によって算出 する。

$
p_{\mu}(z \mid x)=\frac{d(z)^{T} q(x)}{\|d(z)\|^{2}\|q(x)\|^{2}}
$

この式の $p_{\mu}(z \mid x)$ が，分類対象の文書 $x$ に対する,知識コーパス中の文書 $z$ の文間類似度を示す.

## 3.2 Classifier

Classifier の計算手順は, 文書分類器 $p$ を用いて次式によって表される. ここで, \|は系列の結合を行

図 1 検索ベース分類器の構造. Retriever は Query Encoder と最大内積探索 (MIPS) を用いて知識コーパスから文書の抽出 (図中の external evidence passage)を行い，Classifier は分類対象の文書と文書を用いて分類を行う.

う演算子を指す。

$
p_{\theta}(y \mid x, z)=p(x \| z)
$

本研究では文書分類器 $p$ として，大規模言語モデ ル BERT [11]と 1 層の全結合層からなる構造を利用 した.

## 4 実験

## 4.1 実験設定

データセット 判断根拠提示の実用上の意義の観点から，データセットとしては英文ニュース記事の 分類タスクである AG News データセット [12]を利用した. AG News は，約 16 万件の英文ニュース記事とそのジャンルに関するラベルを有するデータ セットである.

評価指標 分類性能の評価指標として, Accuracy を採用した. 説明可能性の判断指標として，異なる 2 文の類似度を評価するための指標である意味類似度 (STS) [13]を採用した.ここでは情報系の大学院生 3 名 (いずれも日本語話者) が STS [13] の定義に基 づき 5 段階で評価を行い，その平均を取った。なお 本アノテーションにおいては報酬などは用意せずに 実施した。

実験設定 AG News の 1,600 件のニュース記事を 訓練データ，158,400 件のニュース記事のうちの一部を知識コーパス，7,600 件のニュース記事を評価用データとして利用し，次の 2 つの実験を行った.
1つ目に，Retriever の精度に与える影響を評価する ことを目的として，(i) Classifier のみによる文書分類，(ii) 予測過程にて訓練事例のみを利用した文書分類，(iii) 予測過程にて訓練事例と知識コーパスを 利用した文書分類の 3 通りについて，ランダムシー ド値を変えてそれぞれ 10 回ずつ実験を行った. 2 つ 目に，Retriever が出力する文書の説明可能性を評価 することを目的として，評価用データからサンプリ ングした 40 件のニュース記事について Retriever を 用いて関連文書との文間類似度を出力し，その文間類似度と人手評価による意味類似度との相関を分析 する実験を行った．文間類似度について満遍なく実験を行うため，サンプリングでは Retriever の出力す る文間類似度が $1,10,100,1000$ 番目に高い関連文書 を抽出した。

学習条件 Retrieverには, Query Encoder と Document Encoder のそれぞれの BERT について教師な し対照学習により事前学習を行ったモデルであ る, Contriever [14]の学習済み重みを初期重みとし て利用した. Document Encoderにより訓練データ及 び知識コーパス中の文書の埋め込みを行い，最大内積探索用ライブラリである faiss [15] のインデッ クスとして追加した. Classifier は BERT [11] の学習済み重みを初期重みとして利用した。全結合層は Xavierの重みの初期化 [16] を行なった. 訓練デー タを用いた Retrieval-based Classifier の学習時には, Document Encoder の重みとインデックスは固定し， Query Encoder と Classifier のファインチューニング
表 1 (i) Classifier のみによる文書分類，(ii) 予測過程にて 訓練事例のみを利用した文書分類，(iii) 予測過程にて訓練事例と知識コーパスを利用した文書分類の，AG News に おける分類精度の平均と標準誤差. どの場合も, AG News の $1 \%$ のみを学習データとして利用した。

を行なった．また，最適化関数には Adam [17]を利用し, 損失関数としては交差エントロピー損失を利用した.

## 4.2 実験結果

## 4.2.1 分類精度の比較評価

(i) Classifier のみによる文書分類，(ii) 予測過程に て訓練事例のみを利用した文書分類，(iii) 予測過程 にて訓練事例と知識コーパスを利用した文書分類 のそれぞれの場合の AG News の分類精度を表 1 に 示す.

この結果から, Retriever の導入により分類精度が 向上することを確認できた．知識コーパスを利用せ ずに訓練事例のみを用いた場合には，Classifierのみ の場合と比較して若干精度が落ちてしまっているも のの, 訓練事例に加えて知識コーパスまで含めて検索対象にすることで，Classifierのみの場合よりも高 い精度を達成できた。このことから，適切な量の知識コーパスのもとで，Retriever は分類精度の向上に 寄与する可能性があると推察される。

なお，(iii) 予測過程にて訓練事例と知識コーパス を利用した文書分類では事前に適切な知識コーパス の量の探索を行っており，知識コーパスが訓練事例数の 3 倍の文書数を持つときに最も高い性能を発揮 した.これらの知識コーパスの量に対する分類精度 の変化に関する結果は付録 A に記載した。

## 4.2.2 説明可能性の評価

Retriever が分類根拠として示す文書と分類対象の文書との間の，人手評価に基づく意味類似度と Retrieverの示す文間類似度との関係を散布図に示したのが図 2 である。相関係数は 0.61 $\left(p=3.0 \times 10^{-5}\right)$ であり，人手による意味類似度と Retriever の示す文間類似度には有意な相関があるこ とを示している.

図 2 Retriever が分類根拠として示す文書と分類対象の文書との間の, 人手評価に基づく意味類似度と Retriever の 示す文間類似度との関係を表す散布図。

この結果は Retriever が分類時に利用した文書は人間から見ても分類対象の文書と有意に関連のある文書であることを示しており，提案手法が説明可能性 を有することを裏付ける。

なお，Retrieverが実際に分類根拠として示した文書の例を付録 B に記載した。

## 5 結論

本研究では，分類に有効な文書を訓練事例や外部 の知識コーパスから検索して利用する，検索ベー スの文書分類手法 (Retrieval-based Classifier) を提案 した. 提案手法の性能を評価するために， AG News データセットを対象とし， Retriever や知識コーパス の存在が分類精度にどのように影響するのかを評価 した。また，事例べース XAIに関する先行研究から 着想を得て，提案手法における Retriever が選択した 根拠文が説明可能性に寄与する可能性に着目し，そ れに関する定性的な評価を行なった。一連の実験の 結果から，文書分類モデルに Retriever の機構を導入 することで，精度を落とすことなく説明可能性を与 えられることが確認できた．ただし，今回は特定の データセットを対象として，限られた人数での定性評価をするにとどまっている．適用するドメインや データセットの種類を増やしていくとともに，より 信頼性の高い定性評価を行うことで，我々の提案手法の有用性を明瞭にしていくことが今後の課題で ある。

## 謝辞

本研究は，JSPS 科研費 JP20K19868，JST さきがけ

JPMJPR21C8 の助成を受けたものです.

参考文献

[1] Chih-Kuan Yeh, Joon Sik Kim, Ian En-Hsu Yen, and Pradeep Ravikumar. Representer point selection for explaining deep neural networks. In Advances in Neural Information Processing Systems 31: Annual Conference on Neural Information Processing Systems 2018, NeurIPS 2018, December 3-8, 2018, Montréal, Canada, pp. 9311-9321, 2018.

[2] Rajiv Khanna, Been Kim, Joydeep Ghosh, and Sanmi Koyejo. Interpreting black box predictions using fisher kernels. In The 22nd International Conference on Artificial Intelligence and Statistics, AISTATS 2019, 16-18 April 2019, Naha, Okinawa, Japan, Vol. 89 of Proceedings of Machine Learning Research, pp. 3382-3390. PMLR, 2019.

[3] Amirata Ghorbani and James Y. Zou. Data shapley: Equitable valuation of data for machine learning. In Proceedings of the 36th International Conference on Machine Learning, ICML 2019, 9-15 June 2019, Long Beach, California, USA, Vol. 97 of Proceedings of Machine Learning Research, pp. 2242-2251. PMLR, 2019.

[4] Marina Danilevsky, Kun Qian, Ranit Aharonov, Yannis Katsis, Ban Kawas, and Prithviraj Sen. A survey of the state of explainable AI for natural language processing. In Proceedings of the 1st Conference of the AsiaPacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing, pp. 447-459, Suzhou, China, December 2020. Association for Computational Linguistics.

[5] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. In 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

[6] Jiwei Li, Xinlei Chen, Eduard Hovy, and Dan Jurafsky. Visualizing and understanding neural models in NLP. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 681-691, San Diego, California, June 2016. Association for Computational Linguistics.

[7] Kenton Lee, Ming-Wei Chang, and Kristina Toutanova. Latent retrieval for weakly supervised open domain question answering. In Proceedings of the 57th Conference of the Association for Computational Linguistics, ACL 2019, Florence, Italy, July 28- August 2, 2019, Volume 1: Long Papers, pp. 6086-6096. Association for Computational Linguistics, 2019.

[8] Kelvin Guu, Kenton Lee, Zora Tung, Panupong Pasupat, and Ming-Wei Chang. Realm: Retrieval-augmented language model pre-training. In Proceedings of the 37th International Conference on Machine Learning, ICML'20. JMLR.org, 2020.

[9] Patrick S. H. Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, and Douwe Kiela. Retrieval-augmented generation for knowledge-intensive NLP tasks. In Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 612, 2020, virtual, 2020.

[10] Gautier Izacard, Patrick Lewis, Maria Lomeli, Lucas Hosseini, Fabio Petroni, Timo Schick, Jane Dwivedi-Yu, Armand Joulin, Sebastian Riedel, and Edouard Grave. Atlas: Few-shot learning with retrieval augmented language models, 2022. https://arxiv.org/abs/2208.03299v3.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[12] Xiang Zhang, Junbo Zhao, and Yann LeCun. Characterlevel convolutional networks for text classification. In Advances in Neural Information Processing Systems, Vol. 28. Curran Associates, Inc., 2015.

[13] Daniel Cer, Mona Diab, Eneko Agirre, Iñigo LopezGazpio, and Lucia Specia. SemEval-2017 task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), pp. 1-14, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[14] Gautier Izacard, Mathilde Caron, Lucas Hosseini, Sebastian Riedel, Piotr Bojanowski, Armand Joulin, and Edouard Grave. Towards unsupervised dense information retrieval with contrastive learning. CoRR, Vol. abs/2112.09118, , 2021.

[15] J. Johnson, M. Douze, and H. Jegou. Billion-scale similarity search with gpus. IEEE Transactions on Big Data, Vol. 7, No. 03, pp. 535-547, jul 2021.

[16] Xavier Glorot and Yoshua Bengio. Understanding the difficulty of training deep feedforward neural networks. In Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics, AISTATS 2010, Chia Laguna Resort, Sardinia, Italy, May 13-15, 2010, Vol. 9 of JMLR Proceedings, pp. 249-256. JMLR.org, 2010.

[17] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

図 3 Retrieverにて用いる知識コーパスの量に対する分類精度の変化.

表 2 分類対象の文書と Retriever が抽出したエビデンス文書

分類対象の文書

iran may soon resume uranium enrichment ( ap ) ap iran may resume uranium enrichment any moment, the nation' $s$ intelligence minister said on state television monday, two days after the $u$. n. nuclear watchdog agency demanded that tehran halt all such activity.

japan's smfg in $\$ 29$ b bid for ufj sumitomo mitsui financial group inc. laid out a $\$ 29$ billion bid for ufj holdings on tuesday, challenging a rival offer by mitsubishi tokyo financial group to form the world's biggest bank.抽出したエビデンス文書

iran stresses nuclear freeze is voluntary, brief tehran ( reuters ) - iran stressed on monday its decision to freeze sensitive nuclear work was a voluntary move to dispel concerns it was secretly building atomic arms and would last only for a short time.

japan's sumitomo tables ufj bid the battle to form the world's biggest bank has intensified after sumitomo mitsui financial group tabled an offer to buy japanese rival ufj holdings.

## A 知識コーパスの量に対する分類精度の変化

図 3 は，Retriever で用いる知識コーパスの量を AG News の 1\%から 100\%まで変化させたときの分類精度の 変化を示す.

この結果から，検索対象の知識コーパスの量が少なすぎる場合や多すぎる場合には，むしろ Retriever の導入は精度を悪化させる可能性があり，適切な量の知識コーパス (今回であれば訓練事例数の 3～10 倍の文書数)を利用することで精度向上に寄与する可能性があるということが推察される.

## B Retriever が抽出した文書の例

表 2 には，分類対象の文書と知識コーパスより Retriever が抽出した文書のぺアの一例を示す。この例から 分かるように，ある程度関連性のある文書を分類の根拠として出力することができているといえる．例の 1 つ目はイランの核開発問題，2つ目は日本のフィナンシャルグループの買収に関する記事である.


# 分類タスクにおける不確実性の高い文章の傾向調査

太田真人 1 ファイサル・ハディプトラ 1
1 電通国際情報サービス
\{ota.m, faisal.hadiputra\}@isid.co.jp

## 概要

信頼性のある AI システムの実現には精度だけで なく, 予測の不確実性や説明性が必要である. 予測 の不確実性の推定は，分類を人に委ねるかの意思決定に役立つ. しかし, 不確実性の高い文章の中に分類容易な文章が多いと，人は $\mathrm{AI}$ に不信感を抱く.そ こで，分類タスクにおける BERT モデルの予測の不確実性を軸に，文章傾向と精度を調査する．3つの 分類タスクで実験をおこない，予測の不確実性の高 い文章には精度が低く, 分類困難な要因が多く存在 することを示す.

## 1 はじめに

信頼される AI システムは，金融や医療など，人命や損害をともなう応用先で利用される. AI の信頼性の研究は, 説明性や予測の不確実性が中心であ る [1]. 予測の不確実性は, 確率モデリングのべイ ズ推論をもとに推定されてきた [2]. 自然言語処理 と予測の不確実性の研究は, 分布外検知 [1], 文章要約の高品質化 [3], 能動学習 [4] といった品質・安全・効率化で取り組まれている。

信頼される AI システムの実現には，誤分類リス クが高い文章の傾向を調査する必要がある. 人と AI の協調では，誤分類リスクの高い文章は，人間に 判断を委ねる安全な設計をする [5]. 人は誤分類が多 いと AI システムを信頼せず，システムから離脱す る.しかし, 人と AI の協調後も同様に，システムか ら離脱する恐れがある。 それは，誤分類リスクの高 い文章が人間にとって自明な文章が多いときであ る.したがって，私たちは，誤分類リスクの高い文章に分類困難な文章が多く含まれることを期待す る.ここで，予測モデルの分類困難な文章は，訓練 データ不足, クラス被覆, データバイアス, 外れ值 の文章を指す。

私たちは，誤分類リスクに予測の不確実性を用 い，不確実性の高い文章傾向を調査する．先の予測
モデルの分類困難な傾向は，予測の不確実性が高い ときのみ顕著に存在し, 精度が低い文章傾向とす る. 本研究の目的は, 不確実性の高い文章中から分類困難な傾向を特定できるのか，また，どの程度存在するのかを明らかにする。予測の不確実性は，モ デルの不確実性とデータの不確実性に分けられ，そ れぞれで調査する。データの不確実性は分類境界上 で不確実性が高く, モデルの不確実性は訓練データ 分布外で高くなるとされる [6]. 実験は, 事前学習済みモデル BERT[7] を用い，代表タスクとして，ネ ガポジ判定を 2 種類とニュース分類を 1 種類おこ なう。

以下に本研究の貢献を示す.

・3つの不確実性において，データの不確実性が 誤分類リスクと最も関係があることを示す。

・ネガポジ判定では，データの不確実性から，ネ ガポジ両方の感情を含むハードサンプルやデー タノイズを含む 6 つ傾向を特定し，モデルの 不確実性から，低頻度・未知語や皮肉を含む 5 つの傾向を特定する。
- 定量化可能な不確実性の高い文章傾向の 7 種類中 5 種類は分類困難な要因であることを示す.

## 2 問題設定

本章では BERT 分類モデルの予測の不確実性の種類とその定量化方法を説明する. 入力文章とラベル の組 $(x, y) \in(X, Y)$ を複数持つデータセットを $\mathscr{D}$ と する. 予測はモデルパラメータ $w$ を持つ事前学習済 みモデルの出力 $f(x ; w)$ とする. 不確実性の推定の 準備として，モデルパラメータの事前確率を $p(w)$ とし，予測分布を $p(y \mid x, w)$ とする. テストデータ $\left(x^{*}, y^{*}\right) \in \mathscr{D}_{\text {test }}$ に対する周辺予測分布は，パラメー タの事後分布 $p(w \mid \mathscr{D})$ を用いて以下の式で与えら れる。

$
p\left(y^{*} \mid x^{*}, \mathscr{D}\right)=\int p\left(y^{*} \mid x^{*}, w\right) \underbrace{p(w \mid \mathscr{D})}_{\text {posterior }} d w
$

## 2.1 不確実性の推定

本節では，不確実性の種類とその尺度を紹介する [6]. 予測の不確実性の定量化はベイズ推論からおこ なえる [8][2].

## 2.1.1 全体の不確実性

全体の不確実性は，周辺予測分布 $p(y \mid x, \mathscr{D})$ の不確実性である．全体の不確実性の尺度は，周辺予測分布の分散やエントロピーで表される. 周辺予測分布のエントロピーは，後に説明するデータの不確実性の予測エントロピーの期待值とモデルの不確実性 の相互情報量との和として式変形できる [9][10].

$
\underbrace{\mathbb{H}[Y \mid x, \mathscr{D}]}_{\text {predictive }}=\underbrace{\mathbb{[}[Y ; \omega \mid x, \mathscr{D}]}_{\text {model }}+\underbrace{\mathbb{E}_{\mathrm{p}(\omega \mid \mathscr{D})}[\mathbb{H}[Y \mid x, \omega]]}_{\text {data }} .
$

## 2.1.2 モデルの不確実性

モデルの不確実性は，モデルが特徴表現として獲得できていない，知識の欠如に由来する不確実性で ある. 特に訓練データ分布と大きく異なる文章に対 し, 不確実性が高くなる. 知識の欠如のため, 該当 する訓練データを増やすことで減少する不確実性と して知られている。 モデルの不確実性の尺度は，(1)式の第一項で表す, パラメータ $w$ と出力 $y$ との相互

## 2.1.3 データの不確実性

分類境界上の複雑な入力に対し, データの不確実性は高くなる. 訓練データを増やすだけでは減少し ない不確実性であり，根本的に該当するデータを取 り除くか修正する必要がある．データの不確実性の 尺度は, 事後分布 $p(\omega \mid D)$ からサンプリングされた モデルパラメータに対する予測エントロピーの期待值 $\mathbb{E}_{\mathrm{p}(\omega \mid \mathscr{)})}[\mathbb{W}[Y \mid x, \omega]]$ として表される.

## 2.2 不確実性に基づく文章の分析方法

本節では不確実性に基づく文章の分析方法を説明 する. テストデータから不確実性を軸に誤分類リス クの高い文章傾向を分析する. モデルの不確実性の 尺度を用い，データ不足が要因の文章傾向を調べ， データの不確実性の尺度を用い，データの複雑さが 要因となる文章傾向を調べる。分析方法はそれぞれ の尺度の高い文章と低い文章を上位 $k \%$ を人が読
み，頻出する文章パターンの傾向をまとめる.

## 3 実験

3 種類の文章分類データセットを用いて，データ の不確実性とモデルの不確実性の高い文章傾向を調査する.

## 3.1 データセットとモデル

3 種類の文章分類データセットを用いる. 感情分析に2クラス分類の Amazon 商品レビュー marc-ja [11] と3クラス分類の twitter の呟きデータ wrime [12]，9クラス分類のニュース記事 livedoor-news を 用いる。事前学習済み cl-tohoku/bert-base-japanese ${ }^{1 \text { ) }}$ を用いる。BERTのアーキテクチャは 12 層, 隠れ次元数は 768 , アテンションヘッド数は 12 ある $110 \mathrm{M}$ パラメータを持つ. 事前学習には, 約三千万データ を含む日本語版の Wikipediaを使用している. トー クナイザーにはワードピースレベルで MeCabを用 いる。語彙数は 32,768 である.

## 3.2 実験設定

不確実性の定量化手法には Deep Ensembles [13] を 用いる. Deep Ensembles は BERT の出力層の初期値 の seed 值を変えて， $M=5$ でアンサンブルする. BERT を微調整するために，エポック数 3 , 学習率 は $5 e-5$, バッチサイズは 16 , 文章長は marc-ja と livedoor-news で 512, wrime は 140 とする.

各不確実性と誤分類リスクとの関係調査に, [14] が提案した選択的予測に使われる RCC-AUC と Accuracy（Acc）を用いる.リスクカバレッジカー ブ (RCC) は，予測棄却基準に応じたテストデータに 対する累積誤分類数を示すグラフである。曲線下の 面積が小さいほど，不確実性の推定値が誤分類リス クの基準に良いことを示す. 予測棄却基準に全体の 不確実性 (TU), データの不確実性（DU），モデル の不確実性（MU）を用いる. それぞれの不確実性 の尺度には， 2.1 節で説明した指標を用いる.

本実験では，文章傾向の定性的調査にデータ分析経験 2 年以内の NLP の業務経験もない分析者 3 名が おこなう。これは，事前知識と経験をもとに傾向を 発見するのを防ぐためである. 分析者は marc-ja の テストデータ全体の $5 \%$ \%たる不確実性の高い文章 300 件と不確実性が低い 300 件から傾向を探す.

分析者が発見した不確実性の高い文章傾向を定量

1) https://huggingface.co/cl-tohoku/bert-base-japanese
化し，分類困難な要因か検証する．分類困難な要因 は，不確実性の高い文章の傾向が不確実性の低い文章と比較し, 出現頻度が高く, 精度が低いとする. したがって, 定量化可能な傾向は, 不確実性の高い 文章集合と低い文章集合に対し, 出現数と精度を計算する.

## 3.3 実験結果

各データセットでの Deep Ensembles の Accuracy を表 1 に示す. wrime は twitter のデータで口語調 のため, 精度が低い. 各データセットでの Deep Ensembles の RCC-AUC を表 2 に示す. RCC-AUC が 小さいほど，誤分類リスクのある文章を不確実性の 尺度で棄却できる。結果，DU が 2 つのデータセッ トで最も小さく, wrime は TUが最も小さい. marc-ja における定性的傾向分析結果を表 3 と表 4 に示す. 表 3 はデータの不確害性の高い文章から 発見できた定性的な傾向を示す。 ハードサンプルは 文章の文脈的にラベル付けが困難なサンプルであ る. “ネガポジ・ポジネガ文”は, 文章の序盤はポジ ティブだが，終盤ではネガティブな内容な文章を指 す. “ネガポジ形容詞なし" は，明示的にネガポジに 関する形容詞はでてこず，暗黙的に感情が表現され ている文章を指す。”変換ミス”は，タイピングミス を指す. ”別商品と比較” は，レビュー対象の商品 ではなく, 比較対象の商品を評価する文章である. データノイズは文章の文脈に依存しないエンコード ミスといった表面上のノイズを表す。”同じ文字の 繰り返し”は，1 文章の中に 3 回以上続けて同じ文字が使われる文章を指す。

表 4 はモデルの不確実性の高い文章から発見でき た定性的な傾向を示す. カテゴリを未知語・低頻出 と悪評や皮肉のような表現と分類する.未知語・低頻出は訓練データにほどんど存在しない珍しい文章 を表す。 “英単語” は，文中に英単語が 10 単語以上 ある文章を表す。”固有名詞” は，文中の固有名詞の 割合が $10 \%$ 以上ある文章を表す。”特殊記号” は，文中の英数字以外の文字列が $10 \%$ 以上ある文章を表 す. 悪評や皮肉のような表現は，文章全体ではポジ ティブだがネガティブと予測される言い回しであ る. 定性的な調査では, “良い意味で” に続くフレー ズがネガティブな内容なため, ネガティブと予測さ れている文章が散見された。

表 5 に各定性的分析結果から出現数と精度を示 す. 7 項目中 5 項目は予測モデルの分類困難な要因

表 1 各データセットの精度比較結果

表 2 各データセットの RCC-AUC $\downarrow$ 比較結果

と考えられる。一方で，"同じ文字の繰り返し”と”英単語” に関しては不確実性が高さに関係がなく,分析者のバイアスだった.

## 4 考察

## 4.1 モデルの不確実性とデータの不確実性 が誤分類と関係があるのか

両方の不確実性の推定が予測精度と関係はある が，DU の方が顕著な傾向が見えた．表 2 の結果か ら，RCC-AUC では，DUが最も性能が高く，誤分類 リスクを測る尺度であることがわかる。この結果 は，[15] の事前学習みモデルを用いないLSTM の結果と類似する。事前学習済みモデルの微調整でも同様の結果が得られた. TU は DU と類似した結果を 示すが，MU を含み，わずかに劣る結果になった. この結果は，MU が分布外サンプルの検出精度が高 いが，本実験のテストデータには，分布外データが 少ないことによるものと考えられる. 今後は日本語文章の分布外検出精度を評価する。

## 4.2 モデルの不確実性やデータの不確実性 が高くなる文章の傾向はあるのか

発見した傾向のカテゴリは既存研究と同様の結果 が得られた [15]. 表 3 と表 5 からデータの不確実性 が高い文章の傾向カテゴリは，人間が読んでも分類 が困難な文章やデータノイズである。しかし，本研究では，詳細に傾向を調べた。具体的な分類困難な 文章は，表 5 の”ネガポジ・ポジネガ”や”ネガポジ 形容詞なし”からわかる. 特に, “ネガポジ形容詞な し”は不確実性の高い上位 300 件に 24 文章含む。一方で，不確実性が低い上位 300 件には 3 件しか含ま れておらず，DUが高い顕著な傾向である．また， そのときの正答率も $41 \%$ 差がある.

同様にモデルの不確実性が高い文章の傾向は，訓練データに少ない単語や記号を含む文章である．分析者が見つけた傾向の “固有名詞”と"特殊記号” は,

 &  &  \\

表 5 予測の不確実性の文章傾向の定量化の結果 (Marc-ja). 傾向の黒字は, 不確実性が高いときにカウント が多く，正答率が低い分類困難な要因を表す.

 & 正答率 \\

& Low & $40(13 \%)$ & 1.00 \\

& Low & $3(1 \%)$ & 1.00 \\

& Low & $1(0.3 \%)$ & 1.00 \\

& Low & $48(16 \%)$ & 1.00 \\

& Low & $15(5 \%)$ & 0.98 \\

& Low & $2(0.6 \%)$ & 1.00 \\

& Low & $10(3 \%)$ & 1.0 \\

訓練データに低頻出な文章と考える. “特殊記号”の 場合，MUが高い 300 件中 20 件含まれ，精度は $62 \%$ と低い.一方で，MU が低い 300 件中に 10 件しか なく，精度が $100 \%$ と高いことから，"特殊記号”は MU が高い傾向と考える.

## 4.3 予測の不確実性に基づく文章分析は分類困難な要因を示せるか

予測モデルの分類困難な要因を示すため，予測の 不確実性を定量化し，定性的な分析をおこなった。予測の不確実性が高いときのみ文章数が多く，精度 が低い文章傾向を分類困難な要因とした。表 3 と表 4 から不確実性に基づく文章分析は，データの不確実性からハードサンプルとデータノイズを発見で き，モデルの不確実性から未知語や低頻出な単語を 発見できた. また，表 5 の結果から，この傾向は不確実性が高い文章のみ精度が低く, 出現頻度が多い ことがわかる. さらに，表 5 の定量化可能な傾向に 絞ると，分類困難な要因は 7 個中 5 個あった. この 結果から，予測の不確実性から発見する傾向の多く は分類困難な要因を表す。

## 5 まとめ

予測の不確実性に基づく文章分析から分類が困難 な文章傾向を実験的に示した．定量化可能な傾向の 7 種類中 5 種類は，不確実性が高い文章で誤分類率 が高く, 文章の出現頻度も高く, 分類困難な文章傾向だった. 結果として，不確実性の高い文章には予測モデルの分類困難な文章傾向が多く発見された. しかし，定量化できていない傾向も多く，人が全て の文章をグループ化したわけではない. グループ化 されていない文章が人に与える影響の調査が今後の 課題である.

## 参考文献

[1] Yibo Hu and Latifur Khan. Uncertainty-aware reliable text classification. In Proceedings of the 27th ACM

SIGKDD Conference on Knowledge Discovery amp; Data Mining, p. 628-636, 2021.

[2] Radford M Neal. Bayesian learning for neural networks, Vol. 118. Springer Science \& Business Media, 2012.

[3] Alexios Gidiotis and Grigorios Tsoumakas. Should we trust this summary? Bayesian abstractive summarization to the rescue. In Findings of the Association for Computational Linguistics: ACL 2022, pp.4119-4131, May 2022.

[4] Liat Ein-Dor, Alon Halfon, Ariel Gera, Eyal Shnarch, Lena Dankin, Leshem Choshen, Marina Danilevsky, Ranit Aharonov, Yoav Katz, and Noam Slonim. Active Learning for BERT: An Empirical Study. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7949-7962, November 2020 .

[5] Neeraj Varshney, Swaroop Mishra, and Chitta Baral. Towards improving selective prediction ability of NLP systems. In Proceedings of the 7th Workshop on Representation Learning for NLP, pp. 221-226, May 2022.

[6] Jakob Gawlikowski, Cedrique Rovile Njieutcheu Tassi, Mohsin Ali, Jongseok Lee, Matthias Humt, Jianxiang Feng, Anna Kruspe, Rudolph Triebel, Peter Jung, Ribana Roscher, et al. A survey of uncertainty in deep neural networks. arXiv preprint arXiv:2107.03342, 2021.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), June 2019.

[8] David John Cameron Mackay. Bayesian methods for adaptive models. California Institute of Technology, 1992.

[9] Lewis Smith and Yarin Gal. Understanding measures of uncertainty for adversarial example detection. arXiv preprint arXiv:1803.08533, 2018.

[10] Yarin Gal. Uncertainty in deep learning. 2016.

[11] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, June 2022.

[12] Tomoyuki Kajiwara, Chenhui Chu, Noriko Takemura, Yuta Nakashima, and Hajime Nagahara. WRIME: A new dataset for emotional intensity estimation with subjective and objective annotations. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2095-2104, June 2021.

[13] Balaji Lakshminarayanan, Alexander Pritzel, and Charles Blundell. Simple and scalable predictive uncertainty estimation using deep ensembles. Advances in neural information processing systems, Vol. 30, , 2017.

[14] Ran El-Yaniv and Yair Wiener. On the foundations of noise-free selective classification. J. Mach. Learn. Res., Vol. 11, p. 1605-1641, aug 2010.
[15] Yijun Xiao and William Yang Wang. Quantifying uncertainties in natural language processing tasks. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, pp. 7322-7329, 2019.


# 検索結果整理のためのラベルセット選出計算高速化と Wikipedia カテゴリからのラベルセット選出

細野涌城高本綺架 廣中 詩織梅村 恭司
豊橋技術科学大学
\{hosono.yuki.ql, takamoto.ayaka.nx, hironaka.shiori.ru, umemura\}@tut.jp

## 概要

我々は情報収集のために検索することが多いが，適切なキーワードを使わないと, 膨大な数の検索結果が表示されてしまう. そこで，適切なキーワード を思いつけないときでも検索結果を絞り込めるよ うに，検索結果をうまく分類できるラベルセットを 提示することを考える. 本研究では，ラベルの含ま れる文書数（文書頻度）をもとに算出した適性度を 用いて, Wikipedia カテゴリをもとに生成した複数 のラベルセットを順位付ける．ラベルセットの数が 多いため適性度の計算に時間がかかるという問題 があったが, 前処理を工夫し, 文書頻度の計算に Suffix Array を用いたアルゴリズムを利用すること で，短時間で順位付けできた。

## 1 はじめに

我々は情報収集をするとき, 膨大な数の文書に対 して検索することで情報を探すことが多いが，適切 な検索キーワードがわからないと, 膨大な数の検索結果が表示されてしまう. そのため, 我々はキー ワードを追加して検索結果の絞り込みを行う。しか し, 目的の情報に関しての知識が少ないと追加の キーワードを考えるのは難しいため, サジェストを 用いることがある. サジェストは検索ワードや多数 のユーザーの検索ログなどからキーワードを提案す る機能である $[1,2]$. サジェストにより提案される キーワードは，検索結果を絞り込むためによく使わ れているキーワードであり, 様々な粒度のキーワー ドが提案される. 本研究では, カテゴリに対応する キーワード集合（ラベルセット）を大量に用意し， その中から検索結果とマッチングのとれたものを複数提案することを考える.

検索結果には複数の話題が含まれているため, 検索結果の文書集合を共通の話題を含む複数のグルー
プに分類できれば，検索結果の整理や絞り込みに役立つと考えられる. グループ内の文書に共通する話題がキーワード（ラベル）で表現されるとき，ラベ ルには情報の抽象性の粒度があり, 様々な粒度のラ ベルがある，粒度の小さいラベルは，それよりも粒度が大きいラベルによってさらにグループ化できる こと [3] や，小さい粒度のラベルによる小グループ を，粒度が大きいラベルを用いて大グループにまと めることで，分類された文書をより整理しやすくな ること [4]がわかっている. 我々は，粒度のそろっ たラベルで検索結果が整理されている方が，ユーザ にとって理解しやすくなると考えている.

宮越ら [5] は，粒度のそろったラベルセットを事前に用意し，その中から検索結果の整理に適したラ ベルセットを順位付けて提示する手法を提案してい る. 宮越らは, 検索結果には複数の話題が含まれて いるため, 共通の話題を含む複数のグループへ検索結果を偏らず分類できるラベルセットが良いラベル セットであると考えている．実験に用いられたラベ ルセットは地域区分に関するものに限定されていた が，検索結果の整理に適したラベルセットを提示で きていた。

本研究では, あらかじめ用意するラベルセットを つくるために Wikipedia ${ }^{1)}$ を用いる. Wikipedia は多種多様な分野の記事を網羅しており，シソーラス辞書の作成にも用いられている [6] ため, この記事名 をラベルとすることで多様な話題に対応できること を期待している。また, Wikipedia の記事はカテゴ リによって分類されているため，カテゴリによって グループ化される記事の粒度はある程度そろったも のとなっている. Wikipedia カテゴリを用いて，粒度をある程度そろえたラベルセットを大量に生成 する。

本研究では, Wikipedia のカテゴリを用いて生成

した複数のラベルセットの中から，検索結果の分類 に適するラベルセットを順位付けて提示する。さら に, 検索結果とラベルセットのマッチング方法を工夫し，その結果の実行時間も報告する.

## 2 関連研究

検索結果を分類し，ラベル付けすることで文書の 内容を提示する研究は多数存在する. 淀川ら [7] は クラスタラベリングによって重要語を特定すること で, 内容の整理を試みた。村松ら [8] らはクラスタ ラベリングによって付与されたラベルに対して，既存の分類階層である Yahoo!カテゴリを利用した上位語を求めることで，分類した検索結果を階層化させ て整理している.これらの研究により付与されたラ ベルは粒度が不均一である. 我々は粒度が均一なラ ベルのほうが整理に適していると考えている.

Wikipediaを利用して検索結果を整理する研究も 多数存在する. Ugoら [9] は Wikipedia のリンク構造 を用いたクラスタラベリングを行い，検索結果の内容にそぐうラベルの提示を試みた。平島ら [10] は Wikipedia カテゴリに対してパレートの法則を用い たり, 分類に不適切なカテゴリの除去したりするこ とで，検索結果の内容にそぐうカテゴリを提示でき ている.

## 3 使用データ

## 3.1 文書集合

Ceek.jp News²) が 2004 年 1 月から 2020 年 5 月に収集したニュース記事から抽出した記事集合を実験に 用いる，検索結果に適するラベルセットを提示する 実験をするため, 検索結果を模した, 21 種類の選別理由のある文書集合 RR と, 選別理由のない文書集合 D を用意する. 用意した文書集合は宮越ら [5] が 実験で用いたものと同一である．選別理由のある文書集合 RR は, 本研究における分類対象であり, 記事集合から特定の単語リストのいずれかを含む文書 をランダムに最大 3,000 件抽出したものである. 選別理由のない文書集合 D は, 検索対象となる全文書集合を代表するドキュメントの集合であり, 記事集合からランダムに 30,000 件抽出したものである.

2) http://www.ceek.jp/

## 3.2 ラベルセット

多種多様な話題に対応できるよう, 我々は Wikipedia の記事名とその所属カテゴリからラベル セットを作成する．まず，各ラベルセットがそのカ テゴリに所属する記事名をラベルの集合として持 つように，すべての Wikipedia のカテゴリをラベル セットに変換する．次に，分類に不向きであるた め，ラベルセットに属するラベルが 200 種類を超え るラベルセットを削除する. 人名などが羅列された ラベルセットが取り除かれることも期待している. さらに，各ラベルセットに属するラベルから， 4 文字未満のラベルを削除する．ラベルと検索結果の マッチングをする際，「京都」が「東京都」に含まれ てしまうような, 意図しないマッチングを防ぐこと を期待している．削除するラベルを 4 文字未満とし たのは，これらのラベルを削除してもラベルセット に与える影響は小さいと見込んだためである.

本研究では, 2022 年 8 月 20 日に作成された Wikipedia 日本語版のデータベース・ダンプ3) から取得した 314,422 個のカテゴリと，1,974,022 種類の記事データをもとにラベルセットの集合 LSS を生成 した. 生成した LSS には 305,462 個のラベルセット と, $1,441,413$ 種類のラベルが属していた。

## 4 実験方法

Wikipedia カテゴリを用いて生成したラベルセッ トを使って，各 RRに適したラベルセットの適性度 を計算し，順位付ける。順位付けには宮越ら [5] が 提案した手法を用いる. 宮越らの場合よりラベル セット数が増えているため, 適性度の計算の前に分類に適する見込みのないラベルセットを削除する ことにより処理対象を減らし, 実行時間の短縮を図 る. さらに, 適性度の計算の際にはラベルが 1 回以上出現する文書数（文書頻度）を計算する必要があ る. 文書頻度を求めるために, 我々は $d f_{k}$ を高速に 数えるアルゴリズム [11]を用いる．このアルゴリ ズムは，分析対象となる文書集合に対して，前処理 の段階で Suffix Array を用いた頻度表を作成するこ とにより, 複数の単語の文書頻度を, 文書集合を逐一参照することなく求められる. このアルゴリズム を利用して計算できるように，宮越らの使用した一部の条件式を変更する．本研究ではこのアルゴリズ ムの C 言語実装を Python から呼び出して利用した。

3) https://dumps.wikimedia.org/jawiki/

その他の処理は Python で実装した。

処理全体の流れは以下の通りである。初めに，D で出現する傾向にあるラベルとラベルセットを特定 し, 分類に適する見込みがないラベルセットを削除 する. 次に, RR で出現する傾向にあるラベルセッ 卜を特定する. 最後に, 特定したラベルセットに対 して, 宮越ら [5] で提案された手法を用いて適正度 を算出し，順位付けする。

## 4.1 ラベルセットとラベルの絞り込み

初めに，D で出現する傾向にあるラベルセットを 特定する.この処理は検索対象を定めた時点で行う 処理である。まず，LSSに含まれる全てのラベルの 集合 $\mathrm{L}$ を求める. その後, $\mathrm{L}$ の全ラベルに対してラ ベルの文書頻度を求める.ここでは $\mathrm{D}$ におけるラべ ル $l$ の文書頻度を $d f(l ; \mathrm{D})$ と表す. 次に式 (1)を満 たすラベルセット $L S$ を特定し, 満たさない $L S$ は LSS から削除する.ここで， $N_{\mathrm{D}}$ は D の文書数であ り, 本研究では 30,000 である. また, $M_{L S}$ はラベル セット $L S$ に属するラベル数である。なお, 式 (1) は 宮越らの論文 [5] 内の式 (4) を, 文書頻度による推定で置き換えた式である.

$
1-\prod_{l \in L S}\left(1-\frac{d f(l ; \mathrm{D})}{N_{\mathrm{D}}}\right)>\frac{2 M_{L S}}{N_{\mathrm{D}}}
$

その後, 文書頻度が 2 以上のラベルの集合 $L_{2}$ を求 め, $L_{2}$ の要素を 1 つも含まないラベルセットをLSS から削除する. 最後に, 削除後の LSS をもとにLを 再度求める. ここまでの処理により, ラベルセット は 5,253 個, ラベルは 97,708 種類に絞り込まれた。

次に RR で出現する傾向にあるラベルセットを求 める.まず，L の全ラベルに対して RRにおける文書頻度 $d f(l ; \mathrm{RR})$ を求める. 次に, $L_{2}$ から $d f(l ; \mathrm{RR})$ が 1 以上のラベルを取り出した部分集合 $R L_{1}$ を特定する. 最後に $R L_{1}$ の要素を含む LSS の部分集合 LSC を求める. RR によって LSC に含まれるラベル セット数は異なるが, 21 種類の RR で平均 4072 個 に絞り込まれた。

## 4.2 ラベルセットの順位付け

宮越ら [5] の提案手法を用いて適正度を算出し,順位付けを行う。初めに，式 (2) を満たさない，分類に不適切なラベルセットを削除する.ここで， $N_{\mathrm{RR}}$ は RR の文書数であり,「りんご農家」の RR で は 1,706, それ以外の $\mathrm{RR}$ では 3,000 である.なお,式 (2) は宮越らの論文 [5] 内の式 (3) を, 文書頻度に
よる推定で置き換えた式である.

$
1-\prod_{l \in L S}\left(1-\frac{d f(l ; \mathrm{RR})}{N_{\mathrm{RR}}}\right)>\frac{2 M_{L S}}{N_{\mathrm{RR}}}
$

次に，ラベルの適正度を求める。まず，ラベル セット $L S$ 内の各ラベルに対し式 (3)を求め， $x_{l}$ を 式 (4) のシグモイド関数に代入した值 $\sigma\left(x_{l}\right)$ をラべ ルの適正度とする。

$
\begin{gathered}
x_{l}=\frac{\frac{d f(l ; \mathrm{RR})}{N_{\mathrm{RR}}}-\frac{d f(l ; \mathrm{D})}{N_{\mathrm{D}}}}{\sqrt{\frac{\left(\frac{d f(l ; \mathrm{RR})}{N_{\mathrm{RR}}}\right)\left(1-\frac{d f(l ; \mathrm{RR})}{N_{\mathrm{RR}}}\right)}{N_{\mathrm{RR}}}+\frac{\left(\frac{d f l ; \mathrm{D})}{N_{\mathrm{D}}}\right)\left(1-\frac{d f(l ; \mathrm{D})}{N_{\mathrm{D}}}\right)}{N_{\mathrm{D}}}}} \\
\sigma\left(x_{l}\right)=\frac{1}{1+e^{-x_{l}}}
\end{gathered}
$

最後にラベルセットの適正度を求める. ラベル セット $L S$ の適正度は $L S$ 内の全ラベルの適正度の平均であり, 式 (5) の $s_{L S}$ で表される.この適正度に 従いラベルセットの順位付けを行う。

$
s_{L S}=\frac{\sum_{l \in L S} \sigma\left(x_{l}\right)}{M_{L S}}
$

## 4.3 実行時間の計測方法

ラベルセットの順位付けは検索時に行うことを想定しているため, 処理速度が求められる. そこで,本研究では RR を読み込んでからラベルセットの順位付けを行うまでの実行時間を調べることで，検索時に行うに足る処理速度か判断する。本稿では，各 $R R$ に対して 10 回実行した時間の平均を報告する.

実験に用いた PC の OS は Windows 10 Home であ り, CPU は Intel Core i7-9700,メモリは 32GB であ る. Python 3.8.10 で実行し, $\mathrm{C}$ 言語で実装されたア ルゴリズムのコンパイルは GCC 9.4.0 で行った。ま た，時間計測には， $\mathrm{C}$ 言語で実装されたアルゴリズ ムの前処理は time モジュールの pref_counter 関数 を，その他の処理はprocess_time 関数を用いた。

## 5 実験結果 $\cdot$ 考察

我々は， 21 種類の RR に対して，4 節で説明した 方法で適正度を求め, ラベルセットを順位付けし た。本節では RR「Jリーグ」に対するラベルセット の順位付け結果のみ示す. その他 20 種類の RRに対 する順位付け結果は付録 A に示した。また，本節で は各 RRにおける実行時間も示す.この実行時間を もとに，実際の検索で用いるに足るかを判断する.

RR「Jリーグ」に対するラベルセットの順位付け 結果を表 1 に 10 位まで示す. ラベル数が 10 以上の
表 $1 \mathrm{~J}$ リーグに対するラベルセットの順位付け結果

 & 0.98 & 1 \\

に関するラベルセットであるため, J リーグの内容 と関連のあるラベルセットだと考える。一方，ラベ ル数が 1 のラベルセットはラベルセット名だけでは ラベルの内容が不明であった. ラベルセット内のラ ベルを用いて検索結果を分類することを考えると， ラベル数 1 のラベルセットは分類に不適切であり, ラベルの内容も名前だけで予測しづらいため，ラベ ル数が 1 のラベルセットは取り除かなければならな いと考える. なお, 平島らの研究 [10] では, ラベル 数が 3 以下のラベルセットがあらかじめ取り除かれ ている.

次に，各 RRにおける実行時間を表 2 に示す．RR 「震源地」以外では, 平均約 3.6 秒で順位付けできた ため, 実際の検索時に行う処理として許容できる速 さだと考える. RR「震源地」で遅くなった原因は, RR「震源地」には文書の 7 割以上を英語が占めてい表 2 各RRにおける実行時間

るものが存在するためである．文書頻度を求める際 に用いたアルゴリズムの実装は日本語で記述された 文書に対して使うことを想定している。このアルゴ リズムは反復度という特徴量を用いているが，英語 は反復度が日本語よりも大きいため [12], 英語が多 く含まれる文書集合は適していなかった。アルゴリ ズムの実装を反復度が大きい単語を考慮するように 変更することにより，英語が多く含まれる文書集合 に対しても，他の文書集合と同様に数秒程度で処理 を終えられると考える。

## 6 おわりに

本研究では, Wikipedia カテゴリを用いて生成し た複数のラベルセットの中から, 検索結果の分類に 適するラベルセットをほぼ数秒で順位付けて提示 することができた。上位に選ばれたラベルセットの うち, ラベル数が 10 以上のラベルセットをみると,文書の内容に関連するラベルセットを提示できたと 考える. 今後の課題として, ラベル数が少ないラベ ルセットの削除は行うことが必要であるとわかって いる.

## 参考文献

[1] Zhiyong Zhang and Olfa Nasraoui. Mining search engine query logs for query recommendation. In Proceedings of the 15th International Conference on World Wide Web, pp. 1039-1040, 2006.

[2] Sumit Bhatia, Debapriyo Majumdar, and Prasenjit Mitra. Query suggestions in the absence of query logs. In Proceedings of the 34th International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 795-804, 2011.

[3] 平川秀樹, 木村和広. 概念体系を用いた概念抽象化手法と語義判定におけるその有効性の 評価. 情報処理学会論文誌, Vol. 44, No. 2, pp. 421-432, 2003 .

[4] Hiroyuki Toda and Ryoji Kataoka. A search result clustering method using informatively named entities. In Proceedings of the 7th Annual ACM International Workshop on Web Information and Data Management, pp. 81-86, 2005.

[5] 宮越遥, 吉田光男, 梅村恭司. 文書整理に用い る分類リスト順位付けの試み. 第 14 回データ 工学と情報マネジメントに関するフォーラム. G43-3, 2022.

[6] 中山浩太郎, 原隆浩, 西尾章治郎. Wikipedia マイニングによるシソーラス辞書の構築手法. 情報処理学会論文誌, Vol. 47, No. 10, pp. 2917-2928, 2006.

[7] 淀川翼, 加登一成, 伊東栄典. 単語の分散表現を用いた文書クラスタのラベル推定. 人工知能学会第二種研究会資料, Vol. 2019, No. SWO-049, p. 03, 2019.

[8] 村松亮介, 福田直樹, 石川博. 分類階層を利用 した検索エンジンの検索結果の構造化とその 提示方法の改良. 第 19 回データ工学ワーク ショップ. B6-3, 2008.

[9] Ugo Scaiella, Paolo Ferragina, Andrea Marino, and Massimiliano Ciaramita. Topical clustering of search results. In Proceedings of the Fifth ACM International Conference on Web Search and Data Mining, pp. 223-232, 2012.

[10] 平島峻成, 吉田光男, 梅村恭司. 新聞記事検索結果に対する分類ラベル生成における Wikipedia カテゴリ情報の利用法. 第 11 回データ工学と 情報マネジメントに関するフォーラム. G2-4,
2019.

[11] Kyoji Umemura and Kenneth Church. Substring statistics. In Computational Linguistics and Intelligent Text Processing, pp. 53-71, 2009.

[12] Yoshiyuki Takeda, Kyoji Umemura, and Eiko Yamamoto. Deciding indexing strings with statistical analysis. In Proceedings of the Third NTCIR Workshop on Research in Information Retrieval, Automatic Text Summarization and Question Answering, pp. 79-85, 2002.
表 3 すべての RRに対するラベルセットの順位付け結果

 &  &  &  &  &  &  &  &  &  &  &  &  &  &  &  &  \\

## A すべてのRRに対する順位付け結果

表 3 にすべての RR に対するラベルセットの順位付け結果を示した。ここに示したラベルセットは, 各 RR に対して最も適正度が高いラベルセットのみ取り出したものである. 行はRRを，列はラベルセットを示し ている。各セルは RRに対するラベルセットの適正度を示している。赤く塗りつぶされたセルは, 該当する RR（行）において最も適正度が高いことを示している. セルの值がハイフン (-) となっているラベルセット は，該当する RRにおいて LSC に含まれず，適正度の計算対象外であったことを示している．また，セルの 值が 0 となっているラベルセットは, 該当する RRにおいて式 (2) を満たさず，適正度の計算対象外であった ことを示している.

表 3 をると，フィギュアスケートの RRに対して，シスメックス（坂本花織選手などが所属する企業）と いうラベルセットの適正度が最も高いことが分かる. そのため, シスメックスのラベルセットにより, フィ ギュアスケートの内容の一部を捉えられていると考える。しかしながら，マンゴーやみかんの RR に対して サトウキビ属の適正度が高いなど，記事の内容とはおよそ的外れなラベルセットが分類に適すると判定され たものも存在することが分かった，さらに，ハイチ系日本人や，仏教系政党といった，ラベルセット名だけ では内容が予測しづらいラベルセットが存在することも分かった。検索結果の内容にそぐわなかったり, ラ ベルセット名から内容が予測しづらいラベルセットを削除するために, 平島らの研究 [10] のようにラベル数 が 3 以下のラベルセットを取り除くべきだと考える.


# 抑揚による疑問表現を考慮した音声対話システムの提案

坂根剛 目良和也 黒澤義明 竹澤寿幸
広島市立大学大学院 情報科学研究科
sakane@ls.info.hiroshima-cu.ac.jp
\{mera, kurosawa, takezawa\}@hiroshima-cu.ac.jp

## 概要

従来の音声対話システムでは音声認識結果をその まま入力としているため, 疑問文と平叙文の区別が つかず，問いかけに対して不適切な応答をすること があった. そこで本研究では, ノンバーバル情報に よる疑問表現を考慮できるように, 発話の音響的情報に基づいて疑問表現発話を判定し，GPT モデルを 用いて疑問符の有無を考慮した応答を生成する手法 を組み込んだ音声対話システムを提案する。疑問表現判定実験における正解率は 0.76 , また応答発話テ キスト生成実験では疑問符を付加した入力に対して は疑問表現を考慮した応答候補が生成されているこ とが確認された。

## 1 はじめに

近年, 音声対話システムは様々な分野で普及して おり，雑談のような非タスク指向型対話についても 研究が進められている $[1,2]$. しかし音声認識では疑問表現を表す疑問符を表現できないため, 従来の音声対話システムでは図 1 に示すように話者からの問 いかけを平叙文と誤認識してしまい不適切な応答を 返すといった問題が起こる. このような発話テキス トに依らない疑問表現は日常対話においてたびたび 用いられている. 目良ら[3]の音声対話システム実験 では, 実験参加者 7 人による延べ 209 発話中 57 件が 疑問発話であり, うち 20 件が発話文字列だけでは区別できない疑問表現であった.

そこで本研究では, 従来の音声対話システムでは 扱えない “抑揚による疑問表現”を考慮して応答を 生成する音声対話システムを提案する。 また提案シ ステムの要素技術である “発話音声の音響的特徴か ら疑問表現を判定する手法”と“疑問符の有無を考慮した GPT モデルでの応答生成手法”を実装する。

図 1 : 抑揚による疑問表現への対応

## 2 関連研究

杉山ら[1]は, 雑談を通じて名所についての知識,行った経験, 具体的な印象の 3 要素を順に引き出す 対話を行うシステムを提案している。このシステム では，主にテキストベースで対話を進めていき，ア ジェンダに基づく対話制御の考えに沿って自然な対話の流れを実現していく。

また, 藤原ら[2]は, 系列変換応答生成モジュール と知識ベース応答生成モジュールによって生成され た応答候補からフィルタリングによって最終的な応答を決定する手法を提案している。この手法では知識ベースによりある程度の質問に対応可能であるが, テキストベースのフィルタリング手法を用いている ため発話文字列のみでは区別することができない疑問表現に対応することは困難である.

これらの手法ではいずれも話者の口調や表情など のノンバーバル情報を考慮していない。一方，目良 ら[3]はユーザのノンバーバル情報から話者感情を 推定し, 推定した感情を考慮して応答できる音声対話システムを提案している。そこで本研究では, 目良ら[3]の手法をべースとして, 発話の音響特徴量か ら話者感情の代わりに疑問表現か否かを判定するこ とで，ノンバーバルな疑問表現を考慮した音声対話 システムを実現する。

## 3 抑揚による疑問表現を考慮した音声対話システム

本論文では，目良ら[3]の “発話の音響的特徴から 推定した話者感情を絵文字として発話文字列の末尾に付与することによって話者感情を考慮した応答 を生成する手法”をべースとして，“発話の音響的特徴から判定した疑問表現を疑問符として発話文字列の末尾に付与寸ることによって疑問表現を考慮 した応答を生成する手法”を提案する。

## 3.1 提案手法のシステム構成

図 2 亿提案するシステムの概要を示す。まず，話者の発話音声に対して音声認識を行うと同時に, 疑問表現判定部で入力発話音声の音響的特徴から疑問表現か否かを判定し, 疑問文と判定された場合は音声認識から得られた入力発話文字列の末尾に疑問符 を付加する. その入力発話テキストに対して, 応答発話生成部ではファインチューニングを行った GPT モデルによって応答発話テキストを生成する.疑問表現判定処理については 3.2 節, 応答発話テキ スト生成手法については 3.3 節で詳しく説明する.

## 3.2 音響情報に基づく疑問表現判定

本手法では, 発話音声データから算出した静的音響特徴量を LightGBM[4]に学習させることで, 入力発話音声が平叙文か疑問文か 2 クラス分類する機械学習分類器を構築する.

学習用音声データとしては,「BTSJ 日本語自然会話コーパス」[5]の対話音声データを使用する. 本コ 一パスには友人同士や初対面同士などの状況での 2 名間の対話が収録されており,対話時間は約 10 分か ら 30 分である. また, それぞれの対話音声データに 対する書き起こし文も用意されている. この対話音声データを 1 発話単位で切り取ることにより, 平叙文，疑問文の発話音声データをそれぞれ 200 件ずつ 収集した. なお, 平叙文, 疑問文とする基準は各対話音声デー夕に対する書き起こし文末尾の疑問符の 有無としている.

発話音声データから算出する音響特徴量セットと しては, openSMILE の eGeMAPSv02 feature set およ び emobase2010 feature set を使用する. 両 feature set では，それぞれ 88 種類および 1,582 種類の静的特徴量が算出される. eGeMAPSv02 feature set はほとんど の特徴量が算術平均と変動係数のみとなっているの

図 $2:$ 提案手法のシステム構成

に対して, emobase2010 feature set は各波形の一次導関数を取得することができ，また各波形から線形近似直線の傾きや四分位, 標準偏差等の静的特徴量も 算出することができる.

## 3.3 応答発話テキスト生成手法

本節では，疑問表現発話の末尾に疑問符を付与し た入力発話テキストに対して，疑問表現であること を考慮した応答を生成するシステムについて説明す る. 応答発話テキストを生成するシステムは, rinna 社が公開している GPT-2[6]をべースとして, 日本語日常会話コーパス[7]によってファインチューニン グを行うことで構築する。 日本語日常会話コーパス は，性別・年齢を考慮して選別された協力者 40 名に より，日常で発生する会話を協力者自身によって記録してもらうことで収集したコーパスである。本コ ーパスには収集した対話音声に対応する転記テキス トが収録されており，本手法では転記テキストを全 てファインチューニング用データとして使用する.

本コーパスの転記テキストには笑いが生じている 箇所や音の詰まり等の非言語的情報がタグで表記さ れているが, 本手法ではテキストデータを扱うため,学習の際は読点を除く非言語的情報のタグを削除し ている。

このようにして前処理を行ったデータから，末尾 に疑問符が存在する転記テキストとその直後の転記 テキストをぺアとする疑問符付きファインチューニ ング用データを作成した。平叙文にも対応できるよ うに，入力文の末尾が疑問符ではなく読点であるぺ アも同様に作成している。これにより作成したファ インチューニング用データの件数は, 平叙文が 523,984 件，疑問文が 53,489 件となった。

## 4 評価実験

本実験では，発話の音響特徴量を用いた疑問表現 の有無の判定処理および, 疑問符の有無による応答候補の変化について評価実験を行う。

## 4.1 疑問表現推定実験

本実験では, 3.2 節で説明した音響特徴量セットか ら算出される発話の音響特徴量を用いて, 疑問表現 の有無での 2 クラス分類の正解率の評価を行う。な お emobase2010 feature set は算出される音響特徴量 が 1,582 種類と学習データ数よりかなり多いため過学習を起こしてしまう恐れがある. そこで特徴量の 重要度上位 20 種の静的特徵量に限定した学習実験 も行った. 重要度の算出は, ある特徵量が機械学習 モデル全体において目的関数の改善に貢献した度合 いを示す gain[8]を用いた. 表 1 に特徴量重要度上位 20 種を示す。

機械学習実験の結果を表 2 に示す. emobase2010 feature set での特徴量重要度上位 20 種の静的特徴量 のみ使用した結果が正解率 0.76 と最も高い結果とな った.これは emobase2010 feature set には各波形の一次導関数が存在するため, 各波形の時系列変化の傾向を学習できたものと考えられる. また, 特徵量重要度上位 10 種の大半は声の高さに関係する基本周波数に関連する静的特徵量であったことから, 声の 高さの変化は疑問表現を判定する際に有効であると いえる. また, 1,582 種類の静的特徴量を特徴量重要度上位 20 種に絞り込むことにより, 関連性が低い特徵量を除外することができたため, 正解率が大幅に 向上したと考えられる。

## 4.2 疑問表現に対する応答生成実験

次に, 提案手法によって生成された応答発話テキ ストが入力発話の疑問表現に合った応答となってい るかについての実験を行う. 発話文字列のみでは疑問表現か否か区別できない文字列を実際の対話事例 から収集し，疑問符がある場合とない場合の両方の テキストに対して応答発話テキストを生成した.

本手法によって生成された応答発話テキストの例 を表 3 に示す.この結果より, 発話文字列のみでは 疑問表現として区別できない文字列でも疑問符を付加することで適切な応答発話テキストを生成できる ことを確認できた.表 $1:$ 重要度上位 20 種の静的特徴量

表 2 : 抑揚による疑問表現推定手法の正解率の比較

表 3 : 提案手法によって生成された応答発話

(a)「この犬かわいくない（?）」への応答発話

 \\

(b)「元気（?）」への応答発話

 \\

(c)「体調は大丈夫（?）」への応答発話

 \\

## 5 おわりに

本研究では, 従来の音声対話システムでは扱えな い“入力発話音声の抑揚による疑問表現”を考慮し て応答を生成する音声対話システムを提案し, シス テムの要素技術である “発話音声の音響特徴量から 疑問表現を判定する手法” と “疑問符の有無を考慮 した GPT モデルでの応答生成手法” を実装した. 要素技術に対する評価実験の結果, 疑問表現判定実験 における正解率は 0.76 であった. また，「抑揚によ る疑問表現を疑問符によって表現した入力発話テキ ストに対しては，疑問表現を考慮した応答発話テキ ストを生成することができた。

今後は，抑揚による疑問表現検出性能の向上と，得られた応答候補から適切な応答を選択するフィル タリング機能を開発することで，提案手法に基づく 音声対話システム全体を構築する予定である.

## 謝辞

本研究の一部は国立研究開発法人科学技術振興機構（JST）の「COI プログラム令和 4 年度加速支援 （グラント番号 JPMJCA2208）」の支援によって行 われた。

## 参考文献

[1] 杉山弘晃, 成松宏美, 水上雅博, 有本庸浩: 自然な流れに沿って対話を進めるアジェンダベース 雑談対話システム, 人工知能学会研究会資料 SIG-SLUD-B902-12, pp58-61, 2019.

[2] 藤原吏生, 岸波洋介, 今野颯人, 佐藤志貴, 佐藤汰亮, 宮脇峻平, 加藤拓真, 鈴木潤, 乾健太郎 : ILYS aoba bot : 大規模ニューラル応答生成モデル とルールベースを統合した雑談対話システム，人工知能学会研究会資料 SIG-SLUD-C002-25, pp110-115, 2020.

[3] 目良和也, 黒澤義明, 竹澤寿幸 : ユーザの非言語的な感情表出を考慮した音声対話手法, 知能と 情報 (日本知能情報ファジィ学会論文誌), Vol. 34, No. 3, pp.555-567, 2022.

[4] G.Ke, Q.Meng, T.Finley, T.Wang, W.Chen, W.Ma, Q.Ye, and T.Liu. LightGBM : A Highly Efficient Gradient Boosting Decision Tree, In 31st Conference on Neural Information Processing Systems (NIPS 2017), pp.1-9, 2017.

[5] 宇佐美まゆみ監修, 『BTSJ 日本語自然会話コー パス(トランスクリプト・音声)2021 年 3 月版』,国立国語研究所, 機関拠点型基幹研究プロジェク 卜「日本語学習者のコミュニケーションの多角的解明」, 2021.

[6] A. Radford, J. Wu, R. Child, D. Luan, D. Amodei, and I. Sutskever: Language Models are Unsupervised Multitask Learners, Technical Report OpenAI, 2019.

[7] 小磯花絵 - 天谷晴香 - 石本祐一 - 居關友里子 臼田秦如・柏野和佳子・川端良子 - 田中弥生 - 伝康晴・西川賢哉・渡邊友香「日本語日常会話コー パスの設計と特徴」（言語処理学会第 28 回年次大会発表論文集）

[8] xgboost developers, Introduction to Boosted Trees, https://xgboost.readthedocs.io/en/latest/tutorials/model .html\#learn-the-tree-structure (2022 年 1 月 12 日ア クセス)