# 深層学習モデルは司法試験をどこまで解いているのか :問題分類とそれに基づく分析

清田直希 ${ }^{1}$ 藤田真伎 ${ }^{2}$ 狩野芳伸 ${ }^{1}$
1 静岡大学大学院 総合科学技術研究科 情報学専攻 2 静岡大学 情報学部
nkiyota@kanolab.net mfujita@kanolab.net kano@inf.shizuoka.ac.jp

## 概要

自然言語処理技術の法的応用は重要であるが，テキストの専門性が高く, 複雑な構文・意味構造の法律文書を処理するのは依然として難しい。司法試験の自動解答を題材とした COLIEE では，多くの参加チームが end-to-end の深層学習モデルを提出しており,一見高いスコアを獲得しているように見えるが, これらのモデルはブラックボックス的な処理のため,解答の根拠を示すことは難しい. 本稿での問題分類とシステム出力の詳細な比較により、現在のシステムは未だ正しい推論過程に基ついた自動解答を行えていないことが示唆された。

## 1 はじめに

近年，自然言語処理技術は急速に発展し，様々な分野での活用が期待されている。司法の分野も例外ではなく，法律文書は文章中の事象を客観的に判断しなければならないことから，自然言語処理の導入に期待が高まっている。

本研究では，毎年開催されている我が国の司法試験の自動解答を行うコンテスト型のワークショップ COLIEE タスクシリーズ[1]-[7]で配布されたデータを対象とする. COLIEE2021[8]で，我々は日本語の述語項に着目した解答器を作成した. その他のチー ムは，汎用的自然言語処理モデル BERT[9]を使用した機械学習的なアプローチで自動解答を実現していた.

法律文書の処理は，専門性の高い言語が多く用いられているうえ，複雑な構文構造や人物関係，言い換え表現など高度かつ多様な解析技術を必要とする複合的な要素がある。こうした, 複雑な文書処理について現状の自然言語処理モデルが論理的な解答を行っているのかを, 問題分類を通して分析した。最後に，この分析に基づいて，説明可能な自動解答モ
デルの実現について論じる

## 2 司法試験の自動解答タスク COLIEE

## 2. 1 COLIEE

COLIEE (Competition for Legal Information Extraction and Entaiment)は, COLIEE 2014，COLIEE 2015 , COLIEE 2016 と人工知能学会国際シンポジア (JSAI-isAI)のひとつである JURISIN (法情報学ワ ークショップ)において開催してきた. COLIEE 2017 は法と人工知能に関するトップカンファレンスである ICAIL (International Conference of Artificial Intelligence and Law)において開催された. COLIEE 2018 からはカナダ法を用いたタスクが追加されたが，本稿では我が国の司法試験を用いたタスクのみを対象とする。

司法試験は弁護士や裁判官，検察官となろうとする者を対象に行われる試験である。問題形式は択一問題を含む短答式と論文式に分けられて行われる.試験の科目数については，短答式が憲法，民法，刑法の 3 科目であり，論文式が公法系科目 (憲法及び行政法に関する分野), 刑事系科目 (刑法及び刑事訴訟法に関する分野), 選択科目 (知的財産法, 労働法などの中から 1 科目選択する)の 4 科目である.

COLIEE ではこのうち民法短答式試験を対象としている. 多択を 2 択にブレークダウンするとともに，解答に関連する条文を検索する情報検索タスク (Information Retrieval)と， 2 択を Yes/No で答える含意関係タスク (Entailment)がある。また，知識源として民法の全条文を配布し，問題文共々原文の日本語に加え，英語に翻訳したものを配布している。

COLIEE 2021 では, 5 つのタスクが用意され, Task1 と 2 はカナダの判例法を用いたタスクであった. Task3 が情報検索タスク, Task4 が含意関係タスクであった．以下で各タスクを定式化する。
情報抽出タスクでは, 与えられた問題文 $\mathrm{Q}$ を解答するのに関連する民法条文のサブセット $\mathrm{S}_{1}, \mathrm{~S}_{2}, \cdots$, $\mathrm{S}_{\mathrm{n}}$ を民法全体から抽出する。

含意関係タスクは，与えられた問題文 $\mathrm{Q}$ を同時に与えられた民法条文のサブセット $\mathrm{S}_{1}, \mathrm{~S}_{2}, \cdots, \mathrm{S}_{\mathrm{n}}$ が含意するかを解答するタスクである. すなわち, 含意関係にあれば Yes，そうでなければ No と解答する。

Task5 は司法試験の問題文のみを与えられ, 条文検索から解答まで行う Task3 と 4 を組み合わせたタスクとなっている。本稿では Task 4 を対象とする.

なお, Task 4 と 5 においては 2 択のブレークダウンによって, 法律文書を正しく理解していなくても， Yes/No で解答をすれば $1 / 2$ の確率で正解になってしまうため, 解答の論理性が失われる点が課題とされている.

## 2.2 分析対象の解答器モデル

本稿では我々が COLIEE 2021 において作成した解答器である KIS1[10]を分析対象に用いる. この解答器は我々の COLIEE 2020 のモデル[11]をベースにしており, 述語項構造の抽出比較が基盤になっている. 本モデルは従来のモデルの節セットに加えて,関連条文中には登場しない表現を抽象表現に置き換え(例 : “甲” $\rightarrow$ “物”), 節分割により節セットの要素を埋められれなかった場合, 隣接する節の引数を利用して要素を埋める新規節セットを用いている. また, 従来では問題文と関連条文の文末の節セットのみが比較対象であったが, 本解答器ではすべての節セットを比較することができる項探索モデルを実装した. 本解答器は我々が提出したものの中で最も高い精度であった。

また, 本稿の分析のためにシンプルな BERT を用いた解答器(Vanilla BERT モデル)を作成した. 本モデルは日本語の Wikipedia で訓練されているi. 事前訓練に使用されたテキストファイルは約 1,700 万文で構成されており, サイズは 2.6GB である. ファインチューニングの際には, COLIEE で出題された過去の問題から作成された 2,164 の訓練データを使用した.

COLIEE 2021 では 80 問の問題を対象に解答の精度を競った. 我々が分析対象とするモデルは, 述語項ベースの正解が 44 (正答率: .550), vanilla BERT の正解が 50 (正答率: .625)であった.

## 3 司法試験の問題分類

司法試験を解答するうえでは，背後にある構文構造, 人物の役割と関係性, 論理, 抽象性など多様で複雑な構造を的確に処理をする必要がある。 どの問題解答にどのような要素技術が必要か, 平成 29 年度以降のテストデータを対象に解答に必要な要素基準ごとに手作業でマルチラベル分類をした．分類の基準を表 1 に示す. 本節ではうちいくつかの分類基準を概説する。

## 表 1 COLIEE 司法試験問題の技術別分類基準

分類名分類基準文章の一部を省略している際に，それが何

照応解析を指しているのかを明確にする際に用いる.「こそあど言葉」のみだけではなく「前文」「同項」なども対象となる

条文検索条文中に別の条文が指定されている問題

意味役割

付与問題文の中で用いられている名詞が動作主なのか・その動作の対象なのか, 手段なのか等を特定する必要がある問題

## 条件文抽

出・判断問題文・条文のそれぞれの条件文を調べることで正誤が判断できる可能性がある問題

係り受け主語と述語の関係又は文の並列関係に着解析目する必要がある問題

箇条書き

解析条文で箇条書きが用いられている問題. 主に箇条書きに書かれているものは条件を満たす変数とみなしてよいと考える。

法律系用民法に記載されている文章と司法試験中語事実関での言動についての事実関係を示す必要

係がある問題

## 否定形解又は「〜できない(不可能)」「〜しなけれ

釈ばならない(義務)」など「ない」が用いられていてもその意味が異なる問題法律系の言語ではない一般生活で用いら

一般辞書れるような事物が出てきている問題(例:冷蔵庫, 会社)

 \\

付与 & 必要がある問題

## 3.1 照応解析

照応解析は，文章中で登場する「これ」や「この」 などの指示内容を明確にする解析である．前述の指示しに加えて，「前章」や「同項」など司法試験特有の指示表現もあり，言語処理においてはその内容を正しく理解する必要がある.

## 3.2 条件文抽出・判断

条件文抽出・判断は問題文及び条文の条件文を調べることで正誤判定ができる可能性がある問題である. 例えば以下のような問いである。

関連条文 :

第百六十条相続財産に関しては，相続人が確定した時, 管理人が選任された時又は破産手続き開始の決定があった時から六箇月を経過するまでの間は，時効は，完成しない。

問題文 (正答: No) :

相続財産に関しては, 相続財産管理人が選任された場合でも，相続人が確定するまでの間は，時効は完成しない.

太字の部分が文章中の条件である.この場合, 相続財産の時効不成立の条件が正誤の判断材料になる.関連条文では, 管理人選任時から六箇月間は時効が完成しないと記載されているのに対し, 問題文では相続人が確定するまでの間と主張されている.このように,これらの文は条件が異なっていることから，答えは Noとなる.

## 3.3 法律系用語事実関係

法律系用語事実関係とは, 法的な知識を要する表現の関係性である。例えば，問題文では「売買」，関連条文では「双務契約」と記述されていた場合，前者が後者の包含関係にあることを正しく理解しなければ関連条文の内容を適用するかどうかを判断できない。つまり，直接記載されていたり，肯定形や否定形を入れ替えたりしただけの単純な問題ではない.

## 3. 4 否定形解釈

否定形解釈は，条文及び問題文の否定形を正しく解釈したうえで，正誤の判断材料にするタスクである. 以下のように条文の内容を否定形に反転した司法試験の問題も見受けられる.

関連条文:

第六百七十五条組合の債権者は, その債権の発生の時に組合員の損失分担の割合を知らなかったときは，各組合員に対して等しい割合でその権利を行使することができる.

問題文 (正答: No):

組合の債権者は, 各組合員に対して, その権利を行使することができない.

このように, 関連条文の内容を否定形にすることで，問題文の主張の正誤も反転する。つまり，この問題の答えは No となる.

否定形解釈は一見，文末の「ない」を認識できれば簡単に評価できるように思えるが，以下のような問いでは「ない」のみで判断することが難しい.

関連条文：

第六百三十三条報酬は，仕事の目的物の引き渡しと同時に，支払わなければならない.

問題文 (正答: No) :

請負人は，仕事の目的物の引き渡しを要する場合には，これを引き渡した後でなければ，報酬を請求することができない.

この場合，条文と問題文それぞれに「ない」が用いられている.しかし, 後者は否定形なのに対して,前者は「義務」を表しているため,この問題の答えは No となる. つまり，この問題を解くためには， これらの「ない」に内在される意味を把握しなければならない.

## 3.5 人物関係抽出 $\cdot$ 人物役割付与

## 関連条文:

第二百条占有者がその占有を奪われたときは，占有回収の訴えにより，その物の返還及び損害の賠償を請求することができる。

問題文 (正答: Yes):

A は自己の所有する工作機械を B に賃貸していたが，B は，工作機械の賃貸借契約継続中に工作機械をCに窃取された。この場合，Bは，Aから独立して，Cに対して占有回収の訴えを提起することができる.

先に示した例では，問題文を関連条文と単純に比較することは難しく，正しい解答を出すためには A やB といった人物がどんな関係性であり，それぞれの人物がどのような役割を担っているのかを明らかにする必要がある．この場合，A と B は「賃貸借契約」の関係性である。こうした複数の人物間の関係性を明らかにする必要がある問題には人物関係抽出のタグをつけた。一方で，A は「賃貸人」，B は「賃借人」となり, 工作機械を「占有」していることになる。このように，各人物が問題文中でどのような役割を担っているのかを明らかにする必要がある問題が人物役割付与である.

## 4 説明可能な自動解答に向けた分析

## 4. 1 問題分類別の正答率

表 2 BERT モデルの問題分類別正答率 (COLIEE2021 抜粋)

 &  &  & 艺 &  &  &  \\

表 2 は COLIEE 2021 の他参加チームのうち BERT を用いたモデルと，筆者らが作成した Vanilla BERT と, baseline（全て No と解答した場合）とについての問題分類別の正答率を抜粋したものである. BERT モデルは古典的な自然言語処理モデルである筆者らの KIS1 よりも，それぞれの分類で高い正答率であった。

## 4. 2 問題分類別の解答状況

本節では, 実際に出題されたテストデータを基に,問題の分析を行った (問題例については付録 Bを参照). 本問題では先の章で示したように，A や B の役割を明らかにしたうえで，下線部が「債務の目的物の代償である権利の移転」の法律用語系事実関係であることもあり，より難易度が高い問題だと考えられる。使用言語別にみると，日本語モデルは $10 / 12$ に対し，英語モデルは $3 / 6$ であった。しかし本問題では，英語では “a seller (A)”のように役割が明記されており前述のような人物役割の推論過程を省略できる. 日本語よりも推論が容易にも関わらず，正答率について大きな差が出た点で現状の推論が不十分なことを示唆できる。

## 5 議論と展望

COLIEE 2021 では 7 割程度の精度を達成した解答器も存在したが，問題分類別の分析を行った結果，同じ技術に分類された問題においても，正答率が安定していなかったため，解答器が法律文書を十分正しく処理するためにはまだ多くの課題があると考える．法律分野における実用を想定すると，推論過程とその根拠を示す必要がある．現状の 2 択式で解答器の精度を計る評価方法については，新たな評価尺度を追加し，ブラックボックス的な処理の弊害を除きうる説明可能な技術の開発を進めたい.

## 謝辞

本研究は JSPS 科研費 17H06103 の助成を受けたものです.また，COLIEE のオーガナイザの方々には本研究に使用したデータを提供していただきましたことを厚く御礼申し上げます。

## 参考文献

[1] "Competition on Legal Information

Extraction/Entailment (COLIEE-14), Workshop
on Juris-informatics (JURISIN) 2014," 2014. http://webdocs.cs.ualberta.ca/ miyoung2/jurisin_ task/index.html.

[2] M.-Y. Kim, R. Goebel, and K. Satoh, "COLIEE-2015 : Evaluation of Legal Question Answering," in Proceedings of the Ninth International Workshop on Juris-informatics (JURISIN 2015), 2015, pp. 1-11, [Online]..

[3] M.-Y. Kim, R. Goebel, Y. Kano, and K. Satoh, "COLIEE-2016: Evaluation of the Competition on Legal Information Extraction and Entailment," in Proceedings of the Tenth International Workshop on Juris-informatics (JURISIN 2016), 2016, pp. 1-13, [Online].

[4] Y. Kano, M.-Y. Kim, R. Goebel, and K. Satoh, "Overview of COLIEE 2017," in Proceedings of the Competition on Leal Information Retrieval and Entailment Work-shop (COLIEE 2017) in association with the 16th International Conference on Artificial Intelligence and Law, 2017, vol. 47, no. no.Icail, pp. 1-8.

[5] M. Yoshioka, Y. Kano, N. Kiyota, and K. Satoh, "Overview of Japanese Statute Law Retrieval and Entailment Task at COLIEE-2018," in Proceedings of the Twelfth International Workshop on Juris-informatics (JURISIN 2018), 2018, pp. 1-12.

[6] R. Goebel, Y. Kano, M.-Y. Kim, J. Rabelo, K. Satoh, and M. Yoshioka, "COLIEE 2019 Overview," in Proceedings of the Competition on Legal Information Retrieval and Entailment Workshop (COLIEE 2019) in association with the 17th International Conference on Artificial Intelligence and Law, Jun. 2019, pp. 1-9.

[7] J. Rabelo, M.-Y. Kim, R. Goebel, M. Yoshioka, Y. Kano, and K. Satoh, "COLIEE 2020: Methods for Legal Document Retrieval and Entailment," in Proceedings of the Fourteenth International Workshop on Juris-informatics (JURISIN 2020), 2020, pp. 1-15.

[8] R. Goebel, Y. Kano, S. Univesity, M. Kim, and J. Rabelo, "Summary of the Competition on Legal
Information Extraction/Entailent (COLIEE) 2021," in Proceedings of the COLIEE Workshop in ICAIL., 2021, pp. 1-7.

[9] J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding," Oct. 2018, Accessed: Jan. 08, 2020. [Online]. Available: http://arxiv.org/abs/1810.04805.

[10] M. Fujita, N. Kiyota, and Y. Kano, "Predicate's Argument Resolver and Entity Abstraction for Legal Question Answering: KIS teams at COLIEE 2021 shared task," in Proceedings of COLIEE 2021 Workshop on International Conference on Artificial Intelligence and Law (ICAIL 2021), 2021, pp. 15-24.

[11] R. Hayashi, N. Kiyota, M. Fujita, and Y. Kano, "Legal Bar Exam Solver integrating Legal Logic Language PROLEG and Argument Structure Analysis with Legal Linguistic Dictionary," in Proceedings of the Fourteenth International Workshop on Juris-informatics (JURISIN 2020), 2020, pp. 148-161.

[12] M. Yoshioka and Y. Suzuki, "BERT-based ensemble methods with data augmentation for legal textual entailment in COLIEE statute law task," in Proceedings of the COLIEE Workshop in ICAIL., 2021, pp. 78-83.

[13] M.-Y. Kim, J. Rabelo, and R. Goebel, "BM25 and Transformer-based Legal Information Extraction and Entailment," in Proceedings of the COLIEE Workshop in ICAIL., 2021, pp. 25-30.

[14] H.-T. Nguyen et al., "JNLP Team: Deep Learning Approaches for Legal Processing Tasks in COLIEE 2021," in Proceedings of the COLIEE Workshop in ICAIL., 2021, pp. 46-53.

[15] S. Wehnert, S. Viju, D. Shipra, K. Libin, S. Saijal, and W. de L. Ernesto, "Legal norm retrieval with variations of the bert model combined with TF-IDF vectorization," 2021.

## 付録 A COLIEE 2021 formal run の問題分類別正答率

Table 1 COLIEE 2021 Task4 formal run の問題分類別正答率 (チーム名はそれぞれ a1: HUKB-1, a2: HUKB-2, a3: HUKB-3, b1: JNLP.Enss5C15050, b2: JNLP.Enss5C15050SilverE2E10, b3: JNLP.EnssBest, c1: KIS1, c2: KIS2, c3: KIS3, d1:OVGU_run1, d2: OVGU_run2, d3: OVGU_run3, e1: TR-Ensemble, e2: TR-MTE, e3: TR_Electra, f1: UA_dl, f2: UA_parser, g: our Vanilla BERT, h: COLIEE_baselineを表している)

 &  &  &  &  &  &  &  &  &  &  &  &  &  &  &  &  &  &  &  \\

## 付録 B

問題文 (正答: Yes):

A と B は，Ａが所有する骨董品甲を B に 100 万円で売却する旨の売買契約を締結した．売買契約の締結後，B が代金 100 万円を支払ったが，A が甲を B に引き渡す前に，甲が B の責めに帰すべき事由により焼失した場合において，A が甲の焼失による損害をてん補するために支払われる損害保険金 70 万円を得たときは， B は，A に対し， 70 万円の支払を請求することができる.

(If, after the conclusion of the contract for sale, a buyer (B) pays 1000000 yen for $\mathrm{X}$, but before a seller (A) delivers $\mathrm{X}$ to B, $\mathrm{X}$ is burned-out due to grounds attributable to $\mathrm{B}$, and $\mathrm{A}$ obtains 700,000 yen of the insurance money for damage caused by the destruction of X, B may claim payment of 700,000 yen to A.)

関連条文:

第四百二十二条の二債務者が，その債務の履行が不能となったのと同一の原因により債務の目的物の代償である権利又は利益を取得したときは，債権者は，その受けた損害の額の限度において，債務者に対し，その権利の移転又はその利益の償還を請求することができる。

(Article 422-2 If the obligor acquires a right or profit as a substitute for the subject matter of the obligation due to the same cause as the one that has rendered the performance of the obligation impossible, the obligee may demand the transfer of the right or reimbursement of the profit from the obligor, to the extent of the amount of damage sustained thereby.)


# グラフ表現による文章の構造情報を用いた機械読解

小坂 直輝 ${ }^{1}$ 小林哲則 ${ }^{1}$ 林 良彦 1
1 早稲田大学理工学術院
kosaka@pcl.cs.waseda.ac.jp

## 概要

本研究では，グラフ構造による文章表現を利用する機械読解手法を提案する．単語依存構造をべースに文の位置関係や共参照，談話修辞構造を用いて文章全体の構造を表すグラフを生成し，これをグラフ畳み込みモデルを介して表現する。得られた表現を事前学習済言語モデルによる文脈表現と併用することで読解問題を解く. 多肢選択型機械読解タスクにおける実験の結果，言語モデル単体を用いた場合や既存手法と比べて精度向上が確認され，文章全体の構造をグラフとして表現し利用することの有用性が示唆された。

## 1 はじめに

近年，BERT [1] や XLNet [2] といった大規模な事前学習済言語モデルが幅広いタスクで高い精度を達成しているが，こうしたモデルは語順や構文情報に弱いという指摘が存在する [3].

多肢選択型機械読解においても言語モデルと併用して，文章の構造情報を明示的に与えることで精度向上を実現した研究が現れている ([4]，[5]). 一方でこれらの研究では，いずれも用いられている構造情報は限定的であるという問題があり，特に文間の関係や文章全体の構造などはあまり考慮されていない. 文章構造の適切なグラフ表現形式を明らかすることを目的とした我々の以前の研究 [6] においても，上記のような上位階層の構造情報は考慮できていなかった.

本研究では，グラフ構造による文章表現を利用する機械読解手法を提案する。 より具体的には，単語依存構造をべースに文の位置関係や共参照，談話修辞構造を用いて文章全体の構造を表すグラフを生成し，これをグラフ畳み込みモデルを介して表現した結果を事前学習済言語モデルによる文脈表現と統合することにより読解問題を解く. 多肢選択型機械読解のデータセット RACE[7]を用いた実験の結果，言語モデル (BERT) 単体や文章の構造情報を部分的に利用する既存手法と比べて精度向上が確認され，提案する文章グラフを用いて文章全体の構造情報を明示的に与えることが有用であることが示唆された.

## 2 関連研究

文章の構造情報を事前学習済言語モデルと併用する形で利用し読解タスクに取り組んだ研究 [4] や [8] では， self-attention network 構造をもつエンコーダで文章を処理する際に，単語依存構造によりアテンション計算を明示的に制限してエンコードした表現を併用することで精度向上を達成している. 本研究でも単語依存構造グラフを用いるという点で関連があるが，単語依存関係のみでは文間の意味関係や文章の談話構造といった高い階層の構造情報は考慮できない。加えて上記研究のようなアテンション計算に制約を加えるような手法には，依存関係ラベルなどの関係の種別を明示的に利用することはできないという問題もある。さらに高度な意味情報を用いた研究としては，意味役割付与を行った結果を入力する文の単語表現に加える形で用いて読解精度向上を達成した研究 [5] がある.

文章の構造情報をグラフとして表現し読解タスクに取り組んだ研究としては [9] がある. 文章から文内もしくは文間にまたがる因果関係や時間的関係を表すイベントグラフと呼ばれるグラフを生成し，それを既存の機械読解モデルの補助として用いることで精度向上を達成している。また，[10] では抽象的意味表現 (Abstract Meaning Representation: AMR)[11] を用いて，機械読解における文章と QA の文それぞれから生成したグラフのアライメント計算を行うことで読解問題を解いている. これらの研究では文内に限定されない構造情報を表現したグラフを生成しているが，高い階層の構造情報の考慮は限定的である.また，両研究では事前学習済言語モデルとの比較や併用は行われていない。

文章のグラフ表現を文間関係抽出のタスクに適用

した研究例として [12]がある. この研究では，文の単語依存構造グラフに対して隣接語や隣接文を繋いだエッジ，共参照解決によるエッジなどを付加することにより，エッジに富んだ文章のグラフ表現を生成し，グラフ畳み込みモデルを介し利用している. こうしたエッジの追加は機械読解においても有用だと考えられ，本研究でも [12] と同様に，文の隣接関係や共参照解決結果を用いたエッジの追加を行う。

以上のように，機械読解をはじめ自然言語タスクにおいて文章の構造情報を明示的に与える研究は複数存在するが，総じて利用されている構造情報は限定的であり，特に文間の関係や文章全体の構造など上位階層の情報に関しては検討の余地が残されている.

## 3 アプローチ

本研究では，読解において対象となる文章全体からその構造を表す図 1 のようなグラフを生成し，得られた文章のグラフ表現をグラフ畳み込みモデルを介して，言語モデルと併用する形で利用することで読解問題を解く．以下では文章グラフ生成法と構築した読解モデルについて述べる。

図 1 階層的な文章グラフの概要. level 1 では各文の依存構造を表し， level 2 では文章全体の修辞構造を表す。

## 3.1 文章のグラフ表現生成法

読解問題における文章のグラフ表現の生成においては，まず文章中の各文をグラフに変換し，文間にまたがるエッジを追加することで各文ごとのグラフを統合する．さらに談話修辞構造を利用することで文章全体の構造を表すグラフを構成する。

## 3.1.1 文グラフの生成と統合

ベースとなる各文の表現には， [4] や [8] と同様に依存構造グラフを用いる。文分割や依存構造解析に
は自然言語解析エンジンの $\mathrm{spaCy}^{11}$ を用い，単語をノードとしその依存関係をエッジで表現することにより文の構文・意味構造を表す依存構造グラフを作成する.

各文のグラフの統合では，(1) 隣り合う文同士の依存関係グラフの ROOT ノードを隣接文エッジにより結ぶ，(2) 文統合の目的で特別に導入する HUB ノー ドを介して全ての文をスター状に繋ぐ，(3) 共参照関係にある単語間を結ぶ共参照エッジにより文グラフを補強する，という 3 つの手段 [6] を適用する。 ここで共参照解決エンジンには neuralcoref ${ }^{2}$ [13]を用いた.

以上までの段階で生成される文章のグラフ表現の例を図 2 に示す。

図 2 単語依存構造グラフとその統合

## 3.1.2 RST を利用した文章グラフの生成

図 2 のグラフでは文間の関係や文章全体の構造を考慮しきれているとは言えない。そこでより高い階層の構造情報を取り入れるために，文章の部分間の関係を記述するテキスト編成の理論である修辞構造理論 (Rhetorical Structure Theory: RST)[14] に基づいて構成される修辞構造木を利用する。

修辞構造木において，文章は Elementary Discourse Unit (EDU) と呼ばれる基本談話単位に分割され，隣接する談話単位同士は修辞関係によってより大きい談話単位へと統合されていく，修辞関係には ‘Elaboration’や ‘Condition’など，その関係を表す様々なラベルが与えられ，その中には因果関係や時間的関係を表すものも含まれる。こうした情報は読解を行う際の推論に有用だと考えられる.

図 3 は読解問題の文章の一部を修辞構造木に変換した例である. 図 3 では There are two pictures in the room, too. という文を They are on the wall. という文が精緻化しているという関係が表現されている。こ

図 3 RST に基づく修辞構造木

の文章に対しては部屋の壁には何があるかという質問が存在し，こうした文中の特定の一文のみを見ても答えるのが難しい読解問題の推論において RST の修辞構造は有用だと考えられる。

実際のグラフ生成においては，基本談話単位である EDU のノード同士を修辞関係を表すエッジで直接結ぶことによりグラフを構築する． RST パーサー には [15]を用いた. 例えば，図 3 のような修辞構造木は，図４のようなグラフとして表される.

図 4 RST グラフ

## 3.1.3 異なる階層の構造情報の統合

談話修辞構造の利用法としては，単語依存構造をベースとしたグラフ (図 2) に，さらにエッジを追加するような形で一つのグラフに統合する手法がまず考えられる。しかし，単語依存構造と談話修辞構造はレベルの大きく異なる別々の構造情報であることから，二種類の構造情報を混ぜてしまうことは適切でない。そこで各 EDU に対し，EDUに含まれる各単語ノードと接続されるような Mini-Hubノードを導入し，これが EDUノードと対応するようにした。以上により生成される文章グラフは, 図 1 に示したように大きく二つの階層を持つ. これにより文章が持つ階層構造も適切に表現できると考えられる.

## 3.2 読解モデル: Graph_RC

本研究で提案する読解問題を解くモデル Graph_RC の概要を図 5 に示す. 多肢選択型読解問題における文章，質問文，回答の選択肢 1 つを与

図 5 読解モデル (Graph_RC)

え，正しい選択肢か否かの評価値を予測し，最終的に 4 つの選択肢の評価値に softmax を施すことで正しい選択肢を求める.

Sentence Encoder (言語モデル)への入力は, $[$ CLS $]+$文章 $+[\mathrm{SEP}]+$ 質問＋回答の選択肢 $+[\mathrm{SEP}]$ という形式で与える. また， 3.1 で述べた手順で文章のグラフ表現を生成しておく．言語モデルの出力として得られる，文脈を考慮したトークンごとの表現を文章グラフの下位階層の単語ノードに初期潜在表現として与える. ここで，文章グラフの単語ノードに対応するトークンが複数のサブワードトークンに分割されている場合は，これらの複数のトークンの表現を平均した結果を用いる。

グラフ畳み込みモデルによる文章グラフのエンコードにおいては，大きく二つの階層をもつグラフの構造 (図 1) に合わせ，各文の構造を表す下位階層の部分をエンコードした後，文章構造を表す上位階層の部分をエンコードすることで文章全体の表現を得る。上位階層のエンコードにおいては，下位階層のエンコードの結果 Mini-Hubノードに集約された表現をEDUノードの初期表現として与え，畳み込み演算の後の全 EDU ノードに対し global attention pooling を適用することで文章グラフの表現を得る. こうした階層的な処理により，GCN の畳み込み演算後に多くのノード全てを一度に pooling することでノードの表現が平均化され情報が失われる影響を低减する効果が期待できる。

最終的に言語モデルから得られる CLS トークンの表現と，グラフ畳み込みモデルから得られる文章グラフの表現を結合し，全結合層からなる出力層に与えることにより，注目している選択肢が回答であるかを判定する。

## 4 実験

## 4.1 実験設定

多肢選択型の機械読解データセットの中でも比較的データ数が豊富な RACE [7] を用いて評価実験を行った. RACE においては一つの文章に対して複数の質問と各質問ごとに 4 つの選択肢が与えられており，各質問に対して正しい選択肢を選ぶことが求められる。

実験においては Sentence Encoder として利用する言語モデルに BERT [1]を採用し, bert-base-uncased ${ }^{3 \text { ) }}$ と bert-large-cased-whole-word-masking ${ }^{4)}$ の二種類の事前学習済モデルを fine-tuning する形で利用した.評価指標には正答率を用いた。

図 5 におけるグラフ畳み込みモデルとしては RGCN[16] を用い，下位階層と上位階層は，それぞれ 6 層, 4 層とした. また, 出力の全結合層は 2 層とした. BERT の最大系列長は 512 で統一し, [1]を参考にオプティマイザとして重み減衰に L2 正則化を適用した adamである adamwを使用した。

## 4.2 結果と考察

表 1 に各モデルの正答率を示す.ここで，Turkers とはランダムにサンプリングされたテストデータに対する人による正答率の平均であり, 平均的な人の能力を表す. 一方, Ceiling とは曖昧な問題や正解のない問題を除いた人間が回答可能と考えられる問題の割合であり，人間による正答率の上限値を近似する. Graph_RC-base, Graph_RC-large と記したのが本研究の提案モデルであり, それぞれ言語モデルに BERT-base，BERT-large を採用した結果である。また，表の CSFN，SG-Net というモデルは，文章の構造情報を言語モデルに併用する形で用いる既存研究であり，それぞれ言語モデルとして BERT-base, BERT-large を採用している.

表 1 から，BERT 単体を用いた場合と比べて，提案モデル Graph_RC が高い精度を達成したことが分かる.これにより，文章の構造情報を利用する有効性が確認できた。また意味役割の情報を利用する CSFN や単語依存構造を利用する SG-Net といった既存手法と比較しても精度向上が確認できたことから，文内に限らない異なる階層の構造情報を複合的

表 1 実験結果

に用いることが有効だと考えられる。

Graph_RC のさらなる精度向上のためには，現状グラフ表現と言語モデルからの文脈表現の結合において単純な concatを適用している部分に, [5] で用いられているようなゲート機構やアテンションを導入することが考えられる. また現段階では，質問文や答えの選択肢については文章グラフに含まれていないため，これらの情報を適切に文章グラフに組み込むことも有効であると期待できる。

なお，入力する文章グラフや利用するグラフ畳み込みモデルの影響について調べるため, Graph_RCbase を用いて，RACE データセットの一部である RACE-M にて条件を変化させて学習・評価した場合についての分析を Appendix に掲載している.

## 5 おわりに

本研究では，機械読解タスクにおける精度向上を目的とし，グラフ構造による文章表現を利用する機械読解手法を提案した. 具体的には, 単語依存構造をべースに，文の位置関係や共参照，談話修辞構造の解析結果を用いることにより，文レベル，文章レベルの 2 つの階層からなる文章のグラフ表現を構成した. 評価実験の結果，言語モデル単体を用いた場合と比べて精度向上が達成され, 多肢選択型機械読解タスクにおいて，提案する文章グラフを用いて文章の構造情報を明示的に与えることの効果が確認できた. また既存の文章の構造情報を部分的に利用する手法との比較や，入力するグラフを変化させての分析の結果から, 複数の異なる階層の構造情報を複合的に用いることの有用性が示唆された.

今後の課題としては, [17] など別の読解データセットや [18] などより大規模な言語モデルを用いた実験が考えられる。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[2] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R Salakhutdinov, and Quoc V Le. Xlnet: Generalized autoregressive pretraining for language understanding. Advances in neural information processing systems, Vol. 32, , 2019.

[3] Thang M Pham, Trung Bui, Long Mai, and Anh Nguyen. Out of order: How important is the sequential order of words in a sentence in natural language understanding tasks? arXiv preprint arXiv:2012.15180, 2020.

[4] Zhuosheng Zhang, Yuwei Wu, Junru Zhou, Sufeng Duan, Hai Zhao, and Rui Wang. Sg-net: Syntax-guided machine reading comprehension. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 9636-9643, 2020.

[5] Qianwei Duan, Jun Huang, and Huiyan Wu. Contextual and semantic fusion network for multiple-choice reading comprehension. IEEE Access, Vol. 9, pp. 51669-51678, 2021.

[6] 小坂直輝, 小林哲則, 林良彦. グラフによるテキスト表現の機械読解における適用性評価. 人工知能学会全国大会論文集, Vol. JSAI2021, pp. 3J1GS6a053J1GS6a05, 2021.

[7] Guokun Lai, Qizhe Xie, Hanxiao Liu, Yiming Yang, and Eduard Hovy. Race: Large-scale reading comprehension dataset from examinations. arXiv preprint arXiv:1704.04683, 2017.

[8] Shuyi Wang, Hui Song, Bo Xu, and Hongkuan Zhang. Enhancing embedding via two-level features for machine reading comprehension. In China Conference on Knowledge Graph and Semantic Computing, pp. 261-273. Springer, 2020.

[9] Yawei Sun, Gong Cheng, and Yuzhong Qu. Reading comprehension with graph-based temporal-casual reasoning. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 806-817, 2018.

[10] Mrinmaya Sachan and Eric Xing. Machine comprehension using rich semantic representations. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 486-492, 2016.

[11] Laura Banarescu, Claire Bonial, Shu Cai, Madalina Georgescu, Kira Griffitt, Ulf Hermjakob, Kevin Knight, Philipp Koehn, Martha Palmer, and Nathan Schneider. Abstract meaning representation for sembanking. In Proceedings of the 7th linguistic annotation workshop and interoperability with discourse, pp. 178-186, 2013.

[12] Sunil Kumar Sahu, Fenia Christopoulou, Makoto Miwa, and Sophia Ananiadou. Inter-sentence relation extraction with document-level graph convolutional neural network. arXiv preprint arXiv:1906.04684, 2019.

[13] Kevin Clark and Christopher D Manning. Deep reinforcement learning for mention-ranking coreference models.
arXiv preprint arXiv:1609.08667, 2016

[14] William C Mann and Sandra A Thompson. Rhetorical structure theory: A theory of text organization. University of Southern California, Information Sciences Institute Los Angeles, 1987.

[15] Vanessa Wei Feng and Graeme Hirst. A linear-time bottom-up discourse parser with constraints and postediting. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 511-521, 2014.

[16] Michael Schlichtkrull, Thomas N Kipf, Peter Bloem, Rianne Van Den Berg, Ivan Titov, and Max Welling. Modeling relational data with graph convolutional networks. In European semantic web conference, pp. 593-607. Springer, 2018.

[17] Daniel Khashabi, Snigdha Chaturvedi, Michael Roth, Shyam Upadhyay, and Dan Roth. Looking beyond the surface: A challenge set for reading comprehension over multiple sentences. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 252-262, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[18] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[19] Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Lio, and Yoshua Bengio. Graph attention networks. arXiv preprint arXiv:1710.10903, 2017.

## A Appendix

本節には，Graph_RC-baseを用いて，RACEデータセットの一部である RACE-M にて条件を変化させて学習・評価した場合についての分析を記す。

## A.0.1文章グラフを変化させた場合の影響

表 2 入力グラフの比較 (3edge は隣接文, HUB ノード,共参照による文グラフの統合を表す)

入力グラフ正答率 $[\%]$

Dep, 3edge, RST 68.4

Dep, 3edge $\quad 67.7$

Dep 67.3

入力する文章グラフを変化させた場合の比較を表 2 に示す. 表の上から，提案する文章グラフのすべての要素を用いた場合，下位階層の部分のみを用いた場合，下位階層のさらに単語依存構造グラフのみを用いた場合である. 表 2 から提案する文章グラフ全体を用いた場合の精度が最も高く複数の構造情報を複合的に用いることが有用であると考えられる。 また単語依存構造グラフのみを用いた場合と比較して，3種類のエッジによる統合・補強を行い，文の位置情報や共参照情報を含んだグラフの方を用いた場合の方が精度が高いことも確認できたがその精度向上幅は僅かであった. これは文グラフの統合・補強用の 3 種類のエッジが文グラフに含まれる依存構造エッジと比較し少ないためだと考えられる.

表 3 は 1 つの文章グラフに含まれているエッジの大まかなタイプごとの平均本数を示したものであるが，文章に含まれる単語数に対応する依存構造エッジに比べて，文の数に対応する隣接文エッジや HUB 統合エッジ，共参照エッジは本数が少ないことがわかる。なお，共参照エッジに関しては今回用いた共参照解決エンジンが読解問題の文章のような複数文からなる長い文章に対して十分な精度を達成できておらず，全ての共参照を捉えきれていなかったり，誤った共参照解決が行われている例も見受けられた。そのため異なる共参照解決器を用いて共参照解決自体の精度を向上させることで読解精度向上に寄与することが期待できる.

表 3 エッジの分布

## A.0.2 GCN を変化させた場合の影響

利用するグラフ畳み込みモデルについて， RGCN[16] と GAT[19] を用いた場合の比較を表 4 に示す．表から RGCNを用いた場合の方が精度が高いことがわかり，文章グラフに存在するエッジの向きやラベルといった情報を直接利用できることが精度向上に寄与したと考えられる.

図 6 は文章グラフの上位階層のグラフに利用している談話修辞構造の修辞関係を表すエッジの種類ごとの出現頻度を表したものであり，全部で 19 種類のエッジが存在する。依存構造グラフの依存関係を表すエッジに関してはその種類はさらに多く計 45 種類のエッジが存在する．RGCNにおける畳み込み演算の基底数や GAT のアテンション計算におけるアテンションのマルチヘッドの数といったパラメータによっても変化すると考えられるが，こうした細かい関係の考慮は GAT より RGCN の方が優れていると推測される。一方で図 6 からはRST のエッジの分布には大きな偏りがあることがわかり， これは依存関係エッジでも同様である．RGCNを用いた場合，エッジの種類数が多すぎると出現頻度の低いエッジについて十分に学習が行われず精度低下をまねく可能性も考えられ，また計算コストの増大といった問題もある。そのため出現頻度の低いエッジについては同一のラベルにまとめるなど，文章グラフにおけるエッジのラベル付けの仕方についても検討の余地がある.

表 4 グラフ畳み込みモデルの比較

GAT $\quad 66.0$

図 6 RST エッジの分布

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 共起単語ペアの組合せ最適化を用いた問合せログのクラスタリング

湯浅 晃 野村 雄司
株式会社 NTT データ
}

\{Akira. Yuasa, Yuji. Nomura\}@nttdata.com
## 概要

本稿では企業のコンタクトセンタに蓄積される問合せログを集約し「よくある質問」(FAQ)を作成するユースケースに焦点を当てたクラスタリング手法を提案する. 提案手法は「文書カテゴリを表現する特徵的な単語の最適な組合せが選択できれば，それらが含まれる文書群を抽出することで良い集約ができるのではないか」との着想をもとに問合せログ集約を最大被覆問題として定式化し，数理最適化により単語ぺアの組合せを得る. 本実験により, 従来手法を上回る FAQ 抽出精度が得られ, また, その他の利点として最適クラスタ数が自動的に得られることと，高い解釈性が得られることを確認した。

## 1 はじめに

企業のコンタクトセンタやチャットボットにおいて用いられる FAQ の作成は人手で行われることが多く, コスト上の課題である. FAQの検索タスクに関する研究は数多いが, 問合せログからの FAQ 作成に関する研究は比較的少なく, 精度に課題があることがわかっている。そこで FAQ を自動抽出するために，問合せログから類似する問合せを集約するタスクに取り組む。

本タスクの特徴は, 入力が比較的短い問い合わせ文であり，また出力として実用的な粒度の FAQを得ることを目的とすることである. ここで実用的な粒度とは，問い合わせ内容を端的に表し，対応する回答が得られる粒度を意味する。例えば EC サイトにおける実用的な粒度の FAQ とは, 「注文」などの抽象度の高い表現ではなく, 「注文をキャンセルする手順を教えてほしい」といった表現となる.

本研究では，まず人手によって問合せ文書を集約する場合に行われる操作を観察した. その結果, 文書中の主題や対象を表す特徴語が抽出され，それらを用いた階層的な分類がなされることに着目した。
そこで「文書カテゴリを表現する特徴的な単語の最適な組合せが選択できれば，それらが含まれる文書群を抽出することで良い集約ができるのではないか」 との着想をもとに，問合せ文書の集約を単語ぺアの組合せ最適化問題として定式化し, ベイズ最適化および線形最適化を用いた手法の検証を行った。

## 2 関連研究

問い合わせログからの FAQ 抽出の全体的な処理を示した研究として, 飯塚ら[1]は, 抽出的要約, word2vec による文書ベクトル化，孤立文書の除去， および k-means によるクラスタリングといった一連の手法を示している。個々の処理に関する研究として，友松ら[2]は文書のベクトル化における BERT の使用を提案している。またクラスタリングの代わりにパターン抽出を用いるアプローチとして, 長谷川ら[3]は，係り受け関係にある 2 語の組をパターンとして扱い，応答文書の長さを考慮した上で，頻度べ一スの特徴語選択と重要度に基づきパターンを抽出する手法を提案している.

FAQ 抽出の一連のプロセスの中で, 本稿ではクラスタリングに焦点を当てて取り組む．なぜなら，抽出的要約や孤立文書の除去といった前段の技術は， ノイズを含むデータセットから真に重要な部分を抽出するためのものであるが，ノイズが含まれない理想的な問い合わせデータセットであっても，実用的な FAQ を得ることを目的とした場合に，そのクラスタリングの精度に課題があることがわかっているためである。これは実験結果を示す表 3 において， ノイズが含まれないデータセットである e-learn, StackFAQ であっても, 既存手法の精度が十分でないことによって示している.

短いテキストのクラスタリングにおける主要課題は，単語数が少ないため文書ベクトルが高次元かつスパースとなることである. この課題に対処するため単語埋め込みやテキスト拡張の手法が考案されており，特に深層学習を用いた手法はデータを低次元

でより適切に分離可能な表現空間にマッピングする効果的な方法として近年勢いを増している. 深層表現学習とクラスタリングの統合に焦点を当てた研究は多数あり, Xu ら[4]の STCC においては Word2Vec と K-means を組合せた手法が提案され, その後の Hadifar ら[5]の STA においては，SIF を使用することで単語埋め込みを強化した. Rakib ら[6]の ECIC では，凝集クラスタリングを用いた後に，各クラスタに含まれる外れ値を除くサンプルをラベル付きデー 夕とみなす半教師あり学習を反復する手法が用いられている. Zhang ら[7]の SCCL では対照学習が用いられ, 同一ラベルのサンプルからデータ拡張されたサンプルをまとめ上げ，異なるラベルのサンプルからそれらを押しのける学習方法がとられている。

次に, 頻出アイテムセットに着目寸るアプローチとして, Fung ら[8]の FIHC 法が代表的である. これは文書集合においてグローバルに頻繁に使用されるアイテムセットごとに，アイテムセットを含むすべての文書で初期クラスタを構築した後に, クラスタ内のアイテムセット頻度と, 単一文書内のアイテムセット頻度を考慮し，文書をクラスタに紐付けていく操作を順次行うものである. その後の発展研究として Zhang ら[9]の Maximum Capturing 法, Lee ら[10] の OCFI 法等が挙げられる。

## 3 提案手法

## 3.1 手法検討

本研究ではビジネス適用における現実的な制約条件を考慮した上で手法検討を行った。まずベクトル空間アプローチで高精度が得られている Rakib らの ECIC においては反復学習を行うため, サンプル数が全体として大きく, またクラスタサイズに偏りが少ないケースが望ましい. しかし本研究の検証用デー タセットにおいては, 表 1 に示す通り, サンプル数が 500 から 1,000 件程度と比較的小さく, また Enterprise データセットの標準偏差が非常に大きいことからもわかるように，実世界の問い合わせデー タにおけるクラスタサイズは概してロングテールの形をとるため適用が難しいと判断した. Zhang らの SCCL についてはまず対照学習のためのデータ拡張を行う必要があり, その精度が問題となったため適用を見送った。

次に, Fung らの頻出アイテムセットアプローチの適用を検討したが，アイテムセットのグローバル頻度と各サンプル文書内における頻度を使用するため,比較的大きな語彙数の文書を扱う必要がある. しかし, 本稿の問題設定においては 1 文書あたり 5-10 語程度と文書内のアイテムセット頻度が十分にとれるほどの長さではないため適さないと判断した.

このように既存手法については，いずれもデータセットの特性と手法のミスマッチが問題となった. そこで, 問題を特徴語の組み合わせ最適化問題として捉える手法を提案する。

## 3.2 組合せ最適化問題としての定式化

提案手法の核となるアイデアは「文書カテゴリを表現する特徴的な単語の最適な組合せが選択できれば，それらが含まれる文書群を抽出することで良い集約ができるのではないか」というものである.この着想に基づき，以下の定式化を行った。 $N$ 件の問合せ文書の集合である問合せログ $D=$ $\left.\{d_{1}, d_{2}, \ldots, d_{N}\right.\}$ が与えられ，Dに含まれる単語集合 $W=\left.\{w_{1,}, w_{2}, \ldots, w_{M}\right.\}$ から単語ぺアを $L$ 個抽出し,

$\left.\{\left(w_{11}, w_{12}\right),\left(w_{21}, w_{22}\right), \ldots,\left(\left(w_{L 1}, w_{L 2}\right)\right)\right.\} \in W$ とる. 次に抽出した単語ぺアが含まれる文書を $\mathrm{D}$ から抽出し, その結果得られた文書集合を $\left.\{C_{1}, C_{2}, \ldots, C_{L}\right.\}$ とする.このとき，本問題を最大被覆問題として，目的関数と制約条件を以下の通り設定する.

$
\begin{aligned}
& \max \cdot \sum_{i=1}^{L} \frac{\left|C_{i}\right|}{N} \\
& \text { s.t. } \bigcap_{i=1}^{n} C_{i}=\varnothing \\
& L \leq L_{\max }
\end{aligned}
$

式(1)は目的関数であり，選択された単語ぺアを含む文書数を全文書数で割ったものであり，変数は単語ペアの選び方である. 式(2), (3)は制約条件であり,式(2)は各クラスタに含まれる文書集合に重複する文書が存在しないことを, 式(3)は, クラスタ数しは八イパーパラメータとして与える最大クラスタ数 $L_{\text {max }}$ 以下とすることを表す.

## 3. 3 評価方法

提案手法はクラスタリングを行っているが，本夕スクの目的は FAQ 抽出である. そこで評価方法としては purity や AMI 等を用いたクラスタリング自体の評価ではなく, 人手で定めた正解 FAQ クラス

タがどの程度正しくクラスタリングの結果抽出できているかを測ることによる評価を行う。

まず各文書に対して人手で文書内容を考慮した上でクラスタリングを行い，各クラスタに一意のラベルを付与しこれを正解ラベルとした。次に，自動抽出された各クラスタに含まれる文書について，クラスタ内の同一ラベルの文書数の割合(純度:purity)が閾值以上を占めるマジョリティとなる正解ラベルを抽出クラスタの推定ラベルとした。抽出されたクラスタにおいて，マジョリティとなる正解ラベルが存在しない場合, 推定失敗を意味する推定ラベルを付与した。このようにして得た正解ラベルと推定ラベルを用いて，適合率，再現率，および $\mathrm{f} 1$ スコアを算出した。パラメータ設定について，ここでは純度の閾値は 0.5 を設定した。

## 4 実験設定

データセット Sumikawa ら[11]の e ラーニングデ一タセット(e-learn), StackFAQ[12]データセット (StackFAQ)および，筆者らの所属企業内部におけるコンタクトセンタ応対ログデータセット(Enterprise), の 3 種類のデータセットを用いた。各データセットの基礎情報を表 1 に示す.

表 1 データセットの基礎情報

前処理StackFAQデータセットは, Google Cloud Translation APIを用いて英語から日本語に翻訳した。全てのデータセットについて, MeCabを用いて形態素解析を実施し，品詞フィルタ処理として名詞，動詞，形容詞のみを残し，原形化を行った。

最適化ツール線形最適化においては, 最適化モデラーとして PuLPiを,ソルバーとして CBC を用いた. ベイズ最適化においては Optunaiiiを使用し, 最適化アルゴリズムは NSGA-IIを用いた。

## 5 実験

## 5.1 予備実験

予備実験では提案手法のポテンシャルを検証するために, FAQ の抽出精度が従来手法と比較して高くなるような単語ぺアの組合せが存在するか確認した。

ベースラインとして TFIDF+HAC(階層的凝集クラスタリング)を用いた．HAC のアルゴリズムは群平均法を，距離尺度はユークリッド距離を用いた。 クラスタ数は, 正解ラベルが既知の前提とし $\mathrm{f} 1$ を最大化するクラスタ数を採用した。またべクトル化手法による比較のために fastText+HAC を検証した。

次に，ベイズ最適化を用いて最適な単語ぺアを探索した. このとき正解クラスタラベルが既知の前提で，目的関数を正解 FAQ 抽出の $\mathrm{f} 1$ とした. 試行回数を重ねた収束時における FAQ 抽出の $\mathrm{f} 1$ スコアを表 2 に示す。

表 2 ベースラインおよびベイズ最適化の結果

表 2 に示すようにベイズ最適化による $\mathrm{FAQ}$ 抽出精度はベースラインの TFIDF+HAC を大きく上回っている。この結果により，もし適切な単語ぺアの組み合わせが選択できたとすると，その単語ぺアを含む文書の集合をクラスタとして抽出することで，高いFAQ 抽出精度を得られることが確認できた。

## 5.2 本実験

線形最適化 3.2 に示した通り,文書のクラスタリングを最大被覆問題として定式化し, 文書カバレッジを最大化する単語ぺアの組み合わせを求めた．単語ペア選定におけるハイパーパラメータとして，最小クラスタサイズを 3 とした。これは 3 個以上の文書に含まれる単語ぺアのみが選定対象となることを意味する．最大クラスタ数をパラメータとして増加させたときの結果を図 1 に示す. 最適化の各試行においていずれの場合も最適解が得られた。また，クラスタ数は単語ぺア数が一定となる点で f1 も最大

となるため, その時の単語ぺア数をクラスタ数として採用すればよいとわかる.

図 1 線形最適化の実行結果(e-learn)

ベイズ最適化次に，ベイズ最適化手法を用いた実験を行った. 予備実験では提案手法のポテンシャルを測るために正解ラベルが既知の前提で, 目的関数をFAQ 抽出のf1 としたが，本実験では，実ビジネス利用を想定し，正解ラベルの情報を使用しない以下の目的関数を用いた.

$\max . w_{c} \cdot$ Coverage $(C)+w_{o} \cdot$ Overlap $(C)$

$
\begin{gathered}
\text { Coverage }(C)=\sum_{i=1}^{L} \frac{\left|C_{i}\right|}{N} \\
\operatorname{Overlap}(C)=\left(1+\alpha \frac{\bigcap_{k=1}^{n} C_{k}}{\bigcup_{k=1}^{n} C_{k}}\right)^{-1}
\end{gathered}
$

ここで，式(4)の目的関数は，カバレッジスコアとオーバーラップスコアの重み付き和である. 式(6)に示すオーバーラップスコアは，各クラスタに共通的に含まれる文書が少ないほど大きい値をとる関数である. $w_{c}$ および $w_{o}$ は重みであり,$w_{c}=1$ および $w_{o}=$ 2を用いた。 $\alpha$ はハイパーパラメータであり，9を用いた。結果を図 2 に示す.

図 2.ベイズ最適化の実行結果(e-learn)図 2 に示すように，試行回数を増やすにしたがって目的関数であるトータルスコアは増加し，また f1 スコアも増加し, その後一定に収束している。このときクラスタ数も一定に収束しており，最適クラス夕数として得られることがわかる.

最終的な実験結果を表 3 に示す

## 表 3 線形最適化およびベイズ最適化の精度

TFIDF+HAC および fastText+HAC については,実利用を想定すると最適クラスタ数は未知であることを考慮し，クラスタ数を真のクラスタ数の $75 \%$ から 125\%までの区間で等間隔に 10 点とり, 10 点の f1 値の平均をとってスコアとした。

表 3 に示すように e-learn および Enterprise データセットにおいては，線形最適化およびベイズ最適化を用いた提案手法によりベースラインを上回る精度が得られた。その他の利点として提案手法では両手法ともに最適クラスタ数が得られ，また単語ペアが含まれていることがすなわちそのクラスタの特嘚となるため，高い解釈性が得られることがわかった。

## 6 おわりに

問合せログからの FAQ 抽出を目的として，特徴語の組み合わせ最適化問題として解く手法を提案した. 本実験では提案手法により従来手法を上回る精度が得られた。また精度以外の利点として, 最適クラスタ数が自動的に得られることと，単語ぺアの組み合わせがクラスタの特徴を示すため高いクラスタの解釈性が得られることがわかった. 今後の課題として, FAQ 抽出精度を高めるために，単語ぺア選択において，問合せ内容と関係のないノイズとなる単語の排除や, 同義語の考慮が必要である。またべイズ最適化においては目的関数に凝集性等のクラスタとしての望ましさを考慮した改善が課題となる.

## 参考文献

[1] 飯塚新司, 菊地大介, 宮内秀彰, 高橋毅, and 黒澤隆也. "ヘルプデスクの問合せデータを用いた FAQ 抽出技術の研究." 日立ソリューシヨンズ東日本技報= Hitachi Solutions East Japan technical report 25 (2019): 31-34.

［2]友松祐太; 戸田隆道; 杉山雅和. AI チャットボツトのためのチューニング支援システム. In:人工知能学会研究会資料言語・音声理解と対話処理研究会 90 回. 一般社団法人人工知能学会, 2020. p. 08.

[3] 長谷川友治, et al. コールセンターにおける大規模質問応答データに基づく FAQ 作成支援システムの実装. 第 66 回全国大会講演論文集, 2004, 2004.1: 73-74.

[4] Xu, Jiaming, Bo Xu, Peng Wang, Suncong Zheng, Guanhua Tian, and Jun Zhao. "Self-taught convolutional neural networks for short text clustering." Neural Networks 88 (2017): 22-31.

[5] Hadifar, Amir, Lucas Sterckx, Thomas Demeester, and Chris Develder. "A self-training approach for short text clustering." In Proceedings of the 4th Workshop on Representation Learning for NLP (RepL4NLP-2019), pp. 194-199. 2019.

[6] Rakib, Md Rashadul Hasan, Norbert Zeh, Magdalena Jankowska, and Evangelos Milios. "Enhancement of short text clustering by iterative classification." In International Conference on Applications of Natural Language to Information Systems, pp. 105-117. Springer, Cham, 2020.

[7] Zhang, Dejiao, Feng Nan, Xiaokai Wei, Shangwen Li, Henghui Zhu, Kathleen McKeown, Ramesh Nallapati, Andrew Arnold, and Bing Xiang. "Supporting Clustering with Contrastive Learning." arXiv preprint arXiv:2103.12953 (2021).

[8] Fung, Benjamin CM, Ke Wang, and Martin Ester. "Hierarchical document clustering using frequent itemsets." In Proceedings of the 2003 SIAM international conference on data mining, pp. 59-70. Society for Industrial and Applied Mathematics, 2003.

[9] Zhang, Wen, Taketoshi Yoshida, Xijin Tang, and Qing Wang. "Text clustering using frequent itemsets." Knowledge-Based Systems 23, no. 5 (2010): 379-388.

[10] Lee, Cheng-Jhe, Chiun-Chieh Hsu, and Da-Ren Chen. "A hierarchical document clustering approach with frequent itemsets." International journal of engineering and technology 9, no. 2 (2017): 174.

[11] Sumikawa, Yasunobu, Masaaki Fujiyoshi, Hisashi Hatakeyama, and Masahiro Nagai. "Supporting creation of FAQ dataset for E-learning chatbot." In Intelligent Decision Technologies 2019, pp. 3-13. Springer, Singapore, 2020

[12] Karan, Mladen, and Jan Šnajder. "Paraphrasefocused learning to rank for domain-specific frequently asked questions retrieval." Expert Systems with Applications 91 (2018): 418-433.


# 問い合わせログの集約における
## クラスタリングを用いた重要回答抽出

\author{
竹中一秀林岳晴大段秀顕湯浅晃 \\ 株式会社NTT データ
}

\{Kazuhide. Takenaka, Takeharu. Hayashi, Hideaki. Odan, Akira. Yuasa $\}$ @nttdata.com

## 概要

本研究では、問い合わせデータを集約し FAQを構築するユースケースに焦点を当てた回答候補を提示する手法を提案する。FAQ はコンタクトセンタにて蓄積される質問と回答が対となる問い合わせログを用いて作成される。本提案手法では、問い合わせログの質問を対象にクラスタリングを行い、類似する質問ごとに集約されたクラスタ内の回答に対し、再度クラスタリングを実施し、複数種類の重要な回答を抽出することで、可読性を保ちつつ、重要な回答を複数抽出できることが確認された。併せて、回答をクラスタリングした際に得られる各クラスタのクラスタサイズが、回答を提示する上での重要性を示す指標として有効であることが確認された。

## 1 はじめに

近年、企業のコンタクトセンタでは、問い合わせ対応業務にチャットボット等の対話型 AI システムを活用されている。チャットボットには、ユーザが選択する質問に対して、あらかじめ設計されたシナリオに従って回答を提示するシナリオ型と、ユーザの入力する質問に対して、類似する FAQ を提示する FAQ 型がある。その中でも FAQ 型のチャットボットは、その導入時や運用時において FAQ の作成に、多大な労力を必要とするという課題がある。そこで、本稿では FAQ 型のチャットボットに焦点を当てることにした。

FAQ はコンタクトセンタの問い合わせログに代表される、質問文と回答文が対となるデータから作成される。一般的な手法としては、問い合わせログの質問文に対してクラスタリングを行い、クラスタ重心に最近傍の質問文を抽出し、その質問文に紐づいた回答文とセットで $\mathrm{FAQ}$ 候補とする。FAQ 作成担当者は、得られた FAQ 候補を確認し、内容や文の修正を行うことで最終的な FAQ を完成させる。しかし、この手法では 1 つの質問に対し、 1 つの回答のみ提示されるため、質問と回答が本来 1 対 $\mathrm{n}$ となる場合に、適切な回答が得られない可能性がある。質問と回答が 1 対 $\mathrm{n}$ になる場合の FAQ の例として、「ソフトが強制終了されてしまいます。どうすればよいでしょうか。」という質問に対して回答を作成する場合には、ソフトバージョンや OS バージョン、 データのバックアップは取得しているか等の幅広い状況に応じた回答を揃える必要がある。

そこで、本研究では、FAQ 作成の負荷を低減することを目的として、可読性を保ちつつ、冗長性を排除し、重要な回答を漏らさないように回答候補を提示する手法を提案する。

## 2 関連研究

本研究では、FAQ 作成における回答文作成支援のユースケースに焦点を当てている。ここでは、 $\mathrm{FAQ}$抽出に関する関連研究の手法について言及する。

まず、 $\mathrm{FAQ}$ 候補となる QAを抽出する研究として、 マニュアルやガイド等の回答源となる文書から QA セットの作成を行い、問い合わせログから抽出した代表質問文と類似する QA セットを FAQ 候補として提示する土居ら[1]の手法や、特徴的な単語の係り受けパターンの抽出を行い、頻出するパターンを持つ QA を抽出する長谷川ら[2]の手法がある。友松ら [3]は問い合わせログの質問文をBERTによって分散表現を獲得し、分散表現のコサイン類似度をもとに階層クラスタリングを行うことで、類似する質問ごとに集約されたクラスタを作成し、そのクラスタから TF-IDF を用いて代表文の選定を行い FAQ の抽出を行っている。これらの手法は、回答文については、抽出した質問文に紐づいたもののみを使用しているため、複数の回答文候補を抽出するという点で我々の手法と異なっている。また、壹岐ら[4]は、問い合

わせログから質問文と回答文の抽出を行うことを要約問題として捉え、教師あり学習による抽出型要約を用いて、不要文の多い問い合わせログの質問文と回答文の中から本質的な部分文字列を抽出することで QA の作成を行っている。我々の手法とは、文字列単位ではなく、問い合わせログの回答文単位での回答抽出を行う点で異なるが、重要な回答文を抽出するという点では類似しているため、文書要約を用いた手法を提案手法の比較対象とすることにした。

## 3 提案手法

本研究では、FAQ 作成の負荷を低減することを目的として、重要な回答を複数抽出する手法を提案する。本章では、その具体的な実現方法について説明する。

## 3.1 回答抽出の流れ

提案手法の回答文抽出の流れを図 1 に示す。まず、提案手法適用の前提として、問い合わせログの質問を対象にクラスタリングを行い、各クラスタ重心の最近傍の質問文が得られているものとする。このクラスタ重心に最近傍となる質問文を本稿では代表質問文と呼ぶ。得られた質問クラスタ内の回答文を対象にさらにクラスタリングを行う。その結果、類似する回答ごとに集約されたクラスタが得られる。得られた回答クラスタの重心に最近傍となる回答文を代表文としてそれぞれ抽出することで、抽出された代表質問文に対して、複数の回答候補を取得する。

## 3.2 手法検討

本研究では、FAQ 作成における回答文作成支援のユースケースに焦点を当て、ビジネス適用における現実的な制約条件を考慮した上で手法検討を行った。分散表現の取得手法として、BERT 等の大規模言語モデルは、モデルの学習を行うために、ドメインに特化した大量の学習データが必要になる。そこで、本研究では、汎用コーパスで学習されたモデルで比較的上質な分散表現が得られることが知られている手法として[5]、Universal Sentence Encoder(USE)[6]を用いた。クラスタリングは、階層クラスタリングのらち、分類感度が高い ward 法を選定した。

また比較対象とする文書要約手法については、抽出型文書要約手法の中で一般的に高性能である LexRankを用いた。同クラスタ内の回答文から要約文を抽出し、FAQ 作成において、提案手法とどちらが有力であるか比較を行う。

図 1 提案手法の回答文抽出イメージ

## 4 実験

提案手法の有効性検証のため、既存手法である、抽出した代表質問文に元々紐づいていた回答文のみ提示する場合と、比較対象とした文書要約手法それぞれを用いて、回答文の抽出を行い、FAQ 作成の支援を目的とした場合に、どの手法が有力であるか比較して検証を行った。抽出型文書要約手法 LexRank の実装に関しては python モジュールの sumy を用いた。

## 4. 1 データセット

手法の有効性検証のために、NII $の$ Yahoo!知恵袋データ(第 2 版)[8]で提供されているデータのうち、質問カテゴリが「企業と経営」かつ、回答は質問者が選んだベストアンサーの条件で絞込んだものを用いた。また、実際の問い合わせログは、端的に短くまとめられていることが多いため、質問文の文書長が 10～50 トークンかつ、回答文の文書長が 10～120 トークンからなる QA をサンプリングした。その結果、データサイズは 4153 件となった。

次に、サンプリングしたデータの質問文を対象に USE + ward 法を用いてクラスタリングを行い、類似する質問文ごとに集約された各クラスタのベクトル重心に最近傍の点を代表質問文として、抽出を行った。そのうち、クラスタサイズが大きいクラスタから 6 件を対象に実験に使用した。各クラスタのクラスタサイズと抽出した代表質問文を表 1 に示す。
表 1 実験に使用した質問集約のクラスタ

 &  & \multicolumn{1}{|c|}{ 代表質問 } \\

## 4. 2 評価方法

FAQ 作成支援において、有効性を評価するために、 それぞれの手法で出力した回答文を可読性と、回答として重要な文がどのくらい含まれているかを示す重要情報包含率の観点で評価を行った。可読性については、表 2 に示す基準で定性的に評価を行った。 また、抽出した回答文に、「文間の内容が矛盾しており、一貫性が無い」「文間に談話関係が存在せず、無関係である」といった問題がある場合を「不自然である」と評価し、上述の問題が無い場合には「自然である」と評価した。重要情報包率の算出方法は、抽出した代表質問文から必要となる回答箇所を人手により正解として定義し、その中で各手法によって抽出できた割合を算出することで評価した。

## 表 2 可読性の評価基準

## 5 実験結果と評価

提案手法の有効性検証の比較対象として、大量の文から重要な文を抽出する文書要約アルゴリズムの LexRank[7]を用いた。実験では、質問集約で得られたクラスタ内の回答文を全て結合した文を入力とした。また、ハイパーパラメータの出力文数は、出力された要約文が提案手法の出力した回答文と近しいトークン数になる文数を採用した。

提案手法のクラスタリングを行う際のクラスタ数については、Silhouette 係数が最大になる場合を採用した。既存手法については、表 1 で得られた代表文に紐づいた回答文のみを出力結果として扱った。

実験結果について、可読性の評価結果を表 3、情報含有率の評価結果を表 4 に示す。情報包含率については、各手法ごとに平均化したものを示す。また、実験によって得られた回答文の一部を表 6 に示す。太字部分は重要情報となる箇所、下線部分は可読性を低下させている箇所を示している。

表 3 可読性評価

 &  & LexRank &  \\

2 & $\bigcirc$ & $\times$ & $\bigcirc$ \\
3 & $\bigcirc$ & $\times$ & $\bigcirc$ \\
4 & $\bigcirc$ & $\times$ & $\bigcirc$ \\
5 & $\bigcirc$ & $\bigcirc$ & $\bigcirc$ \\
6 & $\bigcirc$ & $\bigcirc$ & $\bigcirc$ \\

表 4 重要情報含有率評価

 & LexRank &  \\

表 3 によると、提案手法は可読性については問題ないことが示されている。LexRank は要約結果を文単位で得るため、文頭に「つまり」「これにより」 があることや、関連性のない文間に「よって」「ゆえに」等の接続詞があり、文間の論理的な関係が破綻していることが確認された。

表 4 によると、提案手法が最も良い結果となっている。既存手法の抽出した代表質問文に紐づいた回答 1 件のみでは、情報として不足する場合も少なくなかった。表 6 を例に、既存手法と比較して提案手法では、「特例有限会社は、そのまま存続できます

し、一部例外を除き変更登記する必要もございませ几。」「特例有限会社から株式会社へ移行すること （商号変更）も出来ます。」との追加の重要文が抽出できていることが確認できる。補足として、既存手法で用いた回答は yahoo 知恵袋に投稿した質問者が選んだベストアンサーであるが、ベストアンサー は投稿された回答群の中から 1 つ選ばなければいけない仕組みであるため、情報として不足していてもベストアンサーに選ばれる場合は十分にある。

## 6 付帯効果と課題

FAQ を作成する上で、複数種類の回答がある場合に、重要度の高い回答を優先して提示することが重要であると考えられる。この場合、提案手法では、 クラスタサイズが大きいクラスタほど、重要度が高い文が含まれている傾向を確認したため、重要度を表寸指標として、回答クラスタサイズを用いることが、有効であると考えられる。また、提案手法の出力結果を文単位で確認したところ、内容が重複する文があることが判明した。その数を表 5 に示す。出力する回答数が増加するほど、重複文数も増加し、 FAQ 作成担当者が確認する文書量も比例して増加してしまう。そのため、クラスタリング手法の改善をすべきであり、それでも対処しきれない場合は文間の類似度を算出してフィルタリングを行うなどの工夫を行う必要がある。表 5 重複内容文数

 &  & 重複文数 \\

2 & 2 & 1 \\
3 & 2 & 1 \\
4 & 1 & 0 \\
5 & 2 & 0 \\
6 & 1 & 0 \\

## 7 おわりに

本研究では、問い合わせログデータを用いた FAQ 作成の支援を目的とした回答文抽出において、重要な回答文を複数抽出する手法を提案し、検証・評価を行った。既存手法や文書要約手法と比較して、提案手法は可読性を保ちつつ、重要な情報を抽出できることが確認された。また、精度以外のメリットとして、クラスタサイズ (回答数) を重要度のスコアとして提示できる点が挙げられる。

今後の課題として、提示する回答文が多くなる程、内容が重複した不要な文が増えてしまい、FAQ 作成担当者が確認する情報量が増えてしまうため、文間の類似度を算出してフィルタリングを行うなどの工夫が必要である。

表 6 各手法での回答文抽出結果（クラスタ ID $=3$ の場合）

太字部分は重要情報となる箇所、下線部分は可読性を低下させている箇所を示している。

 &  \\

## 謝辞

本研究では、国立情報学研究所の IDR データセット提供サービスによりヤフー株式会社から提供を受けた「Yahoo！知恵袋データ（第 2 版）」を利用した。

## 参考文献

［1］土居誉生, 石垣泰地, 小澤仁護, and 稲田徹. ”質問生成ソリューション「なんでも Question」の紹介." SIG-SLUD 5, no. 02 (2019) : 123-124.

[2] 長谷川友治, et al. コールセンターにおける大規模質問応答データに基づく FAQ 作成支援システムの実装. 第 66 回全国大会講演論文集，2004，2004.1：73-74.

[3]友松祐太; 戸田隆道; 杉山雅和. AI チャットボットのためのチューニング支援システム. In：人工知能学会研究会資料言語・音声理解と対話処理研究会 90 回. 一般社団法人人工知能学会, 2020. p. 08.

[4] 壹岐太一, et al. ヘルプデスクの対応記録からの QA リストの半自動抽出. 研究報告知能システム (ICS), 2018, 2018.12: 1-8.

[5] PERONE, Christian S.; SILVEIRA, Roberto; PAULA, Thomas S. Evaluation of sentence embeddings in downstream and linguistic probing tasks. arXiv preprint arXiv:1806.06259, 2018.

[6] CER, Daniel, et al. Universal sentence encoder. arXiv preprint arXiv:1803.11175, 2018.

[7] ERKAN, Günes; RADEV, Dragomir R. Lexrank: Graph-based lexical centrality as salience in text summarization. Journal of artificial intelligence research, 2004, 22: 457479.

[8] ヤフー株式会社 (2011)：Yahoo！知恵袋デー 夕 (第 2 版). 国立情報学研究所情報学研究デ一タリポジトリ. (データセット). https://doi. org/10. 32130/idr. 1.2


# クイズ問題のジャンル推定における機械学習手法の比較・検討

浅野 綾太 ${ }^{1}$ 小林 邦和 $^{2}$
1 愛知県立大学大学院 情報科学研究科 システム科学専攻 2 愛知県立大学 情報科学部
\{im213001, kobayashi\}@cis.aici-pu.ac.jp

## 概要

本研究では, 主にクイズ問題のジャンル推定を取り扱う. 先行研究として淀川らの研究 [1]を取り上げる. 淀川らは, 分散表現の獲得に MeCab と fastText を, 機械学習手法としてサポートベクタマシン (以下:SVM) を適用し, 問題文に対するジャンルを推定を行った. しかし, 先行研究では機械学習手法が SVMの 1 種類しか紹介されていなかった. そのため, 本研究では分類問題を解くその他の機械学習手法やグリッドサーチ, 交差検証を用いて最適な手法とパラメータを探索した。

結果としては, 単独では先行研究と同じくSVM よるジャンル推定が最高正解率を記録した.

## 1 はじめに

## 1.1 研究背景

クイズとは,一方が問題を出題し,もう一方が答える「遊び」である.しかし, 問題の解答権を獲得することを競争することで競技性が生まれる. そのようなクイズのことを「競技クイズ」と呼ぶ. そして競技クイズは他の参加者に先んじて解答権を獲得するために知識を蓄える必要がある. 競技クイズの勉強法の一つに, $\mathrm{Q}$ 宅 ${ }^{1}$ や $\mathrm{BOOTH}^{2}$ ) といったサイトで問題集を購入し, さまざまな問題に触れることで知識を得るという方法がある.このような勉強法の中でも,「芸能問題だけは正解できるようにしよう」というように, ある特定のジャンルに絞って問題を覚えるという方法がある.この場合, 芸能問題のみが掲載されている問題集を購入しなければならないが,そのような問題集は少数である. しかし, 市販の問題集の多くはジャンルが付与されていることは非常に少ない. 本研究では, 教師あり学習手法を用いてクイズの問題文からジャンルを推定する.
また, 本稿では便宜上「競技クイズ」のことを「クイズ」と表現する.

## 1.2 質問応答

ある質問に対する解答を求めるタスクを質問応答 (QA) タスクといい,しばしば実際に使われる問題が用いられることが多い. 自然言語処理における代表格として,「SQuAD[2]」「TraviaQA[3]」「QANTA[4]」 などが挙げられるが, そのいずれも英語による文書を取り扱っている. 日本語のデータセットとしては，「解答可能性付き読解データセット [5]」や 「JAQKET[6]」などがある. 実際のクイズ問題を扱った事例としては,2011 年 2 月に放映されたクイズ番組「Jeopardy!」で人間のチャンピオンを破った IBM の「Watson」などが挙げられる [7]. 早押しを想定した解答システムとしては, 橋元ら [8] がある。

## 1.3 先行研究

先行研究として, 淀川らの研究 [1] を取り上げる.訓練データやテストデータには後述のデータセットを用いた. 分散表現の獲得には日本語 wikipwdiaを用いた fastText を作成して利用した. モデルの訓練には,クイズの問題文を分かち書きし, 単語の分散表現を獲得し,300 次元からなる文章の分散表現を得る.訓練データに 300 次元で表された問題文及び解答の解説文章と対応するジャンルを用いて SVM で学習する. 訓練データには以下の 2 種類を用いる.

(1)「問題文」のみ

(2)「問題文」と「解答の解説」

(1)では問題文のみを,(2)では, 問題文に対する解答を wikipedia 9 日本語データベースから説明文を獲得して問題文と結合し,(1)と同じくべクトル化・モデルの訓練を行う. 結果としては (1)で $40.0 \%,(2) 54.8 \% をという$ 正解率が得られた。

2) https://booth.pm/ja

## 2 利用するクイズデータセット

データセットには先行研究 [1] でも使われている「abc 13th 17th」と「EQIDEN 2013 2019」という大会の問題集を用いる ${ }^{3)}$. abc は学生を対象とする日本最大級のクイズ大会である. EQIDEN は $\mathrm{abc}$ と同日に行われる, 学業機関別のクイズ大会である. abc/EQIDEN で使用される問題は作成するにあたり多人数による審査が行われているため, 文章構成の質が良く, 難易度も比較的低く均等になっている. また,ジャンルにおいても偏りが少なくするように製作されている (図 1). そのため, 本研究で行うジャンル推定をするに当たり信頼性が高いと言える. 問題の用途は「早押し」「筆記 -4 択」「敗者復活」に分類されるが, 本研究では「早押し」のみを使うこととする。

図 1 クイズ問題のジャンル比率

なお, 分類問題として取り扱う際に, 開催年度毎にジャンルが異なるため調整が必要になる. 13th から 15th は表 1 の 12 種類に,16th から 17th は表 2 の 15 種類に分類されている. 本研究では先行研究での 12 種類の分類 (表 3)するように微調整して利用する.表 1 abc13 15th のジャンル分類

表 2 abc16 17th のジャンル分類

表 4 用途別の問題数

## 3 実験方法

## 3.1 tokenizer

文字列を機械的に扱うとき，その文字列を分かち書きし, 分散表現を獲得する必要がある. 分かち書きには形態素解析エンジンの MeCab と新語・固有表現に強い辞書 NEologd を用いる。

分散表現の獲得には,Doc $2 \mathrm{Vec}$ という手法を利用する. Doc2Vec は,Word2Vec の単語の分散表現を獲得する手法の応用である. なお, 本研究ではモデル作成の時間を省くために学習済みモデルを用いた [9]. 元となる文章を分かち書きし, 学習済みモデルに入力すると 300 次元の分散表現が得られる. 数値データに変換した訓練データを入力データとして機械学習モデルの訓練を行う.
表 3 本研究におけるジャンル分類

## 3.2 機械学習手法

機械学習には既存アルゴリズムとしてょく知られるランダムフォレスト, $\mathrm{k}$-近傍法, ロジスティック回帰, ナイーブベイズ,SVM, 確率的勾配降下法 (以下:SGD) を用いた他にも,300 次元の入力層, 1000 次元の中間層, 12 次元の出力層からなる 3 層のニュー ラルネットワーク (以下:NN) も用いた. また,これらの手法に対してグリットサーチによるハイパーパラメータの最適化も行って評価した。

## 3.3 評価

精度の評価にはマクロ平均による正解率 (macroAccuracy)を用いる. 多クラス分類で使う評価指標は,二值分類で用いる混合行列を複数のクラスに対応させて算出できる.

たとえば $(A, B, C)$ からなる多クラス分類を考えたとき, $A$ をPositive, $B$ と $C$ を Negative とした際の $T P, T N, F P, F N$ をそれぞれ $T P_{A}, T N_{A}, F P_{A}, F N_{A}$ とする.これらを用いて accuary $_{A}$, recall $_{A}$, precision $_{A}, F$ 値 ${ }_{A}$ は式 (1) (4) のように表すことができる.

$
\begin{gathered}
\operatorname{accuary}_{A}=\frac{T P_{A}+T N_{A}}{T P_{A}+T N_{A}+F P_{A}+F N_{A}} \\
\operatorname{recall}_{A}=\frac{T P_{A}}{T P_{A}+F N_{A}} \\
\text { precision }_{A}=\frac{T P_{A}}{T P_{A}+F P_{A}} \\
F_{A}=\frac{2 \cdot \text { recall }_{A} \cdot \text { precision }_{A}}{\text { recall }_{A}+\text { precision }_{A}}
\end{gathered}
$

これらの値を各クラス毎に計算できる.これらの平均が次式のマクロ平均である.

$
\operatorname{accuary}_{M}=\frac{\text { accuary }_{A}+\text { accuary }_{B}+\text { accuary }_{C}}{3}
$

Accuracy は不均衡データの評価には適さないことで知られるが, 本研究での分類問題は偏りが少ないことから適用する判断をした。

## 4 実験

## 4.1 実験結果

それぞれのモデルでグリッドサーチを行った. $\mathrm{k}$分割交差検証の分割数は $\mathrm{k}=5$, 評価指標はマクロ平均 (macro-Accuarcy) とした.

表 5 機械学習モデルの正解率

## 4.2 考察

単一のモデルでは SVM が最高の正解率を得た. 正解率のみを求めるならば, アンサンブル学習を適用すれば精度の向上は見込める.ここで, 各モデルにおける 1 つのジャンルの正解率を表 6 にまとめた. 全体としてはスポーツの正解率が最も高く, 次いで科学, 文学, 地理が次点となった. 一方で, 音楽と芸術の正解率が 0.60 を下回る分類結果となっている. 特に音楽と芸術はジャンルとしても非常に近い関係性にあるといえる. たとえば,JPOP や洋楽は音楽に分類されるが, クラシックは芸術に分類されることが多い.

また, 実験中に生じた問題を紹介する. クイズの問題には 1 つのジャンルしか付与されていない. 付与されたラベルを「正解ラベル」, 解答が真に含まれるジャンルを「真のラベル」とする. データセット内には表 7 のような問題が含まれており,それらがノイズになっている可能性がある. そもそもジャンルの付与は作問者それぞれが個別で行うため, 同じ問題を作ってもジャンルが異なることがある. たとえば表 7 の 1 番の問題は, 前情報ではスポーツに関する情報, 後情報と解答は地理に関する情報である. このような問題が含まれることから, マルチラベル分類の適用が必要と感じた. 従って, 今後はマルチラベル分類手法を実装していきたい.
表 6 各機械学習モデルの $\mathrm{F} 1$ 值

表 7 ジャンルに不備がある問題例

 & "チューリッヒ & "スポーツ & 地理 \\

## 5 おわりに

先行研究で紹介したジャンル分類をその他の機械学習手法を試した. 結果としては先行研究でも使われたSVM が最高の正解率を記録した. 今後正解率の向上を目指すならばアンサンブル学習を適用すれば良いと思う. また, 実験よりマルチラベル分類が必要であることが分かったため, 今後はマルチラベル分類手法を調査して行きたいと思う。

## 謝辞

本研究で使用したデータセット用のクイズ問題は, abc/EQIDEN 実行委員会より研究目的での利用許可を頂きました. 記して感謝いたします.

## 参考文献

[1] 伊東栄典淀川翼. 機械学習手法を用いたクイズ問題のジャンル推定. 火の国情報シンポジウム論文集, Vol. 2020, pp. 1-4, 2020.

[2] Pranav Rajpurkar, Robin Jia, and Percy Liang. Know what you don't know: Unanswerable questions for squad, 2018. https://arxiv.org/abs/1806.03822.

[3] Mandar Joshi, Eunsol Choi, Daniel Weld, , and LukeZettlemoye. Triviaqa: A large scale distantly supervisedchallenge dataset for reading comprehension, 2017.

[4] Pedro Rodriguez, Shi Feng, Mohit Iyyer, He He, and andJordan L. Boyd-Graber. Quizbowl: The case for incrementalquestion answering. Technical report, 2019.

[5] 鈴木正敏, 松田耕史, 岡崎直観, 乾健太郎. 解答可能性付き読解データセット. 言語処理学会第 24 回年次大会 (NLP2018), March 2018.

[6] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. Jaqket: クイズを題材にした日本語 qa データセット
の構築. 言語処理学会第 26 回年次大会 (NLP2020), March 2020.

[7] David Ferrucci, Eric Brown, Jennifer Chu-Carroll, JamesFa, David Gondek, Aditya A. Kalyanpur, Adam Lally, J. William Murdock, Eric Nyberg, John Prager, Nico Schlaefer, and Chris Welty. Building watson: An overview of thedeepqa project. Al Magazine, pp. 59-79.

[8] 橋元佐知, 佐藤理史, 宮田玲, 小川浩平. 競技クイズ・ パラレル問題の基本構造と文型. 言語処理学会第 27 回年次大会 (NLP2021), March 2021.

[9] 日本語 WIKIPEDIA で学習した DOC2VEC モデル,(2021-12 閲覧). https://yag-ays.github.io/ project/pretrained_doc2vec_wikipedia/.


# ひめのり：辞書生成機能を備えたワードクラウド作成システム

涉谷 泰蔵 ${ }^{1,2}$ 稲吉 希理 ${ }^{1}$ 西田 健太郎 ${ }^{1}$ 田中朋 1,2
1 日本電気株式会社 2 産業技術総合研究所
\{taizo, kiri.i, ken-nishida, tomotanaka\}@nec.com

## 概要

専門用語辞書生成機能を持つワードクラウド作成システム「ひめのり」を開発した. システムはスマートフォン上でも動作可能な Web インター フェースを持ち，様々な分野の専門家による効率的な形態素解析辞書の生成を可能にする. 1940 年代の応用物理学会誌のデータを用いた専門用語抽出実験から，システムによる作業効率の加速効果は手作業に比べ最大で 3 倍程度あることが分かった. 今後ひめのりが得意なデータセットの特徵を明らかにするとともに，辞書以外の言語資源の整備機能も追加していく.

## 1 はじめに

膨大なテキストデータを概観する手法として， ワードクラウドが知られている。 ワードクラウドは図 1 に示すように文書中に含まれる多数のトークン1)を並べた画像であり，重要なトークンほど大きく表示される. ワードクラウドの作成は，トークンリストの抽出とトークン重要度の決定という 2 つの作業から成り, 素朴には形態素解析器による文書のトークン化とその頻度集計で実現される。高品質なワードクラウド生成には，トークンの分割単位や重要度に分析者の視点を反映させる必要がある. 例えば「化合物半導体」という短単位のトークンで構成された複合語をどこまで接続するかや，「情報」や 「システム」といったトークンをワードクラウドに含めるかといった判断は分析者や分野に依存する.

我々は，複合語リストの抽出を分かち書きテキストにおけるトークン接続（チャンキング）タスクと捉え, MeCab [1] 用の複合語辞書生成機能を備えたワードクラウド作成システムを開発している。このシステムはスマートフォンでも操作可能なシンプルなインターフェースを特徴とする Web アプリケー

1）何らかの手段で文章を短い単位に分割したときの一つ一つの言葉のまとまりのこと.
ションであり，トークン同士を接続する糊という意味を込めて「ひめのり」2)と名付けた。ひめのりはテキスト中に隣接して現れるトークンペアの接続判断をユーザに迫り，複合語辞書を効率的に生成する。 また，頻出する低重要度トークンを非表示語（ストップワード）リストに追加するための画面も備えている。本稿では，ひめのりを紹介するとともに， そのトークン接続タスクの加速効果を実験で明らかにする。また，形態素解析辞書以外の言語資源生成ツールとしての可能性についても議論する。

図 1 ワードクラウドの例. 2008-2021 年の『自然言語処理』掲載論文のタイトルから作成.

## 2 関連研究

複合語リストの自動抽出に関しては，頻度 [2] やルール [3] をべースにしたものから BERTを利用したもの [4] まで様々な研究があり，これらの手法に分析者の視点を反映させるには，テキストマイニング向けのツール [5] や，種々のスパンアノテーションツール [6-10] 等を利用できる. もちろん長単位の分割に対応した形態素解析器 [11,12] や辞書 [13] も重要な選択肢である。トークン重要度の決定に関しても様々な手法 $[2,14]$ が提案されている. これらを統合したワードクラウド作成システムは筆者らの知る限りでは存在しないが，例えばユーザーロー カル社のサービス [15] は複合語リストとストップワードリストの入力に対応し，トークン重要度は TF-IDF [16] で決定している.

2）姫糊（ひめのり）は米を原料とした糊のこと。

## 3 システムの詳細

図 2 ひめのりの全体像.

ひめのりは Python と JavaScript で書かれた web アプリケーションであり，非同期処理を利用して軽快な動作を実現している。ひめのりの全体像を図 2 に示す.クライアント側には JavaScript ライブラリである React [17] を採用し，サーバー側は Python フレームワークである FastAPI [18] を利用している.テキストのトークン分割には $\mathrm{MeCab} を ，$ データベースには SQLite [19]を，ワードクラウドの生成には Andreas Mueller 氏の Python ライブラリ WordCloud [20] と Google Noto Fonts [21]をそれぞれ採用している. 辞書生成の基本的な流れは，分析するテキストのアップロード，MeCabによるトークン分割，トークンおよびトークンペアの出現頻度集計，トークンペアに対するユーザの判断で構成される.これらを組み合わせることでトークンペアのチャンキングを繰り返し, MeCab 向けのユーザ辞書を更新し，最終的に複合語辞書を得る。また，ユー ザはストップワードリストを修正することでワードクラウドの見栄えを整えることができる.

ひめのりの機能の肝となるトークンペアに関する繰り返し処理（周回）というコンセプトについて図3を用いて説明する. 最初の周回は，文章ごとに分割された入力テキストデータを MeCabによってトークンに分割し，単一トークンおよびトークンペアの出現頻度を集計することで始まる。この時, トークンの頻度情報からワードクラウドも作成する. 次に，頻度順にソートされたトークンペアごとに，接続するかどうかの判断をユーザに促す. 判断画面の例を図 4 に示す. 画面には単一トークンとトークンペアの出現頻度，およびペアを含む文章一覧が表示され，ユーザはこれを参考にペアを辞書・仮辞書・非辞書のどれかに分類する。例えば辞書に分類されるのは「電子顕微鏡」のような複合語として成立するぺアである．仮辞書に分類されるのは

図 3 ひめのりによる複合語抽出の流れ.

図 4 ユーザ判断画面.

3 トークン以上からなる複合語の一部である「高温超」(高温超伝導の一部) のような，そのままでは意味を持たないが，より長単位では意味を持ちそうだと判断されたぺアである. 仮辞書に登録されたトークンは，次周のトークンペア集計では繋がった状態で出てくるため, 次周の判断によってはさらに長いトークンとなっていく. こういった意味を持たないトークンペアをユーザ辞書に登録せずに仮辞書に登録することで，ユーザ辞書の無意味な肥大化を防いでいる。非辞書に入るのは「による」のような複合語として成立しないぺアである。一度非辞書に登録されたトークンペアは，次周以降は頻度集計からは除かれる。分類は画面上の該当ボタンのクリックで実行できるが，キーボードの矢印キーでも
実行できる，必要なトークンペアについてのユーザ判断が終わったら3)，辞書と仮辞書に含まれたト一クンペアを見出し語とした MeCab のユーザ辞書を作成する。この際, 品詞は全て名詞とし, 生起コストは MeCab に分割されないようトークンの文字数と周回数に基づいて決定される。このユーザ辞書を利用してテキストを再び分かち書きし，トークンペアの頻度集計とワードクラウドの生成を行う．新しいユーザ辞書により生成されたワードクラウドは，図 5 に示す画面で直前の周回のワードクラウドと比較され，次周を実行するかの判断をユーザに促す. ここまでの一連の処理が 1 周目に該当する. 2 周目

## 単語と出現頻度

図 5 周回の終了画面.

は，直前の周回で生成されたトークンペアへの判断をユーザに促すところから始まり，更新されたユー ザ辞書でワードクラウドが生成されて終わる. 図 3 では 2 周目で「高温超伝導」という複合語が辞書に登録されたことが分かる. この処理を繰り返すことでトークンペアは徐々に長くなり，最終的にはユー ザが所望する複合語のリストを得ることができる.

ストップワードリストの編集には図 5 に似た別の画面が用意されている。ユーザはトークンリスト中のトークンをクリックすることで，動的にストップワードリストを変更し，ワードクラウドの変化を確認できる.

## 4 実験

システムの効果を評価するために，ひめのりを利用した場合としない場合それぞれについて 10 分間のチャンキング作業を設定し，2 分ごとに作業のス

表 1 BIO タグを用いた長単位チャンキングの例。 Token 化合物半導体超格子の無秩序化とその応用

コアを算出した. 対象文書として J-Stage の API で取得した応用物理学会誌の 1940-1942 年の論文タイトル 409 件を利用した. このデータセットは古い専門用語が使われており, 特に複合語辞書生成の重要性が大きいと判断したため選ばれた. チャンキング作業は MeCab と IPADIC 辞書が生成した分かち書きテキスト中のトークンを接続するものとした. 正解データは，分野固有の専門用語を可能な限り長単位で接続することを基本方針とし，一人の材料科学者が用意した．スコア計算には CONLL2003 の固有表現抽出タスク [22] の BIO タグを参考に，適合率，再現率，F1 值を下記のように定義した：

$
\begin{aligned}
\text { 適合率 }(\text { Precision }) & =\frac{\text { 正解との一致タグ数 }}{\text { ユーザの BI タグ数 }}, \\
\text { 再現率 }(\text { Recall }) & =\frac{\text { 正解との一致タグ数 }}{\text { 正解の BI タグ数 }}, \\
\text { F1 値 } & =\frac{2 \times \text { 適合率 } \times \text { 再現率 }}{\text { 適合率 }+ \text { 再現率 }} .
\end{aligned}
$

タグ付けの例を表 1 に示す. この場合，ユーザ入力の適合率，再現率， $\mathrm{F} 1$ 值はそれぞれ $0.8,0.57,0.67$ となる。ひめのりを使用する場合（w/ Himenori）は 2 分ごとにひめのりの周回作業を終了し, 各周回のユーザ辞書によって分かち書かれた結果を $\mathrm{BIO}$ タグに変換した ${ }^{4}$ ．ひめのりを使用しない場合（w/o Himenori）は，図6 に示すようにアンダースコアを分かち書き文字としたデータを用意し，テキストエディタを用いた手作業による区切り文字の除去をタスクとした. この際も 2 分ごとに作業を保存し,結果を BIO タグに変換した. 実験は 8 人の材料系研究従事者に対して行った. 被験者はチャンキング作業を同じデータセットに対し w/ Himenori, w/o Himenori でそれぞれ 10 分間行った. 作業を行う順番による影響を確認するため，被験者を 4 人ずつ 2 つの群に分けた. 1 つの群は先にツールを利用し (Himenori 1st)，もう一つの群は先にテキストエディタで作業を行った（Himenori 2nd）。

## 5 結果と考察

作業者群ごとの平均 $\mathrm{F} 1$ 値の推移を図 7 に示す.作業の順番にかかわらず，全ての時間で w/ Himenori

4）初期トークンが分かたれた文章はスコアの計算に含めなかったが，そのような文章は全体の 5 \%程度だった。

図 6 テキストエディタを用いた手動チャンキングタスク. トークンを区切るアンダースコアを手動で削除する。

図 $7 \mathrm{~F} 1$ 値の推移. 各点は 4 人の作業者の平均値を示す.

の F1 值が w/o Himenori の F1 值を上回っていることが分かる. またそれぞれの群において, 後に作業した結果の F1 值が高く, 先の作業でデータセットの特徵を掴んだことで, 後の作業の処理速度が向上したと思われる. しかしながらその影響は極わずかであり，専門用語抽出タスクはひめのりによって加速されたと言える。また，w/o Himenori のカーブが線形なのに対し, w/ Himenori は w/o Himenori よりも高い值をとっているが 4 分を過ぎた頃には緩やかな傾きになる. 次に, 図 8 に F1 值の内訳である

図 8 適合率 (Precision) と再現率（Recall）の推移. 各点は 8 人の作業者の平均値を示す.

適合率と再現率の平均値の推移を示す. 作業の順序による差は極わずかであったため，2つの作業者群をまとめた 8 人の結果の平均値を用いた. 適合率は w/o Himenori は時間によらず高い值を維持するのに対し，w/ Himenori は最初に低い值をとり 4 分以降で一定値となる。この違いが生まれるのは，w/o Himenori では同じ判断を下せる限り時間経過によって適合率が変化しないのに対し，w/ Himenori では始めの周回で仮辞書に追加されたトークンペアに短単位で BIO タグが貼られ適合率が低く出るからである.これら仮辞書に登録されたトークンペアは，その後の周回でより長単位の BIO タグが貼られるため，最終的には適合率は上昇する。再現率は，w/o Himenori がゼロ点から線形に上昇するのに対し，w/ Himenori はゼロ点から 2 分までの傾きが大きく, 4 分を過ぎた時点で w/o Himenori の傾きと一致する. w/o Himenori の線形性は単純作業の繰り返しとして説明できるが，w/ Himenori の傾きの変化は頻出するトークンペアの一括処理による効果が 4 分頃まででなくなることを示唆している．今回設定した実験時間の範囲内では，w/ Himenori の 2 分と w/o Himenori の 6 分の F1 值がほぼ同一であり加速効果は最大で 3 倍程度とも言えるが，より長時間の作業では $\mathrm{F} 1$ 值が逆転し得る.これはひめのりに有利な処理時間範囲があることを示唆しており，データセットの特徴とも相関があると考えられる．今後，頻出するトー クンペアの出現頻度の分布などから，ひめのりの得意なデータセットの特徴を示していきたい.

この実験は，LOC や PER 等の分類はしていないものの，ひめのりの固有表現アノテーションツー ルとしての可能性にも注目して設定された. w/o Himenori の作業はスパンアノテーションと同種の作業であり，ひめのりによる作業の加速効果が認められた.今後は辞書生成だけでなく固有表現アノテーションツールとしての機能も追加し，他のツー ル [6-10]との比較も行いたい.

## 6 おわりに

辞書生成機能を備えたワードクラウド作成器「ひめのり」を開発し，複合語抽出の時間対効果を実験的に明らかにした. ひめのりを使うことで, 様々な分野の専門家が自然言語処理の細部を意識することなく効率的に形態素解析辞書を生成できる。今後はひめのりと相性の良いデータセットの特徴を明らかにするとともに，固有表現アノテーションツールとしての可能性も探る.

## 謝辞

本論文をまとめるにあたり, 日本電気株式会社の石川開氏には, 実験の設定や評価について有益な助言をいただきました.

## 参考文献

[1] 工藤拓. MeCab: Yet another part-of-speech and morphological analyzer. https://taku910.github.io/mecab/.

[2] 中川裕志, 湯本紘彰, 森辰則. 出現頻度と連接頻度に基づく専門用語抽出. 自然言語処理, Vol. 10, No. 1 , pp. 251-258, 2003.

[3] 橋本泰一, 藤井敦. 特許文書のための形態素解析辞書の構築. 言語処理学会第 18 回年次大会, 2012.

[4] 五井野㙇也, 濱上知樹. Bertを用いた医療文書からの固有表現抽出. 計測自動制御学会第 48 回知能システムシンポジウム, 2021.

[5] 高間康史, 阿部美里. テキストデータマイニング統合環境を利用した看護記録からの専門用語辞書作成支援ツールの提案. 第 27 回人工知能学会全国大会, 2013.

[6] Pontus Stenetorp, Sampo Pyysalo, Goran Topić, Tomoko Ohta, Sophia Ananiadou, and Jun'ichi Tsujii. brat: a webbased tool for NLP-assisted text annotation. In Proceedings of the Demonstrations at the 13th Conference of the European Chapter of the Association for Computational Linguistics, pp. 102-107, 2012.

[7] Jie Yang, Yue Zhang, Linwei Li, and Xingxuan Li. YEDDA: A lightweight collaborative text span annotation tool. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 31-36, 2018.

[8] 山村崇, 嶋田和孝, 吉川和, 岩倉友哉. Tatara: 支援機能を持ったアノテーションツールの構築. 言語処理学会第 25 回年次大会, 2019.

[9] Prodigy $\cdot$ An annotation tool for AI, Machine Learning \& NLP. https://prodi.gy/.

[10] doccano: Open source annotation tool for machine learning practitioners. https://github.com/doccano/ doccano.

[11] 小澤俊介, 内元清貴, 伝康晴. Bccwj 亿基づく長単位解析ツール comainu. 言語処理学会第 20 回年次大会, 2014 .

[12] Sudachi: A Japanese Tokenizer for Business. https:// github.com/WorksApplications/Sudachi.

[13] 佐藤敏紀, 橋本泰一, 奥村学ほか. 単語分かち書き用辞書生成システム NEologd の運用-文書分類を例にして. 情報処理学会研究報告自然言語処理 (NL), Vol. 2016, No. 15, pp. 1-14, 2016.

[14] Hakan Altınçay and Zafer Erenel. Analytical evaluation of term weighting schemes for text categorization. Pattern Recognition Letters, Vol. 31, No. 11, pp. 1310-1323, 2010.

[15] AI テキストマイニング by ユーザーローカル. https://textmining.userlocal.jp/.

[16] Karen Sparck Jones. A statistical interpretation of term specificity and its application in retrieval. Journal of doc- umentation, Vol. 28, No. 1, pp. 11-21, 1972.

[17] React A JavaScript library for building user interfaces. https://reactjs.org/.

[18] FastAPI framework, high performance, easy to learn, fast to code, ready for production. https://fastapi. tiangolo.com/.

[19] https://www.sqlite.org/.

[20] Andreas Mueller. WordCloud for Python. https:// amueller.github.io/word_cloud/.

[21] Noto Sans Japanese - Google Fonts. https://fonts. google.com/noto/specimen/Noto+Sans+JP.

[22] Erik F. Tjong Kim Sang and Fien De Meulder. Introduction to the CoNLL-2003 Shared Task: Language-Independent Named Entity Recognition. In Proceedings of the Seventh Conference on Natural Language Learning at HLTNAACL 2003, pp. 142-147, 2003.


# アジア三言語における代名詞代用・呼びかけ語の共通項目調査

岡野賢二 ${ }^{1}$ 野元裕樹 ${ }^{1}$ スニサー ウィッタヤーパンヤーノン(齋藤) ${ }^{1}$ トゥザライン ${ }^{1}$ 春日淳 ${ }^{2}$
okanok@tufs.ac.jp nomoto@tufs.ac.jp sunisa@tufs.ac.jp thuzarhlaing@tufs.ac.jp kasugaat@kanda.kuis.ac.jp
1 東京外国語大学 2 神田外語大学

## 概要

本研究の目的はいくつかのアジア諸言語における代名詞代用と呼びかけ語の使用実態を把握し, その共通点や相違点を明らかにすることである. 対象言語は日本語, 韓国語, マレーシア語, インドネシア語, ジャワ語, ベトナム語, タイ語, ビルマ語である. 代名詞代用に用いられる語彙は言語ごとに差があるため, これらの言語間で共通して用いられる語彙を抽出し，記述することとした。

本稿ではそのうち東南アジア大陸部の言語であるタイ語i, ベトナム語ii, ビルマ語iiiについての共通項目の調査結果について報告する.

## 1 代名詞代用・呼びかけ語

代名詞代用（pronoun substitutes）とは代名詞ではない語を用い一・二人称代名詞と同様に話し手・聞き手を指し示すことであり，呼びかけ語（address terms）とは会話において聞き手を同定し, その注意を引くために使われる語である。

例えば「お母さん, お母さんのお兄ちゃんの名前,何だっけ？」（野元他 2021:64）という日本語の発話内に二度「お母さん」が使われているが，はじめのものは呼びかけ語であり，もうひとつは代名詞代用である。英語では呼びかけ語には“mom”, “mommy”などの語彙が用いられるが, 二人称代名詞の代用としての用法を幼坚語以外では持たないとされる.

代名詞代用に用いられる語彙には親族名称, 職業名, 固有名などがあるが，一般名詞の中にも敬称を添えることで使えるようになるものもある（「学生

さん」など）.

また「お姉さん」のような親族名称が親族関係"がない場合にも用いられる、いわゆる虚構的用法もまた非常によく見られる代名詞代用の一現象であるが， その範囲は言語により様々である。例えばビルマ語の nilé「(男性にとっての) 弟」やタイ語の nóo 「弟妹」, ベトナム語の em (trai)「弟」は代名詞代用,呼びかけ語として用いることができるが，日本語では話し手よりも年下の親族名称を用いることはできない.

さらに代名詞代用が可能な言語において, 代名詞代用の語彙と呼びかけ語の集合の重なりは大きいことが知られている.

このような現象は日本語ばかりでなく, 東アジアから東南アジアに分布する言語に非常によく見られる現象であり, 個別言語記述研究や語学書等でしばしば言及されている. しかしながらこのような現象を通言語的な観点から包括的に記述しようとした調査・研究は野元他（2021）以外，管見の限りない.

代名詞代用についての記述が十分でないことは翻訳や外国語学習において深刻な問題を引き起こす.前述の日本語の例をそのまま英語に「入れ替える」 なら，二つの「お母さん」は“mom”, “mommy”あるいは“"mother”と訳されるであろうが，それでは正しい英語にならない. 二つ目は your でなければならず，人称の間違いが生じる。逆に英語から日本語に訳す場合には適切な代名詞代用がなければ不自然な文となる場合が想定される. 本研究はより正確で自然な

（機械）翻訳に寄与寸るものである.

## 2 代名詞と代名詞代用

人称代名詞と代名詞代用がどのように違うのかについて, 田䆶 (1997:14) は境遇性の有無によって説明している。

例えば，二者間で交わされる会話において，Aの

発言内における「私」は A 自身を，B の発言内における「私」はBを指す. また二人称「あなた」では， どちらの発話であっても発話者の会話の相手を指す. すなわち人称代名詞は「話し手がどちらであるかを反映するという性質」を持っており，これを境遇性と呼んでいる。

一方，代名詞代用は一般に境遇性を持たない。上記の例にならえば，A の発言内において「お父さん」 が $\mathrm{A}$ 自身を指すとすれば，B の発話内でも「お父さん」は Aを指す. Aが発話しようと Bが発話しようと「お父さん」が指示する対象は変わらない， すなわち境遇性がない，ということになる。

会話内において特定の人物を指示する語彙が境遇性を持たない，というのは固有名詞（人名）や職業名も同じである。ただ，言語にもよるが，固有名詞や職業名の場合, 対称 (二人称) や他称 (三人称) に用いることできても, 自称（一人称）に用いることができないなどの制約がある場合がある。 日本語の例でいうなら「社長」は対称や他称には用いることができても, 通常自称に用いることはできないv. つまり代名詞代用と一言で言っても, 語彙によって自称，対称のどちらにも使える場合とそうでない場合があり，また呼びかけに用いることができるかどうか，に異なりがある。 また上述のように敬称を添えることによって代名詞代用, 呼びかけとして用いることができる場合もある.

本研究を進めるに従い, 言語によって代名詞代用・呼びかけとして用いることができる語彙に少なからず差異があることが分かってきた. ただ代名詞代用・呼びかけが通言語的にどのような特徴を有しているかを把握するために，各言語に共通して用いられる語彙について, 言語ごとの振る舞いの違いを把握する必要がある. そのため本研究では共通調査項目を設定し，調查をすることにした。

## 3 共通調查項目

共通調查項目は意味概念 (日英語と WordNet synset ID で記述）で, 研究対象言語にそれを表す語彙が存在することを条件として選定した. 選定した項目は 16 種類 147 項目にわたる. 16 分類とその例

（日本語）は以下の通りvi. 分類は Nomoto et al. （2019）の対人関係意味素性に基づく.

表共通調査項目の分類と例, 語彙数

 & 7 \\

これらの分類は収集した各言語のデータから抽出し, 取捨選択した. 本稿執筆時点（2022 年 1 月 10 日）で 8 言語で延べ 1629 語が収集されている. 以下分類について簡単に説明する.

(a) Age は年齢により呼び分けられる語彙である.

(b) Family, (c) Fictional family はいわゆる親族名称だが，(b)は実際に血縁・姻戚関係があるもの，(c)はそれがないもので，いわゆる虚構用法である。(a)と(b) は年齢や家族関係において付与されるプロパティである.これらは性別により語彙が異なることがほとんどである (「3. 子供」, 「26. 子」, 「34.いとこ」を除くvii) .

(d) Education は教育の場において用いられる身分等を表す語彙, (e) Relationship は社会的人間関係を表寸語彙, (f) Position は社会的地位の名称, (g) Service は職業を表す語彙, (h) Spiritual は宗教的な地位・資格等を表寸語彙, (i) Royal は王族を指し示す語彙である. (d) (i)は Nomoto et al. (2019)の意味素性体系の中の Role 素性の下位区分である.

(j) Anaphor, (k) Quantifier, (l) Demonstrative（指示詞）は人そのものを指示するのではない文法的な語彙である. (m) Proper noun は単独で用いられるものばかりでなく, 人名十敬称（田中さん）や人名十お姉さん（慶子お姉さん）などを含む. (n) Modified NP は修飾部を持つ名詞句で，修飾部には属格名詞（おばあちゃんの孫），直示（そこのあなた），形容詞 （美しいお姉さん）, 関係節（熱のある人，課題をまだ出していない人）を設定してある.

(o) Misc.は(a)（n)に分類できないものである.また(p) Personal Pronoun は代名詞代用ではないが, 共通調査項目を考察する上で基準となること，また自称形式が対称として用いられる場合があったり, 呼びかけ等に使うことができる場合があること, 言語によっては人称代名詞に複数の表現があり, それらが閉じたクラスをなしていないと考えられる場合があるため，これを含めた。

## 4 タイ語, ベトナム語, ビルマ語に おける共通項目調査結果

共通項目の調査として，特に代名詞代用（自称,対称）, 呼びかけの用法があるかどうか, そしてある場合にはその例文を実例もしくは作例によって収集することとした，以下はスニサー（2021）, 春日 （2021）, 岡野・トゥザライン（2021）の内容をまとめたものとなる.

vii ここに示す番号は共通調查項目における ID.

## 4. 1 Age

(a) Age について, タイ語は対称と呼びかけのみでの使用に限られる。「3. 子供」については，対象が複数の場合に限られ, 繰り返し用法 dèk dèk としてのみ使用する。 ベトナム語は極めて限定的にしか用いることができない. 「3. 子供（10 歳くらいまでの年少者, 男女問わず）」が自称，対称に用いることができること，「4. お嬢さん（10 代後半から 20 代前半, 女）」「5. 若い男性（10 代後半 20 代，男）」「6. 若い女性（10 代後半～20 代，女）」に呼びかけ用法があることのみであった。ビルマ語は呼びかけには一切用いることができないが，すべての項目を自称，対称に用いることができる.

## 4. 2 Family

(b) Family に分類される語彙は, 三言語とも自称,対称，呼びかけとしてかなり一般的に用いられる.特に「8. 父」「9. 母」「22. 兄」「23. 姉」「24. 弟」「25. 妹」は三言語でほぼ一致しているviii. また両親の兄弟姉妹を表す語彙のも同様である.

ただ「29. 孫」「30. 嫁（息子の妻）」「31，婿（娘の夫）」「32. 甥」「33. 姪」「34.いとこ」については使用しづらい傾向がみられる。夕イ語の場合,

「29. 孫」を対称で使用する場合, lăan 単独では使用しないが母方の祖父が lăan taa「母方の祖父の孫」 と誰の孫かを分かる表現で使用することがある他，呼びかけは対象が複数の場合に限られ使用する際は複数の意味を表す繰り返し用法 lăan lăan として使用する.「30，嫁（息子の妻）」「31. 婿（娘の夫）」「32. 甥」「33. 姪」は，嫌味や怒りといった感情を込める場合にのみ敬称を付けて用いることができる。 ベトナム語では壳談として呼びかけに Con dâu oi.「お嫁さん」, Con rể ơi.「お婿さん」を用いることがあるなど，使用可能性は限定的である．ビルマ語は対称としてはすべて用いることができるが，「29.孫」「32. 甥」「33. 姪」が呼びかけに用いられる以外は使用できない。

なお「34. いとこ」はべトナム語では完全に使用可能であるが，ビルマ語は対称のみ可能，タイ語は親族を指し示すことができない。

viii タイ語の場合, 兄弟姉妹 sibling については, 性別を表寸形態を除いた phîi「兄/姉」，nóon「弟/妹」の形で可能.

## 4. 3 Fictional Family

(c) Fictional Family（非親族・虚構用法）における語彙は Family の場合と同じで, 実際の親族関係にない人物を指示することができる。

ただ Family とは対照的に「8. 父」「9. 母」は言語によっては使用しづらい傾向が見て取れる。タイ語において例えば友人の父に対して phôo+父親の名前 $=「 〜$ 父さん」は許容されるが，それ以外のケー スでは用いることができないix. ベトナム語の場合はホストファミリーや，子を持つ親しい友人間で bố / mẹ - con と呼び合う用法があるものの, やはり限定的である. これに対しビルマ語は全く問題なく使用可能である.

また親の兄弟姉妹を表す語彙はほぼすべてが自称，対称，呼びかけに使用可能である。また祖父母についても三言語とも問題なく使用可能となっている.

「53. 子」「54. 息子」「55. 娘」「56. 孫」「57. 嫁 （息子の妻）」「58. 婿（娘の夫）」「59. 甥」「60.姪」「61. いとこ」については各言語での使用可能性についてばらつきが多く, 一定の傾向は見られない. Familiy の場合よりも, さらにその使用可能性が低くなる傾向が各言語においてみられる。夕イ語の lûuk chaay「息子」lûuk sǎaw「娘」は前述のとおり悪感情を込めるときのみに親族に対して使用が可能だが，虚構用法を欠く。 ベトナム語の con rể「婿」con dâu「嫁」も同様に虚構用法を欠く. ビルマ語の場合は親族に対して使えるが，非親族を指し示す用法としては対称のみを持つ.また三言語すべてで「61. いとこ」は虚構用法を持たないx.

## 4. 4 その他の分類

上記(a)～(c)以外の分類についても若干述べておく. (d) Education における「62. 先生」に当たる語彙は三言語とも自称，対称，呼びかけのいずれにも使われる. 一方「64. 児童」「65. 生徒」「66. 学生」 はタイ語で対称，呼びかけに使われる他は使用できない. なお「63. 教授」はベトナム語では他称と呼びかけに使用することができ，ビルマ語は使用できない.

(e) Relationship の「72. 上司」はタイ語とベトナム

語では対称，呼びかけに用いられるが，ビルマ語では用法自体を欠く。「73．部下」は三言語いずれも使用できない. これは Education の「63. 教授」と「66.学生」の分布にほぼ一致する.

## 5 調査結果に対する暫定的考察

(a) Age に属する語彙は今回対象とした言語において一定の傾向は見られなかった. 言語ごとに使用できる語彙の範囲や，どの人称に用いることができるか，など，別の言語の調査と合わせて考察する必要があろう。

(b) Family, (c) Fictional Family については三言語に共通する特徴が見られた. Family では親, 親の兄弟姉妹, 自身の兄弟姉妹を表す語彙については, 自称，対称，呼びかけいずれもほぼすべてで使用可能である. 子を表す語彙，婿，嫁，いとこ等については言語毎にばらつきはあるものの，使用できないケースが見られた。

Fictional Family では Family と異なり，親を表す語彙が使えない言語があるが, 祖父母, 親の兄弟姉妹,自身の兄弟姉妹を表す語彙については，Family と同様，自称，対称，呼びかけいずれもほぼすべてで使用可能である．子を表す語彙，婿，嫁，いとこ等については言語毎にばらつきはあるものの, Family よりもさらに使用できないケースが多く見られた.いくつかの語彙では虚構用法を持たないものもある.

またすべての項目で成り立つわけではないが，呼びかけの用法を持つ語彙については，その多くが対称としても用いることができる強い傾向があることが観察された。

## 6 おわりに

最初に述べたように，代名詞代用という現象は言語ごとに記述されてきたが，それを複数の言語で対照することはほとんどなされてこなかった。

本研究は多くの言語のデータを同時並行的に扱うことで代名詞代用という現象についての理論構築を行う基盤を提供するだけでなく，それぞれの語彙についてのより精密な記述を可能にするであろう。また WordNet など，他の言語資源との連携をすることで, 本研究で対象としてない言語の記述にも適用でさるであろう。さらには機械翻訳，外国語教育といった分野においても，より正確で自然なアウトプットを生成するためのアルゴリズムやアウトプットの評価等への応用が期待できる.

## 謝辞

本研究は JSPS 科研費 $20 \mathrm{H} 01255$ 基盤研究(B)(一般)

「代名詞代用・呼びかけ表現の通言語学的研究」の

助成を受けたものです.

## 参考文献

ウィッタヤーパンヤーノン(齋藤), スニサー 「タイ語での代名詞代用表現・呼びかけ表現に関する考察」.『東京外国語大学東南アジア学』No.26, 1-23, 2020.「共通

調査項目に基づく調査報告（その 1）タイ語」科研費基盤(B)「代名詞代用・呼びかけ表現の通言語学研究」第 6 回研究会資料, 2021.

詞代用表現・呼びかけ表現の通言語学的研究における共同調査項目検証結果一タイ語に関して一」.『東京外国語大学東南アジア学』No.27, forthcoming.岡野賢二, トゥザライン 「共通調査項目に基づく調査報告（その 1）ビルマ語」. 科研費基盤(B)「代名詞代用・呼びかけ表現の通言語学研究」第 6 回研究会資料, 2021.

春日淳 「共通調査項目に基づく調査報告（その 1） ベトナム語」. 科研費基盤(B)「代名詞代用・呼びかけ表現の通言語学研究」第 6 回研究会資料, 2021.

田窪行則 1. 「日本語の人称表現」. 田窪行則編『視点と言語行動』くろしお出版, 東京, 13-44, 1997.

Nomoto, Hiroki, Kenji Okano, Sunisa meaning annotation for Asian language corpora: The case of TUFS Asian Language Parallel Corpus (TALPCo)”. 言語処理学会第 25 回年次大会発表論文集, 846-849. 2019.

野元裕樹, スニサー ウィッタヤーパンヤーノン(齋藤), 岡野賢二, トゥザライン, 南潤珍, スリ・ブデイ・レスタリ「代名詞代用・呼びかけ表現研究の現状: タイ語, ビルマ語, マレー語, インドネシア語, ジャワ語, 朝鮮語」.『東京:語学研究所論集』 25, 63-78, 東京外国語大学, 2021.


# 日本語母語話者にとっての英単語親密度の調査

藤田早苗小林哲生服部正嗣納谷太
NTT コミュニケーション科学基礎研究所
\{sanae.fujita.zc, tessei.kobayashi.ga, hattori.takashi.cp, futoshi.naya.ke\}@hco.ntt.co.jp

## 概要

我々は、主に学習支援への利用を目的とし、日本語母語話者にとっての英単語親密度を調査した。これまで、特に日本語母語話者にとっての英単語親密度データで大規模なものは存在しなかった。本調査では、世界最大規模の 12,398 語を対象とし、評定も、どの程度「見たり聞いたりするか」「知っている・意味がわかるか」「書いたり話したりできるか」 の 3 観点とする詳しい調査をおこなった。評定者は日本語を母語とする TOEIC800 点以上の大学生・大学院生 42 人 (評定後のスクリーニング通過は 38 人) で、各自全ての語を評定した。さらに、先行研究との比較分析を行い、特に英語母語話者との違いを示した。

## 1 はじめに

単語親密度 (FAM; word familiarity) とは, 語のなじみ深さを数値化したものである $[1,2]$. 単語親密度のデータは，さまざまな用途で使用されている $[3,4,5]$ 。特に、多くの語を含む単語親密度データがあると語彙数の簡便な推定が可能になるため [6]、学習支援への利用も期待できる [7]。本稿では、英語の学習支援への利用を目指して実施した日本語母語話者にとっての英単語親密度の調査について報告する。

英単語親密度のデータは幾つか存在するが、多くは英語母語話者による評定である $[8,9,10]$ (表 1 , 上部)。G\&L[10] とGlasgowNorms[8] はスコットランドの、BristolNorms[9] はイギリスの大学の学生・関係者が 7 段階のリッカート尺度で評定しており、約 1,500 語から 5,000 語程度のサイズである。

しかしながら、日本語母語話者にとっての英単語親密度が英語母語話者と同じような值になるとは限らない。日本の大学で調査したデータとしては、横川 [11] (以下、Yokokawa)によるものがある。関西の 10 大学の学生 822 人が 2,999 語の評定を行ってい
るが、 1 人が評定する語は 200 語のみである。大変参考になるデータだが、評定した大学生の英語力が分からない、語彙数推定の規準にするには調査語が少ない、同じ評定者によって全語評定されたわけではない、といった問題がある。

一方、単語親密度に限らなければ日本人英語学習者向けの単語リスト作成の試みは、多く存在する $[12,13]$ 。Ehara[12] は、ALC ${ }^{1)}$ が作成したレベル別語彙リスト SVL120002）（12,000 語）を対象に、意味を知っているかなどの評定を行っている。評定者は大学生 16 人 15 人は東大生。日本語母語話者 14 人) である。規模が大きい上に全評定者が全語を評定している大変貴重なデータである。ただし、1-5 の評定値が振られているものの ${ }^{3 ）}$ 名義尺度のため、評定平均を算出して単語親密度として利用することはできない。

大学英語教育学会基本語リスト (新 JACET 8000) [13] は、主に教育者からなる委員会がコーパスや検定教科書を元に語を選定し、出現頻度等を基にランクを付与したものである。また、 8,000 語からなる基本語リスト以外に、補正資料として、中学・高校コミュニケーション支援語彙リスト $(3,000$ 語)、共通学術語彙リスト $(2,200$ 語 $)$ も公開されている。大変丁寧に選定・編集されたデータである。

CEFR-J Wordlist ver.1.6 ${ }^{4}$ ) は、6,868 語 (品詞別だと 7,989 項目) に対し、欧州共通言語参照枠 (CEFR) が定める 6 レベルのうち $\mathrm{A} 1$ ～B2 の 4 レベルを付与した語彙リストである。各レベルは $\mathrm{A} 1, \mathrm{~A} 2$ が基礎段階の言語使用者, B1，B2 が自立した言語使用者となっている。このリストは、中国・台湾・韓国の小

1) https://www.alc.co.jp/

2) https://www.alc.co.jp/vocgram/article/svl/

3）各評定値と説明 : 1: never seen the word before, 2: probably seen the word before, 3: absolutely seen the word before but don't know its meaning/ tried to learn the word before but forgot its meaning, 4: probably know the word's meaning/ able to guess the word's meaning, 5: absolutely know the word's meaning

4）東京外国語大学投野由紀夫研究室. http://cefr-j.org/ index.html よりダウンロード
表 1 英語の親密度調査の比較

 &  \\

中高の主力教科書をベースに構築されている。貴重なデータだが、 4 レベルなので語彙数推定に利用するには情報量が足りず、かつ、必ずしも日本人のみ向けとは限らないという問題がある。

本稿では, 日本語母語話者にとっての英単語親密度を調査する (2 章)。本調査では、評定者の英語力を統制するため、TOEIC800 点以上を条件とした。対象語は異なりで 12,398 語、各評定者は全語を評定する。 42 人が全評定を実施したが、評定後に実施したスクリーニングを通過した 38 人分の評定值から英単語親密度を計算する。さらに、英語母語話者などの先行研究と特徴を比較・分析する (3 章)。

## 2 英単語親密度調査方法

評定者評定者は TOEIC800 点以上の、日本語を母語とする大学生・大学院生である。TOEIC800 点以上としたのは、親密度に差をつけて評定をするためには、英語がある程度出来る必要があると考えたためである。

調査への応募者は 53 人だったが、全語の評定を終了したのは 42 人だった。さらに、調査後のスクリーニングを通過したのは 38 人 (男性 21 人、女性 17 人) だった。 38 人の TOEIC の平均点は、 896 点 (Listening 455, Reading 441) で、年齢は 18 歳から 25 歳、平均 21.5 歳だった。

調査対象語学習支援への利用を目指し、英語の教科書コーパス（NTT で構築中。2018 年購入の小 5-高 3 の検定教科書全 72 冊から、物語と会話部分を書き起こしたもの）に出現する 4,955 語をまず対象とした。ただし、数字、記号、固有名詞、 2 文字以下の語、日本語のローマ字表記 (“miso”, “kabuki” など) は除いた。

さらに先行研究との比較も視野に、新 JACET 8000[13]、Yokokawa、CEFR-J Wordlist ver1.6に含まれる語は基本的に調査対象とした ${ }^{5)}$ 。これらのリストに複合語が含まれる場合には、スペースで分割

5） 's, 'm, 're, 擬似語等は除いた
した語も調査対象とした6）。また、Ehara[12] の公開データから、日本人 14 人による評定值の平均を便宜的に算出、平均値が 3.07 以上の 9,870 語は対象とした。

また、活用形による親密度の違いを見るために 100 語は活用形を追加した。さらに、スクリーニングのために 101 語を 2 回提示することとし、のべ 12,500 語 (異なり 12,398 語) を調査対象語とした。

対象語の提示順調査語はランダムにリストにした。ただし、2 回提示する語は 1 回目提示から 3000 語以上離れて提示されるようにした。調査では、リストの昇順/降順に評定する人を半々とした。なお、事後スクリーニングを通過した 38 名のうち、20 名は昇順、18 名は降順からの提示だった。

調査手順手順の概要は次の通りである.

## Step0 インストラクション

評定開始前にオンライン説明会を実施。

## Step1 練習フェーズ（10 語）

最初のログイン時に 1 度だけ実施。

Step2 本番フェーズ (12500 語) (付録の図 7 参照)

同じ評定が 15 回続くとアラートを表示。

調査後事後スクリーニング

2 回評定させた語の重み付きカッパ係数 $\kappa$ が 0.9 より低い評定者を除外。

評定が最も離れている場合を 0 、評定が完全一致でなくともより近い値なら重みを重くして一致度を計算する。

謝金は全ての評定実施とアンケート提出で 4 万円とした。評定サイトは内製し、スマホでも PCでも評定結果は自動保存するようにした。調査期間は、 2021.6.28 - 2021.8.16 である。評定のペースは評定者自身に任せた。

評定軸同じ「親密度 (familiarity)」と名付けられていても、評定者への尋ね方は先行研究によって

6）例えば、“air force” の場合、“air”と “force”も対象語に追加する

図 1 一貫性評定例 1: 利用英単語親密度 (NTT)

図 4 ヒストグラム:全調査

図 2 一貫性評定例 2: 除外

図 $5 F A M_{\text {in }}$ と Yokokawa

図 3 一貫性評定例 3: 利用

図 $6 F A M_{k n}$ と GlasgowNorms異なる (表 1)。例えば、 $G \& L$ は見聞きしたり使う程度を尋ねているのに対し、GlasgowNorms は、なじみ (familiar)の程度、Yokokawa は見聞きする程度を尋ねている。

尋ね方によって、評定結果は異なってくると考えられる。そこで本調査では、 3 通りの尋ね方で評定を実施した。全ての評定者は、全ての語について、「どの程度見たり聞いたりするか $\left(F A M_{i n}\right)$ 「どの程度知っている・意味が分かるか $\left(F A M_{k n}\right)$ 「どの程度書いたり話したりできるか $\left.\left(F A M_{\text {out }}\right)\right.\rfloor$ という 3 つの観点で 7 段階評定を実施する。

なお、FAM in $Y$ Yokokawa と同じ観点である。 G\&L やGlasgowNorms と完全一致する観点はないが、あえて言うなら前者は $F A M_{\text {in }}, F A M_{\text {out }}$ の混合、後者は $F A M_{k n}$ に近いだろう。

## 3 結果と分析

評定者ごとの結果とスクリーニング図 1-3 スクリーニングに用いた重複語の評定結果の例を示す。図 1-3には、重複語の重み付きカッパ係数 $\kappa$ だけでなく pearson の相関係数 $r$ も記載した。図 1,3 は評定結果を利用、図 2 は除外した例である。図 1 の評定者は $\kappa$ も非常に高く、 $r$ も $0.784 \sim 0.812$ と強
い相関がある。一方、図 2 の評定者は、 $\kappa$ も規準以下で相関も弱い。図 3 の評定者は、 $r$ だけをみると相関は弱いが、 $\kappa は$ 基準値を超えている。 $r$ が低いのは、評定値が真ん中あたりに集まっている事が原因の一つと考えられる。

スクリーニングの方法と規準は色々考えられる。日本語の令和版単語親密度のクラウド調査 [2] では、 $r \geq 0.5$ を間値としている。ただし、令和版単語親密度調査では、重複語は全体の $5 \%$ であり本調査よりかなり多い。のべ 12,500 語のうち $5 \%$ 重複させるなら 595 語を重複させる必要があるが、本調査では 101 語のみ重複させた。重複語が比較的少ない場合、図 3 のように、一致度は高いが $r$ は高くないという場合があり得る。そのため本調査では、より一致度を重視して $\kappa$ を閾値として採用した。

本調査で事後スクリーニングを通過した人は、 42 人中 38 人 $(90.5 \%)$ だった。比較のために、 $r \geq 0.5$ を閾値として計算してみると通過率は $69.0 \%$ となる。 これは、日本語の令和版単語親密度 [2] のクラウド調査時の通過率 $(35.6 \%)$ よりはるかに高い。なお、実験室に評定者を集めて調査した平成版の単語親密度 [1] では通過率が $80 \%$ だった。本調査はオンライン調査で、かつ、12,500 語と評定語が多いにも関わ
表 2 各単語親密度データとの相関

いずれも $p<0.05$

らず、高い通過率となった。この理由として、オンライン説明会を実施するなどお互い顔の見える状態で依頼をしたことや、一般的なクラウド調査より高い謝金設定としたこと等が考えられる。以降の分析では、この 38 人の評定の平均を利用する。

評定軸同士の比較本調査結果のヒストグラムを図 4 に示す. ヒストグラムの形を比べると、 $F A M_{k n}$ はピークが 5.8 程度と最も高い。一方、FAM $M_{\text {out }}$ のピークは 5 程度で、形もよりなだらかである。 $F A M_{\text {in }} \sim F A M_{\text {out }}$ で差が大きい語は少ないが、例えば $F A M_{i n}$ と $F A M_{k n}$ で 1 以上差があったのは “policewoman”,"mountaintop” など 57 語だった。いずれも $F A M_{k n}$ の方が $F A M_{i n}$ よりも高く、あまり見聞きしない語でも分かる場合はあるが、よく見聞きする語が分からない場合は少ないことが読み取れる。

先行研究との比較表 2 に各先行研究との間の相関係数を示す。各先行研究が同じ語に対する調査ではないので必ずしも公平な比較ではないが、日本人で調査した Yokokawa とは強い相関があり、特に、同じ「見聞きする程度」を調査した $F A M_{i n}$ と最も強い相関が見られた。一方、共通の語の散布図 (図 5) からは、Yokokawa の方が值が低い傾向が見て取れる。これはYokokawa の調査では大学生の英語力を統制していないのに対し、本調査では TOEIC800 点以上と統制したためだと考えられる。

英語母語話者での調査と比較しても中程度〜強い相関が見られる。GlasgowNorms と $F A M_{k n}$ で共通する語の散布図を図 6 に、両者で差が大きい語を表 3 に示す. 図6からは、GlasgowNorms の方が若干高めな語は多いが、Yokokawa より対角線上付近の語が多い、つまり、数値が近い語が多い傾向が見て取れる。さらに表 3 から、 $F A M_{k n}$ の方が高い語には、“carp”や“mermaid” など日本でもカタカナでよく使われる語が多く、日本語の影響が見て取れた。一方、 $F A M_{k n}$ の方が低い語には、“duvet” や "plaster”のような身の回りのものや、“wee”のよう表 3 GlasgowNorms と $F A M_{k n}$ で差分が大きい語

な子どもであればよく使うであろう語が多く含まれていた。こうした違いは母語か第 2 言語かに拠るところが大きいと考えられる。

## 4 まとめと今後の課題

本稿では, オンライン調査による信頼度の高い親密度評定方法を提案、日本語母語話者にとっての英単語親密度を調査・分析した。調査した語は異なりで 12,398 語と、英単語親密度調査としては過去最大規模である。評定は 42 人完了したが、最終的に事後スクリーニングを通過した 38 人分の評定值の平均を用いた。評定者は TOEIC800 点以上とした。さらに、構築した英単語親密度データを先行研究と比較し、特に英語母語話者のデータとの比較により、日本語の影響や母語かどうかの違いによる影響を示した。

今後は、構築した英単語親密度データを用いた英語の語彙数推定や、語彙数と読解力との関係調査にも取り組みたい。

## 謝辞

この成果の一部は、国立研究開発法人新エネルギー・産業技術総合開発機構 (NEDO) の委託業務の結果得られたものです。

## 参考文献

[1]天野成昭 and 近藤公久. 日本語の語彙特性. 三省堂, 東京, 1999.

[2]藤田早苗 and 小林哲生. 単語親密度の再調査と過去のデータとの比較. In 言語処理学会第 26 回年次大会発表論文集 (NLP-2020), number F4-4, 2020.

[3]若松千裕, 石合純夫, 林圭輔, and 相原伸子. 語義聾症例における文字言語の理解過程 -通常見かけない文字表記語による検討-. 高次脳機能研究 (旧失語症研究), 36(1):9-19, 2016.

[4]水野りか and 松井孝雄. 文字の漢字表記語の意味処理に対する構成漢字の影響と処理順序. 心理学研究, 90(2):201-206, 2019.

[5]高橋三郎. 学齢期の吃音児における語の長さが吃音頻度に及ぼす影響. 音声言語医学, 59(2):188-193, 2018.

[6]藤田早苗, 菅原真悟, 小林哲生, 新井庭子, 山田武士, and 新井紀子. 小学生から高校生に対する語彙数調査と単語親密度との関係分析. In 言語処理学会第 26 回年次大会発表論文集 (NLP-2020), number E1-3, 2020.

[7]藤田早苗, 服部正嗣, 小林哲生, and 納谷太. 日本人英語初学者の語彙数推定方法の検討. In 第 34 回人工知能学会全国大会 (JSAI-2020), 2020.

[8]Graham G. Scott, Anne Keitel, Marc Becirspahic, Bo Yao, and Sara C. Sereno. The glasgow norms: Ratings of 5,500 words on nine scales. Behavior Research Methods, 51:1258-1270, 2019.

[9]Hans Stadthagen-Gonzalez and Colin J. Davis. The bristol norms for age of acquisition, imageability, and familiarity. Behavior Research Methods, 38:598-605, 2006.

[10]K. J. Gilhooly and R. H. Logie. Age-of-acquisition, imagery, concreteness, familiarity, and ambiguity measures for 1,944 words. Behavior Research Methods \& Instrumentation, 12:395-427, 1980.

[11]横川博一. 日本人英語学習者の英単語親密度文字編. くろしお出版, 2006 .
[12]Yo Ehara, Nobuyuki Shimizu, Takashi Ninomiya, and Hiroshi Nakagawa. Personalized Reading Support for Second-Language Web Documents by Collective Intelligence. In the 2010 International Conference on Intelligent User Interfaces (IUI-2010), pages 51-60, 2010.

[13]大学英語教育学会基本語改訂特別委員会, editor.大学英語教育学会基本語リスト新 JACET8000.桐原書店, 2016.

## 付録 (Appendix)

図 7 調査画面


# 状況別感情極性日本語辞書の作成とその活用

高田 篤志 1 狩野芳伸 ${ }^{2}$ 山崎俊彦 1
1 東京大学大学院 2 静岡大学
a_takada@hal.t.u-tokyo.ac.jp kano@inf.shizuoka.ac.jp
yamasaki@cvm.t.u-tokyo.ac.jp

## 概要

言葉の意味や文脈の多様性に対応できることを目指して、20の異なる状況に対してラベル付けされた日本語の感情極性辞書 Japanese Situation-dependent Sentiment Polarity Dictionary (SiSP) を作成した。この辞書は、25,520 の日本語単語からなり、各単語の各状況に対してクラウドワーカーによって 10 件ずつ極性の投票を行ったものである。このSiSPを用いて、辞書内の各単語の極性、および文脈を考慮した文中の辞書単語の極性を予測した。いずれの実験でも、状況を考慮しないべースライン辞書に比べて、安定して感情極性の予測を行えることを確認した。

## 1 初めに

顔画像や音声、文章などからそこに込められた人間の感情を理解することは学術的・産業的価値が高く、これまでも様々な試みがなされてきた。テキストから感情を解析するためには、一般的に感情極性辞書が用いられる。既存の感情極性辞書の多くは、単語に対してポジティブかネガティブとラベル付けされているものか、いくつかのクラスカテゴリに単語を分類しているものが多い。しかし、単語は文脈や状況によって様々な意味を持ち、異なる印象を与えることがある。例えば「速い」という言葉は、「レーシングカーが速い」という文脈ではポジティブな意味となる。一方、友達と歩いていて、その友達の歩くスピードが「速い」という場合ネガティブな意味となる。現在の感情極性辞書では速いという単語のみに注目して単一のラベルを付けているため、このような多様な状況や意味に対応することができない。またクラスラベルをアノテーションした感情極性辞書ではカテゴリ内の単語の感情極性の強弱は無視されている。

そこで本研究では、20 種類の状況それぞれに対して感情極性値ラベルを付与した Situation-dependent
Sentiment Polarity Dictionary (SiSP) を作成した。この SiSP は我々の知る限り状況別に感情極性値をラベリングした最初の感情極性辞書である。SiSP は後日オープンソースで公開する予定である。本論文では SiSP の概要、及び SiSP を用いて行った単語単位での極性予測と文脈を加味した極性予測の実験結果を示す。

## 2 関連研究

## 2.1 感情極性辞書

感情極性辞書の多くは、ポジティブかネガティブの軸でラベル付けされた単語のリストである。 ポジティブ、ネガティブ問わず感情極性ラベルは主観的なラベルであるため、人の手でラベルを付けられることが多い。Linguistic Inquiry and Word Count (LIWC) [1] は 6,000 以上の単語を 125 のカテゴリに分類した辞書である。Choudhury ら [2] はこの辞書を用いて、ツイートからうつ病の発症を予測した。The Affective Norms for English Words (ANEW) lexicon [3] は Valence-Arousal-Dominance (VAD) モデルに基づいて Valence, Arousal, Dominance のそれぞれについて 1 から 9 までのラベルを付けた 1,024 個の英単語からなる辞書である。

SentiWordNet [4, 5] は WordNet [6] を拡張したものである。各単語についてポジティブとネガティブ及びニュートラルについて 0.0 から 1.0 の值でラベル付けする。ポジティブ、ネガティブ、ニュートラルの各カテゴリのラベルの値の合計が 1 になるように正規化されている。SentiWordNet の尔点としては多くの単語がニュートラルに分類されており、明らかにノイズと見なせるラベルが多いことが挙げられる。本研究で作成した SiSP は 20 種類の状況に対し

ラル (ポジティブでもネガティブでもないがその状況でその単語を使うことはある)、関係ない(その状
況についてその単語を使うことがない)、意味がわからないの各ラベルが 0 から 1 までの数値で表現されている。また一つの単語の一つの状況についてラベルの合計值が 1 となるように正規化されている。

## 2.2 固有表現認識

Named Entity Recognition (NER) は文中に含まれる固有表現を抽出するタスクである。文中の固有表現 （Named Entity）を抽出し、人名、組織名、地名などの固有名詞と、日付、時間表現、数量、金額などの事前に定義した表現に分類する。NER で頻用される IOB フォーマットでは、固有表現の先頭トークンには B、非先頭トークンにはIタグを付与し、またどの表現にも属さないトークンには $\mathrm{O}$ と割り振る。例えば、'Mark Watney visited Mars' という文について、人のタグを'Person', 場所のタグを'Location' とすると Mark は B-Person、Watney は I-Person、visited はどのトークンにも属さないので O、Mars は B-Location となる。タスクによっては地名を都市、州、国などの細かい場所として分類するものや人名について政治家や芸能人などのサブカテゴリーを設定するものもある。代表的なデータセットとして CoNLL2002 と CoNLL2003 [7] が挙げられる。これらのデータセットでは、スペイン語、オランダ語、英語、ドイツ語の新聞記事からなる文に、4 種類のタグ (人物、組織、場所、その他すべての種類の実体）を付与している。他にもさまざまな言語のデータセットが公開されている $[8,9,10,11]$ 。

## 3 SiSP の構築

既存の感情極性辞書では、単語が使用される状況を反映することができていない。そこで、本研究では 20 種類の状況を設定した新しい感情極性辞書を作成した。設定した状況は以下の 20 種類の状況は以下の 20 種類である: 経済、コミュニケーション、子育て、健康、生存意欲、職、対人関係、家族、緊張、精神状態、仕事、外出、家庭、忙しさ、気力、睡眠、食欲、好奇心、身体的状態、恋愛。これら 20 の状況は、Social Network Servises (SNS) 等において個人的・社会的な感情や精神状態を分析することを念頭に設定した。今後、必要に応じて状況の多様性を増やすことは可能である。

辞書に含まれる単語は Takamura ら [12] と Kobayashi ら [13] の辞書から 25,520 語 (それぞれの辞書から 14,400 語と 11,120 語)を使用した。ラべ
ルの選択肢はポジティブ、ネガティブ、ニュートラル(ポジティブでもネガティブでもないがその状況でその単語を使うことはある)、関係ない (その状況についてその単語を使うことがない)、意味がわからないの 5 通りを設定した。 5 つ目の「意味がわからない」という選択肢は、予備実験において意味が難解な単語をワーカーに示したときいい加減に選択する傾向が見られたため、それを防ぐ目的で設定した。

アノテーションは Yahoo! クラウドソーシングサービスを利用し、10 人に各単語、各状況のラベル付けを依頼した。辞書の品質を保証するために 2 種類のチェック問題を設定し、そのチェック問題に対して正しく回答できた参加者の回答のみを採用した。チェック問題を通過した参加者は参加者全体の 40\%であった。SiSP のラベルは、20 の状況に対して 10 人が投票したものである。したがって、ラべルは各単語が各状況に対して肯定的か否定的かというバイナリ値を示すものではなく、5つの選択肢への投票率となっている。

表 2 は、SiSP の中で状況によってラベルが異なる単語の例をいくつか示している。「干渉」という単語は、恋愛の状況において (Positive, Negative $)=(0.1$, $0.6)$ であるのに対し、精神状態では $(0.5,0.2)$ になっている。「完売」は経済では Positive $=0.8$ であるが、外出では Positive $=0.1$ となる。「敵意」は人間関係では Negative $=0.9$ だが、子育てでは Negative $=0.3$ に変化している。

## 4 実験

作成した辞書を用いて、単語の極性予測を行った。本研究では 2 種類の設定で実験を行った。 1 つ目の実験は、個々の単語の極性を独立に予測することである。2つ目の実験は、短文に含まれる単語の極性を文脈を考慮して予測することである。なお、本稿ではぺージ制限により精神状態についてのみ結果を示す。状況を考慮しないべースラインとして、今回用意した 20 個の状況に対する極性ラベルを加算した上で正規化を行い、5つのラベルの合計値が 1 になるようにした辞書を作成した。

本実験では、ニュートラル、関係ない、意味がわからないのラベルを統一して Others ラベルとして扱う。すなわち、ポジティブ、ネガティブ、Others の 3 クラス問題とし、最もラベル値 (投票数) が大きいものを分類の正解クラスとして扱う。学習データに
表 1 SiSP の諸元

表 2 SiSP の例

は精神状態についてポジティブの単語が 1,118 個、 ネガティブの単語が 3,364 個、Others が 9,624 個含まれている。

## 4.1 単語単体の極性予測

辞書に含まれる単語を学習データとテストデー タに分割した。辞書の単語をべクトル化するために word2vec [14]を使用した。word2vec の事前学習モデルには鈴木らの [15] 事前学習した 300 次元のモデルを使用した。このべクトルを入力としてサポートベクターマシン (SVM) を用いて単語の極性分類を行った。

分類結果を表 3 左に記す。ポジティブ、ネガティブラベルの予測はベースラインに比べて大きく改善が見られる。Others の予測精度は下がっているが、 これはポジティブとネガティブの予測精度が上がったことによる相対的な変化であると考えている。ポジティブについての precision と recall の結果は著しく低いものになっている。これは作成したデータセットについてポジティブのデータが少ないためであるからと考えられる。またべースラインについても同様にポジティブに分類されたものはなくほとんど Others に分類されている。

## 4.2 文章中の単語についての極性予測

次に、文脈情報を考慮した場合の感情極性予測実験を行った。学習・テストデータに twitter APIを用
いて集めたツイートを用いた。未知の単語の極性を予測する設定にするために、テストデータには収集した全ツイートの中で 1 回だけ現れる SiSP 単語を含め、残りを学習データとして用いこの SiSP 単語の極性を推測させ評価する。一回としたのは、出現頻度の高い SiSP 単語を訓練データに回すことで十分な学習データ量を確保するためである。具体的には、Twitter API を用いて 20,530 件のツイートを収集し、SiSP に登録されている単語を 1 つ以上含むツイートを入力データとして用いた。得られたツイー ト文を形態素解析し、各単語に極性ラベルを付与した。ツイートには SiSP 単語が含まれることのみで、 その他の単語がなんであるかの情報が付与されていないが、SiSP 登録単語以外は Others として扱った。 モデルとしては、BERT [16] の日本語訓練モデルを使用した。結果は 3 の右側に記されている.ベースラインと比較すると、ポジティブとネガティブともに precision, recall, F1 スコアは精神状態の方が優れた值を示している。また表 3 左と比較すると文章の文脈情報がモデルの極性予測に役立つことが分かる。

## 5 考察

単語のみでの極性分析については、Others のラベルを持つ単語が非常に多い (ポジティブ: 1,118 , ネガティブ:3,364, Others: 9624) であることが精度の低下の原因であると考えられる。そこで、ポジティブ、

表 4 「精神状態」についての単語の感情極性予測におけるオーバーサンプリングとアンダーサンプリングの効果。

ネガティブのラベルを持つ単語の数が Others ラベルを持つ単語と同じになるように、オーバーサンプリングとアンダーサンプリングを行った。word2vec におけるオーバーサンプリングはポジティブとネガティブのデータについて Others のデータと同数になるまで繰り返した。文中の単語の極性予測のアンダーサンプリングは Others ラベルの単語のみで構成される文を除外することで行った。

オーバーサンプリングの結果を表 4 左に示す。表 3 のオーバーサンプリング前の結果を比較するとオーバーサンプリングが precision, recall, F1 スコアの性能改善に大きく貢献していることが分かる。特にポジティブラベルについての改善が著しい (+0.418 ポイント)。ネガティブについて、精神状態のオーバーサンプリングの precision が全ての設定の中で最も優れていた。

アンダーサンプリングの結果を表 4 右に示す。表 3 の結果と比較すると、ポジティブ、ネガティブ共にF1 スコアが向上していることが分かる。またネガティブについての precision、ポジティブについての recall も改善されている。しかし、文脈を考慮した単語のアンダーサンプリングは、単語のみのオーバーサンプリングほど大きな効果は得られない。これは、学習データから Others 文のみを除外したため、正負の単語のバランスがとれていないためと考えられる。

モデルが文脈を考慮して感情極性をしていることを示すため、対照実験として単語単位でテストデータを BERT に入力した。その結果を表 5 に示表 5 BERT にて文脈を考慮しない場合の「精神状態」についての単語の感情極性予測。

す。表 4 右と比べると一様に性能が下がっており、我々のモデルは文脈を感情極性予測のヒントにしていることが伺える。

## 6 まとめ

本研究では、20 種類の状況を考慮した新しい感情極性辞書である Situation-dependent Sentiment Polarity Dictionary (SiSP) を構築した。単語単体での極性の予測では、特にネガティブの precision, recall, F1 スコアがベースラインより大幅に向上する結果を得た。 さらに、学習データセットをオーバーサンプリングすることで、予測性能が向上した。また、ツイートを学習データとした未知語の極性予測においても、 ベースラインの手法と比較して状況別の予測が優れた結果を示した。また、ツイート単位と単語単位の比較から、入力データの文脈情報も感情極性を推論する上で重要であることが示された。

本辞書は、20の状況を持つオープンソースの感情極性辞書としては我々の知る限り世界初の試みである。今後は、この辞書を他言語に拡張することを考えている。

## 謝辞

本研究の一部は JST, CREST JPMJCR19F4 および東京大学大学院情報理工学系研究科の IXT プロジェクトの支援を受けて行われた。本論文におけるクラウドソーシングについては、東京大学大学院情報理工学系の倫理審査委員会から承認を得て行ったものである。

## 参考文献

[1] James W Pennebaker, Martha E Francis, and Roger J Booth. Linguistic inquiry and word count: Liwc 2001. Mahway: Lawrence Erlbaum Associates, Vol. 71, No. 2001, p. 2001, 2001.

[2] Munmun De Choudhury, Michael Gamon, Scott Counts, and Eric Horvitz. Predicting depression via social media. In Seventh International AAAI Conference on Weblogs and Social Media, 2013.

[3] Margaret M Bradley and Peter J Lang. Affective norms for english words (anew): Instruction manual and affective ratings. Technical report, (Tech. Report C-1). Gainesville: University of Florida, Center for Research in Psychophysiology, 1999.

[4] Andrea Esuli and Fabrizio Sebastiani. Sentiwordnet: A publicly available lexical resource for opinion mining. In Language Resources and Evaluation, 2006.

[5] Stefano Baccianella, Andrea Esuli, and Fabrizio Sebastiani. Sentiwordnet 3.0: an enhanced lexical resource for sentiment analysis and opinion mining. In Language Resources and Evaluation, Vol. 10, pp. 2200-2204, 2010.

[6] George A Miller. Wordnet: a lexical database for english. Communications of the ACM, Vol. 38, No. 11, pp. 39-41, 1995.

[7] Erik F Sang and Fien De Meulder. Introduction to the conll2003 shared task: Language-independent named entity recognition. arXiv preprint cs/0306050, 2003.

[8] Anil Kumar Singh. Named entity recognition for south and south east asian languages: taking stock. In The IJCNLP08 Workshop on Named Entity Recognition for South and South East Asian Languages, 2008.

[9] Khaled Shaalan. A survey of arabic named entity recognition and classification. Computational Linguistics, Vol. 40, No. 2, pp. 469-510, 2014.

[10] Darina Benikova, Chris Biemann, and Marc Reznicek. Nosta-d named entity annotation for german: Guidelines and dataset. In Language Resources and Evaluation, pp. 2524-2531, 2014.

[11] Jakub Piskorski, Lidia Pivovarova, Jan S̆najder, Josef Steinberger, and Roman Yangarber. The first cross-lingual challenge on recognition, normalization, and matching of named entities in slavic languages. In The 6th Workshop on Balto-Slavic Natural Language Processing, pp. 7685, 2017.

[12] Hiroya Takamura, Takashi Inui, and Manabu Okumura. Extracting semantic orientations of words using spin model. In The Association for Computational Linguis- tics, pp. 133-140, 2005.

[13] Nozomi Kobayashi, Kentaro Inui, Yuji Matsumoto, and Kenji Tateishi. Collecting evaluative expressions for opinion extraction. Journal of Natural Language Processing, Vol. 12, No. 3, pp. 203-222, 2005.

[14] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781, 2013.

[15] 鈴木正敏, 松田耕史, 関根聡, 岡崎直観, 乾健太郎. Wikipedia 記事に対する拡張固有表現ラベルの多重付与. 言語処理学会第 22 回年次大会発表論文集, pp. 797-800, 2016.

[16] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

## A 参考情報

表 6: 全ての状況についての単語の極性予測精度


# better off 構文の定着過程に関する認知言語学的考察

大谷直輝
東京外国語大学
otani@tufs. ac. jp

## 概要

本稿では、人手でタグ付けした英語の歴史コーパス (COHA) の調查に基づき、I'd be better off $\{\mathrm{dead} / \mathrm{left}$ alone/going home $\}\lceil\{$ 死んだ／一人取り残された/家に帰った\}ほうがましだ」のような、形式面でも意味面でも不規則性が見られる better off 構文がどのような過程を経て英語に定着したかを検証するための仮説を提示する。特に、コーパスのデータを認知言語学の観点から解釈することで、well off（裕福な） の比較級であった、better off に、(1)意味の一般化、

(2)仮想状況の前景化、(3)付加句の補語化という 3 つの変化が起こった結果、better off 構文が誕生したと主張する。本研究が提示する仮説は、言語使用から生じる知識のありようを実証的に考察する学際的な研究において、自然言語処理の観点から検証される。

## 1 はじめに

現代英語には、(1)のように、形容詞 better off $の$ 叙述用法に非時間的関係 (atemporal relation) [1]を表す様々な要素が後続し、全体が「〜したほうがましだ」 という意味を表す用法が広範に観察される。

(1) (a) She is better off $\{$ with/without $\}$ me.

(b) I'd be better off at home with all those kids!

(c) Maybe I'd be better off in jail.

(d) He is better off $\{$ buying it/learning it $\}$.

(e) I'd be better off \{left alone/gone from here $\}$.

(f) I'd be better off $\{$ dead/alone $\}$.

(1)では、better off の後に、関係を表す様々な要素 (前置詞句、現在分詞、過去分詞、形容詞、等）が出現し、主語が望む仮想的な状態を表す。この用法には、 (1d)(1e)(1f)のように、better off に分詞句や形容詞のような不規則的な要素が後続するものも含まれる。本稿では、歴史的なデータ (Corpus of Historical American English: COHA）[2]に対して認知言語学の観点から考察することで、better off に補語句が後続する用法 (以下、better off 構文) がどのように出現・定着したかの過程を示す仮説を提示する。

## 2 better off 構文の特徴

構文文法では、「形式と意味の対からなる構造」 である構文 (Constructions) の体系的なネットワークが人間の言語知識の中枢を占めると考える $[3,4]$ 。構文は伝統的には形式や意味に不規則性が見られる構造と定義されてきたが、近年、十分な頻度で使用される形式と意味の対も構文として記憶されると主張されている[5]。ある構造を構文と認定するための具体的な基準として以下の四点が示されている[6]。

(2) (a) 形式面に不規則性が見られる。

(b) 意味面に不規則性が見られる。

（c）表現に独自の制約が見られる。

(d) コロケーションに選好性が見られる。

以下、[7, 8]の文献に基づき、(2)の基準を用いて、 better off の本用法を構文とみなせるかを検討する。

## 2.1 第 1, 2 の基準 : 形式と意味の不規則性

better off には形式面と意味面で不規則性が見られる。まず、形式的には、形容詞 better off に前置詞句、現在分詞、過去分詞、to 不定詞、形容詞など、補語として解釈される非時間的関係を表す様々な要素 （XP 句と呼ぶ）が後続する。XP 句は従来の品詞論では分類できないカテゴリーを構成する。また、XP 句には、(1d)(1e)(1f)の形容詞や分詞句のように、形容詞には後続しない不規則的な要素が現れるものも見られる。次に、意味的な不規則性については、第一に、XP 句は、（現状よりもましな）主語の仮想的な状態を表す。第二に、XP 句が表す事態は必ずしも一般的に好ましいわけではないため、語用論的な誇張や皮肉が生じやすい。第三に、better off 構文は「〜 したほうがましだ」という非構成的な意味を持ち、全体が非認識モダリティと類似した機能を持つ。

## 2.2 第 3 の基準：表現独自の制約

語源的に better off は形容詞 well off（裕福な）の比較級であり、他の形容詞と同様に、限定用法（the better off person）と叙述用法 (The person is better off)
が確認できる。一方、better off 構文は通常、叙述用法のみで用いられ、ごく一部の高頻度で用いられるイディオム的な例外以外は、限定用法で用いられることはない（the 'better off dead' man）。

## 2.3 第 4 の基準 : コロケーションの選好性

better off 構文には共起する要素に選好性が見られる。 the British National Corpus (BNC) [9]における better off の叙述用法の全 823 例の調査では、補語句を取る better off 構文が 545 例 (I'd be better off \{dead, left alone, buying it, without you\}など）、補語句を取らない例が 278 例 (He is better off now. / She is financially better off.など）見られた $[7,8]$ 。補語句有りと補語句無しのグループを比較すると、補語句有りのグルー プは補語句無しのグループとは対照的に、(i) 助動詞と、(ii) $1 / 2$ 人称主語との共起頻度が高く、better off 構文には選好するパターンがあることが分かった。

表 $11 / 2$ 人称主語と better off $の$ 叙述用法の共起

表 2 助動詞と better off $の$ 叙述用法の共起

また、 $1 / 2$ 人称主語や助動詞と better off 構文が共起する例を見たところ、提案や勧誘など、発話行為文で使われる傾向がある点が確認された。

(3) (a) You'd be much better off with someone else. (b) You may be better off going to the RSPCA.

(c) I am better off without you.

## 3 Better off 構文の通時的な調査

本節では、COHA を用いて、どのように better off 構文が英語に定着したかを理論的に考察する。19 世紀の better off には(4)のような用法が見られ、現在のような補語句を取る用法はほとんど見られない。

(4) (a) He is now better off (than before).

(b) He will be better off financially.

以下に、[10]における COHA の調査に、理論的な考察を加えながら、意味的にも文法的にも特異的な better off 構文が英語に定着した過程を考察する。

## 3.1 データと方法論

COHA は 1810-2009 年のアメリカ英語約 4 億語からなる通時コーパスである。本研究では、COHAから better off の全例 (2642 例) を抽出し、その中から、手作業で叙述用法の better off を抽出 (2527 例) する。その後、表 3 の変数を各例にコーディングし、変数間の関係を定量的に処理することで、better off が使われる文脈の変化を明らかにする。

表 3 better off にコーディングする変数と値

 \\

図 1 better off に共起する要素の変化

## 3.2 結果

調査の結果、better off には以下のような変化が観察された。第 1 に、better off と than との共起頻度は一貫して減少していた。第 2 に、better off と認識モダリティの助動詞との共起頻度は、1920 年以降、増化した。第 3 に、不規則的な補語句（形容詞と分詞句）が 1950 年以降、増え始めた。さらに、字義的な意味の割合に注目をすると、19 世紀の better off は多くが字義的な「裕福」という意味 (例 He is financially better off than her)であったが、2000 年代に入ると、

字義的な意味は $17 \%$ まで減少していた。

## 3.3 考察と仮説の提示

最初に、better off $の$ 字義的用法と better off 構文の違いをまとめる。形式面では、better off 自体が文の補語として機能する字義的用法とは異なり、better off 構文では、better off に主語の状態を表す補語句が後続する。また、字義的用法の better off は、主語が比較対象より豊かな状態を表すが、better off 構文では、better off ではなく、その補語句が主語の仮想的な状態を指し、「その状態の方がましだ」という意味となる。本稿では、better off に後続する要素に再分析 (reanalysis) が起こり、better off 構文が定着するまでの過程を 4 段階に分けて示す仮説を提示する。

(5) better off 構文が定着するまでの 4 段階

第一段階 : 字義的な「裕福な」の意味

$\downarrow$ 虑味の一般化

第二段階：「より良い」という意味

$\downarrow$ 仮想状況の前景化・比較対象の背景化

第三段階：「一定の条件でより良い」

$\downarrow$ 仮想状況を表す要素の補語化

第四段階：「〜の方がましだ」（構文誕生）本稿では、better off に、(i) 意味の一般化、(ii) 仮想状況（=セッティング1））の前景化、(iii) セッテイングの補語化、が起こることで、他に類例がない、主語の仮想的な状態を表す補語句を持つ better off 構文が誕生したと考える。

## 3.3.1 第一段階 : 字義的な意味

第一段階は、better off が well off $の$ 比較級として 「より裕福な」という意味を表す段階である。主語は比較対象より、経済的に裕福な状態にある。

1) セッティングとは事態が生じる状況と定義される。[11]
(6) (a) I am now better off than before.

(b) John is better off now.

(c) He is financially better off than me.

の人物の状態が比較され、主語が than 句によって明示的に示すことができる比較対象より裕福な状態であることを表す。

## 3.3.2 第二段階: 意味の一般化

第二段階は、字義的な「裕福な」から「より良い」 へ、意味の一般化が起こる段階である。

(7) (a) You are better off at home.

(b) Well, I think he couldn't come. I am better off with you. And perhaps I can help, too.

(7)の各例では、二つの状態が比べられ、主語の状態が比較対象に比べて「より良い」ことが示される。

ここでは、better off に後続する at home や with you のような前置詞句が、より良い状態となる状況（つまり、セッティング）を表している。例えば、(7a)では「家にいる」、(7b)では「あなたと一緒にいる」という状況において、主語は「より良い」状態となる。

## 3.3.3 第三段階 : 仮想状況の前景化

第三段階は、主語が置かれた仮想的な状況（セッティング）が前景化される段階である。better off では二つの状態が比較されるが、一度、「より良い」 という用法が定着をすると、現実のみじめな状態と比較をして、仮想世界ではより良い状態であることを示す用法が広く見られるようになる。

(8) (a) I would be better off if I worked harder.

(b) You might be better off without her.

(c) You would be better off at home.仮想世界における主語の状況が前景化されていることは、better off がモダリティを表す要素（助動詞、法副詞）や if 節との共起が増えたことから示唆される。また、仮想世界が前景化されると同時に、比較対象となる現状が背景化され、better off $の$ 比較の意味は薄れていく。このことは、than の出現頻度が継続して減っていることから示唆される。

## 3.3.4 第四段階 : セッティングの補語化

第四段階は、再分析が起こり、文の付加句 (adjunct phrase）として主語がより良い状態となる仮想的なセッティングを表していた要素が、主語の仮想的な
状態を表すようになる段階である。この段階では、 better off と後続する要素（＝付加句）の結びつきが強くなり、[better off 補語句]として再分析されることで、better off 構文が出現すると考えられる。補助記号を用いると再分析は(9b)と(9c)のように表せる。

(9) (a) I'd be better off without you.

(b) I'd be [better off $]_{\text {complement }}[\text { without you }]_{\text {adjunct }}$

(c) I'd be [[better off [without you $\left.]_{\text {complement }}\right]_{\text {complement }}$ (9b)は付加句 (adjunct)の without you を、(9c)は補語句 (complement) の without you を表記したものである。ただし、 better off に後続する要素が補語句であるか付加句であるかは排他的なものではなく、付加句の補語句としての再分析は段階的に進むものである。

この再分析を引き起こす要因として考えられるのが、文脈における語用論的な意味の語彙的意味への定着である[12]。つまり、(8b)の You might be better off without herを例とすると「彼女がいない状態が(いるよりも）より良い」という意味は、文脈内で「彼女がいない方がまし」な状況を表すことがあるが、同様の文脈で繰り返し用いられることにより、文脈から生じる「〜の方がましだ」という語用論的意味は better off XP という句が持つ意味に再解釈される。同時に、better off と後続する要素の結びつきが強くなり、文法面でも再分析が起こったと考えられる。

この再分析は、 better off に助動詞との共起が増え、 than との共起頻度が低くなった 1900 年頃にはすでに進行していたと考えられる。一方、この再分析の定着をコーパス内で明確な形として捉えられるのは、 better off 後の補語句の中に、不規則的な補語句が増え始める 1950 年頃である。すなわち再分析によって、better off に非時間的な要素を表す補語句が後続するようになった結果、標準的な文法では不規則的とみなされる(10)のような、形容詞、分詞句が補語句の位置に現れる用法が増え始めたと考えられる。

(10) I'd be better off \{dead, left alone, going home\}

## 3.4 better off 構文に関するまとめ

COHA の調査結果に基づいて、better off 構文が誕生した経路をまとめると以下のようになる。

(11) 字義的な better off に意味の一般化が起こり「より良い」という意味を表す中で、仮想的な状況の前景化と比較対象の背景化が起こり、better off に「（仮想的な状況で）より良い」という意味を表す用法が強くなる。次に、better off に再分析が起こり、付加句として機能していた仮想的な状況を表すセッティングが better off との結びつきを深め、better off の補語として再解釈されることで、better off 構文が誕生する。

ただし、better off における用法の変化は、 better off 全体ではなく、一部のみに起こるため、現代英語の better off には字義的な意味から better off 構文まで、意味の多層化 (layering) が見られる。[13]

## 4. 学際的な研究に向けて

本稿で提示した仮説は、COHA のデータに基づく一方で、一般的な言語変化に見られる傾向を重視して考案したものである。今後、仮説の妥当性については実証的な検証が必要である。以下に 3 点、今後の課題を挙げる。第一に、本稿では、認知的な自然さから、意味の一般化の後に、仮想世界の前景化が起こったと仮定した。ただ、COHA には 1810 年以降のデータしか含まれておらず、また、1800 年代はデ一夕数が少ないため、仮想世界の前景化と意味の一般化が起こった順序が異なる可能性も含め、さらに検証が必要である。また、一般的に文法化は複数の要素が相互に関連しあいながら同時に進行するものであるため、各変化の相互作用に関する考察も必要である。第二に、1900 年以前に現れる少数の不規則的な補語に関する説明が必要である。特に、言語使用域（register）ごとで、better off 構文の定着度の程度が異なる可能性や、高頻度の語彙化した要素 (she would be better off dead than alive $の$ dead than alive など）が与える影響について検討する必要がある。第三に、表 1 を見ると、1920 年頃から法助動詞が増えているように見えるが、この増加に質的な差異があるかどうかについて、さらに検証が必要である。

最後に、本稿で提示された仮説を実証的に検証する際の方法の 1 つとして、自然言語処理の技術の応用が考えられる。自然言語処理では、発話された言語データに基づいて、人間が持つ言語知識のありようを探るが、これは、「言語使用の中から繰り返し用いられるパターンが記憶され、類似性に基づいて抽象化されることで、語彙と文法を含めた言語知識が創発する」と考える用法基盤モデル[14,15]と理念を共有する。そのため、発話された言語データから表層レベルの類似性に基づいて教師なしで一般化されたクラスターは、人間が持つ言語知識の近似値として、本稿の仮説を実証するための収束証拠の 1 つとなる可能性がある。そのため、本稿の仮説は、[16] で自然言語処理の観点から検証を進めていく。

## 謝辞

本研究は JSPS 科研費 19K00657 の助成を受けたものである。また永田亮氏（甲南大学）には、原稿全体にわたり詳細なコメントをいただいた。

## 参考文献

[1] Ronald W. Langacker. Foundations of Cognitive Grammar I: Theoretical Prerequisites. Stanford University Press. 1987

[2] Mark Davies. Expanding horizons in historical linguistics with the 400-million word corpus of historical American English. Corpora, Vol. 7, No. 2, pp. 121-157, 2012.

[3] Charles J. Fillmore, Paul Kay, and Mary C. O'Connor. Regularity and Idiomaticity in grammatical constructions: The case of let alone. Language 64: pp. 501—538, 1988.

[4] Adele Goldberg. Constructions: A Construction Grammar Approach to Argument Structure. University of Chicago Press. 1995.

[5] Adele Goldberg. Constructions at Work -The Nature of Generalization in Language. Oxford University Press. 2006.

[6] Martin Hilpert. Construction Grammar and Its Application to English. Edinburgh University Press, Edinburgh, 2014/2019

[7] 大谷直輝. 英語の better off 構文について. 日本言語学会第 157 回大会予稿集, pp. 246-251, 2018.

[8] Naoki Otani. A constructional analysis of the 'better off construction' in English. The 15th International Cognitive Linguistics Conference. 2019.

[9] BNC Online: The British National Corpus Online (BNC World Edition). Shogakukan Corpus Network. URL: http://scnweb.jkn21.com/BNC2/

[10] Naoki Otani. The rise of modal meaning: The case of better off. The 11th International Conference on Construction Grammar. 2021.

[11] Ronald W. Langacker. Cognitive Grammar: A Basic Introduction. Oxford University Press. 2008.

[12] Paul J. Hopper and Elizabeth C. Traugott. Grammaticalization, 2nd ed. Cambridge: Cambridge University Press. 2003.
[13] Paul J. Hopper. On some principles of grammaticization. Approaches to Grammaticalization, pp. 17-35. John Benjamins. 1991.

[14] Ronald W. Langacker. A usage-based model. Topics in Cognitive Linguistics, pp. 127-161. John Benjamins. 1988.

[15] Michael Barlow and Suzanne Kemmer. Usage-Based Models of Language. CSLI Publications. 2000.

[16] 永田亮 - 大谷直輝 - 高村大也 -川崎義史. 言語処理的アプローチによる better off 構文の定着過程の説明. 言語処理学会第 28 回年次大会発表論文集.