# グラフ表現による文章の構造情報を用いた機械読解

小坂 直輝 ${ }^{1}$ 小林哲則 ${ }^{1}$ 林 良彦 1
1 早稲田大学理工学術院
kosaka@pcl.cs.waseda.ac.jp

## 概要

本研究では，グラフ構造による文章表現を利用す る機械読解手法を提案する．単語依存構造をべース に文の位置関係や共参照，談話修辞構造を用いて文章全体の構造を表すグラフを生成し，これをグラフ 畳み込みモデルを介して表現する。得られた表現を 事前学習済言語モデルによる文脈表現と併用するこ とで読解問題を解く. 多肢選択型機械読解タスクに おける実験の結果，言語モデル単体を用いた場合や 既存手法と比べて精度向上が確認され，文章全体の 構造をグラフとして表現し利用することの有用性が 示唆された。

## 1 はじめに

近年，BERT [1] や XLNet [2] といった大規模な事前学習済言語モデルが幅広いタスクで高い精度を達成しているが，こうしたモデルは語順や構文情報に 弱いという指摘が存在する [3].

多肢選択型機械読解においても言語モデルと併用 して，文章の構造情報を明示的に与えることで精度向上を実現した研究が現れている ([4]，[5]). 一方で これらの研究では，いずれも用いられている構造情報は限定的であるという問題があり，特に文間の関係や文章全体の構造などはあまり考慮されていな い. 文章構造の適切なグラフ表現形式を明らかする ことを目的とした我々の以前の研究 [6] においても，上記のような上位階層の構造情報は考慮できていな かった.

本研究では，グラフ構造による文章表現を利用す る機械読解手法を提案する。 より具体的には，単語依存構造をべースに文の位置関係や共参照，談話修辞構造を用いて文章全体の構造を表すグラフを生成 し，これをグラフ畳み込みモデルを介して表現した 結果を事前学習済言語モデルによる文脈表現と統合 することにより読解問題を解く. 多肢選択型機械読解のデータセット RACE[7]を用いた実験の結果，言語モデル (BERT) 単体や文章の構造情報を部分的に 利用する既存手法と比べて精度向上が確認され，提案する文章グラフを用いて文章全体の構造情報を明示的に与えることが有用であることが示唆された.

## 2 関連研究

文章の構造情報を事前学習済言語モデルと併用す る形で利用し読解タスクに取り組んだ研究 [4] や [8] では， self-attention network 構造をもつエンコーダで 文章を処理する際に，単語依存構造によりアテン ション計算を明示的に制限してエンコードした表現 を併用することで精度向上を達成している. 本研究 でも単語依存構造グラフを用いるという点で関連が あるが，単語依存関係のみでは文間の意味関係や文章の談話構造といった高い階層の構造情報は考慮で きない。加えて上記研究のようなアテンション計算 に制約を加えるような手法には，依存関係ラベルな どの関係の種別を明示的に利用することはできない という問題もある。さらに高度な意味情報を用いた 研究としては，意味役割付与を行った結果を入力す る文の単語表現に加える形で用いて読解精度向上を 達成した研究 [5] がある.

文章の構造情報をグラフとして表現し読解タスク に取り組んだ研究としては [9] がある. 文章から文内もしくは文間にまたがる因果関係や時間的関係を 表すイベントグラフと呼ばれるグラフを生成し，そ れを既存の機械読解モデルの補助として用いること で精度向上を達成している。また，[10] では抽象的意味表現 (Abstract Meaning Representation: AMR)[11] を用いて，機械読解における文章と QA の文それぞ れから生成したグラフのアライメント計算を行うこ とで読解問題を解いている. これらの研究では文内 に限定されない構造情報を表現したグラフを生成し ているが，高い階層の構造情報の考慮は限定的であ る.また，両研究では事前学習済言語モデルとの比較や併用は行われていない。

文章のグラフ表現を文間関係抽出のタスクに適用

した研究例として [12]がある. この研究では，文の 単語依存構造グラフに対して隣接語や隣接文を繋い だエッジ，共参照解決によるエッジなどを付加する ことにより，エッジに富んだ文章のグラフ表現を生成し，グラフ畳み込みモデルを介し利用している. こうしたエッジの追加は機械読解においても有用だ と考えられ，本研究でも [12] と同様に，文の隣接関係や共参照解決結果を用いたエッジの追加を行う。

以上のように，機械読解をはじめ自然言語タスク において文章の構造情報を明示的に与える研究は複数存在するが，総じて利用されている構造情報は限定的であり，特に文間の関係や文章全体の構造など 上位階層の情報に関しては検討の余地が残されて いる.

## 3 アプローチ

本研究では，読解において対象となる文章全体か らその構造を表す図 1 のようなグラフを生成し，得 られた文章のグラフ表現をグラフ畳み込みモデルを 介して，言語モデルと併用する形で利用することで 読解問題を解く．以下では文章グラフ生成法と構築 した読解モデルについて述べる。

図 1 階層的な文章グラフの概要. level 1 では各文の依存構造を表し， level 2 では文章全体の修辞構造を表す。

## 3.1 文章のグラフ表現生成法

読解問題における文章のグラフ表現の生成におい ては，まず文章中の各文をグラフに変換し，文間に またがるエッジを追加することで各文ごとのグラフ を統合する．さらに談話修辞構造を利用することで 文章全体の構造を表すグラフを構成する。

## 3.1.1 文グラフの生成と統合

ベースとなる各文の表現には， [4] や [8] と同様に 依存構造グラフを用いる。文分割や依存構造解析に
は自然言語解析エンジンの $\mathrm{spaCy}^{11}$ を用い，単語を ノードとしその依存関係をエッジで表現することに より文の構文・意味構造を表す依存構造グラフを作成する.

各文のグラフの統合では，(1) 隣り合う文同士の依存関係グラフの ROOT ノードを隣接文エッジにより 結ぶ，(2) 文統合の目的で特別に導入する HUB ノー ドを介して全ての文をスター状に繋ぐ，(3) 共参照関係にある単語間を結ぶ共参照エッジにより文グラ フを補強する，という 3 つの手段 [6] を適用する。 ここで共参照解決エンジンには neuralcoref ${ }^{2}$ [13]を 用いた.

以上までの段階で生成される文章のグラフ表現の 例を図 2 に示す。

図 2 単語依存構造グラフとその統合

## 3.1.2 RST を利用した文章グラフの生成

図 2 のグラフでは文間の関係や文章全体の構造を 考慮しきれているとは言えない。そこでより高い階層の構造情報を取り入れるために，文章の部分間の 関係を記述するテキスト編成の理論である修辞構造理論 (Rhetorical Structure Theory: RST)[14] に基づい て構成される修辞構造木を利用する。

修辞構造木において，文章は Elementary Discourse Unit (EDU) と呼ばれる基本談話単位に分割され，隣接する談話単位同士は修辞関係によってより大 きい談話単位へと統合されていく，修辞関係には ‘Elaboration’や ‘Condition’など，その関係を表す 様々なラベルが与えられ，その中には因果関係や時間的関係を表すものも含まれる。こうした情報は読解を行う際の推論に有用だと考えられる.

図 3 は読解問題の文章の一部を修辞構造木に変換 した例である. 図 3 では There are two pictures in the room, too. という文を They are on the wall. という文 が精緻化しているという関係が表現されている。こ

図 3 RST に基づく修辞構造木

の文章に対しては部屋の壁には何があるかという質問が存在し，こうした文中の特定の一文のみを見て も答えるのが難しい読解問題の推論において RST の修辞構造は有用だと考えられる。

実際のグラフ生成においては，基本談話単位であ る EDU のノード同士を修辞関係を表すエッジで直接結ぶことによりグラフを構築する． RST パーサー には [15]を用いた. 例えば，図 3 のような修辞構造木は，図４のようなグラフとして表される.

図 4 RST グラフ

## 3.1.3 異なる階層の構造情報の統合

談話修辞構造の利用法としては，単語依存構造を ベースとしたグラフ (図 2) に，さらにエッジを追加 するような形で一つのグラフに統合する手法がまず 考えられる。しかし，単語依存構造と談話修辞構造 はレベルの大きく異なる別々の構造情報であること から，二種類の構造情報を混ぜてしまうことは適切 でない。そこで各 EDU に対し，EDUに含まれる各単語ノードと接続されるような Mini-Hubノードを 導入し，これが EDUノードと対応するようにした。以上により生成される文章グラフは, 図 1 に示した ように大きく二つの階層を持つ. これにより文章が 持つ階層構造も適切に表現できると考えられる.

## 3.2 読解モデル: Graph_RC

本研究で提案する読解問題を解くモデル Graph_RC の概要を図 5 に示す. 多肢選択型読解問題における文章，質問文，回答の選択肢 1 つを与

図 5 読解モデル (Graph_RC)

え，正しい選択肢か否かの評価値を予測し，最終的 に 4 つの選択肢の評価値に softmax を施すことで正 しい選択肢を求める.

Sentence Encoder (言語モデル)への入力は, $[$ CLS $]+$文章 $+[\mathrm{SEP}]+$ 質問＋回答の選択肢 $+[\mathrm{SEP}]$ という 形式で与える. また， 3.1 で述べた手順で文章のグ ラフ表現を生成しておく．言語モデルの出力として 得られる，文脈を考慮したトークンごとの表現を文章グラフの下位階層の単語ノードに初期潜在表現と して与える. ここで，文章グラフの単語ノードに対応するトークンが複数のサブワードトークンに分割 されている場合は，これらの複数のトークンの表現 を平均した結果を用いる。

グラフ畳み込みモデルによる文章グラフのエン コードにおいては，大きく二つの階層をもつグラフ の構造 (図 1) に合わせ，各文の構造を表す下位階層 の部分をエンコードした後，文章構造を表す上位階層の部分をエンコードすることで文章全体の表現 を得る。上位階層のエンコードにおいては，下位階層のエンコードの結果 Mini-Hubノードに集約され た表現をEDUノードの初期表現として与え，畳み 込み演算の後の全 EDU ノードに対し global attention pooling を適用することで文章グラフの表現を得る. こうした階層的な処理により，GCN の畳み込み演算後に多くのノード全てを一度に pooling すること でノードの表現が平均化され情報が失われる影響を 低减する効果が期待できる。

最終的に言語モデルから得られる CLS トークン の表現と，グラフ畳み込みモデルから得られる文章 グラフの表現を結合し，全結合層からなる出力層に 与えることにより，注目している選択肢が回答であ るかを判定する。

## 4 実験

## 4.1 実験設定

多肢選択型の機械読解データセットの中でも比較的データ数が豊富な RACE [7] を用いて評価実験を 行った. RACE においては一つの文章に対して複数 の質問と各質問ごとに 4 つの選択肢が与えられてお り，各質問に対して正しい選択肢を選ぶことが求め られる。

実験においては Sentence Encoder として利用する 言語モデルに BERT [1]を採用し, bert-base-uncased ${ }^{3 \text { ) }}$ と bert-large-cased-whole-word-masking ${ }^{4)}$ の二種類の 事前学習済モデルを fine-tuning する形で利用した.評価指標には正答率を用いた。

図 5 におけるグラフ畳み込みモデルとしては RGCN[16] を用い，下位階層と上位階層は，それぞ れ 6 層, 4 層とした. また, 出力の全結合層は 2 層 とした. BERT の最大系列長は 512 で統一し, [1]を 参考にオプティマイザとして重み減衰に L2 正則化 を適用した adamである adamwを使用した。

## 4.2 結果と考察

表 1 に各モデルの正答率を示す.ここで，Turkers とはランダムにサンプリングされたテストデータに 対する人による正答率の平均であり, 平均的な人の 能力を表す. 一方, Ceiling とは曖昧な問題や正解の ない問題を除いた人間が回答可能と考えられる問題の割合であり，人間による正答率の上限値を近似 する. Graph_RC-base, Graph_RC-large と記したのが 本研究の提案モデルであり, それぞれ言語モデルに BERT-base，BERT-large を採用した結果である。ま た，表の CSFN，SG-Net というモデルは，文章の構造情報を言語モデルに併用する形で用いる既存研究であり，それぞれ言語モデルとして BERT-base, BERT-large を採用している.

表 1 から，BERT 単体を用いた場合と比べて，提案モデル Graph_RC が高い精度を達成したことが分 かる.これにより，文章の構造情報を利用する有効性が確認できた。また意味役割の情報を利用する CSFN や単語依存構造を利用する SG-Net といった 既存手法と比較しても精度向上が確認できたことか ら，文内に限らない異なる階層の構造情報を複合的

表 1 実験結果

に用いることが有効だと考えられる。

Graph_RC のさらなる精度向上のためには，現状 グラフ表現と言語モデルからの文脈表現の結合にお いて単純な concatを適用している部分に, [5] で用 いられているようなゲート機構やアテンションを導入することが考えられる. また現段階では，質問文 や答えの選択肢については文章グラフに含まれてい ないため，これらの情報を適切に文章グラフに組み 込むことも有効であると期待できる。

なお，入力する文章グラフや利用するグラフ畳み 込みモデルの影響について調べるため, Graph_RCbase を用いて，RACE データセットの一部である RACE-M にて条件を変化させて学習・評価した場合 についての分析を Appendix に掲載している.

## 5 おわりに

本研究では，機械読解タスクにおける精度向上を 目的とし，グラフ構造による文章表現を利用する機械読解手法を提案した. 具体的には, 単語依存構造 をべースに，文の位置関係や共参照，談話修辞構造 の解析結果を用いることにより，文レベル，文章レ ベルの 2 つの階層からなる文章のグラフ表現を構成 した. 評価実験の結果，言語モデル単体を用いた場合と比べて精度向上が達成され, 多肢選択型機械読解タスクにおいて，提案する文章グラフを用いて文章の構造情報を明示的に与えることの効果が確認で きた. また既存の文章の構造情報を部分的に利用す る手法との比較や，入力するグラフを変化させての 分析の結果から, 複数の異なる階層の構造情報を複合的に用いることの有用性が示唆された.

今後の課題としては, [17] など別の読解データ セットや [18] などより大規模な言語モデルを用いた 実験が考えられる。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[2] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R Salakhutdinov, and Quoc V Le. Xlnet: Generalized autoregressive pretraining for language understanding. Advances in neural information processing systems, Vol. 32, , 2019.

[3] Thang M Pham, Trung Bui, Long Mai, and Anh Nguyen. Out of order: How important is the sequential order of words in a sentence in natural language understanding tasks? arXiv preprint arXiv:2012.15180, 2020.

[4] Zhuosheng Zhang, Yuwei Wu, Junru Zhou, Sufeng Duan, Hai Zhao, and Rui Wang. Sg-net: Syntax-guided machine reading comprehension. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 9636-9643, 2020.

[5] Qianwei Duan, Jun Huang, and Huiyan Wu. Contextual and semantic fusion network for multiple-choice reading comprehension. IEEE Access, Vol. 9, pp. 51669-51678, 2021.

[6] 小坂直輝, 小林哲則, 林良彦. グラフによるテキス ト表現の機械読解における適用性評価. 人工知能学会全国大会論文集, Vol. JSAI2021, pp. 3J1GS6a053J1GS6a05, 2021.

[7] Guokun Lai, Qizhe Xie, Hanxiao Liu, Yiming Yang, and Eduard Hovy. Race: Large-scale reading comprehension dataset from examinations. arXiv preprint arXiv:1704.04683, 2017.

[8] Shuyi Wang, Hui Song, Bo Xu, and Hongkuan Zhang. Enhancing embedding via two-level features for machine reading comprehension. In China Conference on Knowledge Graph and Semantic Computing, pp. 261-273. Springer, 2020.

[9] Yawei Sun, Gong Cheng, and Yuzhong Qu. Reading comprehension with graph-based temporal-casual reasoning. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 806-817, 2018.

[10] Mrinmaya Sachan and Eric Xing. Machine comprehension using rich semantic representations. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 486-492, 2016.

[11] Laura Banarescu, Claire Bonial, Shu Cai, Madalina Georgescu, Kira Griffitt, Ulf Hermjakob, Kevin Knight, Philipp Koehn, Martha Palmer, and Nathan Schneider. Abstract meaning representation for sembanking. In Proceedings of the 7th linguistic annotation workshop and interoperability with discourse, pp. 178-186, 2013.

[12] Sunil Kumar Sahu, Fenia Christopoulou, Makoto Miwa, and Sophia Ananiadou. Inter-sentence relation extraction with document-level graph convolutional neural network. arXiv preprint arXiv:1906.04684, 2019.

[13] Kevin Clark and Christopher D Manning. Deep reinforcement learning for mention-ranking coreference models.
arXiv preprint arXiv:1609.08667, 2016

[14] William C Mann and Sandra A Thompson. Rhetorical structure theory: A theory of text organization. University of Southern California, Information Sciences Institute Los Angeles, 1987.

[15] Vanessa Wei Feng and Graeme Hirst. A linear-time bottom-up discourse parser with constraints and postediting. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 511-521, 2014.

[16] Michael Schlichtkrull, Thomas N Kipf, Peter Bloem, Rianne Van Den Berg, Ivan Titov, and Max Welling. Modeling relational data with graph convolutional networks. In European semantic web conference, pp. 593-607. Springer, 2018.

[17] Daniel Khashabi, Snigdha Chaturvedi, Michael Roth, Shyam Upadhyay, and Dan Roth. Looking beyond the surface: A challenge set for reading comprehension over multiple sentences. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 252-262, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[18] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[19] Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Lio, and Yoshua Bengio. Graph attention networks. arXiv preprint arXiv:1710.10903, 2017.

## A Appendix

本節には，Graph_RC-baseを用いて，RACEデータ セットの一部である RACE-M にて条件を変化させ て学習・評価した場合についての分析を記す。

## A.0.1文章グラフを変化させた場合の影響

表 2 入力グラフの比較 (3edge は隣接文, HUB ノード,共参照による文グラフの統合を表す)

入力グラフ 正答率 $[\%]$

Dep, 3edge, RST 68.4

Dep, 3edge $\quad 67.7$

Dep 67.3

入力する文章グラフを変化させた場合の比較を表 2 に示す. 表の上から，提案する文章グラフのすべ ての要素を用いた場合，下位階層の部分のみを用い た場合，下位階層のさらに単語依存構造グラフのみ を用いた場合である. 表 2 から提案する文章グラフ 全体を用いた場合の精度が最も高く複数の構造情報 を複合的に用いることが有用であると考えられる。 また単語依存構造グラフのみを用いた場合と比較し て，3種類のエッジによる統合・補強を行い，文の 位置情報や共参照情報を含んだグラフの方を用いた 場合の方が精度が高いことも確認できたがその精度向上幅は僅かであった. これは文グラフの統合・補強用の 3 種類のエッジが文グラフに含まれる依存構造エッジと比較し少ないためだと考えられる.

表 3 は 1 つの文章グラフに含まれているエッジ の大まかなタイプごとの平均本数を示したもので あるが，文章に含まれる単語数に対応する依存構造 エッジに比べて，文の数に対応する隣接文エッジや HUB 統合エッジ，共参照エッジは本数が少ないこ とがわかる。なお，共参照エッジに関しては今回用 いた共参照解決エンジンが読解問題の文章のような 複数文からなる長い文章に対して十分な精度を達成 できておらず，全ての共参照を捉えきれていなかっ たり，誤った共参照解決が行われている例も見受け られた。そのため異なる共参照解決器を用いて共参照解決自体の精度を向上させることで読解精度向上 に寄与することが期待できる.

表 3 エッジの分布

## A.0.2 GCN を変化させた場合の影響

利用するグラフ畳み込みモデルについて， RGCN[16] と GAT[19] を用いた場合の比較を表 4 に 示す．表から RGCNを用いた場合の方が精度が高い ことがわかり，文章グラフに存在するエッジの向き やラベルといった情報を直接利用できることが精度向上に寄与したと考えられる.

図 6 は文章グラフの上位階層のグラフに利用して いる談話修辞構造の修辞関係を表すエッジの種類 ごとの出現頻度を表したものであり，全部で 19 種類のエッジが存在する。依存構造グラフの依存関係 を表すエッジに関してはその種類はさらに多く計 45 種類のエッジが存在する．RGCNにおける畳み 込み演算の基底数や GAT のアテンション計算にお けるアテンションのマルチヘッドの数といったパ ラメータによっても変化すると考えられるが，こう した細かい関係の考慮は GAT より RGCN の方が優 れていると推測される。一方で図 6 からはRST の エッジの分布には大きな偏りがあることがわかり， これは依存関係エッジでも同様である．RGCNを用 いた場合，エッジの種類数が多すぎると出現頻度の 低いエッジについて十分に学習が行われず精度低下 をまねく可能性も考えられ，また計算コストの増大 といった問題もある。そのため出現頻度の低いエッ ジについては同一のラベルにまとめるなど，文章グ ラフにおけるエッジのラベル付けの仕方についても 検討の余地がある.

表 4 グラフ畳み込みモデルの比較

GAT $\quad 66.0$

図 6 RST エッジの分布


# 共起単語ペアの組合せ最適化を用いた問合せログのクラスタリング

湯浅 晃 野村 雄司
株式会社 NTT データ
}

\{Akira. Yuasa, Yuji. Nomura\}@nttdata.com
## 概要

本稿では企業のコンタクトセンタに蓄積される問合せログを集約し「よくある質問」(FAQ)を作成する ユースケースに焦点を当てたクラスタリング手法を 提案する. 提案手法は「文書カテゴリを表現する特徵的な単語の最適な組合せが選択できれば，それら が含まれる文書群を抽出することで良い集約ができ るのではないか」との着想をもとに問合せログ集約 を最大被覆問題として定式化し，数理最適化により 単語ぺアの組合せを得る. 本実験により, 従来手法 を上回る FAQ 抽出精度が得られ, また, その他の利点として最適クラスタ数が自動的に得られることと，高い解釈性が得られることを確認した。

## 1 はじめに

企業のコンタクトセンタやチャットボットにおい て用いられる FAQ の作成は人手で行われることが 多く, コスト上の課題である. FAQの検索タスクに 関する研究は数多いが, 問合せログからの FAQ 作成に関する研究は比較的少なく, 精度に課題がある ことがわかっている。そこで FAQ を自動抽出する ために，問合せログから類似する問合せを集約する タスクに取り組む。

本タスクの特徴は, 入力が比較的短い問い合わせ 文であり，また出力として実用的な粒度の FAQを 得ることを目的とすることである. ここで実用的な 粒度とは，問い合わせ内容を端的に表し，対応する 回答が得られる粒度を意味する。例えば EC サイト における実用的な粒度の FAQ とは, 「注文」などの 抽象度の高い表現ではなく, 「注文をキャンセルす る手順を教えてほしい」といった表現となる.

本研究では，まず人手によって問合せ文書を集約 する場合に行われる操作を観察した. その結果, 文書中の主題や対象を表す特徴語が抽出され，それら を用いた階層的な分類がなされることに着目した。
そこで「文書カテゴリを表現する特徴的な単語の最適な組合せが選択できれば，それらが含まれる文書群を抽出することで良い集約ができるのではないか」 との着想をもとに，問合せ文書の集約を単語ぺアの 組合せ最適化問題として定式化し, ベイズ最適化お よび線形最適化を用いた手法の検証を行った。

## 2 関連研究

問い合わせログからの FAQ 抽出の全体的な処理 を示した研究として, 飯塚ら[1]は, 抽出的要約, word2vec による文書ベクトル化，孤立文書の除去， および k-means によるクラスタリングといった一連 の手法を示している。個々の処理に関する研究とし て，友松ら[2]は文書のベクトル化における BERT の 使用を提案している。またクラスタリングの代わり にパターン抽出を用いるアプローチとして, 長谷川 ら[3]は，係り受け関係にある 2 語の組をパターンと して扱い，応答文書の長さを考慮した上で，頻度べ 一スの特徴語選択と重要度に基づきパターンを抽出 する手法を提案している.

FAQ 抽出の一連のプロセスの中で, 本稿ではクラ スタリングに焦点を当てて取り組む．なぜなら，抽出的要約や孤立文書の除去といった前段の技術は， ノイズを含むデータセットから真に重要な部分を抽出するためのものであるが，ノイズが含まれない理想的な問い合わせデータセットであっても，実用的 な FAQ を得ることを目的とした場合に，そのクラ スタリングの精度に課題があることがわかっている ためである。これは実験結果を示す表 3 において， ノイズが含まれないデータセットである e-learn, StackFAQ であっても, 既存手法の精度が十分でない ことによって示している.

短いテキストのクラスタリングにおける主要課題 は，単語数が少ないため文書ベクトルが高次元かつ スパースとなることである. この課題に対処するた め単語埋め込みやテキスト拡張の手法が考案されて おり，特に深層学習を用いた手法はデータを低次元

でより適切に分離可能な表現空間にマッピングする 効果的な方法として近年勢いを増している. 深層表現学習とクラスタリングの統合に焦点を当てた研究 は多数あり, Xu ら[4]の STCC においては Word2Vec と K-means を組合せた手法が提案され, その後の Hadifar ら[5]の STA においては，SIF を使用するこ とで単語埋め込みを強化した. Rakib ら[6]の ECIC で は，凝集クラスタリングを用いた後に，各クラスタ に含まれる外れ値を除くサンプルをラベル付きデー 夕とみなす半教師あり学習を反復する手法が用いら れている. Zhang ら[7]の SCCL では対照学習が用い られ, 同一ラベルのサンプルからデータ拡張された サンプルをまとめ上げ，異なるラベルのサンプルか らそれらを押しのける学習方法がとられている。

次に, 頻出アイテムセットに着目寸るアプローチ として, Fung ら[8]の FIHC 法が代表的である. これ は文書集合においてグローバルに頻繁に使用される アイテムセットごとに，アイテムセットを含むすべ ての文書で初期クラスタを構築した後に, クラスタ 内のアイテムセット頻度と, 単一文書内のアイテム セット頻度を考慮し，文書をクラスタに紐付けてい く操作を順次行うものである. その後の発展研究と して Zhang ら[9]の Maximum Capturing 法, Lee ら[10] の OCFI 法等が挙げられる。

## 3 提案手法

## 3.1 手法検討

本研究ではビジネス適用における現実的な制約条件を考慮した上で手法検討を行った。まずベクトル 空間アプローチで高精度が得られている Rakib らの ECIC においては反復学習を行うため, サンプル数が 全体として大きく, またクラスタサイズに偏りが少 ないケースが望ましい. しかし本研究の検証用デー タセットにおいては, 表 1 に示す通り, サンプル数 が 500 から 1,000 件程度と比較的小さく, また Enterprise データセットの標準偏差が非常に大きい ことからもわかるように，実世界の問い合わせデー タにおけるクラスタサイズは概してロングテールの 形をとるため適用が難しいと判断した. Zhang らの SCCL についてはまず対照学習のためのデータ拡張 を行う必要があり, その精度が問題となったため適用を見送った。

次に, Fung らの頻出アイテムセットアプローチの 適用を検討したが，アイテムセットのグローバル頻度と各サンプル文書内における頻度を使用するため,比較的大きな語彙数の文書を扱う必要がある. しか し, 本稿の問題設定においては 1 文書あたり 5-10 語程度と文書内のアイテムセット頻度が十分にとれる ほどの長さではないため適さないと判断した.

このように既存手法については，いずれもデータ セットの特性と手法のミスマッチが問題となった. そこで, 問題を特徴語の組み合わせ最適化問題とし て捉える手法を提案する。

## 3.2 組合せ最適化問題としての定式化

提案手法の核となるアイデアは「文書カテゴリを 表現する特徴的な単語の最適な組合せが選択できれ ば，それらが含まれる文書群を抽出することで良い 集約ができるのではないか」というものである.こ の着想に基づき，以下の定式化を行った。 $N$ 件の問合せ文書の集合である問合せログ $D=$ $\left.\{d_{1}, d_{2}, \ldots, d_{N}\right.\}$ が与えられ，Dに含まれる単語集合 $W=\left.\{w_{1,}, w_{2}, \ldots, w_{M}\right.\}$ から単語ぺアを $L$ 個抽出し,

$\left.\{\left(w_{11}, w_{12}\right),\left(w_{21}, w_{22}\right), \ldots,\left(\left(w_{L 1}, w_{L 2}\right)\right)\right.\} \in W$ と る. 次に抽出した単語ぺアが含まれる文書を $\mathrm{D}$ から 抽出し, その結果得られた文書集合を $\left.\{C_{1}, C_{2}, \ldots, C_{L}\right.\}$ とする.このとき，本問題を最大被覆問題として，目的関数と制約条件を以下の通り設定する.

$
\begin{aligned}
& \max \cdot \sum_{i=1}^{L} \frac{\left|C_{i}\right|}{N} \\
& \text { s.t. } \bigcap_{i=1}^{n} C_{i}=\varnothing \\
& L \leq L_{\max }
\end{aligned}
$

式(1)は目的関数であり，選択された単語ぺアを含む 文書数を全文書数で割ったものであり，変数は単語 ペアの選び方である. 式(2), (3)は制約条件であり,式(2)は各クラスタに含まれる文書集合に重複する 文書が存在しないことを, 式(3)は, クラスタ数しは八 イパーパラメータとして与える最大クラスタ数 $L_{\text {max }}$ 以下とすることを表す.

## 3. 3 評価方法

提案手法はクラスタリングを行っているが，本夕 スクの目的は FAQ 抽出である. そこで評価方法と しては purity や AMI 等を用いたクラスタリング自体の評価ではなく, 人手で定めた正解 FAQ クラス

タがどの程度正しくクラスタリングの結果抽出でき ているかを測ることによる評価を行う。

まず各文書に対して人手で文書内容を考慮した上 でクラスタリングを行い，各クラスタに一意のラベ ルを付与しこれを正解ラベルとした。次に，自動抽出された各クラスタに含まれる文書について，クラ スタ内の同一ラベルの文書数の割合(純度:purity)が 閾值以上を占めるマジョリティとなる正解ラベルを 抽出クラスタの推定ラベルとした。抽出されたクラ スタにおいて，マジョリティとなる正解ラベルが存在しない場合, 推定失敗を意味する推定ラベルを付与した。このようにして得た正解ラベルと推定ラベ ルを用いて，適合率，再現率，および $\mathrm{f} 1$ スコアを算出した。パラメータ設定について，ここでは純度の 閾値は 0.5 を設定した。

## 4 実験設定

データセット Sumikawa ら[11]の e ラーニングデ 一タセット(e-learn), StackFAQ[12]データセット (StackFAQ)および，筆者らの所属企業内部における コンタクトセンタ応対ログデータセット(Enterprise), の 3 種類のデータセットを用いた。各データセット の基礎情報を表 1 に示す.

表 1 データセットの基礎情報

前処理StackFAQデータセットは, Google Cloud Translation APIを用いて英語から日本語に翻訳した。全てのデータセットについて, MeCabを用いて形態素解析を実施し，品詞フィルタ処理として名詞，動詞，形容詞のみを残し，原形化を行った。

最適化ツール 線形最適化においては, 最適化モ デラーとして PuLPiを,ソルバーとして CBC を用い た. ベイズ最適化においては Optunaiiiを使用し, 最適化アルゴリズムは NSGA-IIを用いた。

## 5 実験

## 5.1 予備実験

予備実験では提案手法のポテンシャルを検証する ために, FAQ の抽出精度が従来手法と比較して高く なるような単語ぺアの組合せが存在するか確認した。

ベースラインとして TFIDF+HAC(階層的凝集ク ラスタリング)を用いた．HAC のアルゴリズムは群平均法を，距離尺度はユークリッド距離を用いた。 クラスタ数は, 正解ラベルが既知の前提とし $\mathrm{f} 1$ を最大化するクラスタ数を採用した。またべクトル化手法による比較のために fastText+HAC を検証した。

次に，ベイズ最適化を用いて最適な単語ぺアを探索した. このとき正解クラスタラベルが既知の前提 で，目的関数を正解 FAQ 抽出の $\mathrm{f} 1$ とした. 試行回数を重ねた収束時における FAQ 抽出の $\mathrm{f} 1$ スコアを 表 2 に示す。

表 2 ベースラインおよびベイズ最適化の結果

表 2 に示すようにベイズ最適化による $\mathrm{FAQ}$ 抽出精度はベースラインの TFIDF+HAC を大きく上回っ ている。この結果により，もし適切な単語ぺアの組 み合わせが選択できたとすると，その単語ぺアを含 む文書の集合をクラスタとして抽出することで，高 いFAQ 抽出精度を得られることが確認できた。

## 5.2 本実験

線形最適化 3.2 に示した通り,文書のクラスタリ ングを最大被覆問題として定式化し, 文書カバレッ ジを最大化する単語ぺアの組み合わせを求めた．単語ペア選定におけるハイパーパラメータとして，最小クラスタサイズを 3 とした。これは 3 個以上の文書に含まれる単語ぺアのみが選定対象となることを 意味する．最大クラスタ数をパラメータとして増加 させたときの結果を図 1 に示す. 最適化の各試行に おいていずれの場合も最適解が得られた。また，ク ラスタ数は単語ぺア数が一定となる点で f1 も最大

となるため, その時の単語ぺア数をクラスタ数とし て採用すればよいとわかる.

図 1 線形最適化の実行結果(e-learn)

ベイズ最適化次に，ベイズ最適化手法を用いた 実験を行った. 予備実験では提案手法のポテンシャ ルを測るために正解ラベルが既知の前提で, 目的関数をFAQ 抽出のf1 としたが，本実験では，実ビジ ネス利用を想定し，正解ラベルの情報を使用しない 以下の目的関数を用いた.

$\max . w_{c} \cdot$ Coverage $(C)+w_{o} \cdot$ Overlap $(C)$

$
\begin{gathered}
\text { Coverage }(C)=\sum_{i=1}^{L} \frac{\left|C_{i}\right|}{N} \\
\operatorname{Overlap}(C)=\left(1+\alpha \frac{\bigcap_{k=1}^{n} C_{k}}{\bigcup_{k=1}^{n} C_{k}}\right)^{-1}
\end{gathered}
$

ここで，式(4)の目的関数は，カバレッジスコアと オーバーラップスコアの重み付き和である. 式(6)に 示すオーバーラップスコアは，各クラスタに共通的 に含まれる文書が少ないほど大きい値をとる関数で ある. $w_{c}$ および $w_{o}$ は重みであり,$w_{c}=1$ および $w_{o}=$ 2を用いた。 $\alpha$ はハイパーパラメータであり，9を用 いた。結果を図 2 に示す.

図 2.ベイズ最適化の実行結果(e-learn)図 2 に示すように，試行回数を増やすにしたがっ て目的関数であるトータルスコアは増加し，また f1 スコアも増加し, その後一定に収束している。この ときクラスタ数も一定に収束しており，最適クラス 夕数として得られることがわかる.

最終的な実験結果を表 3 に示す

## 表 3 線形最適化およびベイズ最適化の精度

TFIDF+HAC および fastText+HAC については,実利用を想定すると最適クラスタ数は未知であるこ とを考慮し，クラスタ数を真のクラスタ数の $75 \%$ か ら 125\%までの区間で等間隔に 10 点とり, 10 点の f1 値の平均をとってスコアとした。

表 3 に示すように e-learn および Enterprise データ セットにおいては，線形最適化およびベイズ最適化 を用いた提案手法によりベースラインを上回る精度 が得られた。その他の利点として提案手法では両手法ともに最適クラスタ数が得られ，また単語ペアが 含まれていることがすなわちそのクラスタの特嘚と なるため，高い解釈性が得られることがわかった。

## 6 おわりに

問合せログからの FAQ 抽出を目的として，特徴語の組み合わせ最適化問題として解く手法を提案し た. 本実験では提案手法により従来手法を上回る精度が得られた。また精度以外の利点として, 最適ク ラスタ数が自動的に得られることと，単語ぺアの組 み合わせがクラスタの特徴を示すため高いクラスタ の解釈性が得られることがわかった. 今後の課題と して, FAQ 抽出精度を高めるために，単語ぺア選択 において，問合せ内容と関係のないノイズとなる単語の排除や, 同義語の考慮が必要である。またべイ ズ最適化においては目的関数に凝集性等のクラスタ としての望ましさを考慮した改善が課題となる.

## 参考文献

[1] 飯塚新司, 菊地大介, 宮内秀彰, 高橋毅, and 黒澤隆也. "ヘルプデスクの問合せデータを用 いた FAQ 抽出技術の研究." 日立ソリューシ ヨンズ東日本技報= Hitachi Solutions East Japan technical report 25 (2019): 31-34.

［2]友松祐太; 戸田隆道; 杉山雅和. AI チャットボ ツトのためのチューニング支援システム. In:人工知能学会研究会資料 言語・音声理解と対話処理研究会 90 回. 一般社団法人 人工知能学会, 2020. p. 08.

[3] 長谷川友治, et al. コールセンターにおける大規模質問応答データに基づく FAQ 作成支援 システムの実装. 第 66 回全国大会講演論文集, 2004, 2004.1: 73-74.

[4] Xu, Jiaming, Bo Xu, Peng Wang, Suncong Zheng, Guanhua Tian, and Jun Zhao. "Self-taught convolutional neural networks for short text clustering." Neural Networks 88 (2017): 22-31.

[5] Hadifar, Amir, Lucas Sterckx, Thomas Demeester, and Chris Develder. "A self-training approach for short text clustering." In Proceedings of the 4th Workshop on Representation Learning for NLP (RepL4NLP-2019), pp. 194-199. 2019.

[6] Rakib, Md Rashadul Hasan, Norbert Zeh, Magdalena Jankowska, and Evangelos Milios. "Enhancement of short text clustering by iterative classification." In International Conference on Applications of Natural Language to Information Systems, pp. 105-117. Springer, Cham, 2020.

[7] Zhang, Dejiao, Feng Nan, Xiaokai Wei, Shangwen Li, Henghui Zhu, Kathleen McKeown, Ramesh Nallapati, Andrew Arnold, and Bing Xiang. "Supporting Clustering with Contrastive Learning." arXiv preprint arXiv:2103.12953 (2021).

[8] Fung, Benjamin CM, Ke Wang, and Martin Ester. "Hierarchical document clustering using frequent itemsets." In Proceedings of the 2003 SIAM international conference on data mining, pp. 59-70. Society for Industrial and Applied Mathematics, 2003.

[9] Zhang, Wen, Taketoshi Yoshida, Xijin Tang, and Qing Wang. "Text clustering using frequent itemsets." Knowledge-Based Systems 23, no. 5 (2010): 379-388.

[10] Lee, Cheng-Jhe, Chiun-Chieh Hsu, and Da-Ren Chen. "A hierarchical document clustering approach with frequent itemsets." International journal of engineering and technology 9, no. 2 (2017): 174.

[11] Sumikawa, Yasunobu, Masaaki Fujiyoshi, Hisashi Hatakeyama, and Masahiro Nagai. "Supporting creation of FAQ dataset for E-learning chatbot." In Intelligent Decision Technologies 2019, pp. 3-13. Springer, Singapore, 2020

[12] Karan, Mladen, and Jan Šnajder. "Paraphrasefocused learning to rank for domain-specific frequently asked questions retrieval." Expert Systems with Applications 91 (2018): 418-433.


# 問い合わせログの集約における
## クラスタリングを用いた重要回答抽出

\author{
竹中一秀林 岳晴大段 秀顕湯浅 晃 \\ 株式会社NTT データ
}

\{Kazuhide. Takenaka, Takeharu. Hayashi, Hideaki. Odan, Akira. Yuasa $\}$ @nttdata.com

## 概要

本研究では、問い合わせデータを集約し FAQを 構築するユースケースに焦点を当てた回答候補を提示する手法を提案する。FAQ はコンタクトセンタに て蓄積される質問と回答が対となる問い合わせログ を用いて作成される。本提案手法では、問い合わせ ログの質問を対象にクラスタリングを行い、類似す る質問ごとに集約されたクラスタ内の回答に対し、再度クラスタリングを実施し、複数種類の重要な回答を抽出することで、可読性を保ちつつ、重要な回答を複数抽出できることが確認された。併せて、回答をクラスタリングした際に得られる各クラスタの クラスタサイズが、回答を提示する上での重要性を 示す指標として有効であることが確認された。

## 1 はじめに

近年、企業のコンタクトセンタでは、問い合わせ 対応業務にチャットボット等の対話型 AI システム を活用されている。チャットボットには、ユーザが 選択する質問に対して、あらかじめ設計されたシナ リオに従って回答を提示するシナリオ型と、ユーザ の入力する質問に対して、類似する FAQ を提示す る FAQ 型がある。その中でも FAQ 型のチャットボ ットは、その導入時や運用時において FAQ の作成 に、多大な労力を必要とするという課題がある。そ こで、本稿では FAQ 型のチャットボットに焦点を 当てることにした。

FAQ はコンタクトセンタの問い合わせログに代表される、質問文と回答文が対となるデータから作成される。一般的な手法としては、問い合わせログ の質問文に対してクラスタリングを行い、クラスタ 重心に最近傍の質問文を抽出し、その質問文に紐づ いた回答文とセットで $\mathrm{FAQ}$ 候補とする。FAQ 作成担当者は、得られた FAQ 候補を確認し、内容や文の修正を行うことで最終的な FAQ を完成させる。し かし、この手法では 1 つの質問に対し、 1 つの回答 のみ提示されるため、質問と回答が本来 1 対 $\mathrm{n}$ とな る場合に、適切な回答が得られない可能性がある。質問と回答が 1 対 $\mathrm{n}$ になる場合の FAQ の例として、「ソフトが強制終了されてしまいます。どうすれば よいでしょうか。」という質問に対して回答を作成 する場合には、ソフトバージョンや OS バージョン、 データのバックアップは取得しているか等の幅広い 状況に応じた回答を揃える必要がある。

そこで、本研究では、FAQ 作成の負荷を低減する ことを目的として、可読性を保ちつつ、冗長性を排除し、重要な回答を漏らさないように回答候補を提示する手法を提案する。

## 2 関連研究

本研究では、FAQ 作成における回答文作成支援の ユースケースに焦点を当てている。ここでは、 $\mathrm{FAQ}$抽出に関する関連研究の手法について言及する。

まず、 $\mathrm{FAQ}$ 候補となる QAを抽出する研究として、 マニュアルやガイド等の回答源となる文書から QA セットの作成を行い、問い合わせログから抽出した 代表質問文と類似する QA セットを FAQ 候補とし て提示する土居ら[1]の手法や、特徴的な単語の係り 受けパターンの抽出を行い、頻出するパターンを持 つ QA を抽出する長谷川ら[2]の手法がある。友松ら [3]は問い合わせログの質問文をBERTによって分散表現を獲得し、分散表現のコサイン類似度をもとに 階層クラスタリングを行うことで、類似する質問ご とに集約されたクラスタを作成し、そのクラスタか ら TF-IDF を用いて代表文の選定を行い FAQ の抽出 を行っている。これらの手法は、回答文については、抽出した質問文に紐づいたもののみを使用している ため、複数の回答文候補を抽出するという点で我々 の手法と異なっている。また、壹岐ら[4]は、問い合

わせログから質問文と回答文の抽出を行うことを要約問題として捉え、教師あり学習による抽出型要約 を用いて、不要文の多い問い合わせログの質問文と 回答文の中から本質的な部分文字列を抽出すること で QA の作成を行っている。我々の手法とは、文字列単位ではなく、問い合わせログの回答文単位での 回答抽出を行う点で異なるが、重要な回答文を抽出 するという点では類似しているため、文書要約を用 いた手法を提案手法の比較対象とすることにした。

## 3 提案手法

本研究では、FAQ 作成の負荷を低減することを目的として、重要な回答を複数抽出する手法を提案す る。本章では、その具体的な実現方法について説明 する。

## 3.1 回答抽出の流れ

提案手法の回答文抽出の流れを図 1 に示す。まず、提案手法適用の前提として、問い合わせログの質問 を対象にクラスタリングを行い、各クラスタ重心の 最近傍の質問文が得られているものとする。このク ラスタ重心に最近傍となる質問文を本稿では代表質問文と呼ぶ。得られた質問クラスタ内の回答文を対象にさらにクラスタリングを行う。その結果、類似 する回答ごとに集約されたクラスタが得られる。得 られた回答クラスタの重心に最近傍となる回答文を 代表文としてそれぞれ抽出することで、抽出された 代表質問文に対して、複数の回答候補を取得する。

## 3.2 手法検討

本研究では、FAQ 作成における回答文作成支援の ユースケースに焦点を当て、ビジネス適用における 現実的な制約条件を考慮した上で手法検討を行った。分散表現の取得手法として、BERT 等の大規模言語 モデルは、モデルの学習を行うために、ドメインに 特化した大量の学習データが必要になる。そこで、本研究では、汎用コーパスで学習されたモデルで比較的上質な分散表現が得られることが知られている 手法として[5]、Universal Sentence Encoder(USE)[6]を 用いた。クラスタリングは、階層クラスタリングの らち、分類感度が高い ward 法を選定した。

また比較対象とする文書要約手法については、抽出型文書要約手法の中で一般的に高性能である LexRankを用いた。同クラスタ内の回答文から要約文を抽出し、FAQ 作成において、提案手法とどちらが有力であるか比較を行う。

図 1 提案手法の回答文抽出イメージ

## 4 実験

提案手法の有効性検証のため、既存手法である、抽出した代表質問文に元々紐づいていた回答文のみ 提示する場合と、比較対象とした文書要約手法それ ぞれを用いて、回答文の抽出を行い、FAQ 作成の支援を目的とした場合に、どの手法が有力であるか比較して検証を行った。抽出型文書要約手法 LexRank の実装に関しては python モジュールの sumy を用い た。

## 4. 1 データセット

手法の有効性検証のために、NII $の$ Yahoo!知恵袋 データ(第 2 版)[8]で提供されているデータのうち、質問カテゴリが「企業と経営」かつ、回答は質問者 が選んだベストアンサーの条件で絞込んだものを用 いた。また、実際の問い合わせログは、端的に短く まとめられていることが多いため、質問文の文書長 が 10～50 トークンかつ、回答文の文書長が 10～120 トークンからなる QA をサンプリングした。その結果、データサイズは 4153 件となった。

次に、サンプリングしたデータの質問文を対象に USE + ward 法を用いてクラスタリングを行い、類似 する質問文ごとに集約された各クラスタのベクトル 重心に最近傍の点を代表質問文として、抽出を行っ た。そのうち、クラスタサイズが大きいクラスタか ら 6 件を対象に実験に使用した。各クラスタのクラ スタサイズと抽出した代表質問文を表 1 に示す。
表 1 実験に使用した質問集約のクラスタ

 &  & \multicolumn{1}{|c|}{ 代表質問 } \\

## 4. 2 評価方法

FAQ 作成支援において、有効性を評価するために、 それぞれの手法で出力した回答文を可読性と、回答 として重要な文がどのくらい含まれているかを示す 重要情報包含率の観点で評価を行った。可読性につ いては、表 2 に示す基準で定性的に評価を行った。 また、抽出した回答文に、「文間の内容が矛盾して おり、一貫性が無い」「文間に談話関係が存在せず、無関係である」といった問題がある場合を「不自然 である」と評価し、上述の問題が無い場合には「自然である」と評価した。重要情報包率の算出方法は、抽出した代表質問文から必要となる回答箇所を人手 により正解として定義し、その中で各手法によって 抽出できた割合を算出することで評価した。

## 表 2 可読性の評価基準

## 5 実験結果と評価

提案手法の有効性検証の比較対象として、大量の 文から重要な文を抽出する文書要約アルゴリズムの LexRank[7]を用いた。実験では、質問集約で得られ たクラスタ内の回答文を全て結合した文を入力とし た。また、ハイパーパラメータの出力文数は、出力 された要約文が提案手法の出力した回答文と近しい トークン数になる文数を採用した。

提案手法のクラスタリングを行う際のクラスタ数 については、Silhouette 係数が最大になる場合を採用 した。既存手法については、表 1 で得られた代表文 に紐づいた回答文のみを出力結果として扱った。

実験結果について、可読性の評価結果を表 3、情報含有率の評価結果を表 4 に示す。情報包含率につ いては、各手法ごとに平均化したものを示す。また、実験によって得られた回答文の一部を表 6 に示す。太字部分は重要情報となる箇所、下線部分は可読性 を低下させている箇所を示している。

表 3 可読性評価

 &  & LexRank &  \\

2 & $\bigcirc$ & $\times$ & $\bigcirc$ \\
3 & $\bigcirc$ & $\times$ & $\bigcirc$ \\
4 & $\bigcirc$ & $\times$ & $\bigcirc$ \\
5 & $\bigcirc$ & $\bigcirc$ & $\bigcirc$ \\
6 & $\bigcirc$ & $\bigcirc$ & $\bigcirc$ \\

表 4 重要情報含有率評価

 & LexRank &  \\

表 3 によると、提案手法は可読性については問題 ないことが示されている。LexRank は要約結果を文単位で得るため、文頭に「つまり」「これにより」 があることや、関連性のない文間に「よって」「ゆ えに」等の接続詞があり、文間の論理的な関係が破綻していることが確認された。

表 4 によると、提案手法が最も良い結果となって いる。既存手法の抽出した代表質問文に紐づいた回答 1 件のみでは、情報として不足する場合も少なく なかった。表 6 を例に、既存手法と比較して提案手法では、「特例有限会社は、そのまま存続できます

し、一部例外を除き変更登記する必要もございませ 几。」「特例有限会社から株式会社へ移行すること （商号変更）も出来ます。」との追加の重要文が抽出できていることが確認できる。補足として、既存手法で用いた回答は yahoo 知恵袋に投稿した質問者 が選んだベストアンサーであるが、ベストアンサー は投稿された回答群の中から 1 つ選ばなければいけ ない仕組みであるため、情報として不足していても ベストアンサーに選ばれる場合は十分にある。

## 6 付帯効果と課題

FAQ を作成する上で、複数種類の回答がある場合 に、重要度の高い回答を優先して提示することが重要であると考えられる。この場合、提案手法では、 クラスタサイズが大きいクラスタほど、重要度が高 い文が含まれている傾向を確認したため、重要度を 表寸指標として、回答クラスタサイズを用いること が、有効であると考えられる。また、提案手法の出力結果を文単位で確認したところ、内容が重複する 文があることが判明した。その数を表 5 に示す。出力する回答数が増加するほど、重複文数も増加し、 FAQ 作成担当者が確認する文書量も比例して増加 してしまう。そのため、クラスタリング手法の改善 をすべきであり、それでも対処しきれない場合は文間の類似度を算出してフィルタリングを行うなどの 工夫を行う必要がある。表 5 重複内容文数

 &  & 重複文数 \\

2 & 2 & 1 \\
3 & 2 & 1 \\
4 & 1 & 0 \\
5 & 2 & 0 \\
6 & 1 & 0 \\

## 7 おわりに

本研究では、問い合わせログデータを用いた FAQ 作成の支援を目的とした回答文抽出において、重要 な回答文を複数抽出する手法を提案し、検証・評価 を行った。既存手法や文書要約手法と比較して、提案手法は可読性を保ちつつ、重要な情報を抽出でき ることが確認された。また、精度以外のメリットと して、クラスタサイズ (回答数) を重要度のスコア として提示できる点が挙げられる。

今後の課題として、提示する回答文が多くなる程、内容が重複した不要な文が増えてしまい、FAQ 作成担当者が確認する情報量が増えてしまうため、文間 の類似度を算出してフィルタリングを行うなどの工夫が必要である。

表 6 各手法での回答文抽出結果（クラスタ ID $=3$ の場合）

太字部分は重要情報となる箇所、下線部分は可読性を低下させている箇所を示している。

 &  \\

## 謝辞

本研究では、国立情報学研究所の IDR データセ ット提供サービスによりヤフー株式会社から提供を 受けた「Yahoo！知恵袋データ（第 2 版）」を利用 した。

## 参考文献

［1］土居誉生, 石垣泰地, 小澤仁護, and 稲田徹. ”質問生成ソリューション「なんでも Question」の紹介." SIG-SLUD 5, no. 02 (2019) : 123-124.

[2] 長谷川友治, et al. コールセンターにおける大規模質問応答データに基づく FAQ 作成支援 システムの実装. 第 66 回全国大会講演論文集，2004，2004.1：73-74.

[3]友松祐太; 戸田隆道; 杉山雅和. AI チャット ボットのためのチューニング支援システム. In：人工知能学会研究会資料 言語・音声理解と 対話処理研究会 90 回. 一般社団法人 人工知能学会, 2020. p. 08.

[4] 壹岐太一, et al. ヘルプデスクの対応記録から の QA リストの半自動抽出. 研究報告知能シ ステム (ICS), 2018, 2018.12: 1-8.

[5] PERONE, Christian S.; SILVEIRA, Roberto; PAULA, Thomas S. Evaluation of sentence embeddings in downstream and linguistic probing tasks. arXiv preprint arXiv:1806.06259, 2018.

[6] CER, Daniel, et al. Universal sentence encoder. arXiv preprint arXiv:1803.11175, 2018.

[7] ERKAN, Günes; RADEV, Dragomir R. Lexrank: Graph-based lexical centrality as salience in text summarization. Journal of artificial intelligence research, 2004, 22: 457479.

[8] ヤフー株式会社 (2011)：Yahoo！知恵袋デー 夕 (第 2 版). 国立情報学研究所情報学研究デ 一タリポジトリ. (データセット). https://doi. org/10. 32130/idr. 1.2


# クイズ問題のジャンル推定における機械学習手法の比較・検討

浅野 綾太 ${ }^{1}$ 小林 邦和 $^{2}$
1 愛知県立大学大学院 情報科学研究科 システム科学専攻 2 愛知県立大学 情報科学部
\{im213001, kobayashi\}@cis.aici-pu.ac.jp

## 概要

本研究では, 主にクイズ問題のジャンル推定を取 り扱う. 先行研究として淀川らの研究 [1]を取り上 げる. 淀川らは, 分散表現の獲得に MeCab と fastText を, 機械学習手法としてサポートベクタマシン (以下:SVM) を適用し, 問題文に対するジャンルを推定を行った. しかし, 先行研究では機械学習手法が SVMの 1 種類しか紹介されていなかった. そのた め, 本研究では分類問題を解くその他の機械学習手法やグリッドサーチ, 交差検証を用いて最適な手法 とパラメータを探索した。

結果としては, 単独では先行研究と同じくSVM よるジャンル推定が最高正解率を記録した.

## 1 はじめに

## 1.1 研究背景

クイズとは,一方が問題を出題し,もう一方が答え る「遊び」である.しかし, 問題の解答権を獲得する ことを競争することで競技性が生まれる. そのよう なクイズのことを「競技クイズ」と呼ぶ. そして競技クイズは他の参加者に先んじて解答権を獲得する ために知識を蓄える必要がある. 競技クイズの勉強法の一つに, $\mathrm{Q}$ 宅 ${ }^{1}$ や $\mathrm{BOOTH}^{2}$ ) といったサイトで問題集を購入し, さまざまな問題に触れることで知識 を得るという方法がある.このような勉強法の中で も,「芸能問題だけは正解できるようにしよう」とい うように, ある特定のジャンルに絞って問題を覚え るという方法がある.この場合, 芸能問題のみが掲載 されている問題集を購入しなければならないが,そ のような問題集は少数である. しかし, 市販の問題集 の多くはジャンルが付与されていることは非常に少 ない. 本研究では, 教師あり学習手法を用いてクイズ の問題文からジャンルを推定する.
また, 本稿では便宜上「競技クイズ」のことを「ク イズ」と表現する.

## 1.2 質問応答

ある質問に対する解答を求めるタスクを質問応答 (QA) タスクといい,しばしば実際に使われる問題が 用いられることが多い. 自然言語処理における代表格として,「SQuAD[2]」「TraviaQA[3]」「QANTA[4]」 などが挙げられるが, そのいずれも英語による文書を取り扱っている. 日本語のデータセットとし ては，「解答可能性付き読解データセット [5]」や 「JAQKET[6]」などがある. 実際のクイズ問題を扱っ た事例としては,2011 年 2 月に放映されたクイズ番組「Jeopardy!」で人間のチャンピオンを破った IBM の「Watson」などが挙げられる [7]. 早押しを想定し た解答システムとしては, 橋元ら [8] がある。

## 1.3 先行研究

先行研究として, 淀川らの研究 [1] を取り上げる.訓練データやテストデータには後述のデータセット を用いた. 分散表現の獲得には日本語 wikipwdiaを 用いた fastText を作成して利用した. モデルの訓練に は,クイズの問題文を分かち書きし, 単語の分散表現 を獲得し,300 次元からなる文章の分散表現を得る.訓練データに 300 次元で表された問題文及び解答の 解説文章と対応するジャンルを用いて SVM で学習 する. 訓練データには以下の 2 種類を用いる.

(1)「問題文」のみ

(2)「問題文」と「解答の解説」

(1)では問題文のみを,(2)では, 問題文に対する 解答を wikipedia 9 日本語データベースから説明文を獲得して問題文と結合し,(1)と同じくべクト ル化・モデルの訓練を行う. 結果としては (1)で $40.0 \%,(2) 54.8 \% を と い う$ 正解率が得られた。

2) https://booth.pm/ja

## 2 利用するクイズデータセット

データセットには先行研究 [1] でも使われてい る「abc 13th 17th」と「EQIDEN 2013 2019」という 大会の問題集を用いる ${ }^{3)}$. abc は学生を対象とする 日本最大級のクイズ大会である. EQIDEN は $\mathrm{abc}$ と 同日に行われる, 学業機関別のクイズ大会である. abc/EQIDEN で使用される問題は作成するにあたり 多人数による審査が行われているため, 文章構成の 質が良く, 難易度も比較的低く均等になっている. ま た,ジャンルにおいても偏りが少なくするように製作されている (図 1). そのため, 本研究で行うジャン ル推定をするに当たり信頼性が高いと言える. 問題 の用途は「早押し」「筆記 -4 択」「敗者復活」に分類されるが, 本研究では「早押し」のみを使うこと とする。

図 1 クイズ問題のジャンル比率

なお, 分類問題として取り扱う際に, 開催年度毎に ジャンルが異なるため調整が必要になる. 13th から 15th は表 1 の 12 種類に,16th から 17th は表 2 の 15 種類に分類されている. 本研究では先行研究での 12 種類の分類 (表 3)するように微調整して利用する.表 1 abc13 15th のジャンル分類

表 2 abc16 17th のジャンル分類

表 4 用途別の問題数

## 3 実験方法

## 3.1 tokenizer

文字列を機械的に扱うとき，その文字列を分かち 書きし, 分散表現を獲得する必要がある. 分かち書き には形態素解析エンジンの MeCab と新語・固有表現に強い辞書 NEologd を用いる。

分散表現の獲得には,Doc $2 \mathrm{Vec}$ という手法を利用す る. Doc2Vec は,Word2Vec の単語の分散表現を獲得 する手法の応用である. なお, 本研究ではモデル作成 の時間を省くために学習済みモデルを用いた [9]. 元 となる文章を分かち書きし, 学習済みモデルに入力 すると 300 次元の分散表現が得られる. 数値データ に変換した訓練データを入力データとして機械学習 モデルの訓練を行う.
表 3 本研究におけるジャンル分類

## 3.2 機械学習手法

機械学習には既存アルゴリズムとしてょく知ら れるランダムフォレスト, $\mathrm{k}$-近傍法, ロジスティック 回帰, ナイーブベイズ,SVM, 確率的勾配降下法 (以下:SGD) を用いた他にも,300 次元の入力層, 1000 次元の中間層, 12 次元の出力層からなる 3 層のニュー ラルネットワーク (以下:NN) も用いた. また,これら の手法に対してグリットサーチによるハイパーパラ メータの最適化も行って評価した。

## 3.3 評価

精度の評価にはマクロ平均による正解率 (macroAccuracy)を用いる. 多クラス分類で使う評価指標は,二值分類で用いる混合行列を複数のクラスに対応さ せて算出できる.

たとえば $(A, B, C)$ からなる多クラス 分類を考えたとき, $A$ をPositive, $B$ と $C$ を Negative とした際の $T P, T N, F P, F N$ をそれぞ れ $T P_{A}, T N_{A}, F P_{A}, F N_{A}$ とする.これらを用いて accuary $_{A}$, recall $_{A}$, precision $_{A}, F$ 値 ${ }_{A}$ は式 (1) (4) の ように表すことができる.

$
\begin{gathered}
\operatorname{accuary}_{A}=\frac{T P_{A}+T N_{A}}{T P_{A}+T N_{A}+F P_{A}+F N_{A}} \\
\operatorname{recall}_{A}=\frac{T P_{A}}{T P_{A}+F N_{A}} \\
\text { precision }_{A}=\frac{T P_{A}}{T P_{A}+F P_{A}} \\
F_{A}=\frac{2 \cdot \text { recall }_{A} \cdot \text { precision }_{A}}{\text { recall }_{A}+\text { precision }_{A}}
\end{gathered}
$

これらの値を各クラス毎に計算できる.これらの 平均が次式のマクロ平均である.

$
\operatorname{accuary}_{M}=\frac{\text { accuary }_{A}+\text { accuary }_{B}+\text { accuary }_{C}}{3}
$

Accuracy は不均衡データの評価には適さないこと で知られるが, 本研究での分類問題は偏りが少ない ことから適用する判断をした。

## 4 実験

## 4.1 実験結果

それぞれのモデルでグリッドサーチを行った. $\mathrm{k}$分割交差検証の分割数は $\mathrm{k}=5$, 評価指標はマクロ平均 (macro-Accuarcy) とした.

表 5 機械学習モデルの正解率

## 4.2 考察

単一のモデルでは SVM が最高の正解率を得た. 正解率のみを求めるならば, アンサンブル学習を適用 すれば精度の向上は見込める.ここで, 各モデルにお ける 1 つのジャンルの正解率を表 6 にまとめた. 全体としてはスポーツの正解率が最も高く, 次いで科学, 文学, 地理が次点となった. 一方で, 音楽と芸術の 正解率が 0.60 を下回る分類結果となっている. 特に 音楽と芸術はジャンルとしても非常に近い関係性 にあるといえる. たとえば,JPOP や洋楽は音楽に分類されるが, クラシックは芸術に分類されることが 多い.

また, 実験中に生じた問題を紹介する. クイズの問題には 1 つのジャンルしか付与されていない. 付与 されたラベルを「正解ラベル」, 解答が真に含まれ るジャンルを「真のラベル」とする. データセット 内には表 7 のような問題が含まれており,それらが ノイズになっている可能性がある. そもそもジャン ルの付与は作問者それぞれが個別で行うため, 同じ 問題を作ってもジャンルが異なることがある. たと えば表 7 の 1 番の問題は, 前情報ではスポーツに関 する情報, 後情報と解答は地理に関する情報である. このような問題が含まれることから, マルチラベル 分類の適用が必要と感じた. 従って, 今後はマルチラ ベル分類手法を実装していきたい.
表 6 各機械学習モデルの $\mathrm{F} 1$ 值

表 7 ジャンルに不備がある問題例

 & "チューリッヒ & "スポーツ & 地理 \\

## 5 おわりに

先行研究で紹介したジャンル分類をその他の機械学習手法を試した. 結果としては先行研究でも使わ れたSVM が最高の正解率を記録した. 今後正解率の 向上を目指すならばアンサンブル学習を適用すれば 良いと思う. また, 実験よりマルチラベル分類が必要 であることが分かったため, 今後はマルチラベル分類手法を調査して行きたいと思う。

## 謝辞

本研究で使用したデータセット用のクイズ問題 は, abc/EQIDEN 実行委員会より研究目的での利用許可を頂きました. 記して感謝いたします.

## 参考文献

[1] 伊東栄典淀川翼. 機械学習手法を用いたクイズ問題の ジャンル推定. 火の国情報シンポジウム論文集, Vol. 2020, pp. 1-4, 2020.

[2] Pranav Rajpurkar, Robin Jia, and Percy Liang. Know what you don't know: Unanswerable questions for squad, 2018. https://arxiv.org/abs/1806.03822.

[3] Mandar Joshi, Eunsol Choi, Daniel Weld, , and LukeZettlemoye. Triviaqa: A large scale distantly supervisedchallenge dataset for reading comprehension, 2017.

[4] Pedro Rodriguez, Shi Feng, Mohit Iyyer, He He, and andJordan L. Boyd-Graber. Quizbowl: The case for incrementalquestion answering. Technical report, 2019.

[5] 鈴木正敏, 松田耕史, 岡崎直観, 乾健太郎. 解答可能性付き読解データセット. 言語処理学会第 24 回年次大会 (NLP2018), March 2018.

[6] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. Jaqket: クイズを題材にした日本語 qa データセット
の構築. 言語処理学会第 26 回年次大会 (NLP2020), March 2020.

[7] David Ferrucci, Eric Brown, Jennifer Chu-Carroll, JamesFa, David Gondek, Aditya A. Kalyanpur, Adam Lally, J. William Murdock, Eric Nyberg, John Prager, Nico Schlaefer, and Chris Welty. Building watson: An overview of thedeepqa project. Al Magazine, pp. 59-79.

[8] 橋元佐知, 佐藤理史, 宮田玲, 小川浩平. 競技クイズ・ パラレル問題の基本構造と文型. 言語処理学会第 27 回年次大会 (NLP2021), March 2021.

[9] 日本語 WIKIPEDIA で学習した DOC2VEC モデ ル,(2021-12 閲覧). https://yag-ays.github.io/ project/pretrained_doc2vec_wikipedia/.


# ひめのり：辞書生成機能を備えたワードクラウド作成システム

涉谷 泰蔵 ${ }^{1,2}$ 稲吉 希理 ${ }^{1}$ 西田 健太郎 ${ }^{1}$ 田中朋 1,2
1 日本電気株式会社 2 産業技術総合研究所
\{taizo, kiri.i, ken-nishida, tomotanaka\}@nec.com

## 概要

専門用語辞書生成機能を持つワードクラウド作成システム「ひめのり」を開発した. システムは スマートフォン上でも動作可能な Web インター フェースを持ち，様々な分野の専門家による効率的 な形態素解析辞書の生成を可能にする. 1940 年代 の応用物理学会誌のデータを用いた専門用語抽出実験から，システムによる作業効率の加速効果は手作業に比べ最大で 3 倍程度あることが分かった. 今後 ひめのりが得意なデータセットの特徵を明らかにす るとともに，辞書以外の言語資源の整備機能も追加 していく.

## 1 はじめに

膨大なテキストデータを概観する手法として， ワードクラウドが知られている。 ワードクラウドは 図 1 に示すように文書中に含まれる多数のトーク ン1)を並べた画像であり，重要なトークンほど大き く表示される. ワードクラウドの作成は，トークン リストの抽出とトークン重要度の決定という 2 つの 作業から成り, 素朴には形態素解析器による文書の トークン化とその頻度集計で実現される。高品質な ワードクラウド生成には，トークンの分割単位や重要度に分析者の視点を反映させる必要がある. 例え ば「化合物 半 導体」という短単位のトークンで構成された複合語をどこまで接続するかや，「情報」や 「システム」といったトークンをワードクラウドに 含めるかといった判断は分析者や分野に依存する.

我々は，複合語リストの抽出を分かち書きテキス トにおけるトークン接続（チャンキング）タスクと 捉え, MeCab [1] 用の複合語辞書生成機能を備えた ワードクラウド作成システムを開発している。この システムはスマートフォンでも操作可能なシンプル なインターフェースを特徴とする Web アプリケー

1）何らかの手段で文章を短い単位に分割したときの一つ一つ の言葉のまとまりのこと.
ションであり，トークン同士を接続する糊という意味を込めて「ひめのり」2)と名付けた。ひめのりはテ キスト中に隣接して現れるトークンペアの接続判断 をユーザに迫り，複合語辞書を効率的に生成する。 また，頻出する低重要度トークンを非表示語（ス トップワード）リストに追加するための画面も備え ている。本稿では，ひめのりを紹介するとともに， そのトークン接続タスクの加速効果を実験で明らか にする。また，形態素解析辞書以外の言語資源生成 ツールとしての可能性についても議論する。

図 1 ワードクラウドの例. 2008-2021 年の『自然言語処理』掲載論文のタイトルから作成.

## 2 関連研究

複合語リストの自動抽出に関しては，頻度 [2] や ルール [3] をべースにしたものから BERTを利用し たもの [4] まで様々な研究があり，これらの手法に 分析者の視点を反映させるには，テキストマイニン グ向けのツール [5] や，種々のスパンアノテーショ ンツール [6-10] 等を利用できる. もちろん長単位 の分割に対応した形態素解析器 [11,12] や辞書 [13] も重要な選択肢である。トークン重要度の決定に関 しても様々な手法 $[2,14]$ が提案されている. これら を統合したワードクラウド作成システムは筆者ら の知る限りでは存在しないが，例えばユーザーロー カル社のサービス [15] は複合語リストとストップ ワードリストの入力に対応し，トークン重要度は TF-IDF [16] で決定している.

2）姫糊（ひめのり）は米を原料とした糊のこと。

## 3 システムの詳細

図 2 ひめのりの全体像.

ひめのりは Python と JavaScript で書かれた web アプリケーションであり，非同期処理を利用して 軽快な動作を実現している。ひめのりの全体像を 図 2 に示す.クライアント側には JavaScript ライ ブラリである React [17] を採用し，サーバー側は Python フレームワークである FastAPI [18] を利用し ている.テキストのトークン分割には $\mathrm{MeCab} を ，$ データベースには SQLite [19]を，ワードクラウド の生成には Andreas Mueller 氏の Python ライブラリ WordCloud [20] と Google Noto Fonts [21]をそれぞれ 採用している. 辞書生成の基本的な流れは，分析す るテキストのアップロード，MeCabによるトーク ン分割，トークンおよびトークンペアの出現頻度集計，トークンペアに対するユーザの判断で構成され る.これらを組み合わせることでトークンペアの チャンキングを繰り返し, MeCab 向けのユーザ辞書 を更新し，最終的に複合語辞書を得る。また，ユー ザはストップワードリストを修正することでワード クラウドの見栄えを整えることができる.

ひめのりの機能の肝となるトークンペアに関す る繰り返し処理（周回）というコンセプトについて 図3を用いて説明する. 最初の周回は，文章ごとに 分割された入力テキストデータを MeCabによって トークンに分割し，単一トークンおよびトークン ペアの出現頻度を集計することで始まる。この時, トークンの頻度情報からワードクラウドも作成す る. 次に，頻度順にソートされたトークンペアごと に，接続するかどうかの判断をユーザに促す. 判断画面の例を図 4 に示す. 画面には単一トークンと トークンペアの出現頻度，およびペアを含む文章一覧が表示され，ユーザはこれを参考にペアを辞書・仮辞書・非辞書のどれかに分類する。例えば辞書に 分類されるのは「電子顕微鏡」のような複合語と して成立するぺアである．仮辞書に分類されるのは

図 3 ひめのりによる複合語抽出の流れ.

図 4 ユーザ判断画面.

3 トークン以上からなる複合語の一部である「高温超」(高温超伝導の一部) のような，そのままで は意味を持たないが，より長単位では意味を持ちそ うだと判断されたぺアである. 仮辞書に登録された トークンは，次周のトークンペア集計では繋がった 状態で出てくるため, 次周の判断によってはさらに 長いトークンとなっていく. こういった意味を持た ないトークンペアをユーザ辞書に登録せずに仮辞書に登録することで，ユーザ辞書の無意味な肥大化 を防いでいる。非辞書に入るのは「に よる」のよ うな複合語として成立しないぺアである。一度非辞書に登録されたトークンペアは，次周以降は頻度集計からは除かれる。分類は画面上の該当ボタンのク リックで実行できるが，キーボードの矢印キーでも
実行できる，必要なトークンペアについてのユーザ 判断が終わったら3)，辞書と仮辞書に含まれたト一 クンペアを見出し語とした MeCab のユーザ辞書を 作成する。この際, 品詞は全て名詞とし, 生起コス トは MeCab に分割されないようトークンの文字数 と周回数に基づいて決定される。このユーザ辞書を 利用してテキストを再び分かち書きし，トークンペ アの頻度集計とワードクラウドの生成を行う．新し いユーザ辞書により生成されたワードクラウドは，図 5 に示す画面で直前の周回のワードクラウドと比較され，次周を実行するかの判断をユーザに促す. ここまでの一連の処理が 1 周目に該当する. 2 周目

## 単語と出現頻度

図 5 周回の終了画面.

は，直前の周回で生成されたトークンペアへの判断 をユーザに促すところから始まり，更新されたユー ザ辞書でワードクラウドが生成されて終わる. 図 3 では 2 周目で「高温超伝導」という複合語が辞書に 登録されたことが分かる. この処理を繰り返すこと でトークンペアは徐々に長くなり，最終的にはユー ザが所望する複合語のリストを得ることができる.

ストップワードリストの編集には図 5 に似た別の 画面が用意されている。ユーザはトークンリスト中 のトークンをクリックすることで，動的にストップ ワードリストを変更し，ワードクラウドの変化を確認できる.

## 4 実験

システムの効果を評価するために，ひめのりを利用した場合としない場合それぞれについて 10 分間 のチャンキング作業を設定し，2 分ごとに作業のス

表 1 BIO タグを用いた長単位チャンキングの例。 Token 化合物 半導体超 格子 の無秩序化とその応用

コアを算出した. 対象文書として J-Stage の API で 取得した応用物理学会誌の 1940-1942 年の論文タイ トル 409 件を利用した. このデータセットは古い専門用語が使われており, 特に複合語辞書生成の重要性が大きいと判断したため選ばれた. チャンキング 作業は MeCab と IPADIC 辞書が生成した分かち書き テキスト中のトークンを接続するものとした. 正解 データは，分野固有の専門用語を可能な限り長単位 で接続することを基本方針とし，一人の材料科学者 が用意した．スコア計算には CONLL2003 の固有表現抽出タスク [22] の BIO タグを参考に，適合率，再現率，F1 值を下記のように定義した：

$
\begin{aligned}
\text { 適合率 }(\text { Precision }) & =\frac{\text { 正解との一致タグ数 }}{\text { ユーザの BI タグ数 }}, \\
\text { 再現率 }(\text { Recall }) & =\frac{\text { 正解との一致タグ数 }}{\text { 正解の BI タグ数 }}, \\
\text { F1 値 } & =\frac{2 \times \text { 適合率 } \times \text { 再現率 }}{\text { 適合率 }+ \text { 再現率 }} .
\end{aligned}
$

タグ付けの例を表 1 に示す. この場合，ユーザ入力の適合率，再現率， $\mathrm{F} 1$ 值はそれぞれ $0.8,0.57,0.67$ となる。ひめのりを使用する場合（w/ Himenori）は 2 分ごとにひめのりの周回作業を終了し, 各周回の ユーザ辞書によって分かち書かれた結果を $\mathrm{BIO}$ タ グに変換した ${ }^{4}$ ．ひめのりを使用しない場合（w/o Himenori）は，図6 に示すようにアンダースコアを 分かち書き文字としたデータを用意し，テキストエ ディタを用いた手作業による区切り文字の除去を タスクとした. この際も 2 分ごとに作業を保存し,結果を BIO タグに変換した. 実験は 8 人の材料系研究従事者に対して行った. 被験者はチャンキン グ作業を同じデータセットに対し w/ Himenori, w/o Himenori でそれぞれ 10 分間行った. 作業を行う順番による影響を確認するため，被験者を 4 人ずつ 2 つの群に分けた. 1 つの群は先にツールを利用し (Himenori 1st)，もう一つの群は先にテキストエディ タで作業を行った（Himenori 2nd）。

## 5 結果と考察

作業者群ごとの平均 $\mathrm{F} 1$ 値の推移を図 7 に示す.作業の順番にかかわらず，全ての時間で w/ Himenori

4）初期トークンが分かたれた文章はスコアの計算に含めな かったが，そのような文章は全体の 5 \%程度だった。

図 6 テキストエディタを用いた手動チャンキングタス ク. トークンを区切るアンダースコアを手動で削除する。

図 $7 \mathrm{~F} 1$ 値の推移. 各点は 4 人の作業者の平均値を示す.

の F1 值が w/o Himenori の F1 值を上回っているこ とが分かる. またそれぞれの群において, 後に作業 した結果の F1 值が高く, 先の作業でデータセット の特徵を掴んだことで, 後の作業の処理速度が向上 したと思われる. しかしながらその影響は極わずか であり，専門用語抽出タスクはひめのりによって加速されたと言える。また，w/o Himenori のカーブが 線形なのに対し, w/ Himenori は w/o Himenori より も高い值をとっているが 4 分を過ぎた頃には緩や かな傾きになる. 次に, 図 8 に F1 值の内訳である

図 8 適合率 (Precision) と再現率（Recall）の推移. 各点 は 8 人の作業者の平均値を示す.

適合率と再現率の平均値の推移を示す. 作業の順序 による差は極わずかであったため，2つの作業者群 をまとめた 8 人の結果の平均値を用いた. 適合率 は w/o Himenori は時間によらず高い值を維持するの に対し，w/ Himenori は最初に低い值をとり 4 分以降で一定値となる。この違いが生まれるのは，w/o Himenori では同じ判断を下せる限り時間経過によっ て適合率が変化しないのに対し，w/ Himenori では 始めの周回で仮辞書に追加されたトークンペアに短単位で BIO タグが貼られ適合率が低く出るからであ る.これら仮辞書に登録されたトークンペアは，そ の後の周回でより長単位の BIO タグが貼られるた め，最終的には適合率は上昇する。再現率は，w/o Himenori がゼロ点から線形に上昇するのに対し，w/ Himenori はゼロ点から 2 分までの傾きが大きく, 4 分を過ぎた時点で w/o Himenori の傾きと一致する. w/o Himenori の線形性は単純作業の繰り返しとして 説明できるが，w/ Himenori の傾きの変化は頻出する トークンペアの一括処理による効果が 4 分頃までで なくなることを示唆している．今回設定した実験時間の範囲内では，w/ Himenori の 2 分と w/o Himenori の 6 分の F1 值がほぼ同一であり加速効果は最大で 3 倍程度とも言えるが，より長時間の作業では $\mathrm{F} 1$ 值 が逆転し得る.これはひめのりに有利な処理時間範囲があることを示唆しており，データセットの特徴 とも相関があると考えられる．今後，頻出するトー クンペアの出現頻度の分布などから，ひめのりの得意なデータセットの特徴を示していきたい.

この実験は，LOC や PER 等の分類はしていない ものの，ひめのりの固有表現アノテーションツー ルとしての可能性にも注目して設定された. w/o Himenori の作業はスパンアノテーションと同種の 作業であり，ひめのりによる作業の加速効果が認め られた.今後は辞書生成だけでなく固有表現アノ テーションツールとしての機能も追加し，他のツー ル [6-10]との比較も行いたい.

## 6 おわりに

辞書生成機能を備えたワードクラウド作成器「ひ めのり」を開発し，複合語抽出の時間対効果を実験的に明らかにした. ひめのりを使うことで, 様々な 分野の専門家が自然言語処理の細部を意識すること なく効率的に形態素解析辞書を生成できる。今後は ひめのりと相性の良いデータセットの特徴を明らか にするとともに，固有表現アノテーションツールと しての可能性も探る.

## 謝辞

本論文をまとめるにあたり, 日本電気株式会社の 石川開氏には, 実験の設定や評価について有益な助言をいただきました.

## 参考文献

[1] 工藤拓. MeCab: Yet another part-of-speech and morphological analyzer. https://taku910.github.io/mecab/.

[2] 中川裕志, 湯本紘彰, 森辰則. 出現頻度と連接頻度に 基づく専門用語抽出. 自然言語処理, Vol. 10, No. 1 , pp. 251-258, 2003.

[3] 橋本泰一, 藤井敦. 特許文書のための形態素解析辞書 の構築. 言語処理学会 第 18 回年次大会, 2012.

[4] 五井野㙇也, 濱上知樹. Bertを用いた医療文書からの 固有表現抽出. 計測自動制御学会第 48 回知能シス テムシンポジウム, 2021.

[5] 高間康史, 阿部美里. テキストデータマイニング統合環境を利用した看護記録からの専門用語辞書作成支援ツールの提案. 第 27 回人工知能学会全国大会, 2013.

[6] Pontus Stenetorp, Sampo Pyysalo, Goran Topić, Tomoko Ohta, Sophia Ananiadou, and Jun'ichi Tsujii. brat: a webbased tool for NLP-assisted text annotation. In Proceedings of the Demonstrations at the 13th Conference of the European Chapter of the Association for Computational Linguistics, pp. 102-107, 2012.

[7] Jie Yang, Yue Zhang, Linwei Li, and Xingxuan Li. YEDDA: A lightweight collaborative text span annotation tool. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 31-36, 2018.

[8] 山村崇, 嶋田和孝, 吉川和, 岩倉友哉. Tatara: 支援機能を持ったアノテーションツールの構築. 言語処理学会第 25 回年次大会, 2019.

[9] Prodigy $\cdot$ An annotation tool for AI, Machine Learning \& NLP. https://prodi.gy/.

[10] doccano: Open source annotation tool for machine learning practitioners. https://github.com/doccano/ doccano.

[11] 小澤俊介, 内元清貴, 伝康晴. Bccwj 亿基づく長単位解析ツール comainu. 言語処理学会 第 20 回年次大会, 2014 .

[12] Sudachi: A Japanese Tokenizer for Business. https:// github.com/WorksApplications/Sudachi.

[13] 佐藤敏紀, 橋本泰一, 奥村学ほか. 単語分かち書き 用辞書生成システム NEologd の運用-文書分類を例 にして. 情報処理学会研究報告 自然言語処理 (NL), Vol. 2016, No. 15, pp. 1-14, 2016.

[14] Hakan Altınçay and Zafer Erenel. Analytical evaluation of term weighting schemes for text categorization. Pattern Recognition Letters, Vol. 31, No. 11, pp. 1310-1323, 2010.

[15] AI テキストマイニング by ユーザーローカル. https://textmining.userlocal.jp/.

[16] Karen Sparck Jones. A statistical interpretation of term specificity and its application in retrieval. Journal of doc- umentation, Vol. 28, No. 1, pp. 11-21, 1972.

[17] React A JavaScript library for building user interfaces. https://reactjs.org/.

[18] FastAPI framework, high performance, easy to learn, fast to code, ready for production. https://fastapi. tiangolo.com/.

[19] https://www.sqlite.org/.

[20] Andreas Mueller. WordCloud for Python. https:// amueller.github.io/word_cloud/.

[21] Noto Sans Japanese - Google Fonts. https://fonts. google.com/noto/specimen/Noto+Sans+JP.

[22] Erik F. Tjong Kim Sang and Fien De Meulder. Introduction to the CoNLL-2003 Shared Task: Language-Independent Named Entity Recognition. In Proceedings of the Seventh Conference on Natural Language Learning at HLTNAACL 2003, pp. 142-147, 2003.


# アジア三言語における代名詞代用・呼びかけ語の共通項目調査

岡野賢二 ${ }^{1}$ 野元裕樹 ${ }^{1}$ スニサー ウィッタヤーパンヤーノン(齋藤) ${ }^{1}$ トゥザライン ${ }^{1}$ 春日淳 ${ }^{2}$
okanok@tufs.ac.jp nomoto@tufs.ac.jp sunisa@tufs.ac.jp thuzarhlaing@tufs.ac.jp kasugaat@kanda.kuis.ac.jp
1 東京外国語大学 2 神田外語大学

## 概要

本研究の目的はいくつかのアジア諸言語における 代名詞代用と呼びかけ語の使用実態を把握し, その 共通点や相違点を明らかにすることである. 対象言語は日本語, 韓国語, マレーシア語, インドネシア 語, ジャワ語, ベトナム語, タイ語, ビルマ語であ る. 代名詞代用に用いられる語彙は言語ごとに差が あるため, これらの言語間で共通して用いられる語彙を抽出し，記述することとした。

本稿ではそのうち東南アジア大陸部の言語である タイ語i, ベトナム語ii, ビルマ語iiiについての共通項目の調査結果について報告する.

## 1 代名詞代用・呼びかけ語

代名詞代用（pronoun substitutes）とは代名詞では ない語を用い一・二人称代名詞と同様に話し手・聞 き手を指し示すことであり，呼びかけ語（address terms）とは会話において聞き手を同定し, その注意 を引くために使われる語である。

例えば「お母さん, お母さんのお兄ちゃんの名前,何だっけ？」（野元他 2021:64）という日本語の発話内に二度「お母さん」が使われているが，はじめ のものは呼びかけ語であり，もうひとつは代名詞代用である。英語では呼びかけ語には“mom”, “mommy”などの語彙が用いられるが, 二人称代名詞 の代用としての用法を幼坚語以外では持たないとさ れる.

代名詞代用に用いられる語彙には親族名称, 職業名, 固有名などがあるが，一般名詞の中にも敬称を 添えることで使えるようになるものもある（「学生

さん」など）.

また「お姉さん」のような親族名称が親族関係"が ない場合にも用いられる、いわゆる虚構的用法もま た非常によく見られる代名詞代用の一現象であるが， その範囲は言語により様々である。例えばビルマ語 の nilé「(男性にとっての) 弟」やタイ語の nóo 「弟妹」, ベトナム語の em (trai)「弟」は代名詞代用,呼びかけ語として用いることができるが，日本語で は話し手よりも年下の親族名称を用いることはでき ない.

さらに代名詞代用が可能な言語において, 代名詞代用の語彙と呼びかけ語の集合の重なりは大きいこ とが知られている.

このような現象は日本語ばかりでなく, 東アジア から東南アジアに分布する言語に非常によく見られ る現象であり, 個別言語記述研究や語学書等でしば しば言及されている. しかしながらこのような現象 を通言語的な観点から包括的に記述しようとした調査・研究は野元他（2021）以外，管見の限りない.

代名詞代用についての記述が十分でないことは翻訳や外国語学習において深刻な問題を引き起こす.前述の日本語の例をそのまま英語に「入れ替える」 なら，二つの「お母さん」は“mom”, “mommy”ある いは“"mother”と訳されるであろうが，それでは正し い英語にならない. 二つ目は your でなければならず，人称の間違いが生じる。逆に英語から日本語に訳す 場合には適切な代名詞代用がなければ不自然な文と なる場合が想定される. 本研究はより正確で自然な

（機械）翻訳に寄与寸るものである.

## 2 代名詞と代名詞代用

人称代名詞と代名詞代用がどのように違うのかに ついて, 田䆶 (1997:14) は境遇性の有無によって説明している。

例えば，二者間で交わされる会話において，Aの

発言内における「私」は A 自身を，B の発言内にお ける「私」はBを指す. また二人称「あなた」では， どちらの発話であっても発話者の会話の相手を指す. すなわち人称代名詞は「話し手がどちらであるかを 反映するという性質」を持っており，これを境遇性 と呼んでいる。

一方，代名詞代用は一般に境遇性を持たない。上記の例にならえば，A の発言内において「お父さん」 が $\mathrm{A}$ 自身を指すとすれば，B の発話内でも「お父さ ん」は Aを指す. Aが発話しようと Bが発話しよう と「お父さん」が指示する対象は変わらない， すな わち境遇性がない，ということになる。

会話内において特定の人物を指示する語彙が境遇性を持たない，というのは固有名詞（人名）や職業名も同じである。ただ，言語にもよるが，固有名詞 や職業名の場合, 対称 (二人称) や他称 (三人称) に用いることできても, 自称（一人称）に用いるこ とができないなどの制約がある場合がある。 日本語 の例でいうなら「社長」は対称や他称には用いるこ とができても, 通常自称に用いることはできないv. つまり代名詞代用と一言で言っても, 語彙によっ て自称，対称のどちらにも使える場合とそうでない 場合があり，また呼びかけに用いることができるか どうか，に異なりがある。 また上述のように敬称を 添えることによって代名詞代用, 呼びかけとして用 いることができる場合もある.

本研究を進めるに従い, 言語によって代名詞代用・呼びかけとして用いることができる語彙に少な からず差異があることが分かってきた. ただ代名詞代用・呼びかけが通言語的にどのような特徴を有し ているかを把握するために，各言語に共通して用い られる語彙について, 言語ごとの振る舞いの違いを 把握する必要がある. そのため本研究では共通調査項目を設定し，調查をすることにした。

## 3 共通調查項目

共通調查項目は意味概念 (日英語と WordNet synset ID で記述）で, 研究対象言語にそれを表す語彙が存在することを条件として選定した. 選定した 項目は 16 種類 147 項目にわたる. 16 分類とその例

（日本語）は以下の通りvi. 分類は Nomoto et al. （2019）の対人関係意味素性に基づく.

表 共通調査項目の分類と例, 語彙数

 & 7 \\

これらの分類は収集した各言語のデータから抽出 し, 取捨選択した. 本稿執筆時点（2022 年 1 月 10 日）で 8 言語で延べ 1629 語が収集されている. 以下分類について簡単に説明する.

(a) Age は年齢により呼び分けられる語彙である.

(b) Family, (c) Fictional family はいわゆる親族名称だ が，(b)は実際に血縁・姻戚関係があるもの，(c)はそ れがないもので，いわゆる虚構用法である。(a)と(b) は年齢や家族関係において付与されるプロパティで ある.これらは性別により語彙が異なることがほと んどである (「3. 子供」, 「26. 子」, 「34.いと こ」を除くvii) .

(d) Education は教育の場において用いられる身分等を表す語彙, (e) Relationship は社会的人間関係を 表寸語彙, (f) Position は社会的地位の名称, (g) Service は職業を表す語彙, (h) Spiritual は宗教的な 地位・資格等を表寸語彙, (i) Royal は王族を指し示 す語彙である. (d) (i)は Nomoto et al. (2019)の意味素性体系の中の Role 素性の下位区分である.

(j) Anaphor, (k) Quantifier, (l) Demonstrative（指示詞）は人そのものを指示するのではない文法的な語彙である. (m) Proper noun は単独で用いられるもの ばかりでなく, 人名十敬称（田中さん）や人名十お 姉さん（慶子お姉さん）などを含む. (n) Modified NP は修飾部を持つ名詞句で，修飾部には属格名詞（お ばあちゃんの孫），直示（そこのあなた），形容詞 （美しいお姉さん）, 関係節（熱のある人，課題を まだ出していない人）を設定してある.

(o) Misc.は(a)（n)に分類できないものである.ま た(p) Personal Pronoun は代名詞代用ではないが, 共通調査項目を考察する上で基準となること，また自称形式が対称として用いられる場合があったり, 呼 びかけ等に使うことができる場合があること, 言語 によっては人称代名詞に複数の表現があり, それら が閉じたクラスをなしていないと考えられる場合が あるため，これを含めた。

## 4 タイ語, ベトナム語, ビルマ語に おける共通項目調査結果

共通項目の調査として，特に代名詞代用（自称,対称）, 呼びかけの用法があるかどうか, そしてあ る場合にはその例文を実例もしくは作例によって収集することとした，以下はスニサー（2021）, 春日 （2021）, 岡野・トゥザライン（2021）の内容をま とめたものとなる.

vii ここに示す番号は共通調查項目における ID.

## 4. 1 Age

(a) Age について, タイ語は対称と呼びかけのみで の使用に限られる。「3. 子供」については，対象が 複数の場合に限られ, 繰り返し用法 dèk dèk として のみ使用する。 ベトナム語は極めて限定的にしか用 いることができない. 「3. 子供（10 歳くらいまでの 年少者, 男女問わず）」が自称，対称に用いること ができること，「4. お嬢さん（10 代後半から 20 代前半, 女）」「5. 若い男性（10 代後半 20 代，男）」「6. 若い女性（10 代後半～20 代，女）」に呼びか け用法があることのみであった。ビルマ語は呼びか けには一切用いることができないが，すべての項目 を自称，対称に用いることができる.

## 4. 2 Family

(b) Family に分類される語彙は, 三言語とも自称,対称，呼びかけとしてかなり一般的に用いられる.特に「8. 父」「9. 母」「22. 兄」「23. 姉」「24. 弟」「25. 妹」は三言語でほぼ一致しているviii. また両親の兄弟姉妹を表す語彙のも同様である.

ただ「29. 孫」「30. 嫁（息子の妻）」「31，婿（娘 の夫）」「32. 甥」「33. 姪」「34.いとこ」につい ては使用しづらい傾向がみられる。夕イ語の場合,

「29. 孫」を対称で使用する場合, lăan 単独では使用しないが母方の祖父が lăan taa「母方の祖父の孫」 と誰の孫かを分かる表現で使用することがある他，呼びかけは対象が複数の場合に限られ使用する際は 複数の意味を表す繰り返し用法 lăan lăan として使用 する.「30，嫁（息子の妻）」「31. 婿（娘の夫）」「32. 甥」「33. 姪」は，嫌味や怒りといった感情を 込める場合にのみ敬称を付けて用いることができる。 ベトナム語では壳談として呼びかけに Con dâu oi.「お嫁さん」, Con rể ơi.「お婿さん」を用いること があるなど，使用可能性は限定的である．ビルマ語 は対称としてはすべて用いることができるが，「29.孫」「32. 甥」「33. 姪」が呼びかけに用いられる以外は使用できない。

なお「34. いとこ」はべトナム語では完全に使用可能であるが，ビルマ語は対称のみ可能，タイ語は 親族を指し示すことができない。

viii タイ語の場合, 兄弟姉妹 sibling については, 性別を表寸形態を除いた phîi「兄/姉」，nóon「弟/妹」の形で可能.

## 4. 3 Fictional Family

(c) Fictional Family（非親族・虚構用法）における 語彙は Family の場合と同じで, 実際の親族関係にな い人物を指示することができる。

ただ Family とは対照的に「8. 父」「9. 母」は言語によっては使用しづらい傾向が見て取れる。タイ 語において例えば友人の父に対して phôo+父親の名前 $=「 〜$ 父さん」は許容されるが，それ以外のケー スでは用いることができないix. ベトナム語の場合 はホストファミリーや，子を持つ親しい友人間で bố / mẹ - con と呼び合う用法があるものの, やはり限定的である. これに対しビルマ語は全く問題なく使用可能である.

また親の兄弟姉妹を表す語彙はほぼすべてが自称，対称，呼びかけに使用可能である。また祖父母につ いても三言語とも問題なく使用可能となっている.

「53. 子」「54. 息子」「55. 娘」「56. 孫」「57. 嫁 （息子の妻）」「58. 婿（娘の夫）」「59. 甥」「60.姪」「61. いとこ」については各言語での使用可能性についてばらつきが多く, 一定の傾向は見られな い. Familiy の場合よりも, さらにその使用可能性が 低くなる傾向が各言語においてみられる。夕イ語の lûuk chaay「息子」lûuk sǎaw「娘」は前述のとおり悪感情を込めるときのみに親族に対して使用が可能だ が，虚構用法を欠く。 ベトナム語の con rể「婿」con dâu「嫁」も同様に虚構用法を欠く. ビルマ語の場合 は親族に対して使えるが，非親族を指し示す用法と しては対称のみを持つ.また三言語すべてで「61. い とこ」は虚構用法を持たないx.

## 4. 4 その他の分類

上記(a)～(c)以外の分類についても若干述べてお く. (d) Education における「62. 先生」に当たる語彙 は三言語とも自称，対称，呼びかけのいずれにも使 われる. 一方「64. 児童」「65. 生徒」「66. 学生」 はタイ語で対称，呼びかけに使われる他は使用でき ない. なお「63. 教授」はベトナム語では他称と呼 びかけに使用することができ，ビルマ語は使用でき ない.

(e) Relationship の「72. 上司」はタイ語とベトナム

語では対称，呼びかけに用いられるが，ビルマ語で は用法自体を欠く。「73．部下」は三言語いずれも 使用できない. これは Education の「63. 教授」と「66.学生」の分布にほぼ一致する.

## 5 調査結果に対する暫定的考察

(a) Age に属する語彙は今回対象とした言語にお いて一定の傾向は見られなかった. 言語ごとに使用 できる語彙の範囲や，どの人称に用いることができ るか，など，別の言語の調査と合わせて考察する必要があろう。

(b) Family, (c) Fictional Family については三言語に 共通する特徴が見られた. Family では親, 親の兄弟姉妹, 自身の兄弟姉妹を表す語彙については, 自称，対称，呼びかけいずれもほぼすべてで使用可能であ る. 子を表す語彙，婿，嫁，いとこ等については言語毎にばらつきはあるものの，使用できないケース が見られた。

Fictional Family では Family と異なり，親を表す語彙が使えない言語があるが, 祖父母, 親の兄弟姉妹,自身の兄弟姉妹を表す語彙については，Family と同様，自称，対称，呼びかけいずれもほぼすべてで使用可能である．子を表す語彙，婿，嫁，いとこ等に ついては言語毎にばらつきはあるものの, Family よ りもさらに使用できないケースが多く見られた.い くつかの語彙では虚構用法を持たないものもある.

またすべての項目で成り立つわけではないが，呼 びかけの用法を持つ語彙については，その多くが対称としても用いることができる強い傾向があること が観察された。

## 6 おわりに

最初に述べたように，代名詞代用という現象は言語ごとに記述されてきたが，それを複数の言語で対照することはほとんどなされてこなかった。

本研究は多くの言語のデータを同時並行的に扱う ことで代名詞代用という現象についての理論構築を 行う基盤を提供するだけでなく，それぞれの語彙に ついてのより精密な記述を可能にするであろう。ま た WordNet など，他の言語資源との連携をすること で, 本研究で対象としてない言語の記述にも適用で さるであろう。さらには機械翻訳，外国語教育とい った分野においても，より正確で自然なアウトプッ トを生成するためのアルゴリズムやアウトプットの 評価等への応用が期待できる.

## 謝辞

本研究は JSPS 科研費 $20 \mathrm{H} 01255$ 基盤研究(B)(一般)

「代名詞代用・呼びかけ表現の通言語学的研究」の

助成を受けたものです.

## 参考文献

ウィッタヤーパンヤーノン(齋藤), スニサー 「タイ 語での代名詞代用表現・呼びかけ表現に関する考察」.『東京外国語大学 東南アジア学』No.26, 1-23, 2020.「共通

調査項目に基づく調査報告（その 1）タイ語」科研費基盤(B)「代名詞代用・呼びかけ表現の通言語学研究」第 6 回研究会資料, 2021.

詞代用表現・呼びかけ表現の通言語学的研究におけ る共同調査項目検証結果一タイ語に関して一」.『東京外国語大学 東南アジア学』No.27, forthcoming.岡野賢二, トゥザライン 「共通調査項目に基づく 調査報告（その 1）ビルマ語」. 科研費基盤(B)「代名詞代用・呼びかけ表現の通言語学研究」第 6 回研究会資料, 2021.

春日淳 「共通調査項目に基づく調査報告（その 1） ベトナム語」. 科研費基盤(B)「代名詞代用・呼びか け表現の通言語学研究」第 6 回研究会資料, 2021.

田窪行則 1. 「日本語の人称表現」. 田窪行則編『視点と言語行動』くろしお出版, 東京, 13-44, 1997.

Nomoto, Hiroki, Kenji Okano, Sunisa meaning annotation for Asian language corpora: The case of TUFS Asian Language Parallel Corpus (TALPCo)”. 言語処理学会 第 25 回年次大会 発表論文集, 846-849. 2019.

野元裕樹, スニサー ウィッタヤーパンヤーノン(齋藤), 岡野賢二, トゥザライン, 南潤珍, スリ・ブデ イ・レスタリ「代名詞代用・呼びかけ表現研究の 現状: タイ語, ビルマ語, マレー語, インドネシア 語, ジャワ語, 朝鮮語」.『東京:語学研究所論集』 25, 63-78, 東京外国語大学, 2021.


# 日本語母語話者にとっての英単語親密度の調査

藤田早苗小林哲生服部正嗣納谷太
NTT コミュニケーション科学基礎研究所
\{sanae.fujita.zc, tessei.kobayashi.ga, hattori.takashi.cp, futoshi.naya.ke\}@hco.ntt.co.jp

## 概要

我々は、主に学習支援への利用を目的とし、日本語母語話者にとっての英単語親密度を調査した。こ れまで、特に日本語母語話者にとっての英単語親密度データで大規模なものは存在しなかった。本調査 では、世界最大規模の 12,398 語を対象とし、評定 も、どの程度「見たり聞いたりするか」「知ってい る・意味がわかるか」「書いたり話したりできるか」 の 3 観点とする詳しい調査をおこなった。評定者は 日本語を母語とする TOEIC800 点以上の大学生・大学院生 42 人 (評定後のスクリーニング通過は 38 人) で、各自全ての語を評定した。さらに、先行研究と の比較分析を行い、特に英語母語話者との違いを示 した。

## 1 はじめに

単語親密度 (FAM; word familiarity) とは, 語のな じみ深さを数値化したものである $[1,2]$. 単語親密度のデータは，さまざまな用途で使用されている $[3,4,5]$ 。特に、多くの語を含む単語親密度データ があると語彙数の簡便な推定が可能になるため [6]、学習支援への利用も期待できる [7]。本稿では、英語の学習支援への利用を目指して実施した日本語母語話者にとっての英単語親密度の調査について報告 する。

英単語親密度のデータは幾つか存在するが、多く は英語母語話者による評定である $[8,9,10]$ (表 1 , 上部)。G\&L[10] とGlasgowNorms[8] はスコットラン ドの、BristolNorms[9] はイギリスの大学の学生・関係者が 7 段階のリッカート尺度で評定しており、約 1,500 語から 5,000 語程度のサイズである。

しかしながら、日本語母語話者にとっての英単語親密度が英語母語話者と同じような值になるとは限 らない。日本の大学で調査したデータとしては、横川 [11] (以下、Yokokawa)によるものがある。関西 の 10 大学の学生 822 人が 2,999 語の評定を行ってい
るが、 1 人が評定する語は 200 語のみである。大変参考になるデータだが、評定した大学生の英語力が 分からない、語彙数推定の規準にするには調査語が 少ない、同じ評定者によって全語評定されたわけで はない、といった問題がある。

一方、単語親密度に限らなければ日本人英語学習者向けの単語リスト作成の試みは、多く存在する $[12,13]$ 。Ehara[12] は、ALC ${ }^{1)}$ が作成したレベル別語彙リスト SVL120002）（12,000 語）を対象に、意味を知っているかなどの評定を行っている。評定者 は大学生 16 人 15 人は東大生。日本語母語話者 14 人) である。規模が大きい上に全評定者が全語を評定している大変貴重なデータである。ただし、1-5 の評定値が振られているものの ${ }^{3 ）}$ 名義尺度のため、評定平均を算出して単語親密度として利用すること はできない。

大学英語教育学会基本語リスト (新 JACET 8000) [13] は、主に教育者からなる委員会がコーパスや検定教科書を元に語を選定し、出現頻度等を基にラン クを付与したものである。また、 8,000 語からなる 基本語リスト以外に、補正資料として、中学・高校 コミュニケーション支援語彙リスト $(3,000$ 語)、共通学術語彙リスト $(2,200$ 語 $)$ も公開されている。大変丁寧に選定・編集されたデータである。

CEFR-J Wordlist ver.1.6 ${ }^{4}$ ) は、6,868 語 (品詞別だと 7,989 項目) に対し、欧州共通言語参照枠 (CEFR) が 定める 6 レベルのうち $\mathrm{A} 1$ ～B2 の 4 レベルを付与し た語彙リストである。各レベルは $\mathrm{A} 1, \mathrm{~A} 2$ が基礎段階の言語使用者, B1，B2 が自立した言語使用者と なっている。このリストは、中国・台湾・韓国の小

1) https://www.alc.co.jp/

2) https://www.alc.co.jp/vocgram/article/svl/

3）各評定値と説明 : 1: never seen the word before, 2: probably seen the word before, 3: absolutely seen the word before but don't know its meaning/ tried to learn the word before but forgot its meaning, 4: probably know the word's meaning/ able to guess the word's meaning, 5: absolutely know the word's meaning

4）東京外国語大学投野由紀夫研究室. http://cefr-j.org/ index.html よりダウンロード
表 1 英語の親密度調査の比較

 &  \\

中高の主力教科書をベースに構築されている。貴重 なデータだが、 4 レベルなので語彙数推定に利用す るには情報量が足りず、かつ、必ずしも日本人のみ 向けとは限らないという問題がある。

本稿では, 日本語母語話者にとっての英単語親密度を調査する (2 章)。本調査では、評定者の英語力 を統制するため、TOEIC800 点以上を条件とした。対象語は異なりで 12,398 語、各評定者は全語を評定 する。 42 人が全評定を実施したが、評定後に実施し たスクリーニングを通過した 38 人分の評定值から 英単語親密度を計算する。さらに、英語母語話者な どの先行研究と特徴を比較・分析する (3 章)。

## 2 英単語親密度調査方法

評定者 評定者は TOEIC800 点以上の、日本語を 母語とする大学生・大学院生である。TOEIC800 点以上としたのは、親密度に差をつけて評定をするた めには、英語がある程度出来る必要があると考えた ためである。

調査への応募者は 53 人だったが、全語の評定を 終了したのは 42 人だった。さらに、調査後のスク リーニングを通過したのは 38 人 (男性 21 人、女性 17 人) だった。 38 人の TOEIC の平均点は、 896 点 (Listening 455, Reading 441) で、年齢は 18 歳から 25 歳、平均 21.5 歳だった。

調査対象語 学習支援への利用を目指し、英語の 教科書コーパス（NTT で構築中。2018 年購入の小 5-高 3 の検定教科書全 72 冊から、物語と会話部分を 書き起こしたもの）に出現する 4,955 語をまず対象 とした。ただし、数字、記号、固有名詞、 2 文字以下の語、日本語のローマ字表記 (“miso”, “kabuki” な ど) は除いた。

さらに先行研究との比較も視野に、新 JACET 8000[13]、Yokokawa、CEFR-J Wordlist ver1.6に含ま れる語は基本的に調査対象とした ${ }^{5)}$ 。これらのリス トに複合語が含まれる場合には、スペースで分割

5） 's, 'm, 're, 擬似語等は除いた
した語も調査対象とした6）。また、Ehara[12] の公開 データから、日本人 14 人による評定值の平均を便宜的に算出、平均値が 3.07 以上の 9,870 語は対象と した。

また、活用形による親密度の違いを見るために 100 語は活用形を追加した。さらに、スクリーニン グのために 101 語を 2 回提示することとし、のべ 12,500 語 (異なり 12,398 語) を調査対象語とした。

対象語の提示順 調査語はランダムにリストにし た。ただし、2 回提示する語は 1 回目提示から 3000 語以上離れて提示されるようにした。調査では、リ ストの昇順/降順に評定する人を半々とした。なお、事後スクリーニングを通過した 38 名のうち、20 名 は昇順、18 名は降順からの提示だった。

調査手順 手順の概要は次の通りである.

## Step0 インストラクション

評定開始前にオンライン説明会を実施。

## Step1 練習フェーズ（10 語）

最初のログイン時に 1 度だけ実施。

Step2 本番フェーズ (12500 語) (付録の図 7 参照)

同じ評定が 15 回続くとアラートを表示。

調査後 事後スクリーニング

2 回評定させた語の重み付きカッパ係数 $\kappa$ が 0.9 よ り低い評定者を除外。

評定が最も離れている場合を 0 、評定が完全一致で なくともより近い値なら重みを重くして一致度を計算する。

謝金は全ての評定実施とアンケート提出で 4 万円 とした。評定サイトは内製し、スマホでも PCでも 評定結果は自動保存するようにした。調査期間は、 2021.6.28 - 2021.8.16 である。評定のペースは評定者自身に任せた。

評定軸 同じ「親密度 (familiarity)」と名付けら れていても、評定者への尋ね方は先行研究によって

6）例えば、“air force” の場合、“air”と “force”も対象語に追加 する

図 1 一貫性評定例 1: 利用英単語親密度 (NTT)

図 4 ヒストグラム:全調査

図 2 一貫性評定例 2: 除外

図 $5 F A M_{\text {in }}$ と Yokokawa

図 3 一貫性評定例 3: 利用

図 $6 F A M_{k n}$ と GlasgowNorms異なる (表 1)。例えば、 $G \& L$ は見聞きしたり使う程度を尋ねているのに対し、GlasgowNorms は、なじ み (familiar)の程度、Yokokawa は見聞きする程度を 尋ねている。

尋ね方によって、評定結果は異なってくると考え られる。そこで本調査では、 3 通りの尋ね方で評定 を実施した。全ての評定者は、全ての語について、「どの程度見たり聞いたりするか $\left(F A M_{i n}\right)$ 「どの程度知っている・意味が分かるか $\left(F A M_{k n}\right)$ 「どの程度書いたり話したりできるか $\left.\left(F A M_{\text {out }}\right)\right.\rfloor$ という 3 つの観点で 7 段階評定を実施する。

なお、FAM in $Y$ Yokokawa と同じ観点である。 G\&L やGlasgowNorms と完全一致する観点はない が、あえて言うなら前者は $F A M_{\text {in }}, F A M_{\text {out }}$ の混合、後者は $F A M_{k n}$ に近いだろう。

## 3 結果と分析

評定者ごとの結果とスクリーニング 図 1-3 スクリーニングに用いた重複語の評定結果の例を示 す。図 1-3には、重複語の重み付きカッパ係数 $\kappa$ だ けでなく pearson の相関係数 $r$ も記載した。図 1,3 は評定結果を利用、図 2 は除外した例である。図 1 の評定者は $\kappa$ も非常に高く、 $r$ も $0.784 \sim 0.812$ と強
い相関がある。一方、図 2 の評定者は、 $\kappa$ も規準以下で相関も弱い。図 3 の評定者は、 $r$ だけをみると 相関は弱いが、 $\kappa は$ 基準値を超えている。 $r$ が低い のは、評定値が真ん中あたりに集まっている事が原因の一つと考えられる。

スクリーニングの方法と規準は色々考えられる。日本語の令和版単語親密度のクラウド調査 [2] では、 $r \geq 0.5$ を間値としている。ただし、令和版単語親密度調査では、重複語は全体の $5 \%$ であり本調査よ りかなり多い。のべ 12,500 語のうち $5 \%$ 重複させ るなら 595 語を重複させる必要があるが、本調査で は 101 語のみ重複させた。重複語が比較的少ない場合、図 3 のように、一致度は高いが $r$ は高くないと いう場合があり得る。そのため本調査では、より一致度を重視して $\kappa$ を閾値として採用した。

本調査で事後スクリーニングを通過した人は、 42 人中 38 人 $(90.5 \%)$ だった。比較のために、 $r \geq 0.5$ を 閾値として計算してみると通過率は $69.0 \%$ となる。 これは、日本語の令和版単語親密度 [2] のクラウド 調査時の通過率 $(35.6 \%)$ よりはるかに高い。なお、実験室に評定者を集めて調査した平成版の単語親密度 [1] では通過率が $80 \%$ だった。本調査はオンライ ン調査で、かつ、12,500 語と評定語が多いにも関わ
表 2 各単語親密度データとの相関

いずれも $p<0.05$

らず、高い通過率となった。この理由として、オン ライン説明会を実施するなどお互い顔の見える状態 で依頼をしたことや、一般的なクラウド調査より高 い謝金設定としたこと等が考えられる。以降の分析 では、この 38 人の評定の平均を利用する。

評定軸同士の比較 本調査結果のヒストグラムを 図 4 に示す. ヒストグラムの形を比べると、 $F A M_{k n}$ はピークが 5.8 程度と最も高い。一方、FAM $M_{\text {out }}$ のピークは 5 程度で、形もよりなだらかである。 $F A M_{\text {in }} \sim F A M_{\text {out }}$ で差が大きい語は少ないが、例 えば $F A M_{i n}$ と $F A M_{k n}$ で 1 以上差があったのは “policewoman”,"mountaintop” など 57 語だった。いず れも $F A M_{k n}$ の方が $F A M_{i n}$ よりも高く、あまり見聞 きしない語でも分かる場合はあるが、よく見聞きす る語が分からない場合は少ないことが読み取れる。

先行研究との比較 表 2 に各先行研究との間の相関係数を示す。各先行研究が同じ語に対する調査で はないので必ずしも公平な比較ではないが、日本人 で調査した Yokokawa とは強い相関があり、特に、同じ「見聞きする程度」を調査した $F A M_{i n}$ と最も強 い相関が見られた。一方、共通の語の散布図 (図 5) からは、Yokokawa の方が值が低い傾向が見て取れ る。これはYokokawa の調査では大学生の英語力を 統制していないのに対し、本調査では TOEIC800 点以上と統制したためだと考えられる。

英語母語話者での調査と比較しても中程度〜強い 相関が見られる。GlasgowNorms と $F A M_{k n}$ で共通 する語の散布図を図 6 に、両者で差が大きい語を 表 3 に示す. 図6からは、GlasgowNorms の方が若干高めな語は多いが、Yokokawa より対角線上付近 の語が多い、つまり、数値が近い語が多い傾向が 見て取れる。さらに表 3 から、 $F A M_{k n}$ の方が高い 語には、“carp”や“mermaid” など日本でもカタカナ でよく使われる語が多く、日本語の影響が見て取 れた。一方、 $F A M_{k n}$ の方が低い語には、“duvet” や "plaster”のような身の回りのものや、“wee”のよう表 3 GlasgowNorms と $F A M_{k n}$ で差分が大きい語

な子どもであればよく使うであろう語が多く含まれ ていた。こうした違いは母語か第 2 言語かに拠ると ころが大きいと考えられる。

## 4 まとめと今後の課題

本稿では, オンライン調査による信頼度の高い親密度評定方法を提案、日本語母語話者にとっての英単語親密度を調査・分析した。調査した語は異なり で 12,398 語と、英単語親密度調査としては過去最大規模である。評定は 42 人完了したが、最終的に事後スクリーニングを通過した 38 人分の評定值の平均を用いた。評定者は TOEIC800 点以上とした。さ らに、構築した英単語親密度データを先行研究と比較し、特に英語母語話者のデータとの比較により、日本語の影響や母語かどうかの違いによる影響を示 した。

今後は、構築した英単語親密度データを用いた英語の語彙数推定や、語彙数と読解力との関係調査に も取り組みたい。

## 謝辞

この成果の一部は、国立研究開発法人新エネル ギー・産業技術総合開発機構 (NEDO) の委託業務の 結果得られたものです。

## 参考文献

[1]天野 成昭 and 近藤 公久. 日本語の語彙特性. 三省堂, 東京, 1999.

[2]藤田早苗 and 小林 哲生. 単語親密度の再調査と 過去のデータとの比較. In 言語処理学会第 26 回年次大会発表論文集 (NLP-2020), number F4-4, 2020.

[3]若松 千裕, 石合 純夫, 林圭輔, and 相原伸子. 語義聾症例における文字言語の理解過程 -通常見 かけない文字表記語による検討-. 高次脳機能研究 (旧 失語症研究), 36(1):9-19, 2016.

[4]水野 りか and 松井 孝雄. 文字の漢字表記語の意味処理に対する構成漢字の影響と処理順序. 心理学研究, 90(2):201-206, 2019.

[5]高橋三郎. 学齢期の吃音児における語の長 さが吃音頻度に及ぼす影響. 音声言語医学, 59(2):188-193, 2018.

[6]藤田早苗, 菅原 真悟, 小林哲生, 新井庭子, 山田武士, and 新井 紀子. 小学生から高校生に対 する語彙数調査と単語親密度との関係分析. In 言語処理学会第 26 回年次大会発表論文集 (NLP-2020), number E1-3, 2020.

[7]藤田早苗, 服部正嗣, 小林 哲生, and 納谷太. 日本人英語初学者の語彙数推定方法の検討. In 第 34 回人工知能学会全国大会 (JSAI-2020), 2020.

[8]Graham G. Scott, Anne Keitel, Marc Becirspahic, Bo Yao, and Sara C. Sereno. The glasgow norms: Ratings of 5,500 words on nine scales. Behavior Research Methods, 51:1258-1270, 2019.

[9]Hans Stadthagen-Gonzalez and Colin J. Davis. The bristol norms for age of acquisition, imageability, and familiarity. Behavior Research Methods, 38:598-605, 2006.

[10]K. J. Gilhooly and R. H. Logie. Age-of-acquisition, imagery, concreteness, familiarity, and ambiguity measures for 1,944 words. Behavior Research Methods \& Instrumentation, 12:395-427, 1980.

[11]横川博一. 日本人英語学習者の英単語親密度 文字編. くろしお出版, 2006 .
[12]Yo Ehara, Nobuyuki Shimizu, Takashi Ninomiya, and Hiroshi Nakagawa. Personalized Reading Support for Second-Language Web Documents by Collective Intelligence. In the 2010 International Conference on Intelligent User Interfaces (IUI-2010), pages 51-60, 2010.

[13]大学英語教育学会基本語改訂特別委員会, editor.大学英語教育学会基本語リスト 新 JACET8000.桐原書店, 2016.

## 付録 (Appendix)

図 7 調査画面


# 状況別感情極性日本語辞書の作成とその活用

高田 篤志 1 狩野芳伸 ${ }^{2}$ 山崎俊彦 1
1 東京大学大学院 2 静岡大学
a_takada@hal.t.u-tokyo.ac.jp kano@inf.shizuoka.ac.jp
yamasaki@cvm.t.u-tokyo.ac.jp

## 概要

言葉の意味や文脈の多様性に対応できることを目指して、20の異なる状況に対してラベル付けされ た日本語の感情極性辞書 Japanese Situation-dependent Sentiment Polarity Dictionary (SiSP) を作成した。この 辞書は、25,520 の日本語単語からなり、各単語の各状況に対してクラウドワーカーによって 10 件ずつ 極性の投票を行ったものである。このSiSPを用い て、辞書内の各単語の極性、および文脈を考慮した 文中の辞書単語の極性を予測した。いずれの実験で も、状況を考慮しないべースライン辞書に比べて、安定して感情極性の予測を行えることを確認した。

## 1 初めに

顔画像や音声、文章などからそこに込められた人間の感情を理解することは学術的・産業的価値が高 く、これまでも様々な試みがなされてきた。テキス トから感情を解析するためには、一般的に感情極性辞書が用いられる。既存の感情極性辞書の多くは、単語に対してポジティブかネガティブとラベル付 けされているものか、いくつかのクラスカテゴリに 単語を分類しているものが多い。しかし、単語は文脈や状況によって様々な意味を持ち、異なる印象を 与えることがある。例えば「速い」という言葉は、「レーシングカーが速い」という文脈ではポジティ ブな意味となる。一方、友達と歩いていて、その友達の歩くスピードが「速い」という場合ネガティブ な意味となる。現在の感情極性辞書では速いという 単語のみに注目して単一のラベルを付けているた め、このような多様な状況や意味に対応することが できない。またクラスラベルをアノテーションした 感情極性辞書ではカテゴリ内の単語の感情極性の強弱は無視されている。

そこで本研究では、20 種類の状況それぞれに対し て感情極性値ラベルを付与した Situation-dependent
Sentiment Polarity Dictionary (SiSP) を作成した。この SiSP は我々の知る限り状況別に感情極性値をラベリ ングした最初の感情極性辞書である。SiSP は後日 オープンソースで公開する予定である。本論文では SiSP の概要、及び SiSP を用いて行った単語単位で の極性予測と文脈を加味した極性予測の実験結果を 示す。

## 2 関連研究

## 2.1 感情極性辞書

感情極性辞書の多くは、ポジティブかネガティ ブの軸でラベル付けされた単語のリストである。 ポジティブ、ネガティブ問わず感情極性ラベルは 主観的なラベルであるため、人の手でラベルを 付けられることが多い。Linguistic Inquiry and Word Count (LIWC) [1] は 6,000 以上の単語を 125 のカテゴ リに分類した辞書である。Choudhury ら [2] はこの 辞書を用いて、ツイートからうつ病の発症を予測 した。The Affective Norms for English Words (ANEW) lexicon [3] は Valence-Arousal-Dominance (VAD) モデ ルに基づいて Valence, Arousal, Dominance のそれぞ れについて 1 から 9 までのラベルを付けた 1,024 個 の英単語からなる辞書である。

SentiWordNet [4, 5] は WordNet [6] を拡張したもの である。各単語についてポジティブとネガティブ及 びニュートラルについて 0.0 から 1.0 の值でラベル 付けする。ポジティブ、ネガティブ、ニュートラル の各カテゴリのラベルの値の合計が 1 になるように 正規化されている。SentiWordNet の尔点としては多 くの単語がニュートラルに分類されており、明らか にノイズと見なせるラベルが多いことが挙げられ る。本研究で作成した SiSP は 20 種類の状況に対し

ラル (ポジティブでもネガティブでもないがその状況でその単語を使うことはある)、関係ない(その状
況についてその単語を使うことがない)、意味がわ からないの各ラベルが 0 から 1 までの数値で表現さ れている。また一つの単語の一つの状況についてラ ベルの合計值が 1 となるように正規化されている。

## 2.2 固有表現認識

Named Entity Recognition (NER) は文中に含まれる 固有表現を抽出するタスクである。文中の固有表現 （Named Entity）を抽出し、人名、組織名、地名などの 固有名詞と、日付、時間表現、数量、金額などの事前に定義した表現に分類する。NER で頻用される IOB フォーマットでは、固有表現の先頭トークンに は B、非先頭トークンにはIタグを付与し、またど の表現にも属さないトークンには $\mathrm{O}$ と割り振る。例 えば、'Mark Watney visited Mars' という文について、人のタグを'Person', 場所のタグを'Location' とすると Mark は B-Person、Watney は I-Person、visited はどの トークンにも属さないので O、Mars は B-Location と なる。タスクによっては地名を都市、州、国などの 細かい場所として分類するものや人名について政治家や芸能人などのサブカテゴリーを設定するものも ある。代表的なデータセットとして CoNLL2002 と CoNLL2003 [7] が挙げられる。これらのデータセッ トでは、スペイン語、オランダ語、英語、ドイツ語 の新聞記事からなる文に、4 種類のタグ (人物、組織、場所、その他すべての種類の実体）を付与して いる。他にもさまざまな言語のデータセットが公開 されている $[8,9,10,11]$ 。

## 3 SiSP の構築

既存の感情極性辞書では、単語が使用される状況 を反映することができていない。そこで、本研究で は 20 種類の状況を設定した新しい感情極性辞書を 作成した。設定した状況は以下の 20 種類の状況は 以下の 20 種類である: 経済、コミュニケーション、子育て、健康、生存意欲、職、対人関係、家族、緊張、精神状態、仕事、外出、家庭、忙しさ、気力、睡眠、食欲、好奇心、身体的状態、恋愛。これら 20 の 状況は、Social Network Servises (SNS) 等において個人的・社会的な感情や精神状態を分析することを念頭に設定した。今後、必要に応じて状況の多様性を 増やすことは可能である。

辞書に含まれる単語は Takamura ら [12] と Kobayashi ら [13] の辞書から 25,520 語 (それぞれ の辞書から 14,400 語と 11,120 語)を使用した。ラべ
ルの選択肢はポジティブ、ネガティブ、ニュートラ ル(ポジティブでもネガティブでもないがその状況 でその単語を使うことはある)、関係ない (その状況 についてその単語を使うことがない)、意味がわか らないの 5 通りを設定した。 5 つ目の「意味がわか らない」という選択肢は、予備実験において意味が 難解な単語をワーカーに示したときいい加減に選択する傾向が見られたため、それを防ぐ目的で設定 した。

アノテーションは Yahoo! クラウドソーシング サービスを利用し、10 人に各単語、各状況のラベル 付けを依頼した。辞書の品質を保証するために 2 種類のチェック問題を設定し、そのチェック問題に対 して正しく回答できた参加者の回答のみを採用し た。チェック問題を通過した参加者は参加者全体の 40\%であった。SiSP のラベルは、20 の状況に対し て 10 人が投票したものである。したがって、ラべ ルは各単語が各状況に対して肯定的か否定的かとい うバイナリ値を示すものではなく、5つの選択肢へ の投票率となっている。

表 2 は、SiSP の中で状況によってラベルが異なる 単語の例をいくつか示している。「干渉」という単語は、恋愛の状況において (Positive, Negative $)=(0.1$, $0.6)$ であるのに対し、精神状態では $(0.5,0.2)$ になっ ている。「完売」は 経済では Positive $=0.8$ であるが、外出では Positive $=0.1$ となる。「敵意」は人間関係で は Negative $=0.9$ だが、子育てでは Negative $=0.3$ に変化している。

## 4 実験

作成した辞書を用いて、単語の極性予測を行っ た。本研究では 2 種類の設定で実験を行った。 1 つ 目の実験は、個々の単語の極性を独立に予測するこ とである。2つ目の実験は、短文に含まれる単語の 極性を文脈を考慮して予測することである。なお、本稿ではぺージ制限により精神状態についてのみ結果を示す。状況を考慮しないべースラインとして、今回用意した 20 個の状況に対する極性ラベルを加算した上で正規化を行い、5つのラベルの合計値が 1 になるようにした辞書を作成した。

本実験では、ニュートラル、関係ない、意味がわ からないのラベルを統一して Others ラベルとして扱 う。すなわち、ポジティブ、ネガティブ、Others の 3 クラス問題とし、最もラベル値 (投票数) が大きい ものを分類の正解クラスとして扱う。学習データに
表 1 SiSP の諸元

表 2 SiSP の例

は精神状態についてポジティブの単語が 1,118 個、 ネガティブの単語が 3,364 個、Others が 9,624 個含ま れている。

## 4.1 単語単体の極性予測

辞書に含まれる単語を学習データとテストデー タに分割した。辞書の単語をべクトル化するために word2vec [14]を使用した。word2vec の事前学習モデ ルには鈴木らの [15] 事前学習した 300 次元のモデ ルを使用した。このべクトルを入力としてサポート ベクターマシン (SVM) を用いて単語の極性分類を 行った。

分類結果を表 3 左に記す。ポジティブ、ネガティ ブラベルの予測はベースラインに比べて大きく改善 が見られる。Others の予測精度は下がっているが、 これはポジティブとネガティブの予測精度が上がっ たことによる相対的な変化であると考えている。ポ ジティブについての precision と recall の結果は著し く低いものになっている。これは作成したデータ セットについてポジティブのデータが少ないためで あるからと考えられる。またべースラインについて も同様にポジティブに分類されたものはなくほとん ど Others に分類されている。

## 4.2 文章中の単語についての極性予測

次に、文脈情報を考慮した場合の感情極性予測実験を行った。学習・テストデータに twitter APIを用
いて集めたツイートを用いた。未知の単語の極性を 予測する設定にするために、テストデータには収集 した全ツイートの中で 1 回だけ現れる SiSP 単語を 含め、残りを学習データとして用いこの SiSP 単語 の極性を推測させ評価する。一回としたのは、出現頻度の高い SiSP 単語を訓練データに回すことで十分な学習データ量を確保するためである。具体的に は、Twitter API を用いて 20,530 件のツイートを収集 し、SiSP に登録されている単語を 1 つ以上含むツ イートを入力データとして用いた。得られたツイー ト文を形態素解析し、各単語に極性ラベルを付与し た。ツイートには SiSP 単語が含まれることのみで、 その他の単語がなんであるかの情報が付与されてい ないが、SiSP 登録単語以外は Others として扱った。 モデルとしては、BERT [16] の日本語訓練モデルを 使用した。結果は 3 の右側に記されている.ベース ラインと比較すると、ポジティブとネガティブとも に precision, recall, F1 スコアは精神状態の方が優れ た值を示している。また表 3 左と比較すると文章 の文脈情報がモデルの極性予測に役立つことが分 かる。

## 5 考察

単語のみでの極性分析については、Others のラベ ルを持つ単語が非常に多い (ポジティブ: 1,118 , ネガ ティブ:3,364, Others: 9624) であることが精度の低下 の原因であると考えられる。そこで、ポジティブ、

表 4 「精神状態」についての単語の感情極性予測におけるオーバーサンプリングとアンダーサンプリングの効果。

ネガティブのラベルを持つ単語の数が Others ラベル を持つ単語と同じになるように、オーバーサンプリ ングとアンダーサンプリングを行った。word2vec に おけるオーバーサンプリングはポジティブとネガ ティブのデータについて Others のデータと同数に なるまで繰り返した。文中の単語の極性予測のアン ダーサンプリングは Others ラベルの単語のみで構成 される文を除外することで行った。

オーバーサンプリングの結果を表 4 左に示す。表 3 のオーバーサンプリング前の結果を比較すると オーバーサンプリングが precision, recall, F1 スコア の性能改善に大きく貢献していることが分かる。特にポジティブラベルについての改善が著しい (+0.418 ポイント)。ネガティブについて、精神状態 のオーバーサンプリングの precision が全ての設定の 中で最も優れていた。

アンダーサンプリングの結果を表 4 右に示す。表 3 の結果と比較すると、ポジティブ、ネガティブ 共にF1 スコアが向上していることが分かる。また ネガティブについての precision、ポジティブについ ての recall も改善されている。しかし、文脈を考慮 した単語のアンダーサンプリング は、単語のみの オーバーサンプリングほど大きな効果は得られな い。これは、学習データから Others 文のみを除外し たため、正負の単語のバランスがとれていないため と考えられる。

モデルが文脈を考慮して感情極性をしているこ とを示すため、対照実験として単語単位でテスト データを BERT に入力した。その結果を表 5 に示表 5 BERT にて文脈を考慮しない場合の「精神状態」に ついての単語の感情極性予測。

す。表 4 右と比べると一様に性能が下がっており、我々のモデルは文脈を感情極性予測のヒントにして いることが伺える。

## 6 まとめ

本研究では、20 種類の状況を考慮した新しい感情極性辞書である Situation-dependent Sentiment Polarity Dictionary (SiSP) を構築した。単語単体での極性の 予測では、特にネガティブの precision, recall, F1 スコ アがベースラインより大幅に向上する結果を得た。 さらに、学習データセットをオーバーサンプリング することで、予測性能が向上した。また、ツイート を学習データとした未知語の極性予測においても、 ベースラインの手法と比較して状況別の予測が優れ た結果を示した。また、ツイート単位と単語単位の 比較から、入力データの文脈情報も感情極性を推論 する上で重要であることが示された。

本辞書は、20の状況を持つオープンソースの感情極性辞書としては我々の知る限り世界初の試みであ る。今後は、この辞書を他言語に拡張することを考 えている。

## 謝辞

本研究の一部は JST, CREST JPMJCR19F4 および 東京大学大学院情報理工学系研究科の IXT プロジェ クトの支援を受けて行われた。本論文におけるクラ ウドソーシングについては、東京大学大学院情報理工学系の倫理審査委員会から承認を得て行ったもの である。

## 参考文献

[1] James W Pennebaker, Martha E Francis, and Roger J Booth. Linguistic inquiry and word count: Liwc 2001. Mahway: Lawrence Erlbaum Associates, Vol. 71, No. 2001, p. 2001, 2001.

[2] Munmun De Choudhury, Michael Gamon, Scott Counts, and Eric Horvitz. Predicting depression via social media. In Seventh International AAAI Conference on Weblogs and Social Media, 2013.

[3] Margaret M Bradley and Peter J Lang. Affective norms for english words (anew): Instruction manual and affective ratings. Technical report, (Tech. Report C-1). Gainesville: University of Florida, Center for Research in Psychophysiology, 1999.

[4] Andrea Esuli and Fabrizio Sebastiani. Sentiwordnet: A publicly available lexical resource for opinion mining. In Language Resources and Evaluation, 2006.

[5] Stefano Baccianella, Andrea Esuli, and Fabrizio Sebastiani. Sentiwordnet 3.0: an enhanced lexical resource for sentiment analysis and opinion mining. In Language Resources and Evaluation, Vol. 10, pp. 2200-2204, 2010.

[6] George A Miller. Wordnet: a lexical database for english. Communications of the ACM, Vol. 38, No. 11, pp. 39-41, 1995.

[7] Erik F Sang and Fien De Meulder. Introduction to the conll2003 shared task: Language-independent named entity recognition. arXiv preprint cs/0306050, 2003.

[8] Anil Kumar Singh. Named entity recognition for south and south east asian languages: taking stock. In The IJCNLP08 Workshop on Named Entity Recognition for South and South East Asian Languages, 2008.

[9] Khaled Shaalan. A survey of arabic named entity recognition and classification. Computational Linguistics, Vol. 40, No. 2, pp. 469-510, 2014.

[10] Darina Benikova, Chris Biemann, and Marc Reznicek. Nosta-d named entity annotation for german: Guidelines and dataset. In Language Resources and Evaluation, pp. 2524-2531, 2014.

[11] Jakub Piskorski, Lidia Pivovarova, Jan S̆najder, Josef Steinberger, and Roman Yangarber. The first cross-lingual challenge on recognition, normalization, and matching of named entities in slavic languages. In The 6th Workshop on Balto-Slavic Natural Language Processing, pp. 7685, 2017.

[12] Hiroya Takamura, Takashi Inui, and Manabu Okumura. Extracting semantic orientations of words using spin model. In The Association for Computational Linguis- tics, pp. 133-140, 2005.

[13] Nozomi Kobayashi, Kentaro Inui, Yuji Matsumoto, and Kenji Tateishi. Collecting evaluative expressions for opinion extraction. Journal of Natural Language Processing, Vol. 12, No. 3, pp. 203-222, 2005.

[14] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781, 2013.

[15] 鈴木正敏, 松田耕史, 関根聡, 岡崎直観, 乾健太郎. Wikipedia 記事に対する拡張固有表現ラベルの多重付与. 言語処理学会第 22 回年次大会発表論文集, pp. 797-800, 2016.

[16] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

## A 参考情報

表 6: 全ての状況についての単語の極性予測精度


# better off 構文の定着過程に関する認知言語学的考察

大谷直輝
東京外国語大学
otani@tufs. ac. jp

## 概要

本稿では、人手でタグ付けした英語の歴史コーパ ス (COHA) の調查に基づき、I'd be better off $\{\mathrm{dead} / \mathrm{left}$ alone/going home $\}\lceil\{$ 死んだ／一人取り残された/家 に帰った\}ほうがましだ」のような、形式面でも意味面でも不規則性が見られる better off 構文がどの ような過程を経て英語に定着したかを検証するため の仮説を提示する。特に、コーパスのデータを認知言語学の観点から解釈することで、well off（裕福な） の比較級であった、better off に、(1)意味の一般化、

(2)仮想状況の前景化、(3)付加句の補語化という 3 つ の変化が起こった結果、better off 構文が誕生したと 主張する。本研究が提示する仮説は、言語使用から 生じる知識のありようを実証的に考察する学際的な 研究において、自然言語処理の観点から検証される。

## 1 はじめに

現代英語には、(1)のように、形容詞 better off $の$ 叙述用法に非時間的関係 (atemporal relation) [1]を表す 様々な要素が後続し、全体が「〜したほうがましだ」 という意味を表す用法が広範に観察される。

(1) (a) She is better off $\{$ with/without $\}$ me.

(b) I'd be better off at home with all those kids!

(c) Maybe I'd be better off in jail.

(d) He is better off $\{$ buying it/learning it $\}$.

(e) I'd be better off \{left alone/gone from here $\}$.

(f) I'd be better off $\{$ dead/alone $\}$.

(1)では、better off の後に、関係を表す様々な要素 (前置詞句、現在分詞、過去分詞、形容詞、等）が出現 し、主語が望む仮想的な状態を表す。この用法には、 (1d)(1e)(1f)のように、better off に分詞句や形容詞の ような不規則的な要素が後続するものも含まれる。本稿では、歴史的なデータ (Corpus of Historical American English: COHA）[2]に対して認知言語学の 観点から考察することで、better off に補語句が後続 する用法 (以下、better off 構文) がどのように出現・定着したかの過程を示す仮説を提示する。

## 2 better off 構文の特徴

構文文法では、「形式と意味の対からなる構造」 である構文 (Constructions) の体系的なネットワーク が人間の言語知識の中枢を占めると考える $[3,4]$ 。構文は伝統的には形式や意味に不規則性が見られる構造と定義されてきたが、近年、十分な頻度で使用さ れる形式と意味の対も構文として記憶されると主張 されている[5]。ある構造を構文と認定するための具体的な基準として以下の四点が示されている[6]。

(2) (a) 形式面に不規則性が見られる。

(b) 意味面に不規則性が見られる。

（c）表現に独自の制約が見られる。

(d) コロケーションに選好性が見られる。

以下、[7, 8]の文献に基づき、(2)の基準を用いて、 better off の本用法を構文とみなせるかを検討する。

## 2.1 第 1, 2 の基準 : 形式と意味の不規則性

better off には形式面と意味面で不規則性が見られ る。まず、形式的には、形容詞 better off に前置詞句、現在分詞、過去分詞、to 不定詞、形容詞など、補語 として解釈される非時間的関係を表す様々な要素 （XP 句と呼ぶ）が後続する。XP 句は従来の品詞論 では分類できないカテゴリーを構成する。また、XP 句には、(1d)(1e)(1f)の形容詞や分詞句のように、形容詞には後続しない不規則的な要素が現れるものも見 られる。次に、意味的な不規則性については、第一 に、XP 句は、（現状よりもましな）主語の仮想的な 状態を表す。第二に、XP 句が表す事態は必ずしも一般的に好ましいわけではないため、語用論的な誇張 や皮肉が生じやすい。第三に、better off 構文は「〜 したほうがましだ」という非構成的な意味を持ち、全体が非認識モダリティと類似した機能を持つ。

## 2.2 第 3 の基準：表現独自の制約

語源的に better off は形容詞 well off（裕福な）の 比較級であり、他の形容詞と同様に、限定用法（the better off person）と叙述用法 (The person is better off)
が確認できる。一方、better off 構文は通常、叙述用法のみで用いられ、ごく一部の高頻度で用いられる イディオム的な例外以外は、限定用法で用いられる ことはない（the 'better off dead' man）。

## 2.3 第 4 の基準 : コロケーションの選好性

better off 構文には共起する要素に選好性が見られ る。 the British National Corpus (BNC) [9]における better off の叙述用法の全 823 例の調査では、補語句を取る better off 構文が 545 例 (I'd be better off \{dead, left alone, buying it, without you\}など）、補語句を取らな い例が 278 例 (He is better off now. / She is financially better off.など）見られた $[7,8]$ 。補語句有りと補語句無しのグループを比較すると、補語句有りのグルー プは補語句無しのグループとは対照的に、(i) 助動詞 と、(ii) $1 / 2$ 人称主語との共起頻度が高く、better off 構文には選好するパターンがあることが分かった。

表 $11 / 2$ 人称主語と better off $の$ 叙述用法の共起

表 2 助動詞と better off $の$ 叙述用法の共起

また、 $1 / 2$ 人称主語や助動詞と better off 構文が共起 する例を見たところ、提案や勧誘など、発話行為文 で使われる傾向がある点が確認された。

(3) (a) You'd be much better off with someone else. (b) You may be better off going to the RSPCA.

(c) I am better off without you.

## 3 Better off 構文の通時的な調査

本節では、COHA を用いて、どのように better off 構文が英語に定着したかを理論的に考察する。19 世紀の better off には(4)のような用法が見られ、現在の ような補語句を取る用法はほとんど見られない。

(4) (a) He is now better off (than before).

(b) He will be better off financially.

以下に、[10]における COHA の調査に、理論的な考察を加えながら、意味的にも文法的にも特異的な better off 構文が英語に定着した過程を考察する。

## 3.1 データと方法論

COHA は 1810-2009 年のアメリカ英語約 4 億語か らなる通時コーパスである。本研究では、COHAか ら better off の全例 (2642 例) を抽出し、その中から、手作業で叙述用法の better off を抽出 (2527 例) す る。その後、表 3 の変数を各例にコーディングし、変数間の関係を定量的に処理することで、better off が使われる文脈の変化を明らかにする。

表 3 better off にコーディングする変数と値

 \\

図 1 better off に共起する要素の変化

## 3.2 結果

調査の結果、better off には以下のような変化が観察された。第 1 に、better off と than との共起頻度は 一貫して減少していた。第 2 に、better off と認識モ ダリティの助動詞との共起頻度は、1920 年以降、増化した。第 3 に、不規則的な補語句（形容詞と分詞句）が 1950 年以降、増え始めた。さらに、字義的な 意味の割合に注目をすると、19 世紀の better off は多 くが字義的な「裕福」という意味 (例 He is financially better off than her)であったが、2000 年代に入ると、

字義的な意味は $17 \%$ まで減少していた。

## 3.3 考察と仮説の提示

最初に、better off $の$ 字義的用法と better off 構文の 違いをまとめる。形式面では、better off 自体が文の 補語として機能する字義的用法とは異なり、better off 構文では、better off に主語の状態を表す補語句が 後続する。また、字義的用法の better off は、主語が 比較対象より豊かな状態を表すが、better off 構文で は、better off ではなく、その補語句が主語の仮想的 な状態を指し、「その状態の方がましだ」という意味となる。本稿では、better off に後続する要素に再分析 (reanalysis) が起こり、better off 構文が定着す るまでの過程を 4 段階に分けて示す仮説を提示する。

(5) better off 構文が定着するまでの 4 段階

第一段階 : 字義的な「裕福な」の意味

$\downarrow$ 虑味の一般化

第二段階：「より良い」という意味

$\downarrow$ 仮想状況の前景化・比較対象の背景化

第三段階：「一定の条件でより良い」

$\downarrow$ 仮想状況を表す要素の補語化

第四段階：「〜の方がましだ」（構文誕生）本稿では、better off に、(i) 意味の一般化、(ii) 仮想状況（=セッティング1））の前景化、(iii) セッテ イングの補語化、が起こることで、他に類例がな い、主語の仮想的な状態を表す補語句を持つ better off 構文が誕生したと考える。

## 3.3.1 第一段階 : 字義的な意味

第一段階は、better off が well off $の$ 比較級として 「より裕福な」という意味を表す段階である。主語 は比較対象より、経済的に裕福な状態にある。

1) セッティングとは事態が生じる状況と定義される。[11]
(6) (a) I am now better off than before.

(b) John is better off now.

(c) He is financially better off than me.

の人物の状態が比較され、主語が than 句によって明示的に示すことができる比較対象より裕福な状態で あることを表す。

## 3.3.2 第二段階: 意味の一般化

第二段階は、字義的な「裕福な」から「より良い」 へ、意味の一般化が起こる段階である。

(7) (a) You are better off at home.

(b) Well, I think he couldn't come. I am better off with you. And perhaps I can help, too.

(7)の各例では、二つの状態が比べられ、主語の状態 が比較対象に比べて「より良い」ことが示される。

ここでは、better off に後続する at home や with you のような前置詞句が、より良い状態となる状況（つ まり、セッティング）を表している。例えば、(7a)で は「家にいる」、(7b)では「あなたと一緒にいる」と いう状況において、主語は「より良い」状態となる。

## 3.3.3 第三段階 : 仮想状況の前景化

第三段階は、主語が置かれた仮想的な状況（セッ ティング）が前景化される段階である。better off で は二つの状態が比較されるが、一度、「より良い」 という用法が定着をすると、現実のみじめな状態と 比較をして、仮想世界ではより良い状態であること を示す用法が広く見られるようになる。

(8) (a) I would be better off if I worked harder.

(b) You might be better off without her.

(c) You would be better off at home.仮想世界における主語の状況が前景化されているこ とは、better off がモダリティを表す要素（助動詞、法副詞）や if 節との共起が増えたことから示唆され る。また、仮想世界が前景化されると同時に、比較対象となる現状が背景化され、better off $の$ 比較の意味は薄れていく。このことは、than の出現頻度が継続して減っていることから示唆される。

## 3.3.4 第四段階 : セッティングの補語化

第四段階は、再分析が起こり、文の付加句 (adjunct phrase）として主語がより良い状態となる仮想的な セッティングを表していた要素が、主語の仮想的な
状態を表すようになる段階である。この段階では、 better off と後続する要素（＝付加句）の結びつきが 強くなり、[better off 補語句]として再分析されるこ とで、better off 構文が出現すると考えられる。補助記号を用いると再分析は(9b)と(9c)のように表せる。

(9) (a) I'd be better off without you.

(b) I'd be [better off $]_{\text {complement }}[\text { without you }]_{\text {adjunct }}$

(c) I'd be [[better off [without you $\left.]_{\text {complement }}\right]_{\text {complement }}$ (9b)は付加句 (adjunct)の without you を、(9c)は補語句 (complement) の without you を表記したものである。た だし、 better off に後続する要素が補語句であるか付加句であるかは排他的なものではなく、付加句の補語句としての再分析は段階的に進むものである。

この再分析を引き起こす要因として考えられるの が、文脈における語用論的な意味の語彙的意味への 定着である[12]。つまり、(8b)の You might be better off without herを例とすると「彼女がいない状態が(い るよりも）より良い」という意味は、文脈内で「彼女がいない方がまし」な状況を表すことがあるが、同様の文脈で繰り返し用いられることにより、文脈 から生じる「〜の方がましだ」という語用論的意味 は better off XP という句が持つ意味に再解釈される。同時に、better off と後続する要素の結びつきが強く なり、文法面でも再分析が起こったと考えられる。

この再分析は、 better off に助動詞との共起が増え、 than との共起頻度が低くなった 1900 年頃にはすで に進行していたと考えられる。一方、この再分析の 定着をコーパス内で明確な形として捉えられるのは、 better off 後の補語句の中に、不規則的な補語句が増 え始める 1950 年頃である。すなわち再分析によっ て、better off に非時間的な要素を表す補語句が後続 するようになった結果、標準的な文法では不規則的 とみなされる(10)のような、形容詞、分詞句が補語句 の位置に現れる用法が増え始めたと考えられる。

(10) I'd be better off \{dead, left alone, going home\}

## 3.4 better off 構文に関するまとめ

COHA の調査結果に基づいて、better off 構文が誕生した経路をまとめると以下のようになる。

(11) 字義的な better off に意味の一般化が起こり「よ り良い」という意味を表す中で、仮想的な状況 の前景化と比較対象の背景化が起こり、better off に「（仮想的な状況で）より良い」という意味を表す用法が強くなる。次に、better off に再分析が起こり、付加句として機能していた仮想的な状況を表すセッティングが better off との 結びつきを深め、better off の補語として再解釈 されることで、better off 構文が誕生する。

ただし、better off における用法の変化は、 better off 全体ではなく、一部のみに起こるため、現代英語の better off には字義的な意味から better off 構文まで、意味の多層化 (layering) が見られる。[13]

## 4. 学際的な研究に向けて

本稿で提示した仮説は、COHA のデータに基づく 一方で、一般的な言語変化に見られる傾向を重視し て考案したものである。今後、仮説の妥当性につい ては実証的な検証が必要である。以下に 3 点、今後 の課題を挙げる。第一に、本稿では、認知的な自然 さから、意味の一般化の後に、仮想世界の前景化が 起こったと仮定した。ただ、COHA には 1810 年以降 のデータしか含まれておらず、また、1800 年代はデ 一夕数が少ないため、仮想世界の前景化と意味の一般化が起こった順序が異なる可能性も含め、さらに 検証が必要である。また、一般的に文法化は複数の 要素が相互に関連しあいながら同時に進行するもの であるため、各変化の相互作用に関する考察も必要 である。第二に、1900 年以前に現れる少数の不規則的な補語に関する説明が必要である。特に、言語使用域（register）ごとで、better off 構文の定着度の程度が異なる可能性や、高頻度の語彙化した要素 (she would be better off dead than alive $の$ dead than alive な ど）が与える影響について検討する必要がある。第三に、表 1 を見ると、1920 年頃から法助動詞が増え ているように見えるが、この増加に質的な差異があ るかどうかについて、さらに検証が必要である。

最後に、本稿で提示された仮説を実証的に検証す る際の方法の 1 つとして、自然言語処理の技術の応用が考えられる。自然言語処理では、発話された言語データに基づいて、人間が持つ言語知識のありよ うを探るが、これは、「言語使用の中から繰り返し 用いられるパターンが記憶され、類似性に基づいて 抽象化されることで、語彙と文法を含めた言語知識 が創発する」と考える用法基盤モデル[14,15]と理念 を共有する。そのため、発話された言語データから 表層レベルの類似性に基づいて教師なしで一般化さ れたクラスターは、人間が持つ言語知識の近似値と して、本稿の仮説を実証するための収束証拠の 1 つ となる可能性がある。そのため、本稿の仮説は、[16] で自然言語処理の観点から検証を進めていく。

## 謝辞

本研究は JSPS 科研費 19K00657 の助成を受けたも のである。また永田亮氏（甲南大学）には、原稿全体にわたり詳細なコメントをいただいた。

## 参考文献

[1] Ronald W. Langacker. Foundations of Cognitive Grammar I: Theoretical Prerequisites. Stanford University Press. 1987

[2] Mark Davies. Expanding horizons in historical linguistics with the 400-million word corpus of historical American English. Corpora, Vol. 7, No. 2, pp. 121-157, 2012.

[3] Charles J. Fillmore, Paul Kay, and Mary C. O'Connor. Regularity and Idiomaticity in grammatical constructions: The case of let alone. Language 64: pp. 501—538, 1988.

[4] Adele Goldberg. Constructions: A Construction Grammar Approach to Argument Structure. University of Chicago Press. 1995.

[5] Adele Goldberg. Constructions at Work -The Nature of Generalization in Language. Oxford University Press. 2006.

[6] Martin Hilpert. Construction Grammar and Its Application to English. Edinburgh University Press, Edinburgh, 2014/2019

[7] 大谷直輝. 英語の better off 構文について. 日本言語学会第 157 回大会予稿集, pp. 246-251, 2018.

[8] Naoki Otani. A constructional analysis of the 'better off construction' in English. The 15th International Cognitive Linguistics Conference. 2019.

[9] BNC Online: The British National Corpus Online (BNC World Edition). Shogakukan Corpus Network. URL: http://scnweb.jkn21.com/BNC2/

[10] Naoki Otani. The rise of modal meaning: The case of better off. The 11th International Conference on Construction Grammar. 2021.

[11] Ronald W. Langacker. Cognitive Grammar: A Basic Introduction. Oxford University Press. 2008.

[12] Paul J. Hopper and Elizabeth C. Traugott. Grammaticalization, 2nd ed. Cambridge: Cambridge University Press. 2003.
[13] Paul J. Hopper. On some principles of grammaticization. Approaches to Grammaticalization, pp. 17-35. John Benjamins. 1991.

[14] Ronald W. Langacker. A usage-based model. Topics in Cognitive Linguistics, pp. 127-161. John Benjamins. 1988.

[15] Michael Barlow and Suzanne Kemmer. Usage-Based Models of Language. CSLI Publications. 2000.

[16] 永田亮 - 大谷直輝 - 高村大也 -川崎義史. 言語処理的アプローチによる better off 構文の定着過程の説明. 言語処理学会第 28 回年次大会発表論文集.


# 言語処理的アプローチによる better off 構文の定着過程の説明

永田亮 ${ }^{1}$ 大谷直輝 ${ }^{2}$ 高村大也 ${ }^{3}$ 川崎義史 ${ }^{4}$
1 甲南大学 ${ }^{2}$ 東京外国語大学 3 産業技術総合研究所 ${ }^{4}$ 東京大学
nagata-better_off a hyogo-u.ac.jp.

## 概要

本稿では，言語処理的アプローチにより，better off の新しい用法が定着した経緯に関する仮説を検証する。具体的には，コーパス中の用例をクラスタ リングすることで用法変化を定量化し，言語学的な 観点から提示された仮説に一致するかどうかを検証する。その結果は，従来の仮説を大枠で支持する ものの，派生するいくつかの可能性を示唆する．ま た，分類結果に基づき，関連した新たなリサーチク エッションを提示する. 更に，本アプローチの一般的な分析への拡張可能性についても示す.

## 1 はじめに

現代英語の better off は意味的にも統語的にも不規則性がある [1]. 語源的には, better off は well off（裕福な）の比較級とされ, 主に形容詞の叙述用法で 使用される（以降，この用法を字義的用法と表記).次のような例が典型的である：

(1) I am better off than before.（以前より裕福だ）

一方，better off の新しい用法は，

(2) a. You're better off dead. (死んだ方がましだ)

b. You're better off buying it. (買った方がましだ)

のように, 意味的にも統語的にも字義的用法とは異 なる。例文 (2)では，「裕福な」という意味は失わ れ，代わりに「〜した方がましだ」という意味が表 される. 更に，統語の観点からは， better off は be 動詞の補語にもかかわらず，更にそれ自体の補語と解釈できる形容詞 (dead) や分詞 (buying it) をとると いう特殊な構造を示す. 以降では，補語と解釈でき る句を従えるこの用法を新用法と呼ぶことにする。

本稿の主題は，新用法がどのように定着したかを 説明することにあるが，その仮説として次の四段階 を経る大谷の仮説 [2]がある：

(Stage 1) 字義的用法のみが存在する初期段階

(Stage 2) 字義的意味が一般化する段階
(Stage 3) 仮想状況を想定した用例が増加する段階 (Stage 4) 新用法が定着する段階

(Stage 1) では，例文 (1)のような経済的な状況のみ を表す. (Stage 2)では，適用範囲が拡張され，経済的な状況以外に対しても「より良い」という意味を 表すようになる。(Stage 3) では，現状とは異なる仮想的な状況を想定した用例が増える。例えば，You would be better off without her. （彼女がいないほうが よいだろう）のような例である。この例は，「彼女 がいない」という仮想的な状況を想定している. 前段階で適用範囲が拡張されたことで，仮想的な状況 との比較が増えたと考えられている．そのため，非現実的な状況を表す would などの助動詞や if 節との 共起が多くなる。また，仮想的な状況や条件を表す 語句（上の例文では without her）が better off に後続 することも増える。(Stage 4)では, better off に後続 する仮想的な状況や条件を表す語句が，その出現位置のため，主語の仮想的な状態を表す補語として再解釈される. その結果, 文法的に不適格な例文 (2) のような構造が許されるようになる. それに伴い，仮想的な状況が強調され，（仮想的な状況より）「〜 の方がましだ」という意味を表すようになる．以上 のように，この仮説では，字義的用法から出発し，適用範囲が拡張され，更に仮想的な状況を想定した 事例が増え，新用法が定着すると予想する。

本稿では，言語処理的なアプローチで，この仮説 を検証する。具体的には，コーパスから得られる情報のみに基いて better off の事例をクラスタリング し, 用法変化（年代と各用法の頻度）の図として表 す. その図において仮説の各段階が観測されるかを 検証する. 本稿の成果は次の 3 点に要約される. 第一に，検証結果は大谷の仮説に大枠従うものの，細 かい点で別の可能性があることを示す. 第二に，結果の詳細な分析により, 新たな仮説とりサーチク エッションを提示する. 第三に，以上の結果を踏ま えつつ，今回のアプローチに基いた，より一般的な 言語分析の可能性を示す.

## 2 分析方法

分析の基本はクラスタリング結果を用法変化のグ ラフとして表すことにある。横軸と縦軸をそれぞれ 年代と各クラスタ内の事例数としたグラフである.

分析対象として, Corpus of Historical American English (COHA) [3] 中のノイズを除去した CCOHA [4] を用いる。1810〜2010 年代の文書を収録する約 4.7 億語からなる歴史コーパスである。各文書には，作成年とジャンルの情報が付与されている。 付録 A に 示す前処理を施し， better off を含む 2,591 文を得た。

## 2.1 事例のクラスタリング

事例のクラスタリングには， $k$-means++ [5]を用い る. $k$-means++を適用するためには，各事例をべク トルに変換する必要がある. 本研究では，言語モデ ルである BERT（bert-base-uncased）を用いた. 各事例を文単位で BERT に入力し, better off の出現位置 に対応する最終層の隠れ状態を連結してべクトル とした。なお， bert-base-uncased を用いているため，大文字／小文字の区別はされない.

クラスタ数 $k$ は，仮説が想定する四段階に合わ せて４とした．また，次に述べる人手の分類に合 わせ， $k=3$ としたクラスタリングも行った. なお， クラスタ番号の割り当てには任意性があるが，年代 と頻度から決定した. すなわち, 出現年代が古い順 に 1 から番号を割り当てた. 同じ年代で同時に出現 するクラスタについては, 頻度が高い方に若い番号 を割り当てた. 以降では, 表記の煩雑さを避けるた め, 各事例に割り当てられるクラスタ番号をクラス と表記することとする (クラスタそのものに言及す るときはクラスタと表記する).これに合わせて，人手の分類結果もクラスと表記する。

## 2.2 人手による分類

比較のために，人手でも 2,591 事例を分類した文献 [2] を参考に, 次の 3 クラスに分類した。なお,判断に迷う事例および形容詞の叙述用法以外の事例 は，以降の分析では対象外とした（2,591 事例のう ち 24 が該当した).

（説明の都合上，この順で導入するが, ）クラス 3 は新用法に対応する. 判断基準は, better off が形容詞 (例 : dead), 分詞 (例 : learning it), to-不定詞句 （例：to stay here）を従える事例とした。この条件を 満たす事例は全てクラス 3 とした。
クラス 2 は，仮想的な状況を想定した用法に対応 する。文献 [1] に倣い，仮想的な状況を表す語句を 伴う事例とした. 具体的には, would や may などの 助動詞, if 節, probably, maybe などの法副詞を含む 事例をこのクラスとした。

それ以外をクラス 1 とした. 仮説に対応させる と, (Stage 1) と (Stage 2) に属する事例をまとめたク ラスとなる。本来であれば，字義的用法と経済的意味以外に拡張された用法を区別して二つのクラスに 分けるべきであるが，その判別は非常に困難である ため，文献 [2] 従い両者を一つにまとめた。

以上の基準に基づいて，2,591 事例に対して人手 でクラスを割り当てた. 作業は，第一著者と第二著者で独立に行った. 各作業者が独立でシングル チェックを行った.この時点での両者の一致率は 95\%（ $\kappa=0.92 ）$ であった. その後，すり合わせを行 い最終的なクラスを決定した.

## 3 結果

図 1 と図 2 にそれぞれ，クラスタリングノ人手の 分類により得た用法変化の図を示す. 横軸が年代,縦軸が各クラスの事例数に対応する. 両図は非常 に類似するといえる。二つのグラフ間の平均二乗誤差（の平方根）は 8.5 であった1)（人手の分類結果から得た図同士の平均誤差は 2.1)。また，クラス の一致率は $72 \%(\kappa=0.56)$ であった（人同士 $95 \%$ $(\kappa=0.92))$.

仮説の検証に先立ち，クラスタリングの結果が人手の分類に対応するかを確認した．各クラスタの重心 $^{2)}$ に最も近い事例 10 件を観察した。

クラスタ 3 については, 全 10 件とも補語に現在分詞を従える事例であった（一方，クラスタ 1 と 2 については，一件も該当しなかった)，クラスタ 3 の全事例を確認したところ, $83 \%(=430 / 521)$ は, 形容詞，現在分詞，to-不定詞のいずれかを従える用例 であった.したがって，クラスタ 3 は新用法に（ほ ぼ）対応するといえる.

クラスタ 2 についても人の分類基準に対応するこ とが確認できた. 重心最近傍 10 件中 9 件は, would などの助動詞を伴う事例であった. 残り 1 つは, "He believes they are better off here." というものであっ た. 従属節の内容は実際に生じた事象でなく, 主語 が想定する事象であるので，この事例も仮想的な状

図1 クラスタリングを用いて得た用法変化の図 $(k=3)$.

況を表すと解釈することもできる。その他のクラス タ 2 の事例をランダムに 36 件サンプリングしたと ころ $70 \%$ は人手の分類基準を満たす事例であった.

クラスタ 1 は，完全には一致しないが，人間の分類基準に準ずることを確認した. 重心最近傍の 10 件のうちクラス 2,3 の条件を満たすものはそれぞれ 0 件， 3 件であった. ただし，他の二つのクラスタ に比較すると多様な事例を含んでおり, 別の解釈も 存在する可能性もある.

コーパスから得られる情報のみに基いた教師なし 分類（クラスタリング）と人手の分類がよく一致す ることは興味深い. 単語の分布から見ても better off の三クラスは特徴的であることを示唆する.

話を本題に戻し，用法変化の図に基いて仮説の検証を行う. 図 1, 図 2 共に, 1960 年代頃より新用法 であるクラス 3 が増加し始める. この時期以降が新用法が定着した（Stage 4）に対応する．その少し前 の 1910～1950 年代には，クラス 2（仮想的な状況を 表す語句を伴う用例）が増加傾向にある（参考のた めに，比率にした図を付録 B に示す)．ただし，人手で作成した図 2 では，その増加はそれほど顕著で はない. クラス 3 の定着と並行してクラス 2 が増加 しているようにも見える。一方で，2000 年代以降は 若干であるが減少している点も興味深い.

図 3 に，クラスタ数を 4 にした場合の結果を示す.紙面の関係から根拠は付録 B に譲るが，各クラスタ の解釈は次のとおりである．クラスタ 1 から順に， （1）than を伴う典型的な比較の意味が強い用法，（2） than 以外の語句（here など）が後続する用法，(3) 仮想的な状況を表す語句を伴う用法，(4) 新用法と解釈した. 図 3 から，1860 年代ごろまではクラス 1 の 事例が主流であることがわかる（(Stage 1) に対応). その後，クラス 1 は相対的に減少し，代わりにクラ

図 2 人手の分類結果から得た用法変化の図.

ス 2 とクラス 3 が増加する（(Stage 2〜3）に対応).新用法であるクラス 4 が定着する前の 1920～1950 年代に，クラス 3 が増加しているが顕著ではない.

以上の結果は，次のようにまとめられる．用法変化の図は，大谷の仮説を大枠で支持する．特に，字義的用法から仮想的な状況を表す語句を伴う用法，新用法に移行している傾向はどの図でも確認でき る. 一方で，細かい点では仮説に必ずしも一致しな い部分も見られる. 次節で，仮説との差異を考察 する。

## 4 考察

仮説では，仮想的な状況を想定する用法が増えた ことにより，新しい意味と構造が生じたと予想す る. 図 2 では，新用法の better off が生じたのは 1870 年代である。その後，新用法が少数使われる期間が しばらく続く（以降で何度か取り扱うため，この現象をトッピング現象 $\left.{ }^{3}\right)$ と呼ぶことにする). 図では， クラス 2 が増加した 1910〜1950 年代以前にトッピ ング現象として新用法は生じている. このことを考慮すると，1860 年代以前にクラス 2 が増加した（す なわち (Stage 3) が起こった) 可能性も否定できな い. 残念ながら，今回用いた CCOHA では 1860 年代以前の better off の事例が少なく判断がつかない.

また，大谷の仮説とは（Stage 3）と（Stage 4）の 順序が逆になる説も考えられる。すなわち，何らか の別の要因で新用法が生じ，その結果，仮想的な状況を想定する用法が増えたという説である．実際，図 1～ 3 はそのように解釈もできることを前節で見 た. 新用法が生じた別の要因として，ある個人また 一部のグループが新用法を使い始めたということが
 トッピングのように見えるためこのように名付けた.

図 3 クラスタリングを用いて得た用法変化の図 $(k=4)$.

考えられる. 各年代/ジャンルにおける新用法の出現頻度を求めてみると，1900 年代以前は全て文学作品で出現することが確認できた (付録 B の図 5 に頻度情報を示した)。1910 年代には，雑誌，ノンフィ クションにも出現し, その後, 全てのジャンルに広 がる. 事例数が少ないため，推測の域を出ないが作家のような創造的な文章を書く一部の人により新用法が作り出され，他者に広まった可能性もある。

更に，前節でみたように，2000 年代以降になると 仮想的な状況を想定する用法が減少傾向になる. ク ラスタ数 4 の場合，クラス 3 では $62 \%$ の事例が助動詞を伴うが，クラス 4 になると $39 \%$ まで減少する (具体的な頻度は付録 B の表 1 に示した).この現象 は，助動詞が担っていた仮想的な状況が better off に 移行した語彙化 (lexicalization) の例として説明でき る. すなわち，わざわざ助動詞でマーキングせずと も, better off だけで仮想的な状況を想起させられる ようになったということである.この現象は，少な くとも，仮想的な意味を想定する用法が新用法に強 い関りをもつことを示唆する。

以上のように，今回得られた結果は，仮説の精緻化や修正を促す多くの示唆を与える. 現段階では，大谷の仮説から派生した複数の説が考えられ，更な る調査が必要であると結論付けられる．特に，(1)仮想的な状況を想定する用法が増えて新用法が増え たのか，その逆であるのか，（2）そもそも新用法が いつどのように生じたのか，（3）なぜ新用法になる と助動詞との共起が減るのか, というのは新たな疑問であり，今後の更なる研究が待たれる。

## 5 一般の場合への拡張可能性

本節では，今回のアプローチがより一般的な言語 の分析に拡張可能かを考察する. 大前提として，言語モデルの内部を直接観測することは困難であるの
で，結果の解釈には常に注意が必要である。また，今回は解釈可能なクラスタが得られたが，他の現象 に対しても同様のことが成り立つとは限らない.

このように注意すべき点はあるものの，本アプ ローチは様々な言語分析に応用できる可能性があ る. 本稿のように，仮説の検証と修正に用いること ができる. また，何らかのアイデアを思いついた際 に, 用法変化を可視化し, 研究をさらに進めるかど うかの意思決定にも利用できる. 人手の分析は有効 な手段ではあるが，時間とコストがかかる．例え ば, 今回の場合, 第一著者は, 2,519 事例の分類に 20 時間ほど費やした. クラスタリングの場合は十数秒 である. この簡便さと即時性は大きな利点である.

別の有効な応用例として，3節で導入したトッピ ング現象の発見を取り上げる。トッピング現象は，特異点である可能性が高いが，（ある期間内で）低頻度である上に，いつ始まるかは未知であるため,人手で発見することは困難である。一方，今回のア プローチでは視覚的に効率よく発見できる. 少々作為的な例ではあるが，実例として，単語 appleを対象にしたところ 1930～1970 年代にトッピング現象 が発見された (図は付録 C に示した). 1970 年代は Apple Computer Company が創業された時期であり，正に appleが新しい意味を獲得した瞬間である.

以上のように，言語処理的アプローチは，言語学 における質的分析と組み合わせることで，実証性の 高い方法論を提供することができる可能性がある.特に，表層情報のみに基づいた教師なし学習という アプローチは，実際の言語使用を基盤として言語体系を捉えようとする用法基盤モデル $[6,7]$ の考え方 と親和性が高く，今後更なる発展が，言語学，言語処理の両面から期待される.

## 6 おわりに

本稿では，言語処理的なアプローチを用いて better off の新用法に関する仮説の検証を行った. そ の結果，従来の仮説を概ね支持するが，派生するい くつかの可能性があることを示した. また，（1）仮想的な状況を想定する用法が増えて新用法が増えた のか，その逆であるのか，（2）そもそも新用法がい つどのように生じたのか，（3）なせ新用法になると 助動詞との共起が減るのか，という新たなリサーチ クエッションも示した. 更に, 本アプローチの一般的な分析への拡張可能性も示した.

## 謝辞

本研究は JSPS 科研費 18K11456，19K00657 の助成を受けたものである.

## 参考文献

[1] 大谷直輝. 英語の better off 構文について. 日本言語学会第 157 回大会予稿集, pp. 246-251, 2018.

[2] 大谷直輝. better off 構文の定着に関する認知言語学的考察. 言語処理学会第 28 回年次大会発表論文集, 2022.

[3] Mark Davies. Expanding horizons in historical linguistics with the 400-million word corpus of historical American English. Corpora, Vol. 7, No. 2, pp. 121-157, 2012.

[4] Reem Alatrash, Dominik Schlechtweg, Jonas Kuhn, and Sabine Schulte im Walde. CCOHA: Clean corpus of historical American English. In Proc. of the 12th Language Resources and Evaluation Conference, pp. 6958-6966, 2020.

[5] David Arthur and Sergei Vassilvitskii. k-means++: the advantages of careful seeding. In Proc. of 18h Annual ACMSIAM Symposium on Discrete Algorithms, pp. 10271035, 2007.

[6] Ronald W. Langacker. A Usage-based Model. Stanford University Press, Stanford, 1988.

[7] Michael Barlow and Suzanne Kemmer. Usage-Based Models of Language. CSLI Publications, Stanford, 2000.

図 4 人手の分類結果から得た用法変化 (比率).

## A コーパスに対する前処理

今回の分析に合わせて，CCOHA に対して次のよ うな前処理を行った。ノイズと思われる文書は除外 した. 具体的には，「@@年.txt」（例：@@1525.txt） のように年とファイル名と思われる文字列を含む文書は分析対象外とする (この処理により, 全 140,743 文書から 140,665 文書へ減少)。また，文書中のタグ （

など）は除去した.

この結果から， better offを含む文を抽出した. 文脈が短い事例 (better off $の$ 左右の単語数が 5 未満) は対象外とした. 更に，伏字が含まれている文も対象外とした ${ }^{4)}$. その結果，2,591 文を得た. 人手の分類の際に 提示順の影響が出ないように，ランダムに 並べ替えた。

## B クラスタリング結果の詳細

図 4 に，人手での分類結果から得られた用法変化 の図を示す。本文とは異なり，縦軸は各クラスの相対頻度である。

$k=4$ とした場合のクラスの解釈根拠は次の通り である。表 1 に，各クラスにおける than，助動詞 ${ }^{5)}$ ，新用法が出現した割合を示す. 表 1 によると，クラ ス 1 でのみ, than を伴う頻度が圧倒的に高い. これ らの事例は, better off の典型例であるといえる。ク ラス 2 は，than の代わりに別の句 (at home, without it, now など）が後続する事例が増える.このこと は，経済的な意味からより一般的な意味へ拡張され たことを示唆する。ただし，クラス 1 でも，経済的 な意味以外でも使用されている事例も多数存在す るので，大谷の仮説の (Stage 1) と（Stage 2）に完全

4） COHA および CCOHA では，著作権の制限により，一定の 割合で文章の一部が伏字になっている.

5）ここでは，構文解析は行わず，単純に better off の右側／左側に, than/助動詞が出現するかを数えた. これは better off 構文は特殊であり，構文解析がうまくいかないことが多いこと を考慮したためである.なお，ここでは助動詞を can, could, may, might, shall, should, will, would とした.

図 5 年代/ジャンル別の新用法頻度.

図 6 単語 apple におけるトッピング現象.

に対応するわけではない. 更に，表 1 の助動詞の列 に目を向けると，クラス 3 での出現頻度が相対的 に高いことが分かる．興味深い点として，クラス 4 では助動詞の頻度がクラス 3 に比べて低くなって いる; 両者の差は有意である（母比率の差の検定, $p<0.01$ ). この点については, 4 節で考察している.

図 5 に，各年代/ジャンルにおける新用法の出現頻度を示す. 新用法はフィクションから別のジャン ルへ広がっていることが分かる。

## C apple におけるトッピング現象

単語 apple に対してトッピング現象を観察してみ る. 今回のアプローチを用いて用法変化を図示し た $^{6)}$.ただし，クラスタ数は 2 とした. その結果は 図 6に示す通りである。図 6より，1930～1990 年代 にトッピング現象がみられる。

表 1 各クラスで than, 助動詞, 新用法が出現する割合.

6）bert-base-uncased を用いているため，大文字／小文字の情報 は利用していないことに注意されたい。