# 目的言語文の固有表現タグ付与に基づく Transformer ニューラル機械翻訳

南端 尚樹，
田村 晃裕,
同志社大学 理工学部
\{cguc1041@mail4, aktamura@mail, tsukato@mail\}.doshisha.ac.jp

## 概要

本研究では，目的言語文の固有表現（NE）をタグ の付与により考慮する Transformer に基づくニュー ラル機械翻訳（NMT）モデルを提案する．目的言語文の NEを考慮する従来の NMT は，原言語と目的言語間で対応付いた $\mathrm{NE}$ 部分を，NE の種類を表す 記号に置き換えて翻訳を行う。そのため，原言語側 と対応付かない目的言語文の NE は考慮できない。 また，NE の構成単語を原言語文の翻訳で考慮でき ない. そこで本研究では, 目的言語文内の $\mathrm{NE}$ の前後に NE の種類と開始/終了情報を含むタグを追加 して翻訳を行う，Transformer NMT モデルを提案す る. WMT2014 の英語とドイツ語間のニュース翻訳 タスクにおいて提案モデルを評価した結果，目的言語文の NE を考慮しないべースラインの NMT に比 べて，英独翻訳では最大 0.09 ポイント，独英翻訳で は最大 0.35 ポイント BLUEが向上した.

## 1 はじめに

NLP では古くから機械翻訳の研究が行われてお り，近年では，NMT の研究が盛んである。NMT の 性能改善を目指す研究の流れの一つとして, 原言語文や目的言語文中の単語の品詞や文構造といった 言語学的素性を活用する試みが行われている。 その 中で，言語学的素性として，人名や地名，組織名と いった特定の表現を表す NE に着目し，NEを活用 するNMT の研究が行われている $[2,3,4,9]$.

$\mathrm{NE}$ を活用する従来の NMT モデルのほとんどは，原言語文に対する NEの認識（NER）結果を用いる. $\mathrm{NE}$ には複合語が多く存在するため, 原言語文の $\mathrm{NE}$情報を NMT に与えることで原言語文中の単語の チャンク情報を翻訳時に活用できる。 また，多義語 に対する NER は翻訳時の語義曖昧性を減らす効果 があるという報告もある [9]. しかし，これらの従来モデルは目的言語文の NE を活用していない.

目的言語文の NE を考慮する NMT モデルは， $\mathrm{Li}$ ら [2]により提案されている. この従来モデルは，原言語文と目的言語文の双方で NER を行い，原言語と目的言語間で対応付いた $\mathrm{NE}$ 部分を，その $\mathrm{NE}$ の種類を表す記号 $(\mathrm{NE} \text { 種別記号 })^{1)}$ で置き換えた文 をNMT で翻訳する。そのため，原言語文と目的言語文の両方の $\mathrm{NE}$ タガーが必要である. そして，原言語と目的言語間で対応付いた NEしか活用できな いため，原言語側と種類や粒度が異なる目的言語文 の $\mathrm{NE}$ の情報は失われる。また， $\mathrm{NE}$ 部分は記号に 置き換わってしまうため, NE の構成単語を考慮し て原言語文を翻訳できない。

そこで本研究では，目的言語文中の $\mathrm{NE}$ の前後に， NE の種類と開始／終了情報を含むタグを付与して 翻訳を行う，Transformer NMT モデルを提案する。提案モデルでは，原言語と目的言語間で NER 結果 の対応付けを行わずに，目的言語の NER の結果に のみ基づいて目的言語文の NE を活用する。そのた め，原言語と目的言語で $\mathrm{NE}$ の種類や粒度が異なっ ていても，NER で認識された全ての NEを考慮でき る. さらに，提案モデルでは目的言語文内の単語を 削除しないため，NE の構成単語を考慮した翻訳が 可能である.

WMT2014 の英語とドイツ語間のニュース翻訳タ スクにおいて提案モデルを評価した結果，目的言語文の NE を考慮しないべースライン NMT に比べて，英独翻訳では最大 0.09 ポイント，独英翻訳では最大 0.35 ポイント BLUE が向上した.

## 2 従来モデル

本節では，目的言語文の $\mathrm{NE}$ 考慮する従来の NMT モデル [2]を説明する。従来モデルは，原言語

1）数値・時間表現を表す「 $\mathrm{N} / \mathrm{T}\lrcorner$ ，地名を表す「 $\mathrm{LOC}\lrcorner ， 人$ 名を 表す「PER」の 3 種類の NE 種別記号を使用している.

と目的言語間で対応付いた NEを NE 種別記号で置 き換えた文を翻訳する文翻訳機と，NEを独立に翻訳する $\mathrm{NE}$ 翻訳機で構成される。文翻訳機と $\mathrm{NE}$ 翻訳機は，それぞれ，単語レベルと文字レベルの RNN に基づくNMT[1]を用いている.

学習時には，教師データである対訳文の原言語文及び目的言語文に対して NERを行い，認識された $\mathrm{NE}$ 原言語と目的言語間で自動で対応付ける. そ して，対応付いた NEを $\mathrm{NE}$ 種別記号で置き換えた 対訳文を文翻訳機の教師データ，対応付いた NE の 対を $\mathrm{NE}$ 翻訳機の教師データとして使用する.

推論時には，原言語文に対して NERを行い，認識された NEを NE 種別記号に置き換えた文を文翻訳機で翻訳する。また，認識された $\mathrm{NE}$ を $\mathrm{NE}$ 翻訳 で翻訳する. そして, 文翻訳機の結果と $\mathrm{NE}$ 翻訳機 の結果を統合することで目的言語文を生成する.

この従来モデルには大きく 2 つ問題点がある. 1 つ目は，考慮できる NEが限られることである。従来モデルは，原言語と目的言語間で対応付いた $\mathrm{NE}$ しか活用できないため，原言語側と種類や粒度 が異なる目的言語文の NE の情報は失われてしま う.また，原言語の NE タガーが用意できない場合，目的言語の NE タガーが用意できたとしても目的言語の NE を活用することはできない。2つ目は，NE 部分を NE 種別記号に置き換えてしまうため，文翻訳機では NE の構成単語を考慮した翻訳を行えない ことである. 翻訳する際の手がかりから $\mathrm{NE}$ の構成単語の情報が失われるので，特に NE を正しく認識 できなかった場合， $\mathrm{NE}$ 種別記号に置き換えること で翻訳性能が悪化する可能性がある。

## 3 提案モデル

本研究では，目的言語文中の $\mathrm{NE}$ の前後に，NE の 種類と開始／終了情報を含む NE タグを付与して翻訳を行う，Transformer NMT モデルを提案する。図 1 亿提案モデルの概要を示す.

提案モデルでは，学習時に，教師データである対訳文の目的言語文に対して NER を行い，目的言語文内の $\mathrm{NE}$ を特定する. そして, 特定した $\mathrm{NE}$ の前 に「<NE 種別>」，後に「</NE 種別>」という $\mathrm{NE}$ タ グを付与する. 図 1 では, 「Patric Fresacher」という $\mathrm{NE}$ の前後に，種別が人名である $\mathrm{NE}$ の開始と終了を 表す「<PER>」と「</PER>」がそれぞれ付与されて いる.この NE タグを付与した目的言語文を用いて Transformer NMT[10] を学習する。 推論時は, 学習し

## 学習時

However, Director Patrick

Fresacher seems to have little trust in the text.
Dabei scheint Regisseur Patrick Fresacher dem Text wenig zu vertrauen

Dabei scheint Regisseur <PER> Patrick Fresacher $\langle/ P E R>$ dem Text wenig zu vertrauen

Transformer

## 推論時

図 1 提案モデルの概要図

た Transformer NMT で原言語文を翻訳する。その結果，生成された文に NE タグが含まれている場合は， NE タグを削除した文を目的言語文として出力する。

提案モデルで原言語側の $\mathrm{NE}$ を活用する際は，学習時に，対訳文中の原言語文にも目的言語文と同様 に NE タグを付与し，原言語文と目的言語文共に NE タグが付与された対訳文対から Transformer NMT を 学習する。推論時には，原言語文に対して NERを 行い NE タグを付与してから，学習した Transformer NMT で翻訳を行う。そして，生成した文に NE タグ が含まれている場合には，NE タグを削除した文を 目的言語文とする.

このように，提案モデルでは原言語の NER に依 らず，目的言語のNER で識別された全てのNEを考慮できる。また提案モデルでは，元々の目的言語文 の情報に NE の情報が追加される（NE の構成単語 の情報が失わない）ため，NER の認識誤りによる悪影響を抑えることができると考えられる。

## 4 実験

## 4.1 実験設定

本実験では，提案モデルの有効性を WMT2014 の 英語とドイツ語間のニュース翻訳タスク2)において

表 1 教師データ中の NE の統計量

} & $27.06 \%$ & $34.80 \%$ \\

検証する。提案モデルのベースとする Transformer NMT は，Fairseq[6] の Transformer Base を使用した. この $\mathrm{NE}$ を考慮しないベースモデルと，ベースモデ ルで原言語のNEのみを考慮するモデル，目的言語の $\mathrm{NE}$ みを考慮するモデル，原言語と目的言語の両言語の $\mathrm{NE}$ 考慮するモデルの 4 つのモデ ルの性能を評価し，比較する。翻訳性能の評価指標は BLEU（\%）を用いる。ハイパーパラメータは Vaswani ら [10] の設定に従った. 英語文とドイツ語文は BPE でサブワード分割した。語彙は両言語で 共有し語彙サイズは 40,000 とした。また学習は，開発データに対する性能が 5 エポック連続で向上しな くなったら終了させた.

NE タガーは Stanza[7] を使用した. 英語の NER モ デルは CoNLL-2003 のデータから学習したモデル， ドイツ語の NER モデルは GermEval 2014 のデータか ら学習したモデルを使用した. 各モデルが認識する $\mathrm{NE}$ は，「LOC（地名全般）」，「ORG（企業，団体，組織など)」，「PER（架空の人物も含む人名）」，「MISC （その他の固有表現）」の 4 種類である. 表 1 に，本実験で使用する教師データにおいて NE タガーで認識された NE の統計量を示す。表 1 より，認識した NE の数は英語の方がドイツ語よりも多いことが分 かる.

## 4.2 実験結果

実験結果を表 2 に示す。表 2 より，英独翻訳と独英翻訳の両方で，NE を考慮しないモデルと原言語文の $\mathrm{NE}$ のみを考慮するモデルのどちらに対して も，目的言語文の NE を考慮することで BLEU が改善できることが分かった. また，原言語と目的言語 の両言語の NE を考慮したモデルの方が，目的言語 の NE のみを考慮したモデルよりも BLEU が高く なった。この結果から，目的言語の NE の情報と原表 2 英独 / 独英翻訳性能

表 $3 \mathrm{NE}$ の有無別翻訳性能

言語の NE の情報を組み合わせることで翻訳性能を より改善できることが分かった。

## 5 考察

## 5.1 評価データでの NE の有無による違い

評価データの参照文に対して NER を行い，評価 データを NE を含む文と含まない文に分け，それぞ れに対する翻訳性能を調べた。結果を表 3 に示す。

評価の結果，NEを含まない文に対しては，目的言語の $\mathrm{NE}$ 考慮することにより，独英翻訳では BLEU は改善したが英独翻訳では BLEU は低下し た. 一方，NEを含む文に対しては，英独翻訳と独英翻訳の両方で，提案モデルはベースラインモデル と同等もしくは高い BLEU となった.このことか ら，提案モデルは狙い通り NE を含む文に対して有効であることが確認できた．しかし一方で，NEを 含まない文に対しては悪影響を及ぼす場合があるこ とが分かった。

## 5.2 NE の再現率

NE に対する翻訳性能を調べるために，各モデル が生成した目的言語文に対して，参照文で出現して
表 4 NE の再現率

表 5 英語 NE タガーとして OntoNotes モデル使用時の独英翻訳性能

いる NE の再現率を調査した．再現率を計算する際 は，参照文の NE の文字列がモデルの出力文に含ま れている場合に再現できたとみなした. 結果を表 4 に示す. 表 4 では, $\mathrm{NE}$ を構成するサブワード数毎 の再現率も示す.

表 4 より，NE 全体の再現率について，英独翻訳 においては目的言語文の NEを考慮することで再現率が改善したことが分かる。一方，独英翻訳におい ては，原言語文の $\mathrm{NE}$ のみを考慮したモデルと比較 すると目的言語文の NEを考慮することで再現率が 低下した. NE を構成するサブワード数毎の再現率 をみると，1 つのサブワードで構成される NE に関 しては，全ての設定で，目的言語の $\mathrm{NE}$ を活用する ことにより再現率が同等あるいは改善している. そ して，構成するサブワード数が増えるほど再現率自体が低下し，また，目的言語の $\mathrm{NE}$ を考慮すること で悪化しやすくなる傾向があった. これらのことか ら，提案モデルは，一つのサブワードで構成される $\mathrm{NE}$ の翻訳には有効であることが確認できた。

## 5.3 使用する NER モデルの影響

本節では，提案モデルの有効性が，使用する $\mathrm{NE}$ タガーによりどのように変化するかを考察する。具体的には, 英語の NE タガーとして, OntoNotes コーパスから学習した Stanza の NER モデルを使用した際の提案モデルの独英翻訳性能を評価す る. OntoNotes モデルは, CoNLL03 モデルが認識 する「LOC $\lrcorner, 「 \mathrm{ORG}\lrcorner ， 「 \mathrm{PER}\lrcorner$ に加えて，数を表す 「CARDINAL」や日付表現を表す「DATE」など，合計 18 種類の $\mathrm{NE}$ を認識する. 本実験の教師デー タに対して認識された $\mathrm{NE}$ 部分の総サブワード数 は 14,310,222, NE を含む文数は 2,532,606であり, CoNLL03 モデルと比較して認識された NE の割合は 大きくなった.

評価結果を表 5 に示す. 表 5 より，英語の $\mathrm{NE}$ タ ガーとして OntoNotes モデルを使用した場合でも，目的言語文の $\mathrm{NE}$ 考慮する有効性を確認できた。 このことから，提案モデルは NER で使用する NE の種類によらず，翻訳性能の改善に効果があるこ とが分かった. ただし, OntoNotes モデルに変更す ることで認識された $\mathrm{NE}$ の割合は増えたにもかか わらず，原言語の $\mathrm{NE}$ 考慮した場合においては CoNLL03 モデルを使用した場合の方が有効であっ た. 使用する $\mathrm{NE}$ タガーと提案モデルの有効性の関係に関するより詳細な調査は今後行っていきたい.

## 6 おわりに

本研究では，目的言語文の NE の情報をタグの付与により考慮する Transformer に基づく NMT モデル を提案した．WMT2014 の英独／独英ニュース翻訳 タスクにおいて，提案モデルにより翻訳性能が改善 できることを確認した．また，実験結果を分析する ことで，提案モデルは，一つのサブワードで構成さ れる $\mathrm{NE}$ の翻訳に有効であることを確認した. 今後 は複数のサブワードで構成される NE に対しても有効なモデルに改良していきたい.

## 参考文献

[1] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. In Proceedings of the 3rd International Conference on Learning Representations, 2015.

[2] Xiaoqing Li, Jinghui Yan, Jiajun Zhang, and Chengqing Zong. Neural name translation improves neural machine translation. In Proceedings of the 14th China Workshop on Machine Translation, pp. 93-100. Springer, 2018.

[3] Zhongwei Li, Xuancong Wang, Ai Ti Aw, Eng Siong Chng, and Haizhou Li. Named-entity tagging and domain adaptation for better customized translation. In Proceedings of the Seventh Named Entities Workshop, pp. 41-46, 2018.

[4] Maciej Modrzejewski, Miriam Exel, Bianka Buschbeck, Thanh-Le Ha, and Alexander Waibel. Incorporating external annotation to improve named entity translation in NMT. In Proceedings of the 22nd Annual Conference of the European Association for Machine Translation, pp. $45-51,2020$.

[5] Graham Neubig, Zi-Yi Dou, Junjie Hu, Paul Michel, Danish Pruthi, and Xinyi Wang. compare-mt: A tool for holistic comparison of language generation systems. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 35-41, 2019.

[6] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, 2019.

[7] Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A python natural language processing toolkit for many human languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 101-108, 2020.

[8] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, 2016.

[9] Arata Ugawa, Akihiro Tamura, Takashi Ninomiya, Hiroya Takamura, and Manabu Okumura. Neural machine translation incorporating named entity. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 3240-3250, 2018.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.


# 日本語 BERT を用いた単語の用例の分野別分析ツールの開発

凌志棟 相田太一 金輝燦 岡照晃 小林千真 小町守
東京都立大学
\{ling-zhidong, aida-taichi, kim-hwichan, kobayashi-kazuma1\}@ed.tmu.ac.jp
\{teruaki-oka,komachi\}@tmu.ac.jp

## 概要

「保守 (maintenance vs conservative)」のように同じ 字面でも媒体によって意味が変わる単語がある。こ うした単語の使用実態を調査する場合、用例を集 め、分野別に分け、最後に分析を実施する。しかし 大規模な分析調査となると、必要な時間や人件費が 膨大になる。そのため検索システムや分析手法の開発など、計算機による研究支援の発展が期待されて いる。本研究では、日本語を対象とし、文脈を考慮 した単語ベクトルで用例をクラスタリング、プロッ トする可視化ツールを作成した。単語が大力される と、現代日本語書き言葉均衡コーパスでの用例を集 めてクラスタリングし、そのクラスタとコーパスに 付与されている分野情報を合わせて 2 次元にプロッ トする。コーパス中の単語はすべて NWJC-BERT で ベクトル化してあり、クラスタリングとプロットに 使用される。また各プロット点からその用例を見る ことも可能である。最後にこの可視化ツールが用例分析にどのように役立つのか、ケーススタディを紹介する。

## 1 はじめに

コーパス使った大規模な用例分析が言語学の研究で盛んになっている。久屋 [1] は外来語「ケース」 を対象に、書き手の生年代、学歴や媒体が用法の違 いに与える影響について統計分析を行なっている。 その結果、前述の要因が外来語の生起に影響をもた らすことがわかった。また呉 [2] は「足を洗う」と いう表現の用例を分析した。その結果、分野特有の 文脈語と共起することで意味の異なりが起きる傾向 を明らかにした。久屋 [1] や呉 [2] のように分野間 で用例を比較・分析することで、共時的分布を明ら かにし、その単語の意味や用法に違いが生まれる要因を特定することができる。こうした研究は従来人手で行われてきたため、計算機を用いたコーパス分析への期待は大きい。

国立国語研究所が公開しているコーパス検索シス テム「中納言 $\left.{ }^{11}\right.\rfloor を$ 用いることで、現代語に限らず、古文、方言、学習者の書いた文の大規模な用例検索 と収集は可能である。しかし中納言は検索機能しか 提供していないため、用例に対する分析や統計的処理は研究者自身が人手で行う必要がある。このため 実際に用例を統計的に分析し終えるまで対象単語が 分析の対象として適切かどうかは判断できない。

そこで本研究では、調査対象となる単語（以下、対象単語）の分野別用例調査を効率化する可視化 ツールを開発した。このツールを使うことで、対象単語の分野間で起こる用法の差異をより視覚的に 捉えることができる。具体的には、幅広い分野を力 バーした現代日本語書き言葉均衡コーパス（以下、 BCCWJ）[3] の各文に対し、BERT [4] の単語べクト ルを用いた語義変化検出の手法 [5] を適用すること で、単語の用例の違いの可視化を実現した。この ツールによって、用例分析前に対象単語が研究対象としてそもそも適切かどうか判断が可能になる。本ツールは Google Colaboratory の形式で公開してい る)。

## 2 関連研究

## 2.1 BERT を用いた語義変化検出

Giulianelli ら [5] は文脈を考慮した単語ベクトルを 用い、単語の通時的な教師なし語義変化検出手法を 提案した。年代の異なるコーパスから対象単語の用例を抽出し、BERTに 1 文ずつ入力し、対象単語の ベクトルを獲得する。これらのベクトルに対しクラ スタリングを行い、類似する用例ごとにまとめあげ る。各文に付与された年代情報を用い、時間順に用

1) https://chunagon.ninjal.ac.jp/

2) https://colab.research.google.com/drive/

1M1L531l2oxvX3pGkCzYEQmuBw_mXX9Ee

図 1: 開発したツールの処理フロー。「是非」を例にした場合の可視化の流れ。

例をプロットする。年代ごとのクラスタの割合の推移から、語義の通時変化を検出する。Giulianelli ら [5] の手法は通時的な変化の検出に向けたものであ るが、本研究ではそれを異なる分野間での単語の 用例分析（共時的な差異の分析）に適用した。また BCCWJ 中の文 ${ }^{3}$ には、その文が記述されていた文献のレジスター（ジャンル、言語使用域）が付与さ れている。本稿ではこれを分野情報と呼ぶ。クラス タリングの結果と、BCCWJ 分野情報を合わせて可視化することで、単語の用法 (用例クラスタ) と分野との関係を発見することが可能となる。

## 2.2 BCCWJ の分野情報

BCCWJ は現代日本語の書き言葉の全体像を把握 するために構築された日本語均衡コーパスで、全体 で 1 億 430 万語規模あり、うち人手アノテーション されたコアデータは 100 万語の規模を持つ。実社会 のさまざまなテキストを収集しており、各テキスト には収集元の分野情報が付与されている。BCCWJ に収録されている分野と語数（短単位数）の一覧を 参考情報内の表 1 に示す。本稿で紹介する可視化 ツールでは、対象単語の用例を 2 次元上にプロット するだけでなく、その用例が出現した分野の情報を 確認することができる。

## 3 対象単語の用例分析に向けた可視化ツールの構築

本研究では、BERT のベクトルを利用して、単語 の用法の違いを分野別に可視化するツールを作成し た。本ツールの処理の概要を図 1 に示す。対象単語 を決め、語彙素（辞書の見出し語に相当するもの）

$[6]^{4)}$ の形式でツールに入力する。出現形抽出器は単語の電子化辞書 UniDic を用い、同一語彙素を持つ 出現形を網羅的に抽出する。UniDic は階層的見出し 構造を採用しており、語彙素の下に語形、語形の下 に出現形が保持されている。そのため例えば、動詞「食べる」という語彙素で検索する場合、出現形抽出器は同一語彙素「食べる」を持つ「食べ」、「食べ よ」「「たべ」...を抽出する。抽出した出現形すべて で BCCWJ 内の文を検索し、それらを含む文を分野情報とともに抽出する（重複排除）。抽出された文 を 1 文ずつ BERT に入力し、対象単語のベクトルを 獲得する。ベクトルを Kmeans 法でクラスタリング し、対応する用例、クラスタ番号、BCCWJ の分野を 付与した上で、2 次元に描画する。

BERT には NWJC-BERT ${ }^{5}$ を使用する。NWJCBERT は「国語研日本語ウェブコーパス」(NWJC) により事前学習した BERT モデルである。広く利用されている東北大 BERT $\left.^{6}\right)$ と異なり、NWJC-BERT は単語をサブワード化しない。対象単語がサブワー ド化されると、単語がより小さいトークンに分割 され、単語ベクトルを獲得するためには、各トー クンのベクトルを再度、ベクトル演算によって結合する必要がある。一方 NWJC-BERT では、語彙に UniDic の語彙素を収録しているため、対象単語が 必要以上に分割される心配がない。したがって、 NWJC-BERT を利用することでツールの処理が容易 になる。

クラスタリング手法は Giulianelli らの研究と同じ く Kmeans ${ }^{7)}$ を使用する。単語べクトル集合に対し

4） BCCWJ, UniDic で lemma と呼ばれる要素。

5) https://www.gsk.or.jp/catalog/gsk2020-e/

6) https://github.com/cl-tohoku/bert-japanese

7) https://scikit-learn.org/stable/modules/generated/

(a) 色でクラスタを区別した「保守」のグラフ

(b) 色でクラスタを区別した「是非」のグラフ

図 2: 作成したツールで各対象単語に対して用例ごとにクラスタリングを行った結果

図 3: 可視化ツールの凡例の見方

て、クラスタ数を 2 から 10 まで Kmeans を行い、シ ルエットスコアが最大となるクラスタ数での結果を 採用する。類似度計算にはユークリッド距離を使用 する。

## 4 可視化ツールを用いたケーススタ

## デイ

この可視化ツールを用いて単語「保守」と「是非」 に対し分析を行なった。用例抽出の対象は BCCWJ コアデータを使用した。対象単語のベクトルを可視化する際に、scikit-learn の TSNE ${ }^{8)}$ を用いて 768 次元のベクトルを 2 次元に次元圧縮を行なった。図 $2 a 、 2 b$ に単語「保守」と「是非」に対して本ツール を用いた可視化結果を示す。出力された図の凡例の 見方は図 3 に示す。

ケーススタディ 1 「保守」図 2aに「保守」とい う単語の用例に対するクラスタリングの結果を示 す。コトバンク辞書と見比べた時、Kmeans による クラスタリングの結果はクラスタ 0（青）が「正常 の状態を保つ」[7] という意味での用例、クラスタ 1（赤）が「旧習・伝統を守る」[7] という意味の用例であった。また各用例には BCCWJ 由来の分野情

sklearn. cluster. KMeans. html

8) https://scikit-learn.org/stable/modules/generated/ sklearn.manifold.TSNE.html報が付与されている。クラスタ 1（赤）「旧習・伝統 を守る」に含まれる用例の出典分野の割合を図 $4 \mathrm{a}$ に示す。これを見ると「旧習・伝統を守る」という 意味での「保守」は新聞分野での用例が全体のおよ そ 90 \%を占めることがわかる。これに対し図 $4 \mathrm{~b}$ に はクラスタ 0 (赤)「正常の状態を保つ」に含まれる 用例の出典割合を示した。この意味での使用は新聞 やブログなどの複数の分野で出現した上、それぞれ の分野でほぼ同じ割合を占めている。そのため「保守」という単語は「正常の状態を保つ」という意味 で幅広く使われていることが分かった。プロットか らは直接用例を確認できるため、用例文を詳しく見 ていくと「保守派」「保守党」という政治関連での出現が多いことが分かった。

ケーススタディ 2 「是非」 図 $2 b$ に是非」と いう単語の用例に対するクラスタリングの結果を 示す。コトバンク辞書と見比べた時、Kmeansによ るクラスタリングの結果はクラスタ 0（青）が「ぜ ひとも」という意味の用例、クラスタ 1 （赤）はほ とんど「是非を問う」という意味の用例であった。 ケーススタディ 1 と同様に、BCCWJ 由来の分野情報と比較するため、図 5a にクラスタ 0（青）「ぜひ とも」に含まれる用例の出典分野の割合を示す。こ れを見ると「ぜひとも」という表現は、口語的な場

(a)クラスタ 0 に属する用例の各分野の割合

(b) クラスタ 1 に属する用例の各分野の割合

図 4:「保守」のクラスタリング結果の内訳に対する調査

(a)クラスタ 0 に属する用例の各分野の割合

(b) クラスタ 1 に属する用例の各分野の割合

図 5: 「是非」のクラスタリング結果の内訳に対する調査

面（Yahoo!知恵袋、Yahoo!ブログ）でも書き言葉的 な場面（書籍、新聞、雑誌）でもそれぞれ同程度に 使用されていることがわかる。また、Yahoo!ブログ と Yahoo!知恵袋に属する用例の各意味の使用割合を 調べた結果、「是非を問う」という用例は見つけら れず、「ぜひとも」が 100\%であった。図 5bでは、ク ラスタ 1 (赤)「是非を問う」内の用例の出典分野の 割合を示す。「是非を問う」は新聞での用例が $50 \%$ を占める一方、 $25 \%$ \%が書籍の用例、 $18.8 \%$ \%が白書の 用例であった。新聞・白書・雑誌での言葉使いは書 き言葉の中でも文語体に近く、カジュアルな口語体 で書かれる Yahoo!知恵袋や Yahoo!ブログとの明ら かな差を観察することができる。またプロットされ た各用例を観察したところ、クラスタ 1（赤）「是非 を問う」内に「ぜひとも」の用例が 4 つ含まれてい たことが分かった。そのため、Kmeans による自動 クラスタリングの際に誤分類が起きていることが分 かった。ただしここまで述べてきた考察はいずれも 直観に反するものでない。そのため、クラスタリン グ自体に重大な欠陥があるわけではなく、今後の精度向上を期待するものである。

## 5 おわりに

本研究は分野間で起こる単語の用法の異なりを 可視化し、用例研究を支援可能なツールを開発し た。このツールを用いることで、コストのかかる統計的な用例分析を行う前に、事前に対象単語が研究目的に適しているかどうか是非の検討が可能に なる。今回は Google Colaboratory でデモを公開した が、Google Colaboratory は Python を記述して実行す るためのオンライン環境なので、ツールとしては使 いにくい。そこで今後の課題として、Webアプリの 形式で公開し、クラスタリング以外に分野別の生起率などの情報を可視化しグラフ出力する機能の 追加を検討している。用例に対するクラスタリン グが適切な分類ができていないことも課題である。 NWJC-BERT から得られたベクトルがどの程度クラ スタリングに適しているか調査するとともに、クラ スタリング手法の改善に取り組んでいきたい。

## 参考文献

[1] 久屋愛実. 現代書き言葉における外来語の共時的分布：「ケース」を事例として. 国立国語研究所論集， Vol. 6, pp. 45-65, 2013.

[2] 呉琳. 〈足を洗う〉という表現が語る言語変化コー パスによるアプローチ. 言語文化教育研究学会誌『言語文化教育研究』, Vol. 13, pp. 134-168, 2015.

[3] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written Japanese. Language Resources and Evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Mario Giulianelli, Marco Del Tredici, and Raquel Fernández. Analysing lexical semantic change with contextualised word representations. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3960-3973, 2020.

[6] 前川喜久雄（監修）/伝康晴・荻野綱男（編）.講座

日本語コーパス 7 コーパスと辞書. 朝倉書店, 2019.

[7] 保守とは-コトバンク,（2022-1 閲覧）. https: //kotobank.jp/word/\%E4\%BF\%9D\%E5\%AE\%88-629994.

## A 参考情報

## A. 1 分野タグー覧

## A. 2 「出版サブコーパス-新聞」に属する用例の各クラスタの割合

図 6:「出版サブコーパス-新聞」に属する用例の各クラスタの割合

図 6 では、分野情報が新聞に属する「保守」の用例をまず集め、それらが所属するクラスタの割合を示し た。「旧習・伝統を守る」という意味の用例が約 93 \%であり、「正常の状態を保つ」の用例が 7 \%である。前述の結果と合わせると、「旧習・伝統を守る」という意味の「保守」は分野間で比較しても新聞でよく使用さ れ、新聞内でも「正常の状態を保つ」という意味よりも多く利用されていることが示せた。


# BERT を用いた比較法研究における類似条項の対応付け

長 裕樹 ${ }^{1}$ 中村 誠 ${ }^{1}$
1 新潟工科大学 工学部
201811081@cc.niit.ac.jp mnakamur@niit.ac.jp

## 概要

日本法と外国法の類似条項を自動で対応付けする システムは比較法研究において有用である。本研究 の目的は類似条項の対応付けシステムの作成である。本研究では類似条項を発見するために BERT モデル を用いて生成した文書ベクトルの類似度を用いる。本稿では実験により、1.BERT モデルが類似条項の 対応付けに有効であること、2.英訳した法令文でも BERT が有効であること、3.法律ドメインに特化し た BERT モデルである LEGAL-BERT は英訳した日本法令には有効ではない可能性があると考察した。

## 1 はじめに

比較法とは、種々の法体系における法制度又は法 の機能を比較することを目的とする学問である。比較とは(1)比較されるものの間にある類似点と相違点を明らかにする、(2)類似点と相違点の生じる原因を明らかにする。(3)相違点の存する場合は、ど ちらがより優れているか評価することであるとされ ている[1,2]。また、今日最も確固とした法体系を持 つのは国家であるから、比較法は通常国家法相互の 比較を指す[3]。比較法の実務的な効用として、自国法の立法的整備、解釈・適用の改善が挙げられ る。実際に法制審議会において、図 1 のように比較法として日本法と諸外国法の類似条項が提示された 例がある。

比較法研究においては, 日本法と外国法の類似点 を足掛かりとして研究を行う場合がある。このとき 日本法と外国法との類似部分を対応付けたデータを 作成することが考えられる. しかし, 正確な対応付 けには専門的な知識が必要であり, 非常に労力がか かる. このとき自動で対応付けが出来れば, 比較法研究に寄与するとともに，一般にも海外とのビジネ スをする際などに有用である.

類似条項の対応付けに関する研究はすでに行われ ている[4,5]. それらの研究では単語の一致数に着目 L、Jaccard 係数や Dice 係数で条項間の類似度を計

 & Vater eines Kindes ist der Mann, \\

図 1 法制審議会における実際の対応付け 算している。しかし, それらの手法により日本法と 外国法を対応付けたところ、ほとんどの条項間で高 い類似度が得られず対応付けに失敗している。そこ で、それらの代わりに BERT による文書ベクトル を用いることで類義語などを正確にとらえ、より精度の高い類似度の計算ができると考えられる. 本研究の目的は類似条項の対応付けシステムの作成であ り、BERT が有効性を検証するために日本法とその 英訳文を用いた対応付けの実験を行う。

## 2 類似文書検索

本研究の目的である類似条項の対応付けはそれぞ れの条文を 1 つの文書とした類似文書検索と捉えら れる。類似文書検索の手法は文書を単語の集合とし て扱い類似度を計算する方法とニューラルネットワ ークを用いて得られる文書の分散表現から類似度を 計算する方法がある.

## 2.1 集合の類似度

2 つの集合の類似度を表す方法として Jaccard 係数(式(1))がある.

$
\operatorname{Jaccard}(A, B)=\frac{|A \cap B|}{|A \cup B|}
$

類似文書検索においてはそれぞれの文書を単語の 集合とすることで Jaccard 係数を計算することがで きる。しかし, Jaccard 係数は計算が単純である反面, 単語の重要度を考慮していない, 類義語も全く 別の単語としてしまうといった欠点がある.

## 2.2 ベクトルの類似度

ある単語の意味はその周辺単語によって形成され るという，分布仮説[6]に基づき，ニューラルネッ トワーク (NN)によって大量のテキストデータで学習を行うことで，単語の意味をベクトルとして表現 することができる.

例として king-man+woman というべクトル演算を 行うことで queen に近いべクトルを得られることが 知られている.

BERT とは、Jacob Devlin ら[7]により提案された 言語モデルの一つで，多くのNLP タスクにおいて 高い性能を示している. 現在では複数の事前学習済 みモデルが公開されており，ファインチューニング を行うだけで高精度な分類を行うことができる。ま た, 最終層の出力を取り出すことで入力した文書の 各トークンに対する単語ベクトルを得ることができ る.しかし、基本的な BERT モデルは wikipedia な どの一般の文書をコーパスとしているため、医療等 の特定のドメインでは性能が低いことが報告されて いる[8]。法律ドメインにおいては、英語のモデル として LEGAL-BERT モデル[9]が公開されている。

## 3 提案手法

外国法との対応付けを行う流れを図 2 に示す。

1.それぞれの法令を英語に翻訳

2. 条文を 1 文書として BERT に入力

3. 出力の平均を文書ベクトルとする

4. 文書ベクトル間のコサイン類似度を計算

5. コサイン類似度に基づき、条文を対応付け

図 2 対応付けの流れ最初に対応付けにあたり言語を統一するため翻訳 を行う。どちらも英語に翻訳するのは、英訳は翻訳 データが多いことから翻訳精度が高いと考えられる ためである。最後のコサイン類似度による対応付け では、対応する文書がない場合があることを考慮 し、ある 2 つの文書の類似度が双方向で最大となる 場合に対応付けを行うこととする。

## 4 実験

## 4.1 実験の目的

外国法との対応付けを行う場合、正解データの作成が困難であるため、この実験では試験的に日本法令同士の対応付けを行う。ここでは法令の内容が似 ている電気事業法（昭和 39 年法律第 170 号）とガ ス事業法（昭和 29 年法律第 51 号）を取り上げる。類似する条の対応付けに文書ベクトルの類似度を 用いるが、一般の文書と同様に法令文書でも BERT によるベクトル化が有効であるとは限らない。そこ で、実験によって類似条文の対応付けにおける BERT の性能を Jaccard 係数による対応付けとの比較により検証した。また、外国法を対応付ける場合 は英訳した文書を使用する必要があるため、日本法 を英訳したもので対応付けを行い、日本語の場合と 同様に対応付けが行えるかを調べた。さらに、英語 の BERT モデルには法律ドメインに特化した LEGAL-BERT モデルが公開されているため、一般に 使用される BERT-BASE と性能を比較した。

## 4.2 実験手順

実験データの文書を日本語の事前学習済み BERT モデルに入力し、最終層の[CLS]と[PAD]を除く出力を平均したものを文書ベクトルとした。事前学習済みモデルには cl-tohoku/bert-base-japanese-wholeword-masking を利用した。BERT の入力トークン数 は最大の 512 とし、それを超えるトークンは無視し た。異なる法令の文書ベクトル同士のコサイン類似度をすべての組み合わせで計算した。ある文書に対 して最もコサイン類似度が高い文書を参照し、その 文書から見て最も類似度が高くなる文書が元の文書 である場合に、2つの文書を対応付けた。そして、電気事業法とガス事業法の対応付け結果は正解デー タを用いて評価した。

次に、Jaccard 係数を用いた場合と比較するた

め、同じ文書を形態素解析ソフト MeCabによって
単語に分割し、それぞれの文書間の Jaccard 係数を 類似度として対応付けを行った。MeCab の辞書に

は Neologd を使用した。

最後に、BERT による対応付け実験を英訳版の法令で行った。BERT の英語事前学習済みモデルには bert-base-uncased と legal-bert-base-uncased を用い、性能の比較を行った。

## 4.3 実験データ

本実験で使用した法令を表 1 に示す。日本語の法令データは e-Govi、日本法の英語訳デー夕は日本法令外国語訳データベースシステム $(\mathrm{JLT})^{\mathrm{ii}}$ よりそれぞ れ $\mathrm{xml}$ 形式で入手した。JLT の英訳は最新の法令デ 一タではないため、条数や内容の一部が異なる。そ れぞれのファイルから article タグ配下にあるテキス トを抽出して、それぞれを 1 つの文書として扱った。

## 表 1 使用法令

## 4.4 評価方法

電気事業法のガス事業法に対する対応付けの結果 を正解データと比較した。正解データは法律になじ みのない工学部の学部 4 年生と非常勤職員による人手で、複数の条との対応を許可して作成した。正解 データと同じ対応が取れた場合を $\mathrm{TP}$ 、対応しない 条を対応付けた場合を FP、対応がない条を対応付 けなかった場合を TN、対応する条があるが対応が 取れなかった場合を FN として、Accuracy、

Recall、Precision、F 值を算出した。

## 5 結果と考察

## 5.1 実験結果

日本語の電気事業法とガス事業法の対応付けを 評価した結果を表 2、英訳版の電気事業法とガス事業法の対応付けを評価した結果を表 3 に示す。表 2 日本語で対応付けした場合の評価結果

表 3 英語で対応付けした場合の評価結果

## 5.2 考察

## 5. 2. 1 Jaccard 係数と BERT の比較

どちらの手法を用いた場合でもすべての評価指標 において 0.7 を超えるスコアが得られた。2つの手法を比較すると、Jaccard 係数を用いた場合のほう がよりスコアは高くなった。これは電気事業法とガ ス事業法の条文が単語単位で類似しているためだと 考えられる。しかし、予備実験で Jaccard 係数を用 いた手法によって条項単位で日本法とドイツ法を対応付けたが、良い結果が得られなかった。これは内容が類似していても使用される単語が異なっている ためであると考えられ、NNを用いて得られた文書 ベクトルの類似度を用いた場合には意味の近い条項 を対応付けることができると考えられる。

## 5. 2.2 英訳版での対応付け精度

英訳したデータを対応付けた場合、どちらの BERT モデルによる対応付けでも日本語の場合と同程度のスコアが得られた。このことから、実際に日本法と外国法を対応付ける場合にも、英語の BERT モデルを用いることで双方を英語に翻訳してから対応付けを行うことができると考えられる。

また、BERT-BASE と LEGAL-BERT を比較する と、Recall は LEGAL-BERT、それ以外は BERTBASE のほうが高くなった。LEGAL-BERT は法律 ドメインに特化したモデルであるが、学習に用いた のは EU 法やイギリス法、US の契約文書等の英語 の法的文書のみであり、日本の法令データは学習に 使われていないためであると考えられる。
^{i}$ https://www.e-gov.go.jp

ii http://www.japaneselawtranslation.go.jp
}

## 6 おわりに

実験から、BERTを用いた類似条項の対応付けが 有効であることが分かった。また、英訳で対応付け を行う場合には BERT-BASE を用いたほうがより性能が高くなるという結果が得られた。

今後は実際に日本法とドイツ法など外国法との対応付けを行い結果の評価を行うとともに、対応付け の条件等の最適化を目指したい。

## 謝辞

本研究は、科学研究費補助金 (19H04427、代表 :中村 誠）の助成を受けたものである。

## 参考文献

[1] 貝瀬幸雄, 比較法学入門, 日本評論社, 201902-25

[2] 五十嵐清, 比較法ハンドブック, 勁草書房, 2019-02-20

[3] 滝沢正, 比較法, 三省堂, 2020-10-10

[4] 比較法研究における外国法との類似条項の対応

付けと翻訳精度との関係について. 長裕樹. 中村誠,電子情報通信学会信越支部大会, 2021 年, p. 115

[5] The legislative study on Meiji civil code by machine learning. Kaito Koyama, Tomoya Sano, Yoichi

Takenaka. Proceedings of the International Workshop on Juris-Informatics 2021, pp.41-53

[6] Zellig S. Harris. Distributional structure. WORD, 1954, pp.146-162

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and

Kristina Toutanova. BERT: Pre-training of Deep

Bidirectional Transformers for Language

Un derstanding. Proceedings of the Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language

Technologies, abs/1810.04805, 2019

[8] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. BioBERT: a pre-trained biomedical language representation model for biomedical text mining. CoRR. 2019

[9] LEGAL-BERT: The muppets straight out of law school. Chalkidis, I., Fergadiotis, M., Malakasiotis, P., Aletras, N., \& Androutsopoulos, I., Findings of the
Association for Computational Linguistics: EMNLP 2020, pp.2898-2904


# 介護支援対話システム MICSUS のための意味解釈モジュール

淺尾 仁彦 ${ }^{1}{\text { 水野 } \text { 淳太 }^{1} \text { 呉 鍾勲 }}^{1}$ Julien Kloetzer $^{1}$ 大竹 清敬 ${ }^{1}$
福原 裕一 1 鎌倉 まな ${ }^{1,2}$ 緒形桂 $1 \quad$ 鳥澤 健太郎 ${ }^{1,2}$
1 国立研究開発法人情報通信研究機構 (NICT) 2 奈良先端科学技術大学院大学
\{asao, junta-m, rovellia, julien, kiyonori.ohtake, fukuhara, kamana, kei.ogata, torisawa $\}$ n nict.go.jp

## 概要

介護支援対話システム MICSUS でユーザ発話を解釈するためのモジュールの概要とその性能等につい てまとめる。MICSUS は介護・支援の必要な高齢者 の健康状態等の定期的なチェックを行うとともに、高齢者のコミュニケーション不足を補うことで、介護従事者の負担を軽減し、高齢者の健康維持を促進 する目的で開発が進められている対話システムであ る。MICSUS は、健康状態等に関する質問に対する ユーザの自由な応答を解釈し記録することができる ほか、ユーザ発話によってはウェブ情報に基づいた 雑談に遷移することも可能である。また、音声認識 エラーによる意味解釈の失敗を防ぐため HBERT と 音声認識エラー検出の 2 つの技術も開発した。

## 1 はじめに

介護支援対話システム $\operatorname{MICSUS}^{1)}$ は、内閣府総合科学技術・イノベーション会議の戦略的イノベー ション創造プログラム (SIP) 第 2 期の支援のもと、 KDDI 株式会社・情報通信研究機構 (NICT) ・NEC ソ リューションイノベータ株式会社・株式会社日本総合研究所の共同で開発が進められている高齢者向け の対話システムである $[1,2]$ 。現在、介護分野では日本だけでなく世界的に人手不足が懸念されており、 $\mathrm{AI}$ の活用に期待が高まっている2)。MICSUS は、ケ アマネジメント業務の負担軽減のため、主にあらか じめ設計した対話シナリオを元に、システムから ユーザに質問する形で高齢者の健康状態、生活習慣等をモニタリングする。同時に、雑談対話システム

図 1 介護用対話システム MICSUS。音声だけでなく表情 やジェスチャーも認識可能

WEKDA [3] 等と接続して、ユーザ発話によっては ウェブ情報を用いた雑談に遷移することで、飽きの こないシステムにするとともに、高齢者のコミュニ ケーション不足を補うことを狙っている。定期的な 健康チェックの徹底やコミュニケーション不足の解消により要介護度の進行や認知症の発症、死亡率を 抑えられることが知られており [4,5]、MICSUS は介護の質を向上させるうえで重要な役割を果たすこと が期待されている。現在、高齢者施設と連携して長期にわたる実証実験を進めている。

MICSUS の外見を図 1 に示した。MICSUS はジェ スチャーや表情も認識可能なマルチモーダルな対話 システムとして開発が進められているが、本発表で は、NICT が担当して研究開発を行っている、ユーザ 発話を解釈するモジュールに議論を絞る。MICSUS の主要機能には、Yes/No 質問による健康状態等の モニタリング、好みや習慣などを聞いて話題を広げ るための個人属性質問応答、ユーザの回答の訂正、重複した質問を避ける含意認識機能、雑談機能があ る。本発表では、このうち一部の機能について、そ の概要と利用例、およびその実現のため構築した、 ユーザ発話を解釈するための深層学習モデルについ て述べる。また、音声対話システムの課題である音
声認識エラーへの対処について、音声認識エラーを 含むテキストに対して頑健な分類を実現する言語モ デル HBERT と、音声認識エラー検出の 2 種類の技術も提案する。特に HBERT は、評価デー夕に音声認識エラーがない場合も含めて、 BERT $_{\text {LARGE }}$ [6] か らの性能向上を実現した。本発表で言及するモデル はいずれも 350GB (22 億文)のウェブテキストで事前学習を行った BERT もしくは HBERTをもとに、 それぞれの機能に合わせた学習データを NICT のア ノテータが作成し、自動生成した学習データと合わ せてファインチューニングを行ったものである。

## 2 関連研究

少子高齢化の進むなかで高齢者を対象にした対話システムは注目を集めており、既存研究に山本ら [7]、大竹ら [8]、下岡ら [9] の対話システムなどがあ る。例えば下岡らは、相づち・問い返し・共感応答 などによってユーザの語りを促す傾聴対話システム を構築しており、音声認識エラーへの対策として、音声認識の信頼度によって応答生成の手法を使い分 けることも実現している。傾聴ないし雑談を主とし たこれらの対話システムと比較すると、MICSUS は 健康状態等のモニタリングという明確な目的をもつ ため、あらかじめシナリオを用意してシステム主導 で目的指向型の対話を行うという点が異なっている が、同時に、雑談機能によってユーザの主体的な話題提供に対応することも可能となっている点にオリ ジナリティがある。

## 3 Yes/No 質問

「夜はよく眠れていますか？」のような Yes/No 質問による高齢者の健康状態等のモニタリングは、 MICSUS の最も基本となる機能である。この機能 のため、Yes/No 質問に対するユーザ応答を Yes, No, Unknown, PresuppositionFailure, Other $の 5$ 値に分類す るモデルを作成した (表 1)。Yes, No 以外のカテゴリ として、Unknown (ユーザがわからないと答えてい る場合)、PresuppositionFailure (ユーザが質問の前提 が成り立たないと指摘している場合)、Other（その 他の場合。ユーザが質問に答えず他のことを言つ ている場合など）が設けてある。モデルは、例えば 「毎日しっかり食べていますか？」という質問に対 し、「食べています」や「いいえ」のような単純な 応答だけでなく、「胃は丈夫なんだよ」「それが最近 すっかり食が細くなって」のような間接的な回答で
あっても適切に分類できるよう、意図的に後者のよ うな発話事例の多い学習データを作成し学習した。

表 1 Yes/No 質問応答の 5 値分類と、「お薬を飲み忘孔な

学習・評価データには、株式会社日本総合研究所 が策定を進めているケアマネジメント標準 [10] に基 づいて作成された介護関連の質問のほか、介讙とは 関係のない一般的な質問も含めることで、幅広い目的で使用できるようにした。最新モデルは評価デー 夕全体では平均精度 (AP) のマクロ平均 $94.3 \%$ 、また 介護とは関係のない一般的な質問応答の評価デー夕 では $98.1 \%$ を達成した3)。2021 年 12 月に高齢者施設で高齢者 1 名を対象に 15 日間にわたり実施した 音声対話での実証実験4)では、ユーザ発話ごとに評価すると正解率 $89.9 \%$ (129 件中 116 件) であった。分類結果が Other の場合は回答を確定させずに再質問する仕様になっているため、再質問のやりとりま で含めて最終的に正解できたかどうかで評価する と、正解率は $94.3 \%$ (123 件中 116 件) であった。不正解となった事例 7 件中 4 件は、ユーザ発話に Yes と判断できる部分と No と判断できる部分の両方を 含むなど、人手でも分類の難しい曖昧な発話をして いるケースであった。

## 4 個人属性質問

個人属性質問は「好きな食べ物は何ですか？」「日課は何ですか？」「昨日は何を食べましたか？」の ように、システムがユーザの好みや習慣などを聞く 質問である。ユーザの回答から雑談 (6 節) につなげ るなどして、モニタリング質問の連続による単調さ を避け、場を和らげることを目的としている。個人属性質問については、ユーザが (「特にない」といつ た回答を含め) 質問に回答したかどうかを判定する 回答有無判定と、ユーザ発話から回答となるキー ワードを抽出する回答部分抽出の 2 種類のモデルを 用意した。回答有無判定によって、その質問を終了

3）アノテータが作文した評価データに基づくものであり、音声認識エラーなどは含まない。評価デー夕についても、意図的に単純な応答を避け、分類が難しいものが多くなるように 作成されている。

4）コロナ禍で大規模な実証実験の実施が難しい状況のため、少人数で実証実験を進めている。

してよいかどうかを判断することができ、また、回答部分抽出によって、例えばユーザが「好きな食べ 物は何ですか？」に対して「最近はお魚がおいしく てね」と答えた場合に、「お魚がお好きなのですね」 のように応答することが可能になっている。

回答部分抽出は、現状、上記の「お魚」の例のよ うに回答が名詞で表せるファクトイド質問の場合に しか対応していない。例えば why, how 等を訊ねる 非ファクトイド質問の扱いは今後の課題となるが、現在、NICT で公開している深層学習版 WISDOM $\mathrm{X}^{5)}$ で実現している技術を応用することで解決でき ると考えている。

## 5 訂正機能

訂正機能は、システムの誤認識（あるいはユーザ の言い間違い) のため一度誤って確定してしまった 回答を訂正する機能である (表 2 に対話例)。この機能により、ユーザは「すみません、訂正があるので すが」「さっきの薬の話に戻れますか？」「一つ前の 質問ですが、よく眠れていないって言ったんです」 のように、任意のタイミングで自由な表現で訂正要求を行うことができる。ただし、このような訂正要求はシステムによる質問等を遮って行わなければ ならないため、不慣れなユーザには難しい。そこ で、システムでそれまでの質問応答の結果を要約 し、「ちょつとこれまでの回答を確認させてくださ い。毎日しっかり食べている、薬を飲み忘れなく飲 めている、ということですが、訂正があれば教えて ください」のように、訂正が必要ないかどうか確認 を促す機能を合わせて実装した。

## 表 2 訂正機能の利用例

訂正機能では、「訂正したいのはその質問じゃな いです」のようなユーザ発話で訂正対象の変更を行 うことや、システムが訂正の意図を誤認識した場合 に「訂正ではありません」のようなユーザ発話で訂正をキャンセルすることも可能になっている。

## 6 雑談

雑談機能は、ユーザ発話の内容が雑談的である ときに、NICT で開発している雑談対話システム WEKDA [3] を使用して雑談的な応答を返す機能で ある。表 3 に雑談の例を掲載した。

表 3 雑談の例

WEKDA は、ユーザ発話に含まれる名詞をもとに ウェブ文書から雑談に適した情報を検索すること で雑談応答を実現するシステムであり、深層学習版 WISDOM X の採用などにより性能が大きく向上 しているが、詳細については本発表では省略する。 MICSUS には、雑談に移行するのにふさわしいユー ザ発話を検出する雑談開始判定と、雑談を終了する ほうがよいユーザ発話を検出する雑談終了判定の 2 つのモデルを実装した (このほか 7.2 節で述べる音声認識エラー検出も利用される)。

## 7 音声認識エラーへの対応

MICSUS は音声で対話を行うシステムであるた め、入力には音声認識エラーが含まれている可能性 があり、音声認識エラーがあっても対話を大きく破綻させることなく動作させることが重要な課題にな る。この節では、音声認識エラーの影響を抑えるた め導入した HBERT と音声認識エラー検出という 2 種類の技術について述べる。HBERT は、音声認識 エラーがない場合も含めて性能向上を実現した。

## 7.1 HBERT

単語列を入力とする通常の BERT では 2 つの単語等が音声的に似ているという情報を利用することは 難しい。そのため、ユーザ入力に音声認識エラーが あるとその性能は大きく落ちる。この問題に対処す るため、HBERT と呼ばれる技術を開発した。これ は、通常の漢字力ナ混じり表記の入力以外に、形態素解析によって得られる力ナ表記も入力に加えて 事前学習を行うものである。事前学習済みのモデル をファインチューニングする際に、疑似的な音声認
表 4 主なモデルでの BERT と HBERT の比較

MICSUS で使用しているモデルのうち一部のみを示している。AP は平均精度 (average precision)。開発データで最も性能 の良かったモデルの評価データでの性能を掲載している (ハイパーパラメータの探索範囲はモデルによって異なる)。「ノイズあり」の性能は、ノイズ率 $0 \% 、 10 \% 、 20 \% 、 50 \%$ の 4 種類の評価データでの評価結果の平均。学習デー夕件数に ついては括弧内で、直接アノテータがユーザ発話を人手作成したものの件数を示した。それ以外の学習データとして、既存の言語資源を利用したものや、システム発話との組み合わせの変更、複数のユーザ発話の連結などによって機械的 に生成したものがある。HBERT のためにノイズを加えて生成したものは学習デー夕件数に含まない。

識エラーとして学習データにノイズ6)を入れること で、音声認識エラーに対して頑健なモデルを実現す ることができる7)。表 5 に音声認識エラーに対して 頑健な動作の例を示す。

表 5 音声認識エラーに頑健な Yes/No 分類の例 システム：お水をよく飲んでいますか？ ユーザ：飲んでます（音声認識結果：飛んでます） システム：お水をよく飲んでいるのですね。

表 4 に主要なモデルの BERT 版と HBERT 版の性能比較について要約した。ノイズなしの評価データ による性能と、ノイズありの評価デー夕による性能 の 2 種類を示している。表に示したいずれのモデル でも、BERT、HBERT ともにノイズありの評価デー 夕を用いた場合には性能が落ちるが、HBERT は比較的性能の低下が小さいことがわかる。また、ノイ ズなしの評価デー夕を用いた場合にも、表に示し た全てのモデルで HBERT は BERT を上回る性能と なっている。

## 7.2 音声認識エラー検出

個人属性質問や雑談機能などでは、HBERTを使用するかどうかにかかわらず、ユーザが用いた名詞 をシステム発話で利用するため、そのキーワードが 音声認識エラーの結果生じた語である場合は致命的 な対話の破綻を招いてしまう (表 6)。特に、雑談開始判定は、ユーザが新しい話題を出したときに雑談開始と判定することを意図しているため、音声認識 エラーで予期しない語が認識されると、それが原因 で誤って雑談開始してしまう可能性が高い。

6）ノイズは音素列で表現した単語間の編集距離に基づき、類似した単語にランダムに置き換えることで作成した。ノイズ を入れる単語の割合は $0 \% 、 10 \% 、 20 \% 、 50 \%$ の 4 種類を試し た。表 4 では開発データで最高性能になったものについて報告している。評価デー夕のノイズも同じ方法で生成している。

7）関連研究として、通常の英単語列の他に、音声認識結果を 発音記号で入力させる Phoneme-BERT [11] がある。表 6 雑談における音声認識エラーによる対話破綻の例 システム： 毎日しつかり食べていますか？ ユーザ：はい、ちゃんと食べてます。 (音声認識結果: 愛車と食べてます。) システム： 適切なコーティングを愛車に施すと污れ にくくなるといった情報がありましたよ。

このような対話の破綻を防ぐため、ユーザ発話に 含まれる名詞について、音声認識エラーによるもの かどうかを判別するモデルを作成した。このモデル を利用し、音声認識エラーがあった場合は雑談開始 としない (もしくは、音声認識エラーの部分を捨て、残りの部分で雑談開始するかどうかを判定する）と いう動作を実現できる。音声認識エラー検出モデル の学習データにあたって、人手作成したユーザ発話 に含まれる名詞を他の名詞にランダムに差し替える ことで疑似的な音声認識エラーとした。同じ方法で 作成した疑似的な評価データでの精度は $99.9 \%$ を 達成した。また、このモデルが実装されていなかつ た 2021 年 6 7 月の実証実験では、音声認識エラー のため誤って雑談開始してしまったケースが 13 件 あったが、このモデルを実装すると、その全ての ケースについて音声認識エラーが検出でき、誤った 雑談開始を避けることができることがわかった。

## 8 おわりに

本発表では、介護用対話システム MICSUS でユー ザ発話を解釈するために開発したモデル群について 報告した。今後さらに高齢者を対象とする実証実験 を重ねてその結果をシステムの改善につなげるほ か、NICT で開発、公開している深層学習自動並列化ミドルウェア RaNNC [12] を用いたより大規模な 言語モデルを採用することで、さらなる精度の向上 を目指す。

## 謝辞

本研究は総合科学技術・イノベーション会議の戦略的イノベーション創造プログラム (SIP) $\left.{ }^{8}\right) 「 \mathrm{Web}$等に存在するビッグデータと応用分野特化型対話シ ナリオを用いたハイブリッド型マルチモーダル音声対話システムの研究」(管理法人：NEDO）によって 実施されたものである。

## 参考文献

[1] Yoshihiko Asao, Julien Kloetzer, Junta Mizuno, Dai Saiki, Kazuma Kadowaki, and Kentaro Torisawa. Understanding user utterances in a dialog system for caregiving. In Proceedings of the 12th Language Resources and Evaluation Conference (LREC2020), pp. 653-661, 2020.

[2] 淺尾仁彦, Julien Kloetzer, 水野淳太, 齊木大, 門脇一真, 鳥澤健太郎. 介護用対話システムのた めの高齢者の発話理解. 言語処理学会第 26 回年次大会発表論文集, pp. 125-128, 2020.

[3] 水野淳太, クロエツェージュリアン, 田仲正弘,飯田龍, 呉鍾勲, 石田諒, 淺尾仁彦, 福原裕一, 藤原一毅, 大西可奈子, 阿部憲幸, 大竹清敬, 鳥澤健太郎. WEKDA: Web 40 億ページを知識源と する質問応答システムを用いた博学対話シス テム. 人工知能学会第 84 回言語・音声理解と 対話処理研究会, pp. 135-142, 2018.

[4] 株式会社日本総合研究所. 平成 25 年度老人保健事業推進費等補助金老人保健健康増進等事業居宅サービス等における適正化とサービス の質の向上および保険者機能強化のための調査研究事業報告書, 2014.

[5] 斉藤雅茂, 近藤克則, 尾島俊之, 平井寛, JAGES グループ. 健康指標との関連からみた高齢者 の社会的孤立基準の検討: 10 年間の AGES コ ホートより. 日本公衆衛生雑誌, Vol. 62, No. 3, pp. 95-105, 2015.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL): Human Language Technologies, Volume 1, pp. 4171-4186, 2019.

8) https://www8.cao.go.jp/cstp/gaiyo/sip/
[7] 山本大介, 小林優佳, 横山祥恵, 土井美和子. 高齢者対話インタフェース：『話し相手』と なって、お年寄りの生活を豊かに. 電子情報通信学会技術研究報告. HCS, ヒューマンコミュ ニケーション基礎, Vol. 109, No. 224, pp. 47-51, 2009 .

[8] 大竹裕也, 萩原将文. 高齢者のための発話意図 を考慮した対話システム. 日本感性工学会論文誌, Vol. 11, No. 2, pp. 207-214, 2012.

[9] 下岡和也, 徳久良子, 吉村貴克, 星野博之, 渡部生聖. 音声対話ロボットのための傾聴シス テムの開発. 自然言語処理, Vol. 24, No. 1, pp. 3-47, 2017.

[10] 株式会社日本総合研究所. 平成 30 年度厚生労働省老人保健事業推進費補助金 (老人保健健康増進等事業）適切なケアマネジメント手法 の策定に向けた調査研究報告書, 2019.

[11] Mukuntha Narayanan Sundararaman, Ayush Kumar, and Jithendra Vepa. Phoneme-BERT: Joint language modelling of phoneme sequence and ASR transcript. In Interspeech 2021, 2021.

[12] Masahiro Tanaka, Kenjiro Taura, Toshihiro Hanawa, and Kentaro Torisawa. Automatic graph partitioning for very large-scale deep learning. In Proceedings of 35th IEEE International Parallel and Distributed Processing Symposium (IPDPS 2021), pp. 10041013, 2021.


# 交通に関する知識グラフを用いた運転免許試験問題の解法

相川渉 三輪誠 佐々木裕
豊田工業大学
\{sd18001, makoto-miwa,yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

運転知識に基づいて運転免許試験問題を解くアプ ローチでは，運転に関する知識ベースを作成して， それに基づいて解答の判定を行う必要がある. 既存 の手法では解答の判定が表記に依存したり，知識間 の関係を考慮できていないという問題があった。そ こで本研究では，交通教則文から抽出した運転知識 を知識グラフに変換し，知識グラフの埋め込みモデ ルをベースとして，問題文から作成したトリプルに ついてのリンク予測問題を解くことで運転免許試験問題を解く方法を試みる。

## 1 はじめに

完全自動運転であるレベル 6 自動運転において は，自動運転システムが交通法規や交通マナーと いった知識を持ち，それに基づいて，判断・推論を 行う必要がある. 人間の運転に関する知識や判断・推論能力を評価するひとつの指標として，運転免許筆記試験があり，レベル 6 自動運転システムについ ても，運転免許試験問題を解かせることができれば この能力を同様に評価することができる.

運転に必要な知識は交通教則 [1] に記載されてい る. Savong らは交通教則から知識を構造化して取り 出すための手法としてオントロジー形式のアノテー ションを提案し，交通教則にアノテーション [2]を 行った.この形式でタグ付けされた情報は簡単に Resource Definition Framework (RDF) トリプルに変換 することができ，この変換したトリプルは交通教則 の知識の集合を表した知識べースとして利用できる と期待される。

また，構造化された知識を用いて質問応答を行う 手法も提案されている。鈴木ら [3] は質問文を問い 合わせ言語に変換して知識べースに問い合わせる ことで解答を予測する。この手法では，同じ内容 の質問でも表記が異なるとマッチングしないとい う問題点がある．鈴木ら [4] は Bidirectional Encoder

図 1 提案手法の概要

Representations from Transformers (BERT) モデルを基 にオントロジー形式のアノテーションデータセット の知識を用いて解答を取得する。この手法は入力さ れた質問文と学習文について用語単位のべクトルの 平均を取り，それらの類似度から解答を予測する。 この手法は用語単位のベクトルを使って予測を行う ため用語間の関係性を直接考慮できていないと考 えられる。これを解決するために，取り出した知識 ベースから知識グラフを作成して，知識グラフの埋 め込みモデルを用いて質問応答を行うことが有効だ と考えた

そこで本研究では，Savong ら [2] の交通関係アノ テーションから取り出した交通教則の知識を表す RDFトリプルを対象に，知識グラフの埋め込みモデ ルを用いた質問応答システムへの利用可能性を調査 する。

## 2 関連研究

交通教則に関するオントロジー形式関係 (OSRRoR) データセット [2] とは，交通教則 [1] に行っ たオントロジー形式のアノテーションデータであ る.アノテーションの例を図 2 に示す.このアノ テーションの特徴として，用語の一種として RDF スキーマに定義されている rdf:Property に対応する 関係に関する用語（関係用語）を用意し，それぞれ rdfs:domain, rdfs:range に対応する domain と range の 関係を関係用語と用語のタイプの間に結ぶことで用

(2)

(2) シートベルトは、正しく着用しましよう。

図 2 オントロジー形式のアノテーション

語間の関係を表現する. 図 2 では「は」に関係用語「Tool(T1)」を付与し, 「シートベルト」に付与されて いる用語のタイプ「SeatBelt」と「Tool」の間に range の関係を「Tool」と「着用」に付与されている用語 のタイプ「Utilization」の間に domain の関係を繋げ ている.

## 3 提案手法

本研究では，交通教則へのオントロジー形式のア ノテーションを知識ベースとして，知識グラフの埋 め込みモデルを学習・利用することで，運転免許試験の解答を行う手法を提案する．手法の概要を図 1 に示す. まず，オントロジー形式のアノテーション を行った交通教則からトリプルを作成し，これを知識グラフの埋め込みモデルで学習する。次に学習し たモデルに運転免許質問文に現れるトリプルを入力 し, それぞれのトリプルの確率値を出す. 最後にそ れらの確率值を統合して解答を出力する。

本研究で用いるオントロジー形式のアノテーショ ンからトリプルを作成する方法を 3.1 節で, 作成し たトリプルを用いたモデルの学習については 3.2 節 で，学習したモデルを用いた解答の出力については 3.3 節で説明する.

## 3.1 トリプルの作成

オントロジー形式のアノテーションを行った交通教則からトリプルを作成する. トリプルは全てのア ノテーションに対して以下のように作成して， 3 種類のトリプルのデータセットを作成する.

1. コーパス中の用語それぞれに対して，IDがそ れぞれ一意になるように，個別の用語 IDを付与する. ここで言う用語は，関係用語も含んで おり，同じ用語でも言及箇所が異なれば異なる IDを付与する。

2. 用語 ID と用語の表層について「label」とい う関係を，用語 ID と用語のタイプに対して 「type」という関係を付けてトリプルを作成 する. 図3では用語の ID「Vehicle11_1_T62」 と表層「自動車」に「label」という関係

図 3 「rel_id」での関係のつけ方

を付与して, (Vehicle11_1_T62,label, 自動車)というトリプルを作成する。ま た, 用語の ID「Vehicle11_1_T62」と用語の タイプ「Vehicle」に「type」という関係を 付与して(Vehicle,type,Vehicle11_1_T62) と いうトリプルを作成する。「Keeping」や 「Keeping11_1_T102」，「管理」の方でも同様 に行ってトリプルを作成する。

3. 関係とその関係に繋がる用語について 3 種類の 方法でトリプルを作成する.

・図 3 で示すように用語 ID 間に関係を繋げてトリプル (Keeping11_1_T102,range,Vehicle11_1_T62) を作成する. 2 で作成したトリプルとこの 方法によって作成したトリプルを合わせた データセットを「rel_id」とする.

・用語のタイプと関係を繋げてトリプル (Keeping, range,Vehicle)を作成する。2で 作成したトリプルとこの方法によって作成 したトリプルを合わせたデータセットを 「rel_type」とする.

・用語 IDと関係タグ，用語のタイプと関係 を繋げてそれぞれトリプルを作成する. 2 で作成したトリプルとこの方法によって作成したトリプルを合わせたデータセットを 「rel_both」とする.

運転免許質問文に関しても同様にトリプルを作成 する。

## 3.2 モデルの学習

作成したトリプルを入力して，モデルが学習する までの流れを以下に示す.

図 4 「rel_type」での関係のつけ方

図 5 「rel_both」での関係のつけ方

1. コーパスから作成したトリプルのデータセット と関係用語と用語間のつながりを除いた運転免許質問文から作成したトリプルを学習用データ セットとして用意する。関係用語と用語間のつ ながりを除いた運転免許質問文から作成した トリプルも学習用データセットに加えるのは, コーパス中に存在しない用語が質問文に含まれ ると解答の推論が行えなくなるからである。

2. 使用する知識グラフの表現学習モデル（本研究では AmpliGraph の TransE [5], DistMult [6], HolE [7] を使用・比較する）とモデルのハイ パーパラメタを決め，学習用データセットを入力として損失関数を最小化する.

3. トリプルを入力として確率値を出力するように モデルを較正する．較正は Tabacof ら [8] の手法を用いて行った.

4. 学習に用いた全てのトリプルの確率値を求め,教則の知識をモデルが表現できるかを確認す る. 具体的には，確率値が 0.9 を超えるトリプ ルがデータセット全体の 9 割を占めていれば交通教則の知識を表現できているとみなして 3.3表 1 データセットの統計

節で説明する解答の推論を行う。そうでなけれ ば解答の推論は行わずに別のパラメタで学習を 行う.

## 3.3 学習済みモデルを用いた推論

学習したモデルを用いて，質問の解答を以下のよ うに行う。
1. 3.1 節で作成したトリプルから，それぞれの運転免許質問文に対応するトリプルの集合 $Q$ を 取り出す。

2. 学習したモデルに $Q$ のトリプルを入力として,次のように解答を選択する。解答が○である確率 $P_{\text {True }} ， \mathrm{X}$ である確率 $P_{\text {False }}$ について，ある トリプル $(\mathrm{h}, \mathrm{r}, \mathrm{t})$ の確率を $p(h, r, t)(0 \leq p \leq 1)$ を 用いて，式 (1) と式 (2) のように計算する. 求め られた $P_{\text {True }}$ と $P_{\text {False }}$ を比較して， $P_{\text {True }}$ の方 が大きければ○を， $P_{\text {False }}$ の方が大きければ× を解答する。

$
\begin{gathered}
P_{\text {True }}=\prod_{(h, r, t) \in Q} p(h, r, t) \\
P_{\text {False }}=\prod_{(h, r, t) \in Q}(1-p(h, r, t))
\end{gathered}
$

## 4 実験と考察

## 4.1 使用したデータセット

・オントロジー形式のアノテーションを行った交通教則

交通教則 [1] にオントロジー形式のアノテー ションを行ったデータから 3.1 節の方法で 3 種類のトリプルのデータセットを作成した。それ ぞれのデータセットの統計を表 1 に示す.

・運転免許試験の質問文

オントロジー形式のアノテーションを行った運転免許試験問題（正誤問題）100 問文のトリプ ルを作成した. ID 間の関係を結んでトリプル を作成した．質問毎のトリプル数の統計を表 2 に示す. 3.2 節で説明したように，質問文の表
表 2 質問毎のトリプル数の統計

層と ID 間・IDと type 間での関係（label, type） のトリプルのデータは訓練に用いた。このトリ プルの数は 1,620 個であった.

## 4.2 結果と考察

自動車の運転に関する 100 問の問題（正解が正・誤となる問題それぞれ 50 問）をランダムに 5 分割 し，グラフ埋め込みのパラメータチューニングを 5 分割交差検証で行って，それぞれの正解率を平均を スコアとした. 表 3 に結果を示す. 実験の結果か ら，エンティティタイプに関係を付ける知識グラ フに対して，HolEを使用して「rel_type」のデータ セットを使用したときの正解率が最も高くなった.関係のつけ方による正解率を比較してみると TransE と HolE は「rel_type」で，DistMult は「rel_id」で最 も高い正解率を出しており，同じデータセットでも 正解率はモデルに依存することがわかった. 1 番卜 リプル数が多い「rel_both」の正解率がどのモデル においても正解率が最も高くならなかったことか ら正解率はトリプル数に依存しないことがわかっ た.「rel_id」のデータセットに用語のタイプ間の関係を繋いで作成したトリプルを加えたデータセッ トが「rel_both」になる. DistMultでは「rel_id」の方 が「rel_both」よりも正解率が高くなったことから， DistMult においては用語のタイプ間の関係を繋いだ ことによって作成したトリプルが正解率を低下さ せることに影響していたと考えられる. TransE と HolE の場合では「rel_type」の方が「rel_both」より も正解率が高かったため, 用語の ID 間で関係を繋 いだことによって作成したトリプルが正解率を低下 させることに影響しているのではないかと考えら れる.表 3 モデルと関係の付け方による正解率

## 5 おわりに

本研究では，オントロジー形式でアノテーション された交通教則から抽出した運転知識を知識グラフ に変換し，知識グラフの埋め込みモデル構築し，問題文から作成したトリプルについてのリンク予測問題を解くことで運転免許試験問題を解く方法を提案 した. 運転免許試験問題 100 問に対する 5 分割交差検証の結果， $62 \%$ の正解率を得ることができること が明らかになった. 正誤問題であるため，ベースラ インは $50 \%$ であり， ベースラインからの改善は不十分であるが，知識ベースに対して SPARQL で照合す るアプローチではほとんど照合に成功しないこと から考えると，ソフトな知識のマッチングができて いる。また，各質問文から作られた各トリプルの確率も計算できているため，どの部分がどの程度正し いと判断されたのかを根拠として確認できる．今後 は，本課題に合った新しい知識グラフの埋め込みモ デルを考案し，運転免許問題の正解率を向上させて いきたい.

## 謝辞

本研究の一部は JSPS 科研費 $20 K 11942$ の助成を受 けた。

## 参考文献

[1] 国家公安委員会. 交通の方法に関する教則. 2019.

[2] Savong Bou, Naoki Suzuki, Makoto Miwa, and Yutaka Sasaki. Ontology-style relation annotation: A case study. In Proceedings of the 12th Language Resources and Evaluation Conference, pp.4867-4876, Marseille, France, May 2020. European Language Resources Association.

[3] 鈴木遼司, 三輪誠, 佐々木裕. 交通オントロジーを対象 とした質問文の sparql クエリ変換. 言語処理学会 第 21 回年次大会 発表論文集, 2015.

[4] 鈴木直樹, Bou Savong, 三輪誠, 佐々木裕. オントロ ジー形式アノテーションを対象とした交通用語・関係抽出と正誤問題の回答. 言語処理学会 第 26 回年次大会 発表論文集, 2020.

[5] Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. Advances in neural information processing systems, Vol. 26, , 2013.

[6] Bishan Yang, Wen-tau Yih, Xiaodong He, Jianfeng Gao, and Li Deng. Embedding entities and relations for learning and inference in knowledge bases. arXiv preprint arXiv:1412.6575, 2014.

[7] Maximilian Nickel, Lorenzo Rosasco, and Tomaso Poggio. Holographic embeddings of knowledge graphs. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 30, 2016.

[8] Pedro Tabacof and Luca Costabello. Probability calibration for knowledge graph embedding models. In International Conference on Learning Representations, 2020.


# 副詞モウのアノテーションとそのガイドライン

勘場千夏・藤本悠花・久保山由梨・木下滉晴（九州大学文学部）
}

上山あゆみ (九州大学大学院人文科学研究院)
## 概要

モウという語の用法について、(1)限界・超過、 (2)接近・到達、(3)付加、(4)感情的意味、(5)非難・叱責、(6)緩衝、(7)その他の7 つに分け、分類の手順を示すフローチャートを作成した。実際にこの ガイドラインに沿って『現代日本語書き言葉均衡 コーパス』(BCCWJ)によってアノテーションを試 み、カッパ值を計算した結果、 0.824 となり、ある 程度信頼性のあるガイドラインが作成できたと結論づけた。

## 1. はじめに

モウという語は、『現代日本語書き言葉 均衡コ ーパス』 (BCCWJ) において、時間、数量、程度 に関わる副詞として用いられる一方、話し手の感動表出として使用される例もあり、その意味、機能は多義にわたっている。コーパスによる検索の 有用性を高めるためには、これらの用法の違いが アノテーションによって適切に区別されているこ とが望ましい。そのためには、必要に応じて分類 のガイドラインを作成することが有用である。本発表では、モウの様々な用法について分類ガイド ラインを作成するにあたって、どのような困難な 点があったかを明らかにした上で、実際にアノテ ーションを試み、その結果を述べる。

## 2. モウの分類

まずここで、提案するガイドラインを示し、そ れぞれの分類について、代表的な例文と分類上の 問題点について述べる。

 &  \\

 \\

3. 代表的な例文と問題となりうる点

3.1.「(1)限界・超過」について

「(1)限界・超過」の代表的な例文は、次に示す
通りである。

（1）「話し手にとって」もう過ぎ去ったこ と一それが「過去」です。

（2） a. その日の夕方、さいわい牧草小屋 をみつけてころがりこんだが、友人はもう歩けなくなっていた。

b. 「乳母よ、あの犬にもうあきらめ るよう、よく納得させなさい。」

(1)のように、程度や時間が一定の限度を超え ている様子を表し、モハヤ・スデニ・イマトナッ テハと置き換え可能なものは「（ア）超過」に分類される。

一方(2)のように、ある状態をこれ以上維持で きない様子や、繰り返し事象の終了限界後である 様子を表すものは、（イ）限界」の用法にあた る。モウの後に、否定語や、対象事象の終了を示唆するような動詞を伴うことが多い。

飛田・浅田(1994)における、程度や時間が限度を 越えた様子を表すモウの用法を踏襲し、これを 「（ア）超過」とした。さらに「（ア）超過」ま では至らないが、話者や対象の状態や事態、心情 が変化していると提示するモウを「（イ）限界」 とした。これは池田（1999）で、述べられていた 「繰り返し事象の終了限界以後に発話時があるこ とを示」すモウを取り入れている。

## 3.2.「(2)接近・到達」について

「(2)接近・到達」の代表的な例文は、次に示す 通りである。

（3） a. もうすぐリヤドを去る人と、リヤ ドに来たばかりの人が不思議と集 まる。

b. あの七わのわかものたちはね、も うじき、ひょう湖へでかけるって いうんだよ。

この用法のモウは、場所や時間、状況など、あ る目標に接近し到達しようとする話者の判断を 表す。マモナク・ヤガテなどと置き換えることが できる。
3.3.「(3)付加」について

「(3)付加」の代表的な例文は、次に示す通りで ある。

(4) a. いちばん影響を受けたもので、も う一度読み返そうかな、と思って るのが坂口安吾さん。

b. 以下これらの点を、もう少し立入 って考察してみることにしよう。

この用法のモウは、数詞や程度を表す言葉を修飾する形で用いられ、現在の様子にさらに付け加 える様子を表している。

## 3.4.「(4)感情的意味」について

「(4)感情的意味」の代表的な例文は、次に示す 通りである。

(5)

a. かつてのスターでは十代でデビュ 一した当時の磯村みどり、結婚す る前ごろの吉永小百合、村松英子 など、実にもうキラキラと輝く天女さまみたいでしたな。

b. 今日なら、もうほんたうに立派な 雲の峰が、東でむくむく盛りあが り一

この用法は、感情が溢れ処理できないとき、感動詞的に用いられ、マサニ・ナントモと置き換え

ることができる。

## 3.5.「(5)非難・叱責」について

「5)非難・叱責」の代表的な例文は、次に示す 通りである。

（6） a. 「ああ、もう。早く籍入れればよ かった。東京へ帰ったら、すぐ届出しましょう。ね、いいわね」

b. 「もう、アリスったら。いいから 食べなさいよ。少しは贅沢だって しなくっちや」

この用法のモウは、独立して使用され、非難・叱責の感情を表す感動詞として使われる。

## 3.6.「6緩衝」について

「6緩衝」の代表的な例文は、次に示す通りで ある。

(7) a. 顔といわず体といわずもうタテョ コ十文字に、人生の年輪がグシャ グシャに刻み込まれている。

b. 「いつだか、わかるか」「それは もう、記録につけてございますか ら。一たしか、三日ほど前かと思 います」

この用法のモウは、語調を整える役割をもち、 はっきり言うことを躊躇されるときなどに発話さ れる。

## 3.7.「(7)その他」について

「7そその他」の代表的な例文は、次に示す通り である。

(8)

a. 仕切りから覗けば、もうもうたる 湯煙の中に、何やら白い物体が見 えることは見えるのであります が、見えても年輪ばかり。

b. おまけにストーキーまでもが海に とびこんでもうて ...

副詞や感動詞的な用法を除いた、モウ。これは 私たちの対象としているモウではないが、コーパ スの検索結果に表示されたため、私たちの分類す るモウと区別するために「その他」として選り分 けた。

## 4. アノテーション結果

『現代日本語書き言葉均衡コーパス』(BCCWJ) から、モウを含んだ例文 500 件を抽出し、上記の 分類ガイドラインにしたがって、実際にアノテー ションを行った。

九州大学文学部の学生 2 人がそれぞれアノテー ションを行った。その結果からカッパ值を計算し たところ、 0.824 となった。アノテータ間でぶれの 少ない、ある程度信頼性のあるガイドラインが作成できたことになる。今後、ずれの見られたとこ
ろを中心に、さらに検討を重ねていきたい。

## 5. 参照文献

池田英喜(1999)「「もう」と「まだ」:状態の移行 を前提とする 2 つの副詞」，『阪大日本語研究』,11:19-35

飛田良文・浅田秀子(1994)『現代副詞用法辞典』，東京:東京堂出版.


# Homophily に基づくサイレントマジョリティの意見推定

向井 穂乃花 ${ }^{1}$ 磯沼 大 $^{1}$ 森 純一郎 ${ }^{1,2}$ 坂田 一郎 ${ }^{1}$
1 東京大学 2 理研 AIP
mukai-honoka377@g.ecc.u-tokyo.ac.jp isonuma@ipr-ctr.t.u-tokyo.ac.jp
mori@mi.u-tokyo.ac.jp isakata@ipr-ctr.t.u-tokyo.ac.jp

## 概要

本研究はソーシャルメディア上のサイレントユー ザの意見を推定するための意見生成モデルを提案 する。提案モデルでは、同じ意見を持つユーザはコ ミュニティを形成しやすいという “Homophily”に基 づき、ユーザの意見をネットワーク埋め込みとト ピックでモデル化する。これにより、サイレント ユーザのネットワーク埋め込みをモデルに入力する ことで、様々なトピックに関する意見の推定を試み る。米国大統領選挙期間中のツイート文を対象に推定精度を検証した結果、既存の文生成モデルと同程度の性能が得られ、ネットワーク埋め込みがユーザ の意見のモデル化に十分な情報を持つことが示唆 された。更に潜在空間上のユーザの位置によって、 ユーザの意見が変化していく様子が確認された。

## 1 はじめに

近年、ソーシャルメディア上の人々の意見は、個人の情報収集源として影響力を増しており、マスメ ディアを代替する情報源として活用されることも多 い。一方、ソーシャルメディアは社会の分断に加担 する負の側面もあり、自分と同様の価値観を持つ意見ばかりに囲まれるフィルターバブル現象などを通 じて、ユーザを時に過激な言動に走らせる $[1,2,3]$ 。 しかし、実際には過激なユーザは少数で、多数は穏健な考えを持つが意見表明を積極的に行わないサ イレントマジョリティであり、Twitter 上では約 $40 \%$ のユーザがサイレントユーザだという報告もある $[4,5]$ 。サイレントマジョリティの意見推定は、ソー シャルメディアを情報収集源として活用すると共 に、人々の視野を広げ過激な行動を防ぐための重要 なタスクである。

サイレントマジョリティの意見推定の文脈におい て、既存研究 [6] では同じ意見や態度を持つユーザは コミュニティを形成しやすいという “Homophily”[7]

図 1: Bowman らの文生成モデル (a) と

提案する意見生成モデル (b) の対比

という性質を活用し、サイレントユーザの感情極性推定を試みている。しかし同じ感情極性を示してい ても、その根拠が異なる場合は多い。例えば米国で 反共和党を掲げる人々も、その理由は白人至上主義的な考えへの反発や、COVID-19への対応策への批判など多岐にわたる。こうした思考プロセスを含め た意見を把握するには、挑戦的であるものの極性分類に留まらず文生成による意見推定が望ましい。

そこで、本研究は Bowman らによる文生成モデ ル [8] を応用することで、サイレントユーザの意見推定を試みる。図 1 にその概念図を示す。Bowman らは、文の潜在表現がガウス分布に従うと仮定し、 Variational Autoencoder (VAE[9,10]) の枠組みで文と その潜在表現間の写像を学習している。これによ り、例えば図 1 （a）のような 2 次元の潜在空間が 与えられた時、 $x_{1}, x_{2}$ 間の等間隔上に位置する潜在表現からは、 $\boldsymbol{x}_{1}, \boldsymbol{x}_{2}$ から復号された文に対し意味が 少しずつ変化した文が復号されることを明らかに した。一方、本研究はソーシャルメディア上のユー ザの潜在表現をネットワーク埋め込みで獲得し、 ユーザの潜在空間上における意見分布をモデル化す る。Homophily を仮定すると、潜在空間上で近接す

図 2: 提案モデルの概要図

るユーザ（ネットワーク上で近接するユーザ）は類似する意見を持つため、ユーザの潜在表現と意見間 の写像を学習することで、サイレントユーザの意見 を推定できると考えた。例えば図 1（b）における $x_{3}, x_{4}$ のように顕在化しているユーザの意見を学習 することで、その中間に位置するサイレントユーザ の意見推定を図る。

評価実験では、米国大統領選挙期間中のツイート 文をユーザの意見とみなし、ユーザのネットワーク 埋め込み表現をもとにツイート文を推定する実験を 行った。評価データセット中のツイート文について Bowman らの文生成モデルと同程度の尤度が得られ ることを確認し、サイレントユーザの意見推定に提案法が有効であることが示唆された。

## 2 事前準備

まず、本研究の基礎となる Bowman らによる文生成モデル（VAE-LM）について解説する。Bowman らは文 $\boldsymbol{w}_{s}$ の生成過程を以下でモデル化している。

1. 文の潜在表現 $\boldsymbol{x}_{s} \in \mathbb{R}^{d}$ をサンプル:

$
\boldsymbol{x}_{s} \sim \mathcal{N}\left(\boldsymbol{x}_{s} \mid \boldsymbol{\mu}_{0}, \boldsymbol{\Sigma}_{0}\right)
$
2. $\boldsymbol{x}_{s}$ を復号し、文 $\boldsymbol{w}_{s}$ をサンプル：

$
\boldsymbol{w}_{s} \mid \boldsymbol{x}_{s} \sim p\left(\boldsymbol{w}_{s} \mid \boldsymbol{x}_{s}\right)=\operatorname{Decoder}\left(\boldsymbol{x}_{s}\right)
$

ただし、 $\boldsymbol{\mu}_{0}=\mathbf{0}, \boldsymbol{\Sigma}_{0}=\boldsymbol{I}$ はガウス分布のパラメータで ある。この生成モデルを VAE の枠組みで学習する ことによって、図 1 （a）に示すように、2つの文の 潜在表現の中間点から、2 文と意味が似た文を復号 できることを明らかにした。

これを発展させ、Tang らは文の潜在表現をト ピック $z_{s}$ と文構造などその他の特徵 $\boldsymbol{x}_{s}$ に分解できると仮定し、文の生成過程を以下でモデ ル化した (TATGM; Topic Augmented Text Generation Model[11])。
1. 文の潜在表現 $\boldsymbol{x}_{s} \in \mathbb{R}^{d}$ をサンプル:

$
\boldsymbol{x}_{s} \sim \mathcal{N}\left(\boldsymbol{x}_{s} \mid \boldsymbol{\mu}_{0}, \boldsymbol{\Sigma}_{0}\right)
$

2. 文のトピック $z_{s} \in\{1, \ldots, K\}$ をサンプル:

$
z_{s} \sim \operatorname{Cat}\left(\boldsymbol{\theta}_{\boldsymbol{s}}\right)
$
3. $\boldsymbol{x}_{s}, z_{s}$ を復号し、文 $\boldsymbol{w}_{s}$ をサンプル：

$
\boldsymbol{w}_{s} \mid \boldsymbol{x}_{s}, z_{s} \sim p\left(\boldsymbol{w}_{s} \mid \boldsymbol{x}_{s}, z_{s}\right)=\operatorname{Decoder}\left(\left[\boldsymbol{x}_{s} ; \boldsymbol{z}_{s}\right]\right)
$

ただし、 $\boldsymbol{\theta}_{s} \in \Delta^{K-1}$ は文 $s$ のトピック分布で、Neural Topic Model $[12,13]$ により推定する。また、 $\left[\boldsymbol{x}_{s} ; \boldsymbol{z}_{s}\right]$ は $\boldsymbol{x}_{s}$ と $z_{s}$ の one-hot 表現 $z_{s}$ を結合したべクトルで ある。トピックを陽にモデル化することで、 $\boldsymbol{x}_{s}$ を固定して $z_{s}$ を変化させると、文構造などは変化させず に、トピックのみを変化させることを可能にした。

一方、本研究は TATGM をべースに、文の潜在表現 $\boldsymbol{x}_{s}$ をユーザの潜在表現（ネットワーク埋め込み 表現） $\boldsymbol{x}_{u}$ に置き換える。これにより、ソーシャル ネットワーク上の位置によって特徴づけられたある ユーザが、任意のトピックを与えられたときに、ど のような意見を発するかについてモデル化する。

## 3 提案モデル

提案モデル概要を図 2 に示す。本研究では、ユー ザ $u$ の意見 $\boldsymbol{w}_{s}$ を以下の生成過程でモデル化する。

$\cdot$各ユーザ $u \in\{1, \ldots, U\}$ について:

1. ユーザの潜在表現 $x_{u} \in \mathbb{R}^{d}$ をサンプル:

$
\boldsymbol{x}_{u} \sim \mathcal{N}\left(\boldsymbol{x}_{u} \mid \boldsymbol{\mu}_{0}, \boldsymbol{\Sigma}_{0}\right)
$

・ユーザ $u$ の各意見 $s \in\left.\{1, \ldots, S_{u}\right.\}$ について:

2. 意見のトピック $z_{s} \in\{1, \ldots, K\}$ をサンプル:

$
z_{s} \sim \operatorname{Cat}\left(\boldsymbol{\theta}_{\boldsymbol{s}}\right)
$
3. $\boldsymbol{x}_{u}, z_{s}$ を復号し、意見 $\boldsymbol{w}_{s}$ をサンプル：

$
\boldsymbol{w}_{s} \mid \boldsymbol{x}_{u}, z_{s} \sim p\left(\boldsymbol{w}_{s} \mid \boldsymbol{x}_{u}, z_{s}\right)=\operatorname{Decoder}\left(\left[\boldsymbol{x}_{u} ; z_{s}\right]\right)
$

このとき、ユーザ $u$ の意見の尤度と、その対数の変分下限 $\mathscr{L}$ はそれぞれ以下で表される。

$
\begin{aligned}
& p\left(\boldsymbol{W}_{1: S_{u}}\right)=\int p\left(\boldsymbol{x}_{u}\right) \prod_{s=1}^{S_{u}}\left.\{\sum_{z_{s}} p\left(\boldsymbol{w}_{s} \mid \boldsymbol{x}_{u}, z_{s}\right) p\left(z_{s}\right)\right.\} d \boldsymbol{x}_{u} \\
& \mathscr{L}_{u} \geq \mathbb{E}_{q\left(\boldsymbol{x}_{u} \mid \boldsymbol{e}_{u}\right)}\left.\{\sum_{s=1}^{S_{u}} \log p\left(\boldsymbol{w}_{s} \mid \boldsymbol{x}_{u}, \boldsymbol{\theta}_{s}\right)\right.\} \\
& -\mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{x}_{u} \mid \boldsymbol{e}_{u}\right) \| p\left(\boldsymbol{x}_{u}\right)\right]
\end{aligned}
$

ただし、 $q\left(\boldsymbol{x}_{u} \mid \boldsymbol{e}_{u}\right)=N\left(\boldsymbol{x}_{u} \mid f_{\mu}\left(\boldsymbol{e}_{u}\right), f_{\sigma}\left(\boldsymbol{e}_{u}\right)\right)$ はユーザ $u$ の潜在表現の変分事後分布で、ユーザのネットワー ク埋め込み表現 $\boldsymbol{e}_{u} \in \mathbb{R}^{h}$ を $\operatorname{MLP} f_{\mu}, f_{\sigma}$ により変換す ることで推定する。また、 $\boldsymbol{\theta}_{s} \in \Delta^{K-1}$ は文 $s$ のトピッ ク分布であり、本研究では Neural Topic Model の一種である NQTM[14] により獲得する。以下、それぞ れを用いた理由とその方法について概説する。

## 3.1 ユーザのネットワーク埋め込み

本研究はサイレントユーザの意見推定を試みるこ とから、ユーザの意見 (テキスト) に頼らずにユーザ の潜在表現を得る必要がある。そこで、Homophily の概念に着想を得て、ユーザのネットワーク埋め込 み表現を用いることで潜在表現を獲得する。

本研究ではユーザをノード、ユーザ同士のコミュ ニケーション (リツイート/リプライ) 数をエッジと した重み付き無向グラフを対象に、ネットワーク埋 め込み手法として LINE[15] を用いた。LINE では同一コミュニティに属するユーザが近接するように埋 め込み表現を学習する。従って、ネットワーク埋め 込みが近接するユーザ群からは、類似する意見が生成され、Homophilyをモデル化できると期待される。

## 3.2 NQTM による意見のトピック推定

TATGM ではトピック分布の推定に Neural Topic Model[12]を用いているが、本研究が対象とする ソーシャルメディア上の投稿など、短文のテキスト にはトピック推定がうまく機能しない。そこで、本研究では短文テキストを対象に開発された NQTM (Negative sampling and Quantization Topic Model[14]) を利用する。短文のテキストでは、トピック分布が 一様分布に近くなるとともに、各トピックの単語分布が似た分布になりやすい。そこでNQTM では、 トピック分布の量子化により鋭いピークを持つ分布 に誘導すると共に、他トピックに頻出する単語を負例として用いるネガティブサンプリングによって、各トピックの単語分布の差が際立つよう学習する。表 1: データセット中のツイート数とユーザ数

表 2: 評価データの意見推定精度（低いほうがよい）

## 4 実験

本実験では、ソーシャルメディアとして Twitterを 採用し、Twitter 上の投稿（ツイート文）を意見とみ なすことで、提案モデルが各ユーザの意見をどの程度モデル化できるか、即ちサイレントユーザの意見 をどの程度推定可能か検証する。

## 4.1 実験設定

本実験では、政治的意見が多く含まれると考え られる 2020 年アメリカ大統領選挙の前後期間に 特定のクエリで抽出されたツイート文 [16] を対象 に、意見生成の精度評価を行った。データセット 中のツイート数/ユーザ数を表 1 に示す。ベースラ インとして、Bowman らの VAE-LM[8] と、Tang ら の TATGM[11] を採用した。トピック数は 10 で固定 し、ベースライン・提案モデル共に Transformer[17] をデコーダとして用いた。

## 4.2 意見推定の精度比較

まず、提案モデルが各ユーザの意見をどの程度 モデル化できるか検証するため、評価データセッ ト中のツイート文の尤度を確認した。学習に利用 していない評価データ中のユーザはいわばサイレ ントユーザとみなすことができるため、尤度はサ イレントユーザの意見推定精度とみなせる。各モ デルから算出されたツイート文の負の対数尤度を 表 2 に示す。提案モデルは Bowman より高い推定精度を確認できた他、TATGMにも匹敵する性能を 示した。VAE-LM や TATGM は推定対象の文 $\boldsymbol{w}_{s}$ を 用いて、文の潜在表現の事後分布を推定している： $q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right)=N\left(\boldsymbol{x}_{u} \mid f_{\mu}\left(\boldsymbol{w}_{s}\right), f_{\sigma}\left(\boldsymbol{w}_{s}\right)\right)$ (ただし、 $f_{\mu}, f_{\sigma}$ は Transformer エンコーダ)。一方、提案モデルは事後分布の推定に文 $\boldsymbol{w}_{s}$ を用いず、ネットワーク埋め込 みを用いているため、ベースラインの方が文 $\boldsymbol{w}_{s}$ の

図 3: ユーザの潜在空間

図 4: ユーザの潜在変数を移動した時のトピック 1 に関する生成文変化表 3: 各トピックにおける頻出度上位 10 単語

 \\

推定は容易であると考えられる。それにも関わらず 提案モデルがベースラインと競合する性能を得られ たことは、ネットワーク埋め込みがユーザの意見の モデル化に十分な情報を持つことを示唆している。

## 4.3 トピックの分析

表 3 に各トピックに最も頻出する上位 10 単語を 示す。総じて、選挙戦を中心とした政治的なトピッ クに関する単語が取得できていることがわかる。特 にトピック 1,3,5,6,8,9 は政局や選挙関連について激 しい論戦が行われた話題である。トピック 1 は不正投票、トピック 2 は COVID-19、トピック 4 は死刑判決が議論を呼んだ Brandon Bernard 氏、トピック 10 は 2020 年に米国で盛んだった Black Lives Matter 運動について、それぞれ示していると考えられる。

## 4.4 ユーザの潜在空間の分析

評価データセット中のユーザの潜在表現 $x_{u}$ につ いて、t-SNE[18] による 2 次元空間上への射影を図 3 に示す。各点はユーザを表し、共和党/民主党支持に 関連するハッシュタグ（付録 A 表 4）どちらかを使用したユーザをそれぞれ赤/青で表している。両者 は互いに固まって位置していることが確認できる。

また潜在空間内の共和党支持ユーザ（赤）と民主党支持ユーザ（青）の重心ベクトル $\bar{x}_{\text {red }}, \bar{x}_{\text {blue }}$ の中間地点のユーザベクトルをモデルに入力した時の出力文の変化例を図 4 に示す。ここでは $z_{s}=1$ を入力 し、不正選挙に関するトピック 1 について、その意見の変化を観察した。米大統領選では、選挙不正に 関して郵便投票と選挙人団入替えの是非が主な争点 であった。 $\bar{x}_{\text {blue }}$ に近づくほど、郵便投票に対し肯定的な意見が生成されている一方 $\left(\boldsymbol{x}_{1}\right) 、 \overline{\boldsymbol{x}}_{\text {red }}$ に近 づくと選挙人団投票 (electoral vote) に対する否定的 な意見が生成される $\left(\boldsymbol{x}_{7}\right)$ 傾向を確認できる。この ように潜在空間上の位置によって、ユーザの意見が 変化していく様子が確認された。

## 5 おわりに

本研究はユーザの意見をネットワーク埋め込みと トピックに基づきモデル化することによって、様々 なトピックに関するサイレントユーザの意見を推定できるモデルを提案した。米国大統領選挙期間中 の Twitter データで意見（ツイート文）の推定精度を 検証した結果、既存の文生成モデルと同程度の性能 が得られた他、ユーザの潜在変数が各党の支持ユー ザに近づくと、各党の支持ユーザらしい意見が生成 される様子が定性的にも確認された。以上のことか ら、ネットワーク埋め込みとトピックに基づくユー ザの意見のモデル化の妥当性が確認された。

## 謝辞

本研究は、JST ACT-X JPMJAX1904 及び JST CREST JPMJCR21D1 の支援を受けたものである。

## 参考文献

[1] Eli Pariser. The filter bubble: How the new personalized web is changing what we read and how we think. Penguin, 2011.

[2] Lada A Adamic and Natalie Glance. The political blogosphere and the 2004 us election: divided they blog. In Proceedings of the 3rd International Workshop on Link discovery, pp. 36-43, 2005.

[3] Elanor Colleoni, Alessandro Rozza, and Adam Arvidsson. Echo chamber or public sphere? predicting political orientation and measuring political homophily in twitter using big data. Journal of Communication, Vol. 64, No. 2, pp. 317-332, 2014.

[4] Yoree Koh. Report: $44 \%$ of twitter accounts have never sent a tweet. Wall Street Journal. News Corporation, Vol. 11, , 2014.

[5] Wei Gong, Ee-Peng Lim, and Feida Zhu. Characterizing silent users in social media communities. In Proceedings of the International AAAI Conference on Web and Social Media, Vol. 9, 2015

[6] Lei Wang, Jianwei Niu, Xuefeng Liu, and Kaili Mao. The silent majority speaks: Inferring silent users' opinions in online social networks. In The World Wide Web Conference, pp. 3321-3327, 2019.

[7] Miller McPherson, Lynn Smith-Lovin, and James M Cook. Birds of a feather: Homophily in social networks. Annual Review of Sociology, Vol. 27, No. 1, pp. 415-444, 2001.

[8] Samuel Bowman, Luke Vilnis, Oriol Vinyals, Andrew Dai, Rafal Jozefowicz, and Samy Bengio. Generating sentences from a continuous space. In Proceedings of the 20th SIGNLL Conference on Computational Natural Language Learning, pp. 10-21, 2016.

[9] Diederik P Kingma and Max Welling. Auto-encoding variational bayes. In Proceedings of the 2nd International Conference on Learning Representations, 2014.

[10] Danilo Jimenez Rezende, Shakir Mohamed, and Daan Wierstra. Stochastic backpropagation and approximate inference in deep generative models. In Proceedings of the 31st International Conference on Machine Learning, pp. 1278-1286, 2014.

[11] Hongyin Tang, Miao Li, and Beihong Jin. A topic augmented text generation model: Joint learning of semantics and structural features. In Proceedings of the $\mathbf{2 0 1 9}$ Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 5090-5099, 2019.

[12] Yishu Miao, Edward Grefenstette, and Phil Blunsom. Discovering discrete latent topics with neural variational inference. In Proceedings of the 34th International Conference on Machine Learning, pp. 2410-2419, 2017.

[13] Akash Srivastava and Charles Sutton. Autoencoding variational inference for topic models. In Proceedings of the 5th International Conference on Learning Representations, 2017.

[14] Xiaobao Wu, Chunping Li, Yan Zhu, and Yishu Miao. Short text topic modeling with topic distribution quantization and negative sampling decoder. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 1772-1782, 2020.

[15] Jian Tang, Meng Qu, Mingzhe Wang, Ming Zhang, Jun Yan, and Qiaozhu Mei. Line: Large-scale information network embedding. In Proceedings of the 24th International Conference on World Wide Web, pp. 1067-1077, 2015.

[16] Emily Chen, Ashok Deb, and Emilio Ferrara. \# election2020: the first public twitter dataset on the 2020 us presidential election. Journal of Computational Social Science, pp. 1-18, 2021.

[17] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, pp. 5998-6008, 2017.

[18] Laurens Van der Maaten and Geoffrey Hinton. Visualizing data using t-sne. Journal of Machine Learning Research, Vol. 9, No. 11, 2008.

[19] Zhiting Hu, Zichao Yang, Xiaodan Liang, Ruslan Salakhutdinov, and Eric P Xing. Toward controlled generation of text. In Proceedings of the 34th International Conference on Machine Learning, pp. 1587-1596, 2017.

[20] Chris J Maddison, Andriy Mnih, and Yee Whye Teh. The concrete distribution: A continuous relaxation of discrete random variables. In Proceedings of the 5th International Conference on Learning Representations, 2017.

[21] Eric Jang, Shixiang Gu, and Ben Poole. Categorical reparameterization with gumbel-softmax. In Proceedings of the 5th International Conference on Learning Representations, 2017.

[22] Victor Prokhorov, Ehsan Shareghi, Yingzhen Li, Mohammad Taher Pilehvar, and Nigel Collier. On the importance of the kullback-leibler divergence term in variational autoencoders for text generation. In Proceedings of the 3rd Workshop on Neural Generation and Translation, pp. 118-127, 2019.

[23] Bohan Li, Junxian He, Graham Neubig, Taylor BergKirkpatrick, and Yiming Yang. A surprisingly effective fix for deep latent variable modeling of text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3603-3614, 2019.

## A 付録

## A. 1 モデル詳細

本研究では、生成意見の対数尤度の変分下限 $\mathscr{L}_{u}(10)$ に、下記の節で定義する $\mathscr{L}_{t}$ 及び $\mathscr{L}_{d}$ を加えた 目的関数 $\mathscr{L}$ を最大化するようにモデルを学習する。

$
\mathscr{L}=\mathscr{L}_{u}+\mathscr{L}_{t}+\lambda \mathscr{L}_{d}
$

## A.1.1 Neural Topic Model 及び NQTM

本節では TATGM にて用いられている Neural Topic Model $[12,13]$ と、それを短文のテキストに適用で きるよう改良された NQTM[14] について概説する。 Neural Topic Model では一般的なトピックモデルと 同様に以下の生成過程を仮定する。

・ユーザ $u$ の各意見 $s \in\left.\{1, \ldots, S_{u}\right.\}$ について:

1. 意見 $s$ のトピック分布 $\boldsymbol{\theta}_{s} \in \Delta^{K-1}$ をサンプル:

$
\begin{aligned}
& \boldsymbol{y}_{s} \sim \mathcal{N}\left(\boldsymbol{y}_{s} \mid \boldsymbol{\mu}_{0}, \boldsymbol{\Sigma}_{0}\right) \\
& \boldsymbol{\theta}_{s}=\operatorname{softmax}\left(\boldsymbol{y}_{s}\right)
\end{aligned}
$
- 意見 $s$ の各単語 $n \in\left.\{1, \ldots, N_{s}\right.\}$ について:

2. 単語のトピック $z_{n} \in\{1, \ldots, K\}$ をサンプル:

$
z_{n} \sim \operatorname{Cat}\left(\boldsymbol{\theta}_{\boldsymbol{s}}\right)
$

3. 単語 $w_{n} \in\{1, \ldots, V\}$ をサンプル：

$
w_{n} \sim \operatorname{Cat}\left(\boldsymbol{\beta}_{z_{n}}\right)
$

このとき、トピックモデルにおけるユーザ $u$ の対数尤度の変分下限は以下で与えられる。

$
\mathscr{L}_{t}=\sum_{s=1}^{S_{u}} \sum_{n=1}^{N_{s}} \log (\boldsymbol{\beta} \cdot \hat{\boldsymbol{\theta}})_{w_{n}}-\mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{y}_{s} \mid \boldsymbol{w}_{s}\right) \| p\left(\boldsymbol{y}_{s}\right)\right]
$

ただし、 $q\left(\boldsymbol{y}_{s} \mid \boldsymbol{w}_{s}\right)=q\left(\boldsymbol{y}_{s} \mid f_{\mu}\left(\boldsymbol{w}_{s}\right), f_{\Sigma}\left(\boldsymbol{w}_{s}\right)\right)$ は変分事後分布であり、文 $\boldsymbol{w}_{s}$ の bag-of-words 表現を $\operatorname{MLP} f_{\mu}$ 及 び $f_{\sigma}$ で変換することで得られる。NQTM では、変分下限 $\mathscr{L}_{t}$ に加え、負例の尤度及び量子化前後の卜 ピック分布の誤差項を $\mathscr{L}_{t}$ に加えている。

## A.1.2 Discriminator

TATGM[11] と同様に、生成された文 $\hat{w}_{s}$ が指定さ れたトピック $z_{s}$ に関する内容を含むように誘導す るため、本研究では提案モデルに discriminator[19] を加えた。Discriminator は、生成文のサンプルをト ピックモデルに入力して得られるトピック分布 $q\left(z_{s} \mid \hat{\boldsymbol{w}}_{s}\right)$ が、元の文のトピック分布 $p\left(z_{s}\right)$ に近づく ように、以下の目的関数を最大化する。表 4: ハッシュタグの分類

$
\begin{aligned}
\mathscr{L}_{d} & =\sum_{s=1}^{S_{u}} \mathbb{E}_{p\left(\hat{\boldsymbol{w}}_{s}, z_{s}\right)}\left[\log q\left(z_{s} \mid \hat{\boldsymbol{w}}_{s}\right)\right] \\
& \approx \sum_{s=1}^{S_{u}} \sum_{k=1}^{K} \log q\left(z_{s}=k \mid \hat{\boldsymbol{w}}_{s}^{\prime}\right)
\end{aligned}
$

ただし、 $\hat{\boldsymbol{w}}_{s}^{\prime}$ は Gumbel-softmax trick[20, 21] によって 推定した生成文のサンプルである。

## A. 2 実験詳細

## A.2.1 各党支持に関連するハッシュタグ

各党の支持ユーザを同定するために、本研究では 表 4 に示すハッシュタグを用いた。民主党の方が ハッシュタグが多いものの、共和党/民主党支持と判断されたユーザ数はそれぞれ $15,961 / 9,274$ である。 なお、\#trump や\#bidenなど、肯定的/否定的な文脈双方で頻用されるものについては使用していない。

## A.2.2 実装詳細

図 2 の $f_{\mu}, f_{\sigma}$ は 4 つの全結合層とバッチ正規化か ら成り、以下の式のように $\mu_{u}, \sigma_{u}$ を得る。

$
\begin{aligned}
\boldsymbol{c}_{0} & =\boldsymbol{W}_{0} \boldsymbol{x}+\boldsymbol{b}_{0} \\
\boldsymbol{c}_{1} & =f_{\boldsymbol{b}}\left(\boldsymbol{W}_{1} \boldsymbol{c}_{0}+\boldsymbol{b}_{1}\right) \\
\boldsymbol{\mu} & =\boldsymbol{W}_{2} \boldsymbol{c}+\boldsymbol{b}_{2} \\
\boldsymbol{\sigma}^{2} & =\operatorname{softplus}\left(\boldsymbol{W}_{3} \boldsymbol{c}+\boldsymbol{b}_{3}\right)
\end{aligned}
$

ただし $\left(\boldsymbol{W}_{0}, \boldsymbol{b}_{0}\right)$ は 128 次元べクトルに、 $\left(\boldsymbol{W}_{1}, \boldsymbol{b}_{1}\right),\left(\boldsymbol{W}_{2}, \boldsymbol{b}_{2}\right),\left(\boldsymbol{W}_{3}, \boldsymbol{b}_{3}\right)$ は 64 次元ベクトルに変換 する全結合層のパラメータを表し、 $f_{b}$ はバッチ正規化関数を表す。デコーダの Transformer の隠れ層は 256、ブロック数は 6 に設定した。また単語ベクトル の次元数は256、学習時のバッチサイズは 64、学習率 は 0.0001、勾配降下法は $\operatorname{Adam}\left(\left(\beta_{1}, \beta_{2}\right)=(0.9,0.999)\right.$, weight_decay $=0$ )、Discriminator の係数は $\lambda=0.1$ を採用した。また、VAEの事後分布崩壊を防ぐために、 KL-annealing 及び KL-threshold[22, 23]を適用した。


# 構造的曖昧性に基づく読みづらさの検出

吉田あいり 河原大輔
早稲田大学理工学術院
yoshida-a.waihk@ruri.waseda.jp, dkw@waseda.jp

## 概要

日本語文の読みづらさを定量的に評価することを 目的とし,構造的曖昧性を活用した手法を提案する。漸進的要素を組み入れ, BERT による構文解析の結果を用いて評価する. ベースラインには言語モデル による尤度 (サプライザル)を用いて, 読みづらさの 正解データはクラウドソーシングにより文ぺアに対 して複数人の回答を収集したものを使用する. 2 種類の方法で作成したデータにて評価を行い, 提案手法はベースラインに対して有意な結果を得た。

## 1 はじめに

テキストを読む機会は多く,文が読みやすいこと は消費される時間の短縮以外に読者の理解度の向上 にもつながる. そのため, 文の情報を損なわない読み やすい文が必要とされる. 本研究では執筆支援シス テムにおいて想定される読点の挿入や語順整理と いった文の読みやすさの改良の前段階として, 自動的に読みづらい文を検出することを目的とする。

人間における読みづらさは主に読み時間で評価さ れ, 計算機においては言語モデルを用いて計算され る負の尤度であるサプライザルで評価される [1]. こ れは予想と異なる内容が現れた際に読み負荷が高ま るというサプライザル理論に基づいている $[2,3]$. こ こに日本語特有の要素を考慮することで, 本研究で は日本語に適した読みづらさの検出を目指す。

日本語の逐次的な読みやすさにおける先行研究に て, 先行文脈に係り元が多い文節ほど読みやすいこ とや読み間違いが読み負荷を高めることがわかって いる. 例えば, 文 (1) [4] は「男性を」の部分で再解釈 に要する読み時間が増加する。

（1)警官が犯人を捕まえた男性を...

本研究では構造的曖昧性に着目し, 漸進的構文解析結果と係り先の保留のプロセスを利用して読みづ らさの検出を行う。

## 2 関連研究

## 2.1 読みやすさの分析

人間の読みづらさは読み時間を用いて評価されて おり, 読み時間を主軸とした分析がされる. 日本語の 読み時間データは BCCWJ-EyeTrack が整備され, 先行文脈に係り元文脈が多い要素ほど読み時間が短く なるということが分析されている [5]. また, 日本語 の読解時間と統語・意味カテゴリの対比分析におい ても関連する先行文脈が読み時間の減少に関与する こと [6] や, 文の意味的曖昧性の高さが構造的曖昧性の解消/保留に影響することがわかっている $[4,7]$.他にも個別の言語現象が読み時間に与える影響に対 して分析が行われている $[8,9]$.

これらは読みやすい文における知見ではあるが，統一的な傾向は定かではない. そこでサプライザル 理論に基づいて, 日本語読み時間に関する傾向がサ プライザルが大きいところで読みにくくなるという 傾向に統一的に解釈できるかという仮説検証がなさ れた [10]. 読み時間の様々な傾向がサプライザルで も再現され, 情報量の観点から解釈できることが示 されている。

## 2.2 ガーデンパス効果

読み時間が増加する要素の 1 つとしてガーデンパ ス (GP) 効果がある.これは, 文の理解の途中で一時的に誤った解釈をし, 続きを読んだ際に誤解に気づ いて解釈をし直す事になるが，この再解釈により発生する処理負荷や読み直しにかかるコストにおける 効果である. 文理解の初期段階で曖昧性を解消しよ うとするために, 結果として誤解釈が発生する.この 効果がもたらす構造的曖昧文の性質は言語の構造に より異なることが分析されている [11]. GP 文は最後 まで解釈が曖昧な場合もある. 例えば，「かわいい少女の猫」の「かわいい」が修飾するのはこの部分の みでは決定できない。

## 2.3 単語親密度

本研究では構造要素による読みづらさに着目する ために, 単語難易度による影響を減らす工夫が必要 である. WLSP-familiarity ${ }^{1)}$ は「分類語彙表」増補改訂版データベースに親密度情報を付与したもの [12] であり, 見知らぬ単語による読みづらさを軽減する ためにこれを用いてフィルタリングを行う.

## 2.4 漸進的係り受け解析

人間の言語理解過程には漸進性があり, 音声言語 アプリケーションの基盤技術として漸進的係り受け 解析技術の研究がなされている [13]. 言語処理過程 のデータを構築・分析することにより人間の漸進的係り受け解析能力や入力予測能力の解析がなされて いる $[14,15]$. 逐次処理を行うために, 係り先を未入力部分と見做し, 未大力の中でも同一文節であるの かまで考慮してアノテーションが行われている.人間の言語理解には漸進性がある [16] が, 特に音声で は大力と同時に処理することが求められ, 漸進的言語処理システムが開発されている. 本研究ではテキ ストに漸進性を組み込むことで, GP 効果等の特徴を 考慮する。

## 3 構文解析

読みづらさを検出するために, 構造的に曖昧な文 を示すラベル付きデータなしで活用できる機械学習 を用いた構文解析を行う。

## 3.1 BERT に基づく構文解析

BERT を活用し, 日本語構文解析の精度を向上さ せる手法 (BERTKNP) が提案されている [17]. 構文解析を head [18] の選択と見なすことによりBERTに 1 層追加する形で実装を行っている. 事前学習された モデルを活用することで, 大量の生コーパスを利用 し構文解析の精度向上を達成している。

## 3.2 漸進的構文解析手法

BERT による構文解析に漸進的な視点を入れるこ とで, 人間が読む際の要素を追加する. 単語ごとに係 り受けのアノテーションがなされた文 (Original) に 対して, 単語が 1つずつ入力される過程 (Slided) を考 えていく.ある単語が入力されるまでの部分におけ る, 係り受け構造を学習データとして作成する. 入力

図 1: 漸進的構文構造データ作成

される単語数を 1 ずつずらしていくことで漸進的な データを実現する. 図 1 のように Slided の入力は文 の途中までであり, 未入力部分に係る単語も存在す る. その場合は係り先を特定単語ではなく,未決定 ([UND]) と指定する [14]. 単語ごとにずらして作成 した文は Original に対しての分量が非常に多くなる ため, Slided について過学習を起こす可能性がある. そこで Slided には $\mathrm{n} \%$ の制限を設ける. どの程度漸進的データを追加するべきかとシャッフルの必要性は 予備実験にて確認する.

## 3.3 解析結果

漸進的構文解析において適切な漸進的データ量を 確認するために, 実験の結果を表 1 に示す. 精度は単語単位での精度と文単位の精度の平均の 2 通りで算出した. 加えて [UND] の再現率も測定した. 日本語 BERT は NICT BERT 日本語 Pre-trained モデル2)を使用した. fine-tuning には京都大学テキストコーパス (新聞) と京都大学ウェブ文書リードコーパス (ウェ ブ) の 2 種類を混合したコーパス約 5 万文を使用し，元論文にならい 3 epoch 回した. また, 評価には京大 コーパス約 4,000 文を使用した.

京大コーパスにおいては加工しない BERTKNP が一番精度が高い. 漸進的要素を加えた Slide All (Orig+Slided 100\%) においては元のデータに $5 \%$ 混合 したデータを用いて学習したモデルが一番精度が 良く, 再現率は $50 \%$ 混合した場合が良い值となった。 また, 予測精度と再現率はデータをシャッフルする ことによる悪影響を受けることがわかった. 漸進的 データの追加は精度の向上に直結しない上, 計算資源と時間を消費する. 本研究では, 精度を重視して 5\%のみ追加したデータで fine-tuning したモデルを用 いてこれ以降の実験を進める。

表 1: 漸進的構文解析の精度

表 2: 各データの文ペア数

## 4 実験

## 4.1 正解データ作成と評価方法

読みづらさの正解データを作成するために, 京大 コーパスに前処理として単語親密度によるフィルタ リングを行い, 親密度が負のスコアを持つ形態素を 含む文を除外した. また, 形態素数が 20 に満たない 文も除去し, 形態素数が 20 から 30 のものと 30 以上 のものに分割後, 文長によるソートを行ってから文字数順に 2 文のペアを作成した. これにより, 単語難易度による難読性を排除した上で, 文長だけでなく 形態素数の近い分ペアを作成している.このペア文 の比較による評価を行う. Yahoo!クラウドソーシン グにより 1 ペアに対して 10 人の回答をフィルタリ ングされた 322 文について収集した. 2 文のうちど ちらが構造的に読みづらいかという質問に対して, [文 $\mathrm{A}$, 同等, 文 $\mathrm{B}$ ] の 3 つの選択肢を用意した.

文法構造を考慮した読みづらさとして以下の 2 つ の要素を挙げ,これに基づき評価させた。

1. 複数の解釈ができる

2. 理解に反復が必要となる

収集データから 2 種類の正解データを作成し, そ れぞれのデータにおいて評価を行う.作成された正解データのペア数を表 2 に示す.

多数決 10 人中 $\mathrm{n}$ 人の回答が一致したぺア文を 正解データとする. 例えば, [文 $\mathrm{A}$, 同等, 文 B] の回答数が $[6,3,1]$ の際は, $\mathrm{n}=5$ の場合は文 $\mathrm{A}$ が読みづらい データとして採用され, $\mathrm{n}=7$ の場合は使用しない. 評価は [文 $\mathrm{A}$, 同等, 文 $\mathrm{B}$ ] の全ての精度により行う.

平均 [文 $\mathrm{A}$, 同等, 文 $\mathrm{B}$ ] の回答を $[-1,0,1]$ の数値と 見なして各回答数の和をスコアとする. 閾値 $\mathrm{m}$ を使用し, $[-10,-m),[-m, m],(m, 10]$ をそれぞれの回答 として分類する. $\mathrm{m}$ の値は難易度の判別がつかない 文ペアが十分除かれたものを選択する. 正負でスコ アリングしているため, [文 $\mathrm{A}$, 同等, 文 $\mathrm{B}$ ] の 回答数 が $[2,7,1]$ と $[5,1,4]$ の場合のスコアはどちらも-1 と なる. 従って, 同等である回答が多くとも判別できな いため, 文 $\mathrm{A} \cdot \mathrm{B}$ のどちらが読みづらいかのみを扱 い, 同等なものは除外した精度により評価する。

多数決・平均手法共に, $\mathrm{n} / \mathrm{m}$ を大きくするほど確実 に読みづらい文ぺアを取得できるが, 使用できるぺ ア数が減少するため適当な $\mathrm{n} / \mathrm{m}$ を抽出した.

## 4.2 読みづらさの検出方法

本研究では,作成した漸進的データを用いて学習 した構文解析モデルによる解析結果から係り先が未決定 ([UND]) である数を長さで正規化したものを読 みづらさのスコアとする. 人間の言語理解の漸進性 を取り入れた上で, 係り受け構造の保留により受け る読みづらさを考慮している. 本研究では 2 文のど ちらが読みづらいかまたは同等であるかを正解とし て扱うが, スコアは数値で算出される. そこでスコア の差分を取り, その絶対値が閾値以下のものを同等 である場合として評価する. 間値は精度が最も高く なる値を選んだ。

ベースラインにはサプライザルとして $-\log p(x \mid$ 先行文脈）を使用する. 実装では-log_softmax を使用 した. サプライザルは尤度の反転であり,これが大き いほど読みづらいと言える.これを計算するために 言語モデル $\mathrm{GPT}-2^{3)}$ を利用した.こちらもスコアの差分から同等である場合の評価を行った。

## 4.3 結果

表 3 に各データにおける精度の結果を示す. 正解 は漸進的構文解析が全て正しく付与されたデータを 用いて算出した精度である. 提案手法は多数決と平均どちらのデータに対しても読みづらい文の検出を することができた. 確実に難易度に差があると判断 された文ぺア (多数決 $n=7$, 平均 $m=3$ ) に対しては特 に有意な差が現れた。

3) https://huggingface.co/colorfulscoop/gpt2-small-ja
表 3: 読みづらさ検出の精度

(a) 各単語長でのカウント

(b) 各単語長での累積図 2: [UND] 数の比較

## 5 考察

## 5.1 難しい文と平易な文

構造的に難しいと判別された文の特徴として主語 が省略されているものや, 並列構造等が見られた. 文長が短いために一定数主語が無い文が存在してお り,これらを排除することでより構造に焦点を当て た実験を行うことができると考えられる. また, 長い 名詞句やカタカナは中身を読まずに塊であると判別 できるため簡単と評価される傾向があった.

ここで, 図 2 にて難易度判定により有意な差を得 た文における係り先未決定の動きを見る. 以下の文 (2a) は 10 人中 9 人が読みづらい文として選択し, 1 人が同等であると回答した.

（2）a.しかし、旧民社党は大半の議員が新進党に 参加し、さきがけとの連携も流動的で連携相手は不確定だ。

b.初期の警察署が置かれたセントラル地区の ハリウッド通りには、インド料理店やイン ド系企業が多い。

(2b) は大力に適宜係り先が決定されているが, (2a) は保留されていることがわかり, 文の構造的難易度 により未決定数に差が生じることが確認できる.

## 5.2 読みづらさの正解データ作成

多数決方式の $\mathrm{n}=5$ においては [文 $\mathrm{A}$, 同等, 文 B] の 回答数が $[1,4,5]$ の様な回答が存在し, 小さい $\mathrm{n}$ に対 しては難易度の定まらない文が混在していると考え られる. 平均方式はこの欠点はカバーできるものの，同等の文に対しての評価ができなくなる。

多数決方式にて $\mathrm{n}$ の値により収集される文ペアを 見ていく. $\mathrm{n}=5$ の例として (3), $\mathrm{n}=7$ の例として (4)を 示す. (3a)と (4b) が読みづらい文である.

（3）a.九七年まで村山政権が続くのは安定かもし れないが、確信を持って政治がやれるのか。

b.この時は大分舞鶴がロスタイムに入って追 いつき、抽選で長崎北陽台が決勝に進んだ。

（4） a.同県警では、県警山岳救助隊など約七十人で捜索したが、午後五時、捜索を打ち 切った。

b.本に囲まれ、埋もれ、重みで床が抜けそう だ、と心配するような生活にあこがれて いる。

(3) は文構造が似通っており難易度にさほど差が 感じられないが, (4b) には並列構造が見られ, 係り先 の理解に時間を要する. $\mathrm{n}$ をきくすることで確か に難易度差がある文ぺアを取得している。

## 5.3 校正における活用

構造的曖昧性の絶対評価は難しく, 本研究では 2 文の比較による評価を行った. 難易度のスコアはサ プライサルと提案手法のどちらも各文ごとに付与し ている.そのため読みづらいと判別された文のスコ アの平均・分散における解析が, その文単体での難易度の判別に繋がる.これを用いて難しい文の指摘 を行うことで筆者による修正や自動書き換え等の校正への活用が見込まれる。

## 6 終わりに

日本語構造に着目した読みづらさの検出を行なつ た. 漸進的構文解析による, 未入力文脈への係り構造 を利用することで, サプライザルに比べて構造的に 読みづらい文の検出を行うことができた. 今後は構文解析結果の top-K 比較による構文確率の比較や語義曖昧性への拡張などによる読みづらさの検出を検討する. また, 特定の曖昧性に的を絞った正解データ の用意は困難であり, 収集方法も改善の余地がある.

## 参考文献

[1] Martin Schrimpf, Idan Blank, Greta Tuckute, Carina Kauf, Eghbal A. Hosseini, Nancy Kanwisher, Joshua Tenenbaum, and Evelina Fedorenko. The neural architecture of language: Integrative reverse-engineering converges on a model for predictive processing. bioRxiv, 2020.

[2] John Hale. A probabilistic earley parser as a psycholinguistic model. In Proceedings of the Second Meeting of the North American Chapter of the Association for Computational Linguistics on Language Technologies, NAACL '01, p. 1-8, USA, 2001. Association for Computational Linguistics.

[3] Roger Levy. Expectation-based syntactic comprehension. Cognition, Vol. 106, No. 3, pp. 1126-1177, 2008.

[4] 井上雅勝. 文の意味的曖昧性が構造的曖昧性の解消 と保留に及ぼす影響 (2). 日本認知心理学会発表論文集, Vol. 2011, pp. 74-74, 2011.

[5] 浅原正幸, 小野創, 宮本 エジソン正. Bccwj-eyetrack :『現代日本語書き言葉均衡コーパス』に対する読み 時間付与とその分析. 言語研究, No. 156, pp. 67-96, 2019.

[6] 浅原正幸, 加藤祥. 読み時間と統語・意味分類. 認知科学, Vol. 26, No. 2, pp. 219-230, 2019.

[7] 井上雅勝. 文の意味的曖昧性が構造的曖昧性の解消 と保留に及ぼす影響. 日本認知心理学会発表論文集, Vol. 2010, No. 0, pp. 81-81, 2010.

[8] Masayuki Asahara. Between reading time and clause boundaries in japanese- wrap-up effect in a head-final language一日本語の読み時間と節境界情報一主辞後置言語における wrap-up effect $の$ 検証一. Journal of Natural Language Processing, Vol. 26, pp. 301-327, 06 2019.

[9] Masayuki Asahara. Between reading time and the information status of noun phrases 名詞句の情報の状態 と読み時間について. Journal of Natural Language Processing, Vol. 25, pp. 527-554, 122018.

[10] 栗林樹生, 大関洋平, 伊藤拓海, 吉田遼, 浅原正幸, 乾健太郎. 日本語の読みやすさに対する情報量に基づ いた統一的な解釈. 言語処理学会 第 27 回年次大会発表論文集, pp. 723-728, 2021.

[11] 井上雅勝. ガーデンパス現象に基づく日本語文理解過程の実証的研究. 大阪大学博士論文, 2000.

[12] 浅原正幸. Bayesian linear mixed model による単語親密度推定と位相情報付与. 自然言語処理, Vol. 27, No. 1, pp. 133-150, 2020.

[13] Tomohiro Ohno and Shigeki Matsubara. Dependency structure for incremental parsing of Japanese and its application. In Proceedings of the 13th International Conference on Parsing Technologies (IWPT 2013), pp. 91-97, Nara, Japan, November 2013. Assocation for Computational Linguistics.

[14] 大野誠寛, 松原茂樹. 漸進的係り受け解析の出力構造一人間の文解析過程のアノテーション-. 言語処理学会 第 22 回年次大会 発表論文集, pp. 457-460, 2016.

[15] 後藤亮, 大野誠寛, 松原茂樹. 人間の漸進的言語処理能力の分析. 情報処理学会 第 82 回全国大会, pp. 457-458, 2020.
[16] Gerry Altmann and Mark Steedman. Interaction with context during human sentence processing. Cognition, Vol. 30, No. 3, pp. 191-238, 1988.

[17] 柴田知秀, 河原大輔, 黒橋禎夫. Bert による日本語構文解析の精度向上. 言語処理学会第 25 回年次大会発表論文集, pp. 205-208, 2019.

[18] Xingxing Zhang, Jianpeng Cheng, and Mirella Lapata. Dependency parsing as head selection. In EACL 2017, pp. 665-676, 2017.


# ユーザの興味があるカテゴリに応じた NER システム構築フレームワーク

芝原 隆善 1,2 大内 啓樹 1 山田 育矢 ${ }^{2,3}$ 西田 典起 ${ }^{2}$
}

寺西裕紀 ${ }^{2}$ 古崎 晃司 2,4 渡辺太郎 1 松本 裕治 ${ }^{2}$

1 奈良先端科学技術大学院大学 ${ }^{2}$ 理化学研究所 ${ }^{3}$ Studio Ousia ${ }^{4}$ 大阪電気通信大学

\{shibahara.takayoshi.sk4, hiroki.ouchi, taro\}@is.naist.jp

\{takayoshi.shibahara, hiroki.ouchi, ikuya.yamada, noriki.nishida, hiroki.teranishi, kouji.kozaki, yuji.matsumoto\}@riken.jp ikuya@ousia.jp kozaki@osakac.ac.jp
## 概要

異なるユーザーは異なる固有表現のカテゴリに関心を持つ. そのため本論文ではユーザーが関心を持 つ固有表現を抽出可能な固有表現抽出システムを 構築するフレームワークを提案する. このフレーム ワークでは，まずユーザーに関心のある固有表現力 テゴリをシソーラスから選択してもらい，次に選択 されたカテゴリを含むシソーラス全体のカテゴリ情報を活用した Distant Supervision を行い固有表現抽出モデルを学習する. 本論文では UMLS シソーラス と MedMentions コーパスを利用したいくつかの実験 を通じて提案フレームワークの有効性を確認した。

## 1 導入

固有表現抽出: Named Entity Recognition (NER) は 自然言語処理の基本タスクの 1 つであり, 質問応答 [1], 関係抽出 [2], Entity Linking [3], 対話システム [4]など様々なタスクで応用されている.

本論文は，「異なるユーザは異なる固有表現 (Named Entity: NE) のカテゴリに興味を持つ」とい う着眼点に立っている. 例えば, 疫学者と薬学者が COVID-19 関連論文を調査する場合を考えてみる。疫学者は人間集団ごとの症状に関心を持ち, 症状や 人々の特徴 (性別，民族性，年齢など) に関する固有表現を求めるだろう. 一方薬学者はコロナウイルス やその関連薬の作用機序に関心を持ち, 解剖学的構造や化学物質に関連する固有表現に注目するだ ろう.

しかし，既存の固有表現認識手法では異なるカテ ゴリを欲するユーザーの要求に柔軟に対応できな

2. シソーラスに基づいてDistant Supervisionする

Coronavirus disease cause a pneumonia especially for the elderly. It is caused by cytokine from white blood cell.

3. NERモデルをDistant Supervisionデータセットで学習する

図1タスクの全体像

い. 通常 NER システムは，固有表現カテゴリがあ らかじめ定義されたデータセットを用いて構築され る. それゆえ，ユーザにとって関心のある固有表現 カテゴリが予め定義されたデータセットが存在しな ければ，それらの固有表現は抽出されない. 各ユー ザが興味のある固有表現カテゴリを人手でアノテー ションすることもできるが，これには大変なコスト と時間がかかってしまう。

そこで本論文では，ユーザが興味をもつ固有表現 を抽出可能な NER システム構築フレームワークを 提案する(図 1).まず，このフレームワークでは各 ユーザーに興味のある固有表現カテゴリをシソー ラスから選択してもらう。そして，その選択された カテゴリに基づき，Distant Supervision によりテキス 卜を擬似的にアノテーションし，その擬似アノテー ションを用いてシステムを学習させる. その結果, システムはユーザの関心のある固有表現を抽出する ことができるようになる.

しかしながら Distant Supervision NER の問題とし

て, Unlabeled Entity Problem が指摘されている [5]. Unlabeled Entity Problem とは，シソーラスにない未知の固有表現を Distant Supervision でラベル付けす ることが難しいという問題である.

我々はこの Unlabeled Entity Problem を擬似負例の 信頼性の問題であると考える. 従来の研究では，信頼性の低い擬似負例がもたらす影響を割り引くた めに，擬似負例の一部は本来正例であると仮定して NER タスクを実行していた. 本研究では，シソー ラスのカテゴリ情報を利用して，より信頼性の高い 擬似負例を擬似データセットに追加し (3 節), 擬似負例の信頼性の低さの問題を緩和する。また，本フ レームワークの有効性を検証するために，タスクと 実験設定を提案・定式化する. 本論文ではいくつか の実験を通じて提案法の有効性を確認した。

要約すると，我々の貢献は主に以下の 3 つで ある.

・本論文は，ユーザーの興味に応じた固有表現を 抽出するオーダーメイドの NER システムを構築するためのフレームワークを開発した最初の 研究である.

・Unlabeled Entity Problem を解決するために，シ ソーラスのカテゴリ情報を有効に活用する新し い手法を提案した.

・「ユーザが興味を持つ固有表現カテゴリに応じ たNER システム構築」の状況をシミュレート できるタスクと実験設定を策定・実施した。

## 2 タスク設定

提案法は Distant Supervision NER (DS NER) に基づ いている. 固有表現抽出: Named Entity Recognition (NER) は $n$ 長の単語列: $X=\left.\{w_{j}\right.\}_{j=1}^{n} \in V^{n}$ に対し $m$ 個のスパンとそれらのラベル: $Y=\left.\{\left(s_{i}, e_{i}, l_{i}\right) \in\right.$ $[0 . . n-1] \times[1 . . n] \times L\}_{i=0}^{m-1}$ を事前に定義されたラべ ル集合: $L$ から予測するタスクとして形式的には定義される. 通常の教師あり設定ではアノテーション されたデータセットを元に学習するが, DS NER で は，文書と用語集から構築される擬似データセット を利用することでアノテーションを省く．擬似デー タセット: $\left.\{X_{k} \in V^{*}, \tilde{Y}_{k}=\left.\{\left(\tilde{s}_{k i}, \tilde{e}_{k i}, \tilde{l}_{k i}\right)\right.\}_{i=0}^{m_{k}-1}\right.\}_{k=1}^{|D| 1)}$ は 文書: $\mathscr{D}=\left.\{X_{k}\right.\}_{k} \subset V^{*}$ と用語集 $g: T \rightarrow L$ から構築 される.ただしここで $T \subset V^{*}$ は用語集の中で記述 される用語の集合である. 用語集 $g$ は文書 Dに対
$ は $k$ 番目の文に含まれているスパンの個数である.
}

する文字列マッチによって擬似データの構築に利用される。しかし, このDS NER のタスク設定に は, Unlabeled Entity Problem [5] と呼ばれる問題があ る.これは，用語集の被覆率が低いために，擬似 データセット中の固有表現が見逃され，学習モデル がこれらのラベル付けされていないスパンを無視 してしまうという問題である。例えば，使用した 用語集に新しい化学物質が記述されていない時に, DS NER モデルがこの化学物質を見逃すという可能性がある。この問題に対処するため，先行研究では 信頼性の低い擬似負例が与える影響を割り引き，擬似負例の一部が本来正例であると仮定して NER タ スクを実行している。具体的には, lenient CRF [6] , Self-Training [7], PU 学習 [8], 擬似負例スパンのア ンダーサンプリング [5] によって疑似負例に正のラ ベルを予測する手法が知られている。しかし，これ らの擬似負例の影響を割り引く手法は，本来負例で あるスパンまで固有表現として予測してしまうとい う危険性がある.

本研究では，ユーザーが選択したカテゴリ $L$ に 応じて用語集を作成することで，ユーザーごとに オーダーメイドな NER モデルを実現する。ここで シソーラスは Directed Rooted Tree DRT $=(C, E, r)$ で あるとする。つまり, シソーラスは, 概念の集合 $C$, $C$ 上の辺としての is-a 関係の集合 $E$ ，ルートノー ド $r$ からなるものとする. 本研究では $L$ だけでは なくDRTを利用して負例のカテゴリ $L_{n e g}$ を作成 し, $L_{n e g}$ と $L$ 両方の語句を含む用語集 $g^{\prime} を$ 利用し た Distant Supervisionを行う．このことにより提案手法がシソーラス全体の情報やクラス間の排他的な 関係を捉えられるようになることを目指す ${ }^{2}$. ここ で $L_{n e g}$ は $L$ と組み合わせることでシソーラス全体 を被覆するように定義する。つまり $L$ に含まれるい ずれかの概念の子孫の全ては $L$ によって被覆され ているので，負例カテゴリ $L_{n e g}$ を $L$ によって被覆 されていないDRTに含まれる概念の最小の集合と する3). 例えばユーザーが \{"Diseases or Symptoms", "Age"\}を正例の概念として選んだ場合，提案手法は $L_{n e g}$ として $\{$ "Sex, "Chemical", "Anatomical Structure"\}

2）より形式的には，提案手法のタスク設定は用語集 $g^{\prime}: T \cup T_{n e g} \rightarrow L \cup L_{n e g}$ が負例クラス $L_{n e g}$ を含んでいると いう点で通常の Distant Supervision と異なっている. ただし $T_{\text {neg }}$ は $L_{\text {neg }}$ に含まれる語句の集合である.

3）形式的には $L_{n e g}$ は $L^{\prime}$ を利用して次のように定義でき 3. $L^{\prime}=\left.\{a \mid l \in L \wedge(l, a) \in E^{*}\right.\} L_{n e g}=\left.\{c \mid l^{\prime} \in L^{\prime} \wedge\left(l^{\prime}, p\right) \in\right.$ $\left.E \wedge(c, p) \in E \wedge l^{\prime} \neq c \wedge c \notin L^{\prime}\right.\}$ ただし $E^{*}$ は $E$ の反射推移閉包であるとする。

図 2 Pseudo Dataset Construction

を選ぶ(図1).

文字列マッチによってこの負例カテゴリ $L_{n e g}$ を 利用して得られた擬似負例は，確害に $L$ に含まれな いカテゴリであることが保証されるので，単純に辞書マッチしなかったという従来の擬似負例よりも より負例として正しいことが期待される. また負例 クラスを利用することで Distant Supervision NER モ デルが本来の負例に対して過剩な固有表現の予測 を行うという，従来の Unlabeled Entity Problem 対策手法の欠点を補うことができると考えられる. 例え ば先の例であれば，Distant Supervision NER モデル が本来 Chemical であるスパンに対して, Disease or Syndrome とラベル付けすることを防ぐことができ ると期待される.

## 3 手法

## 3.1 擬似データセット構築

擬似データセットを構築する手順を，図 2 亿記述 する. (i) シソーラスから $L ， L_{n e g}$ の各カテゴリの 用語リストを構築する。例えば，UMLS は固有表現 のカテゴリを階層構造で定義しており，階層を推移的に利用することで各カテゴリの用語リストを容易 に得ることができる。また，用語のリストに対し， inflector ${ }^{4}$ という python ライブラリを用いて, 用語リ スト上の各用語の複数形・単数形を追加する. (ii) $L ， L_{n e g}$ の用語リストを用いて, 用語からカテゴリ への対応付け (用語集) $g, g^{\prime}$ を計算する. ただし，複数のクラスに含まれる曖昧な用語がある ${ }^{5)}$.この ような曖昧な用語を用語集から削除することで，エ

4) https://github.com/ixmatus/inflector

5）例えば，AAA は Abdominal Aortic Aneurysms という病名の 頭文字であると同時に, APP gene という遺伝子名の別名でも ある。
ラー伝搬を低減する. (iii) ラベルの付与されていな いコーパスに対して Noun Phrase (NP) Chunker を適用し，擬似アノテーションの対象となる候補スパン を獲得する。(iv) (ii) の用語集 $g ， g^{\prime}$ と (iii) の候補 NPチャンクとの間に文字列マッチアルゴリズムを 適用し，対象の NP チャンクの末尾部分文字列に基 づいて分類する. 文字の大小で異なる用語が存在す る場合は大文字と小文字を区別して NP チャンクを 分類し，そうでない場合は区別せずに分類する。

## 3.2 スパン分類モデル

本研究では BERT による符号化を利用した簡素なスパン分類モデルを利用しており， $n$ トー クンからなる文 $X=\left.\{w_{j} \in V\right.\}_{j=1}^{n}$ の候補スパン $(s, e) \in[0 . . n-1] \times[1 . . n]$ をラベル集合: $\left.L \cup\left.\{“ O^{\prime \prime}\right.\}^{6}\right)$ に 分類する.

まず，BERT の最終隠れ層： $v=\left.\{v_{j}\right.\}_{j=1}^{n}$ を利用し入力文を符号化する7).この符号化べク トルに対し Dropout を適用した: $\tilde{v}=\operatorname{Dropout}(v)$. Dropout の後で，スパンの開始位置と終了位置 のベクトルを連結したスパン表現を分類した: $\hat{y}=\operatorname{Softmax}\left(W^{T}\left(\tilde{v}_{s} \oplus \tilde{v}_{e}\right)+b\right)$. この予測確率に対し 交差エントロピーを利用して学習を行った. ただ ᄂ， $\mathrm{Li}$ ら [5] と同様に擬似ラベルが O である，つま りいかなる用語集の用語にもマッチしなかったスパ ンに対して，そのロスを事前に定義された確率で無視することで擬似負例のノイズを軽減する。

## 3.3 前処理 - 後処理

前処理として，NER データセットをスパン分類 データセットに変換する．長さがあらかじめ定義さ れた最大長より小さいスパンを列挙し，ラベルを付 ける．NER データセットでラベル付けされている スパンにはそのラベルを付与し，そうでないスパン には $\mathrm{O}$ ラベルを付与する。

後処理として，予測時にスパンの分類スコアをス パン重複のない NER 出力に変換する. 具体的には，学習したモデルによって予測される最尤確率の高い 順に，貪欲に列挙されたスパンを埋めていく．ただ し，最大尤度のラベルが O であったり $L_{n e g}$ に含ま れるスパンは予測に利用しない。
 \cup\{“ O "\}$ である.

7）トークンの最後に位置するサブワードのベクトルをトーク ンの表現として利用した。
}

Chunker Match $\quad 29.8116 .7821 .4762 .0036 .2245 .73$

Span Classif. w/ N.U. 24.1922 .9423 .5451 .7051 .2551 .47 +Thesaurus Negatives 24.0423 .3523 .6952 .6053 .6453 .12

表 1 MedMentions で指定された 21 クラスを選択したと きの NER スコア: Strict はスパン完全一致，Lenient はスパ ン部分一致で評価.

## 4 実験設定

1 節で述べたような「ユーザにシソーラスから興味のあるクラスを選択してもらう」状況を模倣した 実験を行う．本論文では，シソーラスとして UMLS (2021AA 版) [9]を，DS NER の評価には MedMentions コーパス [10]を利用する. UMLS は生物医学分野 のシソーラスで, 127 のクラス (Semantic Types) と 16,132,274 の用語を持つ. MedMentions は, 4,392 の 生物医学論文抄録に 352,496 のスパンが UMLS の 概念に対応付けられるようにアノテーションさ れている Entity Linking/NER 用のコーパスである. train/dev/test の文書数はそれぞれ2,635/878/879 であ る. train 部分のデータセットは Distant Supervision の擬似アノテーションの対象として, dev/test の分割 は正解アノテーションまま利用する．ただし，評価時にユーザが興味のあるクラスのみを対象とするた め，ユーザが興味のない (と実験上仮定する)クラス は dev/test データから除外している。

## 5 結果

表 1 の実験では MedMentions [10] が指定する 21 の クラスをユーザーが UMLS から選択したと仮定し評価を行った ${ }^{8)}$. 具体的には Strict/Lenient NER P./R./F. を文字列マッチ，Distant Supervision のベースライ ン, 提案法で比較した. Strict/Lenient NER P./R./F. は，スパン完全一致 (Strict) またはスパン部分一致 (Lenient) のどちらかで計算された Precision/Recall/F1 スコアである. Chunker Match の行は，擬似データ セット構築に利用した NP chunker を利用した文字列 マッチ手法のスコアを示している. Span Classif. w/ N.U.の行は, Li ら [5] のように擬似負例をアンダー サンプリングすることで Unlabeled Entity Problem に 対処したスパン分類モデルにおけるスコアを示す.

また, +Thesaurus Negativesの行は, Span Classif. w/ N.U. に追加してシソーラスに基づいたより信頼でき る負例 ${ }^{9}$ を利用した場合のスコアを示している。

Baseline モデル (Span Classif.) を文字列マッチ手法 と比べた時 Recall が向上していることがわかる.こ れは擬似負例のアンダーサンプリングにより，擬似負例のスパンに対して正のラベルを予測できてい るためであると考えられる。提案手法は，ベース ラインと比較して，Strict 設定では F1 の差が小さ く，Precision が若干低下するが， Lenient 設定では Precision, Recall ともに向上することが示された. Distant Supervsion によるアノテーションでは，表 1 の Chunker Match の行にあるように，完全なスパン 一致を得ることは非常に困難である. したがって， Lenient 設定に着目すると、この結果はシソーラスを 用いた負例カテゴリの利用の有効性を示していると 言える。

## 6 結論

本論文においてユーザーがシソーラスから選択し た固有表現を認識するフレームワークを示した。本研究では私達は擬似正例だけでなく, 擬似負例に着目し，より負例として信用でき，難しい擬似負例の 重要性を明らかにした。また本害験は関心のある固有表現だけではなく，それらの固有表現と排他的な カテゴリ活用の重要性を明らかにした。

今後の課題としては，より具体的で粒度の細かい 固有表現を取得したり DBPedia [11]のような巨大シ ソーラスで見られるシソーラスのノイズに対応す るなどが考えられる。また，Mention レベルと Entity レベルの間にはスパン情報の大きな違いがあり、文字列マッチのみでは限界がある。そのため，少量の アノテーションを組み合わせていくのことも有用だ と考えられる $[12,13]$.

## 謝辞

本研究は JSPS 科研費 JP19K20351 の助成を受けた ものである.

9）シソーラスを利用した擬似負例の信用性の改善は実際に碓認された (付録 $\mathrm{A}$ ).

## 参考文献

[1] Mahboob Alam Khalid, Valentin Jijkoun, and Maarten de Rijke. The impact of named entity normalization on information retrieval for question answering. In Advances in Information Retrieval, pp. 705-710. Springer Berlin Heidelberg, 2008.

[2] Tianyi Liu, Xinsong Zhang, Wanhao Zhou, and Weijia Jia. Neural relation extraction via Inner-Sentence noise reduction and transfer learning. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2195-2204, Brussels, Belgium, 2018. Association for Computational Linguistics.

[3] Yaming Sun, Lei Lin, Duyu Tang, Nan Yang, Z Ji, and Xiaolong Wang. Modeling mention, context and entity with neural networks for entity disambiguation. IJCAI, 2015.

[4] Kevin Bowden, Jiaqi Wu, Shereen Oraby, Amita Misra, and Marilyn Walker. SlugNERDS: A named entity recognition tool for open domain dialogue systems. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[5] Yangming Li, Lemao Liu, and Shuming Shi. Empirical analysis of unlabeled entity problem in named entity recognition. September 2020.

[6] Zhanming Jie, Pengjun Xie, Wei Lu, Ruixue Ding, and Linlin Li. Better modeling of incomplete annotations for named entity recognition. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 729-734, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7] Chen Liang, Yue Yu, Haoming Jiang, Siawpeng Er, Ruijia Wang, Tuo Zhao, and Chao Zhang. BOND: BERT-Assisted Open-Domain named entity recognition with distant supervision. In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery \& Data Mining, KDD '20, pp. 1054-1064, New York, NY, USA, August 2020. Association for Computing Machinery.

[8] Minlong Peng, Xiaoyu Xing, Qi Zhang, Jinlan Fu, and Xuanjing Huang. Distantly supervised named entity recognition using Positive-Unlabeled learning. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2409-2419, Florence, Italy, July 2019. Association for Computational Linguistics.

[9] Olivier Bodenreider. The unified medical language system (UMLS): integrating biomedical terminology. Nucleic Acids Res., Vol. 32, No. Database issue, pp. D267-270, January 2004.

[10] Sunil Mohan and Donghui Li. MedMentions: A large biomedical corpus annotated with UMLS concepts. p. 13, 2018.

[11] Jens Lehmann, Robert Isele, Max Jakob, Anja Jentzsch, Dimitris Kontokostas, Pablo N Mendes, Sebastian Hellmann, Mohamed Morsey, Patrick Van Kleef, Sören Auer, and Others. Dbpedia-a large-scale, multilingual knowledge base extracted from wikipedia. Semantic web, Vol. 6, No. 2, pp. 167-195, 2015.

[12] Lukas Lange, Michael A Hedderich, and Dietrich Klakow. Feature-dependent confusion matrices for low-resource NER labeling with noisy labels. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), Stroudsburg, PA, USA, 2019. Association for Computational Linguistics.

[13] Haoming Jiang, Danqing Zhang, Tianyu Cao, Bing Yin, and Tuo Zhao. Named entity recognition with small strongly labeled and large weakly labeled data. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), Stroudsburg, PA, USA, 2021. Association for Computational Linguistics.

図 3 教師あり設定との比較: 提案手法とデータセット量を変えたときの教師ありモデルに対する完全マッチ (Strict) と部分マッチ (Lenient) に基づくNER F1 スコア

表 2 カテゴリを一つずつ選んだときの Lenient P./R./F.: それぞれの行は文字列マッチ，Distant Supervision におけるべー スライン，提案手法を示す (表 1 と同様). 列はそれぞれの UMLS カテゴリ (T***)を関心のあるカテゴリとして選択した ときの lenient NER P./R./F. スコアを示す.

## A 追加実験

MedMentions [10] で指定された 21 クラスを着目クラスとし て選択した際の追加実験として，擬似負例の負例としての 正しさを Negative NP P./R. で確認した. Negative NP P./R. とは Gold で固有表現とアノテーションされていない $\mathrm{NP}^{10)}$ を負例 の正解としたとき，作成された擬似負例がこれに一致する 割合としての Precision/Recall である. 辞書マッチしなかった NP スパンの擬似負例としての Negative NP P./R. は 58.00/59.57 となった。一方でシソーラスに基づいた負例カテゴリを用い た擬似負例の Negative NP P./R. は 78.25/29.91 となった. 我々 の提案したシソーラスに基づく擬似負例は Negative NP Recall では劣るが，Negative NP Precision では改善している.

このことから確かに，我々のシソーラスに基づく擬似負例 はより信頼性の高いものになっているといえる. 更にシソー ラスを利用した擬似負例は NP Chunker を利用しているので 句や NP になっていない，明らかに固有表現でない擬似負例 を含まない. 負例として信頼性が高くより識別が難しい擬似負例が，表 1 でみられた精度改善をもたらしていると考えら れる

また，図 3 における実験では，教師ありデータ量を変化さ せて教師ありモデルの精度を確認し，擬似負例のアンダーサ ンプリングとシソーラスに基づいた擬似負例を用いた提案の スパン分類モデルと比較した. その結果，完全教師ありの 設定と比較して, Lenient $\mathrm{f} 1$ では $20 \%$ 近くスコアが減少した. しかし, 提案手法では，800～900 文の人手アノテーションと同等の Lenient f1 が得られることが分かった．また，Strict f1 では，完全教師ありモデルとの間で $48 \%$ 近い差が生じた. こ の結果は，Distant Supervsion モデルでは，スパン範囲を正確 に捉えることが困難であることを示唆している．この困難は Entity レベルと Mention レベルの間の違いに原因があると考 えられる。例えば，“water” が化学物質として登録されてい て，擬似アノテーションの対象文に “purified water”があった 場合，“water”までを取るべきか “purified water”までを取るの が良いのかが分からないというような困難である。このよ うな Mention と Entity の間の違いに対処するには少量のアノ テーションを組み合わせることも必要だと考えられる.

表 2 は，シソーラス上の 10 個の概念から 1 つずつ着目する 概念を選択しDistant Supervision を行った際の， lenient P./R./F. の比較を行ったものである. 擬似負例のアンダーサンプリン グだけのベースラインでは，Precision を犠牲に Recall を増加 させている. しかし，Unlabeled Entity に対して固有表現ラべ ルを予測するため，過剩に固有表現を予測しやすく，f1 スコ アが低下することが多い。擬似負例のアンダーサンプリング だけのべースラインと比較すると，シソーラスに基づいた擬似負例を利用したモデルはより頑健であり，T062を除いた 全てで $\mathrm{f1}$ を向上させることができた. しかし，T022，T033， T037，T058，T062では，Recallが文字列マッチの水準よりも 低下している。その結果，T022，T037，T062 の f1 スコアが 減少した。これは負例クラスの追加により, Unlabeled Entity に対する固有表現のラベル予測が過剰に妨げられているため だと考えられる。

10）より正確には，固有表現と NP のスパンが完全一致するとは限らないため，固有表現と部分一致しないNPを評価対象にした.