# DRS 意味解析における出現位置を利用した語彙数削減

黒澤 友哉 谷中瞳
東京大学
\{kurosawa-tomoya, hyanaka\}@is.s.u-tokyo.ac.jp

## 概要

高度な意味解析タスクの一つとして、文を入力として談話表示構造 (Discourse Representation Structure, DRS）を出力する DRS 意味解析がある。DRS 意味解析器のうち、高精度を達成した van Noord et al. (2020) [1] のエンコーダ・デコーダモデルは 2 つの独立したエンコーダを用いている。一方は文中の単語とその意味タグを交互に並べて入力とし、他方は文を文字単位で分割し入力とすることで、文の意味情報を学習しようと試みている。しかしこの手法では、文中のトークンが DRS トークンに含まれるため、モデルの語彙数が非常に大きくなり、デコーダの計算量が増大し予測精度の低下につながる可能性がある。本研究では、DRS に含まれるトークンのうち解析対象の文にも含まれるトークンを、文における出現位置に置き換えるという手法を提案する。 これにより、モデルの出力語彙数が $90 \%$ 以上減少し、エンコーダ・デコーダモデルがより正確に DRS トークンを予測できる。実験により、既存手法と比較して精度の上昇を示したと同時に、学習時間の短縮とメモリ量の低下も達成した。

## 1 はじめに

意味解析は自然言語文を意味関係を構造化した意味表現に変換する、自然言語処理において最も基礎的なタスクの一つである。意味表現の形式は数多く存在するが、本研究では理論言語学の分析に基づく高度な意味表現形式 [2] である談話表示構造 (DRS) に着目する。図 1 は I was born on the 31st of May in 1940 を表現する DRS である。談話指示子の集合 (例: t1, e1 など) と条件の集合（例: $\mathbf{t} 1<"$ "now" など）の組を「箱」と呼び、これらを用いて表現したDRSを箱形式 DRS と呼ぶ。

図 2 は図 1 と等価であるが、表現方法が異なる。図2 のようなDRS を句形式DRS と呼ぶ。句形式

図 1 I was born on the 31st of May in 1940 を表す箱形式 DRS。

図 2 図 1 と等価な句形式 DRS。DOM, MOY, YOC はそれぞれ DayOfMonth, MonthOfYear, YearOfCentury の略である。

DRS は箱形式 DRS に対し、エンコーダ・デコーダモデルで扱う表現方法として適しており、[1,3] などで用いられている。

特に [1] が提案した意味解析器は、複数のエンコーダを用いたエンコーダ・デコーダモデルで、入力のトークン列のみならず、その文字の系列や様々な言語情報を与えて学習させている。彼らは様々な組み合わせで実験を行なっているが、そのうち、2 つのエンコーダを用い、一方には入力のトークン列とその意味タグを、他方には文字の系列を与える手法が最も良い精度を達成した。

しかし、句形式 DRS の一部のトークンは、モデルが予測すべき語彙の数を大きく増加させる要因となりうる。一つ目は図 2 の 6 行目のように、文に出現する単語が第 2 トークンに挿入されることがある。二つ目は図 2 の 7, 9, 10 行目のように、文に出現する単語の表す値が第 4 トークンに挿入されることがある。いずれについても任意の単語や値が挿入されうるため、エンコーダ・デコーダモデルはより膨大な語彙を有する必要があり、結果として予測精度が落ちている可能性がある。さらに、学習時に観測しなかった未知語も扱わなければならない。
表 1 PMB 3.0.0 と 4.0.0 の英語におけるドキュメント数の一覧。

4.0 .0 & 7,668 & 1,169 & 1,048 & 127,303 & 151,493 \\

そこで本研究では、上述したトークンを可能な限り減少させることにより、エンコーダ・デコーダモデルによる予測の精度と頑健性の向上を狙う。それを可能にするために、文と DRS の両方に現れるトークンは、該当の DRS トークンを文中の出現位置を明示的に示すトークンに書き換えたデータで学習し、予測をする。出現位置に置き換えたデータで学習したエンコーダ・デコーダモデルは予測の際にも出現位置トークンとして出力し、出現位置トークンが示す文中の単語に書き換えることで最終的な予測とする。

## 2 関連研究

## 2.1 Parallel Meaning Bank

Parallel Meaning Bank (PMB) [4] は大規模な DRS コーパスの一種であり、英語、ドイツ語、イタリア語、オランダ語の 4 言語のデータがデータセットとして提供されている。データは文と DRS 以外にも、各トークンの品詞や意味タグなど多くの言語情報が付与されている。2023 年 1 月現在、4.0.0 までが利用可能である1)。各言語のデータは Gold, Silver, Bronze の3つに分割されており、Gold は完全に人手でアノテーションされたもの、Silver は一部が人手によるアノテーションが付与されたもの、Bronze は人手によるアノテーションを用いて学習したモデルが自動でアノテーションを付与したものがそれぞれ割り当てられている。表 1 に PMB 3.0.0 と 4.0.0のうち、英語のデータセットの詳細を示す。

日本語 PMB データについてはデータセットして提供されていないものの、[5] の貢献により PMB Explorer $^{2}$ では利用可能である。

## 2.2 DRS 意味解析

DRS は 80 年代に導入された談話表示理論 (Discourse Representation Theory) [2] に基づく意味表現形式であり、様々な DRS 意味解析手法が提案さ

1) https://pmb.let.rug.nl/data.php

2) https://pmb.let.rug.nl/explorer/explore.php

図 3 図 2 を、箱変数と個体変数をそれぞれ相対的に変換した相対句形式 $\mathrm{DRS}$ 。見やすさのために開業している。 なお、エンコーダへの入力では改行は***と表される。

図 4 図 3 に、文中に現れるトークンをその出現位置で置き換えた相対句形式 DRS（提案手法）。

れている [6, 7]。近年は深層学習のモデルを用いた研究が多く、[3] は双方向 long short-term memory (bi-LSTM) [8] を用いている。[9] も深層学習のモデルを手法に組み入れているが、DRS は句形式ではなくグラフ形式を採用している。また [10] もグラフ形式を採用しており、いずれの研究も少量の学習デー タで比較的高い精度を達成している。

なお、本研究に最も近い研究は [11] である。この研究は我々が語彙数の増加の原因として着目しているトークンをダミー化し、これらをエンコーダ・デコーダモデルに予測させるもしくは後処理で埋める手法をとっている。語彙数の減少に注視する点は共通するが、本研究では完全にダミー化するのではなく、意味タグとトークンの出現位置との組み合わせによって精度上昇を狙う。

## 3 提案手法

出力する語彙数を抑制し、効果的にDRS トークンを予測する方法として以下の手法を提案する。学習の前処理として、句形式 DRS に含まれるトークンのうち、それらが文中にも出現する場合、文中における出現位置に書き換える。先行研究 [1] において、図 2 の句形式 DRS は、図 3 の相対句形式 DRS [3] に変換してエンコーダに入力する。相対句形式 DRS において、箱変数 \$と個体変数 @ はそれぞれの導入との相対位置で記述される。例えば、6行目の第 4 トークン@0は最新の個体変数 $(5$ 行目の REF = e1) を指し、 7 行目の第 3 トークン @-1 は最新から一つ前の個体変数（3 行目のREF = $t 1$ ）を指す。

提案手法は、図 3 の相対句形式 DRS をさらに図 4 に変換する。表 2 は句形式 DRS の行を分類したも
表 2 句形式 DRS の各行のフォーマット。ここで箱変数（b1 など）を\$で、個体変数（t1, $\mathrm{e} 1$ など）を @で表している。

のであるが、書き換えられるトークンは大きく分けて 2 種類あり、タイプC（6 行目）の第 2 トークンと、タイプD $(7,9,10$ 行目) の第4トークンである。

## 3.1 タイプＣの書き換え

タイプ $\mathrm{C}$ の第 3 トークンにおいて第 2 トークンの語義 (synset) が WordNet [12] 形式で与えられるため、 その品詞情報を用いて文中の単語を原形に変換する。この原形が第 2 トークンと同等の場合、\#に続いて、その単語の出現位置を付与する。例えば、図 3 の 6 行目の bear は、文中に（0 始まりで）2 番目に出現する動詞 born の原形であるので、 \#2 に書き換えられる。

第 2 トークンが_（アンダースコア）繋がりで与えられる場合、そのトークンが複合名詞 (mobile_ phonesなど）のものと句動詞（get_up など）のものがある。複合名詞の場合、文中において～（チルダ）繋がりで与えられているため、それらを空白として扱い、原形へ変換した上で一致するか否かで書き換えの有無を決定する。一方で句動詞の場合、構成する単語の間に別の単語が挟まる場合がある。例えば、The boy has taken the toy away from his little sister には句動詞 take away が存在するが、それを構成する単語は隣接していない。そのため句動詞については、それを構成する2番目以降の単語の出現位置を、直前の単語からの相対位置として扱う。例えば、先述の文の相対句動詞 DRS に含まれる take_away は、文中で take は 3 番目 (taken の原形)、away は 6 番目に現れるので\#3_3に書き換えられる。

なお、以上の一連の判定で第 2 トークンが文中の単語と同等にならない場合、そのトークンは書き換えない。

## 3.2 タイプDの書き換え

タイプD で第 4 トークンが値の場合、そのトークンは図 2 の 6 行目の brown (名前)、17 行目の 4 (数量）の他にも、okinawa（地名）やyen（単位）などが存在する。それらを完全に網羅することは困難であるため、以下の手法をとり文中に出現する単語と同じかを判定する。

まず、第 4 トークンの値と一致する単語が文中に存在すればその出現位置に書き換える。この規則により役割（第 2 トークンのことを表す）が Name (名称) や YearOfCentury（年）の値について対応可能になる。Unit（単位）についても、単数形に変換することにより一致すれば書き換えの対象になる。

次に、第 4 トークンの値に対応する単語が文中に存在すればその出現位置に書き換える。例えば、図 3 の 7 行目の 31 は文中では $31 s t$ であり、これらが同等なので図 4 においてその出現位置に書き換えられている。この対応関係は人手で判定することは困難なため、学習データの対応関係から作成した辞書を用いて同等かを判定する。これにより Quantity (数量)、DayOfMonth（日にち）、ClockTime（時刻) など、数に関係するほとんどの役割について対応可能になる。

## 3.3 出現位置を基にした復元方法

タイプ $\mathrm{C}$ に関しては、出現位置の指す単語を品詞情報を用いて原形に変換し、出現位置トークンを書き換える。タイプDに関しては、出現位置トークンへ変換する際に構成した辞書を用いて復元する。このときに、出現位置トークンの指す単語が辞書に含まれていないなどのエラーが発生した場合はダミーのトークンで書き換える。例えば \$n DayofMonth @m "\#2" に対し文トークンの 2 番目に日にちを表す単語が存在しなかった場合、 \$n DayOfMonth @m "00" とする。

## 4 実験

## 4.1 実験設定

3.1 節と 3.2 節で説明した手法により PMB 3.0.0 の英語の Gold データと Silver データを書き換える。書き換えを行なった各セットを用い、van Noord et al. (2020) [1] で最も精度が良かった実験設定である、 bi-LSTM エンコーダを 2 つ導入したエンコーダ・デコーダモデルを用いる。2つのエンコーダのうち一
表 3 実験結果。[11]では ill-formed 数の報告がなかった。「ータイプ $\mathrm{C} 」$ は提案手法」において、タイプ $\mathrm{C}$ の復元をしなかった場合の値を表す。

方は PMB で与えられたトークナイズされたトークン列と意味タグ [13] を交互に並べてエンコーダへ入力し、他方はトークン列を文字ごとに区切って入力する。

事前学習では Gold Train データと Silver Train デー タを合わせて用い、Gold Dev データでバリデーションを行なう。ファインチューニングでは Gold Train データと Gold Dev データを用いて学習・バリデー ションを行ない、Gold Test データで評価する。一度の事前学習に対して 5 回のファインチューニングを施し、それらから得られた値の平均値を結果として採用する。

評価指標各実験結果は Counter [14] を用いて得られる。この評価ツールは出力された句構造 DRS と正解とを比較して、行を単位とする F-scoreなどの評価値を出力する。テストデータ全体の精度はミクロF-score として求められる。例えば、句構造 DRS が 5 行からなる A と 20 行からなる B があるとする。ある DRS 意味解析器が A に対しては正解とまったく同じ出力をしたのに対し、Bに対しては何らかのエラーにより一切の出力がなかった。このとき、Counter が出力する値は各々の F-score の平均值 $(1+0) / 2=0.5$ ではなく、行数によって重み付けされて計算された F-score である $(5+0) /(5+20)=0.2$ である。

## 4.2 結果と分析

表 3 に結果を示す。[1] が報告した値 89.3 と比較し、我々の手法を用いることでより高い精度である89.9を達成した。一方で、出力された相対句形式 DRS が ill-formed であったものの数は [1] と比較して増加した。ここで相対句形式 DRS が ill-formed であるとは、表 2 のいずれにも当てはまらない行が存在したり、変数の相対参照に失敗したりするなどで正しい句形式 DRS に変換できないことを表す。表 4 事前学習時間、消費 GPUメモリ、語彙数の比較。先行研究の各值は再現実験で得られた値である。

 &  & 語彙数 \\

提案手法 & $\mathbf{1 8 6}$ & $\mathbf{8 . 9 8}$ & $\mathbf{1 , 0 8 1}$ \\
差異の割合 & $21.5 \%$ & $41.3 \%$ & $90.5 \%$ \\

アブレーション実験表 3 の下 2 行はアブレー ション実験の結果を示している。これはタイプ C （3.1 節）とタイプ D（3.2 節）の書き換えそれぞれがどの程度精度上昇に寄与したかを示すものである。表 3 によると、タイプ C の書き換えは約 15\%、タイプD は約 5\% の精度上昇をもたらしたことが観察できる。

事前学習時間、消費 GPU メモリ、語彙数の比較表 4 に実験を行なった際の各指標を示す。我々の提案手法は精度上昇のみならず、事前学習時間を約 $20 \%$ 以上減、GPUメモリの消費量を約 $40 \%$ 以上減し、特に語彙数は $90 \%$ 以上減を達成した。

未知語に関する分析 [1] と提案手法の 5 回の予測のうちそれぞれ一つを抽出し比較したところ、[1] で未知語であることを示す @@UNKNOWN@@ トークンは 250 個出力されていたが、そのうち提案手法において正しく予測されたトークンは 233 個であった。

ill-formed 数に関する分析 ill-formed になったケースは量化や否定など、学習データが不十分な言語現象を含むものが多くを占めた。特に、一度でも ill-formed になった 31 ケースのうち、接続や量化を示す意味タグ ANDをもつものは 10 ケース存在していた。

## 5 おわりに

本研究ではDRS の意味解析に着目し、句形式 DRS において文と共通する DRS トークンを出現位置トークンに置き換える手法を試みた。実験の結果、出力語彙数が大幅に減少したことにより、既存手法と比較し有意な精度上昇が見られ、さらに事前学習時間とGPUメモリの消費量も減少した。

今後は、PMBに含まれる英語以外の言語に対して、語彙数を抑制するアプローチを試みる予定である。また、DRS 意味解析以外の意味解析タスクへの応用なども考えられる。

## 謝辞

本研究は JST さきがけ JPMJPR21C8 の支援を受けたものである。

## 参考文献

[1] Rik van Noord, Antonio Toral, and Johan Bos. Characterlevel representations improve DRS-based semantic parsing even in the age of BERT. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4587-4603, Online, 2020. Association for Computational Linguistics.

[2] Hans Kamp and Uwe Reyle. From Discourse to Logic. Springer, Dordrecht, 1993.

[3] Rik van Noord, Lasha Abzianidze, Antonio Toral, and Johan Bos. Exploring neural methods for parsing discourse representation structures. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 619633, 2018.

[4] Lasha Abzianidze, Johannes Bjerva, Kilian Evang, Hessel Haagsma, Rik van Noord, Pierre Ludmann, Duc-Duy Nguyen, and Johan Bos. The Parallel Meaning Bank: Towards a multilingual corpus of translations annotated with compositional meaning representations. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 242-247, Valencia, Spain, 2017. Association for Computational Linguistics.

[5] 谷中瞳, 峯島宏次, 山田彬克, 山口悠, 窪田悠介, Lasha Abzianidze, Johan Bos. 多言語統語・意味情報コーパス Parallel Meaning Bank 日本語版の構築. 言語処理学会第 26 回年次大会. 言語処理学会年次大会発表論文集, 2020 .

[6] Hajime Wada and Nicholas Asher. BUILDRS: An implementation of DR theory and LFG. In Proceedings of Coling 1986 Volume 1: The 11th International Conference on Computational Linguistics, 1986.

[7] Johan Bos. Wide-coverage semantic analysis with Boxer. In Proceedings of Semantics in Text Processing. STEP 2008 Conference, pp. 277-286. College Publications, 2008.

[8] Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural computation, Vol. 9, pp. 1735-80, 1997.

[9] Federico Fancellu, Sorcha Gilroy, Adam Lopez, and Mirella Lapata. Semantic graph parsing with recurrent neural network DAG grammars. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2769-2778, Hong Kong, China, 2019. Association for Computational Linguistics.

[10] Wessel Poelman, Rik van Noord, and Johan Bos. Transparent semantic parsing with Universal Dependencies using graph transformations. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 4186-4192, Gyeongju, Republic of Korea, 2022.
International Committee on Computational Linguistics.

[11] Minxing Shen and Kilian Evang. DRS parsing as sequence labeling. In Proceedings of the 11th Joint Conference on Lexical and Computational Semantics, pp. 213225, Seattle, Washington, 2022. Association for Computational Linguistics.

[12] George A. Miller. Wordnet: A lexical database for english. Commun. ACM, Vol. 38, No. 11, p. 39-41, 1995.

[13] Lasha Abzianidze and Johan Bos. Towards universal semantic tagging. In Proceedings of the 12th International Conference on Computational Semantics, 2017.

[14] Rik van Noord, Lasha Abzianidze, Hessel Haagsma, and Johan Bos. Evaluating scoped meaning representations. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, 2018. European Language Resources Association (ELRA).


# ニつの動作を含む重文型命令文を受理するためのサービス指向発話文解析の拡張

但田聖 徳久雅人 木村周平
鳥取大学 工学部
b19t2060u@edu.tottori-u.ac.jp
\{tokuhisa,kimura\}@tottori-u.ac.jp

## 概要

本稿では，2つの動作を一度に命令する発話文を受理してサービスの提供を行う手法について述べる。スマー トフォンや家電に音声認識を使ったサービス要求の命令が可能である. 1 つの動作を命令する発話文は受理可能である.しかし，2つの動作を命令するためには 2 回の発話が必要となる.

本稿では，車載器に用いられるサービス指向発話文解析器（従来手法）に対して，文分割，分割評価および命令合成を追加することで，2つの動作を含む命令文であっても適切にサービスの提供が実現できることを示す.

## 1 はじめに

近年，音声認識を用いた技術が普及している．スマー トフォンや家電に，音声認識を使ったサービス要求の命令が可能になっている.

本研究室では音声命令によって操作可能な車載器の開発を進めている [1].この車載器では，1つの動作のための命令文しか実行することができない. よって，この車載器に 2 つの動作を命令したい時は，1つずつ動作を命令しなければならず，時間と手間がかかってしまう.

そこで，本稿では車載器で 2 つの動作を含む重文型命令文が実行できるようにすることを目的とする.

## 2 先行研究

文分割についての先行研究，発話文解析についての先行研究，および本稿の位置づけについて述べる.

## 2.1 文分割についての先行研究

先行研究 [2] は, 複雑な文の可読性の向上や解析処理を目的とした研究である．WEBSPLIT という単純な文と複雑な文をぺアとするデータセットを提案し，文分割を可能にしたが，実際に複雑な文の解析に適用できるかの確認は行われなかった。

## 2.2 発話文解析についての先行研究

先行研究 [1] では, ユーザからのサービス要求型発話を受け取ると，発話文の意図するサービスとメソッドを発話文解析によって推定し，小型計算機上でサービス結果を出力する研究が行われた. 発話文解析の流れと先行研究の問題点について述べる.

## 2.2.1 発話文解析の流れ

発話文解析の流れを図 1 に示す.

図 1 発話文解析の流れ

発話文解析器がユーザから発話文を受け取ると，パー ジングが行われる． パージングではサービス別に用意された辞書を用いて各語句にタグ付けを行い，「サービス別タグ付き文」を出力する．次に，意図解析では，オリジナルコーパスの事例と「サービス別タグ付き文」の比較を行い，意図クラスを求める．オリジナルコーパスは，「発話文，サービス名，メソッド名・引数」という事例で構成され，サービス名とメソッド名・引数の組を意図クラスとする．比較の際，事例 $i$ とサービス別タグ付き文」との近さ $d_{1}$ を次式で求めて利用する.

$
d_{1}\left(U, T_{i}\right)=\frac{2\left|U \cap T_{i}\right|}{|U|+\left|T_{i}\right|+\beta}
$

ここで， $U$ はタグ付き文のタグの集合， $T_{i}$ は意図解析用事例 $i$ のタグの集合， $\beta$ は偏りを持たせるパラメータである.

近さの降順で意図クラスが得られ，解候補として複数が出力される.

次に，スロットフィリングでは，得られた解候補の引数に対して代入を行い，得られたスロット值（引数と代入語句の対）を解候補に加えて出力する.

最後に，選択では，解候補のタグの一致率およびスロットの代入率からスコア $d_{2}$ を次式で求めて利用する.

$
d_{2}\left(U, T_{i}, b, s\right)=\frac{2\left|U \cap T_{i}\right|+b}{|U|+\left|T_{i}\right|+s+\beta}
$

ここで，bはスロットフィリングにおいて代入されたスロット数であり，s はスロットフィリングにおいて代入されるべきスロット数である。なお， $U, T_{i}$ おび $\beta$ は式 (1)と同じである.

スコアの降順で意図クラスおよび引数の具体值が得られ, 最高スコアの命令 (サービス名・メソッド名・スロッ卜値）が選ばれる。命令はサービスの実行部に送られて， ユーザにサービスの提供が行われる．以上の流れで発話文解析を行う。
以下に発話文解析の例を示す.

発話文：鳥取の地図を表示してください

意図クラス：serviceMap.comShow(loc)

解候補のスロット値 : $\mathrm{loc}=$ 鳥取

命令：serviceMap.comShow(loc=鳥取)

## 2.2.2 先行研究の問題点

2 つ動作を含む重文型命令文を先行研究の手法に入力すると， 1 事例につき 1 意図クラスしかオリジナルコーパスに登録されてないため，1つの命令しか実行されない． 2 つの動作を含む命令を実行させるには，オリジナルコーパスの発話文を組み合わせて命令文を作り， その 1 つの命令文につき動作を 2 つ登録するというアイデアが考えられる。しかし，オリジナルコーパスに登録されている発話文は約 3 千文であり，その組み合わせは最大で約 9 百万文となる。これではコストが大きすぎる.

## 2.3 本稿の位置づけ

本稿では，コストを抑えるために，コーパスへの文の追加ではなく, 車載器の発話文解析器の拡張という手段をとる。すなわち，文分割を発話文解析の前に行うことで，2つの動作を含む文を 1 つの動作を含む 2 つの文とし，得られる命令を適切に実行することを試みる。ただし，本稿では，2つの動作を含む表現を重文型命令文に限定する。

## 3 提案手法

提案手法は，従来手法 (2.2 節) に対し，「文分割」，「分割評価」および「命令合成」を追加した拡張手法である （図 2)。拡張のねらいは次のとおりである.
- 文分割 $: 1$ 文 1 命令となるように文を分割
- 分割評価：分割/非分割のどちらが意味を波み取ったかを評価
- 命令合成：単機能な複数命令か，高機能な単一命令かの選択

図 2 拡張された発話文解析器

以下に提案手法における処理の要点を例示する。

重文型命令文に対する文分割の結果を示す.

重文型命令文：地図を表示して音楽をかけてください

分割後の文 $1:$ 地図を表示してください

分割後の文 2 : 音楽をかけてください

分割評価では，重文型命令文を従来手法で解析した結果，および分割後の文 1 ，文 2 をそれぞれ解析した結果という 3 つの結果を扱う。地図サービスと仮定すると「音楽」の意味が汲み取られず，音楽サービスを仮定すると「地図」の意味が汲み取られない。一方で分割後ではそれぞれで意味が汲み取られるため，分割が適切と判定される.

命令合成については，別の例文で説明する．たとえば，「初音ミクをかけてから鏡音リンをかけてください」という場合，命令合成には 2 つの命令が入力され，代替命令が出力される.

命令 1 : serviceMusic.comSearch $(\mathrm{obj}=$ 初音ミク)

命令 2 : serviceMusic.comSearch(obj=鏡音リン)

代替命令：serviceMusic.compPlayList(obj1=初音

ミク，obj2=鏡音リン)

検索再生の命令 2 つよりも，プレイリストの命令 1 つの方が容易にサービスの実行が行える.

本節では，文分割，分割評価および命令合成について詳しく述べる。

## 3.1 文分割

文分割は，発話文に特定のワードが含まれている時，特定のワードの前後で単文に分割する．特定のワードの決定方法，特定のワードの判別方法および文末処理について示す.

## 3.1.1 特定のワードの決定方法

鳥バンクという日本語と英語の意味類型パターン辞書がある [3].この中では，節間キーワードという主節と従属節をつなぐワードが定義されている．節間キーワードの出現頻度上位 30 件の内，重文型命令文に含まれると想定されるものを特定のワードとして選出する.

節間キーワードの出現頻度上位 30 件は表 1 の通りとなった.

表 1 中の，「て」，「てから」，「たら」，「ながら」の 4 つの節間キーワードを特定のワードとして選出した。

## 3.1 .2 特定のワードの判別方法

文分割の判断には，特定のワードの品詞，字面およびその前後の単語の品詞で定義される条件を用いる (表 2 ).

発話文を MeCab で形態素解析し，得られた解析結果と表 2 を比較して文を分割するか判断する。

## 3.1.3 文末処理

文を分割した際，分割後の 1 文目の文末が不完全になる.その対応として，分割前の文末表現を，分割後の 1 文目の文末に追加するという文末処理を行う．以下に，文末表現が「てください」の時の処理の例を示す.

処理前の分割後の文 1 : 音楽をかけ

処理後の分割後の文 $2:$ 音楽をかけてください対象となる文末表現は以下のとおりである。

・〜てください|〜でください

・〜ます

・〜です

ここで，「ます/です」による命令文は，ユーザの行動を車載器に受理させる際に使われる。たとえば，「今から鳥取駅に行きます」や「10 時に出発です」のように予定を登録する発話に用いられる。

## 3.2 分割評価

車載器のオリジナルコーパス (先行研究のコーパス) には既に重文型命令文が登録されている。たとえば，「シャッフルして音楽をかけてください」という文がある.これは音楽の再生モードを変更するという，1 動作を命令する重文型命令文である．発話文に対して毎回分割を行うと，過剩な分割となる恐れがある。この問題を分割評価によって防ぐ.

非分割文と分割文のスコアを比較する．非分割文のスコアは $d_{2}$ を用いて求める. 分割文のスコア $d_{3}$ は，分割文の文 1 と文 2 のスコアを転用した值であり，次式を用いて求める.

$
\begin{aligned}
& d_{3}\left(U_{1}, U_{2}, T_{1}, T_{2}, b_{1}, b_{2}, s_{1}, s_{2}\right)= \\
& \quad \frac{2\left(\left|U_{1} \cap T_{1}\right|-t\right)+2\left|U_{2} \cap T_{2}\right|+b_{1}+b_{2}}{\left|U_{1}\right|-t+\left|U_{2}\right|+\left|T_{1}\right|-t+\left|T_{2}\right|+s_{1}+s_{2}+\beta}
\end{aligned}
$

ここで, $U_{1}, T_{1}, b_{1}, s_{1}$ および $U_{2}, T_{2}, b_{2}, s_{2}$ は式 $(2)$ と同様であり，それぞれ分割後の文 1 および文 2 の值である. $\beta$ も同様である. $t$ は文末処理によって追加された文末表現に対するタグ数である.

もし， $d_{2} \geqq d_{3}$ ならば非分割を採用し，そうでなければ分割を採用する.

## 3.3 命令合成

命令合成の対象となる 2 つの命令の例を以下に示す.命令 1 : serviceMusic.comSearch( $\mathrm{obj}=$ 初音ミク)

命令 $2:$ serviceMusic.comSearch $(\mathrm{obj}=$ 鏡音リン) この 2 つの命令を連続で実行すると 1 曲目の再生が中断され，2 曲目のみが再生されてしまう。

命令合成では，2つの命令が以下の条件を満たすとき，代替命令を出力する．代替命令は 2 つの命令の動作を含む高機能な単一命令である.
- 1 つ目の命令が並列処理を行う，かつ

・ 2 つの命令間でリソースの競合がおこる

知識ベースとの照合によって，2つの命令が条件を満たすか判断する。条件を満たす 2 つの命令と代替命令を知識べースにまとめた（表 3)，代替命令を用意できない場合はエラーとする. エラー時は 1 つ目の命令のみを出力するという運用にする.

## 4 実験

追加した処理部の動作の妥当性を確認する. 評価項目を，命令文の害行誤り率および命令実行の応答時間とする.

## 4.1 実験準備

実験で用いるテストセットとして，テストセット 1～ 4 を用意した．テストセット $1 \sim 3$ をそれぞれ表 $4 \sim 6$ に示す.

テストセット 1 は，実際に車載器を利用した際に得られた発話ログ 1,441 件の中から，組み合わせると重文型命令文となる，連続している 2 つの発話を抜粋したものである (表 4).

テストセット 2 は，テストセット 1 の 2 つの発話を 3 または 4 つの特定のワードで組み合わせて作った重文型命令文である．各テスト文中にある（）内の|で区切られている単語は，それぞれの単語だけを含む文に展開するという意味で，（）内に 4 つ単語を含む場合は，4つの重文型命令文が得られる (表 5 ).

テストセット 3 は，並列処理を行う命令文のぺアを組み合わせた重文型命令文である (表 6).

テストセット 4 は，従来の車載器のオリジナルコーパスである (表なし, 総文数 3,519 文).

## 4.2 誤り率についての実験

テストセット 2 および 3 を用いることで 2 つの動作を含む重文型命令文の実行確認を行う．テストセット 4 を用いることで，元々実行できていたオリジナルコーパスの命令文 (1 動作の文) が実行できること，すなわち，提

案手法に拡張前との互換性があることを確認する。車載器 1 4を用意し, それぞれの車載器で誤り率を求めた. 車載器 1 は従来の車載器, 車載器 2 は従来の車載器に文分割を追加した車載器, 車載器 3 は文分割・分割評価を追加した車載器, 車載器 4 は文分割・分割評価・命令合成を追加した車載器である. 誤り率は表 7 の通りになった.

テストセット 2 の誤り率は, 車載器 1 では 1.00 となり, 車載器 $2 \sim 4$ では 0.00 となった. 文分割を追加することで重文型命令文を実行できることが確認できた。

なり, 車載器 4 では 0.00 となった. 命令合成を追加することによって，並列動作を起こす重文型命令文を適切に実行できることが確認できた.

テストセット 4 の誤り率は, 車載器 2 では 0.39 となり, 車載器 $1 ， 3$ および 4 では 0.00 となった. 文分割を追加することで過剰分割がおきていることが確認できたが，分割評価を追加することで過剩分割が抑えられていることが確認できた.

過剩な分割が抑制された命令文を表 8 亿示す. 予定登録の命令や，元々登録されていた重文型命令が分割されずに車載器 4 で処理できた. なお，車載器 2 で実際に表
8 の文を実行すると求めていないサービスが実行された.

## 4.3 応答時間についての実験

2 つの動作を， 1 つずつ命令した時と，重文型命令によって一度に命令した時の応答時間を比較するために， テストセット 1 および 2 の平均応答時間を求めた. 結果は表 9 の通りになった.

テストセット 2 の平均応答時間は, テストセット 1 の平均応答時間に比べて約 4 秒の短縮が確認できた. 自動車内において操作にかかる時間が 4 秒短縮されることは有益であると考える。

## 5 おわりに

本稿では, 車載器上で 2 つの動作を含む重文型の命令に対して実行を可能にした. 手法としては，従来の車載器の発話文解析器に文分割・分割評価・命令合成の 3 つの処理を追加した. 文分割では, 重文型命令文を分割し,解析可能とした. 分割評価および命令合成では, 文分割に伴う実装上の問題に対応した．以上より文分割は複雑な文の解析に有用であることが分かった. さらに，既存の 1 動作のための解析器が流用できる点も利点である.

本稿では複雑な文を重文型の言い方に限定したが，複雑な文には重文型以外の言い回しも多くある. 今後は重文型の言い方以外の複雑な文にも文分割が有用であるか，研究を進めて確認していきたい。

## 謝辞

本研究は JSPS 科研費 JP19K12548 の助成を受けたものです.

## 参考文献

[1] 徳久雅人, 木村周平: 小型計算機におけるサービス指向発話文解析, 自然言語処理, 26(3), pp.545-578, 2019.

[2] Shashi Narayan, Claire Gardent, Shay B. Cohen, and Anastasia Shimorin: Split and Rephrase. Natural Language Processing(EMNLP), pp. 606-616, 2017.

[3] 池原悟, 阿部さつき, 徳久雅人, 村上仁一: 非線形な表現構造に着手した重文と複文の日英パターン化, 自然言語処理, 11(3), pp.69-95, 2004.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# Neural DTS に対する型検査アルゴリズムの実装の試み

飯沼瑞稀 高橋優太 田上青空 戸次大介
お茶の水女子大学
\{g1920504, takahashi.yuta, tagami.sora, bekki\}@is.ocha.ac.jp

## 概要

現代的な記号推論システムである依存型理論の応用の一つに，自然言語の意味論がある．依存型理論による自然言語意味論は含意関係認識タスクに応用されており，その含意関係認識システムの基礎には型検査アルゴリズムがある．こうした型検査アルゴリズムは，型理論のような記号推論からなるシステムに与えられてきたものであるが，近年，依存型理論による自然言語意味論にはニューラルネットを埋め込んだシステムが提案されている. 本研究では第一に，そうしたシステムの一つである Neural DTS に対して型検査アルゴリズムを定式化する. 第二に， WordNet から抽出したデータセットを用いて，埋め込まれたニューラルネットの精度を型検査の出力を参照して調べる.

## 1 はじめに

記号推論は，ニューラルネットによる推論・予測としばしば対比されるが，そうした記号推論を行うための現代的なシステムの一つとして型理論 (type theory) と呼ばれる論理システムがある. 型理論はもともと，数学の証明を厳密に表現すること，言い換えれば数学を形式化することを目的として考案された [1]. その一方で，命題と型の同型性および証明とプログラムの同型性を示すカリー・ハワード対応 (Curry-Howard correspondence)を背景に，現代的な型理論はそれが考案された当初からプログラミング言語とも見なされている.

型理論は計算機科学と論理学の共通部分として研究されてきたが, 型理論の中でも特に依存型理論 (dependent type theory) は, 一般化量化子や照応といった自然言語の意味論に早くから応用されてきた [2]. 上述のように, 依存型理論は論理システムともプログラミング言語とも見なすことができる. そのため，自然言語の文がもつ複雑な意味構造を解釈できる論理システムとして依存型理論を用いるだけで
なく，その計算論的性質もまた自然言語の意味論へと応用されてきた.

こうして依存型理論は自然言語の意味論における理論的選択肢の一つとなり，現在における主要なアプローチとしては，例えば依存型意味論 (Dependent Type Semantics, DTS) [3], the formal semantics using Modern Type Theories [4], Type Theory with Records (TTR) [5] が挙げられる. さらに，依存型理論による自然言語意味論に対する実装も与えられ，こうした実装は，含意関係認識タスクへの手法を提供している $[6,7,8,9,10]$. ここでの実装において重要になるのは, 型検査アルゴリズム (type checking algorithm) という，プログラム $t$ および型 $A$ が与えられたときに $t$ が型 $A$ をもつかどうかを判定するアルゴリズムである. カリー・ハワード対応を踏まえると, このアルゴリズムは, 証明 $t$ と命題 $A$ が与えられたときに $t$ が $A$ の証明であるかどうかを判定するアルゴリズムともいえる．上述の含意関係認識の手法においては含意判定の場合にその証明が構成されるため，含意関係認識システムがつくった証明が，求めている命題の証明になっているかどうか検査する必要がある．この点で, 型検査アルゴリズムは含意関係認識システムの基礎になっている.

以上のように，型検査アルゴリズムは，依存型理論を用いた自然言語意味論の基盤であるといえる.従来このアルゴリズムは，もっぱら記号推論システムであるような型理論に対して与えられてきた。 その一方で，依存型理論を用いた自然言語意味論には，ニューラルネットを埋め込んだシステムが考案されている [11,12]. その中でも， [13,14] において基本構想が説明された Neural DTS は, 自然言語の複雑な意味現象を説明できる従来の DTS の記号推論を維持しつつ，「犬である」といった述語をニュー ラル分類器に置き換えることによって, ニューラルネットによる予測を併用する。

本研究では Neural DTS の実装に向けた一歩として，まず，DTS の語彙が含む述語を多層パーセプト

ロン (MLP) による分類器で置き換え，得られたシステムに対する型検査アルゴリズムを実装する．前者および後者の実装にはともに Haskell を用い，特に MLP の実装には PyTorch の Haskell バインディングである hasktorchを用いる。次に，WordNetから抽出したデータセットを用いて, 型検査アルゴリズムに埋め込むニューラルネットの精度を型検査の出力を参照して調べる.

## 2 先行研究

Type theory with records (TTR) は, DTS と同じく依存型理論による自然言語意味論のフレームワークであるが，TTR の中にニューラルネットを埋め込んだシステムがすでに考案されている [11,12]. Cooper [11] は, 外界の出来事 (events) や対象を分類するためにエージェントが学習するような型を TTR が提供できることを示すために，TTR に属する型からニューラルネット上の出来事の型への写像を与えている. さらに，ここでの写像に対する Python による実装も与えられている. その一方で，こうしたニューラルネット上の出来事の型とニューラル分類器の接続は示唆にとどまっており, 本研究が扱うような学習済み分類器をTTRへ埋め込むことは行われていない.

Larsson [12] は，知覚データに関する学習可能な分類器が埋め込まれた TTR を提案している.ここでの知覚データに関する分類は, DTS における命題 $P_{i}\left(e_{j}\right)$ における分類に対応しており, このバージョンの TTR は Neural DTS と共通点を多くもつ. しかし, [12] の目的は，こうした TTR の実装というょりはそれの自然言語の意味論への応用であり, 型検査アルゴリズムをどう定式化するかという問題については論じられていない.

## 3 提案手法

本研究が提案する手法は, ニューラル分類器をパラメータとする型検査アルゴリズムを定義しておき, 型検査を行う際には, 学習済みの分類器をそのアルゴリズムに渡すというものである. 以下ではまず，ニューラル分類器をパラメータとする型検査アルゴリズムを定義する (§3.1). 次に, 本研究の型検査アルゴリズムに埋め达まれる MLPを hasktorch により実装する (§3.2). そして, 以上を組み合わせて, MLP による分類器を呼び出すことのできる，Neural DTS の型検査アルゴリズムを定義する (§3.3).

## 3.1 ニューラル分類器をパラメータとする 型検査アルゴリズム

ニューラル分類器をパラメータとする型検査アルゴリズムを定義するために，[15] において Haskell によって実装された依存型理論の型検査アルゴリズムを，以下の 2 点で改訂する。簡潔さのために，以下ではDTS の語彙に含まれる述語（すなわち 1 項関係）を例にとって説明するが，§4で見るように 2 項関係（および任意の $n$ 項関係）をとることもできることに注意されたい.

(i) DTS の語彙に含まれる述語 $P_{i}$ および名前 $e_{j}$ から成る型 $P_{i}\left(e_{j}\right)$ へとアルゴリズムを拡張する.

(ii) 型検査アルゴリズムを与える関数 typeChk に, ニューラル分類器をパラメータとして与えて再定義する

まず (i)について説明する. DTS の語彙には述語と名前が含まれ，名前の型は entity であり，述語の型は entity $\rightarrow$ type である. DTS では命題の型は type として表されるため, 述語の型は, 名前から命題への関数ということになる。そして, Neural DTS に対する型検査には，述語を名前に適用して得られる命題 $P_{i}\left(e_{j}\right)$ についての型検査が新たなケースとして加わる. 例えば，述語が $\operatorname{dog}$ で名前が john のとき，得られる命題は $\operatorname{dog}($ john $)$ となり，これは「John は大である」という命題に対応する. Neural DTS の型検査に $P_{i}\left(e_{j}\right)$ といった命題のケースを加えるのは, 典型的にはこうした命題がニューラル分類器による予測の表現になるからである.

命題 $P_{i}\left(e_{j}\right)$ についての型検査では，大まかに言

題 $P_{i}\left(e_{j}\right)$ が与えられたとき, $\Gamma$ のもとで証拠 $w_{i j}$ が $P_{i}\left(e_{j}\right)$ の証明であるかどうか（つまり，Гのもとで $w_{i j}$ が型 $P_{i}\left(e_{j}\right)$ をもつかどうか）が判定される. ただし， $w_{i j}$ は命題 $P_{i}\left(e_{j}\right)$ のために用意する定項である. 以下では, $\Gamma$ のもとで証拠 $w_{i j}$ が $P_{i}\left(e_{j}\right)$ の証明であるかどうかという問いを次のように記号化する：

$
\Gamma \vdash w_{i j}: P_{i}\left(e_{j}\right) ?
$

次に (ii) について説明する. ニューラル分類器によって述語を置き換えるという Neural DTS の基本構想に基づき, 命題 $P_{i}\left(e_{j}\right)$ についての型検査は, 述語 $P_{i}$ と名前 $e_{j}$ の one-hot 表現をそれぞれニューラル分類器に入力した結果を用いて行う．結果となる出力が閾値を超えれば名前 $e_{j}$ は述語 $P_{i}$ をみたす

といえるから, 命題 $P_{i}\left(e_{j}\right)$ は証明 $w_{i j}$ をもつとみなし， $\Gamma \vdash w_{i j}: P_{i}\left(e_{j}\right)$ ? という問いには YES と答える. 閾值を超えなければ $e_{j}$ は $P_{i}$ をみたさないということであるから，命題 $P_{i}\left(e_{j}\right)$ はそもそも証明をもたず，それゆえこの問いには NO と答える。

以上の説明が示すように，本研究が提案する Neural DTS の型検査では，その途中でニューラル分類器が呼び出される。このことを可能にするため， もともとの型検査関数 typeChk にニューラル分類器をパラメータとして与える.

ここでの分類器は, 述語の one-hot 表現と名前の one-hot 表現を入力としてとる分類器であるため, パラメータの型は以下のようになっている：

$
\text { Tensor }->\text { Tensor }->\text { Tensor }
$

そして, 上でインフォーマルに述べた, 型検査 $\Gamma \vdash w_{i j}: P_{i}\left(e_{j}\right)$ ? 答えを与えるためのアルゴリズムを，typeChk のパターンマッチングによる定義の中で新たに設けるケースにて実装する。

このようにして，[15] の型検査アルゴリズムを命題 $P_{i}\left(e_{j}\right)$ のケースまで拡張しつつ, 型検査関数 typeChk にニューラル分類器のパラメータを加えることで，MLPを埋め込める型検査アルゴリズムを定義する.

## 3.2 hasktorch による MLP の実装

§ 3.1 で定義した型検査アルゴリズムと組み合わせるために, 単純な MLP によるニューラル分類器を実装する。ここでの実装には， hasktorch の Github リポジトリにある，MLPによる排他的論理和の実装を参考にしている [16].

本研究において実装する MLP は以下の標準的な構造をもつ：

埋め込み層述語の one-hot 表現および名前の onehot 表現をそれぞれ線形層でベクトル空間へ埋め込み，得られた分散表現を結合する。

隠れ層結合した分散表現を入力としてとる線形層を中間層として一つ用意する。

出力層分類器の出力とするために次元を調整した線形層を出力層とする。

活性化関数としてはシグモイド関数を用いる。また，損失関数としてはバイナリ交差エントロピー誤差を用いる.

以上の構造をもつ MLPを，微分可能プログラムを提供する hasktorch の Parameterized 型クラスを用いて実装する. また，次節において説明する，この MLP による分類器の学習には，初期化関数を提供する Randomizable型クラスを用いている.

## 3.3 型検査アルゴリズムへの MLP の埋め 込み

本研究による提案手法の最後のステップとして, § 3.1 で定義した型検査関数 typeChkに，§3.2 で構成した MLPを埋め込むことで，目標となる型検査アルゴリズムを与える関数 neuralTC を定義する. この関数の型は以下のようになる：

neuralTC :: Context $\rightarrow$ TermChk $\rightarrow$ Type $\rightarrow$ IO ()

関数 neuralTC は, 文脈 $\Gamma$, プログラム $t$ そして型 $A$ が与えられると，Гのもとで $t$ が $A$ を型としてもつかどうかを判定する.この点は, 依存型理論に対する通常の型検査アルゴリズムと変わらないが，型検査の途中でニューラル分類器を呼び出して, その出力を用いて型検査 $\Gamma \vdash w_{i j}: P_{i}\left(e_{j}\right)$ ?を判定する点で通常のものとは異なっている.

文脈 $\Gamma$, プログラム $t$ そして型 $A$ を入力として neuralTC に与えると，その計算は次のように進む。

学習フェーズ以下の手順を1イテレーションとする.

1. データセットの読み込み：数値のリストとして表現されたデータセットから，指定された数だけランダムに要素を選び出す. 次に，それをテンソルに変換してミニバッチを構成し，教師データおよび訓練データを作成する.

2. モデルの更新：訓練データに対する出力となる予測値と，教師データの正解ラベルの間の誤差を計算し，hasktorch が提供する関数 runStep により分類器モデルを更新する. 本研究における分類器は命題 $P_{i}\left(e_{j}\right)$ が成り立つかどうかを判定するものであるため，ここでの分類は 2 值分類となり，正解ラベルは 1 もしくは 0 である.

指定された回数の学習を繰り返したら，変数 trainedに学習済みの分類器モデルを格納する。

型検査フェーズこの段階ではまず，先のフェーズにおいて得られた学習済みモデル trainedを，型 Tensor -> Tensor -> Tensorをもつニュー

ラル分類器 cls に変換する. そして，入力として与えられている文脈 $\Gamma$, プログラム $t$ および型 $A$ とともにこのclsを，§3.1において定義した関数 typeChk に与えて，型検査を行う。

以上が，本研究において実装する Neural DTS のための型検査アルゴリズム neuralTC の概略である.

## 4 実験

WordNet のデータベースを用いて，2つの entity の間にある関係が成立するかどうかを，それ以外のデータから予測する実験を行った。これは例えば 「猫には尻尾がある」といった既知の事実に対する常識的推論や，関係ネットワークにおけるリンク予測として見ることができる. データセットとして， WordNet から抽出した 40,943 個の entity と 18 個の relation に関する 141,442 個の学習用関係トリプレット，5,000 個のテスト用関係トリプレット，5,000 個の検証用関係トリプレットを用いた。このデータセットは [17] において作成されたものである ${ }^{1)}$. 例えば, (drill, has part, chuck) などのトリプレットが学習データに含まれており，これらを正解データとして使用した. 不正解データとして, 正解データと同じ数だけ，正解データに含まれない関係トリプレットをランダムに作成した. 実験として, 作成した neuralTC がトリプレット上の関係を正しく予測できるかという 2 值分類を行った. typeChk では，

1. スコアが閾値以上で，かつ型検査が正常な場合：2つの entityが関係を満たしている

2. スコアが閾値未満で，かつ型検査が正常な場合：関係を満たしていない

3. 型の不整合

の 3 種の返り値があり，このうち1.を正解の予測データ，2. を不正解の予測データとして扱った. 学習反復数 50,2 值分類の間値が 0.7 のとき, accuracy $=0.7536$, precision $=0.8064282$, recall $=0.6674$, $\mathrm{f} 1=0.73035675$ となった. 学習反復数を増やしたり, 学習パラメータを最適化させたりすることで， より精度は上がると考えられる。

## 5 おわりに

本研究ではまず，Neural DTS に対する型検査アルゴリズムを定式化した. 次に，このアルゴリズムの

1）[17] は次の French ANR grant の支援を受けたものである： https://www.hds.utc.fr/everest/doku.php?id=en:smemlj12中で呼び出されるニューラル分類器となる MLPを実装した. 今後は，学習反復数の増加やパラメー タの最適化によって精度の向上を図るとともに, parser と接続し，DTS の基本述語の集合を入力としてニューラル分類器の学習を行えるようにすることで，Neural DTS の実装を目指す。

## 謝辞

本研究は，JST CREST JPMJCR20D2 の支援を受けたものである.

## 参考文献

[1] Per Martin-Löf. An intuitionistic theory of types. In G. Sambin and Jan M. Smith, editors, Twenty-five years of constructive type theory, Vol. 36 of Oxford Logic Guides, pp. 127-172. Clarendon Press, 1998.

[2] G. Sundholm. Constructive generalized quantifiers. Synthese, Vol. 79, pp. 1-12, 1989.

[3] Daisuke Bekki and Koji Mineshima. Context-passing and underspecification in dependent type semantics. In Stergios Chatzikyriakidis and Zhaohui Luo, editors, Modern Perspectives in Type-Theoretical Semantics, pp. 1141. Springer International Publishing, Cham, 2017.

[4] Stergios Chatzikyriakidis and Zhaohui Luo. On the interpretation of common nouns: Types versus predicates. In Stergios Chatzikyriakidis and Zhaohui Luo, editors, Modern Perspectives in Type-Theoretical Semantics, pp. 43-70. Springer International Publishing, Cham, 2017.

[5] Robin Cooper. Adapting type theory with records for natural language semantics. In Stergios Chatzikyriakidis and Zhaohui Luo, editors, Modern Perspectives in TypeTheoretical Semantics, pp. 71-94. Springer International Publishing, Cham, 2017.

[6] Stergios Chatzikyriakidis and Zhaohui Luo. Natural language inference in coq. J. Log. Lang. Inf., Vol. 23, No. 4, pp. 441-480, 2014.

[7] Koji Mineshima, Pascual Martínez-Gómez, Yusuke Miyao, and Daisuke Bekki. Higher-order logical inference with compositional semantics. In L. Màrquez, C. CallisonBurch, J. Su, D. Pighin, and Y. Marton, editors, Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, EMNLP 2015, Lisbon, Portugal, September 17-21, 2015, pp. 2055-2061. The Association for Computational Linguistics, 2015.

[8] Stergios Chatzikyriakidis and Zhaohui Luo. Proof assistants for natural language semantics. In M. Amblard, P. de Groote, S. Pogodalla, and C. Retoré, editors, Logical Aspects of Computational Linguistics. Celebrating 20 Years of LACL (1996-2016) - 9th International Conference, LACL 2016, Nancy, France, December 5-7, 2016, Proceedings, Vol. 10054 of Lecture Notes in Computer Science, pp. 85-98, 2016.

[9] Koji Mineshima, Ribeka Tanaka, Pascual MartínezGómez, Yusuke Miyao, and Daisuke Bekki. Building compositional semantics and higher-order inference sys-
tem for a wide-coverage japanese CCG parser. In J. Su, X. Carreras, and K. Duh, editors, Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, EMNLP 2016, Austin, Texas, USA, November 1-4, 2016, pp. 2236-2242. The Association for Computational Linguistics, 2016.

[10] Stergios Chatzikyriakidis and Jean-Philippe Bernardy. A wide-coverage symbolic natural language inference system. In Mareike Hartmann and Barbara Plank, editors, Proceedings of the 22nd Nordic Conference on Computational Linguistics, NoDaLiDa 2019, Turku, Finland, September 30 - October 2, 2019, pp. 298-303. Linköping University Electronic Press, 2019.

[11] Robin Cooper. Representing types as neural events. J. Log. Lang. Inf., Vol. 28, No. 2, pp. 131-155, 2019.

[12] Staffan Larsson. Discrete and probabilistic classifierbased semantics. In Proceedings of the Probability and Meaning Conference (PaM 2020), pp. 62-68, Gothenburg, June 2020. Association for Computational Linguistics.

[13] Daisuke Bekki, Ribeka Tanaka, and Yuta Takahashi. Learning knowledge with neural DTS. In Proceedings of the 3rd Natural Logic Meets Machine Learning Workshop (NALOMA III), pp. 17-25, Galway, Ireland, August 2022. Association for Computational Linguistics.

[14] Daisuke Bekki, Ribeka Tanaka, and Yuta Takahashi. Integrating Deep Neural Networks with Dependent Type Semantics. In Roussanka Loukanova, Peter LeFanu Lumsdaine, and Reinhard Muskens, editors, Logic and Algorithms in Computational Linguistics 2021 (LACompLing2021). Springer Cham, to appear.

[15] Andres Löh, Conor McBride, and Wouter Swierstra. A tutorial implementation of a dependently typed lambda calculus. Fundam. Informaticae, Vol. 102, No. 2, pp. 177-207, 2010.

[16] hasktorch: MLP implementation of logical XOR. Accessed Jan. 11, 2023. https://github. com/hasktorch/ hasktorch/tree/master/examples/xor-mlp.

[17] Antoine Bordes, Xavier Glorot, Jason Weston, and Yoshua Bengio. A semantic matching energy function for learning with multi-relational data - Application to word-sense disambiguation. Mach. Learn., Vol. 94, No. 2, pp. 233-259, 2014.


# 子育て支援 QA サイトにおける潜在嗜好変化の時系列推定

住谷祐太 ${ }^{1}$ 富川雄斗 ${ }^{2}$ 伊藤尚紀 ${ }^{2}$ 高橋里司 ${ }^{3}$
1 電気通信大学大学院 情報理工学研究科 情報学専攻 2 電気通信大学 情報理工学域 I 類
3 電気通信大学大学院情報理工学研究科情報・ネットワーク工学専攻
\{sumiya, tomikawa,ito, stakahashi\}@uec.ac.jp

## 概要

ソーシャルメディアを活用した子育て情報の収集が盛んになっている．特に子育てに関する QAコミュニティでは，子育て中の母親が質問を気軽に投稿できるため，投稿されるテキストには一般的な情報だけでなく，ユーザが抱える悩みや嗜好が含まれていることが多い. それらの特徴量を把握することはソーシャルメディアマーケティングにおいて重要な技術課題となる. そこで本研究では，ユーザの潜在嗜好を捉えるための新しいトピックモデルを提案する. 提案手法では，ユーザの年齢区分や子供の月齢などの補助情報の活用や，嗜好の時間依存性を考慮する．実験では令和 3 年度データ解析コンペティションでコネヒト株式会社から提供されたママリのデータを使用し，手法の有効性を検証する。

## 1 はじめに

子育て情報の収集・共有を行う QAコミュニティの一つに，コネヒト株式会社が提供するママリが存在する．ママリでは匿名性を利用して知人には相談できないような悩みを質問できるため，投稿される質問はユーザの潜在嗜好を把握する上で有益な情報だと言える. 子育て特有の事情として，ユーザの嗜好は属性や子供の月齢，時間によって異なると考えられ，従来のユーザ全体を解析の対象とした場合では十分に嗜好を把握できない問題がある。

関連研究として，ユーザの質問文から潜在嗜好を推定する手法にトピックモデルが存在し, 自然言語の潜在的意味解析に広く用いられている. 特に Blei et al. [1] が提案した LDA (Latent Dirichlet Allocation) は，一つの文書に複数の潜在トピックが存在すると仮定し，そのトピックの分布を離散分布としてモデル化する代表的な潜在変数モデルである.

一方で新生児の母親が主なユーザである QAコミュニティ上での質問は，文書となる質問文以外に質問者の年齢や居住地域，そして事前に付与される質問カテゴリタグなどが付与され，それに応じて質問の意図が大きく異なると想定される。また子供を育てるユーザの場合，月齢に応じて質問内容が変化していくことも考慮する必要がある．本研究では， ユーザの潜在嗜好を捉えるためにこれらの補助情報を利用した新しいトピックモデルを提案する.

## 2 提案手法

しいトピックモデルとして，SCTTM (Supervised Correspondence Topic Tracking Model) を提案する. SCTTM では，LDA に対して三つの拡張を行う．はじめに，最初の質問時における子供の月齢を考慮するようにトピックを学習させるため，連続変数を考慮したトピックを推定できる sLDA [2] を組み込む. SLDA は，学習過程のトピックを説明変数にとり， それらで月齢を線形回帰したときの当てはまりが良くなるようにトピックと偏回帰係数を逐次的に学習する.

次に，離散値ラベルの補助情報も考慮してトピックを学習させるため, Corr-LDA [3] を取り入れる. Corr-LDA を取り入れることにより，各トピックの単語分布の推定と同様に，補助情報の分布も推定する.ここで補助情報の生成に用いられるトピックは，必ず単語を生成したトピックとなるようにモデル化するため, 単語と補助情報の対応関係を適切に学習することができる.

最後に，ユーザの嗜好変化を考慮するための手法として，TTM [4] を用いたパラメータ推定を行う. TTM は時間情報が付けられた文書集合から，時間変化するトピックを推定する手法であるため，質問文からユーザ個人の潜在嗜好と時間発展を適切に追跡することができる. また TTM はオンライン学習が可能な点から，日々蓄積されるユーザの質問デー タを効率的に学習できる利点がある. 本研究では,
最初の時刻 $t=1$ で月齢と補助情報に沿ったトピックを学習した後, 時刻 $t>1$ 以降はそれらのトピックが時間依存して変化するように学習させる.

## 2.1 トピックの生成

全ユーザ数を $U$ ，総時刻を $T$, 全ユーザで観測される総単語の種類を $V$ ，トピック数を $K$ として，ある時刻 $t$ においてあるユーザ $u$ が生成した文書の単語の組を $\boldsymbol{w}_{t u}=\left(w_{t u 1}, \cdots, w_{t u N_{t u}}\right)$ と表記する. ここで $N_{t u}$ は時刻 $t$ においてユーザ $u$ が生成した文書に含まれる単語数である。

トピックモデルでは，ユーザ毎にトピック分布 $\boldsymbol{\theta}_{t u}=\left(\theta_{t u 1}, \cdots, \theta_{t u K}\right)^{\top} \in \mathbb{R}^{K}$ が与えられ, 各要素 $\theta_{t u k}$ は時刻 $t$ でユーザ $u$ の単語にトピック $k$ が割り当てられる確率を表す. すなわち $\theta_{t u k} \geq 0$, $\sum_{k} \theta_{t u k}=1$ を満たす. 各トピック $k$ には固有の単語分布 $\boldsymbol{\phi}_{t k}=\left(\phi_{t k 1}, \cdots, \phi_{t k V}\right)^{\top} \in \mathbb{R}^{V}$ が存在し, 各要素 $\phi_{t k v}$ は時刻 $t$ のトピック $k$ で単語 $v$ が生成される確率を表す.ここで $\phi_{t k v} \geq 0, \Sigma_{v} \phi_{t k v}=1$ を満たす。

生成過程における各単語 $w_{\text {tun }}$ は, トピック分布 $\boldsymbol{\theta}_{t u}$ にしたがってトピック $z_{t u n}\left(n=1, \cdots, N_{t u}\right)$ が割り当てられ, その単語分布 $\boldsymbol{\phi}_{t z_{t u n}}$ にしたがって生成されると仮定する。

## 2.2 トピックの推定

はじめに，ユーザが投稿した質問単語ごとにトピックをサンプリングする. 本研究では崩壊型ギブスサンプリング [6]を用いて，トピック分布，単語分布，補助情報分布のパラメータを周辺化した周辺同時分布により単語トピックのサンプリング確率を求める. 時刻 $t=1$ において, ユーザ $u$ の単語 $n$ に割り当てられるトピック $z_{\text {tun }}$ が $k$ となる確率は, 周辺同時分布にベイズの定理を適用することで式 (1)のように求めることができる. 式中の $\backslash t u n$ は, 時刻 $t$ でユーザ $u$ の単語 $n$ に割り当てられるトピックを除くことを意味する。また $N_{t k n}$ は時刻 $t$ においてトピック $k$ に単語 $n$ が割り当てられた個数， $N_{t k}$ はその単語毎の総和を表し, $N_{t u k}$, $M_{t u k}^{i}$ はそれぞれ時刻 $t$ でユーザ $u$ に割り当てられた単語トピック, 補助情報 $i$ のトピック $k$ の個数を表す. さらに時刻 $t=1$ では, ユーザ $u$ が持つ連続変数 $y_{u}$ がガウス分布 $\mathcal{N}\left(\boldsymbol{\eta}^{\top} \widetilde{z}_{t u}, \sigma^{2}\right)$ に従い生成されると仮定する， $\boldsymbol{\eta} \in \mathbb{R}^{K}$ は線形回帰パラメータ, $\widetilde{z}_{t u}=\left(\frac{N_{t u 1}}{N_{t u}}, \cdots, \frac{N_{t u K}}{N_{t u}}\right)^{\top} \in \mathbb{R}^{K}$ は時刻 $t=1$ におけるユーザ $u$ のトピック割合, $\sigma^{2}$ は分散パラメータを表す。

$
\begin{aligned}
& p\left(z_{t u n}=k \mid \mathrm{Z}_{\backslash t u n}, \mathrm{~W}_{t}, \boldsymbol{\alpha}, \beta, \boldsymbol{\eta}, \sigma^{2}\right) \\
& \propto\left(N_{t u k \backslash t u n}+\alpha_{k}\right) \frac{N_{t k w_{t u n} \backslash t u n}+\beta}{N_{t k \backslash t u n}+\beta V} \\
& \times\left(\frac{N_{t u k \backslash t u n}+1}{N_{t u k \backslash t u n}}\right)^{\sum_{i} M_{t u k}^{i}} \\
& \times \exp \left.\{\frac{\eta_{k}}{N_{t u} \sigma^{2}}\left(y_{u}-\boldsymbol{\eta}^{\top} \widetilde{\boldsymbol{z}}_{\backslash t u n}-\frac{\eta_{k}}{2 N_{t u}}\right)\right.\} .
\end{aligned}
$

$\alpha \in \mathbb{R}^{K}, \beta$ はディリクレ分布のパラメータである.便宜上， $\boldsymbol{\theta}_{t u}, \boldsymbol{\phi}_{t k}$ を行列表現したものを $\boldsymbol{\Theta}_{t}, \boldsymbol{\Phi}_{t}$ と表し， $\boldsymbol{w}_{t u} ， z_{t u}$ をそれぞれ要素毎にまとめた集合を $\mathrm{W}_{t}, \mathrm{Z}_{t}$ と表す. なお式 (1)で条件付き独立となる項およびその変数については省略している。

時刻 $t>1$ でも同様にトピックのサンプリング確率を式 (2)のように求めることができる. 式中の $\hat{\boldsymbol{\Theta}}_{t-1}, \hat{\mathbf{\Phi}}_{t-1}$ はそれぞれ $\boldsymbol{\Theta}_{t-1}, \boldsymbol{\Phi}_{t-1}$ の推定値である.

$
\begin{aligned}
& p\left(z_{t u n}=k \mid \mathrm{Z}_{\backslash t u n}, \mathrm{~W}_{t}, \boldsymbol{\alpha}_{t}, \boldsymbol{\beta}_{t}, \hat{\boldsymbol{\Theta}}_{t-1}, \hat{\boldsymbol{\Phi}}_{t-1}\right) \\
& \propto\left(N_{t u k}+\alpha_{t u} \hat{\theta}_{t-1, u k}\right) \\
& \times \frac{N_{t k w_{t u n} \backslash t u n}+\beta_{t k} \hat{\phi}_{t-1, k w_{t u n}}}{N_{t k \backslash t u n}+\beta_{t k}} \\
& \times\left(\frac{N_{t u k \backslash t u n}+1}{N_{t u k \backslash t u n}}\right)^{\sum_{i} M_{t u k}^{i}} .
\end{aligned}
$

$\alpha_{t} \in \mathbb{R}^{U}, \beta_{t} \in \mathbb{R}^{K}$ はディリクレ分布のパラメータを表し，それ以外に条件付き独立となる項およびその変数については省略している.

## 3 評価実験

提案手法について実データを用いた検証を行う.検証では子供の月齢を登録している質問数が 5 回， 10 回，20 回のユーザをそれぞれ 250 人ずつ無作為に抽出し，計 750 人のユーザを用いる．各ユーザが投稿した質問単語を 9:1 の比率で訓練単語とテスト単語に分割し，トピック数 $K$ を 5 から 20 まで 5 刻みに増やした時の各々について, 月齢予測に必要なパラメータとトピック分布 $\boldsymbol{\Theta}_{t}$, 単語分布 $\boldsymbol{\Phi}_{t}$ を学習する。また，[5]では, Perplexity [1] を用いた最適なトピック数 $K=25$ を求めて，実験を行なっている.

## 3.1 月齢の予測精度の有効性

最初の質問時 $(t=1)$ における, 各ユーザの子供の月齢をSCTTM による逐次的な線形回帰で予測し， その精度を検証する. モデルはユーザを訓練用とテスト用に 8:2 で分けて，各トピック数毎に MSEを用いて 5 分割交差検証で評価し, 表 1 の結果を得
表 1 子供の月齢の予測結果：訓練，テストはそれぞれのデータでの MSE 值を表す.

表 2 平均 Top- $N$-accuracy(\%) による質問単語の予測結果

た. 本研究では月齢予測が有効であることを示すために，実験において月齢を考慮しない通常の LDA， RandomForest [7], LightGBM [8] の三つのモデルと比較している。この結果から，訓練ユーザに関しては，LightGBM や RandamForest の MSE の精度が向上しているが，これは過学習を起こしているためであると考えられる。一方で，テストユーザに関しては SCTTM が他の手法に比べて MSE の精度が向上していることが確認できる.

## 3.2 質問単語の時系列推定の有効性

各時刻で質問される単語の推定精度を複数のモデルと比較しながら評価する．比較するモデルは， LDA，TTM，TTM に月齢以外の補助情報を加えた CTTM，提案手法の SCTTM の四つである. 評価指標には次式で定義される Top- $N$-accuracy を採用
する。

$
P\left(w_{t u}=v \mid \hat{\boldsymbol{\Theta}}_{t-1}, \hat{\mathbf{\Phi}}_{t-1}\right)=\sum_{k=1}^{K} \hat{\theta}_{t-1, u k} \hat{\phi}_{t-1, k v}
$

式 (3) は，現時刻 $t$ で観測された単語 $v$ をテスト単語とし，その生成確率を一つ前の時刻 $t-1$ の単語集合から推定されたトピック分布 $\hat{\boldsymbol{\Theta}}_{t-1}$ と単語分布 $\hat{\boldsymbol{\Phi}}_{t-1}$ で予測する. 出力として, 単語 $v$ の生成確率が上位 $N$ 件に含まれる割合を返す。この值が高いほど，精度良く単語を予測できていることを意味する. Top- $N$-accuracy を使い，質問回数が 5 回， 10 回， 20 回のユーザそれぞれについて $N=1,2,3$ 件での平均を，トピック数を変えながら評価した結果を表 2 に示す. この結果から，時間依存性と補助情報，連続変数の月齢を考慮した SCTTM が他のモデルに比べて高い精度を示していることが確認できる。

## 4 おわりに

ユーザ毎に時間発展して観測される文書と，それらに対応する補助情報が観測される QA サイトにおけるソーシャルメディアマーケティングにおいて， ユーザの潜在嗜好を推定することは，広告推薦や新たなユーザコネクションの推薦において重要な技術課題である。本研究では，この技術課題を解決する新しいトピックモデルである SCTTM を提案した.実験では令和 3 年度データ解析コンペティションにおいてコネヒト株式会社のママリのデータを使い，月齢や補助情報を考慮しつつ，ユーザ毎に時間発展する嗜好変化を正しく推定できることを示した. また，抽出するトピック数を変化させた場合，少ないトピック数に対して時系列推定の精度は良いが，月齢予測の精度が悪いことを確認し，トレードオフの関係にあることを確認した。両者のバランスがよいトピック数として，20が妥当であることを確認し， [5] での結果と比較すると Perplexy によってトピック数を決定することが最適とは限らないことが分かった。

本研究で提案した SCTTM は時間発展を考慮できる他のソーシャルメディアの文書データに対しても適用可能であり，汎用性の高いモデルであると言える。

## 謝辞

新生児・乳幼児の母親をメインユーザとするポー タルアプリのデータを提供いただいた，コネヒト株式会社様およびデータ解析コンペティション運営の方々に感謝申し上げます. また，DB サーバの提供やコンペティション参加の支援をしていただいた電気通信大学情報工学工房および，学術技師の島崎様に感謝申し上げます。

## 参考文献

[1] D. M. Blei, A. Y. Ng and M. I. Jordan, "Latent dirichlet allocation," Journal of Machine Learning Research, 3, pp. 993-1022, 2003.

[2] J. Mcauliffe and D. Blei, "Supervised topic models," In Proceedings of Advances in Neural Information Processing Systems, 20, pp. 121-128, 2007.

[3] D. M. Blei and M. I. Jordan, "Modeling annotated data," In Proceedings of the 26th Annual International ACM SIGIR Conference on Research and Development in Informaion Retrieval, pp. 127-134, 2003.

[4] T. Iwata, S. Watanabe, T. Yamada, and N. Ueda, "Topic tracking model for analyzing consumer purchase behavior," In Proceedings of the 21 st International Joint Conference on Artificial Intelligence, 9, pp. 1427-1432, 2009.

[5] 住谷祐太, 富川雄斗, 伊藤尚紀, 高橋里司, “SCTTM によるユーザ属性を考慮した潜在嗜好変化の時系列推定”，オペレーションズ・リサーチ，68(2), 2023.

[6] T. L. Griffiths and M. Steyvers, "Finding scientific topics," In Proceedings of the National Academy of Sciences, 101, pp. 5228-5235.

[7] L. Breiman, "Random forests," Machine Learning, 45, pp. 5-32, 2001.

[8] G. Ke, Q. Meng, T. Finley, T. Wang, W. Chen, W. Ma, Q. Ye and T. Y. Liu, "Lightgbm: A highly efficient gradient boosting decision tree," In Proceedings of Advances in Neural Information Processing Systems, 30, pp. 31463154, 2017.


# 複数の手がかりを利用した小説発話の話者推定

石川和樹 1 佐藤理史 ${ }^{1}$ 宮田玲 ${ }^{1}$ 小川浩平 ${ }^{1}$
1 名古屋大学大学院工学研究科
ishikawa.kazuki.h8@s.mail.nagoya-u.ac.jp

## 概要

人間は，小説中のセリフの話者が誰なのかを苦もなく理解することができる。これは話者を推測するための様々な手がかりが，テキスト中に存在するためである. 本論文では, 複数の手がかりを利用した話者推定システムを提案する．本システムは 2 つのモジュールから構成されており, 前者の話者候補リスト作成では，セリフの周囲に出現する人物名を抽出して話者候補リストを作成したのち, 直前直後の文における話者の明記，話者交替，一人称の 3 つの手がかりを利用して話者候補を絞り込む。後者の口調に基づく話者推定では，セリフの口調を手がかりに話者を推定する。

## 1 はじめに

小説は，脚本とは異なり各セリフの話者が明記されない。しかし，我々読者は，話者が誰なのかを苦もなく理解することができる.

これは，テキスト中に話者を推測するための多くの手がかりが存在するためである。 それらのうち，主要なものに次の 3 種類がある。

1. セリフの直前直後の文で，話者が明示される場合がある.

2. 連続するセリフでは，話者が交替する。

3. セリフの内容や使われている口調から，話者を推測できる。

英語の小説の場合は，1と2の手がかりのみでほとんどのセリフの話者を推定することができる.これは, “replied Kitty”のように話者が明記される場合や，“said her father” のようにセリフの直後に代名詞で話者が記される場合が多いためである。 He ら [1] は，英語小説の “Pride and Prejudice”を対象に調査を行った結果，前者の割合は約 $25 \%$ ，後者の割合は約 15\%であったと報告している.

一方日本語の小説では，セリフの話者が直前直後
の地の文で明記される割合は全体の数\%程度しかなく, 1 と 2 の手がかりのみで話者を推定できるセリフは限定される.

我々は昨年，39手がかり，すなわち口調に基づく話者推定の方法を提案した [2]. この方法ではセリフを口調ベクトルに変換する変換器を実現し，少数の訓練例 (話者が既知のセリフ集合) から算出した各話者の代表口調ベクトルとの類似度に基づき，セリフの話者を決定する。

今回，この方法を小説テキストに適用可能にするために，各セリフに対して話者候補リストを生成するモジュールをその前段として追加した.このモジュールは，セリフの周囲に出現する人物名を抽出して候補リストを作成したのち，直前直後の文における話者の提示 (手がかり 1), 話者交替 (手がかり 2)，一人称表現の 3 つの手がかりを用いて候補を絞り込む.

本論文で提案するような話者の自動推定システムは，セリフに話者を付与したデータベースの作成支援に応用できる. これは，小説のセリフを題材とした研究 (セリフの話者推定や、話者の性別推定 [3]、性格推定 [4] など) や，キャラクタ性を付与したセリフ生成 [5] の実現のための基礎データとなる. さらに，音声合成と組み合わせることにより，話者ごとに音声を変えたオーディオブックの自動作成も可能となる。

## 2 関連研究

英語の小説を対象とした研究では，地の文に提示されている人名 (手がかり1) や，話者交替のルール (手がかり2）といった表層に現れている手がかりを使って話者推定を行っている．英語の小説はこれらの手がかりのみで十分な推定が可能であり，例えば，He らは地の文の情報を特徴量としたSVMを用いて話者推定を行い，86.5\%の精度を達成した [1].英語小説を対象とした研究には他にも, Muzny ら [6] のルールベースの手法や，遠田ら [7] の教師なし
小説テキスト主要人物リスト

## (1) 話者候補リスト作成

1. 周辺文脈からの候補抽出

2. 直前直後の文に基づく話者推定

3. 話者交替に基づく候補限定

4. 一人称に基づく候補限定

各セリフの話者候補リスト -

## (2) 口調に基づく話者推定

各セリフの推定話者

図 1 システム構成

機械学習を用いた手法が存在する。どちらも，1 節で示した手がかり 1 と 2 を主要な手がかりとして扱ったものであり，手がかり 3 はほとんど使われていない.

## 3 話者推定システム

## 3.1 問題設定

本システムの入出力は以下の通りである.

・入力 : 小説テキストと主要人物リスト
- 出力 : 各セリフの推定話者

さらに，以下の制約を設けている。
- 推定対象作品：日本語のエンタメ小説およびライトノベル

-推定対象のセリフ：主要人物のセリフのみ
- 推定先の候補：主要人物のみ

なお，主要人物とは，発話数の多い人物 5 名程度を指す。主要人物リストをシステムの入力として与える設定のため，解くべきタスクは分類問題 (各セリフに対して主要人物リストから 1 人選択する問題)となる。

## 3.2 システム構成

図 1 亿提案システムの構成を示す. 本システムは，「話者候補リスト作成 (3.3 節)」と「口調に基づく話者推定 (3.4 節)」の2つのモジュールから構成されている.

## 3.3 話者候補リスト作成

話者候補リスト作成は，以下の 4 ステップで構成されている。

1. 周辺文脈からの候補抽出

2. 直前直後の文に基づく話者推定

3. 話者交替に基づく候補限定

4. 一人称に基づく候補限定

## 3.3.1 ステップ 1: 周辺文脈からの候補抽出

まず，各セリフに対して，そのセリフの周辺に出てくる人名を抽出することによって話者候補リストを作成する。具体的な手順を以下に示す。

1. 対象のセリフの $N_{b}$ 文前から $N_{a}$ 文後を候補抽出範囲とする．ただし候補抽出範囲にセリフが含まれる場合，そのセリフを候補抽出範囲には含めるが，N のカウントには含めない。

2. 候補抽出範囲に名前が出てくる主要人物を話者候補とする。ただし，一人称小説の場合は，主人公は必ず話者候補に含める.

なお，システムに与える主要人物のリストでは， それぞれの人物に対して姓と名を与えるため，姓または名だけでも，人物を同定できる。

## 3.3.2 ステップ 2: 直前直後の文に基づく話者推定

次に，セリフの直前直後の地の文が，話者名と発話動詞を含む特定パターンにマッチしている場合， そのセリフの話者を一意に定める．その詳細を付録 A に示す.

例えば，以下の例の場合，U1 の話者を $\mathrm{A}$ に決定する。

$
\begin{aligned}
& N 1 \text { : A は、 } \\
& U 1 \text { : 「こんにちは」 } \\
& N 2 \text { ：と言った。 }
\end{aligned}
$

## 3.3.3 ステップ 3: 話者交替に基づく候補限定

地の文を挟まずに連続するセりフでは，話者が交替するというルールを利用して話者候補を限定する。具体的には，以下の手続きを適用する。

あるセリフの話者が $S$ で，かつ，その直前また

は直後がセリフだった場合に，それらのセリフの話者候補から $S$ を除外する。

なお，この手続きにより新たに話者候補が 1 人とな

 &  \\

るセリフが得られた場合は，そのセリフに対してもこの手続きを適用する。

例えば，以下の例の場合，直前直後の文に基づく話者推定 (3.3.2 節) によって U1 の話者候補が $\mathrm{A}$ のみになるため，U2 の話者候補から A を除外する。

$
\begin{aligned}
& N 1 \text { ：A はお礼を言った。 }
\end{aligned}
$

$
\begin{aligned}
& U 2 \text { :「どういたしまして」 }
\end{aligned}
$

## 3.3.4 ステップ 4: 一人称に基づく候補限定

最後に，各話者が使う一人称を収集し，その情報を用いて話者候補を限定する．以下に手順を示す。

1. 話者が一意に定まったセリフを用いて，それぞれの話者が使う一人称を決定する。複数の一人称を使用していた場合は，最も使用頻度が高い一人称を，その人物の一人称とする。

2. セリフ中に一人称 $X$ が含まれる場合，そのセリフの話者候補から， $X$ 以外の一人称を使う人物を除外する。

表 1 に，一人称として認定する語の一覧を示す.

例えば，以下の例の場合，U1の話者候補から A を除外する。

$
\begin{aligned}
& \text { 各人物の一人称：\{A：俺, } \mathrm{B}: \text { 私, } \mathrm{C}: \text { 私 }\} \\
& U 1 ： 「 \text { 私はこれがいいです」 }
\end{aligned}
$

## 3.4 口調に基づく話者推定

各セリフに対して話者候補リストを作成した後，話者候補が複数であるセリフに対して口調に基づく話者推定を適用する。この時点で，すでに話者が一意に決定されているセリフは，その結果をそのまま出力すると同時に，以下の手続きの代表ベクトルの算出に用いる。セリフを口調べクトルに変換する方法には，すでに提案した方法 [2] を用いるが，口調ベクトルの次元数は 64 を用いる.

1. 代表口調ベクトルの算出

それぞれの主要人物に対し，その人物の既知のセリフを口調ベクトルに変換し，その平均を代表口調ベクトル (話者の口調を表すべクトル)とする。表 2 口調に基づく話者推定の結果

2. 話者推定

各推定対象のセリフ (話者候補が複数のセリフ) に対して，そのセリフの口調ベクトルと各主要人物の代表口調ベクトルとの類似度を計算し， その値が最も高い話者を推定話者とする。

## 4 実験

## 4.1 実験条件

以下の条件で実験を行った。
- 対象作品 : 米澤穂信『氷菓』及び『愚者のエンドロール』(一人称小説)
- 主要人物 : 5 人

・全セリフのうち，主要人物のセリフが占める割合 : $69.9 \%$
- 周辺文脈からの候補抽出での候補収集範囲 : セリフの前 10 文後ろ 3 文 $\left(N_{b}=10, N_{a}=3\right)$

なお，対象作品の『氷菓』と『愚者のエンドロール』 は同一シリーズの作品であり, 主要人物も共通している. そのため，これら 2 作品を繋げ， 1 つの作品とみなし実験を行った。

## 4.2 口調に基づく話者推定の結果

表 2 に, 口調に基づく話者推定の, 主要人物 5 人の結果 (recall, precision, F1) と, 全体の結果 (macro-F1, micro-F1)を示す.

先の研究 [2] 一各主要人物のセリフの $10 \%$ を代表口調ベクトルの算出に用い，残り $90 \%$ を推定対象セリフとした場合—の macro-F1 は 61.4, micro-F1 は 68.3 であったが，今回は，それぞれ 72.9 と 75.4 に向上した. さらに，先の研究では各話者の F1 の值はばらついた $(28.2 \% \sim 77.6 \%)$ が，今回は $64.2 \% \sim$ $85.1 \%$ どらつきも抑えられた。この結果より，口調以外の手がかりを用いて一部のセリフの話者を確定し，それらのセリフを用いて代表口調べクトルを算出する方法で，口調に基づく話者推定が実行でき
表 3 話者候補リスト作成の各ステップの話者候補数と話者推定結果

 &  &  &  \\

ることが示された。

## 4.3 話者候補リスト作成の詳細

次に，話者候補リスト作成の各ステップで，セリフの話者候補リストがどのように推移しているかを調べた。この結果を表 3 に示す。

ステップ 1 (候補抽出) では, 平均 3.14 人の候補が得られ，その中に正解が含まれる割合は $98.8 \%$ であった．ただし，話者が一意に決定できるセリフの数は 19 と少ない.

ステップ 2 (直前直後の文の利用)では，新たに 94 セリフの話者が一意に決定され，この段階で 113 セリフ(全 1468 セリフ中の 7.7\%)の話者が一意に決定された。その精度は 102/113=90.3\%である。この時点の結果を (つまり, ステップ 3,4 を省略して) 後段の話者推定に入力した場合，口調による話者推定の精度は $76.5 \%$ ，システム全体の精度は $77.6 \%$ となる。 なお, 口調に基づく話者推定では，話者候補が複数存在するセリフのみを対象とするため，対象セリフの平均候補者数は，話者候補リスト作成時の平均候補者数とは一致しない。

ステップ 3 (話者交替の利用) を追加すると，話者が一意に決定されるセリフが 12 増加した。このステップで候補が削減できるのは，セリフが連続し， かつ，それらのいずれかのセリフの話者が確定している場合のみである. 加えて，1つのセリフから削減できる候補数も 1 候補である。このため，このステップの効果は限定的である.

ステップ 4 (一人称の利用)を追加すると, 話者が一意に決定されるセリフが 148 増加し, 一意に決定されるセリフの精度も $94.9 \%$ に向上した. このステップで候補が削減できるのは，一人称が含まれるセリフで，かつ，そのセリフから複数の話者候補を除外することができる．たとえば，実験対象の作品の主要人物が用いる一人称は，A は「俺 $\mathrm{B}, \mathrm{B}$ とは「わたし」，Cは「僕」，Eは「私」であり，もしあるセリフに「俺」が含まれる場合は，そのセリフの話者を $\mathrm{A}$ と確定できる。エンタメ小説では，主要人物が使う一人称は異なる場合が多いと考えられ，このステップはエンタメ小説一般に対して高い候補削減効果を持つと考えられる。

## 5 今後の課題

現状のシステムの課題として，以下の 2 点が挙げられる。

1. 主要人物のみのセリフを推定対象としており, それ以外の話者のセリフを対象外としている。

2. 周辺文脈からの候補抽出での候補収集範囲は,作品によって適切な範囲が異なるが，固定した値を用いている。

1 つ目の課題に対する解決策として，口調に基づく話者推定の際に，推定話者だけでなく，各話者候補の確信度を同時に出力することを考えている。もしも全ての候補の確信度が低ければ，その中に正解の話者はいないと判断し，話者は主要人物以外の人物であると推定することが可能となる．実際にシステムを使用する際には，各セリフが主要人物のセリフかどうかは事前には分からないため，全てのセりフを推定対象とする必要がある。そのため，少なくとも話者が「主要人物以外の話者」であると判定する機能が不可欠である。

2 つ目の課題に対しては，小説の単語数に対する人名数の割合を元に，収集範囲を自動決定することを検討している。この割合が小さい場合は収集範囲を広く取り，割合が大きい場合は収集範囲を狭く取ることで，候補が集まらないといった問題や過剰に集めてしまうといった問題を解決できると考えている.

## 謝辞

本研究は JSPS 科研費 JP21H03497 の助成を受けたものです.

## 参考文献

[1] Hua He, Denilson Barbosa, and Grzegorz Kondrak. Identification of speakers in novels. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2013.

[2] 石川和樹, 宮田玲, 小川浩平, 佐藤理史. 口調ベクトルを用いた小説発話の話者推定. Technical report, 情報処理学会第 253 回自然言語処理研究会, 2022.

[3] 中川翔太, 孫昊, 金明哲. 小説会話文における発話者の性別推定. 日本行動計量学会大会抄録集, Vol. 47, pp. 362-365, 2019.

[4] 津崎誠也, 山本博史. キャラクタの性格推定. 2017 年度情報処理学会関西支部支部大会講演論文集, 2017.

[5] 米田智美, 佐藤理史, 夏目和子, 宮田玲, 小川浩平. 話者の性格を反映した発話文の生成. 言語処理学会第 28 回年次大会発表論文集, 2022.

[6] Grace Muzny, Michael Fang, Angel Chang, and Dan Jurafsky. A two-stage sieve approach for quote attribution. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, 2017.

[7] 遠田哲史, 吉永直樹. 文学作品における教師なし話者同定. 言語処理学会第 25 回年次大会発表論文集, 2019.

[8] 国立国語研究所. 分類語彙表増補改訂版データベー ス (ver.1.0), 2004

[9] Mecab: Yet another part-of-speech and morphological analyzer. https://taku910.github.io/mecab/.

[10] Yuji Matsumoto Taku Kudo. Japanese dependency analysis using cascaded chunking. In CoNLL 2002: Proceedings of the 6th Conference on Natural Language Learning 2002 (COLING 2002 Post-Conference Workshops), pp. 63-69, 2002.

## A 直前直後の文に基づく話者推定

直前直後の文に基づく話者推定では，各セリフに対して，以下に示す 4 つのパターンにマッチするかどうかを順に確認する。もし，いずれかのパターンにマッチしたならば，そのパターン中の A に対応する人物をそのセリフの話者だと推定する。

なお，発話動詞とは，「言った・答えた」などの発話を示唆する動詞である。発話動詞としては，国立国語研究所の「分類語彙表増補改訂版データベー ス」[8] から収集した 940 語を使用する。

## パターン 1

$N 1$ : (任意の地の文)

U1: (推定対象のセリフ)

## パターン 2

N1: $\cdots \mathrm{A} \cdots$

U1: (推定対象のセリフ)

## パターン 3

$N$ 1: (任意の地の文)

$N 2: \cdots \mathrm{A} \cdots$ (発話動詞 $V$ ) $\cdots$

U1: (推定対象のセリフ)

## パターン 4

U1: (推定対象のセリフ)

$N 1$ : (任意の地の文)

いずれのパターンにおいても以下の条件を満たす必要がある.

## 条件 1

A の係り先に発話動詞 $V$ が存在する.

## 条件 2

発話動詞 $V$ の後ろに否定を表す助動詞が付かない.

この条件の判定で必要となる形態素解析と係り受け解析には， MeCab (IPAdic) [9] と CaboCha[10] を用いる.


# 常識推論を支援するための辞書（あるいはオントロジー）の構築方法

山田隆弘 ${ }^{1}$
${ }^{1}$ CONOCIMISTA
tyamada99@yahoo.co.jp

## 概要

自然言語処理技術を用いて推論を行う際，文章の中で使われている語や句の意味を判定するために電子的に処理可能な辞書（あるいはオントロジー）が使用される.ところが，これらの辞書やオントロジ一には，推論を行うために必要となる情報が十分に含まれていない場合がある. 本稿では, 推論（特に矛盾の検出）を支援するための辞書（あるいはオントロジー）を構築するための方法を提案する。推論において使用される知識には常識と世界知識とがあるが，本稿では，常識を使用した矛盾の検出を考察の対象とする。

## 1 はじめに

自然言語処理技術の用途の一つは, 自然言語で書かれた文章について推論を行うことである. 推論の際, 文章の中で使われている語や句の意味を判定するために，電子的に処理可能な辞書（あるいはオントロジー）が使用される. 代表的な辞書としては, FrameNet [1]や WordNet [2]が知られている。ところが，これらの辞書やオントロジーは，必ずしも特定の推論を支援するために作られたわけではないので，推論を行うために必要となる情報が十分に含まれていない場合がある（具体例については, 2.1 節で述べる).

そもそも，辞書にしてもオントロジーにしても，具体的な使用目的を定め, その目的を達成できるように「設計」すべきものである. そこで, 本稿では，推論を支援するための辞書 (あるいはオントロジー) を設計するための方法の一つを具体的に提案する.

自然言語処理技術を利用した推論としては，いくつかの種類が考えられるが, 本稿では, 一つの文書内（あるいは複数の文書間）の矛盾の検出を取り上げる。 その理由は, 文書内（あるいは文書間）の矛盾の検出は, 実用的に重要な課題であるからである.文書内（あるいは文書間）の矛盾を放置したままに
すると重要な損害がもたらされる場合は多い，例えば，一つの人工衛星に関する技術文書間の矛盾[3], あるいは，企業が発行する文書と関連する法律の間の矛盾などがあげられる.

また，推論において使用される知識には，大きく分けて，常識と世界知識とがある。この両者を厳密に区別することは困難であるが，本稿では，概念レベルの知識を常識と考え, 個々の事物レベルの知識を世界知識と考えることにする.すなわち, 常識は，記述論理[4]の T-Box に相当し，オブジェクト指向モデリング[5]のクラスモデルに相当する．また，世界知識は, 記述論理の A-Box に相当し, オブジェクト指向モデリングのインスタンスモデルに相当する.本稿では，常識を使用した矛盾の検出を考察の対象とする.

以上をまとめると, 本稿では, 文章中の矛盾の検出を行うための常識（概念レベルの知識）を記述するための辞書（あるいはオントロジー）の設計方法の提案を行う．辞書とオントロジーの区別は判然としないが，以降では，原則として，辞書とオントロジーの両者をまとめて「辞書」と呼ぶことにする.

なお, 本稿の内容は, 筆者の過去の研究[6]をさらに発展させたものである.

## 2 関連研究

## 2. 1 矛盾の検出

自然言語処理技術を使用して文書の矛盾を検出する研究としては[7-10]等がある.これらの研究の大部分において，語の意味に起因する矛盾を検出するために WordNet [2]等における反義語の規定が使用されている. 例えば，「大きい」と「小さい」は反義語であるから，「X は大きい」と「Xは小さい」は矛盾しているとして判断される.

しかし，矛盾とは「同時には成立しない」ことであるから，必ずしも意味が反対でなくても矛盾していることはあり得る. 例えば，「太郎は歩いている」

と「太郎は走っている」は矛盾している。なぜならば，「歩く」と「走る」を同時に行うことは困難であるからである．また，「太郎は昨日大阪から東京に戻った」と「太郎は今日は大阪に滞在している」 は矛盾している，矛盾していないとすれば，「太郎は大阪から東京に戻った後で再び大阪に行った」という情報が不足していることになる。

文書中の矛盾を検出するために必要な情報を十分に含んでいる辞書は(筆者の知る限り) 存在しない.文書中の矛盾を検出するためには，そのために必要な知識を蓄積した辞書を構築する必要がある。

## 2.2 辞書（あるいはオントロジー）の設計

特定の目的のためにオントロジーを設計した例として, Event and Situation Ontology (ESO) [11]を取り上げる。このオントロジーは，様々なニュース記事より事象を抽出し, 抽出された事象を互いに関連づけるための道具として開発された。

この目的のために，このオントロジーでは，動的事象 (dynamic state) と静的事象 (static event) を定義する。ただし，この両者は一般的には事象(event) と状態 (state) と言われている概念にそれぞれ相当するので，以下では事象と状態という用語を使用することにする.

このオントロジーでは，変化を伴う事象は，その変化の内容を事前条件と事後条件によって規定する.事前条件と事後条件は，このオントロジーで定義されている状態に対応づけて規定する. 例えば，「Xは A から B に移動する」という事象の事前条件は「X は A に存在している」であり，事後条件は「Xは B に存在している」である。ここで，「XはYに存在している」は，このオントロジーにおいて状態として定義されている。このように事象と状態を関連づけることにより，このオントロジーで定義されている概念の範囲内であれば，複数の事象や状態の間の関係を統一的な形で表現できる。

このオントロジーは矛盾検出用ではないので当然であるが，このオントロジーを矛盾検出に利用するには，いくつかの情報が不足している。例えば，複数の事象や状態が同時に成立するかどうかを判定するための情報が欠けている。

本稿の第 3 節以下では, 矛盾検出のための辞書が満たすべき条件（あるいは設計原理）を明らかにしながら，そのような辞書を構築する方法を提示する.

## 3 ドメインモデルの構築

## 3.1 ドメインモデルの概念

本稿で構築する辞書でも ESO [11]と同様に状態 （state）と事象 (event) を定義するが (第 4 節参照)，本稿の方法では, 状態と事象で参照される基本概念をドメインモデル[6]として定義する. ドメインモデルとは，特定の分野で使用される基本概念を一つのモデルとして定義したものである．ESO では，事象の事前条件と事後条件を状態に準拠させることで全体の整合性を確保しているが，本稿では，事象と状態の双方をドメインモデルに準拠させることによって,さらに高いレベルの整合性の確保を狙っている.

## 3.2 ドメインモデルの定義

本稿ではオブジェクト指向モデリング[5]の手法を用いてドメインモデルを構築する．ドメインモデルの主要な構成要素を以下に示す.これらの要素は， Unified Modeling Language (UML) [12]のクラス図を用いても定義できる. オブジェクト指向モデリングの詳細は[5]や[12]を参照して頂きたい。以下で，オブジェクトとは，個々の物を属性値の集合として表現した仮想的な物である.

・クラス（共通の特徵を有するオブジェクトの集合)

・属性（オブジェクトの特徵を表すパラメータ）
- 属性値(属性の取る値)
- 属性値型（属性の取り得る値の集合）
- 関係（複数のオブジェクト間に成立する関係）
- 属性の多重度（一つの属性がいくつの属性値を持てるか)
- 関係の多重度（一つのオブジェクトが他のいくつのオブジェクトと同一の関係を持てるか)

属性値型には, 整数, 実数, 文字列, 列挙型などがある. 列挙型とは，いくつかの離散的な値（文字列で表される）の集合として規定され，それらのうち一つあるいは複数のものを値としてとることを示すものである.

このドメインモデルを矛盾の検出のために使用するためには, 属性值型が列挙型の場合, 列挙されている個々の值が互いに排他的である必要がある．列挙型の属性が二つ以上の異なる属性値を同時に持つことがある場合は，その属性の多重度を 2 以上にする必要がある. また, 属性と関係の多重度の指定は

従業員 1 ...*

雇用主 $0 . .1$

図 1 ドメインモデルの実例

必須である. これらは, 矛盾検出のための辞書が満たすべき条件である.

## 3.3 ドメインモデルの実例

簡単なドメインモデルの例をUML のクラス図を用いて図 1 に示す.この図では, 以下の要素が定義されている.

・クラス：人間，組織
- 属性 : 氏名, 居住地, 所在地, 組織名, 組織種別
- 属性値型 : 文字列, 場所, 組織種別名
- 関係 : 従業員一雇用主

図 1 で示されている属性値型のうち組織種別名は列挙型であり,その定義は以下のようになっている.

組織種別名 $=\{$ 会社，役所，任意団体 $\}$ ここでは, 会社, 役所, 任意団体の三者は互いに排他的であるとする.

さらに, この図では, 多重度も示されている. 属性の多重度は, 属性値型の後の[ ]内に示されているが，全ての属性について 1 である。 すなわち, 全ての属性は一つの属性值を常に持っていなければならない. 関係の多重度は, 以下のように示されている。

(このドメインでは) 一人の人間は，0または一つの組織を雇用主として持ち得る。すなわち, 一人の人間は, 雇用主を持たないか, あるいは, 一つの雇用主を持つかのどちらかである。一方, 一つの組織は，一つ以上（上限は設定されていない）の人間を従業員として持ち得る。

## 4 状態と事象の定義

ここでは, 第 3 節で定義したドメインモデルに基づいて状態(state)と事象(event)を定義する方法を示
す.ここで登場するオブジェクトは，ドメインモデルで定義されている何らかのクラスに属しており，属性あるいは関係は，そのクラスで定義されている属性あるいは関係である.

## 4. 1 状態の定義

本稿の方法では, 各々の状態は以下の要素によって定義される。

〈属性に関する状態〉

・オブジェクト
- 属性=属性值

・ [時刻あるいは時間間隔]
- [その他]

〈関係に関する状態〉

・オブジェクト

・関係 [=関係先のオブジェクト $]$
- [時刻あるいは時間間隔]
- [その他 $]$

上記で, [ ] 内の要素はオプションであり, 必要がなければ示さなくてよい.

例えば，「太郎は大阪に滞在している」という文は属性に関する状態を表していて，以下の要素によって表される.これは, FrameNet の Being_located フレームに概ね相当する.
- 太郎(人間クラス)
- 所在地 $=$ 大阪
- 時刻：現在

また，「太郎は凸凹商会に勤めている」という文は関係に関する状態を表していて，以下の要素によって表される.これは, FrameNet $の$ Being_employed フレームに概ね相当する。
- 太郎 (人間クラス)
- 雇用主＝凸凹商会
- 時刻：現在

## 4. 2 事象の定義

本稿の方法では, 各々の事象は以下の要素によって定義される。

〈変化を伴う事象〉
- [変化を促すオブジェクト]

・変化するオブジェクト
- 事前条件
- 事後条件

・ [時刻あるいは時間間隔]
- [手段]
- [その他]

〈変化を伴わない事象〉
- [事象を促すオブジェクト]

・事象の主題となるオブジェクト
- 事象の内容

$\cdot$ [時刻あるいは時間間隔
- [手段］
- [その他 $]$

上記で，変化（あるいは事象）を促すオブジェクトとは, 使役を表すためのものであり, 変化する (あるいは事象の主題となる）オブジェクト以外のオブジェクトが事象を引き起こす場合に，事象を引き起こすオブジェクトを示すものである.

事前条件と事後条件は, ESO [11]でも使用されている概念であり，事象の前後で変化する属性や関係を表現するものである．変化を伴わない事象の内容については，同時には成立しない事象の集合（例えば，「歩く」と「走る」等）を規定するものとする.手段等の他の項目についても，同時に使われることのない（すなわち排他的な）值の集合を定めるものとする.これらは, 矛盾検出のための辞書が満たすべき条件である.

例えば，「太郎は昨日大阪から東京に移動した」 という文は変化を伴う事象を表していて，以下の要素によって表される。これは, FrameNet の Self_motion フレームに概ね相当する.

・変化するオブジェクト：太郎（人間クラス）
- 事前条件 : 所在地 $=$ 大阪
- 事後条件 : 所在地 $=$ 東京
- 時刻：昨日

## 5 矛盾検出の例

ここでは，本稿の方法によって検出できる矛盾の例を示す.

・「太郎は役所に勤めている」対「太郎は会社に勤めている」

この矛盾は，（このドメインにおいては）人間クラスのオブジェクトが雇用主を一つしか持てないことと組織クラスの組織種別名が排他的であることにより検出できる.

-「太郎は大阪に行った」対「太郎は東京にいる」

この矛盾は，（太郎が大阪から東京に戻ったという情報がないかぎり）人間クラスの所在地の多重度が 1 であることにより検出できる。ただし, 厳密に言えば，この矛盾検出のためには，東京と大阪は排他的な場所であるという世界知識が必要になる。

## 6 考察

## 6. 1 他の辞書やオントロジーとの関係

本稿では，新しい辞書の構築方法を提示したが，既存の様々な辞書との関係も考慮する必要がある.一つの辞書であらゆる分野や用途をカバーできれば理想的であるが，それは現実的ではないので，以下のような方法が望ましい.

ドメインモデルで使われるクラス，属性，関係などの概念は，SUMO [13]等の上位オントロジーで定義されているものを使用するか，これらの上位オントロジーとの対応関係を示すべきである. 状態と事象については, FrameNet [1]のフレームに概ね対応するが，厳密な一対一の対応ではないので，両者間の対応関係を詳しく示すべきである.

## 6. 2 将来の課題

[7]や[9]で指摘されているように，A と B が矛盾しているかどうかを検出するためには，A と B が共に同一の事物について言及しているかどうかの確認が必要である.これは必ずしも容易な問題ではなく,辞書だけで解決できる問題でもないが，何らかの解決策が必要である。また，本稿では常識のみを利用したが，これに世界知識を組み込むための取り組みも必要である。本稿では，推論の一例として矛盾検出を取り上げたが，他の推論のタイプに適用できる手法も開発すべきである. さらに，ここで提示した辞書を機械で処理できる形式で表現する方法も必要であるが，このためには筆者の別の研究[14]等を利用する予定である.

## 7 おわりに

本稿では，矛盾の検出を支援するための辞書（あるいはオントロジー）の構築方法の一例を示した.本方式の特徴は，まずドメインモデルを構築し，それ以外の概念は全てドメインモデルに準拠して定義することである．ただし，本稿で示したのは大まかな構想のみであり，詳細は今後詰める必要がある. また，第 6 節で示したように今後解決すべき課題も多い. 本稿で強調したいことは，辞書やオントロジ一は使用目的に合致するように「設計」すべきであることである．実社会で役に立つような研究が今後ますます盛んになることを願っている。

## 参考文献

[1] Josef Ruppenhofer, Michael Ellsworth, Miriam R. L. Petruck, Christopher R. Johnson, Collin F. Baker and Jan Scheffczyk, FrameNet II: Extended Theory and Practice, 2016.

[2] Christiane Fellbaum, WordNet: an electronic lexical database, MIT Press, 1998.

[3] 山田隆弘, “バックキャスティングによる技術開発のすすめ”, ISAS ニュース, JAXA 宇宙科学研究所, No. 488 (2021 年 11 月), p. 8, 2021.

[4] Franz Baader, Diego Calvanese, Deborah L. McGuinness, Daniel Nardi and Peter F. PatelSchneider, The Description Logic Handbook: Theory, Implementation and Applications, Second Edition, Cambridge University Press, 2010.

[5] Michael Blaha and James Rumbaugh, ObjectOriented Modeling and Design with UML, Second Edition, Prentice Hall, 2005.

[6] 山田隆弘, “公理としてのドメインモデルに基づく意味の規定について," 第 31 回人工知能学会全国大会, 2017.

[7] Sanda Harabagiu, Andrew Hickl and Finley Lacatusu, "Negation, Contrast and Contradiction in Text Processing," Proceedings of the Twenty-First National Conference on Artificial Intelligence (AAAI-06), pp. 755-762, 2006.
[8] Marie-Catherine de Marneffe, Anna N. Rafferty and Christopher D. Manning, "Finding Contradictions in Text," Proceedings of ACL-08: HLT, 2008.

[9] Aikaterini-Lida Kalouli, Livy Real and Valeria de Paiva, "Correcting Contradictions," Proceedings of the Computing Natural Language Inference Workshop, 2017.

[10] 外園康智, 長谷川貴博, 渡邊知樹, 馬目華奈, 策有紀子, 谷中瞳, 田中リベカ, Pascual MartínezGómez, 峯島宏次, 戸次大介, “意味解析システム ccg2lambda による金融ドキュメント処理,”第 32 回人工知能学会全国大会, 2018 .

[11] Roxane Segers, Piek Vossen, Marco Rospocher, Luciano Serafini, Egoitz Laparra and German Rigau, "ESO: a Frame based Ontology for Events and Implied Situations," Proceedings of MAPLEX 2015, 2015.

[12] Grady Booch, James Rumbaugh and Ivar Jacobson, "The Unified Modeling Language User Guide," Second Edition, Addison-Wesley, 2005.

[13] Ian Niles and Adam Pease, "Towards a Standard Upper Ontology," Proceedings of the 2nd International Conference on Formal Ontology in Information Systems, 2001.

[14] 山田隆弘, “Entity-Relationship モデルに基づいた知識グラフの構築方法," 第 34 回人工知能学会全国大会, 2020 .


# 対訳文を用いた同義語・類義語・対義語の抽出

桝原弘哉 ${ }^{1}$ 村上仁一 ${ }^{2}$
1 鳥取大学大学院 持続性社会創生科学研究科 工学専攻
2 鳥取大学工学部
${ }^{1}$ m22j4052m@edu. tottori-u.ac.jp
${ }^{2}$ murakami@tottori-u.ac.jp

## 概要

従来，同義語・類義語・対義語は，意味に基づいて人の手によって分類される [1]. そのため, 収集におけるコストが高い. また，自動的なシノニム抽出の研究 [2][3] は数多く存在する. しかし, 同義語・類義語・対義語が区別されず，総括してシノニムと扱われる。 そこで本研究では，コーパス内の同義語・類義語・対義語を区別した形で自動抽出することを目的とする．通常，シノニムは意味に基づいて収集されるが，コーパスに「意味」という情報は存在しない。そこで，「翻訳の対応関係」を「意味」 と仮定し，対訳コーパスからシノニム抽出を行う.

実験の結果，同義語 $94.3 \%$ ，類義語 $78.2 \%$ ，対義語 $60.7 \%$ の精度が得られた. また，提案手法より対義語において辞書に未記載のシノニム抽出にも成功した.

## 1 はじめに

同義語・類義語・対義語は単語間の関係性を表現し文意理解において重要である. 対義語も一部類似した性質を持つことから便宜上，本論文において同義語・類義語・対義語を総合してシノニムと表現する. 従来，シノニムは意味に基づいた人手による判断で分類 [1] された. シノニム単語を収集したシノニム辞書が制作に長い月日を必要とすることから人手分類のコストの高さを示している.

一方で，シノニムを自動抽出する研究 [2][3] は数多くされており手法も様々である. しかし, 同義語・類義語・対義語にそれぞれ区別して抽出している研究はあまり見られない. 同義語・類義語と対義語は置き換えることで文意が正反対になるため，区別が特に重要であると考えられる．そのため，本論文では，共通の対訳コーパスからシノニムを区別した形で自動的に抽出をすることを試みる。

## 2 従来手法

## 2.1 人手による収集

人手収集におけるシノニムは意味を判断基準としており，各シノニムの意味は辞書 [1] によって次のように定義されている.

同義語：語形は異なるが意義はほぼ同じ言葉

類義語 : 意味の類似する単語

対義語：意味の上で互いに反対の関係にある語

## 2.2 自動抽出の研究

## 2.2.1 パターンを用いたシノニム抽出

Chklovski ら [2] は，類似する単語が特定の文法パターンで共起する性質に注目した．WordNet から関連性の高い動詞ぺアを収集し, 事前に定義されたパターンを使用することで動詞におけるシノニム抽出を行った。

## 2.2.2 分散表現を用いたシノニム抽出

Li ら [3] は, 類似する単語が単語分散表現の意味空間において近接する性質に注目した．Word2Vec[4] を使用することで単語間の類似性を計算し，スペクトルクラスタリングによって単語をクラスタリングすることでシノニム抽出を行った。

## 3 問題点・目的

自動的なシノニム抽出の研究は，人手によるコストが不要という利点がある。しかし，人手収集とは異なりシノニム内の明確な区別がないことが多い. その理由として, 本来なら意味基準で分類するシノニムを自動抽出においては意味以外の情報を利用しており，シノニム間の境界の曖昧性を解消できないためだと考えられる。曖昧性の一つとして, 対義語対はカテゴリーが一部共通する性質から類似性を持つことが挙げられる。例えば，“白”と“黒”は，色の明暗から対義語として扱われるが，色という同じカテゴリーであるため類似する単語とも解釈できる。
以上のことを踏まえて，本研究ではシノニムの自動抽出において同義語・類義語・対義語を区別した形で抽出することを目的とする。

## 4 提案手法

言葉は「意味」によって単語自体が持つ概念や性質といった知識を他人と共有することができる．知識の共有ができる観点から「翻訳の単語対応」は 「意味」と同等と考えることができる．例えば，“服” という単語は「身につけるもの。きもの.」といった意味であるが，日本語を知らない英語話者に対しては対訳単語である“clothes”を伝えることで，“服” という単語が持つ概念を共有することができる.この性質から，共通する翻訳を持つ単語同士は意味が同じと仮定することで，類似する単語の抽出に対訳単語を利用できると考えられる。

一方，類似単語の一部とみなせる対義語は，同一文において置き換えることで正反対の内容を表現できる．例えば，“右”と “左”の対義語対において「交差点を右に曲がる.」は “右”を“左”に置き換えることで正反対の文になる。つまり，文脈 (周囲の単語) によって類似性を求められる分布仮説において，対義語が最も類似すると考えられる。

## 4.1 再定義

本研究では，「翻訳における単語対応」を「意味」 とみなすため， 2 言語の翻訳対応を利用したシノニムの再定義を行う． 2 言語は日本語-英語である.

## 4.1.1 同義語

・単一カテゴリー内に存在する単語対
- 日本語単語の対が英語訳において完全に共通

例) “病気”と “病”

病気 $=$ disease $=$ 病，病気 $=$ illness $=$ 病

## 4.1.2 類義語

・単一カテゴリー内に存在する単語対

-日本語単語の対が英語訳において一部共通

例）“青”と “緑”

青 $=$ green $=$ 緑，青 $=$ blue $\neq$ 緑

## 4.1.3 対義語

・単一のカテゴリー内に存在する単語対
- 日本語単語の対が英語訳において共通しない

・共通する文脈で置き換え可能

例) “右” と “左”

右 $=$ right $\neq$ 左， 左 $=$ left $\neq$ 右

右に曲がる。，左に曲がる。

## 4.2 変換テーブル

4.1 節の 2 言語を利用した再定義を踏まえると, シノニムの関係に有る単語対それぞれには対訳単語が存在する。つまり，シノニム抽出には日本語単語 2 対，英語単語語 2 対の計 4 対が必要である. そこで，変換テーブル [5]を利用する。

図 1 変換テーブル

変換テーブル [5] は単語 4 組の関係性を定義するテーブルである．パターンが共通する 2 組の対訳文において，パターンの変数に対応する単語が抽出されることで生成される。各単語の相対性により「A

例では，「猫が catならば犬は $\operatorname{dog}$ 」である.

## 4.3 Word2Vec

Word2Vec[4] は文脈 (周囲の単語) を用いて単語を数值化することでベクトル表現を可能にするニュー ラルネットワークの手法である．対義語同士が類似する文脈で使用される性質から，Word2Vec[4] において対義語同士の類似度は最も高いと考えられる。

## 5 実験方法

## 5.1 実験手順

## 5.1.1 同義語

単語対が翻訳において完全に共通する組み合わせを抽出する。(表 3 参照)

1. 変換テーブル $\mathrm{ABCD}$ で英語 $\mathrm{B}, \mathrm{D}$ が同一単語,且つ日本語 $A, C$ が別単語の組み合わせを選択

2. 翻訳が複数存在することを考慮して，1. で得られた日本語単語 $\mathrm{A}$ につい変換テーブルを利用し，対応する英単語をすべて収集 $\Rightarrow$ 集合 $A^{\prime}$

3. 2. と同様の処理を 1. で得られた日本語単語 $\mathrm{C}$ についても行う $\Rightarrow$ 集合 $C^{\prime}$

4. 2. と3. で得られた集合 $A^{\prime}$ と集合 $C^{\prime}$ を比較し,完全に一致する組み合わせを同義語として出力

## 5.1.2 類義語

単語対が翻訳において一部共通する組み合わせを抽出する. (表 4 参照)

1. 変換テーブル $\mathrm{ABCD}$ で英語 $\mathrm{B}, \mathrm{D}$ が同一単語,且つ日本語 $A ， C$ が別単語の組み合わせを選択

2. 翻訳が複数存在することを考慮して，1. で得ら

し，対応する英単語をすべて収集 $\Rightarrow$ 集合 $A^{\prime}$

3. 2. と同様の処理を 1. で得られた日本語単語 $\mathrm{C}$ についても行う $\Rightarrow$ 集合 $C^{\prime}$

4. 2. と 3. で得られた集合 $A^{\prime}$ と集合 $C^{\prime}$ を比較し,共通しない部分がある組み合わせを類義語として出力

## 5.1.3 対義語

日本語・英語同士が最も類似する組み合わせを Word2Vec を利用して抽出する。(表 5 参照)

1. 変換テーブル $\mathrm{ABCD}$ で英単語 $\mathrm{B}, \mathrm{D}$ が別単語であり，日本語単語 $\mathrm{A}, \mathrm{C}$ も別単語である組み合わせを選択 (Aと B は対訳単語である)

2. Word2Vecを利用し，1. で得られた日本語単語 $\mathrm{A}$ に最も類似する単語を抽出 $\Rightarrow \mathrm{A}^{\prime}$

3. Word2Vec を利用し，1. で得られた英語単語 B に最も類似する単語を抽出 $\Rightarrow \mathrm{B}$ ，

4. 変換テーブル中から $\mathrm{ABA}^{\prime} \mathrm{B}^{\prime}$ となる組み合わせを検索

5. 1. 4. の処理を $\mathrm{CDC}^{\prime} \mathrm{D}^{\prime}$ の組み合わせでも行う

## 5.2 実験データ・条件

## 5.2.1 変換テーブル

森本 [5] が作成した変換テーブルを使用する. 森本は，電子辞書などの例文から抽出された 163,188 文の単文対訳コーパス [6] を利用して変換テーブルを作成した. 生成された変換テーブルは 701,828 組である.

## 5.2.2 Word2Vec

Python の gensim[7] を使用する. データの統一を取るために，変換テーブルと同じ 163,188 文の単文対訳コーパス [6] で学習を行う。各パラメータは, window $=5$, size $=10,000$ とし，英語モデル，日本語モデルをそれぞれ作成した。

## 6 実験結果

同義語・類義語 ・対義語の各抽出数と人手評価による精度を表 2 に示す. ただし，漢字や片仮名を含む表記ゆれや数字などのノイズは評価に考慮しない. 評価者は著者 1 人である.

表 2 抽出結果

出力例の一部を表 3 5 に示し，変換テーブルが参照した対訳文を例文として示す.

## 6.1 同義語

 & 值段 &  & $\circ$ \\

例文）

1).価格と値段

野菜の価格が急騰している。

The price of vegetables is soaring.

野菜の值段が下がる.

The price of vegetables drops.

2).秩序と順序

それは新たな秩序の到来を告げた。

That ushered in a new order.

逆の順序におく. Place in the reversed order.

## 6.2 類義語

表 4 類義語

 & ○ \\

例文）

1).お昼と正午

お昼までには，まだ少し間がある。

There's still a little time left until noon.

正午に汽笛が鳴る. The whistle blows at noon.

2).板と委員会

板が歪む. The board is distorted .

委員会は明日開かれる予定だ。

The board is meeting tomorrow .

## 6.3 対義語

表 5 対義語

例文)

1).東と西

風は東へ吹いている. The wind is blowing east.風が西へ吹く. The wind blows west

2).雪と雨

雪がやんだ. The snow has stopped.

雨がやんだ. The rain has stopped.

## 7 考察

## 7.1 不正解の調査

実験結果における不正解対の原因調査により，方式の限界による要因と変換テーブル作成時のパター ンの誤りによる要因に大別された. 同義語は方式限界のみであった。 各要因の割合を表 6 に示す.

表 6 不正解の割合

## 方式限界による要因

同義語・類義語では，英単語は共通するが類似しない日本語対が抽出された. この問題の原因は単語の持つ多義性である. 言語間の概念の差異や文脈により単語の用途が変化するため, 方式限界であると考えられる。(表 3，表 4 の不正解例を参照)

対義語では，反対の意味が存在しない日本語対が抽出された. この問題の原因は単語に反対が存在するかの区別が困難なことである．変換テーブル自体はパターンが共通する組み合わせを出力しており，組み合わせ自体に類似性は存在しないため，方式限界であると考えられる。(表 5 の不正解を参照)

## パターンの誤りによる要因

森本 [5] の変換テーブルはパターンを利用して作成されており，パターンの誤りが単語対応の誤りに影響を与えている。つまり，パターンの精度を上げることで類義語・対義語については抽出精度が向上すると考えられる。

## 7.2 辞書による評価 (対義語)

実験結果より同義語・類義語と比較し，対義語の正解率が低い. 原因として，7.1 節で述べた反対の存在しない単語を抽出していることが考えられる。 そこで，対義語辞典において対義語と定義される単語対に限定して再度精度を調査した。対義語辞書には， weblio 対義語反対語辞典 $[8]$ を利用した.

表 7 明確に対義語である単語の調査

調査の結果，対義語辞書 [8] において不正解だが，人手評価において正解と判断された対が得られた. また，調査の過程で，実験結果における表 7 に含まれない対義語が得られた。つまり，対義語辞書において定義されないが，人手評価において正解と判断される対義語である。それぞれの一部を表 8 ，表 9 に示す。

表 8 辞書で不正解となった対義語

表 9 辞書で定義されない対義語

この結果から, 本研究の提案手法は辞書に記載されていない対義語を抽出できたことを示している。

## 8 まとめと今後の課題

従来の研究では，意味基準によって区別されるシノニムの曖昧性が解消されない問題があった. そこで，本研究では，「翻訳の単語対応」を「意味」と仮定することでシノニムを自動抽出・分類する方法を提案した. 実験の結果，同義語 $94.3 \%$ ，類義語 $78.2 \%$ ，対義語 $60.7 \%$ の精度が得られた。また，対義語において辞書に未記載の単語抽出といった有効性を得られた。

今回，提案した手法では抽出数が不十分であると考えられる。そのため，精度を損なわずに抽出数を増加させることを今後の課題とする。

## 参考文献

[1] 新村出, 新村出記念財団. 広辞苑. 岩波書店, 第 6 版, 2008.

[2] Timothy Chklovski and Patrick Pantel. VerbOcean: Mining the web for fine-grained semantic verb relations. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 33-40, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[3] Li Zhang, Jun Li, and Chao Wang. Automatic synonym extraction using word2vec and spectral clustering. In 2017 36th Chinese Control Conference (CCC), pp. 56295632, 2017.

[4] Tomas Mikolov, Kai Chen, Gregory S. Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In International Conference on Learning Representations, 2013.

[5] 森本世人. 類似度を利用した変換テーブルの精度向上. 言語処理学会第 27 回年次大会, 2021 .

[6] 村上仁一, 藤波進. 日本語と英語の対訳文対の収集と著作権の考察. 第一回コーパス日本語学ワークショップ, 2012.

[7] Radim Rehurek and Petr Sojka. Gensim-python framework for vector space modelling. NLP Centre, Faculty of Informatics, Masaryk University, Brno, Czech Republic, Vol. 3, No. 2, 2011.

[8] GRAS グループ株式会社. weblio 対義語反対語辞典,（2023-01 閲覧）. https://thesaurus.weblio.jp/ antonym/.


# 日本語話者の項省略判断に関するアノテーションとモデリング

石月由紀子 1,4 栗林樹生 1,2 松林優一郎 1,4 笹野遼平 3,4 乾健太郎 1,4
1 東北大学 ${ }^{2}$ Langsmith 株式会社 3 名古屋大学 4 理化学研究所
yukiko.ishizuki.p7@dc.tohoku.ac.jp
\{kuribayashi,y.m,kentaro.inui\}@tohoku.ac.jp sasano@i.nagoya-u.ac.jp

## 概要

日本語ではしばしば主格や目的格などの項が省略される．項の省略の可否は構文の妥当性といった制約や母語話者の選好によって判断される場合があり，母語話者は省略の容認度を潜在的に規定していることが想定される. しかしながら，そのような母語話者の判断のモデリングは，既存の省略解析の枠組みには含まれてこなかった. 本研究では，読み手の省略判断に関するデータの収集と，そのデータを用いた省略判断モデルの構築を行い，母語話者と自然言語処理モデルの省略判断についてその傾向を調査した. 収集したデータは BCCWJに対する差分データとして公開予定 ${ }^{1)}$ である.

## 1 はじめに

日本語は項省略がしばしば発生する言語である。例えば（1a）では，「マックが」を省略した方が自然であり，一方（1b）では「小塚原の刑場に」を省略しないほうが自然である2).

(1a) マックは椅子をつかみ、前後逆に置いた。そこにマックがまたがり、無言で画像に見入った。

(1b) 一六六 $\bigcirc$ 年頃 (万治年間)、幕府は、牢死者や刑死者を弓うため、本所に回向院を立てさせた。 さらに一六六七年（寛文七）、その別院として、小塚原の刑場に建てられたのが、この回向院だそうな。

本研究ではこのような項の省略判断について，（i） ある項が表出・省略されているべきかという人間の読み手が下す判断のデータ収集・分析と，（ii）自然言語処理モデルを用いた省略判断予測モデルの構築を行う. 項の省略の可否に関しては統語的な制

図 1 アノテーション作業の外観

約などについて少数の事例のもと議論されてきた $[2,3,4,5]$ が，本研究ではそれらの研究と相補的に，実際に人間の読み手が文章を読んだ際に判断する省略の容認度について比較的大規模なコーパスにアノテーションする．計算モデルによる省略判断の予測については，日本語の読みやすさの自動判定・文章執筆支援（項を省略・表出すべきかの自動推薦）といった応用的出口を見据えるとともに，既存の言語モデルが談話的な現象である省略判断を行えるのかという学術的な分析として位置づける。

日本人大学生 5 名を対象にしたデータ収集の結果，人間の作業者間での省略判断は概ね一致し，個人差が生じる事例は限定的であることが分かった. また，省略の是非の判断根拠もあわせて追跡する方式で作業を行い，分析の結果，統語的容認性や省略要素の復元可能性といった言語の制約的な部分では人間の省略判断が比較的一致し，それらでは説明できない選好の部分では判断が摇れる傾向があった.

言語モデルによる省略判断の予測に関する実験では，日本語 BERTを用いたモデルを作成し，その性能を調査した。言語の制約的な要因で決まる事例については，モデルは概ね正しい判断を下し，一方で文の自然さといった選好によって省略の可否が決定する事例については，言語モデルの予測性能が人間
表 1 省略の程度を説明するものとして想定される因子

 &  \\

の作業者間に対して劣るという結果が得られた.

## 2 省略判断アノテーション

## 2.1 タスク設定とアノテーション基準

日本語母語話者の項省略の容認度とその一致の程度を調査することを目的とし，省略判断のデータを収集した. 図 1 にアノテーションタスクの外観を示す. 作業者には文章内のある述語と，それと同一文内にある述語の項が 1 つ示される. 作業者は，指定された述語の項の表現が省略可能かを判断する。なおこの項は (i) 元の文章でも表出している場合と (ii)元の文章では省略されているが特定の位置に復元されている場合の 2 通りがあり，作業者は判断時にどちらの事例かを知ることはできない. アノテーション対象の述語-項の収集方法は 2.3 節で説明する.

アノテーション基準は，省略に関する言語の制約的性質を予備的に調査した結果を踏まえ，実際に著者らで予備アノテーション作業を行いながら設計した. まず，判断の程度を定義するにあたり，省略判断を，言語の制約的な性質に基づく強い判断と，作業者のある種の選好に基づくものとに分け，これに 「省略」「表出」の方向を示した 4 值を省略の程度として定めた. 最終的な人間の判断が制約的な要因によって説明される場合は「省略（制約）」及び「表出 (制約)」と定義し，選好に基づく要因によってのみ説明される場合を「省略（選好）」及び「表出（選好)」と定義した. さらに，制約的な要因としてどのような因子があるかについて，省略の潜在的な判断要因を著者内で議論し, 少なくとも制約的な因子については著者間での判断に摇れがないことを基準として，表 1 のとおり因子を定めた。ただし，ここで例外的に因子 3 については，項が表出した文と省略された文のどちらを選ぶかが書き手の表現したい文意によってのみ定まる，読み手には判断不可能な例の存在が判明したため，新たに「判断不可」というラベルを追加し, 最終的に 5 つの程度について作業者に判断させた.

実際の作業では，作業者は 5 つの段階を直接判断するのではなく，表 1 の各因子に対しての判断を下すことによって間接的に 5 つの段階を判断する.これによって，作業者がどの判断要因を用いて判断しているのかを分析できるようにした。例えば，1 節で挙げた例 (1a) については省略するのが自然であると判断されるが，判断の根拠は表 1 の 5 つの因子への判断として次のように記述できる: (因子 1) 項が省略された場合にも補われるべき情報が定まる， (因子 2) 項の有無は構文的正しさに影響しない，(因子 3) 省略に伴う助詞機能の喪失によって文意が変化しない，(因子 4) 慣習的に省略される項ではない， (因子 5) 文章の流暢さから省略するのが自然. 最終的なラベルはこれらの因子への回答の組み合わせによって選択される.この場合は，制約に関する因子 (1-4) の組み合わせからは制約としての判断は下されず，選好に関する因子（5）で項を省略すべきと判断したため, 最終的に付与される省略の容認度は 「省略（選好）」となる。

実際の作業時には，その項がどのような潜在的要因を持ち，最終的にどの容認度のラベルが付与されるべきかを質問フローチャートに答えていく形で回答する.このフローチャートが因子に対する回答の組み合わせから 5 値の容認度ラベルへの対応を定めている. フローチャートの詳細は付録 $\mathrm{A}$ に示す.

## 2.2 作業手順とインターフェース

作業の具体的手順を説明する．回答には専用のツールを用いた（付録 B に記載）。作業画面上には，図 1 に概略したように，特定の述語・項が強調され

た文とその前方文脈が提示される．作業者は画面の上から順に文章を読解し，対象となる項がどの程度省略されるべきかを，その文を読んだ時点までの情報と事前に与えたアノテーション基準に沿って判断する. 回答後に画面上の「次の問題」ボタンを押すと, 次の対象述語-項までの文章が表示される. 作業者は直前に読んだ文の続きから読み進め, 対象述語まで読み進めたら問いに回答する作業を繰り返す。 2.1 節で説明した通り，コーパス上での実際の文は省略判断時に提示されていないが，読み誤ったまま回答し続ける状況を防ぐため, 判断終了後, 次の事例に進む時点でコーパス上に本来記述されていた文が提示される. 文内に問うべき項が複数存在する場合は，無作為に1つを作業対象とした. また，既に回答した事例を遡って回答し直すことは禁止した.

この作業を日本語母語話者 5 名により実施した.本研究では, 作業者数が 5 名と少数のため, 読解力の水準を揃える目的で同一大学の学生を選出した.事前にアノテーション対象外の文章を用いて訓練作業を実施し，アノテーション基準や作業内容に対する理解度を確認した後，本実施を行った。

## 2.3 アノテーション対象データ

述語項構造情報が付与されたコーパス，BCCWJDePParaPas [1] の書籍ドメイン 32 文章をアノテー ション対象とした. 対象となる述語-項ぺアのサンプリング手法は付録 C に示す. 同コーパスには文章中で省略されている項に照応関係及び格関係が付与されているため，省略された項が何かを特定可能である.このデータを用いて，項を文中に強制的に表出させた状態でその項の省略可能性を作業者に問う.この際，項が省略されていた場合は，文中のいずれかの位置に表出させて作業者に提示する必要がある. 項をどこへ復元すべきかの情報はコーパスに付与されていないため, 事前準備として省略された項をなるべく自然な位置に補った. 作業手順は付録 Dに記載する. 最終的に 1,054 事例の述語-項ぺアを収集し，これにコーパス上で既に項が表出しているものを加えた 2,392 事例を今回の対象とした.

## 3 アノテーション結果

作業者間の判断の一致度作業者の省略判断の一致度について, Krippendorff の alpha $^{3}$ ) の値が 0.84 と

3） 3 名以上かつ順序尺度に対応する一致度の尺度で，一般的には alpha が 0.677 以上であれば高い一致度であるとされる。表 2 データセット内の判断ラベル分布

高く，判断が概ね一致することが確認された [6].

作業結果の集約とラベル分布の分析得られた 5 名分の判断ラベルについて，省略判断の予測モデルを構築するため 1 つの代表ラベルに集約し，訓練・開発・評価データを作成した ${ }^{4)}$. 集約の際は，省略 （制約）<省略（選好）<判断不可 <表出（選好）<表出（制約）というラベル間の順序を仮定し，5 名の回答の中央値を判断の代表値とした. 結果として，回答の集約時に中央値が「判断不可」に分類される事例は 1 事例のみであったため, 今回の分析ではこの事例を除外し，以降は省略の程度を省略（制約），省略（選好），表出（選好），表出（制約）の 4 値として分析を行う.

集約後のデータセット内のラベル分布を表 2 に示す. ラベルの割合は表出 (制約) が最も多く（約 45\%），制約と選好の間では制約の事例が全体の約 $75 \%$ を占め，選好の事例は $25 \%$ 程度となった. 加えて，この集約後のラベルと各作業者のラベルの間での混同行列を確認したところ (図 2 左), 作業者間の判断の摇れは主に隣接するラベルで見られ，離れたラベルで摇れることは稀であることが分かった. また，表出と省略の間をまたぐ摇れは主に選好に基づく判断で起こっていることが分かった.

コーパスと作業者判断の比較読み手と書き手の判断に差違があるかを分析するため，コーパス中での表出・省略を正解とした場合に，作業者の判断の中央値がこれと一致するかを確かめた. 結果として，作業者の結果を表出・省略の 2 値予測とみなした場合のコーパスに対する正解率は 97.0\%であり，例外的な事例はあるにせよ，読み手である作業者と書き手の省略選択は概ね一致することが示された。

## 4 実験：省略判断モデル

人間の省略判断を現行のニューラル言語モデルがどの程度予測可能か調査する.

図 2 開発データにおける作業者と言語モデルの混同行列. 左図は作業者 5 名の回答とその中央値の混同行列で,值は事例数の平均值. 右図は BERT-large の混同行列.

表 3 作業者間と言語モデルの判断性能 ( $F_{1}$ 値). 作業者間の値は，中央値を正解として各作業者の $F_{1}$ 値を求め, 5 人の値の平均を取ったもので，性能の上限値とみなせる.

## 4.1 実験設定

モデル言語モデルとして日本語 Wikipediaで事前学習済みの Transformer 言語モデル (BERT-basejapanese,BERT-large-japanese ${ }^{5)}$ )を用いた. 対象の述語-項ぺアを含む 1 文と，その前方文脈をモデルの入力とし, 省略判断の 4 カテゴリ \{省略（制約），省略 (選好)，表出（選好），表出（制約）\}の多値分類モデルを訓練した. モデルの入力と訓練時のハイパー パラメータと詳細は付録 $\mathrm{E} と \mathrm{~F}$ に示す.

評価尺度上記 4 値を名義尺度として $F_{1}$ 值を計算した。順序を考慮した評価は今後の課題とする。

## 4.2 結果

作業者と言語モデルの比較作業者の判断を予測するモデルを学習した結果を表 3 に示す. 制約により可否が定まる事例では相対的に性能が高く，一方で選好により可否が定まる事例では, 人間の作業者間の $F_{1}$ 值と比べると，モデルの予測性能は劣ることが示された。

また，言語モデルの予測に関する混同行列を観察したところ (図 2 右), 言語モデルでは離れたラべル間で選択を誤る事例が人間より多くなる傾向が見られ, 特に人間が「表出（選好）」を選んでいる事例

に対して「表出 (制約)」のラベルを予測するケースが多く見られた。

要因ごとの分析人間の回答の判断根拠とモデルの正解事例との関連を分析し，言語モデルが予測可能な事例の性質を調査した。 (i) 省略されると補われるべき情報が定まらず（因子 1)，その場合に書き手の意図が伝わらない（因子4）項と，（ii）省略されても項が一意に定まる事例のうち（因子 1），表出または省略により構文的妥当性が損なわれる（因子 2)項で正答率が高かった. 前者は新情報の項, 後者は構文の容認性判断で判定される項であり，これらの項への判断は概ね達成できていると示唆される.

## 5 関連研究

人間と計算モデルの対照人間と計算モデル間の判断の比較は, 文の容認性判断のモデリング $[7,8,9,10,11]$ などに始まり, 自然言語処理分野において盛んに行われてきた. 本研究では言語モデルの追学習で省略判断予測をしており, 言語学的な仮説に直接答えるものではないが，作成したデータは計算モデルから得られる統計量 (情報量など) との対照といった言語学的検証にも活用できる.

省略解析典型的な省略解析 $[12,13,14]$ は，与えられた文の項省略を検知し，省略されている情報を復元するという問題設定である. 本研究は, 文章中のある項を省略・表出させるべきかという，実際の言語運用に焦点を当てた問題設定を導入している。

## 6 おわりに

本研究では，日本語母語話者の項省略判断について，コーパスの事例を元に 2,392 事例のデータを収集した.また，このデータを元に項省略判断モデルを構築し, 現行のニューラル言語モデルが人間の判断を予測できるかを分析した.

今回収集したデータは作業者数が 5 名であり，作業者間の判断の差違をより詳細に分析するには至らなかったが，今後データ規模を拡大し，選好に基づく判断の摇れについてその因子を分析することや，個人の読解力の差違による判断の摇れの分析，書き手の文章記述力の差による書き手と読み手の判断のずれ等の分析も検討していきたい. また，モデルの予測性能を向上させることで，省略判断の予測に基づく文章の可読性評価や，日本語文章執筆支援といった技術の開発を目指したい.

## 謝辞

本研究は科研費 JP19K12112 の助成を受けたものです.

## 参考文献

[1] 浅原正幸, 大村舞. Bccwj-depparapas: 『現代日本語書き言葉均衡コーパス』係り受け・並列構造と述語項構造・共参照アノテーションの重ね合わせと可視化. 言語処理学会第 22 回年次大会発表論文集, pp. 489-492, 2016.

[2] Satoshi Oku. A theory of selection and reconstruction in the minimalist perspective. University of Connecticut, 1998.

[3] Mamoru Saito. Notes on east asian argument ellipsis. LANGUAGE RESEARCH, Vol. 43, pp. 203-227, 2007.

[4] Serkan Sener and Takahashi Daiko. Argument ellipsis in japanese and turkish. MIT Working Papers in Linguistics 61 : Proceedings of the 6th Workshop on Altaic Formal Linguistics : Department of Linguistics and Philosophy. MIT, pp. 325-339, 2010.

[5] Yuta Sakamoto. Phases and argument ellipsis in japanese. Journal of East Asian Linguistics 2016 25:3, Vol. 25, pp. 243-274, 72016.

[6] Klaus Krippendorff. Computing krippendorff's alphareliability. 2011.

[7] Sebastian Schuster and Tal Linzen. When a sentence does not introduce a discourse entity, transformer-based models still sometimes refer to it. In North American Chapter of the Association for Computational Linguistics, 2022.

[8] James A. Michaelov and Benjamin K. Bergen. Do language models make human-like predictions about the coreferents of italian anaphoric zero pronouns? In International Conference on Computational Linguistics, 2022.

[9] Allyson Ettinger. What bert is not: Lessons from a new suite of psycholinguistic diagnostics for language models. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 34-48, 12020.

[10] Shiva Upadhye, Leon Bergen, and Andrew Kehler. Predicting reference: What do language models learn about discourse models? In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 977-982, Online, November 2020. Association for Computational Linguistics.

[11] Riki Fujihara, Tatsuki Kuribayashi, Kaori Abe, Ryoko Tokuhisa, and Kentaro Inui. Topicalization in language models: A case study on Japanese. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 851-862, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[12] Ryuto Konno, Yuichiroh Matsubayashi, Shun Kiyono, Hiroki Ouchi, Ryo Takahashi, and Kentaro Inui. An empirical study of contextual data augmentation for Japanese zero anaphora resolution. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4956-4968, Barcelona, Spain (Online), Decem- ber 2020. International Committee on Computational Linguistics.

[13] Nobuhiro Ueda, Daisuke Kawahara, and Sadao Kurohashi. BERT-based cohesion analysis of Japanese texts. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 1323-1333, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[14] Ryuto Konno, Shun Kiyono, Yuichiroh Matsubayashi, Hiroki Ouchi, and Kentaro Inui. Pseudo zero pronoun resolution improves zero anaphora resolution. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3790-3806, 2021.

## A フローチャート

図 3 アノテーション時に使用したフローチャート

2.1 節で説明する因子に基づいた判断アノテーションを実現するにあたり，各因子に対応する質問項目への回答の組み合わせから最終的な省略の程度ラベルを決定する質問フローチャートを作成した (図 3).フローチャート内のノードは各因子に対応した質問であり，その回答結果により次の質問項目が定まるという形式で因子間の依存関係が表現される。最終的に辿り着く終端記号は 5 つの省略の程度ラベルのいずれかに対応する. フローチャー 卜上の終端記号は，各質問項目への回答の履歴を弁別出来るように便宜上それぞれ異なるアルファベットを割り当てている．例えば，「項が省略された場合に補われるべき情報が定まり (解釈可能性)，かつ，項を表出すると構文的に不適切である（構文的妥当性）から，省略の程度は 『省略（制約）』」という判断となる事例は，実際の作業時にはフローチャートの上から $\mathrm{Q} 1 \rightarrow \mathrm{YES} \rightarrow \mathrm{Q} 2 \rightarrow \mathrm{YES} \rightarrow$ A というパスを辿り，結果として「省略（制約）」のラべルが割り当てられる。

## B 作業ツール

図 4 に作業者が利用する作業ツールの実際の画面を示す. 画面上部には記事 ID，事例 ID，対象となる述語-項ぺアの情報が示され，画面下部には特定の述語・項が強調された文とその前方文脈が提示される．作業者は，現在の事例への判断を終えた後，画面右上にある「 $\rightarrow$ ボタンを押すことで次の対象述語-項に進む. 事例を遡るためのボタンはタスクの制約上存在しない。

図 4 実際の作業画面の例

## C アノテーション対象

本研究ではコーパス上に出現する項のうち，ガ格，ニ格，ヨ格の項を対象とし，述語については和語の用言を対象とした (「サ変名詞+する」は対象に含まない)。また，機能性の強い述語（ある，なる，やる）を予め除外している. 元コーパスでは 1 文の中に複数の述語が含まれる場合があるが，2.1 節や 2.2 節で記したように，作業者に元コーパスの文と，省略された項を補った文の双方を見せる可能性が存在する都合上，アノテーション対象の項が 1 文に対して 1 つとなるようにサンプル数を制限した. 1 文に複数の述語が存在する場合には無作為に対象となる述語と項のペアを決定した。

## D 省略されている項の補填作業

コーパス上で省略されている項を文中に補填する作業は，省略判断を行う作業者と異なる言語学専攻の大学生 2 名で行い，作業者間の合意のもと挿入位置・表出形を一意に定めた. さらに，別の作業者 1 名によって，この項の挿入によって不自然な文章となった事例を取り除いた。

## E＼cjkstart言語モデルへの入力系列

使用した 2 つのモデルの入力最大系列長にあわせ，対象述語-項を含む 1 文を入力の最終文とし，この文の文末から遡って系列長がサブワード 512 トークンとなるように前方文脈の単語系列を定めた. 入力系列中では，対象述語と項のトークン列の前後を，それぞれ特殊トークン <unused0>,<unused1> で囲むことで，判断対象となる述語と項の位置を表した。

## F ハイパーパラメータ

追学習には 4 つの GPU（NVIDIA RTX A6000）を用いた. BERT-base モデルのバッチサイズは 16 , 学習率は $3 \mathrm{e}-05$, BERT-large モデルのバッチサイズは 8 , 学習率は $5 \mathrm{e}-05$ とした. エポック数については，開発データに対する損失関数の値が 3 エポック連続で改善しない場合には早期終了するよう設定した。その他のハイパーパラメータは Hugging Face Transgformers $の$ TrainingArguments クラズのデフォルト值に従う.

6) https://huggingface.co/docs/transformers/ main_classes/trainer


# 汎用言語モデルは日本語の助数辞を理解しているか

小谷野華那 ${ }^{1}$ 谷中瞳 ${ }^{2}$ 峯島宏次 ${ }^{3}$ 戸次大介 ${ }^{1}$
1 お茶の水女子大学 2 東京大学 3 慶應義塾大学
\{koyano.kana, bekki\}@is.ocha.ac.jp hyanaka@is.s.u-tokyo.ac.jp
minesima@abelard.flet.keio.ac.jp

## 概要

日本語には，様々な数量表現の出現形式や助数辞があり，言語学の理論的研究の対象となっている.英語や日本語で，言語学の分析に基づいた数量表現コーパス，推論データセットが構築され，汎用言語モデルが数量表現の理解を必要とする推論をどの程度扱えるかの分析が進められている。しかし，現在の汎用言語モデルには, 数量表現の推論の扱いに課題がある可能性が示唆されている. 本研究では，その原因の一つとして，汎用言語モデルの事前学習時に，数量表現の振る舞いが正しく学習されないという仮説を立て，助数辞がマスクされたテストセットを構築し, 汎用言語モデルが助数辞を正しく予測するかを調査する．実験の結果，予測結果はテスト文に含まれる他の数量表現の影響を受けており, 汎用言語モデルは，数量表現の意味を正しく捉えられていない可能性があることを示した.

## 1 はじめに

日本語には様々な数量表現の出現形式や助数辞があり, 言語学の理論的な研究が進んでいる $[1,2,3,4,5]$. さらに, 日本語の助数辞の違いは,推論に影響を与える。次の例の (1)と (2)は，それぞれ「人」「名」という助数辞を含んでいるが，この 2 つの助数辞はどちらも人数を表す助数辞であるため，(1)と（2）の間には含意関係が成立する。一方， （3）は，「箱」という助数辞を含んでおり，この助数辞は人数を表す助数辞ではないため，（1）と（3）の間では含意関係が成立しない。

(1) ペットボトルが 3 人分ある.

(2) ペットボトルが 3 名分ある.

(3) ペットボトルが 3 箱分ある.

Koyano et al. [6] では，言語学における日本語の数量表現に関する理論を整理し，日本語の実テキストに含まれる数量表現にアノテーションを行い，数量表現コーパスを構築した。さらに，数量表現コーパスから数量表現に関する自然言語推論データセットを構築し, 汎用言語モデルが数量表現の理解を必要とする推論をどの程度予測できるかを調査する実験と分析を行い，現在の汎用言語モデルは数量表現の推論に課題を残していることを示唆した.

本研究では, 汎用言語モデルにおけて数量表現を含む推論に課題がある原因として，事前学習時に数量表現の振る舞いが正しく学習されていないという仮説を立てる。この仮説を検証するために，Koyano et al. [6] の数量表現コーパスを用いて，助数辞をマスクしたテストセットを構築する。このテストセットを用いて，マスクした箇所に入る助数辞を正しく予測しているかどうかを調査する．汎用言語モデルが正しい助数辞を予測できていれば，助数辞の前後の文脈は正しく捉えられていると考えられる. そして, 実験結果から, 汎用言語モデルが日本語の数量表現の助数辞をどの程度捉えられているかを分析する。

## 2 日本語の数量表現コーパス

Koyano et al. [6] では, NPCMJ [7] から数量表現を含む文を抽出し，126 文に含まれる 278 件の数量表現にアノテーションを行うことで数量表現コーパスを構築した。この数量表現コーパスでは，数量表現を 2 つ以上含む文，否定表現または条件節を含む数量表現を 1 つ以上含む文に対して，助数辞，出現形式，用法のアノテーションを行なっている.

助数辞の分類 Koyano et al. [6] では, 飯田 [1,2] による分類辞，単位形成辞，計量辞と，奥津 [3] による順序数辞の 4 分類を採用している. 各助数辞の例と数量表現コーパスに含まれる件数を付録表 8 に示す.

分類辞には，助数辞単体では使用されないもの (「人」「頭」), 複数の人やものに対して使用されるもの (「組」), 汎用的な助数辞（「個」「つ」）が含ま

れる. 単位形成辞は, 何らかの容器を表す普通名詞 (「箱」「セット」) であり, 助数辞としてではなく単独で用いることが可能である。また，より大きなものの一部を表す助数辞（「切れ」）も含まれる．計量辞は, 重さや距離を表す単位 (「キロ」), 長さを表す単位 (「メートル」) など，測定のための単位を表す助数辞である. 順序数辞は, 時間 (「日」「分」) や順序 (「番」「位」)を表す助数辞である. 順序数辞を含む数量表現は，修飾する名詞が文中に現れないことが多く, むしろ数量表現自体が名詞としての役割を果たすといった特徵がある。

数量表現の出現形式数量表現の出現形式は, 名詞を修飾する数量表現，動詞を修飾する数量表現によって文中に現れる位置が異なる。また，名詞を修飾する数量表現は，同じ状況を表す文でも，文脈によって名詞の前に位置する場合（「3人の学生」）や後ろに位置する場合（「学生 3 人」）などがあり, 出現形式は多様である. Koyano et al. [6] では, 岩田 [5] が用いた 6 タイプと，動詞を修飾する数量表現，イベント名詞句を修飾する数量表現, 修飾する名詞が文中に現れない数量表現, 数量表現を修飾する数量表現，()内の数量表現，イディオム的な数量表現について，6タイプの出現形式を作成し，計 12 タイプに分類している.

数量表現の用法数量表現の用法は, 名詞を修飾する数量表現について, 岩田 [5] が研究対象としていた 1 タイプに 3 タイプを追加した 4 タイプを作成し，動詞を修飾する数量表現については 4 タイプを作成している. さらにイベント名詞句を修飾する数量表現, 数量表現を修飾する数量表現, イディオム的な用法についてのタイプを作成し，計 11 タイプに分類している。

## 3 実験

## 3.1 テストセット

Koyano et al. [6] の数量表現コーパスの 151 件の数量表現の助数辞をマスクし, テストセットを作成する. (4) は数量表現コーパス内に含まれる文の例であり，(5) は構築したテスト文の例である. 数量表現コーパスは，(4)のように<num>タグで囲まれている数量表現に対して, 助数辞, 出現形式, 用法がアノテーションされている. (4) の助数辞は「人」であるため，この部分を (5)のように [MASK] に置き換え，<num>タグが無い形式の文を作成する.
(4) 施設の周辺に滞在する外国人研究者や職員は常時約<num> 3000 人</num>，その家族も含めると約 1 万人規模の人口増加となる.

(5) 施設の周辺に滞在する外国人研究者や職員は常時約 $3000[\mathrm{MASK}]$, その家族も含めると約 1 万人規模の人口増加となる.

さらに，各テスト文に対して，正解の助数辞と正解とは異なる助数辞（誤りの助数辞）のペアを作成する. (5) の正解の助数辞は, (4) の助数辞である 「人」とし, 誤りの助数辞は, 同じ分類であるが (5) の [MASK] に入れると意味的に不自然となる助数辞とする.この例では，「本」を誤りの助数辞とする.誤りの助数辞は, $[\mathrm{MASK}]$ に入れると意味的に不自然になる助数辞を全て人手で選び，テストセットを構築する。

## 3.2 実験設定

3.1 項で構築したテストセットを用いて，汎用言語モデルが助数辞を正しく予測することができるかを分析する．マスクされた箇所に対する正解の助数辞と誤りの助数辞のそれぞれの予測確率を計算する. そして，誤りの助数辞よりも正解の助数辞に対して高い確率で予測した数の割合を正答率として算出して分析する. マスクされた箇所に入る助数辞を正しく予測しているかという実験は，自然言語推論タスクとは異なりファインチューニングを行わないで実験を行うため，より直接的に事前学習で何を学習しているのか評価できる手法である.

現在の標準的な汎用言語モデルが助数辞を正しく予測することができるかを評価するために，東北大 BERT $^{1)}$ と早大 RoBERTa $^{21}$ の評価実験を実施した.

## 3.3 実験結果と考察

東北大 BERT と早大 RoBERTa を用いた評価実験の助数辞ごとの正答率を表 9 , 数量表現の出現ごとの正答率を表 4, 用法ごとの正答率を表 5 に示す. (テストセットに含まれる各タイプの統計情報は付録表 8 を参照)

助数辞ごとの正答率では, 東北大 BERT と早大 RoBERTa のどちらも単位形成辞の正答率がやや低いものの，全体としては東北大 BERT は $89.00 \%$, 早大 RoBERTa は $94.04 \%$ と高い正答率だった. 数量表

東北大 BERT が正しい助数辞よりも誤りの助数時を高い確率で予測した例。（）内はモデルの予測確率を示す. テスト文正しい助数辞誤りの助数辞

(a) これは何を意味するかというと，ある一 [MASK] の産業分野は必ず一社独占化の道を進む，つまり学問に基づいた本物の技術を作った企業つ(13.72) 社（14.82） （多くの場合，得意技術の異なる複数の連合体）が勝つということである.

(b) 帝国データバンク仙台支店が昨年 12 月下旬に公表した景気見通し調査では, 14 [MASK]を「回復局面」とする企業は $18.4 \%$.

(c) チリは $2[\mathrm{MASK}]$ 連続の再選が禁止され，4年ごとに大統領が代わる.年 $(12.49) \%(12.92)$ チリは 2 期連続の再選が禁止され，4 [MASK] ごとに大統領が代わる.期（17.82）年 (19.28)

(d) 国道38号では赤信号で 1 [MASK] ほど足止めを余儀なくされた.

年（15.60）期（17.17）

分（13.28） ヶ月（17.17）

表 2 早大 RoBERTa が正しい助数辞よりも誤りの助数時を高い確率で予測した例

現の出現形式，用法ごとの正答率は，東北大 BERT はイディオムのみ正答率が低く，その他のタイプでは 8 割以上の正答率だった. 早大 RoBERTa の出現形式，用法ごとの正答率は，どのタイプも高かった.

東北大 BERT が正しい助数辞よりも誤りの助数辞を高い確率で予測した例を表 1 に示す。（a)は，数量表現の出現形式，用法がイディオムの例である. この文の [MASK] の箇所は「ある一つ」というイディオム的な数量表現であるため,「つ」が正解の助数辞である。この文の「一つ」という数量表現は，数詞を変更すると非文（「ある二つ」は非文）となるため，イディオムというタイプが付与されている. (a)では，マスクされている箇所の他に「一社」という同じ数詞「一」を持つ数量表現が含まれているため，マスクされている箇所の助数辞として「社」 を高い確率で予測した可能性がある。(b) も同様に，誤りの助数辞「\%」が文内のマスクされた箇所より後に現れる数量表現「18.4\%」に含まれており，その助数辞を正しい助数辞よりも高い確率で予測していることから，テスト文に含まれる別の数量表現から助数辞を予測している可能性がある.

(c)の 1 つ目の例は, $[\mathrm{MASK}]$ に誤りの助数辞「年」 が入った場合「2 年連続の再選が禁止され」となり， この節においては自然な文に見えるが，後続の節を含めた文では，意味が通らない文になってしまう ((c)の 2 つ目の例も同様). このことから, 東北大 BERT は長い文の意味（節の間の意味関係）を正しく捉えられていない可能性がある.

(d) は，正解の助数辞, 誤りの助数辞ともに時間 （期間）に関する助数辞であるが，人間なら「赤信号で 1 ヶ月も足止めされることはない」と容易に推測表 3 助数辞ごとの評価実験の結果（正答率）

することができ，「赤信号で 1[MASK] ほど足止めを余儀なくされた」の助数辞は「分」もしくは長時間でも「時間」であると推測することができる。しかし，東北大 BERT は「ヶ月」を高い確率で予測していることから，文脈から時間に関する数量表現だということは予測できても，時間的な常識である時間の尺度まで考慮して推測することは難しいと考えられる。

早大 RoBERTa が正しい助数辞よりも誤りの助数辞を高い確率で予測した例を表 2 に示す。（e) は表 1(c)の 1 つ目の例と同じテスト文である．早大 RoBERTa でも東北大 BERT と同じょうに，誤りの助数辞が文内のマスクされた箇所と異なる数量表現に含まれているとき，その助数辞を正しい助数辞よりも高い確率で予測することがあった。

(f) は，正解の助数辞より誤りの助数辞のほうが高い確率で予想されているが，どちらも予測確率が低かった.このテスト文では「です」「ます」といった助動詞や「が」「の」などの助詞の確率が高かった. このテスト文にはマスクされている箇所以外に数量表現がなく，別の数量表現から予測することができないため，助数辞が予測結果の上位にならない可能性がある。
表 4 出現形式ごとの評価実験の結果（正答率）

表 5 用法ごとの評価実験の結果（正答率）

## 4 関連研究

英語における数量表現の研究として，言語モデルの数量表現の扱いに関する調査 [8]がある. Cui et al. [8] は, 多言語で事前学習された言語モデルが, 英語における様々な数量表現を含む一般化量化子の振る舞いをどの程度捉えることができるかについて，一般化量化子の理解に特化したベンチマーク GQNLI を構築し，調査を行った．GQNLI で言語モデルを評価した結果, 言語モデルの最高精度は $48 \%$ であった. NLI モデルや質問応答モデルの性能改善において，一般化量化子を捉えられないことが課題の一つとなっていることを示した. 日本語における数量表現を扱った研究として, Narisawa et al. [9] による数量表現を含む自然言語推論を解くための実装と評価がある. Narisawa et al. [9] は，日本語の含意関係認識において数量表現が問題になる事例に焦点を当て分析を行い，数量表現の規格化のための実装と評価を行った. Narisawa et al. は，数量表現が出現する文ペアを 7 つのカテゴリに分類し，正しく含意関係を判定するために必要な処理について述べている.
マスク穴埋めタスクで汎用言語モデルの分析を行った先行研究として, 英語では, 事前学習済み言語モデルが否定表現と偽のプライミング（ひっかけ）の扱いに課題があることを示した研究 [10] がある. Kassner et al. [10] は，事前学習済み言語モデルが否定表現を理解しているかを分析するために， Birds can [MASK], Birds cannot [MASK] といった, 否定表現を含まない文と含む文を用いて，マスクされた箇所の上位 3 件の予測単語を調査した. その結果，どちらの文でも同じ単語（上記の例では $f y$ ）が上位となることから，言語モデルは否定表現を理解できていないことを示唆した。また，事前学習済み言語モデルがひっかけの影響を受けるかを分析するために, Lexus is owned by [MASK], Microsoft? Lexus is owned by [MASK] といった，ひっかけを含めた文を作成し，マスクされた箇所の上位 3 件の予測単語を調査した. その結果，ひっかけを含む文では， ひっかけ自体やひっかけに関連する単語 (Microsoft, Google) が正解の単語 (Toyota) よりも高い確率で予測されている傾向があることから，言語モデルの単語の予測結果は，ひっかけの影響を受けていることを示した。

## 5 おわりに

本研究では，汎用言語モデルにおいて数量表現を含む推論の扱いに課題がある原因として，事前学習時に数量表現の振る舞いを正しく学習できていないという仮説を立てた.この仮説を検証するために， Koyano et al. [6] の数量表現コーパスを用いて，助数辞をマスクした文のテストセットを構築し，汎用言語モデルの評価実験を行なった．その結果，汎用言語モデルは 8 割以上の助数辞を正しく予測した。一方で，節の間の意味関係を考慮した単語の予測には，まだ課題があることを確認した．また，言語モデルの単語の予測結果は, 文中に現れる他の数量表現や単語の影響を受けており，英語での研究において指摘のあった，事前学習済み言語モデルがひっかけの影響を受けるという現象が，日本語数量表現においても存在することを確認した。

今後，汎用言語モデルにおける数量表現の扱いの課題についてさらに調査し, 言語学の理論に基づく数量表現の分類と推論の関係性や，推論における数量表現のひっかけの影響について分析を進める.

## 謝辞

本研究は JST CREST JPMJCR20D2，JST さきがけ

JPMJPR21C8 の助成を受けたものである.

## 参考文献

[1] 飯田隆. 日本語と論理. NHK 出版, 2019.

[2] Takashi Iida. Japanese semantics and the mass/count distinction. Chungmin Lee, Young-Wha Kim and ByeongUk Yi (eds.), Numerals Classifiers and Classifier Languages (Routledge), pp. 72-97, 22021.

[3] 奥津敬一郎. 拾遺日本文法論. ひつじ書房, 1996.

[4] 矢澤真人. 数量の表現. 金田一春彦, 林大, 柴田武 （編）, 日本語百科事典. 大修館書店, 1988.

[5] 岩田一成. 日本語数量詞の諸相. くろしお出版, 2013.

[6] Kana Koyano, Hitomi Yanaka, Koji Mineshima, and Daisuke Bekki. Annotating Japanese numeral expressions for a logical and pragmatic inference dataset. In Proceedings of the 18th Joint ACL - ISO Workshop on Interoperable Semantic Annotation, 2022.

[7] NINJAL. NINJAL Parsed Corpus of Modern Japanese. (Version 1.0). 2016. https://npcmj.ninjal.ac.jp/.

[8] Ruixiang Cui, Daniel Hershcovich, and Anders Søgaard. Generalized quantifiers as a source of error in multilingual NLU benchmarks. In Proc. of NAACL, 2022.

[9] Katsuma Narisawa, Yotaro Watanabe, Junta Mizuno, Naoaki Okazaki, and Kentaro Inui. Is a $204 \mathrm{~cm}$ man tall or small? acquisition of numerical common sense from the web. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 382-391, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[10] Nora Kassner and Hinrich Schütze. Negated and misprimed probes for pretrained language models: Birds can talk, but cannot fly. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7811-7818, Online, July 2020. Association for Computational Linguistics.
表 6 早大 RoBERTa の予測結果の上位 10 件に正解の助数辞が含まれない例

表 7 東北大 BERT の予測結果の上位 10 件に正解の助数辞が含まれない例

 \\

表 8 各助数辞の例と数量表現コーパスに含まれる件数

## A 付録：上位 $\mathrm{N$ 件の予測結果}

汎用言語モデルの予測結果の上位 1 件，上位 3 件，上位 5 件，上位 10 件に正解の助数辞が含まれる確率を表 10 に示す.どの結果も早大 RoBERTa が東北大 BERT よりも正答率が高かった. 東北大 BERT の予測結果では，上位 10 件で予測結果に正解の助数辞が含まれる確率が $90 \%$ を超えるのに対し，早大 RoBERTa の予測結果では, 上位 3 件で予測結果に正解の助数辞が含まれる確率が $90 \%$ を超えるという結果となった.表 9 助数辞, 出現形式, 用法ごとの統計情報

表 10 上位 $\mathrm{N}$ 件に正解の助数辞が含まれる確率