# DRS 意味解析における出現位置を利用した語彙数削減

黒澤 友哉 谷中瞳
東京大学
\{kurosawa-tomoya, hyanaka\}@is.s.u-tokyo.ac.jp

## 概要

高度な意味解析タスクの一つとして、文を入力と して談話表示構造 (Discourse Representation Structure, DRS）を出力する DRS 意味解析がある。DRS 意味解析器のうち、高精度を達成した van Noord et al. (2020) [1] のエンコーダ・デコーダモデルは 2 つの 独立したエンコーダを用いている。一方は文中の単語とその意味タグを交互に並べて入力とし、他方は 文を文字単位で分割し入力とすることで、文の意味情報を学習しようと試みている。しかしこの手法で は、文中のトークンが DRS トークンに含まれるた め、モデルの語彙数が非常に大きくなり、デコーダ の計算量が増大し予測精度の低下につながる可能性 がある。本研究では、DRS に含まれるトークンの うち解析対象の文にも含まれるトークンを、文にお ける出現位置に置き換えるという手法を提案する。 これにより、モデルの出力語彙数が $90 \%$ 以上減少 し、エンコーダ・デコーダモデルがより正確に DRS トークンを予測できる。実験により、既存手法と比較して精度の上昇を示したと同時に、学習時間の短縮とメモリ量の低下も達成した。

## 1 はじめに

意味解析は自然言語文を意味関係を構造化した 意味表現に変換する、自然言語処理において最も 基礎的なタスクの一つである。意味表現の形式は 数多く存在するが、本研究では理論言語学の分析 に基づく高度な意味表現形式 [2] である談話表示構造 (DRS) に着目する。図 1 は I was born on the 31st of May in 1940 を表現する DRS である。談話指示子の 集合 (例: t1, e1 など) と条件の集合（例: $\mathbf{t} 1<"$ "now" など）の組を「箱」と呼び、これらを用いて表現し たDRSを箱形式 DRS と呼ぶ。

図 2 は図 1 と等価であるが、表現方法が異なる。図2 のようなDRS を句形式DRS と呼ぶ。句形式

図 1 I was born on the 31st of May in 1940 を表す箱形式 DRS。

図 2 図 1 と等価な句形式 DRS。DOM, MOY, YOC は それぞれ DayOfMonth, MonthOfYear, YearOfCentury の略で ある。

DRS は箱形式 DRS に対し、エンコーダ・デコーダ モデルで扱う表現方法として適しており、[1,3] な どで用いられている。

特に [1] が提案した意味解析器は、複数のエン コーダを用いたエンコーダ・デコーダモデルで、入力のトークン列のみならず、その文字の系列や様々 な言語情報を与えて学習させている。彼らは様々な 組み合わせで実験を行なっているが、そのうち、2 つのエンコーダを用い、一方には入力のトークン列 とその意味タグを、他方には文字の系列を与える手法が最も良い精度を達成した。

しかし、句形式 DRS の一部のトークンは、モデル が予測すべき語彙の数を大きく増加させる要因とな りうる。一つ目は図 2 の 6 行目のように、文に出現 する単語が第 2 トークンに挿入されることがある。二つ目は図 2 の 7, 9, 10 行目のように、文に出現す る単語の表す値が第 4 トークンに挿入されることが ある。いずれについても任意の単語や値が挿入され うるため、エンコーダ・デコーダモデルはより膨大 な語彙を有する必要があり、結果として予測精度が 落ちている可能性がある。さらに、学習時に観測し なかった未知語も扱わなければならない。
表 1 PMB 3.0.0 と 4.0.0 の英語におけるドキュメント数の 一覧。

} & \multicolumn{1}{c}{ Test } & \multicolumn{1}{c}{} & \multicolumn{1}{c}{} \\

4.0 .0 & 7,668 & 1,169 & 1,048 & 127,303 & 151,493 \\

そこで本研究では、上述したトークンを可能な限 り減少させることにより、エンコーダ・デコーダモ デルによる予測の精度と頑健性の向上を狙う。そ れを可能にするために、文と DRS の両方に現れる トークンは、該当の DRS トークンを文中の出現位置を明示的に示すトークンに書き換えたデータで学習し、予測をする。出現位置に置き換えたデータで 学習したエンコーダ・デコーダモデルは予測の際に も出現位置トークンとして出力し、出現位置トーク ンが示す文中の単語に書き換えることで最終的な予測とする。

## 2 関連研究

## 2.1 Parallel Meaning Bank

Parallel Meaning Bank (PMB) [4] は大規模な DRS コーパスの一種であり、英語、ドイツ語、イタリア 語、オランダ語の 4 言語のデータがデータセットと して提供されている。データは文と DRS 以外にも、各トークンの品詞や意味タグなど多くの言語情報が 付与されている。2023 年 1 月現在、4.0.0 までが利用可能である1)。各言語のデータは Gold, Silver, Bronze の3つに分割されており、Gold は完全に人手でアノ テーションされたもの、Silver は一部が人手による アノテーションが付与されたもの、Bronze は人手に よるアノテーションを用いて学習したモデルが自動 でアノテーションを付与したものがそれぞれ割り当 てられている。表 1 に PMB 3.0.0 と 4.0.0のうち、英語のデータセットの詳細を示す。

日本語 PMB データについてはデータセットして 提供されていないものの、[5] の貢献により PMB Explorer $^{2}$ では利用可能である。

## 2.2 DRS 意味解析

DRS は 80 年代に導入された談話表示理論 (Discourse Representation Theory) [2] に基づく意味表現形式であり、様々な DRS 意味解析手法が提案さ

1) https://pmb.let.rug.nl/data.php

2) https://pmb.let.rug.nl/explorer/explore.php

図 3 図 2 を、箱変数と個体変数をそれぞれ相対的に変換 した相対句形式 $\mathrm{DRS}$ 。見やすさのために開業している。 なお、エンコーダへの入力では改行は***と表される。

図 4 図 3 に、文中に現れるトークンをその出現位置で置 き換えた相対句形式 DRS（提案手法）。

れている [6, 7]。近年は深層学習のモデルを用い た研究が多く、[3] は双方向 long short-term memory (bi-LSTM) [8] を用いている。[9] も深層学習のモデ ルを手法に組み入れているが、DRS は句形式ではな くグラフ形式を採用している。また [10] もグラフ形式を採用しており、いずれの研究も少量の学習デー タで比較的高い精度を達成している。

なお、本研究に最も近い研究は [11] である。この 研究は我々が語彙数の増加の原因として着目してい るトークンをダミー化し、これらをエンコーダ・デ コーダモデルに予測させるもしくは後処理で埋める 手法をとっている。語彙数の減少に注視する点は共通するが、本研究では完全にダミー化するのではな く、意味タグとトークンの出現位置との組み合わせ によって精度上昇を狙う。

## 3 提案手法

出力する語彙数を抑制し、効果的にDRS トークン を予測する方法として以下の手法を提案する。学習 の前処理として、句形式 DRS に含まれるトークン のうち、それらが文中にも出現する場合、文中にお ける出現位置に書き換える。先行研究 [1] において、図 2 の句形式 DRS は、図 3 の相対句形式 DRS [3] に 変換してエンコーダに入力する。相対句形式 DRS において、箱変数 \$と個体変数 @ はそれぞれの導入 との相対位置で記述される。例えば、6行目の第 4 トークン@0は最新の個体変数 $(5$ 行目の REF = e1) を指し、 7 行目の第 3 トークン @-1 は最新から一つ 前の個体変数（3 行目のREF = $t 1$ ）を指す。

提案手法は、図 3 の相対句形式 DRS をさらに図 4 に変換する。表 2 は句形式 DRS の行を分類したも
表 2 句形式 DRS の各行のフォーマット。ここで箱変数（b1 など）を\$で、個体変数（t1, $\mathrm{e} 1$ など）を @で表している。

のであるが、書き換えられるトークンは大きく分け て 2 種類あり、タイプC（6 行目）の第 2 トークン と、タイプD $(7,9,10$ 行目) の第4トークンである。

## 3.1 タイプＣの書き換え

タイプ $\mathrm{C}$ の第 3 トークンにおいて第 2 トークンの 語義 (synset) が WordNet [12] 形式で与えられるため、 その品詞情報を用いて文中の単語を原形に変換す る。この原形が第 2 トークンと同等の場合、\#に続 いて、その単語の出現位置を付与する。例えば、図 3 の 6 行目の bear は、文中に（0 始まりで）2 番目 に出現する動詞 born の原形であるので、 \#2 に書き 換えられる。

第 2 トークンが_（アンダースコア）繋がりで与 えられる場合、そのトークンが複合名詞 (mobile_ phonesなど）のものと句動詞（get_up など）のもの がある。複合名詞の場合、文中において～（チル ダ）繋がりで与えられているため、それらを空白と して扱い、原形へ変換した上で一致するか否かで書 き換えの有無を決定する。一方で句動詞の場合、構成する単語の間に別の単語が挟まる場合がある。例 えば、The boy has taken the toy away from his little sister には句動詞 take away が存在するが、それを構成す る単語は隣接していない。そのため句動詞について は、それを構成する2番目以降の単語の出現位置を、直前の単語からの相対位置として扱う。例えば、先述の文の相対句動詞 DRS に含まれる take_away は、文中で take は 3 番目 (taken の原形)、away は 6 番目に現れるので\#3_3に書き換えられる。

なお、以上の一連の判定で第 2 トークンが文中の 単語と同等にならない場合、そのトークンは書き換 えない。

## 3.2 タイプDの書き換え

タイプD で第 4 トークンが値の場合、そのトーク ンは図 2 の 6 行目の brown (名前)、17 行目の 4 (数量）の他にも、okinawa（地名）やyen（単位）など が存在する。それらを完全に網羅することは困難で あるため、以下の手法をとり文中に出現する単語と同じかを判定する。

まず、第 4 トークンの値と一致する単語が文中に 存在すればその出現位置に書き換える。この規則 により役割（第 2 トークンのことを表す）が Name (名称) や YearOfCentury（年）の値について対応可能になる。Unit（単位）についても、単数形に変換 することにより一致すれば書き換えの対象になる。

次に、第 4 トークンの値に対応する単語が文中に 存在すればその出現位置に書き換える。例えば、図 3 の 7 行目の 31 は文中では $31 s t$ であり、これらが 同等なので図 4 においてその出現位置に書き換え られている。この対応関係は人手で判定することは 困難なため、学習データの対応関係から作成した辞書を用いて同等かを判定する。これにより Quantity (数量)、DayOfMonth（日にち）、ClockTime（時刻) など、数に関係するほとんどの役割について対応可能になる。

## 3.3 出現位置を基にした復元方法

タイプ $\mathrm{C}$ に関しては、出現位置の指す単語を品詞情報を用いて原形に変換し、出現位置トーク ンを書き換える。タイプDに関しては、出現位置 トークンへ変換する際に構成した辞書を用いて復元する。このときに、出現位置トークンの指す単語が辞書に含まれていないなどのエラーが発生 した場合はダミーのトークンで書き換える。例え ば \$n DayofMonth @m "\#2" に対し文トークンの 2 番目に日にちを表す単語が存在しなかった場合、 \$n DayOfMonth @m "00" とする。

## 4 実験

## 4.1 実験設定

3.1 節と 3.2 節で説明した手法により PMB 3.0.0 の 英語の Gold データと Silver データを書き換える。書き換えを行なった各セットを用い、van Noord et al. (2020) [1] で最も精度が良かった実験設定である、 bi-LSTM エンコーダを 2 つ導入したエンコーダ・デ コーダモデルを用いる。2つのエンコーダのうち一
表 3 実験結果。[11]では ill-formed 数の報告がなかった。「ータイプ $\mathrm{C} 」$ は提案手法」において、タイプ $\mathrm{C}$ の復元 をしなかった場合の値を表す。

方は PMB で与えられたトークナイズされたトーク ン列と意味タグ [13] を交互に並べてエンコーダへ入力し、他方はトークン列を文字ごとに区切って入力 する。

事前学習では Gold Train データと Silver Train デー タを合わせて用い、Gold Dev データでバリデーショ ンを行なう。ファインチューニングでは Gold Train データと Gold Dev データを用いて学習・バリデー ションを行ない、Gold Test データで評価する。一度 の事前学習に対して 5 回のファインチューニングを 施し、それらから得られた値の平均値を結果として 採用する。

評価指標 各実験結果は Counter [14] を用いて得 られる。この評価ツールは出力された句構造 DRS と正解とを比較して、行を単位とする F-scoreなど の評価値を出力する。テストデータ全体の精度は ミクロF-score として求められる。例えば、句構造 DRS が 5 行からなる A と 20 行からなる B があると する。ある DRS 意味解析器が A に対しては正解と まったく同じ出力をしたのに対し、Bに対しては何 らかのエラーにより一切の出力がなかった。このと き、Counter が出力する値は各々の F-score の平均值 $(1+0) / 2=0.5$ ではなく、行数によって重み付けさ れて計算された F-score である $(5+0) /(5+20)=0.2$ である。

## 4.2 結果と分析

表 3 に結果を示す。[1] が報告した値 89.3 と比較 し、我々の手法を用いることでより高い精度であ る89.9を達成した。一方で、出力された相対句形式 DRS が ill-formed であったものの数は [1] と比較し て増加した。ここで相対句形式 DRS が ill-formed で あるとは、表 2 のいずれにも当てはまらない行が存在したり、変数の相対参照に失敗したりするなどで 正しい句形式 DRS に変換できないことを表す。表 4 事前学習時間、消費 GPUメモリ、語彙数の比較。先行研究の各值は再現実験で得られた値である。

 &  & 語彙数 \\

提案手法 & $\mathbf{1 8 6}$ & $\mathbf{8 . 9 8}$ & $\mathbf{1 , 0 8 1}$ \\
差異の割合 & $21.5 \%$ & $41.3 \%$ & $90.5 \%$ \\

アブレーション実験 表 3 の下 2 行はアブレー ション実験の結果を示している。これはタイプ C （3.1 節）とタイプ D（3.2 節）の書き換えそれぞれが どの程度精度上昇に寄与したかを示すものである。表 3 によると、タイプ C の書き換えは約 15\%、タ イプD は約 5\% の精度上昇をもたらしたことが観察 できる。

事前学習時間、消費 GPU メモリ、語彙数の比較表 4 に実験を行なった際の各指標を示す。我々の提案手法は精度上昇のみならず、事前学習時間を約 $20 \%$ 以上減、GPUメモリの消費量を約 $40 \%$ 以上減 し、特に語彙数は $90 \%$ 以上減を達成した。

未知語に関する分析 [1] と提案手法の 5 回の予測のうちそれぞれ一つを抽出し比較したところ、[1] で未知語であることを示す @@UNKNOWN@@ トークンは 250 個出力されていたが、そのうち提案手法におい て正しく予測されたトークンは 233 個であった。

ill-formed 数に関する分析 ill-formed になった ケースは量化や否定など、学習データが不十分な言語現象を含むものが多くを占めた。特に、一度でも ill-formed になった 31 ケースのうち、接続や量化を 示す意味タグ ANDをもつものは 10 ケース存在して いた。

## 5 おわりに

本研究ではDRS の意味解析に着目し、句形式 DRS において文と共通する DRS トークンを出現位置トークンに置き換える手法を試みた。実験の結果、出力語彙数が大幅に減少したことにより、既存手法と比較し有意な精度上昇が見られ、さらに事前学習時間とGPUメモリの消費量も減少した。

今後は、PMBに含まれる英語以外の言語に対し て、語彙数を抑制するアプローチを試みる予定であ る。また、DRS 意味解析以外の意味解析タスクへの 応用なども考えられる。

## 謝辞

本研究は JST さきがけ JPMJPR21C8 の支援を受け たものである。

## 参考文献

[1] Rik van Noord, Antonio Toral, and Johan Bos. Characterlevel representations improve DRS-based semantic parsing even in the age of BERT. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4587-4603, Online, 2020. Association for Computational Linguistics.

[2] Hans Kamp and Uwe Reyle. From Discourse to Logic. Springer, Dordrecht, 1993.

[3] Rik van Noord, Lasha Abzianidze, Antonio Toral, and Johan Bos. Exploring neural methods for parsing discourse representation structures. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 619633, 2018.

[4] Lasha Abzianidze, Johannes Bjerva, Kilian Evang, Hessel Haagsma, Rik van Noord, Pierre Ludmann, Duc-Duy Nguyen, and Johan Bos. The Parallel Meaning Bank: Towards a multilingual corpus of translations annotated with compositional meaning representations. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 242-247, Valencia, Spain, 2017. Association for Computational Linguistics.

[5] 谷中瞳, 峯島宏次, 山田彬克, 山口悠, 窪田悠介, Lasha Abzianidze, Johan Bos. 多言語統語・意味情報コーパ ス Parallel Meaning Bank 日本語版の構築. 言語処理学会 第 26 回年次大会. 言語処理学会年次大会発表論文集, 2020 .

[6] Hajime Wada and Nicholas Asher. BUILDRS: An implementation of DR theory and LFG. In Proceedings of Coling 1986 Volume 1: The 11th International Conference on Computational Linguistics, 1986.

[7] Johan Bos. Wide-coverage semantic analysis with Boxer. In Proceedings of Semantics in Text Processing. STEP 2008 Conference, pp. 277-286. College Publications, 2008.

[8] Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural computation, Vol. 9, pp. 1735-80, 1997.

[9] Federico Fancellu, Sorcha Gilroy, Adam Lopez, and Mirella Lapata. Semantic graph parsing with recurrent neural network DAG grammars. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2769-2778, Hong Kong, China, 2019. Association for Computational Linguistics.

[10] Wessel Poelman, Rik van Noord, and Johan Bos. Transparent semantic parsing with Universal Dependencies using graph transformations. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 4186-4192, Gyeongju, Republic of Korea, 2022.
International Committee on Computational Linguistics.

[11] Minxing Shen and Kilian Evang. DRS parsing as sequence labeling. In Proceedings of the 11th Joint Conference on Lexical and Computational Semantics, pp. 213225, Seattle, Washington, 2022. Association for Computational Linguistics.

[12] George A. Miller. Wordnet: A lexical database for english. Commun. ACM, Vol. 38, No. 11, p. 39-41, 1995.

[13] Lasha Abzianidze and Johan Bos. Towards universal semantic tagging. In Proceedings of the 12th International Conference on Computational Semantics, 2017.

[14] Rik van Noord, Lasha Abzianidze, Hessel Haagsma, and Johan Bos. Evaluating scoped meaning representations. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, 2018. European Language Resources Association (ELRA).
 黒澤 友哉 谷中瞳 東京大学 \{kurosawa-tomoya, hyanaka\}@is.s.u-tokyo.ac.jp  