# 明治維新期以降の日本の流行歌における 歌詞のアクセントと旋律の分析

森口 桃歌 1 河瀬 彰宏 1
1 同志社大学文化情報学部
\{moriguchi.momoka, kawase\}@dh.doshisha.ac.jp

## 概要

一般に，歌を伴う音楽において，歌詞の文節と旋律の拍節との間に不一致があるとき，歌詞が聞き取 りにくくなる.これまでに，日本の歌謡曲・J-POP の歌詞のアクセントと旋律の関係や，この関係性の 経年変化については実証的に明らかにされてこな かった. 本研究では，日本の流行歌における，歌詞 のアクセントと旋律の関係の変遷を明らかにするこ とを目的とし，1868 年から 2010 年までの期間の計 647 曲に対して, 計量的な観点からアクセントと旋律の関係性を比較した. 分析の結果，1910-30 年代, 70-90 年代, 2000 年代では, アクセントと旋律の関係が異なる傾向にあることを明らかにした.

## 1 はじめに

## 1.1 背景

一般に，歌を伴う音楽においては，歌詞の文節と メロディの拍節との間に不一致があるとき，聞き取 りにくさや歌いにくさが生じる．村尾・疇地 (1998) によれば，このような文節と拍節の不一致に対し て, 中高年の人々は, 違和感をおぼえるという [1].山崎（2017）は，昨今のポピュラー音楽において歌詞が聞き取りにくい場合に，日常会話の言葉の抑揚 や文節の区切りと音楽の間に乘離があることが原因 であると考察している. その一方で，民謡やわらべ 歌，歌謡曲は音韻とメロディが一致しており，歌詞 が聞き取りやすいと考察している [2]. 北村 (2006) は，2000 年頃の日本語のポップスが英語らしいリズ ムや音に聞こえることを指摘している. 元々の日本語の歌は，1つの音符に対して 1 拍で歌われていた. しかし, 英語圈の音楽の影響から，1つの音符に対 して 2 拍で歌ったり, 本来は 2 拍の単語が二重母音化したり，韻を踏んだりした歌が増加している傾向
を指摘している。また，それが従来の日本歌謡には ない新鮮さを感じさせ，歌がかっこよく聞こえ，日本語らしくない歌が流行する要因のひとつであると 考察した [3].

## 1.2 関連研究

堤・平賀（2014）は，日本語の歌詞を持つ音楽に おいて，言葉の本来の抑揚や律動がメロディに影響 をもたらす可能性があると考えた．そして，唱歌と 童謡を対象に，日本語の歌詞のアクセントと旋律の 関係の分析を行った. アクセントの高低と旋律の上下を照合した結果，唱歌と童謡のジャンルでは，ア クセントと旋律の一致度は比較的高く, 歌いやすい ことが示唆された [4]. 鈴木（2016）は，山田耕笮が 提唱した「アクセント理論」[5]が作品の中でどれだ け実践されていたかを，山田の歌曲 136 曲を対象に 分析した.「アクセント理論」とは, 日本語のアク セントと旋律の一致を考え出した山田の作曲理論の ことである．対象の 136 曲を開始期（1910 年），懐疑期（1911-1916年），提唱期（1917-1926年），熟期（1927 年以降）の 4 期に区分し，提唱期を転換期 として分析を行った. その結果, 提唱期以降，「ア クセント理論」に従った作品が徐々に主流となって いたことを確認した [6]. 疇地（2007）は，1960 年代から 1990 年代までの流行歌・J-POP の歌詞の音数律の変遷や，各年代のリズムの特徵を明らかにする ために, わらべ歌の典型リズムとの比較を行った. その結果, 1960 年代はわらべ歌の典型リズムに沿う ものが主流であったが，1970 年代以降，わらべ歌の 典型リズムとは異なる，新しいパターンが使用され ていたことを明らかにした [7].

以上の研究から，日本の歌謡の歌詞の聞き取りや すさ, 歌いやすさについて, 旋律とアクセントに着眼した場合に，年々聞き取りにくかったり，歌いに くかったりする楽曲が時代とともに増加している

ことが指摘されてきた。そして，複数の事例研究に おいて，日本の歌謡曲・J-POP における歌詞と音価 の関係や，童謡・唱歌における歌詞のアクセントと 旋律の関係が確認されてきた. しかし，日本の歌謡曲・J-POP の歌詞のアクセントと旋律の関係や，こ の関係の経年変化については，実証的な観点から は，明らかにされてこなかった。本研究の目的は，日本の流行歌における，歌詞のアクセントと旋律の 関係の時代的変遷を明らかにすることである. 本研究を通じて，アクセントと旋律の当てはまり方がど のような法則に基づき変容してきたかが明らかにな ることで，歌詞の聞き取りやすさに関する判断指標 が得られるものと考えられる. とりわけ，堤・平賀 (2014)[4] が提示した，童謡や唱歌といった他ジャン ルとの比較の可能性や, 山田耕笮の「アクセント理論」[5]をより精緻にモデル化することに寄与する と考えられる。

## 2 分析方法

## 2.1 分析データ

本研究では,『日本のうた』（1998-2014）の第 1 集 から第 9 集に収録されている 1868 年から 2010 年ま での楽曲から, 各年代 5 曲ずつを選出した, 計 647 曲を扱った. 本研究は, 経年変化を明らかにするた めに，1868 年から 2010 年までを表 1 に示した 13 期 の年代に区分した.

## 2.2 分析手順の概略

本研究では，日本の流行歌における，歌詞のアク セントと旋律の関係の時代変遷を明らかにするため に，以下の手順で分析を実施した:

1. 楽譜作成アプリケーション MuseScore3を用い て，『日本のうた』第 1-9 集に収録されている 楽譜の主旋律と歌詞を入力し, MusicXML 形式 のデータを作成した。

2. MusicXML データに対して，旋律データの音高 から高低差を算出し, 歌詞データの形態論情報 との対応関係をデータベース上でマージした。歌詞データの解析には，MeCab 0.9964，2021 年 12 月 1 日時点の mecab-ipadic-neologd を用いた.

3.『新明解アクセント辞典』を用いて，歌詞デー タに出現する名詞のアクセントの高低を参照 し，旋律の上行・下行と対照することで，アク セントと旋律の完全一致，一致，不一致の頻度
を集計した。

4. 年代ごとに使用されるアクセントの高低と旋律 の一致の大小関係を明らかにするために，アク セントと旋律の一致傾向を年代ごとに区分した クロス集計表を作成し， $\chi^{2}$ 検定の残差分析を実施した。

5. 各年代とアクセント型, 一致の頻度の対応関係 を明らかにするために，年代・アクセント型・一致傾向の 3 項目間に対して，多重対応分析を 実施した。

## 2.3 アクセントの抽出方法

本研究では，歌詞データに出現する名詞に対し て，アクセントの高低を入手するために，『新明解 日本語アクセント辞典』を参照し，名詞を平板型・尾高型・中高型・頭高型の 4 つのアクセント型 に分類した. そして，アクセントの高低が変化する 箇所と，旋律の上下の一致度を求めた. ただし，ア クセントの種類が複数存在する語，辞書に未掲載の 語， 1 拍の語は，集計対象から除外した.

日本語の撥音・促音・長音は，カナ 2 字で 1 拍と 数えるが，本研究では，堤・平賀 (2014) [4] と同様 に，カナ 2 字の撥音・促音・長音については，2 拍と して集計した。仮に，撥音・促音・長音に対して，1 つの音符に 2 拍分の文字が割り当てられた場合， 1 つの音符を分割して撥音・促音・長音部にも同じ高 さの音を割り当てた．また，カナ 1 字に対して，2 つ以上の音が割り当てられている場合， 2 つ目以降 の音は考慮せず，1つ目の音のみを扱った。

## 2.4 音程一致, 不一致の判断方法

アクセントと旋律の一致，不一致は，堤・平賀 (2014)[4] に基づき，完全一致，一致，不一致の 3 段階に区分して判断した. 完全一致とは，アクセント が変化するとき，音高も同じように変化しているも のである。一致とは，アクセントが変化するとき，音高は変化しないものである. 不一致とは，アクセ ントが変化するとき，アクセントの変化に逆らって 音高が変化するものである。

## 3 分析結果

## 3.1 アクセントと旋律の一致度の結果

年代と完全一致・一致・不一致の頻度に対して, $\chi^{2}$ 検定の残差分析を行った結果を表 1 に示した.

表 1 について， $\chi^{2}=84.36, p<0.05$ となり，有意水準 $\alpha=0.05$ を大きく下回ったため，年代ごとでアク セントと旋律の一致度に差があることが明らかに なった. ただし, 効果量として, Cramerの連関係数 $V=0.103$ となり，関連が弱かった. 表 1 において，調整済み残差の絶対値が 1.96 よりも大きい値につ いて，有意に多いものを $\boldsymbol{\Delta}$ ，有意に少ないものを $\nabla$ を用いて示した。

残差分析の結果，歌詞のアクセントと旋律の上下 について，完全一致する傾向は，1916 年から 1935 年までは有意に多く，1896 年から 1905 年，1976 年 から 1995 年までは有意に少なかった。一致する傾向は，1896 年から 1905 年，1986 年から 1995 年は 有意に多く，1926 年から 1935 年，1946 年から 1955 年，1966 年から 1975 年までの断続的な時期におい て有意に少なかった. 不一致の傾向は，1916 年から 1925 年，1956 年から 1965 年までが有意に少なく,唯一 2006 年から 2010 年において有意に多かった.

## 3.2 多重対応分析の結果

図 1 は，年代・アクセント型・一致傾向の 3 項目間に対して，多重対応分析を実施した 2 次元プロッ トの結果である. 図中の青文字は年代，赤文字はア クセント型，緑文字は一致の判断を示している。 2 軸の累積寄与率は， $20.33 \%$ であった。

図 1 より，中高型アクセントは，原点から離れて おり，近接する 1966 年から 1975 年, 1976 年から 1985 年との関連が読み取れた. また, 尾高型アクセ ントは，1916 年から 1925 年と関連があること，一

図1 多重対応分析の結果

致傾向について，一致と 1936 年から 1945 年， 1986 年から 1995 年の各年代との関連が読み取れた。不一致の傾向については，2 次元プロットの中心にあ ることから，大小の偏りが小さいことが視覚的に確認できた。

## 4 考察

$\chi^{2}$ 検定の残差分析の結果より，1916 年以前の楽曲では，アクセントと旋律の上下の一致を意識した 作曲がなされていなかった状況が推測できる。しか し，1896 年から 1905 年にかけてアクセントと旋律 の上下が完全に一致する傾向が少なかったものの，部分的に一致する傾向が多かったことから，この時期の楽曲には，歌詞が聞き取りにくい，いわゆる不自然な拍節が用いられる楽曲が少なかったと考えら れる。 そして，1916 年から 1935 年にかけて，アク セントと旋律を一致させた楽曲が多いことが明らか になった. 鈴木（2016）[6] は，この時期の山田耕筰 の創作傾向として「アクセント理論」に従う楽曲が 徐々に増加していたことを指摘していたが，本研究 の分析結果から，その傾向は，山田作品に限定され ず，1917 年以降の歌謡曲についても適用されてお り，アクセントと旋律を一致させようとした楽曲が 時代の潮流であったことが明らかになった。

1976 年以降には，アクセントと旋律が完全に一致する楽曲が減少する傾向が確認された。この現象 は，北村（2006）[3] や山崎（2017）[2] が指摘する ように，1970 年以降に日本語を英語らしく歌う楽曲 が増加したこと，疇地（2007）[7] が示したリズムパ ターンの変化とも相互に関係していると考えられ る. 特に，アクセントと旋律の一致が減少したこと は，当時の楽曲の歌詞の聞き取りにくさに影響して

いたと考えられる。

また, 1896 年から 1935 年にかけてアクセントと 旋律が一致した楽曲が主流だった時代があり，その 後，1936 年以降に一致した楽曲が減り，1976 年以降さらに減ったことが明らかになった。このことか ら，アクセントと旋律の不一致も，歌詞の聞き取り にくさと関連があると考えられる. しかし, 1986年 から 1995 年において，アクセントと旋律が一致す る楽曲が一時的に多いことがわかった. とりわけ,中高型アクセント（第 1 拍が低く，その後は高くな り，語が終わる前に低くなるアクセント）の一致が 多かったことから，1986 年から 1995 年の歌謡曲・ J-POP は，1985 年までに創作された聞き取りにくい 歌詞を回避するように，旋律の上下の変化が少ない 楽曲が多く創作されていると考えられる。

## 5 おわりに

## 5.1 結論

本研究では, 日本の流行歌における歌詞のアクセ ントと旋律の関係の時代的変遷を明らかにするた めに，『日本のうた』（野ばら社）の全 9 集から抽出 した計 647 曲を対象に分析を害施した. その結果, 1916 年以前は，アクセントと旋律を一致させること を意識した楽曲が少ないことがわかった. 1896 年 から 1905 年にかけて, 聞き取りやすさという点で,不自然な楽曲は少なかったことが明らかになった. 1916 年から 1935 年の間は，アクセントと旋律が完全に一致する楽曲が多いことから，アクセントと旋律を一致させることを意識的に重視した楽曲が多 かったことが明らかになった. 1976 年以降は，アク セントと旋律が一致する楽曲が減少し，歌詞が聞き 取りにくい楽曲が多いことが明らかになった. しか し, 1986 年から 1995 年にかけて, アクセントと旋律が一致した楽曲が一時的に増加したことから，ア クセントに対して，旋律の上下の変化があまり生じ ない歌詞が当てられている傾向があったことがわ かった.

## 5.2 今後の課題

本研究では，1868 年から 2010 年までの日本の流行歌のアクセントと旋律の関係の変遷について明ら かにできた. 本研究は，年代比較を行ったが，ジャ ンル比較を行うことで，ジャンルごとでのアクセン トの違いや，歌い方の差異など，新しい視点での結果が得られると考えられる。また，本研究は『日本 のうた』に掲載されている楽曲の一部を抜粋したた め, 曲数をさらに増やし, 年代区分を多く設けるこ とによって，より詳細な経年変化を追うことができ るものと考えられる。

本研究は，日本語の名詞に限定して分析を行った が，80 年代に多用されてきた日本語以外の語彙につ いても対象の範囲を広げることにより，日本音楽に おける歌詞と旋律の対応関係について，精緻な結果 が得られるものと考えられる。

## 謝辞

本研究は，JSPS 科研費 18K18336，21K12587 の助成を受けた. また, 本研究の実施にあたり, ご協力 をいただいた同志社大学文化情報学部の波多野賢治教授と伊藤紀子准教授に謝意を表する.

## 参考文献

[1] 村尾忠廣, 疇地希美. 90 年代おじさんの歌えない若者 の歌その 2一弱化モーラによる配字シンコペーショ ンとおじさんの音楽情報処理. 情報処理学会研究報告音楽情報科学, Vol. 98, No. 74, pp. 31-38, 1998.

[2] 山崎晶. ポピュラー音楽の歌詞における意味内容の変化一音韻論とメディア論の観点から一. 人間学研究, Vol. 17, pp. 1-11, 2017.

[3] 北村美樹. J-pop の音韻的考察. 中京英文学, No. 26, pp. $1-23,2006$.

[4] 堤彩香, 平賀譲. 日本語の音韻と旋律の関係につい て〜童謡・唱歌を中心に. 情報処理学会研究報告音楽情報科学, Vol. 105, No. 5, pp. 1-6, 2014.

[5] 山田耕筰 (後藤暢子, 團伊玖磨, 遠山一行編). 山田耕筰著作全集 2. 岩波書店, 2001.

[6] 鈴木亜矢子. 山田耕筰の日本歌曲とアクセント理論 : 一演奏の視点からみた分析一. 東京音楽大学大学院論文集, Vol. 1, No. 2, pp. 90-106, 2016.

[7] 疇地希美. J-pop: リズムと歌詞の入れ込みのルール の変遷. 音楽教育実践ジャーナル, Vol. 5 , No. $1, \mathrm{pp}$. 25-31, 2007.


# Universal Graph based Relation Extraction

Qin Dai $^{1}$, Benjamin Heinzerling ${ }^{2}$, Kentaro Inui ${ }^{1,2}$
${ }^{1}$ Tohoku University, Japan
${ }^{2}$ RIKEN Center for Advanced Intelligence Project, Japan
\{daiqin, inui\}@ecei.tohoku.ac.jp
\{benjamin.heinzerling\}@riken.jp
}

\begin{abstract}
This paper explores how the Distantly Supervised Relation Extraction (DS-RE) can benefit from the use of a Universal Graph (UG), the combination of a Knowledge Graph (KG) and a large-scale text collection. Specifically, authors always omit the Background Knowledge (BK) that they assume is well known by human readers, but would be essential for a machine to identify relations between entities. To address this issue, existing work utilizes reasoning paths over a KG as BK to fill the "gaps" for DS-RE. However, KGs are often highly incomplete, and this could hinder their effectiveness. To tackle the sparsity problem of the KGbased paths, we propose to leverage multi-hop paths over a UG as extra evidences for DS-RE. To effectively utilize UG for DS-RE, we also propose two training strategies: (1) Path Type Adaptive Pretraining, and (2) Path Type-wise Local Loss. Experimental results on the commonly used NYT10 dataset prove the robustness of our methods and achieve a new state-ofthe-art result on the dataset. The DS-RE toolkit based on this work is available at https:// github.com/baodaiqin/UKG-RE.
\end{abstract
## 1 Introduction

Relation Extraction (RE) is an important task in Natural Language Processing (NLP). RE can be formulated as a classification task to predict a predefined relation $r$ from entity pair $\left(e_{1}, e_{2}\right)$ annotated evidences such as 1 and 2 .

One obstacle that is encountered when building a RE system is the generation of a large amount of manually annotated training instances, which is expensive and time-consuming. For coping with this difficulty, Mintz et al. (2009) propose Distant Supervision (DS) to automatically generate training samples via linking KGs to texts. They assume that if a relation triplet $\left(e_{1}, r, e_{2}\right)$ is in a $\mathrm{KG}$, then all sentences that contain $\left(e_{1}, e_{2}\right)$ (hereafter, sentence evidences) express the relation $r$. It is well known that the DS assumption is too strong and inevitably accompanies the wrong labeling problem, such as the sentence evidences (1 and 2) below, which fail to explicitly express may_treat and place_lived relation.

(1) To evaluate initial combination therapy with metformin plus Colesevelam $\mathbf{H C I}_{e_{1}}$, in drug-naive Hispanic patients with Type 2 Diabetes $_{e_{2}} \ldots$

(2) He is now finishing a documentary about Winnipeg $_{e_{2}}$, the final installment of a personal trilogy that began with "Cowards Bend the Knee" (a 2003 film that also featured a hapless hero named Guy Maddin ${ }_{e_{1}}$ ).

Therefore, there could be a large portion of entity pairs that lack such informative sentence evidences that explicitly express their relation. This makes Distantly Supervised Relation Extraction (DS-RE) further challenging (Sun et al., 2019).

For compensating the lack of informative sentence evidences, Quirk and Poon (2017) utilize syntactic information to extract relation from neighboring sentences. Zeng et al. (2017) apply two-hop textual paths as extra evidences for DS-RE. Recently, Dai et al. (2019) utilize multi-hop paths connecting a target entity pair (hereafter, path) over a KG as extra evidences for DS-RE and report a significant performance gain. An example of such multi-hop KG path can be seen in Figure 1, where $p_{1}$ depicts a multi-hop KG path of the form of $e_{1}$ $\xrightarrow{\text { component_of }} e_{3} \xrightarrow{\text { may_treat }} e_{2}$. The $\mathrm{KG}$ path is used for predicting the relation between a target entity pair $\left(e_{1}, e_{2}\right)$, which is not explicitly described in the sentence evidence 1. However, KGs are often highly incomplete (Min et al., 2013) and may be too sparse to provide enough informative paths

Figure 1: Overview of our UG-based framework, where Colesevelam HCl and Type 2 Diabetes are the target entities, COLESEVELAM ..., Colestipol and hyperglyceridemia are intermediate entities, each UG path consists of multiple hops and each hop represents a KG relation (such as "Colestipol may treat hyperglyceridemia") or Text (or Textual) relation (such as TR1 and TR2), which is the sentence containing two (target or intermediate) entities.

in practice, which may hamper the effectiveness of multi-hop paths.

Given this background, this work proposes to utilize multi-hop paths over a Universal Graph (UG) as extra evidences for DS-RE. Here, we define a $\mathrm{UG}$ as a joint graph representation of both KG and a large text collection (hereafter, Text), where each node represents an entity from KG or Text, and each edge indicates a KG relation or Textual relation, as shown in Figure 1. The path $p_{2}$ in the figure is an example of UG path, comprising a textual edge TR1, a KG edge may_treat, and another textual edge TR2. By augmenting the original $\mathrm{KG}$ with textual edges, one can expect far more chances to find informative path evidences between any given target entity pairs, because the number of such textual edges is likely to be much larger than the number of KG edges (Note that one can collect as many textual edges as needed from a raw text corpus with an entity linker). Extending a KG to a UG, therefore, may allow a DS-RE model to learn richer distant supervision signals.

Motivated by this, in this work, we address how one can make effective use of UG for DS-RE. How- ever, we observe that a straightforward extension of the KG based model (Dai et al., 2019) to the UG setting tends to allocate the majority of attention to only a limited set of UG paths such as short KG paths and miss out the learning from a wide range of UG paths ( $\S 3.1$ ), which hinders performance gain. In order to alleviate the negative effect of the attention bias, we propose two training (or debiasing) strategies: (1) Path Type Adaptive Pretraining (\$3.2); and (2) Path Type-wise Local Loss (\$3.3). Experimental results on the commonly used NYT10 (Riedel et al., 2010) datasets prove that: (1) UG paths have the potential to bring performance gain for DS-RE as compared with the KG paths; (2) the proposed training methods are effective to fully exploit the potential of UG paths for DS-RE because the proposed methods significantly and consistently outperform several baselines and achieve a new state-of-the-art result on the dataset. The DS-RE toolkit based on this work is available at https://github.com/baodaiqin/UKG-RE.

Figure 2: Path type and attention

Figure 3: Average attention weights across different path types.

## 2 Base Model

We select the DS-RE model proposed by Dai et al. (2019) as our base model and extend it into our UG setting. Given a target entity pair $\left(e_{1}, e_{2}\right)$, a bag of corresponding sentence evidences $S_{r}=\left.\{s_{1}, \ldots, s_{n}\right.\}$ and a bag of UG paths $P_{r}=$ $\left.\{p_{1}, \ldots, p_{m}\right.\}$, the base model aims to measure the probability of $\left(e_{1}, e_{2}\right)$ having a predefined relation $r$ (including the empty relation NA). The base model consists of four main modules: KG Encoder, Sentence Evidence Encoder, Path Evidence Encoder and Relation Classification Layer, as shown in Figure 1 (Please see the paper (Dai et al., 2021) for details.)

## 3 Proposed Method

## 3.1 Problem of Attention Bias

While extending the KG-based base model (Dai et al., 2019) into UG setting, we observe that the base model tends to allocate more attention to KG paths as compared to Textual paths (i.e., the path comes form Text) and Hybrid paths (i.e., the path comes from both Text and KG), as shown in Figure 3. We consider that this would be because paths including Textual relations (i.e., Textual and Hybrid paths) are comparatively much more implicit than KG paths, but which does not necessarily mean the former is not useful. For instance, in Figure 1, the complex Hybrid path $p_{2}$ is useful for predicting (Colesevelam_HCl, may_treat, Type_2_Diabetes), because $p_{2}$ implies a plausible line of reasoning " Colesevelam $\mathbf{H C l}$ alternative_to Colestipol may_treat hyperglyceridemia strong_link_to Type 2 _Diabetes". However, due to the attention bias mentioned above, the base model allocates low attention $\left(a_{2}^{\prime} \approx\right.$

Figure 4: Average attention weights across different path types.

$\left.8.0 \times 10^{-36}\right)$ on the informative path, and thus fails to learn from such implicit but useful evidences.

## 3.2 Path Type Adaptive Pretraining

As shown in Figure 3, the base model tends to bias toward KG paths. This indicates that the base model mainly relies on KG paths, as a result, it is incapable of capturing informative features from Textual and Hybrid paths.

To address this issue, we propose a debiasing strategy called Path Type Adaptive Pretraining. In this strategy, we pretrain the base model sequentially using Textual, Hybrid, and KG Paths as path evidences, and then finetune it with all types of UG paths (see the paper (Dai et al., 2021) for details).

## 3.3 Path Type-wise Local Loss Training

Similarly, we also propose another training strategy called Path Type-wise Local Loss to reduce the negative effect of the attention bias. As shown in Figure 4. the path type-wise local loss measures the cross-entropy between the prediction from each type of UG paths (e.g., Hybrid path) and the target relation (e.g., place_lived). We denote this loss as $L_{\text {type }}$ (e.g., $L_{\text {Hybrid }}$ ) and calculate it via Equation 1,

$
L_{\text {type }}=\operatorname{CrossEntropy}\left(Y, W^{T} H_{\text {type }}\right)
$

where $W$ is the representation matrix of relations with width equal to the number of relations and height equal to path feature dimension, $Y$ is matrix of one-hot encoded target relations and $H$ is the feature of one type of UG paths (e.g., $H_{\text {Hybrid }}$ ).

The overall loss of the UG based DS-RE model (denoted as $L$ ) consists of the entire UG path loss $\left(L_{U G}\right)$, KG path loss $\left(L_{K G}\right)$, Textual path loss ( $\left.L_{\text {Textual }}\right)$ and Hybrid path $\operatorname{loss}\left(L_{\text {Hybrid }}\right)$, which

Figure 5: Precision-Recall curves on NYT10 dataset, where "Sent+KG" is the base model, which uses both sentence evidences and KG paths. "Sent+UG" is the extension of KG paths with UG paths, "Sent+UG+Pretrian" represents the pretraining strategy described in S3.2, "Type-wise LocLoss" does the training strategy described in S3.3, and "AUC" denotes the area under curve.

Figure 6: Precision-Recall curves of previous sate-ofthe-art methods and our proposed model on NYT10 dataset.

is calculated via Equation 2, where $\beta$ is a hyperparameter denoting the weight of each loss.

$
L=L_{U G}+\beta_{1} L_{K G}+\beta_{2} L_{\text {Textual }}+\beta_{3} L_{\text {Hybrid }}
$

## 4 Experiments

## 4.1 Data

We evaluate our proposed framework on the NYT10 dataset (Riedel et al., 2010). The statistics of the dataset is summarized in Table 1 in Appendix (see the paper (Dai et al., 2021) for details).

## 4.2 Results and Discussion

The results shown in Figure 5 indicate that: (1) "Sent+UG" does not have obvious advantages than "Sent+KG", illustrating that due to the biases discussed in $\$ 3.1$, simply applying UG paths on the base model has limited effect on performance gain; (2) our proposed training strategies "Sent+UG+Pretrain" and "Type-wise LocLoss" can effectively take advantage of the rich UG paths for DS-RE because they beat the strong baseline "Sent+KG" on the commonly used DS-RE dataset. In addition, although "Type-wise LocLoss" and "Sent+UG+Pretrain" are equally effective, the former has better operability in practice, because the former could avoid retraining whenever new UG paths comes. Case Study please see Appendix for case study.

## Comparison with State-of-the-art Baselines

on NYT10. To demonstrate the effectiveness of our proposed model, we also compare it against the following baselines on NYT10 dataset: Mintz (Mintz et al., 2009), MultiR (Hoffmann et al., 2011), MIMLRE (Surdeanu et al., 2012), PCNN (Zeng et al., 2015), PCNN+ATT (Lin et al., 2016), BGWA (Jat et al., 2018), PCNN+HATT (Han et al., 2018), RESIDE (Vashishth et al., 2018), DISTRE (Alt et al., 2019), Sent+KG (Dai et al., 2019) and UGDSRE (Dai et al., 2021). The results shown in Figure 6 indicate that: our model (i.e., "Typewise LocLoss") can effectively take advantage of the rich UG paths for DS-RE because it beats several strong baselines and achieves a new state-ofthe-art AUC score, especially when the recall is greater than 0.4 on the commonly used DS-RE dataset.

Broad Impact. Reasoning over UG (i.e., the combination of $\mathrm{KG}$ and textual corpus) has profound effects on many NLP applications and AI systems, because different from the manually created KG, textual corpus contains tremendous amount of relational facts that are absent in the KG. This work could be seen as a very preliminary attempt towards exploiting the potential of UG-based reasoning for a subtask of NLP.

## 5 Conclusion

We have introduced UG paths as extra evidences for the task of DS-RE from text. In order to fully take advantage of the rich UG paths, we have proposed two training (or debiasing) strategies: Path Type Adaptive Pretraining and Path Type-wise Local Loss Training. We have conducted experiments on NYT10 datasets and the results show the effectiveness of our framework for DS-RE.

## Acknowledgement

This work was supported by JST CREST Grant Number JPMJCR20D2, Japan.

## References

Christoph Alt, Marc Hübner, and Leonhard Hennig. 2019. Fine-tuning pre-trained transformer language models to distantly supervised relation extraction. arXiv preprint arXiv:1906.08646.

Qin Dai, Naoya Inoue, Paul Reisert, Takahashi Ryo, and Kentaro Inui. 2019. Incorporating chains of reasoning over knowledge graph for distantly supervised biomedical knowledge acquisition. In Proceedings of the 33nd Pacific Asia Conference on Language, Information and Computation (PACLIC33), pages 19-28, Hakodate, Japan. Waseda Institute for the Study of Language and Information.

Qin Dai, Naoya Inoue, Ryo Takahashi, and Kentaro Inui. 2021. Two training strategies for improving relation extraction over universal graph. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pages 3673-3684.

Xu Han, Pengfei Yu, Zhiyuan Liu, Maosong Sun, and Peng Li. 2018. Hierarchical relation extraction with coarse-to-fine grained attention. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 2236-2245.

Raphael Hoffmann, Congle Zhang, Xiao Ling, Luke Zettlemoyer, and Daniel S Weld. 2011. Knowledgebased weak supervision for information extraction of overlapping relations. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies-Volume 1, pages 541-550. Association for Computational Linguistics.

Sharmistha Jat, Siddhesh Khandelwal, and Partha Talukdar. 2018. Improving distantly supervised relation extraction using word and entity based attention. arXiv preprint arXiv:1804.06987.

Yankai Lin, Shiqi Shen, Zhiyuan Liu, Huanbo Luan, and Maosong Sun. 2016. Neural relation extraction with selective attention over instances. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), volume 1, pages 2124-2133.

Bonan Min, Ralph Grishman, Li Wan, Chang Wang, and David Gondek. 2013. Distant supervision for relation extraction with an incomplete knowledge base In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 777-782.
Mike Mintz, Steven Bills, Rion Snow, and Dan Jurafsky. 2009. Distant supervision for relation extraction without labeled data. In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP: Volume 2-Volume 2, pages 1003-1011. Association for Computational Linguistics.

Chris Quirk and Hoifung Poon. 2017. Distant supervision for relation extraction beyond the sentence boundary. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pages 1171-1182.

Sebastian Riedel, Limin Yao, and Andrew McCallum. 2010. Modeling relations and their mentions without labeled text. In Joint European Conference on Machine Learning and Knowledge Discovery in Databases, pages 148-163. Springer.

Huan Sun et al. 2019. Leveraging 2-hop distant supervision from table entity pairs for relation extraction. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 410-420.

Mihai Surdeanu, Julie Tibshirani, Ramesh Nallapati, and Christopher D Manning. 2012. Multi-instance multi-label learning for relation extraction. In Proceedings of the 2012 joint conference on empirical methods in natural language processing and computational natural language learning, pages 455-465. Association for Computational Linguistics.

Shikhar Vashishth, Rishabh Joshi, Sai Suman Prayaga, Chiranjib Bhattacharyya, and Partha Talukdar. 2018. Reside: Improving distantly-supervised neural relation extraction using side information. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 1257-1266.

Daojian Zeng, Kang Liu, Yubo Chen, and Jun Zhao. 2015. Distant supervision for relation extraction via piecewise convolutional neural networks. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pages 1753-1762.

Wenyuan Zeng, Yankai Lin, Zhiyuan Liu, and Maosong Sun. 2017. Incorporating relation paths in neural relation extraction. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pages 1768-1777.

## A Appendix

## A. 1 NYT10 Statistics

Table 1: Statistics of datasets in this work, where $\mathbf{R}$ and EP stand for the target Relation and Entity Pair, $\#_{1} / \#_{2}$ represent the number of training and testing data respectively.

## A. 2 Case Study

 \\

Table 2: $\quad$ Some examples of attention distribution over paths from "Sent+UG" (Base) and "Sent+UG+Ranking+Pretrain" (Prop.), where $\mathcal{V}$ (or $\boldsymbol{X}$ ) represents the correct (or incorrect) prediction of the target relation.

We conduct case study on a biomedical dataset (Dai et al., 2021) and NYT10 dataset (Riedel et al., 2010). Table 2 shows the UG path examples that are scored with highest ("High") or lowest (or lower than $1.0 \times 10^{-3}$ ) ("Low") attention by the base model and our proposed framework. The paths in the table generally mean "Beta-2... Gene $\xrightarrow{\text { is_responsible_for }}$ Catecholamine $\xrightarrow{\text { is_the_chemical_class_of }}$ Epinephrine may_treat Asthma" and "San_Francisco $\xrightarrow{\text { contains }} \quad$ Fort_Point $\xrightarrow{\text { equal_status Bay_Area contains }}$ Noe_Valley", and thus can be seen as the useful path evidences for identifying gene_associated_with_disease and /location/contains relation respectively. These examples indicate that our proposed training strategies could help the base model attend such informative UG paths so that it can correctly identify the target relation.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 畳み込みニューラルネットワークを用いた表ラベリングによる 固有表現認識と関係抽出

Youmi Ma 平岡達也 岡崎直観
東京工業大学
\{youmi.ma@nlp., tatsuya.hiraoka@nlp., okazaki@\}c.titech.ac.jp

## 概要

本稿では，BERT に基づく固有表現抽出と関係抽出の新しい手法として，固有表現と関係のラベル を表現する 2 次元の表を画像と見なし，胃み込み ニューラルネットワークを用いて表の要素（ラべ ル）を予測する手法（TabERT-CNN）を提案する。実験結果から，提案手法は既存手法である TabERT と 同程度の性能，すなわち現在の最高性能に匹敵する 性能を示した．また，BERTの内部パラメータを更新しなくても提案手法は高い性能を発揮する一方，既存手法はパラメータ更新を省略すると性能が低下 することから，BERT の内部で固有表現や関係ラべ ルの依存関係を獲得している可能性が示唆される。

## 1 はじめに

固有表現認識（NER）と関係抽出（RE）は，文中 で固有表現に言及している箇所の認識と, 固有表現スパン間の関係を抽出するタスクである。近年， BERT [1] などの事前学習済みモデルから文脈付き埋 め込み表現を取り出し, NER と REに特化した層を 積み重ねることで，性能を向上させた例が多く報告 されている [2,3,4, 5, 6,7]. そのため, NERとREの 研究では, 事前学習済みモデルの上に積み重ねる層 の設計に焦点が当てられる.

NER とREを BERTを用いた表埋め問題（table filling）[8] として解くモデルとして，TabERT が提案された [9]. 表埋めによる NER とRE は, 図 1 に 示すように，表の対角要素に固有表現 (NE), 非対角要素に関係のラベルを予測することで，NER と RE を統一的に解く． TabERT は，BERTをエンコー ダとして用いた埋め込み表現に bi-affine 変換を適用 し，表の非対角要素を同時に予測する。この手法は シンプルでありながら，提案当時の最高性能を達成 した。一方で，予測された関係ラベル間の依存関係

図 1 Table-Filling の概要. セル内の $\perp$ は対応する関係が ないことを示す.

を考慮していない. Maら [9] の論文では関係ラベル の予測の順番を工夫する実験を行ったが，ラベルを 独立に予測する手法と有意な差が生まれなかった。

本稿では, 表埋めにおける要素間の依存関係 を考慮した手法として，TabERT-CNN を提案する。 TabERT-CNN は，2 次元の表のセルを画素，表全体 を画像と見なし，画像・物体認識でよく用いられる 2 次元の畳み込みニューラルネットワーク (CNN) により表埋め行う. BERT の出力に CNN を適用す ることにより，近傍のセルの局所的な情報とラべ ル間の依存関係が考慮されると期待される。また, CNN の層を積み重ねることで，依存関係を考慮で きる範囲を拡張し，離れたセル間の依存関係を取り 込むことができる.

実験では, CoNLL04 [10], ACE051) と ADE [11]デー タセットを用いる。評価実験では，TabERT-CNN は TabERT に匹敵する性能を示したが，両手法の明確な性能差は見られなかった。これは，BERTを NER と RE に適応させるための fine-tuning 過程にお いて，固有表現や関係ラベルの予測に関する依存関係を BERT の内部で獲得しているためであると 考える。この仮説を検証するため，fine-tuning 時に

BERT 内部のパラメータを更新／固定することに よる性能を比較する。 さらに，BERT から埋め込み 表現を取り出す層の位置を変える実験を行う。そ の結果，BERT の内部パラメータを更新しなくても TabERT-CNN は高い性能を発揮する一方で，TabERT 等の手法ではパラメータ更新を行わないと性能の大幅な低下が見られることから，トークンやラベル間 の依存関係が BERT の内部で考慮されている可能性 が示唆される.

## 2 提案手法

NER とREの目的は, 自然文で書かれた単語列 $S=w_{1}, w_{2}, \cdots, w_{n}$ から固有表現と関係の組 $\left(a_{0}\left.\langle t_{0}\right.\rangle, r, a_{1}\left.\langle t_{1}\right.\rangle\right)$ を抽出することである. ただし $a_{0}, a_{1}$ はそれぞれ一つ以上の $w_{i}, i \in\{1, \cdots, n\}$ から なる $\mathrm{NE}$ を表し， $t_{0}, t_{1}$ は $a_{0}, a_{1}$ に対応する $\mathrm{NE}$ ラべ ルである. $r$ は NE の組 $a_{0}, a_{1}$ の関係ラベルを表す. $\mathrm{NE}$ と関係ラベルの集合をそれぞれ， $\mathscr{E} ， \mathscr{R}$ とする.本稿では, TabERT に基づいて表埋め [8]を用いた新 しい手法を提案する. 提案手法の説明の前に，まず TabERTを紹介する。

## 2.1 TabERT

長さ $n$ の入力に対し, $n \times n$ の行列 $\boldsymbol{Y}$ の要素を予測することで，NER とREを同時に解く. 図 1 に 示すように, 行列の対角要素 $Y_{i, i} \in \mathscr{\&}$ は, $i$ 番目の トークンに対応する $\mathrm{NE}$ のラベルを表し, 非対角要素 $Y_{i, j} \in \mathscr{R}$ は, $i$ 番目のトークンから $j$ 番目の トークンへの関係ラベルである。ここで，NE ラベ ルは BILOU 表記 [12] に基づいて付与される. 関係ラベルは向きを区別するものを採用し，行に 対応する要素から列に対応する要素の関係の方向と定義する。また, NE が複数の単語にまたが る場合，NEを構成する全ての単語の要素に対し て関係ラベルを付与する。例えば図 1 では，関係

London) に対応する $Y_{1,5}$ と (Smith, London) に対応す

応する $Y_{5,1}$ と (London, Smith) に対応する $Y_{5,2}$ には LIVEIN が付与される.

TabERT では，表の上三角部分だけを埋めるこ とで NER とREを実行する $[13,14]$. 具体的には， BERT の出力から系列ラベリング問題で NER を解 き，表の対角部分を埋める。この結果を基に，関係 を示す非対角部分を同時に埋める.

## 2.2 TabERT-CNN

提案手法は TabERT [9] と同じく表埋めアーキ テクチャを採用するが，ラベル間の依存関係を 考慮するために 2 次元 CNN を用いる. 提案手法 （TabERT-CNN）は，TabERT と同様に表の上半分を 使い，NE のラベル表記に BILOU 表記を採用する.

単語埋め込みは，事前学習済みの BERT モデルに より生成する. NER や RE でラベリングを行う単位 は単語であるので，既存手法 $[3,9]$ に倣い，単語 $w_{i}$ の埋め込みをそのサブワード $t_{\mathrm{start}(i)}, \cdots, t_{\mathrm{end}(i)}$ の埋 め込みの最大値プーリングとして計算する。

$
\boldsymbol{e}_{w_{i}}:=\max \left(\boldsymbol{e}_{t_{\text {start }(i)}}, \cdots, \boldsymbol{e}_{\operatorname{end}(i)}\right)
$

出力 ( $d_{\mathrm{emb}}$ は出力の要素数), $\max (\cdot)$ は最大值プー リング関数である. 従って， $\boldsymbol{e}_{w_{i}} \in \mathbb{R}^{d_{\mathrm{mb}}}$ である.

予測モデルでは，画像・物体認識で広く用いられ る 2 次元 CNN [15]を，局所的な周辺情報を考慮し た表埋め問題に応用する. 2 次元 CNN で表の各要素の表現をエンコードすることで，カーネルサイズ の範囲にある周辺単語の依存関係を考慮できる. ま た，CNNの層を積み重ねることにより，依存関係を 考慮できる範囲を拡張できる.

具体的には，まず全ての単語対 $\left(w_{i}, w_{j}\right)$ に対し， $w_{i}, w_{j}$ の埋め込みを結合したべクトルを図 1 (右) に示す順に並べ，テンソル $\mathrm{E} \in \mathbb{R}^{n \times n \times d_{\mathrm{emb}}}$ を構築す る.これを $\mathrm{CNN}$ の人力 $\mathrm{H}^{(0)}$ とする.

$
\mathrm{H}_{i, j,:}^{(0)}=\boldsymbol{h}_{i, j}^{(0)}:=\mathrm{E}_{i, j,:}=\left[\boldsymbol{e}_{w_{i}} ; \boldsymbol{e}_{w_{j}}\right] .
$

ここで，[ $[\cdot \cdot]$ はべクトルの連結を表す。表の各要素 $\mathrm{H}_{i, j,:}^{(0)}$ の次元数（チャネル数）は $2 d_{\mathrm{emb}}$ であり,これ を $d_{0}$ と書くことにする。

次に, 前の層の出力から次の層の出力を計算する. $\left(w_{i}, w_{j}\right)$ に対応する $l$ 層目の出力値 $\mathrm{H}_{i, j,:}^{(l)}=\boldsymbol{h}_{i, j}^{(l)} \in \mathbb{R}^{d_{l}}$ は, $l-1$ 層目の出力值 $\mathrm{H}^{(l-1)} \in \mathbb{R}^{n \times n \times d_{l-1}}$ に, サイズ が $d_{h} \times d_{w}$ のカーネル $\mathrm{K}^{(l)} \in \mathbb{R}^{d_{l} \times d_{h} \times d_{w}}$ とバイアス項 $\boldsymbol{b}^{(l)} \in \mathbb{R}^{d_{l}}$ を用いた畳み込み演算で計算する（ $d_{l}$ は $l$層目の出力のチャネル数である).

$
\mathrm{H}_{i, j,:}^{(l)}=\boldsymbol{h}_{i, j}^{(l)}:=\boldsymbol{b}^{(l)}+\sum_{c=0}^{d_{l-1}}\left(\mathrm{~K}_{c,:,:}^{(l)} \circ \mathrm{H}_{:, ., c}^{(l-1)}\right)_{i, j}
$

ここで, $\mathrm{K}_{c,:: ;}^{(l)} \in \mathbb{R}^{d_{h} \times d_{w}}, \mathrm{H}_{:,,, c}^{(l-1)} \in \mathbb{R}^{n \times n}$ である. $\boldsymbol{P} \circ \boldsymbol{Q}$ は二次元相互相関を計算する演算であり，P $\in$ $\mathbb{R}^{(2 a+1) \times(2 b+1)}$ の場合，式 (4)により定義する.

$
(\boldsymbol{P} \circ \boldsymbol{Q})_{x, y}:=\sum_{h=-a}^{a} \sum_{w=-b}^{b} P_{a+h, b+w} Q_{x+h, y+w} .
$
表 1 NER と RE の実験結果. RE と RE+はそれぞれ固有表現ラベルを考慮しない関係抽出と固有表現ラベルを考慮した関係抽出の $\mathrm{F} 1$ スコアである。†は $\mathrm{BERT}_{\mathrm{BASE}}$ ，†は BERT $_{\text {LARGE }} ， \diamond は ~ A L B E R T_{\text {XXLARGE }}$ [16] を用いた結果であ

スコアのマクロ平均である.

CNN の最終層（ $L$ 層目）の出力の要素数を RE の ラベル数とし $\left(d_{L}=|\mathscr{R}|\right)$, 関係ラベルを予測する.

$
\hat{Y}_{i, j}=\operatorname{softmax}\left(\mathrm{H}_{i, j,:}^{(L)}\right)
$

固有表現ラベルは, $\mathrm{H}^{(L)}$ に対して $\boldsymbol{W}^{(\mathrm{ent})} \in \mathbb{R}^{|\mathscr{E}| \times|\Re|}$ と $\boldsymbol{b}^{(\mathrm{ent})} \in \mathbb{R}^{|\mathscr{E}|}$ による線形変換を通して予測する.

$
\hat{Y}_{i, i}=\operatorname{softmax}\left(\boldsymbol{W}^{(\mathrm{ent})} \mathrm{H}_{i, i,:}^{(L)}+\boldsymbol{b}^{(\mathrm{ent})}\right)
$

学習時は, 式 (5)と (6) で計算されるラベルの予測確率分布と，正解のラベルの one-hot 表現との交差 エントロピーの総和を目的関数とする.

## 3 実験と考察

## 3.1 実験結果

提案手法（TabERT-CNN）の性能を確認するため， CoNLL04 [10], ACE05 と ADE [11] の三つのデータ セットで実験し，その性能を表 1 に示した. データ の前処理・分割は，既存研究に従う $[3,7]$.

表 1 から，TabERT-CNN は CoNLL04 と ADE にお いて，事前学習済みモデルを揃えた場合，TabERT に匹敵する性能を示した. なお，両データセットに おける TabERT-CNN や TabERT の性能は，他の手法 と比較しても最高性能に近い. ところが，CNN で セル間の依存関係を組み込んでも，TabERT-CNN の 性能は比較手法である TabERTを上回らなかった。

## 3.2 考察

TabERT-CNN が TabERT の性能を上回らなった理由として, NER とRE タスクの fine-tuning の過程で, トークンやラベル間の依存関係を BERT の内部で獲得していることが考えられる. この仮説を検証する ため，BERT の内部のパラメータを fine-tuning 時に 固定／更新する場合の比較を行う．併せて，NER と RE の層を接続する BERT の層を位置を変えながら， NER とREの性能の変化を調べる.この実験では，提案手法の他に TabERT [9] と SpERT [3] を用いる.

SpERT [3] は，事前学習済み BERT モデルの出力 を用いて，NER と REをスパンおよびスパン間の分類問題として解く手法である。訓練データに含まれ るスパンや関係を正例，ランダムにサンプリングし たスパンや関係を負例として，分類モデルを学習す る.SpERT は予測モデルの設計が単純であるため, BERT 内部の働きを分析しやすいと思われる.

実験設定 BERT $_{\mathrm{BASE}}[1]$ の異なる層の出力をサ ブワード埋め込みとして予測モデルに与え，学習 を行う．なお，学習時には，事前学習済み BERT のパラメータを固定するかどうかを区別する. CoNLL04 [10] の訓練データでモデルを学習し, 開発 データで評価を行った結果を表 2 と表 3 に示す.

パラメータ更新による影響表 2 と表 3 に示すよ うに，BERT 内部のパラメータの更新を省略すると，全ての手法で性能の低下が見られる．特に，BERT のパラメータを固定した SpERT は性能の低下が著 しく, BERT の構造の中でタスクに特化したパラ メータが獲得されていると考えられる. これに対 し， TabERT-CNN は BERT のパラメータを固定して も，比較的高い性能を示した. この結果から，計算資源などの制約により事前学習済みモデルのパラ メータ更新が難しい場合，TabERT-CNN は TabERT やSpERT よりも高い性能を発揮すると期待される. なお，BERT のパラメータを固定した場合，10 層目以上（特に 12 層）の埋め込み表現を元に NER と RE を行うと，全ての検討対象において性能の低下が見 られた。これは，BERTの上位階層がタスクに特化 した情報を持つため [17], 事前学習タスクであるマ スク単語予測に特化しすぎていると考えられる.

BERT の階層位置による影響 BERT のパラメー タを更新する場合に関して，埋め込みを取り出す層 を横軸，F1 スコアを縦軸に描画したグラフを図 2 に示す. 図 2 により, BERT のより上位の層の出力
表 2 BERT 内部のパラメータを固定／更新する場合の固有表現認識の F1 スコア（CoNLL04 検証データ）。

表 3 BERT 内部のパラメータを固定/更新する場合の関係抽出の F1 スコア（CoNLL04 検証データ）.

を用いることは，全ての手法において性能の向上に 寄与する。特に 0 層目から 6 層目までは，埋め込み の深層化による性能の向上幅が大きい. ところが， 8 層目以降では性能の向上は緩やかになる。埋め込 みを取り出す層による性能差は，NERよりもREの 方が顕著である。これは，単語対の主語・動詞関係 などの長距離依存関係をエンコードするためには, BERT の中位以上の層が必要であるという，Jawahar ら [18] の報告と一致する.

CNN の効果 図 2 に示すように，BERT の下位層 の出力を用いる場合，TabERT-CNN は他の手法より も顕著に高い性能を発揮する. TabERT-CNN は 2 次元の CNNを用いてトークンの周辺の情報をエン コードできるため，文脈情報の統合が進んでいない 下位層を埋め込み表現として採用すると，CNNによ る局所的な特徴の統合の効果が明確に現れるためと 考えられる。しかし, 用いる埋め込みが上位層にな るにつれ，他の比較手法に対する TabERT-CNN の性能上の優位性は徐々に失われる. TabERT-CNN は，入力トークンのエンコードに軽量なアーキテクチャ を採用した場合や，エンコーダの内部のパラメータ を更新できないような状況において，優れたアーキ テクチャであると考えられる。

## 4 おわりに

本稿では，事前学習済み学習済みモデル BERT の 上に，CNNで NER とREを同時に解く新しい手法 （TabERT-CNN）を提案した. TabERT-CNNは，表埋 めアーキテクチャに基づいており，表のセルを画

図 2 BERT の各層の出力を埋め込みとして用いた場合の 各モデルの性能（BERT はパラメータ更新あり），評価に は CoNLL04 検証データを用いた。

素，表全体を画像とみなし，画像・物体認識でよく 用いられる 2 次元 CNNを用いて NER と RE のラべ ルを予測する. CoNLL04, ACE05, ADEデータセッ トにおける評価実験では， TabERT-CNN は既存手法 である TabERT に匹敵する性能を示した. TabERT と TabERT-CNN の間に明確な性能差は見られなかっ た原因を探るため, fine-tuning 時に BERT 内部のパ ラメータを更新／固定することによる性能比較を 行った. その実験結果によると, BERT の内部パラ メータを更新しなくても TabERT-CNN は高い性能を 発揮する一方で，TabERT 等の手法ではパラメータ 更新を行わないと性能の大幅な低下が見られること から，トークンやラベル間の依存関係が BERT の内部で考慮されている可能性が示唆された.

今後は, TabERT-CNNのさらなる軽量化として，畳み込み演算の空間方向とチャネル方向への分割 や，軽量な BERT モデルとの統合を検討したい.

## 謝辞

この成果は，国立研究開発法人新エネルギー・産業技術総合開発機構（N E D O）の委託業務 （JPNP18002）の結果得られたものです.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (NAACL), pp. 4171-4186, 2019.

[2] David Wadden, Ulme Wennberg, Yi Luan, and Hannaneh Hajishirzi. Entity, relation, and event extraction with contextualized span representations. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5784-5789, 2019.

[3] Markus Eberts and Adrian Ulges. Span-based joint entity and relation extraction with transformer pre-training. In 24th European Conference on Artificial Intelligence (ECAI), 2020.

[4] Ying Lin, Heng Ji, Fei Huang, and Lingfei Wu. A joint neural model for information extraction with global features. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 7999-8009, 2020.

[5] Jue Wang and Wei Lu. Two are better than one: Joint entity and relation extraction with table-sequence encoders. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1706-1721, 2020.

[6] Zexuan Zhong and Danqi Chen. A frustratingly easy approach for entity and relation extraction. In North American Association for Computational Linguistics (NAACL), 2021.

[7] Zhiheng Yan, Chong Zhang, Jinlan Fu, Qi Zhang, and Zhongyu Wei. A partition filter network for joint entity and relation extraction. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 185-197, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[8] Makoto Miwa and Yutaka Sasaki. Modeling joint entity and relation extraction with table representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1858-1869, 2014.

[9] Youmi Ma, Tatsuya Hiraoka, and Naoaki Okazaki. Named entity recognition and relation extraction using enhanced table filling by contextualized representations. 自然言語処理, Vol. 29, No. 1, p. to appear, March 2022.

[10] Dan Roth and Wen-tau Yih. A linear programming formulation for global inference in natural language tasks. In Proceedings of the Eighth Conference on Computational Natural Language Learning (CoNLL-2004) at HLT-NAACL 2004, pp. 1-8, 2004.

[11] Harsha Gurulingappa, Abdul Mateen Rajput, Angus Roberts, Juliane Fluck, Martin Hofmann-Apitius, and Luca Toldo. Development of a benchmark corpus to support the automatic extraction of drug-related adverse effects from medical case reports. Journal of Biomedical Informatics, Vol. 45, No. 5, pp. 885-892, 2012. Text Mining and Natural Language Processing in Pharmacogenomics.

[12] Lev Ratinov and Dan Roth. Design challenges and misconceptions in named entity recognition. In Proceedings of the Thirteenth Conference on Computational Natural Language Learning (CoNLL-2009), pp. 147-155, 2009.

[13] Pankaj Gupta, Hinrich Schütze, and Bernt Andrassy. Table filling multi-task recurrent neural network for joint entity and relation ex- traction. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers (COLING), pp. 2537-2547, 2016.

[14] Meishan Zhang, Yue Zhang, and Guohong Fu. End-to-end neural relation extraction with global optimization. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1730-1740, 2017

[15] Alex Krizhevsky, Ilya Sutskever, and Geoffrey E Hinton. Imagenet classification with deep convolutional neural networks. In F. Pereira, C. J. C. Burges, L. Bottou, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 25. Curran Associates, Inc., 2012.

[16] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations. In International Conference on Learning Representations (ICLR), 2020.

[17] Anna Rogers, Olga Kovaleva, and Anna Rumshisky. A primer in BERTology: What we know about how BERT works. Transactions of the Association for Computational Linguistics, Vol. 8 , pp. 842-866, 2020

[18] Ganesh Jawahar, Benoît Sagot, and Djamé Seddah. What does BERT learn about the structure of language? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3651-3657, Florence, Italy, July 2019. Association for Computational Linguistics.

[19] Xiaoya Li, Fan Yin, Zijun Sun, Xiayu Li, Arianna Yuan, Duo Chai, Mingxin Zhou, and Jiwei Li. Entity-relation extraction as multi-turn question answering. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1340-1350, 2019

[20] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations (ICLR), 2019
表 4 実験に用いられた各データセットの統計的情報.

表 5 TabERT-CNN のハイパーパラメータの概要.

## A データセット

本稿で用いられたデータセットの基本情報を表 4 に示す。なお，全ての実験における報告値は，ラン ダムシードが異なる 5 つの試行結果の平均である.

CoNLL04 は，新聞記事から集めたデータセッ トである。訓練・検証・テスト集の分割は既存研究 $[13,3]$ に従う．§3.1では，まず訓練データと検証 データでハイパーパラメータを選択してから, 訓練 データと検証データをあわせて訓練を行い，得られ たモデルの性能をテストデータを用いて評価する。 § 3.2 では，訓練データでモデルを学習し，検証デー タでモデルの性能を評価する。

ACE05 は，新聞・フォーラムを含む多様なドメイ ンから集めたデータセットである. Wadden ら [2] の 前処理スクリプトを用いて，既存研究と同じ分割を 作成する $[19,7,5,9]$. なお，配布されたデータのう ち，head 要素として記述された箇所を固有表現のス パンとして扱う.

ADE は薬品の使用に関する医療レポートから集め たデータセットである. 既存研究に従い $[3,7]$, 固有表現からオーバラップのある部分を取り除き，性能の測定は 10 分割交差検証を用いる [3].

## B ハイパーパラメータ

TabERT-CNN におけるハイパーパラメータとその 值を表 5 に示す。ただし，訓練時に使われた学習率 のスケジューラは，まず学習率をゼロから表に示し た値まで $\{$ ウォームアップ期間 $\} \times\{$ エポック数 $\}$ の エポックをかけて線形に上昇させ，次に線形で減衰

(a) 固有表現抽出の F1 スコア.

(b) 関係抽出の F1 スコア.

図 3 fine-tuning 時に BERT のパラメータを更新／固定す る場合の CoNLL04 検証集における性能.（更新あり）／ （固定）はそれぞれ fine-tuning 時に BERT のパラメータを 更新／固定する場合の性能である。

させるものである. また，NER とREのモデルとと 事前学習済みの BERT モデルに対して，異なる学習率を用いて訓練する。訓練時のパラメータ更新は， AdamW [20] を用いる.

## C パラメータ更新による影響（続）

表 2 と表 3 に示した実験結果を図 3 に示す. 図 により，TabERT-CNN は BERT モデルのパラメータ 更新を行わなくても，一定の性能を示した。なお，図3からも，パラメータ更新なしの上位階層（特に 12 層）の出力を使う場合，全検討対象において性能低下が確認できた.


# ニューラル言語モデルによる一対多関係知識の記憶と操作

長澤春希 ${ }^{1}$ Benjamin Heinzerling ${ }^{2,1}$ 乾健太郎 ${ }^{1,2}$
1 東北大学 2 理化学研究所
haruki.nagasawa.s8@dc.tohoku.ac.jp
benjamin.heinzerling@riken.jp inui@ecei.tohoku.ac.jp

## 概要

ニューラル言語モデル（NLM）による一対多関係知識の記憶と操作の能力について，集合演算を考慮 した新しい調査手法を考え，「分類問題」と「生成問題」の2つのアプローチに基づくモデルの振る舞い を調べる研究を進めている。本稿では，調査方法の デザインを論じるとともに，これまで得られた結果 として，NLM に一対多関係知識を記憶させること は一定程度可能であるが、集合操作をさせるには別途特別な学習の枠組みが必要であるという示唆が得 られたことを報告する。

## 1 はじめに

近年，自然言語処理分野の多くのタスクで， BERT[1] などの深層ニューラルネットワーク技術を 用いたモデルが採用されている. またこれらの深層 ニューラル言語モデル（NLM）のパラメータ学習 は，事前学習とファインチューニングの 2 つの過程 で行うことが主流となっている。これについて大量 のテキストデータを用いた事前学習過程で，文法な どの言語知識を獲得しているとされる。

また，NLM は事前学習過程において，エンティ ティやイベントに関する世界知識の獲得も行なって いることが明らかになっている [2]. このうち，例 えば国と首都のような特定の関係のインスタンスを 以下では関係知識と呼ぶ. ニューラル言語モデルは 事前学習の過程でかなり広範な関係知識をテキスト 集合から獲得している可能性がある.

こうした背景から NLM を知識べースと見なして その能力を調べる研究や NLM と既存知識べース を統合する研究が広がっている (Language Models as Knowledge Bases) [2, 3, 4, 5, 6]. ただし，こうした研究では，これまでのところ関心の対象は一対一対応 の関係知識に留まっており，多対多関係の知識につ いて扱いが簡単でないということ以外明らかにされ

図 1 一対多関係知識の記憶と操作のイメージ

ていない [2]. 一方，世界に関する知識には，「出演俳優と出演映画」関係のような，多対多関係の知識 も多い [3]. 従って，NLMを知識べースと見なすに は，NLM が多対多関係知識をどの程度正確に記憶 できるか，また記憶した知識の操作（例えば，多対多関係のインスタンスに属する集合の間の演算）が どの程度可能か，といった能力を精緻に確認する必要がある。そこで本研究では，その第一歩として，一対多関係の知識を人工的に生成したデータセット を構築し，これに対する NLM の記憶と操作の能力 を組織的に調べた。

ここで調べたいのは図 1 に示すような記憶と操作 の能力である。「記憶」の能力とは，NLMに〈息子〉関係や〈娘〉関係のような多対多関係のインスタン スを教示した場合に，その教えたインスタンスの情報を NLM に問い合わせて取り出すことができるか である。「操作」の能力としては，例えば図 1 のよ うに，ある人の〈息子〉の集合と〈娘〉の集合を教示した NLM から，その和集合 (〈子ども〉の集合) を取り出すことができるか，といったように「記憶 した集合間の演算を要する問い合わせ」にどの程度答えることができるかを考える。

本研究では，親子関係等の人間関係について関係 インスタンスの集合を人工的に合成し，表 1 に示す ような記憶と操作の課題を設計して，NLM の能力 を調べた。

データを人工的に合成するのは，統制したデー
表 1 一対多関係知識の集合演算的扱い. モデル内部に特定の知識が格納されている前提のもとで，"期待する出力"に示 すような出力が達成されれば，一対多関係知識に対する集合操作能力が獲得されたと考えられる。

 & 和集合の取得 & (子どもとして、) 息子と娘の名前を全て出力 \\

タで NLM の能力を調べることがまずは重要だと考 えたためである。実世界のデータを使った extrinsic な評価は，統制したデータによる intrinsic な評価に よって NLM の基本的な能力が明らかになった後に 行っていきたい.

## 2 調査手法

## 2.1 用語定義

本研究で登場する用語と意味を定義する。

一対多関係知識 1 つ主語 (subject)に対し，特定の関係 (relation) を満足する目的語 (objects) が複数存在するような世界知識のことを指す.

(例：Taro has children named Ichiro, Jiro.)

個別要素 一対多関係知識において，主語と目的語を一対一対応の形式で結んだ個別の関係知識を 指す.

(例：Taro has a child named Ichiro.)

個別教示 一対多関係知識を構成するそれぞれの 要素について，一対一対応の形式で個別に言語モデ ルに学習させること.

$($ 例 : Who is the child of Taro? $\rightarrow$ Ichiro.)

集合教示 一対多関係知識全体を言語モデルに学習させること。

(例: Who are the children named Taro? $\rightarrow$ Ichiro, Jiro.)

## 2.2 調査手法の決定

本研究では，事前学習済み NLM に対し，一対多関係知識を明示的に学習させた際の振る舞いを調査 する. これについて具体的に「分類問題」と「生成問題」の 2 つのアプローチを考える. この概念図を 図 2 に示す.具体的な調査方法については，言語モデルを用い た穴埋め形式と，生成モデルを用いた回答文生成形式の 2 つが考えられる. 前者については代表的な先行研究 [2] でも用いられており，モデルの予測分布 から最も確率值の高いものをモデルの回答として 扱っていた. 本研究はこれに倣い, 確率の高い上位 $\mathrm{N}$ 個の目的語を，一対多関係知識に対するモデルの 回答とする. 本研究では，このアプローチ方法を 「分類問題」と呼ぶこととする.

また後者については seq-to-seq モデル [7] を用いる ことで，複数の目的語を過不足なく生成できるかど うかを考える。本研究では，このアプローチ方法を 「生成問題」と呼ぶこととする.

## 3 実験

本論文で報告する実験結果については，主に表 1 の「集合の取得」と「和集合の取得」とする.

## 3.1 実験データ

本実験では NLM の記憶精度を正確に管理でき るようにするため，学習データを独自に用意した.具体的には，Wikidata[8] から父親とその子ども (2-4 人)の名前を取得したものを利用した。また使用す る人物名について，次の条件を満たすような調整 を行った。(i) 同姓同名の父親 (主語) が存在しない. (ii) 目的語の表層が重複する場合，区別できるよう に名前の後ろに id 番号を付与.

また分類問題においては上記の条件を満足しなが ら，関係知識データを人工的に作成し，追加した.各実験で用いた学習データの具体例を AppendixA の 表 3 に掲載する。

なお本研究では，明示的に学習させた関係インス

図 2 調査手法概念図. 本研究では一対多関係知識について, 生成問題と分類問題の 2 つのアプローチを取る. 生成問題 (上段) では複数の目的語を漏れなく生成することを目的とする. 分類問題 (下段) では言語モデルの出力を, 目的語数次元に変換する分類器に渡す. その後閾値を用いてマルチクラス分類問題の形式へと変換し，複数の目的語を取得する.

タンスの「記憶」と「操作」のみを考えることとす る. 従って，学習データとして登場していない関係 インスタンスに対する汎化能力などの測定は行わ ない.

## 3.2 A: 分類問題

ここでは，先述の「確率分布から上位 $\mathrm{N}$ 個の目的語を取得する」方法を考える．出力すべき要素を予測確率分布から判別できるかどうかについて，1つ 1 つの目的語を独立したクラスとして扱うマルチク ラス分類問題の形式を考える。主に一対多関係知識 について個別教示を行い，最終的にどのような分布 が出力されるかを調査する。

NLM として，事前学習済み RoBERTa base[9]を使用した. 加えて，このモデルの最終隠れ層の値を目的語数次元のベクトルに変換する線形層を用いた.推論時にはこの線形層の出力の Softmax を取り，閾值 ${ }^{1}$ より大きいものを 1 ，そうでないものを 0 に置 き換えることで，マルチクラス分類問題の形式に変換した。

## 3.2.1 実験 A-1: 個別教示によるモデルの振る舞い

本実験では主語と特定の関係からなる入力クエリ に対し，目的語を 1 つ予測する個別教示 (例：「Who is the child of Yamada Taro?」に対し「28 (Ichiro のク ラス番号)」を予測するよう学習)を全ての目的語に ついて行うことで，個別要素の記憶を図った。この 「記憶」の元で NLM の「操作」能力を計測した. 具体的には，目的語集合を問う入力に対し，複数の目的語を過不足なく予測できているかを測った (例： $\lceil$ Who are the children of Yamada Taro?」に対し「28, 29, 30 (Ichiro, Jiro, Saburo のクラス番号)」が予測できて いるか).

また関係の種類を複数 (〈子ども〉，〈友人〉，〈同

僚〉など) 学習させることで，主語と目的語の共起関係だけでなく，関係の種類にも注目して出力すべ き個別要素を選別できるかを検証した。データにつ いては，子どもが $\mathrm{N}$ 人いる主語に対して，その関係 に対する目的語を $\mathrm{N}$ 人作成するといった形で機械的 な追加を行なった。

結果として，関係の種類に注目して正解の目的語を過不足なく予測できることが確認された (図 3,個別要素の記憶精度及び集合の取得精度を示す).従って主語と関係の種類の両方に注目し，いくつの 個別要素を出力すべきか，言い換えればどの目的語集合を出力すべきかを正しく判断できていると考え られる。一方で，図としては掲載していないが，目的語集合の取得が難しい関係の種類の存在も確認さ れた。

図 3 個別要素の記憶精度 (1to1) と集合の取得精度 (1toN)

## 3.2.2 実験 A-2:〈関係の種類〉の和集合の取得

ここでは意味の近い関係の目的語集合を統合す る操作，すなわち表 1 における「和集合の取得」や 図1のような出力が可能かを調査する実験を行なっ た. 具体的には〈息子〉，〈娘〉関係知識を個別教示 した上で，これらを〈子ども〉としてまとめて出力 することができるかを調査した。また関係の種類に 着目した統合ができているかを確認するため，子ど

## も集合に含まれるべきではない〈友人〉関係も同時 に学習させた。

息子と娘が"子ども"であることをモデルに学習 させる素朴な方法として，一定数の主語をサンプ ルし，その息子と娘インスタンスについて，son (daughter) テンプレート ("Who is the son (daughter) of S?") と child テンプレート ("Who is the child of S?") の 両方を利用した学習を行った。

結果として，childrenを尋ねるクエリに対し，息子と娘の両方を取得することが可能であることが 確認された (表 2). 事前学習済みモデルであれば， child テンプレートを用いずとも，半数以上のインス タンスについて，"子ども"として息子と娘の両方を 出力できることが明らかとなった。また child テン プレートの使用率を大きくすることで，和集合の取得率も向上することが確認された.

なお今回検証したのは上記 1 パターンのみである が，和集合の取得が可能かどうかについては，関係 の種類の包含関係を事前学習済みモデルがどれ程適切に扱うことができるかで結果が大きく左右される ことが考えられた。

 &  \\

## 3.3 B: 生成問題

一対多関係知識を扱うもう 1 つのアプローチとし て, 事前学習済み BART base[10] を用いた回答テキ ストの生成を考え，集合教示と個別教示の両方を行 なった.

## 3.3.1 実験 B-1: 個別教示によるモデルの振る舞い

ここでは個別教示による学習を行い，目的語を統合して出力することが可能かを調査した. 個別教示 については"S has a child named <mask>"に対し，子ど もの名前を 1 つ生成させる学習を行った。

結果として，個別要素は全て正しく記憶できるが それらを統合して出力することは難しいということ が明らかになった。具体的には，個別教示のみを行 う設定であると複数目的語を出力させるクエリ (S has children named <mask>) に対しても，目的語を 1 つしか出力できないことが確認された.

## 3.3.2 実験 B-2: 個別教示と集合教示

実験 B-1 (3.3.2 節) の個別教示に加え，一定数の主語に対し，集合教示を行った場合のモデルの振る 舞いを調査した。集合教示としては，「S has children named <mask>」の入力文に対し, 子ども全員分の名前をカンマつなぎで出力させる形式を取った.

この場合でも実験 B-1 (3.3.1 節) で確認されたよう に，全ての個別要素の記憶は問題なく達成できた. しかしながら，明示的に集合教示を行ったインスタ ンスに対してのみ目的語を複数出力する結果とな り，集合を取得するという汎化能力の獲得には至ら なかった。

従って「記憶している関係知識に対し，ある種の 集合的な操作をすること」を生成問題の枠組みで達成するためには，他に特別な学習方法を用意する必要があることが示唆された.

## 4 おわりに

本研究では一対多関係知識に対するニューラル言語モデルの振る舞いを，分類問題と生成問題の $2 \supset$ の観点から調査した. 本論文で調査した限りではど ちらの手法についても，一対多関係知識を言語モデ ルで扱うことは現状難しいという結論に至った.

分類問題では特定のテンプレートを用いて個別要素を記憶させることで，一対多関係知識をマルチク ラス分類問題の枠組みで取り扱える可能性があるこ とを示した。一方で複数の目的語に対する集合演算的な操作については，率直には達成されないことが 明らかになった。

生成問題については個別要素の記憶は可能だが,複数個の目的語を出力することは達成されなかっ た. 記憶された要素に対する集合演算的な操作を学習させるための，何らかの枠組みが必要となること が示された.

以上 2 点の結果を踏まえ，保存された個別要素に対する集合演算能力を獲得できれば，一対多関係知識に対しても十分に対応できると考え られる.これについて, 集合の扱いとして Deep Sets[11], Set Transformer[12], 学習手法として Meta Learning $[13,14]$ などを参考に，上記能力の獲得が実現されるかどうかを引き続き調査していく所存で ある.

## 謝辞

本研究は JSPS 科研費 21 K17814 および JST, CREST，JPMJCR20D2 の助成を受けたものです.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[2] Fabio Petroni, Tim Rocktäschel, Sebastian Riedel, Patrick S. H. Lewis, Anton Bakhtin, Yuxiang Wu, and Alexander H. Miller. Language models as knowledge bases? In Kentaro Inui, Jing Jiang, Vincent Ng, and Xiaojun Wan, editors, Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, EMNLP-IJCNLP 2019, Hong Kong, China, November 3-7, 2019, pp. 2463-2473. Association for Computational Linguistics, 2019.

[3] Benjamin Heinzerling and Kentaro Inui. Language models as knowledge bases: On entity representations, storage capacity, and paraphrased queries. In Paola Merlo, Jörg Tiedemann, and Reut Tsarfaty, editors, Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, EACL 2021, Online, April 19 - 23, 2021, pp. 1772-1791. Association for Computational Linguistics, 2021.

[4] Gerhard Weikum, Xin Luna Dong, Simon Razniewski, and Fabian M. Suchanek. Machine knowledge: Creation and curation of comprehensive knowledge bases. Found. Trends Databases, Vol. 10, No. 2-4, pp. 108-490, 2021.

[5] Tara Safavi and Danai Koutra. Relational world knowledge representation in contextual language models: A review. CoRR, Vol. abs/2104.05837, , 2021.

[6] Simon Razniewski, Andrew Yates, Nora Kassner, and Gerhard Weikum. Language models as or for knowledge bases. CoRR, Vol. abs/2110.04888, , 2021.

[7] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequence learning with neural networks. In Zoubin Ghahramani, Max Welling, Corinna Cortes, Neil D. Lawrence, and Kilian Q. Weinberger, editors, Advances in Neural Information Processing Systems 27: Annual Conference on Neural Information Processing Systems 2014, December 8-13 2014, Montreal, Quebec, Canada, pp. 3104-3112, 2014.

[8] Denny Vrandečić and Markus Krötzsch. Wikidata: a free collaborative knowledgebase. Communications of the ACM, Vol. 57, No. 10, pp. 78-85, 2014.

[9] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke
Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. CoRR, Vol. abs/1907.11692, , 2019.

[10] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pp. 7871-7880. Association for Computational Linguistics, 2020.

[11] Manzil Zaheer, Satwik Kottur, Siamak Ravanbakhsh, Barnabás Póczos, Ruslan Salakhutdinov, and Alexander J. Smola. Deep sets. CoRR, Vol. abs/1703.06114, , 2017.

[12] Juho Lee, Yoonho Lee, Jungtaek Kim, Adam R. Kosiorek, Seungjin Choi, and Yee Whye Teh. Set transformer: A framework for attention-based permutationinvariant neural networks. In Kamalika Chaudhuri and Ruslan Salakhutdinov, editors, Proceedings of the 36th International Conference on Machine Learning, ICML 2019, 9-15 June 2019, Long Beach, California, USA, Vol. 97 of Proceedings of Machine Learning Research, pp. 3744-3753. PMLR, 2019.

[13] Chelsea Finn, Pieter Abbeel, and Sergey Levine. Modelagnostic meta-learning for fast adaptation of deep networks. In Doina Precup and Yee Whye Teh, editors, Proceedings of the 34th International Conference on Machine Learning, ICML 2017, Sydney, NSW, Australia, 6-11 August 2017, Vol. 70 of Proceedings of Machine Learning Research, pp. 1126-1135. PMLR, 2017.

[14] Pride Kavumba, Benjamin Heinzerling, Ana Brassard, and Kentaro Inui. Learning to learn to be right for the right reasons. In Kristina Toutanova, Anna Rumshisky, Luke Zettlemoyer, Dilek Hakkani-Tür, Iz Beltagy, Steven Bethard, Ryan Cotterell, Tanmoy Chakraborty, and Yichao Zhou, editors, Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2021, Online, June 6-11, 2021, pp. 3890-3898. Association for Computational Linguistics, 2021.

## A 各実験における学習データの具体例

ここに，4つの実験で用いた学習データの例と，そのデータを用いて学習したモデルに対して期待する出力例を示す. 本研究では，表中に示す学習データによって「個別要素の記憶」と「集合演算能力」の獲得を 図った. そして，その学習の元で「期待するモデルの挙動例」列に示すような，複数の目的語を出力する能力，すなわち一対多関係知識を適切に扱う演算能力が実際に獲得されているかを調査した.

表 3 各実験における学習データ例

 &  \\

## B 分類問題の正答率および閾値算出について

図 3 では個別教示による記憶精度と，それを元にした集合取得の正答率を共に示している．前者の記憶精度については，"Who is the \{relation\} of S?"の入力クエリに対して出力する確率分布において，最も確率値の 高い目的語が，正解の $\mathrm{N}$ 個の目的語のいずれかである場合に正解とした.

後者の正答率については，まず"Who are the \{relation \} of S?"を入力クエリとし，モデルの出力分布を得た. Softmax 関数を適用し，各クラスに割り当てられた値を確率として解釈できるよう変換した. この分布を元 に閾値を設定し，閾値を上回るクラスを 1 ，そうでないものを 0 としてマルチクラス分類問題の形式に変換 した (図 2 の下段参照).

なお間値の設定については，チェビシェフの不等式を利用した. 具体的には 1 つのクラスを $x$, そのクラス に割り当てられた確率を $p(x)$, および Softmax 関数を適用した分布の平均値, 標準偏差をそれぞれ $\bar{x}, s$ とした 時に式 (1)を満たすものを外れ値，すなわち取得する目的語として算出した.

$
p(x)>\bar{x}+s
$


# 重畳型駄酒落ユーモアにおける 常識的知識グラフを用いた潜在表現抽出

井上蒼一朗谷津元樹森田武史
青山学院大学理工学部情報テクノロジー学科
a5818014@aoyama.jp \{yatsu,morita\}@it.aoyama.ac.jp

## 概要

機械による言語的なユーモアの認識能力を向上さ せるため，駄酒落ユーモアのうち潜在的な表現を含 む重畳型駄酒落の検出手法を提案する．提案手法は 背景知識の獲得のため常識的知識を豊富に含む大規模知識グラフを活用する。本稿では，定性的評価実験において確認された，検出の成功事例，および失敗事例における主な失敗要因について説明する。

## 1 はじめに

近年機械がユーモアを表出・理解することに対す る関心が高まっている。また，機械がユーモアな表現を表出・理解することでそれに接するユーザの生活の質を向上させることが報告されている. 人間の コミュニケーションは，画一的な形式によらず自由 であり駄酒落やなぞかけに代表される言語的なユー モア含んでいる。 ユーモアな表現を機械が理解する ことによって人間同士の会話に近い自然な対応をす ることができる.

## 1.1 研究課題と目的

ユーモアはジェスチャーなどを用いる身体的な ユーモアと，駄酒落やなぞかけに代表される言語的 なユーモアに大きく分類される. 中でも駄酒落は比較的に認識が容易であり年齢層を問わず親しみやす いものと考えられる. 知識グラフや自然言語処理技術を用いて駄酒落ユーモアの検出や理解の有効性を 高めるためには下記の課題が存在する. 後述する滝澤の研究 [1] によれば，駄酒落には併置型駄酒落と 重畳型駄酒落の 2 つの分類が存在する．以下にそれ ぞれの例文と構造を示す.

併置型駄酒落

(1) ふとんが吹っ飛んだ

この例は「ふとん」と「吹っ飛ん」が，音韻的に類似しているため駄酒落であると認識することがで きる。

重胃型駄酒落

(2) 怪我がなくても大分県

しかしこの例は併置型のように音の類似するぺア がないことから従来の手法では検出が困難である。例文 (2)では，「怪我」と「大分」の間に何らかの潜在的表現を媒介する関係があると予測できる。その 場合，外部の知識を用いることでその潜在的な表現及び関係を見出すことができる。すなわち，「『怪我』は『痛い』という性質を持つ」という関係性で ある。このとき，潜在的な表現である「痛い（イタ イ)」は文内の「大分（オオイタ）」に音韻的に部分一致するので，上記の文を駄酒落文として認識する ことができる. 本研究は重畳型䭾酒落に存在するこ のような潜在的な表現及び文内の語との関係性を後述する ConceptNet などの大規模知識グラフを用い て発見することを目的とする。

## 2 関連する研究と技術

はじめに，大規模知識グラフについて述べる。主要な大規模知識グラフとして著名なのが DBpedia[1] やWikidata[2] であり，セマンティック Web 技術に よるフリーの知識べースであり，コミュニティベー スで作成され，他のオープンデータとのリンクを持 つリソースから構成されている。

ConceptNet[3,4] とはDBpedia，Wikidata と同様に 集合知を知識源とした大規模な知識グラフである. ConceptNet は，DBpedia や Wikidataのような RDF に よる表現に類似した構造を持つ. Turtle や N-Triples といった具象構文ではデータが構成されていないも のの，RDFトリプルと同一視できる三つ組による 抽象的な構造を表現している. 4.4 節に述べる API は JSON-LD 形式により具象化された Linked Data と の親和性の高い知識表現を返す. 知識収集源は,
表 1 䭾酒落データベース [荒木 2018] における 併置型・重胃型駄酒落の収録件数及び割合併置型駄酒落 重畳型駄酒落件数 $67835(98.4 \%) \quad 1103(1.6 \%)$

WordNet, DBpedia, OpenCyc などの Linked Open Data に加え gamification に基づく知識収集サイトなど多岐にわたる. ConceptNet は主要な大規模知識グラフ に比べるとトリプル数，リソース数は劣る (DBpedia との比較では，トリプル数 8500 万以上に対し約 2100 万，リソース数約 2.28 億に対し約 800 万) が，十分な規模を持つと考える。

次に, 本研究で認識の対象とする駄酒落文を収載するデータセットについて述べる. 駄酒落デー タベース $[5,6]$ はユーモアの面白さの評価に利用で きる標準的なデータセットの確立を目指して構築 された，Web 上の駄酒落を収録するコーパスであ る. Web 上に存在する駅酒落のクローリングを行い 68938 件の駄酒落文を収集・分類することにより構築された. 併置型駄酒落と重畳型駄酒落は表 2 のよ うに分類されている。最新の版 [6] では，3名の被験者による面白さのスコアの付与が行われている.

駄酒落の検出・理解を目的とする手法の基礎に関 わる提案は以前から行われている。滝澤 [7] は駄酒落を理解するシステムの構築の一環として併置型駄酒落と重畳型䭾酒落を音素列や長さの一致などを基 に分類し明確な基準を初めて提示している。また，併置型の駄酒落検出器の構成図を示しプロトタイピ ングを行っている. しかし，この論文では実際のシ ステムをなにも実装しておらず，併置型駄酒落のみ の検出が対象であり重畳型駄酒落の検出についての 手法の提案がなされていない. 本研究では滝澤の分類に基づいて重畳型駅酒落を対象とする検出手法の 提案を行う.

谷津ら [8] は本研究の目的と同様に，ユーザによ る発話をユーモアとして検出することを目的に韻文 ユーモアである駄酒落の教師あり学習に基づく検出手法を提案している. 具体的には入力文中に音韻的 に類似する 2 つの区間の有無を子音の音韻類似度を 用いて判定し, bag of words とともに特徴量として いる.この論文では駄酒落の型を分類して音韻類似 を用いて駄酒落を検出しているが併置型駄酒落を対象にした特徵量を同様に重胃型駄酒落にも適用して いるため重畳型駄酒落を正確に検出できていない. そこで本論文では重胃型駄洒落の構造に着目した検

図 1 システム構成図

出手法を新たに提案する.

## 3 提案

提案システムの構成を図 3 に示す.システムは内容語抽出部，潜在表現抽出部及び潜在表現候補取得部から構成される。駄酒落文が入力されると内容語抽出部 (3.1 節)を用いて形態素解析が行われ，内容語形態素が得られる。次に潜在表現抽出部 (3.2 節) が，潜在表現候補取得部 (3.3 節)を用いて内容語形態素ごとに知識グラフから関連リソースを探索し， リソースの探索に成功した場合に編集距離べースの 音韻類似度関数を用いて潜在表現の抽出を試みる。潜在表現の抽出に成功した場合は重畳型駄酒落の 検出に成功となり，失敗した場合は他の関連リソー ス・内容語形態素について再度探索をする。すべて の内容語形態素及び関連リソースについて潜在表現 が抽出できなかった場合，重畳型駄酒落の検出は失敗となる。

## 3.1 内容語抽出部

内容語とは，名詞，形容詞及び動詞などにおいて 実質的かつ語彙的な意味を持つ語を指す. GiNZA[] を用いた形態素解析を行っている。内容語のみを抽出するために，品詞を次のカテゴリー，すなわち名詞-普通名詞, 名詞-固有名詞, 動詞-一般, 感動詞-一般,副詞-一般, 形容詞一一般 のいずれかに属するものに 制限した。また，計算量の削減及び単独で意味をな さない記号を排除するためにストップワードを用い ている。次のストップワードを指定した：[ ]（） - / . ，=はのがに.

## 3.2 潜在表現抽出部

潜在表現抽出部では，内容語に対応する関連リ ソースより潜在表現として適切なものを抽出する。潜在表現として適切であるためには，内容語と関連 リソースのラベルとの間に音韻類似性が成立する必要がある。音韻類似性を検出するためには 4.5 節に 述べるレーベンシュタイン距離に基づく類似度関数 を用いる。関連リソースを抽出できるまでリソース の取得を反復する必要があるが，繰り返しの実装方法として幅優先探索を基にした再帰関数を用いる.再帰関数においては，潜在表現候補の取得，音韻類似度関数による潜在表現の判定，検出を行えなかっ た場合の探索対象の拡大，及び探索深さの制限によ る終了条件のチェックを行う. 本モジュールの疑似 コードを付録 A に示す。

## 3.3 潜在表現候補取得部

潜在表現候補取得部では，潜在表現抽出部 において指定された内容語に対応する関連リ ソースまたは指定の内容語の関連リソース にさらに関連するリソースの探索を大規模知識グラフにおいて行う. 潜在表現抽出部の find_latent_expressions 関数において depth が 1 のときにfind_latent_expression_candidates 関数 に与えられた引数 org_res_label に相当する内容語 のリソースは関連リソースに含まないものとする。例えば，「卵」という内容語のリソースに対し「鮭」 という関連リソースが取得されて, 潜在表現抽出部における再帰によって（depth=2 となる）さらに 「鮭」より関連リソースを取得する場合「卵」が取得可能であっても，内容語リソースと一致する「卵」 は取得しない. 本研究では大規模知識グラフとして ConceptNet 5[?] を使用する. ConceptNet 5 はオープ ンソースソフトウェアとして Web API を備えたサー バーの実装を Githubに公開している1)。提案手法で は大規模知識グラフの知識源としてこの APIを用い る. 本モジュールの疑似コードを付録 B に示す.

## 4 評価と考察

提案手法を用い，駄酒落データベース [5] に収録 された 1103 件の重畳型駄酒落のうち，3名の面白さ スコアの平均值が 2.66 を上回ることを要件として 絞り込んだ 131 件のうち，さらに潜在表現が明らか

に常識的知識として存在すると判断可能な 22 件を 対象に検出実験を行った.その結果, ConceptNet 中 に関連表現は存在するが，音韻類似や言語の表記体系の違いにより検出できない例が 9 件確認された。

## 4.1 事例別の考察

本節では，認識の成功及び失敗の事例を対象に個別的に定性的評価を行い，今後の手法改良に繋がる と考えられる発見について述べる。

## 4.1.1 成功例文

$\cdot$この鮮の卵，いくら?

この例の内容語抽出を行うと「鮭，卵，いくら」に なる。それぞれの単語の関連リソースを探索し自身 の親リソース以外の内容語形態素結果と音韻類似 の比較を行う．すると，「いくら」の関連リソース に MadeOf（いくら-MadeOf - 卵）という関係性で 「卵」が存在し音韻類似の比較を行った結果，入力文中の「卵」と完全一致する。したがって，「卵」と いう言葉が潜在的な語として抽出することが可能と なり検出成功となる.

・食べ物が体の中でかくれんぼ. もう，胃一かい?内容語抽出を行うと「食べ物，体，中，かくれんぼ，胃」になる．探索した関連リソースと左記の各内容語形態素との音韻類似の比較を行うと,「胃」に対 し PartOf（胃 - PartOf - 体）という関係性で存在す る「体」が完全一致する。したがって，「体」を潜在表現とした検出が成功する。

・煙とともに灰さようなら

内容語抽出を行うと「煙，灰」になる。探索した関連リソースと左記の各内容語形態素との音韻類似の 比較を行うと，「灰」に対し RelatedTo (灰-RelatedTo 一煙）という関係性で存在する「煙」が完全一致す る.したがって，「煙」を潜在表現とした検出が成功する。

## 4.1.2 音韻類似の検出漏れや表記体系の違いによる 失敗 \\ ・一番頭を使う作業は農作業！

内容語抽出を行うと，「頭，使う，作業，農作業」と なる.「頭」という単語から「脳」という単語は取れ ているがそれらを音韻類似の比較を行う際に潜在表現として検出できていない. 原因として，音韻類似 の比較の仕方が編集距離ベースであるため, 文字数 が異なる単語（この例では「脳」「「ウ」と「農
作業」「ノウサギョウ」）を比較すると部分的に は一致していても類似度の値（式 (4.5．1）により, $\operatorname{sim}($ “脳”，“農作業”) =0. 25）が文字数が一致 する場合よりも著しく低くなってしまう。

・これを運ぶの？うん，そう.」く運送>内容語抽出を行うと，「運ぶ，うん」となる。「運ぶ」 の関連リソースに「貨車」，「貨車」の関連リソース に「運送」があるが，音韻類似度比較の対象が形態素単位であるため，「うん，そう」のように途中に読点がある場合違う単語として処理されてしまい，音韻類似の比較を行うことができない. 今後の課題と して文全体の読みあるいはその部分との音韻類似の 比較を可能にする必要があると考えられる。

## 4.1.3 ConceptNet 中の関連リソース不足による 失敗

・オリンピックなんて，銅でもいい.

「オリンピック」という言葉の ConceptNet 上の関連 リソースにおいて「銅」という言葉が存在しなかっ た. Wikidataを探索した場合正解に相当する関連り ソースとして発見されたため，異なる知識グラフに ついての実装は今後の課題といえる.

## ・天気予報によると，雨だす！

「天気予報」という言葉の ConceptNet 上の関連リ ソースにおいて「アメダス」という言葉が存在しな かった. DBpediaを探索した場合正解に相当する関連リソースとして発見されたため, 異なる知識グラ フについての実装は今後の課題といえる.

## 4.1.4 関連リソースが想定できるものの取得が困難 な例

・虫退治は，アースとあさって

ConceptNet, DBpedia や Wikidata いずれの大規模知識グラフ中にも「虫退治」に用いられる商品という 意味での「アース」が関連リソースに存在しないた め，潜在表現候補の抽出ができない。

## 5 おわりに

本研究の目的は，大規模知識グラフである ConceptNetを用いて潜在的な音韻類似の対を含む駄酒落文を検出することである. 目的を達成するため の提案手法として, ConceptNetを用いて各単語の関連リソースを取得しそれぞれの単語との音韻類似度 を求めることで，しきい值以上となった単語を潜在表現をとして抽出した. 研究を進めていく中で，関連リソースの探索の仕方や音韻類似度の比較におい て，手法を見直さなければならない点がいくつか見受けられた。

## 5.1 今後の課題

4 節の考察を経て得られた課題は 4 つである. 1 つ目は音韻類似度の比較を行う際に比較対象となる 単語の文字数が異なる場合正確な比較ができないと いう点である．比較の方法が編集距離べースである ため文字数が異なる場合，音韻的には近くともしき い値が低くなってしまい，関連がない単語として処理されてしまう．今後は，音韻類似度の比較を文字数に関わらず子音の類似度を測ることのできるシス テムを実装することで 1 つ目の課題を解決するこ とができると考える. 2 つ目の課題は英語表記及び ローマ字表記の単語の比較ができないという点であ る. 関連リソースの探索を行うと，実際に WEB 上 ではローマ字表記の単語を経由すれば理想の単語に たどり着くことができたが，ローマ字表記の単語は ひらがなに変換することができないためしきい値を 超えることができない，今後は，英語表記及びロー マ字表記の単語をひらがなに変換する方法を考え構築する必要があると考える.3つ目は関連候補の出現数上限の制限により求める関連リソースの取得 が困難，という点である。潜在表現候補の上限がデ フォルト值で 20 件として指定されており, API に渡 すクエリパラメータを指定して調整することは可能 であるが上限数を増やすと他の例文の潜在表現検出結果が正解と異なる結果となる。 そのため, 潜在表現候補の上限地値の適切な指定方法を構築すること が今後の課題といえる. 4 つ目は例文中に読点があ る場合違う単語として処理され，音韻類似の比較を 行うことができないという点である. 本研究の対象 とした例文に，読点の前後の文字列を結合すると単語として成立するケースが存在したが，単語として 処理することができないことから潜在表現の抽出は 失敗となった. 今後は，読点を省く処理を行いさら に前後の文字列をつなぎ合わせることで 1 つの単語 として見なすことができるような仕組みを考えるこ とが必用であると考える.

## 謝辞

本研究は JSPS 科研費 (基盤研究 (C)21K12007) の 助成を受けたものである.

## 参考文献

[1] C. Bizer, J. Lehmann, G. Kobilarov, S. Auer, C. Becker, R. Cyganiak, and S. Hellmann. Dbpedia - a crystallization point for the web of data. Journal of Web Semantics, Vol. 7, No. 3, pp. 154-165, 2009.

[2] D. Vrandečić and M. Krötzsch. Wikidata: A free collaborative knowledgebase. Communications of the ACM, Vol. 57, No. 10, pp. 78-85, 2014.

[3] Robyn Speer, Joshua Chin, and Catherine Havasi. Conceptnet 5.5: An open multilingual graph of general knowledge. In Thirty-first AAAI conference on artificial intelligence, 2017.

[4] Robyn Speer and Catherine et al. Havasi. Representing general relational knowledge in conceptnet 5. In Proceedings of the 8th International Conference on Language Resources and Evaluation, pp. 3679-3686, 2012.

[5] 荒木健治, 佐山公一, 内田ゆず, 谷津元樹. 駄酒落デー タベースの拡張及び分析. 人工知能学会第 2 種研究会ことば工学研究会資料, SIG-LSE-B803-1, pp. 1-15, 2018.

[6] 荒木健治, 佐山公一, 内田ゆず, 谷津元樹. 駄酒落 データベースを用いた面白さの評価及び分析. 人工知能学会第 2 種研究会ことば工学研究会資料, SIG-LSE-B902-4, pp. 63-76, 2019.

[7] 滝澤修. 記述された「併置型駄洒落」の音素上の性質.自然言語処理, Vol. 2, No. 2, pp. 3-22, 1995.

[8] 谷津元樹, 荒木健治. 子音の音韻類似性及び svm を用 いた駄酒落検出手法. 知能と情報 (日本知能情報ファ ジィ学会誌), Vol. 28, No. 25, pp. 833-844, 2016.

## A find_latent_expression 関数の疑似コード

Function find_latent_expresion

Input (org_res_label, res_list, cwml, depth, latent_expression_cand_dict)

Output (latent_expressions, latent_expression_cand_dict)

latent_expressions と related_res_list を初期化

if depth $>2$ :

return latent_expressions, latent_expression_cand_dict

for $r$ in res_list:

lecd, rr_list $=$ find_latent_expression_candidates( $r$, org_res_label, depth)

for key_word, val_set in lecd.items():

if key_word が空でない and latent_expression_cand_dict のキーに key_words が存在しない:

latent_expression_cand_dict[key_word] = val_set

else:

latent_expression_cand_dict[key_word] を val_set との和集合とする

related_res_listに (rr_list) を加える

for cwm in cwml:

latent_expressions $=$ detect_latent_expression(cwm, latent_expression_cand_dict)

if latent_expressions が空でない:

return latent_expressions, latent_expression_cand_dict

for $i=0$ to length of related_res_list-1 :

if org_res_label が空文字列である:

org_res_label $=$ cwml[i]

return find_latent_expression(org_res_label, related_res_list[i], cwml,

depth+1, latent_expression_cand_dict)

return []$,\{\} \quad / *$ 探索中断 */

## B find_latent_expression_candidates 関数の疑似コード

Function find_latent_expression_candidates

Input (res,org_res_label)

Output (latent_expression_cand_dict,related_res_list)

辞書 latent_expression_cand_dict とリストrelated_res_listを初期化

$\mathrm{E}=$ 知識グラフから res が含まれる全てのトリプルを取得

for e in $E$ :

subject, relation, object $=\mathrm{e}$

if searching_res_label が latent_expression_cand_dictのキーに存在しない:

latent_expression_cand_dict[org_res_label] = \{\}

if res == subject \& object のラベルが日本語である:

object を latent_expression_cand_dict[org_res_label] と related_res_list に追加

else if res == object \& subject のラベルが日本語である:

subject を latent_expression_cand_dict[org_res_label]と related_res_list に追加

return latent_expression_cand_dict, related_res_list


# 中間文生成によるスタイル変換のためのパラレルデータ拡張

大澤功記䛊パーシ・イヴ
早稲田大学大学院情報生産システム研究科
koki.osawa@akane.waseda.jp yves.lepage@waseda.jp

## 概要

自然言語処理におけるスタイル変換とは，文書を 特定のスタイルを持つ別の文書に意味を保ちなが ら変換するタスクである。近年の研究では，教師 あり学習を活用したスタイル変換が一般的である が，データセットが不足している。本研究では，特定のスタイルに依存しない中間文の生成によるパ ラレルデータ拡張法を提案し，その有効性及び一般性を検証した。実験では，Grammarly Yahoo Answers Formality Corpus と FlickrStyle10K に対してデータ拡張を行い，元データ及び拡張済みデータでスタイル 変換モデルを学習し，BLEUによる評価と統計的有意性の検証を行った. 実験より，平均編集距離が小 さい文対において提案法の有効性が示された.

## 1 背景

自然言語処理におけるスタイル変換とは，与えら れた文書を特定のスタイルを持つ別の文書に意味を 保ちながら変換するタスクである，スタイルは，個人や集団の持つ意味を表現する方法という直感的な 概念であるとされ (Mcdonald et al., 1985) [1], 例とし て, 丁寧さ (formality) や平易さ (simplicity) がある.近年の研究では，深層学習を活用したスタイル変換が一般的であるが，利用可能なパラレルデータが 少ないためデータセットの不足が問題となってい る。深層学習によるスタイル変換は，主に教師あり 学習と教師なし学習からなり, 教師あり学習による スタイル変換では，ニューラル機械翻訳に使用され ていた時系列モデルが一般的に活用され (Niu et al., 2018; Xu et al., 2012) [2] [3]，これを踏まえてマルチ タスキングやデータ拡張の研究が行われている. 教師なし学習によるスタイル変換では，強化学習や 敵対的生成ネットワークが活用されているが (Gong et al., 2019; Yang et al., 2018) [4] [5] , 現在でも教師あ り学習がより高いスコアを上げている. Zhang ら (2020) [6] は，丁寧さのスタイル変換における機械翻訳モデルの逆翻訳を活用したパラレルデータ拡張法 を提案した。当手法では，機械翻訳モデルが訳とし て丁寧な文章を出力することを利用する。 パラレル でないカジュアルな文に対して機械翻訳による逆翻訳を行い，対応する丁寧な文を取得する．実験によ り, 丁寧さのスタイル変換におけるデータ変換にお いて最先端の結果を得たことが示された. しかし， データ拡張のためのモデルの学習コストが高いこと や，丁寧さという特定のスタイルにしか手法を適用 できないことが問題点として挙げられる。

本研究では，特定のスタイルに依存しない大規模 な拡張文対の生成が可能なパラレルデータ拡張法を 提案する。提案法は，中間文生成モデルを用いたパ ラレルデータ拡張法であり，スタイル変換における パラレルデータにおいて対応する文章が類似した 意味を持つことを利用する．実験では，Grammarly Yahoo Answer Formality Corpus (GYAFC) (Rao et al., 2018) [7] と FlickrStyle10K (Chuang et al., 2017) [8] に 対してデータ拡張を適用し，元データのみ及び拡張済みデータで学習させたスタイル変換モデルを BLEU によって比較評価することで提案法の有効性 を検証した。結果として，適切な数の拡張文対を加 えた元データにより学習されたモデルで BLEU が向上し，統計的有意性が示された。また，考察より中間文生成に用いる文対のペアの平均編集距離が小さ い場合に有効な拡張文対が生成されることがわか り，平均編集距離が 2 以下の文対において提案法が 特に有効であることが示された。

## 2 先行研究

## 2.1 テキストモーフィング

テキストモーフィング (Huang et al., 2018) [9] と は，2 入力文より意味的にそれらの間に存在する文 を生成するタスクである。このタスクは，文章の意味を制御した滑らかな変化を伴う文章の生成を目的 とする. テキストモーフィングの例を表 1 に示す.
表 1 テキストモーフィングの例 ([9] より引用)

$S_{\text {start }}$ : The noodles and pork belly was my favourite .

$S_{1}: \quad$ The pork belly was my favourite

$S_{2}$ : The pork was very good

$S_{3}$ : The stuff was very good .

$S_{3}$ : The stuff is very friendly

$S_{\text {end }}: \quad$ Love how friendly the stuff is !

## 2.2 中間文生成によるモーフィング

Wang ら (2019) [10] は，中間文の生成によるテキ ストモーフィングを提案した。ここで中間文と は，2 入力文に対して中間の意味を持つ文章を意味する． midgenerator はその中間文を生成するモデ ルであり，学習済みのオートエンコーダから生成 された中間文を用いて微調整された GPT-2 (Radford et al., 2019) [11] である. 当論文では, 中間文の評価のために BERTScore (Zhang et al., 2020) [12] を用 いた BERTScore Distance が定義された. BERTScore Distance は式 1 により計算される.

$
d_{B}(A, B)=1-B E R T \operatorname{score}(A, B)
$

また，微調整にはパープレキシティが 30 以下かつ GECToR (Omelianchuk et al., 2020) [13] よって訂正さ れなかったもので式 2 を満たす 5000 の開始文，終端文及び中間文が使用された.

$
\left|d_{B}\left(S_{\text {start }}, S_{\text {middle }}\right)-d_{B}\left(S_{\text {middle }}, S_{\text {end }}\right)\right|<0.05
$

実験により，従来手法と比較して当手法が意味を 考慮したより直線的な中間文生成を行えることが示 された. 直線的とは埋め込み空間上で中間文が開始文と終端文がなす直線に近いことを意味する。

## 3 提案手法

## 3.1 提案手法

本研究では，スタイル変換における新たなパラレ ルデータ拡張法として，中間文の生成を活用する方法を提案する。提案手法の概要を図 1 に示す.

提案手法は，以下の 3 つの処理を行いパラレル データを拡張する。

1. 一方のスタイルから 2 文を取得してそれらの中間文を生成する

2. もう一方のスタイルから対応する 2 文を取得し てそれらの中間文を生成する

3. 生成された 2 つの中間文を対応付けて拡張デー タとする

図 1 提案手法の概要

本手法は，データセットから文対のペアを取得 し，中間文の生成によりデータ拡張を行うが， $n$ 個 の文対を持つパラレルデータにおいて取得される文対のペアは ${ }_{n} \mathrm{C}_{2}$ であり，元データに対して 2 次に比例する量の拡張データが取得可能である.

## 3.2 提案手法における類推関係

本手法は，スタイル変換のパラレルデータが対応 する文対が類似する意味を持つことを利用する．以下の式に提案手法における類推関係を示す.

$
\begin{aligned}
\text { 文 }_{i} & \leftrightarrow \text { 文 }_{i}^{\prime} \\
\text { 文 }_{i}: \text { 文 }_{i j}: \text { 文 }_{j} & \leftrightarrow \text { 文 }_{i}^{\prime}: \text { 文 }_{i j}^{\prime}: \text { 文 }_{j}^{\prime} \\
\text { 文 }_{i j} & \leftrightarrow \text { 文 }_{i j}^{\prime}
\end{aligned}
$

ここで，文 $i_{i}$ と文 $i_{i}$ が与えられ対応する文対であ り, 文 ${ }_{i j}$ は文 と文 $_{j}$ の, 文 ${ }_{i j}^{\prime}$ は文 ${ }_{i}^{\prime}$ と文 ${ }_{j}^{\prime}$ の中間文 を表す。このとき，文 ${ }_{i}$ と文 $i_{i}^{\prime}$ と文 と文 $_{j}^{\prime}$ は類似し た意味を持つため，それぞれの意味的な中間文であ る文 $i j$ と文 $i_{i}$ は類似する意味を持つ.

## 3.3 新規性・有効性

本手法の新規性は，パラレルデータ拡張に類推関係を用いることに加え，文書生成モデルが生成した 文でデータ拡張を行うことである。また，有効性と して学習コストが低いこと，特定のスタイルに依存 しない方法であることと二次に比例する数の拡張文対が取得できることが挙げられる.

## 4 実験

## 4.1 データセット

実験には，GYAFC (Rao et al., 2018) [7] と FlickrStyle10k (Chuang et al., 2017) [14]を使用した.

GYAFC GYAFC は， 1 文あたりの単語数が 5 語 から 25 語までの意味が対応するカジュアルな文 と丁寧な文の対からなる，丁寧さのスタイル変換のためのパラレルコーパスである。このコー パスは，データセットは，エンターテインメント と音楽 (Entertainment\&Music) 及び家族と人間関係 (Family\&Relationship) の二つのカテゴリからなる. なお，このデータセットは，学習用データ，検証 データとテストデータに予め分けられている (Rao et al., 2018). GYAFC に含まれる文対の例を表 2 に， GYAFC の各カテゴリの文対の数を表 3 に示す.

表 2 GYAFC のEM カテゴリに含まれる文対の実例

丁寧 1 I am entirely off or does that help.

表 3 GYAFC の各カテゴリの文対の数

FlickrStyle10K FlickrStyle10k (Chuang et al., 2017) [14] は, Flickr30K (Hodosh et al., 2013) [8] を基に構築 された，スタイルを明示的に制御したキャプション 生成モデルによるデータセットである.このデータ セットには，合計で 10,000 枚の画像が含まれてお り，各画像にはロマンチックなキャプションとユー モラスなキャプション対が付属する. 現在では， 7,000 枚分のみが利用可能である．Li ら (2018) [15] は，スタイル変換に本データセットを使用すること を提案した. Guo ら (2019) [16] に従って，本研究の 実験では，6,000 の文対を学習，500 の文対を検証， 500 の文対をテストに使用した. FlickrStyle10K に含 まれる文対の例を表 4 に示す。

表 4 FlickrStyle10kに含まれる文対の実例

ロマンチック 1 A man uses rock climbing to conquer the high. ユーモラス 1 A man is climbing the rock like a lizard.

## 4.2 実験方法

実験は，データ拡張部と評価部から構成される。 データ拡張部 元データから取得した全ての文対 の組合せのうち，単語レベルの平均編集距離が小さ い組合せに対して中間文を生成し，拡張文対を取得 した. 実験のデータ拡張部の概要を図 2 に示す. なお，生成する中間文対の数は使用するデータ の規模を基準に設定し，GYAFC の場合は 50,000， Flickr の場合は 5,000 の中間文対を拡張した.

図 2 データ拡張部の概要

評価部元データに一定量の拡張データを加えた 複数の場合でスタイル変換モデルを学習し，BLEU (Panineni et al., 2002) [17] による評価を行なった.

GYAFC では，元データのみ及び $10,000 ， 20,000$ ， 30,000，50,000 の拡張文対を元データに加えた場合 で Transformer (Vaswani et al., 2017) [18] にカジュアル から丁寧へのスタイル変換を学習させた。なお，モ デルは 8 つの注意へッドと 4 層の 512 次元の隠れ層 を持ち，512 次元の単語べクトルにより 32 の文対を バッチとして 0.0005 の学習率で学習された。

FlickrStyle10Kでは元データのみ及び $1,000,2,000$, 3,000，5,000 の拡張文対を元データに加えた場合 で GRU (Chung et al., 2014) [19] にロマンチックから ユーモラスへのスタイル変換を学習させた。なお， モデルは 2 層の 512 次元の隠れ層を持ち, 128 次元の単語ベクトルにより 8 の文対をバッチとして 0.00005 の学習率で学習された。

なお，モデルは OpenNMT-py ${ }^{1}$ (Klein et al., 2017) [20] 上のものを用いた。また，BLEU の測定には Sacrebleu $^{2}$ (Post et al., 2018) [21] を使用し，MosesDecoder $^{3)}$ (Koehn et al., 2007) [22] 上のツールによりモ デルの統計的有意性を検証した。

## 5 実験結果と考察

## 5.1 実験結果

GYAFC の各カテゴリにおけるデータ拡張前及び 拡張後の BLEUを表 5 に， FlickrStyle10K における データ拡張前及び拡張後の BLEUを表 6 に示す。な お，有意性の検証により， $p<0.05$ となり有意と認 められたモデルを以下の表において太字で示す.

1) https://github.com/OpenNMT/OpenNMT-py

2) https://github.com/mjpost/sacrebleu

3) https://github.com/moses-smt/mosesdecoder
表 5 GYAFCにおける拡張前及び拡張後の BLEU

表 6 FlickrStyle10K における拡張前及び拡張後の BLEU

実験より，GYAFC の両カテゴリにおいて BLEU が向上し，提案手法が有効であることが示された. しかし，拡張文対を増やしすぎた場合には BLEU が 低下した. FlickrStyle10K でも同様に BLEU が向上 したが，拡張文対を増やしすぎた場合には BLEU が 低下した。また，有意性の検証では，F\&R カテゴリ の元データと 20,000 の拡張文対で学習したモデル が $p<0.05$ となり有意性が示された.

## 5.2 考察

BLEU が低下した要因として，拡張文対数が増え たことにより開始文対と終端文対の平均編集距離 が大きくなり，生成された中間文の意味が対応しな かったことが考えられる. GYAFC の E\&M カテゴ リに含まれる文対の組合せと，平均編集距離ごとに 生成された中間文対の例を表 7,8 に示す.

表より，平均編集距離が大きい中間文対が小さい 中間文対に比べて意味が対応していないと直感的に 評価できる．生成された中間文対の定量的評価のた めに，GYAFC の E\&M カテゴリにおける実験で生成した中間文対に対して, SentenceBERT (Reimers et al., 2019) [23] を用いて意味を考慮した文章べクトル を取得し，平均編集距離ごとにコサイン類似度を算出した. 編集距離ごとの類似度を図 3 に示す.

図 3 各平均編集距離における類似度表 7 GYAFC の E\&M カテゴリにおいて平均編集距離が 5 の文対の組合せから生成された中間文対の実例

表 8 GYAFC の E\&M カテゴリにおいて平均編集距離が 20の文対の組合せから生成された中間文対の実例

 \\
\cline { 2 - 4 } & 文 $_{i j}$ & you can talk to her but not the guy! \\
\cline { 2 - 4 } & 文 $_{j}$ &  \\

\cline { 2 - 3 } & 文 $_{i j}^{\prime}$ & I can talk to her to explain it. \\
\cline { 2 - 3 } & 文 $_{j}^{\prime}$ &  \\

図より，中間文生成に使用する開始文対と終端文対の平均編集距離が近い場合において生成された中間文対の意味が類似することが示された. また，平均編集距離が大きくなるにつれて中間文対の類似度の平均が下がり，分散が大きくなることがわかっ た. GYAFC の E\&M カテゴリの元データでは，対応 する文対のコサイン類似度の平均値は 0.787 となっ たため，平均編集距離が 1.5 程度の文対ぺアで提案法が有効だと考えられる。

## 6 おわりに

本研究では，特定のスタイルに依存しない大規模 なデータ拡張法として，中間文生成を活用したパラ レルコーパス拡張法の提案を行った。

実験により，GYAFC では適切な数の拡張文を加 えた元データにより学習されたモデルで BLEU が向上し，拡張文対が多すぎる場合には BLEU が低下し た. FlickrStyle10K でも同様に BLEU は向上したが，拡張文対が多すぎる場合には BLEU が低下した。ま た，有意性の検証では GYAFC の F\&R カテゴリにお いて 20,000 の拡張文対を元データに加えた場合で 有意性が示された。考察より，中間文生成に用いる 文対のペアの平均編集距離が小さい場合に有効な拡張文対が生成されることがわかり，平均編集距離が 2 以下の文対において提案法が特に有効であること が示された，今後の展望として，拡張文対のより良 い抽出法の検討や機械翻訳での応用が考えられる。

## 参考文献

[1] David D. McDonald and James D. Pustejovsky. A computational theory of prose style for natural language generation. In Second Conference of the European Chapter of the Association for Computational Linguistics, Geneva, Switzerland, March 1985. Association for Computational Linguistics.

[2] Xing Niu, Sudha Rao, and Marine Carpuat. Multi-task neural models for translating between styles within and across languages. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 1008-1021, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[3] Wei Xu, Alan Ritter, Bill Dolan, Ralph Grishman, and Colin Cherry. Paraphrasing for style. In Proceedings of COLING 2012, pp. 2899-2914, Mumbai, India, December 2012. The COLING 2012 Organizing Committee.

[4] Hongyu Gong, S. Bhat, Lingfei Wu, Jinjun Xiong, and Wen mei W. Hwu. Reinforcement learning based text style transfer without parallel training corpus. In NAACL, 2019.

[5] Zichao Yang, Zhiting Hu, Chris Dyer, Eric P. Xing, and Taylor Berg-Kirkpatrick. Unsupervised text style transfer using language models as discriminators. In NeurIPS, 2018 .

[6] Yi Zhang, Tao Ge, and Xu Sun. Parallel data augmentation for formality style transfer. In Proceedings of ACL 2020, pp. 3221-3228, Online, July 2020. Association for Computational Linguistics.

[7] Sudha Rao and Joel Tetreault. Dear sir or madam, may I introduce the GYAFC dataset: Corpus, benchmarks and metrics for formality style transfer. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 129-140, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[8] Micah Hodosh, Peter Young, and Julia Hockenmaier. Framing image description as a ranking task: Data, models and evaluation metrics. Journal of Artificial Intelligence Research, Vol. 47, pp. 853-899, 2013.

[9] Shaohan Huang, Yuehua Wu, Furu Wei, and M. Zhou. Text morphing. ArXiv, Vol. abs/1810.00341, , 2018.

[10] Pengjie WANG, Liyan WANG, and Yves LEPAGE. Generating the middle sentence of two sentences using pretrained models: a first step for text morphing. 言語処理学会第 27 回年次大会発表論文集, p. 1481-1485, 2021.

[11] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[12] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[13] Kostiantyn Omelianchuk, Vitaliy Atrasevych, Artem Chernodub, and Oleksandr Skurzhanskyi. GECToR grammatical error correction: Tag, not rewrite. In Pro- ceedings of the Fifteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 163170, Seattle, WA, USA $\rightarrow$ Online, July 2020. Association for Computational Linguistics.

[14] Chuang Gan, Zhe Gan, Xiaodong He, Jianfeng Gao, and Li Deng. Stylenet: Generating attractive visual captions with styles. 2017 IEEE Conference on CVPR, pp. 955964, 2017.

[15] Juncen Li, Robin Jia, He He, and Percy Liang. Delete, retrieve, generate: a simple approach to sentiment and style transfer. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1865-1874, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[16] Longteng Guo, Jing Liu, Peng Yao, Jiangwei Li, and Hanqing Lu. Mscap: Multi-style image captioning with unpaired stylized text. In 2019 IEEE/CVF Conference on CVPR, pp. 4199-4208, 2019.

[17] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. BLEU: a method for automatic evaluation of machine translation. In Proceedings of ACL 2002, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[18] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in NIPS 2017, Vol. 30. Curran Associates, Inc., 2017.

[19] Junyoung Chung, Caglar Gulcehre, Kyunghyun Cho, and Yoshua Bengio. Empirical evaluation of gated recurrent neural networks on sequence modeling. In NIPS 2014 Workshop on Deep Learning, p. no page number, 2014.

[20] Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart, and Alexander Rush. OpenNMT: Open-source toolkit for neural machine translation. In Proceedings of ACL 2017, System Demonstrations, pp. 67-72, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[21] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[22] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of ACL 2007, pp. 177-180, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[23] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of EMNLP-IJCNLP 2019, pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.


# 応用を考慮した包括的な言い換えの類型: 現在の類型と課題

渡邊晃一朗 1,2 藤田響平 ${ }^{3}$ 永田基樹 ${ }^{3}$ 森遼太 ${ }^{3}$ 小代義行 ${ }^{3}$
1 東京大学大学院教育学研究科 ${ }^{2}$ 理化学研究所 ${ }^{3}$ 株式会社 pluszero
kouichirou-watanabe495@g.ecc.u-tokyo.ac.jp
\{fujita.kyohei, nagata.motoki, mori.ryota,ojiro.yoshiyuki\}@plus-zero.co.jp

## 概要

自然言語処理において、これまで言い換えの重要性は指摘されてきた。そして言い換えを理解するた めに、文法や意味において同一であると考えられる 言語表現の対の関係の類型の作成が行われてきた。 しかし、意図まで考慮した上で、実際の応用の中で 言い換えとみなしたい言語表現の対を考慮した類型 の作成はなされてはこなかった。本研究では、応用 において言い換えとみなす言語表現の対を考慮した 言い換えの類型の提案を行う。応用を考慮した際、平易化においては難易度の調整を伴った言い換え、質問応答においてはある発話に後続する発話を想定 した言い換えがそれぞれ必要であり、これらを包括的に扱うための類型を本研究では提案する。

## 1 はじめに

自然言語処理の分野では同じ意味を有するが異な る表記である言語表現の対を「言い換え」であると 定義していた [1]。しかし、質問応答などの実際の 応用を考えた時、厳密には同じ意味を有さないもの の応用の観点から言い換えであるとみなしうるよう な言語表現の対が存在する。意味が同一ではないも のの何らかの観点から言い換えであるとみなしうる 言語表現の対の間の差異は “pragmatic difference” と 呼ばれており [1]、その存在は指摘されてきたもの の、Kovatchev ら [2] が “textual paraphrase" という語句を使ったように、意図などのようなテキストそれ 自体からは考慮できないものを考慮した言い換えは これまでの研究では十分に扱われてこなかった。以下、本研究では、意味としては同一でなくとも、何 らかの観点から同一であると認識できる言語表現の 対が言い換えであると定義し、実際の応用において 言い換えとしてみなしうるものを考慮した言い換 えの類型を提案する。ここでの応用は質問応答や平易化などを考慮している。質問応答での言い換えを考えた際には、ある発話の意味の同一性のみではな く、その後に続くと想定される発話の同一性を考慮 することが必要である。このように、何らかの点で 同一性があると考えられる言語表現の対を言い換え として考慮する。

これまでの自然言語処理の分野において、以下で 挙げるように言い換えの類型の提案がなされてき た。まず文法的な観点からの言い換えの類型を提案 したものとしては、Dras [3] や Fujita [4] の研究が挙 げられる。これらの研究は、文法の観点から考えら れうる言い換えの類型を整理したもので、基本的に 意味を考慮した言い換えを扱っていない。意味も含 めて言い換えの類型を整理した研究として、まず 挙げられるのが Bhagat ら [1] の研究である。Bhagat ら [1] は意味の観点から言い換えとみなせるものも 含めて、25 個の類型に整理した。Vila ら [5] の研究 は、基本的にこの Bhagat ら [1] が提唱した 25 個の 類型を基礎として行われ、各類型の定義の精緻化を 行った。最新の言い換えの類型として Kovatchev ら [2] が提案した Extended Paraphrase Typology (EPT) は Bhagat ら [1] が意味を考慮しているのに加えて、談話のレベルまで考慮した言い換えの類型である。

本研究は、応用として考えられるデータを出発点に、実際の応用で言い換えとみなした言語表現 の対を考慮した言い換えの類型を提案する。既存研究では、実際の応用を考えた上での言い換えは 考慮されていなかった。Kovatchev ら [2] が “textual paraphrase”を考慮すると述べていたように、基本的 にテキストの表現とそれが表現する意味が同じであ るとみなせる言語表現の対のみを既存研究は扱っ てきた。本研究は、テキストが表現する意味が同じ ではないが応用の観点から考えたときに言い換え とみなしたいものを言い換えとして同定すること を目的とする。そこで、Microsoft Research Paraphrase Corpus [6] のようにこれまでの言い換えのコーパス が表現として似ているものをある程度自動的に収集

しそれを基に構築されたのに対し、人手でデータを 収集することから始め、言い換えとみなしたい言語表現の対を集めその類型を記述する。

## 2 方法と提案する類型

本研究は、以下の 2 つの段階で構成される:

1. 言い換えの類型の整理

2. データのアノテーション

まず、既存研究で提案された言い換えの類型を整理し、それらに新たな類型を加える形で包括的な言 い換えの類型を作成した。この類型を用いて、応用 において用いられるデータに対してアノテーション を行った。このアノテーション時にそれまでで作成 された類型に該当しないような言い換えが存在し た時、それを包括できるような類型を新たに追加し た。結果として本研究で提案する類型を表 1 に示し ている。各層は複数の類型に共通するような区別に はなっておらず、単純に上下関係を意味する。

データとしては、応用を考慮して以下のものを 扱った:

1. 質問応答システムにおける応答が同じと考えら れる発話

2. 教科書における同一概念の説明

質問応答については、その意図と回答が同一である ことが望まれる質問群にある質問がお互いに言い換 えであるとみなして収集した。教科書においては、異なる校種間、特に小学校と中学・高校の教科書に おいて同一の概念の説明を行っている部分を主に 取り上げた。これは応用として平易化を主に考慮し ており、特に同一概念の説明の平易化を主に扱った データとして本研究で扱っている。

データのアノテーションは、言い換えとみなした い言語表現の対をデータから抽出しにれを抽出対 と呼ぶ)、一方に対し言い換えの類型を適用して他方に変換するということを複数回行った。この時、 1 回の変換で 1 つの類型を適用し、既存の類型で変換が不可能だと判断された場合、新しい類型の追加 を行った。例えば、以下のような抽出対を考える1):

1a 沿岸や沖合いにおける水産資源管理の試みに 加えて、人工孵化による放流を行う栽培漁業が 注目されるようになった。

1b 沿岸や沖合いにおける水産資源管理の試み

1）本論文では、言い換えとみなす対を示した時、その間で差異がある部分を太字で示す。
に加えて、魚のたまごから稚魚を育てて放流す る栽培漁業が注目されるようになった。

で行われる:

1.「本質的意味の活用」のうち「含意関係の活用 (動詞)」を適用: 沿岸や沖合いにおける水産資源管理の試みに加えて、魚のたまごから稚魚を 育てて放流を行う栽培漁業が注目されるように なった。

2.「抽象-具体」のうち「既存語彙資源で可」の下位類型「ドメイン適合不要」を適用: 沿岸や沖合いにおける水産資源管理の試みに加えて、魚 のたまごから稚魚を育てて放流する栽培漁業が 注目されるようになった。

以上の手続きを経て結果として、得られた抽出対の 数は 179 対、合計の変換の回数は 1074 回であった。本研究では、複数人で協議しつつアノテーションを 行った。

## 3 議論

## 3.1 類型の敷衍

本研究で特に重要と位置付ける以下の類型を例を 挙げながら詳述する:

1. 語義

2. 応答

語義については、ある語句に対して、その類義語 や上位・下位語を扱うだけでなく、それの辞書的な 語義で置き換えることで言い換えをしていると考え られるような事例があることが実際に教科書で見ら れた。以下に例を挙げる:

2a 夏の季節風は、とくに東アジアから南アジア にかけて多くの雨をもたらすため、雨季そのも のをモンスーンということもある。

2b 夏の季節風は、とくに東アジアから南アジア にかけて多くの降水をもたらすため、夏の雨が 多い時期そのものをモンスーンということも ある。

この例は、「雨季」をその語義で置き換えた言い換 えである。

この例ではある語句をその語義を変換することな く置き換えれば言い換えが成立するが、加えて前後 の文脈に応じて補うように追加で変換を行う必要が
表 1 言い換え類型: Bhagat ら [1] と EPT [2] の列はこれら既存研究に存在したかを示し、新規の列は本研究で新たに提案された類型であるかを示している。

ある場合がある。以下に例を挙げる:

3a 温度が一定のとき、一定量の気体の圧力 $\mathrm{P}$ は 気体の体積 V に反比例する。

3b 温度が一定のとき、一定量の気体の圧力 $\mathbf{P}$ が 2 倍、 3 倍となっていくとき、気体の体積 $\mathbf{V}$ が 2 分 の 1 倍、 3 分の 1 倍となる。

この例では「反比例」をその語義によって言い換え
ていると考えられるが、「一定量の気体の圧力 $\mathrm{P}\rfloor や$「気体の体積 V」といった表現を補わなければなら ない。このような例を考慮すると、自動的な言い換 えを生成する際には語義に応じた処理が必要である と考えられ、その処理の必要性の有無を類型に反映 している。

このような語義を用いた言い換えは異なる校種間の教科書を比較した際に見られ、テキストの難易
度を操作する平易化において有用であると考えら れる。

次に、応答については、考慮される対のみだけで なく、その前後の文脈の同一性を考慮したような言 い換えを考慮している。以下に例を挙げて示す:

4a 具体的な停止位置はどこなのか

4b 具体的な停止位置を教えて

この例では一方は疑問文、もう一方は命令文であり 文法的な類型とその意味は異なるが、想定される応答が同じであることから言い換えとみなしうる。特 に質問応答を応用として考慮すると、異なる発話の 対の同一性はそれらに続く応答の同一性から得られ うる。このように、本研究で提案する言い換えの類型は、考慮される対のみだけでなく、その前後の文脈の同一性を考慮したような言い換えを考慮してい る。この応答を考慮した言い換えは質問応答におけ る自動応答において有用であると考えられる。

## 3.2 今後の展開

現在の類型において、より詳細な類型が必要であ る部分を議論する。ここでは「例外系」の中でも特 に「追加・削除」という類型を取り上げる。この追加・削除という類型は既存研究で提案された類型で も存在し、本研究でもそれを継承したが、明確にど のような類型であるのかについては言及されてこな かった2)。

追加・削除と考えられるような対の関係につい て、まだ十分に議論を尽くしているとは言えない状況である。特に、追加・削除されるものにどのよう ものがあるのかについての知見はまだ得られていな い。追加・削除により生じる対の間の意味の差異は 先行研究でも “content loss” と呼ばれて存在が指摘さ れていた [5] が、言い換えとみなしうる対において 起きている content loss の体系的な整理はなされてい ない。言語表現の変換をする際には content loss は必然的に起きうるものであり、content loss の体系的な 整理を目指して、既存研究で提案されてきたコーパ スも踏まえた上で、追加・削除とみなされる対のよ り詳細な類型の構築をすることが今後の課題として 挙げられる。この追加・削除という類型には少なく とも主に 2 つの類型が存在する。1つ目は意味に大

2）類似した類型として同じく「例外系」の 1 つの類型である 「省略」が存在するが、与えられた対から変更部分が自明に復元可能であるものを省略、そうでないものを追加・削除とし て分類した。
きな変更がない場合であり、2つ目は意味に大きな 変更があるものの応用の観点からは言い換えとみな したい場合である。

まず、追加・削除がなされても意味に大きな変更 がない場合の例を挙げる:

$5 a$ 近くの植物などとの距離はどの程度で大丈夫か

$\mathbf{5 b}$ 近くの植物との距離はどの程度で大丈夫か

この例のように「など」のような語句の追加・削除 は対の間で大きな意味の差異を生まないと考えら れる。

一方で追加・削除がなされると意味に大きな変更 があるものの応用の観点からは言い換えとみなした い場合は以下のような場合である:
6a 許容範囲内の-とはどの程度の-を指すか
6b -とはどの程度の-を指すか。

この例の「許容範囲内の」のように、追加・削除と 分類される対の中で大きく意味が異なるような対が 存在する。

その他、言語特有の問題も挙げられる。以下に例 を示す:

$7 a$ 点検の時の注意点は何か。

$7 b$ 点検時の注意点は何か。

この例のような「の」の追加・削除については、対 の間で意味内容が大きく変わらない。このような機能語の追加・削除については個別言語に依存する部分があり、英語が主に考慮されていた既存研究では 十分に考慮されてきたとは言えない。実際の応用に おいては個別言語に適した類型を用いる必要があ り、本研究においては日本語特有の追加・削除の類型を検討する必要がある。

## 4 おわりに

本研究では、既存の言い換えの類型を整理した上 で、応用を考慮した新たな言い換えの類型を提案し た。議論の部分で述べた通り、今後はより詳細な類型を立てることが必要であるため、今後はデータの 収集と類型の精緻化を、特に追加・削除の部分につ いて行っていく。本研究で提案した言い換えの類型 を基礎として、今後は自動対話や平易化のシステム の構築を行うことを予定している。

## 謝辞

本研究は株式会社 pluszero との共同研究「言い換 えに関する研究」の助成を受けたものです。また、 データのアノテーションにおいては井上峻之介氏と 杉本智紀氏のご協力を頂きました。

## 参考文献

[1] Rahul Bhagat and Eduard Hovy. What is a paraphrase? Computational Linguistics, Vol. 39, No. 3, pp. 205-218, 2013.

[2] Venelin Kovatchev, Antònia Martí, and Maria Salamó. Etpc: A paraphrase identification corpus annotated with extended paraphrase typology and negation. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation, pp. 1384-1392, 2018.

[3] Mark Dras. Tree Adjoining Grammar and the Reluctant Paraphrasing of Text. Macquarie University, 1999.

[4] Atsushi Fujita. Automatic Generation of Syntactically WellFormed and Semantically Appropriate Paraphrases. Nara Institute of Science and Technology, 2005.

[5] Marta Vila, Antònia Martí, and Horacio Rodríguez. Is this a paraphrase? what kind? paraphrase boundaries and typology. Open Journal of Modern Linguistics, Vol. 4, pp. 205-218, 2014.

[6] William Dolan and Chris Brockett. Automatically constructing a corpus of sentential paraphrases. In Proceedings of the Third International Workshop on Paraphrasing, pp. $9-16,2005$.


# 供述調書に現れる数量表現の推論テストセットの構築

小谷野華那 ${ }^{1}$ 谷中瞳 $^{2}$ 峯島宏次 ${ }^{3}$ 福田浩司 4 橋爪宏典 5 戸次大介 ${ }^{1}$
1 お茶の水女子大学 2 東京大学 3 慶應義塾大学
4 日本電気株式会社 ${ }^{5} \mathrm{NEC}$ ソリューンョンイノベータ株式会社
\{koyano.kana, bekki\}@is.ocha.ac.jp hyanaka@is.s.u-tokyo.ac.jp
minesima@abelard.flet.keio.ac.jp \{h.fukuda,h_hashidume\}@nec.com

## 概要

昨今の自然言語処理の発展により、刑事手続きに も意味解析の応用が試みられている。供述調書では 頻出する数量表現の意味を正しく処理することが求 められる。また数量表現が現れる文の推論では、含意と推意の間で判定が異なり、平叙文と否定文、条件文では含意関係が反転する場合がある。そこで本研究では、供述調書に現れる数量表現に対して、高度な意味アノテーションを付与した数量表現コーパ ス、および数量表現の推論テストセットの構築を行 い、ベースライン実験による評価を行なった。

## 1 はじめに

昨今の自然言語処理の発展により、刑事手続きの 文書にも意味解析技術の応用が試みられている。供述調書には数量表現が頻出するため、数量表現の意味を正しく処理することは特に重要である。そのよ うな用途に供する言語処理技術を開発し、正しく評価するために、実テキストの数量表現の理解を問う データセットが求められている。

含意関係認識（自然言語推論）は、前提文が真 であるとき、仮説文が必ず真（=含意）か、必ず偽 （=矛盾）か、どちらともいえない（=中立）かを判定するタスクであり、テキスト間の言語理解の基礎 をなすタスクの一つである。推論を構成する関係に は、含意 (entailment) と推意 (implicature) がある。例 えば、次の前提文 (1) と仮説文 (2)を考えよう。

(1) 男性が道端に 4 人座っていた。

（2）男性が道端に 5 人座っていた。

（1）を少なくとも 4 人座っていた」と解釈すればこ の推論の含意ラベルは中立になる。しかし、Grice の量の格率 $[1]$ より、もし話者が 5 人座っていたこ とを知っていたとすればそう言うはずなので、わざ
わざ（1）のように述べたということは「5 人目は存在しない」と考えられ、推意ラベルは矛盾になる。

このように数量表現が現れる文間の推論では数詞 の違いや数量表現の用法によって含意と推意の間で 判断が異なるため、両者を区別して考える必要があ る。また、平叙文と否定文、条件文では判定ラベル が反転するという特徴もある。

そこで本研究では、刑事手続きに関連する実テキ ストのうち数量表現を含む文と、NPCMJ[2] から抽出した否定文、条件文を用いて、数量表現の分類や 用法などについて高度な意味アノテーションを付与 した数量表現コーパスを構築する。さらに、数量表現コーパスをもとに、数量表現の推論テストセット を構築する。本稿では、数量表現コーパスと推論テ ストセットの設計と、ベースライン実験の評価結果 について報告する。構築したデータセットは、研究利用可能な形式で公開する予定である。

## 2 関連研究

英語では、数量表現を含む推論テストセット [3] があり、含意、矛盾、中立の 3 つのカテゴリに 2,532 件ずつ計 7,596 件の文ペアが含まれている。しかし この推論テストセットに対しては、数量表現の推論 が単純なテンプレートに基づいて構築されている ため、いくつかのヒューリスティックスで大部分の 問題（全体の約 $82 \%$ ）を解くことができてしまうと いう批判がある [4]。また、英語の scalar implicature のデータセットとしては [5] があるが、このデータ セットはテンプレートから自動で構築されており、文は比較的単純なものが多い。

日本語の推論データセットとしては、形式意味論 テストセットの JSeM [6]、英語 SNLI [7] の日本語版 である JSNLI [8]、英語 SICK [9] の日本語版である JSICK [10]、旅行情報サイトの評判という実テキス トからクラウドソーシングで構築された JRTEC [11]

などがあるが、日本語の数量表現の統語的・意味的 な多様性は十分に考慮されていない。

成澤ら [12] は、日本語の含意関係認識において数量表現が問題になる事例に焦点を当て分析を行い、数量表現の規格化のためのモジュール実装と評価を 行なった。成澤らは、数量表現が出現する文ペアを 7 つのカテゴリに分類し、正しく含意関係を判定す るために必要な処理について述べているが、数量表現自体の分類や、数詞の違いによる含意ラベルと推意ラベルの判定の違いについては言及していない。

本研究では、実テキストにおける日本語の数量表現に高度な意味アノテーションを付与した数量表現 コーパスを構築し、そのコーパスをもとに推論ペア を作成し、含意と推意の両方のラベルを付与した推論テストセットを構築する。

## 3 数量表現の意味と推論

## 3.1 数量表現の分類

助数辞の分類 飯田 [13] によると、助数辞は分類辞、単位形成辞、計量辞の 3 つに分類される。これ に加えて、数量表現には時間や系列の中の順序を表 す「3 月」「1 番」のような序数辞（順序数詞）[14] を伴うものがある。そこで、本研究では、飯田の 3 分類と序数辞を合わせた 4 分類を用いる。各助数辞 の例を表 1 に示す。

表 1 各分類ごとの助数辞の例とアノテーション件数

助数辞の分類には、表層形から一意に定まらず、文脈や用法によって分類が変わる助数辞も存在す る。たとえば、「会議室は建物の 3 階にある」に現れ る「階」は序数辞であるが、「ここから 3 階のぼった ところに会議室がある」に現れる「階」は計量辞で ある。前者は特定の位置を指しているのに対し、後者は 3 フロア分上の階に上がるという意味であり、会議室が 3 階に位置しているという意味ではない。

数量表現の出現位置 岩田 [15] は、名詞 $\mathrm{N}$ につ いてその数とカテゴリー情報を数量表現 $\mathrm{Q}$ が表すも のについて、日本語百科事典で定義されている $\mathrm{Q}$ ノ $\mathrm{NC}$ 型、 $\mathrm{N} / \mathrm{QC}$ 型、 $\mathrm{NCQ}$ 型、 $\mathrm{NQC}$ 型の 4 分類に加 えて、述部型、デ格型の 2 分類を新たに追加してい
る。本研究ではこれに加えて、新たに数量表現の出現位置として、「3 回行った」のように動詞 Vを意味的に修飾する QV 型、イベント名詞句 Nv を修飾 する NvCQ 型、いわゆる代名詞的用法の「3 人は」 など $\mathrm{N}$ が脱落しているもの、「1 時間（で） 500 円」「1 ヶ月に 1 回」のように時間表現と数量詞が連続す る QtQ 型、イディオム・慣習的用法を追加し、数量表現の出現位置について分析を行なった。出現位置 の例を表 2 に示す。

表 2 出現位置の例とアノテーション件数

数量表現の用法 岩田が研究対象とした数量表現 $\mathrm{Q}$ の用法に加えて、本研究では、名詞 $\mathrm{N}$ を修飾する 数量表現 $\mathrm{Q}$ の用法について新たに 3 つの分類を追加 し、動詞 Vを修飾する数量表現 $\mathrm{Q}$ の用法として 3 つ の分類を追加した。さらに、Nvを修飾する数量表現 $\mathrm{Q}$ の用法とイディオム用法を追加した。用法の分類とその例を表 3 に示す。

表 3 用法の分類の例とアノテーション件数

## 3.2 数量表現の推論

意味論と語用論の区別 推論を構成する関係には 含意と推意が存在し、含意ラベルと推意ラベルで判断が異なる場合がある。含意では、前提文と仮説文 に意味論的に含まれる情報のみから推論を行なって いる。これに対して推意では、通常の会話が協調の 原則に従って進行していることから、Grice の会話

の格率 [1] にみられるように、文脈や発話者の意図 を考慮して、発話に含まれていない情報でも成立す ると推測することがある。そのため、推意は含意と 異なる判定になる場合がある。

下方含意文脈 $M$ が $N$ の下位概念とすると、通常は下位概念を含む文 $\varphi(M)$ は上位概念を含む文 $\varphi(N)$ を含意する。数量表現の場合、例えば、「200 人」は「100人」の下位概念であり、「会場に 200 人 いる」が真であれば「会場に 100 人いる」も真であ る。しかし、否定文や条件文の前件などのいわゆる 下方含意文脈では、含意関係が反転し、上位概念を 含む文 $\varphi(N)$ が下位概念を含む文 $\varphi(M)$ を含意する 場合がある。例えば、「会場に 100 人はいなかった」 は「会場に 200 人はいなかった」を含意する。

## 4 数量表現のアノテーション

## 4.1 供述調書テキストデータ

刑事手続きの実テキストとして、実際の事件記録 に沿った教材として作成された法務総合研究所作成 の事件記録教材を用いる $[16,17]$ 。本教材には、一冊ごとに、一つの事件を対象として刑事手続上で作成される事件記録が掲載されている。事件の発生時期・場所、登場する人物、団体、地名等は，いずれ も実際の事件と関係のない架空のものであるが、取扱状況報告書、被害者、加害者に対する供述調書、被害届、被害状況確認報告書などが、実際の事件記録に沿った形式で編集されているので、検察官が供述間の整合性の確認や矛盾有無を議論する過程を模擬的に検討することが可能である。

本研究でサンプリングしたデータは被害者、加害者に対する供述調書が中心であるが、被害者と加害者間の供述内容が不整合であるケースを取り上げて いる。特に、数量表現の不一致にもとづく不整合が 多くみられるため、数量表現間の正確な推論が重要 となる応用領域の一つである。

## 4.2 数量表現コーパスの構築

本研究では、供述調書テキストデータに含まれる 数量表現 613 件と NPCMJ[2] から抽出した否定文、条件文に含まれる数量表現 81 件の計 694 件につい て、言語学の素養のある大学院生 1 名がアノテー ションを行なった。

タグ付け 文中に現れる数量表現に<num>タグを 付与し、 3 章で述べた助数辞の分類、出現位置、用法についてアノテーションを行った。文中に複数の 数量表現が現れる場合は、数量表現 1 つに<num>夕 グを付与した。また、数量表現のうち、代名詞的用法、数詞 1 を含むもの、遊離数量詞、一定期間に関 する数量表現、数量表現が修飾する名詞がなく裸で 出てくるもの、「のうち」や「含め」などの要素数に 関する記述があるもの、数量詞修飾がついているも の、イディオム、漢数字、否定表現について、それ ぞれ区別できるようアノテーションを行なった。

コーパスに含まれる助数辞の分類は表 1 、出現位置は表 2、用法は表 3 に示したものを使用した。

## 5 数量表現の推論テストセット

## 5.1 推論テストセットの作り方

前提文は、4 節でアノテーションを行なった文を 用い、仮説文は（3）のように<num>タグが付与され ている数量表現について（4）のように意味を変え ない最小の節を取り出し、数詞の変更を行い数量詞修飾を付与することで作成した。

(3) 私は，20 年位前にスリで<num>3 回</num>位警察に逮捕され，1度は刑務所に入ったこと もありましたが，その後は真面目に生活して いました。

（4）私は、スリで 10 回以上警察に逮捕された。

前提文 $T$ 中の数詞に対して、数詞が 20 未満の場合は、マイナス 1 の数詞に置き換えた仮説文 $H_{-}$と、 プラス 1 の数詞に置き換えた仮説文 $H_{+}$の 2 つを作成し、推論テストセットを構築した。数詞が 20 以上の前提文に対しては、数詞をプラスマイナス 5 ずつ行い、 $H_{-} H_{+}$を作成した。数詞が大きいケース （例：2万 5000 円）については、一番大きい桁（例： 2 万）の数字を基準にプラスマイナス 1 を行い仮説文を作成した。表 4 の1つ目の例のように、数量表現に「くらい」などの数量詞修飾がついている場合 は、上記のルールに従って仮説文を作成すると判定 ラベルが全て中立になってしまうため、そのような 場合は非文にならない範囲で推意ラベルがなるべく 中立にならないように数字を変更した。また、表 4 の2つ目のように、数量詞修飾を追加すると非文に なる場合は、意味が変わらないように語順を入れ替 えて仮説文を作成した。本研究では、イディオム的用法は数詞の変更や数量詞修飾を追加すると非文に なるため、推論テストセットからは除外している。

 & 推意ラベル &  & 推意ラベル \\

表 5 日本語 BERT を用いたベースライン実験の結果（正答率）

上記のルールで作成した推論テストセットに対し て、アノテータ1名が判定ラベルを付与した。

## 5.2 テストセットの概要

本研究で作成した推論データセットには 1124 件 の文ペアが含まれており、各文ぺアに対して含意ラ ベルと推意ラベルをそれぞれ付与している。推論テ ストセットの統計情報を表 6 に、前提文と仮説文の 例を表 4 に示す。含意ラベルで中立になるものにつ いて、推意ラベルでは矛盾になる場合があるため、各ラベルの矛盾と中立の数が異なっている。

表 6 推論テストセットの統計情報

## 5.3 ベースライン実験

現状の標準的な言語処理技術がどの程度、数量表現の理解を必要とする推論を扱えるのかを評価する ため、日本語 BERT [18] をべースラインモデルとし て評価実験を行った。実験では、学習データとして JSICK（5000 件)、JSNLI（53 万件）を用いた。表 5 に含意関係認識モデルの評価結果を示す。全体とし ては JSICKを学習した場合よりも JSNLIを学習した 場合の方が日本語 BERT の正答率が高い傾向がある
が、両方とも 5 割を下回っていた。とくに、含意の 正答率が 6 割を超えたのに対して、矛盾と中立の正答率は 4 割を下回ったことから、既存のデータセッ トでモデルを学習すると含意と予測してしまう傾向が示唆される。学習データの違いによる正答率の 違いとしては、含意ラベル、推意ラベルの両方とも JSICK より JSNLIを用いた場合の方が矛盾の正答率 が上がっており、これは JSNLI の方が学習データの 件数が多いことが理由として考えられる。

## 6 おわりに

本研究では、供述調書内の数量表現を含む文と NPCMJ から抽出した否定文、条件文を用いて、数量表現の分類や用法などの高度な意味アノテーショ ンを付与した数量表現コーパスの構築と推論テスト セットの構築を行った。ベースライン実験として日本語 BERT の評価を行い、本研究で構築した数量表現の推論テストセットが、現状の言語処理技術にお いて挑戦的な課題であることを確認した。今後は、数量表現コーパスと推論データセットの拡張を進め るとともに、構築したデータセットを用いて現在の 含意関係認識システムの分析と評価を進めていく。

謝辞 本研究の一部は、日本電気株式会社・お茶 の水女子大学の共同研究「捜査資料内のテキスト 意味解析に関する研究」、JST CREST JPMJCR20D2、

JST さきがけ JPMJPR21C8 の支援を受けたもので ある。

## 参考文献

[1] Stephen Levinson. Pragmatics. Cambridge University Press, 1983.（S. レヴィンソン『英語語用論』,安井稔・奥田夏子訳, 研究社出版, 1990）

[2] NINJAL. NINJAL Parsed Corpus of Modern Japanese. (Version 1.0). Technical report, National Institute for Japanese Language and Linguistics, 2016. https://npcmj.ninjal.ac.jp/.

[3] Aakanksha Naik, Abhilasha Ravichander, Norman Sadeh, Carolyn Rose, and Graham Neubig. Stress test evaluation for natural language inference. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 2340-2353, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[4] Nelson F. Liu, Roy Schwartz, and Noah A. Smith. Inoculation by fine-tuning: A method for analyzing challenge datasets. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2171-2179, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Paloma Jeretic, Alex Warstadt, Suvrat Bhooshan, and Adina Williams. Are natural language inference models IMPPRESsive? Learning IMPlicature and PRESupposition. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8690-8705, 2020.

[6] Ai Kawazoe, Ribeka Tanaka, Koji Mineshima, and Daisuke Bekki. An inference problem set for evaluating semantic theories and semantic processing systems for japanese. In New Frontiers in Artificial Intelligence, pp. $58-65,2017$

[7] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642, 2015.

[8] 吉越卓見, 河原大輔, 黒橋禎夫. 機械翻訳を用いた自然言語推論データセットの多言語化. 第 244 回自然言語処理研究会, 2020.

[9] Marco Marelli, Stefano Menini, Marco Baroni, Luisa Bentivogli, Raffaella Bernardi, and Roberto Zamparelli. A SICK cure for the evaluation of compositional distributional semantic models. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pp. 216-223, 2014.

[10] 谷中瞳, 峯島宏次. JSICK: 日本語構成的推論 - 類似度データセットの構築. 第 35 回人工知能学会全国大会, 2021 .

[11] Yuta Hayashibe. Japanese realistic textual entailment corpus. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 6827-6834, 2020.

[12] 成澤克麻, 渡邊陽太郎, 水野淳太, 岡崎直観, 乾健太郎. 数量表現を伴う文における含意関係認識の課題分析. 言語処理学会 第 18 回年次大会 発表論文集, 2012.

[13] 飯田隆. 日本語と論理. NHK 出版, 2019.

[14] 奥津敬一郎. 拾遺日本文法論. ひつじ書房, 1996.

[15] 岩田一成. 日本語数量詞の諸相. くろしお出版, 2013.

[16] 法務総合研究所. 事件記録教材: 法科大学院教材. 第 15 号 (窃盗被疑事件). 法曹会, 2014.

[17] 法務総合研究所. 事件記録教材: 法科大学院教材. 第 15 号 (暴行機凝事件). 法曹会, 2014.

[18] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 2019.