# 創発言語はなぜ Zipf 短縮に従わないのか？暗黙の事前分布に基づく再解釈

上田亮
東京大学
ryoryoueda@is.s.u-tokyo.ac.jp

## 概要

本稿の目的は、シグナリングゲームにおいて生じ る創発言語が Zipf 短縮に従わないという知見に着目 し、その原因の一端を解明することにある。これま で、創発言語が Zipf 短縮に従わないのは、エージェ ントの帰納バイアスせいだろうと考えられてきた。 それに対し、本稿では新たな解釈を提示する。シグ ナリングゲームの目的関数の中で暗黙に仮定されて いる事前分布に着目し、それが反 Zipf 短縮の一因と なっている可能性を示唆する。

## 1 はじめに

創発言語は、シミュレーション上においてエー ジェント同士でコミュニケーションを取らせたとき に生じる、言語のようなプロトコルのことを指し、近年研究対象として注目されつつある [1]。創発言語の構造を理解し、それが自然言語とどの程度類似・乘離しているのかを知り、乘離をどのようにし て埋めていけばよいのかを考えることが、当分野で 重要なテーマの 1 つである。

Chaabouni ら [2] は、自然言語の普遍性質である Zipf 短縮 $[3,4,5]$ を取り上げ、シグナリングゲーム [6]において創発する言語が、Zipf 短縮に従うか検証 した。Zipf 短縮とは「頻出する単語ほど、単語長が 短い傾向にある」という自然言語に普遍的にみられ る性質である。例えば、英単語 “of” や “he” は高頻出であり、かつ短い。また、シグナリングゲームは シンプルなコミュニケーションモデルであり、言語創発分野で頻繁に用いられる。シグナリングゲーム には、送信者・受信者と呼ばれる 2 人のエージェン トが登場し、送信者から受信者への単方向通信のみ が許される。各プレイにおいて、送信者は入カ $i \in I$ を 1 つ受け取り、メッセージ $m \in \mathcal{M}$ を生成する。続いて、受信者はそのメッセージ $m$ を受け取り、元
の入力が何であったのかを推測する。この推測が当 たっていればゲームは成功である。このとき、送信者と受信者をつなぐメッセージ (の集合) は、何かし らの意味を伝達する言語のようなものであると考え ることができる。[2]は、1メッセージがちょうど 1 単語を成すと見做せる設定の下、創発言語が Zipf 短縮に従うか検証した。ところが、標準的な設定のシ グナリングゲームにおいて生じる創発言語は、Zipf 短縮に従わないことが示された。具体的には、メッ セージが明らかに不必要に長くなってしまうばか りでなく、頻度の高いメッセージほど長くなるとい う、反 Zipf 短縮とでもいうべき傾向が示された。こ れまで、創発言語が Zipf 短縮に従わないのは、エー ジェントの元となるニューラルネットワーク (NN) アーキテクチャ (e.g., LSTM [7]) の帰納バイアスに問題があるからであろうと考えられてきた $[2,8,9]$ 。

それに対して、本稿では、反 Zipf 短縮が起こる原因について新たな解釈を提示する。シグナリング ゲームの学習の際に用いられる目的関数の中で、暗黙に仮定されているメッセージの事前分布 $P(m)$ に 着目し、その事前分布が反 Zipf 短縮の一因となって いる可能性を示唆する。

## 2 背景

## 2.1 Zipf 短縮

Zipf 短縮 (Zipf's law of abbreviation) [3, 4, 5] は、言語学者 Gerge K. Zipf によって唱えられた自然言語の 法則である。 ${ }^{12)}$ Zipf によれば、高頻度で出現する単語ほど長さが短くなる傾向にあるという。

## 2.2 シグナリングゲーム

言語創発では、シグナリングゲーム [6] (以降、単 にゲームと呼ぶ) が頻繁に用いられる。ここでは

1） 所謂 Zipf 則 [10] とは異なる概念であることに注意。

2）日本語訳は [5] に準拠。
特に [2] による設定を紹介する。ゲームには、有限の入力集合 $I$ 、有限のメッセージ集合 $\mathcal{M}$ 、送信者 $P_{\boldsymbol{\theta}_{s}}(M=m \mid I=i)$ と受信者 $P_{\boldsymbol{\theta}_{r}}(I=i \mid M=m)$ が登場する。送・受信者エージェントはLSTM [7] 等の NN に基づいて定義され、各々学習可能 なパラメータ $\boldsymbol{\theta}_{s}, \boldsymbol{\theta}_{r}$ をもつ。 $\mathcal{I}:=\{1,2, \ldots,|\mathcal{I}|\}$ と し、各 $i \in I$ は one-hot ベクトルで表現する。メッ セージ集合 $\mathcal{M}$ は可変長メッセージの集合とする: $\mathcal{M}:=\left.\{a_{1} \ldots a_{t-1} \operatorname{eos} \mid a_{i} \in \mathcal{A} \backslash\{\right.$ eos $\left.\}, 1 \leq t \leq T\right.\}$. ただ し、 $\mathcal{A}$ は有限アルファベット、eos $\in \mathcal{A}$ は EOS 記号、 $T$ は最大長である。ゲームの流れは以下のよう になる:

1. 入力 $i \in I$ をサンプリングする。ただし、 $i$ は幕分布に従うものとする: $i \sim P_{I}(i) \propto i^{-1}$.

2. 送信者からメッセージ $m$ をサンプリングする: $m \sim P_{\boldsymbol{\theta}_{s}}(m \mid i)$.

3. 受信者による復元の程度を表す対数尤度 $\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)$ を最大化することを目標とする。

$i \in I$ は one-hot ベクトルで表されるうえ、幕分布 $P_{I}($ i に従う (Zipf 則に従う) ので、一般的な NLP 分野でいうところの単語 ID と思うことができる。故 に各 $i$ に対応するメッセージ $m$ は単語と見做せる。

## 2.3 ゲームの目的関数

本稿では、最適化は勾配法で行うものとして議論を進める。ゲームの最適化は、以下の目的関数 $\mathcal{J}_{\text {game }}$ を勾配法で最大化することで行われる:

$
\mathcal{J}_{\text {game }}:=\mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{S}}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{r}}(i \mid m)\right] .
$

直観的には、受信者 $R$ による復元の正確さを平均的に最大化するのを目的としていると理解できる。 $\mathcal{J}_{\text {game }}$ の微分は以下の形で得られる $\left.[2,11]:{ }^{3}\right)$

$
\begin{aligned}
& \nabla \mathcal{J}_{\text {game }}=\mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{s}}(m \mid i)}[ \\
& \quad \nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m) \\
& \left.\quad+\left.\{\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)-b(i)\right.\} \nabla \log P_{\boldsymbol{\theta}_{s}}(m \mid i)\right]
\end{aligned}
$

ここで、 $b: I \rightarrow \mathbb{R}$ は任意のベースライン関数であ る。式 2 は受信者を通常の誤差逆伝播によって、送信者を方策勾配 [12]によって最適化している。しか し、 $\mathcal{J}_{\text {game }}$ で創発する言語は Zipf 短縮とは真逆の傾向 (反 Zipf 短縮) に従うことが知られている。そこ で、メッセージ長に関する罰則項を設け、メッセー ジが不必要に長くなるのを防ぐ場合がある:

$
\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha):=\mathbb{E}_{\boldsymbol{P}_{I}(i), \boldsymbol{P}_{\boldsymbol{\theta}_{\boldsymbol{S}}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{r}}(i \mid m)-\alpha|m|\right]
$
_{s}, \boldsymbol{\theta}_{r}}$ の略記。以降でもこの略記を用いる。
}

ここで、 $\alpha \in \mathbb{R}_{\geq 0}$ は罰則項の強度を制御する超パラ メータ、 $|m|$ はメッセージ $m$ の長さを表す。 $\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ の微分は以下である:

$
\begin{aligned}
& \nabla \mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)=\mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}}(m \mid i)}[ \\
& \nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m) \\
&\left.\quad+\left.\{\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)-\alpha|m|-b(i)\right.\} \nabla \log P_{\boldsymbol{\theta}_{s}}(m \mid i)\right]
\end{aligned}
$

式 2 と比較すると、送信者の報酬が修正されたよう な形をしている。この罰則項により、Zipf 短縮が創発することが知られている $[2,8]$ 。

## 3 ゲームの目的関数の分析

これまで、 $\mathcal{J}_{\text {game }}$ を最適化して得られる創発言語 が Zipf 短縮に従わないのは、エージェントに適切な 帰納バイアスがないからだと考えられてきた。例え ば [8] は、送信者には laziness が欠けており、受信者には impatience が欠けていると主張している。し かし、エージェントのバイアスだけが原因ではない ように思われる。本節では、目的関数 $\mathcal{J}_{\mathrm{game}}$ の内に 暗黙に仮定されている事前分布に着目し、それが反 Zipf 短縮の一因になっているのではないかと考え る。以降の節にてそれを示唆する議論を展開する。

## 3.1 ゲームには暗黙の事前分布が存在する

ここで、やや唐突だが、一様メッセージ分布 $P^{\mathrm{uni}}(m)=|\mathcal{M}|^{-1}$ を考元、受信者 $P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)$ と合わせ て、以下のような $i, m$ の同時分布を定義する:

$
P_{\boldsymbol{\theta}_{r}}^{\mathrm{uni}}(i, m):=P_{\boldsymbol{\theta}_{r}}(i \mid m) P^{\mathrm{uni}}(m) .
$

このとき、次の等式が成り立つ (証明は付録 $\mathrm{A}$ 参照):

$
\nabla \mathcal{J}_{\text {game }}=\nabla \mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{s}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{r}}^{\mathrm{uni}}(i, m)\right]
$

即ち、 $\mathcal{J}_{\text {game }}$ の最大化は、同時分布 $P_{\boldsymbol{\theta}_{r}}^{\mathrm{uni}}(i, m)$ の対数尤度の期待値を最大化するのと同じである。従っ て、 $\mathcal{J}_{\text {game }}$ という目的関数は $P^{\text {uni }}(m)$ をメッセージ の事前分布として暗黙のうちに仮定していることに なる。

次に、モンキータイピング・メッセージ分布 $P^{\mathrm{mon}}(m)=\frac{1}{Z}|\mathcal{A}|^{-|m|}(Z$ は適当な正則化項)を考え、受信者 $P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)$ と合わせて、以下の $i, m$ の同時分布を定義する:

$
P_{\boldsymbol{\theta}_{\boldsymbol{r}}}^{\mathrm{mon}}(i, m):=P_{\boldsymbol{\theta}_{r}}(i \mid m) P^{\mathrm{mon}}(m) .
$

このとき次の等式が成り立つ (証明は付録 $\mathrm{A}$ 参照):

$
\nabla \mathcal{J}_{\text {game }}^{\mathrm{LP}}(\log |\mathcal{A}|)=\nabla \mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{S}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}^{\mathrm{mon}}(i, m)\right]
$
即ち、 $\log P_{\boldsymbol{\theta}_{r}}^{\mathrm{mon}}(i, m)$ の期待値の最大化は、メッセー ジ長に関する罰則項の重みを $\alpha=\log |\mathcal{A}|$ としたとき の $\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ の最大化と同じである。更に一般化し て、 $P^{\text {mon }}(m)$ と $P^{\text {uni }}(m)$ の中間的なメッセージ分布 $P^{\text {int }}(m ; \eta)(0 \leq \eta \leq|\mathcal{A}|-1)$ を考える:

$
P^{\mathrm{int}}(m ; \eta)=\frac{1}{Z^{\prime}}(|\mathcal{A}|-\eta)^{-|m|}
$

$Z^{\prime}$ は適当な正則化項である。 $P^{\mathrm{int}}(m ; \eta=0)=$ $P^{\mathrm{mon}}(m)$ 及び $P^{\text {int }}(m ; \eta=|\mathcal{A}|-1)=P^{\text {uni }}(m)$ が成立す るので、 $P^{\text {int }}$ は中間的な分布といえる。これまでの 議論と同様に、受信者 $P_{\boldsymbol{\theta}_{r}}(i \mid m)$ と合わせて、 $i, m$ の 同時分布 $P_{\boldsymbol{\theta}_{r}}^{\text {int }}(i, m ; \eta):=P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m) P^{\mathrm{int}}(m ; \eta)$ を定義す る。このとき、次式が成り立つ (証明は付録 $\mathrm{A}$ 参照):

$
\begin{aligned}
& \nabla \mathcal{J}_{\text {game }}^{\mathrm{LP}}(\log \{|\mathcal{A}|-\eta\}) \\
= & \nabla \mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{S}}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{r}}^{\mathrm{int}}(i, m ; \eta)\right]
\end{aligned}
$

即ち、 $\log P_{\boldsymbol{\theta}_{r}}^{\mathrm{int}}(i, m ; \eta)$ の期待値の最大化は、罰則項の 重みを $\alpha=\log \{|\mathcal{A}|-\eta\}$ としたときの $\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ の最大化と同じである。逆に言えば、 $\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ の最大化 は、 $\eta=|\mathcal{A}|-\exp (\alpha)$ としたときの $\log P_{\boldsymbol{\theta}_{r}}^{\mathrm{int}}(i, m ; \eta)$ の 期待值の最大化と同じである。吕) $\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ は、メッ セージに関する事前分布 $P^{\text {int }}(m ; \eta=|\mathcal{A}|-\exp (\alpha))$ を 暗黙に仮定していることになる。なお、 $P^{\text {int }}(m ; \eta=$ $|\mathcal{A}|-1)=P^{\operatorname{mon}}(m)$ より、 $\mathcal{J}_{\text {game }}$ の暗黙の事前分布を $P^{\text {int }}(m ; \eta=|\mathcal{A}|-1)$ と言い直すこともできる。

## 3.2 暗黙の事前分布と反 Zipf 短縮

では、ゲームの目的関数の暗黙の事前分布は どのような形状をしているのだろうか。本節 では事前分布の形状について議論し、そこから 反 Zipf 短縮が生じる一因を垣間見る。事前分布 $P^{\text {uni }}(m), P^{\text {mon }}(m), P^{\text {int }}(m)$ はそのままでは可視化し づらいため、代わりに、対応するメッセージ長 $1 \leq l \leq T$ の分布を考える:

$
P^{\mathrm{int}}(l ; \eta):=\sum_{m \in \mathcal{M}} P^{\mathrm{int}}(m ; \eta) \mathbb{1}_{l=|m|}
$

$P^{\mathrm{uni}}(l), P^{\mathrm{mon}}(l)$ についても同様に定義する。5) こ こで、 $(T,|\mathcal{A}|)=(30,4)$ としたときの分布の様子 を図 1 に示す。図 1 から分かるように、 $P^{\text {uni }}(l)$ はか なり右に偏った形状をしている。つまり、 $P^{\text {uni }}(m)$ からメッセージ $m$ をサンプリングしてきたとき、

4） $\eta$ が $0 \leq \eta \leq|\mathcal{A}|-1$ を満たさなくとも式 9 は確率分布 になるが、先行研究 $[2,8]$ の $\alpha$ は必ず $\log |\mathcal{A}| \geq \alpha \geq 0$ に収 まっているため、 $\eta$ の範囲を限定しても特に問題はない。

5）ただし、自然言語の単語長の分布はガンマ分布に近いとさ れる [13]。逆に、 $l$ の分布をガンマ分布と仮定してゲームの 目的関数を逆算したらどうなるかについては付録 B 参照。

図 1 メッセージ長の分布 $((T,|\mathcal{A}|)=(30,4))$.

$m$ の長さは高い確率で最大長 $T$ かその付近になる。 ゲームの目的関数 $\mathcal{J}_{\text {game }}$ の暗黙の事前分布が $P^{\mathrm{uni}}$ で あったことを踏まえると、 $\mathcal{J}_{\text {game }}$ の最適化で創発す るメッセージが不必要に長くなってしまうのは、今 や当然のことのように思える。一方、 $P^{\operatorname{mon}}(l)$ は左に 偏った分布になっていて、 $P^{\text {mon }}(m)$ それ自体が Zipf 短縮に従うメッセージ分布になっていることが分か る。6) $P^{\text {int }}(l ; \eta)$ は、 $\eta$ の值によって $P^{\mathrm{mon}}(l)$ と $P^{\text {uni }}(l)$ の間をつなぐような形状になっている。 $P^{\text {int }}(l ; \eta)$ が、メッセージ長に関する罰則項を設けたゲームの 目的関数 $\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ における暗黙の事前分布になって いたことを踏まえると、罰則項の重み $\alpha$ を調整する ことは、分布 $P^{\mathrm{uni}}(l)$ の極端な右への偏りを緩和する ことに対応しているのだと理解することができる。

次に、 $(T,|\mathcal{A}|)=(30,40)$ としたときの、長さに関 する分布の様子を図 2 に示す。 $(T,|\mathcal{A}|)=(30,40)$ と

図 2 メッセージ長の分布 $((T,|\mathcal{A}|)=(30,40))$.

いう超パラメータは、先行研究において典型的に選択されているものであり $[2,8,9]$ 、この分野の実態に より近い。図 2 から分かるように、 $P^{\text {uni }}(l)$ は更に右側に偏っている。 $P^{\mathrm{mon}}(l)$ は平坦な形状に見えるが、実際には依然として左側に偏っていて、右肩下がり の形状をしている。図 2 における $\eta=38.35$ は、メッ セージ長罰則項の重み $\alpha=0.5$ に概ね対応してい る。これは [2] が選択した値と同じであり、この值 で Zipf 短縮の創発に成功している。 $P^{\text {int }}(l ; \eta=38.35)$ が尚も右側に著しく偏っていることを踏まえると、

6）モンキータイピング系列が Zipf 則や Zipf 短縮に従うこと は既に知られており $[14,5]$ 、同様のことが起きている。

[2] が $\alpha=0.5$ という重みで Zipf 短縮の創発に成功 したという事実は驚くべきことである。これまで、創発言語の反 Zipf 短縮性はバイアスのせいである と考えられてきたが、 $P^{\text {uni }}(l)$ よりもわずかに偏り が緩和されただけの分布で Zipf 短縮を創発できる のなら、むしろエージェントは短いメッセージを 選好する望ましいバイアスをもっているのではな いかとさえ思える。ただし、あるメッセージ $m_{1}$ が $P^{\text {int }}(m ; \eta)$ からサンプリングされる確率は、あるメッ セージ $m_{2}$ が $P^{\mathrm{int}}(m ; \eta)$ からサンプリングされる確率 の $(|\mathcal{A}|-\eta)^{\left|m_{2}\right|-\left|m_{1}\right|}$ 倍である。つまり、個々のメッ セージ同士を比較する限りにおいては、 $P^{\text {int }}(m ; \eta)$ は 短いメッセージを選好する分布であるともいえる。

## 3.3 beta-VAE の目的関数との類似性

ゲームの目的関数に暗黙の事前分布が存在する ということは、ゲームの最適化は、ある種の生成 モデルに関する変分推論と見做せるかもしれない。 この発想に基づき、本節ではゲームの目的関数と beta-VAE [15] の目的関数との類似性について議論 する。入力 $i$ を観測変数 $x$ 、メッセージ $m$ を潜在変数 $z$ 、送信者 $P_{\theta_{s}}(m \mid i)$ を符号化器 $q_{\phi}(z \mid x)$ 、受信者 $P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)$ を復号化器 $p_{\theta}(x \mid z)$ 、事前分布 $P^{\text {int }}(m ; \eta)$ を潜在変数の事前分布 $p_{\theta}(z)$ だと思うことにすれ ば、シグナリングゲームの構造は VAE [16] のそれに 類似している。そこで、シグナリングゲームの記法 で以下のような beta-VAE の目的関数を考える:

$
\begin{aligned}
& \mathcal{J}_{\mathrm{vae}}(\beta):=\mathbb{E}_{P_{I}(i)}\left[\mathbb{E}_{\boldsymbol{P}_{\boldsymbol{\theta}_{s}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{r}}(i \mid m)\right]\right. \\
&\left.-\beta \operatorname{KL}\left(P_{\boldsymbol{\theta}_{s}}(m \mid i) \| P^{\mathrm{int}}(m ; \eta)\right)\right] .
\end{aligned}
$

beta-VAE では通常の VAE の目的関数を拡張し、KL ダイバージェンス項を $\beta$ で重み付けする。 $\mathcal{J}_{\text {vae }}(\beta)$ は以下のように変形できる (証明は付録 A 参照):

$
\begin{aligned}
\mathcal{J}_{\text {vae }}(\beta)= & \mathcal{J}_{\text {game }}^{\mathrm{LP}}(\beta \log \{|\mathcal{A}|-\eta\}) \\
& +\beta \mathbb{E}_{P_{I}(i)}\left[\mathcal{H}\left(P_{\boldsymbol{\theta}_{s}}(m \mid i)\right)\right]+\mathrm{const}
\end{aligned}
$

式 13 の第 1 項は、メッセージ長罰則項の重みを $\alpha=\beta \log \{|\mathcal{A}|-\eta\}$ としたときのゲームの目的関数 $\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ に一致している。第 2 項は送信者 $P_{\boldsymbol{\theta}_{s}}$ のエ ントロピー最大化項になっている。このような、 ゲームの報酬の期待値とエントロピー最大化項が合 わさった目的関数を用いる設定は、しばしば最大エ ントロピー強化学習と呼ばれる。7) 実は、創発言語

7）変分推論と最大エントロピー強化学習が同一視できること は control-as-inference [17] の一例としても理解できる。
の研究でもエントロピー正則化項 [18] という補助目的関数が頻繁に用いられる。エントロピー正則化項 は、エントロピー最大化項と同様の効果を持つ。た だし、ややアドホックな手法であり、エントロピー 最大化項とは一般には一致しない。以上のことか ら、ゲームはアドホックな補助関数を伴いつつ、暗 に変分推論をしていると思われる。8)

## 3.4 以上の結果から得られる示唆

3 節では、まずゲームの目的関数 $\mathcal{J}_{\text {game }}, \mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ が特定の事前メッセージ分布 $P_{\text {int }}(m ; \eta)$ を仮定して いることを示した。続いて、事前メッセージ分布の 形状に着目し、その形状から反 Zipf 短縮の一因を垣間見た。9）最後にVAE との類似性に触れ、ゲームが (アドホックな形で) 暗に生成モデルの変分推論をし ていることが示唆された。本稿では、Zipf 短縮とい う特定の性質を取り上げて議論したが、ここでの考 え方は、シグナリングゲームを用いる研究一般に適用可能なものである。従って、ゲームを用いる際に は、暗に想定されている事前分布と、それがもたら し得る影響を意識することが重要になるだろう。

## 4 最後に

本稿の目的は、シグナリングゲームにおいて創発 する言語が Zipf 短縮に従わないという知見に着目 し、その原因の一端を示唆することであった。具体的には、目的関数が暗にもつ事前メッセージ分布に 着目し、それが反 Zipf 短縮の一因になり得ること を示唆した。ゲームにおいて可変長メッセージを用 いるのはごく自然に思える。しかし実は、先行研究 の殆どは固定長メッセージを用いている。素朴に可変長にしても不自然にメッセージが長くなること、 メッセージ長罰則項は学習を不安定にし得ること、罰則化項の (進化) 言語学的な意味が不明瞭なこと等 が可変長が忌避される要因ではないかと推測してい る。ゲームの最適化に潜むアーティファクトを 1 つ ずつ洗い出して解決していくことが、今後の言語創発研究を豊かなものにしていくだろう。

8）また、beta-VAE と情報ボトルネック法 (IB) [19]の目的関数 にも密接な関係があることが知られている $[20,21]$ 。IB を用 いた言語創発研究としては $[22,23]$ などがある。ただし、こ れらは 1 メッセージ 1 記号の設定を用いているため、今回の ような Zipf 短縮関連の議論を適用できない。

9）ただし、 $P^{\mathrm{uni}}(m)$ が創発言語を“余計に長くする”ことが分 かっても、“反” Zipf 短縮になる理由はそれほど自明でない。恐らく、NN のバイアスやエントロピー正則化のアドホック さなど、様々な要因が絡み合い反 Zipf 短縮が生じる。この ことについて、より厳密に議論するのが今後の課題である。

## 謝辞

執筆に際してコメントを寄せてくださった宮尾祐介先生、李凌寒さんに感謝申し上げます。

## 参考文献

[1] Angeliki Lazaridou and Marco Baroni. Emergent multiagent communication in the deep learning era. CoRR, Vol. abs/2006.02419, , 2020.

[2] Rahma Chaabouni, Eugene Kharitonov, Emmanuel Dupoux, and Marco Baroni. Anti-efficient encoding in emergent communication. In Advances in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems 2019, NeurIPS 2019, December 8-14, 2019, Vancouver, BC, Canada, pp. 6290-6300, 2019.

[3] George K. Zipf. The psycho-biology of language. Houghton Mifflin, 1935.

[4] Jasmeen Kanwal, Kenny Smith, Jennifer Culbertson, and Simon Kirby. Zipf' $\mathrm{s}$ law of abbreviation and the principle of least effort: Language users optimise a miniature lexicon for efficient communication. Cognition, Vol. 165, pp. 4552, 2017

[5] 田中久美子. 言語とフラクタル. 東京大学出版会, 2021 .

[6] David K. Lewis. Convention: A Philosophical Study. Wiley-Blackwell, 1969.

[7] Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural Comput., Vol. 9, No. 8, pp. 17351780, 1997.

[8] Mathieu Rita, Rahma Chaabouni, and Emmanuel Dupoux. "lazimpa": Lazy and impatient neural agents learn to communicate efficiently. In Proceedings of the 24th Conference on Computational Natural Language Learning, CoNLL 2020, Online, November 19-20, 2020, pp. 335343. Association for Computational Linguistics, 2020.

[9] Ryo Ueda and Koki Washio. On the relationship between zipf's law of abbreviation and interfering noise in emergent languages. In Proceedings of the ACL-IJCNLP 2021 Student Research Workshop, ACL 2021, Online, JUli 5-10, 2021, pp. 60-70. Association for Computational Linguistics, 2021.

[10] George K. Zipf. Human Behaviour and the Principle of Least Effort. Addison-Wesley, 1949.

[11] John Schulman, Nicolas Heess, Theophane Weber, and Pieter Abbeel. Gradient estimation using stochastic computation graphs. In Advances in Neural Information Processing Systems 28: Annual Conference on Neural Information Processing Systems 2015, December 7-12, 2015, Montreal, Quebec, Canada, pp. 35283536, 2015.

[12] Ronald J. Williams. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Mach. Learn., Vol. 8, pp. 229-256, 1992.

[13] Bengt Sigurd, Mats Eeg-Olofsson, and Joost Van Weijer. Word length, sentence length and frequency - zipf revisited. Studia Linguistica, Vol. 58, No. 1, pp. 37-52, 2004.
[14] George A. Miller. Some effects of intermittent silence. The American Journal of Psychology, Vol. 70, No. 2, pp. 311-314, 1957.

[15] Irina Higgins, Loïc Matthey, Arka Pal, Christopher P. Burgess, Xavier Glorot, Matthew M. Botvinick, Shakir Mohamed, and Alexander Lerchner. beta-vae: Learning basic visual concepts with a constrained variational framework. In 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings. OpenReview.net, 2017.

[16] Diederik P. Kingma and Max Welling. Auto-encoding variational bayes. In 2nd International Conference on Learning Representations, ICLR 2014, Banff, AB, Canada, April 14-16, 2014, Conference Track Proceedings, 2014.

[17] Sergey Levine. Reinforcement learning and control as probabilistic inference: Tutorial and review. CoRR, Vol. abs/1805.00909, , 2018.

[18] Ronald J. Williams and Jing Peng. Function optimization using connectionist reinforcement learning algorithms. Connection Science, Vol. 3, No. 3, pp. 241-268, 1991.

[19] Naftali Tishby, Fernando C. N. Pereira, and William Bialek. The information bottleneck method. CoRR, Vol. physics/0004057, , 2000.

[20] Alessandro Achille and Stefano Soatto. Information dropout: Learning optimal representations through noisy computation. IEEE Trans. Pattern Anal. Mach. Intell., Vol. 40, No. 12, pp. 2897-2905, 2018.

[21] Alexander A. Alemi, Ian Fischer, Joshua V. Dillon, and Kevin Murphy. Deep variational information bottleneck. In 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 2426, 2017, Conference Track Proceedings. OpenReview.net, 2017.

[22] Rahma Chaabouni, Eugene Kharitonov, Emmanuel Dupoux, and Marco Baroni. Communicating artificial neural networks develop efficient color-naming systems. Proceedings of the National Academy of Sciences, Vol. 118, No. 12, p. e2016569118, 2021.

[23] Mycal Tucker, Roger P. Levy, Julie Shah, and Noga Zaslavsky. Trading off utility, informativeness, and complexity in emergent communication. In Advances in Neural Information Processing Systems, 2022.

## A 証明

本節では、スペースの都合で本文には掲載できなかった証明を示す。

式 6 ・式 8 ・式 10 の証明. 本文で述べたように、 $P^{\mathrm{int}}(m ; \eta)$ は $P^{\mathrm{uni}}(m)$ 及び $P^{\mathrm{mon}}(m)$ を包含している。ま た、 $\alpha=0$ のとき $\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)=\mathcal{J}_{\text {game }}$ であるから、 $\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ は $\mathcal{J}_{\text {game }}$ を含む。従って、式 10 のみを示せばよい。

$
\begin{aligned}
& \nabla \mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{S}}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{r}}^{\mathrm{int}}(i, m ; \eta)\right] \\
= & \mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)}\left[\nabla \log P_{\boldsymbol{\theta}_{r}}^{\mathrm{int}}(i, m ; \eta)+\left.\{\log P_{\boldsymbol{\theta}_{r}}^{\mathrm{int}}(i, m ; \eta)-b(i)\right.\} \nabla \log P_{\boldsymbol{\theta}_{s}}(m \mid i)\right] \\
= & \mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{s}}}}(m \mid i)\left[\nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)+\nabla \log P^{\mathrm{int}}(m ; \eta)+\left.\{\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)+\log P^{\mathrm{int}}(m ; \eta)-b(i)\right.\} \nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)\right] \\
= & \mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)}\left[\nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)+\left.\{\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)+\log P^{\mathrm{int}}(m ; \eta)-b(i)\right.\} \nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)\right] \\
= & \mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{s}}}}(m \mid i)\left[\nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)+\left.\{\log P_{\boldsymbol{\theta}_{r}}(i \mid m)-|m| \log (|\mathcal{A}|-\eta)-\log Z^{\prime}-b(i)\right.\} \nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)\right] \\
= & \mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)}\left[\nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)+\left.\{\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)-|m| \log (|\mathcal{A}|-\eta)-b^{\prime}(i)\right.\} \nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)\right] \\
= & \nabla \mathcal{J}_{\text {game }}^{\mathrm{LP}}(\log \{|\mathcal{A}|-\eta\}) .
\end{aligned}
$

1 つ目の等式は式 2 と同様の式変形によって得られ、 2 つ目の等式は $P_{\theta_{r}}^{\text {int }}(i, m ; \eta)$ の定義から従い、3つ目の等式は $\nabla P^{\mathrm{int}}(m ; \eta)=\mathbf{0}$ であることから従い、4つ目の等式は $P^{\mathrm{int}}(m ; \eta)$ の定義から従い、5つ目の等式は新たな ベースライン関数 $b^{\prime}(i)=b(i)+\log Z^{\prime}$ を置くことで得られ、最後の等式は式 4 と同様の式変形によって得ら れる。

式 13 の証明. 式 13 は以下のように証明できる。

$
\begin{aligned}
& \mathcal{J}_{\mathrm{vae}}(\beta)=\mathbb{E}_{P_{I}(i)}\left[\mathbb{E}_{\boldsymbol{P}_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)\right]-\beta \operatorname{KL}\left(P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i) \| P^{\mathrm{int}}(m ; \eta)\right)\right] \\
& \left.=\mathbb{E}_{P_{I}(i)}\left[\mathbb{E}_{\boldsymbol{P}_{\boldsymbol{\theta}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)\right]-\beta \mathbb{E}_{\boldsymbol{P}_{\boldsymbol{\theta}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)-\log P^{\operatorname{int}}(m ; \eta)\right)\right]\right] \\
& \left.=\mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{r}}(i \mid m)-\beta \log P_{\boldsymbol{\theta}_{s}}(m \mid i)+\beta \log P^{\mathrm{int}}(m ; \eta)\right)\right] \\
& \left.=\mathbb{E}_{\boldsymbol{P}_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{S}}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{r}}(i \mid m)+\beta \log P^{\mathrm{int}}(m ; \eta)\right)\right]-\beta \mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{s}}(m \mid i)\right] \\
& \left.=\mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{S}}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)+\beta \log P^{\mathrm{int}}(m ; \eta)\right)\right]+\beta \mathbb{E}_{P_{I}(i)}\left[\mathcal{H}\left(P_{\boldsymbol{\theta}_{s}}(m \mid i)\right)\right] \\
& =\mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{s}}(m \mid i)}\left[\log \boldsymbol{P}_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)-\beta|m| \log (|\mathcal{A}|-\eta)\right]-\mathbb{E}_{P_{I}(i), p_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)}\left[\log Z^{\prime}\right]+\beta \mathbb{E}_{P_{I}(i)}\left[\mathcal{H}\left(P_{\boldsymbol{\theta}_{s}}(m \mid i)\right)\right] \\
& =\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\beta \log \{|\mathcal{A}|-\eta\})+\beta \mathbb{E}_{P_{I}(i)}\left[\mathcal{H}\left(P_{\boldsymbol{\theta}_{s}}(m \mid i)\right)\right]+\text { const. }
\end{aligned}
$

1 つ目の等式は $\mathcal{J}_{\mathrm{vae}}(\beta)$ の定義 (式 12 ) そのものであり、2つ目の等式は KL ダイバージェンスの定義から従 い、3つ目・4つ目の等式は期待値の線形性から従い、5つ目の等式はエントロピーの定義から従い、6つ目 の等式は $P^{\mathrm{int}}(m ; \eta)$ の定義から従い、7つ目の等式は $\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ の定義及び $\nabla \mathbb{E}\left[\log Z^{\prime}\right]=\nabla \log Z^{\prime}=\mathbf{0}$ から従う。

## B メッセージ長分布をガンマ分布としてゲームの目的関数を逆算した場合

自然言語における単語長分布はガンマ分布に従うことが知られている [13]。では、メッセージ長をガンマ 分布として、そこからゲームの目的関数を逆算したらどのような形になるのであろうか。まず、メッセージ 長がガンマ分布に従うと仮定する: $P^{\mathrm{gam}}(l ; k, \lambda):=\frac{1}{Z^{\prime \prime}} l^{k-1} \exp (-\lambda l) . k>0, \lambda>0$ は超パラメータであり、 $Z^{\prime \prime}$ は 適当な正則化項である。このとき、 $P^{g a m}(l ; k, \lambda)$ に無矛盾なメッセージ分布として、以下が挙げられる:

$
P^{\text {gam }}(m ; k, \lambda):=\frac{1}{Z^{\prime \prime \prime}}|m|^{k-1} \exp (-\{\lambda-\log (|\mathcal{A}|-1)\}|m|) .
$

ただし、 $Z^{\prime \prime \prime}=\frac{Z^{\prime \prime}}{\log (|\mathcal{A}|-1)}$ である。 $P^{\mathrm{gam}}(m ; k, \lambda)$ と受信者 $P_{\boldsymbol{\theta}_{r}}(i \mid m)$ を合わせて、 $i, m$ の同時分布 $P_{\boldsymbol{\theta}_{r}}^{\mathrm{gam}}(i, m):=$ $P_{\boldsymbol{\theta}_{r}}(i \mid m) P^{\mathrm{gam}}(m ; k, \lambda)$ を定義し、新たなゲームの目的関数 $\mathcal{J}_{\mathrm{game}}^{\mathrm{gam}}(k, \lambda)$ を考える:

$
\mathcal{J}_{\text {game }}^{\text {gam }}(k, \lambda):=\mathbb{E}_{P_{I}(i), P_{\boldsymbol{\theta}_{\boldsymbol{s}}}(m \mid i)}\left[\log P_{\boldsymbol{\theta}_{r}}^{\mathrm{gam}}(i, m)\right] .
$

ここで、 $\mathcal{J}_{\mathrm{game}}^{\mathrm{gam}}(k, \lambda)$ の微分は以下の形で得られる:

$
\nabla \mathcal{J}_{\text {game }}^{\text {gam }}(k, \lambda)=\mathbb{E}\left[\nabla \log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)+\left.\{\log P_{\boldsymbol{\theta}_{\boldsymbol{r}}}(i \mid m)+(k-1) \log (|m|)-(\lambda+\log (|\mathcal{A}|-1))|m|\right.\} \nabla \log P_{\boldsymbol{\theta}_{s}}(m \mid i)\right]
$

$\mathcal{J}_{\text {game }}^{\mathrm{LP}}(\alpha)$ 同様の長さに比例する罰則に加え、長さの対数に比例する報酬が追加されたような形になる。


# マスク言語モデルにおける重点的なマスク選択での 追加的学習を用いた法律文書による人物役割語の推測

翁長駿光 ${ }^{1}$ 藤田真伎 ${ }^{2}$ 狩野芳伸 ${ }^{1,2}$
静岡大学 情報学部 ${ }^{2}$ 静岡大学 総合科学技術研究科情報学専攻
\{tonaga, mfujita, kano\} @kanolab.net

## 概要

人物の文中での役割の把握は，自然言語処理にお いて広く重要な課題であり, 特に法律分野の文書の 処理では，その分析と利用のために必須と言える。本研究では, 日本語の事前学習済み BERT モデルに 対し，あらかじめ設定した人物語を重点的にマスク したMasked Language Modelによる追加的な学習を，法律分野の文書を用いて行った. 司法試験の問題文 における人物役割語の推論に適用した結果, 提案手法による性能向上を確認できた.

## 1. はじめに

人物の文中での役割の把握は，自然言語処理にお いて広く重要な課題であるが, 役割間の関係性や階層など背後にある複雑な知識を反映させる必要があ り，難易度の高いタスクといえる。

法律分野は自然言語処理技術の利用が大きく期待 されている応用分野の一つであり, そこでの人物役割把握は必須要素である. 法律分野の文書処理では， こうした人物関係および役割の把握や専門性の高い 用語といった難しい処理が重要になるが，そのため の自然言語処理技術の性能は未だ不十分である.

人物役割の先行研究にはたとえば物語テキストを 対象とした登場人物の関係抽出 [1]などがある。日本語法律文書を対象にした研究には, 日本語法律 BERT [2]を用いた重要箇所抽出 [3] や司法試験自動解答を題材にした BERT による法律分野の含意関係認識 $[4]$ があるが，人物役割を推測するものは見当 たらない.

本研究では, 法律分野の文章における人物関係お よび人物の役割の推測を目標とする。そのために，日本語事前学習済み BERT に対して, あらかじめ設定した人物役割語を他の語よりもマスクされやすく した処理を追加した Masked Language Mode1 (MLM) による追加学習を, 日本語の法律文書を用いて行っ
た. 我が国の司法試験自動解答を題材とする COLIEE Task4 で提供された問題を用いて, 問題文中の人物役割語を推測する人物推論タスクを実行し，提案手法による性能向上を確認した。

<問題番号 ：H18-32-5, 正解ラベル：No >
<関連条文〉
第百九十二条 取引行為によって，平穏に，かつ，
公然と動産の占有を始めた者は, 善意であり，か
つ，過失がないときは，即時にその動産について行
使する権利を取得する.
<問題文〉
強迫を受けてした動産売買契約を取り消した売主
は, 取消し前に買主から当該動産を善意かつ無過
失で買い受けた者に対して，所有権に基づいて，当
該動産の返還を求めることができる.

図 1 COLIEE Task4 の提供データ例

## 2. 関連研究

法律分野の自然言語処理技術の性能向上とコミュ ニティ構築を図るため, 国際コンテスト型ワークシ ヨップ COLIEE (Competition on Legal Information Extraction and Entailment）[5［6] [7]［8が毎年開催されている. COLIEE にはいくつかのサブタス クがあるが，そのうち Task 3,4 は日本の司法試験民法短答式問題を題材にした自動解答タスクである. Task4 は図 1 のように, 司法試験に過去に出題され た問題とその問題を解く上で手掛かりとなる関連民法条文の二つが与えられ，その関連する民法条文に 対して問題文が含意関係にあるかを二値で判定する タスクである。

COLIEE 参加者の自動解答器には，BERT [9]をはじ め深層学習ベースの解答器が多数みられる.このよ うな深層学習を用いた司法試験の自動解答について，清田ら [10]は人手の問題分類を通して深層学習モ デルが司法試験を解けているかを分析している．分類の一つは, 図 2 のような問題文中における $\mathrm{A}$ や $\mathrm{B}$

といったアルファベットで表された人物語の関係性 や，それぞれの人物が関連する民法条文中における どの役割にあてはまるのかが回答に必要なタイプの 問題である.このような, 人物関係や人物がどのよ うな役割を担うか明らかにする必要がある問題の推測は，既存の回答では不十分であることが示唆され ている.

## 3. 提案手法

提案するマスク手法と従来手法との比較を容易に するため, 深層学習モデルとして BERT を用いる. 事前学習済みの日本語 BERT モデルを前提に, Masked Language Mode1 (MLM)による追加的な学習を行う.

その追加学習時に, より重点的に学習させたい語句 をマスクして学習させる. 本研究で利用するトーク ナイザはこの事前学習済みモデルのもので統一する.

重点的に学習させたい語句は, 本研究では, 法律分野における人物役割語とし，民法条文に記載され ている「人, 者, 主」で終わる漢字で構成される単語と「相手方」を合わせて 74 語を人手で列挙した (74 語の詳細については付録を参照).

## 3.1 事前学習モデルへの追加的学習

追加的な学習では, 以下の 3 つの前処理に応じた モデルを作成する. それぞれの前処理で得られるト ークン列について, [MASK]トークンを推測させる学習によりモデルを訓練する。

ランダム $15 \%$ マスクモデル $(15 \%$ ) 従来の BERT の MLM と同様に，トークン全体の $15 \%$ ランダムで選択する.ランダムに選択されたトークンのうち, $80 \%$ を[MASK]トークンに, $10 \%$ はランダムに選ばれた別の トークンに置きかえ, 残りの $10 \%$ は元のトークンの ままモデルに与える.

## ランダムマスク＋人物語マスクモデル $(15 \%+$ 人

物語） 入力にあらかじめ定めた人物役割語が含ま れている場合，それらのトークンを[MASK]トークン に置き換える. 次に前述のランダム $15 \%$ マスクモデ ルと同様の処理を行うが，選ばれたトークンが人物役割語に対応するものであった場合は, [MASK]のま まにし，何もしない。

人物語マスクモデル (人物語) 人物役割語の トークンのみを[MASK]トークンに置き換える. 人物役割語が含まれていないサンプルについては学習に 使用しない.

上の 3 つのモデルと, 追加学習をしていない日本語事前学習済み BERT モデルの 4 つを, 次節の人物役割語推測タスクによって比較する.

## 3.2 人物役割語の推測

人物役割語の推測は $[\mathrm{MASK}]$ を言語モデルにより推測して実行するため, 前節で説明した以上の学習は 行わない.

人物役割語は語によって 2 トークン以上のサブワ

一ドに分割されることがある.このため，単にトー クン単位で[MASK]に置き換えると，[MASK]トークン の連続する数が人物語を予測するヒントになる可能性がある。人物役割語の推論にあたっては, 推測対象の役割語についてマスク前のトークン数を既知と して固定する場合と，トークン数を未知として任意 のトークン数で推測するより実用的な設定の 2 種類 を試みる。

人物役割語あたりのトークン数固定 人物役割語に該当するトークンをひとつずつ[MASK]トークン に置き換え，その[MASK]トークンにあてはまるトー クンを予測させる.

人物役割語あたりのトークン数可変 各人物語 ごとに， 1 から 4 までの [MASK]トークンの連続数そ れぞれで連続する [MASK] トークンを推測する。たと えば，人物語が 1 つの場合は[MASK]トークンの数が 異なる 4 パターン, 人物語が 2 つの場合は 8 パター ンの推測を行う。それぞれの推測結果について， [MASK] を推測結果で置換したうえで, MLMScoring [11]により各文章のスコアを計算し, その値が最も 大きいものを最終的な予測結果とする.

いずれの場合でも，予測したトークン列が元の文章で該当する人物役割語と同じであるかどうかを，元の人物役割語の単位でカウントして評価する。

〈問題番号： R02-9-U，正解ラベル：Yes〉

〈関連条文〉

第二百条 占有者がその占有を奪われたときは，占有回収の訴えにより，その物の返還及び損害の賠償 を請求することができる.

〈問題文〉

A は自己の所有する工作機械を B に賃貸していた が，B は，工作機械の賃貸借契約継続中に工作機械 を C に窃取された。この場合, B は, A から独立し て，C に対して占有回収の訴えを提起することがで きる.

図 2 人物を表すアルフアベットを含む問題例

## 4. 実験

## 4. 1 追加学習用訓練データセット

訓練データとして，日本語の法律関連文書をいく つか用意し，十分なデータ量が得られるようにした。具体的には, 民法の全条文テキスト, 最高裁判所の 裁判例検索システム ${ }^{i}$ より収集した日本の民事事件判例, 并護士ドットコムのデータセット [12]の 3 種類である.それぞれ以下の前処理を適用した。

民法条文 「第一篇，第一章，第一条，第一節，第一項」といった条や項の番号, および見出しは削除した。結果, 1, 381 件の条文を得た.

民事判例 事件名と判決日, ページ番号, 空白お よび空白行は削除した. また, 文頭にある見出し番号のカタカナやアルファベット, 数字も削除した. また, 1 文をトークナイズした際に，512 トークンを 超えるような文は除外した. 結果, 23,854 件の民事事件判例を得た。

弁護士ドットコム 弁護士ドットコムのデータ は，質問者による質問文と弁護士による質問への回答文で構成されている. このうち, 弁護士による回答の文章のみを抽出した後, その文章内に前述の人手で列挙した人物役割語のうちのいずれかが 1 つで も含まれている回答のみを残し，含まれていない回答文は除外した. また, 民法条文の処理と同様に, 1 文が 512 トークンを超えるような文は削除した.結果，38,127 件の回答を得た，

## 4. 2 人物推論用データセット

関連研究の章で紹介したCOLIEE 2022 Task4では,民法分野短答式問題の問題文とその問題を解くため に必要な関連条文群のぺアが与えられた(図 1).こ のデータの分量は他のデータセットよりも少ないが，文章が最も整っているうえ, 関連条文とぺアになっ ており法律上の役割と紐づけされている。さらにそ の紐づけにより人間にも与えられたぺアのみで解く ことができるため, テストデータに適している. まずこれらの問題文のうち, 図 2 のように問題文中に A P B といったアルファベットで表された人物 が登場する問題と含まれない問題とに，アルファベ ットが出現するかどうかで自動分類した。次に，人

物役割語を含むデータを増やすため，アルファベッ 卜を人物役割語に置換した。すなわち，「〜である

「〜」にリストの単語がマッチする場合, その問題文中にあるアルファベットを対応する人物語に置き 換えた。置き換えられないアルフアベットが残った 場合は除外した. 全て置き換えられた場合, テスト データの一部とする.

アルファベット人物が含まれない問題において, あらかじめ定めた人物役割語が一つでも含まれる問題をテストデータとして利用する.

テストデータについて, 関連する民法条文と問題文を $[\mathrm{SEP}]$ トークンでつなぎ, 文章をトークナイズし た際に（512 - 置き換えた人物語の数 $* 4$ トーク ン）を超えてしまうものは最大トークン数の制約の ため除外する。

最後に，問題文中に含まれる人物役割語を [MASK] トークンに置き換え, 計 458 件（置き換えた人物役割語数:1,082）のテストデータを作成した.この作成過程と例を図 3 に示す.

## 4.3 学習

日本語事前学習済み BERT モデルとして, 東北大学の bert-base-japanese-whole-word-masking ${ }^{\mathrm{ii}}$ モ デルを用いた．学習時のパラメータ設定は付録に記載する.

## 5. 実験結果

表 1 に評価結果を示す. トークン数固定の場合，人物役割語を中心にマスクさせたモデルの方がより 高い性能が得られた。トークン数可変（未知）の場合, トークン数固定よりも難易度の高い設定になる ため全体的に性能は低いが，トークン数固定の場合 と同様に, 人物語を追加でマスクするようにして学習したモデルの方が高い性能が得られた。

表 1 人物役割語推論の評価結果（正答率）

〈問題番号 ：H18-27-U，正解ラベル：No〉

〈関連条文〉

弁済の費用について別段の意思表示がないときは， その費用は，債務者の負担とする。ただし，債権者 が住所の移転その他の行為によって弁済の費用を増加させたときは，その増加額は，債権者の負担とす る.

〈問題文>

持参債務の債権者が履行期前に遠方に転居した場合，目的物の運送費は債務者の負担となる。

1. 関連条文と問題文を $[\mathrm{SEP}]$ トークンでつなげる。

(以下，問題文のみ表記する）

2. 関連条文と問題文の組をトークナイズする

[ 持参, 債務, の, 債権, 者, が, 履行, 期, 前, に,遠方，に，転居，し，た，場合，，目的，物，の，運送，費，は， , , 債務，者，の，負担，と，なる，.]

3.「債権者」「債務者」に該当するトークンを [MASK] トークンに置き換える。

〈置き換え後の問題文〉

[ 持参，債務，の，[MASK]，[MASK]，が，履行，期，前，に，遠方，に，転居，し，た，場合，，目的，物，の，運送，費，は， [MASK]，[MASK]，の，負担，と，なる，。]

図 3 テストデータの作成過程

## 6. 考察

人物語を追加でマスクする追加学習を行ったモデ

ル $(15 \%+$ 人物語) は, 追加学習を行っていないモデ ル (15\%やベースライン) よりも, 関連条文をはじめ とする周囲の文脈情報をもとにした人物役割語の予測がより正解できるようになった. 例を図 4 に示す.

一方で, 登場する人物役割語が複数になった場合，複数の人物間の関係性を明確にする必要があるが， このような人物役割語の予測はできていない傾向に あった. 図 5 は, 予測する際に債務者と債権者の関係性を捉える必要があるが，全てのモデルが「債権者」が正解となる部分に「債務者」を予測してしま った例を示している.

人物役割語を重点的にマスクすることで，周囲の 文脈情報から人物役割語の推測は比較的にできるよ らになったと考えられるが，複数の人物間における 関係性の把握は依然として課題であると考えられる. また, 図 5 の予測に見られるように，本来は「第三者」が正解であるが，「者」であっても文章は自然
であり間違いとはいえない。単純な文字列比較だけ でなく意味的な評価指標も検討する必要がある.

<問題番号 : H21-3-2, 正解ラベル : Yes >

＜関連条文>

まだ引き渡されていない売買の目的物が果実を 生じたときは, その果実は, 売主に帰属する。買主は，引渡しの日から，代金の利息を支払う義務 を負う．ただし，代金の支払について期限がある ときは，その期限が到来するまでは，利息を支払 うことを要しない.

<問題文>

【売主】は, 目的物の引渡しを遅滞している場合 でも，引渡しまで果実を収取することができる。 ※【】がマスクされていた人物役割語を表す.

<予測結果>

ベース BERT：買主

$15 \%$ のみ：買主

$15 \%+$ 人物語 : 売主

人物語のみ : 売主

図 4 正しく予測できるようになった例

〈問題番号：H28-20-1，正解ラベル：Yes〉

〈関連条文〉

債務者のために弁済をした者は，債権者に代位す る.

〈問題文〉

【債務者】の意思に反することなく有効に弁済し た【第三者】は，弁済によって当然に【債権者】 に代位する。

※【】がマスクされていた人物役割語を表し, 予測の 1,2, 3 は問題文の登場順に対応している.〈予測結果〉

BERT ：1. 債務者，2. 者 ，3．債務者 15\%のみ ：1. 債務者，2．者 ，3．債権者 $15 \%+$ 人物語 ： 1 . 債務者， 2 . 者 ，3. 債務者人物語のみ : 1 . 債務者, 2 . 第三者, 3 . 債務者

## 図 5 正しく予測できていない例

## 7. おわりに

本研究では, MLM の追加学習を行った BERTによる，法律文書における人物役割語予測を行った。追加で 学習させたい語を重点的にマスクすることで，人物役割語推測の性能が向上した。今後は，人物役割語 だけではなく，法律分野における専門語への適応や 追加学習モデルを用いた司法試験の自動解答への活用にも取り組んでいきたい。

## 謝辞

本研究では, 国立情報学研究所の IDR データセット 提供サービスにより弁護士ドットコム株式会社から 提供を受けた「弁護士ドットコムデータセット」を 利用した。本研究は JSPS 科研費 JP22H00804,

JP21K18115, JP20K20509, JST AIP 加速課題 JPMJCR22U4, およびセコム科学技術財団特定領域研究助成の支援をうけた.

## 参考文献

1. 西原 弘真, 白井 清昭. 物語テキストを対象と した登場人物の関係抽出. 言語処理学会 第 21 回年次大会, 2015 .

2. 宮崎 桂輔, 菅原 祐太, 山田 寛章, 徳永 健伸.日本語法律分野文書に特化した BERT の構築. 言語処理学会 第 28 回年次大会, 2022.

3. 宮崎 桂輔，菅原 祐太，山田 寛章，徳永 健伸.日本語法律 BERT を用いた重要箇所抽出. 言語処理学会 第 28 回年次大会, 2022 .

4. 星野 玲那, 狩野 芳伸. 司法試験自動解答を題材 にした BERT による法律分野の含意関係認識. 言語処理学会 第 26 回年次大会, 2020 .

5. Mi-Young Kim, Juliano Rabelo, Randy Goebel, Masaharu Yoshioka, Yoshinobu Kano, and Ken

Satoh. COLIEE 2022 Summary: Methods for Legal Document Retrieval and Entailment. In Proceedings of the Sixteenth International Workshop on Jurisinformatics (JURISIN 2022), 2022.

6. J. Rabelo, R. Goebel, M.-Y. Kim, Y. Kano, M.

Yoshioka, and K.Satoh, Summary of the Competition on Legal Information Extraction/Entailment (COLIEE) 2021. In Proceedings of the Eighth International Competition on Legal Information Extraction/Entailment (COLIEE 2021), 2021, pp.1-7. 7. J. Rabelo, M.-Y. Kim, R. Goebel, M. Yoshioka, Y. Kano, and K. Satoh, COLIEE 2020: Methods for Legal Document Retrieval and Entailment. In Proceedings of the Fourteenth International Workshop on Jurisinformatics (JURISIN 2020), 2020, pp. 1-15.

8. R. Goebel, Y. Kano, M.-Y. Kim, J. Rabelo, K. Satoh, and M. Yoshioka, COLIEE 2019 Overview. In
Proceedings of the Competition on Legal Information Retrieval and Entailment Workshop (COLIEE 2019) in association with the 17th International Conference on Artificial Intelligence and Law, Jun. 2019, pp. 1-9. 9. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, 2019. Association for Computational Linguistics.

10. 清田 直樹, 狩野 芳伸, 藤田 真伎. 深層学習モ デルは司法試験をどこまで解いているのか：問題分類とそれに基づく分析. 言語処理学会 第 28 回年次大会, 2022 .

11. Julian Salazar, Davis Liang, Toan Q. Nguyen, and Katrin Kirchhoff. Masked Language Model Scoring. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 26992712, Online. 2020. Association for Computational Linguistics.

12. 弁護士ドットコム株式会社. 并護士ドットコム データセット. 国立情報学研究所情報学研究データ リポジトリ. (データセット).

https://doi.org/10.32130/idr.12.1, 2020.

## A 付録

## A. 1 人手で選定した人物役割語のリスト

自然人，法人，本人，相手方，他人，当事者，第三者，表意者，譲受人，占有者,

譲渡人, 所有者, 地上権者, 地役権者, 永小作人, 管理人, 不在者, 債権者, 留置権者, 先取特権者,質権者，根抵当権者，抵当権者，債務者，質権設定者，根抵当権設定者，抵当権設定者，物上保証人，連帯保証人，保証人，連帯債務者，申込人，売主，買主，贈与者，受贈者，貸主，借主，賃貸人，賃借人，使用者, 労働者, 注文者, 請負人，委任者，受任者，受寄者，受託者，未成年者，成年者，成年後見人，成年被後見人，未成年被後見人，後見監督人，被後見人，後見人，保佐監督人，被保佐人，保佐人，補助監督人, 被補助人, 補助人, 被相続人, 相続人, 法定代理人, 復代理人, 無権代理人, 代理人,監督人，共有者，承継人，利害関係人，組合員，代位権者

## A. 2 BERT 学習時のパラメータ設定

max_position_embeddings : 512,

batch_size : 32 ,

hidden_size : 768 ,

hidden_dropout_prob : 0.1,

learning_rate : $1 \mathrm{e}-5$

max_epochs : 10 (early_stoppingによる早期終了あり)


# 環境税をめぐる言説空間に関する一検討一 国会議事録を活用した関連用語の分析 一

吉岡詩織* 早川敦士* レー武興
株式会社DATAFLUCT
\{shiori. yoshioka, atsushi. hayakawa, takeoki.le\}@datafluct.com
*共同第一著者

## 概要

近年，気候変動に対する危機感は世界全体で高ま っている。気候変動政策は今後, 主に先進国で重要 な政治的争点の一つとなることが考えられる. 具体的な政策の代表例に環境税がある. 本研究では, 環境税の導入に対する各政策主体のスタンスを明確に し，議論の進展を促すために，国会議事録で「環境税」を含む発言およびこれに対する返答に含まれる 関連用語をロジスティック回帰で抽出し, 政党およ び委員会 (省庁)の意見の違いについて可視化した. また，定量的に抽出された用語を含む発言と返答の 内容を確認し, 定性的に分析を行った. 結果, 傾向 として自由民主党 (以下, 自民党)および経済産業委員会 (以下，経産委員会) は, 民主党・無所属クラブ (以下, 民主党)および環境委員会に比べ環境税導入 に消極的であるという仮説に関する示唆を得た。

## 1 はじめに

近年，気候変動に対する危機感は世界全体で高ま っており，2050 年にカーボンニュートラルを掲げる 国は 125 力国 1 地域にのぼる[1]. 日本では 2030 年 に国全体の温室効果ガス排出量を 2013 年対比で 46\%削減, 2050 年にカーボンニュートラルの達成を 掲げている[2]. 気候変動政策の代表に，環境税があ る。環境税とは，広義には「環境に負荷を与える財・ サービス全般を課税の対象にし，それらを抑制して 環境保全に役立てようとする発想」のもと, 設定さ れる税制である[3]. 狭義には，「二酸化炭素(以下 $\left.\lceil\mathrm{CO}_{2} \downharpoonleft\right)$ の排出量に応じ, 工場や企業, 家庭などか ら幅広く負担を求めることにより，広く国民に対し 温暖化対策の重要性についての認識を促し, 排出量 の削減を推し進めるもの」であり [4], 後者は炭素税 と呼ばれる.以下, 当税制の歴史的背景を記述する.環境税は 1920 年代，イギリスの経済学者 Arthur Cecil Pigou が提唱したピグー税に起源がある.ピグ 一税とは，元来環境に限らず経済活動において市場 を通さずに便益を享受し損失を被ること，すなわち 「外部不経済」に対して，正の効果をもたらすもの には補助金の提供を，負の効果をもたらすものには 課税をするという概念である[5]. この「外部不経済 の内部経済化」は環境問題と良い相性である. 大気・水質の污染物質や廃棄物一の課税は，それらの発生 の抑制効果を持つとされている．中でも $\mathrm{CO}_{2}$ の課税は，気候変動の世界的な解決策として期待される が，他の環境問題と比べ課税対象者を誰にするか，削減に有効な価格は 1 トンの $\mathrm{CO}_{2}$ でどれくらいか (カーボンプライシング)，課税による経済的損失と の比較はどう行うか，などの論点がある. 2018 年ノ 一ベル経済学賞を受賞したアメリカの経済学者 William Dawbney Nordhaus は, Dynamic Integrated Climate-Economy モデル(以下，DICE モデル)と呼ば れるマクロ経済と気候変動の統合評価モデルを発明 した. この DICE モデルでは，炭素の社会的費用， すなわち追加的な炭素排出 1 単位が経済に与える 影響の大きさとして，適切な炭素価格を計算できる [6]. 1990 年代に開発された DICE モデルだが，基本的なコンセプトを変えず改良され続けており，今日 の IPCC レポート等でも援用されている.

現実の制度としての環境税は欧州を中心にはじま ったが，その背景にはスイスの経済学者 Hans Christoph Binswanger がいる. Binswanger は「エネル ギー税を引き上げて大気污染を減らし, 社会保険料 を引き下げて雇用をしやすくする，さらに，エネル ギー税収入で年金保険料収入の減少を補填するとい う考え方」を示し，欧州の環境税制改革の理論的バ ックグラウンドとなった[7]. 1990 年代にフィンラン ド，スウェーデン，オランダ，ドイツといった国々

で環境税制改革が行われ, 所得税や法人税などの減額処置と同時に化石燃料に対する付加税, 電力消費 に対する課税強化, 鉱物油税等が導入された [8].

日本では, 環境税は「地球温暖化対策のための税」 (以下「温対税」)として 2012 年に導入され, 2016 年 に導入当初に予定されていた最終税率への引上げが 完了した. 本税制は石油, ガス, 石炭に対して課税 され, 納税義務者は化石燃料の採取者または保税地域からの引取者 (輸入者)である. 家計への影響は年額 1,200 円程度と試算されており, 1 トン- $\mathrm{CO}_{2}$ eq あ たりの税率は 289 円と, 欧州や北米といった環境税 が導入された先進国の水準 (日本円で 1 トン- $\mathrm{CO}_{2} \mathrm{eq}$ 1,000 円 16,000 円)よりとても低い. よって, 削減 のための十分なインセンティブにならないという懸念もある。また, 政府予算では諸外国では一般会計 への計上が多い中, 特別会計へ繰り入れられており，使途は「省エネ対策，再生可能エネルギー普及，化石燃料クリーン化等のエネルギー起源 $\mathrm{CO}_{2}$ 排出抑制. に限定されている[9]. つまり, 欧州が志向した Binswanger $の$ 環境税制改革の理論は下敷きにされて おらず，温対税はあくまで気候変動政策の枠組みの 中で完結しているという体裁である.

このように，環境税は他の気候変動政策と比べて 影響範囲が広く効果があると言われている反面, 削減効果の担保の難しさや, 特定産業の負担増による 産業の衰退, 所得の低い層ほど税負担が大きくなる 逆進性の問題がある[10]. また, 既存産業への経済的負荷と気候変動による社会的費用のバランスをどう 取るか, 財政赤字をどのように立て直すか, 税制改革として景気刺激策と気候変動政策が両立する形は 実現可能かなど, 環境問題を超えた論点を包含する. よって環境税に対しては様々な政策主体の思惑が絡 むと思われるため, 本研究では上記のような論点や それに対する意見, 対立構造について, 国会議事録 を活用した言説空間の分析という形で調査を行う.

## 2 関連研究

環境税をめぐる言説空間の研究事例は少ない. 気候変動政策全般に関する言説やネットワーク分析は， Comparing Climate Change Policy Networks(以下「COMPON」) という研究プロジェクトが中心的役割を果たしている[11]. COMPONにおける日本を対象とした研究では, 2050 年カーボンニュートラル宣言をしている自治体を対象とした気候変動政策に関 する調査票調査[12], 環境政策におけるドイツと日本の言説ネットワークの比較[13]などがある．個別 の制度に着目した研究では，再生可能エネルギーの

「固定価格買取制度」に関する政府・政党・利益団体の間の政策ネットワークの研究がある[14]. ただ し, COMPON は社会学分野の研究が主流であり, 方法論としては質問紙調查や統計的手法が取られてい るが，国会議事録などの大量のデータを対象とした ものは少ない.

機械学習の分野では，文書をあらかじめ与えられ たカテゴリに分類するテキスト分類の研究が行われ てきたが政治領域のテキストを機械学習に基づき分類する研究は，ごく僅かに見られる程度である。一例としては，気候変動の「適応策」についての記述 を政策文書から特定し, 適応, 緩和，非気候のいず れかに分類するために ANN モデルを利用している [14]. 当該研究では, 分類結果を用いて経年での政策変化を分析している.

国会議事録に着目した研究として, 猫本らは議員 が議案に対するスタンスを 2 値(賛成 or 反対)に判定する BERT ベースの分類器を構築した. 提案手法の分類精度はベースライン手法より高く得られた [15]. 中川らの研究では, イデオロギーの区分として 政党を用い, 国会における議員の発言について, 政党を特徴付ける要素の検討を行った. ランダムフォ レストによる議員の発言を分析した結果, 感動詞の 比率と語彙の多様性について政党間の差異が大きい 傾向が示唆された[16]. 小柴らの研究では, 議会と行政の相互作用を広範かつ定量的に分析する手法を検討した. 具体的には, 各議事録から機械的に抽出さ れた代表語の類似性と時間的前後関係のみで, 影響 の有無を推定する粗い指標である[17].

## 3 分析仮説

本研究では，二つの仮説を設定する。

仮説(1) 自民党は, 政権与党として, 国民の負担増や経済停滞，その他気候変動以外の国内外の課題 も考慮し政策を決定する必要があるため, 環境税導入に消極的な傾向がある.

仮説(2) 経産委員会は, 国民の負担増や経済停滞 を懸念し環境税導入に消極的な傾向がある。一方で 環境委員会は，実効的な環境政策を推進する観点で 積極的な傾向がある.

これらの仮説は, COMPON の関連研究や過去の政策立案の経緯, メディア報道の傾向から導き出した.民主党については, 主要政党の解党により明確な仮
説の設定が難しいが，民主党員からの発言を対象に，仮説(1)で想定する自民党のスタンスとの比較分析を 行う. 仮説(1)と仮説(2)双方について, カーボンプラ イシングの具体策として環境税と並列で言及される 排出量取引制度[18]に関する発言およびこれに対す る返答のデータも取得し，比較分析を行う。

## 4 データセット

国会議事録検索システム  より,「環境税」(ただし, $\mathrm{CO}_{2}$ 排出に対して 課税することを意味しない，「森林環境税」を除く) または「炭素税」を含む発言およびこれに対する返答を取得した(データ A)。また，「排出量取引」ま たは「排出権取引」(以下「排出量取引」に用語を統一する)を含む発言およびこれに対する返答も取得 した(データ B).これらのデータは 1987 年から 202 2 年の期間に発言された記録である. データ $\mathrm{A} お よ$ びデータ B に関するデータセットの件数を表 1 に記載した.

表 1 分析用データセット

## 5 分析手法

データ $\mathrm{A}$, データ $\mathrm{B}$ に対して, 同様の方法で特徴量を作成し，モデルを構築した。

## 5.1 特徴量の作成

$\mathrm{MeCab}$ を用いて, 名詞に該当する形態素を抽出し た.この際, 平仮名のみ, 2 文字以下のカタカナの み， 1 文字のみのいずれかに該当する場合は除外し た. 発言に各形態素が含まれるか否かの 2 值となる Bag Of Words で特徴量を作成した。学習データにお ける発言数より特徴量の次元数 (2864 次元) が大き いため次元削減を行った. データ $\mathrm{A}$ および $\mathrm{B}$ を合わ せたデータに対して，分散 $\operatorname{Var}[\mathrm{X}]=p(1-p)$ について $p=0.08$ の時の分散より小さい特徴量を除外し 179 次元にした[19].

## 5.2 モデル

スパースモデリングの文脈で広く知られている
L1 正則化項付きのロジスティック回帰を適用した.以下の式を最小化することでパラメータを推定した。 ここで， $X_{i}$ は $i$ 番目の特徴量， $w$ は推定するパラメー 夕で偏回帰係数， $y_{i}$ は $i$ 番目の目的変数である.

$
\hat{p}\left(X_{i}\right)=\frac{1}{1+\exp \left(-X_{i} w-w_{0}\right)}
$

$
f\left(X_{i}\right)=-y_{i} \log \left(\hat{p}\left(X_{i}\right)\right)-\left(1-y_{i}\right) \log \left(1-\hat{p}\left(X_{i}\right)\right)
$

$
\min _{w} \prod_{i=1}^{n} f\left(X_{i}\right)+\|w\|_{1}
$

上記のモデルを用いて，4 つのモデルを作成する. モデル名とデータの対応を表 2 に示した.

表 2 モデル名とデータの対応

## 6 結果

## 6. 1 モデルによる予測精度

5 分割のクロスバリデーションによる予測精度を 表 3 にまとめた.

## 6.2 モデルにより抽出した関連用語

モデル 1 からモデル 4 で推定結果を付録 表 4 に まとめた. モデル 1 およびモデル 3 の構築時に,「自民党」を 1 ，「民主党」を 0 として目的変数を扱っ ているので，正の值にある形態素は自民党らしさを 表す。一方で，負の値にある形態素は民主党らしさ を表す. 同様に，モデル 2 およびモデル 4 の構築時 に，「経産委員会」を 1 ，「環境委員会」を 0 として 目的変数を処理しているので，正の値にある形態素 は経産委員会らしさを表す。一方で，負の値にある 形態素は環境委員会らしさを表す。

## 7 考察

## 7. 1 所属の違いによる発言傾向の分析

分析結果は仮説(1)を部分的に支持するものであっ

た. 具体的には，自民党による発言は，気候変動に 対して, 経済成長や食糧・海上等の安全保障等, 他 の重要課題と並列で言及し，いずれの課題も等しく 対策を講じなければならないことを主張するものが 散見された.こうした傾向は統計的に有意な「我々」，

「我が国」，「現在」，「必要」などの用語に現れ ている。また, 自民党に特徴的な点としては, 発言 の導入部分で「先生のおっしゃる通り」といった専門家の見解を重視する傾向も見られた. なお, 全て の発言が環境税に否定的ではなく, 現在ある温対税 の整理等と合わせて, 導入すべきであるという発言 も，特に環境省に属する環境大臣等から少なからず 見られた. 比較分析を行った排出量取引については,発言の内容に自民党に特徴的な用語はなかったが,

環境税と同じく専門家の意見を重視する傾向があり，

「先生」のみが統計的に有意な用語となった.

環境税に対する「民主党」の発言としては，「再生可能エネルギー」の比率上昇など, エネルギー政策とセットで環境税に言及するものが最も多かった。 その他統計的に有意な単語としては「拡大」や「部分」などがあるが，いずれも用語の使われ方は文脈 に応じて様々である。環境政策の文脈では，例えば エコポイント対象品目の「拡大」やエコ設備等の需要「拡大」, ガソリン税の「部分」と組み合わせた 環境税導入のためのグリーン税制改革の提案といっ たものが見受けられた。

## 7.2 委員会の違いによる発言傾向の分析

分析結果は仮説(2)を支持するものであった．環境税に対する経産委員会の発言では, 「省エネ」や「影響」，「負担」などの用語が統計的に有意かつ特徴的である。「省エネ」は省エネ法や省エネ税制への 言及と並んで, 省エネ設備に対する需要喚起や投資 による景気刺激を期待する発言が散見された。「影響」は，環境税導入による国民経済や産業・雇用に 対する「影響」についての言及，「負担」は環境税導入によるエネルギー事業者や低所得世帯, 中小企業に対する「負担」増を懸念する発言が多く，この 二つが経産委員会の環境税に対するスタンスを顕著 に示す用語であった。

環境税に対する環境委員会での発言では, 気候変動対策を民間に任せず「行政」が行っていくという 姿勢を示すものが多かった。「環境行政」という単語で言及されることが多く, 小さい政府や事業仕分 けが注目された時勢においても，環境政策について
は行政が行うべきだという姿勢を示す文脈で同用語 が散見された．また，色々な文脈があるが，環境税 については国民の「理解」や「協力」が必要である という趣旨の発言も見られた.

比較分析を行った排出量取引については, 経産委員会における発言では，「産業」や「エネルギー」 といった用語が統計的に有意となり，対環境税ほど 消極的な姿勢を示す発言は少なかった。また，エネ ルギー政策と一緒に言及されることが多いという傾向があった. 環境委員会における発言では,「吸収」 という用語が上位にあるように，エネルギー政策と いうよりむしろ森林や海洋の $\mathrm{CO}_{2}$ 吸収源を重視した 姿勢が経産委員会のスタンスと対照的であった. ま た, 制度的な複雑さ・難しさの懸念を示す「段階」，

「説明」などの発言が一部あったが，文脈によって 様々で統一的な特徵は見出せなかった。

## 8 おわりに

本論文ではロジスティック回帰を用いた国会議事録の分析で，環境税および比較対象としての排出量取引制度に対する，政党および委員会の発言傾向の 違いを偏回帰係数に着目して分析し, 各政策主体の スタンスの違いに関する仮説に対して検討した。

モデル構築の観点では，パラメータチューニング や異なるモデルを利用することで新たな関連用語を 導き, 比較対象の違いの理解を深める効果が期待さ れる. 今回のモデルは分析データの件数に比べて特徴量が多いため, ロジスティック回帰に適用する前 に変数選択をしており, L1 正則化ロジスティック回帰のみで構築していた. 発言件数が限られているた め, これらの違いを分析するには制限があるが, 政治家の公約や政策活動費などの異なる記録を扱うこ とで, 政党ごとの違いをより詳細に評価することが できると考えている.

定性分析の観点では，今回は二つの政党と二つの 委員会に限定して分析を行ったが，分析対象以外の 政党や会議体で，環境税に親和的な政策主体が見ら れるか，それはなぜか等の観点での追加分析を行う ことで, 環境税をめぐる言説空間をより正確に把握 できるだろう。また，モデルの精度向上の観点で言及した, 政治家の公約や政策活動費などの国会議事録以外の記録に加え，新聞報道等も分析対象に加え ることで，政策主体の発信するシグナルを，世間が どのように受け止めているかという視点で, 拡大さ れた言説空間を導くことができると考える。

## 参考文献

1. 令和 2 年度エネルギーに関する年次報告 (エネ ルギー白書 2021) “第 2 節 諸外国における脱炭素化の動向”，経済産業省資源エネルギー庁: htt ps://www.enecho.meti.go.jp/about/whitepaper/2021/ html/1-2-2.html, 2022-11 閲覧

2. 日本の $\mathrm{NDC}$ (国が決定する貢献). 地球温暖化対策推進本部: https://www.mofa.go.jp/mofaj/files/1 00285591.pdf, 2022-10 閲覧.

3. 環境税の課税根拠(一), 伊藤嘉規, 富山大学紀要. 富大経済論集, 第 59 巻第 3 号, 2014.03, pp. 435-465.

4. 環境税の具体案. 環境省: https://www.env.go.jp/policy/tax/051025/01.html, 2022-11 閲覧

5. 環境税(地球温暖化対策税)とエネルギー関係諸税について, 篠原克岳, 税大論叢 61 号, 2009 年 6 月 25 日

6. "DICE 2013R: Introduction and User's Manual," Nordhaus, W.D., and Sztore, P., 2013.

7. 新たなエネルギー税のあり方一電気やガスの消費に対する課税一, 柴由花, 税大ジャーナル 25 2015.4.

8. 諸外国における炭素税等の導入状況, 環境省: $h$ ttps://www.env.go.jp/policy/tax/misc_jokyo/attach/i ntro_situation.pdf, 2022-11 閲覧

9. 地球温暖化対策のための税の導入. 環境省: http s://www.env.go.jp/policy/tax/about.html, 2022-11 閲覧

10. カーボンプライシングの活用に関する小委員会 (第 13 回)議事次第・配付資料, 資料 2“炭素税に ついて”環境省: https://www.env.go.jp/council/06 earth/13_3.html, 2022-11 閲覧
11. Climate change policy networks: Why and how to compare them across countries, TuomasYlä-A nttilaa, et al., 2018

12. 地方自治体の 2050 年二酸化炭素排出実質ゼロ 宣言 : 気候変動政策に関する自治体調査から,辰巳智行ら, 静岡大学情報学研究, 26 巻, p. 1 22, 2021-03-28

13. Analysis of the Policy Network for the "Feed-in Tariff Law" in Japan: Evidence from the GEP ON Survey, Okura, Sae et al., Journal of Cont emporary Eastern Asia, Volume 15, Issue 1, Pa ges.41-63, 2016

14. Machine learning for research on climate change adaptation policy integration: an exploratory $\mathrm{U}$ $\mathrm{K}$ case study. Biesbroek, R. et al., Reg Enviro n Change 20, 85 (2020).

15. 議会における明示的な賛否表現を含まない議員発言を対象としたスタンス分類データセットの 構築と評価，猫本隆哲，秋葉友良，増山 繁，言語処理学会 第 28 回年次大会 発表論文集, 2022 年.

16. ランダムフォレストを用いた国会会議録のイデ オロギー分析, 中川 侑, 武田 拓也, 吉元 涼介,芳鐘 冬樹, 第 15 回情報科学技術フォーラム( $\mathrm{F}$ IT2016).

17. 議事録を用いた我が国における議会・行政の関係性分析手法, 小柴 著, 森川想, 人工知能学会論文誌, 2019.

18. カーボンプライシング. 環境省: https://www.env. go.jp/earth/ondanka/cp/index.html，2022-12 閲覧.

19. scikit-learn User Guide 1.13. Feature selecton $\mathrm{h}$ ttps://scikit-learn.org/stable/modules/feature_selecti on.html, 2022-12 閲覧.

## A 付録

表 3：モデル 1 からモデル 4 の ROC-AUC

表 4：モデルにより推定された偏回帰係数の正負と $5 \%$ 有意水準を満たす形態素

 & 形態素 (偏回帰係数の絶対値が大きい順に記載) \\


# 自己相互情報量と単語群一致度を組み合わせた 臨床研究関連法規の類似性評価の検討

大城絢子 1 岡崎威生 2 植田真一郎 3
1 沖縄国際大学 経済学部 2 琉球大学 工学部
3 琉球大学 医学部 臨床薬理学講座
a.ohshiro@okiu.ac.jp okazaki@ie.u-ryukyu.ac.jp
blessyou@med.u-ryukyu.ac.jp

## 概要

臨床研究は現在 3 つの指針・省令・法に則ってお こなわれている.これらの類似関係を可視化するこ とで、臨床研究の研究者は多忙な診療業務をこなし ながらも複数の法令の関係を解釈することができ る. 本研究では、これらの法令の条文間の類似性を 定量的に評価するために、相互情報量と複数の単語 (単語群) の一致度・一致単語群の発生頻度・そして これらを組み合わせた類似尺度を提案した. 類似性推定精度の性能比較実験の結果、既存の尺度に比べ 推定精度が改善された組み合わせがあったことを確認した。

## 1 はじめに

治療法改善や診断ガイドライン検討といった医療 の質の向上には、診療現場で生じた臨床的疑問を解決する「臨床研究」が必要である. またその結果は、診療はもちろん患者の予後に影響するため、適切に 実施することが重要である. そのため、臨床研究の 実施においては既に定められた省令や法令、指針に 沿うことが求められる。

例えば 1997 年には「医薬品の臨床試験の実施の 基準に関する省令 [1]」(Good Clinical Practice、以後 GCP 省令とする) が施行され、その内容は多くの研究者に定着していると考えられる。一方で、過去 10 年においてデータ操作や利益相反に関する問題が 発生し、その不適正事案に対する対策として、2015 年には「人を対象とする医学系研究に関する倫理指針 [2] (以後、倫理指針とする)」の見直し、2018 年 には「臨床研究法 [3]」が施行されたことで臨床研究は法律化され、現在 3 つの指針・基準・法令のも とにある. そのため臨床研究を実施する研究者はこ
れらの法規に沿った研究を害施することを求められ ている、しかし、多忙な臨床業務をこなしながら、 これらの法規を完全に理解することは容易ではな いため、これらの法令を扱う関連部署の支援を受け ることも多い. またこのような状況は臨床研究関連 の法対応に限ったものではなく、例えば地方自治体 で定められる条例など、内容は類似するものの地域 により異なる点などは法務の専門家の手作業によ り比較されている [4]. これらの作業に対し、コン ピュータを用いた言語処理のアプローチを導入す ることにより、作業コストの軽減が期待されている [5][6][7][8]. 特に近年では、BERT[9] の文書ベクトル 機能やDoc2vec[10] などの Deep Learning を用いた法令間の条文比較などの取り組みも盛んになってい る. それにより類似した法律の対応づけなどの取り 組みも行われている [11][12]. 臨床研究関連の法令に おいても既述の 3 つの指針・基準・法令間の関係を 可視化することで、診療多忙な臨床研究の研究者が 複数の法規の関係を把握することができると期待で きる。

本研究では臨床研究関連法規間の関係を可視化す るために、各法規の各条文間の全ての組み合わせに ついての類似性予測の精度を向上させることを目的 としている.これまでに、word2vec や topic model を 用いて関連法規の解釈や法令間の関連性解釈の可能性について考察してきた [13][14]. さらに含まれる共通単語数が多い文章は類似度が高いという仮説のも と、「単語一致度」をもとにこれら 3 法令の各条文間の類似度を予測した [15]. 正誤検証の結果、意味的に「類似性が高い一致」である組み合わせが正し く獲得された一方で、「類似性が低い/不一致」であ る組み合わせの条文の類似度が高いとされたケース もあり、課題が残った。

そこで次に、単一の単語ではなく、複数の単語 である「単語群」の一致度と複数の単語の同時出現確率を示す自己相互情報量 (Pointwise Mutual Information)を組み合わせて用いることで、各条文間 の類似性を予測する尺度を提案した. 本稿ではその 内容と、既存の類似尺度との性能比較実験の結果に ついて報告する.

## 2 条文間類似性の定義

本研究の目的は図 1 のように、臨床研究を対象と した既述の法令である $L_{1}$ 倫理指針、 $L_{2} \mathrm{GCP}$ 省令、 $L_{3}$ 臨床研究法の各条文間の類似性を求めることで ある.

図 1 臨床研究関連法令の条文間の類似性を示した例

図 1 では、例えば $L_{1}$ 倫理指針の第 12 条と $L_{3} \mathrm{GCP}$省令の第 10 条の類似性が高いことを意味している.本稿では、条文間の類似性について複数の仮説を設定した. 複数の単語の組み合わせ (以後、単語群と する) の一致度が高い場合、条文同士の類似性は高 くなると考えられる. また一致度に加え、同時に出現する確率 (PMI) の高い単語の組み合わせがある場合、条文同士の類似性は高いと考えることもできる。 さらに一致する単語群の発生頻度が高いほど、条文同士の類似性は高いと考えられる。ここで単語群の 発生頻度は条文の長さに比例するため、単語群の発生総数 $F\{x, y\}$ における比率を配慮する必要がある。以上より、これらの仮説を組み合わせ整理すると以下のようになる。

仮説 1 単語群 (2 組)の一致度が高いほど条文間の 類似度は高い (Word Group Match：WGM とする)

仮説 2 「単語群の一致度+PMI」が高いほど条文間 の類似度は高い (WGM+PMI)

仮説 3 一致した単語群の発生頻度が高いほど条文間の類似度は高い (Frequency Of Word Group Match：FWG とする)

法令 $L_{a}$ の $i$ 条、法令 $L_{b}$ の $j$ 条において 2 つ単語 (単語群) $w_{x, y}$ が出現する場合、その相互情報量 $P M I(x, y)$ は式 (1)のように定式化できる.

$
P M I(x, y)=\log \frac{P(x, y)}{P(x) P(y)}
$

また法令 $L_{a}$ の $i$ 条、法令 $L_{b}$ の $j$ 条における単語群 $w_{x, y}$ の一致度を $W G M\left.\{w_{L_{a}}(x, y), w_{L_{b}}(x, y)\right.\}$ 、とす ると、条文間の類似度 $S\left.\{L_{a}^{i}, L_{b}^{j}\right.\}$ は単語群の発生総数 $F\{x, y\}$ を用いて式 (2)のようにも定式化できる.

$
S\left.\{L_{a}^{i}, L_{b}^{j}\right.\}=\frac{W G M\left.\{w_{L_{a}}(x, y), w_{L_{b}}(x, y)\right.\}}{F\{x, y\}}
$

以上より、本稿では、これらの 3 つの仮説に基づ き、条文間の類似度 $S\left.\{L_{a}^{i}, L_{b}^{j}\right.\}$ について 3 つの類似尺度を定義した。

$
\begin{gathered}
P M I=\frac{P M I(x, y)}{F\{x, y\}} \\
P M I+W G M=\frac{P M I(x, y)+W G M\left.\{w_{L_{a}}(x, y), w_{L_{b}}(x, y)\right.\}}{F\{x, y\}} \\
F W G=\frac{W G M\left.\{w_{L_{a}}(x, y), w_{L_{b}}(x, y)\right.\}}{F\{x, y\}}
\end{gathered}
$

本研究では臨床研究を対象とした法令 3 つ取り上 げ、全条文の全ての組み合わせについて類似度を算出した. 具体的な手順を以下に示す.

1. 全条文間の全ての組み合わせについて類似度を 算出

2. 全類似度の分布をもとに 4 段階の順序尺度「一致/高い類似性/低い類似性/不一致」に変換

3. ベンチマークデータとの順序相関係数を算出し 推定精度とする

## 3 精度比較実験

## 3.1 用いる法令データ

臨床研究を対象とした法令である倫理指針 $L_{1}$ (全 23 条)、臨床研究法 $L_{2}$ (全 43 条)、GCP 省令 $L_{3}$ (全 59 条) の各法令の全条文の組み合わせ数は、 $\left.\{L_{1}, L_{2}\right.\}+\left.\{L_{1}, L_{3}\right.\}+\left.\{L_{2}, L_{3}\right.\}=23 * 43+23 * 59+43 * 59=4883$ となる. 本研究ではこれらのうち、各法令組み合わ せより 30 組選択し、 $30 * 3=90$ の組み合わせについて 臨床研究の専門家に評価を依頼しベンチマークデー タを獲得した。

## 3.2 評価指標

提案手法を用いて算出した類似度の精度を、ベン チマークデータを用いて評価した。各条文間の類似
性を評価したベンチマークデータは、臨床研究の専門家にあらかじめ「一致/高い類似性/低い類似性/不一致」の 4 段階による尺度で評価を依頼し表 1 のよ うに獲得した。 3 法令の条文の全組み合わせのうち 30 組について評価を依頼した。性能比較には、既存 の手法として Doc2 Vec、単語一致度、Simpson 係数 を用いた。

類似度の推定精度は、ベンチマークデータとの順序相関係数を用いて $[0,1]$ で評価した。

## 3.3 比較結果

既存の文章類似度推定手法として単語一致度 ・ Doc2vec・Simpson 係数を挙げ、これらに対して本稿 にて提案した類似度尺度である WGM+PMI、PMI、 FWG との推定精度を比較した. Simpsons 係数と似 た考え方の類似尺度に Jaccard 係数や Dice 係数があ るが、本稿では事前実験の結果、精度が高かった Simpson 係数の結果を採用している. 3 つの法令の組 み合わせ $\left.\{L_{1}\right.$ 倫理指針、 $L_{2}$ 臨床研究法\}、 $\left.\{L_{2}\right.$ 臨床研究法、 $L_{3} \mathrm{GCP}$ 省令 $\} 、\left.\{L_{1}\right.$ 倫理指針、 $L_{3} \mathrm{GCP}$ 省令 $\}$ の比較結果を表 2 に示す.

はじめに結果の解釈について述べる. 推定精度と して用いている順序相関係数が 1 に近いほどベンチ マークデータと正の相関関係にあることを意味し、推定精度が高いと解釈できる. 負の値をとりかつ-1 に近い場合、類似度がベンチマークデータと負の相関関係になっていることを意味する。これは例えば ベンチマークデータにおいて「一致/高い類似性」と 判定されている組み合わせに対して「低い類似性/不一致」と推定したことを意味する。

単語一致度を用いた場合、相関係数が負の値や低 い正の値をとっていることから、推定精度が低いこ とを示しており、単語の一致数のみで類似度を求め ることが困難であることを示している. Doc2vec も 同様のパターンの結果となっている. 一致した単語群の発生頻度を類似尺度に適用した FWG を用いた 場合、他の手法と比べ推定精度が低く頻度情報のみ 用いた場合だと類似性を評価することが困難である
ことを示している. $\left.\{L_{1}\right.$ 倫理指針・ $L_{2}$ 臨床研究法 $\}$ の 組み合わせにおいては単語一致群と PMI を組み合 わせた「WGM+PMI」や「PMI」を用いた場合、上記 の既存の尺度や Simpson 係数の適用時より精度が改善さたことがわかった. また $\left.\{L_{2}\right.$ 倫理指針・ $L_{3} \mathrm{GCP}$省令了の組み合わせについては他の組み合わせに比 べ推定精度が悪いこともわかった. Simpson 係数と のハイブリッド適用などにより、類似尺度の推定精度をさらに改善させる必要があることがわかった。

## 4 おわりに

自己相互情報量と単語群一致度・単語群発生頻度 とそれらを組み合わせた類似尺度を提案し、臨床研究を対象とした 3 つの指針・省令・法間の条文の類似性を数値化した. 性能比較実験の結果、既存の類似尺度より類似度推定精度が改善された組み合わせ があること・既存の尺度との組み合わせによりさら に改善が期待できることを確認した. また性能とし てはまだ改善の余地があり、実際の適用レベルを目指すにはまだ改善が必要である. 今後の課題として BERT の文書ベクトルや固有表現抽出機能を用いた パターンとの性能比較もおこない、Deep learning や 既存の類似尺度とのハイブリッドな手法の構築も試 みていく.
表 2 各類似尺度による推定精度の比較結果

## 謝辞

本研究は科学研究費補助金 $20 K 18854$ の助成を受 けたものである.

## 参考文献

[1] 医薬品の臨床試験の実施の基準に関する省令 (平成 9 年厚生省令第二十八号) "医薬品の臨床試験の実施の基準に関する省令 | e-Gov 法令検索", (accessed 2020-09-03)

[2] 文部科学省. 厚生労働省. 人を対象とする医学系研究 に関する倫理指針 (平成 26 年 12 月 22 日. 平成 29 年 2 月 28 日一部改正) [https://www.mhlw.go.jp/file/06Seisakujouhou-10600000- Daijinkanboukouseikagakuka/0000153339.pdf (accessed 2020-09-03)]

[3] 臨床研究法 (平成 29 年法律第 16 号) "臨床研究法| e-Gov 法令検索", (accessed 2020-09-03)

[4] 藤井真知子, “市町村合併における自治体法務の現状と課題 : 甲賀市の条例整備を手がかりとして” 龍谷大学大学院法学研究紀要論文, 9 号, pp. 181-214, 2007.

[5] 角野篤泰. スーパーコンピュータを用いた自治体例規の類似度分析と例規データベースへの応用. 名古屋大學法政論集, Vol. 246, pp. 91-69, 2012.

[6] 竹中要一, 若尾岳志, “地方自治体の例規比較に用 いる条文対応表の作成支援” 自然言語処理, Vol. 19 No. 3, pp.194-212, 2012.

[7] 小山凱丈, 佐野智也, 竹中要一, “明治民法制定時に おける日仏民法条文の参照関係再推定”言語処理学会第 25 回年次大会 発表論文集, pp.398-401, 2019.

[8] 小山凱丈, 佐野智也, 竹中要一, "明治民法と各国民法 との条文類似関係にもとづく立脚点の解析" 言語処理学会 第 26 回年次大会 発表論文集, pp93-96, 2020

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova, "Bidirectional Encoder Representations from Transformers",

[10] Quoc V. Le, Tomas Mikolov, "Distributed Representations of Sentences and Documents", proceedings of the 31st International Conference on Machine Learning, PMLR 32(2):1188-1196, 2014.

[11] 長裕樹, 中村誠, "BERT を用いた比較法研究におけ る類似条項の対応付け", 言語処理学会 第 28 回年次大会 発表論文集, pp948-951, 2022

[12] Kaito Koyama, Tomoya Sano, Yoichi, "The legislative study on Meiji civil code by machine learning", Fifteenth International Workshop on Juris-informatics (JURISIN

## 2021)

[13] 大城絢子, 植田真一郎, “臨床研究を対象とする各法令の特徴抽出とそれらの関連”, 電子情報通信学会総合大会, D-5-4, 3 月, 2019.

[14] 大城絢子, 植田真一郎, "テキストマイニングによる 臨床研究関連法令の特徴と関連性解釈の可能性", 電子情報通信学会,pp35-pp,2019

[15] 大城絢子, 岡崎威生, 植田真一郎, "単語一致度を用い た臨床研究関連法規の関係可視化の検討", 臨床薬理. 2023; 54(1): (in press)


# AdGLUE: 広告言語理解ベンチマーク

張 培楠 ${ }^{1}$ 坂井優介 ${ }^{2}$ 三田 雅人 1 大内 啓樹 2,3 渡辺 太郎 ${ }^{2}$

1 株式会社サイバーエージェント 2 奈良先端科学技術大学院大学 3 理化学研究所

\{zhang_peinan,mita_masato\}@cyberagent.co.jp

\{sakai.yusuke.sr9, hiroki.ouchi, taro\}@is.naist.jp
## 概要

近年、インターネット広告における自然言語処理技術の応用が盛んに行われている。広告分野では、学術的によく使われるデータセットでは出現しない 表現も多く、文法的に誤った非文が許容されること もある。このような広告特有の言語現象に対処する 技術が必要とされるが、共通のタスクやデータセッ トがないため、分野全体の研究発展が妨げられてい る。そこで本研究では、広告特有の言語現象や性質 に対する言語理解を促進するため、5つのタスクか ら構成される広告分野特化の言語理解ベンチマーク AdGLUE を提案する。また、一般的な言語タスクや データセットとの違いを分析するため、主要な既存手法でベースライン実験も行った。

## 1 はじめに

近年、検索連動型広告（図 1)を含むインターネッ 卜広告市場の著しい成長 [1] に伴い、テキスト分類 モデルを使ったクリック率予測 [2] やニューラル生成モデルを使った広告文生成 $[3,4,5]$ など、自然言語処理技術の多くが広告分野で応用され始めてい る [6]。広告分野では、短文でユーザに商品の特徵 と魅力を伝え、購買行動などに繋げるよう訴求する 必要がある。そのため、使用される言語表現は一般的な文章とは異なることが多い。例えば、機能語や 部分的な内容語の省略や強調のために記号の使用、場合によっては文法的な誤りを含んだ非文が許容さ れることもある。例として、「マンションを売却し たい方は、今すぐ○○で無料で査定しませんか？」 という汎用的な表現は、広告特有の表現に言い換え ると「マンション売却／今すぐ無料査定」になる。 このような広告特有の表現は人間の理解を妨げるど ころか、注意を引くことに繋がることが広告心理学分野で報告されている [7]。

以上のような一般的な言語資源では存在しない

図 1 検索連動型広告に関連する要素と遷移の例

特徴を有しながらも、機械翻訳や自動要約などの分野と比較して、広告における自然言語処理の研究や 分析は少ない。その一因として考えられるのは、共通するタスクやデータセット、そしてそれらで構成 されるべンチマークの欠如である。共通ベンチマー クがあることによって、手法の比較が容易になり、実験の手順が明確化するため、研究の活発化が期待 できる。英語の一般的な言語理解を目指したべンチ マークとして GLUE [8] や SuperGLUE [9] などが挙 げられ、JGLUE [10] を始めとする多くの言語でも構築が進んでいる $[11,12,13,14]$ 。また、特定の分野 に特化したベンチマークも存在し、PLUE [15] はプ ライバシーポリシーのための言語理解ベンチマーク であり、BLURB [16] は生物医学分野におけるべン チマークである。しかし広告分野には特化したベン チマークが現状存在せず、一貫したデータセットな ども公開されていない。そのため、広告分野での研究の多くは独自のデータと指標で評価されており、横断的な比較が難しい状況になっている。また、広告データは配信プラットフォームを保有している一部の企業にしか所持していないこともあり、それ以外の企業や学術機関からの利用が困難である。

以上のことから、我々は広告分野に特化した言語理解ベンチマーク AdGLUE (AdvertisinG Language Understanding Evaluation)を提案する。このベンチ マークでは、広告運用の手順を踏まえて、広告にお いて重要視される容認性や一貫性、魅力度などの理

表 2 広告容認性、広告一貫性、訴求表現認識タスクのデータ例。LPテキストは広告一貫性タスクでのみ使用される。 なお acceptable / not_acceptable と consistent/not_consistent はそれぞれ容認・非容認と一貫・非一貫を指している。

解に着眼して作られている。我々は一般的な言語理解と異なる広告特有の観点で 5 つのタスクを規定 し、対応するデータセットを構築した。データは 実際にインターネット上で掲載された広告であり、 それらに対して人手によるアノテーションを行っ た。また、一般的な言語タスクとの違いを分析する ため、提案ベンチマークに対して主要な既存手法で ベースラインで実験・分析を行った。1)

## 2 AdGLUE

AdGLUE は、表 1 のとおり広告容認性、広告一貫性、訴求表現認識、広告類似性、そして広告効果予測の 5 つのタスクから構成されている。本研究で使用される広告データはすべて実際にインターネッ ト上で掲載された検索連動型広告である。なお、広告効果予測以外の全データセット構築において、人手によるアノテーションが行われている。アノテー ション作業者はいずれも日本語母語話者であり、ガ イドラインの説明を受けた上で最大 2 回の訓練アノ テーションを経験している。より詳細なデータセッ 卜情報は付録に示す。

## 2.1 広告容認性

広告容認性タスクは、表 2 に示すように、ある文 を広告としてみた際に容認できる表現か、容認・非容認の 2 值ラベルを推定するタスクである。な お、推定結果は正解ラベルとの Accuracy で評価す る。インターネット広告において、ほとんどの媒体 は表示領域を確保するための文字長制限が設けられ ている2)ため、広告文は限られたスペースや少ない

1）作成されたデータセットは一般公開し、オンラインからア クセスできる評価プラットフォームを提供する予定である。

2）例えば Google レスポンシブ広告ではタイトルに全角で最大 15 文字の制限を設けている。文字数で読者に印象付ける必要がある。そのため、広告文を制作する際には、人間が読み取れる範囲で あえて文法を崩したり圧縮したりすることがある。一方で、過度な圧縮は読者の誤解を招いたり、意味理解を妨げる可能性もある。これは CoLA [17] など 文法的に正しいかどうかを判断する一般的な言語容認性の考え方とは異なる。このように、読者の正確 な意味理解の可否を広告容認性として定め、広告運用の現場においても人手で確認するステップが存在 する。そこで我々は広告自動生成モデルによって生成された広告文に対して、広告運用と同じ基準で広告容認性のアノテーションを行った。アノテーショ ン結果の一部を表 2 に示す。例えば 1 行目の「マン ション売却／今すぐ無料査定」は述べている意図を 問題なく読み取れるため「容認される」が、2 行目 の「エンジニアの転職／土日の求人多数」は「土日 の求人多数」の意味が不明なため「容認されない」結果となっている。

## 2.2 広告一貫性

広告一貫性タスクは、表 2 に示すように、広告文 と広告文に紐づくランディングページ（LP）テキ ストが一貫しているか、一貫・非一貫の 2 值ラベル を推定するタスクである。なお推定結果は正解ラべ ルとの Accuracy で評価する。検索連動型広告には URLが紐づいており、図 19ようにクリックするこ とでその URL 先の Web ページである LP に遷移す る。LPには広告文で言及した商品の詳細情報が掲載されているが、その情報と広告文で述べられてい る内容に齯䶣が生じる場合は顧客の信用を失うな ど大きな損害が発生する。そのため、LPにある商品内容と広告文内での表現の一貫性は重要である。我々は LP テキストとして Webページの HTMLにあ
表 3 広告類似性タスクのデータ例

入力文 1 すっぽん黒酢にセラミド䩀沢配合

例 1 入力文 2 すっぽん黒酢に贅沢セラミドまで 類似度 5.00

入力文 1 ご予算に合わせて贈り物を検索

例 2 入カ文 2 お得な割引商品は最大 $40 \% \mathrm{OFF}$類似度 2.33

る meta タグの description 要素を使用し、紐付い ている広告文と矛盾が存在するかどうかを人手でア ノテーションした。アノテーション結果の一部を表 2 に示す。例えば 1 行目の広告文は「マンション売却／今すぐ無料査定」だが、対応する LP テキスト は「一户建ての査定は○○におまかせ！」で、「マン ション」ではなく「一戸建て」について言及してい るため「一貫していない」と判断できる。

## 2.3 訴求表現認識

訴求表現認識タスクは、表 2 に示すように、広告文がどのような訴求軸を含んでいるのか、該当する 訴求ラベルをすべて推定するタスクである。なお推定結果は正解ラベルとの $\mathrm{F}$ 值で評価する。訴求と は、広告読者に対して、対象商品のメリットや魅力 を訴えかけるような表現のことである。商品によっ て関心を持つ人が異なるため、適切に訴求できるか が広告効果に大きく影響する。このタスクでは、村上ら [18] の訴求表現データセットを使用しており、 21 種類の訴求ラベルが 2,731 件の広告文に付与され ていある。3) データ例として、表 2 の 1 行目の広告文「マンション売却／今すぐ無料査定」に対しては、「無料査定」から訴求ラベルの「無料」「利便性」が、 2 行目の広告文「エンジニアの転職／土日の求人多数」に対しては、「求人多数」から訴求ラベルの「品揃え」が付与されている。本研究では村上らの研究 の doc-base タスクにならって、span ではなく文全体 を入力として考え、該当する全ての訴求ラベルを推定しその $\mathrm{F}$ 値を評価する。

## 2.4 広告類似性

広告類似性タスクは、表 3 に示すような広告文ぺ アがどれくらい広告的に類似しているのか、 $[1,5]$ の範囲を持つ実数値を類似度として推定するタス クである。類似度は 1 に近づくほど低く 5 に近づく ほど高く、推定結果は正解類似度とのピアソン相関係数およびスピアマン相関係数 [19] で評価する。

3）先行研究では大分類と小分類からなる構造だが、本タスク では小分類のみを使用する。表 4 広告効果予測タスクのデータ例

$\begin{array}{ll}\text { 業種 } & \text { 金融 } \\ \text { キーワードローン }\end{array}$

タイトル 1 【No.1】カードローン比較サイト

タイトル 2 とにかく急ぎで借りたい方必見

タイトル 3 即日融資安心カードローン

説明文 1 周囲に内緒で借りるカードローン。24 時間スマホ 完結カードローンランキング。免許証のみで申込 OK

説明文 2 初めての方も安心・コンビニATM で借入 OK なの 品質スコア 82.3 で便利・22 時迄の申込で最短即日融資が可能。

STS-B [20] などの一般的な文間類似度は意味の近さ を評価するが、広告類似度では言及対象の商品の同一性（商品のカテゴリ、商品内容）と訴求の同一性 （訴求軸、訴求内容）に関する評価を行う。例えば 表 3 の例 1 の文ぺアはどちらも同じ商品について言及しており、かつ訴求も同じであることから類似度 は最も高い 5.00 である。一方で、例 2 では商品につ いては同じカテゴリについて言及している可能性を 持つが、訴求が異なるため類似度は 2.33 と低いこと がわかる。より詳細なアノテーション方法について は付録に示す。

## 2.5 広告効果予測

広告効果予測タスクは、表 4 に示すように、キー ワードや広告文などの情報から広告そのものの品質 スコアを推定し、その結果を正解スコアとのピアソ ン相関係数およびスピアマン相関係数で評価する夕 スクである。入力となる情報は大きく分けて 3 種類 あり、「業種」「広告文」そして「キーワード」であ る。「業種」は株式会社サイバーエージェント内で 定めた広告の業界種別であり、合計で 4 カテゴリ存在する。「広告文」は広告そのものを異なる表現や 文長で述べたテキストであり、「タイトル」と「説明文」の 2 種類存在する。4）「キーワード」は当該広告 に関連する検索キーワードのことであり、同一広告文に対して複数存在することもある。表 4 の例では 「カードローン」がキーワードとして設定されてい るが、同じ広告文で「カードローン 比較」といった キーワードの例も他に存在する。「品質スコア」は 広告配信実績値をもとに算出した 1 から 100 の範囲 を取る実数値で、高いほど高品質である。また、公開にあたって一部の情報を秘匿化加工している。秘匿化処理の詳細については付録で述べる。

4）「タイトル」は全角で最大 15 文字で「説明文」は全角で 最大 30 文字である。なお、「タイトル 3 」と「説明文 $2 」 は$空であることも許容されている。
表 5 学習済み言語モデルによる AdGLUE の評価結果

## 3 AdGLUE を用いたモデル評価

本節では、自然言語処理における代表的な分類・回帰モデルを用いて、構築したベンチマークの評価実験を行う。実験結果を通して、提案ベンチマーク の有用性や今後の課題について分析する。

## 3.1 実験設定

ベースラインモデルは日本語版 BERT [21]、 RoBERTa [22]、多言語モデルとしてXLMRoBERTa [23] を用いて、以下のようにタスクの 種類に応じて fine-tuningを行った。
- 広告容認性、広告一貫性特殊トークン [SEP] で広告文とLPを接続した文字列を入力として [CLS]トークンに対する分類問題を解く。
- 訴求表現認識 村上ら [18] の Doc-Based Model と 同じく広告文でマルチラベリング問題を解く。
- 広告類似性、広告効果予測広告類似性タスク では文ぺアを、広告効果予測タスクでは業種・ キーワード・広告文を [SEP] で接続し、[CLS] トークンに対する回帰問題を解く。なお、広告効果予測タスクの秘匿化に使用された [MASK_*] トークンは語彙に追加して学習を行った。

検証用データが配布されていないデータセット は学習用データの 2 割を検証用データとした。八イ パーパラメータ等の実験の詳細は付録に示す。

## 3.2 結果と分析

表 5 に各言語モデルによる AdGLUE の実験結果 を示す。モデルごとの性能評価を以下にまとめる。

・広告一貫性タスクでは東北大 BERT $_{\text {BASE }}$ が最高值であったが、他との差は軽微であった。
- 全体的に RoBERTa、XLM-RoBERTa モデルが高 い值である。要因として両モデルは大規模 Web クロールデータ CommonCrawl [24]を用いて学習している。CommonCrawl には砕けた表現の 文章や広告文が多く含まれているため、広告文 の特徴をうまく捉えることができ、結果的に Wikipedia のみで学習している BERT モデルよ りも高い値となったと考えられる。
- 東北大 BERT $_{\text {BASE }}$ (char) は全体的に低く、広告文に対して文字単位の処理が不適切とわかる。
- 全体的に BASE モデルよりパラメータの大きい LARGE モデルのほうが值が高いことから、パ ラメータ数の増加は有効であることがわかる。

・広告類似性タスクは AdGLUE 内では高いもの の、日本語の文間類似度タスクである JSTS [10] と比べると低い。単純な比較はできないが、広告ドメインでの表現と一般的に使用される表現 が異なることを示唆しており、より詳細な分析 を必要である。
- 広告効果予測タスクでは Wikipedia のみで学習 された東北大 BERT $_{\text {LARGE }}$ が最も高い值であり、 CommonCrawl で学習された他モデルを上回っ ている。この原因まだ特定できておらず、これ からの課題としたい。

また、今回実験に用いた学習済み言語モデル群は、学習データや単語分割などの条件が統一されていな い。そのため、条件を統一した実験を行い、広告理解に最適な単語分割の粒度を明らかにすることが望 ましいが、この点は今後の課題とする。

## 4 おわりに

本稿では広告言語理解ベンチマーク AdGLUE を 提案し、タスク設計とデータセット構築について説明した。また、各タスクの性質や一般的な言語理解 との違いを分析するため、構築ベンチマークで現在主要なアプローチでベースラインで実験した。実験結果から現状で調查不足な点や未網羅な課題点が発見され、それらを今後の改善につなげていきたい。

## 謝辞

本研究は株式会社サイバーエージェントと奈良先端科学技術大学院大学の共同研究により実施した。

## 参考文献

[1] 株式会社 CARTACOMMUNICATIONS, 株式会社 D2C, 株式会社電通, 株式会社電通デジタル. 2021 年 日本の広告費 インターネット広告媒体費 詳細分析, 2022. https://www. dentsu.co.jp/news/release/2022/0309-010503.html.

[2] Yanwu Yang and Zhai Panyu. Click-Through Rate Prediction in Online Advertising: A Literature Review. Information Processing \& Management, Vol. 59, No. 2, p. 102853, 2022.

[3] Konstantin Golobokov, Junyi Chai, Victor Ye Dong, Mandy Gu, Bingyu Chi, Jie Cao, Yulan Yan, and Yi Liu. DeepGen: Diverse Search Ad Generation and Real-Time Customization. In EMNLP 2022: Industry Track, 2022.

[4] Haonan Li, Yameng Huang, Yeyun Gong, Jian Jiao, Ruofei Zhang, Timothy Baldwin, and Nan Duan. CULG: Commercial Universal Language Generation. In NAACL-HLT 2022: Industry Track, 2022.

[5] Hidetaka Kamigaito, Peinan Zhang, Hiroya Takamura, and Manabu Okumura. An empirical study of generating texts for search engine advertising. In NAACL-HLT 2021: Industry Papers, pp. 255-262, 2021

[6] 村上聡一朗, 星野翔, 張培楠. 広告文自動生成に関する最近 の研究動向. 人工知能学会全国大会論文集, Vol. JSAI2022, pp. 1P5GS601-1P5GS601, 2022.

[7] Taifeng Wang, Jiang Bian, Shusen Liu, Yuyu Zhang, and Tie-Yan Liu. Psychological advertising: Exploring user psychology for click prediction in sponsored search. In KDD 2013, p. 563-571, 2013.

[8] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R. Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In ICLR 2019, 2019.

[9] Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. Superglue: A stickier benchmark for general-purpose language understanding systems. Advances in neural information processing systems, Vol. 32, , 2019.

[10] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese General Language Understanding Evaluation. In LREC 2022, 2022

[11] Sungjoon Park, Jihyung Moon, Sungdong Kim, Won Ik Cho, Ji Yoon Han, Jangwon Park, Chisung Song, Junseong Kim, Youngsook Song, Taehwan Oh, Joohong Lee, Juhyun Oh, Sungwon Lyu, Younghoon Jeong, Inkwon Lee, Sangwoo Seo, Dongjun Lee, Hyunwoo Kim, Myeonghwa Lee, Seongbo Jang, Seungwon Do, Sunkyoung Kim, Kyungtae Lim, Jongwon Lee, Kyumin Park, Jamin Shin, Seonghyun Kim, Lucy Park, Alice Oh, Jung-Woo Ha, and Kyunghyun Cho. KLUE: Korean Language Understanding Evaluation. In NeurIPS 2021: Systems Datasets and Benchmarks Track, 2021.

[12] Liang Xu, Hai Hu, Xuanwei Zhang, Lu Li, Chenjie Cao, Yudong Li, Yechen Xu, Kai Sun, Dian Yu, Cong Yu, Yin Tian, Qianqian Dong, Weitang Liu, Bo Shi, Yiming Cui, Junyi Li, Jun Zeng, Rongzhao Wang, Weijian Xie, Yanting Li, Yina Patterson, Zuoyu Tian, Yiwen Zhang, He Zhou, Shaoweihua Liu, Zhe Zhao, Qipeng Zhao, Cong Yue, Xinrui Zhang, Zhengliang Yang, Kyle Richardson, and Zhenzhong Lan. CLUE: A Chinese language understanding evaluation benchmark. In COLING 2020, pp. 4762-4772, 2020.

[13] Hang Le, Loïc Vial, Jibril Frej, Vincent Segonne, Maximin Coavoux, Benjamin Lecouteux, Alexandre Allauzen, Benoit
Crabbé, Laurent Besacier, and Didier Schwab. FlauBERT: Unsupervised language model pre-training for French. In LREC 2020, pp. 2479-2490, 2020.

[14] Yaobo Liang, Nan Duan, Yeyun Gong, Ning Wu, Fenfei Guo, Weizhen Qi, Ming Gong, Linjun Shou, Daxin Jiang, Guihong Cao, Xiaodong Fan, Ruofei Zhang, Rahul Agrawal, Edward Cui, Sining Wei, Taroon Bharti, Ying Qiao, Jiun-Hung Chen, Winnie Wu, Shuguang Liu, Fan Yang, Daniel Campos, Rangan Majumder, and Ming Zhou. XGLUE: A new benchmark datasetfor cross-lingual pre-training, understanding and generation. In EMNLP 2020, pp. 6008-6018, 2020.

[15] Jianfeng Chi, Wasi Uddin Ahmad, Yuan Tian, and Kai-Wei Chang. PLUE: Language Understanding Evaluation Benchmark for Privacy Policies in English. arXiv preprint arXiv:2212.10011, 2022.

[16] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. Domain-specific language model pretraining for biomedical natural language processing. ACM Transactions on Computing for Healthcare (HEALTH), Vol. 3, No. 1, pp. 1-23, 2021.

[17] Alex Warstadt and Samuel R. Bowman. Grammatical analysis of pretrained sentence encoders with acceptability judgments. CoRR, Vol. abs/1901.03438, , 2019.

[18] Soichiro Murakami, Peinan Zhang, Sho Hoshino, Hidetaka Kamigaito, Hiroya Takamura, and Manabu Okumura. Aspect-based analysis of advertising appeals for search engine advertising. In NAACL-HLT 2022: Industry Track, pp. 69-78. ACL 2022, 2022.

[19] David Freedman, Robert Pisani, and Roger Purves. Statistics (international student edition). Pisani, R. Purves, 4th edn. WW Norton \& Company, New York, 2007

[20] Daniel Cer, Mona Diab, Eneko Agirre, Iñigo Lopez-Gazpio, and Lucia Specia. SemEval-2017 task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. In SemEval2017, pp. 1-14, 2017.

[21] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT 2019, pp. 4171-4186, 2019.

[22] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[23] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In ACL 2020, pp. 8440-8451, 2020.

[24] Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, and Edouard Grave. CCNet: Extracting high quality monolingual datasets from web crawl data. In LREC 2020, pp. 4003-4012, 2020.

[25] Joseph L. Fleiss. Measuring nominal scale agreement among many raters. Psychological Bulletin, Vol. 76, No. 5, pp. 378-382, 1971.

[26] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In ACL 2020: System Demonstrations, pp. $38-45,2020$.

図 2 広告効果予測タスクの品質スコアの分布密度

表 7 広告容認性と広告一貫性のラベル分布

 & 15,099 & 850 & 15,949 & 8,708 & 620 & 9,328 \\

表 8 広告類似性のラベル分布。 $x$ は各値を表す。

表 9 訴求表現認識のラベル付与数

表 10 実験に使用したハイパーパラメータ。複数值があ るものは最適値を学習データのみで探索し選択している。

## A 付録

アノテーションガイドラインアノテーションは図 3 のように 商材と訴求の 2 軸での一致度合いで判断される。村上ら [18] の 訴求タイプの定義に基づいたアノテーションを依頼した。仕様書には各訴求タイプごとに説明文と例文を提示している。商材 や訴求表現が一部存在しない広告文は、それ以降の要素が広告文 に含まれていれば該当表現が存在したとして扱い、含まれてい なければ存在しなかったとして扱う。広告文内の固有名詞など について不明の場合は適宜 Web 検索を許可した。また、データ セットは 3 人の非専門家のアノテータによって作成されており、 2 回の訓練フェーズを経て本番データでアノテートし、アノテー タ間の一致度合いは fleiss' kappa [25] で $\kappa=0.51$ であった。

図 3 アノテーションの方法。左の要素から順に一致して いるごとにスコアが 1 段階ずつ上がっていく。

広告効果予測のマスキング処理 直接的なクライアント名・ サービス名のマスキングを行うことを条件に広告主からデータ セットとして公開することを許可された。例文「[MASK_3] の仕事紹介サイト」ではクライアント名が [MASK_3] に置き換えられ ている。マスキング処理は 2 人のアノテータが手分けして行っ た。マスキング対象となったクライアント・サービス名は 24 個 であり、それぞれ [MASK_0] から [MASK_23] に置換した。

各データセットのラベル分布 表 7 に広告容認性、広告一貫性 のラベル分布、表 8 に広告類似性のラベル分布、表 9 に訴求表現認識のラベル付与数、図 2 に広告効果予測の品質スコアの分布密度を示す。

実験設定の詳細 各学習済み言語モデルの詳細を表 6、実験に用 いたハイパーパラメータを表 10 に示す。表 10 に記載されていな いパラメータは各言語モデルまたは Transformers の標準設定を使用している。実験は Hugging Face 社の Transformers [26] を使用し $た^{5)}$ 。

5）実装は Transformers の AutoModelForSequenceClassification に修正を加えている。Transformers のバージョンは 4.25.1。


# 共想法による話し言葉・書き言葉における修辞機能の特徵 ーテーマとの関係に着目して一

田中 弥生 ${ }^{1}$ 小磯 花絵 1 大武 美保子 ${ }^{2}$
1 国立国語研究所 2 理化学研究所
\{yayoi,koiso\}@ninjal.ac.jp mihoko.otake@ riken.jp

## 概要

高齢者の認知的健康につながる会話支援手法であ る「共想法」による談話を対象とした分析から，談話のテーマによって用いられやすい修辞機能の種類 に差が見られたことを受け，本研究では，同テーマ の小作文においても同種の偏りが見られるかを検討 した. 分析の結果，テーマに深く関わる修辞機能に ついては談話と小作文に共通した偏りが見られたの に対し，語る／書く状況の違いに起因すると見られ る修辞機能の使用の違いも観察された。このことは 結果として共想法にもとづく言語使用により多様な 修辞機能の使用につながる可能性を示唆する.

## 1 はじめに

本発表は，「共想法」における話し言葉と書き言葉での修辞機能の使用の様相をテーマごとに確認 し，これまで話し言葉を対象として行ってきた検討 を書き言葉にも広げて異同を確認するものである。共想法は，高齢者の認知的健康につながる会話を確実に発生させることができるよう工夫を加えた会話支援手法 [1],[2] で， 1 対 1 や少人数のグループで 行う. 設定されたテーマに沿って，準備した写真な どを持ち寄り，参加者全員のもち時間を均等に決 めて，話題提供する時間 (独話)（以下「話題提供」） と，質疑応答する時間 (会話)（以下「質疑応答」）に 分けるという 2 つのルールに沿って行われる. この ように「話す」だけでなく「聞く」「質問する」「答 える」をバランスよく行うという環境において，言語機能を多角的に活用する効果があると考えられて いる。また，複数のテーマで共想法を重ねる中で，特定の修辞機能に偏らないバランスのとれた発話が なされることも重要であると考えられる。

修辞機能の確認には，修辞機能分析の分類法 [3] を用いる。修辞という語は技巧的な意味合いで用い
られるが，本研究では修辞機能を「話し手書き手が 発信する際に，言及する対象である事態や事物，人物等を捉え表現する様態を分類し概念化したもの」 と定義する。修辞機能分析では，修辞機能ととも に，脱文脈度が特定される．文脈や脱文脈という用語は研究分野によって使われる意味が異なるが，本研究では脱文脈度を，「発話がコミュニケーション の場「いま・ここ・わたし」にどの程度依存してい るか」の程度を表す概念とする。

これまで，共想法の中核ともいえる「話題提供」 と「質疑応答」の談話を修辞機能と脱文脈化の観点 から分析してきた [4][5][6]. このうち田中ほか [6] では，「話題提供」と「質疑応答」の分析から，テー マによって修辞機能の使用に特徴があり，設定する テーマを調整することで特定の修辞機能に偏らず多様な修辞機能の使用につながる可能性のあることが 分かった。しかし共想法では，帰宅後にそのテーマ について 200 字程度の要旨（以下「小作文」）にまと めるという課題を実施する場合がある。

そこで本発表では，同じテーマの書き言葉である 「小作文」でも話し言葉と同様の修辞機能が用いら れるか否かを確認する。共想法は，単なる雑談とは 異なる点で認知的健康につながる活動とされてい る. 多様な修辞機能の使用が認知的健康によりつな がるとすれば，グループで実施する「話題提供」等 の談話後に書く「小作文」の修辞機能の使用が「話題提供」などと同じか否かを確認することは，共想法における小作文活動の役割を確認するとともに， テーマ設定の検討への知見となると考えられる。

## 2 分析対象と分析方法

## 2.1 分析対象

本発表では，共想法の 1 グループ 4 名のメンバー による「好きなもの」「近所の名所」「新しく始める

こと」の 3 テーマについての「小作文」と独話の 「話題提供」を分析の対象とする。

## 2.2 分析方法

修辞機能分析の分類法によって，1. 分析単位と なるメッセージ (概ね節) に分割してその種類から分析対象を特定し, 2. 発話機能, 時間要素, 空間要素 を認定し，その組み合わせから，3. 修辞機能の特定 と脱文脈度の確認を行う。

## 2.3 分析対象の特定

分析単位の「メッセージ」は，概放に相当し，「主節」(単文と主節)，「並列」(主節以外で節の順番 を変更することが可能な並列節，従属度の低い従属節),「従属」(従属度の高い従属節),「定型句類」(相桘や定型句，述部がなく復元ができないものや挨拶 など) に分類する．基本的に「主節」と「並列」をこ の後の分類対象とする.

## 2.4 発話機能・時間要素・空間要素の認定

「主節」及び「並列」と認定されたメッセージにつ いて, 発話機能 (提言・命題) ・時間要素 (述部の時制: 現在 - 過去 - 未来意志的 -未来非意志的 - 仮定 .習慣恒久) ・空間要素 (述部に対する主体や主題: 参加 - 状況内 - 状況外・定義)を認定する. 表 1 に示し たように, これらの組み合わせから, 修辞機能と脱文脈化指数が特定される．時間要素は「いま」から の時間的距離を，空間要素は「ここ・わたし」から の空間的距離を示す.いまここわたしに近い修辞機能【行動】の脱文脈化指数が [01] で最も低く, 空間的にも時間的にも遠い【一般化】 [14] が最も高い.

表 1 発話機能・時間要素・空間要素からの修辞機能と脱文脈化指数の特定

 \\

2 名の作業者によってアノテーションを行い，判断が分かれたものは筆者の 1 人が決定した.

## 2.5 予想される特徴

「話題提供」は話し言葉で「小作文」は書き言葉で あるが，聞き手，読み手を想定したものである点は 共通しており，基本的にはテーマに特徴的な修辞機能が共通して用いられることが予想される。その一方で，話し言葉と書き言葉というモードの違いによ り，「話題提供」と「小作文」とでは異なる修辞機能 の使用が見られる可能性も考えられる.

## 3 分析結果

表 2 に，「話題提供」と「小作文」のテーマごとの 修辞機能の出現頻度を示す.

表 2 各テーマの修辞機能と脱文脈化指数の出現頻度

テーマと修辞機能との関係を調べるために，対応分析を行った ${ }^{1)}$. 分析には R の corresp 関数を用い た.「話題提供」の結果を図 1 に「小作文」の結果 を図 2 に示す。

図 1 から「話題提供」の特徴として以下のことが わかる.

・3つのテーマの間に【説明】[13]が位置してお り，いずれのテーマも共起している.

・テーマ「好きなもの」では【自己記述】[07]お よび【観測】 [08] と共起している.

・テーマ「近所の名所」では【状況外回想】[10] と共起している.

・テーマ「新しく始めること」では【状況内回想】[03] と【計画】[04] と共起している.

図 2 から「小作文」の特徴として以下のことがわ

1）出現頻度がほとんど出現しない修辞機能は除外した（「話題提供」では 10 以下，「小作文」では 5 以下).

図 1 「話題提供」の修辞機能の対応分析結果 (図ではテーマを略して＜名所＞のように表示) かる.

・テーマ「好きなもの」では【状況内回想】[03] と【自己記述】[07] と共起している.

・テーマ「近所の名所」では【説明】 [13] と【状況外回想】[10] が共起している.

・テーマ「新しく始めること」では【観測】[08] と共起し，【計画】[04]とも関わりが見られる.

## 4 考察

本節では，テーマによる修辞機能の使用の特徴 と, 話し言葉書き言葉というモードによる違いの 有無を検討する． 3 節でわかった各テーマの話し言葉・書き言葉に特徴的な修辞機能を表 3 にまとめた.

表 3 から，どのテーマにおいても，話し言葉であ る「話題提供」と書き言葉である「小作文」に共通 する修辞機能が見られることが分かる. このこと は，テーマに特徴的な修辞機能がモードによらず見 られることを意味している。その一方で，話し言葉 のみ，あるいは書き言葉のみに見られる機能も存在 していることが分かる. このことは, 共想法の中核

図 2 「小作文」の修辞機能の対応分析結果 (図ではテーマを略して＜名所＞のように表示)

ともいえる「話題提供」等の話し言葉とは異なる修辞機能が「小作文」で用いられ，結果として多様な 修辞機能の使用につながる可能性を示唆する.

以下では，「話題提供」と「小作文」における修辞機能使用の異同について見ていく.

## 4.1 モード共通の修辞機能

いずれのテーマでも，モードに関わらず共通して みられた修辞機能は，そのテーマとの親和性の高い ものであった. 例えばテーマ「好きなもの」では，自分の好きなものを伝えるために自然に使われるで あろう【自己記述】[07]がモードに共通してみら れた。

1)（話題提供）あの，常に持ち歩いてる感じです ね.

〔発話機能：命題 \& 時間要素：習慣恒久(常に持ち歩 いてる感じですね) \&空間要素 : 参加 ( $\phi=$ 私は) ] $\rightarrow$ 【自己記述】[07]

2)（小作文）どこに行くにも自家用車を利用して いる.

〔発話機能: 命題 \& 時間要素: 習慣恒久 (利用して いる) \&空間要素 : 参加 $(\phi=$ 私は $)] \rightarrow$ 【自己記述】[07]

「近所の名所」では，【状況外回想】 [10]と【説明】 [13] が共通してみられた. 名所という個人的ではな いものを表現し，説明する修辞機能である。

3) (話題提供) 近所の方が皆さん, 清正公さんっ

ていってまして，

〔発話機能：命題 \& 時間要素 : 習慣恒久(いってまし

て) \& 空間要素 : 状況外 (近所の方が)】 $\rightarrow$ 【説明】

[13]

4) (小作文）文京区役所のそばに小石川源覚寺と 言うお寺があります.

〔発話機能: 命題 \& 時間要素: 習慣恒久(ありま す) \&空間要素 : 状況外 (お寺が)】 $\rightarrow$ 【説明】[13]

5)（話題提供）お化け屋敷みたいのがありました けど，

〔発話機能：命題 \& 時間要素 : 過去 (ありました) \&空間要素: 状況外 (お化け屋敷みたいのが)】 $\rightarrow$ 【状況外回想】[10]

6) (小作文) 3 歳ごろまで水戸藩邸で暮らしていた

〔発話機能: 命題 \& 時間要素: 過去 (暮らしてい た) \&空間要素: 状況外 $(\phi=$ 徳川慶善公は) $] \rightarrow$【状況外回想】[10]

「新しく始めること」では，決意や予定を表現す る修辞機能として【計画】[04] がモードに関わらず 共通してみられた。

7) (話題提供) 行けるとこは行ってみたいなと 思って，思ってます。

〔発話機能: 命題 \& 時間要素: 未来意志的 (行ってみ たいな) \&空間要素 : 参加 $(\phi=$ 私は) $\rightarrow$ 【計画】 [04]

8) (小作文) 最近始めたボーリングを体力の続く 限り続けようと思いました.

〔発話機能 : 命題 $\&$ 時間要素 : 未来意志的 (続けよ う) \&空間要素 : 参加 $(\phi=$ 私は) $\rightarrow$ 【計画】[04] このように，モードに関わらずテーマによって使用される修辞機能に偏りがあることがわかった．共想法によりできるだけ多様な修辞機能の使用を促す ためには，修辞機能との親和性を想定してテーマを 選ぶことも重要であろう.

## 4.2 「小作文」に特徵的な修辞機能

「小作文」に特徴的であったのは，テーマ「好きな もの」における【状況内回想】 [03] と「新しく始め ること」における【観測】[08] である.「新しく始 めること」の【観測】 [08] は出現頻度は高くないた め，「好きなもの」の【状況内回想】[03]について 確認していく．以下がその例である。

9) (小作文) 同級生の従兄弟と一緒に作ったのが オーディオの始まりだった.〔発話機能：命題 \& 時間要素：過去（始まりだっ た) \&空間要素 : 状況内 (作ったのが) 〕 $\rightarrow$ 【状況内回想】[03]

10) (小作文）父親の形見として約 20 年間金時計を 使っていましたが，

〔発話機能 : 命題 \& 時間要素 : 過去 (使っていまし た) \& 空間要素 : 参加 $(\phi=$ 私は) 〕 $\rightarrow$ 【状況内回想】[03]

自分の好きなものについて述べる際に，そのもの との出会いや，過去の思い出などを語るようであ る.ここで例にあげた「小作文」の筆者の「話題提供」での修辞機能を確認すると，次のように【観測】[08]を使用していることが分かる.

11) (話題提供)この写真はですね，今，毎日使って る，えー，ラジオなんですけども，。

〔発話機能：命題 \& 時間要素：習慣恒久(ラジオな んですけども) \&空間要素 : 状況内 (この写真は) ]

$\rightarrow$ 【観測】[08]

12）（話題提供）まずこちらが腕，腕時計なんです けど，

〔発話機能：命題 \& 時間要素 : 習慣恒久(腕時計なん です) \&空間要素 : 状況内 (こちらが) 〕 $\rightarrow$ 【観測】 [08]

この事例から，「好きなもの」というテーマにおい ては，「話題提供」では目の前で示している写真にう つっているものについて語ることが特徴的で，「小作文」はその目の前の写真という文脈から離れた時空を語ることが特徴的であると言えるだろう。.この ことは，「話題提供」が話し言葉で，「小作文」が書 き言葉であるというモードの違いに関わることでは あるが，グループで写真を見ながら行われる「話題提供」という場の性質と，活動後に帰宅して一人で 書くという場の性質によるものとも考えられる。

## 5 おわりに

共想法における「話題提供」と「小作文」では， モードによらずテーマに共通して使用される修辞機能がある一方，異なるものもあることがわかった. このことは，共想法において話し言葉のみならず書 き言葉の活動も行う事によって多様な修辞機能の使用につながる可能性を示唆している. 本発表では 1 グループ 4 名の 3 テーマによる分析であった. 今後他のグループや他のテーマでの分析を行い，修辞機能の観点からの検討を加えていく予定である.

## 謝辞

本研究は JSPS 科研費 JP19K00588, JP18KT0035, JP20H05022, JP20H05574，JP22H00544，JP22H04872 JST 研究費 JPMJCR20G1, JPMJPF2101, JPMJMS2237 の助成を受けたものです. 共想法に参加頂いた方に 感謝申し上げます。また，国立国語研究所のプロ ジェクト「多世代会話コーパスに基づく話し言葉の 総合的研究」によるものです.

## 参考文献

[1] M. Otake-Matsuura, S. Tokunaga, K. Watanabe, M. S. Abe, T. Sekiguchi, H Sugimoto, T Kishimoto, and T Kudo. Cognitive Intervention Through Photo-Integrated Conversation Moderated by Robots (PICMOR) Program: A Randomized Controlled Trial. Frontiers in Robotics and AI, Vol. 8, , 2021. Publisher: Frontiers.

[2] 大武美保子. 介護に役立つ共想法: 認知症の予防と回復のための新しいコミュニケーション. 中央法規出版, 2012.

[3] 田中弥生. 修辞機能と脱文脈化の観点からの日本語談話分析. 博士論文, 東京大学大学院総合文化研究科, 2022.

[4] 田中弥生 - 小磯花絵 - 大武美保子. 共想法談話の脱文脈化観点からの検討. 言語処理学会第 27 回年次大会発表論文集, pp. 569-573, 2021.

[5] 田中弥生・小磯花絵 ・ 大武美保子. 脱文脈化の観点か ら見た共想法に基づく高齢者談話の分析. 国立国語研究所論集, Vol. 22, pp. 137-155, 2022.

[6] 田中弥生・小磯花絵・大武美保子. 共想法談話のテー マと修辞機能の関連についての分析. 言語処理学会第 28 回年次大会発表論文集, pp. 1439-1443, 2022.


# 要件に対する効果の生成を経由した法律分野の自然言語推論

チェジョンミン 1,2 本多右京 $1,2,3$ 渡辺太郎 1 乾健太郎 2,4
1 奈良先端科学技術大学院大学 2 理化学研究所
3 株式会社サイバーエージェント 4 東北大学
choi.jungmin.ce6@is.naist.jp, honda_ukyo@cyberagent.co.jp
taro@is.naist.jp, kentaro.inui@tohoku.ac.jp,

## 概要

法律分野における自然言語推論（NLI）は，前提 （法律）と仮説（法的問題に関する記述）の間の含意関係を予測するタスクである。一般的な NLIに対 する現在の state-of-the-art である，事前学習済みの 言語モデルを用いた手法は，法律分野においてはそ れほど有効でない。これは、前提と仮説の抽象度の 違い，ならびに法律文の特殊性によるものと考えら れる. 本研究では，法律文が，原則として要件と効果によって構成されるという特性に着目し，NLI の タスクをより容易なサブタスクに分解することに よってこの問題に対処し，既存手法を上回る性能を 得た.

## 1 はじめに

自然言語推論 (NLI) とは，前提文と仮説文のペア が与えられたとき，それらの関係を，前提が仮説を 包含する場合は含意, 仮説が前提に反する場合は矛盾，どちらの関係も成立しない場合は中立 (neutral) に分類するものであり, 自然言語処理の中心的な課題の一つであるといえる。法律分野における，この タスクの最も自然な形態は，「法律問題に関するあ る言明が法律に照らして正しいかどうかを判定す る」というものであるが，これは法曹資格を審査す る司法試験の一部を構成するものであり，法律家の 仕事を自動化するシステムの開発のためには不可欠 といえる.法律分野に特有の NLI の難しさは，アノテーショ ンのコストが高いためにデータが不足しがちで，モ デルに法的概念の意味や具体例を学習させにくいと いうところにある.

最近の研究では, Transformerベースの事前学習済 み言語モデルによって，前提と仮説のベクトル表現 を求め，これを線形変換によって分類するものが主流になっている $[1,2]$.

われわれは，法律分野の文章の特性を利用した，根本的に異なるアプローチを提案する。まず，法律文は要件と効果で構成される，という点に注目す る. 法律に関する仮説も，要件に対応する箇所（以下，単に要件部という）と効果に対応する箇所（以下，単に効果部という）で構成される. 人間が法律文を現実の状況に適用する際には，1）事実に適合す る要件を法律文から選び，2) その効果を特定し，事実にあてはめて具体的な効果部を導出する，という 過程を辿る。そこでわれわれは，モデルの学習にお いても，このように多段階の手順を踏むことで学習 が容易になるという仮説を立てた。すなわち，タス クを，1) 仮説の要件部に対応する法律要件を特定， 2) 法律効果を仮説の設定にあてはめて，仮説が前提 に含意されるような効果部を生成，3) 生成された効果部と仮説の効果部を比較，というサブタスクに分割して解く.

また，要件と効果の区別を考慮したデータ拡張も 行う.

提案手法が有効であると考えられる根拠は，以下 のようにまとめられる．11)生成された効果部と仮説 の効果部に焦点を絞ることで比較が容易になる，2)条文の論理構造に基づいた擬似データ作成によっ て, 複数のルールから, 状況に適合するルールを選 ぶという問題にモデルを習熟させることができる， 3) 事前学習済みの言語モデルが保有している世界知識（腕時計は動産にあたる，など抽象的な概念と具体物の関係）を使うことができる。

さらに，生成された結果部は，モデルの予測の説明ととらえることもできる。なぜなら，モデルは仮説の要件部を受けて，法律に照らして適切と考え られる効果部を出力するよう学習しているからで ある。

本研究では, 日本の司法試験問題を元に作成され

[前提] 占有者がその占有を奪われたときは、占有回収の訴 えにより、その物の返還及び損害の賠償を請求することが できる。占有回収の訴えは、占有を侵奪した者の特定承継人に対して提起することができない。ただし、その承継人 が侵奪の事実を知っていたときは、この限りでない。 [仮説] B が海外出張のため 1 週間大学を留守にし ていた間に，C が甲を盗み出して現に所持している 場合， Bは，Cに対し，占有回収の訴えにより甲の返還を 求めることができる。 [Label] 1 (含意)

図 1 法律 NLI の例. COLIEE[3] タスク 4 より抜粋. 要件 は太字+青字，効果は下線+赤字で示している。

た日本語の法律 NLI データセットで実験を行った. その結果, 最先端の手法やベースラインと比較し て，大幅な性能の向上を確認した。

## 2 先行研究

法律分野の NLIにおいては，前提は法律、たとえ ば条文の部分集合であり，仮説はその法律に関連す る状況を記述し, その状況の法的帰結について述べ るものである．仮説が前提によって含意されている かどうか，すなわち，仮説が法律に照らして正しい かどうかを予測することが具体的なタスクとなる。

一般的な NLI に関して大きな成功を収めた， BERT[4] など事前学習モデルによるベクトル表現を 分類するという手法は，そのままでは，法律分野の データに関してそれほどの性能を示さないことが報告されている [3]. その原因は, 法律文書に使われ る抽象的な語彙と，一般的な語彙の乘離により，モ デルが事前学習した知識を適用することが難しい こと, 法律分野のデータが不足していることにある と考えられる. 近年の法律分野の NLI 研究におい ては，ベクトル表現の分類という一般的な枠組みを 踏襲しつつ，上述の問題を解決するための補助的な 工夫を行った手法が主流になっている. 現時点での state-of-the-art である [1] は，ドメインデータを補う ため，条文をそれ自身とぺアとして擬似正例，条文 とその否定形をぺアとして擬似負例を作成する。 [2] は，シソーラスを用い，各単語に対応する意味的力 テゴリ情報を付与し, 抽象的な概念と具体物の関連 をモデルに明示的に与えることで，前提と仮説の抽象度の差を緩和している. これらの手法は，いずれ も一定の有効性を示しているものの, 正解率は一般的な NLI データには遠く及ばず，改善の余地が大き いものとみられる.

図 2 提案手法の概要. (1) 前提 (一つまたは複数の条文) に含まれる要件から, 仮説の要件部と合致するものを同定する。(2) その要件に対応する効果を，仮説の設定に 合わせて書き換え，出力する。(2) 生成された効果と，仮説の効果部を比較し，含意例か矛盾例に分類する.

図 3 手法の手順. (1) 仮説を, 要件部と効果部に分ける. (2) encoder-decoder モデルを, 前提と仮説の要件部から導 かれる順当な効果部を出力するよう訓練する。 (3) encoder モデルと分類器を, 生成された効果と仮説の効果部を入力したとき，含意例であれば 1 を，矛盾例であれば 0 を 出力するよう訓練する.

## 3 提案手法

われわれは，効果部の生成と分類という二段階か ら成る手法を提案する。 提案手法の概要を図 2 に示 す.まず，仮説の要件部を受けて，前提から導かれ る順当な効果部を生成する。すなわち，もし含意例 であれば仮説の効果部となるべき系列を出力する. そして，生成された効果部が，実際の仮説の効果部 と一致するか否かを分類する。具体的には，以下の ようにモデルを学習させることを目指す.1）前提 に含まれる複数の要件から，仮説の要件部に合致す るものを見つける，2）前提の中から対応する効果 を見つけ、仮説の状況に当てはめて具体的な効果を 生成する、3）実際の仮説の効果と比較する. 手法 の詳細な手順については、図 3 を参照されたい.

## 3.1 効果部の生成

生成モデル $P(c \mid p, h)$ は, 前提 $p$ と仮説の要件部 $h$ を与えれ，そこから導かれる効果部 $\hat{c}$ を生成す る.まず、各仮説を要件部と効果部に分割する. 厳
密な分割のルールを同定することはできないが，検証データでは、ほとんどの場合、最後のカンマの後 のどこかで分割されていることがわかる. そこで、最後のカンマ以降の全てのトークンで分割し, それ ぞれを例として扱う，というヒューリスティックを 用いる. 仮説中にカンマが存在しない少数の場合に おいては, 最後から 8 番目のトークンから分割を開始する。

## 3.2 分類

生成の学習が終わった後, 全ての例に関してモデ ルに効果部を生成させる. そして, 生成された効果部と仮説の効果部を連結して一つの系列とし, べク トル表現に変換したものを，線形変換による分類器 で含意と矛盾に分類する.より形式的にいえば， $\hat{c}$ と $c$ という 2 つの入力が与えられたとき, 分類モデ ル $P(y \mid c, c)$ によってラベル $y$ を予測する. これが可能であると考えられる根拠は次のようにまとめら れる. モデルは, 生成の学習の際, 含意例のみを用 いているため, どのような例についても，「含意例 として妥当な効果部」を生成するはずである. した がって，実際に含意例であれば生成された効果部と 仮説の効果部が類似し, 矛盾例であれば相違してい ると期待される. 短い系列である効果部同士を比較 するだけで分類できるため, 問題をより簡単な形に 落とし込めているといえる。

## 3.3 データ拡張

提案手法は，事前学習済み言語モデルの知識を利用することで，データ不足の影響を緩和することを 想定しているが, 法律分野で使用される語彙は通常 の語彙とは大きく異なるため，ドメインデータをな るべく多く学習しなければならないことに変わりは ない. そこで，条文から擬似的な事例を作成する。 [1] は，各条文を個別の規範に分割し、各規範を前提，それ自身を仮説にして含意例を作成し，他方で 各規範を前提，その否定を仮説として矛盾を作成す る.この擬似データの目的は, モデルに文とその否定の違いを理解させることにあるが，われわれはさ らに，モデルに複数の規範から仮説に対応する一つ の規範を選んで効果部を生成させるように擬似デー タを設計する. ここでは，2つの要件効果ペアが接続詞によって連結された条文に注目する.1の例で 説明する．前提中の条文の一つは，「占有回収の訴 えは、 $[. .$.$] 提起することができない。」と，「その承$継人が [...] この限りでない。」という二つの規範か ら成る.この条文を前提とし，規範の内の一つ，た とえば，「占有回収の訴えは、 $[. .$.$] 提起することがで$ きない。」を仮説として含意例ができる. 他方で，こ の条文と，規範の効果「占有を侵奪した者の特定承継人に対して提起することができない。」と「占有 を侵奪した者の特定承継人に対して提起することが できる。(「この限りでない」を書き下した1) $)$ 」を入 れ替え，「占有回収の訴えは、占有を侵奪した者の 特定承継人に対して提起することができる。」とし た偽の規範は矛盾例を成す.もう一方の規範を使っ ても同様のことがいえる.2)

## 4 実験

COLIEE ワークショップ [3] において提供された 法律 NLI データセットを使用する. ${ }^{3)}$ 4) . 図 1 のよう に，前提は一つまたは複数の民法の条文であり，仮説は前提に照らして真偽が定まる一つの言明であ る. ラベルは含意または矛盾の二值であり，中立は 存在しないことに注意されたい. 元の訓練データと テストデータは，それぞれ 806 例と 81 例から成る.本実験では，元の訓練データを 81 例の検証データ と 725 例の訓練データにランダムに分割した. 回答欄の指示などのノイズを除去すると，前提および仮説を連結した平均の文長は約 120 トークンである. 680 例の擬似データは，テキスト生成と分類学習の 両方に使用する。

COLIEE にしたがい，正解率を主たる評価指標と して採用する.また，分析のために精度，再現率， F1 スコアも併記する。

生成モデルとして，一般的な日本語コーパスで事前学習した T5 モデル゙)を使用する。

以下の手法を試す。まず，これまでの state-of-theart である [1]を再現し，これを“Aoki”と表記する。

1）この書き下しは，[1] の提供する辞書を使用して行った.

2）われわれの手法では，このように，「ただし」を含む条文 しかデータ拡張に使用しないため，作成される擬似例の数は 680 となり，[1]の 3,351 例を大きく下回る．しかし，前提中 に複数の規範が含まれ，仮説に直接関係するのはそのうちの 一つ，という性質は法律 NLI特有であり，このような例を集中的に学習することが特に重要であると考えられることか ら，本研究ではこれを採用した.

3）データセットは 2021 年度コンペティションのタスク 4 に 使用されたものである

4） COLIEE データセットでは，人物は A，B のように記号で 表されている，日本語の T5 トークナイザはこの記号を語彙 として持っていないため，人物名をよくある日本の姓に置き 換えた。

5) https://github.com/sonoisa/t5-japanese
表 1 テストデータにおける手法別のスコア. スコアは 10 回の試行の平均. カッコ内は標準偏差. Aoki は [1] の 報告, Aoki† は本論文著者らによる再現

また，[1] と同じアーキテクチャで，擬似データの み提案手法に置き換えた実験を行い，これを“Aoki w our aug"とする. “T5 baseline 1” は, [5] の手法に したがい，前提と仮説を単に連結して T5 に入力 し，含意であれば「はい」，矛盾であれば「いいえ」 を出力するように訓練するという手法である。“T5 baseline 2" は, 生成の学習をスキップし, 前提と仮説を直接 T5 の encoder に入力することを除けば，提案手法と同じである. “T5 baseline 1,2 ” に関しても， われわれのデータ拡張手法と [1] のデータ拡張手法 を試し，それぞれ，“w Aoki’s aug”, “w our aug”を付 け加えて示す. 最後に, 提案手法とほぼ同じだが,分類段階のエンコーダーとして, T5 ではなくBERT を用いる手法である “TG w BERT” の実験を行う.

提案手法は “TG (Ours)” と表記し，データ拡張を 全く行わないものを “TG w $\backslash$ o aug”, [1] の擬似デー タを使ったものを “TG w Aoki's aug”と表記する。 ハイパーパラメータについての詳細は B に示す.

## 4.1 結果

表 1 は 10 回の試行の平均値と標準偏差を示す.提案手法は, 他の手法と比較して, 最も高い精度と 正解率を達成した。“T" と “T5 baseline 2”では提案手法のデータ拡張の方が効果が高く, “Aoki”では [1] のデータ拡張の方が高かった. “T5 baseline 1” で はデータ拡張による有意な差は見られなかった. 提案手法のデータ拡張は, 要件と効果という法律文書 の論理構造をモデルが学習するよう設計されてい
るため，要件に対する効果の生成を行う提案手法の アーキテクチャと組み合わさったとき最も効果を発揮するのは期待通りの結果である。他の手法では,前提に含まれる規範のうちどれが仮説に関連してい るかを明示的には学習しないため，提案手法のデー 夕拡張が奏功しなかったと考えられる。

いずれのデータ拡張を採用するにせよ，提案手法 は “T5 baseline 1” と“2”を上回る性能を見せ，提案手法の成功が $\mathrm{T} 5$ に負うものではないことを示した. “T5 w BERT” は “Aoki” より高い性能を示している.前者が後者と違う点は, 前提・仮説の代わりに生成 された効果部と仮説の効果部を BERT に入力するこ とのみであり, このことから, 生成によって効果部 の比較に問題を収斂させることが有効であることが 確認できる.

## 4.2 分析

表 2 に示した例のように, 提案手法の生成は期待 に沿った挙動を見せている. 38 件の含意例のうち，細部まで仮説と意味的に等しい効果部を生成するこ とに成功した例は 27 件であった. 失敗した 11 件に おいては，1）前提と仮説の間の概念をの関連性を認識するために外部知識を必要とする，例えば，所有物を贈り物として受け取った人は「特別承継人」で ある等，2) 仮説中に 3 人以上の人物が登場する，と いう特徴が見られた. 43 件の矛盾例のうち, モデル が仮説の効果部と明らかに相違する効果部を生成す ることに成功した例は 35 件あった. 失敗した 8 件 においては，1) 法律用語としても日常用語としても 使われるがその意味が全く異なる語彙が含まれる， 2) 要件部が，逆接または順接の接続詞で終わってお り，接続詞に正しく続くような効果部を生成するよ う誘導されてしまう, という特徵が見られた。

## 5 おわりに

本研究では，仮説を要件部と効果部に分割し，前提に基づき，要件部に対する効果部を生成すること を経由して，含意関係を予測する手法を開発した。 これは予測の性能を向上させるとともに，予測のた めの説明を提供するものであり，NLIにとどまらず，質問応答タスクへの発展の可能性を示している.

## 謝辞

貴重なデータを提供していただいた COLIEE 運営者の皆様に感謝いたします. 実験に関しては Tohoku NLP グループの皆様に有益な助言をいただ きました. 感謝いたします.

## 参考文献

[1] Yasuhiro Aoki, Masaharu Yoshioka, and Youta Suzuki. Data-augmentation method for bert-based legal textual entailment systems in coliee statute law task. The Review of Socionetwork Strategies, Vol. 16, pp. 175-196, 2022.

[2] Mi-Young Kim and Juliano Rabelo. Bm 25 and transformerbased legal information extraction and entailment. In ICAIL/COLIEE, 2021.

[3] Juliano Rabelo, Randy Goebel, Yoshinobu Kano, Mi-Young Kim, Masaharu Yoshioka, and Ken Satoh. Summary of the competition on legal information extraction/entailment (coliee) 2021. In ICAIL/COLIEE, 2021.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[6] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

## A 生成の結果

 & Fの承諾が必要である。 & 矛盾 \\

## B ハイパーパラメータ

TG， TGw $\backslash$ o aug， TG w Aoki’s aug に関しては，最適化手法として Adam[6]，損失関数として cross-entropy loss を用い る. 学習率は，生成では 1e-4，分類では 1e-5 と設定する。 バッチサイズは生成では 16, 分類では 32 である.

T5 baseline 1 に関しては，最適化手法として Adam，損失関数として cross-entropy lossを用いる。学習率は，1e-4. バッ チサイズは 64.

T5 baseline 2，T5+BERT に関しては，最適化手法としては Adam，損失関数として cross-entropy loss を用いる. 学習率 は，生成では 1e-4，分類では 1e-5 と設定する。 バッチサイズは，生成では 16，分類では 32 である.

[1] の再現では, [1] で報告されている通りのハイパーパラメータを用いた. 最適化手法は Adam, 損失関数は cross-entropy loss, 学習率は 1e-5, バッチサイズは 12 である.

## C アンサンブルによる予測

[1] はアンサンブルでの予測の結果を報告しているため, 本研究でも同様のアンサンブルを行う. 10 回の試行を行い, その全ての組み合わせに関して，ロジットの算術平均を取ることでアンサンブルを作る。検証データで予測の正解率が 上位 3 位のアンサンブルを ensemble $1 ， 2 ， 3$ と名づけ，テストデータでの正解率を示す. アンサンブルに関しても TG が最も高い性能を示している.

表 3