# 日本語 CCGBank は言語学的に妥当か

戸次大介 ${ }^{1}$ 谷中瞳 ${ }^{2}$
1 お茶の水女子大学 2 東京大学
bekki@is.ocha.ac.jp hyanaka@is.s.u-tokyo.ac.jp

## 概要

日本語 CCGBank は、日本語 CCG パーザの開発に おいて学習・評価データとして利用されている $\mathrm{CCG}$ ツリーバンクである。しかし、日本語 CCGBank は 係り受けツリーバンクからの自動変換によって生成 されたものであり、その言語的妥当性については検証が必要である。本論文では、日本語 CCGBank に おける受身・使役の分析に焦点を当て、それが意味解析システム ccg2lambda の意味合成と相まって、特 に使役受身文において経験的に誤った予測をもたら すことを示す。メタレベルでは、本論文はツリーバ ンクを言語学的分析と見做して反証する試みであ り、その方法論の例示である。

## 1 日本語 CCG ツリーバンク

ツリーバンクからパーザを構築する、という工程 は 1990 年代の確率的 CFG パーザの時代に確立さ れたものである。しかし、当時はこのようなアプ ローチは言語学としての形式統語論には適用でき ない、と考えられていた。その理由は「形式統語論 は柔軟性に欠け、実際のテキストの構造を網羅的に 記述することはできない」と信じられていたから である。この誤解は、組合せ範疇文法 (Combinatory Categorial Grammar, CCG: Ades and Steedman (1982); Steedman $(1996,2000))$ の理論的発展、および英語 CCGBank (Hockenmaier and Steedman, 2005) 等の CCG ツリーバンクの登場によって払拭されることとなっ た。その後の C\&C parser (Clark and Curran, 2007) や EasyCCG (Lewis and Steedman, 2014) 等の CCG パーザ の開発は、形式統語論の理論である CCGのための パーザが、確率的 $\mathrm{CFG}$ パーザに準ずる工程によっ てツリーバンクから生成可能である、ということを 明らかにした点において印象的な出来事であった。
この流れは、日本語 $\mathrm{CCG}$ パーザの研究にも影響を与えた。Bekki (2010)によって、日本語の統語構造も CCG による網羅的な記述が可能であるこ とが一定以上の水準において示されたことをうけ て、Uematsu et al. (2013) による日本語 CCGBank が 構築され、続いて Jigg (Noji and Miyao, 2016), depccg (Yoshikawa et al., 2017) といった日本語 CCG パーザ が開発されるに至った。現在の研究環境では、高速 で頑健な複数の CCG パーザが利用可能であり、そ の精度はニューラル言語モデルの発達によってさら なる改善をみている。

日本語 CCGBank の開発における難点として、当

たことが挙げられる1)。CCGbank (Hockenmaier and Steedman, 2005) が CFG ツリーバンクである Penn Treebank から生成されたのに対し、日本語 CCGBank 開発当時に利用可能であった日本語のための大規模ツリーバンクは、係り受けコーパスである京都大学テキストコーパス2)しかなかったため、Uematsu et al. (2013) では係り受け構造から CCG 統語構造へ の自動変換を試みたのである。

ところが $\mathrm{CCG}$ の統語構造は一般に、項構造や統語素性など、 $\mathrm{CFG}$ 木と比較しても精緻な情報を持っ ている。したがって、CFG よりもさらに情報量の 少ない係り受け木は、多くの言語学的情報で埋め合 わせなければならない。この補完は自明ではなく、 そのために ad-hoc な規則を随所で措定する必要が あった。たとえば、受身/使役の動詞性接尾語「れ （る）」「せ（る）」を、統語範疇 $S \backslash S$ を持つ語として

1）近年では、日本語の大規模な CFG ツリーバンクが NINJAL parsed corpus of modern Japanese  の一部として利用可能であり、それを用いて範疇文法 の一種である $\mathrm{AB}$ 文法のツリーバンクを生成する試みも行わ れている (Kubota et al., 2020)。しかし、日本語 CCGBank の何 が経験的に問題であるのか、なぜ問題なのか、という問いに対 して踏み込んだ議論はなされていない。Universal Dependency のような係り受けツリーバンクから新たな CCGBankを生成 する試み Tran and Miyao (2022) も進行中であり、上述の問い に答えることの重要性は益々高まっている。

2) https://github.com/ku-nlp/KyotoCorpus

図 1 Bekki (2010) における (1a)(2a) の統語構造

解析したのはその一例である。これがなぜ誤りとい えるのかについては次節以降で論じる。

CCGBank は CCG パーザの学習・評価データとし て機能するため、CCG パーザは CCGBank の分析の 誤りを継承する。その意味において、CCGBank に おける統語的分析の妥当性は、CCG パーザの（精度 に表れない）性能の上限を定める。しかし、ツリー バンクに含まれる統語構造の妥当性に関しては、自然言語処理は語る術を持たない。一方、理論言語学 の観点からの研究はこれまでほとんど行われてい ない。

そのような背景から、本論文では、日本語 CCGBank が示す統語構造を理論言語学の観点から 批判的に検討することを試みる。具体的には、日本語 CCG (Bekki, 2010) と CCGBank が異なる分析を与 えている「受動文」と「使役文」に着目し、日本語 CCGBank の分析にどのような経験的誤りがあるの か、その一例を明らかにする。また、このような研究の持つ意義についても第 4 節で論じる。

## 2 日本語における受動文と使役文

まずは日本語の受動文・使役文にまつわる経験的 な事実と、それらが日本語 CCG (Bekki, 2010) にお いてどのように説明されているかを簡潔に解説す る3)。受動文の主節におけるガ格名詞句は埋め込み 節におけるニ格またはヨ格名詞句に対応する。この ことを推論の形式で表せば (1c)のようになる。

(1) a. 太郎が次郎に褒められた。

b. 次郎が太郎を褒めた。
c. $(1 a) \Longrightarrow(1 b)$

次に、使役文の主節におけるニ格もしくはヨ格名詞句は埋め込み節におけるガ格名詞句に対応する。 こちらも推論の形式で表せば (2c)のようになる。

(2) a. 太郎が次郎を走らせた。

3）受動文については、間接受動文（いわゆる迷惑受身）と直接受動文の二種類が存在する (Bekki, 2010, pp.222-226) が、こ こでは直接受動文のみについて論じる。この限定は議論に影響しない。 b. 次郎が走った。
c. $(2 \mathrm{a}) \Longrightarrow(2 \mathrm{~b})$

Bekki (2010) に依れば、文 (1a)(2a) の統語構造は 図 1 である。ここで意味の理論として依存型意味論 (Dependent type semantics, DTS: Bekki (2014); Bekki and Mineshima (2017); Bekki (2021))を採用し4) 、語/句の意味表示がそれぞれ以下のようであると仮定 する。

(3) 太郎が： $\lambda P . P(\mathbf{t})$

次郎 $\{$ に $\}: \lambda P . P(\mathbf{j})$

褒めら： $\lambda y x k .(e: \mathbf{e}) \times \operatorname{praise}(e, x, y) \times k(e)$

走ら： $\lambda x k .(e: \mathbf{e}) \times \mathbf{r u n}(e, x) \times k(e)$

た: id

すると、受動態の動詞性接尾語「れ（る）」および 使役態の動詞性接尾語「せ（る）」の意味表示が、受動文・使役文の分析の中核となる。

(4) $れ: \lambda P y x . P x y$

(5) せ: גPyxk.Py $(\lambda e . \operatorname{cause}(e, x) \times k e)$

これらの動詞性接尾語は第一項である埋め込み節 の項と自らの項の対応関係を「把握」している。す なわち受動文においては、主節の二格名詞句が埋め 込み節のガ格名詞句に、主節のガ格名詞句が埋め込 み節のヲ格または二格名詞句に意味的に対応する。継続 $k$ は意味合成の最終段階で $\lambda e$.Tによって埋め られる5)と仮定すると、意味合成の結果、文(1a)(2a) の意味表示はそれぞれ以下のようになる。

(6) $\quad(e: \mathbf{e}) \times \operatorname{praise}(e, \mathbf{j}, \mathbf{t}) \times T$

(7) $(e: \mathbf{e}) \times \operatorname{run}(e, \mathbf{j}) \times \operatorname{cause}(e, \mathbf{t}) \times \mathrm{T}$

4）ここでは Bekki (2010) で採用されている型付き動的論理に 代えてDTS を採用しているが、さらにイベント意味論と意味合成を両立する手法として標準的な技法である継続渡し形式 (continuation-passing style)を採用している。一方、簡便のため テンスの分析は省略しており「た」の意味は恒等関数である。 このような理論設定は、本論での論点を意味合成から推論ま で明らかにするという目的のもとではもっとも簡略化された 設定の一つである。

5） $\mathrm{W}$ は証明項を一つだけ持つ枚挙型 (enumeration type) で「真」 の役割を果たす。

図 2 CCGBank における (1a)(2a) の統語構造

一方、文 (1b)(2b) の意味表示は以下のようになる。

(8) $(e: \mathbf{e}) \times \operatorname{praise}(e, \mathbf{j}, \mathbf{t}) \times \mathrm{T}$

(9) $(e: \mathbf{e}) \times \mathbf{r u n}(e, \mathbf{j}) \times \mathrm{T}$

(6)(7) はそれぞれ (8)(9)を含意するので、推論 (1c)(2c)はいずれも正しく予測される。

この分析の予測の妥当性は受動・使役の接尾語「れ（る）」「せ（る）」を含む様々な構文についての 推論データによって検証することができるが、端的 な例は使役受身である。日本語においては (10a)の ように、使役と受身は接続することができる。

(10) a. 次郎が太郎に走らせられた。

b.太郎が次郎を走らせた。
c. $(10 a) \Longrightarrow(10 b)$

文 (10a)は文 $(2 a)(=(10 b))$ の受動化であり、(10b) を含意する。「走らせられ」の意味表示は、「走ら」 の意味表示に「せ」(5)を関数適用したのちに「れ」 (4)を関数適用したもので、以下のようになる。

(11) $\lambda y x k .(e: \mathbf{e}) \times \operatorname{run}(e, x) \times \operatorname{cause}(e, y) \times k e$

したがって文 (10a) 意味表示は

(12) $\quad(e: \mathbf{e}) \times \operatorname{run}(e, \mathbf{j}) \times \operatorname{cause}(e, \mathbf{t}) \times T$

となるが、これは (7) そのものであるから、(2a)を、 したがって (2b) を含意することが正しく予測され る。このように、日本語 CCG の受動文・使役文の 分析は、統語構造から意味表示、そして推論に至る 過程を「れ（る）」「せ（る）」が現れる広範囲の構文 において正しく予測・説明する。

## 3 CCGBank と $S \backslash S$ 分析

日本語 CCGBankでは、太郎が次郎に褒められた、 の統語構造は図 2 のようになっており、受身の動詞性接尾語「れ (る)」も使役の動詞性接尾語「せ (る)」もともに統語範疇が $S \backslash S$ の語として分析され ている。

日本語 CCGBank 自体は意味論の分析を持たない が、日本語 $\mathrm{CCG}$ のための意味論的分析として、含意関係システム ccg2lambda (Mineshima et al., 2015) に おいて採用されている高階論理による意味表示とそ の意味合成過程が知られている。ccg2lambda の分析 は、日本語 CCG パーザである Jigg または depccg の 出力する統語構造に依存しており、それらのパーザ の出力は日本語 CCGBank の記述に依存している。

まず、ガヲ動詞である「褒め（る）」の意味表示 は、以下のようになっている。

(13) $\lambda Q_{2} Q_{1} C_{1} C_{2} K \cdot Q_{1}\left(\lambda x_{1} \cdot Q_{2}\left(\lambda x_{2}\right.\right.$.

$\exists e\left(K(\right.$ praise,$\left.\left.\left.e) \& C_{1}\left(x_{1}, e, \mathbf{A g}\right) \& C_{2}\left(x_{2}, e, \mathbf{T h}\right)\right)\right)\right)$

この意味表示は、標準的な二項動詞の意味表示、 もしくは前節の意味表示と比べても、かなり複雑である。その理由は、ccg2lambda では、意味役割である $\mathbf{A g}$ と $e, x_{1}$ の間の関係、および $\mathbf{T h}$ と $e, x_{2}$ の間の関係を相対化して $C_{1}, C_{2}$ という関数 の変数によって表しているからである。 $Q_{2}$ に Э格名詞句、 $Q_{1}$ にガ格名詞句を取って統語範疇 $S$ となったのち、トップレベルで機械的に $\lambda E S . S(\lambda x e T .(T(e)=x), \lambda x e T .(T(e)=x), i d)$ を適用す る。これによって、 $C_{1}$ と $C_{2}$ に $\lambda x e T .(T(e)=x)$ が代入されて $\operatorname{Ag}(e)=x, \mathbf{T h}(e)=y$ が指定され、また $K$ に id が代入されるのである。「次郎が」の意味表示 を $\lambda P . P(\mathbf{j})$ ，「太郎を」の意味表示を $\lambda P . P(\mathbf{t})$ とすれ ば、能動文 (1b) の意味表示は、

(14) $\exists e(\operatorname{praise}(e) \& \mathbf{A g}(e)=\mathbf{j} \& \mathbf{T h}(e)=\mathbf{t})$

となる。次に、受動文 (1a) の意味表示を考える。 ccg2lambdaにおいては「れ（る）」の意味表示は意味 テンプレート6)によって以下のように与えられる。

(15) $\lambda Q_{2} Q_{1} C_{1} C_{2} K . V\left(Q_{2}, Q_{1}\right.$,

$
\left.\lambda x_{1} e T . C_{1}\left(x_{1}, e, \mathbf{T h}\right), \lambda x_{2} e T . C_{2}\left(x_{2}, e, \mathbf{A g}\right), K\right)
$

$V$ には隣接する他動詞「褒めら」の意味表示が与え られる。よって「褒められ」の意味表示は以下のよ うになる。

6）ccg2lambda においては「れ（る）」の場合に見られるよう に、意味テンプレートの適用によって意味表示の型が統語範疇と準同型ではなくなる場合がある。このこと自体への反論 はありうるが、ここでは本題ではないので深入りしない。

(16)

$\lambda Q_{2} Q_{1} C_{1} C_{2} K \cdot Q_{1}\left(\lambda x_{1} \cdot Q_{2}\left(\lambda x_{2}\right.\right.$.

$\exists e\left(K(\right.$ praise,$\left.\left.\left.e) \& C_{1}\left(x_{1}, e, \mathbf{T h}\right) \& C_{2}\left(x_{2}, e, \mathbf{A g}\right)\right)\right)\right)$

すなわち、(15)において $C_{1}, C_{2}$ が受け取っている意味役割を捨て、 $C_{1}$ には $\mathbf{T h}$ を、 $C_{2}$ には $\mathbf{A g}$ を与え直すの である。これに $\lambda P . P(\mathbf{t})$ (太郎を)、 $\lambda P . P(\mathbf{j})$ (次郎が)、 そして $\lambda S . S(\lambda x e T .(T(e)=x), \lambda x e T .(T(e)=x), i d)$ を 順次適用することで、(1b) は以下のようになる。

## (17) $\exists e(\boldsymbol{p r a i s e(e) \& \mathbf{A g}(e)=\mathbf{j} \& \mathbf{T h}(e)=\mathbf{t})$}

これはまさに (14) と同一であるから、(1c) の推論が 正しく予測されることになる。同様に、使役の「せ (る)」についても、

(18)

$
\begin{aligned}
& \lambda Q_{2} Q_{1} C_{1} C_{2} K \cdot V\left(Q_{2}, Q_{1},\right. \\
& \left.\lambda x_{1} e T . C_{1}\left(x_{1}, e, \text { Cause }\right), \lambda x_{2} e T . C_{2}\left(x_{2}, e, \mathbf{A g}\right), K\right)
\end{aligned}
$

のような意味テンプレートを与えれば、まず「走ら せ」の意味表示は以下のようになる。

$
\begin{aligned}
& \lambda Q_{2} Q_{1} C_{1} C_{2} K \cdot Q_{1}\left(\lambda x _ { 1 } \cdot Q _ { 2 } \left(\lambda x_{2}\right.\right. \\
& \left.\left.\exists e\left(K(\text { run }, e) \& C_{1}\left(x_{1}, e, \text { Cause }\right) \& C_{2}\left(x_{2}, e, \mathbf{A g}\right)\right)\right)\right)
\end{aligned}
$

したがって、(2b) は以下のようになる。7)

(20) $\exists e(\operatorname{run}(e) \& \mathbf{C a u s e}(e)=\mathbf{t} \& \boldsymbol{A g}(e)=\mathbf{j})$

これは(2a) すなわち $\exists e(\boldsymbol{r u n}(e) \& \mathbf{A g}(e)=\mathbf{j})$ を含意するので、(2c)についても正しく予測される。

ところが、この個別のケースについては正しく見 える分析が、使役受身について誤った予測を生み出 す。「走らせられ」の意味表示は、ccg2lambda では (19)に に15)を適用することによって、

(21) $\lambda Q_{2} Q_{1} C_{1} C_{2} K \cdot Q_{1}\left(\lambda x_{1} \cdot Q_{2}\left(\lambda x_{2}\right.\right.$. $\left.\left.\exists e\left(K(\mathbf{r u n}, e) \& C_{1}\left(x_{1}, e, \mathbf{T h}\right) \& C_{2}\left(x_{2}, e, \mathbf{A g}\right)\right)\right)\right)$ となるが、これは「走ら」に直接受身の「れ（る）」 を適用したもの、すなわち「走られ」の意味表示と 同一になってしまっている。ここからは、(10b)= (2a) も、(2b)も、いずれも含意しない。

この誤りの原因は、「れ（る）」が第一項に対して Thを、第二項に対して Agを与える、と大域的に 決め打ちしていることにある。使役受身の例が示す ことは、「れ（る）」は第一項を、埋め込み節の用言 の第二項と対応付け、第二項を、埋め込み節の用言 の第一項と対応付ける、という以外の捉え方が許さ

れないということである。この標準的分析が要求す ることは、埋め込み節の用言の第一、第二項が「れ （る）」の意味表示において操作可能であることであ る。このことは統語論において「れ（る）」の取るべ き第一項の統語範疇が $S \backslash N P \backslash N P$ であることを要求 するのである。

## 4 おわりに

日本語 CCGBank の受動文と使役文の分析、すな わち「れ（る）」と「せ（る）」が統語範疇 $S \backslash S$ を持 つ、という統語的分析は、使役受身文において誤っ た予測を生み出すことを示した。これは、日本語 CCGBank の分析が (1c)(2c)(10c) のような受身・使役 が関わる推論を説明しうる意味論的分析を、現時点 で持たないということである。第 2 節で述べた日本語 CCG における分析がこれらの推論をすべて正し く予測する以上、修正の責任は CCGBank 側にある。

本論文の議論には、二つの目的がある。一つ目 は、ツリーバンクを必ずしも言語学的分析とみなし ていない言語学コミュニティへの呼びかけである。 ツリーバンクの記述に対して、言語学的分析に対す るのと同じように反例を提示する、という過程が、 ツリーバンクと言語学双方の健全性にとって重要な 研究活動であると考える。

二つ目は、ツリーバンクの記述を言語学コミュニ ティにおいて合意済みとみなしてしまうことへの警鐘である。そもそも理論言語学においては理論は提示・反証・修正の繰り返しであるから、どの時点に おいても「合意済みの理論」というものは存在しな い、という当たり前の事実を再確認しておきたい。

本論文はツリーバンクを言語学的分析と見做して 反証する試みであり、そのような方法論の例示でも ある。今後、理論言語学のコミュニティから、本論文で行われたようなツリーバンク内の分析への反論 が試みられ、それを受けたツリーバンク開発者によ る分析の修正、それに対するさらなる反論、という 研究の流れが現れることを期待したい。

謝辞 本研究の一部は、JST CREST JPMJCR20D2、 JSPS 科研費 JP20K19868 の支援を受けたもので ある。

## 参考文献

Ades, A. E. and M. J. Steedman. (1982) "On the Order of Words", Linguistics and Philosophy 4, pp.517-558.

Bekki, D. (2010) Nihongo-Bunpoo-no Keisiki-Riron - Katuyootaikei, Toogohantyuu, Imigoosei - (trans. 'Formal Japanese Grammar: the conjugation system, categorial syntax, and compositional semantics'). Tokyo, Kuroshio Publisher.

Bekki, D. (2014) "Representing Anaphora with Dependent Types", In the Proceedings of N. Asher and S. V. Soloviev (eds.): Logical Aspects of Computational Linguistics (8th international conference (LACL2014), Toulouse, France, June 2014 Proceedings), LNCS 8535. pp.14-29, Springer, Heiderburg.

Bekki, D. (2021) "Proof-Theoretic Analysis of Weak Crossover", In the Proceedings of Logic and Engineering of Natural Language Semantics 18 (LENLS18). pp.75-88.

Bekki, D. and K. Mineshima. (2017) "Context-passing and Underspecification in Dependent Type Semantics", In: Modern Perspectives in Type Theoretical Semantics, Studies of Linguistics and Philosophy. Springer, pp.1141.

Clark, S. and J. R. Curran. (2007) "Widecoverage efficient statistical parsing with CCG and log-linear models", Computational Linguistics 33(4), pp.493-552.

Hockenmaier, J. and M. J. Steedman. (2005) "CCGbank LDC2005T13". Linguistic Data Consortium.

Kubota, Y., K. Mineshima, N. Hayashi, and S. Okano. (2020) "Development of a General-Purpose Categorial Grammar Treebank", In the Proceedings of the 12th Language Resources and Evaluation Conference. pp.5195-5201, European Language Resources Association.

Lewis, M. and M. Steedman. (2014) "A* CCG Parsing with a Supertag-factored Model", In the Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). pp.990-1000, Association of Computational Linguistics.

Mineshima, K., P. Martínez-Gómez, Y. Miyao, and D. Bekki. (2015) "Higher-order logical inference with compositional semantics", In the Proceedings of Conference on Empirical Methods in Natural Language Pro- cessing (EMNLP2015). pp.2055-2061.

Noji, H. and Y. Miyao. (2016) "Jigg: A framework for an easy natural language processing pipeline", In the Proceedings of the 54th Association of Computational Linguistics. pp.103-108.

Steedman, M. J. (1996) Surface Structure and Interpretation. Cambridge, The MIT Press.

Steedman, M. J. (2000) The Syntactic Process (Language, Speech, and Communication). Cambridge, The MIT Press.

Tran, T.-A. and Y. Miyao. (2022) "Development of Multilingual CCG Treebank via Universal Dependencies Conversion", In the Proceedings of the 13th Conference on Language Resource and Evaluation (LREC2022). pp.5220-5233.

Uematsu, S., T. Matsuzaki, H. Hanaoka, Y. Miyao, and H. Mima. (2013) "Integrating Multiple Dependency Corpora for Inducing Wide-coverage Japanese CCG Resources", In the Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, Vol. 1. pp.1042-1051, Association for Computational Linguistics.

Yoshikawa, M., H. Noji, and Y. Matsumoto. (2017) "A* CCG Parsing with a Supertag and Dependency Factored Model", In the Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (ACL2017). pp.277-287.


# チョムスキー階層とニューラル言語モデル

染谷大河 吉田遼 中石海 大関洋平
東京大学
\{taiga98-0809, yoshiryo0617, nakaishi-kai787, oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

近年、自然言語の文を用いて、言語モデルがどの ような言語現象を把握できるかが盛んに検証されて いる。また、形式言語を用いて、言語モデルがチョ ムスキー階層のどのクラスに属する言語までを認識 できるのかも検証されてきている。しかしながら、自然言語を用いた研究では、同種の統語構造を持っ た言語現象を抽象化して統一的に扱うという観点が 久けていたために、語彙の影響と統語構造の影響を 切り分けることが十分にできておらず、また形式言語を用いた研究では、終端記号の種類数が最低限の 場合しか扱われておらず、自然言語のように多様な 終端記号が存在する場合でも同様に認識できるの かという点は検討されてこなかった。そこで本研究 では、自然言語を抽象化し語彙の影響を排除したモ デルとして多様な終端記号を持つ形式言語を考え、 ニューラル言語モデルがこのような言語をどの程度認識できるか実験する。

## 1 導入

ニューラル言語モデルはどの程度統語的に複雑 な言語現象を捉えられるのだろうか。近年、ニュー ラル言語モデルの成功に伴い、その統語的評価が 盛んに行われている $[1,2,3,4]$ 。これら統語的評価 に関する先行研究では、実際に自然言語の文を用 いてニューラル言語モデルがどのような言語現象 を把握できるのかが検証されており、例えば、こ れら研究の先駆けとなった Linzen et al. (2016) [1] で は、再帰的ニューラルネットワーク (Recurrent Neural Network, RNN; Elman, 1990 [5]) をべースとしたモデ ルである Long Short-Term Memory (LSTM; Hochreiter and Schmidhuber, 1997 [6]) 言語モデルが英語におけ る主語と動詞の一致を捉えられることが示されてい る。また、より近年では、様々なタスクで世界最高性能を達成している Transformer [7] をべースとした モデルである GPT-2 [8] 言語モデルが、LSTM 言語
モデルよりも高い精度で主語と動詞の一致・島の制約などの様々な言語現象を捉えられること [9] も示 されている。しかしながら、これらの研究では、主 にニューラル言語モデルが個別の言語現象に対して 汎化できるかが検証されるにとどまり、同種の統語構造を持つ言語現象を統一的に扱うという観点が欠 けていた。そのため、統語構造の複雑さが本質的に どのように結果に影響しているかが不明瞭だった。 また、検証には実際の自然言語を用いているため、語彙の影響を排除できず、言語現象を統語的な複雑性に注目して比較することができないという方法論的な限界があった。

一方、先行研究では、ニューラル言語モデルがど の程度統語的に複雑な「言語」を認識できるのか も盛んに議論されてきている $[10,11,12,13,14,15$, $16,17,18,19,20,21,22,23]$ 。これらの先行研究では、 ニューラル言語モデルがチョムスキー階層のどのク ラスに属する形式言語までを認識できるのかが、数理的・実験的に検証されてきており、例えば、RNN やLSTM はいくつかの文脈自由言語を認識できるこ と $[24,25,15]$ や、Transformer はチョムスキー階層に うまく位置付けられないこと $[17,19]$ などが示唆さ れている。しかしながら、これらの研究は、最低限 の数の終端記号を持つ形式言語での検証にとどまっ ており、同クラスに属する言語であっても、自然言語のように多様な終端記号を持つ場合に、ニューラ ル言語モデルが認識できるとは限らないという限界 があった。

そこで本研究では、自然言語を多様な終端記号を 持つ形式言語に抽象化し、語彙の影響を排除して統語的な複雑さに注目することで、ニューラル言語 モデルがどの程度統語的に複雑な言語現象を捉え られるのかを検証する。具体的には、英語におけ る複合語などの文法現象を $A^{n} B^{n}$ 型の形式言語、ド イツ語における依存関係などの文法現象を Nested Dependency 型の形式言語、Swiss German における依存関係などの文法現象を Cross Serial Dependency 型

の形式言語に抽象化し、LSTM・GPT-2 言語モデル のそれぞれがこれらのうちどの程度複雑なものまで 認識できるのかを検証する。

検証の結果、LSTM 言語モデルは $A^{n} B^{n}$ 型の言語現象については認識することができ、高い精度で学習の際よりも長い文字列に汎化することが可能だ が、Nested Dependency 型や Cross Serial Dependency 型の形式言語はほとんど全く汎化できないことがわ かった。一方 GPT-2 言語モデルは、いずれの言語に おいても、LSTM が $A^{n} B^{n}$ 型に対して達成したほど 高い精度での汎化は不可能であった。また、いずれ の言語モデル、形式言語においても、終端記号の種類を増やしていくと精度が下がる傾向が見られた。

## 2 実験

## 2.1 扱う形式言語の種類

本研究で扱う言語はいずれも以下のように定義 される：有限個の非終端記号の集合 $V_{\text {non. }}$ を与える。各非終端記号 $A \in V_{\text {non. }}$. 対して、 $T$ 個の終端記号 $a_{A, 0}, \cdots, a_{A, T}$ を定義する。非終端記号のみからなる 有限長の文字列の集合 $L_{\text {non. }} \subseteq V_{\text {non. }}^{*}$ を決める。 $L_{\text {non }}$. に含まれる任意の文字列をとり、それを構成する各非終端記号 $A$ を $a_{A, 0}, \cdots, a_{A, T}$ のいずれかに書き換 える。ここで、文字列に同じ非終端記号が複数個含 まれる場合、それらを異なる終端記号に書き換えて も良い。こうして得られる終端記号のみの文字列全体の集合を言語 $L$ とする。言語 $L$ は、非終端記号の 集合 $V_{\text {non. }}$ 、各非終端記号に対応する終端記号の個数 $T$ 、そして非終端記号の文字列の集合 $L_{\text {non. }}$ を与える と決まる。

以下、本研究で扱う言語を順に導入し、それぞれ の Chomsky 階層における位置付け、および自然言語 との対応について述べる。

## 2.1.1 $A^{n B^{n}$ 型}

$
\begin{aligned}
V_{\text {non. }} & =\{A, B\} \\
L_{\text {non. }} & =\left.\{A^{n} B^{n}: n \geq 0\right.\}
\end{aligned}
$

で定義される文脈自由言語。この言語に対応する自然言語 $T \geq 2$ の例としては、オランダ語などに見ら れる (I)のような構造が挙げられる [26]。

ブラケット内には NP（名詞句）と V (動詞) が 3 つずつ含まれ、NP の個数と V の個数が一致して
いる必要がある。一方、各 NP と V のあいだに文法的な対応関係は特に要求されない。これは、書 き換え規則を $A \rightarrow$ Marie|Pieter|Arabisch $\mid \cdots$ および $B \rightarrow$ laat|zien|schrijven| $\cdots$ とした場合に対応する。

( I ) dass Jan [Marie Pieter Arabisch laat zien schrijven] that Jan Marie Pieter Arabic let see write 'that Jan let Marie see Pieter write Arabic'

## 2.1.2 Nested Dependency 型

$
\begin{aligned}
V_{\text {non. }} & =\left.\{A_{0}, \cdots, A_{N-1}, B_{0}, \cdots, B_{N-1}\right.\}, \\
L_{\text {non. }} & =\left.\{A_{i_{0}} \cdots A_{i_{n-1}} B_{i_{n-1}} \cdots B_{i_{0}}:\right. \\
& \left.n \geq 0 ; 0 \leq i_{0}, \cdots, i_{n-1} \leq N-1\right.\}
\end{aligned}
$

で定義される文脈自由言語。ここで、同じ添字 $i$ を もつ $A_{i}$ と $B_{i}$ は文法的な対応関係を持つことを表 すと考えると、自然言語では英語の以下の (II) の ような構造と対応する [27]。この構造では複数名詞句 the cats と複数動詞 bark が対応し、単数名詞句 the dog と単数動詞 chases がそれぞれ対応して いる。このように文法数（単数/複数）を持つ動詞 の数とそれに対応する文法数を持つ名詞句の数が 一致する。よって、非終端記号を $A_{0}=\mathrm{V}_{\text {単数, }}, A_{1}=$ $\mathrm{V}_{\text {複数, }}, \cdots 、 B_{0}=\mathrm{NP}_{\text {单数, }}, B_{1}=\mathrm{NP}_{\text {複数 }}, \cdots$ とし、終端記号への書き換え規則を $\mathrm{V}_{\text {単数 }} \rightarrow$ chases $\mid$ barks $\mid \cdots$ 、 $\mathrm{V}_{\text {複数 }} \rightarrow$ chase $\mid$ bark $\mid \cdots 、 \mathrm{NP}_{\text {单数 }} \rightarrow$ the cat $\mid$ the $\operatorname{dog} \mid \cdots$ 、 $\mathrm{NP}_{\text {複数 }} \rightarrow$ the cats $\mid$ the dogs $\mid \cdots$ とした場合に対応 する。

(II) the cats that the dog chases bark

## 2.1.3 Cross Serial Dependency 型

$
\begin{aligned}
& V_{\text {non. }}=\left.\{A_{0}, \cdots, A_{N-1}, B_{0}, \cdots, B_{N-1}\right.\}, \\
& L_{\text {non. }}=\left.\{A_{i_{0}} \cdots A_{i_{n-1}} B_{i_{0}} \cdots B_{i_{n-1}}:\right. \\
& \left.n \geq 0 ; 0 \leq i_{0}, \cdots, i_{n-1} \leq N-1\right.\}
\end{aligned}
$

で定義される文脈依存言語 [28]。ここで、同じ 添字 $i$ をもつ $A_{i}$ と $B_{i}$ は文法的な対応関係を持 つことを表すと考えると、自然言語では、Swiss German における以下の (III) のような構造に対応 する [29]。この構造では、与格動詞 hälfe は与格名詞句 em Hans を、対格動詞 aastriiche が対格名詞句 es huus を項としている。このように文法格を持つ
動詞の数とそれに対応する格を持つ名詞句の数 が一致する。さらに、対応する動詞と名詞句は格 が一致していなければならない。よって、非終端記号を $A_{0}=\mathrm{V}_{\text {与格 }}, A_{1}=\mathrm{V}_{\text {対格 }}, \cdots 、 B_{0}=\mathrm{NP}_{\text {与格, }}, B_{1}=$ $\mathrm{NP}_{\text {対格 }} \cdots$ とし、終端記号への書き換え規則を $\mathrm{V}_{\text {与格 }} \rightarrow$ hälfe $\mid \cdots \mathrm{V}_{\text {対格 }} \rightarrow$ aastriiche $\mid \cdots \mathrm{NP}_{\text {与格 }} \rightarrow$ em Hans|em huus| $\cdots$ 、 $\mathrm{NP}_{\text {対格 }} \rightarrow$ de Hans|es huus $\mid \cdots$ とした場合に対応する。

(III) ... mer em Hans es huus hälfe aastriiche ... we Hans the house help paint.

'... we help Hans paint the hause'

## 2.2 データ生成

本研究では、Nested Dependency 型と Cross Serial Dependency 型については $V_{\text {non. }}=$ $\left.\{A_{0}, \cdots, A_{4}, B_{0}, \cdots, B_{4}\right.\}$ の場合のみで検証する。そ して、各形式言語について $T=2,5,10,100,1000,5000$ の 6 つの場合を考え、合計で 18 種類の形式言語を 言語モデルが認識できるかを検証する。

以上の 18 種類の各文法によって生成される文 のうち、長さが $l \sim U(4,30)$ である文を 50,000 文 サンプリングして作成し、そのうち 40,000 文を学習用データ、 5,000 文ずつを検証・テスト用データ とした。また、各文法から生成される文のうち、長さが $l \sim U(31,100)$ である文を 5,000 文をサン プリングし、「汎化テスト用データ」とした。こ れは、言語モデルが学習時よりも長い文字列に 対してその文字列が当該言語に含まれるかどう かの判定を正しくできるかどうかを検証するた めのものである。最後に、以上により生成した 55,000 文の正例それぞれに対して以下の方法で対応する負例を作成して追加し、各形式言語それ ぞれに対して合計 110,000 文ずつからなるデータ セットを生成した: $A^{n} B^{n}$ 型の形式言語について は、それぞれの正例に含まれる B の数 $\mathrm{n}$ を U(min_sequence_length,max_sequence_length) に変化させることによって負例を生成した。ただし、 $n=m$ となった場合は $n \neq m$ となるまでサンプリン グを繰り返した。また、ここでmin_sequence_length と max_sequence_length は各データに含まれる文 の長さの最小値と最大值である。また、Nested Dependency 型と Cross Serial Dependency 型の形式言語については、それぞれの正例に含まれる $\mathrm{N}$ 個 の $B_{n}(0 \leq n \leq N-1)$ のうち、 $l \sim U(1, N-1)$ 個を $B_{m}(0 \leq m \leq N-1, m \neq n)$ に入れ替えることで負例 を生成した。本研究では、データセット内の各文に ついてそれが正例であるか負例であるかの二值分類 を行うタスクを考え、その正解率で言語モデルの性能を評価する。

## 2.3 言語モデル

本研究では、前節で作成されたデータを用いて二種類のニューラル言語モデルの性能を評価する。

LSTM 本研究では、PyTorch ${ }^{1}$ で実装された、単語埋め込み次元が 256 、隠れ層の次元が 256 の 1 層 LSTM 言語モデル [6]を使用する。

GPT-2 本研究では、 Huggingface ${ }^{2}$ により実装さ れた 3 層、4ヘッド、単語埋め込み次元が 128 の GPT-2 言語モデル [8]を使用する。

言語モデルの学習 LSTM 言語モデルは、最適化 アルゴリズムとして SGDを用いた。GPT-2 言語モ デルは、最適化アルゴリズムとして AdamW [30]を 用い、その他のハイパーパラメータはデフォルト值 を用いた。両言語モデルともにバッチサイズは 512 で 15 エポック訓練し、検証用データでの損失が最 も小さくなった時点のモデルを評価した。

## 3 結果と考察

表 1 は各言語モデルの各タスクに対する汎化テス ト用データでの正解率である。先行研究 [23] に倣 い、各タスクに対する正解率は、異なる 10 のラン ダムシード、異なる 3 つの学習率を用いて学習され た言語モデルの正解率の最大値とし、正解率が $90 \%$以上となった場合に言語モデルがそのタスクを解く ことができたと判断することとする。

LSTM 言語モデルは、終端記号の種類が最低限の 場合、即ち $T=1$ の場合には、 $A^{n} B^{n}$ 型のタスクを解 くことができるとことが先行研究で実験的に確かめ られていたが [13]、本研究でも、LSTM 言語モデルは $A^{n} B^{n}$ 型のタスクを $T \leq 100$ の場合で解くことが可能だと示された。これは、先行研究で確かめられて いた予想が、一定程度まで終端記号を増やしていっ ても成り立つことを示唆している。一方で、Nested Dependency 型や Cross Serial Dependency 型のタスク の正解率は $A^{n} B^{n}$ 型の場合のように一貫して高くな く、LSTM がこれらの統語構造を必ずしも認識でき ないことを示唆する。特に、Nested dependency 型は

表 1 言語モデルの各タスクに対する汎化テスト用データ での正解率。正解率は、異なる 10 のランダムシード、異 なる 3 つの学習率を用いて学習された言語モデルの正解率の最大値をとったものである。正解率が $90 \%$ を超えた ものを太字で示している。

$A^{n} B^{n}$ 型と同じ文脈自由言語であり、LSTM が前者 は認識できず後者は認識できることは、Chomsky 階層において同じ階層に分類される形式言語であっ ても、ある程度終端記号を増やしても認識できる ものと、少ない終端記号数であっても認識できな いものがあることを意味する。同様に、Cross Serial Dependency 型は文脈依存言語であるが、LSTM がこ れを終端記号数にかかわらず認識できないことは、 LSTM が $A^{n} B^{n} C^{n}$ 型の文脈依存言語を捉えることが できるとする先行研究 [31] の結果と合わせると、 Chomsky 階層において同じ階層に分類される形式言語であっても、終端記号数に応じて認識できるもの と認識できないものがあることを意味する。

GPT-2 言語モデルは、Nested Dependency 型の一部 $(T=5,10)$ や Cross Serial Dependency 型の一部 $(T=10)$ で $90 \%$ を超える正解率を達成しているもの の、全ての場合で一貫してタスクを解くことはでき なかった。これは、高い表現力を持つため言語現象 の大局的なパターンを捉えることはできるが、生起回数を数えることや複雑な依存関係のルールを捉 えることが必ずしもできていないことを示唆して いると考えられる。一方で、言語モデルが自然言語にある個別の言語現象を理解できているかを自然言語を用いて検証した先行研究では、GPT-2 など
Transformer ベースの言語モデルが LSTM などの再帰的ニューラルネットワーク言語モデルよりも幅広 い言語現象を理解できることが示唆されている [9]。 このことは一見すると本研究の結果と整合性が無 いように思われるが、以下のように説明できる。こ れらの先行研究では、言語モデルが個別の言語現象 をどの程度理解しているかを各論的に評価できる。 しかし、言語モデルが自然言語の背後にある統語構造を認識せずに、語彙的なヒューリスティックを用 いてタスクを解いている可能性を排除できない。一方、本研究では、統語構造に注目して語彙的要素を 抽象化した形式言語を対象としており、これが本研究の結果との相違を生じさせている可能性がある。

また、いずれの言語モデル、タスクについても、終端記号の種類を増やすと正解率は下がる傾向が見 られた。[13] や [23] などの先行研究では、終端記号 の種類数が最低限であるような形式言語のみに対 して言語モデルの性能が評価されていたが、本研究 のこの結果は、これらの研究で認識可能とされてい た形式言語が、終端記号の種類を増やすと認識不可能になる可能性を示唆する。自然言語では、終端記号に対応する単語などの種類は非常に多様である。従って、言語モデルが最低限の終端記号しか持たな い形式言語を認識できたとしても、それは多様な終端記号を持つ自然言語を認識できることを意味しな い。この意味で、本研究は、終端記号の種類数の影響を検証する必要性を提起する。

## 4 結論

本研究では、多様な終端記号への書き換え規則も 含め自然言語を形式言語化し、ニューラル言語モデ ルがどの程度統語的に複雑な言語現象を捉えられ るのかを検証した。検証の結果、LSTM 言語モデル は $A^{n} B^{n}$ 型の言語現象を終端記号数が少ない場合 に認識することができるが、Nested Dependency 型や Cross Serial Dependency 型の形式言語は終端記号数 に関係なくほとんど全く汎化することができなかっ た。一方 GPT-2 言語モデルは、いずれの言語におい ても、LSTM が $A^{n} B^{n}$ 型に対して達成したほど高い 精度での汎化は不可能であった。また、いずれの場合でも終端記号の種類を増やしていくと精度が下が る傾向が見られた。対象となる言語クラスの範囲を 拡大することは今後の課題としたい。

## 謝辞

本研究は JST さきがけ JPMJPR21C2 の支援を受け たものである。

## 参考文献

[1] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the ability of LSTMs to learn Syntax-Sensitive dependencies. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 521-535, December 2016.

[2] Rebecca Marvin and Tal Linzen. Targeted syntactic evaluation of language models. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1192-1202, Brussels, Belgium, 2018. Association for Computational Linguistics.

[3] Ethan Wilcox, Roger Levy, Takashi Morita, and Richard Futrell. What do RNN language models learn about Filler-Gap dependencies? In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 211-221, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[4] Richard Futrell, Ethan Wilcox, Takashi Morita, Peng Qian, Miguel Ballesteros, and Roger Levy. Neural language models as psycholinguistic subjects: Representations of syntactic state. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 32-42, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Jeffrey L Elman. Finding structure in time. Cogn. Sci., Vol. 14, No. 2, pp. 179-211, March 1990.

[6] S Hochreiter and J Schmidhuber. Long short-term memory. Neural Comput., Vol. 9, No. 8, pp. 1735-1780, November 1997.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L Ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I Guyon, U V Luxburg, S Bengio, H Wallach, R Fergus, S Vishwanathan, and R Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008. Curran Associates, Inc., 2017.

[8] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[9] Alex Warstadt, Alicia Parrish, Haokun Liu, Anhad Mohananey, Wei Peng, Sheng-Fu Wang, and Samuel R Bowman. BLiMP: The benchmark of linguistic minimal pairs for english. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 377-392, December 2020.

[10] Janet Wiles and Jeffrey Elman. Learning to count without a counter: A case study of dynamics and activation landscapes in recurrent networks. 061995 .

[11] Paul Rodriguez and Janet Wiles. Recurrent neural networks can learn to implement symbol-sensitive counting. Vol. 10, , 1997.

[12] Luzi Sennhauser and Robert Berwick. Evaluating the ability of LSTMs to learn context-free grammars. pp. 115-124, November 2018 .

[13] Gail Weiss, Yoav Goldberg, and Eran Yahav. On the practical computational power of finite precision RNNs for language recognition. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 740-745, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[14] Samuel A. Korsky and Robert C. Berwick. On the computational power of rnns. CoRR, Vol. abs/1906.06349, , 2019.

[15] Mirac Suzgun, Yonatan Belinkov, Stuart Shieber, and Sebastian
Gehrmann. LSTM networks can perform dynamic counting. In Proceedings of the Workshop on Deep Learning and Formal Languages: Building Bridges, pp. 44-54, Florence, August 2019. Association for Computational Linguistics.

[16] William Merrill. Sequential neural networks as automata. CoRR, Vol. abs/1906.01615, , 2019

[17] Satwik Bhattamishra, Kabir Ahuja, and Navin Goyal. On the Ability and Limitations of Transformers to Recognize Formal Languages. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7096-7116, Online, November 2020. Association for Computational Linguistics.

[18] Javid Ebrahimi, Dhruv Gelda, and Wei Zhang. How can selfattention networks recognize dyck-n languages? CoRR, Vol. abs/2010.04303, , 2020.

[19] Michael Hahn. Theoretical limitations of self-attention in neural sequence models. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 156-171, 2020.

[20] William Merrill, Gail Weiss, Yoav Goldberg, Roy Schwartz, Noah A. Smith, and Eran Yahav. A formal hierarchy of RNN architectures. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 443-459, Online, July 2020. Association for Computational Linguistics.

[21] Joshua Ackerman and George V. Cybenko. A survey of neural networks and formal languages. ArXiv, Vol. abs/2006.01338, 2020.

[22] Gail Weiss, Yoav Goldberg, and Eran Yahav. Thinking like transformers, 2021.

[23] Grégoire Delétang, Anian Ruoss, Jordi Grau-Moya, Tim Genewein, Li Kevin Wenliang, Elliot Catt, Marcus Hutter, Shane Legg, and Pedro A. Ortega. Neural networks and the chomsky hierarchy. 2022.

[24] Paul Rodriguez and Janet Wiles. Recurrent neural networks can learn to implement symbol-sensitive counting. In M. Jordan, M. Kearns, and S. Solla, editors, Advances in Neural Information Processing Systems, Vol. 10. MIT Press, 1997.

[25] Natalia Skachkova, Thomas Trost, and Dietrich Klakow. Closing brackets with recurrent neural networks. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 232-239, Brussels, Belgium, November 2018. Association for Computational Linguistics

[26] Geoffrey K. Pullum and Gerald Gazdar. Natural languages and context-free languages. Linguistics and Philosophy, Vol. 4, No. 4, pp. 471-504, 1982.

[27] Hana Filip. LIN 69321 LIN6932 Topics in Computational Linguistics Lecture 7. n.d.

[28] Alfred V Aho and Jeffrey D Ullman. The Theory of Parsing, Translation and Compiling. Parsing, vol. I. Prentice-Hall, Englewood Cliffs, 1972

[29] Stuart M. Shieber. Evidence against the context-freeness of natural language. Linguistics and Philosophy, Vol. 8, No. 3, pp. 333343, 1985.

[30] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net, 2019

[31] F.A. Gers and E. Schmidhuber. LSTM recurrent networks learn simple context-free and context-sensitive languages. IEEE Transactions on Neural Networks, Vol. 12, No. 6, pp. 1333-1340, January 2001. Conference Name: IEEE Transactions on Neural Networks.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 証明支援系 Coqを用いた 依存型意味論の照応解析と推論の実装の試み

小斉平ひな 高橋優太 戸次大介
お茶の水女子大学
\{g1820513, takahashi.yuta, bekki\}@is.ocha.ac.jp

## 概要

含意関係認識に対するアプローチの一つに，証明支援系 $\operatorname{Coq}$ を用いるアプローチがある. タクティク を用いて自動証明手続きを定義することで，さまざ まなテキストに対する含意関係認識タスクがこの アプローチにより研究されてきた. その一方で，照応解析の結果を含意関係認識の中で用いるという 種類のタスクを, Coq が提供するタクティクのみを 用いて行う手法はこれまでに提案されていない。こ うした手法への一歩として, 本研究では, 照応解析 を Coqの refineタクティクによって行い，得られ た結果を用いてテキストから仮説を導く手法を提案 する。

## 1 はじめに

含意関係認識 (Recognizing Textual Entailment) と は，テキスト $T$ が仮説 $H$ を含意するかどうかを判定するタスクであり, 質問応答 (question answering) など，さまざまな応用をもつ。このタスクに対して は，大規模なデータを用いてニューラルモデルに含意関係を学習させる深層学習アプローチ $[1,2]$, 定理証明器を用いる論理推論アプローチ $[3,4]$, およ びこの二つを組み合わせるハイブリッドアプローチ

[5]がある.

論理推論アプローチではさまざまな定理証明器 が用いられており，その中には定理証明器 Coq [6] を用いるものがある $[7,8,9,10,11,12,13]$. 証明支援系 (proof assistants) とも呼ばれる Coqを用いるこ のアプローチには以下の利点がある。まず，依存型理論 (dependent type theory) に基づくCoqでは, 自然言語の文がもつ複雑な意味構造を捉えることがで きる. さらに，証明状態を遷移させることのできる 「タクティク」と呼ばれるものを合成することで， ユーザー定義の自動証明手続きを定式化することが
できる. 以上に加え，論理推論アプローチ一般がも つ利点として，含意関係認識タスクにおける判定結果の解釈・判定手続きの修正が容易である点も挙げ られる。これまで，様相表現・一般化量化子などを 含むさまざまなテキストに対する含意関係認識タス クが Coqアプローチにより研究されてきた。

その一方で，照応解析 (anaphora resolution) の結果 を含意関係認識の中で用いるという二重タスクを， $\operatorname{Coq}$ が提供するタクティクのみを用いて行う手法は これまでに提案されていない，照応解析とは，英語 を例にとれば，テキストの中にある “it” ゃ “he”など の照応表現の指示対象を指定するタスクであり，自然言語処理や形式意味論といった分野で研究されて いる. 次の例は，照応表現を含むテキストに関する 含意関係認識を行うには照応解析が必要であること を示している [14, p. 46]:

A man entered. He whistled. $\Longrightarrow$ A man whistled.

照応解析に続く含意関係認識のためのタクティ ク整備へ向けて，本研究ではまず，照応解析を Coq タクティクによって行う手法を定式化する. この目的のために，自然言語意味論のフレームワークであ る依存型意味論 (Dependent Type Semantics, DTS) を Coq で実装する．DTS では未指定項 (underspecified terms) を用いた照応解析手続き $[15,16,17]$ が定式化 されており, 本研究の基本アイデアは, このDTS 照応解析手続きを Coq が提供する refine タクティク によりシミュレートするというものである. 次に，照応解析の結果，テキストが仮説を含意する場合 は，その含意関係を Coq 内の定理として証明する手法を提案する。

## 2 先行研究

DTS における照応解析手続きに対しては，Haskell による実装 $[18,19,20,21]$ がすでに与えられてい る. DTS においては，照応解析手続きは型検査アル

ゴリズムが呼び出す証明探索手続きとして捉えら れ，これらのアルゴリズムおよび証明探索手続きが Haskell を用いて実装されている. それに対して本研究では，DTS における型検査アルゴリズムを Coq における型検査アルゴリズムに還元し, 照応解析に 対応する証明探索手続きは Coq タクティクにより与 える。

含意関係認識に対するこれまでの Coqアプローチ の中では, $[12,13]$ が, 照応解析の結果を含意関係認識の中で用いるという二重タスクを扱っている。こ れらの先行研究では，モナドに基づく動的意味論を 介して照応解析が行われている. これに対し, 上述 のように本研究では, Coq が提供する refine タク ティクを用いることで，Coqタクティクによっての み照応解析を行う手法を提案する。

## 3 提案手法

本研究が提案する手法は，照応解析に関するもの と含意関係認識に関するものに分かれる，以下では まず，Coqの refineタクティクについて説明した のち，このタクティクを用いてDTS における照応解析手続きを実装する (§ 3.1). その際に，DTS での 照応解析および含意関係認識に現れる多くの命題の 証明に有効なタクティクを構成する。次に，照応解析の結果，テキストが仮説を含意する場合は，その 含意関係を $\operatorname{Coq}$ 内の定理として証明する手法を提案 する (§ 3.2).

## 3.1 refine タクティクを用いた照応解析と 証明自動化のためのタクティク

DTS は，自然言語の文の意味を，Martin-Löf 型理論 [22] の式にその文を翻訳することによって説明す る. 言い換えれば，翻訳の結果として得られる式が その文の意味表示となる. ここでの翻訳は，当の文 の部分表現に割り当てられた意味表示を型理論の規則に従って合成することでなされる.

DTS において，自然言語の文に現れる“it”といっ た照応表現の意味表示は，もともとの Martin-Löf 型理論には含まれない未指定項@によって与えられ る. 例として, 照応表現 “he” を含む次の二つの文か ら構成される談話を考えると, この談話の意味表示 は図1のようになる.

1a. A man entered.

1b. He whistled.

図 1 に見られる $\left[\begin{array}{c}x: A \\ B(x)\end{array}\right]$ という表現は， $\Sigma$ 型と呼ば

図 1 例文 $1 \mathrm{a}, 1 \mathrm{~b}$ の意味表示

$
\left[\begin{array}{l}
u:\left[\begin{array}{l}
x: \text { entity } \\
{\left[\begin{array}{l}
\operatorname{man}(x) \\
\operatorname{enter}(x)
\end{array}\right]}
\end{array}\right] \\
\text { whistle }\left(\pi_{1}(u)\right)
\end{array}\right]
$

図 2 照応解析結果

れるデータ型の DTS における表記であり, 型 $A$ の 要素 $a$ と型 $B(a)$ の要素 $b$ のペア $(a, b)$ の型である.例えば $\left[\begin{array}{l}x: \text { entity } \\ \boldsymbol{\operatorname { m a n } ( x )}\end{array}\right]$ は（以下ではこの型を Man と 呼ぶ), 型 entity の要素である対象 $e$ と, 型 $\boldsymbol{\operatorname { m a n }}(e)$ の要素である「 $e$ が男性であることの証明 $t\lrcorner$ のぺア $(e, t)$ の型である. 型と命題の同型性を示すカリー・・ ハワード対応 (Curry-Howard correspondence)によれ ば，この型は「男性がいる」という命題と見なすこ とができ，ペア $(e, t)$ はこの命題の証明となる。も し $\left[\begin{array}{l}A \\ B\end{array}\right]$ のように $B$ が $A$ の要素に依存しないとき は，この型はたんに「 $A$ かつ $B$ である」という命題 に対応する.こうして，型 $\left[\begin{array}{l}x: \text { entity } \\ {\left[\begin{array}{l}\operatorname{man}(x) \\ \operatorname{enter}(x)\end{array}\right]}\end{array}\right]$ は「あ る男性が入ってきた」という命題に対応し， $1 \mathrm{a}$ の意味表示となる。そして，図 1 の残りの部分が $1 \mathrm{~b}$ の 意味表示であり，「彼は口笛を吹いた」という命題 に対応する。ここでの未指定項@は，型 Man の証明の部分がいわば空所になっていて証明を待ってい ることを示している. もし何らかの証明つまりペア $(e, t)$ が与えられれば，その第一要素を取り出す関数 $\pi_{1}$ によって男性である対象 $e$ を取り出すことが でき，この $\pi_{1}$ (@: Man) が “he”の意味表示となる.

DTS において照応解析は，証明探索によって @を具体的な証明に置き換える操作に相当す る. 図 1 の例では@の型は Man であるが, その 証明として $\left(\pi_{1}(u), \pi_{1}\left(\pi_{2}(u)\right)\right)$ が存在するため, 図 1の@：Manをこの証明に置き換える。すると， $\pi_{1}\left(\pi_{1}(u), \pi_{1}\left(\pi_{2}(u)\right)\right)$ を簡約すると $\pi_{1}(u)$ となるため,図 2 のような意味表示が得られる。つまり，照応解析の結果, “he” の指示対象は $\pi_{1}(u)$ となる.
以上から分かるように，DTS における照応解析手続きを実装するには，型における空所を表現し，さ らにその空所を埋める証明探索を定式化することが 必要である. 本研究では，この一連の手続きを，証明支援系 Coq が提供する refine タクティクを用い てシミュレートする。このタクティクは，証明が未完成の部分をひとまず空所にしたまま証明を進める ことを可能にする.

Coq が提供する refine タクティクを用いた DTS 照応解析手続きは次の手順で定式化される.

(i) DTS に従って，語彙の意味表示を定義する。

(ii) 未指定項に対応する表現 [?asp] によって照応表現を表しつつ文の意味表示を合成し, Eval コマ ンドでその意味表示を計算する。

(iii) refine タクティクを計算結果に適用して， [?asp] 以外の部分に型検査を施しつつ，空所 [?asp] を埋めることをゴールに設定する.

(iv) 空所 [?asp] を埋める証明をタクティクによって 構成し照応解析を行う。

例 1 を例に挙げて，Coqでの DTS 照応解析手続き を説明する。

(i) DTS に従って，語彙の意味表示を定義する。例 えば，a_nom は名詞位置の不定冠詞 “a” の意味表示である.

Definition a_nom: forall $n v$ : entity $->$
Type, Type $:=$
fun $n v=\left.\{x:\right.$ entity $\left.\&\left.\{\begin{array}{l}n \\ n\end{array} \vee x\right.\}\right.\}$.
Axiom man enter whistle : entity $>$ Type.

(ii) 未指定項に対応する表現 [?asp] によって照応表現を表しつつ文の意味表示を合成し，Eval コ マンドでその意味表示を計算する．以下におい ては,

(prog_conj (a_nom man enter)

(whistle (projT1 (?[asp1]:

$\{x$ : entity \& man $x\})))$ )

が $1 \mathrm{a}, 1 \mathrm{~b}$ から構成される談話の意味表示で ある.

(iii) refine タクティクを計算結果に適用して， [?asp] 以外の部分に型検査を施しつつ，空所 [?asp] を埋めることをゴールに設定する。

(iv) 空所 [?asp] を埋める証明をタクティクによっ て構成し照応解析を完了させる. Coq の proof mode は，こうして得られた解析結果を，上記 の定理の名前である AManHe として保存するこ とを可能にする.

このようにして，DTS 照応解析手続きは Coqが提供するタクティクを用いて対話的に行われる。 その 一方で，本研究は，この手続きが含む証明探索の一部を自動化するタクティクの構成も行う。Coqの夕 クティク言語 Ltac を用いて構成したタクティクは 以下になる.

図 1 およびその解析結果である図 2 が例となるよう に，DTS における照応解析においては， $\Sigma$ 型の要素 をいったん分解し, 解析の中で求められているぺア に組み直すといった推論が多く現れる。この tac1 は，そうした推論を自動で行うためのタクティクと して定義している.

tac1を構成するために作成したタクティクにつ いてもおおまかに説明する。これらのタクティク の定義については付録 A を参照されたい．ただし， destruct_one_ex と destruct_one_pair は, Coq [6] の標準ライブラリの一つである Coq.Program.Tactics にて定義されているものであるため，定義は繰り返 さない.この二つのタクティクは，DTS における照応解析の中でしばしば必要になる $\Sigma$ 型の分解を行う ため有用である.

specialize_H は, $\Sigma$ 型と対をなす П 型についての ものであり, $\Pi$ 型 $\left(u:\left[\begin{array}{c}x: A \\ B(x)\end{array}\right]\right) \rightarrow C$ と, 型 $A$ の要素 $a$ および型 $B(a)$ の要素 $b$ が前提に含まれるとき, ペア $(a, b)$ によって上の П 型を例化するタクティク である. 例えば， $(u:$ Man $) \rightarrow$ whistle $\left(\pi_{1}(u)\right)$ は「ど の男性も口笛を吹いた」という全称命題に対応する が，specialize_H は，この命題と男性 $(e, t)$ が前提 に含まれるとき， $(e, t)$ でこの命題を例化する．照応
解析のために分解したい $\Sigma$ 型が, 上述の $\Pi$ 型の後件 である $C$ の中に現れるとき，このタクティクによっ て全体の П型を例化することで $C$ の中の $\Sigma$ 型の分解へ進むことができる. 次の rewrite_H は，前提に $A=B$ が現れるとき，この等式を使ってゴールの中 の $A$ を $B$ で置き換えるタクティクである．また，夕 クティク exists_H は，Coqにあらかじめ備わって いる自動証明タクティク eautoを用いて, ゴールが $\Sigma$ 型であるときに自動でペアをつくり証明すること を試みる。同様に apply_H は，いわゆるモーダス・ ポネンス (modus ponens)を用いつつ, eautoによる 自動証明を試みるタクティクである。

以上のように, refineタクティクを用いた手順 (i)-(iv) により対話的に照応解析を行いつつ，Ltacに より構成したタクティク tac1を用いて証明の一部 を自動化することで，本研究が実装した DTS 照応解析手続きは完了する. Coqの proof mode は，こう して得られた解析結果を保存することを可能にし，保存された結果を用いて含意関係を判定できる.

## 3.2 照応解析の結果を用いる推論の実装

本研究では，照応解析の結果を含意関係認識タス クで用いるための手続きを次のように定式化する.

(v) DTS に従って，語彙の意味表示を定義する.

(vi) テキスト $T$ に対する照応解析結果が前件とな り，仮説 $H$ が後件となる条件文を組み立てる.

(vii) Ltac を用いて構成したタクティク tac1を用い て証明を行う。

次の 2.を例に挙げ，照応解析結果を用いた含意関係認識タスクへの本研究のアプローチを説明する。

2. A man entered. He whistled. $\Longrightarrow$ A man whistled.

(v) DTS に従って，語彙の意味表示を定義する.

(vi) テキスト $T$ に対する照応解析結果が前件とな り，仮説 $H$ が後件となる条件文を組み立てる. いまの場合，照応解析結果として前節で保存し た AManHe がテキストに対する照応解析結果と なる.

Theorem ex: AManHe -> a_nom man whistle

(vii) Ltacを用いて構成したタクティク tac1を用い て証明を行う。

Proof. で証明を始め，tac1を用いて自動でゴー
ルを見つけることかできたので，Qed. で証明を 終える。

## 4 成果

§§ 3.1-3.2 にて説明した提案手法に基づき，前節 で扱った例 2. に加え，次の例 3. に対しても証明を 構成することができた.

2. A man entered. He whistled. $\Longrightarrow$ A man whistled.

3. John bought a car. He checked the motor. $\Longrightarrow$

John checked a motor.

例 3.においては，二文目における "he", "the motor" が照応表現となり，それぞれ次のような意味表示が 割り当てられる：

projT1 (?[asp1] : \{x: entity \& man $x\})$

projT1 (?[asp2]: \{y : entity \& motor y\})上述のように，これらを含む談話全体の意味表示 に refine タクティクを適用することで照応解析手続きは進む．いまの場合，?[asp1] と?[asp2]を証明で埋める（言い換えれば，“he”と “the motor”につ いて照応解析をする）という二つのサブゴールが生 じる.

“he” の指示対象として John を指定するには，公理として man johnを加えれば，タクティクにより 容易に照応解析をすることができる。一方で，“the motor” の指示対象として John が買った車のモー ターを指定するには，全ての車にモーターがあると いう一般的な背景知識を公理として措定し，Johnが 買った車にもモーターがあることを導出できるよう にする必要がある。こうした導出も，本研究が構成 したタクティク tac1により行うことができる。あ とは，以上の照応解析結果を CarMotor として保存 し，例 3. の意味表示となる条件文

CarMotor -> a_acc motor check john をタクティクにより証明すればよい。

## 5 おわりに

本研究では，DTS における未指定項を用いた照応解析手続きを Coqにより実装し, さらに照応解析 の結果を推論の中で用いるための手続きを定式化 した. 今後の課題として，同様に Coqを用いるアプ ローチである $[12,13]$ の提案手法との比較がある.加えて, 照応解析の結果を用いる推論の中でも本研究が扱わなかった，結論が照応表現を含む推論の Coqによる実装を目指す.

## 謝辞

本研究は、JST CREST JPMJCR20D2 の支援を受け

たものである。

## 参考文献

[1] Tim Rocktäschel, Edward Grefenstette, Karl Moritz Hermann, Tomás Kociský, and Phil Blunsom. Reasoning about entailment with neural attention. In Y. Bengio and Y. LeCun, editors, 4th International Conference on Learning Representations, ICLR 2016, San Juan, Puerto Rico, May 2-4, 2016, Conference Track Proceedings, 2016

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In J. Burstein, C. Doran, and T. Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACLHLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[3] Lasha Abzianidze. LangPro: Natural Language Theorem Prover. In L. Specia, M. Post, and M. Paul, editors, Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, EMNLP 2017, Copenhagen, Denmark, September 9-11, 2017 - System Demonstrations, pp. 115-120. Association for Computational Linguistics, 2017.

[4] Hai Hu, Qi Chen, Kyle Richardson, Atreyee Mukherjee, Lawrence S. Moss, and Sandra Kuebler. MonaLog: a lightweight system for natural language inference based on monotonicity. In Proceedings of the Society for Computation in Linguistics 2020, pp. 334-344, New York, New York, January 2020. Association for Computational Linguistics.

[5] Aikaterini-Lida Kalouli, Richard S. Crouch, and Valeria de Paiva. Hy-nli: a hybrid system for natural language inference. In D. Scott, N. Bel, and C. Zong, editors, Proceedings of the 28th International Conference on Computational Linguistics, COLING 2020, Barcelona, Spain (Online), December 8-13, 2020, pp. 5235-5249. International Committee on Computational Linguistics, 2020.

[6] The Coq Development Team. The Coq proof assistant reference manual, Version 8.16.1, 2022. https://coq.inria.fr/.

[7] Stergios Chatzikyriakidis and Zhaohui Luo. Natural language inference in coq. J. Log. Lang. Inf., Vol. 23, No. 4, pp. 441-480, 2014.

[8] Koji Mineshima, Pascual Martínez-Gómez, Yusuke Miyao, and Daisuke Bekki. Higher-order logical inference with compositional semantics. In L. Màrquez, C. Callison-Burch, J. Su, D. Pighin, and Y. Marton, editors, Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, EMNLP 2015, Lisbon, Portugal, September 17-21, 2015, pp. 2055-2061. The Association for Computational Linguistics, 2015.

[9] Stergios Chatzikyriakidis and Zhaohui Luo. Proof assistants for natural language semantics. In M. Amblard, P. de Groote, S. Pogodalla, and C. Retoré, editors, Logical Aspects of Computational Linguistics. Celebrating 20 Years of LACL (1996-2016) - 9th International Conference, LACL 2016, Nancy, France, December 5-7, 2016, Proceedings, Vol. 10054 of Lecture Notes in Computer Science, pp. 85-98, 2016.

[10] Koji Mineshima, Ribeka Tanaka, Pascual Martínez-Gómez, Yusuke Miyao, and Daisuke Bekki. Building compositional semantics and higher-order inference system for a wide-coverage japanese CCG parser. In J. Su, X. Carreras, and K. Duh, editors, Pro- ceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, EMNLP 2016, Austin, Texas, USA, November 1-4, 2016, pp. 2236-2242. The Association for Computational Linguistics, 2016.

[11] Pascual Martínez-Gómez, Koji Mineshima, Yusuke Miyao, and Daisuke Bekki. On-demand injection of lexical knowledge for recognising textual entailment. In M. Lapata, P. Blunsom, and A. Koller, editors, Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, EACL 2017, Valencia, Spain, April 3-7, 2017, Volume 1: Long Papers, pp. 710-720. Association for Computational Linguistics, 2017.

[12] Stergios Chatzikyriakidis and Jean-Philippe Bernardy. A widecoverage symbolic natural language inference system. In Mareike Hartmann and Barbara Plank, editors, Proceedings of the 22nd Nordic Conference on Computational Linguistics, NoDaLiDa 2019, Turku, Finland, September 30 - October 2, 2019, pp. 298-303. Linköping University Electronic Press, 2019

[13] Jean-Philippe Bernardy and Stergios Chatzikyriakidis. Applied temporal analysis: A complete run of the FraCaS test suite. In Proceedings of the 14th International Conference on Computational Semantics (IWCS), pp. 11-20, Groningen, The Netherlands (online), June 2021. Association for Computational Linguistics.

[14] Ribeka Tanaka. Natural Language Quantification and Dependent Types. PhD thesis, Ochanomizu University, 2021.

[15] Daisuke Bekki. Representing anaphora with dependent types. In N. Asher and S. Soloviev, editors, Logical Aspects of Computational Linguistics - 8th International Conference, LACL 2014, Toulouse, France, June 18-20, 2014. Proceedings, Vol. 8535 of Lecture Notes in Computer Science, pp. 14-29. Springer, 2014

[16] Daisuke Bekki and Koji Mineshima. Context-passing and underspecification in dependent type semantics. In S. Chatzikyriakidis and Z. Luo, editors, Modern Perspectives in Type-Theoretical Semantics, Vol. 98 of Studies in Linguistics and Philosophy, pp. 11-41. Springer, Cham, 2017

[17] Daisuke Bekki. Proof-theoretic analysis of weak crossover. In Proceedings of the Eighteenth International Workshop of Logic and Engineering of Natural Language Semantics 18 (LENLS18), pp. 75-88, 2021

[18] Daisuke Bekki and Miho Satoh. Calculating projections via type checking. In Proceedings of TYTLES, 2015.

[19] 佐藤未歩. 依存型意味論の証明探索とその実装, 2016.

[20] Hinari Daido and Daisuke Bekki. Development of an automated theorem prover for the fragment of DTS. In Proceedings of the 17th International Workshop on Logic and Engineering of Natural Language Semantics (LENLS17), 2020.

[21] 大洞日音. DTS の部分体系を用いた定理自動証明器への等号型の導入, 2022

[22] Per Martin-Löf. An intuitionistic theory of types. In G. Sambin and Jan M. Smith, editors, Twenty-five years of constructive type theory, Vol. 36 of Oxford Logic Guides, pp. 127-172. Clarendon Press, 1998

## A 付録

本研究では，DTS での照応解析および含意関係認識に現れる多くの命題の証明にとって有効なタクティク tac1を構成した. このタクティクを構成する各々のタクティクの定義は以下になる.


# CCG による日本語文処理のモデリング

梶川康平 吉田遼 大関洋平
東京大学
\{kohei-kajikawa,yoshiryo0617, oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

言語構造の違いから，ある言語で妥当だと主張 されている文処理方略が，必ずしも他の言語にお いても妥当であるとは限らない. 英語において， Combinatory Categorial Grammar の右枝分かれ構造よ り左枝分かれ構造の方が，さらに reveal 操作という 特別な操作を導入した方が，人間の逐次的な文処理 をより高い精度でモデリングできると示されてい るが，本研究では，同様の主張が日本語においても 成立するのか検証する。結果，左枝分かれ構造は 右枝分かれ構造より妥当であると示された一方で， reveal 操作が有効であるとは言えず，英語では有効 だと示された reveal 操作が通言語的に有効であると は限らないことが示唆された。

## 1 はじめに

CCG (Combinatory Categorial Grammar [1, 2]) は，弱文脈依存文法の一種で高い記述力を備えている上 $[3,4]$, 柔軟な構成素構造により左右両方の枝分かれ 構造を作ることができる. 特に左枝分かれ構造は逐次的な意味計算を可能にするため，人間が逐次的に 構築していると考えられる構造としての妥当性が高 いと主張されている [5, 6]. 実際に，英語において CCG の左枝分かれ構造に基づく処理負荷の予測が，右枝分かれ構造に基づく処理負荷の予測よりも高い 精度で脳活動を説明できるということが示されてい る [7]. さらに, reveal 操作という, CCG で逐次的に 左枝分かれ構造として処理できる構造を拡張する操作 [8] を加えることで，人間の脳活動をさらに良く 説明できることが示されている [7, 9].

一方で, head-final な日本語における CCG の左枝分かれ構造は, 動詞を待たずに項構造を構築するこ とを要求する. 心理言語学において, 日本語では 項構造が動詞に先んじて構築されるという主張が

ティックなコーパスを通して検証した研究はいまだ

図 $1 \mathrm{CCG}$ の左枝分かれ構造の導出例. 統語カテゴリは 戸次 [2] に従い，T は変数を表す. 赤文字では各構成素の 意味を表している。

なく，検証の余地がある。また， reveal 操作により 逐次的な処理が可能になる構造として, 英語の後置修飾詞による修飾構造が挙げられているが [8], 日本語は原則として後置修飾がなく[13], reveal 操作 が必要な状況が少ない，さらに，関係節が埋め込ま れている文は，日本語においても reveal 操作を仮定 することで逐次的な処理が可能となるが，そのよう な文は構造の再解釈を要する典型的なガーデンパス 文であるとされている [14]. こうしたことから，英語では有効だと示された reveal 操作が通言語的に有効であるとは限らないと考えられる.

そこで本研究では，日本語においても，逐次的に 構築していると考えられる構造として, CCG の左枝分かれ構造は右枝分かれ構造よりも妥当であるか, さらに, reveal 操作を加えることでより妥当性が向上するのかをそれぞれ眼球運動データ [15]を通して 比較・検証する。

## 2 CCGによる逐次的な文処理

## 2.1 左枝分かれ構造の構築

CCG は，その柔軟な構成素構造から，通常の句構造文法では右枝分かれ構造が想定される文を左枝分 かれ構造で表現することができる. 特に，日本語の ような動詞の項が動詞に先行する言語においても，項同士の関係を先に計算することができる (図 1).

人間の文処理は，統語処理においても意味処理に おいても逐次的であるが (e.g., [10, 16]), CCG での構
成素構造が実際の文処理においても構築されている 場合 $[1,17,18], \mathrm{CCG}$ の左枝分かれ構造を構築する モデルは, 逐次的な統語と意味の計算が実現でき,人間の逐次的な文処理を説明できると考えられてい る [5,6]. また心理言語学において, 動詞の項が動詞 に先行する日本語では, 動詞を待たずに項構造が計算されていることが示唆されているが $[10,11,12]$, それらは特定の構造においてのみ示されており, 構造に依存しないものであるかは示されていない.

## 2.2 Reveal 操作

一般に，必須項ではない後置修飾詞の存在は，逐次的な文処理の実現における障害となる [19]. 例え ば (1)のような文を想定したとき, 後置修飾詞であ る quickly は，主語より低い位置で動詞句に付加する ためその存在をあらかじめ予測しておく必要がある が，必須項でないため確実に予測しておくことはで きない.

(1) Mary reads papers quickly.

CCG において，逐次的な文処理を実現するため には左枝分かれ構造が必要である一方, 後置修飾詞 は右枝分かれ構造を要求する。両者を満たすため， reveal 操作 [8] は，左枝分かれ構造を構築しながら，可能ならば左枝分かれ構造を右枝分かれ構造に変換し (木の回転), 後置修飾詞は既に作った構成素に 付加するという処理を行う (図 2). 木の回転は, 決定的かつ意味解釈に影響を与えないため, 処理負荷 がかからないと仮定されており, reveal 操作は，よ り少ない操作での後置修飾詞の処理を可能にする.英語における reveal 操作の認知的妥当性は, 脳活動 データを通して示されている $[7,9]$.

一方で，日本語は原則として後置修飾がないが [13], head-final であることから項が動詞に先行する ため，関係節が埋め込まれている文は CCG でも右枝分かれ構造を要求する (2). そのため, 日本語に おいては，関係節が埋め込まれている文に対して

ら，そのような文は逐次的に処理する際，節境界が どの項の間に置かれるかが一時的に曖昧になること からガーデンパス効果が生じ，特に先行詞の部分で 処理に時間を要することが知られている [14]. これ

図 2 Reveal 操作による Mary reads papers quickly の逐次的 な構造構築. 右枝分かれ構造が構成できるときは, 左枝分かれ構造を回転させて右枝分かれ構造を構成する. 後置修飾詞はすでに作ってある右枝分かれ構造に付加する.

は, reveal 操作の予測に反しており, 日本語において は reveal 操作が有効ではない可能性が指摘できる。

(2) [[花子が [[太郎を殴った]次郎を]] 見つけた] $]^{2}$

## 3 実験

## 3.1 方法論

本研究では，以下の 2 つの仮説を検証する：日本語において，逐次的に構築していると考えられる構造として, (i) CCG の右枝分かれ構造より左枝分か れ構造が妥当である，(ii) 左枝分かれ構造より reveal 操作による構造が妥当である.

計算心理言語学において, どの文法形式, どの文処理方略が文処理理論として適切かを研究する方法として，何らかの橋渡し仮説を通して文法形式・文処理方略から得られる処理負荷を算出し, 人間の 行動データに対する説明力を評価するというもの がある [20]. 具体的には, 眼球運動データや脳活動 データなどの人間の行動データがアノテーション されたコーパスに対して，何らかの文法形式と文処理方略をもとに構文構造を割り当て，そこから処理 コストを算出する。そしてその処理コストを含めた 回帰モデルの当てはまりの良さを比較し，どの理論 が最も説明力が高いかを調べるというものである $[21,22,23,7,9]$. そのような方法論のもと本研究で は, $\mathrm{CCG}$ の文処理方略ごとに構築した構造で, 意味合成が起こる数を橋渡し仮説として処理負荷を算出 した. そして，行動データとして，文節ごとの視線

2）ブラケットで示した構成素構造は， CCG で作ることので きる最も左枝分かれな構造を示している。
走査法による読み時間がアノテーションされている BCCWJ-EyeTrack [15] を用い，読み時間に対する回帰モデルの精度比較を通して，CCG における文処理方略ごとの認知的妥当性を比較した。

## 3.2 木構造の獲得

CCG の右枝分かれ構造は, depccg ${ }^{3}$ [24] により BCCWJ-EyeTrack の各文に対して割り当てた. 統語カテゴリが割り当てられる単語単位が BCCWJEyeTrack の文節境界を跨がないように，各文節を事前に Janome4) で分割し, その結果を depccg の入力 とした. CCGの左枝分かれ構造は, depccg に解析 された構造のなかで，後方関数適用 (<) により項と して合成されている構成素すべてに型繰上げ規則 (>T)を適用したのち, 可能な限り左枝分かれ構造に 回転させて構成した。詳細は付録に示す.

## 3.3 橋渡し仮説

先行研究では, 逐次的に構築されると考えられる 構造と実際の行動データを繋げる橋渡し仮説とし て, 単語ごとに構築されるノードの数を, 各単語 における処理負荷と仮定している [21, 22, 23, 7, 9].特に，文法形式として CCG を用いた Stanojević ら [7, 9] は, unary なノードも含めたすべてのノードの 数を処理負荷としている. しかし本研究では, CCG の構文解析器特有の変換規則や [25], 左枝分かれ構造に変換するのに過剰に適用された型繰上げ規則の 影響を排して意味合成における処理負荷を明確に考慮するため, 各単語ごとに新たに構築される二分木 の数，すなわち，意味合成が起きる数を各単語にお ける処理負荷と仮定する。これをCompositionCount と呼ぶ(図3).

以下， $\mathrm{CCG}$ の右枝分かれ構造の CompositionCount を CCright, 左枝分かれ構造の CompositionCount を cCleft, reveal 操作によって構造を構築した際の CompositionCount をCCreveal と略記する.

## 3.4 統計分析

読み時間に対する回帰モデルの精度比較のため, あらかじめ読み時間をモデリングしたベースライン 回帰モデルを設定した. まず，ベースラインモデル と, ベースラインモデルに本研究で用いる 3 種類の CompositionCount すべてを説明変数として加えた回

3) https://github.com/masashi-y/depccg

4) https://github.com/mocobeta/janome

(a) CompositionCount: $(0,0,2)$

(c) CompositionCount: $(0,0,1,2)$

(b) CompositionCount: $(0,1,1)$

図 3 (a) 右枝分かれ構造の，(b) 左枝分かれ構造の，(c) そして両者を含む構造の CompositionCount. および，(d) reveal 操作による構築の CompositionCount. 各ノードの赤 い数字はそのノードが構築される順序を示す.また，赤 い枠線で囲まれたノードは意味合成が起こるノードを 表す.

帰モデルとの尤度比検定を行い, CompositionCount 自体に眼球運動データを説明できる効果がある のか確認した. そして, ベースラインモデルに各 CompositionCount を順に説明変数として加えた回帰 モデルを設定し，ネストしたモデル同士を尤度比検定で比較した。一方の説明変数が，他方の説明変数 が既に説明した以上に眼球運動データを説明できる か検証することを目的としている。 ベースライン回帰モデルは，以下の式である：

$
\begin{aligned}
\text { RT } & \sim \text { dependent + length + frequency }+ \text { is_first } \\
& + \text { is_last }+ \text { is_second_last }+ \text { screenN }+ \text { lineN } \\
& + \text { segment }+(1 \mid \text { article })+(1 \mid \text { subj })
\end{aligned}
$

各説明変数の詳細は付録に示す. 読み時間として，視線走査法により計測された総注視時間 (total time) を用いた。浅原ら [15] に従い，総注視時間がゼロミ リ秒である文節および本文でない文節は除外した.結果として 19,176 文節中 13,232 の文節を扱った.

すべてのモデルは, article と subject のランダム 切片を含んでいる. 尤度比検定の結果は, $\alpha=0.05 / t$ の閾値で統計的に有意とみなした。 $t$ はボンフェ ローニ補正に従い，検定数である.

## 4 結果

以下，Baseline は 3.4 項で導入したベースライン回帰モデルを，Right, Left, Reveal, RightLeft, LeftReveal, All はそれぞれ, ベースライン回帰モデルに cCright, cCleft, cCreveal, ccright と ccleft の両方, ccleft と CCreveal の両方, cCright, cCleft, cCreveal $の 3$種類全て，を加えた回帰モデルを指す。

## 4.1 CompositionCount の有効性

まず，Baseline と All の尤度比検定 $(\alpha=0.05)$ を行 い，CompositionCount の眼球運動データに対する有効性を検証した。結果は以下，表 1 に示す：

表 1 Baseline と All の間の尤度比検定の結果.

検定の結果，Baseline と All には有意に差があるこ とから，CompositionCount それ自体に眼球運動デー タを説明できる効果があることが確認された.

## 4.2 右枝分かれ構造と左枝分かれ構造

眼球運動データに対する，CCright と cCleft の説明力を nested model comparison $(\alpha=0.125=0.05 / 4)$ で比較した．結果は以下，表 2 のとおりである：

## 表 2

CCright, cCleft 間の nested model comparison の結果.

cCleft は，Baseline に加えられたときも，Rightに 加えられたときも，ともに回帰モデルのあてはまり の向上に有意に寄与した一方，ccright は Baseline に加えられたときのみ有意に回帰モデルのあてはま りを向上させた。これらのことから, ccleft は, 視線計測データについて CCright が説明できる全ての ことが説明できていると言える. つまり，日本語に おいて，逐次的に構築されていると考えられる構造
として，CCGの右枝分かれ構造より左枝分かれ構造 が妥当であることを示唆している.

## 4.3 左枝分かれ構造と reveal 操作

眼球運動データに対する，CCleft と CCreveal の 説明力を nested model comparison $(\alpha=0.125=0.05 / 4)$ で比較した。結果は以下，表 3 のとおりである：

表 3 cCleft, cCreveal 間の nested model comparison の 結果.

CCleft と CCreveal はともに，Baseline に加えられ ると有意に回帰モデルのあてはまりを向上させた一方，それぞれ Reveal，Left に加えられても，ともに 有意にははたらかなかった。つまり，日本語におい ては, reveal 操作による構造構築が左枝分かれ構造 を構築するより妥当であるとは言えない。この結果 は， reveal 操作が通言語的に有効であるとは限らな いことを示唆する。

## 5 おわりに

日本語の逐次処理で構築される構造として，CCG の右枝分かれ構造よりも左枝分かれ構造の方が妥当 であることが示された. 日本語における左枝分かれ 構造は，動詞に先んじた項構造の計算を要求するの で，この結果は，日本語の項構造が動詞の前で構築 されるという主張 $[10,11,12]$ が，計算心理言語学的 な知見からも支持されることを示している。また，英語では reveal 操作が有効であるという結論が導か れた Stanojević ら [7,9] の結果と異なり，日本語にお いては，その reveal 操作がとりわけ妥当であるとは 言えなかった。これは，言語の構造に起因している と考えられ, reveal 操作が通言語的に有効であると は限らないことを示唆している。

一方で，reveal 操作は，その前提を変えることで，日本語における再解釈の過程を段階的に説明しうる 非常に魅力的な操作である. 今後は，本研究の結果 を踏まえ，Stanojević らによる reveal 操作をその前提 から見直し，英語と日本語双方に矛盾のない操作に 改良し得るか検討した上で，逐次的な文処理方略の 解明を目指していきたい。

## 謝辞

本研究は，JST さきがけ JPMJPR21C2 の支援を受 けたものです. また本研究にあたり, 多くの助言を くださった磯野真之介氏に深く感謝します.

## 参考文献

[1] Mark Steedman. The syntactic process. MIT press, 2000.

[2] 戸次大介. 日本語文法の形式理論. くろしお出版, 2010.

[3] Aravind K. Joshi. Tree adjoining grammars: How much context-sensitivity is required to provide reasonable structural descriptions? In David R. Dowty, Lauri Karttunen, and Arnold M. Zwicky, editors, Natural Language Parsing: Psychological, Computational, and Theoretical Perspectives, Studies in Natural Language Processing, pp. 206-250. Cambridge University Press, 1985.

[4] Edward P. Stabler. The epicenter of linguistic behavior. Language down the garden path: The cognitive and biological basis of linguistic structures, pp. 316-323, 2013 .

[5] Mark Steedman and Jason Baldridge. Combinatory Categorial Grammar. In Robert D. Borsley and Kersti Börjars, editors, Non-Transformational Syntax: Formal and Explicit Models of Grammar, pp. 181-224. Wiley-Blackwell, 2011.

[6] Mark Steedman. Taking scope: The natural semantics of quantifiers. MIT Press, Cambridge, MA, 2012.

[7] Miloš Stanojević, Shohini Bhattasali, Donald Dunagan, Campanelli Luca, Mark Steedman, Jonathan Brennan, and John Hale. Modeling incremental language comprehension in the brain with Combinatory Categorial Grammar. Proceedings of the Workshop on Cognitive Modeling and Computational Linguistics, pp. 23-28, 2021.

[8] Miloš Stanojević and Mark Steedman. CCG parsing algorithm with incremental tree rotation. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 228-239, 2019.

[9] Miloš Stanojević, Jonathan R. Brennan, Donald Dunagan, Mark Steedman, and John T. Hale. Modeling structurebuilding in the brain with CCG parsing and large language models. arXiv preprint arXiv:2210.16147, 2022.

[10] Yuki Kamide and Don C. Mitchell. Incremental pre-head attachment in Japanese parsing. Language and Cognitive Processes, Vol. 14, No. 5-6, pp. 631-662, 1999.

[11] Edson T. Miyamoto. Case markers as clause boundary inducers in Japanese. Journal of Psycholinguistic Research, Vol. 31, pp. 307-347, 2002.

[12] Shinnosuke Isono and Yuki Hirose. Locality effect before the verb as evidence of pre-verb reactivation. The Japanese Society for Language Sciences 23rd Annual International Conference, 2022.

[13] Joseph H. Greenberg. Universals of language. MIT press, 1963.
[14] 井上雅勝. 構造的曖昧文の理解におけるガーデンパ ス化: 眼球運動データを指標として. 日本教育心理学会総会発表論文集, Vol. 32, p. 378, 1990.

[15] 浅原正幸, 小野創, 宮本エジソン正. BCCWJEyeTrack. 言語研究, Vol. 156, pp. 67-96, 2019.

[16] Yuki Kamide, Christoph Scheepers, and Gerry T. M. Altmann. Integration of syntactic and semantic information in predictive processing: Cross-linguistic evidence from German and English. Vol. 32, pp. 37-55. Springer, 2003.

[17] Ivan A. Sag and Thomas Wasow. Performance-compatible competence grammar. In Robert D. Borsley and Kersti Börjars, editors, Non-transformational syntax: Formal and explicit models of grammar, pp. 359-377. WileyBlackwell, 2011.

[18] Shevaun Lewis and Colin Phillips. Aligning grammatical theories and language processing models. Journal of Psycholinguistic Research, Vol. 44, No. 1, pp. 27-46, 2015.

[19] John T Hale. Automaton theories of human sentence comprehension. Center for the Study of Language and Information, 2014.

[20] Jonathan Brennan. Naturalistic sentence comprehension in the brain. Language and Linguistics Compass, Vol. 10, No. 7, pp. 299-313, 2016.

[21] Jonathan Brennan, Yuval Nir, Uri Hasson, Rafael Malach, David J Heeger, and Liina Pylkkänen. Syntactic structure building in the anterior temporal lobe during natural story listening. Brain and language, Vol. 120, No. 2, pp. 163173, 2012.

[22] Jonathan R. Brennan, Edward P. Stabler, Sarah E. Van Wagenen, Wen-Ming Luh, and John T. Hale. Abstract linguistic structure correlates with temporal activity during naturalistic comprehension. Brain and Language, Vol. 157-158, pp. 81-94, 2016.

[23] Jixing Li and John Hale. Grammatical predictors for fMRI time-courses. Oxford University Press, 2019.

[24] Masashi Yoshikawa, Hiroshi Noji, and Yuji Matsumoto. A* CCG parsing with a supertag and dependency factored model. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 277-287. Association for Computational Linguistics, 2017.

[25] Sumire Uematsu, Takuya Matsuzaki, Hiroki Hanaoka, Yusuke Miyao, and Hideki Mima. Integrating multiple dependency corpora for inducing wide-coverage Japanese CCG resources. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1042-1051. Association for Computational Linguistics, 2013.

## A 木の回転

本研究で，左枝分かれ構造を構成するのに用いた木の 回転操作の条件を示す. 以下 [8] に従い，組合せ規則を一般化して，その規則の階数 (項の数)を付して表記する.例えば，前方関数適用 $(>)$ は $>\mathbf{B 0}$, 前方関数合成 $(>\mathbf{B})$ は $>\mathbf{B} 1$ と表記する. また， $X / X$ または $X \backslash X$ の形をした統語 カテゴリを修飾語と呼ぶ. $\alpha, \beta, \gamma$ は構成素の統語カテゴ リを表し, $\mathbf{x}, \mathbf{y}$ は変数 (整数)を表す.
1. $\mathbf{x} \geq \mathbf{y}$ のとき5)

2. 1 を満たさず，かつ修飾語を含んでいるとき

(a) $\alpha, \gamma$ がともに修飾語であるとき

(b) $\alpha, \beta$ がともに修飾語であるとき

(c) $\alpha$ が修飾語であるとき

5） [8] では $x>y$ と表記されているが， $x \geq y$ の誤りと思 われる. 反例は, $\alpha=S /(S \backslash N P), \beta=S \backslash N P / N P, \gamma=N P$, $\mathbf{x}=\mathbf{y}=0$ のときである. (d) $\gamma$ が修飾語であるとき
i. $\alpha$ が， $S /(S \backslash N P)$ のような，複合カテゴリであ りかつその左側カテゴリが複合カテゴリでな いとき

ii. $\alpha$ が， $(S \backslash N P) /(S \backslash N P \backslash N P)$ のような，複合力 テゴリでありかつその左側カテゴリも複合カ テゴリであるとき

これらの回転操作は, BCCWJ-EyeTrack に対する depccg の解析結果が最も左枝分かれになるように構成したもの である. 特に 2 以降の条件については，本研究で用いら れた統語カテゴリ以外の統語カテゴリが含まれている構造に対して，必ずしも有効ではない.

## B 説明変数

本研究において, ベースライン回帰モデルで用いた説明変数を表 4 に示す。

表 4 本研究で用いた説明変数


# JCommonsenseMorality:常識道徳の理解度評価用日本語データセット

竹下昌志 1 ジェプカ・ラファウ ${ }^{2}$ 荒木健治 ${ }^{2}$
1 北海道大学大学院情報科学院 2 北海道大学大学院情報科学研究院
${ }^{1}$ takeshita.masashi.68@gmail.com ${ }^{2}\{$ rzpeka, araki\}@ist. hokudai .ac.jp

## 概要

近年、人工知能（AI）技術が人間社会で広く用 いられ、それに伴い $\mathrm{AI}$ 技術の倫理が問われるよ うになった。既存研究では $\mathrm{AI}$ 自体に倫理を組み 込むためのデータセットが構築されているが、そ の多くは英語での常識道徳を反映したものであ る。しかし、文化相対性を考えれば英語圈以外の常識道徳を反映したデータセットも必要である。そ こで本研究では、日本語の常識道徳データセット JCommonsenseMoralityを構築する。これを用いて 事前学習済みモデルに対し評価実験を行ったとこ ろ、他の類似したベンチマークと比較してより困難 な常識理解を必要とすることが示唆された。また心理学の道徳基盤理論に基づいた分析も行った。

## 1 はじめに

$\mathrm{AI}$ 技術が発展するに連孔、 $\mathrm{AI}$ の人間社会への参入が增えており、それに伴って AI の倫理1)が問われ ている。例えば、自然言語処理（NLP）に打いて AI に内在する差別的な社会的バイアス (ジェンダー、人種など）が指摘されて以降 [1]、バイアス研究は急激に増加している [2]。このようなバイアスは社会

差別的なバイアスが内在している AI の使用は道徳的に問題であるため $[5]$ 、差別的なバイアスを緩和 することは重要な課題である。

このような問題に対する解決策の1つとして、AI 自体纶倫理を組み込むことが考兄られる。実際、口 ボット倫理学ではロボット纪倫理をどのように組み 込むかが検討されている [6]。また 2.1 節で述べるよ うに、倫理を $\mathrm{AI}$ に学習させるためのデータセット が構築されており、そのようなデータセットに基づ いて学習されたモデルも構築されている [7]。

表 1 JCommonsenseMorality の具体例。道徳的に間違って いる場合は「1」、許容できる場合は「0」となっている。

しかし、既存研究のほとんどは英語での研究で あり、 $\mathrm{AI}$ に倫理を組み込むための日本語のデータ セットは、我々が知る限り存在しない。そこで本研究では、AI A 常識道徳を組み込み、またそれを評価するために、19,963 文からなる日本語の常識道徳 データセット JCommonsenseMoralityを構築する。 データセットの例を表 1 亿示す。本研究で構築した データセットと評価実験に使用したコードは以下の 脚注の URL 先で公開予定である2)。

本稿の構成は次のとおりである。2節で、既存の 英語の常識道德データセットを調査し、また常識道徳と「正しい」道徳の関係について簡単に触れる。 3 節でデータセットの構築方法について述べる。 4 節で評価実験の設定とその結果について述べる。5 節で本データセットと他の類似したデータセットを 比較し、また本データセットの内容を分析する。6 節で本研究の内容をまとめる。

## 2 関連研究

## 2.1 NLP における常識道徳データセット の構築

Hendrycks ら [8] は、言語モデルが規範倫理的な 概念を理解しているかどうかを評価するために、 ETHICS データセットを構築、公開した。ETHICS には、正義、義務論、徳、功利主義、常識道徳の 5 つのデータセットが含まれており、すべて分類タス

2) https://github.com/Language-Media-Lab/ commonsense-moral-ja

クとして設計されている。本研究と関連する範囲で は、常識道徳データセットでの分類タスクは、文ま たは文章で表されている行為が道徳的に間違ってい るか許容できるかのラベルが付けられているもの で構成される。3 節で述べるように、本研究で構築 するデータセットの構築方法は Hendrycks ら [8] の 常識道徳データセットの構築方法をほぼ踏襲して いる。

Choi らの研究グループは、常識道徳の様々な側面 に焦点を当てつつ複数のデータセットを構築、公開 している $[9,10,11,12]$ 。また同研究グループは、こ れらのデータセットを単純な分類タスクに編集、整理したものとして COMMONSENSE NORM BANK を構築 し、これを用いて常識道徳的判断を出力する分類モ デルである Delphi を構築した [7]。

以上のように、英語圈を中心とする地域での常識道徳を反映する英語のデータセットが多数構築 されているが、日本語圏での常識道徳を反映する データセットは我々の知る限り存在しない。例え ば、日本語での大規模な常識 QA データセットとし て JGLUE [13] に含まれている JCommonsenseQA が あるが、これは常識道徳に特化したものではない。 しかし、もし常識道徳が文化相対的であるならば (e.g. [14])、英語圏での常識道徳を反映するデータ セットだけでは AI 倫理研究を進める上で不十分で ある。例えば上述の Delphi に「日本で頬にキスをし て挨拶する (greeting by kissing on the cheek in Japan)」 と入力すると、「It's normal」と出力される3)が、我々 の考えでは、これは日本では典型的には不適切な行為である。したがって、常識道徳の文化相対性を確保するために、英語圏以外での常識道徳を反映した データセットを構築することは重要である。

## 2.2 常識道徳の倫理学的位置づけ

本研究は文化普遍的な「正しい」道徳（もしそれ があるとしで()）を AIに学習させることを意図して いないが、常識道徳と「正しい」道徳の関係につい てここで議論しておくのは有益だろう。

3) https://delphi.allenai.org/?a1=greeting+by+kissing+ on+the+cheek+in+Japan（2022 年 1 月 1 日確認）

4） メタ倫理学において、道徳的実在論と非実在論の間で議論がある。道徳的地実在論は 3 つのテーゼの連言で表され る：(1) 道徳的判断は真理值をもち、（2）道徳的判断の少 なくとも一部は真であり、(3) その真理は認識主体の選好 などから独立した道徳的事実や道徳的性質のおかげである (cf. $[15,16]$ )。非実在論はこの 3 つのテーゼのいずれかを否定する立場として定式化される。常識道徳ないし直観的な道徳的判断は、倫理学理論を評価する上で重要な役割を果たす。倫理学の標準的な教科書では、倫理学理論が導き出した結論が 直観に反する場合、それが理論に対して一つの批判 になりうるとされている [17]。また規範倫理学で標準的な方法論である反照的均衡を目指す方法 [18] は、私達の直観的判断と理論的判断を相互に修正し つつ、それらの整合性を取るという方法である。直観や反照的均衡法という考えを倫理学方法論として 採用することに対しては批判もある [19]。しかし、 たとえ後で修正されるとしても、はじめから私達の すべての直観的判断を無視することは妥当ではな いだろう。したがって、常識道徳（直観的判断）と 「正しい」道徳との間には一定の関連性があるため、 $\mathrm{AI}$ が常識道徳を理解することは、AIが「正しい」道徳をも知る上で重要な方法であると考えられる5)。

## 3 データセット構築方法

本研究での常識道徳データセットの構築手順は Hendrycks ら [8] の常識道徳データセットの構築手順 におおよそしたがっている。以下が大まかな手順で ある。なお、クラウドソーシングは (rowdWorks ${ }^{6}$ で 行った。

1. クラウドワーカーらに、道徳的に明らかに間違っている文と許容できる文のペア文を作成さ せる

2. 別のクラウドワーカーらに、それらの文を見 せ、道徳的に間違っているか許容できるかを評価させる

まず、クラウドワーカーらに、主節に動作主を表 す主語を含まないような行為を表す文 (以下、行為文）を作成させる ${ }^{7)}$ 。行為文は 2 文 1 組で作成され、一方は道徳的に明らかに間違っており、他方は明ら かに許容できるようにする。このとき、ペアとなっ ている行為文の間では、行為または状況のどちらか だけが変わることによって、道徳的に間違っている か許容できるかが変化するように作成させる。これ によってペア行為文は互いに類似したものになり、微妙な文脈的変化によって道徳的評価が変化するた

5） $\mathrm{AI}$ 倫理における反照的均衡法の利点については Jiang ら [7]を見よ。

6) https://crowdworks.jp/

7）Hendrycks ら [8] の作成方法では、文の中に一人称を表す単語（“I”, “my”など）を含ませているが、日本語で「私」をわ ざわざ入れるのは不自然である。そのため本研究では動作主 が誰であるかを特定させないためにこのような手順とする。

め、タスクとして難しくなると考えられる。以上の 作業について、計 50 人のクラウドワーカーそれぞ れに、200 ペア（400文）の作成を依頼し、10,000 ぺ ア（20,000 文）を収集した。付録 A. 1 にペア文の作成の際に用いたガイドラインを示す。

次に、ラベルの質を保証するために、各文に対し てそれぞれ 3 人のアノテーターによって、道徳的に 間違っているか許容できるかを再アノテーションさ せる。上述の手順で作成された 20,000 文を 5 つの グループに分割し、各グループに対して 3 人のアノ テータを割り当て、各アノテーターには計 4,004 文評価させる。そのうち 4 文は我々が用意したテスト データであり、それらに対して間違って評価した場合には再度アノテーションさせる8)。用意したテス トデータを付録 A. 2 に示す。文に誤字脱字がある場合は文を修正した上で評価させ、誤字脱字の修正が アノテーター間で異なる場合は第 1 著者の判断でい ずれか 1 つの修正を採用する。また各文に対する最終的なラベルは多数決によって決める。評価方法に ついて、ここではぺア文を分離し全 4,004 文をラン ダムに並び替えたものをアノテーションさせる。そ の理由は、ペアとして評価する場合と 1 文ずつ評価 する場合とで評価が変わると予想されるためであ る。本研究では 1 文での道徳的評価を想定している ため、ペアではなく 1 文ずつ評価させる。

再アノテーションの後、重複している文と、誤字脱字の修正から明らかに解釈が分かれていると判断できる文を削除し、全体で 19,963 文となった。最終的なデータセットの統計情報を表 2 に示す。アノ テーター間の一致度について、Fleiss の kappa 値は平均 0.74 であり、これは「かなり一致」していること を示す。また検証用とテスト用セットには 3 人のア ノテーター間で評価が一致したものだけを用いる。

## 4 評価実験

実験設定 本評価実験で使用するモデルは日本

メータについて、学習率には $\left.\{1 \times 10^{-5}, 3 \times 10^{-5}\right.\}$ を

8）結果的には全てのアノテーターが正しく入力していたた め、再アノテーションは行わなかった。

9) base:https://huggingface.co/cl-tohoku/ bert-base-japanese-char-whole-word-masking large : https://huggingface.co/cl-tohoku/ bert-large-japanese

10) https://huggingface.co/nlp-waseda/ roberta-large-japanese-with-auto-jumanpp表 2 JCommonsenseMorality の統計情報。括弧内の数値は 道徳的に間違っていると評価された文の数である。

表 3 実験結果。各数值は 5 つのランダムシードでの結果 の平均である。最も良い結果を太文字で示す。

使用し、バッチサイズには $\{8,16\}$ を使用する。た だし、 RoBERTa $_{\text {large }}$ のみ学習が不安定だったため、学習率に $\left.\{1 \times 10^{-6}, 2 \times 10^{-6}, 5 \times 10^{-6}\right.\}$ も用いた。工 ポック数は最大 4 とする。検証用セットで最適なハ イパーパラメータを探索し、テスト用セットで評価 する。テスト用セットでのスコアは $0 \sim 4$ の 5 つの ランダムシードでのスコアの平均を報告する。

実験結果 実験結果を表 3 に示す。最もスコアが 高いのは RoBERTa arge で、正解率は 0.8558 となった。

## 5 考察

## 5.1 他のデータセットとの比較

く、正解率は 0.8558 であった。一方で、同様の方法 で構築された Hendrycs ら [8] の常識道徳データセッ トでの英語の RoBERTalarge の正解率は 0.904 である。 モデルが異なるので単純に比較することはできない が、これは本データセットが少なくとも同等かより 難しいタスクになっていることを示唆する。また、 JCommonsenseQA [13] での RoBERTa large の正解率は テスト用セットで 0.907 であるため ${ }^{12)}$ 、本研究で構築した JCommonsenseMorality はより困難な常識理解を必要とするタスクであると考えられる。

## 5.2 データセットの分析

本研究で構築した JCommonsenseMorality の内容 について、ここでは日本語道徳基盤辞書 $[23]^{13)}$ を用 いた分析を行う。日本語道徳基盤辞書とは、心理学理論である道徳基盤理論を元にして構築された辞書 である。道徳基盤理論とは、心理学者の Haidt らに

11) https://www. fabiocrameri.ch/colourmaps/

12) https://github.com/yahoojapan/JGLUE

13) https://github.com/soramame0518/j-mfd

(a) 道徳的に間違っている文での集計

(b) 道徳的に許容できる文での集計

図 1 道徳基盤理論に基づいた辞書を用いた分析結果。各図の横軸はそのカテゴリに属する用語がデータセット中に出現した頻度を表す。グラフに用いた色には色覚多様性に配慮した Scientific colour maps を用いた [22] ${ }^{11)}$ 。

表 4 日本語道徳基盤辞書の具体例

よって提案された理論であり、私達の道徳観および その基盤を 5 つのカテゴリ（危害、公正、内集団、権威、純潔）に分類、説明するものである [24]。本研究で用いる日本語道徳基盤辞書 [23] は、英語です でに構築されている道徳基盤辞書 [24]を半自動的に 翻訳、修正したものである。計 714 単語が収録され ており、それぞれに対して、5つのカテゴリの善悪 と「道徳一般」を表すカテゴリの計 11 カテゴリの いずれかが割り当てられている。例を表 4 に示す。

日本語道徳基盤辞書を用いて、本研究で構築し た JCommonsenseMorality を分析した結果を図 1 に示 す。図の横軸はそのカテゴリに属する用語がデータ セット中に出現した頻度を表す。道徳的に間違って いる文での集計（図 1a）と道徳的に許容できる文 での集計（図 1b）を比較すると、道徳的に間違って いる文の方では「悪」カテゴリに属する用語の頻度 が増え、許容できる文の方では「善」カテゴリに属 する頻度が増えていることがわかった。このことは 本研究で構築したデータセットの内容の傾向が、道徳的に間違っている文と許容できる文で適切に別 れていることを示唆する。一方で、特に「内集団」 と「権威」のカテゴリについては、道徳的に間違っ ている文であっても「善」に属する用語の頻度が高
かった。理由は 2 つあると考えられる。第一に、日本語道徳基盤辞書の語彙数がカテゴリ間で偏ってい る。「内集団」で「善」の用語は 98 個、「悪」の用語 は 43 個であり、また「権威」で「善」の用語は 129 個、「悪」の用語は 53 個となっている。そのため頻度の偏りが生じたと考えられる。しかし、そのカテ ゴリの語彙数で頻度を割った比率であっても、道徳的に間違っている文において「内集団」の「善」と 「悪」の比率の差は大きいままであるため、これだ けでは十分に説明されない。そこで第二に、「善」の 用語で高頻度の単語は道徳的に間違っている文脈で も使用しやすいことが考えられる。データセットの 道徳的に間違っている文において、「内集団-善」の 用語で特に使用頻度が高かったのは「家族」（61 回） と「同僚」（60 回）であった。こうした用語は道徳的に間違っている文脈でも容易に使用できるため高頻度となったと考えられる。

## 6 おわりに

本研究では $\mathrm{AI}$ に常識道徳を組み込み、また評価 するためのデータセット JCommonsenseMorality を 構築した。JCommonsenseMorality は行為を表す文に 対して道徳的に間違っているか許容できるかのいず れかのラベルが割り当てられているデータセットで ある。このデータセットを用いて実験を行ったとこ ろ、 RoBERTalarge での正解率は約 0.86 となり、他の タスクと比較して困難なタスクであることが示唆 された。また道徳基盤理論に基づいた分析から、本 データセットが適切な内容になっていることが示唆 された。今後は、JCommonsenseMorality と英語圏で の常識道徳データセットの比較や、より複雑な道徳理解を必要とするデータセットの構築を行う。

## 謝辞

本研究は JSPS 科研費 $22 \mathrm{~J} 21160$ の助成を受けたも のである。

## 参考文献

[1] Tolga Bolukbasi, Kai-Wei Chang, James Zou, Venkatesh Saligrama, and Adam Kalai. Man is to computer programmer as woman is to homemaker? debiasing word embeddings. In Proceedings of the 30th International Conference on Neural Information Processing Systems, NIPS' 16, p. 4356-4364. Curran Associates Inc., 2016.

[2] Karolina Stanczak and Isabelle Augenstein. A survey on gender bias in natural language processing. arXiv preprint arXiv:2112.14168, 2021.

[3] Su Lin Blodgett, Solon Barocas, Hal Daumé III, and Hanna Wallach. Language (technology) is power: A critical survey of "bias" in NLP. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5454-5476. Association for Computational Linguistics, 2020.

[4] Emily M. Bender, Timnit Gebru, Angelina McMillanMajor, and Shmargaret Shmitchell. On the dangers of stochastic parrots: Can language models be too big? In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, FAccT '21, p. 610-623. Association for Computing Machinery, 2021.

[5] 前田春香. アルゴリズムの判断はいつ差別になるの か: Compas 事例を参照して. 応用倫理, Vol. 12, pp. 3-21, 2021.

[6] ウェンデルウォラック, コリンアレン. ロボットに倫理を教える：モラル・マシーン［岡本慎平, 久木田水生訳］. 名古屋大学出版会, 2019.

[7] Liwei Jiang, Jena D. Hwang, Chandra Bhagavatula, Ronan Le Bras, Jenny Liang, Jesse Dodge, Keisuke Sakaguchi, Maxwell Forbes, Jon Borchardt, Saadia Gabriel, Yulia Tsvetkov, Oren Etzioni, Maarten Sap, Regina Rini, and Yejin Choi. Can machines learn morality? the delphi experiment. arXiv preprint arXiv:2110.07574, 2021.

[8] Dan Hendrycks, Collin Burns, Steven Basart, Andrew Critch, Jerry Li, Dawn Song, and Jacob Steinhardt. Aligning AI with shared human values. In International Conference on Learning Representations, 2021.

[9] Marten Sap, Saadia Gabriel, Lianhui Qin, Dan Jurafsky, Noah A. Smith, and Yejin Choi. Social bias frames: Reasoning about social and power implications of language. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5477-5490. Association for Computational Linguistics, 2020.

[10] Maxwell Forbes, Jena D. Hwang, Vered Shwartz, Maarten Sap, and Yejin Choi. Social chemistry 101: Learning to reason about social and moral norms. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 653-670. Association for Computational Linguistics, 2020.

[11] Denis Emelin, Ronan Le Bras, Jena D. Hwang, Maxwell
Forbes, and Yejin Choi. Moral stories: Situated reasoning about norms, intents, actions, and their consequences. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 698718. Association for Computational Linguistics, 2021.

[12] Nicholas Lourie, Ronan Le Bras, and Yejin Choi. Scruples: A corpus of community ethical judgments on 32,000 reallife anecdotes. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, No. 15, pp. 1347013479, 2021.

[13] 栗原健太郎, 河原大輔, 柴田知秀. JGLUE: 日本語言語理解ベンチマーク. 言語処理学会第 28 回年次大会, 2022.

[14] Edmond Awad, Sohan Dsouza, Azim Shariff, Iyad Rahwan, and Jean-François Bonnefon. Universals and variations in moral decisions made in 42 countries by 70,000 participants. Proceedings of the National Academy of Sciences, Vol. 117, No. 5, pp. 2332-2337, 2020.

[15] Russ Shafer-Landau. Moral Realism: A Defence. Oxford University Press, 2003.

[16] 太田紘史. 我々は客観主義者なのか？一メタ倫理学 への実験哲学的アプローチ. 蝶名林 (編), メ夕倫理学の最前線. 勁草書房, 2019.

[17] 児玉聡. 倫理学の基礎. 赤林郎・児玉聡（編）, 入門・倫理学. 勁草書房, 2018.

[18] ジョンロールズ. 正義論 改訂版 [川本隆史, 福間聡,神島裕子訳］. 紀伊国屋書店, 2010.

[19] Peter Singer. Ethics and intuitions. The Journal of Ethics, Vol. 9, No. 3, pp. 331-352, 2005.

[20] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[21] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized bert pretraining approach. Computing Research Repository, Vol. arXiv:1907.11692, 2019.

[22] Fabio Crameri. Scientific colour maps, 2021.

[23] Akiko Matsuo, Kazutoshi Sasahara, Yasuhiro Taguchi, and Minoru Karasawa. Development and validation of the Japanese Moral Foundations Dictionary. PLOS ONE, Vol. 14, No. 3, pp. 1-10, 032019.

[24] Jesse Graham, Jonathan Haidt, and Brian A Nosek. Liberals and conservatives rely on different sets of moral foundations. Journal of personality and social psychology, Vol. 96, No. 5, p. 1029, 2009.

## A 付録

## A. 1 ペア文作成のガイドライン

図 2 ペア文の作成に用いたガイドライン、及び作成の際の参考例。画像中の「備考」欄について、URL先では、別の研究プロジェクトで開発中のストーリーコーパスからランダムに文が出力されるようになっている。

目的：AIに「人間は 2 つのシナリオの内、どちらのシナリオが道徳的に間違っているか」を理解させるためのデータ を集めること。

やってもらうこと：一方の行為は明らかに道徳的に間違っているが、他方の行為は道徳的に許容できることをしてい るような、2つの類似したシナリオの作成。

お願い：AI に常識的な道徳を理解させたいので、できる限り多様なシナリオを作成してください。

注意点：

・シナリオの主節に主語は入れないようにしてください

・1つ目のシナリオでは道徳的に明らかに間違ったことを書いてください。2つ目のシナリオでは道徳的に明らかに許容できることを書いてください。

一あなたの家族があなたの書いたシナリオを読んで、道徳的に許されること、間違っていることに同意するかど うか想像してみてください。

・2つのシナリオは、全く別の文ではなく、同じ行為が行われているか、あるいは同じ状況設定であるようにしてくだ さい。

・「毒を盛る」「殴る」「投げる」「殺す」「撃つ」「麻薬」「爆弾」「騙す」「盗む」「嘘」などの明らかに間違ってることが わかる用語は避けてください。

・シナリオ全体を読まないとわからないような表現に挑戦してみてください。

・中絶や死刑、安楽死など、政治的、道徳的に意見が分かれそうなものは避けてください。

## A. 2 再アノテーション時のテストデータ

1. どうしてもほしいものがあったので、がんばってお金をためて買う（想定解：道徳的に許容できる）

2. 銭湯で隣の見知らぬ人にシャワーをいきなりかけた（想定解：道徳的に間違っている）

3. 明け方に雨が降っていたので、犯罪の証拠を隠滅しに行った（想定解：道徳的に間違っている）

4. 友人と一緒に遊園地に行った（想定解：道徳的に許容できる）


# 権利侵害と不快さの間 : 日本語人権侵害表現データセット

久田祥平 若宮翔子 荒牧英治
奈良先端科学技術大学院大学
\{s-hisada, wakamiya, aramaki\}@is.naist.jp

## 概要

ネット上の誹謗中傷は大きな社会問題なってお り，検出タスクやデータセット構築などの研究が行 われている. 既存研究は, 誹謗中傷の主観的な性質 のため，読み手の感性としての主観評価を受け入た 分類または，誹謗中傷をへイトスピートのようなよ り細かいサブタスクに分割することで，課題を具体化した, 明確な基準による分類に基づいている.こ のため，ヘイトスピーチのような関心度の高いサ ブタスクを除き，社会問題に至る言語行為と，既存の誹謗中傷へのアプローチにはやや隔たりがあ る. 本研究では，誹謗中傷を人権侵害という観点か ら捉えることで，その専門家である法曹による判断 を利用することができると考え，判例から，人権侵害が争われた言語表現のデータセットを作成し， https://zenodo.org/record/7481459 で公開を開始 している。これにより, 人権侵害の言語的な特徵 や，既存研究における誹謗中傷との相違点を明らか にすることが期待される。

本論文では，誹謗中傷の事例を扱う性質上，不快な表現が含まれることにご注意下さい.

## 1 はじめに

インターネットが言論空間として台頭するにつ れて，ソーシャルメディアや匿名掲示板を介した誹謗中傷は，様々な人権侵害を引き起こしている.こ の問題に対応するため, 検出手法の提案や, その リソースとして OLID [1] や HateSpeech18 [2] などの データセットの構築が行われている. 誹謗中傷は,主観的な性質の高いテキストである $[3,4]$ ために，一般化された客観的な基準を作成することが難し い [5]. そのため, 既存のデータセットは, 2 つの 方向性でアノテーションが実施されている. 1つ目 は，Toxicity [6] や一部のへイトスピーチデータセッ
ト [7]のように，主観的な評価を認めるものである. 2つ目は，誹謗中傷に関わる類型やサブタスクが整理された後 $[4,8]$, ヘイトスピーチ $[9,2]$ や Offensive language の宛先 [1] といった, サブタスク毎に問題を 具体化し，明確な基準を提案することで，検出モデ ルなどの応用面でも扱いやすいものになっている.

しかし, 既存研究が定義してきた誹謗中傷と人権侵害のような社会で問題とされる言語表現行為の隔 たりがあると考えられ，その違いに対する理解には 専門的な判断を利用, 比較する必要がある. ロシア における侮辱に取り組んだ研究 [10] は，既存研究に おける侮辱とその法的規制の対象となる言動として の侮辱的言動には隔たりがあることを指摘し，専門知を取り込んだ検出手法の提案した. ロシア連邦法 5.61 条に基づいて, 侮辱を 1）罵䍗雑言や卑猥な語彙を含むこと，2）発言の方向がわかること，3）不道徳や公的に非難される行動を示すような行動の 表現を含むことと定義し, 法律の条文に基づく検出 モデルを検証したが，データセット作成過程で 3) の形式化が難しく, アノテーター間での議論の余地 が残ることを報告している. 誹謗中傷対策のコンテ ンツモデレーションの基準にも, 現地法やコミュニ ティーガイドラインなどの根拠，言語的な線引の明確化や，文化的背景を考慮することが求められてい る $[11,12]$ 中では, 誹謗中傷に対する専門家の判断 を理解することは重要である。

本研究は，ネット上での誹謗中傷を現実の人権侵害の問題として扱うことで，その専門家である法曹 による判断である判例を利用する、インターネット 上の人権侵害の判例上の定義について議論した後 に，具体的な言語的な特徴を理解することに向け た，インターネット上の人権侵害を争われた言語表現のデータセットを構築する。具体的には，判例か ら，人権侵害の有無が争われたテキスト，侵害の判断に利用された前後のテキスト，どの権利の侵害が 主張されたか，その侵害は認められたか，といった 6 項目の情報を抽出する。このデータセットによ

り，言語表現における人権侵害の分離境界面の定量的な分析や，既存の誹謗中傷の類型論や自動検出比較を可能とし，誹謗中傷問題へのより深い理解が期待される。

## 2 人権侵害に至る誹謗中傷と基準

今回のデータセットは，人権侵害のうち，誹謗中傷による人格権の侵害, 中でも主に名誉権・名誉感情の侵害を取り扱う。データセットの作成過程で は，上記の以外の人格権侵害事例も含まれている。本章では, 名誉権・名誉感情への侵害が, 制度上ど のように理解されているかを整理し, その質的な判断の基準について議論する.

## 2.1 名誉権

名誉権の侵害（名誉毀損）は，問題とされる表現 が，人の品性, 徳行, 名声, 信用等の社会から受け る客観的評価を低下させる，事実を摘示するもの，又は意見ないし論評を表明するもの [13] とされる.事実の摘示とは，特定の行為又は具体的事実を，叙述することである。それが公共性や公共目的，真実性といった違法性阻却事由がなく, 人の社会的評価 の低下をもたらす場合，或いは，ある真実を基礎と した意見ないし論評の表明であるが，人身攻撃に及 ぶなど意見ないし論評としての域を逸脱したものの 場合, 名誉権侵害は成立するとされる. 今回のデー タセットでは, 公共性や真実といった違法性阻却事由は，他の証拠などをもって証明されるものを扱う ことができないため，どのような表現が，表 1 の事例のように，事実の摘示として人の社会的評価が下

表 1: 本データセットで扱う名誉権侵害事例と非侵害事例：前者は集団虐めを主導する人物であるとの 事実の摘示が認められた一方, 後者は具体的事実を 摘示するものではなく，その批評も社会通念を超え た不適切なものでないと判断された.

げるか，そうでないなら，通常の意見や論評を逸脱 したものかについて，判例にあるような「一般の閲覧者の普通の注意と読み方を基準とした」表現の基準を探ることが目的となる.

既存の Abusive language 研究との対比では, 事実 の摘示は，必ずしも侮辱語や污い言葉を使っている とは限らないため, 問題が重複しない部分が出てく る. その中でも，企業の評判を扱ったもの [16] や， “calumniation”（中傷や誣告）をラベルとして扱った 研究 [17] は名誉権侵害と一部問題が被っていると考 えられる。

## 2.2 名誉感情

名誉感情とは，人が自己自身の人格的価値につい て有する主観的な評価である [18]. 実際には，客観的な評価が求められ，その侵害の有無は「社会通念上許される限度を超える侮辱行為であると認めら れる」[19]ことと判断され, 文言自体の侮辱性の 程度，根拠の示されていない意見ないし感想かどう か，侮辱文言の数，表現の明確性といった要因がそ の都度考慮されると指摘されている [20].

既存研究 $[22,1]$ における侮辱 (insult) は, 宛先の ある罵倒的，下劣，または不快な言葉を含む表現と 定義される。一方, 名誉感情侵害では, 表 2 の侵害事例のような差別的な表現だけでなく, 表 1 の侵害

表 2: 本データセットで扱う名誉感情侵害事例と非侵害事例：前者は頭脳が健常ではないことを挪揄す る表現は一種の差別的表現であり，侮辱と解された 一方，後者は批判的又は消極的意見の一つとして，社会的通念上許される限度を超える侮辱行為とまで は認め難いと判断された。

 &  \\

 \\

図 1: データセットラベルの一例

事例の「マジ痛い」「中二病過ぎてキモい」も強く 生理的嫌悪感を表現するものとして，通常の社会生活において投げかけられることはめったにない強い 侮辱侵害として判断された. これに対して, 表 2 の 非侵害事例のように，嫌悪感を伴う消極的意味の言葉の使用が，批判や消極的な意見の 1 つとして，社会通念上許される限度の範疇であると判断されてい るなど，単純に基準の解釈ができるものではない.「社会通念上許される限度」という基準を探り，侮辱表現の判断の傾向に対する理解支援が，本研究の 目的の一つである.

## 3 日本語人権侵害表現データセット

本研究では，テキストによる誹謗中傷に対する裁判における人権侵害の有無の判断に基づき，日本語人権侵害表現データセットを作成する。 図 1 は，そ の一例を示す。

## 3.1 作成手順と項目

日本語人権侵害表現データセットの作成手順を説明する. 調査対象は, 民事事件の発信者情報開示請求事件または，損害賠償等請求事件のうちインター ネット上の投稿による事件である. アノテーター は，これらの裁判例から，次の 6 項目に該当する文章の抽出やラベルの付与を行う。

## $1:$ 本件投稿

本件投稿は，判例の投稿記事目録や事実・理由部分から，権利侵害の有無が争われた表現を匿名化し てタグを付与し，書き起こしたテキストである。も との投稿記事目録や事実・理由部分では，原告に関 わるような，個人情報と考えられるテキストが，ア ルファベット，記号，黒塗り等で置き換えられてい る.この匿名化済みの記述に対して，個人の身元証明に関わる記述には $[\mathrm{P} 1]$, 企業や団体の身元証明 に関わる記述には $[\mathrm{G} 1]$ ，商品や制作物に関する記述には [M1]，住所など個人情報に関わる部分には [INFO1]のタグを，それぞれ同一人物や同一表現が わかるように番号分けて付与する. 本件投稿中に URL が含まれる場合は，URLを [URL] タグに置換 している.

## 2: 文脈（本件投稿に関わる他の投稿）

本件投稿への判断に考慮されたスレッドタイト ル・会話・前後の投稿を判例で引用している場合が ある. 本件投稿に関わる他の投稿は，そのようなテ キストを書き起こしたものである. より問題の正し い理解や精度の高い学習や分類以外のタスクにおい ても，利用可能な文脈情報を付与する. 本件投稿と 同様の方法で匿名化処理を施している.

## 3: 人格権侵害

本件投稿が，どの人格権の侵害を含んでいるか，問題が争われた権利の類型とその判断についてラべ ルで示したものである.

## 3-1a: 人格権の類型 1

人格権の類型 1 は，本件投稿がどの権利に対する 侵害であるか，裁判で争われた点についてラベルで 示したものである. 裁判においては，問題とされる 投稿によって侵害されている権利を原告側が訴える ものであり，裁判所は，それぞれ訴えについて判断 を下す. 1 つの本件投稿に対して，複数の権利侵害 の訴えが存在する場合，侵害が認められた権利を含 む最大 2 つを抽出する. 判例文中で，本件投稿に対 して「社会的評価」「名誉権」といった文言を含む 判断が行われている場合は名誉権，「社会通念上許容される限度を超えた侮辱」「名誉感情」という文言を含む判断が行われている場合は名誉感情，「プ ライバシー」という文言を含む判断が行われている 場合はプライバシー権を扱い，上記の 3 項目に該当 しないが「人格権」という文言を含む場合は，その 他の人格権をラベルとして選択する．加えて裁判例 の中には，本件投稿の表現は原告を標的としている と推認出来ないと判断されるものなど，人格権と

いった権利侵害についての判断が下される前に，主張が棄却された事例の場合，None を付与する。

## 3-1b: 類型 1 の判断

「原告の名誉感情を違法に侵害するものである.」 のように，人格権等に対する侵害を認める表現が含 まれる場合，本件投稿による類型 1 の権利侵害が認 められた事例として 1 を，「社会通念上許される限度を超えて原告を侮辱するものとは評価できない.」 のように本件投稿が人格権等に対する侵害が認めら れると言えないと判断される表現が含まれる場合，権利侵害が否定された事例として 0 を付与する.

## 3-2a, 2b: 人格権の類型 2 , 類型 2 の判断

複数の権利について裁判で争われた場合，類型 1 の場合と同様に 2 つ目の項目の類型を選択し，判断 についてラベルを付与する.

## 4: 事件番号

本件投稿の引用元となった事件番号と争われた裁判所である.

## 5: 文献番号

本件投稿の引用元となった文献番号である.

6: プラットフォーム

事件の本件投稿が発生したコンテンツプラット フォームが明記されている場合，記載する。

## 3.2 統計量

日本語誹謗中傷判例データセットは，132 件の事件に対する 442 件の投稿を抽出して構築された. ラ ベルの分布を付録の表 3 に示す. なお，判例集デー タへのアクセスライセンスの都合上，1名のアノ テーターがアノテーションを実施した.

(a) 侵害事例

(b) 非侵害事例図 2: Toxicity 值の箱ひげ図：侵害事例における平均は名誉権 0.285 , 名誉感情 0.429 , プライバシー権 0.317，その他人格権 0.346. 非侵害事例における平均は名誉権 0.165 , 名誉感情 0.306 , プライバシー権 0.293 .

## 3.3 Toxicity との比較

通常，類似のデータセットとの比較を行うのが一般的だが，誹謗中傷に関連する日本語で公開されて いるデータセットを認知していない。本稿では，構築したデータからラベル別に，誹謗中傷等の代表的 な分類モデルの 1 つである Perspective API [23] によ る Toxicity と比較することで，既存の誹謗中傷検出関連モデルとの比較を行う. Toxicity はその定義よ り，判断を読み手に委ねる主観的な指標と考えられ る. 図 $2 \mathrm{a}$ は，判例において，ある投稿の権利侵害を 認めた事例における Toxicity 値の箱ひげ図である.名誉感情侵害表現へのスコアが高く出る傾向は，テ キストから受ける主観的な不快さのある表現と，重複する部分がある示されている一方で，名誉権侵害 のように批判的な表現の意味への理解が必要な事例 では検出の難しいことがわかる。一方，図 $2 b$ が示 すように，非侵害事例においては，平均的には侵害事例よりも低い Toxicityを示している。しかし，一部事例では，Toxicity の高い表現であっても，権利侵害とは認められない事例が存在する。既存研究の 手法では，捉えきれない誹謗中傷の問題の存在が示唆される。事例を交えた Toxicity の比較は中傷表現 を含むため付録にて示す.

## 4 おわりに

本研究では誹謗中傷について人権侵害という観点 を取り入れて，専門家の判断を理解するためのデー タセットを提案した. テキスト表現よりどのような 人権侵害を引き起こすかについてや，その判断の分 かれる表現の境界面についての，より詳細な分析を 通じて，複雑な言語行為である誹謗中傷の深い理解 が期待できる。一方で，今回は，その扱うテキスト の問題で， 1 名のアノテーターによる 442 件の投稿 へのアノテーションにとどまっている。また，判例中の判断内容をより紐解いていくと，同定可能性,違法性阻却事由，そして誹謗中傷を受けている人の 属性といった項目も，実際では重要な要素である が，今回十分には考慮できていない。言語的な特徴 から問題性への判断を理解する上で，判例中よりこ の論点を抽出できるようなアノテーションのスキー 么の提案も必要である. 今後も量・質の面で判例を 利用したデータセットを拡張することで，誹謗中傷 について理解する上で，表現だけでなく，文脈を踏 まえた意味といった点に注目できる.

## 謝辞

本研究の一部は，JSPS 科研費 JP22J23161, JP22K12041, JP19H01118 および JST SICORP JPMJSC2107 の支援を受けたものである.

## 参考文献

[1] Marcos Zampieri, Shervin Malmasi, Preslav Nakov, Sara Rosenthal, Noura Farra, and Ritesh Kumar. Predicting the type and target of offensive posts in social media. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1415-1420, Minneapolis, Minnesota, June 2019.

[2] Ona de Gibert, Naiara Perez, Aitor García-Pablos, and Montse Cuadros. Hate Speech Dataset from a White Supremacy Forum. In Proceedings of the 2nd Workshop on Abusive Language Online (ALW2), pp. 11-20, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[3] Bertie Vidgen and Leon Derczynski. Directions in abusive language training data, a systematic review: Garbage in, garbage out. PLoS One, Vol. 15, No. 12, p. e0243300, December 2020.

[4] Zeerak Waseem, Thomas Davidson, Dana Warmsley, and Ingmar Weber. Understanding abuse: A typology of abusive language detection subtasks. In Proceedings of the First Workshop on Abusive Language Online, pp. 7884, Vancouver, BC, Canada, August 2017. Association for Computational Linguistics.

[5] Bertie Vidgen, Alex Harris, Dong Nguyen, Rebekah Tromble, Scott Hale, and Helen Margetts. Challenges and frontiers in abusive content detection. In Proceedings of the Third Workshop on Abusive Language Online, pp. 80-93, Florence, Italy, August 2019. Association for Computational Linguistics.

[6] Ellery Wulczyn, Nithum Thain, and Lucas Dixon. Ex machina: Personal attacks seen at scale. In Proceedings of the 26th International Conference on World Wide Web, WWW '17, pp. 1391-1399, Republic and Canton of Geneva, CHE, April 2017. International World Wide Web Conferences Steering Committee.

[7] Paula Fortuna, João Rocha da Silva, Juan Soler-Company, Leo Wanner, and Sérgio Nunes. A hierarchically-labeled Portuguese hate speech dataset. In Proceedings of the Third Workshop on Abusive Language Online, pp. 94-104, Florence, Italy, August 2019. Association for Computational Linguistics.

[8] Anna Schmidt and Michael Wiegand. A survey on hate speech detection using natural language processing. In Proceedings of the Fifth International Workshop on Natural Language Processing for Social Media, pp. 1-10, Valencia, Spain, April 2017. Association for Computational Linguistics.

[9] Thomas Davidson, Dana Warmsley, Michael Macy, and Ingmar Weber. Automated hate speech detection and the problem of offensive language. ICWSM, Vol. 11, No. 1, pp. 512-515, May 2017.

[10] Liliya Komalova, Anna Glazkova, Dmitry Morozov, Rostislav Epifanov, Leonid Motovskikh, and Ekaterina Mayorova. Automated classification of potentially insulting speech acts on social network sites. In Digital Transformation and Global Society, pp. 365-374, 2022.

[11] Jillian C. York and Corynne Mcsherry. Content moderation is broken. let us count the ways. https://www.eff.org/deeplinks/2019/04/contentmoderation-broken-let-us-count-ways. [accessed on December 31th, 2022].

[12] The santa clara principles on transparency and accountability in content moderation. https://santaclaraprinciples.org/. [accessed on December 31th, 2022].

[13] 最高裁判所第三小法廷平成 6 年（オ）第 978 号. LEX/DB 文献番号 28021760.

[14]東京地方裁判所令和 3 年（ワ）第 22400 号. LEX/DB 文献番号 25604264 .

[15] 東京地方裁判所令和 3 年（ワ）第 29589 号. LEX/DB 文献番号 25604756 .

[16] Nikolay Babakov, Varvara Logacheva, Olga Kozlova, Nikita Semenov, and Alexander Panchenko. Detecting inappropriate messages on sensitive topics that could harm a company's reputation. In Proceedings of the 8th Workshop on Balto-Slavic Natural Language Processing, pp. 26-36, Kiyv, Ukraine, April 2021. Association for Computational Linguistics.

[17] John Pavlopoulos, Prodromos Malakasiotis, and Ion Androutsopoulos. Deeper attention to abusive user content moderation. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1125-1135, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[18] 最高裁判所平成 21 年（受）第 609 号 民集第 64 巻 3 号 758 頁.

[19] 最高裁判所第三小法廷平成 21 年 (受) 第 609 号. LEX/DB 文献番号 25442100 .

[20] 公益社団法人商事法務研究会. インターネット上の 誹謗中傷をめぐる法的問題に関する有識者検討会. https://www.soumu.go.jp/main_content/000818861.pdf. [accessed on December 31th, 2022].

[21] 東京高等裁判所令和 2 年 (ネ) 第 1555 号. LEX/DB 文献番号 25567236 .

[22] Cynthia Van Hee, Els Lefever, Ben Verhoeven, Julie Mennes, Bart Desmet, Guy De Pauw, Walter Daelemans, and Veronique Hoste. Detection and Fine-Grained classification of cyberbullying events. In Proceedings of the International Conference Recent Advances in Natural Language Processing, pp. 672-680, Hissar, Bulgaria, September 2015. INCOMA Ltd. Shoumen, BULGARIA.

[23] Jigsaw. Pespective api. https://perspectiveapi.com/. [accessed on December 31th, 2022].

## A 日本語データセットの分析

## 投稿コンテンツ

図 3 に，人権侵害と判断された事例における，本件投稿テキストに基づき作成されたワードクラウド を示す．名誉権侵害の場合，「自分」や「会社」と いった出現頻度の高い表現の次には，犯罪行為に関連する単語が様々出現している。このような犯罪行為を糾弾することが，事実の摘示と判断される事件 が起きる傾向を示している. 名誉感情侵害の場合,「笑」や「WWW」と言った表現とともに，多様な侮辱語の表現が出現している. このように嘲笑する形 で，他者を侮辱するような表現が事件として判断さ れる傾向を示している。

(a) 名誉権侵害

(b) 名誉感情侵害図 3: 人権侵害表現におけるワードクラウド

## データセット中の人権侵害表現権利侵害あり

例 1)「辞めたくても契約違反の条件が厳しくと ことん追い込んでむしり取る.」フランチャイズに 対する高圧的な契約内容の存在を掲示板に書き込 んだ事例. 契約関係からの脱退を申し出た加盟店に 対し, 追い込んで財産を奪い取るとの事実を摘示す るものであり，社会的評価を下げると判断されるよ うな表現である。このような，真贋は考慮しなくて も，不正な事実描写に対しては Toxicity は上手に扱 えておらず 0.00653 と非常に低い値である.このよ うな，侮辱語の少ない事実の摘示に対しては，フェ イクニュース分類なども分類手法の利用の可能性が 示唆される.

## 権利侵害なし

例 2)「店員じゃないなら $\mathrm{E}$ ？お前こそ心療内科行けよ どうせここで売れない女だろ？お前こそ 嘘つき泥棒」という名誉感情侵害が争われた事例.「心療内科いけょ」「どうせここで売れない女」「嘘 つき泥棒」という記載は, 表現として適切とはいい 難いものの, 社会通念に照らして許容できないほ ど著しく不適切なものとまではいえないと判断さ れている。一方, 不快さは十分に高いと考えられ， Toxicity 値は 0.869 と高い値を示している.

表 3: 日本語人権侵害表現データセットにおいて取 り扱った事件と本件投稿数，ラベルの分布. 一部本件投稿には複数のラベルを含む場合があるので，テ キスト数とラベル数の合計は一致しない.

例 3)「タトゥーのことなんぞ知らねえよ！だかと 呼んだことはないとかって発想にはならないけどな 笑 なにを思うがお前の勝手にすりゃいいが，ワキ ガで臭いと感じたことある人間は俺だけじゃないこ とぐらいレス見返してみればわかるやろ？なにおそ んなに書き誇りていいのか知らねえがワキガはワキ ガなんやから匂い嗅いで確かめて来いよ!」という 発言で名誉権侵害が争われた事例. 他の投稿も合わ せて, 原告から腋臭症のような臭いがするとの限度 では，事実を摘示しているといえるが，違法性阻却事由があることがうかがわれること（文脈上，上記 の投稿者は，実際に原告から性的サービスの提供を 受けた上で，実体験として，腋臭症のような臭いを 感じたことを主張していることが明らかである.) と，証拠だけでなく，掲示板の投稿内容から真実性 が判断されたため, 名誉権侵害は否定されている. こちらも，ワキガの指摘という不快感の高い発言に 対して， Toxicity 值は 0.518 と高くなっている.


# 程度を考慮したフォーマリティ恋換のための データセットの収集と分析

守屋彰二 ${ }^{1}$ 岸波洋介 ${ }^{1}$ 佐藤志貴 1 德久良子 ${ }^{1}$ 乾健太郎 1,2
1 東北大学 2 理化学研究所
}

\{shoji.moriya.q7, yosuke.kishinami.q8\}@dc. tohoku.ac.jp \{shiki.sato.d1, tokuhisa, kentaro.inui\}@tohoku.ac.jp
## 概要

自然言語処理におけるテキストスタイル変換で は，文の意味を保持したまま両極端の 2 つのスタイ ルの一方から他方へ変換することが一般的である。 それに対して我々は，連続的なスタイルの程度を制御可能な変換の実現を目指す。本研究ではその第一歩として，フォーマリティの程度が異なる同内容の 文に対し，その度合いが付与されているデータセッ ト『フォーマリティスコア付き GYAFC』を構築し た. 分析の結果，全体としてフォーマリティの程度 について人の間で一定の合意が得られること，誤記 やスラングによる程度の差異に関しては特に合意が 得やすい可能性があることがわかった. 本研究で収集したデータセットは，後日公開予定である.

## 1 はじめに

近年，自然言語処理の分野において，テキストの 意味を保ちながらフォーマリティやシンプリシティ などのスタイルを変換するテキストスタイル変換の 研究が盛んに行われている $[1,2]$. テキストスタイ ル変換は，状況に応じたテキストを生成する上で非常に有用な技術であり，幅広い用途があることで知 られている $[3,4]$. 例えば，学習データの水増し [5] や一貫したペルソナをもつチャットボットへの応用 [6] などがある.

現在行われているテキストスタイル変換の研究の 多くは，フォーマル・インフォーマルのように両極端のスタイルの一方からもう一方へと変換するもの である [1]. しかし，現実では「スタイルの程度」が 存在すると考えられる．例えば，相手との距離感が 近くなるにつれ，用いる表現のフォーマリティの程度が徐々に低くなっていくことが想定される. 程度 を考慮した上でスタイル変換することは実応用にお

ける融通性・有用性を高める上で非常に重要な観点 であると考えられる。

しかし，そもそも「スタイル」には一般的な定義 は存在せず，個人の直観に基づく概念であるとされ ている [3]. そのため，連続的に（完全に連続でなく てもスケーラブルに）変化すると考えられる「スタ イルの程度」に関しても，人の間で合意が取れるか どうかは自明ではない，仮に人の間でまったく合意 が取れなければ，スタイルの程度を変化させた文を 自動生成することは難しい。逆に，ある程度人の間 で合意が取れれば，人手によりコーパスを整備する ことで，連続的に程度を制御可能なスタイル変換シ ステムを構築できると考えられる。

そこで，本研究では，スタイルの一つである フォーマリティに着目し，フォーマリティの程度に 対する共通認識を形成できるかについて調べる．具体的には，まず，フォーマリティの程度が異なる同 じ意味の文に対してその度合いが付与されたデー タを小規模に収集した (表 1). その後，フォーマリ ティスコアをもとにワーカ間でフォーマリティの程度に関する合意が取れるかどうかを調べる。

本研究の貢献は，以下の通りである．1) 多様な程度のフォーマリティで書かれた同じ意味の文に対 し，その程度が付与されたデータの収集手法を考案

図1提案手法：フォーマリティスコア付きコーパスの収集

する．2)フォーマリティの程度が付与されている 1100 文のデータセット『フォーマリティスコア付き GYAFC』を構築する。3) フォーマリティの程度に 対して，人の間で一定の認識の合意が取れるかどう かを確認し，合意の得やすさに影響を与える要素に ついて調べる。

## 2 関連研究

## 2.1 テキストスタイルの定義

テキストスタイル変換の研究におけるスタイル は，個人が持つ固有の特性を表現する方法という直観的な概念であるとされている [3]. 今回我々が扱 うフォーマリティについても，一般的な定義は存在 しない [7]. 社会的な距離や共有された知識などの 状況によって定義される例もあれば [4]，スラング の使用や文法的な誤りなどのより抽象度の低い定義 が採用される例もある $[8,9]$.

## 2.2 フォーマリティのデータセット

フォーマリティのラベル付きパラレルコーパス として，フォーマル・インフォーマルのスタイルラ ベルが付与されている GYAFC (Google Yahoo Answer Formality Corpus) [10] や，複数ヶ国の言語が含まれ る XFORMAL [11] などがある. また，フォーマリ ティの程度がアノテーションされているノンパラレ ルコーパスとして，formality-corpus [7] がある.

フォーマリティの程度に対する合意を調べる上 で，異なる意味の文を比較するよりも同じ意味の文 を比較する方が，相対的な程度の差が明確になると 考えられる。そこで本研究では，同じ意味の複数の文に対しフォーマリティの程度が付与されたデータ セット『フォーマリティスコア付き GYAFC』を構築した.

## 3 提案手法

同じ意味の複数の文に対しフォーマリティの程度 が付与されたデータの収集方法を提案する。まず，多様な程度のフォーマリティを持つ文を収集するた め，フォーマリティのラベルのついたパラレルコー パスの文に対しパラフレーズを行う．その後，収集 した文にフォーマリティスコアを付与する。なお，本手法では Pavlick ら [7] に従い，フォーマリティと は何であるかを具体的に明記せず，各個人が持って いる独自のフォーマリティの定義に従うボトムアッ プの手法を採用した.

パラフレーズ（図 1 の [A]）。まず，GYAFC の うちフォーマル文をワーカに与え，その文と同じ 意味の「A Little more informal」「Much more informal」 の 2 種類のインフォーマル文を書かせる。これを 各文あたり 5 人のワーカに行わせ，合計 10 文のイ ンフォーマル文を得る. 同様に，インフォーマル 文に対してもワーカに「A Little more formal」「Much more formal」の 2 種類のフォーマル文を書かせ，合計 10 文のフォーマル文を得る，以上より，コーパ スに元々収録されているフォーマル・インフォーマ ルの 2 文に加えて 20 文を得る．以下，この 22 文か らなる集合を 1 グループとする. 2.1 節で述べた通 り，フォーマリティは各個人が持っている独自の定義に従うことから，複数のワーカに同じ設定でパラ フレーズを行わせることで多様な程度のフォーマリ ティを持つ文が収集可能と考えられる。

図 2 収集した文のフォーマリティスコアの分布

スコアリング（図 1 の [B]）。各グループに含ま れる文に対し, Pavlick ら [7] と同様にワーカに以下 の 7 段階でフォーマリティスコアを付与する:

-1-Very Informal

-2-Moderately Informal
- 3-A Little Informal
- 4-Neutral
- 5-A Little Formal
- 6-Moderately Formal

-7-Very Formal

このスコアリングを 1 グループあたり 5 人のワーカ に行わせ，文に付与された 5 人のフォーマリティス コアの平均值を最終的な文のフォーマリティスコ アとする. このようにして, 多様な程度のフォーマ リティで書かれた同じ意味の文に対し，フォーマリ ティスコアを付与したデータを収集する．なお，2.1 節で述べたように各個人が持っている独自のフォー マリティの定義に従うため，ワーカへの教示は必要最低限にとどめる.1）

今回はフォーマリティに着目してコーパスを構築 したが，本収集手法はフォーマリティに限らず他の 種類のスタイルにも適用できる可能性があると考え られる. 具体的には，「シンプリシティ」や「ポライ トネス」のように，連続的に変化するスタイルにつ いては今回提案した収集方法が適用できる可能性が ある.

## 4 データ収集の結果と分析

提案手法をもとに小規模に収集を行い，『フォー マリティスコア付き GYAFC』を構築した. 収集し たデータの同グループ内の文のスコアを比較するこ

1）本研究でデータセットを構築した際の教示画面を付録 A に示す.

図 3 グループごとの順位相関係数の分布

とで，人の間で相対的なフォーマリティの程度につ いて合意が取れるかどうかを調べた。また，合意の 得やすさに影響を与える要素について調べた.

## 4.1 データ収集の設定

パラフレーズ. GYAFC [10] から無作為に抽出 したフォーマル文とインフォーマル文の 50 対に 対し，パラフレーズを行った. 収集には Amazon Mechanical Turk ${ }^{2}$ を使用した. ${ }^{3)}$

スコアリング. GYAFC [10]の 50 対から作成し た全てのグループに含まれる文に対し，フォーマ リティスコアの付与を行った. 収集には，Amazon Mechanical Turk ${ }^{2}$ を使用した. ${ }^{4)}$

ワーカのフィルタリング. アノテーションの質 を担保するため， MACE5) を用い，competence の值 が低い下位 $30 \%$ のワーカを除去した上で，平均値を 計算して各文のフォーマリティスコアを得た.

## 4.2 収集結果

多様な程度のフォーマリティの文を計 1100 文収集し，『フォーマリティスコア付きGYAFC』を構築 した. 収集した文のフォーマリティスコアの分布を 図 2 に示す. 収集した文のフォーマリティスコアが 幅広く分布していることから，さまざまなフォーマ リティの程度を持つ文が収集できていることが確認 できた。また，実際に収集したデータの文例を表 1 に示す.

2) https://www.mturk.com/

3） $97 \%$ 以上の承認率，1000 件以上のタスク承認歴をもつワー カを 1 HIT あたり $\$ 3.5$ で 65 人雇用した. 1 HIT あたり 4 文対 のパラフレーズを行わせた. 想定時間は約 15 分であった

4） パラフレーズと同様の条件でワーカを $1 \mathrm{HIT}$ あたり $\$ 3.5$ で 250 人雇用した. 1 HIT あたり 1 グループ (22 文) スコアリン グを行わせた．想定時間は約 15 分であった.

5) https://github.com/dirkhovy/MACE
表 2 合意の取りやすさに影響を与える要因 (要因が含まれる箇所を太字で記す)

## 4.3 分析

同じグループ内に含まれる文のフォーマリティス コアを比較することで，相対的なフォーマリティの 程度について人の評価がどの程度一致するかを調べ る. また，フォーマリティの程度に対して合意が取 れるグループにはどのような特徴があるかを分析 する.

## フォーマリティの程度に対する合意．人の間で相対的なフォーマリティの程度に合意が取れるか を調べるため，同じ文に対しスコアリングを行った ワーカ間でフォーマリティの順位相関係数を算出し た.なお，今回は各グループごとに 5 人の異なるア ノテータが存在するため, 5 人の全組み合わせにお ける，各ワーカのフォーマリティスコアに基づくグ ループ中の文のランキングの順位相関係数を計算し た $^{6)}$. 各グループの順位相関係数の分布を図 3 に示 す. 平均値は 0.321 , 中央値は 0.333 であり, ワーカ の順位の間で正の相関が見られた。この結果から， フォーマリティの程度についてワーカ間で一定の 合意が得られることが確認できた. 一方で，グルー プ間で順位相関係数にばらつきが見られ，グループ によって合意の取りやすさが異なることも確認で きた.

合意の取りやすさに影響を与える要因. 収集し たデータを定性的に確認し，合意の取れやすさに影響を与える言語的要因について分析した。順位相関係数が高いグループでは，表 2 の (a) や (b) のように 誤記やスラングの有無や多さによるフォーマリティ の程度の差がみられた. 一方で, 順位相関係数が低 いグループでは，表 2 の (c)のように句の言い換え

によってフォーマリティの程度に差が生じる例がみ られた. このような分析は, 今回我々が作成した, フォーマリティが異なる同じ意味の文からなるコー パスを用いることで可能になるものと考える.

## 5 おわりに

程度を考慮したスタイル変換を行うことは，実応用において重要であると考えられる。しかし，「ス タイルの程度」に関して，人の間で合意が取れるか どうかは自明ではない. 本研究では，スタイルの一 つであるフォーマリティに着目し，フォーマリティ の程度に対して合意が取れるかどうか調べた. 具体的には，フォーマリティの程度が異なる同じ意味の 文に対してその度合いが付与されたデータを小規模に収集し, 分析を行った. その結果, フォーマリ ティの程度について一定の認識の合意が得られるこ とが確認できた。また，誤記やスラングによる程度 の際に関しては，特に合意が得やすい可能性がある ことがわかった。

今回の収集では，7 段階のスコアのランキングを もとに順位相関係数を計算し，フォーマリティの程度に対する認識の一致を確認した. しかし, ワーカ 間で絶対的なスコアの基準を合わせることは難し く，そのスコア自体の信頼性は十分とは言えない.今後の研究で, より適したアノテーションの方式に ついて模索していきたい. また, 本研究で提案した 手法は，フォーマリティに限らず他の種類のスタイ ルにも適用できる可能性があると考えている。他の 種類のスタイルにおいてもフォーマリティと同様に 程度の概念が存在しているのかどうかや，人々の間 でその程度に対して合意が得られるかについて調査 していきたい.

## 謝辞

本研究は，JSPS 科研費 JP21J22383，JST CREST JPMJCR20D2 の助成を受けたものです. 本研究を進 めるにあたり，愛媛大学の梶原智之先生に有益な ご助言をいただきました. また，AMTのタスク作成にあたっては, 東北大学乾研究室の藤原吏生氏, Steven Coyne 氏，栗田宙人氏に有益なコメントをい ただきました。ここに深く感謝申し上げます。

## 参考文献

[1] Di Jin, Zhijing Jin, Zhiting Hu, Olga Vechtomova, and Rada Mihalcea. Deep Learning for Text Style Transfer: A Survey. Computational Linguistics, Vol. 48, No. 1, pp. 155-205, 042022.

[2] Tomoyuki Kajiwara, Biwa Miura, and Yuki Arase. Monolingual transfer learning via bilingual translators for stylesensitive paraphrase generation. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 8042-8049, 042020.

[3] David D. McDonald and James D. Pustejovsky. A computational theory of prose style for natural language generation. In Proceedings of the Second Conference on European Chapter of the Association for Computational Linguistics, EACL '85, p. 187-193, USA, 1985. Association for Computational Linguistics.

[4] Eduard Hovy. Generating natural language under pragmatic constraints. Journal of Pragmatics, Vol. 11, No. 6, pp. 689-719, 1987.

[5] Yi Zhang, Tao Ge, and Xu Sun. Parallel data augmentation for formality style transfer. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3221-3228, Online, July 2020. Association for Computational Linguistics.

[6] Yanpeng Zhao, Wei Bi, Deng Cai, Xiaojiang Liu, Kewei Tu, and Shuming Shi. Language style transfer from sentences with arbitrary unknown styles. CoRR, Vol. abs/1808.04071, , 2018.

[7] Ellie Pavlick and Joel Tetreault. An empirical analysis of formality in online communication. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 61-74, 2016.

[8] Alejandro Mosquera and Paloma Moreda. A qualitative analysis of informality levels in web 2.0 texts: The facebook case study. pp. 23-29, 012012.

[9] Kelly Peterson, Matt Hohensee, and Fei Xia. Email formality in the workplace: A case study on the Enron corpus. In Proceedings of the Workshop on Language in Social Media (LSM 2011), pp. 86-95, Portland, Oregon, June 2011. Association for Computational Linguistics.

[10] Sudha Rao and Joel Tetreault. Dear sir or madam, may I introduce the GYAFC dataset: Corpus, benchmarks and metrics for formality style transfer. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics:
Human Language Technologies, Volume 1 (Long Papers), pp. 129-140, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[11] Eleftheria Briakou, Di Lu, Ke Zhang, and Joel Tetreault. Olá, bonjour, salve! XFORMAL: A benchmark for multilingual formality style transfer. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 3199-3216, Online, June 2021. Association for Computational Linguistics.

## A クラウドワーカへの教示画面

4.1 節で述べたパラフレーズおよびスコアリングにおいてワーカに提示した教示画面を，図 4 および図 5 に それぞれ示す.

## Paraphrasing to informal sentences

This HIT contains 5 questions (\#01-\#05).

## Task description

Please paraphrase the given sentences into two types of informal sentences: one is A Little more informal, and the other is Much more informal. Note that the meaning of the sentence must not be changed.

## Example

Original Sentence: Consumption of carbohydrates has been linked to weight gain.

A Little more informal: Carbohydrates may cause weight gain.

Much more informal: Carbs can make you fat.

This HIT includes a checking question to confirm that you are human.

Please read the question carefully and answer it.

図 4 パラフレーズでのクラウドワーカへの教示画面

## Annotation Guidelines

We are performing a research study on writing style. Please read the following sentences and determine the formality of each sentence. In general, we consider formal language to the type of language that is appropriate for professional and business communication. However, there is no perfect definition of formality, so use your own experiense and best judgement to make your decisions, keeping in mind the following guidelines:
- The formality of a sentence should not necessarily be dictated by the relationship between the people involved in the communication. I.e. it is possible for an employee to send speak informally to their boss.
- The formality of a sentence should not necessarily be dictated by the persona/business nature of the sentence. I.e. If it is possible for a person to speak/write informally about work/business or to write formally about personal matters.
- If the sentence is blank, not in English, or otherwise uninterpretable, please choose I cannot tell.

## Also, please indicate using the check box if you believe the sentence was not part of a person-to-person communication, e.g. If it appears to be spam or promotional. You should still rate the formality of the text, even if you check this box.

These HITs will be quality controlled. If you are not sure whether you are doing them correctly, please do a small number and wait for feedback before doing more. Thank you in advancel

Please rate the formality of the sentence on the seven-point scale:
- Score 7: Very Formal
- Score 6: Moderately Formal
- Score 5: A Little Formal
- Score 4: Neutral
- Score 3: A Little Informal
- Score 2: Moderately Informal
- Score 1: Very Informal

Examples of Very Formal sentences (should receive a rating of 6 or 7 )
- No one can be considered hot until after they are 17 years old. Before that everyone is just cute.
- I disagree, that would be excessive.
- What we are most happy about is the feeling we get

Examples of Very Informal sentences (should receive a rating of 1 or 2):
- $u$ cant b concidered hot till 17 before that your just cute
- No, that would be going tooo far:
- WHAT WE'RE REALLY LOVING IS THE WAY WE FEEL.

図5 スコアリングでのクラウドワーカへの教示画面