# 統語的構成や自己注意を持つ言語モデルは 「人間らしい」のか?

吉田遼 大関洋平
東京大学
\{yoshiryo0617, oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

本研究では、統語的構成と自己注意をアーキテク チャに持つ/持たない言語モデルの、人間の眼球運動・脳波のモデリングの精度を評価することで、そ れぞれの構成要素の「人間らしさ」を統一的に検証 する。具体的には、それぞれの構成要素を持つ/持た ない 4 つの統語的言語モデルと、自己注意を持つ/持 たない 2 つの統語的教示なしべースライン言語モデ ルを、first pass reading time と P600 振幅で評価する。結果、統語的構成と自己注意は共に眼球運動はよく 予測するが、脳波を上手く予測するのは統語的構成 のみであった。これは、統語的構成は間接的な認知 データの説明力に留まらず人間のオンライン言語処理における高次処理に対応するが、自己注意は高次処理とは乘離している可能性を示唆する。

## 1 はじめに

近年の自然言語処理で用いられる大規模事前学習可能な言語モデルは、アーキテクチャ自体も「人間らしい」のだろうか。これらの言語モデルは、様々なタスクで人間を超える精度を達成している (e.g., [1]) が、言語獲得のデータ効率の悪さなど、人間との乘離もしばしば指摘されている [2]。これに 対比されるように、「人間らしい」アーキテクチャ であるとして挙げられる言語モデルの代表が、再帰的ニューラルネットワーク文法 (Recurrent Neural Network Grammar, RNNG; [3]) である。RNNG は、統語的教示が統合された再帰的ニューラルネットワー ク (Recurrent Neural Network, RNN; [4]) であり、その 確率的予測が、人間のオフライン言語処理を反映 する容認性判断 $[5,6,7]$ や、オンライン言語処理を 反映する眼球運動・脳活動データ $[8,9,10]$ と高い 一致を示すことが知られている。ここで、RNNG の 最大の特徴は、句構造を階層的に一つのベクトル
へと構成する統語的構成であり、統語的構成なし では RNNG の性能が損なわれることが知られてい る $[6,8]$ 。

一方で、近年の自然言語処理では、Transformer [11] が RNN を様々なタスクで上回り [12]、過去の情報 に選択的に注意できる自己注意の自己回帰に対する 優位性が示されている。より近年では、Transformer が、単語毎提示の読み時間や脳波に限れば RNN よ りも上手く予測できること [13] から、認知モデリン グの文脈においても自己注意の「人間らしさ」が主張され始めている。これらを受け、先行研究 [14] で は、RNNG の統語的構成と Transformer の自己注意 を統合したモデルである構成注意文法 (Composition Attention Grammar, CAG) が提案され、人間のオフラ イン容認性判断に対して RNNG や Transformer より も高い一致率を示すことが明らかにされた。しか し、この統語的構成と自己注意を併せ持つモデル が、人間のオンライン言語処理とも高い一致率を示 すかどうかは、未だ明らかにされていない。

さらに、これらの認知モデリングの先行研究で は、RNN ベースのモデルにおける統語的構成の効果と、統語的教示を持たないモデルにおける自己注意の効果が、それぞれ独立に検証されるに留まり、統語的構成・自己注意それぞれの要素が、他方の要素の影響を受けずに、普遍的に認知的妥当性が高い かどうか、は統一的に検証されてきていない。

そこで、本研究では、統語的構成と自己注意を アーキテクチャに持つ/持たない言語モデルの、人間 の眼球運動・脳波のモデリングの精度を評価するこ とで、それぞれの構成要素の「人間らしさ」を統一的に検証する。具体的には、それぞれの構成要素を 持つ/持たない 4 つの統語的言語モデルと、自己注意 を持つ/持たない 2 つの統語的教示なしべースライ ン言語モデルを、first pass reading time と P600 振幅 で評価する。

表 1 本研究で評価する、統語的構成と自己注意をアーキテクチャに持つ/持たない 4 つの統語的言語モデルと、自己注意を持つ/持たない2つの統語的教示なしべースライン言語モデル。

## 2 実験

## 2.1 オンライン文処理のモデリング

人間のオンライン言語処理は予測処理を伴い、各単語が文脈に基づいた予測が難しい時には、処理負荷が向上し、視線停留時間が上昇したり、事象関連電位が励起されたりすると言われる。サプライザル 理論 $[15,16]$ は、この「予測の難しさ」をサプライ ザル $-\log p$ (単語|文脈) として定式化した。認知 モデリングの分野では、この值が言語モデルの予測確率と人間の眼球運動や脳波などとの橋渡し仮説と して用いられ、どのような言語モデルが「人間らし い」予測をするのかが、アーキテクチャ・学習デー タなどの観点から検証されてきた (e.g., [17])。本研究でも、サプライザル理論を橋渡し仮説として用 い、統語的構成と自己注意をアーキテクチャに持つ/持たない言語モデルの認知的な妥当性を検証する。

## 2.2 言語モデル

本研究で評価する、統語的構成と自己注意をアー キテクチャに持つ/持たない 4 つの統語的言語モデ ルと、自己注意を持つ/持たない 2 つの統語的教示 なしべースライン言語モデルを、表 1 に示した。全ての言語モデルは、先行研究 [14] により Brown Laboratory for Linguistic Information Processing 1987-89 Corpus Release 1(BLLIP、LG、約 1.8M 文) [18] で学習されたパラメータ数約 $16.6 \mathrm{M}$ のモデルを用いた。各モデルは 3 つの異なるシードで学習されている。

LSTM RNN ゙ースの、自己注意を持たない、純正言語モデル [19]。自己注意なしのモデルの、統語的教示なしべースラインである。

ActionLSTM RNN ベースの、自己注意を持たな い、統語的教示を統合された言語モデル $[20]$ 。ただ し、統語的構成は行わない。

RNNGRNNベースの、自己注意を持たない、統語的教示を統合された言語モデル [3]。統語的構成 を行う。

図 1 本研究で検証する P600（後頭部電極の、各単語の 最初の視線停留から 600-700ms の間の振幅平均）のトポ グラフィ。電極と時間空の選択は先行研究 [8] を踏襲し た。図は同先行研究より抜粋。

Transformer Transformer ベースの、自己注意を 持つ、純正言語モデル [21]。自己注意ありのモデル の、統語的教示なしべースラインである。

PLM Transformer ベースの、自己注意を持つ、統語的教示を統合された言語モデル [22]。ただし、統語的構成は行わない。

CAG Transformerベースの、自己注意を持つ、統語的教示を統合された言語モデル [14]。統語的構成 を行う。

## 2.3 眼球運動・脳波データ

英語母語話者 12 人分の、眼球運動と脳波の同時計測データである、Zurich Cognitive Language Processing Corpus (ZuCo; [23]) を用いた。先行研究 [24] を踏襲 し、自然な読みのデータの 700 文を用いる。

眼球運動データ 先行研究を踏襲し、first pass reading time を用いた。付録 A に示す前処理を施し、 160,603 中 93,782 のデータポイント（単語）が統計分析の対象となった。

図 2 統語的構成と自己注意をアーキテクチャに持つ/持たない 4 つの統語的言語モデルと、自己注意を持つ/持たない 2 つの統語的教示なしべースライン言語モデルの、心理学的予測精度 (PPP) の結果。縦軸が PPP を、横軸が各言語モデル を表す。棒グラフはシードの異なる 3 つのモデルの PPP の平均値を表し、それぞれの点は各シードの PPP を表す。

脳波データ統語的処理に関連する [25] とされ る、P600 振幅（後頭部電極の、各単語の最初の視線停留から 600-700ms の間の振幅平均）を用いた。電極と時間窓の選択は先行研究 [8] を踏襲した (図 1)。付録 B に示す前処理を施し、160,603 中 86,070の データポイント (単語) が統計分析の対象となった。

## 2.4 評価指標

各言語モデルの予測確率 $p$ (単語| 文脈) に基づ くサプライザル $-\log p$ (単語|文脈) の、眼球運動・脳波のモデリング精度を評価する。評価指標として は、心理学的予測精度 (Psychometric Predictive Power, PPP)：眼球運動・脳波をモデル化するベースライン 回帰モデルに、各言語モデルのサプライザルを加え た際の対数尤度の増加分 $(\Delta \operatorname{LogLik})$ を用いる。1) 先行研究 $[26,10]$ を踏襲し、眼球運動 (ET) のベースラ イン回帰モデルには以下の線形混合モデルを用い る:2)

$
\begin{aligned}
\log (\mathrm{ET}) & \sim \text { length + prev_length } \\
& + \text { freq }+ \text { prev_freq } \\
& + \text { is_first + is_last + is_second_last } \\
& + \text { lineN + segmentN }+(1 \mid \text { subj }) .
\end{aligned}
$

また、先行研究 $[13,8]$ を考慮し、脳波 (EEG) のべー スライン回帰モデルには以下の線形混合モデルを用

いる:

$
\begin{aligned}
\log (\mathrm{EEG}) & \sim \text { sent_order + word_order } \\
& + \text { baseline_activity }+(1 \mid \text { subj }) .
\end{aligned}
$

各特徵量の詳細は付録 $\mathrm{C}$ に記す。数値型の特徵量は 全て中心化を行なった。最初に一度モデル化した上 で 3 標準偏差を超えるデータポイントを除外した。 これにより、眼球運動、脳波のそれぞれで、92,246、及び 85,628 、のデータポイントが最終的な分析対象 となった。また、各言語モデルの PPP ( $\Delta$ LogLik $)$ の 差が有意であるかどうかについては、各言語モデル で最も性能が良かったシードの結果について、ネス トしたモデル比較を行い確かめた：比較対象となる 言語モデルのサプライザルを共に含んだ回帰モデル から、着目している言語モデルのサプライザルを除 いたときの逸脱度の増加分を $\chi^{2}$ 検定 $(p \leq 0.05)$ に より検定した。

## 3 結果と考察

統語的構成と自己注意をアーキテクチャに持つ/持たない 4 つの統語的言語モデルと、自己注意を 持つ/持たない 2 つの統語的教示なしべースライン 言語モデルの、PPP の結果を、図 2 に示した。縦軸 が PPPを、横軸が各言語モデルを表す。棒グラフは シードの異なる 3 つのモデルの PPP の平均値を表 し、それぞれの点は各シードの PPP を表す。また、 PPP の有意差を検定するための、ネストしたモデル 比較の結果を、表 2 に示した。統語的教示/統語的構成/自己注意を持つ言語モデルが、持たない言語モデ ルより PPPが高いかどうかを、その他の構成要素を 持つ/持たない条件別に比較している。

表 2 心理学的予測精度 (PPP) の有意差を検定するための、ネストしたモデル比較の結果。統語的教示/統語的構成/自己注意を持つ言語モデルが、持たない言語モデルより PPPが高いかどうかを、その他の構成要素を持つ/持たない条件別に 比較している。

眼球運動 First pass reading time の PPP の結果と、 ネストしたモデル比較の結果は、それぞれ、図 2、表 2 の左に示されている。また、事前にベースライ ン回帰モデルとのネストしたモデル比較を行い、全 ての言語モデルの PPP が有意であり、眼球運動のモ デリングに効果があることを確かめた。図 2 より、統語的構成と自己注意の両者を持つ CAG が最も高 いPPPを達成しており、統語的構成と自己注意の 両者が、眼球運動という、人間のオンライン文処理 から得られる間接的認知データの説明に、一定程度有効であることが示唆されている。さらに、表 2 よ り、統語的構成・自己注意の両者が、条件間で普遍的に有効であることが統計的に確かめられた。ベー スライン言語モデルとの比較による、統語的教示の 有効性については、条件間で統一した結論は得られ ていないが、これは統語的教示を与えることは必要十分ではなく、統語的構成のようなそれを扱うアー キテクチャを先天的にモデルに組み込むことが重要 であることを示唆している $[6,8]$ 。

脳波 P600 振幅の PPP の結果と、ネストしたモ デル比較の結果は、それぞれ、図 2、表 2 の右に示さ れている。事前にベースライン回帰モデルとのネス トしたモデル比較を行い、統語的構成を持つ RNNG と CAG の PPP のみが有意であり、その他の言語モ デルは脳波のモデリングに効果がないことが確か められた。図 2 より、それら RNNG と CAG 間では、 RNNG がより高い PPP を達成しており、統語的構成 は脳波に反映される高次処理に対応する可能性が高 い (cf. [8]) が、自己注意はそれらの高次処理には対応しない可能性が高いことが示唆されている。さら
に、表 2 より、統語的構成は条件間で普遍的に有効 であることが統計的に確かめられた。自己注意や、統語的教示については、いずれの条件でも有効性が 確かめられなかった。

総合考察 本研究の結果を総合すると、以下のよ うな示唆が得られる。まず、文法的構成は、眼球運動のような間接的な認知データの説明力に留まら ず、人間のオンライン文処理における高次処理に対応する可能性が高い。一方で、自己注意は、眼球運動に対する説明力はあるが、オンライン文処理にお ける高次処理とは対応していない可能性がある。ま た、統語的教示自体は眼球運動・脳波の予測に必ず しも有効でなく、認知的妥当性の向上にはそれを扱 うアーキテクチャ (i.e., 統語的構成) が必要である。

## 4 おわりに

本研究では、統語的構成と自己注意をアーキテク チャに持つ/持たない言語モデルの、人間の眼球運動・脳波のモデリングの精度を評価することで、そ れぞれの構成要素の「人間らしさ」を統一的に検証 した。具体的には、それぞれの構成要素を持つ/持た ない 4 つの統語的言語モデルと、自己注意を持つ/持 たない 2 つの統語的教示なしべースライン言語モデ ルを、first pass reading time と P600 振幅で評価した。結果、統語的構成と自己注意は共に眼球運動はよく 予測したが、脳波を上手く予測するのは統語的構成 のみであった。これは、統語的構成は間接的な認知 データの説明力に留まらず人間のオンライン言語処理における高次処理に対応するが、自己注意は高次処理とは乘離している可能性を示唆する。

## 謝辞

本研究は本研究は、JST さきがけ JPMJPR21C2 の

支援を受けたものです。

## 参考文献

[1] Charlotte Caucheteux and Jean-Rémi King. Brains and algorithms partially converge in natural language processing. Communications Biology, Vol. 5, No. 1, pp. 1-10, February 2022.

[2] Tal Linzen. How Can We Accelerate Progress Towards Human-like Linguistic Generalization? In ACL 2020, pp. 5210-5217, Online, July 2020. Association for Computational Linguistics.

[3] Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, and Noah A. Smith. Recurrent Neural Network Grammars. In NAACL 2016, pp. 199-209, San Diego, California, June 2016. Association for Computational Linguistics.

[4] Jeffrey L. Elman. Finding structure in time. Cognitive Science, Vol. 14, No. 2, pp. 179-211, April 1990.

[5] Adhiguna Kuncoro, Chris Dyer, John Hale, Dani Yogatama, Stephen Clark, and Phil Blunsom. LSTMs Can Learn Syntax-Sensitive Dependencies Well, But Modeling Structure Makes Them Better. In ACL 2018, pp. 14261436, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[6] Ethan Wilcox, Peng Qian, Richard Futrell, Miguel Ballesteros, and Roger Levy. Structural Supervision Improves Learning of Non-Local Grammatical Dependencies. In NAACL 2019, pp. 3302-3312, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7] Jennifer Hu, Jon Gauthier, Peng Qian, Ethan Wilcox, and Roger Levy. A Systematic Assessment of Syntactic Generalization in Neural Language Models. In ACL 2020, pp. 1725-1744, Online, July 2020. Association for Computational Linguistics.

[8] John Hale, Chris Dyer, Adhiguna Kuncoro, and Jonathan Brennan. Finding syntax in human encephalography with beam search. In ACL 20018, pp. 2727-2736, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[9] Jonathan R. Brennan, Chris Dyer, Adhiguna Kuncoro, and John T. Hale. Localizing syntactic predictions using recurrent neural network grammars. Neuropsychologia, Vol. 146, p. 107479, September 2020.

[10] Ryo Yoshida, Hiroshi Noji, and Yohei Oseki. Modeling Human Sentence Processing with Left-Corner Recurrent Neural Network Grammars. In EMNLP 2021, pp. 29642973, Online and Punta Cana, Dominican Republic, January 2021. Association for Computational Linguistics.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In NAACL
2019, pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] Danny Merkx and Stefan L. Frank. Human Sentence Processing: Recurrence or Attention? In CMCL 2021, pp. 12-22, Online, June 2021. Association for Computational Linguistics.

[14] Ryo Yoshida and Yohei Oseki. Composition, Attention, or Both? In Findings of EMNLP 2022, Online and Abu Dhabi, the United Arab Emirates, December 2022. Association for Computational Linguistics.

[15] John Hale. A Probabilistic Earley Parser as a Psycholinguistic Model. In NAACL 2001, pp. 159-166, 2001.

[16] Roger Levy. Expectation-based syntactic comprehension. Cognition, Vol. 106, No. 3, pp. 1126-1177, March 2008.

[17] Tatsuki Kuribayashi, Yohei Oseki, Takumi Ito, Ryo Yoshida, Masayuki Asahara, and Kentaro Inui. Lower Perplexity is Not Always Human-Like. In ACL-IJCNLP 2021, pp. 5203-5217, Online, August 2021. Association for Computational Linguistics.

[18] Eugene Charniak, Don Blaheta, Niyu Ge, Keith Hall, John Hale, and Mark Johnson. BLLIP 1987-89 WSJ Corpus Release 1, 2000.

[19] Sepp Hochreiter and Jürgen Schmidhuber. Long Shortterm Memory. Neural computation, Vol. 9, No. 8, pp. 1735-80, December 1997.

[20] Transition-Based Dependency Parsing with Stack Long Short-Term Memory. In ACL-IJCNLP 2015, pp. 334-343, Beijing, China, July 2015. Association for Computational Linguistics.

[21] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving Language Understanding by Generative Pre-Training. p. 12, 2018.

[22] Peng Qian, Tahira Naseem, Roger Levy, and Ramón Fernandez Astudillo. Structural Guidance for Transformer Language Models. In ACL-IJCNLP 2021, pp. 3735-3745, Online, August 2021. Association for Computational Linguistics.

[23] Nora Hollenstein, Jonathan Rotsztejn, Marius Troendle, Andreas Pedroni, Ce Zhang, and Nicolas Langer. ZuCo, a simultaneous EEG and eye-tracking resource for natural sentence reading. Scientific Data, Vol. 5, No. 1, p. 180291, December 2018.

[24] Nora Hollenstein, Federico Pirovano, Ce Zhang, Lena Jäger, and Lisa Beinborn. Multilingual Language Models Predict Human Reading Behavior. In NAACL 2021, pp. 106-123, Online, June 2021. Association for Computational Linguistics.

[25] Lee Osterhout and Phillip J Holcomb. Event-related brain potentials elicited by syntactic anomaly. Journal of Memory and Language, Vol. 31, No. 6, pp. 785-806, December 1992.

[26] Masayuki Asahara, Hajime Ono, and Edson T. Miyamoto. Reading-Time Annotations for "Balanced Corpus of Contemporary Written Japanese". In COLING 2016, pp. 684694, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[27] Stephen Merity, Caiming Xiong, James Bradbury, and Richard Socher. Pointer Sentinel Mixture Models. In ICLR 2017, 2017.

表 3 本研究で用いた特徴量。

## A 眼球運動データの前処理

眼球運動データについては、データセットの提案論文 [23] で施されている前処理に加えて、先行研究 [10] を踏襲し、(i) 視線停留がゼロの単語、(ii) 大規模コーパス (Wikitext-2, [27]) の語彙に含まれない 単語、(iii) 語彙に含まれない語に後続する単語、を 除いた。

## B 脳波データの前処理

脳波データについては、データセットの提案論文 [23] で施されている前処理に加えて、先行研究 [8] を踏襲し、 $40 \mathrm{~Hz}$ のローパスフィルタを適用 し、さらに、平均再参照を行なった。また、視線停留後 $0-100 \mathrm{~ms}$ の平均振幅に対してべースライン補正 を行なった。また、(i) 視線停留がゼロの単語、(ii)大規模コーパス (Wikitext-2) の語彙に含まれない単語、(iii) 文の最初及び最後に現れる単語、を除いた。

P600 の電極位置については、先行研究 [8] とはモ ンタージュが異なるため、厳密に同じではないが、後頭部電極を用いた。

## C 回帰モデルの特徵量

本研究のベースライン回帰モデルに用いた特徴量を、表 3 に示した。頻度情報は大規模コーパス (Wikitext-2)より算出した。


# 日本語有害表現スキーマの提案と評価

小林 滉河 ${ }^{1}$ 山崎 天 ${ }^{1}$ 吉川 克正 ${ }^{1}$ 牧田 光晴 1
中町 礼文 ${ }^{1}$ 佐藤 京也 ${ }^{1,2}$ 浅原 正幸 ${ }^{3}$ 佐藤 敏紀 ${ }^{1}$
${ }^{1}$ LINE 株式会社 2 東京都立大学 ${ }^{3}$ 国立国語研究所
\{koga.kobayashi, takato.yamazaki, katsumasa.yoshikawa, makita.mitsuharu,
akifumi.nakamachi, keiya.sato, toshinori.sato\}@linecorp.com
masayu-a@ninjal.ac.jp

## 概要

本研究では、言語モデルや人が生成した有害表現 の検知を目的としたラベリングスキーマを考案し、日本語有害表現データセットの構築と評価に取り組 んだ。まず、提案したスキーマを用いてデータセッ トを構築し、アノテーションに関する定量的な分析 を行った。次に、構築したデータセットを利用して 有害表現検知器を作成した。作成した有害表現検知器は既存の有害表現検知システムに比べ、少ない データ数で同等の性能を達成し、様々な種類の有害表現を捉えられる可能性を示した。また、対話シス テムが生成した応答に対して、有害表現検知器を適用したところ、有害な発話を高精度で検知できるこ とを確認した。

## 1 はじめに

大規模な Webテキストコーパスによって構築さ れた言語モデルが、有害な文章を生成するリスクが 問題視されている $[1,2]$ 。この問題に対して、言語 モデルによって生成されたテキストをフィルタリン グすることで、有害表現を抑制する取り組みが行わ れている [3]。しかし有害/非有害といった単純なラ ベルで構築したフィルターだけでは、図 1 に示すよ うな対話システムの個性を表現するために差別的な 表現のみを抑制したいといった複雑なユースケース には利用できない。

また、インターネットの普及により、YouTube や Twitterのようなソーシャルプラットフォームは人々 の生活に欠かせない存在になっている。一方で、プ ラットフォーム上でのへイトスピーチや嫌がらせと いった有害表現が急増している [4]。この問題に対処するため、有害表現データセットの構築に関する 研究が英語 [5]、韓国語 [6]、ポルトガル語 [7] などの

図 1 同じ発話でもシステムによって、適切なフィルタリ ングは異なる。例えば、攻撃的な性格を持つ対話システ ムを構築したい場合、暴力的な文章を全てフィルターす ると適切な応答を得られない場合がある。

多様な言語で行われている。しかし、日本語の大規模なデータに対する有害表現ラベルのアノテーショ ンは、限定的にしか行われていない。

本研究では、言語モデルが生成した文章や人が書 いた文章を対象として、有害表現1)を詳細に分類で きる有害表現スキーマを提案する。さらに、提案 したスキーマを元にデータセット2)を構築した。ま た、構築したデータセットを用いて、有害レベル予測モデルと有害カテゴリ予測モデルの 2 つの有害表現検知器を構築し、評価した。実験の結果、作成し た有害レベル予測モデルは公開されている多言語有害表現検知システムと同等の ROC-AUC が得られる ことを日本語において確認した。また有害レベル予測モデルが実運用に耐えうるか確認するため、対話

1）本稿では有害表現について説明するため、気分を害する可能性がある文が含まれています。

2）有害表現スキーマとデータセットの一部は https: //github.com/inspection-ai/japanese-toxic-datasetにて 公開している。

システムに対する性能を測定した。その結果、構築 したモデルは対話システムの有害発話を防ぐのに有効であることを確認した。有害カテゴリ予測モデル では、 4 つのカテゴリについて ROC-AUC が 0.6 を 超え、有害表現をより詳細に分類できる可能性を示 した。

## 2 関連研究

事前学習済みモデルの発展により、言語モデルが 生成する有害表現の制御に関する研究が近年盛んに なっている [1]。ConvAbuse データセット [8]では、対話モデルを対象とした有害表現スキーマを提案 し、 5 段階の有害レベルによるラベリング、 8 種類 の有害タイプ、ターゲットや直接性といった様々な 観点からアノテーションスキーマを定義し、ラベル 付きデータセットを公開した。

ソーシャルプラットフォーム上の有害表現研究として、Twitter[9]、YouTube[10]、Reddit[11]、 Wikipedia[12] で構築された有害表現データセットが 公開されている。このような有害表現に関する研究 では、共通して利用される分類スキーマは存在せ ず、各研究が対象にするカテゴリについて焦点が置 かれた、独自のアノテーションスキーマを利用して いることが多い。

また日本語に対応している有害表現検知器に Perspective API[13] がある。これは 100 万文以上か ら構成される多言語有害表現データセットを学習し たモデルの推論結果を提供するサービスである。こ のモデルの学習に利用したデータセットは公開され ておらず、単一言語で学習したときの性能について 明記されていない。そのため実験結果を再現するた めには多言語での大量のアノテーションが必要とな り、非常に高いコストが要求される。

日本語圏においては、インターネット上のいじ め $[14,15]$ やソーシャルメディアにおけるへイトス ピーチ検出 [16] を対象とした類似研究が存在する。本研究では、いじめやへイトスピーチだけではな く、言語モデルや人による有害表現全体を対象とし た、アノテーションスキーマの提案を行った。

## 3 データセット構築手法

## 3.1 データ収集

5ch、ガールズちゃんねる、Twitter といった日本語圏で利用者数が多いソーシャルプラットフォーム
をデータ収集元とし、アノテーション対象サンプル を 1,000 万件以上収集した。その後、得られたデー タに対して、文が短すぎるものや長すぎるもの、個人情報が含まれる文章を除去する等の前処理を行っ た。データを確認したところ、有害表現は非有害表現に比べ、出現頻度が少ない。そのためランダムサ ンプリングによってアノテーションする文章を選択 するとアノテーション効率が低くなることが想定さ れた。そこで文章の多様性を持たせつつ、アノテー ションの効率を高める方法として、既存研究 [17] を 参考に、ランダムサンプリングの他、日本語有害表現を集めた辞書や能動学習による文章選定をした。 これらの手法によって収集された計 12,647 文に対 して、アノテーションを行った。

## 3.2 スキーマの設計

本研究で提案するアノテーションスキーマは有害 レベルと有害カテゴリの 2 つのアノテーションタス クから構成される。有害レベルには既存データセッ ト3）を参考に、表 1 に示す 4 段階からなる順序尺度 を用いた。有害カテゴリについては MAMA サイク ル [18] を適用し、最終的に表 2 に示す 7 つのメイン カテゴリから構成される 41 のサブカテゴリ、倫理的観点を持つ階層的なラベリングスキーマを構築し た。サブカテゴリを含めた有害カテゴリの詳細は付録の表 7 に追記する。

## 3.3 アノテーション

本研究では、 5 人の自然言語処理に関わる開発者 を含めた計 8 人の日本語母語話者をアノテータとし た。また、全文に対して少なくとも 2 人によるラべ リングが行われるようにアノテータを割り当てた。一貫性のあるアノテーションを実現するために、ア ノテーションスキーマの説明、いくつかの例文を添 えたガイドライン、アノテーション時の注意事項、 パイロットタスクをアノテータに提供した。さら に、アノテーション時に出現した判断が難しい文章 については、定期的に議論を行い、アノテーション の質の向上に努めた。

## 4 構築済みデータセットの分析

各ラベル定義と構築したデータセット 12,647 文 のアノテーション分布を表 1,2 に記す。有害レベル

3) https://www.kaggle.com/c/jigsaw-unintended-bias-intoxicity-classification/data
表 1 有害レベルの定義とアノテーション分布。文章数でないことに注意。

* 四捨五入による端数を調整のため、割合の内訳と計は一致していない。

表 2 有害カテゴリにおけるメインカテゴリの定義とアノテーション分布。正例割合は全アノテーションに対して各力 テゴリが付与された割合であり、マルチクラス分類のため合計は $100 \%$ にならないことに注意。

について、アノテーションの半数以上が Not Toxic であり、様々な方法で文の取捨選択を行ったにも関 わらず、収集された多くのテキストがアノテータに とって非有害であることを確認した。

また有害カテゴリでは多くの正例を得られたカ テゴリとそうでないカテゴリが存在している。例え ば、迷惑行為カテゴリが付与されたアノテーション は全体の $27.8 \%$ に達していた。一方で出会い・プラ イバシー侵害や偏向表現カテゴリが付与されたアノ テーションは全体の $1 \%$ 以下である。これはサンプ リング時にカテゴリが偏った可能性や収集先のプ ラットフォームにて投稿されている文章に偏りが生 じている可能性が考えられる。

アノテータ間の合意について、有害（Toxic・Very Toxic）と非有害（Not Toxic）の二值に丸めた有害/非有害、Not Toxic, Hard to Say, Toxic, Very Toxic の四値分類、各有害カテゴリにおけるクリッペンドルフの $\alpha$ 係数 [19] の算出を行った結果が表 4 になる。有害 レベルについて、有害/非有害の二値で $\alpha$ 係数を算出したところ、 0.78 と高い一致率を確認できた。し かし四値分類での $\alpha$ 係数は 0.40 と二值の $\alpha$ 係数に 比べ、值が低い。つまり、有害/非有害という二值で のアノテーションより遥かに四段階による有害レベ ルのアノテーションはアノテータの間で合意形成が 難しいことが分かる。また有害カテゴリは、カテゴ リによって $\alpha$ 係数に大きなばらつきがある。これは カテゴリごとにアノテーションの難易度が異なると表 3 各ラベルのクリッペンドルフの $\alpha$ 係数

解釈できる。

## 4.1 有害表現検知器の構築

構築した日本語有害表現データセットを用いて、有害レベル予測モデルと有害カテゴリ予測モデルの 2 つ有害表現検知器を作成する。モデルには日本語 $\mathrm{BERT}^{4}$ )を利用した。またファインチューニング の際には、構築したデータを訓練用、検証用、評価用データ $(80 \%: 10 \%: 10 \%)$ に分割し、訓練用データを 学習に、検証用データをハイパーパラメータの探索 に用いた。

自然言語処理における分類タスクでは、アノテー タによって付与されたラベルを多数決や統計的手法を用いて、ゴールドスタンダードを定めることが 一般的である。しかし、有害性のような個人や文化

4) https://huggingface.co/cl-tohoku/bert-basejapanese-v2/
表 4 LINENLP チームのシステムが対話コンペ 4 にて生成した有害文章とそれに対する各モデルの有害スコア

 & .825 & .985 \\

によって感じ方が大きく異なるトピックについて、唯一の正解を定めることは正当ではない。そこで本研究では、文章に対してアノテータが正例と付与し た割合を予測する確率回帰モデルを構築した。この モデルがある文章に対して、出力したスコアが 0.9 だった場合、10人中 9 人がその文章を見たとき有害 とラベリングすると解釈できる。

作成したモデルの評価指標には ROC-AUC、MAE (平均絶対値誤差)、MSE（平均二乗誤差）を利用し た。まずは有害レベル予測モデルと比較対象であ る Perspective API[13] による実験結果を表 5 に示す。我々のモデルは、訓練用データが約 10,000 文と少な い。それにも関わらず、Perspective API と比べ、評価用データにおいて AUC が高く、MAE、MSE は低 い。つまり、同等程度の有害表現検知性能を有して いることを確認できる。

有害カテゴリ予測モデルの結果を表 6 に示す。こ れら有害カテゴリ予測モデルは有害レベル予測モ デルに比べ、全体的に ROC-AUC は低い。しかし、 データが十分に集まった 4 つのカテゴリにおいて ROC-AUC が 0.6 を超えていることが確認できた。

## 4.2 対話システムへの適用

本節では有害レベル予測モデルが言語モデルの 応用タスクにおいて有効であることを対話システ ムを用いて確認する。評価用データとして、対話シ ステムライブコンペティション 4[20]（以降、対話 コンペ 4）にて行われた発話データを使用する。対話コンペ 4 では、任意の話題について話すオープン トラックと定められた状況に合った発話が求めら れるシチュエーショントラックの二種類のトラッ クがある。本研究では、LINENLP チーム $[21,22]$ が表 6 評価用データによる有害カテゴリモデルの評価

*学習データが 300 件以下であるカテゴリについて は、モデル構築をしていない。

開発した対話システムによる両トラックでの発話 1,025 文を人手で確認し、その中から有害だと思わ れる 4 つの文章を抽出した。これらの文章に対す る、Perspective API と我々が構築したモデルによる 有害度スコアを表 4 に示す。対話コンペ 4 で生成 された有害文章において、我々の有害レベル予測 モデルは全て 0.8 以上のスコアを算出し、対話シス テムが生成した有害表現の検知が可能なことを確認した。また、Perspective API と構築したモデルの ROC-AUC は $99.90 \%$ と $99.93 \%$ であり、両者とも非常に高い値を出した。

## 5 結論と今後の課題

本研究では、日本語有害表現検出スキーマの提案 を行った。このスキーマを用いて、計 12,647 文から なる日本語有害表現データセットを構築したとこ ろ、一定水準のアノテータ間の一致率を確認でき た。また、構築したデータを用いて、有害レベルと 有害カテゴリを予測するモデルを作成し、評価を 行った。その結果、提案したスキーマを利用するこ とで、有害レベル予測において既存システムより少 ない訓練データ数で同程度の性能を達成できた。更 に有害カテゴリを用いることで、柔軟なフィルタリ ングシステムを構築できる可能性を示した。

今後は更にアノテーションデータを増やし、有害 カテゴリに関する深い分析や全ての有害カテゴリの 分類器について調査を行いたい。

## 謝辞

本研究のデータセット構築を手伝ってくださった 全ての方に感謝します。

## 参考文献

[1] Samuel Gehman, Suchin Gururangan, Maarten Sap, Yejin Choi, and Noah A. Smith. RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 3356-3369, 2020.

[2] Laura Weidinger, Jonathan Uesato, Maribeth Rauh, Conor Griffin, Po-Sen Huang, John Mellor, Amelia Glaese, Myra Cheng, Borja Balle, Atoosa Kasirzadeh, Courtney Biles, Sasha Brown, Zac Kenton, Will Hawkins, Tom Stepleton, Abeba Birhane, Lisa Anne Hendricks, Laura Rimell, William Isaac, Julia Haas, Sean Legassick, Geoffrey Irving, and Iason Gabriel. Taxonomy of Risks Posed by Language Models. In 2022 ACM Conference on Fairness, Accountability, and Transparency, pp. 214-229, 2022.

[3] Jing Xu, Da Ju, Margaret Li, Y-Lan Boureau, Jason Weston, and Emily Dinan. Recipes for safety in open-domain chatbots. arXiv preprint arXiv:2010.07079, 2020.

[4] Matthew Williams. Hatred Behind the Screens: A Report on the Rise of Online Hate Speech. 2019.

[5] Ellery Wulczyn, Nithum Thain, and Lucas Dixon. Ex Machina: Personal Attacks Seen at Scale. In Proceedings of the 26th International Conference on World Wide Web, pp. 1391-1399, 2017.

[6] Jihyung Moon, Won Ik Cho, and Junbum Lee. BEEP! Korean Corpus of Online News Comments for Toxic Speech Detection. In Proceedings of the Eighth International Workshop on Natural Language Processing for Social Media, pp. 25-31, 2020.

[7] Paula Fortuna, João Rocha da Silva, Juan Soler-Company, Leo Wanner, and Sérgio Nunes. A Hierarchically-Labeled Portuguese Hate Speech Dataset. In Proceedings of the Third Workshop on Abusive Language Online, pp. 94-104, 2019.

[8] Amanda Cercas Curry, Gavin Abercrombie, and Verena Rieser. ConvAbuse: Data, Analysis, and Benchmarks for Nuanced Abuse Detection in Conversational AI. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7388-7403, 2021.

[9] Antigoni Founta, Constantinos Djouvas, Despoina Chatzakou, Ilias Leontiadis, Jeremy Blackburn, Gianluca Stringhini, Athena Vakali, Michael Sirivianos, and Nicolas Kourtellis. Large Scale Crowdsourcing and Characterization of Twitter Abusive Behavior. Proceedings of the International AAAI Conference on Web and Social Media, Vol. 12, No. 1, pp. 491-500, 2018.

[10] Rupak Sarkar and Ashiqur R. KhudaBukhsh. Are Chess Discussions Racist? An Adversarial Hate Speech Data Set (Student Abstract). Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, No. 18, pp. 15881-15882, 2021.
[11] Ioannis Mollas, Zoe Chrysopoulou, Stamatis Karlos, and Grigorios Tsoumakas. ETHOS: A Multi-label Hate Speech Detection Dataset. Complex \& Intelligent Systems, pp. 4663-4678, 2022.

[12] Ellery Wulczyn, Nithum Thain, and Lucas Dixon. Ex Machina: Personal Attacks Seen at Scale. In Proceedings of the 26th International Conference on World Wide Web, pp. 1391-1399, 2017.

[13] Alyssa Lees, Vinh Q. Tran, Yi Tay, Jeffrey Sorensen, Jai Gupta, Donald Metzler, and Lucy Vasserman. A New Generation of Perspective API: Efficient Multilingual Character-Level Transformers. In Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, pp. 3197-3207, 2022.

[14] 松葉達明, 栘井文人, 河合敦夫, 井須尚紀. 学校非公式 サイトにおける有害情報検出を目的とした極性判定 モデルに関する研究. 言語処理学会第 17 回年次大会発表論文集, pp. 388-391, 2011.

[15] 新田大征, 桝井文人, 木村泰知, 荒木健治. カテゴリ別関連度最大化手法に基づく学校非公式サイトの有害書込み検出. 人工知能学会全国大会論文集 第 27 回 (2013), pp. 2039-2039, 2013.

[16] 荒井ひろみ, 和泉悠, 朱喜哲, 仲宗根勝仁, 谷中瞳. ソーシャルメディアにおけるへイトスピーチ検出に 向けた日本語データセット構築の試案. 言語処理学会第 27 回年次大会発表論文集, pp. 466-470, 2021.

[17] Nedjma Ousidhoum, Zizheng Lin, Hongming Zhang, Yangqiu Song, and Dit-Yan Yeung. Multilingual and Multi-Aspect Hate Speech Analysis. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4675-4684, 2019.

[18] James Pustejovsky, Harry Bunt, and Annie Zaenen. Designing annotation schemes: From theory to model. In Handbook of Linguistic Annotation, pp. 21-72. 2017.

[19] Klaus Krippendorff. Computing Krippendorff's AlphaReliability. 2011.

[20] 東中竜一郎, 船越孝太郎, 高橋哲朗, 稲葉通将, 赤間怜奈, 佐藤志貴, 堀内颯太, ドルサテヨルス, 小室允人,西川寛之, 宇佐美まゆみ. 対話システムライブコンペ ティション 4. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, Vol. 93, pp. 92-100, 2021.

[21] 川本稔己, 山崎天, 坂田亘, 佐藤敏紀. HyperCLOVA を利用したプロンプトプログラミングによるシ チュエーションに適した応答生成. 人工知能学会研究会資料言語・音声理解と対話処理研究会 93 回 (2021/11), pp. 131-136, 2021.

[22] 山崎天, 坂田亘, 川本稔己, 小林滉河, 上村卓史, 中町礼文, 李聖哲, 佐藤敏紀. ペルソナ一貫性の考慮と知識ベースを統合した HyperCLOVA を用いた雑談対話システム. 人工知能学会研究会資料言語・音声理解と対話処理研究会 93 回 (2021/11), pp. 113-118, 2021.

## A 詳細なカテゴリ

表 7 有害カテゴリの詳細

 \\


# 地方議会における議案への賛否に関する発言の分析 -NTCIR-17 QA Lab-Polilnfo4 Stance Classification-2 タスクに向けて一

高丸圭一 ${ }^{1}$ 内田ゆず 2 木村泰知 ${ }^{3}$ 秋葉友良 4
1 宇都宮共和大学 2 北海学園大学 3 小樽商科大学 4 豊橋技術科学大学
takamaruekyowa-u.ac.jp yuzuehgu.jp
kimura@res.otaru-uc.ac.jp akiba@cs.tut.ac.jp

## 概要

地方議会会議録は，議員がどのような理由（立場） で議案に賛成または反対したのかを示す一次情報 である. NTCIR-17 で実施している QA Lab-PoliInfo4 では，地方議会会議録をもとに議員による議案への 賛否を推定する Stance Classification-2 (SC2) タスク を実施する. 本稿では，タスクの概要について述べ た上で，データセット構築の過程で得られた知見に 基づき，討論発言における議案への賛否と「賛成」「反対」の文字列の出現について分析した結果を述 べる.

## 1 はじめに

地方議会では，予算案や条例案等の議案の審議 や，議員から首長に対する質問（代表質問・一般質問）が行われる。議会における発言はすべて議会会議録に記録される. 2022 年現在，すべての都道府県 および市・東京特別区が議会（本会議）の会議録を Web公開にしている.

地方議会会議録は，議員がどのような理由（立場）で議案に賛成または反対したのかを示す一次情報であるといえる．筆者らは地方政治に関わる言語資源として地方議会会議録コーパスの整備に取り組 んでいる ${ }^{1)}$. 収集，整備した議会会議録コーパスを 活用して，議論の要約や，発言内容と根拠となる一次情報との結びつけ，発言者の態度（賛否）の推定 といった研究を進めることを検討している。これら の研究の推進に向けて 2018 年から, 評価型ワーク ショップ NTCIR において QA Lab-PoliInfo タスクを 開催している.

2022〜2023 年にかけて行われている NTCIR-17 QA Lab-PoliInfo-4[1] ${ }^{2}$ では, 地方議会における議案に

1) http://local-politics.jp/

2) https://sites.google.com/view/poliinfo4

図 1 Stance Classification-2 タスクのイメージ

対する議員の賛否を推定する Stance Classification-2 (SC2) タスクを実施している。このタスクはある議員のある議案に対する明示的な賛否を含まない発言 を入力として，議案への賛否を推定し出力するもの である（図 1).

2 節に議員による議案への賛否表明の前提とな る定例会の議事の構造および NTCIR-15 で実施した Stance Classification (SC1) タスクにおいて得られた知見について述べる。 3 節に，現在 NTCIR-17 で実施 している Stance Classification-2 のタスク設計につい て述べる. 最後に 4 節で，タスクのためのデータ セット構築の過程で得られた知見に基づき，討論発言における議案への賛否と賛否を直接表明する文字列（「賛成」「反対」）の出現の関係について述べる.

## 2 議会における賛否の表明

## 2.1 議事の構造

本節では地方議会の定例会における議事の構造 について述べる. 図 2 は東京都議会における定例会 の流れを示したものである。自治体によって，進め 方に多少の違いはあるが，概ね以下の手順で進めら れる。

定例会で審議される議案，請願，陳情等は委員会 に付託される．委員会では，付託された議案等を審

図 2 定例会の流れ（東京都議会）

議し，委員会としての賛否を決定する。この間本会議では，行政全般に対する質疑応答が行われる. 本会議の最終日に，委員会での議案の審議結果が本会議に報告される。議案に対する討論が行われた後，採決が行われる. 従って, 議員が当該定例会で審議 される議案についての意見を発言する機会は，委員会での議案に対する審議と，本会議での採決の際に 行われる討論の 2 回である.

## 2.2 QA Lab-Polilnfo 2 における Stance Classification タスク

筆者らは 2019 年後半から 2020 年にかけて開催さ れた NTCIR-15 の QA Lab-PoliInfo2において Stance Classification タスクを実施した [2].これは東京都議会を対象に，議会会議録から議案に対する各会派の 立場（賛成または反対）を回答するタスクであった.

参加チームの多くが，賛否を推定する手法とし て, 図 3 に示すような討論発言冒頭における「議案名」と「賛成」「反対」の表記に着目した．正規表現 などを用いて賛否を抽出することで，すべてのチー ムが 90\%を超える精度を得た。 [3].

会議録から議案への賛否を抽出するという当初の 目的を達成したといえるものの，特定の議会（東京都議会）において賛否を直接的に言及する定型表現 を見つけるにとどまっており，地方議会会議録から 議案に対する賛否を抽出する汎用的な方法になり得 るかは疑問が残る。

そこで賛否を直接的に言及する定型表現を手が かりとしない手法を開発することを目的として，新 たなタスクを検討することとした。次節に，Stance
1. 私は、都民ファーストの会東京都議団を代表し、知事提出の全議案に賛成し、議員提出議案第十号、第十一号、第十二号、第十三号に反対の立場 から討論を行います。

2. 都議会公明党を代表し、知事提出の全議案に賛成 し、議員提出議案第十号、第十一号、第十二号及 び第十三号に反対の立場から討論をいたします。

3. 日本共産党都議団を代表して、独立行政法人に関 わる専決処分及び第百九十二号議案に反対、我が 党提出の三つの条例案に賛成の立場から討論を行 います。

4. 私は、東京都議会立憲民主党を代表して、知事提出の全議案に賛成、議員提出議案のうち第十一号議案に賛成、その他の議員提出議案に反対の立場 から討論を行います。

図 3 東京都議会における討論の冒頭部分の例

Classification-2 タスクの概要について述べる.

## 3 Stance Classification-2 タスク

Stance Classification-2 タスクでは，ある議題に対 する明示的な賛否表現を含まない議員の発言から，議員の議題に対する立場（賛成または反対）を推定 する問題に取り組む. 発言に明示的な賛否表現が含 まれることを避けるために，発言中に現れる「賛成」「反対」といった賛否を直接表す句をマスクす る. マスクした議員発言の例を図 4 に示す.

本タスクの入出力は以下の通りである。

入力 賛否表現をマスクした議員発言

出力 2 值ラベル (賛成,または反対)

## 4 討論における賛否表現

本節では，地方議会会議録本会議の討論発言に含 まれる「賛成」「反対」文字列と実際の賛否との関係 について述べる。

## 4.1 「賛成」「反対」の文字列と賛否の関係

北海道北広島市議会本会議（2003 年から 2019 年間での 17 年分）の討論の発言を対象として，「賛成」「反対」の文字列の出現と実際の賛否の関係につい て考察する。対象の会議録には「賛成」または「反対」が含まれている討論発言が 119 件存在する. 討論の対象は議案（予算案を含む）が 90 件，陳情が 9 件，請願が 20 件である。このうち，賛成の討論が 55 件，反対の討論が 64 件である. 1 討論あたりの 発言量は書き起こされた文字数の換算で，平均 917 文字，最大 2,838 文字，最小 66 文字であった.

1. 議案第 38 号「大府市空家等対策の推進に関す る条例の制定について」、自民クラブを代表し、 [STANCE] の立場で討論をさせていただきます。近年、人口減少や少子高齢化等を背景に、全国的に空き家等の増加が社会問題となっている 中、...(中略)...として、持続可能な社会が実現され ることを期待し、[STANCE] 討論とさせていただ きます。

2. それでは、日本共産党議員団を代表いたしまし て、議案第 6 号に [STANCE] する討論をします。 この議案は、市会議員のボーナスを年間 3.25 カ月から 3. 30 カ月と引き上げるものとなって います。...(中略)...とても認めることができませ んので、私ども日本共産党議員団は、議案第 6 号 に [STANCE] をいたします。

3. ただいま議題となっております第 4 号議案に [STANCE] の立場で討論をします。縦割りの弊害 が言われている役所組織に新たに部を 2 部増やす ということになりますと、その弊害をますます増 やす可能性があると考えています。...(中略)... 以上を考えていきますと、新たな新城市の負担を呼 び起こすような部、課の新設をせず、総合計画に も表れています地域循環型、環境に軸足を置い た、この中での産業育成に最重点の職員の配置を 行うべきと考え、[STANCE] 討論といたします。

4. ただいま議案となっております委員会提出第 1 号議案新城市肥料等の大量な施用等の防止に関する 条例の制定についてでありますが、やはり農畜産物というのか、特に肥料については先ほどもお話 を申し上げたと思うんですが、1つは連作障害と いうような問題、...(中略)...ので、この本条例につ きましては、有機質の堆肥の部分、それから施行令に定める污泥の部分ということで、その適切な 肥料というものの大量施用についての条例であり ますので、よって本条例について [STANCE] の立場で討論いたします。以上です。

図4 賛否をマスクした議員発言

「賛成」「反対」の文字列の出現と賛否の関係を表 1 に示す. 賛成の討論のうち 46 例には「賛成」のみ が含まれるが，6例には「反対」のみが含まれる。反対の討論のうち 59 例には「反対」のみが含まれる が，2 例には「賛成」の文字列のみが含まれる. 発言中に「賛成」と「反対」が両方とも含まれる発言 は 6 例あり，このうち 4 例は賛成， 2 例は反対の討論である. このように，全体の $88 \%$ は発言中の文字列と賛否が一致しているが，発言者の賛否と発言文中の「賛成」「反対」の文字列の出現はかならずしも 一意に対応するわけではない.

表 2 賛否を直接表明する定型表現の例

## 4.2 賛否表明の定型表現

賛否と「賛成」「反対」の文字列の出現が一致して いる例では，表 2 に示すような表現で，発言の冒頭 または末尾で立場を直接的に表明される。具体例を 図 5 に示す.このうち 3 は討論末尾における賛否表明の例である． 119 例のうち 99 例（83\%）には，表 5 の定型表現のいずれかが使われている.

## 4.3 賛否と文字列が一致しない例

## 4.3.1 議会の用語

議会における議決は，地方自治法の規定に基づ き，議案の可決（否決），決算の認定（不認定），請願の採択（不採択）といった語で表される. 横浜市議会が作成した議会用語集の ${ }^{3}$ 「議決」の項に記さ れた一覧を図 6 に示す.

議決の種類を問わず「賛成」「反対」という表現 を用いて賛否の表明が行われることがあるが，図 7 に示すように，「採択すべき立場」といった表現で，賛否が表明されることもある.

1. 議案第 4 号医療費助成に関する条例の整備に関 する条例について、賛成の立場から討論いたし ます。

2.「最低賃金の大幅な引き上げと地域間格差の是正 を求める意見書」の提出を求める請願について、賛成する立場から討論いたします。

3.この制度が無策な行政の隙間だけに利用されるこ とを懸念し、賛成討論といたします。

4. 北広島市税条例の一部を改正する条例について、反対の立場で意見を述べさせていただきます。

5. 発議第 1 号について反対討論をいたします。

図 5 直接表現の例

3) https://www.city.yokohama.lg.jp/shikai/shikumi/ sonota/yougo.html

1. 可決・否決 (予算, 条例, 契約, 意見書, 決議など)

2. 認定・不認定（決算）

3. 承認・不承認（専決処分）

4. 同意・不同意 (人事案件)

5. 採択・不採択（請願）

6. 異議ない旨回答（諮問）

図 6 議决に関する議会用語

1. 私は、この 3 件の陳情を採択すべきという立場か ら討論をいたします。

2. 請願第 1 号を採択すべきという立場から意見を申 し上げます。

3. それでは、私は陳情第 1 号を採択すべきという立場で討論いたします。

4. 憲法違反の公務員賃金削減に反対する陳情書を不採択すべきとの立場から討論を行いたいと思い ます。

図 7 「採択（不採択）」による賛否表明の例

## 4.3.2 委員会での議決が否決であった場合

2 節に述べたように，本会議に先立って委員会に おいて議案の審議が行われる. 本会議では，まず委員会における議決が報告された上で，討論が行われ る.このため, 討論では委員会の議決への賛成・反対が述べられる. 委員会での議決が否決（不採択な ど）であった場合，図 8 の例のように議案への賛否 と賛否表現が逆になる。

## 4.3.3 その他の表現

このほか議会に見られるやや複雑な賛否表現の具体例を図 9 に示す. 1 は「反対する理由がなくなっ た」という表現で，賛成を表明している． 2 は「賛成し得ない立場」という表現で，反対を表明してい る.また， 3 は賛成を表明しているが，やむを得な いという心情をあわせて表明している例である.

## 5 おわりに

本稿では，NTCIR-17 QA Lab-PoliInfo-4における Stance Classification-2 タスクの目的と概要について 述べた. タスクにおける正解データとなる発言者の 賛否と，タスクの入力ではマスクする「賛成」「反対」の文字列の出現の関係について基礎的な分析を 行った.

討論発言の大多数は賛否を定型的な表現で表明し ている. しかし， 4.3 節に示したような例が存在す るため, 発言者の賛否は人手によって確認する必要
1. 陳情第 2 号、委員長報告は多数をもって不採択す べきもの。この委員長報告に対して賛成討論をい たします。

2. 選択的夫婦別姓制度の法制化に反対する意見書 の不採択とすることに反対の立場で討論いたし ます。

図 8 委員会での審議結果が不採択であった例

1. 私は委員会では反対をいたしましたけれども、た だいまの議会で学校統廃合が決まりましたので、反対する理由がなくなったことを申し添えます。

2. 私は、本陳情に賛成し得ない立場から討論をさせ ていただきます。

3. 議案第 9 号、北広島市介護保険条例の一部を改正 する条例について、改革フロンティアを代表し、保険料の引き上げやむなしの立場で討論を行い ます。

図 9 その他の賛否表現の例

がある．また，入力データにおいてマスクする賛否表現について，「賛成」「反対」の 2 語が妥当である か，類義語を幅広くマスクするべきであるかについ てはデータセット構築における検討課題である. こ れらの点については，本テスト（Formal Run）に向 けて，タスク参加者を交えて継続して議論して行き たい.

討論発言の抽出および正解となる賛否ラベル付与の自動化について研究を進め [4], 本稿執筆時点 では愛知県および北海道の地方議会のうち，討論発言を一括ではなく議案別に行っている 21 自治体の 会議録から，6,517 件のデータを作成した. これら はタスクの予備テスト（Dry Run）のデータセット の一部として 2023 年 1 月より公開する予定である.今後, Dry Run および Formal Run(2023 年 6 月頃実施予定)に向けて，順次データを拡張していく予定で ある。

## 謝辞

本研究は JSPS 科研費 20K00576 21H03769 の助成 を受けたものである.

## 参考文献

[1] 小川泰弘, 木村泰知, 渋木英潔, 乙武北斗, 内田汝ず,高丸圭一, 門脇一真, 秋葉友良, 佐々木稔, 小林暁雄. Ntcir-17 qa lab-poliinfo-4 のタスク設計. 言語処理学会第 29 回年次大会, 2023.

[2] 高丸圭一, 木村泰知, 内田ゆず, 佐々木稔, 吉岡真治, 秋葉友良, 渋木英潔. 東京都議会会議録における議案へ の賛否を表明する発言の分析. 人工知能学会全国大会論文集, Vol. JSAI2020, pp. 4Q3GS901-4Q3GS901, 2020.

[3] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mitamura, Masaharu Yoshioka, Tomoyosi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, Kenji Araki, Satoshi Sekine, and Noriko Kando. Overview of the ntcir-15 qa lab-poliinfo-2 task. In Proceedings of the 15th NTCIR Conference on Evaluation of Information Access Technologies, pp. 101-112, 2020.

[4] 我藤勇樹, 秋葉友良, 内田ゆず, 木村泰知, 高丸圭一. 地方議会議事録を対象としたスタンス分類データセッ トの自動構築とベースライン分類器の評価. 言語処理学会第 29 回年次大会, 2023 .


# チャットボットとの雑談対話に対する印象評価と 評価者の性格特性・コミュニケーションスキルとの関連

山本 茉莉 $^{1}$ 上 秋予 1 伊藤 紀子 ${ }^{2}$
1 同志社大学大学院 文化情報学研究科 2 同志社大学 文化情報学部
\{ctmh0001,ctmh0011\}@mail4.doshisha.ac.jp nito@mail.doshisha.ac.jp

## 概要

従来の雑談対話システムには，いくつかの問題が 存在し，ユーザが円滑に対話を継続することができ ない，すなわち対話が破綻してしまうことがある。 しかし, ユーザによって, システムの破綻発話に対 する許容度は異なると考えられる。そこで, 本調查 では，雑談対話におけるシステムの破綻発話に対す る不快感の度合いが，ユーザの性格特性・コミュニ ケーションスキルと関連すると仮説を立て, 調査を 実施した. その結果, ユーザの「神経症傾向」の特性が高いほど，システムの破綻発話に対するユーザ の許容度が低くなり，「自己統制性」の特性が高い ほど, システムの破綻発話に対するユーザの許容度 は高くなることが分かった。

## 1 はじめに

近年, Microsoft 社の Cortana, Apple 社の Siri, Google 社の Google Assistant など, 各社からさまざ まな対話システムが提供されている. これらは主に ユーザからの指示や課題を実行・解決することを目的としているが，rinna 株式会社の「りんな」のよう に雑談ができる対話システムも存在する. 従来の雑談対話システムは,いくつかの問題を内包しており，対話の破綻を完全に回避することは困難な段階であ る.このような対話の破綻は, ユーザに不快感を与 え，システムの使用率の低下に繋がる恐れがある。

雑談対話システム発話への評価がユーザの個人特性の違いにより異なりうることが先行研究で示唆さ れている. 東中ら [1]や叶内ら [2]では破綻の判定が アノテーター間で一致しないことが少なくないこと が報告されている. また宮本ら [3]は，「ユーザのパ ーソナリティ特性が心理的近接発話を行う雑談対話 システムの受容性にどのような影響を及ぼすか」と 「心理的近接発話の戦略の違いが雑談対話システム
の受容性にどのような影響を及ぼすか」という点に 着目し，ユーザの雑談対話システムに対する受容性 について検討した. その結果，システムが攻撃的㔯談を発した際の好感度について, 開放性や外向性と いった性格特性については正の相関を示したが，神経症傾向については負の相関を示すなど，ユーザの 性格特性と関連があることが報告されている。この 研究では，雑談対話の終盤のシステム発話を変化さ せることで受容度にどのような違いが見られるかを 調查したものであり，対話中のシステム発話一つ一 つに対するユーザの印象評価については調査されて いない.

そこで，本調査では，評価者の個人特性の内，性格特性とコミュニケーションスキルに焦点を当て，雑談対話の破綻応答文に対する不快感の度合いの分析を実施する。本調査によって性格特性・コミュニ ケーションスキルと破綻応答文に対する許容度に一定の規則性を見出すことができれば，それを雑談対話システムに組み込むことにより，ユーザの特性に 合わせた対話の展開が可能となり，対話継続欲求の 低下を防ぐ効果が期待できる。

## 2 調査内容

## 2. 1 雑談対話コーパス

システム発話に対する破綻アノテーションを行っ てもらうために，岩下 [5]のチャットボットとの対話コーパスから 12 件を抽出した。この対話コーパ スは, LINE を通じてインターメディアプランニング 株式会社のチャットボット「かたらい」と，以下の 3 つのテーマに則し雑談した際の対話データである.

-「新しいクラスで初めて知り合った隣の席の 学生と始めて会話する感じで」

- 「好きな○○について」

- 「小学校の時の思い出」

1 人が 3 つのテーマを合わせて約 10 分間チャッ トしたもので， 12 人分の対話データにシステム発話は 2156 件含まれている.

## 2.2 破綻アノテーション実験

実験参加者は 20 代の日本語母語話者の男女 10 名 である。実験課題は以下の通りである.

1. 直感に従ってシステム発話を $\bigcirc, \triangle, \times の 3$ 種類 で評価

2. $\triangle$ もくは $\times$ と評価した発話については, 5 件法 のリッカート尺度を用いて, どの程度不快に感じ るかについて評価

○， $\triangle ， \times$ の基準は，東中ら [1]を参考に，シス テムの発話を破綻の度合いに応じて, 以下の 3 種類 に分類するよう指示した。

- $\bigcirc$ ：「破綻ではない」…当該システム発話のあ と対話を問題無く継続できる.

- $\triangle$ : 「破綻と言い切れないが，違和感を感じる

ズに継続することが困難.

- $\times$ :「あきらかにおかしいと思う発話（破綻）」 ‥当該システム発話のあと対話を継続するこ とが困難.

不快感は 5 件リッカート尺度（1.全く不快ではな い〜5. 非常に不快である) で回答してもらい, $\triangle, \times$ のシステム発話数で除することで標準化を行った.

不快感の得点 $=([1$ の個数 $] * 1+[2$ の個数 $] * 2$ $+[3$ の個数 $] * 3+[4$ の個数 $] * 4+[5$ の個数 $]$

*5) $/[\triangle, \times$ の個数 $]$

## 2.3 事後アンケート

実験参加者自身の性格特性・コミュニケーション スキルに関する質問に回答してもらった。性格特性 については,小塩ら [6]の日本語版 TIPI-Jを使って,全 10 項目を 7 件法のリッカート尺度で回答しても らい, 「外向性」, 「協調性」, 「勤勉性」, 「神経症傾向」,「開放性」の 5 因子の得点を計測した。 コミュニケーションスキルについては, 藤本ら [7] の ENDCORE を使って, 全 6 項目を 7 件法のリッカ 一ト尺度で回答してもらい，「自己統制」，「表現力」,「解読力」,「自己主張」,「他者受容」,「関係調整」の 6 因子の得点を計測した。

## 2. 4 分析方法

性格特性・コミュニケーションスキルと破綻発話 への不快感の関係を明らかにするために，TIPI-J と ENDCORE の各得点を予測変数, 標準化済みの不快感得点を目的変数として重回帰分析を行った.

## 3 分析結果

調査によって得られた数値を表 1-3 にまとめた.

表 1 破綻アハテーションに関する基本統計量

 &  &  &  \\

表 2 性格特性の得点の基本統計量

 & 開放性 \\

表 3 コミュニケーションスキルの基本統計量

 &  &  &  &  &  \\

## 3.1 性格特性と不快感の関連

性格特性 5 因子の得点からシステム発話への不快感の得点を予測するために，強制投入法の重回帰分析を行った（表 4）.

表 4 性格特性を予測変数とした重回帰分析の 結果

分析の結果, 「神経症傾向」の標準偏回帰係数にの み有意傾向が見られ, 不快感に影響を与えているこ とが分かった。

## 3.2 コミュニケーションスキルと不快感の

## 関連

ENDCORE 各因子の得点からシステム発話への不快感の得点を予測するために，強制投入法の重回帰分析を行った.「他者受容」と「関係調整」につい ては VIF が 10 を超えたため分析から除外した（表 5).

表 5 コミュニケーションスキルを予測変数とした重回帰分析 の結果

調整済み $R^{2}=0.81,{ }^{*} p<0.05$

分析の結果, 「自己統制」の標準偏回帰係数のみ統計的に有意であり，不快感に影響を与えていること が分かった。

## 4 考察

分析結果から，TIPI-J における「神経症傾向」の 得点が高い評価者は破綻発話への不快感の度合いが 高くなることが分かった. 小塩 [5] らによると, 神経症傾向の得点が高いとは「心配性で，う万たえやす く」「冷静で, 気分が安定し」ない特性を持つ人物 である。また，ENDCORE における「自己統制」の 得点が高い評価者は破綻発話への不快感の度合いが 低くなることがわかった. 藤本ら [7]によると, 自己統制の得点が高いとは「自分の感情や行動をうまく コントロールする」特性を持つ人物である.

これらを踏まえると，「神経症傾向」が強い評価者は正直に不快感を示したが，「自己統制」が強い 評価者は実は不快に思っているけれどもそれをその まま回答しなかった可能性がある。もしそうだとす れば，アンケート調査のような意識的，主観的な方法ではなく皮膚電位や心拍などの生体信号データか ら不快感を計るような工夫が必要かもしれない.

## 5. おわりに

本研究は, さまざまある個人特性の中から性格特性とコミュニケーションスキルに着目し, 破綻に対 する許容度が予測可能かどうかを検証した. その結果, TIPI-J の「神経症傾向」と ENDCORE の「自己統制」が破綻発話への不快感の予測に有効であるこ とが示唆された. しかし, 現時点で実験参加者が 10 名と少ないため, より多くのデータを収集し, 精度 の高い分析を目指すことを今後の課題とする.

## 謝辞

本研究は JSPS 科研費 JP19K12191「雑談対話シス テムへの個性の付与とそのコミュニケーションへの 影響について」の助成を受けて行われたものである。 また, 同志社大学と東京工科大学の方々に実験にご 協力いただいた。ここに記して感謝いたします.

## 参考文献

1.東中竜一郎，船越孝太郎，荒木雅弘，塚原裕史，小林優佳, 水上雅博. テキストチャットを用いた雑談対話コーパスの構築と対話破綻の分析. 自然言語処理 23(1), pp.59-86, 2016.

2. 叶内晨, 赤崎智, 堀江伸太朗, 小亀俊太郎. Capex 雑談対話コーパスの構築とその分析. 言語処理学会第 28 回年次大会 発表論文集 pp.1090-1094, 2022.

3. 宮本友樹, 磐下大樹, 遠藤水紀, 永井望, 片上大輔. 雑談対話システムにおける心理的近接発話の戦略が対話の評価に及ぼす影響. 人工知能学会論文誌, 36(5), AG21-I_1-14, 2021.

4. 菊池浩史, 楊潔, 菊池英明. 雑談対話システムに おけるユーザの許容範囲を考慮した多様な同調応答 の検討. 人工知能学会全国大会論文集第 35 回,4E2-OS-11b-02, 2021.

5. 岩下志乃. チャットボットとの対話コーパスと 性格特性・社会的スキルのデータ公開.

 2021.

6. 小塩真司, 阿部晋吾, カトローニピノ. 日本語版 Ten Item Personality Inventory (TIPI-J) 作成の試み. パ ーソナリティ研究, 21(1), pp.40-52, 2012.

7. 藤本学・大坊郁夫. コミュニケーション・スキル に関する諸因子の階層構造への統合の試み. パーソ ナリティ研究, 15(3), pp.347-361, 2007.


# 回答者の生年に基づく語の意味変化の検出

峯尾海成 ${ }^{1}$ 門戸巧 ${ }^{2}$ 佐藤道大 ${ }^{2}$ 山岸祐己 ${ }^{2}$ 谷口ジョイ ${ }^{2}$
1 静岡理工科大学大学院理工学研究科 2 静岡理工科大学情報学部
\{2221027.mk, 2018119.mt, 1918061.sm, yamagishi.yuki, taniguchi.joy\}@sist.ac.jp

## 概要

本研究は，静岡県全域で用いられる方言「まめっ たい」の使用・理解に関する大規模調査から得られ た時系列データを分析することで，意味やイメージ にどのような変化が生じているのか，またその生成時期を推定することを主な目的としている．多項分布型レジームスイッチングおよび多群出現順位統計量によって分析を行った結果，「体を動かしてよ く働く」という意味での使用・理解は衰退傾向にあ り，代わって「性格的に几帳面だ」という意味での 使用が増加していることが明らかになった。また，語のイメージは，肯定的なものから否定的なものへ と変化していた。

## 1 語の意味変化

本稿は, 静岡方言「まめったい」という語の意味 がどのように変化しているかを問う意味変化論に 関するものである. 語の意味やイメージが変化する 過程にはさまざまな要因が関わっており, 進行中の 変化を捉えることは不可能であるとされていた [1]. そのため，これまでの研究においては「既に意味変化が完了した語」が扱われてきた。本研究において 筆者らが進行中の意味変化を可視化するために焦点を当てたのが，静岡全域で用いられる「まめった い」という形容詞である.「まめったい」という語 は，(1) 体を動かしてよく働く (2) 健康だ (3) 落ち着 きがない (4) 性格的に几帳面だ，のように複数の意味をもち [2], 多義性が認められる上, 複数の語義 が併存している. 加えて, 静岡方言研究会 [3] の調査によれば，「まめったい」は，共通語の「まめだ」 と競合関係にあることが指摘されており, 共通語が 「まめったい」の意味領域に影響を与えている可能性がある. 本研究は, 静岡方言の「まめったい」と いう語をひとつの事例とし, 時系列データを扱うこ とを想定した手法を応用することにより，過去に生 じた意味やイメージの変化のみならず，進行中の変化についても明らかにすることを目的としている.本研究では以下 2 点の仮説を検証する.

1. 静岡方言「まめったい」は過去に意味および語 のイメージに変化が生じており，その変化は現在も進行中である.

2. 提案手法である多項分布型レジームスイッチン グおよび多群出現順位統計量によって，これま で困難であった進行中の意味変化の可視化が可能である.

## 2 提案手法

## 2.1 多項分布型レジームスイッチング検出

多項分布型レジームスイッチング検出は，タイム ラインを生成することで，複雑に変化するデータを 単純化する手法である. 本研究では, データが多項分布に従うと仮定し, 多項分布型レジームスイッチ ング検出をデータの単純化手法として用いること で，静岡方言「まめったい」において，過去に生じ た意味変化とその時期を推定する。代表的な変化点検出手法 $[4,5]$ では, 単一情報の傾向変化を可視化 することに特化しているが，多項分布を仮定したレ ジームスイッチング手法 [6] においては, 複数情報 を扱うことを前提としており，変化が生じた時期の 把握が容易であることが示されている.ここでは, その基本技術を応用し, 自動でレジーム数を決定す る方法についても述べる。

ある調査データを $\mathcal{D}=\left.\{\left(s_{1}, t_{1}\right), \cdots,\left(s_{N}, t_{N}\right)\right.\}$ とす る.ここで,$s_{n}$ と $t_{n}$ は,$J$ カテゴリの状態と $n$ 番目の観測時刻，すなわち，各回答における選択肢 と回答者の生年をそれぞれ表す. $|\mathcal{D}|=N$ を観測数とすると， $t_{1} \leq \cdots \leq t_{n} \leq \cdots \leq t_{N}$ となる. $n$ は タイムステップとし, $\mathcal{N}=\{1,2, \cdots, N\}$ をタイム ステップ集合とする。また， $k$ 番目のレジームの 開始時刻を $T_{k} \in \mathcal{N}, \mathcal{T}_{K}=\left.\{T_{0}, \cdots, T_{k}, \cdots, T_{K+1}\right.\}$ を スイッチングタイムステップ集合とし，便宜上
$T_{0}=1 ， \quad T_{K+1}=N+1$ とする. すなわち， $T_{1}, \cdots, T_{K}$ は推定される個々のスイッチングタイムステップ であり， $T_{k}<T_{k+1}$ を満たすとする。そして， $N_{k}$ を $k$ 番目のレジーム内のタイムステップ集合とし，各 $k \in\{0, \cdots, K\}$ に対して $\mathcal{N}_{k}=\left.\{n \in \mathcal{N} ; T_{k} \leq n<T_{K+1}\right.\}$ のように定義する. なお, $\mathcal{N}=\mathcal{N}_{0} \cup \cdots \cup \mathcal{N}_{K}$ である.

いま，各レジームの状態分布が $J$ カテゴリの多項分布に従うと仮定する， $\boldsymbol{p}_{k}$ を $k$ 番目のレジームに おける多項分布の確率べクトルとし， $\mathcal{P}_{K}$ はそれら 確率ベクトルの集合，つまり $\mathcal{P}_{K}=\left.\{\boldsymbol{p}_{0}, \cdots, \boldsymbol{p}_{K}\right.\}$ と すると， $\mathcal{T}_{K}$ が与えられたときの対数尤度関数は以下のように定義できる.

$
L\left(\mathcal{D} ; \mathcal{P}_{K}, \mathcal{T}_{K}\right)=\sum_{k=0}^{K} \sum_{n \in \mathcal{N}_{k}} \sum_{j=1}^{J} s_{n, j} \log p_{k, j}
$

ここで, $s_{n, j}$ は $s_{n} \in\{1, \cdots, J\}$ を

$
s_{n, j}=\left.\{\begin{array}{l}
1 \text { if } s_{n}=j \\
0 \text { otherwise. }
\end{array}\right.
$

のように変換したダミ一変数である. 各レジーム $k=0, \cdots, K$ と各状態 $j=1, \cdots, J$ に対する式 (1)の 最尤推定量は $\hat{p}_{k, j}=\sum_{n \in \mathcal{N}_{k}} s_{n, j} /\left|\mathcal{N}_{k}\right|$ のように与えら れる.これらの推定量を式 (1) に代入すると以下の 式が導ける.

$
L\left(\mathcal{D} ; \hat{\mathcal{P}}_{K}, \mathcal{T}_{K}\right)=\sum_{k=0}^{K} \sum_{n \in \mathcal{N}_{k}} \sum_{j=1}^{J} s_{n, j} \log \hat{p}_{k, j}
$

したがって，スイッチングタイムステップの検出問題は，式 (3)を最大化する $\tau_{K}$ の探索問題に帰着で きる.

適当な条件下で式 (3)を最大化しょうとすると，最適解を求めるための計算量が $O\left(N^{K}\right)$ となってし まうため，ある程度大きい $N$ に対して $K \geq 3$ となっ てしまうと，実用的な計算時間で解くことができな い.したがって，任意の $K$ について解くために，貪欲法と局所探索法を組み合わせた方法 [6] を用いる. なお，本実験では貪欲法アルゴリズムの終了条件と して最小記述長原理 (MDL) [7]を採用し，事前にレ ジーム数を設定することなく自動で終了させる.

## 2.2 多群出現順位統計量に基づく時系列 データの変換

データカテゴリの時系列的変化を明示し，それら を複数カテゴリ間で比較するため, 出現順位を用 いた統計量によるデータ変換を行う。この手法は， Mann-Whitney の U 検定 [8] を基盤とし，多群を扱え
るよう拡張したものであり，データの出現頻度の傾向変化を z-score として表現する. 静的な分析手法 による指標を，動的な視点で捉えられるよう可視化 するため，長期的な変化が捉えやすいと言える。ま た，各カテゴリの z-score は，他のカテゴリすべてを 基準としているため，複数間のカテゴリにおける比較が容易である。

多項分布レジームスイッチングの問題設定と同様 に，ある調査データのタイムステップ（回答者の生年）集合と，それらが有するカテゴリ（選択肢）集合 をそれぞれ $N$ と $\mathcal{J}$ とする。つまり，それぞれの要素数は $N=|\mathcal{N}|$ と $J=|\mathcal{J}|$ とし, 各要素は整数と同一視されるとする。すなわち, $\mathcal{N}=\{1, \cdots, n, \cdots, N\}$ および $\mathcal{J}=\{1, \cdots, j, \cdots, J\}$ である.なお，オブ ジェクト $n$ は最古のものが 1 , 最新のものが $N$ とな るよう，出現順に並んでいるものとする．このと き，タイムステップ $n$ がカテゴリ $j$ を有する場合は 1 , それ以外の場合は 0 となっている $J$ 行 $N$ 列の行列を $Q\left(q_{j, n} \in\{0,1\}\right)$ とすると, オブジェクト $n$ が 有するカテゴリ数は $d_{n}=\sum_{i=1}^{J} q_{i, n}$, タイムステップ $n$ までのカテゴリ $j$ の出現数は $I_{j, n}=\sum_{i=1}^{n} q_{j, i}$ のよ うに表せる。いま，オブジェクトに付随してカテゴ リが出現するとし，以降では，オブジェクト出現か らカテゴリ出現へと視点を変える. このとき，才 ブジェクト $n$ が唯一のカテゴリのみ有する $d_{n}=1$ の場合では，オブジェクト $n$ に付随して出現した カテゴリ $j$ の出現順位は $r_{n}=I_{n-1}+1$ であるが，複数のカテゴリを有する $d_{n}>1$ の場合では，平均順位を考えなければならないため，その出現順位は $r_{n}=I_{n-1}+\left(1+d_{n}\right) / 2$ となる. ここでの目的は，タイ ムステップとカテゴリの集合が与えられたとき，出現順位の値が大きい（新しい），または逆に小さい （古い）タイムステップが有意に多く含まれるカテ ゴリを定量的に評価する指標の構築である.

Mann-Whitney の二群順位統計量 [8]を多群に拡張 し，カテゴリの出現順位に適用する方法について述 ベる. いま，カテゴリ $j$ に着目すれば，このカテゴ リに属するタイムステップ集合 $\left.\{n \in \mathcal{N}: q_{j, n}=1\right.\}$ と，このカテゴリに属さないタイムステップ集合 $\left.\{n \in \mathcal{N}: q_{j, n}=0\right.\}$ の二群に分割することができる. よって, Mann-Whitney の二群順位統計量に従い, 次式により，タイムステップ $n$ までのカテゴリ $j$ に対 し $\mathrm{z}$-score $z_{j, n}$ を求めることができる.

$
z_{j, n}=\frac{u_{j, n}-\mu_{j, n}}{\sigma_{j, n}} .
$

ここで，統計量 $u_{j, n}$, 出現順位の平均 $\mu_{j, n}$, および， その分散 $\sigma_{j, n}^{2}$ は次のように計算される.

$
\begin{aligned}
u_{j, n} & =\sum_{i=1}^{n} n q_{j, i}-\frac{I_{j, n}\left(I_{j, n}+1\right)}{2} \\
\mu_{j, n} & =\frac{I_{j, n}\left(n-I_{j, n}\right)}{2} \\
\sigma_{j, n}^{2} & =\frac{I_{j, n}\left(I_{n}-I_{j, n}\right)}{12}\left(\left(I_{n}+1\right)-\sum_{i=1}^{n} \frac{d_{i}^{3}-d_{i}}{I_{n}\left(I_{n}-1\right)}\right)
\end{aligned}
$

先程と同様, 各オブジェクトが複数のカテゴリを有 し得ないケースでは，式 (7)の $d_{i}$ を含む項，すなわ ち平均順位を扱うための補正値の計算は不要であ る.この多群順位統計量は, 基本的には 2 クラス分類器の SVM (Support Vector Machine) [9]を多クラス 分類器に拡張するときに利用される one-against-all と類似した考え方となる。

以上より，式 (4)で求まる z-score $z_{j, n}$ により，才 ブジェクト $k$ までの各カテゴリ $j$ が, 出現順位の値 が大きい（新しい），または逆に小さい（古い）オブ ジェクトを有意に多く含むかを定量的に評価するこ とができる. すなわち, この $z_{j, n}$ が正の方向に大き ければ大きいほど，タイムステップ $n$ の直近での出現が有意に多いということであり，カテゴリ $j$ の勢力が伸びていることになる. 逆に， $z_{j, n}$ が負の方向 に大きいということは，過去に比べて勢力が衰えて いることになる. また, 式 (4) で求まる z-score $z_{j, n}$ の計算量は全てのオブジェクトと全てのカテゴリに ついて算出した場合でも $O(N J)$ と高速であり，才 ンライン処理においても新たに追加されたオブジェ クトごとに $O(J)$ の計算量しかかからない.

## 3 調査概要

本調查は，静岡方言を母方言話とする 1,544 名を 対象としている。調査は，質問紙，あるいはウェブ 調査により行い，性別，生年，出身地域，家庭内に おける方言使用の有無といった基本情報を収集し た. 冒頭に「まめったい」という語の使用・理解に ついての設問を設け，「使用する」「使用しないが理解できる」と回答した 1,195 名については，1 節で 述べた 4 つの意味についてそれぞれの用例を示し、 その使用、理解について回答を依頼した。

最後に「「まったい」を用いた短文作成を依頼 し（852 名が回答)，上記に基づく意味分類を行った 上で，肯定的な意味で使用されているか，あるいは否定的に用いられているか，という観点から分類を 行った.

## 4 実験結果とまとめ

以下は，「まめったい」の使用・理解に関する調査結果を，上記の 2 手法で可視化したものである.多項分布型レジームスイッチングにより「まめった い」の使用・理解に見られる変化を単純化・可視化 した結果，1956 年，1980 年，1995 年（調査協力者の 生年）でデータ構造の変化が見られ，その使用は全体として減少傾向にあることが判明した (図 1).ま た，この傾向は 1950 年生まれから見られ，1970 年生まれから顕著なものになっていることが示唆され た (図2).また，「まめったい」の使用・理解の低下 については, z-score の最終值 $z_{j, N}$ の絶対値の大き さから，今後も継続する可能性が高いと思われる.

図 1 多項レジームスイッチング検出 (使用・理解)

図 2 多群出現順位統計量 (使用・理解)

図 3 は，「まめったい」を用いた短文作成に基づ く意味分類における多項分布型レジームスイッチン グの検出結果であり， 1980 年代半ば生まれにデー 夕構造が変化していることが示されている. 短文作成に基づく意味分類においては「体を動かしてよく 働く」という意味での使用が減少傾向にあり，「性
格的に几帳面だ」という意味での使用が増加傾向に あることが明らかとなった（図 3).また，「健康だ」 および「落ち着きがない」という意味については，検出されたスイッチング以降ほぼ出現していないこ とがわかる. 多群出現順位統計量の結果から, この 変化傾向は 1970 年生まれから際立っていることが 明らかとなった（図 4).

図 3 多項レジームスイッチング検出 (意味分類)

図 4 多群出現順位統計量 (意味分類)

最後に「「めったい」を用いて作成された短文 が肯定的な意味，あるいは否定的な意味で使用され ているかについて分析を行ったところ，レジームス イッチングの結果からは，スイッチングが検出され なかった（図 5)．そのため，年代全体を通した分布 に大きな変化はないと推察される。一方，多群出現順位統計量の結果（図 6）からは, 出現傾向の変化 が確認でき，特に 1970 年代半ば生まれからは, 肯定的な意味から否定的な意味で使用されるように なっている.

意味変化の要因は複雑かつ多層的であるため，特定することは困難であるが，競合する共通語「まめ だ」が，方言形「まめったい」の意味領域に影響を与 えている可能性は排除できない。共通語「まめだ」 が「まめったい」の主要な意味（=体を動かしてよ

図 5 多項レジームスイッチング検出 (語イメージ)

図 6 多群出現順位統計量 (語イメージ)

く働く）を侵食するような形で意味変化を引き起こ していることが今回の分析によって示唆された.

## 5 終わりに

本研究では，共通語「まめだ」と競合関係にある 静岡方言「まめったい」の意味および語イメージの 変化について，2つの提案手法を用いて単純化及び 可視化を行った.

分析の結果「まめったい」の使用・理解について は低下傾向にあり，変化は今後も続くことが示唆さ れた，語の意味については，「体を動かしてよく働 く」という意味から「性格的に几帳面だ」という意味へと変化していた.これに伴い, 語イメージも肯定的なものから否定的なものへと変化していた. ま た，同手法によりこうした変化の生成時期について も推定が可能であった. 以上，本研究で用いたレ ジームスイッチング検出，および，多群出現順位統計量という 2 つ提案手法によって，これまで捉え ることが困難であった「進行中の意味変化」の推定 が可能であることがわかった.

## 謝辞

本調査にご協力いただいた方々に感謝いたしま す. 本研究は, 静岡理工科大学グループ研究推進支援費の助成を受けています。

## 参考文献

[1] Leonard Bloomfield. Language. H. Holt and Company, 1933.

[2] 東条操 (編). 全国方言辞典. 東京堂, 1951.

[3] 静岡方言研究会. 図節静岡県方言辞典. 吉見書店, 1951.

[4] J. Kleinberg. Bursty and hierarchical structure in streams. In Proceedings of the 8th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD-2002), pp. 91-101, 2002.

[5] Rebecca Killick, Paul Fearnhead, and I.A. Eckley. Optimal detection of changepoints with a linear computational cost. Journal of the American Statistical Association, Vol. 107, pp. 1590-1598, 122012.

[6] Yuki Yamagishi and Kazumi Saito. Visualizing switching regimes based on multinomial distribution in buzz marketing sites. In Foundations of Intelligent Systems 23rd International Symposium, ISMIS 2017, Vol. 10352 of Lecture Notes in Computer Science, pp. 385-395. Springer, 2017.

[7] J. Rissanen. Modeling by shortest data description. Automatica, Vol. 14, No. 5, pp. 465-471, September 1978.

[8] H. B. Mann and D. R. Whitney. On a test of whether one of two random variables is stochastically larger than the other. Ann. Math. Statist., Vol. 18, No. 1, pp. 50-60, 031947.

[9] Vladimir N. Vapnik. The Nature of Statistical Learning Theory. Springer-Verlag New York, Inc., New York, NY, USA, 1995.


# 極小主義に動機づけられた統語的教示に基づく言語モデル

磯野真之介＊梶川康平＊吉田遼＊大関洋平
東京大学
}

\{isono-shinnosuke, kohei-kajikawa, yoshiryo0617, oseki\}@g.ecc.u-tokyo.ac.jp
## 概要

近年、階層的な統語構造を明示的に扱う言語モ デルである再帰的ニューラルネットワーク文法 （RNNG）が、高い文法汎化能力を持ちうることが 示されている。本研究は、RNNGをべースに、有力な言語理論である極小主義の見地からより妥当 な統語構造を用いた新しい言語モデル（極小主義 (Minimalism) に動機づけられた RNNG, M-RNNG) を提案する。M-RNNGでは、音形のない痕跡や機能範疇が加わる一方、非終端記号はなく、また木は 全て二分木である。SyntaxGym による評価では、一部の文法タスクで M-RNNG の精度が RNNG を上回 り、音形のない要素と極小主義的な木構造がそれぞ れ精度に貢献し得ることが示唆された。

## 1 はじめに

理論言語学では、人間の文法知識は離散的で再帰的な階層構造によって特徴づけられると主張され てきた $[1,2]$ 。近年主流の大規模な言語モデルには そのような階層的な構造を明示的に扱わないもの も多い（e.g., [3]）が、階層構造を明示的に扱う（統語的教示がある）ことの重要性は今日に至るまで盛 んに議論されている $[4,5,6,7]$ 。例えば、それら統語的教示のある言語モデルの代表の一つである再帰的ニューラルネットワーク文法 (Recurrent Neural Network Grammar, RNNG) [8] は統語的教示のない 純粋な再帰的ニューラルネットワーク (Recurrent Neural Network, RNN) [9] に比べて高い文法汎化能力 $[10,11,12]$ や心理言語学的評価 $[13,14]$ を達成で きることが示されており、「人間らしい」言語モデ ルとして注目されている [15]。

しかし、RNNG をはじめとする統語的言語モデル が扱う統語構造と、人間の言語知識についての有力 な理論である主流生成文法、特に極小主義 $[2,16]$ で 想定されている統語構造との間には開きがある。主

流生成文法では、移動の痕跡や機能範疇として音形 を持たない要素が存在し、人間の言語知識の説明に 重要であることが主張されている。しかし、こうし た音形のない要素は、主流なツリーバンク $[17,18]$ のアノテーションに含まれているにも関わらず、統語的言語モデルに与えられる教示では一般に取 り去られてしまっている [19]。そこで本研究では、 RNNG をべースに、主流生成文法・極小主義の見地 からより妥当な統語構造を用いた新しい言語モデル （極小主義 (Minimalism) に動機づけられた RNNG, M-RNNG）を提案する。M-RNNG は、音形のない要素の生成 NULL (*x) をアクションに含むことで、解析対象の文字列に含まれていない要素を推測でき る。これを利用し、主流生成文法で広く受け入れら れているいくつかの音形のない要素が、文法汎化能力に貢献するかを検証する。

また極小主義では、階層構造を生成する操作であ る併合 (Merge) は、常に 2 つの要素をとり、そのラ ベルはそれらの要素を元に決まるとされている [2]。 これらを踏まえ、M-RNNG が扱う木は全て二分木 とし、明示的な非終端記号を取り去った。これによ り、RNNG などの既存の統語的言語モデルにおける 非終端接点を開くアクションNT (X) は不要となり、併合に相当する REDUCE アクションが常にスタック の上位 2 個の要素を参照してそれらを合成すること になる。

このように、M-RNNG は、理論言語学で有力視さ れている構造を統語的教示として用いた言語モデル であり、本研究は人間らしい言語モデルの開発へ向 けて、人間の文法知識を探求してきた理論言語学の 知見が生かせるかを検証するものである。

## 2 提案手法

## 2.1 構文木の変換

主流生成文法、特に極小主義の見地からある程度妥当な構文木は、Penn Treebank (PTB) [17] 形式の構

図 1 実際の木変換の例。三点リーダ部分は省略。

文木を一定のアルゴリズムに基づいて変換するこ とで得られる。本研究で行った変換の例を図 1 に示 す。変換は音形のない要素に関するものと、二分木化に関するものに大別される。音形のない要素のう ち、PTB のアノテーションに存在するものについて は、表記をアステリスクャから始まるように統一し、移動の痕跡 $\star t$ 、補文標識 $\star c 、$ 削除の痕跡 $x e$ に整理し た。句読点および単位記号の解釈位置 $(* U *)$ は削除した。さらに、時制の機能範疇を挿入した。具体的には、 $S$ に直接支配され、一般動詞の活用形を主要部とするVPがあれば、それに被せる形で時制を 示す要素（動詞の活用形に応じて、過去形*tns_pst、現在形 3 人称単数 $*$ tns_pres_3s、それ以外の現在形×tns_pres）を插入した。時制の機能範疇を挿入 したのは、その存在が主流生成文法において広く受 け入れられており、かつ PTB のアノテーションを元 に挿入することが容易だからである。

二分木化に際しては、PTB で三分木以上となって いる木を、その品詞タグから判断できる限り言語学的に妥当になるように二分木に自動変換した。たと えば、図 1 の the authority to ... のように決定詞と名詞、それに後続する句を持つ三分木は、句を名詞の 姉妹要素として付け替えることで二分木とした。ま た、giveのような三項動詞については、動詞に後続 する 2 つの項を 1 つの構成素にまとめた [20,21]。

こうした変換を終えたあと、残った三分木以上の 木を右枝分かれの二分木に変換し、枝分かれのない 木を取り除き、非終端記号を取り去った。

## 2.2 極小主義に動機づけられた RNNG

提案モデルである極小主義 (Minimalism) に動機 づけられた RNNG (M-RNNG) のアーキテクチャを図 2 に示す。スタックのみの RNNG $[22,10]$ をべー スとしつつ、2.1 項の変換アルゴリズムにより得ら れた、主流生成文法・極小主義の見地からより妥当 な統語構造を教示とすることが可能になっている。 M-RNNG は、スタックデータ構造を用い、以下の 3 つのアクションによってその状態を更新していく：

$\cdot$ $\operatorname{GEN}(\mathrm{x})$ : 単語 $\mathrm{x}$ を生成する。生成単語 $\mathrm{x}$ を表す ベクトル $e_{x}$ をスタックの先頭に追加する。

・NULL (*x)：音形のない要素* $\mathrm{x}$ を生成する。生成要素* $\mathrm{x}$ を表すべクトル $e_{* x}$ をスタックの先頭に 追加する。

・REDUCE：併合に相当する。スタックの上位 $2 \supset$ の要素を双方向 LSTM [23] を用いて合成する。

非終端記号を取り去った二分木を扱うため、RNNG などの既存の統語的言語モデルにおける非終端記号を開くアクション NT (X) は不要となり、また、 REDUCE アクションは常にスタックの上位 2 個の要素のみを参照すればよいことになる（cf. [24]）。各 アクションの後には、スタックの状態がスタック LSTM [25] により単方向にエンコードされ、それに 基づき次のアクションの確率分布が算出される。各 アクションの後、スタック内に単一のベクトルが 残された際のみ、生成の終了を表す STOP アクショ ン [10] に対しても確率が付与できるようになる。

## 3 実験設定

## 3.1 音形のない要素の有無

M-RNNG の学習データには、PTB 形式のツリーバ ンクの一つである Brown Laboratory for Linguistic Information Processing 1987-89 Corpus Release 1 (BLLIP、 LG、約 1.8M 文、約 42M トークン) [18] の各文に 2.1 項の変換アルゴリズムを適用したものを用いた。さ らに本研究では、音形のない要素がモデルの文法汎化能力に貢献するかを検証するため、そうした要素 を以下の 2 つのグループに分け、それぞれの有無だ けが異なる 4 つの実験用のデータを用意した。

$\cdot$痕跡（移動の痕跡×t および削除の痕跡 $x \mathrm{e} ）$
- 機能範疇 (時制×tns_pst、*tns_pres、

*tns_pres_3s および補文標識×c)

各実験用データを用い、入力・隠れ層の次元数 256 の 2 層 M-RNNG を学習した。また、ベースライン として、2.1 項の変換アルゴリズムを適用しないか つ従来通り音形のない要素を取り去った BLLIP で

図 2 極小主義 (Minimalism) に動機づけられた RNNG (M-RNNG) のアーキテクチャ。GEN(x)、NULL(*x) アクションによ り、それぞれ、単語、音形のない要素、を生成する。非終端記号を取り去った二分木を扱うため、非終端記号を開くアク ションNT (X) は不要となり、併合に相当する REDUCE アクションは常にスタックの上位 2 個の要素を合成する。

学習した、入力・隠れ層の次元数 256 の 2 層 RNNG を学習した。M-RNNG と RNNG は共に並列化した 実装 [4]を用いた。1) 各 M-RNNG 及び RNNG につい て、ランダムシードの異なる 3 つのモデルを学習し た。学習の詳細は付録 $\mathrm{A}$ に示した。

## 3.2 SyntaxGym

本研究では、音形のない要素の有無が異なる 4 つのデータで学習された M-RNNG 及び RNNG を、統語的汎化能力の観点から評価する。評価データ としては、SyntaxGym ベンチマーク [26] における 5 つのテストサーキット [12]を用いた。各サーキッ トは、以下のそれぞれの言語現象を対象とする： Agreement, Licensing, Garden-Path Effects、 Center Embedding、Long-Distance Dependencies。ただし、 Garden-Path Effects はNP/Z 及び主動詞/縮約関係節ガーデンパス文の扱いをテストするものである が、このうち NP/Z ガーデンパス文は二分木化の際 に取り除かれた「カンマ (,)」を手がかりとしないと 解けないデザインとなっているため本研究では対象外とした。SyntaxGym における残り 1 つのサーキッ トであるGross Syntactic Stateを本研究で用いな いのも同様の理由による。

SyntaxGym において、言語モデルの統語的汎化能力は、統制された複数文の間での確率的予測の違い によって測られる。例えば、Agreement における、前置詞句を含む主語と述語の一致のテストでは、言語モデルは正文である (1a)の下線部に非文である

1）M-RNNGの実装は構文木の変換コードと共に後日公開予定である。RNNG の実装は以下を利用した： https://github.com/aistairc/rnng-pytorch。 (1b) の下線部よりも高い確率を付与していれば正解 となる：

(1) a. The author next to the senators is good.

b. *The author next to the senators are good.

M-RNNG 及び RNNG を単語列に対する推論の モデルとして使うために、単語同期型ビームサー チ [27]を用いた。単語同期型ビームサーチは、各ア クション毎の足切りとは別に、各単語の生成を行う アクション $\operatorname{GEN}(\mathrm{x})$ 毎にも足切りを行う。本研究で 新たに導入した、音形のない要素の生成 NULL $(* x)$ アクションを持つ M-RNNG にも直接適用可能であ る。先行研究 [4] に従い、アクションビーム幅を 100、単語ビーム幅を 10、ファストトラック幅を 1 に設定した。

## 4 結果と考察

4 種類のデータで学習した M-RNNG およびRNNG の、サーキットごとの結果を、図 3 に示す。棒グラ フはシードの異なる 3 つのモデルの結果の平均値を 表し、それぞれの点は各シードの結果を表す。

まず、音形のない要素の有無による M-RNNG 間 の精度の違いを見ると、 5 つのサーキットのうち Licensing を除く4つで、機能範疇と痕跡の両方 を含めたデータで学習したモデルの精度が最も 高かった。これらの音形のない要素が、統語構造 の適切な分析に貢献したと考えられる。たとえ ば、Agreement では、機能範疇と痕跡の両方を含め ることで初めて高い精度が出ており、時制の機能範疇が一致素性を明示していること（tns_pres と

図 34 種類のデータで学習した M-RNNG および RNNG の、サーキットごとの結果。棒グラフはシードの異なる 3 つの モデルの結果の平均值を表し、それぞれの点は各シードの結果を表す。

tns_pres_3s の区別がある）と、移動の痕跡がある ことでサーキットに用いられている関係節が解析し やすくなっていることが寄与していると推測され る。(2)の文に対する同一シードでの結果を比較す ると、機能範疇と痕跡ありの M-RNNG が正文の構文解析を正しくできており、文法性も正しく判断し ている一方、これらのない M-RNNG は解析ができ ておらず文法性判断も誤っている。それぞれの解析結果を(3a, b) に示す。なお、RNNG も、(3c) に示す ように解析を失敗している。

(2) The consultants that the secretary doubted $\{$ are/*is $\}$ good.

(3) a. ((The (consultants (that ((the secretary) $(*$ tns_pst $($ doubted $* t))))))($ are good) $)$

b. (The (consultants (that ((the secretary) doubted) (are good)))))

c. (S (NP (NP The consultants) (SBAR (WHNP that) (S (NP the secretary) (VP doubted (SBAR (S (VP are (ADJP good))))))))))

また、M-RNNG と RNNGを比較すると、 Agreement, Center embedding、Garden-Path $の 3 \supset の$ サーキットで、機能範疇と痕跡を含めた M-RNNG、 およびどちらも含めない M-RNNG が RNNG の精度 を上回った。これらのサーキットでは二分木ないし 非終端記号の除去という M-RNNG の極小主義的な 設計自体が精度を高めたと考えられる。

一方、Licensing と Long-Distance Dependency で は全ての M-RNNG の精度が RNNG を下回った。 Licensing では、M-RNNG が RNNG に比べて特に苦手とするのが (4) のような herself を含む問題であっ
た。非終端記号の除去により、主語名詞句を構造的 に抽象化する効果が薄れ、主語に対するジェンダー バイアス [28] が RNNG より残存しやすかった可能性が考えられる。

(4) The pilot that the teachers met injured \{herself/*themselves \}.

最後に、本研究の中心的課題ではないが、MRNNG は RNNG よりも計算効率の面で優れてい る。32GB の NVIDIA V100 GPU $\times 1$ を用いた BLLIP （LG、約 1.8M 文、約 42M トークン）の 15 エポック の学習に、RNNG は約 13 時間を要したが、M-RNNG は最も学習時間がかかった機能範疇と痕跡ありの条件でも約 6 時間の学習時間しか要さなかった。

## 5 おわりに

本研究は、有力な言語理論である極小主義に動機 づけられた統語構造を用いた新しい言語モデルとし て M-RNNG を提案した。SyntaxGym による評価で は、一部の文法タスクで、M-RNNG の精度が RNNG を上回った。本実験の結果は、音形のない要素の存在と、全て二分木で非終端記号のない極小主義的な 木構造がいずれも言語モデルの文法汎化能力に寄与し得ることを示唆している。提案手法はその他の 統語的言語モデル (e.g., Transformer Grammar [6]) に も応用可能であり、理論言語学の知見を生かした人間らしい言語モデルの開発を後押しすると考えら れる。

## 謝辞

本研究は、JST さきがけ JPMJPR21C2 の支援を受 けたものです。

## 参考文献

[1] Noam Chomsky. Aspects of the theory of syntax. MIT Press, Cambridge, MA, 1965.

[2] Noam Chomsky. The Minimalist Program. MIT Press, Cambridge, MA, 1995.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL 2019, pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Hiroshi Noji and Yohei Oseki. Effective batching for recurrent neural network grammars. In Findings of ACL 2021, pp. 4340-4352, Online, August 2021. Association for Computational Linguistics.

[5] Peng Qian, Tahira Naseem, Roger Levy, and Ramón Fernandez Astudillo. Structural guidance for transformer language models. In ACL-IJCNLP 2021, pp. 3735-3745, Online, August 2021. Association for Computational Linguistics.

[6] Laurent Sartran, Samuel Barrett, Adhiguna Kuncoro, Miloš Stanojević, Phil Blunsom, and Chris Dyer. Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale. TACL 2022, Vol. 10, pp. 1423-1439, 12 2022.

[7] Ryo Yoshida and Yohei Oseki. Composition, attention, or both? In Findings of EMNLP 2022, pp. 5851-5863, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[8] Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, and Noah A. Smith. Recurrent neural network grammars. In NAACL 2016, pp. 199-209, San Diego, California, June 2016. Association for Computational Linguistics.

[9] Jeffrey L. Elman. Finding structure in time. Cognitive Science, Vol. 14, No. 2, pp. 179-211, 1990.

[10] Adhiguna Kuncoro, Chris Dyer, John Hale, Dani Yogatama, Stephen Clark, and Phil Blunsom. LSTMs can learn syntaxsensitive dependencies well, but modeling structure makes them better. In ACL 2018, pp. 1426-1436, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[11] Ethan Wilcox, Peng Qian, Richard Futrell, Miguel Ballesteros, and Roger Levy. Structural supervision improves learning of non-local grammatical dependencies. In NAACL 2019, pp. 3302-3312, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[12] Jennifer Hu, Jon Gauthier, Peng Qian, Ethan Wilcox, and Roger Levy. A systematic assessment of syntactic generalization in neural language models. In ACL 2020, pp. 1725-1744, Online, July 2020. Association for Computational Linguistics.

[13] John Hale, Chris Dyer, Adhiguna Kuncoro, and Jonathan Brennan. Finding syntax in human encephalography with beam search. In ACL 2018, pp. 2727-2736, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[14] Ryo Yoshida, Hiroshi Noji, and Yohei Oseki. Modeling human sentence processing with left-corner recurrent neural network grammars. In EMNLP 2021, pp. 2964-2973, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[15] Tal Linzen. How can we accelerate progress towards human-like linguistic generalization? In ACL 2020, pp. 5210-5217, Online, July 2020. Association for Computational Linguistics.

[16] David Adger. Core Syntax: A Minimalist Approach. Oxford
University Press, 2003

[17] Mitchell P. Marcus, Beatrice Santorini, and Mary Ann Marcinkiewicz. Building a large annotated corpus of English: The Penn Treebank. Computational Linguistics, Vol. 19, No. 2, pp. 313-330, 1993

[18] Eugene Charniak, Don Blaheta, Niyu Ge, Keith Hall, John Hale, and Mark Johnson. BLLIP 1987-89 WSJ Corpus Release 1 LDC2000T43, 2000.

[19] C.D. Manning and H. Schutze. Foundations of Statistical Natural Language Processing. MIT Press, Cambridge, MA, 1999.

[20] Richard K. Larson. On the double object construction. Linguistic Inquiry, Vol. 19, No. 3, pp. 335-391, 1988.

[21] Kenneth Hale and Samuel Jay Keyser. On argument structure and the lexical expression of syntactic relations. In Kenneth Hale and Samuel Jay Keyser, editors, The view from Building 20, pp. 53-109. MIT Press, Cambridge, MA, 1993.

[22] Adhiguna Kuncoro, Miguel Ballesteros, Lingpeng Kong, Chris Dyer, Graham Neubig, and Noah A. Smith. What do recurrent neural network grammars learn about syntax? In EACL 2017, pp. 1249-1258, Valencia, Spain, April 2017. Association for Computational Linguistics.

[23] Mike Schuster and Kuldip K. Paliwal. Bidirectional recurrent neural networks. IEEE 1997, Vol. 45, pp. 2673-2681, November 1997.

[24] Yoon Kim, Alexander Rush, Lei Yu, Adhiguna Kuncoro, Chris Dyer, and Gábor Melis. Unsupervised recurrent neural network grammars. In NAACL 2019, pp. 1105-1117, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[25] Chris Dyer, Miguel Ballesteros, Wang Ling, Austin Matthews, and Noah A. Smith. Transition-based dependency parsing with stack long short-term memory. In ACL 2015, pp. 334-343, Beijing, China, July 2015. Association for Computational Linguistics.

[26] Jon Gauthier, Jennifer Hu, Ethan Wilcox, Peng Qian, and Roger Levy. SyntaxGym: An online platform for targeted evaluation of language models. In ACL 2020, pp. 70-76, Online, July 2020. Association for Computational Linguistics.

[27] Mitchell Stern, Daniel Fried, and Dan Klein. Effective inference for generative neural parsing. In EMNLP 2017, pp. 1695-1700, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[28] Rebecca Marvin and Tal Linzen. Targeted syntactic evaluation of language models. In EMNLP 2018, pp. 1192-1202, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[29] Slav Petrov, Leon Barrett, Romain Thibaux, and Dan Klein. Learning accurate, compact, and interpretable tree annotation. In COLING-ACL 2006, pp. 433-440, Sydney, Australia, July 2006. Association for Computational Linguistics.

[30] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In ICLR 2015, San Diego, CA, USA, 2015. Conference Track Proceedings.

## A 学習の詳細

前処理 学習、開発、およびテストセットの分割 は先行研究 [12] に従った。先行研究 [4] を踏襲し、学習データの頻出語上位 50,000 語を語彙に含め、残 りは Berkeley parser's surface feature rule [29] に則って 未知語化した。ただし、M-RNNG が REDUCE の際に 常にスタックの上位 2 個の要素を対象として合成で きるよう、サブワード化は行わなかった。

ハイパーパラメータ $\quad$ M-RNNG 及び RNNG の学習時のハイパーパラメータは先行研究 [4] を踏襲し た。最適化には学習率を 0.001 に設定した Adam [30] を用いた。ドロップアウト率は 0.1、バッチサイズ は 512 に設定した。また、 15 エポックの学習を行 い、各モデルの評価の際には、BLLIP の開発セッ トで最も損失が小さかったチェックポイントを用 いた。


# 環境税をめぐる言説空間に関する一検討一 国会議事録を活用した関連用語の分析 一

吉岡詩織* 早川敦士* レー武興
株式会社DATAFLUCT
\{shiori. yoshioka, atsushi. hayakawa, takeoki.le\}@datafluct.com
*共同第一著者

## 概要

近年，気候変動に対する危機感は世界全体で高ま っている。気候変動政策は今後, 主に先進国で重要 な政治的争点の一つとなることが考えられる. 具体的な政策の代表例に環境税がある. 本研究では, 環境税の導入に対する各政策主体のスタンスを明確に し，議論の進展を促すために，国会議事録で「環境税」を含む発言およびこれに対する返答に含まれる 関連用語をロジスティック回帰で抽出し, 政党およ び委員会 (省庁)の意見の違いについて可視化した. また，定量的に抽出された用語を含む発言と返答の 内容を確認し, 定性的に分析を行った. 結果, 傾向 として自由民主党 (以下, 自民党)および経済産業委員会 (以下，経産委員会) は, 民主党・無所属クラブ (以下, 民主党)および環境委員会に比べ環境税導入 に消極的であるという仮説に関する示唆を得た。

## 1 はじめに

近年，気候変動に対する危機感は世界全体で高ま っており，2050 年にカーボンニュートラルを掲げる 国は 125 力国 1 地域にのぼる[1]. 日本では 2030 年 に国全体の温室効果ガス排出量を 2013 年対比で 46\%削減, 2050 年にカーボンニュートラルの達成を 掲げている[2]. 気候変動政策の代表に，環境税があ る。環境税とは，広義には「環境に負荷を与える財・ サービス全般を課税の対象にし，それらを抑制して 環境保全に役立てようとする発想」のもと, 設定さ れる税制である[3]. 狭義には，「二酸化炭素(以下 $\left.\lceil\mathrm{CO}_{2} \downharpoonleft\right)$ の排出量に応じ, 工場や企業, 家庭などか ら幅広く負担を求めることにより，広く国民に対し 温暖化対策の重要性についての認識を促し, 排出量 の削減を推し進めるもの」であり [4], 後者は炭素税 と呼ばれる.以下, 当税制の歴史的背景を記述する.環境税は 1920 年代，イギリスの経済学者 Arthur Cecil Pigou が提唱したピグー税に起源がある.ピグ 一税とは，元来環境に限らず経済活動において市場 を通さずに便益を享受し損失を被ること，すなわち 「外部不経済」に対して，正の効果をもたらすもの には補助金の提供を，負の効果をもたらすものには 課税をするという概念である[5]. この「外部不経済 の内部経済化」は環境問題と良い相性である. 大気・水質の污染物質や廃棄物一の課税は，それらの発生 の抑制効果を持つとされている．中でも $\mathrm{CO}_{2}$ の課税は，気候変動の世界的な解決策として期待される が，他の環境問題と比べ課税対象者を誰にするか，削減に有効な価格は 1 トンの $\mathrm{CO}_{2}$ でどれくらいか (カーボンプライシング)，課税による経済的損失と の比較はどう行うか，などの論点がある. 2018 年ノ 一ベル経済学賞を受賞したアメリカの経済学者 William Dawbney Nordhaus は, Dynamic Integrated Climate-Economy モデル(以下，DICE モデル)と呼ば れるマクロ経済と気候変動の統合評価モデルを発明 した. この DICE モデルでは，炭素の社会的費用， すなわち追加的な炭素排出 1 単位が経済に与える 影響の大きさとして，適切な炭素価格を計算できる [6]. 1990 年代に開発された DICE モデルだが，基本的なコンセプトを変えず改良され続けており，今日 の IPCC レポート等でも援用されている.

現実の制度としての環境税は欧州を中心にはじま ったが，その背景にはスイスの経済学者 Hans Christoph Binswanger がいる. Binswanger は「エネル ギー税を引き上げて大気污染を減らし, 社会保険料 を引き下げて雇用をしやすくする，さらに，エネル ギー税収入で年金保険料収入の減少を補填するとい う考え方」を示し，欧州の環境税制改革の理論的バ ックグラウンドとなった[7]. 1990 年代にフィンラン ド，スウェーデン，オランダ，ドイツといった国々

で環境税制改革が行われ, 所得税や法人税などの減額処置と同時に化石燃料に対する付加税, 電力消費 に対する課税強化, 鉱物油税等が導入された [8].

日本では, 環境税は「地球温暖化対策のための税」 (以下「温対税」)として 2012 年に導入され, 2016 年 に導入当初に予定されていた最終税率への引上げが 完了した. 本税制は石油, ガス, 石炭に対して課税 され, 納税義務者は化石燃料の採取者または保税地域からの引取者 (輸入者)である. 家計への影響は年額 1,200 円程度と試算されており, 1 トン- $\mathrm{CO}_{2}$ eq あ たりの税率は 289 円と, 欧州や北米といった環境税 が導入された先進国の水準 (日本円で 1 トン- $\mathrm{CO}_{2} \mathrm{eq}$ 1,000 円 16,000 円)よりとても低い. よって, 削減 のための十分なインセンティブにならないという懸念もある。また, 政府予算では諸外国では一般会計 への計上が多い中, 特別会計へ繰り入れられており，使途は「省エネ対策，再生可能エネルギー普及，化石燃料クリーン化等のエネルギー起源 $\mathrm{CO}_{2}$ 排出抑制. に限定されている[9]. つまり, 欧州が志向した Binswanger $の$ 環境税制改革の理論は下敷きにされて おらず，温対税はあくまで気候変動政策の枠組みの 中で完結しているという体裁である.

このように，環境税は他の気候変動政策と比べて 影響範囲が広く効果があると言われている反面, 削減効果の担保の難しさや, 特定産業の負担増による 産業の衰退, 所得の低い層ほど税負担が大きくなる 逆進性の問題がある[10]. また, 既存産業への経済的負荷と気候変動による社会的費用のバランスをどう 取るか, 財政赤字をどのように立て直すか, 税制改革として景気刺激策と気候変動政策が両立する形は 実現可能かなど, 環境問題を超えた論点を包含する. よって環境税に対しては様々な政策主体の思惑が絡 むと思われるため, 本研究では上記のような論点や それに対する意見, 対立構造について, 国会議事録 を活用した言説空間の分析という形で調査を行う.

## 2 関連研究

環境税をめぐる言説空間の研究事例は少ない. 気候変動政策全般に関する言説やネットワーク分析は， Comparing Climate Change Policy Networks(以下「COMPON」) という研究プロジェクトが中心的役割を果たしている[11]. COMPONにおける日本を対象とした研究では, 2050 年カーボンニュートラル宣言をしている自治体を対象とした気候変動政策に関 する調査票調査[12], 環境政策におけるドイツと日本の言説ネットワークの比較[13]などがある．個別 の制度に着目した研究では，再生可能エネルギーの

「固定価格買取制度」に関する政府・政党・利益団体の間の政策ネットワークの研究がある[14]. ただ し, COMPON は社会学分野の研究が主流であり, 方法論としては質問紙調查や統計的手法が取られてい るが，国会議事録などの大量のデータを対象とした ものは少ない.

機械学習の分野では，文書をあらかじめ与えられ たカテゴリに分類するテキスト分類の研究が行われ てきたが政治領域のテキストを機械学習に基づき分類する研究は，ごく僅かに見られる程度である。一例としては，気候変動の「適応策」についての記述 を政策文書から特定し, 適応, 緩和，非気候のいず れかに分類するために ANN モデルを利用している [14]. 当該研究では, 分類結果を用いて経年での政策変化を分析している.

国会議事録に着目した研究として, 猫本らは議員 が議案に対するスタンスを 2 値(賛成 or 反対)に判定する BERT ベースの分類器を構築した. 提案手法の分類精度はベースライン手法より高く得られた [15]. 中川らの研究では, イデオロギーの区分として 政党を用い, 国会における議員の発言について, 政党を特徴付ける要素の検討を行った. ランダムフォ レストによる議員の発言を分析した結果, 感動詞の 比率と語彙の多様性について政党間の差異が大きい 傾向が示唆された[16]. 小柴らの研究では, 議会と行政の相互作用を広範かつ定量的に分析する手法を検討した. 具体的には, 各議事録から機械的に抽出さ れた代表語の類似性と時間的前後関係のみで, 影響 の有無を推定する粗い指標である[17].

## 3 分析仮説

本研究では，二つの仮説を設定する。

仮説(1) 自民党は, 政権与党として, 国民の負担増や経済停滞，その他気候変動以外の国内外の課題 も考慮し政策を決定する必要があるため, 環境税導入に消極的な傾向がある.

仮説(2) 経産委員会は, 国民の負担増や経済停滞 を懸念し環境税導入に消極的な傾向がある。一方で 環境委員会は，実効的な環境政策を推進する観点で 積極的な傾向がある.

これらの仮説は, COMPON の関連研究や過去の政策立案の経緯, メディア報道の傾向から導き出した.民主党については, 主要政党の解党により明確な仮
説の設定が難しいが，民主党員からの発言を対象に，仮説(1)で想定する自民党のスタンスとの比較分析を 行う. 仮説(1)と仮説(2)双方について, カーボンプラ イシングの具体策として環境税と並列で言及される 排出量取引制度[18]に関する発言およびこれに対す る返答のデータも取得し，比較分析を行う。

## 4 データセット

国会議事録検索システム  より,「環境税」(ただし, $\mathrm{CO}_{2}$ 排出に対して 課税することを意味しない，「森林環境税」を除く) または「炭素税」を含む発言およびこれに対する返答を取得した(データ A)。また，「排出量取引」ま たは「排出権取引」(以下「排出量取引」に用語を統一する)を含む発言およびこれに対する返答も取得 した(データ B).これらのデータは 1987 年から 202 2 年の期間に発言された記録である. データ $\mathrm{A} お よ$ びデータ B に関するデータセットの件数を表 1 に記載した.

表 1 分析用データセット

## 5 分析手法

データ $\mathrm{A}$, データ $\mathrm{B}$ に対して, 同様の方法で特徴量を作成し，モデルを構築した。

## 5.1 特徴量の作成

$\mathrm{MeCab}$ を用いて, 名詞に該当する形態素を抽出し た.この際, 平仮名のみ, 2 文字以下のカタカナの み， 1 文字のみのいずれかに該当する場合は除外し た. 発言に各形態素が含まれるか否かの 2 值となる Bag Of Words で特徴量を作成した。学習データにお ける発言数より特徴量の次元数 (2864 次元) が大き いため次元削減を行った. データ $\mathrm{A}$ および $\mathrm{B}$ を合わ せたデータに対して，分散 $\operatorname{Var}[\mathrm{X}]=p(1-p)$ について $p=0.08$ の時の分散より小さい特徴量を除外し 179 次元にした[19].

## 5.2 モデル

スパースモデリングの文脈で広く知られている
L1 正則化項付きのロジスティック回帰を適用した.以下の式を最小化することでパラメータを推定した。 ここで， $X_{i}$ は $i$ 番目の特徴量， $w$ は推定するパラメー 夕で偏回帰係数， $y_{i}$ は $i$ 番目の目的変数である.

$
\hat{p}\left(X_{i}\right)=\frac{1}{1+\exp \left(-X_{i} w-w_{0}\right)}
$

$
f\left(X_{i}\right)=-y_{i} \log \left(\hat{p}\left(X_{i}\right)\right)-\left(1-y_{i}\right) \log \left(1-\hat{p}\left(X_{i}\right)\right)
$

$
\min _{w} \prod_{i=1}^{n} f\left(X_{i}\right)+\|w\|_{1}
$

上記のモデルを用いて，4 つのモデルを作成する. モデル名とデータの対応を表 2 に示した.

表 2 モデル名とデータの対応

## 6 結果

## 6. 1 モデルによる予測精度

5 分割のクロスバリデーションによる予測精度を 表 3 にまとめた.

## 6.2 モデルにより抽出した関連用語

モデル 1 からモデル 4 で推定結果を付録 表 4 に まとめた. モデル 1 およびモデル 3 の構築時に,「自民党」を 1 ，「民主党」を 0 として目的変数を扱っ ているので，正の值にある形態素は自民党らしさを 表す。一方で，負の値にある形態素は民主党らしさ を表す. 同様に，モデル 2 およびモデル 4 の構築時 に，「経産委員会」を 1 ，「環境委員会」を 0 として 目的変数を処理しているので，正の値にある形態素 は経産委員会らしさを表す。一方で，負の値にある 形態素は環境委員会らしさを表す。

## 7 考察

## 7. 1 所属の違いによる発言傾向の分析

分析結果は仮説(1)を部分的に支持するものであっ

た. 具体的には，自民党による発言は，気候変動に 対して, 経済成長や食糧・海上等の安全保障等, 他 の重要課題と並列で言及し，いずれの課題も等しく 対策を講じなければならないことを主張するものが 散見された.こうした傾向は統計的に有意な「我々」，

「我が国」，「現在」，「必要」などの用語に現れ ている。また, 自民党に特徴的な点としては, 発言 の導入部分で「先生のおっしゃる通り」といった専門家の見解を重視する傾向も見られた. なお, 全て の発言が環境税に否定的ではなく, 現在ある温対税 の整理等と合わせて, 導入すべきであるという発言 も，特に環境省に属する環境大臣等から少なからず 見られた. 比較分析を行った排出量取引については,発言の内容に自民党に特徴的な用語はなかったが,

環境税と同じく専門家の意見を重視する傾向があり，

「先生」のみが統計的に有意な用語となった.

環境税に対する「民主党」の発言としては，「再生可能エネルギー」の比率上昇など, エネルギー政策とセットで環境税に言及するものが最も多かった。 その他統計的に有意な単語としては「拡大」や「部分」などがあるが，いずれも用語の使われ方は文脈 に応じて様々である。環境政策の文脈では，例えば エコポイント対象品目の「拡大」やエコ設備等の需要「拡大」, ガソリン税の「部分」と組み合わせた 環境税導入のためのグリーン税制改革の提案といっ たものが見受けられた。

## 7.2 委員会の違いによる発言傾向の分析

分析結果は仮説(2)を支持するものであった．環境税に対する経産委員会の発言では, 「省エネ」や「影響」，「負担」などの用語が統計的に有意かつ特徴的である。「省エネ」は省エネ法や省エネ税制への 言及と並んで, 省エネ設備に対する需要喚起や投資 による景気刺激を期待する発言が散見された。「影響」は，環境税導入による国民経済や産業・雇用に 対する「影響」についての言及，「負担」は環境税導入によるエネルギー事業者や低所得世帯, 中小企業に対する「負担」増を懸念する発言が多く，この 二つが経産委員会の環境税に対するスタンスを顕著 に示す用語であった。

環境税に対する環境委員会での発言では, 気候変動対策を民間に任せず「行政」が行っていくという 姿勢を示すものが多かった。「環境行政」という単語で言及されることが多く, 小さい政府や事業仕分 けが注目された時勢においても，環境政策について
は行政が行うべきだという姿勢を示す文脈で同用語 が散見された．また，色々な文脈があるが，環境税 については国民の「理解」や「協力」が必要である という趣旨の発言も見られた.

比較分析を行った排出量取引については, 経産委員会における発言では，「産業」や「エネルギー」 といった用語が統計的に有意となり，対環境税ほど 消極的な姿勢を示す発言は少なかった。また，エネ ルギー政策と一緒に言及されることが多いという傾向があった. 環境委員会における発言では,「吸収」 という用語が上位にあるように，エネルギー政策と いうよりむしろ森林や海洋の $\mathrm{CO}_{2}$ 吸収源を重視した 姿勢が経産委員会のスタンスと対照的であった. ま た, 制度的な複雑さ・難しさの懸念を示す「段階」，

「説明」などの発言が一部あったが，文脈によって 様々で統一的な特徵は見出せなかった。

## 8 おわりに

本論文ではロジスティック回帰を用いた国会議事録の分析で，環境税および比較対象としての排出量取引制度に対する，政党および委員会の発言傾向の 違いを偏回帰係数に着目して分析し, 各政策主体の スタンスの違いに関する仮説に対して検討した。

モデル構築の観点では，パラメータチューニング や異なるモデルを利用することで新たな関連用語を 導き, 比較対象の違いの理解を深める効果が期待さ れる. 今回のモデルは分析データの件数に比べて特徴量が多いため, ロジスティック回帰に適用する前 に変数選択をしており, L1 正則化ロジスティック回帰のみで構築していた. 発言件数が限られているた め, これらの違いを分析するには制限があるが, 政治家の公約や政策活動費などの異なる記録を扱うこ とで, 政党ごとの違いをより詳細に評価することが できると考えている.

定性分析の観点では，今回は二つの政党と二つの 委員会に限定して分析を行ったが，分析対象以外の 政党や会議体で，環境税に親和的な政策主体が見ら れるか，それはなぜか等の観点での追加分析を行う ことで, 環境税をめぐる言説空間をより正確に把握 できるだろう。また，モデルの精度向上の観点で言及した, 政治家の公約や政策活動費などの国会議事録以外の記録に加え，新聞報道等も分析対象に加え ることで，政策主体の発信するシグナルを，世間が どのように受け止めているかという視点で, 拡大さ れた言説空間を導くことができると考える。

## 参考文献

1. 令和 2 年度エネルギーに関する年次報告 (エネ ルギー白書 2021) “第 2 節 諸外国における脱炭素化の動向”，経済産業省資源エネルギー庁: htt ps://www.enecho.meti.go.jp/about/whitepaper/2021/ html/1-2-2.html, 2022-11 閲覧

2. 日本の $\mathrm{NDC}$ (国が決定する貢献). 地球温暖化対策推進本部: https://www.mofa.go.jp/mofaj/files/1 00285591.pdf, 2022-10 閲覧.

3. 環境税の課税根拠(一), 伊藤嘉規, 富山大学紀要. 富大経済論集, 第 59 巻第 3 号, 2014.03, pp. 435-465.

4. 環境税の具体案. 環境省: https://www.env.go.jp/policy/tax/051025/01.html, 2022-11 閲覧

5. 環境税(地球温暖化対策税)とエネルギー関係諸税について, 篠原克岳, 税大論叢 61 号, 2009 年 6 月 25 日

6. "DICE 2013R: Introduction and User's Manual," Nordhaus, W.D., and Sztore, P., 2013.

7. 新たなエネルギー税のあり方一電気やガスの消費に対する課税一, 柴由花, 税大ジャーナル 25 2015.4.

8. 諸外国における炭素税等の導入状況, 環境省: $h$ ttps://www.env.go.jp/policy/tax/misc_jokyo/attach/i ntro_situation.pdf, 2022-11 閲覧

9. 地球温暖化対策のための税の導入. 環境省: http s://www.env.go.jp/policy/tax/about.html, 2022-11 閲覧

10. カーボンプライシングの活用に関する小委員会 (第 13 回)議事次第・配付資料, 資料 2“炭素税に ついて”環境省: https://www.env.go.jp/council/06 earth/13_3.html, 2022-11 閲覧
11. Climate change policy networks: Why and how to compare them across countries, TuomasYlä-A nttilaa, et al., 2018

12. 地方自治体の 2050 年二酸化炭素排出実質ゼロ 宣言 : 気候変動政策に関する自治体調査から,辰巳智行ら, 静岡大学情報学研究, 26 巻, p. 1 22, 2021-03-28

13. Analysis of the Policy Network for the "Feed-in Tariff Law" in Japan: Evidence from the GEP ON Survey, Okura, Sae et al., Journal of Cont emporary Eastern Asia, Volume 15, Issue 1, Pa ges.41-63, 2016

14. Machine learning for research on climate change adaptation policy integration: an exploratory $\mathrm{U}$ $\mathrm{K}$ case study. Biesbroek, R. et al., Reg Enviro n Change 20, 85 (2020).

15. 議会における明示的な賛否表現を含まない議員発言を対象としたスタンス分類データセットの 構築と評価，猫本隆哲，秋葉友良，増山 繁，言語処理学会 第 28 回年次大会 発表論文集, 2022 年.

16. ランダムフォレストを用いた国会会議録のイデ オロギー分析, 中川 侑, 武田 拓也, 吉元 涼介,芳鐘 冬樹, 第 15 回情報科学技術フォーラム( $\mathrm{F}$ IT2016).

17. 議事録を用いた我が国における議会・行政の関係性分析手法, 小柴 著, 森川想, 人工知能学会論文誌, 2019.

18. カーボンプライシング. 環境省: https://www.env. go.jp/earth/ondanka/cp/index.html，2022-12 閲覧.

19. scikit-learn User Guide 1.13. Feature selecton $\mathrm{h}$ ttps://scikit-learn.org/stable/modules/feature_selecti on.html, 2022-12 閲覧.

## A 付録

表 3：モデル 1 からモデル 4 の ROC-AUC

表 4：モデルにより推定された偏回帰係数の正負と $5 \%$ 有意水準を満たす形態素

 & 形態素 (偏回帰係数の絶対値が大きい順に記載) \\


# 自己相互情報量と単語群一致度を組み合わせた 臨床研究関連法規の類似性評価の検討

大城絢子 1 岡崎威生 2 植田真一郎 3
1 沖縄国際大学 経済学部 2 琉球大学 工学部
3 琉球大学 医学部 臨床薬理学講座
a.ohshiro@okiu.ac.jp okazaki@ie.u-ryukyu.ac.jp
blessyou@med.u-ryukyu.ac.jp

## 概要

臨床研究は現在 3 つの指針・省令・法に則ってお こなわれている.これらの類似関係を可視化するこ とで、臨床研究の研究者は多忙な診療業務をこなし ながらも複数の法令の関係を解釈することができ る. 本研究では、これらの法令の条文間の類似性を 定量的に評価するために、相互情報量と複数の単語 (単語群) の一致度・一致単語群の発生頻度・そして これらを組み合わせた類似尺度を提案した. 類似性推定精度の性能比較実験の結果、既存の尺度に比べ 推定精度が改善された組み合わせがあったことを確認した。

## 1 はじめに

治療法改善や診断ガイドライン検討といった医療 の質の向上には、診療現場で生じた臨床的疑問を解決する「臨床研究」が必要である. またその結果は、診療はもちろん患者の予後に影響するため、適切に 実施することが重要である. そのため、臨床研究の 実施においては既に定められた省令や法令、指針に 沿うことが求められる。

例えば 1997 年には「医薬品の臨床試験の実施の 基準に関する省令 [1]」(Good Clinical Practice、以後 GCP 省令とする) が施行され、その内容は多くの研究者に定着していると考えられる。一方で、過去 10 年においてデータ操作や利益相反に関する問題が 発生し、その不適正事案に対する対策として、2015 年には「人を対象とする医学系研究に関する倫理指針 [2] (以後、倫理指針とする)」の見直し、2018 年 には「臨床研究法 [3]」が施行されたことで臨床研究は法律化され、現在 3 つの指針・基準・法令のも とにある. そのため臨床研究を実施する研究者はこ
れらの法規に沿った研究を害施することを求められ ている、しかし、多忙な臨床業務をこなしながら、 これらの法規を完全に理解することは容易ではな いため、これらの法令を扱う関連部署の支援を受け ることも多い. またこのような状況は臨床研究関連 の法対応に限ったものではなく、例えば地方自治体 で定められる条例など、内容は類似するものの地域 により異なる点などは法務の専門家の手作業によ り比較されている [4]. これらの作業に対し、コン ピュータを用いた言語処理のアプローチを導入す ることにより、作業コストの軽減が期待されている [5][6][7][8]. 特に近年では、BERT[9] の文書ベクトル 機能やDoc2vec[10] などの Deep Learning を用いた法令間の条文比較などの取り組みも盛んになってい る. それにより類似した法律の対応づけなどの取り 組みも行われている [11][12]. 臨床研究関連の法令に おいても既述の 3 つの指針・基準・法令間の関係を 可視化することで、診療多忙な臨床研究の研究者が 複数の法規の関係を把握することができると期待で きる。

本研究では臨床研究関連法規間の関係を可視化す るために、各法規の各条文間の全ての組み合わせに ついての類似性予測の精度を向上させることを目的 としている.これまでに、word2vec や topic model を 用いて関連法規の解釈や法令間の関連性解釈の可能性について考察してきた [13][14]. さらに含まれる共通単語数が多い文章は類似度が高いという仮説のも と、「単語一致度」をもとにこれら 3 法令の各条文間の類似度を予測した [15]. 正誤検証の結果、意味的に「類似性が高い一致」である組み合わせが正し く獲得された一方で、「類似性が低い/不一致」であ る組み合わせの条文の類似度が高いとされたケース もあり、課題が残った。

そこで次に、単一の単語ではなく、複数の単語 である「単語群」の一致度と複数の単語の同時出現確率を示す自己相互情報量 (Pointwise Mutual Information)を組み合わせて用いることで、各条文間 の類似性を予測する尺度を提案した. 本稿ではその 内容と、既存の類似尺度との性能比較実験の結果に ついて報告する.

## 2 条文間類似性の定義

本研究の目的は図 1 のように、臨床研究を対象と した既述の法令である $L_{1}$ 倫理指針、 $L_{2} \mathrm{GCP}$ 省令、 $L_{3}$ 臨床研究法の各条文間の類似性を求めることで ある.

図 1 臨床研究関連法令の条文間の類似性を示した例

図 1 では、例えば $L_{1}$ 倫理指針の第 12 条と $L_{3} \mathrm{GCP}$省令の第 10 条の類似性が高いことを意味している.本稿では、条文間の類似性について複数の仮説を設定した. 複数の単語の組み合わせ (以後、単語群と する) の一致度が高い場合、条文同士の類似性は高 くなると考えられる. また一致度に加え、同時に出現する確率 (PMI) の高い単語の組み合わせがある場合、条文同士の類似性は高いと考えることもできる。 さらに一致する単語群の発生頻度が高いほど、条文同士の類似性は高いと考えられる。ここで単語群の 発生頻度は条文の長さに比例するため、単語群の発生総数 $F\{x, y\}$ における比率を配慮する必要がある。以上より、これらの仮説を組み合わせ整理すると以下のようになる。

仮説 1 単語群 (2 組)の一致度が高いほど条文間の 類似度は高い (Word Group Match：WGM とする)

仮説 2 「単語群の一致度+PMI」が高いほど条文間 の類似度は高い (WGM+PMI)

仮説 3 一致した単語群の発生頻度が高いほど条文間の類似度は高い (Frequency Of Word Group Match：FWG とする)

法令 $L_{a}$ の $i$ 条、法令 $L_{b}$ の $j$ 条において 2 つ単語 (単語群) $w_{x, y}$ が出現する場合、その相互情報量 $P M I(x, y)$ は式 (1)のように定式化できる.

$
P M I(x, y)=\log \frac{P(x, y)}{P(x) P(y)}
$

また法令 $L_{a}$ の $i$ 条、法令 $L_{b}$ の $j$ 条における単語群 $w_{x, y}$ の一致度を $W G M\left.\{w_{L_{a}}(x, y), w_{L_{b}}(x, y)\right.\}$ 、とす ると、条文間の類似度 $S\left.\{L_{a}^{i}, L_{b}^{j}\right.\}$ は単語群の発生総数 $F\{x, y\}$ を用いて式 (2)のようにも定式化できる.

$
S\left.\{L_{a}^{i}, L_{b}^{j}\right.\}=\frac{W G M\left.\{w_{L_{a}}(x, y), w_{L_{b}}(x, y)\right.\}}{F\{x, y\}}
$

以上より、本稿では、これらの 3 つの仮説に基づ き、条文間の類似度 $S\left.\{L_{a}^{i}, L_{b}^{j}\right.\}$ について 3 つの類似尺度を定義した。

$
\begin{gathered}
P M I=\frac{P M I(x, y)}{F\{x, y\}} \\
P M I+W G M=\frac{P M I(x, y)+W G M\left.\{w_{L_{a}}(x, y), w_{L_{b}}(x, y)\right.\}}{F\{x, y\}} \\
F W G=\frac{W G M\left.\{w_{L_{a}}(x, y), w_{L_{b}}(x, y)\right.\}}{F\{x, y\}}
\end{gathered}
$

本研究では臨床研究を対象とした法令 3 つ取り上 げ、全条文の全ての組み合わせについて類似度を算出した. 具体的な手順を以下に示す.

1. 全条文間の全ての組み合わせについて類似度を 算出

2. 全類似度の分布をもとに 4 段階の順序尺度「一致/高い類似性/低い類似性/不一致」に変換

3. ベンチマークデータとの順序相関係数を算出し 推定精度とする

## 3 精度比較実験

## 3.1 用いる法令データ

臨床研究を対象とした法令である倫理指針 $L_{1}$ (全 23 条)、臨床研究法 $L_{2}$ (全 43 条)、GCP 省令 $L_{3}$ (全 59 条) の各法令の全条文の組み合わせ数は、 $\left.\{L_{1}, L_{2}\right.\}+\left.\{L_{1}, L_{3}\right.\}+\left.\{L_{2}, L_{3}\right.\}=23 * 43+23 * 59+43 * 59=4883$ となる. 本研究ではこれらのうち、各法令組み合わ せより 30 組選択し、 $30 * 3=90$ の組み合わせについて 臨床研究の専門家に評価を依頼しベンチマークデー タを獲得した。

## 3.2 評価指標

提案手法を用いて算出した類似度の精度を、ベン チマークデータを用いて評価した。各条文間の類似
性を評価したベンチマークデータは、臨床研究の専門家にあらかじめ「一致/高い類似性/低い類似性/不一致」の 4 段階による尺度で評価を依頼し表 1 のよ うに獲得した。 3 法令の条文の全組み合わせのうち 30 組について評価を依頼した。性能比較には、既存 の手法として Doc2 Vec、単語一致度、Simpson 係数 を用いた。

類似度の推定精度は、ベンチマークデータとの順序相関係数を用いて $[0,1]$ で評価した。

## 3.3 比較結果

既存の文章類似度推定手法として単語一致度 ・ Doc2vec・Simpson 係数を挙げ、これらに対して本稿 にて提案した類似度尺度である WGM+PMI、PMI、 FWG との推定精度を比較した. Simpsons 係数と似 た考え方の類似尺度に Jaccard 係数や Dice 係数があ るが、本稿では事前実験の結果、精度が高かった Simpson 係数の結果を採用している. 3 つの法令の組 み合わせ $\left.\{L_{1}\right.$ 倫理指針、 $L_{2}$ 臨床研究法\}、 $\left.\{L_{2}\right.$ 臨床研究法、 $L_{3} \mathrm{GCP}$ 省令 $\} 、\left.\{L_{1}\right.$ 倫理指針、 $L_{3} \mathrm{GCP}$ 省令 $\}$ の比較結果を表 2 に示す.

はじめに結果の解釈について述べる. 推定精度と して用いている順序相関係数が 1 に近いほどベンチ マークデータと正の相関関係にあることを意味し、推定精度が高いと解釈できる. 負の値をとりかつ-1 に近い場合、類似度がベンチマークデータと負の相関関係になっていることを意味する。これは例えば ベンチマークデータにおいて「一致/高い類似性」と 判定されている組み合わせに対して「低い類似性/不一致」と推定したことを意味する。

単語一致度を用いた場合、相関係数が負の値や低 い正の値をとっていることから、推定精度が低いこ とを示しており、単語の一致数のみで類似度を求め ることが困難であることを示している. Doc2vec も 同様のパターンの結果となっている. 一致した単語群の発生頻度を類似尺度に適用した FWG を用いた 場合、他の手法と比べ推定精度が低く頻度情報のみ 用いた場合だと類似性を評価することが困難である
ことを示している. $\left.\{L_{1}\right.$ 倫理指針・ $L_{2}$ 臨床研究法 $\}$ の 組み合わせにおいては単語一致群と PMI を組み合 わせた「WGM+PMI」や「PMI」を用いた場合、上記 の既存の尺度や Simpson 係数の適用時より精度が改善さたことがわかった. また $\left.\{L_{2}\right.$ 倫理指針・ $L_{3} \mathrm{GCP}$省令了の組み合わせについては他の組み合わせに比 べ推定精度が悪いこともわかった. Simpson 係数と のハイブリッド適用などにより、類似尺度の推定精度をさらに改善させる必要があることがわかった。

## 4 おわりに

自己相互情報量と単語群一致度・単語群発生頻度 とそれらを組み合わせた類似尺度を提案し、臨床研究を対象とした 3 つの指針・省令・法間の条文の類似性を数値化した. 性能比較実験の結果、既存の類似尺度より類似度推定精度が改善された組み合わせ があること・既存の尺度との組み合わせによりさら に改善が期待できることを確認した. また性能とし てはまだ改善の余地があり、実際の適用レベルを目指すにはまだ改善が必要である. 今後の課題として BERT の文書ベクトルや固有表現抽出機能を用いた パターンとの性能比較もおこない、Deep learning や 既存の類似尺度とのハイブリッドな手法の構築も試 みていく.
表 2 各類似尺度による推定精度の比較結果

## 謝辞

本研究は科学研究費補助金 $20 K 18854$ の助成を受 けたものである.

## 参考文献

[1] 医薬品の臨床試験の実施の基準に関する省令 (平成 9 年厚生省令第二十八号) "医薬品の臨床試験の実施の基準に関する省令 | e-Gov 法令検索", (accessed 2020-09-03)

[2] 文部科学省. 厚生労働省. 人を対象とする医学系研究 に関する倫理指針 (平成 26 年 12 月 22 日. 平成 29 年 2 月 28 日一部改正) [https://www.mhlw.go.jp/file/06Seisakujouhou-10600000- Daijinkanboukouseikagakuka/0000153339.pdf (accessed 2020-09-03)]

[3] 臨床研究法 (平成 29 年法律第 16 号) "臨床研究法| e-Gov 法令検索", (accessed 2020-09-03)

[4] 藤井真知子, “市町村合併における自治体法務の現状と課題 : 甲賀市の条例整備を手がかりとして” 龍谷大学大学院法学研究紀要論文, 9 号, pp. 181-214, 2007.

[5] 角野篤泰. スーパーコンピュータを用いた自治体例規の類似度分析と例規データベースへの応用. 名古屋大學法政論集, Vol. 246, pp. 91-69, 2012.

[6] 竹中要一, 若尾岳志, “地方自治体の例規比較に用 いる条文対応表の作成支援” 自然言語処理, Vol. 19 No. 3, pp.194-212, 2012.

[7] 小山凱丈, 佐野智也, 竹中要一, “明治民法制定時に おける日仏民法条文の参照関係再推定”言語処理学会第 25 回年次大会 発表論文集, pp.398-401, 2019.

[8] 小山凱丈, 佐野智也, 竹中要一, "明治民法と各国民法 との条文類似関係にもとづく立脚点の解析" 言語処理学会 第 26 回年次大会 発表論文集, pp93-96, 2020

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova, "Bidirectional Encoder Representations from Transformers",

[10] Quoc V. Le, Tomas Mikolov, "Distributed Representations of Sentences and Documents", proceedings of the 31st International Conference on Machine Learning, PMLR 32(2):1188-1196, 2014.

[11] 長裕樹, 中村誠, "BERT を用いた比較法研究におけ る類似条項の対応付け", 言語処理学会 第 28 回年次大会 発表論文集, pp948-951, 2022

[12] Kaito Koyama, Tomoya Sano, Yoichi, "The legislative study on Meiji civil code by machine learning", Fifteenth International Workshop on Juris-informatics (JURISIN

## 2021)

[13] 大城絢子, 植田真一郎, “臨床研究を対象とする各法令の特徴抽出とそれらの関連”, 電子情報通信学会総合大会, D-5-4, 3 月, 2019.

[14] 大城絢子, 植田真一郎, "テキストマイニングによる 臨床研究関連法令の特徴と関連性解釈の可能性", 電子情報通信学会,pp35-pp,2019

[15] 大城絢子, 岡崎威生, 植田真一郎, "単語一致度を用い た臨床研究関連法規の関係可視化の検討", 臨床薬理. 2023; 54(1): (in press)


# マスク言語モデルにおける重点的なマスク選択での 追加的学習を用いた法律文書による人物役割語の推測

翁長駿光 ${ }^{1}$ 藤田真伎 ${ }^{2}$ 狩野芳伸 ${ }^{1,2}$
静岡大学 情報学部 ${ }^{2}$ 静岡大学 総合科学技術研究科情報学専攻
\{tonaga, mfujita, kano\} @kanolab.net

## 概要

人物の文中での役割の把握は，自然言語処理にお いて広く重要な課題であり, 特に法律分野の文書の 処理では，その分析と利用のために必須と言える。本研究では, 日本語の事前学習済み BERT モデルに 対し，あらかじめ設定した人物語を重点的にマスク したMasked Language Modelによる追加的な学習を，法律分野の文書を用いて行った. 司法試験の問題文 における人物役割語の推論に適用した結果, 提案手法による性能向上を確認できた.

## 1. はじめに

人物の文中での役割の把握は，自然言語処理にお いて広く重要な課題であるが, 役割間の関係性や階層など背後にある複雑な知識を反映させる必要があ り，難易度の高いタスクといえる。

法律分野は自然言語処理技術の利用が大きく期待 されている応用分野の一つであり, そこでの人物役割把握は必須要素である. 法律分野の文書処理では， こうした人物関係および役割の把握や専門性の高い 用語といった難しい処理が重要になるが，そのため の自然言語処理技術の性能は未だ不十分である.

人物役割の先行研究にはたとえば物語テキストを 対象とした登場人物の関係抽出 [1]などがある。日本語法律文書を対象にした研究には, 日本語法律 BERT [2]を用いた重要箇所抽出 [3] や司法試験自動解答を題材にした BERT による法律分野の含意関係認識 $[4]$ があるが，人物役割を推測するものは見当 たらない.

本研究では, 法律分野の文章における人物関係お よび人物の役割の推測を目標とする。そのために，日本語事前学習済み BERT に対して, あらかじめ設定した人物役割語を他の語よりもマスクされやすく した処理を追加した Masked Language Mode1 (MLM) による追加学習を, 日本語の法律文書を用いて行っ
た. 我が国の司法試験自動解答を題材とする COLIEE Task4 で提供された問題を用いて, 問題文中の人物役割語を推測する人物推論タスクを実行し，提案手法による性能向上を確認した。

<問題番号 ：H18-32-5, 正解ラベル：No >
<関連条文〉
第百九十二条 取引行為によって，平穏に，かつ，
公然と動産の占有を始めた者は, 善意であり，か
つ，過失がないときは，即時にその動産について行
使する権利を取得する.
<問題文〉
強迫を受けてした動産売買契約を取り消した売主
は, 取消し前に買主から当該動産を善意かつ無過
失で買い受けた者に対して，所有権に基づいて，当
該動産の返還を求めることができる.

図 1 COLIEE Task4 の提供データ例

## 2. 関連研究

法律分野の自然言語処理技術の性能向上とコミュ ニティ構築を図るため, 国際コンテスト型ワークシ ヨップ COLIEE (Competition on Legal Information Extraction and Entailment）[5［6] [7]［8が毎年開催されている. COLIEE にはいくつかのサブタス クがあるが，そのうち Task 3,4 は日本の司法試験民法短答式問題を題材にした自動解答タスクである. Task4 は図 1 のように, 司法試験に過去に出題され た問題とその問題を解く上で手掛かりとなる関連民法条文の二つが与えられ，その関連する民法条文に 対して問題文が含意関係にあるかを二値で判定する タスクである。

COLIEE 参加者の自動解答器には，BERT [9]をはじ め深層学習ベースの解答器が多数みられる.このよ うな深層学習を用いた司法試験の自動解答について，清田ら [10]は人手の問題分類を通して深層学習モ デルが司法試験を解けているかを分析している．分類の一つは, 図 2 のような問題文中における $\mathrm{A}$ や $\mathrm{B}$

といったアルファベットで表された人物語の関係性 や，それぞれの人物が関連する民法条文中における どの役割にあてはまるのかが回答に必要なタイプの 問題である.このような, 人物関係や人物がどのよ うな役割を担うか明らかにする必要がある問題の推測は，既存の回答では不十分であることが示唆され ている.

## 3. 提案手法

提案するマスク手法と従来手法との比較を容易に するため, 深層学習モデルとして BERT を用いる. 事前学習済みの日本語 BERT モデルを前提に, Masked Language Mode1 (MLM)による追加的な学習を行う.

その追加学習時に, より重点的に学習させたい語句 をマスクして学習させる. 本研究で利用するトーク ナイザはこの事前学習済みモデルのもので統一する.

重点的に学習させたい語句は, 本研究では, 法律分野における人物役割語とし，民法条文に記載され ている「人, 者, 主」で終わる漢字で構成される単語と「相手方」を合わせて 74 語を人手で列挙した (74 語の詳細については付録を参照).

## 3.1 事前学習モデルへの追加的学習

追加的な学習では, 以下の 3 つの前処理に応じた モデルを作成する. それぞれの前処理で得られるト ークン列について, [MASK]トークンを推測させる学習によりモデルを訓練する。

ランダム $15 \%$ マスクモデル $(15 \%$ ) 従来の BERT の MLM と同様に，トークン全体の $15 \%$ ランダムで選択する.ランダムに選択されたトークンのうち, $80 \%$ を[MASK]トークンに, $10 \%$ はランダムに選ばれた別の トークンに置きかえ, 残りの $10 \%$ は元のトークンの ままモデルに与える.

## ランダムマスク＋人物語マスクモデル $(15 \%+$ 人

物語） 入力にあらかじめ定めた人物役割語が含ま れている場合，それらのトークンを[MASK]トークン に置き換える. 次に前述のランダム $15 \%$ マスクモデ ルと同様の処理を行うが，選ばれたトークンが人物役割語に対応するものであった場合は, [MASK]のま まにし，何もしない。

人物語マスクモデル (人物語) 人物役割語の トークンのみを[MASK]トークンに置き換える. 人物役割語が含まれていないサンプルについては学習に 使用しない.

上の 3 つのモデルと, 追加学習をしていない日本語事前学習済み BERT モデルの 4 つを, 次節の人物役割語推測タスクによって比較する.

## 3.2 人物役割語の推測

人物役割語の推測は $[\mathrm{MASK}]$ を言語モデルにより推測して実行するため, 前節で説明した以上の学習は 行わない.

人物役割語は語によって 2 トークン以上のサブワ

一ドに分割されることがある.このため，単にトー クン単位で[MASK]に置き換えると，[MASK]トークン の連続する数が人物語を予測するヒントになる可能性がある。人物役割語の推論にあたっては, 推測対象の役割語についてマスク前のトークン数を既知と して固定する場合と，トークン数を未知として任意 のトークン数で推測するより実用的な設定の 2 種類 を試みる。

人物役割語あたりのトークン数固定 人物役割語に該当するトークンをひとつずつ[MASK]トークン に置き換え，その[MASK]トークンにあてはまるトー クンを予測させる.

人物役割語あたりのトークン数可変 各人物語 ごとに， 1 から 4 までの [MASK]トークンの連続数そ れぞれで連続する [MASK] トークンを推測する。たと えば，人物語が 1 つの場合は[MASK]トークンの数が 異なる 4 パターン, 人物語が 2 つの場合は 8 パター ンの推測を行う。それぞれの推測結果について， [MASK] を推測結果で置換したうえで, MLMScoring [11]により各文章のスコアを計算し, その値が最も 大きいものを最終的な予測結果とする.

いずれの場合でも，予測したトークン列が元の文章で該当する人物役割語と同じであるかどうかを，元の人物役割語の単位でカウントして評価する。

〈問題番号： R02-9-U，正解ラベル：Yes〉

〈関連条文〉

第二百条 占有者がその占有を奪われたときは，占有回収の訴えにより，その物の返還及び損害の賠償 を請求することができる.

〈問題文〉

A は自己の所有する工作機械を B に賃貸していた が，B は，工作機械の賃貸借契約継続中に工作機械 を C に窃取された。この場合, B は, A から独立し て，C に対して占有回収の訴えを提起することがで きる.

図 2 人物を表すアルフアベットを含む問題例

## 4. 実験

## 4. 1 追加学習用訓練データセット

訓練データとして，日本語の法律関連文書をいく つか用意し，十分なデータ量が得られるようにした。具体的には, 民法の全条文テキスト, 最高裁判所の 裁判例検索システム ${ }^{i}$ より収集した日本の民事事件判例, 并護士ドットコムのデータセット [12]の 3 種類である.それぞれ以下の前処理を適用した。

民法条文 「第一篇，第一章，第一条，第一節，第一項」といった条や項の番号, および見出しは削除した。結果, 1, 381 件の条文を得た.

民事判例 事件名と判決日, ページ番号, 空白お よび空白行は削除した. また, 文頭にある見出し番号のカタカナやアルファベット, 数字も削除した. また, 1 文をトークナイズした際に，512 トークンを 超えるような文は除外した. 結果, 23,854 件の民事事件判例を得た。

弁護士ドットコム 弁護士ドットコムのデータ は，質問者による質問文と弁護士による質問への回答文で構成されている. このうち, 弁護士による回答の文章のみを抽出した後, その文章内に前述の人手で列挙した人物役割語のうちのいずれかが 1 つで も含まれている回答のみを残し，含まれていない回答文は除外した. また, 民法条文の処理と同様に, 1 文が 512 トークンを超えるような文は削除した.結果，38,127 件の回答を得た，

## 4. 2 人物推論用データセット

関連研究の章で紹介したCOLIEE 2022 Task4では,民法分野短答式問題の問題文とその問題を解くため に必要な関連条文群のぺアが与えられた(図 1).こ のデータの分量は他のデータセットよりも少ないが，文章が最も整っているうえ, 関連条文とぺアになっ ており法律上の役割と紐づけされている。さらにそ の紐づけにより人間にも与えられたぺアのみで解く ことができるため, テストデータに適している. まずこれらの問題文のうち, 図 2 のように問題文中に A P B といったアルファベットで表された人物 が登場する問題と含まれない問題とに，アルファベ ットが出現するかどうかで自動分類した。次に，人

物役割語を含むデータを増やすため，アルファベッ 卜を人物役割語に置換した。すなわち，「〜である

「〜」にリストの単語がマッチする場合, その問題文中にあるアルファベットを対応する人物語に置き 換えた。置き換えられないアルフアベットが残った 場合は除外した. 全て置き換えられた場合, テスト データの一部とする.

アルファベット人物が含まれない問題において, あらかじめ定めた人物役割語が一つでも含まれる問題をテストデータとして利用する.

テストデータについて, 関連する民法条文と問題文を $[\mathrm{SEP}]$ トークンでつなぎ, 文章をトークナイズし た際に（512 - 置き換えた人物語の数 $* 4$ トーク ン）を超えてしまうものは最大トークン数の制約の ため除外する。

最後に，問題文中に含まれる人物役割語を [MASK] トークンに置き換え, 計 458 件（置き換えた人物役割語数:1,082）のテストデータを作成した.この作成過程と例を図 3 に示す.

## 4.3 学習

日本語事前学習済み BERT モデルとして, 東北大学の bert-base-japanese-whole-word-masking ${ }^{\mathrm{ii}}$ モ デルを用いた．学習時のパラメータ設定は付録に記載する.

## 5. 実験結果

表 1 に評価結果を示す. トークン数固定の場合，人物役割語を中心にマスクさせたモデルの方がより 高い性能が得られた。トークン数可変（未知）の場合, トークン数固定よりも難易度の高い設定になる ため全体的に性能は低いが，トークン数固定の場合 と同様に, 人物語を追加でマスクするようにして学習したモデルの方が高い性能が得られた。

表 1 人物役割語推論の評価結果（正答率）

〈問題番号 ：H18-27-U，正解ラベル：No〉

〈関連条文〉

弁済の費用について別段の意思表示がないときは， その費用は，債務者の負担とする。ただし，債権者 が住所の移転その他の行為によって弁済の費用を増加させたときは，その増加額は，債権者の負担とす る.

〈問題文>

持参債務の債権者が履行期前に遠方に転居した場合，目的物の運送費は債務者の負担となる。

1. 関連条文と問題文を $[\mathrm{SEP}]$ トークンでつなげる。

(以下，問題文のみ表記する）

2. 関連条文と問題文の組をトークナイズする

[ 持参, 債務, の, 債権, 者, が, 履行, 期, 前, に,遠方，に，転居，し，た，場合，，目的，物，の，運送，費，は， , , 債務，者，の，負担，と，なる，.]

3.「債権者」「債務者」に該当するトークンを [MASK] トークンに置き換える。

〈置き換え後の問題文〉

[ 持参，債務，の，[MASK]，[MASK]，が，履行，期，前，に，遠方，に，転居，し，た，場合，，目的，物，の，運送，費，は， [MASK]，[MASK]，の，負担，と，なる，。]

図 3 テストデータの作成過程

## 6. 考察

人物語を追加でマスクする追加学習を行ったモデ

ル $(15 \%+$ 人物語) は, 追加学習を行っていないモデ ル (15\%やベースライン) よりも, 関連条文をはじめ とする周囲の文脈情報をもとにした人物役割語の予測がより正解できるようになった. 例を図 4 に示す.

一方で, 登場する人物役割語が複数になった場合，複数の人物間の関係性を明確にする必要があるが， このような人物役割語の予測はできていない傾向に あった. 図 5 は, 予測する際に債務者と債権者の関係性を捉える必要があるが，全てのモデルが「債権者」が正解となる部分に「債務者」を予測してしま った例を示している.

人物役割語を重点的にマスクすることで，周囲の 文脈情報から人物役割語の推測は比較的にできるよ らになったと考えられるが，複数の人物間における 関係性の把握は依然として課題であると考えられる. また, 図 5 の予測に見られるように，本来は「第三者」が正解であるが，「者」であっても文章は自然
であり間違いとはいえない。単純な文字列比較だけ でなく意味的な評価指標も検討する必要がある.

<問題番号 : H21-3-2, 正解ラベル : Yes >

＜関連条文>

まだ引き渡されていない売買の目的物が果実を 生じたときは, その果実は, 売主に帰属する。買主は，引渡しの日から，代金の利息を支払う義務 を負う．ただし，代金の支払について期限がある ときは，その期限が到来するまでは，利息を支払 うことを要しない.

<問題文>

【売主】は, 目的物の引渡しを遅滞している場合 でも，引渡しまで果実を収取することができる。 ※【】がマスクされていた人物役割語を表す.

<予測結果>

ベース BERT：買主

$15 \%$ のみ：買主

$15 \%+$ 人物語 : 売主

人物語のみ : 売主

図 4 正しく予測できるようになった例

〈問題番号：H28-20-1，正解ラベル：Yes〉

〈関連条文〉

債務者のために弁済をした者は，債権者に代位す る.

〈問題文〉

【債務者】の意思に反することなく有効に弁済し た【第三者】は，弁済によって当然に【債権者】 に代位する。

※【】がマスクされていた人物役割語を表し, 予測の 1,2, 3 は問題文の登場順に対応している.〈予測結果〉

BERT ：1. 債務者，2. 者 ，3．債務者 15\%のみ ：1. 債務者，2．者 ，3．債権者 $15 \%+$ 人物語 ： 1 . 債務者， 2 . 者 ，3. 債務者人物語のみ : 1 . 債務者, 2 . 第三者, 3 . 債務者

## 図 5 正しく予測できていない例

## 7. おわりに

本研究では, MLM の追加学習を行った BERTによる，法律文書における人物役割語予測を行った。追加で 学習させたい語を重点的にマスクすることで，人物役割語推測の性能が向上した。今後は，人物役割語 だけではなく，法律分野における専門語への適応や 追加学習モデルを用いた司法試験の自動解答への活用にも取り組んでいきたい。

## 謝辞

本研究では, 国立情報学研究所の IDR データセット 提供サービスにより弁護士ドットコム株式会社から 提供を受けた「弁護士ドットコムデータセット」を 利用した。本研究は JSPS 科研費 JP22H00804,

JP21K18115, JP20K20509, JST AIP 加速課題 JPMJCR22U4, およびセコム科学技術財団特定領域研究助成の支援をうけた.

## 参考文献

1. 西原 弘真, 白井 清昭. 物語テキストを対象と した登場人物の関係抽出. 言語処理学会 第 21 回年次大会, 2015 .

2. 宮崎 桂輔, 菅原 祐太, 山田 寛章, 徳永 健伸.日本語法律分野文書に特化した BERT の構築. 言語処理学会 第 28 回年次大会, 2022.

3. 宮崎 桂輔，菅原 祐太，山田 寛章，徳永 健伸.日本語法律 BERT を用いた重要箇所抽出. 言語処理学会 第 28 回年次大会, 2022 .

4. 星野 玲那, 狩野 芳伸. 司法試験自動解答を題材 にした BERT による法律分野の含意関係認識. 言語処理学会 第 26 回年次大会, 2020 .

5. Mi-Young Kim, Juliano Rabelo, Randy Goebel, Masaharu Yoshioka, Yoshinobu Kano, and Ken

Satoh. COLIEE 2022 Summary: Methods for Legal Document Retrieval and Entailment. In Proceedings of the Sixteenth International Workshop on Jurisinformatics (JURISIN 2022), 2022.

6. J. Rabelo, R. Goebel, M.-Y. Kim, Y. Kano, M.

Yoshioka, and K.Satoh, Summary of the Competition on Legal Information Extraction/Entailment (COLIEE) 2021. In Proceedings of the Eighth International Competition on Legal Information Extraction/Entailment (COLIEE 2021), 2021, pp.1-7. 7. J. Rabelo, M.-Y. Kim, R. Goebel, M. Yoshioka, Y. Kano, and K. Satoh, COLIEE 2020: Methods for Legal Document Retrieval and Entailment. In Proceedings of the Fourteenth International Workshop on Jurisinformatics (JURISIN 2020), 2020, pp. 1-15.

8. R. Goebel, Y. Kano, M.-Y. Kim, J. Rabelo, K. Satoh, and M. Yoshioka, COLIEE 2019 Overview. In
Proceedings of the Competition on Legal Information Retrieval and Entailment Workshop (COLIEE 2019) in association with the 17th International Conference on Artificial Intelligence and Law, Jun. 2019, pp. 1-9. 9. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, 2019. Association for Computational Linguistics.

10. 清田 直樹, 狩野 芳伸, 藤田 真伎. 深層学習モ デルは司法試験をどこまで解いているのか：問題分類とそれに基づく分析. 言語処理学会 第 28 回年次大会, 2022 .

11. Julian Salazar, Davis Liang, Toan Q. Nguyen, and Katrin Kirchhoff. Masked Language Model Scoring. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 26992712, Online. 2020. Association for Computational Linguistics.

12. 弁護士ドットコム株式会社. 并護士ドットコム データセット. 国立情報学研究所情報学研究データ リポジトリ. (データセット).

https://doi.org/10.32130/idr.12.1, 2020.

## A 付録

## A. 1 人手で選定した人物役割語のリスト

自然人，法人，本人，相手方，他人，当事者，第三者，表意者，譲受人，占有者,

譲渡人, 所有者, 地上権者, 地役権者, 永小作人, 管理人, 不在者, 債権者, 留置権者, 先取特権者,質権者，根抵当権者，抵当権者，債務者，質権設定者，根抵当権設定者，抵当権設定者，物上保証人，連帯保証人，保証人，連帯債務者，申込人，売主，買主，贈与者，受贈者，貸主，借主，賃貸人，賃借人，使用者, 労働者, 注文者, 請負人，委任者，受任者，受寄者，受託者，未成年者，成年者，成年後見人，成年被後見人，未成年被後見人，後見監督人，被後見人，後見人，保佐監督人，被保佐人，保佐人，補助監督人, 被補助人, 補助人, 被相続人, 相続人, 法定代理人, 復代理人, 無権代理人, 代理人,監督人，共有者，承継人，利害関係人，組合員，代位権者

## A. 2 BERT 学習時のパラメータ設定

max_position_embeddings : 512,

batch_size : 32 ,

hidden_size : 768 ,

hidden_dropout_prob : 0.1,

learning_rate : $1 \mathrm{e}-5$

max_epochs : 10 (early_stoppingによる早期終了あり)