# Bi-LSTM CRF モデルを用いた平仮名文の形態素解析

井筒順
茨城大学工学部情報工学科
17t4013g@.vc.ibaraki.ac.jp
}

古宮 嘉那子
茨城大学 理工学研究科
kanako.komiya.nlp@.vc.ibaraki.ac.jp

## 1 はじめに

自然言語処理の中で，形態素解析は根幹技術と なっている。現代においては $\mathrm{MeCab}^{1)}$ や Chasen ${ }^{2}$等の形態素解析システムが存在し, 形態素解析の中核を担っている。しかし，上記システムは漢字仮名交じり文を対象にしているため，平仮名で構成され た文章を形態素解析することは難しい。

本稿では Bi-LSTM CRF モデルを用いて平仮名文 の形態素解析モデルを作成した。実験では, 訓練事例のジャンルの影響を見るために, Wikipedia と Yahoo!知恵袋のデータの二種類の訓練事例を利用し た。また，両データを利用してファインチューニン グを行い，様々なジャンルのテキストにおける影響 を調べた。

また，形態素解析は，文章を単語ごとに分割する ことに加え, 分割した単語に対して品詞等の情報を 付与する必要があるが，全て平仮名文であることか ら，漢字仮名交じり文と比べ単語ごとに分割する際 の情報が少なくなり，単語分割の精度が低下してし まうことが予想される。そこで本稿では，漢字仮名交じり文によるモデルを用いたファインチューニン グを行った。

本論文の貢献は以下の 4 つである。

・Bi-LSTM CRF モデルを用いて平仮名文の単語分割モデルを生成したこと

・様々なジャンルのテキストを対象に，形態素解析の訓練事例の影響を検証したこと

・Wikipedia と Yahoo!知恵袋のデータを利用した ファインチューニングの有効性を示したこと

・漢字仮名交じり文によるモデルを用いたファイ ンチューニングの有効性を示したこと

本論文ではこれらの実験の結果を報告する。

## 2 関連研究

工藤ら [1] は，平仮名交じり文が生成される過程 を生成モデルでモデル化した。そして，そのパラ メータを大規模 Webコーパス及び EM アルゴリズ ムで推定することにより, 平仮名交じり文の解析精度を向上させる手法を提案している。

大崎ら [2] は, 文章中の特徵的な表現を新たな名称として扱うことによって，コーパスの構築を行っ ている。また, 藤田ら [3] は既存の辞書やラベルあ りデータを対象分野の特徵に合わせて自動変換し, それを使用することで形態素解析モデルを構築する 教師なし分野適応手法を提案している。林ら [4] は,平仮名語の単語を辞書に追加することにより, 形態素解析の精度が向上することを報告している。

また，井筒ら [5] は MeCab の ipadic 辞書を平仮名 に変換し, 平仮名のみで構成されたコーパスをを用 いることで平仮名のみの文章での形態素解析を行っ ている。

Ma ら [6] は Bi-LSTM モデルを使用した中国語の 単語分割モデルの作成を行なっている。そして単語分割の精度が，Bi-LSTM モデルよりも複雑なニュー ラルネットワークアーキテクチャに基づくモデルと 比較して, 一般的なデータセットでより良い精度を 達成することを報告している。

また, Thattinaphanich ら [7] は Bi-LSMT CRF モデ ルを構築しタイ語において固有表現抽出を行ってい る。タイ語では，言語リソースが少ないことや，単語・フレーズ・文の境界指標がないなどの言語的な 問題が存在するが，単語表現とBi-LSTM を用意し CRF と組み合わせ，テキストのシーケンスを学習 しその知識を利用することでこの問題を克服して いる。

## 3 提案手法

本稿では，Bi-LSTM CRF モデルを用いて平仮名文の単語分割モデルを生成する。実験では,

2) https://chasen-legacy.osdn.jp

Wikipedia モデル，BCCWJ モデル，平仮名 FT モデ ル，BCCWJFT モデルの 4 つのモデルを学習し，比較する。本研究における各モデルの作成過程を表し た図を図 1 として以下に示す。

図 1 モデル生成過程

## 3.1 Wikipedia モデル

Wikipedia モデルは図 1 の学習 C において生成さ れたモデルである。Wikipedia の漢字仮名交じり文 を平仮名に変換したデータを訓練事例として使用す る。Wikipediaには平仮名のみのデータがないため,変換には, MeCabの解析結果の読みデータを疑似的 な正解として利用した。その際， MeCab の辞書には Unidicを用いた。

## 3.2 BCCWJ モデル

BCCWJ モデルは図 1 の学習 Eにおいて生成さ れたモデルである。訓練事例としてと Yahoo!知恵袋のデータを使用した。このモデルを使用して Wikipedia のデータと Yahoo!知恵袋のデータの両方 を用いて生成されるモデル（図1 の学習D）と精度 を比較を比較する。

## 3.3 平仮名 FT モデル

平仮名 FT モデルは, Wikipedia の漢字仮名交じり 文を訓練事例として使用したもの（図 1 の学習 A) に対して, Wikipedia の漢字仮名交じり文を平仮名 に変換したデータを訓練事例としてファインチュー ニングを行ったモデル（図19学習B）である。漢字仮名交じり文には，漢字と平仮名の境目や，漢字 の情報があるため，形態素解析の手がかり情報が多 い。このことから精度向上が期待できる。

## 3.4 BCCWJFT モデル

BCCWJFT モデルは図 1 の学習 D において生成 されたモデルである。訓練事例として Wikipedia の データと Yahoo!知恵袋のデータを両方用いること で，精度向上を目的としている。学習をする際の重 みの初期値には平仮名 FT モデルを使用し, Yahoo!知恵袋のデータを使ってファインチューニングを 行った。

## 4 実験

## 4.1 訓練事例

本実験で使用した，訓練事例である Wikipedia の データは，次の Web サイト

https://dumps.wikimedia.org/jawiki/latest/

において公開されているデータである

jawiki-latest-pages-articles.xml.bz2

を展開し使用した。

訓練事例は学習前にデータを整形した。整形し た内容を以下に示す。まず，Wikipedia のデータを MeCabを用いて形態素解析した。MeCabによって 出力される結果には素性 (単語分割, 品詞, 品詞細分類 1 , 品詞細分類 2 , 品詞細分類 3 , 活用型, 活用形, 基本形, 読み, 発音)が存在している。表層系の 部分を読みに置き換えることにより平仮名のデータ を得ることができる。次に，平仮名のデータを 1 文字ずつに分割し, それに対して, 品詞をタグとして 付与する。ただし, 先頭の文字には B-\{品詞 $\}$ が付与 し，以降の文字には $\mathrm{I}-\{$ 品詞 $\} を$ 付与した。

例えば，「きみにあう」（君に会う）という平仮名 データであれば，以下の表 1 の様な 1 対 1 に対応し た文字データとタグを得ることができる。

上記の様にして 1 行ずつのデータを作成し平仮名 データとタグのデータをそれぞれファイルに格納す ることにより，訓練事例を得た。訓練事例の文字数 は 1,183,624 個である。

ただし，漢字仮名交じり文を訓練事例として使用 したモデルについては，入力は漢字である必要があ るので，表層系の部分を読みに置き換える処理は行 わなかった。ゆえに，例えば「君に会う」という単
語は平仮名に置き換えないので表 2 の様な 1 対 1 に 対応したデータを得ることになる。

ただし，BCCWJFT モデルを作成する際に用い る訓練事例は後述する訓練事例である BCCWJ の 「Yahoo!知恵袋」のデータセットを使用している。 BCCWJ とデータ作成については 4.2 節を参照され たい。

## 4.2 テストデータ

テストデータとして，国立国語研究所の『現代日本語書き言葉均衡コーパス』3) (以下 BCCWJ と記す) を使用した。

BCCWJでは行形式データが提供されており，本実験では 12 種類のデータセットを使用した。 12 種類のデータセットはそれぞれアルファベット 2 文字 で提供されている。各アルファベットがどのコーパ スであるかと，それぞれのデータセットにおいて本実験で使用した文字数を示す表を表 3 として以下に 示す。

表 3 BCCWJ のコーパス対応と文字数

本実験では表 3 における 12 種類のコーパスそれ ぞれ整形し， 12 種類の訓練事例を得た。テストデー タは訓練事例の作成と同様にして, 読みの情報と品詞の情報から平仮名のデータとタグのデータを 1 対 1 に対応する様に作成した。 ただし，「Yahoo!知恵袋」のデータはBCCWJFT モ

3） https://pj.ninjal.ac.jp/corpus_center/bccwj/
デルを作成する際の訓練事例としても利用して いる。

## 4.3 評価手法

本実験では学習時に，訓練事例の文字データとタ グの情報を使用している。学習したモデルは文字 データを入力として与えると，モデルが推定する入力に対するタグの情報を出力する。

Wikipedia モデル, 平仮名 FT モデル, BCCWJFT モデル，BCCWJ モデルに対して，テストデータを 入力として与え, 出力されるタグの一致率を正答率 として評価する。

また，テストデータの各データセットの評価に対 してマクロ平均とマイクロ平均を求めた。

## 5 実験結果

表 4 に Wikipedia モデル, 平仮名 FT モデル, BCCWJFT モデル, BCCWJ モデルの評価結果を示 す。表 4 において，Macro はマクロ平均を表し， Micro はマイクロ平均を表している。また, 平仮名 FT モデルと BCCWJFT モデルの精度について，アス タリスクが付与されている値は, Wikipedia モデルの 精度に対するカイ二乗検定において有意水準 $5 \%$ で 優位であったことを表している。BCCWJ モデルの 精度についてアスタリスクが付与されている値は, BCCWJFT モデルの精度に対するカイ二乗検定にお いて有意水準 5\%で優位であったことを表している。 また BCCWJFT モデルと BCCWJ モデルにおいて， Yahoo!知恵袋の精度である OC の精度はクローズド データを用いて評価を行っており，括弧を付与して 表示している。また，この2つのモデルのマクロ平均とマイクロ平均からは OC の評価データは取り除 いている。

表 4 から Wikipedia モデルよりも平仮名 FT モデル の方が精度が高いことが分かる。また，BCCWJFT モデルの精度は平仮名 $\mathrm{FT}$ モデルを更にファイン チューニングしていることから, Wikipedia モデル よりも精度が向上していることが分かる。

さらに，MeCabを用いてトレーニングデータを 評価した。MeCabの辞書は ipadic 辞書の表層系を平仮名に変換したものを使用した。[5] 評価結果はマ クロ平均では $79.71 \%$ ，マイクロ平均では $80.10 \%$ と なった。ipadic 辞書を使用しており，表 4 の結果と この結果を単純に比較することができないことに留意する必要がある。
表 4 各モデルに対する評価精度

## 6 考察

表 4 から，Yahoo!知恵袋を訓練事例に用いた BCCWJFT モデルと BCCWJ モデルの精度は, Wikipedia のみを訓練事例に用いた Wikipedia モデルと平仮名 FT モデルよりも高いことが確認できる。このこと から，各テストデータに対するモデルの精度はモデ ルの訓練事例のジャンルによること,つまり Yahoo!知恵袋を訓練事例に用いた方が性能が良いことが分 かる。

また，Wikipedia モデルと平仮名 FT モデルを比較 すると，平仮名 $\mathrm{FT}$ モデルの方がマクロ平均で 0.32 point，マイクロ平均で 0.21 point 精度が向上した。 これにより漢字仮名交じりモデルをファインチュー ニングに利用した平仮名 FT モデルが有効であると 言える。

さらに平仮名 $\mathrm{FT}$ モデルと BCCWJFT モデルの精度を比較すると，BCCWJFT モデルの方がマクロ平均で 5.50 point，マイクロ平均で 4.04 point 精度が向上した。ゆえに, Wikipedia のデータと BCCWJ の データを使用したファインチューニングが有効であ ると言える。

平仮名と BCCWJ 両方のファインチューニングに おいて, Wikipedia モデルの精度が高いテストデータ のデータセットに関しては，複数回ファインチュー ニングを行っても他のデータセットと比べ大幅な精度の向上が見られなかった。これは精度が高いテス トデータの文体が Wikipedia の文体に近いからであ ると推測される。

また，BCCWJFT モデルの精度を BCCWJ モデル と比べると，テストデータのデータセットによって向上しているものと低下しているものがあるもの の，マクロ平均とマイクロ平均では BCCWJ モデル の方が精度が高いことが分かる。ジャンルによる差 としては，BCCWJFT モデルの方が精度が高いデー タセットは，「ベストセラー」「法律」「国会議事録」「教科書」「韻文」の 5 つであり，ジャンルの特徵に より精度に差が出ていることが分かる。

最後に，Bi-LSTM CRF モデルの精度は，MeCabの マクロ平均である 79.71 \%と比べるとまだまだ改善 の余地がある。

## 7 おわりに

本研究では，Bi-LSTM CRF モデルを用いて平仮名文を単語分割するモデルを作成した。モデルの作成 にあたって Wikipedia と Yahoo!知恵袋のデータを平仮名に変換したデータを使ってファインチューニン グを行ったところ，Wikipedia だけを訓練事例にし たときよりも，平仮名文の形態素解析の精度が向上 すること示した。また，漢字仮名交じり文を訓練事例にして、その後平仮名文を使ってファインチュー ニングすると，平仮名の形態素解析の精度が向上す ること示した。また, Wikipedia と Yahoo!知恵袋の データを平仮名に変換したデータを使ってファイン チューニングを行ったモデルと知恵袋のデータを平仮名に変換したデータだけを使って訓練したモデル の形態素解析の精度の良しあしはジャンルにより異 なることを示した。

今後は，平仮名文を分割するモデルの精度をさら に向上させるために，訓練事例数を増やすことを 行いたい。加えて，単語の読みや発音，品詞分類と いった情報も学習させることでこれらの情報を出力できる様なシステムにしたい。また，本実験で は BCCWJFT モデルと BCCWJ モデルの訓練事例に Yahoo!知恵袋のデータセットを使用し精度を測った が，今後は他のジャンルを使用してモデルを学習 し，ジャンルによる精度を差を分析したい。さら に，ドメイン適応の技術を用いて複数のジャンルを 組み合わせ全体的な精度を向上させたい。

## 謝辞

本研究は、茨城大学の特色研究加速イニシアティ ブ個人研究支援型「自然言語処理、データマイニン グに関する研究」に対する研究支援 および JSPS 科研費 17KK0002 の助成を受けたものです。

## 参考文献

[1]工藤拓, 市川宙, David Talbot, 賀沢秀人. Web 上のひらが な交じり文に頑健な形態素解析. 言語処理学会 第 18 回年次大会 発表論文集, pp. 1272-1275, 2012.

[2]大崎彩葉, 唐口翔平, 大迫拓矢, 佐々木俊哉, 北川善彬, 堺澤勇也, 小町守. Twitter 日本語形態素解析のためのコー パス構築. 言語処理学会 第 22 回年次大会 発表論文集, pp. 16-19, 2016

[3] 藤田早苗, 平博順, 小林哲生, 田中貴秋. 絵本のテキスト を対象とした形態素解析. 自然言語処理, Vol. 21, No. 3, pp. 515-539, 2014.

[4]林聖人, 山村毅. ひらがな語の追加と形態素解析の精度 についての考察析. 愛知県立大学情報科学部平成 28 年度卒業論文要旨, pp. 1-1, 2017.

[5]井筒順, 明石陸, 加藤涼, 岸野望叶, 小林汰一郎, 金野佑太, 古宮嘉那子. Mecab による平仮名のみの形態素解析. 言語処理学会 第 26 回年次大会 発表論文集, pp. $65-68,2020$.

[6]Ji Ma, Kuzman Ganchev, and David Weiss. State-of-the-art chinese word segmentation with bi-lstms. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4902-4908. Association for Computational Linguistics, 2018.

[7]Suphanut Thattinaphanich and Santitham Prom-on. Thai named entity recognition using bi-lstm-crf with word and character representation. In 2019 4th International Conference on Information Technology (InCIT), pp. 149-154, 2019.


# 数学・確率問題を対象とした条件記述の自動解釈

岩間 純輝†佐藤理史 $\$ \quad$ 小川浩平 $\$$ 宮田玲
†名古屋大学工学部 $\$$ 名古屋大学大学院工学研究科
iwama. junki@h.mbox.nagoya-u.ac.jp

## 1 はじめに

大学入試問題では、言語運用能力をはじめ、多岐 に渡る知識やスキルが問われる。このうち、国語・英語以外の教科の問題では、問題文を分野知識 (科目固有の知識) に基づいて解釈し、何が求められて いるかを理解した上で、その答を分野知識を駆使し て導くことが必要となる。

2011 年から 6 年間に渡って実施された「ロボッ トは東大に入れるか」プロジェクトでは、主要 5 教科 (国語、英語、数学、社会、理科) の大学入試問題 の自動解法が研究された $[1]$ 。このうち、数学では、問題文を実閉体の一階論理式に変換し、得られた論理式に含まれる限量子を RCF-QE アルゴリズムで消去することによって解を求める方法が、中心的な解法として採用された。その一方で、この枠組みに適合しない「確率・期待値」問題の自動解法 $[2,3]$ は、十分には研究されなかった。

「確率・期待値」問題は、次のような特徴を持つ。

1. 問題を解くために必要な数学的概念 (試行、結果、標本空間、事象、確率、期待値) は、それほ ど複雑ではない。

2. サイコロ・玉・カードなどの一般的な素材を用 いて仮想世界が記述され、その世界の中で問題 が記述される。

3. 事象を規定する条件の記述は、かなり複雑にな りうる。

4. 問題の解答に必要な属性 (典型的には、期待値問題における「得点」)の計算方法が、問題文中 で定義される。

これらの特徴のうち、本研究では 3 番目の特徴に 焦点を当て、事象を規定する条件記述を正しく解釈 する問題に取り組む。本研究の特徴は、試行によっ て得られる結果の構造に着目し、この構造に基づい て条件記述を再帰的に解釈する点にある。

(1) 出た目の和が偶数となる確率を求めよ。

(2) 出た目が 2 つとも偶数である確率を求めよ。

例題 2 サイコロを 2 回振る。

1 回目に 2 以下または 5 以上の目が出て、かつ 2 回目に奇数の目が出る確率を求めよ。

図 1 数学・確率問題の具体例

## 2 数学・確率問題の構造

対象とする数学・確率問題の具体例を図 1 に示 す。一般に、問題文は次の 4 種類の記述から構成さ れる。

## 1. 仮想世界の記述

どんなオブジェクトがいくつあるか

## 2. 試行の記述

標本空間はどのように規定されるか

## 3. 確率の計算要求

ある事象が起きる確率を求めることを要求する

## 4. 定義

特定の事象や、結果に対する属性を定義する

大学入試のセンター試験で出題される確率問題 は、おおよそ、次の式で解ける。ここで、|・は、集合の要素の数を表す。

$
\text { 確率 }=\frac{\mid \text { 事象 } \mid}{\mid \text { 標本空間 } \mid}
$

標本空間が有限集合の場合は、要素を列挙すれ ば、この式の分母の値が求まる。さらに、事象を規定する条件を計算可能な形式に翻訳して標本空間の 全要素に適用すれば、事象が求まり、分子の値が求 まる。つまり、解くべき問題は、「出た目の和が偶数 となる」のような日本語の条件記述を、この条件の 成否を判定するプログラムに翻訳することになる。

## 34 種類の結果型

本研究では、条件記述を解釈するために、結果 (標本空間の要素) の内部構造 (階層構造) に着目す る。この内部構造の型として、次に示す 4 種類を設

2. 2個のサイコロを同時に振る。4.2個のサイコロを同時に3回振る。

図 2 結果の内部構造の 4 種類の型

定する (図 2)。以下では、これを結果型と呼ぶ。

1. O 型 (オブジェクト)

オブジェクト 1 個

2. LO 型 (リスト>オブジェクト) $n$ 個のオブジェクトで構成されるリスト

3.SO 型 (シーケンス>オブジェクト)

$k$ 個のオブジェクトで構成されるシーケンス

4. SLO 型 (シーケンス>リスト>オブジェクト) $n$ 個のオブジェクトで構成されるリストの、長 さ $k$ のシーケンス

上記の 4 種類の型は、試行の回数と 1 回の試行に 関与するオブジェクトの個数によって定まる。

## 4 条件記述を構成する要素

条件記述を構成する要素を、すべて関数としてモ デル化する。関数は、以下の 6 種類に分類する。

1. 定数 (属性值)

2. (オブジェクトの) 属性値の取得

3. (数值) 演算

4. (真偽值を返す) 述語

5. 述語の成立 (真值) に対する個数・回数・順序の 制約

6. 論理演算

オブジェクト、リスト、シーケンスのそれぞれの 階層に対して用意した基本関数とその主要な日本語表現 (キーワード)を、表 1、表 2、表 3 に示す。条件記述は、これらの基本関数の合成関数として表現 する。

上記に示した 6 種類のうち、定数 (属性値) と属性值の取得は、オブジェクトに対してのみに適用可能 な関数である ${ }^{1)}$ 。一方、数値演算は、リストとシー

1） オブジェクトとしては、サイコロ、玉、カードの 3 種類を 想定し、それらのオブジェクトの属性として、番号・数字と表 1 オブジェクトに対する基本関数

 \\

表 2 リストに対する基本関数

表 3 シーケンスに対する基本関数

ケンスに対して適用可能であり、述語、論理演算は、 すべての階層において適用可能である。制約は、個数制約がリストに対して、回数制約と順序制約が シーケンスに対して適用可能である。個数制約と回数制約は、抽象的な関数としては同一であるが、日本語表現では異なる接尾辞が用いられるので、区別 する。

## 5 条件記述の解釈手順

本節では、日本語で書かれた条件記述を正しく解釈し、実行可能な条件判定プログラムに変換するア ルゴリズムを示す。入力は、条件記述 (文字列) と結果型であり、出力は、それぞれのレベルに対して定義する合成関数である。

色を想定した。

図 3 例題 1 の解釈

## 5.1 要素への分解

まず、条件記述を文節に分解し、キーワードを手掛かりに結合・分解・並び替えを行って、表 1-3に 示した要素 (日本語表現) の並びに変換する。たとえ ば、図 1 の例題 1 に対しては、以下のような要素の 並びを得る。

(1) a. [出た目の, 和が, 偶数となる]

b. [出た目が, 2 つとも, 偶数である]

これらの要素のうち、「出た目(の・が)」は属性値 の取得 (オブジェクト階層)、「2つとも」は個数制約 (リスト階層) であることが一意に定まる。「和 (が)」 は、リストとシーケンスの両方の階層に対して可能 であるが、例題 1 の結果型は LO 型なので、リスト 階層と定まる。残りの「偶数 (となる・である)」が どの階層に属するかは、この段階では定まらない。

## 5.2 構成要素の並びの解釈と関数の合成

次に、要素の並びを、結果型の階層構造にした がって再帰的に解釈する。それぞれの階層では、与 えられた要素の並びから、その階層の要素を抜き出 し、残りを下位の階層に渡す (再帰呼び出し)。下位階層の処理結果として関数名が得られると、その関数名と抜き出した要素を組み合わせて合成関数を定義し、その関数名を上位の階層に返す。例題 1 に対 して定義される合成関数を図 3 に示す。

要素への分解の過程で階層が一意に定まらなかっ た要素の階層は、以下のルールで決定する。

1. 数値演算の階層決定

SLO 型の場合は、リスト階層と判定する。

2. 述語の階層決定 (a) 要素の並びに数値演算が含まれる場合、そ の数值演算と同じ階層と判定する。

(b) 要素の並びに制約表現が含まれる場合、そ の制約表現よりも下位の階層と判定する。

要素の並び (1a)をリスト階層で解釈する場合、「和 (が)」が数値演算 (リスト階層) なので、「偶数 (となる)」もリスト階層と判定する (ルール 2a)。残 りの「出た目 (の)」は、下位のオブジェクト階層に 渡される。一方、要素の並び (1b) をリスト階層で解釈する場合、個数制約「2つとも」がリスト階層な ので、残りの「出た目 (が)」と「偶数 (である)」を 下位のオブジェクト階層に渡す (ルール 2b)。

## 5.3 論理演算を含む場合

条件記述に論理演算子 (AND と OR) に相当する記述が含まれる場合は、5.2 節の処理を行う前に、その 論理演算が結びつける引数の範囲を決定する。AND と OR の引数は、必ず同じ階層の要素である。この 制約に基づき、以下のように引数の範囲を定める。

1. 直前と直後の要素が同一種類の関数であれば、 その両者を論理演算の引数とみなす。

2. そうでなければ、先頭から直前までと、直後か ら末尾までを、論理演算の引数とみなす。

たとえば、図 1 の例題 2 は、要素への分解によっ て、次のような並びが得られる。

(2) [1 回目に, 2 以下, または, 5 以上の, 目が, 出て, かつ, 2 回目に, 奇数の, 目が, 出る]

この並びに含まれる「または」の直前は「2 以下 (述語)」で、直後は「5 以上の (述語)」なので、この OR の引数は、これらの要素と解釈する。一方、「か つ」の直前は「出て (述語)」で、直後は「2 回目に (回数制約)」なので、トップレベルの AND と解釈す る。以上により、

(3) [[1 回目に, [2 以下, OR, 5 以上の], 目が, 出て], AND, [2 回目に, 奇数の, 目が, 出る]]

が得られる。その後、括弧をはずし、以下のような 論理演算を含まない形式に展開する。

(4) a. [1 回目に, 2 以下の, 目が, 出る]

b. [1 回目に, 5 以上の, 目が, 出る]

c. [2 回目に, 奇数の, 目が, 出る]

この際、分割後の条件記述が自然になるように、整形する。たとえば、「5 以上の」より、「の」を補完 して「2以下の」とする。

図 4 例題 2 の解釈 (一部)

表 4 実験結果

これらの条件記述のそれぞれに、5.2 節の処理を 適用し、最後に論理演算で結合すれば、図 4 に示す 合成関数が得られる。

## 6 実験と検討

アルゴリズムの開発に使用しなかった評価用デー タを用いて、作成したアルゴリズムの評価を行っ た。評価用データの出典を以下に示す。

実験 1 市販の問題集 2 冊 [4,5]

実験 2 センター試験 (2000 年から 2020 年のうち、偶数年の本試験と追試験 22 回分)

対象とする問題は、問題の記述に使われるオブ ジェクトがサイコロ、玉、カードのいずれかで、か つ、結果型が 3 節に示した 4 種類のいずれかに該当 する問題である。それぞれの問題からは、

1. 試行におけるオブジェクトの個数と回数

2. 確率を求める事象の条件記述

を抜き出し、これを入力とした。アルゴリズムが出力する解釈—どの階層にどのような合成関数を定義したか—を目視にて確認し、解釈の成否を判定 した。

まず、実験 1 を行い、アルゴリズムの不備を修正 した後、実験 2 を行った。実験結果を表 4 に示す。 この表の分数の分母は条件記述の数、分子は正しく 解釈できた数を表す。

表 4 に示すように、両方の実験で 8 割以上の正解率が得られた。この結果より、本アルゴリズムは、確率問題に現れる条件記述の大半を正しく解釈でき
ると考えられる。結果型は、LO 型、SO 型の順に多 く、SLO 型は 1 例も存在しなかった2)。

解釈に失敗した原因として最も多い (13 件中 9 件) のは、基本関数の不足である。たとえば「 $u$ が整数 になる (確率)」という条件記述は、「整数 (になる)」 という関数 (述語) を用意していなかったため、解釈 できなかった。

本アルゴリズムにおいて、基本関数を追加するこ と自身は容易である。しかしながら、必要となる基本関数を、前もってすべて予想することは、かなり 難しい。

特に問題となるのは、 6 種類の基本関数の中の述語である。今回は、オブジェクトの属性値として 色と番号を扱うので、非数値 (色)を対象とする述語と整数 (数字) を対象とする述語を用意した。し かし、先にあげた述語「整数 (になる)」は、試行に よって得られた 2 つの数字 $a, b$ から、(結果に対す る) 新たな属性として分数 $u=a / b$ を定義し、「 $u$ が 整数となる」確率を求める問題として出現した。試行によって得られる結果の構造をそのまま使うので はなく、結果にある写像を施し、その出力の確率を 問う場合、あらかじめ用意すべき述語が十分に限定 できない。

評価用データの条件記述のうち、軽微な修正では 対処できないのは、次の 2 件である。

(5) a. 8 回目が終わった時点で赤玉がすべて取り 出されている

b. 赤玉がちょうど 8 回目ですべて取り出さ れる

前者は「 $n$ 回目までに個数制約が満たされた状態に なっている」ことを、後者は「ちょうど $n$ 回目で個数制約が満たされた状態となる」ことを意味する が、これらの解釈を現在の枠組みに組み込むのは、 それほど単純ではない。

## 参考文献

[1]新井紀子, 東中竜一郎（編）. 人工知能プロジェクト「ロ ボットは東大に入れるか」. 東京大学出版会, 2018.

[2]神谷翼, 松崎拓也, 佐藤理史. 数学確率文章題の自動解答 システムの開発. 言語処理学会第 21 回年次大会発表論文集, pp. 365-368, 2015.

[3]神谷翼, 松崎拓也, 佐藤理史. 題材となるオブジェクトの 抽象化による確率文章題の自動解答. 人工知能学会第 30 回全国大会論文集, 4B1-2, 2016.

[4]森谷慎司. 数学場合の和・確率 分野別 標準問題精講.旺文社, 2016 .

2）開発用データには、 1 例存在した。

[5]松田聡平. 単元攻略 場合の数・確率 解法のパターン 30 .技術評論社, 2015.


# BERT を使用した日本語の単語の通時的な意味変化の分析

小林千真 ${ }^{1}$ 相田太一 ${ }^{2}$ 小町守 ${ }^{2}$
法政大学 1 東京都立大学 ${ }^{2}$
kazuma.kobayashi.3t@stu.hosei.ac.jp \{aida-taichi@ed.,komachi@\}tmu.ac.jp

## 1 はじめに

時間の経過で単語の使われ方や意味は変化するこ とがある。例えば、「こだわる」という単語は最近 では広告でもポジティブな意味で使われているが、元々の意味は必要以上に気にするというネガティブ な意味であった1)。このような現象は日本語に固有 のものではなく、その他の言語でも確認されている [1]。単語の意味変化を定量的に分析する技術は言語学や辞書学における単語の意味変化の分析の助けと なることが期待される。

単語の意味変化を捉える研究として、単語分散表現を用いる手法が提案されている $[2,3,4]$ 。しかし、 これらはどれも各期間で 1 単語につき 1 つのべクト ルを対応させ、それらを比較することで単語の意味変化を検出している。また、時武ら [5] は単語の意味の広がりを捉えるために、ガウス埋め込みを用い て通時的な単語の意味変化を分析する手法を提案 した。しかし、これらの手法は意味の検出はできる が、単語が持つ複数の意味がどのように変化してい るのかを捉えることは難しい。これは 1 単語タイプ に1つの表現を与えるためである。

これに対して、BERT [6] に代表される事前学習済 み言語モデルを使えば各単語トークンが出現する 文脈に応じた単語べクトルを獲得することができ るため、単語がどの意味で使用されているのかを単語トークンレベルで捉えることができる。近年の 研究では、 $\mathrm{Hu}$ ら [7] の BERT から得た単語べクト ルを辞書に載っている語義に対応づけをする研究、 Giulianelli ら [8] の BERT から得た単語ベクトルの集合にクラスタリングを行う研究などが行われてい る。しかし、どちらの研究も英語でのみ行われて いる。

日本語における単語の意味の通時的変化を捉える 研究としては相田らの研究 [9] がある。しかし、彼 らの研究でも先程述べたように 1 単語タイプにつき

を使用する。

## 3 実験設定

## 3.1 データセット

幅広い年代にわたる日本語コーパスとして、国立国語研究所の『日本語歴史コーパス』2) の一部とし て公開されている近代雑誌コーパスに、「昭和・平成書き言葉コーパス」3)として構築中の雑誌 (『中央公論』『文藝春秋』）データを追加したものを用い た。コーパス全体は 1874 年から 1997 年までに刊行 された雑誌から成るが、これを 1898 年から 1997 年 の 100 年間を 25 年区切りで 4 分割したものを使用 した。

## 3.2 対象とする単語

一般的に意味の変化が起きていると知られてい る日本語の単語として、「こだわり」、「敷居4)」、「適当 ${ }^{5}$ 」、「全然6) 」などがある。本研究ではこれらの 単語を対象とした。ただし、動詞の「こだわる」の 活用形としての「こだわり」は対象とせず、名詞の 「こだわり」のみを対象とした。また、前処理とし て対象の単語における表層形の正規化を行った。

## 3.3 辞書

goo 辞書7) の国語辞典（デジタル大辞泉。2020 年 12 月時点。）と日本国語大辞典（第二版）を使用し た。基本的に、3.2 節で示した単語の goo辞書に載っ ている意味と例文（全て）を使用したが、「敷居」は 例文が記載されていなかったため、日本国語大辞典を使用した。ただし、日本国語大辞典の例文は、 もっとも新しい年代の例文を 1 つ使用した。

## 3.4 実験方法

1898 年から 1997 年のコーパスの全文を BERT に 入力し、対象の単語の単語ベクトルを獲得する。 ただし、本研究では、事前学習済みモデルとして、

2) https://pj.ninjal.ac.jp/corpus_center/chj/

3) https://pj.ninjal.ac.jp/corpus_center/cmj/woman-mag/

4）「敷居」という単語には「敷居が高い」という熟語があり、「不義理をして行きにくい」という意味から「気軽にはいけな い」という意味に変化している。

5）「適当」は「ふさわしい」と「程よい」という意味に加え、近年では「いいかげん」という意味でも使われている。

6）「全然」は明治時代から戦前までは「すっかり」という意味 で使用されることが多かったが、戦後は「(否定の表現を伴っ て）少しも」という使い方が一般的になった。

7) https://dictionary.goo.ne.jp/ huggingface ${ }^{8)}$ で公開されている東北大の日本語版 BERT $^{9}$ を使用した。このようにして得た単語べク トルの集合に対し、各対象単語で辞書とクラスタリ ングの手法をそれぞれ適用し、単語ベクトルの集合 をグルーピングした。期間ごとにその結果を語義の 使用比率を示した積み上げ棒グラフで表した。ここ で、辞書の手法の凡例には辞書の語義をそのまま示 し、クラスタリングの手法の凡例には各クラスタ内 で主に確認された用例を示した。また、単語べクト ルとそれに対応する実際の用例を比較することで分析をした。

## 4 結果と考察

図 1 に辞書の手法とクラスタリングの手法それぞ れの実験で得られた各単語の通時的な語義の使用比率の変化を示す。また、図 2 に「全然」における各手法の単語ベクトルの分類の結果と期間ごとの単語 ベクトルの分布を主成分分析で可視化した散布図を 示す。

## 4.1 事例分析

「適当」図 1aの『辞書』では sense_3の「いいか げん」の割合が徐々に大きくなっており、3.2節で想定していた結果を得た。図 1eの『クラスタリング』 の手法では、通時的な変化は捉えられなかった。

実際に単語ベクトルに対応する文を確認すると、 どちらの手法においても、「ふさわしい」の用例が 全てのクラスタに出現していた。具体的には、『辞書』において、sense_1では「ふさわしい」の用例が ほとんどであり、sense_2には「ふさわしい」と「程 よい」の用例が多く属していた。sense_3には「ふさ わしい」と「いいかげん」の用例が多く見受けられ た。『クラスタリング』において、cluster_1には「ふ さわしい」、「程よい」、「いいかげん」の 3つの用例 があり、cluster_2では「ふさわしい」と「程よい」の 用例があった。

「全然」 図 $1 \mathrm{~b}$ の辞書』では、ほとんどの単語 ベクトルが sense_2の「少しも（否定）」に属してし まい、通時的な変化を捉えられなかった。図 1f の 『クラスタリング』では「すっかり」と「少しも（否定)」の用例を含んでいる cluster_1 の割合が徐々に 小さくなっている。「すっかり」の用例は cluster_1 でのみ出現しており、3.2 節で想定した結果が得ら

(a)「適当」辞書

(e)「適当」クラスタリング

(b) 「全然」辞書

(f)「全然」クラスタリング

(c)「こだわり」辞書

(g)「こだわり」クラスタリング

(d)「敷居」辞書

(h)「敷居」クラスタリング

図 1: 通時的な語義の使用比率を表した棒グラフ。

れた。

実際に単語ベクトルに対応する文を確認すると、『辞書』において sense_1 には形容動詞の「余すと ころのないさま」の意味ではなく、「すっかり」の 用例が属していた。sense_2 には「少しも（否定）」 と「すっかり」の用例が多く属していた。sense_3は 「すっかり」の用例が属していた。sense_4には「と ても」ではなく、「少しも（否定）」と「すっかり」の 用例が見受けられた。コーパスには「すっかり」の 用例は sense_3 に属する単語以外にも多く存在して いたが、sense_3 にはわずかしか属さなかった。ま た、コーパスには「とても」と「余す所のない（形動)」の用例はほとんどなかった。『クラスタリン グ』において、cluster_1には「すっかり」と「少しも (否定)」の2つの用例が多く見られ、cluster_2では、 ほとんどが「少しも（否定）」の意味の用例だった。主成分分析で「全然」の単語ベクトルを可視化 した図 $2 \mathrm{a}, 2 \mathrm{~b}$ に注目すると、それぞれの手法の分類結果は様子が異なることが分かった。これは辞書 を使った手法では例文から構築した語義べクトル （図 2a の星）とのコサイン類似度に注目しているの に対して、クラスタリングでは k-means 法を使用し、
セントロイドからの距離に注目していることによる 違いである。ここで、図 $2 \mathrm{~b}$ の赤線で囲った部分に 「すっかり」の用法がまとまっていた。また、図 2c に示した期間ごとの分布から年代が新しくなるにつ れて徐々に、単語ベクトルの分布が右上から左下に シフトしていくことを確認した。

「こだわり」 図 1cの『辞書』ではほとんどが sense_1 に属しており、意味変化を捉えていなかっ た。図 $1 \mathrm{~g}$ の『クラスタリング』では、「滞る」10)の 用例が属してた cluster_1 の割合が徐々に減少してお り、 3.2 節で想定していた結果とは異なるが、意味 の通時的変化を捉えた。

実際に単語ベクトルに対応する文を確認すると、『辞書』において、sense_1 は「執着する」と「滞る」 の用例、sense_2 は「執着する」の用例が 1 件のみ属 していた。コーパスには「難癖をつける」の用例は 存在していなかったためこのような結果になった と考える。『クラスタリング』において、cluster_1 は 「滞る」の用例、cluster_2は「執着する」の用例をそ れぞれ多く含んだ。

10）コーパスの例文：「疾患のほかに避妊手術の後遺症で精神障害が起きたことを、二人はこだわりなく話した。」

(a) 「全然」辞書

(b)「全然」クラスタリング

(c)「全然」期間ごとの分布

図 2: 主成分分析を使用し、「全然」の単語ベクトルを可視化した散布図。

「敷居」図1dの『辞書』では、ほとんどがsense_2 に属しており、意味変化を捉えていなかった。図 $1 \mathrm{~h}$ の『クラスタリング』では、比喻的な用法が属する cluster_2 の割合が徐々に大きくなり、3.2 節で想定 していた意味変化とは異なるが、意味の通時的変化 を捉えた。

実際に単語ベクトルに対応する文を確認すると、『辞書』において、sense_1 は「仕切りとして敷く横木」の用例が属していたが 2 件のみであり、sense_2 は「仕切りとして敷く横木」の用例が属していた。辞書に載っている「敷居」の意味は「しきもの」と 「仕切りとして敷く横木」であるが、コーパスでは 前者はほとんど出現しないため、sense_1 に分類さ れたものがほとんどなかったと考える。『クラスタ リング』において、cluster_1では物理的な「仕切り として敷く横木」の用例、cluster_2では「... 敷居が 高い..」や「... 血の敷居は越え...」のように物理的な 意味から拡張し抽象化された用例が多く出現して いた。

## 4.2 考察

辞書を使用した手法では、辞書に載っている語義 に対応した用例を捉えることが多かったが、「全然」 では語義の違いを捉えられなかった。一方で、クラ スタリングを使用した手法では、辞書には載ってい ない抽象的な意味を捉えることや辞書に載っている よりも詳細な違いを捉えることがあるとわかった。 このため、クラスタリングを使用した手法は人間が 意識していない意味の変化を捉えることを期待でき るといえる。

「適当」における辞書の手法と「全然」におけるク ラスタリングの手法ではそれぞれ、結果としては意味の通時的な変化を捉えたが、各クラスタが単一の 用例で構成されていないため、適切な分類ができて
いない可能性があると考えた。

図 $2 \mathrm{c}$ における年代による分布のシフトは「全然」 の意味が徐々に変化する様子を捉えており、分類が 難しかったと予想される。また、辞書の手法で、全 てのクラスタに「すっかり」が含まれていたのは、語義ベクトルが古い時代の分布に近い位置にあった ことや BERT が通時的なコーパスに適応できなかっ たことが原因と考える。

その他にも辞書の手法では、例文の数が十分でな かったことや辞書の語義が網羅されていない場合が あることが通時的な意味変化を捉えられなかった原因と考える。クラスタリングの手法では、k-means 法がそれぞれのクラスタがだいたい同じ大きさであ ることを仮定するため、語義の頻度に大きな偏りが ある場合は適切でないことがあると考える。

## 5 おわりに

本研究では BERT を使用して単語の通時的な意味変化を追う 2 つの手法を日本語に適応し、比較する ことでそれぞれの手法の特徴を確認した。辞書の手法では、辞書に載っている意味しか扱えないため、目的の意味を扱えないことや辞書の例文をそのまま 使うのでは不十分である可能性があることを確認し た。クラスタリングの手法では、辞書に載っていな い変化を捉えることが期待できることや k-means 法 が各クラスタが大体同じ大きさであることを仮定す るので単語の意味を分類しきれない事例があること を確認した。

また、そもそも BERT から得た単語ベクトルが意味の違いを捉えきれない可能性があるため、今後の 研究として、BERT から得られる単語べクトルの特徵について調査を行いたい。

謝辞本研究は JSPS 科研費 19H00531 の助成を受 けたものである。

## 参考文献

[1] 岩本蘭, 湯川正裕. Auto-antonym の多カーネルオンラ イン意味変化分析. 言語処理学会第 25 回年次大会発表論文集, pp. 171-174, 2019.

[2] Yoon Kim, Yi-I Chiu, Kentaro Hanaki, Darshan Hegde, and Slav Petrov. Temporal analysis of language through neural language models. In Proceedings of the ACL 2014 Workshop on Language Technologies and Computational Social Science, pp. 61-65, Baltimore, MD, USA, June 2014. Association for Computational Linguistics.

[3] William L. Hamilton, Jure Leskovec, and Dan Jurafsky. Diachronic word embeddings reveal statistical laws of semantic change. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1489-1501, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4] Zijun Yao, Yifan Sun, Weicong Ding, Nikhil Rao, and Hui Xiong. Dynamic word embeddings for evolving semantic discovery. In Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining, WSDM '18, p. 673-681, New York, NY, USA, 2018. Association for Computing Machinery.

［5] 時武孝介, 村脇有吾, 黒橋禎夫. ガウス埋め込みに基 づく単語の意味の史的変化分析. 言語処理学会第 24 回年次大会 発表論文集, pp. 61-64, 2018.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7] Renfen Hu, Shen Li, and Shichen Liang. Diachronic sense modeling with deep contextualized word embeddings: An ecological view. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3899-3908, Florence, Italy, July 2019. Association for Computational Linguistics.

[8] Mario Giulianelli, Marco Del Tredici, and Raquel Fernández. Analysing lexical semantic change with contextualised word representations. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3960-3973, Online, July 2020. Association for Computational Linguistics.

[9] 相田太一, 小町守, 小木曽智信, 高村大也, 坂田綾香,小山慎介, 持橋大地. 単語分散表現の結合学習による 単語の意味の通時的変化の分析. 言語処理学会第 26 回年次大会 発表論文集, pp. 485-488, 2020.

[10] Peter J.Rousseeuw. Silhouettes: A graphical aid to the interpretation and validation of cluster analysis. In Journal of Computational and Applied Mathematics, Volume 20, pp. 53-65, 1987.


# 訓練事例と辞書用例を異なるモデルで表現した語義㖟昧性解消

谷田部梨恵 ${ }^{1}$ 佐々木稔 ${ }^{2}$
1 茨城大学大学院理工学研究科情報工学専攻
2 茨城大学工学部情報工学科
\{19nm732r, minoru.sasaki.01\}@vc.ibaraki.ac.jp

## 1 はじめに

語義曖昧性解消(WSD)は文中の多義語が辞書中の どの語義で使われるのかを識別するタスクである.現在，この WSD はディープラーニングを用いて行 うことが主流で，そのシステムにおいて辞書やシソ ーラスといった外部知識を組み合わせることの有効性が示されている，現在までに，語義定義文と教師 あり学習を組み合わせた GlossBERT [1]や BEM [2], シソーラスの上位下位関係などの単語間関係 を組み合わせた EWISE [3]や EWISER [4]などが存在する [5].

しかし，辞書によっては同じ辞書の定義文を使用 しても精度が低下することがある。上記の研究では すべて WordNet の辞書から抽出されたラベルの意味区分や語義の定義文と用例文を使用している. WordNet を使うことで WSDへの有効性は示されて いるが，他の辞書を使った場合でも有効かどうかは 明らかになっていない。そこで，外部知識として日本語を対象とした SemEval2010 日本語 WSD タスク データで使われる岩波国語辞典の語義定義文を EWISE と同じ手法で予備実験を行ったところ，低 い分類精度となってしまい，有効性を確認すること ができなかった。

岩波国語辞典の語義定義文を使用しても有効性を 確認できなかった要因のひとつとして, 各語義に含 まれる用例文は文の一部しか掲載されていないとい う点が考えられる. 用例文の一部だけしか記述がな いことから，他の語義と区別することが難しい用例文がいくつか存在する，例えば，動詞「上げる」に 含まれる「よい状態に高める」という語義におい て，「腕を上げる(上達する)」や「上げたり下げた り(ほめたりくさしたり)」といった用例文が紹介さ れている。これらの用例文は前後の文脈によって 「物を低い所から高い所にもってゆく」という別の 語義として使用することも可能である.このため，有効な語義の分散表現を求めることができなかった のではないかと考えられる。

そこで我々は，語義ラベルとして使用した辞書と は異なる辞書の情報を効果的に利用した WSD シス テムの構築を目指している。従来手法では辞書情報 をモデル化する際に訓練データと同じ辞書が用いら れるが，異なる辞書から得られるモデルを組み合わ せることで有効な WSD を行うことが可能かどうか 検討する，本稿では，完全な文として用例文が記述 されている辞書として国立国語研究所の「基本動詞 ハンドブック」に含まれる用例文を使用する [6].こ の用例文集合を使用したニューラルネットワークの モデルを辞書のモデルとする。このモデルと SemEval2010 日本語 WSD タスクデータから学習し たモデルを組み合わせて WSD を行い，異なる辞書 から構築されたモデルが有効かどうか検証する。

## 2 使用データと対象単語

本稿で使用するデータとして, 日本語 WSD の評価データである SemEval2010 日本語 WSD タスクデ 一夕 [7]と利用可能な日本語辞書である「基本動詞 ハンドブック」を使用する.

## 2.1 SemEval2010 日本語 WSD データ

SemEval2010 日本語 WSD タスクデータ(SE)は 50 個の対象単語に対して WSD の精度を評価するため のデータである[7]. 各対象単語について, 訓練デ 一夕とテストデータとしてそれぞれ 50 個の用例文 が用意されており，岩波国語辞典の意味区分に従っ てラベル付けされている.

## 2.2 基本動詞ハンドブック

「基本動詞ハンドブック」(HB)は日常生活でよく 使われる基本的な動詞単語の語義を日本語学習者や 日本語教師に向けて解説したオンラインツールであ る. 動詞単語に対して, 語義の定義と 5 件程度の用例文，文法情報などが記載されている。用例文には

図 1 並列 WSD モデル

手作業で岩波国語辞典の語義をラベル付けした。八 ンドブックの語義定義文に対応する語義が岩波国語辞典に存在するとき, その語義のラベルを付与する. ハンドブックの語義が岩波国語辞典に存在しない場合やひとつの語義が複数の語義に対応する場合は, それらの用例文にはラベルを付与せず，使用しない こととした.

## 2.2 対象単語

対象単語は SemEval2010 日本語 WSD タスクデー タと基本動詞ハンドブックの両方に登録された 10 個の動詞単語とする. 具体的な対象単語は「'あげる ','上げる','揚げる','挙げる', 「いきる','生きる','活きる '」, 「'出す'」, 「'立つ','建つ','発つ'」, 「'出る'」,「'のる','乗る','載る'」,「'見える'」,「'見る'」,「'持つ'」,「'やる '」の 10 単語である.

## 3 WSD モデル

WSD モデルは訓練データである用例文を入力し て, 対象単語の語義推定を行う，異なる訓練データ を用いて WSD モデルを構築し, その分類精度の比較を行う。

## 3.1 用例文の文脈ベクトル化

入力する用例文は対象単語前後の文脈を考慮した ベクトルに変換される. 文脈ベクトルへ変換するた めに，事前学習された ELMo モデルを用いて，用例文の分散表現を得る.このモデルは文脈情報を考慮した 2 層双方向 LSTM 構造で，本稿では ELMo モデルの最後の層の出力のみを使用する.

入力された用例文に対して対象単語及び前後 2 単語を抽出し, ELMo モデルに入力して 5 単語の分散表現を得る.これを連結した 5120 次元ベクトルを WSD モデルに入力する文脈ベクトルとして使用す る.

## 3.2 SE-WSD モデル

SemEval2010 日本語 WSD タスクデータを用いた WSD モデルを構築する. モデルには多層パーセプト ロン(MLP)を使用する．今回の実験では中間層のノー ド数を 50 , 最適化手法として確率的勾配降下法を使用,学習の繰り返し数であるエポック数を 50 と設定して分類 モデルの学習を行う.

## 3.3 HB-WSD モデル

「基本動詞ハンドブック」の用例文を用いた WSD モデルを構築する．モデルは SE-WSD と同じ 多層パーセプトロン(MLP)を使用する．実験でも SE-WSD と同じパラメータ設定で分類モデルの学習を 行う.

## 3.4 TR-WSD モデル

SemEval2010 日本語 WSD タスクデータの訓練デ 一タと「基本動詞ハンドブック」の用例文をひとつ の訓練データにまとめて WSD モデルを構築する. SE-WSD と同じ MLP とパラメータ設定を使用して 学習を行う。

## 3.5 並列 WSD モデル

並列 WSD モデルは学習済みの SE-WSD モデルと HB-WSD モデルを並列化したモデルで, 訓練データ のモデルと外部知識のモデルを異なるモデルとして 分離したモデルである. 図 1 に並列 WSD モデルの 概要を示す. SemEval の訓練データとハンドブック
表 1 実験結果（4 モデルのうち最も高い精度を太字で示す）

の用例文に対して，用例文の文脈ベクトルを学習済 みの SE-WSD モデルと HB-WSD モデルに入力し, その中間層の 50 次元ベクトルを生成する. 2 つの中間層のベクトルを連結した 100 次元ベクトルを MLP に入力して, 再度この MLP の訓練を行う。この MLP についても, 中間層のサイズや学習パラメータ設定 は SE-WSD と HB-WSD と同じものを使用する.

## 4 実験

本節では, 3 節に示した 5 種類の WSD システム の分類精度を分析するために, 10 個の動詞単語につ いて評価データによる精度比較を行う，精度評価は Semeval2010 日本語 WSD タスクデータのテストデ ータを使用する。

## 4.1 実験結果

表 1 に 4 つの WSD モデルを用いた場合の語義識別精度を示す. 平均精度は SE-WSD が $71.3 \%$, HBWSD が $66.6 \%$, TR-WSD が $73.5 \%$ ，並列 WSD は 71.1\%であった.これらのモデルの中では TR-WSD の精度が最も高いことから, 辞書中の用例文も訓練 データに追加して学習をする方が効果的であると考 えられる。

SE-WSD と HB-WSD を比較すると, HB-WSD は 多くの動詞単語で精度がSE-WSDを上回ることがで きなかった. HB-WSD は「いきる」と「だす」の 2 単語で精度が高かった. どちらも少数語義の用例文 を正しく識別できたことが要因だと考えられる．し かし, 他の多くの単語で SE-WSD の方が高い精度で
あった. 辞書の意味区分が異なるため語義の出現分布が偏ったことが要因として考えられる.また，「の る」のように辞書から語義の用例文を均等に抽出し たことが要因で識別誤りが増えた単語も存在する。

一般的に, TR-WSD のように訓練データに辞書の 用例文を追加すれば多くの単語で精度の上昇が期待 できる.このとき, 追加する用例文は岩波国語辞典 のように用例文の一部分を追加するのではなく，文 として追加することで精度が上がると考えられる。

今回の実験では訓練データと辞書用例文のモデルを 並列化しても有効とは言えず，外部知識を使う場合 でも用例文はひとつのモデルに集約する方が効果的 であると考えられる。

## 5 おわりに

本稿では, 語義ラベルで使った辞書とは異なる辞書の情報を異なるモデルで表現する WSD の効果に ついて分析を行った．今回の実験では異なる辞書の 用例文を訓練データに追加した方が高い精度であつ た. 異なる辞書の効果的な活用方法と外部知識の効果的なモデル化を行うことが今後の課題である.

## 参考文献

1. HuangLuyao, ほか. GlossBERT: BERT for Word Sense Disambiguation with Gloss Knowledge. : the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on

Natural Language Processing (EMNLP-IJCNLP), 2019. ページ: pp. 3509-3514.

2. BlevinsTerra, ZettlemoyerLuke. Moving Down the Long Tail of Word Sense Disambiguation with Gloss Informed Bi-encoders. : the 58th Association for Computational Linguistics (ACL2020), 2020. ページ: pp. 1006-1017. .

3. KumarSawan, ほか. Zero-shot Word Sense Disambiguation using Sense Definition Embeddings. : the 57th Annual Meeting of the Association for Computational Linguistics (ACL2019), 2019. ページ: pp. 5670-5681.

4. BevilacquaMichele, NavigliRoberto. Breaking Through the (80\%) Glass Ceiling: Raising the State of the Art in Word Sense Disambiguation by Incorporating Knowledge Graph Information. : the 58th Annual
Meeting of the Association for Computational Linguistics (ACL2020), 2020. ページ: pp. 2854-2864. 5. LoureiroDaniel, JorgeAlípio. Language Modelling Makes Sense: Propagating Representations through WordNet for Full-Coverage Word Sense Disambiguation. : the 57th Annual Meeting of the Association for Computational Linguistics (ACL2019), 2019. ページ: pp. 5682-5691.

6. 国立国語研究所. 『基本動詞ハンドブック』.(オ ンライン) https://verbhandbook.ninjal.ac.jp.

7. OkumuraManabu，ほか. Semeval-2010 task:

Japanese WSD. : the fifth International Workshop on Semantic Evaluation (SemEval-2010), 2010. ページ: pp. 69-74. .


# 学習済み単語分散表現を用いた連続空間トピックモデル

井上 誠一 ${ }^{1}$ 相田 太一 ${ }^{2}$ 浅井 学 ${ }^{1}$ 小町 守 ${ }^{2}$
創価大学 ${ }^{1}$ 東京都立大学 ${ }^{2}$
e1706456@soka-u.jp, m-asai@soka.ac.jp, \{aida-taichi@ed., komachi@\}tmu.ac.jp

## 1 はじめに

トピックモデルは，テキストコーパスから文書中 に潜在的に存在する話題を自動的に抽出する統計モ デルであり，情報検索 [1]，協調フィルタリング [2],著者識別 [3]，意見抽出 [4] など，自然言語処理の内外で様々なアプリケーションに応用されている.

トピックモデルの代表的な手法である, Latent Dirichlet Allocation (LDA) [5] は, 各文書に潜在トピッ クがあると仮定し, 統計的に共起しやすい単語の 集合が生成される要因を潜在トピックという観測 できない確率変数で定式化している。一方，持橋 らによって提案された Continuous Space Topic Model (CSTM) [6] は, LDA とは異なり, 潜在トピックと いった中間変数を用いることなく文書をモデル化 する。具体的には，単語に潜在座標を明示的に導入 し，その上に文書の意味を表すガウス過程に従う関数を考えることで定式化される. LDAでは，単語を 生成する確率分布は固定となっており, トピック分布の制御によって単語の生起確率を操作するため,各文書に応じて単語を生成する確率分布を変更する ことができなかった. それに対しCSTMでは, 単語 の確率を潜在トピックを通じてではなく, 単語の潜在座標と文書の意味を表す関数によって文書ごとに 直接操作するため, 文書に応じて動的に単語分布を 変更することが可能となり， パープレキシティにお いて LDA など従来のトピックモデルを上回る性能 を発揮したと報告されている。

CSTM は，単語の分散表現を用いて文書のモデル 化を行っているが，分散表現は推定パラメータとし てモデル内で学習される構造となっており，そのパ ラメータの多さからモデルの推定に時間がかかる. また，その学習に使われる情報は単語の出現頻度の みとなっており, 単語の意味的な関係性を捉えるこ とが難しい. そのため, Gaussian LDA [7] と同様に,単語の意味的な関係性を捉えた単語分散表現を用 い，事前情報として与えれば，収束の高速化と精度
の向上が期待できる.

そこで, 本研究では, CSTM の推定パラメータの 一つである単語の潜在座標をWord2Vec [8] で事前 に学習し, CSTM の生成モデルに学習済みの単語分散表現を導入する手法を提案する，日本語と英語の コーパスを用いて実験を行った結果，収束速度が改善し，パープレキシティにおいて提案手法が CSTM を超える性能を持つことを示した. また，学習した モデルを用いて文書における単語の重要度を観察 し，定性的な評価を行った。

## 2 関連研究

## 2.1 連続空間トピックモデル

CSTM では，言語のバースト性 [9]を考慮するた め，ディリクレ分布と多項分布の合成分布である Polya 分布を用いて単語の生起確率をモデル化する. $\boldsymbol{y}=\left(y_{1}, y_{2}, \ldots, y_{V}\right)$ を文書 $\boldsymbol{w}$ に出現する各単語の出現頻度とすると, Polya 分布は次のように定義される

$
p(\boldsymbol{y} \mid \boldsymbol{\alpha})=\frac{\Gamma\left(\sum_{v} \alpha_{v}\right)}{\Gamma\left(\sum_{v}\left(\alpha_{v}+y_{v}\right)\right)} \prod_{v} \frac{\Gamma\left(\alpha_{v}+y_{v}\right)}{\Gamma\left(\alpha_{v}\right)}
$

( $\alpha$ は Polya 分布の集中度パラメータ).ここで，各単語 $w_{v}$ が $d$ 次元の潜在座標 $\phi\left(w_{v}\right) \sim \mathcal{N}\left(0, I_{d}\right)$ を 持っていると仮定し，それぞれの文書で，意味的に 関連のある単語の生起確率を大きくするため，同じ 潜在空間上に平均 0 のガウス過程に従う関数

$
f \sim \mathrm{GP}(0, \mathrm{~K})
$

$\left(\mathrm{K}\right.$ はカーネル行列で, $\mathrm{K}_{i j}=k\left(w_{i}, w_{j}\right)=\phi\left(w_{i}\right)^{T} \phi\left(w_{j}\right)$ の内積カーネル）を生成する. ガウス過程 [10] と は，ランダムな回帰関数を生成する確率過程であ $\eta, k\left(w_{i}, w_{j}\right)$ が近いほど対応する出力 $f\left(x_{i}\right), f\left(x_{j}\right)$ も近くなる. $f$ は直感的には「この文書で言いたい こと」を表している. そして，その関数値に従って Polya 分布の集中度パラメータ $\alpha_{v}$ が大きくなるよ うに

$
\alpha_{v} \propto \alpha_{0} G_{0}\left(w_{v}\right) \exp \left(f\left(w_{v}\right)\right)
$

とモデル化する. ここで， $\alpha_{0} \sim \mathrm{Ga}\left(a_{0}, b_{0}\right)$ は推定パ ラメータであり, $\mathrm{Ga}\left(a_{0}, b_{0}\right)$ はガンマ分布である. また, $G_{0}\left(w_{v}\right)$ は単語 $w_{v}$ の「デフォルト」確率であ り，最尤推定値 \# $\left(w_{v}\right) / \sum_{i} \#\left(w_{i}\right)$ を用いる（\# $\left(w_{v}\right)$ は 全文書中における単語 $w_{v}$ の出現頻度）。これらを踏 まえると，CSTM の生成過程は次のようになる。

1. Draw $\alpha_{0} \sim \operatorname{Ga}\left(a_{0}, b_{0}\right)$.

2. Draw $G_{0} \sim \mathrm{PY}(\beta, \gamma)$. (実際は最尤推定値)

3. For $v=1 \ldots V, \phi\left(w_{v}\right) \sim \mathcal{N}\left(0, I_{d}\right)$.

4. For $n=1 \ldots N$,
- Draw $f_{n} \sim \mathrm{GP}(0, \mathrm{~K})$.
- For $v=1 \ldots V, \alpha_{v}=\alpha_{0} G_{0}\left(w_{v}\right) e^{f_{n}\left(w_{v}\right)}$.
- Draw $\boldsymbol{w} \sim \operatorname{Polya}(\boldsymbol{\alpha})$.

## 2.2 単語の分散表現

Milokov らによって提案された Word2Vec [8] は，分布仮説 [11] に基づいた，単語の意味的な関係性を 捉えた分散表現を学習する確率モデルである．学習手法の一つである Continuous Bag-of-Words (CBOW) モデルは， $\delta$ を文脈空幅として，近傍の文脈単語集合 $C_{w_{t}}=\left.\{w_{t \pm i} \mid 1 \leq i \leq \delta\right.\}$ を入力とした時のターゲッ 卜単語 $w_{t}$ の予測確率

$
p\left(w_{t} \mid C_{w_{t}}\right) \propto \exp \left(\eta\left(w_{t}\right)^{T} \tilde{\eta}\left(C_{w_{t}}\right)\right)
$

を最大化することにより単語ベクトル $\eta\left(w_{t}\right)$ を学習 する. ここで， $\tilde{\eta}\left(C_{w_{t}}\right):=\left|C_{w_{t}}\right|^{-1} \sum_{w \in C_{w_{t}}} \eta(w)$ は全文脈単語ベクトルの平均ベクトルを表す.

## 3 提案手法

## 3.1 学習済み分散表現を用いた文書モデル

我々は，2.1 節で紹介した CSTM に，2.2 節で紹介 した手法によって獲得される単語分散表現を導入す ることでモデルを構築する。まず，CBOW モデルに よって意味的な関係性を捉えた単語分散表現を学習 する。本研究では，特にトピック的な関係性 [12]を 学習するため, 文脈窓幅を比較的大きい $\delta=10$ とし 学習を行った. また， $V$ を語彙サイズとして，獲得 した単語分散表現 $\eta\left(w_{1}\right), \eta\left(w_{2}\right), \ldots, \eta\left(w_{V}\right)$ に対し,次のように中心化・正規化を施す.

$
\psi\left(w_{v}\right)=\tau S^{-\frac{1}{2}}\left.\{\eta\left(w_{v}\right)-V^{-1} \sum_{i} \eta\left(w_{i}\right)\right.\}
$

ここで， $S$ は正規化定数であり，

$
S=V^{-1} \sum_{i} \eta\left(w_{i}\right)^{T} \eta\left(w_{i}\right)
$

である.また， $\tau$ はハイパーパラメータであり，本研究では $\tau=d^{-1 / 2}$ とした. 次に，持橋らと同様に，式 (5) から得られる単語分散表現からなる潜在空間上に，平均 0 , カーネル関数 $k\left(w_{i}, w_{j}\right)=\psi\left(w_{i}\right)^{T} \psi\left(w_{j}\right)$ のガウス過程に従う関数

$
f \sim \operatorname{GP}\left(0, \mathrm{~K}_{\psi}\right)
$

を考える. しかし $f$ は原理的には無限次元であり，直接推定することは難しいため, Paisley ら [13] と同様に，単語の潜在空間上に文書の潜在座標を表す補助変数

$
u \sim \mathcal{N}\left(0, I_{d}\right)
$

を導入する。このとき，単語の潜在座標をまとめて $\Psi=\left(\psi\left(w_{1}\right), \psi\left(w_{2}\right), \cdots \psi\left(w_{V}\right)\right)^{T}$ とおけば, $f=\Psi u$ の 分布は $u$ を積分消去して

$
f \mid \Psi \sim \operatorname{GP}\left(0, \Psi^{T} \Psi\right)=\operatorname{GP}\left(0, \mathrm{~K}_{\psi}\right)
$

となり, $f$ が式 (7) と同じガウス過程に従うことに なる。

よって，提案手法では，事前学習済みの単語分散表現を潜在空間上の単語座標とし，文書の意味を表現するガウス過程を，単語ベクトルと同じ潜在空間上にある文書ベクトル $u$ を用いて，

$
f\left(w_{v}\right) \propto \psi\left(w_{v}\right)^{T} u
$

と表現し，式 (3) と同様に $\alpha_{v}$ を

$
\alpha_{v} \propto \alpha_{0} G_{0}\left(w_{v}\right) \exp \left(\psi\left(w_{v}\right)^{T} u\right)
$

として，単語の確率を式 (1) の Polya 分布でモデル化 する.

## 3.2 MCMC 法による学習

$N$ 個の文書をまとめて $\boldsymbol{D}=\left(\boldsymbol{y}_{1}, \boldsymbol{y}_{2}, \ldots, \boldsymbol{y}_{N}\right)$ とする と， $\alpha_{0}$ と $\alpha$ の同時分布は

$
p\left(\alpha_{0}, \boldsymbol{\alpha} \mid \boldsymbol{D}\right) \propto \prod_{n} p\left(\boldsymbol{y}_{n} \mid \alpha_{0}, G_{0}, f_{n}\right) p\left(\alpha_{0}\right) p\left(f_{n} \mid \psi\right)
$

であるが， $\alpha$ は式 (10) の文書ベクトル $u$ を通じての み変化するので，提案モデルにおける推定パラメー タの $\alpha_{0}$ と $\boldsymbol{u}=\left(u_{1}, u_{2}, \ldots, u_{n}\right)$ の同時分布は，

$
p\left(\alpha_{0}, \boldsymbol{u} \mid \boldsymbol{D}\right) \propto \prod_{n} p\left(\boldsymbol{y}_{n} \mid \alpha_{0}, G_{0}, \psi, u_{n}\right) p\left(\alpha_{0}\right) p\left(u_{n}\right)
$

と表される。モデルの学習には，持橋らと同様に局所解の問題のないランダムウォーク MH 法を用い
表 1 実験に用いた各コーパスの統計量.

た. ${ }^{1)}$ 推定パラメータは，式 (11)の $\alpha_{0}$ と文書べクト ル $u$ であり，それぞれ提案分布

$
\begin{aligned}
\alpha_{0}^{\prime} & =\alpha_{0} \cdot \exp (z) \\
z & \sim \mathcal{N}\left(0, \sigma_{\alpha_{0}}^{2}\right) \\
u^{\prime} & \sim \mathcal{N}\left(u, \sigma_{u}^{2} I\right)
\end{aligned}
$

から候補を生成し，尤度比に従う採択確率

$
\begin{aligned}
& \mathscr{A}\left(\alpha_{0}^{\prime}\right)=\min \left.\{1, \frac{\prod_{n} p_{n}\left(\boldsymbol{y}_{n} \mid \alpha^{\prime}\right) \mathrm{Ga}\left(\alpha_{0}^{\prime} \mid a_{0}, b_{0}\right)}{\prod_{n} p_{n}\left(\boldsymbol{y}_{n} \mid \alpha\right) \mathrm{Ga}\left(\alpha_{0} \mid a_{0}, b_{0}\right)}\right.\}, \\
& \mathscr{A}\left(u^{\prime}\right)=\min \left.\{1, \frac{p\left(\boldsymbol{y}_{n} \mid \alpha^{\prime}\right) p\left(u^{\prime} \mid 0, I_{d}\right)}{p\left(\boldsymbol{y}_{n} \mid \alpha\right) p\left(u \mid 0, I_{d}\right)}\right.\}
\end{aligned}
$

を用いて受理の判定を行った。本研究では，ラン ダムウォーク幅を, 予備実験の結果からそれぞれ $\sigma_{\alpha_{0}}=0.2, \sigma_{u}=0.01$ と置いて実験を行った.

## 4 実験

## 4.1 コーパス

本研究では，英語コーパスの NIPS $^{2}$ ，日本語コー パスの CSJ コーパスと毎日新聞（2013 年度から 10,000 記事をランダムに選択）を用いて実験を行っ た. 日本語コーパスである CSJコーパスと毎日新聞 に対しては, 前処理として $\mathrm{MeCab}^{3}$ )による分かち書 き4)を行い，全てのコーパスにおいて，出現頻度が 5 以下の単語を学習データから除外した. 各コーパ スの統計量を表 1 に示す.

## 4.2 予測パープレキシティ

性能の評価のため, 提案モデルと CSTM のパー プレキシティを計算した. Wallach ら [15] に従い, データの各文書のランダムな $80 \%$ の単語を用いて モデルを学習し, 残りの $20 \%$ の単語のパープレキシ ティを計算した。

提案手法と CSTM における各コーパスの予測パー プレキシティを表 2 に示す. 両モデルにおいて，潜

1）事後分布の勾配を使用する Hamiltonian MCMC 法 [14] も試 みたが数值微分が必要であり，計算コストの高さから本研究 ではランダムウォーク MH 法を用いて実験を行った.

2) https://cs.nyu.edu/ roweis/data.html

3) https://taku910.github.io/mecab/

4）分かち書きの辞書には ipadic を用いた.表 2 各コーパスでのテストセットパープレキシティ.

図 1 提案モデルと CSTM における予測パープレキシ ティの推移.

在次元数を $10,20,50,100$ と変化させたうち最も良 いスコアを示した。提案手法は，3つ全てのコーパ スにおける予測パープレキシティで CSTM を下回 り，より高い性能であることがわかる.

また, 図 1 に提案モデルと CSTM におけるパープ レキシティの推移を示す. 提案モデルは，学習済み の分散表現よりトピック的な関係性を事前情報とし て持つため, 全てのデータセットに対する学習にお いて収束速度が CSTM を上回った。

## 4.3 文書における上位単語・下位単語

提案モデルと CSTM は単語ベクトルと同じ空間上 に文書ベクトルを考え，それらの内積を用いて単語 の確率を操作する．そのため，単語ベクトルと文書 ベクトルの内積から，文書で現れやすい単語とそう でない単語といった, 文書における単語の重要度を 定量的に測ることができる.

例として，提案モデルと CSTM に対して，CSJ コーパスを用いて，「あなたの住んでいる町や地域 について」というトピックの文書における内積スコ アの上位単語・下位単語を計算し，表 3,4 に示し た. 計算には, 文書ベクトルと, 学習に使用した語彙に含まれる全ての単語の単語ベクトルを用いた。 CSTM から計算される上位単語には，「ゲーム」や 「テープ」，「生地」といった文書のトピックとは関係のない語が含まれているが，提案モデルから計算
表 3 提案モデルを用いて，CSJコーパス中の「あなたの 住んでいる町や地域について」の講演データにおける上位単語 (左)・下位単語 (右) それぞれ 30 単語.

された上位単語のほとんどが，文書のトピックと関連を持った語であり，「駅」や「町」といったトピッ クに関連する単語に対して大きな値を示しているこ とが確認できる。また，提案モデルから計算された 下位単語についても, 「研究者」や「実験」, また,「音声」や「モーラ」など，文書のトピックに関連の ない語に対して小さな値を示していることが確認で きる。これは，CSTM と異なり，提案モデルが単語 のトピック的関係性を事前知識として持つため，卜 ピック的に類似した単語の集合を捉えた文書べクト ルの推定が容易になったためと考える。

このように，提案モデルは，文書のトピックと関連する単語に対して適切に大きな確率を与え, 関連 の低い単語に対しては小さな確率を与えることか ら，文書における単語の確率を柔軟に操作できてい ることがわかる.表 4 CSTMを用いて，CSJコーパス中の「あなたの住ん でいる町や地域について」の講演データにおける上位単語 (左)・下位単語 (右) それぞれ 30 単語.

## 5 まとめと今後の展望

本研究では，学習済み単語分散表現を Continuous Space Topic Model に導入することで，単語の意味的 な関係性を事前知識として与え，パープレキシティ において従来手法を上回り, 収束時間が短縮された ことを示した。また，文書における単語の重要度を 観察し，従来手法よりも優れた結果であることを定性的に示した. 今後は, 本研究では使用しなかった Hamiltonian MCMC による最適化等を含めたモデル のより良い推定方法を検討していきたい。

## 参考文献

[1] X. Wei, and W. Croft. LDA-Based Document Models for Ad-Hoc Retrieval. In Proceedings of the 29th Annual International ACM SIGIR Conference
on Research and Development in Information Retrieval, 178-85, 2006.

[2] M. Marlin. Modeling User Rating Profiles for Collaborative Filtering. In Advances in Neural Information Processing Systems, 16:627-34, 2003.

[3] T. Griffiths, M. Steyvers, and P. Smyth. The AuthorTopic Model for Authors and Documents. In Proceedings of the 20th Conference on Uncertainty in Artificial Intelligence, 487-94, 2004.

[4] C. Lin, Y. He, R. Everson, and S. Ruger. Weakly Supervised Joint Sentiment-Topic Detection from Text. In IEEE Transactions on Knowledge and Data Engineering, 24 (6): 1134-45. 2012.

[5] D. Blei, A. Ng, and M. Jordan. Latent Dirichlet Allocation. In Journal of Machine Learning Research, 3:993-1022, 2003.

[6] 持橋大地, 吉井和佳, 後藤真孝. ガウス過程に基 づく連続空間トピックモデル. 情報処理学会研究報告 2013-NL-213(11), 1-8, 2013.

[7] R. Das, M. Zaheer, and C. Dyer. Gaussian LDA for Topic Models with Word Embeddings. In Proceedings of the 53nd Annual Meeting of the Association for Computational Linguistics, 1:795-804, 2015.

[8] T. Mikolov, K. Chen, G. Corrado, and J. Dean. Efficient Estimation of Word Representations in Vector Space. In Proceedings of the International Conference on Learning Representations, 2013.

[9] G. Doyle and C. Elkan Accounting for Burstiness in Topic Models. In Proceedings of the 26th Annual International Conference on Machine Learning, 281288, 2009.

[10] C. Rasmussen and C. Williams. Gaussian Processes for Machine Learning, Cambridge, MA, USA:MIT Press, 2006.

[11] S. Harris. Distributional Structure. Word \& World 10 (2-3): 146-62, 1954.

[12] B. Mohit, K. Gimpel, and K. Livescu. Tailoring Continuous Word Representations for Dependency Parsing. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, 2:809-15, 2014.

[13] J. Paisley, C. Wang, and D. Blei. The Discrete Infinite Logistic Normal Distribution. In Bayesian Analysis, 7(2):235-272, 2012.

[14] M. Neal. MCMC using Hamiltonian Dynamics.
Handbook of Markov Chain Monte Carlo, 2(11), 2, 2011 .

[15] H. Wallach, I. Murray, R. Salakhutdinov, and D. Mimno. Evaluation Methods for Topic Models. In Proceedings of the 26th Annual International Conference on Machine Learning, 1105-1112, 2009.


# 会話によるニュース記事伝達のための談話構造解析

1 早稲田大学
takatsuepcl.cs.waseda.ac.jp
matsuyama@pcl.cs.waseda.ac.jp
2 内外切抜通信社
ando@naigaipc.co.jp
koba@waseda.jp

## 1 はじめに

文間の依存構造を解析する手法および，結束性の 高い文のまとまり（チャンク）を検出する手法と談話関係を分類する手法を提案する。

一貫性のある要約 $[1,2,3]$ や対話 $[4,5]$ を実現す るために，談話構造が制約として用いられる。我々 は，ニュース記事の内容を効率的に伝える音声対話 システム [6] においても，話を破綻させないために 談話構造に従った情報伝達が重要であると考え，文 を談話単位として，日本語のニュース記事に対して 談話依存構造を付与したデータセットを構築した [7]. このデータセットは， ウェブニュースのクリッ ピングの専門家が 1200 個のニュース記事に対して 「係り先」「談話関係」「チャンク」のアノテーショ ンを行ったものである。係り先は，ルートノードか ら親ノード文までの情報が対象の文を理解するうえ で必要最小限の情報になるように付与したものであ る．談話関係は，子ノード文が親ノード文に対して どのような意味的関係にあるかを分類したものであ る. チャンクは，親ノード文の内容を正しく理解す るために欠かせない情報が子ノード文に書かれてい る場合，これらをまとめて提示すべきであることを 表したものである.

本研究では，「係り先」「談話関係」「チャンク」を 推定するモデルを提案し，作成したデータセットを 用いて評価した結果を報告する. 文間の係り受け解析については，BERT [8] による文の埋め込み表現を 双方向の GRU [9] に与え, head selection モデル [10] により係り先を推定するモデルを提案する．談話関係分類とチャンク検出については，談話依存構造木 をルートノードから葉ノードまでの文系列に分解 し，各タスクの系列ラベリング問題をマルチタスク で学習するモデルを提案する。

本稿の構成は次の通りである．2 章で関連研究に
ついて述べる. 3 章で文の係り先を推定するモデル について説明する． 4 章でチャンクと談話関係を推定するモデルについて説明する． 5 章でデータセッ ト [7] を用いてモデルの性能を評価した結果を報告 する. 6 章でまとめと今後の展望について述べる.

## 2 関連研究

談話構造解析は，文章を構成する文や節の間に成 り立つ関係を解析する自然言語処理の基本的なタス クである。談話構造解析の結果は，文書要約 [3] や 質問応答 [11]，機械翻訳 [12]，評判分析 [13] などの 下流タスクのアプリケーションで用いられる [14].

談話構造解析のための代表的なデータセットと して，RST Discourse Treebank [15] があり，文章から 修辞構造木を自動で構築する手法が提案されてき た $[16,17,18]$. 一方で，文書要約 $[1,2,19,20]$ のよ うなタスクへの応用を考えた場合，修辞構造木のよ うな句構造よりも談話単位間の親子関係を直接表 せる依存構造の方が望ましいと考えられ，修辞構造木を談話依存構造木へ変換する手法が提案された [19,21]. また，変換アルゴリズムによって生成さ れる談話依存構造木の性質が異なることから [22], Yang らは，科学論文のアブストラクトに対して人手で EDU 間の依存構造と談話関係をアノテーショ ンする方法を提案し，データセットとして SciDTB を構築した [23].また，Yang らは，EDU 間の依存構造を解析する手法として， transition-based の手法 [24] と graph-based の手法 [21] を比較し，SciDTB を 用いた場合，transition-based の手法の方が高い性能 を示すことを確認した。単語間の係り受け解析にお いては， head selection モデルの有効性が確認されて おり [10]，本研究では，これを文間の係り受け解析 モデルへ拡張する。

近年，自然言語処理の分野では，ラベルなしの膨大なテキストデータを使用して事前学習した言語モ

図 1 係り先推定モデル

デルを下流タスクでファインチューニングするアプ ローチが注目されている [25]. 談話関係分類タスク でも，BERT [8] が暗黙的な談話関係の分類に有効 であることが確認されており [26, 27], 本研究でも BERT 由来の文や単語の特徴量を利用する。

## 3 文間係り受け解析

提案モデルの概略図を図 1 に示す. 記事の夕 イトルをROOTとして加えた文系列 $S=\left(s_{0}=\right.$ ROOT, $\left.s_{1}, \ldots, s_{N}\right)$ を入力とする. 文の単語系列を BERT [8] に与え [CLS] トークンに対応する最上位層 の埋め込み表現を得る. これと文の補助情報（文書内文位置，文書内段落位置，段落内文位置）の埋め 込み表現を結合したべクトルを双方向の GRU [9] に 与える. $i$ 番目の文に対応する GRU の順方向と逆方向の隠れ層の出力を結合したべクトルを $\boldsymbol{h}_{i}$ とする. head selection モデル [10] に基づき $s_{j}$ が $s_{i}$ の係り先 である確率 $P_{\text {head }}\left(s_{j} \mid s_{i}, S\right)$ を以下の式で計算する.

$
\begin{aligned}
P_{\text {head }}\left(s_{j} \mid s_{i}, S\right) & =\frac{\exp \left(g\left(\boldsymbol{h}_{j}, \boldsymbol{h}_{i}\right)\right)}{\sum_{k=0}^{N} \exp \left(g\left(\boldsymbol{h}_{k}, \boldsymbol{h}_{i}\right)\right)} \\
g\left(\boldsymbol{h}_{j}, \boldsymbol{h}_{i}\right) & =\boldsymbol{v}_{h}^{\top} \tanh \left(\boldsymbol{U}_{h} \boldsymbol{h}_{j}+\boldsymbol{W}_{h} \boldsymbol{h}_{i}\right)
\end{aligned}
$

$v_{h}, U_{h}, W_{h}$ は重みパラメータである.

## 4 談話関係分類とチャンク検出

談話依存構造木をルートノードから葉ノード（以下, root-to-leaf) までの文系列に分解し，この文系列 に対する系列ラベリングにより，談話関係とチャン クラベルを推定する. 提案モデルの概略図を図 2 に 示す、マルチタスク学習の全体損失関数 $L_{\text {all }}$ を談話関係分類タスクの損失関数 $L_{r}$ とチャンク検出タス クの損失関数 $L_{c}$ の重み付き和で定義する.

$
L_{\text {all }}=\lambda_{r} \times L_{r}+\lambda_{c} \times L_{c}
$

$\lambda_{r}$ と $\lambda_{c}$ は各タスクの重み係数である.

図 2 談話関係・チャンク推定モデル

図 3 Sentence Encoder

談話関係は，子ノード文が親ノード文に対して どのような意味的関係にあるかを分類したもので ある. ラベルとして「開始」「結果」「原因」「背景」「呼応」「対比」「転換」「例示」「結論」「補足」があ り，これらを softmax で識別する。

チャンクは，親ノード文の内容を正しく理解する ために欠かせない情報が子ノード文に書かれてい る場合，これらをまとめて提示すべきであることを 表した文の集合である. チャンクのラベルとして， チャンクの開始を表す “B”，チャンクの内側を表す “I”，チャンクの終了を表す “E”，チャンクの外側を 表す“O”を定め，これらを softmax で識別する。

談話関係を識別する手掛かりとして接続詞な どの単語の情報が有効だと考えられる. そこで， Sentence Encoder では, BERT [8] の単語埋め込み表現と単語の補助情報の埋め込み表現を結合したもの に対して self-attention [28] を計算する。 さらに，得 られたべクトルと文の補助情報（文書内文位置，文書内段落位置，段落内文位置，談話依存構造木にお ける深さ）の埋め込み表現を結合する．また，ネガ ティブな事象の原因はネガティブであることが多 く，ポジティブな事象の原因はポジティブであるこ とが多い [29] というように感情極性情報も談話関係 の判断に有効だと考え，単語の補助情報として品詞 や活用形などの他，単語の感情極性情報を与える。
表 1 文間係り受け解析性能 : 位置情報の効果

図 4 文間係り受け解析性能: ジャンルごとの性能

## 5 実験

ニュース記事に対して談話依存構造を付与した データセット [7]を使用した. このデータセットは, 15 文から 25 文のニュース記事 1200 個（6 ジャン ル 200 記事ずつ）に対して，「係り先」「談話関係」「チャンク」を付与したデータセットである.

BERT の事前学習モデルとして，情報通信研究機構が公開しているモデルを用いた1). 使用した BERT モデルは，日本語 Wikipedia の全記事に対し て，Juman 辞書を用いた $\mathrm{MeCab}^{2)}$ [30] により形態素解析を行ったテキストを入力として，語彙数が 10 万語からなる $\mathrm{BERT}_{\mathrm{BASE}}[8]$ を学習したモデルである.

単語の感情極性の辞書として，『日本語評価極性辞書』 $[31,32]^{3}$ ，『単語感情極性対応表』 $[33]^{4)}$ ，『意見（評価表現）抽出ツール用モデル』）の評価表現辞書および極性反転語の辞書を用いた。

評価は 10 分割交差検定で行い，ジャンルごとに 記事数の 9/10 を訓練データ（1080 記事），1/10をテ ストデータ（120 記事）として分割した.

## 5.1 文間係り受け解析性能の評価

文の補助情報として文の位置情報を加えたときと 加えなかったときの Accuracyを表 1 に示す. 文の位置情報を加えたモデルは，位置情報を加えなかった モデルに比べて, Accuracy が 5\%以上高く，文の係 り先の推定において，文の位置情報が有効であるこ

図 5 文間係り受け解析性能: 記事の文数ごとの性能

とが分かった.

記事ごとに計算した Accuracy の分布をジャンル ごとに箱ひげ図で表したものを図 4 に示す. ジャン ルごとに比較するとスポーツ記事が最も高い性能を 示した。スポーツ記事は試合の流れなどが線形につ ながった分岐の少ない木構造が多いため，係り先が 推定しやすかったと考えられる。

記事の文数ごとの記事数および，各文数の記事ご とに計算した Accuracy の平均値を図 5 に示す. デー 夕数の多い 15 文や 16 文の性能が他に比べて高い傾向を示したが，データ数の少ない 20 文以上の文数 の記事においても Accuracy の減少は 5\%程度にとど まっていた。

## 5.2 談話関係分類性能の評価

データセットにおける談話関係の数に偏りがあ るため，1200 記事のデータを全て使用すると低頻度の談話関係の識別性能が低くなる．そこで，デー 夕数の偏りの影響を抑えるため，談話関係のそれぞ れについて，対象の談話関係を 1 つ以上含む記事の root-to-leaf 文系列をデータセットとした．各談話関係を含む記事の数を以下に示す。「結果」:250，「原因」:437,「背景」:800,「呼応」:578,「対比」:459,「転換」:205，「例示」:396，「結論」:685. この他，「開始」と「補足」があるが，「開始」は係り先がルート ノードである文に自動的に付与され，「補足」は上記談話関係に分類されなかったものに対して付与さ れるため，これらは評価対象から外した。

各談話関係の分類性能（F 值）を表 2 に示す. チャンク検出とのマルチタスク学習の結果は, $\left(\lambda_{r}, \lambda_{c}\right)=(0.9,0.1),(0.8,0.2), \ldots,(0.1,0.9)$ のうち，最大のものを示している. シングルタスクモデルに比 ベてマルチタスクモデルの方が高い性能を示した.
表 2 談話関係分類性能（F 値）

図 6 談話関係分類性能: ジャンルごとの性能

談話関係ごとに比較すると，「対比」が最も高い性能を示した.「対比」が付与されている文は，“一方” や“ただ”のような接続詞で始まることが多く，これ らが手掛かりになったと考えられる。一方，「例示」 を表す接続表現として“例えば”や“具体的には” な どが挙げられるが，実際に「例示」がアノテーショ ンされた文は，このような接続表現を伴うものが少 なく，「補足」との区別がつきにくかったため，「例示」の分類性能は低かったと考えられる。

ジャンルごとの各談話関係の分類性能を図 6 に示 す. データセットにおいて，国際記事は他のジャン ルに比べて「原因」が多く，スポーツ記事は「転換」 が少ないというように，ジャンルごとの談話関係の 出現頻度も性能に影響していると考えられる。

## 5.3 チャンク検出性能の評価

チャンクを少なくとも 1 つ含む 595 記事を使用し た. データセット [7]には，チャンクとして，強い チャンクと弱いチャンクの 2 種類がアノテーション されているが，これらを区別せずに推定した.

チャンク検出性能とチャンク文検出性能の 2 つの 観点で評価した. チャンク検出性能は，チャンクの 範囲が全て合っているものを正解としたときの $\mathrm{F}$ 值 である。チャンク文検出性能は，B,E ラベルを I ラ ベルに集約し，チャンクに含まれる文か否かの 2 值表 3 チャンク検出性能（ $\mathrm{F}$ 值）

図 7 チャンク検出性能: ジャンルごとの性能

ラベルに修正したときの，I ラベルに関する $\mathrm{F}$ 值で ある。なお，チャンクは 2 文以上からなるため，I ラベルが単体で出現していた場合は，ルールでO ベルに修正した.

チャンクをシングルタスクで学習したときの結果 と，チャンクと談話関係をマルチタスクで学習した ときの結果（ $\lambda_{r}=0.2, \lambda_{c}=0.8 ）$ を表 3 に示す. チャ ンクと談話関係をマルチタスクで学習したモデルの 方が高い性能を示した. 談話関係を一緒に学習する ことで，「対比」関係の文が弱いチャンクになりや すいなどの傾向を学習できたためだと考えられる。

ジャンルごとの性能を図 7 に示す. 国際記事は,弱いチャンクに出現しやすい“一方”や“ただ”など の接続詞が多く出現することから，チャンク検出性能が他に比べて高かったと考えられる．スポーツ記事は，試合の流れなどの長いチャンクが多く，チャ ンクを部分的には当てられているが，チャンクの 開始から終わりまでを当てるのが難しかったため, チャンク文検出性能に比べてチャンク検出性能が低 かったと考えられる。

## 6 おわりに

文の「係り先」「談話関係」「チャンク」を推定す るモデルを提案し，日本語のニュース記事に対して これらをアノテーションしたデータセット [7] を用 いて性能を評価した。

今後は，談話構造を制約とした要約 [34] や対話の アルゴリズムについて検討する。

謝辞本研究は，JST START（JPMJST1912）の支援 を受けたものである.

## 参考文献

[1]Yuta Kikuchi, Tsutomu Hirao, Hiroya Takamura, Manabu Okumura, and Masaaki Nagata. Single document summarization based on nested tree structure. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 315-320, 2014.

[2]Tsutomu Hirao, Masaaki Nishino, Yasuhisa Yoshida, Jun Suzuki, Norihito Yasuda, and Masaaki Nagata. Summarizing a document by trimming the discourse tree. IEEE/ACM Transactions on Audio, Speech and Language Processing, Vol. 23, No. 11, pp. 2081-2092, 2015.

[3]Jiacheng Xu, Zhe Gan, Yu Cheng, and Jingjing Liu. Discourseaware neural extractive text summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5021-5031, 2020.

[4]Song Feng, Kshitij Fadnis, Q. Vera Liao, and Luis A. Lastras. DOC2DIAL: a framework for dialogue composition grounded in business documents. In Proceedings of the 33rd Conference on Neural Information Processing Systems, p. 1.

[5]Mihai Rotaru and Diane J. Litman. Exploiting discourse structure for spoken dialogue performance analysis. In Proceedings of the 2006 Conference on Empirical Methods in Natural Language Processing, pp. 85-93, 2006.

[6]高津弘明, 福岡維新, 藤江真也, 林良彦, 小林哲則. 意図性 の異なる多様な情報行動を可能とする音声対話システム.人工知能学会論文誌, Vol. 33, No. 1, pp. 1-24, 2018.

[7]高津弘明, 安藤涼太, 本田裕, 松山洋一, 小林哲則. ニュー ス記事に対する談話構造と興味度のアノテーション〜 ニュース対話システムのパーソナライズに向けて〜. 言語処理学会 第 27 回年次大会 発表論文集, 2021.

[8]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[9]Kyunghyun Cho, Bart van Merriënboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using RNN encoder-decoder for statistical machine translation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1724-1734, 2014.

[10]Xingxing Zhang, Jianpeng Cheng, and Mirella Lapata. Dependency parsing as head selection. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, pp. 665-676, 2017.

[11]Peter Jansen, Mihai Surdeanu, and Peter Clark. Discourse complements lexical semantics for non-factoid answer reranking. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 977-986, 2014.

[12]Junxuan Chen, Xiang Li, Jiarui Zhang, Chulun Zhou, Jianwei Cui, Bin Wang, and Jinsong Su. Modeling discourse structure for document-level neural machine translation. In Proceedings of the 1st Workshop on Automatic Simultaneous Translation, pp. 30-36, 2020.

[13]Baptiste Chardon, Farah Benamara, Yannick Mathieu, Vladimir Popescu, and Nicholas Asher. Measuring the effect of discourse structure on sentiment analysis. In Proceedings of the 14th international conference on Computational Linguistics and Intelligent Text Processing, pp. 25-37, 2013.

[14]Shafiq Joty, Giuseppe Carenini, Raymond T. Ng, and Gabriel Murray. Discourse analysis and its applications. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: Tutorial Abstracts, pp. 12-17, 2019.

[15]Lynn Carlson, Daniel Marcu, and Mary Ellen Okurovsky. Building a discourse-tagged corpus in the framework of rhetorical structure theory. In Proceedings of the 2nd SIGdial Workshop on Discourse and Dialogue, pp. 1-10, 2001.

[16]Longyin Zhang, Yuqing Xing, Fang Kong, Peifeng Li, and Guodong Zhou. A top-down neural architecture towards textlevel parsing of discourse rhetorical structure. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6386-6395, 2020.

[17]Nan Yu, Meishan Zhang, and Guohong Fu. Transition-based neural RST parsing with implicit syntax features. In Proceed- ings of the 27th International Conference on Computational Linguistics, pp. 559-570, 2018.

[18]Qi Li, Tianshi Li, and Baobao Chang. Discourse parsing with attention-based hierarchical neural networks. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 362-371, 2016.

[19]Tsutomu Hirao, Yasuhisa Yoshida, Masaaki Nishino, Norihito Yasuda, and Masaaki Nagata. Single-document summarization as a tree knapsack problem. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1515-1520, 2013

[20]Yasuhisa Yoshida, Jun Suzuki, Tsutomu Hirao, and Masaaki Nagata. Dependency-based discourse parser for single-document summarization. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 18341839, 2014.

[21]Sujian Li, Liang Wang, Ziqiang Cao, and Wenjie Li. Text-level discourse dependency parsing. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 25-35, 2014.

[22]Katsuhiko Hayashi, Tsutomu Hirao, and Masaaki Nagata. Empirical comparison of dependency conversions for RST discourse trees. In Proceedings of the 17th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 128-136, 2016.

[23]An Yang and Sujian Li. SciDTB: Discourse dependency treebank for scientific abstracts. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 444-449, 2018.

[24]Yizhong Wang, Sujian Li, and Houfeng Wang. A two-stage parsing method for text-level discourse analysis. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 184-188, 2017.

[25]XiPeng Qiu, TianXiang Sun, YiGe Xu, YunFan Shao, Ning Dai, and XuanJing Huang. Pre-trained models for natural language processing: A survey. Science China Technological Sciences, Vol. 63, No. 10, pp. 1872-1897, 2020.

[26]Yudai Kishimoto, Yugo Murawaki, and Sadao Kurohashi. Adapting BERT to implicit discourse relation classification with a focus on discourse connectives. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 1152-1158, 2020.

[27]Wei Shi and Vera Demberg. Next sentence prediction helps implicit discourse relation classification within and across domains. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 5790-5796, 2019.

[28]Zhouhan Lin, Minwei Feng, Cícero Nogueira dos Santos, Mo Yu, Bing Xiang, Bowen Zhou, and Yoshua Bengio. A structured self-attentive sentence embedding. In Proceedings of the 5th International Conference on Learning Representations, pp. 1$15,2017$.

[29]Jong-Hoon Oh, Kentaro Torisawa, Chikara Hashimoto, Takuya Kawada, Stijn De Saeger, Jun’ ichiKazama, Yiou Wang. Why question answering using sentiment analysis and word classes. In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, pp. 368-378, 2012.

[30]Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, 2004.

[31]Nozomi Kobayashi, Kentaro Inui, Yuji Matsumoto, Kenji Tateishi, and Toshikazu Fukushima. Collecting evaluative expressions for opinion extraction. In Proceedings of the 1st International Joint Conference on Natural Language Processing, pp. 596-605, 2004.

[32]東山昌彦, 乾健太郎, 松本裕治. 述語の選択選好性に着目 した名詞評価極性の獲得. 言語処理学会 第 14 回年次大会発表論文集, pp. 584-587, 2008.

[33]Hiroya Takamura, Takashi Inui, and Manabu Okumura. Extracting semantic orientations of words using spin model. In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics, pp. 133-140, 2005.

[34]高津弘明, 安藤涼太, 本田裕, 松山洋一, 小林哲則. 談話構造制約付きパーソナライズド抽出型要約. 言語処理学会第 27 回年次大会 発表論文集, 2021.


# 疑似正解データを利用した修辞構造解析器の改善

小林尚輝 $\dagger$ 平尾努 $\S$ 上垣外英剛 $\dagger$ 奥村学 $\dagger$ 永田昌明 $\S$
†東京工業大学 §NTTコミュニケーション科学基礎研究所
\{kobayasi@lr., kamigaito@lr., oku@\}pi.titech.ac.jp
\{tsutomu.hirao.kp, masaaki.nagata.et\}@hco.ntt.co.jp

## 1 はじめに

文書はつながりのある言語単位（節や文，段落な ど）から構成されており，言語単位間の関係を明ら かにすることを談話構造解析という。談話構造が計算機により自動的に解析できるようになれば，要約 や翻訳など，文書を対象とした下流タスクの性能向上が期待できる. 修辞構造理論 [1] は談話構造を表現する手法の一つであり, Elementary Discourse Unit (EDU) と呼ばれる節相当の談話単位を終端ノードと した句構造木として文書を表す. 非終端ノードは連続する EDUから構成されるテキストスパン（以降， スパン）と対応し，子ノード間の核性（従属関係） ラベル，関係 (修辞関係) ラベル1)が割り当てられ る. 多くの修辞構造解析器は, 1) 木構造の推定 2)隣接するスパンの核性ラベルの推定 3) 隣接するス パンの関係ラベルの推定の 3 つの副問題を教師あり 学習を用いたモデルで解くことで実現される.

近年，ニューラルネットワークを用いることで修辞構造解析の性能が大きく改善されることが報告さ れている $[2,3,4,5]$. スパンを再帰的に分割するこ とでトップダウンに木を構築する Span Based Parser (SBP) [3] は，木の構造および核性ラベルの推定にお いて高い性能を達成しているが，関係ラベルの推定 にはまだ改善の余地がある.これは， 18 種類の関係 ラベルの分類を学習するにはデータサイズが不十分 であることが原因である．現存する最大規模のコー パスである RST-DT [6] でさえ 385 文書しかなく，十分な規模とは言い難い. しかし, 修辞構造を文書に 付与するためには専門知識と時間を要するため，人手でデータを増やすことは容易ではない.

こうした問題を解決するため，ニューラル機械翻訳で提案された逆翻訳による疑似正解データの活用 [7] にヒントを得て，既存の修辞構造解析器を用い
-\mathrm{S}$, $\mathrm{S}-\mathrm{N}, \mathrm{N}-\mathrm{N}\}$ の 3 通り，関係ラベルは 18 通り存在する.
}

図 1 重複する部分木（網掛け部分）の抽出

て自動的に作成された大規模な疑似正解データを 用いて SBP を事前学習 (pre-training) し，RST-DT を 用いて追学習 (fine-tuning) することで関係ラベルの 推定性能を改善する枠組みを本稿では提案する。ま た，疑似正解データを大量かつ高品質に獲得するた めに, 図 1 に示されるように複数の解析器が出力す る木の間で重複する部分木を疑似正解データとして 効率よく抽出するアルゴリズムを提案する。

RST-DT を用いた実験では，提案手法はSBP の関係ラベルの推定精度を大きく向上させ，核性と関係 ラベルの両方を考慮した評価指標である Full におい て世界最高性能を達成した。

## 2 関連研究

一般に修辞構造解析器は教師あり学習の枠組みで 訓練され, 解析方法としては遷移型とトップダウン 型がある。遷移型では，人手で設計された特徴量を 用いる手法 [8] と係り受け解析器から得られた特徴 ベクトルを用いる手法 [2] がある。また，BERT の

図 2 提案手法における学習の流れ

派生である SpanBERT により埋め込まれた特徴べク トルを用いる手法 [5] は，現時点で最も良い性能を 達成している.トップダウン型では，ポインター ネットを利用してスパンを分割し木を構築する手法 $[4,9]$ とスパンを再帰的に 2 つに分割することで 木を構築する手法 [3] がある.

修辞構造解析は RST-DT を正解データとして学習 されるが，RST-DT に含まれる文書は 385 文書のみ である. したがって，データ不足を解決するための 手法が盛んに研究されており, 修辞構造が付与され た複数言語のデータセットを使う手法 $[10,11]$, 感情分類を学習したモデルを用いて修辞構造木を構築 する手法 [12,13], 修辞構造に近い特性をもつ複数 のタスクを同時学習する手法 [14] がある。しかし， これらの手法は追加のコーパスを必要とする. 追加 のコーパスを必要としない手法として，既存の 2 つ の修辞構造解析器から得られた木の間で合意率が一定のしきい値を超えた木を擬似データとして利用す る手法 [15] がある. しかし, この手法の効果は低頻度ラベルに限定的である。

## 3 提案手法

ラベルなしデータセットに既存の分類器を用いて ラベルを付与し, 疑似正解データセットとして分類機を再学習する手法に Self-training や Co-training が ある．ラベルを付与する際に，複数の分類器の出力間で一致を取ることで疑似正解データセットの質を 保証するが，修辞構造解析が文書を対象とするタス クであるため，木の全体における一致が得られる文書は多くない．また，疑似正解データセットには，正解データセットに含まれるラベルの出現頻度にお ける偏りがより強く反映される.

これらの問題点を解決するために提案法は，1) 複数の解析器の出力する木の間で重複する部分木を擬似正解データとすることで信頼性の高いデータを大規模に構築し，2) 疑似正解データで事前学習した解析器を正解データで追学習することで疑似正解デー タのラベルの偏りが引き起こす影響を緩和する。

提案法の概要を図 2 に示す. まず，正解データを もとに学習された複数の解析器を用いて修辞構造木 つき文書データセットを得る。次に，得られた修辞構造木から，重複する部分木を抽出することで疑似正解データセットを得る. 最後に，疑似正解データ セットによる事前学習および正解データセットによ る追学習により解析器を訓練する。

## 3.1 疑似正解データの獲得方法

複数の解析器が出力した修辞構造木の間で一致す るすべての部分木を抽出する線形時間アルゴリズム を Algorithm 1 に示す. ${ }^{2}$ 修辞構造木は入れ子状のラ ベル付きスパンとして表現され，2分木であるため 非終端ノードは左右の子スパンを持つ. 終端ノード はスパンの長さが 1であることで判定される.

関数 Agree は与えられたスパンに含まれる部分木が重複した部分木であるかどうかを判定し, state にスパンをキーとしてその判定結果 $c_{\text {agree }}$ を保持す る. 任意のスパンが表す部分木が目的の重複した部分木であるかどうかを確認するためには，そのスパ ンの左右の子スパンが共に重複した部分木であり, かつ，そのスパン自身が全ての修辞構造木に含まれ ることを確認すれば良い. 左右の子スパンに対して は，再帰的に関数 Agree を適用することで，自身が 全ての修辞構造木に含まれることは，スパンの出現頻度の辞書 freq の値と修辞構造木の数 $k$ の一致によ り判定する。

次に，重複した部分木を関数 Extract によって抽出 し, subtrees に追加する. 深さ優先で木の探索を行 い，各スパンに対して関数 Agreeにより求めた $c_{\text {agree }}$ が真であればそのスパンを subtrees に追加し引き返 す.これにより，包含関係にある部分木は最大の木 のみが抽出される．また，抽出される木の大きさが

$l_{\min }$ より小さい場合，文書よりも極端に小さな木と なるため，学習の役に立たない可能性を考え抽出し ない. 一方で， $l_{\max }$ より大きい場合は解析器の学習時間が長くなるため, 左右の子スパンに対して再帰的に探索を行うことでより小さい木を抽出する.

## 3.2 解析器の選定

本研究では SBP の性能改善を目的とするため，疑似正解データの構築に利用する解析器には SBP と は異なる特性をもつ Two-Stage Parser (TSP) [8] を使用した. TSP は統計的モデルにおいて最も高性能で あり, 特に, 関係ラベルの正解傾向が SBP とは異な るため，TSPを利用して構築した疑似正解データを 事前学習に用いることで，SBP の関係ラベルの推定性能の改善が期待できる.

## 4 実験

## 4.1 データセット

正解データセットとして RST-DT [6] を使用した. RST-DT は学習データ 347 文書とテストデータ 38 文書に分割されており, 従来研究 [16] に従い学習デー タから開発データ 40 文書を分割した. EDU に関し ては正解の分割を利用した。

疑似正解データセットの作成に用いる文書デー タとしては CNNコーパス [17]を使用した． EDU の 分割には Neural EDU Segmenter ${ }^{3)}$ を使用し, Stanford CoreNLP toolkit ${ }^{4}$ を用いて前処理を行った. 作成さ れた疑似正解データセットに含まれる木の数およ びスパンの数を表 1 に示す. 提案法である部分木 を使用する Agreement Sub Tree (AST) の他に，単一 の解析器により木を付与した Document Tree (DT),複数の解析器の出力が完全に一致した木からなる Agreement Document Tree (ADT) を比較する.

## 4.2 パラメータ

抽出する木の大きさ: 最大 $l_{\text {max }}$ は RST-DT に含まれ る最大の木をもとに 240 とし，最小 $l_{\min }$ は 5 から 10 の間で実験を行い，開発データにおいて最も良い性能であった 9 を選択した。

Span Based Parser (SBP $)^{5}$ : 基本的なパラメータは 従来の値をそのまま利用し，隠れ状態の次元数のみ 500 次元へと変更した. また, 事前学習は 5 epochs,追学習は 10 epochs の学習を行った.SBP は文書か ら段落，段落から文，文から EDU の 3 段階に分けて 解析器を学習するD2P2S2Eにより最も良い性能を 達成しているが，本実験では D2E に対応する EDU を葉とした文書の木を構築する解析器のみを学習す る.しかし，解析する際に文と段落の境界を優先的 に分割する事により D2P2S2E に近い設定となるよ う工夫した。解析時は 5 つの解析器のアンサンブル を行うが，大規模データセットを用いた事前学習に

表 2 Micro-averaged $\mathrm{F}_{1}$ による性能比較

は時間がかかる．そこで，事前学習された 1 つ解析器を初期值として，異なる5つのモデルを追学習 により学習した。

Two-Stage Parser (TSP) ${ }^{6}$ : SVM の最適化に dual coordinate descentを用いているため, 初期値を変化 させることで複数の解析器を得て, 疑似正解データ セットの作成に用いた. 解析器の数 $k$ は 4 とした.

## 4.3 評価指標

従来研究 [18] に従い, 正解スパンと解析器の出力 スパン間の micro-averaged $F_{1}$ によりスパン (Span),核性 (Nuc), 関係ラベル (Rel), 核性・関係ラベル (Full)を評価する。

## 4.4 実験結果

表 2 に評洒結果を示す。疑似正解データを用いな いSBP と比較して，部分木を利用する AST のゲイ ンが最も大きく, Rel, Full がそれぞれ $3.2,3.0$ ポイン トであった. 一方, ADT は得られるデータサイズが 小さいためほとんど差がなかった. DT も AST と同様にゲインは得られたが，AST ほど大きくはない。 さらに，学習時間は表 1 におけるスパンの数に比例 するため, AST の 4 倍の学習時間が必要となる. こ れらの結果より, 複数の解析器の出力を部分木での 重複を見て疑似正解データとすることは性能改善 に有効であり, 学習時間の短縮にも役立つ. 一方, TSP w/ SpanBERT と比較すると, Nuc, Rel ではやや 劣るものの Full では勝り, 世界最高性能を達成し た.これは，提案手法における核性ラベルと関係ラ ベルの正解の一貫性が高いことを示している.

AST を対象としデータサイズを変化させた際の性能の変化を図 3 に示す. Span, Nuc には変化がほと んどなく，Rel, Full のみデータサイズに比例して性

6) https://github.com/yizhongw/StageDP

図 3 データサイズによる性能の変化

図 4 関係ラベルごとの性能比較

能が向上していることから，データを増やすことで 関係ラベルの推定性能はさらに改善することが期待 できる。 さらに，疑似正解データを構築するための 解析器として TSP w/SpanBERTを用いれば性能改善 はより顕著になるものと期待できる。

10 種類の関係ラベルを例としたラベルごとの性能を図 4 に示す. 提案した疑似正解データによる学習は，TSP の推定性能が高くSBP の推定性能が低い ラベル（例えば EXPL, COND, MANN など）におい て大きく性能を向上させることを確認した.

## 5 おわりに

本研究では, ニューラル修辞構造解析器のデータ 不足を解消するために. 複数の解析器の間で一致す る部分木を疑似正解データとし，それを用いて事前学習された解析器を正解データにより追学習する枠組みを提案した。部分木を用いた疑似正解データは 木全体を用いる場合と比較して高い性能を達成し， かつ短い時間で学習できる利点を示した. また，疑似正解データの作成に異なる分類器および解析手法 に基づく解析器を使用することで，関係ラベルの推定性能を大きく向上させた.

## 参考文献

[1]W.C. Mann and S.A Thompson. Rhetorical structure theory: A theory of text organization. Technical Report ISI/RS-87190, USC/ISI, 1987.

[2]Nan Yu, Meishan Zhang, and Guohong Fu. Transition-based neural RST parsing with implicit syntax features. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 559-570, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[3]Naoki Kobayashi, Tsutomu Hirao, Hidetaka Kamigaito, Manabu Okumura, and Masaaki Nagata. Top-down rst parsing utilizing granularity levels in documents. In Proceedings of the 2020 Conference on Artificial Intelligence for the American, pp. 8099-8106, New York, America, September 2020.

[4]Xiang Lin, Shafiq Joty, Prathyusha Jwalapuram, and M Saiful Bari. A unified linear-time framework for sentence-level discourse parsing. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4190-4200, Florence, Italy, July 2019. Association for Computational Linguistics.

[5]Grigorii Guz and Giuseppe Carenini. Coreference for discourse parsing: A neural approach. In Proceedings of the First Workshop on Computational Approaches to Discourse, pp. 160-167, Online, November 2020. Association for Computational Linguistics.

[6]Lynn Carlson, Daniel Marcu, and Mary Ellen Okurovsky. Building a discourse-tagged corpus in the framework of Rhetorical Structure Theory. In Proceedings of the Second SIGdial Workshop on Discourse and Dialogue, 2001.

[7]Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, Berlin, Germany, August 2016. Association for Computational Linguistics.

[8]Yizhong Wang, Sujian Li, and Houfeng Wang. A two-stage parsing method for text-level discourse analysis. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 184-188, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[9]Longyin Zhang, Yuqing Xing, Fang Kong, Peifeng Li, and Guodong Zhou. A top-down neural architecture towards textlevel parsing of discourse rhetorical structure. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6386-6395, Online, July 2020. Association for Computational Linguistics.

[10]Chloé Braud, Barbara Plank, and Anders Søgaard. Multiview and multi-task training of RST discourse parsers. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 1903-1913, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[11]Zhengyuan Liu, Ke Shi, and Nancy Chen. Multilingual neural RST discourse parsing. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 6730-6738, Barcelona, Spain (Online), December 2020. In- ternational Committee on Computational Linguistics.

[12]Patrick Huber and Giuseppe Carenini. Predicting discourse structure using distant supervision from sentiment. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 2306-2316, Hong Kong, China, November 2019. Association for Computational Linguistics.

[13]Patrick Huber and Giuseppe Carenini. MEGA RST discourse treebanks with structure and nuclearity from scalable distant sentiment supervision. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7442-7457, Online, November 2020. Association for Computational Linguistics.

[14]Chloé Braud, Maximin Coavoux, and Anders Søgaard. Cross-lingual RST discourse parsing. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 292-304, Valencia, Spain, April 2017. Association for Computational Linguistics.

[15]Kailang Jiang, Giuseppe Carenini, and Raymond Ng. Training data enrichment for infrequent discourse relations. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 2603-2614, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[16]Michael Heilman and Kenji Sagae. Fast rhetorical structure theory discourse parsing. CoRR, Vol. abs/1505.02425, , 2015.

[17]Karl Moritz Hermann, Tomas Kocisky, Edward Grefenstette, Lasse Espeholt, Will Kay, Mustafa Suleyman, and Phil Blunsom. Teaching machines to read and comprehend. In C. Cortes, N. Lawrence, D. Lee, M. Sugiyama, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 28, pp. 1693-1701. Curran Associates, Inc., 2015.

[18]Mathieu Morey, Philippe Muller, and Nicholas Asher. How much progress have we made on RST discourse parsing? a replication study of recent results on the RST-DT. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1319-1324, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.


# 多義語語義調査を目指した IPAL 形容詞例文への印象評定情報付与

加藤祥 ${ }^{\dagger} \quad$ 浅原正幸 ${ }^{\dagger}$
†目白大学 ††国立国語研究所
s.kato @ mejiro.ac.jp

## 1 はじめに

一般的に読み手が語の意味を判定するとき，典型的な意味との関係に基づき文脈情報や用法・文型な どの様々な要素を用いていると考えられる.しかし，読み手の判定根拠は不明瞭である. そこで，文の自然さや意味の取りやすさ, 用法の古さや新しさ, 修辞性などの印象評定を収集することで，語義の判定根拠を取得し, 語義認識や語義間関係認識を調査す ることにした. すなわち，語義判定の摇れが生じや すい用言を対象とし，読み手が意味を判定する際の 印象情報を収集し，多義語の語義との関係について 調查する. 具体的には, 計算機用日本語基本辞書 IPAL [1] に含まれる用言の全文型の例文について，一般的な読み手の語義感覚を収集するため，クラウ ドソーシングを用いた印象評定を行った。さらに，例文に含まれる対象語の分類語彙表番号を付与し,山崎・柏野 (2017) [2]の代表義を付与した. 本稿は,作成したデータの形容詞・形容動詞について, 代表義と読み手の語義判定との関係を調查し, 報告する.一般的な読み手の語義感覚が語義の判定にどのよう に関わるかを確かめ, 中心的な意味の認定や語義間 の派生関係認定への活用可能性を考える。

今後, 動詞類の付与情報整備を進め, 用法や文型 を含めた読み手の印象の観点から，用言全体につい て語彙間の関係を整理する予定である.

## 2 先行研究

## 2.1 多義語の中心的意味

多義語の語義は当該言語において定着した意味 [3]であり，一般に辞書へ記載されるものと考えられ る. しかし，いわゆる多義語の語義数は辞書におい てもまちまちであり，それらの語義の掲載順を見て も, 出現年代順 (例: 古い順『広辞苑』, 現在通用し ている順『大辞林』など）や書き手による重要度判断順（例：意味の関連『ジーニアス』第 3 版まで),頻度順（『COBUILD』,『WISDOM』など）と統一さ れていない、いずれの語義が中心的であるのか，複数語義がどのような派生関係にあるのかも明示され にくい，そもそも，多義語には何らかの中心的な意味が存在するとされる（瀬戸，2007[4]など）が，複数語義のうちいずれの語義が中心的（代表的，基本的 などとも）かという点についても議論が多い.

語義の派生関係を考える際，歷史的な変化が参照 される傾向にあるが, 多義構造は再編成されるため,必ずしも中心的な意味が歴史的に古いとは限らない

(Tyler \& Evans 2001[5]). また, 語義は基本的なも のからそうでないものへと派生し，多義語の意味に おいては非対称性（派生的意味は基本的意味を想起 させるがその逆は成り立たない）を有するとされ，典型性のある（最初に思いつく）語義が中心的と考 えられるため, Gries（2006）[6]は使用頻度との関連 を考える.中心的な語義とは, 最も確立されており，中立的なコンテクストで最も活性化されやすく, 形式的な制約が少ない（籾山 2001[7], 2002[8], 2003[9] など）ともされる．なお，松本（2009）[10]は，派生 の方向性に基づく概念的中心性と機能的中心性を認 め, どちらも併せ持つ中心的意味が典型的な中心的意味であるとする．中心的な意味は一様に定められ るものではなく，様々な要素によって成立している のだといえよう。しかし，一般的な読み手は，文脈上多義語に相対するとき，概ねそれほどの労なく語義を読み取ることが可能であり，当該語の中心的な 意味や語義の派生関係は一般に共有されているもの とも考えられる。

また，多義語の代表義や基本義，中心的意味につ いては，例語を挙げた詳細な分析が数多くなされて いる。このうち, 網羅的に認定を行ったデータとし て, 山崎・柏野[2]が，『分類語彙表』増補改訂版（国立国語研究所, 2004[11]）の多義語に人手で代表義を 付与する作業を行っている.『分類語彙表』の項目と なっている多義語のすべて（14,102 語；山崎・柏野 [2]）について，代表義と判定された語義の情報を付与したものである. 複数人の判断によって行われ，

また, 染意的にならないように留意するための作業基準も設けられており, 一部に頻度調查（加藤ら, 2018[12]）もある. 但し, 概ね専門性を有した作業者 の内省的判定であるため, 一般的な読み手の判断と は差のある可能性も考えられた。

## 2.2 語義・語義関係の調査

読み手が語義の判定を行う作業として,『現代日本語書き言葉均衡コーパス』に対する分類語彙表番号 の付与を進めてきた (BCCWJ-WLSP, 加藤・浅原・山崎, 2019[13]). BCCWJ-WLSP では, 掛詞等の特例 のほか一つの語に対し一つの語義のみを付与すると したため, 多義語の意味を付与するにあたっては,作業者が当該文脈によって意味の判定を行った. し かし, 語義情報の付与作業においては, 作業者間あ るいは一作業者でも文脈によって摇れの生じる場合 がある。特に，派生関係があると考えられるような 複数語義の選択にあたり, どちらとも読めると判断 される場合がある. 読み手によって意味の摇れが生 じやすい語については, 用例間の類似度判定を試み ている (西内, 2019[14]など) が, 意味的に類似度が 高いと判断されやすい用例では, 文脈（周辺語句） の類似のほか，用法や文型の影響も考えられた。

このほか，研究者により様々な多義語について，基本義の設定や中心的な意味の認定, 語義関係の調查が行われている(䊅山, 2003[9]など多数)ものの,一般的な読み手が多義語の語義を判定するにあたつ ては, 典型的な意味や高頻度などの影響可能性が指摘されるも, 何に基づいて当該語の意味を決定して いるのか明確ではない.

## 3 印象評定調査

## 3.1 調査方法

一般的な読み手の語義判定根拠としての印象や語義感覚を調査するため, 先行研究で指摘される多義語の複数語義間の派生関係に関わると考えられる要素を含む評定項目を設定することにした. 中心的と 考えられる語義には歴史性や思い出しやすさ, 一般的に知られていることなどが関わるとすれば,「古い」「自然」「わかりやすい印象のあることが期待され る. また, 派生義が増えるにあたっては, 定着まで は「新しい」印象が期待されるほか, 頻度が低いこ
となどにより獲得度が低く「わかりやすい」印象が 若干低い可能性もある. そして, 派生義に換喻や提喻をはじめ比喻的な転換が感じられる場合には「比喻性」の印象の残ることが期待される. よって, 各用例の印象評定の観点は,「自然さ」「わかりやすさ」

「古さ」「新しさ」「比喻性」の 5 種類とした.

調查にあたっては, Yahoo! クラウドソーシング

 により, Yahoo!日本語 IDを有する 20 歳以上の実験協力者を, IPAL の各例文に対し 20 名ずつ募集した.

実験協力者は，各例文を読み，各項目について， 0 (まったく違う）５（そう思う）の6 段階から評定値を付与した (図 1 参照).

図 1 判定画面例

## 3.2 調査対象としたデータ

BCCWJ-WLSP では実例の収集が可能であるが，多義語の語義（複数の分類語彙表番号）が必ずしも 全て収集できるのではない。実際には使用されにく い語義もあり, 用法や文型の点においては同種の文型に偏りが見られるなど体系立った用例収集は難し

い.といって, 網羅的な語義, 用法, 文型という点 において，一般的な辞書からは十分な用例が収集し にくい. そのため, 計算機用日本語基本辞書 IPAL[1] の例文を用例として使用することにした. IPAL は，意味記述のほか統語情報として詳細な用法が記述さ れ，各々の用法と文型についてそれぞれの文例が記 されている. 調査にあたっては, IPAL に含まれた用言 $^{\mathrm{i}}$ (動詞 861 語とサ変動詞 50 語, 形容詞 135 語,形容動詞 30 語）について, 掲載されていた文例全て を使用した. 動詞類の 5,385 例と形容詞類の 2,319 例 を対象とする. また, 用例における各対象語の語義 として, 分類語彙表番号を付与した. なお, IPALの 動詞類には分類語彙表番号が付与されているが，ほ とんどの番号が改訂版[11]において該当せず，手作業で全例の確認と修正を行った。また, IPAL 語義 は分類語彙表の分類と重ならない場合が多いため, IPAL が多義もしくは複数用法や文型を認める場合 に分類語彙表に当該分類がないと判断された場合,該当する分類語彙表番号を付与した. 反対に, 分類語彙表が多義と認める場合に IPAL に該当する用例 の掲載がない場合, 備考を付した. これらの分類語彙表番号の付与は, 作業者 2 名が IPAL の語義を参照しながら手作業で進めた. 但し, 印象評定の収集時には，語義を提示せず用例のみを提示するため，用例において一意に定められないと判断された場合,複数の分類語彙表番号を付与した. 以降, 本稿では 形容詞類のデータを取り上げ，付与状況とデータに 見られる傾向を報告する.

## 4 データの分析と考察

## 4.1 印象評定調査の基礎統計

表 1 に本調查で収集した形容詞類の評定の平均値 を示す. 形容詞・形容動詞の種類に関わらず，類似 した評定値が得られている.「自然さ」と「わかりや すさ」は平均 4 以上の高い評定値が得られた.なお,名詞的な形容動詞では「比喻性」が若干下がる傾向 が見られる.

表 1 印象評定調査結果（評定は平均）

## 4.2 代表義情報との対照

次に代表義情報と印象評定情報の対照を行った. また，各例文に対象語の語義（分類語彙表番号）を 付与することとし, 多義語については山崎・柏野の 代表義情報[2]を付与した（付与情報例は付録を参照). 分析は代表義情報を 5〜1 の代表義度として数值化したうえで, 印象評定值を固定効果とし、用例 をランダム効果とした次式による一般化線形混合モ デルにより回帰して行った.

代表義度 自然さ＋わかりやすさ＋古さ＋新しさ + 比喻性 + (1|用例).

表 2 代表義度の回帰分析による 各評定値の固定効果推定値 (形容詞)

表 2 に分析結果について示す.「わかりやすさ」が高 く判定される場合, 代表義度が高い傾向にある. ま た,「比喻性」が高く判定される場合, 代表義度は低 い傾向にある. 自然でわかりやすい語義が代表義で あり, 比喻性が感じられる語義は派生義である可能性が高いと考えられる。また，「古さ」と「新しさ」 については強い傾向ではないが, 古いと代表義度が 低くなり，新しいと代表義度が高くなる傾向がみら れた。一般にいわゆる歴史性や原義の意識は薄く,現在も一般的に使用されている語義が代表義に近い と考えられている可能性があろう.最後に「自然さ」 は代表義との関連性は確認できなかったが,「わかり

290 語を記述としている。なお, 動詞辞書では漢語サ変動詞を扱わず，その後動詞辞書の枠組みを使った 50 語の 試作例を提供しているだけであったが，これも名詞の一用法として捉え, サ変動詞用法のある名詞約 650 語を名詞辞書の中で記述している。」

やすさ」と相関係数が高く $(0.8$ 以上 $(\mathrm{p}<.01))$ 多重線形性の問題があったと考える.

## 4.3 事例分析「うるさい」「くさい」

個別の用例を取り上げ，データの傾向を確認して おく.ここでは, 分類語彙表でも IPAL でも多義語 とされ，かつ各語義に複数例文の見られた「らるさ い」「くさい」を例とし, 付与情報に見られる傾向を 示す (付録の「うるさい」「くさい」データを参照).

「うるさい」の具体的な用例を見てみると，代表義とされる「音」に関する「プリンターの音」「(犬 の）鳴き声」などの古さ・新しさ・比喻性が低い. また, 自然さとわかりやすさが高く評定される傾向 も見られる。但し，「隣の犬がうるさい」のように，文脈的に音であることが明示されない場合は, 比喻性が高く（2.15）評定される. しかし，「蚊がうるさ くて、眠れなかった」のように理由節に当該語が含 まれる場合には，「眠れなかった」原因が音であるこ とが連想されるためもあろうが, 比喻性は低く (0.35)評定されることになる. 文型と文脈的な情報量の影響を整理する必要がある。

「近所づきあいがうるさい」の語義「邪魔あるい は面倒で、できれば避けたいと思う。(IPAL)」(分類語彙表番号: 3.3014）は, 自然さとわかりやすさが低 く,「蚊がうるさくて、眠れなかった」が同義の用例 とは読まれていなかったことがわかる. このように 3.3014 のような一般的に読み取られにくい語義は, はたして対象語の語義と認めるべきかという問題も あろう。

また，音に関する用例に次いで自然さとわかりや すさが高い用例は「あの会社はあれこれと注文がう るさい」と「僕は紅茶にうるさい」(分類語彙表番号: 3.3100）であるが，IPALではそれぞれ「注文や要求 などが、いやになるほど細かくしつこい。」「いろい 万と細かい文句や注文をつけて厳しい。」という別語義の例文とされている. どちらも語義として認めら れるのかという問題については, 本調查から判定し 難い.

同様に，「くさい」の例では，代表義とされる「に おい」に関する用例で比喻性が低く, 特に「におい」 の語が例文中に明示される場合において低い(「煙草 の」「ブルーチーズは」，「においが臭い」）傾向にあ る. 但し,「にんにくのにおいは臭い」のみ若干比喻性が高くなっていた。同文型の「足は臭い」におい
て類似した比喻性の値が得られていることから，「A が臭い」と「A は臭い」の差異が生じているものと 考えられる。係助詞「は」によって対照するものが 想起されるという文型によって, 比喻性の印象が異 なる傾向があり得る.

なお，におい（分類語彙表番号: 3.5040）の例とさ れていた「何か臭い」は新しさが高く, 比喻性も高 く評定されており，「証言が臭い」「このあたりが臭 い」同様に「重要な情報が隠されていると感じさせ る。(IPAL)」(分類語彙表番号: 3.3068) として読ま れた可能性があ万う，語義に対応した例文であって も, 文脈的に対象が明示されない場合には, 情報量 が少ないために連想される余地が多く比喻性が上が るものと考えられる.「隣の犬がうるさい」「何か臭 い」のように曖昧性の高い用例については新しさの 印象が強まるため, 前節 (4.2) で見た「新しさ」が 代表義度に影響している可能性があろう.

## 5 おわりに

本稿は，一般的な読み手が多義語の語義を認識す るに際し何を判定根拠としているのか，また，一般的にどのような語義感覚を有しているのか, 多義語 の用例に対する印象評定を収集することで分析を試 みた。IPAL 辞書[1]に掲載された用言の例文全てに 対し, 印象評定と分類語彙表番号を付与し, 代表義情報[2]と対照した。結果, 自然さやわかりやすさが 高く, 比喻性が低いと判断されれば中心的な意味に 近いと言えそうである.

付与した情報を用いることで，今回取得できた比喻性の高い文型や「慣用的」な判断の活用について も検証を行いたい. 古くて比喻性が感じられるとさ れる用例が一般的に「慣用的」な比喻表現であり，被喻辞の説明が少ない文型ほどわかりやすさが低く，比喻性が高く判断されると考えられるため, このよ うな用法や文型が比喻表現の収集に有用な可能性が あろう。

## 謝辞

本研究は国立国語研究所コーパス開発センター共同研究プロジェクトの成果物です. また, 科研費 17H00917，18K18519，19K00591，19K00655の支援を 受けました。

## 参考文献

1. 情報処理振興事業協会（IPAL）.GSK 配布版「計算機用日本語基本辞書 IPAL 一動詞 - 形容詞 - 名詞一」, GSK2007-D, 2007.

2.『分類語彙表』の多義語に対する代表義情報のア ノテーション. 山崎誠・柏野和佳子. 言語処理学会第 23 回年次大会発表論文集, 2017.

3. Cruse, Alan. Meaning in Language: An Introduction to Semantics and Pragmatics. Oxford University Press, 2011. 4. 瀬戸賢一, メタファーと多義語の記述, 楠見孝編『メタファー研究の最前線』, ひつじ書房, 2007.

5. Tyler, Andrea, and Vyvyan Evans. Reconsidering prepositional polysemy networks: The case of over. Language 77, 2001.

6. Gries, Stefan Th. "Corpus-based methods and cognitive semantics: the many meanings of to run." In Corpora in Cognitive Linguistics: Corpus-based Approaches to Syntax and Lexis. Ed. by Stefan Th. Gries and Anatol Stefanowitsch. Berlin: Mouton de Gruyter, 2006.

7. 籾山洋介. 多義語の複数の意味を統括するモデル と比喻, 『認知言語学論考』1, ひつじ書房, 2001.

8. 粎山洋介. 『認知意味論のしくみ』研究社出版, 2002 .

9. 䊅山洋介. 多義性. 松本曜編『認知意味論』, 大修館書店, 2003.

10. 松本曜. 多義語における中心的意味とその典型性: 概念的中心性と機能的中心性, Sophia linguistica: working papers in linguistics (57), 2009.

11. 国立国語研究所資料集 14 『分類語彙表 -増補改訂版-』, 2004.

12. 多義語の語義分布と語義間の派生関係調查の試 み一相の類を中心に，加藤祥，田邊絢，浅原正幸，古宮嘉那子, 新納浩幸, 言語処理学会第 25 回年次大会発表論文集, 2019.

13. 加藤祥, 浅原正幸, 山崎誠. 分類語彙表番号を 付与した『現代日本語書き言葉均衡コーパス』の書籍・新聞・雑誌データ，『日本語の研究』15(2), 2019. 14. 語義間類似度の双方向評定に基づくプロトタイ プ的意味の解明ークラウドソーシングを用いた量的調查による多義的形容詞分析一, 西内沙恵, 加藤祥,浅原正幸, 日本認知言語学会第 20 回大会予稿集, 2019 .
「うるさい」例

获

「くさい」例

筣

IIII


# 市民意見収集のための「保育園」に関するツイート投稿者の 属性表現の抽出と属性の推定

柏野 和佳子 $^{1}$ 平本 智弥 関 洋平 $^{2}$
1 国立国語研究所 音声言語研究領域 2 筑波大学 図書館情報メディア系

## 1 はじめに

ソーシャルメディアのマイクロブログ（Twitter を 利用）の投稿から市民意見を収集し，自治体の行政 の課題を改善するための意見抽出の研究を進めてい る（関 2017，柏野ほか 2017，柏野ほか 2018，雨澤・関 2018，安藤・関 2018，柏野ほか 2020，石田ほか 2021).

柏野ほか(2019), 柏野ほか(2020)では, 2015 年〜 2018 年の間に投稿された，つくば市，水戸市，横浜市の三つの都市に住むユーザのツイートのうち, 「保育園」に関するものを対象に, 人手によりその内容 がポジティブであるのか, ネガティブであるのかを 判定し, ポジティブな表現, ネガティブな表現を抽出した結果を報告した. それら一連の評価表現の抽出に際し, 評価者であるツイート投稿者が, どのよ うな立場から評価しているのかが問題になった. た とえば，保育園の職員であるのか，保育園に子供を 通園させている親であるのか，これから子供を通園 させたいと思っている親であるのか，あるいは，そ れらには該当しないが，保育園問題に関心を寄せる 市民であるのか.

投稿者の属性は, アカウント名やユーザ名, プロ フィール情報からある程度自動で抽出可能ではあ

る.しかし, 筆者らは, それらが不明膫な場合や不十分な場合もあるため, ツイート本文のみで投稿者 の属性判断がどの程度可能であるかを人手により試行することとした. そこで, 収集したツイートを対象に，ツイート本文以外の情報を見ずに，投稿者の 属性の特定を可能にする表現を抽出し, それに基づ き属性を推定し, 本文以外にある情報と推定結果を 照合した。本稿ではその試行作業について報告す る.

また，親であることの特定を可能にする表現に我 が子の呼びかけ表現があるが，ツイート中には様々 なバリエーションが見られる。 それについてもくわ しく報告する.

## 2 分析対象のツイート

柏野ほか(2020)で用いた「っくば市保育園データ」 （つくば市民の Twitter アカウント 69 個による「保育園」に関する 2017 年 7 月 1 日 2018 年 3 月 31 日分のツイート 150 件）に加え，新たに収集したツイ 一トの一部（横浜市民の Twitter アカウントによる 「保育園」に関する 2010 年 2 月 1 日から 2020 年 4 月 30 日分のツイート， 6,202 件）のうち, さらに次 の順で絞ったものを本稿の分析対象用ツイート「横浜市新保育園データ」として用意した。
1. 2019 年 4 月 1 日 2020 年 4 月 30 日までに投稿されたツイート, 1,743 件.

2. 分析対象外と判断したアカウントのツイー 卜を除外. 計 1,215 件.

1 は, 人手で作業可能な範囲として最近の 1 年間 に対象を絞ったものである． 1 年のうち， 4 月は入園, 3 月は卒園, 10 月 12 月は次年度 4 月入園申し 込み次期， 1 月 2 月はその入園の合否が出る時期 である.また，2019年 10 月より，「幼保無償化」(幼监教育無償化）が開始された. そういった期間に投稿されたツイートが対象ということである.

2 は, 今回の分析対象を個人の属性表現抽出にす るため, ユーザ名よりあきらかに個人でないと判断 できるアカウントはあらかじめ除外した.たとえば，政治団体や商業施設等である.ただし, 非個人アカ ウントのうち, 幼稚園・保育園のアカウントは, そ こで園長などの個人的な意見が書き込まれるケース があるため残した。また，ユーザ名が個人商店名の 場合は，店主が個人的なツイートをすることもある ため, 属性判断作業の段階で対象外か否かの判断を 行うこととし, それらアカウントも残した. その結果, ここで削除したアカウントは 34 個, 残したアカ ウントは 94 個であった。

つまり, 属性判断作業の対象ツイートは次の表 1 のとおりである.
表 1 分析対象ツイート（件）

## 3 属性表現の抽出と属性の推定

## 3.1 作業手順

「つくば保育園データ」と「横浜市新保育園デー 夕」とを対象に，それぞれについて，人手により，次の手順にて, 属性表現の抽出と, 属性の推定, 推定結果の照合を行った.

1.プロフィールがたどれる情報（ユーザ名など） を非表示にし，ツイートをシャッフルする。

2. 属性表現（＝属性を推定可能にしている語句） をツイート本文から抽出. 1 ツイートから複得られる場合は, 複数抽出. (今回は最大で 3 つだった)
3. 2 から推定した属性を付与. ※以下, 「推定属性」と呼ぶ. 推定する属性候補が複数ある場合は，第 1 候補，第 2 候補として付与した. (今回は最大で 2 候補に収めた)

4. 非表示にした情報（ユーザ名など）を再表示 し，ツイートをユーザ名ごとの日付順にし，付与した属性と照合.

## 3.2 作業例

たとえば，図 1 では，「保育園の見学に行ってきま した」や「保育園落ちた」を属性表現として抽出し， そこから, 投稿者の属性を「保活中の親」(保活=保育園入園のための活動）や「保育園に落ちた親」と 推定した例である.

図 1 属性表現抽出と属性推定の例 2

## 3.3 属性表現の抽出例

たとえば，「保育園肾の親」と推定させる語・表現 の抽出例は次のとおりである.

(1)保育園（に）預ける

ツイート: 保育園預けてちょっと電車に乗って帰っ てきて保育園お迎えに行ってきただけでぐったり疲 れちゃった。身体が鈍ってる。もりもり仕事したい けど。

(2)保育園（に/へ/まで）お迎えに行く ツイート：早めに保育園へお迎えに行くと、まだ担任の保育士さんがいらっしゃるので、園での様子を 結構細かく聞けるというメリットはあるんですよね。 まあだいたいトラブルを聞く羽目になるんですが。

(3) [時期・時間表現]が／は保育園の [イベント名] (だ)

ツイート：今日は保育園のお檪しみ会 美桜 ver 今年で最後のお楽しみ会。相変わらず全開で楽しんで たなあ。ほんとよく笑う

「保活中の親」と推定させる語・表現の抽出例は 次のとおりである。

(1)保育園（の）見学（に）行く

ツイート：雨すごいけど、職場近くの保育園見学行 くんですけど。。○ やまないかな?

(2)保育園（に）受かりました，保育園（に）入れま した

ツイート：横浜市保育園第一希望受かった 一！！！！みんなが第一に選びそうなほうをあえ て第二にして、保育方針に差異はない姉妹園を第一希望に書いてよかった！ どうせ場所もたいして変 わらん、先生たちも毎年シャッフルされるから保育方針も変わらん！

ツイート：【報告】保育園入れました。今日、2 次募集の結果が来ました。ご心配くださったみなさん、 ありがとうございました。受かったのは小規模保育 だしいろいろ思うことはありますが、ひとまずほっ としています

（3)保育園（を）保留（する/中）

ツイート：保育園保留中。年度限定対象の保育園を 見学に行った。ほかに 2 組の親子が来てたーママ に一緒に入れたらいいです数って言われた。ほんと。 (4)保育園（に）落ちた

ツイート：すいません、いいねくれたので気になり ました。保育園どうでしたか？うちは落ちました…

## 3.4 属性候補が複数ある場合

属性候補が複数ある場合は，第 1 候補, 第 2 候補 として推定属性を付与した. たとえば，「今日からま た保育園がんばろう！」は，「保育園児の親」と「保育園関係者」の両方の可能性があり, 両方を付与し た. 細かなことを言うと，「親」と考えらえるものが 「親」ではなく「祖父母」の可能性もあるのだが，今回の対象ツイートで祖父母とはっきり確定できた ものはなく，そこは「親」としてのみ推定している.

先の図 1 で,「保育園落ちた」という属性表現に対 し, 「保育園に落ちた親」の推定属性を付与している 例を示した。ツイート上には，多く，「\#保育園落ち た」とハッシュタグ付きでも多用されるが，こちら は属性候補が 2 つ出てくる.

「保育園落ちた」は，2016 年 2 月に若名で投稿さ れた「保育園落ちた日本死ね」というタイトルのブ ログが話題になったことをきっかけに，実際に入園 できなかったことを直接指すだけでなく，保育園不足問題を表すフレーズとしても使われるのである. そのため,「\#保育園落ちた」という表現は,「保活中 の親」の可能性に加え，「待機児童問題に関心がある 人 (親以外)」の可能性もある属性表現ということに なる. よって, 図 2 のハッシュタグの 2 例は, 2 つ の属性を候補として付与している.

「今日も保育園のことで区役所へ。身分証明を持つていけば，自分のランクを教えてくれるらしい\#保育園落ちた \#横浜市」属性表現

推定属性「保育園に落ちた親」た

「待機児童問題に関心がある人（※保育園に 落ちた覣以外）」

「\#保育園落ちた\#待機児ゼロ https://t.co/Wq4fLtdpPC」」

属性表現

推定属性「保育園に落ちた親」

「待機照童問題に関心がある人（※保育圈に 落ちた視以外）」

図 2 属性表現抽出と属性推定の例 2

図 3 図 2 の 2 例目ツイートの参照先図 2 の 1 例目は, 図には示していないが, 「保育園 のことで区役所へ」（推定属性 1 「保育園北の親」,推定属性 2「保活中の親」）とあわせると, 「保育園 に落ちた親」と判断可能な例である.「\#待機児ゼロ」 というハッシュタグの並びや, さらに, リンク先 (図 3）まで見ると，保育園不足問題を意図していること がわかり，「待機児童問題に関心がある人(親以外)」 と判断できる例である.

## 3.5 作業結果

属性表現の抽出数, 付与した推定属性数および,属性判断作業時に非表示にしていた情報（ユーザ名 など）と照合した結果を，表 2 に示す。

表 2 属性表現抽出と属性推定の照合結果

 &  & \multicolumn{1}{|c|}{ 正解 } & 不正解 & 保留 & 正解率 \\

8 割前後と，高い正解率を得ることができた.

## 4 我が子の呼び方表現

親であることの特定を可能にする，我が子の呼び かけ表現を抽出した。これには，柏野ほか(2020)で用 いた「つくば市保育園データ $2 」$ 」(2018 年 4 月 1 日 ２018 年 10 月 31 日分のツイート 109 件)，「水戸市保育園データ」(2017 年 7 月 1 日〜2018 年 3 月 31 日分のツイート 139 件）も対象ツイートに加えて行っ た。抽出結果は次のとおりである。

（1）「子」「子供」を含むタイプ うちの子，我が子，わが子上の子，下の子，末っ子子供たち

（2）生まれた順（序列）がわかるタイプ 長男, 長女, 二番目

※（1）の「上の子」「下の子」「末っ子」も， ここにも含まれる.

（3）「娘」「息子」を含むタイプ

娘，息子，うちの娘，うちの息子，娘ちゃん，息子くん，娘氏

（4）「娘」「息子」のカタカナ表記や変形

ムスメ，ムスコ，むちゅめ，ムスッコ

※ほかの呼び方と比べて，投稿者=その子供 の親である可能性が高い印象.

（5）ニックネーム「+ちゃん」

例：ふうちゃん

(6) 本名「+ちゃん」「+君」

例: 楓音, 太良君

## （7）「姫」「王子」を含むタイプ

姫, 王子

なお，「うちの姫」「王子様」といった例も，分析対象外のツイートを広く検索すれば見つかりそうで はあるが，ざっと検索したところ， ペットの呼びか け例が多い印象を得た。

また, 今回の調査対象中にあった, あるアカウン トの他ツイートも追跡調査したところ, 次のような 変遷例も得られた。あわせて報告する.

〔2014 年〕息子

〔2015 年〕息子氏、息子達

〔2017 年〕長男

〔2018 年〕末っ子、上の子ら、赤子

〔2019 年〕息子たち、息子 s、息子 1 st、息子 $2 n d$

「息子が増えていった結果，それぞれの「息子」

イートならではのユニークな表現方法と言える.

## 5 おわりに

ツイートの投稿者の属性は，アカウント名やユー ザ名, プロフィール情報に，「1 児の母」「2 児の父親」「保育士」「市会議員」などと示されていること があり，「保育園」のツイートがどのような立場で されたものか判断できる場合はある. しかしなが ら，それらの情報だけでは不明瞭であったり不十分 であったりする場合もあるため, ツイート本文のみ で投稿者の属性判断がどの程度可能であるかを人手 により試行した. その結果, 8 割近く判断可能であ ることを示した。

しかしながら, 人手作業には時間と量の限界があ るため, 今後は, これらの人手による試行結果を, どのように自動抽出に結び付けていけるかを検討す る必要がある. 今後の課題である.

## 謝辞

本研究は，JSPS 科研費 $19 H 04420$ の助成を得て います。

## 参考文献

安藤有生, 関洋平(2018)「市民のツイートを用いた 分散表現に基づく地名に対する市民の関心の傾向 の可視化」『知能と情報』vol.30,no/6, pp.804814.DOI: 10.3156/jsoft.30.6_804

石田哲也, 関洋平, 柏野和佳子, 神門典子(2021 予定)「複数の属性の関連性に着目したソーシャル メディアからの市民意見抽出」『第 13 回データ工学と情報マネジメントに関するフォーラム

(DEIM 2021)』.

柏野和佳子，立花幸子，平本智弥，関洋平(2017)

「市民意見の収集システムで得られたツイートか らの「保育園」「教育」に関する意見抽出」『言語処理学会第 23 回年次大会発表論文集』pp.533-

536.

柏野和佳子，平本智弥，関洋平(2018)「市民意見の 収集システムで得られたツイートからの道路・交通に関する意見抽出」『ことば工学研究会資料』 vol。57, pp.13-21.

柏野和佳子，平本智弥，関洋平(2019)「市民意見収集のためのツイート表現の分析」『電子情報通信学会技術研究報告』vol .118, no.516, pp.95-98.

柏野和佳子，平本智弥，関洋平(2020)「市民意見収集のための「保育園」に関するツイートからの評価表現の抽出」『言語処理学会第 26 回年次大会発表論文集』pp.1313-1315.

関洋平(2017)「自治体における市民意見を利用した 新たな気づき」『スマートシティ「都留市モデ ル」シンポジウム』

南澤亜樹，関洋平(2018)「市民のツイートを行政課題ごとに分類するための関連語の抽出」『第 10 回 データ工学と情報マネジメントに関するフォーラ ム（DEIM 2018)』J6-2


# 近現代日本語の意味変化分析のための単語データセット構築の試み

間淵洋子小木曽 智信
国立国語研究所 言語変化研究領域
\{mabuchi, togiso\} @ ninjal.ac.jp

## 1 はじめに

近年，日本語のコーパスが相次いで構築・公開さ れたことにより，コーパスを用いた日本語の実証的研究が盛んに行われている。中でも, 国立国語研究所構築の『現代日本語書き言葉均衡コーパス』(以下， $\mathrm{BCCWJ}$ ) や『日本語歴史コーパス』(以下, $\mathrm{CHJ}$ )「明治・大正編」を用いた近現代日本語を対象とした研究は, データ量や文章バリエーションの豊富さを背景に，数多く行われており，BCCWJ，CHJ「明治・大正編」を複合的に利用することで，近代から現代 にかけての日本語の通時的変遷を見出そうとする研究も見られる (間淵 2017[1], 高橋・東泉 2018[2],市村 2019[3], 馬場 2019[4]等) .

一方, 自然言語処理の分野では昨今, 言語変化を 検出する手法が多く提案されており, 英語・ドイツ 語・ロシア語などでは, 提案手法と共に通時的変化 を生じた単語のリストが共有されている (Kulkarni et al. 2015[5], Schlechtweg et al. 2018[6], Rodina et al. 2020[7]).これらのリストは, 新たな手法の評価等に 利用することができ, 言語変化の検出という自然言語処理の一課題に対して有用なリソースとして機能 している.

そこで本研究では, 両研究領域にわたって近現代日本語の意味変化分析に利用可能な単語データセッ 卜を構築することを目的として, 意味変化が想定さ れるいくつかの語を対象に，コーパスでの使用実態調查を行う。コーパス調查に基づき，これらの語の 通時的変化の様相を明らかにした上で，言語変化の 生じた単語のリストを試作する。

## 2 研究方法

## 2.1 調査対象語

本研究では, 日本語学および自然言語学の両分野 において利用可能な単語データセットの構築を目指 すことから，データセットを構成する単語の条件と
して, (1)使用頻度の高さ, (2)近代から現代にかけて （特に戦前・戦後間）の意味変化の大きさ，の 2 点 を定めた上で，この条件を満たす近現代日本語を探索するために，コーパス調査の対象とする候補語リ ストを作成した。

調查対象語のリストは，CHJ「明治・大正編」と BCCWJ の網羅的な調査に基づき近現代漢語の表記・品詞用法の実態把握を行った間淵 2018[8]の結果を 元に，近代から現代にかけて品詞用法の使用割合に 大きな変化が見られた漢語を中心として，意味変化 の認められる語を選定し, ジャパンナレッジ版『日本国語大辞典』「語誌」欄で戦前・戦後間での意味変化に触れている語などを適宜追加した。

【和語】旨い，心持ち，衣こだわる，痺れる，迧も，坩堝

【漢語】愛人，管制，貴族，教授，教養，結構，広告，故障，自然，住居，渋滞，柔軟，主婦，障害，情報，女性，尋常，精々，設備，全然，団塊，端末，適当，溌剌，非常，風俗，婦人，普段，普通，明細，免許，遊撃, 優勝, 要領, 了解

【外来語】カフェ, ケース, スーパー, ポイント, ボ タン, モデル

## 2.2 コーパス

前節に示した調查対象語の使用実態を把握するた めに使用するコーパスの概要を表 1 に示す.

表 1 使用コーパスの概要

 \\

明治・大正期における使用実態調查には CHJ「明治・大正編 I 雑誌」を用いる. 明治・大正期に続く 昭和期以降の使用実態調查には, 現在筆者らが構築 を進めている『昭和平成書き言葉コーパス』(以下 SHC, 近藤他 2020[9]）の雑誌データの一部を用いる. このコーパスは, 既存の近代語のコーパスである $\mathrm{CHJ}$ 「明治・大正編」と, 現代語のコーパスである BCCWJ の間にある時間的空隙を埋め, さらに BCCWJ 以降現在までの期間のデータを追補するこ とを目的として設計したコーパスである. 現況で整備が進んでいる 1997 年までの雑誌データを利用す る. さらに, 現代の使用実態を BCCWJ 出版サブコ ーパス・雑誌により確認する。これらのコーパスを 複合的に用いることで, 近代語から現代語にかけて 生じている意味変化の実証的な分析が可能となる. なお, 表 1 に示した「時代区分」は, 言語変化が 時代背景や社会情勢に大きく影響されることを鑑み，日本史上の区分に大きく分けた上で，コーパスの収録語数に大きな偏りが生じないよう考慮した任意の 区分である.

## 2.3 意味分類

次に,コーパスで取得した用例の分析方法について 述べる.

本研究では, コーパスの調査に基づき, 通時的な意味変化の様相を明らかにしようとするものであるた め, まず必要となるのは, 各用例がどの意味で用い られているかを判断することである。ここで問題に なるのは，各語の意味をどのように，またいくつに 并別するかという点である.

例えば，和語「痺れる」を例に，辞書による意味の 捉え方・分類のし方を確認すると，辞書の性質によ って差異があることが分かるi.

## ロデジタル大辞泉

1 からだの一部または全体の感覚が失われ、自由がきかなくなる。「正座して足が一・れる」 2 電気などを感じてびりびりふるえる。「感電 して一・れた」

3 心を奪われてうっとりとする。強烈な刺激 を受けて陶酔する。「ジャズ演奏に一・れる」

■プログレッシブ和英中辞典

I〔麻疩(まひ)する〕 become numb；〔電気で〕 receive an electric shock

II【陶酔する】 be enraptured, be bewitched, be fascinated ((by))

本研究では, 近代から現代にかけての変化が大き く捉えられる点を重視するため，できるだけ大まか に意味を捉えることとし, 可能な限り, 原義的（古 い用法, 近代または戦前に多い用法) か, 転義的（新 しい用法, 現代または戦後に増えている用法）かの 観点で意味分類を行うこととする。 すなわち，上記「痺れる」の例では, 『プログレッシブ和英中辞典』 と同様, 肉体的な作用 (原義, 例 1）と心理的な作用 (転義, 例 2）の 2 分類で用例分類を行う ${ }^{i i}$.

（例1）急に降りようとして立上ると、復た先日重かつた足がしびれて利かないので、暫 く擦つて居るとなほつた。

〈60M 太陽 1925_03058，42480〉

(例 2) 赤と黒のコントラストにしびれちゃった。

〈PM11_00842, 31800>

## 3 調査結果

## 3.1 頻度変化と意味変化

2 節に示した調查対象語のコーパス調查から, ま ず頻度の変化に着目して結果を確認する。付録とし て, 調查対象語のコーパスの収録語数（空白，補助記号, 記号を除く) 100 万語あたりの調整頻度 (PMW) を掲載し, 以下の議論ではこれを用いるが，紙幅の 都合上，和語・外来語を中心に述べる.

和語 和語の候補語のうち,「㾝れる」「坩堝」は，低頻度で推移しているため, データセットとしての条件を 満たさない. 頻度の下降が見られる「心持ち」は, 戦前 (昭和前期)まで[気立て・気持ち]の意味での用法が見 られるが, 戦後はこれが衰退し, 程度がごく僅かである ことを表す副詞としての用法で残存するものと思われる。

(オンライン検索アプリケーション『中納言』でん の「位置検索」により当該用例の再検索が可能。)
同様に下降する「衣」は, 原義である[衣服・着物]の意 が衰退し, [揚げ衣]の意での用法が保たれる. 頻度の 上昇の見られる「こだわる」は, 従来の[執着する] 意が マイナスの意味を持って用いられる一方, プラスの転義 (意味の上昇)として, [妥協せず追求する] 意を獲得す ることで頻度を上昇させていると考えられる。[味覚的な 良さ]に加えて, より抽象的な [程度の高さ]の意を獲得 した「旨いも同様である.

図 1 和語の頻度推移 (PMW)

外来語 外来語語彙は,いずれも明らかに頻度の上昇が見られた.「ボタン」「ケース」「ポイント」「モデル」等,意味の一般化$\cdot$抽象化による意味の拡張・多義語化が，頻度上昇の要因となっているものと考えられる.

図 2 外来語の頻度推移 (PMW)

## 3.2 データセットの選定

前節までの議論から，侯補語のうち，頻度条件を 満たさないもの, 意味分類が困難なもの, 意味分布 の通時的な差が大きくないものを除き，意味変化分析に適した単語データセット試作として，以下のリ ストを提示する。【和語】旨い，心持ち，衣ここだる，迧も

【漢語】管制, 貴族, 教授, 教養, 結構, 故障, 自然,住居，渋滞，柔軟，障害，情報，女性，尋常，精々，設備, 全然，適当，非常，風俗，普通，免許，優勝,要領, 了解

【外来語】ケース, ポイント, ボタン, モデル

## 4 おわりに

日本語研究，自然言語処理の両領域にわたって，近現代日本語の意味変化分析に利用可能な単語デー タセットを構築することを目的として，コーパスで の使用実態調查に基づき，通時的な意味変化を生じ た単語データセットを試作した。

本研究では，意味変化をできるだけシンプルに捉 えるために，原則として原義・転義の 2 分類に意味分類し意味分布とその推移を確認したが，そのため にやや強引な用例分類を行った面もある. 今後, こ の単語データセットを意味分析の数理的研究や, 言語変化の検出モデルの構築などに活用することで， データセットの問題点の把握, 見直しなどを行って $い<$.

## 付記

本研究は, 国立国語研究所共同研究プロジェクト 「通時コーパスの構築と日本語史研究の新展開」, 同「現代語の意味の変化に対する計算的・統計力学的 アプローチ」, JSPS 科研費 19H00531, JSPS 科研費 20K13060 による研究成果の一部である。

## 参考文献

[1]間淵洋子.近代雑誌コーパスにおける漢語語彙の 特徴一BCCWJ との比較から一. 国立国語研究所論集, 13, 2017, 143-166.

[2]高橋圭子・東泉裕子. 近現代語コーパスにおける 「(さ)せていただく」の用法.コミュニケー ション文化, 12, 2018, 177-192.

[3]市村太郎. 副詞「ほんとうに」の展開と「じつ に」「まことに」一近代語から現代語へ一.国文学研究, 188, 早稲田大学国文学会, 2019, 1-15.

[4]馬場俊臣. 助詞・助動詞で始まる複合接続表現の 文体差. 北海道教育大学紀要(人文科学・社会科学編), 70 (1), 2019, 1-11.

[5]Vivek Kulkarni, Rami Al-Rfou, Bryan Perozzi, and Steven Skiena. Statistically significant detection of linguistic change. Republic and Canton of Geneva: CHE, In Proceedings of the 24th International Conference on World Wide Web, WWW '15, 2015, 625-635. International World Wide Web Conferences Steering Committee.

[6]Dominik Schlechtweg, Sabine Schulte im Walde, Stefanie Eckmann. Diachronic Usage Relatedness (DURel): A Framework for the Annotation of Lexical Semantic Change. Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), 2018,
169-174. Association for Computational Linguistics.

[7]Julia Rodina, Andrey Kutuzov. RuSemShift: a dataset of historical lexical semantic change in Russian. Proceedings of the 28th International Conference on Computational Linguistics, 2020, 1037-1047. International Committee on Computational Linguistics.

[8]間淵洋子. 近代漢語における表記・語法の多様性 とその変化に関する計量的研究: 現代語確立期にみる言語変化の様相と背景. 明治大学, 2018 .

[9]近藤明日子，小木曽智信，高橋雄太，田中牧郎，間淵洋子.「昭和・平成書き言葉コーパス」 の設計. 日本語学会 2020 年度秋季大会予稿集, 日本語学会, 2020 .

## 付録 近現代日本語意味変化分析のための単語データセット頻度表(PMW)

 & 平成前期 & 平成後期 & 変化類型 \\


# 都道府県議会会議録コーパスの拡張一2011 期と 2015 期の比較一

内田ゆず
北海学園大学
yuzuahgu.jp
}

高丸圭一
宇都宮共和大学
takamaruekyowa-u.ac.jp
}

乙武北斗
福岡大学
ototake@fukuoka-u.ac.jp
}

木村泰知
小樽商科大学
kimura@res.otaru-uc.ac.jp

## 1 はじめに

近年，インターネットに公開された議会会議録 を利用した学術研究がさまざまな分野で盛んに 行われている [1][2]. 自然言語処理分野ではこれ までに要約 [3], トピック分析 [4], 意見抽出 [5] な どの研究が行われている. 議会における発言の記録である会議録は，地方自治におけるファクト チェックのための一次情報としての利用が期待さ れる. これを指向して，NTCIR-15 QA Lab-PoliInfo-2 では，東京都議会を対象として，議案への賛否推定 (Stance classification)，質問と答弁の要約（Dialog summarization）などのタスクが行われた [6].

筆者らは横断的に収集した会議録から「いつ」「ど こで」「誰が」「何を」発言したのかを明らかにする ために，すべての発言文にタグを付与した，地方議会会議録コーパスの構築を進めてきた. 種々の 分野で会議録を研究対象とするとき, 各種の統計量（たとえば，都道府県 P での 1 会議あたりの平均発言者数）を算出したり，ある一定の条件下での 発言（たとえば，単語 $\mathrm{w}$ を含む議員 $\mathrm{A}$ の発言）を 抽出したりするという利用方法が考えられる. こ れを実現するためには，収集範囲および収集期間 の統制がとれたコーパスサブセットが必要である. そこで，収集範囲を「全国 47 都道府県議会の本会議」，収集期間を「統一地方選挙を起点とした 4 年間」と定めた都道府県議会会議録コーパスサブセッ トを順次構築している. 2017 年に最初のサブセッ トである「47pref_2011-2015」（2011期と呼ぶ）およ び横断検索システム「ぎ〜みる」を公開した．新た に 2015 年 4 月から 2019 年 3 月までの 4 年間の会議録を収録した 2 期目（2015 期と呼ぶ）のサブセット 「47pref_2015-2019」を構築した. 本稿では，2011 期 と 2015 期のサブセットを比較し，議員の構成，発言量，キーワードの発言回数などについて述べる.

## 2 都道府県議会会議録コーパスの 概要

## 2.1 データの収集

収集対象は全国 47 都道府県議会の本会議（定例会および臨時会）であり，収集期間は 2015 年 4 月 の統一地方選挙から 2019 年 4 月の統一地方選挙の 前（2019 年 3 月）までの 4 年分である.

都道府県議会はすべて，それぞれの自治体の Web サイトに会議録の全文検索システムを公開してい る. 各全文検索システムに対応するクローラを作成 して，会議録データの収集を行った. ただし，自治体ごとに検索システムや表示部分をカスタマイズし ているため個別対応が必要であり，部分的に人手に よる作業も交えながら収集作業を行った。

収集された全国 47 都道府県の本会議会議録を句点で 1 発言ごとに分割し，それぞれの発言の発言者名を抽出した。そして，会議の名称や開催日等の情報と併せて 1 発言を 1 レコードとして格納した（詳細は [7] 参照)。総収録データは $3,873,026$ レコード であり，発言の総文字数は $248,281,520$ 文字である.

## 2.2 発言者の同定

会議録から抽出した発言者名は，同一人物でも複数の表記をもつことがある．例えば，衛藤明和氏は 「衛藤明和議員」「衛藤明和文教警察委員長」「衞藤明和土木建築委員長」のように肩書が異なる表記 や，旧字体を使用した表記をもつ。さらに，「岩切達哉／岩切達郎」「有岡浩一／有岡浩一」「太田清海 /太田晴海 $\rfloor^{1)}$ のように，会議録作成者の誤入力によ る表記摇れも存在する。

議会での発言を議員単位で分析するためには，発言者を正確に同定する必要がある．したがって，発言者名が一つに定まらない発言者については，人手

で名寄せの作業を行った. 具体的には，発言者の氏名に付加された敬称や肩書, 議席番号等を正規化 した。また，旧字体や通称を用いる議員への対応 や，会議録作成者による記載ミス等の修正も行っ た. 名寄せの結果得られた発言者数は合計 7,606 名 であった。

## 2.3 発言者の属性情報付与

会議録には議員の発言の他にも議長の発言（議事進行）や首長の発言，職員の発言，参考人の発言も 記録されている. 本コーパスには「発言者の役職」 フィールドが設けてあり，各発言に役職の情報を付与している. この情報を利用すると, 議会での立場 の違いによる発言の特徴を分析できる。

また，議員については生年や性別，対象行政区 （選出選挙区）といった属性情報が分かると, 発言内容の分析や言語的特徴の分析にとって有益であ ると考えられる. しかし, これらの情報は会議録中 には記載されていないため，選挙の立候補者情報が まとめられた Web サイトである「政治山 $\left.{ }^{2}\right.\lrcorner$ から収集し，発言を格納するテーブルとは別のテーブルに 格納した. さらに，議員には固有の IDを付与した.議員 ID によって, サブセット間で議員の発言を追跡することが可能となる.

以上の処理により，2015 期は，2,745 名の議員, 55 名の知事, 157 名の副知事, 398 名の議長が発言 していることが明らかになった。

## 32011 期と 2015 期の比較

2011 期，2015 期のデータについて，議員の構成,発言量，キーワードの発言回数の観点で比較する. なお, 岩手県, 宮城県, 福島県, 茨城県, 東京都,沖縄県は統一地方選挙とは異なる日程で選挙が行わ れることに注意が必要である.

## 3.1 議員の構成

全国の都道府県議会議員の定数を合計すると 2,686人だが、改選や補欠選挙による議員の入れ替 わりが生じるため 2015 期の議員は 2,863 人存在す る. 改選による入れ替わりが 100 名, 補欠選挙によ る入れ替わりが 77 名である.

議員の年齢 3$)$ ・性別の構成を表 1 に示す. 表中の 括弧内の数字は，2011 期からの増減を表している。

高齢化が進んでいること，女性議員の割合はやや増加 $(8.7 \% \rightarrow 10.3 \%)$ していることが明らかになった. また，2011 期のデータを収集した時点では政治山か ら生年の情報を取得できない議員が 76 名存在した が，2015 期では 0 名であった. 地方議員の Web 上 での情報発信が促進されたことがうかがえる.

## 3.2 発言量

議会や議員の活動を可視化するために，発言量を 都道府県別，属性別，個人別に分析する．本会議の 開催回数が異なるため一律に比較はできないが，発言量は議会の活発さのおおよその目安になる. 都道府県議会会議録における文字遣いは「発言記録作成標準 [8]」などによって標準化されている. した がって, 各都道府県で表記の方法が大きく異なるこ とはないと判断し，分析の単位を文字とする。

全体 2011 期と比較して，総発言文字数は 252,364,746 から 248,281,520へと微减した. 各都道府県の本会議における総発言文字数を図 1 に示す.発言数が最も多いのは鳥取県で，最も少ない山形県 の約 4.5 倍に達する.これは，2011 期とほぼ同じ結果である.

2011 期と 2015 期を比較して発言文字数が大きく 変化したのは, 大阪府 (25.1\%減), 兵庫県 $(24.5 \%$増), 長崎県 (35.2\%減), 沖縄県（34.9\%増）であっ た. 役職ごとに発言文字数を集計すると，大阪府 は，知事の発言文字数が 611,715 から 247,961 と大 きく減少している. 沖縄県では，職員の発言文字数 の増加が顕著である．沖縄県は，2011 期の職員の 発言文字数が $3,088,869$ で全都道府県議会中最多で あったが，2015 期ではさらに 4,807,870へと増加し ている.

属性別 議員の属性別に発言の平均文字数を集計 した結果を表 2 にまとめる. 2011 期と 2015 期を比較すると，高齢の男性議員の発言量が顕著に少ない 点，女性議員の発言量が多い点は共通している. 発言量に大きな変化があったのは 45-64 歳の女性議員 と 65-87 歳の女性議員である. 45-64 歳の女性議員 の発言量は減り，65-87 歳の女性議員の発言量は増 えている. 2015 期に 100,000 字以上発言している女性議員 32 名のうち，23 名は 2011 期でも議員を務 めている.この 23 名について，2011 期での発言文字数を遡って調査したところ，89,107〜311,442 字 であった. 2011 期で活発に発言した議員は 2015 期 でも発言量が多いといえる. 2011 期の 25-44 歳と
表 12015 期の議員の構成（括弧内は 2011 期からの増減）

図 1 各都道府県議会における発言文字数

45-64 歳の女性議員の発言量の傾向と併せて考える と，女性議員の発言量の変化は議員が年齢を重ねた ことが要因だと考えられる。

個人別 発言文字数ごとの議員数を図 2 のヒスト グラムに示す. 表 2 によると全議員の平均発言文字数は 42,661 字であり, 多くの議員が 10,000 字以上発言している。一方，発言が少ない議員（1,000 字未満）も119名存在する. そのうち，発言文字数が 0 文字，つまり会議録中に発言が全く記録されてい ない118名について詳しく調査したところ，21名は コーパス収集期間と任期が一致しておらず4)，21名 は議長として議事進行を行っている期間があった。 したがって，それらの 42 名を除いた 76 名は 4 年間 の任期中に本会議で一度も発言していないことにな る.このうち，男性は 73 名，女性は 3 名である.

無発言の 76 名について当選回数を調査した結果 を図 3 に示す。比較のために 2015 期に実施された 選挙で当選した議員の当選回数も併せて示してい る. 当選回数のデータは政治山, Web サイト「読売 オンライン」の地方選挙情報ページ5)などから取得 した。全議員では当選回数が増えるほど人数は減る 一方，無発言の議員は当選回数が多い傾向があるこ とがわかる. 2011 期においても，発言のなかった 59 名のうち 58 名は多選（4 回以上）の男性議員で あり，同様の傾向がみられた。

図 2 発言文字数別議員数

## 3.3 キーワードの発言回数

我々はこれまでに，2011 期のデータを対象とし て，議員の属性と政治課題に関するキーワードの出現回数の関係を調査し，特定のキーワードの出現傾向が議員の性別や年齢層によって大きく異なること を明らかにした [9]. 2015 期のデータについても [9] と同じキーワードを用いて同様の分析を行う。

図 4 は各キーワードの「男性議員を 1 とした時の 女性議員の発言回数の割合」を示している. 2011 期 で女性議員が「増税」というキーワードを発言す る回数は，男性議員の 4.4 倍であった. 2015 期では さらにその差が開き，6.5 倍となっている。「貧困」「就労支援」など，男性の発言割合が相対的に増え ているキーワードも存在するが，生活に密着した政治課題への言及は依然として女性議員による言及が
表 22011 期と 2015 期の議員属性別平均発言文字数

図 3 議員の当選回数

図 4 性別によるキーワードの出現割合の比較

多い。男性議員は「地方分権」「高速道路」「インフ ラ」「観光」など，行政や産業分野への言及が多く， これも 2011 期と同様の特徴である.

以上より，議員の性別によって発言内容の特徴が 異なることが示唆される。また，女性議員の数が圧倒的に少ないため，議会で取り上げられる政治課題 に偏りが生じている可能性がある. 今後，議員の年齢層による発言内容の特徴も分析したい.

## 4 おわりに

2015 年 4 月から 2019 年 3 月に開催された全国 47 都道府県議会の会議録データを収集し，都道府県議会会議録コーパスを拡充した. 本稿では, 新たに追加したデータの概要と，2011 期と 2015 期のデータ の比較について報告した. 今後は, 発言文字数や単語の出現頻度などの表層的な分析だけでなく, より詳細な分析を行いたい．また，国会会議録との比較 も検討している。

## 謝辞

本研究は JSPS 科研費 $18 \mathrm{~K} 00632 ， 20 \mathrm{~K} 00576$ およ びセコム科学技術振興財団の助成を受けたもので ある.

## 参考文献

[1] 渡部春佳. 地方議会議事録分析による話題抽出につい ての一試論一地方議会・委員会での公の施設「劇場・音楽堂等」に関する議論を事例に. 社会情報学, Vol. 9, No. 1, pp. 1-15, 2020.

[2] 桑田倫幸, 近田裕子, BATUER JULAITI, 森岡友紀, 山口明, 木佐谷康, 信田勝美, 板倉宏昭. 都市型観光にお ける商店街の地域性一東京都品川区議会会議録のテ キスト分析からの考察を中心に一. 第 11 回横幹連合 コンファレンス, 2020.

[3] 木村泰知, 関根聡, 乾健太郎. 地方議会会議録の要約に 向けて. 言語処理学会第 24 回年次大会 (NLP2018), pp. 596-599, 2018.

[4] 佐々木稔, 乙武北斗, 木村泰知. 大規模地方議会会議録 の分散表現を用いた地方議会のトピック分析. 2020 年度 人工知能学会全国大会論文集（第 34 回）, 2020.

[5] 葦原史敏, 木村泰知, 荒木健治. 地方議会会議録におけ る節単位による議員の要望抽出. 電子情報通信学会論文誌, Vol. J98-D, No. 11, pp. 1390-1401, 2015.

[6] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mitamura, Masaharu Yoshioka, Tomoyosi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, Kenji Araki, Satoshi Sekine, and Noriko Kando. Overview of the NTCIR-15 QA Lab-PoliInfo-2 Task. In Proceedings of the 15th NTCIR Conference on Evaluation of Information Access Technologies, 2020.

[7] 高丸圭一, 内田ゆず, 木村泰知. 地方政治コーパスに おける都道府県議会会議録パネルデータの基礎分析. 宇都宮共和大学シティライフ学論叢, Vol. 18, pp. 136-155.

[8] 日本速記協会. 発言記録作成標準 : 公正・正確な発言記録を目指して. 日本速記協会, 2007.

[9] 内田ゆず, 高丸圭一, 乙武北斗, 木村泰知. 都道府県議会会議録コーパスを用いた議員の議会活動の可視化に向けて—What Can Be Seen from the Prefectural Assembly Minutes? 2018 年度 人工知能学会全国大会論文集（第 32 回）, 2018.

## A 付録

都道府県議会会議録コーパス 2015 期のデータの概要を以下に示す。