# 会話によるニュース記事伝達のための談話構造解析

1 早稲田大学
takatsuepcl.cs.waseda.ac.jp
matsuyama@pcl.cs.waseda.ac.jp
2 内外切抜通信社
ando@naigaipc.co.jp
koba@waseda.jp

## 1 はじめに

文間の依存構造を解析する手法および，結束性の 高い文のまとまり（チャンク）を検出する手法と談話関係を分類する手法を提案する。

一貫性のある要約 $[1,2,3]$ や対話 $[4,5]$ を実現す るために，談話構造が制約として用いられる。我々 は，ニュース記事の内容を効率的に伝える音声対話 システム [6] においても，話を破綻させないために 談話構造に従った情報伝達が重要であると考え，文 を談話単位として，日本語のニュース記事に対して 談話依存構造を付与したデータセットを構築した [7]. このデータセットは， ウェブニュースのクリッ ピングの専門家が 1200 個のニュース記事に対して 「係り先」「談話関係」「チャンク」のアノテーショ ンを行ったものである。係り先は，ルートノードか ら親ノード文までの情報が対象の文を理解するうえ で必要最小限の情報になるように付与したものであ る．談話関係は，子ノード文が親ノード文に対して どのような意味的関係にあるかを分類したものであ る. チャンクは，親ノード文の内容を正しく理解す るために欠かせない情報が子ノード文に書かれてい る場合，これらをまとめて提示すべきであることを 表したものである.

本研究では，「係り先」「談話関係」「チャンク」を 推定するモデルを提案し，作成したデータセットを 用いて評価した結果を報告する. 文間の係り受け解析については，BERT [8] による文の埋め込み表現を 双方向の GRU [9] に与え, head selection モデル [10] により係り先を推定するモデルを提案する．談話関係分類とチャンク検出については，談話依存構造木 をルートノードから葉ノードまでの文系列に分解 し，各タスクの系列ラベリング問題をマルチタスク で学習するモデルを提案する。

本稿の構成は次の通りである．2 章で関連研究に
ついて述べる. 3 章で文の係り先を推定するモデル について説明する． 4 章でチャンクと談話関係を推定するモデルについて説明する． 5 章でデータセッ ト [7] を用いてモデルの性能を評価した結果を報告 する. 6 章でまとめと今後の展望について述べる.

## 2 関連研究

談話構造解析は，文章を構成する文や節の間に成 り立つ関係を解析する自然言語処理の基本的なタス クである。談話構造解析の結果は，文書要約 [3] や 質問応答 [11]，機械翻訳 [12]，評判分析 [13] などの 下流タスクのアプリケーションで用いられる [14].

談話構造解析のための代表的なデータセットと して，RST Discourse Treebank [15] があり，文章から 修辞構造木を自動で構築する手法が提案されてき た $[16,17,18]$. 一方で，文書要約 $[1,2,19,20]$ のよ うなタスクへの応用を考えた場合，修辞構造木のよ うな句構造よりも談話単位間の親子関係を直接表 せる依存構造の方が望ましいと考えられ，修辞構造木を談話依存構造木へ変換する手法が提案された [19,21]. また，変換アルゴリズムによって生成さ れる談話依存構造木の性質が異なることから [22], Yang らは，科学論文のアブストラクトに対して人手で EDU 間の依存構造と談話関係をアノテーショ ンする方法を提案し，データセットとして SciDTB を構築した [23].また，Yang らは，EDU 間の依存構造を解析する手法として， transition-based の手法 [24] と graph-based の手法 [21] を比較し，SciDTB を 用いた場合，transition-based の手法の方が高い性能 を示すことを確認した。単語間の係り受け解析にお いては， head selection モデルの有効性が確認されて おり [10]，本研究では，これを文間の係り受け解析 モデルへ拡張する。

近年，自然言語処理の分野では，ラベルなしの膨大なテキストデータを使用して事前学習した言語モ

図 1 係り先推定モデル

デルを下流タスクでファインチューニングするアプ ローチが注目されている [25]. 談話関係分類タスク でも，BERT [8] が暗黙的な談話関係の分類に有効 であることが確認されており [26, 27], 本研究でも BERT 由来の文や単語の特徴量を利用する。

## 3 文間係り受け解析

提案モデルの概略図を図 1 に示す. 記事の夕 イトルをROOTとして加えた文系列 $S=\left(s_{0}=\right.$ ROOT, $\left.s_{1}, \ldots, s_{N}\right)$ を入力とする. 文の単語系列を BERT [8] に与え [CLS] トークンに対応する最上位層 の埋め込み表現を得る. これと文の補助情報（文書内文位置，文書内段落位置，段落内文位置）の埋め 込み表現を結合したべクトルを双方向の GRU [9] に 与える. $i$ 番目の文に対応する GRU の順方向と逆方向の隠れ層の出力を結合したべクトルを $\boldsymbol{h}_{i}$ とする. head selection モデル [10] に基づき $s_{j}$ が $s_{i}$ の係り先 である確率 $P_{\text {head }}\left(s_{j} \mid s_{i}, S\right)$ を以下の式で計算する.

$
\begin{aligned}
P_{\text {head }}\left(s_{j} \mid s_{i}, S\right) & =\frac{\exp \left(g\left(\boldsymbol{h}_{j}, \boldsymbol{h}_{i}\right)\right)}{\sum_{k=0}^{N} \exp \left(g\left(\boldsymbol{h}_{k}, \boldsymbol{h}_{i}\right)\right)} \\
g\left(\boldsymbol{h}_{j}, \boldsymbol{h}_{i}\right) & =\boldsymbol{v}_{h}^{\top} \tanh \left(\boldsymbol{U}_{h} \boldsymbol{h}_{j}+\boldsymbol{W}_{h} \boldsymbol{h}_{i}\right)
\end{aligned}
$

$v_{h}, U_{h}, W_{h}$ は重みパラメータである.

## 4 談話関係分類とチャンク検出

談話依存構造木をルートノードから葉ノード（以下, root-to-leaf) までの文系列に分解し，この文系列 に対する系列ラベリングにより，談話関係とチャン クラベルを推定する. 提案モデルの概略図を図 2 に 示す、マルチタスク学習の全体損失関数 $L_{\text {all }}$ を談話関係分類タスクの損失関数 $L_{r}$ とチャンク検出タス クの損失関数 $L_{c}$ の重み付き和で定義する.

$
L_{\text {all }}=\lambda_{r} \times L_{r}+\lambda_{c} \times L_{c}
$

$\lambda_{r}$ と $\lambda_{c}$ は各タスクの重み係数である.

図 2 談話関係・チャンク推定モデル

図 3 Sentence Encoder

談話関係は，子ノード文が親ノード文に対して どのような意味的関係にあるかを分類したもので ある. ラベルとして「開始」「結果」「原因」「背景」「呼応」「対比」「転換」「例示」「結論」「補足」があ り，これらを softmax で識別する。

チャンクは，親ノード文の内容を正しく理解する ために欠かせない情報が子ノード文に書かれてい る場合，これらをまとめて提示すべきであることを 表した文の集合である. チャンクのラベルとして， チャンクの開始を表す “B”，チャンクの内側を表す “I”，チャンクの終了を表す “E”，チャンクの外側を 表す“O”を定め，これらを softmax で識別する。

談話関係を識別する手掛かりとして接続詞な どの単語の情報が有効だと考えられる. そこで， Sentence Encoder では, BERT [8] の単語埋め込み表現と単語の補助情報の埋め込み表現を結合したもの に対して self-attention [28] を計算する。 さらに，得 られたべクトルと文の補助情報（文書内文位置，文書内段落位置，段落内文位置，談話依存構造木にお ける深さ）の埋め込み表現を結合する．また，ネガ ティブな事象の原因はネガティブであることが多 く，ポジティブな事象の原因はポジティブであるこ とが多い [29] というように感情極性情報も談話関係 の判断に有効だと考え，単語の補助情報として品詞 や活用形などの他，単語の感情極性情報を与える。
表 1 文間係り受け解析性能 : 位置情報の効果

図 4 文間係り受け解析性能: ジャンルごとの性能

## 5 実験

ニュース記事に対して談話依存構造を付与した データセット [7]を使用した. このデータセットは, 15 文から 25 文のニュース記事 1200 個（6 ジャン ル 200 記事ずつ）に対して，「係り先」「談話関係」「チャンク」を付与したデータセットである.

BERT の事前学習モデルとして，情報通信研究機構が公開しているモデルを用いた1). 使用した BERT モデルは，日本語 Wikipedia の全記事に対し て，Juman 辞書を用いた $\mathrm{MeCab}^{2)}$ [30] により形態素解析を行ったテキストを入力として，語彙数が 10 万語からなる $\mathrm{BERT}_{\mathrm{BASE}}[8]$ を学習したモデルである.

単語の感情極性の辞書として，『日本語評価極性辞書』 $[31,32]^{3}$ ，『単語感情極性対応表』 $[33]^{4)}$ ，『意見（評価表現）抽出ツール用モデル』）の評価表現辞書および極性反転語の辞書を用いた。

評価は 10 分割交差検定で行い，ジャンルごとに 記事数の 9/10 を訓練データ（1080 記事），1/10をテ ストデータ（120 記事）として分割した.

## 5.1 文間係り受け解析性能の評価

文の補助情報として文の位置情報を加えたときと 加えなかったときの Accuracyを表 1 に示す. 文の位置情報を加えたモデルは，位置情報を加えなかった モデルに比べて, Accuracy が 5\%以上高く，文の係 り先の推定において，文の位置情報が有効であるこ

図 5 文間係り受け解析性能: 記事の文数ごとの性能

とが分かった.

記事ごとに計算した Accuracy の分布をジャンル ごとに箱ひげ図で表したものを図 4 に示す. ジャン ルごとに比較するとスポーツ記事が最も高い性能を 示した。スポーツ記事は試合の流れなどが線形につ ながった分岐の少ない木構造が多いため，係り先が 推定しやすかったと考えられる。

記事の文数ごとの記事数および，各文数の記事ご とに計算した Accuracy の平均値を図 5 に示す. デー 夕数の多い 15 文や 16 文の性能が他に比べて高い傾向を示したが，データ数の少ない 20 文以上の文数 の記事においても Accuracy の減少は 5\%程度にとど まっていた。

## 5.2 談話関係分類性能の評価

データセットにおける談話関係の数に偏りがあ るため，1200 記事のデータを全て使用すると低頻度の談話関係の識別性能が低くなる．そこで，デー 夕数の偏りの影響を抑えるため，談話関係のそれぞ れについて，対象の談話関係を 1 つ以上含む記事の root-to-leaf 文系列をデータセットとした．各談話関係を含む記事の数を以下に示す。「結果」:250，「原因」:437,「背景」:800,「呼応」:578,「対比」:459,「転換」:205，「例示」:396，「結論」:685. この他，「開始」と「補足」があるが，「開始」は係り先がルート ノードである文に自動的に付与され，「補足」は上記談話関係に分類されなかったものに対して付与さ れるため，これらは評価対象から外した。

各談話関係の分類性能（F 值）を表 2 に示す. チャンク検出とのマルチタスク学習の結果は, $\left(\lambda_{r}, \lambda_{c}\right)=(0.9,0.1),(0.8,0.2), \ldots,(0.1,0.9)$ のうち，最大のものを示している. シングルタスクモデルに比 ベてマルチタスクモデルの方が高い性能を示した.
表 2 談話関係分類性能（F 値）

図 6 談話関係分類性能: ジャンルごとの性能

談話関係ごとに比較すると，「対比」が最も高い性能を示した.「対比」が付与されている文は，“一方” や“ただ”のような接続詞で始まることが多く，これ らが手掛かりになったと考えられる。一方，「例示」 を表す接続表現として“例えば”や“具体的には” な どが挙げられるが，実際に「例示」がアノテーショ ンされた文は，このような接続表現を伴うものが少 なく，「補足」との区別がつきにくかったため，「例示」の分類性能は低かったと考えられる。

ジャンルごとの各談話関係の分類性能を図 6 に示 す. データセットにおいて，国際記事は他のジャン ルに比べて「原因」が多く，スポーツ記事は「転換」 が少ないというように，ジャンルごとの談話関係の 出現頻度も性能に影響していると考えられる。

## 5.3 チャンク検出性能の評価

チャンクを少なくとも 1 つ含む 595 記事を使用し た. データセット [7]には，チャンクとして，強い チャンクと弱いチャンクの 2 種類がアノテーション されているが，これらを区別せずに推定した.

チャンク検出性能とチャンク文検出性能の 2 つの 観点で評価した. チャンク検出性能は，チャンクの 範囲が全て合っているものを正解としたときの $\mathrm{F}$ 值 である。チャンク文検出性能は，B,E ラベルを I ラ ベルに集約し，チャンクに含まれる文か否かの 2 值表 3 チャンク検出性能（ $\mathrm{F}$ 值）

図 7 チャンク検出性能: ジャンルごとの性能

ラベルに修正したときの，I ラベルに関する $\mathrm{F}$ 值で ある。なお，チャンクは 2 文以上からなるため，I ラベルが単体で出現していた場合は，ルールでO ベルに修正した.

チャンクをシングルタスクで学習したときの結果 と，チャンクと談話関係をマルチタスクで学習した ときの結果（ $\lambda_{r}=0.2, \lambda_{c}=0.8 ）$ を表 3 に示す. チャ ンクと談話関係をマルチタスクで学習したモデルの 方が高い性能を示した. 談話関係を一緒に学習する ことで，「対比」関係の文が弱いチャンクになりや すいなどの傾向を学習できたためだと考えられる。

ジャンルごとの性能を図 7 に示す. 国際記事は,弱いチャンクに出現しやすい“一方”や“ただ”など の接続詞が多く出現することから，チャンク検出性能が他に比べて高かったと考えられる．スポーツ記事は，試合の流れなどの長いチャンクが多く，チャ ンクを部分的には当てられているが，チャンクの 開始から終わりまでを当てるのが難しかったため, チャンク文検出性能に比べてチャンク検出性能が低 かったと考えられる。

## 6 おわりに

文の「係り先」「談話関係」「チャンク」を推定す るモデルを提案し，日本語のニュース記事に対して これらをアノテーションしたデータセット [7] を用 いて性能を評価した。

今後は，談話構造を制約とした要約 [34] や対話の アルゴリズムについて検討する。

謝辞本研究は，JST START（JPMJST1912）の支援 を受けたものである.

## 参考文献

[1]Yuta Kikuchi, Tsutomu Hirao, Hiroya Takamura, Manabu Okumura, and Masaaki Nagata. Single document summarization based on nested tree structure. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 315-320, 2014.

[2]Tsutomu Hirao, Masaaki Nishino, Yasuhisa Yoshida, Jun Suzuki, Norihito Yasuda, and Masaaki Nagata. Summarizing a document by trimming the discourse tree. IEEE/ACM Transactions on Audio, Speech and Language Processing, Vol. 23, No. 11, pp. 2081-2092, 2015.

[3]Jiacheng Xu, Zhe Gan, Yu Cheng, and Jingjing Liu. Discourseaware neural extractive text summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5021-5031, 2020.

[4]Song Feng, Kshitij Fadnis, Q. Vera Liao, and Luis A. Lastras. DOC2DIAL: a framework for dialogue composition grounded in business documents. In Proceedings of the 33rd Conference on Neural Information Processing Systems, p. 1.

[5]Mihai Rotaru and Diane J. Litman. Exploiting discourse structure for spoken dialogue performance analysis. In Proceedings of the 2006 Conference on Empirical Methods in Natural Language Processing, pp. 85-93, 2006.

[6]高津弘明, 福岡維新, 藤江真也, 林良彦, 小林哲則. 意図性 の異なる多様な情報行動を可能とする音声対話システム.人工知能学会論文誌, Vol. 33, No. 1, pp. 1-24, 2018.

[7]高津弘明, 安藤涼太, 本田裕, 松山洋一, 小林哲則. ニュー ス記事に対する談話構造と興味度のアノテーション〜 ニュース対話システムのパーソナライズに向けて〜. 言語処理学会 第 27 回年次大会 発表論文集, 2021.

[8]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[9]Kyunghyun Cho, Bart van Merriënboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using RNN encoder-decoder for statistical machine translation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1724-1734, 2014.

[10]Xingxing Zhang, Jianpeng Cheng, and Mirella Lapata. Dependency parsing as head selection. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, pp. 665-676, 2017.

[11]Peter Jansen, Mihai Surdeanu, and Peter Clark. Discourse complements lexical semantics for non-factoid answer reranking. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 977-986, 2014.

[12]Junxuan Chen, Xiang Li, Jiarui Zhang, Chulun Zhou, Jianwei Cui, Bin Wang, and Jinsong Su. Modeling discourse structure for document-level neural machine translation. In Proceedings of the 1st Workshop on Automatic Simultaneous Translation, pp. 30-36, 2020.

[13]Baptiste Chardon, Farah Benamara, Yannick Mathieu, Vladimir Popescu, and Nicholas Asher. Measuring the effect of discourse structure on sentiment analysis. In Proceedings of the 14th international conference on Computational Linguistics and Intelligent Text Processing, pp. 25-37, 2013.

[14]Shafiq Joty, Giuseppe Carenini, Raymond T. Ng, and Gabriel Murray. Discourse analysis and its applications. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: Tutorial Abstracts, pp. 12-17, 2019.

[15]Lynn Carlson, Daniel Marcu, and Mary Ellen Okurovsky. Building a discourse-tagged corpus in the framework of rhetorical structure theory. In Proceedings of the 2nd SIGdial Workshop on Discourse and Dialogue, pp. 1-10, 2001.

[16]Longyin Zhang, Yuqing Xing, Fang Kong, Peifeng Li, and Guodong Zhou. A top-down neural architecture towards textlevel parsing of discourse rhetorical structure. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6386-6395, 2020.

[17]Nan Yu, Meishan Zhang, and Guohong Fu. Transition-based neural RST parsing with implicit syntax features. In Proceed- ings of the 27th International Conference on Computational Linguistics, pp. 559-570, 2018.

[18]Qi Li, Tianshi Li, and Baobao Chang. Discourse parsing with attention-based hierarchical neural networks. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 362-371, 2016.

[19]Tsutomu Hirao, Yasuhisa Yoshida, Masaaki Nishino, Norihito Yasuda, and Masaaki Nagata. Single-document summarization as a tree knapsack problem. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1515-1520, 2013

[20]Yasuhisa Yoshida, Jun Suzuki, Tsutomu Hirao, and Masaaki Nagata. Dependency-based discourse parser for single-document summarization. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 18341839, 2014.

[21]Sujian Li, Liang Wang, Ziqiang Cao, and Wenjie Li. Text-level discourse dependency parsing. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 25-35, 2014.

[22]Katsuhiko Hayashi, Tsutomu Hirao, and Masaaki Nagata. Empirical comparison of dependency conversions for RST discourse trees. In Proceedings of the 17th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 128-136, 2016.

[23]An Yang and Sujian Li. SciDTB: Discourse dependency treebank for scientific abstracts. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 444-449, 2018.

[24]Yizhong Wang, Sujian Li, and Houfeng Wang. A two-stage parsing method for text-level discourse analysis. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 184-188, 2017.

[25]XiPeng Qiu, TianXiang Sun, YiGe Xu, YunFan Shao, Ning Dai, and XuanJing Huang. Pre-trained models for natural language processing: A survey. Science China Technological Sciences, Vol. 63, No. 10, pp. 1872-1897, 2020.

[26]Yudai Kishimoto, Yugo Murawaki, and Sadao Kurohashi. Adapting BERT to implicit discourse relation classification with a focus on discourse connectives. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 1152-1158, 2020.

[27]Wei Shi and Vera Demberg. Next sentence prediction helps implicit discourse relation classification within and across domains. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 5790-5796, 2019.

[28]Zhouhan Lin, Minwei Feng, Cícero Nogueira dos Santos, Mo Yu, Bing Xiang, Bowen Zhou, and Yoshua Bengio. A structured self-attentive sentence embedding. In Proceedings of the 5th International Conference on Learning Representations, pp. 1$15,2017$.

[29]Jong-Hoon Oh, Kentaro Torisawa, Chikara Hashimoto, Takuya Kawada, Stijn De Saeger, Jun’ ichiKazama, Yiou Wang. Why question answering using sentiment analysis and word classes. In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, pp. 368-378, 2012.

[30]Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, 2004.

[31]Nozomi Kobayashi, Kentaro Inui, Yuji Matsumoto, Kenji Tateishi, and Toshikazu Fukushima. Collecting evaluative expressions for opinion extraction. In Proceedings of the 1st International Joint Conference on Natural Language Processing, pp. 596-605, 2004.

[32]東山昌彦, 乾健太郎, 松本裕治. 述語の選択選好性に着目 した名詞評価極性の獲得. 言語処理学会 第 14 回年次大会発表論文集, pp. 584-587, 2008.

[33]Hiroya Takamura, Takashi Inui, and Manabu Okumura. Extracting semantic orientations of words using spin model. In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics, pp. 133-140, 2005.

[34]高津弘明, 安藤涼太, 本田裕, 松山洋一, 小林哲則. 談話構造制約付きパーソナライズド抽出型要約. 言語処理学会第 27 回年次大会 発表論文集, 2021.


# 疑似正解データを利用した修辞構造解析器の改善

小林尚輝 $\dagger$ 平尾努 $\S$ 上垣外英剛 $\dagger$ 奥村学 $\dagger$ 永田昌明 $\S$
†東京工業大学 §NTTコミュニケーション科学基礎研究所
\{kobayasi@lr., kamigaito@lr., oku@\}pi.titech.ac.jp
\{tsutomu.hirao.kp, masaaki.nagata.et\}@hco.ntt.co.jp

## 1 はじめに

文書はつながりのある言語単位（節や文，段落な ど）から構成されており，言語単位間の関係を明ら かにすることを談話構造解析という。談話構造が計算機により自動的に解析できるようになれば，要約 や翻訳など，文書を対象とした下流タスクの性能向上が期待できる. 修辞構造理論 [1] は談話構造を表現する手法の一つであり, Elementary Discourse Unit (EDU) と呼ばれる節相当の談話単位を終端ノードと した句構造木として文書を表す. 非終端ノードは連続する EDUから構成されるテキストスパン（以降， スパン）と対応し，子ノード間の核性（従属関係） ラベル，関係 (修辞関係) ラベル1)が割り当てられ る. 多くの修辞構造解析器は, 1) 木構造の推定 2)隣接するスパンの核性ラベルの推定 3) 隣接するス パンの関係ラベルの推定の 3 つの副問題を教師あり 学習を用いたモデルで解くことで実現される.

近年，ニューラルネットワークを用いることで修辞構造解析の性能が大きく改善されることが報告さ れている $[2,3,4,5]$. スパンを再帰的に分割するこ とでトップダウンに木を構築する Span Based Parser (SBP) [3] は，木の構造および核性ラベルの推定にお いて高い性能を達成しているが，関係ラベルの推定 にはまだ改善の余地がある.これは， 18 種類の関係 ラベルの分類を学習するにはデータサイズが不十分 であることが原因である．現存する最大規模のコー パスである RST-DT [6] でさえ 385 文書しかなく，十分な規模とは言い難い. しかし, 修辞構造を文書に 付与するためには専門知識と時間を要するため，人手でデータを増やすことは容易ではない.

こうした問題を解決するため，ニューラル機械翻訳で提案された逆翻訳による疑似正解データの活用 [7] にヒントを得て，既存の修辞構造解析器を用い
-\mathrm{S}$, $\mathrm{S}-\mathrm{N}, \mathrm{N}-\mathrm{N}\}$ の 3 通り，関係ラベルは 18 通り存在する.
}

図 1 重複する部分木（網掛け部分）の抽出

て自動的に作成された大規模な疑似正解データを 用いて SBP を事前学習 (pre-training) し，RST-DT を 用いて追学習 (fine-tuning) することで関係ラベルの 推定性能を改善する枠組みを本稿では提案する。ま た，疑似正解データを大量かつ高品質に獲得するた めに, 図 1 に示されるように複数の解析器が出力す る木の間で重複する部分木を疑似正解データとして 効率よく抽出するアルゴリズムを提案する。

RST-DT を用いた実験では，提案手法はSBP の関係ラベルの推定精度を大きく向上させ，核性と関係 ラベルの両方を考慮した評価指標である Full におい て世界最高性能を達成した。

## 2 関連研究

一般に修辞構造解析器は教師あり学習の枠組みで 訓練され, 解析方法としては遷移型とトップダウン 型がある。遷移型では，人手で設計された特徴量を 用いる手法 [8] と係り受け解析器から得られた特徴 ベクトルを用いる手法 [2] がある。また，BERT の

図 2 提案手法における学習の流れ

派生である SpanBERT により埋め込まれた特徴べク トルを用いる手法 [5] は，現時点で最も良い性能を 達成している.トップダウン型では，ポインター ネットを利用してスパンを分割し木を構築する手法 $[4,9]$ とスパンを再帰的に 2 つに分割することで 木を構築する手法 [3] がある.

修辞構造解析は RST-DT を正解データとして学習 されるが，RST-DT に含まれる文書は 385 文書のみ である. したがって，データ不足を解決するための 手法が盛んに研究されており, 修辞構造が付与され た複数言語のデータセットを使う手法 $[10,11]$, 感情分類を学習したモデルを用いて修辞構造木を構築 する手法 [12,13], 修辞構造に近い特性をもつ複数 のタスクを同時学習する手法 [14] がある。しかし， これらの手法は追加のコーパスを必要とする. 追加 のコーパスを必要としない手法として，既存の 2 つ の修辞構造解析器から得られた木の間で合意率が一定のしきい値を超えた木を擬似データとして利用す る手法 [15] がある. しかし, この手法の効果は低頻度ラベルに限定的である。

## 3 提案手法

ラベルなしデータセットに既存の分類器を用いて ラベルを付与し, 疑似正解データセットとして分類機を再学習する手法に Self-training や Co-training が ある．ラベルを付与する際に，複数の分類器の出力間で一致を取ることで疑似正解データセットの質を 保証するが，修辞構造解析が文書を対象とするタス クであるため，木の全体における一致が得られる文書は多くない．また，疑似正解データセットには，正解データセットに含まれるラベルの出現頻度にお ける偏りがより強く反映される.

これらの問題点を解決するために提案法は，1) 複数の解析器の出力する木の間で重複する部分木を擬似正解データとすることで信頼性の高いデータを大規模に構築し，2) 疑似正解データで事前学習した解析器を正解データで追学習することで疑似正解デー タのラベルの偏りが引き起こす影響を緩和する。

提案法の概要を図 2 に示す. まず，正解データを もとに学習された複数の解析器を用いて修辞構造木 つき文書データセットを得る。次に，得られた修辞構造木から，重複する部分木を抽出することで疑似正解データセットを得る. 最後に，疑似正解データ セットによる事前学習および正解データセットによ る追学習により解析器を訓練する。

## 3.1 疑似正解データの獲得方法

複数の解析器が出力した修辞構造木の間で一致す るすべての部分木を抽出する線形時間アルゴリズム を Algorithm 1 に示す. ${ }^{2}$ 修辞構造木は入れ子状のラ ベル付きスパンとして表現され，2分木であるため 非終端ノードは左右の子スパンを持つ. 終端ノード はスパンの長さが 1であることで判定される.

関数 Agree は与えられたスパンに含まれる部分木が重複した部分木であるかどうかを判定し, state にスパンをキーとしてその判定結果 $c_{\text {agree }}$ を保持す る. 任意のスパンが表す部分木が目的の重複した部分木であるかどうかを確認するためには，そのスパ ンの左右の子スパンが共に重複した部分木であり, かつ，そのスパン自身が全ての修辞構造木に含まれ ることを確認すれば良い. 左右の子スパンに対して は，再帰的に関数 Agree を適用することで，自身が 全ての修辞構造木に含まれることは，スパンの出現頻度の辞書 freq の値と修辞構造木の数 $k$ の一致によ り判定する。

次に，重複した部分木を関数 Extract によって抽出 し, subtrees に追加する. 深さ優先で木の探索を行 い，各スパンに対して関数 Agreeにより求めた $c_{\text {agree }}$ が真であればそのスパンを subtrees に追加し引き返 す.これにより，包含関係にある部分木は最大の木 のみが抽出される．また，抽出される木の大きさが

$l_{\min }$ より小さい場合，文書よりも極端に小さな木と なるため，学習の役に立たない可能性を考え抽出し ない. 一方で， $l_{\max }$ より大きい場合は解析器の学習時間が長くなるため, 左右の子スパンに対して再帰的に探索を行うことでより小さい木を抽出する.

## 3.2 解析器の選定

本研究では SBP の性能改善を目的とするため，疑似正解データの構築に利用する解析器には SBP と は異なる特性をもつ Two-Stage Parser (TSP) [8] を使用した. TSP は統計的モデルにおいて最も高性能で あり, 特に, 関係ラベルの正解傾向が SBP とは異な るため，TSPを利用して構築した疑似正解データを 事前学習に用いることで，SBP の関係ラベルの推定性能の改善が期待できる.

## 4 実験

## 4.1 データセット

正解データセットとして RST-DT [6] を使用した. RST-DT は学習データ 347 文書とテストデータ 38 文書に分割されており, 従来研究 [16] に従い学習デー タから開発データ 40 文書を分割した. EDU に関し ては正解の分割を利用した。

疑似正解データセットの作成に用いる文書デー タとしては CNNコーパス [17]を使用した． EDU の 分割には Neural EDU Segmenter ${ }^{3)}$ を使用し, Stanford CoreNLP toolkit ${ }^{4}$ を用いて前処理を行った. 作成さ れた疑似正解データセットに含まれる木の数およ びスパンの数を表 1 に示す. 提案法である部分木 を使用する Agreement Sub Tree (AST) の他に，単一 の解析器により木を付与した Document Tree (DT),複数の解析器の出力が完全に一致した木からなる Agreement Document Tree (ADT) を比較する.

## 4.2 パラメータ

抽出する木の大きさ: 最大 $l_{\text {max }}$ は RST-DT に含まれ る最大の木をもとに 240 とし，最小 $l_{\min }$ は 5 から 10 の間で実験を行い，開発データにおいて最も良い性能であった 9 を選択した。

Span Based Parser (SBP $)^{5}$ : 基本的なパラメータは 従来の値をそのまま利用し，隠れ状態の次元数のみ 500 次元へと変更した. また, 事前学習は 5 epochs,追学習は 10 epochs の学習を行った.SBP は文書か ら段落，段落から文，文から EDU の 3 段階に分けて 解析器を学習するD2P2S2Eにより最も良い性能を 達成しているが，本実験では D2E に対応する EDU を葉とした文書の木を構築する解析器のみを学習す る.しかし，解析する際に文と段落の境界を優先的 に分割する事により D2P2S2E に近い設定となるよ う工夫した。解析時は 5 つの解析器のアンサンブル を行うが，大規模データセットを用いた事前学習に

表 2 Micro-averaged $\mathrm{F}_{1}$ による性能比較

は時間がかかる．そこで，事前学習された 1 つ解析器を初期值として，異なる5つのモデルを追学習 により学習した。

Two-Stage Parser (TSP) ${ }^{6}$ : SVM の最適化に dual coordinate descentを用いているため, 初期値を変化 させることで複数の解析器を得て, 疑似正解データ セットの作成に用いた. 解析器の数 $k$ は 4 とした.

## 4.3 評価指標

従来研究 [18] に従い, 正解スパンと解析器の出力 スパン間の micro-averaged $F_{1}$ によりスパン (Span),核性 (Nuc), 関係ラベル (Rel), 核性・関係ラベル (Full)を評価する。

## 4.4 実験結果

表 2 に評洒結果を示す。疑似正解データを用いな いSBP と比較して，部分木を利用する AST のゲイ ンが最も大きく, Rel, Full がそれぞれ $3.2,3.0$ ポイン トであった. 一方, ADT は得られるデータサイズが 小さいためほとんど差がなかった. DT も AST と同様にゲインは得られたが，AST ほど大きくはない。 さらに，学習時間は表 1 におけるスパンの数に比例 するため, AST の 4 倍の学習時間が必要となる. こ れらの結果より, 複数の解析器の出力を部分木での 重複を見て疑似正解データとすることは性能改善 に有効であり, 学習時間の短縮にも役立つ. 一方, TSP w/ SpanBERT と比較すると, Nuc, Rel ではやや 劣るものの Full では勝り, 世界最高性能を達成し た.これは，提案手法における核性ラベルと関係ラ ベルの正解の一貫性が高いことを示している.

AST を対象としデータサイズを変化させた際の性能の変化を図 3 に示す. Span, Nuc には変化がほと んどなく，Rel, Full のみデータサイズに比例して性

6) https://github.com/yizhongw/StageDP

図 3 データサイズによる性能の変化

図 4 関係ラベルごとの性能比較

能が向上していることから，データを増やすことで 関係ラベルの推定性能はさらに改善することが期待 できる。 さらに，疑似正解データを構築するための 解析器として TSP w/SpanBERTを用いれば性能改善 はより顕著になるものと期待できる。

10 種類の関係ラベルを例としたラベルごとの性能を図 4 に示す. 提案した疑似正解データによる学習は，TSP の推定性能が高くSBP の推定性能が低い ラベル（例えば EXPL, COND, MANN など）におい て大きく性能を向上させることを確認した.

## 5 おわりに

本研究では, ニューラル修辞構造解析器のデータ 不足を解消するために. 複数の解析器の間で一致す る部分木を疑似正解データとし，それを用いて事前学習された解析器を正解データにより追学習する枠組みを提案した。部分木を用いた疑似正解データは 木全体を用いる場合と比較して高い性能を達成し， かつ短い時間で学習できる利点を示した. また，疑似正解データの作成に異なる分類器および解析手法 に基づく解析器を使用することで，関係ラベルの推定性能を大きく向上させた.

## 参考文献

[1]W.C. Mann and S.A Thompson. Rhetorical structure theory: A theory of text organization. Technical Report ISI/RS-87190, USC/ISI, 1987.

[2]Nan Yu, Meishan Zhang, and Guohong Fu. Transition-based neural RST parsing with implicit syntax features. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 559-570, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[3]Naoki Kobayashi, Tsutomu Hirao, Hidetaka Kamigaito, Manabu Okumura, and Masaaki Nagata. Top-down rst parsing utilizing granularity levels in documents. In Proceedings of the 2020 Conference on Artificial Intelligence for the American, pp. 8099-8106, New York, America, September 2020.

[4]Xiang Lin, Shafiq Joty, Prathyusha Jwalapuram, and M Saiful Bari. A unified linear-time framework for sentence-level discourse parsing. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4190-4200, Florence, Italy, July 2019. Association for Computational Linguistics.

[5]Grigorii Guz and Giuseppe Carenini. Coreference for discourse parsing: A neural approach. In Proceedings of the First Workshop on Computational Approaches to Discourse, pp. 160-167, Online, November 2020. Association for Computational Linguistics.

[6]Lynn Carlson, Daniel Marcu, and Mary Ellen Okurovsky. Building a discourse-tagged corpus in the framework of Rhetorical Structure Theory. In Proceedings of the Second SIGdial Workshop on Discourse and Dialogue, 2001.

[7]Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, Berlin, Germany, August 2016. Association for Computational Linguistics.

[8]Yizhong Wang, Sujian Li, and Houfeng Wang. A two-stage parsing method for text-level discourse analysis. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 184-188, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[9]Longyin Zhang, Yuqing Xing, Fang Kong, Peifeng Li, and Guodong Zhou. A top-down neural architecture towards textlevel parsing of discourse rhetorical structure. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6386-6395, Online, July 2020. Association for Computational Linguistics.

[10]Chloé Braud, Barbara Plank, and Anders Søgaard. Multiview and multi-task training of RST discourse parsers. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 1903-1913, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[11]Zhengyuan Liu, Ke Shi, and Nancy Chen. Multilingual neural RST discourse parsing. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 6730-6738, Barcelona, Spain (Online), December 2020. In- ternational Committee on Computational Linguistics.

[12]Patrick Huber and Giuseppe Carenini. Predicting discourse structure using distant supervision from sentiment. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 2306-2316, Hong Kong, China, November 2019. Association for Computational Linguistics.

[13]Patrick Huber and Giuseppe Carenini. MEGA RST discourse treebanks with structure and nuclearity from scalable distant sentiment supervision. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7442-7457, Online, November 2020. Association for Computational Linguistics.

[14]Chloé Braud, Maximin Coavoux, and Anders Søgaard. Cross-lingual RST discourse parsing. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 292-304, Valencia, Spain, April 2017. Association for Computational Linguistics.

[15]Kailang Jiang, Giuseppe Carenini, and Raymond Ng. Training data enrichment for infrequent discourse relations. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 2603-2614, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[16]Michael Heilman and Kenji Sagae. Fast rhetorical structure theory discourse parsing. CoRR, Vol. abs/1505.02425, , 2015.

[17]Karl Moritz Hermann, Tomas Kocisky, Edward Grefenstette, Lasse Espeholt, Will Kay, Mustafa Suleyman, and Phil Blunsom. Teaching machines to read and comprehend. In C. Cortes, N. Lawrence, D. Lee, M. Sugiyama, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 28, pp. 1693-1701. Curran Associates, Inc., 2015.

[18]Mathieu Morey, Philippe Muller, and Nicholas Asher. How much progress have we made on RST discourse parsing? a replication study of recent results on the RST-DT. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1319-1324, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.


# 市民意見収集のための「保育園」に関するツイート投稿者の 属性表現の抽出と属性の推定

柏野 和佳子 $^{1}$ 平本 智弥 関 洋平 $^{2}$
1 国立国語研究所 音声言語研究領域 2 筑波大学 図書館情報メディア系

## 1 はじめに

ソーシャルメディアのマイクロブログ（Twitter を 利用）の投稿から市民意見を収集し，自治体の行政 の課題を改善するための意見抽出の研究を進めてい る（関 2017，柏野ほか 2017，柏野ほか 2018，雨澤・関 2018，安藤・関 2018，柏野ほか 2020，石田ほか 2021).

柏野ほか(2019), 柏野ほか(2020)では, 2015 年〜 2018 年の間に投稿された，つくば市，水戸市，横浜市の三つの都市に住むユーザのツイートのうち, 「保育園」に関するものを対象に, 人手によりその内容 がポジティブであるのか, ネガティブであるのかを 判定し, ポジティブな表現, ネガティブな表現を抽出した結果を報告した. それら一連の評価表現の抽出に際し, 評価者であるツイート投稿者が, どのよ うな立場から評価しているのかが問題になった. た とえば，保育園の職員であるのか，保育園に子供を 通園させている親であるのか，これから子供を通園 させたいと思っている親であるのか，あるいは，そ れらには該当しないが，保育園問題に関心を寄せる 市民であるのか.

投稿者の属性は, アカウント名やユーザ名, プロ フィール情報からある程度自動で抽出可能ではあ

る.しかし, 筆者らは, それらが不明膫な場合や不十分な場合もあるため, ツイート本文のみで投稿者 の属性判断がどの程度可能であるかを人手により試行することとした. そこで, 収集したツイートを対象に，ツイート本文以外の情報を見ずに，投稿者の 属性の特定を可能にする表現を抽出し, それに基づ き属性を推定し, 本文以外にある情報と推定結果を 照合した。本稿ではその試行作業について報告す る.

また，親であることの特定を可能にする表現に我 が子の呼びかけ表現があるが，ツイート中には様々 なバリエーションが見られる。 それについてもくわ しく報告する.

## 2 分析対象のツイート

柏野ほか(2020)で用いた「っくば市保育園データ」 （つくば市民の Twitter アカウント 69 個による「保育園」に関する 2017 年 7 月 1 日 2018 年 3 月 31 日分のツイート 150 件）に加え，新たに収集したツイ 一トの一部（横浜市民の Twitter アカウントによる 「保育園」に関する 2010 年 2 月 1 日から 2020 年 4 月 30 日分のツイート， 6,202 件）のうち, さらに次 の順で絞ったものを本稿の分析対象用ツイート「横浜市新保育園データ」として用意した。
1. 2019 年 4 月 1 日 2020 年 4 月 30 日までに投稿されたツイート, 1,743 件.

2. 分析対象外と判断したアカウントのツイー 卜を除外. 計 1,215 件.

1 は, 人手で作業可能な範囲として最近の 1 年間 に対象を絞ったものである． 1 年のうち， 4 月は入園, 3 月は卒園, 10 月 12 月は次年度 4 月入園申し 込み次期， 1 月 2 月はその入園の合否が出る時期 である.また，2019年 10 月より，「幼保無償化」(幼监教育無償化）が開始された. そういった期間に投稿されたツイートが対象ということである.

2 は, 今回の分析対象を個人の属性表現抽出にす るため, ユーザ名よりあきらかに個人でないと判断 できるアカウントはあらかじめ除外した.たとえば，政治団体や商業施設等である.ただし, 非個人アカ ウントのうち, 幼稚園・保育園のアカウントは, そ こで園長などの個人的な意見が書き込まれるケース があるため残した。また，ユーザ名が個人商店名の 場合は，店主が個人的なツイートをすることもある ため, 属性判断作業の段階で対象外か否かの判断を 行うこととし, それらアカウントも残した. その結果, ここで削除したアカウントは 34 個, 残したアカ ウントは 94 個であった。

つまり, 属性判断作業の対象ツイートは次の表 1 のとおりである.
表 1 分析対象ツイート（件）

## 3 属性表現の抽出と属性の推定

## 3.1 作業手順

「つくば保育園データ」と「横浜市新保育園デー 夕」とを対象に，それぞれについて，人手により，次の手順にて, 属性表現の抽出と, 属性の推定, 推定結果の照合を行った.

1.プロフィールがたどれる情報（ユーザ名など） を非表示にし，ツイートをシャッフルする。

2. 属性表現（＝属性を推定可能にしている語句） をツイート本文から抽出. 1 ツイートから複得られる場合は, 複数抽出. (今回は最大で 3 つだった)
3. 2 から推定した属性を付与. ※以下, 「推定属性」と呼ぶ. 推定する属性候補が複数ある場合は，第 1 候補，第 2 候補として付与した. (今回は最大で 2 候補に収めた)

4. 非表示にした情報（ユーザ名など）を再表示 し，ツイートをユーザ名ごとの日付順にし，付与した属性と照合.

## 3.2 作業例

たとえば，図 1 では，「保育園の見学に行ってきま した」や「保育園落ちた」を属性表現として抽出し， そこから, 投稿者の属性を「保活中の親」(保活=保育園入園のための活動）や「保育園に落ちた親」と 推定した例である.

図 1 属性表現抽出と属性推定の例 2

## 3.3 属性表現の抽出例

たとえば，「保育園肾の親」と推定させる語・表現 の抽出例は次のとおりである.

(1)保育園（に）預ける

ツイート: 保育園預けてちょっと電車に乗って帰っ てきて保育園お迎えに行ってきただけでぐったり疲 れちゃった。身体が鈍ってる。もりもり仕事したい けど。

(2)保育園（に/へ/まで）お迎えに行く ツイート：早めに保育園へお迎えに行くと、まだ担任の保育士さんがいらっしゃるので、園での様子を 結構細かく聞けるというメリットはあるんですよね。 まあだいたいトラブルを聞く羽目になるんですが。

(3) [時期・時間表現]が／は保育園の [イベント名] (だ)

ツイート：今日は保育園のお檪しみ会 美桜 ver 今年で最後のお楽しみ会。相変わらず全開で楽しんで たなあ。ほんとよく笑う

「保活中の親」と推定させる語・表現の抽出例は 次のとおりである。

(1)保育園（の）見学（に）行く

ツイート：雨すごいけど、職場近くの保育園見学行 くんですけど。。○ やまないかな?

(2)保育園（に）受かりました，保育園（に）入れま した

ツイート：横浜市保育園第一希望受かった 一！！！！みんなが第一に選びそうなほうをあえ て第二にして、保育方針に差異はない姉妹園を第一希望に書いてよかった！ どうせ場所もたいして変 わらん、先生たちも毎年シャッフルされるから保育方針も変わらん！

ツイート：【報告】保育園入れました。今日、2 次募集の結果が来ました。ご心配くださったみなさん、 ありがとうございました。受かったのは小規模保育 だしいろいろ思うことはありますが、ひとまずほっ としています

（3)保育園（を）保留（する/中）

ツイート：保育園保留中。年度限定対象の保育園を 見学に行った。ほかに 2 組の親子が来てたーママ に一緒に入れたらいいです数って言われた。ほんと。 (4)保育園（に）落ちた

ツイート：すいません、いいねくれたので気になり ました。保育園どうでしたか？うちは落ちました…

## 3.4 属性候補が複数ある場合

属性候補が複数ある場合は，第 1 候補, 第 2 候補 として推定属性を付与した. たとえば，「今日からま た保育園がんばろう！」は，「保育園児の親」と「保育園関係者」の両方の可能性があり, 両方を付与し た. 細かなことを言うと，「親」と考えらえるものが 「親」ではなく「祖父母」の可能性もあるのだが，今回の対象ツイートで祖父母とはっきり確定できた ものはなく，そこは「親」としてのみ推定している.

先の図 1 で,「保育園落ちた」という属性表現に対 し, 「保育園に落ちた親」の推定属性を付与している 例を示した。ツイート上には，多く，「\#保育園落ち た」とハッシュタグ付きでも多用されるが，こちら は属性候補が 2 つ出てくる.

「保育園落ちた」は，2016 年 2 月に若名で投稿さ れた「保育園落ちた日本死ね」というタイトルのブ ログが話題になったことをきっかけに，実際に入園 できなかったことを直接指すだけでなく，保育園不足問題を表すフレーズとしても使われるのである. そのため,「\#保育園落ちた」という表現は,「保活中 の親」の可能性に加え，「待機児童問題に関心がある 人 (親以外)」の可能性もある属性表現ということに なる. よって, 図 2 のハッシュタグの 2 例は, 2 つ の属性を候補として付与している.

「今日も保育園のことで区役所へ。身分証明を持つていけば，自分のランクを教えてくれるらしい\#保育園落ちた \#横浜市」属性表現

推定属性「保育園に落ちた親」た

「待機児童問題に関心がある人（※保育園に 落ちた覣以外）」

「\#保育園落ちた\#待機児ゼロ https://t.co/Wq4fLtdpPC」」

属性表現

推定属性「保育園に落ちた親」

「待機照童問題に関心がある人（※保育圈に 落ちた視以外）」

図 2 属性表現抽出と属性推定の例 2

図 3 図 2 の 2 例目ツイートの参照先図 2 の 1 例目は, 図には示していないが, 「保育園 のことで区役所へ」（推定属性 1 「保育園北の親」,推定属性 2「保活中の親」）とあわせると, 「保育園 に落ちた親」と判断可能な例である.「\#待機児ゼロ」 というハッシュタグの並びや, さらに, リンク先 (図 3）まで見ると，保育園不足問題を意図していること がわかり，「待機児童問題に関心がある人(親以外)」 と判断できる例である.

## 3.5 作業結果

属性表現の抽出数, 付与した推定属性数および,属性判断作業時に非表示にしていた情報（ユーザ名 など）と照合した結果を，表 2 に示す。

表 2 属性表現抽出と属性推定の照合結果

 &  & \multicolumn{1}{|c|}{ 正解 } & 不正解 & 保留 & 正解率 \\

8 割前後と，高い正解率を得ることができた.

## 4 我が子の呼び方表現

親であることの特定を可能にする，我が子の呼び かけ表現を抽出した。これには，柏野ほか(2020)で用 いた「つくば市保育園データ $2 」$ 」(2018 年 4 月 1 日 ２018 年 10 月 31 日分のツイート 109 件)，「水戸市保育園データ」(2017 年 7 月 1 日〜2018 年 3 月 31 日分のツイート 139 件）も対象ツイートに加えて行っ た。抽出結果は次のとおりである。

（1）「子」「子供」を含むタイプ うちの子，我が子，わが子上の子，下の子，末っ子子供たち

（2）生まれた順（序列）がわかるタイプ 長男, 長女, 二番目

※（1）の「上の子」「下の子」「末っ子」も， ここにも含まれる.

（3）「娘」「息子」を含むタイプ

娘，息子，うちの娘，うちの息子，娘ちゃん，息子くん，娘氏

（4）「娘」「息子」のカタカナ表記や変形

ムスメ，ムスコ，むちゅめ，ムスッコ

※ほかの呼び方と比べて，投稿者=その子供 の親である可能性が高い印象.

（5）ニックネーム「+ちゃん」

例：ふうちゃん

(6) 本名「+ちゃん」「+君」

例: 楓音, 太良君

## （7）「姫」「王子」を含むタイプ

姫, 王子

なお，「うちの姫」「王子様」といった例も，分析対象外のツイートを広く検索すれば見つかりそうで はあるが，ざっと検索したところ， ペットの呼びか け例が多い印象を得た。

また, 今回の調査対象中にあった, あるアカウン トの他ツイートも追跡調査したところ, 次のような 変遷例も得られた。あわせて報告する.

〔2014 年〕息子

〔2015 年〕息子氏、息子達

〔2017 年〕長男

〔2018 年〕末っ子、上の子ら、赤子

〔2019 年〕息子たち、息子 s、息子 1 st、息子 $2 n d$

「息子が増えていった結果，それぞれの「息子」

イートならではのユニークな表現方法と言える.

## 5 おわりに

ツイートの投稿者の属性は，アカウント名やユー ザ名, プロフィール情報に，「1 児の母」「2 児の父親」「保育士」「市会議員」などと示されていること があり，「保育園」のツイートがどのような立場で されたものか判断できる場合はある. しかしなが ら，それらの情報だけでは不明瞭であったり不十分 であったりする場合もあるため, ツイート本文のみ で投稿者の属性判断がどの程度可能であるかを人手 により試行した. その結果, 8 割近く判断可能であ ることを示した。

しかしながら, 人手作業には時間と量の限界があ るため, 今後は, これらの人手による試行結果を, どのように自動抽出に結び付けていけるかを検討す る必要がある. 今後の課題である.

## 謝辞

本研究は，JSPS 科研費 $19 H 04420$ の助成を得て います。

## 参考文献

安藤有生, 関洋平(2018)「市民のツイートを用いた 分散表現に基づく地名に対する市民の関心の傾向 の可視化」『知能と情報』vol.30,no/6, pp.804814.DOI: 10.3156/jsoft.30.6_804

石田哲也, 関洋平, 柏野和佳子, 神門典子(2021 予定)「複数の属性の関連性に着目したソーシャル メディアからの市民意見抽出」『第 13 回データ工学と情報マネジメントに関するフォーラム

(DEIM 2021)』.

柏野和佳子，立花幸子，平本智弥，関洋平(2017)

「市民意見の収集システムで得られたツイートか らの「保育園」「教育」に関する意見抽出」『言語処理学会第 23 回年次大会発表論文集』pp.533-

536.

柏野和佳子，平本智弥，関洋平(2018)「市民意見の 収集システムで得られたツイートからの道路・交通に関する意見抽出」『ことば工学研究会資料』 vol。57, pp.13-21.

柏野和佳子，平本智弥，関洋平(2019)「市民意見収集のためのツイート表現の分析」『電子情報通信学会技術研究報告』vol .118, no.516, pp.95-98.

柏野和佳子，平本智弥，関洋平(2020)「市民意見収集のための「保育園」に関するツイートからの評価表現の抽出」『言語処理学会第 26 回年次大会発表論文集』pp.1313-1315.

関洋平(2017)「自治体における市民意見を利用した 新たな気づき」『スマートシティ「都留市モデ ル」シンポジウム』

南澤亜樹，関洋平(2018)「市民のツイートを行政課題ごとに分類するための関連語の抽出」『第 10 回 データ工学と情報マネジメントに関するフォーラ ム（DEIM 2018)』J6-2


# 近現代日本語の意味変化分析のための単語データセット構築の試み

間淵洋子小木曽 智信
国立国語研究所 言語変化研究領域
\{mabuchi, togiso\} @ ninjal.ac.jp

## 1 はじめに

近年，日本語のコーパスが相次いで構築・公開さ れたことにより，コーパスを用いた日本語の実証的研究が盛んに行われている。中でも, 国立国語研究所構築の『現代日本語書き言葉均衡コーパス』(以下， $\mathrm{BCCWJ}$ ) や『日本語歴史コーパス』(以下, $\mathrm{CHJ}$ )「明治・大正編」を用いた近現代日本語を対象とした研究は, データ量や文章バリエーションの豊富さを背景に，数多く行われており，BCCWJ，CHJ「明治・大正編」を複合的に利用することで，近代から現代 にかけての日本語の通時的変遷を見出そうとする研究も見られる (間淵 2017[1], 高橋・東泉 2018[2],市村 2019[3], 馬場 2019[4]等) .

一方, 自然言語処理の分野では昨今, 言語変化を 検出する手法が多く提案されており, 英語・ドイツ 語・ロシア語などでは, 提案手法と共に通時的変化 を生じた単語のリストが共有されている (Kulkarni et al. 2015[5], Schlechtweg et al. 2018[6], Rodina et al. 2020[7]).これらのリストは, 新たな手法の評価等に 利用することができ, 言語変化の検出という自然言語処理の一課題に対して有用なリソースとして機能 している.

そこで本研究では, 両研究領域にわたって近現代日本語の意味変化分析に利用可能な単語データセッ 卜を構築することを目的として, 意味変化が想定さ れるいくつかの語を対象に，コーパスでの使用実態調查を行う。コーパス調查に基づき，これらの語の 通時的変化の様相を明らかにした上で，言語変化の 生じた単語のリストを試作する。

## 2 研究方法

## 2.1 調査対象語

本研究では, 日本語学および自然言語学の両分野 において利用可能な単語データセットの構築を目指 すことから，データセットを構成する単語の条件と
して, (1)使用頻度の高さ, (2)近代から現代にかけて （特に戦前・戦後間）の意味変化の大きさ，の 2 点 を定めた上で，この条件を満たす近現代日本語を探索するために，コーパス調査の対象とする候補語リ ストを作成した。

調查対象語のリストは，CHJ「明治・大正編」と BCCWJ の網羅的な調査に基づき近現代漢語の表記・品詞用法の実態把握を行った間淵 2018[8]の結果を 元に，近代から現代にかけて品詞用法の使用割合に 大きな変化が見られた漢語を中心として，意味変化 の認められる語を選定し, ジャパンナレッジ版『日本国語大辞典』「語誌」欄で戦前・戦後間での意味変化に触れている語などを適宜追加した。

【和語】旨い，心持ち，衣こだわる，痺れる，迧も，坩堝

【漢語】愛人，管制，貴族，教授，教養，結構，広告，故障，自然，住居，渋滞，柔軟，主婦，障害，情報，女性，尋常，精々，設備，全然，団塊，端末，適当，溌剌，非常，風俗，婦人，普段，普通，明細，免許，遊撃, 優勝, 要領, 了解

【外来語】カフェ, ケース, スーパー, ポイント, ボ タン, モデル

## 2.2 コーパス

前節に示した調查対象語の使用実態を把握するた めに使用するコーパスの概要を表 1 に示す.

表 1 使用コーパスの概要

 \\

明治・大正期における使用実態調查には CHJ「明治・大正編 I 雑誌」を用いる. 明治・大正期に続く 昭和期以降の使用実態調查には, 現在筆者らが構築 を進めている『昭和平成書き言葉コーパス』(以下 SHC, 近藤他 2020[9]）の雑誌データの一部を用いる. このコーパスは, 既存の近代語のコーパスである $\mathrm{CHJ}$ 「明治・大正編」と, 現代語のコーパスである BCCWJ の間にある時間的空隙を埋め, さらに BCCWJ 以降現在までの期間のデータを追補するこ とを目的として設計したコーパスである. 現況で整備が進んでいる 1997 年までの雑誌データを利用す る. さらに, 現代の使用実態を BCCWJ 出版サブコ ーパス・雑誌により確認する。これらのコーパスを 複合的に用いることで, 近代語から現代語にかけて 生じている意味変化の実証的な分析が可能となる. なお, 表 1 に示した「時代区分」は, 言語変化が 時代背景や社会情勢に大きく影響されることを鑑み，日本史上の区分に大きく分けた上で，コーパスの収録語数に大きな偏りが生じないよう考慮した任意の 区分である.

## 2.3 意味分類

次に,コーパスで取得した用例の分析方法について 述べる.

本研究では, コーパスの調査に基づき, 通時的な意味変化の様相を明らかにしようとするものであるた め, まず必要となるのは, 各用例がどの意味で用い られているかを判断することである。ここで問題に なるのは，各語の意味をどのように，またいくつに 并別するかという点である.

例えば，和語「痺れる」を例に，辞書による意味の 捉え方・分類のし方を確認すると，辞書の性質によ って差異があることが分かるi.

## ロデジタル大辞泉

1 からだの一部または全体の感覚が失われ、自由がきかなくなる。「正座して足が一・れる」 2 電気などを感じてびりびりふるえる。「感電 して一・れた」

3 心を奪われてうっとりとする。強烈な刺激 を受けて陶酔する。「ジャズ演奏に一・れる」

■プログレッシブ和英中辞典

I〔麻疩(まひ)する〕 become numb；〔電気で〕 receive an electric shock

II【陶酔する】 be enraptured, be bewitched, be fascinated ((by))

本研究では, 近代から現代にかけての変化が大き く捉えられる点を重視するため，できるだけ大まか に意味を捉えることとし, 可能な限り, 原義的（古 い用法, 近代または戦前に多い用法) か, 転義的（新 しい用法, 現代または戦後に増えている用法）かの 観点で意味分類を行うこととする。 すなわち，上記「痺れる」の例では, 『プログレッシブ和英中辞典』 と同様, 肉体的な作用 (原義, 例 1）と心理的な作用 (転義, 例 2）の 2 分類で用例分類を行う ${ }^{i i}$.

（例1）急に降りようとして立上ると、復た先日重かつた足がしびれて利かないので、暫 く擦つて居るとなほつた。

〈60M 太陽 1925_03058，42480〉

(例 2) 赤と黒のコントラストにしびれちゃった。

〈PM11_00842, 31800>

## 3 調査結果

## 3.1 頻度変化と意味変化

2 節に示した調查対象語のコーパス調查から, ま ず頻度の変化に着目して結果を確認する。付録とし て, 調查対象語のコーパスの収録語数（空白，補助記号, 記号を除く) 100 万語あたりの調整頻度 (PMW) を掲載し, 以下の議論ではこれを用いるが，紙幅の 都合上，和語・外来語を中心に述べる.

和語 和語の候補語のうち,「㾝れる」「坩堝」は，低頻度で推移しているため, データセットとしての条件を 満たさない. 頻度の下降が見られる「心持ち」は, 戦前 (昭和前期)まで[気立て・気持ち]の意味での用法が見 られるが, 戦後はこれが衰退し, 程度がごく僅かである ことを表す副詞としての用法で残存するものと思われる。

(オンライン検索アプリケーション『中納言』でん の「位置検索」により当該用例の再検索が可能。)
同様に下降する「衣」は, 原義である[衣服・着物]の意 が衰退し, [揚げ衣]の意での用法が保たれる. 頻度の 上昇の見られる「こだわる」は, 従来の[執着する] 意が マイナスの意味を持って用いられる一方, プラスの転義 (意味の上昇)として, [妥協せず追求する] 意を獲得す ることで頻度を上昇させていると考えられる。[味覚的な 良さ]に加えて, より抽象的な [程度の高さ]の意を獲得 した「旨いも同様である.

図 1 和語の頻度推移 (PMW)

外来語 外来語語彙は,いずれも明らかに頻度の上昇が見られた.「ボタン」「ケース」「ポイント」「モデル」等,意味の一般化$\cdot$抽象化による意味の拡張・多義語化が，頻度上昇の要因となっているものと考えられる.

図 2 外来語の頻度推移 (PMW)

## 3.2 データセットの選定

前節までの議論から，侯補語のうち，頻度条件を 満たさないもの, 意味分類が困難なもの, 意味分布 の通時的な差が大きくないものを除き，意味変化分析に適した単語データセット試作として，以下のリ ストを提示する。【和語】旨い，心持ち，衣ここだる，迧も

【漢語】管制, 貴族, 教授, 教養, 結構, 故障, 自然,住居，渋滞，柔軟，障害，情報，女性，尋常，精々，設備, 全然，適当，非常，風俗，普通，免許，優勝,要領, 了解

【外来語】ケース, ポイント, ボタン, モデル

## 4 おわりに

日本語研究，自然言語処理の両領域にわたって，近現代日本語の意味変化分析に利用可能な単語デー タセットを構築することを目的として，コーパスで の使用実態調查に基づき，通時的な意味変化を生じ た単語データセットを試作した。

本研究では，意味変化をできるだけシンプルに捉 えるために，原則として原義・転義の 2 分類に意味分類し意味分布とその推移を確認したが，そのため にやや強引な用例分類を行った面もある. 今後, こ の単語データセットを意味分析の数理的研究や, 言語変化の検出モデルの構築などに活用することで， データセットの問題点の把握, 見直しなどを行って $い<$.

## 付記

本研究は, 国立国語研究所共同研究プロジェクト 「通時コーパスの構築と日本語史研究の新展開」, 同「現代語の意味の変化に対する計算的・統計力学的 アプローチ」, JSPS 科研費 19H00531, JSPS 科研費 20K13060 による研究成果の一部である。

## 参考文献

[1]間淵洋子.近代雑誌コーパスにおける漢語語彙の 特徴一BCCWJ との比較から一. 国立国語研究所論集, 13, 2017, 143-166.

[2]高橋圭子・東泉裕子. 近現代語コーパスにおける 「(さ)せていただく」の用法.コミュニケー ション文化, 12, 2018, 177-192.

[3]市村太郎. 副詞「ほんとうに」の展開と「じつ に」「まことに」一近代語から現代語へ一.国文学研究, 188, 早稲田大学国文学会, 2019, 1-15.

[4]馬場俊臣. 助詞・助動詞で始まる複合接続表現の 文体差. 北海道教育大学紀要(人文科学・社会科学編), 70 (1), 2019, 1-11.

[5]Vivek Kulkarni, Rami Al-Rfou, Bryan Perozzi, and Steven Skiena. Statistically significant detection of linguistic change. Republic and Canton of Geneva: CHE, In Proceedings of the 24th International Conference on World Wide Web, WWW '15, 2015, 625-635. International World Wide Web Conferences Steering Committee.

[6]Dominik Schlechtweg, Sabine Schulte im Walde, Stefanie Eckmann. Diachronic Usage Relatedness (DURel): A Framework for the Annotation of Lexical Semantic Change. Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), 2018,
169-174. Association for Computational Linguistics.

[7]Julia Rodina, Andrey Kutuzov. RuSemShift: a dataset of historical lexical semantic change in Russian. Proceedings of the 28th International Conference on Computational Linguistics, 2020, 1037-1047. International Committee on Computational Linguistics.

[8]間淵洋子. 近代漢語における表記・語法の多様性 とその変化に関する計量的研究: 現代語確立期にみる言語変化の様相と背景. 明治大学, 2018 .

[9]近藤明日子，小木曽智信，高橋雄太，田中牧郎，間淵洋子.「昭和・平成書き言葉コーパス」 の設計. 日本語学会 2020 年度秋季大会予稿集, 日本語学会, 2020 .

## 付録 近現代日本語意味変化分析のための単語データセット頻度表(PMW)

 & 平成前期 & 平成後期 & 変化類型 \\


# 都道府県議会会議録コーパスの拡張一2011 期と 2015 期の比較一

内田ゆず
北海学園大学
yuzuahgu.jp
}

高丸圭一
宇都宮共和大学
takamaruekyowa-u.ac.jp
}

乙武北斗
福岡大学
ototake@fukuoka-u.ac.jp
}

木村泰知
小樽商科大学
kimura@res.otaru-uc.ac.jp

## 1 はじめに

近年，インターネットに公開された議会会議録 を利用した学術研究がさまざまな分野で盛んに 行われている [1][2]. 自然言語処理分野ではこれ までに要約 [3], トピック分析 [4], 意見抽出 [5] な どの研究が行われている. 議会における発言の記録である会議録は，地方自治におけるファクト チェックのための一次情報としての利用が期待さ れる. これを指向して，NTCIR-15 QA Lab-PoliInfo-2 では，東京都議会を対象として，議案への賛否推定 (Stance classification)，質問と答弁の要約（Dialog summarization）などのタスクが行われた [6].

筆者らは横断的に収集した会議録から「いつ」「ど こで」「誰が」「何を」発言したのかを明らかにする ために，すべての発言文にタグを付与した，地方議会会議録コーパスの構築を進めてきた. 種々の 分野で会議録を研究対象とするとき, 各種の統計量（たとえば，都道府県 P での 1 会議あたりの平均発言者数）を算出したり，ある一定の条件下での 発言（たとえば，単語 $\mathrm{w}$ を含む議員 $\mathrm{A}$ の発言）を 抽出したりするという利用方法が考えられる. こ れを実現するためには，収集範囲および収集期間 の統制がとれたコーパスサブセットが必要である. そこで，収集範囲を「全国 47 都道府県議会の本会議」，収集期間を「統一地方選挙を起点とした 4 年間」と定めた都道府県議会会議録コーパスサブセッ トを順次構築している. 2017 年に最初のサブセッ トである「47pref_2011-2015」（2011期と呼ぶ）およ び横断検索システム「ぎ〜みる」を公開した．新た に 2015 年 4 月から 2019 年 3 月までの 4 年間の会議録を収録した 2 期目（2015 期と呼ぶ）のサブセット 「47pref_2015-2019」を構築した. 本稿では，2011 期 と 2015 期のサブセットを比較し，議員の構成，発言量，キーワードの発言回数などについて述べる.

## 2 都道府県議会会議録コーパスの 概要

## 2.1 データの収集

収集対象は全国 47 都道府県議会の本会議（定例会および臨時会）であり，収集期間は 2015 年 4 月 の統一地方選挙から 2019 年 4 月の統一地方選挙の 前（2019 年 3 月）までの 4 年分である.

都道府県議会はすべて，それぞれの自治体の Web サイトに会議録の全文検索システムを公開してい る. 各全文検索システムに対応するクローラを作成 して，会議録データの収集を行った. ただし，自治体ごとに検索システムや表示部分をカスタマイズし ているため個別対応が必要であり，部分的に人手に よる作業も交えながら収集作業を行った。

収集された全国 47 都道府県の本会議会議録を句点で 1 発言ごとに分割し，それぞれの発言の発言者名を抽出した。そして，会議の名称や開催日等の情報と併せて 1 発言を 1 レコードとして格納した（詳細は [7] 参照)。総収録データは $3,873,026$ レコード であり，発言の総文字数は $248,281,520$ 文字である.

## 2.2 発言者の同定

会議録から抽出した発言者名は，同一人物でも複数の表記をもつことがある．例えば，衛藤明和氏は 「衛藤明和議員」「衛藤明和文教警察委員長」「衞藤明和土木建築委員長」のように肩書が異なる表記 や，旧字体を使用した表記をもつ。さらに，「岩切達哉／岩切達郎」「有岡浩一／有岡浩一」「太田清海 /太田晴海 $\rfloor^{1)}$ のように，会議録作成者の誤入力によ る表記摇れも存在する。

議会での発言を議員単位で分析するためには，発言者を正確に同定する必要がある．したがって，発言者名が一つに定まらない発言者については，人手

で名寄せの作業を行った. 具体的には，発言者の氏名に付加された敬称や肩書, 議席番号等を正規化 した。また，旧字体や通称を用いる議員への対応 や，会議録作成者による記載ミス等の修正も行っ た. 名寄せの結果得られた発言者数は合計 7,606 名 であった。

## 2.3 発言者の属性情報付与

会議録には議員の発言の他にも議長の発言（議事進行）や首長の発言，職員の発言，参考人の発言も 記録されている. 本コーパスには「発言者の役職」 フィールドが設けてあり，各発言に役職の情報を付与している. この情報を利用すると, 議会での立場 の違いによる発言の特徴を分析できる。

また，議員については生年や性別，対象行政区 （選出選挙区）といった属性情報が分かると, 発言内容の分析や言語的特徴の分析にとって有益であ ると考えられる. しかし, これらの情報は会議録中 には記載されていないため，選挙の立候補者情報が まとめられた Web サイトである「政治山 $\left.{ }^{2}\right.\lrcorner$ から収集し，発言を格納するテーブルとは別のテーブルに 格納した. さらに，議員には固有の IDを付与した.議員 ID によって, サブセット間で議員の発言を追跡することが可能となる.

以上の処理により，2015 期は，2,745 名の議員, 55 名の知事, 157 名の副知事, 398 名の議長が発言 していることが明らかになった。

## 32011 期と 2015 期の比較

2011 期，2015 期のデータについて，議員の構成,発言量，キーワードの発言回数の観点で比較する. なお, 岩手県, 宮城県, 福島県, 茨城県, 東京都,沖縄県は統一地方選挙とは異なる日程で選挙が行わ れることに注意が必要である.

## 3.1 議員の構成

全国の都道府県議会議員の定数を合計すると 2,686人だが、改選や補欠選挙による議員の入れ替 わりが生じるため 2015 期の議員は 2,863 人存在す る. 改選による入れ替わりが 100 名, 補欠選挙によ る入れ替わりが 77 名である.

議員の年齢 3$)$ ・性別の構成を表 1 に示す. 表中の 括弧内の数字は，2011 期からの増減を表している。

高齢化が進んでいること，女性議員の割合はやや増加 $(8.7 \% \rightarrow 10.3 \%)$ していることが明らかになった. また，2011 期のデータを収集した時点では政治山か ら生年の情報を取得できない議員が 76 名存在した が，2015 期では 0 名であった. 地方議員の Web 上 での情報発信が促進されたことがうかがえる.

## 3.2 発言量

議会や議員の活動を可視化するために，発言量を 都道府県別，属性別，個人別に分析する．本会議の 開催回数が異なるため一律に比較はできないが，発言量は議会の活発さのおおよその目安になる. 都道府県議会会議録における文字遣いは「発言記録作成標準 [8]」などによって標準化されている. した がって, 各都道府県で表記の方法が大きく異なるこ とはないと判断し，分析の単位を文字とする。

全体 2011 期と比較して，総発言文字数は 252,364,746 から 248,281,520へと微减した. 各都道府県の本会議における総発言文字数を図 1 に示す.発言数が最も多いのは鳥取県で，最も少ない山形県 の約 4.5 倍に達する.これは，2011 期とほぼ同じ結果である.

2011 期と 2015 期を比較して発言文字数が大きく 変化したのは, 大阪府 (25.1\%減), 兵庫県 $(24.5 \%$増), 長崎県 (35.2\%減), 沖縄県（34.9\%増）であっ た. 役職ごとに発言文字数を集計すると，大阪府 は，知事の発言文字数が 611,715 から 247,961 と大 きく減少している. 沖縄県では，職員の発言文字数 の増加が顕著である．沖縄県は，2011 期の職員の 発言文字数が $3,088,869$ で全都道府県議会中最多で あったが，2015 期ではさらに 4,807,870へと増加し ている.

属性別 議員の属性別に発言の平均文字数を集計 した結果を表 2 にまとめる. 2011 期と 2015 期を比較すると，高齢の男性議員の発言量が顕著に少ない 点，女性議員の発言量が多い点は共通している. 発言量に大きな変化があったのは 45-64 歳の女性議員 と 65-87 歳の女性議員である. 45-64 歳の女性議員 の発言量は減り，65-87 歳の女性議員の発言量は増 えている. 2015 期に 100,000 字以上発言している女性議員 32 名のうち，23 名は 2011 期でも議員を務 めている.この 23 名について，2011 期での発言文字数を遡って調査したところ，89,107〜311,442 字 であった. 2011 期で活発に発言した議員は 2015 期 でも発言量が多いといえる. 2011 期の 25-44 歳と
表 12015 期の議員の構成（括弧内は 2011 期からの増減）

図 1 各都道府県議会における発言文字数

45-64 歳の女性議員の発言量の傾向と併せて考える と，女性議員の発言量の変化は議員が年齢を重ねた ことが要因だと考えられる。

個人別 発言文字数ごとの議員数を図 2 のヒスト グラムに示す. 表 2 によると全議員の平均発言文字数は 42,661 字であり, 多くの議員が 10,000 字以上発言している。一方，発言が少ない議員（1,000 字未満）も119名存在する. そのうち，発言文字数が 0 文字，つまり会議録中に発言が全く記録されてい ない118名について詳しく調査したところ，21名は コーパス収集期間と任期が一致しておらず4)，21名 は議長として議事進行を行っている期間があった。 したがって，それらの 42 名を除いた 76 名は 4 年間 の任期中に本会議で一度も発言していないことにな る.このうち，男性は 73 名，女性は 3 名である.

無発言の 76 名について当選回数を調査した結果 を図 3 に示す。比較のために 2015 期に実施された 選挙で当選した議員の当選回数も併せて示してい る. 当選回数のデータは政治山, Web サイト「読売 オンライン」の地方選挙情報ページ5)などから取得 した。全議員では当選回数が増えるほど人数は減る 一方，無発言の議員は当選回数が多い傾向があるこ とがわかる. 2011 期においても，発言のなかった 59 名のうち 58 名は多選（4 回以上）の男性議員で あり，同様の傾向がみられた。

図 2 発言文字数別議員数

## 3.3 キーワードの発言回数

我々はこれまでに，2011 期のデータを対象とし て，議員の属性と政治課題に関するキーワードの出現回数の関係を調査し，特定のキーワードの出現傾向が議員の性別や年齢層によって大きく異なること を明らかにした [9]. 2015 期のデータについても [9] と同じキーワードを用いて同様の分析を行う。

図 4 は各キーワードの「男性議員を 1 とした時の 女性議員の発言回数の割合」を示している. 2011 期 で女性議員が「増税」というキーワードを発言す る回数は，男性議員の 4.4 倍であった. 2015 期では さらにその差が開き，6.5 倍となっている。「貧困」「就労支援」など，男性の発言割合が相対的に増え ているキーワードも存在するが，生活に密着した政治課題への言及は依然として女性議員による言及が
表 22011 期と 2015 期の議員属性別平均発言文字数

図 3 議員の当選回数

図 4 性別によるキーワードの出現割合の比較

多い。男性議員は「地方分権」「高速道路」「インフ ラ」「観光」など，行政や産業分野への言及が多く， これも 2011 期と同様の特徴である.

以上より，議員の性別によって発言内容の特徴が 異なることが示唆される。また，女性議員の数が圧倒的に少ないため，議会で取り上げられる政治課題 に偏りが生じている可能性がある. 今後，議員の年齢層による発言内容の特徴も分析したい.

## 4 おわりに

2015 年 4 月から 2019 年 3 月に開催された全国 47 都道府県議会の会議録データを収集し，都道府県議会会議録コーパスを拡充した. 本稿では, 新たに追加したデータの概要と，2011 期と 2015 期のデータ の比較について報告した. 今後は, 発言文字数や単語の出現頻度などの表層的な分析だけでなく, より詳細な分析を行いたい．また，国会会議録との比較 も検討している。

## 謝辞

本研究は JSPS 科研費 $18 \mathrm{~K} 00632 ， 20 \mathrm{~K} 00576$ およ びセコム科学技術振興財団の助成を受けたもので ある.

## 参考文献

[1] 渡部春佳. 地方議会議事録分析による話題抽出につい ての一試論一地方議会・委員会での公の施設「劇場・音楽堂等」に関する議論を事例に. 社会情報学, Vol. 9, No. 1, pp. 1-15, 2020.

[2] 桑田倫幸, 近田裕子, BATUER JULAITI, 森岡友紀, 山口明, 木佐谷康, 信田勝美, 板倉宏昭. 都市型観光にお ける商店街の地域性一東京都品川区議会会議録のテ キスト分析からの考察を中心に一. 第 11 回横幹連合 コンファレンス, 2020.

[3] 木村泰知, 関根聡, 乾健太郎. 地方議会会議録の要約に 向けて. 言語処理学会第 24 回年次大会 (NLP2018), pp. 596-599, 2018.

[4] 佐々木稔, 乙武北斗, 木村泰知. 大規模地方議会会議録 の分散表現を用いた地方議会のトピック分析. 2020 年度 人工知能学会全国大会論文集（第 34 回）, 2020.

[5] 葦原史敏, 木村泰知, 荒木健治. 地方議会会議録におけ る節単位による議員の要望抽出. 電子情報通信学会論文誌, Vol. J98-D, No. 11, pp. 1390-1401, 2015.

[6] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mitamura, Masaharu Yoshioka, Tomoyosi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, Kenji Araki, Satoshi Sekine, and Noriko Kando. Overview of the NTCIR-15 QA Lab-PoliInfo-2 Task. In Proceedings of the 15th NTCIR Conference on Evaluation of Information Access Technologies, 2020.

[7] 高丸圭一, 内田ゆず, 木村泰知. 地方政治コーパスに おける都道府県議会会議録パネルデータの基礎分析. 宇都宮共和大学シティライフ学論叢, Vol. 18, pp. 136-155.

[8] 日本速記協会. 発言記録作成標準 : 公正・正確な発言記録を目指して. 日本速記協会, 2007.

[9] 内田ゆず, 高丸圭一, 乙武北斗, 木村泰知. 都道府県議会会議録コーパスを用いた議員の議会活動の可視化に向けて—What Can Be Seen from the Prefectural Assembly Minutes? 2018 年度 人工知能学会全国大会論文集（第 32 回）, 2018.

## A 付録

都道府県議会会議録コーパス 2015 期のデータの概要を以下に示す。


# 国会および地方議会の予算審議を対象とした Budget Argument Mining タスクの提案

永㴊景祐
小樽商科大学
g2018268@edu.otaru-uc.ac.jp
}

土屋彩夏
小樽商科大学
}

木村泰知
小樽商科大学
kimura@res.otaru-uc.ac.jp

## 1 はじめに

政治には，収入と支出を考慮し，お金の使い道を 決める予算作成の役割がある。国の予算は，内閣で 予算案が作成され，その予算案をもとに国会で議論 された後に成立する。また，地方自治体の予算は，知事や市長により予算案が作成され, 議会で審議さ れた後に成立する.このような過程を経て成立する 予算は，どのような背景に基づいて予算案が作成さ れ，どのような議論を経て成立しているのかを把握 しづらい.

従来から，政治学や経済学の分野において，国や 地方自治体の予算に関する研究が行われている. 予算過程では，(1) 財政収支計画の作成，(2) 審議，(3)執行，(4) 決算, の順番に進み，租税の配分や経費の 配分について意思決定が行われる [1]. 予算を含む 審議の分析は，国会，あるいは，地方議会の会議録 を対象として，TFIDFを用いた分析，あるいは，共起ネットワークを用いた分析を行っている [2][3]. また，NTCIR-15 QA Lab-PoliInfo-21) では，東京都議会会議録を対象として, 議論構造を考慮した自動要約，議案に対する各会派の賛否分類，法律名の表記摇れおよび曖昧性 Entity Linking などの問題を解決 する Shared task を開催している [4]. しかしながら，議会における予算審議の過程をわかりやすく自動で 提示する方法については，研究の余地がある.

そこで，我々は，国や自治体の予算成立までの議論に着目し，どのような議論に基づいて成立したの かを簡単に把握できるシステムを開発することを 目標とする。本研究では，国会や地方議会における 予算案の議論を対象として，概算要求の主要事項一覧と予算に関する議論を結びつけるタスクを提案 する2). 国会や地方議会では，予算に関する議論が

1) https://poliinfo2.net/

2）例えば，令和 3 年度の厚生労働省予算概算要求の主要事項一覧は，https://www.mhlw.go.jp/wp/yosan/yosan/21syokan/「議会会議録」として記録されている，そこで，本研究では，国会および地方議会における概算要求に 記載されている「主要事項」および「金額表現」に 基づいて対応する議論を議会会議録から見つけ，結 びつけるタスクを提案する。

本研究の貢献は，下記の 3 つである.

1. 予算項目と議論を結びつけるタスクの提案

2. 議会の発言に含まれる金額表現の調査

3. 予算審議に適した議論構造のラベルの提案

## 2 関連研究

本研究では，予算審議の議論における金額表現に 焦点を当てる。テキストに含まれる金額表現の推定 は，固有表現抽出における「金額」の抽出タスクと みなすことができる $[5,6,7]$. 金額表現は，人名や 組織名と比較すると，高い精度で推定可能な固有表現である。

金額表現に関する研究には，金融関連のテキス 卜を対象とした研究がある．例えば，NTCIR15 の FinuNum では，金融関連のツイートに含まれる数值表現が対象となる項目に対して，関連しているの か，関連していないのか，2值分類を行うタスクで ある3)。ここでは，ツイートを対象としており，関連性の有無だけを扱っており，議論の構造を対象と していない.

数字を含む自然言語文を理解する研究では，数量的常識の獲得を目指す研究があり，文章中の物体や 現象の長さや重さなど，実世界における数量的特徴 に関する知識を用いて，数字の予測に関する研究を 行っている [8][9].

国会会議録は，検索 API が公開されていることか ら，議員の発言を対象としたテキスト分析が行われ ている [10].

図 1 小樽市の予算総括表と会議録を用いたタスクの概要

Argument mining は，自然言語処理のアプロー チにより議論構造をとらえる研究を行って いる [11]. Argument 分析の手順は，一般的に，Text segmentation, Classification(Argument or Non-argument), Simple Structure, Refined Structure の順番に行う.

## 3 Budget Argument Mining

本稿では，国会，および，地方議会における「予算審議に関する項目」と「議会会議録に含まれ る関連した議論」を結びつけるタスクを Budget Argument Mining と呼ぶ. 図 2 には，小樽市の「予算総括表」と「議会会議録」を例として，Budget Argument Mining タスクのイメージを示す。本タス クは. 既存の予算事項一覧を起点として，予算が決 まる過程である議論，つまり，会議録に含まれる関連した議員の発言に結びっける。

具体的には，次の 3 つのステップにより，予算項目と関連する議論を結びつける。

1. Step 1 Text segmentation：議会会議録に含まれ る発言を議論の構成要素に分割する。

2. Step 2 Check relevance : 予算項目との関連性を 「関連あり」「関連なし」の 2 值で推定する。

3. Step 3 Argument labeling: 議論の構成要素に対 して，予算審議の議論ラベルを付与する。

図 2 の予算総括表に「新型コロナウイルス感染症対応地方創生臨時交付金」の事業名があり，その金額は 287,108 千円と記載されている。ここで記載さ れている 287,108 千円の議論は，小樽市議会会議録 の第 1 回臨時会で議論されている. 小樽市議会の会議録の場合，市長や議員の発言内容ごとに段落単位 で記述されているため，Text segmentation は，既に
が行われている状態である. Check relevance は，図 2 にある議論の構成要素の発言（以下「発言」と呼 ぶ）に対して，新型コロナウイルスに対する関連の 有無を推定する．Argument labeling は，関連がある と推定された発言に対して「事実」「予測・見積」な どの予算審議の議論ラベルを付与する.

## 4 金額表現と議論ラベル

## 4.1 予算審議に関する注釈付け

金額表現：予算の金額表現には，図 2 の予算総括表に記載されている金額（287,108 千円）に加え て，議会会議録に記載されている金額（約 2 億 8700 万円）がある．特に，議会会議録に含まれる金額表現は，表記摇れ，曖昧性の問題がある．そこで，本節では，予算審議における金額表現がどのように記載されているのか，議会会議録を対象に明らかに する.

議論ラベル：予算審議の議論ラベルとは，議会会議録に含まれる議員の発言に対して，議論の流れ を理解するために必要となるラベルである。そこ で，本節では，予算審議における会議録に対して，議論ラベルの注釈づけを行いながら，適切な議論ラ ベルについて検討する.

## 4.2 注釈付けの手順

注釈付けは，下記の手順で進める。

1. 国会，地方議会を対象に金額表現，および，議論ラベルを作成する.

2. 適切な議論ラベルであるか確認するために，新 たな議会会議録を対象として，注釈付けを行う

ことで確認する.

まず，議論ラベルを作成するために，国会会議録，北海道議会会議録，小樽市議会会議録を対象と して，金額表現を含む発言の調査を行う。そのなか でも「新型コロナウイルス」に関連した議論に焦点 を当て，4月下旬から 5 月上旬の議会を選択する.

次に，適切な議論ラベルであるかを確認するため に，国会会議録の予算審議を対象として，注釈付け を行う. 対象とする委員会は, 令和 3 年度の厚生労働省の概算要求に関する議案であり, 新型コロナウ イルスの内容も含まれる。

## 4.3 金額表現を含む発言の調査

我々は，国会衆議院予算委員会，北海道議会，小樽市議の議会録を対象として，金額表現を含む発言 について調査した. 表 1 に金額表現を含む発言の調査結果を示す. 表 1 から国会は金額表現を含む発言 の割合が多いことがわかる。また，国会は金額表現 の表記摇れはなく，全て漢数字（例えば，二・二兆円）で記述されている。一方，北海道議会，および，小樽市議会は，アラビア数字で記述されていた。

表 1 金額表現を含む発言の調査結果

 &  &  &  \\

また，金額表現を含む発言に付与する議論ラベ ルを作成した。

決定事項： 国・自治体の政策などで決定したこ と，あるいは，それに関わる金額. 特に，その年の 予算委員会で決められた予算など

例示： 過去の事例で用いられた金額

事実： 現在の議論や政策に関連のない単なる事実としての金額. 例，前年度等の予算や金額

予測・見積： 見積額や予測金額など

訂正事項： 誤りについて訂正された金額

メディア： メディアで報じられた金額

提案：決定に至っていない提案事項. 例，野党 からの改善案に含まれる金額

目安：おおよその基準となる金額質問・確認事項： 質問や確認に含まれる金額

## 4.4 議論ラベルの付与

表 2 に 4.3 の議案ラベルを用いて，第 201 回国会衆議院予算委員会 第 26 号（令和 2 年 6 月 9 日）の 会議録に対して，議論ラベルを注釈付けした結果を 示す. 表 2 からわかるように，決定事項，事実，例示に関する発言が多いことがわかる．金額表現の合計は 182 件であり，それらの金額表現は，94 発言の 中に含まれていた.

表 2 金額表現を含む発言に付与された議案ラベル

さらに，金額表現が含まれる 94 発言を対象とし て, 厚生労働省の概算要求および補正予算などの項目4)を議会の発言と結びつけることが可能であるか を調査した. その結果, 6 発言が「令和 2 年度厚生労働省第二次補正予算の項目」と結びつけられるこ とを確認した，下記に，「主要項目」および「金額表現」に基づいて議会会議録の発言と結びつけられた 例を示す。

第二次補正予算の項目に結びつけた発言の例

雇用調整助成金は、日額上限八千三百三十

円が一万五千円に引き上げられました。

## 5 データフォーマット

本節では，国会会議録を対象として，予算項目と 議論を結びつける Budget Argument Mining タスク の具体的なデータフォーマットについて述べる.

## 5.1 国会会議録について

国会会議は，本会議，常任委員会，特別委員会，憲法審査会，情報監視審査会，政治倫理審査会の 5 つに分けることができる ${ }^{5)}$. 現在検討している対象

4）https://www.mhlw.go.jp/wp/yosan/yosan/

5）政治倫理審査会の会議録は公開されていない.

図 2 国会, 令和 3 年度厚生労働省予算概算要求の主要事項一覧表

会議録は，衆議院と参議院の本会議と委員会を合わ せた 46 の会議録である.

## 5.2 国会会議録 API について

国会の会議録については，国会会議録 API を用い て，収集する。国会会議録検索システムでは，登録 されているデータを検索し, 取得するための外部提供インターフェイス（API：Application Programming Interface）を提供している6) 。検索用 API を利用す ることで，検索リクエストに対し，XML 形式又は JSON 形式でデータを取得することができる．検索用 API は, (1) 会議単位簡易出力, (2) 会議単位出力, (3) 発言単位出力 93 種類がある. 本研究では,議長や議員の発言を全て取得する必要があるため, (2) 会議単位出力を用いる.

本タスクデータセットには，国会会議会議録を対象とする場合，国会会議録 API の情報に，下記の項目 checkRelevance, relatedBudgetID, argumentClass, moneyExpression を追加する。

## 5.3 Json のフォーマット

本節では，本タスクの Json フォーマットについて 述べる. 入力対象データは, 「令和 3 年度厚生労働省予算概算要求の主要事項一覧表」である. 検索対象データは，国会衆議院第 201 回予算委員会 26 号 （2020年 6 月 9 日）である.

図 2 の令和 3 年度厚生労働省予算概算要求の主要事項一覧表に対応する Json フォーマット，および，国会会議録の Json フォーマットを下記に示す.

[

Listing 1 予算一覧表の Json フォーマット

"budgetID "：識別子，

"detail": [

" bill "：令和 2 年度厚生労働省第二次補正予算

"item"：項目

"mainTopic": 主要事項,

"subTopic"：事項

"budget "：令和 2 年度予算額,

"request "：令和 3 年度予算額要求・要望額，

]

"urgent ": 緊要

]

6) https://kokkai.ndl.go.jp/api.html

## 6 おわりに

本稿では，国会および地方議会における予算審議 に関する「主要事項」および「金額表現」に基づい て関連する発言を結びつけるタスクについて提案し た.また，タスク設計に向けて，国会，および，小樽市議会の予算項目を分析することにより，議員の 発言に含まれる金額表現の特徴を述べるとともに，予算審議に適した議論構造のラベルを提案した。

今後は，Budget Argument Mining タスクを Shared taskとして開催する予定である.

## 謝辞

本研究は JSPS 科研費 18K00632，20K00576, 20H00059,20K01736およびセコム科学技術振興財団の助成を受けたものである.

## 参考文献

[1] 横田茂. [研究ノート] 日本の予算制度と予算過程 : その特質の形成. 關西大學商學論集, Vol. 64, No. 1, pp. 77-103, jun 2019.

[2] 名取良太, 田中智和, 岡本哲和, 石橋章市朗, 梶原晶,坂本治也, 秦正樹. 地方議会の審議過程 : テキスト分析による定量化の試み. mar 2020.

[3] 増田正. 計量テキスト分析によるわが国地方議会の 審議内容を可視化する方法について. 地域政策研究, Vol. 19, No. 3, pp. 161-175, feb 2017.

[4] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mitamura, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, Kenji Araki, Satoshi Sekine, and Noriko Kando. Overview of the ntcir- 15 qa lab-poliinfo task. Proceedings of The 15th NTCIR Conference, 122020.

[5] 関根聡, 井佐原均. Irex : 情報検索、情報抽出コンテ スト. Technical Report 81(1998-FI-051), ニューヨーク 大学コンピュータサイエンス学科, 郵政省通信総合研究所, sep 1998.

[6] 山田寞康, 工藤拓, 松本裕治. Support vector machine を用いた日本語固有表現抽出. 情報処理学会論文誌, Vol. 43, No. 1, pp. 44-53, jan 2002.

[7] Satoshi Sekine, Kiyoshi Sudo, and Chikashi Nobata. Extended named entity hierarchy. In Proceedings of the Third International Conference on Language Resources and Evaluation (LREC'02), Las Palmas, Canary Islands Spain, May 2002. European Language Resources Association (ELRA).

[8] Georgios Spithourakis and Sebastian Riedel. Numeracy for language models: Evaluating and improving their ability to predict numbers. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2104-2115, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[9]阪本拓功, 相澤彰子. 言語モデルを用いたテキスト中 の数字の予測. 情報処理学会 自然言語処理研究会, 2020.

[10] AkitakaMatsuo and Fukumoto Kentaro. Legislators' sentiment analysis supervised by legislators. Technical Report 38, Department of Government, University of Essex, Department of Political Science, Gakushuin University, nov 2020.

[11] John Lawrence and Chris Reed. Argument mining: A survey. Computational Linguistics, Vol. 45, No. 4, pp. 765-818, December 2019.


# 半教師あり文書分類のための仮想敵対的学習による 注意機構の頑健性および解釈性の向上

北田俊輔彌冨仁
法政大学大学院 理工学研究科 応用情報工学専攻
\{shunsuke.kitada.8y@stu., iyatomi@\}hosei.ac.jp

## 1 はじめに

深層学習モデルは様々な分野で大きな成功を収め ているにも関わらず、最先端のモデルであっても、大力される㩒動に対して脆弱であることが一般的に 知られている $[1,2]$ 。近年、多くの研究が注目してい る注意機構 [3] においても同様の脆弱性が報告され ている [4]。こうした摄動に対するモデルの頑健性向上のため、Goodfellow ら [2] は敵対的学習 (AT)を 提案した。これはモデルを騙すような摂動である敵対的摄動から滑らかな識別境界の学習を期待するも ので、モデルの頑健性や予測性能の向上が確認され ている [5, 6]。著者らは自然言語処理 (NLP) 分野に おいて注意機構に対する AT を提案し、複数の NLP タスクにおいて高い性能を達成するとともに、より 解釈可能で明確な注意を示すことを確認した [7]。

AT はモデルの頑健性向上に寄与する一方、敵対的摄動の計算は教師あり学習への適用に限定され る。後に ATを教師なしデータを利用可能な半教師 あり設定へと拡張した仮想敵対的学習 (VAT) が提案され [8]、優れた成果が報告されている $[6,9]$ 。こ の手法は現在の予測に基づいて敵対的摄動の方向 を計算することで、教師なしデータを含むすべての データを活用して識別境界を滑らかにする効果があ り、結果的にモデルの頑健性向上が期待できる。一方で、図 1 に示すような注意機構に対するVAT の有効性について、特に NLP タスクの観点から同様の 効果を示した研究は著者らが知る限り存在しない。

本論文では、VAT に基づいた注意機構のための仮想敵対的学習である仮想敵対的注意学習 (Attention VAT) ならびに、より解釈可能性の高い注意機構 のための敵対的学習 [7] を半教師あり学習である VAT で拡張した Attention iVAT を提案する。我々の Attention VAT/iVAT は、著者らの提案する仮説であ る、予測に寄与しうる重要な単語を見つけるために

図 1: 提案法である仮想敵対的注意学習 (Attention VAT/iVAT) の概念図。本手法は利用できるすべての データから仮想的な敵対的摂動 $\boldsymbol{r}_{\mathrm{VAT}}$ を計算すること で識別境界の平滑化を期待する。このときの摂動は 注意機構に対するノルム $\epsilon$ によって定義される。

は単語の埋め込みそのものよりも注意の重みが重要 である [7] という主張に基づいている。我々の学習法は注意機構を有する様々なモデルに適用可能な汎用性の高い学習法である。

我々の提案の効果を実証するために、広く評価に 利用されている文書分類データセットを用いて最新 の AT/VATを元にした学習法と比較した。また、提案法で得られた注意の重みが (i) 勾配によって計算 される単語の重要度と、(ii) 人手によってアノテー ションされた予測根拠との一致度を評価した。

本研究の貢献 我々の注意機構に対する仮想敵対的学習を評価した結果、次のような知見が得られた: (1) 従来の AT ベースの手法だけでなく、最新の VAT ベースの手法と比較して、半教師あり設定下での予測性能が有意に優れていた; (2) 学習された注意の重 みが勾配を元にした単語の重要度とより強い相関を 示し、人手による予測根拠とより良い一致を示した; (3) 教師なしデータの量を最大 7 倍程度まで増やす ことで予測性能が向上した。

## 2 注意機構のための仮想敵対的学習

本章では、提案する Attention VAT および Attention iVAT と呼ぶ仮想敵対的注意学習について説明する。提案法を適用するモデルの詳細は付録 A に示す。

## 2.1 仮想敵対的注意学習

Attention VAT は、VAT [8] から着想を得たもので あり、著者らが提案した Attention AT [7] の拡張と捉 えることができる。AT が教師ありデータに基づい て敵対的摂動を決定するのに対し、VAT は教師なし データからも “仮想的”な敵対的摄動を計算できる。 このとき注意機構に対する仮想敵対的摂動は、元の 学習サンプルに対するモデルの予測出力の分布と、元の学習サンプルに摂動を加えた場合に対するモデ ルの予測出力の分布との KL ダイバージェンスを最大化する方向の摂動であり、注意機構に対する最悪 の摂動として定義される。

本研究では半教師あり学習の設定として、教師あ りデータからなる集合 $D$ と教師ありおよび教師な しデータからなる集合 D'を学習対象とする。なお 教師ありデータ数を $N_{1}$ と教師なしデータ数を $N_{\mathrm{ul}}$ と表す。摄動 $\boldsymbol{r}$ が注意スコアに加えられた際の入力単語列 $X_{\tilde{a}}$ を、 $X_{\tilde{a}+r}$ として表す。Attention VAT は注意スコア付き入力単語列に対して仮想敵対的摂動 $r_{\mathrm{VAT}}$ を推定するために、以下の損失項を最小化する：

$
\begin{gathered}
\mathscr{L}_{\mathrm{VAT}}\left(X_{\tilde{\boldsymbol{a}}}, X_{\tilde{\boldsymbol{a}}+\boldsymbol{r}_{\mathrm{VAT}}} ; \hat{\boldsymbol{\theta}}\right)=\frac{1}{\left|\mathscr{D}^{\prime}\right|} \sum_{X \in \mathscr{D}^{\prime}} \mathscr{L}_{\mathrm{KL}}\left(X_{\tilde{\boldsymbol{a}}}, X_{\tilde{\boldsymbol{a}}+\boldsymbol{r}_{\mathrm{VAT}}} ; \hat{\boldsymbol{\theta}}\right) \\
\boldsymbol{r}_{\mathrm{VAT}}=\underset{\boldsymbol{r}:\|\boldsymbol{r}\|_{2} \leq \boldsymbol{\epsilon}}{\operatorname{argmax}} \mathscr{L}_{\mathrm{KL}}\left(X_{\tilde{\boldsymbol{a}}}, X_{\tilde{\boldsymbol{a}}+\boldsymbol{r}} ; \hat{\boldsymbol{\theta}}\right)
\end{gathered}
$

$\left|D^{\prime}\right|=N_{\mathrm{l}}+N_{\mathrm{ul}}$ は学習対象の全データ数、 $\epsilon$ は摂動のノルムを制御するハイパーパラメータ、 $\hat{\boldsymbol{\theta}}$ は現在のモデルの全パラメータである。ここで $\mathscr{L}_{\mathrm{KL}}\left(X_{\tilde{\boldsymbol{a}}}, X_{\tilde{\boldsymbol{a}}+\boldsymbol{r}} ; \hat{\boldsymbol{\theta}}\right)$ は $\mathrm{KL}(\cdot \| \cdot)$ で計算される KL ダイ バージェンスである:

$
\mathscr{L}_{\mathrm{KL}}\left(X_{\tilde{\boldsymbol{a}}}, X_{\tilde{\boldsymbol{a}}+\boldsymbol{r}_{\mathrm{VAT}}} ; \hat{\boldsymbol{\theta}}\right)=\operatorname{KL}\left(p\left(\cdot \mid X_{\tilde{\boldsymbol{a}}}, \hat{\boldsymbol{\theta}}\right) \| p\left(\cdot \mid X_{\tilde{\boldsymbol{a}}+\boldsymbol{r}_{\mathrm{VAT}}}, \hat{\boldsymbol{\theta}}\right)\right)
$

学習時には、入力データの注意スコア $\tilde{\boldsymbol{a}}$ に対する仮想敵対的摂動 $\boldsymbol{r}_{\mathrm{VAT}}$ を現在のモデルパラメータ $\hat{\boldsymbol{\theta}}$ に基 づいて計算し、その注意スコアへ付加する:

$
\tilde{\boldsymbol{a}}_{\mathrm{vadv}}=\tilde{\boldsymbol{a}}+\boldsymbol{r}_{\mathrm{VAT}}
$

## 2.2 解釈可能な仮想敵対的注意学習

Attention iVAT は解釈可能な単語埋め込みに対す る敵対的学習 (Word iVAT) [6] から着想を得ており、著者ら [7] によって提案された Attention iAT に対す る半教師あり学習への拡張とみなすことができる。 Attention iAT と同様に我々の Attention iVAT は各単語への注意の違いを利用する一方で、我々の手法は 多くの教師なしデータを扱うことで予測性能とモデ ルの解釈性が更に向上することを期待している。

まず $\boldsymbol{d}_{t} \in \mathbb{R}^{T}$ を、文中の $t$ 番目の単語に対する注意スコア $\tilde{a}_{t}$ と任意の $k$ 番目の単語に対する注意ス コア $\tilde{a}_{k}$ との単語の注意差ベクトルを定義する:

$
\boldsymbol{d}_{t}=\left(d_{t, k}\right)_{k=1}^{T}=\left(\tilde{a}_{t}-\tilde{a}_{k}\right)_{k=1}^{T}
$

このベクトルを用いて、 $t$ 番目の単語に対する正規化された単語注意差ベクトルを計算する:

$
\tilde{d}_{t}=d_{t} /\left.\|d_{t}\right.\|_{2}
$

$t$ 番目の単語に対する注意の摄動 $r\left(\boldsymbol{\alpha}_{t}\right)$ を、訓練可能 なパラメータ $\alpha_{t}=\left(\alpha_{t, k}\right)_{t=1}^{T} \in \mathbb{R}^{T}$ と正規化された注意度差ベクトル $\tilde{\boldsymbol{d}}_{t}$ を使って $r\left(\boldsymbol{\alpha}_{t}\right)=\boldsymbol{\alpha}_{t}^{\top} \cdot \tilde{\boldsymbol{d}}_{t}$ と定義す る。全ての $t$ に対する $\alpha_{t}$ を $\alpha$ として、入力文に対 する敵対的摂動 $\boldsymbol{r}(\boldsymbol{\alpha})$ を計算する:

$
\boldsymbol{r}(\boldsymbol{\alpha})=\left(r\left(\boldsymbol{\alpha}_{t}\right)\right)_{t=1}^{T}
$

式 2 の $X_{\tilde{\boldsymbol{a}}+\boldsymbol{r}}$ と同様な $X_{\tilde{\boldsymbol{a}} \boldsymbol{r} \boldsymbol{r}(\boldsymbol{\alpha})}$ を導入し、損失が最大 になる最悪の注意差べクトルの方向を計算する:

$
\boldsymbol{r}_{\mathrm{iVAT}}=\underset{\boldsymbol{r}:\|\boldsymbol{r}\|_{2} \leq \epsilon}{\operatorname{argmax}} \mathscr{L}_{\mathrm{KL}}\left(X_{\tilde{\boldsymbol{a}}}, X_{\tilde{\boldsymbol{a}}+\boldsymbol{r}(\boldsymbol{\alpha})} ; \hat{\boldsymbol{\theta}}\right)
$

式 4 と同様に、注意スコア $\tilde{\boldsymbol{a}}$ に対して計算した敵対的摄動 $\boldsymbol{r}_{\text {iVAT }}$ を付加する:

$
\tilde{\boldsymbol{a}}_{\mathrm{ivadv}}=\tilde{\boldsymbol{a}}+\boldsymbol{r}_{\mathrm{iVAT}}
$

## 2.3 仮想敵対的学習によるモデルの学習

学習時には、現在のモデル $\hat{\boldsymbol{\theta}}$ に基づいて、仮想敵対的摄動を生成する。このとき生成した摄動を元 に、以下の 2 つの損失項を最小化する:

$
\tilde{\mathscr{L}}=\underbrace{\mathscr{L}\left(X_{\tilde{\boldsymbol{a}}}, \boldsymbol{y} ; \hat{\boldsymbol{\theta}}\right)}_{\begin{array}{c}
\text { The loss from } \\
\text { unmodified examples }
\end{array}}+\underbrace{\lambda \mathscr{L}_{\mathrm{VAT}}\left(X_{\tilde{\boldsymbol{a}}}, X_{\tilde{\boldsymbol{a}}_{\mathrm{VADV}}} ; \hat{\boldsymbol{\theta}}\right)}_{\begin{array}{c}
\text { The loss from } \\
\text { virtual adversarial examples }
\end{array}},
$

$\lambda$ は各損失項を制御するハイパーパラメータであ る。ここで、 $X_{\tilde{\boldsymbol{a}}_{\text {VAV }}}$ は Attention VAT において $X_{\tilde{\boldsymbol{a}}_{\text {vad }}}$ であり、Attention iVAT において $X_{\tilde{\boldsymbol{a}}_{\text {vadv }}}$ である。

## 3 実験設定

本章では、評価に使用するモデルの設定やデータ セット、評価基準について述べる。

## 3.1 モデルの設定と評価データセット

付録 A に示すべースラインモデルに対して、我々 の提案する 2 つの手法 Attention VAT/iVAT と最新 の AT/VAT 手法を教師ありおよび半教師あり設定 で比較した。比較手法の詳細を付録 B に示す。評価用データセットとして、教師ありデータセッ ト [10,11]、教師なしデータセットとして [12]を使用し、学習用、検証用、テスト用にそれぞれ分割し た。これらの詳細を付録 C に示す。

## 3.2 評価基準

予測性能 提案法および比較法によって学習させ たモデルの予測性能を比較した。評価指標として、 [4,7] に従って F1 スコアを用いた。各モデルはそれ ぞれ教師ありおよび半教師ありの設定で評価した。

単語の重要度との相関 提案法および比較法を適用したモデルによって得られる注意の重みと勾配を 元にした単語の重要度 [13] との一致度を比較した。 この一致度を評価するために、注意の重みと単語の 重要度との間のピアソン相関で比較した。

予測根拠の再現性 提案法および比較法を適用し たモデルによって得られる注意の重みと、人手に よってアノテーションされた予測根拠の一致度を ERASER ベンチマーク [14]を用いて比較した。

教師なしデータの効果 半教師あり学習における 教師なしデータの効果を理解するため、教師なし データの量とモデルの予測性能の関係を分析した。

## 4 実験結果

本章では、前章に示した評価基準を元に実験した 結果を共有する。表 1 は教師ありおよび半教師あり 設定における各モデルの (1) 予測性能 (F1 スコア)、 および (2) 注意の重みと勾配を元にした単語の重要度との間のピアソン相関 (Corr.) を示す。

予測性能 教師ありの設定において、提案法であ る Attention VAT/iVAT は (1) vanilla モデルと比較して 明らかな優位性を示し、(2) 単語埋め込みに対する AT (Word AT/iAT) [5, 6] と比較しても優れた性能を 示した。さらに (3) 注意機構に対する AT (Attention AT/iAT) [7] と同等の性能を示した。以上より、注意表 1: 教師ありおよび半教師ありモデルに対する、予測性能 (F1 スコア) および注意と勾配を元にした 単語の重要度のピアソン相関係数 (Corr.) の比較

(a) 教師ありモデル

} & \multicolumn{2}{|c|}{} \\

(b) 半教師ありモデル

機構に対する AT/VAT の有効性を確認できた。

半教師ありの設定において、Word VAT/iVAT は Word AT/iAT より、また提案する Attention VAT/iVAT も同様に Attention AT/iAT より有意な予測性能の向上ならびに勾配に基づく単語の重要度とより高い相関を示し、特に提案法は最もよい結果となった。各 タスクの学習に追加で教師なしデータを利用するこ とで、我々の手法を適用したモデル、特に Attention iVAT では予測性能が大幅に向上したと考えられる。

単語の重要度との相関 注意の重みと単語の重要度の相関については、我々の Attention VAT/iVAT で 得られた単語への注意は、勾配によって計算され た単語の重要度と強く相関していることを確認し た。この傾向は我々の手法のヒントとなった [7] の Attention AT/iAT においても報告されている。我々 は、VATを用いた半教師あり設定がこれらの相関も 顕著な影響を与えていることを観測した。こうした 相関は我々の提案法により強化されたと言える。

予測根拠の再現性 表 2 は vanilla モデルと半教師 ありモデルにおける根拠選択の予測性能を示す。提
表 2: 根拠選択における各モデルの予測性能

† DeYoung ら [14] は根拠選択に最適化されたモデルを構築し ているのに対し、我々の手法を適用したモデルは根拠選択 を直接最適化しているわけではない。

案する Attention VAT/iVAT は注意の重みを元にした 根拠選択において、人手のアノテーションとの一致度が高いことを示した。他の AT/VAT ベースの手法 と比較して、特に我々の Attention iVAT が全ての評価基準において優れていることが分かった。

教師なしデータの効果 図 2 は教師なしデータの 量とモデルの検証スコアの関係を示す。VAT ベー スの手法において、教師なしデータの数が教師あり データの数の約 7 倍程度になるまで予測性能の向上を確認した。本実験において我々が教師なしデー タとして使用したソースは、元のデータセットとは 性質や品質が異なるものである (詳細は付録 $\mathrm{C}$ を参照)。それにも関わらず提案法がモデルの性能と解釈性の両者を向上させたことは注目に値する。

## 5 議論と今後の展望

本研究では、Attention VAT および Attention iVAT と呼ぶ仮想敵対的注意学習を提案し、教師ありおよ び半教師あり設定にて提案法の有効性を確認した。

## 5.1 注意機構に対する AT/VAT

教師あり設定において、我々のVAT ベースの手法は 2 つの側面 (1) 予測性能 (2) 単語の重要度との相関で、AT ベースの手法と同程度向上した。AT は実際の教師情報を使用する一方で、VAT はモデルの予測出力を利用している。そのため教師あり設定にお いて AT は VAT よりも良い性能であることが期待さ れるが、VAT が同程度の性能を表したことにより、提案法に対して否定的な結果は得られなかった。

半教師あり設定において、我々の VAT ベースの 手法は上記 2 つの側面を更に効果的に向上させてい ることを確認した。これは多くの教師なしデータを 利用することで、識別境界をより滑らかにする VAT の効果を更に高めていると考えられる。特に単語の

(a) $\operatorname{SST}\left(N_{1}=6,920\right)$

(b) $\operatorname{IMDB}\left(N_{1}=17,186\right)$

図 2: SST [10] と IMDB [11] に対する教師なしデー タ [12]の量と各学習法による検証スコアの関係

埋め込みではなく注意機構に VATを適用すること で、モデルの頑健性 (予測性能) が向上し、さらには 解釈性 (人手による根拠との一致度) も向上した。

実験では、提案法を含む VATベースの手法におい て、教師ありデータと異なるソースを教師なしデー タとして使用したにもかかわらず好ましい性能を 示した。これは提案法の汎用性の高さを示している と考えられる。今後は、教師ありデータに教師なし データを構築し、提案法の効果を検証したい。

## 5.2 人手による根拠との一致性

我々の提案法である Attention iVAT は、他の手法 と比較して人手による根拠のアノテーションと の一致率が高かった。これは式 6 に示すように、 Attention iVAT では単語注意差のノルムは 1 に正規化されるため、各単語に対する注意度の差異がより 明確になるとともに、より効果のある仮想的な敵対的摄動が得られているためと考えられる。この類似 の性質は著者ら [7] の Attention iAT においても同様 の議論がされている。さらにこうした明確な注意と 仮想敵対的摄動に伴う注意は、言語の解析や理解に 必要な注意の普遍的な特徴を学習すると期待できる ため、今後さらなる分析を行っていきたい。

## 参考文献

[1] Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian Goodfellow, and Rob Fergus. Intriguing properties of neural networks. In 2nd International Conference on Learning Representations, ICLR, Conference Track Proceedings, 2013.

[2] Ian J Goodfellow, Jonathon Shlens, and Christian Szegedy. Explaining and harnessing adversarial examples. In $3 r d$ International Conference on Learning Representations, ICLR, Conference Track Proceedings, 2014.

[3] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473, 2014.

[4] Sarthak Jain and Byron C Wallace. Attention is not explanation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), Association for Computational Linguistics (ACL), pp. 3543-3556, 2019.

[5] Takeru Miyato, Andrew M Dai, and Ian Goodfellow. Adversarial training methods for semi-supervised text classification. In 5th International Conference on Learning Representations, ICLR, Conference Track Proceedings, 2016.

[6] Motoki Sato, Jun Suzuki, Hiroyuki Shindo, and Yuji Matsumoto. Interpretable adversarial perturbation in input embedding space for text. In Proceedings of the 27th International Joint Conference on Artificial Intelligence, AAAI Press, pp. 4323-4330, 2018.

[7] Shunsuke Kitada and Hitoshi Iyatomi. Attention meets perturbations: Robust and interpretable attention with adversarial training. CoRR arXiv:2009.12064, 2020.

[8] Takeru Miyato, Shin-ichi Maeda, Masanori Koyama, and Shin Ishii. Virtual adversarial training: a regularization method for supervised and semi-supervised learning. IEEE transactions on pattern analysis and machine intelligence, Vol. 41, No. 8, pp. 1979-1993, 2018.

[9] Luoxin Chen, Weitong Ruan, Xinyue Liu, and Jianhua Lu. Seqvat: Virtual adversarial training for semi-supervised sequence labeling. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, Association for Computational Linguistics (ACL), pp. 8801-8811, 2020

[10] Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D Manning, Andrew Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, Association for Computational Linguistics (ACL), pp. 1631-1642, 2013.

[11] Andrew L Maas, Raymond E Daly, Peter T Pham, Dan Huang, Andrew Y Ng, and Christopher Potts. Learning word vectors for sentiment analysis. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, Vol. 1 of Association for Computational Linguistics (ACL), pp. 142150, 2011.

[12] Ciprian Chelba, Tomas Mikolov, Mike Schuster, Qi Ge,
Thorsten Brants, Phillipp Koehn, and Tony Robinson. One billion word benchmark for measuring progress in statistical language modeling. In Proceedings of the 15th Annual Conference of the International Speech Communication Association, International Speech Communication Association (ISCA), pp. 2635-2639, 2014.

[13] Karen Simonyan, Andrea Vedaldi, and Andrew Zisserman. Deep inside convolutional networks: Visualising image classification models and saliency maps. In 2nd International Conference on Learning Representations, ICLR, Workshop Track Proceedings, 2013.

[14] Jay DeYoung, Sarthak Jain, Nazneen Fatema Rajani, Eric Lehman, Caiming Xiong, Richard Socher, and Byron C Wallace. Eraser: A benchmark to evaluate rationalized nlp models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, Association for Computational Linguistics (ACL), pp. 4443-4458, 2019.

## A Vanilla モデルの構築と学習

本章では、ベースラインとなる vanilla モデルに ついて述べる。このモデルは先行研究 $[4,7]$ がその 提案の有効性を示すために使われている。本研究で は広範囲に渡って検証がされているその recurrent neural network (RNN) を元にしたモデルをべースライ ンとして使用した。

## A. 1 注意機構を有するモデルの構築

まず $X$ を one-hot エンコーディングされた単語列 $X=\left(\boldsymbol{x}_{1}, \cdots, \boldsymbol{x}_{T}\right) \in \mathbb{R}^{|V| \times T}$ と表す。なお $T$ は単語列中の単語数、 $|V|$ は語彙数を表す。ここで、単語列を表す表現の省略形である $\left(\boldsymbol{x}_{1}, \cdots, \boldsymbol{x}_{T}\right)$ as $\left(\boldsymbol{x}_{t}\right)_{t=1}^{T}$ を導入する。次に、 $x_{t}$ に対応する $d$ 次元の単語埋め込み表現を $\boldsymbol{w}_{t} \in \mathbb{R}^{d}$ とする。このとき、単語列に対する単語埋め込みは $\left(\boldsymbol{w}_{t}\right)_{t=1}^{T} \in \mathbb{R}^{d \times T}$ と表 す。この単語埋め込み表現を双方向 RNN Encを 用いて $m$ 次元の隠れ表現 $\boldsymbol{h}_{t}$ としてエンコードす る: $\boldsymbol{h}_{t}=\mathbf{E n c}\left(\boldsymbol{w}_{t}, \boldsymbol{h}_{t-1}\right)$ 。次に、[3] が提案した additive function を用いて、 $t$ 番目の単語に対する注意スコ ア $\tilde{a}_{t}$ を $\tilde{a}_{t}=\boldsymbol{c}^{\top} \tanh \left(W \boldsymbol{h}_{t}+\boldsymbol{b}\right)$ として定義する。なお $W \in \mathbb{R}^{d^{\prime} \times m}$ と $\boldsymbol{b}, \boldsymbol{c} \in \mathbb{R}^{d^{\prime}}$ はモデルパラメータである。 そして、文全体に対する注意スコア $\tilde{\boldsymbol{a}}=\left(\tilde{a}_{t}\right)_{t=1}^{T}$ か ら、全単語の注意の重み $\boldsymbol{a} \in \mathbb{R}^{T}$ を計算する。

$
\boldsymbol{a}=\left(a_{t}\right)_{t=1}^{T}=\operatorname{softmax}(\tilde{\boldsymbol{a}})
$

注意の重み $\boldsymbol{a}$ と隠れ表現 $\boldsymbol{h}_{t}$ を用いて加重平均 $\boldsymbol{h}_{\boldsymbol{a}}$ を計算する: $\boldsymbol{h}_{\boldsymbol{a}}=\sum_{t=1}^{T} a_{t} \boldsymbol{h}_{t}$ 。 上記の $\boldsymbol{h}_{\boldsymbol{a}}$ は全結合層 Decへと入力され、最終的な予測値を出力する: $\hat{\boldsymbol{y}}=\sigma\left(\boldsymbol{D e c}\left(\boldsymbol{h}_{\boldsymbol{a}}\right)\right) \in \mathbb{R}^{|\boldsymbol{y}|}$ 。このとき $\sigma$ は活性化関数で あり、 $|\boldsymbol{y}|$ は予測するクラスの数である。

## A. 2 注意機構を有するモデルの学習

学習時には、モデルは注意スコア $\tilde{\boldsymbol{a}}$ である単語列 $X$ である $X_{\tilde{a}}$ から、 $\boldsymbol{y}$ の条件付き確率を学習する: $p\left(\boldsymbol{y} \mid X_{\tilde{\boldsymbol{a}}} ; \boldsymbol{\theta}\right)$ 。ここで、 $\boldsymbol{\theta}$ はモデルの全パラメータであ る。このとき、(教師ありの) 学習データ Dを用いて 損失項である以下の負の対数尤度を最小化する:

$
\mathscr{L}\left(X_{\tilde{\boldsymbol{a}}}, \boldsymbol{y} ; \boldsymbol{\theta}\right)=\frac{1}{|\mathscr{D}|} \sum_{(X, \boldsymbol{y}) \in \mathscr{D}}-\log p\left(\boldsymbol{y} \mid X_{\tilde{\boldsymbol{a}}} ; \boldsymbol{\theta}\right)
$

## B モデルの設定

我々は提案法である Attention VAT/iVATを含む、最新の AT および VAT ベースの学習法を比較した。 これらは付録 A に示すべースラインに対して適用表 3: 評価用データセットの統計量。評価には一般的に知られているデータセットを使用した。データ セットを学習 (train) セット、検証 (valid) セット、評価 (test) セットに分割した。分割方法と前処理は著

者ら [7] の先行研究と同様である。

しており、平等な比較のために $[4,7]$ の実験設定に 則った。本研究では、教師ありおよび半教師あり設定の下、以下のモデルを比較した:

教師ありモデル vanilla [4]、Word AT [5]、Word iAT [6]、Attention AT [7]、Attention iAT [7]、そして提案法である Attention VAT および Attention iVAT

半教師ありモデル として、Word AT [5]、Word iVAT [6]、そして提案法である Attention VAT および Attention iVAT

## C データセットとタスク

表 3 は教師ありデータの統計量を示す。我々 は [4] および [7] に従って、実験で使用するデータ セットを学習用、検証用、テスト用に分割し、それ ぞれ前処理を実施した。本研究では、以下の教師あ りおよび教師なしデータセットを使用した:

教師ありデータセット Standard Sentiment Treebank (SST) [10], IMDB, a large movie reviews corpus [11] を使用した。これらのデータセットは文がポジティ ブかネガティブかの感情が付与されており、これら を予測するようにモデルを学習させた。

教師なしデータセット One Billion Word Language Model Benchmark [12] を半教師あり学習のためのラ ベルなしデータとして利用した。このベンチマーク は言語モデルを評価するために幅広く利用されてお り、近年の VAT ベースの研究である [9]においても 使用されている。従って、我々はこのデータセット が私達の実験においても有効であると考え採用し た。教師ありデータサイズが比較的小さいことを考慮して、教師なしデータの $1 \%$ 無作為にサンプリ ングし、半教師あり学習における教師なしデータと して使用した。


# 能動的サンプリングを用いた リソース構築共有タスクにおける予測対象データ削減

$\dagger$ 理化学研究所
‡ 筑波大学
\{kouta.nakayama, shuhei.kurita, satoshi.sekine\}@riken.jp
\{baba\}@cs.tsukuba.ac.jp

## 1 はじめに

今日まで、多くの共有タスクが自然言語処理の 進歩に大きく貢献してきた。しかし、それらタス クのほとんどは技術開発が目的であり、タスク内 で実際に構築されたシステムや予測結果等の共有 を目的としない場合が多い。この様な参加者の努力が浪費されている状況は無視できるものではな い。近年、タスク参加者による努力をリソース構築といった形で共有する “Resource by Collaborative Contribution(RbCC)”[1] という考え方が考案された。 $\mathrm{RbCC}$ に準拠するリソース構築共有タスクでは、参加者は予め指定された範囲のラベル無しデータを 受け取り、その全てに対する予測結果を提出する必要がある。評価は一部の隠されたデータにより行わ れる。参加者から得られた複数の予測結果はアンサ ンブル等により統合され、最終的に知識ベースなど のリソースとして公開される。実際に RbCC に準拠 するタスクが行われ $[1,2]$ 、アンサンブル手法も提案されてきた [3]。RbCC の最終目的はリソース範囲全てのデータに対する予測結果を得ることであり、過去のタスクでは参加者は範囲全てのデータに対す る予測の提出が要求されている。しかしリソースの サイズ次第では、予測にかかる計算コストは無視で きず、タスク参加への高いハードルとなり得ると考 える。タスク参加者ごとで予測範囲を分配すること も考えられるが、データ間で品質のばらつきが発生 する可能性は捨てきれない。最良スコアを獲得した 参加者のみ全件予測を依頼することも可能だが、採択されなかった参加者の努力の浪費につながり、こ れは $\mathrm{RbCC}$ の本意ではない。整理すると、負担軽減 の理想は、提出データを削減しつつ最良システム以上のスコアで提出範囲外の最終予測を補完可能なこ
とである。

本研究では、実際に RbCC に準拠するタスクを有 する森羅プロジェクトで用いられているアンサンブ ル手法である Pre-Distillation Ensemble(PDE)[3] に能動学習 [4] の考え方を組み合わせることで、最終的 なリソースの品質を落とさず予測対象データを削減 し、参加者の負担軽減を試みる。実際のリソース共有タスクにおいて、提案手法が効果的に参加者の負担を削減できることを示すため、森羅プロジェクト の一つである SHINRA2020-ML[5] の結果を用いて予備実験を行う。終わりに、その結果を用いて次年度以降の森羅プロジェクトにおける適用可能性につい て考える。

## 2 手法

## 2.1 Pre-Distillation Ensemble(PDE)

PDE[3] は、教師ありモデルの予測結果を統合す る手法である。PDEでは、初めに各参加システムの 予測結果を学習データとして用い、新規モデルを学習する。モデルの結果から新規モデルを学習するこ とを蒸留と呼ぶ。蒸留に用いるモデルは、図 1 上部 に示すような主たる共有モデルに対し各システムの 出力値再現を担当する専用モデルをそれぞれ接続す る形で構成され、並列に全てのシステムの予測を行 う。蒸留時、専用モデルのパラメーター数が小さけ れば、各システムの出力予測に必要な情報の多くは 共有モデルへと埋め込まれる。その後、図 1 下部の ように学習済み共有モデルに対し新たな専用モデ ルを接続し、各参加システムの学習に使用されたラ ベル付きデータを用いてモデルを再学習する。学習中、新たに接続された出力モデルは、共有モデルに 埋め込まれた各システムの情報をもとに、新たな予

アンサンブル予測

共有タスク学垍データ

図 1 本研究で使用する PDE モデル

測を出力する。PDEでは、このモデルの出力結果を 擬似的なアンサンブル結果として扱っている。計 2 回行われる学習はそれぞれ蒸留段階、アンサンブル 段階と呼ぶ。

## 2.2 能動学習

教師ありモデルを学習する場合、ラベル無しデー タに対してアノテーションを施し学習データを作成する必要がある。一般的にアノテーションはコス トがかかるため、少ないアノテーション数でより高性能なモデルが学習できることが望まれる。能動学習 (Active Learning)[4] は、ある時点で既にアノテー ションが施されたデータにより学習されたモデルの 予測結果等を用いて、モデルの評価値を最も向上す ることができるような次のアノテーション対象を能動的にサンプリングする機械学習フレームワークで ある。一般的に能動学習におけるアノテーション結果は専門家やクラウドワーカーへの問い合わせに よって得られる。自然言語処理においても様々な夕 スクにおいて用いられており、様々な手法が開発さ れている。能動学習の古典的手法として不確実性サ ンプリング (Uncertainty Sampling)[6] が挙げられる。不確実性サンプリングでは、モデルの予測值が決定境界に近いインスタンスが次のアノテーション対象 として選択される。

## 2.3 提案手法

RbCC に準拠するタスクにおいて、提出される予測対象の多さが参加者の負担となり得ることは 1 章 で述べたとおりである。本論文では、参加者の負担軽減のため、PDE と能動学習を組み合わせること で、最終的なリソースの品質を落とさずに予測対象 データの削減を試みる。

PDEでは、システムの予測結果は蒸留に使用され
るが、直接的にアンサンブル結果に使用されること はない。そのため、PDEに用いるシステムの予測結果は全ての範囲に対するものである必要はない。つ まり、最終的なアンサンブル予測を最も洗練できる ような蒸留対象を選択することでスコアを担保しな がら参加者に要求する予測対象を削減することがで きると考える。蒸留対象の選択が、参加システムに 対する問いあわせであると考えると、能動学習のフ レームワークを直接対応できる。本論文では、PDE と能動学習の組み合わせの優位性を予備実験的に示 すため、不確実性サンプリングを用いて、タスク参加者に問い合わせるラベル無しデータのサンプルを 決定する。

## 3 SHINRA2020-ML

SHINRA2020-ML[5] は、NTCIR-15[7] の 1 つであ り、拡張固有表現 (ENE) 階層 [8] 30 言語の Wikipedia 記事を分類するタスクである。ENE 階層 は約 200 の末端カテゴリーを持っており、1つの ページが複数の末端カテゴリーに属する場合もあ る。そのため、SHINRA2020-ML は多ラベル文章分類タスクである。学習データは、日本語 Wikipedia をENE 階層へと分類した日本語分類済みデータ [9] と、日本語 Wikipedia から他言語への言語間リ ンクを用いて作成される。予測対象は各言語の全 Wikipedia 記事である。これは各言語ごと異なり、最大で 5,790,377 件、最小で 129,141 件であり、 30 言語全ての合計は、32,302,922 件である1)。予測対象 には学習データの範囲に対する記事も含まれるた め、再度予測し提出する必要がある。評価データは 各言語 1000 件用意されるが、 $\mathrm{RbCC}$ の考えに基づ き参加者には配布されない。評価は提出データ中の

 & 予測対象 &  &  &  & ランダム & 不確実性 &  \\

ドイツ語 & 36,400 & $2,262,582$ & $98.39 \%$ & 274,732 & 80.53 & $\mathbf{8 1 . 9 0}$ & $\mathbf{8 1 . 6 3}$ & 81.86 \\
英語 & 38,400 & $5,790,377$ & $99.34 \%$ & 439,354 & 81.56 & $\mathbf{8 1 . 7 2}$ & $\mathbf{8 2 . 6 5}$ & 82.73 \\
スペイン語 & 37,400 & $1,500,013$ & $97.51 \%$ & 257,835 & 80.51 & $\mathbf{8 0 . 5 5}$ & 79.98 & 81.39 \\
フランス語 & 37,200 & $2,074,648$ & $98.21 \%$ & 318,828 & 81.01 & 80.41 & 80.87 & 81.01 \\
イタリア語 & 36,200 & $1,496,975$ & $97.58 \%$ & 270,295 & 82.08 & $\underline{\mathbf{8 2 . 8 8}}$ & $\mathbf{8 2 . 8 9}$ & 82.81 \\
ポルトガル語 & 36,200 & $1,014,832$ & $96.43 \%$ & 217,896 & 81.01 & 80.75 & $\mathbf{8 1 . 8 2}$ & 83.23 \\
トルコ語 & 35,200 & 321,937 & $89.07 \%$ & 111,592 & 82.53 & $\mathbf{8 3 . 1 2}$ & $\mathbf{8 4 . 8 8}$ & 86.50 \\
中国語 & 37,200 & $1,041,039$ & $96.43 \%$ & 267,107 & 78.15 & $\mathbf{7 8 . 5 1}$ & $\mathbf{7 8 . 8 8}$ & 81.25 \\

表 1 能動的サンプリングを用いた予測対象データ削減結果

相当する部分を用いて行われる。SHINRA2020-ML は、 2020 年 8 月まで行われ、合計で 7 チーム 12 シ ステム ${ }^{2)}$ の結果が提出された [7]。

## 4 実験

提案手法が $\mathrm{RbCC}$ に準拠する共有タスクにお いて効果的に機能することを予備的に示すため、 SHINRA2020-ML に提出されたシステム出力を用い て実験を行う。本研究では、SHINRA2020-ML の内、参加システムが最も多かった 8 言語に英語を加えた 9 言語を対象とする。

## 4.1 能動的サンプリング

タスク参加者に配布するサンプルを能動的に 推定するため、SHINRA2020-ML で配布されたラべ ル付きデータを使用してニューラルモデルを学習する。ラベル付きデータの $90 \%$ を学習データと し、残りを開発データとして用いる。モデルは、事前学習済み言語モデルである BERT[10] 1 層 の全結合層を接続する形で構成される。一般的に BERT では、位置埋め込みの都合上扱うことので きる最大トークン長が限られており、我々が実験 に使用するXLM-RoBERTa-base[11] では、512トー クンに制限されている。本実験では Wikipedia の先頭 510 トークンのみを使用して分類を行なった ${ }^{3)}$ 。 XLM-RoBERTa は、RoBERTa[12] のモデル構造と手

法をべースに、100 言語にわたる約 $2.5 \mathrm{~T}$ バイトの CommonCrawl データから事前学習したモデルであ る。トークナイズと語彙圧縮には SentencePiece[13] を用いており、語彙数は合計で 250,000 トークンで ある。本研究では、XLM-RoBERTaを各言語ごとに 学習するが、その場合、語彙中の多くが低頻度トー クンとなる。低頻度トークンに関する計算が、全体 の学習速度や使用する GPUメモリーを圧迫するこ とを防ぐため、各言語の学習データ中に高頻度で出現する 24000 トークン4) のみを使用し、残りのトー クンは未知語として扱う。多ラベル分類を、各クラ スごとの 2 値分類として考え、誤差関数には交差エ ントロピーを用いる。その他学習の詳細は付録 $\mathrm{A}$ に 示す。

多ラベル分類における不確実性サンプリングには 様々な手法が提案されているが、本研究では各クラ スを 2 値分類タスクとみなし、各クラスごとに 200 件ずつ不確実性の高いインスタンスをサンプリング する。この際、各インスタンスは学習データにおい て出現数が高いクラスから重複が無いようサンプリ ングされる。また、ラベル付きインスタンスはサン プルの対象としない。最終的にサンプリングされた インスタンス数を表 1 に示す。

## 4.2 PDE 学習

図 1 に本研究で使用する PDE モデルを示す。共有モデルには、4.1でも用いた XLM-RoBERTa-base を用い、同様の語彙数削減を行う。専用モデルに は、1 層の全層結合を用いる。誤差関数も 4.1 章と

同じものを用いるが、蒸留段階のみ陽性ラベルに対 して重みを付与して計算する。重みは、各システム 出力ごとに陰性ラベルの総数を陽性ラベルの総数で 割った数値を用いる。蒸留段階における各システム 出力との複数誤差は算術平均により統合する。その 他学習の詳細は付録 B に示す。

## 5 実験結果

実際に不確実性サンプリングにより得られたサン プルに対しPDE を適用した結果を表 1 に示す。比較のため、同じ数のサンプルをランダムサンプリ ングにより取得し、同様に PDEを適用した。べー スモデルは、不確実性サンプリングに使用された モデルのスコアを示しており、最良システムは SHINRA2020-ML に参加したシステムのうちの最良 スコアを示している。また、ベースモデルより良い スコアを太字、最良システムより良いスコアを下線 で示している。削減率は、本来の予測対象を能動的 なサンプリングによりどれだけ削減できたかを示し ており、この值が高いほど参加者の負担軽減につな がる。評価指標は、SHINRA2020-ML と同じくF1 值 のマイクロ平均である。

不確実性サンプリングを用いた場合、スペイン 語、フランス語以外での言語でベースモデルより良 い性能を達成していることから、モデルの性能を向上できるようなサンプルが導出できていることが分 かる。しかし、アラビア語、ドイツ語、スペイン語 ではランダムサンプリングを用いた場合において、不確実性サンプリングを用いた場合よりスコアが高 い。これは、蒸留段階における本来のクラス分布と 大きく異なったサンプルの選択が、アンサンブル段階後のモデルの出力分布に負の影響を及ぼす可能性 を示唆している。この問題は、各クラスごと均等数 の不確実性サンプリングではなく、実際の学習デー タの分布を用いてサンプルの割合を決定することで 解決できる可能性がある。

最良システムとの比較では、イタリア語において 不確害性サンプリングを用いた手法が良いスコアを 残している。イタリア語では予測対象データの $97 \%$以上の削減に成功しており、タスク参加者の負担軽減に大きく貢献している。残りの言語においては、最良システムに対し不確実性サンプリングが劣って いる結果になっているが、これらは PDE に用いた モデルが文章の先頭のみの情報から分類を行なって いることが要因の一つであると考えられる。実際に
SHINRA2020-ML に参加したシステムには、より広 い範囲の文章を参照するシステムや、言語間リンク や記事に付与された画像等追加の付加情報を使用す るシステムがあり、現状のモデルとの間で入力情報量に差異が生まれてしまっていることは否定できな い。本研究は予備実験のため、簡易なモデル設計を 行なったが、今後実際に共有タスクで適用する場合 には、PDE モデルは様々な入力に対応できる設計が 好ましい。また、アラビア語では、不確実性サンプ リングを用いた場合のスコアが大きく劣っている が、ベースモデルのスコアはさらに大きく劣ってい ることから、対象言語におけるモデルの学習法自体 に大きな問題が存在する可能性があり、これについ ては今後学習法の見直しを考えている。

## 6 おわりに-今後の展望

本研究では、実際に RbCC に準拠するリソース 構築タスクで使用されているアンサンブル手法 である PDE と、能動学習のフレームワークを組 み合わせることで、タスク参加者が提出を求めら れる予測対象データを削減する手法を提案した。 SHINRA2020-ML の結果を用いて予備実験を行った ところ、提案手法は 9 カテゴリーのうち 1 カテゴ リーで 97\%以上の予測対象データを削減した上で、最良システム以上のスコアで削減された範囲を補完 できた。また、残りの８カテゴリー中６カテゴリー においても、F1 值の劣化を 1.7 以内に収めた上で、 89\% 99\%予測対象を削減できることが分かった。

今後は全てのカテゴリーにおける最良システム 以上の補完を目指し、サンプリング手法やサンプ ルサイズを変化させた場合の実験や、より多くの 情報を活用したモデルの設計等の改善を行いたい と考えている。また、改善手法は 2021 年に開催す る SHINRA2021-ML タスクに対し適用する予定であ る。具体的には、本手法により能動的に推定された サンプルをリーダーボードの提出データに含めるこ とを考えている5)。リーダーボードに提出したデー タ内で最終評価を行うことも視野に入れており、積極的に一部予測のみの最終提出を受け入れる予定で ある $[14]$

## 参考文献

[1] Satoshi Sekine, Akio Kobayashi, and Kouta Nakayama. SHINRA: Structuring Wikipedia by Collaborative Con-

5）リーダーボード上における評価は、その一部で行われる。
tribution. In Submitted to Automated Knowledge Base Construction, 2019.

[2] 小林暁雄, 中山功太, 安藤まや, 関根聡. Wikipedia 構造化プロジェクト「森羅 2019-JP」. 言語処理学会第 26 回年次大会, 2020.

[3] 中山功太, 栗田修平, 小林暁雄, 関根聡. Pre-Distillation Ensemble:リソース構築タスクのためのアンサンブ ル手法. 言語処理学会第 26 回年次大会, 2020.

[4] Burr Settles. Active learning literature survey. Computer Sciences Technical Report 1648, University of WisconsinMadison, 2009.

[5] Satoshi Sekine, Masako Nomoto, Kouta Nakayama, Asuka Sumida, Koji Matsuda, and Maya Ando. Overview of shinra2020-ml task. In Proceedings of the NTCIR-15 Conference, 2020.

[6] David D. Lewis and Jason Catlett. Heterogeneous uncertainty sampling for supervised learning. In William W. Cohen and Haym Hirsh, editors, ICML, pp. 148-156. Morgan Kaufmann, 1994.

[7] Yiqun Liu, Makoto P. Kato, and Noriko Kando. Overview of ntcir-15. In Proceedings of the NTCIR-15 Conference, 2020.

[8] Sekine Satoshi. Extended named entity ontology with attribute information. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Morocco, May 2008. European Language Resources Association (ELRA).

[9] Masatoshi Suzuki, Koji Matsuda, Satoshi Sekine, Naoaki Okazaki, and Kentaro Inui. A joint neural model for fine-grained named entity classification of wikipedia articles. IEICE Transactions on Information and Systems, Vol. E101.D, No. 1, pp. 73-81, 2018.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[11] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[12] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. CoRR, Vol. abs/1907.11692, , 2019.

[13] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Com- putational Linguistics.

[14] 関根聡, 野本昌子, 中山功太, 隅田飛鳥, 松田耕史, 安藤まや. SHINRA2020-ML:30 言語の Wikipedia ペー ジの分類. 言語処理学会第 27 回年次大会, 2021.

表 2 本研究で用いたハイパーパラメーター

## A ベースモデル学習

学習に使用したハイパーパラメーターを表 2 に 示す。学習データのサイズに合わせて、ar のバッ チサイズを半分、enのバッチサイズを倍に設定 している。学習時の計算コストを削減するため、 ${ }^{\text {apex }}{ }^{6)}$ (opt_level には O1 を設定) を用いて混合精度学習を行っている。

## B PDE モデル学習

蒸留段階、アンサンブル段階に使用したハイパー パラメーターを表 2 に示す。アンサンブル段階で は、ベースモデルの学習と同様に、言語ごとでの バッチサイズを設定している。学習時の計算コスト を削減するため、apex(opt_level には O1を設定)を用 いて混合精度学習を行っている。

6) https://github.com/NVIDIA/apex


# 時間的常識を理解する言語モデルの構築へ向けて

木村麻友子 Lis Kanashiro Pereira 小林一郎
お茶の水女子大学
\{g1720512,koba\}@is.ocha.ac.jp, kanashiro.pereira@ocha.ac.jp

## 1 はじめに

テキスト内に記述された事象の時間関係を理解 するためには，その事象の時間に関する常識的背景知識が必要となる. しかし，常識がテキスト内 に明示的に表現されることはほとんどなく，コン ピュータにそのような知識を踏まえた理解や推論 をさせることは未だ挑戦的な課題となっている.自然言語処理における質問応答に関する研究は,自然言語理解一般を中心に手法の開発が進めら れ，近年，顕著な進歩を遂げているが，時間的常識を用いた特定の推論能力などを対象にしている ものは少ない. そこで, 本研究では時間的常識に 基づく理解に焦点を当て，Multiple Choice TemporAl COmmon-sense (MCTACO) [1] という自然言語で表現された事象の時間的常識を理解する課題を取り 上げ，時間的常識に対する理解の精度向上を目的 として手法の開発を行う. 本研究でのアプローチ として, 時間や常識に関する複数のコーパスを事前学習に用いた multi-step fine-tuning や, BERT 使用時において潜在トークンに対する Masked Language Modeling をする際に使用するデータを変更した場合 の出力精度との関係を調査し考察を行った. また， これらの作成したモデルのアンサンブル学習を行 い，単一モデルよりも良い結果が得られることを確認した.

## 2 関連研究

文章内のイベントに関する時間関係を正しく理解 することは，自然言語理解の実現において本質的な 課題であり, 近年, 時間的常識を踏まえた自然言語理解の研究が盛んになっている. Zhou ら [1] は，ク ラウドソーシングを使い時間に関する 5 つの特徴量 (duration, temporal ordering, typical time, frequency, stationarity）の時間的常識を集め MCTACO という新 しいデータセットを作り, 時間的常識問題を解く深層学習モデルを構築したが，人の識別能力よりもお
よそ $20 \%$ 精度が低い結果となった. さらに彼らは, TacoLM という時間的常識を捉えた言語モデルを構築し [2]，通常の BERT [3] よりも時間関係を捉える タスクの予測精度が高い結果を得ている。

Gururangan ら [4] は，すでに一般的なコーパスで 言語モデルを事前学習しているモデルに対して，さ らに対象となるドメインやタスクのデータセットで 2 段階目の事前学習を行うことによって，対象タス クの出力の精度が向上されることを示している.

また, Phang ら [5] は, データ量の多い中間的な 教師付きタスクを用いて 2 段階目の事前学習を 行った.このアプローチを, Supplementary Training on Intermediate Labeled-data Tasks（STILTs）とし，結果として得られるターゲットタスクモデルが改善す ること，特にデータの少ないタスクで BERTを使用 する場合や，データに制約のある場合に学習が大幅 に安定することを示している。

## 3 提案手法

## 3.1 multi-step fine-tuning

本研究では，MCTACO を用いて時間的常識を推定する課題を解決するモデルを構築するが，モデル の精度を向上させるため，多段階のファインチュー ニング（multi-step fine tuning）を行う. 事前学習済 みの BERT を対象にして， MCTACO ではないが時間的常識に関係がありそうなタスクを採用し，それ らを用いて多段階のファインチューニングを行った 後に MCTACO のタスクを用いてファインチューニ ングすることにより，MCTACO における回答の精度向上を目指す。

## 3.2 Masked Language Modeling

本研究では, BERT の事前学習として採用され ている Masked Language modeling（以下，MLM）と Next Sentence Prediction の内のひとつである MLM に 関して，MCTACO では訓練データが提供されてい

ないため，検証データを用いてマスクする語彙の比率などを変えて潜在トークンを構築する。これに より，評価に用いるデータ（MCTACO）に更に適応 した言語モデルを構築し, モデルの精度向上を目指す.

## 4 実験

multi-step fine-tuning による影響を調査するため, MCTACO のみ 1 段階でファインチューニングした 場合と，他のデータセットを使用して 2 段階でファ インチューニングした場合を比較し, 精度がどのよ うに変化するかを分析する. また， MLM に使用す るデータセットを変更することによる影響を調査す るため, MCTACO を使用した場合の精度を求める。 さらに，マスクする割合1)をいくつか変更した場合 の違いを分析する。

## 4.1 使用データ

本研究では，学習用および評価用データセッ トとして MCTACO を使用する。また， 3.1 におけ る 1 段階目用のデータセットとして, TimeBank[6], MATRES[7], CosmosQA[8], SWAG[9]を使用する. MCTACO，TimeBank，MATRES は時間に関するデー タセットであり, CosmosQA と SWAG は時間に限ら ず一般的な常識全般に関するデータセットである.表 1 にそれぞれのデータセットの統計情報を示す.

以下に各データセットの概要を示す.

## MCTACO [1]

MCTACO では，時間特性に関する 5 つの特徴量 (duration, temporal ordering, typical time, frequency, stationarity)を定義しており, 自然言語で表現された 事象の時間的常識を理解する課題から構成される データセットである. 5 つの特徴量のいずれかの特性について記述された文章とその文章に関する質問，それに対する答えを表す複数の選択肢，その選択肢に対して正解には yes, 不正解には no とラベル 付けされたものから構成されている（表 2参照）.

表 2 MCTACO の例

S1:He layed down on the chair and pawed at her as she ran in a circle under it.

Q1:How long did he paw at her?
A1:2 minutes [yes]
A3:90 minutes [no]
A2:2 days [no]
A4:7 seconds [yes]
Reasoning Type:Event Duration

MCTACO では，訓練データは提供されておら ず，検証データと評価データのみ提供されている。 MCTACO に対しては, huggingface $の$ transformers で提供されている分類問題用のモデルである, BertForSequenceClassification モデルを使用する.ま た，入力データをエンコードする際に，文章十質問文と答えは [SEP] で分けられている.

## TimeBank [6]

TimeBank は, 時間的常識の中の, 特に持続時間 に関するデータセットである. 文章内に含まれる イベントの持続時間が 1 日より長いか短いかに よって yes, no のいずれかがラベル付けされている. TimeBank に対しても，BertForSequenceClassification モデルを使用する．また，入力データをエンコー ドする際に，文章とイベントは $[\mathrm{SEP}]$ で分けられて いる.

## MATRES [7]

MATRES は，文章内に含まれる二つの動詞の時間関係に関するデータセットである．時間関係に よって, AFTER, BEFORE, EQUAL, VAGUE のいずれ かがラベル付けされている. MATRES に対しても， BertForSequenceClassification モデルを使用する.ま た，入力データをエンコードする際に，着目する文章中の二つの動詞の前後にタグマーカーを挿入して いる.

MATRES は TimeBank のデータ拡張用としても用 いる.その際，MATRES に含まれる時間情報を含む データに対して TimeBankでファインチューニング 済みのモデルを用いてラベル付けを行い，最終層に おける出力の確率値が 0.9 を超えるもののみをデー 夕拡張に用いて実験を行う。

## CosmosQA [8]

CosmosQA は, 出来事の原因や影響など，明示的に言及されていない物語の行間を読むことに 焦点を当てている．時間に限らず一般的な常識全般に関するデータセットであり, 四択一の多肢選択問題である. CosmosQA に対しては, huggingface の transformers で提供されている多肢選択問題用の モデルである BertForMultipleChoice モデルを使用す

る.また，入力データをエンコードする際に，文章十質問文と選択肢は [SEP] で分けられている.

## SWAG [9]

SWAG は，フレーズを与えられたときに次のフ レーズを常識に基づいて推測する問題のデータセッ トである。こちらも時間に限らず一般的な常識全般 に関するデータセットであり，四択一の多肢選択問題である. SWAG に対しても，BertFormultipleChoice モデルを使用する．また，入力データをエンコード する際に，文章と選択肢は $[\mathrm{SEP}]$ で分けられている。

## 4.2 実験設定

multi-step fine-tuning に関して，パラメータの設定 を表 3 に示す。それぞれのデータセットについて予備実験を通して最も精度が良くなったパラメータ （表内太字）を使用する。

また，MLMを行う際のパラメータの設定を表 4 に示す. MLM 後に MCTACO を用いて学習, 評価する際のパラメータは表 3 の 1 行目に太字で 記載のものを使用する．MLMには，huggingface の transformers ${ }^{2}$ で提供されている BertForPreTraining モ デルを使用する.

両者ともにモデルには bert-base-uncased を使用し，評価指標としては Exact Match (EM) と F1 スコアを 採用した．EM は各質問に対する全ての答えを正し くラベル付けすることができる確率であり，F1 スコ アは適合率と再現率の調和平均である.

表 3 multi-step fine-tuning の実験設定

 &  &  &  \\

MATRES & & & & \\

表 4 MLM の実験設定

 &  &  &  \\

## 4.3 実験結果

multi-step fine-tuning 実験結果を表 5 に示す.

表 5 multi-step fine-tuning による実験結果

表 5 の 1 行目は，MCTACO を用いた 1 段階のファ インチューニングの結果，2 行目以下はその他の データセットを 1 段階目に使用し，MCTACO 2 段階目として用いた mulを行なった結果である. また， 4 行目は MATRES を TimeBank のデータ拡張用に用いた結果である. 表 5 には MCTACO の評価 データを使用した結果，及び（）内には 5 分割交差検証を行なった結果を記載している。

実験の結果，使用するデータセットによる差異は あるものの全体的には multi-step fine-tuning を行なっ たことによる精度の向上が確認された. 最も良い精度となったのは最下行に記載しているSWAG を 1 段階目のファインチューニングに使用した場合で あった. CosmosQA と SWAG はどちらも一般的な常識全般に関するデータセットであり，二つを比較す ると SWAG の方が大きなデータセットである（表 1 参照).

Masked Language Modeling 実験結果を表 6 に 示す.

表 6 MLMによる実験結果

こちらも表 5 と同様に，MCTACO の評価データ を使用した結果，及び（）内には 5 分割交差検証を 行なった結果を記載している。実験の結果，最も精度が良かったのは 1 行目の，ラベルが yes のデータ のみを使用し $15 \%$ マスクした場合であった。

ここで，アンサンブル学習として Max Voting を行 う.いくつかのパターンで 3 つのモデルを使用し， MCTACO の評価データを用いて評価した. その結果を表 7 に示す.

 & $\checkmark$ & & \\

実験の結果，アンサンブル学習による精度の向上 が確認された. 特に， CosmosQAを用いて multi-step fine-tuning を行ったモデル，SWAGを用いて multistep fine-tuning を行ったモデル， MLM に MCTACO を用いたモデルの 3 つを使用したパターン 2 が最も 精度が良くなった.この結果は，Zhou ら [1] の実験結果（F1:69.9\%，EM:42.7\%）に比べてそれぞれ $3 \%$ ほど精度が向上している。

## 4.4 考察

multi-step fine-tuning を行うと, 1 段階のみのファ インチューニングを行なった場合よりも精度が良 くなることが確認できた． MCTACO は時間的特徴 の理解を問うタスクであるが，1 段階目に使用する データセットに関しては，時間的な常識に関する データセットに拘らずに一般的な常識全般に関する データセット，特に大規模なデータセットである場合に精度が大きく改善することが確認された.

また，MLM に MCTACO を用いると，マスクす る割合などによって違いはあるものの, pre-trained BERT モデルをそのまま使用する場合よりも精度 が良くなることが確認できた. さらに, multi-step fine-tuning よりも精度が良くなることも確認でき，有用な手段であると考えられる。

ここで，MCTACO のみでファインチューニング したモデルと，MLMに MCTACO を使用したモデ ル (表 6 のうち最も精度の良かった 1 行目の設定を使用）に関して，MCTACO の検証データに含 まれる例に対し Attention の可視化を行い，観察し た. 結果を図 1(a), 図 1(b) に示す. Attention の可視化には BertViz3)を使用した．BertVizでは，カーソ ルを合わせた任意のトークンからの Attentionを 各レイヤー及びヘッドごとに確認することがで
き，Attention が大きいほど色が濃く表示される．例 えば文中の"happened"という動詞について比較し てみると，MLMに MCTACO を用いることによっ て，"met"という動詞の過去形や"lonely"という形容詞への Attention が大きくなっていることが分かる. Attention の可視化について，詳しい結果を付録 A に 記載する。

(a) MCTACO でファイン チューニングしたモデル 用いたモデルを使用した を使用した場合場合図 1 Attention 可視化の例

## 5 おわりに

本研究では，自然言語で表現された事象の時間的常識を理解するタスクにおいて，多段階でのファイ ンチューニングを行うことの効果の検証，及び，事前学習 MLM において使用するデータを変更するこ との効果の検証を行った. 実験の結果，使用する データセットやマスクする割合による差異はある ものの，双方ともに精度の向上が確認された. さら に，MLM は精度がより良くなることが確認された。今後は，Attention の分析を進めながら MLM におい てマスクするトークンの選び方を変更するなどの実験を行い，さらなる精度の向上を実現するために有益なドメイン適用手法ならびに言語モデル構築手法 を開発する。

## 謝辞

本研究は，科研費（18H05521）の支援を受けた。 ここに謝意を表す.

## 参考文献

[1] Ben Zhou, Daniel Khashabi, Qiang Ning, and Dan Roth. "going on a vacation" takes longer than "going for a walk": A study of temporal commonsense understanding. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3363-3369, Hong Kong, China, November 2019. Association for Computational Linguistics.

[2] Ben Zhou, Qiang Ning, Daniel Khashabi, and Dan Roth. Temporal common sense acquisition with minimal supervision. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7579-7589, Online, July 2020. Association for Computational Linguistics.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A. Smith. Don't stop pretraining: Adapt language models to domains and tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 83428360, Online, July 2020. Association for Computational Linguistics.

[5] Jason Phang, Thibault Févry, and Samuel R Bowman. Sentence encoders on stilts: Supplementary training on intermediate labeled-data tasks. arXiv preprint arXiv:1811.01088, 2018.

[6] Feng Pan, Rutu Mulkar-Mehta, and Jerry R Hobbs. Extending timeml with typical durations of events. In Proceedings of the Workshop on Annotating and Reasoning about Time and Events, pp. 38-45, 2006.

[7] Qiang Ning, Hao Wu, and Dan Roth. A multi-axis annotation scheme for event temporal relations. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1318-1328, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[8] Lifu Huang, Ronan Le Bras, Chandra Bhagavatula, and Yejin Choi. Cosmos QA: Machine reading comprehension with contextual commonsense reasoning. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2391-2401, Hong Kong, China, November 2019. Association for Computational Linguistics.

[9] Rowan Zellers, Yonatan Bisk, Roy Schwartz, and Yejin Choi. SWAG: A large-scale adversarial dataset for grounded commonsense inference. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Pro- cessing, pp.93-104, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

## A 付録

本文中 4.4 にて行った Attention の可視化の補足として，MCTACO を用いてファインチューニング（以下，FT）したモデルと MLM に MCTACO を使用したモデルに加えて，MCTACO と SWAG を用いて multi-step fine-tuning (以下，MSFT)を行なったモデルの 3 つに関して，MCTACO の検証データに含まれる例に対して Attention の可視化を行い，どのように変化しているかを観察した. 図 2 と図 3 に可視化した結果を示す.

(a) MCTACO を用いて FT したモデ ルを使用した場合

(a) MCTACO を用いて FT したモデ ルを使用した場合

(b) MCTACO＋SWAG で MSFT を 行なったモデルを使用した場合

図 2 Attention 可視化の例 1

(b) MCTACO＋SWAG で MSFT を 行なったモデルを使用した場合

図 3 Attention 可視化の例 2

(c) MLM に MCTACO を使用したモ デルを使用した場合

(c) MLM に MCTACO を使用したモ デルを使用した場合

まず，図 2 は，MCTACO を用いて FT したモデルでは正しく予測できなかったが，MCTACO + SWAG で MSFT を行なったモデルと MLM V MCTACO を使用したモデルでは正しく予測できた例に対して各モデルを 使用した結果である。例えば文中の"happened"という動詞について確認してみると，(a) と比較して，(b) で は，"before"という時間に関する接続詞や"met"という動詞の過去形への Attention が大きくなっていることが 分かる。また，(c)では，本文中でも述べた通り"met"や"lonely"という形容詞への Attention が大きくなってい ることが分かる.

次に，図 3 は，MCTACO を用いて FT したモデルでは正しく予測できていたが，MCTACO + SWAG で MSFT を行なったモデルと MLM KCTACO を使用したモデルでは正しく予測できなかった例に対して各モ デルを使用した結果である。例えば文中の"paw"という動詞について確認してみると，(a) と比較して，(b) と (c) の双方とも時間に関する単語や動詞等へ Attention が大きくなっていることはあまり確認できない.