# 国会および地方議会の予算審議を対象とした Budget Argument Mining タスクの提案

永㴊景祐
小樽商科大学
g2018268@edu.otaru-uc.ac.jp
}

土屋彩夏
小樽商科大学
}

木村泰知
小樽商科大学
kimura@res.otaru-uc.ac.jp

## 1 はじめに

政治には，収入と支出を考慮し，お金の使い道を 決める予算作成の役割がある。国の予算は，内閣で 予算案が作成され，その予算案をもとに国会で議論 された後に成立する。また，地方自治体の予算は，知事や市長により予算案が作成され, 議会で審議さ れた後に成立する.このような過程を経て成立する 予算は，どのような背景に基づいて予算案が作成さ れ，どのような議論を経て成立しているのかを把握 しづらい.

従来から，政治学や経済学の分野において，国や 地方自治体の予算に関する研究が行われている. 予算過程では，(1) 財政収支計画の作成，(2) 審議，(3)執行，(4) 決算, の順番に進み，租税の配分や経費の 配分について意思決定が行われる [1]. 予算を含む 審議の分析は，国会，あるいは，地方議会の会議録 を対象として，TFIDFを用いた分析，あるいは，共起ネットワークを用いた分析を行っている [2][3]. また，NTCIR-15 QA Lab-PoliInfo-21) では，東京都議会会議録を対象として, 議論構造を考慮した自動要約，議案に対する各会派の賛否分類，法律名の表記摇れおよび曖昧性 Entity Linking などの問題を解決 する Shared task を開催している [4]. しかしながら，議会における予算審議の過程をわかりやすく自動で 提示する方法については，研究の余地がある.

そこで，我々は，国や自治体の予算成立までの議論に着目し，どのような議論に基づいて成立したの かを簡単に把握できるシステムを開発することを 目標とする。本研究では，国会や地方議会における 予算案の議論を対象として，概算要求の主要事項一覧と予算に関する議論を結びつけるタスクを提案 する2). 国会や地方議会では，予算に関する議論が

1) https://poliinfo2.net/

2）例えば，令和 3 年度の厚生労働省予算概算要求の主要事項一覧は，https://www.mhlw.go.jp/wp/yosan/yosan/21syokan/「議会会議録」として記録されている，そこで，本研究では，国会および地方議会における概算要求に 記載されている「主要事項」および「金額表現」に 基づいて対応する議論を議会会議録から見つけ，結 びつけるタスクを提案する。

本研究の貢献は，下記の 3 つである.

1. 予算項目と議論を結びつけるタスクの提案

2. 議会の発言に含まれる金額表現の調査

3. 予算審議に適した議論構造のラベルの提案

## 2 関連研究

本研究では，予算審議の議論における金額表現に 焦点を当てる。テキストに含まれる金額表現の推定 は，固有表現抽出における「金額」の抽出タスクと みなすことができる $[5,6,7]$. 金額表現は，人名や 組織名と比較すると，高い精度で推定可能な固有表現である。

金額表現に関する研究には，金融関連のテキス 卜を対象とした研究がある．例えば，NTCIR15 の FinuNum では，金融関連のツイートに含まれる数值表現が対象となる項目に対して，関連しているの か，関連していないのか，2值分類を行うタスクで ある3)。ここでは，ツイートを対象としており，関連性の有無だけを扱っており，議論の構造を対象と していない.

数字を含む自然言語文を理解する研究では，数量的常識の獲得を目指す研究があり，文章中の物体や 現象の長さや重さなど，実世界における数量的特徴 に関する知識を用いて，数字の予測に関する研究を 行っている [8][9].

国会会議録は，検索 API が公開されていることか ら，議員の発言を対象としたテキスト分析が行われ ている [10].

図 1 小樽市の予算総括表と会議録を用いたタスクの概要

Argument mining は，自然言語処理のアプロー チにより議論構造をとらえる研究を行って いる [11]. Argument 分析の手順は，一般的に，Text segmentation, Classification(Argument or Non-argument), Simple Structure, Refined Structure の順番に行う.

## 3 Budget Argument Mining

本稿では，国会，および，地方議会における「予算審議に関する項目」と「議会会議録に含まれ る関連した議論」を結びつけるタスクを Budget Argument Mining と呼ぶ. 図 2 には，小樽市の「予算総括表」と「議会会議録」を例として，Budget Argument Mining タスクのイメージを示す。本タス クは. 既存の予算事項一覧を起点として，予算が決 まる過程である議論，つまり，会議録に含まれる関連した議員の発言に結びっける。

具体的には，次の 3 つのステップにより，予算項目と関連する議論を結びつける。

1. Step 1 Text segmentation：議会会議録に含まれ る発言を議論の構成要素に分割する。

2. Step 2 Check relevance : 予算項目との関連性を 「関連あり」「関連なし」の 2 值で推定する。

3. Step 3 Argument labeling: 議論の構成要素に対 して，予算審議の議論ラベルを付与する。

図 2 の予算総括表に「新型コロナウイルス感染症対応地方創生臨時交付金」の事業名があり，その金額は 287,108 千円と記載されている。ここで記載さ れている 287,108 千円の議論は，小樽市議会会議録 の第 1 回臨時会で議論されている. 小樽市議会の会議録の場合，市長や議員の発言内容ごとに段落単位 で記述されているため，Text segmentation は，既に
が行われている状態である. Check relevance は，図 2 にある議論の構成要素の発言（以下「発言」と呼 ぶ）に対して，新型コロナウイルスに対する関連の 有無を推定する．Argument labeling は，関連がある と推定された発言に対して「事実」「予測・見積」な どの予算審議の議論ラベルを付与する.

## 4 金額表現と議論ラベル

## 4.1 予算審議に関する注釈付け

金額表現：予算の金額表現には，図 2 の予算総括表に記載されている金額（287,108 千円）に加え て，議会会議録に記載されている金額（約 2 億 8700 万円）がある．特に，議会会議録に含まれる金額表現は，表記摇れ，曖昧性の問題がある．そこで，本節では，予算審議における金額表現がどのように記載されているのか，議会会議録を対象に明らかに する.

議論ラベル：予算審議の議論ラベルとは，議会会議録に含まれる議員の発言に対して，議論の流れ を理解するために必要となるラベルである。そこ で，本節では，予算審議における会議録に対して，議論ラベルの注釈づけを行いながら，適切な議論ラ ベルについて検討する.

## 4.2 注釈付けの手順

注釈付けは，下記の手順で進める。

1. 国会，地方議会を対象に金額表現，および，議論ラベルを作成する.

2. 適切な議論ラベルであるか確認するために，新 たな議会会議録を対象として，注釈付けを行う

ことで確認する.

まず，議論ラベルを作成するために，国会会議録，北海道議会会議録，小樽市議会会議録を対象と して，金額表現を含む発言の調査を行う。そのなか でも「新型コロナウイルス」に関連した議論に焦点 を当て，4月下旬から 5 月上旬の議会を選択する.

次に，適切な議論ラベルであるかを確認するため に，国会会議録の予算審議を対象として，注釈付け を行う. 対象とする委員会は, 令和 3 年度の厚生労働省の概算要求に関する議案であり, 新型コロナウ イルスの内容も含まれる。

## 4.3 金額表現を含む発言の調査

我々は，国会衆議院予算委員会，北海道議会，小樽市議の議会録を対象として，金額表現を含む発言 について調査した. 表 1 に金額表現を含む発言の調査結果を示す. 表 1 から国会は金額表現を含む発言 の割合が多いことがわかる。また，国会は金額表現 の表記摇れはなく，全て漢数字（例えば，二・二兆円）で記述されている。一方，北海道議会，および，小樽市議会は，アラビア数字で記述されていた。

表 1 金額表現を含む発言の調査結果

 &  &  &  \\

また，金額表現を含む発言に付与する議論ラベ ルを作成した。

決定事項： 国・自治体の政策などで決定したこ と，あるいは，それに関わる金額. 特に，その年の 予算委員会で決められた予算など

例示： 過去の事例で用いられた金額

事実： 現在の議論や政策に関連のない単なる事実としての金額. 例，前年度等の予算や金額

予測・見積： 見積額や予測金額など

訂正事項： 誤りについて訂正された金額

メディア： メディアで報じられた金額

提案：決定に至っていない提案事項. 例，野党 からの改善案に含まれる金額

目安：おおよその基準となる金額質問・確認事項： 質問や確認に含まれる金額

## 4.4 議論ラベルの付与

表 2 に 4.3 の議案ラベルを用いて，第 201 回国会衆議院予算委員会 第 26 号（令和 2 年 6 月 9 日）の 会議録に対して，議論ラベルを注釈付けした結果を 示す. 表 2 からわかるように，決定事項，事実，例示に関する発言が多いことがわかる．金額表現の合計は 182 件であり，それらの金額表現は，94 発言の 中に含まれていた.

表 2 金額表現を含む発言に付与された議案ラベル

さらに，金額表現が含まれる 94 発言を対象とし て, 厚生労働省の概算要求および補正予算などの項目4)を議会の発言と結びつけることが可能であるか を調査した. その結果, 6 発言が「令和 2 年度厚生労働省第二次補正予算の項目」と結びつけられるこ とを確認した，下記に，「主要項目」および「金額表現」に基づいて議会会議録の発言と結びつけられた 例を示す。

第二次補正予算の項目に結びつけた発言の例

雇用調整助成金は、日額上限八千三百三十

円が一万五千円に引き上げられました。

## 5 データフォーマット

本節では，国会会議録を対象として，予算項目と 議論を結びつける Budget Argument Mining タスク の具体的なデータフォーマットについて述べる.

## 5.1 国会会議録について

国会会議は，本会議，常任委員会，特別委員会，憲法審査会，情報監視審査会，政治倫理審査会の 5 つに分けることができる ${ }^{5)}$. 現在検討している対象

4）https://www.mhlw.go.jp/wp/yosan/yosan/

5）政治倫理審査会の会議録は公開されていない.

図 2 国会, 令和 3 年度厚生労働省予算概算要求の主要事項一覧表

会議録は，衆議院と参議院の本会議と委員会を合わ せた 46 の会議録である.

## 5.2 国会会議録 API について

国会の会議録については，国会会議録 API を用い て，収集する。国会会議録検索システムでは，登録 されているデータを検索し, 取得するための外部提供インターフェイス（API：Application Programming Interface）を提供している6) 。検索用 API を利用す ることで，検索リクエストに対し，XML 形式又は JSON 形式でデータを取得することができる．検索用 API は, (1) 会議単位簡易出力, (2) 会議単位出力, (3) 発言単位出力 93 種類がある. 本研究では,議長や議員の発言を全て取得する必要があるため, (2) 会議単位出力を用いる.

本タスクデータセットには，国会会議会議録を対象とする場合，国会会議録 API の情報に，下記の項目 checkRelevance, relatedBudgetID, argumentClass, moneyExpression を追加する。

## 5.3 Json のフォーマット

本節では，本タスクの Json フォーマットについて 述べる. 入力対象データは, 「令和 3 年度厚生労働省予算概算要求の主要事項一覧表」である. 検索対象データは，国会衆議院第 201 回予算委員会 26 号 （2020年 6 月 9 日）である.

図 2 の令和 3 年度厚生労働省予算概算要求の主要事項一覧表に対応する Json フォーマット，および，国会会議録の Json フォーマットを下記に示す.

[

Listing 1 予算一覧表の Json フォーマット

"budgetID "：識別子，

"detail": [

" bill "：令和 2 年度厚生労働省第二次補正予算

"item"：項目

"mainTopic": 主要事項,

"subTopic"：事項

"budget "：令和 2 年度予算額,

"request "：令和 3 年度予算額要求・要望額，

]

"urgent ": 緊要

]

6) https://kokkai.ndl.go.jp/api.html

## 6 おわりに

本稿では，国会および地方議会における予算審議 に関する「主要事項」および「金額表現」に基づい て関連する発言を結びつけるタスクについて提案し た.また，タスク設計に向けて，国会，および，小樽市議会の予算項目を分析することにより，議員の 発言に含まれる金額表現の特徴を述べるとともに，予算審議に適した議論構造のラベルを提案した。

今後は，Budget Argument Mining タスクを Shared taskとして開催する予定である.

## 謝辞

本研究は JSPS 科研費 18K00632，20K00576, 20H00059,20K01736およびセコム科学技術振興財団の助成を受けたものである.

## 参考文献

[1] 横田茂. [研究ノート] 日本の予算制度と予算過程 : その特質の形成. 關西大學商學論集, Vol. 64, No. 1, pp. 77-103, jun 2019.

[2] 名取良太, 田中智和, 岡本哲和, 石橋章市朗, 梶原晶,坂本治也, 秦正樹. 地方議会の審議過程 : テキスト分析による定量化の試み. mar 2020.

[3] 増田正. 計量テキスト分析によるわが国地方議会の 審議内容を可視化する方法について. 地域政策研究, Vol. 19, No. 3, pp. 161-175, feb 2017.

[4] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mitamura, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, Kenji Araki, Satoshi Sekine, and Noriko Kando. Overview of the ntcir- 15 qa lab-poliinfo task. Proceedings of The 15th NTCIR Conference, 122020.

[5] 関根聡, 井佐原均. Irex : 情報検索、情報抽出コンテ スト. Technical Report 81(1998-FI-051), ニューヨーク 大学コンピュータサイエンス学科, 郵政省通信総合研究所, sep 1998.

[6] 山田寞康, 工藤拓, 松本裕治. Support vector machine を用いた日本語固有表現抽出. 情報処理学会論文誌, Vol. 43, No. 1, pp. 44-53, jan 2002.

[7] Satoshi Sekine, Kiyoshi Sudo, and Chikashi Nobata. Extended named entity hierarchy. In Proceedings of the Third International Conference on Language Resources and Evaluation (LREC'02), Las Palmas, Canary Islands Spain, May 2002. European Language Resources Association (ELRA).

[8] Georgios Spithourakis and Sebastian Riedel. Numeracy for language models: Evaluating and improving their ability to predict numbers. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2104-2115, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[9]阪本拓功, 相澤彰子. 言語モデルを用いたテキスト中 の数字の予測. 情報処理学会 自然言語処理研究会, 2020.

[10] AkitakaMatsuo and Fukumoto Kentaro. Legislators' sentiment analysis supervised by legislators. Technical Report 38, Department of Government, University of Essex, Department of Political Science, Gakushuin University, nov 2020.

[11] John Lawrence and Chris Reed. Argument mining: A survey. Computational Linguistics, Vol. 45, No. 4, pp. 765-818, December 2019.


# 半教師あり文書分類のための仮想敵対的学習による 注意機構の頑健性および解釈性の向上

北田俊輔彌冨仁
法政大学大学院 理工学研究科 応用情報工学専攻
\{shunsuke.kitada.8y@stu., iyatomi@\}hosei.ac.jp

## 1 はじめに

深層学習モデルは様々な分野で大きな成功を収め ているにも関わらず、最先端のモデルであっても、大力される㩒動に対して脆弱であることが一般的に 知られている $[1,2]$ 。近年、多くの研究が注目してい る注意機構 [3] においても同様の脆弱性が報告され ている [4]。こうした摄動に対するモデルの頑健性向上のため、Goodfellow ら [2] は敵対的学習 (AT)を 提案した。これはモデルを騙すような摂動である敵対的摄動から滑らかな識別境界の学習を期待するも ので、モデルの頑健性や予測性能の向上が確認され ている [5, 6]。著者らは自然言語処理 (NLP) 分野に おいて注意機構に対する AT を提案し、複数の NLP タスクにおいて高い性能を達成するとともに、より 解釈可能で明確な注意を示すことを確認した [7]。

AT はモデルの頑健性向上に寄与する一方、敵対的摄動の計算は教師あり学習への適用に限定され る。後に ATを教師なしデータを利用可能な半教師 あり設定へと拡張した仮想敵対的学習 (VAT) が提案され [8]、優れた成果が報告されている $[6,9]$ 。こ の手法は現在の予測に基づいて敵対的摄動の方向 を計算することで、教師なしデータを含むすべての データを活用して識別境界を滑らかにする効果があ り、結果的にモデルの頑健性向上が期待できる。一方で、図 1 に示すような注意機構に対するVAT の有効性について、特に NLP タスクの観点から同様の 効果を示した研究は著者らが知る限り存在しない。

本論文では、VAT に基づいた注意機構のための仮想敵対的学習である仮想敵対的注意学習 (Attention VAT) ならびに、より解釈可能性の高い注意機構 のための敵対的学習 [7] を半教師あり学習である VAT で拡張した Attention iVAT を提案する。我々の Attention VAT/iVAT は、著者らの提案する仮説であ る、予測に寄与しうる重要な単語を見つけるために

図 1: 提案法である仮想敵対的注意学習 (Attention VAT/iVAT) の概念図。本手法は利用できるすべての データから仮想的な敵対的摂動 $\boldsymbol{r}_{\mathrm{VAT}}$ を計算すること で識別境界の平滑化を期待する。このときの摂動は 注意機構に対するノルム $\epsilon$ によって定義される。

は単語の埋め込みそのものよりも注意の重みが重要 である [7] という主張に基づいている。我々の学習法は注意機構を有する様々なモデルに適用可能な汎用性の高い学習法である。

我々の提案の効果を実証するために、広く評価に 利用されている文書分類データセットを用いて最新 の AT/VATを元にした学習法と比較した。また、提案法で得られた注意の重みが (i) 勾配によって計算 される単語の重要度と、(ii) 人手によってアノテー ションされた予測根拠との一致度を評価した。

本研究の貢献 我々の注意機構に対する仮想敵対的学習を評価した結果、次のような知見が得られた: (1) 従来の AT ベースの手法だけでなく、最新の VAT ベースの手法と比較して、半教師あり設定下での予測性能が有意に優れていた; (2) 学習された注意の重 みが勾配を元にした単語の重要度とより強い相関を 示し、人手による予測根拠とより良い一致を示した; (3) 教師なしデータの量を最大 7 倍程度まで増やす ことで予測性能が向上した。

## 2 注意機構のための仮想敵対的学習

本章では、提案する Attention VAT および Attention iVAT と呼ぶ仮想敵対的注意学習について説明する。提案法を適用するモデルの詳細は付録 A に示す。

## 2.1 仮想敵対的注意学習

Attention VAT は、VAT [8] から着想を得たもので あり、著者らが提案した Attention AT [7] の拡張と捉 えることができる。AT が教師ありデータに基づい て敵対的摂動を決定するのに対し、VAT は教師なし データからも “仮想的”な敵対的摄動を計算できる。 このとき注意機構に対する仮想敵対的摂動は、元の 学習サンプルに対するモデルの予測出力の分布と、元の学習サンプルに摂動を加えた場合に対するモデ ルの予測出力の分布との KL ダイバージェンスを最大化する方向の摂動であり、注意機構に対する最悪 の摂動として定義される。

本研究では半教師あり学習の設定として、教師あ りデータからなる集合 $D$ と教師ありおよび教師な しデータからなる集合 D'を学習対象とする。なお 教師ありデータ数を $N_{1}$ と教師なしデータ数を $N_{\mathrm{ul}}$ と表す。摄動 $\boldsymbol{r}$ が注意スコアに加えられた際の入力単語列 $X_{\tilde{a}}$ を、 $X_{\tilde{a}+r}$ として表す。Attention VAT は注意スコア付き入力単語列に対して仮想敵対的摂動 $r_{\mathrm{VAT}}$ を推定するために、以下の損失項を最小化する：

$
\begin{gathered}
\mathscr{L}_{\mathrm{VAT}}\left(X_{\tilde{\boldsymbol{a}}}, X_{\tilde{\boldsymbol{a}}+\boldsymbol{r}_{\mathrm{VAT}}} ; \hat{\boldsymbol{\theta}}\right)=\frac{1}{\left|\mathscr{D}^{\prime}\right|} \sum_{X \in \mathscr{D}^{\prime}} \mathscr{L}_{\mathrm{KL}}\left(X_{\tilde{\boldsymbol{a}}}, X_{\tilde{\boldsymbol{a}}+\boldsymbol{r}_{\mathrm{VAT}}} ; \hat{\boldsymbol{\theta}}\right) \\
\boldsymbol{r}_{\mathrm{VAT}}=\underset{\boldsymbol{r}:\|\boldsymbol{r}\|_{2} \leq \boldsymbol{\epsilon}}{\operatorname{argmax}} \mathscr{L}_{\mathrm{KL}}\left(X_{\tilde{\boldsymbol{a}}}, X_{\tilde{\boldsymbol{a}}+\boldsymbol{r}} ; \hat{\boldsymbol{\theta}}\right)
\end{gathered}
$

$\left|D^{\prime}\right|=N_{\mathrm{l}}+N_{\mathrm{ul}}$ は学習対象の全データ数、 $\epsilon$ は摂動のノルムを制御するハイパーパラメータ、 $\hat{\boldsymbol{\theta}}$ は現在のモデルの全パラメータである。ここで $\mathscr{L}_{\mathrm{KL}}\left(X_{\tilde{\boldsymbol{a}}}, X_{\tilde{\boldsymbol{a}}+\boldsymbol{r}} ; \hat{\boldsymbol{\theta}}\right)$ は $\mathrm{KL}(\cdot \| \cdot)$ で計算される KL ダイ バージェンスである:

$
\mathscr{L}_{\mathrm{KL}}\left(X_{\tilde{\boldsymbol{a}}}, X_{\tilde{\boldsymbol{a}}+\boldsymbol{r}_{\mathrm{VAT}}} ; \hat{\boldsymbol{\theta}}\right)=\operatorname{KL}\left(p\left(\cdot \mid X_{\tilde{\boldsymbol{a}}}, \hat{\boldsymbol{\theta}}\right) \| p\left(\cdot \mid X_{\tilde{\boldsymbol{a}}+\boldsymbol{r}_{\mathrm{VAT}}}, \hat{\boldsymbol{\theta}}\right)\right)
$

学習時には、入力データの注意スコア $\tilde{\boldsymbol{a}}$ に対する仮想敵対的摂動 $\boldsymbol{r}_{\mathrm{VAT}}$ を現在のモデルパラメータ $\hat{\boldsymbol{\theta}}$ に基 づいて計算し、その注意スコアへ付加する:

$
\tilde{\boldsymbol{a}}_{\mathrm{vadv}}=\tilde{\boldsymbol{a}}+\boldsymbol{r}_{\mathrm{VAT}}
$

## 2.2 解釈可能な仮想敵対的注意学習

Attention iVAT は解釈可能な単語埋め込みに対す る敵対的学習 (Word iVAT) [6] から着想を得ており、著者ら [7] によって提案された Attention iAT に対す る半教師あり学習への拡張とみなすことができる。 Attention iAT と同様に我々の Attention iVAT は各単語への注意の違いを利用する一方で、我々の手法は 多くの教師なしデータを扱うことで予測性能とモデ ルの解釈性が更に向上することを期待している。

まず $\boldsymbol{d}_{t} \in \mathbb{R}^{T}$ を、文中の $t$ 番目の単語に対する注意スコア $\tilde{a}_{t}$ と任意の $k$ 番目の単語に対する注意ス コア $\tilde{a}_{k}$ との単語の注意差ベクトルを定義する:

$
\boldsymbol{d}_{t}=\left(d_{t, k}\right)_{k=1}^{T}=\left(\tilde{a}_{t}-\tilde{a}_{k}\right)_{k=1}^{T}
$

このベクトルを用いて、 $t$ 番目の単語に対する正規化された単語注意差ベクトルを計算する:

$
\tilde{d}_{t}=d_{t} /\left.\|d_{t}\right.\|_{2}
$

$t$ 番目の単語に対する注意の摄動 $r\left(\boldsymbol{\alpha}_{t}\right)$ を、訓練可能 なパラメータ $\alpha_{t}=\left(\alpha_{t, k}\right)_{t=1}^{T} \in \mathbb{R}^{T}$ と正規化された注意度差ベクトル $\tilde{\boldsymbol{d}}_{t}$ を使って $r\left(\boldsymbol{\alpha}_{t}\right)=\boldsymbol{\alpha}_{t}^{\top} \cdot \tilde{\boldsymbol{d}}_{t}$ と定義す る。全ての $t$ に対する $\alpha_{t}$ を $\alpha$ として、入力文に対 する敵対的摂動 $\boldsymbol{r}(\boldsymbol{\alpha})$ を計算する:

$
\boldsymbol{r}(\boldsymbol{\alpha})=\left(r\left(\boldsymbol{\alpha}_{t}\right)\right)_{t=1}^{T}
$

式 2 の $X_{\tilde{\boldsymbol{a}}+\boldsymbol{r}}$ と同様な $X_{\tilde{\boldsymbol{a}} \boldsymbol{r} \boldsymbol{r}(\boldsymbol{\alpha})}$ を導入し、損失が最大 になる最悪の注意差べクトルの方向を計算する:

$
\boldsymbol{r}_{\mathrm{iVAT}}=\underset{\boldsymbol{r}:\|\boldsymbol{r}\|_{2} \leq \epsilon}{\operatorname{argmax}} \mathscr{L}_{\mathrm{KL}}\left(X_{\tilde{\boldsymbol{a}}}, X_{\tilde{\boldsymbol{a}}+\boldsymbol{r}(\boldsymbol{\alpha})} ; \hat{\boldsymbol{\theta}}\right)
$

式 4 と同様に、注意スコア $\tilde{\boldsymbol{a}}$ に対して計算した敵対的摄動 $\boldsymbol{r}_{\text {iVAT }}$ を付加する:

$
\tilde{\boldsymbol{a}}_{\mathrm{ivadv}}=\tilde{\boldsymbol{a}}+\boldsymbol{r}_{\mathrm{iVAT}}
$

## 2.3 仮想敵対的学習によるモデルの学習

学習時には、現在のモデル $\hat{\boldsymbol{\theta}}$ に基づいて、仮想敵対的摄動を生成する。このとき生成した摄動を元 に、以下の 2 つの損失項を最小化する:

$
\tilde{\mathscr{L}}=\underbrace{\mathscr{L}\left(X_{\tilde{\boldsymbol{a}}}, \boldsymbol{y} ; \hat{\boldsymbol{\theta}}\right)}_{\begin{array}{c}
\text { The loss from } \\
\text { unmodified examples }
\end{array}}+\underbrace{\lambda \mathscr{L}_{\mathrm{VAT}}\left(X_{\tilde{\boldsymbol{a}}}, X_{\tilde{\boldsymbol{a}}_{\mathrm{VADV}}} ; \hat{\boldsymbol{\theta}}\right)}_{\begin{array}{c}
\text { The loss from } \\
\text { virtual adversarial examples }
\end{array}},
$

$\lambda$ は各損失項を制御するハイパーパラメータであ る。ここで、 $X_{\tilde{\boldsymbol{a}}_{\text {VAV }}}$ は Attention VAT において $X_{\tilde{\boldsymbol{a}}_{\text {vad }}}$ であり、Attention iVAT において $X_{\tilde{\boldsymbol{a}}_{\text {vadv }}}$ である。

## 3 実験設定

本章では、評価に使用するモデルの設定やデータ セット、評価基準について述べる。

## 3.1 モデルの設定と評価データセット

付録 A に示すべースラインモデルに対して、我々 の提案する 2 つの手法 Attention VAT/iVAT と最新 の AT/VAT 手法を教師ありおよび半教師あり設定 で比較した。比較手法の詳細を付録 B に示す。評価用データセットとして、教師ありデータセッ ト [10,11]、教師なしデータセットとして [12]を使用し、学習用、検証用、テスト用にそれぞれ分割し た。これらの詳細を付録 C に示す。

## 3.2 評価基準

予測性能 提案法および比較法によって学習させ たモデルの予測性能を比較した。評価指標として、 [4,7] に従って F1 スコアを用いた。各モデルはそれ ぞれ教師ありおよび半教師ありの設定で評価した。

単語の重要度との相関 提案法および比較法を適用したモデルによって得られる注意の重みと勾配を 元にした単語の重要度 [13] との一致度を比較した。 この一致度を評価するために、注意の重みと単語の 重要度との間のピアソン相関で比較した。

予測根拠の再現性 提案法および比較法を適用し たモデルによって得られる注意の重みと、人手に よってアノテーションされた予測根拠の一致度を ERASER ベンチマーク [14]を用いて比較した。

教師なしデータの効果 半教師あり学習における 教師なしデータの効果を理解するため、教師なし データの量とモデルの予測性能の関係を分析した。

## 4 実験結果

本章では、前章に示した評価基準を元に実験した 結果を共有する。表 1 は教師ありおよび半教師あり 設定における各モデルの (1) 予測性能 (F1 スコア)、 および (2) 注意の重みと勾配を元にした単語の重要度との間のピアソン相関 (Corr.) を示す。

予測性能 教師ありの設定において、提案法であ る Attention VAT/iVAT は (1) vanilla モデルと比較して 明らかな優位性を示し、(2) 単語埋め込みに対する AT (Word AT/iAT) [5, 6] と比較しても優れた性能を 示した。さらに (3) 注意機構に対する AT (Attention AT/iAT) [7] と同等の性能を示した。以上より、注意表 1: 教師ありおよび半教師ありモデルに対する、予測性能 (F1 スコア) および注意と勾配を元にした 単語の重要度のピアソン相関係数 (Corr.) の比較

(a) 教師ありモデル

} & \multicolumn{2}{|c|}{} \\

(b) 半教師ありモデル

機構に対する AT/VAT の有効性を確認できた。

半教師ありの設定において、Word VAT/iVAT は Word AT/iAT より、また提案する Attention VAT/iVAT も同様に Attention AT/iAT より有意な予測性能の向上ならびに勾配に基づく単語の重要度とより高い相関を示し、特に提案法は最もよい結果となった。各 タスクの学習に追加で教師なしデータを利用するこ とで、我々の手法を適用したモデル、特に Attention iVAT では予測性能が大幅に向上したと考えられる。

単語の重要度との相関 注意の重みと単語の重要度の相関については、我々の Attention VAT/iVAT で 得られた単語への注意は、勾配によって計算され た単語の重要度と強く相関していることを確認し た。この傾向は我々の手法のヒントとなった [7] の Attention AT/iAT においても報告されている。我々 は、VATを用いた半教師あり設定がこれらの相関も 顕著な影響を与えていることを観測した。こうした 相関は我々の提案法により強化されたと言える。

予測根拠の再現性 表 2 は vanilla モデルと半教師 ありモデルにおける根拠選択の予測性能を示す。提
表 2: 根拠選択における各モデルの予測性能

† DeYoung ら [14] は根拠選択に最適化されたモデルを構築し ているのに対し、我々の手法を適用したモデルは根拠選択 を直接最適化しているわけではない。

案する Attention VAT/iVAT は注意の重みを元にした 根拠選択において、人手のアノテーションとの一致度が高いことを示した。他の AT/VAT ベースの手法 と比較して、特に我々の Attention iVAT が全ての評価基準において優れていることが分かった。

教師なしデータの効果 図 2 は教師なしデータの 量とモデルの検証スコアの関係を示す。VAT ベー スの手法において、教師なしデータの数が教師あり データの数の約 7 倍程度になるまで予測性能の向上を確認した。本実験において我々が教師なしデー タとして使用したソースは、元のデータセットとは 性質や品質が異なるものである (詳細は付録 $\mathrm{C}$ を参照)。それにも関わらず提案法がモデルの性能と解釈性の両者を向上させたことは注目に値する。

## 5 議論と今後の展望

本研究では、Attention VAT および Attention iVAT と呼ぶ仮想敵対的注意学習を提案し、教師ありおよ び半教師あり設定にて提案法の有効性を確認した。

## 5.1 注意機構に対する AT/VAT

教師あり設定において、我々のVAT ベースの手法は 2 つの側面 (1) 予測性能 (2) 単語の重要度との相関で、AT ベースの手法と同程度向上した。AT は実際の教師情報を使用する一方で、VAT はモデルの予測出力を利用している。そのため教師あり設定にお いて AT は VAT よりも良い性能であることが期待さ れるが、VAT が同程度の性能を表したことにより、提案法に対して否定的な結果は得られなかった。

半教師あり設定において、我々の VAT ベースの 手法は上記 2 つの側面を更に効果的に向上させてい ることを確認した。これは多くの教師なしデータを 利用することで、識別境界をより滑らかにする VAT の効果を更に高めていると考えられる。特に単語の

(a) $\operatorname{SST}\left(N_{1}=6,920\right)$

(b) $\operatorname{IMDB}\left(N_{1}=17,186\right)$

図 2: SST [10] と IMDB [11] に対する教師なしデー タ [12]の量と各学習法による検証スコアの関係

埋め込みではなく注意機構に VATを適用すること で、モデルの頑健性 (予測性能) が向上し、さらには 解釈性 (人手による根拠との一致度) も向上した。

実験では、提案法を含む VATベースの手法におい て、教師ありデータと異なるソースを教師なしデー タとして使用したにもかかわらず好ましい性能を 示した。これは提案法の汎用性の高さを示している と考えられる。今後は、教師ありデータに教師なし データを構築し、提案法の効果を検証したい。

## 5.2 人手による根拠との一致性

我々の提案法である Attention iVAT は、他の手法 と比較して人手による根拠のアノテーションと の一致率が高かった。これは式 6 に示すように、 Attention iVAT では単語注意差のノルムは 1 に正規化されるため、各単語に対する注意度の差異がより 明確になるとともに、より効果のある仮想的な敵対的摄動が得られているためと考えられる。この類似 の性質は著者ら [7] の Attention iAT においても同様 の議論がされている。さらにこうした明確な注意と 仮想敵対的摄動に伴う注意は、言語の解析や理解に 必要な注意の普遍的な特徴を学習すると期待できる ため、今後さらなる分析を行っていきたい。

## 参考文献

[1] Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian Goodfellow, and Rob Fergus. Intriguing properties of neural networks. In 2nd International Conference on Learning Representations, ICLR, Conference Track Proceedings, 2013.

[2] Ian J Goodfellow, Jonathon Shlens, and Christian Szegedy. Explaining and harnessing adversarial examples. In $3 r d$ International Conference on Learning Representations, ICLR, Conference Track Proceedings, 2014.

[3] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473, 2014.

[4] Sarthak Jain and Byron C Wallace. Attention is not explanation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), Association for Computational Linguistics (ACL), pp. 3543-3556, 2019.

[5] Takeru Miyato, Andrew M Dai, and Ian Goodfellow. Adversarial training methods for semi-supervised text classification. In 5th International Conference on Learning Representations, ICLR, Conference Track Proceedings, 2016.

[6] Motoki Sato, Jun Suzuki, Hiroyuki Shindo, and Yuji Matsumoto. Interpretable adversarial perturbation in input embedding space for text. In Proceedings of the 27th International Joint Conference on Artificial Intelligence, AAAI Press, pp. 4323-4330, 2018.

[7] Shunsuke Kitada and Hitoshi Iyatomi. Attention meets perturbations: Robust and interpretable attention with adversarial training. CoRR arXiv:2009.12064, 2020.

[8] Takeru Miyato, Shin-ichi Maeda, Masanori Koyama, and Shin Ishii. Virtual adversarial training: a regularization method for supervised and semi-supervised learning. IEEE transactions on pattern analysis and machine intelligence, Vol. 41, No. 8, pp. 1979-1993, 2018.

[9] Luoxin Chen, Weitong Ruan, Xinyue Liu, and Jianhua Lu. Seqvat: Virtual adversarial training for semi-supervised sequence labeling. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, Association for Computational Linguistics (ACL), pp. 8801-8811, 2020

[10] Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D Manning, Andrew Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, Association for Computational Linguistics (ACL), pp. 1631-1642, 2013.

[11] Andrew L Maas, Raymond E Daly, Peter T Pham, Dan Huang, Andrew Y Ng, and Christopher Potts. Learning word vectors for sentiment analysis. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, Vol. 1 of Association for Computational Linguistics (ACL), pp. 142150, 2011.

[12] Ciprian Chelba, Tomas Mikolov, Mike Schuster, Qi Ge,
Thorsten Brants, Phillipp Koehn, and Tony Robinson. One billion word benchmark for measuring progress in statistical language modeling. In Proceedings of the 15th Annual Conference of the International Speech Communication Association, International Speech Communication Association (ISCA), pp. 2635-2639, 2014.

[13] Karen Simonyan, Andrea Vedaldi, and Andrew Zisserman. Deep inside convolutional networks: Visualising image classification models and saliency maps. In 2nd International Conference on Learning Representations, ICLR, Workshop Track Proceedings, 2013.

[14] Jay DeYoung, Sarthak Jain, Nazneen Fatema Rajani, Eric Lehman, Caiming Xiong, Richard Socher, and Byron C Wallace. Eraser: A benchmark to evaluate rationalized nlp models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, Association for Computational Linguistics (ACL), pp. 4443-4458, 2019.

## A Vanilla モデルの構築と学習

本章では、ベースラインとなる vanilla モデルに ついて述べる。このモデルは先行研究 $[4,7]$ がその 提案の有効性を示すために使われている。本研究で は広範囲に渡って検証がされているその recurrent neural network (RNN) を元にしたモデルをべースライ ンとして使用した。

## A. 1 注意機構を有するモデルの構築

まず $X$ を one-hot エンコーディングされた単語列 $X=\left(\boldsymbol{x}_{1}, \cdots, \boldsymbol{x}_{T}\right) \in \mathbb{R}^{|V| \times T}$ と表す。なお $T$ は単語列中の単語数、 $|V|$ は語彙数を表す。ここで、単語列を表す表現の省略形である $\left(\boldsymbol{x}_{1}, \cdots, \boldsymbol{x}_{T}\right)$ as $\left(\boldsymbol{x}_{t}\right)_{t=1}^{T}$ を導入する。次に、 $x_{t}$ に対応する $d$ 次元の単語埋め込み表現を $\boldsymbol{w}_{t} \in \mathbb{R}^{d}$ とする。このとき、単語列に対する単語埋め込みは $\left(\boldsymbol{w}_{t}\right)_{t=1}^{T} \in \mathbb{R}^{d \times T}$ と表 す。この単語埋め込み表現を双方向 RNN Encを 用いて $m$ 次元の隠れ表現 $\boldsymbol{h}_{t}$ としてエンコードす る: $\boldsymbol{h}_{t}=\mathbf{E n c}\left(\boldsymbol{w}_{t}, \boldsymbol{h}_{t-1}\right)$ 。次に、[3] が提案した additive function を用いて、 $t$ 番目の単語に対する注意スコ ア $\tilde{a}_{t}$ を $\tilde{a}_{t}=\boldsymbol{c}^{\top} \tanh \left(W \boldsymbol{h}_{t}+\boldsymbol{b}\right)$ として定義する。なお $W \in \mathbb{R}^{d^{\prime} \times m}$ と $\boldsymbol{b}, \boldsymbol{c} \in \mathbb{R}^{d^{\prime}}$ はモデルパラメータである。 そして、文全体に対する注意スコア $\tilde{\boldsymbol{a}}=\left(\tilde{a}_{t}\right)_{t=1}^{T}$ か ら、全単語の注意の重み $\boldsymbol{a} \in \mathbb{R}^{T}$ を計算する。

$
\boldsymbol{a}=\left(a_{t}\right)_{t=1}^{T}=\operatorname{softmax}(\tilde{\boldsymbol{a}})
$

注意の重み $\boldsymbol{a}$ と隠れ表現 $\boldsymbol{h}_{t}$ を用いて加重平均 $\boldsymbol{h}_{\boldsymbol{a}}$ を計算する: $\boldsymbol{h}_{\boldsymbol{a}}=\sum_{t=1}^{T} a_{t} \boldsymbol{h}_{t}$ 。 上記の $\boldsymbol{h}_{\boldsymbol{a}}$ は全結合層 Decへと入力され、最終的な予測値を出力する: $\hat{\boldsymbol{y}}=\sigma\left(\boldsymbol{D e c}\left(\boldsymbol{h}_{\boldsymbol{a}}\right)\right) \in \mathbb{R}^{|\boldsymbol{y}|}$ 。このとき $\sigma$ は活性化関数で あり、 $|\boldsymbol{y}|$ は予測するクラスの数である。

## A. 2 注意機構を有するモデルの学習

学習時には、モデルは注意スコア $\tilde{\boldsymbol{a}}$ である単語列 $X$ である $X_{\tilde{a}}$ から、 $\boldsymbol{y}$ の条件付き確率を学習する: $p\left(\boldsymbol{y} \mid X_{\tilde{\boldsymbol{a}}} ; \boldsymbol{\theta}\right)$ 。ここで、 $\boldsymbol{\theta}$ はモデルの全パラメータであ る。このとき、(教師ありの) 学習データ Dを用いて 損失項である以下の負の対数尤度を最小化する:

$
\mathscr{L}\left(X_{\tilde{\boldsymbol{a}}}, \boldsymbol{y} ; \boldsymbol{\theta}\right)=\frac{1}{|\mathscr{D}|} \sum_{(X, \boldsymbol{y}) \in \mathscr{D}}-\log p\left(\boldsymbol{y} \mid X_{\tilde{\boldsymbol{a}}} ; \boldsymbol{\theta}\right)
$

## B モデルの設定

我々は提案法である Attention VAT/iVATを含む、最新の AT および VAT ベースの学習法を比較した。 これらは付録 A に示すべースラインに対して適用表 3: 評価用データセットの統計量。評価には一般的に知られているデータセットを使用した。データ セットを学習 (train) セット、検証 (valid) セット、評価 (test) セットに分割した。分割方法と前処理は著

者ら [7] の先行研究と同様である。

しており、平等な比較のために $[4,7]$ の実験設定に 則った。本研究では、教師ありおよび半教師あり設定の下、以下のモデルを比較した:

教師ありモデル vanilla [4]、Word AT [5]、Word iAT [6]、Attention AT [7]、Attention iAT [7]、そして提案法である Attention VAT および Attention iVAT

半教師ありモデル として、Word AT [5]、Word iVAT [6]、そして提案法である Attention VAT および Attention iVAT

## C データセットとタスク

表 3 は教師ありデータの統計量を示す。我々 は [4] および [7] に従って、実験で使用するデータ セットを学習用、検証用、テスト用に分割し、それ ぞれ前処理を実施した。本研究では、以下の教師あ りおよび教師なしデータセットを使用した:

教師ありデータセット Standard Sentiment Treebank (SST) [10], IMDB, a large movie reviews corpus [11] を使用した。これらのデータセットは文がポジティ ブかネガティブかの感情が付与されており、これら を予測するようにモデルを学習させた。

教師なしデータセット One Billion Word Language Model Benchmark [12] を半教師あり学習のためのラ ベルなしデータとして利用した。このベンチマーク は言語モデルを評価するために幅広く利用されてお り、近年の VAT ベースの研究である [9]においても 使用されている。従って、我々はこのデータセット が私達の実験においても有効であると考え採用し た。教師ありデータサイズが比較的小さいことを考慮して、教師なしデータの $1 \%$ 無作為にサンプリ ングし、半教師あり学習における教師なしデータと して使用した。


# 能動的サンプリングを用いた リソース構築共有タスクにおける予測対象データ削減

$\dagger$ 理化学研究所
‡ 筑波大学
\{kouta.nakayama, shuhei.kurita, satoshi.sekine\}@riken.jp
\{baba\}@cs.tsukuba.ac.jp

## 1 はじめに

今日まで、多くの共有タスクが自然言語処理の 進歩に大きく貢献してきた。しかし、それらタス クのほとんどは技術開発が目的であり、タスク内 で実際に構築されたシステムや予測結果等の共有 を目的としない場合が多い。この様な参加者の努力が浪費されている状況は無視できるものではな い。近年、タスク参加者による努力をリソース構築といった形で共有する “Resource by Collaborative Contribution(RbCC)”[1] という考え方が考案された。 $\mathrm{RbCC}$ に準拠するリソース構築共有タスクでは、参加者は予め指定された範囲のラベル無しデータを 受け取り、その全てに対する予測結果を提出する必要がある。評価は一部の隠されたデータにより行わ れる。参加者から得られた複数の予測結果はアンサ ンブル等により統合され、最終的に知識ベースなど のリソースとして公開される。実際に RbCC に準拠 するタスクが行われ $[1,2]$ 、アンサンブル手法も提案されてきた [3]。RbCC の最終目的はリソース範囲全てのデータに対する予測結果を得ることであり、過去のタスクでは参加者は範囲全てのデータに対す る予測の提出が要求されている。しかしリソースの サイズ次第では、予測にかかる計算コストは無視で きず、タスク参加への高いハードルとなり得ると考 える。タスク参加者ごとで予測範囲を分配すること も考えられるが、データ間で品質のばらつきが発生 する可能性は捨てきれない。最良スコアを獲得した 参加者のみ全件予測を依頼することも可能だが、採択されなかった参加者の努力の浪費につながり、こ れは $\mathrm{RbCC}$ の本意ではない。整理すると、負担軽減 の理想は、提出データを削減しつつ最良システム以上のスコアで提出範囲外の最終予測を補完可能なこ
とである。

本研究では、実際に RbCC に準拠するタスクを有 する森羅プロジェクトで用いられているアンサンブ ル手法である Pre-Distillation Ensemble(PDE)[3] に能動学習 [4] の考え方を組み合わせることで、最終的 なリソースの品質を落とさず予測対象データを削減 し、参加者の負担軽減を試みる。実際のリソース共有タスクにおいて、提案手法が効果的に参加者の負担を削減できることを示すため、森羅プロジェクト の一つである SHINRA2020-ML[5] の結果を用いて予備実験を行う。終わりに、その結果を用いて次年度以降の森羅プロジェクトにおける適用可能性につい て考える。

## 2 手法

## 2.1 Pre-Distillation Ensemble(PDE)

PDE[3] は、教師ありモデルの予測結果を統合す る手法である。PDEでは、初めに各参加システムの 予測結果を学習データとして用い、新規モデルを学習する。モデルの結果から新規モデルを学習するこ とを蒸留と呼ぶ。蒸留に用いるモデルは、図 1 上部 に示すような主たる共有モデルに対し各システムの 出力値再現を担当する専用モデルをそれぞれ接続す る形で構成され、並列に全てのシステムの予測を行 う。蒸留時、専用モデルのパラメーター数が小さけ れば、各システムの出力予測に必要な情報の多くは 共有モデルへと埋め込まれる。その後、図 1 下部の ように学習済み共有モデルに対し新たな専用モデ ルを接続し、各参加システムの学習に使用されたラ ベル付きデータを用いてモデルを再学習する。学習中、新たに接続された出力モデルは、共有モデルに 埋め込まれた各システムの情報をもとに、新たな予

アンサンブル予測

共有タスク学垍データ

図 1 本研究で使用する PDE モデル

測を出力する。PDEでは、このモデルの出力結果を 擬似的なアンサンブル結果として扱っている。計 2 回行われる学習はそれぞれ蒸留段階、アンサンブル 段階と呼ぶ。

## 2.2 能動学習

教師ありモデルを学習する場合、ラベル無しデー タに対してアノテーションを施し学習データを作成する必要がある。一般的にアノテーションはコス トがかかるため、少ないアノテーション数でより高性能なモデルが学習できることが望まれる。能動学習 (Active Learning)[4] は、ある時点で既にアノテー ションが施されたデータにより学習されたモデルの 予測結果等を用いて、モデルの評価値を最も向上す ることができるような次のアノテーション対象を能動的にサンプリングする機械学習フレームワークで ある。一般的に能動学習におけるアノテーション結果は専門家やクラウドワーカーへの問い合わせに よって得られる。自然言語処理においても様々な夕 スクにおいて用いられており、様々な手法が開発さ れている。能動学習の古典的手法として不確実性サ ンプリング (Uncertainty Sampling)[6] が挙げられる。不確実性サンプリングでは、モデルの予測值が決定境界に近いインスタンスが次のアノテーション対象 として選択される。

## 2.3 提案手法

RbCC に準拠するタスクにおいて、提出される予測対象の多さが参加者の負担となり得ることは 1 章 で述べたとおりである。本論文では、参加者の負担軽減のため、PDE と能動学習を組み合わせること で、最終的なリソースの品質を落とさずに予測対象 データの削減を試みる。

PDEでは、システムの予測結果は蒸留に使用され
るが、直接的にアンサンブル結果に使用されること はない。そのため、PDEに用いるシステムの予測結果は全ての範囲に対するものである必要はない。つ まり、最終的なアンサンブル予測を最も洗練できる ような蒸留対象を選択することでスコアを担保しな がら参加者に要求する予測対象を削減することがで きると考える。蒸留対象の選択が、参加システムに 対する問いあわせであると考えると、能動学習のフ レームワークを直接対応できる。本論文では、PDE と能動学習の組み合わせの優位性を予備実験的に示 すため、不確実性サンプリングを用いて、タスク参加者に問い合わせるラベル無しデータのサンプルを 決定する。

## 3 SHINRA2020-ML

SHINRA2020-ML[5] は、NTCIR-15[7] の 1 つであ り、拡張固有表現 (ENE) 階層 [8] 30 言語の Wikipedia 記事を分類するタスクである。ENE 階層 は約 200 の末端カテゴリーを持っており、1つの ページが複数の末端カテゴリーに属する場合もあ る。そのため、SHINRA2020-ML は多ラベル文章分類タスクである。学習データは、日本語 Wikipedia をENE 階層へと分類した日本語分類済みデータ [9] と、日本語 Wikipedia から他言語への言語間リ ンクを用いて作成される。予測対象は各言語の全 Wikipedia 記事である。これは各言語ごと異なり、最大で 5,790,377 件、最小で 129,141 件であり、 30 言語全ての合計は、32,302,922 件である1)。予測対象 には学習データの範囲に対する記事も含まれるた め、再度予測し提出する必要がある。評価データは 各言語 1000 件用意されるが、 $\mathrm{RbCC}$ の考えに基づ き参加者には配布されない。評価は提出データ中の

 & 予測対象 &  &  &  & ランダム & 不確実性 &  \\

ドイツ語 & 36,400 & $2,262,582$ & $98.39 \%$ & 274,732 & 80.53 & $\mathbf{8 1 . 9 0}$ & $\mathbf{8 1 . 6 3}$ & 81.86 \\
英語 & 38,400 & $5,790,377$ & $99.34 \%$ & 439,354 & 81.56 & $\mathbf{8 1 . 7 2}$ & $\mathbf{8 2 . 6 5}$ & 82.73 \\
スペイン語 & 37,400 & $1,500,013$ & $97.51 \%$ & 257,835 & 80.51 & $\mathbf{8 0 . 5 5}$ & 79.98 & 81.39 \\
フランス語 & 37,200 & $2,074,648$ & $98.21 \%$ & 318,828 & 81.01 & 80.41 & 80.87 & 81.01 \\
イタリア語 & 36,200 & $1,496,975$ & $97.58 \%$ & 270,295 & 82.08 & $\underline{\mathbf{8 2 . 8 8}}$ & $\mathbf{8 2 . 8 9}$ & 82.81 \\
ポルトガル語 & 36,200 & $1,014,832$ & $96.43 \%$ & 217,896 & 81.01 & 80.75 & $\mathbf{8 1 . 8 2}$ & 83.23 \\
トルコ語 & 35,200 & 321,937 & $89.07 \%$ & 111,592 & 82.53 & $\mathbf{8 3 . 1 2}$ & $\mathbf{8 4 . 8 8}$ & 86.50 \\
中国語 & 37,200 & $1,041,039$ & $96.43 \%$ & 267,107 & 78.15 & $\mathbf{7 8 . 5 1}$ & $\mathbf{7 8 . 8 8}$ & 81.25 \\

表 1 能動的サンプリングを用いた予測対象データ削減結果

相当する部分を用いて行われる。SHINRA2020-ML は、 2020 年 8 月まで行われ、合計で 7 チーム 12 シ ステム ${ }^{2)}$ の結果が提出された [7]。

## 4 実験

提案手法が $\mathrm{RbCC}$ に準拠する共有タスクにお いて効果的に機能することを予備的に示すため、 SHINRA2020-ML に提出されたシステム出力を用い て実験を行う。本研究では、SHINRA2020-ML の内、参加システムが最も多かった 8 言語に英語を加えた 9 言語を対象とする。

## 4.1 能動的サンプリング

タスク参加者に配布するサンプルを能動的に 推定するため、SHINRA2020-ML で配布されたラべ ル付きデータを使用してニューラルモデルを学習する。ラベル付きデータの $90 \%$ を学習データと し、残りを開発データとして用いる。モデルは、事前学習済み言語モデルである BERT[10] 1 層 の全結合層を接続する形で構成される。一般的に BERT では、位置埋め込みの都合上扱うことので きる最大トークン長が限られており、我々が実験 に使用するXLM-RoBERTa-base[11] では、512トー クンに制限されている。本実験では Wikipedia の先頭 510 トークンのみを使用して分類を行なった ${ }^{3)}$ 。 XLM-RoBERTa は、RoBERTa[12] のモデル構造と手

法をべースに、100 言語にわたる約 $2.5 \mathrm{~T}$ バイトの CommonCrawl データから事前学習したモデルであ る。トークナイズと語彙圧縮には SentencePiece[13] を用いており、語彙数は合計で 250,000 トークンで ある。本研究では、XLM-RoBERTaを各言語ごとに 学習するが、その場合、語彙中の多くが低頻度トー クンとなる。低頻度トークンに関する計算が、全体 の学習速度や使用する GPUメモリーを圧迫するこ とを防ぐため、各言語の学習データ中に高頻度で出現する 24000 トークン4) のみを使用し、残りのトー クンは未知語として扱う。多ラベル分類を、各クラ スごとの 2 値分類として考え、誤差関数には交差エ ントロピーを用いる。その他学習の詳細は付録 $\mathrm{A}$ に 示す。

多ラベル分類における不確実性サンプリングには 様々な手法が提案されているが、本研究では各クラ スを 2 値分類タスクとみなし、各クラスごとに 200 件ずつ不確実性の高いインスタンスをサンプリング する。この際、各インスタンスは学習データにおい て出現数が高いクラスから重複が無いようサンプリ ングされる。また、ラベル付きインスタンスはサン プルの対象としない。最終的にサンプリングされた インスタンス数を表 1 に示す。

## 4.2 PDE 学習

図 1 に本研究で使用する PDE モデルを示す。共有モデルには、4.1でも用いた XLM-RoBERTa-base を用い、同様の語彙数削減を行う。専用モデルに は、1 層の全層結合を用いる。誤差関数も 4.1 章と

同じものを用いるが、蒸留段階のみ陽性ラベルに対 して重みを付与して計算する。重みは、各システム 出力ごとに陰性ラベルの総数を陽性ラベルの総数で 割った数値を用いる。蒸留段階における各システム 出力との複数誤差は算術平均により統合する。その 他学習の詳細は付録 B に示す。

## 5 実験結果

実際に不確実性サンプリングにより得られたサン プルに対しPDE を適用した結果を表 1 に示す。比較のため、同じ数のサンプルをランダムサンプリ ングにより取得し、同様に PDEを適用した。べー スモデルは、不確実性サンプリングに使用された モデルのスコアを示しており、最良システムは SHINRA2020-ML に参加したシステムのうちの最良 スコアを示している。また、ベースモデルより良い スコアを太字、最良システムより良いスコアを下線 で示している。削減率は、本来の予測対象を能動的 なサンプリングによりどれだけ削減できたかを示し ており、この值が高いほど参加者の負担軽減につな がる。評価指標は、SHINRA2020-ML と同じくF1 值 のマイクロ平均である。

不確実性サンプリングを用いた場合、スペイン 語、フランス語以外での言語でベースモデルより良 い性能を達成していることから、モデルの性能を向上できるようなサンプルが導出できていることが分 かる。しかし、アラビア語、ドイツ語、スペイン語 ではランダムサンプリングを用いた場合において、不確実性サンプリングを用いた場合よりスコアが高 い。これは、蒸留段階における本来のクラス分布と 大きく異なったサンプルの選択が、アンサンブル段階後のモデルの出力分布に負の影響を及ぼす可能性 を示唆している。この問題は、各クラスごと均等数 の不確実性サンプリングではなく、実際の学習デー タの分布を用いてサンプルの割合を決定することで 解決できる可能性がある。

最良システムとの比較では、イタリア語において 不確害性サンプリングを用いた手法が良いスコアを 残している。イタリア語では予測対象データの $97 \%$以上の削減に成功しており、タスク参加者の負担軽減に大きく貢献している。残りの言語においては、最良システムに対し不確実性サンプリングが劣って いる結果になっているが、これらは PDE に用いた モデルが文章の先頭のみの情報から分類を行なって いることが要因の一つであると考えられる。実際に
SHINRA2020-ML に参加したシステムには、より広 い範囲の文章を参照するシステムや、言語間リンク や記事に付与された画像等追加の付加情報を使用す るシステムがあり、現状のモデルとの間で入力情報量に差異が生まれてしまっていることは否定できな い。本研究は予備実験のため、簡易なモデル設計を 行なったが、今後実際に共有タスクで適用する場合 には、PDE モデルは様々な入力に対応できる設計が 好ましい。また、アラビア語では、不確実性サンプ リングを用いた場合のスコアが大きく劣っている が、ベースモデルのスコアはさらに大きく劣ってい ることから、対象言語におけるモデルの学習法自体 に大きな問題が存在する可能性があり、これについ ては今後学習法の見直しを考えている。

## 6 おわりに-今後の展望

本研究では、実際に RbCC に準拠するリソース 構築タスクで使用されているアンサンブル手法 である PDE と、能動学習のフレームワークを組 み合わせることで、タスク参加者が提出を求めら れる予測対象データを削減する手法を提案した。 SHINRA2020-ML の結果を用いて予備実験を行った ところ、提案手法は 9 カテゴリーのうち 1 カテゴ リーで 97\%以上の予測対象データを削減した上で、最良システム以上のスコアで削減された範囲を補完 できた。また、残りの８カテゴリー中６カテゴリー においても、F1 值の劣化を 1.7 以内に収めた上で、 89\% 99\%予測対象を削減できることが分かった。

今後は全てのカテゴリーにおける最良システム 以上の補完を目指し、サンプリング手法やサンプ ルサイズを変化させた場合の実験や、より多くの 情報を活用したモデルの設計等の改善を行いたい と考えている。また、改善手法は 2021 年に開催す る SHINRA2021-ML タスクに対し適用する予定であ る。具体的には、本手法により能動的に推定された サンプルをリーダーボードの提出データに含めるこ とを考えている5)。リーダーボードに提出したデー タ内で最終評価を行うことも視野に入れており、積極的に一部予測のみの最終提出を受け入れる予定で ある $[14]$

## 参考文献

[1] Satoshi Sekine, Akio Kobayashi, and Kouta Nakayama. SHINRA: Structuring Wikipedia by Collaborative Con-

5）リーダーボード上における評価は、その一部で行われる。
tribution. In Submitted to Automated Knowledge Base Construction, 2019.

[2] 小林暁雄, 中山功太, 安藤まや, 関根聡. Wikipedia 構造化プロジェクト「森羅 2019-JP」. 言語処理学会第 26 回年次大会, 2020.

[3] 中山功太, 栗田修平, 小林暁雄, 関根聡. Pre-Distillation Ensemble:リソース構築タスクのためのアンサンブ ル手法. 言語処理学会第 26 回年次大会, 2020.

[4] Burr Settles. Active learning literature survey. Computer Sciences Technical Report 1648, University of WisconsinMadison, 2009.

[5] Satoshi Sekine, Masako Nomoto, Kouta Nakayama, Asuka Sumida, Koji Matsuda, and Maya Ando. Overview of shinra2020-ml task. In Proceedings of the NTCIR-15 Conference, 2020.

[6] David D. Lewis and Jason Catlett. Heterogeneous uncertainty sampling for supervised learning. In William W. Cohen and Haym Hirsh, editors, ICML, pp. 148-156. Morgan Kaufmann, 1994.

[7] Yiqun Liu, Makoto P. Kato, and Noriko Kando. Overview of ntcir-15. In Proceedings of the NTCIR-15 Conference, 2020.

[8] Sekine Satoshi. Extended named entity ontology with attribute information. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Morocco, May 2008. European Language Resources Association (ELRA).

[9] Masatoshi Suzuki, Koji Matsuda, Satoshi Sekine, Naoaki Okazaki, and Kentaro Inui. A joint neural model for fine-grained named entity classification of wikipedia articles. IEICE Transactions on Information and Systems, Vol. E101.D, No. 1, pp. 73-81, 2018.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[11] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[12] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. CoRR, Vol. abs/1907.11692, , 2019.

[13] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Com- putational Linguistics.

[14] 関根聡, 野本昌子, 中山功太, 隅田飛鳥, 松田耕史, 安藤まや. SHINRA2020-ML:30 言語の Wikipedia ペー ジの分類. 言語処理学会第 27 回年次大会, 2021.

表 2 本研究で用いたハイパーパラメーター

## A ベースモデル学習

学習に使用したハイパーパラメーターを表 2 に 示す。学習データのサイズに合わせて、ar のバッ チサイズを半分、enのバッチサイズを倍に設定 している。学習時の計算コストを削減するため、 ${ }^{\text {apex }}{ }^{6)}$ (opt_level には O1 を設定) を用いて混合精度学習を行っている。

## B PDE モデル学習

蒸留段階、アンサンブル段階に使用したハイパー パラメーターを表 2 に示す。アンサンブル段階で は、ベースモデルの学習と同様に、言語ごとでの バッチサイズを設定している。学習時の計算コスト を削減するため、apex(opt_level には O1を設定)を用 いて混合精度学習を行っている。

6) https://github.com/NVIDIA/apex


# スペクトル混合カーネルとガウス過程に基づく 動画からの副詞の意味理解

谷口巴
お茶の水女子大学
g1620524@is.ocha.ac.jp
}

持橋大地
統計数理研究所
daichi@ism.ac.jp
}

長井隆行高野涉大阪大学

nagai@sys.es.osaka-u.ac.jp takano@sigmath.es.osaka-u.ac.jp

長野匡隼 中村友昭
電気通信大学
n1832072@edu.cc.uec.ac.jp
tnakamura@uec.ac.jp
小林一郎
お茶の水女子大学
koba@is.ocha.ac.jp

## 1 はじめに

近年重要性が高まってきている家庭用ロボットに は，日常生活において人と同じ感覚を共有した動作 が期待される．動作に対する感覚は，自然言語では 副詞を通じて表現されることが多い，ゆえに，特定 の副詞を表現する複数の動作に共通する特徴を見つ けることができれば，ロボットはその副詞の意味を 本質的に理解したといえる. 副詞認識についての先行研究として, Pang ら [1] が表情認識や画像情報を 用いてアプローチしているが，動作との関係性を捉 えることは難しく，実際にロボットを動かすことを 考えると実用的ではない. 本研究ではロボットに適用する前段階として，人の動作の特徴を通じて副詞 の意味を理解することを試みる．具体的には，人の 動作を GPLVM [2] で圧縮して得られた非線形な潜在空間での軌跡を，スペクトル混合カーネル [3] を用 いたガウス過程で表現する. さらに各次元の軌跡を 構成する複数の周波数成分を特定し, 副詞との対応関係を捉える，周波数空間でのマルチモーダルなト ピックモデルを提案する.これにより，動作につい て副詞を用いて表現することや、副詞表現から動作 を生成することが可能となる.

## 2 動作と副詞の結合トピックモデル

## 2.1 ガウス過程潜在変数モデル (GPLVM)

本研究では, 動作から得られる高次元の姿勢情報 を低次元に圧縮してモデル化するため，ガウス過程 に基づく教師なし学習であるガウス過程潜在変数モ デル (GPLVM) [2]を用いる. GPLVM とは，ガウス過程に基づく非線形な確率的主成分分析であり, $N$個の $D$ 次元観測値をまとめた行列 $\boldsymbol{Y}$ について, 式 (1)を最大化するような低次元の入力 $X$ を計算する.

$
p(\boldsymbol{X}, \boldsymbol{Y})=p(\boldsymbol{Y} \mid \boldsymbol{X}) p(\boldsymbol{X})
$

ここで， $\boldsymbol{X}$ は未知であるため $p(\boldsymbol{X})=\mathcal{N}\left(\boldsymbol{0}, \boldsymbol{I}_{K}\right)$ と仮定して,$p(\boldsymbol{Y} \mid \boldsymbol{X})$ を考える. $\boldsymbol{Y}$ はガウス過程に従い， $X$ がわかれば出力の各次元が独立であると仮定する と，データ全体 $\boldsymbol{Y}$ の確率は $\boldsymbol{y}^{(1)} \ldots \boldsymbol{y}^{(D)}$ の積であるた め, $p(\boldsymbol{Y} \mid \boldsymbol{X})$ は以下の式で表される. ただし $\boldsymbol{K}_{\boldsymbol{X}}$ は共分散行列, $k\left(x, x^{\prime}\right)$ はガウス過程のカーネル関数で あり, $K_{i, j}=k\left(x_{i}, x_{j}\right)$ で定義される.

$
p(\boldsymbol{Y} \mid \boldsymbol{X})=(2 \pi)^{-\frac{N D}{2}}\left|\boldsymbol{K}_{\mathbf{X}}\right|^{-\frac{D}{2}} \exp \left(-\frac{1}{2} \operatorname{tr}\left(\mathbf{K}_{\boldsymbol{X}}^{-1} \boldsymbol{Y} \boldsymbol{Y}^{\mathbf{T}}\right)\right)
$

本研究では $\boldsymbol{X} \rightarrow \boldsymbol{Y}$ の GPLVM のカーネル関数とし て RBF カーネルを使用し，L-BFGS 法を用いて $X$ お よびカーネルのハイパーパラメータを最適化する。図 3 に, 実際の動作から計算した $\boldsymbol{X}$ の例を示した.

## 2.2 スペクトル混合カーネル

上で得られた潜在空間 $X$ での動作の軌跡につい て，その特徴を捉えることを試みる. Wilson ら [3] は ガウス過程で使用する基底を，既存の基底やその組 み合わせに限定せず，フーリエ領域で混合ガウス分布を考えることでデータから自動的に学習できる スペクトル混合カーネル (Spectral Mixture Kernel, SM kernel) という手法を提案した.ここではガウス過程 の基底として，值が $\tau=x-x^{\prime}$ だけに依存する定常基底関数 $k(\tau)$ を考える。ボホナーの定理より,任意 の $k(\tau)$ は以下の形で表される.

$
k(\tau)=\int_{\mathbb{R}^{D}} e^{2 \pi i s^{\mathrm{T}} \tau} \psi d s
$

(a) Openpose による画面座標推定

(b) FCRN-depthによる深度推定 (c) 3 次元の骨格座標の推定

(d) 回転行列による方向正規化

図 1: 動画データの前処理による動作の骨格座標の抽出.

$k(\tau)$ は周波数領域での確率密度 $\psi(s)$ と等価なので, $\psi(s)$ に関して混合ガウス分布を考える. ガウス分布 の各要素は，もとの領域では以下の基底関数を考え ていることと等価となる.

$
k(\tau \mid \sigma, \mu)=\exp \left(-2 \pi^{2} \tau^{2} v^{2}\right) \cos (2 \pi \tau \mu)
$

すなわち基底として, 次の $Q$ 個の基底関数の混合を 考えていることになる. ただし,$\mu_{q}^{d}$ と $v_{q}^{d}$ は $q$ 個目 の基底における入力 $\boldsymbol{X}$ における $d$ 次元目の平均と 分散である.

$
k(\tau)=\sum_{q=1}^{Q} w_{q} \cos \left(2 \pi \tau^{\mathrm{T}} \mu_{q}\right) \prod_{d=1}^{D} \exp \left(-2 \pi^{2} \tau_{d}^{2} v_{q}^{d}\right)
$

パラメータの重み $\mathrm{w}$, 平均 $\mu$, 分散 $\sigma$ は通常のガ ウス過程のハイパーパラメータ最適化で学習でき る. 本研究ではこの手法を用いて，各動画について GPLVM で圧縮した 3 次元の潜在変数 $X$ から，副詞 と関係があると予想される $Q=4$ 個の周波数成分を 抽出して観測値とする. 例を図 4 に示した. ${ }^{1)}$

## 2.3 スペクトル混合潜在ディリクレ配分法 (Spectral Mixture LDA)

動作から抽出された周波数成分は, その動作に 付与された副詞と関係があると考えられる。 そこ で, 潜在ディリクレ配分法 (LDA) [4] を拡張し, 各動作 $d$ に $K$ 次元の潜在的な「トピック分布」 $\theta_{d}$ が あると仮定する.このとき, 動作に付与された副詞

図 2: SMLDA のグラフィカルモデル.

1） $X$ での軌跡を直接フーリエ変換することもできるが，その 場合は関数がどこを通るか (関数の位相) と関数の特徴を分離 することができない. スペクトル混合カーネルを用いること により，純粋に軌跡の特徴だけを抽出することができる。 $\left.\{w_{d n}\right.\}\left(n=1 \ldots N_{d}\right)$ および動作の周波数成分 $\left.\{x_{d m}\right.\}$ $\left(m=1 \ldots M_{d}\right)$ は, 次のモデルで生成されたと考える.

1. Draw $\theta_{d} \sim \operatorname{Dir}(\alpha)$.

2. For $n=1 \ldots N_{d}$,
- Draw $z_{d n} \sim \theta_{d} ; \quad$ Draw $w_{d n} \sim \operatorname{Mult}\left(\phi_{z_{d n}}\right)$.

3. For $m=1 \ldots M_{d}$,
- Draw $y_{d m} \sim \theta_{d}$; Draw $x_{d m} \sim \mathcal{N}\left(\mu_{y_{d m}}, \Sigma_{y_{d m}}\right)$.

このグラフィカルモデルを図 2 に示した. この マルチモーダルなトピックモデルを, 本論文では スペクトル混合 LDA (Spectral Mixture LDA; SMLDA) と呼ぶ. SMLDA では、周波数成分と副詞は動作毎 に同じトピック分布 $\theta_{d}$ を共有している.ここで $\phi_{k}$, $\mathcal{N}\left(\mu_{k}, \Sigma_{k}\right)$ はそれぞれ, $k$ 番目のトピックに対応する 副詞の多項分布および周波数のガウス分布であり，互いの情報を用いて, 各動画について 1 つ 1 つ副詞と周波数成分にトピックを割り当てていく.

副詞と周波数についてのサンプリング ギブスサン プリングにより, 副詞と周波数のトピック分布を学習していく。副詞 $w_{d n}$ のトピック $z_{d n}$ は, 次式を用 いてサンプリングする. ここで $V$ は語彙数を表す.

$
\begin{aligned}
& p\left(z_{d n}=k \mid \boldsymbol{W}, \boldsymbol{X}, \boldsymbol{Z}_{\backslash d n}, \boldsymbol{Y}, \alpha, \beta, \gamma\right) \\
& \quad \propto\left(N_{d k \backslash d n}+M_{d k}+\alpha\right) \frac{N_{k w}+\beta}{N_{k \backslash d n}+\beta \boldsymbol{V}}
\end{aligned}
$

ハイパーパラメータである $\alpha$ と $\gamma$ は不動点反復法 により，以下の式を用いて更新する。ここで登場す る $\Psi$ はディガンマ関数 $\Psi(x)=d / d x \log \Gamma(x)$ である。

$
\begin{aligned}
\alpha^{\text {new }} & =\alpha \frac{\sum_{d=1}^{D} \sum_{k=1}^{K} \Psi\left(N_{d k}+M_{d k}+\alpha\right)-D K \Psi(\alpha)}{K \sum_{d=1}^{D} \Psi\left(N_{d}+M_{d}+\alpha K\right)-D K \Psi(\alpha K)} \\
\gamma^{\text {new }} & =\gamma \frac{\sum_{k=1}^{K} \sum_{v=1}^{V} \Psi\left(N_{k v}+\gamma\right)-K V \Psi(\gamma)}{V \sum_{k=1}^{K} \Psi\left(N_{k}+\gamma V\right)-K V \Psi(\gamma V)}
\end{aligned}
$

周波数成分 $x_{d m}$ のトピック $y_{d m}$ に関しては, 副詞の 単語分布をガウス分布の確率密度関数に置き換え，以下の式を用いてサンプリングする。

$
\begin{aligned}
& p\left(y_{d m}=k \mid \boldsymbol{W}, \boldsymbol{X}, \boldsymbol{Z}, \boldsymbol{Y}_{\backslash d m}, \alpha, \beta, \gamma\right) \\
& \propto \frac{1}{\sqrt{2 \pi} \sigma_{k}} \exp \left(-\frac{\left(x_{d m}-\mu_{k}\right)^{2}}{2 \sigma_{k}^{2}}\right) \frac{N_{d k}+M_{d k \backslash d m}+\alpha}{N_{d}+M_{d}-1+\alpha K}
\end{aligned}
$

パラメータである $\mu$ と $\sigma$ は以下の事後分布からサ ンプリングする. ここで $\lambda=1 / \sigma^{2}$ である.

$
p(\mu \mid \mathbf{Y})=\mathrm{N}\left(\mu \mid m,(\beta \lambda)^{-1}\right), p(\lambda \mid \mathbf{Y})=\operatorname{Gam}(\lambda \mid a, b)
$

ただし $a_{0}, b_{0}, \beta_{0}, m_{0}$ を事前分布のパラメータとして

$
\begin{aligned}
& a=\frac{M}{2}+a_{0}, b=\frac{1}{2 \sum_{m=1}^{M} x_{m}^{2}+\beta_{0} m_{0}^{2}-\beta m^{2}}+b_{0} \\
& \beta=M+\beta_{0}, m=\frac{1}{\beta}\left(\sum_{m=1}^{M} x_{m}+\beta_{0} m_{0}\right)
\end{aligned}
$

## 3 実験

## 3.1 使用するデータ

YouTube に掲載されている, 100 種類の異なる歩行動作を集めた動画2)を用いて実験を行った。クラウ ドソーシングシステム Lancers ${ }^{3)}$ を用いて，20 名の アノテーターに動画の各動作について思いつく限 り自由に副詞をアノテーションしてもらうよう依頼した. 全動画で 3 個以上出現した副詞に限定し,満たない副詞はノイズとして除去した. また「ゆっ くり」という副詞は多くの動画に付けられていたた め，各動画につき 3 個以上付けられた場合のみ採用 した. この結果, 1 つの動画につき平均 12.93 個の 副詞がアノテーションされたデータが得られた.

データの前処理 上記の動画データから，以下のよ うに 4 段階で 3 次元の骨格座標の推定を行った.

1. Openpose [5] を用いて動画データから 2 次元の 骨格座標を推定 (図 1(a))

2. FCRN-depth prediction [6] を用いて動画データの 深度を推定 (図 1(b))

3. 1,2 の推定結果と 3d-pose baseline [7] を用いて動画データから 3 次元の骨格座標を推定 (図 1(c))

4. 歩いている人の体の向きを合わせるため, 回転行列を用いて正規化 (図 1(d))

周波数成分の抽出 前処理したデータから各関節間 ごとに方向べクトルを算出し, 入力データとした. 以下の 2 つの手法を用いて, 前処理した動画データか ら周波数成分を抽出した。

1. GPLVM を用いて 48 次元の姿勢データを 3 次元 の潜在変数に圧縮する (図 3)

2. SM kernel を用いて 3 次元の潜在変数から, 各次元について周波数成分を抽出する (図 4)

2) https://www. youtube.com/watch?v=HEoUhlesN9E

3) https://www. lancers.jp/

図 3: GPLVM による動作の非線形次元圧縮.ここでは (a)-(c)の異なる歩行動作が, 低次元の潜在空間 $\boldsymbol{X}$ の 軌跡として表現されている.

学習データのうち, 3 個の動作を GPLVM で圧縮し た 3 次元の潜在空間にプロットしたものを図 3 に示 す. 歩く動作は繰り返しの動作であるため, 潜在変数 は図のように円を描くような動きになる. SM kernel によって各動画の 1 次元目について最適化された平均 $\boldsymbol{\mu}$ と分散 $\boldsymbol{\sigma}$ をパラメータとしてガウス分布を描画したものを図 4 に示した. ${ }^{4}$ ) 式 (5) より平均 $\mu$ の值 が大きいほど周期が小さくなることから，值の変動 が低速な動画データほど基底を表すスペクトルは左側に多く見られると推測できる.よって, (a) は遅い 動きの成分が多く, (c) は速い動きの成分が多く, (b) はその中間的な動きということがわかる. SM kernel では構成されるカーネル関数に関して重み $\mathbf{w}$, 平均 $\mu$, 分散 $v$ が推定されるが, 関数の種類に着目するた め, 平均 $\boldsymbol{\mu}$ のみを周波数成分として今後使用する. 本実験ではこの抽出された周波数成分と動画に付与さ れた副詞の集合を入力データとした. 共にトピック 数を 4, 十分収束するよう, MCMC の繰り返し数は 1000 と大きい值に設定した. 混合ガウス分布の部分 に関して, 分散はデータの幅に合わせて 4 つのガウ ス分布が均等に配置されるよう, $\sigma=3.75$ と固定して 平均のみ学習する。

(a)

(b)

(c)

図 4: 図 3 の各動作について, 1 次元目の軌跡を解析したス ペクトル混合カーネルによる周波数表現.

4）推定された分散がきわめて小さいため, 図ではガウス分布が デルタ関数状に描画されている.
表 1: SMLDA で得られたトピック別副詞上位 7 語.

表 2: LDA だけで得られたトピック別副詞上位 7 語.

## 3.2 実験結果

学習されたトピックー単語分布から各副詞につい て NPMI [8] を計算した上位 7 語を表 1 に示す. 比較 のため，周波数成分の情報を使わず LDA で解析し た結果を表 2 に示した. 動作の情報を同時に用いる ことで, 副詞のトピックがより明確になっているこ とがわかる. また学習された平均 $\mu$ を用いてガウス 分布を描画したものを図 5 に示す. 収束しているか 確認するため, $\mathrm{MCMC}$ の各繰り返しごとに計算した パープレキシティをプロットしたものを図 6 に示 す. かなり早い段階で収束していることがわかる.

## 3.3 モデルの評価

データを訓練用と評価用に 8 対 2 に分割した. 評価用のデータについて，モデルに周波数データを与 えた際の副詞のパープレキシティを算出した. また， モデルの評価のため，次の 2 つのモデルと比較する。

1. 評価用と同じ $\theta$ を用いて, 副詞を一様分布を 使ってランダムにサンプリングしたもの
2. $\theta$ そのものもランダムに生成し，副詞を一様分布を使ってランダムにサンプリングしたもの

図 5: 学習した $\mu$ を用いて 描画したガウス分布.

図 6: SMLDA の MCMC と パープレキシティ.
この結果，SMLDA の パープレキシティは 41.55, 上記のランダム 1 とランダム 2 はそれぞ れ 90.75 および 92.84 で あり，モデルが正しく 副詞を予測しているこ

図 7: 評価用の動画の例. とがわかった. また評価用の動画 (図 7) に関して，周波数データを与えたと き，SMLDA が推定した $\theta$ を図 8 に，確率の高い副詞を表 3 に示す。

図 8: 動作から推定された $\theta$. 表 3: 動画から予測される確

## 3.4 考察率の高い副詞上位 7 語.

表 1 では，副詞を動作の情報も用いて意味的にク ラスタリングすることに成功している. 図 5 では,狙い通りデータの幅を均等に分けるようにガウス 分布が配置されている形となっている。このことか ら，SMLDA は副詞情報，周波数成分情報ともに互 いの情報を用いて，クラスタリングが成功している ことが確認できる。また SMLDA はランダムに副詞 を生成するモデルよりパープレキシティが低く，動作を表す周波数成分から副詞を生成するモデルとし て有効であることが示された．最後に表 3 より，動画に対して妥当な副詞がサンプリングされているこ とが確認できた。

## 4 まとめと今後の課題

歩行動作をする人間の骨格座標を GPLVM を用い て 3 次元の潜在変数に圧縮し, SM kernel を用いて周波数成分を抽出した. 次に SMLDA を用いて, 動画に アノテーションされた副詞データと周波数データ を, お互いの情報を使いながら 4 つのトピックにク ラスタリングした. 最後にパープレキシティを用い て評価し, モデルの有効性を示した. 現在は 3 次元に 圧縮した潜在変数を 1 次元ずつスペクトル混合カー ネルを用いて解析しているが, 今後はこれを直接 3 次元で同時に行うことを検討している。

謝辞 本研究は, 科学研究費補助金 - 基盤 (B) (18H03295) の支援を受けて行った.

## 参考文献

[1] Bo Pang, Kaiwen Zha, and Cewu Lu. Human Action Adverb Recognition: ADHA Dataset and A Three-Stream Hybrid Model. CoRR, Vol. abs/1802.01144, pp. 2438-2447, 2018.

[2] Michalis K. Titsias and Neil D. Lawrence. Bayesian Gaussian Process Latent Variable Model. In AISTATS 2010, pp. 844-851.

[3] Andrew Gordon Wilson and Ryan Prescott Adams. Gaussian Process Kernels for Pattern Discovery and Extrapolation. In ICML 2013, pp. 1067-1075.

[4] David M. Blei, Andrew Y. Ng, Michael I. Jordan, and John Lafferty. Latent Dirichlet Allocation. Journal of Machine Learning Research, Vol. 3, pp. 994-1022, 2003.

[5] Zhe Cao, Gines Hidalgo, Tomas Simon, Shih-En Wei, and Yaser Sheikh. OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields. IEEE Trans. Pattern Anal. Mach. Intell., Vol. 43, No. 1, pp. 172-186, 2021.

[6] Iro Laina, Christian Rupprecht, Vasileios Belagiannis, Federico Tombari, and Nassir Navab. Deeper Depth Prediction with Fully Convolutional Residual Networks. In $3 D V$, pp. 239-248, 2016.

[7] Julieta Martinez, Rayat Hossain, Javier Romero, and James J Little. A Simple yet Effective Baseline for 3D Human Pose Estimation. In ICCV 2017, pp. 2640-2649, 2017.

[8] Gerlof Bouma. Normalized (Pointwise) Mutual Information in Collocation Extraction. Proceedings of GSCL, pp. 31-40, 2009.


# 時間的常識を理解する言語モデルの構築へ向けて

木村麻友子 Lis Kanashiro Pereira 小林一郎
お茶の水女子大学
\{g1720512,koba\}@is.ocha.ac.jp, kanashiro.pereira@ocha.ac.jp

## 1 はじめに

テキスト内に記述された事象の時間関係を理解 するためには，その事象の時間に関する常識的背景知識が必要となる. しかし，常識がテキスト内 に明示的に表現されることはほとんどなく，コン ピュータにそのような知識を踏まえた理解や推論 をさせることは未だ挑戦的な課題となっている.自然言語処理における質問応答に関する研究は,自然言語理解一般を中心に手法の開発が進めら れ，近年，顕著な進歩を遂げているが，時間的常識を用いた特定の推論能力などを対象にしている ものは少ない. そこで, 本研究では時間的常識に 基づく理解に焦点を当て，Multiple Choice TemporAl COmmon-sense (MCTACO) [1] という自然言語で表現された事象の時間的常識を理解する課題を取り 上げ，時間的常識に対する理解の精度向上を目的 として手法の開発を行う. 本研究でのアプローチ として, 時間や常識に関する複数のコーパスを事前学習に用いた multi-step fine-tuning や, BERT 使用時において潜在トークンに対する Masked Language Modeling をする際に使用するデータを変更した場合 の出力精度との関係を調査し考察を行った. また， これらの作成したモデルのアンサンブル学習を行 い，単一モデルよりも良い結果が得られることを確認した.

## 2 関連研究

文章内のイベントに関する時間関係を正しく理解 することは，自然言語理解の実現において本質的な 課題であり, 近年, 時間的常識を踏まえた自然言語理解の研究が盛んになっている. Zhou ら [1] は，ク ラウドソーシングを使い時間に関する 5 つの特徴量 (duration, temporal ordering, typical time, frequency, stationarity）の時間的常識を集め MCTACO という新 しいデータセットを作り, 時間的常識問題を解く深層学習モデルを構築したが，人の識別能力よりもお
よそ $20 \%$ 精度が低い結果となった. さらに彼らは, TacoLM という時間的常識を捉えた言語モデルを構築し [2]，通常の BERT [3] よりも時間関係を捉える タスクの予測精度が高い結果を得ている。

Gururangan ら [4] は，すでに一般的なコーパスで 言語モデルを事前学習しているモデルに対して，さ らに対象となるドメインやタスクのデータセットで 2 段階目の事前学習を行うことによって，対象タス クの出力の精度が向上されることを示している.

また, Phang ら [5] は, データ量の多い中間的な 教師付きタスクを用いて 2 段階目の事前学習を 行った.このアプローチを, Supplementary Training on Intermediate Labeled-data Tasks（STILTs）とし，結果として得られるターゲットタスクモデルが改善す ること，特にデータの少ないタスクで BERTを使用 する場合や，データに制約のある場合に学習が大幅 に安定することを示している。

## 3 提案手法

## 3.1 multi-step fine-tuning

本研究では，MCTACO を用いて時間的常識を推定する課題を解決するモデルを構築するが，モデル の精度を向上させるため，多段階のファインチュー ニング（multi-step fine tuning）を行う. 事前学習済 みの BERT を対象にして， MCTACO ではないが時間的常識に関係がありそうなタスクを採用し，それ らを用いて多段階のファインチューニングを行った 後に MCTACO のタスクを用いてファインチューニ ングすることにより，MCTACO における回答の精度向上を目指す。

## 3.2 Masked Language Modeling

本研究では, BERT の事前学習として採用され ている Masked Language modeling（以下，MLM）と Next Sentence Prediction の内のひとつである MLM に 関して，MCTACO では訓練データが提供されてい

ないため，検証データを用いてマスクする語彙の比率などを変えて潜在トークンを構築する。これに より，評価に用いるデータ（MCTACO）に更に適応 した言語モデルを構築し, モデルの精度向上を目指す.

## 4 実験

multi-step fine-tuning による影響を調査するため, MCTACO のみ 1 段階でファインチューニングした 場合と，他のデータセットを使用して 2 段階でファ インチューニングした場合を比較し, 精度がどのよ うに変化するかを分析する. また， MLM に使用す るデータセットを変更することによる影響を調査す るため, MCTACO を使用した場合の精度を求める。 さらに，マスクする割合1)をいくつか変更した場合 の違いを分析する。

## 4.1 使用データ

本研究では，学習用および評価用データセッ トとして MCTACO を使用する。また， 3.1 におけ る 1 段階目用のデータセットとして, TimeBank[6], MATRES[7], CosmosQA[8], SWAG[9]を使用する. MCTACO，TimeBank，MATRES は時間に関するデー タセットであり, CosmosQA と SWAG は時間に限ら ず一般的な常識全般に関するデータセットである.表 1 にそれぞれのデータセットの統計情報を示す.

以下に各データセットの概要を示す.

## MCTACO [1]

MCTACO では，時間特性に関する 5 つの特徴量 (duration, temporal ordering, typical time, frequency, stationarity)を定義しており, 自然言語で表現された 事象の時間的常識を理解する課題から構成される データセットである. 5 つの特徴量のいずれかの特性について記述された文章とその文章に関する質問，それに対する答えを表す複数の選択肢，その選択肢に対して正解には yes, 不正解には no とラベル 付けされたものから構成されている（表 2参照）.

表 2 MCTACO の例

S1:He layed down on the chair and pawed at her as she ran in a circle under it.

Q1:How long did he paw at her?
A1:2 minutes [yes]
A3:90 minutes [no]
A2:2 days [no]
A4:7 seconds [yes]
Reasoning Type:Event Duration

MCTACO では，訓練データは提供されておら ず，検証データと評価データのみ提供されている。 MCTACO に対しては, huggingface $の$ transformers で提供されている分類問題用のモデルである, BertForSequenceClassification モデルを使用する.ま た，入力データをエンコードする際に，文章十質問文と答えは [SEP] で分けられている.

## TimeBank [6]

TimeBank は, 時間的常識の中の, 特に持続時間 に関するデータセットである. 文章内に含まれる イベントの持続時間が 1 日より長いか短いかに よって yes, no のいずれかがラベル付けされている. TimeBank に対しても，BertForSequenceClassification モデルを使用する．また，入力データをエンコー ドする際に，文章とイベントは $[\mathrm{SEP}]$ で分けられて いる.

## MATRES [7]

MATRES は，文章内に含まれる二つの動詞の時間関係に関するデータセットである．時間関係に よって, AFTER, BEFORE, EQUAL, VAGUE のいずれ かがラベル付けされている. MATRES に対しても， BertForSequenceClassification モデルを使用する.ま た，入力データをエンコードする際に，着目する文章中の二つの動詞の前後にタグマーカーを挿入して いる.

MATRES は TimeBank のデータ拡張用としても用 いる.その際，MATRES に含まれる時間情報を含む データに対して TimeBankでファインチューニング 済みのモデルを用いてラベル付けを行い，最終層に おける出力の確率値が 0.9 を超えるもののみをデー 夕拡張に用いて実験を行う。

## CosmosQA [8]

CosmosQA は, 出来事の原因や影響など，明示的に言及されていない物語の行間を読むことに 焦点を当てている．時間に限らず一般的な常識全般に関するデータセットであり, 四択一の多肢選択問題である. CosmosQA に対しては, huggingface の transformers で提供されている多肢選択問題用の モデルである BertForMultipleChoice モデルを使用す

る.また，入力データをエンコードする際に，文章十質問文と選択肢は [SEP] で分けられている.

## SWAG [9]

SWAG は，フレーズを与えられたときに次のフ レーズを常識に基づいて推測する問題のデータセッ トである。こちらも時間に限らず一般的な常識全般 に関するデータセットであり，四択一の多肢選択問題である. SWAG に対しても，BertFormultipleChoice モデルを使用する．また，入力データをエンコード する際に，文章と選択肢は $[\mathrm{SEP}]$ で分けられている。

## 4.2 実験設定

multi-step fine-tuning に関して，パラメータの設定 を表 3 に示す。それぞれのデータセットについて予備実験を通して最も精度が良くなったパラメータ （表内太字）を使用する。

また，MLMを行う際のパラメータの設定を表 4 に示す. MLM 後に MCTACO を用いて学習, 評価する際のパラメータは表 3 の 1 行目に太字で 記載のものを使用する．MLMには，huggingface の transformers ${ }^{2}$ で提供されている BertForPreTraining モ デルを使用する.

両者ともにモデルには bert-base-uncased を使用し，評価指標としては Exact Match (EM) と F1 スコアを 採用した．EM は各質問に対する全ての答えを正し くラベル付けすることができる確率であり，F1 スコ アは適合率と再現率の調和平均である.

表 3 multi-step fine-tuning の実験設定

 &  &  &  \\

MATRES & & & & \\

表 4 MLM の実験設定

 &  &  &  \\

## 4.3 実験結果

multi-step fine-tuning 実験結果を表 5 に示す.

表 5 multi-step fine-tuning による実験結果

表 5 の 1 行目は，MCTACO を用いた 1 段階のファ インチューニングの結果，2 行目以下はその他の データセットを 1 段階目に使用し，MCTACO 2 段階目として用いた mulを行なった結果である. また， 4 行目は MATRES を TimeBank のデータ拡張用に用いた結果である. 表 5 には MCTACO の評価 データを使用した結果，及び（）内には 5 分割交差検証を行なった結果を記載している。

実験の結果，使用するデータセットによる差異は あるものの全体的には multi-step fine-tuning を行なっ たことによる精度の向上が確認された. 最も良い精度となったのは最下行に記載しているSWAG を 1 段階目のファインチューニングに使用した場合で あった. CosmosQA と SWAG はどちらも一般的な常識全般に関するデータセットであり，二つを比較す ると SWAG の方が大きなデータセットである（表 1 参照).

Masked Language Modeling 実験結果を表 6 に 示す.

表 6 MLMによる実験結果

こちらも表 5 と同様に，MCTACO の評価データ を使用した結果，及び（）内には 5 分割交差検証を 行なった結果を記載している。実験の結果，最も精度が良かったのは 1 行目の，ラベルが yes のデータ のみを使用し $15 \%$ マスクした場合であった。

ここで，アンサンブル学習として Max Voting を行 う.いくつかのパターンで 3 つのモデルを使用し， MCTACO の評価データを用いて評価した. その結果を表 7 に示す.

 & $\checkmark$ & & \\

実験の結果，アンサンブル学習による精度の向上 が確認された. 特に， CosmosQAを用いて multi-step fine-tuning を行ったモデル，SWAGを用いて multistep fine-tuning を行ったモデル， MLM に MCTACO を用いたモデルの 3 つを使用したパターン 2 が最も 精度が良くなった.この結果は，Zhou ら [1] の実験結果（F1:69.9\%，EM:42.7\%）に比べてそれぞれ $3 \%$ ほど精度が向上している。

## 4.4 考察

multi-step fine-tuning を行うと, 1 段階のみのファ インチューニングを行なった場合よりも精度が良 くなることが確認できた． MCTACO は時間的特徴 の理解を問うタスクであるが，1 段階目に使用する データセットに関しては，時間的な常識に関する データセットに拘らずに一般的な常識全般に関する データセット，特に大規模なデータセットである場合に精度が大きく改善することが確認された.

また，MLM に MCTACO を用いると，マスクす る割合などによって違いはあるものの, pre-trained BERT モデルをそのまま使用する場合よりも精度 が良くなることが確認できた. さらに, multi-step fine-tuning よりも精度が良くなることも確認でき，有用な手段であると考えられる。

ここで，MCTACO のみでファインチューニング したモデルと，MLMに MCTACO を使用したモデ ル (表 6 のうち最も精度の良かった 1 行目の設定を使用）に関して，MCTACO の検証データに含 まれる例に対し Attention の可視化を行い，観察し た. 結果を図 1(a), 図 1(b) に示す. Attention の可視化には BertViz3)を使用した．BertVizでは，カーソ ルを合わせた任意のトークンからの Attentionを 各レイヤー及びヘッドごとに確認することがで
き，Attention が大きいほど色が濃く表示される．例 えば文中の"happened"という動詞について比較し てみると，MLMに MCTACO を用いることによっ て，"met"という動詞の過去形や"lonely"という形容詞への Attention が大きくなっていることが分かる. Attention の可視化について，詳しい結果を付録 A に 記載する。

(a) MCTACO でファイン チューニングしたモデル 用いたモデルを使用した を使用した場合場合図 1 Attention 可視化の例

## 5 おわりに

本研究では，自然言語で表現された事象の時間的常識を理解するタスクにおいて，多段階でのファイ ンチューニングを行うことの効果の検証，及び，事前学習 MLM において使用するデータを変更するこ との効果の検証を行った. 実験の結果，使用する データセットやマスクする割合による差異はある ものの，双方ともに精度の向上が確認された. さら に，MLM は精度がより良くなることが確認された。今後は，Attention の分析を進めながら MLM におい てマスクするトークンの選び方を変更するなどの実験を行い，さらなる精度の向上を実現するために有益なドメイン適用手法ならびに言語モデル構築手法 を開発する。

## 謝辞

本研究は，科研費（18H05521）の支援を受けた。 ここに謝意を表す.

## 参考文献

[1] Ben Zhou, Daniel Khashabi, Qiang Ning, and Dan Roth. "going on a vacation" takes longer than "going for a walk": A study of temporal commonsense understanding. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3363-3369, Hong Kong, China, November 2019. Association for Computational Linguistics.

[2] Ben Zhou, Qiang Ning, Daniel Khashabi, and Dan Roth. Temporal common sense acquisition with minimal supervision. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7579-7589, Online, July 2020. Association for Computational Linguistics.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A. Smith. Don't stop pretraining: Adapt language models to domains and tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 83428360, Online, July 2020. Association for Computational Linguistics.

[5] Jason Phang, Thibault Févry, and Samuel R Bowman. Sentence encoders on stilts: Supplementary training on intermediate labeled-data tasks. arXiv preprint arXiv:1811.01088, 2018.

[6] Feng Pan, Rutu Mulkar-Mehta, and Jerry R Hobbs. Extending timeml with typical durations of events. In Proceedings of the Workshop on Annotating and Reasoning about Time and Events, pp. 38-45, 2006.

[7] Qiang Ning, Hao Wu, and Dan Roth. A multi-axis annotation scheme for event temporal relations. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1318-1328, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[8] Lifu Huang, Ronan Le Bras, Chandra Bhagavatula, and Yejin Choi. Cosmos QA: Machine reading comprehension with contextual commonsense reasoning. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2391-2401, Hong Kong, China, November 2019. Association for Computational Linguistics.

[9] Rowan Zellers, Yonatan Bisk, Roy Schwartz, and Yejin Choi. SWAG: A large-scale adversarial dataset for grounded commonsense inference. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Pro- cessing, pp.93-104, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

## A 付録

本文中 4.4 にて行った Attention の可視化の補足として，MCTACO を用いてファインチューニング（以下，FT）したモデルと MLM に MCTACO を使用したモデルに加えて，MCTACO と SWAG を用いて multi-step fine-tuning (以下，MSFT)を行なったモデルの 3 つに関して，MCTACO の検証データに含まれる例に対して Attention の可視化を行い，どのように変化しているかを観察した. 図 2 と図 3 に可視化した結果を示す.

(a) MCTACO を用いて FT したモデ ルを使用した場合

(a) MCTACO を用いて FT したモデ ルを使用した場合

(b) MCTACO＋SWAG で MSFT を 行なったモデルを使用した場合

図 2 Attention 可視化の例 1

(b) MCTACO＋SWAG で MSFT を 行なったモデルを使用した場合

図 3 Attention 可視化の例 2

(c) MLM に MCTACO を使用したモ デルを使用した場合

(c) MLM に MCTACO を使用したモ デルを使用した場合

まず，図 2 は，MCTACO を用いて FT したモデルでは正しく予測できなかったが，MCTACO + SWAG で MSFT を行なったモデルと MLM V MCTACO を使用したモデルでは正しく予測できた例に対して各モデルを 使用した結果である。例えば文中の"happened"という動詞について確認してみると，(a) と比較して，(b) で は，"before"という時間に関する接続詞や"met"という動詞の過去形への Attention が大きくなっていることが 分かる。また，(c)では，本文中でも述べた通り"met"や"lonely"という形容詞への Attention が大きくなってい ることが分かる.

次に，図 3 は，MCTACO を用いて FT したモデルでは正しく予測できていたが，MCTACO + SWAG で MSFT を行なったモデルと MLM KCTACO を使用したモデルでは正しく予測できなかった例に対して各モ デルを使用した結果である。例えば文中の"paw"という動詞について確認してみると，(a) と比較して，(b) と (c) の双方とも時間に関する単語や動詞等へ Attention が大きくなっていることはあまり確認できない.


# 説明性の高いニューラルモデルの予測確信度に関する分析

$\dagger$ 東北大学 理化学研究所
$\left.\{{ }^{1}}.$ shun.sato, ${ }^{5}$ inui $\}$ @ecei.tohoku.ac.jp
$\left.\{{ }^{2}}.$ hiroki.ouchi, ${ }^{3}$ shota.sasaki.yv, ${ }^{4}$ kazuaki.hanawa $\} @$ riken.jp

## 1 はじめに

ニューラルネットワークを用いたモデルによっ て，自然言語処理の各タスクにおける予測性能は飛躍的に向上した.一方で，「モデルがなぜそのよう な予測をしたのか」を理解することは，人間にとっ て極めて困難であることが指摘されている [1]. そ のような状況で， $k$ 近傍法のような，学習事例との 類似度にもとづいて予測を行うモデルが注目を集め ている.この種のモデルでは予測への貢献度の高い 学習事例を提示することが容易であり，機械学習の 専門知識を持たないユーザにとってもモデルの挙動 を直感的に理解可能な場合が少なくない。

これに加え，「モデルがどの程度確信を持ってそ のような予測をしたのか」がわかるなら，人間の意思決定や人間と機械の協働がさらに促進されると考 えられる。たとえばモデルが確信度の低い予測をし た場合，人間による確認を入れるといった対策が打 てる.このような背景から, 多様な確信度計算手法 が提案されており，特に近年では，学習事例との類似度にもとづいてモデルの予測確信度を算出する手法が注目を集めている [5].

我々はニューラルネットワークモデルを使う際 にモデルの予測の根拠と予測確信度が両方が同時に わかることが重要であると考えている。本研究では この 2 つの条件を満たすモデルの挙動に対する理解 を深めるため，モデルが $k$ 近傍法を用いて予測を行 う場合に，訓練方法やデータの類似尺度の違いが確信度計算や近傍事例に与える影響について実験，分析を行った. 本研究の貢献は以下の 2 点である.

・ニューラルネット上で $k$ 近傍法を用いて予測を 行う場合に，訓練手法 (Cross Entropy Loss によ る訓練，Triplet Loss による訓練) やデータの類似尺度 (L2 距離, コサイン距離, 内積)を変えて 性能評価を行い，各条件における確信度の性能
の違いを明らかにした。
- 多くの評価事例の近傍に重複して現れる訓練 データ（ハブ）の出現度合いと確信度計算手法 Trust Score の関係を分析し，類似尺度が L2 距離やコサイン距離の時には，ハブが多く発生し ている予測に対して低い確信度が割り当てられ ることを明らかにした。

## 2 説明性の高いモデルの実現

この節では 1 節で述べたように，予測の根拠と予測確信度の両方がわかるような説明性の高いニュー ラルネットワークモデルの実現方法について述 べる.

## 2.1 モデルの予測確信度

ニューラルネットワークの予測確信度に関する研究は数多くなされており，その研究の方向性のとし ては大きく2つの方向性がある．1つ目はモデルの 予測確率を直接予測確信度として使えるように補正 を行う研究である。具体的な手法には， temperature scaling[4] が挙げられる. temperature scaling は過剩 に高い值がつく傾向にあるニューラルネットワーク モデルの予測確率に対して温度パラメータという新 しいパラメータを導入し，開発セットを用いて温度 パラメータの値を変えながら予測確率が適切な確信度となるように補正を行う。

2 つ目は予測時に追加の計算を行うことで予測確率とは異なる予測確信度を計算する研究である。代表的な手法としては Trust Score[5] が挙げられる. Trust Score は評価データと訓練データの間の距離を 用いて確信度を計算する手法であり,$k$ 近傍法によ る予測とも自然に組み合わせることが可能である.

本研究では $k$ 近傍法による予測と Trust Score によ る確信度計算を組み合わせることで，モデルの予測 に対して「なぜその予測が行われたのか」「その予
測がどれくらい信用できるのか」の 2 点が明示的に わかるニューラルネットワークモデルを実現する.

## 2.1.1 Trust Score による予測確信度の算出

予測確信度として用いる Trust Score の算出方法について述べる. クラスラベルの集合を $C=\left.\{l_{1}, l_{2}, \ldots, l_{M}\right.\}$ とし, 入力 $x_{i}$ とそのラベル $y_{i} \in$ $C$ からなる $n$ 個の訓練データ集合を $\mathbf{X}_{\text {train }}=$ $\left.\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \ldots,\left(x_{n}, y_{n}\right)\right.\}$ とする. また, 入力 $x$ の 文ベクトル $\mathbf{h}_{x} \in \mathbb{R}^{d \times 1}$ を計算するエンコーダを $f(\cdot)$ とする。訓練済みのエンコーダに $\mathbf{X}_{\text {train }}$ を大力して 得られた文べクトルの集合を $\mathscr{H}:=\left.\{\mathbf{h}_{x_{1}}, \mathbf{h}_{x_{2}}, \ldots, \mathbf{h}_{x_{n}}\right.\}$ とし，評価データ $x_{\text {test }}$ に対する文ベクトルを $\mathbf{h}_{x_{\text {test }}}$ とする.ここで, $\mathbf{h}_{x_{i}}=f\left(x_{i}\right), \mathbf{h}_{x_{\text {test }}}=f\left(x_{\text {test }}\right)$ であ る. また, 評価データ $x_{\text {test }}$ に対するモデルの予測 が $\hat{y}_{\text {test }}=l$ である時, 集合 $\mathscr{H}$ の中で正解ラベルが $l$ である集合を $\mathscr{H}_{l}=\left.\{\mathbf{h}_{j} \in \mathscr{H} \mid 1 \leq j \leq n \wedge y_{j}=l\right.\}$ と する.この時に評価データ $x_{\text {test }}$ に対する Trust Score $S\left(x_{\text {test }}, \mathscr{H}\right)$ は以下の式で算出される.

$
S\left(x_{\text {test }}, \mathscr{H}\right)=\frac{d_{\mathrm{np}}\left(x_{\text {test }}, \mathscr{H}\right)}{d_{\mathrm{p}}\left(x_{\text {test }}, \mathscr{H}\right)+d_{\mathrm{np}}\left(x_{\text {test }}, \mathscr{H}\right)}
$

ただし

$
\begin{aligned}
& d_{\mathrm{p}}\left(x_{\text {test }}, \mathscr{H}\right)=\min _{\mathbf{h} \in \mathscr{H}_{l}} d\left(\mathbf{h}_{x_{\text {test }}}, \mathbf{h}\right) \\
& d_{\mathrm{np}}\left(x_{\text {test }}, \mathscr{H}\right)=\min _{\mathbf{h} \in\left(\mathscr{H} \backslash \mathscr{H}_{l}\right)} d\left(\mathbf{h}_{x_{\text {test }}}, \mathbf{h}\right)
\end{aligned}
$

ここで $d\left(\mathbf{h}_{x_{\text {test }}}, \mathbf{h}\right)$ は $\mathbf{h}_{x_{\text {test }}}, \mathbf{h}$ の間の距離を表す. Trust Score は予測したクラスの代表点までの距離が近い ほど，また予測していないクラスの代表点までの距離が遠いほど大きな確信度が付けられる. またこの 計算式 (1) は, 確信度が 0 から 1 までの範囲に収ま るように Trust Score を提案している論文 [5] 内にお ける式に修正を加えたものである.

## 3 分析を行う項目

本研究では 2 節で述べた説明性の高いニューラル ネットワークに関して分析を行う，具体的には $k$ 近傍法による予測と Trust Score の計算に大きな影響 を及ぼす (1) データ間の類似尺度と (2) データ同士 の位置関係の 2 つの項目について変化させた時の Trust Score の挙動について分析を行う.

(1)のデータ間の類似尺度については, Trust Score では L2 距離が用いられることが多いが，その他の 類似尺度を用いた際の Trust Score 挙動についてはま だ明らかになっていない。具体的には L2 距離以外
にもコサイン距離や内積を類似尺度として用いるこ とで，Trust Score の挙動が変化すると考えられる.

(2) のデータ同士の位置関係はモデルの訓練方法 に大きく依存する. 通常の $M$ クラスの分類問題に おいては損失関数として次の Cross Entropy Loss が 用いられることが多い.

$
L_{\text {CrossEntropy }}(x)=-\mathbf{t} \log \left(\operatorname{Softmax}\left(\mathbf{W} \mathbf{h}_{x}+\mathbf{b}\right)\right)
$

ただし, $\mathbf{h}_{x}=f(x)$ とし, $\mathbf{W} \in \mathbb{R}^{M \times d}$ は重み行列, $\mathbf{b} \in \mathbb{R}^{M \times 1}$ はバイアス項, $\mathbf{t} \in \mathbb{R}^{1 \times M}$ は $x$ の正解ラべ ルの箇所に 1 がたつ 1-hot ベクトルである. また データ間のラベルの違いを明示的に距離関係として 学習させる Triplet Loss[10] を用いることで, Cross Entropy Lossを用いた際のデータ間の位置関係と は大きく異なった位置関係になると考えられる。 Triplet Loss はある訓練データ $x$ に対して，同じクラ スの訓練データ $x_{\mathrm{p}}$ と異なるクラスの訓練データ $x_{\mathrm{n}}$, マージン $m$ を用いて算出される.

$
L_{\text {Triplet }}(x)=\operatorname{ReLU}\left(d\left(\mathbf{h}_{x}, \mathbf{h}_{x_{\mathrm{p}}}\right)-d\left(\mathbf{h}_{x}, \mathbf{h}_{x_{\mathrm{n}}}\right)+m\right)
$

ただし $\mathbf{h}_{x}=f(x), \mathbf{h}_{x_{\mathrm{p}}}=f\left(x_{\mathrm{p}}\right), \mathbf{h}_{x_{\mathrm{n}}}=f\left(x_{\mathrm{n}}\right)$ とし, $d(\cdot)$ は L2 距離，コサイン距離，内積のいずれかを表す.以上を踏まえて本研究では，データ間の類似尺度 (L2 距離/コサイン距離/内積) とモデルの訓練方法 (Cross Entropy Loss/Triplet Loss) をそれぞれ変化させ た場合の Trust Score の挙動の分析を行う.

## 4 実験

## 4.1 タスク設定

今回 Trust Score の分析に用いるタスク設定として は文書分類タスクを用いる。予測確信度に関する先行研究 $[2,3,5]$ では確信度の性能評価を画像データ やテキストデータに対する分類タスクを用いて論じ ており，本研究でもそれに従う。

データセットには 20 Newsgroups データセット [7]を用いる.このデータセットは 20 種類の異なる ニュース記事を収集したデータセットであり，20 クラスの文書分類問題として用いる. データ数は 約 20,000であり，今回そのうち 10182 個を訓練デー タ，1132 個を開発データ，7532 個を評価データと して分割した.

## 4.2 評価指標

予測確信度の評価指標としては E-AURC (ExcessArea Under the Risk-coverage Curve)[3] を用いる。ま

図 1 E-AURC の説明図. AURC が risk-coverage 曲線に囲 まれる面積 (青色+灰色) であり, そこから現在のモデルの 予測性能で達成しうる最も小さい risk-coverage 曲線の面積 (灰色)を除いた部分の面積 (青色) が E-AURC の値となる. なお図は訓練方法を Triplet Loss, データの類似尺度をコサ イン距離とした場合のものである.

ず AURC (Area Under the Risk-coverage Curve) につい て述べる. AURC は図 1 のように risk-coverage 曲線 に囲まれる面積として求められる。 risk-coverage 曲線は全ての評価データをそのデータに対するモデル の予測確信度について降順に 1つずつ見ていき，見 ているデータまでの予測の累計の誤り率をプロット して描かれる曲線である。この AURC が小さいほ ど，ある確信度を閾値とした時に正しい予測と誤っ た予測が明確に分離されており，優れた確信度計算手法であることを意味する。

しかし，この AURC は，モデルの予測性能に依存 しており，異なるモデル間での性能比較が困難であ る. E-AURC は AURC (図 1 の灰色部分+青色の部分) からを各モデルが達成しうる最小の risk-coverage 曲線 (図1 の灰色部分) を取り除いて正規化を行うこと で，異なるモデル同士の確信度としての性能比較を 行えるようにした指標である. E-AURC の詳細な計算方法については付録 A. 1 を参照されたい. 今回の 実験では，訓練方法や予測方法が異なるモデル間で の，確信度の性能を比較するため，E-AURC を性能評価の指標として採用した. また結果の視認性の向上のため E-AURC の值は全て 1000 倍して表示した.

## 4.3 モデル設定

今回は文書分類モデルを入力として訓練済みの 単語ベクトル, 系列のモデリングに畳み込みニュー ラルネットワーク (CNN)[11]を用いて実装した. 訓練済みの単語ベクトルには 200 次元の Glove[8]を 用い，訓練中に単語ベクトルの値の更新も行った. CNN にはカーネルサイズを 3 , フィルタのサイズを表 1 訓練方法，データ間の類似尺度を変えた時の予測性

3,4,5 とした Max Pooling を行った. 損失の最適化に は Adam [6] を用い，学習率の初期値は $\rho=0.001$ と した.

今回実験では損失関数には Cross Entropy Loss と Triplet Loss のいずれかを用いた. Triplet Loss のマー ジン $m$ としては距離尺度が L2 距離, コサイン距離,内積の場合にそれぞれ $m=1.0, m=0.005, m=0.01$ とした。このマージンの値は開発セット用いて最も 確信度の性能が高くなった場合の値を用いた。

次にモデルの予測方法と確信度計算について述べ る. 各モデルの予測は各評価データについて近傍の 訓練データに基づいて $k$ 近傍法を用いて行う. 今回予測に用いる近傍の訓練データの数は $k=10$ とし た. Trust Score の計算には先行研究 [5] に従い, モ デルの最終層のデータの文べクトルを用いて計算を 行った. また全ての実験の計測はシード值の異なる 3つのモデルを用いて行い，その平均値を記載した.

## 4.4 実験結果

表 1 に訓練方法, データ間の類似尺度を変えた時 のモデルの予測性能と Trust Score の確信度の性能 を示す. 表 1 から，類似尺度が内積の場合には L2 距離やコサイン距離の時に比べて，予測性能，確信度の性能ともに最も性能が低くなった. また訓練方法ごとに比較すると, 類似尺度がコサイン距離の場合が最も確信度の性能が高くなった. 全条件で比較 すると Triplet loss で訓練を行い，類似尺度をコサイ ン距離とした場合に最も E-AURC の値が小さく, 確信度として優れた性能を発揮することがわかった。 Triplet loss で訓練を行い，類似尺度をコサイン距離 とした場合の E-AURC は図 1 の青い部分の面積であ り，その他のいくつかの条件の E-AURC の様子につ いても付録 A. 3 に記載した。

## 5 分析

この節ではなぜ Triplet Lossを用いて訓練を行い， データの類似尺度をコサイン距離とした場合に他の 条件に比べて Trust Score が確信度として優れた性能を発揮したのかを考察する．我々は原因を探るた

図 2 Triplet/ $\cos$ モデルにおける予測クラスごとの平均 Trust Score とハブの出現度合い $S_{N_{1}}$ の関係

め, Trust Score と $k$ 近傍法において発生するハブと いう現象の間の関係について分析を行った。

## 5.1 近傍検索におけるハブの出現

$k$ 近傍法を用いた予測においては，異なる評価 データの近傍事例として同じ訓練データが重複し て検索されてしまう現象が観測されており，そうし た訓練データはハブと呼ばれている [9]. 一般に予測の根拠として，同じ事例が何度も出てきてしまう ことは，有意義な予測の根拠とは言えない. 今回の 我々が行った実験においても多くの条件でもこのハ ブが観測された。

## 5.1.1 ハブの出現度合い

先行研究 [9] に従い，ハブの出現度合いの計算に は各評価事例の予測に用いられる $k$ 個の訓練デー タの中に各訓練データが何回含まれるかという分布 $N_{k}$ の歪度 $S_{N_{k}}$ を用いて行う. この $S_{N_{k}}$ の值が大 きいほど，特定の訓練データが重複して近傍事例と して選択されており，ハブが発生していることを表 す. 計算方法の詳細については付録 A. 2 を参照され たい.

## 5.2 Trust Score とハブの関係

図 2 に Triplet Loss を用いて訓練を行い，類似尺度をコサイン距離とした時の予測クラスごとの平均 Trust Score と各予測の最近傍点におけるハブの発生度合い $S_{N_{1}}$ の関係を示す. 図 2 から八ブが多く発生しているクラスでは，Trust Score が平均的に小さ く，逆にハブのあまり発生してないクラスでは Trust Score が平均的に大きくなっていることがわかった.

他の 5 つの条件とも比較するため，予測クラス ごとの最近傍点におけるハブの発生度合い $S_{N_{1}}$ と Trust Score との相関, 及び最近傍点におけるハブの 発生度合いと予測の適合率の相関をピアソンの相関表 2 各条件における予測クラスごとの $S_{N_{1}}$ と Trust Score(TS), $S_{N_{1}}$ と適合率の相関係数

係数を用いて計測した結果が表 2 である. 表 2 から は類似尺度が L2 距離とコサイン距離の場合に，各予測クラスごとの $S_{N_{1}}$ と Trust Score， $S_{N_{1}}$ と適合率 の間に負の相関関係が読み取ることができる。この 負の相関関係は全条件の中で Triplet Loss で訓練し，距離尺度をコサイン距離とした場合に最も強くなっ ていた。すなわち，この条件下では，ハブの発生し ている予測クラスでの予測は誤りやすくまた，その 予測に低い確信度がつきやすい傾向が最も強くで たため，確信度として最も優れた性能を発揮したと 考えられる。予測クラスごとの詳細な実験值は付録 A. 3 を参照されたい.

## 6 終わりに

本論文ではニューラルネットワークモデルの予測 についてモデルの予測の根拠と予測確信度が両方同時にわかることが重要だと考え，予測を $\mathrm{k}$ 近傍法 で行う場合の Trust Score の挙動について訓練方法 やデータの類似尺度を変えて分析を行った．その結果，損失関数を Triplet Loss, データの類似尺度をコ サイン距離とした場合に確信度として最も優れた性能を発揮することを明らかにした。

また分析の過程で， $k$ 近傍法で検索される近傍事例において，同じ訓練データが重複して検索される ハブという現象に注目し，ハブが発生している場合 に Trust Score による予測確信度が低くつく傾向があ ることを明らかにした. なぜこのような現象が起こ るのかの解明は今後の研究課題としたい.

## 謝辞

本研究は JSPS 科研費 JP19H04425 の助成を受けた ものです.

## 参考文献

[1]Marina Danilevsky et al. "A Survey of the State of Explainable AI for Natural Language Processing". In: Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing. 2020.

[2]Yarin Gal and Zoubin Ghahramani. "Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep

Learning". In: Proceedings of The 33rd International Conference on Machine Learning. 2016.

[3]Yonatan Geifman, Guy Uziel, and Ran El-Yaniv. "BiasReduced Uncertainty Estimation for Deep Neural Classifiers". In: Proceedings of the 7th International Conference on Learning Representations. 2019.

[4]Chuan Guo et al. "On Calibration of Modern Neural Networks". In: Proceedings of the 34th International Conference on Machine Learning. 2017.

[5]Heinrich Jiang et al. "To Trust Or Not To Trust A Classifier”. In: Advances in Neural Information Processing Systems. 2018.

[6]Diederik P. Kingma and Jimmy Ba. "Adam: A Method for Stochastic Optimization". In: Proceedings of the 3rd International Conference on Learning Representations. 2015.

[7]Ken Lang. "NewsWeeder: Learning to Filter Netnews". In: Proceedings of the 12th International Machine Learning Conference. 1995.

[8]Jeffrey Pennington, Richard Socher, and Christopher Manning. "GloVe: Global Vectors for Word Representation". In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. 2014.

[9]Miloš Radovanovi; Alexandros Nanopoulos, and Mirjana Ivanovi; "Hubs in Space: Popular Nearest Neighbors in HighDimensional Data". In: Journal of Machine Learning Research (2010).

[10]Jiang Wang et al. "Learning Fine-grained Image Similarity with Deep Ranking". In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2014.

[11]Kim Yoon. "Convolutional Neural Networks for Sentence Classification". In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. 2014.

## A 付録

## A. 1 E-AURC の計算方法

risk-coverage 曲線の面積である AURC は，各々の データにつけられた確信度について降順に並べ替え た $m$ 個の評価データ集合 $\left.\{x_{1}, x_{2}, \ldots, x_{m}\right.\}$ について以下の式 (6) によって計算される.

$
\mathrm{AURC}=\sum_{i=1}^{m} \frac{\sum_{j=1}^{i} g\left(x_{j}\right)}{i \times m}
$

ただし，関数 $g$ は評価データ $x$ に対する分類器の予測が当たっている場合には 0 , 外れている場合には 1 を返す 2 値関数である

E-AURC を提案している論文 [3] では，AURC の 正規化を行うための最小の risk-coverage 曲線の面積 $\mathrm{AURC}_{\text {min }}$ (図 1 の灰色部分) を求めるために以下の式 (7)のような近似計算を行なっている.

$
\mathrm{AURC}_{\text {min }} \approx \int_{0}^{\hat{r}} \frac{x}{1-\hat{r}+x} d x=\hat{r}+(1-\hat{r}) \log (1-\hat{r})
$

ここで $\hat{r}$ は評価データ全体に対する予測の精度 $\alpha$ に ついて $\hat{r}=1-\alpha$ として定まる値である.

最終的に式 (6) で求まる AURC から, 式 (7) で求 めた最小の risk-coverage 曲線の面積を引くことで E-AURC の値を求めることができる.

## A. 2 ハブの出現度合いの計算

先行研究 [9] に従い，ハブの出現度合いの計算に は式 (8)のように，各評価事例の予測に用いられる $k$ 個の事例の中に各訓練データが何回含まれるかと いう分布 $N_{k}$ の歪度 $S_{N_{k}}$ を用いて行う.

$
S_{N_{k}}=\frac{\sum_{i=1}^{l}\left(N_{k}(i)-E\left[N_{k}\right]\right)^{3} / l}{\operatorname{Var}\left[N_{k}\right]^{3 / 2}}
$

ここで $l$ は訓練データの数であり，E,Var はそれぞ れ期待值と分散を表す. 式 (8) の値が大きいほど評価事例の $k$ 近傍に頻繁に含まれる訓練データが存在 し，ハブが出現していることを表す。

## A. 3 実験値の詳細

表 3 に Triplet loss を用いて訓練し，距離尺度をコ サイン距離とした時の予測クラスごとの最近傍にお けるハブの発生度合い $S_{N_{1}}$ と, 予測の適合率, Trust Score の平均値を記載した。

また Cross Entropy Loss で訓練を行い類似尺度を コサイン距離とした場合の E-AURC の結果を図 3表 $3 \mathrm{Triplet} / \cos$ モデルにおける予測クラスごとの $S_{N_{1}}$, 予測の適合率，平均 Trust Score

に，Triplet Loss で訓練を行いコサイン距離以外の類似尺度を用いた場合の E-AURC の結果を図 4,5 記載 した。

図 3 Cross Entropy/cos モデルにおける E-AURC の様子

図 4 Triplet/12 モデルにおける E-AURC の様子

図 $5 \mathrm{Triplet} / \mathrm{dot}$ モデルにおける E-AURC の様子


# Extracting and Analyzing English Multi-word Expressions with Slots: A Case Study of 'take'

Tomoyuki Tsuchiya
Kyushu University
tsuchiya@flc.kyushu-u.ac.jp

## 1 Introduction

Multi-word expression (MWE) has been argued as one of the significant issues for large-scale natural language processing [1], and similar issues have also been coming into discussions in corpus linguistics and cognitive linguistics areas. Conventionalized expressions have been investigated from various aspects- syntactically, semantically and sociolinguistically for instance- and many terms have been applied to this linguistic phenomenon (ex. idioms, formulaic language, construction). One of these terms called 'construction' refers to a type of MWEs whose parts are not fully fixed. This paper discusses the theoretical issues of construction and reports the results of a preliminary investigation using a large-scale web corpus.

Construction Grammar $(\mathrm{CxG})$ is a highly explanatory linguistic theory that aims to reveal the knowledge and productivity of human language based on the speakers' actual usage. CxG assumes conventionalized sequences of linguistic elements called construction and one or more empty slots in each construction to accept certain lexical items to fit in and generate speech with a certain level of productivity. The linguistic unit of construction can vary into several levels; word, morpheme, or other smaller units, and the level of abstraction of a slot can also vary; partof-speech, semantics, morphology, and grammatical level. Moreover, many constructions are conventionalized and shared in the language community with nonliteral meaning (ex. let alone in "Fred will not eat shrimp, let alone squid" from [2]).

This paper investigates a method to extract constructions with slots with certain selection restrictions and word range that are linguistically objective from large-scale corpus data.

## 1.1 Constructions in Linguistics: A Frame and slots

$\mathrm{CxG}$ aims to explain the productivity of language while maintaining the usage-based aspect of language.

The collostructional analysis established by [3] uses a statistical method to investigate each lexical item's productivity that fits in the slot. The term 'collostruction' designates relatively more concrete expressions closer to collocation.

## 1.2 Remaining Issues of CxG and collostructional analysis

## 1.2.1 Frame Range of Constructions

Methodologically, collostructional analysis focuses mainly on the type and collocational strength of collexemes but the definition of the starting and end points of each collocation is arbitrary. For instance, [3] conducted a case study of [ $X$ think nothing of $\left.V_{\text {gerund }}\right]$ and calculated the collocational strength of each collexeme. The word sequence of this study starts from the subject noun phrase as $\mathrm{X}$ and ends with gerund verb. [3] investigated this sequence since it appears in the dictionary and $\mathrm{V}_{\text {gerund }}$ slot has productivity to a certain extent, so designating $\mathrm{X}$ as the starting point and $\mathrm{V}$ slot as the end point of the sequence should be taken into consideration.

## 1.2.2 Slots of Constructions

Moreover, the collocational strength indicates the productivity of the slots of a collostruction, however, the slots of the construction are also designated arbitrarily by the researchers themselves. For instance, $[X$ think nothing of $\left.V_{\text {gerund }}\right]$ has two empty slots; $\mathrm{X}$ and $\mathrm{V}_{\text {gerund }}$, but it is more or less possible that the word nothing can become a slot to form a more abstract construction $\left[X\right.$ think $Y$ of $\left.V_{\text {gerund }}\right]$.

Figure 1 The concordance list of sequences start with take

## 1.2.3 Towards objective designation of the frame range and the slots

By establishing an objective and simple method to extract constructions with productive slots, it would be possible to offer an index that contains useful constructions for language learners.

## 2 Data and Method

## 2.1 Data: EnTenTen Corpus

[1] argue the lexical proliferation problem caused by light verb construction with examples; take a walk, take a hike, take a trip, and take a flight. In order to assess the plausibility of light verb constructions as MWE, this paper focuses on MWEs which starts from a light verb take.

For collecting data, the EnTenTen 15 corpus was used in this study. EnTenTen15 corpus is an English web corpus, which collects text from the Internet. It contains 13 billion words, and the part-of-speech was tagged on each word by TreeTagger (version 3) using Penn Treebank tagset.

## 2.2 Method

Using Corpus Query Language (CQL) in the Sketch Engine, expressions consist of 7 words and start from the light verb take was collected from the corpus. Any punctuations and symbols are not included in this word sequence. The first 10 million hits were used for the observation due to the Sketch Engine's system default. In most cases, this number is sufficiently representative, so random sampling was not applied in this data collection process.

Subsequently, by counting the frequency of tokens with the Sketch Engine's frequency function, 8,950,602 tokens were found in total. In the counting process, any inflection of words (e.g. declension of nouns and conjugation of verbs) was ignored. From this frequency data, 57 patterns that have at least one slot were made for each token as

Figure 2 The frequency list of tokens from the concordance

table 1. Two or more adjacent slots were combined into one slot. For each pattern, type frequency ( $t \_f r e q$ ), total token frequencies (freq_sum), the mean of type frequencies (mean_freq), and the percentage of the most frequent token in the total token frequency (max_freq_perc) were calculated.

Table 1 Slot generation patterns

Finally, patterns that match the following three conditions were extracted from the pattern data; more than three types, more than 1,000 total token frequency, and the most frequent token accounts for more than 10 percent of the total token frequency. Though the constant of each condition above is provisional, it reflects the common characteristic of constructions. The first condition was set in order to extract constructions that have appropriate level of productivity. The second condition was set because constructions with a certain productivity should occur in a certain amount in language activities. The third condition was set since collocational analyses by [3] indicate the existence of a prototypical lexical item, which commonly fits in the slot.

Regarding the procedue above, three types of data have been generated; the raw data which was collected from the actual corpus, the frequency tokens of the raw data, and the abstract patterns that generated from each token. The examples of each data type are as follows.

1. Raw data: ... film and exhibition will take place at The Lights in Andover on Tuesday 26. . .

2. Frequency token: take place at The Lights in An-
dover, take place during break and over lunch, take time out of his busy schedule

## 3. Abstract pattern:

patterns from take place at The Lights in Andover...
- take ... at ... Andover,
- take ... at ... in,
- take ... at ... in Andover

-...
- take ... Andover

patterns from take time out of his busy schedule...
- take time ... of his busy schedule
- take time out ... his busy schedule
- take time out of ... busy schedule

-...
- take ... schedule

## 3 Results and their observation

Consequently, there were 1,693 patterns that meet all of the conditions above. The examples of the extracted patterns are listed in table 3.

Table 2 Basic statistics of the extracted patterns

As shown in table 4, "take a ... of" has the most types among all patterns and appears the most in the corpus. Most patterns have a highly prototypical token, which account for more than $90 \%$ of the tokens appear with the pattern (ex. take a look ... some of the, take ... life ... its), but there are patterns whose prototypical token accounts for less than $90 \%$ (ex. on a life ... own, take ... law into ... own hand). The tokens appear in the pattern on a life ... own were take on a life fof its/their/his/her/all its/on its/on their\} own, and the tokens appear in the pattern take ... law into ... own hand were take \{the/immigration/international/federal/religious\} law into \{their/his/your/its/our/her/one/my/\} own hand.

## 4 Discussion and Conclusion

As in table 4, the raw frequency of abstract patterns is higher compared to less abstract patterns. Abstract constructions appear in the corpus more frequently, but the selection restriction of their slots is loose, so various lexi- cal items are acceptable. Therefore, the type frequency of actual expression is higher and do not have a prototypical token.

We can also estimate the end point of the construction by analyzing pattenrs that shares a common prototype token but have different endpoints. For example, among the patterns that share the prototypical token take away the sin of the world, the patterns which end with "world" have fewer types than ones that end with "the" in table 6. In terms of the conventionality of language, the patterns that end with "world" are more conventionalized and restrict the repertory of lexical items that fit in the remaining slots.

The slot-ness of each pattern can be estimated by the number of types that appear in the token list. In table 5, for instance, "your ... to ... level" has 904 types in the token list, whereas "your ... the ... level" has approximately 200 types fewer than the former pattern. Though it is not statistically tested, we can estimate that the first pattern has more productive slots than the second one.

This paper pointed out the theoretical difficulties of $\mathrm{CxG}$ in terms of the arbitrariness of the designation of the word range and slots and investigated an objective method to designate them by analysing the frequencies of word sequences which start from a light verb take. To extract constructions that are beneficial for English learning and create an index of it, the data shown in this paper should be observed in terms of their productivity.

## Acknowledgment

This work was supported by JSPS KAKENHI Grant Numbers JP17KT0061 and JP17K17943.

## References

[1] Ivan A Sag, Timothy Baldwin, Francis Bond, Ann Copestake, and Dan Flickinger. Multiword expressions: A pain in the neck for nlp. In International Conference on Intelligent Text Processing and Computational Linguistics, pp. 1-15. Springer, 2002.

[2] Charles J Fillmore, Paul Kay, and Mary C. O’onnor. Regularity and idiomaticity in grammatical constructions: The case of let alone. Language, Vol. 64, No. 3, pp. 501-538, 1988.

[3] Anatol Stefanowitsch and Stefan Th Gries. Collostructions: Investigating the interaction of words and constructions. International journal of corpus linguistics, Vol. 8, No. 2, pp. 209-243, 2003.

Table 3 Pattern examples and basic statistics ( $15 \leq \mathrm{t}_{-}$freq $\left.\leq 17\right)$

Table 4 The list of patterns with the highest $t_{-}$freq frequency $\left(5,000 \leq t_{-} f r e q\right)$

Table 5 A group of patterns that share a common prototype

Table 6 A group of patterns that share take away the sin of the world as the prototype ( $t_{-}$freq $\geq 30$ )


# 『日本語日常会話コーパス』に対する自然会話特有の現象を 区別するための係り受け関係ラベルの付与

吉田奈央 $\dagger$ 宮尾祐介†
$\dagger$ 東京大学大学院情報理工学系研究科

## 1 はじめに

本研究は、自然な音声会話の構文解析の研究のた め、『日本語日常会話コーパス』(Corpus of Everyday Japanese Conversation; CEJC) [1] に対して係り受け関係アノテーションデータを構築することを目的とす る。特に、自然会話ではフィラー、言い直し、挿入、省略といった現象によって構文構造が崩れることに 着目し、これらの現象を正確に表示するための係り 受け関係ラベルを設計した。日本語の係り受けアノ テーションデータはこれまで多数開発されており、 ガイドラインの整備が行われている $[2,3]$ 。しかし、書き言葉や独話を主として整備されてきたガイドラ インは、自然会話のアノテーションにそのまま適用 することは自明でない。

『日本語日常会話コーパス』は、国立国語研究所 が開発を進めている大規模コーパスであり、さまざ まな場面における自然な日常会話の音声・映像を収録したものである。本研究では、本コーパスのコア データに対し、書き起こしテキスト、短単位レベル の形態論情報およびラベルなし係り受け関係がアノ テーションされたデータを用いる。まず、本データ の形態論情報・係り受けアノテーションを分析し、自然会話特有の現象のために通常の係り受け関係 が付与できないケースを収集する。そして、これら の現象を分類し、各現象を区別するための係り受け 関係ラベルを定義する。本稿では、10 会話 5480 発話文について分析・アノテーション作業を行った。以下では、アノテーションの作業方法と、開発した データの分析結果を報告する。

## 2 先行研究

本節では、本論文でガイドラインを参照してい る日本語話し言葉コーパス (Corpus of Spontaneous Japanese; CSJ) および現代日本語書き言葉均衡コーパ ス (Balanced Corpus of Contemporary Written Japanese;
BCCWJ) について詳述する。また、自然会話特有の 言語現象に関する既存研究について説明する。

## 2.1 CSJ

日本語話し言葉コーパス $(\mathrm{CSJ})^{1)}[4]$ は、講演など の音声発話データを収集した大規模コーパスであ る。本データの一部に対し、文節間係り受け関係が 付与されている [2]。CSJは自由対話のデータも含 むが、係り受け関係の付与対象となっている発話 データはコアデータに含まれる独話とテストセッ ト2)のみである。

CSJでは、音声発話特有の現象について「自発的 な話し言葉特有の現象として、<中略>、言い差し (言いやめ)、言い直し、言い換え、挿入構造、倒置、 ねじれなどの非流暢現象があげられる」と説明して いる [2]。フィラー、接続詞、感動詞、非言語音につ いては、係り受け関係を付与せず、当該文節に対し てそれぞれ個別のラベルを付与して区別している。言い直し・言い換えは他の係り受け関係と区別する ラベルが付与されているが、言い直し・言い換えの 種類については分類されていない。発話が途中で中断されるなど係り先がない場合は係り受け関係を付与せず、個別のラベルを付与している。

また、複数人の会話を対象としておらず、かつ フォーマルな場での発話であるため、本研究が対象 とする複数人の日常会話とは同じ音声発話であって も見られる現象に差があると考えられる。例えば、川田 [5] の CSJ のフィラー分析で説明されるように 独話では対話よりフィラーが多く見られるという 指摘がある。さらに、複数の参与者からなる会話で は、話者交代によって生じる独話にはないインタラ クションがある。例えば、ターン取りのために挟む フィラーや接続表現、他の参与者に邪魔されたため 文末を持たないまま終了した発話文、発話文中に現

れる他の参与者に対する呼びかけや短い応答などが 頻出する。これらはそれぞれ区別して分析をされる べき現象だが、既存の係り受け関係アノテーション では明確に弁別できない。

## 2.2 BCCWJ

現代日本語書き言葉均衡コーパス $(\mathrm{BCCWJ})^{3}{ }^{3}[6]$ は、出版物及びインターネット上の書き言葉を収集 した大規模コーパスである。コアデータに対して文節間係り受け関係が付与されており、アノテーショ ンガイドラインが整備されている [3]。CSJのアノ テーションガイドラインをベースとしているが、 CSJ で区別されているフィラーや接続詞等は区別し ない。フィラーや文末が省略されている場合など、 なんらかの理由で係り先がないあるいは認定しない 文節は特別なノード ROOTを係り先として付与し、係り受け関係ラベル $\mathrm{F}$ を付与して通常の係り受け関係とは区別している。本研究では、本ガイドライン に基づいて付与された係り受け関係データを用いて 分析を行う。

## 2.3 自然会話特有の現象

## 2.3.1 フィラー

川田 [5]によると、フィラーとは発話文に差し込 まれる形で現れる、場繋ぎに使用される語で、概念的意味を持ち合わせない間投詞であるとされる。自然発話に現れることが古くから知られており、「談話における話し手の心的操作を表示するもの」であ り「円滑な談話進行を可能にするもの」[7] として 捉えられる。CSJ の転記基準においては、フィラー を「あー」「えー」「うーん」などと表記される類型 パターンをもとに分類しフィラー表現をまとめてお り [8]、CEJCでもこれを採用している。よって本研究の対象データもこの基準によって認定されたフィ ラーを採用している。

## 2.3.2 挿入

挿入とは、ある文の途中に別の文もしくは別の 構造を持つ要素が挟まる現象を指す。日本語の発話における挿入表現については、丸山 [9] が CSJ の フォーマルな場での独話を対象として挿入の談話内 での機能に注目した分析を行っているが、係り受け 関係は区別されていない。また、ここで判断基準と

されている「挿入の前後に係り受け関係のある要素 （短単位）が存在すること」「文末表現が接続助詞で 終わるものであること」については、日常会話にお いては必ずしも成り立たない。

## 2.3.3 言い直しに類するもの

言い直しは、修復や不足の情報を補う目的で同義 の語が繰り返されることである。言い換えは言い直 しと同様の目的で、ほぼ同義であるが表層の違う語 が当該部分の後ろに出現する現象である。これら は、同じ役割の語が一発話文に複数存在することに なり文法構造を複雑にする一つの要因である。

丸山 [10] は言い直しと言い換えを言い直し表現と して扱い、それらの機能的分析を行う中で構造を元 に 5 種類のパターンに分類している。2.3.2節と同様 に CSJ の独話を対象として使用しており対話におけ る言い直し表現は今後の課題としている。

## 3 データ概要

本研究では、形態論情報および文節間係り受け関係が付与された日本語日常会話コーパス (CEJC) コ アデータ 52 会話のうち、200 発話文以上ある複数話者による日常会話 10 会話 5480 発話文を使用し た。本データは現代日本語書き言葉均衡コーパス (BCCWJ) で用いられたアノテーションガイドライ ン [3] にもとづいており、通常の係り受けを表すラ ベル D と、フィラーなど係り受け関係を付与しない ことを示すラベル F が付与されている。

本データに対し、本研究では以下の手順で分析お よびアノテーションの修正・追加を行った。

1. 各会話データについて、各参与者の発話分をそ れぞれ別ファイルに出力する（1 会話に 3 人の 参与者がいれば、各々の発話のみが収められた ファイルが 3 ファイルできる)。

2. 形態論情報を参照し、表 1 に示すラベル C, F, D, Int, Eを文節に付与する。

3. ラベル C が付与された文節について、 1 発話文中における係り受け関係を修正・追加する。

上記 3 では、アノテーション作業及び係り受け関係 を可視化するツールとして brat) を使用した。

4) https://brat.nlplab.org/
表 1 本研究で用いるラベルセット

文節に付与されるラベル

 & 468 \\

図 1 発話文中に係り先がない例（ラベル $\mathrm{N}$ ）

## 4 係り受け関係ラベルの付与

本節では、BCCWJ のガイドライン [3] に基づく係 り受け関係アノテーションでは区別できない自然会話特有の現象について分析を行い、係り受け関係ラ ベルを付与することでこれらを正確に表示する方法 を述べる。本研究で用いる係り受け関係ラベルセッ トと、当該データにおける付与数を表 1 に示す。

## 4.1 発話文中に係り先がない事例

自然会話では、当該の発話文外の要素に係り先が 存在する、発話を途中で止めたことで係り先となる 部分が消失する、といった理由によって当該発話文内に係り先がない事例がある（図 1）。BCCWJ の基準では、係り先がない文節は特別なノード ROOT を 係り先とし、ラベル $\mathrm{F}$ を付与することで通常の係り 受け関係と区別する。本研究では、当該発話文内に 係り先がない場合は、便宜的に最右要素を係り先と し、ラベル $\mathrm{N}$ を付与する。これにより、通常の係り 受け関係や後述する他の現象と区別されるため、構文構造や意味内容の分析を行う場合や、将来的に他 の発話文内の係り先を認識する場合などにおいて要対応箇所として認定可能となる。

## 4.2 係り先が不明確な事例

副詞「なんか」「まあ」「ちょっと」などについて は、CSJ のフィラー類型一覧には入っておらず、

図 2 フィラー化した「なんか」（ラベル U)

図 3 文頭の接続表現（ラベル J）

CEJC の形態論情報ではフィラーと認定されていな い。しかし、これらが実質的にフィラーとして使用 されている事例が見られる（図 2)。これは、「不確定な要素を述べる先行並行用法のようだが呼応する 要素がはっきりしない例」、「一発話文に内に多発し フィラー化している『なんか』」 $[11,12]$ に相当する と考えられる。したがって、これらの表現が発話文 の命題に実質的に寄与していないと判断される場合 は、最右要素を係り先とし、他の係り受け関係と区別するためにラベル Uを付与する。

また、発話文の先頭におかれ、前後の発話文をつ なぐ接続詞や接続助詞が頻出する（図 3)。これらは 文と文とを自然に接続する役割を果たしていると考 えられるため、その係り先は発話文の最右要素とす る。ただし、自然会話においては文末が省略される など文が完成しない場合も多く、この場合当該接続詞・接続助詞は文法的には最右要素に係るわけでは ない。したがって、通常の係り受け関係と区別する ため、この係り受け関係についてはラベル $\mathrm{J}$ を付与 する。なお、CSJでは接続詞は係り受け付与対象外 となっているが、本研究ではその他の接続詞につい ては通常の係り受け関係を付与する。

図 4 挿入により係り先が消失する例（ラベル I）

表 2 丸山による言い直し 5 分類と本研究のラベル

R1 発音誤り (語断片/発音ミス起因) 対象外

R2 単純な繰り返し (同一表層) RS-S

R3 語の選択誤り（別表層の語句/助詞誤り RS-D を含む)

R4 情報不足（新規の語が添加された同一 RS-S 表層)

R5 別表現へ言い換え（同義の別表層の語 RS-D 句/カタカナ語の翻訳)

固有名や一般名詞を使用した呼びかけ（「お母さ ん」など）については係り先のない語として 4.1 節 と同様にラベル $\mathrm{N}$ を付与する。

## 4.3 挿入による係り先の消失

対象データにおいては、図 4 のように挿入部分で 発話文が終わり、挿入文前に後続する発話が消失し た例が見られる。これは挿入部の前と挿入部後に係 り関係があるという丸山 [9] の定義には当てはまら ないが、文法的な整合性を無視した発話部分が差し 込まれており、挿入構造と判断するのが妥当と思わ れる現象が生じている。本研究では、その当該部分 を除いても発話文全体の話脈に影響がない場合に当該部分を挿入部と同定し、後半部分がなくとも挿入構造と同等のものとして扱う。

また、この場合挿入部前の文節の係り先が失われ ているため、その係り先は最右要素とし、插入に よって係り先が消失したことを示すためにラベル I を付与する。挿入された部分は、挿入部内での係り 受け関係を付与するが、係り先がない場合は最右要素を係り先とし、関係ラベルは $\mathrm{N}$ とする。

## 4.4 言い直し表現

係り受け関係を同定する際の言い直し表現の問題 は、図 5, 図6でみられるように、発話文の命題に おいて同じ役割をもつ要素が複数存在することであ る。対象データに置いても言い直し表現が多く見ら れる。これらの現象は、直前の発話が文法構造的に 不完全な形で中断されること、中断後に同じ表層あ るいは同義の語が発話されることから認定できる。本研究では、丸山 [10]による言い直しの分類に もとづき、言い直された語の表層が同一かどうかと いう基準で 3 パターンに分類して係り受け関係ラ

図 5 同じ表層の言い直し（ラベル RS-S）

図6 異なる表層の言い直し（ラベル RS-D）

図 7 言い差し・文末要素の省略の例（ラベル $\mathrm{N}$ ）

ベルを付与した（表 2)。R1 は、係り受け付与対象 が語断片となるため、3 節に基づき対象外とする。被言い直し部と言い直し部が同一の表層を含む R2, R4 の場合、被言い直し部と言い直し部の間にラべ ル RS-S を付与する。R3, R5 は、被言い直し部と言 い直し部の間にラベル RS-Dを付与する。いずれの 場合も、被言い直し部・言い直し部とその外との係 り受け関係は、言い直し部に対して付与する。

## 4.5 言い差し・文末要素の省略

言い差しおよび文末要素の省略における問題点 は、文法的に不完全な中断により、係り先となる要素が消失していることである。これは 4.1 節と同様 の現象であるとし、ラベル $\mathrm{N}$ を付与し、係り先は最右要素とした。

## 5 まとめ

本研究では、日本語日常会話コーパスの発話文 に対し、係り受け関係の付与を行った。特に、フィ ラーや言い直しなど、通常の係り受け関係とは異な るものや、係り先が存在しない場合など、自然会話特有の現象について分析を行い、これらを区別でき るように係り受け関係ラベルを設計・付与した。現時点では、問題となる現象の同定とそれを区別する 手法を策定した段階である。今後は、本手法に基づ き効率的かつ高品質なアノテーションを行うために アノテーションガイドラインを整備し、データを拡張する予定である。

謝辞 本研究は国立国語研究所機関拠点型共同研究プロジェクト大規模日常会話コーパスに基づく話 し言葉の多角的研究およびコーパス開発センター共同研究プロジェクトによるものです。

## 参考文献

[1] 小磯花絵, 天谷晴香, 石本祐一, 居關友里子, 臼田泰如, 柏野和佳子, 川端良子, 田中弥生, 伝康晴, 西川賢哉. 『日本語日常会話コーパス』モニター公開版 コーパスの設計と特徴. 国立国語研究所「日常会話 コーパス」プロジェクト報告書 $3,32019$.

[2] 内元清貴, 丸山岳彦, 高梨克也, 井佐原均. 『日本語話 し言葉コーパス』における係り受け構造付与。

[3] 浅原正幸, 松本裕治. 『現代日本語書き言葉均衡コー パス』に対する文節係り受け・並列構造アノテー ション. 自然言語処理, Vol. 25, No. 4, pp. 331-356, 2018.

[4] 国立国語研究所. 『国立国語研究所報告書 124 日本語話し言葉コーパスの構築法』. 2006.

[5] 川田拓也. 日本語フィラーの音声形式とその特徴に ついて : 聞き手とのインタラクションの程度を指標 として. PhD thesis, 京都大学, 2010.

[6] 国立国語研究所コーパス開発センター. 現代日本語書き言葉均衡コーパス』利用の手引 第 1.1 版.

[7] 田窪行則, 定延利之. 談話における心的操作モニター 機構. 言語研究, Vol. 1995, No. 108, pp. 74-93, 1995.

[8] 小磯花絵, 西川賢哉, 間淵洋子. 報告書『日本語話し 言葉コーパスの構築法』,第二章転記テキスト.

[9] 丸山岳彦. 『日本語話し言葉コーパス』に基づく挿入構造の機能的分析. 日本語文法, Vol. 14, No. 1, pp. 88-104, mar 2014.

[10] 丸山岳彦. 『日本語話し言葉コーパス』に基づく言 い直し表現の機能的分析. 日本語文法, Vol. 8, No. 2, pp. 121-139, sep 2008.

[11] 鈴木佳奈. 会話における「なんか」の機能に関する 一考察. 大阪大学言語文化学, No. 9, pp. 63-78, 2000.

[12] 宮永愛子, 大浜るい子. 会話における「なんか」の働 き一大学生による自由会話データを中心に. 表現研究, No. 91, pp. 30-40, mar 2010.


# ガウス過程を用いた Dynamic Topic Model による時系列分析

緒方学人伊東拓真阿部秀尚
文教大学情報学部
\{b7p31078, b7p31013,hidenao\} @ bunkyo.ac.jp

## 1 はじめに

近年，SNS，Web の普及により，ニュース記事， Twitter のツイート，ブログ記事などの投稿が大量に 行われている.これらに伴い, 大量の文書集合から,内容を把握することは難しい問題であった. そのた め, 文章集合の内容を把握できる話題の抽出, 時系列的に話題がどのような変化するかを目的とされた Latent Dirichlet Allocation(LDA)[1]をはじめとする 数々のトピックモデルが多く研究されてきた. LDA とは，各トピックの単語分布と各文書に割り当てら れたトピック比率が生成され, これらに従って, サ イコロのようにトピックを無作為で選択され，また 同様に単語を無作為に選択されるようなモデルであ る. また時系列トピックモデル とは, トピックの単語分布や文書に割り当てられるトピック比率が時間 に依存するモデルである.このようなモデルとした さまざまな時系列トピックモデルが提案されている.代表的なものとして, 話題の隆盛に着目した Dynamic Topic Model(DTM)[2]などが挙げられる.

DTM のモデリング要件として, 「対象とする現象 にどのような性質があるのか」，「データからどのよ うな情報を抽出したいのか」, 「時間的に近接する文書集合は類似したトピックを共有する」などが挙げ られ, この要件からトピックの単語分布が時系列で の変化するモデルが仮定している。 [2]より, 時系列 での単語の変化が示されている.

本論文では，ニュース記事を対象にあるトピック が別のトピックに影響している事例があると考えら れる. 例えば， 2020 年アメリカ大統領選挙といった 政治的な事例に対して, 次の時刻では, 株価への影響が実際に起きた経済的な事例があり，また，ある 時刻ではスポーツといった話題と政治的な話題が時刻間での関係ないことがあるなど，複数のトピック 間に類似性がある場合やない場合がある．既存のト ピックモデルではトピックの単語分布のみ時系列変化に依存しているため, 複数の類似したトピックと 類似していなトピックの時系列変化を捉えることが
できない。これらに対して，DTM と文書間とトピッ ク間の類似性を測ることができる Gaussian Process

Topic Model(GPTM)[3]を組み合わせた Gaussian Process-Dynamic Topic Model(GP-DTM)および推論方法を提案する．GP-DTMにより，上述の問題への対処を示す.

既存のトピックモデルの各トピックの単語分布は 独立しているため，上述の通り複数のトピックは何 かしらの時系列的な依存関係があることを仮定し，提案モデルによる推論を行い，関係性を示す。提案 モデルによる推論を行うことで，大量の文書集合が 生成している複雑な情報社会に対して，時系列的に 類似している話題を抽出し，ユーザの理解を目的と する.

## 2 関連研究

本論文で関連して，本論文と似たような問題設定 を行い，Temporal Dirichlet Process Mixture の拡張版, Multi-dependent Temporal Dirichlet Process Mixture(MdTDPM)による複数のトピック間が依存 し合いながら時間発展を仮定するモデルが提案され ている[4]．実験データとして，「YOMIURI ONLINE(読売新聞)」にて 2014 年 4 月 25 日から 2014 年 6 月 16 日までの 4373 件，「毎日新聞のニュ 一ス・情報サイト」における 2014 年 7 月 15 日から 8 月 14 日までの 2880 件の 2 つのニュース記事を用 いて，複数のトピックへの依存の有用性を示してい る.

[5]では，ニュース記事からトピック抽出し, 時系列で表示し，対象とするトピックと他のトピック の類似性を算出しており，時系列変化への相関性な どを考察している.

また, Google Trends のキーワード入力により，人気度の動向や関連トピック，関連キーワード，地域 によっての興味度の視覚化などが挙げられる。

## 3 モデルの概要

## 3.1 潜在的ディリクレ配分法(LDA)

LDA は, トピック数 $\mathrm{k}$ を固定したとき, 単語の種類数 $V$ とおくとする. 単語のトピック分布は $\phi_{k}=$ $\left(\phi_{k, 1}, \ldots, \phi_{k, V}\right)$ と呼ばれる変数に対応し, 文書数 $\mathrm{M}$, 文書 $d$ の総単語総数を $\mathrm{N}$ とおき. LDA では各文書 $d$ は 複数のトピックから構成され, その構成比率は $\theta_{d}=$ $\left(\theta_{d, 1}, \ldots, \theta_{d, K}\right)$ と呼ばれる変数に対応されている. $\phi_{k}, \theta_{d}$ は確率ベクトルであるため, 離散分布である ディリクレ分布によって生成を仮定し，以下のよう に示される.

$
\left.\{\begin{array}{lr}
\theta_{d} \sim \operatorname{Dirichlt}(\alpha) & (d=1, \ldots, M) \\
\phi_{k} \sim \operatorname{Dirichlt}(\beta) & (k=1, \ldots, K)
\end{array}\right.
$

$\alpha, \beta$ は $\mathrm{K}$ 次元, $\mathrm{V}$ 次元ベクトルのパラメータであ る. また, $z_{d, i}$ は各文書 $d の \mathrm{n}$ 番目の単語に対する潜在トピックであり, 各単語に割り当てられる. そし $\tau w_{d, i}$ は各トピックの単語分布 $\phi_{k}$ のうちどれから 生成されたかを示す変数である. $z_{d, i}, w_{d, i}$ は離散値 であるため, 生成分布として, カテゴリー分布を仮定し，以下のように示される。

$
\begin{aligned}
z_{d, i} & \sim \text { Categorical }\left(\theta_{d}\right) \\
w_{d, i} & \sim \operatorname{Categorical}\left(\phi_{z_{d, i}}\right)
\end{aligned}
$

## 3.2 ガウス過程状態空間モデル

まずガウス過程状態空間モデルを説明する前に，状態空間モデルを説明する. 状態空間モデルとは,時系列モデルの一種で観測データと観測データの裏側に存在する潜在状態の変動を推定するモデルであ り，DTM や本論文の提案モデルである GP-DTM の モデリングの際に扱うモデルである. 式で表すと，下記のように示される.

$
x_{t}=f\left(x_{t-1}\right)+\varepsilon_{f}, y_{t}=g\left(x_{t}\right)+\varepsilon_{g}
$

式(4)に着目すると,ここでtは時間を表し, $x_{t-1}, x_{t}$ には依存関係があると仮定したモデルであり，左の 方程式を状態方程式と呼び, 状態遷移関数 $f(x)$ と独立した過程誤差 $\varepsilon_{f}$ で成り立つ. また, 右の方程式を 観測方程式と呼び, 観測関数 $g(x)$ と独立した観測誤差 $\varepsilon_{g}$ で成り立っている. 過程誤差と観測誤差は正規分布から生成され, $\varepsilon \sim N\left(0, \sigma_{.}^{2} I\right)$ と定式化でき，

$
\left.\{\begin{array}{l}
x_{t} \sim N\left(f\left(x_{t-1}\right), \sigma_{f}^{2} I\right) \\
y_{t} \sim N\left(g\left(x_{t}\right), \sigma_{g}^{2} I\right)
\end{array}\right.
$

と表すことができ，式(3)と同じように考えることは できるが, $x_{1} \sim N\left(f\left(x_{0}\right), \sigma_{f}^{2} I\right)$ と一緒に考える必要が ある。式(5)は DTM， GP-DTM のモデル化するのに 扱うので，今後式(5)で説明を行う。

次にガウス過程とは，任意の自然数 $\mathrm{N}$ に対して，入力 $x_{n}=\left(x_{1}, \ldots, x_{N}\right)$ に対して, 出力 $f\left(x_{n}\right)=$ $\left(f\left(x_{1}\right), \ldots, f\left(x_{N}\right)\right)$ が平均 $\mu$, 分散共分散行列 $K=$ $k\left(x_{n}, x_{n^{\prime}}\right)$ をもつ多変量正規分布 $N(\mu, K)$ に従うとす る.つまり,

$
f(x) \sim G P(\mu, K)
$

と表すことができる。ここで，分散共分散行列 $K=$ $k\left(x_{n}, x_{n^{\prime}}\right)$ はカーネル行列と呼び, $\mathrm{x}$ 座標とする入力 $x^{\prime}$ が与えられたら, $\mathrm{y}$ 座標とする $x^{\prime}$ の付近にあるデー 夕点と近い値をとる行列である.

そしてガウス過程状態空間モデルでは, 状態空間 モデルの状態遷移関数 $f$ および観測関数 $g$ をガウス 過程によりモデル化を行い，下記のように示される。

$
\begin{aligned}
& f(x) \sim G P\left(\mu, K_{f}\right) \\
& g(x) \sim G P\left(\mu, K_{g}\right)
\end{aligned}
$

その他は，通常の状態空間モデルの式(5)と同じよ うに定式化される. ガウス過程状態空間モデルはガ ウス過程により, 非線形な時間発展を考えることが できるノンパラメトリックのモデルであり，表現力 が高い。また複数の時系列に対して，類似性を測る ことが可能である.

## 3.3 Dynamic Topic Model(DTM)

Dynamic Topic Model(DTM)とは, LDA と状態空間 モデルを組み合わせたモデルであり，時刻 $t-1$ と $t$ の依存関係があるとことを考慮し, 時刻 $t$ におけるト ピックの単語分布 $\phi_{t, k}$ の時系列変化をモデリングす る手法である．定式化を下記のように示される。

$
\theta_{t, d} \sim \operatorname{Dirichlt}\left(\alpha_{t}\right)
$
文書のトピック比率 $\theta_{t, d}$ は LDA と同様にディリクレ 分布より生成され, トピックの単語分布 $\phi_{t, k}$ は時刻 $t-1$ と $の$ 依存関係を考慮するため, 上述の状態空間モデルにより定式化される.

$
x_{t, k} \sim N\left(x_{t-1, k}, \sigma^{2} I\right)
$

式(9)は V 次元の実ベクトル $x_{t, k}$ を正規分布より生成 され，正規分布から生成分布と仮定しているため,要素和が 1 とは限らず，負の値を取ってしまう．そ のため，式(9)に Soft-max 関数を利用して変換する.

$
\phi_{t, k, v}=\frac{\exp \left(x_{t, k, v}\right)}{\sum_{v^{\prime}=1}^{V} \exp \left(x_{t, k, v^{\prime}}\right)}
$

そして, 潜在トピック $z_{t, d, i}$ と各トピックの単語分布 $\phi_{k}$ のうちどれから生成された単語集合 $w_{t, d, i}$ は LDA と同様に，

$
\begin{gathered}
z_{t, d, i} \sim \text { Categorical }\left(\theta_{t, d}\right) \\
w_{t, d, i} \sim \text { Categorical }\left(\phi_{t, z_{d, i}}\right)
\end{gathered}
$

## 3.4 Gaussian Process Dynamic Topic Model

DTM はトピックの単語分布のみ時系列変化に依存しているため, 複数の類似したトピックと類似し ていないトピックの時系列変化を捉えることができ ない. また時系列変化の類似性を測ることはできな いため, 複数の文書間, トピック間の類似関係を考慮した時系列トピックモデルを考える。そのため,時系列の類似性を考慮し, 表現力が高いガウス過程状態空間モデルと DTM を組み合わせたモデルを提案する. 具体的には, LDA の各文書のトピック比率 はディリクレ分布によって生成されているため, 文書間の相関性や類似性を把握できない. それに対し て, トピック比率をガウス過程から生成し, カーネ ルにより文書間の類似性を把握できるように仮定す る. また文書も時系列的に依存関係があることも考慮しながら, 状態空間モデルを定式化するが, 状態空間モデルは生成分布を正規分布と仮定しているた め, 本論文では多変量正規分布を仮定し, 分散共分散行列により相関性を取り入れることで文書間の相関性を持つことを仮定する。そしてガウス過程から トピック比率を生成していると仮定しているため,
3.3 節と同様に Soft-max 関数を利用して変換する必要がある。

$
\begin{aligned}
& g(\eta) \sim G P\left(\mu, \mathcal{K}_{t}\right) \\
& \eta_{t, d} \sim N_{k}\left(g\left(\eta_{t-1, d}\right), \Sigma\right) \\
& \theta_{t, d, k}=\frac{\exp \left(\eta_{t, d, k}\right)}{\sum_{k^{\prime}=1}^{K} \exp \left(\eta_{t, d, k^{\prime}}\right)}
\end{aligned}
$

次にトピックの単語分布もトピック比率と同様に 考え,

$
\begin{aligned}
& f(x) \sim G P\left(\mu, \mathcal{K}_{t}^{\prime}\right) \\
& x_{t, k} \sim N_{k}\left(f\left(x_{t-1, k}\right), \Sigma\right) \\
& \phi_{t, k, v}=\frac{\exp \left(\eta_{t, k, v}\right)}{\sum_{v^{\prime}=1}^{V} \exp \left(\eta_{t, k, v^{\prime}}\right)}
\end{aligned}
$

と示される.

次に, 潜在トピック $z_{t, d, i}$ と各トピックの単語分布 $\phi_{k}$ のうちどれから生成された単語集合 $w_{t, d, i}$ は DTM と同様に，

$z_{t, d, i} \sim$ Categorical $\left(\theta_{t, d}\right), w_{t, d, i} \sim$ Categorical $\left(\phi_{t, z_{d, i}}\right)$

## 4 実験結果と評価

## 4.1 評価方法

提案モデルの評価として，今回扱うデータである goo ニュースの 2020/12/30 2020/1/6 の「社会」, 「ビ ジネス」,「政治」,「国際・科学」から各日付, 各ジ ヤンルから 5 件のニュース(合計 160 件)を抽出した Bag-of-words 形式のニュースデータである. ニュー スデータから 8:2 に学習用データと評価デー夕に分割し, 1 6 のトピック数を用いて, LDA, GP-DTM の 二つのモデルを 6 回繰り返し学習し, Perplexity の平均を求め, 比較評価を行った。

Perplexity とは,トピックモデルの予測精度を測る 評価指標としてよく扱われる. Perplexity は値が低い ほど，モデルの予測性能が高いことを示している.下記に Perplexity の式を示す.

$
\text { perplextiy }=\exp \left(-\frac{1}{N} \sum_{d} \log p\left(w_{d}\right)\right)
$

表 1 Perplexity によるモデル比較

式(21)では， $\mathrm{N}$ はテストデータ中の総単語数のこ とを指し， $w_{d}$ は文書 $\mathrm{d}$ に含まれる単語である.

## 4.2 実験結果

Perplexity の最小値としては, トピック数 2 の提案 モデルよりトピック数 3 の LDA が優れていること がわかつた。また，時系列の順序にトピックを抽出 し, 時刻 $t$ と時刻 $t-1$ の互いの類似度を測った. 本論文では，2020/12/30 2021/1/6 を対象にコサイン類似度を測った. 話題の類似性の平均および時系列のト ピックの結果 1 10 位の確率が高いものを図 2 に示 す.トピックを時系列順に考察すると,「社会関連」,「社会関連」,「国際関連」,「社会関連」,「政治関連」,「政治関連」,「コロナ関連」,「コロナ関連」のよう な話題を取り上げられていると解釈できると考える.

したがって, 図 2 の時系列トピックの類似関係を 考察して，類似関係があるものを図 3 に示す.上記の図の関係性はコロナ関連で成り立っている。 そのことから, 社会的な話題から国際的な話題, 政治的な話題, コロナ関連の話題の共通として類似し ているものはコロナ関連であることが解釈できる.

## 5 まとめ

本論文では，時系列での各トピックの類似性があ ることを仮定し, 時系列トピックモデルを提案し, そ のモデルの推論方法と実際のニュース記事のデータ を用いて，実験を行なって，考察した。結果として Perplexity を用いて, モデル選択の評価では, LDAの 万が提案モデルより優れていたが，仮定した問題へ の話題の類似関係を示すことができた.

今後の課題としては, Perplexity の精度を上げ, 話題 の類似関係を可視化できるようにしたいと考える.

Perplexityに対して, 提案モデルの近似事後分布の設定やモデル自体の改善, 別の推論を検討する必要が あると考えられる。

表 2 各日付のトピック

表 3 各日付のトピック類似関係

## 参考文献

[1]. Blei, D. M., Ng, A. Y. and Jordan, M. I.: Latent dirichlet allocation, the Journal of machine Learning research, Vol. 3, pp. 993-1022 (2003).

[2]. Blei, D. M. and Lafferty, J. D.: Dynamic topic models, Proc. ICML'06, ACM, pp. 113-120 (2006).

[3]. Stefanos Eleftheriadis, Thomas F.W. Nicholson, Marc P. Deisenroth, James Hensman.:Identification of Gaussian Process State Space Models.

[4]. 佐々木 健太郎, 吉川 大弘, 古橋 武.: 複数の卜 ピックの時間依存関係を考慮した時系列トピックモ デル(2014). 情報処理学会研究報告.Vol.2014-MPS-100 No3

[5].山田大造.新聞記事に対するトピックモデルの適用とトピックの時系列変化に関する考察(2017). 情報処理学会研究報告.Vol.2017-CH-115 No1