# 情報通信研究機構ユニバーサルコミュニケーション研究所の紹介隅田英一郎 $\dagger \cdot$ 大竹 清敬 $\dagger \cdot$ 内元 清貴 $\dagger$
## 1 ユニバーサルコミュニケーション研究所の紹介

国立研究開発法人情報通信研究機構 (NICT) ユニバーサルコミュニケーション研究所 (UCRI) では，誰もが分かり合えるユニバーサルコミユニケーションの実現を目指して，日本語を中心 として分野に特化した高品質・大規模データベースを構築し，その基盤を活用した，「多言語」，「対話」，「行動支援」に関する 3 つのコア技術，及び，コミュニケーションの質を向上させる技術の研究開発とそれらの技術の社会実装に取り組んでいます。その際, 重視しているのは「研普両道」すなわち「研究」と「普及」の両立です. 研究開発においては，前例にとらわれない才 ンリーワン／ナンバーワンのコア技術を創出し，その技術を，広く使っていただる普遍の技術として研ぎ澄ませます。そして，それらの技術を活用した実証／実用システムを産学官の力 を結集して開発・展開し，社会実装に繋げるとともに，社会で生み出された知識源を研究開発 ヘフィードバックします。この研究開発と社会実装を循環するポジティブスパイラルを実現す ることにより，コア技術を世の中で普通に使われる技術とすることを目指します.そして，こ れにより，国際ビジネス，高齢者ケア，環境リスク低減等における言葉の壁・知識の壁・デー 夕利活用の壁をなくし, 社会課題の解決や新たな価値創造等に貢献します.

本稿では，UCRIにおいて，「対話（自然言語処理全般 $)\rfloor$ と多言語（機械翻訳)」に関する 技術の研究開発を担うセンター, 研究室の取り組みを紹介します.

## 2 データ駆動知能システム研究センターの紹介

本節では, NICT-UCRI データ駆動知能システム研究センター (DIRECT) とその成果につい て紹介します。

【DIRECT の概要】DIRECT は研究者が 10 名ほどの比較的小さな組織ですが，研究開発を 支援する技術員，プログラマが 15 名ほど，そして，近年の自然言語処理には必要不可欠な学習 データ作成のための作業員が常時数十名在籍していることが特徴の組織です。 2021 年度から,東京都小金井市にある NICT の本部に支所を開設し, 在宅勤務が標準となりつつありますが,東京とけいはんなの 2 拠点体制で研究開発を実施しています.

【DIRECT の研究開発の特徴】DIRECT では, 基礎研究から応用まで一気通貫で実施できる 研究開発体制で，実際に社会課題解決に貢献可能な技術・システムの研究開発に取り組んでい ます。そういった技術・システムの研究開発には，対象課題の専門家，しかも自然言語処理や AI に関するビジョンを共有できる専門家の協力が必要不可欠ですが，このような専門家と密に コミュニケーションをとりながら研究開発を推進します. 社会課題解決に注力すると，論文が 書けないのではないかと心配されるかもしれませんが，NICTでは，研究者の論文執筆以外のア クティビティを積極的に認める柔軟な評価制度があり，社会課題解決に貢献できる技術・シス テムを創りたいと考える研究者・技術者にとって非常に活動しやすい場となっています. な押,最近は社会課題解決に集中しているため，論文発表は少なめではありますが，過去 15 年ほどで ACL, AAAI 等のトップカンファレンスで 30 本ほどのロングペーパーを発表し，日本オープン イノベーション大賞, 日本学術振興会賞, 文部科学大臣表彰, Twitter Data Grants, PyTorch Annual Hackathon 第一位等の名だたる賞を多数受賞しています。また，過去 10 年で NHK ス ペシャルや一般紙 1 面を含め 362 件の報道がなされています。研究環境としては, 独自に収集 した 400 億件以上の Web ページや, NVIDIA の最新の A100を含め，多数の GPGPU など，日本の公的機関では最大規模の言語データ，計算資源を有しています。

【初期の成果】 DIRECT の初期の成果としては, 大規模 Web 情報分析システム WISDOM X と 対災害 SNS 情報分析システム DISAANA があります。いずれのシステムも 2015 年から，ネッ ト上で試験公開しています. WISDOM X は，通常の検索エンジンとは異なり，入力の質問に対 する端的な回答の候補を Web 40 億ページの情報に基づいて提示します.「AIってどんな社会問題の解決に使えるかな？といった，回答が名詞となるいわゆる「ファクトイド」型質問に対し てだけでなく,「なぜギリシャで哲学が始まった？」「地球温暖化が進むとどうなる」のように文 で答えるタイプの「ノンファクトイド」型質問にも，回答の候補を場合によっては数百件，瞬時 に提示し，ロングテールも含めて関連情報のより網羅的な把握を容易にします。DISAANA は WISDOM X の技術を減災という目的にチューニングする形で開発され，大規模災害時に Twitter 上に発信される膨大な被災報告を分析し，WISDOM X と同様に質問応答するとともに地図上 に回答を可視化するシステムです。

【成果の進化と社会実装】これらのシステムはその後, 大量のWebテキストを用いて事前学習 した BERT 等を用いたWISDOM X 深層学習版1, 質問を入力しなくてもTwitter に発信された情報から災害の被害状況を整理，要約した形で提供する，災害状況要約システム D-SUMM², LINE の上で被災者とチャットし，被災情報の収集や避難支援を行う防災チャットボット $\mathrm{SOCDA}^{3}$ に

進化しています．DISAANA，D-SUMM，SOCDA に関しては民間企業へのライセンスを実施 し，商用サービスが開始され，実災害でも自治体等において活用されています。

【MICSUS の研究開発】また，近年では内閣府 SIP 第二期の支援のもと，人材が逼迫している と言われる介護職の負担を軽減するために，要支援等の高齢者の健康状態チェックを AIによる 対話を介して行うマルチモーダル音声対話システム MICSUS 4 を KDDI 株式会社, NECソリュー ションイノベータ株式会社，株式会社日本総合研究所と共同で研究開発しています. MICSUS は，健康状態チェックのための対話に加えてWISDOM X の技術を使い，Webの情報を用いた 雑談も行う他，カメラで撮影したユーザの表情等から感情やジェスチャーを認識して対話で活用します。最新のシステムは 250 万件の人手作成の学習データを用い， 43 件の異なるタスクを 実行する BERT で様々な意味解釈を行いつつ，対話を進めます。介護の専門家と密接に連携し つつ開発を進め，高齢者と長期にわたり対話を行う実験でも良好な結果を得ています。また，高齢者を対象とした 10 年間の追跡調査 (斉藤 他 2015) によれば，コミュニケーション頻度が認知症の発症, 要介護度の進展, さらには死亡の可能性と有意に相関していることがわかってい ます. MICSUS との対話は，こうしたコミュニケーション不足，さらには近年注目を浴びてい る孤独の問題の解消とまではいかないもののその抑制にも貢献できる可能性があるのではない かと考えています.

【研究開発を支えるミドルウエアの開発】これまでに紹介してきたシステムを開発する際の 苦労話については, 別稿 (鳥澤 2021) で述べられているので, ご興味のある方はご覧ください. また, DIRECTでは, こういった大規模システムの開発をローコストで行うためのソフトウエ ア群も開発しています。まず，東京大学と共同で並列分散処理ミドルウェア $\operatorname{RaSC}^{5}$ を開発し ました。これは OS，並列処理等に詳しくない AI の研究者が各自の好みの環境で作成したプロ グラム群をストリーム接続してパイプラインを構成し, 死活管理等も含めて数百台規模の計算機で並列に安定稼働させます。上記のいずれのシステムもこれなしでは開発できませんでした.同じく東京大学と共同で開発した自動並列化深層学習ミドルウェア RaNNC ${ }^{6}$ は, PyTorch で 記述されたニューラルネットワークを自動で分割し，複数の GPUを用いた並列処理によって GPT-3 のような超大規模なニューラルネットワークを高速に学習するためのミドルウェアで す. RaNNC は, Transformer に限らず, 画像処理用の大規模な CNN 等, 様々なニューラルネッ トワークに関し GPT-3 と同じレベルの 2,000 億パラメータまで対応できます. DIRECT では， Transformer, CNN, 敵対的学習を組み合わせた BERTAC7等, Transformer を超えるアーキテ クチヤの検討も進めています。なお，RaNNC は，ニューラルネットを記述するためのソフト
^{7}$ https://github.com/nict-wisdom/bertac にてソフトウエアを公開中. 詳細な内容については, Oh ら (Oh et al. 2021)を参照ください.
}

ウエアである PyTorch の開発元である Facebook が主催する, PyTorch Annual Hackathon 2021 において, First Place（第1位, PyTorch Developer Tools \& Libraries 部門）を受賞しました. RaSC，RaNNC のいずれのソフトウェアも脚注に示した URL で公開していますので興味のあ る方はお試しください.

【まとめ】以上に述べた通り，DIRECT では，自然言語処理における基礎的な研究開発から，社会課題の解決に直結する具体的な応用研究, 開発まで小さな所帯で効率的に実施しています.

## 3 先進的翻訳技術研究室の紹介

本節では, NICT-UCRI 先進的音声翻訳研究開発推進センター (ASTREC) 先進的翻訳技術研究室の紹介をします。

【先進的翻訳技術研究室の概要】当研究室では，世界の「言葉の壁」を解消し，グローバルで 自由な交流を実現することをミッションとした多言語機械翻訳技術の研究開発と社会実装に取 り組んでいます。当研究室には, 20 人程度の研究員・技術員が在籍しており, 日本人研究員・技術員だけでなく，今までに，英国，フランス，ドイッ，インド，中国，ベトナム，カンボジ ア，ミャンマー等からも外国人研究員・技術員・インターンが来ています。また, 当室在籍中 に博士課程に通ったり, 博士課程在学中に半年以上の当室インターンを経験し, 最先端の研究開発を担いつつ，博士号を取得した人はこれまで 10 人以上に上ります。当研究室の研究成果 の一覧は論文リスト8をご参照ください，代表例としては， ACL-IJCNLP 2021 で Outstanding Paper Award を受賞した論文 (Marie et al. 2021) や 2020 年言語処理学会論文賞を受賞した論文 (Ma et al. 2020a; Higashiyama et al. 2020; Ma et al. 2020b) があります.

【言語資源】当研究室では, 対訳コーパス等の言語資源も公開しています9. 特に, Asian Language Treebank (ALT) Project ${ }^{10}$ では, English Wikinews から抽出した約 2 万文の英文を 13 言語に翻訳し た対訳コーパスを一般に公開しています. ALT 対訳コーパスは, Workshop on Asian Translation (WAT) など, 低言語資源機械翻訳の研究に広く活用されています。また, 遡って, 2007 年には, 180 万文規模の世界初の大規模特許日英対訳コーパスを研究開発し (Utiyama and Isahara 2007), さらに, 近年の日英機械翻訳研究で広く使われている ASPEC (Asian Scientific Paper Excerpt Corpus)(Nakazawa et al. 2016)の開発にも参加しています.

【VoiceTra/TexTra の開発】当研究室では, 機械翻訳について, 基礎研究から実用化までの スペクトラムで研究を進めています。機械翻訳は，高精度ならドンドン使いたくなるし精度がま あまあでも役に立つ場面が多く，専門家以外（言い換えると研究の受益者あるいはスポンサー）

に有用性が分かりやすく，自然言語処理技術の応用の中でもキラー・アプリと言えます.より 具体的には, 当室には, 音声翻訳のスマホ・アプリである「VoiceTra」11やテキスト翻訳の WEB 上のトライアウトである「みんなの自動翻訳@TexTra」12があって, 利用者と研究者のタッチポ イントとして機能しています。様々な基礎技術を一般に届けることができますし，逆に，利用者から様々な形で基礎技術へのフィードバックも得られ，新たなテーマの発見につながること もあります. 自分の作ったアルゴリズムが実社会で使ってもらえ役立っていることを実感でき るのも，万人がスマホや PC を持ちネットワークが高速である 21 世紀において自然言語処理の 研究をする醍醐味の一つでしょう，例えば，TexTra はオープンソースソフトウェア (OSS)の コミュニティで，OSS のドキュメントの日本語化に役立てていただいています。その過程で新 たに作られた対訳は NICT が運営する対訳データの集積庫である翻訳バンク13にご提供いたた いています。翻訳バンクに基づいて高精度化した機械翻訳を再度，OSSコミュニティに使って いただきます.このようにTexTra と翻訳バンクで対訳データのエコ・システムを形成してい ます. さらに, 最近は機械翻訳の精度が高くなったので, 研究室内で日常的に活用しています.日本人の研究者は英文の論文を TexTra で母語である日本語に変換して効率的に読むメリット を享受していますし, 研究室内の事務的な告知は Slack に日本語で投げておくと外国人研究者 は TexTraで手軽に読めるので，日本語中心の日本の組織の中でも情報を取得できます. Slack アプリ14はとても便利なので，ぜひお試しください.

【まとめ】本研究室は, 機械翻訳という一つのテーマに特化したユニークな研究室です。世界各国からの研究員が在籍し, 基礎研究から実用システムの提供まで続けています. 大学とも企業とも違う国立研究開発法人の研究室の一例をご紹介しました.

## 参考文献

Higashiyama, S., Utiyama, M., Sumita, E., Ideuchi, M., Oida, Y., Sakamoto, Y., Okada, I., and Matsumoto, Y. (2020). “Character-to-Word Attention for Word Segmentation." 自然言語処理, 27 (3), pp. 499-530.

Ma, C., Tamura, A., Utiyama, M., Sumita, E., and Zhao, T. (2020a). "Syntax-based Transformer for Neural Machine Translation.” 自然言語処理, 27 (2), pp. 445-466.

Ma, C., Tamura, A., Utiyama, M., Zhao, T., and Sumita, E. (2020b). "Encoder-Decoder Attention $\neq$ Word Alignment: Axiomatic Method of Learning Word Alignments for Neural Machine Translation.” 自然言語処理, 27 (3), pp. 531-552.

Marie, B., Fujita, A., and Rubino, R. (2021). "Scientific Credibility of Machine Translation Research: A Meta-Evaluation of 769 Papers." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 7297-7306.

Nakazawa, T., Yaguchi, M., Uchimoto, K., Utiyama, M., Sumita, E., Kurohashi, S., and Isahara, H. (2016). "ASPEC: Asian Scientific Paper Excerpt Corpus." In Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC'16), pp. 2204-2208.

Oh, J.-H., Iida, R., Kloetzer, J., and Torisawa, K. (2021). "BERTAC: Enhancing Transformerbased Language Models with Adversarially Pretrained Convolutional Neural Networks." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 2103-2115.

斉藤雅茂, 近藤克則, 尾島俊之, 平井寛 (2015). 健康指標との関連からみた高齢者の社会的孤立基準の検討 10 年間の AGES コホートより. 日本公衆衛生雑誌, 62 (3), pp. 95-105. [M. Saito et al. (2015). Criteria for Social Isolation Based on Associations with Health Indicators among Older People A 10-year follow-up of the Aichi Gerontological Evaluation Study. Nihon Koshu Eisei Zasshi (Japanese Journal of Public Health), 62 (3), pp. 95-105.].

鳥澤健太郎 (2021). 社会課題解決に貢献する自然言語処理技術の社会実装と展開一AIでの人助け に何が必要か—. 情報処理学会学会誌「情報処理」,62 (6), pp. e27-e33. [K. Torisawa (2021). Natural Language Processing Technologies for Solving Social Issues - What is Needed for Assisting People with AI? -. IPSJ magazine, 62(6), e27-e33.].

Utiyama, M. and Isahara, H. (2007). "A Japanese-English Patent Parallel Corpus." In Proceedings of Machine Translation Summit XI: Papers.

## 略歴

隅田英一郎：京都大学博士（工学）。日本アイ・ビー・エム（株），（株）国際電気通信基礎技術研究所を経て,（国研）情報通信研究機構に勤務。（一社）ア ジア太平洋機械翻訳協会会長を兼務.

大竹 清敬：豊橋技術科学大学博士（工学）（株）国際電気通信基礎技術研究所を経て, (国研) 情報通信研究機構に勤務. 現在, NICT UCRI DIRECT 研究センター長. Twitter Data Grants, 日本オープンイノベーション大賞総務大臣賞等受賞.

内元 清貴: 京都大学博士 (情報学). 郵政省通信総合研究所 (現 NICT) 入所後,内閣府出向を経て, (国研) 情報通信研究機構 (NICT) に勤務. 現在, NICT ユニバーサルコミュニケーション研究所研究所長.


# 弱教師あり学習によるイベントの意志性・主語有生性の 分類の同時学習

清丸 寛一 $十$ ・黒橋 禎夫 $\dagger$
}

意志性と主語有生性はイベントの基本的な属性であり，密接な関係にある。これら の認識は文脈を考慮したテキスト理解を必要とし, その学習には大量のラベル付き データを要する，本論文では，人手でラベル付きデータを構築することなく, 意志性と主語有生性を同時学習する手法を提案する。提案手法では生コーパス中のイベ ントにヒューリスティクスを用いてラベルを付与する。意志性のラベルは「わざと」 や「うっかり」といった意志性を示す副詞を頼りに付与する。主語有生性のラベル は知識ベースに登録されている有生名詞・無生名詞を頼りに付与する。こうして集 めたイベントから手がかり語を含まないイベントに汎化する分類器を構築する。本研究ではこの問題をバイアス削減ないしは教師なしドメイン適応の問題とみなして 解く. 日本語と英語の実験で, 提案手法により, 人手でラベル付きデータを構築す ることなく, 意志性・主語有生性の高精度な分類器を構築できることを示した.

キーワード：イベント，意志性，有生性，弱教師あり学習
## Minimally-Supervised Joint Learning of Event Volitionality and Subject Animacy Classification

\author{
Hirokazu Kiyomaru $^{\dagger}$ and Sadao Kurohashi ${ }^{\dagger}$
}

Volitionality and subject animacy are fundamental and closely related properties of an event. Their classification is challenging because it requires contextual text understanding and a huge amount of labeled data. This paper proposes a novel method that jointly learns volitionality and subject animacy at a low cost, heuristically labeling events in a raw corpus. Volitionality labels are assigned using a small lexicon of volitional and non-volitional adverbs such as "deliberately" and "accidentally"; subject animacy labels are assigned using a list of animate and inanimate nouns obtained from ontological knowledge. We then consider the problem of learning a classifier from the labeled data so that it can perform well on unlabeled events without the words used for labeling. We regard the problem as a bias reduction or unsupervised domain adaptation problem and apply the techniques. We conduct experiments with crowdsourced gold data in Japanese and English and show that our method effectively learns volitionality and subject animacy without manually labeled data.

Key Words: Event, Volitionality, Animacy, Weakly-supervised Learning

## 1 はじめに

意志性 (volitionality) はイベントの基本的な属性であり，イベントに何者かの意志的な関与 があるかどうかを表す. 本研究では特にイベントの主語が表すエンティティがイベントに意志的に関与しているか否かに着目する。例えば，主語のエンティティの観点から見て，「食べる」 や「書く」といったイベントはふつう意志的 (volitional) であり，「泣く」や「怪我をする」，「怒 られる」といったイベントは非意志的 (non-volitional) である，イベントの意志性分類は，因果関係知識の類型化 (Lee and Jun 2008; Inui et al. 2003; Abe et al. 2008a, 2008b) に用いられて きたほか, 条件付きイベント予測 (Du et al. 2019), スクリプト抽出 (Chambers and Jurafsky 2008), 顧客フィードバック分析 (Liu et al. 2017) などへの応用がある.

一方，有生性 (animacy) は名詞の属性であり, 名詞が表すエンティティに人間のような意志的な行為が可能かどうかを表す. 本研究ではイベントの主語が表すエンティテイがイベントに 意志的に関与しているか否かに着目するため, イベントの主語が有生名詞であることはイベン トが意志的であることの必要条件となる。この密接な関係に着目し, 本研究では主語有生性と いうイベントの属性を考える。意志性の学習では主語有生性の同時学習が助けになると期待さ れる。

意志性を認識する難しさは，言語資源の不足と文脈理解が必要なことにある。意志性は多く の場合，イベントの述語によって同定できる．冒頭の「食べる」や「泣く」などがそうである。 しかし, 意志的（あるいは非意志的）な行為を表す述語を網羅したリストは存在しない.また, たとえそうした言語資源があったとしても，述語だけではなく，その文脈も考慮しなければ意志性を同定できない場合が存在する。例えば，例 (1-a)と例 (1-b)の述語はどちらも同じ「浴び る」であるが，前者は意志的，後者は非意志的である11.

(1) a. シャワーを浴びる。(V)

b. 非難を浴びる。(NV)

また, 例 (2-a) は非意志的であるが, 例 (2-b) は「深く」という副詞を伴うことで意志的となる.

(2) a. 息をする。(NV)

b. 深く息をする．（V)

文脈理解の問題は言語資源の整備によって解決するのは困難である。あらゆる文脈一述語の項,項への連体修飾，述語への修飾（副詞句）の組み合わせ一に対して意志性のラベルをアノテー

ションすることは非現実的だからである。この問題に対する有望な解決策は，イベントを構成 する語句の意味とそれらの関係性を柔軟に捉えて意志性を認識する分類器を構築することであ る.そうした柔軟な分類器は深層学習モデルを訓練することで得られると期待されるが，その 訓練には通常，大量のラベル付きデータが必要となる.

主語有生性の認識についても，意志性の認識と同様の難しさがある。まず，言語資源の不足 の問題がある。主語有生性は，たいていの場合，主語の名詞が通常有生名詞 (animate noun) か 無生名詞 (inanimate noun) かによって同定できる。有生名詞・無生名詞は ConceptNet (Speer et al. 2017) などの知識ベースから一定量のリストが得られるが，網羅的とは言い難い。また,主語有生性の認識においても文脈理解が必要となる場合がある。例えば，例 (3-a)の主語「白バ イ」は通常無生名詞であるが，例 (3-b) の主語「白バイ」は警察官の換喻であり，この文脈にお いては有生名詞である².

(3) a. 白バイが停まっている。(IA)

b. 白バイが追いかけてくる. (A)

こうした現象に対処するには, やはり柔軟な文脈理解が可能な分類器を構築するのが有望であ り，その訓練には大量のラベル付きデータが必要となる.

本研究では, イベントの意志性と主語有生性を同時学習する弱教師あり学習手法を提案する.提案手法の概要を図 1 に示す。提案手法ではまず，ヒューリスティクスを用いて生コーパス中 のイベントにラベルを付与する．意志性のラベルは「わざと」などの意志的な行為を表す副詞 （意志的副詞）と「うっかり」などの非意志的な行為を表す副詞（非意志的副詞）を手がかりに 付与する，例えば，例 (4) は意志的副詞「あえて」が述語に係っているため, 意志的であると みなす。例 (5) は, 非意志的副詞「うっかり」が述語に係っているため, 非意志的であるとみ なす。

(4) あえて真実を話す.

$
\text { うっかり携帯を落とす. }
$

主語有生性のラベルは既存の言語資源に登録されている有生名詞・無生名詞を手がかりに付与 する．生コーパスの量は際限なく増やすことが可能であるため，この方法で大量のラベル付き データを低コストで収集することができる。

例 (4), 例 (5) が示唆するように, 意志的副詞・非意志的副詞を除いたとしても, 多くの場合, イベントの意志性は保持される。これは主語有生性に関しても同様である。しかし，そうでな

図 1 提案手法の概要. 生コーパス中のイベントにヒューリスティクスを用いて意志性・主語有生性のラ ベルを付与し, 意志性・主語有生性それぞれのラベル付きデータセット $\left(\mathcal{D}_{\mathrm{vol}}^{l} \cdot \mathcal{D}_{\mathrm{ani}}^{l}\right)$ とラベルな しデータセット $\left(\mathcal{D}_{\mathrm{vol}}^{u} \cdot \mathcal{D}_{\mathrm{ani}}^{u}\right)$ を得る. その上で, 意志性と主語有生性の分類を同時学習する。 そ の際，手がかり語だけに着目した分類に陥ることを防ぐための正則化を導入する.

い場合もある，例えば，例 (6-a) は意志的であるが，そこから「あえて」を除いた例 (6-b) は非意志的である.

a. あえてこける.

b. こける. $(\mathrm{NV})$

このように, 意志的副詞と共起するイベントが必ずしも意志的なイベントであるとは限らない.主語有生性に関してもこうした例が存在する。例えば，例 (7-a)の主語である「衝撃」は無生名詞であるが,「衝撃」を除いた例 (7-b)の主語は有生名詞として捉えるのが妥当である.

a. 衝撃が走る.

(IA)

b. 走る.

(A)

手がかり語を常に含むラベル付きデータから，手がかり語を含まないラべルなしイベントに汎化する分類器を得るには, 原則として手がかり語に頼らず，それと共起するテキストからラべ ルを予測することを学習しつつ，手がかり語を除くことでラベルが変化する例に関しては，手

がかり語と共起するテキストからラベルを予測することを学習しないことが重要である．本研究では, 分類器を学習する際にラベル付けの手がかり語だけに着目して分類することを抑制す る正則化を導入することで前者の原則を学習しつつ, 汎用言語モデル (Devlin et al. 2019) が作 り出すイベントの汎化ベクトル表現の上で分類器を構築することで, 予測のために手がかり語 に着目せざるを得ないケースがデータから学習されることを期待する.

本研究は，手がかり語に着目した分類を抑制する問題をバイアス削減あるいは教師なしドメ イン適応の問題と捉え，その手法を活用する。バイアス削減はデータセット中に存在する特定 のバイアスが予測に濫用されることを防ぐ手法である (Bolukbasi et al. 2016; Zhao et al. 2017, 2019; Kennedy et al. 2020). 本研究ではへイトスピーチ認識器の学習において利用されている バイアス削減手法を転用する (Kennedy et al. 2020; Jin et al. 2020).ここで提案されているバイ アス削減手法は, 分類器が「gay」といったへイトスピーチに特徴的な単語 (バイアス) だけに着目した分類に陥ることを抑制し，文脈を考慮した分類を促すものである．本研究では，ラベル 付けに用いる手がかり語をバイアスとみなして，単純なバイアス削減手法である word removal (WR), より高度なバイアス削減手法で有効性が知られている sampling and occlusion (SOC) の 2 つを利用する.

教師なしドメイン適応は，ソースドメインのラベル付きデータとターゲットドメインのラベ ルなしデータを用いて，ターゲットドメインに汎化するモデルを構築する手法である。本研究 の設定は，手がかり語を含むラベル付きデータをソースドメインのデータ，手がかり語を含まな いラベルなしデータをターゲットドメインのデータとみなすことで，教師なしドメイン適応の 問題として定式化できる。本研究では, 深層学習モデルを利用したテキスト分類器の学習にお いて有効性が確認されている教師なしドメイン適応手法 adversarial domain adaptation (ADA) を利用する (Ganin et al. 2016; Ganin and Lempitsky 2015; Shah et al. 2018; Shen et al. 2018). ADA では，ラベル付きデータのもとで分類を学習しつつ，敵対的学習の枠組みで，ラベル付き データとラベルなしデータが判別できなくなるようにイベントのベクトル表現を学習する。こ の学習により，ラベル付きデータにだけ現れる手がかり語になるべく頼らない分類が学習され ると期待される。

提案手法の有効性を確認するため，日本語と英語で実験を行った，分類器の性能を評価する ため，各言語についてクラウドソーシングで評価データを新たに構築した．実験を通して，提案手法により，人手でラベル付きデータを構築することなく，イベントの意志性・主語有生性 の高精度な分類器を構築できることを示した ${ }^{3}$.

## 2 関連研究

関連研究として, イベントの意志性分類, バイアス削減, 教師なしドメイン適応について述 べる.

## 2.1 イベントの意志性分類

イベントの意志性分類に関する過去の研究は, 視点となる名詞句が与えられる設定と与えら れない設定に大別できる。視点となる名詞句が与えられる設定では, 述語と名詞句が与えられ, その名詞句が表すエンティテイが述語が表すイベントに意志的に関与しているか否かを予測す る.この設定は semantic proto-role labeling のサブタスクとして取り組まれている (Reisinger et al. 2015; White et al. 2016; Teichert et al. 2017).

視点となる名詞句が与えられない設定では，イベントが与えられ，その主語が表すエンティ ティがイベントに意志的に関与しているか否かを予測する (Abe et al. 2008a, 2008b; Inui et al. 2003). 本研究はこの設定に取り組む. Abe et al. (2008a) と Abe et al. (2008b) は，意志的・非意志的な述語のリストを構築し，それを参照することでイベントの意志性を予測している。この 手法は，構築する述語のリストの網羅性に性能が依存するほか, 例 (1-a) と例 (1-b) にあるよう な, 述語単独では意志性を同定できない場合に対応できない点に問題がある. Inui et al. (2003) はデー夕駆動の手法を取っている。ここでは, 少量のラベル付きデータを構築し, 手作りの言語特徴量の上で SVM を学習している. しかし, 意志性は述語, 項, 副詞などの修飾要素から 非構成的に定まる属性であり，少量の事例から頑健な分類器を学習することは困難である。本研究では, ヒューリスティクスを用いて大量のラベル付きデータを収集し, そのもとで強力な 汎用言語言語モデル (Devlin et al. 2019) に基づく分類器を構築することで, 意志性の認識に関 わる広範な言語現象と世界知識を学習する。

## 2.2 バイアス削減

バイアス削減はデータセット中に存在する特定のバイアスが予測において濫用されることを 防ぐ手法である。バイアス削減は機械学習の公平性の分野で研究されている (Bolukbasi et al. 2016; Zhao et al. 2017, 2019; Kennedy et al. 2020). 本研究では, バイアス削減の手法を転用し,手がかり語だけに反射的に反応して分類を行うのではなく，手がかり語の文脈を考慮して分類 を行うモデルを学習する。具体的には，バイアス削減の手法として, Kennedy et al. (2020) が 提案している word removal と sampling and occlusion (Jin et al. 2020)の2つを利用する.こ れらの手法は, 頑健なへイトスピーチ分類器の学習のために提案されたものであり,「gay」な どのへイトスピーチに特徴的な単語のみを手がかりに分類を行うことを抑制し，文脈を考慮し た予測を促す目的で利用されている。手法の詳細は 4.3 節に譲る.

## 2.3 教師なしドメイン適応

教師なしドメイン適応は，ターゲットドメインのラベルなしデータのみを用いて行うドメイ ン適応である (Ramponi and Plank 2020). 本研究の問題は，手がかり語を含むラベル付きデー タをソースドメインのデータ，手がかり語を含まないラベルなしデータをターゲットドメイン のデータとみなすことで, 教師なしドメイン適応の問題として定式化できる. 教師なしドメイ ン適応の手法は多数提案されているが，夕スク横断的な評価を欠いており，どの手法が優れて いるとも言えないのが現状である (Ramponi and Plank 2020). 本研究で扱う問題は, 広くはテ キスト分類に分類されるものである。そこで，本研究では，ニューラルモデルに適用可能でか つテキスト分類タスクで多くの成功を収めている adversarial domain adaptation (ADA)を用い る (Ganin et al. 2016; Ganin and Lempitsky 2015; Shah et al. 2018; Shen et al. 2018). ADA で は, ソースドメインのラベル付きデータでタスクを学習しつつ, ソースドメインとターゲット ドメインのデータの区別がつかないような潜在空間を学習することを通して，ターゲットドメ インにおけるモデルの汎化性能を向上させる。手法の詳細は 4.3 節に譲る.

## 3 問題設定

本研究で扱うイベントの表現, スコープ, 意志性・主語有生性のアノテーションについて述 べる.

## 3.1 表現

イベントは 1 つ主たる述語を含むテキスト（節）として表す.イベントは齋藤他 (2018)の 基準にならって認定する。齋藤他 (2018) は, イベントを述語句構造を基本とする情報構造と して定義している。齋藤 他 (2018) の基準では, 述語であっても, 意味の重要性や事象性が希薄 なものはイベントとして認定されない. たとえば, 例 (8)の「大きく」は副詞的な形容詞であ り，単独のイベントとして認定される代わりに，述語「表示する」が構成するイベントの一部 とみなされる。

(8) 大きく表示する.

例 (9) の「思う」は推量・伝聞のモダリティであり, 単独のイベントとして認定される代わり に，述語「美しい」が構成するイベントの一部とみなされる.

(9) 美しいと思う.

また, 齋藤他 (2018) の基準では, 項が複合名詞である場合や連体修飾されている場合は, それ

らの句・節の全体が項として認定される。齋藤 他 (2018)の基準でイベントを抽出した後，イベ ントを構成する語句を元のテキストにおける表示順で結合し，イベントのテキスト表現を得る.

## 3.2 スコープ

本研究では, 単純な言語素性, 具体的には述語の品詞と態 (voice) によって意志性が同定でき ないイベントを扱う。述語の品詞が例 (10)のように形容詞あるいは例 (11)のように判定詞で あるイベントは状態を表し, 非意志的であることが明らかであるため, 本研究では扱わない.

(10)空が綺麗だ。(NV)

(11)彼は学生た。（NV)

述語が例 (12)のように受動態または例 (13)のように可能態であるときも，イベントは主語の 観点から見て非意志的であることが明らかであるため, 本研究では扱わない.

(12) 先生に叱られる. $(\mathrm{NV})$

(13）私は走れる。(NV)

加えて，モダリティを伴うイベントも本研究では扱わない，モダリティは，イベントに対する 筆者の意見や態度を表す言語表現である。例 (14)は蓋然性を表すモダリティ「はずだ」を伴う イベントである.

彼は来るはずだ.

本研究の主眼はイベントそのものの意志性を認識することにあるため, こうしたイベントも本研究では扱わない，本研究では，蓋然性を含むモダリティ 10 種を考慮し，それらを伴うイベン トを除いた。モダリティのリストと例を付録の表 9 に示す.

最後に，本研究では，主節に相当するイベントのみを採用し，従属節に相当するイベントは 扱わない．例えば，以下の文からは「雨が強まったので」と「試合は中止になった」の 2 つ イベントが抽出されるが, 前者（従属節）は除外し, 後者（主節）のみを利用する.

(15) 雨が強まったので，試合は中止になった.

これは 5.2 節で説明するクラウドソーシングによる評価データ構築の際, イベントが接続表現で
終わっていること等を理由に不自然な言語表現であると判断されることを避けるためである 4.従属節のイベントの意志性を分類する際は, 節末の言語表現を主節らしく適当に整形すれば良い.

## 3.3 アノテーション

イベントには意志性と主語有生性の 2 つのラベルを付与する.

意志性主語の表すエンティテイがイベントに意志的に関与しているなら,「意志的 (volitional)」 のラベルを付与する．そうでないなら，「非意志的 (non-volitional)」のラベルを付与する．

主語有生性 主語が表すエンティティに人間のような意志的な行為が可能であるなら,「有生名詞 (animate noun)」のラベルを付与する。そうでないなら，「無生名詞 (inanimate noun)」のラ ベルを付与する。主語有生性のラベルはそのイベントにおいて主語が有生名詞であるか無生名詞であるかを表すもので，名詞だけを取り出して，それが一般に有生名詞であるか有生名詞で あるかを表すものではないことに注意されたい.

## 4 提案手法

本研究では, ある単独のイベント $x$ を入力として, その意志性 $y_{\mathrm{vol}}$ と主語有生性 $y_{\mathrm{ani}}$ を予測する問題を考える。 $y_{\mathrm{vol}}$ と $y_{\mathrm{ani}}$ はポジティブ（意志的/有生名詞）であるなら 1 ， ネガティブ （非意志的/無生名詞）であるなら 0 である.

提案手法ではまず，ヒューリスティクスを用いて生コーパスから収集したイベントに意志性 と主語有生性のラベルを付与する。 そうして得たデータの上で, 意志性と主語有生性の分類を 同時学習する。その際，分類器が手がかり語たけに着目した分類に陥ることを抑制する正則化 を導入する．意志性と主語有生性の分類の損失および正則化のペナルティを合わせたものを目的関数とし，それを最小化するように分類器とエンコーダを最適化する。

## 4.1 訓練データセットの構築

生コーパス中のイベントに対し，ヒューリステイクスを用いて意志性・主語有生性のラベルを 付与し, 意志性のラベル付きデータセット $\mathcal{D}_{\mathrm{vol}}^{l}$ とラベルなしデータセット $\mathcal{D}_{\mathrm{vol}}^{u}$, 主語有生性の ラベル付きデータセット $\mathcal{D}_{\mathrm{ani}}^{l}$ とラベルなしデータセット $\mathcal{D}_{\mathrm{ani}}^{u}$ の 4 種類のデータセットを得る.

まず， 3.2 節にて説明した条件を満たすイベントを生コーパスから抽出する。ここでは，既存の構文解析器および品詞夕グ付けモデルを利用する。抽出したイベントそれぞれについて, ヒューリスティクスを用いて意志性および主語有生性のラベルを付与する. ラベル付与の成否

にしたがって，イベントを各データセットに振り分ける.

意志性のラベルを付与するため，意志的副詞・非意志的副詞の小規模な辞書を用意する．辞書中の副詞がイベントの述語を修飾していれば対応するラベルをそのイベントに付与し，イベ ントを $\mathcal{D}_{\mathrm{vol}}^{l}$ に追加する．ラベルを付与できなかったイベントは $\mathcal{D}_{\mathrm{vol}}^{u}$ に追加する。

主語有生性のラベルを付与するため，まず既存のオントロジーから得た有生名詞・無生名詞の リストを得る。意味役割解析器の出力を用いてイベントの主語の名詞句を同定し，主語の名詞句が見つかったら，有生名詞・無生名詞のリストを参照する。そこに主語の名詞句が含まれて いたら，対応するラベルを付与した後，イベントを $\mathcal{D}_{\mathrm{ani}}^{l}$ に追加する．ラベルを付与できなかっ たイベントは $\mathcal{D}_{\text {ani }}^{u}$ に追加する.

## 4.2 モデル

モデルは 3 つの要素から構成される．1つ目はエンコーダ $E$ である。エンコーダはイベン ト $x$ をべクトル表現に変換する。エンコーダは事前学習済みの汎用言語モデル BERT (Devlin et al. 2019) で初期化する. 2 つ目は意志性分類器 $C_{\mathrm{vol}}$ である. 意志性分類器は, エンコーダが 出力するイベントのベクトル表現を入力として, そのイベントが意志的である確率を予測する. 3 つ目は主語有生性分類器 $C_{\mathrm{ani}}$ である. 主語有生性分類器は, エンコーダが出力するイベント のベクトル表現を入力として，そのイベントの主語が有生名詞である確率を予測する。意志性分類器と主語有生性分類器のパラメータはランダムに初期化する。 エンコーダと各分類器のパ ラメータは後述の目的関数を最小化するように最適化される.

## 4.3 正則化付き分類学習

モデルは意志性の分類と主語有生性の分類を同時学習する。その際，手がかり語だけに着目 して分類することを抑制する正則化を導入する。意志性と主語有生性はどちらも統一的な方法 で学習するため，意志性・主語有生性の区別を取り払い，ラベル付きデータセットを $\mathcal{D}^{l}$ ，ラベ ルなしデータセットを $\mathcal{D}^{u}$ ，ラベルを $y$ ，分類器を $C$ とする表記を導入する．以降，上記の表記 に関しては, 意志性の学習では「vol」の下付き文字, 主語有生性の学習では「ani」の下付き文字を伴うものとして読み替えるものとする。

## 4.3.1 分類 (CLS; classification)

主たる目的関数はラベル付きデータセット $\mathcal{D}^{l}$ の上で分類を学習するものである．形式的には 以下のように書ける.

$
\mathcal{L}_{\mathrm{CLS}}=\mathbb{E}_{(x, y) \sim \mathcal{D}^{l}} \operatorname{BCE}(y, C(E(x)))
$

BCE はバイナリ交差エントロピーである.

## 4.3.2 正則化 (REG; regularization)

手がかり語に頼らない分類を学習するための正則化として 3 つの手法を検討する．実験では 開発データに対する性能をもとに最適な正則化手法を選択する.

Word Removal (WR) WR はバイアス削減の最も単純な手法である. WR は訓練データ中 のテキストから特定の語句を削除することで，分類器がその語句に頼って予測を学習すること を抑制する (Kennedy et al. 2020). 本研究ではラベル付けに利用した手がかり語に対して WR を適用し，手がかり語が予測において注目されることを抑制する。形式的には, 以下の目的関数の最小化を解く.

$
\mathcal{L}_{\mathrm{WR}}=\mathbb{E}_{(x, y, w) \sim \mathcal{D}^{l}} \operatorname{BCE}(y, C(E(x \backslash w)))
$

ここで $w$ はイベント $x$ 中に含まれる手がかり語， $x \backslash w$ は $x$ から $x$ を除いたテキストである.

Sampling and Occlusion (SOC) SOC (Kennedy et al. 2020)はバイアス削減の手法であり, ある語句の予測における寄与度を計算し，それを最小化することで，その単語が予測において 注目されることを抑制する．SOC ではまず，予測における寄与度を計算する語句の周りの文脈 を学習済み言語モデルを用いてサンプリングする。そして，サンプリングした各文脈において その語句をマスクトークンに置き換えたときと置き換えないときとの予測の差を計算し, その 平均をその語句の予測における寄与度とする．SOC によって計算される寄与度は微分可能であ るため, 通常の勾配法によって，特定の語句が予測において注目されることを抑制できる。本研究ではラベル付けに利用した手がかり語に対して SOC を適用する. 形式的には以下の目的関数の最小化を解く。

$
\begin{aligned}
\mathcal{L}_{\mathrm{SOC}} & =\mathbb{E}_{(x, w) \sim \mathcal{D}^{l}}[\phi(x, w)]^{2} \\
\phi(x, w) & =\frac{1}{|\mathcal{S}|} \sum_{x^{\prime} \in \mathcal{S}}\left[C\left(E\left(x^{\prime}\right)\right)-C\left(E\left(x^{\prime} \backslash w\right)\right)\right]^{2}
\end{aligned}
$

ここで $w$ はイベント $x$ 中に含まれる手がかり語， $\mathcal{S}$ は $x$ を初期値として事前学習済みの言語 モデルを用いて $w$ の文脈の単語をサンプリングして得たイベントの集合, $x^{\prime} \backslash w$ は $x^{\prime}$ 現れる wを padding トークンで置き換えたテキストである.

Adversarial Domain Adaptation (ADA) ADA は教師なしドメイン適応の一手法である.

トドメインのデータとみなして ADA を適用する。学習時には discriminator と呼ばれるニュー ラルネットワーク $D$ を追加で学習する. discriminator はエンコーダが出力するイベントのベ クトル表現を入力として，それがソースドメイン由来であるなら 1 ， ターゲットドメイン由来 であるなら 0 を出力するように学習する。エンコーダは discriminator がその分類に失敗するよ

うに，すなわちエンコーダがソースドメイン由来の特徴に対して 0 , ターゲットドメイン由来 の特徴に対して 1 を出力するように学習する. 形式的には以下の目的関数の最小化を解く.

$
\mathcal{L}_{\mathrm{ADA}}=\mathbb{E}_{x \sim \mathcal{D}^{l}} \mathrm{BCE}\left(0, D(E(x))+\mathbb{E}_{x \sim \mathcal{D}^{u}} \mathrm{BCE}(1, D(E(x)))\right.
$

discriminator はこの目的関数の最大化を学習する.

## 4.3.3 一貫性 (CON; consistency)

手がかり語だに着目した分類を抑制する正則化に加えて，意志性分類と主語有生性分類の 一貫性を学習することを考える。主語が有生名詞であることはイベントが意志的であることの 必要条件である。したがって, 主語が無生名詞であるという予測とイベントが意志的であると いう予測は両立しない.この関係を以下の目的関数を最小化することで学習する.

$
\mathcal{L}_{\mathrm{CON}}=\mathbb{E}_{x \sim \mathcal{D}_{\mathrm{vol}}^{u}+\mathcal{D}_{\mathrm{ani}}^{u}} \max \left(0, C_{\mathrm{vol}}(E(x))-C_{\mathrm{ani}}(E(x))\right)
$

実験では, 意志性・主語有生性の一方の分類と一貫性の学習だけで他方の分類を解く設定も 検証する.このとき，一貫性の学習は分類を学習している側の性能に影響しないことに注意さ れたい。一方の分類が学習されていない状況では，分類を学習している側が一貫性を学習する ことで得られる情報はないからである.

## 4.3.4 目的関数

上記の目的関数を重み付きで足し合わせ，最終的な目的関数を得る.

$
\mathcal{L}=\mathcal{L}_{\mathrm{CLS}}+\alpha \mathcal{L}_{\mathrm{REG}}+\beta \mathcal{L}_{\mathrm{CON}}
$

$\alpha$ と $\beta$ はハイパーパラメータとして設定される正則化の重み， $\mathcal{L}_{\mathrm{REG}}$ は $\mathcal{L}_{\mathrm{WR}}, \mathcal{L}_{\mathrm{SOC}}, \mathcal{L}_{\mathrm{ADA}}$ の いずれかである 5.

## 5 実験

提案手法の有効性を確認するため, 日本語と英語で実験を行った.

## 5.1 訓練データセット

4.1 節に記載の手続きにしたがって訓練データセットを構築した.

## 5.1.1 日本語

生コーパスとして CC-100 (Conneau et al. 2020; Wenzek et al. 2020) 中の 3 千万文書を利用 した。イベントの抽出には構文解析器 KNP (Kawahara and Kurohashi 2006) を用いた. イベ ント抽出では，まず極端に出現頻度の低い $D_{\mathrm{vol}}^{l}$ のイベントを生コーパス全体から取り出した 6 . この際，副詞の文字列を含まない文を構文解析の対象から除外し，計算コストを削減した。そ の後, $D_{\mathrm{vol}}^{u}, D_{\mathrm{ani}}^{l}, D_{\mathrm{ani}}^{u}$ のイベントを $D_{\mathrm{vol}}^{l}$ と同じ件数だけ生コーパスのサンプルから取り出し た. イベントの頻度の情報を保存するため, 重複するイベントが得られても削除しなかった.

意志性のラベル付与のため，意志的副詞・非意志的副詞をそれぞれ 15 件ずつ整備した，表 1 に頻度上位 5 件の副詞，付録 B にすべての副詞を示す。主語有生性のラベルを付与するため, JumanDic 7 を知識源として用いた8 8 . JumanDic に登録されている語にはカテゴリ情報が付与 されており，カテゴリが人または組織・団体のものを有生名詞，それ以外を無生名詞とした。 JumanDic に登録されている語の数はおよそ 3 万であった。主語は KNP の格解析によって同定した，具体的には，ガ 2 格の句があればそれを，ガ 2 格の句がなくガ格の句があればそれを 主語として認定し, どちらもなければ主語有生性のラベルを付与しなかった.

## 5.1.2 英語

生コーパスとして CC-100 に収録されている 3 千万文書を利用した.イベントの抽出には spacy $^{9}$ を用い, 日本語と同様の手続きで $D_{\mathrm{vol}}^{l}, D_{\mathrm{vol}}^{u}, D_{\mathrm{ani}}^{l}, D_{\mathrm{ani}}^{u}$ のイベントを抽出した.

意志性のラベルを付与するため，意志的副詞・非意志的副詞をそれぞれ 10 件ずつ整備した.表 1 に頻度上位 5 件の副詞，付録 B にすべての副詞を示す。主語有生性のラベルを付与するた

表 1 意志的副詞・非意志的副詞それぞれの高頻度 5 件. 括弧内は頻度.

め, ConceptNet (Speer et al. 2017) から有生名詞・無生名詞のリストを得た. 具体的には, 有生名詞として「person」と「organization」の下位語, 無生名詞として「object」,「item」,「thing」,「artifact」,「location」の下位語を用いた。結果として, 2,604 件の有生名詞, 430 件の無生名詞 が得られた。

## 5.2 評価データセット

$\mathcal{D}_{\mathrm{vol}}^{l}, \quad \mathcal{D}_{\mathrm{vol}}^{u}, \quad \mathcal{D}_{\mathrm{ani}}^{l}, \quad \mathcal{D}_{\mathrm{ani}}^{u}$ における分類器の性能を調べるため，それぞれについて評価用に人手で正解ラベルを付与した。なお, 本研究の主眼である意志性分類に関しては, 手がかり語の 副詞を伴うイベントは出現する割合が低く，実テキストにおける性能は $\mathcal{D}_{\mathrm{vol}}^{u}$ に対する性能で近似できることに注意されたい.

まず，各データセットから 1,200 件ずつユニークなイベントを抽出した．それらにクラウド ソーシングで正解ラベルを付与した。意志性に関して，クラウドワーカーは各イベントに対し て以下のラベルの中から 1 つを選んで付与した.
- 主語がイベントに意志的に関与している.

$\cdot$ 主語がイベントに意志的に関与していない.

-どちらとも言えない.
- 理解不能.

主語有生性に関して, クラウドワーカーは各イベントに対して以下のラベルの中から 1 つを選 んで付与した。主語有生性のラベルは, 3.3 節で説明した通り，そのイベントにおいて主語が有生名詞であるか無生名詞であるかを表すものであり, 主語だけを取り出してそれが一般に有生名詞であるか無生名詞であるかを表すものではないことに注意されたい.

・主語が人または組織を表す.

・主語が人も組織を表さない.

$\cdot$どちらとも言えない.
- 理解不能.

各イベントに 5 人のワーカを割り当て，ラベル付けさせた。 クラウドワーカーは一度の作業 で 10 件のイベントにラベルを付与した．日本語のクラウドソーシングプラットフォームとし て, Yahoo!クラウドソーシング10を利用した. 品質管理のため, Yahoo!クラウドソーシングの チェック設問機能を利用した。この機能を用いて，事前にわれわれが正解を用意している簡単 な設問（チェック設問）を 1 問追加した.チェック設問に誤答したワーカは不適格として, 報酬を支払わず，回答も破棄した，かかった費用は 24,000 円であった．英語のクラウドソーシン グプラットフォームとして, Amazon Mechanical Turk (MTurk) を利用した. 品質管理のため,

一般に取られている慣行 (Berinsky et al. 2012)にならった。具体的には，ワーカをタスクの合格率が $95 \%$ 以上，アメリカ在住，1,000 タスク以上を完了している者に限定した．かかった費用 は288USDであった.

表 2 にアノテー夕間の一致率および Fleiss' kappa，表 3 に各ラベルごとの最大得票数を得た イベントの件数を示す。日本語に関しては妥当な相関を確認できたが，英語に関してはわずか な相関しか確認できなかった。 アノテーションの平均的な一致率が高かった日本語のイベント に関して，アノテータ間で票が割れたものの一部を示す.

（16）また、持久走も行いました。(V)（V: 3 名， NV: 2 名）

（17）その他なにかあれば追記で書いていきます。(V)（V: 3 名, NV: 2 名）

(18) ちょっと緊張してしまう。 (NV)（V: 2 名, NV: 3 名）

(19）実は、驚くほど様々な効果・効能があります。(NV)（V: 2 名，NV: 3 名）

票の割れたイベントの多くは判断に困る例とは考えにくく，票が割れた原因は不真面目なクラ ウドワーカーがラベル付けを担当したことにあると考えるのが妥当であった．英語ではこの傾向がさらに顕著であった.

表 2 各データセットに掠けるアノテータ間の一致率（左）と Fleiss' kappa（右）。一致率は各イベント に関して最大の得票数を得た解答の割合の平均である。

表 3 各ラベルごとの最大得票数を得たイベントの件数.

} & 31,812 & 47,926 \\

表 4 データセットの統計. + がついているものは, 最も件数が少なかった $\mathcal{D}_{\mathrm{vol}}^{l}$ のイベント数に合わせ て，同量のイベントを抽出したことを表す.

この観察から，信頼できるクラウドワーカーによってラベル付けが行われたことが期待され る，アノテータ間の一致率が $80 \%$ 以上（5 名中 4 名の回答が一致）のイベントを抽出し，評価 データとして利用した。この条件のもとで採用されるイベントと除かれるイベントの間に定性的な違いは確認できず,この条件で除かれたイベントに対しても, 本研究で構築した評価データ における性能と同等程度の性能で分類が可能と期待する。評価データのうち，半分は開発デー 夕，残りの半分はテストデータとした．分割はラベルごとにランダムに行った．表 4 にデータ セットの統計を示す.

## 5.3 実装の詳細

している事前学習済みモデル11を用いた，英語の実験ではオリジナルの BERT $_{\text {BASE }}$ の cased モ デルを用いた. BERT の事前学習時の入力形式にならい，イベントのトークン列の先頭に CLS トークン, 末尾に SEP トークンを追加して入力テキストを構成した. CLS トークンの最終層の ベクトル表現をイベントのベクトル表現として利用した。意志性・主語有生性の分類器は ReLU 関数を非線層とする 3 層パーセプトロンとした。分類器の出力はシグモイド関数を用いて 0 か ら1の範囲の実数值に変換した. SOC におけるサンプル数 $|\mathcal{S}|$ は 3 とした. 文脈のサンプリン グは，エンコーダに用いた BERT を使ってギブスサンプリングを行うことで実現した (Wang and Cho 2019). ADA では discriminator を ReLU 関数を非線層とする 3 層パーセプトロンと して構成・学習した。 $\alpha$ と の値は $\{0.0,0.01,0.1,1.0\}$ の中から選択した. モデルはバッチサ イズを 256 として 3 エポック学習した ${ }^{12}$. モデルのパラメータは Adam (Kingma and Ba 2015) で最適化した．学習率は $3 \mathrm{e}-5$ とし ${ }^{13}, 10 \%$ の学習が完了した時点で学習率がピークになるよ うに線形のスケジューリングを行った。モデル選択では, 100 ステップごとに $\mathcal{D}_{\mathrm{vol}}^{u}$ の開発デー 夕における精度を計算し, 最高スコアを達成した時点のパラメータを採用した． $D_{\mathrm{vol}}^{u}$ の性能に 基づいてモデル選択を行うのは，意志的・非意志的行為を表す副詞を伴うイベントの出現頻度 が低く, 実テキストにおける意志性分類の性能が $D_{\mathrm{vol}}^{u}$ に対する性能で近似できるからである.評価指標には AUC を用いた。モデルは異なるランダムシードで 3 回学習し, その平均・分散 を計算した。モデルの実装には PyTorch を用いた.

## 5.4 実験結果

表 5 に日本語における実験結果を示す。主たる関心である $\mathcal{D}_{\mathrm{vol}}^{u}$ を含む，全てのデータセッ トで正則化と同時学習を併せて利用したモデルが最高精度を達成した． $\mathcal{D}_{\mathrm{vol}}^{u}$ に対する最高精度 は, 意志性を CLS+REG (SOC), 主語有生性を CLS+REG (WR) で学習したモデルが達成した (AUC: 96.7, 正解率: 92.2, 精度: 94.9, 再現率: 90.8, F 值: 92.8).これはベースラインである 意志性を CLS で学習したモデルの精度 (AUC: 89.5, 正解率: 83.5, 精度: 91.0, 再現率: 78.2, F 值: 84.1）を大きく上回っている。主語有生性をWR で学習するのが有効なことには主語の省略が関係していると考える。主語有生性のラベルを付与する際, 主語の同定を格解析によって 行ったため, 主語が省略されているイベントには主語有生性のラベルが付与されず，それらは ラベルなしデータセット $\mathcal{D}_{\mathrm{ani}}^{u}$ に追加された. WRによって主語をテキストから除外した上でそ の有生性を予測することを学習したことで，主語が省略されているイベントに汎化する推論が 学習され, それが精度の向上に繋がったのだと考える。一貫性の学習は有効に機能しなかった.
_{\text {vol }}^{l}$ を正則化なし・主語有生性の同時学習なしで学習する設定において, $\{5 \mathrm{e}-5,3 \mathrm{e}-5,2 \mathrm{e}-5\}$ の範囲を探索し，分類精度に影響しないことを確認した。イパパラメータの探索範囲を減らすため, 本実験では学習率は $3 \mathrm{e}-5$ で 固定とした.
}

(a) 意志性分類の結果.

(b) 主語有生性分類の結果.

表 5 日本語における意志性・主語有生性分類の結果．評価指標は AUC である．数値は異なるランダム シードを用いて 3 回実験を行った際の平均と分散である。太字のスコアはすべてのモデルのうち最 も平均スコアが高いことを表す. 正則化 (REG) には開発データに対する性能をもとに選択された 手法を併記している。 ハイフン (-) はその分類をラベル付きデータを用いて学習していないことを 示す.

表 6 に英語における実験結果を示す。英語においても全てのデータセットで正則化と同時学習を併せて利用したモデルが最高精度を達成した. 主たる関心である $\mathcal{D}_{\mathrm{vol}}^{u}$ に対する最高精度は,意志性を CLS+REG (SOC), 主語有生性を CLS で学習し, 加えて一貫性を学習したモデルが達成した (AUC: 75.8, 正解率: 74.3, 精度: 66.1 再現率: $65.1, \mathrm{~F}$ 値: 65.6).これはベースライン

(a) 意志性分類の結果.

(b) 主語有生性分類の結果.

表 6 英語における意志性・主語有生性分類の結果. 評価指標は AUC である．数値は異なるランダム シードを用いて 3 回実験を行った際の平均と分散である。太字のスコアはすべてのモデルのうち最 も平均スコアが高いことを表す. 正則化 (REG) には開発デー夕に対する性能をもとに選択された 手法を併記している。 ハイフン (-) はその分類をラベル付きデータを用いて学習していないことを 示す.

である意志性を CLS で学習したモデルの精度（AUC: 66.2, 正解率: 69.5, 精度: 65.8, 再現率: 39.7, F 值: 49.5）を大きく上回っている。日本語のスコアと比較して, 英語のスコアは全体的 に低い傾向が見て取れた。この主たる原因は評価データセットの品質にあった． 5.2 節で述べ たように，英語の評価データのラベル付けにあたったクラウドワーカーには不真面目な者が多

かった．英語の評価データの中にそうしたクラウドワーカーの票が偶然誤ったラベルに集まっ たことで採用されたと考えられるイベントが一定数含まれており, それによって分類器の性能 が過小評価されていた。日本語に関しては，そうした例はほとんど見られなかった。日本語の ラベル付けを行ったクラウドワーカーには不真面目な者が少なく, 複数の不真面目なクラウド ワーカーが特定のイベントのラベル付けに割り当てられかつ誤ったラベルに票が集まるケース が少なかったからだと考えられる．高品質な英語データセットの構築は今後の課題である.

## 6 分析

## 6.1 定性分析

提案手法で学習したモデルが 1 節で言及した文脈依存性を捉えられるか定性的に分析した。分析には $\mathcal{D}_{\mathrm{vol}}^{u}$ において最高精度を達成したモデルを用いた．ランダムシードを変えて学習した モデルが 3 つ存在するが， $\mathcal{D}_{\text {vol }}^{u}$ の開発データでの性能に関して 2 番目のモデルを用いた.

日本語に関して， $\mathcal{D}_{\text {vol }}^{u}$ における最良のモデルは意志性を CLS+REG (SOC), 主語有生性を CLS+REG (WR) で学習したものであったため, これを分析に用いた. まず，例 (1-a) と例 (1-b) を用いてモデルが述語の項の違いを認識して意志性を分類できるか調べ，これらが正しく分類 できることを確認した，次に，例 $(2-a)$ と例 $(2-b)$ を用いてモデルが副詞の意味を捉えて意志性 を分類できるか調べ，こちらについても正しく分類できることを確認した. 最後に，例 (3-a) と 例 (3-b) を用いて主語有生性を文脈を考慮して予測できるか調べ，こちらについてもやはり正し く分類できることを確認した。分析に用いた例のように，イベントの一部が共通で，残りの部分の違いによって意志性・主語有生性が変化する例を集めたベンチマークを構築すれば，こう した文脈理解がどの程度可能なのか定量的に調べることができる。これは今後の課題としたい.

一方で，モデルが意志性の認識に失敗する例もあった，最も顕著だったのは述語が「いる」の イベントであった.「いる」は状態動詞であり，基本的に状態を表すが，主語が有生名詞である 場合には意志的な動作を表すことがある。この認識誤りはイベントの主語が省略されている場合に特に顕著であり，省略された主語の有生性を予測する難しさが「いる」の意味理解をさら に難しくしていると推測される。

この問題に対する解決策として，学習時に前後のイベント，すなわちより広い文脈を考慮す ることが考えられる、イベントの意味が異なれば，その前後に現れるイベントの分布も異なる ことが期待できる，そうした分布の異なりを学習に利用することで，表層的に類似しているイ ベント同士の意味の異なりをより精緻に捉えられるモデルが構築できると期待できる.

英語に関して， $\mathcal{D}_{\text {vol }}^{u}$ における最良のモデルは意志性を CLS+REG (SOC), 主語有生性を CLS で学習し, 加えて予測の一貫性を考慮したものであり, これを用いて定性分析を行った. 結果,英語についても，モデルが文脈を考慮した分類を行えていることを確認した，たとえば，以下
の例は述語はどちらも同じ「made」であるが，項の違いを認識して，前者を意志的，後者を非意志的と正しく分類できた.

a. I made pancakes. (V)

b. I made a mistake. (NV)

以下の例もまた「for him」という副詞句の有無によるイベントの意味の違いを認識し，前者を 非意志的，後者を意志的と正しく分類できた.

a. I tumbled. (NV)

b. I tumbled for him. (V)

## 6.2 意志性のラベル付けに用いる副詞の種類の数が性能に与える影響

提案手法は, 生コーパス中のイベントに意志性のラベルを付与するために意志的副詞・非意志的副詞を人手で準備する必要がある。分析として, 日本語のデータセットを用いて, 副詞の 種類の数が主たる関心である $\mathcal{D}_{\mathrm{vol}}^{u}$ の分類精度に与える影響を調査した. 具体的には，意志的・非意志的な行為を表す副詞をそれぞれ頻度順に並べたときの上位 1 件, 2 件, 4 件, 8 件, 15 件 を用いる場合の精度を比較した．副詞の種類数が増えると同じ大きさの生コーパスから得られ るラベル付きデータの数も増えるが, ここでは副詞の種類数が性能に与える影響を調べるため,頻度上位 1 件の副詞を用いたときに得られるラベル付きデータの件数 23,408 件（「あえて」に マッチしたイベント 5,293 件と「思わず」にマッチしたイベント 18,115 件の合計）に合わせて サンプリングした.

モデルとして，意志性のラベル付きデータのみを正則化なしで学習する素朴な設定（ベース ライン）と， $\mathcal{D}_{\mathrm{vol}}^{u}$ におる最高精度を達成した, 意志性を CLS+REG (SOC), 主語有生性を CLS+REG (WR) で学習する設定（提案手法）の 2 つを用いた。学習時の設定は 5.3 節に記載 のものと同じである.

表 7 に結果を示す. 両方のモデルにおいて，ラベル付けに利用する副詞の種類を増やすこと で $\mathcal{D}_{\mathrm{vol}}^{u}$ の性能が向上することが見て取れた. これは，副詞の種類を増やすことでラべル付き データの多様性が増し, 多くのイベントに汎化する推論が学習できたからだと考えられる。ま た，驚くべきことに，提案手法は選定した副詞の中で最も高頻度であった「あえて」と「思わ ず」だけをラベル付与に用いた設定でも 87.4 ポイントの AUC という高い分類精度を達成した. これは，「あえて」と「思わず」が多様な文脈で現れる副詞であり，これらの副詞を含むイベン トからだけでも，意志性分類がかなり学習できることを示唆している。

表 7 日本語の $\mathcal{D}_{\mathrm{vol}}^{u}$ のテストデータにおける意志性のラベル付けに用いる副詞の種類数による分類性能 の変化. 評価指標は AUC であり，異なるランダムシードを用いて 3 回実行した際の平均と分散を 記載している。最も右の結果は，表 5 からの再掲であり，頻度上位 1 件の副詞を用いたときに得ら れるラベル付きデータの件数に合わせてサンプリングを行わず，表 4 に記載の数のデータを用いた ときの結果である.

表 8 正しいラベルが付与されていたイベントの割合.

## 6.3 ヒューリスティクスの精度

ラベル付きデータにはヒューリスティクスを用いてラベルを付与しているため，誤ったラべ ルが付与されるケースもある。しかし，あまりにラベル付けが誤っていると，そこから期待す る分類結果が得られるような分類器を学習することは困難である.

本研究で構築したデータセットのもとでかなりの精度の分類器を学習できたという事実を踏 まえ，他言語や別ドメインのデータに提案手法を適用する際の参考になるように，ラベル付き データの品質を調べた. $\mathcal{D}_{\mathrm{vol}}^{l}$ と $\mathcal{D}_{\mathrm{ani}}^{l}$ からポジティブ・ネガティブのイベントをそれぞれ 100 件 ずつ抽出し, それらに正しいラベルが付与されているかどうか, 著者 1 名が人手で確認した.

表 8 に結果を示す. ほとんどのイベントに正しいラべルが付与されていることが確認できた.日本語の $\mathcal{D}_{\mathrm{ani}}^{l}$ のネガティブ（無生名詞）のイベントは比較的ラベル付けの精度が悪かった. こ れは主に主語の認識に失敗に起因するものであった. また，英語の $\mathcal{D}_{\mathrm{ani}}^{l}$ のネガティブ（無生名詞）のイベントも比較的ラベル付けの精度が悪かった。これは,「location」の下位語を無生名詞として利用していたが，国名など一部の名詞は組織や集団を表す有生名詞としての用法もあ ることに起因していた.

## 7 おわりに

本研究では, 意志性分類と主語有生性の密接な関係に注目し，ヒューリスティクスを利用し

て自動構築した訓練データのもとでこれらの正則化付き同時学習を行う，弱教師あり学習手法 を提案した。日本語・英語の実験を通して，提案手法によりラベル付きデータを人手で構築す ることなく高精度の分類器を学習できることを確認した。

本研究では単独のイベントを入力としてそれが意志的であるかどうか分類する設定を考えた が，文や段落，文章などイベントより大きな言語単位を入力とし，入力テキスト中の各イベン トの意志性を分類する設定では，イベントの前後の文脈を考慮しなければならないケースがあ る。例えば，例 (22)の下線部のイベントは，前の文脈を考慮しないなら非意志的とみなすのが 自然であるが，前の文脈を考慮すれば意志的とみなすのが自然である.

$
\text { 私は彼女を庇って非難を受けた。(V) }
$

このようなケースに対応できないことは本研究の限界であり，より広い文脈を考慮した意志性分類は今後の課題である.

意志性はイベントの基本的な属性であり，その応用は広い。しかし，意志性に着目した研究 はほとんど存在しない。これは, 容易に利用可能な意志性分類器も意志性分類器を低コストで 構築する手法もなく, 意志性に基づく処理をするにはそれなりのコストをかけて意志性分類器 を構築することから始める必要があったからである。その意味で，本研究は意志性に着目した 研究を促進する可能性を持っている。今後は, 本研究で構築した意志性分類器をテキストマイ ニング等の諸タスクで活用することに取り組み，そこで得られた観察をもとに手法のさらなる 改善に取り組みたい.

## 謝 辞

本研究の一部は The Thirty-Sixth AAAI Conference on Artificial Intelligence (AAAI 2022) で 発表したものである (Kiyomaru and Kurohashi 2022). 本研究はヤフー株式会社の支援を受け た.ここに感謝の意を表する。

## 参考文献

Abe, S., Inui, K., and Matsumoto, Y. (2008a). "Acquiring Event Relation Knowledge by Learning Cooccurrence Patterns and Fertilizing Cooccurrence Samples with Verbal Nouns." In Proceedings of the 3rd International Joint Conference on Natural Language Processing: VolumeI, pp. 497-504.

Abe, S., Inui, K., and Matsumoto, Y. (2008b). "Two-Phased Event Relation Acquisition: Cou-
pling the Relation-Oriented and Argument-Oriented Approaches." In Proceedings of the 22nd International Conference on Computational Linguistics (Coling 2008), pp. 1-8, Manchester, UK. Coling 2008 Organizing Committee.

Berinsky, A., Huber, G., and Lenz, G. S. (2012). "Evaluating Online Labor Markets for Experimental Research: Amazon.com's Mechanical Turk." Political Analysis, 20, pp. 351-368.

Bolukbasi, T., Chang, K.-W., Zou, J. Y., Saligrama, V., and Kalai, A. T. (2016). "Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings." In Lee, D., Sugiyama, M., Luxburg, U., Guyon, I., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems, Vol. 29. Curran Associates, Inc.

Chambers, N. and Jurafsky, D. (2008). "Unsupervised Learning of Narrative Event Chains." In Proceedings of ACL-08: HLT, pp. 789-797, Columbus, Ohio. Association for Computational Linguistics.

Conneau, A., Khandelwal, K., Goyal, N., Chaudhary, V., Wenzek, G., Guzmán, F., Grave, E., Ott, M., Zettlemoyer, L., and Stoyanov, V. (2020). "Unsupervised Cross-lingual Representation Learning at Scale." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online. Association for Computational Linguistics.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

Du, L., Ding, X., Liu, T., and Li, Z. (2019). "Modeling Event Background for If-Then Commonsense Reasoning Using Context-aware Variational Autoencoder." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2682-2691, Hong Kong, China. Association for Computational Linguistics.

Ganin, Y. and Lempitsky, V. (2015). "Unsupervised Domain Adaptation by Backpropagation." In Bach, F. and Blei, D. (Eds.), Proceedings of the 32nd International Conference on Machine Learning, Vol. 37 of Proceedings of Machine Learning Research, pp. 1180-1189, Lille, France. PMLR.

Ganin, Y., Ustinova, E., Ajakan, H., Germain, P., Larochelle, H., Laviolette, F., March, M., and Lempitsky, V. (2016). "Domain-Adversarial Training of Neural Networks." Journal of Machine Learning Research, 17 (59), pp. 1-35.

Inui, T., Inui, K., and Matsumoto, Y. (2003). "What Kinds and Amounts of Causal Knowledge Can Be Acquired from Text by Using Connective Markers as Clues?" In International Conference on Discovery Science, pp. 180-193. Springer.

Jin, X., Wei, Z., Du, J., Xue, X., and Ren, X. (2020). "Towards Hierarchical Importance Attribution: Explaining Compositional Semantics for Neural Sequence Models." In International Conference on Learning Representations.

Kawahara, D. and Kurohashi, S. (2006). "A Fully-Lexicalized Probabilistic Model for Japanese Syntactic and Case Structure Analysis." In Proceedings of the Human Language Technology Conference of the NAACL, Main Conference, pp. 176-183, New York City, USA. Association for Computational Linguistics.

Kennedy, B., Jin, X., Mostafazadeh Davani, A., Dehghani, M., and Ren, X. (2020). "Contextualizing Hate Speech Classifiers with Post-hoc Explanation." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5435-5442, Online. Association for Computational Linguistics.

Kingma, D. P. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In Proceedings of the 3rd International Conference on Learning Representations (ICLR).

Kiyomaru, H. and Kurohashi, S. (2022). "Minimally-Supervised Joint Learning of Event Volitionality and Subject Animacy Classification." Proceedings of the AAAI Conference on Artificial Intelligence, 36 (10), pp. 10921-10929.

Lee, H.-Y. and Jun, S. (2008). "Constructing an Ontology of Coherence Relations: An Example of 'Causal Relation'." In Proceedings of the 22nd Pacific Asia Conference on Language, Information and Computation, pp. 245-252, The University of the Philippines Visayas Cebu College, Cebu City, Philippines. De La Salle University, Manila, Philippines.

Liu, C.-H., Moriya, Y., Poncelas, A., and Groves, D. (2017). "IJCNLP-2017 Task 4: Customer Feedback Analysis." In Proceedings of the IJCNLP 2017, Shared Tasks, pp. 26-33, Taipei, Taiwan. Asian Federation of Natural Language Processing.

Ramponi, A. and Plank, B. (2020). "Neural Unsupervised Domain Adaptation in NLP-A Survey." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 6838-6855, Barcelona, Spain (Online). International Committee on Computational Linguistics.

Reisinger, D., Rudinger, R., Ferraro, F., Harman, C., Rawlins, K., and Van Durme, B. (2015). "Semantic Proto-Roles." Transactions of the Association for Computational Linguistics, 3, pp. 475-488.

齋藤純, 坂口智洋, 柴田知秀, 河原大輔, 黒橋禎夫 (2018). 述語項構造に基づく言語情報の基本
単位のデザインと可視化. 言語処理学会第 24 回年次大会発表論文集, pp. 93-96, 岡山. [J. Saito et al. (2018). Jutsugo Ko Kozo ni Motozuku Gengo Joho no Kihon Tan’i no Dezain to Kashika. Proceedings of the 24th Annual Meeting of the Association for Natural Language Processing, pp. 93-96.].

Shah, D., Lei, T., Moschitti, A., Romeo, S., and Nakov, P. (2018). "Adversarial Domain Adaptation for Duplicate Question Detection." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1056-1063, Brussels, Belgium. Association for Computational Linguistics.

Shen, J., Qu, Y., Zhang, W., and Yu, Y. (2018). "Wasserstein Distance Guided Representation Learning for Domain Adaptation." Proceedings of the AAAI Conference on Artificial Intelligence, 32 (1), pp. 4058-4065.

Speer, R., Chin, J., and Havasi, C. (2017). "ConceptNet 5.5: An Open Multilingual Graph of General Knowledge." In Proceedings of the 31st AAAI Conference on Artificial Intelligence, AAAI'17, pp. 4444-4451. AAAI Press.

Teichert, A., Poliak, A., Van Durme, B., and Gormley, M. (2017). "Semantic Proto-Role Labeling." Proceedings of the AAAI Conference on Artificial Intelligence, 31 (1), pp. 4459-4465.

Wang, A. and Cho, K. (2019). "BERT has a Mouth, and It Must Speak: BERT as a Markov Random Field Language Model." In Proceedings of the Workshop on Methods for Optimizing and Evaluating Neural Language Generation, pp. 30-36, Minneapolis, Minnesota. Association for Computational Linguistics.

Wenzek, G., Lachaux, M.-A., Conneau, A., Chaudhary, V., Guzmán, F., Joulin, A., and Grave, E. (2020). "CCNet: Extracting High Quality Monolingual Datasets from Web Crawl Data." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 4003-4012, Marseille, France. European Language Resources Association.

White, A. S., Reisinger, D., Sakaguchi, K., Vieira, T., Zhang, S., Rudinger, R., Rawlins, K., and Van Durme, B. (2016). "Universal Decompositional Semantics on Universal Dependencies." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1713-1723, Austin, Texas. Association for Computational Linguistics.

Zhao, J., Wang, T., Yatskar, M., Cotterell, R., Ordonez, V., and Chang, K.-W. (2019). "Gender Bias in Contextualized Word Embeddings." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 629-634, Minneapolis, Minnesota. Association for Computational Linguistics.

Zhao, J., Wang, T., Yatskar, M., Ordonez, V., and Chang, K.-W. (2017). "Men Also Like Shop-
ping: Reducing Gender Bias Amplification using Corpus-level Constraints." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2979-2989, Copenhagen, Denmark. Association for Computational Linguistics.

## 付録

## A モダリティのリスト

本研究ではモダリテイを伴うイベントは対象としなかった．表 9 に本研究で扱ったモダリティ のリストとその例を示す.

## B 意志的副詞・非意志的副詞のリスト

意志性のラベル付与のために準備した意志的副詞・非意志的副詞のリストは以下の通りであ る。括弧内の数字は頻度を表す。

日本語の意志的副詞 あえて $(5,293)$, 急いで $(4,187)$, じっくり $(4,017)$, 慎重に $(3,743)$, のん びり $(3,262)$, わざわざ $(3,222)$, さっさと $(1,945)$, 集中して $(1,194)$, 意図的に $(920)$, わざと (880), 意識的に (786), 念入りに (766), 気楽に (591), ちゃっかり (510), 注意深く (496).

日本語の非意志的副詞 思わず $(18,115), つ い(15,897)$, 自動的に $(14,212)$, ふと $(12,050), つ$ いつい $(10,054)$, 自動で $(5,058)$, 気づいたら $(1,414)$, うっかり $(1,333)$, 幸いにも $(950)$, 幸運 にも (571), 思いがけず (546), あいにく (422), 幸運なことに (285), 不運にも (63), 不運なこ

表 9 モダリティのリストとその例.

とに (32).

英語の意志的副詞 carefully $(13,594)$, thoroughly $(12,468)$, actively $(10,379)$, deliberately $(3,366)$, intentionally $(2,713)$, consciously $(1,846)$, purposely $(1,391)$, hurriedly $(942)$, attentively (839), proactively (388).

英語の非意志的副詞 unfortunately $(13,070)$, automatically $(12,824)$, accidentally $(5,272)$, unexpectedly $(3,106)$, luckily $(1,894)$, instinctively $(1,321)$, unconsciously $(1,059)$, inadvertently (999), unintentionally (635), carelessly (384).

## 略歴

清丸寛一: 2022 年京都大学大学院情報学研究科博士課程修了. 博士 (情報学).同年より京都大学大学院情報学研究科特定研究員. 自然言語処理の研究に従事. 言語処理学会, ACL, 各会員.

黒橋 禎夫：1994 年京都大学大学院工学研究科電気工学第二専攻博士課程修了.博士 (工学)。2006 年 4 月より京都大学大学院情報学研究科教授. 自然言語処理, 知識情報処理の研究に従事. 言語処理学会 10 周年記念論文賞, 同 20 周年記念論文賞, 第 8 回船井情報科学振興賞, 2009 IBM Faculty Award 等を 受賞. 2014 年より日本学術会議連携会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# Hie-BART: 階層型 BART による生成型要約

秋山 和輝 $\dagger \cdot$ 田村 晃裕 ${ }^{\dagger} \cdot$ 二宮 崇 $\dagger \cdot$ 梶原 智之 $\dagger$
}

本稿では, BART モデルに文書の階層構造 (文-単語構造) を取り込んだ階層型 BART (Hie-BART) を提案する。既存の BART モデルは, 生成型文書要約タスクにおいて 高い要約精度を達成しているが, 文レベルと単語レベルの情報の相互作用を考慮し ていない。一方，機械翻訳タスクでは，単語とフレーズ間の関係を把握する MultiGranularity Self-Attention (MG-SA) が提案されており，この技術によってニューラ ル機械翻訳モデルの性能が向上されている。提案手法である Hie-BART モデルでは, BART モデルのエンコーダに MG-SA を組み込むことで, 文と単語の階層構造を捉 える. 評価実験の結果, 提案手法は CNN/Daily Mail データセットを用いた評価で は ROUGE-L において 0.1 ポイントの改善が見られた.

キーワード : 生成型文書要約, BART, 階層構造
## Hie-BART: Abstractive Summarization by Hierarchical BART

Kazuki Akiyama $^{\dagger}$, Akiniro $^{\text {Tamura }}{ }^{\dagger \dagger}$, Takashi Ninomiya $^{\dagger}$ and Tomoyuki Kajiwara ${ }^{\dagger}$

This paper proposes a new abstractive summarization model for documents, hierarchical BART (Hie-BART), which captures the hierarchical structures of documents (i.e., their sentence-word structures) in the BART model. Although the existing BART model has achieved state-of-the-art performance on document summarization tasks, it does not account for interactions between sentence-level and word-level information. In machine translation tasks, the performance of neural machine translation models can be improved with the incorporation of multi-granularity self-attention (MG-SA), which captures relationships between words and phrases. Inspired by previous work, the proposed Hie-BART model incorporates MG-SA into the encoder of the BART model for capturing sentence-word structures. As for the improvement of summarization performance by the proposed method, the evaluation using the CNN/Daily Mail dataset shows an improvement of 0.1 points on ROUGE-L.

Key Words: Abstractive Document Summarization, BART, Hierarchical Structure

## 1 はじめに

自動要約技術は, 要約作成時のアプローチによって抽出型と生成型の 2 種類の手法に分けら れる。抽出型自動要約は, 入力文書中の重要と思われる文を識別・抽出し, 抽出した文を結合さ せたものを要約とする方法である。一方, 生成型自動要約は, 入力文書を中間表現に変換し, そ の中間表現を基に要約の文章を一から生成する方法である。本研究では, 生成型の自動要約モ デルの技術に着目する. 生成型自動要約モデルでは, 入力文書中にない単語も利用することが できるため, 自然な要約を生成することができ, ニュース記事や論文などの自動要約に役立つ.

生成型自動要約や機械翻訳などの系列変換タスクでは，入力テキストから「文と単語」・「フ レーズと単語」・「単語と文字」などの階層構造を捉えることで要約および翻訳精度の改善を実現している。機械翻訳において, Hao et al. (2019)は, Transformer (Vaswani et al. 2017)に基 づくニューラル機械翻訳モデルにおいて，単語とフレーズの関係を考慮する Multi-Granularity Self-Attention (MG-SA) を提案している。MG-SA は, 入力テキストを複数の粒度（単語やフ レーズ）に分解し，それぞれの粒度を Multi-head Self-Attention Networks (SANs)の各へッドに 割り当てる。このMG-SAにより，単語間だけでなく単語とフレーズ間の相互作用をモデルに組 み込むことが可能となる。また, 自動要約において, Hierarchical Neural Autoencoder (Li et al. 2015) や HIBERT (Zhang et al. 2019) では, エンコーダやデコーダを単語および文レべルに階層化することで，単語と文の階層構造を考慮している。これらのモデルでは，入力テキストに 対し単語単位での処理に加え文単位でも処理することで，文と単語間の関係性を考慮している。

近年, 生成型自動要約は, ニューラルネットワークに基づくエンコーダ・デコーダモデルが 出現したことで，要約の品質が大きく向上した (Rush et al. 2015). その中でも，高い精度を報告しているモデルの多くが事前学習 (Liu and Lapata 2019; Raffel et al. 2020; Lewis et al. 2020) を導入している。既存の事前学習モデルの中でも，BART モデル (Lewis et al. 2020) は高い精度での自動要約を可能にしている. BART モデルは Transformer モデル (Vaswani et al. 2017) をべースとした事前学習モデルで，5つの事前学習法による実験を行っている．BART モデル は高性能なモデルだが，要約生成時に文書の階層構造をとらえる構造にはなっておらず，文と 単語間の関係性が組み込まれていない。よって，BART モデルにおいても文レべルの情報を捉 えることで，さらなる精度向上が見込める。

そこで本研究では, MG-SAの概念を BART モデルに適用し，文と単語の階層的な関係を考慮 した要約を可能とする手法として, Hierarchical-BART (Hie-BART) を提案する。具体的には,入力文書を単語レベルと文レベルの情報に分割し, BART におけるエンコーダのSANs 層では,単語レベルの関連を計算するだけではなく, 一部のヘッドにおいて文レべルの関連を計算する。 そして, 単語レベルと文レベルのマルチヘッドの出力を結合させることで, 単語レベルと文レ ベルの双方を考慮した要約生成を行う。ここで, MG-SA はフレーズ単位での処理を行うのに対

し, Hie-BART では文単位で処理を行う，本研究では，自動要約における単語と文の階層構造 を利用した従来研究に基づいて応用するため，フレーズ単位ではなく文単位で処理を行う.

実験の結果，BART に比べ提案手法では，ROUGE-L (Lin 2004)の F 值が，CNN/DailyMail データセットでは 0.1 ポイント改善することを確認した。また，分析の結果，マルチヘッドに おいて，文レベルのへッドを多く含むよりも，単語レベルのへッドを多く含む方がより精度の 高い要約を生成することが確認できた.

## 2 関連研究

## 2.1 従来のニューラルネットワークに基づく生成型自動要約モデル

ニューラルネットワークに基づく生成型自動要約モデルの基礎として，LSTMをべースとし た Pointer Generator Networks (See et al. 2017) モデルがある. このモデルは, CopyNet モデ ル (Gu et al. 2016) および Forced-Attention Sentence Compression モデル (Miao and Blunsom 2016) の手法を応用し，単語の生成時に要約元文書からの単語のコピーを同時に行うことで，未知語への対処をしている。また，このモデルでは，入力文書中の内容が要約に含まれた度合い を示す coverage vector (Tu et al. 2016) を利用した Coverage Mechanism という機構が適用され ている。この機構により, 生成した要約内で同じ内容が繰り返される問題を軽減している.

文レベル情報を利用した自動要約モデルとして，LSTMをべースとした Hierarchical Neural Autoencoder (Li et al. 2015) がある. このモデルでは，文章をエンコードおよびデコードする 際, 単語単位での処理に加え文単位でも処理することで，文と単語間の関係性を考慮している。 これにより，単語と文の階層構造を考慮でき，要約性能を向上させている．また，このモデル を応用し，エンコーダ部分を階層化した Hierarchical networks (Nallapati et al. 2016) がある. Hierarchical Neural Autoencoder が文レベルでのアテンションのみを算出しているのに対し， Hierarchical networks では, 文レベルと単語レベルの両方のアテンションを算出している.

また，事前学習モデルである BERT (Devlin et al. 2019) をべースとした BERTSUM (Liu and Lapata 2019) や HIBERT (Zhang et al. 2019) がある. BERT モデルは, Transformer エンコー ダ (Vaswani et al. 2017) をベースとした，様々なタスクに適応可能な事前学習モデルである. 自動要約タスクでは, BERTSum (Liu and Lapata 2019) や, HIBERT (Zhang et al. 2019) におい て BERT が適用されている。 BERTSUM モデルは，BERT モデルを自動要約タスクに適応させ たモデルで，抽出型および生成型要約モデルとして利用可能なモデルである． BERTSUM モデ ルでは, 各文の先頭に特殊トークン（[CLS]トークン）を付与し，単語間の情報に加え文間の情報を捉えるようにしている．HIBERT モデルは，BERT モデルをベースとした抽出型要約モデ ルである．HIBERT モデルでは，エンコーダ部分を文レベルおよび単語レベルに階層化し事前学習をすることで，単語と文の階層構造を考慮している。

## 2.2 BART

BART モデル (Lewis et al. 2020) は, Transformer モデル (Vaswani et al. 2017)の構造をベー スとした, 汎用的な事前学習モデルである。BART モデルの事前学習法を図 1 に示す. 事前学習の手法として, Token Masking, Sentence Permutation, Document Rotation, Token Deletion, Text Infilling の 5つの手法を提案している.この５つの手法のうち, Sentence Permutation と Text Infilling を組み合わせたものが最高精度となっており, 最終的な評価時に使用されている。

Token Masking は, BERT (Devlin et al. 2019) と同じ手法で，ランダムにトークンをマスクし,復元する事前学習法である. Sentence Permutation は，文書内の文の場所をランダムに交換した 文書を元の文書に復元する事前学習法である. Document Rotation は，文書中からランダムに トークンを選び，そのトークンから始まるように文書内のトークンをローテーションさせた文書を, 元の文書に復元する事前学習法である. Token Deletion は, 元の文書からランダムにトー クンを削除した文書を, 元の文書に復元する事前学習法である. Text Infilling は, SpanBERT (Joshi et al. 2020) を基にした手法で, 複数の単語列を一つのマスクトークンに置き換えたり,文中にマスクトークンを挿入した文書を，元の文書に復元する事前学習法である.

BART モデルの概要図を図 2 に示す. BART モデルは入力系列 $\mathbf{x}=x_{0}, x_{1}, \cdots, x_{S}$ を出力系列 $\mathbf{y}=y_{0}, y_{1}, \cdots, y_{T}$ に以下の式のように変換する.

$
\begin{aligned}
& \mathbf{h}=\text { BartEncoder }(\mathbf{x}) \\
& \mathbf{y}=\text { BartDecoder }(\mathbf{h})
\end{aligned}
$

ここで, $\mathbf{h}$ は中間表現, BartEncoder は図 2 の左部分, BartDecoder は図 2 の右部分である.

BART のエンコーダとデコーダは, Embedding 層を持ち, それぞれ, 入力系列と出力系列内 の各単語を $d$ 次元の Embedding ベクトルに変換する，BART エンコーダ，BART デコーダで は，それぞれ，レイヤを $\mathrm{N}$ 層積み重ねている。エンコーダの各レイヤは，下位から順に，SelfAttention 層, 単語位置毎の全結合層（FeedForward 層）の2つのサブレイヤで構成される.デ コーダの各レイヤは, 下位から順に, Self-Attention 層, エンコーダとデコーダ間の Attention

図 1 BART モデルの事前学習法

図 2 BART モデルの概要図

層, FeedForward 層の3つのサブレイヤで構成される。また, 各サブレイヤ間では, 残差接続 (He et al. 2016) および Layer Normalization (Ba et al. 2016) が適用される. エンコーダとデコー ダ内の Self-Attention 層およびエンコーダとデコーダ間の Attention 層の計算は以下の式のよう になる。

$
\operatorname{Attention}(Q, K, V)=\operatorname{softmax}\left(\frac{Q K^{T}}{\sqrt{d_{k}}}\right) V
$

ここで， $Q, K, V$ はエンコーダあるいはデコーダの隠れ状態, $d_{k}$ は $Q, K, V$ の次元数である. Self-Attention 層では， $Q, K, V$ は同一の入力源（エンコーダではエンコーダ内の隠れ状態，デ コーダではデコーダ内の隠れ状態）を用い，同一文中の単語間の関連度を計算する。エンコー ダとデコーダ間の Attention層では， $Q$ にはデコーダの隠れ状態， $K, V$ はエンコーダからの最終出力を用い, 入力系列の各単語と出力系列の単語との関連度を計算する.

また, エンコーダとデコーダ間の Attention 層および Self-Attention 層は Multi-head SelfAttention Network (SANs)の手法を利用することで性能を向上させている． $h$ 個へッドの SANs は以下の式のように計算する.

$
\begin{aligned}
\operatorname{SANs}(Q, K, V) & =\text { Concat }\left(\text { head }_{1}, \ldots, \text { head }_{h}\right) W^{O} \\
\text { head }_{i} & =\operatorname{Attention}\left(Q W_{i}^{Q}, K W_{i}^{K}, V W_{i}^{V}\right)
\end{aligned}
$

ここで, $W_{i}^{Q}, W_{i}^{K}, W_{i}^{V}, W^{O}$ は学習可能なパラメータ, Concat は行列の結合である. SANs で は, 式 (3)の $d_{k}$ は $d_{k}=d / h$ となる. 最終的に, BART デコーダは, 最終層の出力から全結合層 (Linear) と Softmax 層によって出力単語の確率分布を算出する.

ここで，エンコーダは双方向モデル，デコーダは自己回帰モデルとなっている．この事前学習済み BART モデルは，様々なタスクに合わせて fine-tuning される。自動要約タスクでは, 要約元文書がエンコーダに与えられ，デコーダで文書の要約を生成する。

## 2.3 階層構造を考慮したテキスト生成

機械翻訳において, 入力テキストにおける文章の階層構造を考慮するために Multi-Granularity Self-Attention (MG-SA) (Hao et al. 2019) がある。本節では， MG-SA について概説する。 MG$\mathrm{SA}$ は， 入力テキストを複数の異なる粒度の要素（単語とフレーズ）に分け，各粒度の要素を Multi-head Self-Attention Network (SANs)の各ヘッドに割り当てることで異なる粒度の情報を 捉える方法である。この手法ではまず，次のように，SANsの入力 $H$ からフレーズレベルの情報を表す行列 $H_{g}$ を生成する。

$
H_{g}=F_{h}(H)
$

ここで， $F_{h}(\cdot)$ は $h$ 番目のヘッドに対するフレーズレベルの入力を生成する関数である．具体的 には， $F_{h}(\cdot)$ は，単語レベルのベクトルに対して Max Poolingを適用することでフレーズレベル のベクトルを生成する。

この生成されたフレーズレベルの入力を用いて，SANs を次のように実行する．

$
\begin{aligned}
Q^{h}, K^{h}, V^{h} & =H W_{Q}^{h}, H_{g} W_{K}^{h}, H_{g} W_{V}^{h} \\
O^{h} & =\boldsymbol{A T T}\left(Q^{h}, K^{h}\right) V^{h}
\end{aligned}
$

ここで, $Q^{h} \in \mathbf{R}^{n \times d_{h}}, K^{h} \in \mathbf{R}^{p \times d_{h}}, V^{h} \in \mathbf{R}^{p \times d_{h}}, W_{Q}^{h}, W_{K}^{h}, W_{V}^{h} \in \mathbf{R}^{d \times d_{h}}$ であり，dは隠れ層の 次元数, $d_{h}$ は各ヘッドの次元数, $n$ は単語レベルのベクトルの次元数, $p$ はフレーズレベルの ベクトルの次元数である。また, $\mathbf{A T T}(\mathrm{X}, \mathrm{Y})$ は X と Y のアテンション重みを算出する関数で ある。この演算により，SANSにおける各へッドの出力 $O^{h}$ が生成される。 その後, 全てのへッ ドの出力を結合させたものが，入力 $H$ に対する MG-SAの出力となる.

$
\mathbf{M G - S A}(\mathbf{H})=\left[O^{1}, \ldots, O^{M}\right]
$

ここで， $M$ は Multi-head のヘッド総数を示す. 各ヘッドの出力 $O^{h}$ は，単語間の情報を含んで いるものや，単語とフレーズ間の情報を含んでいるものがある．したがって，MG-SAを使うこ とで，単語間の関連性に加えて，単語間とフレーズ間の関連性を捉えることができる。

## 3 提案手法

本研究では, 文と単語の階層的な関係を考慮するため, MG-SAの概念を BART モデルに適用した Hie-BART (Hierarchical-BART) を提案する．Hie-BART (Hierarchical-BART) モデルで は, エンコーダは, 通常の BART モデルが備えている単語同士の関連性を捉える単語レべルの Multi-head Self-Attention Networks (SANs) に加えて, 文と単語間の関連性を捉える文レベルの SANs を備えている。 Hie-BART の概要図を図 3 に示す.

エンコーダにおいて, 入力テキストを Embedding 層に通した後, 単語と文間の階層構造情報 を捉えるため，単語レベル SANs と文レベル SANS の計算を行う。ここで，各文を区別するた めに，入力テキスト中の各文の先頭には $[B O S]$ トークンを付与している．文レベルの SANs で は，文レベルの情報を得るために， Create Sentence Level Vector 層で単語レベルの入力から文 レベルの入力を作成した後，アテンションの計算を行う．各へッドでアテンションの計算が終了したら, 単語レベル情報と文レベル情報を組み合わせるために, 単語および文レべルの出力 を Concatenate 層で結合し，次層の Feed Forward 層への入力とする.

ここで，単語レベルおよび文レベルの SANs 計算から Concatenate 層で結合するまでの動作

図 3 Hie-BART のモデル図

をMG-SANs とすると，以下のような式で表される。

$
\mathbf{M G - S a n s}(\mathbf{W}, \mathbf{S})=\left[O^{1}, \ldots, O^{H}\right]
$

ここで， $\mathbf{W}, \mathbf{S}$ はそれぞれ単語レベルおよび文レベルの入力， $H$ は SANsのヘッド総数， $O^{i}$ は MG-SANS のヘッド $i$ の出力である.

## 3.1 Create Sentence Level Vector 層

Create Sentence Level Vector 層の動作例を図 4 に示す. $E_{w_{i j}}$ および $E_{[B O S]}$ は単語 $w_{i j}(i$ 番目の文中の $j$ 番目の単語) および $[B O S]$ トークンの埋め込みべクトルである。 $E_{s_{i}}$ は単語レベル の埋め达みべクトルから生成された文 $s_{i}$ ( $i$ 番目の文) の文レベルの埋め达みベクトルである.

文レベルの情報を得るために, Create Sentence Level Vector 層において, 単語レベルの埋め 込みベクトルから Average Pooling により文レベルの埋め込みベクトルを生成する. 具体的に は, 単語系列 $W=\left(w_{1}, \ldots, w_{N}\right)$ （各 $w_{i}$ は単語）が入力として与えられた場合，まず，単語系列 $W$ を文分割し，文系列 $S=\left(s_{1}, \ldots, s_{M}\right)$ （各 $s_{i}$ は文）を得る。ここで， $N$ は総単語数， $M$ は総文数を示す。そして，Sの各要素（各文）に対して，次のように Average Pooling を適用する.

$
g_{m}=\mathbf{A V G}\left(s_{m}\right)
$

ここで， $\operatorname{AVG}(・)$ は Average Pooling を実行する関数である。これにより，各文に対する埋め 込みべクトル $G=\left(g_{1}, \ldots, g_{M}\right)$ を生成する。実際には， $W$ と $S$ の各要素は埋め込みべクトルとな る。例えば，図 4 において， $E_{s_{1}}$ を生成する場合は, $\left[E_{[B O S]}, E_{w_{11}}, E_{w_{12}}, E_{w_{13}}\right]$ に対して Average Pooling を適用する．以上のように生成された $G$ を文レベルの SANs の入力とする.

## 3.2 Concatenate 層

単語レベル情報と文レベル情報を組み合わせるために, Concatenate 層において, 単語レベル SANs と文レベル SANs の出力を結合させる。 Concatenate層では, 次のような単語レべル SANs

図 4 Create Sentence Level Vector 層の動作例

図 5 Concatenate 層の動作例（ヘッド数が 6 の場合）

と文レベル SANs 層の出力が入力となる.

$
\begin{aligned}
\operatorname{WordSans}(\mathbf{W}) & =\left[O_{w}^{1}, \ldots, O_{w}^{H}\right]=O_{w}^{A L L} \\
\operatorname{SentenceSans}(\mathbf{G}) & =\left[O_{s}^{1}, \ldots, O_{s}^{H}\right]=O_{s}^{A L L}
\end{aligned}
$

$O_{w}^{A L L}$ は単語レベルの SANs の出力であり, $O_{w}^{i}$ は単語レベルの SANs のヘッド $i$ の出力である.一方で, $O_{s}^{A L L}$ は文レベルの SANs の出力であり, $O_{s}^{i}$ は文レベルの SANs のヘッド $i$ の出力であ る。ここで，H H SANs のヘッド数を示す. Concatenate 層では，この単語および文レベルの SANs の出力結果を次のように結合させる.

$
\operatorname{CONCAT}\left(O_{w}^{A L L}, O_{s}^{A L L}, j\right)=\left[O_{w}^{1}, \ldots, O_{w}^{j}, O_{s}^{j+1}, \ldots, O_{s}^{H}\right]
$

ここで， $j$ は結合点である． $H$ 個の Multi-headの内，1 から $j$ までのへッドを単語レベルの出力とし,$j+1$ から $H$ までのへッドを文レベルの出力として結合する.

Hie-BART 内の Concatenate 層の動作例を図 5 に示す. 図 5 は, Multi-head のヘッド数が 6 で, 結合点 $j$ が 4 の場合の動作を示している。単語レベルの SANs の出力である $\left[O_{w}^{1}, \ldots, O_{w}^{6}\right]$ と,文レベルの SANs の出力である $\left[O_{s}^{1}, \ldots, O_{s}^{6}\right]$ が結合点 $j=4$ で結合された $\left[O_{w}^{1}, O_{w}^{2}, O_{w}^{3}, O_{w}^{4}, O_{s}^{5}, O_{s}^{6}\right]$ が Concatenate 層の出力となる．以上のように生成された Concatenate 層の出力を次層の Feed Forward 層への入力とする.

## 4 実験

## 4.1 データセット

データセットは，英文ニュース記事の要約コーパスである CNN/DailyMail データセット¹ (Hermann et al. 2015) および XSum データセット2 (Narayan et al. 2018)を使用した.
^{1}$ CNN/DailyMail データセットのダウンロードベージ: https://github.com/abisee/cnn-dailymail

2 XSum データセットのダウンロードページ: https://github.com/EdinburghNLP/XSum
}

CNN/DailyMail データセットは, 学習データが 287,226 対, 開発データが 13,368 対, テス トデータが 11,490 対で構成されている，要約元文書は平均 781 トークン, 要約文は平均 56 トー クンである。また, XSum データセットは, 学習データが 204,045 対, 開発データが 11,332 対, テストデータが 11,334 対で構成されている。要約元文書は平均 431 トークン, 要約文は平均 23 トークンである。データの前処理について，トークン化は CNN/DailyMail ダウンロードペー ジ1およびXSum ダウンロードページ2の通りに行い, BPE (Sennrich et al. 2016)の使用などは fairseq (Ott et al. 2019)による前処理3に基づいて行った.

## 4.2 実験設定

Hie-BART モデルの実装は, fairseqによる BART モデルのコードを基に改良することで実装した。また，事前学習済みのモデルは fairseqのモデル「bart.large $\rfloor^{3}$ を使用した．BARTを fine-tuning する際, CNN/DM データセットでは, 勾配累積のハイパーパラメータ update-freqを 10, 最大エポック数 max-epoch を 6 , 総学習ステップ数を 20,000 とした. XSum では, update-freq を10, max-epoch を 10, 総学習ステップ数を 15,000 とした。また, 提案手法 Hie-BART のハ イパーパラメータは, Multi-headのヘッド数を 16, 単語レベルと文レベルのSANs における出力の結合ヘッド数の割合を「単語:文 $=14: 2\rfloor$ とした．結合へッド数の割合のハイパーパラメー 夕は開発データで調整した。表 4 に示す通り, 開発データにおいて最も性能がよかった割合を 採用している。このハイパーパラメータに関しては， 5 章にて考察する。その他のハイパーパ ラメータは fairseqによる設定 3 を用いた。

## 4.3 結果

実験結果を表 2 と表 3 に示す. 表 2 に CNN/DailyMail, 表 3 にXSum のテストデータによ る結果を示している。評価指標として, ROUGE-1, ROUGE-2, ROUGE-LのF 値 (Lin 2004) を用いた，ROUGEスコアの算出には, files2rouge4を利用した. ROUGEのオプションとして, 95\%信頼区間を利用, ステミングは無し，ストップワード除去の有無は無しとした. ROUGEオ

表 1 データセット
^{4}$ files2rouge 利用法: https://github.com/pltrdy/files2rouge
}

表 2 各モデルの要約性能 (CNN/DM テストデータでの性能)

表 3 各モデルの要約性能（XSum テストデータでの性能）

プションの引数は，“-c 95 -r 1000 -n 2 -a”とした. 実験では，提案手法の Hie-BART モデルを,非階層の通常の BART モデルに加えて, LEAD-3 (Nallapati et al. 2017), PTGEN (See et al. 2017), PTGEN+COV (See et al. 2017), BertSumExtAbs (Liu and Lapata 2019), T5 (Raffel et al. 2020) と比較した. ベースラインの BART モデルとして, 我々の計算機環境で再現した BART モデルの結果 (BART (ours)) に加えて, Lewisら (Lewis et al. 2020) で報告されている 結果も示している。なお, BART (ours) および Hie-BART (ours)の結果については, 3 回の試行結果の平均を掲載している.

表 2 より, CNN/DailyMail データセットでは提案手法 Hie-BART は ROUGE-L の F 値におい て, 我々が再現した BART からは， 0.1 ポイント改善していることが分かる。また，表 3 より, XSum データセットでは提案手法 Hie-BART は ROUGE-1/2/L の F 值において, 我々が再現し たBART からほぼ同等の性能であることが分かる。これらの結果より, CNN/DailyMail データ セットにおいて提案手法が有効であることを確認できた.

なお，XSumデータセットにおけるハイパーパラメータは fairseqのデフォルト值を用いた ${ }^{5}$. ただし, メモリの都合上, update-freqを 10 としている.

## 5 考察

## 5.1 ヘッド数の割合による性能比較

提案手法は, Concatenate 層で単語レベルと文レベルのヘッドの出力を特定の割合で結合す る.この割合の変化で提案手法の性能がどう変わるかを考察する。表 4 に, 結合時の単語レべ ルと文レベルのヘッドの割合を変えた時の提案手法の開発データにおける性能を示す.へッド 数の割合はハイパーパラメータとして手動で調節しており, 表 4 の最左列に示されている. 最左列が「単語:文 $=\mathrm{x}: \mathrm{y}\rfloor$ の場合，単語レベルのヘッド数が $\mathrm{x}$, 文レベルのヘッド数が $\mathrm{y}$ を表す.

表 4 より, CNN/DM およびXSum データセットの両方で, “単語:文 = 14:2” の場合がROUGE1/2/L スコアの平均が最大になっていることが確認できる。 また, 単語レベルに比べて文レべ ルのへッド数の割合が少ない方が, ROUGE スコアが高くなる傾向にあることが分かる. また,単語レベルのへッド数を 8 以下に減らしていく方向は，精度の改善が見られなかったので表 4 には掲載していない.

## 5.2 Create Sentence Level Vector 層における Pooling

3.1 節の Create Sentence Level Vector 層では, 単語レベルのベクトルから文レベルのベクト

表 4 単語レベルと文レベルのヘッド数の割合による性能比較 (CNN/DM およびXSum 開発データでの 性能)
^{5} \mathrm{CNN} / \mathrm{DM}$ で使用したハイパーパラメータも試したが, 開発データにおいて fairseqのデフォルト値 の方が良かった. ただし, Lewis ら (Lewis et al. 2020)の値には及ばなかった.
}

ルを作成する際に Average pooling を利用している。一方，従来手法である MG-SAでは，単語レベルのベクトルからフレーズレベルのベクトルを作成する際に Max pooling を利用してい る。そこで，文レベルベクトルの作成において， Max pooling と Average pooling を利用した場合の, それぞれの要約性能の比較を行う。表 5 に Pooling 毎の要約性能比較を示す. データと して, CNN/DailyMail データセットの開発データを利用している。なお，結果については， 3 回の試行結果の平均を掲載している.

表 5 より, Average pooling を利用したモデルの方が，Max pooling を利用したモデルに比べ， ROUGE スコアが全体的に向上していることが確認できる。この結果より, 本研究において,単語レベルのベクトルから文レベルのベクトルを作成する際は, Max pooling よりも Average pooling を利用することで精度の向上が確認できる。

## 5.3 要約例

表 6 にベースラインモデル (BART) と提案モデル (Hie-BART) による ROUGE スコアの高い 要約例と, 正解要約の例を示す. 表 6 の提案モデルによる要約は, 正解要約の内容に近い流暢 な要約であり, 提案モデルの要約が要約元文書の重要な部分を含んでいることを示している.

ROUGE スコアの低い要約例を表 7 に示す。この例では, ベースラインモデルの要約と提案モ デルの要約はほぼ同じ内容を含んでおり, 正解要約の内容からは遠く, 長い文章となっている.

## 5.4 要約の文長比較および ROUGE スコアの詳細比較

従来手法の BART による要約, 提案手法の Hie-BARTによる要約, 正解要約のそれぞれの文長の比較を行う．表 8 に，テストデータにおける各モデルの出力要約の文長を示す. 表 8 より, CNN/DailyMail データセットおよびXSum データセットにおいて, 要約の平均的な文長は, 従来手法 BART に比べ提案手法 Hie-BART による要約の方が短くなっており, 正解要約の平均文長に近づいていることが分かる.

また，4.3節に示した従来手法 BART と提案手法 Hie-BART の ROUGE スコアの詳細として, Precision, Recall, F 値の結果を掲載し比較する。表 9 に CNN/DailyMail データセットでの結果, 表 10 にXSum データセットでの結果を示す. なお, 結果については, 3 回の試行結果の平

表 5 Pooling 毎の要約性能比較 (CNN/DM 開発データでの性能)

## [要約元文書]

(CNN)About a dozen Native American actors have walked off the set of an Adam Sandler movie comedy, saying the satirical Western's script is insulting to Native Americans and women, according to a report. ... According to ICTMN, a Native American adviser hired to help ensure the movie's cultural authenticity also walked off the set in protest. Hill, the Choctaw actor, seemed to hold out hope that differences between the producers and Native American cast members could be resolved . ... .

## [BART による要約]

The walkout occurred on the set of "The Ridiculous Six" near Las Vegas, New Mexico, according to a report . The script called for native women's names such as "Beaver's Breath" and "No Bra" and an actress portraying an Apache woman to squat and urinate while smoking a peace pipe, ICTMN reports .

## [Hie-BART による要約]

About a dozen Native American actors walked off the set of an Adam Sandler movie comedy, a report says . They say the script is insulting to Native Americans and women, according to the Indian Country Today Media Network . "The Ridiculous Six" also stars Will Forte, Taylor Lautner, Steve Buscemi and John Turturro .

[正解要約]

About a dozen Native American actors walk off set of Adam Sandler comedy, says report . Actors say satirical Western's script is insulting to Native Americans and women .

表 6 精度の高い要約例（要約元文書は一部省略している）

## [要約元文書]

(CNN)It's the kind of thing you see in movies, like Robert Redford's role in "All Is Lost" or Ang Lee's "Life of Pi." But, in real life, it's hard to swallow the idea of a single person being stranded at sea for days, weeks, if not months and somehow living to talk about it. Miracles do happen, though, and not just in Hollywood. ... After being spotted by crew aboard a Japanese Maritime Self-Defense Force destroyer and picked up in a smaller rescue boat, he took a drink offered to him and burst into tears, Kyodo reported. Shinkawa told his rescuers, "I thought today was the last day of my life."

## [BART による要約]

It's hard to swallow the idea of a single person being stranded at sea for days, weeks, if not months and somehow living to talk about it . Miracles do happen, though, and not just in Hollywood . Jose Salvador Alvarenga says his journey began in Paredon Viejo, a port on Mexico's Pacific coast in late 2012 .

## [Hie-BART による要約]

It's hard to swallow the idea of a single person being stranded at sea for days, weeks, if not months and somehow living to talk about it . Miracles do happen, though, and not just in Hollywood . Jose Salvador Alvarenga says his journey began in Paredon Viejo, a port on Mexico's Pacific coast, in late 2012 . Louis Jordan says he used laundry to trap and scoop up fish, rigged a makeshift mast and sail .

## [正解要約]

A South Carolina man says he spent 66 days alone at sea before being rescued . Other sole survivor stories include a Japanese man washed away by a tsunami . An El Salvador man says he drifted from Mexico to Marshall Islands over a year .

表 7 精度の低い要約例

表 8 テストデータにおける各モデルの平均要約文長（単語数）

表 9 各モデルの要約性能詳細 (CNN/DM テストデータでの性能)

表 10 各モデルの要約性能詳細（XSum テストデータでの性能）

均を掲載している。表 9,10 より，提案手法 Hie-BART は従来手法 BART に比べ，Recall のス コアが低下し，Precisionのスコアが上昇している。この結果より，提案手法 Hie-BARTでは従来手法よりも短い要約で，同等かそれ以上の精度の要約を生成していることが確認できる.

## 6 おわりに

本研究では，BART におけるエンコーダの Self-Attention 層を単語レベルと文レベルに分割 し計算することで，単語と文間の関係性を考慮する Hie-BART を提案した．BARTを階層化す ることにより, CNN/DailyMail データセットにおいて, ROUGE-Lの F 值が 0.1 ポイント改善 することを確認した。

今後は, 単語間や単語と文間の情報に加え，文同士の関係を取り入れる手法に拡張する予定 である。また，本研究では ROUGE スコアに基づく評価を行ったが，原文書への忠実性に基づ く評価を行うことを検討している。

## 謝 辞

本研究は JSPS 科研費 JP21K12031 の助成を受けたものです.

## 参考文献

Akiyama, K., Tamura, A., and Ninomiya, T. (2021). "Hie-BART: Document Summarization with Hierarchical BART." In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Student Research Workshop, pp. 159-165.

秋山和輝, 田村晃裕, 二宮崇 (2021). Hie-BART: 階層型 BART による文書要約. 言語処理学会第 27 回年次大会発表論文集, pp. 1242-1246. [K. Akiyama et al. (2021). Hie-BART: Kaisougata BART niyoru Bunsho Yoyaku. Proceedings of the 27th Annual Meeting for the Association for Natural Language Processing, pp. 1242-1246.].

Ba, J. L., Kiros, J. R., and Hinton, G. E. (2016). "Layer Normalization." arXiv:1607.06450.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186.

Gu, J., Lu, Z., Li, H., and Li, V. O. (2016). "Incorporating Copying Mechanism in Sequenceto-Sequence Learning." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 1631-1640.

Hao, J., Wang, X., Shi, S., Zhang, J., and Tu, Z. (2019). "Multi-Granularity Self-Attention for Neural Machine Translation." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 887-897.

He, K., Zhang, X., Ren, S., and Sun, J. (2016). "Deep Residual Learning for Image Recognition." In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. $770-778$.

Hermann, K. M., Kocisky, T., Grefenstette, E., Espeholt, L., Kay, W., Suleyman, M., and Blunsom, P. (2015). "Teaching Machines to Read and Comprehend." In Advances in Neural Information Processing Systems, pp. 1693-1701.

Joshi, M., Chen, D., Liu, Y., Weld, D. S., Zettlemoyer, L., and Levy, O. (2020). "SpanBERT: Improving Pre-training by Representing and Predicting Spans." Transactions of the Association for Computational Linguistics, 8, pp. 64-77.

Lewis, M., Liu, Y., Goyal, N., Ghazvininejad, M., Mohamed, A., Levy, O., Stoyanov, V., and Zettlemoyer, L. (2020). "BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880.

Li, J., Luong, T., and Jurafsky, D. (2015). "A Hierarchical Neural Autoencoder for Paragraphs and Documents." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, pp. 1106-1115.

Lin, C.-Y. (2004). "ROUGE: A Package for Automatic Evaluation of Summaries." In Text Summarization Branches Out, pp. 74-81.

Liu, Y. and Lapata, M. (2019). "Text Summarization with Pretrained Encoders." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3730-3740.

Miao, Y. and Blunsom, P. (2016). "Language as a Latent Variable: Discrete Generative Models for Sentence Compression." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 319-328.

Nallapati, R., Zhai, F., and Zhou, B. (2017). "SummaRuNNer: A Recurrent Neural Network Based Sequence Model for Extractive Summarization of Documents." In Proceedings of the 31st AAAI Conference on Artificial Intelligence, pp. 3075-3081.

Nallapati, R., Zhou, B., dos Santos, C., Gulçehre, Ç., and Xiang, B. (2016). "Abstractive Text Summarization using Sequence-to-sequence RNNs and Beyond." In Proceedings of The 20th SIGNLL Conference on Computational Natural Language Learning, pp. 280-290.

Narayan, S., Cohen, S. B., and Lapata, M. (2018). "Don't Give Me the Details, Just the Summary! Topic-Aware Convolutional Neural Networks for Extreme Summarization." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1797-1807.

Ott, M., Edunov, S., Baevski, A., Fan, A., Gross, S., Ng, N., Grangier, D., and Auli, M. (2019). "fairseq: A Fast, Extensible Toolkit for Sequence Modeling." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53.

Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., and Liu, P. J. (2020). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer." Journal of Machine Learning Research, 21 (140), pp. 1-67.

Rush, A. M., Chopra, S., and Weston, J. (2015). "A Neural Attention Model for Abstractive Sentence Summarization." In Proceedings of the 2015 Conference on Empirical Methods in

Natural Language Processing, pp. 379-389.

See, A., Liu, P. J., and Manning, C. D. (2017). "Get To The Point: Summarization with PointerGenerator Networks." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 1073-1083.

Sennrich, R., Haddow, B., and Birch, A. (2016). "Neural Machine Translation of Rare Words with Subword Units." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 1715-1725.

Tu, Z., Lu, Z., Liu, Y., Liu, X., and Li, H. (2016). "Modeling Coverage for Neural Machine Translation." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 76-85.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Advances in Neural Information Processing Systems, pp. 5998-6008.

Zhang, X., Wei, F., and Zhou, M. (2019). "HIBERT: Document Level Pre-training of Hierarchical Bidirectional Transformers for Document Summarization." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5059-5069.

## 略歴

秋山和輝：2020 年愛媛大学工学部情報工学科卒業. 2020 年より同大学院理工学研究科修士課程に在学.

田村 晃裕：2005 年東京工業大学工学部情報工学科卒業. 2007 年同大学院総合理工学研究科修士課程修了. 2013 年同大学院総合理工学研究科博士課程修了. 日本電気株式会社, 国立研究開発法人情報通信研究機構にて研究員とし て務めた後, 2017 年より愛媛大学大学院理工学研究科助教. 2020 年より同志社大学理工学部准教授となり, 現在に至る. 博士 (工学). 情報処理学会, 言語処理学会, 人工知能学会, ACL 各会員.

二宮崇：1996 年東京大学理学部情報科学科卒業. 1998 年東京大学大学院理学系研究科情報科学専攻修士課程修了. 2001 年同大学院博士課程修了. 同年より科学技術振興事業団研究員. 2006 年より東京大学情報基盤センター講師. 2010 年より愛媛大学大学院理工学研究科准教授, 2017 年同教授. 博士 (理学). 言語処理学会, アジア太平洋機械翻訳協会, 情報処理学会, 人工知能学会, 電子情報通信学会, 日本データベース学会, ACL 各会員.

梶原 智之：愛媛大学大学院理工学研究科助教. 2013 年長岡技術科学大学工学部電気電子情報工学課程卒業. 2015 年同大学大学院工学研究科修士課程修了.
博士 (工学). 大阪大学データビリティフロンティア機構の特任助教を経て, 2021 年より現職. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

}} \\