# 言語資源ワークショップ 2022 (LRW2022)

山崎 誠 $\dagger \cdot$ 大村 舞 $\dagger$ ・籠宮 隆之 $\dagger$ ・川端 良子†
## 1 はじめに

「言語資源ワークショップ」1は，国立国語研究所言語資源開発センター ${ }^{2}$ が 2016 年度より毎年開催してきた「言語資源活用ワークショップ」の後継となるものである。「言語資源活用ワー クショップ」は，優れた研究発表を一般公募することによって言語資源研究の開かれた研究交流の場を提供しようとするものであった，今年度からは，国立国語研究所の第 4 期の統合テー マである「開かれた言語資源による日本語の実証的・応用的研究」に基づいて言語資源の利活用はもとより，言語資源の構築や共有のための情報や知識を開かれた形で提供する場となるこ とを目指している。本稿では， 2022 年 8 月 30 日および 31 日の 2 日間に渡って行われた「言語資源ワークショップ 2022 (LRW2022)」について報告する.

## 2 言語資源ワークショップ 2022 の概要

言語資源ワークショップ 2022 は，国立国語研究所言語資源開発センター主催として，2022 年 8 月 30 日および 31 日の 2 日間で開催された。言語資源ワークショップ 2022 は Zoom をメイン としたオンラインセッションとして行われた。さらに Zoom とはまた別に，Slackを利用した掲示板チャット形式によって参加者と発表者の交流の場が設けられた.

実際のセッション発表数は 53 件となっており，口頭発表は 14 件，ポスター発表 39 件であっ た. そのうち，学生発表が 12 件であった. 1 日目の 30 日には高道慎之介氏， 2 日目の 31 日は 菅野倫匡氏による招待講演が行われた。ワークショップ参加申し込み人数は 297 人であった. Zoom 上では 198 名が発表を聴講しており，活発な質疑応答・議論が行われた。その後，学生 を対象とした優秀発表賞の受賞者を発表し, クロージングとなった. これら発表された論文は, これまでどおり発表論文集として国立国語研究所学術情報ライブラリで公開する予定であり， さらに 2022 年度からは発表ポスターについても発表ポスター集として同リポジトリで公開する 予定である.

言語資源ワークショップでは，多様なコーパスおよび言語資源に関しての発表を募集し，発

表 1 言語資源ワークショップ 2022 において使用されていた言語資源・コーパスの一覧.
表議論の場の提供を行っている。発表分野や応募資格などに制限はない. 2022 年度での発表の 分野としては, 言語学や日本語学, 日本語教育, 工学・情報学などがあった. 図 1 は, 本ワー クショップにおいて使用された言語資源の一覧を示している。国立国語研究所で開発したコー パス・言語資源に限らず，公開されている既存のコーパスや，自作コーパスなどについての発表も多く行われていたことがわかる.

## 3 招待講演

本ワークショップでは，研究発表以外にシンポジウムやスペシャルセッションなどを併設し て実施してきた，今年度は言語資源を構築して活用していらっしゃるお二方を招きし，招待講演を実施した。

1 日目の招待講演には東京大学の高道慎之介氏を招きし,「開かれた音声情報処理のための コーパス」と題した講演を頂いた。高道氏は音声合成を中心とした音声情報処理を専門とされ ている。本招待講演では, 音声情報処理技術の進化とそれぞれの時点での音声コーパスの果た してきた役割を解説し, その上で, ご自身の進められている声質変換などの音声合成技術と, 研究を進める過程でどのようなコーパスを構築し, 利用してきたかを紹介された. さらに, コー パスを構築する際に関連する近年の技術的進化や法制度の改革についても解説された. これら の話題は音声情報処理技術に関する知見を得るだけでなく, これからコーパスを構築・公開し ようと考えている研究者にとっても大変有益なものであった.

2 日目の招待講演には筑波大学の菅野倫匡氏をお招きし, 「芥川賞作品コーパスの構築のため に」と題した講演を頂いた。菅野氏は日本語表記・語彙を専門としており，とくに漢字含有率 を通して現代日本語の表記の変遷を手がけている。本招待講演ではコーパスの構想に至った背景, 具体的な設計, 構築のための手順が詳細に紹介され, 構築に当たっての問題点への解決策 が示された，菅野氏は，現代語の資料であっても本文校訂が欠かせないこと，書き言葉の場合読みが決まらない場合があるが，妥当な判断基準によって読みを決定する事例を紹介し，デー 夕を客観的に扱うための指針を示した。これらは現代語の書き言葉データを用いたコーパスを 構築しようとする人にとっては有益な情報であり，とくに形態素解析結果を踏まえ，独自に詳細な分析を行うに際して参考になるものである.

## 4 優秀発表賞

本ワークショップでは，学生による優れた発表に対して「優秀発表賞」を授与している. 2022 年は, 12 件の発表が受賞候補となり, その中から選ばれたのは, スロベニアのリューブリャー ナ大学所属のパウロヴイチ・ミハ氏が行った「スロベニア人初級・中級・上級日本語学習者コー

パスの構築と文法的誤用分析」と題した発表であった。本発表では，スロベニア語を母語とす る日本語学習者コーパスの構築，および，そのコーパスを用いた習得レベル別の文法誤用の分析を行った結果が報告された。

本賞は, 2017 年開催の言語資源活用ワークショップ 2017 から毎年設けられ，ミ八氏は 6 人目 の受賞者となった．過去のワークショップでは，2017～2020 年は，国内の大学に所属する学生 が受賞したが (間淵 2017; 岡田 2018; 泉 2019; 南 2020), 2021 年は, 当時高校生であった俵氏が 受賞し (俵 2021), 2022 年は, 初の国外の大学に所属する学生の受賞となった. 受賞者の所属の 広がりは，ワークショップのオンライン実施により，遠隔地からの参加が容易になったことの 影響が大きいと考えられる。

受賞者の決定は，ワークショップ参加者による投票に基づいて行われる。この選考方式には，学生の発表を参加者に注目してもらうことと, 多くの人々の意見を反映した選出を行う，とい う狙いがある．ただし，この狙いどおりに優秀発表賞の選出を行うためには，多くの人に受賞候補者の発表を視聴してもらい，投票してもらう必要がある。しかし，今年の投票者は参加人数のおよそ 1 割に留まり，ワークショップへのアンケート結果には投票数が少ないという意見 も見られた. 正しい評価を行うことは簡単なことではないが，本ワークショップが若い研究者 の研究活動を奨励し, 活性化させる場となるためには, 公平で公正な評価が行われるように評価の仕方を見直したり, 多くの参加者に投票してもらえるように働きかけたりするなど，運営側が努力を重ねることが今後も必要である.

## 5 今後の展望

本稿では，国立国語研究所言語資源開発センター主催による言語資源ワークショップ 2022 に ついて, 実際に行ったことを挙げて紹介した。今後, 言語資源の需要は, 言語学的な研究分野 のみならず，情報処理の分野などにおいても高まることが予想される。しかし，コーパスに代表される言語資源の構築は，大変な労力の要る作業である。そのため，コーパス構築を支援す るためのアプリケーションの開発，一つのコーパスを多様な研究目的に利用できるようなメ夕 データの設計方法の確立なども重要な課題である。信頼できるデー夕を効率的に利活用するた めには, 現在進行中, あるいは将来予定されているコーパス開発, 言語資源の構築方法, 分析方法などについて研究者の間で情報を共有することが有用である. こうした情報を発信・共有 する場を提供することが，本ワークショップの重要な役割であると考えている．

今回, 工学分野の高道氏と人文学分野の菅野氏に講演をして頂いたが, 研究発表においても,人文学系, 理工学系など様々な分野の人にさらに多く参加していただきたいと思っている。そ して，本ワークショップが最新の言語資源の情報共有と研究者の交流の場となってほしいと考 えている.

## 謝 辞

本ワークショップでご発表して下さったみなさま, ご参加して下さったみなさま, また, 招待講演の高道慎之介先生, 菅野倫匡先生に感謝いたします。

## 参考文献

泉大輔 (2019). 文を包摂する名詞の形式的な特徵に関する考察. 言語資源活用ワークショップ発表論文集, 4, pp. 2-14. doi: 10.15084/00002549, [D. Izumi (2019). An Analysis of the Formal Characteristics of "Sentential Compound". Proceedings of Language Resources Workshop, 4, pp. 2-14. doi: 10.15084/00002549].

岡田優也 (2018). 日本語 Wikipedia を用いた慣用句の構成性の数値化. 言語資源活用ワーク ショップ発表論文集, 3 , pp. 298-306. doi: 10.15084/00001664, [Y. Okada (2018). Numerical Representations of the Compositionality of Idioms in Japanese Wikipedia. Proceedings of Language Resources Workshop, 3, pp. 298-306. doi: 10.15084/00001664].

俵匠見 (2021). 現代短歌の字余りとリズムについての考察. 言語資源活用ワークショップ発表論

文集, 6, pp. 2-14. doi: 10.15084/00003477, [T. Tawara (2021). Poetry Rhythm with Excess

Syllables in Modern Tanka. Proceedings of Language Resources Workshop, 6, pp. 2-14. doi: 10.15084/00003477].

間淵洋子 (2017). 近代漢語の品詞性に見る多様性の画一化：形容詞用法を中心に。言語資源活用ワークショップ発表論文集, 2, pp. 93-106. doi: 10.15084/00001510, [Y. Mabuchi (2017). Changes in the Usage of Sino-Japanese Words in Modern Japanese : With a Focus on the Adjectival Usage. Proceedings of Language Resources Workshop, 2, pp. 93-106. doi: $10.15084 / 00001510]$.

南亜希子 (2020). 外来語サ変動詞における日本語母語話者の許容状況：I-JAS に基づく例文を用い

た調査から. 言語資源活用ワークショップ発表論文集, 5, pp. 2-11. doi: 10.15084/00003141, [A. Minami (2020). The Tolerance of Loanword Verbs among Japanese Native Speakers : From the Survey with I-JAS. Proceedings of Language Resources Workshop, 5, pp. 2-11.].

## 略歴

山崎 誠: 筑波大学文藝言語研究科中退. 東京学芸大学連合学校教育学研究科修了. 現在, 国立国語研究所研究系教授. 国立国語研究所において語彙調査, コーパスの構築, シソーラスの編纂などに従事. 博士 (学術).

大村 舞 : 奈良先端科学技術大学院大学情報科学研究科修了. 現在, 国立国
語研究所プロジェクト非常勤研究員. 国立国語研究所においてコーパス構築 などに従事。修士 (工学)。

籠宮 隆之：神戸大学大学院総合人間科学研究科修了. 博士（学術）

川端 良子: 千葉大学大学院融合科学研究科博士後期課程修了. 現在, 国立国語研究所言語資源開発センター特任助教.コーパスを用いて, 人同士の共同的活動における言語使用の役割や規則について研究を行っている. 博士 (学術).


# マルチモーダル対話コーパス Hazumi

駒谷 和範 $\dagger \cdot$ 岡田 将吾 $\dagger \dagger$

## 1 はじめに

大阪大学マルチモーダル対話コーパス Hazumi を収集し, 国立情報学研究所 情報学研究デー タリポジトリ (NII-IDR)1(大須賀, 大山 2022)と GitHubにて公開している.このコーパスには,一般から募集した実験参加者と, Wizard-of-Oz (WoZ) 方式で動作するエージェントとの間の, のべ 214 人分の雑談が収録されている. 1 対話はおおよそ 15 分から 20 分程度である. 対話中 の実験参加者の様子を複数のセンサを用いて収録し，交換と呼ぶ単位ごとに複数アノテータに よる多様なアノテーションを付与した。対話単位でも，実験参加者の性格特性や，事前事後の アンケート結果を収集している。また，簡便に機械学習の実験が可能となるよう，マルチモー ダルデータから特徴量を抽出したファイルも公開している.

対話は自然言語を使用した他者とのやりとりであるため，言語情報やそれを伝える音声は重要な役割を担う. しかしながら言語以外の要素も対話を構成する重要な要素である. とりわけ,話すこと自体が目的とされる雑談では，言語以外の情報，つまり表情や韻律などから，相手の 意図や態度, 感情を読み取ることの重要性が増す。本稿では, 言語情報以外の情報も扱う対話 をマルチモーダル対話と呼ぶ.

Hazumi には 6 つのバージョンがある。 バージョンを表す数字 4 桁は, 収集開始年月（西暦の 下 2 桁と月）を示す。なお，Hazumi という名前は，話を弾ませることができる対話システムを 作りたいという願いから名付けたものである.

## 2 設計・特徴

## 2.1 人とシステムとの対話

「システムと話す」人のデータを収録した. マルチモーダル対話コーパスは, 人どうしの対話を収録したものが多い (Janin et al. 2003; Carletta 2007; Busso et al. 2008). しかしながら,対話システムに対するユーザのふるまいは，人どうしで対話をする場合とは大きく異なる。し
^{1}$ https://www.nii.ac.jp/dsc/idr/rdata/Hazumi/
}

たがって，多様なユーザを想定した実用的な対話システムの設計や，システムに対する人のふ るまいを分析・学習するには，人対人ではなく，人対システムの対話データが必要である ${ }^{2}$.

Hazumi の収集では，システムは WoZ 方式で動作させた。つまり別室にいる人間のオペレー 夕 (Wizard)3゙ェエージェントを操作し，対話を行った．多様な実験参加者に対して十分に安定 して動作するマルチモーダル対話システムがなかったため, WoZ 方式とした. 対話相手となる エージェント（インタフェース）には MMD-Agent4を用いた。人間のオペレータがエージェン トを操作していることは，収録の間は実験参加者に開示せず，収録の終了時に開示した.

タスクは雑談とし，Wizard は基本的に実験参加者が対話を楽しんでいる時間が長くなるよう に発話を選択した． Hazumi1712のみ，興味のある話題とない話題を 3 つずつ設定し，それらの 話題を一定時間継続するよう Wizard に指示した.

## 2.2 ユーザを収録対象

システムと話す人のふるまいを得ることを目的として，実験参加者から顔の映像を含むマルチ モーダルデータを収録した。マルチモーダル対話には，対話相手であるユーザを観測対象とする ものと，話題の対象（例えば買い物中の対話での商品）を観測対象とするものがある． Hazumi は前者であるが，後者の一例として SIMMC (Kottur et al. 2021) などがある.

実験参加者には，このシステムとの対話が初めてである人を一般から募集した. これはこの システムを知らないユーザのふるまいを得るためである。一般ユーザがシステム開発者の期待通りにふるまうことはほぼない。ただし Hazumi2105では，一度収録に参加した者を募った。

実験参加者に対して, 例えば感情を強く表出するよう演じさせる等の教示は行っていない.感情ラベルが付与された対話データとして有名な IEMOCAP(Busso et al. 2008)は, 人どうし の対話で，役者が感情を表出するように指示されて，シナリオを演じたものである.

## 3 収集データ

対面とオンラインで収集したデータの概要を，それぞれ表 1 と表 2 に示す. 対面収録とオン ライン収録での設定の最大の差異は, 使用したセンサである5 5

利用手続きや，データの仕様, GitHub サイトの URL などを含む詳細情報は, NII-IDRのサ イトhttps://www.nii.ac.jp/dsc/idr/rdata/Hazumi/にある。また個人情報が含まれる映像
^{4}$ http://www.mmdagent.jp/

52020 年度以降コロナ禍により対面でのデー夕収集は困難となったため，オンライン収録に移行した。生体信号を 含む多様なセンサによる収録や，実験参加者本人による本人心象アノテーションは， Hazumi1911 の特長であった が, オンライン収録では収録手続きの複雑さを減らすため, 残念ながら断念した.
}

 &  & \multicolumn{2}{|c|}{} \\

表 1 対面収録 3 バージョンの概要 (Komatani and Okada 2021)

 & \multicolumn{3}{|c|}{} \\

表 2 オンライン収録 3 バージョンの概要

図 1 アノテーションの対象とする区間（交換）

データやサイズが大きい姿勢データは，NII-IDR から配布している。これら以外のデータは全 て GitHub サイトからダウンロード可能である.

## 3.1 使用センサ

映像データ対話中の実験参加者の上半身の映像を，正面からビデオで撮影した．Hazumi1902 と Hazumi1911ではエージェントの映像も別途収録した. Hazumi2010 以降のオンライン収録で は，Zoom の画面録画機能により，実験参加者とエージェントを並べた画面構成で収録した．姿勢データ 対面収録の 3 バージョンでは，実験参加者の正面に Microsoft Kinect を配置し， その深度センサとマイクロホンアレイにより, 実験参加者の音声, 深度画像, 姿勢を収録した 深度画像データは, 深度カメラからの距離情報が各フレームごとに画像として保存されている.姿勢データは，各時刻における，実験参加者の 25 個の関節の 3 次元位置座標の推定値である.生体信号データ Empatica 社製の E4 wristband を用いて, Hazumi1911では対話中の生体信号データを収録した。これはワイヤレスのリストバンド型生体センサであり, 皮膚電位デー夕,容積脈波データ, 心拍データ, 皮膚温度データ, 加速度データを測定できる。

## 3.2 交換ごとのアノテーション

交換を単位として，様々なアノテーションを付与した。具体的には，図 1 のように，システ ム発話開始時刻から，次のシステム発話開始時刻までを一交換 (exchange) とした。テキスト対話ではエンターを入力するなどして発話の終わりが明示されるのに対して，音声を用いた対話 では発話という単位は自明ではない (駒谷 2018)，我々は，システム発話の開始時刻を用いて交換を定義することで，この問題を回避した。具体的には，Wizard が発話開始ボタンを押した時刻を記録して用いた。 6 つのバージョンでの交換の総数は 18,162 である.

各交換には以下のアノテーションを付与した.

第三者心象 5 名（または 3 名）のアノテータが，システム発話を受けて実験参加者がどのよう に感じているように見えるかを付与した. 主観的印象を表すこの度合を，ここでは心象 と呼ぶ。対話の映像を順に見ながら，各交換に対して 7 段階（1をネガティブ， 7 をポジ ティブ）で付与した。ポジティブの例として，楽しい，話し続けたい，満足などを示し，

図 2 ELANでの表示画面の例。交換ごとに複数のアノテーションが付与されている。

ネガティブの例として，楽しくない，話し続けたくない，不満，困惑などを示した

話題継続 5 名（または 3 名）のアノテータが，自分がシステム役だったとした場合に，実験参加者の発話を聞いた後，次に話題を変えようと思うかどうかを付与した．対話のビデオ を最初から順に見ながら，各交換に対して 7 段階（1が「話題を変える」， 7 が「この話題を続ける」）で付与した。

興味度 現在の話題に実験参加者が興味を持っているように見えるかどうかを付与した。興味 あり $(\mathrm{o})$, 不明 $(\mathrm{t})$, 興味なし $(\mathrm{x})$ の主に 3 段階で付与した. Hazumi1712のみで付与され ている。アノテータは 6 名または 3 名である。

本人心象 実験参加者本人が，対話終了直後に，各交換で自分がどう感じていたかを，撮影さ れた映像を見ながら付与した。尺度は第三者心象と同じ 7 段階である. Hazumi1902 と

Hazumi1911でのみで付与されている.

各交換には上記に加え，実験参加者の発話の書き起こし，システム発話，システム発話の対話行為も付与されている. 対話行為は簡略化した 9 種類で，作業者 1 名で簡易的に付与した.

これらの全てを含む eaf (ELAN annotation fomat) ファイルを対話ごとに作成し，公開して いる. ELAN (Wittenburg et al. 2006) で閲覧・分析できる。画面表示の例を図 2 に示す.

## 3.3 対話ごとのアンケート

実験開始前と実験終了後にアンケートを行った．会話者の対人コミュニケーション認知に関 する 18 項目 (木村他 2005)を，対話の開始前と終了後に実験参加者に対して尋ねた．各項目は 8 段階である。またWizard も，この 18 項目を簡略化した 3 項目に対して同様に回答した.

Hazumi1911 以降では，対話終了後に，対話相手のエージェントを人間が操作していたことに 気づいた度合と，各実験参加者の性格特性を調査した，性格特性の調査には，ビッグファイブ の 5 特性を 10 項目で測定する日本語版 TIPI-J(小塩 他 2012)の質問文を利用した.

## 3.4 実験用ダンプファイル

簡便に機械学習の実験が行えるように，マルチモーダルセンサデータの処理結果をダンプした ファイルも公開している。対話（実験参加者）ごとの CSVファイルであり, 各行が交換, 各列 が時刻情報やアノテーション結果, 特徴量に対応する。特徴量は各センサ情報の処理結果であ り, 韻律, 顔表情, 動作（対面収録のみ）, 言語の各特徴量からなる。特徴量の詳細は, NII-IDR のサイトにある概要説明ドキュメントや Githubの README を参照されたい.

## 4 倫理的配慮

収集したデータは顔画像などの個人情報を含む。テキストコーパスは単純に Webに置くなど して公開できるが，個人情報を含むデー夕を配布するには倫理的配慮が必要である.

データは同意書に同意した者のみから収集した。収集したデータを研究者に対して研究開発目的で配布できることも，同意書に明記されている ${ }^{6}$. デー夕公開への同意を得る必要があるこ とから未成年者は対象外とした。また収録したデータの中には, 住所など個人の属性が特定さ れ得る表現を含む発話や, 個人の信条嗜好を表明している発話が一部存在した. これらの部分 に対しては，配布に際して，音声を無音化し，書き起こしテキストを伏字にするなどした。

上記の倫理的な配慮から, 同意書に記載されている条件を遵守する旨を含む覚書を, 利用者 が所属する組織の代表者との間で交わすことにしている，組織の代表者とされているのは，異動などにより利用者と連絡が取れなくなるリスクを考慮したためである。やや慎重な設定であ り，利用開始時に手間が必要にはなっているが，是非多くの方に利用していただきたい7.

## 謝 辞

データの配布には, 国立情報学研究所 大須賀智子氏にご尽力いただた。本研究の始点と なった人工知能学会 SIG-SLUD 研究会「人システム間マルチモーダル対話共有コーパス構築グ ループ」のメンバー各位に感謝する。本研究の一部は, JSPS 科研費 19H05692, 19H04171，お よび，物質・デバイス領域共同研究拠点共同研究プログラムの支援を受けた。

本稿は, 日本音響学会誌に掲載された記事 (駒谷 2022 )を基に加筆・再構成したものである.

## 参考文献

Busso, C., Bulut, M., Lee, C.-C., Kazemzadeh, A., Mower, E., Kim, S., Chang, J. N., Lee, S., and Narayanan, S. S. (2008). "IEMOCAP: Interactive Emotional Dyadic Motion Capture Database." Language Resources and Evaluation, 42 (4), pp. 335-359.

Carletta, J. (2007). "Unleashing the Killer Corpus: Experiences in Creating the Multi-everything AMI Meeting Corpus." Language Resources and Evaluation, 41 (2), pp. 181-190.

Janin, A., Baron, D., Edwards, J., Ellis, D., Gelbart, D., Morgan, N., Peskin, B., Pfau, T., Shriberg, E., Stolcke, A., and Wooters, C. (2003). "The ICSI Meeting Corpus." In Proceedings of IEEE-ICASSP, pp. I-364-I-367.

木村昌紀, 余語真夫, 大坊郁夫 (2005). 感情エピソードの会話場面における表出性ハロー効果 の検討. 感情心理学研究, 12 (1), pp. 12-23. [M. Kimura et al. (2005). Expressivity Halo Effect in the Conversation about Emotional Episodes. The Japanese Journal of Research on Emotions, 12 (1), pp. 12-23.].

駒谷和範 (2018). 円滑な対話進行のための音声からの情報抽出. 電子情報通信学会誌, 101 (9), pp. 908-913. [K. Komatani (2018). Obtaining Information from Spoken Utterances for Smooth Dialogues. The Journal of the Institute of Electronics, Information and Communication Engineers, 101 (9), pp. 908-913.].

駒谷和範 (2022). マルチモーダル対話コーパスの設計と公開. 日本音響学会誌, 78 (5), pp. 265-270.

[K. Komatani (2022). Design and Release of a Multimodal Dialogue Corpus. The Journal of the Acoustical Society of Japan, 78 (5), pp. 265-270.].

Komatani, K. and Okada, S. (2021). "Multimodal Human-Agent Dialogue Corpus with Annotations at Utterance and Dialogue Levels." In Proceedings of ACII, pp. 1-8.

Kottur, S., Moon, S., Geramifard, A., and Damavandi, B. (2021). "SIMMC 2.0: A Task-oriented Dialog Dataset for Immersive Multimodal Conversations." In Proceedings of EMNLP, pp. 4903-4912.

大須賀智子, 大山敬三 (2022). 国立情報学研究所「情報学研究データリポジトリ (IDR)」の紹介.自然言語処理, 29 (3), pp. 986-990. [T. Ohsuga and K. Oyama (2022). Introduction about NII Informatics Research Data Repository (IDR). Journal of Natural Language Processing, 29 (3), pp. 986-990.].

小塩真司, 阿部晋吾, カトローニピノ (2012). 日本語版 Ten Item Personality Inventory (TIPI-J)作成の試み. パーソナリティ研究, 21 (1), pp. 40-52. [A. Oshio et al. (2012). Development,

Reliability, and Validity of the Japanese Version of Ten Item Personality Inventory (TIPI-J).

The Japanese Journal of Personality, 21 (1), pp. 40-52.].

Wittenburg, P., Brugman, H., Russel, A., Klassmann, A., and Sloetjes, H. (2006). "ELAN: a

Professional Framework for Multimodality Research." In Proceedings of LREC, pp. 17-20.

## 略歴

駒谷 和範：1998 年京都大学工学部情報工学科卒業. 2000 年同大学院情報学研究科知能情報学専攻修士課程修了. 2002 年同研究科博士後期課程修了. 京都大学博士 (情報学). 同年京都大学大学院情報学研究科助手, 同助教, 2010 年名古屋大学大学院工学研究科准教授を経て, 2014 年より大阪大学産業科学研究所教授. 言語処理学会, 人工知能学会, 情報処理学会, 電子情報通信学会, $\mathrm{ACM}$ 各会員.

岡田 将吾：2003 年横浜国立大学工学部知能物理工学科卒業. 2005 年東京工業大学大学院総合理工学研究科知能システム科学専攻修士課程修了. 2008 年同研究科博士後期課程修了. 東京工業大学博士 (工学). 同年京都大学大学院情報学研究科特定助教, 2011 年東京工業大学大学院総合理工学研究科助教を経 て, 2017 年より北陸先端科学技術大学院大学准教授. 人工知能学会, 電子情報通信学会, ACM, IEEE 各会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 要約データの適切性定量化を利用したカリキュラムラーニング

狩野 竜示 ${ }^{\dagger \dagger \dagger}$ ・谷口 友紀 $\dagger \cdot$ 大熊 智子 $\dagger$
}

教師あり要約モデルの研究においては, タイトルを本文の要約とみなし学習データと するのが一般的であるが，これらはノイズ，すなわち不適切な本文一要約ペアを多く 含む。本研究では，カリキュラムラーニングを用いてこうしたノイズを含むデータ から効率的に要約モデルを学習させる手法を検討する。 カリキュラムラーニングは 学習データを難易度やノイズの量などを表す指標に従ってソートし, 段階的な学習 を行うことで性能を向上させる手法であり, ノイズを含むデータの学習にも有効で ある. 本研究の目的の 1 つは, これまで検証されてこなかったカリキュラムラーニン グの要約タスクへの有効性を検証することである。翻訳タスクの先行研究では，ノ イズの多いコーパスと少ないコーパスから学習されたモデルでノイズ定量化を行っ たが, 要約分野にそうしたコーパスは存在しない. 本研究のもう 1 つ目的は, 単一コーパスからノイズを定量化してカリキュラムラーニングに適用する手法を提案 することである。提案モデルである Appropriateness Estimator は, 本文一要約の正 しいぺアと，ランダムに組み合わせたぺアを分類するタスクによって学習され，本文一要約ペアの適切性を計算する。本研究では 3 つの要約モデルで実験を行い。カ リキュラムラーニング及び提案手法が要約モデルの性能を向上させることを示す. キーワード：要約, 生成型要約, 生成, ノイズ, カリキュラムラーニング, ニューラルネッ トワーク, Transformer, BART
## Quantifying Appropriateness of Summarization Data for Curriculum Learning

\author{
Ryuji Kano ${ }^{\dagger, \dagger \dagger}$, Tomoki Taniguchi ${ }^{\dagger}$ and Tomoko Ohкuma $^{\dagger}$
}

Previous research of summarization models regards titles as summaries of source texts. However, much research has reported these training data are noisy. We propose an effective method of curriculum learning to train summarization models from noisy data. Curriculum learning is a method to improve performance by sorting training data based on difficulty or noisiness, and is effective to training models with noisy data. However, previous research never applied curriculum learning to summarization tasks. One aim of this research is to validate the effectiveness of curriculum learning to summarization tasks. In translation tasks, previous research quantified noise using two models trained with noisy and clean corpora. Because such corpora do not exist in summarization fields, it is difficult to apply this method to summarization tasks.

Another aim of this research is to propose a model that can quantify noise using a single noisy corpus. The training task of the proposed model, Appropriateness Estimator is to distinguish correct source-summary pairs of from randomly assigned pairs. Throughout the training, the model learns to compute the appropriateness of source-summary pairs. We conduct experiments on three summarization models and verify curriculum learning and our method improves the performance.

Key Words: Summarization, Abstractive Summarization, Generation, Noise, Curriculum Learning, Neural Network, Transformer, BART

## 1 はじめに

ニューラルネットワークを利用した Sequence-to-sequence モデルの発展により，生成型自動要約の性能は飛躍的に向上した. Sequence-to-sequence 要約モデルの学習においては, 新聞記事 (Nallapati et al. 2016) であれば見出し, ソーシャルメディア (Kim et al. 2019) やレビュー (Li et al. 2019) であればタイトル,メール (Zhang and Tetreault 2019) であれば件名を要約とみな して使用する。これらの要約は本文に書かれた内容の重要な箇所を適切かつ簡潔に記述してい ることが望ましい. しかしながら，過去の多くの研究が要約モデルの学習データセットには不適切な本文一要約ぺアが多く含まれることを報告している (Zhang and Tetreault 2019; Li et al. 2019; Kryscinski et al. 2019; Matsumaru et al. 2020). 具体例を表 1 に示す. 例は Reddit Title データ (Kim et al. 2019), Enron Subject データ (Zhang and Tetreault 2019) から引用したもの である。表の上段の例では本文にはタイトルの続きが書かれており，夕イトルは本文に書かれ ている内容を反映していない，下段の例では，件名は簡潔すぎて情報不足であり，要約として の体裁を成していない。こうしたノイズを含むデータセットに対処する方法が求められている.

 &  & just happened will update with further details as they \\
emerge

表 1 タイトル，件名が本文の要約として不適切な例

ノイズを含むデータから効率的にモデルを学習させる方法の 1 つとしてカリキュラムラーニ ング (Bengio et al. 2009) が用いられている. カリキュラムラーニングは元来, 学習データの順序を変えることで，収束速度やモデルの性能を上げる手法であるが，ノイズを含むデータでモ デルを学習させる際にも有効性が示されている (Wang et al. 2018, 2019; Kumar et al. 2019). し かしながら，これまでカリキュラムラーニングは要約タスクに応用されてこなかった. 本研究 の目的の1つはカリキュラムラーニングの要約タスクへの有効性を検証することである.

カリキュラムラーニングにおける学習データの順序の変更には, ノイズの量や難易度を表す指標が通常用いられる。学習はノイズの多いデー夕群あるいは難易度の低いデータ群から始まり,徐々にノイズの少ないものあるいは難易度の高いものに移行する.ソートの際に使用する指標 として，文生成タスク (Cirik et al. 2016) や翻訳タスク (Kocmi and Bojar 2017; Platanios et al. 2019; Zhou et al. 2020)においては, 出力文の長さが難易度の指標として用いられている。ノイ ズを表す指標として，翻訳タスクにおいて 2 つの生成モデルの尤度差を用いて，カリキュラム ラーニングに適用した研究がある (Wang et al. 2018, 2019; Kumar et al. 2019). 2つの生成モデ ルはノイズの少ないコーパスとノイズの多いコーパスでそれぞれ学習した Sequence-to-sequence モデルである.ここではノイズは翻訳元の文章と翻訳先の文章で対応の取れない情報を指して いる.

要約分野においては, 新聞記事などのデータセットはソーシャルメディアやメールのデータ セットに比べてノイズが少ないと考えられる。 しかし, 要約データは要約の長さ, Density（要約箇所が本文の全体か, 一部分かを示す指標), 圧縮率, 抽出率（要約の単語が本文に含まれる 割合）などの性質がデータセットによって大きく異なる (Zhong et al. 2019). 異なるデータセッ トで学習したモデルは, ノイズのみでなく, こうした性質を考慮したモデルになってしまう問題がある。そのため, 先行研究 (Wang et al. 2018, 2019; Kumar et al. 2019)を要約モデルに適用する場合, 同じドメインでノイズの多寡のみが異なるデータセットが必要になるが, こうし たデータセットは存在しない。そこで本研究のもう1つの目的として，ノイズを含む単一コー パスからノイズを定量化してカリキュラムラーニングに適用する手法を提案する.

本研究では, ノイズを含む単一コーパスからノイズを定量化できるモデル Appropriateness Estimator を提案する．本モデルは本文一要約の正しいぺアと，ランダムに組み合わせたぺアを 分類する。ランダムに組み合わせたぺアの要約は本文の内容を反映していない不適切なもので ある。不適切なぺアと実際のぺアを分類するように学習することで, Appropriateness Estimator は本文一要約ぺアの “適切性” が判別可能になる。この適切性をカリキュラムラーニングに適用する。すなわち，適切性をデータのソートに使用し，要約モデルの学習時，学習データを不適切なぺアから適切なぺアへと徐々に変化させる.

本研究ではノイズを多く含む要約のデータセットとして，2つのデータセットで実験を行っ た. Enron Subject データセット (Zhang and Tetreault 2019) と Reddit Title データセット (Kim
et al. 2019) である. 両者とも学習データにはノイズが多く含まれるが, Enron Subject データ セットの開発データセットと評価データセットは，人手により整理されたものである。一方 Reddit Title データセットの開発データセット，評価データセットはノイズを含む生のデータ セットである.

本研究では, 要約タスクに対するカリキュラムラーニングの有効性と, 提案手法の効果を検証するため, 3 つの要約モデルと 3 つのカリキュラムで実験を行う. 要約モデルには, 事前学習要約モデルと非事前学習要約モデルを用いる。事前学習モデルとして BART (Lewis et al. 2020), 非事前学習モデルとして Transformer (Vaswani et al. 2017) と Seq2seqWithAttention (Bahdanau et al. 2015)を採用する。実験において，カリキュラムラーニングおよび提案手法で ある Appropriateness Estimator は事前学習モデル, および非事前学習モデル両方の性能を改善 した。

カリキュラムラーニングに用いられるカリキュラムにはいくつかの種類が存在する. 学習デー 夕を徐々に変更するもの, 学習データを徐々に増やしていくもの, 学習データを徐々に減らし ていくものなどがある．実験結果から，事前学習モデルに有効なカリキュラムと非事前学習モ デルに有効なカリキュラムが異なることが判明した，事前学習モデルにとっては，終盤に少数 のデータで Fine-tuning を行うカリキュラムが有効であり, 非事前学習モデルにとっては序盤に 多数のデータで汎化を行うことが有効であった。 また, 人手による評価を行い, 提案手法であ る Appropriateness Estimator をカリキュラムラーニングに適用した方法が要約モデルの性能を 向上させることを示した.

要約のデータの性質の評価に, 抽出率（要約の単語が本文に含まれる割合） (Kim et al. 2019) や，含意判定確率 (Matsumaru et al. 2020) がこれまで用いられてきた. 本研究で提案した適切性をこれらの性質や入力長, 出力長などの統計量と比較し, 適切性の性質を議論する。加えて これまでカリキュラムラーニングに用いられてこなかった上記抽出率や含意判定確率が要約夕 スクにおけるカリキュラムラーニングに対して有効であることを示す。本論文の貢献は以下で ある.

・ 3 つの要約モデルでカリキュラムラーニングの実験を行い, カリキュラムラーニングの 要約タスクに対する有効性を示した.
- 単一のノイズを含む学習データから学習可能な, 入力文と出力文の適切性を計算するモ デル Appropriateness Estimator を提案し, 実験により要約モデルの性能を向上させるこ とを確認した。
- 異なるカリキュラムが事前学習モデル, 非事前学習モデルの性能にどのような影響を与 えるかを分析した。

## 2 関連研究

カリキュラムラーニングは学習データの順序を変更することで収束速度やモデル性能を上げ る手法である (Bengio et al. 2009). 過去の研究 (Cirik et al. 2016) はこれを文生成タスクに応用 し， 2 種類のカリキュラムを提唱した. Baby step カリキュラムと One-Pass カリキュラムであ る. 後続の研究がカリキュラムラーニングを翻訳タスクに応用したが (Kocmi and Bojar 2017; Platanios et al. 2019; Wang et al. 2019; Zhou et al. 2020), 要約タスクに応用した研究はこれま で存在しなかった。

カリキュラムラーニングは元来, 難易度で学習データをソートする手法であった. しかし, 近年ではノイズの多さでソートを行う手法が提唱されている. Wang et al. (2018)は, 2 のモデ ルを使って学習データのノイズを定量化する手法を提案した. 同様のノイズ定量化手法を使い, Kumar et al. (2019) は強化学習を用いて学習に適している学習データのセグメントを適宜選択 していく手法を提案した。要約分野においては, 同じドメインでノイズの多寡が異なるコーパ スは存在しないため, これらの手法を要約モデルに適用することはできない。そのため, 本稿 ではノイズを含む単一コーパスからノイズを定量化する手法を提案する.

Sequence-to-sequence 要約モデルの学習においては一般に, 見出し, タイトル, 件名などを要約とみなして学習する。しかしながら, これらのデータの内, メールやソーシャルメディアの 件名およびタイトルは, 非公式な場や, 匿名性の高い場で書かれたものであるため, 品質が担保 されていない. Zhang et al. (2019) はメールの件名を生成する夕スクを提唱したが，元の Enron コーパスに含まれている件名がノイズを多く含んでいたため，新たにノイズの少ない評価デー タセットを構築している. Li et al. (2019) は, ルールや分類モデルを使ってレビューデータの ノイズをフィルタリングした．新聞記事の見出しは，新聞社が不特定多数の読者に公開するも のであるため, 比較的要約として適切なものが多いものの, 本文から推測が不可能な情報が含 まれることが指摘されており，含意判定モデルによってそうしたデータをフィルターする手法 が提案されている (Matsumaru et al. 2020).

## 3 手法

本節ではまずカリキュラムラーニングの説明を行い, その後, 提案手法である Appropriateness Estimator の説明を行う。カリキュラムラーニングは，学習データをある指標に基づいてソー トして学習する手法であるが，その指標には難易度を表す指標やノイズ量を表す指標が使われ る. 提案手法である Appropriateness Estimator は後者のノイズ量計算のために使われる. カリキュラムラーニングリキュラムラーニングの概要を図 1 に示す. カリキュラムラーニ ングではまず, ある指標（e.g. ノイズの少なさ, 出力長など）に基づいて学習デー夕を昇順に

図 1 カリキュラムラーニングの概要.

ソートする．次に，学習データをセグメントごとに分割する。分割したセグメントを使ってど のように学習を進めるかに応じて複数のカリキュラムが提案されている.

One-Pass カリキュラム (Cirik et al. 2016) は最も簡単な，あるいは最もノイズが多いセグメ ントから学習を開始し，モデルが収束すると，学習データとして次のセグメントのデータを使用する. Baby step カリキュラム (Cirik et al. 2016) は最も簡単な，あるいは最もノイズが多い セグメントから学習を開始し, 徐々に学習データを増やしていく. これら 2 つのリキュラム は少量のデータから学習を開始する。そのため, 過学習を引き起こすリスクが存在する。過学習への対処のため, 最初に全てのデータで学習を行い, 徐々にデータを減らしていくカリキュ ラムでも実験を行う．これを Noise-Annealing カリキュラムと呼称する。いずれのカリキュラ ムにおいても， セグメント単位での学習を終える度，モデルのパラメータを保存し, 開発デー タでの評価値が下がった場合には, 最後に保存したパラメータに戻した後, 次のセグメントで の学習を開始する。

Appropriateness Estimator 本稿では Appropriateness Estimator を提案する。本モデルは ノイズを含む単一コーパスから学習可能な, ノイズを定量化するモデルである. 図 2 にモデル の概要図を載せる，1節で述べたように，要約モデルの学習データには要約として不適切なも のが含まれる。ここで言う不適切とは，本文から推測が難しい情報や本文と無関係な情報が含 まれているものや，記述が漠然としていて情報量に欠けているものを指す。提案モデルは本文 と要約が実際の対であるかを学習することによって，本文と要約の適切性を定量化する。要約

図 2 Appropriateness Estimator の概要図と要約モデル学習への適用.

モデルの学習データに存在する本文 $s_{i}$ と要約 $t_{k}$ のペアを正例とし，ランダムにサンプリングさ れた本文 $s_{i}$ と要約 $t_{k}$ のペアを負例とする．ラベルを $c$ とし， ラベルが正の時 $c=1$ であり, 負 の時 $c=0$ とする. 本モデルの学習タスクは本文-要約ぺアのラベル $c$ の正負を予測すること である。要約モデルの学習データに含まれるぺアは全て正例とみなすが， 1 節で説明したよう に，それらは不適切なぺアを含む． Early Stopping は一般に過学習を防ぐ目的で使われている 手法であるが，ノイズデータに対する過学習を防ぐことにも有効であることが示されている (Li et al. 2020). 本研究でも, 同様に Early Stopping を利用することでモデルがノイズデータに過学習することを防ぐ. モデルの出力確率を $p\left(c \mid s_{i}, t_{k}\right)$ とし, 損失関数 $L$ は以下のようにクロス エントロピーを用いて計算する。

$
\mathcal{L}_{r e p}=-c \log p\left(c \mid s_{i}, t_{k}\right)-(1-c) \log \left(1-p\left(c \mid s_{i}, t_{k}\right)\right)
$

学習後のモデルの出力確率 $p\left(c=1 \mid s_{i}, t_{k}\right)$ をぺアの適切性と呼称する. ここで, $p\left(c=1 \mid s_{i}, t_{k}\right)$ が高いぺアは低ノイズであり $p\left(c=1 \mid s_{i}, t_{k}\right)$ が低いぺアは高ノイズであることを仮定している.要約の学習データ全てを Appropriateness Estimator に入力し, 適切性を計算する. ここで $c=0$ のデータ，すなわちネガティブサンプリングにより得られたぺアは含めず，元々の要約データ に存在するぺアのみを利用する。適切性に基づき学習データをソートし, カリキュラムラーニ ングを適用する。

## 4 実験

## 4.1 データセット

Enron Subject データセット Enron データセット (Klimt and Yang 2004) は Enron Corporation の従業員のメールを集めたデータセットである. Zhang et al. (2019)はこれらのデータを 件名生成タスク用に整理した。元のデータセットは評価に使用するにはノイズが多かったため,彼らは適切な件名を人手で再度アノテーションし, 開発データセットと評価データセットを構築した．学習データとして 14,436 の件名とメールの本文を使用する。開発データセットとして 1,906 件，評価データセットとして 1,960 件のデータを使用する.

Reddit Title データセット Reddit Titleデータセット (Kim et al. 2019) はソーシャルメディア である Reddit のデータセットである. データは, Redditの TIFU と呼ばれる掲示板 (Subreddit) から収集されたものである。TIFUは “today i $\mathrm{f}^{* * *} \mathrm{up}$ の略であり, 投稿される文書は投稿者の 失敗経験についてのものである。各投稿のタイトルを要約とみなし, 要約の学習データとして 使用する。学習データとして 71,113 件, 開発データおよび評価データセットとして, 各 3,951 件のデータを使用する。

## 4.2 モデル

Appropriateness Estimator 本稿では Appropriateness Estimator として Decomposable Attention (Parikh et al. 2016) を利用する。単語 Embedding の初期値として GloVe 1 を使用する. Embedding と隠れ層の次元はそれぞれ 300 と 200 とする. 学習に使うエポック 数は 20 とする.

1 節と 3 節で説明したように，ランダムに割り当てた本文と出力文のぺアを負例とし，元々の 要約データセットに含まれるぺアを正例とした．負例の数は正例の数と同数である．すなわち， Appropriateness Estimator の学習デー夕, 開発デー夕の数は要約モデルのそれぞれのデー夕数 の 2 倍となる。開発データセットにおいて最も F1-Score が高くなるエポックのモデルを要約 モデルのカリキュラムラーニングに使用した. 開発データセットにおける, 最も高い F1-Score は Enron データセットで 0.94 , Reddit データセットで 0.92 であった.

要約モデル 本稿では 3 つの要約モデルで実験を行った，その内 1 つは事前学習モデルである BART (Lewis et al. 2020) である。残りの 2 つは, 非事前学習モデルである Transformer (Vaswani et al. 2017) と Seq2seqwithAttention (Rush et al. 2015) である.

Seq2seqwithAttention および, Transformer の隠れ層の次元は共に 256 とする．単語 Embedding の次元は Seq2seqwithAttention が 300, Transformer が 256 である. Seq2seqwithAttention の単語 Embedding の初期值には Appropriateness Estimator と同様に GloVeを使用する. ミニバッチ数
^{1}$ https://nlp.stanford.edu/projects/glove/
}

は 3 つの要約モデルで共に 64 とする. Beam Searchのサイズは 8 とする. Seq2seqwithAttention と Transformer の最適化に Adam を使用した。学習率は 0.0007 とした。BART の最適化には AdamW (Loshchilov and Hutter 2019) を使用した。学習率は 3e-5， $\beta_{1}$ は 0.9， $\beta_{2}$ は 0.999，eps は 1e-8とした.

ランダムシードを変えつつ，同じ実験を 5 回繰り返し，平均值を結果に使用する。評価に は ROUGEの F1 值 (Lin 2004)を使用する. 各セグメントのエポック 毎に Validation を行い, Validation の評価指標には ROUGE-1の F1 値を使用する.

## 4.3 カリキュラムラーニング

カリキュラム 本稿では 4 つの条件下で実験を行う． 3 節で説明した 3 つのカリキュラムラー ニングを使ったものと，カリキュラムラーニングを使わないものである。 セグメント数として， 5 と 10 で実験を行った. 学習データの各セグメント内のデータはシャッフルする.

データのソートに使用する指標 学習データをソートする指標として以下の 2 つを使用する.提案指標である適切性と, 出力長である。出力長は難易度を表す指標として, カリキュラムラー ニングで一般的に使われる指標である (Cirik et al. 2016; Platanios et al. 2019; Wang et al. 2019; Zhou et al. 2020). 本研究では, 出力長は生成対象の要約文の単語数を指す.

## 5 結果

本節では，1 節で述べた本研究の目的であるカリキュラムラーニングの要約タスクへの有効性と，提案手法である Appropriateness Estimator の有効性の検証結果について述べる.

## 5.1 カリキュラムラーニングの要約タスクへの有効性

自動評価 表 2 に， 3 種のカリキュラムラーニングを要約モデルの学習に用いた場合と, 用いな かった場合の実験結果を載せる。評価は自動評価指標である ROUGEを用いて行った．各モデ ル各データの最も高い性能 (モデル 1) は太字で記されている。†は同モデル同デー夕内で 2 番目 に性能が高いもの（モデル 2）との有意差を示している $(\mathrm{p}<0.05)$. 有意差検定には, Bootstrap Resampling (Koehn 2004) を使用した. テスト時のモデルの出力の件数の半分に当たる回数, ラ ンダムに結果を重複ありでサンプリングし，モデル 1 とモデル 2 の結果を比較する。これを 1000 回繰り返し, 950 回以上モデル 1 がモデル 2 の性能を上回った場合, 有意とみなす. いずれのモ デル，データにおいても，カリキュラムラーニングを使ったモデルが最も高い性能を示してお り，要約タスクにもカリキュラムラーニングが有効であることが確認された.

人手評価 本稿では 2 つの BART モデルで人手評価を行った。 1 つは Noise-Annealing カリキュ ラムおよび適切性で学習されたものであり，もう1つはカリキュラムラーニングなしで学習さ

} & 適切性 & 0.271 & 0.132 & 0.239 & 0.315 & 0.167 & 0.270 \\

表 2 カリキュラムラーニングを使った要約モデルの実験結果. 適切性は Appropriateness Estimator の出力確率を表す. R-1-F, R-2-F, R-L-F はそれぞれ ROUGE-1, ROUGE-2, and ROUGE-L の F1 值 である。各モデル各データの最も高い性能は太字で記されており，†は同モデル同デー夕内で 2 番目に性能が高いものとの有意差を示している $(p<0.05)$. 有意差検定には, Bootstrap Resampling (Koehn 2004) を使用した.

れたものである. 両モデルで生成された要約が同じである場合，それを除去し，計 90 の生成要約を Enron データセット，Redditデータセットそれぞれに対して得た. アノテーターはどちら の要約が良いかを情報量, 流暢性の観点から評価する。情報量は生成要約が本文の重要な情報 をどの程度含んでいるかを表しており，流暢性は文法の観点から生成された文が正しいかを判断する。表 3 に結果を示す。表は, Noise-Annealing と適切性で学習されたモデルは情報量, 流暢性両方の観点でより高い評価を得たことを示している。統計的な有意性を評価するため，“良 い”と“どちらかといえば良い”の票数を統合し $\chi$ 二乗検定を行った.

表 3 人手評価の結果. CL ありは Noise-Annealing カリキュラム使用時の結果を指し, CL なしはカリ キュラムラーニング無しの結果を指す。† and ‡は，BART（CLあり）が “良い”と“どちらかと いえば良い”の票を多く得る確率を $\chi$ 二乗検定で検定したものである († $p<0.01, \ddagger p<0.05)$.

## 5.2 Appropriateness Estimator の有効性

Appropriateness Estimator の適切性を利用したカリキュラムラーニングは， 3 つのモデル全 てで，カリキュラムラーニングなしのモデルと比べ，性能を向上させた. 出力長を利用した力 リキュラムラーニングと比較した場合，適切性を利用した場合は Enron Subject デー夕におい てより上げ幅が大きかった。これは, Reddit Title データセットでは, テストデータが学習デー 夕同様未整備であるのに対し, Enron Subject データのテストデータが，人手で整備されたノイ ズの少ないデータであることに関係していると考えられる。適切性を用いたカリキュラムラー ニングは， Noise-Annealing カリキュラムと One-Pass カリキュラムの場合，学習の終盤におい てノイズの少ないデータで学習を行う。これにより，学習モデルが低ノイズの高品質なデー夕 に Fine-tuning されているため, より低ノイズのテストデータセットにおいて性能を発揮すると 考えられる。

## 6 考察

本節では, 本実験で用いた 3 つのカリキュラムが与える性能への影響, 翻訳タスクとの相違点, 適切性の性質について議論する.

## 6.1 カリキュラムごとの相違点

今回本研究では, 3 種類のカリキュラムで実験を行った. One-Passカリキュラムおよび NoiseAnnealing カリキュラムは学習の終盤で少数のデータで Fine-tuning を行い, Noise-Annealing カ リキュラムは学習の初期に多様なデータでの汎化を行うという特徴がある。こうしたカリキュ ラムの特徵と, カリキュラムラーニングなしと比べた際の要約モデルの性能に与える影響のま とめを表 4 に載せる. One-Pass および Noise-Annealing カリキュラムは BART モデルの性能を 向上させたが, Baby stepカリキュラムは性能を悪化させた. 考えられることは, BART は事前

 &  &  &  \\

表 43 3つのカリキュラムの特徴とカリキュラムラーニングなしと比べた場合の性能差.

学習モデルであるため, 改めて汎化を行う必要はなく, Fine-tuningが重要であるという点であ る. 非事前学習モデルにおいては Noise-Annealing カリキュラムのみが要約モデルの性能を向上させた. これは, 事前学習モデルとは対照的に, 非事前学習モデルにとっては汎化が重要で あることを示唆している.

## 6.2 翻訳タスクとの相違点

Baby step カリキュラムは, 徐々に学習データを増やしていくカリキュラムである。過去の 翻訳夕スクにおける研究では出力長を同様のカリキュラムに使用し, 翻訳モデルの性能を向上 させた (Kocmi and Bojar 2017; Platanios et al. 2019; Zhou et al. 2020) が，本稿の実験設定では 要約モデルの性能は低下した。

要約タスクと翻訳タスクの出力文の違いとして，翻訳タスクでは，出力文の質と出力文の文長に相関はないが，要約タスクではその限りではないということである。翻訳タスクにおいて は, 出力文は入力文の長さに比例するため, 入力文が短い場合は必然的に出力文も短くなり, 翻訳の正確性には関係がない. しかしながら, 要約タスクにおいては, 出力文と入力文は比例せ ず，短すぎる要約は十分な情報を含んでいないと考えられる。 そのため, 少数のデータで学習 をはじめる Baby step カリキュラムおよびOne-Pass カリキュラムを非事前学習モデルに適用し た場合, 低品質データに対する過学習を引き起こし, 性能が低下すると考えられる.

## 6.3 適切性が高い／低い本文一要約ペアの具体例

表 5, 6 に適切性が高い，あるいは低い入力文（本文）と出力文（要約）のペアの例を載せる.表にある適切性の低い例の出力文は本文にない情報を含んでいることがわかる．表 6 の下段の 例では，適切性が低いぺアにおいて，出力文の続きが入力文に書かれており，出力文の情報が入力文に書かれていない，対照的に，適切性が高いぺアでは出力文は本文の内容を反映している.

## 6.4 適切性の表す性質

本節では，適切性が表す性質について議論する６６２節で述べたように，要約タスクにおける 出力長はノイズの量と相関すると考えられるが, ノイズの量そのものではない. 表 5 や表 6 で

 &  & 0.99 \\

表 5 適切性が高い／低い本文-要約 (Subject) ペアの例（Enron Subject データセット）.

 &  \\

表 6 適切性が高い／低い本文-要約 (Title) ペアの例（Reddit Title データセット）.
示した例のように, 出力長が長くてもノイズとみなせる要約も存在する。本節では適切性を,他にノイズと相関すると考えられる 4 つの性質と比較して議論する。その内の 2 つは, 入力長 と出力長である。 3 つ目は一致する単語の割合である. Appropriateness Estimator は, 本文一要約ペアの適切さを一致する単語によって判定している可能性が高い。要約に含まれる単語が 本文に含まれる割合を抽出率と定義し, 抽出率と適切性との関係性について議論する． 4 つ目 は含意関係である。松丸ら (Matsumaru et al. 2020) は，含意判定器を用いて要約データのフィ

と適切性とのピアソンの相関係数を表 7 に載せる。

また，上記 4 つの内，入力長，抽出率，含意確率を用いてカリキュラムラーニングを行った 際の結果を表 8 に載せる。この時, カリキュラムとして用いたのは，表 2 の実験で有効であっ た One-Pass カリキュラムと Noise-Annealing カリキュラムである。要約モデルには最も性能の 高い BART を使用した，表 2 の実験と同様に，実験はランダムシードを変えて 5 回行った際の 平均値を載せる．有意差検定は，表 2 の実験と同様 Bootstrap Resampling (Koehn 2004)を用い て行う $(p<0.05)$.

適切性と入力長および出力長との関係 表 7 より, 適切性と, 入力長及び出力長との相関係数 は 0.2 未満であった。これは, 適切性が入力長や出力長とは異なるテキストの性質を表してい ることを示している。表 5 および表 6 に示したように，要約のデータセットには，本文や要約 が短くない場合にも要約として不適切なものが含まれる。また，表 8 より，入力長をカリキュ ラムラーニングの指標として用いた場合の性能は, 他の指標と比べて悪くなった. これは入力長と要約データとしての適切さが比例しないことを示唆している.

適切性と抽出率との関係 Appropriateness Estimator は, 本文と要約のペアの正しさを学習し ている，そのため，要約に含まれる単語が本文に含まれるかを元に判定している可能性が高い. そこで，要約に含まれる単語が本文に含まれる割合（これを抽出率と呼称する）と適切性の関係性を議論する。抽出率と適切性のピアソン相関係数は，表 7 にあるように高い。これは，適切性が単語の一致率を反映していることを示す。ただし, 適切性が抽出率に比べ有利な点は単語の一致だけではなく, 関連する単語に着目できる点と, 一般的すぎる単語の重要度を相対的 に下げられる点である. Appropriateness Estimator は他の異なる要約を負例として判別するよ う学習するため, 要約の内容が一般的で情報量が少ない場合, 他の本文にも含まれる可能性が

表 7 適切性と各統計量との相関係数（ピアソン）

} & 適切性 & 0.271 & 0.132 & 0.239 & 0.315 & 0.167 & 0.270 \\

表 8 入力長, 抽出率, 含意確率をカリキュラムラーニングを適用した要約モデルの実験結果. 各モデル 各データの最も高い性能は太字で記されており, †は同モデル同デー夕内で適切性以外で最も性能 が高いものとの有意差を示している $(p<0.05)$. 有意差検定には, Bootstrap Resampling (Koehn 2004)を使用した.

 & & \\

表 9 抽出率が高いが，適切性が相対的に低い本文一要約ペアの例（Reddit Titleデータセット）.

高くなり，正しい要約と誤った要約の区別がつきにくくなる。そのため, こうした本文一要約 ペアには相対的に低い適切性が与えられる。表 9 にある例の抽出率は高いが，書かれている内容が一般的で情報量を欠いているため, 適切性が相対的に低くなっている。適切性は全体的に 高い数値であるため, この数値は全体の下位 $23.2 \%$ に該当する.

抽出率をカリキュラムラーニングに適用した場合の結果を表 8 に載せる。抽出率は NoiseAnnealing カリキュラムにおいては, 適切性と同等の性能であったが, One-Pass カリキュラム においては適切性が有意に上回った。これは前述した点で適切性が抽出率に比べ有利であるか らと考えられる。また，抽出率を使った結果は，カリキュラムラーニングを使わない場合の性能を上回っており，この実験結果はこれまでカリキュラムラーニングに用いられて来なかった 抽出率が要約タスクにおいて有効であることを示している.
適切性と含意確率との関係 松丸ら (Matsumaru et al. 2020) は, 含意判定器を用いて要約学習データセットから不適切な本文と要約のペアを除去した。含意確率と適切性の関係性につい ても本節で議論する。含意判定器には, 松丸ら (Matsumaru et al. 2020) と同様に, RoBERTa (Liu et al. 2019) を Multi-Genre Natural Language Inference (MultiNLI) データセット (Williams et al. 2018) で学習させたものを使用し，本文が要約を含意する確率を計算する．なお，松丸ら は, MultiNLI で学習させたモデルを, 要約データセットごとに独自にアノテーションしたデー タセットで更に Fine-tuning したモデルを用いているが, 本研究では対象要約データセットが異 なるため, MultiNLI で学習させたモデルを用い, Fine-tuning は行わない.

適切な要約の要件には, 要約の内容が本文にも書かれているという含意性の他に, 本文の重要 な箇所が要約に反映されているべきだという情報量の観点がある. Appropriateness Estimator は一般的すぎて情報量が少ない要約には相対的に低い適切性を与える。これは要約の記述内容 に情報量が少ない場合，本文に対する正しい要約であるか，他の本文に対する要約であるかを 判定するのが難しくなるからである。一方含意判定器は含意性のみを判定するため，こうした 例を除去することはできない，表 10 の上段の例では，含意確率は高くなってしまうが，要約と して適切な情報が含まれているとは言い難い。一方 Appropriateness Estimator は，主語と目的語の逆転や否定肯定の反転などを区別することはできないため含意性に関しては含意判定器が 高性能に行うことができる.

また, 既存の含意判定器は要約データセット向けに作られたものでは無いため, 要約データ セットに対しては適切な含意判定ができないという問題も存在する。一般的に含意判定器は同程度の長さの文同士を比較するが，要約の場合は複数の文にまたがる情報を含意することがあ る. 既存の含意判定学習データセット MultiNLIを用いて学習された含意判定器で含意確率が高 いと判定された本文-要約のぺアは，表 10 の中段の例にあるように，同程度の長さで要約の内容が本文に存在していることが多い。これに対し，下段の例のように複数文にまたがる内容の 要約は含意判定器では含意確率が低いと判定される。含意判定器の確率値と本文の単語数（入力長）とのピアソン相関係数は, Enron Subject データセットにおいて-0.30, Reddit Title デー

すぎる時には，既存の含意判定器が上手く機能しないという仮説を支持している.

先行研究 (Matsumaru et al. 2020) では, 含意判定器を要約データセットのフィルタリングに 使用したが，この時含意判定器は要約データセット向けに新たにアノテーションされたものを用 いて Fine-tuning されており, 正確に要約データの含意性を判定するためには要約データセット に対する含意関係のアノテーションが必要となる。提案手法である Appropriateness Estimator は，このような要約データセットのアノテーションを必要とせず，含意判定器やその学習デー タセットが無い言語に対しても有効である.

表 8 の結果は, 含意確率をカリキュラムラーニングに用いた場合の性能が, Enron Subject

 & 適切性 \\

表 10 含意確率が低い，あるいは高い本文－要約ペアの例（Reddit Title データセット）.

データセット, Reddit Title データセット両方において, 適切性と One-Pass カリキュラムを用 いた場合の性能を有意に下回っていることを示している。これは，前述したように含意確率が 情報量を考慮できない点と, 既存の含意確率モデルが要約データセットに対して必ずしも有効 でないことによると考えられる。一方カリキュラムラーニングを用いない場合に比べ性能は向上しており，これまでカリキュラムラーニングに用いられて来なかった含意確率という指標が，要約データセットに対して有効であることを示している.

## 6.5 どのセグメントで最も高性能となるか？

One-Passカリキュラム, 㧍よびNoise-Annealing カリキュラムは両方とも少量のデータで Finetuning を行う。どのセグメントで最も要約モデルの開発データの評価性能がよくなるかを調査 することで，どのセグメントが最も Fine-tuningに適しているかを明らかにする。

表 11 に開発データセットの評洒性能 (ROUGE-1-F) が最も高くなるセグメントの番号を記 す。モデルには BART を使用する。表には 5 回行った実験の平均値と標準偏差を記してある.

表 11 開発データセットにおける評価指標 (ROUGE-1-F) が最大になるセグメントを表示している. ラ ンダムシードを変えた時の 5 回の実験の平均値と標準偏差を記してある. セグメントの数は 10 で ある.

セグメント数は 10 であり, 10 番目のセグメントが最も出力長が長い, あるいは最も適切性が高 いセグメントである. 出力長を用いてカリキュラムラーニングを行った際, 要約モデルはより 早いセグメントで最も開発データセットにおける評価性能が高くなっているが，提案した適切性を用いた時には，より後段のセグメントで最も評価性能が高くなっている。これは出力が長 すぎるデータは要約モデルの Fine-tuning に適切でないことを示唆している。長過ぎる要約は,情報の取捨選択が適切に行われていないからである。一方, 本稿で提案した適切性は, 高いも のがより Fine-tuning に適した, 要約モデルの学習に適したデータになっていると考えられる。

## 7 結論

本稿では，これまで要約タスクにおいて取り組まれてこなかったカリキュラムラーニングを 要約タスクに適用し，その有効性を検証した，本稿では，実験設定として，3つのカリキュラ ム (One-Pass, Baby step, Noise-Annealing) とカリキュラムを使わない場合で実験を行った. また, 実験対象の要約モデルとして 1 種類の事前学習モデル BART と 2 種類の非事前学習モデ ル Transformer と Seq2seqWithAttention を用いた。結果，非事前学習モデルにおいては NoiseAnnealing カリキュラムのみが要約モデルの性能を向上させた。 また, 事前学習モデルにおいて は One-Pass カリキュラムと Noise-Annealing が性能を向上させた. これらの実験結果から, 少量のデータで Fine-tuning を行うことが事前学習要約モデルに重要であり, 汎化が非事前学習要約モデルにとって重要であることを結論付けた。より効率的に Fine-tuning 対象のデータを探 る手法を考案することが今後の課題である.

また本稿では既存の翻訳タスクで取り組まれてきたノイズを指標にしたカリキュラムラーニ ングを要約タスクに適用することを試みた。その際，要約の学習データには翻訳タスクにある ようなノイズの少ないあるいは多いコーパスが存在しないため, 単一のノイズを含む学習デー 夕から学習可能なノイズ定量化モデル Appropriateness Estimator を提案し, カリキュラムラー ニングの実験を行った，実験においては，テストデータが人手で整備された Enron Subject デー

タセットにおいてより効力を発揮することを明らかにした。本稿で提案した疑似負例により学習したモデルをカリキュラムラーニングに応用する手法は，翻訳タスクや対話タスクにも応用可能だと考えられる.

また, 要約タスクにカリキュラムラーニングを応用する際, 適切性と出力長の他に, 抽出率や 含意判定確率も有効であることを示した．今後の課題はこれらの指標を効果的に組み合わせる 手法を開発することである。今回，ノイズの多い要約データセットに対するカリキュラムラー ニングの有効性を調査したが，新聞記事などのノイズの比較的少ない要約データセットに対す る調査は今後の課題となる.

## 謝 辞

東京工業大学奥村・船越研の奥村先生, 船越先生, 上垣外先生, 学生の皆様及び, 産業技術総合研究所の高村先生には研究の方針に関して様々なアドバイスを頂きました. ここに感謝の 意を表します。本研究は, The 16th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2021) の発表 "Quantifying Appropriateness of Summarization Data for Curriculum Learning" で報告した研究に, 適切性の性質についての追加実験の結果や 考察を加筆し, 修正したものです.

## 参考文献

Bahdanau, D., Cho, K., and Bengio, Y. (2015). "Neural Machine Translation by Jointly Learning to Align and Translate." In Bengio, Y. and LeCun, Y. (Eds.), Proceedings of the 3rd International Conference on Learning Representations, (ICLR 2015).

Bengio, Y., Louradour, J., Collobert, R., and Weston, J. (2009). "Curriculum Learning." In Proceedings of the 26th Annual International Conference on Machine Learning (ICML 2009), pp. 41-48.

Cirik, V., Hovy, E., and Morency, L.-P. (2016). "Visualizing and Understanding Curriculum Learning for Long Short-Term Memory Networks." arXiv preprint arXiv:1611.06204.

Kim, B., Kim, H., and Kim, G. (2019). "Abstractive Summarization of Reddit Posts with Multilevel Memory Networks." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL 2019), pp. 2519-2531.

Klimt, B. and Yang, Y. (2004). "The Enron Corpus: A New Dataset for Email Classification Research." In Proceedings of the 15th European Conference on Machine Learning, pp. 217-226.

Kocmi, T. and Bojar, O. (2017). "Curriculum Learning and Minibatch Bucketing in Neural Machine Translation." In Proceedings of the International Conference Recent Advances in Natural Language Processing, (RANLP 2017), pp. 379-386.

Koehn, P. (2004). "Statistical Significance Tests for Machine Translation Evaluation." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing (EMNLP 2004), pp. 388-395.

Kryscinski, W., Keskar, N. S., McCann, B., Xiong, C., and Socher, R. (2019). "Neural Text Summarization: A Critical Evaluation." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP 2019), pp. 540-551.

Kumar, G., Foster, G., Cherry, C., and Krikun, M. (2019). "Reinforcement Learning based Curriculum Optimization for Neural Machine Translation." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL 2019), pp. 2054-2061.

Lewis, M., Liu, Y., Goyal, N., Ghazvininejad, M., Mohamed, A., Levy, O., Stoyanov, V., and Zettlemoyer, L. (2020). "BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), pp. 7871-7880.

Li, J., Li, H., and Zong, C. (2019). "Towards Personalized Review Summarization via User-Aware Sequence Network." In the 33rd AAAI Conference on Artificial Intelligence, (AAAI 2019), pp. 6690-6697.

Li, M., Soltanolkotabi, M., and Oymak, S. (2020). "Gradient Descent with Early Stopping is Provably Robust to Label Noise for Overparameterized Neural Networks.". Vol. 108 of Proceedings of Machine Learning Research, pp. 4313-4324.

Lin, C.-Y. (2004). "ROUGE: A Package for Automatic Evaluation of Summaries." In Text Summarization Branches Out, pp. 74-81.

Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., and Stoyanov, V. (2019). "RoBERTa: A Robustly Optimized BERT Pretraining Approach." arXiv preprint arXiv:1907.11692.

Loshchilov, I. and Hutter, F. (2019). "Decoupled Weight Decay Regularization." In Proceedings of the 7th International Conference on Learning Representations (ICLR 2019).

Matsumaru, K., Takase, S., and Okazaki, N. (2020). "Improving Truthfulness of Headline Generation." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), pp. 1335-1346.

Nallapati, R., Zhou, B., dos Santos, C., Gulçehre, m., and Xiang, B. (2016). "Abstractive Text Summarization using Sequence-to-sequence RNNs and Beyond." In Proceedings of The 20th SIGNLL Conference on Computational Natural Language Learning, pp. 280-290.

Parikh, A., Täckström, O., Das, D., and Uszkoreit, J. (2016). "A Decomposable Attention Model for Natural Language Inference." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing (EMNLP 2016), pp. 2249-2255.

Platanios, E. A., Stretcu, O., Neubig, G., Poczos, B., and Mitchell, T. (2019). "Competence-based Curriculum Learning for Neural Machine Translation." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL 2019), pp. 1162-1172.

Rush, A. M., Chopra, S., and Weston, J. (2015). "A Neural Attention Model for Abstractive Sentence Summarization." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP 2015), pp. 379-389.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention Is All You Need." In Guyon, I., Luxburg, U. V., Bengio, S., Wallach, H., Fergus, R., Vishwanathan, S., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems 30 (NIPS 2017), pp. 5998-6008.

Wang, W., Caswell, I., and Chelba, C. (2019). "Dynamically Composing Domain-Data Selection with Clean-Data Selection by "Co-Curricular Learning" for Neural Machine Translation." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL 2019), pp. 1282-1292.

Wang, W., Watanabe, T., Hughes, M., Nakagawa, T., and Chelba, C. (2018). "Denoising Neural Machine Translation Training with Trusted Data and Online Data Selection." In Proceedings of the 3rd Conference on Machine Translation: Research Papers (WMT 18), pp. 133-143.

Williams, A., Nangia, N., and Bowman, S. (2018). "A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL 2018), pp. 1112-1122.

Zhang, R. and Tetreault, J. (2019). "This Email Could Save Your Life: Introducing the Task of Email Subject Line Generation." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL 2019), pp. 446-456.

Zhong, M., Wang, D., Liu, P., Qiu, X., and Huang, X. (2019). "A Closer Look at Data Bias in Neural Extractive Summarization Models." In Proceedings of the 2nd Workshop on New Frontiers in Summarization, pp. 80-89.

Zhou, Y., Yang, B., Wong, D. F., Wan, Y., and Chao, L. S. (2020). "Uncertainty-Aware Curriculum Learning for Neural Machine Translation." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), pp. 6934-6944.

## 略歴

狩野 竜示：2013 年東京大学大学院情報理工学系研究科修了. 同年富士ゼロッ クス株式会社入社. 2019 年より東京工業大学工学院博士課程に在籍. 現在,富士フイルム株式会社において, 自動要約の研究に従事. 言語処理学会会員.

谷口 友紀：2004 年神戸大学大学院自然科学研究科修士課程修了. 同年, 富士 ゼロックス株式会社入社. 現在, 富士フイルム株式会社において, 医療言語処理, 情報抽出の研究に従事. 言語処理学会会員.

大熊 智子：1996 年慶應義塾大学政策・メディア研究科修士課程修了. 同年,富士ゼロックス株式会社入社. 現在, 富士フイルム株式会社において, 医療言語処理, 情報抽出の研究に従事. 言語処理学会理事. 人工知能学会理事. 博士 (学術).


# 『日本語日常会話コーパス』本公開版の構築

小磯 花絵 $\dagger$

## 1 はじめに

これまで多くの会話コーパスが構築・公開されてきたが（表 1），大学生などの若者や親しい 者同士の会話，職場での会話，電話会話といったように，対象とする話者や場面などに偏りが 見られる。また実際の日常場面の会話ではなく, 収録のために集まって雑談してもらうといっ たように，作られた場面の会話も多い，更に音声データを公開していないコーパスも少なから ずあり，映像デー夕まで含むコーパスはほとんど存在しない。しかし我々が普段用いる言語の 実態を調べるには，実際の日常場面の会話を対象とするコーパスが不可欠である．また非言語行動まで含め総合的にコミュニケーション行動の仕組みを明らかにするには，映像デー夕まで 含めたコーパスが求められる.

こうした状況を受け，国立国語研究所共同研究プロジェクト「大規模日常会話コーパスに基 づく話し言葉の多角的研究」（2016～2021 年度）では，実際の日常場面を対象に，多様な場面$\cdot$

 & 446 会話 112.5 時間 &  & 音声 (一部) \\

表 1 主要な日本語の会話コーパス

話者による会話 200 時間を含む『日本語日常会話コーパス』(The Corpus of Everyday Japanese Conversation, 以下 CEJC）の構築を進めてきた．CEJC は音声たけでなく映像まで含めて公開 するが，日常場面の会話を 200 時間という規模で映像まで含めて公開するというのは，世界的 に見ても新しい取り組みである。そのため，いかに自然な会話を収録するか，また倫理的・法的にどのような問題があるかなど (小磯, 伝 2018), 多くの問題と向き合いながらコーパスの 構築に取り組んできた。2018 年 12 月に 50 時間分の会話を対象とする試験公開を行い (小磯他 2020a), プロジェクトの最終年度にあたる 2022 年 3 月末に 200 時間全体を本公開する。本稿で は CEJC 本公開版について紹介する。

## 2 CEJCにおける会話の収録

多様な場面・話者による会話を対象とするために，CEJCでは個人密着法と特定場面法に基 づき会話を収集した。 個人密着法では，年齢・性別のバランスをとった 40 名の調査協力者（20 代・30 代・40 代・50 代・60 歳以上の男女，各 4 名）にカメラや IC レコーダーなどの収録機材 を貸し出し，できるだけ多様な場面・話者との会話約 15 時間を収録してもらった。その上で，会話の種類や話者のバランスなどを考慮して，1協力者あたり約 $4 \sim 6$ 時間，計 185 時間のデー 夕を選別した。また個人密着法で収集した 50 時間の会話を調査したところ，職場での仕事中の 会話や未成年者による会話などが十分に収集できていないことから (小磯 他 2020a)，こうした 不足する場面や話者の会話については，調査者が主体となり会話を収録する特定場面法で 15 時間のデータを収録した。

協力者が実際に収録した会話の映像の例を図 1 に示す.

図 1 映像データの例: 夫婦で料理をしている場面. 左の映像は 360 度撮影可能な Kodak PIXPRO SP 360 を会話の場の中央に配置し話者を中心に撮影したもの．右・上下の映像は GoPro Hero3+を 2 台設置し話者や会話の状況を俯瞰的に記録したもの．論文掲載用に話者の顔にボカシ処理をしている，
図 1 にあるように，原則として 3 台のカメラを用いて会話の映像を記録した。また音声につ いても，会話の場の中心に設置する IC レコーダーで会話全体の音声を録音すると同時に，個々 の話者が装着する IC レコーダーにより各話者の音声をより明瞭に録音した。このように，多様 な研究ニーズに応えるために複数の映像・音声デー夕を提供する点も, 従来の会話コーパスに はない特徴と言える。

## 3 データの規模・内訳

CEJC 本公開版には， 461 セッション1，577 会話，計 200 時間のデータが含まれている．話者数は延べ 1675 人, 異なり 862 人, 語数は約 240 万語（短単位）である ${ }^{2}$.

図 2 に, 性別・年齢ごとの延べ話者数と語数の分布を示す. CEJC の中核をなす個人密着法で は，20 歳以上の調査協力者を中心に，友人や同僚，家族などとの会話を収録したため，必然的 に協力者と同世代の話者が多く含まれることになる。実際, 図 2 を見ると， 20 代以上の成人に ついては， 40 代・50 代の男性が若干少なく女性が多いなど多少の違いはあるものの，いずれの 世代の男女とも約 100 人以上の話者, 15 万以上の語を含んでおり，概ねバランスよく収録でき ていることが分かる，一方，未成年者の会話が少ないという予備調査を受け, 特定場面法によ り中高生を対象に友達同士の雑談や部活動の打合せなど 5 時間弱の会話を補ったものの, 成人 と比べると数は少ない．未成年者のデータ拡充のために，子どもを主対象とする映像付きコー パスの構築を新たに進めているところである (小磯他 2020b).

延べ話者数

語数

図 2 性別・年齢ごとの延べ話者数と語数（短単位）の分布

図 3 会話形式・会話の話者数・会話中の活動別に見た会話数・語数の割合

また図 3 に，会話形式・会話を構成する話者数・会話中の活動別に見た会話数・語数の割合を 示す. 会話形式を見ると，会話の件数・語数ともに，雑談が約 $75 \%$ と多くを占めているが，用談・相談や会議会合・授業レッスンなども一定数含まれていることが分かる ${ }^{3}$.また会話の話者数を見ると， 2 人会話が件数の上では約半数と多くを占めているが，5人以上の多人数会話も件数で約 $15 \%$, 語数で $20 \%$ と, 少なからず含まれている。また活動を見ると, 食事中の会話や友人との雑談など私的活動中の会話が多いものの, 家事雑事や仕事学業中の活動, 車や徒歩等で の移動中の会話など，多様な状況での会話が含まれていることが分かる.

## 4 研究用付加情報

CEJCでは，200 時間全体に対して転記テキストや短単位情報などの基本的な研究用付加情報 （アノテーション）を付与するとともに，「コア」と定める 20 時間のデータ範囲については更に 係り受けや談話行為情報なども付与する。CEJC 本公開版で提供する研究用付加情報は次の通 りである.

転記テキスト 200 時間全体に対し, $\mathrm{ELAN} \cdot$ Praatを用いて映像・音声を参照しながら人手で 作成. 語の言いさしや母音・子音の延伸, 笑いなどに関する夕グを施す (臼田 他 2018).短単位情報・長単位情報 BCCWJ の単語・品詞設計に準じて短単位情報 SUW ・長単位情報 LUWを付与 (小椋 2014). SUW は転記テキストを対象に MeCab・UniDic で自動解析し た上で，200 時間全体を対象に人手修正。LUW は SUWをべースに自動解析した上で， コアを対象に人手修正.

係り受け情報コアを対象に，転記テキストで定める発話単位を範囲として文節間の係り受け 情報を自動付与した上で人手修正。

談話行為情報コアを対象に，国際標準化規格 ISO24617-2をべースに日常会話用に整備した基準にもとづき，発話単位ごとに人手で付与 (Iseki et al. 2019).

韻律情報コアを対象に，CSJに適用したラベリングスキーム X-JToBI(五十嵐他 2006)を簡略化した簡易版 X-JToBI(小磯 他 2020c) に準拠して人手で付与.

上記情報は, 音声・映像データや会話・話者に関するメ夕情報などと合わせて有償で公開す

る。また短単位情報・長単位情報については, オンライン検索システム「中納言」にて無償で 公開する。

## 謝 辞

本稿で紹介したコーパスは，国立国語研究所共同研究プロジェクト「大規模日常会話コーパ スに基づく話し言葉の多角的研究」の研究成果である. コーパスの収録にご協力・ご参加くだ さった皆さまに深く感謝します。

## 参考文献

五十嵐陽介，菊池英明，前川喜久雄 (2006). 韻律情報. 日本語話し言葉コーパスの構築法, pp. 347-453. 国立国語研究所. [Y. Igarashi et al. (2006). Prosodic Information. Construction of the Corpus of Spontaneous Japanese, pp. 347-453. The National Institute for Japanese Language and Linguistics.].

Iseki, Y., Kadota, K., and Den, Y. (2019). "Characteristics of Everyday Conversation Derived from the Analysis of Dialog Act Annotation." In Proceedings of the 22nd Conference of the Oriental COCOSDA, pp. 1-6.

小磯花絵, 伝康晴 $(2018)$. 『日本語日常会話コーパス』データ公開方針：法的・倫理的な観点 からの検討を踏まえて. 国立国語研究所論集, 15, pp. 75-89. [H. Koiso and Y. Den (2018). A Guideline on the Release of the Corpus of Everyday Japanese Conversation: From the Viewpoint of Legal and Ethical Issues. NINJAL Research Papers, 15, pp. 75-89.].

小磯花絵, 天谷晴香, 居關友里子，臼田泰如，柏野和佳子，川端良子，田中弥生，伝康晴，西川賢哉 (2020a). 『日本語日常会話コーパス』モニター版の設計・評価・予備的分析. 国立国語研究所論集, 18, pp. 17-33. [H. Koiso et al. (2020a). Design, Evaluation, and Preliminary Analysis of the Monitor Version of the Corpus of Everyday Japanese Conversation. NINJAL

Research Papers, 18, pp. 17-33.].

小磯花絵, 居關友里子, 柏野和佳子, 角田ゆかり, 田中弥生, 宮城信 $(2020 b)$. 子どもの会話コー パスの構築に向けて. 言語資源活用ワークショップ発表論文集, 5, pp. 157-163. [H. Koiso et al. (2020b). Towards the Construction of a Japanese Children's Corpus. Proceedings of Language Resources Workshop, 5, pp. 157-163.].

小磯花絵, 菊池英明, 山田高明 (2020c). 『日本語日常会話コーパス』への韻律ラベリング—ラ ベリングの設計と日常会話の韻律の特徴一. 人工知能学会研究会資料, SIG-SLUD-B903, pp. 34-39. [H. Koiso et al. (2020c). Intonation Labeling for the Corpus of Everyday Japanese Conversation: The Labeling Scheme and Prosodic Features of Everyday Conversation. JSAI Technical Report, SIG-SLUD-B903, pp. 34-39.].

小椋秀樹 (2014). 形態論情報. 書き言葉コーパス：設計と構築，講座日本語コーパス, 2 巻,

pp. 68-88. [H. Ogura (2014). Morphological Information. Corpus of Written Japanese: Its

Design and Structure. Series of the Japanese Corpus, Vol. 2, pp. 68-88.].

曰田泰如, 川端良子, 西川賢也, 石本祐一, 小磯花絵 (2018). 『日本語日常会話コーパス』にお

ける転記の基準と作成手法. 国立国語研究所論集, 15, pp. 177-193. [Y. Usuda et al. (2018).

Criteria and Composition Method of Transcription for the Corpus of Everyday Japanese Conversation. NINJAL Research Papers, 15, pp. 177-193.].

## 略歴

小磯 花絵: 奈良先端科学技術大学院大学情報科学研究科博士後期課程修了 (1998 年). 博士 (理学). 1998 年国立国語研究所入所. 現在, 同研究所研究系音声言語研究領域教授. 専門は談話分析, コーパス言語学.


# Pseudo Zero Pronoun Resolution Improves Zero Anaphora Resolution

今野堸人 $\dagger$

## 1 はじめに

本稿では，EMNLP2021に採択された著者の論文 "Pseudo Zero Pronoun Resolution Improves Zero Anaphora Resolution” (Konno et al. 2021)について, 論文では語られなかった着想に至る までの経緯，および今後の展望を交えて解説する。

## 2 本研究の概要

我々は文を読む時，文中の省略を脳内で自動補完しながら読んでいる，省略の例として，「被害者の部屋から犯人の凶器が見つかった。 ハンマーを使用した模様だ.」という文について考え たい．我々は，「ハンマーを使用したのは誰か？」という質問をされたとき，ハンマーは犯人の 凶器としてよく使われるという，ハンマーと犯人の凶器の間にある照応関係の知識を無意識に 用いることで，「犯人である」と答えることができる。 日本語ゼロ照応解析の解決には，このよ うな照応関係の知識が必要であり，これを大量にマシンに獲得させることが重要だと考える.

本研究では, 生コーパスから照応関係の知識を獲得するための事前学習タスク (Pseudo Zero Pronoun Resolution; PZero) と, この事前学習をうまく活用するためのゼロ照応解析モデル (Argument Selection as Pseudo Zero Pronoun Resolution; AS-PZero) を提案した.

一つ目の提案である PZERO は, 図 1 のように, 生テキスト中に同じ表層形で 2 回以上出現す る名詞句の 1 つをマスクし，マスクに入る語を文中から選ぶタスクである。ある文脈で一度出現した名詞句がマスク周辺の異なる文脈で再び出現することをモデルに学習させることで，冒頭で述べたような照応関係の知識の獲得を狙う.

二つ目の提案である AS-PZERO は，図 2 のように，マスクトークン，項を表す格助詞，対象述語からなるフレーズを入力文の末尾に挿入し，マスクに入る語を文中から選ぶことでゼロ照応解析（述語項構造解析）をおこなうモデルである。モデルは PZERO と同様の形式でゼロ照応解析の学習をおこなうため, 事前学習で獲得したモデルパラメータをそのまま引き継ぐことが できる.

The university has surveyed teachers' means of transport and found that most teachers use the train.

図 1 PZERO の概要

[CLS]被害者の部屋から犯人の凶器が見つかった。[SEP]ハンマーを使用した模様。[SEP][MASK]が使用した

図 2 AS-PZERO におけるゼロ照応解析

これら二つを組み合わせることで，日本語ゼロ照応解析の性能を向上させられることが実験 で明らかとなった。

## 3 着想に至った経緯

研究のきっかけは, ゼロ照応解析を含む照応関係の知識を必要とするタスクの性能がマスク言語モデルによって大きく向上したという事実 (Joshi et al. 2019; Aloraini and Poesio 2020; Song et al. 2020; Konno et al. 2020) と，マスク言語モデルの事前学習でおこなわれている Cloze タス ク (Devlin et al. 2019) がゼロ照応解析で解いている問題と似ているという話からだった. マス ク言語モデルはマスクトークンに入る語を周辺文脈から判断して補完する。このマスクトーク ンを省略された語とみなせば，周辺文脈から省略を補完する問題を解いていると考えることが できる。この考えから，マスク言語モデルの学習方法や使い方をゼロ照応解析へうまく活用で きないかという方向で研究を始めることとなった。

## 3.1 事前学習の提案

Cloze タスクとゼロ照応解析は似ているが，大きく異なっている箇所が存在する．まず，ゼロ 照応解析では異なる文脈で登場する語の間の照応関係が重要である一方, Cloze タスクでは文が 自然となるようにマスクトークンに入る語を語彙から選ぶことで学習をおこなう．仮に，マス クトークンに入る語が文中に存在する語と同じものであったとしても, Cloze タスクではその 間にある照応関係を直接学習しているわけではない。また, Cloze タスクではサブワード単位 でマスクトークンへ置換するため，たとえ周辺文脈の意味を理解していなくとも，よく出現す る語の並びだけでマスクを補完できてしまうケースがある。さらに，Cloze タスクではマスク トークンの個数が分かっているため, どのような語が入るのか予想しやすい.

PZEROは, このような問題を改善し, 生コーパスから照応関係の知識をより獲得できるよう

にしたものである、マスクのターゲットを述語の項となりうる名詞句に絞り, 名詞句が複数の サブワードから構成されている場合でも，まとめて 1 つのマスクトークンへと置換する。また， マスクトークンに入る語を語彙からではなく文中から直接選択させる。これにより, Cloze 夕 スクよりも直接的に照応関係の知識を学習することができると考えた.

モデルに学習させたいことは, ある文脈で登場した語が異なる文脈で再び出現するというこ とである。これを実現するため, transformer 層 (Vaswani et al. 2017)を用いて, 周辺文脈の情報を含んだ語の埋め込み表現が，マスクトークンの埋め込み表現と近くなるように学習をおこ なう。この埋め込み表現の近さを表すのが論文中の (2) 式のスコアである. スコアの算出方法 は self-attention (Vaswani et al. 2017) から着想を得たものである.

## 3.2 Finetuning $の$ 提案

最近では, 生コーパスを使って事前学習し, 対象タスクで finetuning をおこなうのが一般的と なっている (Devlin et al. 2019). また, 両者の学習方法やデータドメインなどの設定を近づけ ることで，より効果的に事前学習ができることが報告されている (Yang et al. 2019; Gururangan et al. 2020).

この考え方に従い，ゼロ照応解析を Cloze タスクへ近づけることを考える．このとき，両者 の異なっている大きな点として，マスクトークンの場所が決まっているかどうかが挙げられる. Cloze タスクではすでに存在する語をマスクして復元するため, マスクトークンの位置は与え られるものである。一方で， ゼロ照応解析ではどこにゼロ代名詞が存在するのかが不明である ため，マスクトークンをゼロ代名詞とみなすのであれば，マスクトークンの挿入箇所を新たに 決める必要がある。これまで, 日本語ゼロ照応解析は述語項構造解析の一部として定式化され てきたため, ゼロ代名詞の場所を予測する必要はなかった，今回，マスクトークンをゼロ代名詞とみなすという考えのもと，事前学習と finetuning の問題設定を揃えるため, 文末にマスク トークンを含むフレーズを挿入した.

## 4 実験の過程

実験でしっかりとした結果を出せるかどうかが論文採択を左右する，そのためには，ある程度実験の試行回数を重ねる必要があると考えていた，著者は，出来るだけ無駄なく実験をおこ なうためにも，実験の手順，実験で確かめたいこと，望ましい実験の結果を言語化したうえで 実験を進めていった.

論文には載せられなかった実験についてここで紹介したい．PZEROの実験では，正解を含ま ない（文頭の [CLS］を正解とする）学習デー夕を用意してその割合を変化させること，マスク の対象とする語やマスクトークンの個数を変化させること, Cloze タスクと PZERO をマルチタ

スクで解くことなど，様々な試行錯誤をおこなった。結果として，理論含めて論文に載せてい る方法が最も良いということが判明した. AS-PZERO とそのベースラインも同様に，モデルの 構成や学習損失関数の剪定，ハイパラ探索など様々な点で試行錯誤をおこなった.

## 5 実験結果

実験では, 事前学習で Cloze タスク, PZERO の比較をおこない, finetuning でマスクトークンを 含まないべースラインと AS-PZEROの比較をおこなった. 結果, 提案手法である PZERO と ASPZERO の組み合わせが最も良いということが判明した。この結果から，事前学習と finetuning どちらか一方を改善するだけよりも，学習全体を改善させた方が相乗効果として良い結果をも たらすという知見が得られた。実験結果の詳細は本論文を参照されたい.

## 6 論文投稿を終えて

ゼロ照応解析はここ数年で大きな進歩を遂げてきたが，その性能はまだ実用化レべルにまで 到達していないと考えている。また， 口語文などよりくだけた表現では，項の省略は頻繁に発生するうえ，述語の項だけにどまらずイベント全体が省略されることもしばしばよく起こる。 そのような状況では，省略を補完して文の意味をマシンに理解させる難易度は格段に上がるこ とが予想される。

省略解析が実用化されるとき，その真価を発揮するのは普段の日常で用いられる言葉なので はないかと著者は考えている，日常で人間は，できるだけ少ない労力で相手に自分の考えを伝 えようとする。その結果，発する言葉の数は少なくなり，省略も増えていく，人間ですら相手 が何を伝えようとしているのか理解できないことがあるように，マシンが完璧に省略を補完す ることはできないかもしれない，しかし， 口語文などの省略が頻繁に起きている文の解析性能 が進めば，より省略解析器の実用化が進むのではないかと考える。著者は学生時代から「省略」 というテーマで研究をおこなってきたが, その興味は未だに尽きない. 著者の現在の興味は,省略が頻繁に起こるドメインでの解析や，イベント全体の省略解析へと向いている．マシンに 文の意味を理解させたいという動機のもと, 実用化を目指して「省略」というテーマを今後も 深掘りしていきたい.

## 参考文献

Aloraini, A. and Poesio, M. (2020). "Cross-lingual Zero Pronoun Resolution." In Proceedings of LREC, pp. 90-98.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of NAACL, pp. 4171-4186.

Gururangan, S., Marasovic, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., and Smith, N. A. (2020). "Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks." In Proceedings of $A C L$, pp. 8342-8360.

Joshi, M., Levy, O., Zettlemoyer, L., and Weld, D. (2019). "BERT for Coreference Resolution: Baselines and Analysis." In Proceedings of EMNLP-IJCNLP, pp. 5803-5808.

Konno, R., Kiyono, S., Matsubayashi, Y., Ouchi, H., and Inui, K. (2021). "Pseudo Zero Pronoun Resolution Improves Zero Anaphora Resolution." In Proceedings of EMNLP, pp. 3790-3806.

Konno, R., Matsubayashi, Y., Kiyono, S., Ouchi, H., Takahashi, R., and Inui, K. (2020). "An Empirical Study of Contextual Data Augmentation for Japanese Zero Anaphora Resolution." In Proceedings of COLING, pp. 4956-4968.

Song, L., Xu, K., Zhang, Y., Chen, J., and Yu, D. (2020). "ZPR2: Joint Zero Pronoun Recovery and Resolution using Multi-Task Learning and BERT." In Proceedings of ACL, pp. 5429-5434.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., and Polosukhin, I. (2017). "Attention Is All You Need." In Proceedings of NIPS, pp. 5998-6008.

Yang, Z., Dai, Z., Yang, Y., Carbonell, J. G., Salakhutdinov, R., and Le, Q. V. (2019). "XLNet:

Generalized Autoregressive Pretraining for Language Understanding." In Proceedings of NeurIPS, pp. 5754-5764.

## 略歴

今野 颯人：2019 年東北大学工学部電気情報物理工学科卒業. 2021 年東北大学大学院情報科学研究科博士前期課程終了. 現在，株式会社リクルートおよび 東北大学大学院情報科学研究科学術研究員.


# 「SHAPE: Shifted Absolute Position Embedding for Transformers」の研究を通して

清野舜 ${ }^{\dagger, \dagger \dagger}$

はじめに

本稿では, EMNLP2021に採択された論文 “SHAPE: Shifted Absolute Position Embedding for Transformers" (Kiyono et al. 2021) について，研究の概要に触れた後，着想に至った経緯や論文化できた要因を振り返りたい。「Transformer の位置表現の改良」という非常に競争的な分野に おいて，論文採択にこぎつけるための原動力となったこれまでの泥臭い取り組みの紹介も合わ せて楽しんでもらえれば幸いである.
## 研究の概要

本研究では Transformer の外插能力を題材として, 高速かつ汎化性能の高い位置表現手法の 開発に取り組んだ。ここで外挿能力とは，訓練データ中に登場しない未知の長さの系列をモデ ル化する能力のことを指す。単純には，訓練データよりも長い系列をモデルに与えた場合の性能を通して外插能力を評価することができる。図 1 に本研究の概要図を示す.

通常, Transformer (Vaswani et al. 2017) では絶対位置表現 (Absolute Position Embedding; APE) が用いられている。絶対位置表現では, 系列中の各単語に対して専用の位置ベクトルを 付与し, 単語埋め込みとの和を取ることによって位置を表現する，絶対位置表現は，その単純 さゆえに非常に高速に動作する一方で，外挿が困難であることが知られている．具体的には，推論時に全訓練データよりも長い系列が与えられた場合, 系列中には未知の（訓練中に観測さ れていない）位置が発生する。これは未知の位置ベクトルとして作用し，外挿を困難にしてし まう。 Transformerの絶対位置表現においては, 正弦波と余弦波の組み合わせによって位置べク トルを表現することが多い。これは波の周期性を利用することで未知の位置ベクトルの悪影響 を緩和しようとする試みだが，問題の完全な解決には至っていない.

未知の位置ベクトル問題の解決に向けて, 近年では相対位置表現 (Relative Position Embedding; RPE) の研究が盛んに行われている (Shaw et al. 2018; Raffel et al. 2020). 通常, 相

$\dagger$ 東北大学

図 1 本研究の対象とする位置表現手法の概要図

対位置表現では系列中の単語間の相対距離を, Transformer 内部の注意機構における追加の特徴量として利用することで位置を表現する。同じ Transformerであっても，絶対位置よりも相対位置を用いた場合のほうが外挿能力が高いことが報告されている (Neishi and Yoshinaga 2019). これは，相対位置表現がシフト不変性 1 を実現し，位置情報に対する汎化を容易にしていること， また，モデルの内部で絶対位置を明に扱わないため，未知の位置べクトル問題が原理的に生じな いことが原因だと考えられる。一方で，相対位置表現も万能な手法ではない．例えば，注意機構に新たに特徴量を追加する性質上, 注意機構の軽量化を目指す一連の方法論 (Tay et al. 2020) との組み合わせが困難であるだけではなく，絶対位置表現よりもモデルの計算時間が長くなっ てしまう。

これらの背景をもとに，本研究では，絶対位置表現の枠組みを用いることで計算速度を担保 しつつ，相対位置表現の利点を享受することを目指した。具体的には，相対位置表現の実現して いるシフト不変性を，絶対位置表現の枠組みで実現することに取り組んだ。提案手法の Shifted Absolute Position Embedding (SHAPE) では, Transformer の学習中, ミニバッチに含ま れる各系列の位置インデックスを乱数でシフトさせる。これにより，モデルは絶対位置を利用 した学習が困難になるため，相対位置を利用した学習が行われると期待できる。機械翻訳を題材とした実験では，SHAPEは相対位置表現と同等の外插能力を有しつつ，絶対位置表現とほと んど同等の速度で動作することが確認できた。

## 着想

本研究の着想を得たのは, 2021 年 2 月頃, 研究室のチャットッール上で共有された Neishi ら の論文 (Neishi and Yoshinaga 2019)を読んだときのことだった. Neishi らは，絶対位置表現を 使う場合, Transformer の外挿能力は RNN ベースのモデルを下回ること, また, Transformer が 位置情報に過学習してしまうことがその原因であると報告していた。 入力系列の長さに応じて モデル間の性能の優劣が入れ替わるという知見は示唆に富むもので，外挿能力の研究に興味を 持つきっかけとなった。同論文中では，RNN ゙ースの軽量な計算機構を Transformer に追加す ることで相対位置表現を実現できることや，その高い効果が示されていた。このとき，追加の 計算機構を用意するという提案手法を複雑に感じ，論文中の知見をよりシンプルに活用できな いだろうかと考えたのが, 本研究の着想を得るきっかけとなった. より具体的には, 仮に絶対位置表現において位置に対する過学習が問題となるのであれば，学習中に正則化を取り入れる ことで過学習を抑制し，外挿性能を改善できるのではないか，という素朴なアイデアが芽生え た. 結果的に，正則化というアイデアはSHAPEにおける乱数を用いたシフト操作として実現 されている.

## 論文執筆

提案手法 (SHAPE) はその単純さゆえに数行で実装可能であったため, 実装にそれほど時間 はかからなかった2．手元のべースラインシステムに提案手法を組み合わせて，絶対位置表現か らの外挿能力の向上を確認し，既存の位置表現手法との性能比較などを行った上で，論文執筆 に取り組んだ．EMNLP に投稿した論文は手法の単純さとその効果が評価され，無事に採択さ れるに至った。

## 熾烈な競争

Transformer において位置をどのように表現するか. この問いをめぐっては，世界中の研究グ ループが嬂烈な競争を繰り広げている。例えば，位置表現のサーベイ論文 (Dufter et al. 2021) には 40 本以上の研究がまとめられているほか $3, \quad$ arXivには位置表現の新規手法を提案する論文が毎週のように登場している，実際，查読中には提案手法とほとんど同等の手法を提案しつ つ，言語だけではなく複数のモーダルで実験した論文 (Likhomanenko et al. 2021) が登場し, ひ

どく胃を痛めることとなった ${ }^{4}$. また, 今回の EMNLP では位置表現に取り組んだ研究が，本研究の他に少なくとも 5 本採択されている 5 . 故に，仮に EMNLP に投稿できなかった場合，また は不採択になっていた場合は, 本研究はお蔵入りになっていた可能性が非常に高い.

## アイデアを高速に実装・論文化する

本記事の締めくくりとして，この競争的な分野で短期間の間に論文採択に至ることができた 要因を振り返ってみたい.

いま，成功の方程式（成功回数 $=$ 試行回数 $\times$ 成功率）(賀沢 2012)に基ついいて，論文採択を 「成功」として位置づけることにすると，今回の成功は「試行回数」の項をうまく増やすことが できた結果であると考えられる，具体的には，実装にかかる時間や，一回の実験にかかる時間 を短く抑えるための技術を身につけていたことで，大量の実験を回す（つまり，試行回数を増 やす）ことができたのが，ポジティブに作用した，例えば，筆者はニューラル機械翻訳モデル を日常的に訓練していたため, 実験に用いるデータセットやフレームワークの選定に時間を要 することなく, 強力なべースラインを高速に構築することができた. また, 複数枚の GPU を活用できる実験環境を整備しておくことで，百枚以上の GPUで並列に実験を回し，効率的に仮説検証を行うことができた。その結果，限られた時間で実験をまとめあげ，論文執筆に十分な時間を割くことができた6

試行回数増加の要因として, 論文化されることなくお蔵入りになっている大量の研究テーマ たちの存在も無視できない。これまで, Transformer の改良にはじまり, スパン単位の情報を用 いたデータ拡張, より良い事前訓練済み言語モデルの構築や機械翻訳モデルの文レベルのドメ イン適応など, 様々な研究に取り組み, そして全てに失敗してきた。それぞれの研究テーマは,論文という形で花開くことはなかった。しかし, その都度各テーマに全力で取り組んできたこ とが，先述の各種技術の習得や環境の構築に繋がっており，自分の血肉として役立ったことは 間違いない，今回の論文採択は，成功を掴むために試行を回し続けること，また，失敗を通し て試行自体を更に増やしていく営みの重要さを内省する良い機会となった。筆者の一連の取り 組みが，研究の遂行に悩む誰かの助けとなれば幸いである。
^{6} 5 / 17$ 締め切りのところ, 5/5 の時点で投稿可能な状態の原稿が完成していたようである. 残りの時間は全て原稿の クオリティ向上に注ぎ込まれた.
}

## 参考文献

Dufter, P., Schmitt, M., and Schütze, H. (2021). "Position Information in Transformers: An Overview." In arXiv preprint arXiv:2102.11090.

賀沢秀人 (2012). 成功の方程式. 自然言語処理, 19 (1), pp. 1-2. [H. Kazawa (2012). Seiko no Hoteishiki. Journal of Natural Language Processing, 19 (1), pp. 1-2.].

Kiyono, S., Kobayashi, S., Suzuki, J., and Inui, K. (2021). "SHAPE: Shifted Absolute Position Embedding for Transformers." In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3309-3321, Online and Punta Cana, Dominican Republic. Association for Computational Linguistics.

Likhomanenko, T., Xu, Q., Synnaeve, G., Collobert, R., and Rogozhnikov, A. (2021). "CAPE: Encoding Relative Positions with Continuous Augmented Positional Embeddings." In $A d$ vances in Neural Information Processing Systems, Vol. 34.

Neishi, M. and Yoshinaga, N. (2019). "On the Relation between Position Information and Sentence Length in Neural Machine Translation." In Proceedings of the 23rd Conference on Computational Natural Language Learning (CoNLL 2019), pp. 328-338.

Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., and Liu, P. J. (2020). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer." Journal of Machine Learning Research (JMLR), 21 (140), pp. 1-67.

Shaw, P., Uszkoreit, J., and Vaswani, A. (2018). "Self-Attention with Relative Position Representations." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers) (NAACL 2018), pp. 464-468.

Tay, Y., Dehghani, M., Bahri, D., and Metzler, D. (2020). "Efficient Transformers: A Survey." In arXiv preprint arXiv:2009.06732.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention Is All You Need." In Advances in Neural Information Processing Systems 30 (NIPS 2017), pp. 5998-6008.

## 略歴

清野舜：2017 年東北大学工学部卒業. 2019 年東北大学大学院情報科学研究科博士前期課程修了. 2019 年 4 月より理化学研究所革新知能統合研究セン ター。また, 2020 年 10 月より東北大学大学院情報科学研究科博士後期課程学生. 言語処理学会, ACL 各会員.


# Modeling Human Sentence Processing with Left-Corner Recurrent Neural Network Grammars

吉田遼†

## 1 はじめに

本稿では， EMNLP2021 採録論文である "Modeling Human Sentence Processing with LeftCorner Recurrent Neural Network Grammars" (Yoshida et al. 2021) について解説する. 本研究 は，私の卒業論文でもある。そして，私の人生で初めての研究でもある。このような論文の性質上，はじめに，私がどのようにしてこの研究に取り組むことを決めたのか，について，高校時代の興味関心にまで遡って述べさせていただきたい.

高校時代, 私は理系のコースに所属しており，数学の問題を友人と競うように解く日々を送っ ていた。そんな中，私の興味は次第に数式から言語に移っていき，やがて言語の計算的側面に 魅せられるようになった，大学に入ると，私はその知的好奇心を満たすべく文転し，理論言語学や心理言語学を学んだ。言語の計算理論や, その脳内での実装について学ぶうちに, 私の高校時代からの興味は「人間の言語処理を計算機上に実装したい」という野心へと形を変えた。 ちょうど私が学部 4 年生になる年に，「人間らしい言語処理モデルの開発」を掲げる大関洋平先生が東京大学に着任し, 私は大関先生の元で卒業論文に取り組むこととなった

私はまず，具体的な現象・検討範囲を設定して，野心を卒業論文サイズのプロジェクトに落 とし込む作業に着手した。その際に重要であったのが，「言語処理のリバースエンジニアリン グ」である。言語処理のリバースエンジニアリングとは，計算機上で実装されたモデルの言語処理が，行動実験などで計測される人間の言語処理と似た傾向を示すか，を観察することで，間接的に「人間らしい」言語処理モデルについて検証する，という手法である．英語における 先行研究では, この枠組みに則り様々な知見が蓄積されている。その中でも, 理論言語学が仮定する自然言語の階層構造を明示的に扱う言語処理モデルは，そうでないモデルよりも「人間 らしい」という知見 (Fossum and Levy 2012; Hale et al. 2018) は，言語学を専門に学んできた 私の興味に大変合致するものであった，幸運なことに，能地宏先生（第二著者）が， Hale et al. (2018)で「人間らしい」言語処理モデルであるとされている，再帰的ニューラルネットワーク文法 (Recurrent Neural Network Grammars，RNNGs) (Dyer et al. 2016)の並列化・高速化を目指 した開発を行っており，そのモデルを使わせていただけるらしい。これまた幸い，日本語にお

いては，人間の眼球運動データが BCCWJ-EyeTrack (Asahara et al. 2016) という視線計測コー パスとして整備されている。そこで私ははじめに，「日本語においても，階層構造を明示的に扱 う言語処理モデルが，そうでない言語処理モデルよりも人間らしい」ことを示す, という目標 を立てた，しかし，「英語でやられていることを日本語でもやりました」では，インパクトに欠 ける。そこで私は，先行研究では言及されていない，階層構造の解析戦略に着目することにし た. 詳細には, 先行研究で用いられているトップダウン型 (top-down) 解析戦略が, 主要部先端型右枝分かれ構造の英語と異なり, 主要部終端型左枝分かれ構造の日本語においては,「人間ら しくない」という点 (Abney and Johnson 1991; Resnik 1992) に着目し, 左隅型 (left-corner) 解析戦略を新たに比較対象として導入した。こうして私は,「どのような解析戦略で階層構造を扱 う言語処理モデルが人間らしいのか」というリサーチクエスチョンの下，人生で初めての研究 に取り組むことになったのであった。

そこから，EMNLP2021 採択までの流れは，概ね以下の通りである。約 1 年間かけて卒業論文として結果をまとめ, 無事に提出. 言語処理学会第二十七回年次大会にも論文を投稿し, 若手奨励賞を受賞.その勢いで国際会議デビューを果たすべく，内容を発展させ ACL2021に long paperとして論文を投稿したが，「結果がそれほど多くないため, 実験手法が長く結果と考察で尻 すぼみになっている」との理由で不採択. 査読者のコメントを踏まえて考察を充実させ, short paper に切り替えて EMNLP2021に投稿. 悲願の採択を果たした.

## 2 論文の解説

以下では, モデルと人間の言語処理の橋渡し理論 ( 2.1 節 $)$, 本研究の実験手法 ( 2.2 節), 及び その結果（2.3 節）に絞って, “Modeling Human Sentence Processing with Left-Corner Recurrent Neural Network Grammars”を解説する。詳細については，適宜論文を参照していただきたい.

## 2.1 橋渡し理論

モデルの言語処理と，人間の言語処理の傾向を比較する際に重要な役割を果たすのが,「サ プライザル理論 (Hale 2001; Levy 2008)」である。人間は文を処理する際に次に来る単語や文節を予測しており，文脈から予測しにくい単語や文節ほど，処理負荷が高く（e.g., 読み時間 が長く）なると言われている。サプライザル理論は，この「予測しにくさ」をサプライザル $(-\log p($ 単語や文節|文脈 $))$ と呼ばれる情報量で定式化したものである. この論文では, 言語処理モデルの算出する確率と，人間の読み時間の「橋渡し仮説」としてサプライザルを用い，言語処理モデルの「人間らしさ」を評価している.

## 2.2 実験手法

主要部終端型左枝分かれ構造を持つ日本語を用いて, LSTM・トップダウン型解析戦略の RNNGs・左隅型解析戦略の RNNGs という 3 つの言語処理モデルの「人間らしさ」を比較して いる．RNNGsは，自然言語の階層構造を扱うモデルである点が，LSTM と異なる．また，トッ プダウン型解析戦略と，左隅型解析戦略では，それぞれ以下の (a)，(b)に示したように，ノー ドが解析される順番が異なる。

a. トップダウン型解析戦略

b. 左隅型解析戦略

単語列の背後には無数の階層構造が想定されるため, RNNGsについては, ビームサーチ (Stern et al. 2017) を用いて想定される階層構造のうち確率の高いものを複数保持しつつ, 階層構造に ついて周辺化することでサプライザルを算出した。論文では，複数のビーム幅について検証を 行っている.

実験では，前述の視線計測コーパス BCCWJ-EyeTrackに付与された読み時間を，文節長など で推測するベースライン回帰モデルを構築し, そこに言語処理モデルにより推定されたサプラ イザルを説明変数として加えた際の予測精度の改善度を，読み時間モデリング精度として評価 している（詳細は論文の 3 節を参照)，読み時間モデリング精度が高いモデルほど，「より人間 らしい」言語処理モデルであるといえる.

## 2.3 実験結果

図 1 は，読み時間モデリングの精度（縦軸）を, perplexity（横軸）に対してプロットしたも のである。縦軸に着目すると，左隅型解析戦略の RNNGs が最も読み時間モデリング精度が高 く，次いでトップダウン型解析戦略の RNNGs, LSTM となっていることが分かる．また，論文 では, nested model comparisonにより,これらのモデル間の読み時間モデリング精度の差が有意であることを確かめている（表 1）。この結果から，左隅型解析戦略で階層構造を扱うモデル が最も「人間らしい」と結論づけることができる.

さらに，図 1 からは, RNNGsについては perplexity が低いほど読み時間のモデリング精度が 高いが，LSTM は perplexity の低さから予測されるほど読み時間モデリング精度が高くないこ

図 1 読み時間モデリングの結果. 横軸が perplexity,縦軸が読み時間モデリング精度.

表 1 Nested model comparison の結果. TD, LC は それぞれ，トップダウン型解析戦略の RNNGs,左隅型解析戦略の RNNGs を表している. Bonferroni 法により有意水準 $\alpha=0.0056$ で 検定した $(0.05 / 9)$.

とが分かる． RNNGs については，構文解析の精度と読み時間モデリング精度についても同様 の傾向が観察された。

また, RNNGs について, ビーム幅と読み時間モデリング精度の関係に着目すると, トップダ ウン型解析戦略の RNNGs はビーム幅が大きいほど読み時間モデリング精度が高いが, 左隅型解析戦略の RNNGs は小さいビーム幅でも安定して読み時間モデリング精度が高いことが分か る. 我々は, この結果を, 「人間に近い」小さいビーム幅で正しい解析ができるという点でも,左隅型解析戦略の RNNGs はトップダウン型解析戦略の RNNGsよりも「人間らしい」, と解釈 した. 論文内では, この点について, Jurafsky (1996) で提案されている「人間のビーム幅」を 経験的に算出するなどしつつ, (i) なぜ左隅型解析戦略の RNNGs は小さいビーム幅で正しい解析ができるのか, (ii) なぜ小さいビーム幅で解析ができると人間らしいのか, という観点から詳細に議論している。

## 3 おわりに

こうして私は，どのような言語処理モデルが「人間らしい」のか，という知見の蓄積に貢献す る形で，「人間の言語処理を計算機上に実装したい」という野心の実現に向けて第一歩を踏み出 したのであった。しかし, この論文では，あくまで階層構造を明示的に扱う／扱わない， トッ プダウン型解析戦略／左隅型解析戦略という対立においては, どちらが「より人間らしい」か, ということについての示唆を与えたにすぎない．実験で用いたモデルは，どれも「人間の言語処理の実装」としては単純である。野心の実現へ向けた道のりは始まったばかりだ.

## 参考文献

Abney, S. P. and Johnson, M. (1991). "Memory Requirements and Local Ambiguities of Parsing Strategies." Journal of Psycholinguistic Research, 20 (3), pp. 233-250.

Asahara, M., Ono, H., and Miyamoto, E. T. (2016). "Reading-Time Annotations for "Balanced Corpus of Contemporary Written Japanese"." In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 684-694, Osaka, Japan. The COLING 2016 Organizing Committee.

Dyer, C., Kuncoro, A., Ballesteros, M., and Smith, N. A. (2016). "Recurrent Neural Network Grammars." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 199-209, San Diego, California. Association for Computational Linguistics.

Fossum, V. and Levy, R. (2012). "Sequential vs. Hierarchical Syntactic Models of Human Incremental Sentence Processing." In Proceedings of the 3rd Workshop on Cognitive Modeling and Computational Linguistics, pp. 61-69, Montréal, Canada. Association for Computational Linguistics.

Hale, J. (2001). "A Probabilistic Earley Parser as a Psycholinguistic Model." In Proceedings of the Second Conference of the North American Chapter of the Association for Computational Linguistics, pp. 159-166.

Hale, J., Dyer, C., Kuncoro, A., and Brennan, J. (2018). "Finding Syntax in Human Encephalography with Beam Search." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2727-2736, Melbourne, Australia. Association for Computational Linguistics.

Jurafsky, D. (1996). "A Probabilistic Model of Lexical and Syntactic Access and Disambiguation." Cognitive Science, 20 (2), pp. 137-194.

Levy, R. (2008). "Expectation-Based Syntactic Comprehension." Cognition, 106 (3), pp. 1126-1177.

Resnik, P. (1992). "Left-Corner Parsing and Psychological Plausibility." In Proceedings of the 14 th Conference on Computational Linguistics - Volume 1, COLING '92, pp. 191-197, USA. Association for Computational Linguistics.

Stern, M., Fried, D., and Klein, D. (2017). "Effective Inference for Generative Neural Parsing." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1695-1700, Copenhagen, Denmark. Association for Computational Linguistics.

Yoshida, R., Noji, H., and Oseki, Y. (2021). "Modeling Human Sentence Processing with Left-

Corner Recurrent Neural Network Grammars." In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 2964-2973, Online and Punta Cana, Dominican Republic. Association for Computational Linguistics.

## 略歴

吉田遼：2021 年東京大学教養学部教養学科学際言語科学コース卒業. 現在,東京大学大学院総合文化研究科言語情報科学専攻在学中.


# Low-resource Taxonomy Enrichment with Pretrained Language Models

竹岡 邦紘†

## 1 はじめに

本稿では EMNLP 2021 に採択された筆者の論文 (Takeoka et al. 2021)（以下では原論文と呼 ぶ）を紹介する，原論文は，事前学習済み言語モデルを利用することで，小規模な階層的な分類体系を精度高く自動拡張する手法を提案している。

原論文の紹介に入る前に，どのような経緯で執筆するに至ったかについて述べたい．筆者はこ の論文執筆以前に表データの列や表全体に対する意味推定を行なう手法に関して研究 (Takeoka et al. 2019) を行なっていた. オープンデータの重要性が騒がれるようになり，その結果様々な 機関がデータ公開を進めるようになったものの，それぞれのデータが異なる表記で書かれてい るなど課題が山積した状態であった。 これを解決するために提案した手法であったものの，さ らなる課題が出てきた。知識べースをいかに作るか，いかにメンテナンスし続けるか，という 課題だ。上述の手法では列や表に対してつける推定結果のラベルは階層的な構造を持っている ことを仮定していたが，そのようなラベル集合を管理すること自体に課題があったため，現実環境に容易に適用できなかった。そこで「いかに人手をかけずに階層的な分類体系を管理する か」という課題に対する解決策を模索した。

階層的な分類体系の管理は知識ベースの管理の一部として取り扱われるテーマであり，この 自動化には多くの課題が残っている。筆者はその課題の中でも特に，新しい概念・カテゴリの 追加に焦点を絞った。これは頻繁に分類対象が増えるドメイン（例えば小売業）では高い頻度 でこの作業が必要になるからだ。加えて，顧客や事業部門の担当者などから，小さな階層構造 であっても，精度高く拡張する手法が望まれていることがわかった。そこで，筆者は「小さな 階層的な分類体系であっても追加の学習データなしで拡張可能な手法を提案する」という方向 に研究を進めた。

調査を進めていく中で，事前学習済み言語モデル（以下，言語モデルと省略する）が汎用的 なタスクで大きな性能改善を見せていることを知った．筆者は「もしかしたら階層構造の拡張 のために使えるかもしれない」という安易な考えを抱いた。そこで，Petroni et al. (2019)を始 めとする論文を確認し，言語モデルが持ちうる情報とそれの引き出し方を学び，このアプロー

チを階層的な分類体系の拡張に応用することを考えた。さらに，一般的には文書から階層関係 を抽出するために用いられる文字列パターン (Hearst 1992)を，言語モデルから階層関係を引き 出すために使うという方法を編み出した. これらのアイデアが原論文のコアになる.

## 2 問題設定

原論文は，タクソノミーと呼ばれる階層的な分類体系に新しいカテゴリを自動的に追加する 問題（Taxonomy Enrichment/Expansion などと呼ばれる）を取り扱う。その背景には，このよ うなカテゴリ追加は専門家の手によって行なわれており, 非常に大きなコストがかかるという 課題がある。この課題を解決するために，原論文では以下のように定義した問題を解く．元の 階層的な分類体系を seed taxonomy と追加するカテゴリ名が与えられた下で，追加するカテゴ リに対する適切な親カテゴリを seed taxonomy から発見する。特に，原論文が取り扱うのは， seed taxonomy のカテゴリ数が小さい場合に焦点を当てる。 その理由は，階層的な分類体系は 1,000 程度のカテゴリ数のものが実用上多数存在するからだけでなく, 既存手法は数万程度のカ テゴリ数を暗黙的に仮定しており有効な手法になっていないためである.

## 3 提案手法

原論文は, 小さな階層的な分類体系であっても精度高く拡張するために, 事前学習済み言語 モデルとハーストパターンとを利用した Musubu 1 を提案している。手法の概略を図 1 に示す. Musubu の特徴は，(1) 言語モデルを補助的な情報源として利用し，与えられた階層的な分類体系に不足した情報を補う点と, (2) その言語モデルを効果的に使うためのクエリ生成にハースト パターン (Hearst 1992)を用いる点にある.

提案手法は, 事前学習済み言語モデルを補助的な情報源として利用して, 与えられた階層的 な分類体系上でのカテゴリペアに対する上位下位関係を判定するモデルを構築する。言語モデ ルを補助的な情報源とする理由は，言語モデルが暗黙的に保持している情報に概念間の意味的 なつながりが含まれるからだ. Petroni et al. (2019)は, BERT (Devlin et al. 2019)をはじめと する大規模な事前学習済み言語モデルが概念間の関係を内部のパラメータとして暗黙的に獲得 していることを示唆している。したがって，小さな分類体系から上位下位関係を学習する際に 不足した情報を言語モデルを用いて部分的に補うことができると考えられる。一方で，その言語モデルが獲得している概念間の関係性と分類体系の中にある上位下位カテゴリが持つ関係性 との間にはギャップが存在する可能性が高い，そのため，与えられた分類体系の中にある上位
^{1}$ Musubu は与えられた分類体系と新しいカテゴリとを正確に「結ぶ」手法というところから名付けた.
}

(a) Overview

(b) Training

(c) Inference

図 1 Musubuの（a) 全体構成，(b) 学習，(c) 推論の流れ. Musubu はカテゴリペアをハーストパターン を通してクエリに変換し，階層的な関係があるかどうかを判定する.

下位関係を用いて, モデルの学習（微調整）を行なう必要がある.

提案手法は，カテゴリペアをテンプレート文を使って短い文に変換し言語モデルに入力する という方法を採用している。この方法を採用するのは, そのカテゴリ名が文章中の語句として 現れることはあってもカテゴリペアとして語句が並んで現れることはなく, 文でない形の入力 に対して言語モデルが有効に働くとは考えにくいためである。そこで，原論文ではハーストパ ターン (Hearst 1992)を利用して言語モデルに入れる自然なクエリをカテゴリぺアから生成す る. ハーストパターンは図 1(a) に示すようなフレーズ間の上位下位関係を示す文字列パターン のことで，コーパスから上位下位関係のカテゴリぺアを抽出するために最も利用されるパター ンの一つである。ハーストパターンを利用したクエリによってカテゴリ間の関係性を明示的に 言語モデルに問い合わせることができ，モデル全体はその短文が成立するかどうか（つまり，階層上で上位下位関係にあるかどうか）を判定するように学習する.

提案手法は, 図 1(b), (c) に示すように, 学習済み言語モデルを用いた分類の形で学習と推論 を行なう，学習時は，階層的な分類体系の中に入っているカテゴリぺアを取り出し，それらの 組み合わせとハーストパターンから生成されるクエリを文として，そのカテゴリペアが階層関係にあるかどうかをラベルとして，モデルパラメータを学習する。予測時は, 新しいカテゴリ と階層的な分類体系中の全てのカテゴリとのペアについて学習時と同様のクエリ生成を行ない,最大の予測值に対応するカテゴリを新しいカテゴリの親カテゴリとする.

## 4 実験

上記の提案手法を評価するための実験として， SemEval 2015 のデータセット (Bordea et al. 2015) だけでなく，およそ 1,000 前後のカテゴリを含む小売業（Amazon と Walmart）の階層的 な分類体系をデータセットを利用した。これは，より現実的で応用場面を意識した環境での性能を確認するためである。また, 比較手法として, Octet (Mao et al. 2020) や TaxoExpan (Shen et al. 2020) などの最新の手法を利用し, 指標は一般的に用いられる推定結果の正しさを測る edge-F1 (E-F1)と, 階層的な距離を考慮した hierarchical-F1 (H-F1)を用いた2.

表 1 に示すように提案手法である Musubu は，上述のデータセットの全てで既存手法を上回 る性能を発揮した。ただし，データセットごとの精度には差があり，これはカテゴリ名が短い フレーズか長いフレーズ（複数のフレーズをつないたももの）かなどが影響を与えているものと 思われる。この結果より，提案手法が階層的な小さな分類体系の拡張においてドメインを問わ ず有効であることを確認した。

## 5 おわりに

原論文は，小さな階層的な分類体系を自動拡張する際に有効な手法を提案した。提案した手法は，事前学習済みの大規模な言語モデルを外部情報源として活用し，言語モデルの力を引き 出すためにハーストパターンを利用した，実データを使った実験を通して，小さな分類体系で 有効に働くことを確認した。

原論文では，大規模な分類体系に対する実験や多言語データでの評価は実施できていないも のの，提案手法の性質から既存手法に比べてそのような条件下でも性能や利便性の改善が見达 まれる。また, 追加するカテゴリは必ずいずれかの既存カテゴリに紐づくと仮定していたが,

表 1 SemEval と小売業の階層的な分類体系を用いた実験結果. 太字は列中の最も高いスコアを示す.

これは必ずしも成り立たない。したがって，今後は追加するカテゴリに対するフィルタリング や順序による影響など考慮したより実用的な問題設定に取り組む必要がある.

## 参考文献

Bordea, G., Buitelaar, P., Faralli, S., and Navigli, R. (2015). "Semeval-2015 Task 17: Taxonomy Extraction Evaluation (TExEval)." In Proceedings of the 9th International Workshop on Semantic Evaluation. Association for Computational Linguistics.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of NAACL-HLT, pp. 4171-4186.

Hearst, M. A. (1992). "Automatic Acquisition of Hyponyms from Large Text Corpora." In Proceedings of COLING Volume 2, pp. 539-545.

Mao, Y., Zhao, T., Kan, A., Zhang, C., Dong, X., Faloutsos, C., and Han, J. (2020). "Octet: Online Catalog Taxonomy Enrichment with Self-Supervision." In Proceedings of SIGKDD, pp. 2247-2257.

Petroni, F., Rocktäschel, T., Riedel, S., Lewis, P., Bakhtin, A., Wu, Y., and Miller, A. (2019). "Language Models as Knowledge Bases?" In Proceedings of EMNLP-IJCNLP, pp. 2463-2473.

Shen, J., Shen, Z., Xiong, C., Wang, C., Wang, K., and Han, J. (2020). "TaxoExpan: Selfsupervised Taxonomy Expansion with Position-Enhanced Graph Neural Network." In Proceedings of $W W W$, pp. 486-497.

Takeoka, K., Akimoto, K., and Oyamada, M. (2021). "Low-resource Taxonomy Enrichment with Pretrained Language Models." In Proceedings of EMNLP, pp. 2747-2758.

Takeoka, K., Oyamada, M., Nakadai, S., and Okadome, T. (2019). "Meimei: An Efficient Probabilistic Approach for Semantically Annotating Tables." In Proceedings of AAAI, pp. 281-288.

## 略歴

竹岡 邦紘：2016 年関西学院大学理工学部人間システム工学科卒業. 2018 年関西学院大学理工学研究科人間システム工学専攻博士前期課程修了. 2018 年よ り, 日本電気株式会社データサイエンス研究所研究員. 機械学習, 自然言語処理の研究に従事.


# Convex Aggregation for Opinion Summarization

磯竬 $\dagger$

## はじめに

Yelp や Glassdoor などのオンラインレビュープラットフォームの急速な普及に伴い，人々は 食事や就職活動などあらゆることを決める際にレビューを参考するようになっている．しかし， これらのプラットフォームには，毎日大量のレビューが投稿されているため， ユーザが求めて いる有益な意見を見つけるためには大量のレビュー文書をユーザ自身が時間をかけて読む必要 がある。

意見要約システムは，レビューから代表的な意見を抽出し，その意見を簡潔でわかりやすい 形で要約するシステムである。これにより, 生成された要約を読むことで，ユーザはレビュー をもとにした意思決定を容易に行うことができる。通常，文書要約システムは，人間が参照要約と入力文書のぺアを大量に用いてニューラルネットワークモデルを学習させることで構築す るが，カスタマーレビューに対して十分な量の参照要約を収集することは，コストの観点から 現実的ではない，そのため，人間が書いた参照要約を必要としない，教師なしのアプローチに よる意見要約システムの開発が主流となっている.

これまで Megagon Labsでは, 出力を制御可能な意見要約システム OpinionDigest (Suhara et al. 2020), レビュー要約を調整可能な対話型エクスプローラ ExtremeReader (Wang et al. 2020), 両 システムで用いるアスペクトベースの意見抽出器 Snippext (Miao et al. 2020), 異なるエンティ ティのレビューから対照的な意見と共通した意見を生成する CoCoSum (Iso et al. 2021a) など を開発してきた。本稿では，EMNLP 2021 Findings に採択された論文 “Convex Aggregation for Opinion Summarization” (Iso et al. 2021b)1をもとに，教師なし意見要約システムから，より高品質な意見要約の生成を行うフレームワーク Coop について解説する.

## 1 教師なし意見要約

教師なし意見要約システムを構築する最も一般的な手法の一つとして, オートエンコーダモ デルを用いるものがある (Chu and Liu 2019). この手法は，要約対象となる複数のレビューを
^{1}$ https://aclanthology.org/2021.findings-emnlp.328/
}

Latent space

Text space

図 1 潜在空間 $\mathcal{Z}$ とテキスト空間 $\mathcal{X}$ の図示. 各エンティティの単純平均による要約ベクトル $\boldsymbol{z}_{\mathrm{avg}}$ は， い ずれも空間の中心付近に位置しているのに対し，Coopにより選択された要約べクトル $\boldsymbol{z}_{\text {coop }}$ は，そ れぞれ異なる位置にあり，意見要約システムはより具体的な要約を生成している。

潜在空間上に埋め込み, それらの埋め込みベクトルを単純平均したべクトル（以後, 要約ベクト ル）から要約を生成するものである。ここで用いるオートエンコーダモデルは，各レビューを 潜在空間上に埋め込み, その埋め込みベクトルから元のレビューを再構成するようにエンコー ダとデコーダを学習する。この方法では人間が書いた参照要約を必要としないため，レビュー テキストのみから意見要約システムを構築することができる.

このような単純な方法で，流暢かつ高品質な意見要約を生成することができることが知られ ているが，一方で過度に汎用的な要約を生成してしまうことが，我々の調査で明らかとなった。図 1 に示すように，異なるエンティティのレビューから単純平均を取った要約べクトル $\boldsymbol{z}_{\mathrm{avg}}$ は, いずれも潜在空間の中心に近づき，類似したべクトルになっていることがわかる．それらの要約ベクトルからは，いずれのエンティティにも適用できるような一般的な要約が生成されてし まうことがわかった。より詳細な分析は元論文 $\S 3$ を参照されたい.

## 2 Coop による要約ベクトルの探索

この問題の解決方法のひとつとして，単純平均により得られた要約べクトルをスケーリング することで， ベクトルを中心付近から離す方法が考えられる，実際，この方法を用いることで， より具体的な要約の生成を確認出来たが，同時に入力レビューと矛盾するような要約を生成し てしまうことがわかった.

本研究で提案する Coop は，要約を生成する要約ベクトルの探索を最適化問題として定式化 することで，より具体的かつ矛盾のない要約の生成を可能とする手法である。Coop は， 入力レ ビューの集合 $\mathcal{R}_{e}$ と出力された要約 $G(\boldsymbol{z})$ 間の入出力の単語の重複 Overlap を最大化するよう

な要約べクトル $z$ を探索するように定式化する：

$
\begin{array}{ll}
\underset{\boldsymbol{z}}{\operatorname{maximize}} & \text { Overlap }\left(\mathcal{R}_{e}, G(\boldsymbol{z})\right) \\
\text { subject to } & \boldsymbol{z}=\sum_{i=1}^{\left|\mathcal{R}_{e}\right|} w_{i} \boldsymbol{z}_{i} \\
& \sum_{i=1}^{\left|\mathcal{R}_{e}\right|} w_{i}=1, \forall w_{i} \in \mathbb{R}^{+}
\end{array}
$

ここで，入出力の単語の重複の計算に ROUGE-1 F1 スコアを用い，入力セットの各レビュー は無視されるか反映されるかのどちらかであるという仮定に基づき，入力レビューの埋め込み ベクトルからなる凸包上で要約べクトルの探索を行う，本研究ではさらに，探索空間を入力レ ビューの幕集合 $2^{\mathcal{R}_{e}} \backslash\{\emptyset\}$, すなわち入力レビューを含むか否かに限定し，選択されたべクトル の平均を取ることで要約べクトル $z$ を得る，実験では，入力レビューの幕集合から全探索した 結果を用いているが，貪欲法やビームサーチを用いて探索することで，効率的かつ効果的に要約生成ができることを確認している。詳細は元論文 $\$ 6.2$ を参照されたい.

## 3 実験結果

## 3.1 自動要約評価

Coop の有効性を検証するため, Yelp (Chu and Liu 2019) と Amazon (Bražinskas et al. 2020) データセットを用いた自動要約評価を行った。本研究では，オートエンコーダモデルとして 2 種類の変分オートエンコーダモデルを用いた．1つ目は，双方向 LSTM と平均プーリングをエ ンコーダ, 単方向 LSTM をデコーダとして用いた BiMeanVAE, 2 つ目は BERT をエンコーダ, GPT-2 をデコーダとして組み合せた Optimus (Li et al. 2020)である.

表 1 に，ROUGE-1/2/L F1 スコアを用いた要約品質の自動評価結果を示す. 実験の結果, BiMeanVAE, Optimus ともに要約ベクトルの計算に Coopを用いることで, 単純平均 (SimpleAvg) を用いた場合に比べて一貫して ROUGE スコアの向上が見られた。また，単純平均により得ら れたべクトルから生成した要約が, ベースラインである既存手法と同等の ROUGE スコアを示 している。これにより，Coopを用いることで既に高性能な意見要約システムの要約品質をさら に向上できることがわかった.

## 3.2 Coopにより生成された要約

表 2 に, ある中華料理店とアメリカ料理店のレビューから単純平均, Coop それぞれの方法を 用いて生成された要約を示す。まず，単純平均により得られた要約べクトル $\boldsymbol{z}_{\mathrm{avg}}$ からは，それ

表 1 ベンチマークデータセットにおける ROUGE F1 スコア

 &  &  \\

表 2 SimpleAvg, Coopによる生成要約の比較

ぞれ類似した要約が生成されてしまっている。一方, Coopを使用した場合, 要約にはより多く のエンティティ固有の情報が含まれている。例えば, 中華料理店の要約には, 料理の種類や料理の量に関する意見が含まれ，アメリカ料理店の要約には，この店で提供されている料理の種類について言及されている.

図 2 Coop ライブラリを使用して要約を生成するためのサンプルコード

## 4 おわりに

本稿では，教師なし意見要約システムにおいて，より良い要約ベクトルを探索する最適化フ レームワークである Coop について紹介した．Coop は，任意のオートエンコーダを用いた意見要約システム上に実装できる手法であり，実験の結果，BiMeanVAE，Optimusいずれのモデル においても ROUGE スコアの向上が確認できた，本研究で開発した意見要約システムは，容易 に使用できる Python ライブラリとしてリリースしている². 図 2 に示すように，数行のコード を書くだけで，最先端の教師なし意見要約システムを実行することができる．本ライブラリが 教師なし意見要約のさらなる研究の助けとなれば幸いである.

## 参考文献

Bražinskas, A., Lapata, M., and Titov, I. (2020). "Unsupervised Opinion Summarization as Copycat-Review Generation." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5151-5169, Online. Association for Computational Linguistics.

Chu, E. and Liu, P. (2019). "MeanSum: A Neural Model for Unsupervised Multi-Document Abstractive Summarization." In Chaudhuri, K. and Salakhutdinov, R. (Eds.), Proceedings of the 36th International Conference on Machine Learning, Vol. 97 of Proceedings of Machine Learning Research, pp. 1223-1232, Long Beach, California, USA. PMLR.

Iso, H., Wang, X., and Suhara, Y. (2021a). "Comparative Opinion Summarization via Collaborative Decoding." arXiv preprint arXiv:2110.07520.

Iso, H., Wang, X., Suhara, Y., Angelidis, S., and Tan, W.-C. (2021b). "Convex Aggregation for Opinion Summarization." In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 3885-3903, Punta Cana, Dominican Republic. Association for Computational Linguistics.

Li, C., Gao, X., Li, Y., Peng, B., Li, X., Zhang, Y., and Gao, J. (2020). "Optimus: Organizing Sentences via Pre-trained Modeling of a Latent Space." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4678-4699, Online. Association for Computational Linguistics.

Miao, Z., Li, Y., Wang, X., and Tan, W.-C. (2020). "Snippext: Semi-Supervised Opinion Mining with Augmented Data." In Proceedings of The Web Conference 2020, WWW '20, pp. 617-628, New York, NY, USA. Association for Computing Machinery.

Suhara, Y., Wang, X., Angelidis, S., and Tan, W.-C. (2020). "OpinionDigest: A Simple Framework for Opinion Summarization." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5789-5798, Online. Association for Computational Linguistics.

Wang, X., Suhara, Y., Nuno, N., Li, Y., Li, J., Carmeli, N., Angelidis, S., Kandogann, E., and Tan, W.-C. (2020). "ExtremeReader: An Interactive Explorer for Customizable and Explainable Review Summarization." In Companion Proceedings of the Web Conference 2020, WWW '20, pp. 176-180, New York, NY, USA. Association for Computing Machinery.

## 略歴

磯颯：2021 年奈良先端科学技術大学院大学博士後期課程修了. 博士 (工

学). 現在, Megagon Labs Research Associate.


# Exploring Methods for Generating Feedback Comments for Writing Learning

塙 一晃 ${ }^{\dagger, \dagger \dagger}$
## 1 はじめに

本稿では, EMNLP2021 に採択された表題の論文 (Hanawa et al. 2021) について解説する. 詳細な内容については次節以降で述べるが，まずはじめに説明したいのは，本研究はあるタスクに おける手法の研究でありながら, 自然言語処理分野における手法研究の “典型的なストーリー” からは逸脱しているということである。ここでいう典型的なストーリーとは，ある新規手法を 提案し，その手法の何らかの優位性（典型的にはあるタスクにおける精度）を示すというもの である。本研究の内容は英語学習者のための解説文生成タスク（以下，単に「解説文生成タス ク」と記す）における三つの自然な既存の手法を比較し，その振る舞いを分析したものである.

そのようなストーリーになった背景には次のような経緯がある。まず，重要な前提として，解説文生成タスクという分野における生成手法の知見はほとんど皆無である. 最近, 解説文生成 タスクのためのデータセット (Nagata 2019) が作られたが, 生成手法に関する研究は本研究以前にはほとんど報告されていない，そのような状況においては，まず自然な既存手法でどの程度解けるのかを調べるのが定石であろう。一方で，単に既存手法の精度を調べるだけでは，（著名な国際会議に採択される程度に）十分な知見は含まれていないことが多いと思われる。筆者 も当初は既存手法の振る舞いを調べるのはあくまで予備調査にすぎず，その上で何らかの新規手法を提案するというストーリーを想定していた。しかし，既存手法の精度を調べたところで 想定とは大きく異なる結果が得られた。そこでそのような振る舞いの原因を調査し，その内容 を報告することにした。このようなストーリーの論文は，一見しただけでは既存手法の精度を 報告しているだけで，あたかも新規性が無いように見えるかもしれない。しかし，既存手法の 非直感的な振る舞いやその原因を報告することは解説文生成タスク，ひいては自然言語処理分野に対して十分な貢献があると信じ，その内容を論文としてまとめるに至った.

†東北大学

## 2 解説文生成タスクとはどのようなタスクか

本節では本研究で取り組んだ解説文生成タスクがどのようなタスクなのか, どのような手法 が初手として“自然”なのかを述べる.

解説文生成とは，与えられた文章に対してライティングに関するヒントや説明を生成する夕 スクのことである。例えば，次の文の下線部に対して，

(1) 対象文 :*We discussed about it.

解説文：discuss は他動詞ですので、前置詞 about は必要ありません。 のような解説文を生成するタスクである.

このタスクは形式的には生成問題でありながら, 同時に「複数の事例が同じ誤りクラスに属 している」という多クラス分類のような性質をもつ。例として次の二文を考える。

(2) 対象文:*We reached to the station.

解説文：reach は他動詞ですので、前置詞 to は必要ありません。

(3) 対象文: *I reached to New York.

解説文：reach は他動詞です。目的語の前に前置詞は必要ありません。

これらの例はいずれも同じ種類の誤りである。また，二つの解説文は表層的には異なるが，内容的には同様の指摘をしており互いに可換である。このような性質を考慮すると検索手法（以下, Retrieval）が一つ目の自然な手法として挙げられる。詳細は原論文に譲るが Retrieval では 入力文を文べクトルにエンコードし，それらの余弦類似度が最も大きいものを訓練データから 検索する。

しかし, Retrieval は柔軟性に欠ける。例えば次の解説文を考える。

(4) 対象文:*I approach to the goal.

解説文：approach は他動詞です。目的語の前に前置詞は必要ありません。

例 (4) と例 (3) は「他動詞と前置詞の併用」という同じ種類の誤りと分類するのが自然であろう. しかし, 例 (4) の解説文では “reach” ではなく“approach” が使われており, 例 (3)の誤りに対し てそのまま出力すると正しくない解説文となる。そこでより柔軟な手法として Encoder-Decoder を用いた生成手法（以下， Simple Generation）が挙げられる。例 (4) からもわかる通り解説文中には入力文中の単語（この例では “approach”）が用いられることも多い. そこで入力文から のコピー機構を備えた Encoder-Decoder として pointer-generator network (See et al. 2017) を 採用した。

三つ目の自然な手法としては検索した事例を編集する Retrieve-and-Edit (Hashimoto et al. 2018) が挙げられる。検索した事例を編集することができれば前述のような例 (3) の誤りに対し て例 (4) の解説文を検索してしまった場合でも “approach”を “reach”に書き換えることで正し い解説文となる。 さらに解説文を一から生成する Simple Generation よりも，いくつかの単語

表 1 各生成手法の正解率

を編集するだけの Retrieve-and-edit の方が解きやすい形式になっていると考えられる.

まとめると, 本研究では Retrieval, Simple Generation, Retrieve-and-Edit の三つの手法を比較する。また性能は前述の理由から Retrieval $<$ Simple Generation $<$ Retrieve-and-Edit の順に なると予想できる。しかし実験を行ったところ，興味深いことに予想とは異なる結果が得られ た. 実験結果の詳細については次節で述べる.

## 3 各手法の性能値

実験には二つのデータセットを用いた。一つは前置詞に関する解説文のみを含んたもので， もう一つは一般の解説文も含んたものである。それぞれのテスト事例を人手で正しいかどうか 判断し, 評価としてその正解率を用いた。

結果は表 1 の通りとなった。予想に反して Retrieve-and-Edit の性能がいずれのデータセット でも低くなっていることがわかる．特に Retrieval はいずれのデータセットでも Retrieve-andEditよりも高い性能となっている。すなわち Retrieve-and-edit は Retrieval の結果をそのまま 出力すれば正しい解説文であるようなケースにおいて，編集をすることで正しくない解説文に 書き換えてしまうことが多いのである。また, Simple Generation は前置詞解説文のみを含む データセットでは最高性能であるのに対し，一般の解説文を含むデータセットでは最低性能と なった.これも直感に反する結果である. これらの予想に反する結果が起こる原因についての 考察を次節で述べる.

## 4 予想に反する結果の原因

## 4.1 なぜ Retrieve-and-Edit の性能は低いのか

Retrieve-and-Edit の出力結果を分析すると, 不必要な編集をしてしまう現象が数多く確認で きた。訓練時に，検索された解説文と目的の解説文が同一内容であっても，表層が異なると，不必要な編集が学習される。言い換えれば，不要な編集は，解説文における表層バリエーション の多さに起因するといえる。次の例を考える。

(5) 対象文: *I agree with that smoking should be banned.

解説文：動詞 agree は that 節を目的語にとりうる動詞なので、目的語の前に前置詞 with は不要です。

(6) 対象文：*I agree with that this method is good.

解説文：動詞 agree が同意する内容が節で書かれている場合は前置詞 with は不要です。 この二つの解説文は，同じ文法規則についての解説であるが表層は大きく異なる．解説文は自然言語で記述されるため，このような表層的なバリエーションは避けられない。例 (5) に対し て例 (6) が検索された場合には，そのまま出力すれば十分であるにも関わらず，例 (5)のように 書き換えるように訓練が行われる。このように適切な編集方法の学習が妨げられることにより，推論時にも正しい解説文に対しても不要な編集を行ってしまい Retrieve-and-Edit の性能の低下 につながったと考えられる。

## 4.2 なぜ Simple Generation の性能順はデータセットによって異なるのか

Simple Generation の生成結果を分析すると, 前置詞解説文と一般解説文では異なる振る舞い が見られた．前者では訓練データと表層的に非常に類似した解説文を生成することが多い。一方, 後者では, 複数の解説内容を融合したような生成結果が頻繁に観測された例えば，次のよ うな解説文が生成された。

(7) 対象文 :* ... this activity is will not disturb their ...

解説文：*主語に合わせて動詞を適切な形で用いましょう。be 動詞は必要か確認しま しょう。

一文目は主語と動詞の一致についての解説, 二文目は be 動詞と一般動詞の併記に関する解説 である。このような解説文は基本的には正しい解説文となることはないため性能の低下につな がる．解説内容の種類数が相対的に多い一般解説文では異なる種類の誤りを区別することが難 しく, 例 (7)のように異なる種類の解説文が混ざってしまうことが多くなる．相対的に種類が 少ない前置詞解説文では, 誤りの種類を区別しやすく, このような現象は起こりにくい. これ らのことに起因して前置詞解説文では高い性能であったのに対し，一般解説文では低い性能に なってしまったと考えられる.

## 5 おわりに

本研究は解説文生成手法の探求の第一歩目である. 冒頭でも述べた通り本来は予備実験のつ もりで行った既存手法の調査が本研究であり, 解説文生成手法の研究は始まったばかりなので ある. 本研究で得られた知見を一つの土台として, より良い解説文生成方法の探求を今後も続 けていく所存である.

## 参考文献

Hanawa, K., Nagata, R., and Inui, K. (2021). "Exploring Methods for Generating Feedback Comments for Writing Learning." In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 9719-9730, Online and Punta Cana, Dominican Republic. Association for Computational Linguistics.

Hashimoto, T. B., Guu, K., Oren, Y., and Liang, P. S. (2018). "A Retrieve-and-Edit Framework for Predicting Structured Outputs.” In Bengio, S., Wallach, H., Larochelle, H., Grauman, K., Cesa-Bianchi, N., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems 31, pp. 10052-10062.

Nagata, R. (2019). "Toward a Task of Feedback Comment Generation for Writing Learning." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3206-3215.

See, A., Liu, P. J., and Manning, C. D. (2017). "Get To The Point: Summarization with PointerGenerator Networks." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 1073-1083.

## 略歴

塙 一晃: 理化学研究所革新知能統合研究センター 自然言語理解チームテク ニカルスタッフ. 2019 年東北大学大学院情報科学研究科博士前期課程修了.同年より現職. 2020 年東北大学大学院情報科学研究科博士後期課程に進学.自然言語処理に関する研究に従事.